原创 公平性度量指标:基于矩阵分解的协同过滤方法

2019-11-14 10:28 190 1 2 分类: 机器人/ AI 文集: 人工智能

提出了新的推荐算法公平性度量指标,并阐明了对其进行优化以解决各类不公平性问题。推荐系统基于用户的历史行为而产生支持决策的结果推荐,其在电影、商品、求职和课程推荐中都被广泛采用。但推荐系统是基于可观测的数据进行预测,因而来自数据样本的偏差必然也会导致推荐结果的误差。因而作者先对推荐算法中的不公平性问题公理化,并提出了5个可供优化的公平性目标,每个目标都可通过惩罚因子对其进行正则化。实验证明该方法能够更好地评估不公平性,并且不降低预测模型准确性,而只是需要权衡不同的公平性。

该文章主要关注与广泛用于推荐系统中的协同过滤算法,该算法通过对系统中的其他用户对对象的评分及行为从而作出推荐。换句话说,系统过滤通过聚合用户的喜好和选择,以此作为参考依据,向当前用户推荐具有类似喜好用户的产品。协同过滤算法通过使用人与物的共现统计特征作出预测,即UI(User-Item)矩阵。大部分协同过滤算法都假设未评分的用户随机的,但相反有研究表明,抽样的结果与用户的真实偏好有明显差异。因此采样受到社会偏见影响,导致采样并不随机。正如此,研究如何减小这类不公平性问题是未来的一大研究方向。

基于矩阵分解的协同过滤方法:

超越平等:协同过滤算法的公平性目标

新不公平性度量指标:

value unfairness:

超越平等:协同过滤算法的公平性目标

超越平等:协同过滤算法的公平性目标

超越平等:协同过滤算法的公平性目标

实验结果:

作者在模拟数据及真实数据上对上述指标进行了验证,其结果如下图:

超越平等:协同过滤算法的公平性目标

图 1 模拟数据上的误差及不公平性度量

超越平等:协同过滤算法的公平性目标

图 2 真实数据上的误差及不公平性度量

实验结果表明,每种数据缺陷都将导致推荐结果的不公平,并且由于用户的不平衡即观测结果的差异都将导致该不公平性。

结论:

该文章讨论了推荐系统中存在的各类不公平现象,以及其可能出现的原因,并利用实验证明了两方面原因的正确性:用户不平衡和观测值误差。并且作者发现,即便对于准确的观测数据,仍可能出现推荐不公平现象,其还受用户偏好的影响。基于此,作者提出了4大不公平性指标:value unfairness、absolute unfairness、underestimation unfairness和overestimation unfairness,并尝试在目标函数中加入公平性因子,用以惩罚高估和低估的场景。

广告

文章评论 1条评论)

登录后参与讨论

curton 2019-11-17 15:17

学习了
相关推荐阅读
红旗不倒 2019-12-05 15:22
工业相机与智能相机打灯小技巧、光源的种类和特征
即使观测检测相同的目标物,一旦使用的照明方式改变,观测检测到的画面就会发生惊人的变化。以往经常有即使调整倍率光圈或者更换镜头也无法观测到目标的情况,其实只要稍微变换照明,即可轻松观察。想要熟练使用工业...
红旗不倒 2019-12-04 15:53
国产芯片飞腾了FT-2000A/2,FT-2000+/64,FT-2000/4怎样
国产事业蒸蒸日上之国产芯片最近两年国产芯片发迅速,很大一部分原因是美国要求禁止向违反美国制裁法规与出口管制禁令的通讯企业出售美国芯片或其他部件,这对于许多企业来说是致命的打击;从2008年开始中国芯片...
红旗不倒 2019-12-04 15:44
中国企业家(马云和任正非),这两大高峰为什么那么成功
不知道大家是否还记得,小米科技的雷总曾经开玩笑的说:“马云强大的不得了,是我们中国企业家里最成功的人”。因为很多企业的老板都在赚着辛苦钱,而马云不一样,靠服务器就可以赚钱,当我们都在睡觉的时候,他依然...
红旗不倒 2019-12-04 15:31
比特币和加密货币Altcoins为什么很值得研究分析
比特币已成为历史上最成功的加密货币。在20031年安静发布后的两年内,尽管只是粗略地分析了系统的设计,但比特币的经济价值仍高达数十亿美元。从那时起,越来越多的文献论证了该系统的属性,发现了对其的攻击行...
红旗不倒 2019-12-04 15:25
ETHIR: 以太坊字节码高层次分析框架,相关方法和工具
创建分布式一致性的方法已经产生了一系列用于构建复制事务日志(区块链)的分布式协议。这些技术进步使得分散加密货币的诞生成为可能,比如比特币。比特币最著名的实现之一Ethereum在复制分布式存储中加入了...
红旗不倒 2019-12-04 15:20
区块链的分散应用程序(DApp)的自动化测试
随着基于区块链的分散式应用(DApp)最近越来越受欢迎,我们迫切需要有效的测试方案和工具。由于应用程序与区块链的交互引入的复杂性,现有的测试方法变得不适用。在本文中,我们提出了一个名为Sungarit...
广告
我要评论
1
1
广告
关闭 热点推荐上一条 /1 下一条