AI大模型学习
原创AI博客
大模型技术资讯
大模型评测排行
大模型评测排行榜
大模型数学推理能力排行榜
大模型代码编程能力排行榜
大模型图片编辑能力排行榜
LMSys ChatBot Arena排行榜
Berkeley大模型工具使用能力排行榜
大模型综合能力排行榜(旧)
大模型编程能力排行榜(旧)
OpenLLMLeaderboard中国站
AI大模型大全
最新大模型列表
大模型部署教程
大模型对比工具
大模型评测基准
大模型评测基准
SWE Bench Verified
ARC-AGI-2
AIME 2025
FrontierMath-Tier4
MMMU
AI Agents列表
AI资源仓库
AI领域与任务
AI研究机构
AI数据集
AI开源工具
数据推荐
国产AI大模型生态全览
AI模型概览图
AI模型月报
AI基础大模型
AI工具导航
AI大模型工具导航网站
在线聊天大模型列表
Forecast aggregation via recalibration
小木
Machine Learning
2014-06
2058
2017/02/06 09:57:52
这篇文章是Machine Learning期刊2014年6月份的一个专刊中的文章。这个专刊主要是针对计算社会科学和社会计算的。总共有6篇文章(不包括编辑的专刊介绍)。编辑认为,计算社会科学是计算机科学、统计学和社会科学交叉的新兴研究领域,主要的目标是用来回到社会问题的。同时,这些领域也是内在协同的关系:社会科学家提供关键的情景信息,并提出相关的研究问题、数据源和相关的获取方法。而统计学家和计算机科学家则提供相应的数学模型和计算工具。这六篇文章主要针对如何处理人机交互问题,并回答人是如何贡献自己创造的内容,并如何设计更好的系统来促使他们产生这样的内容。我们将按照情况分别介绍这些论文成果。本篇博客介绍的是Forecast aggregation via recalibration。 这篇文章主要是解决如何在算法中融合人类知识的方法。传统的聚合算法如bagging和boosting主要是融合多个预测算法的结果,并做预测。作者认为,与聚合弱预测算法相比,聚合人类的预测结果有很大不同:1)在给定的领域中,算法的表现通常相对更加稳定;2)通常人类只能贡献很小部分的预测结果。聚合人类预测结果的算法必须解决这些数据稀疏性和不稳定性。在这篇文章中,作者主要回答了几个问题:1)是聚合原始的人工判断信息,再矫正均值好,还是先矫正个人判断再对结果进行聚合好?2)聚合是在概率空间中使用还是在接下来的转换中用?比如在对数发生比空间中(in probability or log-odds spance)。3)将个体的差异放在模型中会提高准确率么?还是说只要减少他们对新问题的普遍性? 在解决涉及人类预测聚合的方法中,一个非常重要的考虑因素是系统偏差,它会扭曲个人的主观估计概率(这一点从SVD++等矩阵分解方法也可以看出,类似的推荐方法会对用户评分偏差和产品被评分偏差的进行建模,详情可参考SVD++论文)。在很多论文中,个人使用概率描述自身的判断的时候,这个概率通常都比较极端。也有论文发现,判断对不经校验的主观概率非常敏感,它是可以通过从“顾问”(advisors)那里得到内部矫正的。这些发现意味着我们可以通过更正预测者的系统偏差来提高预测聚合效果。在这篇文章中,作者提出了一系列的模型来首先估计预测者的偏差,然后更正并聚合这些预测到一个单独的值中。
赏
支付宝扫码打赏
如果文章对您有帮助,欢迎打赏鼓励作者
Back to Top