冬至 | 贝叶斯真相法：如何在调研中激励诚实回答？

A. 否，我在过去一年里看过小于10本纸质图书。

B. 是，我在过去一年里看过10本及以上纸质图书。

小 A 想了解过去一年校内同学的纸质图书阅读量，于是在树洞上发布了上述问卷。这条帖子没有引发很多关注，问题的回答率并不算高。不仅如此，她意识到，同学可能会出于社会期望效应夸大自己的实际阅读量：一个真实答案是“否”的同学可能因为认为多阅读纸质书是更“理想”的而回答“是”。

为了鼓励同学们积极且诚实地回答问题，她决定设置一定的奖励金。

小 A 首先想到设置固定的参与奖励：每位回答问题的同学可以获得1元。这样做能够提升问卷的回答率，但不能保证同学的回答是诚实的。

另一个想法是奖励多数回答：如果超过50%的回答是“是”，就奖励每位回答为”是“的同学1元；否则，奖励每位回答“否”的同学1元。这个想法也是不可行的，因为纸质阅读量是主观数据，没有一个统一的客观标准。如果一个同学的真实答案为“是”，但他相信大多数人会回答”否“，为了拿到奖励，他会回答“否”。

什么样的奖励金规则可以鼓励同学们诚实回答呢？

小 A 的最终方案是：奖励相对大众预测更普遍的回答（surprisingly popular answer/ surprisingly common answer）。具体来说，如果回答“是”的同学占比为20%，而大众预测只有10%的人会回答“是”，那么回答“是”相对大众预测更普遍；如果大众预测有50%的人会回答“是”，那么回答“是”相对大众预测更不普遍。

“相对大众预测更普遍”的标准利用了以下观察：

"The highest predictions of the frequency of a given opinion or characteristic in the population should come from individuals who hold that opinion or characteristic."（Prelec, 2004）

在预测人群中特征 X 的占比时，拥有特征 X 的人会给出最高的预测。

例如，在过去一年里看过10本及以上的纸质图书的人有理由相信很多人和他们一样，因此，他们对“有多少比例的人在过去一年里看过10本及以上的纸质图书”的估计会比其他人更高。尽管他们知道在数字化阅读时代，纸质阅读大量被电子阅读取代，他们的估计仍然会比大众平均估计更高。比如，大众平均估计可能是8%，但那些过去一年里看过10本及以上的纸质图书的人的估计可能是15%；相反，那些在过去一年里纸质图书阅读量小于10本的人的估计可能是5%。

基于这种观察，一个真实答案为“是”（过去一年里看过10本及以上的纸质图书）的人会认为“是”是相对大众预测更普遍的回答（因为15%>8%）；一个真实答案为“否”（在过去一年里纸质图书阅读量小于10本）的人会认为“否”是相对大众预测更普遍的回答（因为5%<8%）。因此，这种激励标准能鼓励所有人诚实回答。

正式地，小 A 将按照以下规则奖励问题1的回答： 其中，  表示同学的回答，  表示回答  在所有回答中的占比；  是大众预测中回答  的占比。

当回答问题的人数足够多时，同学自己的回答不能显著改变  和  。在这种情况下，如果同学在回答问题时看不见其他人的回答，诚实回答会最大化他的期望收益。

如何获得真实的大众预测呢？小 A 使用一种对数评分规则（log scoring rule）来激励同学们诚实汇报自己在问题2中的估计： 其中，  表示同学对回答  占比的估计。

这种对数评分规则能保证诚实汇报估计最大化同学的期望收益。

结合问题1和问题2的奖励，小 A 可以得到真实的大众预测，进而可以激励同学诚实地给出问题1的回答。 

上述方法被称为贝叶斯真相法（Bayesian Truth Serum），它由 Drazen Prelec 在2004年提出^[1]。贝叶斯真相法要求参与者在回答问题时，不仅提供自己的答案，还要估计其他人可能给出的答案。通过奖励相对大众预测更普遍的回答（surprisingly popular answer），贝叶斯真相法鼓励人们在回答问题时提供真实答案。

下一次设计调查问卷时，不妨试试这种方法！

Prelec, D. (2004). A Bayesian truth serum for subjective data. science, 306(5695), 462-466.

文 | 王颖