高占军
国家金融与发展实验室特聘高级研究员
哈佛大学访问学者
能够最为充分地反映这组数据所包含的信息,在进行统计推断时有重要的作用；但容易受到极端数据的影响.即：平均数表示数据的总体水平,但无法表现个体之间的差异中位数在一组数据的数值排序中处于中间的位置,故其在统计学分析中。
原中信证券董事总经理
书名：统计学的世界 作者：[美国] 戴维·S·穆尔 译者：郑惟厚 豆瓣评分：8.7 出版社：中信出版社 出版年份：2003-11 页数：633 内容简介：统计学的思想和各种统计数据对政府、社会乃至我们的工作和日常生活都产生着直接。
关于大选民调，我们之前曾解剖了几个经典案例，包括2016年为什么希拉里在民调大幅领先的情况下却输掉了大选和2012年王牌盖洛普因何意外失手并从此退出了选举预测——这是民调行业近百年历史上的两次重大挫折，且一次比一次惨重。
更令人印象深刻的是，两次惨败的原因并不相同：希拉里被民调高估，是由于不同寻常的大比例选民晚决定、建模失误及“害羞的川粉”效应；而盖洛普失算，一是其甄别哪些选民不会投票的模型有瑕疵，二是调查对象覆盖的地域分布不均衡，三是缺乏种族和民族的代表性，四是只以登记在册的有线电话名单为基础生成样本的方式出了问题。
越深入分析这两个典型案例，便越能深刻地体会到其背后的复杂与纠结。但事情远不止此，我们今天还有更重要的故事要讲。
关于是否应禁止选举民调的历史争论
民调在很大程度上使用的是统计学的方法（如果使用正确的话！）：随机选取有代表性的样本，避免出现系统性偏差；样本的数量尽可能大，以提高准确性和减少误差；在一定的置信区间和误差边界内给出统计结果。
![[美国]戴维·S·穆尔《统计学的世界》作品简介与读书感悟](http://img.tianshugan.com/tsg/tp/18.jpg)
第三个争论：有些民调的发布可能相当于提前宣布竞选结果。比如有一类民调叫“出口调查”，即对已投票完毕正离开投票场所的选民进行调查。这类调查若操作正确，经常能够正确预测大选结果。正因如此，不少国家有法律明文禁止选前预测。比如法国、加拿大等，均禁止在选举前若干天内公布民调结果[2]。
这三个争论中的前两点对于本文所关注的主题而言，极为重要，且具有普遍性。但它们由来已久，并不对行业的存亡构成威胁。
可能颠覆整个行业的四大挑战
那么，什么会威胁生死存亡？
可能颠覆民调行业的根本因素看起来很简单，远不似想象中那么深奥神秘：一是手机使用占比的迅速增长，二是愿意回答民调的人数大为减少[3]。这“一增一减”所带来的影响是如此巨大和深远，无论怎样评估都不为过。由这两个基本因素直接或间接带来四大挑战。
挑战之一：手机用户占比骤增，导致民调效率下降，成本大涨，对此的折衷解决办法影响了调查质量。美国2005年使用手机的人占6%，2014年增至43%，且另有17%极可能使用手机。也就是说，如果在2014年只使用有线电话随机拨号进行民调，会错过约60%使用手机的人，错过的人数会是2008年的3倍。而皮尤研究中心的最新数据显示[4]，2020年使用智能手机的人数保守估计占比也超过80%。
当然，统计学家已经解决了这个问题，即通过使用“双层取样框架”，对有线和移动电话分别随机拨号取样。
但问题是，美国现有法律禁止使用自动拨号系统直接拨打移动电话，所以无法像有线电话那样，先自动拨号，待有人接听后再转为人工访谈。所以对移动电话必须人工拨打，耗时耗力。
这样做效率低自不待言，成本也极高。比如进行一个1000人的调查，通常需要人工拨打2万个电话，不仅得给民调人员付费，对每个接受访谈的人也要支付10美元。正因如此，很多民调机构为了节省费用进行了很多折衷的安排，因可能偏离正确的统计学方法，会极大影响调查的质量。
挑战之二：民调的回应率低。这导致成本进一步提高，更重要的是，让随机取样变得十分困难。美国民意研究协会前主席Cliff Zukin曾回忆道，他在1970年代进入民调行业时，回应率高达80%，而就算这样，也还担心缺失的20%会影响调查质量，并采取措施来弥补。数据显示，1997年皮尤研究中心的回应率为36%，2014年降到8%。这导致两个问题：一是因不能进行随机抽样，所以代表性差；二是成本上升。
平均数：是统计中最常用的数据代表值，比较可靠和稳定，因为它与每一个数据都有关，反映出来的信息最充分。平均数既可以描述一组数据本身的整体平均情况，也可以用来作为不同组数据比较的一个标准。因此，它在生活中应用最。
挑战之三：成本上升后，有份量的民调减少，而科学性较低、未得到充分检验的民调技术充斥市场，低资质新机构大量渗入。
更大的问题是无法从互联网上的调查者中选取有代表性的样本。统计学家还没有解决这个问题。所以，无法使用现有理论进行有效估计并给出误差边界。因为这个方法成本低，所以吸引了很多新机构进入民调市场以博取经济利益。“劣币驱逐良币”，这反而让真正对行业有深刻理解的民调机构在淡出市场。
链接: https://pan.baidu.com/s/1HoYbrWFXZ1FE3NN0MlihWA 提取码: 2rxw 书名：统计学的世界 作者：[美] 戴维·穆尔 译者：郑磊 豆瓣评分：8.5 出版社：中信出版社 出版年份：2016-12-1 页数：712 内容简介：统。
挑战之四：如何识别“可能的选民”（likely voters）。这个问题正变得日益棘手。通常，60%的被调查者说会投票，但实际上投票的可能只有40%。民调机构必须猜测谁会投票，依据通常是受访者对若干个问题的回答，包括他们对选举的兴趣，对获胜者的关心程度，过去的投票历史以及他们在此次特定选举中投票的可能性。但不幸的是，这种猜测很难。盖洛普2012年很大程度上就是因此失手。而随着覆盖范围的缩小和回应率下降，预测变得更加困难。因此，民意测验的准确性逐渐从科学转向艺术。
勿将选举民调与非选举民调混为一谈
可能不少人会将选举民调与非选举民调等同，其实它们有重要区别。在众多类型的调查中，选举民调是独一无二的：不仅必须提供代表性的公众样本，还必须正确识别可能的选民，因为被调查者的态度不代表他将据此行动。与此相反，典型的非选举民调是能够针对全体选民的统计特征进行非常精确的基准调整的奢侈品，而选举民调则进一步要求对选民的情况进行有根据的估计[5]。
从这个角度观察，可为上文所讨论的争论与挑战问题提供一个很好的解释。
有无终极解决方案？
为摆脱困境，有的民调机构已经开始进行多种尝试。
一种是不看单一的民调，而是综合评估所有民调的结果，甚至构建模型，在需要时还对参数进行某种调整。
2012年大选，538正确预测到了全部50个州的胜者。但在2016年大选前夕，其预测希拉里获胜的概率为71%，却与实际结果大大偏离。
值得关注的是，今年该领域出现了一个“新”面孔，即著名的《经济学人》（The Economist），首次开始对美国大选进行统计预测。他们引入了哥伦比亚大学的政治科学家安德鲁·盖尔曼（Andrew Gelman）和梅林·海德曼斯（Merlin Heidemanns），在他们的协助下开发模型来计算各候选人获胜的概率。在其模型的构建中，综合运用了统计学和计量经济学的方法，同时不仅考虑各种民调结果，还加入了可能影响选民决定的“基本面的结构因素”。其最新的预测结果是：拜登获胜的概率是96%，获得选举人票的区间为259-415张；特朗普获胜的概率是4%，获得选举人票的区间为123-279张。因获得超过半数选举人票（２７０张或以上）即可当选总统，所以两人均有机会，虽然前者远大于后者。
在美国统计学家戴维·S·穆尔的《统计学的世界》中，就专门介绍了一个案例：米德尔敦房屋售价的分布无疑会是右偏的，但是如果该市的市议会为了决定税率，而要估计所有房屋的总市值的时候，那么对他们有帮助的数是平均数而非。
《经济学人》很谦虚，或者说很清醒，强调说无论预测怎样，结果都不是能够最终保证的。
我们有机会在大选结束后来检验其新方法的有效性。
选举民调究竟是什么？
![[美国]戴维·S·穆尔《统计学的世界》作品简介与读书感悟](http://img.tianshugan.com/tsg/tp/60.jpg)
它是科学，还是艺术？
它属于统计学、计量经济学、社会学还是政治科学？
它记录的是某一瞬间被访问者的态度，还是能够预测未来？
大概都是。但又不完全是。
或许，这正是选举民调魅力无穷、让人如此着迷的原因吧。
但真正的大戏才正要开场……
书名 ：统计学的世界(第8版)豆瓣评分：8.7 作者: [美]戴维·穆尔[美]威廉·诺茨 出版社： 中信出版社 出版年: 2003-11 页数: 633 内容简介：统计学的思想和各种统计数据对政府、社会乃至我们的工作和日常生活都产生。
[1] 见《统计学的世界》，戴维.穆尔著，郑惟厚译，中信出版社，2003年9月。
[2] 见《统计学的世界》，戴维.穆尔著，郑惟厚译，中信出版社，2003年9月。
[3] Cliff Zukin. 2015. “What’s the Matter With Polling?”，2015年6月20日，《纽约时报》。见
[4] 见
[5] “An Evaluation of 2016 Election Polls in the U.S.”，May 2017. By Ad Hoc Committee on 2016 Election Polling，commissioned by the American Association for Public Opinion Research (AAPOR).
中国社会科学院国家金融与发展实验室设立于2005年，原名“中国社会科学院金融实验室”。这是中国第一个兼跨社会科学和自然科学的国家级金融智库。2015年6月，在吸收社科院若干其他新型智库型研究机构的基础上，更名为“国家金融与发展实验室”。2015年11月，被中国政府批准为首批25家国家高端智库之一。
![[美]大卫·哈维《世界的逻辑》作品简介与读书感悟](http://img.tianshugan.com/tsg/files/202212/1606201387744518146.jpg)
![[日本]乙一《夏天·烟火·我的尸体》作品简介与读书感悟](http://img.tianshugan.com/tsg/files/202212/1599581915961122817.jpg)
![[日]广岛玲子著《神奇点心店（1-8）（全8册）》作品简介与读书感悟](http://img.tianshugan.com/tsg/files/202212/1604453820602015746.jpg)
![[美]查尔斯·埃利斯《长线》作品简介与读书感悟](http://img.tianshugan.com/tsg/files/202212/1599762260211818497.jpg)
