可悲的民调,到底错在了哪里?
无论拜登能不能依靠邮寄选票实现翻盘、从而赢得大选(这种情况大概会是2000年重演),2020年大选的民调机构都会被钉在历史的耻辱柱上,供后世耻笑。
大选前的最后一组民调显示:拜登在全国层面领先大约8个百分点,在战场州领先大约3个百分点。现在,无论战场州的结果如何,全国形势已经很明朗了:懂王仅仅落后1.6个百分点,与四年前相仿。高达6个百分点的错判,简直是不可饶恕的错误。
我们无需指出民调在部分战场州错的有多离谱——认为拜登在得克萨斯只落后2个百分点(导致他错误地在此投入大量资源);认为懂王在俄亥俄与拜登是五五开(其实懂王干脆利落地赢了8个百分点);认为拜登在铁锈地带的优势很稳固(其实三个州都处于胶着状态)……
总而言之,这是一次民调失败的总记录,甚至比四年前的失败还彻底。四年前,民调机构还可以归咎于“十一月惊奇”(FBI重启邮件门调查),而今年没有这种惊奇了。过去四年,媒体和民调机构一直在反思自己的错误、改进民调取样方式,事实证明这一切都毫无作用;或许有副作用?
当然,懂王还没有赢得选举。拜登完全有可能后来居上,依靠邮寄选票险胜。但是,即便如此,民调还是彻头彻尾地错了,因为他们期待的是一场“蓝色巨浪”。某些愚蠢的媒体甚至讨论过拜登能不能复制里根在1984年创造的奇迹,把懂王的铁票统统翻过来。想多了。
538预测拜登的胜率高达89%,显然是严重高估了
千言万语,万语千言:民调不靠谱,谁信民调谁就傻了。那么,民调到底错在哪里了呢?换句话说,民调机构究竟应该如何改变,才能避免再次被羞辱呢?
对于这个问题,本怪盗团团长比较有发言权,因为我做过很多草根调研,其中既有成功的,也有失败的。让我印象最深刻的一场失败发生在四年多以前,恰恰是懂王第一次选举前三个月。当时我就职于某外资投行(名字就不点了),往返于北京和香港之间,看着一大堆靠谱或不靠谱的A股+港股小股票。我的这个老东家有一个引以为傲的下属机构,叫做“证据实验室”——听名字就很高大上的样子。
“证据实验室”的主要职能是通过线上调研、线下访谈等方式,提供第一手的草根信息,从而指导投资决策。一般投资者获得信息的方式,无非是去上市公司拜访、读财报、找专家咨询等;这些全部是“自上而下”的调研方式。老东家在全球每个主要国家都设立了“证据实验室”,据说在中国就覆盖了全部一二线城市和部分三线城市,能够提供“自下而上”的宝贵信息。我得知这个消息的时候非常兴奋,迫不及待地想让“证据实验室”为我服务。但是,等了半年才轮到我。
因为“证据实验室”非常昂贵,搞一次涉及几万人的问卷调查要投入几十万乃至上百万费用,还要涉及数十名全职或外包员工,所以流程非常缓慢。经过半年锲而不舍地申请,我终于获准利用“证据实验室”对中国的电影行业进行调研。当时是2016年二季度,电影市场从高速增长骤然转入下滑轨道,所有人都想知道:究竟发生了什么?这种下滑是暂时的吗?电影行业还值不值得投资,如果值得,那么应该下注哪些公司?
“证据实验室”花了三个月进行了大范围问卷调查,覆盖了来自所有省会城市和部分三线城市的上万名消费者。我在当年7月拿到了结论,令我大开眼界:
1.大部分受访者表示,未来半年会提高去电影院的频率,而且认为电影是自己生活不可或缺的一部分。
2.绝大部分受访者并不认为现在的电影票价偏贵,而且可以接受10-20%的票价上涨。
3.超过半数受访者表示,相比好莱坞电影,他们更喜欢国产电影,而且爱看各种各样的国产电影。
4.几乎所有受访者都表示,流媒体和短视频的普及不会影响他们对线下看电影的兴趣。
根据上述资料,毫无疑问,中国电影行业将在半年内经历一波荡气回肠的反弹,观影人数和票价都可以上升,国产片的市场份额也可以上升……你还能找到比这更乐观的行业吗?说实话,这个结论乐观得太过分了,但是我觉得,既然“证据实验室”花了这么多钱、这么多时间,用科学方法做了这么一个科学调查,那么总不可能是错的吧?至少方向正确吧?
无论最终结果如何,民调肯定是错的离谱了
于是,本怪盗团团长以上述民调数据为基础,撰写了一系列唱多中国电影行业的研究报告。今天回想起来,我恨不得穿越回去彻底撕毁报告草稿——简直是丢人现眼。直到2017年8月(整整一年以后),电影市场才触底反弹,而且迄今也没有恢复过2013-15年的惊人增速。电影票价多年没有上涨,观影人次增长非常缓慢;国产电影的市场份额在2017年上半年暴跌了一波。错的这么彻底,也是没谁了。
此后的四年,我一直在扪心自问:到底哪里错了?为什么几乎在每个问题上都错了?事实上,我应该在阅读原始数据时,就发现一些疑点,足以证明这次民调有严重瑕疵:
1.大部分受访者表示自己平均每月去一次电影院。这是不可能的:当年中国人均每年观影只有1次,在一线城市也只有4次。平均每月看一次电影,就算在美国的大城市也不可能发生。
2.大部分受访者表示自己最经常使用“淘宝电影”(即淘票票)购买电影票,比例远远超过了淘票票官方公布的数字。有可能他们根本没有认真回答问题。
3.在被问及“你喜欢看哪些类型的电影”时,许多受访者勾选了全部选项,或者至少勾选了大部分选项。消费者会爱看一切类型的电影吗?要么调查方法有问题,要么数据源头有问题。
后来我又做过一些类似的民调。慢慢的,我发现了民调这种调研方法本身就是有问题的。无论由谁去做民调,无论用什么科学手段做,都不能消除民调本身的巨大劣势。让我总结一下民调的可悲之处:
首先,受访者往往不会认真对待民调。试想想,你在吃饭或看电视时接到一个电话,询问你更支持懂王还是拜登,或者你平均多久去一次电影院;你有多大概率认真回答?可能你会凭印象随便说个答案,可能你会恶作剧地说个假答案。在这种5-10分钟的短暂交流中,你会透露什么心声吗?
其次,受访者的回答受到了调查者的明确影响。例如,在那次失败的“电影行业民调”当中,我们的问卷措辞比较乐观;从设计者到执行者,大家骨子里都是希望电影行业实现良好增长的(否则还怎么赚钱)。这种乐观的潜意识传导给了受访者,他们不愿让我们失望,就给出了让我们满意的回答。就像你接到一个电话:“请问您支持拜登还是懂王呢?”从民调机构的名字中,你知道他们大概率是希望拜登赢的,所以你就顺着他们回答了。
再次,受访者在潜意识里都不希望被“孤立”,或者被视为“低人一等”。例如,在电影票价的问题上,他们会想:“如果我说30块钱的电影票太贵了,不等于承认自己很穷吗?”在国产片VS好莱坞影片的问题上,他们会想:“自称爱看国产片,是不是会显得更支持国货、更正确呢?”虽然调研员不会进入他们的日常生活,但是潜意识仍然会阻止他们说出真话。
我自己的微信朋友圈就是一个现成的例子:绝大部分人都没有晒过任何在拼多多买的东西,但是1/4的人关注了拼多多的微信公众号(说明至少使用过一次拼多多小程序)。绝大部分人都自称工作很忙、不玩游戏,但是有一半人出现在了《王者荣耀》游戏号的排行榜当中。说到底,对于金融圈或互联网圈的专业人士来说,玩游戏会有玩物丧志、不务正业的嫌疑,而在拼多多买便宜货则对个人经济形象不利。所以大家都默契地选择了不去宣传。
选举还没有结束,这次可能还是要通过诉讼决胜
如果在微信好友这样的强社交关系当中,都普遍存在着“言不由衷”“经营人设”的状况,那么可想而知——那些萍水相逢的民调会有多大价值?
自从2017年以后,我从来没有使用过民调这个工具。我觉得,可靠的草根调研方式有两个:第一是以爬虫、卫星图、大数据等纯粹的技术手段,去获得“客观的”数据;第二是以一对一访谈、喝茶乃至喝酒聊天等手段,去获得“深度的”认识。民调则两头落空,既不客观又不深度。
用专业手段进行的大范围民调可能还有一点参考价值,用业余手段进行的不科学民调则一无是处(甚至有负作用)。我还记得2019年11月,某券商分析师组织了50名同事品尝瑞幸咖啡,得出了“大部分人喜爱瑞幸咖啡口味”的民调结论。我不知道样本数仅仅为50人的民调有什么参考意义……
不过,我们还需要正视并回答一个问题:
在2016年以前,民调对总统选举的预测大致还是有用的,误差不会特别大。为什么2016年以来就变得如此离谱了呢?
我觉得这个问题得分两方面回答。我不是统计学与心理学方面的专家,我只能根据我的主观感受提供一些备选答案:
首先,随着社交网络的崛起,人们的社交圈子大幅扩展了,社交频率也大幅提升了。无论你在刷朋友圈还是推特,你都是在“社交”。所以,人们对于“社交孤立”乃至“社会化死亡”的恐惧也与日俱增。人们越来越不愿意表达与主流观点相悖的观点,这种本能已经刻在了人们的脑海深处。这就是成千上万的“沉默的懂王粉丝”选择沉默的主要原因。
其次,懂王是一个非常特殊的候选人,他的人设和行为逻辑都是前所未有的。因为他是一个特异点,所以在制订关于他的调查问卷时要特别小心,询问的时候也要特别小心。因为民调机构从来没有理解过懂王这个人以及他代表的利益,也就永远无法正确地做调查。
微信公众号/视频号/新浪微博/**:互联网怪盗团
欢迎关注怪盗团视频号,有大量新鲜干货
免责声明:上述内容仅代表发帖人个人观点,不构成本平台的任何投资建议。
写的太牛了