蚊子的倩影
2020-11-05
写的太牛了
@互联网怪盗团：
可悲的民调，到底错在了哪里？
免责声明：上述内容仅代表发帖人个人观点，不构成本平台的任何投资建议。
分享至
微信
复制链接
精彩评论
我们需要你的真知灼见来填补这片空白
打开APP，发表看法
APP内打开
发表看法
{"i18n":{"language":"zh_CN"},"detailType":1,"isChannel":false,"data":{"magic":2,"id":302966097,"tweetId":"302966097","gmtCreate":1604515648819,"gmtModify":1703833590339,"author":{"id":3515668592526498,"idStr":"3515668592526498","authorId":3515668592526498,"authorIdStr":"3515668592526498","name":"蚊子的倩影","avatar":"https://static.tigerbbs.com/becdc90004b3daf4d4605fc60ec255fe","vip":1,"userType":1,"introduction":"","boolIsFan":false,"boolIsHead":false,"crmLevel":5,"crmLevelSwitch":1,"individualDisplayBadges":[],"fanSize":2,"starInvestorFlag":false},"themes":[],"images":[],"coverImages":[],"extraTitle":"","html":"<html><head></head><body><p>写的太牛了</p></body></html>","htmlText":"<html><head></head><body><p>写的太牛了</p></body></html>","text":"写的太牛了","highlighted":1,"essential":1,"paper":1,"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"link":"https://laohu8.com/post/302966097","repostId":302050172,"repostType":1,"repost":{"magic":2,"id":302050172,"tweetId":"302050172","gmtCreate":1604501376069,"gmtModify":1703833476878,"author":{"id":3527667638457531,"idStr":"3527667638457531","authorId":3527667638457531,"authorIdStr":"3527667638457531","name":"互联网怪盗团","avatar":"https://static.tigerbbs.com/887d4a1db5c87bb18e811a63bbad5e18","vip":1,"userType":1,"introduction":"","boolIsFan":false,"boolIsHead":false,"crmLevel":1,"crmLevelSwitch":0,"individualDisplayBadges":[],"fanSize":8140,"starInvestorFlag":false},"themes":[],"images":[{"img":"https://static.tigerbbs.com/387272c532054066b28247697a45f665"},{"img":"https://static.tigerbbs.com/8908e23c64fe43809ab16009adec7e9f"},{"img":"https://static.tigerbbs.com/40665a01c7ae49edb951b69aec1fd122"}],"coverImages":[{"img":"https://static.tigerbbs.com/387272c532054066b28247697a45f665"},{"img":"https://static.tigerbbs.com/8908e23c64fe43809ab16009adec7e9f"},{"img":"https://static.tigerbbs.com/40665a01c7ae49edb951b69aec1fd122"}],"title":"可悲的民调，到底错在了哪里？","extraTitle":"","html":"<html><head></head><body><p><span>无论拜登能不能依靠邮寄选票实现翻盘、从而赢得大选（这种情况大概会是2000年重演），2020年大选的民调机构都会被钉在历史的耻辱柱上，供后世耻笑。</span></p> <p><span>大选前的最后一组民调显示：拜登在全国层面领先大约8个百分点，在战场州领先大约3个百分点。现在，无论战场州的结果如何，全国形势已经很明朗了：懂王仅仅落后1.6个百分点，与四年前相仿。高达6个百分点的错判，简直是不可饶恕的错误。</span></p> <p><span>我们无需指出民调在部分战场州错的有多离谱——认为拜登在得克萨斯只落后2个百分点（导致他错误地在此投入大量资源）；认为懂王在俄亥俄与拜登是五五开（其实懂王干脆利落地赢了8个百分点）；认为拜登在铁锈地带的优势很稳固（其实三个州都处于胶着状态）……</span></p> <p><span>总而言之，这是一次民调失败的总记录，甚至比四年前的失败还彻底。四年前，民调机构还可以归咎于“十一月惊奇”（FBI重启邮件门调查），而今年没有这种惊奇了。过去四年，媒体和民调机构一直在反思自己的错误、改进民调取样方式，事实证明这一切都毫无作用；或许有副作用？</span></p> <p><span>当然，懂王还没有赢得选举。拜登完全有可能后来居上，依靠邮寄选票险胜。但是，即便如此，民调还是彻头彻尾地错了，因为他们期待的是一场“蓝色巨浪”。某些愚蠢的媒体甚至讨论过拜登能不能复制里根在1984年创造的奇迹，把懂王的铁票统统翻过来。想多了。</span></p> <span><span> <span> </span> </span></span> <p><img src=\"https://static.tigerbbs.com/8908e23c64fe43809ab16009adec7e9f\"><span>538预测拜登的胜率高达89%，显然是严重高估了</span></p> <p><span>千言万语，万语千言：民调不靠谱，谁信民调谁就傻了。那么，民调到底错在哪里了呢？换句话说，民调机构究竟应该如何改变，才能避免再次被羞辱呢？</span></p> <p><span>对于这个问题，本怪盗团团长比较有发言权，因为我做过很多草根调研，其中既有成功的，也有失败的。让我印象最深刻的一场失败发生在四年多以前，恰恰是懂王第一次选举前三个月。当时我就职于某外资投行（名字就不点了），往返于北京和香港之间，看着一大堆靠谱或不靠谱的A股+港股小股票。我的这个老东家有一个引以为傲的下属机构，叫做“证据实验室”——听名字就很高大上的样子。</span></p> <p><span>“证据实验室”的主要职能是通过线上调研、线下访谈等方式，提供第一手的草根信息，从而指导投资决策。一般投资者获得信息的方式，无非是去上市公司拜访、读财报、找专家咨询等；这些全部是“自上而下”的调研方式。老东家在全球每个主要国家都设立了“证据实验室”，据说在中国就覆盖了全部一二线城市和部分三线城市，能够提供“自下而上”的宝贵信息。我得知这个消息的时候非常兴奋，迫不及待地想让“证据实验室”为我服务。但是，等了半年才轮到我。</span></p> <p><span>因为“证据实验室”非常昂贵，搞一次涉及几万人的问卷调查要投入几十万乃至上百万费用，还要涉及数十名全职或外包员工，所以流程非常缓慢。经过半年锲而不舍地申请，我终于获准利用“证据实验室”对中国的电影行业进行调研。当时是2016年二季度，电影市场从高速增长骤然转入下滑轨道，所有人都想知道：究竟发生了什么？这种下滑是暂时的吗？电影行业还值不值得投资，如果值得，那么应该下注哪些公司？</span></p> <p><span>“证据实验室”花了三个月进行了大范围问卷调查，覆盖了来自所有省会城市和部分三线城市的上万名消费者。我在当年7月拿到了结论，令我大开眼界：</span></p> <p><span>1.大部分受访者表示，未来半年会提高去电影院的频率，而且认为电影是自己生活不可或缺的一部分。</span></p> <p><span>2.绝大部分受访者并不认为现在的电影票价偏贵，而且可以接受10-20%的票价上涨。</span></p> <p><span>3.超过半数受访者表示，相比好莱坞电影，他们更喜欢国产电影，而且爱看各种各样的国产电影。</span></p> <p><span>4.几乎所有受访者都表示，流媒体和短视频的普及不会影响他们对线下看电影的兴趣。</span></p> <p><span>根据上述资料，毫无疑问，中国电影行业将在半年内经历一波荡气回肠的反弹，观影人数和票价都可以上升，国产片的市场份额也可以上升……你还能找到比这更乐观的行业吗？说实话，这个结论乐观得太过分了，但是我觉得，既然“证据实验室”花了这么多钱、这么多时间，用科学方法做了这么一个科学调查，那么总不可能是错的吧？至少方向正确吧？</span></p> <p><img src=\"https://static.tigerbbs.com/40665a01c7ae49edb951b69aec1fd122\"><span>无论最终结果如何，民调肯定是错的离谱了</span></p> <p><span>于是，本怪盗团团长以上述民调数据为基础，撰写了一系列唱多中国电影行业的研究报告。今天回想起来，我恨不得穿越回去彻底撕毁报告草稿——简直是丢人现眼。直到2017年8月（整整一年以后），电影市场才触底反弹，而且迄今也没有恢复过2013-15年的惊人增速。电影票价多年没有上涨，观影人次增长非常缓慢；国产电影的市场份额在2017年上半年暴跌了一波。错的这么彻底，也是没谁了。</span></p> <p><span>此后的四年，我一直在扪心自问：到底哪里错了？为什么几乎在每个问题上都错了？事实上，我应该在阅读原始数据时，就发现一些疑点，足以证明这次民调有严重瑕疵：</span></p> <p><span>1.大部分受访者表示自己平均每月去一次电影院。这是不可能的：当年中国人均每年观影只有1次，在一线城市也只有4次。平均每月看一次电影，就算在美国的大城市也不可能发生。</span></p> <p><span>2.大部分受访者表示自己最经常使用“淘宝电影”（即淘票票）购买电影票，比例远远超过了淘票票官方公布的数字。有可能他们根本没有认真回答问题。</span></p> <p><span>3.在被问及“你喜欢看哪些类型的电影”时，许多受访者勾选了全部选项，或者至少勾选了大部分选项。消费者会爱看一切类型的电影吗？要么调查方法有问题，要么数据源头有问题。</span></p> <p><span>后来我又做过一些类似的民调。慢慢的，我发现了民调这种调研方法本身就是有问题的。无论由谁去做民调，无论用什么科学手段做，都不能消除民调本身的巨大劣势。让我总结一下民调的可悲之处：</span></p> <p><span>首先，受访者往往不会认真对待民调。试想想，你在吃饭或看电视时接到一个电话，询问你更支持懂王还是拜登，或者你平均多久去一次电影院；你有多大概率认真回答？可能你会凭印象随便说个答案，可能你会恶作剧地说个假答案。在这种5-10分钟的短暂交流中，你会透露什么心声吗？</span></p> <p><span>其次，受访者的回答受到了调查者的明确影响。例如，在那次失败的“电影行业民调”当中，我们的问卷措辞比较乐观；从设计者到执行者，大家骨子里都是希望电影行业实现良好增长的（否则还怎么赚钱）。这种乐观的潜意识传导给了受访者，他们不愿让我们失望，就给出了让我们满意的回答。就像你接到一个电话：“请问您支持拜登还是懂王呢？”从民调机构的名字中，你知道他们大概率是希望拜登赢的，所以你就顺着他们回答了。</span></p> <p><span>再次，受访者在潜意识里都不希望被“孤立”，或者被视为“低人一等”。例如，在电影票价的问题上，他们会想：“如果我说30块钱的电影票太贵了，不等于承认自己很穷吗？”在国产片VS好莱坞影片的问题上，他们会想：“自称爱看国产片，是不是会显得更支持国货、更正确呢？”虽然调研员不会进入他们的日常生活，但是潜意识仍然会阻止他们说出真话。</span></p> <p><span>我自己的微信朋友圈就是一个现成的例子：绝大部分人都没有晒过任何在拼多多买的东西，但是1/4的人关注了拼多多的微信公众号（说明至少使用过一次拼多多小程序）。绝大部分人都自称工作很忙、不玩游戏，但是有一半人出现在了《王者荣耀》游戏号的排行榜当中。说到底，对于金融圈或互联网圈的专业人士来说，玩游戏会有玩物丧志、不务正业的嫌疑，而在拼多多买便宜货则对个人经济形象不利。所以大家都默契地选择了不去宣传。</span></p> <p><img src=\"https://static.tigerbbs.com/387272c532054066b28247697a45f665\"><span>选举还没有结束，这次可能还是要通过诉讼决胜</span></p> <p><span>如果在微信好友这样的强社交关系当中，都普遍存在着“言不由衷”“经营人设”的状况，那么可想而知——那些萍水相逢的民调会有多大价值？</span></p> <p><span>自从2017年以后，我从来没有使用过民调这个工具。我觉得，可靠的草根调研方式有两个：第一是以爬虫、卫星图、大数据等纯粹的技术手段，去获得“客观的”数据；第二是以一对一访谈、喝茶乃至喝酒聊天等手段，去获得“深度的”认识。民调则两头落空，既不客观又不深度。</span></p> <p><span>用专业手段进行的大范围民调可能还有一点参考价值，用业余手段进行的不科学民调则一无是处（甚至有负作用）。我还记得2019年11月，某券商分析师组织了50名同事品尝瑞幸咖啡，得出了“大部分人喜爱瑞幸咖啡口味”的民调结论。我不知道样本数仅仅为50人的民调有什么参考意义……</span></p> <p><span>不过，我们还需要正视并回答一个问题：</span></p> <p><span>在2016年以前，民调对总统选举的预测大致还是有用的，误差不会特别大。为什么2016年以来就变得如此离谱了呢？</span></p> <p><span>我觉得这个问题得分两方面回答。我不是统计学与心理学方面的专家，我只能根据我的主观感受提供一些备选答案：</span></p> <p><span>首先，随着社交网络的崛起，人们的社交圈子大幅扩展了，社交频率也大幅提升了。无论你在刷朋友圈还是推特，你都是在“社交”。所以，人们对于“社交孤立”乃至“社会化死亡”的恐惧也与日俱增。人们越来越不愿意表达与主流观点相悖的观点，这种本能已经刻在了人们的脑海深处。这就是成千上万的“沉默的懂王粉丝”选择沉默的主要原因。</span></p> <p><span>其次，懂王是一个非常特殊的候选人，他的人设和行为逻辑都是前所未有的。因为他是一个特异点，所以在制订关于他的调查问卷时要特别小心，询问的时候也要特别小心。因为民调机构从来没有理解过懂王这个人以及他代表的利益，也就永远无法正确地做调查。</span></p> <p><span>微信公众号/视频号/新浪微博/**：</span><span>互联网怪盗团</span></p> <p><span>欢迎关注怪盗团视频号，有大量新鲜干货</span></p></body></html>","htmlText":"<html><head></head><body><p><span>无论拜登能不能依靠邮寄选票实现翻盘、从而赢得大选（这种情况大概会是2000年重演），2020年大选的民调机构都会被钉在历史的耻辱柱上，供后世耻笑。</span></p> <p><span>大选前的最后一组民调显示：拜登在全国层面领先大约8个百分点，在战场州领先大约3个百分点。现在，无论战场州的结果如何，全国形势已经很明朗了：懂王仅仅落后1.6个百分点，与四年前相仿。高达6个百分点的错判，简直是不可饶恕的错误。</span></p> <p><span>我们无需指出民调在部分战场州错的有多离谱——认为拜登在得克萨斯只落后2个百分点（导致他错误地在此投入大量资源）；认为懂王在俄亥俄与拜登是五五开（其实懂王干脆利落地赢了8个百分点）；认为拜登在铁锈地带的优势很稳固（其实三个州都处于胶着状态）……</span></p> <p><span>总而言之，这是一次民调失败的总记录，甚至比四年前的失败还彻底。四年前，民调机构还可以归咎于“十一月惊奇”（FBI重启邮件门调查），而今年没有这种惊奇了。过去四年，媒体和民调机构一直在反思自己的错误、改进民调取样方式，事实证明这一切都毫无作用；或许有副作用？</span></p> <p><span>当然，懂王还没有赢得选举。拜登完全有可能后来居上，依靠邮寄选票险胜。但是，即便如此，民调还是彻头彻尾地错了，因为他们期待的是一场“蓝色巨浪”。某些愚蠢的媒体甚至讨论过拜登能不能复制里根在1984年创造的奇迹，把懂王的铁票统统翻过来。想多了。</span></p> <span><span> <span> </span> </span></span> <p><img src=\"https://static.tigerbbs.com/8908e23c64fe43809ab16009adec7e9f\"><span>538预测拜登的胜率高达89%，显然是严重高估了</span></p> <p><span>千言万语，万语千言：民调不靠谱，谁信民调谁就傻了。那么，民调到底错在哪里了呢？换句话说，民调机构究竟应该如何改变，才能避免再次被羞辱呢？</span></p> <p><span>对于这个问题，本怪盗团团长比较有发言权，因为我做过很多草根调研，其中既有成功的，也有失败的。让我印象最深刻的一场失败发生在四年多以前，恰恰是懂王第一次选举前三个月。当时我就职于某外资投行（名字就不点了），往返于北京和香港之间，看着一大堆靠谱或不靠谱的A股+港股小股票。我的这个老东家有一个引以为傲的下属机构，叫做“证据实验室”——听名字就很高大上的样子。</span></p> <p><span>“证据实验室”的主要职能是通过线上调研、线下访谈等方式，提供第一手的草根信息，从而指导投资决策。一般投资者获得信息的方式，无非是去上市公司拜访、读财报、找专家咨询等；这些全部是“自上而下”的调研方式。老东家在全球每个主要国家都设立了“证据实验室”，据说在中国就覆盖了全部一二线城市和部分三线城市，能够提供“自下而上”的宝贵信息。我得知这个消息的时候非常兴奋，迫不及待地想让“证据实验室”为我服务。但是，等了半年才轮到我。</span></p> <p><span>因为“证据实验室”非常昂贵，搞一次涉及几万人的问卷调查要投入几十万乃至上百万费用，还要涉及数十名全职或外包员工，所以流程非常缓慢。经过半年锲而不舍地申请，我终于获准利用“证据实验室”对中国的电影行业进行调研。当时是2016年二季度，电影市场从高速增长骤然转入下滑轨道，所有人都想知道：究竟发生了什么？这种下滑是暂时的吗？电影行业还值不值得投资，如果值得，那么应该下注哪些公司？</span></p> <p><span>“证据实验室”花了三个月进行了大范围问卷调查，覆盖了来自所有省会城市和部分三线城市的上万名消费者。我在当年7月拿到了结论，令我大开眼界：</span></p> <p><span>1.大部分受访者表示，未来半年会提高去电影院的频率，而且认为电影是自己生活不可或缺的一部分。</span></p> <p><span>2.绝大部分受访者并不认为现在的电影票价偏贵，而且可以接受10-20%的票价上涨。</span></p> <p><span>3.超过半数受访者表示，相比好莱坞电影，他们更喜欢国产电影，而且爱看各种各样的国产电影。</span></p> <p><span>4.几乎所有受访者都表示，流媒体和短视频的普及不会影响他们对线下看电影的兴趣。</span></p> <p><span>根据上述资料，毫无疑问，中国电影行业将在半年内经历一波荡气回肠的反弹，观影人数和票价都可以上升，国产片的市场份额也可以上升……你还能找到比这更乐观的行业吗？说实话，这个结论乐观得太过分了，但是我觉得，既然“证据实验室”花了这么多钱、这么多时间，用科学方法做了这么一个科学调查，那么总不可能是错的吧？至少方向正确吧？</span></p> <p><img src=\"https://static.tigerbbs.com/40665a01c7ae49edb951b69aec1fd122\"><span>无论最终结果如何，民调肯定是错的离谱了</span></p> <p><span>于是，本怪盗团团长以上述民调数据为基础，撰写了一系列唱多中国电影行业的研究报告。今天回想起来，我恨不得穿越回去彻底撕毁报告草稿——简直是丢人现眼。直到2017年8月（整整一年以后），电影市场才触底反弹，而且迄今也没有恢复过2013-15年的惊人增速。电影票价多年没有上涨，观影人次增长非常缓慢；国产电影的市场份额在2017年上半年暴跌了一波。错的这么彻底，也是没谁了。</span></p> <p><span>此后的四年，我一直在扪心自问：到底哪里错了？为什么几乎在每个问题上都错了？事实上，我应该在阅读原始数据时，就发现一些疑点，足以证明这次民调有严重瑕疵：</span></p> <p><span>1.大部分受访者表示自己平均每月去一次电影院。这是不可能的：当年中国人均每年观影只有1次，在一线城市也只有4次。平均每月看一次电影，就算在美国的大城市也不可能发生。</span></p> <p><span>2.大部分受访者表示自己最经常使用“淘宝电影”（即淘票票）购买电影票，比例远远超过了淘票票官方公布的数字。有可能他们根本没有认真回答问题。</span></p> <p><span>3.在被问及“你喜欢看哪些类型的电影”时，许多受访者勾选了全部选项，或者至少勾选了大部分选项。消费者会爱看一切类型的电影吗？要么调查方法有问题，要么数据源头有问题。</span></p> <p><span>后来我又做过一些类似的民调。慢慢的，我发现了民调这种调研方法本身就是有问题的。无论由谁去做民调，无论用什么科学手段做，都不能消除民调本身的巨大劣势。让我总结一下民调的可悲之处：</span></p> <p><span>首先，受访者往往不会认真对待民调。试想想，你在吃饭或看电视时接到一个电话，询问你更支持懂王还是拜登，或者你平均多久去一次电影院；你有多大概率认真回答？可能你会凭印象随便说个答案，可能你会恶作剧地说个假答案。在这种5-10分钟的短暂交流中，你会透露什么心声吗？</span></p> <p><span>其次，受访者的回答受到了调查者的明确影响。例如，在那次失败的“电影行业民调”当中，我们的问卷措辞比较乐观；从设计者到执行者，大家骨子里都是希望电影行业实现良好增长的（否则还怎么赚钱）。这种乐观的潜意识传导给了受访者，他们不愿让我们失望，就给出了让我们满意的回答。就像你接到一个电话：“请问您支持拜登还是懂王呢？”从民调机构的名字中，你知道他们大概率是希望拜登赢的，所以你就顺着他们回答了。</span></p> <p><span>再次，受访者在潜意识里都不希望被“孤立”，或者被视为“低人一等”。例如，在电影票价的问题上，他们会想：“如果我说30块钱的电影票太贵了，不等于承认自己很穷吗？”在国产片VS好莱坞影片的问题上，他们会想：“自称爱看国产片，是不是会显得更支持国货、更正确呢？”虽然调研员不会进入他们的日常生活，但是潜意识仍然会阻止他们说出真话。</span></p> <p><span>我自己的微信朋友圈就是一个现成的例子：绝大部分人都没有晒过任何在拼多多买的东西，但是1/4的人关注了拼多多的微信公众号（说明至少使用过一次拼多多小程序）。绝大部分人都自称工作很忙、不玩游戏，但是有一半人出现在了《王者荣耀》游戏号的排行榜当中。说到底，对于金融圈或互联网圈的专业人士来说，玩游戏会有玩物丧志、不务正业的嫌疑，而在拼多多买便宜货则对个人经济形象不利。所以大家都默契地选择了不去宣传。</span></p> <p><img src=\"https://static.tigerbbs.com/387272c532054066b28247697a45f665\"><span>选举还没有结束，这次可能还是要通过诉讼决胜</span></p> <p><span>如果在微信好友这样的强社交关系当中，都普遍存在着“言不由衷”“经营人设”的状况，那么可想而知——那些萍水相逢的民调会有多大价值？</span></p> <p><span>自从2017年以后，我从来没有使用过民调这个工具。我觉得，可靠的草根调研方式有两个：第一是以爬虫、卫星图、大数据等纯粹的技术手段，去获得“客观的”数据；第二是以一对一访谈、喝茶乃至喝酒聊天等手段，去获得“深度的”认识。民调则两头落空，既不客观又不深度。</span></p> <p><span>用专业手段进行的大范围民调可能还有一点参考价值，用业余手段进行的不科学民调则一无是处（甚至有负作用）。我还记得2019年11月，某券商分析师组织了50名同事品尝瑞幸咖啡，得出了“大部分人喜爱瑞幸咖啡口味”的民调结论。我不知道样本数仅仅为50人的民调有什么参考意义……</span></p> <p><span>不过，我们还需要正视并回答一个问题：</span></p> <p><span>在2016年以前，民调对总统选举的预测大致还是有用的，误差不会特别大。为什么2016年以来就变得如此离谱了呢？</span></p> <p><span>我觉得这个问题得分两方面回答。我不是统计学与心理学方面的专家，我只能根据我的主观感受提供一些备选答案：</span></p> <p><span>首先，随着社交网络的崛起，人们的社交圈子大幅扩展了，社交频率也大幅提升了。无论你在刷朋友圈还是推特，你都是在“社交”。所以，人们对于“社交孤立”乃至“社会化死亡”的恐惧也与日俱增。人们越来越不愿意表达与主流观点相悖的观点，这种本能已经刻在了人们的脑海深处。这就是成千上万的“沉默的懂王粉丝”选择沉默的主要原因。</span></p> <p><span>其次，懂王是一个非常特殊的候选人，他的人设和行为逻辑都是前所未有的。因为他是一个特异点，所以在制订关于他的调查问卷时要特别小心，询问的时候也要特别小心。因为民调机构从来没有理解过懂王这个人以及他代表的利益，也就永远无法正确地做调查。</span></p> <p><span>微信公众号/视频号/新浪微博/**：</span><span>互联网怪盗团</span></p> <p><span>欢迎关注怪盗团视频号，有大量新鲜干货</span></p></body></html>","text":"无论拜登能不能依靠邮寄选票实现翻盘、从而赢得大选（这种情况大概会是2000年重演），2020年大选的民调机构都会被钉在历史的耻辱柱上，供后世耻笑。 大选前的最后一组民调显示：拜登在全国层面领先大约8个百分点，在战场州领先大约3个百分点。现在，无论战场州的结果如何，全国形势已经很明朗了：懂王仅仅落后1.6个百分点，与四年前相仿。高达6个百分点的错判，简直是不可饶恕的错误。 我们无需指出民调在部分战场州错的有多离谱——认为拜登在得克萨斯只落后2个百分点（导致他错误地在此投入大量资源）；认为懂王在俄亥俄与拜登是五五开（其实懂王干脆利落地赢了8个百分点）；认为拜登在铁锈地带的优势很稳固（其实三个州都处于胶着状态）…… 总而言之，这是一次民调失败的总记录，甚至比四年前的失败还彻底。四年前，民调机构还可以归咎于“十一月惊奇”（FBI重启邮件门调查），而今年没有这种惊奇了。过去四年，媒体和民调机构一直在反思自己的错误、改进民调取样方式，事实证明这一切都毫无作用；或许有副作用？ 当然，懂王还没有赢得选举。拜登完全有可能后来居上，依靠邮寄选票险胜。但是，即便如此，民调还是彻头彻尾地错了，因为他们期待的是一场“蓝色巨浪”。某些愚蠢的媒体甚至讨论过拜登能不能复制里根在1984年创造的奇迹，把懂王的铁票统统翻过来。想多了。 538预测拜登的胜率高达89%，显然是严重高估了 千言万语，万语千言：民调不靠谱，谁信民调谁就傻了。那么，民调到底错在哪里了呢？换句话说，民调机构究竟应该如何改变，才能避免再次被羞辱呢？ 对于这个问题，本怪盗团团长比较有发言权，因为我做过很多草根调研，其中既有成功的，也有失败的。让我印象最深刻的一场失败发生在四年多以前，恰恰是懂王第一次选举前三个月。当时我就职于某外资投行（名字就不点了），往返于北京和香港之间，看着一大堆靠谱或不靠谱的A股+港股小股票。我的这个老东家有一个引以为傲的下属机构，叫做“证据实验室”——听名字就很高大上的样子。 “证据实验室”的主要职能是通过线上调研、线下访谈等方式，提供第一手的草根信息，从而指导投资决策。一般投资者获得信息的方式，无非是去上市公司拜访、读财报、找专家咨询等；这些全部是“自上而下”的调研方式。老东家在全球每个主要国家都设立了“证据实验室”，据说在中国就覆盖了全部一二线城市和部分三线城市，能够提供“自下而上”的宝贵信息。我得知这个消息的时候非常兴奋，迫不及待地想让“证据实验室”为我服务。但是，等了半年才轮到我。 因为“证据实验室”非常昂贵，搞一次涉及几万人的问卷调查要投入几十万乃至上百万费用，还要涉及数十名全职或外包员工，所以流程非常缓慢。经过半年锲而不舍地申请，我终于获准利用“证据实验室”对中国的电影行业进行调研。当时是2016年二季度，电影市场从高速增长骤然转入下滑轨道，所有人都想知道：究竟发生了什么？这种下滑是暂时的吗？电影行业还值不值得投资，如果值得，那么应该下注哪些公司？ “证据实验室”花了三个月进行了大范围问卷调查，覆盖了来自所有省会城市和部分三线城市的上万名消费者。我在当年7月拿到了结论，令我大开眼界： 1.大部分受访者表示，未来半年会提高去电影院的频率，而且认为电影是自己生活不可或缺的一部分。 2.绝大部分受访者并不认为现在的电影票价偏贵，而且可以接受10-20%的票价上涨。 3.超过半数受访者表示，相比好莱坞电影，他们更喜欢国产电影，而且爱看各种各样的国产电影。 4.几乎所有受访者都表示，流媒体和短视频的普及不会影响他们对线下看电影的兴趣。 根据上述资料，毫无疑问，中国电影行业将在半年内经历一波荡气回肠的反弹，观影人数和票价都可以上升，国产片的市场份额也可以上升……你还能找到比这更乐观的行业吗？说实话，这个结论乐观得太过分了，但是我觉得，既然“证据实验室”花了这么多钱、这么多时间，用科学方法做了这么一个科学调查，那么总不可能是错的吧？至少方向正确吧？ 无论最终结果如何，民调肯定是错的离谱了 于是，本怪盗团团长以上述民调数据为基础，撰写了一系列唱多中国电影行业的研究报告。今天回想起来，我恨不得穿越回去彻底撕毁报告草稿——简直是丢人现眼。直到2017年8月（整整一年以后），电影市场才触底反弹，而且迄今也没有恢复过2013-15年的惊人增速。电影票价多年没有上涨，观影人次增长非常缓慢；国产电影的市场份额在2017年上半年暴跌了一波。错的这么彻底，也是没谁了。 此后的四年，我一直在扪心自问：到底哪里错了？为什么几乎在每个问题上都错了？事实上，我应该在阅读原始数据时，就发现一些疑点，足以证明这次民调有严重瑕疵： 1.大部分受访者表示自己平均每月去一次电影院。这是不可能的：当年中国人均每年观影只有1次，在一线城市也只有4次。平均每月看一次电影，就算在美国的大城市也不可能发生。 2.大部分受访者表示自己最经常使用“淘宝电影”（即淘票票）购买电影票，比例远远超过了淘票票官方公布的数字。有可能他们根本没有认真回答问题。 3.在被问及“你喜欢看哪些类型的电影”时，许多受访者勾选了全部选项，或者至少勾选了大部分选项。消费者会爱看一切类型的电影吗？要么调查方法有问题，要么数据源头有问题。 后来我又做过一些类似的民调。慢慢的，我发现了民调这种调研方法本身就是有问题的。无论由谁去做民调，无论用什么科学手段做，都不能消除民调本身的巨大劣势。让我总结一下民调的可悲之处： 首先，受访者往往不会认真对待民调。试想想，你在吃饭或看电视时接到一个电话，询问你更支持懂王还是拜登，或者你平均多久去一次电影院；你有多大概率认真回答？可能你会凭印象随便说个答案，可能你会恶作剧地说个假答案。在这种5-10分钟的短暂交流中，你会透露什么心声吗？ 其次，受访者的回答受到了调查者的明确影响。例如，在那次失败的“电影行业民调”当中，我们的问卷措辞比较乐观；从设计者到执行者，大家骨子里都是希望电影行业实现良好增长的（否则还怎么赚钱）。这种乐观的潜意识传导给了受访者，他们不愿让我们失望，就给出了让我们满意的回答。就像你接到一个电话：“请问您支持拜登还是懂王呢？”从民调机构的名字中，你知道他们大概率是希望拜登赢的，所以你就顺着他们回答了。 再次，受访者在潜意识里都不希望被“孤立”，或者被视为“低人一等”。例如，在电影票价的问题上，他们会想：“如果我说30块钱的电影票太贵了，不等于承认自己很穷吗？”在国产片VS好莱坞影片的问题上，他们会想：“自称爱看国产片，是不是会显得更支持国货、更正确呢？”虽然调研员不会进入他们的日常生活，但是潜意识仍然会阻止他们说出真话。 我自己的微信朋友圈就是一个现成的例子：绝大部分人都没有晒过任何在拼多多买的东西，但是1/4的人关注了拼多多的微信公众号（说明至少使用过一次拼多多小程序）。绝大部分人都自称工作很忙、不玩游戏，但是有一半人出现在了《王者荣耀》游戏号的排行榜当中。说到底，对于金融圈或互联网圈的专业人士来说，玩游戏会有玩物丧志、不务正业的嫌疑，而在拼多多买便宜货则对个人经济形象不利。所以大家都默契地选择了不去宣传。 选举还没有结束，这次可能还是要通过诉讼决胜 如果在微信好友这样的强社交关系当中，都普遍存在着“言不由衷”“经营人设”的状况，那么可想而知——那些萍水相逢的民调会有多大价值？ 自从2017年以后，我从来没有使用过民调这个工具。我觉得，可靠的草根调研方式有两个：第一是以爬虫、卫星图、大数据等纯粹的技术手段，去获得“客观的”数据；第二是以一对一访谈、喝茶乃至喝酒聊天等手段，去获得“深度的”认识。民调则两头落空，既不客观又不深度。 用专业手段进行的大范围民调可能还有一点参考价值，用业余手段进行的不科学民调则一无是处（甚至有负作用）。我还记得2019年11月，某券商分析师组织了50名同事品尝瑞幸咖啡，得出了“大部分人喜爱瑞幸咖啡口味”的民调结论。我不知道样本数仅仅为50人的民调有什么参考意义…… 不过，我们还需要正视并回答一个问题： 在2016年以前，民调对总统选举的预测大致还是有用的，误差不会特别大。为什么2016年以来就变得如此离谱了呢？ 我觉得这个问题得分两方面回答。我不是统计学与心理学方面的专家，我只能根据我的主观感受提供一些备选答案： 首先，随着社交网络的崛起，人们的社交圈子大幅扩展了，社交频率也大幅提升了。无论你在刷朋友圈还是推特，你都是在“社交”。所以，人们对于“社交孤立”乃至“社会化死亡”的恐惧也与日俱增。人们越来越不愿意表达与主流观点相悖的观点，这种本能已经刻在了人们的脑海深处。这就是成千上万的“沉默的懂王粉丝”选择沉默的主要原因。 其次，懂王是一个非常特殊的候选人，他的人设和行为逻辑都是前所未有的。因为他是一个特异点，所以在制订关于他的调查问卷时要特别小心，询问的时候也要特别小心。因为民调机构从来没有理解过懂王这个人以及他代表的利益，也就永远无法正确地做调查。 微信公众号/视频号/新浪微博/**：互联网怪盗团 欢迎关注怪盗团视频号，有大量新鲜干货","highlighted":2,"essential":2,"paper":2,"link":"https://laohu8.com/post/302050172","repostId":0,"isVote":1,"tweetType":1,"commentLimit":10,"symbols":[],"verified":2,"subType":0,"readableState":1,"langContent":"CN","currentLanguage":"CN","warmUpFlag":false,"orderFlag":false,"shareable":true,"causeOfNotShareable":"","featuresForAnalytics":[],"commentAndTweetFlag":false,"andRepostAutoSelectedFlag":false,"upFlag":false,"length":6881,"xxTargetLangEnum":"ZH_CN"},"isVote":1,"tweetType":1,"viewCount":1885,"commentLimit":10,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"symbols":[],"verified":2,"subType":0,"readableState":1,"langContent":"CN","currentLanguage":"CN","warmUpFlag":false,"orderFlag":false,"shareable":true,"causeOfNotShareable":"","featuresForAnalytics":[],"commentAndTweetFlag":false,"andRepostAutoSelectedFlag":false,"upFlag":false,"length":10,"xxTargetLangEnum":"ZH_CN"},"commentList":[],"isCommentEnd":true,"isTiger":false,"isWeiXinMini":false,"url":"/m/post/302966097"}
精彩评论