写的6_老虎社区_美港股上老虎 - 老虎社区

写的6

@品玩：谁拖了中国ChatGPT的后腿？

免责声明：上述内容仅代表发帖人个人观点，不构成本平台的任何投资建议。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"detailType":1,"isChannel":false,"data":{"magic":2,"id":625443477,"tweetId":"625443477","gmtCreate":1676685498499,"gmtModify":1676685500133,"author":{"id":4137789719308890,"idStr":"4137789719308890","authorId":4137789719308890,"authorIdStr":"4137789719308890","name":"股神8808","avatar":"https://static.laohu8.com/default-avatar.jpg","vip":1,"userType":1,"introduction":"","boolIsFan":false,"boolIsHead":false,"crmLevel":1,"crmLevelSwitch":0,"individualDisplayBadges":[],"fanSize":0,"starInvestorFlag":false},"themes":[],"images":[],"coverImages":[],"html":"<html><head></head><body>写的6</body></html>","htmlText":"<html><head></head><body>写的6</body></html>","text":"写的6","highlighted":1,"essential":1,"paper":1,"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"link":"https://laohu8.com/post/625443477","repostId":625263124,"repostType":1,"repost":{"magic":2,"id":625263124,"tweetId":"625263124","gmtCreate":1676513108000,"gmtModify":1676514177580,"author":{"id":3585895914412071,"idStr":"3585895914412071","authorId":3585895914412071,"authorIdStr":"3585895914412071","name":"品玩","avatar":"https://static.tigerbbs.com/b172a08e9f14d6bb2f35c135c87f473e","vip":6,"userType":6,"introduction":"有品好玩的科技，一切与你有关","boolIsFan":false,"boolIsHead":false,"crmLevel":1,"crmLevelSwitch":0,"individualDisplayBadges":[],"fanSize":465,"starInvestorFlag":false},"themes":[],"images":[],"coverImages":[],"title":"谁拖了中国ChatGPT的后腿？","html":"<html><head></head><body><p>ChatGPT已经成了全球信息技术产业界毋庸置疑的现象级产品。</p>\n<p>它以“通用人工智能”的名义，跟人类唠家常，帮人们起草邮件和律师信，回答一些玄奥的终极哲学问题，写一段可用的Python代码，回答一些看似需要复杂和递进逻辑的问题，根据一些人物设定撰写一段电影剧本，书写一首优美的情诗，捉刀大学生的论文作业……似乎人类历史上还没有这么一个全能的AI物种。比尔盖茨说ChatGPT出现的意义“不亚于互联网的诞生”，微软CEO纳德拉（Satya Nadella）说它堪比工业革命，人工智能口头爱好者们又一次惊呼“奇点”来临，普通人再度担心自己的工作被ChatGPT这样的全能型AI助手取代……从IBM的“深蓝”，到Google的AlphaGo，再到OpenAI的ChatGPT，25年过去了，AI在不断进化，人类对AI的日常反应却看不出什么心智上的成熟，这真的是一件令AI开心的事。</p>\n<p>我已经用ChatGPT干过诸多不可描述之事，发现它并不能每每得心应手，却能在一些看似更艰深的问题上给出更出色的答案和解决方案。比如你问它比亚迪能不能打败特斯拉，它可能会给出一些结构清晰而无奇、事实谬误颇多同时又毫无个性的论述；但如果你问它自动驾驶将如何改变一辆汽车的工业设计，它倒是能够从底盘革新、内饰变化、数字娱乐和外型突破等方面给出充满由内至外想象的论述。从整体而言，ChatGPT相当的不完美，尤其是在提供令人信服的准确性方面，但它在提供结构化的信息论述、打开想象力和解放创造力等领域经常令人类觉得惊艳。你说不上来它对你有什么无懈可击的具体用处，但它又能帮你实现和完成一些琐碎的、冗余的甚至有创造力的事。</p>\n<p>正是这么一个看似无用却有用、看似有用却无用的ChatGPT，推动它的母公司OpenAI被微软追加累计的超过100亿美元的投资，它用两天时间突破100万用户，Facebook曾经花了305天；它突破1亿用户花了两个月，就连TikTok也需要9个月——请记住，与Facebook和TikTok不同，ChatGPT还不是一个独立的消费级互联网产品，它仍然仅是一个采用了GPT-3自然语言模型的包含1750亿参数的大型神经网络——当它被优先授权给微软集成在Office和Bing等办公软件和搜索引擎服务的时候，才真正地变成一个“可用”的产品。</p>\n 图源：OpenAI官网\n<p>但这已经让中国的人工智能独角兽们够嫉妒的了。</p>\n<p>500名员工，公司整体估值接近300亿美元，这是OpenAI；动辄几千人，公司估值/市值充其量10-20亿美元，这是中国的多家AI“小巨头”。</p>\n<p>因为人效和价值的巨大差距，更因为ChatGPT对全人类现实社会骤然释放的影响力，ChatGPT的诞生给中国人工智能领域的刺激是不小的。很多人又跳出来了，感慨中美人工智能差距进一步拉大，中国想赶上这波浪潮“任重道远”。还有一些人，又开始热衷探讨为什么中国没有自己的ChatGPT，结论仍然是“中国缺乏创新土壤”和“中国互联网公司都在搞直播和买菜”这样，既不负责又罔顾事实的蠢话。</p>\n<p>中国互联网公司并没有都在搞直播和买菜，他们在从事半导体开发、AI模型研究和自动驾驶；美国的互联网公司搞直播、买菜尤其是互联网金融的时候也很风生水起，那些拿着手电筒和放大镜拼命找自己问题，极力美化对手，用遮瑕霜不遗余力涂抹对手的问题，把原因归咎于简单粗暴的理由的人，可以闭上你们的嘴，这不是反思中国为什么不能率先诞生自己的生成式人工智能模型的正确姿势。</p>\n<p>作为在人工智能和自然语义处理领域积累最多的中国互联网公司，百度过去五年一直在搞自己的深度学习大模型“飞桨“（Paddle Paddle），甚至用自己的通用AI芯片“昆仑芯”训练自己的模型——它们是百度训练自己的“ChatGPT”的基本环境和前提。阿里巴巴、字节跳动和滴滴也都有基于自身需求的自然语义训练模型。可以说，在训练复杂的上百亿参数的自然语义模型方面，中国的公司和研究机构的“家底”并不薄弱，起点也并不比美国同行低——至少在2016年前后的时候是如此。<b>这几年中美人工智能界在大模型领域产生的差距，不是意识、起点和能力的问题，而是道路和方法的问题。</b></p>\n<p>中国与美国在类ChatGPT的人机对话模型领域的差距，也不是所谓的监管导致的。如果你与ChatGPT就一些更丰富的宗教、文化、民族和地缘政治等议题展开过坦率的交流的话，你会意识到它在看似拒绝和审慎讨论这些议题的背后隐藏着某些特定的立场倾向，是与美国社会普遍公认的主流价值观微妙重合的。可以说，任何一个，而不是某一个自然语义的复杂模型，其模型建构、语料采集、训练和参数调整的过程，都是基于特定价值体系的“内容审查”的过程，都有着维系其价值体系的自觉。<b>我们不是应该不应该在自然语义模型里“生成”中国的价值立场的问题，而是它该如何生成，才能真正地制衡英语主导全球互联网语料库必然导致的世界观与文化霸权，加强中文语言理解基准在全球自然语义处理体系的权重，进而为世界人工智能和人机对话的发展提供文化上的多样性。</b></p>\n<p><b>我也严重不同意中文互联网信息内容质量太糟糕导致中国类ChatGPT模型语料源头被“污染”的说法，这同样是既偷懒又显得大聪明的判断。</b>因为互联网上的信息总量原因，英语内容无疑是世界上最多的，质量堪忧的极端化内容也是最多的，它们都会影响自然语义模型训练的过程和结果。ChatGPT在早期的训练中优先使用内容质量较高的社交论坛Reddit上的高赞内容，是有特定的语料选择倾向的。如果中国优先选择知乎和得到等知识类社区，以及主流媒体优先作为语义模型的语料库的话，就不存在语料被污染的问题。更遑论以大部分持“中文内容质量低”的人们的外语水平和阅读广度，根本不足以支撑他们的论断。</p>\n<p>但是无论如何，ChatGPT的横空出世，对我这么一个多年来一直呼吁“告别硅谷崇拜”的人来说，的确是一个不大不小的刺激，也是一个观念的挑战。</p>\n<p>这不是因为我觉得中国和美国在人工智能领域竞争的差距就此拉大了，而是因为ChatGPT这样的通用人工智能人机对话模型，是一个真正可能从全人类——而不是某一个特定领域和行业的角度，推动社会生产协作与文明进程的工具。其意义大于移动互联网的出现，堪比电子邮件和搜索引擎的诞生。<b>作为一个人工智能大国，中国早就不是电子邮件和搜索引擎诞生时期的信息技术产业一穷二白的国家了，但是，我们却没有让这类能影响人类文明进程的通用人工智能的创新首先发生在中国，训练一个基础语料由中国文化与价值体系为建构的模型。</b></p>\n<p>更何况，ChatGPT的模型训练方式，很大程度上依靠的是“大力出奇迹”的参数升级、反复训练和模型依据生成内容反馈持续迭代优化——这原本是中国团队最擅长的工作方法。当一家美国的创业公司用从微软融来的钱不惜代价投入巨额算力成本，大量雇佣非洲和中东的数据工人进行信息标注、用最高效率的迭代与Google这样的巨头进行自研语义处理大模型的“军备竞赛”时，你还是有一种很不真实的感觉——这究竟是一家旧金山公司还是一家深圳公司。</p>\n<p>像ChatGPT这样的自然语义处理模型应该可以诞生在中国但却没有诞生在中国，其原因还得从中国从事人工智能的科技公司——无论巨头还是创业公司这些年在干什么开始说。</p>\n<p>很多人可能从来没意识到的一个问题是：<b>像ChatGPT这样的超大规模通用自然语义处理模型，由一家AI创业公司建构最可能产生奇迹，而在一家科技巨头内部通常不会实现更好的结果。</b>这就是为什么Google的LaMDA对话应用模型和近期仓促上阵的Bard都没有大放异彩的原因，也是百度接下来势必面临的挑战。</p>\n<p>为什么？首先是因为通用自然语义处理建模太烧钱了。其实，烧钱通常并不是大公司的本事，反倒是创业公司的特权。科技巨头几乎都是上市公司，百亿美元级别的投资砸在一项相当长时期看不到回报的事上，首席财务官在面对董事会和股东大会时的压力是很大的，也经常是被股价惩罚的，这导致大公司不敢做大冒险，不大冒险就不会有大迭代。什么叫“大力出奇迹”？就是先花大钱出大力，然后再祈祷奇迹的发生，而不是默认一定得出现奇迹，然后再决定花钱出力。</p>\n 图源：unsplash\n<p>可惜，大公司只能是后者。这也是为什么即便从ChatGPT受益颇丰的微软，也只敢从一开始的10亿美元，历时四年，直到今年的百亿美元，一笔一笔，持续地追加投资，以支持OpenAI在微软的“体外”，多年如一日地训练GPT模型。微软通过投资OpenAI获得的股权享有整合ChatGPT模型能力进入其Office和搜索引擎的优先权，它未来会不会吃掉OpenAI可能是一件不太好说的事，但至少市值近万亿美元，一年收入几百亿美元的微软，是绝对不敢一开始就“大力出奇迹”，兀自凭一己之力训练这个模型的。</p>\n<p>其次，因为人们对科技巨头从事创新事业的容错度很低，而对创业公司的错误和偏差较为优容。Google为了应对以ChatGPT的压力，仓促推出了人机对话测试版Bard，被发现一些对话出现了基本的事实错误，于是被无限放大，市值一夜蒸发千亿美元。事实上Google不是不清楚这一点，要不是被逼急了，它也不会这么冒失。Google在2021年公布的LaMDA模型，参数级别和信息搜索能力都明显高于当时OpenAI训练的GPT-3，但Google迟迟不敢公测其效果，就是因为害怕它出现失误，引发公众的不信任和股价的下滑。</p>\n<p>Google在乎的，OpenAI都不在乎。从ChatGPT发布的第一天起，它就公开地说自己没有信息检索能力，语料库也只到2021年12月，更回答不了很多关于价值和道德判断的问题，还经常犯事实错误。对ChatGPT的自我“摆烂”，测试者很宽容地接受了，对它在编程、文学创作、格式化写作、寻医问诊等领域展现的信息关联、情感表达、逻辑结构、思维连贯性一系列能力惊叹不已，对它犯的错误轻轻带过。</p>\n<p>2019年3月，在GPT-2模型取得前所未有的成功后，成立了4年的OpenAI决定由一家非盈利的基金会转变成为一家商业公司。毕竟没有任何一家基金会能受得了它的首席科学家年薪150万美元，2019年5月，山姆·奥特曼（Sam Altman）出任OpenAI的CEO。接着，OpenAI获得了微软的10亿美元投资。2020年5月，OpenAI推出的GPT-3模型，参数从GPT-2的15亿陡升至1750亿，形成了一个前所未有强大的自动学习系统。</p>\n<p><b>可见，一家含着金汤匙出生、融得到巨资、有巨头业务捆绑加持的人工智能初创公司，从事通用的人工智能自然语义模型建构与开发，不计成本投入模型训练，是最理想的状态。最强大的模型带来的想象力和商业回报足以刺激微软和其它的投资者。</b></p>\n<p><b>那么，怎么这个逻辑在中国就跑不通了？中国曾经有没有一个强大的通用自然语义人工智能模型，哪怕就是一个雏形？</b></p>\n<p>要回答这个问题，不妨看看微软首次投资OpenAI的时间：2019年7月。在微软押注OpenAI的GPT模型之后4个月，也就是2019年11月，微软负责必应搜索业务、同时也是微软人工智能最高负责人的全球资深副总裁、中国香港籍计算机科学家沈向洋宣布离开工作了20余年的微软。而沈向洋对微软通用人工智能模型的最后一个贡献，就是由微软亚洲互联网工程院在2014年主导研发的聊天机器人——小冰。</p>\n<p>2020年7月，小冰从微软独立出来，成为一家中国的人工智能创业公司，沈向洋出任董事长，原微软亚洲互联网工程院常务副院长李笛出任CEO。小冰独立之际已发展至第六代以上，产品形态涉及对话式人工智能机器人、智能语音助手、人工智能创造内容提供者和一系列垂直领域解决方案。小冰曾经引发公众讨论的，除了充满情感和女性性征的聊天机器人之外，还有它在汉语诗歌创作领域的惊艳表现——她出过一本诗集《阳光失了玻璃窗》，收获了不少好评，以及更多的争议。</p>\n<p><b>毫无疑问，一个能写诗，进行简单情感和基于常识的对话的小冰机器人，是几年前全世界范围表现上乘的对话式通用人工智能模型。</b></p>\n 图源：小冰官网\n<p>沈向洋主导的团队不可能不懂搜索，更不可能不懂人工智能。<b>而沈向洋从微软出走和小冰的“独立”，加之微软CEO纳德拉主导的对OpenAI的投资和合作绑定，其实是中美最顶级的人工智能操盘手，在通用人工智能模型领域的一次正式的分道扬镳。</b></p>\n<p>那么，今天的小冰，还写诗么？它在做什么？</p>\n<p>这两年，小冰早就不写诗了。它在忙着商业化。它成立了游戏工作室，为游戏提供NPC脚本对话内容；它与冬奥会合作，提供自由式滑雪空中技巧视觉评分系统；它为万得资讯提供人工智能生成的上市公司公告文本摘要；它给万科等企业定制了客服专用的虚拟数字人……它在努力地成为一家“赋能”各行各业，同时让自己能造血赚钱的人工智能解决方案公司。</p>\n<p>一句话，昔日代表了通用自然语义人工智能模型较高水准、中国人撑起全部格局的人工智能团队，现在成了一个生成式人工智能与决策型人工智能混合的、为具体的场景提供具体解决方案的人工智能供应商。</p>\n<p>你不能说这是小冰的“堕落”，毕竟它只从资本市场融资了数亿元人民币。按照ChatGPT的模型训练方法，这些钱一天就花完了。没了微软的护身庇佑，小冰得自己顾自己的命。可是，我也从来没听说过百度、腾讯或者字节跳动，想过要投资小冰，支持它继续搞通用自然语义人工智能的大模型。</p>\n<p>不仅仅是小冰。过去几年中国也有其它从事通用人工智能自动建模和异构计算，让国内外7-8种芯片通过该模型接入软件的创业团队，但只要是拿这个模型出来融资，就搞不定任何的一个投资人。<b>中国的投资机构从未表现过对通用人工智能模型的兴趣，和哪怕一点点的想象力。</b></p>\n<p>“超过85%的投资人一上来就要求我们介绍产品的场景，我们说我们帮GPU对接软件生态，连英伟达都用我们的模型，投资人说这个不算场景。我们说我们也有客户，卫星、码头、智慧城市和智慧工业的研究，他们说你干得太散了，我们不投”。这是我自己听到过的做通用人工智能模型的创业者对我的吐槽。</p>\n<p>众所周知，中国的VC是最喜欢“教育”创业者的，当然也少不了教育从事人工智能创业的科学家。“你得在这个行业有点数据”，这是他们最爱教育AI创业者的一句话。</p>\n<p>在某一个行业有数据，而且要专注在某一个细分领域提供解决方案，这是中国大多数号称投资人工智能的VC和PE们的思维定式。然后看的就是“场景有多大”，安防摄像头的场景足够大，于是估值模型就变成了中国这么大，能安多少个摄像头？每个摄像头多少钱？总的摄像头盘子有多大？好，盘子足够大，摄像头这个细分领域我们投了。再看看港口智慧物流，中国有多少个港口？有多少个是深水港口？每个港口码头能为AI解决方案付多少钱？原来就付这么点儿钱啊，看来“港口”这个场景不够大，那我们不投。AI虚拟数字人做客服？能跟元宇宙挂上啊，那有故事有想象力，好，我们可以投投试试。</p>\n<p>所以，你看到的情况就是，中国的人工智能“四小龙”基本都在做摄像头和人脸识别的生意，都变成了AI的项目实施和集成商，商业模式一如30年前的东软和软通动力，自己活得举步维艰，巨额亏损，还得撑着中国人工智能产业的排面，撑着人工智能这一领域的估值和想象力。</p>\n<p><b>在相当长的一段时间内，几乎没有哪个人工智能领域的投资人发自内心地相信一个通用的模型能在各个行业复用。</b>其中偶尔有几个对通用模型有点耐心和兴趣的，基本都是人民币基金，美元基金对中国团队搞通用模型的尝试真的是兴趣阙如。你以为是他们通过对比OpenAI和Google这样的公司的模型训练难度和水平，从而觉得中国团队做起这个事来有差距？那你还真是想多了。他们知道GPT模型研发是怎么回事的时间，也就是最近这俩月的事。</p>\n<p>那些大言不惭“在我眼里商汤和旷视就是卖安防摄像头的”的一线投资经理，那些傲然地跟创业者说“你这个模型又不是场景”的一线投资合伙人，更遑论那些历史上几乎不投人工智能，过去这么多年一直在鼓捣中国创业者“出海”搞加密货币的美元投资基金的合伙人，今天都突然摇身一变，宣称要支持创业者搞“中国的ChatGPT”了。那么你倒可以想想，他们的信誓旦旦和踌躇满志，含有几分对通用人工智能模型的理解和真诚，又有几分是投机和算计。</p>\n<p>你更可以想想，一个超级自然语义模型的训练可能一天就得烧几千万甚至上亿人民币，更何况现在提供大模型训练的算力模块——世界顶级的GPU，因为美国的无理禁运而变得越来越难以获取。以那些投资人过去这么多年的心性和行事风格，他们又能坚持得了几天，肯说服投委会投多少笔钱进去，还是能帮这些创业团队搞定GPU的问题？不定哪天，弄不好也就半年之后，他们就又开始催着这些做通用模型的团队，尽快“在细分领域实现商业化”。</p>\n<p>以百度对飞桨PaddlePaddle模型投入的坚持，尚且不可避免它从一开始就将这个模型产业实践化，尽快追求在不同行业的商业化。<b>而在很大程度上，通用人工智能大模型的训练，存在着海量数据、高质量有创造力的内容输出和产业应用落地的“不可能之三角”。</b></p>\n<p><b>能实现海量数据和高质量有创造力的内容输出，就势必不能快速应用于某一个产业的具体落地——比如ChatGPT。</b></p>\n<p><b>要想在人类创造的互联网最大范围的海量数据里创造具体的产业落地场景，就一定无法提供最高质量的结果，因为基于海量数据的内容生成与精准决策系统一定存在冲突——这其实是个废物。</b></p>\n<p><b>如果想实现高质量的内容输出，以辅助精准的产业落地场景决策，就一定得牺牲最海量的数据，而以大多数精准的产业场景所拥有的数据，是无法支撑真正的大型模型训练和研究的——这是中国绝大多数“产业细分”人工智能解决方案今天面临的困境，也是所谓“产业ChatGPT”是个换汤不换药的伪命题的原因。</b></p>\n<p>那些今天摩拳擦掌要大举杀入“中国的ChatGPT”的创业者和投资人们，且不说你们兜里有几个钱和几块GPU，既然都上了这艘船，都觉得自己攥着船票，那通用人工智能的“不可能之三角”，你们决定舍掉哪一个角？这是个首先得想清楚的问题。</p>\n<p>换而言之，哪个投资机构——无论是财务投资机构还是大公司的投资部门，有持之以恒数年如一日投入训练自然语义大模型，无限拉长回报周期的定力？毕竟历史告诉我们，这是一群最没有定力，最着急找接盘侠的人。</p>\n<p><b>中国从来就不缺优秀的创业者和科学家，在人工智能领域同样不例外。中国和美国科技公司在人工智能领域的水平和积累是全球范围内最接近的，至少几年之前中国和美国在自然语义大模型的建构和训练上的差距也并不大。但是中国确实缺一些视野更开阔、不人云亦云、有定力有远见的投资机构和投资人。</b></p>\n<p>沈向洋、李笛、马维英、王小川和李志飞等这些人，他们出来做通用自然语义大模型的创业项目都挺靠谱，但问题是得换一批背后支持他们的投资机构和投资人，有一些太擅长“做局”和投机，在加密货币等赛道上浸淫太深的投资机构混杂在其中，是应该被拉进黑名单的。</p>\n<p>说句实话，尽管过去这么多年都没什幺正经的投资机构在看通用人工智能模型，可毕竟还是有一些机构也投了不少回报周期极长的人工智能公司。比如那些投资了中国本土激光雷达和自动驾驶解决方案的VC，他们是对树立中国在全球汽车产业百年未有之变局中全新的竞争力做出过贡献的。还比如那些投资了中国本土GPU的VC——这注定是一个充满艰险，面临美国封禁和打压，回报周期极其漫长的赛道；但这些本土新崛起的GPU玩家——无论是瀚博、壁仞还是其它，它们未来是可能为中国的通用自然语义处理模型提供弹药的。它们背后的投资人，如果有一天真的谋定思动，出手加持中国的自然语义大模型项目的话，我对他们可能有一些更不一样的预期和信心。</p>\n<p>只是这样不咋咋呼呼、不拖后腿、不急功近利的投资人和投资机构，不是太多，而是太少，但中国的自然语义模型建构和训练需要这样的投资人和投资机构——无论它是财务投资者，还是战略投资方，或是有国家意志加持的资本机构。</p>\n<p><b>中国要有自己的通用自然语义大模型，它需要有为全球通用人工智能提供中国智慧、中国价值体系和中国方案的愿景，需要从语料库选择、模型建构与训练、参数调整的全过程前置规避风险和法律、道德与伦理问题，更需要的是定力和耐心。</b></p>\n<p><b>无论如何，它不能投机。</b></p></body></html>","htmlText":"<html><head></head><body><p>ChatGPT已经成了全球信息技术产业界毋庸置疑的现象级产品。</p>\n<p>它以“通用人工智能”的名义，跟人类唠家常，帮人们起草邮件和律师信，回答一些玄奥的终极哲学问题，写一段可用的Python代码，回答一些看似需要复杂和递进逻辑的问题，根据一些人物设定撰写一段电影剧本，书写一首优美的情诗，捉刀大学生的论文作业……似乎人类历史上还没有这么一个全能的AI物种。比尔盖茨说ChatGPT出现的意义“不亚于互联网的诞生”，微软CEO纳德拉（Satya Nadella）说它堪比工业革命，人工智能口头爱好者们又一次惊呼“奇点”来临，普通人再度担心自己的工作被ChatGPT这样的全能型AI助手取代……从IBM的“深蓝”，到Google的AlphaGo，再到OpenAI的ChatGPT，25年过去了，AI在不断进化，人类对AI的日常反应却看不出什么心智上的成熟，这真的是一件令AI开心的事。</p>\n<p>我已经用ChatGPT干过诸多不可描述之事，发现它并不能每每得心应手，却能在一些看似更艰深的问题上给出更出色的答案和解决方案。比如你问它比亚迪能不能打败特斯拉，它可能会给出一些结构清晰而无奇、事实谬误颇多同时又毫无个性的论述；但如果你问它自动驾驶将如何改变一辆汽车的工业设计，它倒是能够从底盘革新、内饰变化、数字娱乐和外型突破等方面给出充满由内至外想象的论述。从整体而言，ChatGPT相当的不完美，尤其是在提供令人信服的准确性方面，但它在提供结构化的信息论述、打开想象力和解放创造力等领域经常令人类觉得惊艳。你说不上来它对你有什么无懈可击的具体用处，但它又能帮你实现和完成一些琐碎的、冗余的甚至有创造力的事。</p>\n<p>正是这么一个看似无用却有用、看似有用却无用的ChatGPT，推动它的母公司OpenAI被微软追加累计的超过100亿美元的投资，它用两天时间突破100万用户，Facebook曾经花了305天；它突破1亿用户花了两个月，就连TikTok也需要9个月——请记住，与Facebook和TikTok不同，ChatGPT还不是一个独立的消费级互联网产品，它仍然仅是一个采用了GPT-3自然语言模型的包含1750亿参数的大型神经网络——当它被优先授权给微软集成在Office和Bing等办公软件和搜索引擎服务的时候，才真正地变成一个“可用”的产品。</p>\n 图源：OpenAI官网\n<p>但这已经让中国的人工智能独角兽们够嫉妒的了。</p>\n<p>500名员工，公司整体估值接近300亿美元，这是OpenAI；动辄几千人，公司估值/市值充其量10-20亿美元，这是中国的多家AI“小巨头”。</p>\n<p>因为人效和价值的巨大差距，更因为ChatGPT对全人类现实社会骤然释放的影响力，ChatGPT的诞生给中国人工智能领域的刺激是不小的。很多人又跳出来了，感慨中美人工智能差距进一步拉大，中国想赶上这波浪潮“任重道远”。还有一些人，又开始热衷探讨为什么中国没有自己的ChatGPT，结论仍然是“中国缺乏创新土壤”和“中国互联网公司都在搞直播和买菜”这样，既不负责又罔顾事实的蠢话。</p>\n<p>中国互联网公司并没有都在搞直播和买菜，他们在从事半导体开发、AI模型研究和自动驾驶；美国的互联网公司搞直播、买菜尤其是互联网金融的时候也很风生水起，那些拿着手电筒和放大镜拼命找自己问题，极力美化对手，用遮瑕霜不遗余力涂抹对手的问题，把原因归咎于简单粗暴的理由的人，可以闭上你们的嘴，这不是反思中国为什么不能率先诞生自己的生成式人工智能模型的正确姿势。</p>\n<p>作为在人工智能和自然语义处理领域积累最多的中国互联网公司，百度过去五年一直在搞自己的深度学习大模型“飞桨“（Paddle Paddle），甚至用自己的通用AI芯片“昆仑芯”训练自己的模型——它们是百度训练自己的“ChatGPT”的基本环境和前提。阿里巴巴、字节跳动和滴滴也都有基于自身需求的自然语义训练模型。可以说，在训练复杂的上百亿参数的自然语义模型方面，中国的公司和研究机构的“家底”并不薄弱，起点也并不比美国同行低——至少在2016年前后的时候是如此。<b>这几年中美人工智能界在大模型领域产生的差距，不是意识、起点和能力的问题，而是道路和方法的问题。</b></p>\n<p>中国与美国在类ChatGPT的人机对话模型领域的差距，也不是所谓的监管导致的。如果你与ChatGPT就一些更丰富的宗教、文化、民族和地缘政治等议题展开过坦率的交流的话，你会意识到它在看似拒绝和审慎讨论这些议题的背后隐藏着某些特定的立场倾向，是与美国社会普遍公认的主流价值观微妙重合的。可以说，任何一个，而不是某一个自然语义的复杂模型，其模型建构、语料采集、训练和参数调整的过程，都是基于特定价值体系的“内容审查”的过程，都有着维系其价值体系的自觉。<b>我们不是应该不应该在自然语义模型里“生成”中国的价值立场的问题，而是它该如何生成，才能真正地制衡英语主导全球互联网语料库必然导致的世界观与文化霸权，加强中文语言理解基准在全球自然语义处理体系的权重，进而为世界人工智能和人机对话的发展提供文化上的多样性。</b></p>\n<p><b>我也严重不同意中文互联网信息内容质量太糟糕导致中国类ChatGPT模型语料源头被“污染”的说法，这同样是既偷懒又显得大聪明的判断。</b>因为互联网上的信息总量原因，英语内容无疑是世界上最多的，质量堪忧的极端化内容也是最多的，它们都会影响自然语义模型训练的过程和结果。ChatGPT在早期的训练中优先使用内容质量较高的社交论坛Reddit上的高赞内容，是有特定的语料选择倾向的。如果中国优先选择知乎和得到等知识类社区，以及主流媒体优先作为语义模型的语料库的话，就不存在语料被污染的问题。更遑论以大部分持“中文内容质量低”的人们的外语水平和阅读广度，根本不足以支撑他们的论断。</p>\n<p>但是无论如何，ChatGPT的横空出世，对我这么一个多年来一直呼吁“告别硅谷崇拜”的人来说，的确是一个不大不小的刺激，也是一个观念的挑战。</p>\n<p>这不是因为我觉得中国和美国在人工智能领域竞争的差距就此拉大了，而是因为ChatGPT这样的通用人工智能人机对话模型，是一个真正可能从全人类——而不是某一个特定领域和行业的角度，推动社会生产协作与文明进程的工具。其意义大于移动互联网的出现，堪比电子邮件和搜索引擎的诞生。<b>作为一个人工智能大国，中国早就不是电子邮件和搜索引擎诞生时期的信息技术产业一穷二白的国家了，但是，我们却没有让这类能影响人类文明进程的通用人工智能的创新首先发生在中国，训练一个基础语料由中国文化与价值体系为建构的模型。</b></p>\n<p>更何况，ChatGPT的模型训练方式，很大程度上依靠的是“大力出奇迹”的参数升级、反复训练和模型依据生成内容反馈持续迭代优化——这原本是中国团队最擅长的工作方法。当一家美国的创业公司用从微软融来的钱不惜代价投入巨额算力成本，大量雇佣非洲和中东的数据工人进行信息标注、用最高效率的迭代与Google这样的巨头进行自研语义处理大模型的“军备竞赛”时，你还是有一种很不真实的感觉——这究竟是一家旧金山公司还是一家深圳公司。</p>\n<p>像ChatGPT这样的自然语义处理模型应该可以诞生在中国但却没有诞生在中国，其原因还得从中国从事人工智能的科技公司——无论巨头还是创业公司这些年在干什么开始说。</p>\n<p>很多人可能从来没意识到的一个问题是：<b>像ChatGPT这样的超大规模通用自然语义处理模型，由一家AI创业公司建构最可能产生奇迹，而在一家科技巨头内部通常不会实现更好的结果。</b>这就是为什么Google的LaMDA对话应用模型和近期仓促上阵的Bard都没有大放异彩的原因，也是百度接下来势必面临的挑战。</p>\n<p>为什么？首先是因为通用自然语义处理建模太烧钱了。其实，烧钱通常并不是大公司的本事，反倒是创业公司的特权。科技巨头几乎都是上市公司，百亿美元级别的投资砸在一项相当长时期看不到回报的事上，首席财务官在面对董事会和股东大会时的压力是很大的，也经常是被股价惩罚的，这导致大公司不敢做大冒险，不大冒险就不会有大迭代。什么叫“大力出奇迹”？就是先花大钱出大力，然后再祈祷奇迹的发生，而不是默认一定得出现奇迹，然后再决定花钱出力。</p>\n 图源：unsplash\n<p>可惜，大公司只能是后者。这也是为什么即便从ChatGPT受益颇丰的微软，也只敢从一开始的10亿美元，历时四年，直到今年的百亿美元，一笔一笔，持续地追加投资，以支持OpenAI在微软的“体外”，多年如一日地训练GPT模型。微软通过投资OpenAI获得的股权享有整合ChatGPT模型能力进入其Office和搜索引擎的优先权，它未来会不会吃掉OpenAI可能是一件不太好说的事，但至少市值近万亿美元，一年收入几百亿美元的微软，是绝对不敢一开始就“大力出奇迹”，兀自凭一己之力训练这个模型的。</p>\n<p>其次，因为人们对科技巨头从事创新事业的容错度很低，而对创业公司的错误和偏差较为优容。Google为了应对以ChatGPT的压力，仓促推出了人机对话测试版Bard，被发现一些对话出现了基本的事实错误，于是被无限放大，市值一夜蒸发千亿美元。事实上Google不是不清楚这一点，要不是被逼急了，它也不会这么冒失。Google在2021年公布的LaMDA模型，参数级别和信息搜索能力都明显高于当时OpenAI训练的GPT-3，但Google迟迟不敢公测其效果，就是因为害怕它出现失误，引发公众的不信任和股价的下滑。</p>\n<p>Google在乎的，OpenAI都不在乎。从ChatGPT发布的第一天起，它就公开地说自己没有信息检索能力，语料库也只到2021年12月，更回答不了很多关于价值和道德判断的问题，还经常犯事实错误。对ChatGPT的自我“摆烂”，测试者很宽容地接受了，对它在编程、文学创作、格式化写作、寻医问诊等领域展现的信息关联、情感表达、逻辑结构、思维连贯性一系列能力惊叹不已，对它犯的错误轻轻带过。</p>\n<p>2019年3月，在GPT-2模型取得前所未有的成功后，成立了4年的OpenAI决定由一家非盈利的基金会转变成为一家商业公司。毕竟没有任何一家基金会能受得了它的首席科学家年薪150万美元，2019年5月，山姆·奥特曼（Sam Altman）出任OpenAI的CEO。接着，OpenAI获得了微软的10亿美元投资。2020年5月，OpenAI推出的GPT-3模型，参数从GPT-2的15亿陡升至1750亿，形成了一个前所未有强大的自动学习系统。</p>\n<p><b>可见，一家含着金汤匙出生、融得到巨资、有巨头业务捆绑加持的人工智能初创公司，从事通用的人工智能自然语义模型建构与开发，不计成本投入模型训练，是最理想的状态。最强大的模型带来的想象力和商业回报足以刺激微软和其它的投资者。</b></p>\n<p><b>那么，怎么这个逻辑在中国就跑不通了？中国曾经有没有一个强大的通用自然语义人工智能模型，哪怕就是一个雏形？</b></p>\n<p>要回答这个问题，不妨看看微软首次投资OpenAI的时间：2019年7月。在微软押注OpenAI的GPT模型之后4个月，也就是2019年11月，微软负责必应搜索业务、同时也是微软人工智能最高负责人的全球资深副总裁、中国香港籍计算机科学家沈向洋宣布离开工作了20余年的微软。而沈向洋对微软通用人工智能模型的最后一个贡献，就是由微软亚洲互联网工程院在2014年主导研发的聊天机器人——小冰。</p>\n<p>2020年7月，小冰从微软独立出来，成为一家中国的人工智能创业公司，沈向洋出任董事长，原微软亚洲互联网工程院常务副院长李笛出任CEO。小冰独立之际已发展至第六代以上，产品形态涉及对话式人工智能机器人、智能语音助手、人工智能创造内容提供者和一系列垂直领域解决方案。小冰曾经引发公众讨论的，除了充满情感和女性性征的聊天机器人之外，还有它在汉语诗歌创作领域的惊艳表现——她出过一本诗集《阳光失了玻璃窗》，收获了不少好评，以及更多的争议。</p>\n<p><b>毫无疑问，一个能写诗，进行简单情感和基于常识的对话的小冰机器人，是几年前全世界范围表现上乘的对话式通用人工智能模型。</b></p>\n 图源：小冰官网\n<p>沈向洋主导的团队不可能不懂搜索，更不可能不懂人工智能。<b>而沈向洋从微软出走和小冰的“独立”，加之微软CEO纳德拉主导的对OpenAI的投资和合作绑定，其实是中美最顶级的人工智能操盘手，在通用人工智能模型领域的一次正式的分道扬镳。</b></p>\n<p>那么，今天的小冰，还写诗么？它在做什么？</p>\n<p>这两年，小冰早就不写诗了。它在忙着商业化。它成立了游戏工作室，为游戏提供NPC脚本对话内容；它与冬奥会合作，提供自由式滑雪空中技巧视觉评分系统；它为万得资讯提供人工智能生成的上市公司公告文本摘要；它给万科等企业定制了客服专用的虚拟数字人……它在努力地成为一家“赋能”各行各业，同时让自己能造血赚钱的人工智能解决方案公司。</p>\n<p>一句话，昔日代表了通用自然语义人工智能模型较高水准、中国人撑起全部格局的人工智能团队，现在成了一个生成式人工智能与决策型人工智能混合的、为具体的场景提供具体解决方案的人工智能供应商。</p>\n<p>你不能说这是小冰的“堕落”，毕竟它只从资本市场融资了数亿元人民币。按照ChatGPT的模型训练方法，这些钱一天就花完了。没了微软的护身庇佑，小冰得自己顾自己的命。可是，我也从来没听说过百度、腾讯或者字节跳动，想过要投资小冰，支持它继续搞通用自然语义人工智能的大模型。</p>\n<p>不仅仅是小冰。过去几年中国也有其它从事通用人工智能自动建模和异构计算，让国内外7-8种芯片通过该模型接入软件的创业团队，但只要是拿这个模型出来融资，就搞不定任何的一个投资人。<b>中国的投资机构从未表现过对通用人工智能模型的兴趣，和哪怕一点点的想象力。</b></p>\n<p>“超过85%的投资人一上来就要求我们介绍产品的场景，我们说我们帮GPU对接软件生态，连英伟达都用我们的模型，投资人说这个不算场景。我们说我们也有客户，卫星、码头、智慧城市和智慧工业的研究，他们说你干得太散了，我们不投”。这是我自己听到过的做通用人工智能模型的创业者对我的吐槽。</p>\n<p>众所周知，中国的VC是最喜欢“教育”创业者的，当然也少不了教育从事人工智能创业的科学家。“你得在这个行业有点数据”，这是他们最爱教育AI创业者的一句话。</p>\n<p>在某一个行业有数据，而且要专注在某一个细分领域提供解决方案，这是中国大多数号称投资人工智能的VC和PE们的思维定式。然后看的就是“场景有多大”，安防摄像头的场景足够大，于是估值模型就变成了中国这么大，能安多少个摄像头？每个摄像头多少钱？总的摄像头盘子有多大？好，盘子足够大，摄像头这个细分领域我们投了。再看看港口智慧物流，中国有多少个港口？有多少个是深水港口？每个港口码头能为AI解决方案付多少钱？原来就付这么点儿钱啊，看来“港口”这个场景不够大，那我们不投。AI虚拟数字人做客服？能跟元宇宙挂上啊，那有故事有想象力，好，我们可以投投试试。</p>\n<p>所以，你看到的情况就是，中国的人工智能“四小龙”基本都在做摄像头和人脸识别的生意，都变成了AI的项目实施和集成商，商业模式一如30年前的东软和软通动力，自己活得举步维艰，巨额亏损，还得撑着中国人工智能产业的排面，撑着人工智能这一领域的估值和想象力。</p>\n<p><b>在相当长的一段时间内，几乎没有哪个人工智能领域的投资人发自内心地相信一个通用的模型能在各个行业复用。</b>其中偶尔有几个对通用模型有点耐心和兴趣的，基本都是人民币基金，美元基金对中国团队搞通用模型的尝试真的是兴趣阙如。你以为是他们通过对比OpenAI和Google这样的公司的模型训练难度和水平，从而觉得中国团队做起这个事来有差距？那你还真是想多了。他们知道GPT模型研发是怎么回事的时间，也就是最近这俩月的事。</p>\n<p>那些大言不惭“在我眼里商汤和旷视就是卖安防摄像头的”的一线投资经理，那些傲然地跟创业者说“你这个模型又不是场景”的一线投资合伙人，更遑论那些历史上几乎不投人工智能，过去这么多年一直在鼓捣中国创业者“出海”搞加密货币的美元投资基金的合伙人，今天都突然摇身一变，宣称要支持创业者搞“中国的ChatGPT”了。那么你倒可以想想，他们的信誓旦旦和踌躇满志，含有几分对通用人工智能模型的理解和真诚，又有几分是投机和算计。</p>\n<p>你更可以想想，一个超级自然语义模型的训练可能一天就得烧几千万甚至上亿人民币，更何况现在提供大模型训练的算力模块——世界顶级的GPU，因为美国的无理禁运而变得越来越难以获取。以那些投资人过去这么多年的心性和行事风格，他们又能坚持得了几天，肯说服投委会投多少笔钱进去，还是能帮这些创业团队搞定GPU的问题？不定哪天，弄不好也就半年之后，他们就又开始催着这些做通用模型的团队，尽快“在细分领域实现商业化”。</p>\n<p>以百度对飞桨PaddlePaddle模型投入的坚持，尚且不可避免它从一开始就将这个模型产业实践化，尽快追求在不同行业的商业化。<b>而在很大程度上，通用人工智能大模型的训练，存在着海量数据、高质量有创造力的内容输出和产业应用落地的“不可能之三角”。</b></p>\n<p><b>能实现海量数据和高质量有创造力的内容输出，就势必不能快速应用于某一个产业的具体落地——比如ChatGPT。</b></p>\n<p><b>要想在人类创造的互联网最大范围的海量数据里创造具体的产业落地场景，就一定无法提供最高质量的结果，因为基于海量数据的内容生成与精准决策系统一定存在冲突——这其实是个废物。</b></p>\n<p><b>如果想实现高质量的内容输出，以辅助精准的产业落地场景决策，就一定得牺牲最海量的数据，而以大多数精准的产业场景所拥有的数据，是无法支撑真正的大型模型训练和研究的——这是中国绝大多数“产业细分”人工智能解决方案今天面临的困境，也是所谓“产业ChatGPT”是个换汤不换药的伪命题的原因。</b></p>\n<p>那些今天摩拳擦掌要大举杀入“中国的ChatGPT”的创业者和投资人们，且不说你们兜里有几个钱和几块GPU，既然都上了这艘船，都觉得自己攥着船票，那通用人工智能的“不可能之三角”，你们决定舍掉哪一个角？这是个首先得想清楚的问题。</p>\n<p>换而言之，哪个投资机构——无论是财务投资机构还是大公司的投资部门，有持之以恒数年如一日投入训练自然语义大模型，无限拉长回报周期的定力？毕竟历史告诉我们，这是一群最没有定力，最着急找接盘侠的人。</p>\n<p><b>中国从来就不缺优秀的创业者和科学家，在人工智能领域同样不例外。中国和美国科技公司在人工智能领域的水平和积累是全球范围内最接近的，至少几年之前中国和美国在自然语义大模型的建构和训练上的差距也并不大。但是中国确实缺一些视野更开阔、不人云亦云、有定力有远见的投资机构和投资人。</b></p>\n<p>沈向洋、李笛、马维英、王小川和李志飞等这些人，他们出来做通用自然语义大模型的创业项目都挺靠谱，但问题是得换一批背后支持他们的投资机构和投资人，有一些太擅长“做局”和投机，在加密货币等赛道上浸淫太深的投资机构混杂在其中，是应该被拉进黑名单的。</p>\n<p>说句实话，尽管过去这么多年都没什幺正经的投资机构在看通用人工智能模型，可毕竟还是有一些机构也投了不少回报周期极长的人工智能公司。比如那些投资了中国本土激光雷达和自动驾驶解决方案的VC，他们是对树立中国在全球汽车产业百年未有之变局中全新的竞争力做出过贡献的。还比如那些投资了中国本土GPU的VC——这注定是一个充满艰险，面临美国封禁和打压，回报周期极其漫长的赛道；但这些本土新崛起的GPU玩家——无论是瀚博、壁仞还是其它，它们未来是可能为中国的通用自然语义处理模型提供弹药的。它们背后的投资人，如果有一天真的谋定思动，出手加持中国的自然语义大模型项目的话，我对他们可能有一些更不一样的预期和信心。</p>\n<p>只是这样不咋咋呼呼、不拖后腿、不急功近利的投资人和投资机构，不是太多，而是太少，但中国的自然语义模型建构和训练需要这样的投资人和投资机构——无论它是财务投资者，还是战略投资方，或是有国家意志加持的资本机构。</p>\n<p><b>中国要有自己的通用自然语义大模型，它需要有为全球通用人工智能提供中国智慧、中国价值体系和中国方案的愿景，需要从语料库选择、模型建构与训练、参数调整的全过程前置规避风险和法律、道德与伦理问题，更需要的是定力和耐心。</b></p>\n<p><b>无论如何，它不能投机。</b></p></body></html>","text":"ChatGPT已经成了全球信息技术产业界毋庸置疑的现象级产品。 它以“通用人工智能”的名义，跟人类唠家常，帮人们起草邮件和律师信，回答一些玄奥的终极哲学问题，写一段可用的Python代码，回答一些看似需要复杂和递进逻辑的问题，根据一些人物设定撰写一段电影剧本，书写一首优美的情诗，捉刀大学生的论文作业……似乎人类历史上还没有这么一个全能的AI物种。比尔盖茨说ChatGPT出现的意义“不亚于互联网的诞生”，微软CEO纳德拉（Satya Nadella）说它堪比工业革命，人工智能口头爱好者们又一次惊呼“奇点”来临，普通人再度担心自己的工作被ChatGPT这样的全能型AI助手取代……从IBM的“深蓝”，到Google的AlphaGo，再到OpenAI的ChatGPT，25年过去了，AI在不断进化，人类对AI的日常反应却看不出什么心智上的成熟，这真的是一件令AI开心的事。 我已经用ChatGPT干过诸多不可描述之事，发现它并不能每每得心应手，却能在一些看似更艰深的问题上给出更出色的答案和解决方案。比如你问它比亚迪能不能打败特斯拉，它可能会给出一些结构清晰而无奇、事实谬误颇多同时又毫无个性的论述；但如果你问它自动驾驶将如何改变一辆汽车的工业设计，它倒是能够从底盘革新、内饰变化、数字娱乐和外型突破等方面给出充满由内至外想象的论述。从整体而言，ChatGPT相当的不完美，尤其是在提供令人信服的准确性方面，但它在提供结构化的信息论述、打开想象力和解放创造力等领域经常令人类觉得惊艳。你说不上来它对你有什么无懈可击的具体用处，但它又能帮你实现和完成一些琐碎的、冗余的甚至有创造力的事。 正是这么一个看似无用却有用、看似有用却无用的ChatGPT，推动它的母公司OpenAI被微软追加累计的超过100亿美元的投资，它用两天时间突破100万用户，Facebook曾经花了305天；它突破1亿用户花了两个月，就连TikTok也需要9个月——请记住，与Facebook和TikTok不同，ChatGPT还不是一个独立的消费级互联网产品，它仍然仅是一个采用了GPT-3自然语言模型的包含1750亿参数的大型神经网络——当它被优先授权给微软集成在Office和Bing等办公软件和搜索引擎服务的时候，才真正地变成一个“可用”的产品。 图源：OpenAI官网 但这已经让中国的人工智能独角兽们够嫉妒的了。 500名员工，公司整体估值接近300亿美元，这是OpenAI；动辄几千人，公司估值/市值充其量10-20亿美元，这是中国的多家AI“小巨头”。 因为人效和价值的巨大差距，更因为ChatGPT对全人类现实社会骤然释放的影响力，ChatGPT的诞生给中国人工智能领域的刺激是不小的。很多人又跳出来了，感慨中美人工智能差距进一步拉大，中国想赶上这波浪潮“任重道远”。还有一些人，又开始热衷探讨为什么中国没有自己的ChatGPT，结论仍然是“中国缺乏创新土壤”和“中国互联网公司都在搞直播和买菜”这样，既不负责又罔顾事实的蠢话。 中国互联网公司并没有都在搞直播和买菜，他们在从事半导体开发、AI模型研究和自动驾驶；美国的互联网公司搞直播、买菜尤其是互联网金融的时候也很风生水起，那些拿着手电筒和放大镜拼命找自己问题，极力美化对手，用遮瑕霜不遗余力涂抹对手的问题，把原因归咎于简单粗暴的理由的人，可以闭上你们的嘴，这不是反思中国为什么不能率先诞生自己的生成式人工智能模型的正确姿势。 作为在人工智能和自然语义处理领域积累最多的中国互联网公司，百度过去五年一直在搞自己的深度学习大模型“飞桨“（Paddle Paddle），甚至用自己的通用AI芯片“昆仑芯”训练自己的模型——它们是百度训练自己的“ChatGPT”的基本环境和前提。阿里巴巴、字节跳动和滴滴也都有基于自身需求的自然语义训练模型。可以说，在训练复杂的上百亿参数的自然语义模型方面，中国的公司和研究机构的“家底”并不薄弱，起点也并不比美国同行低——至少在2016年前后的时候是如此。这几年中美人工智能界在大模型领域产生的差距，不是意识、起点和能力的问题，而是道路和方法的问题。 中国与美国在类ChatGPT的人机对话模型领域的差距，也不是所谓的监管导致的。如果你与ChatGPT就一些更丰富的宗教、文化、民族和地缘政治等议题展开过坦率的交流的话，你会意识到它在看似拒绝和审慎讨论这些议题的背后隐藏着某些特定的立场倾向，是与美国社会普遍公认的主流价值观微妙重合的。可以说，任何一个，而不是某一个自然语义的复杂模型，其模型建构、语料采集、训练和参数调整的过程，都是基于特定价值体系的“内容审查”的过程，都有着维系其价值体系的自觉。我们不是应该不应该在自然语义模型里“生成”中国的价值立场的问题，而是它该如何生成，才能真正地制衡英语主导全球互联网语料库必然导致的世界观与文化霸权，加强中文语言理解基准在全球自然语义处理体系的权重，进而为世界人工智能和人机对话的发展提供文化上的多样性。 我也严重不同意中文互联网信息内容质量太糟糕导致中国类ChatGPT模型语料源头被“污染”的说法，这同样是既偷懒又显得大聪明的判断。因为互联网上的信息总量原因，英语内容无疑是世界上最多的，质量堪忧的极端化内容也是最多的，它们都会影响自然语义模型训练的过程和结果。ChatGPT在早期的训练中优先使用内容质量较高的社交论坛Reddit上的高赞内容，是有特定的语料选择倾向的。如果中国优先选择知乎和得到等知识类社区，以及主流媒体优先作为语义模型的语料库的话，就不存在语料被污染的问题。更遑论以大部分持“中文内容质量低”的人们的外语水平和阅读广度，根本不足以支撑他们的论断。 但是无论如何，ChatGPT的横空出世，对我这么一个多年来一直呼吁“告别硅谷崇拜”的人来说，的确是一个不大不小的刺激，也是一个观念的挑战。 这不是因为我觉得中国和美国在人工智能领域竞争的差距就此拉大了，而是因为ChatGPT这样的通用人工智能人机对话模型，是一个真正可能从全人类——而不是某一个特定领域和行业的角度，推动社会生产协作与文明进程的工具。其意义大于移动互联网的出现，堪比电子邮件和搜索引擎的诞生。作为一个人工智能大国，中国早就不是电子邮件和搜索引擎诞生时期的信息技术产业一穷二白的国家了，但是，我们却没有让这类能影响人类文明进程的通用人工智能的创新首先发生在中国，训练一个基础语料由中国文化与价值体系为建构的模型。 更何况，ChatGPT的模型训练方式，很大程度上依靠的是“大力出奇迹”的参数升级、反复训练和模型依据生成内容反馈持续迭代优化——这原本是中国团队最擅长的工作方法。当一家美国的创业公司用从微软融来的钱不惜代价投入巨额算力成本，大量雇佣非洲和中东的数据工人进行信息标注、用最高效率的迭代与Google这样的巨头进行自研语义处理大模型的“军备竞赛”时，你还是有一种很不真实的感觉——这究竟是一家旧金山公司还是一家深圳公司。 像ChatGPT这样的自然语义处理模型应该可以诞生在中国但却没有诞生在中国，其原因还得从中国从事人工智能的科技公司——无论巨头还是创业公司这些年在干什么开始说。 很多人可能从来没意识到的一个问题是：像ChatGPT这样的超大规模通用自然语义处理模型，由一家AI创业公司建构最可能产生奇迹，而在一家科技巨头内部通常不会实现更好的结果。这就是为什么Google的LaMDA对话应用模型和近期仓促上阵的Bard都没有大放异彩的原因，也是百度接下来势必面临的挑战。 为什么？首先是因为通用自然语义处理建模太烧钱了。其实，烧钱通常并不是大公司的本事，反倒是创业公司的特权。科技巨头几乎都是上市公司，百亿美元级别的投资砸在一项相当长时期看不到回报的事上，首席财务官在面对董事会和股东大会时的压力是很大的，也经常是被股价惩罚的，这导致大公司不敢做大冒险，不大冒险就不会有大迭代。什么叫“大力出奇迹”？就是先花大钱出大力，然后再祈祷奇迹的发生，而不是默认一定得出现奇迹，然后再决定花钱出力。 图源：unsplash 可惜，大公司只能是后者。这也是为什么即便从ChatGPT受益颇丰的微软，也只敢从一开始的10亿美元，历时四年，直到今年的百亿美元，一笔一笔，持续地追加投资，以支持OpenAI在微软的“体外”，多年如一日地训练GPT模型。微软通过投资OpenAI获得的股权享有整合ChatGPT模型能力进入其Office和搜索引擎的优先权，它未来会不会吃掉OpenAI可能是一件不太好说的事，但至少市值近万亿美元，一年收入几百亿美元的微软，是绝对不敢一开始就“大力出奇迹”，兀自凭一己之力训练这个模型的。 其次，因为人们对科技巨头从事创新事业的容错度很低，而对创业公司的错误和偏差较为优容。Google为了应对以ChatGPT的压力，仓促推出了人机对话测试版Bard，被发现一些对话出现了基本的事实错误，于是被无限放大，市值一夜蒸发千亿美元。事实上Google不是不清楚这一点，要不是被逼急了，它也不会这么冒失。Google在2021年公布的LaMDA模型，参数级别和信息搜索能力都明显高于当时OpenAI训练的GPT-3，但Google迟迟不敢公测其效果，就是因为害怕它出现失误，引发公众的不信任和股价的下滑。 Google在乎的，OpenAI都不在乎。从ChatGPT发布的第一天起，它就公开地说自己没有信息检索能力，语料库也只到2021年12月，更回答不了很多关于价值和道德判断的问题，还经常犯事实错误。对ChatGPT的自我“摆烂”，测试者很宽容地接受了，对它在编程、文学创作、格式化写作、寻医问诊等领域展现的信息关联、情感表达、逻辑结构、思维连贯性一系列能力惊叹不已，对它犯的错误轻轻带过。 2019年3月，在GPT-2模型取得前所未有的成功后，成立了4年的OpenAI决定由一家非盈利的基金会转变成为一家商业公司。毕竟没有任何一家基金会能受得了它的首席科学家年薪150万美元，2019年5月，山姆·奥特曼（Sam Altman）出任OpenAI的CEO。接着，OpenAI获得了微软的10亿美元投资。2020年5月，OpenAI推出的GPT-3模型，参数从GPT-2的15亿陡升至1750亿，形成了一个前所未有强大的自动学习系统。 可见，一家含着金汤匙出生、融得到巨资、有巨头业务捆绑加持的人工智能初创公司，从事通用的人工智能自然语义模型建构与开发，不计成本投入模型训练，是最理想的状态。最强大的模型带来的想象力和商业回报足以刺激微软和其它的投资者。 那么，怎么这个逻辑在中国就跑不通了？中国曾经有没有一个强大的通用自然语义人工智能模型，哪怕就是一个雏形？ 要回答这个问题，不妨看看微软首次投资OpenAI的时间：2019年7月。在微软押注OpenAI的GPT模型之后4个月，也就是2019年11月，微软负责必应搜索业务、同时也是微软人工智能最高负责人的全球资深副总裁、中国香港籍计算机科学家沈向洋宣布离开工作了20余年的微软。而沈向洋对微软通用人工智能模型的最后一个贡献，就是由微软亚洲互联网工程院在2014年主导研发的聊天机器人——小冰。 2020年7月，小冰从微软独立出来，成为一家中国的人工智能创业公司，沈向洋出任董事长，原微软亚洲互联网工程院常务副院长李笛出任CEO。小冰独立之际已发展至第六代以上，产品形态涉及对话式人工智能机器人、智能语音助手、人工智能创造内容提供者和一系列垂直领域解决方案。小冰曾经引发公众讨论的，除了充满情感和女性性征的聊天机器人之外，还有它在汉语诗歌创作领域的惊艳表现——她出过一本诗集《阳光失了玻璃窗》，收获了不少好评，以及更多的争议。 毫无疑问，一个能写诗，进行简单情感和基于常识的对话的小冰机器人，是几年前全世界范围表现上乘的对话式通用人工智能模型。 图源：小冰官网 沈向洋主导的团队不可能不懂搜索，更不可能不懂人工智能。而沈向洋从微软出走和小冰的“独立”，加之微软CEO纳德拉主导的对OpenAI的投资和合作绑定，其实是中美最顶级的人工智能操盘手，在通用人工智能模型领域的一次正式的分道扬镳。 那么，今天的小冰，还写诗么？它在做什么？ 这两年，小冰早就不写诗了。它在忙着商业化。它成立了游戏工作室，为游戏提供NPC脚本对话内容；它与冬奥会合作，提供自由式滑雪空中技巧视觉评分系统；它为万得资讯提供人工智能生成的上市公司公告文本摘要；它给万科等企业定制了客服专用的虚拟数字人……它在努力地成为一家“赋能”各行各业，同时让自己能造血赚钱的人工智能解决方案公司。 一句话，昔日代表了通用自然语义人工智能模型较高水准、中国人撑起全部格局的人工智能团队，现在成了一个生成式人工智能与决策型人工智能混合的、为具体的场景提供具体解决方案的人工智能供应商。 你不能说这是小冰的“堕落”，毕竟它只从资本市场融资了数亿元人民币。按照ChatGPT的模型训练方法，这些钱一天就花完了。没了微软的护身庇佑，小冰得自己顾自己的命。可是，我也从来没听说过百度、腾讯或者字节跳动，想过要投资小冰，支持它继续搞通用自然语义人工智能的大模型。 不仅仅是小冰。过去几年中国也有其它从事通用人工智能自动建模和异构计算，让国内外7-8种芯片通过该模型接入软件的创业团队，但只要是拿这个模型出来融资，就搞不定任何的一个投资人。中国的投资机构从未表现过对通用人工智能模型的兴趣，和哪怕一点点的想象力。 “超过85%的投资人一上来就要求我们介绍产品的场景，我们说我们帮GPU对接软件生态，连英伟达都用我们的模型，投资人说这个不算场景。我们说我们也有客户，卫星、码头、智慧城市和智慧工业的研究，他们说你干得太散了，我们不投”。这是我自己听到过的做通用人工智能模型的创业者对我的吐槽。 众所周知，中国的VC是最喜欢“教育”创业者的，当然也少不了教育从事人工智能创业的科学家。“你得在这个行业有点数据”，这是他们最爱教育AI创业者的一句话。 在某一个行业有数据，而且要专注在某一个细分领域提供解决方案，这是中国大多数号称投资人工智能的VC和PE们的思维定式。然后看的就是“场景有多大”，安防摄像头的场景足够大，于是估值模型就变成了中国这么大，能安多少个摄像头？每个摄像头多少钱？总的摄像头盘子有多大？好，盘子足够大，摄像头这个细分领域我们投了。再看看港口智慧物流，中国有多少个港口？有多少个是深水港口？每个港口码头能为AI解决方案付多少钱？原来就付这么点儿钱啊，看来“港口”这个场景不够大，那我们不投。AI虚拟数字人做客服？能跟元宇宙挂上啊，那有故事有想象力，好，我们可以投投试试。 所以，你看到的情况就是，中国的人工智能“四小龙”基本都在做摄像头和人脸识别的生意，都变成了AI的项目实施和集成商，商业模式一如30年前的东软和软通动力，自己活得举步维艰，巨额亏损，还得撑着中国人工智能产业的排面，撑着人工智能这一领域的估值和想象力。 在相当长的一段时间内，几乎没有哪个人工智能领域的投资人发自内心地相信一个通用的模型能在各个行业复用。其中偶尔有几个对通用模型有点耐心和兴趣的，基本都是人民币基金，美元基金对中国团队搞通用模型的尝试真的是兴趣阙如。你以为是他们通过对比OpenAI和Google这样的公司的模型训练难度和水平，从而觉得中国团队做起这个事来有差距？那你还真是想多了。他们知道GPT模型研发是怎么回事的时间，也就是最近这俩月的事。 那些大言不惭“在我眼里商汤和旷视就是卖安防摄像头的”的一线投资经理，那些傲然地跟创业者说“你这个模型又不是场景”的一线投资合伙人，更遑论那些历史上几乎不投人工智能，过去这么多年一直在鼓捣中国创业者“出海”搞加密货币的美元投资基金的合伙人，今天都突然摇身一变，宣称要支持创业者搞“中国的ChatGPT”了。那么你倒可以想想，他们的信誓旦旦和踌躇满志，含有几分对通用人工智能模型的理解和真诚，又有几分是投机和算计。 你更可以想想，一个超级自然语义模型的训练可能一天就得烧几千万甚至上亿人民币，更何况现在提供大模型训练的算力模块——世界顶级的GPU，因为美国的无理禁运而变得越来越难以获取。以那些投资人过去这么多年的心性和行事风格，他们又能坚持得了几天，肯说服投委会投多少笔钱进去，还是能帮这些创业团队搞定GPU的问题？不定哪天，弄不好也就半年之后，他们就又开始催着这些做通用模型的团队，尽快“在细分领域实现商业化”。 以百度对飞桨PaddlePaddle模型投入的坚持，尚且不可避免它从一开始就将这个模型产业实践化，尽快追求在不同行业的商业化。而在很大程度上，通用人工智能大模型的训练，存在着海量数据、高质量有创造力的内容输出和产业应用落地的“不可能之三角”。 能实现海量数据和高质量有创造力的内容输出，就势必不能快速应用于某一个产业的具体落地——比如ChatGPT。 要想在人类创造的互联网最大范围的海量数据里创造具体的产业落地场景，就一定无法提供最高质量的结果，因为基于海量数据的内容生成与精准决策系统一定存在冲突——这其实是个废物。 如果想实现高质量的内容输出，以辅助精准的产业落地场景决策，就一定得牺牲最海量的数据，而以大多数精准的产业场景所拥有的数据，是无法支撑真正的大型模型训练和研究的——这是中国绝大多数“产业细分”人工智能解决方案今天面临的困境，也是所谓“产业ChatGPT”是个换汤不换药的伪命题的原因。 那些今天摩拳擦掌要大举杀入“中国的ChatGPT”的创业者和投资人们，且不说你们兜里有几个钱和几块GPU，既然都上了这艘船，都觉得自己攥着船票，那通用人工智能的“不可能之三角”，你们决定舍掉哪一个角？这是个首先得想清楚的问题。 换而言之，哪个投资机构——无论是财务投资机构还是大公司的投资部门，有持之以恒数年如一日投入训练自然语义大模型，无限拉长回报周期的定力？毕竟历史告诉我们，这是一群最没有定力，最着急找接盘侠的人。 中国从来就不缺优秀的创业者和科学家，在人工智能领域同样不例外。中国和美国科技公司在人工智能领域的水平和积累是全球范围内最接近的，至少几年之前中国和美国在自然语义大模型的建构和训练上的差距也并不大。但是中国确实缺一些视野更开阔、不人云亦云、有定力有远见的投资机构和投资人。 沈向洋、李笛、马维英、王小川和李志飞等这些人，他们出来做通用自然语义大模型的创业项目都挺靠谱，但问题是得换一批背后支持他们的投资机构和投资人，有一些太擅长“做局”和投机，在加密货币等赛道上浸淫太深的投资机构混杂在其中，是应该被拉进黑名单的。 说句实话，尽管过去这么多年都没什幺正经的投资机构在看通用人工智能模型，可毕竟还是有一些机构也投了不少回报周期极长的人工智能公司。比如那些投资了中国本土激光雷达和自动驾驶解决方案的VC，他们是对树立中国在全球汽车产业百年未有之变局中全新的竞争力做出过贡献的。还比如那些投资了中国本土GPU的VC——这注定是一个充满艰险，面临美国封禁和打压，回报周期极其漫长的赛道；但这些本土新崛起的GPU玩家——无论是瀚博、壁仞还是其它，它们未来是可能为中国的通用自然语义处理模型提供弹药的。它们背后的投资人，如果有一天真的谋定思动，出手加持中国的自然语义大模型项目的话，我对他们可能有一些更不一样的预期和信心。 只是这样不咋咋呼呼、不拖后腿、不急功近利的投资人和投资机构，不是太多，而是太少，但中国的自然语义模型建构和训练需要这样的投资人和投资机构——无论它是财务投资者，还是战略投资方，或是有国家意志加持的资本机构。 中国要有自己的通用自然语义大模型，它需要有为全球通用人工智能提供中国智慧、中国价值体系和中国方案的愿景，需要从语料库选择、模型建构与训练、参数调整的全过程前置规避风险和法律、道德与伦理问题，更需要的是定力和耐心。 无论如何，它不能投机。","highlighted":1,"essential":1,"paper":2,"link":"https://laohu8.com/post/625263124","repostId":0,"isVote":1,"tweetType":1,"commentLimit":10,"symbols":["LU0312595415.SGD","LU0316494557.USD","LU0354030438.USD","LU0820561818.USD","LU0276348264.USD","IE00BLSP4452.SGD","LU0689472784.USD","LU1914381329.SGD","LU0957791311.USD","SG9999017495.SGD","LU0320765059.SGD","LU0056508442.USD","SG9999018865.SGD","IE00B3S45H60.SGD","LU1064131342.USD","IE0004445239.USD","LU0528227936.USD","MSFT","IE00B7KXQ091.USD","IE00BJTD4V19.USD","IE00BSNM7G36.USD","LU0127658192.USD","SG9999014898.SGD","LU0861579265.USD","LU0234570918.USD","LU2237443978.SGD","IE00B775SV38.USD","LU1046421795.USD","LU0109392836.USD","LU0719512351.SGD","LU1316542783.SGD","LU0557290698.USD","SGXZ31699556.SGD","SG9999014906.USD","SG9999001077.SGD","IE00B1BXHZ80.USD","GOOG","LU1201861249.SGD","LU0256863811.USD","LU0011850046.USD"],"verified":2,"subType":0,"readableState":1,"langContent":"CN","currentLanguage":"CN","warmUpFlag":false,"orderFlag":false,"shareable":true,"causeOfNotShareable":"","featuresForAnalytics":[],"commentAndTweetFlag":false,"andRepostAutoSelectedFlag":false,"upFlag":false,"length":14813,"xxTargetLangEnum":"ZH_CN"},"isVote":1,"tweetType":1,"viewCount":1648,"commentLimit":10,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"symbols":[],"verified":2,"subType":0,"readableState":1,"langContent":"CN","currentLanguage":"CN","warmUpFlag":false,"orderFlag":false,"shareable":true,"causeOfNotShareable":"","featuresForAnalytics":[],"commentAndTweetFlag":false,"andRepostAutoSelectedFlag":false,"upFlag":false,"length":5,"xxTargetLangEnum":"ZH_CN"},"commentList":[],"isCommentEnd":true,"isTiger":false,"isWeiXinMini":false,"url":"/m/post/625443477"}