大模型预测，下一个token何必是文字？

量子位03-29

太快了太快了……大模型的生成技能，已经到了普通人看不懂的境界！它可以根据用户过去5年的体检报告，生成未来第1年、第2年、第3年的体检报告。你看，这个生成的过程，是不是像极了ChatGPT，根据历史单词预测下一个单词。它能查看过去7天机组子部件的运行情况，生成未来3天每小时的子部件报告。还能基于历史水文数据和未来7天气象数据，生成未来第1天、第2天……至第7天的每小时降水分析报告，包括详细降水量、...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2423450457?lang=zh_CN&edition=full","thumbnail":"https://img.huxiucdn.com/article/cover/202403/29/190132324031.jpg?imageView2/1/w/720/h/405/|imageMogr2/strip/interlace/1/quality/85/format/jpg","is_english":false,"pubTime":"2024-03-29 19:26","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"2423450457","market":"sg","top_or_hot":-1,"title":"大模型预测，下一个token何必是文字？","media":"量子位","content":"<div>\n<p>太快了太快了……大模型的生成技能，已经到了普通人看不懂的境界！它可以根据用户过去5年的体检报告，生成未来第1年、第2年、第3年的体检报告。你看，这个生成的过程，是不是像极了ChatGPT，根据历史单词预测下一个单词。它能查看过去7天机组子部件的运行情况，生成未来3天每小时的子部件报告 。还能基于历史水文数据和未来7天气象数据，生成未来第1天、第2天……至第7天的每小时降水分析报告，包括详细降水量、...</p>\n\n<a href=\"https://www.huxiu.com/article/2842581.html\">网页链接</a>\n\n</div>\n","source":"highlight_huxiu","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>大模型预测，下一个token何必是文字？</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n大模型预测，下一个token何必是文字？\n</h2>\n\n<h4 class=\"meta\">\n\n\n2024-03-29 19:26 北京时间&nbsp;&nbsp;&nbsp;<a href=https://www.huxiu.com/article/2842581.html><strong>量子位</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>太快了太快了……大模型的生成技能，已经到了普通人看不懂的境界！它可以根据用户过去5年的体检报告，生成未来第1年、第2年、第3年的体检报告。你看，这个生成的过程，是不是像极了ChatGPT，根据历史单词预测下一个单词。它能查看过去7天机组子部件的运行情况，生成未来3天每小时的子部件报告 。还能基于历史水文数据和未来7天气象数据，生成未来第1天、第2天……至第7天的每小时降水分析报告，包括详细降水量、...</p>\n\n<a href=\"https://www.huxiu.com/article/2842581.html\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"GAN","symbol_name":"GAN Limited","start_time":0,"source_url":"https://www.huxiu.com/article/2842581.html","article_id":"2423450457","we_media_id":null,"thumbnails":["https://img.huxiucdn.com/article/cover/202403/29/190132324031.jpg?imageView2/1/w/720/h/405/|imageMogr2/strip/interlace/1/quality/85/format/jpg"],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=2423450457","pubTimestamp":1711711560,"sourceInfo":{"source_id":"highlight_huxiu","name":"虎嗅网"},"weMediaInfo":null,"summary":"AIGC全面渗透到各个行业中，才能开启新质生产力变革","collect":0,"end_time":0,"defaultTopTitle":"huxiu.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"GAN":"GAN Limited","BK4150":"赌场与赌博"},"translate_title":"The big model predicts, why should the next token be words?","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"GAN":1},"content_text":"太快了太快了……大模型的生成技能，已经到了普通人看不懂的境界！它可以根据用户过去5年的体检报告，生成未来第1年、第2年、第3年的体检报告。你看，这个生成的过程，是不是像极了ChatGPT，根据历史单词预测下一个单词。它能查看过去7天机组子部件的运行情况，生成未来3天每小时的子部件报告 。还能基于历史水文数据和未来7天气象数据，生成未来第1天、第2天……至第7天的每小时降水分析报告，包括详细降水量、降水分布。如今，大模型的生成内容，早已不只是文字、图像、视频了。如上生成的这些报告分析涉及诸多专业知识，普通人很难基于自己的知识储备评价其合理性和正确性。最多只能评价一句：不明觉厉！怎么说呢？“AI似乎正在生成一切”。LLM+行业数据，路走错了？简单理解大模型，就是Predict the Next “X”。ChatGPT是Predict the Next “Word”。但行业需要的往往不是预测下一个字。比如对于慢性病患者的健康管理规划，它需要基于一系列生理指标数据，从医学角度进行数据预测。举个不恰当的例子，这更像是用数学方法解题。如果在大语言模型基础上投喂大量专业的医学语料，更像是用语文方法读题。尽管能理解相关的术语和指标，可是给出的预测结果大概率不准确。因为问题本身超出了“语言”范畴，不能用语文方法求解。如果“X“的模态从“文字Word”变成了“体检报告”，模型则可以根据历史体检报告数据去预测下一个体检报告，这才是一个健康管理大模型。它的逻辑更像是“种瓜得瓜、种豆得豆”。即输入“X”、输出“X”。这里的“X”可能包含水文数据、健康报告、设备监测数值、设计推演等不同样式的专业数据。它能基于音乐厅的几何模型和房间数据，从声源发射5000Hz频率射线，生成射线分布图，找到听觉最佳的音源摆放位置。如何预测“X”？所以，这些能预测下一个X的行业大模型，如何构建出来？通过刚刚发布的先知AIOS 5.0。其核心特点是基于各行各业场景的X模态数据，构建行业基座大模型。解决了当前行业大模型只能将行业文本数据喂给大语言模型、生成下一个字的问题，让大模型能来到的领域更加广泛。先知是AI公司第四范式的核心产品。2015年，先知AIOS 1.0版本首次发布，通过高维、实时、自学习框架提升模型精度；2017年，先知AIOS 2.0版本利用自动建模工具HyperCycle，降低模型开发门槛；2020年发布的先知AIOS 3.0版本规范AI数据治理和上线投产；2022年，先知AIOS 4.0版本引入北极星指标，更大化发挥AI应用价值。AIOS 5.0版本则从生成式AI+行业这一角度出发，给行业大模型提出了一种新思路。而在公认的大模型应用落地元年里，行业大模型的发展和影响一定是此前的数倍。这种更具规模化的动向，由此也形成了AIGC趋势的下一个范式。One More Thing：AIGC迈向新范式？从图片、文字、视频，再到健康、水利……我们不难看出AIGC现在正以迅猛的速度朝着AI生成一切的方向飞奔。通常来说，一切事物的发展似乎都需要一些范式来推动，而且不是新范式取代旧范式，而是它们之间互补使其更加深入和全面。正如科学研究中的四种范式一般，即实验归纳、理论推演、计算机仿真和数据密集型科学发现，它们相互补充，共同推动了科学研究的进步。那么若是以这种逻辑来看待AIGC，似乎类似的四种范式也已经开始出现。AIGC的第一范式以文本生成为核心，通过智能客服、内容续写等应用，展示了AI在理解和生成自然语言方面的能力。这一阶段的AIGC技术，为后续的发展奠定了基础，使得机器能够与人类进行有效的交流和互动。AIGC的第二范式将应用领域扩展到了图像生成。如生成对抗网络（GAN）、变分自编码器（VAE）等，可以学习从随机噪声生成逼真图像的映射。并能将输出结果用于艺术创作、图像增强、虚拟场景生成等领域。这一范式进一步展现了AI的想象力。AIGC的第三范式则是聚焦在了视频生成，例如Gen2，例如Sora。视频生成一定程度上反映了AI对于世界的理解。从Sora诞生以来，能否理解世界？是否是世界模拟器的说法一直争论不休。因为如果确定Sora可以理解世界，将意味着AGI大门正式开启。而AIGC的第四范式，就是以行业为主，技术将全面渗透到各个行业之中。这一阶段的核心任务是将AI技术与行业知识深度融合。今年作为大模型应用落地的元年，我们看到AIGC技术开始在医疗、教育、金融等关键领域发挥重要作用。具体怎么做才能更快推进AIGC扎入行业？各路玩家都还在不断尝试中。以大语言模型为底座？还是直接训练行业大模型？不同路线都有各自的底层逻辑，谁的路线更能跑通，还言之过早。但可以确定的是——在AI生成一切的进程中，那些能够率先利用AI技术的个人和行业，将能够更早地享受到技术带来的红利。他们将有机会引领行业变革，塑造未来的社会和经济格局。而且也只有AIGC进入到了第四范式，才意味着完成了技术创新到商业创业的飞轮转换，意味着生成式AI开启新质生产力变革。本文来自微信公众号：量子位 （ID：QbitAI），作者：明敏、金磊","kind":null,"is_publish_news":true,"is_publish_highlight":false,"is_publish_live":null,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"None","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"deviceId":"web-server-community-laohu8-v3","version":"4.25.0","shortVersion":"4.25.0","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2423450457"}