打脸“AI灭绝伦”！研究反驳：大模型涌现能力不会威胁人类生存

学术头条08-19

大语言模型（LLM）因“涌现能力”（emergent abilities）而拥有了超出人类预期的技能，但也因此让人类十分忌惮：操纵、欺骗人类，自主实施网络攻击，自动化生物研究......然而，也有专家认为，这种过度的担忧会损害开源和创新，不利于人工智能（AI）行业的健康发展。当前，有关“AI 灭绝伦”的争论愈演愈烈。那么，“涌现能力”真的是导致 AI 大模型威胁人类生存的罪魁祸首吗？一项最新研究...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2460108958?lang=zh_CN&edition=full","thumbnail":"","is_english":false,"pubTime":"2024-08-19 18:15","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"2460108958","market":"hk","top_or_hot":-1,"title":"打脸“AI灭绝伦”！研究反驳：大模型涌现能力不会威胁人类生存","media":"学术头条","content":"<div>\n<p>大语言模型（LLM）因“涌现能力”（emergent abilities）而拥有了超出人类预期的技能，但也因此让人类十分忌惮：操纵、欺骗人类，自主实施网络攻击，自动化生物研究......然而，也有专家认为，这种过度的担忧会损害开源和创新，不利于人工智能（AI）行业的健康发展。当前，有关“AI 灭绝伦”的争论愈演愈烈。那么，“涌现能力”真的是导致 AI 大模型威胁人类生存的罪魁祸首吗？一项最新研究...</p>\n\n<a href=\"https://tech.ifeng.com/c/8cB9FvNPPiL\">网页链接</a>\n\n</div>\n","source":"ifeng_tech","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>打脸“AI灭绝伦”！研究反驳：大模型涌现能力不会威胁人类生存</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n打脸“AI灭绝伦”！研究反驳：大模型涌现能力不会威胁人类生存\n</h2>\n\n<h4 class=\"meta\">\n\n\n2024-08-19 18:15 北京时间&nbsp;&nbsp;&nbsp;<a href=https://tech.ifeng.com/c/8cB9FvNPPiL><strong>学术头条</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>大语言模型（LLM）因“涌现能力”（emergent abilities）而拥有了超出人类预期的技能，但也因此让人类十分忌惮：操纵、欺骗人类，自主实施网络攻击，自动化生物研究......然而，也有专家认为，这种过度的担忧会损害开源和创新，不利于人工智能（AI）行业的健康发展。当前，有关“AI 灭绝伦”的争论愈演愈烈。那么，“涌现能力”真的是导致 AI 大模型威胁人类生存的罪魁祸首吗？一项最新研究...</p>\n\n<a href=\"https://tech.ifeng.com/c/8cB9FvNPPiL\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"BK4093","symbol_name":"化肥与农用药剂","start_time":0,"source_url":"https://tech.ifeng.com/c/8cB9FvNPPiL","article_id":"2460108958","we_media_id":null,"thumbnails":[],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=2460108958","pubTimestamp":1724062544,"sourceInfo":{"source_id":"ifeng_tech","name":"凤凰网财经"},"weMediaInfo":null,"summary":"当前，有关“AI 灭绝伦”的争论愈演愈烈。来自达姆施塔特工业大学和巴斯大学的研究团队发现，GPT 等 LLM 尚无法独立地学习或获得新技能，这意味着它们不会对人类构成生存威胁。尽管 LLM 在任务表现上展现出超凡的能力，但研究结果表明，这些能力并不意味着 AI 对人类生存构成实质性的威胁。通过对模型的微调，可以引导 LLM 更好地理解和执行复杂任务，而这种能力的增强并不意味着模型会产生自主意识，还不足以对人类产生威胁。","collect":0,"end_time":0,"defaultTopTitle":"ifeng.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"BK4093":"化肥与农用药剂","ICL":"以色列化学"},"translate_title":"Slap in the face \"AI extinction ethics\"! Research refutation: The emergence ability of large models will not threaten human survival","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"ICL":1},"content_text":"大语言模型（LLM）因“涌现能力”（emergent abilities）而拥有了超出人类预期的技能，但也因此让人类十分忌惮：操纵、欺骗人类，自主实施网络攻击，自动化生物研究......然而，也有专家认为，这种过度的担忧会损害开源和创新，不利于人工智能（AI）行业的健康发展。当前，有关“AI 灭绝伦”的争论愈演愈烈。那么，“涌现能力”真的是导致 AI 大模型威胁人类生存的罪魁祸首吗？一项最新研究否定了这一观点。来自达姆施塔特工业大学和巴斯大学的研究团队发现，GPT 等 LLM 尚无法独立地学习或获得新技能，这意味着它们不会对人类构成生存威胁。他们表示，“涌现能力” 背后的真相或许比科幻电影更富有戏剧性，许多所谓的“涌现能力”，其实都是 AI 大模型在面对不熟悉的任务时，依赖于已有的数据和经验做出的“即兴表演”。相关研究论文以 “Are Emergent Abilities in Large Language Models just In-Context Learning?” 为题，已发表在 AI 顶会国际计算语言学年会（ACL）上。他们通过一系列实验验证了 AI 大模型在不同上下文条件下的表现，结果发现：在零样本（zero-shot）的情况下，许多大模型根本无法展现所谓的“涌现能力”，反而表现得相当一般。他们表示，这一发现有助于理解 LLM 的实际能力和局限性，并为未来的模型优化提供新的方向。智能涌现：只是“即兴表演”？AI 大模型的“涌现能力”来自哪里？它是否真如听起来那样神秘，甚至令人担忧？为了破解这一谜题，研究团队选择了 GPT、T5、Falcon 和 LLaMA 系列模型作为研究对象，通过实验分析了非指令微调模型（如 GPT）和指令微调模型（如 Flan-T5-large）在 22 个任务（17 个已知的涌现任务和 7 个基线任务）和不同条件下的表现。图｜模型列表。为了全面评估模型能力，他们将 Exact Match Accuracy、BERTScore Accuracy 和 String Edit Distance 作为评估指标。同时，为了提高实验的准确性，他们还进行了偏见控制，通过调整提示和输出格式，确保非指令微调模型的公平性，并通过手动评估验证模型输出的准确性。在实验中，研究人员采用 zero-shot 和少样本（few-shot）两种设置，重点分析了 GPT 的表现能力。图｜非指令微调 GPT 模型在零样本下的表现。令人惊讶的是，尽管 GPT 在之前的研究中被认为具有涌现能力，但在 zero-shot 的情况下，这种能力表现得非常有限。具体而言，只有两个任务在不依赖上下文学习（ICL）的情况下展示了涌现能力，这两个任务主要依赖形式语言能力或信息检索，而非复杂的推理能力。由此可以得出，在没有上下文学习的条件下，GPT 模型的涌现能力受到了极大的限制。然而，涌现能力的来源仅仅如此吗？研究团队又将目光转向了指令微调模型，提出了一个大胆的假设：指令微调并非简单的任务适应，而是通过隐式上下文学习，激发了模型的潜在能力。通过对比 GPT-J（非指令微调）与 Flan-T5-large（指令微调）的任务解决能力，他们发现，尽管两者在参数规模、模型架构和预训练数据上存在显著差异，但在某些任务上的表现却出奇地一致。图｜两个模型的表现在高于随机基线部分有很大的重叠，这表明指令微调可以有效地获取上下文中的能力，而非导致功能性语言能力的涌现。这一现象表明，指令微调模型可能并不是在展示一种全新的推理能力，而是通过隐式上下文学习，巧妙地利用了已有的上下文学习能力。进一步的实验表明，无论是模型规模的增加，还是训练数据的丰富，指令微调模型在 zero-shot 的情况下，仍然能够与非指令微调模型表现出相似的任务解决能力。这一发现再次强调了指令微调与隐性上下文学习之间的紧密联系。AI威胁人类生存：真实还是夸大？尽管 LLM 在任务表现上展现出超凡的能力，但研究结果表明，这些能力并不意味着 AI 对人类生存构成实质性的威胁。首先，LLM 的涌现能力主要来源于上下文学习和指令微调，这些技术在模型的设计和训练中是可以被预测和控制的，并未表现出完全自主发展的趋势，也没有产生独立的意图或动机。例如，在社交智力测试（Social IQA）中，模型能够正确回答涉及情感和社会情境的问题，例如：“卡森醒来去上学时很兴奋。他为什么要这样做？”在这一问题中，模型通过上下文学习和指令微调，能够超越随机基线（random baseline），选择出合理的答案。这说明模型并非在自发产生某种“智能”，而是在具体输入和设计条件下展现出的一种高级模式识别能力。其次，研究发现随着 LLM 规模的扩大，这些能力表现得更加显著，但并未脱离设计者的控制。通过对模型的微调，可以引导 LLM 更好地理解和执行复杂任务，而这种能力的增强并不意味着模型会产生自主意识，还不足以对人类产生威胁。在实验中，LLM在特定任务上的表现大大优于随机基线，尤其是在需要推理和判断的任务中。然而，这种表现依然依赖于大量训练数据和精心设计的输入提示，而非模型自发的智能觉醒。这一结果进一步证实 LLM 的涌现能力是在可控范围内发展的，虽然这一假设仍需进一步的实验证实，但为研究理解大模型的涌现能力提供了一个全新的视角。研究指出，虽然未来人工智能可能会在功能性语言能力上进一步发展，但其潜在危险性依然是可控的。现有证据还不能支持“AI灭绝伦”的担忧，相反，AI 技术的发展正在逐步朝着更加安全和可控的方向前进。不足与展望尽管这项研究为理解 LLM 的涌现能力提供了重要的见解，但研究人员也指出了该研究的局限性。当前的实验主要集中在特定的任务和场景下，而 LLM 在更加复杂和多样化的情境中的表现尚需进一步研究。研究人员表示，模型的训练数据和规模仍然是影响涌现能力的关键因素，未来的研究还需进一步探索如何优化这些因素，从而提高模型的安全性和可控性。他们计划进一步研究 LLM 在更加广泛的语言和任务环境中的表现，特别是如何通过改进上下文学习和指令微调技术来增强模型能力，且确保安全性。此外，他们还将探讨如何在不增加模型规模的情况下，通过优化训练方法和数据选择，实现涌现能力的最大化。","kind":null,"is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"deviceId":"web-server-community-laohu8-v3","version":"4.29.2","shortVersion":"4.29.2","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2460108958"}