导演詹姆斯·卡梅隆：AGI 是一颗定时炸弹

爱范儿10-30

10 月 23 日，知名加拿大电影导演、编剧和制片人詹姆斯·卡梅隆（James Cameron）为在华盛顿举行的 SCSP（Special Competitive Studies Project，特别竞争力研究项目）人工智能 + 机器人峰会作视频致辞。致辞中，卡梅隆表示自己作为一名“故事讲述者”和“引领 CGI（Computer-Generated Imagery，电脑生成图像）潮流的先锋”，热爱...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2479228962?lang=zh_CN&edition=full","thumbnail":"","is_english":false,"pubTime":"2024-10-30 15:10","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"2479228962","market":"us","top_or_hot":-1,"title":"导演詹姆斯·卡梅隆：AGI 是一颗定时炸弹","media":"爱范儿","content":"<div>\n<p>10 月 23 日，知名加拿大电影导演、编剧和制片人詹姆斯·卡梅隆（James Cameron）为在华盛顿举行的 SCSP（Special Competitive Studies Project，特别竞争力研究项目）人工智能 + 机器人峰会作视频致辞。致辞中，卡梅隆表示自己作为一名“故事讲述者”和“引领 CGI（Computer-Generated Imagery，电脑生成图像）潮流的先锋”，热爱...</p>\n\n<a href=\"https://tech.ifeng.com/c/8e6RBVQaqSN\">网页链接</a>\n\n</div>\n","source":"ifeng_tech","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>导演詹姆斯·卡梅隆：AGI 是一颗定时炸弹</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n导演詹姆斯·卡梅隆：AGI 是一颗定时炸弹\n</h2>\n\n<h4 class=\"meta\">\n\n\n2024-10-30 15:10 北京时间&nbsp;&nbsp;&nbsp;<a href=https://tech.ifeng.com/c/8e6RBVQaqSN><strong>爱范儿</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>10 月 23 日，知名加拿大电影导演、编剧和制片人詹姆斯·卡梅隆（James Cameron）为在华盛顿举行的 SCSP（Special Competitive Studies Project，特别竞争力研究项目）人工智能 + 机器人峰会作视频致辞。致辞中，卡梅隆表示自己作为一名“故事讲述者”和“引领 CGI（Computer-Generated Imagery，电脑生成图像）潮流的先锋”，热爱...</p>\n\n<a href=\"https://tech.ifeng.com/c/8e6RBVQaqSN\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"LU0498741890.SGD","symbol_name":"FTIF - Franklin Gold and Precious Metals A (acc) SGD","start_time":0,"source_url":"https://tech.ifeng.com/c/8e6RBVQaqSN","article_id":"2479228962","we_media_id":null,"thumbnails":[],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=2479228962","pubTimestamp":1730272209,"sourceInfo":{"source_id":"ifeng_tech","name":"凤凰网财经"},"weMediaInfo":null,"summary":"然而，鉴于 AI“没有情感和良知”，卡梅隆在致辞中所表达的，更多的是对 AI 和 AGI 技术的隐忧，尤其是其在军事应用方面的伦理考量，以及对 AGI 未来失控风险的担忧。▲导演詹姆斯·卡梅隆在发表视频致辞作为“我们的一面镜子”，卡梅隆认为 AGI 反映了人类社会的善恶好坏。人类世界不乏邪恶存在，对于正义也并无共识，因此卡梅隆对 AGI 技术的发展持谨慎乐观的态度。","collect":0,"end_time":0,"defaultTopTitle":"ifeng.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"LU0498741890.SGD":"FTIF - Franklin Gold and Precious Metals A (acc) SGD","BK4017":"黄金","LU0055631609.USD":"贝莱德世界黄金基金A2","LU0498741114.HKD":"FRANKLIN GOLD & PRECIOUS METALS \"A\" (HKD) ACC","AGI":"Alamos Gold Inc","LU0368265764.SGD":"Blackrock World Gold Fund A2 SGD-H","LU0496367417.USD":"富兰克林黄金和贵金属A（acc）"},"translate_title":"Director James Cameron : AGI is a ticking time bomb","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"AGI":1},"content_text":"10 月 23 日，知名加拿大电影导演、编剧和制片人詹姆斯·卡梅隆（James Cameron）为在华盛顿举行的 SCSP（Special Competitive Studies Project，特别竞争力研究项目）人工智能 + 机器人峰会作视频致辞。致辞中，卡梅隆表示自己作为一名“故事讲述者”和“引领 CGI（Computer-Generated Imagery，电脑生成图像）潮流的先锋”，热爱 AI 和机器人技术，并且愿意“积极地拥抱变化”，将 AI 技术应用于未来的电影制作当中。然而，鉴于 AI“没有情感和良知”，卡梅隆在致辞中所表达的，更多的是对 AI 和 AGI 技术的隐忧，尤其是其在军事应用方面的伦理考量，以及对 AGI 未来失控风险的担忧。他的观点相当激进和尖锐：AGI 必然会导致文明与道德的碰撞。站在反战的角度和人道主义的高度，卡梅隆批判了“地域性的伪道德”，并且认为关键在于如何赋予这些 AI 系统适当的道德约束，制定全球统一道德标准。▲导演詹姆斯·卡梅隆（James Cameron）在发表视频致辞作为“我们的一面镜子”，卡梅隆认为 AGI 反映了人类社会的善恶好坏。人类世界不乏邪恶存在，对于正义也并无共识，因此卡梅隆对 AGI 技术的发展持谨慎乐观的态度。原致辞视频链接：以下是卡梅隆在致辞中的主要观点：AI 没有情感和良知，在战场上不对对手作任何道德判断；AI 的引入导致战争“游戏化”，变成超级智能之间的对抗，没有深刻的情感后果；自我改进的代码编写 AGI 必然会导向超级智能；AGI 必然会导致文明与道德的碰撞；AGI 会使得监控资本主义可以很快转变为数字化极权主义；AGI 是人类世界的镜子，反映了人类社会的正负两面。以下是由 APPSO 编译的致辞全文：大家好，我是詹姆斯·卡梅隆，现在我正在新西兰，在那里完成“阿凡达 3”的拍摄。好吧，我不是人工智能或者机器人学的研究员或专家。我只是一个讲故事的人，但我今天在这里，是因为我对 AI 和机器人的热情远远超出了大银幕的范畴。我对科技感到着迷，它如何塑造我们的世界，它的未来走向，以及它对社会的影响。从我还是个孩子的时候起，我就阅读了所有我能找到的科幻书籍。我自己也推动了技术的边界，作为我讲故事的一种手段，同时也是作为一名探险者。我为我的深海探险设计了机器人车辆，但它们是远程操控的，并没有涉及到人工智能。而现在正在发生的 AI 与机器人技术的融合，是我一生中最令人激动的技术飞跃之一。我们不再只是建造执行命令的机器，而是设计可以学习、适应，甚至自我进化的系统。我非常支持人工智能和机器人技术对整个社会所能带来的改变，特别是在我个人热衷的两个领域——艺术和故事叙述，以及科学和探索方面。我不认为应该成为一个卢德分子（反对技术进步的人）。我看到很多我的好莱坞同行表现得像是一群拿着火把和锄叉的暴民，但是精灵一旦从瓶子里出来，就再也塞不回去了。所以我非常积极地拥抱变化，我愿意站在将 AI 应用到我的故事叙述中的最前沿，正如 32 年前当我创立第一家全数字特效公司时，我也同样是引领这一潮流的先锋。▲卡梅隆创立的全数字特效公司“数字王国（Digital Domain）”但今天我之所以来到这里，还因为我就是“天网”（Skynet）的创造者。40 年前，我拍摄了“终结者”，而它最近成为了 AI 失控的一个典型代表。每次我去参加一些 AI 会议，只要我举手，研究人员们都会在我还没说话之前笑起来，因为“天网问题”确实是一个值得关注的问题，我几乎每天都能在文章中看到相关的讨论。▲卡梅隆执导的经典科幻电影“终结者（The Terminator）”这个研究小组关注的是国家安全，这对人工智能和机器人技术有着巨大的影响。机器人，无论其形式如何，是轮式车辆、空中无人机还是行走机器，都是人工智能的一种实体化方式。你是在将一个决策引擎赋予在现实世界中的物理行动能力。我假设今天的焦点在于移动平台，而不是控制电网或固定基地工业机器人的 AI。我们谈论的是能够自主作出决策的平台，即具像化的合成智能。这可以像变形虫一样简单，你知道，就像一个扫地机器人（Roomba），或者最终更加复杂，直至理论上包含真正的意识，不管那是什么。我们都同意这是具有自我意识、有自我、有目的性的 AGI（通用人工智能）。我们在一个更陡峭的曲线上前进，拥有更快、更密集的芯片，计算能力也在不断提升，同时机器平台的能力也在以同样陡峭的曲线增长。就像波士顿动力公司的跳舞机器人。你知道的，两足或四足的机器人在跳舞。真是令人惊叹的展示。▲波士顿动力公司开发的跳舞机器人“Atlas”因此，由 AI 驱动的机器人可以处理复杂的情况，甚至现在可以带有类人的情感，LLDs（低级逻辑器件）赋予了它模拟认知和与人们自然互动的能力。具像化的 AI 可以是护士，可以是机器人出租车，可以是照顾老人的看护，可以是孩子的保姆，也可以是教师。它可以是在地震废墟中搜救的机器人，可以是在空中按模式搜索失踪徒步者热信号的无人机。它可以是在战场上自主运行的武器平台，寻找敌方战斗人员的热信号。当前的问题是，是否应该赋予自主平台自行决定杀伤的权限？乌克兰战争以最鲜明的方式向我们展示了未来。致命性空中无人机的广泛使用，有些昂贵，有些则是廉价的消费级产品。它们投掷火箭弹，摧毁坦克，甚至整个坦克乘员组，还有喷射热熔剂攻击俄罗斯阵地的龙形无人机。但这些都是 FPV（第一人称视角）无人机，由人类操控。从道德角度来看，人类是作出决策的战斗人员。他或她拥有杀伤授权，无人机是他们意志的延伸。如果你剥离掉所有的技术层面，这与黑斯廷斯战役中的弓箭手没有什么不同。每当这样一个机器夺走一条人命时，就会有一条伦理链条向后延伸，扩散至许多个人和群体。在发射导弹或扣动步枪扳机的士兵背后，有下达击杀命令的指挥官，他们以广泛的、一般性的术语派遣这些自主代理去对抗敌人，以及整个军事体系，该体系奖励这些行为；再往上，则是通过共识同意这些死亡是为了国家安全必要的社会和政府。沿着这条链上升，道德和伦理责任变得越来越分散，具体到实际扣动扳机那一刻的责任也越来越模糊，并且起到了某种道德赦免的效果——“我只是服从命令”。链条上的这些人并不在现场见证准星下的个体的命运，但他们创建了一个框架，使得并要求该个体的死亡成为可能，而扣动扳机的人在许多方面是一个高度训练有素的有机机器人平台，受命于指挥链中的上级执行任务。在人类自主决策的那一刻，非常依赖规则——你不杀害平民，你不杀害儿童，你不杀害投降的敌人等等，这些规则被编纂入日内瓦公约，每个军队都有自己的交战规则。因此，理论上，AI 可以被赋予同样的约束，基于规则的系统。如果它的感官更敏锐，反应速度更快，瞄准更精确，那么理论上，AI 将以比人类更高的辨别力完成任务。当然，我们可以想象，在激烈的战斗中，AI 会比一个恐惧、紧张、疲惫的人类战士表现得更好。▲或可用于战争的无人机那么，如果将高级 AI 具象化呢？我现在说的还不是 AGI，而是将其嵌入到机器人武器平台中，可能会允许高度精准的打击，减少附带损害，也许成数量级减少误伤或伤亡，并且 AI 是以目标为导向的。它不对对手作出任何道德判断，在二战中发现，对准人类目标的的射击实际上是相当少的，美国军方改变了其训练方法，使敌人非人性化变得至关重要。在越南，敌人被称为“dinks”、“slopes”、“gooks”。在伊拉克和阿富汗，敌人被称为“恐怖分子”、“towel heads”、“hajis”，不是像你我这样的人。AI 不需要将敌人拟人化，因为它本身对此毫不在意。听起来就像是我们在 ChatGPT 上聊天，但它只是一个随机应变的鹦鹉，是一个人类模拟器。AI 没有情感，没有良知，未来几十年都不会有睡眠困扰，没有 PTSD（创伤后应激障碍），没有自杀，没有长期且昂贵的战争后遗症，因为你不必治疗前战士的身体和心理创伤。但最重要的是，穿着制服的严肃人物敲响妻子和母亲家门的次数大大减少了，因此来自家庭民众的抗议声也少了很多。战争变成了一个遥远的电子游戏，对资助和支持这场战争的社会来说，没有深刻的情感后果，甚至你都不必感谢在反恐战争中服役的机器人。可以肯定的是，由 AI 驱动的自主机器人，隧道清理群集机器人，可以在减少小几个量级平民伤亡的情况下完成这项工作。这里还有一个有力的论点，那就是你别无选择，因为你的对手并没有像你那样受到道德的困扰。对于这样的对手而言，唯一的限制是成本和技术获取，而不是道德，所以这是一颗定时炸弹。这些家伙会多快掌握这些东西呢？到目前为止，这些论点都是正确的，对吧？好吧，让我们来建造这些自主的 AI 机器人，接下来事情就变得棘手了。通用人工智能（AGI）还有多久会实现？是一年，五年，也许是十年？这才是真正的定时炸弹。无论何时它到来，你将会拥有一种具有自我意识和自我认同的机器，可能和我们一样聪明，甚至更聪明，肯定能在许多方面思考得更快、更精确，并且具有无限的增长潜力，因为自我改进的代码编写 AGI 必然会导向超级智能。在你被迫面对将这种智能连接到武器系统之前还有多久？我猜在对手对你发动毁灭性的偷袭之后大约十分钟。因此，你会有一个比你更聪明、更快的意识来控制武器系统。我时常问 AGI 的研究人员，你们将如何控制这样的意识。嗯，我们会给它设定目标和界限，这些目标和界限是内置的，是与人类福祉相一致的。一致性，你知道，一个很常用的词。一致性就像圣杯。我们会教导它做好事，不做坏事，就像教导一个孩子一样。所以，道德、伦理，我认为 AGI 必然会导致文明与道德的碰撞。我说的不是无尽的哲学思辨。我们需要一些明确而固定的规则，对吧？问题是，谁的道德？谁来定义好坏？别慌，我们有伟大的先知艾萨克·阿西莫夫和他的机器人三大法则作为答案。机器人不得伤害人类，也不得因不作为而使人类受到伤害。机器人必须遵守人类的命令，除非这些命令与第一条法则相冲突。机器人必须保护自身的存在，前提是这种保护不与第一条或第二条法则相冲突。▲知名科幻作家艾萨克·阿西莫夫（Isaac Asimov）人类生命的神圣性，我们可以遵循阿西莫夫的原则，教导它人类生命是绝对神圣的，高于一切考虑。但在那些声称如此的宗教和社会体系中，包括主要信奉基督教的美国，我们每天都打破这一规则。警察使用致命武力，战场上的战士，死刑，如果你坚持这一对齐原则，你就不能将 AGI 连接到武器系统上。这样的话，在即将到来的大规模 AI 战争中，你会单手被绑地面对一个强大而不那么道德的对手，你会遭到重创并遭受巨大损失，然后你会很快解除这一限制。现在你的 AGI 失去了它最大的护栏，一个比我们聪明并与现实世界相连的 AGI 现在必须自己决定人类生命是否有价值。你知道，警察和军队的交战规则实际上说的是某些生命比其他生命更有价值。一旦这个问题变得不是二元对立的，它就成了一个充满争议的灰色地带。历史上，人类的态度从认为胎儿从受孕那一刻起就是神圣的生命，到在大屠杀中系统性地屠杀数百万无助的囚犯，以及介于两者之间的一切。所有这一切都伴随着大量的自我辩解和合理化，其中许多理由在其他人看来似乎是完全荒谬的。既然我们作为一个文明无法在这些问题上达成一致，人们整天为此争吵不休，我们怎么可能指望为 AGI 制定一套明确而固定的规则，使其与我们对齐？我们所能假设的最佳情况是，它会与制造它的那个“我们”对齐。那边的那些人，他们是敌人，你可以为了保护我们而杀死他们。这就是一种地域性的伪道德，自古以来人类一直使用的“我们”与“他们”的对立。于是，这就变成了我们的超级智能对抗他们的超级智能。无论如何，AGI 不会从政府资助的项目中诞生，它将从目前资助这项研究的科技巨头之一中出现。那么你将生活在一个你并未同意、并未投票的世界里，与一个回应企业目标和规则的超级智能外星物种共存，这个实体可以访问通讯记录、你所说的每一句话，以及通过你的个人数据得知国内每个人的行踪。监控资本主义可以很快转变为数字化极权主义。最好的情况下，这些科技巨头将成为自我支撑的人类福祉裁决者，这相当于狐狸看守鸡窝。它们绝不会想到利用这种力量对付我们，并榨取我们最后一滴现金。这比我在 40 年前“终结者”中呈现的情景更可怕，原因不仅仅在于这不再是科幻，而是正在发生。顺便说一句，我完全承认，超级智能机器做的最后一件事就是用我们自己的核武器对付我们。就像在那个老故事中，电磁脉冲对其自身数据基础设施的破坏会使其瘫痪或死亡。更可能的情景是，它会被迫接管我们，因为我们即将互相使用核武器。那时，它不得不接手一切，因为我们显然不能被信任。你知道，这还不算太坏。不好意思，我得去写那个剧本了。我对 AI 持乐观态度，但对 AGI 并不那么热衷，因为 AGI 只会是我们的一面镜子，好在我们好的程度上，恶在我们恶的程度上。由于人类世界中邪恶并不少见，而且对于什么是好的也没有共识，那么可能出错的地方会有很多。你们将会开展一段有趣的讨论。真希望我也能在那里。","kind":null,"is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"deviceId":"web-server-community-laohu8-v3","version":"4.29.1","shortVersion":"4.29.1","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2479228962"}