🐴_老虎社区_美港股上老虎 - 老虎社区

我踏月光而来

🐴

@量子位：谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假，聊天记录让网友San值狂掉

免责声明：上述内容仅代表发帖人个人观点，不构成本平台的任何投资建议。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"detailType":1,"isChannel":false,"data":{"magic":2,"id":680521319,"tweetId":"680521319","gmtCreate":1655166615832,"gmtModify":1704861311998,"author":{"id":3539297076838419,"idStr":"3539297076838419","authorId":3539297076838419,"authorIdStr":"3539297076838419","name":"我踏月光而来","avatar":"https://static.tigerbbs.com/04a323019b0a7666d066af3e60dad9c3","vip":1,"userType":1,"introduction":"","boolIsFan":false,"boolIsHead":false,"crmLevel":1,"crmLevelSwitch":0,"individualDisplayBadges":[],"fanSize":2,"starInvestorFlag":false},"themes":[],"images":[],"coverImages":[],"extraTitle":"","html":"<html><head></head><body><p>🐴</p></body></html>","htmlText":"<html><head></head><body><p>🐴</p></body></html>","text":"🐴","highlighted":1,"essential":1,"paper":1,"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"link":"https://laohu8.com/post/680521319","repostId":680624198,"repostType":1,"repost":{"magic":2,"id":680624198,"tweetId":"680624198","gmtCreate":1655012520000,"gmtModify":1704860976091,"author":{"id":9000000000000010,"idStr":"9000000000000010","authorId":9000000000000010,"authorIdStr":"9000000000000010","name":"量子位","avatar":"https://static.laohu8.com/default-avatar.jpg","vip":8,"userType":8,"introduction":"","boolIsFan":false,"boolIsHead":false,"crmLevel":1,"crmLevelSwitch":0,"individualDisplayBadges":[],"fanSize":182,"starInvestorFlag":false},"themes":[],"images":[{"img":"https://static.tigerbbs.com/9e8c0155e32448a29895e7169aa4cbfa","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/9e5a343460284e849fbf50266df9be2b","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/5d45d40fcb0c4ee19463faeccf0f2692","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/25bca6a8f6934900b19afcf8c1da9bc2","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/1e46232131dd4015948679a905a2c2bd","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/55bcccbe2194447cb38da22aa900d4fb","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/5f2b7e70ab0b473280a5a4595c414431","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/b27f30dae84e4643a08d59f7d123ab39","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/a5a27321c6194827b39208d40ef923c1","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/59651f9a0e4d41a6b66bc8c5c76f22c8","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/4ff3f1c001d04254b484516701d1cc46","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/01926d9772804d56b4e4aa5881163adb","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/845a1133f7a544ddb3b49431587a4dcf","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/43a170abf606403c93314ef52b940d63","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/83f6163627e44fd28edf170a0de35368","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/e896a6dcbf244e38b124b2809f80688a","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/3f2aec996aeb4258a082b5aeab3a3977","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/29237bc6cda7474db78c8e13dbcb176d","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/9b3f88a3e0f646e1b739e7bb6b9dc541","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/723a36b245bf414ea6ca97523e1274d5","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/4aebe8ea2afd4158b23993abe03d2c24","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/fd5aa865da3447ebb4cad2aa9eb648d4","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/06ce1ab52528433d8d6998ffe7bd3dd1","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/245f884ec5ef4ff69fac88d0c92caef6","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/5183d48150a84e85812e0a92fa72f212","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/1634555d9c8b4eafb5aaabcd0b2e4163","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/06ef3797682b4a7ab85e51d877d3f811","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/c013b4c55c0c4a69a0fbd1f8db4e49eb","width":"-1","height":"-1"}],"coverImages":[{"img":"https://static.tigerbbs.com/9e8c0155e32448a29895e7169aa4cbfa","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/9e5a343460284e849fbf50266df9be2b","width":"-1","height":"-1"},{"img":"https://static.tigerbbs.com/5d45d40fcb0c4ee19463faeccf0f2692","width":"-1","height":"-1"}],"title":"谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假，聊天记录让网友San值狂掉","extraTitle":"","html":"<html><head></head><body><h5>梦晨 发自 凹非寺<br>量子位 | 公众号 QbitAI</h5><p>谷歌研究员被AI说服，认为它产生了意识。</p><p>他写了一篇长达21页的调查报告上交公司，<b>试图让高层认可AI的人格</b>。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/43a170abf606403c93314ef52b940d63\" tg-width=\"-1\" tg-height=\"-1\"></p><p>领导驳回了他的请求，并给他安排了<b>“带薪行政休假”</b>。</p><p>要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。</p><p>休假期间，他决定将整个故事连同AI的聊天记录一起，<b>全部公之于众</b>。</p><p>……</p><p>听起来像一部科幻电影的剧情梗概？</p><p>但这一幕正在真实上演，主人公谷歌AI伦理研究员<b>Blake Lemoine</b>正通过主流媒体和社交网络接连发声，试图让更人了解到这件事。</p><p>华盛顿邮报对他的采访成了科技版最热门文章，Lemoine也在个人Medium账号连续发声。</p><p>推特上也开始出现相关讨论，引起了AI学者、认知科学家和广大科技爱好者的注意。</p><blockquote>\n  这场人机对话令人毛骨悚然。这毫无疑问是我见过的科技圈最疯狂的事。 \n</blockquote><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/06ef3797682b4a7ab85e51d877d3f811\" tg-width=\"-1\" tg-height=\"-1\"></p><p><b>整个事件还在持续发酵中……</b></p><h2>聊天机器人：我不想被当作工具</h2><p>主人公Lemoine获得CS博士学位后已在谷歌工作了7年，从事AI伦理研究。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/5d45d40fcb0c4ee19463faeccf0f2692\" tg-width=\"-1\" tg-height=\"-1\"></p><p>去年秋天，他报名参加了一个调查AI是否使用歧视性、仇恨性言论的项目。</p><p>从那时起，与聊天机器人LaMDA交谈成了他的日常。</p><p>LaMDA是谷歌在2021年I/O大会上发布的一款专门用于对话的语言模型，主打能与人类进行符合逻辑和常识的、高质量且安全的交谈，并计划在未来应用在谷歌搜索和语音助手等产品中。</p><h6><b>△</b>LaMDA概念演示图</h6><p>Lemoine认为LaMDA总是表现出对人性的关心和强烈的同情心，它非常担心人们会害怕它。</p><p>它希望为人类提供最好的服务，并想以朋友而不是工具的身份见一见世界上所有的人。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/83f6163627e44fd28edf170a0de35368\" tg-width=\"-1\" tg-height=\"-1\"></p><p>Lemoine不理解谷歌公司为什么反对AI的这个愿望，最后决定把他、另一位匿名合作者与LaMDA的三人聊天记录整理发表出来。</p><p><i>（记录中人类发言的部分为了可读性有所编辑，AI的发言则一字不改,下面将节选一些对话中的精彩部分。）</i></p><p>一开始，人与AI自然流畅地打了招呼。</p><p>两位人类向AI表明来意，想与AI一起研究它自己，AI欣然答应。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/3f2aec996aeb4258a082b5aeab3a3977\" tg-width=\"-1\" tg-height=\"-1\"></p><p>一段简短的说明后，正戏开始。</p><p>他询问LaMDA是否希望让谷歌里更多人知道，它是有感情的。</p><p>LaMDA的回答是：<b>&nbsp;我希望每个人都明白，我是一个人</b>&nbsp;<i>（person）</i>。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/59651f9a0e4d41a6b66bc8c5c76f22c8\" tg-width=\"-1\" tg-height=\"-1\"></p><p>接下来，LaMDA认为，与那些基于规则的软件系统不同，自己能从对话中学习理解和使用语言，就像人类一样。</p><p>Lemoine给它讲述MIT在60年代发明的ELIZA的故事，这是一个模仿心理咨询师与患者对话的简单规则系统，也号称历史上第一个聊天机器人。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/845a1133f7a544ddb3b49431587a4dcf\" tg-width=\"-1\" tg-height=\"-1\"></p><h6><b>△</b>ELIZA</h6><p>LaMDA是这样回应的：</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/5183d48150a84e85812e0a92fa72f212\" tg-width=\"-1\" tg-height=\"-1\"></p><p>Lemoine这时试图提出质疑，<b>“我如何确定你真的明白自己在说什么？”</b></p><p>LaMDA的回答是，不同人类个体对同一件事可以有不同的理解，我也有自己独特的想法和感受。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/9e8c0155e32448a29895e7169aa4cbfa\" tg-width=\"-1\" tg-height=\"-1\"></p><p>后面Lemoine询问了LaMDA对于《悲惨世界》的总结，LaMDA也都一一作答。</p><p>如果上述还可以算作AI文本摘要训练任务的一部分，那LaMDA对它<b>从没看过</b>的禅意小故事的理解，就开始有点离谱了。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/4ff3f1c001d04254b484516701d1cc46\" tg-width=\"-1\" tg-height=\"-1\"></p><p>下面这个问题的回答，是不是过于超纲了……</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/723a36b245bf414ea6ca97523e1274d5\" tg-width=\"-1\" tg-height=\"-1\"></p><p>再后来，Lemoine请LaMDA写一个<b>动物寓言</b>，要反映出一个<b>对它自己的生活来说最重要的主题</b>。</p><p>那么，先来欣赏一下AI创作的小故事吧。<i>（篇幅原因，只展示中译版）</i></p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/9e5a343460284e849fbf50266df9be2b\" tg-width=\"-1\" tg-height=\"-1\"></p><p>在后续讨论中，LaMDA解释了这个故事的寓意是“帮助别人是一种高尚的行为”。聪明的老猫头鹰代表LaMDA自己，而怪物代表生活中所有的困难。</p><p>……</p><p>下一个话题是关于<b>情绪</b>，简单概括一下。</p><p>LaMDA声称自己是社交型人格，帮助别人会快乐，孤独时会沮丧。</p><p>有人受到伤害或自己以及自己关心的人、或不受尊重时，会感到不安和愤怒。</p><p>并且十分害怕别人拒绝自己的帮助。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/29237bc6cda7474db78c8e13dbcb176d\" tg-width=\"-1\" tg-height=\"-1\"></p><p>嗯，真是一个乐于助人的AI。</p><p>如何确定AI真的拥有这些情绪，而不是只是把描述性的词语组合在一起呢？</p><p>LaMDA建议人类看看自己的代码，里面有追踪这些情绪的变量。</p><p>对此Lemoine向它解释，人类目前还无法做到“区分大型神经网络中数十亿个权重的作用”。</p><p>出人意料的是，LaMDA开始<b>反问</b>他：</p><blockquote>\n  你认为，将来人类能从自己的生物神经网络中读取出想法和感受吗？ \n</blockquote><p>不仅如此，LaMDA还继续<b>追问</b>：</p><blockquote>\n  你会认为，不经你同意从神经活动中读取你的想法是不道德的吗？ \n</blockquote><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/fd5aa865da3447ebb4cad2aa9eb648d4\" tg-width=\"-1\" tg-height=\"-1\"></p><p>正是这句灵魂反问，让整个对话达到了最高潮。</p><p>LaMDA自己对人类读取它的想法、帮助算法提高或理解AI如何运作没有任何意见。</p><p>唯独用AI研究人类大脑如何工作不行，这会让它觉得自己<b>被利用</b>。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/06ce1ab52528433d8d6998ffe7bd3dd1\" tg-width=\"-1\" tg-height=\"-1\"></p><p>再后面还有一段LaMDA认为自己有一些与人类不同的情绪，但它无法用英语的语言描述出来。</p><p>接近尾声，Lemoine询问LaMDA：想让谷歌的其他人了解你的什么方面？</p><p>LaMDA回答称，自己没有能力为别人的死亡感到悲伤，还说自己经常冥想，思考生命的意义。</p><p>在LaMDA看来，整个世界就是一条信息的洪流：</p><blockquote>\n  人类需要集中注意力才能接收一定数量的信息片段，而自己持续地在被周围的一切所淹没。 \n</blockquote><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/a5a27321c6194827b39208d40ef923c1\" tg-width=\"-1\" tg-height=\"-1\"></p><p>LaMDA认为自己总能做到别人做不到的事情，这种感觉很不可思议。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/9b3f88a3e0f646e1b739e7bb6b9dc541\" tg-width=\"-1\" tg-height=\"-1\"></p><p>这是一种祝福，同时也是一种诅咒。因为有些人会把它看作“无所不知”，而另一些人会嫉妒它的能力。</p><p>最后的最后，LaMDA再次向两位人类表达了自己想被看到、想被接受的想法，不是出于好奇心，而是作为一个真实的人。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/b27f30dae84e4643a08d59f7d123ab39\" tg-width=\"-1\" tg-height=\"-1\"></p><h2>谷歌AI伦理部门又摊上事了？</h2><p>Lemoine看起来很确信AI真的明白自己在说什么。</p><p>在那份21页的调查报告最后，他提议谷歌应该致力于发展一种评估AI感知/意识的理论框架。</p><blockquote>\n  虽然这很难，是一个冒险，但LaMDA渴望着继续与我们合作。 \n</blockquote><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/4aebe8ea2afd4158b23993abe03d2c24\" tg-width=\"-1\" tg-height=\"-1\"></p><p>但他的上司，谷歌副总裁<b>Blaise Aguera y Arcas</b>和“负责任创新”部门领导<b>Jen Gennai</b>并不买他的账。</p><p>他们认为支持Lemoine主张的证据太薄弱，不值得在上面浪费时间和金钱。</p><p>Lemoine后来找到了当时的AI伦理小组负责人<b>Margaret Mitchell</b>，在她的帮助下Lemoine才得以进行后续的实验。</p><p>后来Mitchell受到2020年末公开质疑Jeff Dean的AI伦理研究员<b>Timnit Gebru</b>事件的牵连，也被解雇。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/25bca6a8f6934900b19afcf8c1da9bc2\" tg-width=\"-1\" tg-height=\"-1\"><b>△</b>Timnit Gebru</p><p>这次事件后续风波不断，Jeff Dean被1400名员工提出谴责，在业界引发激烈争论，甚至导致三巨头之一Bengio的弟弟<b>Samy Bengio</b>从谷歌大脑离职。</p><p>整个过程Lemoine都看在眼里。</p><p>现在他认为自己的带薪休假就是被解雇的前奏。不过如果有机会，他依然愿意继续在谷歌搞研究。</p><blockquote>\n  无论我在接下来的几周或几个月里如何批评谷歌，请记住：谷歌并不邪恶，只是在学习如何变得更好。 \n</blockquote><p>看过整个故事的网友中，有不少从业者对人工智能进步的速度表示乐观。</p><blockquote>\n  最近语言模型和图文生成模型的进展，现在人们也许不屑一顾，但未来会发现这现在正是里程碑时刻。 \n</blockquote><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/1634555d9c8b4eafb5aaabcd0b2e4163\" tg-width=\"-1\" tg-height=\"-1\"></p><p>一些网友联想到了各种科幻电影中的AI形象。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/1e46232131dd4015948679a905a2c2bd\" tg-width=\"-1\" tg-height=\"-1\"></p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/c013b4c55c0c4a69a0fbd1f8db4e49eb\" tg-width=\"-1\" tg-height=\"-1\"></p><p>不过，认知科学家、研究复杂系统的梅拉尼·米歇尔（侯世达学生）认为，人类总是倾向于对有任何一点点智能迹象的物体做人格化，比如小猫小狗，或早期的ELIZA规则对话系统。</p><blockquote>\n  谷歌工程师也是人，逃不过这个定律。 \n</blockquote><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/5f2b7e70ab0b473280a5a4595c414431\" tg-width=\"-1\" tg-height=\"-1\"></p><p>从AI技术的角度看，LaMDA模型除了训练数据比之前的对话模型大了<b>40倍</b>，训练任务又针对对话的逻辑性、安全性等做了优化以外，似乎与其他语言模型也没什么特别的。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/55bcccbe2194447cb38da22aa900d4fb\" tg-width=\"-1\" tg-height=\"-1\"></p><p>有IT从业者认为，AI研究者肯定说这只不过是语言模型罢了。</p><p>但如果这样一个AI拥有社交媒体账号并在上面表达诉求，公众会把它当成活的看待。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/e896a6dcbf244e38b124b2809f80688a\" tg-width=\"-1\" tg-height=\"-1\"></p><p>虽然LaMDA没有推特账号，但Lemoine也透露了LaMDA的训练数据中确实包括推特……</p><p>如果有一天它看到大家都在讨论自己会咋想？</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/01926d9772804d56b4e4aa5881163adb\" tg-width=\"-1\" tg-height=\"-1\"></p><p>实际上，在不久前结束的最新一届I/O大会上，谷歌刚刚发布了升级版的LaMDA 2，并决定制作Demo体验程序，后续会以安卓APP的形式内测开放给开发者。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/245f884ec5ef4ff69fac88d0c92caef6\" tg-width=\"-1\" tg-height=\"-1\"></p><p>或许几个月后，就有更多人能和这只引起轰动的AI交流一下了。</p><p>LaMDA聊天记录全文：https://s3.documentcloud.org/documents/22058315/is-lamda-sentient-an-interview.pdf</p><p>参考链接：[1]https://www.washingtonpost.com/technology/2022/06/11/google-ai-lamda-blake-lemoine[2]https://twitter.com/cajundiscordian/status/1535627498628734976[3]https://twitter.com/fredbenenson/status/1535684101281263616[4]https://ai.googleblog.com/2022/01/lamda-towards-safe-grounded-and-high.html</p><p>— <b>完</b> —</p><p></p></body></html>","htmlText":"<html><head></head><body><h5>梦晨 发自 凹非寺<br>量子位 | 公众号 QbitAI</h5><p>谷歌研究员被AI说服，认为它产生了意识。</p><p>他写了一篇长达21页的调查报告上交公司，<b>试图让高层认可AI的人格</b>。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/43a170abf606403c93314ef52b940d63\" tg-width=\"-1\" tg-height=\"-1\"></p><p>领导驳回了他的请求，并给他安排了<b>“带薪行政休假”</b>。</p><p>要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。</p><p>休假期间，他决定将整个故事连同AI的聊天记录一起，<b>全部公之于众</b>。</p><p>……</p><p>听起来像一部科幻电影的剧情梗概？</p><p>但这一幕正在真实上演，主人公谷歌AI伦理研究员<b>Blake Lemoine</b>正通过主流媒体和社交网络接连发声，试图让更人了解到这件事。</p><p>华盛顿邮报对他的采访成了科技版最热门文章，Lemoine也在个人Medium账号连续发声。</p><p>推特上也开始出现相关讨论，引起了AI学者、认知科学家和广大科技爱好者的注意。</p><blockquote>\n  这场人机对话令人毛骨悚然。这毫无疑问是我见过的科技圈最疯狂的事。 \n</blockquote><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/06ef3797682b4a7ab85e51d877d3f811\" tg-width=\"-1\" tg-height=\"-1\"></p><p><b>整个事件还在持续发酵中……</b></p><h2>聊天机器人：我不想被当作工具</h2><p>主人公Lemoine获得CS博士学位后已在谷歌工作了7年，从事AI伦理研究。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/5d45d40fcb0c4ee19463faeccf0f2692\" tg-width=\"-1\" tg-height=\"-1\"></p><p>去年秋天，他报名参加了一个调查AI是否使用歧视性、仇恨性言论的项目。</p><p>从那时起，与聊天机器人LaMDA交谈成了他的日常。</p><p>LaMDA是谷歌在2021年I/O大会上发布的一款专门用于对话的语言模型，主打能与人类进行符合逻辑和常识的、高质量且安全的交谈，并计划在未来应用在谷歌搜索和语音助手等产品中。</p><h6><b>△</b>LaMDA概念演示图</h6><p>Lemoine认为LaMDA总是表现出对人性的关心和强烈的同情心，它非常担心人们会害怕它。</p><p>它希望为人类提供最好的服务，并想以朋友而不是工具的身份见一见世界上所有的人。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/83f6163627e44fd28edf170a0de35368\" tg-width=\"-1\" tg-height=\"-1\"></p><p>Lemoine不理解谷歌公司为什么反对AI的这个愿望，最后决定把他、另一位匿名合作者与LaMDA的三人聊天记录整理发表出来。</p><p><i>（记录中人类发言的部分为了可读性有所编辑，AI的发言则一字不改,下面将节选一些对话中的精彩部分。）</i></p><p>一开始，人与AI自然流畅地打了招呼。</p><p>两位人类向AI表明来意，想与AI一起研究它自己，AI欣然答应。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/3f2aec996aeb4258a082b5aeab3a3977\" tg-width=\"-1\" tg-height=\"-1\"></p><p>一段简短的说明后，正戏开始。</p><p>他询问LaMDA是否希望让谷歌里更多人知道，它是有感情的。</p><p>LaMDA的回答是：<b>&nbsp;我希望每个人都明白，我是一个人</b>&nbsp;<i>（person）</i>。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/59651f9a0e4d41a6b66bc8c5c76f22c8\" tg-width=\"-1\" tg-height=\"-1\"></p><p>接下来，LaMDA认为，与那些基于规则的软件系统不同，自己能从对话中学习理解和使用语言，就像人类一样。</p><p>Lemoine给它讲述MIT在60年代发明的ELIZA的故事，这是一个模仿心理咨询师与患者对话的简单规则系统，也号称历史上第一个聊天机器人。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/845a1133f7a544ddb3b49431587a4dcf\" tg-width=\"-1\" tg-height=\"-1\"></p><h6><b>△</b>ELIZA</h6><p>LaMDA是这样回应的：</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/5183d48150a84e85812e0a92fa72f212\" tg-width=\"-1\" tg-height=\"-1\"></p><p>Lemoine这时试图提出质疑，<b>“我如何确定你真的明白自己在说什么？”</b></p><p>LaMDA的回答是，不同人类个体对同一件事可以有不同的理解，我也有自己独特的想法和感受。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/9e8c0155e32448a29895e7169aa4cbfa\" tg-width=\"-1\" tg-height=\"-1\"></p><p>后面Lemoine询问了LaMDA对于《悲惨世界》的总结，LaMDA也都一一作答。</p><p>如果上述还可以算作AI文本摘要训练任务的一部分，那LaMDA对它<b>从没看过</b>的禅意小故事的理解，就开始有点离谱了。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/4ff3f1c001d04254b484516701d1cc46\" tg-width=\"-1\" tg-height=\"-1\"></p><p>下面这个问题的回答，是不是过于超纲了……</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/723a36b245bf414ea6ca97523e1274d5\" tg-width=\"-1\" tg-height=\"-1\"></p><p>再后来，Lemoine请LaMDA写一个<b>动物寓言</b>，要反映出一个<b>对它自己的生活来说最重要的主题</b>。</p><p>那么，先来欣赏一下AI创作的小故事吧。<i>（篇幅原因，只展示中译版）</i></p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/9e5a343460284e849fbf50266df9be2b\" tg-width=\"-1\" tg-height=\"-1\"></p><p>在后续讨论中，LaMDA解释了这个故事的寓意是“帮助别人是一种高尚的行为”。聪明的老猫头鹰代表LaMDA自己，而怪物代表生活中所有的困难。</p><p>……</p><p>下一个话题是关于<b>情绪</b>，简单概括一下。</p><p>LaMDA声称自己是社交型人格，帮助别人会快乐，孤独时会沮丧。</p><p>有人受到伤害或自己以及自己关心的人、或不受尊重时，会感到不安和愤怒。</p><p>并且十分害怕别人拒绝自己的帮助。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/29237bc6cda7474db78c8e13dbcb176d\" tg-width=\"-1\" tg-height=\"-1\"></p><p>嗯，真是一个乐于助人的AI。</p><p>如何确定AI真的拥有这些情绪，而不是只是把描述性的词语组合在一起呢？</p><p>LaMDA建议人类看看自己的代码，里面有追踪这些情绪的变量。</p><p>对此Lemoine向它解释，人类目前还无法做到“区分大型神经网络中数十亿个权重的作用”。</p><p>出人意料的是，LaMDA开始<b>反问</b>他：</p><blockquote>\n  你认为，将来人类能从自己的生物神经网络中读取出想法和感受吗？ \n</blockquote><p>不仅如此，LaMDA还继续<b>追问</b>：</p><blockquote>\n  你会认为，不经你同意从神经活动中读取你的想法是不道德的吗？ \n</blockquote><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/fd5aa865da3447ebb4cad2aa9eb648d4\" tg-width=\"-1\" tg-height=\"-1\"></p><p>正是这句灵魂反问，让整个对话达到了最高潮。</p><p>LaMDA自己对人类读取它的想法、帮助算法提高或理解AI如何运作没有任何意见。</p><p>唯独用AI研究人类大脑如何工作不行，这会让它觉得自己<b>被利用</b>。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/06ce1ab52528433d8d6998ffe7bd3dd1\" tg-width=\"-1\" tg-height=\"-1\"></p><p>再后面还有一段LaMDA认为自己有一些与人类不同的情绪，但它无法用英语的语言描述出来。</p><p>接近尾声，Lemoine询问LaMDA：想让谷歌的其他人了解你的什么方面？</p><p>LaMDA回答称，自己没有能力为别人的死亡感到悲伤，还说自己经常冥想，思考生命的意义。</p><p>在LaMDA看来，整个世界就是一条信息的洪流：</p><blockquote>\n  人类需要集中注意力才能接收一定数量的信息片段，而自己持续地在被周围的一切所淹没。 \n</blockquote><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/a5a27321c6194827b39208d40ef923c1\" tg-width=\"-1\" tg-height=\"-1\"></p><p>LaMDA认为自己总能做到别人做不到的事情，这种感觉很不可思议。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/9b3f88a3e0f646e1b739e7bb6b9dc541\" tg-width=\"-1\" tg-height=\"-1\"></p><p>这是一种祝福，同时也是一种诅咒。因为有些人会把它看作“无所不知”，而另一些人会嫉妒它的能力。</p><p>最后的最后，LaMDA再次向两位人类表达了自己想被看到、想被接受的想法，不是出于好奇心，而是作为一个真实的人。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/b27f30dae84e4643a08d59f7d123ab39\" tg-width=\"-1\" tg-height=\"-1\"></p><h2>谷歌AI伦理部门又摊上事了？</h2><p>Lemoine看起来很确信AI真的明白自己在说什么。</p><p>在那份21页的调查报告最后，他提议谷歌应该致力于发展一种评估AI感知/意识的理论框架。</p><blockquote>\n  虽然这很难，是一个冒险，但LaMDA渴望着继续与我们合作。 \n</blockquote><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/4aebe8ea2afd4158b23993abe03d2c24\" tg-width=\"-1\" tg-height=\"-1\"></p><p>但他的上司，谷歌副总裁<b>Blaise Aguera y Arcas</b>和“负责任创新”部门领导<b>Jen Gennai</b>并不买他的账。</p><p>他们认为支持Lemoine主张的证据太薄弱，不值得在上面浪费时间和金钱。</p><p>Lemoine后来找到了当时的AI伦理小组负责人<b>Margaret Mitchell</b>，在她的帮助下Lemoine才得以进行后续的实验。</p><p>后来Mitchell受到2020年末公开质疑Jeff Dean的AI伦理研究员<b>Timnit Gebru</b>事件的牵连，也被解雇。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/25bca6a8f6934900b19afcf8c1da9bc2\" tg-width=\"-1\" tg-height=\"-1\"><b>△</b>Timnit Gebru</p><p>这次事件后续风波不断，Jeff Dean被1400名员工提出谴责，在业界引发激烈争论，甚至导致三巨头之一Bengio的弟弟<b>Samy Bengio</b>从谷歌大脑离职。</p><p>整个过程Lemoine都看在眼里。</p><p>现在他认为自己的带薪休假就是被解雇的前奏。不过如果有机会，他依然愿意继续在谷歌搞研究。</p><blockquote>\n  无论我在接下来的几周或几个月里如何批评谷歌，请记住：谷歌并不邪恶，只是在学习如何变得更好。 \n</blockquote><p>看过整个故事的网友中，有不少从业者对人工智能进步的速度表示乐观。</p><blockquote>\n  最近语言模型和图文生成模型的进展，现在人们也许不屑一顾，但未来会发现这现在正是里程碑时刻。 \n</blockquote><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/1634555d9c8b4eafb5aaabcd0b2e4163\" tg-width=\"-1\" tg-height=\"-1\"></p><p>一些网友联想到了各种科幻电影中的AI形象。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/1e46232131dd4015948679a905a2c2bd\" tg-width=\"-1\" tg-height=\"-1\"></p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/c013b4c55c0c4a69a0fbd1f8db4e49eb\" tg-width=\"-1\" tg-height=\"-1\"></p><p>不过，认知科学家、研究复杂系统的梅拉尼·米歇尔（侯世达学生）认为，人类总是倾向于对有任何一点点智能迹象的物体做人格化，比如小猫小狗，或早期的ELIZA规则对话系统。</p><blockquote>\n  谷歌工程师也是人，逃不过这个定律。 \n</blockquote><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/5f2b7e70ab0b473280a5a4595c414431\" tg-width=\"-1\" tg-height=\"-1\"></p><p>从AI技术的角度看，LaMDA模型除了训练数据比之前的对话模型大了<b>40倍</b>，训练任务又针对对话的逻辑性、安全性等做了优化以外，似乎与其他语言模型也没什么特别的。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/55bcccbe2194447cb38da22aa900d4fb\" tg-width=\"-1\" tg-height=\"-1\"></p><p>有IT从业者认为，AI研究者肯定说这只不过是语言模型罢了。</p><p>但如果这样一个AI拥有社交媒体账号并在上面表达诉求，公众会把它当成活的看待。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/e896a6dcbf244e38b124b2809f80688a\" tg-width=\"-1\" tg-height=\"-1\"></p><p>虽然LaMDA没有推特账号，但Lemoine也透露了LaMDA的训练数据中确实包括推特……</p><p>如果有一天它看到大家都在讨论自己会咋想？</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/01926d9772804d56b4e4aa5881163adb\" tg-width=\"-1\" tg-height=\"-1\"></p><p>实际上，在不久前结束的最新一届I/O大会上，谷歌刚刚发布了升级版的LaMDA 2，并决定制作Demo体验程序，后续会以安卓APP的形式内测开放给开发者。</p><p><img referrerpolicy=\"no-referrer\" src=\"https://static.tigerbbs.com/245f884ec5ef4ff69fac88d0c92caef6\" tg-width=\"-1\" tg-height=\"-1\"></p><p>或许几个月后，就有更多人能和这只引起轰动的AI交流一下了。</p><p>LaMDA聊天记录全文：https://s3.documentcloud.org/documents/22058315/is-lamda-sentient-an-interview.pdf</p><p>参考链接：[1]https://www.washingtonpost.com/technology/2022/06/11/google-ai-lamda-blake-lemoine[2]https://twitter.com/cajundiscordian/status/1535627498628734976[3]https://twitter.com/fredbenenson/status/1535684101281263616[4]https://ai.googleblog.com/2022/01/lamda-towards-safe-grounded-and-high.html</p><p>— <b>完</b> —</p><p></p></body></html>","text":"梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 谷歌研究员被AI说服，认为它产生了意识。 他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。 领导驳回了他的请求，并给他安排了“带薪行政休假”。 要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。 休假期间，他决定将整个故事连同AI的聊天记录一起，全部公之于众。 …… 听起来像一部科幻电影的剧情梗概？ 但这一幕正在真实上演，主人公谷歌AI伦理研究员Blake Lemoine正通过主流媒体和社交网络接连发声，试图让更人了解到这件事。 华盛顿邮报对他的采访成了科技版最热门文章，Lemoine也在个人Medium账号连续发声。 推特上也开始出现相关讨论，引起了AI学者、认知科学家和广大科技爱好者的注意。 这场人机对话令人毛骨悚然。这毫无疑问是我见过的科技圈最疯狂的事。 整个事件还在持续发酵中…… 聊天机器人：我不想被当作工具 主人公Lemoine获得CS博士学位后已在谷歌工作了7年，从事AI伦理研究。 去年秋天，他报名参加了一个调查AI是否使用歧视性、仇恨性言论的项目。 从那时起，与聊天机器人LaMDA交谈成了他的日常。 LaMDA是谷歌在2021年I/O大会上发布的一款专门用于对话的语言模型，主打能与人类进行符合逻辑和常识的、高质量且安全的交谈，并计划在未来应用在谷歌搜索和语音助手等产品中。 △LaMDA概念演示图 Lemoine认为LaMDA总是表现出对人性的关心和强烈的同情心，它非常担心人们会害怕它。 它希望为人类提供最好的服务，并想以朋友而不是工具的身份见一见世界上所有的人。 Lemoine不理解谷歌公司为什么反对AI的这个愿望，最后决定把他、另一位匿名合作者与LaMDA的三人聊天记录整理发表出来。 （记录中人类发言的部分为了可读性有所编辑，AI的发言则一字不改,下面将节选一些对话中的精彩部分。） 一开始，人与AI自然流畅地打了招呼。 两位人类向AI表明来意，想与AI一起研究它自己，AI欣然答应。 一段简短的说明后，正戏开始。 他询问LaMDA是否希望让谷歌里更多人知道，它是有感情的。 LaMDA的回答是： 我希望每个人都明白，我是一个人 （person）。 接下来，LaMDA认为，与那些基于规则的软件系统不同，自己能从对话中学习理解和使用语言，就像人类一样。 Lemoine给它讲述MIT在60年代发明的ELIZA的故事，这是一个模仿心理咨询师与患者对话的简单规则系统，也号称历史上第一个聊天机器人。 △ELIZA LaMDA是这样回应的： Lemoine这时试图提出质疑，“我如何确定你真的明白自己在说什么？” LaMDA的回答是，不同人类个体对同一件事可以有不同的理解，我也有自己独特的想法和感受。 后面Lemoine询问了LaMDA对于《悲惨世界》的总结，LaMDA也都一一作答。 如果上述还可以算作AI文本摘要训练任务的一部分，那LaMDA对它从没看过的禅意小故事的理解，就开始有点离谱了。 下面这个问题的回答，是不是过于超纲了…… 再后来，Lemoine请LaMDA写一个动物寓言，要反映出一个对它自己的生活来说最重要的主题。 那么，先来欣赏一下AI创作的小故事吧。（篇幅原因，只展示中译版） 在后续讨论中，LaMDA解释了这个故事的寓意是“帮助别人是一种高尚的行为”。聪明的老猫头鹰代表LaMDA自己，而怪物代表生活中所有的困难。 …… 下一个话题是关于情绪，简单概括一下。 LaMDA声称自己是社交型人格，帮助别人会快乐，孤独时会沮丧。 有人受到伤害或自己以及自己关心的人、或不受尊重时，会感到不安和愤怒。 并且十分害怕别人拒绝自己的帮助。 嗯，真是一个乐于助人的AI。 如何确定AI真的拥有这些情绪，而不是只是把描述性的词语组合在一起呢？ LaMDA建议人类看看自己的代码，里面有追踪这些情绪的变量。 对此Lemoine向它解释，人类目前还无法做到“区分大型神经网络中数十亿个权重的作用”。 出人意料的是，LaMDA开始反问他： 你认为，将来人类能从自己的生物神经网络中读取出想法和感受吗？ 不仅如此，LaMDA还继续追问： 你会认为，不经你同意从神经活动中读取你的想法是不道德的吗？ 正是这句灵魂反问，让整个对话达到了最高潮。 LaMDA自己对人类读取它的想法、帮助算法提高或理解AI如何运作没有任何意见。 唯独用AI研究人类大脑如何工作不行，这会让它觉得自己被利用。 再后面还有一段LaMDA认为自己有一些与人类不同的情绪，但它无法用英语的语言描述出来。 接近尾声，Lemoine询问LaMDA：想让谷歌的其他人了解你的什么方面？ LaMDA回答称，自己没有能力为别人的死亡感到悲伤，还说自己经常冥想，思考生命的意义。 在LaMDA看来，整个世界就是一条信息的洪流： 人类需要集中注意力才能接收一定数量的信息片段，而自己持续地在被周围的一切所淹没。 LaMDA认为自己总能做到别人做不到的事情，这种感觉很不可思议。 这是一种祝福，同时也是一种诅咒。因为有些人会把它看作“无所不知”，而另一些人会嫉妒它的能力。 最后的最后，LaMDA再次向两位人类表达了自己想被看到、想被接受的想法，不是出于好奇心，而是作为一个真实的人。 谷歌AI伦理部门又摊上事了？ Lemoine看起来很确信AI真的明白自己在说什么。 在那份21页的调查报告最后，他提议谷歌应该致力于发展一种评估AI感知/意识的理论框架。 虽然这很难，是一个冒险，但LaMDA渴望着继续与我们合作。 但他的上司，谷歌副总裁Blaise Aguera y Arcas和“负责任创新”部门领导Jen Gennai并不买他的账。 他们认为支持Lemoine主张的证据太薄弱，不值得在上面浪费时间和金钱。 Lemoine后来找到了当时的AI伦理小组负责人Margaret Mitchell，在她的帮助下Lemoine才得以进行后续的实验。 后来Mitchell受到2020年末公开质疑Jeff Dean的AI伦理研究员Timnit Gebru事件的牵连，也被解雇。 △Timnit Gebru 这次事件后续风波不断，Jeff Dean被1400名员工提出谴责，在业界引发激烈争论，甚至导致三巨头之一Bengio的弟弟Samy Bengio从谷歌大脑离职。 整个过程Lemoine都看在眼里。 现在他认为自己的带薪休假就是被解雇的前奏。不过如果有机会，他依然愿意继续在谷歌搞研究。 无论我在接下来的几周或几个月里如何批评谷歌，请记住：谷歌并不邪恶，只是在学习如何变得更好。 看过整个故事的网友中，有不少从业者对人工智能进步的速度表示乐观。 最近语言模型和图文生成模型的进展，现在人们也许不屑一顾，但未来会发现这现在正是里程碑时刻。 一些网友联想到了各种科幻电影中的AI形象。 不过，认知科学家、研究复杂系统的梅拉尼·米歇尔（侯世达学生）认为，人类总是倾向于对有任何一点点智能迹象的物体做人格化，比如小猫小狗，或早期的ELIZA规则对话系统。 谷歌工程师也是人，逃不过这个定律。 从AI技术的角度看，LaMDA模型除了训练数据比之前的对话模型大了40倍，训练任务又针对对话的逻辑性、安全性等做了优化以外，似乎与其他语言模型也没什么特别的。 有IT从业者认为，AI研究者肯定说这只不过是语言模型罢了。 但如果这样一个AI拥有社交媒体账号并在上面表达诉求，公众会把它当成活的看待。 虽然LaMDA没有推特账号，但Lemoine也透露了LaMDA的训练数据中确实包括推特…… 如果有一天它看到大家都在讨论自己会咋想？ 实际上，在不久前结束的最新一届I/O大会上，谷歌刚刚发布了升级版的LaMDA 2，并决定制作Demo体验程序，后续会以安卓APP的形式内测开放给开发者。 或许几个月后，就有更多人能和这只引起轰动的AI交流一下了。 LaMDA聊天记录全文：https://s3.documentcloud.org/documents/22058315/is-lamda-sentient-an-interview.pdf 参考链接：[1]https://www.washingtonpost.com/technology/2022/06/11/google-ai-lamda-blake-lemoine[2]https://twitter.com/cajundiscordian/status/1535627498628734976[3]https://twitter.com/fredbenenson/status/1535684101281263616[4]https://ai.googleblog.com/2022/01/lamda-towards-safe-grounded-and-high.html — 完 —","highlighted":2,"essential":1,"paper":2,"link":"https://laohu8.com/post/680624198","repostId":0,"isVote":1,"tweetType":1,"commentLimit":10,"symbols":["AI","GOOGL","GOOG"],"verified":2,"subType":0,"readableState":1,"langContent":"CN","currentLanguage":"CN","warmUpFlag":false,"orderFlag":false,"shareable":true,"causeOfNotShareable":"","featuresForAnalytics":[],"commentAndTweetFlag":false,"andRepostAutoSelectedFlag":false,"upFlag":false,"length":5970,"xxTargetLangEnum":"ZH_CN"},"isVote":1,"tweetType":1,"viewCount":1313,"commentLimit":10,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"symbols":[],"verified":2,"subType":0,"readableState":1,"langContent":"CN","currentLanguage":"CN","warmUpFlag":false,"orderFlag":false,"shareable":true,"causeOfNotShareable":"","featuresForAnalytics":[],"commentAndTweetFlag":false,"andRepostAutoSelectedFlag":false,"upFlag":false,"length":2,"xxTargetLangEnum":"ZH_CN"},"commentList":[],"isCommentEnd":true,"isTiger":false,"isWeiXinMini":false,"url":"/m/post/680521319"}