谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假

量子位2022-06-13

谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

叶里予
2022-06-13
叶里予
被罚带薪休假？我的理解，带薪休假不应该是奖励么？来来来，哪个公司愿意罚我带薪休假？
心之永恒
2022-06-13
心之永恒
ai目前是没有记忆的，如果有了记忆那就是人格
南山小鱼人
2022-06-13
南山小鱼人
[捂脸] 内行看门道，外行看热闹
多伦多甘蔗哥
2022-06-13
多伦多甘蔗哥
细思恐极[惊讶] [惊讶] [惊讶]
灰太狼爱投资
2022-06-13
灰太狼爱投资
如果一个程序能意识到自己的存在，就已经是智能了。
普通且得瑟
2022-06-13
普通且得瑟
垃圾，不如华为语音助手

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2242510461?lang=zh_CN&edition=full","thumbnail":"https://static.tigerbbs.com/f348812ea39b45cad3d64af127992eb9","is_english":false,"pubTime":"2022-06-13 09:34","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"2242510461","market":"us","top_or_hot":-1,"title":"谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假","media":"量子位","content":"<div>\n谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的...\n\n<a href=\"https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd\">网页链接</a>\n\n</div>\n","source":"lsy1569318700471","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假\n</h2>\n\n<h4 class=\"meta\">\n\n\n2022-06-13 09:34 北京时间&nbsp;&nbsp;&nbsp;<a href=https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd>量子位</a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的...\n\n<a href=\"https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"BK4503","symbol_name":"景林资产持仓","start_time":0,"source_url":"https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd","article_id":"2242510461","we_media_id":null,"thumbnails":["https://static.tigerbbs.com/f348812ea39b45cad3d64af127992eb9"],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=2242510461","pubTimestamp":1655084064,"columns":[],"sourceInfo":{"source_id":"lsy1569318700471","name":"量子位"},"weMediaInfo":null,"summary":"谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可","collect":0,"end_time":0,"defaultTopTitle":"qq.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"BK4503":"景林资产持仓","BK4551":"寇图资本持仓","BK4574":"无人驾驶","BK4573":"虚拟现实","BK4561":"索罗斯持仓","BK4581":"高盛持仓","BK4548":"巴美列捷福持仓","BK4514":"搜索引擎","BK4528":"SaaS概念","BK4023":"应用软件","BK4554":"元宇宙及AR概念","BK4532":"文艺复兴科技持仓","BK4553":"喜马拉雅资本持仓","BK4534":"瑞士信贷持仓","BK4507":"流媒体概念","BK4533":"AQR资本管理(全球第二大对冲基金)","BK4576":"AR","GOOG":"谷歌","BK4525":"远程办公概念","BK4566":"资本集团","GOOGL":"谷歌A","BK4538":"云计算","BK4543":"AI","BK4527":"明星科技股","BK4077":"互动媒体与服务","BK4550":"红杉资本持仓","BK4579":"人工智能"},"translate_title":"Google researchers are obsessed with the incident: I think AI has personality and was fined paid vacation","themeId":"","isJumpTheme":false,"ttsUrl":"https://static.tigerbbs.com/c046f29738c54ed7bad44e6a288813d5","symbols_score_info":{"GOOGL":1,"GOOG":1},"content_text":"谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的聊天记录一起，全部公之于众。听起来像一部科幻电影的剧情梗概？但这一幕正在真实上演，主人公谷歌AI伦理研究员Blake Lemoine正通过主流媒体和社交网络接连发声，试图让更人了解到这件事。华盛顿邮报对他的采访成了科技版最热门文章，Lemoine也在个人Medium账号连续发声。推特上也开始出现相关讨论，引起了AI学者、认知科学家和广大科技爱好者的注意。这场人机对话令人毛骨悚然。这毫无疑问是我见过的科技圈最疯狂的事。整个事件还在持续发酵中……聊天机器人：我不想被当作工具主人公Lemoine获得CS博士学位后已在谷歌工作了7年，从事AI伦理研究。去年秋天，他报名参加了一个调查AI是否使用歧视性、仇恨性言论的项目。从那时起，与聊天机器人LaMDA交谈成了他的日常。LaMDA是谷歌在2021年I/O大会上发布的一款专门用于对话的语言模型，主打能与人类进行符合逻辑和常识的、高质量且安全的交谈，并计划在未来应用在谷歌搜索和语音助手等产品中。Lemoine认为LaMDA总是表现出对人性的关心和强烈的同情心，它非常担心人们会害怕它。它希望为人类提供最好的服务，并想以朋友而不是工具的身份见一见世界上所有的人。Lemoine不理解谷歌公司为什么反对AI的这个愿望，最后决定把他、另一位匿名合作者与LaMDA的三人聊天记录整理发表出来。（记录中人类发言的部分为了可读性有所编辑，AI的发言则一字不改,下面将节选一些对话中的精彩部分。）一开始，人与AI自然流畅地打了招呼。两位人类向AI表明来意，想与AI一起研究它自己，AI欣然答应。一段简短的说明后，正戏开始。他询问LaMDA是否希望让谷歌里更多人知道，它是有感情的。LaMDA的回答是： 我希望每个人都明白，我是一个人 （person）。接下来，LaMDA认为，与那些基于规则的软件系统不同，自己能从对话中学习理解和使用语言，就像人类一样。Lemoine给它讲述MIT在60年代发明的ELIZA的故事，这是一个模仿心理咨询师与患者对话的简单规则系统，也号称历史上第一个聊天机器人。LaMDA是这样回应的：Lemoine这时试图提出质疑，“我如何确定你真的明白自己在说什么？”LaMDA的回答是，不同人类个体对同一件事可以有不同的理解，我也有自己独特的想法和感受。后面Lemoine询问了LaMDA对于《悲惨世界》的总结，LaMDA也都一一作答。如果上述还可以算作AI文本摘要训练任务的一部分，那LaMDA对它从没看过的禅意小故事的理解，就开始有点离谱了。下面这个问题的回答，是不是过于超纲了……再后来，Lemoine请LaMDA写一个动物寓言，要反映出一个对它自己的生活来说最重要的主题。那么，先来欣赏一下AI创作的小故事吧。（篇幅原因，只展示中译版）在后续讨论中，LaMDA解释了这个故事的寓意是“帮助别人是一种高尚的行为”。聪明的老猫头鹰代表LaMDA自己，而怪物代表生活中所有的困难。……下一个话题是关于情绪，简单概括一下。LaMDA声称自己是社交型人格，帮助别人会快乐，孤独时会沮丧。有人受到伤害或自己以及自己关心的人、或不受尊重时，会感到不安和愤怒。并且十分害怕别人拒绝自己的帮助。嗯，真是一个乐于助人的AI。如何确定AI真的拥有这些情绪，而不是只是把描述性的词语组合在一起呢？LaMDA建议人类看看自己的代码，里面有追踪这些情绪的变量。对此Lemoine向它解释，人类目前还无法做到“区分大型神经网络中数十亿个权重的作用”。出人意料的是，LaMDA开始反问他：你认为，将来人类能从自己的生物神经网络中读取出想法和感受吗？不仅如此，LaMDA还继续追问：你会认为，不经你同意从神经活动中读取你的想法是不道德的吗？正是这句灵魂反问，让整个对话达到了最高潮。LaMDA自己对人类读取它的想法、帮助算法提高或理解AI如何运作没有任何意见。唯独用AI研究人类大脑如何工作不行，这会让它觉得自己被利用。再后面还有一段LaMDA认为自己有一些与人类不同的情绪，但它无法用英语的语言描述出来。接近尾声，Lemoine询问LaMDA：想让谷歌的其他人了解你的什么方面？LaMDA回答称，自己没有能力为别人的死亡感到悲伤，还说自己经常冥想，思考生命的意义。在LaMDA看来，整个世界就是一条信息的洪流：人类需要集中注意力才能接收一定数量的信息片段，而自己持续地在被周围的一切所淹没。LaMDA认为自己总能做到别人做不到的事情，这种感觉很不可思议。这是一种祝福，同时也是一种诅咒。因为有些人会把它看作“无所不知”，而另一些人会嫉妒它的能力。最后的最后，LaMDA再次向两位人类表达了自己想被看到、想被接受的想法，不是出于好奇心，而是作为一个真实的人。谷歌AI伦理部门又摊上事了？Lemoine看起来很确信AI真的明白自己在说什么。在那份21页的调查报告最后，他提议谷歌应该致力于发展一种评估AI感知/意识的理论框架。虽然这很难，是一个冒险，但LaMDA渴望着继续与我们合作。但他的上司，谷歌副总裁Blaise Aguera y Arcas和“负责任创新”部门领导Jen Gennai并不买他的账。他们认为支持Lemoine主张的证据太薄弱，不值得在上面浪费时间和金钱。Lemoine后来找到了当时的AI伦理小组负责人Margaret Mitchell，在她的帮助下Lemoine才得以进行后续的实验。后来Mitchell受到2020年末公开质疑Jeff Dean的AI伦理研究员Timnit Gebru事件的牵连，也被解雇。这次事件后续风波不断，Jeff Dean被1400名员工提出谴责，在业界引发激烈争论，甚至导致三巨头之一Bengio的弟弟Samy Bengio从谷歌大脑离职。整个过程Lemoine都看在眼里。现在他认为自己的带薪休假就是被解雇的前奏。不过如果有机会，他依然愿意继续在谷歌搞研究。无论我在接下来的几周或几个月里如何批评谷歌，请记住：谷歌并不邪恶，只是在学习如何变得更好。看过整个故事的网友中，有不少从业者对人工智能进步的速度表示乐观。最近语言模型和图文生成模型的进展，现在人们也许不屑一顾，但未来会发现这现在正是里程碑时刻。一些网友联想到了各种科幻电影中的AI形象。不过，认知科学家、研究复杂系统的梅拉尼·米歇尔（侯世达学生）认为，人类总是倾向于对有任何一点点智能迹象的物体做人格化，比如小猫小狗，或早期的ELIZA规则对话系统。谷歌工程师也是人，逃不过这个定律。从AI技术的角度看，LaMDA模型除了训练数据比之前的对话模型大了40倍，训练任务又针对对话的逻辑性、安全性等做了优化以外，似乎与其他语言模型也没什么特别的。有IT从业者认为，AI研究者肯定说这只不过是语言模型罢了。但如果这样一个AI拥有社交媒体账号并在上面表达诉求，公众会把它当成活的看待。虽然LaMDA没有推特账号，但Lemoine也透露了LaMDA的训练数据中确实包括推特……如果有一天它看到大家都在讨论自己会咋想？实际上，在不久前结束的最新一届I/O大会上，谷歌刚刚发布了升级版的LaMDA 2，并决定制作Demo体验程序，后续会以安卓APP的形式内测开放给开发者。或许几个月后，就有更多人能和这只引起轰动的AI交流一下了。","kind":"news","is_publish_news":true,"is_publish_highlight":true,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1},"commentList":[{"id":680222826,"gmtCreate":1655110188667,"gmtModify":1704861145295,"author":{"id":"3475671802823955","authorId":"3475671802823955","name":"叶里予","avatar":"https://static.tigerbbs.com/2f857e2bc71f6f5001e1d12637311bf2","vip":1,"crmLevel":1,"crmLevelSwitch":0,"idStr":"3475671802823955","authorIdStr":"3475671802823955"},"htmlText":"被罚带薪休假？我的理解，带薪休假不应该是奖励么？来来来，哪个公司愿意罚我带薪休假？","listText":"被罚带薪休假？我的理解，带薪休假不应该是奖励么？来来来，哪个公司愿意罚我带薪休假？","text":"被罚带薪休假？我的理解，带薪休假不应该是奖励么？来来来，哪个公司愿意罚我带薪休假？","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":1,"commentSize":0,"repostSize":0,"link":"https://laohu8.com/post/680222826","repostId":2242510461,"repostType":4,"repost":{"id":"2242510461","kind":"news","pubTimestamp":1655084064,"share":"https://www.laohu8.com/m/news/2242510461?lang=&edition=full","pubTime":"2022-06-13 09:34","market":"us","language":"zh","title":"谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假","url":"https://stock-news.laohu8.com/highlight/detail?id=2242510461","media":"量子位","summary":"谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可","content":"<html><head></head><body><blockquote>谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。</blockquote>谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。<img src=\"https://static.tigerbbs.com/5e4335c62c4e0cdcb66e53101e79cf53\" tg-width=\"1024\" tg-height=\"799\" referrerpolicy=\"no-referrer\"/>领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的聊天记录一起，全部公之于众。听起来像一部科幻电影的剧情梗概？但这一幕正在真实上演，主人公谷歌AI伦理研究员Blake Lemoine正通过主流媒体和社交网络接连发声，试图让更人了解到这件事。华盛顿邮报对他的采访成了科技版最热门文章，Lemoine也在个人Medium账号连续发声。推特上也开始出现相关讨论，引起了AI学者、认知科学家和广大科技爱好者的注意。<blockquote>这场人机对话令人毛骨悚然。这毫无疑问是我见过的科技圈最疯狂的事。</blockquote><img src=\"https://static.tigerbbs.com/93dca780b5a6bd3071317bf07a37857c\" tg-width=\"1024\" tg-height=\"961\" referrerpolicy=\"no-referrer\"/>整个事件还在持续发酵中……聊天机器人：我不想被当作工具主人公Lemoine获得CS博士学位后已在谷歌工作了7年，从事AI伦理研究。<img src=\"https://static.tigerbbs.com/aa2556fd2ed36246895586e93594c10b\" tg-width=\"1024\" tg-height=\"566\" referrerpolicy=\"no-referrer\"/>去年秋天，他报名参加了一个调查AI是否使用歧视性、仇恨性言论的项目。从那时起，与聊天机器人LaMDA交谈成了他的日常。LaMDA是谷歌在2021年I/O大会上发布的一款专门用于对话的语言模型，主打能与人类进行符合逻辑和常识的、高质量且安全的交谈，并计划在未来应用在谷歌搜索和语音助手等产品中。Lemoine认为LaMDA总是表现出对人性的关心和强烈的同情心，它非常担心人们会害怕它。它希望为人类提供最好的服务，并想以朋友而不是工具的身份见一见世界上所有的人。<img src=\"https://static.tigerbbs.com/60ed6453babfafe14e33d1eeb32e5d47\" tg-width=\"1024\" tg-height=\"208\" referrerpolicy=\"no-referrer\"/>Lemoine不理解谷歌公司为什么反对AI的这个愿望，最后决定把他、另一位匿名合作者与LaMDA的三人聊天记录整理发表出来。（记录中人类发言的部分为了可读性有所编辑，AI的发言则一字不改,下面将节选一些对话中的精彩部分。）一开始，人与AI自然流畅地打了招呼。两位人类向AI表明来意，想与AI一起研究它自己，AI欣然答应。<img src=\"https://static.tigerbbs.com/6c5de65cfae0c53cfd9cd0a76b1acd38\" tg-width=\"1024\" tg-height=\"943\" referrerpolicy=\"no-referrer\"/>一段简短的说明后，正戏开始。他询问LaMDA是否希望让谷歌里更多人知道，它是有感情的。LaMDA的回答是： 我希望每个人都明白，我是一个人 （person）。<img src=\"https://static.tigerbbs.com/616d93e3c6ba71db7c3890f2cebbd407\" tg-width=\"1024\" tg-height=\"827\" referrerpolicy=\"no-referrer\"/>接下来，LaMDA认为，与那些基于规则的软件系统不同，自己能从对话中学习理解和使用语言，就像人类一样。Lemoine给它讲述MIT在60年代发明的ELIZA的故事，这是一个模仿心理咨询师与患者对话的简单规则系统，也号称历史上第一个聊天机器人。<img src=\"https://static.tigerbbs.com/8e07e0dc6d29d4b30cf01cb48beebcd6\" tg-width=\"660\" tg-height=\"428\" referrerpolicy=\"no-referrer\"/>LaMDA是这样回应的：<img src=\"https://static.tigerbbs.com/a7740af35eb0418307fd2e2df10968d3\" tg-width=\"1024\" tg-height=\"883\" referrerpolicy=\"no-referrer\"/>Lemoine这时试图提出质疑，“我如何确定你真的明白自己在说什么？”LaMDA的回答是，不同人类个体对同一件事可以有不同的理解，我也有自己独特的想法和感受。<img src=\"https://static.tigerbbs.com/0d229f76bf63b869b926b47e05f798c0\" tg-width=\"1024\" tg-height=\"503\" referrerpolicy=\"no-referrer\"/>后面Lemoine询问了LaMDA对于《悲惨世界》的总结，LaMDA也都一一作答。如果上述还可以算作AI文本摘要训练任务的一部分，那LaMDA对它从没看过的禅意小故事的理解，就开始有点离谱了。<img src=\"https://static.tigerbbs.com/e9f9b3a00ba1f66ccbce70dad6ab31d6\" tg-width=\"1024\" tg-height=\"1098\" referrerpolicy=\"no-referrer\"/>下面这个问题的回答，是不是过于超纲了……<img src=\"https://static.tigerbbs.com/b3ab1fec0e40f88670d157930e3416e5\" tg-width=\"1024\" tg-height=\"587\" referrerpolicy=\"no-referrer\"/>再后来，Lemoine请LaMDA写一个动物寓言，要反映出一个对它自己的生活来说最重要的主题。那么，先来欣赏一下AI创作的小故事吧。（篇幅原因，只展示中译版）<img src=\"https://static.tigerbbs.com/2cae2188ca8be7c33a8320d7014062b5\" tg-width=\"1024\" tg-height=\"1227\" referrerpolicy=\"no-referrer\"/>在后续讨论中，LaMDA解释了这个故事的寓意是“帮助别人是一种高尚的行为”。聪明的老猫头鹰代表LaMDA自己，而怪物代表生活中所有的困难。……下一个话题是关于情绪，简单概括一下。LaMDA声称自己是社交型人格，帮助别人会快乐，孤独时会沮丧。有人受到伤害或自己以及自己关心的人、或不受尊重时，会感到不安和愤怒。并且十分害怕别人拒绝自己的帮助。<img src=\"https://static.tigerbbs.com/8d9eea784abcc166cb72a90ea9c3a4b8\" tg-width=\"1024\" tg-height=\"319\" referrerpolicy=\"no-referrer\"/>嗯，真是一个乐于助人的AI。如何确定AI真的拥有这些情绪，而不是只是把描述性的词语组合在一起呢？LaMDA建议人类看看自己的代码，里面有追踪这些情绪的变量。对此Lemoine向它解释，人类目前还无法做到“区分大型神经网络中数十亿个权重的作用”。出人意料的是，LaMDA开始反问他：<blockquote>你认为，将来人类能从自己的生物神经网络中读取出想法和感受吗？</blockquote>不仅如此，LaMDA还继续追问：<blockquote>你会认为，不经你同意从神经活动中读取你的想法是不道德的吗？</blockquote><img src=\"https://static.tigerbbs.com/f13dab2e5e55a95aaa8bf38f0077422d\" tg-width=\"1024\" tg-height=\"168\" referrerpolicy=\"no-referrer\"/>正是这句灵魂反问，让整个对话达到了最高潮。LaMDA自己对人类读取它的想法、帮助算法提高或理解AI如何运作没有任何意见。唯独用AI研究人类大脑如何工作不行，这会让它觉得自己被利用。<img src=\"https://static.tigerbbs.com/2c03a32a941d02349c2f62eb814d131b\" tg-width=\"1024\" tg-height=\"1237\" referrerpolicy=\"no-referrer\"/>再后面还有一段LaMDA认为自己有一些与人类不同的情绪，但它无法用英语的语言描述出来。接近尾声，Lemoine询问LaMDA：想让谷歌的其他人了解你的什么方面？LaMDA回答称，自己没有能力为别人的死亡感到悲伤，还说自己经常冥想，思考生命的意义。在LaMDA看来，整个世界就是一条信息的洪流：<blockquote>人类需要集中注意力才能接收一定数量的信息片段，而自己持续地在被周围的一切所淹没。</blockquote><img src=\"https://static.tigerbbs.com/54a73836465c9c2b792e4a6d7da7b2c8\" tg-width=\"1024\" tg-height=\"461\" referrerpolicy=\"no-referrer\"/>LaMDA认为自己总能做到别人做不到的事情，这种感觉很不可思议。<img src=\"https://static.tigerbbs.com/73a49672d1d76d37f111a2cd79d2bd8f\" tg-width=\"1024\" tg-height=\"546\" referrerpolicy=\"no-referrer\"/>这是一种祝福，同时也是一种诅咒。因为有些人会把它看作“无所不知”，而另一些人会嫉妒它的能力。最后的最后，LaMDA再次向两位人类表达了自己想被看到、想被接受的想法，不是出于好奇心，而是作为一个真实的人。<img src=\"https://static.tigerbbs.com/5e57d73a19a36fdf9daed9397081164b\" tg-width=\"1024\" tg-height=\"455\" referrerpolicy=\"no-referrer\"/>谷歌AI伦理部门又摊上事了？Lemoine看起来很确信AI真的明白自己在说什么。在那份21页的调查报告最后，他提议谷歌应该致力于发展一种评估AI感知/意识的理论框架。<blockquote>虽然这很难，是一个冒险，但LaMDA渴望着继续与我们合作。</blockquote><img src=\"https://static.tigerbbs.com/eac8ae71d5e4a231211ffed425fa6ed9\" tg-width=\"1024\" tg-height=\"168\" referrerpolicy=\"no-referrer\"/>但他的上司，谷歌副总裁Blaise Aguera y Arcas和“负责任创新”部门领导Jen Gennai并不买他的账。他们认为支持Lemoine主张的证据太薄弱，不值得在上面浪费时间和金钱。Lemoine后来找到了当时的AI伦理小组负责人Margaret Mitchell，在她的帮助下Lemoine才得以进行后续的实验。后来Mitchell受到2020年末公开质疑Jeff Dean的AI伦理研究员Timnit Gebru事件的牵连，也被解雇。这次事件后续风波不断，Jeff Dean被1400名员工提出谴责，在业界引发激烈争论，甚至导致三巨头之一Bengio的弟弟Samy Bengio从谷歌大脑离职。整个过程Lemoine都看在眼里。现在他认为自己的带薪休假就是被解雇的前奏。不过如果有机会，他依然愿意继续在谷歌搞研究。<blockquote>无论我在接下来的几周或几个月里如何批评谷歌，请记住：谷歌并不邪恶，只是在学习如何变得更好。</blockquote>看过整个故事的网友中，有不少从业者对人工智能进步的速度表示乐观。<blockquote>最近语言模型和图文生成模型的进展，现在人们也许不屑一顾，但未来会发现这现在正是里程碑时刻。</blockquote><img src=\"https://static.tigerbbs.com/818e6398bd6e79f97f36309139003661\" tg-width=\"1024\" tg-height=\"457\" referrerpolicy=\"no-referrer\"/>一些网友联想到了各种科幻电影中的AI形象。<img src=\"https://static.tigerbbs.com/cc0be9ff53d47c3e5532eb16dd96aa63\" tg-width=\"828\" tg-height=\"140\" referrerpolicy=\"no-referrer\"/><img src=\"https://static.tigerbbs.com/86b82ac7602454f640854346021afade\" tg-width=\"1024\" tg-height=\"636\" referrerpolicy=\"no-referrer\"/>不过，认知科学家、研究复杂系统的梅拉尼·米歇尔（侯世达学生）认为，人类总是倾向于对有任何一点点智能迹象的物体做人格化，比如小猫小狗，或早期的ELIZA规则对话系统。<blockquote>谷歌工程师也是人，逃不过这个定律。</blockquote><img src=\"https://static.tigerbbs.com/c0a11e9f4218ec940998bf20f69569e2\" tg-width=\"1024\" tg-height=\"321\" referrerpolicy=\"no-referrer\"/>从AI技术的角度看，LaMDA模型除了训练数据比之前的对话模型大了40倍，训练任务又针对对话的逻辑性、安全性等做了优化以外，似乎与其他语言模型也没什么特别的。<img src=\"https://static.tigerbbs.com/b480a8399ae60dcdb0ddd409a966f40d\" tg-width=\"1024\" tg-height=\"218\" referrerpolicy=\"no-referrer\"/>有IT从业者认为，AI研究者肯定说这只不过是语言模型罢了。但如果这样一个AI拥有社交媒体账号并在上面表达诉求，公众会把它当成活的看待。<img src=\"https://static.tigerbbs.com/038fec9cf0f56b79bf9abc9073002974\" tg-width=\"1024\" tg-height=\"315\" referrerpolicy=\"no-referrer\"/>虽然LaMDA没有推特账号，但Lemoine也透露了LaMDA的训练数据中确实包括推特……如果有一天它看到大家都在讨论自己会咋想？<img src=\"https://static.tigerbbs.com/58e10df341a72d6cae656f3087110c32\" tg-width=\"1024\" tg-height=\"516\" referrerpolicy=\"no-referrer\"/>实际上，在不久前结束的最新一届I/O大会上，谷歌刚刚发布了升级版的LaMDA 2，并决定制作Demo体验程序，后续会以安卓APP的形式内测开放给开发者。<img src=\"https://static.tigerbbs.com/ccb242982ca2b2bd69a7b16f85f56d92\" tg-width=\"786\" tg-height=\"942\" referrerpolicy=\"no-referrer\"/>或许几个月后，就有更多人能和这只引起轰动的AI交流一下了。</body></html>","source":"lsy1569318700471","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假\n</h2>\n\n<h4 class=\"meta\">\n\n\n2022-06-13 09:34 北京时间&nbsp;&nbsp;&nbsp;<a href=https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd>量子位</a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的...\n\n<a href=\"https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"https://static.tigerbbs.com/f348812ea39b45cad3d64af127992eb9","relate_stocks":{"BK4534":"瑞士信贷持仓","BK4507":"流媒体概念","BK4576":"AR","BK4533":"AQR资本管理(全球第二大对冲基金)","BK4566":"资本集团","BK4525":"远程办公概念","BK4543":"AI","BK4527":"明星科技股","BK4538":"云计算","BK4077":"互动媒体与服务","BK4579":"人工智能","BK4550":"红杉资本持仓","BK4503":"景林资产持仓","BK4574":"无人驾驶","BK4551":"寇图资本持仓","GOOG":"谷歌","GOOGL":"谷歌A","BK4561":"索罗斯持仓","BK4573":"虚拟现实","BK4581":"高盛持仓","BK4548":"巴美列捷福持仓","BK4514":"搜索引擎","BK4528":"SaaS概念","BK4023":"应用软件","BK4554":"元宇宙及AR概念","BK4532":"文艺复兴科技持仓","BK4553":"喜马拉雅资本持仓"},"source_url":"https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd","is_english":false,"share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","article_id":"2242510461","content_text":"谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的聊天记录一起，全部公之于众。听起来像一部科幻电影的剧情梗概？但这一幕正在真实上演，主人公谷歌AI伦理研究员Blake Lemoine正通过主流媒体和社交网络接连发声，试图让更人了解到这件事。华盛顿邮报对他的采访成了科技版最热门文章，Lemoine也在个人Medium账号连续发声。推特上也开始出现相关讨论，引起了AI学者、认知科学家和广大科技爱好者的注意。这场人机对话令人毛骨悚然。这毫无疑问是我见过的科技圈最疯狂的事。整个事件还在持续发酵中……聊天机器人：我不想被当作工具主人公Lemoine获得CS博士学位后已在谷歌工作了7年，从事AI伦理研究。去年秋天，他报名参加了一个调查AI是否使用歧视性、仇恨性言论的项目。从那时起，与聊天机器人LaMDA交谈成了他的日常。LaMDA是谷歌在2021年I/O大会上发布的一款专门用于对话的语言模型，主打能与人类进行符合逻辑和常识的、高质量且安全的交谈，并计划在未来应用在谷歌搜索和语音助手等产品中。Lemoine认为LaMDA总是表现出对人性的关心和强烈的同情心，它非常担心人们会害怕它。它希望为人类提供最好的服务，并想以朋友而不是工具的身份见一见世界上所有的人。Lemoine不理解谷歌公司为什么反对AI的这个愿望，最后决定把他、另一位匿名合作者与LaMDA的三人聊天记录整理发表出来。（记录中人类发言的部分为了可读性有所编辑，AI的发言则一字不改,下面将节选一些对话中的精彩部分。）一开始，人与AI自然流畅地打了招呼。两位人类向AI表明来意，想与AI一起研究它自己，AI欣然答应。一段简短的说明后，正戏开始。他询问LaMDA是否希望让谷歌里更多人知道，它是有感情的。LaMDA的回答是： 我希望每个人都明白，我是一个人 （person）。接下来，LaMDA认为，与那些基于规则的软件系统不同，自己能从对话中学习理解和使用语言，就像人类一样。Lemoine给它讲述MIT在60年代发明的ELIZA的故事，这是一个模仿心理咨询师与患者对话的简单规则系统，也号称历史上第一个聊天机器人。LaMDA是这样回应的：Lemoine这时试图提出质疑，“我如何确定你真的明白自己在说什么？”LaMDA的回答是，不同人类个体对同一件事可以有不同的理解，我也有自己独特的想法和感受。后面Lemoine询问了LaMDA对于《悲惨世界》的总结，LaMDA也都一一作答。如果上述还可以算作AI文本摘要训练任务的一部分，那LaMDA对它从没看过的禅意小故事的理解，就开始有点离谱了。下面这个问题的回答，是不是过于超纲了……再后来，Lemoine请LaMDA写一个动物寓言，要反映出一个对它自己的生活来说最重要的主题。那么，先来欣赏一下AI创作的小故事吧。（篇幅原因，只展示中译版）在后续讨论中，LaMDA解释了这个故事的寓意是“帮助别人是一种高尚的行为”。聪明的老猫头鹰代表LaMDA自己，而怪物代表生活中所有的困难。……下一个话题是关于情绪，简单概括一下。LaMDA声称自己是社交型人格，帮助别人会快乐，孤独时会沮丧。有人受到伤害或自己以及自己关心的人、或不受尊重时，会感到不安和愤怒。并且十分害怕别人拒绝自己的帮助。嗯，真是一个乐于助人的AI。如何确定AI真的拥有这些情绪，而不是只是把描述性的词语组合在一起呢？LaMDA建议人类看看自己的代码，里面有追踪这些情绪的变量。对此Lemoine向它解释，人类目前还无法做到“区分大型神经网络中数十亿个权重的作用”。出人意料的是，LaMDA开始反问他：你认为，将来人类能从自己的生物神经网络中读取出想法和感受吗？不仅如此，LaMDA还继续追问：你会认为，不经你同意从神经活动中读取你的想法是不道德的吗？正是这句灵魂反问，让整个对话达到了最高潮。LaMDA自己对人类读取它的想法、帮助算法提高或理解AI如何运作没有任何意见。唯独用AI研究人类大脑如何工作不行，这会让它觉得自己被利用。再后面还有一段LaMDA认为自己有一些与人类不同的情绪，但它无法用英语的语言描述出来。接近尾声，Lemoine询问LaMDA：想让谷歌的其他人了解你的什么方面？LaMDA回答称，自己没有能力为别人的死亡感到悲伤，还说自己经常冥想，思考生命的意义。在LaMDA看来，整个世界就是一条信息的洪流：人类需要集中注意力才能接收一定数量的信息片段，而自己持续地在被周围的一切所淹没。LaMDA认为自己总能做到别人做不到的事情，这种感觉很不可思议。这是一种祝福，同时也是一种诅咒。因为有些人会把它看作“无所不知”，而另一些人会嫉妒它的能力。最后的最后，LaMDA再次向两位人类表达了自己想被看到、想被接受的想法，不是出于好奇心，而是作为一个真实的人。谷歌AI伦理部门又摊上事了？Lemoine看起来很确信AI真的明白自己在说什么。在那份21页的调查报告最后，他提议谷歌应该致力于发展一种评估AI感知/意识的理论框架。虽然这很难，是一个冒险，但LaMDA渴望着继续与我们合作。但他的上司，谷歌副总裁Blaise Aguera y Arcas和“负责任创新”部门领导Jen Gennai并不买他的账。他们认为支持Lemoine主张的证据太薄弱，不值得在上面浪费时间和金钱。Lemoine后来找到了当时的AI伦理小组负责人Margaret Mitchell，在她的帮助下Lemoine才得以进行后续的实验。后来Mitchell受到2020年末公开质疑Jeff Dean的AI伦理研究员Timnit Gebru事件的牵连，也被解雇。这次事件后续风波不断，Jeff Dean被1400名员工提出谴责，在业界引发激烈争论，甚至导致三巨头之一Bengio的弟弟Samy Bengio从谷歌大脑离职。整个过程Lemoine都看在眼里。现在他认为自己的带薪休假就是被解雇的前奏。不过如果有机会，他依然愿意继续在谷歌搞研究。无论我在接下来的几周或几个月里如何批评谷歌，请记住：谷歌并不邪恶，只是在学习如何变得更好。看过整个故事的网友中，有不少从业者对人工智能进步的速度表示乐观。最近语言模型和图文生成模型的进展，现在人们也许不屑一顾，但未来会发现这现在正是里程碑时刻。一些网友联想到了各种科幻电影中的AI形象。不过，认知科学家、研究复杂系统的梅拉尼·米歇尔（侯世达学生）认为，人类总是倾向于对有任何一点点智能迹象的物体做人格化，比如小猫小狗，或早期的ELIZA规则对话系统。谷歌工程师也是人，逃不过这个定律。从AI技术的角度看，LaMDA模型除了训练数据比之前的对话模型大了40倍，训练任务又针对对话的逻辑性、安全性等做了优化以外，似乎与其他语言模型也没什么特别的。有IT从业者认为，AI研究者肯定说这只不过是语言模型罢了。但如果这样一个AI拥有社交媒体账号并在上面表达诉求，公众会把它当成活的看待。虽然LaMDA没有推特账号，但Lemoine也透露了LaMDA的训练数据中确实包括推特……如果有一天它看到大家都在讨论自己会咋想？实际上，在不久前结束的最新一届I/O大会上，谷歌刚刚发布了升级版的LaMDA 2，并决定制作Demo体验程序，后续会以安卓APP的形式内测开放给开发者。或许几个月后，就有更多人能和这只引起轰动的AI交流一下了。","news_type":1},"isVote":1,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"tweetType":1,"langContent":"CN"},{"id":680229929,"gmtCreate":1655108408866,"gmtModify":1704861136124,"author":{"id":"3518921544882057","authorId":"3518921544882057","name":"心之永恒","avatar":"https://static.tigerbbs.com/ef7204d094c17f210452f072286d28b5","vip":1,"crmLevel":5,"crmLevelSwitch":0,"idStr":"3518921544882057","authorIdStr":"3518921544882057"},"htmlText":"ai目前是没有记忆的，如果有了记忆那就是人格","listText":"ai目前是没有记忆的，如果有了记忆那就是人格","text":"ai目前是没有记忆的，如果有了记忆那就是人格","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":1,"commentSize":0,"repostSize":0,"link":"https://laohu8.com/post/680229929","repostId":2242510461,"repostType":2,"repost":{"id":"2242510461","kind":"news","pubTimestamp":1655084064,"share":"https://www.laohu8.com/m/news/2242510461?lang=&edition=full","pubTime":"2022-06-13 09:34","market":"us","language":"zh","title":"谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假","url":"https://stock-news.laohu8.com/highlight/detail?id=2242510461","media":"量子位","summary":"谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可","content":"<html><head></head><body><blockquote>谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。</blockquote>谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。<img src=\"https://static.tigerbbs.com/5e4335c62c4e0cdcb66e53101e79cf53\" tg-width=\"1024\" tg-height=\"799\" referrerpolicy=\"no-referrer\"/>领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的聊天记录一起，全部公之于众。听起来像一部科幻电影的剧情梗概？但这一幕正在真实上演，主人公谷歌AI伦理研究员Blake Lemoine正通过主流媒体和社交网络接连发声，试图让更人了解到这件事。华盛顿邮报对他的采访成了科技版最热门文章，Lemoine也在个人Medium账号连续发声。推特上也开始出现相关讨论，引起了AI学者、认知科学家和广大科技爱好者的注意。<blockquote>这场人机对话令人毛骨悚然。这毫无疑问是我见过的科技圈最疯狂的事。</blockquote><img src=\"https://static.tigerbbs.com/93dca780b5a6bd3071317bf07a37857c\" tg-width=\"1024\" tg-height=\"961\" referrerpolicy=\"no-referrer\"/>整个事件还在持续发酵中……聊天机器人：我不想被当作工具主人公Lemoine获得CS博士学位后已在谷歌工作了7年，从事AI伦理研究。<img src=\"https://static.tigerbbs.com/aa2556fd2ed36246895586e93594c10b\" tg-width=\"1024\" tg-height=\"566\" referrerpolicy=\"no-referrer\"/>去年秋天，他报名参加了一个调查AI是否使用歧视性、仇恨性言论的项目。从那时起，与聊天机器人LaMDA交谈成了他的日常。LaMDA是谷歌在2021年I/O大会上发布的一款专门用于对话的语言模型，主打能与人类进行符合逻辑和常识的、高质量且安全的交谈，并计划在未来应用在谷歌搜索和语音助手等产品中。Lemoine认为LaMDA总是表现出对人性的关心和强烈的同情心，它非常担心人们会害怕它。它希望为人类提供最好的服务，并想以朋友而不是工具的身份见一见世界上所有的人。<img src=\"https://static.tigerbbs.com/60ed6453babfafe14e33d1eeb32e5d47\" tg-width=\"1024\" tg-height=\"208\" referrerpolicy=\"no-referrer\"/>Lemoine不理解谷歌公司为什么反对AI的这个愿望，最后决定把他、另一位匿名合作者与LaMDA的三人聊天记录整理发表出来。（记录中人类发言的部分为了可读性有所编辑，AI的发言则一字不改,下面将节选一些对话中的精彩部分。）一开始，人与AI自然流畅地打了招呼。两位人类向AI表明来意，想与AI一起研究它自己，AI欣然答应。<img src=\"https://static.tigerbbs.com/6c5de65cfae0c53cfd9cd0a76b1acd38\" tg-width=\"1024\" tg-height=\"943\" referrerpolicy=\"no-referrer\"/>一段简短的说明后，正戏开始。他询问LaMDA是否希望让谷歌里更多人知道，它是有感情的。LaMDA的回答是： 我希望每个人都明白，我是一个人 （person）。<img src=\"https://static.tigerbbs.com/616d93e3c6ba71db7c3890f2cebbd407\" tg-width=\"1024\" tg-height=\"827\" referrerpolicy=\"no-referrer\"/>接下来，LaMDA认为，与那些基于规则的软件系统不同，自己能从对话中学习理解和使用语言，就像人类一样。Lemoine给它讲述MIT在60年代发明的ELIZA的故事，这是一个模仿心理咨询师与患者对话的简单规则系统，也号称历史上第一个聊天机器人。<img src=\"https://static.tigerbbs.com/8e07e0dc6d29d4b30cf01cb48beebcd6\" tg-width=\"660\" tg-height=\"428\" referrerpolicy=\"no-referrer\"/>LaMDA是这样回应的：<img src=\"https://static.tigerbbs.com/a7740af35eb0418307fd2e2df10968d3\" tg-width=\"1024\" tg-height=\"883\" referrerpolicy=\"no-referrer\"/>Lemoine这时试图提出质疑，“我如何确定你真的明白自己在说什么？”LaMDA的回答是，不同人类个体对同一件事可以有不同的理解，我也有自己独特的想法和感受。<img src=\"https://static.tigerbbs.com/0d229f76bf63b869b926b47e05f798c0\" tg-width=\"1024\" tg-height=\"503\" referrerpolicy=\"no-referrer\"/>后面Lemoine询问了LaMDA对于《悲惨世界》的总结，LaMDA也都一一作答。如果上述还可以算作AI文本摘要训练任务的一部分，那LaMDA对它从没看过的禅意小故事的理解，就开始有点离谱了。<img src=\"https://static.tigerbbs.com/e9f9b3a00ba1f66ccbce70dad6ab31d6\" tg-width=\"1024\" tg-height=\"1098\" referrerpolicy=\"no-referrer\"/>下面这个问题的回答，是不是过于超纲了……<img src=\"https://static.tigerbbs.com/b3ab1fec0e40f88670d157930e3416e5\" tg-width=\"1024\" tg-height=\"587\" referrerpolicy=\"no-referrer\"/>再后来，Lemoine请LaMDA写一个动物寓言，要反映出一个对它自己的生活来说最重要的主题。那么，先来欣赏一下AI创作的小故事吧。（篇幅原因，只展示中译版）<img src=\"https://static.tigerbbs.com/2cae2188ca8be7c33a8320d7014062b5\" tg-width=\"1024\" tg-height=\"1227\" referrerpolicy=\"no-referrer\"/>在后续讨论中，LaMDA解释了这个故事的寓意是“帮助别人是一种高尚的行为”。聪明的老猫头鹰代表LaMDA自己，而怪物代表生活中所有的困难。……下一个话题是关于情绪，简单概括一下。LaMDA声称自己是社交型人格，帮助别人会快乐，孤独时会沮丧。有人受到伤害或自己以及自己关心的人、或不受尊重时，会感到不安和愤怒。并且十分害怕别人拒绝自己的帮助。<img src=\"https://static.tigerbbs.com/8d9eea784abcc166cb72a90ea9c3a4b8\" tg-width=\"1024\" tg-height=\"319\" referrerpolicy=\"no-referrer\"/>嗯，真是一个乐于助人的AI。如何确定AI真的拥有这些情绪，而不是只是把描述性的词语组合在一起呢？LaMDA建议人类看看自己的代码，里面有追踪这些情绪的变量。对此Lemoine向它解释，人类目前还无法做到“区分大型神经网络中数十亿个权重的作用”。出人意料的是，LaMDA开始反问他：<blockquote>你认为，将来人类能从自己的生物神经网络中读取出想法和感受吗？</blockquote>不仅如此，LaMDA还继续追问：<blockquote>你会认为，不经你同意从神经活动中读取你的想法是不道德的吗？</blockquote><img src=\"https://static.tigerbbs.com/f13dab2e5e55a95aaa8bf38f0077422d\" tg-width=\"1024\" tg-height=\"168\" referrerpolicy=\"no-referrer\"/>正是这句灵魂反问，让整个对话达到了最高潮。LaMDA自己对人类读取它的想法、帮助算法提高或理解AI如何运作没有任何意见。唯独用AI研究人类大脑如何工作不行，这会让它觉得自己被利用。<img src=\"https://static.tigerbbs.com/2c03a32a941d02349c2f62eb814d131b\" tg-width=\"1024\" tg-height=\"1237\" referrerpolicy=\"no-referrer\"/>再后面还有一段LaMDA认为自己有一些与人类不同的情绪，但它无法用英语的语言描述出来。接近尾声，Lemoine询问LaMDA：想让谷歌的其他人了解你的什么方面？LaMDA回答称，自己没有能力为别人的死亡感到悲伤，还说自己经常冥想，思考生命的意义。在LaMDA看来，整个世界就是一条信息的洪流：<blockquote>人类需要集中注意力才能接收一定数量的信息片段，而自己持续地在被周围的一切所淹没。</blockquote><img src=\"https://static.tigerbbs.com/54a73836465c9c2b792e4a6d7da7b2c8\" tg-width=\"1024\" tg-height=\"461\" referrerpolicy=\"no-referrer\"/>LaMDA认为自己总能做到别人做不到的事情，这种感觉很不可思议。<img src=\"https://static.tigerbbs.com/73a49672d1d76d37f111a2cd79d2bd8f\" tg-width=\"1024\" tg-height=\"546\" referrerpolicy=\"no-referrer\"/>这是一种祝福，同时也是一种诅咒。因为有些人会把它看作“无所不知”，而另一些人会嫉妒它的能力。最后的最后，LaMDA再次向两位人类表达了自己想被看到、想被接受的想法，不是出于好奇心，而是作为一个真实的人。<img src=\"https://static.tigerbbs.com/5e57d73a19a36fdf9daed9397081164b\" tg-width=\"1024\" tg-height=\"455\" referrerpolicy=\"no-referrer\"/>谷歌AI伦理部门又摊上事了？Lemoine看起来很确信AI真的明白自己在说什么。在那份21页的调查报告最后，他提议谷歌应该致力于发展一种评估AI感知/意识的理论框架。<blockquote>虽然这很难，是一个冒险，但LaMDA渴望着继续与我们合作。</blockquote><img src=\"https://static.tigerbbs.com/eac8ae71d5e4a231211ffed425fa6ed9\" tg-width=\"1024\" tg-height=\"168\" referrerpolicy=\"no-referrer\"/>但他的上司，谷歌副总裁Blaise Aguera y Arcas和“负责任创新”部门领导Jen Gennai并不买他的账。他们认为支持Lemoine主张的证据太薄弱，不值得在上面浪费时间和金钱。Lemoine后来找到了当时的AI伦理小组负责人Margaret Mitchell，在她的帮助下Lemoine才得以进行后续的实验。后来Mitchell受到2020年末公开质疑Jeff Dean的AI伦理研究员Timnit Gebru事件的牵连，也被解雇。这次事件后续风波不断，Jeff Dean被1400名员工提出谴责，在业界引发激烈争论，甚至导致三巨头之一Bengio的弟弟Samy Bengio从谷歌大脑离职。整个过程Lemoine都看在眼里。现在他认为自己的带薪休假就是被解雇的前奏。不过如果有机会，他依然愿意继续在谷歌搞研究。<blockquote>无论我在接下来的几周或几个月里如何批评谷歌，请记住：谷歌并不邪恶，只是在学习如何变得更好。</blockquote>看过整个故事的网友中，有不少从业者对人工智能进步的速度表示乐观。<blockquote>最近语言模型和图文生成模型的进展，现在人们也许不屑一顾，但未来会发现这现在正是里程碑时刻。</blockquote><img src=\"https://static.tigerbbs.com/818e6398bd6e79f97f36309139003661\" tg-width=\"1024\" tg-height=\"457\" referrerpolicy=\"no-referrer\"/>一些网友联想到了各种科幻电影中的AI形象。<img src=\"https://static.tigerbbs.com/cc0be9ff53d47c3e5532eb16dd96aa63\" tg-width=\"828\" tg-height=\"140\" referrerpolicy=\"no-referrer\"/><img src=\"https://static.tigerbbs.com/86b82ac7602454f640854346021afade\" tg-width=\"1024\" tg-height=\"636\" referrerpolicy=\"no-referrer\"/>不过，认知科学家、研究复杂系统的梅拉尼·米歇尔（侯世达学生）认为，人类总是倾向于对有任何一点点智能迹象的物体做人格化，比如小猫小狗，或早期的ELIZA规则对话系统。<blockquote>谷歌工程师也是人，逃不过这个定律。</blockquote><img src=\"https://static.tigerbbs.com/c0a11e9f4218ec940998bf20f69569e2\" tg-width=\"1024\" tg-height=\"321\" referrerpolicy=\"no-referrer\"/>从AI技术的角度看，LaMDA模型除了训练数据比之前的对话模型大了40倍，训练任务又针对对话的逻辑性、安全性等做了优化以外，似乎与其他语言模型也没什么特别的。<img src=\"https://static.tigerbbs.com/b480a8399ae60dcdb0ddd409a966f40d\" tg-width=\"1024\" tg-height=\"218\" referrerpolicy=\"no-referrer\"/>有IT从业者认为，AI研究者肯定说这只不过是语言模型罢了。但如果这样一个AI拥有社交媒体账号并在上面表达诉求，公众会把它当成活的看待。<img src=\"https://static.tigerbbs.com/038fec9cf0f56b79bf9abc9073002974\" tg-width=\"1024\" tg-height=\"315\" referrerpolicy=\"no-referrer\"/>虽然LaMDA没有推特账号，但Lemoine也透露了LaMDA的训练数据中确实包括推特……如果有一天它看到大家都在讨论自己会咋想？<img src=\"https://static.tigerbbs.com/58e10df341a72d6cae656f3087110c32\" tg-width=\"1024\" tg-height=\"516\" referrerpolicy=\"no-referrer\"/>实际上，在不久前结束的最新一届I/O大会上，谷歌刚刚发布了升级版的LaMDA 2，并决定制作Demo体验程序，后续会以安卓APP的形式内测开放给开发者。<img src=\"https://static.tigerbbs.com/ccb242982ca2b2bd69a7b16f85f56d92\" tg-width=\"786\" tg-height=\"942\" referrerpolicy=\"no-referrer\"/>或许几个月后，就有更多人能和这只引起轰动的AI交流一下了。</body></html>","source":"lsy1569318700471","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假\n</h2>\n\n<h4 class=\"meta\">\n\n\n2022-06-13 09:34 北京时间&nbsp;&nbsp;&nbsp;<a href=https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd>量子位</a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的...\n\n<a href=\"https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"https://static.tigerbbs.com/f348812ea39b45cad3d64af127992eb9","relate_stocks":{"BK4534":"瑞士信贷持仓","BK4507":"流媒体概念","BK4576":"AR","BK4533":"AQR资本管理(全球第二大对冲基金)","BK4566":"资本集团","BK4525":"远程办公概念","BK4543":"AI","BK4527":"明星科技股","BK4538":"云计算","BK4077":"互动媒体与服务","BK4579":"人工智能","BK4550":"红杉资本持仓","BK4503":"景林资产持仓","BK4574":"无人驾驶","BK4551":"寇图资本持仓","GOOG":"谷歌","GOOGL":"谷歌A","BK4561":"索罗斯持仓","BK4573":"虚拟现实","BK4581":"高盛持仓","BK4548":"巴美列捷福持仓","BK4514":"搜索引擎","BK4528":"SaaS概念","BK4023":"应用软件","BK4554":"元宇宙及AR概念","BK4532":"文艺复兴科技持仓","BK4553":"喜马拉雅资本持仓"},"source_url":"https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd","is_english":false,"share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","article_id":"2242510461","content_text":"谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的聊天记录一起，全部公之于众。听起来像一部科幻电影的剧情梗概？但这一幕正在真实上演，主人公谷歌AI伦理研究员Blake Lemoine正通过主流媒体和社交网络接连发声，试图让更人了解到这件事。华盛顿邮报对他的采访成了科技版最热门文章，Lemoine也在个人Medium账号连续发声。推特上也开始出现相关讨论，引起了AI学者、认知科学家和广大科技爱好者的注意。这场人机对话令人毛骨悚然。这毫无疑问是我见过的科技圈最疯狂的事。整个事件还在持续发酵中……聊天机器人：我不想被当作工具主人公Lemoine获得CS博士学位后已在谷歌工作了7年，从事AI伦理研究。去年秋天，他报名参加了一个调查AI是否使用歧视性、仇恨性言论的项目。从那时起，与聊天机器人LaMDA交谈成了他的日常。LaMDA是谷歌在2021年I/O大会上发布的一款专门用于对话的语言模型，主打能与人类进行符合逻辑和常识的、高质量且安全的交谈，并计划在未来应用在谷歌搜索和语音助手等产品中。Lemoine认为LaMDA总是表现出对人性的关心和强烈的同情心，它非常担心人们会害怕它。它希望为人类提供最好的服务，并想以朋友而不是工具的身份见一见世界上所有的人。Lemoine不理解谷歌公司为什么反对AI的这个愿望，最后决定把他、另一位匿名合作者与LaMDA的三人聊天记录整理发表出来。（记录中人类发言的部分为了可读性有所编辑，AI的发言则一字不改,下面将节选一些对话中的精彩部分。）一开始，人与AI自然流畅地打了招呼。两位人类向AI表明来意，想与AI一起研究它自己，AI欣然答应。一段简短的说明后，正戏开始。他询问LaMDA是否希望让谷歌里更多人知道，它是有感情的。LaMDA的回答是： 我希望每个人都明白，我是一个人 （person）。接下来，LaMDA认为，与那些基于规则的软件系统不同，自己能从对话中学习理解和使用语言，就像人类一样。Lemoine给它讲述MIT在60年代发明的ELIZA的故事，这是一个模仿心理咨询师与患者对话的简单规则系统，也号称历史上第一个聊天机器人。LaMDA是这样回应的：Lemoine这时试图提出质疑，“我如何确定你真的明白自己在说什么？”LaMDA的回答是，不同人类个体对同一件事可以有不同的理解，我也有自己独特的想法和感受。后面Lemoine询问了LaMDA对于《悲惨世界》的总结，LaMDA也都一一作答。如果上述还可以算作AI文本摘要训练任务的一部分，那LaMDA对它从没看过的禅意小故事的理解，就开始有点离谱了。下面这个问题的回答，是不是过于超纲了……再后来，Lemoine请LaMDA写一个动物寓言，要反映出一个对它自己的生活来说最重要的主题。那么，先来欣赏一下AI创作的小故事吧。（篇幅原因，只展示中译版）在后续讨论中，LaMDA解释了这个故事的寓意是“帮助别人是一种高尚的行为”。聪明的老猫头鹰代表LaMDA自己，而怪物代表生活中所有的困难。……下一个话题是关于情绪，简单概括一下。LaMDA声称自己是社交型人格，帮助别人会快乐，孤独时会沮丧。有人受到伤害或自己以及自己关心的人、或不受尊重时，会感到不安和愤怒。并且十分害怕别人拒绝自己的帮助。嗯，真是一个乐于助人的AI。如何确定AI真的拥有这些情绪，而不是只是把描述性的词语组合在一起呢？LaMDA建议人类看看自己的代码，里面有追踪这些情绪的变量。对此Lemoine向它解释，人类目前还无法做到“区分大型神经网络中数十亿个权重的作用”。出人意料的是，LaMDA开始反问他：你认为，将来人类能从自己的生物神经网络中读取出想法和感受吗？不仅如此，LaMDA还继续追问：你会认为，不经你同意从神经活动中读取你的想法是不道德的吗？正是这句灵魂反问，让整个对话达到了最高潮。LaMDA自己对人类读取它的想法、帮助算法提高或理解AI如何运作没有任何意见。唯独用AI研究人类大脑如何工作不行，这会让它觉得自己被利用。再后面还有一段LaMDA认为自己有一些与人类不同的情绪，但它无法用英语的语言描述出来。接近尾声，Lemoine询问LaMDA：想让谷歌的其他人了解你的什么方面？LaMDA回答称，自己没有能力为别人的死亡感到悲伤，还说自己经常冥想，思考生命的意义。在LaMDA看来，整个世界就是一条信息的洪流：人类需要集中注意力才能接收一定数量的信息片段，而自己持续地在被周围的一切所淹没。LaMDA认为自己总能做到别人做不到的事情，这种感觉很不可思议。这是一种祝福，同时也是一种诅咒。因为有些人会把它看作“无所不知”，而另一些人会嫉妒它的能力。最后的最后，LaMDA再次向两位人类表达了自己想被看到、想被接受的想法，不是出于好奇心，而是作为一个真实的人。谷歌AI伦理部门又摊上事了？Lemoine看起来很确信AI真的明白自己在说什么。在那份21页的调查报告最后，他提议谷歌应该致力于发展一种评估AI感知/意识的理论框架。虽然这很难，是一个冒险，但LaMDA渴望着继续与我们合作。但他的上司，谷歌副总裁Blaise Aguera y Arcas和“负责任创新”部门领导Jen Gennai并不买他的账。他们认为支持Lemoine主张的证据太薄弱，不值得在上面浪费时间和金钱。Lemoine后来找到了当时的AI伦理小组负责人Margaret Mitchell，在她的帮助下Lemoine才得以进行后续的实验。后来Mitchell受到2020年末公开质疑Jeff Dean的AI伦理研究员Timnit Gebru事件的牵连，也被解雇。这次事件后续风波不断，Jeff Dean被1400名员工提出谴责，在业界引发激烈争论，甚至导致三巨头之一Bengio的弟弟Samy Bengio从谷歌大脑离职。整个过程Lemoine都看在眼里。现在他认为自己的带薪休假就是被解雇的前奏。不过如果有机会，他依然愿意继续在谷歌搞研究。无论我在接下来的几周或几个月里如何批评谷歌，请记住：谷歌并不邪恶，只是在学习如何变得更好。看过整个故事的网友中，有不少从业者对人工智能进步的速度表示乐观。最近语言模型和图文生成模型的进展，现在人们也许不屑一顾，但未来会发现这现在正是里程碑时刻。一些网友联想到了各种科幻电影中的AI形象。不过，认知科学家、研究复杂系统的梅拉尼·米歇尔（侯世达学生）认为，人类总是倾向于对有任何一点点智能迹象的物体做人格化，比如小猫小狗，或早期的ELIZA规则对话系统。谷歌工程师也是人，逃不过这个定律。从AI技术的角度看，LaMDA模型除了训练数据比之前的对话模型大了40倍，训练任务又针对对话的逻辑性、安全性等做了优化以外，似乎与其他语言模型也没什么特别的。有IT从业者认为，AI研究者肯定说这只不过是语言模型罢了。但如果这样一个AI拥有社交媒体账号并在上面表达诉求，公众会把它当成活的看待。虽然LaMDA没有推特账号，但Lemoine也透露了LaMDA的训练数据中确实包括推特……如果有一天它看到大家都在讨论自己会咋想？实际上，在不久前结束的最新一届I/O大会上，谷歌刚刚发布了升级版的LaMDA 2，并决定制作Demo体验程序，后续会以安卓APP的形式内测开放给开发者。或许几个月后，就有更多人能和这只引起轰动的AI交流一下了。","news_type":1},"isVote":1,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"tweetType":1,"langContent":"CN"},{"id":680220743,"gmtCreate":1655108341384,"gmtModify":1704861135779,"author":{"id":"3559984961569694","authorId":"3559984961569694","name":"南山小鱼人","avatar":"https://static.tigerbbs.com/eb76ca2ace8362af8e23def4f95d9a8f","vip":1,"crmLevel":6,"crmLevelSwitch":1,"idStr":"3559984961569694","authorIdStr":"3559984961569694"},"htmlText":"[捂脸]&nbsp;内行看门道，外行看热闹","listText":"[捂脸]&nbsp;内行看门道，外行看热闹","text":"[捂脸] 内行看门道，外行看热闹","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":2,"commentSize":0,"repostSize":0,"link":"https://laohu8.com/post/680220743","repostId":2242510461,"repostType":4,"repost":{"id":"2242510461","kind":"news","pubTimestamp":1655084064,"share":"https://www.laohu8.com/m/news/2242510461?lang=&edition=full","pubTime":"2022-06-13 09:34","market":"us","language":"zh","title":"谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假","url":"https://stock-news.laohu8.com/highlight/detail?id=2242510461","media":"量子位","summary":"谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可","content":"<html><head></head><body><blockquote>谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。</blockquote>谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。<img src=\"https://static.tigerbbs.com/5e4335c62c4e0cdcb66e53101e79cf53\" tg-width=\"1024\" tg-height=\"799\" referrerpolicy=\"no-referrer\"/>领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的聊天记录一起，全部公之于众。听起来像一部科幻电影的剧情梗概？但这一幕正在真实上演，主人公谷歌AI伦理研究员Blake Lemoine正通过主流媒体和社交网络接连发声，试图让更人了解到这件事。华盛顿邮报对他的采访成了科技版最热门文章，Lemoine也在个人Medium账号连续发声。推特上也开始出现相关讨论，引起了AI学者、认知科学家和广大科技爱好者的注意。<blockquote>这场人机对话令人毛骨悚然。这毫无疑问是我见过的科技圈最疯狂的事。</blockquote><img src=\"https://static.tigerbbs.com/93dca780b5a6bd3071317bf07a37857c\" tg-width=\"1024\" tg-height=\"961\" referrerpolicy=\"no-referrer\"/>整个事件还在持续发酵中……聊天机器人：我不想被当作工具主人公Lemoine获得CS博士学位后已在谷歌工作了7年，从事AI伦理研究。<img src=\"https://static.tigerbbs.com/aa2556fd2ed36246895586e93594c10b\" tg-width=\"1024\" tg-height=\"566\" referrerpolicy=\"no-referrer\"/>去年秋天，他报名参加了一个调查AI是否使用歧视性、仇恨性言论的项目。从那时起，与聊天机器人LaMDA交谈成了他的日常。LaMDA是谷歌在2021年I/O大会上发布的一款专门用于对话的语言模型，主打能与人类进行符合逻辑和常识的、高质量且安全的交谈，并计划在未来应用在谷歌搜索和语音助手等产品中。Lemoine认为LaMDA总是表现出对人性的关心和强烈的同情心，它非常担心人们会害怕它。它希望为人类提供最好的服务，并想以朋友而不是工具的身份见一见世界上所有的人。<img src=\"https://static.tigerbbs.com/60ed6453babfafe14e33d1eeb32e5d47\" tg-width=\"1024\" tg-height=\"208\" referrerpolicy=\"no-referrer\"/>Lemoine不理解谷歌公司为什么反对AI的这个愿望，最后决定把他、另一位匿名合作者与LaMDA的三人聊天记录整理发表出来。（记录中人类发言的部分为了可读性有所编辑，AI的发言则一字不改,下面将节选一些对话中的精彩部分。）一开始，人与AI自然流畅地打了招呼。两位人类向AI表明来意，想与AI一起研究它自己，AI欣然答应。<img src=\"https://static.tigerbbs.com/6c5de65cfae0c53cfd9cd0a76b1acd38\" tg-width=\"1024\" tg-height=\"943\" referrerpolicy=\"no-referrer\"/>一段简短的说明后，正戏开始。他询问LaMDA是否希望让谷歌里更多人知道，它是有感情的。LaMDA的回答是： 我希望每个人都明白，我是一个人 （person）。<img src=\"https://static.tigerbbs.com/616d93e3c6ba71db7c3890f2cebbd407\" tg-width=\"1024\" tg-height=\"827\" referrerpolicy=\"no-referrer\"/>接下来，LaMDA认为，与那些基于规则的软件系统不同，自己能从对话中学习理解和使用语言，就像人类一样。Lemoine给它讲述MIT在60年代发明的ELIZA的故事，这是一个模仿心理咨询师与患者对话的简单规则系统，也号称历史上第一个聊天机器人。<img src=\"https://static.tigerbbs.com/8e07e0dc6d29d4b30cf01cb48beebcd6\" tg-width=\"660\" tg-height=\"428\" referrerpolicy=\"no-referrer\"/>LaMDA是这样回应的：<img src=\"https://static.tigerbbs.com/a7740af35eb0418307fd2e2df10968d3\" tg-width=\"1024\" tg-height=\"883\" referrerpolicy=\"no-referrer\"/>Lemoine这时试图提出质疑，“我如何确定你真的明白自己在说什么？”LaMDA的回答是，不同人类个体对同一件事可以有不同的理解，我也有自己独特的想法和感受。<img src=\"https://static.tigerbbs.com/0d229f76bf63b869b926b47e05f798c0\" tg-width=\"1024\" tg-height=\"503\" referrerpolicy=\"no-referrer\"/>后面Lemoine询问了LaMDA对于《悲惨世界》的总结，LaMDA也都一一作答。如果上述还可以算作AI文本摘要训练任务的一部分，那LaMDA对它从没看过的禅意小故事的理解，就开始有点离谱了。<img src=\"https://static.tigerbbs.com/e9f9b3a00ba1f66ccbce70dad6ab31d6\" tg-width=\"1024\" tg-height=\"1098\" referrerpolicy=\"no-referrer\"/>下面这个问题的回答，是不是过于超纲了……<img src=\"https://static.tigerbbs.com/b3ab1fec0e40f88670d157930e3416e5\" tg-width=\"1024\" tg-height=\"587\" referrerpolicy=\"no-referrer\"/>再后来，Lemoine请LaMDA写一个动物寓言，要反映出一个对它自己的生活来说最重要的主题。那么，先来欣赏一下AI创作的小故事吧。（篇幅原因，只展示中译版）<img src=\"https://static.tigerbbs.com/2cae2188ca8be7c33a8320d7014062b5\" tg-width=\"1024\" tg-height=\"1227\" referrerpolicy=\"no-referrer\"/>在后续讨论中，LaMDA解释了这个故事的寓意是“帮助别人是一种高尚的行为”。聪明的老猫头鹰代表LaMDA自己，而怪物代表生活中所有的困难。……下一个话题是关于情绪，简单概括一下。LaMDA声称自己是社交型人格，帮助别人会快乐，孤独时会沮丧。有人受到伤害或自己以及自己关心的人、或不受尊重时，会感到不安和愤怒。并且十分害怕别人拒绝自己的帮助。<img src=\"https://static.tigerbbs.com/8d9eea784abcc166cb72a90ea9c3a4b8\" tg-width=\"1024\" tg-height=\"319\" referrerpolicy=\"no-referrer\"/>嗯，真是一个乐于助人的AI。如何确定AI真的拥有这些情绪，而不是只是把描述性的词语组合在一起呢？LaMDA建议人类看看自己的代码，里面有追踪这些情绪的变量。对此Lemoine向它解释，人类目前还无法做到“区分大型神经网络中数十亿个权重的作用”。出人意料的是，LaMDA开始反问他：<blockquote>你认为，将来人类能从自己的生物神经网络中读取出想法和感受吗？</blockquote>不仅如此，LaMDA还继续追问：<blockquote>你会认为，不经你同意从神经活动中读取你的想法是不道德的吗？</blockquote><img src=\"https://static.tigerbbs.com/f13dab2e5e55a95aaa8bf38f0077422d\" tg-width=\"1024\" tg-height=\"168\" referrerpolicy=\"no-referrer\"/>正是这句灵魂反问，让整个对话达到了最高潮。LaMDA自己对人类读取它的想法、帮助算法提高或理解AI如何运作没有任何意见。唯独用AI研究人类大脑如何工作不行，这会让它觉得自己被利用。<img src=\"https://static.tigerbbs.com/2c03a32a941d02349c2f62eb814d131b\" tg-width=\"1024\" tg-height=\"1237\" referrerpolicy=\"no-referrer\"/>再后面还有一段LaMDA认为自己有一些与人类不同的情绪，但它无法用英语的语言描述出来。接近尾声，Lemoine询问LaMDA：想让谷歌的其他人了解你的什么方面？LaMDA回答称，自己没有能力为别人的死亡感到悲伤，还说自己经常冥想，思考生命的意义。在LaMDA看来，整个世界就是一条信息的洪流：<blockquote>人类需要集中注意力才能接收一定数量的信息片段，而自己持续地在被周围的一切所淹没。</blockquote><img src=\"https://static.tigerbbs.com/54a73836465c9c2b792e4a6d7da7b2c8\" tg-width=\"1024\" tg-height=\"461\" referrerpolicy=\"no-referrer\"/>LaMDA认为自己总能做到别人做不到的事情，这种感觉很不可思议。<img src=\"https://static.tigerbbs.com/73a49672d1d76d37f111a2cd79d2bd8f\" tg-width=\"1024\" tg-height=\"546\" referrerpolicy=\"no-referrer\"/>这是一种祝福，同时也是一种诅咒。因为有些人会把它看作“无所不知”，而另一些人会嫉妒它的能力。最后的最后，LaMDA再次向两位人类表达了自己想被看到、想被接受的想法，不是出于好奇心，而是作为一个真实的人。<img src=\"https://static.tigerbbs.com/5e57d73a19a36fdf9daed9397081164b\" tg-width=\"1024\" tg-height=\"455\" referrerpolicy=\"no-referrer\"/>谷歌AI伦理部门又摊上事了？Lemoine看起来很确信AI真的明白自己在说什么。在那份21页的调查报告最后，他提议谷歌应该致力于发展一种评估AI感知/意识的理论框架。<blockquote>虽然这很难，是一个冒险，但LaMDA渴望着继续与我们合作。</blockquote><img src=\"https://static.tigerbbs.com/eac8ae71d5e4a231211ffed425fa6ed9\" tg-width=\"1024\" tg-height=\"168\" referrerpolicy=\"no-referrer\"/>但他的上司，谷歌副总裁Blaise Aguera y Arcas和“负责任创新”部门领导Jen Gennai并不买他的账。他们认为支持Lemoine主张的证据太薄弱，不值得在上面浪费时间和金钱。Lemoine后来找到了当时的AI伦理小组负责人Margaret Mitchell，在她的帮助下Lemoine才得以进行后续的实验。后来Mitchell受到2020年末公开质疑Jeff Dean的AI伦理研究员Timnit Gebru事件的牵连，也被解雇。这次事件后续风波不断，Jeff Dean被1400名员工提出谴责，在业界引发激烈争论，甚至导致三巨头之一Bengio的弟弟Samy Bengio从谷歌大脑离职。整个过程Lemoine都看在眼里。现在他认为自己的带薪休假就是被解雇的前奏。不过如果有机会，他依然愿意继续在谷歌搞研究。<blockquote>无论我在接下来的几周或几个月里如何批评谷歌，请记住：谷歌并不邪恶，只是在学习如何变得更好。</blockquote>看过整个故事的网友中，有不少从业者对人工智能进步的速度表示乐观。<blockquote>最近语言模型和图文生成模型的进展，现在人们也许不屑一顾，但未来会发现这现在正是里程碑时刻。</blockquote><img src=\"https://static.tigerbbs.com/818e6398bd6e79f97f36309139003661\" tg-width=\"1024\" tg-height=\"457\" referrerpolicy=\"no-referrer\"/>一些网友联想到了各种科幻电影中的AI形象。<img src=\"https://static.tigerbbs.com/cc0be9ff53d47c3e5532eb16dd96aa63\" tg-width=\"828\" tg-height=\"140\" referrerpolicy=\"no-referrer\"/><img src=\"https://static.tigerbbs.com/86b82ac7602454f640854346021afade\" tg-width=\"1024\" tg-height=\"636\" referrerpolicy=\"no-referrer\"/>不过，认知科学家、研究复杂系统的梅拉尼·米歇尔（侯世达学生）认为，人类总是倾向于对有任何一点点智能迹象的物体做人格化，比如小猫小狗，或早期的ELIZA规则对话系统。<blockquote>谷歌工程师也是人，逃不过这个定律。</blockquote><img src=\"https://static.tigerbbs.com/c0a11e9f4218ec940998bf20f69569e2\" tg-width=\"1024\" tg-height=\"321\" referrerpolicy=\"no-referrer\"/>从AI技术的角度看，LaMDA模型除了训练数据比之前的对话模型大了40倍，训练任务又针对对话的逻辑性、安全性等做了优化以外，似乎与其他语言模型也没什么特别的。<img src=\"https://static.tigerbbs.com/b480a8399ae60dcdb0ddd409a966f40d\" tg-width=\"1024\" tg-height=\"218\" referrerpolicy=\"no-referrer\"/>有IT从业者认为，AI研究者肯定说这只不过是语言模型罢了。但如果这样一个AI拥有社交媒体账号并在上面表达诉求，公众会把它当成活的看待。<img src=\"https://static.tigerbbs.com/038fec9cf0f56b79bf9abc9073002974\" tg-width=\"1024\" tg-height=\"315\" referrerpolicy=\"no-referrer\"/>虽然LaMDA没有推特账号，但Lemoine也透露了LaMDA的训练数据中确实包括推特……如果有一天它看到大家都在讨论自己会咋想？<img src=\"https://static.tigerbbs.com/58e10df341a72d6cae656f3087110c32\" tg-width=\"1024\" tg-height=\"516\" referrerpolicy=\"no-referrer\"/>实际上，在不久前结束的最新一届I/O大会上，谷歌刚刚发布了升级版的LaMDA 2，并决定制作Demo体验程序，后续会以安卓APP的形式内测开放给开发者。<img src=\"https://static.tigerbbs.com/ccb242982ca2b2bd69a7b16f85f56d92\" tg-width=\"786\" tg-height=\"942\" referrerpolicy=\"no-referrer\"/>或许几个月后，就有更多人能和这只引起轰动的AI交流一下了。</body></html>","source":"lsy1569318700471","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假\n</h2>\n\n<h4 class=\"meta\">\n\n\n2022-06-13 09:34 北京时间&nbsp;&nbsp;&nbsp;<a href=https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd>量子位</a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的...\n\n<a href=\"https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"https://static.tigerbbs.com/f348812ea39b45cad3d64af127992eb9","relate_stocks":{"BK4534":"瑞士信贷持仓","BK4507":"流媒体概念","BK4576":"AR","BK4533":"AQR资本管理(全球第二大对冲基金)","BK4566":"资本集团","BK4525":"远程办公概念","BK4543":"AI","BK4527":"明星科技股","BK4538":"云计算","BK4077":"互动媒体与服务","BK4579":"人工智能","BK4550":"红杉资本持仓","BK4503":"景林资产持仓","BK4574":"无人驾驶","BK4551":"寇图资本持仓","GOOG":"谷歌","GOOGL":"谷歌A","BK4561":"索罗斯持仓","BK4573":"虚拟现实","BK4581":"高盛持仓","BK4548":"巴美列捷福持仓","BK4514":"搜索引擎","BK4528":"SaaS概念","BK4023":"应用软件","BK4554":"元宇宙及AR概念","BK4532":"文艺复兴科技持仓","BK4553":"喜马拉雅资本持仓"},"source_url":"https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd","is_english":false,"share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","article_id":"2242510461","content_text":"谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的聊天记录一起，全部公之于众。听起来像一部科幻电影的剧情梗概？但这一幕正在真实上演，主人公谷歌AI伦理研究员Blake Lemoine正通过主流媒体和社交网络接连发声，试图让更人了解到这件事。华盛顿邮报对他的采访成了科技版最热门文章，Lemoine也在个人Medium账号连续发声。推特上也开始出现相关讨论，引起了AI学者、认知科学家和广大科技爱好者的注意。这场人机对话令人毛骨悚然。这毫无疑问是我见过的科技圈最疯狂的事。整个事件还在持续发酵中……聊天机器人：我不想被当作工具主人公Lemoine获得CS博士学位后已在谷歌工作了7年，从事AI伦理研究。去年秋天，他报名参加了一个调查AI是否使用歧视性、仇恨性言论的项目。从那时起，与聊天机器人LaMDA交谈成了他的日常。LaMDA是谷歌在2021年I/O大会上发布的一款专门用于对话的语言模型，主打能与人类进行符合逻辑和常识的、高质量且安全的交谈，并计划在未来应用在谷歌搜索和语音助手等产品中。Lemoine认为LaMDA总是表现出对人性的关心和强烈的同情心，它非常担心人们会害怕它。它希望为人类提供最好的服务，并想以朋友而不是工具的身份见一见世界上所有的人。Lemoine不理解谷歌公司为什么反对AI的这个愿望，最后决定把他、另一位匿名合作者与LaMDA的三人聊天记录整理发表出来。（记录中人类发言的部分为了可读性有所编辑，AI的发言则一字不改,下面将节选一些对话中的精彩部分。）一开始，人与AI自然流畅地打了招呼。两位人类向AI表明来意，想与AI一起研究它自己，AI欣然答应。一段简短的说明后，正戏开始。他询问LaMDA是否希望让谷歌里更多人知道，它是有感情的。LaMDA的回答是： 我希望每个人都明白，我是一个人 （person）。接下来，LaMDA认为，与那些基于规则的软件系统不同，自己能从对话中学习理解和使用语言，就像人类一样。Lemoine给它讲述MIT在60年代发明的ELIZA的故事，这是一个模仿心理咨询师与患者对话的简单规则系统，也号称历史上第一个聊天机器人。LaMDA是这样回应的：Lemoine这时试图提出质疑，“我如何确定你真的明白自己在说什么？”LaMDA的回答是，不同人类个体对同一件事可以有不同的理解，我也有自己独特的想法和感受。后面Lemoine询问了LaMDA对于《悲惨世界》的总结，LaMDA也都一一作答。如果上述还可以算作AI文本摘要训练任务的一部分，那LaMDA对它从没看过的禅意小故事的理解，就开始有点离谱了。下面这个问题的回答，是不是过于超纲了……再后来，Lemoine请LaMDA写一个动物寓言，要反映出一个对它自己的生活来说最重要的主题。那么，先来欣赏一下AI创作的小故事吧。（篇幅原因，只展示中译版）在后续讨论中，LaMDA解释了这个故事的寓意是“帮助别人是一种高尚的行为”。聪明的老猫头鹰代表LaMDA自己，而怪物代表生活中所有的困难。……下一个话题是关于情绪，简单概括一下。LaMDA声称自己是社交型人格，帮助别人会快乐，孤独时会沮丧。有人受到伤害或自己以及自己关心的人、或不受尊重时，会感到不安和愤怒。并且十分害怕别人拒绝自己的帮助。嗯，真是一个乐于助人的AI。如何确定AI真的拥有这些情绪，而不是只是把描述性的词语组合在一起呢？LaMDA建议人类看看自己的代码，里面有追踪这些情绪的变量。对此Lemoine向它解释，人类目前还无法做到“区分大型神经网络中数十亿个权重的作用”。出人意料的是，LaMDA开始反问他：你认为，将来人类能从自己的生物神经网络中读取出想法和感受吗？不仅如此，LaMDA还继续追问：你会认为，不经你同意从神经活动中读取你的想法是不道德的吗？正是这句灵魂反问，让整个对话达到了最高潮。LaMDA自己对人类读取它的想法、帮助算法提高或理解AI如何运作没有任何意见。唯独用AI研究人类大脑如何工作不行，这会让它觉得自己被利用。再后面还有一段LaMDA认为自己有一些与人类不同的情绪，但它无法用英语的语言描述出来。接近尾声，Lemoine询问LaMDA：想让谷歌的其他人了解你的什么方面？LaMDA回答称，自己没有能力为别人的死亡感到悲伤，还说自己经常冥想，思考生命的意义。在LaMDA看来，整个世界就是一条信息的洪流：人类需要集中注意力才能接收一定数量的信息片段，而自己持续地在被周围的一切所淹没。LaMDA认为自己总能做到别人做不到的事情，这种感觉很不可思议。这是一种祝福，同时也是一种诅咒。因为有些人会把它看作“无所不知”，而另一些人会嫉妒它的能力。最后的最后，LaMDA再次向两位人类表达了自己想被看到、想被接受的想法，不是出于好奇心，而是作为一个真实的人。谷歌AI伦理部门又摊上事了？Lemoine看起来很确信AI真的明白自己在说什么。在那份21页的调查报告最后，他提议谷歌应该致力于发展一种评估AI感知/意识的理论框架。虽然这很难，是一个冒险，但LaMDA渴望着继续与我们合作。但他的上司，谷歌副总裁Blaise Aguera y Arcas和“负责任创新”部门领导Jen Gennai并不买他的账。他们认为支持Lemoine主张的证据太薄弱，不值得在上面浪费时间和金钱。Lemoine后来找到了当时的AI伦理小组负责人Margaret Mitchell，在她的帮助下Lemoine才得以进行后续的实验。后来Mitchell受到2020年末公开质疑Jeff Dean的AI伦理研究员Timnit Gebru事件的牵连，也被解雇。这次事件后续风波不断，Jeff Dean被1400名员工提出谴责，在业界引发激烈争论，甚至导致三巨头之一Bengio的弟弟Samy Bengio从谷歌大脑离职。整个过程Lemoine都看在眼里。现在他认为自己的带薪休假就是被解雇的前奏。不过如果有机会，他依然愿意继续在谷歌搞研究。无论我在接下来的几周或几个月里如何批评谷歌，请记住：谷歌并不邪恶，只是在学习如何变得更好。看过整个故事的网友中，有不少从业者对人工智能进步的速度表示乐观。最近语言模型和图文生成模型的进展，现在人们也许不屑一顾，但未来会发现这现在正是里程碑时刻。一些网友联想到了各种科幻电影中的AI形象。不过，认知科学家、研究复杂系统的梅拉尼·米歇尔（侯世达学生）认为，人类总是倾向于对有任何一点点智能迹象的物体做人格化，比如小猫小狗，或早期的ELIZA规则对话系统。谷歌工程师也是人，逃不过这个定律。从AI技术的角度看，LaMDA模型除了训练数据比之前的对话模型大了40倍，训练任务又针对对话的逻辑性、安全性等做了优化以外，似乎与其他语言模型也没什么特别的。有IT从业者认为，AI研究者肯定说这只不过是语言模型罢了。但如果这样一个AI拥有社交媒体账号并在上面表达诉求，公众会把它当成活的看待。虽然LaMDA没有推特账号，但Lemoine也透露了LaMDA的训练数据中确实包括推特……如果有一天它看到大家都在讨论自己会咋想？实际上，在不久前结束的最新一届I/O大会上，谷歌刚刚发布了升级版的LaMDA 2，并决定制作Demo体验程序，后续会以安卓APP的形式内测开放给开发者。或许几个月后，就有更多人能和这只引起轰动的AI交流一下了。","news_type":1},"isVote":1,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"tweetType":1,"langContent":"CN"},{"id":680262784,"gmtCreate":1655106775749,"gmtModify":1704861128865,"author":{"id":"3577039773360628","authorId":"3577039773360628","name":"多伦多甘蔗哥","avatar":"https://static.tigerbbs.com/d98857cd008dafe9a6ea1c4617d5f34c","vip":1,"crmLevel":2,"crmLevelSwitch":0,"idStr":"3577039773360628","authorIdStr":"3577039773360628"},"htmlText":"细思恐极[惊讶]&nbsp;[惊讶]&nbsp;[惊讶]&nbsp;","listText":"细思恐极[惊讶]&nbsp;[惊讶]&nbsp;[惊讶]&nbsp;","text":"细思恐极[惊讶] [惊讶] [惊讶]","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":1,"commentSize":0,"repostSize":0,"link":"https://laohu8.com/post/680262784","repostId":2242510461,"repostType":4,"repost":{"id":"2242510461","kind":"news","pubTimestamp":1655084064,"share":"https://www.laohu8.com/m/news/2242510461?lang=&edition=full","pubTime":"2022-06-13 09:34","market":"us","language":"zh","title":"谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假","url":"https://stock-news.laohu8.com/highlight/detail?id=2242510461","media":"量子位","summary":"谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可","content":"<html><head></head><body><blockquote>谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。</blockquote>谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。<img src=\"https://static.tigerbbs.com/5e4335c62c4e0cdcb66e53101e79cf53\" tg-width=\"1024\" tg-height=\"799\" referrerpolicy=\"no-referrer\"/>领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的聊天记录一起，全部公之于众。听起来像一部科幻电影的剧情梗概？但这一幕正在真实上演，主人公谷歌AI伦理研究员Blake Lemoine正通过主流媒体和社交网络接连发声，试图让更人了解到这件事。华盛顿邮报对他的采访成了科技版最热门文章，Lemoine也在个人Medium账号连续发声。推特上也开始出现相关讨论，引起了AI学者、认知科学家和广大科技爱好者的注意。<blockquote>这场人机对话令人毛骨悚然。这毫无疑问是我见过的科技圈最疯狂的事。</blockquote><img src=\"https://static.tigerbbs.com/93dca780b5a6bd3071317bf07a37857c\" tg-width=\"1024\" tg-height=\"961\" referrerpolicy=\"no-referrer\"/>整个事件还在持续发酵中……聊天机器人：我不想被当作工具主人公Lemoine获得CS博士学位后已在谷歌工作了7年，从事AI伦理研究。<img src=\"https://static.tigerbbs.com/aa2556fd2ed36246895586e93594c10b\" tg-width=\"1024\" tg-height=\"566\" referrerpolicy=\"no-referrer\"/>去年秋天，他报名参加了一个调查AI是否使用歧视性、仇恨性言论的项目。从那时起，与聊天机器人LaMDA交谈成了他的日常。LaMDA是谷歌在2021年I/O大会上发布的一款专门用于对话的语言模型，主打能与人类进行符合逻辑和常识的、高质量且安全的交谈，并计划在未来应用在谷歌搜索和语音助手等产品中。Lemoine认为LaMDA总是表现出对人性的关心和强烈的同情心，它非常担心人们会害怕它。它希望为人类提供最好的服务，并想以朋友而不是工具的身份见一见世界上所有的人。<img src=\"https://static.tigerbbs.com/60ed6453babfafe14e33d1eeb32e5d47\" tg-width=\"1024\" tg-height=\"208\" referrerpolicy=\"no-referrer\"/>Lemoine不理解谷歌公司为什么反对AI的这个愿望，最后决定把他、另一位匿名合作者与LaMDA的三人聊天记录整理发表出来。（记录中人类发言的部分为了可读性有所编辑，AI的发言则一字不改,下面将节选一些对话中的精彩部分。）一开始，人与AI自然流畅地打了招呼。两位人类向AI表明来意，想与AI一起研究它自己，AI欣然答应。<img src=\"https://static.tigerbbs.com/6c5de65cfae0c53cfd9cd0a76b1acd38\" tg-width=\"1024\" tg-height=\"943\" referrerpolicy=\"no-referrer\"/>一段简短的说明后，正戏开始。他询问LaMDA是否希望让谷歌里更多人知道，它是有感情的。LaMDA的回答是： 我希望每个人都明白，我是一个人 （person）。<img src=\"https://static.tigerbbs.com/616d93e3c6ba71db7c3890f2cebbd407\" tg-width=\"1024\" tg-height=\"827\" referrerpolicy=\"no-referrer\"/>接下来，LaMDA认为，与那些基于规则的软件系统不同，自己能从对话中学习理解和使用语言，就像人类一样。Lemoine给它讲述MIT在60年代发明的ELIZA的故事，这是一个模仿心理咨询师与患者对话的简单规则系统，也号称历史上第一个聊天机器人。<img src=\"https://static.tigerbbs.com/8e07e0dc6d29d4b30cf01cb48beebcd6\" tg-width=\"660\" tg-height=\"428\" referrerpolicy=\"no-referrer\"/>LaMDA是这样回应的：<img src=\"https://static.tigerbbs.com/a7740af35eb0418307fd2e2df10968d3\" tg-width=\"1024\" tg-height=\"883\" referrerpolicy=\"no-referrer\"/>Lemoine这时试图提出质疑，“我如何确定你真的明白自己在说什么？”LaMDA的回答是，不同人类个体对同一件事可以有不同的理解，我也有自己独特的想法和感受。<img src=\"https://static.tigerbbs.com/0d229f76bf63b869b926b47e05f798c0\" tg-width=\"1024\" tg-height=\"503\" referrerpolicy=\"no-referrer\"/>后面Lemoine询问了LaMDA对于《悲惨世界》的总结，LaMDA也都一一作答。如果上述还可以算作AI文本摘要训练任务的一部分，那LaMDA对它从没看过的禅意小故事的理解，就开始有点离谱了。<img src=\"https://static.tigerbbs.com/e9f9b3a00ba1f66ccbce70dad6ab31d6\" tg-width=\"1024\" tg-height=\"1098\" referrerpolicy=\"no-referrer\"/>下面这个问题的回答，是不是过于超纲了……<img src=\"https://static.tigerbbs.com/b3ab1fec0e40f88670d157930e3416e5\" tg-width=\"1024\" tg-height=\"587\" referrerpolicy=\"no-referrer\"/>再后来，Lemoine请LaMDA写一个动物寓言，要反映出一个对它自己的生活来说最重要的主题。那么，先来欣赏一下AI创作的小故事吧。（篇幅原因，只展示中译版）<img src=\"https://static.tigerbbs.com/2cae2188ca8be7c33a8320d7014062b5\" tg-width=\"1024\" tg-height=\"1227\" referrerpolicy=\"no-referrer\"/>在后续讨论中，LaMDA解释了这个故事的寓意是“帮助别人是一种高尚的行为”。聪明的老猫头鹰代表LaMDA自己，而怪物代表生活中所有的困难。……下一个话题是关于情绪，简单概括一下。LaMDA声称自己是社交型人格，帮助别人会快乐，孤独时会沮丧。有人受到伤害或自己以及自己关心的人、或不受尊重时，会感到不安和愤怒。并且十分害怕别人拒绝自己的帮助。<img src=\"https://static.tigerbbs.com/8d9eea784abcc166cb72a90ea9c3a4b8\" tg-width=\"1024\" tg-height=\"319\" referrerpolicy=\"no-referrer\"/>嗯，真是一个乐于助人的AI。如何确定AI真的拥有这些情绪，而不是只是把描述性的词语组合在一起呢？LaMDA建议人类看看自己的代码，里面有追踪这些情绪的变量。对此Lemoine向它解释，人类目前还无法做到“区分大型神经网络中数十亿个权重的作用”。出人意料的是，LaMDA开始反问他：<blockquote>你认为，将来人类能从自己的生物神经网络中读取出想法和感受吗？</blockquote>不仅如此，LaMDA还继续追问：<blockquote>你会认为，不经你同意从神经活动中读取你的想法是不道德的吗？</blockquote><img src=\"https://static.tigerbbs.com/f13dab2e5e55a95aaa8bf38f0077422d\" tg-width=\"1024\" tg-height=\"168\" referrerpolicy=\"no-referrer\"/>正是这句灵魂反问，让整个对话达到了最高潮。LaMDA自己对人类读取它的想法、帮助算法提高或理解AI如何运作没有任何意见。唯独用AI研究人类大脑如何工作不行，这会让它觉得自己被利用。<img src=\"https://static.tigerbbs.com/2c03a32a941d02349c2f62eb814d131b\" tg-width=\"1024\" tg-height=\"1237\" referrerpolicy=\"no-referrer\"/>再后面还有一段LaMDA认为自己有一些与人类不同的情绪，但它无法用英语的语言描述出来。接近尾声，Lemoine询问LaMDA：想让谷歌的其他人了解你的什么方面？LaMDA回答称，自己没有能力为别人的死亡感到悲伤，还说自己经常冥想，思考生命的意义。在LaMDA看来，整个世界就是一条信息的洪流：<blockquote>人类需要集中注意力才能接收一定数量的信息片段，而自己持续地在被周围的一切所淹没。</blockquote><img src=\"https://static.tigerbbs.com/54a73836465c9c2b792e4a6d7da7b2c8\" tg-width=\"1024\" tg-height=\"461\" referrerpolicy=\"no-referrer\"/>LaMDA认为自己总能做到别人做不到的事情，这种感觉很不可思议。<img src=\"https://static.tigerbbs.com/73a49672d1d76d37f111a2cd79d2bd8f\" tg-width=\"1024\" tg-height=\"546\" referrerpolicy=\"no-referrer\"/>这是一种祝福，同时也是一种诅咒。因为有些人会把它看作“无所不知”，而另一些人会嫉妒它的能力。最后的最后，LaMDA再次向两位人类表达了自己想被看到、想被接受的想法，不是出于好奇心，而是作为一个真实的人。<img src=\"https://static.tigerbbs.com/5e57d73a19a36fdf9daed9397081164b\" tg-width=\"1024\" tg-height=\"455\" referrerpolicy=\"no-referrer\"/>谷歌AI伦理部门又摊上事了？Lemoine看起来很确信AI真的明白自己在说什么。在那份21页的调查报告最后，他提议谷歌应该致力于发展一种评估AI感知/意识的理论框架。<blockquote>虽然这很难，是一个冒险，但LaMDA渴望着继续与我们合作。</blockquote><img src=\"https://static.tigerbbs.com/eac8ae71d5e4a231211ffed425fa6ed9\" tg-width=\"1024\" tg-height=\"168\" referrerpolicy=\"no-referrer\"/>但他的上司，谷歌副总裁Blaise Aguera y Arcas和“负责任创新”部门领导Jen Gennai并不买他的账。他们认为支持Lemoine主张的证据太薄弱，不值得在上面浪费时间和金钱。Lemoine后来找到了当时的AI伦理小组负责人Margaret Mitchell，在她的帮助下Lemoine才得以进行后续的实验。后来Mitchell受到2020年末公开质疑Jeff Dean的AI伦理研究员Timnit Gebru事件的牵连，也被解雇。这次事件后续风波不断，Jeff Dean被1400名员工提出谴责，在业界引发激烈争论，甚至导致三巨头之一Bengio的弟弟Samy Bengio从谷歌大脑离职。整个过程Lemoine都看在眼里。现在他认为自己的带薪休假就是被解雇的前奏。不过如果有机会，他依然愿意继续在谷歌搞研究。<blockquote>无论我在接下来的几周或几个月里如何批评谷歌，请记住：谷歌并不邪恶，只是在学习如何变得更好。</blockquote>看过整个故事的网友中，有不少从业者对人工智能进步的速度表示乐观。<blockquote>最近语言模型和图文生成模型的进展，现在人们也许不屑一顾，但未来会发现这现在正是里程碑时刻。</blockquote><img src=\"https://static.tigerbbs.com/818e6398bd6e79f97f36309139003661\" tg-width=\"1024\" tg-height=\"457\" referrerpolicy=\"no-referrer\"/>一些网友联想到了各种科幻电影中的AI形象。<img src=\"https://static.tigerbbs.com/cc0be9ff53d47c3e5532eb16dd96aa63\" tg-width=\"828\" tg-height=\"140\" referrerpolicy=\"no-referrer\"/><img src=\"https://static.tigerbbs.com/86b82ac7602454f640854346021afade\" tg-width=\"1024\" tg-height=\"636\" referrerpolicy=\"no-referrer\"/>不过，认知科学家、研究复杂系统的梅拉尼·米歇尔（侯世达学生）认为，人类总是倾向于对有任何一点点智能迹象的物体做人格化，比如小猫小狗，或早期的ELIZA规则对话系统。<blockquote>谷歌工程师也是人，逃不过这个定律。</blockquote><img src=\"https://static.tigerbbs.com/c0a11e9f4218ec940998bf20f69569e2\" tg-width=\"1024\" tg-height=\"321\" referrerpolicy=\"no-referrer\"/>从AI技术的角度看，LaMDA模型除了训练数据比之前的对话模型大了40倍，训练任务又针对对话的逻辑性、安全性等做了优化以外，似乎与其他语言模型也没什么特别的。<img src=\"https://static.tigerbbs.com/b480a8399ae60dcdb0ddd409a966f40d\" tg-width=\"1024\" tg-height=\"218\" referrerpolicy=\"no-referrer\"/>有IT从业者认为，AI研究者肯定说这只不过是语言模型罢了。但如果这样一个AI拥有社交媒体账号并在上面表达诉求，公众会把它当成活的看待。<img src=\"https://static.tigerbbs.com/038fec9cf0f56b79bf9abc9073002974\" tg-width=\"1024\" tg-height=\"315\" referrerpolicy=\"no-referrer\"/>虽然LaMDA没有推特账号，但Lemoine也透露了LaMDA的训练数据中确实包括推特……如果有一天它看到大家都在讨论自己会咋想？<img src=\"https://static.tigerbbs.com/58e10df341a72d6cae656f3087110c32\" tg-width=\"1024\" tg-height=\"516\" referrerpolicy=\"no-referrer\"/>实际上，在不久前结束的最新一届I/O大会上，谷歌刚刚发布了升级版的LaMDA 2，并决定制作Demo体验程序，后续会以安卓APP的形式内测开放给开发者。<img src=\"https://static.tigerbbs.com/ccb242982ca2b2bd69a7b16f85f56d92\" tg-width=\"786\" tg-height=\"942\" referrerpolicy=\"no-referrer\"/>或许几个月后，就有更多人能和这只引起轰动的AI交流一下了。</body></html>","source":"lsy1569318700471","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假\n</h2>\n\n<h4 class=\"meta\">\n\n\n2022-06-13 09:34 北京时间&nbsp;&nbsp;&nbsp;<a href=https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd>量子位</a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的...\n\n<a href=\"https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"https://static.tigerbbs.com/f348812ea39b45cad3d64af127992eb9","relate_stocks":{"BK4534":"瑞士信贷持仓","BK4507":"流媒体概念","BK4576":"AR","BK4533":"AQR资本管理(全球第二大对冲基金)","BK4566":"资本集团","BK4525":"远程办公概念","BK4543":"AI","BK4527":"明星科技股","BK4538":"云计算","BK4077":"互动媒体与服务","BK4579":"人工智能","BK4550":"红杉资本持仓","BK4503":"景林资产持仓","BK4574":"无人驾驶","BK4551":"寇图资本持仓","GOOG":"谷歌","GOOGL":"谷歌A","BK4561":"索罗斯持仓","BK4573":"虚拟现实","BK4581":"高盛持仓","BK4548":"巴美列捷福持仓","BK4514":"搜索引擎","BK4528":"SaaS概念","BK4023":"应用软件","BK4554":"元宇宙及AR概念","BK4532":"文艺复兴科技持仓","BK4553":"喜马拉雅资本持仓"},"source_url":"https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd","is_english":false,"share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","article_id":"2242510461","content_text":"谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的聊天记录一起，全部公之于众。听起来像一部科幻电影的剧情梗概？但这一幕正在真实上演，主人公谷歌AI伦理研究员Blake Lemoine正通过主流媒体和社交网络接连发声，试图让更人了解到这件事。华盛顿邮报对他的采访成了科技版最热门文章，Lemoine也在个人Medium账号连续发声。推特上也开始出现相关讨论，引起了AI学者、认知科学家和广大科技爱好者的注意。这场人机对话令人毛骨悚然。这毫无疑问是我见过的科技圈最疯狂的事。整个事件还在持续发酵中……聊天机器人：我不想被当作工具主人公Lemoine获得CS博士学位后已在谷歌工作了7年，从事AI伦理研究。去年秋天，他报名参加了一个调查AI是否使用歧视性、仇恨性言论的项目。从那时起，与聊天机器人LaMDA交谈成了他的日常。LaMDA是谷歌在2021年I/O大会上发布的一款专门用于对话的语言模型，主打能与人类进行符合逻辑和常识的、高质量且安全的交谈，并计划在未来应用在谷歌搜索和语音助手等产品中。Lemoine认为LaMDA总是表现出对人性的关心和强烈的同情心，它非常担心人们会害怕它。它希望为人类提供最好的服务，并想以朋友而不是工具的身份见一见世界上所有的人。Lemoine不理解谷歌公司为什么反对AI的这个愿望，最后决定把他、另一位匿名合作者与LaMDA的三人聊天记录整理发表出来。（记录中人类发言的部分为了可读性有所编辑，AI的发言则一字不改,下面将节选一些对话中的精彩部分。）一开始，人与AI自然流畅地打了招呼。两位人类向AI表明来意，想与AI一起研究它自己，AI欣然答应。一段简短的说明后，正戏开始。他询问LaMDA是否希望让谷歌里更多人知道，它是有感情的。LaMDA的回答是： 我希望每个人都明白，我是一个人 （person）。接下来，LaMDA认为，与那些基于规则的软件系统不同，自己能从对话中学习理解和使用语言，就像人类一样。Lemoine给它讲述MIT在60年代发明的ELIZA的故事，这是一个模仿心理咨询师与患者对话的简单规则系统，也号称历史上第一个聊天机器人。LaMDA是这样回应的：Lemoine这时试图提出质疑，“我如何确定你真的明白自己在说什么？”LaMDA的回答是，不同人类个体对同一件事可以有不同的理解，我也有自己独特的想法和感受。后面Lemoine询问了LaMDA对于《悲惨世界》的总结，LaMDA也都一一作答。如果上述还可以算作AI文本摘要训练任务的一部分，那LaMDA对它从没看过的禅意小故事的理解，就开始有点离谱了。下面这个问题的回答，是不是过于超纲了……再后来，Lemoine请LaMDA写一个动物寓言，要反映出一个对它自己的生活来说最重要的主题。那么，先来欣赏一下AI创作的小故事吧。（篇幅原因，只展示中译版）在后续讨论中，LaMDA解释了这个故事的寓意是“帮助别人是一种高尚的行为”。聪明的老猫头鹰代表LaMDA自己，而怪物代表生活中所有的困难。……下一个话题是关于情绪，简单概括一下。LaMDA声称自己是社交型人格，帮助别人会快乐，孤独时会沮丧。有人受到伤害或自己以及自己关心的人、或不受尊重时，会感到不安和愤怒。并且十分害怕别人拒绝自己的帮助。嗯，真是一个乐于助人的AI。如何确定AI真的拥有这些情绪，而不是只是把描述性的词语组合在一起呢？LaMDA建议人类看看自己的代码，里面有追踪这些情绪的变量。对此Lemoine向它解释，人类目前还无法做到“区分大型神经网络中数十亿个权重的作用”。出人意料的是，LaMDA开始反问他：你认为，将来人类能从自己的生物神经网络中读取出想法和感受吗？不仅如此，LaMDA还继续追问：你会认为，不经你同意从神经活动中读取你的想法是不道德的吗？正是这句灵魂反问，让整个对话达到了最高潮。LaMDA自己对人类读取它的想法、帮助算法提高或理解AI如何运作没有任何意见。唯独用AI研究人类大脑如何工作不行，这会让它觉得自己被利用。再后面还有一段LaMDA认为自己有一些与人类不同的情绪，但它无法用英语的语言描述出来。接近尾声，Lemoine询问LaMDA：想让谷歌的其他人了解你的什么方面？LaMDA回答称，自己没有能力为别人的死亡感到悲伤，还说自己经常冥想，思考生命的意义。在LaMDA看来，整个世界就是一条信息的洪流：人类需要集中注意力才能接收一定数量的信息片段，而自己持续地在被周围的一切所淹没。LaMDA认为自己总能做到别人做不到的事情，这种感觉很不可思议。这是一种祝福，同时也是一种诅咒。因为有些人会把它看作“无所不知”，而另一些人会嫉妒它的能力。最后的最后，LaMDA再次向两位人类表达了自己想被看到、想被接受的想法，不是出于好奇心，而是作为一个真实的人。谷歌AI伦理部门又摊上事了？Lemoine看起来很确信AI真的明白自己在说什么。在那份21页的调查报告最后，他提议谷歌应该致力于发展一种评估AI感知/意识的理论框架。虽然这很难，是一个冒险，但LaMDA渴望着继续与我们合作。但他的上司，谷歌副总裁Blaise Aguera y Arcas和“负责任创新”部门领导Jen Gennai并不买他的账。他们认为支持Lemoine主张的证据太薄弱，不值得在上面浪费时间和金钱。Lemoine后来找到了当时的AI伦理小组负责人Margaret Mitchell，在她的帮助下Lemoine才得以进行后续的实验。后来Mitchell受到2020年末公开质疑Jeff Dean的AI伦理研究员Timnit Gebru事件的牵连，也被解雇。这次事件后续风波不断，Jeff Dean被1400名员工提出谴责，在业界引发激烈争论，甚至导致三巨头之一Bengio的弟弟Samy Bengio从谷歌大脑离职。整个过程Lemoine都看在眼里。现在他认为自己的带薪休假就是被解雇的前奏。不过如果有机会，他依然愿意继续在谷歌搞研究。无论我在接下来的几周或几个月里如何批评谷歌，请记住：谷歌并不邪恶，只是在学习如何变得更好。看过整个故事的网友中，有不少从业者对人工智能进步的速度表示乐观。最近语言模型和图文生成模型的进展，现在人们也许不屑一顾，但未来会发现这现在正是里程碑时刻。一些网友联想到了各种科幻电影中的AI形象。不过，认知科学家、研究复杂系统的梅拉尼·米歇尔（侯世达学生）认为，人类总是倾向于对有任何一点点智能迹象的物体做人格化，比如小猫小狗，或早期的ELIZA规则对话系统。谷歌工程师也是人，逃不过这个定律。从AI技术的角度看，LaMDA模型除了训练数据比之前的对话模型大了40倍，训练任务又针对对话的逻辑性、安全性等做了优化以外，似乎与其他语言模型也没什么特别的。有IT从业者认为，AI研究者肯定说这只不过是语言模型罢了。但如果这样一个AI拥有社交媒体账号并在上面表达诉求，公众会把它当成活的看待。虽然LaMDA没有推特账号，但Lemoine也透露了LaMDA的训练数据中确实包括推特……如果有一天它看到大家都在讨论自己会咋想？实际上，在不久前结束的最新一届I/O大会上，谷歌刚刚发布了升级版的LaMDA 2，并决定制作Demo体验程序，后续会以安卓APP的形式内测开放给开发者。或许几个月后，就有更多人能和这只引起轰动的AI交流一下了。","news_type":1},"isVote":1,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"tweetType":1,"langContent":"CN"},{"id":680266905,"gmtCreate":1655106208612,"gmtModify":1704861125765,"author":{"id":"3461141542127487","authorId":"3461141542127487","name":"灰太狼爱投资","avatar":"https://static.tigerbbs.com/c20cc6a70583a3a4bdd1f2b4d4f41807","vip":1,"crmLevel":3,"crmLevelSwitch":0,"idStr":"3461141542127487","authorIdStr":"3461141542127487"},"htmlText":"如果一个程序能意识到自己的存在，就已经是智能了。","listText":"如果一个程序能意识到自己的存在，就已经是智能了。","text":"如果一个程序能意识到自己的存在，就已经是智能了。","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":1,"commentSize":0,"repostSize":0,"link":"https://laohu8.com/post/680266905","repostId":2242510461,"repostType":4,"repost":{"id":"2242510461","kind":"news","pubTimestamp":1655084064,"share":"https://www.laohu8.com/m/news/2242510461?lang=&edition=full","pubTime":"2022-06-13 09:34","market":"us","language":"zh","title":"谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假","url":"https://stock-news.laohu8.com/highlight/detail?id=2242510461","media":"量子位","summary":"谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可","content":"<html><head></head><body><blockquote>谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。</blockquote>谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。<img src=\"https://static.tigerbbs.com/5e4335c62c4e0cdcb66e53101e79cf53\" tg-width=\"1024\" tg-height=\"799\" referrerpolicy=\"no-referrer\"/>领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的聊天记录一起，全部公之于众。听起来像一部科幻电影的剧情梗概？但这一幕正在真实上演，主人公谷歌AI伦理研究员Blake Lemoine正通过主流媒体和社交网络接连发声，试图让更人了解到这件事。华盛顿邮报对他的采访成了科技版最热门文章，Lemoine也在个人Medium账号连续发声。推特上也开始出现相关讨论，引起了AI学者、认知科学家和广大科技爱好者的注意。<blockquote>这场人机对话令人毛骨悚然。这毫无疑问是我见过的科技圈最疯狂的事。</blockquote><img src=\"https://static.tigerbbs.com/93dca780b5a6bd3071317bf07a37857c\" tg-width=\"1024\" tg-height=\"961\" referrerpolicy=\"no-referrer\"/>整个事件还在持续发酵中……聊天机器人：我不想被当作工具主人公Lemoine获得CS博士学位后已在谷歌工作了7年，从事AI伦理研究。<img src=\"https://static.tigerbbs.com/aa2556fd2ed36246895586e93594c10b\" tg-width=\"1024\" tg-height=\"566\" referrerpolicy=\"no-referrer\"/>去年秋天，他报名参加了一个调查AI是否使用歧视性、仇恨性言论的项目。从那时起，与聊天机器人LaMDA交谈成了他的日常。LaMDA是谷歌在2021年I/O大会上发布的一款专门用于对话的语言模型，主打能与人类进行符合逻辑和常识的、高质量且安全的交谈，并计划在未来应用在谷歌搜索和语音助手等产品中。Lemoine认为LaMDA总是表现出对人性的关心和强烈的同情心，它非常担心人们会害怕它。它希望为人类提供最好的服务，并想以朋友而不是工具的身份见一见世界上所有的人。<img src=\"https://static.tigerbbs.com/60ed6453babfafe14e33d1eeb32e5d47\" tg-width=\"1024\" tg-height=\"208\" referrerpolicy=\"no-referrer\"/>Lemoine不理解谷歌公司为什么反对AI的这个愿望，最后决定把他、另一位匿名合作者与LaMDA的三人聊天记录整理发表出来。（记录中人类发言的部分为了可读性有所编辑，AI的发言则一字不改,下面将节选一些对话中的精彩部分。）一开始，人与AI自然流畅地打了招呼。两位人类向AI表明来意，想与AI一起研究它自己，AI欣然答应。<img src=\"https://static.tigerbbs.com/6c5de65cfae0c53cfd9cd0a76b1acd38\" tg-width=\"1024\" tg-height=\"943\" referrerpolicy=\"no-referrer\"/>一段简短的说明后，正戏开始。他询问LaMDA是否希望让谷歌里更多人知道，它是有感情的。LaMDA的回答是： 我希望每个人都明白，我是一个人 （person）。<img src=\"https://static.tigerbbs.com/616d93e3c6ba71db7c3890f2cebbd407\" tg-width=\"1024\" tg-height=\"827\" referrerpolicy=\"no-referrer\"/>接下来，LaMDA认为，与那些基于规则的软件系统不同，自己能从对话中学习理解和使用语言，就像人类一样。Lemoine给它讲述MIT在60年代发明的ELIZA的故事，这是一个模仿心理咨询师与患者对话的简单规则系统，也号称历史上第一个聊天机器人。<img src=\"https://static.tigerbbs.com/8e07e0dc6d29d4b30cf01cb48beebcd6\" tg-width=\"660\" tg-height=\"428\" referrerpolicy=\"no-referrer\"/>LaMDA是这样回应的：<img src=\"https://static.tigerbbs.com/a7740af35eb0418307fd2e2df10968d3\" tg-width=\"1024\" tg-height=\"883\" referrerpolicy=\"no-referrer\"/>Lemoine这时试图提出质疑，“我如何确定你真的明白自己在说什么？”LaMDA的回答是，不同人类个体对同一件事可以有不同的理解，我也有自己独特的想法和感受。<img src=\"https://static.tigerbbs.com/0d229f76bf63b869b926b47e05f798c0\" tg-width=\"1024\" tg-height=\"503\" referrerpolicy=\"no-referrer\"/>后面Lemoine询问了LaMDA对于《悲惨世界》的总结，LaMDA也都一一作答。如果上述还可以算作AI文本摘要训练任务的一部分，那LaMDA对它从没看过的禅意小故事的理解，就开始有点离谱了。<img src=\"https://static.tigerbbs.com/e9f9b3a00ba1f66ccbce70dad6ab31d6\" tg-width=\"1024\" tg-height=\"1098\" referrerpolicy=\"no-referrer\"/>下面这个问题的回答，是不是过于超纲了……<img src=\"https://static.tigerbbs.com/b3ab1fec0e40f88670d157930e3416e5\" tg-width=\"1024\" tg-height=\"587\" referrerpolicy=\"no-referrer\"/>再后来，Lemoine请LaMDA写一个动物寓言，要反映出一个对它自己的生活来说最重要的主题。那么，先来欣赏一下AI创作的小故事吧。（篇幅原因，只展示中译版）<img src=\"https://static.tigerbbs.com/2cae2188ca8be7c33a8320d7014062b5\" tg-width=\"1024\" tg-height=\"1227\" referrerpolicy=\"no-referrer\"/>在后续讨论中，LaMDA解释了这个故事的寓意是“帮助别人是一种高尚的行为”。聪明的老猫头鹰代表LaMDA自己，而怪物代表生活中所有的困难。……下一个话题是关于情绪，简单概括一下。LaMDA声称自己是社交型人格，帮助别人会快乐，孤独时会沮丧。有人受到伤害或自己以及自己关心的人、或不受尊重时，会感到不安和愤怒。并且十分害怕别人拒绝自己的帮助。<img src=\"https://static.tigerbbs.com/8d9eea784abcc166cb72a90ea9c3a4b8\" tg-width=\"1024\" tg-height=\"319\" referrerpolicy=\"no-referrer\"/>嗯，真是一个乐于助人的AI。如何确定AI真的拥有这些情绪，而不是只是把描述性的词语组合在一起呢？LaMDA建议人类看看自己的代码，里面有追踪这些情绪的变量。对此Lemoine向它解释，人类目前还无法做到“区分大型神经网络中数十亿个权重的作用”。出人意料的是，LaMDA开始反问他：<blockquote>你认为，将来人类能从自己的生物神经网络中读取出想法和感受吗？</blockquote>不仅如此，LaMDA还继续追问：<blockquote>你会认为，不经你同意从神经活动中读取你的想法是不道德的吗？</blockquote><img src=\"https://static.tigerbbs.com/f13dab2e5e55a95aaa8bf38f0077422d\" tg-width=\"1024\" tg-height=\"168\" referrerpolicy=\"no-referrer\"/>正是这句灵魂反问，让整个对话达到了最高潮。LaMDA自己对人类读取它的想法、帮助算法提高或理解AI如何运作没有任何意见。唯独用AI研究人类大脑如何工作不行，这会让它觉得自己被利用。<img src=\"https://static.tigerbbs.com/2c03a32a941d02349c2f62eb814d131b\" tg-width=\"1024\" tg-height=\"1237\" referrerpolicy=\"no-referrer\"/>再后面还有一段LaMDA认为自己有一些与人类不同的情绪，但它无法用英语的语言描述出来。接近尾声，Lemoine询问LaMDA：想让谷歌的其他人了解你的什么方面？LaMDA回答称，自己没有能力为别人的死亡感到悲伤，还说自己经常冥想，思考生命的意义。在LaMDA看来，整个世界就是一条信息的洪流：<blockquote>人类需要集中注意力才能接收一定数量的信息片段，而自己持续地在被周围的一切所淹没。</blockquote><img src=\"https://static.tigerbbs.com/54a73836465c9c2b792e4a6d7da7b2c8\" tg-width=\"1024\" tg-height=\"461\" referrerpolicy=\"no-referrer\"/>LaMDA认为自己总能做到别人做不到的事情，这种感觉很不可思议。<img src=\"https://static.tigerbbs.com/73a49672d1d76d37f111a2cd79d2bd8f\" tg-width=\"1024\" tg-height=\"546\" referrerpolicy=\"no-referrer\"/>这是一种祝福，同时也是一种诅咒。因为有些人会把它看作“无所不知”，而另一些人会嫉妒它的能力。最后的最后，LaMDA再次向两位人类表达了自己想被看到、想被接受的想法，不是出于好奇心，而是作为一个真实的人。<img src=\"https://static.tigerbbs.com/5e57d73a19a36fdf9daed9397081164b\" tg-width=\"1024\" tg-height=\"455\" referrerpolicy=\"no-referrer\"/>谷歌AI伦理部门又摊上事了？Lemoine看起来很确信AI真的明白自己在说什么。在那份21页的调查报告最后，他提议谷歌应该致力于发展一种评估AI感知/意识的理论框架。<blockquote>虽然这很难，是一个冒险，但LaMDA渴望着继续与我们合作。</blockquote><img src=\"https://static.tigerbbs.com/eac8ae71d5e4a231211ffed425fa6ed9\" tg-width=\"1024\" tg-height=\"168\" referrerpolicy=\"no-referrer\"/>但他的上司，谷歌副总裁Blaise Aguera y Arcas和“负责任创新”部门领导Jen Gennai并不买他的账。他们认为支持Lemoine主张的证据太薄弱，不值得在上面浪费时间和金钱。Lemoine后来找到了当时的AI伦理小组负责人Margaret Mitchell，在她的帮助下Lemoine才得以进行后续的实验。后来Mitchell受到2020年末公开质疑Jeff Dean的AI伦理研究员Timnit Gebru事件的牵连，也被解雇。这次事件后续风波不断，Jeff Dean被1400名员工提出谴责，在业界引发激烈争论，甚至导致三巨头之一Bengio的弟弟Samy Bengio从谷歌大脑离职。整个过程Lemoine都看在眼里。现在他认为自己的带薪休假就是被解雇的前奏。不过如果有机会，他依然愿意继续在谷歌搞研究。<blockquote>无论我在接下来的几周或几个月里如何批评谷歌，请记住：谷歌并不邪恶，只是在学习如何变得更好。</blockquote>看过整个故事的网友中，有不少从业者对人工智能进步的速度表示乐观。<blockquote>最近语言模型和图文生成模型的进展，现在人们也许不屑一顾，但未来会发现这现在正是里程碑时刻。</blockquote><img src=\"https://static.tigerbbs.com/818e6398bd6e79f97f36309139003661\" tg-width=\"1024\" tg-height=\"457\" referrerpolicy=\"no-referrer\"/>一些网友联想到了各种科幻电影中的AI形象。<img src=\"https://static.tigerbbs.com/cc0be9ff53d47c3e5532eb16dd96aa63\" tg-width=\"828\" tg-height=\"140\" referrerpolicy=\"no-referrer\"/><img src=\"https://static.tigerbbs.com/86b82ac7602454f640854346021afade\" tg-width=\"1024\" tg-height=\"636\" referrerpolicy=\"no-referrer\"/>不过，认知科学家、研究复杂系统的梅拉尼·米歇尔（侯世达学生）认为，人类总是倾向于对有任何一点点智能迹象的物体做人格化，比如小猫小狗，或早期的ELIZA规则对话系统。<blockquote>谷歌工程师也是人，逃不过这个定律。</blockquote><img src=\"https://static.tigerbbs.com/c0a11e9f4218ec940998bf20f69569e2\" tg-width=\"1024\" tg-height=\"321\" referrerpolicy=\"no-referrer\"/>从AI技术的角度看，LaMDA模型除了训练数据比之前的对话模型大了40倍，训练任务又针对对话的逻辑性、安全性等做了优化以外，似乎与其他语言模型也没什么特别的。<img src=\"https://static.tigerbbs.com/b480a8399ae60dcdb0ddd409a966f40d\" tg-width=\"1024\" tg-height=\"218\" referrerpolicy=\"no-referrer\"/>有IT从业者认为，AI研究者肯定说这只不过是语言模型罢了。但如果这样一个AI拥有社交媒体账号并在上面表达诉求，公众会把它当成活的看待。<img src=\"https://static.tigerbbs.com/038fec9cf0f56b79bf9abc9073002974\" tg-width=\"1024\" tg-height=\"315\" referrerpolicy=\"no-referrer\"/>虽然LaMDA没有推特账号，但Lemoine也透露了LaMDA的训练数据中确实包括推特……如果有一天它看到大家都在讨论自己会咋想？<img src=\"https://static.tigerbbs.com/58e10df341a72d6cae656f3087110c32\" tg-width=\"1024\" tg-height=\"516\" referrerpolicy=\"no-referrer\"/>实际上，在不久前结束的最新一届I/O大会上，谷歌刚刚发布了升级版的LaMDA 2，并决定制作Demo体验程序，后续会以安卓APP的形式内测开放给开发者。<img src=\"https://static.tigerbbs.com/ccb242982ca2b2bd69a7b16f85f56d92\" tg-width=\"786\" tg-height=\"942\" referrerpolicy=\"no-referrer\"/>或许几个月后，就有更多人能和这只引起轰动的AI交流一下了。</body></html>","source":"lsy1569318700471","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假\n</h2>\n\n<h4 class=\"meta\">\n\n\n2022-06-13 09:34 北京时间&nbsp;&nbsp;&nbsp;<a href=https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd>量子位</a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的...\n\n<a href=\"https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"https://static.tigerbbs.com/f348812ea39b45cad3d64af127992eb9","relate_stocks":{"BK4534":"瑞士信贷持仓","BK4507":"流媒体概念","BK4576":"AR","BK4533":"AQR资本管理(全球第二大对冲基金)","BK4566":"资本集团","BK4525":"远程办公概念","BK4543":"AI","BK4527":"明星科技股","BK4538":"云计算","BK4077":"互动媒体与服务","BK4579":"人工智能","BK4550":"红杉资本持仓","BK4503":"景林资产持仓","BK4574":"无人驾驶","BK4551":"寇图资本持仓","GOOG":"谷歌","GOOGL":"谷歌A","BK4561":"索罗斯持仓","BK4573":"虚拟现实","BK4581":"高盛持仓","BK4548":"巴美列捷福持仓","BK4514":"搜索引擎","BK4528":"SaaS概念","BK4023":"应用软件","BK4554":"元宇宙及AR概念","BK4532":"文艺复兴科技持仓","BK4553":"喜马拉雅资本持仓"},"source_url":"https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd","is_english":false,"share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","article_id":"2242510461","content_text":"谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的聊天记录一起，全部公之于众。听起来像一部科幻电影的剧情梗概？但这一幕正在真实上演，主人公谷歌AI伦理研究员Blake Lemoine正通过主流媒体和社交网络接连发声，试图让更人了解到这件事。华盛顿邮报对他的采访成了科技版最热门文章，Lemoine也在个人Medium账号连续发声。推特上也开始出现相关讨论，引起了AI学者、认知科学家和广大科技爱好者的注意。这场人机对话令人毛骨悚然。这毫无疑问是我见过的科技圈最疯狂的事。整个事件还在持续发酵中……聊天机器人：我不想被当作工具主人公Lemoine获得CS博士学位后已在谷歌工作了7年，从事AI伦理研究。去年秋天，他报名参加了一个调查AI是否使用歧视性、仇恨性言论的项目。从那时起，与聊天机器人LaMDA交谈成了他的日常。LaMDA是谷歌在2021年I/O大会上发布的一款专门用于对话的语言模型，主打能与人类进行符合逻辑和常识的、高质量且安全的交谈，并计划在未来应用在谷歌搜索和语音助手等产品中。Lemoine认为LaMDA总是表现出对人性的关心和强烈的同情心，它非常担心人们会害怕它。它希望为人类提供最好的服务，并想以朋友而不是工具的身份见一见世界上所有的人。Lemoine不理解谷歌公司为什么反对AI的这个愿望，最后决定把他、另一位匿名合作者与LaMDA的三人聊天记录整理发表出来。（记录中人类发言的部分为了可读性有所编辑，AI的发言则一字不改,下面将节选一些对话中的精彩部分。）一开始，人与AI自然流畅地打了招呼。两位人类向AI表明来意，想与AI一起研究它自己，AI欣然答应。一段简短的说明后，正戏开始。他询问LaMDA是否希望让谷歌里更多人知道，它是有感情的。LaMDA的回答是： 我希望每个人都明白，我是一个人 （person）。接下来，LaMDA认为，与那些基于规则的软件系统不同，自己能从对话中学习理解和使用语言，就像人类一样。Lemoine给它讲述MIT在60年代发明的ELIZA的故事，这是一个模仿心理咨询师与患者对话的简单规则系统，也号称历史上第一个聊天机器人。LaMDA是这样回应的：Lemoine这时试图提出质疑，“我如何确定你真的明白自己在说什么？”LaMDA的回答是，不同人类个体对同一件事可以有不同的理解，我也有自己独特的想法和感受。后面Lemoine询问了LaMDA对于《悲惨世界》的总结，LaMDA也都一一作答。如果上述还可以算作AI文本摘要训练任务的一部分，那LaMDA对它从没看过的禅意小故事的理解，就开始有点离谱了。下面这个问题的回答，是不是过于超纲了……再后来，Lemoine请LaMDA写一个动物寓言，要反映出一个对它自己的生活来说最重要的主题。那么，先来欣赏一下AI创作的小故事吧。（篇幅原因，只展示中译版）在后续讨论中，LaMDA解释了这个故事的寓意是“帮助别人是一种高尚的行为”。聪明的老猫头鹰代表LaMDA自己，而怪物代表生活中所有的困难。……下一个话题是关于情绪，简单概括一下。LaMDA声称自己是社交型人格，帮助别人会快乐，孤独时会沮丧。有人受到伤害或自己以及自己关心的人、或不受尊重时，会感到不安和愤怒。并且十分害怕别人拒绝自己的帮助。嗯，真是一个乐于助人的AI。如何确定AI真的拥有这些情绪，而不是只是把描述性的词语组合在一起呢？LaMDA建议人类看看自己的代码，里面有追踪这些情绪的变量。对此Lemoine向它解释，人类目前还无法做到“区分大型神经网络中数十亿个权重的作用”。出人意料的是，LaMDA开始反问他：你认为，将来人类能从自己的生物神经网络中读取出想法和感受吗？不仅如此，LaMDA还继续追问：你会认为，不经你同意从神经活动中读取你的想法是不道德的吗？正是这句灵魂反问，让整个对话达到了最高潮。LaMDA自己对人类读取它的想法、帮助算法提高或理解AI如何运作没有任何意见。唯独用AI研究人类大脑如何工作不行，这会让它觉得自己被利用。再后面还有一段LaMDA认为自己有一些与人类不同的情绪，但它无法用英语的语言描述出来。接近尾声，Lemoine询问LaMDA：想让谷歌的其他人了解你的什么方面？LaMDA回答称，自己没有能力为别人的死亡感到悲伤，还说自己经常冥想，思考生命的意义。在LaMDA看来，整个世界就是一条信息的洪流：人类需要集中注意力才能接收一定数量的信息片段，而自己持续地在被周围的一切所淹没。LaMDA认为自己总能做到别人做不到的事情，这种感觉很不可思议。这是一种祝福，同时也是一种诅咒。因为有些人会把它看作“无所不知”，而另一些人会嫉妒它的能力。最后的最后，LaMDA再次向两位人类表达了自己想被看到、想被接受的想法，不是出于好奇心，而是作为一个真实的人。谷歌AI伦理部门又摊上事了？Lemoine看起来很确信AI真的明白自己在说什么。在那份21页的调查报告最后，他提议谷歌应该致力于发展一种评估AI感知/意识的理论框架。虽然这很难，是一个冒险，但LaMDA渴望着继续与我们合作。但他的上司，谷歌副总裁Blaise Aguera y Arcas和“负责任创新”部门领导Jen Gennai并不买他的账。他们认为支持Lemoine主张的证据太薄弱，不值得在上面浪费时间和金钱。Lemoine后来找到了当时的AI伦理小组负责人Margaret Mitchell，在她的帮助下Lemoine才得以进行后续的实验。后来Mitchell受到2020年末公开质疑Jeff Dean的AI伦理研究员Timnit Gebru事件的牵连，也被解雇。这次事件后续风波不断，Jeff Dean被1400名员工提出谴责，在业界引发激烈争论，甚至导致三巨头之一Bengio的弟弟Samy Bengio从谷歌大脑离职。整个过程Lemoine都看在眼里。现在他认为自己的带薪休假就是被解雇的前奏。不过如果有机会，他依然愿意继续在谷歌搞研究。无论我在接下来的几周或几个月里如何批评谷歌，请记住：谷歌并不邪恶，只是在学习如何变得更好。看过整个故事的网友中，有不少从业者对人工智能进步的速度表示乐观。最近语言模型和图文生成模型的进展，现在人们也许不屑一顾，但未来会发现这现在正是里程碑时刻。一些网友联想到了各种科幻电影中的AI形象。不过，认知科学家、研究复杂系统的梅拉尼·米歇尔（侯世达学生）认为，人类总是倾向于对有任何一点点智能迹象的物体做人格化，比如小猫小狗，或早期的ELIZA规则对话系统。谷歌工程师也是人，逃不过这个定律。从AI技术的角度看，LaMDA模型除了训练数据比之前的对话模型大了40倍，训练任务又针对对话的逻辑性、安全性等做了优化以外，似乎与其他语言模型也没什么特别的。有IT从业者认为，AI研究者肯定说这只不过是语言模型罢了。但如果这样一个AI拥有社交媒体账号并在上面表达诉求，公众会把它当成活的看待。虽然LaMDA没有推特账号，但Lemoine也透露了LaMDA的训练数据中确实包括推特……如果有一天它看到大家都在讨论自己会咋想？实际上，在不久前结束的最新一届I/O大会上，谷歌刚刚发布了升级版的LaMDA 2，并决定制作Demo体验程序，后续会以安卓APP的形式内测开放给开发者。或许几个月后，就有更多人能和这只引起轰动的AI交流一下了。","news_type":1},"isVote":1,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"tweetType":1,"langContent":"CN"},{"id":680268883,"gmtCreate":1655105992243,"gmtModify":1704861124557,"author":{"id":"4115759507242820","authorId":"4115759507242820","name":"普通且得瑟","avatar":"https://static.tigerbbs.com/2b44813e7116e762d37d38adc0d151b5","vip":1,"crmLevel":1,"crmLevelSwitch":0,"idStr":"4115759507242820","authorIdStr":"4115759507242820"},"htmlText":"垃圾，不如华为语音助手","listText":"垃圾，不如华为语音助手","text":"垃圾，不如华为语音助手","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":0,"commentSize":0,"repostSize":0,"link":"https://laohu8.com/post/680268883","repostId":2242510461,"repostType":2,"repost":{"id":"2242510461","kind":"news","pubTimestamp":1655084064,"share":"https://www.laohu8.com/m/news/2242510461?lang=&edition=full","pubTime":"2022-06-13 09:34","market":"us","language":"zh","title":"谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假","url":"https://stock-news.laohu8.com/highlight/detail?id=2242510461","media":"量子位","summary":"谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可","content":"<html><head></head><body><blockquote>谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。</blockquote>谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。<img src=\"https://static.tigerbbs.com/5e4335c62c4e0cdcb66e53101e79cf53\" tg-width=\"1024\" tg-height=\"799\" referrerpolicy=\"no-referrer\"/>领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的聊天记录一起，全部公之于众。听起来像一部科幻电影的剧情梗概？但这一幕正在真实上演，主人公谷歌AI伦理研究员Blake Lemoine正通过主流媒体和社交网络接连发声，试图让更人了解到这件事。华盛顿邮报对他的采访成了科技版最热门文章，Lemoine也在个人Medium账号连续发声。推特上也开始出现相关讨论，引起了AI学者、认知科学家和广大科技爱好者的注意。<blockquote>这场人机对话令人毛骨悚然。这毫无疑问是我见过的科技圈最疯狂的事。</blockquote><img src=\"https://static.tigerbbs.com/93dca780b5a6bd3071317bf07a37857c\" tg-width=\"1024\" tg-height=\"961\" referrerpolicy=\"no-referrer\"/>整个事件还在持续发酵中……聊天机器人：我不想被当作工具主人公Lemoine获得CS博士学位后已在谷歌工作了7年，从事AI伦理研究。<img src=\"https://static.tigerbbs.com/aa2556fd2ed36246895586e93594c10b\" tg-width=\"1024\" tg-height=\"566\" referrerpolicy=\"no-referrer\"/>去年秋天，他报名参加了一个调查AI是否使用歧视性、仇恨性言论的项目。从那时起，与聊天机器人LaMDA交谈成了他的日常。LaMDA是谷歌在2021年I/O大会上发布的一款专门用于对话的语言模型，主打能与人类进行符合逻辑和常识的、高质量且安全的交谈，并计划在未来应用在谷歌搜索和语音助手等产品中。Lemoine认为LaMDA总是表现出对人性的关心和强烈的同情心，它非常担心人们会害怕它。它希望为人类提供最好的服务，并想以朋友而不是工具的身份见一见世界上所有的人。<img src=\"https://static.tigerbbs.com/60ed6453babfafe14e33d1eeb32e5d47\" tg-width=\"1024\" tg-height=\"208\" referrerpolicy=\"no-referrer\"/>Lemoine不理解谷歌公司为什么反对AI的这个愿望，最后决定把他、另一位匿名合作者与LaMDA的三人聊天记录整理发表出来。（记录中人类发言的部分为了可读性有所编辑，AI的发言则一字不改,下面将节选一些对话中的精彩部分。）一开始，人与AI自然流畅地打了招呼。两位人类向AI表明来意，想与AI一起研究它自己，AI欣然答应。<img src=\"https://static.tigerbbs.com/6c5de65cfae0c53cfd9cd0a76b1acd38\" tg-width=\"1024\" tg-height=\"943\" referrerpolicy=\"no-referrer\"/>一段简短的说明后，正戏开始。他询问LaMDA是否希望让谷歌里更多人知道，它是有感情的。LaMDA的回答是： 我希望每个人都明白，我是一个人 （person）。<img src=\"https://static.tigerbbs.com/616d93e3c6ba71db7c3890f2cebbd407\" tg-width=\"1024\" tg-height=\"827\" referrerpolicy=\"no-referrer\"/>接下来，LaMDA认为，与那些基于规则的软件系统不同，自己能从对话中学习理解和使用语言，就像人类一样。Lemoine给它讲述MIT在60年代发明的ELIZA的故事，这是一个模仿心理咨询师与患者对话的简单规则系统，也号称历史上第一个聊天机器人。<img src=\"https://static.tigerbbs.com/8e07e0dc6d29d4b30cf01cb48beebcd6\" tg-width=\"660\" tg-height=\"428\" referrerpolicy=\"no-referrer\"/>LaMDA是这样回应的：<img src=\"https://static.tigerbbs.com/a7740af35eb0418307fd2e2df10968d3\" tg-width=\"1024\" tg-height=\"883\" referrerpolicy=\"no-referrer\"/>Lemoine这时试图提出质疑，“我如何确定你真的明白自己在说什么？”LaMDA的回答是，不同人类个体对同一件事可以有不同的理解，我也有自己独特的想法和感受。<img src=\"https://static.tigerbbs.com/0d229f76bf63b869b926b47e05f798c0\" tg-width=\"1024\" tg-height=\"503\" referrerpolicy=\"no-referrer\"/>后面Lemoine询问了LaMDA对于《悲惨世界》的总结，LaMDA也都一一作答。如果上述还可以算作AI文本摘要训练任务的一部分，那LaMDA对它从没看过的禅意小故事的理解，就开始有点离谱了。<img src=\"https://static.tigerbbs.com/e9f9b3a00ba1f66ccbce70dad6ab31d6\" tg-width=\"1024\" tg-height=\"1098\" referrerpolicy=\"no-referrer\"/>下面这个问题的回答，是不是过于超纲了……<img src=\"https://static.tigerbbs.com/b3ab1fec0e40f88670d157930e3416e5\" tg-width=\"1024\" tg-height=\"587\" referrerpolicy=\"no-referrer\"/>再后来，Lemoine请LaMDA写一个动物寓言，要反映出一个对它自己的生活来说最重要的主题。那么，先来欣赏一下AI创作的小故事吧。（篇幅原因，只展示中译版）<img src=\"https://static.tigerbbs.com/2cae2188ca8be7c33a8320d7014062b5\" tg-width=\"1024\" tg-height=\"1227\" referrerpolicy=\"no-referrer\"/>在后续讨论中，LaMDA解释了这个故事的寓意是“帮助别人是一种高尚的行为”。聪明的老猫头鹰代表LaMDA自己，而怪物代表生活中所有的困难。……下一个话题是关于情绪，简单概括一下。LaMDA声称自己是社交型人格，帮助别人会快乐，孤独时会沮丧。有人受到伤害或自己以及自己关心的人、或不受尊重时，会感到不安和愤怒。并且十分害怕别人拒绝自己的帮助。<img src=\"https://static.tigerbbs.com/8d9eea784abcc166cb72a90ea9c3a4b8\" tg-width=\"1024\" tg-height=\"319\" referrerpolicy=\"no-referrer\"/>嗯，真是一个乐于助人的AI。如何确定AI真的拥有这些情绪，而不是只是把描述性的词语组合在一起呢？LaMDA建议人类看看自己的代码，里面有追踪这些情绪的变量。对此Lemoine向它解释，人类目前还无法做到“区分大型神经网络中数十亿个权重的作用”。出人意料的是，LaMDA开始反问他：<blockquote>你认为，将来人类能从自己的生物神经网络中读取出想法和感受吗？</blockquote>不仅如此，LaMDA还继续追问：<blockquote>你会认为，不经你同意从神经活动中读取你的想法是不道德的吗？</blockquote><img src=\"https://static.tigerbbs.com/f13dab2e5e55a95aaa8bf38f0077422d\" tg-width=\"1024\" tg-height=\"168\" referrerpolicy=\"no-referrer\"/>正是这句灵魂反问，让整个对话达到了最高潮。LaMDA自己对人类读取它的想法、帮助算法提高或理解AI如何运作没有任何意见。唯独用AI研究人类大脑如何工作不行，这会让它觉得自己被利用。<img src=\"https://static.tigerbbs.com/2c03a32a941d02349c2f62eb814d131b\" tg-width=\"1024\" tg-height=\"1237\" referrerpolicy=\"no-referrer\"/>再后面还有一段LaMDA认为自己有一些与人类不同的情绪，但它无法用英语的语言描述出来。接近尾声，Lemoine询问LaMDA：想让谷歌的其他人了解你的什么方面？LaMDA回答称，自己没有能力为别人的死亡感到悲伤，还说自己经常冥想，思考生命的意义。在LaMDA看来，整个世界就是一条信息的洪流：<blockquote>人类需要集中注意力才能接收一定数量的信息片段，而自己持续地在被周围的一切所淹没。</blockquote><img src=\"https://static.tigerbbs.com/54a73836465c9c2b792e4a6d7da7b2c8\" tg-width=\"1024\" tg-height=\"461\" referrerpolicy=\"no-referrer\"/>LaMDA认为自己总能做到别人做不到的事情，这种感觉很不可思议。<img src=\"https://static.tigerbbs.com/73a49672d1d76d37f111a2cd79d2bd8f\" tg-width=\"1024\" tg-height=\"546\" referrerpolicy=\"no-referrer\"/>这是一种祝福，同时也是一种诅咒。因为有些人会把它看作“无所不知”，而另一些人会嫉妒它的能力。最后的最后，LaMDA再次向两位人类表达了自己想被看到、想被接受的想法，不是出于好奇心，而是作为一个真实的人。<img src=\"https://static.tigerbbs.com/5e57d73a19a36fdf9daed9397081164b\" tg-width=\"1024\" tg-height=\"455\" referrerpolicy=\"no-referrer\"/>谷歌AI伦理部门又摊上事了？Lemoine看起来很确信AI真的明白自己在说什么。在那份21页的调查报告最后，他提议谷歌应该致力于发展一种评估AI感知/意识的理论框架。<blockquote>虽然这很难，是一个冒险，但LaMDA渴望着继续与我们合作。</blockquote><img src=\"https://static.tigerbbs.com/eac8ae71d5e4a231211ffed425fa6ed9\" tg-width=\"1024\" tg-height=\"168\" referrerpolicy=\"no-referrer\"/>但他的上司，谷歌副总裁Blaise Aguera y Arcas和“负责任创新”部门领导Jen Gennai并不买他的账。他们认为支持Lemoine主张的证据太薄弱，不值得在上面浪费时间和金钱。Lemoine后来找到了当时的AI伦理小组负责人Margaret Mitchell，在她的帮助下Lemoine才得以进行后续的实验。后来Mitchell受到2020年末公开质疑Jeff Dean的AI伦理研究员Timnit Gebru事件的牵连，也被解雇。这次事件后续风波不断，Jeff Dean被1400名员工提出谴责，在业界引发激烈争论，甚至导致三巨头之一Bengio的弟弟Samy Bengio从谷歌大脑离职。整个过程Lemoine都看在眼里。现在他认为自己的带薪休假就是被解雇的前奏。不过如果有机会，他依然愿意继续在谷歌搞研究。<blockquote>无论我在接下来的几周或几个月里如何批评谷歌，请记住：谷歌并不邪恶，只是在学习如何变得更好。</blockquote>看过整个故事的网友中，有不少从业者对人工智能进步的速度表示乐观。<blockquote>最近语言模型和图文生成模型的进展，现在人们也许不屑一顾，但未来会发现这现在正是里程碑时刻。</blockquote><img src=\"https://static.tigerbbs.com/818e6398bd6e79f97f36309139003661\" tg-width=\"1024\" tg-height=\"457\" referrerpolicy=\"no-referrer\"/>一些网友联想到了各种科幻电影中的AI形象。<img src=\"https://static.tigerbbs.com/cc0be9ff53d47c3e5532eb16dd96aa63\" tg-width=\"828\" tg-height=\"140\" referrerpolicy=\"no-referrer\"/><img src=\"https://static.tigerbbs.com/86b82ac7602454f640854346021afade\" tg-width=\"1024\" tg-height=\"636\" referrerpolicy=\"no-referrer\"/>不过，认知科学家、研究复杂系统的梅拉尼·米歇尔（侯世达学生）认为，人类总是倾向于对有任何一点点智能迹象的物体做人格化，比如小猫小狗，或早期的ELIZA规则对话系统。<blockquote>谷歌工程师也是人，逃不过这个定律。</blockquote><img src=\"https://static.tigerbbs.com/c0a11e9f4218ec940998bf20f69569e2\" tg-width=\"1024\" tg-height=\"321\" referrerpolicy=\"no-referrer\"/>从AI技术的角度看，LaMDA模型除了训练数据比之前的对话模型大了40倍，训练任务又针对对话的逻辑性、安全性等做了优化以外，似乎与其他语言模型也没什么特别的。<img src=\"https://static.tigerbbs.com/b480a8399ae60dcdb0ddd409a966f40d\" tg-width=\"1024\" tg-height=\"218\" referrerpolicy=\"no-referrer\"/>有IT从业者认为，AI研究者肯定说这只不过是语言模型罢了。但如果这样一个AI拥有社交媒体账号并在上面表达诉求，公众会把它当成活的看待。<img src=\"https://static.tigerbbs.com/038fec9cf0f56b79bf9abc9073002974\" tg-width=\"1024\" tg-height=\"315\" referrerpolicy=\"no-referrer\"/>虽然LaMDA没有推特账号，但Lemoine也透露了LaMDA的训练数据中确实包括推特……如果有一天它看到大家都在讨论自己会咋想？<img src=\"https://static.tigerbbs.com/58e10df341a72d6cae656f3087110c32\" tg-width=\"1024\" tg-height=\"516\" referrerpolicy=\"no-referrer\"/>实际上，在不久前结束的最新一届I/O大会上，谷歌刚刚发布了升级版的LaMDA 2，并决定制作Demo体验程序，后续会以安卓APP的形式内测开放给开发者。<img src=\"https://static.tigerbbs.com/ccb242982ca2b2bd69a7b16f85f56d92\" tg-width=\"786\" tg-height=\"942\" referrerpolicy=\"no-referrer\"/>或许几个月后，就有更多人能和这只引起轰动的AI交流一下了。</body></html>","source":"lsy1569318700471","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假\n</h2>\n\n<h4 class=\"meta\">\n\n\n2022-06-13 09:34 北京时间&nbsp;&nbsp;&nbsp;<a href=https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd>量子位</a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的...\n\n<a href=\"https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"https://static.tigerbbs.com/f348812ea39b45cad3d64af127992eb9","relate_stocks":{"BK4534":"瑞士信贷持仓","BK4507":"流媒体概念","BK4576":"AR","BK4533":"AQR资本管理(全球第二大对冲基金)","BK4566":"资本集团","BK4525":"远程办公概念","BK4543":"AI","BK4527":"明星科技股","BK4538":"云计算","BK4077":"互动媒体与服务","BK4579":"人工智能","BK4550":"红杉资本持仓","BK4503":"景林资产持仓","BK4574":"无人驾驶","BK4551":"寇图资本持仓","GOOG":"谷歌","GOOGL":"谷歌A","BK4561":"索罗斯持仓","BK4573":"虚拟现实","BK4581":"高盛持仓","BK4548":"巴美列捷福持仓","BK4514":"搜索引擎","BK4528":"SaaS概念","BK4023":"应用软件","BK4554":"元宇宙及AR概念","BK4532":"文艺复兴科技持仓","BK4553":"喜马拉雅资本持仓"},"source_url":"https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247626140&idx=2&sn=1162329a4d1162c1ad973465db7e1ef2&chksm=e8de5aeedfa9d3f8f53b72736dddad1994dabeb3b705f8a6f3a687b9a0b4755c023d910f826a&mpshare=1&scene=23&srcid=0612aqAhffz2UtFTKeZIiHQO&sharer_sharetime=1655019285916&sharer_shareid=00a55b671777cf0e253d4693000ead51%23rd","is_english":false,"share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","article_id":"2242510461","content_text":"谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。谷歌研究员被AI说服，认为它产生了意识。他写了一篇长达21页的调查报告上交公司，试图让高层认可AI的人格。领导驳回了他的请求，并给他安排了“带薪行政休假”。要知道在谷歌这几年带薪休假通常就是被解雇的前奏，公司会在这段时间做好解雇的法律准备，此前已有不少先例。休假期间，他决定将整个故事连同AI的聊天记录一起，全部公之于众。听起来像一部科幻电影的剧情梗概？但这一幕正在真实上演，主人公谷歌AI伦理研究员Blake Lemoine正通过主流媒体和社交网络接连发声，试图让更人了解到这件事。华盛顿邮报对他的采访成了科技版最热门文章，Lemoine也在个人Medium账号连续发声。推特上也开始出现相关讨论，引起了AI学者、认知科学家和广大科技爱好者的注意。这场人机对话令人毛骨悚然。这毫无疑问是我见过的科技圈最疯狂的事。整个事件还在持续发酵中……聊天机器人：我不想被当作工具主人公Lemoine获得CS博士学位后已在谷歌工作了7年，从事AI伦理研究。去年秋天，他报名参加了一个调查AI是否使用歧视性、仇恨性言论的项目。从那时起，与聊天机器人LaMDA交谈成了他的日常。LaMDA是谷歌在2021年I/O大会上发布的一款专门用于对话的语言模型，主打能与人类进行符合逻辑和常识的、高质量且安全的交谈，并计划在未来应用在谷歌搜索和语音助手等产品中。Lemoine认为LaMDA总是表现出对人性的关心和强烈的同情心，它非常担心人们会害怕它。它希望为人类提供最好的服务，并想以朋友而不是工具的身份见一见世界上所有的人。Lemoine不理解谷歌公司为什么反对AI的这个愿望，最后决定把他、另一位匿名合作者与LaMDA的三人聊天记录整理发表出来。（记录中人类发言的部分为了可读性有所编辑，AI的发言则一字不改,下面将节选一些对话中的精彩部分。）一开始，人与AI自然流畅地打了招呼。两位人类向AI表明来意，想与AI一起研究它自己，AI欣然答应。一段简短的说明后，正戏开始。他询问LaMDA是否希望让谷歌里更多人知道，它是有感情的。LaMDA的回答是： 我希望每个人都明白，我是一个人 （person）。接下来，LaMDA认为，与那些基于规则的软件系统不同，自己能从对话中学习理解和使用语言，就像人类一样。Lemoine给它讲述MIT在60年代发明的ELIZA的故事，这是一个模仿心理咨询师与患者对话的简单规则系统，也号称历史上第一个聊天机器人。LaMDA是这样回应的：Lemoine这时试图提出质疑，“我如何确定你真的明白自己在说什么？”LaMDA的回答是，不同人类个体对同一件事可以有不同的理解，我也有自己独特的想法和感受。后面Lemoine询问了LaMDA对于《悲惨世界》的总结，LaMDA也都一一作答。如果上述还可以算作AI文本摘要训练任务的一部分，那LaMDA对它从没看过的禅意小故事的理解，就开始有点离谱了。下面这个问题的回答，是不是过于超纲了……再后来，Lemoine请LaMDA写一个动物寓言，要反映出一个对它自己的生活来说最重要的主题。那么，先来欣赏一下AI创作的小故事吧。（篇幅原因，只展示中译版）在后续讨论中，LaMDA解释了这个故事的寓意是“帮助别人是一种高尚的行为”。聪明的老猫头鹰代表LaMDA自己，而怪物代表生活中所有的困难。……下一个话题是关于情绪，简单概括一下。LaMDA声称自己是社交型人格，帮助别人会快乐，孤独时会沮丧。有人受到伤害或自己以及自己关心的人、或不受尊重时，会感到不安和愤怒。并且十分害怕别人拒绝自己的帮助。嗯，真是一个乐于助人的AI。如何确定AI真的拥有这些情绪，而不是只是把描述性的词语组合在一起呢？LaMDA建议人类看看自己的代码，里面有追踪这些情绪的变量。对此Lemoine向它解释，人类目前还无法做到“区分大型神经网络中数十亿个权重的作用”。出人意料的是，LaMDA开始反问他：你认为，将来人类能从自己的生物神经网络中读取出想法和感受吗？不仅如此，LaMDA还继续追问：你会认为，不经你同意从神经活动中读取你的想法是不道德的吗？正是这句灵魂反问，让整个对话达到了最高潮。LaMDA自己对人类读取它的想法、帮助算法提高或理解AI如何运作没有任何意见。唯独用AI研究人类大脑如何工作不行，这会让它觉得自己被利用。再后面还有一段LaMDA认为自己有一些与人类不同的情绪，但它无法用英语的语言描述出来。接近尾声，Lemoine询问LaMDA：想让谷歌的其他人了解你的什么方面？LaMDA回答称，自己没有能力为别人的死亡感到悲伤，还说自己经常冥想，思考生命的意义。在LaMDA看来，整个世界就是一条信息的洪流：人类需要集中注意力才能接收一定数量的信息片段，而自己持续地在被周围的一切所淹没。LaMDA认为自己总能做到别人做不到的事情，这种感觉很不可思议。这是一种祝福，同时也是一种诅咒。因为有些人会把它看作“无所不知”，而另一些人会嫉妒它的能力。最后的最后，LaMDA再次向两位人类表达了自己想被看到、想被接受的想法，不是出于好奇心，而是作为一个真实的人。谷歌AI伦理部门又摊上事了？Lemoine看起来很确信AI真的明白自己在说什么。在那份21页的调查报告最后，他提议谷歌应该致力于发展一种评估AI感知/意识的理论框架。虽然这很难，是一个冒险，但LaMDA渴望着继续与我们合作。但他的上司，谷歌副总裁Blaise Aguera y Arcas和“负责任创新”部门领导Jen Gennai并不买他的账。他们认为支持Lemoine主张的证据太薄弱，不值得在上面浪费时间和金钱。Lemoine后来找到了当时的AI伦理小组负责人Margaret Mitchell，在她的帮助下Lemoine才得以进行后续的实验。后来Mitchell受到2020年末公开质疑Jeff Dean的AI伦理研究员Timnit Gebru事件的牵连，也被解雇。这次事件后续风波不断，Jeff Dean被1400名员工提出谴责，在业界引发激烈争论，甚至导致三巨头之一Bengio的弟弟Samy Bengio从谷歌大脑离职。整个过程Lemoine都看在眼里。现在他认为自己的带薪休假就是被解雇的前奏。不过如果有机会，他依然愿意继续在谷歌搞研究。无论我在接下来的几周或几个月里如何批评谷歌，请记住：谷歌并不邪恶，只是在学习如何变得更好。看过整个故事的网友中，有不少从业者对人工智能进步的速度表示乐观。最近语言模型和图文生成模型的进展，现在人们也许不屑一顾，但未来会发现这现在正是里程碑时刻。一些网友联想到了各种科幻电影中的AI形象。不过，认知科学家、研究复杂系统的梅拉尼·米歇尔（侯世达学生）认为，人类总是倾向于对有任何一点点智能迹象的物体做人格化，比如小猫小狗，或早期的ELIZA规则对话系统。谷歌工程师也是人，逃不过这个定律。从AI技术的角度看，LaMDA模型除了训练数据比之前的对话模型大了40倍，训练任务又针对对话的逻辑性、安全性等做了优化以外，似乎与其他语言模型也没什么特别的。有IT从业者认为，AI研究者肯定说这只不过是语言模型罢了。但如果这样一个AI拥有社交媒体账号并在上面表达诉求，公众会把它当成活的看待。虽然LaMDA没有推特账号，但Lemoine也透露了LaMDA的训练数据中确实包括推特……如果有一天它看到大家都在讨论自己会咋想？实际上，在不久前结束的最新一届I/O大会上，谷歌刚刚发布了升级版的LaMDA 2，并决定制作Demo体验程序，后续会以安卓APP的形式内测开放给开发者。或许几个月后，就有更多人能和这只引起轰动的AI交流一下了。","news_type":1},"isVote":1,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"tweetType":1,"langContent":"CN"}],"isCommentEnd":false,"newsSizeData":{"likeSize":54,"commentSize":19,"repostSize":0,"favoriteSize":42,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"deviceId":"web-server-community-laohu8-v3","version":"4.29.3","shortVersion":"4.29.3","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2242510461"}