下一代Windows系统曝光：基于GPT-4V，Agent跨应用调度，代号UFO

华尔街见闻02-15

“一句话”操作App的用户界面？下一代Windows操作系统提前曝光了？？微软首个为Windows而设的智能体（Agent）亮相：基于GPT-4V，一句话就可以在多个应用中无缝切换，完成复杂任务。整个过程无需人为干预，其执行成功率和效率是GPT-4的两倍，GPT-3.5的四倍。比如，删除PPT演示文稿上的所有备注。几个简单步骤就可完成。还有像利用多个来源文本，比如word文档、图像文本内容，撰写...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2411567559?lang=zh_CN&edition=full","thumbnail":"https://static.tigerbbs.com/c5e289ce2ab54bc00a8748eb7d3ea6ea","is_english":false,"pubTime":"2024-02-15 14:07","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"2411567559","market":"us","top_or_hot":-1,"title":"下一代Windows系统曝光：基于GPT-4V，Agent跨应用调度，代号UFO","media":"华尔街见闻","content":"<div>\n<p>“一句话”操作App的用户界面？下一代Windows操作系统提前曝光了？？微软首个为Windows而设的智能体（Agent） 亮相：基于GPT-4V，一句话就可以在多个应用中无缝切换，完成复杂任务。整个过程无需人为干预，其执行成功率和效率是GPT-4的两倍，GPT-3.5的四倍。比如，删除PPT演示文稿上的所有备注。几个简单步骤就可完成。还有像利用多个来源文本，比如word文档、图像文本内容，撰写...</p>\n\n<a href=\"https://wallstreetcn.com/articles/3708384\">网页链接</a>\n\n</div>\n","source":"wallstreetcn_hot_news","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>下一代Windows系统曝光：基于GPT-4V，Agent跨应用调度，代号UFO</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n下一代Windows系统曝光：基于GPT-4V，Agent跨应用调度，代号UFO\n</h2>\n\n<h4 class=\"meta\">\n\n\n2024-02-15 14:07 北京时间&nbsp;&nbsp;&nbsp;<a href=https://wallstreetcn.com/articles/3708384><strong>华尔街见闻</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>“一句话”操作App的用户界面？下一代Windows操作系统提前曝光了？？微软首个为Windows而设的智能体（Agent） 亮相：基于GPT-4V，一句话就可以在多个应用中无缝切换，完成复杂任务。整个过程无需人为干预，其执行成功率和效率是GPT-4的两倍，GPT-3.5的四倍。比如，删除PPT演示文稿上的所有备注。几个简单步骤就可完成。还有像利用多个来源文本，比如word文档、图像文本内容，撰写...</p>\n\n<a href=\"https://wallstreetcn.com/articles/3708384\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"BK4592","symbol_name":"伊斯兰概念","start_time":0,"source_url":"https://wallstreetcn.com/articles/3708384","article_id":"2411567559","we_media_id":null,"thumbnails":["https://static.tigerbbs.com/c5e289ce2ab54bc00a8748eb7d3ea6ea"],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=2411567559","pubTimestamp":1707977251,"sourceInfo":{"source_id":"wallstreetcn_hot_news","name":"华尔街见闻"},"weMediaInfo":null,"summary":"“一句话”操作App的用户界面？","collect":0,"end_time":0,"defaultTopTitle":"wallstreetcn.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"BK4592":"伊斯兰概念","BK4554":"元宇宙及AR概念","IE00BJJMRY28.SGD":"Janus Henderson Balanced A Inc SGD","BK4564":"太空概念","IE00BSNM7G36.USD":"NEUBERGER BERMAN SYSTEMATIC GLOBAL SUSTAINABLE VALUE \"A\" (USD) ACC","IE00BMPRXN33.USD":"NEUBERGER BERMAN 5G CONNECTIVITY \"A\" (USD) ACC","BK4567":"ESG概念","BK4585":"ETF&股票定投概念","LU0109392836.USD":"富兰克林科技股A","LU0171293334.USD":"贝莱德英国基金A2","BK4576":"AR","GB00B4QBRK32.GBP":"FUNDSMITH EQUITY \"R\" (GBP) INC","BK4533":"AQR资本管理(全球第二大对冲基金)","IE0004445015.USD":"JANUS HENDERSON BALANCED \"A2\" (USD) ACC","BK4566":"资本集团","BK4525":"远程办公概念","LU0011850046.USD":"贝莱德全球长线股票 A2 USD","BK4587":"ChatGPT概念","LU0175139822.USD":"AB FCP I Global Equity Blend A USD","IE00BWXC8680.SGD":"PINEBRIDGE US LARGE CAP RESEARCH ENHANCED \"A5\" (SGD) ACC","LU0097036916.USD":"贝莱德美国增长A2 USD","BK4535":"淡马锡持仓","LU0158827948.USD":"ALLIANZ GLOBAL SUSTAINABILITY \"A\" (USD) INC","BK4577":"网络游戏","BK4527":"明星科技股","BK4538":"云计算","BK4579":"人工智能","LU0056508442.USD":"贝莱德世界科技基金A2","BK4588":"碎股","BK4550":"红杉资本持仓","GPT.AU":"GPT GROUP","IE0034235188.USD":"PINEBRIDGE GLOBAL FOCUS EQUITY \"A\" (USD) ACC","BK4503":"景林资产持仓","UFO":"Procure Space ETF","LU0149725797.USD":"汇丰美国股市经济规模基金","IE00BKVL7J92.USD":"Legg Mason ClearBridge - US Equity Sustainability Leaders A Acc USD","LU0127658192.USD":"EASTSPRING INVESTMENTS GLOBAL TECHNOLOGY \"A\" (USD) ACC","IE00BJTD4N35.SGD":"Neuberger Berman US Long Short Equity A1  Acc SGD-H","MSFT":"微软","BK4097":"系统软件","IE0009356076.USD":"JANUS HENDERSON GLOBAL TECHNOLOGY AND INNOVATION \"A2\" (USD) ACC","IE00BLSP4239.USD":"Legg Mason ClearBridge - Tactical Dividend Income A Mdis USD Plus","IE00B775SV38.USD":"NEUBERGER BERMAN US MULTICAP OPPORTUNITIES \"A\" (USD) ACC","IE00BFSS7M15.SGD":"Janus Henderson Balanced A Acc SGD-H","IE00BLSP4452.SGD":"Legg Mason ClearBridge - Tactical Dividend Income A Mdis SGD-H Plus","IE00B3S45H60.SGD":"Neuberger Berman US Multicap Opportunities A Acc SGD-H","LU0080751232.USD":"富达环球多元动力基金A","LU0109391861.USD":"富兰克林美国机遇基金A Acc","LU0170899867.USD":"EASTSPRING INVESTMENTS WORLD VALUE EQUITY  \"A\" (USD) ACC","IE0034235295.USD":"PINEBRIDGE GLOBAL DYNAMIC ASSET ALLOCATION \"A\" (USD) ACC","IE00BJJMRX11.SGD":"Janus Henderson Balanced A Acc SGD","LU0072462426.USD":"贝莱德全球配置 A2","BK4516":"特朗普概念","IE00BJTD4V19.USD":"NEUBERGER BERMAN US LONG SHORT EQUITY \"A1\" (USD) ACC","LU0079474960.USD":"联博美国增长基金A","GB00BDT5M118.USD":"天利环球扩展Alpha基金A Acc","IE00BDCRKT87.USD":"PINEBRIDGE GLOBAL DYNAMIC ASSET ALLOCATION \"ADC\" (USD) INC","BK4528":"SaaS概念","IE00B1XK9C88.USD":"PINEBRIDGE US LARGE CAP RESEARCH ENHANCED \"A\" (USD) ACC"},"translate_title":"Exposure of next generation Windows system: based on GPT-4V, Agent cross-application scheduling, code name UFO","themeId":"","isJumpTheme":false,"ttsUrl":"https://static.tigerbbs.com/bcf7b1fcd21ff3f14705fff77a21a219","symbols_score_info":{"UFO":1,"MSFT":1,"GPT.AU":1},"content_text":"“一句话”操作App的用户界面？下一代Windows操作系统提前曝光了？？微软首个为Windows而设的智能体（Agent） 亮相：基于GPT-4V，一句话就可以在多个应用中无缝切换，完成复杂任务。整个过程无需人为干预，其执行成功率和效率是GPT-4的两倍，GPT-3.5的四倍。比如，删除PPT演示文稿上的所有备注。几个简单步骤就可完成。还有像利用多个来源文本，比如word文档、图像文本内容，撰写电子邮件。网友表示：这才是Windows级别应有的创新能力第一个Windows Agent来了这样一个智能体叫做UFO，全名“UI-Focused”，是一个专为Windows OS（操作系统）交互设计、面向用户界面（UI）的智能体框架，可以在单个或者多个应用程序中操作，由MSRA、微软AI与应用研究团队等共同打造。用户就可以通过自然语言指令，来操作App的用户界面。据介绍，UFO是第一个专为Windows OS环境中的任务完成量身定制的UI Agent。就拿删除PPT上的所有注释为例。传统方式需要一页一页手动删除注释。如果PPT巨长无比，这个过程就会又久又无聊，让人瞬间暴躁。但UFO得到指令后，简化了整个过程。它先是提议用“删除所有演示笔记”功能，这个功能因为按钮位置藏得很深，经常被用户忽视。而后，UFO导航到“File”选项，对后台视图进行访问；然后，再平滑地切换到“info”菜单，单击“检查问题”按钮，并选择“检查文档”，开始检查文档中所有包含的注释。紧接着，UFO识别到菜单地步的“删除所有演示笔记”，向下滚动定位到其位置，启动单击功能。考虑到误删的可能性，UFO这里有一道保护功能，需要用户再次确定是否真的要删除所有注释。用户一旦确认，所有笔记就“ 彭 ”的一下都没有了～如PowerPoint这般，文章中对其它几个场景进行了图文并茂的展示。比如读一篇PDF：设计PPT格式：下载Docker拓展：发条推文：搜索总结：读篇paper：以及怎么利用UFO在Word文档里提取文本、描述图像、撰写然后发送电子邮件等。研究团队在9个常用的Windows应用程序上对UFO进行了测试，包括Outlook、Photos、PPT、Word等，涵盖了Windows用户的高频使用场景，能够测试工作、交流、编码、阅读、网页浏览等目的。对于每个应用程序，团队设计了5个不同的请求，共45个；另外还设计了5个设计跨多个交互应用程序的请求。也就是说，共产生了50个请求，每个应用程序至少有一个请求链接到另一个后续请求，提供全面评估UFO的互动模式。在评估指标方面，则从成功度、步骤、完成率和保障率这几个角度来评估UFO。为了全面评估UFO的性能，团队开发了名为WindowsBench的测试基准。考虑到没有现成的Windows Agent，团队选择GPT-3.5和GPT-4作为基座模型，并且指示它们提供一步一步的指导来完成用户请求。值得注意的是，UFO在WindowsBench上成功率达到了86%，成倍超过了GPT-4——因此UFO可以被定位为一个高效的Agent。而UFO的完成率也是最好的，这表明它有能力采取更精确的动作；此外，UFO完成任务的步骤也是最少的，安全度也是最高的。最后，9个场景从4个角度在WindowsBench的详细得分如下：三个模块组成既然如此，这样一个操作系统级别的Agent，究竟是如何实现的呢？首先，它理解用户的自然语言要求，然后将其分解为一系列子任务。然后观察用户界面，并对其控制元素进行操作，以实现总体目标。既然如此，又是如何实现的呢？架构上看，UFO是个双Agent框架，主要有三个模块：应用智能体（AppAgent），选择一个应用程序满足用户请求。行动智能体（ActAgent），负责在所选应用中反复执行任务。交互控制，无需人工干预，全自动执行。在收到用户请求后，AppAgent会对需求进行分析。除此之外，还有这些信息作为输入：桌面截图、App信息、记忆以及示例。其中，UFO为AppAgent提供了完整的桌面截图和可用应用程序列表以供参考。然后从当前激活的应用程序中选择一个合适的应用程序，并制定一个全局实现计划，将其传递给ActAgent。一旦找到合适的应用程序，App就会出现在桌面上。随后ActAgent启动操作。在每个操作选择之前，UFO都会捕获当前应用程序用户界面窗口的屏幕截图，并标注所有可用控件。此外，UFO还记录了每个控件的相关信息，供 ActAgent观察。ActAgent的任务是选择要操作的控件，然后通过控件交互模块选择要在所选控件上执行的特定操作。这一决定是基于 ActAgent 的观察结果、先前计划和操作记忆做出的。这个递归过程一直持续到用户请求在所选应用程序中成功完成为止。至此，用户请求的一个阶段结束。如果需要跨越多个应用程序，那么在ActAgent 完成当前任务之后，ActAgent 将把任务委托给 AppAgent，以便切换到不同的应用程序，从而启动请求的第二阶段。用户可以选择提出新的请求，促使 UFO 通过重复上述过程来处理新任务。研究团队依据日常鼠标操作，还开发了自定义操作，比如单击、选择文本、滚动等，以此来完成对于控件的操作。主要有这些控制类型。 微软全球资深副总裁、MSRA副院长领衔最后介绍一下UFO的研究团队，其中大多数都为华人。通讯作者Chaoyun Zhang，是微软DKI（Data、Knowledge、Intelligence，数据/知识/情报）*小组的高级研究员。他于2020年，在爱丁堡大学获得硕士和博士学位，研究兴趣包括时间序列建模、时空数据挖掘、因果推理以及云服务和 AIOps的可解释机器学习。Chaoyun Zhang还是华中科技大学校友，出国前在华中科技大学电子信息与通信学院取得学士学位。作者Liqun Li，现为微软DKI组首席研究员。他先毕业于清华大学计算机科学与技术系，取得学士学位；而后又在2012年获得中国科学院软件研究所博士学位。期间，Liqun Li曾作为访问学者前往密歇根州立大学。作者Saravan Rajmohan，Miceosoft 365的AI及应用研究的合作伙伴总监。他领导应用研究团队与Microsoft的各个研究小组进行深入协作，将算法研究与AI/ML技术和硬件创新相结合作者张冬梅，MSRA（微软亚洲研究院）常务副院长，微软杰出首席科学家。她从2004年起加入MSRA，从事和领导DKI领域的研究工作，近几年，团队将研究扩大到商业智能领域。作者张祺，微软全球资深副总裁。此前，张祺曾任微软（亚洲）互联网工程院常务副院长，兼任微软移动联新互联网服务有限公司董事长，负责微软互联网业务及人工智能平台在亚洲的团队。同时，他也是微软中国首位“全球杰出工程师”。最后，简单介绍一下多位作者的工作单位：MSRA的DKI组。DKI是Data、Knowledge、Intelligence的简写。该小组致力于AI、数据分析、数据交互、数据可视化的研究，探索全新的数据分析、展示、交互技术，让数据和数据中的发现故事被高效地理解、广泛地传播。团队与微软产品如Excel，PowerPoint等深度合作，常年在各个领域的顶会和期刊上发表论文。","kind":null,"is_publish_news":null,"is_publish_highlight":null,"is_publish_live":null,"is_publish_wemedia":null,"editions":null,"symbols":[],"gpt_button":0},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":1,"commentSize":0,"repostSize":0,"favoriteSize":1,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"deviceId":"web-server-community-laohu8-v3","version":"4.22.4","shortVersion":"4.22.4","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2411567559"}