安霸发布N1系列生成式AI芯片，支持前端设备运行本地LLM应用

中关村在线01-10

在2024国际消费电子展（CES）期间，Ambarella展示了在其新款N1系列SoC上运行多模态大模型（Multi-Modal LLM），其每次推理的功耗显著低于当前市场的通用GPU解决方案。生成式AI是为了处理大规模数据集而最早应用于服务器上的变革性技术，而安霸的目标是将生成式AI部署于终端设备和本地硬件上，从而将其广泛应用于视频安防分析、机器人以及众多工业领域。安霸将在中高端SoC上提供已...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2402007571?lang=zh_CN&edition=full","thumbnail":"","is_english":false,"pubTime":"2024-01-10 22:32","share_image_url":"https://static.laohu8.com/9a95c1376e76363c1401fee7d3717173","id":"2402007571","market":"us","top_or_hot":-1,"title":"安霸发布N1系列生成式AI芯片，支持前端设备运行本地LLM应用","media":"中关村在线","content":"<div>\n<p>在2024国际消费电子展（CES）期间，Ambarella展示了在其新款N1系列SoC上运行多模态大模型（Multi-Modal LLM），其每次推理的功耗显著低于当前市场的通用GPU解决方案。生成式AI是为了处理大规模数据集而最早应用于服务器上的变革性技术，而安霸的目标是将生成式AI部署于终端设备和本地硬件上，从而将其广泛应用于视频安防分析、机器人以及众多工业领域。安霸将在中高端SoC上提供已...</p>\n\n<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN2024011022335081ae1a8a&s=b\">网页链接</a>\n\n</div>\n","source":"tencent","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>安霸发布N1系列生成式AI芯片，支持前端设备运行本地LLM应用</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n安霸发布N1系列生成式AI芯片，支持前端设备运行本地LLM应用\n</h2>\n\n<h4 class=\"meta\">\n\n\n2024-01-10 22:32 北京时间&nbsp;&nbsp;&nbsp;<a href=http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN2024011022335081ae1a8a&s=b><strong>中关村在线</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>在2024国际消费电子展（CES）期间，Ambarella展示了在其新款N1系列SoC上运行多模态大模型（Multi-Modal LLM），其每次推理的功耗显著低于当前市场的通用GPU解决方案。生成式AI是为了处理大规模数据集而最早应用于服务器上的变革性技术，而安霸的目标是将生成式AI部署于终端设备和本地硬件上，从而将其广泛应用于视频安防分析、机器人以及众多工业领域。安霸将在中高端SoC上提供已...</p>\n\n<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN2024011022335081ae1a8a&s=b\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"BK4585","symbol_name":"ETF&股票定投概念","start_time":0,"source_url":"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN2024011022335081ae1a8a&s=b","article_id":"2402007571","we_media_id":null,"thumbnails":[],"rights":{"source":"tencent","url":"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN2024011022335081ae1a8a&s=b","rn_cache_url":null,"customStyle":"body{padding-top:10px;}#news_title{font-weight:bold;#titleStyle#;}#news_description span{font-size:12px;#descriptionStyle#;}.footer-note{#statement#}","selectors":".mod-LoadTzbdNews, body","filters":".relate-stock, .hot-list, .recom-box, .wx-sou","directOrigin":true},"url":"https://stock-news.laohu8.com/highlight/detail?id=2402007571","pubTimestamp":1704897133,"sourceInfo":{"source_id":"tencent","name":"腾讯"},"weMediaInfo":null,"summary":"生成式AI是为了处理大规模数据集而最早应用于服务器上的变革性技术，而安霸的目标是将生成式AI部署于终端设备和本地硬件上，从而将其广泛应用于视频安防分析、机器人以及众多工业领域。安霸将在中高端SoC上提供已优化的生成式AI处理。N1解决方案自带移植好的大模型，使系统整合更容易，因此它可快速帮助OEM厂商部署生成式AI，特别是要求低功耗的各种应用，比如自带本地应用的AI智能盒子、送货机器人等，不一而足。","collect":0,"end_time":0,"defaultTopTitle":"qq.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"BK4585":"ETF&股票定投概念","BK4141":"半导体产品","AMBA":"安霸"},"translate_title":"Anba released N1 series generated AI chips to support front-end devices to run local LLM applications","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"AMBA":1},"content_text":"在2024国际消费电子展（CES）期间，Ambarella展示了在其新款N1系列SoC上运行多模态大模型（Multi-Modal LLM），其每次推理的功耗显著低于当前市场的通用GPU解决方案。生成式AI是为了处理大规模数据集而最早应用于服务器上的变革性技术，而安霸的目标是将生成式AI部署于终端设备和本地硬件上，从而将其广泛应用于视频安防分析、机器人以及众多工业领域。安霸将在中高端SoC上提供已优化的生成式AI处理。这些AI SoC包含了功耗低于5瓦的CV72芯片，以及最新的可应用于服务器端，功耗低于50瓦的N1芯片。与GPU及其他AI加速器相比，安霸提供了完整的SoC解决方案，每生成一个token的能效比最高可提高3倍，并可快捷、低成本地部署在终端产品中。安霸首席技术官兼联合创始人Les Kohn表示：“生成式AI在我们的目标市场上实现了突破，之前无法想象的功能得以实现。使用我们的N1系列SoC来进行多模态大模型推理，将使所有的前端设备变得更智能，更低功耗，和更低成本。”市场研究公司Omdia高级计算首席分析师Alexander Harrowell表示：“在未来18个月内，几乎所有设备前端应用都将被生成式AI增强。把生成式AI的计算转移到设备前端的要点，就在于每瓦的AI性能，以及它与前端生态系统其余部分的集成，而不仅仅是原始数据的吞吐量。”所有安霸的AI SoC均可搭配全新的Cooper开发平台。此外，为了缩短客户新产品上市的时间，安霸已预先移植和优化了Llama-2等流行的大语言模型。其在N1芯片上运行的大语言和视觉助手LLava模型，可对多达32个摄像头同时进行多模态视觉分析。这些经过预训练和调优的模型可从Cooper Model Garden下载。在现实世界的众多应用里，除了语言，视觉输入也是一种关键模式。安霸SoC的特有架构非常适合以超低功耗同时运行视频处理和AI计算。安霸的AI SoC并不是单一的AI加速器，它不仅能够高效处理多模态大模型，还能同时执行各种系统功能。生成式AI将成为计算机视觉处理中跨越式的新技术，它可将上下文学习和场景理解应用于各种设备，从而涵盖安防设施、自主机器人以及众多工业应用。基于安霸AI芯片的设备端通过运行大语言模型和多模态处理可实现以下功能：安防视频的上下文智能搜索、通过自然语言命令控制的机器人、以及多才多艺的AI助手，比如代码、文本和图像的生成等。这些依赖摄像头和自然语言理解的系统，大部分将受益于设备前端的生成式AI处理，其处理速度得以提高，隐私保护得到加强，并且总成本也会降低。安霸解决方案支持的本地处理也非常适合垂直领域大语言模型，这些大语言模型通常需要针对每个具体应用场景进行调整；而传统的集中式服务器方案则是使用更大、功耗更高的大语言模型来满足不同用例的要求。基于安霸最初为自动驾驶开发的CV3-HD架构，N1系列SoC对总算力资源进行了针对性的优化，从而以超极低功耗运行多模态大模型。例如，N1 SoC在单流模式下以低于50瓦的功耗运行Llama2-13B，每秒可推理25个token。N1解决方案自带移植好的大模型，使系统整合更容易，因此它可快速帮助OEM厂商部署生成式AI，特别是要求低功耗的各种应用，比如自带本地应用的AI智能盒子、送货机器人等，不一而足。本周，安霸将在CES展会期间持续演示N1 SoC及其多模态大模型功能。(8510286)","kind":null,"is_publish_news":null,"is_publish_highlight":null,"is_publish_live":null,"is_publish_wemedia":null,"editions":null,"symbols":[],"gpt_button":1},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"deviceId":"web-server-community-laohu8-v3","version":"4.22.4","shortVersion":"4.22.4","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2402007571"}