半导体工程师 2023-06-07 09:35 发表于北京
在消费电子市场下行的大趋势下,智能手机这个曾经如日中天的行业也在节节萎缩。回顾智能手机的渗透率提升过程,每次渗透率提升都伴随功能的颠覆性创新。而近年来手机可选创新路径收窄,由颠覆创新转为边际创新,需求持续萎靡。整个半导体产业都在寻找下一个杀手级应用,是汽车电子?还是以ChatGPT为代表的大模型?
国产替代:博捷芯晶圆划片机
从手机市场发展的路径我们可以看出,消费电子市场“供给创造需求”特征明显,颠覆性创新是驱动消费电子需求提升的核心。因此,消费电子产品的可成长空间和可创新空间之间高度对等。
在今年3月的上海国际集成电路展览会暨研讨会(IIC Shanghai)上,芯原股份创始人、董事长兼总裁 戴伟民在接受AspenCore采访时曾表示,“增强现实(AR)眼镜能够减少人们因为社交刷手机的时间,是最有希望成为下一个增量市场的应用。但在AR崛起之前,技术更易实现的VR品类会先起量。”
1968年,计算机图形学之父Ivan Sutherland领导开发了一套名为“The Sword of Damocles” (达摩克利斯之剑)的显示系统。系统使用的是一个光学透视头戴式显示设备,受限于当时计算机的处理能力,只能将显示设备放置在用户头顶的天花板,并通过连接杆和头戴设备相连。通过显示设备能够看到在现实中叠加的立方体图形。从技术原理来讲,这套系统所呈现的效果与今天的AR产品没有本质区别。
这套系统被普遍认为是HMD(头戴式显示器)以及增强现实的雏形。在随后的若干年中,AR的定义、开源框架先后被确定,所采用的几何光波导和衍射光波导技术也出现了。
直到2012年,谷歌推出第一款AR眼镜Google Glass被认为是最初的AR产品原型,VR/AR行业正式进入热潮期。微软Hololens、VIVE、Rift等先后推出产品,Facebook 20亿美元收购Oculus、Magic Leap 获5.02亿美元融资成为标志性事件。
然而在2016年后,VR/AR全行业的交易量出现明显下滑。没有合适的应用场景和内容、创业公司融资困难、产品不盈利等诸多因素叠加,让VR/AR概念开始进入冷静期。在这个阶段,市场逐渐回归到产业进步的核心——技术,以及产品消费的核心——内容,技术投入比例提高将加快VR技术的成熟,为创造更符合市场的要求的产品和内容打下了基础。
与VR/AR对应的更广阔生态应用,可以统称为元宇宙(Metaverse),其实元宇宙概念早在90年代就已经被提出,但更多属于“科幻级”而不是实用型。2019年底到2020年间,受新冠病毒(Covid-19)疫情影响,被迫减少线下社交的社会大众再次对元宇宙产生兴趣。
加上Facebook正式更名Meta,业界普遍认为AR/VR行业在经历了仍处在发展初期后,拐点已现。今年多家大厂均表示有新品发布计划,甚至苹果也传出将在年内发布自己的头显设备,开启新一轮产品迭代周期。
在这一轮短期全球新品周期开启前夕,市场对于软硬件创新的关注度提升,也将加速创新的验证落地,未来AR/VR品类有望复刻手机先前的“黄金时代。据ARK预测,2026年,VR/AR 市场总价值将达到 309 亿美元; 2021 年至 2026 年间的复合年增长率为 60%到;预计AR 智能眼镜将在 2026 年占据最大的销售价值份额,超过独立的 VR 设备,2030 年AR 市场可能会从目前的不到 10 亿美元扩大到 130 亿美元。
3-5年内,AR最先落地的应用场景是什么?
5月12日,第十三届“松山湖中国IC创新高峰论坛”在广东东莞松山湖凯酒店举行,本届论坛以“面向AR/VR/XR与元宇宙的创新IC新品推介”为主题,通过组织本土芯片设计企业和终端应用厂商开展深度的需求对接,打造国内具影响力的中国创新集成电路新品集中推广和发布平台,对提升国内集成电路设计水平、推动促进国内芯片-整机联动发展具有积极意义。
在圆桌讨论环节,多家本土IC公司与设备系统厂商就AR设备/元宇宙入口的技术发展路线和应用趋势进行了深度探讨。芯原股份创始人、董事长兼总裁 戴伟民作为主持人,首先介绍了AR智能眼镜的定义与应用,“这是一种将信息叠加到用户视野中的一体机设备,具备独立计算和供电功能。”主要应用场景包括——
信息展示:实时翻译、社交媒体通知、导航,以及为仓库管理、现场服务等垂直应用提供信息等;
远程信息处理:集成了摄像头和麦克风,以评估环境,记录信息,并使远程参与者能够看到用户的当前内容。
由左到右分别是:
主持人 芯原股份创始人、董事长兼总裁 戴伟民
上海维享时空信息技术有限公司 CEO,范晓
芯原股份 高级投资经理,蒋丛逸
深圳纳德光学有限公司 创始人/CEO,彭华军
银牛微电子(无锡)有限责任公司 CEO,钱哲弘
深圳市亿境虚拟现实技术有限公司 总经理,石庆
万有引力(宁波)电子科技有限公司 联合创始人、CFO,王海青
Rokid 副总裁,陈希(线上接入)
戴伟民认为,AR设备的普及将减少人们刷手机的时间,最“杀手级”的应用不是游戏,也不是看电影,而是社交。比如与语言不同的人交流,AR眼镜上出现实时翻译文字,或是在商场中寻找美食时,能自动显示看到的餐厅有什么招牌菜。“AR设备不是要取代当前主流的智能手机+TWS耳机,而是成为一种‘手机++’型应用,减少人们掏手机的频率。”
现场抛出的第一个问题是:
AR设备在未来3至5年内率先落地的应用场景及其内容是什么?
根据现场参与讨论的嘉宾和观众头条,大家认为排在前三的分别是娱乐(24.11%),实时翻译(19.64%)以及导航(17.86%)。
石庆选的第一项是实时翻译,他认为AR在该场景下会发挥较大用途。“无论是国等场景,还是对方声音听不清或针对听力残疾人士都很有用。谷歌眼镜的主力场景也是翻译,他把AR眼镜变成了一件实用的工具。”类似的工具场景还有无人导航和to-B类应用,例如针对K12、职业群体的科普、安全教育,据悉亿境最大的客户群体就是教育行业。
然而目前AR设备遇到最大的问题,就是用户体验。如同手机不能太重、不能发烫、续航还要有保障……这几个痛点在AR眼镜上被放大了——因为需要架在鼻子上。镜片、电池重量很难减少,芯片方面除了高通方案也没有其他更适合的,戴伟民认为这也是苹果迟迟没有推出自家AR设备的主要原因,“未来三年,AR包括芯片在内的硬件技术还没办法做到手机那样成熟,单已经具备较好的一二级市场投资条件。能否抓住这条赛道,关键在能否选对赛车手。”
分析师和研究机构普遍预计,传闻已久的苹果 MR 头显将在 6 月份的苹果全球开发者大会(WWDC)上正式发布。此前,关于苹果MR 头显上市日期迟迟未有定论,主要由于苹果内部的人员出现动荡,相关人员对该业务并不看好。但CEO 库克一直在努力推进头显业务,力求上市,据Economic Daily News 报道称,苹果 MR 头显已处于“最后冲刺”和“供应链交付”阶段。
国内方面,比较有代表性的厂商Rokid也在这条赛道上深耕了5年,目前产品主要针对消费级(to-C)、企业级(to-B)和数字文化领域(B-to-C)三大板块。陈希认为,在面对消费者场景时,AR眼镜需要强调佩戴舒适,不能比普通的眼镜重太多,其次要考虑普通消费者对于价格的敏感性。
“应用场景上,目前还是以音视频为主。视频方面目前已经做到120Hz刷新,支持高清电影和主流游戏,同时针对近视群体做了屈光调节技术,600度以内的人群不用戴近视眼镜也可以使用。”陈希介绍到,“音频方面采用双耳定向扬声器涉及,对外漏音很小,不会影响周围的人。”
在减重、无线化和增加续航上,Rokid的做法是用一部便携终端Rokid Station来替代手机的角色。这台设备可以将本地存储或云端的内容无线投射到眼镜上,还能作为眼镜充电宝,籍由此减轻眼镜设备本体上电池、网络连接和存储器件带来的重量。
陈希认为,目前消费级的AR应用与AI技术关系不大,尚处于市场培育阶段,真正运用到AI技术的还是B端或B-to-C场景。以Rokid B端产品来说,采用头环一体式设计,需要满足工业场景下防水防尘防摔的要求,可以搭配安全帽使用。已经有的一些to-B案例还包括单目显示远程授课、远程医疗辅助以及针对弱视群体的辅助感知。“我们认为AR的行业应用范围非常广,电厂、油田等工厂环境远程操作、作业指导、巡检都是大方向。”
最后在B-to-C场景中,Rokid AR主要面向数字文化板块,分为文、商、旅、体、展览展示、娱乐、教育等八大细分场景。尤其在文博场景——也就是“云逛博物馆”、“云逛景区”等场景下,故事文化在AR眼镜加持下,具备非常大的用户价值,基本上各省级博物馆都可以看到AR眼镜的应用。
MR眼镜用单芯片还是双芯片方案更好?
现场第二个问题是:
高集成度的单芯片方案和主应用处理器各类协处理器的双芯片架构方案,哪种将会成为 MR 眼镜的主流解决方案?为什么?
现场投票结果显示,大部分人认为“主应用处理器+各类协处理器的双芯片架构方案”会成为主流(75%)。
钱哲弘认为,当前MR眼镜主控市场中,要想找到能替代高通的方案非常困难,不是短期能够做到的,也不是任何单一公司能做到的。同时在协处理器方面,业界也有不同的争议。
XR的协处理器目前和主处理器配合有两种模式,一是完全跟主处理器不相关,只是帮主处理器处理多路传感器数据、做视频融合等;另有一种需要跟主控处理器SDK整合之后,再做其他渲染。银牛微电子目前的方案主要涉及视频处理,不做渲染,所以跟主控之间有着非常清晰的边界,不需要主控支持。“未来这两种处理器方案,应该都有可能被采用,只是取决于高通等主控厂商对于合作方的融合态度。” 钱哲弘说到,“如果是分离方案,那么大家的边界划得比较清楚。我个人认为MR眼镜主流应该还是双芯片的架构方案。”
戴伟民认为,其实选则高集成度单芯片方案,就意味着国产芯片厂商能够把高通、英伟达方案替换掉;选择第二种,则意味着用了高通、英伟达芯片后,再加上自己的前处理或后处理芯片。就目前大家普遍选择双芯片方案,他认为是比较符合实际情况的。“CPU、GPU方案不太会随着应用而改变,但ISP等前处理会随着应用场景经常改变,分离的方案比单芯片好在修改方便。有时候不是一颗芯片就一定好。”
现场第三个问题是关于协处理器的:
现阶段MR协处理器最需要解决的问题是什么?(选三项)。
现场投票前三名分别是:改善人机交互体验(23.61%)、降低功耗(17.36%)以及降低时延(13.89%)。
万有引力是一家专注XR赛道前端处理器和虚实结合技术的初创企业,王海青非常赞同双芯片架构是一个未来比较主流的趋势,有三大原因:
1、整个行业是由巨大爆发潜力的消费级电子产品带动的。如同当年苹果手机发布之前,所有手机可能都是“凑合”用英特尔、摩托罗拉的芯片,然而智能手机行业进一步发展后不能再凑合,所以有了这个行业的专用芯片。
2、XR给消费者带来了三维领域的新刚需,也给硬件提出新需求。与PC、手机端不同,XR设备与摄像头、显示屏连接、人机交互方式都需要新的算法和服务。这种情况值得一块新的专有芯片。最直接的案例就是以前人们处理工作用CPU,但英伟达用GPU来做图形渲染工作后,CPU和GPU都可以做自己最擅长的事,实现了更好的分工。芯片的本质就是术业有专攻,在自己擅长的领域做到极致。“头显更是如此,因为有很多专业的需求在里面。眩晕感、舒适度要解决,低功耗、低延迟也要解决,并且不可以对图形处理质量产生不好的影响。”
3、要给品牌商、终端客户提供更灵活、性价比高的解决方案。随着人工智能时代的到来,需要把更多CPU、GPU的工作从端侧移到云端来做,如果没有双芯片架构是做不到的,也无法用手机驱动头显。
Micro-LED+光波导是未来AR眼镜的主流解决方案吗?
光学方案和显示技术是目前整个产业链爆发的关键环节。现阶段,AR 有四类光学显示方案,分别是:
LCoS硅基液晶( liquid crystal on silicon)
DLP数字光处理( Digital Light Processing)
硅基OLED (Micro OLED)
Micro LED
有观点认为,LCoS 是当前AR眼镜光学显示的主要方案,但光波导 +Micro LED 是远期最佳解决方案。从目前已经市场化的光学显示方案来看,各自具备不同的优缺点,代表产品也不尽相同。
其中Micro-LED存在技术瓶颈在于,芯片制造、检测修复、巨量转移等产业成熟度低。产业成熟度也不及硅基液晶和硅基OLED,生产成本较高、良率较低。光波导技术的全息体光栅方案虽有更好的成像效果,但目前生产工艺难以达到规模量产,浮雕光栅波导方案已实现了量产和商业应用,得到了商业客户的肯定,产业成熟度相对全息光栅波导更高,但是产业尚未形成高性价比方案。
现场第四个问题是:
Micro-LED和光波导技术的现状和发展趋势如何?Micro-LED+光波导会是未来AR眼镜的主流解决方案吗?
现场投票90%都认可这个预测。
深圳纳德光学成立于2015年,是是国内最早做头显的公司之一。彭华军认为,光波导虽然是目前AR行业比较看好的光学方案,但这项技术不能单独成为一个光显示方案。从技术角度,还要有一个前级光学放大配合微显示屏,才能形成光引擎和其他相关功能。“Micro-LED跟光波导组合,属于强强结合。”
Micro-LED的特点在于亮度特别高,光波导的特点在于可以做得薄,像传统眼镜一样。但光波导的不足之处在于光的利用率非常低,甚至到千分之一,使用环境又以户外为主,光源需要足够亮。因此最合适的光源只有Micro-LED,其他的液晶显示、LED显示、OLED显示等都很难达到。
“早期头显方案搭配光波导的并不是Micro-LED,而是LCoS等高亮度显示源,因为当时Micro-LED技术还不成熟。目前来说,Micro-LED在国内无论技术还是市场都已经做得比较领先了。” 彭华军说到,国内做光波导的企业包括深圳云景光电、锂泰光电等,但具体到场景端仍然不是特别丰富。因为光波导在C端应用还比较少,“杭州有一家企业用深圳光舟的DLP光学方案,做了骑行领域的应用。”
彭华军认为,Micro-LED的成熟会逐渐取代其他几个AR眼镜光学显示方案,因为其亮度高图像小,可以形成矩阵,还有能够实现全色化。但目前整个行业都在思考——Micro-LED+光波导方案的应用点在哪里?
AR眼镜在C端应用多少有点尴尬。“虽然最早从2015年开始,每年都有报告说AR眼镜市场成长了多少,但实际上2022年整个国内消费级AR眼镜市场才出货 10万台。今年可能会好一点,但基数还是不大,这个大家得认,但向上的趋势主要应用还是在C端。” 彭华军说到。
目前采用Micro-LED的AR应用场景,还是B端更多,比如工业和文旅场景。需要在户外高亮环境下实现透视,基本上只有用Micro-LED+光波导方案才能做到。至于这是不是未来AR眼镜的主流解决方案,彭华军认为不好下定论,但它一定会是其中一个主要解决方案,未来光波导还有色彩之间不均匀、低效率等一系列问题需要解决。
另外在近视和老花群体中,需要戴眼镜再使用AR设备也是一个问题,目前尚没有将屈光镜片和光波导结合的有效案例,因为传统的视光镜片和成像光学是两个不同领域。
“头显是几十年来出现的非常特殊的电子设备。其他电子产品基本上基于摩尔定律发展,但头显高度依赖光学显示器件,但光学一直没有落地一说,在过去50年没有,在未来50年可能也没有。” 彭华军认为,做光学显示器没有那么美好,也没有那么容易。科幻电影和小说里展现出来那些黑科技的是道具,用在现实中则要做大量取舍。
Micro-LED技术的成熟时间
Micro-LED显示技术是指以自发光的微米量级的 LED 为发光像素单元,将其组装到驱动面板上形成高密度 LED 阵列的显示技术。其优势在于,由于Micro LED 芯片尺寸小、集成度高和自发光等特点 , Micro LED 与 LCD、OLED 相比在 亮度、分辨率、对比度、能耗、使用寿命、响应速度和热稳定性等方面具有更大的优势。
目前Micro-LED面临的核心挑战在于量产技术的巨量转移、检测修复,以及量产量产难度大,成本高等。技术及量产虽不成熟,但Micro-LED发展速度较快,预计 2024 年后将快速起量,2024 年规模或达到 42 亿美元,2025 年或达到 65亿美元。随着技术工艺的逐渐成熟,预计2027 年 Micro-LED 的制造成本将降至目前的 1/10。
现场第五个问题是:
请预测Micro-LED 技术成熟的时间(单选)
投票时间集中在2-3年和3-5年之间,如果取中间值,那么可以认为大家觉得3年左右Micro-LED技术会成熟。
元宇宙需要AIGC:从0到1到10再到100……
XR设备作为硬件载体和入口,最终都会链接到元宇宙的世界中。从发展时期来看,元宇宙可以分为初期(虚拟建设)、中期(由虚向实)和远期(虚实融合),初期涉及的领域主要是游戏、影视娱乐、社交、广告等,硬件以VR为主,AR作为尝试,计算方式以端为主、云为辅;中期以拓展电商、教育、旅游等轻度办公场景为主,硬件采用MR融合,AR也在这个阶段落地,计算方式云为主,端为辅;至于远期则将拓展医疗、工业、设计等重度办公场景,这一时期会实现VR沉浸和AR常戴,计算会全部云端实现。
蒋丛逸认为,之所以大家现在强调元宇宙,是因为对娱乐和生活都有了更高的追求,而现实世界不能满足大家对精神世界的追求,需要建立一个虚拟世界来平行在现实世界之上。而构建这两个世界中间的桥梁,需要底层的硬件载体,也就是AR或MR。“之前大屏上一些比较主流应用,例如线上试衣、家居展示已经籍由AR在元宇宙方面实现,利用AR眼镜可以帮助消费者做更好的抉择。疫情期间线上会议也可以通过AR眼镜将人物形象构建到虚拟世界中,带来更好交互体验。”
展望未来,随着AIGC以及 ChatGPT等大模型的发展,未来AR在C端仍有很大的想象空间。例如实时翻译、语音实时转文字并且进行实时交流等,这对听障等有特殊需求的人群非常友好。
对于投资人来说,目前投AR眼镜的主要顾虑是没有非常好的软件应用生态。蒋丛逸认为需要大厂带动,比如全行业都在期待的苹果AR眼镜,“这款产品之于元宇宙,就像当年的iPhone之于移动互联网,很多产品都需要场景发展才有想象空间。拿iPad来说,发布之前大家觉得有iPhone和电脑就够了,但大厂的产品就是会自然而然地带动软件生态创作者创作和行业发展。” 蒋丛逸说到。
维享时空专注内容软件应用的生态,是对XR硬件的很好补充。范晓从2020年元宇宙概念火爆之后就参与到这个行业中来,看过不同的行业定义和方向,但他认为行业要发展起来需要软硬结合,硬件可以带来更好的体验和舒适度,软件则决定了消费者为什么购买这个硬件,以及硬件能用多长时间。
用专业术语来说,维享时空在做的事叫“空间计算”和“空间AIGC”。所谓空间计算,是把视觉、人和空间的交互进行数字化和智能化,这样可以知道空间的位置和角度,能用智能设备、人、空间做什么样的交互。在此基础上,根据人和空间交互把内容迭代上去。
谈到ChatGPT和AIGC,范晓认为,如果想把它们用得更好,让更多人去使用AI工具,需要思考“数据和内容从哪里来?成本有多高?”这些问题,他发现目前基于空间、3D和元宇宙交互AI辅助内容生成是非常大的痛点,但同时也是未来的机会。“不同人有不同的需求,有些人想知道桌子上摆放的是什么?谁来提供这个内容?仅靠人生成内容效率低成本高,会影响这个行业进一步的发展。”
戴伟民认为,AR眼镜很可能是开启元宇宙时代的“iPhone”,就像当初iPhone开启移动互联网时代一样。电子行业的上一轮“牛市”在2013-2015年,以2010年发布的iPhone 4 为代表的智能手机,开启了这轮“牛市”,特点是“先硬后软”;最新一轮的牛市,预计会是以2023年出现的ChatGPT为代表的大模型引领大算力硬件“牛市”,出现在2025年,特点是“先软后硬”。
ChatGPT从0至1的发展,源于谷歌2017年在一篇题为《Attention is all you need》的论文中,首次提出Transformer 模型,成为 GPT 发展的基础,“但当时他们犹豫了一下没有继续,如果不犹豫,就没有今天的OpenAI。”——2018年,OpenAI发布论文《 Improving Language Understanding by Generative PreTraining 》,抢先谷歌首次提出GPT 模型。
经过多年的发展,OpenAI在2022年11月底推出ChatGPT模型试用后,这一概念开始火爆全球。短短几个月,多家公司宣布推出自己类似ChatGPT的人工智能聊天机器人,AIGC开始迈入从1到10的阶段,AI大模型领域也从“百模大战”,升级成“千模大战”。
如果类比一下目前大模型的能力,那么通用大模型大概类似于本科生,基于一个强大的多模态基础模型,通过有人类反馈的强化学习,不断解锁基础模型的能力。要达到硕士、博士能力的垂直领域大模型,需要AI由提升工作效率转变为细分行业中的价值创造者。
这是AIGC从10到100的发展阶段,也许在GPT 3.5,或4.0、5.0上搭载足够的算法、软件、数据就能实现。就具体应用来说,戴伟民认为国内比国外更有创意:
在内容端,AIGC能有效降低内容生成成本,加速生态应用落地
快速生成虚拟数字图像音视频
通过文本语义快速创建自己的虚拟空间
教育、办公、社交、旅游等生态应用边界持续拓宽,驱动 XR 快速发展
在硬件端,AI算法有望持续提升 XR 感知交互体验
基于图像渲染、立体几何重建和深度理解高效还原真实环境,解决图像畸变失真等问题
优化眼动追踪、裸手交互、面部识别等多种感知交互效果
加速XR+ 脑机接**互方式的落地,持续提升 XR感知体验
精彩评论
如果只是娱乐类应用那必然是不行的了
VR/AR对应的更广阔生态应用在哪呢
希望苹果给XR产业带来更多新鲜