案例简介 • 本案例通过NVIDIA RIVA平台,平安科技智能服销应用组自主研发了智能客服系统,集成了语音识别、语音合成、语义理解三大智能引擎,以智能语音机器人替代传统的真人客服,实现自然的语音人机交互。 • 本案例主要应用到NVIDIA RIVA平台、NVIDIA NEMO模型训练平台。 Case Introduction • In this case, through the NVIDIA RIVA platform, Ping An Technology’s intelligent service sales application group independently developed an intelligent customer service system, which integrates three intelligent engines: speech recognition, speech synthesis, and semantic understanding. The intelligent voice robot replaces the traditional human customer service to achieve natural voice and human-computer interaction. • The major products utilized in the case are NVIDIA RIVA platform and NVIDIA NEMO model training platform. 客户简介及应用背景 平安科技是平安集团旗下的全资子公司,运用人工智能、智能认知、云计算、区块链等技术,实现对平安集团旗下的产险、寿险、银行
案例简介 • 本案例中通过使用NVIDIA T4 GPU和TensorRT,OpenGL,CUDA, CUDA/OpenGL interoperability等GPU软件技术栈,助力腾讯AI LAB虚拟人项目在人脸生成阶段达到了超过3倍的加速。 • 本案例主要应用到 NVIDIA T4 GPU,TensorRT, OpenGL,CUDA, CUDA/OpenGL interoperability等AI加速平台。 Case Introduction major products utilized in the case are NVIDIA T4 GPU, and NVIDIA AI software stack — TensorRT, CUDA, OpenGL, CUDA/OpenGL interoperability, etc. 客户简介及应用背景 腾讯AI LAB致力于打造产学研用一体的 AI 生态,主要的研究方向包括计算机视觉、语音识别、自然语言处理和机器学习,结合腾讯场景与业务优势,在社交AI,游戏AI,内容AI及平台AI等领域取得了显著的成果,技术被应用于微信、QQ、天天快报和QQ音乐等上百个腾讯产品。其中围棋AI “绝艺” 多次获得世界人工智能围棋大赛的冠军。 腾讯AI LAB打造的虚拟人,具有自然,生动且饱含情绪的表情,其背后由一套腾讯 AI Lab 自研的复杂系统支撑,系统首先要从文本中提取不同信息,包括表情、情感、重音位置、和激动程度等;之后,这些信息被输入到模型中生成,再同步生成语音、口型和表情参数,最终才有了虚拟人自然生动的表现。 客户挑战 根据虚拟人物需要表达的语言和情感,生成自然生动的人脸,是打造虚拟人重要的一个阶段。需要先渲染人脸的纹理图和渲染图,并将它们输入到深度学习模型中
案例简介 腾讯公司利用NVIDIA TensorRT推理引擎的INT8推理能力和基于知识蒸馏的QAT训练,大大加速了微信中的搜索动能,节省了约70%的计算资源。本案例主要应用到NVIDIA T4 GPU和TensorRT。 Case Introduction With the help from INT8 inference capability of NVIDIA TensorRT inference engine and knowledge-distillation-based QAT training, Tencent WeChat search is speeded up greatly. About 70% computing resources are saved. The major products utilized in the case is NVIDIA T4 GPU and TensorRT SDK. 客户简介及应用背景 随着腾讯微信的发展,微信搜索也成为其越来越重要的功能,这个功能可以用来搜索微信内部的账号、信息,以及搜索互联网上的内容。微信搜索月活跃用户数量达到五亿以上。搜索业务当中使用了大量的神经网络模型,包括自然语言理解、匹配排序等等,这些模型的训练和推理都大量依赖于NVIDIA GPU,尤其在推理方面,NVIDIA GPU及相应的解决方案都满足了业务所需的延迟和吞吐要求。 客户挑战 微信搜索业务由多个子模块构成,包括查询理解、匹配、搜索排序等等。由于搜索的业务特点,这些任务对线上服务的延迟和吞吐都十分敏感。然而在最近几年,随着算力的提升以及算法的创新,很多大型复杂的神经网络模型开始应用在这些任务上,比如BERT/Transformer等模型。 这些大模型需要的计算资源和业务上的高要求对推理端的软硬件都是很大的挑战,必须针对具体的硬件做极致的
NVIDIA CEO 黄仁勋对话 Meta CEO 马克·扎克伯格:创作者将拥有个性化的 AI 助手
在备受期待的 SIGGRAPH 2024 炉边谈话中,NVIDIA 创始人兼首席执行官黄仁勋和 Meta 创始人兼首席执行官马克·扎克伯格探讨了开源 AI 和 AI 助手的变革潜力。 扎克伯格首先宣布推出 AI Studio。这是一个新平台,允许用户创建、分享和发现 AI 角色,使数百万创作者和小型企业能够更方便地使用 AI。 黄仁勋表示:“未来,可能每家餐厅、每个网站都会使用这些 AI 功能。” 扎克伯格回应道:“就像现在每家企业都有电子邮件地址、网站和社交媒体账号一样,我认为在未来,每家企业都会拥有一个 AI。” Meta 的成功证明扎克伯格之前做了正确的事情。黄仁勋称赞扎克伯格和 Meta 是 AI 领域的领导者。 黄仁勋说:“你们在 AI 领域做了令人惊叹的工作”,他提到了 Meta 在计算机视觉、语言模型和实时翻译方面的进展。“我们都在使用 Meta 开发的 PyTorch。” 开源在推动 AI 发展中的重要性 扎克伯格强调了开源在推动 AI 发展中的重要性,并与黄仁勋共同指出开放平台对创新尤为关键。 Meta 已迅速成为 AI 领域的领导者,在各项业务中充分利用 AI。最值得关注的是 Meta AI 已被用于 Facebook、Instagram 和 WhatsApp。Meta 还在整个行业推进开源 AI 的发展,近期发布了 Llama 3.1 大模型。 该开源模型花费了大量时间和训练资源投入。这个迄今为止最大的 Llama 版本拥有 4050 亿个参数,使用 16000 多个 NVIDIA H100 GPU 进行了训练。 扎克伯格表示:“过去,推动所有改进的要素之一是每种类型的内容都有不同的模型。现在,随着模型变得更大、更通用,这种情况正在不断改善。有时我会梦想有一天,Facebook 或 Instagram 整个平台就像一个单一的 AI 模型,它将所有这些不
NVIDIA 创始人兼首席执行官黄仁勋近日在迪拜举行的世界政府峰会上对与会者表示,每个国家都需要拥有自己的智能产品。 在与阿拉伯联合酋长国 (UAE) AI 部长 Omar Al Olama 的炉边谈话中,黄仁勋强调了主权 AI 对于世界领导人的巨大机遇。主权 AI 强调了一个国家对其数据及其产生的见解应该拥有所有权。 来自 150 个国家和地区的 4000 多名代表参加了此次活动,黄仁勋在谈话中对 Al Olama 说:“主权 AI 将你们的文化、社会智慧、常识和历史统一起来,你们的数据是独一无二的。” “我们完全同意这一愿景,”Al Olama 说,“这就是为什么 UAE 正在积极地创建大型语言模型和移动计算。” 黄仁勋此次行程之时,正值沙特阿拉伯正迅速从能源巨头转变为全球信息技术中心。 在过去 6 个月中,黄仁勋分别与加拿大、法国、印度、日本、马来西亚、新加坡和越南的领导人进行了会谈。 中东有望从 AI 中获益。普华永道预计,到 2030 年,该地区的经济增长将达到 3200 亿美元。 在此次峰会上,黄仁勋呼吁领导人不要觉得 AI 非常“神秘”。AI 具有前所未有的能力,能够接收到普通人的指令,这使得各个国家采用 AI 并将其融入当地语言和专业知识变得至关重要。 在回答 Al Olama 提出的问题时,黄仁勋强调了基础设施建设的重要性,并阐述了如果他是一个发展中国家的领袖,他将如何处理 AI 问题。 “这并不昂贵,也不难,”黄仁勋说,“我首先要做的是,将语言、文化数据编程到您自己的大型语言模型中。” 随着 AI 和加速计算的发展,NVIDIA GPU 已成为驱动创新的平台。 黄仁勋表示:“NVIDIA GPU 是唯一可供所有人在任何平台上使用的平台。这种通用性不仅实现了 AI 的普及,而且推动了从云计算到自主系统等领域的创新浪潮。 所有这些都有望激发新型创
案例简介 • 本案例中通过使用NVIDIA T4 GPU和TensorRT,OpenGL,CUDA, CUDA/OpenGL interoperability等GPU软件技术栈,助力腾讯AI LAB虚拟人项目在人脸生成阶段达到了超过3倍的加速。 • 本案例主要应用到 NVIDIA T4 GPU,TensorRT, OpenGL,CUDA, CUDA/OpenGL interoperability等AI加速平台。 Case Introduction major products utilized in the case are NVIDIA T4 GPU, and NVIDIA AI software stack — TensorRT, CUDA, OpenGL, CUDA/OpenGL interoperability, etc. 客户简介及应用背景 腾讯AI LAB致力于打造产学研用一体的 AI 生态,主要的研究方向包括计算机视觉、语音识别、自然语言处理和机器学习,结合腾讯场景与业务优势,在社交AI,游戏AI,内容AI及平台AI等领域取得了显著的成果,技术被应用于微信、QQ、天天快报和QQ音乐等上百个腾讯产品。其中围棋AI “绝艺” 多次获得世界人工智能围棋大赛的冠军。 腾讯AI LAB打造的虚拟人,具有自然,生动且饱含情绪的表情,其背后由一套腾讯 AI Lab 自研的复杂系统支撑,系统首先要从文本中提取不同信息,包括表情、情感、重音位置、和激动程度等;之后,这些信息被输入到模型中生成,再同步生成语音、口型和表情参数,最终才有了虚拟人自然生动的表现。 客户挑战 根据虚拟人物需要表达的语言和情感,生成自然生动的人脸,是打造虚拟人重要的一个阶段。需要先渲染人脸的纹理图和渲染图,并将它们输入到深度学习模型中
客户简介 • 本案例中通过TensorRT加速夸克浏览器视频图像相关模型的预测性能,比如待上线业务的相关流程整体性能达不到线上要求,通过对全流程的优化以及使用NVIDIA TensorRT加速模型后,最终整体性能由10s级别降到400ms内,其中模型性能加速1~3倍,显存占用下降50%。 • 本案例主要应用到NVIDIA TensorRT、NVIDIA Nsight Systems Case Introduction • In this case, TensorRT was used to accelerate the prediction performance of the video image-related model. The original overall process performance did not meet the online requirements. After optimizing the entire process and using TensorRt to accelerate the model, the final overall performance was reduced from 10s to within 500ms. • The major products utilized in the case is NVIDIA TensorRT、NVIDIA Nsight Systems 客户简介及应用背景 夸克浏览器是阿里旗下的一个搭载极速AI引擎的高速智能浏览器。夸客以极速智能搜索为定位,致力于为用户提供交互更智能高效、内容更专业权威的新一代搜索引擎,同时也在产品极致体验上不断