案例简介 • 本案例通过NVIDIA RIVA平台,平安科技智能服销应用组自主研发了智能客服系统,集成了语音识别、语音合成、语义理解三大智能引擎,以智能语音机器人替代传统的真人客服,实现自然的语音人机交互。 • 本案例主要应用到NVIDIA RIVA平台、NVIDIA NEMO模型训练平台。 Case Introduction • In this case, through the NVIDIA RIVA platform, Ping An Technology’s intelligent service sales application group independently developed an intelligent customer service system, which integrates three intelligent engines: speech recognition, speech synthesis, and semantic understanding. The intelligent voice robot replaces the traditional human customer service to achieve natural voice and human-computer interaction. • The major products utilized in the case are NVIDIA RIVA platform and NVIDIA NEMO model training platform. 客户简介及应用背景 平安科技是平安集团旗下的全资子公司,运用人工智能、智能认知、云计算、区块链等技术,实现对平安集团旗下的产险、寿险、银行
案例简介 • 本案例中通过使用NVIDIA T4 GPU和TensorRT,OpenGL,CUDA, CUDA/OpenGL interoperability等GPU软件技术栈,助力腾讯AI LAB虚拟人项目在人脸生成阶段达到了超过3倍的加速。 • 本案例主要应用到 NVIDIA T4 GPU,TensorRT, OpenGL,CUDA, CUDA/OpenGL interoperability等AI加速平台。 Case Introduction major products utilized in the case are NVIDIA T4 GPU, and NVIDIA AI software stack — TensorRT, CUDA, OpenGL, CUDA/OpenGL interoperability, etc. 客户简介及应用背景 腾讯AI LAB致力于打造产学研用一体的 AI 生态,主要的研究方向包括计算机视觉、语音识别、自然语言处理和机器学习,结合腾讯场景与业务优势,在社交AI,游戏AI,内容AI及平台AI等领域取得了显著的成果,技术被应用于微信、QQ、天天快报和QQ音乐等上百个腾讯产品。其中围棋AI “绝艺” 多次获得世界人工智能围棋大赛的冠军。 腾讯AI LAB打造的虚拟人,具有自然,生动且饱含情绪的表情,其背后由一套腾讯 AI Lab 自研的复杂系统支撑,系统首先要从文本中提取不同信息,包括表情、情感、重音位置、和激动程度等;之后,这些信息被输入到模型中生成,再同步生成语音、口型和表情参数,最终才有了虚拟人自然生动的表现。 客户挑战 根据虚拟人物需要表达的语言和情感,生成自然生动的人脸,是打造虚拟人重要的一个阶段。需要先渲染人脸的纹理图和渲染图,并将它们输入到深度学习模型中
一“图”胜千言:NVIDIA NIM Agent Blueprints 掀起新一轮企业生成式 AI 浪潮
生成式 AI 在网络服务中的使用引发了该技术的第一轮浪潮,各种能够帮助人们以空前速度进行写作、研究和想象的工具展现了无限的可能性。 如今,先进的开源基础模型已掀起第二轮生成式 AI 浪潮,同时,代理 AI 的进步正在提高 AI 工作流的效率和自主性。各行各业的企业都可以使用 Google Gemma、Llama 3.1 405B、Microsoft Phi、Mixtral 和 Nemotron 等模型开发自己的 AI 应用,以推动业务增长并提高生产力。 为了加快业务转型,企业需要标准的生成式 AI 工作流蓝图,例如数字人客服聊天机器人、检索增强生成、药物研发等。虽然 NVIDIA NIM 微服务能够帮助企业高效、便捷地利用这些模型,但企业生成式 AI 应用的构建过程仍然复杂,而且步骤繁多。 今天发布的 NVIDIA NIM Agent Blueprints 囊括了企业开发者构建和部署自定义生成式 AI 应用所需的一切,这些应用将对业务目标产生变革性影响。 数据驱动型企业飞轮的蓝图 NIM Agent Blueprints 是为特定用例量身定制的参考 AI 工作流,包含了使用 NVIDIA NIM 与合作伙伴微服务构建的示例应用、参考代码、自定义文档以及用于部署的 Helm 图表。 借助 NIM Agent Blueprints,开发者可以利用 NVIDIA 先进的 AI 工具以及针对每个用例的端到端开发经验,抢先创建自己的应用程序。这些蓝图可进行修改和增强,允许开发者利用信息检索以及可执行复杂任务的基于智能体的工作流。 NIM Agent Blueprints 还能帮助开发者在整个 AI 生命周期中改进应用。用户与 AI 应用的交互会产生新的数据,这些数据可用于在连续不断的学习循环中完善和增强模型,形成一个数据驱动型生成式 AI 飞轮。 NIM Agent Blueprin
案例简介 腾讯公司利用NVIDIA TensorRT推理引擎的INT8推理能力和基于知识蒸馏的QAT训练,大大加速了微信中的搜索动能,节省了约70%的计算资源。本案例主要应用到NVIDIA T4 GPU和TensorRT。 Case Introduction With the help from INT8 inference capability of NVIDIA TensorRT inference engine and knowledge-distillation-based QAT training, Tencent WeChat search is speeded up greatly. About 70% computing resources are saved. The major products utilized in the case is NVIDIA T4 GPU and TensorRT SDK. 客户简介及应用背景 随着腾讯微信的发展,微信搜索也成为其越来越重要的功能,这个功能可以用来搜索微信内部的账号、信息,以及搜索互联网上的内容。微信搜索月活跃用户数量达到五亿以上。搜索业务当中使用了大量的神经网络模型,包括自然语言理解、匹配排序等等,这些模型的训练和推理都大量依赖于NVIDIA GPU,尤其在推理方面,NVIDIA GPU及相应的解决方案都满足了业务所需的延迟和吞吐要求。 客户挑战 微信搜索业务由多个子模块构成,包括查询理解、匹配、搜索排序等等。由于搜索的业务特点,这些任务对线上服务的延迟和吞吐都十分敏感。然而在最近几年,随着算力的提升以及算法的创新,很多大型复杂的神经网络模型开始应用在这些任务上,比如BERT/Transformer等模型。 这些大模型需要的计算资源和业务上的高要求对推理端的软硬件都是很大的挑战,必须针对具体的硬件做极致的
NVIDIA CEO 黄仁勋对话 Meta CEO 马克·扎克伯格:创作者将拥有个性化的 AI 助手
在备受期待的 SIGGRAPH 2024 炉边谈话中,NVIDIA 创始人兼首席执行官黄仁勋和 Meta 创始人兼首席执行官马克·扎克伯格探讨了开源 AI 和 AI 助手的变革潜力。 扎克伯格首先宣布推出 AI Studio。这是一个新平台,允许用户创建、分享和发现 AI 角色,使数百万创作者和小型企业能够更方便地使用 AI。 黄仁勋表示:“未来,可能每家餐厅、每个网站都会使用这些 AI 功能。” 扎克伯格回应道:“就像现在每家企业都有电子邮件地址、网站和社交媒体账号一样,我认为在未来,每家企业都会拥有一个 AI。” Meta 的成功证明扎克伯格之前做了正确的事情。黄仁勋称赞扎克伯格和 Meta 是 AI 领域的领导者。 黄仁勋说:“你们在 AI 领域做了令人惊叹的工作”,他提到了 Meta 在计算机视觉、语言模型和实时翻译方面的进展。“我们都在使用 Meta 开发的 PyTorch。” 开源在推动 AI 发展中的重要性 扎克伯格强调了开源在推动 AI 发展中的重要性,并与黄仁勋共同指出开放平台对创新尤为关键。 Meta 已迅速成为 AI 领域的领导者,在各项业务中充分利用 AI。最值得关注的是 Meta AI 已被用于 Facebook、Instagram 和 WhatsApp。Meta 还在整个行业推进开源 AI 的发展,近期发布了 Llama 3.1 大模型。 该开源模型花费了大量时间和训练资源投入。这个迄今为止最大的 Llama 版本拥有 4050 亿个参数,使用 16000 多个 NVIDIA H100 GPU 进行了训练。 扎克伯格表示:“过去,推动所有改进的要素之一是每种类型的内容都有不同的模型。现在,随着模型变得更大、更通用,这种情况正在不断改善。有时我会梦想有一天,Facebook 或 Instagram 整个平台就像一个单一的 AI 模型,它将所有这些不
案例简介 • 本案例中通过使用NVIDIA T4 GPU和TensorRT,OpenGL,CUDA, CUDA/OpenGL interoperability等GPU软件技术栈,助力腾讯AI LAB虚拟人项目在人脸生成阶段达到了超过3倍的加速。 • 本案例主要应用到 NVIDIA T4 GPU,TensorRT, OpenGL,CUDA, CUDA/OpenGL interoperability等AI加速平台。 Case Introduction major products utilized in the case are NVIDIA T4 GPU, and NVIDIA AI software stack — TensorRT, CUDA, OpenGL, CUDA/OpenGL interoperability, etc. 客户简介及应用背景 腾讯AI LAB致力于打造产学研用一体的 AI 生态,主要的研究方向包括计算机视觉、语音识别、自然语言处理和机器学习,结合腾讯场景与业务优势,在社交AI,游戏AI,内容AI及平台AI等领域取得了显著的成果,技术被应用于微信、QQ、天天快报和QQ音乐等上百个腾讯产品。其中围棋AI “绝艺” 多次获得世界人工智能围棋大赛的冠军。 腾讯AI LAB打造的虚拟人,具有自然,生动且饱含情绪的表情,其背后由一套腾讯 AI Lab 自研的复杂系统支撑,系统首先要从文本中提取不同信息,包括表情、情感、重音位置、和激动程度等;之后,这些信息被输入到模型中生成,再同步生成语音、口型和表情参数,最终才有了虚拟人自然生动的表现。 客户挑战 根据虚拟人物需要表达的语言和情感,生成自然生动的人脸,是打造虚拟人重要的一个阶段。需要先渲染人脸的纹理图和渲染图,并将它们输入到深度学习模型中
客户简介 • 本案例中通过TensorRT加速夸克浏览器视频图像相关模型的预测性能,比如待上线业务的相关流程整体性能达不到线上要求,通过对全流程的优化以及使用NVIDIA TensorRT加速模型后,最终整体性能由10s级别降到400ms内,其中模型性能加速1~3倍,显存占用下降50%。 • 本案例主要应用到NVIDIA TensorRT、NVIDIA Nsight Systems Case Introduction • In this case, TensorRT was used to accelerate the prediction performance of the video image-related model. The original overall process performance did not meet the online requirements. After optimizing the entire process and using TensorRt to accelerate the model, the final overall performance was reduced from 10s to within 500ms. • The major products utilized in the case is NVIDIA TensorRT、NVIDIA Nsight Systems 客户简介及应用背景 夸克浏览器是阿里旗下的一个搭载极速AI引擎的高速智能浏览器。夸客以极速智能搜索为定位,致力于为用户提供交互更智能高效、内容更专业权威的新一代搜索引擎,同时也在产品极致体验上不断