社区

生成式 AI 在网络服务中的使用引发了该技术的第一轮浪潮，各种能够帮助人们以空前速度进行写作、研究和想象的工具展现了无限的可能性。 如今，先进的开源基础模型已掀起第二轮生成式 AI 浪潮，同时，代理 AI 的进步正在提高 AI 工作流的效率和自主性。各行各业的企业都可以使用 Google Gemma、Llama 3.1 405B、Microsoft Phi、Mixtral 和 Nemotron 等模型开发自己的 AI 应用，以推动业务增长并提高生产力。 为了加快业务转型，企业需要标准的生成式 AI 工作流蓝图，例如数字人客服聊天机器人、检索增强生成、药物研发等。虽然 NVIDIA NIM 微服务能够帮助企业高效、便捷地利用这些模型，但企业生成式 AI 应用的构建过程仍然复杂，而且步骤繁多。 今天发布的 NVIDIA NIM Agent Blueprints 囊括了企业开发者构建和部署自定义生成式 AI 应用所需的一切，这些应用将对业务目标产生变革性影响。 数据驱动型企业飞轮的蓝图 NIM Agent Blueprints 是为特定用例量身定制的参考 AI 工作流，包含了使用 NVIDIA NIM 与合作伙伴微服务构建的示例应用、参考代码、自定义文档以及用于部署的 Helm 图表。 借助 NIM Agent Blueprints，开发者可以利用 NVIDIA 先进的 AI 工具以及针对每个用例的端到端开发经验，抢先创建自己的应用程序。这些蓝图可进行修改和增强，允许开发者利用信息检索以及可执行复杂任务的基于智能体的工作流。 NIM Agent Blueprints 还能帮助开发者在整个 AI 生命周期中改进应用。用户与 AI 应用的交互会产生新的数据，这些数据可用于在连续不断的学习循环中完善和增强模型，形成一个数据驱动型生成式 AI 飞轮。 NIM Agent Blueprin

可定制工作流目录加快核心生成式 AI 用例的部署速度。首批用例包括客户服务、药物研发和 PDF 数据提取，未来将加入更多用例 企业可以使用 NIM Agent Blueprints 以及 NVIDIA AI Enterprise 平台中的 NIM 微服务与 NeMo 框架构建和运行他们的 AI 应用，创建数据驱动型 AI 飞轮 埃森哲、思科、戴尔科技、德勤、慧与、联想、SoftServe、World Wide Technology 等首批合作伙伴向全球企业提供 NIM Agent Blueprints 加利福尼亚州圣克拉拉—2024 年 8 月 27 日—NVIDIA 于今日发布预训练、可定制 AI 工作流目录 NVIDIA NIM™ Agent Blueprints，为数百万企业开发者提供全套软件，可为典型用例构建和部署生成式 AI 应用。目前覆盖的用例包括客服虚拟形象、检索增强生成、药物研发虚拟筛选等。 通过 NIM Agent Blueprints，开发者能够迅速开始创建使用一个或多个 AI 智能体的 AI 应用，包括使用 NVIDIA NeMo™、NVIDIA NIM 与合作伙伴微服务构建的示例应用、参考代码、自定义文档以及用于部署的 Helm 图表。 企业可以使用自己的业务数据修改 NIM Agent Blueprints，并在加速的数据中心和云中运行其生成式 AI 应用。借助 NIM Agent Blueprints，企业可以根据用户反馈不断完善其 AI 应用，形成一个数据驱动型的 AI 飞轮。 首批 NIM Agent Blueprints 现已推出，包括适用于客户服务的数字人工作流、适用于计算机辅助药物研发的生成式虚拟筛选工作流，以及适用于企业检索增强生成（RAG）的多模态 PDF 数据提取工作流。其中，多模态 PDF 数据提取工作流能够利用大量业务数据生成

全球最大人工智能社区之一 Hugging Face 平台上的 400 万开发者在一些最热门的 AI 模型上可轻松获得 NVIDIA 加速推理。 借助新的推理即服务能力，开发者将能够快速部署 Llama 3 系列和 Mistral AI 模型等领先的大语言模型，并使用运行在 NVIDIA DGX Cloud 上的 NVIDIA NIM 微服务进行优化。 这项服务于今日在 SIGGRAPH 大会上发布，它将帮助开发者利用托管在 Hugging Face Hub 上的开源 AI 模型快速建立原型并将其部署在生产中。Enterprise Hub 用户可以利用 NVIDIA NIM 进行无服务器推理，以提高灵活性，尽可能降低基础设施用度并优化性能。 推理服务补充了在 DGX Cloud 端的训练（Train on DGX Cloud），一种已在 Hugging Face 上提供的 AI 训练服务。 由于开发者面对着越来越多的开源模型，可供其轻松比较各种选项的资源中心会非常有帮助。这些训练和推理工具为 Hugging Face 开发者提供了在 NVIDIA 加速基础设施上试验、测试和部署先进模型的新方法。它们可以通过 Hugging Face 模型卡上的“训练”和“部署”下拉菜单轻松访问，用户只需点击几下就能轻松使用这些功能。 开始使用由 NVIDIA NIM 提供支持的推理即服务。 不仅限于 Token 层面的提升 — NVIDIA NIM 带来巨大优势 NVIDIA NIM 是一系列 AI 微服务（包括 NVIDIA AI 基础模型和开源社区模型）的集合，而且已使用行业标准应用编程接口 (API) 针对推理进行了优化。 NIM 为用户带来更高的 token 处理效率 — token 是语言模型使用和生成的数据单位。经优化的微服务还能改善底层 NVIDIA DGX Cloud 基础架

丹佛—SIGGRAPH—当地时间 2024 年 7 月 29 日——NVIDIA 于今日发布通用场景描述 (OpenUSD) 的重大成果。这将扩大这一通用 3D 数据交换框架在机器人、工业设计和工程领域的应用，提高开发者为AI新一轮发展构建高精度虚拟世界的能力。 通过基于 OpenUSD 的全新生成式AI，以及在 NVIDIA Omniverse 平台构建的 NVIDIA 加速的开发框架，越来越多的行业现在能够开发出用于可视化工业设计和工程项目的应用，以及用于构建新一代物理 AI 和机器人的环境仿真的应用。 新推出的内容包括适用于AI模型的 NVIDIA NIM™ 微服务，这些微服务可生成回答用户查询的 OpenUSD 语言、生成 OpenUSD Python 代码、将材质应用于 3D 物体、理解 3D 空间和物理学以帮助加快数字孪生的开发等。其他还包括可用于机器人和工业仿真数据格式的全新 USD 连接器，以及各种开发者工具，用户可通过它们将海量 NVIDIA RTX™ 全光线追踪数据集传输到 Apple Vision Pro。 NVIDIA Omniverse 与仿真技术副总裁 Rev Lebaredian 表示：“重工业的生成式 AI 潮已经到来。直到最近，数字世界的主要用户还是创意行业；而现在，借助 NVIDIA NIM 微服务为 OpenUSD 带来的增强功能和可访问性，各个行业都可以创建基于物理学的虚拟世界和数字孪生，在加快创新的同时，为机器人这次新一轮 AI 技术热潮做好准备。” 通过 NVIDIA NIM 将生成式 AI 应用于 USD NVIDIA 开发的全球首个用于 OpenUSD 开发的生成式 AI 模型将以 NVIDIA NIM 微服务 的形式提供。借助这些模型，开发者能够将生成式 AI copilot 和智能体整合到 USD 工作流中，拓宽 3D 世

在备受期待的 SIGGRAPH 2024 炉边谈话中，NVIDIA 创始人兼首席执行官黄仁勋和 Meta 创始人兼首席执行官马克·扎克伯格探讨了开源 AI 和 AI 助手的变革潜力。 扎克伯格首先宣布推出 AI Studio。这是一个新平台，允许用户创建、分享和发现 AI 角色，使数百万创作者和小型企业能够更方便地使用 AI。 黄仁勋表示：“未来，可能每家餐厅、每个网站都会使用这些 AI 功能。” 扎克伯格回应道：“就像现在每家企业都有电子邮件地址、网站和社交媒体账号一样，我认为在未来，每家企业都会拥有一个 AI。” Meta 的成功证明扎克伯格之前做了正确的事情。黄仁勋称赞扎克伯格和 Meta 是 AI 领域的领导者。 黄仁勋说：“你们在 AI 领域做了令人惊叹的工作”，他提到了 Meta 在计算机视觉、语言模型和实时翻译方面的进展。“我们都在使用 Meta 开发的 PyTorch。” 开源在推动 AI 发展中的重要性 扎克伯格强调了开源在推动 AI 发展中的重要性，并与黄仁勋共同指出开放平台对创新尤为关键。 Meta 已迅速成为 AI 领域的领导者，在各项业务中充分利用 AI。最值得关注的是 Meta AI 已被用于 Facebook、Instagram 和 WhatsApp。Meta 还在整个行业推进开源 AI 的发展，近期发布了 Llama 3.1 大模型。 该开源模型花费了大量时间和训练资源投入。这个迄今为止最大的 Llama 版本拥有 4050 亿个参数，使用 16000 多个 NVIDIA H100 GPU 进行了训练。 扎克伯格表示：“过去，推动所有改进的要素之一是每种类型的内容都有不同的模型。现在，随着模型变得更大、更通用，这种情况正在不断改善。有时我会梦想有一天，Facebook 或 Instagram 整个平台就像一个单一的 AI 模型，它将所有这些不

NVIDIA 创始人兼首席执行官黄仁勋表示，深度植根于视觉计算的生成式 AI 正在增强人类的创造力，而加速计算有望显著提高能源效率。 本周在丹佛市举行的 SIGGRAPH 专业图形大会是探讨未来发展的绝佳场所。 “每个人都将拥有 AI 助手，”黄仁勋表示，“每家企业，每个岗位，都将拥有 AI 助手。” 生成式 AI 有望提高人类生产力，其所依赖的加速计算技术也将让计算更加节能，黄仁勋表示。 “加速计算可以节省 20 倍甚至 50 倍的能耗，而且能完成同样的处理工作，”黄仁勋表示。“作为社会的一分子，我们首先要做的就是加速所能加速的每一个应用，进而减少全球能耗。” 伴随这次对话，NVIDIA 发布了一系列创新技术。 NVIDIA 推出了一套全新的 NIM 微服务，专门针对不同工作流提供定制服务，包括 OpenUSD、3D 建模、物理学、材质、机器人、工业数字孪生和物理 AI。这些更新旨在赋能开发人员，特别是在 DGX Cloud 上集成 Hugging Face 推理即服务。 此外，Shutterstock 还推出了一项生成式 3D 服务，Getty Images 通过利用 NVIDIA Edify 技术升级了其产品。 在 AI 和图形领域，NVIDIA 发布了全新的 OpenUSD NIM 微服务和参考工作流，专为生成式物理 AI 应用而设计。 这包括一项通过面向机器人仿真的全新 NIM 微服务来加速人形机器人开发计划。 全球最大的广告公司 WPP 还正在为可口可乐公司使用 Omniverse 驱动的生成式 AI，进而提升品牌真实性，同时展现了 NVIDIA 的 AI 技术进步在各行各业的实际应用。 黄仁勋和 Goode 首先探讨了视觉计算如何推动诸多技术的崛起，从电脑游戏到数字动画、GPU 加速计算再到最近由工业级 AI 工厂驱动的生成式 AI。所有这些进步都是相辅相成的

丹佛—SIGGRAPH—当地时间 2024 年 7 月 29 日—为加速全球人形机器人的发展，NVIDIA 于今日宣布，为全球领先的机器人制造商、AI 模型开发者和软件制造商提供一套服务、模型以及计算平台，以开发、训练和构建下一代人形机器人。 整套产品包括用于机器人仿真和学习的全新 NVIDIA NIM™ 微服务和框架、用于运行多阶段机器人工作负载的 NVIDIA OSMO 编排服务，以及支持 AI 和仿真的远程操作工作流，该工作流允许开发者使用少量人类演示数据来训练机器人。 NVIDIA 创始人兼首席执行官黄仁勋表示：“AI 的下一波浪潮是机器人，其中最令人兴奋的发展之一是人形机器人。我们正在推进整个 NVIDIA 机器人堆栈的发展，面向全球人形机器人开发者和公司开放访问，让他们能够使用最符合其需求的平台、加速库和 AI 模型。” 借助 NVIDIA NIM 和 OSMO 加速开发 NIM 微服务提供了由 NVIDIA 推理软件提供支持的预构建容器，使开发者能够将部署时间从数周缩短到几分钟。机器人专家将能够通过两项新的 AI 微服务，在 NVIDIA Isaac Sim™（基于 NVIDIA Omniverse™ 平台构建的机器人仿真参考应用）中增强生成式物理 AI 仿真工作流。 MimicGen NIM 微服务可根据 Apple Vision Pro 等空间计算设备记录的远程操作数据，生成合成运动数据。Robocasa NIM 微服务可在 OpenUSD（一个用于在 3D 世界中进行开发和协作的通用框架）中生成机器人任务和仿真就绪环境。 现已推出的 NVIDIA OSMO 是一项云原生托管服务，允许用户跨分布式计算资源来协调和扩展复杂的机器人开发工作流，无论是在本地还是在云端。 OSMO 大大简化了机器人训练和仿真工作流，将部署和开发周期从数月缩短到一周内。用户可以对各

已有数以百万的用户在借助生成式 AI 进行写作和学习。现在，这项技术还可以帮助他们更有效地探索物理世界。 NVIDIA 在 SIGGRAPH 上宣布了生成式物理 AI 方面的进展，包括 NVIDIA Metropolis 参考工作流和全新的 NVIDIA NIM 微服务，前者用于打造交互式视觉 AI 智能体，后者能够协助开发者训练物理机器，并可让它们更好地处理复杂任务。  具体包括三个 fVDB NIM 微服务，这些微服务支持 NVIDIA 针对 3D 世界开发的全新深度学习框架，此外还包括能够与通用场景描述 (也就是 OpenUSD) 配合使用的 USD Code、USD Search 和 USD Validate NIM 微服务。 NVIDIA OpenUSD NIM 微服务能够与全球首个用于 OpenUSD 开发的生成式 AI 模型（同样由 NVIDIA 开发）搭配使用，使开发者能够将生成式 AI copilot 和智能体纳入到 USD 工作流程，并拓宽 3D 世界的可能性。 NVIDIA NIM 微服务将改变物理 AI 的格局 物理 AI 使用先进的仿真和学习方法，能够帮助机器人和其他工业自动化设备更有效地感知、推理和探索周围环境。该技术正在改变着制造、医疗健康等行业，并通过能够更自主、更精确运作的机器人、工厂和仓库技术、手术 AI 智能体和汽车推动智能空间的发展。 NVIDIA 提供广泛的 NIM 微服务，这些微服务是针对特定模型和行业领域定制的。NVIDIA 面向物理 AI 量身定制的 NIM 微服务套件支持语音和翻译、视觉和智能，以及逼真的动画和行为方面的功能。 借助 NVIDIA NIM，将视觉 AI 智能体转变为远见者 视觉 AI 智能体使用计算机视觉功能来感知物理世界、与物理世界交互并执行推理任务。 具有高度感知和交互能力的视觉 AI 智能体由

作为中国新能源汽车制造商和造车新势力头部企业之一，理想汽车深耕智能驾驶领域。通过利用 NVIDIA 从云端到车端的全方位加速解决方案，理想汽车在采用系统 1 和系统 2 思维的融合策略下，加速模仿人类驾驶决策过程，提升了智能驾驶对复杂交通环境的适应性。同时，NVIDIA 利用云端训练和推理，助力理想汽车的 AI 助手“理想同学“在智能座舱中提供三维空间交互体验，打造了更加自然和个性化的车内空间。  未来交通运输业需要智能化的解决方案 智能驾驶技术正与人类的认知和决策过程相结合，开创未来交通运输业的新时代。通过端到端模型和大语言模型等先进技术的应用，智能驾驶系统能够更加精准地理解周围环境，做出快速而安全的决策。这些技术不仅提高了交通的智能化水平，还增强了车辆对复杂路况的适应能力，从而为用户带来更高效、安全的出行体验。  在探索智能驾驶技术的过程中，理想汽车对于结合直觉式快速反应（系统 1）与深度思考（系统 2）具有独特见解。为了应对未知和极端驾驶场景，理想引入了知识驱动的新范式，利用多模态视觉语言模型，开发了一套融合了基础世界知识和逻辑思维的认知模型（VLM）和一个能够自动进行新模型车端验证的开发系统，增强了智能驾驶的认知和决策能力，并加速了系统的迭代和优化。以此赋予智能驾驶系统更深层次的世界认知和常识推理能力。  在 NVIDIA 的帮助下，理想汽车能够在系统之上优化数据的使用及生成，提升智能驾驶技术的开发效率和性能表现。如对理想 L9 车型的数据进行重建和动态编辑，有效利用历史数据，提高了数据处理的效率和模型训练的泛化能力。  NVIDIA 的 TRT-LLM 框架为大模型提供了高效的推理能力，能支持在 DRIVE Orin 平台上运行复杂的神经网络模型。NVIDIA DRIVE Replicator 能够合成稀有场景数据，帮助智能

编者注：本文属于《解码 AI》系列栏目，该系列的目的是让技术更加简单易懂，从而解密 AI，同时向 NVIDIA RTX PC 和工作站用户展示全新硬件、软件、工具和加速特性。 AI 为计算领域带来了深远的改变。虽然最近的焦点是生成式 AI，但多年来，由 NVIDIA RTX 提供支持的 AI 加速工具也在改善游戏、内容创作和工作效率方面起到了关键作用。 NVIDIA Broadcast 应用程序就是一个例子，它可使用本地 RTX GPU 上的 Tensor Core 不间断地提升音频和视频质量。通过将这款应用与 GeForce RTX 和 NVIDIA RTX GPU 内置的 NVIDIA 编码器 (NVENC) 搭配使用，您可轻松上手直播，或在视频会议通话中尽展专业风范。 助力实现“直播梦” 一直以来，要实现高质量的直播，就离不开昂贵硬件的支持。许多主播常用 x264 软件库的软件 CPU 编码，而这通常会影响游戏体验。这便导致许多主播使用双 PC 设置：一台 PC 专注于游戏和内容，另一台负责视频编码与串流。这种设置组装起来很复杂，还很难进行故障排除，而且其价格对于新人主播来说通常过于高昂。 NVENC 可应对上述问题。它是 NVIDIA GPU 上的专用硬件视频编码器，负责处理视频编码，以便释放系统的其余资源来专注于游戏和内容的性能。Open Broadcaster Software (OBS) 等行业领先的直播应用正在添加对 NVENC 的支持，为虎牙和 Bilibili 等热门平台上的新一代主播铺平道路。 同时，NVIDIA Maxine 还可帮助解决设备昂贵的问题。它包含免费的 AI 增强功能，例如虚拟绿幕和基于网络摄像头的增强现实追踪。有了这些功能，用户便无需使用物理绿幕或动作捕捉套件等特殊设备。主播们曾在 2019 年的 TwitchCon 大会上首次体验到