英伟达发布 AI 框架 Flextron，支持灵活AI模型部署

品玩7月18日讯，据 marktechpost 报道，英伟达和德克萨斯大学奥斯汀分校的研究人员推出了新型灵活模型架构和训练后优化框架 FLEXTRON。

FLEXTRON 旨在支持适应性模型部署，无需额外的微调，从而解决传统方法效率低下的问题。该架构采用嵌套弹性结构，可在推理过程中根据特定的延迟和准确度目标进行动态调整。这种适应性使在各种部署场景中使用一个预先训练好的模型成为可能，从而大大减少了对多个模型变体的需求。

FLEXTRON 通过样本效率高的训练方法和先进的路由算法，将预先训练好的 LLM 转变为弹性模型。转换过程包括对网络组件进行排序和分组，以及训练路由器，根据用户定义的限制条件（如延迟和准确性）管理子网络选择。这种创新方法使模型能够在推理过程中自动选择最佳子网络，确保在不同计算环境下都能实现高效、准确的性能。