性能提升超两倍:英伟达推出 Nemotron-Labs-TwoTower 扩散语言模型
在追求大模型生成效率的道路上,英伟达近日给出了新的解法。7月1日,英伟达正式开源了旗下最新的
传统的自回归模型在处理文本生成时,需要逐个 token 串行解码,这在面对大规模合成任务时显得效率不足。英伟达提出的“双塔”架构则另辟蹊径,将任务拆解为两个部分:一个是保持冻结状态的“上下文塔”,负责处理提示词并保留原有的语言理解能力;另一个则是经过特定训练的“去噪器塔”,专门负责并行生成并优化 token。
这种架构设计的精妙之处在于平衡了“质量”与“速度”。在2×H100GPU 的评测环境下,该模型在默认设置下成功保留了基线模型98.7% 的生成质量,而其实际生成吞吐量却实现了2.42倍的显著提升。这意味着对于需要批量生产合成文本的数据团队而言,这无疑是一款兼具高性能与高效率的利器。
在具体运作上,该模型具备极高的灵活性,支持扩散模式、模拟 AR 和标准 AR 三种解码方式,开发者可以根据任务需求自由选择。目前,该模型已作为开放权重项目发布,遵循 NVIDIA Nemotron 开放模型许可协议,完全支持商业用途。
尽管该模型在代码生成和数学推理任务上相较于原始基线有轻微性能回落,且对 GPU 显存有一定要求,但其为大模型推理加速提供了一个极具潜力的技术方向。随着人工智能应用向高频、大规模场景渗透,这种通过算法架构优化来换取生成速度的思路,正在成为模型研发的新趋势。
相关资讯
-
07.02
超自然行动组账号交易平台怎样挑选-超自然行动组账号交易平台该如何选才好
-
07.02
剑侠世界起源职业强度排行榜 剑侠世界起源那个职业厉害
-
07.02
剑侠世界起源角色删除方式 剑侠世界起源怎么删除角色
-
07.02
仙逆战天道手游全角色图鉴与详细技能说明
-
07.02
仙逆战天道活动全攻略:玩法详解及高效通关技巧
-
07.02
仙逆战天道最强技能组合搭配攻略:高效连招与实战技巧精解
游戏推荐
推荐专题
热门阅读
推荐下载
-
-
下载
- 《神剑伏魔录》(神剑风云)游戏音乐合集
- 其他游戏|7.73 MB
- 一款非常好玩的武侠闯关游戏
-
-
下载
- 《行尸走肉第一章》免安装中文汉化硬盘版下载
- 单机|436 MB
- 一款以动作冒险为主题的游戏
-
-
下载
- 《街头霸王X铁拳》免安装中文汉化硬盘版下载
- 单机|111MB
- 一款非常好玩的格斗游戏
-
-
下载
- 《生化危机:浣熊市行动》免安装中文硬盘版下载
- 单机|6310 MB
- 一款以动作射击为主题的游戏
-
-
下载
- 《暗黑破坏神3》免安装繁体中文正式版下载
- 单机|7630 MB
- 一款以角色扮演为主题的游戏
-
-
下载
- 《马克思佩恩3》免安装硬盘版下载
- 单机|27033 MB
- 一款以第三人称射击为主题的游戏