英伟达开源 TwoTower AI 模型：保留 98.7% 质量：Token 生成提速 2.42 倍
本站 7 月 3 日消息，英伟达昨日（7 月 2 日）发布博文，宣布推出 Nemotron-Labs-TwoTower，是一种基于预训练自回归骨干网络的离散扩散语言模型，致力于解决大模型 Token 生成速度瓶颈。
在开源方面，该模型以开源权重形式在 Huggingface 平台发布，授权协议为 NVIDIA Nemotron Open Model License。
参数方面，该模型总参数为 60B，采用双塔（TwoTower）架构，包括 30B 的自回归模型（AR）/context Tower 和 30B 的扩散 / 降噪 Tower，每个 Tower 激活 3B 模型，128 个可路由专家。
架构方面，TwoTower 最大的亮点，在于拆分传统扩散语言模型中的网络任务，将文本生成任务中的上下文表示与去噪过程分离到两个独立的神经网络“塔”中。
其中一个塔（上下文塔）保持冻结，专注于维护文本的自回归上下文；另一个塔（去噪器塔）经过训练，负责对噪声块进行去噪，两个塔通过逐层交叉注意力连接协作。
性能方面，英伟达表示从综合基准测试质量来看，双塔架构保留 98.7% 的质量表现，但是实际运行时间吞吐量提高了 2.42 倍。本站附上相关测试结果如下：
相关资讯
-
07.04
猎风传说猎鹰剑豪玩法分享 猎风传说猎鹰剑豪玩法技巧
-
07.04
猎风传说阵容搭配指南 猎风传说阵容怎样搭配
-
07.04
黑心装修队好玩吗 黑心装修队玩法介绍
-
07.04
飞升者好玩吗 飞升者玩法说明
-
07.04
猎风传说熔岩晶龙怎么样 猎风传说熔岩晶龙特点
-
07.04
猎风传说禁域雪灵怎么样 猎风传说禁域雪灵强不强
游戏推荐
推荐专题
热门阅读
推荐下载
-
-
下载
- 《神剑伏魔录》（神剑风云）游戏音乐合集
- 其他游戏|7.73 MB
- 一款非常好玩的武侠闯关游戏
-
-
下载
- 《行尸走肉第一章》免安装中文汉化硬盘版下载
- 单机|436 MB
- 一款以动作冒险为主题的游戏
-
-
下载
- 《街头霸王X铁拳》免安装中文汉化硬盘版下载
- 单机|111MB
- 一款非常好玩的格斗游戏
-
-
下载
- 《生化危机：浣熊市行动》免安装中文硬盘版下载
- 单机|6310 MB
- 一款以动作射击为主题的游戏
-
-
下载
- 《暗黑破坏神3》免安装繁体中文正式版下载
- 单机|7630 MB
- 一款以角色扮演为主题的游戏
-
-
下载
- 《马克思佩恩3》免安装硬盘版下载
- 单机|27033 MB
- 一款以第三人称射击为主题的游戏