DeepSeek前实习生魔改MoE：用迭代机制把内存需求砍了42%：团队：“免费午餐”优化方法
还有网友已经开始预测下一代架构了。
CoE究竟长啥样？以下是团队发布的Notion Blog介绍。
CoE专门针对稀疏MoE打造
CoE关键创新在于建立沟通性处理机制，改变了稀疏神经网络的信息处理方式。
具体来说，是通过在单个层的迭代中将MoE输出反馈为多次迭代的输入来实现的。
CoE迭代处理机制可以形式化表示为下面这个样婶儿：
参考DeepSeek-V2的实现，研究团队定义门控机制为如下：
团队介绍，这种设计的好处在于每次迭代的专家选择由前一次迭代的输出决定，形成专家间的依赖关系和更动态的路由机制。
而且串行信息可以在迭代过程中累积，实现专家间的直接通信。
实验采取DeepSeek V2架构，在参数规模为500M的MoE模型上使用32K Tok的batch size训练1000步，以此来验证CoE的有效性。
结果CoE在性能、扩展策略、资源效率优化、专家组合自由度、专家使用效率方面具有显著优势。
除了开头所展示的在相似的算力和内存要求下，CoE将loss从1.20下降至1.12，且有更陡峭的下降趋势。
团队进一步在“dense”（专家8选8）模型上也进行了测试，结果证明了串行处理在Sparse MoE上相比Dense模型更有效，CoE是一种专为（细粒度）稀疏混合专家模型（Sparse MoE）设计的方法。
采取2次序列化处理并不能显著提升Dense模型性能。
另外，在计算量和效果相似的情况下，CoE可以减小对内存的要求。如下，CoE-2（4/48）的效果与MoE（8/64）相近，但使用更少的总专家数量。loss match的情况下减小了17.6%的内存需求。
团队还对比了在预算相似的情况下，扩展CoE迭代次数和扩展模型层数、扩展专家选择个数的效果，结果扩展CoE迭代次数更优。
CoE-2（8/64）,4层 vs MoE（8/64）,8层/12层，8层MoE和CoE效果几乎相同，但是对内存要求高72%，即CoE相对节省了42%内存。
团队强调，独立门控机制和内残差连接是CoE的关键架构创新，消融研究表明，移除任何组件都会显著降低性能。
更多细节，感兴趣的童鞋可以查看技术报告原文～
谁造的？
CoE由一个5人组成的团队提出。
Zihan Wang是美国西北大学计算机科学专业博士生，本科毕业于中国人民大学高瓴人工智能学院，研究聚焦于基础模型的自主性、效率以及长上下文理解。
Zihan Wang曾在DeepSeek工作过，是ESFT（Expert-Specialized Fine-Tuning）的论文一作。
ESFT通过仅调整与任务相关的部分高效地定制采用MoE，从而在减少资源和存储使用的同时提升效率和性能。
CoE不是Zihan Wang第一次针对DeepSeek搞的“变体”。
之前他还曾基于verl复现了DeepSeek-R1（-Zero）框架——RAGEN （Reinforcement learning AGENt），在GitHub揽星近1k：
Zihan Wang师从Manling Li。Manling Li是西北大学计算机科学系助理教授，此前曾在吴佳俊教授的指导下工作，并得到李飞飞教授的指导。
RAGEN的贡献者名单中也有Manling Li、吴佳俊、李飞飞的身影。
-
07.11
火影忍者手游侠隐佐助怎么样 火影忍者手游侠隐佐助解析
-
07.11
火影忍者手游五影会谈斑强度如何 火影忍者手游五影会谈斑介绍
-
07.11
火影忍者手游安卓手机版百战鼬介绍 火影忍者手游安卓手机版百战鼬表现如何
-
07.11
火影忍者手游神农怎么样 火影忍者手游神农技能说明
-
07.11
火影忍者手游百战鼬怎么样 火影忍者手游百战鼬技能详解
-
07.11
火影忍者手游漩涡鸣人暴怒第六尾怎么玩 火影忍者手游六尾鸣人技能全介绍
-
-
下载
- |
-
-
下载
- 《行尸走肉第一章》免安装中文汉化硬盘版下载
- 单机|436 MB
- 一款以动作冒险为主题的游戏
-
-
下载
- 《街头霸王X铁拳》免安装中文汉化硬盘版下载
- 单机|111MB
- 一款非常好玩的格斗游戏
-
-
下载
- |
-
-
下载
- 《暗黑破坏神3》免安装繁体中文正式版下载
- 单机|7630 MB
- 一款以角色扮演为主题的游戏
-
-
下载
- 《马克思佩恩3》免安装硬盘版下载
- 单机|27033 MB
- 一款以第三人称射击为主题的游戏