NVIDIA 和 Hugging Face 打通 Diffusers 大规模微调
NVIDIA 与 Hugging Face 发布集成方案:NeMo Automodel 可直接微调 Hugging Face Hub 上的 Diffusers 格式模型,无需在训练格式与推理格式之间转换检查点,也不必为每个新模型重写训练脚本。该集成以 Apache 2.0 开源,并可把训练后的权重直接放回 DiffusionPipeline 及既有生态。
NeMo Automodel 基于 PyTorch DTensor,支持通过配置切换 FSDP2、张量并行、专家并行、上下文并行和流水线并行。当前聚焦 flow-matching 模型,并提供潜变量预编码和多分辨率分桶加载。现成配方覆盖 Wan 2.1/2.2、FLUX.1-dev、FLUX.2-dev、HunyuanVideo 1.5 与 Qwen-Image;其中 Wan 2.1 1.3B 可放入单张 40GB A100,FLUX.2-dev 为 32B 参数。
文中演示流程分为四步:预编码数据集、使用既有 YAML 启动训练、从完整检查点生成结果,以及测量性能。以 8 张 H100 80GB 为例,FLUX.1-dev 全量微调的图像吞吐为每卡约 4.44 张/秒,LoRA 为约 6.72 张/秒。方案同时支持全量微调与 LoRA,便于在质量、成本与集群规模间取舍。
相关资讯
-
10.18
vue3中的事件修饰符完整指南
-
10.17
Codex CLI 登录失败排查流程:从命令状态、浏览器回调到脱敏支持记录实用指南
-
10.17
Redis基础篇之特性、使用场景与配置指南实用指南
-
10.17
WSL2+Docker+Ollama本地部署大模型思路和实践指南(Qwen1.8b)实用指南
-
10.17
Codex手写自动重试工具:解决capacity与overloaded报错的实用方案实用指南
-
10.17
DeepSeek Harness热门插件盘点:10个实用插件,覆盖多Agent、上下文和多模态实用指南
游戏推荐
推荐专题
热门阅读
-
-
- 燕云十六声尚能饭成就攻略 成就尚能饭如何完成
- 07.18
-
-
-
-
推荐下载
-
-
下载
- |
-
-
下载
- 《行尸走肉第一章》免安装中文汉化硬盘版下载
- 单机|436 MB
- 一款以动作冒险为主题的游戏
-
-
下载
- 《街头霸王X铁拳》免安装中文汉化硬盘版下载
- 单机|111MB
- 一款非常好玩的格斗游戏
-
-
下载
- |
-
-
下载
- 《暗黑破坏神3》免安装繁体中文正式版下载
- 单机|7630 MB
- 一款以角色扮演为主题的游戏
-
-
下载
- 《马克思佩恩3》免安装硬盘版下载
- 单机|27033 MB
- 一款以第三人称射击为主题的游戏