HCIE-AI：大模型压缩及部署
1.概述
本文主要介绍模型部署和压缩和一些大模型开发。
2. 目标
3. AI应用开发流程
4. 如何降低模型部署成本？
5. 模型压缩技术
5.1 小模型压缩方法
5.2 大模型压缩技术
由于Prefill是一次模型的推理，而Decoding则要反复迭代很多次，优化重点在降低带宽需求，而不是降低计算量
① KV Cache压缩技术
Streaming LLM
FastGen -- 自适应KV cache压缩
MQA与GQA
② 大模型压缩技术
LLM Pruner：高效率大模型剪枝算法
One-shot权重稀疏化：大模型权重稀疏压缩，缓解存储与访存压力
大模型PTQ量化：高效率量化，W8A8、W8A16与W4A16是典型方式
权重低比特量化：INT4量化，模型压缩4倍，提升权重搬运效率
6. 模型压缩工具介绍
ModelSlim
训练加速-模型低秩分解
训练加速-模型稀疏加速训练
推理加速-大模型量化
推理加速-大模型稀疏量化和权重压缩
推理加速-训练后量化(ONNX)
推理加速-训练后量化（MindSpore）
推理加速-模型剪枝
推理加速-模型蒸馏
7. 大模型部署框架介绍
8. 大模型应用开发
8.1 大模型应用开发流程
8.2 为什么需要RAG？
8.3 向量数据库
工作流程：
向量数据库解决的问题：
为什么使用向量数据库？
向量数据库构建
9. 总结
本文主要介绍了模型部署和压缩相关内容以及大模型应用开发，笔试占比6%。
相关资讯
-
07.12
口袋觉醒精灵升星推荐 哪些精灵值得培养
-
07.12
这关一把过2026最新兑换码—礼包码真实可用汇总
-
07.12
百炼英雄2026最新礼包码—通用最新礼包码分享
-
07.12
原神6.5前瞻礼包码汇总 最新兑换码大全
-
07.12
口袋觉醒破解版无限钻石下载—最新免内购破解内置菜单
-
07.12
洛克王国世界炫彩精灵自选怎么选 炫彩精灵选择指南
游戏推荐
推荐专题
热门阅读
推荐下载
-
-
下载
- |
-
-
下载
- 《行尸走肉第一章》免安装中文汉化硬盘版下载
- 单机|436 MB
- 一款以动作冒险为主题的游戏
-
-
下载
- 《街头霸王X铁拳》免安装中文汉化硬盘版下载
- 单机|111MB
- 一款非常好玩的格斗游戏
-
-
下载
- |
-
-
下载
- 《暗黑破坏神3》免安装繁体中文正式版下载
- 单机|7630 MB
- 一款以角色扮演为主题的游戏
-
-
下载
- 《马克思佩恩3》免安装硬盘版下载
- 单机|27033 MB
- 一款以第三人称射击为主题的游戏