调大模型接口?还是手撸Harness工程!
大多数AI应用都始于简单的“调接口”:前端提问,后端调用大模型API返回结果。但当应用深入,问题接踵而至:AI没有记忆,无法关联上下文;没有知识库,面对业务问题只能“一本正经地胡说八道”;业务模块间LLM调用代码重复,难以维护。
这指向一个结论:AI应用需要的不只是“调接口”,而是一个“Harness工程”——AI能力的编排层。今晚我进行了一次将Spring Boot React聊天系统从“调接口”升级为“Harness工程”的实战,完成了设计模式重构、RAG知识库、对话记忆、多模态增强四大改造。
升级后的架构分为四层:业务层只关心业务逻辑;Harness编排层负责“检索-记忆-生成”流程;外观层统一LLM调用入口,收敛横切逻辑;策略层封装不同模型供应商的调用差异。
通过策略 工厂 外观模式重构,消除了约740行重复代码,业务层代码减少37%,LLM调用入口从4个收敛为1个。RAG知识库让AI能基于PDF、Word等文档回答问题;两层记忆架构(Redis短期记忆 Milvus长期记忆)让AI从“金鱼记忆”变为能记住用户一个月前的对话。此外,还增强了图片拖拽、语音输入/朗读、重新生成、停止生成、对话摘要等体验。
这次升级带来了显著的量化与质化收益:AI记忆从10分钟变为永久,支持了知识库,服务器内存释放约180MB;同时,系统的可扩展性、可测试性、可观测性、用户体验和运维友好度都得到极大提升。
AI应用的竞争,已从“谁的模型更强”转向“谁的工程化做得更好”。Harness工程的核心,是在LLM和业务间建立编排层,将通用模型打造成“懂你业务的专属AI”。架构底子打好,后续演进才能更快、更稳。
-
08.29
无法分类的AI专利
-
08.29
原神托马大招怎样实现无限套盾
-
08.29
掌握识别excel表格中重复数据的高效技巧与做法
-
08.29
王者万象棋女娲出装攻略
-
08.29
掌握这些实用技巧,让你在Excel中快速查找数据更高效
-
08.29
敦煌飞天肖像
-
-
- AI 动效标注:把“丝滑一点”翻译成可实现参数
- 08.29
-
- 调大模型接口?还是手撸Harness工程!
- 08.29
-
-
-
- 斗罗大陆诛邪传说新增了哪些兽魂
- 08.29
-
-
下载
- |
-
-
下载
- 《行尸走肉第一章》免安装中文汉化硬盘版下载
- 单机|436 MB
- 一款以动作冒险为主题的游戏
-
-
下载
- 《街头霸王X铁拳》免安装中文汉化硬盘版下载
- 单机|111MB
- 一款非常好玩的格斗游戏
-
-
下载
- |
-
-
下载
- 《暗黑破坏神3》免安装繁体中文正式版下载
- 单机|7630 MB
- 一款以角色扮演为主题的游戏
-
-
下载
- 《马克思佩恩3》免安装硬盘版下载
- 单机|27033 MB
- 一款以第三人称射击为主题的游戏