怎样破解大模型的“金鱼记忆”难题
从持续理解业务、沉淀经验到交付结果,记忆能力让Agent成为智能伙伴,而不再停留于“用完即忘”的单点工具。
图片由AI生成
你或许也经历过这种情况:向客服机器人说明了许久个人信息、诉求和喜好,经过好几轮交流后再次打开对话框,它却礼貌地问:“请问有什么可以帮到你?”
如果换个模型、换个Agent,再一股脑提交上数十页的文档素材,无论反复输入怎样的提示词,你会发现,AI输出的可能只有开头和结尾的内容,对于中间说了什么,它其实并不记得。
AI虽然聪明,遗忘问题却同样明显。这不是用户的错觉,而是当前大模型“无状态交互”存在的结构性缺陷:每轮对话结束,全部历史信息都会被清除。
这种遗忘造成的不只是体验割裂。在企业级应用中,用户为了保持上下文连贯,不得不反复输入历史对话,导致Token持续高消耗、计算负荷增加,大量资源被浪费在低质量沟通上。
当AI产业逐渐告别单纯堆叠参数与算力竞争,业内开始关注一个更本质的问题:大模型记忆的重点并非知道得更多,而是如何有效记住并理解。
这也是红熊AI坚持探索了两年的答案。
AI越聪明,反而越健忘?
从根本上说,记忆与幻觉一样,都是大模型的先天缺陷,由多项技术限制共同造成:模型自身的上下文窗口限制和注意力衰减,会使长对话中的早期关键信息被遗忘;对相似信息区分不足、冲突信息引发逻辑混乱,又会令模型只能作出含糊或错误的回答。
作为外 挂记忆产品的早期方案,包括RAG检索增强生成和向量数据库——聊天记录只是被简单存储,等到任务触发后再以文本形式检索并投喂模型,记忆无法得到自主管理。因此,这既算不上真正的长上下文,更无法“记住”。
2024年9月,红熊AI在落地AI客服营销场景时发现,客户再次咨询后,AI完全不记得上一次交互。客户每次都要重新说明问题、提供账户信息和交代背景,这严重限制了个性化服务场景的业务准确率。
团队最初测试了市面上的所有主流方案,包括大模型微调、知识库增强和Agent框架搭建,经历多番尝试后,准确率才从30%勉强升到70%。但在红熊AI创始人兼CEO温德亮看来,70分准确率的产品仍远未及格。
那段时期,温德亮带领核心团队查阅大量学术论文并尝试多种方案,最终意识到:核心问题或许不是模型智能不足,而是缺少记忆。大模型固有的“近因效应”,可能才是幻觉及业务断层的根源。或许可利用“类人脑记忆”驱动推理,通过记忆约束用户提问的上下文,从而显著提高模型回答的准确率。
为了让回复始终沿记忆推导,团队后来设计动态记忆锚点,使用户的每一次提问都受到上下文约束。经过多轮尝试,业务准确率一路从70%升到90%,最后在98%以上保持稳定。
这次项目成功彻底改变了红熊AI的创业方向,团队开始专注于“记忆”赛道,短期内便实现净利润,500多家企业客户也迅速给予认可。近日,红熊AI完成数亿元A+轮融资的消息正式宣布,投后估值为30亿元。
全球两大长期记忆权威评测榜单 LoCoMo、LongMemEval,目前分别由取得91.54%和95.0%成绩的红熊AI领跑。这意味着其记忆能力既经受了产业侧验证,又获得学术界最高认可。
LoCoMo测评结果
LongMenEval测评结果
从单点走向全栈,将记忆建设为基础设施
“许多企业可能选错了路径。AI记忆机制应当形成于和人的持续互动中,而不能只依靠预训练或数据的单向输入。”
温德亮认为,AI正在朝着“人”的方向继续发展,深入层面将涵盖脑科学、认知乃至记忆。AI若要像人一样学习成长,并更加符合第一性原理,记忆就会在这一进程中成为下一代AI的核心基础设施。
记忆机制与大模型底层架构的深度融合,是这一路线的核心。红熊AI在技术上构建分层记忆体系MemoryBear(记忆熊),以人类大脑的认知机制为参照,对记忆作出“瞬时记忆—工作记忆—长期/永久记忆”存储体系。为了模拟人类记忆的遗忘与巩固过程,系统加入自我反思引擎和智能管理机制;内置的自动遗忘机制+3D反思机制两大仿生机制,还会自主清除过时、错误信息,实现AI“选择性记忆”,随着交互时间增长,识别有效信息的能力也会增强。
完整记忆处理按三步展开:1、萃取:过滤海量对话交互中的无效冗余内容,筛选并提取高价值情境事实;2、关联:通过知识图谱进行存储,把不同用户记忆点及不同场景组织为网状关联关系;3、匹配:采用混合检索机制,精准调用关键信息,并快速找到当前任务需要的历史记忆。
在Agent从“问答工具”转向“可交付结果的智能伙伴”的进程中,核心基础设施正在取代记忆原本的边缘能力定位,红熊AI不断延伸业务场景也印证了这一点。红熊AI在产品架构上陆续构建面向企业培训、ChatBI、智能营销和智能客服等场景的Agent应用。它从最初的客服场景出发,先覆盖售前、售中、售后的客服营销,继而进入企业员工培训与数据分析ChatBI场景;每次场景扩展,均由客户真实需求推动。
OpenBear(通用全模态大模型)与CodeBear(记忆型编程大模型)也是红熊AI自研成果。作为AI超级员工的入口,前者像当下的Workbuddy一样扮演AI操作员;后者针对工程化开发任务重的核心难点,希望解决任务中断,以及任务项目背景、项目方式发生极大变化时因记忆无法续接而造成的工程代码偏差。
对红熊AI来说,这两款模型目前或许没有很高的市场预期,但研发已成为现阶段必须完成的事情。温德亮指出,B端客户并不在意软件企业使用哪种模型,更关注核心问题能否解决。以高并发的客服场景为例,业务量猛增时,如果上游模型厂商无法及时响应并发需求,软件企业就无法弹性扩容,继而影响下游客户体验,“我们之所以被迫自研,根源在于这种需求时长无法获得满足。”
记忆怎样改变Agent时代的规则
年初以来,业内频繁讨论“记忆”并对其价值形成逐渐认可。然而面对范围更广的企业与行业场景,怎样让记忆真正落地并融入自身业务,客户依旧找不到清晰的参考路径。
温德亮表示,客户实际落地时遇到的挑战非常具体:行业专属数据Know-how、差异化业务流程以及侧重点各异的客户话术体系,怎样转化为经验、沉淀成知识并让模型有效理解;与此同时,模型迭代还可能稀释已有知识,各类技术难点不断出现。
同时,不少客户仍用传统软件标准衡量AI效果,业务精准度、AI问题解决率和业务转化率等依旧属于传统业务指标。记忆的最终价值仍需体现为实际业务结果,包括缩短执行时间、提高精准度和改善用户满意度。
对客户来说,AI落地通常需要重新梳理业务流程、实施数据治理并明确定义交付结果。例如模型“偏好”的数据,通常与业务系统实际给出的数据存在差异,同时每家企业的情况也各不相同。
此外,记忆机制虽然可以降低Token消耗,却会增加推理时延。在准确率得到保证的情况下,延迟将从800毫秒上升至约1.8秒,这是红熊AI目前能够达到的最优水平。关键是让客户拥有选择权:选择更快响应但接受略低准确率,或接受稍慢速度以获得更精准结果,均由客户根据具体场景决定。
谈到红熊AI的壁垒,温德亮认为,AI原生软件与以往软件有本质差异。传统软件依靠硬编码,业务逻辑固定在代码中,跨行业复用能力低,基本需要定制开发;AI原生应用则由Agent驱动,跨行业应用只需修改参数和工作流,不必改变核心业务逻辑及产品适配性。记忆产品同样遵循这一逻辑,使Agent能在合适时机调用合适的历史信息。
近期,初创公司Engram在大洋彼岸与红熊AI同期获得融资,仅凭借“记忆”概念就获得近1亿美元。两项融资传递出明确信号:一旦AI获得接近人类的记忆能力,仍通过上下文窗口或RAG处理长内容的模型机制将受到深刻冲击。
客户的选择已经说明,他们既不需要模型机械记忆,也不愿靠大量消耗Token换取所谓效率。过去所说的降本增效,如今已不能直接等同于业务价值;Token推理没有边际成本递减,成本反而可能随业务增长持续上升。这张不确定的成本账单正迫使企业精确计算投入产出。相比成本与效率,由记忆驱动的推理准确率提升,才是创造真实业务价值的关键。
通过产业的有效验证,记忆已经成为具备切实商业价值的落地能力,而非停留在技术概念。由记忆驱动的Agent,也正在日常应用中逐步出现。
7月31日18:00,红熊AI“记忆觉醒 · 智能新生”线上产品发布会将正式启幕,不仅MemoryBear 记忆引擎迎来重磅升级,还将发布红熊AI自研的OpenBear 、 CodeBear两款记忆型大模型,以及基于原生记忆底座的AI客服、AI营销、ChatBI、AI教育四大场景化Agent应用。
关注直播并前来观看,一起见证AI如何被记忆重构。(作者 | 杨丽,编辑|盖虹达,本文首发于钛媒体APP)
-
07.29
找字高手第31关答案怎么找
-
07.29
香肠派对时光照片墙如何玩
-
07.29
冒险家艾略特的千年奇谭怎样搭配全武器魔石
-
07.29
符文世界龙之荒野常见问题是什么
-
07.29
洛克王国手游PVP阵容怎样搭配
-
07.29
真三国无双天下新手怎么玩
-
-
下载
- |
-
-
下载
- 《行尸走肉第一章》免安装中文汉化硬盘版下载
- 单机|436 MB
- 一款以动作冒险为主题的游戏
-
-
下载
- 《街头霸王X铁拳》免安装中文汉化硬盘版下载
- 单机|111MB
- 一款非常好玩的格斗游戏
-
-
下载
- |
-
-
下载
- 《暗黑破坏神3》免安装繁体中文正式版下载
- 单机|7630 MB
- 一款以角色扮演为主题的游戏
-
-
下载
- 《马克思佩恩3》免安装硬盘版下载
- 单机|27033 MB
- 一款以第三人称射击为主题的游戏