研究人员用因果理论拆解大模型：LLM内部或已形成通用推理算法
大语言模型能够写文章、解数学题和生成程序代码，但研究人员仍无法完整解释这些能力是怎样在模型内部形成的。训练过程中，数十亿参数不断变化，外部可以观察到模型行为越来越强，隐藏在神经网络内部的计算逻辑却很难直接描述。当前的大模型工程能力，已经明显走在基础科学理解之前。
斯坦福大学哲学与计算机科学教授 Thomas Icard 正在借助逻辑学、认知科学和因果理论研究这一问题。他所在的机械可解释性领域，目标不是简单查看某个参数，而是寻找模型内部可以被人理解的计算结构，例如模型是否形成了抽象概念、算法步骤和可泛化的推理规则。
神经网络在最底层执行的是矩阵乘法等数值运算，但这种描述无法解释模型为什么能完成语言和逻辑任务。Icard 团队尝试建立更高层次的解释框架，把大量神经元活动对应到认知科学、语言学或逻辑学中的直观概念。这类似于物理学用压力和温度描述气体，而不是逐个追踪所有分子的碰撞。
难点在于，神经网络中的单个神经元可能同时参与多个功能，模型内部的抽象结构远比简单分组复杂。研究人员因此引入“因果抽象”概念：当两个模型使用不同变量和语言描述同一个过程时，需要判断其中一个是否确实是另一个在更高层次上的因果描述，而不只是表面相关。
Icard 与合作者在 2021 年的一项研究中发现，一个基于 BERT 的语言模型内部实现了部分逻辑推理系统。模型学会处理“每一个”“某些”“不是”等量词和否定关系，并形成了执行复杂逻辑推断的内部算法。这说明语言模型不一定只是在复制训练文本的表面模式，也可能构建可重复使用的计算过程。
Goodfire AI 团队的“Arithmetic in the Wild”研究进一步展示了这种内部算法。研究人员询问基于 Llama 的模型“八月之后六个月是什么月份”。模型没有直接在十二个月的循环中计算，而是先把八月表示为数字 8，执行普通十进制加法 6+8=14，再把 14 转换为 12+2，最终得到第二个月二月。
同一个模型在处理星期和时钟时间时，也采用了类似方法：先进行普通数值运算，再把结果映射回周期结构。模型没有被明确要求统一这些问题，却对月份、星期和时间使用了相同的计算策略。这为模型内部存在跨任务通用推理机制提供了具体证据。
机械可解释性研究通常需要直接修改模型权重或中间激活值，以验证某个内部结构是否真正影响输出。因此，学术团队目前主要研究可以访问内部参数的开放模型，例如 Meta 的 Llama 和艾伦人工智能研究所的 OLMo。Icard 团队实验过的最大模型约有 100 亿参数，商业闭源模型则无法用同样方式进行外部干预。
Anthropic 和 Google DeepMind 等公司也建立了大模型机械可解释性团队，并与学术研究者保持交流。相关技术未来可能用于提高模型安全性、可靠性和运行效率，也可能帮助识别和减少不希望出现的偏见。
这项研究仍面临两个主要障碍：一是如何把分析方法扩展到规模更大的模型，二是如何将目前高度依赖研究人员直觉的解释过程自动化。机械可解释性或许无法把整个大模型压缩成几条简单公式，但它有望逐步揭示深度神经网络隐藏算法的一部分，让模型行为从难以观察的黑箱变成可以验证的计算机制。
-
07.14
火影忍者忍者新世代 魔像降临玩法攻略
-
07.14
无期迷途怦怦电波放送中活动详解 无期迷途心动互动玩法与奖励指南
-
07.14
永远的蔚蓝星球全新英雄皮肤效果介绍-火焰法师与闪电之子介绍
-
07.14
永远的蔚蓝星球新坐骑瞌睡小飞象介绍-技能效果详解
-
07.14
永远的蔚蓝星球戒指图腾选择推荐指南
-
07.14
永远的蔚蓝星球111-115关如何通关
-
-
下载
- |
-
-
下载
- 《行尸走肉第一章》免安装中文汉化硬盘版下载
- 单机|436 MB
- 一款以动作冒险为主题的游戏
-
-
下载
- 《街头霸王X铁拳》免安装中文汉化硬盘版下载
- 单机|111MB
- 一款非常好玩的格斗游戏
-
-
下载
- |
-
-
下载
- 《暗黑破坏神3》免安装繁体中文正式版下载
- 单机|7630 MB
- 一款以角色扮演为主题的游戏
-
-
下载
- 《马克思佩恩3》免安装硬盘版下载
- 单机|27033 MB
- 一款以第三人称射击为主题的游戏