本文通过心理实验证明大型语言模型在规则应用中表现出概念掌握能力，能够泛化到新情境并部分模仿人类对时间压力等语境的敏感性。
Large Language Model, Reasoning, Human-AI Interaction, AI Ethics, Robustness
José Luiz Nunes, Guilherme FCF Almeida, Brian Flanagan
PUC-Rio, FGV Direito Rio, Insper Institute of Education and Research, Maynooth University
Generated by grok-3-mini-latest
Background Problem
大型语言模型（LLMs）在各种任务中表现出色，但其内部操作不透明，这引发了关于它们是否真正掌握概念还是仅仅记忆训练数据的模式的质疑。本文从心理方法入手，调查LLMs在规则应用中的概念掌握能力，特别是法律决策领域，解决了关键问题：LLMs的性能是否源于泛化能力，还是受记忆和提示敏感性影响；此外，LLMs在规则应用中的表现是否能泛化到训练数据之外的新情境，以及它们是否能捕捉人类决策中的细微差异。
Method
- 核心思想： 本文采用实验心理学方法，通过设计控制实验来测试LLMs在规则应用中的概念掌握能力，核心在于比较人类和LLMs在相同任务下的响应模式。
- 如何实现： 在研究1中，引入温度参数校准（temperature calibration），通过最小化LLMs响应标准偏差与人类响应的均方误差来选择最佳温度；然后，使用2（文本：违反 vs. 未违反）×2（目的：违反 vs. 未违反）×4（场景）设计的新旧情景小品（vignettes），收集人类和LLMs的规则违反判断。研究2中，添加时间压力操纵（speeded vs. delayed条件），通过修改提示文本来模拟人类决策环境，而不改变LLMs的实际计算过程。方法包括混合效应模型（mixed-effects models）进行统计分析，以控制随机效应并检测交互作用。
- 主要步骤： 首先校准LLMs温度以匹配人类响应多样性；然后进行被试内/间设计实验；最后使用预注册分析计划确保结果可靠性。
Experiment
- 实验设计和数据集： 研究1招募115名人类参与者（通过Prolific平台），并使用LLMs（包括GPT-4o、Llama 3.2 90B、Claude 3、Gemini Pro），采用2×2×4被试内设计，测试新旧情景小品对规则违反判断的影响。新情景基于旧情景匹配创建，以避免记忆偏差。温度校准通过生成不同温度下的响应，计算与人类标准偏差的均方误差，选择最佳温度（例如，Llama 3.1 90b为1.0，Gemini Pro为0.9）。研究2使用被试间设计，操纵时间压力（加速条件：4秒内响应；延迟条件：15秒后响应），基于Flanagan et al. (2023)的刺激适应。
- 实验设置的合理性： 设置全面，包含预注册分析计划、注意检查和开放数据共享（OSF链接），确保可重复性。人类和LLMs数据并行收集，统计模型考虑随机效应（如场景和参与者），减少混杂因素。温度校准创新性地解决了LLMs响应多样性问题，使比较更公平。
- 结果与预期匹配： 研究1结果显示，人类和LLMs均受文本和目的影响（例如， for humans），新情景减少文本主义倾向，这种模式在LLMs中复制，支持泛化假设。研究2中，Gemini Pro和Claude 3显示人类-like响应（例如，延迟条件下文本违反判断增加， for Gemini），而GPT-4o和Llama 3.2未受影响。结果部分符合预期，证明LLMs概念掌握，但LLMs响应方差较低（均值SD人类为0.32，LLMs为0.05-0.21），提示改进空间。
- 效果评估： 方法改进明显，通过温度校准增强了LLMs与人类的比较；实验设置合理，但LLMs的减少多样性（diminished diversity of thought）问题未完全解决，未来可优化提示策略。
Further Thoughts
这项研究揭示了LLMs在捕捉人类概念直觉方面的潜力，例如在法律推理中可能作为辅助工具，但LLMs响应多样性不足的问题（如研究中观察到的标准偏差差异）提示需要开发更具认知变异性的模型架构，或许通过结合强化学习或多样性增强技术来模拟人类决策的随机性。同时，这与AI伦理领域相关，因为如果LLMs能泛化概念，则在道德判断中可能减少偏见，但也需警惕在司法应用中的风险；此外，结合可解释AI研究（如Bricken et al. 2023），未来可探索LLMs内部机制如何编码概念，潜在地桥接神经科学和机器学习，启发更深层的跨学科洞察。