本文通过《Little Alchemy 2》游戏评估大型语言模型（LLMs）的探索能力，发现大多数LLMs因过早决策和过度依赖不确定性驱动策略而表现不如人类，但o1和DeepSeek-R1通过平衡赋能和深入推理显著超越人类，揭示了推理深度和架构设计对开放性探索的重要性。
Large Language Model, Reasoning, Reinforcement Learning, Human-AI Interaction, Multimodal Systems
Lan Pan, Hanbo Xie, Robert C. Wilson
Georgia Institute of Technology
Generated by grok-3
Background Problem
大型语言模型（LLMs）在多种认知任务中展现出类人能力，但其探索能力——即在开放性任务中发现新信息或策略的能力——尚未被充分研究。探索是智能的重要组成部分，有助于长期适应性和性能提升，但现有研究多集中于狭窄的 bandit 任务，忽略了更广泛的开放性探索（如赋能驱动的探索）。本研究旨在解决三个关键问题：LLMs在开放性任务中的探索效果是否能媲美人类？它们采用何种探索策略？以及为何在探索任务中成功或失败？
Method
本研究采用《Little Alchemy 2》游戏作为实验范式，玩家通过组合元素发现新元素，模拟开放性探索任务。研究方法包括以下核心步骤：
- 任务设置：测试了五种LLMs（GPT-4o, o1, LLaMA3.1-8B, LLaMA3.1-70B, DeepSeek-R1），通过API或计算集群运行，模型根据当前库存和历史试验记录选择元素组合，输出受限于有效游戏动作。
- 探索策略分析：通过回归模型分析不确定性驱动（基于元素使用频率）和赋能驱动（基于未来组合潜力，使用神经网络预测赋能值）策略对决策的影响，赋能值随试验结果动态更新。
- 温度参数实验：调整采样温度（0.0, 0.3, 0.7, 1.0）以研究随机性对探索与利用平衡的影响。
- 推理过程分析：对比GPT-4o和DeepSeek-R1的推理深度，分析推理痕迹的长度、类别多样性和令牌分配，揭示推理彻底性对探索性能的影响。
- 稀疏自编码器（SAE）分析：在模型各层提取元素嵌入，训练SAE以分解潜在表示，相关分析揭示不确定性和赋能值在Transformer层中的处理位置，并通过干预实验验证其因果关系。
批判性思考：虽然方法设计较为全面，但温度参数的影响分析可能过于简单，未充分探讨其对赋能策略的具体作用机制。此外，SAE分析提供了潜在表示的洞察，但干预实验的细节不足，难以完全确认层级处理差异是否是探索失败的根本原因。赋能值的计算依赖神经网络预测，可能引入偏差，未讨论预测模型的准确性对结果的影响。
Experiment
实验在《Little Alchemy 2》游戏中进行，数据集包括29,493名人类玩家的4,691,033次试验作为基准，LLMs被限制在500次试验内评估发现新元素的数量。实验设置包括五种LLMs，采样温度设为0.0至1.0，每种设置重复五次，旨在测试随机性对探索策略的影响。结果显示：
- 性能对比：大多数LLMs表现不如人类（平均发现42个元素），如LLaMA3.1-8B仅发现9个，LLaMA3.1-70B发现25个，GPT-4o发现35个；但DeepSeek-R1（85个）和o1（177个）显著优于人类，尤其是o1表现出强大的探索能力。
- 策略分析：回归分析表明，除o1外，LLMs主要依赖不确定性驱动策略，赋能权重接近零，而人类和o1能平衡两者；温度升高仅增强不确定性策略，未显著提升赋能驱动探索。
- 推理深度：DeepSeek-R1展现出更长的推理序列和多样化的推理类别，分配更多令牌于结果预测和组合分析，而GPT-4o推理浅显，限制了探索效果。
- SAE结果：在LLaMA3.1-70B中，不确定性和选择在早期层（第1-2层）高度相关，而赋能在中后期层（第72层）才显现，表明模型可能过早决策，忽略赋能信息；干预实验支持这一因果关系。
批判性思考：实验设置较为合理，涵盖了多种模型和温度参数，但500次试验的限制可能低估了LLMs在长期探索中的潜力，尤其是后期赋能策略的重要性未被充分测试。温度对赋能策略无显著影响的结论可能因实验设计局限而不够全面，未探讨其他潜在变量（如上下文长度或提示设计）的影响。此外，o1的优异表现可能与其固定温度（1.0）和独特训练方式有关，但论文未提供足够细节以解释其成功机制，需谨慎对待结果的普适性。
Further Thoughts
本文揭示了LLMs在开放性探索任务中的‘快速思考’问题，即由于自回归架构和层级处理差异，模型倾向于在早期层基于不确定性做出决策，而忽略了中后期层的赋能信息。这一发现引发了对模型架构设计的深思：是否可以通过调整Transformer层间的交互机制或引入延迟决策模块来增强探索能力？此外，o1和DeepSeek-R1的成功提示‘测试时计算扩展’（test-time compute scaling）可能是一个有前景的方向，类似于人类在复杂任务中通过更多思考时间提升表现，未来研究可探索如何在训练或推理阶段动态分配计算资源以优化探索策略。另一个有趣的联系是与强化学习中探索-利用权衡的研究结合，LLMs是否可以借鉴RL中的内在动机机制（如基于世界模型分歧的探索）来提升赋能驱动策略？同时，本研究未充分讨论的文化或语境因素可能影响模型对赋能的理解，例如元素组合的语义关联可能因训练数据的文化偏见而不同，这为跨文化AI探索能力研究提供了新方向。