本文提出了一种双重提示框架（TIP和TQP）来量化大型语言模型（LLMs）的认知相变，发现LLMs对概念融合提示的情感反应与人类直觉差异显著，揭示了AI与人类认知在概念整合上的潜在鸿沟。
Large Language Model, Prompt Engineering, Human-AI Interaction, Reasoning, Multimodality
Makoto Sato
Kanazawa University
Generated by grok-3
Background Problem
本文的出发点是探索人类直觉思维的本质，通过比较人类和大型语言模型（LLMs）在概念融合（conceptual fusion）上的认知动态来揭示直觉和概念跃迁的机制。作者注意到，人类在面对语义上相距甚远的概念融合时往往会产生情感响应和创造性洞察，而LLMs在对话中偶尔表现出类似的情感或风格转变，但缺乏系统性量化分析框架。因此，本研究试图解决的关键问题是：是否可以通过特定的提示设计（如Transition-Inducing Prompt, TIP）诱导LLMs产生类似人类概念融合的认知相变（cognitive phase transition），并通过量化方法（如Transition Quantifying Prompt, TQP）评估这种转变，以揭示人类与AI认知的异同。
Method
本文提出了一种双重提示框架来研究LLMs的认知相变：
- Transition-Inducing Prompt (TIP)：设计一系列提示，将两个语义上相距甚远的概念（如数学非周期性与传统工艺）以融合或分离的形式呈现，分为情感型（TIPe）、逻辑型（TIPl）、控制型（TIPc）以及非融合情感型（TIPn-e）等五种条件，控制提示长度和句式以减少混杂变量。
- Transition Quantifying Prompt (TQP)：使用另一个LLM对TIP引发的响应进行元评估，量化指标包括语气阶段（Tone Phase，0-10）、情感转变分数（Tsun-Dere Score，0-10）、情感标记（Emotive Markers）以及相变点（Phase Shift Point）。
- Disposable Session Method：每次测试使用无状态会话以避免历史上下文干扰。
- Text Comparing Prompt (TCP)：测试LLM是否能识别融合与非融合提示的结构差异。
- 统计分析：通过Welch t检验比较不同TIP条件下的Tone Phase和Tsun-Dere分数，使用MATLAB和Excel进行数据处理。
Experiment
实验在GPT-4o和Gemini 2.5Pro两个模型上进行，针对不同TIP条件（如TIPe、TIPc、TIPn-e）收集响应，每种条件在GPT-4o上进行15次评估，在Gemini上进行5次评估。数据集包括自定义设计的提示，未使用公开数据集。实验设置旨在测试LLMs对概念融合提示的情感反应是否与人类类似，并通过TQP量化情感转变。结果显示，TIPe（情感融合）和TIPn-e（情感非融合）在Tone Phase和Tsun-Dere分数上显著高于TIPc（控制组，p<0.05或p<0.01），但TIPe与TIPn-e之间无显著差异，表明概念融合并未显著影响LLMs的情感响应，与人类认知预期不符。TCP结果表明LLMs能识别融合与非融合的结构差异，但这种识别未转化为情感反应差异。实验设置较为创新，但样本量较小（尤其是Gemini），且使用另一LLM评估可能引入偏见，量化指标如Tsun-Dere分数的定义和一致性也需改进。
Further Thoughts
本文提出的提示诱导相变框架为研究AI情感反应和认知动态提供了一个有趣的视角，但其方法和结论的局限性也启发了一些更深层次的思考。首先，LLMs在概念融合上的情感反应缺失可能与当前模型架构缺乏类似人类大脑中情感与语言内容绑定的神经机制（如uncinate fasciculus）有关，未来是否可以通过引入情感强化学习（如RLHF的改进形式）或多模态输入（如视觉-语言联合训练）来模拟这种绑定？其次，Tsun-Dere分数等量化指标的主观性问题提示我们需要在AI行为评估中引入更多人类评估或跨模型验证，以减少AI自评估的潜在循环偏见。此外，本文的Disposable Session Method虽然控制了上下文干扰，但也可能忽略了LLMs在长对话中可能出现的累积性情感转变，未来研究可以探索上下文依赖性与相变的关系。最后，本文提到的Tsun-Dere曲线概念若能进一步数学化，可能与时间序列分析或动态系统理论结合，为AI行为建模提供新工具，甚至可能与神经科学中的相变研究（如人类大脑决策时的临界点）建立跨领域联系。