麻省理工学院计算机科学和人工智能实验室（CSAIL）研究人员研究了语言大模型面对不同任务的变化情况，揭露了 AI 记忆和推理能力之间相互的作用，并发现：AI 的推理能力被高估了。
研究人员发现，像是 GPT-4，在十进制算术上表现不错，但是难以应付其他进制的计算，在和弦指法、空间推理、棋类游戏中，AI 都表现出了类似的问题，人类能够适应规则的改变，而 AI 的表现和随机猜测差不多，证明他们难以适应不熟悉的情况。
这表明，大语言模型能够在熟悉的任务场景中表现优秀，但面对陌生的情况，就会遇到困难，比起推理能力，现阶段的 AI 更依赖记忆能力。
