一个本质特征
大语言模型的核心工作方式，可以简化为：根据前文，预测下一个最可能的词元（token）。
它是一个极其复杂的概率模型，但目标是"预测什么是合理的延续"，而不是"陈述事实"。
这两者在大多数时候重合（因为训练语料中的事实性内容占多数），但在某些情况下会分道扬镳。
幻觉的几种来源
一、训练数据的问题
- 训练语料中本身就有错误、过时或相互矛盾的信息；
- 某些领域的数据稀疏，模型学得不充分；
- 互联网上的重复谣言可能"盖过"正确的少数派信息。
二、缺乏不确定性表达
模型被训练成总要给出流畅的回答。当它不知道答案时，它并不像人那样有"我不确定"的元认知，而是会继续预测最可能的延续——于是就编了一个。
三、知识的参数化存储
模型把知识"压缩"进了参数。这种存储是模糊的、分布式的，而非像数据库那样精确可查。
所以它能流畅地描述某个概念，却可能在具体细节（人名、日期、数字、引用）上出错——因为这些细节在参数空间中的表示最不稳固。
四、长程生成中的漂移
在生成长文本时，模型可能在前半段引入了一个错误假设，然后基于这个假设继续生成，导致错误被不断"合理化"和放大。
哪些场景最容易出问题
- 具体事实查询：某本书的出版年份、某个人的履历、某项法规的条款；
- 数字与统计：模型在精确数字上的可靠性明显低于定性描述；
- 非英语、非主流领域：训练数据覆盖不足；
- 时间敏感信息：训练截止后发生的事。
缓解手段
- RAG：让模型基于检索到的真实文档作答；
- 引用标注：要求模型给出来源，便于核验；
- 温度参数调低：减少随机性，降低"发挥"的空间；
- 多轮自检：让模型对自己的答案做事实核查；
- 工具调用：把计算、查询交给专门的确定性工具，而非让模型"心算"。
一个务实的态度
与其期待"消除幻觉"，不如建立验证机制。
在严肃场景中，正确的工作流是：把模型的输出当作高质量草稿，而非最终答案。可查证性比可信度更重要。
说明：本文为大模型局限性的知识整理。