1.什么是幻觉
幻觉指的是AI把不是事实的内容当作事实来说的现象。它会用流畅的句子编出并不存在的书名和作者、没有的法律条款、错误的日期、与原话不符的引文。这个说法译自英文中表示“幻觉”的术语。
幻觉之所以危险，是因为错误的回答看起来并不错。它和正确的回答一样，用自信的语气、同样整齐的格式呈现出来。句子自然，并不能证明内容正确。
2.为什么会产生
第4讲说过，语言模型挑选的是接下来最像样的词元。模型不是核实“这句话是不是事实”的装置，而是计算“这句话像不像样”的装置。广为人知的事实在训练数据里出现过很多次，所以“像样”和“事实”几乎一致。但对于少见的事实、训练之后发生的事、精确的数字等在数据中出现得少的内容，两者可能错开。
比如问一项不太知名的研究的作者，模型可能把该领域里“像样的人名”和“像样的期刊名”组合起来作答。因为对模型来说，有时接着写出像样的回答，比说“不知道”更自然。开发模型和服务的一方也在不断增加各种措施来减少这种情况，但稳妥的看法是：从原理上讲，它无法被完全消除。
3.容易产生幻觉的问题
没有必要对所有回答都同等怀疑。了解哪些类型的问题有风险，就能把核对的力气省下来用在关键处。
| 问题类型 | 风险程度 | 原因 |
|---|---|---|
| 出处、引文、参考文献、链接 | 高 | 可能把像样的标题和作者组合起来编出来 |
| 精确的数字、日期、统计 | 高 | 相近的数字很多，容易混淆 |
| 最近的事件、最新的制度、价格 | 高 | 不知道训练之后的信息 |
| 少见的人物、小地方、特定公司的情况 | 中～高 | 在训练数据中出现得少 |
| 法律、医疗、税务等出错损失大的信息 | 高（按损失计） | 小错误也会带来大后果 |
| 润色文字、摘要、转换格式 | 低 | 在给定资料范围内工作，编造的余地小（但仍要看摘要是否与原文相符） |
4.核对回答的五个习惯
核对并不难。只要对重要的回答用上下面这些习惯，就能筛掉相当多的幻觉。
- 用一手来源核对：法律看法规原文，制度看主管机构的官方说明，统计看发布机构的资料
- 亲自查找出处：搜索AI给出的书、论文、报道的标题，看是否真的存在、内容是否相符
- 数字重新算一遍：计算结果用计算器或表格亲自验算（「数学基础」课程在这里派上用场）
- 换个方式再问：改变问法或在新对话中重问，找出回答摇摆不定的部分
- 要求给出依据：让它标明回答的依据和不确定的部分，先从这些部分核对
- 先想到：出处、引文属于幻觉风险高的类型。
- 通过学术搜索或图书馆检索查找标题和作者，确认是否真的存在。
- 如果存在，至少读一下原文摘要，比较与AI概括的内容是否一致。
- 找不到的研究从报告中删去，只写确认过的研究，并附上出处。
5.亲手核查：追踪一个数字
我们把五个习惯用在一个实际回答上。下面的回答是为了讲解而虚构的例子。这类回答句子流畅，还附有计算依据，很容易让人直接相信。
AI回答出错的原因并不都是幻觉。原因不同，核对的方法也不同，所以遇到错误回答时，最好顺便分析一下属于哪一类错误。
- 计算失误：步骤越长，越容易在誊抄数字时出错——用计算器或电子表格验算
- 过时信息：用旧标准说训练之后已经变化的制度、价格、人物信息——用注明日期的官方资料核对
- 误解问题：回答了没问的事，或漏掉一个条件——把问题的条件与回答逐条对照
- 误读所给资料：在摘要里混进粘贴资料中没有的内容——让它标出摘要的每句话对应原文的哪一部分
- 第1步：看是否属于高风险类型：这是问精确数字的问题，所以需要核对。
- 第2步：亲自重算：复利是每年乘以1.05。1,000,000 × 1.05 = 1,050,000，× 1.05 = 1,102,500，× 1.05 = 1,157,625元。
- 第3步：找出差异的原因：115万元是只对本金计息的单利算法（1,000,000 × (1 + 0.05 × 3) = 1,150,000）。回答里“每年5万元”这句话本身就是单利的信号。
- 第4步：纠正后再问：说“不是单利，按复利，用表格列出每年相乘的过程”，就能逐行对照过程。
6.减少幻觉的提示词
除了核对，还有一些问法能从一开始就减少幻觉。最有效的是直接提供依据资料。粘贴可靠的资料，并说“只在这份资料范围内回答，没有就说没有”，编造的余地就会大大减少。
允许它说“不知道”也有帮助。写上“不确定的话可以回答不知道”“推测的部分请标注（推测）”，回答中不确定的部分就会显露出来。反过来，如果像“一定要凑够五个”这样强求数量，在它只知道三个时，编造另外两个的风险就会变大。
- 错误: 告诉我五个和这个主题有关的统计数据。正确: 如果有你比较确定的、与这个主题相关的统计数据，请告诉我，并分别写明发布机构和基准年份。不确定的话不要凑数，请写“需核实”。不强求数量，并让它标注出处和不确定性，需要核对的地方就清楚了。
📌 要点总结
- 幻觉是AI把不是事实的内容当作事实、自信地说出来的现象
- 原因在于模型计算的不是事实，而是“像不像样”
- 出处、数字、最新信息、少见的事实、出错损失大的信息一定要核对
- 核对一手来源、亲自查出处、验算数字、换个方式再问、要求给出依据，是基本习惯
- 提供依据资料、允许说不知道、不强求数量，幻觉就会减少
🤖 可以这样问 AI
复制后把 [ ] 部分换成你的情况。不要直接相信回答，请与正文对照核实。
得到重要回答之前，想让不确定性显露出来时
请回答下面的问题。但请在回答的每句话末尾，用（确定）/（基本确定）/（推测）之一标出确定程度，并在最后用列表整理出我需要亲自核实的项目和核实途径（哪类机构或资料）。问题：[问题]
想检查已经得到的回答时
在你刚才给出的回答里，挑出三处事实最可能出错的地方，并说明理由。请重点看数字、日期、人名和出处。
希望只以资料为依据得到回答时
只以下面的资料为依据回答。资料里没有的内容绝对不要添加，请写“资料中没有”。回答之后，请原样引用每项内容出自资料的哪一句。 [资料] 问题：[问题]
- 各类生成式AI使用指南中共同收录的事实核查原则的一般性内容
- 自然语言处理领域所用“幻觉”（hallucination）概念的一般性定义
达成全部学习目标后，请点击完成。
此浏览器无法保存记录，仅在当前页面显示。