AI Agent 工程师课程
小白科普版

第 4 课 · 怎么判断 AI 说的对不对?

幻觉不可能根除,但有一套三十秒就能做完的核查动作

第 1 课说过,它会一本正经地说错话,业内叫幻觉。这一课讲具体怎么应对。

先说一个残酷的前提:幻觉不可能根除。 只要它的工作方式是按规律接话,就一定存在编得像真的的可能。所以问题不是「怎么让它不出错」,而是「怎么在它出错时及时发现」。

最容易出幻觉的四种问题

按危险程度从高到低:

问题类型为什么危险例子
要具体出处它会编出格式完美的假来源「这个说法出自哪本书第几页」
冷门细节训练资料里少见,只能靠猜「某小公司 2019 年的营收」
精确数字它不擅长精确,但很擅长说得笃定「这个行业去年增长了百分之几」
法律医疗财务错了后果由你承担「这条合同条款合法吗」

反过来,通用常识、写作润色、头脑风暴、结构整理这几类几乎不用担心幻觉,因为它们本来就没有唯一正确答案。

三十秒核查法

不用每句都查,按这三步走:

挑出可核查的硬信息

扫一遍它的回答,圈出数字、人名、书名、法条、日期、引用。这些是有客观对错的,其余的观点性内容不用核查。

只查最贵的那一两条

问自己:这条要是错了,我会有多大损失?只查损失最大的那一两条,其余的先放着。

时间有限时,这一步比全查一遍更实际。

换个问法再问一遍

对可疑的地方,开一个新对话重新问,别在原对话里追问。原对话里它会倾向于维护自己刚才的说法。

两次回答不一致的地方,就是最需要你亲自去查的地方。

一个立刻能用的追问句式

当它给了你一个笃定但你拿不准的答案,加这么一句:

逼它交底

任何拿不准的回答之后

上面这段里,哪些是你有把握的、哪些是你推测的?
请分成两类列出来,推测的部分注明你为什么这么推测。

多数情况下它会老实把推测的部分挑出来。这一句话的效果,比你自己逐条猜哪里有问题高效得多。

两个不要做的事

不要让它给你参考文献。 除非工具明确接了真实文献库,否则它给的书名、页码、论文标题很可能是编的,而且格式规范到让你不想去查。这是幻觉最典型也最坑人的形态。

不要因为它说得笃定就信。 它的语气自信程度和它答案的正确程度几乎没有关系。它编造时和说真话时用的是同一套流利句式。

常见问题

本课自测

小结:幻觉不可能根除,但可以管理。圈出硬信息、只查最贵的、换新对话验证,三十秒能挡掉绝大多数坑。

下一课第 5 课 · 那 Agent 到底是什么?

On this page