两类幻觉,不要混着治

第一类:检索没有召回到相关内容,模型靠参数记忆编造。第二类:召回了,但模型没有严格遵循资料,在文档上加了自己的推断。前者是检索和拒答问题,后者是生成约束和核查问题。混在一起调 Prompt,指标会抖、根因找不到。

四道防线

  1. Prompt 强约束:只能根据提供的资料回答,资料没有就说不知道,禁止用训练语料补全制度条款。
  2. 检索质量门控:Rerank 低于阈值直接拒答,不让模型在低质量上下文上硬撑。
  3. 生成后引用核查:关键声明必须能在 chunk 里定位到来源。
  4. 结构化输出:每条结论带来源编号;对不上编号就丢掉这一条,而不是「看起来像」。

什么时候算过关

离线看 Faithfulness 和拒答率;线上看空回答率、追问率和转人工率。生成优化(换解码、加 COT)放在检索稳定之后。本篇合并了原先两份「幻觉规避」草稿,只保留这一篇。