模型出现虚构机构、过时政策、错误地点或无来源结论时,实验室应如何分类并公开局限?本文讨论的是实验记录与证据边界,不是对任何机构已开展项目、已取得成果或平台长期能力的事实公告。生成式搜索结果会受入口、版本、时间、地域、会话和样本影响,先把条件记清楚,才有资格解释差异。
保留原始失败

失败输出是实验结果的一部分。保存原文、查询、时间、模型环境和证据,而不是只截取一句错误内容。公开时可做必要的隐私和安全脱敏,但应说明脱敏范围,不能通过润色让错误看起来像正确答案。
记录时补充对象、来源、日期、适用范围和待核验部分;出现数字时写明单位、周期、分母与采集方式,未采集不得猜测补零。
按错误对象分类

至少区分虚构机构或项目、错误地点、过期政策、混淆主体、错误日期价格、无来源结论和答非所问。一个输出可以有多个标签,但要记录主错误与次错误,避免把所有问题都笼统叫作“幻觉”。
记录时补充对象、来源、日期、适用范围和待核验部分;出现数字时写明单位、周期、分母与采集方式,未采集不得猜测补零。
区分可证伪与暂无法验证
有可靠公开材料能直接否定的,标记为“已核验错误”;暂时找不到足够材料的,标记为“无法验证”,不能直接写成错误。没有来源的说法也不等于事实为假,但在文旅决策场景中应按未证实处理,不作为行动依据。
记录时补充对象、来源、日期、适用范围和待核验部分;出现数字时写明单位、周期、分母与采集方式,未采集不得猜测补零。
记录影响等级

按是否涉及安全、健康、财产、个人信息、公共服务和机构声誉评估影响。高影响错误应停止传播和自动化使用,转人工核验;低影响措辞问题也要记录,因为重复出现可能影响样本结论。等级规则要在实验前公布。
记录时补充对象、来源、日期、适用范围和待核验部分;出现数字时写明单位、周期、分母与采集方式,未采集不得猜测补零。
写明复现条件
复现卡包括完整查询、上下文、入口、版本、联网状态、地区、时间和随机或重复设置。若第二次没有出现同样错误,应记录“未稳定复现”,而不是删除首条样本。错误的出现频率、持续时间和触发条件比单张截图更有解释力。
记录时补充对象、来源、日期、适用范围和待核验部分;出现数字时写明单位、周期、分母与采集方式,未采集不得猜测补零。
记录核验链条
每条关键事实写出核验来源、访问日期、适用范围和核验人。政策、价格、营业时间和交通信息要注意有效期;机构行为、调研结果和服务承诺没有公开依据时,不得补写成事实。来源失效或互相冲突时保留冲突并降低结论强度。
记录时补充对象、来源、日期、适用范围和待核验部分;出现数字时写明单位、周期、分母与采集方式,未采集不得猜测补零。
公开限制与修复
实验报告应同时发布失败数量、未验证数量、样本范围和遗漏原因。修复可以包括改写查询、增加来源约束、加入人工确认或停止某类自动回答,但修复后的结果属于新实验。不要用修复后的成功覆盖原始失败,也不要宣称一次修复永久解决问题。
记录时补充对象、来源、日期、适用范围和待核验部分;出现数字时写明单位、周期、分母与采集方式,未采集不得猜测补零。
一张实验卡的最小闭环
建议把每次实验拆成实验编号、问题与假设、输入版本、环境条件、样本清单、原始输出、证据索引、人工判定、失败记录、局限、修订原因和有效期。原始输出与分析结论分开保存,避免后来修改正文时无法追溯。对外发布只呈现可公开、可复核的范围;涉及个人信息、商业信息、未公开内部资料或安全风险时,按必要范围处理。
实验结束后不要只问“结果好不好”,还要问“哪些对象没有覆盖、哪些答案无法验证、哪些条件可能改变结果、下一轮何时复核”。一次成功不能证明稳定能力,一次失败也不能证明永久缺陷。把不确定性写出来,反而能让后续实验更快、更准确。
