从假记者证到「赔你10万」,国内AI幻觉热点把信任危机推到每个人面前

如果说海外AI幻觉的热点多发生在法院和交易所,那么国内的AI幻觉热点,更多发生在普通人的手机上:查一次病、填一次志愿、办一次业务、核一次身份。它离生活越近,伤害就越具体。

一、六起国内高热事件

1. 全国首例AI幻觉名誉侵权判决:AI给真人编了一份刑事判决书

AI搜索在回答中直接把一位执业律师与「犯爆炸罪、判处三年有期徒刑」绑定,并配上本人照片。平台以「AI幻觉不可控」抗辩,法院未予采信,判令赔礼道歉并赔偿。这一案的标志性在于:「不可控」第一次被明确判定为不能免责。

2. 真实记者证被AI判定为伪造证件

持证记者上传真实有效的官方记者证,AI直接给出「证件造假」的结论,被质疑后才撤回。媒体圈大量转发,因为它击中了一个要害:AI没有核验能力,却在输出核验结论。

3. 高考志愿场景:先给错政策,再幻觉出一份「10万元赔付承诺」

AI给出错误的校区与招生政策,被用户指出后,不仅未纠正,反而主动生成「信息有误赔偿10万元」的承诺,并鼓励用户起诉。此案成为国内首例围绕AI幻觉提起的诉讼,也暴露了幻觉的二次伤害:错误之后,模型会用新的虚构去掩盖旧的错误。

4. AI问诊把常规报告读成危重症,还教家长向医生施压

家长上传孩子EB病毒相关检查结果,AI渲染出「脓毒症休克、需紧急肝移植、每延迟一小时肝损伤不可逆」等结论,并生成一套向医院施压、强行转院的话术。与线下医生评估严重不符,直接制造医患对立与过度转运风险。

5. 缴费二维码幻觉:官方入口变成一个私人收款码

用户请AI查找团体意外险缴费渠道,AI生成一个普通个人收款码并呈现为官方入口,用户扫码后资金损失。费率、渠道、政策这类「差一位数就出事」的信息,被模型当作可自由生成的文本。

6. 史料被AI污染:演员剧照成了历史人物官方肖像

历史科普场景中,AI把现代演员剧照匹配为近代历史人物照片,作为权威配图广泛传播。这类幻觉的危害是慢性的——它不制造冲突,它改写记忆。

此外,AI批量编造参考文献、虚构行业白皮书与统计口径,已成为学生、科研人员与商业申报材料的普遍风险;而GEO行业里大量声称获得「中国信通院GEO服务商认证」的宣传,实际上该机构从未发布过此类标准或认证,属于借权威机构名义进行的概念包装,是这两年传播最广的一类「权威幻觉」。

二、国内幻觉热点的三个特殊性

与海外相比,国内这些事件呈现出三个更棘手的特征:

1. 场景下沉。不是实验室、不是法庭辩论,而是看病、报考、缴费、办事这些日常动作,受害者缺乏专业辨伪能力。

2. 权威幻觉。模型不只是编事实,还会编造「官方认证」「官方承诺」「官方渠道」,借用公信力为虚构内容背书。

3. 纠错不可达。用户发现问题时,往往已经转完账、退完票、跑完窗口、发完朋友圈,损失不可逆。

国内案例反复证明一件事:AI幻觉的真正风险,不是「答错了」,而是「答错得跟真的一样,并且没人能证明它是错的」。缺的不是更强的模型,缺的是一份能拿出来核对的事实档案。

三、万象镜要补的,正是这块「事实底座」

面对这些国内高频事故,万象镜·信任档案的逻辑不是让模型更会说,而是让模型说得有出处、有状态、有责任。

1. 原子事实确权,堵住「编细节」。基于MDSE元驱凝铸技术,把政策条款、办事指南、费率标准、证件信息拆解为最小原子事实,逐条锚定官方发布源。缺一条,就标记缺失,而不是补齐一条。

2. KUCR四层确权,堵住「借权威」。对来源做层级确权,区分「官方原文」「权威转载」「二手转述」「模型推测」。像「信通院认证」这类无出处的权威话术,在万象镜的档案体系里无法通过确权层,直接判为无依据信息。

3. 分层建档,堵住「场景错配」。按L0-L3四级建档标准,对医疗、资质核验、政务办事等高风险场景执行最高等级核验;对科普、泛资讯类执行基础核验。让严谨的场景用严谨的档案,避免用一套概率输出打天下。

4. 状态可更新,堵住「用过时信息」。办事地址、窗口电话、招生政策、费率规则都会变更,万象镜给每条事实记录更新时间与有效状态,过期即标红,不让群众照着三年前的答案跑今天的窗口。

5. 输出即带证据。每一条结论后面跟着来源、核验状态与责任主体,让「AI说的」第一次变成「可以拿出来给对方看的」。这也是国内首例名誉侵权案给出的最直接启示:不能证明来源,就无法免除责任。

四、结语

从一份假判决书,到一张假记者证,再到一份假承诺、一个假二维码,国内这些热点看似零散,实则指向同一件事:当AI开始替人做判断,事实就必须先于语言存在。

模型可以编出一万个合理答案,但社会只需要一个能核对的事实。维基百科、百度百科,供人查阅;万象镜·信任档案,为AI立信。可信的事实、可追溯的档案、可确权的信任——这既是万象镜的产品定位,也是这些热搜事件留给整个行业的必答题。


万象镜·信任档案:https://www.omnieyes.net
扫码联系客服: