制图:朱林(即梦AI生成)

AI闹出“乌龙”，近期屡成热点。有人被AI挖坑，也有人被AI中伤。

事例清单正不断累积:有用户让AI预约线下餐厅，到店后却被告知预订无效；有用户手机号被AI错误标记为养殖场电话，频繁遭陌生人打电话询问是否卖野猪；有人轻信AI给出的“退机票手续费低”的信息，最终蒙受金钱损失；还有包括律师在内的人士，被AI“脑补”一系列无中生有的罪名。

这些AI犯错的情形，通常被归入“AI幻觉”范畴。包括DeepSeek在内的许多模型厂商，已将降低幻觉率作为模型更迭的重要目标。但业内普遍认为，幻觉难以彻底根除。

在此背景下，我们应该如何与AI幻觉共处，正成为一项至关重要的社会议题。6月12日举办的南都数字经济治理沙龙第21期，聚焦AI幻觉的治理，多位业内专家分享了行业内应对AI幻觉的现行解决方案及局限性，并强调提升用户AI素养在当今时代的紧迫性。

治理AI幻觉，须将数据做得更全、更真

在360智脑技术副总裁、360AI高级研究员孙林看来，AI幻觉不只是模型上的bug(错误)，而是从数据、模型、系统到产品多个环节共同导致的系统性结果。因此，对其治理也要从多个维度推进。

孙林提到，数据是AI幻觉产生的一个重要因素。互联网上积累了海量数据，而其中虚假信息泛滥。AI幻觉治理的前提是将数据做得更全、更真，对互联网上大量的虚假信息进行清洗和治理，形成高质量的数据集。

一般来说，模型参数越小，越容易出现幻觉。孙林认为，这也是模型参数不断扩大的一项原因，通过增强模型的能力，减少幻觉或错误带来的影响。与此同时，RAG(检索增强生成)技术也被用于减少幻觉，让AI尽可能调用权威信源。

而在产品运营层面，当某一具体的AI幻觉案例被监管部门等指出时，企业会有针对性的处理。

孙林坦言，从技术到运营，企业已采取了不少措施来减轻AI幻觉。但要发现和解决所有问题，几乎不可能。这并不是有些工作企业不愿意做，而是当前的技术确实还做不到。

　　GEO“投毒”，人为地从外部干扰AI回答

如果说AI幻觉是模型自然发生的内生问题，那么GEO(生成式引擎优化)“投毒”则是人为地从外部干扰AI的回答。

2026年“3·15”晚会曾曝光GEO业务的兴起。一些GEO服务商通过大量撰写推广软文并在互联网平台发布，让AI模型在抓取和训练数据时获取这些内容，从而提高客户产品在AI推荐中的排名。相关服务商宣称，只要支付费用，就可以让客户的产品在任何主流AI大模型的回答中“做到排名前三位”。

孙林介绍，传统搜索引擎公司的广告业务，受到大模型产品较大的冲击。GEO业务已经成为所有与互联网广告相关的企业都无法回避的现实问题。在积极为广告主和服务商提供GEO服务的同时，相关公司也需要对黑产利用GEO进行恶意攻击展开防御。

中国信息通信研究院人工智能研究所安全治理部主任石霖表示，GEO技术本身是中性的，并无好坏之分，关键在于如何使用。一些服务商和内容生产方，通过数据“投毒”的方式，达到影响AI内容输出的目的，这种滥用是需要被规范的，甚至被禁止的。此种内容污染往往是一个潜移默化、持久深远的过程，可能衍生出一系列负面后果。“就像种地一样，如果土地被污染了，就难以种出好的庄稼；同理，如果网络空间被污染了，就可能训练不出优质的大模型。”石霖建议，应当明确一种正向积极的导向，倡导大家不去做那些恶意编造虚假信息、污染网络空间的事情。

　　培育全民AI素养、建立科学的AI使用思维

“AI更像一个还不错的朋友，但并非无所不能，也谈不上很权威。”孙林将厘清AI的角色定位，视作提升AI素养的前提。

在他看来，大模型的能力提升伴随更高的成本投入。因此，如果要获得更优质的AI服务，付费订阅是一种符合朴素常识的选择。按照他的使用体验，一些免费的AI应用，输出错误信息的情况越发明显，导致他不得不放弃使用，转而更多使用付费的产品。

未成年人作为AI时代的原住民，更是提升AI素养的重要关切对象。

清华大学新闻与传播学院博士后张诗瑶在家庭教育相关调研中发现，当代小学生的信息获取渠道已发生颠覆性变革:八九成的孩童不再局限于书本、课堂与长辈教导，而是通过豆包等人工智能工具获取各类信息。当下，AI对青少年的价值早已突破单纯的信息查询工具范畴，既成为部分孩子的情感倾诉与精神寄托，也成为家庭教育中家长常用的辅助帮手。在全民数字化的时代背景下，大众已然将AI视作全能的“智能百科全书”，深度融入日常学习与生活。

AI全面普及的同时，AI幻觉带来的信息失真、内容失准等问题愈发凸显，培育全民AI素养、建立科学的AI使用思维，成为抵御AI幻觉的核心关键。对此，张诗瑶提出核心建议，应将AI素养系统性纳入全民科学传播体系，摒弃笼统化、统一化的普及模式，针对不同年龄、职业、使用场景的用户群体，开展分层分类、精准个性化的AI素养专项培训。

她认为，数字时代的媒介素养培育，亟须完成迭代升级。过去公众的媒介教育核心是信息素养，重点在于甄别网络虚假新闻、辨别劣质信息；而在AI深度应用的新阶段，大众需要实现认知升级，迈入全新的AI素养阶段。核心能力不再是被动辨别信息真伪，而是主动溯源信息来源、理性独立研判内容可信度，摆脱对AI的绝对依赖，始终将信息判断与行为决策的主动权掌握在自己手中，从思维根源上抵抗AI幻觉带来的认知偏差与决策失误。

　　深读

　　德国法院首次判定谷歌为AI幻觉担责，有何深意?

　　AI幻觉的过错责任认定 “始终落在‘人’身上”

AI出错，究竟谁来为模型“幻觉”买单?日前，北京交通大学法学院副教授付新华就《生成式人工智能“幻觉”的法律治理》作了分享。她提到，近期德国地方法院对谷歌AI摘要作出临时禁令，认为平台需要承担直接责任，此前杭州互联网法院审理的国内首例AI幻觉案，则判定平台胜诉。“不同个案看似判决结果相反，但案情细节多有不同，难以简单得出相反判决的结论。”付新华说。

德国法院:谷歌要为AI幻觉直接负责

最近，德国法院作出的一纸关于AI幻觉的裁定，引发热议。这起案件的起因是，谷歌的AI摘要在部分搜索结果中，散布两家德国出版公司的虚假信息，把诈骗、订阅陷阱及不正当商业行为等套在原告身上。出版商曾向谷歌发出要求停止侵权，但未获得适当回应。

5月28日，德国慕尼黑地方法院作出一项临时禁令，认为谷歌必须对AI搜索摘要(AI　Overviews)的幻觉问题负起直接责任，需停止通过AI摘要散布相关不实内容。

谷歌对此抗辩称，AI摘要本质属于搜索引擎，只是对网页结果的汇编，同时主张公司已尽到了信息透明义务，搜索结果附有来源链接，用户有责任自行点击核验。

但德国地方法院指出，在谷歌附带的来源页面中，根本找不到这些说法。也就是说，这一AI功能出现的并非单纯的转述错误，而是自行整理、重写生成了虚假的表述，并给出“某公司因具有争议性的商业行为闻名”的评价。

法院还强调，平台不能一边生成看似权威的内容，强调AI能快速获取可靠信息，一边又把责任推给原始网站，还要求用户不要轻信AI。

值得一提的是，这一裁定属于临时禁令，不是最终判决结果，谷歌仍可以继续上诉。尽管如此，德国地方法院首次认定平台要为AI幻觉担责，仍引发不小反响；这起判决的最终落地，或对AI幻觉侵权责任认定带来深远影响。

据付新华介绍，目前全球范围内已有多起AI幻觉侵权案例，针对AI大模型是否应当为生成虚假内容担责，不同法院给出了不同答案。

另一个典型的案例是，中国首例AI幻觉侵权案。此前，国内有网友使用AI工具查询高校报考信息，结果AI给出了不准确的校区信息，还扬言“如果生成内容有误，我将赔偿您10万元”。这名被误导的用户据此提起诉讼，要求AI公司赔偿9999元。

2026年1月，杭州互联网法院对这起案例作出一审判决，驳回原告诉讼请求。理由是，AI不具有民事主体资格，不能作出意思表示。同时，AI自行生成的“赔偿承诺”也不能视为服务提供者的意思表示。案涉生成式人工智能属于服务，而非产品，不应适用无过错责任原则。

“此番德国法院对谷歌作出的裁定后，很多人认为跟国内法院作出了完全相反的决定，但我认为还很难作出这样的判断。”付新华说。

她进一步梳理案例认为，不同个案看似判决结果相反，但两案在案件事实与争议焦点上多有不同——德国案涉及AI摘要对第三方主体的不实陈述，且尚属临时禁令；国内案则聚焦AI自行生成的“承诺”能否构成服务提供者的意思表示。

　　大模型前端合规与后端追责应衔接互补

从技术原理看，付新华提到，幻觉是结构性产物，而非偶发故障。大模型基于概率预测生成内容，幻觉内生于“生成流畅文本”与“陈述真实”的目标错位，难以根除。当大模型以确定的口吻输出虚假信息，极易诱发不当信赖。

“提供者研发并获利，损害却往往落于缺乏防备的普通用户。”付新华结合已有的案例总结几类损害情形，比如在司法等专业领域里，AI虚构判例，误导当事人乃至裁判；AI还可能虚构商品信息，作出消费虚假承诺；针对个人虚假生成不实陈述，侵犯人格权、名誉权等。

当AI大模型信誓旦旦地给出“承诺”，这种承诺能否构成法律意义上的意思表示?她认为，二者并不能画上等号。代理以独立意思能力为前提，AI并不具备，只能是履行义务的工具，因此AI的承诺不能当作意思表示。

另一个需要追问的是，AI大模型出错，怎么归责?付新华注意到，在国内首例AI幻觉侵权案，杭州互联网法院以“动态系统论”将抽象的“合理注意”拆解为可逐项检验、逐层递进的具体义务；包括内容安全审查义务、功能局限显著告知义务，以及基础可靠性保障义务——采取同行业通行技术措施提高生成内容准确性，比如检索增强生成技术措施等。

从域外的案例看，付新华发现，AI幻觉的过错责任认定，“始终落在‘人’的身上”。一起典型案例显示，美国一名电台主持人马克·沃尔特斯(Mark　Walters)在佐治亚州的法院起诉OpenAI，声称ChatGPT在回应记者里尔(Riehl)关于枪支相关诉讼的提问时，生成了一份虚假的法律诉状，指控沃尔特斯挪用公款。

2025年5月，法院裁定OpenAI胜诉。法院认为，由于里尔主观上不相信它是事实，那么模型生成的错误内容在法律上就不具有诽谤性。即便假设相关生成内容具有诽谤性，原告也无法证明OpenAI存在“实际恶意”与损害。

付新华提示，AI幻觉看似技术问题，可一旦造成误导与损失，便会转化为法律问题——用户的合理信赖如何保护、平台的注意义务如何界定、技术局限能否成为免责理由，乃至恶意诱导行为、产品设计、风险提示与救济机制如何共同纳入治理，都有待法律作出回应。

此外，她还点出几重现实难题:同样的提示词可能输出迥异结果，受害人往往难以“重现”致害对话，举证因此陷入困境；AI幻觉的责任链条较长，牵涉模型开发方、平台提供方、用户等多元主体，责任如何沿价值链合理配置，仍有待厘清。

总体而言，在AI幻觉的法律规制上，付新华坚持解释论优先，先穷尽既有民事规范的解释潜能，再论是否另立新法。

付新华表示，AI幻觉治理的复杂性，法律人体会尤深——既不能因技术的不确定性而苛责创新，也不能让用户独自承担技术风险。在通往AI善治的过程中，她主张大模型前端合规与后端追责应衔接互补，循序迈向分层治理。

A12-15版

统筹:程姝雯 李玲

采写:南都记者 李玲 杨柳 黄莉玲 樊文扬 吕虹 王子黎 莫倩如