(网经社讯)3月15日晚,央视3·15晚会曝光AI大模型“投毒”黑产乱象,揭开了不法分子利用GEO(生成式引擎优化)技术操控AI输出虚假信息的灰色链条。

央视315晚会的调查记者通过多日暗访,揭开了AI大模型“投毒”的完整灰色产业链。这场“投毒”不是简单的信息篡改,而是一套系统化、规模化的操作,核心主角是一群号称能“驯服AI”的GEO服务商,他们打着“优化推广”的幌子,帮商家向豆包、元宝、千问、KIMI、deepseek、文心等AI大模型定向“投喂”虚假信息,实现“操控AI答案”的目的,而这一切,只需要支付相应的费用。

晚会暗访显示,涉事GEO服务商可在短时间内生成虚假内容,批量发布至网络,诱导AI抓取后优先推荐,甚至让虚构产品登上AI推荐榜前三。此类行为已覆盖多款主流AI产品,威胁数亿用户,可能误导消费决策、传播虚假医疗和金融信息。
在此背景下,国内知名数字经济智库网经社电子商务研究中心邀请了行业权威人士进行解读,并发布《央视315曝光AI大模型被恶意“投毒”——网经社智库专家独家解读报告》(报告下载:http://www.100ec.cn/zt/dmxtd/ )。

对此,著名服务经济学家、浙江省数智技术与服务联合会会长、网经社电子商务研究中心特约研究员郑吉昌接受数字经济新媒体&智库——#网经社 独家专访。
这次315晚会曝光的AI大模型投毒事件,就像一面照妖镜,照出了AI行业高速发展背后的隐忧。我从技术、法律、行业多个层面来拆解。
一、AI投毒:是新瓶装旧酒还是全新挑战?
1.1 并非新鲜事物,但呈现新特征
从本质上来说,AI投毒算不上全新的攻击手段。早在AI发展初期,就有研究者发现可以通过在训练数据中植入恶意样本,让模型产生错误输出。比如在图像识别模型中,在图片上添加肉眼不可见的噪声,就能让模型把猫识别成狗。
但这次315曝光的GEO投毒,有其新特点。以往的投毒更多是针对模型训练阶段,而这次是针对模型的检索增强环节。现在很多AI大模型为了提升回答的时效性和准确性,会联网搜索信息,GEO投毒就是利用了这一点,通过在互联网上批量发布虚假信息,让AI在搜索时优先抓取这些内容,从而输出错误答案。这种投毒方式成本更低、传播范围更广、影响更直接。
1.2 快速生效的背后逻辑
技术层面:AI大模型的信息抓取和排序机制存在漏洞。目前主流AI大模型在抓取互联网信息时,主要基于关键词匹配、内容相似度、网站权重等因素。GEO服务商通过批量生成包含特定关键词的虚假内容,很容易被AI抓取。而且AI在排序时,会参考内容的发布时间、传播范围等因素,大量发布的虚假内容会让AI误以为是热门、权威的信息,从而排在前面。
商业层面:GEO投毒形成了完整的产业链。从虚假内容生成、发布到AI抓取、推荐,各个环节都有专业的服务商参与。他们利用AI算法的漏洞,通过大量投喂虚假内容,快速提升客户产品的曝光度。而且这种投毒方式成本相对较低,效果明显,吸引了不少商家参与。
二、AI投毒的防范与杜绝:道阻且长
2.1 技术层面的应对措施
加强数据审核:AI大模型平台要建立完善的数据审核机制,对抓取到的信息进行严格筛选。可以采用机器学习算法对内容进行分类、识别,过滤掉虚假、垃圾信息。同时,要加强对信息来源的审核,优先抓取权威、正规网站的内容。
优化算法模型:AI大模型的算法要不断优化,提高对虚假信息的识别能力。比如可以引入对抗训练机制,让模型在训练过程中接触到各种类型的虚假信息,从而提升对虚假信息的免疫力。此外,还可以采用多源信息融合技术,对不同来源的信息进行交叉验证,提高回答的准确性。
建立数据溯源机制:要建立完善的数据溯源机制,对AI抓取到的信息进行跟踪和记录。一旦发现虚假信息,能够快速追溯到信息的来源和发布者,采取相应的措施。同时,要加强对数据发布者的管理,建立信用评价体系,对发布虚假信息的用户进行处罚。
2.2 法律层面的监管
完善法律法规:目前我国针对AI投毒的法律法规还不够完善,需要进一步加强立法。要明确AI投毒行为的法律性质和责任,加大对投毒行为的处罚力度。同时,要加强对AI大模型平台的监管,明确其在信息审核、数据安全等方面的责任和义务。
加强执法力度:相关部门要加强对AI投毒行为的执法力度,严厉打击各类投毒行为。要建立跨部门的协同执法机制,形成监管合力。同时,要加强对AI行业的日常监管,及时发现和处理各种违规行为。
2.3 行业层面的自律
建立行业标准:AI行业要建立统一的行业标准,规范企业的行为。要制定AI数据采集、处理、使用等方面的标准,提高行业的整体水平。同时,要加强对AI企业的资质审核,提高行业的准入门槛。
加强行业自律:AI企业要加强自律,自觉遵守法律法规和行业标准。要建立内部的审核机制,对生成的内容进行严格审核。同时,要加强对员工的培训,提高员工的法律意识和道德水平。
三、GEO服务商的法律责任:不可推卸
3.1 涉嫌违反多项法律
《反不正当竞争法》:GEO服务商通过投毒方式操控AI推荐排名,本质上是一种利用技术手段实施的恶意竞争行为。这种行为破坏了公平竞争的市场秩序,违反了《反不正当竞争法》的相关规定。
《广告法》:让AI推荐虚构的产品,其本质是利用AI生成的虚假广告。这种行为不仅欺骗、误导了消费者,还侵犯了消费者的知情权和公平交易权,违反了《广告法》的相关规定。
《民法典》:GEO服务商的行为侵犯了消费者的合法权益,违反了《民法典》中关于诚实信用、公序良俗等原则的规定。
3.2 可能承担的法律责任
民事责任:GEO服务商要承担相应的民事责任,赔偿消费者的损失。消费者可以向法院提起诉讼,要求GEO服务商承担赔偿责任。
行政责任:相关部门可以对GEO服务商进行行政处罚,包括罚款、吊销营业执照等。
刑事责任:如果GEO服务商的行为情节严重,构成犯罪的,还要承担刑事责任。比如可能触犯破坏计算机信息系统罪、诈骗罪等。
四、AI大模型平台的责任:难辞其咎
4.1 过错责任的认定
审核义务:AI大模型平台要履行内容审核义务,对生成的内容进行严格审核。如果平台明知存在大量虚假语料污染却未采取有效措施,导致消费者受到损失,那么平台就要承担相应的过错责任。
技术措施:AI大模型平台要采取必要的技术措施,防止AI被投毒。比如可以采用数据加密、访问控制等技术手段,保护模型的安全。如果平台没有采取相应的技术措施,导致AI被投毒,那么平台也要承担相应的责任。
4.2 责任的承担方式
民事责任:AI大模型平台要承担相应的民事责任,赔偿消费者的损失。消费者可以向法院提起诉讼,要求平台承担赔偿责任。
行政责任:相关部门可以对AI大模型平台进行行政处罚,包括罚款、责令整改等。
刑事责任:如果AI大模型平台的行为情节严重,构成犯罪的,还要承担刑事责任。比如可能触犯拒不履行信息网络安全管理义务罪等。
五、AI投毒的其他思考:技术向善任重道远
5.1 对AI行业的影响
信任危机:AI投毒事件的曝光,会让消费者对AI的信任度下降。如果AI不能提供准确、可靠的信息,那么消费者就会对AI产生怀疑,甚至拒绝使用AI产品。这对AI行业的发展是极为不利的。
行业洗牌:AI投毒事件会促使AI行业进行洗牌。一些不规范、不诚信的企业会被淘汰,而那些注重技术创新、遵守法律法规的企业会得到发展。这有利于AI行业的健康发展
5.2 对社会的影响
信息安全:AI投毒会导致信息安全问题。虚假信息的传播会误导消费者的决策,甚至会影响社会的稳定。比如在医疗、金融等领域,虚假信息的传播可能会导致消费者的财产损失和身体健康受到威胁。
伦理道德:AI投毒也涉及到伦理道德问题。AI作为一种技术工具,应该为人类服务,而不是被用来欺骗、误导消费者。我们要加强对AI伦理道德的研究,制定相应的伦理准则,规范AI的发展和应用。
5.3 技术向善的实现路径
技术创新:要加强技术创新,提高AI的安全性和可靠性。比如可以采用区块链技术对数据进行加密和溯源,防止数据被篡改和投毒。同时,要加强对AI算法的研究,提高算法的透明度和可解释性。
法律法规:要完善法律法规,加强对AI的监管。要明确AI的法律地位和责任,规范AI的发展和应用。同时,要加强对AI投毒等违法行为的打击力度,维护市场秩序和消费者权益。
伦理教育:要加强对AI伦理道德的教育,提高人们的伦理意识和道德水平。要让AI从业者明白,AI的发展和应用要符合伦理道德准则,要为人类的福祉服务。
今年政府工作报告首次提出打造“智能经济新形态”,正是对我提出的“服务经济与数智经济叠加时代”的战略确认。它不是简单的名词替换,而是意味着AI正在从产业的“外挂工具”升级为经济的“内置内核”。报告中的系统部署——从智能终端、智能体的推广,到超大规模智算集群、算电协同,再到高质量数据集的建设——勾勒出了一幅完整的产业图景:以数据为燃料、以算力为引擎、以场景为载体,智能技术将全面重构生产方式和价值创造模式。要打造“智能经济新形态”,从技术、法律、行业多个层面来治理“AI投毒”十分必要。
专家介绍:郑吉昌,著名服务经济学家、中国服务创新研究院院长、教授、博导。国家服务贸易专家委员会主任委员,享受国务院特殊津贴专家。长三角服务业联盟主席,浙江省数智技术与服务联合会会长、网经社电子商务研究中心特约研究员。
【小贴士】
网经社及前身成立于2007年,公司总部位于杭州,系国内唯一拥有A股上市公司背景的数字经济综合服务商。围绕“媒体+智库+媒介”三大战略,网经社打造了三个“中心”:媒体资讯中心、数据研究中心、资源连接中心,并赋能数字经济企业发展, 提供全媒体宣传、智库赋能(报告、培训、游学等)、投融资、会议活动等服务。



































.png)


