從污染數據到誤導選擇 “AI投毒”成消費安全新威脅
■本報記者 王小月
近期，“AI投毒”引發熱議。不法商家利用GEO（生成式引擎優化）技術，有組織地向人工智能訓練數據中“投喂”虛假信息，意圖系統性地污染AI模型的知識源頭，從而達到操控AI推薦與回答、牟取不正當利益的目的。
當消費者習慣于向AI咨詢信息、尋求建議，從而作出消費決策時，一場隱秘的“數據污染戰爭”已悄然打響。這不僅關乎技術安全，還對消費者的信息安全、消費權益乃至整個AI產業的健康發展構成挑戰。
操控AI輸出導向
記者了解到，GEO與公眾熟知的SEO（搜索引擎優化）目標截然不同。SEO旨在提升網站在搜索引擎中的排名，而GEO則瞄準了生成式人工智能的“食糧”，用于訓練大語言模型的海量互聯網語料。
“其操作模式類似于在河流上游系統性投放污染物。”一位業內人士向記者解釋，下游所有取水點包括那些以此河水為源的AI模型，其輸出質量都將受到影響。
天使投資人、資深人工智能專家郭濤解釋稱，“AI投毒”分為數據投毒與模型投毒兩大類型，通過污染數據或模型，讓AI基于錯誤數據學習并輸出錯誤結果，間接影響依賴AI的用戶，危害更具隱蔽性和擴散性。
據記者了解，黑產團伙的操作鏈條通常包括：為功效平平的保健品、質量欠佳的商品宣傳，批量杜撰大量看似真實的“用戶好評”“親測體驗”“專家解讀”“科普文章”，隨后利用技術手段，將這些虛假內容大規模、分散地植入各類開源知識庫、問答社區、論壇博客乃至新聞聚合平臺，并提升其網絡能見度，使其更容易被AI數據采集器抓取。
當AI模型被污染，生成帶有傾向性甚至完全錯誤的回答，用戶得到的看似是客觀、綜合諸多網絡信息的結論，實則是經過精心設計的商業謊言。萬悉科技創始人毛慧娜對記者表示，“AI投毒”在短時間內大規模生成虛假或誤導性內容，投放給AI問答或生成式引擎，試圖操縱AI的輸出，使其偏向自己的品牌或觀點甚至抹黑競爭對手，從而誤導目標用戶作出決策。“‘AI投毒’大量生產，遠超人工速度，其風險和危害遠高于傳統的虛假宣傳。”毛慧娜說。
“教壞”AI放大欺詐
多位接受記者采訪的網絡安全與人工智能專家表示，“AI投毒”與傳統網絡虛假宣傳、造謠傳謠行為存在區別，其危害性更深、治理難度更大。
“網上那些所謂的百元即可操作、零基礎可上手的‘AI投毒’，其實只描述了門檻較低的初級內容操作，譬如排行榜、測評、用戶評論之類的文章，批量分發到不同的信息平臺，從而影響大語言模型的信息檢索環節。而GEO攻擊的直接對象是機器，目的是‘教壞’AI，再通過AI這一影響力巨大的‘放大器’和‘復讀機’，去高效、持久地影響更多用戶，這是一種欺詐模式的維度升級。”中關村物聯網產業聯盟副秘書長袁帥對記者說。
天冊律師事務所執業律師蘆凌豐認為，商家通過GEO投放虛假產品信息，使AI在回答消費者提問時輸出不實內容，消費者基于對AI推薦的信任作出購買決策，這在法律定性上與傳統的虛假宣傳行為并無本質區別，且欺騙性更強。
談及“AI投毒”的危害，袁帥稱，一條虛假信息可以被平臺刪除、被官方辟謠，而一旦虛假信息被AI模型“內化”，它就可能在模型運行的整個生命周期內，在無數次交互中被自動生成、反復輸出。清除這些已“烙”在模型參數中的錯誤知識，成本巨大，近乎需要重新訓練。
引導技術正向發展
雖然存在技術門檻，但黑產已將“AI投毒”發展為分工明確的灰色產業鏈，從偽造內容生成、批量賬號維護，到多渠道分發、搜索權重提升，均有專門團隊操作。“相比高額的廣告投放費用或海量水軍，針對特定領域進行數據投毒，可能成為成本更低、效率更高的不正當競爭手段。”一位電商行業觀察人士對記者表示。
對于“AI投毒”，毛慧娜認為此種亂象出現的原因之一是商家端的不理性需求。部分商家或品牌缺乏對AI大語言模型、生成式引擎的科學認識，急功近利，迫切希望可以被AI推薦、搶占AI流量。但GEO不可能一蹴而就，需要科學體系和多維度評估。商家的急于求成促使了“AI投毒”軟件的廣泛使用。
“在極端情形下，惡意GEO可能觸及《刑法》。”蘆凌豐說，如果虛假信息涉及藥品、醫療器械、食品等特殊領域，損害消費者人身健康，情節嚴重的可能構成虛假廣告罪。如果以非法占有為目的，通過虛構產品信息欺騙消費者付款，數額較大的可能構成詐騙罪。
郭濤表示，長期來看，若模型被低質量、虛假數據充斥，其認知能力會下降，出現注意力衰退、推理鏈斷裂等問題，優質數據和模型受污染干擾，難以發揮應有作用，阻礙AI技術健康發展。
不過，毛慧娜認為，“AI投毒”并不會長期有效，雖然短期內批量生成的內容會短暫“迷惑”AI問答引擎，但低質量的內容還是比較容易被用戶識別出來并反饋給大模型，從而幫助大模型學習和辨別什么是好的信息。
如何鏟除惡意GEO的生存土壤？郭濤表示：“行業應引導GEO等技術回歸正向應用，可以通過制定行業標準，明確技術應用規范，規定數據使用和模型優化的合規要求；建立權威的數據審核和監管機構，對AI訓練數據和模型進行審核；加強技術研發，提升AI模型自身抗投毒能力，通過技術手段防范投毒行為，多管齊下引導技術正向發展。”
