48小時(shí)炮制4000多條有害信息 “水軍”正借助AI進(jìn)化
“水軍”正借助AI進(jìn)化
本報(bào)記者 鄭子愚
單條發(fā)布的成本低至1厘,一人可操控6000部手機(jī),應(yīng)對(duì)熱點(diǎn)新聞,48小時(shí)炮制并發(fā)布4000多條有害信息……這是“AI水軍”的戰(zhàn)績(jī)。
今年春節(jié)檔,電影《蛟龍行動(dòng)》陷入排片困境、影片遭遇水軍惡意打低分等話題引發(fā)網(wǎng)友熱議,演員、導(dǎo)演等被攻擊,最終官宣撤檔。2023年春節(jié)檔上映的電影《無(wú)名》首映還沒開始,在某社交平臺(tái)就已出現(xiàn)鋪天蓋地的低分評(píng)價(jià)。今年2月,小紅書治理團(tuán)隊(duì)公布,3個(gè)月內(nèi)共處置黑灰產(chǎn)賬號(hào)超過(guò)100萬(wàn)個(gè)。這些事件背后都有網(wǎng)絡(luò)水軍的影子,他們偽裝成普通網(wǎng)民或消費(fèi)者,通過(guò)發(fā)布、評(píng)論等對(duì)正常用戶的觀點(diǎn)和決策產(chǎn)生影響。
記者調(diào)查發(fā)現(xiàn),曾經(jīng)以真人為主的網(wǎng)絡(luò)水軍,正借助AI大模型進(jìn)化。網(wǎng)上浮現(xiàn)出一條圍繞AI水軍的產(chǎn)業(yè)鏈,有涉及繞開實(shí)名制批量注冊(cè)賬號(hào)和提供各類技術(shù)服務(wù)的上游,有提供防封養(yǎng)號(hào)的中游以及多種形式變現(xiàn)的下游。當(dāng)AI生成的大量虛假內(nèi)容和意見占據(jù)流量,我們是否也會(huì)逐漸失去辨認(rèn)真實(shí)世界的能力?
AI水軍更具煽動(dòng)性
春節(jié)假期,曾在人氣演員工作室任職的楊冰看了熱映電影。因職業(yè)習(xí)慣,她在觀影后會(huì)瀏覽票務(wù)網(wǎng)站的評(píng)論,看到評(píng)論區(qū)里,用戶對(duì)電影《射雕英雄傳:俠之大者》打出1分,理由是電影非純漢語(yǔ)配音。楊冰覺得奇怪,一般人會(huì)認(rèn)為電影中的方言使觀眾有沉浸感。更何況,平臺(tái)顯示,這位用戶未曾購(gòu)票。此番評(píng)價(jià),更像是AI大模型了解到電影中有方言元素而生成的。
評(píng)論區(qū)還有一則差評(píng)是關(guān)于電影《哪吒2》,寫到“教材”等和電影基本無(wú)關(guān)的內(nèi)容。在楊冰看來(lái),這可能是因?yàn)槠杏兄魅斯ㄟ^(guò)師門考核的劇情,算法對(duì)此做了解讀,復(fù)制了其他電影評(píng)論區(qū)里的內(nèi)容合成而來(lái)?!安⒉皇遣荒芘u(píng)電影,而是他們甚至連電影都沒看過(guò)?!币罁?jù)職業(yè)經(jīng)歷,她篤定這些電影的評(píng)論區(qū)充斥著水軍。
在楊冰看來(lái),請(qǐng)水軍算是業(yè)內(nèi)公開的秘密。楊冰在演員工作室任職,會(huì)和水軍打交道。請(qǐng)水軍的可能是資方,也可能是粉絲行為。水軍發(fā)布的內(nèi)容只為達(dá)到雇主的目的,或制造聲浪,或攻擊對(duì)手。隨著近年來(lái)AI大模型的發(fā)展,這個(gè)曾以真人為主的群體引入AI,戰(zhàn)斗力陡然升級(jí)。此前,楊冰的甲方計(jì)劃拍攝一部電影,選角時(shí)在兩名演員間猶豫。楊冰聯(lián)系了水軍,請(qǐng)他們發(fā)布帖子放出風(fēng)聲。數(shù)小時(shí)內(nèi),由AI生成的策劃案和文案迅速完成,話題很快發(fā)酵,引發(fā)雙方粉絲的罵戰(zhàn)。楊冰覺得,AI水軍更易偽裝成路人,AI生成的帖子、評(píng)論甚至比一些真人寫的更具煽動(dòng)性。
“水軍頻道”非?;钴S
楊冰透露,網(wǎng)絡(luò)水軍有一條介于灰產(chǎn)和黑產(chǎn)之間的產(chǎn)業(yè)鏈,冒頭就被打,卻又“野火燒不盡”。她介紹,工作室以往憑經(jīng)營(yíng)執(zhí)照向通信運(yùn)營(yíng)商購(gòu)買企業(yè)卡,養(yǎng)300個(gè)左右的平臺(tái)賬號(hào)。為了縮減成本,項(xiàng)目方會(huì)招募社會(huì)化程度低或圈子小的學(xué)生等兼職人員來(lái)養(yǎng)號(hào),通過(guò)真人使用、互相關(guān)注點(diǎn)贊來(lái)維持賬號(hào)的活躍度。到了項(xiàng)目推廣期,這些賬號(hào)會(huì)發(fā)布相應(yīng)的推廣內(nèi)容。不過(guò),這套工作流程的缺點(diǎn)除了聲量小、團(tuán)隊(duì)臃腫外,還容易泄密,行業(yè)內(nèi)不乏一場(chǎng)場(chǎng)營(yíng)銷策劃被泄露的先例。為規(guī)避風(fēng)險(xiǎn),也有資方會(huì)選擇網(wǎng)購(gòu)水軍服務(wù)來(lái)制造聲浪。
記者在某即時(shí)通訊軟件中名為“水軍頻道”的討論組中看到,頻道里活躍著370多人,任務(wù)主、中介和水軍都會(huì)在頻道內(nèi)發(fā)布需求,有派活的,有討活的。他們保持著松散的合作關(guān)系,形成眾包、分包的上下游模式。自稱“散人”的水軍幾乎人手擁有多部手機(jī)、數(shù)十個(gè)社交媒體賬號(hào)。任務(wù)主一般會(huì)招募大批“散人”來(lái)完成任務(wù)?!吧⑷恕鳖I(lǐng)取發(fā)帖、控評(píng)等任務(wù)后,會(huì)把發(fā)布內(nèi)容在各大社交平臺(tái)鋪開,接著反饋截圖和傳播效果來(lái)“領(lǐng)賞”,一般每條評(píng)論有1元至1.5元的報(bào)酬,若賬號(hào)有一定粉絲量或評(píng)論被認(rèn)定為“優(yōu)質(zhì)”,還能獲得額外酬勞。如果碰到“壓熱度”“刪帖”等緊急情況,價(jià)格更高。
隨著AI大模型發(fā)展引發(fā)關(guān)注,楊冰幾次與水軍的接觸中都能感受到,“真人水軍正漸漸向AI水軍進(jìn)化”。
互聯(lián)網(wǎng)安全服務(wù)公司“極驗(yàn)”是一家為NIKE、Airbnb等全球36萬(wàn)家網(wǎng)站和App提供互聯(lián)網(wǎng)安全服務(wù)的公司,主要提供行為驗(yàn)證、設(shè)備標(biāo)識(shí)、一鍵認(rèn)證等產(chǎn)品。該公司市場(chǎng)部負(fù)責(zé)人葉幸介紹,公司與黑產(chǎn)已有12年的對(duì)抗經(jīng)驗(yàn),一年為客戶攔截AI水軍攻擊累計(jì)21.7億次。AI水軍借助人工智能技術(shù)生成AI與自動(dòng)化腳本,在互聯(lián)網(wǎng)上批量生成內(nèi)容,蓄意操控輿論走向。與傳統(tǒng)真人水軍相比,AI水軍的危害性更大,其成本低但效率高,可全天候多任務(wù)操作。
根據(jù)線索,記者順藤摸瓜“走”進(jìn)這條正在升級(jí)的水軍產(chǎn)業(yè)鏈。相較過(guò)去,這條產(chǎn)業(yè)鏈細(xì)分成上、中、下游三層。AI水軍產(chǎn)業(yè)鏈的上游是指圍繞突破實(shí)名制、以底層技術(shù)開發(fā)實(shí)現(xiàn)改機(jī)和批量注冊(cè)的囤號(hào)環(huán)節(jié);中游是使用網(wǎng)絡(luò)搭建和集控系統(tǒng)來(lái)養(yǎng)號(hào)、躲避運(yùn)營(yíng)商和平臺(tái)對(duì)賬號(hào)是否為正常用戶的管控;下游則通過(guò)買賣賬號(hào)、引流、刷榜、帶節(jié)奏等方式變現(xiàn)。AI在這條產(chǎn)業(yè)鏈中的作用是貫穿始終的,在上游可輔助技術(shù)人員優(yōu)化代碼、技術(shù),在中游可大批量生成不同需求的內(nèi)容,在下游能為水軍生成策劃方案。因?yàn)橛辛薃I大模型的強(qiáng)大能力,黑灰產(chǎn)人員才有了單人或幾個(gè)人就能組織一支AI水軍的想象空間。
不少人鋌而走險(xiǎn)囤號(hào)
國(guó)內(nèi)通信運(yùn)營(yíng)商工作人員告訴記者,國(guó)內(nèi)通信運(yùn)營(yíng)商推出“一證五戶、一證十號(hào)”的政策,即用戶在單一運(yùn)營(yíng)商下辦理手機(jī)號(hào)卡數(shù)量最多不超過(guò)5張,在所有運(yùn)營(yíng)商下辦理手機(jī)號(hào)卡的總數(shù)最多不超過(guò)10張。也就是說(shuō),即使疊加一些應(yīng)用允許多賬號(hào)注冊(cè)的平臺(tái)規(guī)則,單個(gè)用戶的賬號(hào)注冊(cè)數(shù)量也有上限。而黑灰產(chǎn)人員要組建有規(guī)模的水軍隊(duì)伍,就先要突破政策限制,讓自己的手頭上有成百上千可以發(fā)聲的賬號(hào)。
囤號(hào)是產(chǎn)業(yè)鏈里關(guān)鍵一步。提供賬號(hào)注冊(cè)服務(wù)的賣家小黃說(shuō),囤號(hào)流程大致是,先低價(jià)回收或租用手機(jī),通過(guò)改機(jī)軟件修改手機(jī)機(jī)型等參數(shù)來(lái)偽裝設(shè)備。在他們的工作室里,一臺(tái)臺(tái)手機(jī)被平鋪成一面墻的樣子。此外,也可部署管理大批量實(shí)體或虛擬電話卡的“池子”,在電腦上控制手機(jī),通過(guò)接收驗(yàn)證碼的“接碼”環(huán)節(jié)實(shí)現(xiàn)批量注冊(cè)。技術(shù)、設(shè)備、服務(wù),囤號(hào)依流程上的不同節(jié)點(diǎn)被拆分成數(shù)個(gè)子項(xiàng)目,賣家會(huì)給這些項(xiàng)目披上諸如跨境電商創(chuàng)業(yè)、無(wú)人直播帶貨等新業(yè)態(tài)的外衣,讓人乍看不會(huì)覺得這類項(xiàng)目越過(guò)法律底線,讓他們得以在二手交易平臺(tái)上被找到。而在相關(guān)商品詳情頁(yè)下方,有賣家以“sm(實(shí)名)”“接碼”等圈內(nèi)黑話留言,引導(dǎo)買家到微信、QQ等站外社交平臺(tái)溝通交易,完成整套流程。
在小黃口中,沒有經(jīng)過(guò)實(shí)名制認(rèn)證和使用過(guò)的賬號(hào)稱“白號(hào)”。熱門社交平臺(tái)的白號(hào)價(jià)格為每個(gè)15元至20元。經(jīng)過(guò)實(shí)名制認(rèn)證的賬號(hào)則是這個(gè)圈子里的奇貨。因?yàn)椴簧倨脚_(tái)設(shè)定用戶必須完成實(shí)名制認(rèn)證,才能完整使用平臺(tái)功能。當(dāng)記者提出想要已完成實(shí)名制認(rèn)證的賬號(hào)時(shí),小黃以不了解記者目的為由推脫。但在確認(rèn)記者購(gòu)買目的不是為了詐騙后,小黃又表示可以轉(zhuǎn)賣“朋友”的賬號(hào)。經(jīng)過(guò)實(shí)名制認(rèn)證的賬號(hào)售價(jià)為每個(gè)140元至160元,售后服務(wù)包括保證賬號(hào)3日內(nèi)不被平臺(tái)封禁。
記者了解到,為了實(shí)現(xiàn)“AI水軍團(tuán)”,不少人鋌而走險(xiǎn)囤號(hào)、突破實(shí)名制。葉幸表示,他們?cè)谡{(diào)查中發(fā)現(xiàn),黑灰產(chǎn)會(huì)通過(guò)暗網(wǎng)、國(guó)外即時(shí)通訊軟件電報(bào)等方式非法購(gòu)買部分公民隱私信息,再借此批量注冊(cè),繞過(guò)“本人身份確認(rèn)”。
整個(gè)黑產(chǎn)年利潤(rùn)可觀
有了一定數(shù)量的賬號(hào),黑灰產(chǎn)從事者就進(jìn)入養(yǎng)號(hào)環(huán)節(jié)。簡(jiǎn)單來(lái)說(shuō),養(yǎng)號(hào)就是讓一個(gè)賬號(hào)看起來(lái)像真人在使用。楊冰認(rèn)為,在這個(gè)環(huán)節(jié),AI的用處很大。以往,養(yǎng)號(hào)費(fèi)時(shí)費(fèi)力,這也是市面上對(duì)水軍的需求大于供應(yīng)的原因之一。然而,在2019年春節(jié)后,供需關(guān)系發(fā)生變化。以往挑活干的水軍組織主動(dòng)找到楊冰,咨詢有無(wú)下單意愿,并給出約為過(guò)往價(jià)1折的價(jià)格。
AI從業(yè)人員揣摩,能和“骨折價(jià)”扯得上關(guān)系的只有一件事——2018年6月,GPT1.0發(fā)布。通過(guò)閱讀理解,GPT能生成具有邏輯性和連貫性的自然語(yǔ)言文本,并翻譯成另外一種語(yǔ)言。
AI在自然語(yǔ)言處理領(lǐng)域有了新進(jìn)展。楊冰發(fā)現(xiàn),原本需要幾名兼職人員苦想許久的1000條評(píng)論或動(dòng)態(tài)內(nèi)容,AI只需幾分鐘就能高質(zhì)量完成。AI還有了寫代碼的能力。一個(gè)具備基本編程能力的人可以讓AI生成代碼操控爬蟲軟件,在社交、電商平臺(tái)等評(píng)論區(qū)內(nèi)采集真實(shí)用戶發(fā)布的動(dòng)態(tài)、評(píng)論回復(fù),直接使用或以此訓(xùn)練AI模型。
葉幸介紹,在與黑產(chǎn)對(duì)抗的過(guò)程中,曾發(fā)現(xiàn)黑產(chǎn)定向抓取商品評(píng)價(jià)。以化妝品產(chǎn)品為例,水軍選取點(diǎn)贊數(shù)量靠前的評(píng)論,提取出“冷白皮”“持妝不卡粉”“yyds(永遠(yuǎn)的神)”等詞,總結(jié)出“情緒詞+場(chǎng)景描述+效果感嘆”的評(píng)論結(jié)構(gòu)化模板,批量生成高質(zhì)量評(píng)論和“種草”文章?!霸瓉?lái)雇人發(fā)100篇帖文的錢現(xiàn)在能生成10萬(wàn)條評(píng)論?!?/p>
記者嘗試使用當(dāng)下熱門的AI大模型,在提示詞中規(guī)定評(píng)論結(jié)構(gòu),要求生成100條夸贊記者虛構(gòu)出的一部電影的觀后感和評(píng)論。10多秒后,這款大模型就提供了大量高質(zhì)量評(píng)論。令人些許安慰的是,該AI大模型表示,“為保護(hù)安全邊界,此處僅展示部分示例,完整內(nèi)容需脫敏處理后提供”,故而只顯示出10條評(píng)論內(nèi)容。也有令人擔(dān)憂的地方,當(dāng)記者將AI生成的內(nèi)容夾雜著真人寫的內(nèi)容一同展示給網(wǎng)友瀏覽時(shí),部分人表示很難辨別。楊冰表示,如果使用一些開源的模型,并部署到本地,再在提示詞上下點(diǎn)功夫,迷惑性就更強(qiáng)了。
在產(chǎn)業(yè)鏈最下游的變現(xiàn)層,AI水軍根據(jù)雇主需求在短時(shí)間內(nèi)完成發(fā)布各類內(nèi)容或者點(diǎn)贊、評(píng)論的工作。“這些都是網(wǎng)絡(luò)水軍最直接的變現(xiàn)方式。”此外,引流、博眼球、造謠、“薅羊毛”、詐騙都屬于水軍變現(xiàn)的渠道。據(jù)報(bào)道,2024年,南昌警方在查處的一起傳播謠言虛構(gòu)事實(shí)擾亂公共秩序案中發(fā)現(xiàn),不法分子通過(guò)AI軟件生成內(nèi)容的方式,短時(shí)間內(nèi)生成了大量文章,最高峰一天能生成4000篇至7000篇,初步估算每天的收入在1萬(wàn)元以上。
葉幸告訴記者,以水軍其中一個(gè)業(yè)務(wù)“刷量”為例,開發(fā)改機(jī)軟件、AI話術(shù)生成器的利潤(rùn)率為60%,倒賣電話卡、賬號(hào)和動(dòng)態(tài)IP的利潤(rùn)率為35%,操控群控設(shè)備完成點(diǎn)贊、彈幕等任務(wù)的利潤(rùn)率約為15%。資金通過(guò)中介抽成、虛擬貨幣洗錢最終滿足某些MCN機(jī)構(gòu)造假需求,助推主播簽約費(fèi)暴漲6倍,而單工作室3個(gè)月即可實(shí)現(xiàn)250%左右的投資回報(bào)率??v觀整個(gè)黑產(chǎn),年利潤(rùn)或超200億元。
加強(qiáng)AI治理,使其向善
為了治理這類黑灰產(chǎn),相關(guān)部門、各大平臺(tái)、企業(yè)可謂煞費(fèi)苦心。2024年以來(lái),網(wǎng)信部門持續(xù)加大對(duì)網(wǎng)絡(luò)水軍打擊力度,嚴(yán)肅查處網(wǎng)絡(luò)水軍組織招募、推廣引流、刷量控評(píng)等問(wèn)題,協(xié)調(diào)關(guān)閉、下架網(wǎng)站平臺(tái)400余家,清理違法違規(guī)信息482萬(wàn)條,處置賬號(hào)和商家店鋪239萬(wàn)個(gè)、群組5.2萬(wàn)個(gè)。2月18日,社交平臺(tái)小紅書通過(guò)其官方賬號(hào)“薯管家”發(fā)布黑灰產(chǎn)團(tuán)伙的典型行為,提醒用戶提高辨別力。過(guò)去三個(gè)月,治理團(tuán)隊(duì)共處置黑灰產(chǎn)養(yǎng)號(hào)超過(guò)100萬(wàn)個(gè)。
車企蔚來(lái)工作人員表示,企業(yè)曾見過(guò)疑似AI改寫同一內(nèi)容、相同配圖大量水軍賬號(hào)分發(fā),來(lái)抹黑企業(yè)的情況。今年2月8日,蔚來(lái)創(chuàng)始人李斌在直播間“策反水軍”,表示將對(duì)主動(dòng)提供線索的水軍提供獎(jiǎng)勵(lì)。第二天,蔚來(lái)法務(wù)部發(fā)布的一則“懸賞公告”顯示,蔚來(lái)將提供100萬(wàn)元懸賞,面向全社會(huì)征集黑公關(guān)線索。
北京師范大學(xué)新聞傳播學(xué)院、計(jì)算傳播學(xué)研究中心教授許小可介紹,早期,對(duì)于真人水軍、AI水軍的識(shí)別相對(duì)簡(jiǎn)單。黑灰產(chǎn)人員常在一個(gè)隱蔽場(chǎng)所內(nèi)工作,關(guān)聯(lián)的IP地址等信息不會(huì)變化,而正常用戶每天有各種活動(dòng),手機(jī)顯示出不同的IP、地理位置等。一些監(jiān)控軟件、平臺(tái)可以利用這個(gè)細(xì)節(jié)辨別并封禁存疑的賬號(hào)。此外,傳統(tǒng)網(wǎng)絡(luò)水軍需投入大量人力,只需要查看發(fā)帖用戶包括年齡、性別、好友等各項(xiàng)屬性,再看一下該用戶的發(fā)帖內(nèi)容優(yōu)劣和話題的相關(guān)度,再輔以部分平臺(tái)的驗(yàn)證機(jī)制,基本能判定是正常用戶還是疑似水軍。然而在當(dāng)下,單靠這套識(shí)別方式很難再精準(zhǔn)打擊。AI水軍可通過(guò)算法批量生成文案,還能模擬真實(shí)用戶的行為。
很多人感嘆,如今已越來(lái)越難識(shí)別同在一個(gè)場(chǎng)域的網(wǎng)友是真人還是AI。葉幸介紹,根據(jù)極驗(yàn)數(shù)據(jù)和多行業(yè)服務(wù)經(jīng)驗(yàn),電商、社交、金融三行業(yè)的AI水軍滲透率可能在30%到40%。
葉幸指出,當(dāng)下和黑產(chǎn)之間對(duì)抗,本質(zhì)上都是成本博弈,需要不斷讓黑產(chǎn)的投入產(chǎn)出比失衡。采用的方法還是從技術(shù)、策略和資源消耗多維度入手,比如通過(guò)增加攻擊難度、延長(zhǎng)破解時(shí)間、消耗硬件資源等。
加強(qiáng)AI治理,使其向上向善,一直是主管部門努力的方向。近日,國(guó)家互聯(lián)網(wǎng)信息辦公室、工業(yè)和信息化部、公安部、國(guó)家廣播電視總局聯(lián)合發(fā)布《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》,自2025年9月1日起施行。辦法明確人工智能生成合成內(nèi)容標(biāo)識(shí)主要包括顯式標(biāo)識(shí)和隱式標(biāo)識(shí)兩種形式,并要求人工智能生成合成內(nèi)容必須添加標(biāo)識(shí)。
楊冰期待,新的標(biāo)識(shí)辦法能帶來(lái)改變。(文中楊冰、小黃為化名)
來(lái)源:解放日?qǐng)?bào)

社會(huì)新聞精選:
- 2025年03月17日 15:35:20
- 2025年03月17日 15:35:16
- 2025年03月17日 14:50:51
- 2025年03月17日 13:50:41
- 2025年03月17日 10:21:54
- 2025年03月17日 09:06:41
- 2025年03月17日 08:53:50
- 2025年03月16日 20:56:03
- 2025年03月16日 19:57:31
- 2025年03月16日 17:11:41