在新媒體平台高度普及的當下，UGC成為創作主力，人人都能成為新聞資訊的生產者。與此同時，AIGC的躥紅，又讓使用者創作更加便捷。在UGC與AIGC交織的時代背景下，如何保證釋出內容的真實性、合規性成為新聞輿論風險防範的重要議題。當前，利用AI來檢測新聞內容的生成來源以確定其真實性、稽核新聞內容是否敏感以保證其合規性，成為了業內防範新聞輿論風險的主流途徑。那目前市場上AI生成內容辨識模型、AI稽核內容模型具體有哪些？是哪些公司在營運？業務開展情況又是如何？
作者 | 花椰菜（三川匯文化產業作者、三川匯文旅體研究院研究員）
2024年4月，在公安部公布的【10起打擊整治網絡謠言違法犯罪典型案例】中，明確了「廣州或將成為全國首個限制外賣配送的城市」為謠言，資訊系相關人員透過AI生成。
△廣州限制外賣配送相關澄清影片
事件起因於2023年11月，廣州交警釋出的【廣州市人民政府關於電動單車通行管理措施的通告】。這一通告引發了廣大網民的熱烈討論，相關不法分子趁機利用AI結合外賣配送等問題進行無根據的惡意揣測生成虛假新聞在「今日頭條」平台釋出，制造焦慮，引流牟利。但事實上，廣州市從未釋出過相關限制外賣配送的政策條例。
△【10起打擊整治網絡謠言違法犯罪典型案例】
除此之外，在本次公布的 【10起打擊整治網絡謠言違法犯罪典型案例】 中還有 「民警離職潮」、重慶「爆炸事故」、MCN造謠等其他三起AIGC造謠案件，AI傳謠占比竟達40%。針對如此高的AI造謠率，市場是如何應對的呢？
經三川匯文化產業（ID：schwhcy）調查，防範輿論風險的AI模型共分為兩種——AI生成內容辨識與AI稽核內容。
所謂的AI生成內容辨識業務是指透過資訊科技分析文本內容，判別內容是否為AI生產，為新聞釋出者的釋出決策提供第一道判斷依據；而AI稽核內容業務是指稽核文本內容是否符合社會倫理規範，並生成相關的文本分析報告，為釋出者提供第二道判斷依據；也有部份企業將兩大業務功能融合研發出綜合模型。
市面上主流的AI生成內容辨識業務有人民日報社、新華網兩家國有傳媒企業開展營運；其余企業均在AI稽核內容模型上發力。與此同時，百度、阿裏、騰訊、網易四家互聯網大廠也涉獵相關業務。這樣的分布我們可以窺見當下新聞輿論風險防範業務的兩大特征。
一、亟需把好風險防範第一關——「AI生成內容稽核」關
據調查，目前微博、抖音、今日頭條等自媒體平台的內容稽核一般都是采用「AI+人工」的稽核機制——機器稽核為主，人工稽核為輔。人工智能會將無法辨識是否合規的內容交給人工，人工進行復審，人工復審透過後才能正式釋出。那「廣州或將成為全國首個限制外賣配送的城市」等一系列AIGC謠言究竟是AI的失誤判斷還是人工稽核的工作紕漏呢？
下圖為網傳的今日頭條所謂的AI稽核系統。從AI稽核無法透過的標準可以發現，這種稽核只是利用人工智能的分支自然語言處理技術進行了文本分析，對釋出後的風險影響做出了預測。但並沒有對文本是否為AI生成，即文本的真實性進行判別。據此推斷，目前 新媒體平台利用AI進行稽核更傾向於對文本內容的敏感性進行把關，但並未結合當下AIGC大行其道的現實情況，對新聞資訊是否為AI生成進行研判，進而從源頭忽略了對新聞資訊真實性的稽核。
△網傳今日頭條AI內容稽核系統
經三川匯文化產業（ID：schwhcy）調查，上述的稽核方法確實就是市面上常見的AI內容稽核模型的稽核流程。
例如，網晴科技開發的「網晴內容安全大腦」是一個全面的智能稽核系統，它具備處理各種媒體形式的能力，包括音訊、影片、影像和文本。多年的服務經驗使得該公司能夠有效地辨識和處理各種潛在的內容風險，如政治敏感資訊、低俗內容、非法暴力、不當價值觀和廣告等。這些技術的融合確保了在不同套用場景，如新聞客戶端、影片分享平台和直播服務中，內容稽核的準確性和效率，同時避免了問題內容的漏網。
△網晴安全大腦AI辨識界面
據公司官網披露，「網晴安全大腦」已被【人民日報】、【光明日報】、新華網、網易等套用。
但仔細對比發現，「網晴安全大腦」的AI稽核流程與網傳的「今日頭條」內容AI稽核流程可謂如出一轍，都是基於人工智能自然語言處理技術的文本分析，對文本中的涉政內容、低俗色情內容、違禁暴恐內容等做出了風險提示； 但是缺乏對於前置環節——資訊生產的來源及可靠性的審查。
△「網晴安全大腦」稽核流程
在人人都是新聞生產者、傳播者，AIGC又大規模爆發的當下。這樣的AI內容稽核系統顯然無法確保網絡上新聞資訊的真實性。
然而，就算是四家互聯網大廠也只是透過AI的自然語言處理技術對文本內容的敏感性進行稽核，相關模型中鮮少提及AI生成內容的辨識業務，進而無法針對新聞資訊的真實性進行判斷並為釋出者、稽核者提供第一手的決策依據。
△「百度大腦」「阿裏雲AI系統安全」「騰訊雲AI稽核系統」以及「網易易盾」網頁
那麽表一中唯一專註開展AI生成內容辨識業務的AIGC-X的情況又是如何的呢？
人民日報社AIGC-X這一創新工具，匯聚了人民日報社傳播內容認知全國重點實驗室、中國科學技術大學以及合肥綜合性國家科學中心人工智能研究院的智慧與力量，是中國首個AIGC內容檢測工具。AIGC-X不僅將圖片辨識與文本辨識兩大業務高效整合，還以其先進的技術和演算法，成為當前業界相對成熟的綜合辨識平台。
△AIGC-X官網頁面 網站入口：http://aigcx.people.cn/AIGC-X
AIGC-X具備檢測AI技術生成的假新聞、內容抄襲以及垃圾郵件的能力，其在內容版權保護、網絡釣魚防範、虛假資訊甄別以及學術誠信檢測等領域展現出了廣泛的套用潛力。據官方公布的數據，AIGC-X在文本辨識方面的準確率高達90%。三川匯文化產業（ID：schwhcy）也對該平台的檢測準確率進行了實地檢測。我們利用Kimi、文心一言分別生成了一則關於「文化產業考研」的新聞，並利用AIGC-X進行內容辨識，結果準確率為100%。
△AIGC-X檢測「文心一言」生成「文化產業考研新聞」
△AIGC-X檢測「Kimi」生成的「文化產業考研新聞」
AIGC-X除了辨識精確率、圖文辨識於一身的綜合性優勢外，它還是目前市場上少見的對普通使用者開源的免費辨識軟件。如果「今日頭條」對使用者釋出的資訊進行預先像這樣的內容辨識，判斷資訊是否為AI辨識，就能第一時間向資訊稽核人員提示預警，為資訊釋出把好第一道關。像「廣州或將成為全國首個限制外賣配送的城市」這樣的謠言就無法釋出傳播。
從目前的新媒體平台稽核機制來看，光是稽核內容是否敏感、能否達到合規標準已經無法有效防範當下AI與人類共創新聞資訊所帶來的實際風險。目前的稽核流程缺少對新聞內容生產者是否為AI即新聞內容真實性的判別。 因此，新聞輿論風險的防範亟需將AI生成內容辨識提上日程。
此外，就目前市場上AI生成內辨識業務的開展情況來看。市場上僅有1家企業提供了相對成熟的AI生成內容辨識服務，供給嚴重不足。 要想把好新聞輿論風險防範的第一關，供需問題必須引起高度重視。
二、布局門檻有「雙高」——營運成本高、技術水平高
據表一可知，AI內容稽核模型是目前市場上防範輿論風險業務中最多的套用模型。7家開發公司中，其中百度、阿裏、騰訊、網易這些互聯網巨頭占據大半壁江山，背後究竟隱藏了哪些玄機？
1、業務營運成本高
AIGC-Safe是新華網股份有限公司聯合中國科學院計算技術研究所設計的AIGC安全治理綜合平台。該模型將AI生成內容辨識業務與AI稽核內容業務集於一體，能夠對文本、圖片以及音影片等多種格式的內容進行全面檢測。其核心目標是確保內容的真實性和合規性，從而有效應對虛假資訊、AI換臉技術濫用、網絡攻擊、版權侵犯以及學術不端等問題。AIGC-Safe的套用範圍廣泛，為新聞媒體、教育行業、金融服務和公共安全等多個領域的AIGC安全提供了堅實的保障。
△AIGC-Safe測試網頁
該模型於2023年7月16日正式釋出，但之後網絡上再無相關後續開發套用進展資訊。最新訊息為相關股民對公司代表的詢問；公司代表表示：「仍在內測階段，考慮到營運成本和經濟收益暫時不公開推廣。」高昂的營運成本成為業務布局的重大阻礙，讓身為國家隊的「新華網」也望而卻步。
反觀四大互聯網大廠的業務模型。相關服務收費並沒有想象中那麽高。以阿裏雲AI系統安全為例。圖文畫面稽核均價為17.5元/萬次，音影片稽核僅為1.7元/小時。可見，相較於非資訊科技服務業的傳媒企業來說，互聯網企業依托本身的技術優勢能夠有效的降低營運成本，進而制定出更具競爭力的服務價格，迅速搶占大量市場份額。
△阿裏雲AI系統安全AI稽核內容業務價目表
在高昂的營運成本困境下，如何實作降本增效成為傳統媒體企業布局AI內容稽核業務亟需考慮的重要問題。
2、技術水平要求高
從官網披露的資訊來看，互聯網企業的模型均依靠公司團隊自主研發。
百度、阿裏、騰訊、網易的研發能力不言而喻。百度大腦、阿裏AI系統安全、騰訊AI稽核系統、網易易盾這四大模型實作了音訊、影片、文本AI稽核業務全覆蓋。
但更值得一提的是博匯科技這家始終堅持國產自研的民營企業，旗下核心產品「多模態AI辨識引擎」 能夠最佳化自媒體平台內容質素、拒絕不良內容傳播，凈化影片內容，為打造良好的自媒體生態提供技術支持。公司資訊披露，相關業務已經在國家廣播電視總局、中央廣播電視總台、中國廣電網絡股份有限公司；28 個省級廣播電視局；28 個省級新媒體播控平台；30 個省級廣電網絡公司；30余個電訊供應商省分公司；咪咕視訊、央視網、芒果TV等網絡視聽平台得以運用。
△陜西省互聯網輿情監管系統運用博匯科技相關產品
反觀人民日報社、新華網這樣的國有傳媒企業，自身主營業務難以觸及AI內容稽核技術，團隊需要中科大、中科院等科研院所的技術支撐才能研發出產品模型。可見AI內容稽核模型對技術水平的要求之高不是一般企業能夠企及的。能否突破技術壁壘是傳統媒體企業要想入局該領域重要前提。
小結
三川匯文化產業（ID：schwhcy）調查發現，目前市面上的新聞輿論風險防範業務聚焦於AI稽核內容而忽略了重要的AI生成內容辨識。在AIGC與UGC高度結合的內容生產環境下，媒體平台難以限制使用者利用AI生產內容資訊。因此，判別網絡上流傳的新聞資訊是否為AI生成，保證內容的真實性成為了防範新聞輿論風險的第一關。但目前主流的「AI+人工」的稽核機制，嚴重忽略了這一重要環節。開展AI生成內容辨識業務的企業少之又少，因此產生了AI謠言擾亂社會秩序的不良影響。加快相關業務布局刻不容緩。
此外，新聞輿論風險防範業務本身就有著較高的資金成本門檻也科學技術門檻。在這兩大門檻的限制下，互聯網大廠在市場上獨占鰲頭。但「術業有專攻」，傳統媒體企業作為新聞內容的主要生產者在把關新聞內容生成、預判新聞輿論風險、治理輿論風險層面應當更具專業性。傳統媒體企業與科研機構以及互聯網大廠通力協作，克服成本困境、技術壁壘才能進一步為社會新聞輿論風險的防範與治理提供堅實的保障。
