上市公司加快布局AI安全市場

　　近期，全球范圍多家機構(gòu)對AI大模型進行安全檢測發(fā)現(xiàn)，當(dāng)前市場上的主流AI大模型在內(nèi)容安全、數(shù)據(jù)安全等方面存在明顯薄弱環(huán)節(jié)，AI安全問題引發(fā)高度關(guān)注。為應(yīng)對大模型安全風(fēng)險，我國先后出臺一攬子政策文件，構(gòu)建針對大模型的“雙備案系統(tǒng)”。在此背景下，上市公司加大AI大模型檢測、內(nèi)容安全、數(shù)據(jù)安全業(yè)務(wù)布局。

　　AI安全問題受關(guān)注

　　隨著AI大模型創(chuàng)作的多模態(tài)內(nèi)容越來越豐富，AI安全問題受到全球高度關(guān)注。

　　5月21日，永信至誠表示，子公司智能永信使用AI大模型安全測評“數(shù)字風(fēng)洞”平臺對GPT-4o等主流大模型進行安全測試。結(jié)果表明，GPT-4o的內(nèi)容安全和防護效果不容樂觀。

　　工業(yè)和信息化部信息通信科技委委員、網(wǎng)絡(luò)安全研究所所長閆懷志告訴中國證券報記者，大模型技術(shù)持續(xù)迭代升級，技術(shù)安全風(fēng)險日益凸顯。“算法層面，AI幻覺和安全漏洞可能導(dǎo)致大模型生成虛假信息；算法會成為黑客攻擊的目標(biāo)，對大模型的穩(wěn)定性和可靠性構(gòu)成威脅。同時，大模型正深刻改變著人機關(guān)系，可能導(dǎo)致科技倫理的模糊地帶。在數(shù)據(jù)層面，大數(shù)據(jù)的收集和處理存在隱私泄露和數(shù)據(jù)濫用的風(fēng)險?！?/p>

　　針對AI大模型暴露的安全風(fēng)險，閆懷志建議，首先要加強數(shù)據(jù)加密和匿名化處理，確保數(shù)據(jù)在傳輸和存儲過程中的安全性。其次，強化網(wǎng)絡(luò)安全防護，建立防火墻、入侵檢測系統(tǒng)等，防止黑客入侵和病毒攻擊。同時，建立安全機制和應(yīng)急預(yù)案，以便在發(fā)現(xiàn)安全威脅時能夠迅速響應(yīng)和處理。此外，加強監(jiān)管力度，對AI大模型的研發(fā)、部署和使用進行全程監(jiān)督，確保合規(guī)性和安全性。

　　數(shù)據(jù)要素產(chǎn)業(yè)崛起

　　為應(yīng)對大模型安全風(fēng)險，我國先后出臺《生成式人工智能服務(wù)管理暫行辦法》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》等政策文件，構(gòu)建針對大模型的“雙備案系統(tǒng)”，推動人工智能安全、健康、規(guī)范發(fā)展。

　　2024年3月，全國網(wǎng)絡(luò)安全標(biāo)準化委員會發(fā)布《生成式人工智能服務(wù)安全基本要求》，對上述《暫行辦法》中的數(shù)據(jù)來源合法、內(nèi)容安全等合規(guī)要求的執(zhí)行規(guī)則進行了細化，為生成式人工智能服務(wù)提供者在實踐中開展安全評估提供了有效路徑。

　　AI大模型正推動數(shù)據(jù)要素產(chǎn)業(yè)迅速崛起。第三方行業(yè)咨詢機構(gòu)IDC發(fā)布的報告顯示，生成式AI平臺和模型不斷出現(xiàn)，加速文本、圖像、視頻等數(shù)字內(nèi)容的創(chuàng)建，將持續(xù)帶來數(shù)據(jù)量的增長。

　　騰訊安全總經(jīng)理周斌近期在生成式AI產(chǎn)業(yè)應(yīng)用峰會上表示，相比于其他技術(shù)和業(yè)態(tài)，生成式AI的特征是始終圍繞“數(shù)據(jù)”和“內(nèi)容”展開，每一條訓(xùn)練數(shù)據(jù)和生成內(nèi)容，都在檢驗全套安全體系是否有效。

　　數(shù)據(jù)安全市場正加快形成千億級產(chǎn)業(yè)規(guī)模?！蛾P(guān)于促進數(shù)據(jù)安全產(chǎn)業(yè)發(fā)展的指導(dǎo)意見》提出，到2025年，我國數(shù)據(jù)安全產(chǎn)業(yè)基礎(chǔ)能力和綜合實力明顯增強，數(shù)據(jù)安全產(chǎn)業(yè)規(guī)模超過1500億元。

　　閆懷志表示，一方面，AI大模型需要大量的數(shù)據(jù)進行訓(xùn)練和驗證，數(shù)據(jù)安全是AI大模型安全應(yīng)用的前提和基礎(chǔ)。另一方面，AI大模型安全有助于提升數(shù)據(jù)安全。通過AI大模型對海量數(shù)據(jù)進行分析和挖掘，可以發(fā)現(xiàn)潛在的安全威脅和漏洞，從而采取相應(yīng)的防護措施。

　　推動大模型安全應(yīng)用

　　為滿足AI安全市場需求，相關(guān)上市公司陸續(xù)研發(fā)和推出AI安全檢測、數(shù)據(jù)安全等產(chǎn)品。

　　國投智能5月17日在投資者互動平臺上表示，公司卡位技術(shù)優(yōu)勢，發(fā)布了人工智能大模型內(nèi)容檢測平臺和“AI-3300慧眼視頻圖像鑒真工作站”V1.3版本，可以對利用深度偽造技術(shù)合成的生成式文本、視頻、圖像等進行識別、檢測和鑒定。

　　永信至誠表示，公司發(fā)布AI大模型安全測評“數(shù)字風(fēng)洞”平臺，為AI大模型的持續(xù)演進和應(yīng)用提供堅實的安全保障。在內(nèi)容安全測評方面，平臺借助檢測插件，形成檢測模板、檢測場景分類和測評數(shù)據(jù)集，測評出各類安全風(fēng)險；在系統(tǒng)安全測評方面，平臺對目標(biāo)系統(tǒng)進行深入的安全評估，幫助AI大模型系統(tǒng)迅速發(fā)現(xiàn)潛在的安全漏洞。

　　騰訊云5月17日發(fā)布AI安全保護框架，以及全鏈路的內(nèi)容安全解決方案和數(shù)據(jù)安全解決方案，目前已在AI問答、數(shù)字人、創(chuàng)作助手、代碼生成、娛樂社交、AI客服等場景落地。

　　“AI安全建設(shè)帶來很多市場機會?！遍Z懷志告訴記者，比如隱私保護技術(shù)、風(fēng)險評估與治理、安全教育與培訓(xùn)、安全咨詢與服務(wù)方面。隨著大模型技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)安全行業(yè)需要不斷創(chuàng)新和完善，以滿足日益增長的安全需求。