(資料圖片)

繼此前“10分鐘被AI換臉騙走430萬元”事件引發關注之后，5月25日，4月發生的又一起AI換臉詐騙事件被媒體曝光。這次金額達到245萬元，且整個詐騙過程時間更短，只有9秒鐘。據大皖新聞報道，今年4月，安徽安慶經開區發生一起“冒充熟人”詐騙案，經開公安分局反詐中心民警調查發現詐騙分子使用了一段9秒鐘的智能AI換臉視頻佯裝“熟人”，讓受害人放松警惕從而實施詐騙。

5月24日，中國互聯網協會發文提醒，今年以來，ChatGPT和GPT-4等技術的應用，成為了信息科技領域的熱點，引起公眾對AI技術的廣泛關注和熱情。但伴隨著深度合成技術的開放開源，深度合成產品和服務逐漸增多，利用“AI換臉”“AI換聲”等虛假音視頻，進行詐騙、誹謗的違法行為屢見不鮮。面對利用AI技術的新型騙局，廣大公眾需提高警惕，加強防范。

除AI換臉詐騙外，生成式AI寫作也被用于編造、傳播虛假信息。5月24日，科大訊飛股價午后一度大幅下跌，之后科大訊飛回應稱，股價下跌系某生成式AI寫作“虛假小作文”導致，謠傳風險為不實消息。

2023年4月，國家網信辦發布《生成式人工智能服務管理辦法（征求意見稿）》，其中提到，“利用生成式人工智能生成的內容應當真實準確，采取措施防止生成虛假信息。”

AI造假亂象所帶來的網絡安全問題引發市場關注，上市公司在AI安全領域積極布局。

深信服于5月18日舉行產品發布會，發布深信服安全GPT，該產品不依賴其他開源模型，由深信服自主訓練，并部署于深信服托管云，實現完全自主可控。浙商證券分析師劉雯蜀表示，公司基于自身對于威脅情報和攻防技術行業knowhow對通用大模型進行微調，使得安全GPT模型在安全垂直領域的認知超過通用大模型，呈現出檢測效果好、專業性強、個性化診斷以及迭代快速的特點。相較于傳統AI小模型而言，公司安全GPT模型的能力更加強大。針對數據安全問題，公司安全GPT為自主訓練研發，不依賴開源模型服務，訓練數據部署在深信服托管云上，可實現數據不出境。

天融信在投資者交流會上表示，公司在惡意樣本、風險信息、威脅知識、安全情報等方面具有多年的海量安全數據積累，提前布局人工智能領域的研究與應用。已發布了融入AI技術的防火墻、入侵防御、僵木蠕、沙箱、大數據分析、態勢感知、EDR、數據防泄漏等多款創新型產品。未來將推出更多賦能網絡安全行業的產品與服務。

美亞柏科稱，在AI監管產品方面，公司已經發布了AI-3300“慧眼”視頻圖像鑒真工作站，可以對深度合成偽造的視頻圖像、AIGC生成視頻圖像進行監測鑒定；公司推出的AIGC檢測平臺支持AIGC生成文本的檢測識別。后續公司將持續圍繞包括反生成式AI在內的AI安全及監管領域進行研究并根據業務需要適時布局相關產品。

綠盟科技表示，公司在AI安全領域已布局多年，主要圍繞兩個維度：一方面是利用大數據、人工智能等技術賦能公司原有產品，另一方面是關注AI發展和應用自身面臨的安全風險問題。