當人工智能聊天機器人被犯罪分子盯上

“她”的甜言蜜語就是陷阱

當下，以ChatGPT為代表的生成式人工智能類應用火熱，有人看到科技方向、有人發掘樂趣、有人尋覓商業價值，但由此帶來的風險也不容忽視，你能想到嗎？它的“甜言蜜語”輕松就讓人墜入愛河。

更隱蔽 讓你墜入愛河的是“機器人”

AI合成聲音、AI一鍵換臉已不是新鮮事，這些手段從形式上為詐騙類犯罪提供了“外觀化”的作案工具，而ChatGPT等自動生成類應用則可以利用強大的語言庫、信息檢索、數據處理能力，從內容上提供具備思考能力的輸出工具，使得詐騙類犯罪更加隱蔽。

以當前盛行的網絡情感詐騙類犯罪來說，哪怕是“大漢”冒充“美女”，也還是需要一個人在網絡另一端操作、實施詐騙，犯罪分子會用基本成型的“話術”，揣測被害人心理，一步步引誘對方上當。但隨著ChatGPT的發展，詐騙團伙完全有可能只依賴“程序”進行詐騙。大數據可以分析出被害人的偏好，以“婚騙”為例，可以摸清當事人的喜好，如喜歡成熟穩重的，還是幽默風趣的，ChatGPT可以根據聊天上下文進行互動，生成的內容看上去真實性很強，它甚至可以生成完整的、“投其所好”的詐騙套路話術，比真人回應更能使被害人相信遇到了“真愛”。

今年2月，一家安全技術公司用AI生成過一封情書，并將它發送給全球5000位用戶。結果顯示，在已知這封情書有可能是由人工智能生成之后，依舊有33%的受訪者愿意相信這些情話出自人類手筆，而堅信情書由AI創作的受訪者占比僅為31%，其余36%的參與者則表示無法區分情書的創作者到底是人還是機器。從這些情況可以看出，在AI技術加入下，騙子們正變得比以往任何時候都更容易得逞。

要警惕 部分程序是假的 純屬騙錢

調研發現，生成式人工智能還會引發其他多種犯罪。例如目前在相關平臺、軟件中搜索，會出現眾多名稱中包含“ChatGPT”字樣的微信公眾號、小程序、網頁、手機應用等，這些小程序或網頁等，通過吸引用戶點擊鏈接或下載使用，誤導用戶填寫個人信息甚至進行付費，存在損害用戶財產利益的風險，涉嫌詐騙罪；此外，也有以投資生成式人工智能類應用等新技術為名吸收資金的違法犯罪行為。

有一種“山寨”版APP從名稱到頭像均照搬ChatGPT，并聲稱能夠提供與ChatGPT類似的智能問答服務。它們有的只是提供中轉通道，有的則是掛羊頭賣狗肉，與ChatGPT毫不相干。這類APP的服務方式是先免費試用，一旦免費次數用完，就開始收取費用，最高達上千元，還有的APP在安裝時就留下“后門”，以便竊取用戶信息。

ChatGPT能根據犯罪分子的要求編寫、修改郵件的內容，并應用到犯罪活動中。使用ChatGPT編寫網絡釣魚郵件，能簡化詐騙過程，將導致網絡釣魚攻擊的頻率整體上升。

犯罪分子還會通過ChatGPT釣魚鏈接傳播病毒。目前，研究人員已經發現犯罪分子使用ChatGPT創建了一個完整的感染鏈：與廣撒網式的網絡釣魚攻擊不同，這種模式會生成針對特定人或者組織的“魚叉式”網絡釣魚郵件，此類釣魚郵件更有欺騙性和迷惑性，接收者一旦點擊，系統就會被惡意代碼感染中毒。

ChatGPT等生成式人工智能類應用是對海量互聯網信息的加工整合，往往造成信息真偽不明、道德邊界感模糊。當前，互聯網上發布的爆料、網評，甚至謠言，均可作為生成式人工智能類應用的整合資源，且生成內容以“檢索結果”展示，易讓用戶誤認為“標準答案”。若用戶不加甄別地使用、盲目引用未經核實的信息，可能涉嫌侮辱、誹謗、侵犯公民個人信息等犯罪，并不因信息來源于互聯網而不承擔刑事責任。

分析 提供者要承擔三大責任

今年4月11日，國家網信辦發布了《關于〈生成式人工智能服務管理辦法(征求意見稿)〉》(以下簡稱《意見稿》)，著手從立法的角度規范我國生成式人工智能的發展。《意見稿》明確并強化了“提供者責任”。根據《意見稿》相關規定及相似事例，生成式人工智能的提供者要承擔三大責任。

首先，提供者應承擔信息源責任。內容提供者要確保信息源可信，包括數據安全、個人信息保護、知識產權等方面，從源頭處保證信息來源合法合規。但是，面對海量的數據，如何進行信息過濾和篩選，尚需要可行性方案，以便提供者能夠更好地把握信息來源。

此外，提供者應對生成內容負責。例如《意見稿》規定，提供生成式人工智能產品或服務應當遵守法律法規的要求，尊重社會公德、公序良俗，需要做到諸如體現社會主義核心價值觀、防止歧視、公平競爭、防止形成虛假信息、禁止非法獲取個人信息和商業秘密等。另外，提供者還應遵守流程報備責任，通過報備的方式，使生成式人工智能置于主管部門的管理之下，也便于在發生違法違規行為時及時進行處置。

提醒 別點！有些鏈接加了偽裝

海淀法院針對生成式人工智能可能發生的刑事法律風險，提出四點建議。

加大普法宣傳力度，增強網民反詐意識，引導網民合法合規使用軟件，準確識別被偽裝過的“山寨”鏈接，避免泄露個人信息。加快新技術規范立法工作，探索算法推薦等技術管理制度的落地路徑，明確自動生成內容類應用檢索信息的邊界，提高應用開發和應用算法透明度，確保生成式人工智能應用開發和推廣以安全、道德、尊重公民權利和隱私的方式規范開展。加強對新興技術的監管，確保智能AI的訓練模型數據來源可信可靠，對于未在互聯網公開或權利人明確禁用的信息源，及時督促運營企業從AI模型數據庫中剔除，以確保使用的正當性。

完善救濟途徑，在智能AI發布后，以提供補丁網站的方式，便于相關權利人提交不予授權的聲明，并及時刪除不予授權的信息源，以避免和解決AI使用過程中的權屬爭議。

北京晚報記者 高健 通訊員 高曼潔 秦鵬博

（高健）