歡迎來到「AI觀察」!本期內容……xAI在反猶太主義貼文爭議聲中發布Grok 4……Perplexity推出AI瀏覽器挑戰Google——從其進階用戶開始……OpenAI據報正準備推出自家網頁瀏覽器。
根據一名美國高級官員及一份日期為7月3日的國務院電報,一段冒充國務卿馬可·盧比奧(Marco Rubio)的音頻深偽內容,以AI生成的語音信箱模仿其聲音,聯繫了多名外國部長、一名美國州長及一名國會議員。
目前沒有公開證據顯示,任何收到這些據稱旨在竊取敏感資訊或獲取帳戶存取權限的訊息的人,被這場騙局所欺騙。但此事件是AI語音詐騙變得多麼容易——且令人警覺地具有說服力——的最新高知名度案例。
只需將某人15至30秒的語音上傳至Eleven Labs、Speechify和Respeecher等服務,現在就能輸入任何訊息並以其聲音朗讀出來。請記住,這些工具被完全合法地用於從無障礙功能到內容創作等各種用途——但與許多AI技術一樣,可能被不法分子濫用。
AI生成的深偽內容並非新鮮事,尤其是針對企業高層領導人和公職人員的,但正在成為愈來愈嚴重的問題。八個月前,我報導了超過半數受訪的首席資訊安全官(CISO)將視頻和音頻深偽列為日益增長的隱憂。這一威脅只增不減。Surfshark的一項新研究發現,僅在2025年上半年,與深偽相關的事件就激增至580起——幾乎是2024年全年(150起)的四倍,且遠高於2017年至2023年間報告的64起事件。深偽詐騙造成的損失也急劇攀升,累計達到8.97億美元,其中4.1億美元僅發生在2025年上半年。最常見的手法:冒充公眾人物推廣詐騙性投資,已造成4.01億美元的損失。
「深偽已演變為真實、活躍的網路安全威脅,」軟體安全公司Frontegg的聯合創辦人兼技術長Aviad Mizrachi透過電子郵件告訴我。「我們已經看到AI生成的視頻通話成功欺騙員工,授權數百萬美元的付款。這些攻擊正在發生,而且這種詐騙對駭客來說正變得令人警覺地容易部署。」
Mizrachi補充說,問題的部分原因在於,傳統的身份驗證方法——用戶名、密碼、一次性驗證碼和驗證器應用程式——並非為詐騙者能在數秒內複製你的聲音或面孔的世界而設計。這是因為這些詐騙不一定涉及入侵帳戶——它們依賴於欺騙真實的人主動交出憑證或授權操作。
「那些用於核實個人身份的傳統安全措施顯然已不再有效,」他說,並補充指出大多數網路安全團隊仍然忽視深偽——而這正是攻擊者所利用的漏洞。語音信箱或視頻通話中一個令人信服的假聲音,可以說服某人繞過正常程序或批准電匯,即使所有身份驗證工具在技術上都已到位。
Mizrachi表示,為防範此類欺騙,組織需要部署依賴實體設備(如智慧型手機或硬體安全金鑰)來驗證身份的更強大安全工具。這些工具被稱為FIDO2或WebAuthn通行金鑰,對駭客來說更難以偽造或釣魚攻擊。除設備驗證外,智慧驗證系統還可以監控行為信號——如打字速度、位置或登入習慣——以發現複製聲音無法模仿的異常情況。這些額外的防護層使深偽攻擊更難以成功。
安全公司Darktrace的安全與AI策略總監Margaret Cunningham表示,冒充盧比奧的嘗試充分說明了生成式AI多麼容易被用來發動令人信服的、有針對性的社會工程攻擊。
「這一威脅之所以失敗,並非因為製作粗糙——而是因為它錯過了人類脆弱性的正確時機,」她說。「人們往往不在平靜、專注的狀態下做決定。他們在多工處理、承受壓力、以及被熟悉感引導的情況下做出回應。在那些時刻,一個可信的聲音或看起來官方的訊息很容易繞過警覺。」
生成式AI也大幅降低了媒體操縱的門檻——使其比以往任何時候都更快、更便宜、更具可擴展性。它正在衝擊全球各地的民主:《紐約時報》最近的一篇報導發現,AI驅動的深偽已透過貶低或誹謗對手,改變了全球至少50個國家的選舉。
「這是影響力行動的新前沿,」民主防衛基金會AI研究員Leah Siskind告訴我。「我們已見過其他深偽高級政府官員以獲取個人帳戶存取權限的案例,但利用AI影響外交關係和決策是一種危險的升級。這是一個緊迫的國家安全問題,具有嚴重的外交影響。」
目前,Siskind建議政府官員避開Signal等流行的加密平台,這些平台雖然在內容方面是安全的,但缺乏身份驗證機制。「鑑於在任何消費級通訊應用程式上創建深偽音頻和建立逼真帳戶的便利性,高級政府官員應堅持使用安全的通訊管道,」她說。
注:請觀看這段新的《財富》視頻,內容是關於我參觀IBM量子計算測試實驗室的經歷。我在IBM位於紐約約克鎮高地的園區度過了一段美好時光(這是一座由埃羅·沙里寧設計的世紀中期現代主義傑作,他也是聖路易斯拱門和紐約甘迺迪機場經典TWA航班中心的設計者)。這段視頻是我為今年《財富》500強特刊所做報導的一部分,其中包括一篇深入探討IBM近期復甦的文章。
正如我在文章中所說,「走過IBM研究中心,就像同時踏入兩個世界。沙里寧設計的鋼鐵與玻璃曲線,點綴著由周圍田野收集的石塊砌成的巨大牆壁,原版伊姆斯椅散落在各個討論角落。但這種20世紀的現代主義,與那台外形時尚、龐大如冰箱的量子電腦形成鮮明對比——它是世界上最先進的量子電腦之一,佔據著協作區和工作實驗室的核心位置,其冷卻系統發出穩定的嗡嗡聲。」
話不多說,以下是其餘的AI新聞。
Sharon Goldman
sharon.goldman@fortune.com
@sharongoldman
本文最初刊登於Fortune.com


