本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

無(wú)了個(gè)大語(yǔ)！以后AI靠聽(tīng)鍵盤(pán)聲就能偷你密碼，準(zhǔn)確率高達(dá)95%！

(資料圖片)

你沒(méi)聽(tīng)錯(cuò)，現(xiàn)在鍵盤(pán)敲字也不安全了，簡(jiǎn)直防不勝防。

最近，來(lái)自杜倫大學(xué)等三所高校的研究人員訓(xùn)練了個(gè)AI模型，讓聲學(xué)攻擊變得無(wú)比簡(jiǎn)單，通過(guò)分析鍵盤(pán)聲音，就能重構(gòu)用戶輸入的密碼和敏感信息。這要是被惡意泄露給第三方……

網(wǎng)友們聽(tīng)到后直呼可瑞賊，有人表示：

這就是為啥我輸密碼的時(shí)候會(huì)聽(tīng)重金屬音樂(lè)，并且將音量調(diào)到最大。

危險(xiǎn)！危險(xiǎn)！危險(xiǎn)！

事情還要從英國(guó)幾所大學(xué)研究人員發(fā)的這篇題為“A Practical Deep Learning-Based Acoustic Side Channel Attack on Keyboards”的論文說(shuō)起。

在這項(xiàng)研究中，研究人員用深度學(xué)習(xí)的方法提出了一個(gè)完全自動(dòng)化的鍵盤(pán)聲學(xué)側(cè)信道攻擊流程，包括按鍵分割、通過(guò)mel頻譜圖進(jìn)行特征提取、使用CoAtNet模型進(jìn)行分類幾個(gè)大的部分。

具體來(lái)說(shuō)，第一步按鍵分割，就是記錄目標(biāo)鍵盤(pán)上的按鍵。

在這項(xiàng)工作中，研究人員用到了手機(jī)（iPhone13 mini）和視頻會(huì)議軟件Zoom(模擬遠(yuǎn)程攻擊場(chǎng)景)來(lái)收集聲音，通過(guò)按壓MacBookPro上的36個(gè)按鍵（0-9，a-z）來(lái)制造聲音。

△手機(jī)距離目標(biāo)17cm

每個(gè)按鍵被連續(xù)按下25次后，一個(gè)記錄按壓聲音的文件就產(chǎn)生了。

接下來(lái)就是對(duì)錄音進(jìn)行快速傅里葉變換，然后在頻率上對(duì)系數(shù)進(jìn)行求和以獲得“能量”（energy）。之后定義一個(gè)能量閾值，當(dāng)能量超過(guò)這個(gè)閾值時(shí)，標(biāo)記這里是一個(gè)按鍵音。

通過(guò)這個(gè)方法，可以從長(zhǎng)音頻中分割出獨(dú)立的按鍵音段。

△按鍵分割過(guò)程，信號(hào)通過(guò)FFT轉(zhuǎn)換為能量，當(dāng)超過(guò)閾值時(shí)標(biāo)記按鍵。

和手機(jī)錄音不同，由于Zoom會(huì)使用降噪技術(shù)來(lái)壓縮音量范圍，所以不同按鍵的音量差異很小。這里研究人員提出了一種逐步調(diào)整閾值的方法來(lái)解決這個(gè)問(wèn)題。

簡(jiǎn)而言之，就是先設(shè)置一個(gè)初始閾值，使用當(dāng)前閾值分割音頻，得到按鍵數(shù)量。如果分割得到的按鍵數(shù)量小于目標(biāo)數(shù)量，則降低閾值；如果分割得到的按鍵數(shù)量大于目標(biāo)數(shù)量，則增加閾值。通過(guò)逐步微調(diào)閾值，直到分割結(jié)果等于目標(biāo)按鍵數(shù)量。

這里為了更精細(xì)調(diào)整，每次調(diào)整幅度會(huì)變小，直到準(zhǔn)確分割出所有按鍵。

然后，就可以制作出波形圖和頻譜圖，進(jìn)行特征提取，可視化每個(gè)按鍵的可識(shí)別差異。

△左圖為手機(jī)錄音的波形圖和相應(yīng)的mel頻譜圖，右圖為Zoom錄音。

下面重頭戲來(lái)了，這些頻譜圖圖像會(huì)被用來(lái)訓(xùn)練一個(gè)圖像分類器——CoAtNet。

研究人員將mel頻譜圖作為聲音的視覺(jué)表示，以圖像的形式輸入到CoAtNet中。CoAtNet包含卷積層和自注意力層，可以高效學(xué)習(xí)特征并建模特征之間的全局關(guān)系。

并在CoAtNet的基礎(chǔ)上添加了平均池化層和全連接層，以得到最終的按鍵分類結(jié)果。

此外，研究人員還使用了交叉熵?fù)p失函數(shù)和Adam優(yōu)化器訓(xùn)練模型，訓(xùn)練過(guò)程中，每5個(gè)epoch測(cè)試一次驗(yàn)證集精度。通過(guò)調(diào)節(jié)學(xué)習(xí)率、epoch數(shù)量等超參數(shù)，解決了模型精度突降的問(wèn)題。

最終，模型在手機(jī)錄制的數(shù)據(jù)集上，分類準(zhǔn)確率達(dá)到95%；在Zoom錄制的數(shù)據(jù)集上，分類準(zhǔn)確率達(dá)到93%。

△手機(jī)錄制的MacBook按鍵分類器的混淆矩陣

手機(jī)和Zoom兩種錄音方式的結(jié)果僅差2%，也側(cè)面說(shuō)明了錄音方式的改變不會(huì)對(duì)準(zhǔn)確率產(chǎn)生顯著影響。

此外，值得一提的是，研究人員還發(fā)現(xiàn)大多數(shù)誤分類都是相鄰按鍵，錯(cuò)誤具有一定規(guī)律性。

AI讓古老的東西「重生」

網(wǎng)友看到這項(xiàng)研究后，一部分人表示驚恐，還有一部分人表示這項(xiàng)研究十幾年前就有了：

顯然，古老的（非常非常古老的）東西再次變得新鮮起來(lái)了。

就比如說(shuō)2005年華人一作的這項(xiàng)工作中，就已對(duì)鍵盤(pán)聲學(xué)進(jìn)行了探索。

那么，這里有什么差別？

研究人員表示，之前的方法大多針對(duì)的是臺(tái)式機(jī)鍵盤(pán)，已經(jīng)過(guò)時(shí)了，而這項(xiàng)研究中用的是MacBook鍵盤(pán)，很多型號(hào)通用，潛在危險(xiǎn)更大。

還有現(xiàn)在的麥克風(fēng)也不是當(dāng)年的了，之前是外置話筒，而這項(xiàng)研究中用的是手機(jī)和Zoom錄制按鍵聲。

最主要的是方法不太一樣，以前一種較為常見(jiàn)的方法是用隱馬爾可夫模型（HMM），現(xiàn)在用的是CoAtNet模型。

HMM是在文本語(yǔ)料庫(kù)上訓(xùn)練的模型，用于預(yù)測(cè)序列位置中最可能的單詞或字符。例如，如果分類器輸出“Hwllo”，則可以使用HMM來(lái)推斷“w”實(shí)際上是錯(cuò)誤分類的“e”。

相信對(duì)于廣大網(wǎng)友來(lái)說(shuō)，這些都不是重點(diǎn)，重要的是怎么防范?。?/p>怎么防鍵盤(pán)竊聽(tīng)？

應(yīng)對(duì)AI竊密也不是木得法子。研究人員就說(shuō)了，可以通過(guò)改變打字風(fēng)格，從標(biāo)準(zhǔn)十指摳鍵盤(pán)變?yōu)樽杂纱蜃?，降低識(shí)別準(zhǔn)確率。還有一些方法：

使用隨機(jī)復(fù)雜密碼，包含不同大小寫(xiě)字母，增加攻擊難度。在語(yǔ)音通話軟件中添加隨機(jī)假打字音頻干擾信號(hào)，檢測(cè)到按鍵聲時(shí)添加干擾。使用雙重認(rèn)證，比如指紋等生物特征，避免通過(guò)鍵盤(pán)輸入密碼。

除此之外，此前有研究也提出過(guò)一些，但今時(shí)今日效果可能較差，比如使用觸屏鍵盤(pán)、檢查房間內(nèi)是否有隱藏麥克風(fēng)、關(guān)閉麥克風(fēng)、不在視頻通話時(shí)輸入關(guān)鍵信息等。

網(wǎng)友也給出了一些奇招，比如說(shuō)：

把敲密碼改成復(fù)制/粘貼？

家人們還有啥法子不？

論文鏈接：https://arxiv.org/abs/2308.01074

關(guān)鍵詞：