A Practical Deep Learning-Based Acoustic Side Channel Attack on Keyboards

Joshua Harrison, Ehsan Toreini, Maryam Mehrnezhad

英国研究人员 Joshua Harrison, Ehsan Toreini, Maryam Mehrnezhad 发表了一篇论文《A Practical Deep Learning-Based Acoustic Side Channel Attack on Keyboards》说明他们训练出一种 AI 模型，只要单纯透过“键盘打字的声音”，就能分辨“用户输入了什么字”，而且准确率达 95 %。

 

研究人员使用了 2021 年的 MacBook Pro 来进行实验。他们对 36 个按键（0-9，a-z）每个按键按 25 次，并用 iPhone 13 mini 及 Zoom、Skype（ MacBook 内置的麦克风），来记录每次按下按键所产生的声音，之后把声音制作成波形图及光谱图，将每个按键的差异视觉化。再用光谱图训练“图像分类器 CoAtNet”，经过各个参数的调整实验，最后得出最佳的准确度。

论文简介：

随着深度学习的最新发展、麦克风的普及以及通过个人设备提供在线服务的兴起，声学侧信道攻击对键盘的威胁比以往任何时候都要大。本文介绍了最先进的深度学习模型的实际应用，以便利用智能手机集成麦克风对笔记本电脑按键进行分类。

在对附近手机记录的按键进行训练时，分类器的准确率达到了 95%，是不使用语言模型情况下的最高准确率。当使用视频会议软件 Zoom 对记录的击键进行训练时，准确率达到了 93%，创下了该媒介的新高。我们的研究结果证明了通过现成设备和算法进行侧信道攻击的实用性。我们讨论了一系列缓解方法，以保护用户免受这一系列攻击。

内容中包含的图片若涉及版权问题，请及时与我们联系删除