Machine Intelligence Research
欺骗检测是法医分析、安全防控与社会交互领域中一项关键且极具挑战的任务。欺骗行为的复杂性，促使研究界对多模态欺骗检测的关注度持续提升——该技术通过融合多元信号以提升检测可靠性。本综述全面梳理了多模态欺骗检测的最新研究进展，涵盖研究背景、基准数据集、评价指标、特征融合方法，以及从传统机器学习演进至深度学习的各类欺骗检测架构。文末探讨了当前研究面临的挑战、未来发展方向与相关伦理问题。本文同步维护了一个开源GitHub仓库(https://github.com/open-code-and-source/awesome-MMDD)，提供精选数据集与多模态欺骗检测相关文献精选列表。相关成果已发表于《机器智能研究(英文)》2026年第2期"微视觉计算"专题中。
图片来自Springer
全文下载：
Multimodal Deception Detection: A Survey
Jiayu Zhang, Xun Lin, Jiajian Huang, Shuo Ye, Xiaobao Guo, Dongliang Zhu, Ruimin Hu, Dan Guo, Yanyan Liang, Zitong Yu & Xiaochun Cao
https://link.springer.com/article/10.1007/s11633-025-1625-x
https://www.mi-research.net/article/doi/10.1007/s11633-025-1625-x
欺骗检测是指通过综合考量各类人类行为线索及更广泛的生理信号，来判断个体陈述真实性与可信度的方法。该技术在执法、安防、心理学等诸多领域均具有至关重要的作用。因此，学术界与工业界均高度致力于研发更高效的欺骗检测技术，以保障高风险场景下的安全——例如，在边境关卡识别伪装说谎的恐怖分子，或在审讯过程中甄别涉案人员的虚假供述。近年来欺骗检测领域发表的论文数量呈稳步增长态势，表明该方向已成为计算机视觉领域内的研究热点。
早期，人们主要依靠测谎仪以及基于生理信号的传统方法来识别对话中潜在的欺骗行为。尽管这类方法在特定受控环境下能够提供一定线索，但普遍存在有效性与可靠性不足的问题：生理反应既非欺骗行为的充分条件，也非必要条件，且易受个体差异、紧张情绪、环境干扰及检测者主观偏差等因素影响；此外，测谎通常需要接触式或半接触式检测流程，依赖专业操作与严格的实验条件，这极大限制了其在公开访谈、电话通话或网络会议等现实场景中的可扩展性与适用性。
进入机器学习与深度学习飞速发展的时代后，研究者开始探索采用数据驱动方法来替代或补充传统手段。传统测谎方法必须在严格受控条件下开展，且需要与被测对象接触并依赖专业操作；与之相比，基于计算机视觉和机器学习的现代欺骗检测技术在非接触式操作与可扩展性方面具备显著优势。这类方法能够在不引人察觉的情况下，从普通视频或音频记录中分析行为线索，从而可在访谈、监控或线上交流等真实场景中得到更广泛的部署。这一转变直接解决了传统测谎仪的核心局限，包括适用场景有限、具有侵入性以及依赖受控环境等问题，为自动化欺骗检测方法的出现铺平了道路。
特别是深度神经网络在语音识别、自然语言处理、计算机视觉与时序建模等领域的出色表现，为自动化欺骗检测奠定了坚实的算法基础。依托这些技术，相关研究逐步从单模态信号的浅层特征工程，转向端到端、多层次的特征学习与表征学习，从而实现从原始数据中自动提取高级语义特征与行为特征。在此背景下，多模态欺骗检测逐渐成为研究热点。通过联合挖掘音频、文本、面部表情、眼动、姿态及生理信号等多种信息源，检测系统能够获得比单一模态更为全面、鲁棒的判别线索。多模态方法利用模态间的互补性，缓解单一信号易受噪声、伪装行为或文化差异影响的问题，进而提升检测的灵敏度与泛化能力。
本文对近年来多模态欺骗检测领域的相关研究进行综述，将各类方法归纳为多种研究范式，并清晰剖析其优缺点，便于读者快速掌握最新研究进展，同时为实际应用中选择合适算法提供可靠参考。此外，本文展望了该领域未来的研究方向，介绍了多模态欺骗检测的核心概念、现有模态融合与分类方法，以及研究中常用的数据集和评价指标。本综述的主要贡献可概括如下：
1）从不同方法分类的视角，对自动化多模态欺骗检测相关科研文献进行了系统整理与综述。
2）对多模态欺骗检测任务给出了详细的问题定义，并对现有方法的实验结果展开全面论述。
3）总结了当前多模态欺骗检测领域存在的主要问题与潜在挑战，规划了未来的研究方向。
本文其余部分组织结构如下图所示：第2章介绍研究背景，包括研究目标与意义、相关数据集、评价指标，以及欺骗检测任务的标准流程。第3章综述多模态欺骗检测方法，将其划分为两大类(即基于机器学习的方法和基于深度学习的方法)，并深入探讨各类子方法。第4章分析现有多模态欺骗检测方法的性能，涵盖域内验证与跨域验证；同时探讨该领域未来潜在研究方向与伦理挑战。最后，第5章对全文进行总结。
图1 多模态欺骗检测综述的拓扑结构
大湾区大学信息科学技术学院
科研助理
香港中文大学
博士后
大湾区大学信息科学技术学院
科研助理
大湾区大学信息科学技术学院
博士后
南洋理工大学
博士后
武汉大学计算机学院
博士研究生
武汉大学国家网络安全学院
教授
合肥工业大学计算机与信息学院
教授
澳门科技大学创新工程学院
副教授
大湾区大学信息科学技术学院
副教授
中山大学网络空间安全学院
教授
全文下载：
Multimodal Deception Detection: A Survey
Jiayu Zhang, Xun Lin, Jiajian Huang, Shuo Ye, Xiaobao Guo, Dongliang Zhu, Ruimin Hu, Dan Guo, Yanyan Liang, Zitong Yu & Xiaochun Cao
https://link.springer.com/article/10.1007/s11633-025-1625-x
BibTex:
@Article {MIR-2025-09-551,
author={Jiayu Zhang, Xun Lin, Jiajian Huang, Shuo Ye, Xiaobao Guo, Dongliang Zhu, Ruimin Hu, Dan Guo, Yanyan Liang, Zitong Yu, Xiaochun Cao },
journal={Machine Intelligence Research},
title={Multimodal Deception Detection: A Survey},
year={2026},
volume={23},
issue={2},
pages={284-307},
doi={10.1007/s11633-025-1625-x}}
特别感谢本文第一作者、大湾区大学张家钰老师，以及本文通讯作者、大湾区大学余梓彤副教授对以上内容的审阅和修改！
MIR为所有读者提供免费寄送纸刊服务，如您对本篇文章感兴趣，请点击下方链接填写收件地址，编辑部将尽快为您免费寄送纸版全文！
说明：如遇特殊原因无法寄达的，将推迟邮寄时间，咨询电话010-82544737
收件信息登记：
https://lcn76mgd97vz.feishu.cn/share/base/form/shrcnsQ6cmRjqoxPF5WDowSBFVr
关于Machine Intelligence Research
Machine Intelligence Research（简称MIR）由中国科学院自动化研究所主办，于2022年正式出版。MIR立足国内、面向全球，着眼于服务国家战略需求，刊发机器智能领域最新原创研究性论文、综述、评论等，全面报道国际机器智能领域的基础理论和前沿创新研究成果，促进国际学术交流与学科发展，服务国家人工智能科技进步。期刊入选"中国科技期刊卓越行动计划"，已被ESCI、EI、Scopus、中国科技核心期刊、CSCD等20余家国际数据库收录，入选图像图形领域期刊分级目录-T2级知名期刊。2022年首个CiteScore分值在计算机科学、工程、数学三大领域的八个子方向排名均跻身Q1区，最佳排名挺进Top 4%，2023年CiteScore分值继续跻身Q1区。2024年获得首个影响因子(IF) 6.4，位列人工智能及自动化&控制系统两个领域JCR Q1区；2025年发布的最新影响因子达8.7，继续跻身JCR Q1区，最佳排名进入全球第6名；2026年进入期刊分区表1区。
点击"阅读原文"进入专题目录
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢