专题综述: 微手势识别的数据集、方法与挑战 | 哈尔滨工业大学(深圳)徐勇团队

图片来自Springer

全文导读

人类行为是内在情绪状态的重要外在表现，因此在情感计算与情感人工智能研究中具有基础性作用。语言交流传递的是显性信息，而面部表情、手势及肢体动作等非言语行为，往往能更直接、更真实地反映个体的潜在情绪。因此，行为分析为推断隐藏情绪提供了有效手段，尤其适用于人们不愿或无法明确表达自身感受的场景。

但需要注意的是，并非所有行为都同样显而易见或为有意识表达。在许多情况下，人们会主动压抑或掩饰自身情绪，刻意掩盖明显的外在行为表现。即便经过刻意抑制，一类被称为微手势的无意识细微行为仍有可能显现出来。“微手势” 这一术语最早出现在心理学研究中，用于辅助医生通过肢体手势诊断患者的心理状态。这类微手势虽转瞬即逝且常被忽视，却能为探究被压抑或隐藏的情绪状态提供极具价值的线索，也为借助行为分析深化人类情感理解开辟了极具潜力的研究方向。

以往针对手势的研究大多集中在示意性手势上，例如点头、挥手等，这类手势是人们为传递特定含义或情绪状态而刻意做出的动作。与之相对，微手势则属于一类截然不同的行为 。微手势与交际性手势有着本质区别，它通常是由内在情绪过程引发的非自主、潜意识反应。例如，人在压力下搓手这类细微动作，其主要作用是自我安抚、调节自身情绪状态，而非传递信息。

根据文献，手势可分为以下类别：

1) 本能性手势。这类手势被认为是与生俱来、由生理机制决定的。例如，点头表示肯定或赞同具有普遍性，即便先天失明的人也会自然做出这一动作。尽管本能性手势与微手势都可能具有先天属性，但二者的核心区别在于功能：本能性手势是普适性的生理信号，如点头、鼻孔扩张等；而微手势是转瞬即逝的行为表现，主要起到自我调节或自我保护作用，而非用于向他人传递交流信号。

2) 习得性手势。这类手势通过社会学习与早期生活经历逐步形成。例如，将头转向一侧表示拒绝，这一行为通常在婴儿时期便已习得。婴儿在吃饱母乳后会把头扭开，稍大的孩子在拒绝勺子喂来的食物时也会做出同样的转头动作。

3) 自然选择演化形成的手势。部分手势是生物为适应生存需求而逐步演化而来。例如，在进入战斗或逃跑应激状态前，人会扩张鼻孔以增加氧气吸入量，这一行为便是源于进化过程的适应性机制。

微表情具有自发性与非自主性，近年来受到越来越多的关注，因其能够有效揭示个体隐藏或被压抑的情绪状态。与为实现交流目的而有意识做出的象征性手势不同，微表情是在潜意识状态下产生的，往往反映出难以掩饰的真实情绪过程，如下图所示。因此，对微表情进行分析与识别，为深化人类情绪理解提供了一条极具前景的路径，尤其适用于言语线索与外显行为无法表露真实情感状态的场景。

人类交流中情感线索的分类体系

非言语交际线索包括面部表情、肢体手势及其他细微信号。其中，微手势与微动作属于非自主、精细化的肢体运动，为解读隐藏情绪提供了关键依据。

尽管微手势在情绪推断方面极具潜力，但其精准识别仍面临巨大挑战。已有研究表明，特定类型的微手势与特定情绪状态密切相关，这意味着对这些细微行为的识别可用于构建自动化情绪识别系统。然而，微手势具有细微、转瞬即逝的特点，通常表现为强度低、持续时间短，且往往不易被察觉，这给有效分类带来了极大困难。这些特性使得微手势极易被人类观察者和深度学习模型所忽略，因此迫切需要更精细的识别技术，以捕捉这类短暂且非自主的行为信号。

本文全面综述了微手势识别与基于微手势的情绪分类领域的最新研究进展。第2节首先介绍微手势识别的基本概念，包括其心理学基础及其在情感计算中的重要意义。第3节进一步阐述微手势与情绪表征之间的关联。第4节梳理并总结了现有的微手势数据集与评测基准。随后，第5节详细综述近年来的研究方法，涵盖监督学习与无监督学习两大类，并重点分析各类方法的优势、局限及适用场景。最后，第6节对当前微手势识别方法展开讨论，对比不同学习范式与模态下算法的优缺点；同时探讨微手势研究中涉及的广泛文化差异与伦理问题，以及基于微手势识别的情绪理解应用。

作者团队

王韬睿

哈尔滨工业大学(深圳)、大湾区大学

博士研究生

林讯

香港中文大学

博士后

徐勇

哈尔滨工业大学(深圳)

教授

叶启朗

南开大学、中关村学院

博士研究生

郭丹

合肥工业大学

教授

Sergio Escalera

巴塞罗那大学

教授

Ghada Khoriba

罗马大学

副教授

余梓彤

大湾区大学

副教授

特别感谢本文第一作者、大湾区大学王韬睿博士对以上内容的审阅和修改！