Predicting and Understanding Turn-Taking Behavior in Open-Ended Group Activities in Virtual Reality

在网络虚拟现实（VR）中，用户行为、个体差异和群体动态可以作为未来言语行为的重要信号，例如下一个发言者是谁以及轮流发言的时间。预测和理解这些行为的能力提供了机会，例如帮助具有不同感官能力的用户导航复杂的社交场景，并实例化具有自然行为的虚拟主持人。在这项工作中，我们使用基于社交动态文献提取的特征来预测轮流发言的行为。我们讨论了一个大规模的VR课堂数据集的结果，该数据集包括77个会话和1660分钟的小组社交互动，收集了四个星期。在我们的评估中，梯度提升分类器表现最佳，对于涉及轮流发言行为的“什么”，“谁”和“何时”三个任务，AUC（ROC曲线下的面积）的准确率为0.71-0.78。在解释这些模型时，我们发现组大小、听众个性、与言语相关的行为（例如听众上次言语事件以来经过的时间）、组注视（例如群体看演讲者的程度）以及听众和上一个发言者的头部俯仰角、头部y轴位置和左手y轴位置更显著地影响了预测。结果表明，这些特征在新的社交VR环境中仍然是可靠的指标，因为预测性能随着时间和未在训练数据集中使用的群体和活动而稳健。我们讨论了这项工作的理论和实践意义。

本论文试图通过预测虚拟现实场景中的用户交互行为，为用户提供个性化的辅助和支持，例如帮助不同感官能力的用户在复杂的社交场景中导航，并实现具有自然行为的虚拟主持人。

本论文通过提取基于社交动态文献的特征来预测交替发言行为，并在大规模虚拟现实课堂数据集上进行评估。结果表明，使用梯度提升分类器可以实现最佳性能，对于关于交替发言行为的“什么”，“谁”和“何时”的三个任务，AUC（ROC曲线下面积）的准确率为0.71-0.78。论文还发现，组大小、听众个性、与发言相关的行为、组注视以及听众和前一发言者的头部姿势和手臂姿势等特征对预测具有显著影响。

本论文的实验设计了一个大规模的虚拟现实课堂数据集，使用梯度提升分类器实现了较高的预测性能，结果表明这些特征在新的社交虚拟现实环境中仍然是可靠的指标。论文的贡献在于为虚拟现实中的个性化辅助和支持提供了一种新的思路，并为未来的研究提供了启示。

最近在这个领域中，还有一些相关的研究，例如“Predicting Turn-Taking in Multi-Party Conversations using Long Short-Term Memory Networks”和“Social Signal Prediction using Transfer Learning in VR”.