Sentiment-oriented Transformer-based Variational Autoencoder Network for Live Video Commenting

自动实时视频评论因其在叙述生成、主题解释等方面的重要性而受到越来越多的关注。然而，当前方法缺乏对生成评论的多样情感考虑。情感因素在交互评论中至关重要，但目前缺乏相关研究。因此，在本文中，我们提出了一种基于情感取向的变分自编码器（So-TVAE）网络，其中包括情感取向的多样性编码器模块和批量注意力模块，以实现多种情感和多种语义的多样化视频评论。具体而言，我们的情感取向的多样性编码器巧妙地结合了变分自编码器和随机掩码机制，以在情感指导下实现语义多样性，然后与交叉模态特征融合以生成实时视频评论。此外，本文还提出了批量注意力模块，以缓解数据不平衡引起的情感样本缺失问题，这在直播视频中很常见，因为视频的受欢迎程度是不同的。在Livebot和VideoIC数据集上进行的广泛实验表明，所提出的So-TVAE在生成评论的质量和多样性方面优于现有的最先进方法。相关代码可在https://github.com/fufy1024/So-TVAE上获得。

本论文试图解决自动实时视频评论中情感多样性考虑不足的问题，提出一种基于情感导向的Transformer变分自编码器（So-TVAE）网络，以实现多情感、多语义的多样化视频评论生成。

论文提出的So-TVAE网络包含情感导向的多样性编码器模块和批次注意力模块，通过结合VAE和随机掩码机制实现情感引导下的语义多样性，然后与跨模态特征融合生成实时视频评论。批次注意力模块用于解决数据不平衡导致的情感样本缺失问题。

论文在Livebot和VideoIC数据集上进行了广泛的实验，证明了So-TVAE在生成评论的质量和多样性方面优于现有方法。此外，论文提供了相关代码并开源。

在这个领域中，最近的相关研究包括：1. 'Generating Diverse and Representative Story Ending Using a Variational Autoencoder with Importance Sampling'；2. 'Controllable Text Generation'；3. 'Learning to Generate Product Descriptions from User Reviews'。