Interactive $360^{\circ}$ Video Streaming Using FoV-Adaptive Coding with Temporal Prediction

针对$360^{\circ}$视频流媒体，适应视野（FoV）编码是一种有效的方式，可以在有限的带宽下最大化渲染视频质量，其通过为预测的用户视野分配更多的比特率来实现。我们开发了一种低延迟的适应视野编码和流媒体系统，适用于交互式应用程序，该系统对带宽变化和FoV预测误差具有鲁棒性。为了最小化端到端延迟，同时最大化编码效率，我们提出了一种基于帧的FoV自适应交互编码结构。在每个帧中，使用时间和空间预测对位于或靠近预测FoV的区域进行编码，而仅使用空间预测对一个小的旋转区域进行编码。这个旋转内部区域定期刷新整个帧，从而提供了对FoV预测误差和由传输错误引起的帧丢失的鲁棒性。该系统针对每个视频片段自适应不同区域的大小和速率，以在预测的带宽约束下最大化渲染视频质量。由于FoV的时间变化，将这种基于帧的FoV适应与时间预测相结合是具有挑战性的。我们提出了一种新的方法，用于模拟FoV动态对时间预测编码的质量-比特率性能的影响。我们进一步开发了基于LSTM的机器学习模型来预测用户的FoV和网络带宽。使用真实的网络带宽跟踪和FoV跟踪，将所提出的系统与三个基准系统进行了比较，并显示出它显著提高了渲染视频质量，同时实现了非常低的端到端延迟和低的帧冻结概率。

本文旨在开发一种低延迟的FoV自适应编码和流媒体系统，使交互式应用程序能够适应带宽变化和FoV预测误差，以最大化渲染视频质量。

本文提出了一种基于帧的FoV自适应编码结构，每帧中使用时间和空间预测对预测FoV内或附近的区域进行编码，而使用空间预测对一个小的旋转区域进行编码，该区域定期刷新整个帧，从而提供对FoV预测误差和由传输错误引起的帧丢失的鲁棒性。

本文使用LSTM-based机器学习模型来预测用户的FoV和网络带宽。通过在真实世界的网络带宽跟踪和FoV跟踪上进行比较，本文表明了所提出的系统可以显著提高渲染视频质量，同时实现非常低的端到端延迟和低的帧冻结概率。

最近的相关研究包括：1.基于FoV的视频编码和流媒体系统；2.视频质量自适应编码和流媒体系统；3.使用机器学习进行视频编码和流媒体系统的优化。