【标题】A Dual-Critic Reinforcement Learning Framework for Frame-level Bit Allocation in HEVC/H.265 【作者】Yung-Han Ho, Guo-Lun Jin, Yun Liang, Wen-Hsiao Peng,Xiao-Bo Li, Yen-Kuang Chen 【研究团队】淘系技术、达摩院，新竹交通大学 简介 近几年深度强化学习在优化学习算法领域大放异采，为很多优化学习问题带来了很好的解决方案。信道带宽波动和视频码率控制作为优化学习的一个问题。是否可能应用深度强化学习来解决视频码率控制的优化学习问题呢？为此，本文提出了利用深度强化学习网络来学习比特分配的新思路并且做了前沿技术的探索工作。

研究内容 本文提出了独立的两个失真以及码率误差的奖励函数, 当位比特配大于目标码率时, 通过独立采用码率差的奖励函数来引导策略学习, 使其能够回到码率的限制内。而当比特分配小于目标码率时, 通过独立采用失真的奖励函数来引导策略学习,使其能够使用更多的比特来减少失真。本文提出的基于强化学习的比特分配算法如下图所示： 图1：bit allocation强化学习网络架构 研究结果 从客观品质比较表可以观察到, 我们提出的方法无论在哪种常规的测试影片中, PSNR的值都有显著进步，整体平均进步量为0.94dB。 图2：客观品质比较表 图3：主观品质比较表 研究展望 本项研究工作展现了深度强化学习在视讯编码的潜力，相关的做法可以被扩展到更复杂的编码器控制或者针对过去难以优化的主观视觉品质进行优化。学术上也开始出现利用强化学习优化视讯编码器使得压缩过的视讯可利于物件辨认或者其他电脑视觉应用。研究人员相信深度强化学习在视讯编码应用还有更多的可能性在未来值得探索。 论文链接

内容中包含的图片若涉及版权问题，请及时与我们联系删除