Tackling Distribution Shifts in Task-Oriented Communication with Information Bottleneck

任务导向通信的目的是提取和传输与任务相关的信息，以显著减少通信开销和传输延迟。然而，训练和测试数据之间的不可预测的分布转变，包括领域转变和语义转变，可能会极大地削弱系统性能。为了解决这些挑战，关键是确保编码特征能够推广到领域转变的数据并检测语义转变的数据，同时保持紧凑以进行传输。在本文中，我们提出了一种基于信息瓶颈（IB）原理和不变风险最小化（IRM）框架的新方法。所提出的方法旨在提取紧凑和信息丰富的特征，具有高效的领域转移泛化和准确的语义转移检测能力，在训练期间不需要任何关于测试数据的知识。具体而言，我们提出了一种基于IB原理和IRM框架的不变特征编码方法，用于领域转移泛化，旨在通过最小化编码特征的复杂性和领域依赖性来找到输入数据和任务结果之间的因果关系。此外，我们通过标签相关的特征编码方法增强了任务导向通信，用于语义转移检测，实现了IB优化和检测性能的联合收益。为了避免IB-based目标的棘手计算，我们利用变分近似导出一个可计算的优化上界。对图像分类任务的广泛仿真结果表明，所提出的方案优于现有最先进的方法，并实现了更好的速率失真折衷。

论文旨在解决任务导向通信中的领域转移和语义转移问题，提出一种基于信息瓶颈和不变风险最小化的方法。

该方法通过不变的特征编码和标签相关的特征编码实现领域转移和语义转移的有效性和准确性。

论文使用变分近似推导出可优化的上界，提出的方法在图像分类任务上表现优于现有方法，实现更好的速率失真权衡。

相关研究包括领域自适应和元学习等方向，例如《Unsupervised Domain Adaptation by Backpropagation》和《Learning to Learn by Gradient Descent by Gradient Descent》。