• 时间序列分类与预测：6篇

• 时间序列检测：1篇

• 时间神经网络：6篇

• 时间表示与分析: 4篇

• 时空分析·预测：2篇

• 时空分析·知识表达：3篇

• 序列与推荐：7篇

   

时序预测与分类是时间序列领域的经典问题。本次ICML带来了6篇研究，内容包括：结合声学或拓扑图的预测模型，预测模型解释，多维预测，间隔预测等不同时序预测方向的研究：

Voice2Series: Reprogramming Acoustic Models for Time Series Classification

论文地址：http://proceedings.mlr.press/v139/yang21j.html

论文源码：https://github.com/huckiyang/Voice2Series-Reprogramming

论文摘要：学习用有限的数据对时间序列进行分类是一个实际但具有挑战性的问题。当前的方法主要基于手工设计的特征提取规则或特定领域的数据增强。受深度语音处理模型的进步以及语音数据是单变量时间信号这一事实的启发，在本文中，我们提出了 Voice2Serie (V2S)，这是一种新颖的端到端方法，可通过输入转换为时间序列分类重新编程声学模型学习和输出标签映射。利用大规模预训练语音处理模型的表征学习能力，在 31 个不同的时间序列任务上，我们表明 V2S 在 22 个任务上优于或部分采用最先进的方法，并提高了它们的平均准确率1.72%。我们的结果为时间序列分类提供了新的有效方法。

Z-GCNETs: Time Zigzags at Graph Convolutional Networks for Time Series Forecasting

论文地址：https://proceedings.mlr.press/v139/chen21o.html

论文源码：https://github.com/Z-GCNETs/Z-GCNETs.git

论文摘要：最近，人们对开发一类新的深度学习 (DL) 架构产生了浓厚的兴趣，该架构将显式时间维度集成为学习和表示机制的基本构建块。反过来，许多最近的结果表明，观测数据的拓扑描述符，在不同尺度的拓扑空间中编码数据集形状的信息，即数据的持久同源性，可能包含重要的补充信息，提高性能和DL 的鲁棒性。作为这两种新兴思想的融合，我们建议使用数据中最显着的时间条件拓扑信息来增强 DL 架构，并将锯齿形持久性的概念引入时间感知图卷积网络 (GCN)。之字形持久性提供了一个系统的、数学上严格的框架来跟踪观察到的数据的最重要的拓扑特征，这些特征往往会随着时间的推移而显现出来。为了将提取的时间条件拓扑描述符集成到深度学习中，我们开发了一个新的拓扑摘要，锯齿形持久性图像，并推导出其理论稳定性保证。

Explaining Time Series Predictions with Dynamic Masks

论文地址：https://proceedings.mlr.press/v139/crabbe21a.html

论文源码：https://github.com/JonathanCrabbe/Dynamask

论文摘要：我们如何解释机器学习模型的预测？当数据被构造为多元时间序列时，这个问题会引起额外的困难，例如解释需要体现时间依赖性和大量输入。为了应对这些挑战，我们提出了动态掩码（Dynamask）。该方法通过将扰动掩码拟合到输入序列，在每个时间步为每个特征生成实例重要性分数。为了结合数据的时间依赖性，Dynamask 研究了动态扰动算子的影响。为了处理大量输入，我们提出了一种方案，使特征选择变得简约（选择不需要的特征）和易读性（我们通过与信息论的平行来详细说明的概念）。通过合成和真实世界的数据，我们证明了 Dynamask 的动态基础及其简约性，随着时间的推移，在识别特征重要性方面提供了巧妙的改进。Dynamask 的模块化使其成为理想的插件，可以在时间序列丰富的医学和金融等领域增加各种机器学习模型的透明度。

End-to-End Learning of Coherent Probabilistic Forecasts for Hierarchical Time Series

论文地址：https://proceedings.mlr.press/v139/rangapuram21a.html

论文源码：https://github.com/awslabs/gluon-ts

论文摘要：本文提出了一种分层时间序列预测的新方法，该方法无需任何明确的后处理协调即可产生连贯的概率预测。与最先进的方法不同，所提出的方法同时从层次结构中的所有时间序列中学习，并将协调步骤合并到一个可训练的模型中。这是通过应用重新参数化技巧并将协调转换为具有封闭形式解决方案的优化问题来实现的。这些模型特征使分层预测的端到端学习成为可能，同时完成生成概率性和连贯性预测的挑战性任务。重要的是，我们的方法还适应一般聚合约束，包括分组和时间层次结构。对现实世界分层数据集的广泛实证评估证明了所提出的方法相对于最先进技术的优势。

Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting

论文地址：https://proceedings.mlr.press/v139/rasul21a.html

论文源码：暂未公布

论文摘要：在这项工作中，我们提出了 TimeGrad，这是一种用于多元概率时间序列预测的自回归模型，它通过估计梯度从每个时间步的数据分布中采样。为此，我们使用扩散概率模型，这是一类与分数匹配和基于能量的方法密切相关的潜在变量模型。我们的模型通过优化数据似然的变分界限来学习梯度，并在推理时使用朗之万采样通过马尔可夫链将白噪声转换为感兴趣的分布样本。我们通过实验证明，所提出的自回归去噪扩散模型是对具有数千个相关维度的现实世界数据集进行的最先进的多元概率预测方法。我们希望这种方法对从业者来说是一个有用的工具，并为该领域的未来研究奠定基础。

Conformal prediction interval for dynamic time-series

论文地址：https://proceedings.mlr.press/v139/xu21h.html

论文源码：https://github.com/hamrel-cxu/EnbPI

论文摘要：我们开发了一种为动态时间序列构建无分布预测区间的方法，称为 EnbPI 环绕任何引导集成估计器以构建顺序预测间隔。EnbPI 与保形预测（CP）框架密切相关，但不需要数据可交换性。从理论上讲，这些区间获得了有限样本、近似有效的边际覆盖范围，适用于广泛类别的回归函数和具有强烈混合随机误差的时间序列。在计算上，EnbPI避免过拟合，既不需要数据分割，也不需要训练多个集成估计器；它有效地聚合了经过训练的引导估计器。一般来说，EnbPI易于实现，可扩展以按顺序生成任意多个预测区间，并且非常适合各种回归函数。我们执行广泛的真实数据分析以证明其有效性。

时序检测在工业界有很广泛的应用。本次ICML带来了1篇相关研究：持续检测离散的事件序列。

Event Outlier Detection in Continuous Time

论文地址：https://proceedings.mlr.press/v139/liu21g.html

论文源码：https://github.com/siqil/CPPOD

论文摘要：连续时间事件序列表示在连续时间发生的离散事件。这样的序列在现实生活中经常出现。通常我们期望序列随着时间的推移遵循某种规则模式。然而，有时这些模式可能会因事件的意外缺席或发生而中断。识别这些意外情况非常重要，因为它们可能指向需要人工注意的异常情况。在这项工作中，我们研究和开发了用于检测连续时间事件序列中的异常值的方法，包括事件的意外缺失和意外发生。由于事件序列倾向于遵循的模式在不同的上下文中可能会发生变化，因此我们开发了基于可以考虑上下文信息的点过程的异常值检测方法。我们的方法基于贝叶斯决策理论和具有理论保证的假设检验。为了测试这些方法的性能，我们对合成数据和真实世界的临床数据进行了实验，并展示了所提出方法的有效性。

ADOM: Accelerated Decentralized Optimization Method for Time-Varying Networks

论文地址：https://proceedings.mlr.press/v139/kovalev21a.html

论文源码：暂未公布

论文摘要：我们提出了 ADOM——一种在时变网络上进行平滑和强凸分散优化的加速方法。ADOM 使用双重预言机，即我们假设可以访问各个损失函数的 Fenchel 共轭梯度。直到一个仅取决于网络结构的常数因子，其通信复杂度与加速 Nesterov 梯度方法相同。据我们所知，只有 Rogozin 等人的算法具有类似属性的收敛速度。然而，他们的算法在非常严格的假设下收敛，即网络变化的次数不能大于迭代次数的一小部分。这个假设在实践中很难满足，因为网络拓扑的变化通常是无法控制的。相比之下，ADOM 只需要网络始终保持连接。

UnICORNN: A recurrent model for learning very long time dependencies

论文地址：https://proceedings.mlr.press/v139/rusch21a.html

论文源码：暂未公布

论文摘要：由于梯度爆炸和消失问题，设计循环神经网络 (RNN) 以准确处理具有长期依赖性的顺序输入非常具有挑战性。为了克服这个问题，我们提出了一种新颖的 RNN 架构，该架构基于对振荡器网络建模的二阶常微分方程的哈密顿系统的结构保持离散化。由此产生的 RNN 快速、可逆（在时间上）、内存效率高，我们推导出了隐藏状态梯度的严格界限，以证明梯度爆炸和消失问题的缓解。提供了一组实验来证明所提出的 RNN 在具有（非常）长期依赖性的各种学习任务上提供了最先进的性能。

Temporal Predictive Coding For Model-Based Planning In Latent Space

论文地址：https://proceedings.mlr.press/v139/nguyen21h.html

论文源码：暂未公布

论文摘要：高维观察是将基于模型的强化学习 (MBRL) 应用于现实世界环境的主要挑战。为了处理高维感官输入，现有方法使用表示学习将高维观察映射到更适合动态估计和规划的低维潜在空间。在这项工作中，我们提出了一种信息论方法，该方法采用时间预测编码来编码环境中可以跨时间预测的元素。由于这种方法专注于编码时间可预测的信息，我们隐式地将任务相关组件的编码优先于环境中可证明与任务无关的干扰信息。通过结合循环状态空间模型学习这种表示，我们可以在潜在空间中执行规划。我们在标准 DMControl 任务的具有挑战性的修改上评估我们的模型，其中背景被自然视频替换，这些视频包含复杂但与规划任务无关的信息。我们的实验表明，我们的模型在具有挑战性的复杂背景设置中优于现有方法，同时在标准设置中与当前最先进的模型保持竞争力。

Temporally Correlated Task Scheduling for Sequence Learning

论文地址：https://proceedings.mlr.press/v139/wu21e.html

论文源码：https://github.com/shirley-wu/simul-mt_temporally-correlated-task-scheduling

论文摘要：近年来，序列学习引起了机器学习社区的大量研究关注。在许多应用中，一个序列学习任务通常与多个时间相关的辅助任务相关联，这些任务在使用多少输入信息或预测哪个未来步骤方面有所不同。例如，（i）在同步机器翻译中，可以在不同的延迟下进行翻译（即翻译前要读取/等待多少输入单词）；(ii) 在股票趋势预测中，可以预测未来不同天数（例如，明天、后天）的股票价格。虽然很明显这些时间相关的任务可以互相帮助，但关于如何更好地利用多个辅助任务来提高主要任务的性能的探索非常有限。在这项工作中，我们为序列学习引入了一个可学习的调度程序，它可以根据模型状态和当前的训练数据自适应地选择辅助任务进行训练。主任务的调度器和模型通过双层优化联合训练。实验表明，我们的方法显着提高了同步机器翻译和股票趋势预测的性能。

Conditional Temporal Neural Processes with Covariance Loss

论文地址：https://proceedings.mlr.press/v139/yoo21b.html

论文源码：暂未公布

论文摘要：我们引入了一种新的损失函数 Covariance Loss，它在概念上等同于条件神经过程，并且具有正则化形式，因此适用于多种神经网络。由于提出的损失，从输入变量到目标变量的映射受到目标变量的依赖以及输入和目标变量的平均激活和平均依赖的高度影响。这种性质使生成的神经网络对嘈杂的观察变得更加鲁棒，并从先验信息中重新捕获缺失的依赖关系。为了证明所提出的损失的有效性，我们使用最先进的模型对现实世界的数据集进行了大量实验，并讨论了所提出的协方差损失的优缺点。

高效且清晰的时序特征表达与分析对于时序信息的挖掘，决策辅助至关重要。如何对时间序列的价值信息进行表达？本次ICML带来了4篇研究：

Approximation Theory of Convolutional Architectures for Time Series Modelling

论文地址：https://proceedings.mlr.press/v139/jiang21d.html

论文源码：暂未公布

论文摘要：我们研究了应用于时间序列建模的卷积架构的逼近特性，这可以在数学上表述为函数逼近问题。在循环设置中，最近的结果揭示了数据生成过程中近似效率和内存结构之间的错综复杂的联系。在本文中，我们推导出卷积架构的并行结果，WaveNet 是一个主要示例。我们的结果表明，在这种新设置中，逼近效率不仅以记忆为特征，还以目标关系中的其他精细结构为特征。这导致了基于频谱的规律性的新定义，该定义在卷积近似方案下测量时间关系的复杂性。这些分析为理解时间序列建模的架构选择之间的差异奠定了基础，并且可以为实际应用提供理论指导。

Necessary and sufficient conditions for causal feature selection in time series with latent common causes

论文地址：https://proceedings.mlr.press/v139/mastakouri21a.html

论文源码：暂未公布

论文摘要：我们研究了具有潜在变量的时间序列的直接和间接原因的识别，并提供了一种基于约束的因果特征选择方法，我们证明了该方法在某些图约束下既合理又完整。我们的理论和估计算法只需要对每个观察到的候选时间序列进行两次条件独立测试，以确定它是否是观察到的目标时间序列的原因。此外，我们对调节集的选择是为了提高信噪比。我们将我们的方法应用于真实数据和广泛的模拟实验，这些实验产生非常低的误报率和相对较低的误报率。

Neural Rough Differential Equations for Long Time Series

论文地址：https://proceedings.mlr.press/v139/morrill21b.html

论文源码：https://github.com/jambo6/neuralRDEs

论文摘要：神经控制微分方程 (CDE) 是循环神经网络的连续时间模拟，就像神经 ODE 是残差网络一样，并提供了一种内存高效的连续时间方法来对潜在不规则时间序列的函数进行建模。计算神经 CDE 的前向传递的现有方法涉及将传入的时间序列嵌入到路径空间中，通常通过插值，并使用对该路径的评估来驱动隐藏状态。在这里，我们使用粗糙路径理论来扩展这个公式。我们不是直接嵌入到路径空间中，而是通过其 log-signature 表示小时间间隔内的输入信号，这是描述信号如何驱动 CDE 的统计数据。这是求解粗微分方程（RDE）的方法，相应地，我们将我们的主要贡献描述为引入神经 RDE。这个扩展有一个目的：通过将神经 CDE 方法推广到更广泛的驾驶信号类别，我们展示了处理长时间序列的特殊优势。在这种情况下，我们证明了对长达 17k 观测值的问题的有效性，并观察到与现有方法相比，显着的训练加速、模型性能的改进和内存需求的减少。

Whittle Networks: A Deep Likelihood Model for Time Series

论文地址：https://proceedings.mlr.press/v139/yu21c.html

论文源码：https://github.com/ml-research/WhittleNetworks

论文摘要：虽然已经对表格数据广泛探索了概率电路，但对时间序列的关注较少。在这里，目标是估计整个时间序列之间的联合密度，进而确定它们之间的条件独立关系。为此，我们提出了第一个概率电路 (PC) 方法，用于对多元时间序列的联合分布进行建模，称为惠特尔和积网络 (WSPN)。WSPN 利用惠特尔近似，在频域中投射可能性，并在频率上放置一个复值和积网络，即最突出的 PC。然后可以在谱域中有效地确定时间序列之间的条件独立关系。此外，WSPN 可以自然地放入时间序列的深度神经学习堆栈中，从而产生 Whittle Networks，打开用于训练深度神经模型并检查其行为的似然工具箱。我们的实验表明，惠特尔网络确实可以捕获时间序列之间的复杂依赖关系，并为神经网络提供一种有用的不确定性度量。

时空预测在城市交通预测，用户行为预测，多因子气象预测等领域应用广泛。本次ICML带来了2篇研究：

RNN with Particle Flow for Probabilistic Spatio-temporal Forecasting

论文地址：https://proceedings.mlr.press/v139/pal21b.html

论文源码：暂未公布

论文摘要：时空预测在分析无线、流量和金融网络方面有许多应用。许多经典的统计模型在处理时间序列数据中存在的复杂性和高度非线性方面往往存在不足。深度学习的最新进展允许更好地建模空间和时间依赖性。虽然这些模型中的大多数专注于获得准确的点预测，但它们并没有表征预测的不确定性。在这项工作中，我们将时间序列数据视为来自非线性状态空间模型的随机实现，以及用于概率预测的隐藏状态的目标贝叶斯推理。我们使用粒子流作为逼近状态后验分布的工具，因为它被证明在复杂的高维设置中非常有效。对几个真实世界时间序列数据集的彻底实验表明，我们的方法提供了更好的不确定性表征，同时保持了与最先进的点预测方法相当的准确性。

Generative Adversarial Networks for Markovian Temporal Dynamics: Stochastic Continuous Data Generation

论文地址：https://proceedings.mlr.press/v139/park21d.html

论文源码：暂未公布

论文摘要：在本文中，我们提出了一种可以描述马尔可夫时间动态的新型生成对抗网络 (GAN)。为了生成随机序列数据，我们引入了一种新颖的基于随机微分方程的条件生成器和时空约束鉴别器网络。为了稳定 GAN 目标函数的 min-max 类型的学习动态，我们为两个网络提出了适定约束项。我们还提出了一种新的条件 Markov Wasserstein 距离来诱导路径 Wasserstein 距离。实验结果表明，我们的方法优于使用几种不同类型数据的最新方法。

Is Space-Time Attention All You Need for Video Understanding?

论文地址：https://proceedings.mlr.press/v139/bertasius21a.html

论文源码：https://github.com/facebookresearch/TimeSformer

论文摘要：我们提出了一种无卷积的视频分类方法，该方法完全基于空间和时间的自我注意。我们的方法名为“TimeSformer”，通过直接从一系列帧级补丁中学习时空特征，使标准的 Transformer 架构适应视频。我们的实验研究比较了不同的自我注意方案，并建议“分开注意”，即在每个块内分别应用时间注意和空间注意，在所考虑的设计选择中导致最佳的视频分类准确度。尽管采用了全新的设计，但 TimeSformer 在多个动作识别基准测试中取得了最先进的结果，包括在 Kinetics-400 和 Kinetics-600 上报告的最佳准确度。最后，与 3D 卷积网络相比，我们的模型训练速度更快，可以实现显着更高的测试效率（准确率略有下降），并且还可以应用于更长的视频剪辑（超过一分钟）。

CLOCS: Contrastive Learning of Cardiac Signals Across Space, Time, and Patients

论文地址：https://proceedings.mlr.press/v139/kiyasseh21a.html

论文源码：https://github.com/danikiyasseh/CLOCS

论文摘要：医疗保健行业产生了大量未标记的生理数据。这些数据可以通过对比学习来利用，这是一种自我监督的预训练方法，鼓励实例的表示彼此相似。我们提出了一系列对比学习方法 CLOCS，它鼓励跨空间、时间和患者的表示彼此相似。我们表明，在对下游任务进行线性评估和微调时，CLOCS 始终优于最先进的方法 BYOL 和 SimCLR。我们还表明，CLOCS 仅使用 25% 的标记训练数据就实现了强大的泛化性能。此外，我们的训练过程自然会生成特定于患者的表示，可用于量化患者的相似性。

Value Iteration in Continuous Actions, States and Time

论文地址：https://proceedings.mlr.press/v139/lutter21a.html

论文源码：https://sites.google.com/view/value-iteration

论文摘要：经典的价值迭代方法不适用于具有连续状态和动作的环境。对于这样的环境，状态和动作必须离散化，这导致计算复杂度呈指数增长。在本文中，我们提出了连续拟合值迭代（cFVI）。该算法可以使用已知的动态模型对连续状态和动作进行动态编程。利用连续时间公式，可以为非线性控制仿射动力学推导出最优策略。这种封闭形式的解决方案能够将价值迭代有效地扩展到连续环境中。我们在非线性控制实验中表明，动态规划解决方案在模拟中获得与深度强化学习方法相同的定量性能，但在转移到物理系统时表现出色。一个确定性模型并且没有在优化中明确地结合鲁棒性

Learning Self-Modulating Attention in Continuous Time Space with Applications to Sequential Recommendation

论文地址：https://proceedings.mlr.press/v139/chen21h.html

论文源码：https://github.com/kang205/SASRec

论文摘要：用户兴趣在现实世界中通常是动态的，这对从丰富的行为数据中学习准确的偏好提出了理论和实践上的挑战。在现有的用户行为建模解决方案中，注意力网络因其有效性和相对简单性而被广泛采用。尽管被广泛研究，现有的注意力仍然存在两个局限性：i）常规注意力主要考虑用户行为之间的空间相关性，而不管这些行为在连续时间空间中的距离如何；和 ii）这些注意力主要提供了所有过去行为的密集且无区别的分布，然后专注地将它们编码到输出潜在表示中。然而，这不适用于用户未来的行为与她/他的历史行为的一小部分相关的实际场景。在本文中，我们提出了一种名为 self-modifying attention 的新型注意力网络，它对复杂且非线性演化的动态用户偏好进行建模。我们凭经验证明了我们的方法在前 N 个顺序推荐任务上的有效性，并且在三个大规模真实世界数据集上的结果表明我们的模型可以实现最先进的性能。

Confidence-Budget Matching for Sequential Budgeted Learning

论文地址：https://proceedings.mlr.press/v139/efroni21a.html

论文源码：暂未公布

论文摘要：不确定性下决策的一个核心要素是对所执行行动质量的反馈。然而，在许多应用中，这种反馈受到限制。例如，在推荐系统中，反复要求用户提供有关推荐质量的反馈会让他们烦恼。在这项工作中，我们将查询预算的决策问题形式化，其中对允许的奖励查询数量有（可能与时间相关的）硬性限制。具体来说，我们专注于多臂老虎机、线性上下文老虎机和强化学习问题。我们首先分析“贪婪”算法的性能，这些算法在可能的情况下查询奖励。我们表明，在完全随机的环境中，这样做的表现出奇地好，但在遇到任何逆境时，这可能会导致线性后悔。为了克服这个问题，我们提出了 Confidence-Budget Matching (CBM) 原则，当置信区间比可用预算的平方根倒数更宽时查询奖励。我们分析了基于 CBM 的算法在不同设置下的性能，并表明它在环境、初始状态和预算中存在逆境时表现良好。

SigGPDE: Scaling Sparse Gaussian Processes on Sequential Data

论文地址：https://proceedings.mlr.press/v139/lemercier21a.html

论文源码：暂未公布

论文摘要：当输入数据是连续的时进行预测并量化其不确定性是一项基本的学习挑战，最近引起了越来越多的关注。我们开发了 SigGPDE，这是一种新的可扩展稀疏变分推理框架，用于对序列数据进行高斯过程 (GP)。我们的贡献是双重的。首先，我们构造了支持稀疏近似的诱导变量，以便得到的证据下界 (ELBO) 不需要任何矩阵求逆。其次，我们证明 GP 签名内核的梯度是双曲偏微分方程 (PDE) 的解。这种理论见解使我们能够构建有效的反向传播算法来优化 ELBO。我们展示了 SigGPDE 与现有方法相比的显着计算增益，同时在多达 100 万个多元时间序列的大型数据集上实现分类任务的最先进性能。

A Structured Observation Distribution for Generative Biological Sequence Prediction and Forecasting

论文地址：https://proceedings.mlr.press/v139/weinstein21a.html

论文源码：https://docs.pyro.ai/en/dev/contrib.mue.html

论文摘要：生物序列的生成概率建模在生物学和生物医学中具有广泛的现有和潜在应用，从进化生物学到流行病学再到蛋白质设计。许多标准序列分析方法使用多序列比对 (MSA) 算法预处理数据，这是所有科学中使用最广泛的计算方法之一。然而，正如我们在本文中所展示的，在序列预测和预测的背景下，使用 MSA 预处理训练生成概率模型会导致统计病理。为了解决这些问题，我们提出了一种以结构化观察分布（“MuE”分布）的形式替代 MSA 预处理的原则性替代方案。我们从理论上证明，MuE 分布全面概括了推断生物序列比对的流行方法，并提供了此类生物模型与自然语言潜在比对模型的不同之处的精确表征。我们凭经验表明，使用 MuE 作为观察分布的模型优于各种数据集的可比方法，并将 MuE 模型应用于生成概率序列模型的新问题：预测病原体进化。

Representation Matters: Offline Pretraining for Sequential Decision Making

论文地址：https://proceedings.mlr.press/v139/yang21h.html

论文源码：https://github.com/google-research/google-research/tree/master/rl_repr

论文摘要：最近监督学习方法在更大的离线数据集上取得的成功激发了对强化学习 (RL) 领域的兴趣，以研究是否可以将相同的范式转换为 RL 算法。这个被称为离线 RL 的研究领域主要关注离线策略优化，旨在仅从离线数据中找到回报最大化策略。在本文中，我们考虑了一种将离线数据纳入顺序决策的略有不同的方法。我们的目标是回答这个问题，哪些无监督目标应用于离线数据集能够学习提高下游任务性能的状态表示，这些下游任务是在线 RL、从专家演示中模仿学习，还是基于相同的离线策略优化离线数据集？通过使用标准离线 RL 数据集的各种实验，我们发现使用具有无监督学习目标的预训练可以显着提高策略学习算法的性能，否则这些算法本身就会产生平庸的性能。广泛的消融进一步提供了对这些无监督目标的哪些组成部分的见解，例如奖励预测、连续或离散表示、预训练或微调是最重要的，以及在哪些设置中。

Learning to Rehearse in Long Sequence Memorization

论文地址：https://proceedings.mlr.press/v139/zhang21ac.html

论文源码：暂未公布

论文摘要：现有的推理任务通常有一个重要的假设，即推理时总是可以访问输入内容，需要无限的存储资源，并且在长序列上存在严重的时间延迟。为了在存储资源有限的情况下实现对长序列的有效推理，内存增强神经网络引入了一种类似人类的读写记忆来压缩和记忆长输入序列，试图仅根据记忆回答后续查询。但是它们有两个严重的缺点：1）它们不断地根据当前信息更新记忆，不可避免地忘记了早期的内容；2）他们不区分哪些信息是重要的，对所有内容一视同仁。在本文中，我们提出了排练记忆 (RM)，以通过使用历史采样器的自我监督排练来增强长序列记忆。为了减轻对早期信息的逐渐遗忘，我们设计了带有回忆和熟悉任务的自我监督排练训练。此外，我们设计了一个历史采样器来选择用于排练训练的信息片段，使记忆集中在关键信息上。我们通过合成 bAbI 任务和几个下游任务评估我们的排练记忆的性能，包括文本/视频问答和长序列推荐。

Probabilistic Sequential Shrinking: A Best Arm Identification Algorithm for Stochastic Bandits with Corruptions

论文地址：https://proceedings.mlr.press/v139/zhong21a.html

论文源码：https: //github.com/zixinzh/2021-ICML.git

论文摘要：我们考虑了在 T 步的固定预算设置中具有对抗性损坏的随机强盗的最佳臂识别 (BAI) 问题。我们设计了一种新颖的随机算法，Probabilistic Sequential Shrinking(u) (PSS(u))，它与损坏的数量无关。当每步的损坏量 (CPS) 低于阈值时，PSS(u) 将概率趋于 1 的最佳臂或项目识别为 ∞。否则，识别项目的最优性差距会随着 CPS 优雅地降低。我们认为这种分叉是必要的。在 PSS(u) 中，参数 u 用于平衡最优性差距和成功概率。随机化的注入被证明对于减轻腐败的影响至关重要。为了证明这一点，我们设计了两种适用于任何算法的攻击策略。我们将其中之一应用于 PSS(u) 的确定性类似物，称为 Karnin 等人的连续减半 (SH)。(2013)。攻击策略导致 SH 的失败概率很高，但 PSS(u) 保持稳健。在没有损坏的情况下，PSS(2) 的性能保证与 SH 相匹配。我们表明，当 CPS 足够大时，没有算法可以实现趋于 1 的 BAI 概率，因为 ∞。数值实验证实了我们的理论发现。