摘要

智能手机和可穿戴设备的广泛采用导致了丰富数据集的积累，这有助于以从未有的细节理解行为和健康。与此同时，机器学习，特别是深度学习在各种预测任务中取得了令人瞩目的表现，但它们在时间序列数据上的使用似乎具有挑战性。由于噪声、稀疏性、行为的长尾分布、缺乏标签和多模态，现有模型难以从这种独特类型的数据中学习。本论文通过开发新模型来解决这些挑战，这些模型利用多任务学习进行准确预测，多模态融合来改进种群子类型，以及自我监督来学习广义表示。我们将我们提出的方法应用于通过传感器数据预测心理健康和心肺健康的现实世界任务。

首先，我们研究从智能手机（运动和背景音频）收集的被动数据与瞬时情绪水平的关系。我们的新训练管道将不同的传感器数据结合到低维嵌入中，并将纵向用户轨迹聚类为结果，优于仅基于心理学问卷的传统方法。其次，由于情绪不稳定作为心理健康状况不佳的预测因素，我们提出了用于时间序列预测的编码器 - 解码器模型，该模型利用多任务学习的情绪双模态。

接下来，受视觉和语言任务中通用模型成功的推动，我们提出了一种自我监督的神经网络，可用作可穿戴数据的特征提取器。为此，我们将心率响应设置为活动数据的监督信号，利用它们潜在的生理关系，并表明由此产生的与任务无关的嵌入可以泛化通过迁移学习（例如 BMI、年龄、能量）预测结构不同的下游结果支出），优于无监督自动编码器和生物标志物。最后，承认健康状况是整体健康的一个强有力的预测指标，然而，这只能用昂贵的仪器（例如，最大摄氧量测试）来测量，我们开发了能够准确预测当前可穿戴设备的细粒度健康水平的模型，更重要的是，近十年后它的方向和规模。

所有提出的方法都在大型纵向数据集上进行评估，有成千上万的参与者。本论文中开发的模型和得出的见解为更好地理解高维行为和生理数据提供了证据，这些数据对大规模健康和生活方式监测具有重要意义。

第一章 引言

1.1 研究动机

计算机和数据已经改变了我们获取信息的方式、我们的交流方式以及我们对科学的思考方式。大型数据集的管理已经彻底改变了许多领域，实现了几十年前无法想象的规模（Aad等人, 2012）。但是孤立的数据是没有意义的；我们的努力应该有针对性地提取影响决策并最终改善生活的可行见解和知识。

健康数据是直接改变生活的最佳选择。我们处理这些数据的方式的进步可以改变我们的社会。尽管绝大多数医学研究都研究临床数据（实验室、影像学、生命体征等），但普通人每年只看医生大约 5 次（Kim 等人，2014 年）。另一方面，可穿戴传感和移动计算的最新进展以及它们的广泛采用，为在实验室和医院环境之外以纵向方式收集健康和福祉数据创造了新途径。除了“填补”传统临床数据的空白外，这些设备还为大规模生活方式监测开辟了新的研究和商业方向。例如，全球数百万人使用此类设备来跟踪他们的身体活动和睡眠，并具有越来越复杂的预测能力（Althoff 等人，2017 年）。

与此同时，看似完全不同的力量，如成熟的开源科学软件库、更容易的数据众包和标签，以及专用硬件（显卡）的再利用，都使预测建模得到了显着改进。许多机器学习 (ML) 任务都取得了令人印象深刻的性能，从图像中的对象识别（He 等人，2016 年）到在围棋、雅达利和国际象棋游戏中赢得最佳玩家（Schrittwieser 等人，2020 年） ，或在乳腺癌筛查方面表现优于专家（McKinney 等人，2020 年）。在所有这些案例中，共同点是管理高质量的大型数据集，这些数据集允许模型利用潜在模式并随后在现实世界中进行泛化（Hyland 等人，2020 年）。然而，尤其是在错误预测可能产生严重后果的健康领域，此类系统的推出和采用遭到了抵制（Davenport 和 Kalakota，2019 年）。相反，在线服务、社交网络或流媒体服务等低误报成本和高数字化率的领域，不仅接收机器学习，而且积极推动研究界进一步发展计算机视觉和自然语言领域发展。

类似于社交网络如何学习我们的在线行为，可穿戴设备和移动设备监控我们在现实世界中的活动。通过跟踪我们的睡眠、步数、饮食和工作习惯，他们可以全面了解我们日常健康中最重要的组成部分（世界卫生组织，2002 年），然而现在只有通过调查才有可能。尽管我们认识到此类数据集的价值，但机器学习在健康和移动传感方面的进展并没有跟上其他领域的步伐。例如，在过去十年中，Fitbit 或 iPhone 等设备一直在以前所未有的时间分辨率收集多模式传感器数据。然而，有效利用这些数据集带来了许多挑战，导致这些数据在科学和医学研究中经常被忽视。此外，在这个粒度上获得高质量注释和基本事实可能是昂贵的，甚至是不可能的。需要新的计算方法来应对这些挑战，本论文试图弥合其中的一些差距。

1.2 传统身心健康监测的局限性

尽管检测和了解心理和身体健康的波动很重要，但医生和研究人员仍受到一个关键限制的阻碍：缺乏可靠和有意义的数据。大多数已建立的研究和临床实践都是基于纸笔书面的自我报告和调查，虽然在没有替代方案的情况下很有价值，但它们会受到偏见并且经常提供不完整的信息（Brenner 和 DeLamater，2014 年）。

个人可能不准确地回忆起他们的行为，报告他们习惯的理想化版本或它们的某种组合。先前的研究发现，自我报告的身体活动存在报告偏差，这源于社会期望偏差（报告被视为社会期望的行为），以及精确报告身体活动行为的强度、持续时间和频率的认知复杂性（Sallis and Saelens，2000）。此外，对自我报告行为的理解仅限于向研究参与者提供的特定问题集。这些可能不足以反映复杂行为的完整视图。报告错误导致的不准确可能随机分布在所研究的人群中。这些错误也可能是系统性的，不同人群中的参与者系统地低于或过度报告他们的活动水平。这可能导致错误关联的识别。

与身体健康类似，偏见会以更微妙的方式影响心理健康研究。被要求报告他们的情绪水平或测试抑郁症的患者可能会被自我强化循环中的问题内容触发，这可能弊大于利（Labott 等人，2013 年）。为了减少对使用自我报告身心健康测量研究中的偏见担忧，应尽可能根据金标准测量或客观测量对问卷进行验证。来自移动设备的数据可以结合两者：由于推送通知，自我报告总是带有时间戳和上下文，而被动传感器可以不显眼地客观地监控行为。

1.3 多感官机器学习的挑战

在大多数领域，科学家的典型工作流程涉及解释数据集方差的综合变量。直到最近，这个过程的特点是精细的特征工程，以便构建能够区分某些类别的信息特征（在分类的情况下）。现在，深度神经网络可通过学习潜在特征作为优化过程的另一作用以及实现最先进的结果（LeCun等人, 2015）来自动化这项任务。这对于移动传感数据更为重要（图 1.1 展示了移动传感器数据的典型机器学习工作流程示意图）。

图 1.1：机器学习工作流的生命周期。处理来自个人设备的数据时遵循的迭代步骤。本论文对应用于整个生命周期的方法做出了贡献，特别关注新颖的特征提取和表示方法，以及推广到以纵向方式收集的新数据。

来自加速度计、心电图 (ECG)、陀螺仪和麦克风等常见传感器的数据通常表示为高维时间序列 (Lane等人, 2010)。与其他数据类型不同，这些传感器测量是有噪声的，尽管在小规模研究中人工设计的特征已被证明是有效的（Wang等人, 2014），但要为个人用户行为的不同噪声水平选择鲁棒的特征并不简单。移动测量中的噪声很难建模，因为它与时间相关 (Park, 2004) 并呈现非线性结构 (Ang et al., 2007)。除了噪声之外，建模传感器数据的挑战还延伸到不同的稀疏程度（Abedin 等人，2019；Ghassemi 等人，2015）、无法获得高质量注释和标签（Bulling 等人，2014）以及异构数据类型（Radu 等人，2018 年），与已建立的基准任务中使用的类型不同。

描述这些挑战的说明性场景可能是个人在洗澡时摘下智能手表。手表的光传感器可能会从远处的表面反射，从而记录错误的心率（噪音）；非磨损期会产生不规则的采样数据，这些数据必须用预期的传感器值（稀疏性）进行估算；用户不太可能在分钟级别注释此事件或其他事件（标签稀缺性）。此外，当最终佩戴时，运动传感器和心脏传感器对压力等外部刺激（多模态）的反应会有所不同（Bent 等人，2020 年）。

尺度也不同。大型纵向研究，如 UK Biobank (Doherty等人, 2017)、Apple Study (Perez等人, 2019)、Fenland Study (O'Connor等人, 2015)、Utsureko (Suhara等人, 2017) ) 和 EmotionSense (Servia-Rodr´ıguez等人, 2017) 一直在使用可穿戴传感器监测数万名参与者的身心健康。例如，超过 200000 名 Fitbit 用户的静息心率升高被用于预测美国的流感样疾病（Radin 等人，2020 年）。然而，诸如广义线性混合模型之类的统计方法对具有重复测量的纵向数据进行操作（例如，单个用户出现多天），无法扩展到该数量的受试者（Zhang等人, 2016）。此外，鉴于之前的移动健康研究是通过受控实验和有限数量的参与者进行的（Sano，2016；Jaques 等，2017；LiKamWa 等，2013），尚不清楚之前的发现和方法是否可以转移到这些大型数据集。此外，缺乏对参与的严格控制以及促进参与的有限机制，使得收集的数据更难以解释。

可以说，这里的潜在挑战是表示。机器学习试图找到有意义的表示，将数据转换为线性可分的空间并区分语义类。从捕获图像数据集结构的卷积网络的低维嵌入 (LeCun等人, 2015) 到最近通过预测输入数据的失真样本来学习更好特征的自监督网络，它已经走了很长一段路（Devlin等人，2019）。但是了解多感官测量如何跨时间相互关联意味着构建个人健康状态的表示。本论文认为，未来健康机器学习的一些基本组成部分将是多任务处理、迁移学习和预测。我们现在知道，执行多项任务的模型不仅更有用，而且还使每个单独的任务更加鲁棒（Kaiser等人, 2017）。此外，能够推理未来的模型可以更好地跨不同环境迁移（Chen等人, 2021）。因此，我们需要模型来通过改进数据表示来解决这些挑战，该表示利用跨传感器关系并尽可能少地依赖手动注释。

1.4 论文与论证

我们回顾了移动健康机器学习改进带来的一些潜在好处，采用传统方法时会出现哪些限制，以及在处理含噪的传感器数据时会遇到哪些挑战。形式上，总体目标可以表述为：改进机器学习方法，用于由消费者移动和可穿戴设备生成的动态和静态、多任务和有限监督的观察、回顾和纵向数据，用于最终目标是改善健康和福祉，重点是心理和身体健康。我们通过首先评估现有方法在大规模身心健康数据集上的潜力，然后提出优于当前方法或提供新见解的新模型来证实这一说法。我们的方法利用并扩展了多模态融合、多任务学习、时间序列预测、迁移学习和自我监督学习的范式。特别是，本论文解决了以下四个研究问题：

• 研究问题1。我们如何使用机器学习将被动传感器时间序列与传统的用户级元数据相结合，以区分集群用户轨迹？
• 研究问题2。多任务学习和编码器-解码器模型在多步时间序列预测中的效果如何？
• 研究问题3。我们如何训练具有自我监督的通用神经网络来利用大量未标记的时间序列数据？
• 研究问题4。我们如何使用深度学习对自由生活的可穿戴传感器数据进行长期心肺健康预测？

为了解决这些问题，我们开发了可以融合时间序列和表格数据的模型，以及能够准确预测心理健康的序列模型。此外，我们设计了新颖的自我监督任务，利用大量未标记的时间序列数据，并提出了新模型，以使用自由的生活传感器数据来预测健康水平。

内容中包含的图片若涉及版权问题，请及时与我们联系删除