AI+CV博士论文 | Washington St. Louis 2026 | 智能厨房：迈向用于日常活动认知支持的实时人工智能系统 160页

人口老龄化的快速增长和主观认知衰退（Subjective Cognitive Decline，SCD）患病率的上升凸显了在日常活动中持续、无干扰地评估功能性认知的必要性。基于视觉的智能家居系统（smart home systems）为监测行为和支持独立生活提供了一条很有前景的途径。然而，实现实时认知辅助仍然面临挑战。这不仅需要准确解读复杂的人类行为以检测认知错误，还需要支持在资源受限的边缘设备和动态无线网络条件下进行实时部署。本论文提出了智能厨房（Smart Kitchen），这是一个通过监测日常烹饪活动来实时检测认知错误（cognitive error）的AI驱动系统。在此框架下，本论文对认知错误检测做出了两项主要贡献。首先，我们引入了Oatmeal107数据集，这是一个历时两年收集的真实世界数据集，它捕捉了自然的烹饪行为以及自然发生的认知序列错误。其次，我们提出了CHEF-VL，这是一个基于视觉语言模型的在线推理框架，可以从实时视频流中检测序列级认知错误。为了支持实际的实时部署，本论文进一步提出了两项互补的系统贡献。我们开发了RT-HARE，这是一个端到端的框架，它通过绕过计算成本高昂的光流提取，实现了嵌入式平台上的低延迟、高精度的人体动作识别。此外，我们还引入了渐进式神经压缩（Progressive Neural Compression，PNC），这是一个无速率编码框架，能够在不稳定的无线网络环境下实现自适应的、时序感知的视觉数据卸载。这些贡献共同表明，人工智能系统能够准确、实时、无干扰地检测日常活动中的认知错误。这项工作为智能辅助系统奠定了基础，这些系统能够提升认知能力下降人群的安全感、自主性和生活质量。