Food Portion Estimation via 3D Object Scaling

图像分析方法已经减轻了传统方法中用户负担和偏见的问题。然而，由于智能手机相机或可穿戴设备捕获的食物图像只有二维表示，缺失了三维信息，因此准确的食物份量估计仍然是一个主要的挑战。本文提出了一个新的框架，通过利用三维食物模型和进食场景中的物理参考来估计二维图像中的食物体积和能量。我们的方法估计输入图像中相机和食物对象的姿态，并通过渲染带有估计姿态的食物的三维模型图像来重新创建进食场景。我们还介绍了一个新的数据集SimpleFood45，其中包含45种食物的二维图像以及相关注释，包括食物体积、重量和能量。我们的方法在这个数据集上实现了31.10千卡（17.67%）的平均误差，优于现有的食物份量估计方法。

基于2D图像估算食物能量和体积是一个挑战，因为手机相机或可穿戴设备捕捉的食物图像缺乏3D信息。本文提出了一个新的框架，通过利用3D食物模型和物理参考来估算2D图像中的食物体积和能量。

本文的关键思路是通过估算相机和食物对象的姿态，重新渲染一个3D食物模型的图像，从而重建进餐场景，以估算食物体积和能量。

本文介绍了一个新的数据集SimpleFood45，并在该数据集上实现了平均误差为31.10 kCal（17.67%）的结果，优于现有的食物份量估算方法。本文的方法可以减少传统方法的用户负担和偏差，实现更准确的食物估量。

在这个领域最近的相关研究包括：1）使用深度学习模型进行食物份量估算；2）使用物体识别和分割技术估算食物份量；3）使用虚拟现实技术进行食物份量估算。相关论文包括：“DeepFood: Deep Learning-Based Food Image Recognition for Computer-Aided Dietary Assessment”、“Segmentation of Food Images Using Density-Based Spatial Clustering of Applications with Noise and Expectation-Maximization Algorithm”、“Virtual Reality for Assessing the Effectiveness of Portion Size Education”等。