VolETA: One- and Few-shot Food Volume Estimation

准确估算食物体积对于饮食评估、营养跟踪和分控应用至关重要。我们提出了VolETA，一种使用3D生成技术估算食物体积的复杂方法。我们的方法使用一张或几张RGBD图像创建食物物体的比例缩放3D网格。我们首先基于RGB图像选择关键帧，然后使用XMem++在RGB图像中分割参考物体。同时，使用PixSfM技术估算和优化相机位置。分割的食物图像、参考物体和相机姿态结合在一起形成适合NeuS2的数据模型。对参考物体和食物物体进行独立的网格重建，使用MeshLab基于参考物体确定缩放因子。此外，使用深度信息通过估算潜在体积范围来微调缩放因子。然后将微调后的缩放因子应用于清理后的食物网格进行准确的体积测量。类似地，我们将分割后的RGB图像输入One-2-3-45模型进行一次性食物体积估算，得到一个网格。然后利用获得的缩放因子对清理后的食物网格进行准确的体积测量。我们的实验表明，我们的方法有效地解决了遮挡、光照条件变化和复杂食物几何形状等问题，在MTF数据集上实现了10.97％的MAPE，实现了强健和准确的体积估算。这种创新方法提高了体积评估的精度，并在计算营养和饮食监测方面做出了重大贡献。

该论文旨在解决食品容量估计的精确性问题，以提高饮食评估、营养跟踪和食物摄入控制的应用效果。

该论文提出了一种使用3D生成技术进行食品容量估计的新方法，通过选择关键帧、分割参考物体、估计相机位置、进行独立的网格重建和精细调整缩放因子等步骤，实现了对复杂食品几何形状的准确估计。

该方法在MTF数据集上取得了10.97%的MAPE，具有良好的鲁棒性和精度；同时，论文还使用了One-2-3-45模型进行了一次性食品容量估计，实现了更快速的估计过程。

近期相关研究包括：'A Survey of Deep Learning Techniques for Food Recognition', 'Food Volume Estimation from RGB-D Images Using 3D Fully Convolutional Networks'等。