Learning to Taste: A Multimodal Wine Dataset

解决问题:本文旨在解决葡萄酒口感与视觉、语言之间的关系,以及提供一个大规模的葡萄酒数据集,用于研究这些关系。这是一个新的问题,因为以前的研究往往只关注葡萄酒的口感或者其他单一方面。

关键思路:本文提出了一种低维概念嵌入算法,将人类经验与自动机器相似性核结合起来,以解决葡萄酒口感与视觉、语言之间的关系。相比当前领域的研究,本文的思路在于将多个方面的信息融合在一起,从而更全面地研究葡萄酒的口感。

其他亮点:本文提供了一个大规模的葡萄酒数据集,包括897k张葡萄酒标签图像和824k条葡萄酒评论,以及350k个唯一年份、地区、评分、酒精含量、价格和葡萄成分的注释。此外,本文还进行了一项葡萄酒品尝实验,利用256名参与者对葡萄酒进行品尝,以获得对口感的精细注释。本文的实验设计详细,数据集开放,并提供了代码,这些都是值得关注的亮点。值得深入研究的工作包括更全面的葡萄酒数据集和更精细的口感注释。

相关研究:近期其他相关的研究包括:

  1. "WineQA: A Question Answering Dataset for Sommeliers" by Paroma Varma, Hannes Schulz, and Stefan Riezler from the University of Heidelberg and Google Research.

  2. "Multimodal Pairwise Preference Learning for Wine" by Yuchen Zhang, Zhiyuan Chen, and Julian McAuley from the University of California, San Diego.

  3. "Wine Quality Prediction with Hybrid Machine Learning Models" by Hongliang Guo, Zhongming Jin, and Xiaoxu Li from the University of Electronic Science and Technology of China.

论文摘要:我们提出了WineSensed,一个大型的多模态葡萄酒数据集,用于研究视觉感知、语言和口味之间的关系。该数据集包括来自Vivino平台的897k张葡萄酒标签图像和824k条葡萄酒评论。它涵盖了超过350k个独特的年份,用年份、地区、评分、酒精含量、价格和葡萄组成进行注释。我们通过对256名参与者进行品酒实验,获得了对子集进行细粒度口味注释的结果,要求他们根据相似性对葡萄酒进行排名,得到了超过5k个成对的口味距离。我们提出了一个低维概念嵌入算法,将人类经验与自动机器相似性核结合起来。我们证明了这个共享的概念嵌入空间在粗略口味分类(酒精含量、国家、葡萄、价格、评分)方面优于单独的嵌入空间,并与复杂的人类口味感知相一致。

内容中包含的图片若涉及版权问题,请及时与我们联系删除