Food image classification models are crucial for dietary management applications because they reduce the burden of manual meal logging. However, most publicly available datasets for training such models rely on web-crawled images, which often differ from users' real-world meal photos. In this work, we present FoodLogAthl-218, a food image dataset constructed from real-world meal records collected through the dietary management application FoodLog Athl. The dataset contains 6,925 images across 218 food categories, with a total of 14,349 bounding boxes. Rich metadata, including meal date and time, anonymized user IDs, and meal-level context, accompany each image. Unlike conventional datasets-where a predefined class set guides web-based image collection-our data begins with user-submitted photos, and labels are applied afterward. This yields greater intra-class diversity, a natural frequency distribution of meal types, and casual, unfiltered images intended for personal use rather than public sharing. In addition to (1) a standard classification benchmark, we introduce two FoodLog-specific tasks: (2) an incremental fine-tuning protocol that follows the temporal stream of users' logs, and (3) a context-aware classification task where each image contains multiple dishes, and the model must classify each dish by leveraging the overall meal context. We evaluate these tasks using large multimodal models (LMMs). The dataset is publicly available at https://huggingface.co/datasets/FoodLog/FoodLogAthl-218.


翻译:食物图像分类模型对于饮食管理应用至关重要,因为它们减轻了人工记录餐食的负担。然而,大多数用于训练此类模型的公开数据集依赖于网络爬取的图像,这些图像通常与用户真实世界的餐食照片存在差异。在本研究中,我们提出了FoodLogAthl-218,这是一个通过饮食管理应用FoodLog Athl收集的真实世界餐食记录构建的食物图像数据集。该数据集包含6,925张图像,涵盖218个食物类别,总计14,349个边界框。每张图像附有丰富的元数据,包括用餐日期和时间、匿名用户ID以及餐食级别的上下文信息。与传统数据集(其中预定义的类别集指导基于网络的图像收集)不同,我们的数据始于用户提交的照片,随后才应用标签。这产生了更大的类内多样性、餐食类型的自然频率分布,以及用于个人用途而非公开分享的随意、未经筛选的图像。除了(1)标准分类基准外,我们引入了两项FoodLog特定任务:(2)遵循用户日志时间流的增量微调协议,以及(3)上下文感知分类任务,其中每张图像包含多道菜肴,模型必须利用整体餐食上下文对每道菜肴进行分类。我们使用大型多模态模型(LMMs)评估了这些任务。该数据集公开可用,访问地址为:https://huggingface.co/datasets/FoodLog/FoodLogAthl-218。

0
下载
关闭预览

相关内容

数据集,又称为资料集、数据集合或资料集合,是一种由数据所组成的集合。
Data set(或dataset)是一个数据的集合,通常以表格形式出现。每一列代表一个特定变量。每一行都对应于某一成员的数据集的问题。它列出的价值观为每一个变量,如身高和体重的一个物体或价值的随机数。每个数值被称为数据资料。对应于行数,该数据集的数据可能包括一个或多个成员。
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员