Нейросеть научили составлять рецепт блюда по его фото

Ученые из Массачусетского технологического института разработали нейросеть, которая определяет список ингредиентов и рецепт приготовления блюда, исходя из одной его фотографии. С подробностями работы можно ознакомиться на сайте университета.

Исследователи загрузили в базу Recipe1M более миллиона рецептов и почти миллион изображений. Затем специалисты учили нейронные сети правильно определять ингредиенты блюд по их фотографиям.

В результате ученые создали интерфейс Pic2Recipe. Пользователям достаточно загрузить фотографию любого блюда, чтобы получить список его ингредиентов. Однако пока нейросеть может правильно определить ингредиенты лишь несложных блюд. Лучше всего она справляется с выпечкой, поскольку таких рецептов с кулинарных сайтов в базе оказалось больше всего. Например, к изображению с тарелкой печенья нейросеть предложит список ингредиентов из муки, яиц и масла. Хуже она распознает продукты, из которых сделаны смузи и роллы. В целом, нейросеть правильно определяет рецепт в 65% случаев. Также нейросеть пока не может точно определить способ приготовления блюда, например, тушили лук или жарили.

«Мы рассчитываем, что в итоге люди смогут пользоваться улучшенной версией алгоритма, чтобы отслеживать рацион питания в течение дня и определять точное количество калорий в конкретном блюде», — сообщил один из авторов исследования Хамед Хаддади.