Бывшие учёные Meta создали ИИ для заводов: роботы научились видеть и думать

Искусственный интеллект уже давно перестал быть только цифровой технологией. Стартапы всё чаще пытаются перенести его в физический мир, и один из таких примеров — компания Perceptron, основанная двумя бывшими исследователями Meta.

Perceptron, созданная в ноябре 2024 года, разрабатывает前沿 vision-модели, которые помогают машинам лучше взаимодействовать с окружающей средой. На этой неделе компания представила свою новейшую модель Isaac 0.5, которая, по словам создателей, даёт машинам способность «воспринимать, рассуждать и действовать» в промышленных условиях.

Что умеет Isaac 0.5?

Модель предназначена для того, чтобы помогать роботам с компьютерным зрением ориентироваться в сложных средах, таких как склады или заводские цеха. Она также позволяет компаниям извлекать визуальную информацию из видео, записанных этими роботами. Isaac 0.5 выпущена как open-weight модель, поэтому её параметры и обучающие материалы может изучить любой желающий.

Сооснователи стартапа — Армен Агаджанян и Акшат Шривастава, ранее работавшие в Meta FAIR (подразделении фундаментальных исследований в области ИИ). Они видят своё программное обеспечение как будущее промышленной автоматизации.

«Физический ИИ сегодня ставит перед ложным выбором: либо универсальные фундаментальные модели, требующие нескольких выделенных облачных GPU для каждого экземпляра, либо узкие модели, которые обрабатывают восприятие или управление, но никогда не то и другое одновременно», — заявляет компания.

Агаджанян и Шривастава утверждают, что их инструмент отличается от существующих моделей тем, что он универсален: он не создан для одной конкретной повторяющейся задачи. Вместо этого модель разработана так, чтобы быть гибкой в зависимости от конкретной среды или ситуации.

В интервью Шривастава предложил представить простой процесс, например, сортировку коробок. Робот должен сначала прочитать этикетку на коробке, провести пространственный анализ, чтобы понять, где находятся коробки, и решить, какую из них взять. Если нужно взять несколько коробок, он должен спланировать, какие и в каком порядке. Программное обеспечение Perceptron помогает роботам пройти каждый из этих шагов.

В отрасли уже существуют программы, которые помогают машинам выполнять большинство таких задач, но мало кто делает это гибко. Откуда берутся данные для этого алгоритмического волшебства? Модели вроде Isaac 0.5 обучаются на огромных объёмах видеоданных. Perceptron сообщает, что новая модель была обучена на миллионе часов так называемого общего видео, чтобы научить алгоритм распознавать конкретные настройки, визуальные образы и сценарии.

Компания также активно использовала ego-видео — видео, снятое обычно через GoPro или носимую камеру от первого лица человека, выполняющего физическую задачу, — а также UMI-видео, которые аналогично используются для обучения систем ИИ движениям путём записи повторяющихся действий человека. Хотя Perceptron не раскрывает источники своих обучающих данных, Шривастава сказал, что компания «внутренне создала наборы данных петабайтного масштаба, охватывающие различные модальности: изображения, текст, видео и вплоть до роботизированных траекторий».

Перспективы применения

Польза программного обеспечения, которое помогает роботам эффективно работать на складах, очевидна, и Perceptron считает, что она хорошо позиционирована, чтобы возглавить волну автоматизации. Стартап готов предложить своё ПО различным поставщикам и, таким образом, потенциально интегрировать свой интеллектуальный слой в широкий спектр отраслей:

• производство;
• логистика и складирование;
• безопасность;
• мобильность;
• медиа и развлечения.

«Ничего подобного на самом деле не существует, — сказал Агаджанян. — Мы очень взволнованы этим».

Больше актуальных новостей из мира технологий, честных обзоров софта и практических гайдов читайте на медиапортале Техстена.

Первоисточник: TechCrunch