Ученые из Института AIRI опубликовали Vintix — ИИ-модель, разработанную для управления роботами и оптимизации индустриальных процессов, узнал Forbes.
Ключевая особенность Vintix — подход к проектированию модели: вместо того, чтобы обучать ИИ решать конкретные задачи, разработчики научили его повторять логику принятия решений и учиться этому самостоятельно. Это позволяет Vintix корректировать и улучшать свои действия, получая минимальную обратную связь от пользователя. По словам экспертов, модель может применяться в производстве, улучшая логистику роботов и автоматизируя задачи, а также в энергетике, управляя распределением нагрузки, или транспорте, помогая автономной технике адаптироваться к дорожным условиям.
Институт AIRI выложил в открытый доступ отечественную аction-модель Vintix, рассказали Forbes в AIRI. Vintix анализирует в три раза больше информации по сравнению с аналогами — JAT от HugginFace и GATO от Google DeepMind. Помимо простого решения конкретных задач, модель также способна к самокоррекции и самоулучшению. При этом архитектура устойчива к шуму и частичной наблюдаемости среды — Vintix успешно справляется с задержками и неполными данными, что критически важно для промышленного применения, поясняют там.
Action-модели — тип ИИ-моделей, которые принимают решения о действиях в ответ на информацию из окружающей среды. Они активно применяются везде, где ИИ должен не просто что-то предсказывать, а управлять поведением агента (робота, программы, конвейера и т. д.) и адаптироваться к ситуации, а не просто работать по скрипту.
Vintix использует подход ICRL (In-Context Reinforcement Learning, обучение с подкреплением в контексте), позволяющий модели адаптироваться к новым задачам прямо во время инференса — ключевого этапа в процессе применения ИИ, когда обученная модель начинает использоваться для обработки новых данных и выдачи предсказаний. «Это самый важный этап жизни ИИ-модели, по сути, процесс работы без необходимости дополнительного обучения. Подход кардинально отличается от классического машинного обучения с подкреплением, где мы пытаемся получить просто модель, которая хорошо бы решала какой-то набор задач или делала имитацию эксперта, — рассказывают в AIRI. — Это фундаментальный сдвиг. Такой уход от экспертной имитации в пользу алгоритмической имитации позволяет получать модели со свойствами самокоррекции и самоулучшения, то есть позволяет агенту корректировать свое поведение налету».
Наибольшее преимущество Vintix, по сравнению с аналогами, достигается на задачах с манипуляторами-роботами, в среднем прирост около 32%, с разбросом от 20 до 40% на конкретных задачах, рассказывают в AIRI. Разница менее заметна в системах устойчивого движения, где адаптация не так сильно важна для успешной работы модели, однако она все еще помогает и улучшает результаты в среднем на 12%. Работу российских ученых приняли на ICML (International Conference on Machine Learning, А*) — одну из самых старых и уважаемых в мире научных конференций по ИИ.
In-Contex Reinforcement Learning — одно из перспективных направлений, которое может дать возможность использовать обучение с подкреплением в реалистичных условиях, именно поэтому многие научные группы активно исследуют его, рассуждает руководитель лаборатории исследований T-Bank AI Research Даниил Гаврилов. Он называет Vintix «шагом вперед» в реализации и масштабировании этого подхода. «За счет обучения модели сразу в нескольких доменах удалось пойти дальше синтетических условий, в которых применялся ICRL раньше», — говорит он.
Разработка Vintix представляет значительный интерес для промышленной сферы благодаря ее способности адаптироваться к сложным и динамичным условиям, признают в «Яндексе». Модель, обладающая возможностями самокоррекции и самоулучшения, может существенно оптимизировать производственные процессы, сокращая время на перенастройку оборудования и минимизируя ошибки, связанные с человеческим фактором, указывают в компании.
«Принятие статей на конференции уровня A*, к которым относится ICML, подчеркивает качество и актуальность российских научных исследований в области машинного обучения. Это не только укрепляет позиции российских ученых на международной арене, но и способствует обмену знаниями и опытом, что, в свою очередь, ускоряет общий прогресс в области ИИ», — сообщили в «Яндексе». На эту конференцию также приняты шесть статей исследователей «Яндекса», посвященных различным аспектам машинного обучения — от алгоритмического мышления нейронных сетей и измерения разнообразия до оптимизации использования памяти при работе с большими языковыми моделями, добавили там.
AIRI — АНО «Институт искусственного интеллекта» https://airi.net/ru/
