Новый метод автоматического планирования маршрутов роботов в известных 3D-сценах с помощью визуально-языковых моделей (VLM) — типа GPT-4 или DALL-E 3 — позволяет роботам не просто следовать по заранее заданному пути а самостоятельно понимать, что и как осматривать

Как это работает?
1. Пользователь задаёт текстовое описание маршрута. Например, для инспекции туннеля в описании указано, что важны трещины, вентиляционные шахты и электрические панели — это точки интереса (POI).

2. Модель считывает их, потом определяет на изображении, где они и как расположены относительно друг друга. Обнаруженные ключевые точки преобразуются в граф возможных маршрутов, где отмечаются узлы, с которых видны нужные объекты.

3. Далее применяется задача коммивояжера (TSP) — модель выбирает оптимальные точки осмотра и составляет маршрут, который позволит роботу быстро и эффективно пройтись по всем ключевым зонам без лишних перемещений.

Авторы отмечают, что их метод сокращает время маршрута за счет улучшения на 12% плавности хода робота.

В чём новизна?
⚫️Модель предобучена на датасете объектов инспекций, поэтому может ориентировать робота в новых сценариях без дообучения.

⚫️Единая модель (VLM) обрабатывает текст и изображения совместно, а не работает отдельно с текстом и с изображениями. Это значит, что робот получает готовое понимание сцены и текста одновременно, без ожидания поочерёдной обработки каждого типа данных.

⚫️Метод ориентирован на точный и эффективный осмотр известных объектов, что важно для мониторинга инфраструктуры. В отличие от навигации в новых пространствах, здесь акцент на высокоточном планировании с учётом смысла и расположения объектов.

Метод планируется использовать для инспекций сложных объектов — туннелей, трубопроводов, электростанций, мониторинга крупных комплексов.