🚀 RoboArena: платформа для реального оценивания robot policies

RoboArena — первая в своём роде платформа для масштабируемого и воспроизводимого оценивания роботов, основанных на политике управления (robot policies). Это прямой аналог Chatbot Arena, но для роботов, позволяющий исследователям сравнивать и ранжировать решения в реальных условиях.

Задача и мотивация:
• Реальное тестирование роботов дорого и зачастую не воспроизводимо.
• Традиционные симуляторы часто не отражают реальные физические условия.
RoboArena устраняет эти ограничения, предоставляя инфраструктуру для распределённого и стандартизированного оценивания политик на реальных роботах.

Ключевые компоненты платформы:
• Evaluation client — Python-скрипт (Python 3.7+), позволяющий запустить серию оценочных прогонов на вашей аппаратуре. Настраивается через YAML-конфиг для указания камер, названия института и параметров логирования.
• Централизованный logging server — собирает метрики успеха, телеметрию и оценки, обеспечивая единое хранилище данных и построение рейтингов.
• Веб-интерфейс — статический сайт, доступный по адресу robo-arena.github.io, где публикуются данные о политиках, динамически обновляемые графики и сравнительный рейтинг.

Рабочий процесс:
1. Настроить YAML-файл (например, my_institution.yaml) с параметрами камер и логирования.
2. Запустить команду:
```bash
python evaluate.py --config my_institution.yaml
3. Открыть веб-интерфейс в браузере по адресу robo-arena.github.io и просмотреть результаты.

Планы развития:
• Интеграция с world-model платформами (SIMPLER, WPE) для сравнения симуляционного и реального оценивания.
• Полный открытый исходный код client, server и web UI к концу 2025.
• Добавление поддержки новых сенсоров и разных типов роботов.

github.com/pranavatreya/real_eval

Машинное обучение RU

🚀 RoboArena: платформа для реального оценивания robot policies

RoboArena — первая в своём роде платформа для масштабируемого и воспроизводимого оценивания роботов, основанных на политике управления (robot policies). Это прямой аналог Chatbot Arena, но для роботов, позволяющий исследователям сравнивать и ранжировать решения в реальных условиях.

Задача и мотивация:
• Реальное тестирование роботов дорого и зачастую не воспроизводимо.
• Традиционные симуляторы часто не отражают реальные физические условия.
RoboArena устраняет эти ограничения, предоставляя инфраструктуру для распределённого и стандартизированного оценивания политик на реальных роботах.

Ключевые компоненты платформы:
• Evaluation client — Python-скрипт (Python 3.7+), позволяющий запустить серию оценочных прогонов на вашей аппаратуре. Настраивается через YAML-конфиг для указания камер, названия института и параметров логирования.
• Централизованный logging server — собирает метрики успеха, телеметрию и оценки, обеспечивая единое хранилище данных и построение рейтингов.
• Веб-интерфейс — статический сайт, доступный по адресу robo-arena.github.io, где публикуются данные о политиках, динамически обновляемые графики и сравнительный рейтинг.

Рабочий процесс:
1. Настроить YAML-файл (например, my_institution.yaml) с параметрами камер и логирования.
2. Запустить команду:
```bash
python evaluate.py --config my_institution.yaml
3. Открыть веб-интерфейс в браузере по адресу robo-arena.github.io и просмотреть результаты.

Планы развития:
• Интеграция с world-model платформами (SIMPLER, WPE) для сравнения симуляционного и реального оценивания.
• Полный открытый исходный код client, server и web UI к концу 2025.
• Добавление поддержки новых сенсоров и разных типов роботов.

github.com/pranavatreya/real_eval

❤4👍3

hottg.com/machinelearning_ru/2749

1.88K viewsedited  Jun 25 at 10:00