Научная реализация метода GPT-Policy — управление роботом через визуально-языковую модель без дообучения.
GPT-Policy — фреймворк, в котором фиксированная визуально-языковая модель управляет роботом, используя демонстрации, целевые изображения и обратную связь от выполнения задач, но без изменения параметров модели. Специальный модуль сжимает контекст из видеонаблюдений, модель предлагает действия для инструментов робота, а контроллер их проверяет и выполняет. В репозитории код для экспериментов из статьи об обучении робота в контексте.
