Набор тестов для проверки, действительно ли ИИ-модели учатся играть в Pokémon или просто помнят прохождение из обучающих данных.
Проект проверяет, показывает ли улучшение результатов языковых моделей в игре Pokémon реальный игровой навык или память о прохождении, на котором модель, возможно, обучалась. Модели проходят одинаковые контрольные точки игры, рандомизированные уровни и фанатскую игру на том же движке с новым сюжетом, чтобы отличить запоминание от переноса навыка. Играют через минимальный интерфейс без карты и автоматического планирования пути.
