Неофициальная реализация Recurrent Looped Transformer — исследовательская архитектура нейросети для специалистов по ИИ.
Репозиторий воспроизводит на Python архитектуру Recurrent Looped Transformer, предложенную исследователем из Принстона, а также планирует добавить похожую рекуррентную архитектуру от команды Гарварда. Включает код обучения и тест на датасете enwik8, предназначен для специалистов по машинному обучению, изучающих новые способы построения трансформеров.
Описание автора:Implementation of the recurrent looped transformer proposed by Yifan Zhang of Princeton
