armenjeddi /loopformer
Исследовательский проект по языковым моделям с зацикленной архитектурой трансформера, представлен на конференции ICLR 2026.
LoopFormer — экспериментальная архитектура языковой модели, которая может гибко менять глубину вычислений (число проходов по циклу) в зависимости от бюджета на рассуждение, без переобучения модели. Код — форк известного проекта NanoGPT с добавлением зацикленных слоёв и заменой LayerNorm на RMSNorm. Предназначен для исследователей машинного обучения, изучающих эффективные способы рассуждения языковых моделей.
Описание автора: LoopFormer is an elastic-depth looped Transformer trained on variable-length trajectories, using time/step-size conditioning and a shortcut-consistency objective to enable budget-conditioned language modeling and latent reasoning without retraining.
Сколько звёзд прибавилось
- Сутки ≈ +159 252-е место
- Неделя ≈ +159 1724-е место
- Месяц ≈ +33 вне рейтинга
- 3 месяца ≈ +142 вне рейтинга
Без значка — точная разница ежедневных снимков счётчика GitHub, со значком ≈ — оценка по архиву событий.
Точный счётчик GitHub: +0 звёзд с 12:20 21 сентября по 11:20 22 сентября.
Прирост по дням за 3 месяца
Оценка по выборке GH Archive. Бледные столбцы — дни, история за которые ещё загружается.