Учебный прототип небольшой языковой модели с необычной архитектурой (не LLM), созданный школьником на фреймворке MLX для Apple Silicon.
Test-Model-Thing — proof-of-concept модель на 4.5 млн параметров (для сравнения, у GPT-1 было около 117 млн), которая предсказывает в скрытом пространстве, хранит внутреннее состояние через рекуррентные модули и выдаёт текст побайтово, а не токенами. Обучена на небольшом наборе данных около 12 часов, поэтому часто ошибается в написании символов, но умеет закрывать кавычки и скобки. Автор — школьник, код под MIT.
Описание автора:A small proof-of-concept language model (not an LLM) incorporating latent-space prediction, internal state using recurrent trace units, and byte-by-byte output, built with MLX.
