Языковая модель на 28,9 млн параметров, которая генерирует текст прямо на дешёвом микроконтроллере ESP32-S3 без подключения к интернету.
Проект показывает, как запустить полноценную языковую модель на микроконтроллере стоимостью около 8 долларов: модель хранит большую часть параметров во флеш-памяти вместо оперативной, используя приём Per-Layer Embeddings из моделей Gemma, а результат выводится на небольшой экран со скоростью около 9 токенов в секунду. Всё вычисляется локально на чипе, без отправки данных на сервер.
