Крошечная нейросеть на 14 млн параметров управляет поведением виртуальных рыбок в аквариуме на дешёвом микроконтроллере ESP32-S3 без интернета.
Модель обучена дистилляцией из большой модели на 26 млрд параметров и весит 7,56 МБ — помещается в память чипа стоимостью около 8 долларов. Рыбка описывает своё состояние (голод, энергия, страх, кто рядом) строкой текста, а модель решает: есть, прятаться, исследовать, общаться, отдыхать или убегать; отдельный слой превращает решение в движение на экране 1,8 дюйма. В репозитории есть готовая модель, код обучения, симулятор и прошивка.
Описание автора:A 14M-parameter LLM keeps a virtual fish tank alive on an $8 ESP32-S3 — distilled from a 26B teacher into 7.56 MB, no network.
