Экспериментальная языковая модель весом 19,8 МБ, которая точно считает и запоминает данные без внешних инструментов.
Проект-демонстрация: модель с 44 млн параметров и тернарными весами умеет выполнять точные вычисления прямо внутри себя и сохранять информацию на диск для последующего использования. По качеству ответов на обычных тестах уступает моделям того же размера — автор сам это признаёт и приводит замеры. Работает офлайн на CPU, есть браузерная версия на WebAssembly.
Описание автора:SHADOW 50M Instruct: a proof of concept. 44M ternary parameters, exact circuits inside the model, memory on disk, 19.8 MB, offline on a CPU.