Инструмент снимает встроенные ограничения на отказ отвечать у сжатой языковой модели Ternary Bonsai 2 27B без изменения её файлов.
Проект добавляет к готовой сжатой модели Ternary Bonsai 2 27B (2-бит квантование, для Apple Silicon) отдельный runtime-слой, который на лету подавляет её отказы отвечать на запросы — оригинальные веса модели при этом не меняются и не пересчитываются. По сути это инструмент для обхода встроенных ограничений модели; саму модель пользователь получает отдельно.
Описание автора:Runtime behavioral ablation for compressed LLMs. First target: Ternary Bonsai 2 27B — no weight modification or re-quantization. by OrcaRouter team
