Описание большой языковой модели LongCat-Flash на 560 млрд параметров с динамической архитектурой Mixture-of-Experts.
Репозиторий содержит технический отчёт и описание модели LongCat-Flash-Chat — языковой модели на 560 миллиардов параметров с архитектурой Mixture-of-Experts, динамически активирующей лишь часть параметров (в среднем около 27 млрд) в зависимости от сложности запроса. Это ускоряет обучение и инференс — свыше 100 токенов в секунду. Версия Chat — базовая модель без режима рассуждений, сильна в агентных задачах.
