Кодовая база DeepSeek AI для обучения и тестирования компактных моделей-черновиков в технологии спекулятивного декодирования.
DeepSpec содержит утилиты подготовки данных, реализации моделей-черновиков, код обучения и скрипты оценки для спекулятивного декодирования — техники, ускоряющей генерацию текста большими языковыми моделями за счёт предварительных догадок меньшей модели. Проект рассчитан на исследователей и требует значительных вычислительных ресурсов: подготовка данных для конфигурации по умолчанию может занимать десятки терабайт дискового пространства.
Описание автора:DeepSpec: a full-stack codebase for training and evaluating speculative decoding algorithms
