Локальный движок для запуска больших языковых моделей DeepSeek и похожих на своём компьютере через Metal, CUDA или ROCm.
DwarfStar (репозиторий называется ds4) — узкоспециализированный движок инференса, оптимизированный под конкретные модели: DeepSeek V4 Flash и PRO, GLM 5.2/5.3 и Qwen3.8 Flash Next. В отличие от универсальных GGUF-раннеров, проект работает только со своими файлами моделей и тестирует загрузку, обработку запросов и работу кодового агента как единую систему. Поддерживает Mac на Metal (в том числе потоковую загрузку с SSD для больших моделей), NVIDIA CUDA и AMD ROCm.
Описание автора:DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm
