Готовая настройка для запуска большой языковой модели Qwen на одной домашней видеокарте RTX 3090 через vLLM.
Репозиторий описывает, как развернуть модель Qwen3.8-27B на единственной 24-гигабайтной видеокарте RTX 3090 с помощью библиотеки vLLM, получив доступ к ней через API, совместимый с OpenAI. Настройка включает готовый Docker-образ, скрипты сжатия модели (квантование) и два режима работы — для множества одновременных запросов или для быстрого ответа одному пользователю, с контекстом до 262 тысяч токенов.
Описание автора:Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks
Python★ 1 405создан 15 августа 2026форков 197Apache-2.0
