FlashML-org /FreeToken

Движок для запуска больших ИИ-моделей (от 290 миллиардов параметров) на обычном игровом компьютере вместо серверного оборудования.

FreeToken объединяет видеокарту, процессор, оперативную память и каналы связи в единую систему для обслуживания «смешанных» (Mixture-of-Experts) моделей вроде DeepSeek и Qwen. Использует кэширование и динамическое распределение памяти видеокарты, чтобы ускорить работу без перезапуска сервиса. Предоставляет API, совместимый с OpenAI и Anthropic, для подключения к существующим инструментам разработки на базе ИИ.

Описание автора: FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

Python★ 12 883создан 20 июля 2026форков 1 255Apache-2.0
deepseek-v4edgeglminferenceminimaxmoeqwentransformer

Открыть на GitHub → Сайт проекта

Сколько звёзд прибавилось

Прирост по дням за 3 месяца

17 июня: ≈018 июня: ≈019 июня: ≈020 июня: ≈021 июня: ≈022 июня: ≈023 июня: ≈024 июня: ≈025 июня: ≈026 июня: ≈027 июня: ≈028 июня: ≈029 июня: ≈030 июня: ≈01 июля: ≈02 июля: ≈03 июля: ≈04 июля: ≈05 июля: ≈06 июля: ≈07 июля: ≈08 июля: ≈09 июля: ≈010 июля: ≈011 июля: ≈012 июля: ≈013 июля: ≈014 июля: ≈015 июля: ≈016 июля: ≈017 июля: ≈018 июля: ≈019 июля: ≈020 июля: ≈021 июля: ≈022 июля: ≈023 июля: ≈024 июля: ≈025 июля: ≈026 июля: ≈027 июля: ≈028 июля: ≈029 июля: ≈030 июля: ≈031 июля: ≈01 августа: ≈02 августа: ≈03 августа: ≈04 августа: ≈05 августа: ≈06 августа: ≈07 августа: ≈08 августа: ≈09 августа: ≈010 августа: ≈011 августа: ≈012 августа: ≈013 августа: ≈014 августа: ≈015 августа: ≈016 августа: ≈017 августа: ≈018 августа: ≈019 августа: ≈020 августа: ≈021 августа: ≈11922 августа: ≈4 18523 августа: ≈1 15624 августа: ≈1 97525 августа: ≈3 05826 августа: ≈19827 августа: ≈13228 августа: ≈28829 августа: ≈030 августа: ≈31431 августа: ≈1291 сентября: ≈5192 сентября: ≈1113 сентября: ≈1464 сентября: ≈1465 сентября: ≈1156 сентября: ≈1377 сентября: ≈2018 сентября: ≈09 сентября: ≈16910 сентября: ≈5311 сентября: ≈5212 сентября: ≈14613 сентября: ≈9314 сентября: ≈7915 сентября: ≈8517 июняиюльавгсент

Оценка по выборке GH Archive. Бледные столбцы — дни, история за которые ещё загружается.

Взлёты