Высокопроизводительный фреймворк для развёртывания больших языковых и мультимодальных AI-моделей у себя на серверах.
SGLang — инструмент для компаний и разработчиков, которым нужно запускать собственные большие языковые модели (LLM) с высокой скоростью обработки запросов, вместо использования сторонних API вроде OpenAI. Он поддерживает день-в-день запуск свежих открытых моделей и работает на разном оборудовании, включая специализированные ускорители NVIDIA и Google TPU. Проект активно развивается и используется для промышленной эксплуатации агентных AI-сервисов с высокой нагрузкой.
Описание автора:SGLang is a high-performance serving framework for large language models and multimodal models.
Python★ 35 996создан 8 января 2024форков 8 880Apache-2.0
