Единый шлюз для вызова более 100 языковых моделей — OpenAI, Anthropic, Bedrock, Azure и других — через общий формат запросов.
LiteLLM даёт общий интерфейс в стиле OpenAI для работы с разными провайдерами ИИ, чтобы не переписывать код при смене поставщика модели. Можно использовать как Python-библиотеку или развернуть отдельный прокси-сервер с учётом расходов, лимитами по ключам, балансировкой нагрузки и панелью администратора. Проект открытый, самостоятельно размещаемый, рассчитан на промышленное использование.
Описание автора:The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
