Программируемый маршрутизатор запросов между разными языковыми моделями для оптимизации цены, скорости и качества ответа.
vLLM Semantic Router анализирует каждый запрос и направляет его к подходящей модели или комбинации моделей вместо жёсткого прописывания логики выбора в приложении. Это позволяет учитывать стоимость, скорость, требования к приватности и безопасности без переписывания кода. Подходит для построения систем из нескольких моделей поверх разной инфраструктуры — от облака до edge-устройств.
Описание автора:A programmable Mixture-of-Models router for heterogeneous LLM inference
Go★ 5 833создан 27 августа 2025форков 945Apache-2.0
