NVIDIA /Model-Optimizer

Библиотека NVIDIA для сжатия и ускорения нейросетей перед их развёртыванием — для команд, которые внедряют ИИ-модели в продукт.

NVIDIA Model Optimizer — набор инструментов для сжатия и ускорения готовых нейросетей: квантование (уменьшение точности вычислений), обрезка лишних частей модели, дистилляция (обучение меньшей модели на основе большой) и другие техники. Принимает модели из Hugging Face, PyTorch или ONNX и готовит их к запуску в средах вроде TensorRT-LLM или vLLM с более высокой скоростью работы. Нужен инженерам, которые хотят, чтобы ИИ-модель работала быстрее и дешевле на серверах.

Описание автора: A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.

Открыть на GitHub → Сайт проекта