Движок для запуска гигантских ИИ-моделей на обычном компьютере — данные модели читаются прямо с диска.
WARP — программа на C без внешних зависимостей для запуска очень больших языковых моделей (например, модели на 2,78 триллиона параметров) на компьютере с ограниченной памятью. Основная часть модели остаётся в оперативной памяти, а редко нужные части подгружаются с быстрого SSD-накопителя по мере необходимости. Это экспериментальный проект: цель — узнать, насколько далеко можно продвинуть локальный запуск моделей на обычном оборудовании.
Описание автора:Run the full 2.78-trillion-parameter Kimi K3 model, DeepSeek V4.1 Flash or GLM-5.3-Flash beyond available RAM by streaming activated weights directly from NVMe. A dependency-free, embeddable C inference engine.
