Python-эксперимент, проверяющий, можно ли на домашней видеокарте RTX 3090 повторить сервис быстрых ИИ-решений вроде Jev.
OpenJev воспроизводит интерфейс закрытого сервиса Jev от TypeSafe — быстрые типизированные ответы модели на короткие вопросы вроде «маршрутизировать это?» без генерации целого предложения текста. Проект использует открытую 4-миллиардную модель вместо закрытой модели Jev и читает вероятности вариантов ответа напрямую, минуя разбор JSON. Нужны Python 3.10+, CUDA и видеокарта, способная разместить модель в памяти.
Описание автора:Can we run something like Jev on a 3090 at home?
