Открытая реализация быстрых семантических решений (по типу да/нет) на локальной модели, которая запускается на одной видеокарте 3090.
OpenJev — эксперимент, повторяющий интерфейс закрытого сервиса Jev компании TypeSafe, но на открытых моделях, которые можно запустить дома на GPU 3090. Вместо того чтобы модель писала текстовый ответ, который потом парсится в if-условие, инструмент напрямую читает вероятности заданных вариантов ответа за один проход модели — это быстрее генерации текста. Подходит для мелких решений внутри AI-агентов: маршрутизация запроса, повтор попытки, проверка условия.
Описание автора:Semantic ifs from open models, on a 3090 at home.
