Python-библиотека pijev делает вероятности решений ИИ-модели Jev стабильными, устраняя влияние порядка вариантов ответа на результат.
pijev перебирает разные порядки вариантов ответа, отправляет их одним запросом к модели Jev и усредняет вероятности по совпадающим меткам, выбирая вариант с наибольшей средней вероятностью. Так решается проблема, когда модель по-разному оценивает шансы одного и того же варианта в зависимости от его позиции в списке — в примере из README вероятность варианта отличалась на 20 процентных пунктов. Подключается заменой одной строки импорта в существующем коде.
Описание автора:Permutation Invariant Jev
Python★ 15создан 22 сентября 2026форков 1Apache-2.0
