Движок для запуска больших языковых моделей прямо на устройстве, без облака и API-ключей.
NobodyWho встраивает офлайн-чат-модели (Gemma, Qwen, Mistral и другие) в приложения и игры на Kotlin, Swift, Python, Flutter, React Native и Godot. Поддерживает вызов функций, работу с изображениями и звуком, синтез и распознавание речи, а вычисления ускоряются видеокартой через Vulkan или Metal.
Описание автора:NobodyWho is an inference engine that lets you run LLMs locally and efficiently on any device.
Rust★ 1 155создан 3 сентября 2024форков 79EUPL-1.2