Программа, которая объединяет несколько компьютеров в один кластер для запуска больших ИИ-моделей на своем железе.
Exo позволяет распределить работу крупной ИИ-модели между несколькими устройствами, что дает возможность запускать модели, которые не помещаются в память одного компьютера, и ускоряет их работу при добавлении новых устройств. Устройства находят друг друга автоматически, а при использовании быстрого соединения Thunderbolt между Mac-компьютерами задержка между ними резко снижается. Программа совместима с популярными интерфейсами вроде OpenAI и Claude API, поэтому её можно подключать к уже существующим приложениям и инструментам.
Описание автора:Run frontier AI locally.
Python★ 47 579создан 24 июня 2024форков 3 532Apache-2.0