Векторная база данных на Rust с Python-интерфейсом, которая хранит эмбеддинги в разы компактнее и ищет быстрее, чем FAISS.
Turbovec сжимает эмбеддинги (векторные представления текста) так, что коллекция из 10 млн документов занимает 4 ГБ вместо 31 ГБ, при этом ищет быстрее библиотеки FAISS. Новые векторы индексируются сразу, без отдельного обучения модели и перестройки индекса. Все вычисления идут локально на своем оборудовании, что подходит для приватных систем поиска по документам (RAG).
Описание автора:A vector index built on TurboQuant, written in Rust with Python bindings