thu-ml /SageAttention

Ускоряет работу нейросетей (текст, картинки, видео) за счёт более быстрого механизма внимания, без потери качества.

SageAttention — это оптимизированный способ вычисления механизма внимания внутри больших нейросетей, который использует сжатые числовые форматы (квантование) вместо привычных, за счёт чего работает в 2-5 раз быстрее популярного метода FlashAttention. Проект подходит разработчикам, которые обучают или запускают языковые, графические и видеомодели и хотят сократить время и стоимость вычислений, сохранив точность результатов. Поддерживает современные видеокарты Nvidia и интеграцию с torch.compile.

Описание автора: [ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention achieves speedup of 2-5x compared to FlashAttention, without losing end-to-end metrics across language, image, and video models.

Cuda★ 3 908создан 3 октября 2024форков 516Apache-2.0
attentioninference-accelerationllmquantizationcudatritonvideo-generationefficient-attention

Открыть на GitHub → Сайт проекта

Сколько звёзд прибавилось

Без значка — точная разница ежедневных снимков счётчика GitHub, со значком ≈ — оценка по архиву событий.

Точный счётчик GitHub: +152 звезды с 00:33 16 сентября по 14:20 23 сентября.

Прирост по дням за 3 месяца

25 июня: ≈026 июня: ≈027 июня: ≈2428 июня: ≈029 июня: ≈7130 июня: ≈01 июля: ≈02 июля: ≈03 июля: ≈04 июля: ≈05 июля: ≈06 июля: ≈07 июля: ≈08 июля: ≈09 июля: ≈010 июля: ≈011 июля: ≈012 июля: ≈013 июля: ≈014 июля: ≈015 июля: ≈016 июля: ≈017 июля: ≈018 июля: ≈019 июля: ≈020 июля: ≈021 июля: ≈022 июля: ≈023 июля: ≈024 июля: ≈025 июля: ≈026 июля: ≈027 июля: ≈028 июля: ≈029 июля: ≈030 июля: ≈031 июля: ≈01 августа: ≈02 августа: ≈03 августа: ≈04 августа: ≈05 августа: ≈06 августа: ≈07 августа: ≈218 августа: ≈09 августа: ≈010 августа: ≈011 августа: ≈012 августа: ≈013 августа: ≈014 августа: ≈015 августа: ≈016 августа: ≈017 августа: ≈018 августа: ≈019 августа: ≈020 августа: ≈021 августа: ≈022 августа: ≈023 августа: ≈024 августа: ≈025 августа: ≈026 августа: ≈027 августа: ≈028 августа: ≈029 августа: ≈030 августа: ≈031 августа: ≈01 сентября: ≈02 сентября: ≈03 сентября: ≈04 сентября: ≈05 сентября: ≈36 сентября: ≈07 сентября: ≈168 сентября: ≈09 сентября: ≈010 сентября: ≈011 сентября: ≈712 сентября: ≈013 сентября: ≈614 сентября: ≈015 сентября: ≈3616 сентября: ≈1517 сентября: ≈018 сентября: ≈019 сентября: ≈020 сентября: ≈7521 сентября: ≈022 сентября: ≈2923 сентября: ≈6025 июняиюльавгсент

Оценка по выборке GH Archive. Бледные столбцы — дни, история за которые ещё загружается.