Официальная реализация метода ToMe, который ускоряет работу vision-трансформеров в 2-3 раза за счёт объединения похожих токенов.
ToMe (Token Merging) — метод для существующих моделей компьютерного зрения на архитектуре Vision Transformer, который объединяет похожие по смыслу фрагменты изображения (токены) прямо во время работы модели, ускоряя обработку в 2-3 раза без дополнительного обучения. Если применить его и при обучении модели, точность падает ещё меньше, а обучение тоже ускоряется. Полезен разработчикам, которым нужно снизить затраты на вычисления при использовании готовых моделей распознавания изображений.
Описание автора:A method to increase the speed and lower the memory footprint of existing vision transformers.
