Личное руководство автора о том, как собрать компьютер и запустить топовые языковые модели у себя дома.
Репозиторий описывает опыт автора по сборке двух конфигураций железа — от 2 до 40 тысяч долларов — для локального запуска мощных ИИ-моделей без облачных сервисов вроде OpenAI. Внутри — выбор процессора и видеокарт, настройка PCIe-коммутатора для связи GPU, тонкости BIOS и ядра Linux, а также готовые конфигурации Docker для запуска моделей и распознавания речи. Подойдёт техническим энтузиастам, желающим держать ИИ полностью на своём оборудовании.
Описание автора:Everything I know about running LLMs locally
