Терминальный дашборд в реальном времени для локально запущенной языковой модели: скорость генерации, загрузка GPU и другое.
llm-visuals находит на компьютере запущенные серверы локальных ИИ-моделей (llama.cpp, ollama, vLLM и другие), считывает их показатели и данные видеокарты через nvidia-smi и рисует в терминале живую картину: скорость генерации, задержку до первого токена, загрузку GPU, заполнение контекста и, при доработке сервера, какие нейронные эксперты обрабатывали каждый токен. Написан на Rust, есть демо-режим без реального сервера.
Описание автора:Live truecolor terminal dashboard for a locally running LLM: tok/s, TTFT, GPUs, context, MTP acceptance, layer and real expert routing (llama.cpp)
