Локальный сервер для запуска LLM на Mac с процессорами Apple Silicon, совместимый с API OpenAI и Anthropic, без Python.
mlx-serve — написанный на Zig сервер, который запускает модели в формате MLX и файлы GGUF (Qwen, Llama, Mistral, Gemma и другие) прямо на Apple Silicon, без Python и облака. Он поднимает локальный API, совместимый и с OpenAI, и с Anthropic, так что к нему можно подключить Claude Code, Cursor, Open WebUI и другие клиенты этих протоколов. Кроме текста умеет генерировать изображения, видео, музыку и речь с клонированием голоса, а в комплекте идёт приложение MLX Core с чатом и агентным режимом.
Описание автора:Native LLM inference server for Apple Silicon. OpenAI + Anthropic API compatible. No Python. Includes MLX Core macOS app with chat, agent mode, and tool calling.
