← Вернуться к списку

Локальный запуск Qwen3.6-35B-A3B для кодингового агента: моя настройка и рабочая конфигурация

Краткое содержание

Детали аппаратного обеспечения Устройство MacBook Pro (Mac14,6)Чип Apple M2 Max — 12-ядерный ЦП (8P + 4E)Память 64 ГБ унифицированной памятиХранилище 512 ГБ SSDОС macOS 15.7 (Sequoia)Настройка AI-агента Я использую кодирующий агент pi в качестве моего основного помощника по разработке. Это локальный AI-кодирующий агент, который подключается к локальным моделям через llama.cpp.Модель: Qwen3.6-35B-A3B (работает через llama.cpp)Как pi подключается к llama-server Агент pi взаимодействует с llama-server через API, совместимый с OpenAI.Конфигурация находится в ~/.pi/agent/models.json:{ "providers": { "llama-cpp": { "baseUrl": "http://127.0.0.1:8080/v1", "api": "openai-completions", "apiKey": "ignored", "models": [{ "id": "Qwen3.6-35B-A3B", "contextWindow": 131072, "maxTokens": 32768 }] } } }Команда llama-server \ -hf unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q5_K_XL \ -c 131072 \ -n 32768 \ --no-context-shift \ --temp 0.6 \ --top-p 0.95 \ --top-k 20 \ --repeat-penalty 1.00 \ --presence-penalty 0.00 \ --chat-template-kwargs '{"preserve_thinking": true}' \ --batch-size 409

Полный текст статьи пока не загружен.