Краткое содержание

Здравствуйте, я пытаюсь определить реалистичное локальное решение для небольшой команды (около 20–30 разработчиков) для использования локальной модели кодирования/агента (думаю о чем-то вроде Kimi K2.5 или GLM 5.1). Мои ограничения таковы: всё должно оставаться на месте; объем оперативной памяти важен, но критически важны пропускная способность и низкая задержка; важен приличный пользовательский опыт (конечно, не ожидаю мгновенных ответов, но я также не хочу, чтобы это казалось медленным или постоянно отложенным в очереди). Мой первоначальный выбор — кластер из 4 DGX Spark, подключенных через коммутатор (Switch), но я прочитал несколько статей о проблемах с нагревом и задержкой, что отпугнуло меня от этого варианта. Кластер Mac Studio был моим вторым вариантом, но учитывая, как сложно сейчас заполучить пару Mac на 512 ГБ, я не думаю, что это жизнеспособный вариант. Кроме того, тот факт, что он не предназначен для пакетной обработки (vllm-mlx в этом отношении всё ещё примитивен). Я много болтал, но мой вопрос заключается в следующем: какое лучшее сочетание оборудования + модели + настройки обслуживания можно купить за 30 тысяч долларов, которое действительно будет ощущаться «комфортно»?