← Вернуться к списку
(llama.cpp) Возможно ли отключить рассуждения для некоторых запросов (при этом оставляя рассуждения включенными по умолчанию)?
Краткое содержание
Я запускаю unsloth/gemma-4-26B-A4B-it-GGUF/gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf с llama-server (с включенным рассуждением). Возможно ли отключить рассуждение только для некоторых запросов? Если да, то как? Я хочу оставить рассуждение включенным по умолчанию, но в некоторых других сценариях использования я хочу, чтобы он отвечал максимально быстро (например, чат-бот). Опубликовано пользователем/u/regunakyle[link][comments]
Полный текст статьи пока не загружен.