Краткое содержание

arXiv:2504.06261v4 Тип объявления: replace Аннотация: Большие языковые модели (LLM) продемонстрировали способность решать всё более сложные задачи благодаря расширенным возможностям рассуждения, генерации объёмного контента и использованию инструментов. Решение этих задач часто связано с длительными вычислениями во время вывода. В человеческом решении проблем распространённой стратегией для ускорения работы является коллаборация: разделение проблемы на подзадачи, параллельное исследование различных стратегий и т.д. Недавние исследования показали, что LLM также могут работать параллельно, реализуя явные框架 сотрудничества, такие как механизмы голосования или явное создание независимых подзадач, которые могут выполняться параллельно. Однако каждая из этих framework может подходить не для всех типов задач, что ограничивает их применимость. В данной работе мы предлагаем иной подход к проектированию: мы запускаем LLM-«работников» параллельно, позволяя им синхронизироваться через параллельно обновляемый кэш внимания и предлагая этим работникам решать, как