Краткое содержание

arXiv:2511.06757v1 Тип объявления: новый Аннотация: По мере дальнейшего развития и расширения крупных языковых моделей возникает риск исчерпания обширных общедоступных данных, от которых они зависят. В результате возникла важная задача эффективного использования частных данных внутри организаций для повышения производительности больших моделей. Парадигма федеративного обучения совместно с методами тонкой настройки модели эффективно снижает количество настраиваемых параметров. Однако необходимость обработки пространств признаков высокой размерности приводит к значительным общим вычислительным затратам. Для решения этой проблемы мы предлагаем подход Implicit Federated In-Context Learning (IFed-ICL). IFed-ICL вдохновлен парадигмой федеративного обучения и устанавливает новую распределённую коллаборативную схему путём преобразования локальных контекстных примеров клиентов в неявные векторные представления, обеспечивая возможность распределённых совместных вычислений на этапе вывода и внедряя остаточные потоки модели для улучшения её характеристик. Эксперимент