Краткое содержание

arXiv:2511.11678v1 Тип объявления: cross Аннотация: Рост числа интеллектуальных приложений, работающих на основе больших языковых моделей (LLM), делает все более сложной для облачных серверов с ограниченной пропускной способностью обработку обширных рабочих нагрузок LLM в реальном времени без ущерба для конфиденциальности пользовательских данных. Для решения этих проблем в последних исследованиях основное внимание уделяется созданию облачно-периферийных консорциумов, которые объединяют серверные LLM с малыми языковыми моделями (SLM) на мобильных периферийных устройствах. Кроме того, перспективным направлением исследований стала разработка механизмов совместного обучения в рамках таких консорциумов для повышения производительности вывода. Однако развертывание SLM в различных доменах в сочетании со структурной неоднородностью архитектур SLM создает серьезные проблемы для повышения производительности моделей. Для решения этих задач мы предлагаем Co-PLMs, новую框架у совместной настройки для коллективного обучения больших и малых языковых моделей, которая интегрирует процесс агностического к структуре взаимного обучения для реализации обмена знани