Краткое содержание

arXiv:2505.15683v3 Тип объявления: замена-перекрёстная публикация Аннотация: Частные данные обещают улучшить большие языковые модели благодаря своему высокому качеству, однако их разрозненное распределение по изолированным хранилищам данных и высокие вычислительные требования больших языковых моделей ограничивают их применение в федеративных средах. Для решения этой проблемы предлагается подход на основе трансформеров — федеративное разделение моделей, который переносит большую часть параметров модели на сервер (или распределённых клиентов), оставляя лишь небольшую долю на клиентской стороне для обеспечения конфиденциальности данных. Несмотря на такую архитектуру, этот подход сталкивается с тремя проблемами: 1) Шифрование ключей peer-to-peer испытывает трудности с эффективной защитой передаваемых векторов; 2) Авто-реактивный характер больших языковых моделей означает, что обучение и вывод в рамках федеративного разделения возможны только последовательно, что вызывает значительные коммуникационные издержки; 3) Фиксированные точки разделения плохо адаптируются к конкретным прикладным задачам. В данной работе мы представляем FedSEA-LLaMA — защищённую, эффективную и адаптивную федеративную структуру разделения, основанную на LLaMA2. Во-первых, мы вводим гауссовский шум...