Краткое содержание

arXiv:2409.12371v2 Тип объявления: replace Аннотация: Федеративное обучение (FL) сталкивается со значительными проблемами, связанными с эффективностью связи и снижением производительности при масштабировании на большое количество клиентов. Для решения этих проблем мы исследуем потенциал использования низкоранговых обновлений и представляем первое теоретическое исследование свойств ранга в FL. Наш теоретический анализ показывает, что функция потерь клиента демонстрирует структуру более высокого ранга (т.е. градиенты охватывают подпространства гессиана более высокого ранга) по сравнению с функцией потерь сервера, и что низкоранговые аппроксимации градиентов клиентов обладают большим сходством. Основываясь на этом наблюдении, мы выдвигаем гипотезу, что ограничение клиентской оптимизации низкоранговым подпространством может обеспечить эффект неявной регуляризации при одновременном снижении затрат на связь. Следовательно, мы предлагаем FedLoRU, общий фреймворк низкоранговых обновлений для FL. Наш фреймворк применяет низкоранговые клиентские обновления и накапливает эти обновления для формирования модели более высокого ранга. Нам удалось установить