Краткое содержание

arXiv:2502.17772v3 Тип объявления: replace Аннотация: Дифференциально приватный стохастический градиентный спуск (DPSGD) широко используется для защиты конфиденциальных данных в процессе обучения моделей машинного обучения, однако его гарантия конфиденциальности часто достигается за счет значительного снижения производительности модели из-за отсутствия точных теоретических границ, количественно оценивающих потерю конфиденциальности. Хотя недавние исследования позволили достичь более точных гарантий конфиденциальности, они по-прежнему накладывают некоторые предположения, неприемлемые для практических приложений, такие как выпуклость и сложные требования к параметрам, и редко глубоко исследуют влияние механизмов конфиденциальности на полезность модели. В данной статье мы даем строгую характеристику конфиденциальности для DPSGD с общими L-гладкими и невыпуклыми функциями потерь, выявляя сходящуюся потерю конфиденциальности с итерацией в случаях ограниченной области. В частности, мы отслеживаем потерю конфиденциальности на множестве итераций, используя свойство шумного гладкого редукции, и дополнительно устанавливаем комплексный анализ сходимости.