Краткое содержание

arXiv:2402.18905v2 Тип анонса: замена-перекрёстная Аннотация: Мы показываем, что дифференциально-приватное полное дообучение (DP-FFT) способно искажать предварительно натренированные базовые признаки согласно теоретическим и эмпирическим результатам. Мы определяем причину такого искажения как рассогласование между предварительно натренированной базовой моделью и случайной инициализацией линейного классификатора. Мы доказываем, что последовательная стратегия дообучения способна смягчить искажение признаков: сначала-линейный-тест-затем-дообучение (DP-LP-FFT). Новый метод аппроксимации позволяет нам вывести приближённые верхние и нижние границы потерь при обучении методов DP-LP и DP-FFT в простейшей канонической постановке двухслойных нейронных сетей с активационной функцией ReLU. Эксперименты на реальных наборах данных и архитектурах согласуются с нашими теоретическими выводами. Мы также выводим новые верхние границы для двухслойных линейных сетей без данной аппроксимации. Более того, наша теория предполагает компромисс распределения бюджета приватности в многофазных методах дообучения типа DP-LP-FFT.