Краткое содержание

arXiv:2511.11781v1 Тип: новый Аннотация: Активации ReLU являются основным узким местом в приватном выводе, основанном на сетях ResNet. Это связано с тем, что они вносят значительную задержку при выводе. Сокращение количества ReLU представляет собой задачу дискретной оптимизации, и существует два основных подхода к её решению. Большинство современных передовых методов основано на гладкой аппроксимации, которая совместно оптимизирует точность сети и бюджет ReLU за один раз. Однако финальный этап жесткого порогового отсечения в процессе оптимизации обычно приводит к значительной потере производительности. Мы используем альтернативный подход, который работает непосредственно в дискретной области, используя метод координатного спуска в качестве нашей оптимизационной framework. В отличие от предыдущих методов, это заведомо даёт разреженное решение. Мы демонстрируем с помощью обширных экспериментов, что наш метод является передовым на стандартных бенчмарках.