← Вернуться к списку

ReLaX-Net: Повторное использование слоев для создания параметрически эффективных физических нейронных сетей

Краткое содержание

arXiv:2511.00044v2 Тип объявления: замена Аннотация: Физические нейронные сети (PNN) являются перспективными платформами для вычислительных систем следующего поколения. Однако недавние достижения в производительности цифровых нейронных сетей во многом обусловлены быстрым ростом числа обучаемых параметров, и на сегодняшний день продемонстрированные PNN отстают от них на несколько порядков по масштабу. Это отражает ограничения по размеру и производительности, характерные для ранних цифровых нейронных сетей. В тот период эффективное повторное использование параметров способствовало разработке параметрически эффективных архитектур, таких как сверточные нейронные сети. В данной работе мы численно исследуем аппаратно-дружественное связывание весов для PNN. Важно отметить, что во многих системах PNN существует временная шкала разделения между быстрыми динамическими активными элементами прямого прохода и медленно обучаемыми элементами, реализующими веса и смещения. Имея это в виду, мы предлагаем метод повторного использования слоев для расширения нейронной сети (ReLaX-Net).

Полный текст статьи пока не загружен.