Краткое содержание

arXiv:2110.09138v2 Тип объявления: замена Аннотация: Нейронные сети, дополненные памятью (MANN), способны выполнять алгоритмические задачи, такие как сортировка. Однако они часто не справляются с обобщением на последовательности входных данных, длина которых не встречалась во время обучения. Мы представляем два подхода, которые ограничивают пространство состояний управляющей сети MANN: сжатие состояния и регуляризация состояния. Мы эмпирически показали, что оба подхода могут улучшить обобщение для последовательностей входных данных с длинами из другого распределения для конкретного типа MANN — дифференцируемого нейрокомпьютера (DNC). Ограниченный DNC мог обрабатывать входные последовательности, которые были в 2,3 раза длиннее, чем те, что обрабатывались базовой управляющей сетью без ограничений. Примечательно, что примененные ограничения позволили расширить матрицу памяти DNC без необходимости переобучения и, таким образом, позволили обрабатывать входные последовательности, которые были в 10,4 раза длиннее. Однако улучшения не были последовательными для всех протестированных алгоритмических задач.