Краткое содержание

Меня интересует математическое обоснование использования функции softmax в качестве функции активации в механизмах self-attention в нейронных сетях. В частности, меня интересует, существует ли теоретическая основа, которая требует использования softmax по сравнению с другими функциями активации. Softmax обычно используется для преобразования исходных оценок внимания в распределение вероятностей, гарантируя, что сумма весов внимания равна 1. Такая нормализация позволяет модели эффективно фокусироваться на определенных частях входной последовательности. Однако я задаюсь вопросом, существуют ли альтернативные функции активации, которые могут быть менее ограничивающими и все же позволять процессу оптимизации определять наилучший способ распределения внимания, аналогично тому, как это работают tanh или другие активации в различных слоях нейронной сети. Существует ли математическое обоснование необходимости использования softmax в механизмах self-attention? Могут ли другие функции активации, возможно, с меньшим количеством ограничений, быть использованы эф