Краткое содержание

arXiv:2511.08243v1 Тип объявления: новый Аннотация: Архитектура трансформера добилась выдающихся успехов в обработке естественного языка, компьютерном зрении и научных вычислениях благодаря механизму само-внимания. Однако её основные компоненты — позиционное кодирование и механизмы внимания — до сих пор не имели единого физического или математического обоснования. В данной работе предлагается структурная теоретическая рамка, объединяющая позиционные кодировки, интегральные операторы ядра и механизмы внимания для углублённого теоретического анализа. Мы отображаем дискретные позиции (например, индексы токенов текста и координаты пикселей изображений) на пространственные функции непрерывных многообразий, что позволяет интерпретировать слои трансформеров как операторные структуры с регулируемым ядром, действующие над вложенными многообразиями.