Краткое содержание

arXiv:2511.12442v1 Тип объявления: новый Аннотация: Обучение на динамических графах играет ключевую роль в моделировании эволюционирующих во времени отношений, особенно для задач прогнозирования временных связей в таких областях, как транспортные системы, социальные сети и рекомендательные платформы. Хотя модели на основе трансформеров продемонстрировали высокую производительность, захватывая долгосрочные временные зависимости, их зависимость от самовнимания приводит к квадратичной сложности по отношению к длине последовательности, что ограничивает масштабируемость на графах с высокой частотой изменений или больших графах. В данной работе мы пересматриваем необходимость самовнимания в моделировании динамических графов. Вдохновлённые недавними исследованиями, которые приписывают успех трансформеров в большей степени их архитектурному дизайну, чем вниманию как таковому, мы предлагаем GLFormer — новую архитектуру в стиле трансформера, но без механизма внимания, предназначенную для динамических графов. GLFormer вводит адаптивный механизм смешивания токенов, который выполняет контекстно-зависимую локальную агрегацию на основе порядка взаимодействия и временных интервалов. Для захвата долгосрочных