Краткое содержание

arXiv:2511.05449v1 Тип объявления: кросс Аннотация: Последние достижения в области трансформеров трехмерных точечных облаков привели к передовым результатам в таких задачах, как семантическая сегментация и реконструкция. Однако эти модели обычно полагаются на плотные представления токенов, что влечет высокие вычислительные и ресурсоемкие затраты во время обучения и вывода. В данной работе мы представляем вывод о том, что токены являются удивительно избыточными, приводя к значительной неэффективности. Мы предлагаем метод gitmerge3D — глобально информированный подход к объединению графовых токенов, который позволяет сократить количество токенов до 90–95%, сохраняя конкурентоспособную производительность. Это открытие ставит под сомнение распространенное предположение о том, что большее число токенов обязательно обеспечивает лучшую производительность, подчеркивая, что многие современные модели чрезмерно насыщены токенами и недостаточно оптимизированы для масштабируемости. Мы проверили наш метод на нескольких задачах компьютерного зрения в 3D и продемонстрировали устойчивое повышение эффективности вычислений. Данная работа является первой, оценившей избыточность в крупномасштабных трёхмерных трансформерах.