Краткое содержание

arXiv:2511.13338v1 Тип: новая статья Аннотация: Обучение с учителем на табличных данных сопряжено с уникальными трудностями, включая малый объем данных, отсутствие структурных сигналов и неоднородные признаки, охватывающие как категориальные, так и непрерывные области. В отличие от задач компьютерного зрения и обработки естественного языка, где модели могут использовать индуктивные предубеждения в данных, табличные данные не имеют внутренней позиционной структуры, что снижает эффективность механизмов самовнимания. Хотя недавно появившиеся трансформерные модели, такие как TabTransformer, SAINT и FT-Transformer (которые мы обозначаем как 3T), показали перспективность на табличных данных, они обычно работают без использования структурных сигналов, таких как позиционные кодировки (PE), поскольку предварительная структурная информация обычно отсутствует. В данной работе мы теоретически и эмпирически обнаруживаем, что структурные сигналы, в частности PE, могут быть полезным инструментом для повышения обобщающей способности табличных трансформеров. Мы выясняем, что PE наделяют модель способностью снижать эффективный ранг (своего рода