Краткое содержание

arXiv:2502.03503v3 Тип объявления: замена-перекрёстная публикация Аннотация: В нашей статье мы ставим под сомнение утверждения предыдущих исследований о том, что трансформерные модели, обучаясь в контексте, имплицитно реализуют стандартные алгоритмы машинного обучения. Мы представляем эмпирические данные, противоречащие этому утверждению, и приводим математический анализ, демонстрирующий, что трансформеры не способны достичь общей предсказательной точности вследствие присущих архитектурных ограничений.