Краткое содержание

arXiv:2511.12869v1 Тип: новая статья Аннотация: Большие языковые модели (LLM) enormously выиграли от масштабирования, однако эти достижения ограничены пятью фундаментальными проблемами: (1) галлюцинации, (2) компрессия контекста, (3) деградация способности к рассуждению, (4) хрупкость механизмов извлечения информации и (5) мультимодальное рассогласование. В то время как существующие обзоры эмпирически описывают эти явления, им не хватает строгого теоретического синтеза, связывающего их с фундаментальными пределами вычислений, информации и обучения. Данная работа заполняет этот пробел, представляя унифицированную, основанную на доказательствах теоретическую основу, которая формализует врожденные теоретические пределы масштабирования LLM. Во-первых, вычислимость и невычислимость подразумевают существование нередуцируемого остатка ошибки: для любого перечислимого семейства моделей диагонализация гарантирует наличие входных данных, на которых некоторая модель должна дать сбой, а неразрешимые запросы (например, задачи типа проблемы остановки) порождают бесконечные множества ошибок для всех вычислимых предсказателей. Во-вторых, информационно-теоретические и статистические ограничения огра