Краткое содержание

arXiv:2511.11821v1 Тип объявления: новый Аннотация: Извлечение информации из нормативных документов с использованием больших языковых моделей представляет собой критические компромиссы между производительностью и вычислительными ресурсами. Мы оценили семь открытых моделей с весами (от 0,6 до 70 млрд параметров) на документации по лицензированию гидроэнергетики, чтобы предоставить эмпирическое руководство по развертыванию. Наш анализ выявил выраженный порог в 14 миллиардов параметров, где методы проверки переходят от неэффективных (F1 < 0,15) к жизнеспособным (F1 = 0,64). Модели потребительского уровня достигают показателя F1 равного 64% через соответствующую проверку, тогда как меньшие модели стабилизируются на уровне 51%. Крупномасштабные модели приближаются к показателю F1 в 77%, однако требуют инфраструктуры корпоративного класса. Мы выявили систематические паттерны фантазийности, когда идеальная полнота означает неудачу извлечения, а не успех в небольших моделях. Наши результаты создают первый исчерпывающий сопоставительный отчет производительности и ресурсов для открытого извлечения информации из нормативных контекстов, обеспечивая научно обоснованную выборку моделей.