Краткое содержание

arXiv:2509.01110v2 Тип объявления: replace-cross Аннотация: Мы представляем NoLBERT, облегченную фундаментальную языковую модель с временными метками для эмпирических исследований, в частности для прогнозирования в экономике, финансах и социальных науках. Благодаря предварительному обучению исключительно на текстах с 1976 по 1995 год, NoLBERT избегает как ретроспективного смещения (lookback bias), так и смещения, связанного с знанием будущих событий (lookahead bias) — утечки информации, которая может подорвать эконометрический вывод. Модель превосходит предметно-ориентированные базовые уровни на NLP-бенчмарках, сохраняя временную согласованность. Примененная к текстам патентов, модель NoLBERT позволяет строить инновационные сети на уровне компаний и показывает, что рост инновационной центральности предсказывает более высокий долгосрочный рост прибыли.