Применение больших языковых моделей для характеристики общественных нарративов
Краткое содержание
arXiv:2511.13505v1 Тип объявления: новый Аннотация: Общественные нарративы (Public Narratives, PNs) являются ключевыми инструментами развития лидерства и гражданского мобилизующего воздействия, однако их систематический анализ остается сложной задачей ввиду субъективной интерпретации и высокой стоимости экспертной разметки. В данной работе мы предлагаем новую вычислительную методологию, использующую большие языковые модели (Large Language Models, LLMs), чтобы автоматизировать качественную аннотацию общественных нарративов. С помощью разработанного совместно с предметными экспертами кодировочного справочника мы оцениваем производительность LLM-моделей относительно экспертов-оценщиков. Наше исследование показывает, что LLM способны достигать производительности близкой к уровню человеческих экспертов, достигая среднего показателя F1 равного 0.80 по восьми нарративам и четырнадцати категориям. Затем мы расширяем наш анализ эмпирически исследуя проявление элементов структуры PN на большем наборе данных из 22 историй. Наконец, мы экстраполируем наши результаты на корпус политических выступлений, создавая новый подход к анализу политической риторики в гражданских пространствах. Настоящее исследование демонстрирует потенциал...
Полный текст статьи пока не загружен.