Краткое содержание

arXiv:2510.04226v5 Тип объявления: замена-перекрёстная публикация Аннотация: Большие языковые модели (LLM) склонны порождать тексты, лексически, семантически и стилистически однородные. Это создаёт риск коллапса знаний, когда однородные LLM постепенно сужают доступный диапазон информации во времени. Современные исследования проблемы гомогенизации ограничены акцентом либо на закрытых многоальтернативных постановках вопросов, либо на размытых семантических характеристиках, игнорируя тренды во времени и культурных контекстах. Для преодоления данного ограничения мы предлагаем новый подход измерения эпистемического разнообразия — вариативности реальных утверждений в выводах LLM, который используем для проведения масштабного эмпирического анализа коллапса знаний в больших языковых моделях. Мы тестируем 27 моделей LLM, охватывая 155 тем из 12 стран и используя 200 вариантов подсказок, полученных из реальных диалогов пользователей. В рамках нашего исследования показано, что хотя новые модели генерируют более разнообразные утверждения, почти все они демонстрируют меньшее эпистемическое разнообразие по сравнению с базовым веб-поиском. Выявлено, что размер модели оказывает...