Краткое содержание

arXiv:2511.12742v1 Тип объявления: новый Аннотация: По мере того как синтетические данные распространяются по Интернету, их часто повторно используют для обучения последующих поколений генеративных моделей. Это создает «самоподдерживающийся цикл», который может привести к нестабильности обучения или _коллапсу модели_. Стандартные стратегии решения этой проблемы — такие как накопление исторических данных для обучения или добавление новых реальных данных — либо увеличивают вычислительные затраты, либо требуют дорогостоящей человеческой аннотации. В данной работе мы эмпирически анализируем динамику латентного пространства самоподдерживающихся диффузионных моделей и наблюдаем, что низкоразмерная структура латентных представлений, извлеченных из синтетических данных, деградирует с каждым поколением. Основываясь на этом наблюдении, мы предлагаем _Фильтрацию Латентного Пространства_ (LSF), новый подход, который смягчает коллапс модели путем отсеивания менее реалистичных синтетических данных из смешанных наборов данных. Теоретически мы представляем framework, связывающий деградацию латентного пространства с эмпирическими наблюдениями. Экспери