← Вернуться к списку

Игра в согласование: теория долгосрочного согласования через рекурсивную курацию

Краткое содержание

arXiv:2511.12804v1 Тип объявления: новый Аннотация: В самопотребляющих генеративных моделях, которые обучаются на своих собственных выходных данных, согласование с пользовательскими предпочтениями становится рекурсивным, а не разовым процессом. Мы представляем первую формальную основу для анализа долгосрочных эффектов такого рекурсивного переобучения на согласованность. В рамках двухэтапного механизма курации на основе модели Брэдли-Терри (БТ) мы моделируем согласование как взаимодействие двух сторон: Владельца Модели, который фильтрует, какие выходные данные должны быть изучены моделью, и Публичного Пользователя, который определяет, какие выходные данные в конечном итоге будут распространены и сохранены через взаимодействие с моделью. Наш анализ выявляет три структурных режима сходимости в зависимости от степени согласованности предпочтений: коллапс консенсуса, компромисс на общих оптимумах и асимметричное уточнение. Мы доказываем фундаментальную теорему о невозможности: ни один рекурсивный механизм курации на основе БТ не может одновременно сохранить разнообразие, обеспечить симметричное влияние и устранить

Полный текст статьи пока не загружен.