Краткое содержание

arXiv:2407.21243v5 Тип объявления: замена-перекрёстная публикация Аннотация: Дискретная диффузия зарекомендовала себя как мощная парадигма для генеративного моделирования в дискретных областях, однако эффективное выборочное тестирование моделей остаётся сложной задачей. Существующие стратегии отбора часто сталкиваются с трудностью поддержания баланса между вычислительными затратами и качеством образцов при уменьшении числа шагов выборки, даже когда модель хорошо усвоила распределение данных. Для устранения указанных ограничений мы предлагаем схему выборочного тестирования с предсказателем-корректором, где корректор получает информацию от модели диффузии, чтобы надёжнее компенсировать накапливающиеся ошибки аппроксимации. Чтобы дополнительно повысить эффективность нашего информированного корректора, мы вводим дополнительные архитектурные изменения, основанные на полых трансформерах и простой целевой функции обучения, специально разработанной для повышения полезности сигнала обучения. Мы используем синтетический пример, чтобы проиллюстрировать режимы отказов существующих методов выборки и показать, каким образом информированные корректоры устраняют эти проблемы. В экспериментах на наборах данных text8 и token...