Краткое содержание

arXiv:2510.01384v2 Тип объявления: замена Аннотация: Естественным требованием к порождающим моделям является способность к самокоррекции — обнаружению и исправлению низкокачественных токенов во время вывода. Хотя модели маскированной диффузии (Masked Diffusion Models, MDM) зарекомендовали себя перспективным подходом к порождающему моделированию в дискретных пространствах, их возможности самокоррекции остаются слабо изученными. Предыдущие попытки интегрирования самокоррекции в MDM либо требуют существенной переработки архитектуры моделей / процесса обучения, либо полагаются на недостаточно точные метрики качества токенов, ограничивая применимость подхода. В связи с этим мы предлагаем метод PRISM — встраиваемое повторное замаскирование для самокоррекции маскированных диффузионных моделей на этапе вывода — лёгкий универсальный подход, совместимый с любой предварительно обученной моделью MDM. Теоретически PRISM вводит функцию потерь для самокоррекции, доказанно обучающуюся оценивать качество каждого отдельного токена без использования методов подкрепляющего обучения или верификатора. Эти оценки качества вычисляются в рамках одного прямого прохода вместе с MDM и используются для выявления низкокачественных токенов. Эмпирически PRISM улучшает производительность MDM...