Уточнение рассуждений: метод вывода во время тестирования для моделей встраивания
Краткое содержание
arXiv:2511.13726v1 Тип объявления: кросс Аннотация: Мы предлагаем метод RT (Refine Thought), который может повысить способность текстовых моделей встраивания к семантическому рассуждению. Метод получает окончательное семантическое представление путем выполнения нескольких прямых проходов модели встраивания текста. Эксперименты показывают, что RT демонстрирует значительные улучшения в задачах семантического рассуждения на наборах данных BRIGHT и эталоне сопоставления человека с работой PJ Benchmark 1, при этом сохраняя стабильную производительность в общих задачах семантического понимания, таких как C-MTEB. Наши результаты указывают на то, что эффективность RT обусловлена тем, что он дополнительно активирует способности к семантическим рассуждениям, усвоенные во время предварительного обучения у декодеров только для текстовых моделей встраивания (например, Qwen3-Embedding-8B). RT можно рассматривать как метод вывода времени тестирования.
Полный текст статьи пока не загружен.