За пределами магических слов: эволюция подсказок с учетом резкости для надежных больших языковых моделей с помощью TARE
Краткое содержание
arXiv:2509.24130v2 Тип объявления: замена Аннотация: Производительность больших языковых моделей (LLM) зависит от тщательно разработанных подсказок. Однако существующие методы оптимизации подсказок — от эвристического редактирования до обучения с подкреплением и эволюционного поиска — главным образом ориентированы на точечную точность. Они редко обеспечивают инвариантность переформулировок или стабильность поиска, и потому практически неспособны устранить эту хрупкость на практике. Автоматический поиск подсказок остается уязвимым: небольшие семантически сохраняющие перефразировки часто вызывают значительные колебания производительности. Мы определяем эту хрупкость как текстовую резкость ландшафта подсказок. В данной работе мы впервые даем формальное описание текстовой резкости в дискретном семантическом пространстве подсказок вместе с операциональным критерием устойчивости над семантической окрестностью; предложенный подход является черным ящиком или исключительно API-ориентированным, не требует градиентов для обновления параметров модели. Затем мы представляем метод TARE (Textual Sharpness-Aware Evolving), свободный от производных...
Полный текст статьи пока не загружен.