Краткое содержание

arXiv:2503.23777v2 Тип объявления: замена Аннотация: Простое совместное обучение больших языковых моделей (LLM) для многоязычной настройки предпочтений может страдать от негативного взаимовлияния. Это известная проблема многоязычного обучения, когда конфликтующие цели ухудшают общую производительность. Однако влияние данного явления в контексте многоязычной настройки предпочтений остается слабо изученным. Для решения этой проблемы мы предлагаем метод CONGRAD — масштабируемый и эффективный подход фильтрации, который выбирает высококачественные выборки предпочтений с минимальными градиентными конфликтами между языками. Наш метод применяет технику хирургии градиентов для сохранения выборок, согласованных с агрегированным многоязычным направлением обновления модели. Дополнительно мы включаем стратегию сжатия градиента сублинейной сложности, снижающую затраты памяти во время накопления градиентов. Мы интегрируем CONGRAD в фреймворк самонастройки вознаграждений и оцениваем результаты на моделях LLaMA3-8B и Gemma2-2B для десяти языков. Результаты показывают, что CONGRAD стабильно превосходит стандартные подходы.