Краткое содержание

arXiv:2511.10840v1 Тип объявления: новый Аннотация: Многоязычные большие языковые модели (MLLM) способны обрабатывать множество языков, однако до сих пор неясно, каким образом они представляют внутреннее разнообразие языков. Формируют ли они общие многоязычные представления с декодированием специфичным для каждого языка, и если да, почему производительность всё равно благоприятствует доминирующему языку обучения? Для изучения данного вопроса мы тренируем серию MLLM на различных комбинациях многоязычных данных и исследуем внутренние механизмы моделей с помощью кросс-слойных транскодеров (CLT) и атрибуционных графов. Наши результаты убедительно свидетельствуют о наличии представлений опорного языка: модель применяет практически идентичные представления во всех языках, тогда как специфичное для конкретного языка декодирование проявляется лишь в последующих слоях. Атрибуционный анализ показывает, что процесс декодирования частично зависит от небольшого набора высокочастотных языковых признаков в финальных слоях, которые линейно извлекают идентификационные признаки языка из первых слоёв модели. Вмешиваясь в эти признаки, мы можем подавлять один язык и…