← Вернуться к списку

Язык превыше содержания: прослеживание культурного понимания в многоязычных больших языковых моделях

Краткое содержание

arXiv:2510.16565v2 Тип объявления: замена-перекрёстная публикация Аннотация: Большие языковые модели (LLM) всё чаще применяются в различных культурных контекстах, что делает необходимым точное понимание культуры. Предыдущие оценки преимущественно концентрировались на производительности на уровне выходных данных, скрывая факторы, определяющие различия в ответах, тогда как исследования, использующие анализ цепей активации, охватывали лишь несколько языков и редко фокусировались на культуре. В данной работе мы прослеживаем внутренние механизмы понимания культуры LLM путём измерения перекрытия путей активаций при ответе на семантически эквивалентные вопросы в двух условиях: варьируя целевую страну при фиксированном языке вопроса и варьируя язык вопроса при фиксированной стране. Мы также используем пары стран с одним языком, чтобы отделить влияние языка от культурного аспекта. Результаты показывают, что пути перекрываются сильнее для вопросов между странами одного языка, чем для вопросов на разных языках одной страны, указывая на наличие сильных специфичных для языка паттернов. Примечательно, что...

Полный текст статьи пока не загружен.