Краткое содержание

arXiv:2502.17129v2 Тип объявления: замена Аннотация: Обработка длинного контекста является важной темой в области обработки естественного языка (NLP), проходящей через развитие архитектур NLP и предоставляющей огромные возможности большим языкамоделям (LLM), наделяя их потенциалом непрерывного обучения, подобным человеческому. К сожалению, стремление к обработке длинных контекстов сопровождается множеством препятствий. Тем не менее, обработка длинного контекста остаётся ключевым конкурентным преимуществом больших языковых моделей. За последние два года длина контекста LLM достигла значительного увеличения до миллионов токенов. Более того, исследования в области больших языковых моделей с длинными контекстами расширились от простого удлинения контекста до комплексного изучения архитектуры, инфраструктуры, методов обучения и оценки технологий. Вдохновлённые симфонической поэмой Рихарда Штрауса «Так говорил Заратустра», мы проводим аналогию между процессом расширения контекста большой языковой модели и попытками человека преодолеть свою смертность. В данном обзоре мы покажем, каким образом большие языковые модели борются между