Краткое содержание

arXiv:2511.13900v1 Тип объявления: кросс Аннотация: Снижение способности больших языковых моделей (LLM) эффективно использовать контекст на длинных дистанциях — явление «потери в середине» — представляет собой значительную проблему для приложений LLM с извлечением данных. Для изучения влияния этого явления в реальных условиях применения мы представляем GM-Extract — новый эталонный набор данных, тщательно разработанный для оценки производительности LLM при извлечении управляющих переменных. Чтобы точно диагностировать режимы отказов, мы предлагаем простую и элегантную систему оценки с использованием двух различных метрик: одна для пространственной способности извлечения информации (метрика документа), другая — для семантической способности извлечения (метрика извлечения переменной). Мы проводим систематическую оценку моделей с параметрами от 7 до 8 миллиардов параметров по двум задачам с несколькими документами (извлечение ключ-значение и вопрос-ответ), демонстрируя значительное изменение производительности поиска простым изменением того, как данные представлены в окне контекста. Хотя четко выраженная U-образная