← Вернуться к списку

Адаптивная фокусная память для языковых моделей

Краткое содержание

arXiv:2511.12712v1 Тип объявления: новый Аннотация: Большие языковые модели (LLM) всё чаще используются в многошаговых диалоговых сценариях, однако их поведение до сих пор ограничено фиксированными контекстными окнами и примитивными стратегиями управления памятью. Полное воспроизведение всего диалога на каждом этапе — простое решение, но дорогостоящее, тогда как статическое суммирование или эвристики, основанные исключительно на недавности сообщений, часто приводят к потере критически важных деталей безопасности пользователей. Мы представляем адаптивную фокусную память (AFM) — динамический менеджер контекста, который присваивает каждому предыдущему сообщению один из трёх уровней детализации — ПОЛНЫЙ, СЖАТЫЙ или ЗАПОЛНИТЕЛЬ — исходя из семантического сходства с текущим запросом, весового коэффициента давности и классификации важности. AFM упаковывает сообщения хронологически строго в рамках заданного бюджета токенов, отдавая предпочтение высокой точности для наиболее релевантных этапов диалога, одновременно стремясь сохранить дешёвый след всей беседы. В тесте, ориентированном на безопасность, где пользователь с тяжёлой аллергией на арахис планирует поездку в Таиланд, AFM сохраняет сведения об аллергии как на коротких, так и на длинных участках диалога...

Полный текст статьи пока не загружен.