Краткое содержание

Всем привет. **Простая версия:** Я извлекаю структурированную память из прошлого → пропускаю её через обученный MLP → внедряю полученные токены в prior модели. Это алгоритм, который рассматривает память как проблему обработки сигналов, используя уравнения из физики/математики (затухание и собственный анализ), чтобы сделать память ИИ глубже и эффективнее. **Более техническая версия:** Я работаю над новым алгоритмом — модулем памяти для длинного контекста, который использует классическое разложение Карунена–Лоэва (с экспоненциальным ядром) для далёкого прошлого. Я сохраняю только топ-k собственных мод (и не делаю обратного распространения через собственное разложение). Затем эти моды пропускаются через небольшой обученный MLP, который генерирует специфичные для задачи токены памяти. Эти токены добавляются в начало текущего контекста модели. Я везде искал (arXiv, Google Scholar, Twitter, старые статьи по PCA/K-L, литературу по гауссовским процессам, работы по compressive/memformer) и не смог найти ничего, что делало бы в точности такой гибрид: фиксированное математическое K-L разложение + end-to-end обучаемая проекция в токены.