Краткое содержание

arXiv:2511.14694v1 Тип объявления: кросс Аннотация: Обученные на массивных межвидовых ДНК-корпусах большие языковые модели ДНК (LLM) изучают фундаментальную «грамматику» и эволюционные закономерности геномных последовательностей. Это делает их мощными априорными моделями для моделирования ДНК-последовательностей, особенно на больших расстояниях. Однако два основных ограничения препятствуют их практическому применению: квадратичная вычислительная стоимость механизма само-внимания и увеличивающаяся память, необходимая для кеша ключ-значение (KV) во время автокодирующего декодирования. Эти ограничения вынуждают использовать эвристики, такие как усечение с фиксированным окном или скользящие окна, что приводит к снижению точности при обработке ультрадлинных последовательностей за счет отбрасывания удаленной информации. Мы представляем метод FOCUS (Feature-Oriented Compression for Ultra-long Self-attention) — модуль прогрессивного сжатия контекста, который можно интегрировать в предварительно обученные LLM для ДНК. FOCUS объединяет устоявшееся представление k-мера в области геномики со сжимаемым иерархическим представлением: он вставляет токены-суммаризаторы на уровне гранул k-меров