Краткое содержание

arXiv:2511.06571v1 Тип анонса: кросс Аннотация: Большие языковые модели (LLM) добились значительных успехов во множестве различных задач, однако внутренние механизмы их работы остаются в значительной степени непрозрачными. В данной работе мы ставим фундаментальный вопрос: в какой мере исходный входной текст может быть восстановлен из одного последнего токена представления внутри языковой модели? Мы предлагаем Rep2Text — новую методику декодирования полного текста из представлений последнего токена. Rep2Text применяет настраиваемый адаптер, который проецирует внутреннее представление целевой модели в пространство вложений декодирующей языковой модели, после чего она рекурсивно восстанавливает исходный текст. Эксперименты с различными комбинациями моделей (Llama-3.1-8B, Gemma-7B, Mistral-7B-v0.1, Llama-3.2-3B) показывают, что в среднем более половины информации последовательностей длиной 16 токенов восстанавливается из такого сжатого представления, сохраняя высокую семантическую целостность и связность. Более того, наш анализ выявляет информационную узкую точку