Краткое содержание

arXiv:2506.09105v2 Тип: замена Аннотация: Мы представляем MetaTT, адаптерный фреймворк на основе тензорного поезда (TT) для тонкой настройки предварительно обученных трансформеров. MetaTT обеспечивает гибкую и параметрически эффективную адаптацию модели за счёт использования единого разделяемого TT для факторизации подмодулей трансформера. Данная факторизация индексирует ключевые структурные измерения, включая слой и тип матрицы, и может дополнительно учитывать головы и задачи. Такая конструкция позволяет количеству параметров MetaTT масштабироваться с суммой, а не произведением мод, что приводит к существенно более компактному адаптеру. Наши тесты сравнивают MetaTT с LoRA и другими современными методами тонкой настройки, основанными на матричных и тензорных разложениях. Мы наблюдаем, что при тестировании на стандартных бенчмарках языкового моделирования для одной задачи MetaTT демонстрирует конкурентоспособный компромисс между параметрической эффективностью и точностью. Мы также показываем, что MetaTT показывает конкурентные результаты при сравнении с передовыми методами в условиях многозадачного обучения. Наконец, мы