Краткое содержание

arXiv:2511.11622v1 Тип: новая статья Аннотация: Токенизация и трансферное обучение являются двумя ключевыми компонентами при создании передовых фундаментальных моделей для прогнозирования временных рядов. В данной работе мы систематически исследуем влияние проектирования токенизатора, в частности стратегий масштабирования и квантования, на производительность модели, наряду с эффектом от предварительного обучения по сравнению со случайной инициализацией. Мы показываем, что конфигурация токенизатора в основном определяет репрезентативную способность и стабильность модели, в то время как трансферное обучение влияет на эффективность оптимизации и согласованность. Используя комбинацию эмпирических экспериментов по обучению и теоретического анализа, мы демонстрируем, что предварительно обученные модели последовательно используют хорошо спроектированные токенизаторы более эффективно, особенно при небольших размерах словаря. И наоборот, несогласованная токенизация может уменьшить или даже обратить вспять преимущества предварительного обучения. Эти результаты подчеркивают важность тщательной токенизации при моделировании временных рядов и позволяют предположить