← Вернуться к списку

Подготовка фрактально-вдохновлённых вычислительных архитектур для углубленного анализа крупных языковых моделей

Краткое содержание

arXiv:2511.07329v1 Тип объявления: новый Аннотация: В статье вводится архитектура FractalNet — вычислительная структура, вдохновлённая фракталами, предназначенная для анализа продвинутых больших языковых моделей и эффективно решающая проблему разнообразия моделей в крупных масштабах. Новая схема включает генератор, запускающий механизм и оценочную платформу, управляемые шаблонами, способные систематически переставлять слои свёртки, нормализации, активации и дропаут, создавая свыше 1200 вариантов нейронных сетей. Фрактальные шаблоны обеспечивают структурную рекурсию и многоканальность путей, благодаря чему модели становятся глубже и шире сбалансированным образом. Обучение проводится с использованием библиотеки PyTorch, автоматической смешанной точности (AMP) и градиентной чекпоинтизации на датасете CIFAR-10 в течение пяти эпох. Результаты показывают, что основанные на фракталах архитектуры способны демонстрировать высокую производительность и обладают вычислительной эффективностью. Статья позиционирует фрактальное проектирование как перспективный и ресурсоэффективный подход к автоматизированному исследованию архитектур.

Полный текст статьи пока не загружен.