Краткое содержание

arXiv:2511.11707v1 Тип объявления: новый Аннотация: Непрерывное обучение остается сложной задачей из-за катастрофического забывания, когда нейронные сети теряют ранее приобретенные знания при изучении новых задач. Вдохновленные консолидацией памяти в нейробиологии, мы предлагаем FSC-Net (Fast-Slow Consolidation Networks) — двухкомпонентную архитектуру, которая разделяет быстрое изучение задач и постепенную консолидацию знаний. Наш метод использует быструю сеть (NN1) для немедленной адаптации к новым задачам и медленную сеть (NN2), которая консолидирует знания с помощью дистилляции и воспроизведения. Среди семейства вариантов NN1 на основе MLP, которые мы оценили, эффективность консолидации в большей степени определяется методологией, чем архитектурными усовершенствованиями — простая MLP превосходит более сложные варианты с управлением на основе сходства на 1,2 п.п. В ходе системного анализа гиперпараметров мы эмпирически наблюдали, что чистое воспроизведение без дистилляции в процессе консолидации обеспечивает превосходную производительность, что согласуется с гипотезой о том, что дистил