Краткое содержание

arXiv:2406.01909v2 Тип объявления: замена Аннотация: Цель максимизации снижения скорости кодирования (MCR²) для изучения структурированных и компактных глубоких представлений привлекает всё большее внимание, особенно после её недавнего использования при выводе полностью интерпретируемых и высокоэффективных архитектур глубоких сетей. Однако ей недостаёт полного теоретического обоснования: известны лишь свойства глобальных оптимумов, а глобальная структура поверхности функции до сих пор не изучена. В данной работе мы даём полное описание свойств всех локальных и глобальных оптимумов, а также других типов критических точек. Конкретнее, мы показываем, что каждый максимум (локальный или глобальный) проблемы MCR² соответствует низкоразмерному, дискриминационному и разнообразному представлению, причём каждая критическая точка целевой функции является либо локальным максимумом, либо строгим седловым пунктом. Такая благоприятная топология делает MCR² естественным выбором цели для обучения разнообразным и дискриминационным представлениям.