Краткое содержание

arXiv:2511.12840v1 Тип анонса: cross Аннотация: Современные модели машинного обучения с большим количеством параметров часто хорошо обобщаются, несмотря на идеальную интерполяцию зашумленных обучающих данных — феномен, известный как доброкачевое переобучение. Фундаментальное объяснение этого явления в линейной классификации недавно было предложено Хашимото и др. (2025). Однако этот анализ был ограничен настройкой «однородных» моделей, в которых отсутствует свободный член (интерсепт) — стандартный компонент на практике. Данная работа напрямую расширяет результаты Хашимото и др. на более реалистичный неоднородный случай, который включает свободный член. Наш анализ доказывает, что доброкачественное переобучение сохраняется и в этих более сложных моделях. Мы обнаруживаем, что наличие свободного члена вводит новые ограничения на структуру ковариации данных, необходимые для обобщающей способности, и этот эффект особенно выражен при наличии шума в метках. Однако мы показываем, что в изотропном случае эти новые ограничения подавляются требовани