XAttn-BMD: Многомодальное глубокое обучение с кросс-вниманием для оценки плотности костной ткани шейки бедра
Краткое содержание
arXiv:2511.14604v1 Тип объявления: новое Аннотация: Слабое состояние костной ткани представляет собой серьезную проблему общественного здравоохранения, а низкая минеральная плотность костей (МПК) приводит к повышенному риску переломов — ключевой характеристике остеопороза. Мы представляем модель XAttn-BMD (Cross-Attention BMD) — мультимодальную глубокую нейросетевую архитектуру для прогнозирования МПК шейки бедра на основе рентгеновских изображений тазобедренного сустава и структурированных клинических метаданных. Она использует новый двунаправленный механизм кросс-внимания для динамической интеграции признаков изображения и метаданных с целью взаимного усиления в разных модальностях. Для решения проблемы дисбаланса значений МПК и выделения клинически значимых случаев разработан специальный взвешенный гладкий критерий потерь типа L1. Обширные эксперименты на данных исследования Хертфордширского когортного проекта показывают, что наша модель превосходит базовые модели по обобщению регрессии и устойчивости. Анализ методом исключения подтверждает эффективность как механизма кросс-внимательной интеграции, так и специально разработанной функции потерь. Экспериментальные результаты демонстрируют, что интеграция мультимодальных данных через механизм кросс-внимания позволяет...
Полный текст статьи пока не загружен.