Краткое содержание

arXiv:2505.00275v2 Тип объявления: замена-перекрёстная публикация Аннотация: Хронические заболевания, включая диабет, гипертонию, астму, ВИЧ-СПИД, эпилепсию и туберкулез, требуют строгого соблюдения режима приема лекарств для предотвращения прогрессирования болезни, контроля симптомов и снижения смертности. Соблюдение рекомендаций часто нарушается из-за таких факторов, как поведение пациента, поддержка со стороны опекунов, высокие медицинские расходы и недостаточная инфраструктура здравоохранения. Мы предлагаем модель AdCare-VLM — специализированную мультимодальную крупную модель обработки визуальной информации на основе LLaVA с введением унифицированного латентного визуального пространства с предварительной синхронизацией для обеспечения возможности ответа на вопросы по видеоматериалам пациентов о соблюдении режима приема препаратов. Для тонкой настройки модели мы используем приватный набор данных, состоящий из 806 специально размеченных видеозаписей мониторинга приема противотуберкулезных препаратов, которые были помечены клиническими экспертами для выявления паттернов соблюдения режима лечения. Мы представляем LLM-TB-VQA — подробный медицинский набор данных вопросов и ответов о соблюдении режима приёма лекарственных средств при туберкулезе, который включает положительные,