Краткое содержание

arXiv:2511.04998v1 Тип объявления: кросс Аннотация: Глубокие модели машинного обучения на основе трансформеров показали перспективность прогнозирования риска заболеваний с использованием электронных медицинских карт (ЭМК), однако моделирование временных зависимостей остается ключевой проблемой вследствие нерегулярности интервалов между визитами пациентов и отсутствия единой структуры данных. Мы предлагаем двунаправленную позиционную встраивающую архитектуру трансформера — BiPETE (Bi-Positional Embedding Transformer Encoder) для прогноза отдельных заболеваний, объединяя вращательные позиционные вложения для кодирования относительного временного интервала визитов и синусоидальные вложения для сохранения порядка посещений. Без привлечения крупномасштабной предобученной модели BiPETE обучается на ЭМК двух когорт психического здоровья — депрессивное расстройство и посттравматическое стрессовое расстройство (ПТСР) — для предсказания риска расстройств, связанных с употреблением алкоголя и психоактивных веществ (АСУД). BiPETE превосходит базовые модели, улучшая показатель площади под кривой точности-вызова (AUPRC) на 34% и 50% соответственно в группах депрессии и ПТСР. Дополнительный эксперимент подтверждает эффективность предложенного подхода двойственной позиционной кодировки.