Краткое содержание

arXiv:2511.13373v1 Тип объявления: новый Аннотация: Большие языковые модели (LLM) сталкиваются со значительными трудностями в распределённом здравоохранении, включая консолидацию специализированных предметных знаний между учреждениями при сохранении конфиденциальности, снижение вычислительных затрат и предотвращение катастрофического забывания при обновлении моделей. В данной статье представлено систематическое оценивание шести методов слияния в пространстве параметров, применённых к двум архитектурно совместимым медицинским LLM, созданным на базовой модели Mistral-7B. Мы представляем новый иерархический метод, который сочетает выборочное выравнивание методом оптимального транспорта (OT) для слоёв внимания с интерполяцией, взвешенной по косинусному сходству; метод разработан для решения проблемы перестановочной вариативности при минимизации вычислительных затрат для сценариев развёртывания на периферийных устройствах. Наше исследование оценивает Task Arithmetic, Linear Averaging, DARE-TIES, DELLA, Breadcrumbs и наш иерархический подход на пяти медицинских тестовых наборах. Результаты демонстрируют, что архитектурно совместимые модели получают преимущества