← Вернуться к списку

Использование онлайн-данных для расширения медицинских знаний в небольшой персидской языковой модели

Краткое содержание

arXiv:2505.16000v5 Тип объявления: замена Аннотация: Быстрый прогресс языковых моделей продемонстрировал потенциал искусственного интеллекта в здравоохранении. Однако небольшие языковые модели испытывают трудности с узкоспециализированными областями в языках с ограниченными ресурсами, такими как персидский. Хотя существует большое количество медицинских веб-сайтов на персидском языке, до сих пор отсутствовал систематически подготовленный набор данных или корпус, что делает наш проект первым такого рода. В данном исследовании представлен новый систематически отобранный датасет, включающий 20 тысяч пар вопросов и ответов между врачами и пациентами, а также 60% корпуса объемом 90 миллионов токенов, собранного из медицинских журналов. Применяя параметрически эффективный подход тонкой настройки, мы повысили уровень знаний базовой модели aya-expanse-8b в области медицины. Оценка производительности показала, что тонко настроенная модель демонстрирует улучшенную точность в медицинском вопросно-ответном режиме и успешно прошла экзамен иранского базового медицинского научного экзамена IBSEE в сентябре 2023 года, тогда как исходная модель этого сделать не смогла. Дополнительно, тонко настроенная модель улучшила показатель P...

Полный текст статьи пока не загружен.