Краткое содержание

arXiv:2503.15511v3 Объявление Тип: replace-cross Аннотация: Недавнее распространение мощных систем ИИ создало сильную потребность в возможностях, помогающих пользователям калибровать доверие к этим системам. По мере роста систем ИИ информация, необходимая для оценки их надежности, становится менее доступной, что создает растущий риск неправильного использования этих систем. Мы предлагаем Модель зрелости калибровки доверия (TCMM) для характеристики и передачи информации о надежности систем ИИ. TCMM включает в себя пять измерений зрелости анализа: Характеризация производительности, Количественная оценка смещения и устойчивости, Прозрачность, Безопасность и защита, а также Удобство использования. TCMM может быть представлена вместе с информацией о производительности системы для (1) помощи пользователю в надлежащей калибровке доверия, (2) определения требований и отслеживания прогресса, и (3) выявления исследовательских потребностей. Здесь мы обсуждаем TCMM и демонстрируем ее на двух целевых задачах: использование ChatGPT для высокорискованного обнаружения ядерной науки.