Краткое содержание

Большинство команд говорят, что у них есть аудиторские журналы ИИ. Я не думаю, что это так. Обычно у них есть журналы приложений, журналы доступа или, возможно, история запросов (промптов). Этого недостаточно. В системах ИИ реальный инцидент — это обычно цепочка: запрос → извлеченный контекст → ответ модели → вызов инструмента → действие. Если вы не можете восстановить этот полный поток, у вас нет криминалистической видимости. У вас есть только фрагменты. Это становится реальной проблемой, когда что-то идет не так и никто не может ответить, какой именно запрос это вызвало, какие данные извлекла модель, что вернула модель, какое действие произошло дальше и можно ли вообще доверять самому журналу. Традиционное журналирование создавалось для событий. Инциденты ИИ — это цепочки взаимодействий. Вот в чем пробел. Интересно, как здесь решают этот вопрос люди. Вы действительно логируете всю цепочку в приложениях с большими языковыми моделями (LLM), или большинство команд все еще полагаются на стандартное журналирование приложений/SIEM и считают, что этого достаточно? Опубликовано пользователем /u/sunychoudhary [ссылка] [комментарии].