То, что вы видите, не всегда то, что вы получаете: оценка понимания исходного кода моделью GPT
Краткое содержание
arXiv:2412.08098v3 Announce Type: replace-cross Аннотация: Последние исследования продемонстрировали выдающиеся способности больших языковых моделей (LLM) в решении задач программной инженерии, включая генерацию и анализ кода. Несмотря на значительный потенциал LLM в качестве инструмента поддержки программирования, данные модели уязвимы к атакам. В данной работе мы исследуем уязвимость LLM к незаметным атакам. Этот класс атак манипулирует исходным кодом на уровне символов, что делает изменения невидимыми для человека, но эффективно вводит LLM в заблуждение. Мы классифицируем эти атаки на четыре отдельные категории и анализируем их влияние на задачи анализа и понимания кода. Эти четыре типа незаметных символьных атак включают перестановку кода, невидимые символы в коде, удаление кода и гомоглифы кода. Чтобы оценить устойчивость передовых LLM, мы представляем систематическую оценку нескольких моделей с использованием как модифицированного, так и чистого кода.
Полный текст статьи пока не загружен.