Краткое содержание

arXiv:2511.08225v1 Тип объявления: кросс Аннотация: По мере возрастающего использования учителями генеративного ИИ в образовательной практике нам необходимы надёжные методы оценки больших языковых моделей (LLM) для педагогических целей. В данной статье представлен основанный на эмбеддингах подход к бенчмаркингу для выявления предвзятости в LLM применительно к формирующей обратной связи. Используя корпус из 600 подлинных студенческих эссе из набора данных AES 2.0, мы создали контролируемые контрфактические ситуации по двум направлениям: (i) скрытые сигналы через лексико-семантическое замещение гендерных терминов внутри эссе и (ii) явные сигналы посредством включения гендерной принадлежности автора в подсказке. Мы исследовали шесть репрезентативных LLM-моделей (например, GPT-5 мини, GPT-4o мини, DeepSeek-R1, DeepSeek-R1-Qwen, Gemini 2.5 Pro, Llama-3-8B). Сначала мы количественно оценили расхождение реакций с помощью косинусного и евклидова расстояний между векторными представлениями предложений, затем проверили значимость результатов методом перестановочных тестов и, наконец, визуализировали структуру с использованием методов понижения размерности. Во всех моделях манипуляции с имплицитными сигналами...