Краткое содержание

arXiv:2511.14630v1 Тип объявления: кросс Аннотация: Генерация и отбор научных идей требуют исследования в соответствии с целевой вероятностной функцией распределения. В отличие от этого, современные эталонные тесты для ИИ имеют объективно правильные ответы, а обучение больших языковых моделей (LLM) методом подкрепления на основе этих тестов препятствует вероятностному исследованию. Здесь мы провели систематические эксперименты, в которых просили большие языковые модели генерировать выходные данные, следуя простым вероятностным распределениям, и обнаружили, что все протестированные современные LLM существенно не соответствуют этим распределениям. Например, запрос бинарного вывода «1» 49% времени приводит к ответу «0» почти в 100% случаев. Такое поведение типа ступенчатой функции, при котором практически исключительно генерируется вывод с незначительно наибольшей вероятностью, даже подавляет сильные встроенные смещения современных LLM.