Краткое содержание

arXiv:2511.06575v1 Тип объявления: кросс Аннотация: Большие языковые модели (LLM) недавно появились в роли планировщиков для агентов, управляемых языком, генерируя последовательности действий для выполнения задач естественного языка. Однако их надежность остается проблемой, особенно в задачах с длительным горизонтом планирования, поскольку такие модели часто выдают излишне уверенные, но неверные результаты. Метод конформного прогнозирования (CP) был использован для решения этой проблемы путем помещения выходных данных LLM в наборы предсказаний, содержащие правильное действие с заданной пользователем уверенностью. Если набор предсказания состоит из одного элемента, планировщик выполняет данное действие; иначе он запрашивает помощь у человека. Это привело к созданию основанных на LLM-планировщиков, способных гарантировать правильность плана с вероятностью, определяемой пользователем. Тем не менее, поскольку LLM обучаются без учета неопределенности и без осознания набора предсказаний, они склонны создавать чрезмерно большие наборы, особенно при высоких уровнях уверенности, что приводит к частым вмешательствам человека, ограничивающим автономность.