Краткое содержание

arXiv:2511.07413v1 Тип анонса: кросс Аннотация: Агенты ИИ, способные управлять пользовательскими интерфейсами, обладают потенциалом преобразовать взаимодействие человека с цифровыми устройствами. Для ускорения данного преобразования необходимы два фундаментальных компонента: высококачественные наборы данных, позволяющие агентам достигать сложных и значимых для людей целей, а также надёжные методы оценки, обеспечивающие исследователям и практикам возможность быстро улучшать производительность агентов. В данной статье мы представляем DigiData — масштабный, качественный, разнообразный мультимодальный набор данных, предназначенный для тренировки мобильных управляющих агентов. В отличие от существующих наборов данных, цели которых выводятся из неструктурированных взаимодействий, DigiData тщательно разработан путём всестороннего исследования особенностей приложений, что обеспечивает большую разнообразие и сложность поставленных целей. Дополнительно мы предлагаем DigiData-Bench — бенчмарк для оценки производительности мобильных управляющих агентов на реальных комплексных задачах. Мы показываем, что широко используемая метрика точности шагов оказывается недостаточной...