Краткое содержание

arXiv:2411.00034v2 Тип объявления: замена Аннотация: Компании поддерживают своих клиентов посредством живых чатов и чат-ботов, чтобы завоевать их лояльность. Компания AFAS — нидерландская компания, стремящаяся воспользоваться возможностями больших языковых моделей (LLM), позволяющими отвечать на запросы клиентов практически без участия команды поддержки. Дополнительную сложность представляет тот факт, что неясно, какие критерии делают ответ правильным, особенно применительно к голландскому языку. Более того, при наличии минимального объема данных для обучения возникает задача определить правильность ответа, генерируемого большой языковой моделью, причем сделать это оперативно. Настоящее исследование впервые определяет корректность ответа исходя из того, каким образом команда технической поддержки компании AFAS принимает решения. Оно основывается на литературе по естественным языковым технологиям генерации текста и автоматизированным системам оценки ответов, направленным на автоматизацию процесса принятия решений командой клиентской поддержки. Мы исследовали вопросы, предполагающие бинарный ответ (например, Возможно ли вручную изменить налоговые ставки?), либо инструкции (например, Как бы вы поступили...).