Краткое содержание

arXiv:2411.02671v2 Тип объявления: replace Аннотация: Возникающая способность крупных языковых моделей (LLM) к контекстному обучению (in-context learning, ICL) стимулировала их применение для прогнозных задач в различных областях с разными типами данных, включая табличные данные, благодаря методам сериализации. Однако с увеличением числа применений в высокорисковых областях было показано, что LLM могут унаследовать социальные предубеждения и дискриминацию из своих предобучающих данных. В данной работе мы исследуем внутреннюю предвзятость LLM в процессе контекстного обучения с табличными данными. Мы сосредотачиваемся на подходе к оптимальному выбору демонстраций, который использует латентные концептуальные переменные для эффективной с точки зрения ресурсов адаптации к задаче. Мы разрабатываем стратегии аугментации данных, которые уменьшают корреляцию между прогнозными результатами и чувствительными переменными, способствуя обеспечению справедливости в процессе обучения латентным концепциям. Мы используем изученную концепцию для выбора демонстраций и получения справедливых прогнозов. Латентные концептуальные переменные изучаются с использованием меньшей