Краткое содержание

arXiv:2504.12982v2 Тип объявления: замена Аннотация: Распространение больших языковых моделей (LLM) существенно продвинуло развитие интеллектуальных систем. К сожалению, LLM часто сталкиваются с конфликтами знаний между внутренней памятью и извлекаемой внешней информацией, возникающими вследствие дезинформации, предвзятости или устаревших знаний. Эти конфликты снижают надежность ответов и вносят неопределенность в процесс принятия решений. В данной работе мы исследуем, каким образом большие языковые модели разрешают конфликты знаний с точки зрения теории информации, показывая, что когда противоречивая и дополняющая информация значительно различаются, LLM уверенно определяют свои предпочтения и уменьшают неопределённость во время формирования ответа. Когда же различия являются двусмысленными, LLM испытывают значительную неопределенность относительно своего вывода. Основываясь на данном наблюдении, мы предлагаем Swin-VIB — новую архитектуру, объединяющую последовательность моделей вариационного информационного бутылочного горлышка для адаптации извлечённой информации...