Краткое содержание

arXiv:2506.16444v2 Тип объявления: замена Аннотация: Большие языковые модели (LLM) сталкиваются с фундаментальной проблемой: их знания ограничены данными, на которых они были обучены. Для преодоления этой проблемы метод дополненного извлечения (Retrieval-Augmented Generation — RAG) дополняет статические знания LLM, полученные во время обучения, внешним хранилищем знаний. RAG включает три этапа: индексирование, извлечение и генерацию. Этап извлечения становится значительным узким местом в конвейерах вывода. В данном этапе запрос пользователя преобразуется в векторное представление, после чего алгоритм приближённого поиска ближайших соседей (Approximate Nearest Neighbors Search — ANNS) ищет похожие векторы в базе данных для определения релевантных элементов. Из-за больших размеров баз данных ANNS вызывает значительные накладные расходы на перемещение данных между хост-системой и системой хранения. Чтобы снизить эти издержки, предыдущие работы предлагают методы обработки внутри хранилища (In-Storage Processing — ISP), ускоряющие ANNS путём выполнения вычислений непосредственно в памяти накопителя. Однако существующие подходы, использующие ISP...