Краткое содержание

arXiv:2403.04483v4 Тип объявления: замена Аннотация: Повышение общих возможностей больших языковых моделей (LLM) является актуальной темой исследований. Поскольку графовые структуры данных являются распространённым форматом во многих реальных областях, понимание графов играет ключевую роль в развитии общего интеллекта. В этой статье мы предлагаем динамическую тестовую платформу под названием GraphInstruct, которая охватывает 21 классическую задачу по обработке графов и предоставляет разнообразные конвейеры генерации графов с подробными промежуточными шагами рассуждений для каждого образца. На основе GraphInstruct мы разработали GraphSolver посредством эффективного обучения на инструкциях, который демонстрирует выдающиеся способности к пониманию графов по сравнению с другими открытыми LLM-моделями. Для дальнейшего наделения LLM многошаговыми возможностями обработки графов мы предлагаем стратегию меток-маскирования и создаем GraphSolver+, который использует маскированное обучение на токенах промежуточных рассуждений, чтобы подчеркнуть ключевые сигналы идентификации узлов. Являясь одним из пионерских усилий по улучшению...