Краткое содержание

arXiv:2305.11444v2 Тип объявления: замена-перекрёстная публикация Аннотация: Мы создали и бесплатно предоставили для академических исследований набор данных "NAIST Academic Travelogue Dataset" (ATD). Этот набор данных представляет собой японский текстовый корпус общим объемом более 31 миллиона слов, включающий 4672 японских внутренних путевых заметок и 9607 зарубежных путевых заметок. До предоставления нашего набора данных существовала нехватка общедоступных данных о путешествиях для исследовательских целей, при этом каждый исследователь был вынужден самостоятельно готовить свои данные. Это препятствовало воспроизведению существующих исследований и проведению справедливого сравнительного анализа экспериментальных результатов. Наш набор данных позволяет любому исследователю проводить исследования на одних и тех же данных, обеспечивая прозрачность и воспроизводимость в исследованиях. В данной статье мы описываем научную значимость, особенности и перспективы использования нашего набора данных.