Как извлечь параметры из текста с помощью ИИ/NLP Задать вопрос

Задано 5 лет, 1 месяц назад Изменено сегодня Просмотрено 928 раз

Задано 5 лет, 1 месяц назад

1 $\begingroup$ Допустим, у меня есть три текста: "создать заголовок, который говорит hello word", "создать заголовок hello world", "создать заголовок, состоящий из hello world". Как я могу извлечь эти группы слов с помощью ИИ, которые относятся к заголовку, т.е. hello world в данном случае. Какие фреймворки или библиотеки ИИ могут это сделать? Во всех примерах заголовок указывает на hello world (которую я называю группой слов). В принципе, я хочу эти слова, которые являются частью заголовка, или другими словами, между ними существует связь. Еще один пример, который я могу привести, это "Я смотрю Breaking bad", так что существует связь между просмотром и Breaking bad, и я хочу извлечь, что вы смотрите. Какой лучший подход? Нужно ли мне обучать модель для этого, или есть какие-либо другие техники, которые могут справиться с этим? нейронные сети машинное обучение сверточные нейронные сети обработка естественного языка понимание естественного языка Поделиться Улучшить этот вопрос Следить Редактировано 13 января 2021 г. в 16:43 Задано 13 января 2021 г. в 13:34 ukasha sohail 11 3 3 бронзовых значка $\endgroup$ 4 1 $\begingroup$ Пожалуйста, объясните более четко. Что вы подразумеваете под «извлечением этих групп слов»? У вас уже есть слова. Зачем вам нужно больше слов? Что, по-вашему, ИИ должен для вас делать? $\endgroup$ Brian O'Donnell – Brian O'Donnell 2021-01-13 13:49:14 +00:00 Комментировал 13 января 2021 г. в 13:49 1 $\begingroup$ во всех примерах заголовок указывает на hello world (которую я называю группой слов). В принципе, я хочу эти слова, которые являются частью заголовка, или другими словами, между ними существует связь. Еще один пример, который я могу привести, это "Я смотрю Breaking bad", так что существует связь между просмотром и Breaking bad, и я хочу извлечь, что вы смотрите. Надеюсь, я стал понятнее. Спасибо за потраченное время. $\endgroup$ ukasha sohail – ukasha sohail 2021-01-13 15:47:16 +00:00 Комментировал 13 января 2021 г. в 15:47 $\begingroup$ Здравствуйте, @ukasha, не могли бы вы обновить свой вопрос, включив детали, которые вы только что предоставили — это может помочь вам получить больше ответов $\endgroup$ mark mark – mark mark 2021-01-13 16:01:07 +00:00 Комментировал 13 января 2021 г. в 16:01 $\begingroup$ Spacy — это библиотека машинного обучения для (среди прочего) анализа лингвистической зависимости и предлагает решения для распознавания именованных сущностей (т.е. поиска имен или заголовков, таких как "Breaking Bad", которые относятся к какой-либо сущности). Вы можете использовать как предварительно обученные модели, так и обучать собственные модели. Поэтому эта библиотека может предложить то, что вы ищете. $\endgroup$ Daniel B. – Daniel B. 2021-01-14 01:47:25 +00:00 Комментировал 14 января 2021 г. в 1:47 Добавить комментарий | 2 ответа 2 Сортировка по: Сбросить к настройкам по умолчанию Наивысший балл (по умолчанию) Дата изменения (новейшая сначала) Дата создания (самая ранняя сначала) 0 $\begingroup$ Я думаю, вы ищете PLSA для PLSA, либо вы определяете эти темы (категории) с помощью EM или NNMF. Лично я рекомендую NNMF или вы можете использовать LDA, который является байесовской версией PLSA. Вот код для PLSA: https://github.com/Man-ash/Probabilistic-Latent-semantic-analysis, в котором используется NNMF для метода EM. Я написал его сам, но не уверен, правильно ли это. https://stackoverflow.com/questions/65783880/problem-about-m-step-in-probabilistic-latent-semantic-analysis-with-code Поделиться Улучшить этот ответ Следить Отвечено 21 января 2021 г. в 9:56 Linear Algebra fans 1 1 1 бронзовый значок $\endgroup$ Добавить комментарий | 0 $\begingroup$ Вы также можете сформулировать свою проблему как разрешение ко-ссылок. Попробуйте библиотеку neuralcoref от Huggingface. Поделиться Улучшить этот ответ Следить Редактировано 20 февраля 2021 г. в 18:20 Отвечено 20 февраля 2021 г. в 17:50 Abhishek Verma 878 4 4 серебряных значка 6 6 бронзовых значков $\endgroup$ 1 $\begingroup$ Я заметил, что вы предоставляете много коротких ответов. Иногда ответ не должен быть длиннее 1-2 строк, но это редкость. Обратите внимание, что я не говорю, что длинные ответы плохи.