Может ли существующая модель трансформера быть модифицирована для оценки следующего наиболее вероятного числа в последовательности чисел? Задать вопрос

Задано 4 года, 9 месяцев назад Изменено сегодня Просмотрено 407 раз

Задано 4 года, 9 месяцев назад

1 $\begingroup$ Модели на основе архитектур трансформеров (GPT, BERT и т.д.) отлично работают для задач NLP, включая получение входных данных, сгенерированных словами, и выдачу вероятностных оценок следующего слова в качестве вывода. Может ли существующая модель трансформера, такая как GPT-2, быть модифицирована для выполнения той же задачи на последовательности чисел и оценки следующего наиболее вероятного числа? Если да, то какие изменения нам нужно внести (все еще ли необходимо обучать токенизатор для токенизации целых/дробных чисел в ID токенов)? трансформер attention bert gpt прогнозирование Улучшить этот вопрос Следить за редактированием 29 марта 2021 г. в 10:38 nbro 43,2 тыс. 14 14 золотые значки 121 121 серебряные значки 222 222 бронзовые значки задано 28 марта 2021 г. в 3:17 Nyxynyx 119 2 2 бронзовые значки $\endgroup$ 1 $\begingroup$ Вы спрашиваете, может ли архитектура GPT-2 быть обучена с нуля для выполнения задачи прогнозирования следующего числа или вы спрашиваете, может ли обученная модель GPT-2 выполнять числовое прогнозирование без дополнительной настройки? Mariusmarten – Mariusmarten 2022-08-22 07:50:23 +00:00 Комментировано 22 августа 2022 г. в 7:50 Добавить комментарий | 1 Ответ 1 Отсортировано по: Сбросить по умолчанию Наивысший балл (по умолчанию) Измененная дата (от новых к старым) Созданная дата (от старых к новым) 0 $\begingroup$ Чтобы ответить на этот вопрос, необходимо установить некоторые ограничения для задачи. Вот несколько последовательностей чисел. Ни одна из машинных обучающих техник не ожидается, что она сможет их выучить: нечетные числа, простые числа, выраженные в виде цифр, но перечисленные в алфавитном порядке по имени на немецком языке, числа, перечисленные в лексическом порядке обратного представления в базе 3 телефонные номера в Манхэттенском справочнике, перечисленные в алфавитном порядке по подписку $\endgroup$ Улучшить этот ответ Следить за ответом Отвечено 29 марта 2021 г. в 15:59 chrishmorris 181 2 2 бронзовые значки $\endgroup$ 5 $\begingroup$ Будет ли Mixture of Experts (Mixture of Experts) en.wikipedia.org/wiki/Mixture_of_experts подходящим инструментом для решения этой ситуации? Jaume Oliver Lafont – Jaume Oliver Lafont 2022-08-22 08:25:12 +00:00 Комментировано 22 августа 2022 г. в 8:25 1 $\begingroup$ Нет. Множество всех последовательностей целых чисел является счетным бесконечностью. Даже множество вычислимых последовательностей чисел велико и трудно обрабатывается. Как и любая другая задача машинного обучения, прогресс зависит от предварительных знаний. Вот подмножество проблемы, которое сложно, но не невозможно, и которое связано с работой Колмогорова: последовательность чисел выводится программой, а короткие программы считаются более вероятными, чем длинные программы. При заданных первых N членах, где N велико по сравнению с ожидаемой длиной программы, предсказать (N+1)-й член. $\endgroup$ chrishmorris – chrishmorris 2022-08-23 10:47:38 +00:00 Комментировано 23 августа 2022 г. в 10:47 $\begingroup$ Нечетные числа очень просты: x(n)=2n+1. Если мы используем x(n)=x(n-1)+2, это включает и четные числа. Если мы используем x(n)=2x(n-1)-x(n-2), то это все арифметические последовательности. $\endgroup$ Jaume Oliver Lafont – Jaume Oliver Lafont 2022-08-23 17:38:37 +00:00 Комментировано 23 августа 2022 г. в 17:38 1 $\begingroup$ Да, но эта последовательность не проста: 3,5,7. Это не нечетные числа >1? Или это простые числа >2? Или начало 3,5,7,3,5,7,3,5,7,... или любое другое из бесконечного числа вычислимых последовательностей с этим префиксом? $\endgroup$ chrishmorris – chrishmorris 2022-08-25 07:22:27 +00:00 Комментировано 25 августа 2022 г. в 7:22 $\begingroup$ Самая простая модель для нечетных чисел >1 — линейная рекурренция второго порядка. С порядком 3 можно получить 3,5,7,3,5,7... x(n)=x(n-3). Никакой линейной модели для простых чисел. Пример, который сводит меня с ума - это 1,2,... Самый простой интерпретируемый вариант — счетные числа или степени 2? Каждый ребенок начинает ассоциировать это начало со счетными числами x(n)=2x(n-1)-x(n-2), но порядок линейной рекуррентности для