Краткое содержание

Недавно я несколько дней работал с ChatGPT, чтобы понять, как работают LLM в некоторой степени практических деталей (а также провел дополнительное чтение в интернете). Я суммировал свое общее понимание здесь (LinkedIn). По сути, я узнал, что для "преобразования входного текстового запроса в генерируемый текст" используется 3 шага: кодирование входного текстового запроса в числа, преобразование чисел с помощью различных статистических функций и генерация следующего токена/слова. Затем это повторяется для каждого слова, которое генерируется в выходных данных (по-видимому). Так что, по сути, ChatGPT и другие LLM, похоже, преобразуют текстовые запросы в плотный список векторов (десятичные числа), что, кажется, неточно отражает иерархическую/ассоциативную/граф-подобную природу ментальных концепций/мыслей. Как новые исследования или техники могут вместо этого предложить подход, который все еще использует числовые векторы, но делает это иерархически, без сглаживания? Существуют ли какие-либо перспективные/новые/потенциальные техники, которые изучаются? Я спрашиваю, потому что у меня