Краткое содержание

Привет, я полный новичок на Реддите, так что извините, если делаю что-то не то. Я изучаю ИИ с нуля и решил задокументировать это в виде 30-дневного путешествия — одна концепция каждый день, объясненная максимально просто. Это не для тех, кто уже знает эту тему, а только для полных новичков, которые хотят понять, как ИИ работает "под капотом". Сегодня я узнал о токенизации — по сути, о том, как ИИ читает ваш текст. Оказывается, он вообще не читает слова. Он разбивает всё на более мелкие части, называемые токенами, и преобразует их в числа. Это буквально всё, что он видит. Я подумал, что это довольно круто, поэтому сделал по этому поводу короткий визуальный материал. Если кто-то проходит похожее обучение или просто любопытен, буду рад, если вы последуете за мной — я буду публиковать одну новую концепцию каждый день в течение следующих 30 дней: https://youtube.com/shorts/TzPW-wrE0nMA Любые отзывы приветствуются, всё ещё разбираюсь! submitted by/u/Mountain-Goat8428[link][comments]