← Вернуться к списку

Впервые вожусь с локальными большими языковыми моделями (Gemma 4.0 и Ollama)

Краткое содержание

У меня был ноутбук с 8 ГБ ОЗУ, и до сих пор я не имел возможности поиграться с локальными большими языковыми моделями (LLM). С выпуском Gemma 4.0 всё изменилось. Отличная вещь в запуске локальной LLM то, что вы не платите за токены, и ничто никогда не покидает вашу локальную машину. Но до сих пор, чтобы запускать это таким образом, вам требовался довольно приличный ПК для работы даже с самыми маленькими моделями. Для моего приложения вы даёте Gemma запрос (промпт), и она создаёт фигуры за вас. Она всё ещё допускает много ошибок и далеко не идеальна, но я собрал всю эту штуку менее чем за 15 минут. Вот ссылка на репозиторий, если кто-нибудь захочет посмотреть: https://gitlab.com/adamtoth445/gemma4babylonjs#submitted by/u/AncientAdamo[link][comments]

Полный текст статьи пока не загружен.