Краткое содержание

Я занимаюсь созданием автоматизаций на базе ИИ около года, в основном для малого бизнеса. Такие вещи, как чат-боты, потоки классификации, обработка документов — такой тип работы. Первые несколько месяцев у меня была почти нулевая видимость. Я создавал и внедрял системы, а в конце месяца просто смотрел на панель управления OpenAI, чтобы увидеть общую стоимость. Я понятия не имел, какие агенты были дорогими или какие промпты были неэффективными. Это стало реальной проблемой, когда счет одного клиента подскочил с 180 до 420 долларов всего за один месяц. Я даже не мог объяснить, почему это произошло, что было откровенно расстраивающим. Тогда я решил отслеживать всё. Каждый вызов API, какая модель использовалась, количество токенов, задержка и стоимость. Я настроил простой прокси между своими приложениями и поставщиками услуг только для логирования данных. Примерно через 30 дней закономерности стали очень очевидными. Около 40 процентов запросов к GPT-4o обрабатывали задачи, которые могли легко решить гораздо более дешевые модели. Простая классификация, краткое изложение, базовое решение «да/нет».