Краткое содержание

Итак, я только что закончил разработку платформы, направленной на упрощение и улучшение области распределения затрат, атрибуции и анализа. Представьте использование данных от агентов для предоставления структурированных метрик затрат, которые можно запрашивать и анализировать для генерации инсайтов, прогнозов и атрибуций. Да, я знаю об OpenCost и KubeCost; в этой области есть другие инструменты. Помимо того, что это очень интересный проект, мне интересно, не стал ли я жертвой избыточного проектирования (over-engineering). Разработка программного обеспечения с опытом работы в области платформенной инженерии заставляет вас исправлять вещи, которые вы видите «неправильными» каждый день. Но обратная сторона — а не усложнил ли ты всё? В любом случае, не углубляясь в детали, я разработал путь записи данных (write path), который выглядит примерно так: Agent/operator -> ingest edge -> backend ingester -> dragonfly queue -> processor -> clickhouse. Ingest edge — это воркер Cloudflare, а бэкенд-приложения работают все в Kubernetes. По всему стеку используются gRPC и Protobuf, и публичного доступа нет благодаря использованию cloudflar