Como a Kargo identificou uma oportunidade de economia de US$ 500 mil/ano e alcançou ROI de 5x com o SELECT

O SELECT trouxe visibilidade imediata de custos por meio de um tagueamento abrangente de queries até o nível de tarefa do Airflow, permitindo uma atribuição precisa de custos em toda a infraestrutura consolidada de warehouses. A interface intuitiva da plataforma eliminou o atrito na análise de custos, enquanto os usage groups permitiram o monitoramento agregado de custos para relatórios à liderança.

A Kargo usa o Snowflake desde o surgimento da plataforma, o que faz dela uma das primeiras empresas a adotá-la. Sua arquitetura é centrada no processamento de volumes massivos de logs JSON brutos de microsserviços que operam sua plataforma supply-side. A plataforma processa dados de leilões e de resultados em canais de publicidade web e CTV. Como usuária madura do Snowflake, a Kargo inicialmente gerenciava custos separando warehouses — logs de diferentes microsserviços eram processados em warehouses dedicados para permitir o detalhamento de custos. No entanto, essa abordagem se mostrou ineficiente no uso de recursos.

Quando Diana entrou na empresa, há três anos, a liderança estava preocupada com os custos do Snowflake e trabalhou com os RSAs do Snowflake para otimizar a configuração. A recomendação foi consolidar os warehouses para melhorar o aproveitamento de recursos. Embora a consolidação tenha aumentado a eficiência ao maximizar o uso de warehouses já em execução, ela eliminou a capacidade de visualizar o detalhamento de custos. As equipes passaram da visibilidade em nível de microsserviço para um valor único consolidado, sem nenhum insight granular. Os RSAs do Snowflake forneceram dashboards básicos, mas eles eram insuficientes para o nível de análise necessário para otimizar pipelines de processamento complexos e de alto volume.

O recurso Automated Savings do SELECT gerou valor na hora, reduzindo em 30% os custos de warehouse do Looker da Kargo sem nenhum esforço da equipe e proporcionando à Kargo um ROI imediato de 5x sobre o SELECT. Essa redução imediata de custos não só pagou o SELECT, como demonstrou o valor da plataforma em identificar oportunidades de otimização que não eram visíveis com abordagens tradicionais de monitoramento.

A equipe da Kargo implementou um tagueamento abrangente de queries em seus pipelines, chegando ao nível de tarefas individuais do Airflow para permitir a atribuição precisa de custos em toda a infraestrutura consolidada de warehouses. Esse tagueamento granular revelou de imediato o pipeline de processamento mais caro: eventos de bid request, que custavam US$ 500 mil por ano — muito mais do que o previsto. Esse insight viabilizou uma decisão estratégica de arquitetura: migrar o workload mais caro do Snowflake para processamento em Spark, mudando fundamentalmente a forma como a empresa lidava com suas operações mais custosas.

O recurso de usage groups do SELECT resolveu um desafio crítico de relatórios ao permitir a agregação de custos entre múltiplos pipelines e warehouses para relatórios de negócio em alto nível. Com os usage groups, a equipe passou a agrupar workloads relacionados e fornecer custos agregados precisos à liderança, mesmo quando esses workloads abrangiam vários warehouses e pipelines de processamento. A liderança agora obtinha respostas instantâneas para perguntas como "quanto está custando toda essa parte de targeting?"

O SELECT permitiu democratizar os insights de custo em toda a equipe de engenharia de dados, possibilitando que cada engenheiro acompanhasse de forma independente o impacto dos próprios esforços de otimização. Essa capacidade self-service transformou a forma como a equipe conduzia o trabalho de otimização, tornando o impacto nos custos visível e mensurável para cada colaborador, sem depender de análises centralizadas. Durante a refatoração sistemática dos pipelines de dados, o SELECT forneceu uma visibilidade crucial do antes e depois, permitindo medir o sucesso das otimizações.