HomeChef domou os custos do Snowflake e elevou a consciência de custos em todo o time de analytics

O SELECT trouxe visibilidade de custos imediata e insights de otimização que as ferramentas internas da HomeChef não ofereciam. A configuração levou apenas 30 minutos. A integração profunda do SELECT com o dbt e o detalhamento completo de custos permitiram que o time identificasse rapidamente oportunidades de otimização de alto impacto em seus mais de 1.200 modelos dbt, com a visibilidade que antes exigia a criação de dashboards personalizados.

A HomeChef migrou do EMR para o Snowflake há cinco anos, inicialmente para alimentar dashboards no Looker com atualizações diárias em batch via dbt — um cenário estável e econômico. Tudo mudou quando a HomeChef começou a usar o Snowflake para executar cada vez mais workloads operacionais. Eles passaram de consultas uma vez ao dia para consultas a cada 15 minutos. Quando se fazem muitos upserts em tabelas de churn, o gasto com Snowflake pode subir muito rápido. Praticamente da noite para o dia, houve um aumento de uma ordem de grandeza.

Antes do SELECT, a HomeChef montou um monitoramento de custos interno com coleta incremental do histórico de consultas, segregação de warehouses para rastrear gastos por ambiente dbt e dashboards personalizados no Looker. A solução caseira funcionava para o monitoramento de rotina, mas se tornava problemática diante de questões novas. Adicionar recursos exigia abrir PRs para incluir novas dimensões nas tabelas e métricas nos dashboards, enquanto análises ad-hoc eram lentas por conta da estrutura complexa de metadados do Snowflake. A inércia e o atrito eram grandes. À medida que o conjunto de recursos usados no Snowflake se expandia, na prática eles precisavam aprender um novo dataset obscuro a cada vez.

Quando os custos dispararam, a HomeChef precisava de visibilidade imediata sobre o que estava gerando os gastos. Em 30 minutos, o SELECT já estava rodando. O profundo entendimento do SELECT sobre o ecossistema dbt e a visibilidade completa de custos tornaram a transição tranquila, eliminando a necessidade de soluções internas.

A HomeChef alcançou reduções significativas de custos ao resolver primeiro problemas de armazenamento (economizando 20%) e, em seguida, usar o SELECT para identificar oportunidades de otimização de performance que renderam mais 40%. Com mais de 1.200 modelos dbt, identificar alvos de otimização manualmente seria impossível. O detalhamento de custos e os insights de performance do SELECT permitiram que o time concentrasse esforços onde o impacto seria máximo. O SELECT funcionou tanto como ferramenta de identificação de alvos quanto como panóptico de monitoramento das otimizações de performance.

O SELECT transformou a abordagem da HomeChef: de apagar incêndios de forma reativa para um monitoramento proativo. Devin agora começa todos os dias de trabalho com uma revisão rápida no SELECT. Ele pega seu café, olha os pipelines e depois confere o SELECT. Em dois a três minutos, ele tem uma noção do que está acontecendo no ambiente Snowflake todos os dias. Essa rotina permite detectar cedo anomalias, novos workloads e picos de custo antes que virem problemas sérios. Ele consegue ver mudanças de uso ao longo do tempo, o que revela se há novos casos de uso não previstos — e permite que o time de analytics de negócios trabalhe diretamente com esses usuários finais.

Talvez a mudança cultural mais significativa tenha sido os engenheiros de analytics passarem a considerar a otimização durante o desenvolvimento, e não depois do deploy. Em sessões de pareamento com os insights do SELECT, o time como um todo aprendeu princípios de otimização de consultas. Agora, os engenheiros de analytics otimizam a performance de forma proativa antes de abrir pull requests. Os AEs já avisam de antemão: "olha, esse aqui vai sair caro", e dizem "reduzi o tempo de execução de X para Y antes de abrir o PR porque sabia que essa window function ia me matar". Igualmente importante, o SELECT ajuda a decidir quando não otimizar, evitando esforço desperdiçado em modelos de baixo impacto.