HomeChef controló los costos de Snowflake y creó una cultura de conciencia de costos en su equipo de analítica

SELECT brindó visibilidad inmediata de los costos e insights de optimización que las herramientas internas de HomeChef no ofrecían. La configuración tomó solo 30 minutos. La profunda integración de SELECT con dbt y su desglose completo de costos permitieron al equipo identificar rápidamente oportunidades de optimización de alto impacto en sus más de 1,200 modelos de dbt, a la vez que les dio la visibilidad que antes lograban con dashboards personalizados.

HomeChef migró de EMR a Snowflake hace cinco años. Al principio lo usaba para alimentar dashboards de Looker con actualizaciones batch diarias de dbt, lo que les dio una configuración estable y económica. Todo cambió cuando HomeChef empezó a usar Snowflake para operar cada vez más workloads operativos. Pasaron de ejecutar consultas una vez al día a hacerlo cada 15 minutos. Cuando se hacen muchos upserts en tablas de churn, el gasto en Snowflake puede subir muy rápido. Prácticamente de un día para otro, tuvieron un aumento de un orden de magnitud.

Antes de SELECT, HomeChef construyó su monitoreo interno de costos mediante la recolección incremental del historial de consultas, la segregación de warehouses para rastrear el gasto por entorno de dbt y dashboards personalizados en Looker. La solución interna funcionaba para el monitoreo rutinario, pero se volvía problemática cuando surgían problemas nuevos. Agregar funciones implicaba abrir PRs para sumar nuevas dimensiones a las tablas y nuevas métricas a los dashboards, mientras que el análisis ad-hoc era lento debido a la compleja estructura de metadatos de Snowflake. La inercia y la fricción eran altas. A medida que se ampliaba el conjunto de funciones que usaban dentro de Snowflake, en la práctica debían aprender un nuevo dataset esotérico cada vez.

Cuando los costos se dispararon, HomeChef necesitaba visibilidad inmediata sobre qué estaba disparando el gasto. En apenas 30 minutos ya estaban operando con SELECT. El profundo conocimiento que SELECT tiene del ecosistema de dbt y su visibilidad completa de los costos hicieron que la transición fuera fluida y eliminaron la necesidad de soluciones internas.

HomeChef logró reducciones significativas de costos al abordar primero los problemas de almacenamiento (con un ahorro del 20%) y luego usar SELECT para identificar oportunidades de optimización de rendimiento por un 40% adicional. Con más de 1,200 modelos de dbt, identificar objetivos de optimización de forma manual habría sido imposible. El desglose de costos y los insights de rendimiento de SELECT permitieron al equipo enfocar sus esfuerzos donde tendrían el máximo impacto. SELECT funcionó tanto como su herramienta para identificar objetivos como su panóptico de monitoreo para las optimizaciones de rendimiento.

SELECT transformó el enfoque de HomeChef: de apagar incendios de forma reactiva a monitorear proactivamente. Devin ahora comienza cada jornada con una revisión rápida de SELECT. Se prepara un café, mira los pipelines y luego revisa SELECT. Le toma dos o tres minutos hacerse una idea de lo que está pasando cada día en su entorno de Snowflake. Esta rutina permite detectar a tiempo anomalías, nuevos workloads y picos de costos antes de que se conviertan en problemas mayores. Puede ver cómo cambia el uso a lo largo del tiempo, lo que les avisa si hay nuevos casos de uso que no habían anticipado y permite que el equipo de business analytics trabaje directamente con esos usuarios finales.

Quizás el cambio cultural más significativo fue que los analytics engineers comenzaron a considerar la optimización durante el desarrollo y no después del despliegue. En sesiones de trabajo conjunto apoyadas en los insights de SELECT, el equipo en general aprendió principios de optimización de consultas. Ahora los analytics engineers optimizan el rendimiento de forma proactiva antes de enviar sus pull requests. Los AEs ahora avisan de antemano: 'oigan, este va a salir caro', y dicen 'bajé el tiempo de ejecución de X a Y antes de abrir el PR porque sabía que esta función de ventana me iba a matar'. Igual de importante: SELECT también ayuda a decidir cuándo no optimizar, lo que evita esfuerzo innecesario en modelos de bajo impacto.