HomeChef bekam die Snowflake-Kosten in den Griff – und stärkte zugleich das Kostenbewusstsein im Analytics-Team

SELECT lieferte sofort die Kostentransparenz und Optimierungseinblicke, die HomeChefs interne Tools nicht bieten konnten. Die Einrichtung dauerte nur 30 Minuten. Dank der tiefen dbt-Integration und der detaillierten Kostenaufschlüsselung konnte das Team in über 1.200 dbt-Modellen schnell die wirkungsvollsten Optimierungschancen identifizieren – mit einer Transparenz, für die zuvor eigene Dashboards gebaut werden mussten.

HomeChef migrierte vor fünf Jahren von EMR zu Snowflake und nutzte die Plattform zunächst, um Looker-Dashboards mit täglichen dbt-Batch-Updates zu versorgen – ein stabiles und kosteneffizientes Setup. Das änderte sich grundlegend, als HomeChef begann, immer mehr operative Workloads über Snowflake abzuwickeln. Statt einmal täglich liefen Queries nun alle 15 Minuten. Bei vielen Upserts auf Churn-Tabellen können die Snowflake-Ausgaben sehr schnell steigen – die Kosten erhöhten sich praktisch über Nacht um eine ganze Größenordnung.

Vor SELECT hatte HomeChef ein internes Kostenmonitoring aufgebaut: inkrementelles Auswerten der Query-Historie, getrennte Warehouses zur Kostenverfolgung der dbt-Umgebungen und eigene Looker-Dashboards. Für die Routineüberwachung funktionierte die Eigenbau-Lösung, bei neuen Problemen wurde sie jedoch zum Hindernis. Neue Funktionen erforderten Pull Requests für zusätzliche Dimensionen in Tabellen und Kennzahlen in Dashboards, und Ad-hoc-Analysen waren aufgrund der komplexen Metadatenstruktur von Snowflake langsam. Trägheit und Reibungsverluste waren hoch. Mit jedem neuen Snowflake-Feature musste das Team faktisch einen weiteren, schwer zugänglichen Datensatz von Grund auf verstehen.

Als die Kosten in die Höhe schossen, brauchte HomeChef sofort Transparenz darüber, was die Ausgaben trieb. Innerhalb von 30 Minuten war SELECT einsatzbereit. Das tiefe Verständnis von SELECT für das dbt-Ökosystem und die umfassende Kostentransparenz machten den Umstieg nahtlos – und die Eigenbau-Lösungen überflüssig.

HomeChef erzielte deutliche Kostensenkungen, indem zunächst Speicherprobleme behoben wurden (20 % Einsparung) und anschließend mit SELECT Performance-Optimierungen mit weiteren 40 % Einsparpotenzial identifiziert wurden. Bei über 1.200 dbt-Modellen wäre es unmöglich gewesen, Optimierungsziele manuell zu finden. Die Kostenaufschlüsselung und Performance-Einblicke von SELECT ermöglichten es dem Team, die Anstrengungen genau dort zu bündeln, wo sie die größte Wirkung entfalten. SELECT diente dabei sowohl zur Identifikation der Optimierungsziele als auch als zentrales Kontrollinstrument für Performance-Optimierungen.

SELECT hat HomeChefs Herangehensweise von reaktivem Feuerlöschen zu proaktivem Monitoring gewandelt. Devin beginnt jeden Arbeitstag mit einem kurzen Blick in SELECT: Er holt sich seinen Kaffee, prüft die Pipelines und öffnet dann SELECT. In zwei bis drei Minuten verschafft er sich täglich einen Überblick über das gesamte Snowflake-Setup. Diese Routine ermöglicht es, Anomalien, neue Workloads und Kostenspitzen frühzeitig zu erkennen, bevor daraus größere Probleme werden. Er sieht, wie sich die Nutzung im Zeitverlauf verändert, und erkennt unerwartete neue Anwendungsfälle – sodass das Business-Analytics-Team direkt mit den jeweiligen Nutzern zusammenarbeiten kann.

Die vielleicht wichtigste kulturelle Veränderung: Analytics Engineers denken Optimierung nun schon während der Entwicklung mit – nicht erst nach dem Deployment. In Pairing-Sessions mit SELECT-Einblicken lernte das gesamte Team die Grundprinzipien der Query-Optimierung. Heute optimieren die Analytics Engineers die Performance proaktiv, bevor sie Pull Requests einreichen. Die AEs sagen inzwischen von sich aus: "Achtung, das wird teuer" oder "Ich habe die Laufzeit von X auf Y gesenkt, bevor ich den PR gestellt habe, weil ich wusste, dass mir diese Window Function zum Verhängnis wird." Ebenso wichtig: SELECT zeigt auch, wann sich eine Optimierung nicht lohnt – und verhindert so vergebliche Arbeit an Modellen mit geringem Einsparpotenzial.