500.000 $ Einsparpotenzial pro Jahr aufgedeckt – und sofort 5-facher ROI mit SELECT

SELECT schaffte sofort Kostentransparenz durch umfassendes Query-Tagging bis hinunter auf Airflow-Task-Ebene und ermöglichte so eine präzise Kostenzuordnung über die konsolidierte Warehouse-Infrastruktur hinweg. Die intuitive Oberfläche nahm der Kostenanalyse jede Hürde, während Usage Groups ein aggregiertes Kostenmonitoring für das Reporting an die Führungsebene ermöglichten.

Kargo nutzt Snowflake seit den Anfängen der Plattform und zählt damit zu den frühesten Anwendern. Die Architektur basiert auf der Verarbeitung riesiger Mengen roher JSON-Logs aus Microservices, die den Betrieb der Supply-Side-Plattform abwickeln. Verarbeitet werden Auktions- und Ergebnisdaten über Web- und CTV-Werbekanäle hinweg. Als erfahrener Snowflake-Nutzer steuerte Kargo die Kosten zunächst über getrennte Warehouses – die Logs verschiedener Microservices liefen in dedizierten Warehouses, um Kostenaufschlüsselungen zu ermöglichen. Dieser Ansatz erwies sich jedoch bei der Ressourcennutzung als ineffizient.

Als Diana vor drei Jahren einstieg, war die Führungsebene besorgt über die Snowflake-Kosten und arbeitete mit den Snowflake-RSAs an einer Optimierung des Setups. Die Empfehlung lautete: Warehouse-Konsolidierung für eine bessere Ressourcennutzung. Die Konsolidierung steigerte zwar die Effizienz, indem bereits laufende Warehouses maximal ausgelastet wurden – doch die Möglichkeit, Kosten aufzuschlüsseln, ging verloren. Statt Transparenz auf Microservice-Ebene gab es nur noch eine Pauschalsumme ohne granulare Einblicke. Die Snowflake-RSAs stellten einfache Dashboards bereit, doch diese reichten für die Analysetiefe nicht aus, die zur Optimierung der komplexen, datenintensiven Processing-Pipelines nötig war.

Die Automated-Savings-Funktion von SELECT brachte sofortigen Mehrwert: Die Looker-Warehousing-Kosten von Kargo sanken um 30 % – ganz ohne Aufwand für das Team – und bescherten Kargo auf Anhieb einen 5-fachen ROI auf die Investition in SELECT. Diese unmittelbare Kostensenkung refinanzierte nicht nur SELECT, sondern zeigte auch, wie die Plattform Optimierungspotenziale aufdeckt, die mit herkömmlichen Monitoring-Ansätzen unsichtbar blieben.

Das Kargo-Team implementierte umfassendes Query-Tagging über alle Pipelines hinweg – bis hinunter zu einzelnen Airflow-Tasks –, um Kosten präzise über die konsolidierte Warehouse-Infrastruktur hinweg zuzuordnen. Dieses granulare Tagging machte sofort die teuerste Processing-Pipeline sichtbar: Bid-Request-Events, die jährlich 500.000 $ kosteten – weit mehr als erwartet. Diese Erkenntnis ermöglichte eine strategische Architekturentscheidung: Der teuerste Workload wurde von Snowflake zu Spark verlagert – ein grundlegender Wandel im Umgang mit den kostenintensivsten Operationen.

Die Usage-Groups-Funktion von SELECT löste eine zentrale Reporting-Herausforderung: Kosten lassen sich über mehrere Pipelines und Warehouses hinweg für das Business-Reporting aggregieren. Mit Usage Groups konnte das Team zusammengehörige Workloads bündeln und der Führungsebene präzise Gesamtkosten liefern – selbst wenn diese Workloads mehrere Warehouses und Processing-Pipelines umfassten. Die Führungsebene erhielt nun sofortige Antworten auf Fragen wie "Was kostet uns dieses ganze Targeting eigentlich?"

SELECT demokratisierte die Kosteneinblicke im gesamten Data-Engineering-Team: Einzelne Engineers konnten die Wirkung ihrer Optimierungsmaßnahmen eigenständig nachverfolgen. Dieser Self-Service-Ansatz veränderte die Herangehensweise an Optimierungsarbeit grundlegend – Kosteneffekte wurden für einzelne Teammitglieder sichtbar und messbar, ohne dass eine zentrale Analyse nötig war. Beim systematischen Refactoring der Daten-Pipelines lieferte SELECT die entscheidende Vorher-Nachher-Transparenz, mit der sich der Optimierungserfolg messen ließ.