Come Kargo ha individuato 500.000 $/anno di risparmi e ottenuto un ROI 5X con SELECT

SELECT ha fornito visibilità immediata sui costi grazie a un tagging completo delle query, fino al livello dei singoli task Airflow, consentendo un'attribuzione precisa dei costi sull'infrastruttura di warehouse consolidata. L'interfaccia intuitiva della piattaforma ha eliminato ogni attrito nell'analisi dei costi, mentre gli usage groups hanno reso possibile il monitoraggio aggregato dei costi per il reporting alla leadership.

Kargo utilizza Snowflake fin dalla sua nascita, il che ne fa uno dei primi adopter della piattaforma. La sua architettura si basa sull'elaborazione di enormi volumi di log JSON grezzi provenienti dai microservizi che gestiscono le operazioni della sua supply-side platform. La piattaforma elabora dati relativi alle aste e ai loro esiti sui canali pubblicitari web e CTV. In quanto utente Snowflake maturo, Kargo inizialmente gestiva i costi separando i warehouse: i log dei diversi microservizi venivano elaborati in warehouse dedicati per consentire la ripartizione dei costi. Questo approccio, tuttavia, si è rivelato inefficiente in termini di utilizzo delle risorse.

Quando Diana è entrata in azienda tre anni fa, la leadership era preoccupata per i costi di Snowflake e ha lavorato con gli RSA di Snowflake per ottimizzare la configurazione. La raccomandazione è stata il consolidamento dei warehouse per migliorare l'utilizzo delle risorse. Se da un lato il consolidamento ha migliorato l'efficienza massimizzando l'uso dei warehouse già attivi, dall'altro ha eliminato la possibilità di vedere la ripartizione dei costi. I team sono passati dalla visibilità a livello di microservizio a un'unica cifra complessiva, senza alcun insight granulare. Gli RSA di Snowflake hanno fornito dashboard di base, inadeguate però al livello di analisi necessario per ottimizzare pipeline di elaborazione complesse e ad alto volume.

La funzionalità Automated Savings di SELECT ha fornito valore immediato, riducendo del 30% i costi di warehousing Looker di Kargo senza alcuno sforzo da parte del team e garantendo a Kargo un ROI 5X immediato su SELECT. Questa riduzione immediata dei costi non solo ha ripagato SELECT, ma ha dimostrato il valore della piattaforma nell'individuare opportunità di ottimizzazione non visibili con gli approcci di monitoraggio tradizionali.

Il team di Kargo ha implementato un tagging completo delle query sulle proprie pipeline, fino ai singoli task Airflow, per consentire un'attribuzione precisa dei costi sull'infrastruttura di warehouse consolidata. Questo tagging granulare ha rivelato subito la pipeline di elaborazione più costosa: gli eventi di bid request, che costavano 500.000 $ l'anno, molto più del previsto. Questo insight ha reso possibile una decisione architetturale strategica: spostare il workload più costoso da Snowflake all'elaborazione su Spark, cambiando radicalmente l'approccio alle operazioni più onerose.

La funzionalità usage groups di SELECT ha risolto un problema critico di reporting, consentendo l'aggregazione dei costi su più pipeline e warehouse per il reporting di business ad alto livello. Gli usage groups hanno permesso al team di raggruppare workloads correlati e fornire alla leadership costi aggregati accurati, anche quando questi workloads erano distribuiti su più warehouse e pipeline di elaborazione. La leadership poteva così ottenere risposte immediate a domande come "quanto ci costa l'intero sistema di targeting?"

SELECT ha democratizzato gli insight sui costi all'interno del team di data engineering, permettendo ai singoli engineer di monitorare in autonomia l'impatto dei propri interventi di ottimizzazione. Questa capacità self-service ha trasformato il modo in cui il team affrontava il lavoro di ottimizzazione, rendendo l'impatto sui costi visibile e misurabile per i singoli contributor, senza bisogno di analisi centralizzate. Durante il refactoring sistematico delle pipeline di dati, SELECT ha fornito una visibilità prima/dopo fondamentale per misurare il successo delle ottimizzazioni.