Comment Kargo a identifié 500 000 $ d'économies par an et multiplié par 5 son ROI avec SELECT

SELECT a immédiatement restauré la visibilité sur les coûts grâce à un tagging complet des requêtes, jusqu'au niveau des tâches Airflow, permettant une attribution précise des coûts sur l'ensemble de l'infrastructure de warehouses consolidée. L'interface intuitive de la plateforme a éliminé toute friction dans l'analyse des coûts, tandis que les Usage Groups ont permis un suivi agrégé des coûts pour le reporting à destination de la direction.

Kargo utilise Snowflake depuis les débuts de la plateforme, ce qui en fait l'un de ses tout premiers utilisateurs. Son architecture repose sur le traitement de volumes massifs de logs JSON bruts issus des microservices qui alimentent sa plateforme supply-side. La plateforme traite les données d'enchères et de résultats sur les canaux publicitaires web et CTV. En utilisateur aguerri de Snowflake, Kargo gérait initialement ses coûts en séparant ses warehouses : les logs de chaque microservice étaient traités dans des warehouses dédiés afin de pouvoir ventiler les coûts. Cette approche s'est toutefois révélée inefficace en matière d'utilisation des ressources.

Lorsque Diana a rejoint l'entreprise il y a trois ans, la direction s'inquiétait des coûts Snowflake et a travaillé avec les RSA de Snowflake pour optimiser la configuration. Leur recommandation : consolider les warehouses pour améliorer l'utilisation des ressources. Si la consolidation a effectivement amélioré l'efficacité en maximisant l'usage des warehouses déjà actifs, elle a supprimé toute possibilité de ventiler les coûts. Les équipes sont passées d'une visibilité au niveau de chaque microservice à un montant global, sans aucun détail. Les RSA de Snowflake ont fourni des dashboards basiques, mais insuffisants pour le niveau d'analyse requis afin d'optimiser des pipelines de traitement complexes et à fort volume.

La fonctionnalité Automated Savings de SELECT a apporté de la valeur instantanément : une réduction de 30 % des coûts de warehousing Looker, sans le moindre effort de la part de l'équipe, et un ROI immédiat de 5x sur SELECT. Cette baisse de coûts a non seulement rentabilisé SELECT dès le départ, mais a aussi démontré la capacité de la plateforme à identifier des opportunités d'optimisation invisibles avec les approches de monitoring traditionnelles.

L'équipe Kargo a mis en place un tagging complet des requêtes sur l'ensemble de ses pipelines, jusqu'au niveau des tâches Airflow individuelles, afin d'attribuer précisément les coûts au sein de son infrastructure de warehouses consolidée. Ce tagging granulaire a immédiatement mis en lumière le pipeline de traitement le plus coûteux : les événements de bid request, qui représentaient 500 000 $ par an — bien plus que prévu. Cette découverte a conduit à une décision d'architecture stratégique : migrer ce workload, le plus onéreux, de Snowflake vers Spark, transformant en profondeur la gestion des opérations les plus coûteuses.

La fonctionnalité Usage Groups de SELECT a résolu un enjeu critique de reporting en permettant d'agréger les coûts de plusieurs pipelines et warehouses pour produire des rapports business de haut niveau. Les Usage Groups ont permis à l'équipe de regrouper des workloads liés et de communiquer des coûts agrégés fiables à la direction, même lorsque ces workloads s'étendaient sur plusieurs warehouses et pipelines de traitement. La direction pouvait désormais obtenir une réponse immédiate à des questions comme "combien nous coûte l'ensemble du ciblage ?"

SELECT a démocratisé l'accès aux insights de coûts au sein de l'équipe de data engineering, permettant à chaque ingénieur de suivre de manière autonome l'impact de ses efforts d'optimisation. Cette capacité de libre-service a transformé la façon dont l'équipe aborde l'optimisation : l'impact sur les coûts est devenu visible et mesurable pour chaque contributeur, sans nécessiter d'analyse centralisée. Lorsque l'équipe a entrepris une refonte systématique de ses pipelines de données, SELECT a fourni une visibilité avant/après essentielle pour mesurer le succès des optimisations.