HomeChef maîtrise ses coûts Snowflake et sensibilise toute son équipe analytics aux coûts

SELECT a apporté une visibilité immédiate sur les coûts et des pistes d'optimisation que les outils internes de HomeChef ne fournissaient pas. La mise en place n'a pris que 30 minutes. Grâce à son intégration poussée avec dbt et à sa ventilation détaillée des coûts, l'équipe a pu identifier rapidement les optimisations à fort impact parmi plus de 1 200 modèles dbt, tout en bénéficiant de la visibilité qu'elle devait auparavant construire elle-même via des dashboards sur mesure.

HomeChef a migré d'EMR vers Snowflake il y a cinq ans, d'abord pour alimenter des dashboards Looker avec des mises à jour batch quotidiennes via dbt — une configuration stable et économique. Tout a changé lorsque HomeChef a commencé à utiliser Snowflake pour un nombre croissant de workloads opérationnels. L'équipe est passée de requêtes exécutées une fois par jour à des requêtes toutes les 15 minutes. Avec de nombreux upserts sur des tables de churn, les dépenses Snowflake peuvent grimper très vite : les coûts ont été multipliés par dix pratiquement du jour au lendemain.

Avant SELECT, HomeChef avait construit son suivi des coûts en interne : collecte incrémentale de l'historique des requêtes, séparation des warehouses pour suivre les dépenses par environnement dbt et dashboards Looker sur mesure. Cette solution maison suffisait pour le monitoring courant, mais devenait problématique dès qu'un nouveau problème surgissait. Ajouter des fonctionnalités impliquait des pull requests pour intégrer de nouvelles dimensions dans les tables et de nouvelles mesures dans les dashboards, tandis que les analyses ad hoc étaient lentes en raison de la structure complexe des métadonnées Snowflake. L'inertie et les frictions étaient fortes. À mesure que l'équipe exploitait de nouvelles fonctionnalités de Snowflake, elle devait à chaque fois apprivoiser un nouveau jeu de données ésotérique.

Lorsque les coûts ont explosé, HomeChef avait besoin d'une visibilité immédiate sur l'origine des dépenses. En 30 minutes, SELECT était opérationnel. Sa connaissance approfondie de l'écosystème dbt et sa visibilité complète sur les coûts ont rendu la transition fluide — et les solutions maison superflues.

HomeChef a d'abord réduit ses coûts en s'attaquant aux problèmes de stockage (20 % d'économies), puis a utilisé SELECT pour identifier des optimisations de performance représentant 40 % supplémentaires. Avec plus de 1 200 modèles dbt, identifier manuellement les cibles d'optimisation aurait été impossible. La ventilation des coûts et les analyses de performance de SELECT ont permis à l'équipe de concentrer ses efforts là où l'impact serait maximal. SELECT a servi à la fois d'outil d'identification des cibles et de tour de contrôle pour le suivi des optimisations de performance.

SELECT a fait passer HomeChef d'une gestion réactive des urgences à un monitoring proactif. Devin commence désormais chaque journée de travail par un rapide passage en revue de SELECT : il prend son café, jette un œil aux pipelines, puis consulte SELECT. Deux à trois minutes lui suffisent chaque jour pour savoir ce qui se passe dans leur environnement Snowflake. Cette routine permet de détecter très tôt les anomalies, les nouveaux workloads et les hausses de coûts, avant qu'ils ne deviennent des problèmes majeurs. Il peut suivre l'évolution de l'utilisation dans le temps et repérer les nouveaux cas d'usage non anticipés, ce qui permet à l'équipe business analytics d'échanger directement avec les utilisateurs concernés.

Le changement culturel le plus marquant est sans doute que les analytics engineers intègrent désormais l'optimisation dès le développement, et non après le déploiement. Grâce à des sessions en binôme appuyées par les analyses de SELECT, l'ensemble de l'équipe s'est approprié les principes d'optimisation des requêtes. Les analytics engineers optimisent maintenant les performances de manière proactive avant de soumettre leurs pull requests. Ils préviennent d'emblée : "attention, celle-ci va coûter cher", ou précisent : "j'ai réduit le temps d'exécution de X à Y avant d'ouvrir la PR, parce que je savais que cette fonction de fenêtrage allait me pénaliser". Tout aussi important, SELECT aide à savoir quand ne pas optimiser, évitant ainsi des efforts inutiles sur des modèles à faible impact.