280名超のユーザーへSnowflakeを拡大しながら、全社にコスト意識を根付かせる
- 60%
- dbtパイプライン実行時間の短縮
- 280+
- Snowflakeの直接ユーザー数
経営層からの効率化要請を受けてウェアハウスを統合した結果、コストの可視性が失われ、処理コストに関する基本的な質問にすら答えられない状態になりました。Snowflake RSAが提供するダッシュボードは初歩的なもので、最適化の意思決定に必要なきめ細かなインサイトを得ることはできませんでした。
SELECTは、Airflowのタスクレベルにまで及ぶ包括的なクエリタグ付けにより、コストを即座に可視化し、統合後のウェアハウス基盤全体で正確なコスト配賦を可能にしました。直感的なインターフェースがコスト分析の手間を取り除き、Usage Groupsによって経営層向けレポートに必要な集計レベルのコストモニタリングも実現しました。
これまで使ったどのソフトウェアよりも優れたUI体験です。まるで頭の中を読まれているみたいで、「ああ、ここをクリックできたらいいのに」と思うと、本当にクリックできるんです。
Diana Koshy, Kargo データエンジニアリング担当シニアディレクター
KargoはSnowflakeをその登場当初から利用しており、同プラットフォームの最初期からの採用企業のひとつです。同社のアーキテクチャの中核は、サプライサイドプラットフォームの運用を担うマイクロサービス群から出力される膨大な生JSONログの処理にあります。プラットフォームでは、WebとCTVの広告チャネルにまたがるオークションデータと成果データを処理しています。成熟したSnowflakeユーザーであるKargoは、当初、ウェアハウスの分離によってコストを管理していました。マイクロサービスごとのログを専用ウェアハウスで処理することで、コストの内訳を把握できるようにしていたのです。しかし、このアプローチはリソース利用効率の面で非効率であることが明らかになりました。
Dianaが3年前に入社した当時、経営層はSnowflakeのコストを懸念しており、Snowflake RSAと協力して構成の最適化に取り組んでいました。その際の推奨事項が、リソース利用効率を改善するためのウェアハウス統合でした。統合により、稼働中のウェアハウスの使用率を最大化して効率は向上したものの、コストの内訳を把握する手段が失われました。マイクロサービス単位の可視性から、内訳のない一括の合計金額しか見えない状態になってしまったのです。Snowflake RSAは基本的なダッシュボードを提供しましたが、複雑で大量処理を行うパイプラインの最適化に必要な分析レベルには到底及びませんでした。
SELECTのAutomated Savings機能は導入直後から価値を発揮し、チームの手間を一切かけることなくKargoのLookerウェアハウスコストを30%削減、SELECTへの投資に対して即座に5倍のROIをもたらしました。この即効性のあるコスト削減はSELECTの費用を賄っただけでなく、従来のモニタリング手法では見えなかった最適化の機会を特定できるという、プラットフォームの価値を証明しました。
Kargoのチームは、パイプライン全体で包括的なクエリタグ付けを実施し、個々のAirflowタスクに至るまでタグを付与することで、統合後のウェアハウス基盤全体での正確なコスト配賦を可能にしました。このきめ細かなタグ付けにより、最もコストのかかっている処理パイプラインがすぐに判明しました。それは入札リクエストイベントで、想定をはるかに超える年間50万ドルのコストが発生していたのです。このインサイトを受けて、最もコストの高いworkloadsをSnowflakeからSparkでの処理へ移行するという戦略的なアーキテクチャ判断が可能になり、最もコストのかかる処理への取り組み方が根本から変わりました。
SELECTのUsage Groups機能は、複数のパイプラインとウェアハウスにまたがるコストを集計し、経営レベルのレポートを可能にすることで、レポーティング上の重要な課題を解決しました。Usage Groupsにより、関連するworkloadsをグループ化し、それらが複数のウェアハウスや処理パイプラインにまたがる場合でも、正確な集計コストを経営層に提示できるようになりました。「このターゲティング全体でいくらかかっているのか」といった質問にも、経営層は即座に答えを得られるようになったのです。
SELECTにより、データエンジニアリングチーム全体でコストインサイトの民主化が進み、各エンジニアが自身の最適化施策の効果を自ら追跡できるようになりました。このセルフサービス機能は、チームの最適化業務への取り組み方を一変させました。中央での分析を待つことなく、個々のメンバーがコストへの影響を可視化し、測定できるようになったのです。チームがデータパイプラインの体系的なリファクタリングを進める中で、SELECTは改善前後の比較に不可欠な可視性を提供し、最適化の成果を定量的に測定することを可能にしました。
SELECTがウェアハウスの無駄を削減し、可視性を高め、データコストのインサイトを行動につなげる方法をご覧ください。
“SELECT is a team favorite - its cost monitoring and auto savings give us peace of mind that our Snowflake spend is in check. The platform’s detailed insights across SQL queries, dbt, and Looker usage provides a comprehensive view into credit spend that is unmatched by other solutions. SELECT has helped us significantly optimize how we use Snowflake.”

“SELECT's app has become an invaluable resource to our company. It clearly breaks down our costs to allow us to focus on the most important areas of cost. SELECT has repeatedly surfaced inefficient common query patterns, and has helped us spot 200 TiB of unused tables to drop, resulting in continued significant cost savings. SELECT is always adding new features to help their customers better understand and reduce their spending. We can't recommend them highly enough!”

“I love clicking through SELECT to understand how our environment and workloads are evolving. I probably check it every day. It's coffee and SELECT for me every morning.”

“SELECT helps us quickly identify inefficient queries that consume unnecessary Snowflake credits, providing all the information we need in a single application. With the Automated Savings feature, we were able to allocate credits to new compute-intensive data projects.”

“This is the easiest thing we've ever done to save money - 20x ROI. Does this not exist for AWS?”

“SELECT provides our team with complete visibility into all aspects of our Snowflake bill and usage. Our team regularly uses SELECT to monitor costs and get alerted on key changes. The dbt & Looker integrations are also super helpful for identifying performance bottlenecks.”

“SELECT helped us monitor and reduce our overall Snowflake spend by almost 40%. The reporting showed me bottlenecks in minutes that would’ve otherwise taken weeks to dig through metadata and sort out. The 'Automated Savings' savings feature alone is saving us over $10k a month across our accounts, allowing us to bring on new workloads.”

“Before SELECT, we were blind to our Snowflake cost drivers. Minutes after install, we identified a single job that was driving over 20% of our costs. The instant visibility & not having to build & maintain our own monitoring makes a big difference for a lean team like ours.”
