280名超のユーザーへSnowflakeを拡大しながら、全社にコスト意識を根付かせる
- 60%
- dbtパイプライン実行時間の短縮
- 280+
- Snowflakeの直接ユーザー数
The Challenge
HomeChefは5年間、安定したコストでSnowflakeを利用し、主に日次バッチ分析を支えてきました。しかし運用ワークロードの追加に伴い、コストは15倍に急増。コスト監視用に自社開発したLookerダッシュボードは日常的なニーズには対応できたものの、新たな問題には弱く、アドホックな分析には多大な労力を要していました。
The Solution
SELECTは、HomeChefの社内ツールでは得られなかったコストの可視化と最適化インサイトを即座に提供しました。セットアップはわずか30分。dbtとの深い連携と詳細なコスト内訳により、1,200以上のdbtモデルからインパクトの大きい最適化機会を素早く特定でき、これまでカスタムダッシュボードを構築して実現していた可視性も同時に手に入りました。
Results
- SELECTで特定したストレージ最適化とパフォーマンス改善により60%を削減
- 分析エンジニアが開発段階でクエリを最適化するなど、コスト意識を上流へシフト
- 手間のかかる自社開発の監視ツールと手作業のコスト分析ワークフローを廃止
- Snowflakeアカウント全体をわずか2〜3分で確認できる日次コスト監視の習慣を確立
SELECTは、私とPaulが18か月間部屋にこもって理想の監視ツールを作り上げたとしたら、まさにこうなっていただろうというものです。
Devin McGee, Home Chef データエンジニアリングリード
運用ワークロードの増加でSnowflakeコストが急騰
HomeChefは5年前にEMRからSnowflakeへ移行し、当初は日次のdbtバッチ更新でLookerダッシュボードを動かす、安定的でコスト効率の高い構成でした。状況が一変したのは、Snowflakeでより多くの運用ワークロードを動かし始めてからです。クエリの実行頻度は1日1回から15分ごとに。チャーンテーブルで大量のupsertを行うと、Snowflakeの支出は一気に膨らみます。ほぼ一夜にして、支出はおよそ10倍に跳ね上がりました。
複雑化とともに限界を迎えた自社開発の監視
SELECT導入以前、HomeChefはクエリ履歴の増分収集、dbt環境別の支出を追跡するためのウェアハウス分離、カスタムのLookerダッシュボードによって社内でコスト監視の仕組みを構築していました。この自社開発の仕組みは日常的な監視には機能したものの、新たな問題が発生すると対応が困難でした。機能追加のたびにテーブルへのディメンション追加やダッシュボードへのメジャー追加をプルリクエストで反映する必要があり、Snowflakeの複雑なメタデータ構造のためアドホック分析にも時間がかかりました。変更のハードルと手間は大きく、Snowflake内で利用する機能が増えるたびに、事実上、新たな難解なデータセットを一から学び直すことになっていました。
わずか30分でSELECTの利用を開始
コストが急騰したとき、HomeChefには支出の要因を即座に把握する手段が必要でした。SELECTはわずか30分で稼働開始。dbtエコシステムへの深い理解と包括的なコストの可視化により移行はスムーズに進み、自社開発ツールは不要になりました。
SELECTを活用した的を絞った最適化で60%を削減
HomeChefはまずストレージの問題に対処して20%を削減し、続いてSELECTでパフォーマンス最適化の機会を特定してさらに40%を削減しました。1,200以上のdbtモデルを抱えるなか、最適化対象を手作業で特定するのは不可能だったでしょう。SELECTのコスト内訳とパフォーマンスインサイトにより、チームは最大の効果が見込める部分に注力できました。SELECTは、最適化対象を特定するツールであると同時に、パフォーマンス最適化を一望できる監視基盤としての役割も果たしました。
日次モニタリングが生む先回りのコスト文化
SELECTは、HomeChefのアプローチを事後対応の火消しから先回りのモニタリングへと変えました。Devinは今、毎朝SELECTの確認から1日を始めます。コーヒーを淹れ、パイプラインを眺め、SELECTをチェック。2〜3分でその日のSnowflake環境の状況を把握できます。この習慣により、異常や新しいワークロード、コストの急増を大きな問題になる前に早期発見できます。利用状況の経時変化も確認できるため、想定していなかった新しいユースケースがあればすぐに分かり、ビジネス分析チームがそのエンドユーザーと直接連携できるようになりました。
コスト意識が開発チームの上流へ
最も大きな文化的変化は、分析エンジニアがデプロイ後ではなく開発段階で最適化を考えるようになったことかもしれません。SELECTのインサイトを使ったペアリングセッションを通じて、チーム全体がクエリ最適化の原則を学びました。今では分析エンジニアがプルリクエストを出す前に自らパフォーマンスを最適化しています。「これはコストがかかりそうだ」と事前に共有し、「このウィンドウ関数が重くなると分かっていたので、PRを出す前に実行時間をXからYまで短縮した」と報告するようになりました。同様に重要なのは、SELECTが「最適化すべきでない」場面の判断も助け、効果の薄いモデルへの無駄な労力を防いでいる点です。
SELECTがデータチームを加速する仕組みを見る
SELECTがウェアハウスの無駄削減、可視性の向上、データコストのインサイト活用をどのように支援するかをご覧ください。
More customer stories
年間50万ドルの削減機会を発見、SELECTで5倍のROIを実現したKargoの事例
- 5X
- ROI
- 30%
- Lookerウェアハウスコスト削減率
- $500K/year
- 特定された単一イベント処理コスト
チームに最適なコスト管理ツールを。EntainがSnowflakeコストを35%削減できた理由
- 35%
- Snowflakeコスト削減率
- 50%
- データパイプラインのコスト削減率
- $200K
- データ取り込みの年間削減額
コストが膨らむ前に。ClickUpが実践したSnowflakeの先回りFinOps戦略
280名超のユーザーへSnowflakeを拡大しながら、全社にコスト意識を根付かせる
- 60%
- dbtパイプライン実行時間の短縮
- 280+
- Snowflakeの直接ユーザー数
年間50万ドルの削減機会を発見、SELECTで5倍のROIを実現したKargoの事例
- 5X
- ROI
- 30%
- Lookerウェアハウスコスト削減率
- $500K/year
- 特定された単一イベント処理コスト
チームに最適なコスト管理ツールを。EntainがSnowflakeコストを35%削減できた理由
- 35%
- Snowflakeコスト削減率
- 50%
- データパイプラインのコスト削減率
- $200K
- データ取り込みの年間削減額
コストが膨らむ前に。ClickUpが実践したSnowflakeの先回りFinOps戦略
Customer Love.Supercharging thousands of data cloud users.
Read more customer love“SELECT is a team favorite - its cost monitoring and auto savings give us peace of mind that our Snowflake spend is in check. The platform’s detailed insights across SQL queries, dbt, and Looker usage provides a comprehensive view into credit spend that is unmatched by other solutions. SELECT has helped us significantly optimize how we use Snowflake.”
Dan CorcoranSenior Data Engineering Manager at Gopuff
“SELECT's app has become an invaluable resource to our company. It clearly breaks down our costs to allow us to focus on the most important areas of cost. SELECT has repeatedly surfaced inefficient common query patterns, and has helped us spot 200 TiB of unused tables to drop, resulting in continued significant cost savings. SELECT is always adding new features to help their customers better understand and reduce their spending. We can't recommend them highly enough!”
Sean AbrahamSenior Principal Software Engineer at VideoAmp
“I love clicking through SELECT to understand how our environment and workloads are evolving. I probably check it every day. It's coffee and SELECT for me every morning.”
Ian FaheySenior Analytics Engineer at Loop
“SELECT helps us quickly identify inefficient queries that consume unnecessary Snowflake credits, providing all the information we need in a single application. With the Automated Savings feature, we were able to allocate credits to new compute-intensive data projects.”
Jessica FranksData Engineering Manager at NOTHS
“This is the easiest thing we've ever done to save money - 20x ROI. Does this not exist for AWS?”
Skyler ChiSVP, GTM Productivity & Excellence at Exiger
“SELECT provides our team with complete visibility into all aspects of our Snowflake bill and usage. Our team regularly uses SELECT to monitor costs and get alerted on key changes. The dbt & Looker integrations are also super helpful for identifying performance bottlenecks.”
Jonathan TalmiSenior Data Engineering Manager at Super
“SELECT helped us monitor and reduce our overall Snowflake spend by almost 40%. The reporting showed me bottlenecks in minutes that would’ve otherwise taken weeks to dig through metadata and sort out. The 'Automated Savings' savings feature alone is saving us over $10k a month across our accounts, allowing us to bring on new workloads.”
Garrett McClintockAnalytics Engineering Manager at Heap
“Before SELECT, we were blind to our Snowflake cost drivers. Minutes after install, we identified a single job that was driving over 20% of our costs. The instant visibility & not having to build & maintain our own monitoring makes a big difference for a lean team like ours.”
Erik WebbHead of Data at Clair
