8のAI企業を支える、AIストレージクラウド

最先端のAIラボにマルチモーダル トレーニング データセットを提供するマルチ クラウド プラットフォーム

企業概要 分散ネットワークを運用し、公開Webコンテンツをペタバイト規模で収集する大規模Webデータ取得企業です。テキスト、動画、画像、音声を含むマルチモーダルデータセットをスクレイピング、クレンジング、キュレーションし、付加価値を高めたデータセットをLLM開発者やマルチモーダルAIラボに販売しています。

課題 スクレイピングしたマルチモーダルデータを、トレーニングデータ配信のピーク時に保存および提供するには、多くのストレージプラットフォームでは対応できない持続的かつ高いスループットが求められます。データライフサイクル上、稼働中の学習用にはホットストレージが、当面使わないデータにはアーカイブ階層が必要でした。同社のインフラは複数のクラウド環境に分散しており、高いスループットを保持するための最大規模のワークロードやデータ転送料金を支払い続けることができませんでした。

ソリューション サードパーティのGPUプロバイダーNebiusのコンピュートクラスタが、トレーニングデータ配信の稼働時間帯にWasabiのバケットから高いスループットで直接データを取得し、1日あたりペタバイト規模のデータを移動しています。Wasabiは下り転送料を課金しないため、これほど大量のデータを毎日コンピュートへ移動しても、ストレージ料金以外の追加費用は一切かかりません。

S3互換性により、移行にあたってパイプラインの変更は一切不要でした。同社は現在およそ150ペタバイトをWasabiに保管しており、さらに20ペタバイトをMicrosoft Azureから移行する方向で検討しています。ストレージが配信能力の制約要因になることがなく、プラットフォームは成長を続けています。

商用品質のテキスト→画像編集モデルを開発・構築するフロンティアAIラボ

企業概要 画像生成モデルを構築・ライセンス提供するAIラボです。オープンウェイトと独自の両方のモデルを開発し、APIや直接ライセンスを通じて提供しています。エンタープライズ契約は主要なクリエイティブソフトウェアプラットフォームや、コンシューマー向けアプリケーションに及びます。同社は画像生成分野の最前線で競争しており、近年は動画生成にも展開を広げています。

課題 このラボはMicrosoft Azure上に大量のホットなトレーニングデータを蓄積していましたが、高いコストとデータ移動に対する制約が、もはや持続不可能なものになっていました。ハイパースケーラーのエコシステム外のGPUプロバイダーを検討する中で、Microsoft Azureからの下り転送料金がGPUプロバイダの移行を非現実的なものとしていました。

ソリューション このラボには、既存のホットなトレーニングデータのみならず、将来的に無理なくスケールしていくことができる料金体系が必要でした。サードパーティのGPUコンピュートクラスタからの上り・下り両方のスループットテストを含む厳密なPOCにより、アカウントやバケットごとの帯域制限がないこと、そしてワークロードの拡大に伴う速度制限がないことが確認されました。同ラボは、POCおよび契約プロセスにおけるWasabiの対応の速さも、差別化要因として挙げています。

現在、トレーニングデータはMicrosoft AzureからWasabi Hot Cloud Storageへ、GPUもサードパーティのGPUインフラへの移行が進んでおります。同ラボは導入から最初の3か月で50ペタバイトのホットなトレーニングデータを移行。現在は175ペタバイトに達しつつあり、さらに拡大の余地があります。この移行により、主要なトレーニングデータにおけるハイパースケーラーへの依存が解消され、経済性が大きく改善しました。

ロボット基盤モデルのためのペタバイト規模の共有データレイク

企業概要 小売・製造・物流の現場から実世界の運用データを取得・統合する「ロボット データ エコシステム」を構築する、日本拠点の非営利団体です。同団体はこのデータを活用し、基盤モデルの開発と実世界へのロボット導入に向けたクロス ドメイン トレーニングを可能にしています。このエコシステムの中核には、生データをGPUクラスタやクラウド環境に分配するペタバイト規模のデータハブがあります。

課題 このデータハブは数十テラバイトを継続的にアップロードし、アップロード、ダウンロード、差分バックアップのチェック、オブジェクトの一覧取得といった膨大なAPI操作を中核的な利用パターンとしています。負担の大きいAPIリクエスト料に起因するハイパースケーラーの変動料金は、非営利団体の予算には合いませんでした。料金の予測可能性に加えて、チームは、どこか一部でもデータが失われれば学習に使えなくなるため、データライフサイクル全体を通じて完全性を保証できるプラットフォームを必要としていました。

ソリューション 高頻度のAPI操作こそがこの団体の日常的なストレージの使い方であるため、転送料無料・APIリクエスト料無料が決定的な違いを生みました。POCではWasabiのアップロード速度が検証され、アップロード・保存・取り出しの全サイクルを通じてデータが改変されないことが確認されました。Wasabiは利用が動的に拡大する中でも安定して稼働し続けています。同団体は他社と比較して1億円超の削減を見込んでおり、Wasabiに2.2ペタバイト超を保管し、その数字は今も増え続けています。