翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

一般的なスケーリングの課題

データレイクは、最初のデプロイ後にデータが大きくなると、いくつかの段階を経ます。スケーラブルアーキテクチャを使用してデータレイクを設計しなかった場合、組織は課題に遭遇し、データレイクの成長によって不利になる可能性があります。

以下のセクションでは、一般的なデータレイクの成長がスケーリングの課題を引き起こす方法について説明します。

初期データレイクデプロイ

次の図は、基幹業務 A による最初のデプロイ後のデータレイクのアーキテクチャを示しています。

この図は、次のコンポーネントを示しています。

データコンシューマーの増加

次の図は、基幹業務 A のデータが増加すると、より多くのデータがデータレイクに取り込まれることを示しています。その後、データレイクはより多くのデータコンシューマーを惹きつけ、データを活用してデータから価値を得ます。

この図は、組織が既存のデータアセットからほぼ継続的な値を生成する方法と、より多くのデータコンシューマーを引き付ける方法を示しています。ただし、データコンシューマーが増加すると、データプロデューサーにはこの増加に対応するための次の 2 つのオプションしかありません。

データプロデューサーの増加

次の図は、複数の事業部門がデータプロデューサーとして参加する場合のデータレイクアーキテクチャを示しています。

データレイクのアーキテクチャは、3 つのデータプロデューサーと 3 つのデータコンシューマーだけでも、ますます複雑になります。

各データプロデューサーは、複数のデータコンシューマーのデータ共有とデータアクセス管理を処理する必要があります。すべてのデータプロデューサーがデータ共有とデータアクセス管理のための自動または半自動プロセスを開発することは現実的ではありません。一部のデータプロデューサーは、データを共有しないことを選択するため、コストがかからない管理オーバーヘッドを回避できます。同様に、各データコンシューマーは、さまざまなデータ消費プロセスを理解するために、複数のデータプロデューサーとやり取りする必要があります。つまり、個々のデータコンシューマーは、さまざまなデータ共有パターンを処理するための管理オーバーヘッドが増加します。

多くの組織では、このデータレイクはボトルネックを引き起こし、成長やスケールができません。これは、ボトルネックを取り除くために組織がデータレイクを再設計および再構築する必要があることを意味する場合があり、これには多大な時間、リソース、コストがかかる可能性があります。