元ネタ: Unveiling Modern Data Architecture: From Warehouses to Meshes | by Mirko Peters | Mar, 2024 | Mirko Peters — Data &amp

目次：

• 現代のデータアーキテクチャの公開：ウェアハウスからメッシュへ

• モダンデータウェアハウスの時代へ

• データレイクハウス と デルタレイク

• データメッシュの実装

現代のデータアーキテクチャの公開：ウェアハウスからメッシュへ

現代のデータアーキテクチャの変革的な景観についてのレポートです。データウェアハウス、データレイク、データメッシュがビジネスが情報を管理する方法を再定義しています。この文書では、各モデルの統合方法と独自の利点について説明します。

データウェアハウス vs. データレイク

データウェアハウス：報告とデータクリーニングを容易に

データウェアハウスは、1つ以上のソースからの構造化されたデータを集約する中央リポジトリであり、トランザクション処理よりもクエリと分析を目的として設計されています。データウェアハウスの主な利点の1つは、報告とデータクリーニングを容易にすることです。

• 報告: データウェアハウスは複雑なクエリと報告に最適化されています。異なるソースからのデータを1つのリポジトリに集約することで、データアナリストは報告のための情報に簡単にアクセスし、分析することができます。

• データクリーニング: データがデータウェアハウスに格納される前に、データ品質を確保するためにETL（抽出、変換、ロード）プロセスを経ます。これには、生データを標準化された形式にクリーニングおよび変換する作業が含まれ、分析や報告が容易になります。

データレイク：迅速なクエリと調査のために

一方、データレイクは、必要になるまでその生の形式で膨大な量のデータを保持するストレージリポジトリです。データレイクは迅速なクエリと調査を目的として設計されています。

• 迅速なクエリ: データレイクでは、生データの迅速かつ柔軟なクエリが可能です。ユーザーは、事前の繰り返し処理が不要で、元の形式のデータにアクセスして分析することができるため、探索的分析に最適です。

• 調査: データレイクはデータの探索をサポートし、データサイエンティストがデータの中に隠れたパターンや洞察を見つけることを可能にします。データをその生の状態で保持することで、組織はデータをより深く掘り下げ、洞察と革新を生み出すことができます。

データレイクの利点

組織のデータアーキテクチャの一部としてデータレイクを使用することには、いくつかの利点があります。

1. スケーラビリティ: データレイクは水平方向にスケーリングでき、増大するデータ量に対応するための費用対効果の高い解決策を提供します。

2. 柔軟性: データレイクは様々なデータタイプを格納でき、構造化されたデータ、半構造化されたデータ、非構造化データを含む幅広いデータタイプに対応し、さまざまなデータ分析要件に対応できます。

3. コスト効率: データレイクはデータをそのままの形式で保存することにより、高額なデータ変換プロセスの必要性を排除し、全体的なストレージコストを削減します。

4. リアルタイム分析: データレイクはリアルタイム分析をサポートし、データが生成されると同時にデータから洞察を得ることができるため、迅速な意思決定を促進します。

アーキテクチャにおけるデータレイクとデータウェアハウスの統合

多くの組織が、データレイクとデータウェアハウスを組み合わせることでハイブリッドアプローチを採用しています。この統合により、両技術の利点が提供されます：

• データ変換: データレイクからの生データは、構造化されたクエリとレポートのためにデータウェアハウスに変換およびロードされることができます。

• データガバナンス: データウェアハウスは強力なデータガバナンス機能を提供し、データ品質、セキュリティ、コンプライアンスを確保し、これらはデータレイクアーキテクチャにも拡張できます。

• 最適化されたワークフロー: データレイクとデータウェアハウスの強みを活用することで、組織は異なるユーザーグループのニーズに対応する最適化されたデータワークフローを作成できます。

追加機能のためのデータファブリック (Data Fabric) の紹介

データファブリックは、組織全体でデータの統一的かつ統合されたビューを提供することを目指す新しいコンセプトです。これは、データレイクやデータウェアハウスなどの異なるデータソースを接続し、シームレスなデータアクセスと管理を可能にするレイヤーとして機能します。

• データ仮想化: データファブリックは、さまざまなソースからデータを仮想化し、データを物理的に移動したり複製したりすることなく、ユーザーに統一的なビューを提供することができます。

• データオーケストレーション: データファブリックは、異なるデータプラットフォーム間でデータフローと処理タスクを調整することで、データの一貫性と効率を確保することができます。

• データセキュリティ: データファブリックは、データアクセスと管理を一元化することで、一貫したアクセス制御と監視機能を実装することで、データセキュリティを向上させます。

データファブリックをデータアーキテクチャに組み込むことで、組織はデータウェアハウスやデータレイクの機能をさらに強化し、データ管理と分析に対する包括的なアプローチを可能にすることができます。

モダンデータウェアハウスの時代へ

データ管理の世界では、モダンデータウェアハウスが組織がデータを収集し、保存し、処理し、分析する方法を変えてきました。この進化は、データの取り込み、保存、変換、モデリング、可視化、そしてデータレイクハウスなどの概念の導入を含むいくつかの段階によって特徴付けられています。さらに、Azureなどのクラウドプラットフォームの利用への移行は、モダンデータアーキテクチャを変え、組織がデータインフラストラクチャを設計する際に特定のユースケースを適用するようにしました。

データ取り込み

データ取り込みは、データウェアハウスプロセスの最初の段階であり、さまざまなソースからの生データが収集され、倉庫に取り込まれて保管および分析される過程です。この段階では、運用データベース、アプリケーション、IoTデバイスなどからデータを抽出することが含まれます。データの正確性、完全性、およびタイムリー性を確保することが重要です。データ取り込みの一般的な方法には、バッチ処理、リアルタイムストリーミング、および変更データのキャプチャがあります。

データ保管

データが取り込まれたら、効率的なクエリと分析が可能な構造化された形式で保管する必要があります。現代のデータウェアハウスにおけるデータ保管は、リレーショナルデータベース、NoSQLデータベース、データレイク、データウェアハウスの利用が一般的です。組織は、データのボリューム、速度、多様性、信頼性などの要因を考慮して、データに適した保管ソリューションを選択する必要があります。

データ変換

データ変換とは、生データをクリーニングし、豊かにし、構造化して分析に適したものにするプロセスです。このフェーズには、データのクレンジング、正規化、重複排除、データの豊かさを高めるためのデータラングリングやETL（抽出、変換、ロード）プロセスなどのタスクが含まれます。データ変換の目標は、データが正確で一貫性があり、モデリングや可視化の準備が整っていることです。

データモデリング

データモデリングは、データウェアハウスプロセスにおける重要なフェーズであり、データが分析とレポーティングを容易にするために整理され構造化されます。このフェーズには、データモデル、スキーマ、およびデータがウェアハウス内でどのように保存およびアクセスされるかを定義する関係を含みます。一般的なデータモデリング技術には、関係モデリング、次元モデリング、エンティティリレーションシップモデリングがあります。

データの可視化

データの可視化は、チャート、グラフ、ダッシュボードなどの視覚的表現によって複雑なデータを変換することで、現代のデータウェアハウスで重要な役割を果たします。可視化ツールにより、ステークホルダーはデータの洞察を簡単に解釈し、トレンドやパターンを特定し、情報に基づいた意思決定を行うことができます。効果的なデータの可視化は、組織全体でのデータのストーリーテリングとコミュニケーションを向上させます。

データレイクハウスコンセプトの紹介

データレイクハウスコンセプトは、データレイクとデータウェアハウスの強みを組み合わせたハイブリッドアーキテクチャです。データレイクの拡張可能なストレージと処理能力をデータウェアハウスの構造化クエリとパフォーマンス最適化と統合します。このアプローチにより、組織は構造化および非構造化データを統一環境で保存および分析し、より包括的かつ柔軟なデータ分析を可能にします。

データレイクにのみ依存することのリスク

データレイクは大容量の生データを格納するための拡張性とコスト効率を提供しますが、データレイクにのみ依存することはデータ品質の問題、ガバナンスの不足、複雑なデータ処理要件などの課題を引き起こす可能性があります。組織はデータレイクをデータの墓場として扱ったり、データカタログやメタデータ管理を無視したり、データレイクのメンテナンスの努力を過小評価するなどの一般的な誤りを避ける必要があります。

データアーキテクチャの特定のユースケースの考慮

現代のデータアーキテクチャを設計する際、組織はビジネス目標に合致するアーキテクチャを確保するために特定のユースケースを考慮する必要があります。顧客分析、財務報告、サプライチェーンの最適化、予防保守などのユースケースでは、独自のデータ要件と分析ニーズに対応するカスタマイズされたデータソリューションが必要です。特定のユースケースを理解することで、組織は実用的な洞察を提供し、ビジネス価値を生み出すデータアーキテクチャを設計できます。

データレイクハウス と デルタレイク

デルタレイクがリレーショナルデータベースの機能を追加してデータレイクを強化

デルタレイクは、通常リレーショナルデータベースで見られる機能を取り入れることで、従来のデータレイクを強化する上で重要な役割を果たしています。ACIDトランザクション、スキーマの強制、およびインデックス機能を導入することで、デルタレイクはユーザーがデータレイクの操作に対してより多くの制御と信頼性を持つことを可能にします。
この強化により、データレイクのワークフローが効率的でスケーラブルであり、現代のデータ処理と分析の増加する要求に対応しています。

パフォーマンスの向上とコマンドのサポート

デルタレイクを組み込むことの重要な利点の1つは、著しいパフォーマンスの向上です。ファイルの圧縮、インデックス作成、キャッシュなどの最適化により、デルタレイクはクエリのパフォーマンスを向上させ、レイテンシを低減し、データレイク環境内での全体的なデータ処理速度を向上させることができます。
さらに、デルタレイクはデータ管理タスクを効率化するさまざまなコマンドのサポートを提供します。デルタレイクにより、データの挿入、更新、削除、マージなどのアクションがより簡単で効率的になり、データレイクの運用の生産性と柔軟性が向上します。

データレイクハウスの利点と課題

データレイクハウスアーキテクチャに移行することにより、データ品質の向上、データガバナンスの強化、データのアクセシビリティの向上など、いくつかの利点が得られます。データレイクとデータウェアハウスの機能を統合することで、組織は分析および運用データの両方のニーズに対応する統一されたプラットフォームを持つことができ、より包括的で効率的なデータエコシステムを実現できます。
ただし、データレイクハウスモデルを採用することには課題もあります。組織はデータ統合の複雑さ、さまざまなデータソース間の互換性の問題、ハイブリッドデータ環境を効果的に管理および維持するための専門スキルの必要性などに直面する可能性があります。

データメッシュコンセプトの紹介

データメッシュのコンセプトは、組織がデータ資産を管理し配布する方法に変革を提案しています。データ操作を単一のデータプラットフォーム内で集中管理する代わりに、データメッシュはデータを分散させ、個々のチームが所有し、管理し、独立に進化させる製品として扱うことを提唱しています。
データメッシュアーキテクチャを導入することで、組織はさまざまなビジネスユニット間でデータ能力を拡張し、データの独立性を向上させ、組織内でより俊敏で協力的なデータ文化を育成することができます。

データの分散化と製品としての取り扱い

データの分散化と製品としての取り扱いは、従来の中央集権的なデータ管理アプローチをより分散化された自律モデルにシフトすることを含みます。データの所有権と責任を個々のチームやドメインに割り当てることで、組織は異なるステークホルダーにデータから価値を抽出し、効率的かつ効果的な方法でイノベーションや実験を行うことができます。
このアプローチにより、組織全体でデータ駆動型の考え方が促進され、職能横断的な協力が奨励され、タイムリーかつ正確なデータの洞察に基づく迅速な意思決定プロセスが可能となります。

データメッシュの実装

データメッシュは、ドメインの所有権、セルフサービスインフラストラクチャ、中央集権的なガバナンスを重視するデータ管理の新しいアプローチです。このブログ投稿では、データメッシュの実装の主要な要素について掘り下げ、このアプローチに関連する課題やトレードオフを探求し、データ管理のさまざまな解決策を検討し、さまざまなタイプのデータメッシュアプローチを議論し、Microsoftによるデータメッシュ実装のハイブリッドモデルを紹介します。

ドメインの所有権

データメッシュの基本的な原則の1つは、各ドメインまたはビジネスユニットが自らのデータに責任を持つドメインの所有権です。このデータ所有権の分散化により、チームはデータとその要件について深い理解を持つことができ、より効果的なデータ管理の実践をもたらします。

セルフサービスインフラストラクチャ

データメッシュは、ドメインチームがデータに自律的にアクセスし、処理し、分析できるセルフサービスインフラストラクチャの開発を可能にします。チームが自らのデータを自律的に管理するためのツールやプラットフォームを提供することで、組織は俊敏性とイノベーションを促進することができます。

中央集権的なガバナンス

ドメインの所有権は分散化されていますが、データメッシュは組織全体での一貫性、コンプライアンス、セキュリティを確保するために中央集権的なガバナンスも重視しています。明確なガバナンスポリシー、標準、フレームワークを確立することは、データの品質と整合性を維持するために重要です。

データメッシュアプローチの課題とトレードオフ

その利点にもかかわらず、データメッシュの実装には独自の課題とトレードオフがあります。一般的な課題には組織の変革への抵抗、データ統合の複雑さ、スケーラビリティの問題、専門的なスキルと専門知識の必要性があります。

異なるタイプのデータメッシュアプローチ

データメッシュを実装するためのさまざまなアプローチがあり、それぞれ独自の特性と考慮事項があります。一部の組織は、ドメインが自律性を維持する連邦モデルを採用する場合がありますが、他の組織は中央集権的な制御を持つハブアンドスポークモデルを選択することがあります。