はじめに

こんにちは、今日はデータマッピングの概念とtalendを利用し、小文字を大文字にデータ変換を実行してみましょう。

データマッピングとは？

データマッピングは、ソースデータとターゲットデータ間のフィールドをマッピングしてデータの移動と変換作業を行うプロセスです。 これにより、データをある形式から別の形式に変換したり、データをある位置から別の位置に移動させることができます。

データマッピングのステップ

• ステップ1：定義 — テーブル、テーブル内のフィールド、移動後のフィールドのフォーマットなど、移動対象のデータを定義します。データ統合については、データ転送の頻度も定義されます。

• ステップ2：データのマッピング — ソースフィールドをターゲットフィールドに一致させます。

• ステップ3：変換 — フィールドの変換が必要な場合は、変換式、つまりルールがコーディングされます。

• ステップ4：テスト — テストシステムとソースからのサンプルデータを使用し、転送を実行して動作を確認し、必要に応じて調整します。

• ステップ5：展開 — データ変換が計画どおりに機能していることを確認したら、移行または統合の開始イベントをスケジューリングします。

• ステップ6：維持と更新 — 継続的なデータ統合の場合、データマップは、新しいデータソースの追加、データソースの変更、またはターゲットでの要件の変更に応じて、更新や変更を必要とする生きたエンティティです。
  

Talendのインストールとプロジェクトの生成

Talendはデータ統合とデータ管理のためのオープンソースベースの統合プラットフォームです。Talendを使用すると、様々なデータソースとターゲット間の接続を構築し、データ統合、変換、加工、同期、マスターデータ管理などの作業を行うことができます。視覚的なインターフェースとコード生成機能を提供し、非専門家でもデータ統合作業を行うことができます。

JAVAをインストール完了したら、TALEND OPEN STUDIOをインストールしてください。リンクを添付します。

https://www.talend.com/products/talend-open-studio/

Talend Studioを実行し、作業するプロジェクトを選択します。

データ変換の練習

Jobとはデータを作成する場所を意味し、データを変形して結果をエクスポートします。

最後に

今日はデータマッピングの一段階としてデータ変換を実習してみました。 talendというツールを以前のプロジェクトで見たことはありますが、私の担当ではなく、直接やったことはありませんでした。 ただ、そのソフトウェアを使って出てきた結果物について議論したり、スムーズにデータ履行ができなかった値を処理する役割を担当しました。 この機会にデータマッピングをはじめ、データ統合、データ履行についても理解を深めたいと思います。

エンジニアファーストの会社 株式会社CRE-CO
ソンさん

【参考】

• 「データマッピングとは？」https://www.talend.com/jp/resources/data-mapping/

• [Udemy] Data Integration & ETL with Talend Open Studio Zero to Hero