データの準備 から、シーケンスの作成と実行(パイプライン)、関数変換(マッピンググループ)ができる。
パイプライン は、チェーンの表形式出力に適用する一連の技術的変換/トランスフォーメーションである。例えば、一般的な変換をパイプラインとして設定し、様々なレコード・システムにデータを準備することができます。
ヒント: チェーンで、Tabular TransformationとFile Utilitiesコマンドの共通のシーケンスを使用して、データレコードのシステムからデータを更新する場合、パイプラインを作成して、これらの変換を単一のRun pipelineコマンドで実行します。
パイプラインは変換できます:
- 列の追加や削除、値の調整など、データのレイアウトを修正する。
- フィルターを適用し、特定の条件に基づいてデータから行を削除する。
- データを並べ替えたり、特定の列に基づいて合計を適用する。
- 定義されたルールに基づいてデータモデル間の関係をマップする
マッピンググループ あるシステムから別のシステムへコード/値を変換する方法を定義することで、異なる企業システムのデータモデル間の関係を構築する。これらは変換としてパイプラインに適用されます。
マッピンググループは、強力でありながら使いやすく、一般的な要件にも複雑な要件にも対応できる、さまざまなマッピング技術をサポートしています。ユーザーがデータを変換し調和させるために定義し、更新できるように設計されています。マップグループは複数のパイプラインで共有できます。インターフェイスは非常にエクセル的で、親しみやすく心地よい感触を提供します。る。
要件
データの準備は完全に組織レベルでコントロールされ、個々のワークスペースやその権限は認識されない。
という意味だ:
- データの準備は、組織内のすべての作成権限者間で共有されます。
- チェーンビルダーにアクセスできるユーザーは、データの準備にもアクセスすることができます。
- チェーンを作成または編集できるすべてのユーザーは、データの準備でパイプラインを管理できるようになります。
- 一つのデータ準備パイプラインは、組織内の複数のチェーンやワークスペースにまたがって使用することができる。
ステップ1.データの準備接続をセットアップ
チェーン内のデータにパイプラインのトランスフォーメーションを適用するには、Data Prep コネクターのRun pipeline コマンドを含めます。まだの方は データの準備接続をセットアップします。データの準備 接続をセットアップした状態で、Wdataチェーン からデータの準備を開くことができます。
ステップ2.サンプルファイルのアップロード
データ準備にある attach_fileから、パイプライン作成の簡素化の手助けにすべく、変換する表形式データを表現するアップロードサンプルファイルをアップロードします。
一度アップロードすれば、サンプルファイルを使用することができます:
- パイプラインが相互作用するデータの列とタイプをすばやく定義できます。
- パイプラインやトランスフォーメーションがデータに与える影響をプレビュー
ステップ3.変換をマッピングするグループを作成
パイプライン内のデータモデル間の関係をマップするには、マッピング変換を含めます。データ準備内の library_booksからマッピンググループを作成し、マッピング変換内であるシステムから別のシステムに値を変換する方法と値の間での値の関係を規定します。
ヒント: パイプラインの実行時にマッピング変換/トランスフォーメーションの値を設定するには、マッピンググループの実行時変数 を設定します。
マッピンググループを作成する際、そのルールを定義することができ、完全一致、単純なパターン、または正規表現に基づいて値を変換します。
ステップ4.パイプラインの設定
パイプラインとは、データの準備で処理されるデータに適用される技術的/関数的変換の集合である。
-
パイプラインで定義されたテクニカルトランスフォーメーション は、データレイアウトの修正に使用される。列の追加や削除、列の並び替え、新規列の挿入などのアクティビティは、すべて技術的な変換の例です。
-
機能変換/トランスフォーメーション は、統合されるシステムのデータモデル間の関係を構築するプロセスである。機能変換はしばしばマッピングと参照され、データの準備マッピンググループによって管理されます。マッピンググループは、変換ステップとしてパイプラインに適用されます。
表形式データに適用する一連のトランスフォーメーションを定義するために、データ準備のパイプライン からパイプラインを作成します。
パイプラインを作成するときには:
- マニュアルで、またはサンプルファイルやアップロードされた区切りファイルに基づいて、相互作用するデータの列とタイプを定義する。
- パイプラインの実行時に適用する変換を順番に設定します。
ヒント: パイプラインの実行時に変換/トランスフォーメーションの値を設定するには、パイプラインの実行時変数 を設定します。
ステップ5.パイプラインのチェーン実行
チェーンの前の出力から表データに変換/トランスフォーメーションを適用するには、Data Prep コネクターのRun pipeline コマンド を使用します。コマンドを設定するときには:
- 実行するパイプラインと変換する表形式出力を選択します。
- 表形式ファイルの列をパイプラインの列定義にマップする。
- パイプラインのランタイム変数値を設定する。