ETLの意味

ETLは、データをExtract（抽出）、Transform（変換）、Load（読み込み）の順に処理するデータ統合の方式です。業務データベース、ファイル、APIなどから必要なデータを取り出し、列名や型をそろえ、欠損や重複を処理し、単位や時刻を統一してから、データウェアハウスや分析基盤へ保存します。変換を保存先に入れる前に行うため、保存先へ入るデータの形を早い段階で整えられます。一方で、後から別の集計方法を試すための生データを残す設計や、大量データを変換する計算資源が必要です。ETLは一つの製品名ではなく、バッチ処理、ワークフロー、コネクター、品質検査を組み合わせた処理の考え方です。ELTとは変換の順序が異なるため、データ量、保存先の計算能力、再処理の要件で使い分けます。どの段階で個人情報をマスキングするか、失敗したデータをどう隔離するかも処理契約に含めます。読み方は「イーティーエル」です。

ETLが広がった背景には、業務ごとに分かれていたデータを分析用の場所へ集め、形式をそろえてから利用したいというデータウェアハウスの需要があります。保存先へ投入する前に変換を済ませることで、利用者が扱うデータの形を統一しやすくなります。

ETLを理解すると、データを集める処理と、集めた後の分析を分けて設計できます。抽出元の負荷、変換ルール、失敗時の再実行、重複排除、品質検査、遅延、個人情報のマスキングを、単なるファイル移動とは別に確認できます。

現在のETLは、従来型のデータウェアハウス、定期バッチ、企業間連携、規制対応のデータ整形などで使われます。クラウドの保存先で変換するELTも一般化しているため、ETLという言葉だけで処理製品や実装方式を決めつけず、実際の順序と保存先を確認します。