ELTの意味

ELTは、データをExtract（抽出）、Load（読み込み）、Transform（変換）の順に処理するデータ統合の方式です。業務データベースやAPIなどから抽出したデータを、まずデータウェアハウス、データレイク、レイクハウスなどの保存先へ取り込み、その保存先のSQLエンジンや計算資源で分析用の表へ変換します。生データを残しやすいため、変換ルールを変更して再処理したり、別の用途へ展開したりしやすい点が特徴です。一方で、保存前の機密情報をどう保護するか、保存容量と計算コストをどう管理するか、品質検査をどの段階で行うかが重要になります。ELTはETLより常に優れているわけではなく、保存先の性能、データの機密性、処理遅延、再現性、運用体制で判断します。dbtのような変換管理ツールは、ELTのTransform部分を管理する文脈で使われます。生データの保持期間とアクセス範囲を決めないまま始めると、再利用性とセキュリティの両方を損ないます。読み方は「イーエルティー」です。

ELTが広がった背景には、クラウドのデータウェアハウスやデータレイクが大容量のデータを保存し、必要なときに計算資源を増やせるようになったことがあります。抽出側で全てを変換するより、保存先に生データを置いて後から変換する設計が選びやすくなりました。

ELTを理解すると、データの保管と分析用の変換を分けて考えられます。生データを残せる反面、アクセス制御、個人情報の除去、保存期間、コスト、スキーマ変更、再処理の責任範囲を先に決めないと、便利さがリスクに変わります。

現在のELTは、クラウドデータウェアハウス、データレイク、レイクハウス、分析エンジニアリングでよく使われます。ETLとELTは対立する製品名ではなく処理順序の違いなので、実際にどこで何を変換しているかを設計書で確認します。