オープンソースのデータフォーマットであるDeltaは、Parquetファイルとトランザクションログ(Delta Log)から成り立っている。Delta形式のフォーマットを用いて構築されたテーブルは、Deltaテーブルと呼ばれ、Deltaテーブルのデータストアを、Delta Lake (デ…

今回はDelta Lakeでの基本的な操作についてチートシートとしてまとめる。このドキュメントは、随時更新していく予定です。

Delta Log (デルタ ログ) とは、ユーザーがテーブルに加えたすべての変更を順序付きで自動で記録したログであり、Single Source of Truthのソースとして機能する。Delta Log が存在することで、Delta LakeでのACID トランザクション、スケーラブルなメタデー…