オープンソースのデータフォーマットであるDeltaは、Parquetファイルとトランザクションログ(Delta Log)から成り立っている。Delta形式のフォーマットを用いて構築されたテーブルは、Deltaテーブルと呼ばれ、Deltaテーブルのデータストアを、Delta Lake (デ…

今回はDelta Lakeでの基本的な操作についてチートシートとしてまとめる。このドキュメントは、随時更新していく予定です。

Delta Log (デルタ ログ) とは、ユーザーがテーブルに加えたすべての変更を順序付きで自動で記録したログであり、Single Source of Truthのソースとして機能する。Delta Log が存在することで、Delta LakeでのACID トランザクション、スケーラブルなメタデー…

データマスキングとは、機密情報を保護するためにデータを匿名化する技術である。より具体的には、機密情報を体系的に元の構造に似た架空の値に変換するプロセスである。 セキュリティやコンプライアンス、データ・プライバシーに関する規制が強化される中、…

データメッシュとは、従来の中央での一元的なデータ管理ではなく、各ドメインによる企業のデータ管理に対する分散化されたアプローチのことである。

MLflow Model Registryとは、MLflowモデルの全ライフサイクルをメンバー間で共同管理するための一元的なモデルストア、APIのセット 、および UI のこと。モデルレジストリはチームでMLモデルを共有し、実験からオンラインテスト、本番まで共同で作業し、承認…

MLflow Modelsとは、「フレーバー」という概念を用いてMLモデルをパッケージングするためのフォーマットである。MLflow Modelsの実態は、任意のファイルと、そのモデルが使用できるいくつかの「フレーバー」を記載したファイルを含むディレクトリとして保存…

機械学習プロジェクトには様々なライブラリの依存関係があり、実行にはビルドされた環境が必要になる。MLflow Projectsを使うことで、他のデータサイエンティストとの共有や本番環境への移行のために、MLコードを再利用可能で再現性のある形でパッケージ化す…

多くの機械学習プロジェクトでは、精度の向上のためパラメータや特徴量を変えて試行錯誤しながら、何度も実験を繰り返す必要がある。そのため試行回数が増加するごとにモデルの管理が難しくなり、属人化するという課題がある。そこで今回はMLflow Trackingを…

アノテーションとは、トレーニングデータとして利用するために、様々な形式のデータにメタデータを付与して解釈可能な意味づけをすることである。 機械学習、特にディープラーニングの普及とともに、アノテーションはますます重要な工程になっている。 そこ…

ローカルで構築した自作パッケージ(またはライブラリ)をDatabricksで使用する方法についてまとめる。

機械学習モデルがビジネス価値としてスケールするには、システムに組み込み運用化していく必要があることはこ前回の記事でも紹介した。 そこで今回はDatabricksにおけるCI/CDをGithub Actionsによって実現する方法についてまとめる。

Databricksはワークスペース毎にIPで接続制限をかけることができる。 デフォルトでは無効になっており、有効化する手順をまとめる。

Databricksのフリートライアルには2種類ある。 Full Databricks platform Trialの場合は14 日間のフルトライアル、Community Editionの場合はDatabricks がホストする環境での簡易トライアルが可能。