機械学習プロジェクトには様々なライブラリの依存関係があり、実行にはビルドされた環境が必要になる。MLflow Projectsを使うことで、他のデータサイエンティストとの共有や本番環境への移行のために、MLコードを再利用可能で再現性のある形でパッケージ化す…

多くの機械学習プロジェクトでは、精度の向上のためパラメータや特徴量を変えて試行錯誤しながら、何度も実験を繰り返す必要がある。そのため試行回数が増加するごとにモデルの管理が難しくなり、属人化するという課題がある。そこで今回はMLflow Trackingを…

今回はmacOSにおけるターミナルとzshプロンプトのカスタマイズ方法についてまとめる。※本記事はすべて個人の好みです。

アノテーションとは、トレーニングデータとして利用するために、様々な形式のデータにメタデータを付与して解釈可能な意味づけをすることである。 機械学習、特にディープラーニングの普及とともに、アノテーションはますます重要な工程になっている。 そこ…

ローカルで構築した自作パッケージ(またはライブラリ)をDatabricksで使用する方法についてまとめる。

機械学習モデルがビジネス価値としてスケールするには、システムに組み込み運用化していく必要があることはこ前回の記事でも紹介した。 そこで今回はDatabricksにおけるCI/CDをGithub Actionsによって実現する方法についてまとめる。

機械学習モデル単体でユーザにビジネス価値を与えることは難しく、機械学習システム(プロダクト)に組み込み、運用することで初めてビジネス価値が生まれるケースが多い。そのため機械学習システムのライフサイクル全体を継続的な自動化と監視によって効率化…

データレイクとは、元のデータを何も加工せずにコピーして、多様な生データを一元的に集約して保存するためのストレージである。データ基盤は役割別に3構成に分けることができる。その中でも今回はデータレイクの概念についてまとめる。

PySparkを使ってCSVファイルをシングルファイルで保存する方法についてまとめる。