ArcticDB
ArcticDBとは
- PythonのDataFrame(PandasやPolars)を保存・管理するために最適化された高性能な時系列データベース
- Bloomberg(ブルームバーグ)社がオープンソースとして公開している
主な特徴
DataFrameネイティブ
- PythonのPandasやPolarsのDataFrameをそのままの形で高速に保存・取得できる
- 従来のSQLデータベースのように「行と列」を意識してテーブルを定義する必要がない
強力なバージョニング機能(タイムトラベル)
- データの書き込みごとにバージョンが作成される
- これにより、過去の特定の時点のデータを即座に呼び出すことが可能
高パフォーマンス
- バックエンドがC++で実装されており、データの圧縮やシリアライズが効率的
- 数億行単位のデータでも、標準的なファイルストレージ(Parquetなど)より高速に読み書きできる場合がある
サーバーレスアーキテクチャ
- データベースサーバーを立てて管理する必要がなく、S3(AWS)やAzure Blob Storage、あるいはローカルのファイルシステムを直接ストレージとして利用できる
参考資料