Nodestream

Nodestream は、データをグラフとして意味的にモデリングするためのフレームワークです。柔軟で拡張可能なように設計されており、データの収集方法とグラフとしてのモデル化方法を定義できます。パイプラインベースのアプローチを使用してデータの収集と処理の方法を定義し、スキーマが変更されたときにどのようにグラフを更新するかを定義できます。これらはすべて、シンプルで人間が読める yaml 形式の設定ファイルを使用して行われます。これを実現するために、Nodestream はパイプライン、エクストラクタ、トランスフォーマー、フィルター、インタプリタ、解釈、移行など、多くの主要な概念を使用しています。

Nodestream 0.12 以降、Amazon Neptune は Neptune Database と Neptune Analytics の両方でサポートされています。

Neptune で Nodestream を設定して使用する方法の詳細については、Nodestream ドキュメント「Nodestream support for Amazon Neptune」を参照してください。

Neptune で使用する Nodestream は現在、標準 ETL パイプラインと有効期限 (TTL) パイプラインをサポートしています。ETL パイプラインでは、Neptune で以前可能だったものよりもはるかに広範なデータソースと形式から Neptune への一括データインジェストが可能です。以下に例を示します。

Nodestream は、認証情報が正しく設定されている限り、Amazon Neptune に接続するときに IAM 認証を完全にサポートします。認証情報を正しく設定する方法の詳細については、boto3 認証情報ガイドを参照してください。

Nodestream の TTL メカニズムは、Neptune で以前は利用できなかった新機能も有効にします。取り込まれたグラフ要素にタイムスタンプを付けることで、Nodestream は設定された有効期間を経過したデータを自動的に期限切れにして削除するパイプラインを作成できます。