Amazon Timestream for LiveAnalytics に類似した機能をご希望の場合は Amazon Timestream for InfluxDB をご検討ください。リアルタイム分析に適した、シンプルなデータインジェストと 1 桁ミリ秒のクエリ応答時間を特徴としています。詳細については、こちらを参照してください。
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon S3 への Timestream データのエクスポート
移行対象のサービスに関係なく、以下のベストプラクティスに従って Timestream for LiveAnalytics のデータを Amazon S3 にエクスポートし、耐久性のある中間ストレージレイヤーを作成することをお勧めします。このレイヤーが後のデータベース固有の取り込みの基盤となります。
Timestream for LiveAnalytics のテーブルから Amazon S3 にデータを確実にエクスポートするには、Timestream for LiveAnalytics のエクスポートツール
Timestream for LiveAnalytics のエクスポートツール
時間ベースのチャンキング戦略
時系列データの大量移行には、時間ベースのチャンキングが不可欠です。このアプローチでは、エクスポートプロセスを管理可能なユニットに分割し、障害発生時に個別に処理して再試行できるため、移行リスクが大幅に軽減されます。進行状況の追跡を容易にするチェックポイントを作成し、中断後に再開する機能も加わります。継続的なデータインジェストを行う組織では、新しいデータを別々の時間チャンクでエクスポートできるため、進行中のオペレーションと移行間の調整を効果的に行えます。このツールでは日ごとのチャンキングを使用し、毎日のデータを S3 バケットプレフィックスで保存して効率的に管理します。さらに、チャンキングは時間、日、月、年のいずれかに基づいて行うことができます。
移行のモニタリング
このツールには、DynamoDB テーブル内の移行の統計情報を取得するオプションがあり、使用された設定、エクスポートされたレコード、移行の完全性の検証に使用できるその他のデータポイントといったメトリクスを追跡します。これらのメトリクスは、移行と検証中に注意深くモニタリングすることをお勧めします。また、オーケストレーションスクリプト内で提供されるログ記録を使用して、実行タイムスタンプ、チャンク境界、発生したエラー条件を取得することもできます。さらに、障害に対処するためにダウンストリームシステムを統合する場合、SNS 通知を受け取ることもできます。
推奨事項とベストプラクティス
Timestream for LiveAnalytics エクスポートツールは、ターゲットのシステム要件に合わせたさまざまな設定オプションを使用してデータを S3 にエクスポートするための柔軟で堅牢なソリューションを提供します。Timestream for InfluxDB がターゲットの場合、圧縮せずに Parquet
このツールでは、Timestream for LiveAnalytics の UNLOAD 機能を活用し、指定された時間範囲に基づいてバッチでデータを自動的にエクスポートすることで、クエリに関する制限事項のパーティションを克服します。データのパーティショニングは、日単位をデフォルトとして、時間、日、月、年単位のいずれかでカスタマイズできます。クエリ計算が使用可能な最大メモリを超えるなど、メモリ関連のエラーを回避するには、各パーティションで約 350 GB 未満を維持する必要があります。例えば、年間データ量が 350 GB を超える場合は、月単位のパーティションを使用するか、日単位または 1 時間単位のパーティションなど、より詳細なオプションを使用することを検討してください。1 時間単位を選択しても「The query computation exceeds maximum available memory」というエラーが表示される場合は、パーティションの数
エクスポート範囲は柔軟に選択でき、単一テーブル、データベース全体、またはアカウント内の全データベースのエクスポートが可能です。特定の複数のデータベースをエクスポートするなど、より特殊な要件については、この自動化を中心としてカスタムラッパーを構築できます。さらに、新しい順のオプションを有効にして、最新のデータを最初にエクスポートすることもできます。失敗後に再起動する場合は、同じ移行タグで続けてすべてのファイルを同じ S3 プレフィックスの下に保持するか、タグを省略して新しいプレフィックスの下にファイルを作成できます。ツールはデータをバッチでエクスポートするため、障害が発生した場合は、元の開始時刻から再開するのではなく、失敗したバッチから開始することをお勧めします。終了タイムスタンプを指定しない場合、ツールは現在のタイムスタンプ (UTC) を自動的に使用し、エクスポートと検証の一貫性を確保します。
基本的なコマンド
例 : DynamoDB ログ記録が有効になっているテーブルをエクスポートする
python3.9 unload.py \ --export-table \ --database Demo \ --table Demo \ --start-time '2020-03-26 17:24:38' \ --enable-dynamodb_logger true
例 : データベース全体をエクスポートする
python3.9 unload.py \ --export-database \ --database Demo \ --start-time '2020-03-26 17:24:38'
例 : すべてのデータベースをエクスポートする
python3.9 unload.py \ --export-all_databases \ --start-time '2020-03-26 17:24:38'
例 :その他のオプションを使用した高度なエクスポート
python unload.py \ --export-table \ --database MyDB \ --table MyTable \ --start-time '2024-05-14 00:00:00' \ --end-time '2025-05-14 00:00:00' \ --partition month \ --export-format PARQUET \ --compression GZIP \ --region us-east-1 \ --s3-uri s3://my-bucket \ --enable-dynamodb_logger \ --sns-topic_arn arn:aws:sns:region:account-id:topic-name
詳細については、アンロードスクリプトの「README
