Amazon Timestream for LiveAnalytics と同様の機能については、Amazon Timestream for InfluxDB を検討してください。リアルタイム分析のために、簡略化されたデータ取り込みと 1 桁ミリ秒のクエリ応答時間を提供します。詳細については、こちらを参照してください。
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Timestream データを Amazon S3 にエクスポートする
移行対象のサービスに関係なく、以下のベストプラクティスに従って Timestream for LiveAnalytics データを Amazon S3 にエクスポートし、その後のデータベース固有の取り込みの基盤となる耐久性のある中間ストレージレイヤーを作成することをお勧めします。
LiveAnalytics テーブルの Timestream から Amazon S3 にデータを確実にエクスポートするには、大規模なデータエクスポート用に設計された Timestream UNLOAD 機能を使用する Timestream for LiveAnalytics エクスポートツール
LiveAnalytics エクスポートツールの Timestream
時間ベースのチャンキング戦略
時系列データの大量移行には、時間ベースのチャンキングが不可欠です。このアプローチでは、エクスポートプロセスを管理可能なユニットに分割し、障害発生時に個別に処理して再試行できるため、移行リスクが大幅に軽減されます。進行状況の追跡を容易にするチェックポイントを作成し、中断後に再開する機能を追加します。継続的なデータ取り込みを行う組織では、新しいデータを別々の時間チャンクでエクスポートできるため、継続的な運用と移行間の調整が向上します。このツールは日単位のチャンキングを使用し、毎日のデータを S3 バケットプレフィックスで保存して効率的に管理します。さらに、チャンキングは時間、日、月、または年に基づいて行うことができます。
移行のモニタリング
このツールには、DynamoDB テーブルの移行統計をキャプチャするオプションがあり、使用された設定、エクスポートされたレコード、移行の完全性を検証するためのその他のデータポイントなどのメトリクスを追跡します。これらのメトリクスは、移行と検証中に注意深くモニタリングすることをお勧めします。オーケストレーションスクリプト内で提供されるログ記録を使用して、実行タイムスタンプ、チャンク境界、発生したエラー条件をキャプチャすることもできます。このツールは、ダウンストリームシステムを統合して障害に対してアクションを実行する場合にも SNS 通知を提供します。
推奨事項とベストプラクティス
Timestream for LiveAnalytics エクスポートツールは、ターゲットシステム要件に合わせたさまざまな設定オプションを使用してデータを S3 にエクスポートするための柔軟で堅牢なソリューションを提供します。ターゲットが InfluxDB の Timestream である場合は、圧縮せずに Parquet
このツールは、LiveAnalytics UNLOAD の Timestream 機能を活用しながら、指定した時間範囲に基づいてデータをバッチで自動的にエクスポートすることで、クエリの制限のパーティションを克服します。データのパーティショニングは、時間、日、月、年、日をデフォルトとしてカスタマイズできます。クエリ計算が使用可能な最大メモリを超えるなど、メモリ関連のエラーを回避するには、各パーティションが約 350 GB 未満である必要があります。たとえば、年間データが 350 GB を超える場合は、毎月のパーティションを使用するか、日単位または時間単位のパーティショニングなどのより詳細なオプションを使用することを検討してください。時間単位を選択しても「クエリ計算が使用可能な最大メモリを超えています」というエラーが表示される場合は、パーティションの数
このツールでは、エクスポートの範囲に柔軟性があるため、単一のテーブル、データベース全体、またはアカウント内のすべてのデータベースをエクスポートできます。複数の特定のデータベースのエクスポートなど、より特殊な要件については、この自動化を中心にカスタムラッパーを構築できます。さらに、時系列逆引きオプションを有効にして、最新のデータを最初にエクスポートすることもできます。失敗後に再起動する場合、同じ移行タグを続行してすべてのファイルを同じ S3 プレフィックスの下に保持するか、タグを省略して新しいプレフィックスの下にファイルを作成できます。ツールはデータをバッチでエクスポートするため、障害が発生した場合は、元の開始時刻から再開するのではなく、失敗したバッチから開始することをお勧めします。終了タイムスタンプを指定しない場合、ツールは現在のタイムスタンプ (UTC) を自動的に使用して、一貫したエクスポートと検証を行います。
基本的なコマンド
例 : DynamoDB ログ記録が有効になっているテーブルをエクスポートする
python3.9 unload.py \ --export-table \ --database Demo \ --table Demo \ --start-time '2020-03-26 17:24:38' \ --enable-dynamodb_logger true
例 : データベース全体をエクスポートする
python3.9 unload.py \ --export-database \ --database Demo \ --start-time '2020-03-26 17:24:38'
例 : すべてのデータベースをエクスポートする
python3.9 unload.py \ --export-all_databases \ --start-time '2020-03-26 17:24:38'
例 : 詳細エクスポートとその他のオプション
python unload.py \ --export-table \ --database MyDB \ --table MyTable \ --start-time '2024-05-14 00:00:00' \ --end-time '2025-05-14 00:00:00' \ --partition month \ --export-format PARQUET \ --compression GZIP \ --region us-east-1 \ --s3-uri s3://my-bucket \ --enable-dynamodb_logger \ --sns-topic_arn arn:aws:sns:region:account-id:topic-name
詳細については、アンロードスクリプトの README を参照してください。
