Amazon Timestream for LiveAnalytics に類似した機能をご希望の場合は Amazon Timestream for InfluxDB をご検討ください。リアルタイム分析に適した、シンプルなデータインジェストと 1 桁ミリ秒のクエリ応答時間を特徴としています。詳細については、こちらを参照してください。
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
でのバッチロードの使用 AWS CLI
セットアップ
バッチロードの使用を開始するには、次の手順を実行します。
-
「」の手順 AWS CLI を使用して をインストールしますを使用した LiveAnalytics 用 Amazon Timestream へのアクセス AWS CLI。
-
次のコマンドを実行して、Timestream CLI コマンドが更新されていることを確認します。create-batch-load-task がリストにあることを確認します。
aws timestream-write help -
「バッチロードデータファイルの準備」の手順に沿ってデータソースを準備します。
-
「を使用した LiveAnalytics 用 Amazon Timestream へのアクセス AWS CLI」の手順に沿ってデータベースとテーブルを作成します。
-
レポート出力用の S3 バケットを作成します。バケットは同じリージョンに存在している必要があります。バケットの詳細については、「Amazon S3 汎用バケットの作成、設定、操作」を参照してください。
-
バッチロードタスクを作成します。手順については、「バッチロードタスクを作成する」を参照してください。
-
タスクのステータスを確認します。手順については、「バッチロードタスクを記述する」を参照してください。
バッチロードタスクを作成する
create-batch-load-task コマンドを使用してバッチロードタスクを作成できます。CLI を使用してバッチロードタスクを作成する場合、cli-input-json の JSON パラメータを使用できます。これにより、パラメータを単一の JSON フラグメントに集約できます。また、data-model-configuration、data-source-configuration、report-configuration、target-database-name、target-table-name などの他のいくつかのパラメータを使用して、これらの詳細を分割することもできます。
例については、「バッチロードタスクの作成例」を参照してください。
バッチロードタスクを記述する
バッチロードタスクの説明は、次のように取得できます。
aws timestream-write describe-batch-load-task --task-id<value>
以下に、応答の例を示します。
{ "BatchLoadTaskDescription": { "TaskId": "<TaskId>", "DataSourceConfiguration": { "DataSourceS3Configuration": { "BucketName": "test-batch-load-west-2", "ObjectKeyPrefix": "sample.csv" }, "CsvConfiguration": {}, "DataFormat": "CSV" }, "ProgressReport": { "RecordsProcessed": 2, "RecordsIngested": 0, "FileParseFailures": 0, "RecordIngestionFailures": 2, "FileFailures": 0, "BytesIngested": 119 }, "ReportConfiguration": { "ReportS3Configuration": { "BucketName": "test-batch-load-west-2", "ObjectKeyPrefix": "<ObjectKeyPrefix>", "EncryptionOption": "SSE_S3" } }, "DataModelConfiguration": { "DataModel": { "TimeColumn": "timestamp", "TimeUnit": "SECONDS", "DimensionMappings": [ { "SourceColumn": "vehicle", "DestinationColumn": "vehicle" }, { "SourceColumn": "registration", "DestinationColumn": "license" } ], "MultiMeasureMappings": { "TargetMultiMeasureName": "test", "MultiMeasureAttributeMappings": [ { "SourceColumn": "wgt", "TargetMultiMeasureAttributeName": "weight", "MeasureValueType": "DOUBLE" }, { "SourceColumn": "spd", "TargetMultiMeasureAttributeName": "speed", "MeasureValueType": "DOUBLE" }, { "SourceColumn": "fuel", "TargetMultiMeasureAttributeName": "fuel", "MeasureValueType": "DOUBLE" }, { "SourceColumn": "miles", "TargetMultiMeasureAttributeName": "miles", "MeasureValueType": "DOUBLE" } ] } } }, "TargetDatabaseName": "BatchLoadExampleDatabase", "TargetTableName": "BatchLoadExampleTable", "TaskStatus": "FAILED", "RecordVersion": 1, "CreationTime": 1677167593.266, "LastUpdatedTime": 1677167602.38 } }
バッチロードタスクを一覧表示する
バッチロードタスクは次のように一覧表示できます。
aws timestream-write list-batch-load-tasks
出力は次のように表示されます。
{ "BatchLoadTasks": [ { "TaskId": "<TaskId>", "TaskStatus": "FAILED", "DatabaseName": "BatchLoadExampleDatabase", "TableName": "BatchLoadExampleTable", "CreationTime": 1677167593.266, "LastUpdatedTime": 1677167602.38 } ] }
バッチロードタスクを再開する
バッチロードタスクは、次のように再開できます。
aws timestream-write resume-batch-load-task --task-id<value>
レスポンスには、成功が示されるか、エラー情報が含まれることがあります。
バッチロードタスクの作成例
-
BatchLoadという名前の Timestream for LiveAnalytics データベースと、BatchLoadTestという名前のテーブルを作成します。確認し、必要に応じてMemoryStoreRetentionPeriodInHoursとMagneticStoreRetentionPeriodInDaysの値を調整します。aws timestream-write create-database --database-name BatchLoad \ aws timestream-write create-table --database-name BatchLoad \ --table-name BatchLoadTest \ --retention-properties "{\"MemoryStoreRetentionPeriodInHours\": 12, \"MagneticStoreRetentionPeriodInDays\": 100}" -
コンソールを使用して S3 バケットを作成し、その場所に
sample.csvファイルをコピーします。サンプル CSV はサンプル CSV でダウンロードできます。 -
コンソールを使用して、Timestream for LiveAnalytics の S3 バケットを作成し、バッチロードタスクがエラーで完了した場合にレポートを書き込みます。
-
バッチロードタスクを作成します。
$INPUT_BUCKETと$REPORT_BUCKETは、前のステップで作成したバケットに置き換えてください。aws timestream-write create-batch-load-task \ --data-model-configuration "{\ \"DataModel\": {\ \"TimeColumn\": \"timestamp\",\ \"TimeUnit\": \"SECONDS\",\ \"DimensionMappings\": [\ {\ \"SourceColumn\": \"vehicle\"\ },\ {\ \"SourceColumn\": \"registration\",\ \"DestinationColumn\": \"license\"\ }\ ], \"MultiMeasureMappings\": {\ \"TargetMultiMeasureName\": \"mva_measure_name\",\ \"MultiMeasureAttributeMappings\": [\ {\ \"SourceColumn\": \"wgt\",\ \"TargetMultiMeasureAttributeName\": \"weight\",\ \"MeasureValueType\": \"DOUBLE\"\ },\ {\ \"SourceColumn\": \"spd\",\ \"TargetMultiMeasureAttributeName\": \"speed\",\ \"MeasureValueType\": \"DOUBLE\"\ },\ {\ \"SourceColumn\": \"fuel_consumption\",\ \"TargetMultiMeasureAttributeName\": \"fuel\",\ \"MeasureValueType\": \"DOUBLE\"\ },\ {\ \"SourceColumn\": \"miles\",\ \"MeasureValueType\": \"BIGINT\"\ }\ ]\ }\ }\ }" \ --data-source-configuration "{ \"DataSourceS3Configuration\": {\ \"BucketName\": \"$INPUT_BUCKET\",\ \"ObjectKeyPrefix\": \"$INPUT_OBJECT_KEY_PREFIX\" },\ \"DataFormat\": \"CSV\"\ }" \ --report-configuration "{\ \"ReportS3Configuration\": {\ \"BucketName\": \"$REPORT_BUCKET\",\ \"EncryptionOption\": \"SSE_S3\"\ }\ }" \ --target-database-name BatchLoad \ --target-table-name BatchLoadTest上記のコマンドは、次の出力を返します。
{ "TaskId": "TaskId" } -
タスクの進行状況を確認します。
$TASK_IDは、前のステップで返されたタスク ID に置き換えてください。aws timestream-write describe-batch-load-task --task-id$TASK_ID
出力の例
{ "BatchLoadTaskDescription": { "ProgressReport": { "BytesIngested": 1024, "RecordsIngested": 2, "FileFailures": 0, "RecordIngestionFailures": 0, "RecordsProcessed": 2, "FileParseFailures": 0 }, "DataModelConfiguration": { "DataModel": { "DimensionMappings": [ { "SourceColumn": "vehicle", "DestinationColumn": "vehicle" }, { "SourceColumn": "registration", "DestinationColumn": "license" } ], "TimeUnit": "SECONDS", "TimeColumn": "timestamp", "MultiMeasureMappings": { "MultiMeasureAttributeMappings": [ { "TargetMultiMeasureAttributeName": "weight", "SourceColumn": "wgt", "MeasureValueType": "DOUBLE" }, { "TargetMultiMeasureAttributeName": "speed", "SourceColumn": "spd", "MeasureValueType": "DOUBLE" }, { "TargetMultiMeasureAttributeName": "fuel", "SourceColumn": "fuel_consumption", "MeasureValueType": "DOUBLE" }, { "TargetMultiMeasureAttributeName": "miles", "SourceColumn": "miles", "MeasureValueType": "DOUBLE" } ], "TargetMultiMeasureName": "mva_measure_name" } } }, "TargetDatabaseName": "BatchLoad", "CreationTime": 1672960381.735, "TaskStatus": "SUCCEEDED", "RecordVersion": 1, "TaskId": "TaskId", "TargetTableName": "BatchLoadTest", "ReportConfiguration": { "ReportS3Configuration": { "EncryptionOption": "SSE_S3", "ObjectKeyPrefix": "ObjectKeyPrefix", "BucketName": "amzn-s3-demo-bucket" } }, "DataSourceConfiguration": { "DataSourceS3Configuration": { "ObjectKeyPrefix": "sample.csv", "BucketName": "amzn-s3-demo-source-bucket" }, "DataFormat": "CSV", "CsvConfiguration": {} }, "LastUpdatedTime": 1672960387.334 } }
