翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
CloudWatch と Amazon SQS の整合性通知を設定する
Amazon S3 の結果整合性の問題に対して、EMRFS で CloudWatch メトリクスと Amazon SQS メッセージを有効にできます。
CloudWatch
CloudWatch メトリクスを有効にすると、Amazon S3 の結果整合性のために FileSystem
API 呼び出しが失敗するたびに、Inconsistency という名前のメトリクスがプッシュされます。
Amazon S3 の結果整合性の問題の CloudWatch メトリクスを表示するには
CloudWatch コンソールで Inconsistency メトリクスを表示するには、EMRFS のメトリクスを選択し、[ジョブフロー ID] と [メトリクス名] のペアを選択します。たとえば、j-162XXXXXXM2CU ListStatus
j-162XXXXXXM2CU
GetFileStatus
などです。
-
CloudWatch コンソールの https://console.aws.amazon.com/cloudwatch/
を開いてください。 -
[Dashboard] の [Metrics] セクションで、[EMRFS] を選択します。
-
[Job Flow Metrics] ペインで、1 つ以上の [JobFlowId] と [Metric Name] のペアを選択します。メトリクスのグラフィカル表示が、次のウィンドウに表示されます。
Amazon SQS
Amazon SQS 通知を有効にすると、EMRFS の初期化時に EMRFS-Inconsistency-<jobFlowId>
という名前の Amazon SQS キューが作成されます。Amazon S3 の結果整合性のために FileSystem
API 呼び出しが失敗すると、Amazon SQS メッセージがキューにプッシュされます。このメッセージには、JobFlowId、API、整合性のないパスの一覧、スタックトレースなどの情報が含まれます。メッセージは、Amazon SQS コンソールを使用するか、EMRFS の read-sqs
コマンドを使用して読み取ることができます。
Amazon S3 の結果整合性の問題に対する Amazon SQS メッセージを管理するには
Amazon S3 の結果整合性の問題に関する Amazon SQS メッセージは、EMRFS CLI を使用して読み取ることができます。Amazon SQS EMRFS キューからメッセージを読み取るには、read-sqs
コマンドを入力し、マスターノードのローカルファイルシステム上の結果の出力ファイルの出力場所を指定します。
delete-sqs
コマンドを使用して EMRFS の Amazon SQS キューを削除することもできます。
-
Amazon SQS キューからメッセージを読み取るには、次のコマンドを入力します。
queuename
を設定した Amazon SQS キューの名前に、/path/filename
を出力ファイルのパスに置き換えてください。emrfs read-sqs --queue-name
queuename
--output-file/path/filename
たとえば、デフォルトのキューから Amazon SQS メッセージを読み取って出力するには、次のように入力します。
emrfs read-sqs --queue-name
EMRFS-Inconsistency-j-162XXXXXXM2CU
--output-file/path/filename
注記
また、
-q
および-o
の代わりに、それぞれ--queue-name
および--output-file
ショートカットを使用することもできます。 -
Amazon SQS キューを削除するには、次のコマンドを入力します。
emrfs delete-sqs --queue-name
queuename
たとえば、デフォルトキューを削除するには、次のように入力します。
emrfs delete-sqs --queue-name
EMRFS-Inconsistency-j-162XXXXXXM2CU
注記
--queue-name
の代わりに-q
ショートカットを使用することもできます。