

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# コネクターおよびユーティリティ
<a name="emr-connectors"></a>

Amazon EMR には、データソースとして他の AWS サービスにアクセスするためのコネクタとユーティリティが多数用意されています。これらのサービスのデータには、通常プログラム内でアクセスします。たとえば、Hive クエリ、Pig スクリプト、または MapReduce アプリケーションの Kinesis ストリームを指定し、そのデータを操作できます。

**Topics**
+ [Amazon EMR による DynamoDB 内テーブルのエクスポート、インポート、クエリ、結合](EMRforDynamoDB.md)
+ [Kinesis](emr-kinesis.md)
+ [S3DistCp (s3-dist-cp)](UsingEMR_s3distcp.md)
+ [S3DistCp ジョブが失敗した後のクリーンアップ](#s3distcp-cleanup)

## S3DistCp ジョブが失敗した後のクリーンアップ
<a name="s3distcp-cleanup"></a>

指定したファイルの一部またはすべてを S3DistCp がコピーできない場合、コマンドまたはクラスターステップは失敗し、ゼロ以外のエラーコードを返します。この場合、S3DistCp では、コピーされたファイルの一部がクリーンアップされません。手動で削除する必要があります。

部分的にコピーされたファイルは、S3DistCp ジョブの一意の識別子が付けられて、サブディレクトリの HDFS `tmp` ディレクトリに保存されます。この ID はジョブの標準出力に含まれます。

たとえば、S3DistCp ジョブの ID が `4b1c37bb-91af-4391-aaf8-46a6067085a6` の場合、クラスターのマスターノードに接続し、以下のコマンドを実行して、ジョブに関連付けられた出力ファイルを表示できます。

```
hdfs dfs -ls /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output
```

このコマンドによって以下のようなファイルのリストが返されます。

```
Found 8 items
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/_SUCCESS
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00000
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00001
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00002
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00003
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00004
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00005
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00006
```

その後、以下のコマンドを実行して、ディレクトリとそのすべての内容を削除できます。

```
hdfs dfs -rm -rf /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6
```