

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

# 커넥터 및 유틸리티
<a name="emr-connectors"></a>

Amazon EMR은 다른 AWS 서비스에 데이터 소스로 액세스할 수 있는 다양한 커넥터와 유틸리티를 제공합니다. 일반적으로 프로그램 내에서 이러한 서비스의 데이터에 액세스할 수 있습니다. 예를 들면 Hive 쿼리, Pig 스크립트 또는 MapReduce 애플리케이션에서 Kinesis 스트림을 지정하여 이러한 데이터에 대한 작업을 수행할 수 있습니다.

**Topics**
+ [Amazon EMR을 사용하여 DynamoDB에서 테이블 내보내기, 가져오기, 쿼리 및 조인](EMRforDynamoDB.md)
+ [Kinesis](emr-kinesis.md)
+ [S3DistCp(s3-dist-cp)](UsingEMR_s3distcp.md)
+ [실패한 S3DistCp 작업 후 정리](#s3distcp-cleanup)

## 실패한 S3DistCp 작업 후 정리
<a name="s3distcp-cleanup"></a>

S3DistCp가 지정된 파일의 일부 또는 전체를 복사할 수 없는 경우 명령 또는 클러스터 단계가 실패하고 0 이외의 오류 코드를 반환합니다. 이러한 상황이 발생할 경우 S3DistCp는 부분적으로 복사된 파일을 지우지 않습니다. 수동으로 삭제해야 합니다.

부분적으로 복사된 파일은 S3DistCP 작업의 고유 식별자를 사용하여 하위 디렉터리의 HDFS `tmp` 디렉터리에 저장됩니다. 이 ID는 작업의 표준 출력에서 찾을 수 있습니다.

예를 들어, ID가 `4b1c37bb-91af-4391-aaf8-46a6067085a6`인 S3DistCP 작업의 경우 클러스터의 마스터 노드에 연결하고 다음 명령을 실행하여 작업과 연관된 출력 파일을 볼 수 있습니다.

```
hdfs dfs -ls /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output
```

이 명령은 다음과 유사한 파일 목록을 반환합니다.

```
Found 8 items
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/_SUCCESS
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00000
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00001
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00002
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00003
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00004
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00005
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00006
```

그 후에 다음 명령을 실행하여 디렉터리와 모든 내용을 삭제할 수 있습니다.

```
hdfs dfs -rm -rf /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6
```