기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
# 4단계: 데이터 시각화를 위한 Amazon Comprehend 출력 준비
데이터 시각화를 생성하기 위한 감성 및 개체 분석 작업의 결과를 준비하려면 AWS Glue 및 Amazon Athena를 사용합니다. 이 단계에서는 Amazon Comprehend 결과 파일을 추출합니다. 그런 다음 데이터를 탐색하고 AWS Glue Data Catalog의 테이블에 자동으로 카탈로그화하는 AWS Glue *크롤러를* 생성합니다. 그런 다음 서버리스 대화형 쿼리 서비스 Amazon Athena인를 사용하여 이러한 테이블에 액세스하고 변환합니다. 이 단계를 완료하면 Amazon Comprehend 결과가 정리되어 시각화할 준비가 된 것입니다.
PII 개체 감지 작업의 경우 출력 파일은 압축된 아카이브가 아닌 일반 텍스트입니다. 출력 파일 이름은 입력 파일과 동일하며 끝에 `.out`이 추가됩니다. 출력 파일의 압축을 푸는 단계가 필요없습니다. 로 [ 데이터 로드로 건너뜁니다 AWS Glue Data Catalog](#tutorial-reviews-tables-crawler).
**Topics**
+ [사전 조건](#tutorial-reviews-tables-prereqs)
+ [출력 다운로드](#tutorial-reviews-tables-download)
+ [출력 파일 추출](#tutorial-reviews-tables-extract)
+ [추출한 파일 업로드](#tutorial-reviews-tables-upload)
+ [에 데이터 로드 AWS Glue Data Catalog](#tutorial-reviews-tables-crawler)
+ [분석을 위한 데이터 준비](#tutorial-reviews-tables-prep)
## 사전 조건
시작하기 전에 [3단계: Amazon S3의 문서에 대한 분석 작업 실행](tutorial-reviews-analysis.md)를 완료합니다.
## 출력 다운로드
Amazon Comprehend는 Gzip 압축을 사용하여 출력 파일을 압축하고 이를 tar 아카이브로 저장합니다. 출력 파일의 압축을 푸는 가장 간단한 방법은 `output.tar.gz` 아카이브를 로컬로 다운로드하는 것입니다.
이 단계에서는 감성 및 개체 출력 아카이브를 다운로드합니다.
### 출력 파일 다운로드(콘솔)
각 작업의 출력 파일을 찾으려면 Amazon Comprehend 콘솔의 분석 작업으로 돌아갑니다. 분석 작업은 출력 파일을 다운로드할 수 있는 출력을 위한 S3 위치를 제공합니다.
**출력 파일을 다운로드하려면(콘솔)**
1. [Amazon Comprehend 콘솔](https://console.aws.amazon.com/comprehend/)의 탐색 창에서 **분석 작업**으로 돌아갑니다.
1. 감성 분석 작업 `reviews-sentiment-analysis`를 선택합니다.
1. **출력**에서 **출력 데이터 위치** 옆에 표시된 링크를 선택합니다. 그러면 S3 버킷의 `output.tar.gz` 아카이브로 리디렉션됩니다.
1. **개요** 탭에서 **다운로드**를 선택합니다.
1. 컴퓨터에서 아카이브 이름을 `sentiment-output.tar.gz`로 바꿉니다. 모든 출력 파일의 이름이 동일하므로 감성 및 개체 파일을 추적하는 데 도움이 됩니다.
1. 1\$14단계를 반복하여 `reviews-entities-analysis` 작업의 결과를 찾아 다운로드합니다. 컴퓨터에서 아카이브 이름을 `entities-output.tar.gz`로 바꿉니다.
### 출력 파일 다운로드(AWS CLI)
각 작업의 출력 파일을 찾으려면 분석 작업의 `JobId`를 사용하여 출력의 S3 위치를 찾습니다. 그런 다음 `cp` 명령을 사용하여 출력 파일을 컴퓨터에 다운로드합니다.
**출력 파일을 다운로드하려면(AWS CLI)**
1. 감성 분석 작업에 대한 세부 정보를 나열하려면 다음 명령을 실행합니다. `sentiment-job-id`를 저장한 감성 `JobId`로 바꿉니다.
```
aws comprehend describe-sentiment-detection-job --job-id sentiment-job-id
```
`JobId`를 추적하지 못한 경우 다음 명령을 실행하여 감성 작업을 모두 나열하고 작업을 이름별로 필터링할 수 있습니다.
```
aws comprehend list-sentiment-detection-jobs
--filter JobName="reviews-sentiment-analysis"
```
1. `OutputDataConfig` 객체에서 `S3Uri` 값을 찾습니다. `S3Uri` 값은 다음 형식: `s3://amzn-s3-demo-bucket/.../output/output.tar.gz`과 유사해야 합니다. 이 값을 텍스트 편집기에 복사합니다.
1. 감성 출력 아카이브를 로컬 디렉터리에 다운로드하려면 다음 명령을 실행합니다. S3 버킷 경로를 이전 단계에서 복사한 `S3Uri`로 교체합니다. `path/`를 로컬 디렉터리의 폴더 경로로 바꿉니다. 원래 아카이브 이름을 `sentiment-output.tar.gz`라는 이름으로 대체해 감성 및 개체 파일을 추적하는 데 도움이 됩니다.
```
aws s3 cp s3://amzn-s3-demo-bucket/.../output/output.tar.gz
path/sentiment-output.tar.gz
```
1. 개체 분석 작업에 대한 세부 정보를 나열하려면 다음 명령을 실행합니다.
```
aws comprehend describe-entities-detection-job
--job-id entities-job-id
```
`JobId`를 모르면 다음 명령을 실행하여 개체 작업을 모두 나열하고 작업을 이름별로 필터링합니다.
```
aws comprehend list-entities-detection-jobs
--filter JobName="reviews-entities-analysis"
```
1. 개체 작업 설명에 있는 `OutputDataConfig` 객체에서 `S3Uri` 값을 복사합니다.
1. 개체 출력 아카이브를 로컬 디렉터리에 다운로드하려면 다음 명령을 실행합니다. S3 버킷 경로를 이전 단계에서 복사한 `S3Uri`로 교체합니다. `path/`를 로컬 디렉터리의 폴더 경로로 바꿉니다. 원래 아카이브 이름을 `entities-output.tar.gz`라는 이름으로 대체합니다.
```
aws s3 cp s3://amzn-s3-demo-bucket/.../output/output.tar.gz
path/entities-output.tar.gz
```
## 출력 파일 추출
Amazon Comprehend 결과에 액세스하려면 먼저 감성 및 개체 아카이브의 압축을 풀어야 합니다. 로컬 파일 시스템이나 터미널을 사용하여 아카이브의 압축을 풀 수 있습니다.
### 출력 파일 추출(GUI 파일 시스템)
macOS를 사용하는 경우 GUI 파일 시스템에서 아카이브를 두 번 클릭하여 아카이브에서 출력 파일 추출합니다.
Windows를 사용하는 경우 7-Zip과 같은 타사 도구를 사용하여 GUI 파일 시스템에서 출력 파일을 추출합니다. Windows에서는 아카이브의 출력 파일에 액세스하기 위해 두 단계를 수행해야 합니다. 먼저 아카이브를 압축 해제한 다음 아카이브를 추출합니다.
결과 파일을 구분할 수 있도록 감성 파일의 이름을 `sentiment-output`으로 바꾸고 개체 파일의 이름을 `entities-output`으로 바꿉니다.
### 출력 파일 추출(터미널)
Linux 또는 macOS를 사용하는 경우 표준 터미널을 사용할 수 있습니다. Windows를 사용하는 경우 tar 명령을 실행하려면 Cygwin과 같은 유닉스 스타일 환경에 액세스할 수 있어야 합니다.
감성 아카이브에서 감성 출력 파일을 추출하려면 로컬 터미널에서 다음 명령을 실행합니다.
```
tar -xvf sentiment-output.tar.gz --transform 's,^,sentiment-,'
```
참고로 `--transform` 파라미터는 아카이브 내 출력 파일에 접두사 `sentiment-`을 추가하고 파일 이름을 `sentiment-output`으로 변경합니다. 이렇게 하면 감성과 개체 출력 파일을 구분하고 덮어쓰기를 방지할 수 있습니다.
개체 아카이브에서 개체 출력 파일을 추출하려면 로컬 터미널에서 다음 명령을 실행합니다.
```
tar -xvf entities-output.tar.gz --transform 's,^,entities-,'
```
`--transform` 파라미터는 출력 파일 이름에 접두사 `entities-`를 추가합니다.
**작은 정보**
Amazon S3의 스토리지 비용을 절약하기 위해 파일을 업로드하기 전에 Gzip으로 다시 압축할 수 있습니다. 는 tar 아카이브에서 데이터를 자동으로 읽을 AWS Glue 수 없으므로 원본 아카이브의 압축을 풀고 압축을 푸는 것이 중요합니다. 그러나 AWS Glue 는 Gzip 형식의 파일에서 읽을 수 있습니다.
## 추출한 파일 업로드
파일을 추출한 후 버킷에 업로드합니다. 가 데이터를 제대로 AWS Glue 읽으려면 감성 및 개체 출력 파일을 별도의 폴더에 저장해야 합니다. 버킷에 추출된 감성 결과를 위한 폴더와 추출된 개체 결과를 위한 두 번째 폴더를 생성합니다. Amazon S3 콘솔 또는 AWS CLI에서 폴더를 생성할 수 있습니다.
### 추출한 파일을 Amazon S3에 업로드(콘솔)
S3 버킷에 추출된 감성 결과 파일을 위한 폴더 하나와 추출된 개체 결과 파일를 위한 두 번째 폴더 하나를 생성합니다. 그런 다음 추출된 결과 파일을 해당 폴더에 업로드합니다.
**추출한 파일을 Amazon S3에 업로드하려면(콘솔)**
1. [https://console.aws.amazon.com/s3/](https://console.aws.amazon.com/s3/)에서 S3 콘솔을 엽니다.
1. **버킷**에서 버킷을 선택한 다음 **폴더 생성**을 선택합니다.
1. 새 폴더 이름에 `sentiment-results`를 입력하고 **저장**을 선택합니다. 이 폴더에는 추출된 감성 출력 파일이 포함됩니다.
1. 버킷의 **개요** 탭에 있는 버킷 콘텐츠 목록에서 새 폴더 `sentiment-results`를 선택합니다. **업로드**를 선택합니다.
1. **파일 추가**를 선택하고 로컬 컴퓨터에서 `sentiment-output` 파일을 선택한 후 **다음**을 선택합니다.
1. **사용자 관리**, **다른에 대한 액세스 AWS 계정** 및 **퍼블릭 권한 관리** 옵션을 기본값으로 둡니다. **다음**을 선택합니다.
1. **스토리지 등급**에서 **표준**을 선택합니다. **암호화**, **메타데이터** 및 **태그** 옵션을 기본값으로 유지합니다. **다음**을 선택합니다.
1. 업로드 옵션을 검토한 다음 **업로드**를 선택합니다.
1. 1\$18단계를 반복해 `entities-results`라고 하는 폴더를 만들고 `entities-output` 파일을 이 폴더에 업로드합니다.
### 추출한 파일 Amazon S3에 업로드하기(AWS CLI)
`cp` 명령으로 파일을 업로드하는 동안 S3 버킷에 폴더를 생성할 수 있습니다.
**추출한 파일을 Amazon S3에 업로드하려면(AWS CLI)**
1. 다음 명령을 실행하여 감성 폴더를 생성하고 감성 파일을 이 폴더에 업로드합니다. `path/`를 추출된 감성 출력 파일의 로컬 경로로 바꿉니다.
```
aws s3 cp path/sentiment-output s3://amzn-s3-demo-bucket/sentiment-results/
```
1. 다음 명령을 실행하여 개체 폴더를 생성하고 개체 파일을 이 폴더에 업로드합니다. `path/`를 추출된 개체 출력 파일의 로컬 경로로 바꿉니다.
```
aws s3 cp path/entities-output s3://amzn-s3-demo-bucket/entities-results/
```
## 에 데이터 로드 AWS Glue Data Catalog
결과를 데이터베이스로 가져오려면 AWS Glue *크롤러*를 사용할 수 있습니다. An AWS Glue *crawler*는 파일을 스캔하고 데이터의 스키마를 검색합니다. 그런 다음 AWS Glue Data Catalog (서버리스 데이터베이스)의 테이블에 있는 데이터를 정렬합니다. AWS Glue 콘솔 또는를 사용하여 크롤러를 생성할 수 있습니다 AWS CLI.
### 에 데이터 로드 AWS Glue Data Catalog (콘솔)
`sentiment-results` 및 `entities-results` 폴더를 별도로 스캔하는 AWS Glue 크롤러를 생성합니다. AWS Glue 의 IAM 역할이 S3 버킷에 액세스할 수 있는 크롤러 권한을 부여합니다. 이 IAM 역할은 크롤러를 설정할 때 생성합니다.
**에 데이터를 로드하려면 AWS Glue Data Catalog (콘솔)**
1. 가 지원하는 리전에 있는지 확인합니다 AWS Glue. 다른 리전에 있는 경우, 탐색 모음의 **리전 선택기**에서 지원되는 리전을 선택합니다. 가 지원하는 리전 목록은 *글로벌 인프라 안내서*의 [리전 테이블](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/)을 AWS Glue참조하세요.
1. [https://console.aws.amazon.com/glue/](https://console.aws.amazon.com/glue/) AWS Glue 콘솔을 엽니다.
1. 탐색 창에서 **크롤러**를 선택한 후 **크롤러 추가**를 선택합니다.
1. **크롤러 이름**에 `comprehend-analysis-crawler`를 입력한 후 **다음**을 선택합니다.
1. **크롤러 소스 유형**에 **데이터 스토어**를 선택한 후 **다음**을 선택합니다.
1. **데이터 스토어 페이지 추가**에 대해 다음을 수행합니다.
1. **데이터 스토어 선택**에서 **S3**을 선택합니다.
1. **연결**은 비워 둡니다.
1. **데이터 크롤링**에 **내 계정에 지정된 경로**를 선택합니다.
1. **포함 경로**에 감성 출력 폴더의 전체 S3 경로를 입력합니다: `s3://amzn-s3-demo-bucket/sentiment-results`.
1. **다음**을 선택합니다.
1. **다른 데이터 스토어 추가**에서 **예**를 선택한 다음 **다음**을 선택합니다. 6단계를 반복하되 개체 출력 폴더의 전체 S3 경로를 입력합니다: `s3://amzn-s3-demo-bucket/entities-results`.
1. **다른 데이터 스토어 추가**에서 **아니요**를 선택한 다음 **다음**을 선택합니다.
1. **IAM 역할 선택**에서 다음을 수행합니다.
1. **IAM 역할 생성**을 선택합니다.
1. **IAM 역할**에 `glue-access-role`을 입력한 후 **다음**을 선택합니다.
1. **이 크롤러의 일정 생성**에 **온디맨드로 실행**을 선택한 다음 **다음**을 선택합니다.
1. **크롤러 출력 구성**에서 다음을 수행합니다.
1. **데이터베이스**에 **데이터베이스 추가**를 선택합니다.
1. **데이터베이스 이름**에 `comprehend-results`를 입력합니다. 이 데이터베이스는 Amazon Comprehend 출력 테이블을 저장합니다.
1. 다른 옵션은 기본 설정으로 두고 **다음**을 선택합니다.
1. 크롤러 정보를 검토한 후 **마침**을 선택합니다.
1. Glue 콘솔의 **크롤러**에서 `comprehend-analysis-crawler`를 선택하고 **크롤러 실행**을 선택합니다. 크롤러를 완료하는 데 몇 분 정도 걸릴 수 있습니다.
### 데이터를 AWS Glue Data Catalog (AWS CLI)에 로드합니다.
S3 버킷에 액세스할 수 AWS Glue 있는 권한을 제공하는에 대한 IAM 역할을 생성합니다. 그런 다음 AWS Glue Data Catalog에서 데이터베이스를 생성합니다. 마지막으로 데이터베이스의 테이블에 데이터를 로드하는 크롤러를 만들고 실행합니다.
**데이터를에 로드하려면 AWS Glue Data Catalog (AWS CLI)**
1. 에 대한 IAM 역할을 생성하려면 다음을 AWS Glue수행합니다.
1. 다음 신뢰 정책을 `glue-trust-policy.json`이라는 JSON 문서로 컴퓨터에 저장합니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "glue.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
]
}
```
------
1. IAM 역할을 생성하려면 다음 명령을 실행합니다. `path/`를 로컬 컴퓨터의 JSON 문서 경로로 변경합니다.
```
aws iam create-role --role-name glue-access-role
--assume-role-policy-document file://path/glue-trust-policy.json
```
1. 가 새 역할에 대한 Amazon 리소스 번호(ARN)를 AWS CLI 나열하면 복사하여 텍스트 편집기에 저장합니다.
1. 다음 IAM 정책을 `glue-access-policy.json`이라는 JSON 문서로 컴퓨터에 저장합니다. 이 정책은 결과 폴더를 크롤링할 수 있는 AWS Glue 권한을 부여합니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:PutObject"
],
"Resource": [
"arn:aws:s3:::amzn-s3-demo-bucket/sentiment-results*",
"arn:aws:s3:::amzn-s3-demo-bucket/entities-results*"
]
}
]
}
```
------
1. IAM 정책을 생성하려면 다음 명령을 실행합니다. `path/`를 로컬 컴퓨터의 JSON 문서 경로로 변경합니다.
```
aws iam create-policy --policy-name glue-access-policy
--policy-document file://path/glue-access-policy.json
```
1. 에 액세스 정책의 ARN이 AWS CLI 나열되면 복사하여 텍스트 편집기에 저장합니다.
1. 다음 명령을 실행하여 새 정책을 IAM 역할에 연결합니다. `policy-arn`을 이전 단계에서 복사한 IAM 정책 ARN으로 변경합니다.
```
aws iam attach-role-policy --policy-arn policy-arn
--role-name glue-access-role
```
1. 다음 명령을 실행`AWSGlueServiceRole`하여 AWS 관리형 정책을 IAM 역할에 연결합니다.
```
aws iam attach-role-policy --policy-arn
arn:aws:iam::aws:policy/service-role/AWSGlueServiceRole
--role-name glue-access-role
```
1. 다음 명령을 실행하여 AWS Glue 데이터베이스를 생성합니다.
```
aws glue create-database
--database-input Name="comprehend-results"
```
1. 다음 명령을 실행하여 새 AWS Glue 크롤러를 생성합니다. 를 AWS Glue IAM 역할의 ARN`glue-iam-role-arn`으로 바꿉니다.
```
aws glue create-crawler
--name comprehend-analysis-crawler
--role glue-iam-role-arn
--targets S3Targets=[
{Path="s3://amzn-s3-demo-bucket/sentiment-results"},
{Path="s3://amzn-s3-demo-bucket/entities-results"}]
--database-name comprehend-results
```
1. 다음 명령을 실행하여 크롤러를 시작합니다.
```
aws glue start-crawler --name comprehend-analysis-crawler
```
크롤러를 완료하는 데 몇 분 정도 걸릴 수 있습니다.
## 분석을 위한 데이터 준비
이제 데이터베이스가 Amazon Comprehend 결과로 채워졌습니다. 하지만 결과는 중첩됩니다. 중첩을 해제하려면에서 몇 가지 SQL 문을 실행합니다 Amazon Athena. Amazon Athena 는 표준 SQL을 사용하여 Amazon S3의 데이터를 쉽게 분석할 수 있는 대화형 쿼리 서비스입니다. Athena는 서버리스 서비스이므로 관리할 인프라가 없으며 쿼리당 지불 요금 모델이 있습니다. 이 단계에서는 분석과 시각화에 사용할 수 있는 정리된 데이터로 구성된 새 테이블을 생성합니다. Athena 콘솔을 사용하여 데이터를 준비합니다.
**데이터를 준비하려면**
1. [https://console.aws.amazon.com/athena/](https://console.aws.amazon.com/athena/home)에서 Athena 콘솔을 엽니다.
1. 쿼리 편집기에서 **설정**을 선택한 다음 **관리**를 선택합니다.
1. **쿼리 결과 위치**에 `s3://amzn-s3-demo-bucket/query-results/`를 입력합니다. 이렇게 하면 실행 중인 Amazon Athena 쿼리의 출력을 저장하는 라는 새 폴더가 `query-results` 버킷에 생성됩니다. **저장**을 선택합니다.
1. 쿼리 편집기에서 **편집기**를 선택합니다.
1. **데이터베이스**에서 `comprehend-results` 생성한 AWS Glue 데이터베이스를 선택합니다.
1. **테이블** 섹션에 `sentiment_results` 및 `entities_results`라는 두 개의 테이블이 있어야 합니다. 테이블 미리 보기로 크롤러가 데이터를 로드했는지 확인합니다. 각 테이블의 옵션(테이블 이름 옆에 있는 세 개의 점)에서 **테이블 미리 보기**를 선택합니다. 짧은 쿼리가 자동으로 실행됩니다. **결과** 창에서 테이블에 데이터가 포함되어 있는지 확인합니다.
**작은 정보**
테이블에 데이터가 없는 경우 S3 버킷의 폴더를 확인합니다. 개체 결과 폴더와 감성 결과 폴더가 하나씩 있는지 확인합니다. 그런 다음 새 AWS Glue 크롤러를 실행해 봅니다.
1. `sentiment_results` 테이블의 중첩을 해제하려면 **쿼리 편집기**에서 다음 쿼리를 입력한 다음 **실행**을 선택합니다.
```
CREATE TABLE sentiment_results_final AS
SELECT file, line, sentiment,
sentimentscore.mixed AS mixed,
sentimentscore.negative AS negative,
sentimentscore.neutral AS neutral,
sentimentscore.positive AS positive
FROM sentiment_results
```
1. 개체 테이블의 중첩을 해제하려면 **쿼리 편집기**에서 다음 쿼리를 입력한 다음 **실행**을 선택합니다.
```
CREATE TABLE entities_results_1 AS
SELECT file, line, nested FROM entities_results
CROSS JOIN UNNEST(entities) as t(nested)
```
1. 개체 테이블의 중첩 해제를 완료하려면 **쿼리 편집기**에서 다음 쿼리를 입력한 다음 **쿼리 실행**을 선택합니다.
```
CREATE TABLE entities_results_final AS
SELECT file, line,
nested.beginoffset AS beginoffset,
nested.endoffset AS endoffset,
nested.score AS score,
nested.text AS entity,
nested.type AS category
FROM entities_results_1
```
`sentiment_results_final` 테이블은 **파일**, **라인**, **감성**, **혼합**, **부정**, **중립**, **긍정**이라는 열을 포함하는 다음과 같은 모양이어야 합니다. 테이블에는 셀당 하나의 값이 있어야 합니다. **감성** 열에는 특정 리뷰의 가장 가능성이 높은 전반적인 감성이 설명되어 있습니다. **혼합**, **부정**, **중립**, **긍정** 열은 각 감성 유형에 대한 점수를 제공합니다.
![\[Athena의 감성 출력 테이블 스크린샷.\]](http://docs.aws.amazon.com/ko_kr/comprehend/latest/dg/images/tutorial-reviews-sentiment-table.png)
`entities_results_final` 테이블은 **파일**, **라인**, **시작오프셋**, **종료오프셋**, **점수**, **개체**, **카테고리**라는 열을 포함하는 다음과 같은 모양이어야 합니다. 테이블에는 셀당 하나의 값이 있어야 합니다. **점수** 열은 감지한 **개체**에 대한 Amazon Comprehend의 신뢰도를 나타냅니다. **카테고리**는 Comprehend가 감지한 개체의 유형을 나타냅니다.
![\[Athena에서 개체 출력 테이블의 콘솔 표시.\]](http://docs.aws.amazon.com/ko_kr/comprehend/latest/dg/images/tutorial-reviews-entities-table.png)
이제 Amazon Comprehend 결과가 테이블에 로드되었으므로 데이터를 시각화하고 데이터에서 의미 있는 인사이트를 추출할 수 있습니다.