기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

# 데이터를 전송하도록 Kinesis 에이전트 구성
<a name="writing-with-agents"></a>

Amazon Kinesis 에이전트는 데이터를 수집하고 Firehose로 전송하는 방법을 보여주는 참조 구현 역할을 하는 독립형 Java 소프트웨어 애플리케이션입니다. 에이전트가 파일 세트를 지속적으로 모니터링하고 새로운 데이터를 Firehose 스트림에 보냅니다. 에이전트는 파일 로테이션, 체크포인팅을 수행하는 방법을 보여주고, 실패할 경우 다시 시도합니다. 적시에 안정적이고 단순한 방식으로 모든 데이터를 전달하는 방법을 보여줍니다. 또한 효과적으로 모니터링하고 스트리밍 프로세스 문제를 해결하도록 Amazon CloudWatch 지표를 내보내는 방법을 보여줍니다. 자세한 내용은 [awslabs/amazon-kinesis-agent](https://github.com/awslabs/amazon-kinesis-agent)를 참조하세요.

기본적으로 줄 바꿈 문자(`'\n'`)를 기반으로 각 파일에서 레코드가 구문 분석됩니다. 그러나 여러 줄 레코드를 구문 분석하도록 에이전트를 구성할 수도 있습니다([에이전트 구성 설정 지정](agent-config-settings.md) 참조).

웹 서버, 로그 서버, 데이터베이스 서버 등 Linux 기반 서버 환경에 에이전트를 설치할 수 있습니다. 에이전트를 설치한 후 모니터링할 파일과 데이터의 Firehose 스트림을 지정하여 에이전트를 구성합니다. 에이전트가 구성되면 파일에서 일관되게 데이터를 수집하고, 안정적으로 Firehose 스트림에 전송합니다.

## 사전 조건
<a name="prereqs"></a>

Kinesis 에이전트 사용을 시작하기 전에 다음 사전 조건을 충족하는지 확인해야 합니다.
+ 사용자 운영 체제가 Amazon Linux 또는 Red Hat Enterprise Linux 버전 7 이상이어야 합니다.
+ 에이전트 버전 2.0.0 이상은 JRE 버전 1.8 이상을 사용해 실행됩니다. 에이전트 버전 1.1.x는 JRE 버전 1.7 이상을 사용해 실행됩니다.
+ Amazon EC2를 사용하여 에이전트를 실행하는 경우 EC2 인스턴스를 시작합니다.
+ 지정한 IAM 역할 또는 AWS 자격 증명에는 에이전트가 Firehose 스트림으로 데이터를 전송하기 위해 Amazon Data Firehose [PutRecordBatch](https://docs.aws.amazon.com/firehose/latest/APIReference/API_PutRecordBatch.html) 작업을 수행할 수 있는 권한이 있어야 합니다. 에이전트에 CloudWatch 모니터링을 활성화하는 경우 CloudWatch [PutMetricData](https://docs.aws.amazon.com/AmazonCloudWatch/latest/APIReference/API_PutMetricData.html) 작업을 수행할 권한도 필요합니다. 자세한 내용은 [Amazon Data Firehose를 통한 액세스 제어](controlling-access.md), [Kinesis 에이전트 상태 모니터링](agent-health.md), [Amazon CloudWatch에 대한 인증 및 액세스 제어](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/auth-and-access-control-cw.html)를 참조하세요.

# AWS 자격 증명 관리
<a name="agent-credentials"></a>

다음 방법 중 하나를 사용하여 AWS 자격 증명을 관리합니다.
+ 사용자 지정 자격 증명 공급자를 생성합니다. 자세한 내용은 [사용자 지정 자격 증명 공급자 생성](custom-cred-provider.md)을 참조하세요.
+ EC2 인스턴스를 시작할 때 IAM 역할을 지정합니다.
+ 에이전트를 구성할 때 AWS 자격 증명을 지정합니다(의 구성 표`awsSecretAccessKey`에서 `awsAccessKeyId` 및 항목 참조[에이전트 구성 설정 지정](agent-config-settings.md)).
+ 를 편집`/etc/sysconfig/aws-kinesis-agent`하여 AWS 리전 및 AWS 액세스 키를 지정합니다.
+ EC2 인스턴스가 다른 AWS 계정에 있는 경우 IAM 역할을 생성하여 Amazon Data Firehose 서비스에 대한 액세스를 제공합니다. 에이전트를 구성할 때 해당 역할을 지정합니다([assumeRoleARN](agent-config-settings.md#assumeRoleARN) 및 [assumeRoleExternalId](agent-config-settings.md#assumeRoleExternalId) 참조). 이전 방법 중 하나를 사용하여이 역할을 수임할 권한이 있는 다른 계정의 사용자의 AWS 자격 증명을 지정합니다.

# 사용자 지정 자격 증명 공급자 생성
<a name="custom-cred-provider"></a>

사용자 지정 자격 증명 공급자를 생성하고 `userDefinedCredentialsProvider.classname` 및 `userDefinedCredentialsProvider.location` 구성 설정에서 클래스 이름과 Kinesis 에이전트까지의 jar 경로를 지정할 수 있습니다. 이러한 두 가지 구성 설정에 대한 설명은 [에이전트 구성 설정 지정](agent-config-settings.md) 섹션을 참조하세요.

사용자 지정 자격 증명 공급자를 생성하려면 다음 예와 같이 `AWS CredentialsProvider` 인터페이스를 구현하는 클래스를 정의합니다.

```
import com.amazonaws.auth.AWSCredentials;
import com.amazonaws.auth.AWSCredentialsProvider;
import com.amazonaws.auth.BasicAWSCredentials;

public class YourClassName implements AWSCredentialsProvider {
    public YourClassName() {
    }

    public AWSCredentials getCredentials() {
        return new BasicAWSCredentials("key1", "key2");
    }

    public void refresh() {
    }
}
```

클래스에는 인수를 취하지 않는 생성자가 있어야 합니다.

AWS 는 새로 고침 방법을 주기적으로 호출하여 업데이트된 자격 증명을 가져옵니다. 자격 증명 공급자가 수명 주기 동안 계속 다른 자격 증명을 제공하도록 하려면 이 메서드에 자격 증명을 새로 고치는 코드를 포함합니다. 또는 자격 증명 공급자가 정적(변경되지 않는) 자격 증명을 제공하기를 원할 경우 이 메서드를 비워 둘 수 있습니다.

# 에이전트 다운로드 및 설치
<a name="download-install"></a>

우선 인스턴스에 연결합니다. 자세한 내용은 **Amazon EC2 사용 설명서의 [인스턴스에 연결](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-connect-to-instance-linux.html)을 참조하세요. 연결 문제가 있는 경우 **Amazon EC2 사용 설명서의 [인스턴스 연결 문제 해결](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/TroubleshootingInstancesConnecting.html)을 참조하세요.

다음으로, 다음 중 한 가지 방법을 사용하여 인스턴스를 설치합니다.
+ **Amazon Linux 리포지토리에서 에이전트 설정하는 방법**

  이 방법은 Amazon Linux 인스턴스에만 해당됩니다. 다음 명령을 사용합니다.

  ```
  sudo yum install –y aws-kinesis-agent
  ```

  에이전트 v 2.0.0 이상은 운영 체제가 Amazon Linux 2(AL2)인 컴퓨터에 설치됩니다. 이 에이전트 버전에는 Java 1.8 이상이 필요합니다. 필요한 Java 버전이 아직 없는 경우 에이전트 설치 프로세스에서 해당 버전이 설치됩니다. Amazon Linux 2에 대한 자세한 내용은 [https://aws.amazon.com/amazon-linux-2/](https://aws.amazon.com/amazon-linux-2/)를 참조하세요.
+ **Amazon S3 리포지토리에서 에이전트 설정하는 방법**

  이 방법은 공개적으로 사용 가능한 리포지토리에서 에이전트를 설치하기 때문에, Red Hat Enterprise Linux 및 Amazon Linux 2 인스턴스에도 적용됩니다. 다음 명령을 사용하여 에이전트 버전 2.x.x의 최신 버전을 다운로드하고 설치합니다.

  ```
  sudo yum install –y https://s3.amazonaws.com/streaming-data-agent/aws-kinesis-agent-latest.amzn2.noarch.rpm
  ```

  특정 버전의 에이전트를 설치하려면 명령에서 버전 번호를 지정합니다. 예를 들어 다음 명령은 에이전트 버전 2.0.1을 설치합니다.

  ```
  sudo yum install –y https://streaming-data-agent.s3.amazonaws.com/aws-kinesis-agent-2.0.1-1.amzn1.noarch.rpm
  ```

  현재 Java 1.7을 사용하고 있고 업그레이드를 원하지 않는 경우 Java 1.7과 호환되는 에이전트 버전 1.xx를 다운로드할 수 있습니다. 예를 들어 다음 명령을 사용하여 에이전트 버전 1.1.6을 다운로드할 수 있습니다.

  ```
  sudo yum install –y https://s3.amazonaws.com/streaming-data-agent/aws-kinesis-agent-1.1.6-1.amzn1.noarch.rpm
  ```

  다음 명령을 사용하여 최신 에이전트를 다운로드할 수 있습니다.

  ```
  sudo yum install -y https://s3.amazonaws.com/streaming-data-agent/aws-kinesis-agent-latest.amzn2.noarch.rpm
  ```
+ **GitHub 리포지토리에서 에이전트 설정하는 방법**

  1. 먼저 에이전트 버전에 따라 필요한 Java 버전이 설치되어 있는지 확인합니다.

  1.  [awslabs/amazon-kinesis-agent](https://github.com/awslabs/amazon-kinesis-agent) GitHub 리포지토리에서 에이전트를 다운로드합니다.

  1. 다운로드 디렉터리로 이동하고 다음 명령을 실행해 에이전트를 설치합니다.

     ```
     sudo ./setup --install
     ```
+ 

**Docker 컨테이너에서 에이전트 설정**  
[amazonlinux](https://docs.aws.amazon.com/AmazonECR/latest/userguide/amazon_linux_container_image.html) 컨테이너 베이스를 통해서도 컨테이너에서 Kinesis 에이전트를 실행할 수 있습니다. 다음 Dockerfile을 사용하여 `docker build`를 실행합니다.

  ```
  FROM amazonlinux
  
  RUN yum install -y aws-kinesis-agent which findutils
  COPY agent.json /etc/aws-kinesis/agent.json
  
  CMD ["start-aws-kinesis-agent"]
  ```

# 에이전트 구성 및 시작
<a name="config-start"></a>

**에이전트를 구성하고 시작하려면**

1. 구성 파일(`/etc/aws-kinesis/agent.json`)을 열고 편집합니다(기본 파일 액세스 권한을 사용하는 경우 수퍼유저로).

   이 구성 파일에서, 에이전트가 데이터를 수집하는 파일(`"filePattern"`)과 에이전트가 데이터를 보내는 대상 Firehose 스트림의 이름(`"deliveryStream"`)을 지정합니다. 파일 이름은 패턴이며, 에이전트가 파일 로테이션을 인식합니다. 파일을 로테이션하거나 초당 1회 이하 새 파일을 생성할 수 있습니다. 에이전트는 파일 생성 타임스탬프를 사용하여 추적할 파일을 결정하고 Firehose 스트림으로 추적합니다. 초당 1회보다 자주 새 파일을 생성하거나 파일을 로테이션하면 에이전트가 제대로 구별되지 않습니다.

   ```
   { 
      "flows": [
           { 
               "filePattern": "/tmp/app.log*", 
               "deliveryStream": "yourdeliverystream"
           } 
      ] 
   }
   ```

   기본 AWS 리전은 입니다`us-east-1`. 다른 리전을 사용 중이라면 리전에 엔드포인트를 지정해 구성 파일에 `firehose.endpoint` 설정을 추가합니다. 자세한 내용은 [에이전트 구성 설정 지정](agent-config-settings.md) 섹션을 참조하세요.

1. 에이전트를 수동으로 시작합니다.

   ```
   sudo service aws-kinesis-agent start
   ```

1. (선택 사항) 시스템 시작 시 에이전트가 시작되도록 구성합니다.

   ```
   sudo chkconfig aws-kinesis-agent on
   ```

현재 이 에이전트는 배경에서 시스템 서비스로 실행 중입니다. 지정된 파일을 지속적으로 모니터링하고 지정된 Firehose 스트림으로 데이터를 보냅니다. 에이전트 활동은 `/var/log/aws-kinesis-agent/aws-kinesis-agent.log`에 기록됩니다.

# 에이전트 구성 설정 지정
<a name="agent-config-settings"></a>

이 에이전트는 두 가지 의무 구성 설정인 `filePattern`, `deliveryStream`과 추가 기능을 제공하는 선택적 구성 설정을 지원합니다. `/etc/aws-kinesis/agent.json`에서 의무 및 선택적 구성 설정을 지정할 수 있습니다.

구성 파일을 변경할 때마다 다음 명령을 이용해 에이전트를 중지했다 시작해야 합니다.

```
sudo service aws-kinesis-agent stop
sudo service aws-kinesis-agent start
```

또는 다음 명령을 사용할 수 있습니다.

```
sudo service aws-kinesis-agent restart
```

다음은 일반적인 구성 설정입니다.


| 구성 설정 | 설명 | 
| --- | --- | 
| <a name="assumeRoleARN"></a>assumeRoleARN |  사용자가 맡을 역할의 Amazon 리소스 이름(ARN). 자세한 내용은 [IAM 사용 설명서의 IAM 역할을 사용하여 AWS 계정 간 액세스 권한 위임을 참조하세요](https://docs.aws.amazon.com/IAM/latest/UserGuide/tutorial_cross-account-with-roles.html). **   | 
| <a name="assumeRoleExternalId"></a>assumeRoleExternalId |  역할을 맡을 사람을 결정하는 선택적 식별자입니다. 자세한 내용은 **IAM 사용 설명서의 [외부 ID 사용 방법](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-user_externalid.html)을 참조하세요.  | 
| <a name="awsAccessKeyId"></a>awsAccessKeyId |  AWS 기본 자격 증명을 재정의하는 액세스 키 ID입니다. 이 설정은 다른 모든 자격 증명 공급자보다 우선 적용됩니다.  | 
| <a name="awsSecretAccessKey"></a>awsSecretAccessKey |  AWS 기본 자격 증명을 재정의하는 보안 암호 키입니다. 이 설정은 다른 모든 자격 증명 공급자보다 우선 적용됩니다.  | 
| cloudwatch.emitMetrics |  (true)로 설정하면 에이전트가 CloudWatch로 지표를 내보낼 수 있습니다. 기본값: true  | 
| cloudwatch.endpoint |  CloudWatch에 대한 리전 엔드포인트. 기본값: `monitoring.us-east-1.amazonaws.com`  | 
| firehose.endpoint |  Amazon Data Firehose의 리전 엔드포인트입니다. 기본값: `firehose.us-east-1.amazonaws.com`  | 
| sts.endpoint |   AWS Security Token Service의 리전 엔드포인트입니다. 기본값: `https://sts.amazonaws.com`  | 
| userDefinedCredentialsProvider.classname | 사용자 지정 자격 증명 공급자를 정의하는 경우 이 설정을 사용하여 정규화된 클래스 이름을 지정합니다. 클래스 이름 끝에 .class를 포함하지 마세요. | 
| userDefinedCredentialsProvider.location | 사용자 지정 자격 증명 공급자를 정의하는 경우 이 설정을 사용하여 사용자 지정 자격 증명 공급자를 포함하는 jar의 절대 경로를 지정합니다. 또한 에이전트는 /usr/share/aws-kinesis-agent/lib/ 위치에서 jar 파일을 찾습니다. | 

다음은 흐름 구성 설정입니다.


| 구성 설정 | 설명 | 
| --- | --- | 
| aggregatedRecordSizeBytes |  에이전트가 레코드를 집계한 다음, 한 번의 작업으로 Firehose 스트림에 입력하도록 하려면 이 설정을 지정합니다. 에이전트가 Firehose 스트림에 넣기 전에 집계 레코드에 대해 원하는 크기로 설정합니다. 기본값: 0(집계 없음)  | 
| dataProcessingOptions |  Firehose 스트림으로 전송되기 전에 구문 분석된 각 레코드에 적용되는 처리 옵션 목록입니다. 처리 옵션은 지정된 순서로 진행됩니다. 자세한 내용은 [에이전트를 사용한 데이터 사전 처리](pre-processing.md) 섹션을 참조하세요.  | 
| deliveryStream |  [필수] Firehose 스트림 이름입니다.  | 
| filePattern |  [필수] 에이전트가 모니터링해야 하는 파일에 대한 glob입니다. 이 패턴과 일치하는 파일을 에이전트가 자동으로 선별하여 모니터링합니다. 이 패턴과 일치하는 모든 파일에 대한 읽기 권한을 `aws-kinesis-agent-user`에 부여해야 합니다. 파일이 포함된 디렉터리에 대한 읽기 및 실행 권한을 `aws-kinesis-agent-user`에 부여해야 합니다.  에이전트는 이 패턴과 일치하는 파일을 선택합니다. 에이전트가 의도하지 않은 레코드를 선택하지 않도록 하려면 이 패턴을 신중하게 선택합니다.   | 
| initialPosition |  파일 구문 분석이 처음 시작된 위치입니다. 유효 값은 `START_OF_FILE` 및 `END_OF_FILE`입니다. 기본값: `END_OF_FILE`  | 
| maxBufferAgeMillis |  Firehose 스트림으로 보내기 전 에이전트가 데이터를 버퍼링하는 최대 시간(밀리초)입니다. 값 범위: 1,000\$1900,000(1초 \$1 15분) 기본값: 60,000(1분)  | 
| maxBufferSizeBytes |  Firehose 스트림으로 보내기 전 에이전트가 데이터를 버퍼링하는 최대 크기(바이트)입니다. 값 범위: 1\$14,194,304(4MB) 기본값: 4,194,304(4MB)  | 
| maxBufferSizeRecords |  Firehose 스트림으로 보내기 전 에이전트가 데이터를 버퍼링하는 최대 레코드 수입니다. 값 범위: 1\$1500 기본값: 500  | 
| minTimeBetweenFilePollsMillis |  에이전트가 새로운 데이터에 대해 모니터링한 파일을 폴링하고 구문 분석하는 시간 간격(밀리초)입니다. 값 범위: 1 이상 기본값: 100  | 
| multiLineStartPattern |  레코드의 시작을 식별하기 위한 패턴입니다. 레코드는 패턴과 일치하는 줄 1개 및 패턴과 일치하지 않는 나머지 줄로 이루어져 있습니다. 유효한 값은 정규식입니다. 기본적으로 로그 파일에서 각각의 줄 바꿈은 하나의 레코드로 구문 분석됩니다.  | 
| skipHeaderLines |  모니터링한 파일을 시작할 때 에이전트가 구문 분석을 건너뛰는 줄의 개수입니다. 값 범위: 0 이상 기본값: 0(영)  | 
| truncatedRecordTerminator |  레코드 크기가 Amazon Data Firehose 레코드 크기 제한을 초과할 때 에이전트가 구문 분석된 레코드를 자르는 데 사용하는 문자열입니다. (1,000KB) 기본값: `'\n'`(줄 바꿈)  | 

# 여러 파일 디렉터리 및 스트림 구성
<a name="sim-writes"></a>

여러 개의 흐름 구성 설정을 지정하여, 에이전트가 여러 파일 디렉터리를 모니터링하고 여러 스트림으로 데이터를 보내도록 구성할 수 있습니다. 다음 구성 예제에서 에이전트는 두 개의 파일 디렉터리를 모니터링하고 각각 Kinesis 데이터 스트림 및 Firehose 스트림으로 데이터를 보냅니다. 데이터 스트림과 Firehose 스트림이 같은 리전에 있을 필요가 없도록 Kinesis Data Streams 및 Amazon Data Firehose에 서로 다른 엔드포인트를 지정할 수 있습니다.

```
{
    "cloudwatch.emitMetrics": true,
    "kinesis.endpoint": "https://your/kinesis/endpoint", 
    "firehose.endpoint": "https://your/firehose/endpoint", 
    "flows": [
        {
            "filePattern": "/tmp/app1.log*", 
            "kinesisStream": "yourkinesisstream"
        }, 
        {
            "filePattern": "/tmp/app2.log*",
            "deliveryStream": "yourfirehosedeliverystream" 
        }
    ] 
}
```

Amazon Kinesis Data Streams에서 에이전트를 사용하는 방법에 대한 자세한 내용은 [Kinesis Agent를 사용하여 Amazon Kinesis Data Streams에 쓰기](https://docs.aws.amazon.com/kinesis/latest/dev/writing-with-agents.html)를 참조하세요.

# 에이전트를 사용한 데이터 사전 처리
<a name="pre-processing"></a>

모니터링한 파일에서 구문 분석한 레코드를 Firehose 스트림으로 보내기 전에 에이전트가 사전 처리할 수 있습니다. 파일 흐름에 `dataProcessingOptions` 구성 설정을 추가하여 이 기능을 활성화할 수 있습니다. 하나 이상의 처리 옵션을 추가할 수 있으며, 추가된 옵션은 지정된 순서로 수행됩니다.

에이전트는 다음 처리 옵션을 지원합니다. 에이전트는 오픈 소스이므로, 처리 옵션을 더 개발하고 확장할 수 있습니다. 에이전트는 [Kinesis Agent](https://github.com/awslabs/amazon-kinesis-agent)에서 다운로드할 수 있습니다.처리 옵션

`SINGLELINE`  
줄 바꿈 문자, 선행 공백과 후행 공백을 삭제해 여러 줄 레코드를 한 줄 레코드로 변환합니다.  

```
{
    "optionName": "SINGLELINE"
}
```

`CSVTOJSON`  
구분 기호로 구분된 형식에서 JSON 형식으로 레코드를 변환합니다.  

```
{
    "optionName": "CSVTOJSON",
    "customFieldNames": [ "field1", "field2", ... ],
    "delimiter": "yourdelimiter"
}
```  
`customFieldNames`  
[필수] 각각의 JSON 키 값 쌍에서 키로 사용되는 필드 이름입니다. 예를 들어 `["f1", "f2"]`를 지정하면 레코드 "v1, v2"가 `{"f1":"v1","f2":"v2"}`로 변환됩니다.  
`delimiter`  
레코드에서 구분 기호로 사용되는 문자열입니다. 기본값은 쉼표(,)입니다.

`LOGTOJSON`  
로그 형식에서 JSON 형식으로 레코드를 변환합니다. 지원되는 로그 형식은 **Apache Common Log**, **Apache Combined Log**, **Apache Error Log** 및 **RFC3164 Syslog**입니다.  

```
{
    "optionName": "LOGTOJSON",
    "logFormat": "logformat",
    "matchPattern": "yourregexpattern",
    "customFieldNames": [ "field1", "field2", … ]
}
```  
`logFormat`  
[필수] 로그 항목 형식입니다. 유효한 값은 다음과 같습니다.  
+ `COMMONAPACHELOG` - Apache Common Log 형식입니다. 각 로그 항목에는 기본적으로 "`%{host} %{ident} %{authuser} [%{datetime}] \"%{request}\" %{response} %{bytes}`" 패턴이 있습니다.
+ `COMBINEDAPACHELOG` - Apache Combined Log 형식입니다. 각 로그 항목에는 기본적으로 "`%{host} %{ident} %{authuser} [%{datetime}] \"%{request}\" %{response} %{bytes} %{referrer} %{agent}`" 패턴이 있습니다.
+ `APACHEERRORLOG` - Apache Error Log 형식입니다. 각 로그 항목에는 기본적으로 "`[%{timestamp}] [%{module}:%{severity}] [pid %{processid}:tid %{threadid}] [client: %{client}] %{message}`" 패턴이 있습니다.
+ `SYSLOG` - RFC3164 Syslog 형식입니다. 각 로그 항목에는 기본적으로 "`%{timestamp} %{hostname} %{program}[%{processid}]: %{message}`" 패턴이 있습니다.  
`matchPattern`  
지정된 로그 형식에 대한 기본 패턴을 재정의합니다. 사용자 지정 형식을 사용하는 경우 이 설정을 이용해 로그 항목에서 값을 추출합니다. `matchPattern`을 지정하면 `customFieldNames`도 함께 지정해야 합니다.  
`customFieldNames`  
각각의 JSON 키 값 쌍에서 키로 사용되는 사용자 지정 필드 이름입니다. 이 설정을 사용하여 `matchPattern`에서 추출한 값에 필드 이름을 정의하거나 사전 정의된 로그 형식의 기본 필드 이름을 재정의합니다.

**Example : LOGTOJSON 구성**  <a name="example-logtojson"></a>
다음은 Apache Common Log 항목을 JSON 형식으로 변환하는 `LOGTOJSON` 구성의 예제입니다.  

```
{
    "optionName": "LOGTOJSON",
    "logFormat": "COMMONAPACHELOG"
}
```
변환 전:  

```
64.242.88.10 - - [07/Mar/2004:16:10:02 -0800] "GET /mailman/listinfo/hsdivision HTTP/1.1" 200 6291
```
변환 후:  

```
{"host":"64.242.88.10","ident":null,"authuser":null,"datetime":"07/Mar/2004:16:10:02 -0800","request":"GET /mailman/listinfo/hsdivision HTTP/1.1","response":"200","bytes":"6291"}
```

**Example : 사용자 지정 필드가 있는 LOGTOJSON 구성**  <a name="example-logtojson-custom-fields"></a>
다음은 `LOGTOJSON` 구성의 또 다른 예제입니다.  

```
{
    "optionName": "LOGTOJSON",
    "logFormat": "COMMONAPACHELOG",
    "customFieldNames": ["f1", "f2", "f3", "f4", "f5", "f6", "f7"]
}
```
이 구성 설정을 사용하면 이전 예제의 동일한 Apache Common Log 항목이 다음과 같이 JSON 형식으로 변환됩니다.  

```
{"f1":"64.242.88.10","f2":null,"f3":null,"f4":"07/Mar/2004:16:10:02 -0800","f5":"GET /mailman/listinfo/hsdivision HTTP/1.1","f6":"200","f7":"6291"}
```

**Example : Apache Common Log 항목 변환**  <a name="example-apache-common-log-entry"></a>
다음 흐름 구성은 Apache Common Log 항목을 JSON 형식의 한 줄 레코드로 변환합니다.  

```
{ 
    "flows": [
        {
            "filePattern": "/tmp/app.log*", 
            "deliveryStream": "my-delivery-stream",
            "dataProcessingOptions": [
                {
                    "optionName": "LOGTOJSON",
                    "logFormat": "COMMONAPACHELOG"
                }
            ]
        }
    ] 
}
```

**Example : 여러 줄 레코드 변환**  <a name="example-convert-multi-line"></a>
다음 흐름 구성은 첫 줄이 "`[SEQUENCE=`"로 시작하는 여러 줄 레코드를 구문 분석합니다. 먼저 각각의 레코드가 한 줄 레코드로 변환됩니다. 그런 다음 탭 구분 기호를 기반으로 레코드에서 값이 추출됩니다. 추출된 값은 지정된 `customFieldNames` 값에 매핑되어 JSON 형식의 한 줄 레코드를 형성합니다.  

```
{ 
    "flows": [
        {
            "filePattern": "/tmp/app.log*", 
            "deliveryStream": "my-delivery-stream",
            "multiLineStartPattern": "\\[SEQUENCE=",
            "dataProcessingOptions": [
                {
                    "optionName": "SINGLELINE"
                },
                {
                    "optionName": "CSVTOJSON",
                    "customFieldNames": [ "field1", "field2", "field3" ],
                    "delimiter": "\\t"
                }
            ]
        }
    ] 
}
```

**Example : 일치 패턴이 있는 LOGTOJSON 구성**  <a name="example-logtojson-match-pattern"></a>
다음은 마지막 필드(바이트)가 생략되어 있으며 Apache Common Log 항목을 JSON 형식으로 변환하는 `LOGTOJSON` 구성의 예제입니다.  

```
{
    "optionName": "LOGTOJSON",
    "logFormat": "COMMONAPACHELOG",
    "matchPattern": "^([\\d.]+) (\\S+) (\\S+) \\[([\\w:/]+\\s[+\\-]\\d{4})\\] \"(.+?)\" (\\d{3})",
    "customFieldNames": ["host", "ident", "authuser", "datetime", "request", "response"]
}
```
변환 전:  

```
123.45.67.89 - - [27/Oct/2000:09:27:09 -0400] "GET /java/javaResources.html HTTP/1.0" 200
```
변환 후:  

```
{"host":"123.45.67.89","ident":null,"authuser":null,"datetime":"27/Oct/2000:09:27:09 -0400","request":"GET /java/javaResources.html HTTP/1.0","response":"200"}
```

# 일반적인 에이전트 CLI 명령 사용
<a name="cli-commands"></a>

다음 표에는 AWS Kinesis 에이전트 작업을 위한 일련의 일반적인 사용 사례와 해당 명령이 나와 있습니다.


| 사용 사례: | 명령 | 
| --- | --- | 
|  시스템 시작 시 에이전트가 자동으로 시작됩니다.  |  <pre>sudo chkconfig aws-kinesis-agent on</pre>  | 
|  에이전트의 상태를 확인합니다.  |  <pre>sudo service aws-kinesis-agent status</pre>  | 
|  에이전트를 중지합니다.  |  <pre>sudo service aws-kinesis-agent stop</pre>  | 
|  이 위치에서 에이전트의 로그 파일을 읽습니다.  |  <pre>/var/log/aws-kinesis-agent/aws-kinesis-agent.log</pre>  | 
|  에이전트를 제거합니다.  |  <pre>sudo yum remove aws-kinesis-agent</pre>  | 

# Kinesis Agent에서 전송할 때 문제 해결
<a name="agent-faq"></a>

이 표는 Amazon Kinesis Agent를 사용할 때 발생하는 일반적인 문제에 대한 문제 해결 정보와 솔루션을 제공합니다.


| 문제 | Solution | 
| --- | --- | 
| Kinesis Agent가 Windows에서 작동하지 않는 이유는 무엇인가요? |  [Windows용 Kinesis 에이전트](https://docs.aws.amazon.com/kinesis-agent-windows/latest/userguide/what-is-kinesis-agent-windows.html)는 Linux 플랫폼용 Kinesis 에이전트와 다른 소프트웨어입니다.  | 
| 왜 Kinesis 에이전트가 느려지거나 RecordSendErrors가 증가하나요? |  이는 대개 Kinesis에서 제한하기 때문입니다. Kinesis Data Streams의 `WriteProvisionedThroughputExceeded` 지표나 Firehose 스트림의 `ThrottledRecords` 지표를 확인하세요. 이 지표 중 0에서 증가한 수치가 있으면 스트림 제한을 늘려야 한다는 의미입니다. 자세한 내용은 [Kinesis Data Stream limits](https://docs.aws.amazon.com/streams/latest/dev/service-sizes-and-limits.html) 및 [Firehose 스트림](https://docs.aws.amazon.com/firehose/latest/dev/limits.html)을 참조하세요. 제한을 확인한 후에는 Kinesis 에이전트가 대량의 작은 파일을 테일링하도록 구성되어 있는지 확인하세요. Kinesis 에이전트가 새 파일을 테일링할 때 지연이 발생하므로 Kinesis 에이전트는 소량의 대용량 파일을 추적합니다. 로그 파일을 더 큰 파일로 통합해 보세요.  | 
| java.lang.OutOfMemoryError 예외를 해결하려면 어떻게 해야 하나요? | Kinesis 에이전트에는 현재 워크로드를 처리할 메모리가 충분하지 않을 때 발생합니다. /usr/bin/start-aws-kinesis-agent의 JAVA\$1START\$1HEAP 및 JAVA\$1MAX\$1HEAP을 늘리고 에이전트를 다시 시작해 보세요. | 
| IllegalStateException : connection pool shut down 예외를 해결하려면 어떻게 해야 하나요? | Kinesis 에이전트에는 현재 워크로드를 처리할 연결이 충분하지 않습니다. /etc/aws-kinesis/agent.json에서 일반 에이전트 구성 설정의 maxConnections 및 maxSendingThreads를 늘려 보세요. 이 필드의 기본값은 제공되는 런타임 프로세서의 12배입니다. 고급 에이전트 구성 설정에 대한 자세한 내용은 [AgentConfiguration.java](https://github.com/awslabs/amazon-kinesis-agent/blob/master/src/com/amazon/kinesis/streaming/agent/config/AgentConfiguration.java)를 참조하세요. | 
| Kinesis 에이전트의 다른 문제는 어떻게 디버그할 수 있나요? | /etc/aws-kinesis/log4j.xml에서 DEBUG 레벨 로그를 활성화할 수 있습니다. | 
| Kinesis 에이전트는 어떻게 구성하나요? | maxBufferSizeBytes의 크기가 작을수록 Kinesis 에이전트는 더 자주 데이터를 전송합니다. 이렇게 하면 레코드의 전송 시간이 줄어 유용하지만, Kinesis에 대한 초당 요청 수가 증가합니다. | 
| 왜 Kinesis 에이전트가 중복 레코드를 보내나요? | 이 문제는 파일 테일링이 잘못 구성되어 발생합니다. fileFlow’s filePattern마다 매칭되는 파일은 하나뿐이어야 합니다. 사용 중인 logrotate 모드가 copytruncate 모드인 경우에도 이 문제가 발생할 수 있습니다. 모드를 기본 모드 또는 생성 모드로 변경하여 중복을 피하세요. 중복 레코드 처리에 대한 자세한 내용은 [중복 레코드 처리](https://docs.aws.amazon.com/streams/latest/dev/kinesis-record-processor-duplicates.html)를 참조하세요. |