문서 기록 - AWS Data Pipeline

AWS Data Pipeline 는 더 이상 신규 고객이 사용할 수 없습니다. 의 기존 고객은 평소와 같이 서비스를 계속 사용할 AWS Data Pipeline 수 있습니다. 자세히 알아보기

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

문서 기록

이 설명서는 AWS Data Pipeline의 2012-10-29 버전과 관련됩니다.

변경 사항 설명 릴리스 날짜
AWS Data Pipeline신규 고객은 더 이상 을 사용할 수 없음

AWS Data Pipeline신규 고객은 더 이상 를 사용할 수 없습니다. AWS Data Pipeline의 기존 고객은 정상적으로 서비스를 계속 이용할 수 있습니다. 자세히 알아보기

2025년 7월 25일
AWS CLI를 사용하여 특정 절차를 수행하기 위한 설명서가 추가되었습니다. AWS Data Pipeline 콘솔 관련 절차를 제거했습니다.

자세한 내용은 파이프라인 복제, 파이프라인 로그 보기, CLI를 사용하여 Data Pipeline 템플릿에서 파이프라인을 생성합니다. 섹션을 참조하세요.

2023년 5월 26일
AWS Data Pipeline에서 다른 대체 서비스로 마이그레이션하기 위한 콘텐츠와 샘플을 더 추가했습니다.

각 대안, 서비스 간의 개념 매핑, 샘플에 대한 추가 정보를 사용하여 AWS Data Pipeline를 AWS Glue, AWS Step Functions 또는 Amazon MWAA로 마이그레이션하기 위한 항목을 업데이트했습니다. 자세한 내용은 AWS Data Pipeline에서 워크로드 마이그레이션 섹션을 참조하세요.

2023년 3월 31일
IMDSv2 AWS Data Pipeline지원에 대한 정보가 추가되었습니다.

AWS Data Pipeline는 Amazon EMR 및 Amazon EC2 리소스에 대한 IMDSv2를 지원합니다. 자세한 내용은 AWS Data Pipeline의 데이터 보호, EmrCluster, Ec2Resource 섹션을 참조하세요.

2022년 12월 16일
AWS Data Pipeline에서 다른 대체 서비스로 마이그레이션하기 위한 항목을 추가했습니다.

이제 고객에게 더 나은 데이터 통합 경험을 제공하는 다른 AWS서비스가 있습니다. AWS Data Pipeline의 일반적인 사용 사례는 AWS Glue, AWSStep Functions 또는 Amazon MWAA로 마이그레이션할 수 있습니다. 자세한 내용은 AWS Data Pipeline에서 워크로드 마이그레이션 섹션을 참조하세요.

2022년 12월 16일

지원되는 Amazon EC2 및 Amazon EMR 인스턴스 목록이 업데이트되었습니다.

인스턴스에 사용된 HVM(Hardware Virtual Machine) AMI의 ID 목록이 업데이트되었습니다.

지원되는 Amazon EC2 및 Amazon EMR 인스턴스 목록이 업데이트되었습니다. 자세한 내용은 파이프라인 작업 활동에 대해 지원되는 인스턴스 유형 섹션을 참조하세요.

인스턴스에 사용된 HVM(Hardware Virtual Machine) AMI의 ID 목록이 업데이트되었습니다. 자세한 내용은 구문imageId 검색을 참조하세요.

2018년 11월 9일
Amazon EBS 볼륨을 클러스터 노드에 붙이기 위한 구성과 Amazon EMR 클러스터를 프라이빗 서브넷에서 실행하기 위한 구성이 추가되었습니다.

구성 옵션이 EMRcluster 객체에 추가되었습니다. Amazon EMR 클러스터를 사용하는 파이프라인에서 이러한 옵션을 사용할 수 있습니다.

coreEbsConfiguration, masterEbsConfigurationTaskEbsConfiguration필드를 사용하여 Amazon EBS 볼륨을 Amazon EMR 클러스터의 코어, 마스터 및 태스크 노드에 첨부하는 작업을 구성합니다. 자세한 내용은 클러스터 노드에 EBS 볼륨 연결 섹션을 참조하세요.

emrManagedMasterSecurityGroupId, emrManagedSlaveSecurityGroupIdServiceAccessSecurityGroupId필드를 사용하여 프라이빗 서브넷에서 Amazon EMR 클러스터를 구성합니다. 자세한 내용은 프라이빗 서브넷에서 Amazon EMR 클러스터 구성 섹션을 참조하세요.

EMRcluster 구문에 대한 자세한 내용은 EmrCluster 항목을 참조하세요.

2018년 4월 19일
지원되는 Amazon EC2 및 Amazon EMR 인스턴스 목록이 추가되었습니다.

파이프라인 정의에서 인스턴스 유형을 지정하지 않는 경우 AWS Data Pipeline에서 기본적으로 생성하는 인스턴스 목록이 추가되었습니다. 지원되는 Amazon EC2 및 Amazon EMR 인스턴스 목록이 추가되었습니다. 자세한 내용은 파이프라인 작업 활동에 대해 지원되는 인스턴스 유형 섹션을 참조하세요.

2018년 3월 22일
온디맨드 파이프라인의 지원이 추가되었습니다.
  • 온디맨드 파이프라인의 지원이 추가되어, 다시 활성화하여 파이프라인을 다시 실행할 수 있습니다.

2016년 2월 22일
RDS 데이터베이스의 추가 지원
  • rdsInstanceId, regionjdbcDriverJarUriRdsDatabase에 추가되었습니다.

  • databaseSqlActivity가 업데이트되어 RdsDatabase도 지원됩니다.

2015년 8월 17일
추가 JDBC 지원
2015년 7월 7일
HadoopActivity, 가용 영역 및 스팟 지원
  • Hadoop 클러스터로 병렬 작업을 제출하는 지원이 추가되었습니다. 자세한 내용은 HadoopActivity 섹션을 참조하세요.

  • Ec2ResourceEmrCluster로 스팟 인스턴스를 요청하는 기능이 추가되었습니다.

  • 지정된 가용 영역에서 EmrCluster 리소스를 시작하는 기능이 추가되었습니다.

2015년 6월 1일
파이프라인 비활성화

활성 파이프라인을 비활성화하는 지원이 추가되었습니다. 자세한 내용은 파이프라인 비활성화 섹션을 참조하세요.

2015년 4월 7일
템플릿 및 콘솔 업데이트

새 템플릿이 추가되었습니다. [Getting Started with ShellCommandActivity] 템플릿을 사용하는 '시작하기' 장이 업데이트되었습니다. 자세한 내용은 CLI를 사용하여 Data Pipeline 템플릿에서 파이프라인을 생성합니다. 섹션을 참조하세요.

2014년 11월 25일
VPC 지원

가상 프라이빗 클라우드(VPC)에서 리소스를 시작하는 지원이 추가되었습니다.

2014년 3월 12일
리전 지원

여러 서비스 리전의 지원이 추가되었습니다. us-east-1 외에 AWS Data Pipeline, eu-west-1, ap-northeast-1ap-southeast-2에서도 us-west-2이 지원됩니다.

2014년 2월 20일
Amazon Redshift 지원

새 콘솔 템플릿(Redshift로 복사)과 템플릿 시연 자습서를 포함해 AWS Data Pipeline에서 Amazon Redshift에 대한 지원이 추가되었습니다. 자세한 내용은 AWS Data Pipeline를 사용하여 데이터를 Amazon Redshift로 복사, RedshiftDataNode, RedshiftDatabaseRedshiftCopyActivity 부분을 참조하세요.

2013년 11월 6일
PigActivity

Pig 네이티브 지원을 제공하는 PigActivity가 추가되었습니다. 자세한 내용은 PigActivity 섹션을 참조하세요.

2013년 10월 15일
새로운 콘솔 템플릿, 활동 및 데이터 형식

새로운 HiveCopyActivity 및 DynamoDBExportDataFormat을 포함하는 새로운 CrossRegion DynamoDB Copy 콘솔 템플릿이 추가되었습니다.

2013년 8월 21일
캐스케이드 실패 및 재실행

AWS Data Pipeline 캐스케이드 실패 및 재실행 동작에 관한 정보가 추가되었습니다. 자세한 내용은 캐스케이드 실패 및 재실행 섹션을 참조하세요.

2013년 8월 8일
문제해결 동영상

AWS Data Pipeline 기본 문제해결 동영상이 추가되었습니다. 자세한 내용은 문제 해결 섹션을 참조하세요.

2013년 7월 17일
활성 파이프라인 편집

활성 파이프라인 편집 및 파이프라인 구성요소 재실행에 관한 자세한 내용이 추가되었습니다. 자세한 내용은 파이프라인 편집 섹션을 참조하세요.

2013년 7월 17일
서로 다른 리전에서 리소스 사용

서로 다른 리전에서 리소스를 사용하는 것에 관한 자세한 내용이 추가되었습니다. 자세한 내용은 여러 리전의 리소스와 파이프라인 사용 섹션을 참조하세요.

2013년 6월 17일
WAITING_ON_DEPENDENCIES 상태

CHECKING_PRECONDITIONS 상태가 WAITING_ON_DEPENDENCIES로 변경되었고, 파이프라인 객체의 @waitingOn 실행 시간 필드가 추가되었습니다.

2013년 5월 20일
DynamoDBDataFormat

DynamoDBDataFormat 템플릿이 추가되었습니다.

2013년 4월 23일
웹 로그 처리 동영상 및 스팟 인스턴스 지원

"AWS Data Pipeline, Amazon EMR 및 Hive로 웹 로그 처리" 동영상과 Amazon EC2 스팟 인스턴스 지원이 소개되었습니다.

2013년 2월 21일

AWS Data Pipeline 개발자 안내서 최초 릴리스.

2012년 12월 20일