ドキュメント履歴

AWS Data Pipeline新規のお客様への の提供は終了しました。AWS Data Pipeline の既存のお客様は、通常どおりサービスを引き続き使用できます。詳細

詳細についてはパイプラインのクローン作成、パイプラインのログの表示、およびCLI を使用して Data Pipeline テンプレートからパイプラインを作成するを参照してください。

AWS Step Functions、AWS GlueまたはAmazon MWAAへのAWS Data Pipelineの移行に関するトピックを更新し、それぞれの代替方法、サービス間のコンセプトマッピング、およびサンプルに関する詳細情報を追加しました。詳細については、「AWS Data Pipelineからのワークロードの移行」を参照してください。

AWS Data Pipeline は、Amazon EMR および Amazon EC2 リソースの IMDSv2 をサポートします。詳細についてはAWS Data Pipeline でのデータ保護、EmrCluster、およびEc2Resourceを参照してください。

現在、お客様により優れたデータ統合エクスペリエンスを提供するAWSサービスが他にもあります。AWS Data Pipelineの一般的なユースケースは、AWS Glue、AWSStep FunctionsまたはAmazon MWAAのいずれかに移行できます。詳細については、「AWS Data Pipelineからのワークロードの移行」を参照してください。

サポートされているAmazon EC2およびAmazon EMRインスタンスのリストを更新しました。

インスタンスに使用されているハードウェア仮想マシン（HVM）AMIのIDのリストを更新しました。

サポートされているAmazon EC2およびAmazon EMRインスタンスのリストを更新しました。詳細については、「パイプラインの作業アクティビティ用にサポートされているインスタンスタイプ」を参照してください。

インスタンスに使用されているハードウェア仮想マシン（HVM）AMIのIDのリストを更新しました。詳細については、「構文」を参照し、imageIdを検索してください。

EMRcluster オブジェクトに設定オプションを追加しました。これらのオプションは、Amazon EMRクラスターを使用するパイプラインで使用できます。

Amazon EMRクラスターのコア、マスター、タスクの各ノードに対するAmazon EBSボリュームのアタッチを設定するには、coreEbsConfiguration、masterEbsConfiguration、TaskEbsConfigurationの各フィールドを使用します。詳細については、「クラスターノードに EBS ボリュームをアタッチする」を参照してください。

Amazon EMRクラスターをプライベートサブネットで設定するには、emrManagedMasterSecurityGroupId、emrManagedSlaveSecurityGroupId、ServiceAccessSecurityGroupIdの各フィールドを使用します。詳細については、「プライベートサブネットでの Amazon EMR クラスターの設定」を参照してください。

EMRcluster 構文の詳細については、「EmrCluster」を参照してください。

パイプライン定義にインスタンスタイプを指定しなかった場合に、AWS Data Pipelineでデフォルトで作成されるインスタンスのリストを追加しました。サポートされているAmazon EC2およびAmazon EMRインスタンスのリストを追加しました。詳細については、「パイプラインの作業アクティビティ用にサポートされているインスタンスタイプ」を参照してください。

アクティブなパイプラインの非アクティブ化のサポートが追加されました。詳細については、「パイプラインの非アクティブ化」を参照してください。

新しいテンプレートを追加しました。[Getting Started with ShellCommandActivity]テンプレートを使用するように、使用開始のセクションを更新しました。詳細については、「CLI を使用して Data Pipeline テンプレートからパイプラインを作成する」を参照してください。

Virtual Private Cloud (VPC)でリソースを起動するためのサポートを追加しました。

複数サービスリージョンのサポートを追加しました。us-east-1に加えて、eu-west-1、ap-northeast-1、ap-southeast-2、およびus-west-2でAWS Data Pipelineがサポートされています。

AWS Data PipelineにAmazon Redshiftのサポートを追加しました。これには、新しいコンソールテンプレート（Copy to Redshift）と、このテンプレートの使い方を示すチュートリアルが含まれています。詳細については、「AWS Data Pipeline を使用した Amazon Redshift へのデータのコピー」、「RedshiftDataNode」、「RedshiftDatabase」、および「RedshiftCopyActivity」を参照してください。

PigActivityが追加されました。Pigのネイティブサポートを提供します。詳細については、「PigActivity」を参照してください。

新しい HiveCopyActivityやDynamoDBExportDataFormatを含め、新しい[CrossRegion DynamoDB Copy]コンソールテンプレートが追加されました。

AWS Data Pipelineによる失敗のカスケードと再実行の動作に関する情報を追加しました。詳細については、「カスケードの失敗と再実行」を参照してください。

AWS Data Pipelineの基本的なトラブルシューティングの動画を追加しました。詳細については、「トラブルシューティング」を参照してください。

アクティブなパイプラインの編集およびパイプラインコンポーネントの再実行に関する詳細情報が追加されました。詳細については、「パイプラインの編集」を参照してください。

異なるリージョン内のリソースの使用に関する詳細情報を追加しました。詳細については、「複数のリージョンにあるリソースとパイプラインの使用」を参照してください。

CHECKING_PRECONDITIONSステータスは WAITING_ON_DEPENDENCIESに変更され、パイプラインオブジェクトの@waitingOn実行時フィールドが追加されました。

DynamoDBDataFormatテンプレートを追加しました。

「AWS Data Pipeline、Amazon EMR、およびHiveでウェブログを処理する」という動画と、Amazon EC2スポットインスタンスのサポートを紹介しました。

『AWS Data Pipeline 開発者ガイド』の初回リリース。