S3DistCp (s3-dist-cp)

コピーするデータのロケーション。HDFS または Amazon S3 ロケーションのいずれかを指定できます。

例:‑‑src=s3://amzn-s3-demo-bucket/logs/j-3GYXXXXXX9IOJ/node

データのコピー先。HDFS または Amazon S3 ロケーションのいずれかを指定できます。

例:‑‑dest=hdfs:///output

‑‑src でのデータのサブセットへのコピー操作をフィルタリングする正規表現。‑‑srcPattern と ‑‑groupBy がどちらも指定されていない場合は、‑‑src のすべてのデータが ‑‑dest にコピーされます。

正規表現の引数にアスタリスク（*）などの特殊文字が含まれる場合は、正規表現または ‑‑args 文字列全体のいずれかを引用符（'）で囲む必要があります。

例:‑‑srcPattern=.*daemons.*-hadoop-.*

複数のファイルを統合する正規表現。この表現に一致するファイルが S3DistCp によって統合されます。たとえば、このオプションを使用すると、1 時間で書き込まれたすべてのログファイルを 1 つのファイルに統合できます。統合されたファイル名は、グループ化のためのこの正規表現と一致する値になります。

括弧は、ファイルをグループ化する方法を示しています。括弧で囲まれたステートメントと一致するすべての項目が 1 つの出力ファイルに統合されます。正規表現に括弧で囲まれたステートメントが含まれない場合、クラスターは S3DistCp ステップで失敗し、エラーを返します。

正規表現の引数にアスタリスク（*）などの特殊文字が含まれる場合は、正規表現または ‑‑args 文字列全体のいずれかを引用符（'）で囲む必要があります。

‑‑groupBy が指定されている場合は、指定されたパターンと一致するファイルのみがコピーされます。‑‑groupBy と ‑‑srcPattern は同時に指定する必要はありません。

例:‑‑groupBy=.*subnetid.*([0-9]+-[0-9]+-[0-9]+-[0-9]+).*

‑‑groupBy オプションに基づいて作成するファイルのサイズ（メビバイト（Mib）単位）。整数の値である必要があります。‑‑targetSize が設定されている場合、S3DistCp はファイルのサイズをこの値に合わせようとしますが、コピーされたファイルの実際のサイズは、この値より大きかったり小さかったりする場合があります。ジョブはデータファイルのサイズに基づいて集計されるため、ターゲットファイルサイズがソースデータファイルのサイズに一致する場合があります。

‑‑groupBy によって統合されたファイルが ‑‑targetSize の値よりも大きい場合、そのファイルはパートファイルに分割され、それぞれのファイル名の末尾に数値が順番に付けられます。たとえば、myfile.gz に統合されたファイルは、myfile0.gz、myfile1.gz などにパートに分割されます。

例:‑‑targetSize=2

Amazon S3 から HDFS へ既存するファイルをコピーする際の S3DistCp の動作を指定します。既存のファイルに新しいファイルのデータが追加されます。‑‑appendToLastFile を指定して ‑‑groupBy を使用すると、新しいデータは同じグループのファイルに追加されます。このオプションは、‑‑targetSize を ‑‑groupBy. を指定して使用した動作にも順守しています。

コピーされたファイルで使用する圧縮コーデックを指定します。値としては gzip、gz、lzo、snappy、または none をとることができます。このオプションを使用すると、たとえば、Gzip で圧縮された入力ファイルを LZO 圧縮の出力ファイルに変換したり、コピーオペレーションの一環としてファイルを解凍したりできます。出力コーデックを選択した場合、ファイル名には適切な拡張子（gz や gzip など。拡張子は .gz）が付加されます。‑‑outputCodec の値を指定しない場合、圧縮に変更が加えられずにファイルがコピーされます。

例:‑‑outputCodec=lzo

ターゲットデータが SSL を使って転送され、AWS サービス側キーを使用して Amazon S3 で自動的に暗号化されるようにします。S3DistCp を使用してデータを取得するとき、オブジェクトは自動的に暗号化解除されます。暗号化されていないオブジェクトを、暗号化が必要な Amazon S3 バケットにコピーしようとすると、操作は失敗します。詳細については、「データ暗号化の使用」を参照してください。

例:‑‑s3ServerSideEncryption

コピーオペレーションが成功すると、このオプションにより、S3DistCp がコピーされたファイルをコピー元の場所を削除します。このオプションは、スケジュールされたタスクとして、ログファイルなどの出力ファイルを、あるロケーションから他のロケーションにコピーするときに役立ちます。これにより、同じファイルを 2 回コピーせずに済むようになります。

例:‑‑deleteOnSuccess

マルチパートアップロードの使用を無効にします。

例:‑‑disableMultipartUpload

Amazon S3 マルチパートアップロードでの各パートサイズ (MiB 単位)。S3DistCp では、multipartUploadChunkSize より大きいデータをコピーする場合、マルチパートアップロードが使用されます。ジョブのパフォーマンスを向上させるには、各パートサイズを大きく設定します。デフォルトのサイズは 128 MiB です。

例:‑‑multipartUploadChunkSize=1000

出力ファイル名の先頭に通し番号を付けます。‑‑startingIndex で別の値を指定しない限り、番号は 0 で開始されます。

例:‑‑numberFiles

‑‑numberFiles とともに使用され、通し番号の開始値を指定します。

例:‑‑startingIndex=1

Gzip で圧縮されたテキストファイルを作成します。このテキストファイルには、S3DistCp によってコピーされたすべてのファイルのリストが含まれます。

例:‑‑outputManifest=manifest-1.gz

‑‑outputManifest フラグを使用して S3DistCp への以前の呼び出し中に作成されたマニフェストファイルを読み込みます。この ‑‑previousManifest フラグが設定されている場合、このマニフェストにリストされているファイルは S3DistCp のコピーオペレーションから除外されます。‑‑outputManifest と共に ‑‑previousManifest が指定されている場合、新しいマニフェストファイルには、以前のマニフェストにリストされているファイルも表示されます。ただし、そのファイルはコピーされません。

例:‑‑previousManifest=/usr/bin/manifest-1.gz

以前の S3DistCp の呼び出し中に作成したマニフェストファイルが必要です。これが false に設定されている場合、以前のマニフェストが指定されていないときにエラーが生成されません。デフォルトは true です。

‑‑previousManifest の逆を行い、S3DistCp において、指定したマニフェストファイルを、コピーから除外するファイルのリストではなく、コピーするファイルのリストとして使用します。

例:‑‑copyFromManifest ‑‑previousManifest=/usr/bin/manifest-1.gz

ファイルをアップロードするときに使用する Amazon S3 エンドポイントを指定します。このオプションは、アップロード元とアップロード先の両方のエンドポイントを設定します。設定しない場合は、デフォルトのエンドポイント s3.amazonaws.com が使用されます。Amazon S3 エンドポイントの一覧は、「リージョンとエンドポイント」を参照してください。

例:‑‑s3Endpoint=s3.eu-west-1.amazonaws.com

送信先が Amazon S3 のときに使用するストレージクラス。有効な値は、STANDARD と REDUCED_REDUNDANCY です。このオプションを指定しない場合、S3DistCp はストレージクラスを維持しようとします。

例:‑‑storageClass=STANDARD

src プレフィックスのリスト (1 行ごとにプレフィックスが 1 つずつ) を含む Amazon S3 (s3://)、HDFS (hdfs:///)、またはローカルファイルシステム (file:/) 内のテキストファイル。

srcPrefixesFile が提供されている場合、S3DistCp は src パスをリストしません。代わりに、このファイルで指定されたすべてのプレフィックスをリストした結果を組み合わせたソースリストを生成します。これらのプレフィックスの代わりに、src パスに対する相対パスを使用して宛先パスが生成されます。srcPattern も指定された場合、入力をさらにフィルタリングするため、ソースプレフィックスを組み合わせたリスト結果に適用されます。copyFromManifest が使用された場合、マニフェストのオブジェクトがコピーされ、srcPrefixesFile が無視されます。

例:‑‑srcPrefixesFile=PATH