翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
# HDFS クラスターを使用した AWS DataSync 転送の設定
では AWS DataSync、ベーシックモードタスクを使用して、Hadoop Distributed File System (HDFS) クラスターと次のいずれかの AWS ストレージサービス間でデータを転送できます。
+ [Amazon S3](create-s3-location.md)
+ [Amazon EFS](create-efs-location.md)
+ [Amazon FSx for Windows File Server](create-fsx-location.md)
+ [Amazon FSx for Lustre](create-lustre-location.md)
+ [Amazon FSx for OpenZFS](create-openzfs-location.md)
+ [Amazon FSx for NetApp ONTAP](create-ontap-location.md)
このタイプの転送を設定するには、HDFS クラスターの[ロケーション](how-datasync-transfer-works.md#sync-locations)を作成します。このロケーションは送信元または送信先として使用できます。
## DataSync に対する HDFS クラスターへのアクセス許可の付与
HDFS クラスターに接続するために、DataSync は HDFS クラスターにできるだけ近い[場所にデプロイする](deploy-agents.md)ベーシックモードエージェントを使用します。DataSync エージェントは HDFS クライアントとして機能し、クラスター内の NameNodes および DataNodes と通信します。
転送タスクを開始すると、DataSync はクラスター上のファイルとフォルダのロケーションを NameNode に照会します。HDFS のロケーションを送信元として設定している場合、DataSync はクラスター内の DataNodes からファイルとフォルダのデータを読み取り、これを送信先にコピーします。HDFS のロケーションを送信先として設定している場合、DataSync は送信元からクラスター内の DataNodes にファイルとフォルダを書き込みます。
### 認証
HDFS クラスターに接続する場合、DataSync は簡易認証または Kerberos 認証をサポートします。簡易認証を使用するには、HDFS クラスターに対する読み書き権限をユーザーのユーザー名に指定します。Kerberos 認証を使用するには、Kerberos 設定ファイル、Kerberos キーテーブル (キータブ) ファイル、および Kerberos プリンシパル名を指定します。Kerberos プリンシパルの認証情報は、指定されたキータブ ファイル にある必要があります。
### 暗号化
Kerberos 認証を使用する場合、DataSync は DataSync エージェントと HDFS クラスター間で送信されるデータの暗号化をサポートします。HDFS クラスターの [保護の品質 (QOP)] 設定を使用し、HDFS のロケーションの作成時に QOP 設定を指定することにより、データを暗号化します。QOP 設定には、データ転送保護とリモートプロシージャコール (RPC) 保護の設定が含まれます。
**DataSync は、次の Kerberos 暗号化タイプをサポートしています。**
+ `des-cbc-crc`
+ `des-cbc-md4`
+ `des-cbc-md5`
+ `des3-cbc-sha1`
+ `arcfour-hmac`
+ `arcfour-hmac-exp`
+ `aes128-cts-hmac-sha1-96`
+ `aes256-cts-hmac-sha1-96`
+ `aes128-cts-hmac-sha256-128`
+ `aes256-cts-hmac-sha384-192`
+ `camellia128-cts-cmac`
+ `camellia256-cts-cmac`
また、Transparent Data Encryption (TDE) を使用して、暗号化の HDFS クラスターを安心して設定できます。簡易認証を使用する場合、DataSync は TDE 対応クラスターへの読み書きを行います。DataSync を使用して TDE 対応クラスターにデータをコピーする場合は、まず HDFS クラスターの暗号化ゾーンを設定します。DataSync は暗号化ゾーンを作成しません。
## サポートされない HDFS 機能
次の HDFS の機能は、現在 DataSync でサポートされていません。
+ Kerberos 認証を使用する場合の Transparent Data Encryption (TDE)
+ 複数の NameNode の設定
+ Hadoop HDFS over HTTP (httpFS)
+ POSIX アクセスコントロールリスト (ACL)
+ HDFS 拡張属性 (xattrs)
+ Apache HBase を使用した HDFS クラスター
## HDFS の転送ロケーションの作成
ユーザーは自分のロケーションを DataSync の送信元または送信先として使用できます。
**開始する前に**: 以下を実行して、エージェントと Hadoop クラスター間のネットワーク接続を確認してください。
+ [オンプレミス、セルフマネージド、その他のクラウドストレージのネットワーク要件](datasync-network.md#on-premises-network-requirements) に示されている TCP ポートへのアクセスをテストします。
+ ローカルエージェントと Hadoop クラスター間のアクセスをテストします。手順については、「[エージェントとストレージシステムとの接続の検証](test-agent-connections.md#self-managed-storage-connectivity)」を参照してください。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[ロケーション]** と **[ロケーションの作成]** を選択します。
1. **[ロケーションタイプ]** には、**[Hadoop 分散ファイルシステム (HDFS)]** を選択します。
後でこのロケーションを送信元あるいは送信先として設定することができます。
1. **[エージェント]** で、ご使用の HDFS クラスターに接続できるエージェントを選択します。
エージェントは複数選択できます。詳細については、「[複数の DataSync エージェントの使用](do-i-need-datasync-agent.md#multiple-agents)」を参照してください。
1. **[NameNode]** で、HDFS クラスターのプライマリ NameNode のドメイン名または IP アドレスを指定します。
1. **[フォルダ]** に、DataSync でデータ転送に使用する HDFS クラスター上のフォルダを入力します。
HDFS ロケーションが送信元である場合、DataSync はこのフォルダ内のファイルを送信先にコピーします。HDFS ロケーションが送信先である場合、DataSync はこのフォルダ内にファイルを書き込みます。
1. **ブロックサイズ**または**レプリケーション係数**を設定するには、**追加設定**を選択します。
デフォルトのブロックサイズは 128 MiB です。指定するブロックサイズは 512 バイトの倍数にします。
HDFS クラスターに転送を行うときの、デフォルトのレプリケーション係数は、3 つの DataNodes です。
1. [**Security (セキュリティ)**] セクションで、HDFS クラスターで使用する**認証タイプ**を選択します。
+ **シンプル** – **[ユーザー]** に、HDFS クラスターで次の権限を持つユーザーの名前を指定します (ユースケースによって異なります)。
+ このロケーションを転送元ロケーションとして使用する予定の場合は、読み取り権限のみを持つユーザーを指定してください。
+ このロケーションを転送先ロケーションとして使用する場合は、読み取り権限と書き込み権限を持つユーザーを指定してください。
必要に応じて、HDFS クラスターのキー管理サーバー (KMS) の URI を指定します。
+ **Kerberos** – HDFS クラスターにアクセスできる Kerberos **プリンシパル**を指定します。次に、指定した Kerberos プリンシパルを含む **KeyTab ファイル**を指定します。次に、**Kerberos 設定ファイル**を指定します。最後に、**RPC 保護**と**データ転送保護**ドロップダウンリストで転送中の暗号化の種類を指定します。
1. (オプション) **[タグを追加]** を選択して HDFS ロケーションにタグ付けします。
*タグ*は、ロケーションの管理、フィルタリング、検索に役立つキーバリューペアです。少なくとも場所の名前タグを作成することを推奨します。
1. **[ロケーションを作成]** を選択します。
### の使用 AWS CLI
1. 次の `create-location-hdfs` コマンドをコピーします。
```
aws datasync create-location-hdfs --name-nodes [{"Hostname":"host1", "Port": 8020}] \
--authentication-type "SIMPLE|KERBEROS" \
--agent-arns [arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890example] \
--subdirectory "/path/to/my/data"
```
1. `--name-nodes` パラメータには、HDFS クラスターのプライマリ NameNode のホスト名または IP アドレスと、NameNode がリッスンしている TCP ポートを指定します。
1. `--authentication-type` パラメータには、Hadoop クラスターに接続するときに使用する認証のタイプを指定します。`SIMPLE` または `KERBEROS` を指定できます。
`SIMPLE`認証を使用した場合、`--simple-user`パラメータを使用して、ユーザーのユーザー名を指定します。`KERBEROS`認証を使用した場合、`--kerberos-principal`,`--kerberos-keytab`, および`--kerberos-krb5-conf`パラメータを使用します。詳細については、「[create-location-hdfs](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/datasync/create-location-hdfs.html)」を参照してください。
1. `--agent-arns` パラメータについては、HDFS クラスターに接続できる DataSync エージェントの Amazon リソースネーム (ARN) を指定します。
エージェントは複数選択できます。詳細については、「[複数の DataSync エージェントの使用](do-i-need-datasync-agent.md#multiple-agents)」を参照してください。
1. (オプション) `--subdirectory` パラメータで、データ転送に DataSync で使用する HDFS クラスター上のフォルダを指定します。
HDFS ロケーションが送信元である場合、DataSync はこのフォルダ内のファイルを送信先にコピーします。HDFS ロケーションが送信先である場合、DataSync はこのフォルダ内にファイルを書き込みます。
1. `create-location-hdfs` コマンドを実行します。
コマンドが成功すると、作成した場所の ARN を示す応答が返されます。例えば、次のようになります。
```
{
"arn:aws:datasync:us-east-1:123456789012:location/loc-01234567890example"
}
```