翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Microsoft Azure Blob Storage を使用した転送の設定
を使用すると AWS DataSync、 Microsoft Azure Blob Storage (BLOB ストレージを含む) Azure Data Lake Storage Gen2 と次の AWS ストレージサービスとの間でデータを転送できます。
このような転送を設定するには、Azure Blob Storage に場所を作成する必要があります。このロケーションを送信元または送信先として使用できます。
Azure Blob Storage への DataSync アクセスの提供
DataSync が Azure Blob Storage にアクセスする方法は、Blob Storage に転送するか、Blob Storage から転送するか、使用する共有アクセス署名 (SAS) トークンの種類など、いくつかの要因によって異なります。また、オブジェクトは DataSync が処理できるアクセス層にある必要があります。
SAS トークン
SAS トークンは Blob ストレージのアクセス許可を指定します。(SAS の詳細については、「Azure Blob Storageドキュメンテーション
SAS トークンを生成して、さまざまなレベルのアクセスを提供できます。DataSync は、以下のアクセスレベルのトークンをサポートします。
-
アカウント
-
コンテナ
DataSync に必要なアクセス権限は、トークンの範囲によって異なります。適切なアクセス許可がないと、転送が失敗する可能性があります。たとえば、タグ付きのオブジェクトを Azure Blob Storage に移動しようとしても、SAS トークンにタグ権限がない場合、転送は成功しません。
アカウントレベルのアクセスのための SAS トークンアクセス許可
DataSync には、以下の権限を持つアカウントレベルのアクセストークンが必要です (Azure Blob Storage に、またから転送するかどうかによって異なります)。
SAS トークンのコンテナレベルのアクセス許可
DataSync には、以下の権限を持つコンテナレベルのアクセストークンが必要です (Azure Blob Storage に、またから転送するかどうかによって異なります)。
SAS 有効期限ポリシー
転送が完了する前に SAS の有効期限が切れないように注意してください。SAS 有効期限ポリシーの構成の詳細については、「Azure Blob Storageドキュメント
転送中に SAS の有効期限が切れる場合、DataSync は Azure Blob Storage 場所にアクセスできなくなります。(「ディレクトリを開くことができませんでした
」というエラーが表示される場合があります)。このような場合は、新しい SAS トークンでロケーションを更新し、DataSync タスクを再開してください。
アクセス層
Azure Blob Storage からの転送時に、DataSync はホット層とクール層のオブジェクトをコピーすることができます。アーカイブアクセス層のオブジェクトについては、コピーする前にホット層またはクール層にこれらのオブジェクトをリハイドレートする必要があります。
Azure Blob Storage への転送時に、DataSync はオブジェクトをホット、クール、アーカイブのアクセス層にコピーすることができます。オブジェクトをアーカイブアクセス層にコピーする場合、コピー先のすべてのデータを検証しようとしても、DataSync は転送を検証することができません。
DataSync はコールドアクセス層をサポートしていません。各アクセス層の詳細については、「Azure Blob Storageドキュメント
Azure Blob Storage 転送に関する考慮事項
DataSync で Azure Blob Storage とのデータ転送を計画している場合、注意すべき点がいくつかあります。
コスト
Azure Blob Storage へ、またからデータを移動することによる料金には、次のようなものがあります。
-
Azure 仮想マシン (VM)
の実行 (DataSync エージェントを Azure にデプロイしている場合) -
Amazon EC2
インスタンスの実行 ( AWS内の VPC に DataSync エージェントをデプロイする場合) -
DataSync
を使用してデータを転送することには、Azure Blob Storage と Amazon S3 に関連するリクエスト料金を含みます (S3 が転送場所の 1 つである場合) -
Azure Blob Storage
へ、またはからデータを転送すること -
DataSync がサポートする AWS ストレージサービスへのデータの保存
BLOB 型
DataSync が BLOB 型でどのように機能するかは、Azure Blob Storage が転送先か転送元かによって異なります。データを BLOB ストレージに移動する場合、DataSync が転送するオブジェクトまたはファイルはブロック BLOB のみです。BLOB ストレージからデータを移動する場合、DataSync はブロック、ページ、および追加 BLOB を転送できます。
BLOB 型の詳細については、「Azure Blob Storageドキュメント
AWS リージョン の可用性
DataSync がサポートする任意のAWS リージョン に Azure Blob Storage 転送場所を作成できます。
オブジェクトタグのコピー
DataSyncが Azure Blob Storage との間で転送する際にオブジェクトタグを保持できるかどうかは、以下の要因に決定されます。
-
オブジェクトのタグのサイズ — DataSync は 2KB を超えるタグを持つオブジェクトを転送できません。
-
DataSync がオブジェクトタグをコピーするように設定されているかどうか — DataSync はデフォルトでオブジェクトタグをコピーします。
-
Azure ストレージアカウントが使用する名前空間:DataSync は、Azure ストレージアカウントがフラット名前空間を使用している場合はオブジェクトタグをコピーできますが、アカウントが階層型名前空間 (Azure Data Lake Storage Gen2 の機能) を使用している場合はコピーできません。オブジェクトタグをコピーしようとして、ストレージアカウントが階層型名前空間を使用している場合、DataSync タスクは失敗します。
-
SAS トークンがタグ付けを許可するかどうか:オブジェクトタグのコピーに必要な権限は、トークンが提供するアクセスレベルによって異なります。オブジェクトタグをコピーしようとして、トークンにタグ付けに必要なアクセス許可がないと、タスクは失敗します。詳細については、「アカウントレベルのアクセストークン」または「コンテナレベルのアクセストークン」のアクセス許可の要件を確認してください。
Amazon S3 への転送
Amazon S3 に転送する際、DataSync は 5 TB を超える Azure Blob Storage オブジェクトや 2 KB を超えるメタデータを持つオブジェクトを転送しません。
転送先のディレクトリの削除
Azure Blob Storage への転送時に、DataSync は転送元に存在しない BLOB ストレージ内のオブジェクトを削除できます。(このオプションは、DataSync コンソールの [削除したファイルを保持する] 設定をクリアすることで設定できます。SAS トークンには削除アクセス許可も必要です。)
このように転送を設定しても、Azure ストレージアカウントが階層型名前空間を使用している場合、DataSync は Blob ストレージ内のディレクトリを削除しません。この場合、ディレクトリは手動で (たとえば、Azure Storage Explorer
制限
以下は、Azure Blob Storage との間でデータを転送する際の制限です。
-
DataSync は、転送を容易にするため、ある場所にいくつかのディレクトリを作成します。Azure Blob Storage が転送先であり、ストレージアカウントが階層型名前空間をしている場合、
/.aws-datasync
フォルダ内にタスク固有のサブディレクトリ (task-000011112222abcde
など) があることに気付くことがあります。DataSync は通常、転送後にこれらのサブディレクトリを削除します。削除されない場合は、タスクが実行されていない限り、これらのタスク固有のディレクトリを自分で削除できます。 -
DataSync は、SAS トークンを使用して Azure Blob Storage コンテナ内の特定のフォルダにのみアクセスすることをサポートしていません。
-
blob ストレージにアクセスするためのユーザー委任 SAS トークンを DataSync に提供することはできません。
DataSync エージェントの作成
開始するには、Azure Blob Storage コンテナに接続できる DataSync エージェントを作成する必要があります。このプロセスには、エージェントのデプロイとアクティベーションが含まれます。
ヒント
Amazon EC2 インスタンスにエージェントをデプロイすることもできますが、Microsoft Hyper-V エージェントを使用するとネットワークレイテンシーが減少し、データ圧縮率が高くなる可能性があります。
DataSync エージェントは Microsoft Hyper-V イメージを使って Azure に直接デプロイできます。
ヒント
次に進む前に、Azure に Hyper-V エージェントをより迅速にデプロイするのに役立つシェルスクリプトの使用を検討してください。GitHub
スクリプトを使用する場合は、「エージェントのアクティベーションキーの取得」に関するセクションまでスキップできます。
前提条件
DataSync エージェントを準備して Azure にデプロイするには、次の操作を行う必要があります。
-
Hyper-V をローカルマシンで有効にします。
-
PowerShell
をインストールします (Hyper-V Module を含む)。 -
Azure CLI
をインストールします。 -
AzCopy
をインストールします。
エージェントのダウンロードと準備
DataSync コンソールからエージェントをダウンロードします。Azure でエージェントをデプロイする前に、エージェントを固定サイズの仮想ハードディスク (VHD) に変換する必要があります。詳細については、Azure のドキュメント
エージェントをダウンロードして準備するには
https://console.aws.amazon.com/datasync/
で AWS DataSync コンソールを開きます。 -
左側のナビゲーションペインから、[エージェント] を選択し、[エージェントの作成] を選択します。
-
[Hypervisor] の場合は、[Microsoft Hyper-V] を選択し、次に [イメージのダウンロード] を選択します。
エージェントは
.vhdx
ファイルを含む.zip
ファイルをダウンロードします。 -
ローカルマシンで
.vhdx
ファイルを抽出します。 -
PowerShell を開いて、以下の操作を行います。
-
以下の
Convert-VHD
コマンドレットをコピーします。Convert-VHD -Path .\
local-path-to-vhdx-file
\aws-datasync-2.0.1686143940.1-x86_64.xfs.gpt.vhdx ` -DestinationPath .\local-path-to-vhdx-file
\aws-datasync-2016861439401-x86_64.vhd -VHDType Fixed -
の各インスタンスを、ローカルマシン上のlocal-path-to-vhdx-file
.vhdx
ファイルの場所に置き換えます。 -
コマンドを実行します。
これで、エージェントは固定サイズの VHD (
.vhd
ファイル形式) になり、Azure にデプロイする準備が整いました。 -
Azure にエージェントをデプロイする
Azure に DataSync エージェントをデプロイするには、以下が必要です。
-
Azure でマネージドディスクを作成します
-
エージェントをそのマネージドディスクにアップロードします
-
マネージドディスクを Linux 仮想マシンにアタッチします。
Azure にエージェントをデプロイするには
-
PowerShell で、エージェントの
.vhd
ファイルが格納されているディレクトリに移動します。 -
ls
コマンドを実行し、Length
値 (たとえば85899346432
) を保存します。これはエージェントイメージのサイズをバイト単位で表したもので、イメージを格納できるマネージドディスクを作成する際に必要になります。
-
マネージドディスクを作成するには、次の操作を行います。
-
次の Azure CLI コマンドをコピーします。
az disk create -n
your-managed-disk
` -gyour-resource-group
` -lyour-azure-region
` --upload-type Upload ` --upload-size-bytesagent-size-bytes
` --sku standard_lrs -
をマネージドディスクの名前に置き換えます。your-managed-disk
-
をストレージアカウントが属する Azure リソースグループの名前に置き換えてください。your-resource-group
-
をリソースグループがある Azure リージョンに置き換えてください。your-azure-region
-
をエージェントイメージのサイズに置き換えてください。agent-size-bytes
-
コマンドを実行します。
このコマンドは、DataSync エージェントをアップロードできる標準 SKU
を含む空のマネージドディスクを作成します。 -
-
マネージドディスクへの書き込みアクセスを許可する共有アクセス署名 (SAS) を生成するには、以下を実行します。
-
次の Azure CLI コマンドをコピーします。
az disk grant-access -n
your-managed-disk
` -gyour-resource-group
` --access-level Write ` --duration-in-seconds 86400 -
を作成したバケットの名前に置き換えます。your-managed-disk
-
をストレージアカウントが属する Azure リソースグループの名前に置き換えてください。your-resource-group
-
コマンドを実行します。
出力の SAS URI をメモしておきます。この URI は、エージェントを Azure にアップロードする際に必要になります。
SAS では、最大 1 時間までディスクに書き込むことができます。つまり、エージェントをマネージドディスクにアップロードするのに 1 時間あります。
-
-
Azure でマネージドディスクにエージェントをアップロードするには、以下を実行します。
-
次の
AzCopy
コマンドをコピーします。.\azcopy copy
local-path-to-vhd-file
sas-uri
--blob-type PageBlob -
をローカルマシン上のエージェントのlocal-path-to-vhd-file
.vhd
ファイルの場所に置き換えます。 -
をsas-uri
az disk grant-access
コマンドを実行したときに取得した SAS URI に置き換えます。 -
コマンドを実行します。
-
-
エージェントのアップロードが完了したら、マネージドディスクへのアクセスを取り消します。これを行うには、次の Azure コマンドをコピーします。
az disk revoke-access -n
your-managed-disk
-gyour-resource-group
-
をストレージアカウントが属する Azure リソースグループの名前に置き換えてください。your-resource-group
-
を作成したバケットの名前に置き換えます。your-managed-disk
-
コマンドを実行します。
-
-
マネージドディスクを新しい Linux VM に接続するには、次の手順を実行します。
-
次の Azure CLI コマンドをコピーします。
az vm create --resource-group
your-resource-group
` --location eastus ` --nameyour-agent-vm
` --size Standard_E4as_v4 ` --os-type linux ` --attach-os-diskyour-managed-disk
-
をストレージアカウントが属する Azure リソースグループの名前に置き換えてください。your-resource-group
-
を覚えやすい VM の名前に置き換えてください。your-agent-vm
-
を、VM にアタッチするマネージドディスクの名前に置き換えます。your-managed-disk
-
コマンドを実行します。
-
エージェントをデプロイしました。データ転送の構成を開始する前に、エージェントをアクティブ化する必要があります。
エージェントのアクティベーションキーの取得
DataSync エージェントのアクティベーションキーを手動で取得するには、次の手順に従います。
別の方法として、DataSync がアクティベーションキーを自動的に取得することもできますが、この方法ではある程度のネットワーク構成が必要です。
エージェントのアクティベーションキーを取得するには
-
Azure ポータルで、[カスタムストレージアカウントで有効化] 設定を選択し、Azure ストレージアカウントを指定して、エージェントの VM のブート診断を有効にします
。 エージェントの VM のブート診断を有効にしたら、エージェントのローカルコンソールにアクセスしてアクティベーションキーを取得できます。
-
Azure ポータルにいる間、VM に移動して [シリアルコンソール] を選択します。
-
エージェントのローカルコンソールで、以下のデフォルト認証情報を使用してログインします。
-
Username -
admin
-
Password –
password
ある時点で、少なくともエージェントのパスワードを変更することをおすすめします。エージェントのローカルコンソールで、メインメニューに「
5
」と入力し、passwd
コマンドを使用してパスワードを変更します。 -
-
0
を入力してエージェントのアクティベーションキーを取得します。 -
DataSync AWS リージョン を使用している を入力します (例:
us-east-1
)。 -
エージェントが接続に使用するサービスエンドポイントを選択します AWS。
-
Activation key
出力のエラー値を保存します。
エージェントのアクティブ化
アクティベーションキーを取得したら、DataSync エージェントの作成を完了できます。
エージェントをアクティブ化するには
https://console.aws.amazon.com/datasync/
で AWS DataSync コンソールを開きます。 -
左側のナビゲーションペインから、[エージェント] を選択し、[エージェントの作成] を選択します。
-
[Hypervisor] には、[Microsoft Hyper-V] を選択します。
-
[エンドポイントタイプ] には、エージェントのアクティベーションキーを取得したときに指定したのと同じ種類のサービスエンドポイントを選択します (たとえば、[
リージョン名
でのパブリックサービスエンドポイント] を選択します)。 -
エージェントが使用しているサービスエンドポイントタイプで動作するようにネットワークを構成します。サービスエンドポイントのネットワーク要件については、次のトピックを参照してください。
-
[アクティベーションキー] については、次の操作を行います。
-
[エージェントのアクティベーションキーを手動で入力] を選択します。
-
エージェントのローカルコンソールから入手したアクティベーションキーを入力します。
-
-
[エージェントの作成] を選択します。
エージェントが Azure Blob Storage と接続する準備ができました。詳細については、「Azure Blob Storage 転送場所の作成」を参照してください。
DataSync エージェントを Amazon EC2 インスタンスにデプロイできます。
Amazon EC2 エージェントを作成するには
-
エージェントが通信に使用するサービスエンドポイントを選択します AWS。
このような状況では、仮想プライベートクラウド (VPC) サービスエンドポイントを使用することをお勧めします。
-
VPC サービスエンドポイントと連携するようにネットワークを構成します。
-
エージェントをアクティブ化します。
Azure Blob Storage 転送場所の作成
Azure Blob Storage を転送元または転送先として使用するように DataSync を構成できます。
[開始する前に]
DataSync が Azure Blob Storage にアクセスし、アクセス層と BLOB タイプを操作する方法を確認しておいてください。Azure Blob Storage コンテナに接続できる DataSync エージェントも必要です。
https://console.aws.amazon.com/datasync/
で AWS DataSync コンソールを開きます。 左側のナビゲーションペインで [データ転送] を展開し、[ロケーション] と [ロケーションの作成] を選択します。
-
[場所のタイプ] で、[Microsoft Azure Blob Storage] を選択します。
-
[エージェント] では、Azure Blob Storage コンテナに接続できる DataSync エージェントを選択します。
エージェントは複数選択できます。詳細については、「複数の DataSync エージェントの使用」を参照してください。
-
[コンテナ URL] には、転送に関係するコンテナの URL を入力します。
-
(オプション) [転送先として使用するアクセス層] には、オブジェクトまたはファイルの転送先となる [アクセス層] を選択します。
-
コンテナ内の仮想ディレクトリへの転送を制限したい場合 (たとえば
/my/images
)、[フォルダ] にパスセグメントを入力します。 -
[SAS トークン] の場合は、DataSync が Blob ストレージにアクセスできるようにする SAS トークンを入力します。
このトークンは、ストレージリソース URI と疑問符 (
?
) の後ろにある SAS URI 文字列の一部です。トークンは以下のようになります。sp=r&st=2023-12-20T14:54:52Z&se=2023-12-20T22:54:52Z&spr=https&sv=2021-06-08&sr=c&sig=aBBKDWQvyuVcTPH9EBp%2FXTI9E%2F%2Fmq171%2BZU178wcwqU%3D
-
(オプション) [キー] と [値] に値を入力して、 にタグを付けます。
タグは、 AWS リソースの管理、フィルタリング、検索に役立ちます。少なくとも場所の名前タグを作成することを推奨します。
-
[ロケーションを作成] を選択します。
-
次の
create-location-azure-blob
コマンドをコピーします。aws datasync create-location-azure-blob \ --container-url "https://
path/to/container
" \ --authentication-type "SAS" \ --sas-configuration '{ "Token": "your-sas-token
" }' \ --agent-arnsmy-datasync-agent-arn
\ --subdirectory "/path/to/my/data
" \ --access-tier "access-tier-for-destination
" \ --tags [{"Key": "key1
","Value": "value1
"}] -
--container-url
パラメータには、転送に関係する Azure Blob Storage コンテナの URL を指定します。 -
--authentication-type
パラメータでは、SAS
を指定します。 -
--sas-configuration
パラメータのToken
オプションには、DataSync が Blob ストレージにアクセスできるようにする SAS トークンを指定します。このトークンは、ストレージリソース URI と疑問符 (
?
) の後ろにある SAS URI 文字列の一部です。トークンは以下のようになります。sp=r&st=2023-12-20T14:54:52Z&se=2023-12-20T22:54:52Z&spr=https&sv=2021-06-08&sr=c&sig=aBBKDWQvyuVcTPH9EBp%2FXTI9E%2F%2Fmq171%2BZU178wcwqU%3D
-
--agent-arns
パラメータについては、コンテナに接続できる DataSync エージェントの Amazon リソースネーム (ARN) を指定します。ARN エージェントの例を示します。
arn:aws:datasync:
us-east-1
:123456789012
:agent/agent-01234567890aaabfb
複数のエージェントを指定できます。詳細については、「複数の DataSync エージェントの使用」を参照してください。
-
転送をコンテナ内の仮想ディレクトリ (たとえば
/my/images
) に制限する場合は、--subdirectory
パラメータにパスセグメントを指定します。 -
(オプション)
--access-tier
パラメータには、オブジェクトまたはファイルの転送先となるアクセス層 (HOT
、COOL
、またはARCHIVE
) を指定します。このパラメータは、この場所を転送先として使用する場合にのみ適用されます。
-
(オプション)
--tags
パラメータについては、場所の管理、フィルタリング、検索に役立つキーと値のペアを指定します。場所の名前タグを作成することを推奨します。
-
create-location-azure-blob
コマンドを実行します。コマンドが成功すると、作成した場所の ARN を示す応答が返されます。以下に例を示します。
{ "LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh" }
Azure Blob Storage 転送場所の表示
Azure Blob Storage の既存の DataSync 転送場所に関する詳細を取得できます。
https://console.aws.amazon.com/datasync/
で AWS DataSync コンソールを開きます。 -
左側のナビゲーションペインで [データ転送] を展開し、[ロケーション] を選択します。
-
Azure Blob Storage 場所を選択します。
現在場所を使用する DataSync 転送タスクなど、場所に関する詳細を確認できます。
-
次の
describe-location-azure-blob
コマンドをコピーします。aws datasync describe-location-azure-blob \ --location-arn "
your-azure-blob-location-arn
" -
--location-arn
パラメータには、作成した Azure Blob Storage ロケーションの ARN (たとえばarn:aws:datasync:
) を指定します。us-east-1
:123456789012
:location/loc-12345678abcdefgh
-
describe-location-azure-blob
コマンドを実行します。場所情報の詳細を示すレスポンスが返されます。以下に例を示します。
{ "LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh", "LocationUri": "azure-blob://my-user.blob.core.windows.net/container-1", "AuthenticationType": "SAS", "Subdirectory": "/my/images", "AgentArns": ["arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890deadfb"], }
Azure Blob Storage 転送場所の更新
必要に応じて、コンソールまたは AWS CLIを使用して場所の設定を変更できます。
-
次の
update-location-azure-blob
コマンドをコピーします。aws datasync update-location-azure-blob \ --location-arn "
your-azure-blob-location-arn
" \ --authentication-type "SAS" \ --sas-configuration '{ "Token": "your-sas-token
" }' \ --agent-arnsmy-datasync-agent-arn
\ --subdirectory "/path/to/my/data
" \ --access-tier "access-tier-for-destination
" -
--location-arn
パラメータには、更新した Azure Blob Storage ロケーションの ARN (たとえばarn:aws:datasync:
) を指定します。us-east-1
:123456789012
:location/loc-12345678abcdefgh
-
--authentication-type
パラメータでは、SAS
を指定します。 -
--sas-configuration
パラメータのToken
オプションには、DataSync が Blob ストレージにアクセスできるようにする SAS トークンを指定します。このトークンは、ストレージリソース URI と疑問符 (
?
) の後ろにある SAS URI 文字列の一部です。トークンは以下のようになります。sp=r&st=2022-12-20T14:54:52Z&se=2022-12-20T22:54:52Z&spr=https&sv=2021-06-08&sr=c&sig=qCBKDWQvyuVcTPH9EBp%2FXTI9E%2F%2Fmq171%2BZU178wcwqU%3D
-
--agent-arns
パラメータについては、コンテナに接続する DataSync エージェントの Amazon リソースネーム (ARN) を指定します。ARN エージェントの例を示します。
arn:aws:datasync:
us-east-1
:123456789012
:agent/agent-01234567890aaabfb
複数のエージェントを指定できます。詳細については、「複数の DataSync エージェントの使用」を参照してください。
-
転送をコンテナ内の仮想ディレクトリ (たとえば
/my/images
) に制限する場合は、--subdirectory
パラメータにパスセグメントを指定します。 -
(オプション)
--access-tier
パラメータには、オブジェクトの転送先となるアクセス層 (HOT
、COOL
、またはARCHIVE
) を指定します。このパラメータは、この場所を転送先として使用する場合にのみ適用されます。
次のステップ
Azure Blob Storage の DataSync 場所の作成が完了したら、転送の設定を続行できます。次に検討すべき手順を以下に示します。
-
まだ行っていない場合は、データを Azure Blob Storage に/から転送する予定の別の場所を作成してください。
-
DataSync がメタデータと特殊ファイルを処理する方法、特に転送場所のメタデータ構造が類似していない場合について説明します。
-
データの転送方法を構成します。例えば、データのサブセットのみを転送したり、blob ストレージ内のソースの場所にないファイルを削除したりすることができます (SAS トークンに削除アクセス許可がある場合のみ)。