規劃往返第三方雲端儲存系統的傳輸 - AWS DataSync

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

規劃往返第三方雲端儲存系統的傳輸

規劃跨雲端資料傳輸時，請考慮下列事項：

  • 使用代理程式：只有在使用基本模式任務時，代理程式才需要存取其他雲端中的儲存體。增強型模式任務不需要 代理程式。如果您決定使用代理程式，您可以在從雲端供應商的 S3-compatible物件儲存體傳輸時，將其部署為 Amazon EC2 執行個體，或分別將其部署為從這些特定儲存服務傳輸的 Google Compute Engine 或 Azure 虛擬機器。從 Google 和 Azure 中的檔案系統傳輸時，我們建議將代理程式部署為 Google 或 Azure VM，以便代理程式盡可能接近檔案系統。此外，DataSync 會將來自代理程式的資料壓縮到 AWS，這有助於降低輸出成本。DataSync 提供經過驗證的雲端位置清單，可提供所需的 Amazon S3 API 相容性。

  • 另一個雲端的物件儲存端點：第三方雲端供應商的儲存端點通常是區域或帳戶特定。區域端點會與指定的儲存貯體名稱搭配使用，做為 DataSync 物件儲存位置中的伺服器。

  • 來源物件的儲存類別：如同 Amazon S3，某些雲端供應商支援封存層，在能夠存取封存物件之前需要還原。例如，在資料傳輸之前，必須擷取 Azure Blob 封存層中的物件以進行標準存取。Google Cloud Storage 封存層中的物件可以立即存取，不需要還原，但有與直接封存層存取相關聯的擷取成本。在開始資料傳輸之前，請檢閱您的跨雲端儲存類別文件，以判斷存取需求和擷取費用。如需在 Amazon S3 中還原封存物件的詳細資訊，請參閱《Amazon Simple Storage Service 使用者指南》中的還原封存物件。

  • 物件儲存體存取：在第三方雲端提供者之間傳輸資料需要以身分驗證金鑰的形式存取其他雲端的物件儲存體。例如，若要提供對 Google Cloud Storage 的存取權，您可以設定 DataSync 物件儲存位置，以連線至 Google Cloud Storage XML API，並使用服務帳戶的雜湊型訊息驗證碼 (HMAC) 金鑰進行驗證。對於 Azure Blob 儲存，您可以設定使用 SAS 字符進行身分驗證的專用 Azure Blob DataSync 位置。DataSync 使用 AWS Secrets Manager 安全地存放物件儲存憑證。如需詳細資訊，請參閱保護儲存位置登入資料。

  • 物件標籤支援：

    • 與 Amazon S3 不同，並非所有雲端提供者都支援物件標籤。如果雲端提供者不支援透過 Amazon S3 API 的物件標籤，或您提供的登入資料不足以擷取標籤，DataSync 任務可能會在嘗試從來源位置讀取標籤時失敗。如果不支援物件標籤，或者您不想保留標籤，DataSync 會提供任務選項，以在傳輸期間關閉讀取和複製物件標籤。 https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-ObjectTags檢閱雲端提供者文件以判斷是否支援物件標籤，並在開始傳輸之前驗證傳輸任務的物件標籤設定。

    • 您可以使用 Amazon S3 API 來檢查雲端提供者是否會傳回get-object-tagging請求。如需詳細資訊，請參閱《 AWS CLI 命令參考》中的 get-object-tagging。

      支援物件標籤的雲端提供者將傳回類似下列範例的回應：

      aws s3api get-object-tagging --bucket BUCKET_NAME --endpoint- url=https://BUCKET_ENDPOINT --key prefix/file1
                                    
{

    "TagSet": []

}

      不支援 的雲端供應商get-object-tagging將傳回下列訊息：

      aws s3api get-object-tagging --bucket BUCKET_NAME --endpoint- url=https://BUCKET_ENDPOINT --key prefix/file1

An error occurred (OperationNotSupported) when calling the GetObjectTagging operation: The operation is not supported for this resource

  • 請求和資料輸出的相關成本：從雲端物件儲存體傳輸資料的請求和輸出成本與讀取資料和資料傳輸有關。如果適用，請求費用會因雲端提供者和儲存類別而異。請參閱雲端供應商文件，了解與您計劃讀取之儲存體方案相關的請求特定成本。如需 DataSync 為資料傳輸產生的請求費用概觀，請參閱使用 DataSync 和定價時評估 S3 請求成本。 AWS DataSync從特定雲端提供者傳輸資料會產生輸出費用。資料傳輸成本因雲端提供者而異，也取決於存放資料的區域。

  • 物件儲存請求率：雲端供應商的物件儲存平台具有各種效能和請求率特性。檢閱其他雲端供應商的請求率，並判斷請求限制的套用位置。事先規劃由多個代理程式組成的高度平行傳輸，其中可能需要特定的分割或效能提高。

    Amazon S3 已記錄您可以據以建置解決方案的請求率。Amazon S3 請求率是以每個分割字首為準，並可跨多個字首進行擴展。如需詳細資訊，請參閱《Amazon Simple Storage Service 使用者指南》中的最佳實務設計模式：最佳化 Amazon S3 效能。