本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
AWS Transfer Family 受管工作流程
AWS Transfer Family 支援 受管工作流程以進行檔案處理。透過 受管工作流程,您可以在檔案透過 SFTP、FTPS 或 FTP 傳輸之後啟動工作流程。使用此功能,您可以協調檔案處理所需的所有必要步驟,以安全且經濟實惠的方式滿足您的business-to-business (B2B) 檔案交換合規要求。此外,您可以受益於end-to-end稽核和可見性。
透過協調檔案處理任務,受管工作流程可協助您在下游應用程式取用資料之前預先處理資料。這類檔案處理任務可能包括:
-
將檔案移至使用者特定的資料夾。
-
將檔案解密為工作流程的一部分。
-
標記檔案。
-
透過建立 AWS Lambda 函數並將其連接至工作流程來執行自訂處理。
-
成功傳輸檔案時傳送通知。(如需詳細說明此使用案例的部落格文章,請參閱使用 AWS Transfer Family 受管工作流程自訂檔案交付通知
。)
若要快速複寫並標準化組織中跨多個業務單位的常見上傳後檔案處理任務,您可以使用基礎設施即程式碼 (IaC) 部署工作流程。您可以指定要在完整上傳的檔案上啟動的受管工作流程。您也可以指定不同的受管工作流程,以便在因為過早中斷連線而僅部分上傳的檔案上啟動。內建例外狀況處理可協助您快速回應檔案處理結果,同時讓您控制如何處理失敗。此外,每個工作流程步驟都會產生詳細的日誌,您可以稽核以追蹤資料歷程。
若要開始使用,請執行下列任務:
-
設定您的工作流程以包含預先處理動作,例如根據您的需求複製、標記和其他步驟。如需詳細資訊,請參閱 建立工作流程。
-
設定執行角色,供 Transfer Family 用來執行工作流程。如需詳細資訊,請參閱 工作流程的 IAM 政策。
-
將工作流程映射至伺服器,以便在檔案送達時,即時評估和啟動此工作流程中指定的動作。如需詳細資訊,請參閱 設定和執行工作流程。
相關資訊
-
若要監控工作流程執行,請參閱 使用 Transfer Family 伺服器的 CloudWatch 指標。
-
如需詳細的執行日誌和疑難排解資訊,請參閱 使用 Amazon CloudWatch 對工作流程相關錯誤進行故障診斷。
-
Transfer Family 提供部落格文章和研討會,引導您建置檔案傳輸解決方案。此解決方案利用 AWS Transfer Family 受管 SFTP/FTPS 端點和 Amazon Cognito 和 DynamoDB 進行使用者管理。
部落格文章可在使用 Amazon Cognito 做為 AWS Transfer Family 和 Amazon S3 的身分提供者
取得。您可以在這裡 檢視研討會的詳細資訊。 -
以下影片提供 Transfer Family 受管工作流程的簡介。
-
以下研討會提供實作實驗室,以建置全自動化和事件驅動的工作流程,涉及將檔案傳輸到外部 SFTP 伺服器或從外部 SFTP 伺服器傳輸到 Amazon S3,以及這些檔案的常見前置和後置處理:事件驅動的 MFT 研討會
。 此影片提供本研討會的逐步解說。
主題
如需 受管工作流程入門的更多說明,請參閱下列資源:
工作流程的例外狀況處理
如果在工作流程執行期間發生任何錯誤,則會執行您指定的例外狀況處理步驟。您可以指定工作流程的錯誤處理步驟,方式與指定工作流程的標稱步驟相同。例如,假設您已在名目步驟中設定自訂處理,以驗證傳入的檔案。如果檔案驗證失敗,例外狀況處理步驟可以傳送電子郵件給管理員。
下列範例工作流程包含兩個步驟:
-
檢查上傳檔案是否為 CSV 格式的名目步驟
-
例外狀況處理步驟,可傳送電子郵件,以防上傳的檔案不是 CSV 格式,且名目步驟失敗
若要啟動例外狀況處理步驟,名目步驟中的 AWS Lambda 函數必須以 回應Status="FAILURE"。如需工作流程中錯誤處理的詳細資訊,請參閱 使用自訂檔案處理步驟。
從 Transfer Family 伺服器移除工作流程
如果您已將工作流程與 Transfer Family 伺服器建立關聯,且現在想要移除該關聯,您可以使用 主控台或以程式設計方式執行此操作。
受管工作流程的限制
限制
下列限制目前適用於 的上傳後處理工作流程 AWS Transfer Family。
-
不支援跨帳戶和跨區域 AWS Lambda 函數。不過,您可以跨帳戶複製 ,但前提是您的 AWS Identity and Access Management (IAM) 政策已正確設定。
-
對於所有工作流程步驟,工作流程存取的任何 Amazon S3 儲存貯體都必須與工作流程本身位於相同的區域。
-
對於解密步驟,解密目的地必須符合區域和備份存放區的來源 (例如,如果要解密的檔案存放在 Amazon S3 中,則指定的目的地也必須在 Amazon S3 中)。
-
僅支援非同步自訂步驟。
-
自訂步驟逾時是近似值。也就是說,逾時可能需要比指定的時間稍長。此外,工作流程取決於 Lambda 函數。因此,如果函數在執行期間延遲,則工作流程不會知道延遲。
-
如果您超過限流限制,Transfer Family 不會將工作流程操作新增至佇列。
-
大小為 0 的檔案不會啟動工作流程。大小大於 0 的檔案會啟動相關聯的工作流程。
-
您可以將檔案處理工作流程連接至使用 AS2 通訊協定的 Transfer Family 伺服器:不過,AS2 訊息不會執行連接到伺服器的工作流程。
限制
此外,下列功能限制適用於 Transfer Family 的工作流程:
-
每個 帳戶每個區域的工作流程數量限制為 10 個。
-
自訂步驟的逾時上限為 30 分鐘。
-
工作流程中的步驟數目上限為 8。
-
每個工作流程的標籤數量上限為 50。
-
包含解密步驟的並行執行數目上限為每個工作流程 250 個。
-
每個使用者每個 Transfer Family 伺服器最多可以存放 3 個 PGP 私有金鑰。
-
解密檔案的大小上限為 10 GB。
-
我們會使用爆量容量為 100 且重新填充速率為 1 的字符儲存貯
體系統來調節新的執行速率。 -
每當您從伺服器移除工作流程並將其取代為新的工作流程,或更新伺服器組態 (這會影響工作流程的執行角色) 時,您必須等待大約 10 分鐘,才能執行新的工作流程。Transfer Family 伺服器會快取工作流程詳細資訊,伺服器重新整理其快取需要 10 分鐘。
此外,您必須登出任何作用中的 SFTP 工作階段,然後在 10 分鐘的等待期間之後重新登入,以查看變更。