建立短期 Amazon EMR 叢集,並使用 AWS SDK 執行步驟 - AWS SDK 程式碼範例

文件 AWS SDK 範例 GitHub 儲存庫中有更多可用的 AWS SDK 範例

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

建立短期 Amazon EMR 叢集,並使用 AWS SDK 執行步驟

下列程式碼範例顯示如何建立短期 Amazon EMR 叢集,該叢集會執行一個步驟並在步驟完成後自動終止。

Python
適用於 Python 的 SDK (Boto3)

建立短期的 Amazon EMR 叢集,該叢集使用 Apache Spark 預估 pi 的值,以平行化大量計算。該任務將輸出檔案寫入 Amazon EMR 日誌和 Amazon Simple Storage Service (Amazon S3) 儲存貯體。叢集會在完成任務後自行終止。

  • 建立 Amazon S3 儲存貯體並上傳任務指令碼。

  • Create AWS Identity and Access Management (IAM) 角色。

  • 建立 Amazon Elastic Compute Cloud (Amazon EC2) 安全群組。

  • 建立短期叢集並執行單個任務步驟。

這個範例在 GitHub 上的檢視效果最佳。如需完整的原始碼和如何設定及執行的指示,請參閱 GitHub 上的完整範例。

此範例中使用的服務
  • Amazon EMR