使用 建立 MSK 佈建叢集 AWS Management Console - Amazon Managed Streaming for Apache Kafka

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 建立 MSK 佈建叢集 AWS Management Console

本主題中的程序說明使用 中的自訂建立選項建立 MSK 佈建叢集的常見任務 AWS Management Console。使用 中提供的其他選項 AWS Management Console，您也可以建立下列項目：

本主題中的程序

  1. 開啟位於 https://console.aws.amazon.com/msk/ 的 Amazon MSK 主控台。

  2. 選擇 建立叢集。

  3. 針對叢集建立方法，選擇自訂建立。

  4. 對於叢集名稱，請指定唯一且不超過 64 個字元的名稱。

  5. 針對叢集類型，選擇佈建。

  6. 針對 Apache Kafka 版本，選擇要在代理程式上執行的版本。若要查看每個 Apache Kafka 版本支援的 Amazon MSK 功能比較，請選擇檢視版本相容性。

  7. 在中介裝置區段中，執行下列動作：

    1. 針對中介裝置類型，選擇下列其中一個選項：

      • 快速代理程式：具有全受管虛擬儲存的高效能、可擴展代理程式。針對高輸送量的嚴苛應用程式選擇此代理程式類型。

      • 標準代理程式：具有完整組態控制的傳統 Kafka 代理程式。針對具有中等輸送量需求的一般用途工作負載，選擇此中介裝置類型。

      如需這些代理程式類型的詳細資訊，請參閱 Amazon MSK 代理程式類型。

    2. 針對代理程式大小，根據叢集的運算、記憶體和儲存需求，選擇要用於叢集的大小。

    3. 針對區域數量，選擇代理程式分佈AWS 可用區域於其中的 數量。

      快速代理程式需要三個可用區域才能提高可用性。

    4. 對於每個區域的代理程式，指定您希望 Amazon MSK 在每個可用區域中建立的代理程式數量。每個可用區域最少一個代理程式，ZooKeeper 型叢集每個叢集最多 30 個代理程式，KRaft 型叢集每個叢集最多 60 個代理程式。

此程序說明如何在所有代理程式中設定資料儲存需求，並指定儲存模式。這可協助您根據工作負載需求定義資料儲存需求。此外，此程序說明控制代理程式操作方式的叢集組態設定。這些設定包括代理程式組態、預設主題設定和分層儲存政策。

  1. 如果您將代理程式類型選取為標準，請在儲存區段中執行下列動作：

    1. 針對儲存，選擇您希望叢集擁有的初始儲存量。您無法在建立叢集後減少儲存容量。

    2. （選用） 根據您選擇的代理程式大小 （執行個體大小），您也可以指定每個代理程式的佈建儲存輸送量。此選項可讓您為每個代理程式的 Amazon EBS 磁碟區配置專用輸入和輸出 (I/O) 效能。

      若要啟用此選項，請針對 x86 選擇代理程式大小 （執行個體大小） kafka.m5.4xlarge 或更大，針對 Graviton 型執行個體選擇 kafka.m7g.2xlarge 或更大。然後，選擇啟用佈建儲存輸送量核取方塊。透過選取此核取方塊，您可以手動設定每秒至少 250 MiB 的輸送量。這有助於需要高速、可預測儲存效能的 I/O 密集型工作負載或應用程式。如需詳細資訊，請參閱為 Amazon MSK 叢集中的標準代理程式佈建儲存輸送量。

    3. 對於叢集儲存模式，指定如何在叢集中存放和管理資料。此選項會決定代理程式使用的儲存體類型和組態。請選擇下列其中一個選項：

      • 僅限 EBS 儲存：將所有主題資料儲存在本機連接至每個代理程式的 Amazon Elastic Block Store (Amazon EBS) 磁碟區上。選擇此模式以獲得一致的效能需求，並快速存取最近的訊息。

      • 分層儲存和 EBS 儲存：將本機 Amazon EBS 資料與 Amazon S3 中大型資料集的遠端、經濟實惠儲存結合。此模式可降低 Amazon EBS 儲存成本、支援更長的資料保留時間，以及自動擴展儲存體，無需手動介入。當您想要以較低的成本長期保留資料，或預期您的儲存需要大幅成長時，請選擇此模式。

    注意

    您不需要管理 Express 代理程式的儲存體。

  2. 針對叢集組態，指定下列其中一個選項來定義叢集的行為：

    • Amazon MSK 預設組態：包含一組針對一般用途使用案例最佳化的預先定義組態。選擇此選項以快速設定和部署叢集。如需有關 Amazon MSK 組態的資訊，請參閱 Amazon MSK 佈建組態。

    • 自訂組態：可讓您指定自己的代理程式和主題設定。您可以從清單中選擇現有的自訂組態，或建立新的自訂組態。選擇此選項為您的代理程式進行微調控制，例如特定效能調校、安全設定等。

  3. 選擇下一步繼續進行。

網路組態定義叢集在 AWS 基礎設施中的部署方式。這包括 VPC、可用區域和子網路，以及控制聯網、可用性和存取的安全群組。

  1. 對於聯網，請執行下列動作：

    1. 選擇您要用於叢集的 VPC。

    2. 根據您先前選取的可用區域數量，指定代理程式將部署的可用區域和子網路。

      對於美國西部 （加利佛尼亞北部） 區域中的標準代理程式，您需要兩個位於兩個不同可用區域的子網路。在可使用 Amazon MSK 的所有其他區域，您可以指定兩個或三個子網路。您的子網路必須位於不同的可用區域。

      對於快速代理程式，您需要三個不同可用區域中的三個子網路。

      當您建立 MSK 佈建叢集時，MSK 會將代理程式節點平均分配到您指定的子網路。

    3. 針對 Amazon EC2 中的安全群組，選擇或建立您要授予叢集存取權的一或多個安全群組。這些 Amazon EC2 安全群組會控制對代理程式的傳入和傳出流量。例如，用戶端機器的安全群組。

      如果您指定與您共用的安全群組，您必須確保您具有使用這些群組的許可。具體而言，您需要 ec2:DescribeSecurityGroups 許可。如需詳細資訊，請參閱連線至 MSK 叢集。

  2. 選擇下一步繼續進行。

  1. 在安全設定區段中，執行下列動作：

    1. 選擇下列一或多個身分驗證和授權方法，以控制對 Kafka 叢集的用戶端存取：

      • 未驗證的存取：允許用戶端存取叢集，而無需提供任何身分驗證憑證。此方法是一種安全風險，可能不符合安全最佳實務。如需詳細資訊，請參閱 msk-unrestricted-access-check。

      • IAM 角色型身分驗證：使用 IAM AWS 使用者/角色啟用用戶端身分驗證和授權。此方法透過 IAM 政策提供對叢集存取的精細控制。對於已在其中執行的應用程式，我們建議使用此方法 AWS。

      • SASL/SCRAM 身分驗證：要求用戶端提供存放在 中的使用者名稱和密碼登入資料 AWS Secrets Manager 以進行身分驗證。Amazon MSK 會從 Secrets Manager 擷取這些登入資料，並安全地驗證使用者。

        若要設定有關叢集身分驗證的登入憑證，請先在 Secrets Manager 中建立 Secret 資源。然後，將登入憑證與該秘密建立關聯。如需此存取控制方法的詳細資訊，請參閱 設定 Amazon MSK 叢集的 SASL/SCRAM 身分驗證。

      • 透過 AWS Certificate Manager (ACM) 的 TLS 用戶端身分驗證：使用數位憑證在用戶端和代理程式之間啟用交互身分驗證。您必須在 AWS 帳戶 與叢集相同或不同的 中設定 AWS Private Certificate Authority (AWS Private CA)。

        實作 AWS Private CA mTLS 時，強烈建議為每個 MSK 叢集使用獨立的 。這可確保由 PCAs 簽署的 TLS 憑證只使用單一 MSK 叢集進行身分驗證，從而保持嚴格的存取控制。

  2. 在加密中，選擇您要用來加密靜態資料的 KMS 金鑰類型。如需詳細資訊，請參閱Amazon MSK 靜態加密。

    靜態資料加密可保護儲存的資料完整性，而傳輸中的加密則可保護資料機密性，避免在傳輸期間進行網路監控。

  3. 選擇下一步繼續進行。

此程序說明如何設定代理程式指標，以及收集和交付代理程式日誌。透過這些設定，您可以觀察和分析叢集的運作狀態、效能和故障診斷問題。如需詳細資訊，請參閱監控 Amazon MSK 佈建叢集。

  1. 針對此叢集的 Amazon CloudWatch 指標，選擇下列其中一個監控層級。每個監控層級收集的指標都會與 CloudWatch 整合，以進行視覺化和提醒。

    1. 基本監控：提供一組基本叢集層級指標，無需額外費用。此層級適用於具有一般監控需求的大多數使用案例。

    2. 增強型代理程式層級監控：以額外費用提供詳細的代理程式指標。此層級包括基本監控和更精細的代理程式指標，例如其他代理程式傳入/傳出的分層儲存指標位元組，讀取/寫入操作的總時間。您為此層級中的指標付費，而基本層級指標仍然免費。

    3. 增強型主題層級監控：以額外費用提供個別主題的指標。選擇此層級，即可更精細地檢視跨代理程式的主題效能。此層級包括增強的代理程式層級監控和主題層級指標，例如指定主題的分層儲存指標，以及每秒收到的訊息數量。

    4. 增強的分割區層級監控：以額外成本為每個分割區提供最精細的指標檢視。選擇此層級，透過跨代理程式擷取每個主題內每個分割區的指標，來取得最詳細的監控。此層級包括增強的主題層級監控和精細分級的分割區特定指標，例如偏移延遲指標。

    如需每個監控層級上標準和快速代理程式類型可用指標的詳細資訊，請參閱 標準代理程式的 CloudWatch 指標和 Express 代理程式的 CloudWatch 指標。

  2. （選用） 如果您想要使用 JMX Exporter、Node Exporter 或兩者以 Prometheus 格式匯出指標，請選擇使用 Prometheus 啟用開放監控。如需有關此選項的詳細資訊，請參閱 使用 Prometheus 監控。

  3. （選用） 若要設定 MSK 叢集將代理程式日誌交付至各種 AWS 服務 以進行故障診斷和稽核，請選擇下列一或多個選項。如果這些目的地資源尚未存在，Amazon MSK 不會為您建立它們。如需詳細資訊，請參閱代理程式日誌。

    • 交付至 Amazon CloudWatch Logs：使用叢集、搜尋和視覺化功能將日誌傳送至 CloudWatch。您可以在不離開 的情況下查詢和分析日誌 AWS Management Console。

    • 交付至 Amazon S3：將日誌儲存為 Amazon S3 儲存貯體中的檔案，以進行長期封存和批次分析。

    • 交付至 Amazon Data Firehose：將日誌傳送至 Firehose 以自動交付至 Amazon OpenSearch Service 以進行即時故障診斷。

  4. （選用） 若要協助識別、組織或搜尋叢集，請選擇新增標籤，將標籤新增為鍵/值對。例如，使用 Load testing和 的鍵值對將標籤新增至您的叢集Test。

    如需在叢集中使用標籤的詳細資訊，請參閱 標記 Amazon MSK 叢集。

  5. 選擇下一步繼續進行。

  1. 檢閱叢集的設定。

    選擇編輯或上一個以變更您先前指定的任何設定，或返回上一個主控台畫面。

  2. 選擇 建立叢集。

  3. 在叢集詳細資訊頁面的叢集摘要區段中檢查此叢集的狀態。當 Amazon MSK 佈建叢集時，叢集狀態會從建立變更為作用中。叢集狀態為作用中時，您可以連線至叢集。如需有關叢集狀態的詳細資訊，請參閱了解 MSK 佈建叢集狀態。