Apache Kafka を用いた Lambda の使用 - AWS Lambda

Apache Kafka を用いた Lambda の使用

Lambdaは、Apache Kafka をイベントソースソースとしてサポートしています。Apache Kafka は、高スループットのリアルタイムデータパイプラインおよびストリーミングアプリケーションを処理するために設計されたオープンソースのイベントストリーミングプラットフォームです。Apache Kafka で Lambda を使用する方法は、主に 2 つあります。

  • Amazon MSK で Lambda を使用する – Amazon Managed Streaming for Apache Kafka (Amazon MSK) は、AWS によるフルマネージド型サービスです。Amazon MSK は、プロビジョニング、パッチ適用、スケーリングなど、Kafka インフラストラクチャ管理の自動化に役立ちます。

  • セルフマネージド型の Apache Kafka で Lambda を使用する – AWS の用語では、セルフマネージド型クラスターには、非 AWS ホスト型 Kafka クラスターも含まれます。例えば、Confluent Cloud や Redpanda などの非 AWS 型クラウドプロバイダーでホストされている Kafka クラスターを使用して Lambda を引き続き使用できます。

Amazon MSK とセルフマネージド型 Apache Kafka のどちらを選択すべきかは、運用上のニーズおよび管理要件を考慮して決めてください。運用上のオーバーヘッドを最小限に抑えながら、スケーラブルで本稼働対応の Kafka のセットアップを AWS で迅速に管理したい場合は、Amazon MSK の使用が適しています。セキュリティ、モニタリング、高可用性を簡素化して、インフラストラクチャ管理よりもアプリケーション開発作業に注力できるからです。一方、セルフマネージド型 Apache Kafka は、オンプレミスクラスターを含む非 AWS ホスト型環境で実行されるユースケースに適しています。

トピック