マルチモデル推論ワークフローオーケストレーション

Amazon API Gateway は、ユーザーと管理者に RESTful インターフェイスを提供します。Amazon Cognito ユーザープールは認証を提供します。

新しいジョブは、インサイトを実行するデータを含む API /create-job の へのPOSTリクエストによって作成されます。これにより、ジョブ作成AWS Lambda関数が呼び出されます。

この関数は、Amazon Simple Storage Service バケットにデータをアップロードし、Amazon DynamoDB テーブルにジョブ情報を追加して追跡します。

Lambda 関数は、API Gateway を介して公開される API メソッドのロジックを提供します。これにより、ジョブの作成、モニタリングが可能になり、結果の取得が容易になります。

テーブルの新しい項目によって DynamoDB ストリームがトリガーされ、推論のために Step Functions ワークフローがトリガーされます。

Step Functions ワークフローは、指定されたデータオブジェクトに対して複数の ML 推論ジョブを実行するために必要なすべてのステップを調整します。

ML エンドポイントに関するメタデータ情報は、ワークフローで使用できるように DynamoDB テーブルに保存されます。

ステップ関数のマップ状態は、各 ML エンドポイントを呼び出し、結果を並行して保存します。これにより、ワークフローは任意の数の ML エンドポイント呼び出しにスケールできます。

SageMaker AI モデルエンドポイントは ML モデルをホストします。ワークフローは、カテゴリごとにこれらのエンドポイントを呼び出します。

データ用に収集されたすべての ML インサイトの最終結果は、Amazon S3 に保存されます。

ワークフローが完了したら、 へのGETリクエストを通じて最終結果を取得できます/get-job-results。これにより、Amazon S3 バケットを読み取るジョブ結果の取得 Lambda 関数が呼び出されます。

マルチモデルエンドポイントは、カテゴリごとの言語固有の推論など、追加の最適化で各モデルタイプを拡張できます。