Amazon Chime SDK の音声トーン分析ワークフローの例

発信者は、Amazon Chime SDK Voice Connector に割り当てられた電話番号を使用してダイヤルインします。または、エージェントが Voice Connector 番号を使用して発信通話を行います。

Voice Connector サービスはトランザクション ID を作成し、それを通話に関連付けます。

アプリケーション (自動音声応答システムなど) またはエージェントは、通話の録音や音声分析のための音声埋め込みの使用について発信者に通知し、参加の同意を求めます。

アプリケーションが EventBridge イベントをサブスクライブしている場合、アプリケーションはメディアインサイトパイプライン設定と Voice Connector 通話用の Kinesis Video Streams ARN を使用して CreateMediaInsightsPipeline API を呼び出します。

EventBridge の使用に関する詳細については、「Amazon Chime SDK の機械学習ベースの分析を目的としたワークフローについて」を参照してください。

発信者が同意すると、Voice Connector ID とトランザクション ID がある場合、アプリケーションまたはエージェントは音声 SDK を通じて StartSpeakerSearchTask API を呼び出すことができます。または、トランザクション ID の代わりにメディアインサイトパイプライン ID がある場合は、メディアパイプライン SDK の StartSpeakerSearchTask API を呼び出します。

発信者が同意すると、アプリケーションまたはエージェントは StartSpeakerSearchTask API を呼び出します。Voice Connector ID、トランザクション ID、音声プロファイルドメイン ID を API に渡す必要があります。非同期タスクを識別するためのスピーカー検索タスク ID が返されます。

ユーザーは通話中ずっと話します。

エージェントは通話中ずっと話します。

メディアインサイトパイプラインは 5 秒ごとに、機械学習モデルを使用して過去 30 秒間の音声を分析し、その時間における、および最初に StartVoiceToneAnalysisTask が呼び出された時点からの通話全体における発信者のトーンを予測します。

メディアインサイトパイプラインは、設定された通知ターゲットにその情報を含む通知を送信します。ストリーム ARN とチャネル ID に基づいて通知を識別できます。詳細については、このセクションで後述する「Amazon Chime SDK の通知について」を参照してください。

通話が終了するまでステップ 9 と 10 を繰り返します。

通話が終了すると、メディアインサイトパイプラインは、過去 30 秒間の最新の平均トーン予測と、通話全体の平均トーンを含む最後の通知を 1 つ送信します。

アプリケーションは必要に応じて GetVoiceToneAnalysisTask API を呼び出し、音声トーン分析タスクの最新のステータスを取得します。