View a markdown version of this page

Menggunakan API suara untuk menjalankan analisis suara untuk Amazon Chime SDK - Amazon Chime SDK
Menghentikan tugasMemahami perbedaan notifikasi

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan API suara untuk menjalankan analisis suara untuk Amazon Chime SDK

Untuk kompatibilitas mundur, Anda dapat menggunakan Amazon Chime SDK Voice API untuk memulai dan mengelola analisis suara. Namun, hanya API pipeline wawasan media untuk analitik suara yang menyediakan fitur baru, jadi kami sangat menyarankan untuk menggunakannya sebagai gantinya.

Bagian berikut menjelaskan perbedaan antara API pipeline wawasan suara dan media.

Menghentikan tugas

Jika Anda menggunakan Konektor Suara untuk memulai tugas analisis suara, dan kemudian menggunakan UpdateMediaInsightsPipelineStatus API untuk menjeda pipeline, tugas akan terus berjalan. Untuk menghentikan tugas, Anda harus memanggil StopVoiceToneAnalysisTask API StopSpeakerSearchTask dan.

Memahami perbedaan notifikasi

Saat Anda menggunakan API suara untuk menjalankan analitik suara, notifikasi berbeda dari yang dihasilkan oleh saluran wawasan media.

  • Acara siap analisis suara hanya tersedia untuk tugas yang dimulai menggunakan API suara.

  • Anda perlu menggunakan callId bidangvoiceConnectorId,transactionId, atau dalam notifikasi untuk mengaitkan tugas analisis suara dengan panggilan. Jika Anda menggunakan pipeline wawasan media untuk menjalankan analitik suara, Anda menggunakan channelId bidang mediaInsightsPipelineId dan streamArn atau untuk mengaitkan tugas dengan panggilan.

Topik berikut menjelaskan cara menggunakan notifikasi dengan API suara.

Acara siap analisis suara

Acara siap analisis suara memiliki tipe VoiceAnalyticsStatus detail.

Anda menggunakan Konektor Suara Amazon Chime SDK untuk memulai tugas analitik. Saat menerima acara siap analisis suara, Anda dapat memicu pencarian speaker atau tugas analisis nada suara untuk panggilan tersebut, yang diidentifikasi oleh properti berikut:

  • voiceConnectorId

  • transactionId

catatan

Pemberitahuan ini hanya diberikan jika Anda memiliki konfigurasi pipeline wawasan media dengan analisis suara diaktifkan dan dikaitkan dengan Konektor Suara. Pemberitahuan ini TIDAK diberikan saat pelanggan memang CreateMediaInsightsPipeline gil API dan meluncurkan tugas pencarian speaker atau tugas analisis nada suara melalui Media Pipelines SDK.

Header SIP yang dikembalikan oleh Konektor Suara berisi. transactionId Jika Anda tidak memiliki akses ke header SIP, acara AnalyticsReady notifikasi juga berisi voiceConnectorId dantransactionId. Itu memungkinkan Anda untuk secara terprogram menerima informasi dan memanggil StartSpeakerSearchTask, atau StartVoiceToneAnalysisTask API.

Ketika analisis suara siap untuk diproses, Konektor Suara mengirimkan peristiwa dengan "detailStatus": "AnalyticsReady" ke target notifikasi sebagai badan JSON. Jika Anda menggunakan Amazon SNS atau Amazon SQS, badan tersebut muncul di bidang “Catatan” di payload Amazon SNS atau Amazon SQS.

Contoh berikut menunjukkan tubuh JSON yang khas.

{
    "detail-type": "VoiceAnalyticsStatus",
    "version": "0",
    "id": "Id-f928dfe3-f44b-4965-8a17-612f9fb92d59",
    "source": "aws.chime",
    "account": "123456789012",
    "time": "2022-08-26T17:55:15.563441Z",
    "region": "us-east-1",
    "resources": [],
    "detail": {
        "detailStatus": "AnalyticsReady",
        "callDetails": {
            "isCaller": false,
            "transactionId": "daaeb6bf-2fe2-4e51-984e-d0fbf2f09436",
            "voiceConnectorId": "fuiopl1fsv9caobmqf2vy7"
        }
    }
}

Pemberitahuan ini memungkinkan Anda memicu panggilan balik tambahan ke aplikasi Anda, dan menangani persyaratan hukum apa pun, seperti pemberitahuan dan persetujuan, sebelum memanggil API tugas analisis suara.

Acara pencarian pembicara

Acara pencarian pembicara memiliki tipe SpeakerSearchStatus detail.

Konektor Suara Amazon Chime SDK mengirimkan acara pencarian pembicara berikut:

  • Kecocokan identifikasi

  • Generasi penyematan suara

Acara dapat memiliki status berikut:

  • IdentificationSuccessful— Berhasil mengidentifikasi setidaknya satu ID profil suara yang cocok dengan skor kepercayaan tinggi di domain profil suara yang diberikan.

  • IdentificationFailureGagal melakukan identifikasi. Penyebab: penelepon tidak berbicara setidaknya selama 10 detik, kualitas audio buruk.

  • IdentificationNoMatchesFound— Tidak dapat menemukan kecocokan kepercayaan tinggi di domain profil suara yang diberikan. Penelepon mungkin baru, atau suara mereka mungkin telah berubah.

  • VoiceprintGenerationSuccessful— Sistem menghasilkan penyematan suara menggunakan audio non-senyap selama 20 detik.

  • VoiceprintGenerationFailure— Sistem gagal menghasilkan penyematan suara. Penyebab: penelepon tidak berbicara setidaknya selama 20 detik, kualitas audio buruk.

Kecocokan identifikasi

Setelah StartSpeakerSearchTask API dipanggil untuk tertentutransactionId, layanan Konektor Suara mengembalikan pemberitahuan kecocokan identifikasi setelah 10 detik pidato tanpa suara. Layanan mengembalikan 10 kecocokan teratas, bersama dengan ID profil suara dan skor kepercayaan mulai dari [0, 1]. Semakin tinggi skor kepercayaan, semakin besar kemungkinan pembicara dari panggilan cocok dengan ID profil suara. Jika model pembelajaran mesin tidak menemukan kecocokan, detailStatus bidang notifikasi berisiIdentificationNoMatchesFound.

Contoh berikut menunjukkan pemberitahuan untuk pertandingan yang berhasil.

{    
    "version": "0",
    "id": "12345678-1234-1234-1234-111122223333",
    "detail-type": "SpeakerSearchStatus",
    "service-type": "VoiceAnalytics",
    "source": "aws.chime",
    "account": "111122223333",
    "time": "yyyy-mm-ddThh:mm:ssZ",
    "region": "us-east-1",
    "resources": [],
    "detail": {
        "taskId": "uuid",
        "detailStatus": "IdentificationSuccessful",
        "speakerSearchDetails" : {
            "results": [
                {
                    "voiceProfileId": "vp-505e0992-82da-49eb-9d4a-4b34772b96b6",
                    "confidenceScore": "0.94567856",
                },
                {
                    "voiceProfileId": "vp-fba9cbfa-4b8d-4f10-9e41-9dfdd66545ab",
                    "confidenceScore": "0.82783350",
                },
                {
                    "voiceProfileId": "vp-746995fd-16dc-45b9-8965-89569d1cf787",
                    "confidenceScore": "0.77136436",
                }
            ]
        },
        "isCaller": false,
        "voiceConnectorId": "abcdef1ghij2klmno3pqr4",
        "transactionId": "daaeb6bf-2fe2-4e51-984e-d0fbf2f09436"
    }
}

Generasi penyematan suara

Setelah tambahan 10 detik pidato tanpa suara, Konektor Suara mengirimkan pemberitahuan pembuatan penyematan suara ke target notifikasi. Anda dapat mendaftarkan penyematan suara baru di profil suara, atau memperbarui cetakan yang sudah ada di profil suara.

Contoh berikut menunjukkan pemberitahuan untuk pencocokan yang berhasil, artinya Anda dapat memperbarui profil suara terkait.

{
    "version": "0",
    "id": "12345678-1234-1234-1234-111122223333",
    "detail-type": "SpeakerSearchStatus",
    "service-type": "VoiceAnalytics",
    "source": "aws.chime",
    "account": "111122223333",
    "time": "yyyy-mm-ddThh:mm:ssZ",
    "region": "us-east-1",
    "resources": [],
    "detail": {
        "taskId": "guid",
        "detailStatus": "VoiceprintGenerationSuccess",
        "isCaller": false,
        "transactionId": "12345678-1234-1234",
        "voiceConnectorId": "abcdef1ghij2klmno3pqr"
    }
}

Peristiwa analisis nada suara

Peristiwa analisis nada suara memiliki tipe VoiceToneAnalysisStatus detail. Analisis dapat mengembalikan status ini:

  • VoiceToneAnalysisSuccessfulBerhasil menganalisis suara penelepon dan agen menjadi probabilitas sentiment—positif, negatif, atau netral.

  • VoiceToneAnalysisFailure— Gagal melakukan analisis nada. Ini bisa terjadi jika penelepon hang tanpa berbicara selama 10 detik, atau jika kualitas audio menjadi terlalu buruk.

  • VoiceToneAnalysisCompleted— Berhasil menganalisis suara pengguna dan agen ke dalam probabilitas sentimen untuk seluruh panggilan. Ini adalah acara terakhir, dikirim ketika analisis nada suara selesai.

Contoh berikut menunjukkan peristiwa analisis nada suara yang khas.

{
  "detail-type": "VoiceToneAnalysisStatus",
  "service-type": "VoiceAnalytics",
  "source": "aws.chime",
  "account": "216539279014",
  "time": "2022-08-26T17:55:15.563441Z",
  "region": "us-east-1",
  "detail": {
    "taskId": "uuid",
    "detailStatus": "VoiceToneAnalysisSuccessful",
    "voiceToneAnalysisDetails": {
      "currentAverageVoiceTone": {
          "startTime": "2022-08-26T17:55:15.563Z",
          "endTime": "2022-08-26T17:55:45.720Z",
          "voiceToneLabel": "neutral",
          "voiceToneScore": {    
            "neutral": "0.83",    
            "positive": "0.13",    
            "negative": "0.04"
          }
      },
      "overallAverageVoiceTone": {
          "startTime": "2022-08-26T16:23:13.344Z",
          "endTime": "2022-08-26T17:55:45.720Z",
          "voiceToneLabel": "positive",
          "voiceToneScore": {    
            "neutral": "0.25",    
            "positive": "0.65",    
            "negative": "0.1"
          }
      }
    },
    "isCaller": true,
    "transactionId": "daaeb6bf-2fe2-4e51-984e-d0fbf2f09436",
    "voiceConnectorId": "fuiopl1fsv9caobmqf2vy7"
  },
  "version": "0",
  "id": "Id-f928dfe3-f44b-4965-8a17-612f9fb92d59"
}