Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengakses dan menganalisis umpan balik yang dikumpulkan pengguna

Mulai v3.0.0, Dasbor Deployment menyebarkan tumpukan umpan balik bersarang yang memungkinkan kasus penggunaan Teks dan Agen Batuan Dasar yang digunakan dengan Dasbor memiliki fungsionalitas pengumpulan umpan balik untuk respons yang dihasilkan. LLM/Agent Khususnya, pengguna dapat memberikan umpan balik positif atau negatif bersama dengan komentar opsional. Jika pengguna memberikan umpan balik negatif, mereka selanjutnya dapat memilih salah satu kategori negatif ini: 'Tidak Akurat', 'Tidak Lengkap atau tidak cukupi', 'Berbahaya' 'Lainnya'. and/or

Setelah pengguna memberikan umpan balik, umpan balik disimpan dalam bucket S3 yang dipartisi oleh Use Case ID, tahun dan bulan. ID Kasus Penggunaan dapat ditemukan di Dasbor Deployment dan bucket Feedback S3 dapat ditemukan di output tumpukan bersarang umpan balik dari tumpukan Dasbor Deployment:

Menggambarkan tumpukan Deployment - Menemukan Nama Bucket Umpan Balik

Umpan balik pengguna dikirim sebagai permintaan API yang berisi sekumpulan informasi minimal:

{
  "useCaseRecordKey": "a1b2c3d4-e5f6g7h8",
  "conversationId": "12345678-1234-1234-1234-123456789012",
  "messageId": "87654321-4321-4321-4321-210987654321",
  "rephrasedQuery": "What are the key features of the Generative AI Application Builder on AWS?",
  "sourceDocuments": [
    "s3://bucket-name/document1.pdf",
    "s3://bucket-name/document2.pdf"
  ],
  "feedback": "positive",
  "feedbackReason": [
    "Incomplete or insufficient"
  ],
  "comment": "The response was helpful but could include more details about important features."
}

Payload ini kemudian diproses oleh lambda menggunakan useCaseRecordKey yang mengidentifikasi konfigurasi kasus penggunaan yang benar pada saat penerapan. Konfigurasi ini digunakan untuk mendapatkan detail spesifik untuk umpan balik seperti nama (berisi semua percakapan dan urutan pesan manusia dan AI) yang selanjutnya digunakan untuk mengambil yang sebenarnya userInput dan. ConversationTable llmResponse Detail tambahan juga dilampirkan pada catatan umpan balik ini seperti agentId dan agentAliasId untuk kasus penggunaan Agen Batuan Dasar, dan, modelProviderbedrockModelId, dll. untuk kasus penggunaan Teks menggunakan konfigurasi ini. Untuk detail tentang cara mengakses konfigurasi ini, lihat bagian Pemetaan Umpan Balik Kustom di bawah ini. Setiap permintaan umpan balik yang masuk disimpan sebagai objek JSON dan catatan umpan balik sampel dapat terlihat seperti ini untuk kasus penggunaan Teks:

{
   "useCaseId": "12345678-1234-1234-1234-123456789012",
   "useCaseRecordKey": "c07a2e3b-2f31b1e0",
   "userId": "22345678-1234-1234-1234-123456789012",
   "conversationId": "dd51de5d-5af1-4ec6-91d2-aadf14352109",
   "messageId": "32345678-1234-1234-1234-123456789012",
   "userInput": "What are its key features?",
   "rephrasedQuery": "What are the key features of the Generative AI Application Builder on AWS?",
   "llmResponse": "Generative AI Application Builder on AWS can help you build production ready enterprise chatbots rapidly.",
   "feedback": "negative",
   "feedbackReason": [
      "Incomplete or insufficient"
   ],
   "comment": "The response was helpful but could include more details about important features.",
   "timestamp": "2025-05-22T18:48:08.340Z",
   "feedbackId": "42345678-1234-1234-1234-123456789012",
   "useCaseType": "Text",
   "modelProvider": "Bedrock",
   "bedrockModelId": "amazon.nova-lite-v1:0",
   "ragEnabled": "false"
}

atau seperti ini untuk kasus penggunaan Agen Batuan Dasar:

{
   "useCaseId": "12345678-1234-1234-1234-123456789012",
   "useCaseRecordKey": "c07a2e3b-2f31b1e0",
   "userId": "22345678-1234-1234-1234-123456789012",
   "conversationId": "dd51de5d-5af1-4ec6-91d2-aadf14352109",
   "messageId": "32345678-1234-1234-1234-123456789012",
   "userInput": "What are its key features?",
   "llmResponse": "Generative AI Application Builder on AWS can help you build production ready enterprise chatbots rapidly.",
   "feedback": "negative",
   "feedbackReason": [
      "Incomplete or insufficient"
   ],
   "comment": "The response was helpful but could include more details about important features.",
   "timestamp": "2025-05-22T18:48:08.340Z",
   "feedbackId": "42345678-1234-1234-1234-123456789012",
   "useCaseType": "Agent",
   "agentId": "AHFXUJCAK1",
   "agentAliasId": "KSEDKOS0BL"
}

Umpan balik ini kemudian dapat digunakan untuk pemrosesan lebih lanjut, menganalisis, dan memodelkan pelatihan ulang/loop umpan balik. Anda juga dapat menambahkan pemetaan khusus untuk menyempurnakan catatan umpan balik yang disimpan di lambda umpan balik.

Pemetaan Umpan Balik Kustom

Dasbor Deployment berisi LLMConfigTable yang dapat ditemukan di output tumpukan Dashboard Deployment dengan kuncinya. LLMConfigTableName LLMConfigTableberisi konfigurasi untuk setiap usecase berdasarkan pengaturan yang dipilih oleh admin saat menerapkan usecase melalui wizard Deployment Dashboard. Setiap konfigurasi usecase diidentifikasi oleh konfigurasi. useCaseRecordKey Berikut adalah contoh catatan konfigurasi usecase diLLMConfigTable:

{
   "key": "2dd76cfa-bc1a14da",
   "config": {
      "ConversationMemoryParams": {
        ...
      },
      "FeedbackParams": {
         "CustomMappings": {
            "NumberOfDocs": "$.KnowledgeBaseParams.NumberOfDocs",
            "ScoreThreshold": "$.KnowledgeBaseParams.ScoreThreshold"
         },
         "FeedbackEnabled": true
      },
      "IsInternalUser": "true",
      "KnowledgeBaseParams": {
         "KendraKnowledgeBaseParams": {
            "ExistingKendraIndexId": "d2831033-667f-4539-ab28-e6c7c7c5988b",
            "RoleBasedAccessControlEnabled": false
         },
         "KnowledgeBaseType": "Kendra",
         "NumberOfDocs": 5,
         "ReturnSourceDocs": false,
         "ScoreThreshold": 0.3
      },
      "LlmParams": {
         "BedrockLlmParams": {
            "BedrockInferenceType": "QUICK_START",
            "ModelId": "amazon.nova-lite-v1:0"
         },
         "ModelParams": {},
         "ModelProvider": "Bedrock",
         "PromptParams": {
            ...
         },
         "RAGEnabled": true,
         "Streaming": false,
         "Temperature": 0.1,
         "Verbose": false
      },
      "UseCaseName": "test-rag-usecase",
      "UseCaseType": "Text"
   }
}

Jika umpan balik diaktifkan untuk kasus penggunaan, konfigurasi ini akan berisi FeedbackParams objek yang memungkinkan CustomMappings objek di dalamnya yang dapat menentukan JSONPaths untuk semua bidang tambahan yang akan ditambahkan ke catatan JSON umpan balik yang disimpan di bucket S3 umpan balik. Misalnya, untuk konfigurasi contoh usecase di atas, CustomMappings berisi NumberOfDocs dan ScoreThreshold JSONPaths tambahan di CustomMappings objek yang dimulai dengan config sebagai root dari file. JSONPath Dengan konfigurasi ini, setiap catatan JSON yang disimpan dalam bucket S3 umpan balik akan mulai mendapatkan 2 nilai tambahan ini selain dari bidang yang telah disediakan.

Menganalisis data umpan balik

Data umpan balik disimpan di S3 sebagai objek JSON. Berikut adalah beberapa pendekatan untuk membuat data umpan balik ini lebih mudah diakses dan ditindaklanjuti:

Menggunakan AWS Glue dan Amazon Athena

AWS Glue dan Amazon Athena menyediakan cara tanpa server untuk membuat katalog, menanyakan, dan menganalisis data umpan balik Anda.

AWS Glue memungkinkan Anda membuat crawler AWS Glue yang memeriksa data dalam bucket S3, menyimpulkan skema, dan mencatat semua metadata yang relevan dalam katalog. Posting itu, layanan seperti Amazon Athena dapat digunakan untuk menanyakan data.

Anda dapat merujuk Dokumentasi AWS Athena tentang langkah-langkah untuk menghubungkan bucket S3 umpan balik dengan Amazon Athena menggunakan AWS Glue Data Catalog. Anda juga dapat menggunakan beberapa fitur Glue yang lebih canggih untuk melakukan pekerjaan Extract Transform & Load (ETL) pada data ini dan mengubahnya menjadi format yang sesuai dengan analisis atau kasus penggunaan pelatihan ulang model Anda. Dengan Glue, Anda dapat melakukan operasi seperti memfilter catatan dengan jenis umpan balik tertentu, mengisi informasi yang hilang, dan Anda juga dapat memuat data ini ke lokasi penyimpanan lain seperti bucket S3 lain atau penyimpanan data AWS yang berbeda.

Menggunakan CloudWatch Dasbor solusi

Anda juga memiliki akses ke CloudWatch Dasbor yang dikemas dengan solusi yang dapat memberi Anda tren umpan balik positif dan negatif, kategori alasan umpan balik negatif, dll berdasarkan kasus penggunaan. Anda dapat menemukan dasbor ini menggunakan nama usecase Anda di Dasbor di dalam konsol CloudWatch AWS:

Menggambarkan Dasbor Usecase CloudWatch

Anda juga dapat membuat widget tambahan di Dasbor ini atau membuat dasbor Amazon Quick Sight.

Praktik terbaik untuk analisis data umpan balik