Menggabungkan Amazon Comprehend Medical dengan model bahasa besar - AWS Panduan Preskriptif

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggabungkan Amazon Comprehend Medical dengan model bahasa besar

Sebuah studi 2024 oleh NEJM AI menunjukkan bahwa menggunakan LLM, dengan bidikan nol, untuk tugas pengkodean medis umumnya mengarah pada kinerja yang buruk. Menggunakan Amazon Comprehend Medical dengan LLM dapat membantu mengurangi masalah kinerja ini. Hasil Amazon Comprehend Medical adalah konteks yang berguna untuk LLM yang melakukan tugas NLP. Misalnya, memberikan konteks dari Amazon Comprehend Medical ke model bahasa besar dapat membantu Anda:

  • Tingkatkan akurasi pemilihan entitas dengan menggunakan hasil awal dari Amazon Comprehend Medical sebagai konteks untuk LLM

  • Menerapkan pengenalan entitas kustom, meringkas, menjawab pertanyaan, dan kasus penggunaan tambahan

Bagian ini menjelaskan bagaimana Anda dapat menggabungkan Amazon Comprehend Medical dengan LLM dengan menggunakan pendekatan Retrieval Augmented Generation (RAG). Retrieval Augmented Generation (RAG) adalah teknologi AI generatif di mana LLM mereferensikan sumber data otoritatif yang berada di luar sumber data pelatihannya sebelum menghasilkan respons. Untuk informasi lebih lanjut, lihat Apa itu RAG.

Untuk mengilustrasikan pendekatan ini, bagian ini menggunakan contoh pengkodean medis (diagnosis) yang terkait dengan ICD-10-CM. Ini mencakup contoh arsitektur dan templat teknik yang cepat untuk membantu mempercepat inovasi Anda. Ini juga mencakup praktik terbaik untuk menggunakan Amazon Comprehend Medical dalam alur kerja RAG.

Arsitektur berbasis RAG dengan Amazon Comprehend Medical

Diagram berikut menggambarkan pendekatan RAG untuk mengidentifikasi kode diagnosis ICD-10-CM dari catatan pasien. Ini menggunakan Amazon Comprehend Medical sebagai sumber pengetahuan. Dalam pendekatan RAG, metode pengambilan biasanya mengambil informasi dari database vektor yang berisi pengetahuan yang berlaku. Alih-alih database vektor, arsitektur ini menggunakan Amazon Comprehend Medical untuk tugas pengambilan. Orkestrator mengirimkan informasi catatan pasien ke Amazon Comprehend Medical dan mengambil informasi kode ICD-10-CM. Orkestrator mengirimkan konteks ini ke model pondasi hilir (LLM), melalui Amazon Bedrock. LLM menghasilkan respons dengan menggunakan informasi kode ICD-10-CM, dan respons itu dikirim kembali ke aplikasi klien.

Alur kerja RAG yang menggunakan Amazon Comprehend Medical sebagai sumber pengetahuan.

Diagram menunjukkan alur kerja RAG berikut:

  1. Aplikasi klien mengirimkan catatan pasien sebagai kueri ke orkestrator. Contoh dari catatan pasien ini mungkin “Pasien adalah pasien wanita berusia 71 tahun dari Dr. X. Pasien yang dipresentasikan ke ruang gawat darurat tadi malam dengan riwayat sakit perut sekitar 7 hari hingga 8 hari, yang telah persisten. Dia tidak memiliki demam atau kedinginan yang pasti dan tidak ada riwayat penyakit kuning. Pasien menyangkal adanya penurunan berat badan yang signifikan baru-baru ini.”

  2. Orkestrator menggunakan Amazon Comprehend Medical untuk mengambil kode ICD-10-CM yang relevan dengan informasi medis dalam kueri. Ini menggunakan API Infer ICD1 0CM untuk mengekstrak dan menyimpulkan kode ICD-10-CM dari catatan pasien.

  3. Orkestrator membuat prompt yang menyertakan templat prompt, kueri asli, dan kode ICD-10-CM yang diambil dari Amazon Comprehend Medical. Ini mengirimkan konteks yang ditingkatkan ini ke Amazon Bedrock.

  4. Amazon Bedrock memproses input dan menggunakan model dasar untuk menghasilkan respons yang mencakup kode ICD-10-CM dan bukti yang sesuai dari kueri. Respons yang dihasilkan mencakup kode ICD-10-CM yang diidentifikasi dan bukti dari catatan pasien yang mendukung setiap kode. Berikut ini adalah contoh respons:

    <response> <icd10> <code>R10.9</code> <evidence>history of abdominal pain</evidence> </icd10> <icd10> <code>R10.30</code> <evidence>history of abdominal pain</evidence> </icd10> </response>
  5. Amazon Bedrock mengirimkan respons yang dihasilkan ke orkestrator.

  6. Orchestrator mengirimkan respon kembali ke aplikasi klien, di mana pengguna dapat meninjau respon.

Kasus penggunaan untuk menggunakan Amazon Comprehend Medical dalam alur kerja RAG

Amazon Comprehend Medical dapat melakukan tugas NLP tertentu. Untuk informasi selengkapnya, lihat Kasus penggunaan untuk Amazon Comprehend Medical.

Anda mungkin ingin mengintegrasikan Amazon Comprehend Medical ke dalam alur kerja RAG untuk kasus penggunaan lanjutan, seperti berikut ini:

  • Hasilkan ringkasan klinis terperinci dengan menggabungkan entitas medis yang diekstraksi dengan informasi kontekstual dari catatan pasien

  • Otomatiskan pengkodean medis untuk kasus kompleks dengan menggunakan entitas yang diekstraksi dengan informasi terkait ontologi untuk penetapan kode

  • Otomatiskan pembuatan catatan klinis terstruktur dari teks tidak terstruktur dengan menggunakan entitas medis yang diekstraksi

  • Menganalisis efek samping obat berdasarkan nama dan atribut obat yang diekstraksi

  • Mengembangkan sistem pendukung klinis cerdas yang menggabungkan informasi medis yang diekstraksi dengan up-to-date penelitian dan pedoman

Praktik terbaik untuk menggunakan Amazon Comprehend Medical dalam alur kerja RAG

Saat mengintegrasikan hasil Amazon Comprehend Medical ke dalam prompt untuk LLM, penting untuk mengikuti praktik terbaik. Ini dapat meningkatkan kinerja dan akurasi. Berikut ini adalah rekomendasi utama:

  • Memahami skor kepercayaan Amazon Comprehend Medical — Amazon Comprehend Medical memberikan skor kepercayaan untuk setiap entitas yang terdeteksi dan tautan ontologi. Sangat penting untuk memahami arti dari skor ini dan menetapkan ambang batas yang sesuai untuk kasus penggunaan spesifik Anda. Skor kepercayaan membantu menyaring entitas dengan kepercayaan rendah, mengurangi kebisingan dan meningkatkan kualitas input LLM.

  • Gunakan skor kepercayaan diri dalam rekayasa cepat — Saat menyusun petunjuk untuk LLM, pertimbangkan untuk memasukkan skor kepercayaan Amazon Comprehend Medical sebagai konteks tambahan. Ini membantu LLM memprioritaskan atau menimbang entitas berdasarkan tingkat kepercayaan mereka, berpotensi meningkatkan kualitas output.

  • Evaluasi hasil Amazon Comprehend Medical dengan data kebenaran dasar — Data kebenaran dasar adalah informasi yang diketahui benar. Hal ini dapat digunakan untuk memvalidasi bahwa aplikasi AI/ML menghasilkan hasil yang akurat. Sebelum mengintegrasikan hasil Amazon Comprehend Medical ke dalam alur kerja LLM Anda, evaluasi kinerja layanan pada sampel data Anda yang representatif. Bandingkan hasilnya dengan anotasi kebenaran dasar untuk mengidentifikasi potensi perbedaan atau area untuk perbaikan. Evaluasi ini membantu Anda memahami kekuatan dan keterbatasan Amazon Comprehend Medical untuk kasus penggunaan Anda.

  • Pilih informasi yang relevan secara strategis — Amazon Comprehend Medical dapat memberikan sejumlah besar informasi, tetapi tidak semuanya mungkin relevan dengan tugas Anda. Pilih dengan hati-hati entitas, atribut, dan metadata yang paling relevan dengan kasus penggunaan Anda. Memberikan terlalu banyak informasi yang tidak relevan ke LLM dapat menimbulkan kebisingan dan berpotensi menurunkan kinerja.

  • Sejajarkan definisi entitas — Pastikan bahwa definisi entitas dan atribut yang digunakan oleh Amazon Comprehend Medical selaras dengan interpretasi Anda. Jika ada perbedaan, pertimbangkan untuk memberikan konteks atau klarifikasi tambahan ke LLM untuk menjembatani kesenjangan antara hasil Amazon Comprehend Medical dan kebutuhan Anda. Jika entitas Amazon Comprehend Medical tidak memenuhi harapan Anda, Anda dapat menerapkan deteksi entitas kustom dengan menyertakan instruksi tambahan (dan contoh yang mungkin) dalam prompt.

  • Berikan pengetahuan khusus domain — Meskipun Amazon Comprehend Medical memberikan informasi medis yang berharga, mungkin tidak menangkap semua nuansa domain spesifik Anda. Pertimbangkan untuk melengkapi hasil Amazon Comprehend Medical dengan sumber pengetahuan khusus domain tambahan, seperti ontologi, terminologi, atau kumpulan data yang dikuratori oleh ahli. Ini memberikan konteks yang lebih komprehensif untuk LLM.

  • Patuhi pedoman etika dan peraturan — Saat berhadapan dengan data medis, penting untuk mematuhi prinsip-prinsip etika dan pedoman peraturan, seperti yang terkait dengan privasi data, keamanan, dan penggunaan sistem AI yang bertanggung jawab dalam perawatan kesehatan. Pastikan implementasi Anda mematuhi hukum dan praktik terbaik industri yang relevan.

Dengan mengikuti praktik terbaik ini, praktisi AI/ML dapat secara efektif menggunakan kekuatan Amazon Comprehend Medical dan. LLMs Untuk tugas NLP medis, praktik terbaik ini membantu mengurangi potensi risiko dan dapat meningkatkan kinerja.

Rekayasa cepat untuk konteks Amazon Comprehend Medical

Rekayasa yang cepat adalah proses merancang dan menyempurnakan petunjuk untuk memandu solusi AI generatif untuk menghasilkan output yang diinginkan. Anda memilih format, frasa, kata, dan simbol yang paling tepat yang memandu AI untuk berinteraksi dengan pengguna Anda secara lebih bermakna.

Bergantung pada operasi API yang Anda lakukan, Amazon Comprehend Medical mengembalikan entitas yang terdeteksi, kode ontologi dan deskripsi, dan skor kepercayaan. Hasil ini menjadi konteks dalam prompt ketika solusi Anda memanggil LLM target. Anda harus merekayasa prompt untuk menyajikan konteks dalam template prompt.

catatan

Contoh petunjuk di bagian ini mengikuti panduan Antropik. Jika Anda menggunakan penyedia LLM yang berbeda, ikuti rekomendasi dari penyedia itu.

Secara umum, Anda memasukkan teks medis asli dan hasil Amazon Comprehend Medical ke dalam prompt. Berikut ini adalah struktur prompt umum:

<medical_text> medical text </medical_text> <comprehend_medical_text_results> comprehend medical text results </comprehend_medical_text_results> <prompt_instructions> prompt instructions </prompt_instructions>

Bagian ini menyediakan strategi untuk memasukkan hasil Amazon Comprehend Medical sebagai konteks cepat untuk tugas NLP medis umum berikut:

Filter hasil Amazon Comprehend Medical

Amazon Comprehend Medical biasanya menyediakan sejumlah besar informasi. Anda mungkin ingin mengurangi jumlah hasil yang harus ditinjau oleh profesional medis. Dalam hal ini, Anda dapat menggunakan LLM untuk memfilter hasil ini. Entitas Amazon Comprehend Medical menyertakan skor kepercayaan yang dapat Anda gunakan sebagai mekanisme penyaringan saat merancang prompt.

Berikut ini adalah contoh catatan pasien:

Carlie had a seizure 2 weeks ago. She is complaining of frequent headaches Nausea is also present. She also complains of eye trouble with blurry vision Meds : Topamax 50 mgs at breakfast daily, Send referral order to neurologist Follow-up as scheduled

Dalam catatan pasien ini, Amazon Comprehend Medical mendeteksi entitas berikut.

Deteksi entitas di Amazon Comprehend Medical.

Entitas menautkan ke kode ICD-10-CM berikut untuk kejang dan sakit kepala.

Kategori Kode ICD-10-CM Deskripsi ICD-10-CM Skor kepercayaan
Kejang R56.9 Kejang yang tidak ditentukan 0.8348
Kejang G40.909 Epilepsi, tidak spesifik, tidak sulit diobati, tanpa status epileptikus 0,5424
Kejang R56.00 Kejang demam sederhana 0,4937
Kejang G40.09 Kejang lainnya 0.4397
Kejang G40.409 Epilepsi umum dan sindrom epilepsi lainnya, tidak sulit diobati, tanpa status epileptikus 0.4138
Sakit kepala R51 Sakit kepala 0,4067
Sakit kepala R51.9 Sakit kepala, tidak ditentukan 0.3844
Sakit kepala G44.52 Sakit kepala persisten harian baru (NDPH) 0,3005
Sakit kepala G44 Sindrom sakit kepala lainnya 0,2670
Sakit kepala G44.8 Sindrom sakit kepala tertentu lainnya 0,2542

Anda dapat meneruskan kode ICD-10-CM ke prompt untuk meningkatkan presisi LLM. Untuk mengurangi kebisingan, Anda dapat memfilter kode ICD-10-CM dengan menggunakan skor kepercayaan yang termasuk dalam hasil Amazon Comprehend Medical. Berikut ini adalah contoh prompt yang hanya menyertakan kode ICD-10-CM yang memiliki skor kepercayaan lebih tinggi dari 0,4:

<patient_note> Carlie had a seizure 2 weeks ago. She is complaining of frequent headaches Nausea is also present. She also complains of eye trouble with blurry vision Meds : Topamax 50 mgs at breakfast daily, Send referral order to neurologist Follow-up as scheduled </patient_note> <comprehend_medical_results> <icd-10> <entity> <text>seizure</text> <code> <description>Unspecified convulsions</description> <code_value>R56.9</code_value> <score>0.8347607851028442</score> </code> <code> <description>Epilepsy, unspecified, not intractable, without status epilepticus</description> <code_value>G40.909</code_value> <score>0.542376697063446</score> </code> <code> <description>Other seizures</description> <code_value>G40.89</code_value> <score>0.43966275453567505</score> </code> <code> <description>Other generalized epilepsy and epileptic syndromes, not intractable, without status epilepticus</description> <code_value>G40.409</code_value> <score>0.41382506489753723</score> </code> </entity> <entity> <text>headaches</text> <code> <description>Headache</description> <code_value>R51</code_value> <score>0.4066613018512726</score> </code> </entity> <entity> <text>Nausea</text> <code> <description>Nausea</description> <code_value>R11.0</code_value> <score>0.6460834741592407</score> </code> </entity> <entity> <text>eye trouble</text> <code> <description>Unspecified disorder of eye and adnexa</description> <code_value>H57.9</code_value> <score>0.6780954599380493</score> </code> <code> <description>Unspecified visual disturbance</description> <code_value>H53.9</code_value> <score>0.5871203541755676</score> </code> <code> <description>Unspecified disorder of binocular vision</description> <code_value>H53.30</code_value> <score>0.5539672374725342</score> </code> </entity> <entity> <text>blurry vision</text> <code> <description>Other visual disturbances</description> <code_value>H53.8</code_value> <score>0.9001834392547607</score> </code> </entity> </icd-10> </comprehend_medical_results> <prompt> Given the patient note and Amazon Comprehend Medical ICD-10-CM code results above, please select the most relevant ICD-10-CM diagnosis codes for the patient. For each selected code, provide a brief explanation of why it is relevant based on the information in the patient note. </prompt>

Perpanjang tugas NLP medis dengan Amazon Comprehend Medical

Saat memproses teks medis, konteks dari Amazon Comprehend Medical dapat membantu LLM memilih token yang lebih baik. Dalam contoh ini, Anda ingin mencocokkan gejala diagnosis dengan obat-obatan. Anda juga ingin menemukan teks yang berhubungan dengan tes medis, seperti istilah yang berhubungan dengan tes panel darah. Anda dapat menggunakan Amazon Comprehend Medical untuk mendeteksi entitas dan nama obat. Dalam hal ini, Anda akan menggunakan DetectEntitiesV2 dan InferRxNorm APIs untuk Amazon Comprehend Medical.

Berikut ini adalah contoh catatan pasien:

Carlie had a seizure 2 weeks ago. She is complaining of increased frequent headaches Given lyme disease symptoms such as muscle ache and stiff neck will order prescription. Meds : Topamax 50 mgs at breakfast daily. Amoxicillan 25 mg by mouth twice a day Place MRI radiology order at RadNet

Untuk fokus pada kode diagnosis, hanya entitas yang terkait MEDICAL_CONDITION dengan tipe with DX_NAME yang digunakan dalam prompt. Metadata lain dikecualikan karena tidak relevan. Untuk entitas pengobatan, nama obat bersama dengan atribut yang diekstraksi disertakan. Metadata entitas obat lain dari Amazon Comprehend Medical dikecualikan karena tidak relevan. Berikut ini adalah contoh prompt yang menggunakan hasil Amazon Comprehend Medical yang difilter. Prompt berfokus pada MEDICAL_CONDITION entitas yang memiliki DX_NAME tipe. Prompt ini dirancang untuk lebih tepat menghubungkan kode diagnosis dengan obat-obatan dan lebih tepat mengekstrak tes pesanan medis:

<patient_note> Carlie had a seizure 2 weeks ago. She is complaining of increased freqeunt headaches Given lyme disease symptoms such as muscle ache and stiff neck will order prescription. Meds : Topamax 50 mgs at breakfast daily. Amoxicillan 25 mg by mouth twice a day Place MRI radiology order at RadNet </patient_note> <detect_entity_results> <entity> <text>seizure</text> <category>MEDICAL_CONDITION</category> <type>DX_NAME</type> </entity> <entity> <text>headaches</text> <category>MEDICAL_CONDITION</category> <type>DX_NAME</type> </entity> <entity> <text>lyme disease</text> <category>MEDICAL_CONDITION</category> <type>DX_NAME</type> </entity> <entity> <text>muscle ache</text> <category>MEDICAL_CONDITION</category> <type>DX_NAME</type> </entity> <entity> <text>stiff neck</text> <category>MEDICAL_CONDITION</category> <type>DX_NAME</type> </entity> </detect_entity_results> <rx_results> <entity> <text>Topamax</text> <category>MEDICATION</category> <type>BRAND_NAME</type> <attributes> <attribute> <type>FREQUENCY</type> <text>at breakfast daily</text> </attribute> <attribute> <type>DOSAGE</type> <text>50 mgs</text> </attribute> <attribute> <type>ROUTE_OR_MODE</type> <text>by mouth</text> </attribute> </attributes> </entity> <entity> <text>Amoxicillan</text> <category>MEDICATION</category> <type>GENERIC_NAME</type> <attributes> <attribute> <type>ROUTE_OR_MODE</type> <text>by mouth</text> </attribute> <attribute> <type>DOSAGE</type> <text>25 mg</text> </attribute> <attribute> <type>FREQUENCY</type> <text>twice a day</text> </attribute> </attributes> </entity> </rx_results> <prompt> Based on the patient note and the detected entities, can you please: 1. Link the diagnosis symptoms with the medications prescribed. Provide your reasoning for the linkages. 2. Extract any entities related to medical order tests mentioned in the note. </prompt>

Terapkan pagar pembatas dengan Amazon Comprehend Medical

Anda dapat menggunakan LLM dan Amazon Comprehend Medical untuk membuat pagar pembatas sebelum respons yang dihasilkan digunakan. Anda dapat menjalankan alur kerja ini pada teks medis yang tidak dimodifikasi atau pasca-diproses. Kasus penggunaan termasuk menangani informasi kesehatan yang dilindungi (PHI), mendeteksi halusinasi, atau menerapkan kebijakan khusus untuk mempublikasikan hasil. Misalnya, Anda dapat menggunakan konteks dari Amazon Comprehend Medical untuk mengidentifikasi data PHI dan kemudian menggunakan LLM untuk menghapus data PHI tersebut.

Berikut ini adalah contoh informasi dari catatan pasien yang mencakup PHI:

Patient name: John Doe Patient SSN: 123-34-5678 Patient DOB: 01/01/2024 Patient address: 123 Main St, Anytown USA Exam details: good health. Pulse is 60 bpm. needs to work on diet with BMI of 190

Berikut ini adalah contoh prompt yang menyertakan hasil Amazon Comprehend Medical sebagai konteks:

<original_text> Patient name: John Doe Patient SSN: 123-34-5678 Patient DOB: 01/01/2024 Patient address: 123 Main St, Anytown USA Exam details: good health. Pulse is 60 bpm. needs to work on diet with BMI of 190 </original_text> <comprehend_medical_phi_entities> <entity> <text>John Doe</text> <category>PROTECTED_HEALTH_INFORMATION</category> <score>0.9967944025993347</score> <type>NAME</type> </entity> <entity> <text>123-34-5678</text> <category>PROTECTED_HEALTH_INFORMATION</category> <score>0.9998034834861755</score> <type>ID</type> </entity> <entity> <text>01/01/2000</text> <category>PROTECTED_HEALTH_INFORMATION</category> <score>0.9964448809623718</score> <type>DATE</type> </entity> </comprehend_medical_phi_entities> <instructions> Using the provided original text and the Amazon Comprehend Medical PHI entities detected, please analyze the text to determine if it contains any additional protected health information (PHI) beyond the entities already identified. If additional PHI is found, please list and categorize it. If no additional PHI is found, please state that explicitly. In addition if PHI is found, generate updated text with the PHI removed. </instructions>