Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Combinazione di Amazon Comprehend Medical con modelli linguistici di grandi dimensioni
Uno studio del 2024 condotto da NEJM AI
-
Migliora l'accuratezza delle selezioni delle entità utilizzando i risultati iniziali di Amazon Comprehend Medical come contesto per il LLM
-
Implementa il riconoscimento personalizzato delle entità, il riepilogo, la risposta alle domande e altri casi d'uso
Questa sezione descrive come combinare Amazon Comprehend Medical con un LLM utilizzando un approccio Retrieval Augmented Generation (RAG). Retrieval Augmented Generation (RAG) è una tecnologia di intelligenza artificiale generativa in cui un LLM fa riferimento a una fonte di dati autorevole esterna alle sue fonti di dati di addestramento prima di generare una risposta. Per ulteriori informazioni, consulta Cos'è il RAG.
Per illustrare questo approccio, questa sezione utilizza l'esempio di codifica medica (diagnostica) relativa all'ICD-10-CM. Include un'architettura di esempio e modelli di progettazione rapidi per accelerare l'innovazione. Include inoltre le migliori pratiche per l'utilizzo di Amazon Comprehend Medical all'interno di un flusso di lavoro RAG.
Architettura basata su RAG con Amazon Comprehend Medical
Il diagramma seguente illustra un approccio RAG per identificare i codici di diagnosi ICD-10-CM dalle note dei pazienti. Utilizza Amazon Comprehend Medical come fonte di conoscenza. In un approccio RAG, il metodo di recupero recupera in genere informazioni da un database vettoriale contenente le conoscenze applicabili. Invece di un database vettoriale, questa architettura utilizza Amazon Comprehend Medical per l'attività di recupero. L'orchestratore invia le informazioni sulla nota del paziente ad Amazon Comprehend Medical e recupera le informazioni sul codice ICD-10-CM. L'orchestratore invia questo contesto al downstream Foundation Model (LLM), tramite Amazon Bedrock. L'LLM genera una risposta utilizzando le informazioni sul codice ICD-10-CM e tale risposta viene rispedita all'applicazione client.

Il diagramma mostra il seguente flusso di lavoro RAG:
-
L'applicazione client invia le note del paziente come interrogazione all'orchestratore. Un esempio di queste annotazioni sul paziente potrebbe essere «La paziente è una paziente di 71 anni del Dr. X. La paziente si è presentata al pronto soccorso ieri sera con una storia di dolore addominale di circa 7-8 giorni, che è stata persistente. Non ha avuto febbri o brividi precisi e nessuna storia di ittero. Il paziente nega qualsiasi significativa perdita di peso recente».
-
L'orchestratore utilizza Amazon Comprehend Medical per recuperare i codici ICD-10-CM relativi alle informazioni mediche contenute nella query. Utilizza l'API Infer ICD10CM per estrarre e dedurre i codici ICD-10-CM dalle note del paziente.
-
L'orchestratore crea un prompt che include il modello di prompt, la query originale e i codici ICD-10-CM recuperati da Amazon Comprehend Medical. Invia questo contesto avanzato ad Amazon Bedrock.
-
Amazon Bedrock elabora l'input e utilizza un modello di base per generare una risposta che include i codici ICD-10-CM e le prove corrispondenti ricavate dalla query. La risposta generata include i codici ICD-10-CM identificati e le evidenze tratte dalle note del paziente a supporto di ciascun codice. Di seguito è riportata una risposta di esempio:
<response> <icd10> <code>R10.9</code> <evidence>history of abdominal pain</evidence> </icd10> <icd10> <code>R10.30</code> <evidence>history of abdominal pain</evidence> </icd10> </response>
-
Amazon Bedrock invia la risposta generata all'orchestratore.
-
L'orchestratore invia la risposta all'applicazione client, dove l'utente può esaminarla.
Casi d'uso per l'utilizzo di Amazon Comprehend Medical in un flusso di lavoro RAG
Amazon Comprehend Medical può eseguire attività di PNL specifiche. Per ulteriori informazioni, consulta Casi d'uso per Amazon Comprehend Medical.
Potresti voler integrare Amazon Comprehend Medical in un flusso di lavoro RAG per casi d'uso avanzati, come i seguenti:
-
Genera riepiloghi clinici dettagliati combinando entità mediche estratte con informazioni contestuali provenienti dalle cartelle cliniche dei pazienti
-
Automatizza la codifica medica per casi complessi utilizzando entità estratte con informazioni collegate all'ontologia per l'assegnazione del codice
-
Automatizza la creazione di note cliniche strutturate a partire da testo non strutturato utilizzando entità mediche estratte
-
Analizza gli effetti collaterali dei farmaci in base ai nomi e agli attributi dei farmaci estratti
-
Sviluppa sistemi di supporto clinico intelligenti che combinano le informazioni mediche estratte con la up-to-date ricerca e le linee guida
Le migliori pratiche per l'utilizzo di Amazon Comprehend Medical in un flusso di lavoro RAG
Quando si integrano i risultati di Amazon Comprehend Medical in una richiesta di LLM, è essenziale seguire le best practice. Ciò può migliorare le prestazioni e la precisione. Di seguito sono riportate le raccomandazioni principali:
-
Comprendi i punteggi di confidenza di Amazon Comprehend Medical: Amazon Comprehend Medical fornisce punteggi di affidabilità per ogni entità e collegamento ontologico rilevati. È fondamentale comprendere il significato di questi punteggi e stabilire soglie appropriate per il caso d'uso specifico. I punteggi di confidenza aiutano a filtrare le entità con scarsa fiducia, riducendo il rumore e migliorando la qualità degli input del LLM.
-
Usa i punteggi di confidenza nella progettazione tempestiva: quando crei istruzioni per il LLM, prendi in considerazione l'idea di incorporare i punteggi di confidenza di Amazon Comprehend Medical come contesto aggiuntivo. Questo aiuta l'LLM a stabilire le priorità o a valutare le entità in base ai loro livelli di fiducia, migliorando potenzialmente la qualità dell'output.
-
Valuta i risultati di Amazon Comprehend Medical con dati fondati: i dati Ground Truth sono informazioni di cui si sa che sono vere. Possono essere utilizzati per verificare che un'applicazione AI/ML stia producendo risultati accurati. Prima di integrare i risultati di Amazon Comprehend Medical nel tuo flusso di lavoro LLM, valuta le prestazioni del servizio su un campione rappresentativo dei tuoi dati. Confronta i risultati con annotazioni di base per identificare potenziali discrepanze o aree di miglioramento. Questa valutazione ti aiuta a comprendere i punti di forza e i limiti di Amazon Comprehend Medical per il tuo caso d'uso.
-
Seleziona strategicamente le informazioni pertinenti: Amazon Comprehend Medical può fornire una grande quantità di informazioni, ma non tutte possono essere pertinenti alla tua attività. Seleziona attentamente le entità, gli attributi e i metadati più pertinenti al tuo caso d'uso. Fornire troppe informazioni irrilevanti all'LLM può causare rumore e potenzialmente ridurre le prestazioni.
-
Allinea le definizioni delle entità: assicurati che le definizioni di entità e attributi utilizzate da Amazon Comprehend Medical siano in linea con la tua interpretazione. In caso di discrepanze, valuta la possibilità di fornire un contesto o un chiarimento aggiuntivi al LLM per colmare il divario tra i risultati di Amazon Comprehend Medical e i tuoi requisiti. Se l'entità Amazon Comprehend Medical non soddisfa le tue aspettative, puoi implementare il rilevamento personalizzato delle entità includendo istruzioni aggiuntive (e possibili esempi) all'interno del prompt.
-
Fornisci conoscenze specifiche del dominio: sebbene Amazon Comprehend Medical fornisca preziose informazioni mediche, potrebbe non cogliere tutte le sfumature del tuo dominio specifico. Valuta la possibilità di integrare i risultati di Amazon Comprehend Medical con ulteriori fonti di conoscenza specifiche del dominio, come ontologie, terminologie o set di dati curati da esperti. Ciò fornisce un contesto più completo al LLM.
-
Rispettare le linee guida etiche e normative: quando si tratta di dati medici, è importante attenersi ai principi etici e alle linee guida normative, come quelli relativi alla privacy dei dati, alla sicurezza e all'uso responsabile dei sistemi di intelligenza artificiale nell'assistenza sanitaria. Assicurati che la tua implementazione sia conforme alle leggi pertinenti e alle migliori pratiche del settore.
Seguendo queste best practice, i professionisti di AI/ML possono utilizzare efficacemente i punti di forza di Amazon Comprehend Medical e. LLMs Per le attività mediche di PNL, queste best practice aiutano a mitigare i potenziali rischi e possono migliorare le prestazioni.
Progettazione tempestiva per il contesto di Amazon Comprehend Medical
La progettazione tempestiva
A seconda dell'operazione API eseguita, Amazon Comprehend Medical restituisce le entità rilevate, i codici e le descrizioni ontologiche e i punteggi di confidenza. Questi risultati diventano contestuali all'interno del prompt quando la soluzione richiama il LLM di destinazione. È necessario progettare il prompt per presentare il contesto all'interno del modello di prompt.
Nota
I prompt di esempio in questa sezione seguono le indicazioni di Anthropic.
In generale, inserisci sia il testo medico originale che i risultati di Amazon Comprehend Medical nel prompt. Di seguito è riportata una struttura di prompt comune:
<medical_text> medical text </medical_text> <comprehend_medical_text_results> comprehend medical text results </comprehend_medical_text_results> <prompt_instructions> prompt instructions </prompt_instructions>
Questa sezione fornisce strategie per includere i risultati di Amazon Comprehend Medical come contesto immediato per le seguenti attività mediche comuni di PNL:
Filtra i risultati di Amazon Comprehend Medical
Amazon Comprehend Medical fornisce in genere una grande quantità di informazioni. Potresti voler ridurre il numero di risultati che il medico deve esaminare. In questo caso, puoi utilizzare un LLM per filtrare questi risultati. Le entità Amazon Comprehend Medical includono un punteggio di confidenza che puoi utilizzare come meccanismo di filtro durante la progettazione del prompt.
Di seguito è riportato un esempio di nota per un paziente:
Carlie had a seizure 2 weeks ago. She is complaining of frequent headaches Nausea is also present. She also complains of eye trouble with blurry vision Meds : Topamax 50 mgs at breakfast daily, Send referral order to neurologist Follow-up as scheduled
In questa nota per il paziente, Amazon Comprehend Medical rileva le seguenti entità.

Le entità si collegano ai seguenti codici ICD-10-CM per convulsioni e mal di testa.
Categoria | Codice ICD-10-CM | Descrizione ICD-10-CM | Punteggio di confidenza |
---|---|---|---|
Convulsioni | R56.9 | Convulsioni non specificate | 0,8348 |
Convulsioni | G40.909 | Epilessia, non specificata, non intrattabile, senza stato epilettico | 0,5424 |
Convulsioni | R56,00 | Semplici convulsioni febbrili | 0,4937 |
Convulsioni | G40.09 | Altre crisi epilettiche | 0,4397 |
Convulsioni | G40.409 | Altre epilessia e sindromi epilettiche generalizzate, non intrattabili, senza stato epilettico | 0,4138 |
Mal di testa | R51 | mal di testa | 0,4067 |
Mal di testa | R51,9 | Cefalea, non specificata | 0,3844 |
Mal di testa | G44,52 | Nuova cefalea persistente quotidiana (NDPH) | 0,3005 |
Mal di testa | G 44 | Altra sindrome di cefalea | 0,2670 |
Mal di testa | 4.8 | Altre sindromi cefalee specificate | 0,2542 |
È possibile inserire i codici ICD-10-CM nel prompt per aumentare la precisione LLM. Per ridurre il rumore, puoi filtrare i codici ICD-10-CM utilizzando il punteggio di confidenza incluso nei risultati di Amazon Comprehend Medical. Di seguito è riportato un esempio di prompt che include solo i codici ICD-10-CM con un punteggio di affidabilità superiore a 0,4:
<patient_note> Carlie had a seizure 2 weeks ago. She is complaining of frequent headaches Nausea is also present. She also complains of eye trouble with blurry vision Meds : Topamax 50 mgs at breakfast daily, Send referral order to neurologist Follow-up as scheduled </patient_note> <comprehend_medical_results> <icd-10> <entity> <text>seizure</text> <code> <description>Unspecified convulsions</description> <code_value>R56.9</code_value> <score>0.8347607851028442</score> </code> <code> <description>Epilepsy, unspecified, not intractable, without status epilepticus</description> <code_value>G40.909</code_value> <score>0.542376697063446</score> </code> <code> <description>Other seizures</description> <code_value>G40.89</code_value> <score>0.43966275453567505</score> </code> <code> <description>Other generalized epilepsy and epileptic syndromes, not intractable, without status epilepticus</description> <code_value>G40.409</code_value> <score>0.41382506489753723</score> </code> </entity> <entity> <text>headaches</text> <code> <description>Headache</description> <code_value>R51</code_value> <score>0.4066613018512726</score> </code> </entity> <entity> <text>Nausea</text> <code> <description>Nausea</description> <code_value>R11.0</code_value> <score>0.6460834741592407</score> </code> </entity> <entity> <text>eye trouble</text> <code> <description>Unspecified disorder of eye and adnexa</description> <code_value>H57.9</code_value> <score>0.6780954599380493</score> </code> <code> <description>Unspecified visual disturbance</description> <code_value>H53.9</code_value> <score>0.5871203541755676</score> </code> <code> <description>Unspecified disorder of binocular vision</description> <code_value>H53.30</code_value> <score>0.5539672374725342</score> </code> </entity> <entity> <text>blurry vision</text> <code> <description>Other visual disturbances</description> <code_value>H53.8</code_value> <score>0.9001834392547607</score> </code> </entity> </icd-10> </comprehend_medical_results> <prompt> Given the patient note and Amazon Comprehend Medical ICD-10-CM code results above, please select the most relevant ICD-10-CM diagnosis codes for the patient. For each selected code, provide a brief explanation of why it is relevant based on the information in the patient note. </prompt>
Estendi le attività di PNL in ambito medico con Amazon Comprehend Medical
Durante l'elaborazione di testi medici, il contesto di Amazon Comprehend Medical può aiutare l'LLM a selezionare token migliori. In questo esempio, vuoi abbinare i sintomi della diagnosi ai farmaci. È inoltre necessario trovare del testo che si riferisca agli esami medici, ad esempio termini che si riferiscono a un esame del sangue. Puoi usare Amazon Comprehend Medical per rilevare le entità e i nomi dei farmaci. In questo caso, utilizzerai la versione DetectEntitiesV2 e InferRxNorm APIs per Amazon Comprehend Medical.
Di seguito è riportato un esempio di nota per un paziente:
Carlie had a seizure 2 weeks ago. She is complaining of increased frequent headaches Given lyme disease symptoms such as muscle ache and stiff neck will order prescription. Meds : Topamax 50 mgs at breakfast daily. Amoxicillan 25 mg by mouth twice a day Place MRI radiology order at RadNet
Per concentrarsi sul codice di diagnosi, nel prompt DX_NAME
vengono utilizzate solo MEDICAL_CONDITION
le entità correlate al tipo. Gli altri metadati sono esclusi per irrilevanza. Per le entità farmaceutiche, è incluso il nome del farmaco insieme agli attributi estratti. Altri metadati relativi alle entità farmaceutiche di Amazon Comprehend Medical sono esclusi per irrilevanza. Di seguito è riportato un prompt di esempio che utilizza risultati filtrati di Amazon Comprehend Medical. Il prompt si concentra sulle MEDICAL_CONDITION
entità che hanno il tipo. DX_NAME
Questo prompt è progettato per collegare in modo più preciso i codici di diagnosi con i farmaci ed estrarre con maggiore precisione i test medici:
<patient_note> Carlie had a seizure 2 weeks ago. She is complaining of increased freqeunt headaches Given lyme disease symptoms such as muscle ache and stiff neck will order prescription. Meds : Topamax 50 mgs at breakfast daily. Amoxicillan 25 mg by mouth twice a day Place MRI radiology order at RadNet </patient_note> <detect_entity_results> <entity> <text>seizure</text> <category>MEDICAL_CONDITION</category> <type>DX_NAME</type> </entity> <entity> <text>headaches</text> <category>MEDICAL_CONDITION</category> <type>DX_NAME</type> </entity> <entity> <text>lyme disease</text> <category>MEDICAL_CONDITION</category> <type>DX_NAME</type> </entity> <entity> <text>muscle ache</text> <category>MEDICAL_CONDITION</category> <type>DX_NAME</type> </entity> <entity> <text>stiff neck</text> <category>MEDICAL_CONDITION</category> <type>DX_NAME</type> </entity> </detect_entity_results> <rx_results> <entity> <text>Topamax</text> <category>MEDICATION</category> <type>BRAND_NAME</type> <attributes> <attribute> <type>FREQUENCY</type> <text>at breakfast daily</text> </attribute> <attribute> <type>DOSAGE</type> <text>50 mgs</text> </attribute> <attribute> <type>ROUTE_OR_MODE</type> <text>by mouth</text> </attribute> </attributes> </entity> <entity> <text>Amoxicillan</text> <category>MEDICATION</category> <type>GENERIC_NAME</type> <attributes> <attribute> <type>ROUTE_OR_MODE</type> <text>by mouth</text> </attribute> <attribute> <type>DOSAGE</type> <text>25 mg</text> </attribute> <attribute> <type>FREQUENCY</type> <text>twice a day</text> </attribute> </attributes> </entity> </rx_results> <prompt> Based on the patient note and the detected entities, can you please: 1. Link the diagnosis symptoms with the medications prescribed. Provide your reasoning for the linkages. 2. Extract any entities related to medical order tests mentioned in the note. </prompt>
Applica i guardrail con Amazon Comprehend Medical
Puoi utilizzare un LLM e Amazon Comprehend Medical per creare guardrail prima che venga utilizzata la risposta generata. Puoi eseguire questo flusso di lavoro su testo medico non modificato o post-elaborato. I casi d'uso includono la gestione di informazioni sanitarie protette (PHI), il rilevamento di allucinazioni o l'implementazione di politiche personalizzate per la pubblicazione dei risultati. Ad esempio, puoi utilizzare il contesto di Amazon Comprehend Medical per identificare i dati PHI e quindi utilizzare l'LLM per rimuovere tali dati PHI.
Di seguito è riportato un esempio di informazioni tratte dalla cartella clinica di un paziente che include PHI:
Patient name: John Doe Patient SSN: 123-34-5678 Patient DOB: 01/01/2024 Patient address: 123 Main St, Anytown USA Exam details: good health. Pulse is 60 bpm. needs to work on diet with BMI of 190
Di seguito è riportato un esempio di prompt che include i risultati di Amazon Comprehend Medical come contesto:
<original_text> Patient name: John Doe Patient SSN: 123-34-5678 Patient DOB: 01/01/2024 Patient address: 123 Main St, Anytown USA Exam details: good health. Pulse is 60 bpm. needs to work on diet with BMI of 190 </original_text> <comprehend_medical_phi_entities> <entity> <text>John Doe</text> <category>PROTECTED_HEALTH_INFORMATION</category> <score>0.9967944025993347</score> <type>NAME</type> </entity> <entity> <text>123-34-5678</text> <category>PROTECTED_HEALTH_INFORMATION</category> <score>0.9998034834861755</score> <type>ID</type> </entity> <entity> <text>01/01/2000</text> <category>PROTECTED_HEALTH_INFORMATION</category> <score>0.9964448809623718</score> <type>DATE</type> </entity> </comprehend_medical_phi_entities> <instructions> Using the provided original text and the Amazon Comprehend Medical PHI entities detected, please analyze the text to determine if it contains any additional protected health information (PHI) beyond the entities already identified. If additional PHI is found, please list and categorize it. If no additional PHI is found, please state that explicitly. In addition if PHI is found, generate updated text with the PHI removed. </instructions>