Combinación de Amazon Comprehend Medical con modelos lingüísticos de gran tamaño - AWS Guía prescriptiva

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Combinación de Amazon Comprehend Medical con modelos lingüísticos de gran tamaño

Un estudio realizado en 2024 por NEJM AI demostró que, por lo general, el uso de un LLM, sin necesidad de preguntar nada, para tareas de codificación médica se traduce en un rendimiento deficiente. El uso de Amazon Comprehend Medical con un LLM puede ayudar a mitigar estos problemas de rendimiento. Los resultados de Amazon Comprehend Medical son un contexto útil para un LLM que realiza tareas de PNL. Por ejemplo, proporcionar el contexto de Amazon Comprehend Medical al modelo de lenguaje amplio puede ayudarle a:

  • Mejore la precisión de la selección de entidades utilizando los resultados iniciales de Amazon Comprehend Medical como contexto para el LLM

  • Implemente el reconocimiento de entidades, el resumen, la respuesta a preguntas y otros casos de uso personalizados

En esta sección se describe cómo puede combinar Amazon Comprehend Medical con un LLM mediante un enfoque de generación aumentada de recuperación (RAG). La generación aumentada de recuperación (RAG) es una tecnología de IA generativa en la que un LLM hace referencia a una fuente de datos autorizada que se encuentra fuera de sus fuentes de datos de entrenamiento antes de generar una respuesta. Para obtener más información, consulte Qué es el RAG.

Para ilustrar este enfoque, en esta sección se utiliza el ejemplo de la codificación médica (de diagnóstico) relacionada con la ICD-10-CM. Incluye un ejemplo de arquitectura y plantillas de ingeniería rápidas para ayudar a acelerar la innovación. También incluye prácticas recomendadas para usar Amazon Comprehend Medical en un flujo de trabajo de RAG.

Arquitectura basada en RAG con Amazon Comprehend Medical

El siguiente diagrama ilustra un enfoque RAG para identificar los códigos de diagnóstico ICD-10-CM a partir de las notas de los pacientes. Utiliza Amazon Comprehend Medical como fuente de conocimiento. En un enfoque RAG, el método de recuperación suele recuperar información de una base de datos vectorial que contiene los conocimientos aplicables. En lugar de una base de datos vectorial, esta arquitectura utiliza Amazon Comprehend Medical para la tarea de recuperación. El orquestador envía la información de las notas del paciente a Amazon Comprehend Medical y recupera la información del código ICD-10-CM. El orquestador envía este contexto al modelo de base descendente (LLM), a través de Amazon Bedrock. El LLM genera una respuesta mediante la información del código ICD-10-CM y esa respuesta se devuelve a la aplicación cliente.

Un flujo de trabajo de RAG que utiliza Amazon Comprehend Medical como fuente de conocimiento.

El diagrama muestra el siguiente flujo de trabajo de RAG:

  1. La aplicación cliente envía las notas del paciente como una consulta al orquestador. Un ejemplo de estas notas de un paciente podría ser: «La paciente es una paciente del Dr. X. La paciente acudió a la sala de emergencias anoche con un historial de dolor abdominal persistente de aproximadamente 7 a 8 días. No ha tenido fiebres ni escalofríos definidos ni antecedentes de ictericia. The patient denies any significant recent weight loss".

  2. El orquestador utiliza Amazon Comprehend Medical para recuperar los códigos ICD-10-CM relevantes para la información médica de la consulta. Utiliza la API Infer ICD10CM para extraer e inferir los códigos ICD-10-CM de las notas de los pacientes.

  3. El orquestador crea un mensaje que incluye la plantilla del mensaje, la consulta original y los códigos ICD-10-CM recuperados de Amazon Comprehend Medical. Envía este contexto mejorado a Amazon Bedrock.

  4. Amazon Bedrock procesa la entrada y utiliza un modelo básico para generar una respuesta que incluye los códigos ICD-10-CM y las correspondientes pruebas de la consulta. La respuesta generada incluye los códigos ICD-10-CM identificados y las pruebas de las notas del paciente que respaldan cada código. A continuación, se muestra una respuesta de ejemplo:

    <response> <icd10> <code>R10.9</code> <evidence>history of abdominal pain</evidence> </icd10> <icd10> <code>R10.30</code> <evidence>history of abdominal pain</evidence> </icd10> </response>
  5. Amazon Bedrock envía la respuesta generada al orquestador.

  6. El orquestador devuelve la respuesta a la aplicación cliente, donde el usuario puede revisarla.

Casos de uso del uso de Amazon Comprehend Medical en un flujo de trabajo de RAG

Amazon Comprehend Medical puede realizar tareas específicas de PNL. Para obtener más información, consulte Casos de uso de Amazon Comprehend Medical.

Es posible que desee integrar Amazon Comprehend Medical en un flujo de trabajo de RAG para casos de uso avanzados, como los siguientes:

  • Genere resúmenes clínicos detallados combinando datos médicos extraídos con información contextual de los historiales de los pacientes

  • Automatice la codificación médica para casos complejos mediante el uso de entidades extraídas con información vinculada a ontologías para la asignación de códigos

  • Automatice la creación de notas clínicas estructuradas a partir de texto no estructurado mediante el uso de entidades médicas extraídas

  • Analice los efectos secundarios de los medicamentos en función de los nombres y atributos de los medicamentos extraídos

  • Desarrolle sistemas inteligentes de apoyo clínico que combinen la información médica extraída con up-to-date investigaciones y directrices

Mejores prácticas para usar Amazon Comprehend Medical en un flujo de trabajo de RAG

Al integrar los resultados de Amazon Comprehend Medical en una solicitud para obtener un LLM, es esencial seguir las mejores prácticas. Esto puede mejorar el rendimiento y la precisión. Las siguientes son recomendaciones clave:

  • Comprenda las puntuaciones de confianza de Amazon Comprehend Medical: Amazon Comprehend Medical proporciona las puntuaciones de confianza para cada entidad detectada y cada enlace ontológico. Es fundamental entender el significado de estas puntuaciones y establecer los umbrales adecuados para su caso de uso específico. Las puntuaciones de confianza ayudan a filtrar las entidades de baja confianza, lo que reduce el ruido y mejora la calidad de las aportaciones del LLM.

  • Utilice las puntuaciones de confianza en la ingeniería rápida: cuando elabore las indicaciones para el LLM, considere la posibilidad de incorporar las puntuaciones de confianza de Amazon Comprehend Medical como contexto adicional. Esto ayuda al LLM a priorizar o sopesar las entidades en función de sus niveles de confianza, lo que podría mejorar la calidad del resultado.

  • Evalúe los resultados de Amazon Comprehend Medical con datos reales: los datos reales son información que se sabe que es verdadera. Se pueden utilizar para validar que una aplicación de inteligencia artificial y aprendizaje automático produce resultados precisos. Antes de integrar los resultados de Amazon Comprehend Medical en su flujo de trabajo de LLM, evalúe el rendimiento del servicio en una muestra representativa de sus datos. Compare los resultados con anotaciones basadas en datos básicos para identificar posibles discrepancias o áreas de mejora. Esta evaluación le ayuda a comprender los puntos fuertes y las limitaciones de Amazon Comprehend Medical para su caso de uso.

  • Seleccione estratégicamente la información relevante: Amazon Comprehend Medical puede proporcionarle una gran cantidad de información, pero es posible que no toda sea relevante para su tarea. Seleccione cuidadosamente las entidades, los atributos y los metadatos que sean más relevantes para su caso de uso. Proporcionar demasiada información irrelevante al LLM puede generar ruido y, potencialmente, disminuir el rendimiento.

  • Alinee las definiciones de entidades: asegúrese de que las definiciones de entidades y atributos utilizadas por Amazon Comprehend Medical se ajusten a su interpretación. Si hay discrepancias, considere la posibilidad de proporcionar un contexto o una aclaración adicionales al LLM para cerrar la brecha entre la producción de Amazon Comprehend Medical y sus requisitos. Si la entidad Amazon Comprehend Medical no cumple sus expectativas, puede implementar una detección de entidad personalizada incluyendo instrucciones adicionales (y posibles ejemplos) en el mensaje.

  • Proporcione conocimientos específicos del dominio: si bien Amazon Comprehend Medical proporciona información médica valiosa, es posible que no capture todos los matices de su dominio específico. Considere la posibilidad de complementar los resultados de Amazon Comprehend Medical con fuentes de conocimiento adicionales específicas del dominio, como ontologías, terminologías o conjuntos de datos seleccionados por expertos. Esto proporciona un contexto más completo al LLM.

  • Cumpla con las directrices éticas y reglamentarias: cuando se trate de datos médicos, es importante cumplir con los principios éticos y las directrices reglamentarias, como las relacionadas con la privacidad de los datos, la seguridad y el uso responsable de los sistemas de IA en la atención médica. Asegúrese de que su implementación cumpla con las leyes pertinentes y las mejores prácticas del sector.

Al seguir estas mejores prácticas, los profesionales de la IA y el aprendizaje automático pueden utilizar de forma eficaz los puntos fuertes de Amazon Comprehend Medical y. LLMs En el caso de las tareas de PNL médicas, estas mejores prácticas ayudan a mitigar los posibles riesgos y pueden mejorar el rendimiento.

Ingeniería rápida para el contexto de Amazon Comprehend Medical

La ingeniería rápida es el proceso de diseñar y refinar las indicaciones para guiar una solución de IA generativa a fin de generar los resultados deseados. Tú eliges los formatos, frases, palabras y símbolos más adecuados para guiar a la IA a interactuar con tus usuarios de forma más significativa.

En función de la operación de API que realice, Amazon Comprehend Medical devuelve las entidades detectadas, los códigos y descripciones de ontología y las puntuaciones de confianza. Estos resultados se contextualizan en el mensaje cuando la solución invoca el LLM de destino. Debe diseñar la solicitud para que presente el contexto dentro de la plantilla de solicitud.

nota

Los ejemplos de instrucciones de esta sección siguen la guía antrópica. Si utilizas un proveedor de LLM diferente, sigue las recomendaciones de ese proveedor.

En general, en el mensaje se insertan tanto el texto médico original como los resultados de Amazon Comprehend Medical. La siguiente es una estructura de pronósticos común:

<medical_text> medical text </medical_text> <comprehend_medical_text_results> comprehend medical text results </comprehend_medical_text_results> <prompt_instructions> prompt instructions </prompt_instructions>

En esta sección se proporcionan estrategias para incluir los resultados de Amazon Comprehend Medical como contexto rápido para las siguientes tareas habituales de la PNL médica:

Filtrar los resultados de Amazon Comprehend Medical

Amazon Comprehend Medical suele proporcionar una gran cantidad de información. Es posible que desee reducir la cantidad de resultados que el profesional médico debe revisar. En este caso, puede usar un LLM para filtrar estos resultados. Las entidades Amazon Comprehend Medical incluyen una puntuación de confianza que puede utilizar como mecanismo de filtrado al diseñar el mensaje.

El siguiente es un ejemplo de nota para un paciente:

Carlie had a seizure 2 weeks ago. She is complaining of frequent headaches Nausea is also present. She also complains of eye trouble with blurry vision Meds : Topamax 50 mgs at breakfast daily, Send referral order to neurologist Follow-up as scheduled

En esta nota para un paciente, Amazon Comprehend Medical detecta las siguientes entidades.

Detección de entidades en Amazon Comprehend Medical.

Las entidades enlazan con los siguientes códigos ICD-10-CM para detectar convulsiones y cefaleas.

Categoría Código ICD-10-CM Descripción del ICD-10-CM Puntuación de confianza
Convulsión R56.9 Convulsiones no especificadas 0.8348
Convulsión G40.909 Epilepsia, no especificada, no intratable, sin estado epiléptico 0.5424
Convulsión 56,00 R Convulsiones febriles simples 0.4937
Convulsión G40.09 Otras incautaciones 0.4397
Convulsión G40.409 Otras epilepsias generalizadas y síndromes epilépticos, no intratables, sin estado epiléptico 0.4138
Dolor de cabeza R51 Dolor de cabeza 0.4067
Dolor de cabeza R51.9 Dolor de cabeza, sin especificar 0.3844
Dolor de cabeza G 44.52 Nueva cefalea persistente diaria (NDPH) 0,3005
Dolor de cabeza G44 Otro síndrome de cefalea 0.2670
Dolor de cabeza G44.8 Otros síndromes de cefalea específicos 0,2542

Puede pasar los códigos ICD-10-CM al indicador para aumentar la precisión del LLM. Para reducir el ruido, puede filtrar los códigos ICD-10-CM utilizando la puntuación de confianza incluida en los resultados de Amazon Comprehend Medical. El siguiente es un ejemplo de mensaje que incluye únicamente los códigos ICD-10-CM que tienen una puntuación de confianza superior a 0,4:

<patient_note> Carlie had a seizure 2 weeks ago. She is complaining of frequent headaches Nausea is also present. She also complains of eye trouble with blurry vision Meds : Topamax 50 mgs at breakfast daily, Send referral order to neurologist Follow-up as scheduled </patient_note> <comprehend_medical_results> <icd-10> <entity> <text>seizure</text> <code> <description>Unspecified convulsions</description> <code_value>R56.9</code_value> <score>0.8347607851028442</score> </code> <code> <description>Epilepsy, unspecified, not intractable, without status epilepticus</description> <code_value>G40.909</code_value> <score>0.542376697063446</score> </code> <code> <description>Other seizures</description> <code_value>G40.89</code_value> <score>0.43966275453567505</score> </code> <code> <description>Other generalized epilepsy and epileptic syndromes, not intractable, without status epilepticus</description> <code_value>G40.409</code_value> <score>0.41382506489753723</score> </code> </entity> <entity> <text>headaches</text> <code> <description>Headache</description> <code_value>R51</code_value> <score>0.4066613018512726</score> </code> </entity> <entity> <text>Nausea</text> <code> <description>Nausea</description> <code_value>R11.0</code_value> <score>0.6460834741592407</score> </code> </entity> <entity> <text>eye trouble</text> <code> <description>Unspecified disorder of eye and adnexa</description> <code_value>H57.9</code_value> <score>0.6780954599380493</score> </code> <code> <description>Unspecified visual disturbance</description> <code_value>H53.9</code_value> <score>0.5871203541755676</score> </code> <code> <description>Unspecified disorder of binocular vision</description> <code_value>H53.30</code_value> <score>0.5539672374725342</score> </code> </entity> <entity> <text>blurry vision</text> <code> <description>Other visual disturbances</description> <code_value>H53.8</code_value> <score>0.9001834392547607</score> </code> </entity> </icd-10> </comprehend_medical_results> <prompt> Given the patient note and Amazon Comprehend Medical ICD-10-CM code results above, please select the most relevant ICD-10-CM diagnosis codes for the patient. For each selected code, provide a brief explanation of why it is relevant based on the information in the patient note. </prompt>

Amplíe las tareas de PNL médica con Amazon Comprehend Medical

Al procesar textos médicos, el contexto de Amazon Comprehend Medical puede ayudar al LLM a seleccionar mejores fichas. En este ejemplo, desea hacer coincidir los síntomas del diagnóstico con los medicamentos. También querrá buscar texto relacionado con las pruebas médicas, como los términos relacionados con una prueba de análisis de sangre. Puede utilizar Amazon Comprehend Medical para detectar las entidades y los nombres de los medicamentos. En este caso, utilizaría la DetectEntitiesV2 y InferRxNorm APIs Amazon Comprehend Medical.

El siguiente es un ejemplo de nota para un paciente:

Carlie had a seizure 2 weeks ago. She is complaining of increased frequent headaches Given lyme disease symptoms such as muscle ache and stiff neck will order prescription. Meds : Topamax 50 mgs at breakfast daily. Amoxicillan 25 mg by mouth twice a day Place MRI radiology order at RadNet

Para centrarse en el código de diagnóstico, en la solicitud solo se DX_NAME utilizan las entidades relacionadas MEDICAL_CONDITION con el tipo. Se excluyen otros metadatos debido a su irrelevancia. En el caso de las entidades medicamentosas, se incluye el nombre del medicamento junto con los atributos extraídos. Se excluyen otros metadatos de entidades farmacéuticas de Amazon Comprehend Medical por irrelevancia. El siguiente es un ejemplo de mensaje que utiliza los resultados filtrados de Amazon Comprehend Medical. El mensaje se centra en MEDICAL_CONDITION las entidades que tienen ese DX_NAME tipo. Este mensaje está diseñado para vincular con mayor precisión los códigos de diagnóstico con los medicamentos y extraer con mayor precisión las pruebas solicitadas por los médicos:

<patient_note> Carlie had a seizure 2 weeks ago. She is complaining of increased freqeunt headaches Given lyme disease symptoms such as muscle ache and stiff neck will order prescription. Meds : Topamax 50 mgs at breakfast daily. Amoxicillan 25 mg by mouth twice a day Place MRI radiology order at RadNet </patient_note> <detect_entity_results> <entity> <text>seizure</text> <category>MEDICAL_CONDITION</category> <type>DX_NAME</type> </entity> <entity> <text>headaches</text> <category>MEDICAL_CONDITION</category> <type>DX_NAME</type> </entity> <entity> <text>lyme disease</text> <category>MEDICAL_CONDITION</category> <type>DX_NAME</type> </entity> <entity> <text>muscle ache</text> <category>MEDICAL_CONDITION</category> <type>DX_NAME</type> </entity> <entity> <text>stiff neck</text> <category>MEDICAL_CONDITION</category> <type>DX_NAME</type> </entity> </detect_entity_results> <rx_results> <entity> <text>Topamax</text> <category>MEDICATION</category> <type>BRAND_NAME</type> <attributes> <attribute> <type>FREQUENCY</type> <text>at breakfast daily</text> </attribute> <attribute> <type>DOSAGE</type> <text>50 mgs</text> </attribute> <attribute> <type>ROUTE_OR_MODE</type> <text>by mouth</text> </attribute> </attributes> </entity> <entity> <text>Amoxicillan</text> <category>MEDICATION</category> <type>GENERIC_NAME</type> <attributes> <attribute> <type>ROUTE_OR_MODE</type> <text>by mouth</text> </attribute> <attribute> <type>DOSAGE</type> <text>25 mg</text> </attribute> <attribute> <type>FREQUENCY</type> <text>twice a day</text> </attribute> </attributes> </entity> </rx_results> <prompt> Based on the patient note and the detected entities, can you please: 1. Link the diagnosis symptoms with the medications prescribed. Provide your reasoning for the linkages. 2. Extract any entities related to medical order tests mentioned in the note. </prompt>

Aplique barandas con Amazon Comprehend Medical

Puede utilizar un LLM y Amazon Comprehend Medical para crear barandas antes de utilizar la respuesta generada. Puede ejecutar este flujo de trabajo en textos médicos no modificados o posprocesados. Los casos de uso incluyen abordar la información de salud protegida (PHI), detectar alucinaciones o implementar políticas personalizadas para publicar los resultados. Por ejemplo, puede utilizar el contexto de Amazon Comprehend Medical para identificar los datos de la PHI y, a continuación, utilizar el LLM para eliminar esos datos de la PHI.

El siguiente es un ejemplo de información de la historia clínica de un paciente que incluye la PHI:

Patient name: John Doe Patient SSN: 123-34-5678 Patient DOB: 01/01/2024 Patient address: 123 Main St, Anytown USA Exam details: good health. Pulse is 60 bpm. needs to work on diet with BMI of 190

El siguiente es un ejemplo de mensaje que incluye los resultados de Amazon Comprehend Medical como contexto:

<original_text> Patient name: John Doe Patient SSN: 123-34-5678 Patient DOB: 01/01/2024 Patient address: 123 Main St, Anytown USA Exam details: good health. Pulse is 60 bpm. needs to work on diet with BMI of 190 </original_text> <comprehend_medical_phi_entities> <entity> <text>John Doe</text> <category>PROTECTED_HEALTH_INFORMATION</category> <score>0.9967944025993347</score> <type>NAME</type> </entity> <entity> <text>123-34-5678</text> <category>PROTECTED_HEALTH_INFORMATION</category> <score>0.9998034834861755</score> <type>ID</type> </entity> <entity> <text>01/01/2000</text> <category>PROTECTED_HEALTH_INFORMATION</category> <score>0.9964448809623718</score> <type>DATE</type> </entity> </comprehend_medical_phi_entities> <instructions> Using the provided original text and the Amazon Comprehend Medical PHI entities detected, please analyze the text to determine if it contains any additional protected health information (PHI) beyond the entities already identified. If additional PHI is found, please list and categorize it. If no additional PHI is found, please state that explicitly. In addition if PHI is found, generate updated text with the PHI removed. </instructions>