Combinando o Amazon Comprehend Medical com grandes modelos de linguagem - AWS Orientação prescritiva

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Combinando o Amazon Comprehend Medical com grandes modelos de linguagem

Um estudo de 2024 realizado pela NEJM AI mostrou que usar um LLM, com solicitação zero, para tarefas de codificação médica geralmente leva a um desempenho ruim. Usar o Amazon Comprehend Medical com um LLM pode ajudar a mitigar esses problemas de desempenho. Os resultados do Amazon Comprehend Medical são um contexto útil para um LLM que está realizando tarefas de PNL. Por exemplo, fornecer contexto do Amazon Comprehend Medical para o grande modelo de linguagem pode ajudar você a:

  • Aumente a precisão das seleções de entidades usando os resultados iniciais do Amazon Comprehend Medical como contexto para o LLM

  • Implemente reconhecimento personalizado de entidades, resumos, respostas a perguntas e casos de uso adicionais

Esta seção descreve como você pode combinar o Amazon Comprehend Medical com um LLM usando uma abordagem de geração aumentada de recuperação (RAG). A Retrieval Augmented Generation (RAG) é uma tecnologia generativa de IA na qual um LLM faz referência a uma fonte de dados autorizada que está fora de suas fontes de dados de treinamento antes de gerar uma resposta. Para obter mais informações, consulte O que é RAG.

Para ilustrar essa abordagem, esta seção usa o exemplo de codificação médica (diagnóstico) relacionada ao ICD-10-CM. Ele inclui uma arquitetura de amostra e modelos de engenharia rápidos para ajudar a acelerar sua inovação. Também inclui as melhores práticas para usar o Amazon Comprehend Medical em um fluxo de trabalho do RAG.

Arquitetura baseada em RAG com o Amazon Comprehend Medical

O diagrama a seguir ilustra uma abordagem RAG para identificar códigos de diagnóstico da CID-10-CM a partir de anotações de pacientes. Ele usa o Amazon Comprehend Medical como fonte de conhecimento. Em uma abordagem RAG, o método de recuperação geralmente recupera informações de um banco de dados vetorial contendo conhecimento aplicável. Em vez de um banco de dados vetoriais, essa arquitetura usa o Amazon Comprehend Medical para a tarefa de recuperação. O orquestrador envia as informações da nota do paciente para o Amazon Comprehend Medical e recupera as informações do código ICD-10-CM. O orquestrador envia esse contexto para o modelo de fundação downstream (LLM), por meio do Amazon Bedrock. O LLM gera uma resposta usando as informações do código ICD-10-CM, e essa resposta é enviada de volta ao aplicativo cliente.

Um fluxo de trabalho do RAG que usa o Amazon Comprehend Medical como fonte de conhecimento.

O diagrama mostra o seguinte fluxo de trabalho do RAG:

  1. O aplicativo cliente envia as anotações do paciente como uma consulta ao orquestrador. Um exemplo dessas anotações do paciente pode ser: “A paciente é uma paciente do Dr. X. A paciente se apresentou à sala de emergência na noite passada com aproximadamente 7 a 8 dias de história de dor abdominal, que tem sido persistente. Ela não teve febres ou calafrios definidos nem histórico de icterícia. O paciente nega qualquer perda significativa de peso recente."

  2. O orquestrador usa o Amazon Comprehend Medical para recuperar códigos ICD-10-CM relevantes às informações médicas na consulta. Ele usa a API Infer ICD1 0CM para extrair e inferir os códigos ICD-10-CM das anotações do paciente.

  3. O orquestrador cria um prompt que inclui o modelo de prompt, a consulta original e os códigos ICD-10-CM recuperados do Amazon Comprehend Medical. Ele envia esse contexto aprimorado para o Amazon Bedrock.

  4. O Amazon Bedrock processa a entrada e usa um modelo básico para gerar uma resposta que inclui os códigos ICD-10-CM e suas evidências correspondentes da consulta. A resposta gerada inclui os códigos ICD-10-CM identificados e as evidências das anotações do paciente que apóiam cada código. Veja a seguir uma resposta de exemplo:

    <response> <icd10> <code>R10.9</code> <evidence>history of abdominal pain</evidence> </icd10> <icd10> <code>R10.30</code> <evidence>history of abdominal pain</evidence> </icd10> </response>
  5. O Amazon Bedrock envia a resposta gerada ao orquestrador.

  6. O orquestrador envia a resposta de volta ao aplicativo cliente, onde o usuário pode revisar a resposta.

Casos de uso para usar o Amazon Comprehend Medical em um fluxo de trabalho do RAG

O Amazon Comprehend Medical pode realizar tarefas específicas de PNL. Para obter mais informações, consulte Casos de uso do Amazon Comprehend Medical.

Talvez você queira integrar o Amazon Comprehend Medical a um fluxo de trabalho do RAG para casos de uso avançados, como os seguintes:

  • Gere resumos clínicos detalhados combinando entidades médicas extraídas com informações contextuais dos registros dos pacientes

  • Automatize a codificação médica para casos complexos usando entidades extraídas com informações vinculadas à ontologia para atribuição de código

  • Automatize a criação de notas clínicas estruturadas a partir de texto não estruturado usando entidades médicas extraídas

  • Analise os efeitos colaterais dos medicamentos com base nos nomes e atributos dos medicamentos extraídos

  • Desenvolva sistemas inteligentes de suporte clínico que combinem informações médicas extraídas com up-to-date pesquisas e diretrizes

Melhores práticas para usar o Amazon Comprehend Medical em um fluxo de trabalho do RAG

Ao integrar os resultados do Amazon Comprehend Medical em uma solicitação para um LLM, é essencial seguir as melhores práticas. Isso pode melhorar o desempenho e a precisão. A seguir estão as principais recomendações:

  • Entenda as pontuações de confiança do Amazon Comprehend Medical — O Amazon Comprehend Medical fornece pontuações de confiança para cada entidade detectada e vinculação de ontologia. É fundamental entender o significado dessas pontuações e estabelecer limites apropriados para seu caso de uso específico. As pontuações de confiança ajudam a filtrar entidades de baixa confiança, reduzindo o ruído e melhorando a qualidade da entrada do LLM.

  • Use pontuações de confiança na engenharia imediata — Ao criar solicitações para o LLM, considere incorporar as pontuações de confiança do Amazon Comprehend Medical como contexto adicional. Isso ajuda o LLM a priorizar ou avaliar entidades com base em seus níveis de confiança, melhorando potencialmente a qualidade da produção.

  • Avalie os resultados do Amazon Comprehend Medical com dados reais — Os dados verdadeiros são informações que se sabe serem verdadeiras. Ele pode ser usado para validar se um aplicativo de IA/ML está produzindo resultados precisos. Antes de integrar os resultados do Amazon Comprehend Medical ao seu fluxo de trabalho de LLM, avalie o desempenho do serviço em uma amostra representativa de seus dados. Compare os resultados com anotações verdadeiras para identificar possíveis discrepâncias ou áreas de melhoria. Essa avaliação ajuda você a entender os pontos fortes e as limitações do Amazon Comprehend Medical para seu caso de uso.

  • Selecione estrategicamente informações relevantes — O Amazon Comprehend Medical pode fornecer uma grande quantidade de informações, mas nem todas podem ser relevantes para sua tarefa. Selecione cuidadosamente as entidades, os atributos e os metadados que são mais relevantes para seu caso de uso. Fornecer muitas informações irrelevantes ao LLM pode introduzir ruído e potencialmente diminuir o desempenho.

  • Alinhe as definições de entidades — Certifique-se de que as definições de entidades e atributos usados pelo Amazon Comprehend Medical estejam alinhadas com sua interpretação. Se houver discrepâncias, considere fornecer contexto ou esclarecimento adicional ao LLM para preencher a lacuna entre a produção do Amazon Comprehend Medical e seus requisitos. Se a entidade Amazon Comprehend Medical não atender às suas expectativas, você pode implementar a detecção personalizada de entidades incluindo instruções adicionais (e possíveis exemplos) no prompt.

  • Forneça conhecimento específico do domínio — Embora o Amazon Comprehend Medical forneça informações médicas valiosas, ele pode não capturar todas as nuances do seu domínio específico. Considere complementar os resultados do Amazon Comprehend Medical com fontes adicionais de conhecimento específicas do domínio, como ontologias, terminologias ou conjuntos de dados selecionados por especialistas. Isso fornece um contexto mais abrangente para o LLM.

  • Siga as diretrizes éticas e regulatórias — Ao lidar com dados médicos, é importante seguir os princípios éticos e as diretrizes regulatórias, como as relacionadas à privacidade de dados, segurança e uso responsável de sistemas de IA na área da saúde. Certifique-se de que sua implementação esteja em conformidade com as leis relevantes e as melhores práticas do setor.

Ao seguir essas melhores práticas, os profissionais de IA/ML podem usar com eficácia os pontos fortes do Amazon Comprehend Medical e. LLMs Para tarefas médicas de PNL, essas melhores práticas ajudam a mitigar riscos potenciais e podem melhorar o desempenho.

Engenharia rápida para o contexto do Amazon Comprehend Medical

A engenharia rápida é o processo de projetar e refinar solicitações para orientar uma solução generativa de IA para gerar os resultados desejados. Você escolhe os formatos, frases, palavras e símbolos mais adequados que orientam a IA a interagir com seus usuários de forma mais significativa.

Dependendo da operação de API que você executa, o Amazon Comprehend Medical retorna as entidades detectadas, os códigos e descrições da ontologia e as pontuações de confiança. Esses resultados se tornam contextuais no prompt quando sua solução invoca o LLM de destino. Você deve criar a solicitação para apresentar o contexto dentro do modelo de solicitação.

nota

Os exemplos de instruções nesta seção seguem as orientações antrópicas. Se você estiver usando um provedor de LLM diferente, siga as recomendações desse provedor.

Em geral, você insere o texto médico original e os resultados do Amazon Comprehend Medical no prompt. A seguir está uma estrutura de prompt comum:

<medical_text> medical text </medical_text> <comprehend_medical_text_results> comprehend medical text results </comprehend_medical_text_results> <prompt_instructions> prompt instructions </prompt_instructions>

Esta seção fornece estratégias para incluir os resultados do Amazon Comprehend Medical como contexto imediato para as seguintes tarefas comuns de PNL médica:

Filtrar resultados do Amazon Comprehend Medical

O Amazon Comprehend Medical normalmente fornece uma grande quantidade de informações. Talvez você queira reduzir o número de resultados que o profissional médico deve analisar. Nesse caso, você pode usar um LLM para filtrar esses resultados. As entidades do Amazon Comprehend Medical incluem uma pontuação de confiança que você pode usar como mecanismo de filtragem ao criar o prompt.

A seguir está um exemplo de nota do paciente:

Carlie had a seizure 2 weeks ago. She is complaining of frequent headaches Nausea is also present. She also complains of eye trouble with blurry vision Meds : Topamax 50 mgs at breakfast daily, Send referral order to neurologist Follow-up as scheduled

Nesta nota do paciente, o Amazon Comprehend Medical detecta as seguintes entidades.

Detecção de entidades no Amazon Comprehend Medical.

As entidades estão vinculadas aos seguintes códigos ICD-10-CM para convulsões e dores de cabeça.

Categoria Código ICD-10-CM Descrição do ICD-10-CM Pontuação de confiança
Convulsão R56.9 Convulsões não especificadas 0,8348
Convulsão G40.909 Epilepsia, não especificada, não intratável, sem status epiléptico 0,5424
Convulsão R56,00 Convulsões febris simples 0,4937
Convulsão G40.09 Outras convulsões 0,4397
Convulsão G40.409 Outras epilepsias generalizadas e síndromes epilépticas, não intratáveis, sem status epiléptico 0,4138
dores de cabeça R51 dor de cabeça 0,4067
dores de cabeça R51.9 Dor de cabeça, não especificada 0,3844
dores de cabeça G4.52 Nova dor de cabeça persistente diária (NDPH) 0,3005
dores de cabeça G44 Outra síndrome de dor de cabeça 0,2670
dores de cabeça G4.8 Outras síndromes de cefaleia especificadas 0,2542

Você pode passar os códigos ICD-10-CM para o prompt para aumentar a precisão do LLM. Para reduzir o ruído, você pode filtrar os códigos ICD-10-CM usando a pontuação de confiança incluída nos resultados do Amazon Comprehend Medical. A seguir está um exemplo de solicitação que inclui somente códigos ICD-10-CM com uma pontuação de confiança superior a 0,4:

<patient_note> Carlie had a seizure 2 weeks ago. She is complaining of frequent headaches Nausea is also present. She also complains of eye trouble with blurry vision Meds : Topamax 50 mgs at breakfast daily, Send referral order to neurologist Follow-up as scheduled </patient_note> <comprehend_medical_results> <icd-10> <entity> <text>seizure</text> <code> <description>Unspecified convulsions</description> <code_value>R56.9</code_value> <score>0.8347607851028442</score> </code> <code> <description>Epilepsy, unspecified, not intractable, without status epilepticus</description> <code_value>G40.909</code_value> <score>0.542376697063446</score> </code> <code> <description>Other seizures</description> <code_value>G40.89</code_value> <score>0.43966275453567505</score> </code> <code> <description>Other generalized epilepsy and epileptic syndromes, not intractable, without status epilepticus</description> <code_value>G40.409</code_value> <score>0.41382506489753723</score> </code> </entity> <entity> <text>headaches</text> <code> <description>Headache</description> <code_value>R51</code_value> <score>0.4066613018512726</score> </code> </entity> <entity> <text>Nausea</text> <code> <description>Nausea</description> <code_value>R11.0</code_value> <score>0.6460834741592407</score> </code> </entity> <entity> <text>eye trouble</text> <code> <description>Unspecified disorder of eye and adnexa</description> <code_value>H57.9</code_value> <score>0.6780954599380493</score> </code> <code> <description>Unspecified visual disturbance</description> <code_value>H53.9</code_value> <score>0.5871203541755676</score> </code> <code> <description>Unspecified disorder of binocular vision</description> <code_value>H53.30</code_value> <score>0.5539672374725342</score> </code> </entity> <entity> <text>blurry vision</text> <code> <description>Other visual disturbances</description> <code_value>H53.8</code_value> <score>0.9001834392547607</score> </code> </entity> </icd-10> </comprehend_medical_results> <prompt> Given the patient note and Amazon Comprehend Medical ICD-10-CM code results above, please select the most relevant ICD-10-CM diagnosis codes for the patient. For each selected code, provide a brief explanation of why it is relevant based on the information in the patient note. </prompt>

Estenda as tarefas médicas de PNL com o Amazon Comprehend Medical

Ao processar textos médicos, o contexto do Amazon Comprehend Medical pode ajudar o LLM a selecionar melhores tokens. Neste exemplo, você deseja combinar os sintomas do diagnóstico com os medicamentos. Você também deseja encontrar textos relacionados a exames médicos, como termos relacionados a um exame de hemograma. Você pode usar o Amazon Comprehend Medical para detectar as entidades e os nomes dos medicamentos. Nesse caso, você usaria o DetectEntitiesV2 e o Amazon InferRxNorm APIs Comprehend Medical.

A seguir está um exemplo de nota do paciente:

Carlie had a seizure 2 weeks ago. She is complaining of increased frequent headaches Given lyme disease symptoms such as muscle ache and stiff neck will order prescription. Meds : Topamax 50 mgs at breakfast daily. Amoxicillan 25 mg by mouth twice a day Place MRI radiology order at RadNet

Para focar no código de diagnóstico, somente as entidades relacionadas MEDICAL_CONDITION ao tipo DX_NAME são usadas no prompt. Outros metadados são excluídos devido à irrelevância. Para entidades de medicamentos, o nome do medicamento junto com os atributos extraídos está incluído. Outros metadados de entidades medicamentosas do Amazon Comprehend Medical foram excluídos devido à irrelevância. Veja a seguir um exemplo de solicitação que usa resultados filtrados do Amazon Comprehend Medical. O prompt se concentra em MEDICAL_CONDITION entidades que têm o DX_NAME tipo. Esse prompt foi projetado para vincular com mais precisão os códigos de diagnóstico aos medicamentos e extrair com mais precisão os exames de pedidos médicos:

<patient_note> Carlie had a seizure 2 weeks ago. She is complaining of increased freqeunt headaches Given lyme disease symptoms such as muscle ache and stiff neck will order prescription. Meds : Topamax 50 mgs at breakfast daily. Amoxicillan 25 mg by mouth twice a day Place MRI radiology order at RadNet </patient_note> <detect_entity_results> <entity> <text>seizure</text> <category>MEDICAL_CONDITION</category> <type>DX_NAME</type> </entity> <entity> <text>headaches</text> <category>MEDICAL_CONDITION</category> <type>DX_NAME</type> </entity> <entity> <text>lyme disease</text> <category>MEDICAL_CONDITION</category> <type>DX_NAME</type> </entity> <entity> <text>muscle ache</text> <category>MEDICAL_CONDITION</category> <type>DX_NAME</type> </entity> <entity> <text>stiff neck</text> <category>MEDICAL_CONDITION</category> <type>DX_NAME</type> </entity> </detect_entity_results> <rx_results> <entity> <text>Topamax</text> <category>MEDICATION</category> <type>BRAND_NAME</type> <attributes> <attribute> <type>FREQUENCY</type> <text>at breakfast daily</text> </attribute> <attribute> <type>DOSAGE</type> <text>50 mgs</text> </attribute> <attribute> <type>ROUTE_OR_MODE</type> <text>by mouth</text> </attribute> </attributes> </entity> <entity> <text>Amoxicillan</text> <category>MEDICATION</category> <type>GENERIC_NAME</type> <attributes> <attribute> <type>ROUTE_OR_MODE</type> <text>by mouth</text> </attribute> <attribute> <type>DOSAGE</type> <text>25 mg</text> </attribute> <attribute> <type>FREQUENCY</type> <text>twice a day</text> </attribute> </attributes> </entity> </rx_results> <prompt> Based on the patient note and the detected entities, can you please: 1. Link the diagnosis symptoms with the medications prescribed. Provide your reasoning for the linkages. 2. Extract any entities related to medical order tests mentioned in the note. </prompt>

Aplique grades de proteção com o Amazon Comprehend Medical

Você pode usar um LLM e o Amazon Comprehend Medical para criar grades de proteção antes que a resposta gerada seja usada. Você pode executar esse fluxo de trabalho em textos médicos não modificados ou pós-processados. Os casos de uso incluem abordar informações de saúde protegidas (PHI), detectar alucinações ou implementar políticas personalizadas para publicar resultados. Por exemplo, você pode usar o contexto do Amazon Comprehend Medical para identificar dados de PHI e, em seguida, usar o LLM para remover esses dados de PHI.

Veja a seguir um exemplo de informações de um prontuário de paciente que inclui PHI:

Patient name: John Doe Patient SSN: 123-34-5678 Patient DOB: 01/01/2024 Patient address: 123 Main St, Anytown USA Exam details: good health. Pulse is 60 bpm. needs to work on diet with BMI of 190

Veja a seguir um exemplo de solicitação que inclui os resultados do Amazon Comprehend Medical como contexto:

<original_text> Patient name: John Doe Patient SSN: 123-34-5678 Patient DOB: 01/01/2024 Patient address: 123 Main St, Anytown USA Exam details: good health. Pulse is 60 bpm. needs to work on diet with BMI of 190 </original_text> <comprehend_medical_phi_entities> <entity> <text>John Doe</text> <category>PROTECTED_HEALTH_INFORMATION</category> <score>0.9967944025993347</score> <type>NAME</type> </entity> <entity> <text>123-34-5678</text> <category>PROTECTED_HEALTH_INFORMATION</category> <score>0.9998034834861755</score> <type>ID</type> </entity> <entity> <text>01/01/2000</text> <category>PROTECTED_HEALTH_INFORMATION</category> <score>0.9964448809623718</score> <type>DATE</type> </entity> </comprehend_medical_phi_entities> <instructions> Using the provided original text and the Amazon Comprehend Medical PHI entities detected, please analyze the text to determine if it contains any additional protected health information (PHI) beyond the entities already identified. If additional PHI is found, please list and categorize it. If no additional PHI is found, please state that explicitly. In addition if PHI is found, generate updated text with the PHI removed. </instructions>