Etapa 3: formatar a saída da análise de entidades como metadados do Amazon Kendra - Amazon Kendra
Baixando e extraindo a saída do Amazon ComprehendCarregando a saída no bucket do S3Conversão da saída para o formato de metadados do Amazon KendraComo limpar o bucket do Amazon S3

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Etapa 3: formatar a saída da análise de entidades como metadados do Amazon Kendra

Para converter as entidades extraídas pelo Amazon Comprehend para o formato de metadados exigido por um índice do Amazon Kendra, execute um script Python 3. Os resultados da conversão são armazenados na pasta metadata do bucket da Amazon S3.

Para obter mais informações sobre o formato e a estrutura dos metadados do Amazon Kendra, consulte Metadados do documento do S3.

Baixando e extraindo a saída do Amazon Comprehend

Para formatar a saída da análise de entidades do Amazon Comprehend, você deve primeiro baixar o arquivo de análise de entidades do Amazon Comprehend do output.tar.gz e extrair o arquivo de análise de entidades.

  1. No console do Amazon Comprehend, no painel de navegação, acesse às Tarefas de análise..

  2. Escolha sua tarefa de análise de entidades data-entities-analysis.

  3. Em Saída, escolha o link exibido ao lado do Local dos dados de saída. Isso redireciona você para o arquivo de output.tar.gz em seu bucket do S3.

  4. Na página Visão geral selecione Fazer download.

    dica

    A saída de todos os trabalhos de análise do Amazon Comprehend tem o mesmo nome. Renomear p arquivo ajudará você a rastreá-lo com mais facilidade.

  5. Descompacte e extraia o arquivo do Amazon Comprehend baixado para o seu dispositivo.

  1. Para acessar o nome da pasta gerada automaticamente pelo Amazon Comprehend em seu bucket do S3 que contém os resultados do trabalho de análise de entidades, use o comando: describe-entities-detection-job

    Linux
    aws comprehend describe-entities-detection-job \
          --job-id entities-job-id \
          --region aws-region

    Em que:

    macOS
    aws comprehend describe-entities-detection-job \
          --job-id entities-job-id \
          --region aws-region

    Em que:

    Windows
    aws comprehend describe-entities-detection-job ^
          --job-id entities-job-id ^
          --region aws-region

    Em que:

  2. Do objeto OutputDataConfig na descrição do cargo de sua entidade, copie e salve o valor S3Uri como comprehend-S3uri em um editor de texto.

    nota

    O S3Uri valor tem um formato semelhante s3://amzn-s3-demo-bucket/.../output/output.tar.gz a.

  3. Para baixar o arquivo de saída das entidades, use o comando copiar:

    Linux
    aws s3 cp s3://amzn-s3-demo-bucket/.../output/output.tar.gz path/output.tar.gz

    Em que:

    • s3://amzn-s3-demo-bucket/.../output/output.tar.gzé o S3Uri valor que você salvou comocomprehend-S3uri,

    • path/é o diretório local em que você deseja salvar a saída.

    macOS
    aws s3 cp s3://amzn-s3-demo-bucket/.../output/output.tar.gz path/output.tar.gz

    Em que:

    • s3://amzn-s3-demo-bucket/.../output/output.tar.gzé o S3Uri valor que você salvou comocomprehend-S3uri,

    • path/é o diretório local em que você deseja salvar a saída.

    Windows
    aws s3 cp s3://amzn-s3-demo-bucket/.../output/output.tar.gz path/output.tar.gz

    Em que:

    • s3://amzn-s3-demo-bucket/.../output/output.tar.gzé o S3Uri valor que você salvou comocomprehend-S3uri,

    • path/é o diretório local em que você deseja salvar a saída.

  4. Para extrair a saída das entidades, execute o seguinte comando em uma janela de terminal:

    Linux
    tar -xf path/output.tar.gz -C path/

    Em que:

    • path/é o caminho do output.tar.gz arquivo baixado em seu dispositivo local.

    macOS
    tar -xf path/output.tar.gz -C path/

    Em que:

    • path/é o caminho do output.tar.gz arquivo baixado em seu dispositivo local.

    Windows
    tar -xf path/output.tar.gz -C path/

    Em que:

    • path/é o caminho do output.tar.gz arquivo baixado em seu dispositivo local.

Ao final desta etapa, você deve ter um arquivo no dispositivo chamado output com uma lista de entidades identificadas pelo Amazon Comprehend.

Carregando a saída no bucket do S3

Depois de baixar e extrair o arquivo de análise de entidades do Amazon Comprehend, carregue o arquivo extraído output no bucket do Amazon S3.

  1. Abra o console do Amazon S3 em https://console.aws.amazon.com/s3/.

  2. Em Buckets, escolha o nome do bucket e, em seguida, escolha Carregar.

  3. Em Arquivos e pastas, escolha Adicionar arquivos.

  4. Na caixa de diálogo, navegue até o arquivo output extraído no dispositivo, selecione-o e escolha Abrir.

  5. Mantenha as configurações padrão para Destino, Permissões e Propriedades.

  6. Escolha Carregar.

  1. Para fazer o upload do arquivo extraído output para o bucket, use o comando copiar:

    Linux
    aws s3 cp path/output s3://amzn-s3-demo-bucket/output

    Em que:

    • path/é o caminho do arquivo local para o arquivo extraído, output

    • amzn-s3-demo-bucket é o nome do seu bucket S3.

    macOS
    aws s3 cp path/output s3://amzn-s3-demo-bucket/output

    Em que:

    • path/é o caminho do arquivo local para o arquivo extraído, output

    • amzn-s3-demo-bucket é o nome do seu bucket S3.

    Windows
    aws s3 cp path/output s3://amzn-s3-demo-bucket/output

    Em que:

    • path/é o caminho do arquivo local para o arquivo extraído, output

    • amzn-s3-demo-bucket é o nome do seu bucket S3.

  2. Para garantir que o arquivo output tenha sido carregado com sucesso no bucket do S3, verifique o conteúdo usando o comando list:

    Linux
    aws s3 ls s3://amzn-s3-demo-bucket/

    Em que:

    • amzn-s3-demo-bucket é o nome do seu bucket S3.

    macOS
    aws s3 ls s3://amzn-s3-demo-bucket/

    Em que:

    • amzn-s3-demo-bucket é o nome do seu bucket S3.

    Windows
    aws s3 ls s3://amzn-s3-demo-bucket/

    Em que:

    • amzn-s3-demo-bucket é o nome do seu bucket S3.

Conversão da saída para o formato de metadados do Amazon Kendra

Para converter a saída do Amazon Comprehend em metadados do Amazon Kendra, execute um script Python 3. Se você estiver usando o console, use AWS CloudShell para esta etapa.

  1. Baixe o arquivo compactado converter.py.zip em seu dispositivo.

  2. Extraia o arquivo Python 3 converter.py.

  3. Faça login no AWS Management Console e certifique-se de que sua AWS região esteja configurada para a mesma região do bucket do S3 e do trabalho de análise do Amazon Comprehend.

  4. Escolha o AWS CloudShell ícone ou digite AWS CloudShellna caixa Pesquisar na barra de navegação superior para iniciar um ambiente.

    nota

    Quando AWS CloudShell é iniciado em uma nova janela do navegador pela primeira vez, um painel de boas-vindas é exibido e lista os principais recursos. O shell estará pronto para interação após você fechar esse painel e o prompt de comando for exibido.

  5. Depois que o terminal estiver preparado, escolha Ações no painel de navegação e escolha Carregar arquivo no menu.

  6. Na caixa de diálogo que se abre, escolha Selecionar arquivo e, em seguida, escolha o arquivo Python 3 baixado converter.py do dispositivo. Escolha Carregar.

  7. No AWS CloudShell ambiente, digite o seguinte comando:

    python3 converter.py

  8. Quando a interface do shell solicitar que você Insira o nome do bucket do S3, insira o nome do bucket do S3 e pressione enter.

  9. Quando a interface do shell solicitar que você Insira o caminho completo do arquivo de saída do Comprehend, digite e pressione enter output.

  10. Quando a interface do shell solicitar que você Insira o caminho completo do arquivo de metadados, digite e pressione enter metadata/.

Importante

Para que os metadados sejam formatados corretamente, os valores de entrada nas etapas 8 a 10 devem ser exatos.

  1. Faça o download do arquivo Python converter.py, execute o seguinte comando na janela do terminal:

    Linux
    curl -o path/converter.py.zip https://docs.aws.amazon.com/kendra/latest/dg/samples/converter.py.zip

    Em que:

    • path/é o caminho do arquivo para o local em que você deseja salvar o arquivo compactado.

    macOS
    curl -o path/converter.py.zip https://docs.aws.amazon.com/kendra/latest/dg/samples/converter.py.zip

    Em que:

    • path/é o caminho do arquivo para o local em que você deseja salvar o arquivo compactado.

    Windows
    curl -o path/converter.py.zip https://docs.aws.amazon.com/kendra/latest/dg/samples/converter.py.zip

    Em que:

    • path/é o caminho do arquivo para o local em que você deseja salvar o arquivo compactado.

  2. Para extrair o arquivo Python 3, execute o seguinte comando na janela do terminal:

    Linux
    unzip path/converter.py.zip -d path/

    Em que:

    • path/é o caminho do arquivo salvoconverter.py.zip.

    macOS
    unzip path/converter.py.zip -d path/

    Em que:

    • path/é o caminho do arquivo salvoconverter.py.zip.

    Windows
    tar -xf path/converter.py.zip -C path/

    Em que:

    • path/é o caminho do arquivo salvoconverter.py.zip.

  3. Certifique-se de que o Boto3 esteja instalado no dispositivo executando o seguinte comando:

    Linux
    pip3 show boto3
    macOS
    pip3 show boto3
    Windows
    pip3 show boto3
    nota

    Se você não tiver o Boto3 instalado, execute pip3 install boto3 para instalá-lo.

  4. Para executar o script Python 3 para converter o output arquivo, execute o comando a seguir.

    Linux
    python path/converter.py

    Em que:

    • path/é o caminho do arquivo salvoconverter.py.zip.

    macOS
    python path/converter.py

    Em que:

    • path/é o caminho do arquivo salvoconverter.py.zip.

    Windows
    python path/converter.py

    Em que:

    • path/é o caminho do arquivo salvoconverter.py.zip.

  5. Quando AWS CLI solicitadoEnter the name of your S3 bucket, insira o nome do seu bucket do S3 e pressione enter.

  6. Quando AWS CLI solicitadoEnter the full filepath to your Comprehend output file, insira output e pressione enter.

  7. Quando AWS CLI solicitadoEnter the full filepath to your metadata folder, insira metadata/ e pressione enter.

Importante

Para que os metadados sejam formatados corretamente, os valores de entrada nas etapas 5 a 7 devem ser exatos.

No final dessa etapa, os metadados formatados são depositados dentro da pasta metadata no bucket do S3.

Como limpar o bucket do Amazon S3

Como o índice do Amazon Kendra sincroniza todos os arquivos armazenados em um bucket, recomendamos que você limpe o bucket do Amazon S3 para evitar resultados de pesquisa redundantes.

  1. Abra o console do Amazon S3 em https://console.aws.amazon.com/s3/.

  2. Em Buckets, escolha o bucket e, em seguida, selecione a pasta de saída da análise de entidades do Amazon Comprehend, o arquivo de análise de entidades .temp do Amazon Comprehend e o arquivo output extraído do Amazon Comprehend.

  3. Na guia Visão geral, escolha Excluir.

  4. Em Excluir objetos, escolha Excluir objetos permanentemente? e insira permanently delete no campo de entrada de texto.

  5. Escolha Delete objects (Excluir objetos).

  1. Para excluir todos os arquivos e as pastas no bucket do S3, exceto as pastas data e metadata use o comando remover no AWS CLI:

    Linux
    aws s3 rm s3://amzn-s3-demo-bucket/ --recursive --exclude "data/*" --exclude "metadata/*"

    Em que:

    • amzn-s3-demo-bucket é o nome do seu bucket S3.

    macOS
    aws s3 rm s3://amzn-s3-demo-bucket/ --recursive --exclude "data/*" --exclude "metadata/*"

    Em que:

    • amzn-s3-demo-bucket é o nome do seu bucket S3.

    Windows
    aws s3 rm s3://amzn-s3-demo-bucket/ --recursive --exclude "data/*" --exclude "metadata/*"

    Em que:

    • amzn-s3-demo-bucket é o nome do seu bucket S3.

  2. Para garantir que os objetos tenham sido carregados com sucesso no bucket do S3, verifique o conteúdo usando o comando list:

    Linux
    aws s3 ls s3://amzn-s3-demo-bucket/

    Em que:

    • amzn-s3-demo-bucket é o nome do seu bucket S3.

    macOS
    aws s3 ls s3://amzn-s3-demo-bucket/

    Em que:

    • amzn-s3-demo-bucket é o nome do seu bucket S3.

    Windows
    aws s3 ls s3://amzn-s3-demo-bucket/

    Em que:

    • amzn-s3-demo-bucket é o nome do seu bucket S3.

Ao final desta etapa, você converteu a saída da análise de entidades do Amazon Comprehend em metadados do Amazon Kendra. Agora, você está pronto para criar um índice do Amazon Kendra.