Como adicionar documentos diretamente a um índice com o upload em lote. - Amazon Kendra
Adicionar documentos com a API BatchputDocumentAdicionar documentos de um bucket do S3

Como adicionar documentos diretamente a um índice com o upload em lote.

Você pode excluir documentos diretamente de um índice usando a API BatchPutDocument. Você não pode excluir documentos diretamente usando o console. Se você usa o console, você se conecta a uma fonte de dados para adicionar documentos ao seu índice. Os documentos podem ser adicionados de um bucket do S3 ou fornecidos como dados binários. Consulte uma lista dos tipos de documentos compatíveis com o Amazon Kendra em Tipos de documentos.

A adição de documentos a um índice usando BatchPutDocument é uma operação assíncrona. Depois de chamar a API BatchPutDocument, use API BatchGetDocumentStatus para monitorar o progresso de indexar os documentos. Quando você chama a API BatchGetDocumentStatus com uma lista de IDs de documentos, ela retorna o status do documento. Quando o status do documento é INDEXED ou FAILED, o processamento do documento está concluído. Quando o status é FAILED, a API BatchGetDocumentStatus retorna o motivo pelo qual o documento não pôde ser indexado.

Se você quiser alterar os metadados ou os atributos e o conteúdo do documento durante o processo de absorção do documento, consulte Enriquecimento personalizado de documentos no Amazon Kendra. Se você quiser usar uma fonte de dados personalizada, cada documento enviado usando a API BatchPutDocument exige uma ID da fonte de dados e uma ID de execução como atributos ou campos. Para obter mais informações, consulte Atributos obrigatórios para fontes de dados personalizadas.

nota

Cada ID de documento deve ser exclusivo por índice. Você não pode criar uma fonte de dados para indexar os documentos com os IDs exclusivos e depois usar a API BatchPutDocument para indexar os mesmos documentos ou vice-versa. Você pode criar uma fonte de dados e depois usar a API BatchPutDocument para indexar os mesmos documentos ou vice-versa. Usar as APIs BatchPutDocument e BatchDeleteDocument em combinação com um conector de fonte de dados do Amazon Kendra para o mesmo conjunto de documentos pode causar inconsistências entre os dados. Em vez disso, recomendamos usar o conector de fonte de dados personalizado do Amazon Kendra.

Os seguintes documentos do guia do desenvolvedor mostram como adicionar documentos diretamente a um índice:

Adicionar documentos com a API BatchputDocument

O exemplo a seguir adiciona um blob de texto a um índice chamando BatchputDocument. É possível usar a API BatchPutDocument para adicionar documentos diretamente ao índice. Consulte uma lista dos tipos de documentos compatíveis com o Amazon Kendra em Tipos de documentos.

Para ver um exemplo de criação de um índice usando os SDKs e AWS CLI, consulte Criação de um índice. Para configurar a CLI e os SDKs, consulte Configurando Amazon Kendra.

nota

Os arquivos adicionados ao índice devem estar em um fluxo de bytes codificado UTF-8.

Nos exemplos a seguir, o texto codificado em UTF-8 é adicionado ao índice.

CLI

Na AWS Command Line Interface, use o comando a seguir. O comando a seguir é formatado para Linux e macOS. Para Windows, substitua o caractere de continuação de linha do Unix (\) pelo circunflexo (^).

aws kendra batch-put-document \
   --index-id index-id \
   --documents '{"Id":"doc-id-1", "Blob":"Amazon.com is an online retailer.", "ContentType":"PLAIN_TEXT", "Title":"Information about Amazon.com"}'
Python
import boto3

kendra = boto3.client("kendra")

# Provide the index ID
index_id = "index-id"

# Provide the title and text
title = "Information about Amazon.com"
text = "Amazon.com is an online retailer."

document = {
    "Id": "1",
    "Blob": text,
    "ContentType": "PLAIN_TEXT",
    "Title": title
}

documents = [
    document
]

result = kendra.batch_put_document(
    IndexId = index_id,
    Documents = documents
)

print(result)
Java
package com.amazonaws.kendra;


import software.amazon.awssdk.core.SdkBytes;
import software.amazon.awssdk.services.kendra.KendraClient;
import software.amazon.awssdk.services.kendra.model.BatchPutDocumentRequest;
import software.amazon.awssdk.services.kendra.model.BatchPutDocumentResponse;
import software.amazon.awssdk.services.kendra.model.ContentType;
import software.amazon.awssdk.services.kendra.model.Document;

public class AddDocumentsViaAPIExample {
    public static void main(String[] args) {
        KendraClient kendra = KendraClient.builder().build();

        String indexId = "yourIndexId";

        Document testDoc = Document
            .builder()
            .title("The title of your document")
            .id("a_doc_id")
            .blob(SdkBytes.fromUtf8String("your text content"))
            .contentType(ContentType.PLAIN_TEXT)
            .build();

        BatchPutDocumentRequest batchPutDocumentRequest = BatchPutDocumentRequest
            .builder()
            .indexId(indexId)
            .documents(testDoc)
            .build();

        BatchPutDocumentResponse result = kendra.batchPutDocument(batchPutDocumentRequest);

        System.out.println(String.format("BatchPutDocument Result: %s", result));
    }
}

Adicionar documentos de um bucket do S3

É possível adicionar documentos diretamente ao índice de um bucket do Amazon S3 usando a API BatchPutDocument. Você pode inserir até 10 documentos na mesma chamada. Ao usar um bucket do S3, você deve fornecer uma função do IAM com permissão para acessar o bucket que contém seus documentos. Você especifica a função com o parâmetro RoleArn.

Usar a API BatchputDocument para adicionar documentos de um bucket do Amazon S3 é uma operação única. Para manter um índice sincronizado com o conteúdo de um bucket, crie uma fonte de dados do Amazon S3. Para obter mais informações, consulte fonte de dados do Amazon S3.

Para ver um exemplo de criação de um índice usando os SDKs e AWS CLI, consulte Criação de um índice. Para configurar a CLI e os SDKs, consulte Configurando Amazon Kendra. Para obter informações sobre como criar um bucket do S3, consulte a documentação do Amazon Simple Storage Service.

No exemplo a seguir, dois documentos do Microsoft Word são adicionados ao índice usando a API BatchPutDocument.

Python
import boto3

kendra = boto3.client("kendra")

# Provide the index ID
index_id = "index-id"
# Provide the IAM role ARN required to index documents in an S3 bucket
role_arn = "arn:aws:iam::${acccountID}:policy/${roleName}"

doc1_s3_file_data = {
    "Bucket": "bucket-name",
    "Key": "document1.docx"
}

doc1_document = {
    "S3Path": doc1_s3_file_data,
    "Title": "Document 1 title",
    "Id": "doc_1"
}

doc2_s3_file_data = {
    "Bucket": "bucket-name",
    "Key": "document2.docx"
}

doc2_document = {
    "S3Path": doc2_s3_file_data,
    "Title": "Document 2 title",
    "Id": "doc_2"
}

documents = [
    doc1_document,
    doc2_document
]

result = kendra.batch_put_document(
    Documents = documents,
    IndexId = index_id,
    RoleArn = role_arn
)

print(result)
Java
package com.amazonaws.kendra;

import software.amazon.awssdk.services.kendra.KendraClient;
import software.amazon.awssdk.services.kendra.model.BatchPutDocumentRequest;
import software.amazon.awssdk.services.kendra.model.BatchPutDocumentResponse;
import software.amazon.awssdk.services.kendra.model.Document;
import software.amazon.awssdk.services.kendra.model.S3Path;

public class AddFilesFromS3Example {
    public static void main(String[] args) {
        KendraClient kendra = KendraClient.builder().build();

        String indexId = "yourIndexId";
        String roleArn = "yourIndexRoleArn";

        Document pollyDoc = Document
            .builder()
            .s3Path(
                S3Path.builder()
                .bucket("amzn-s3-demo-bucket")
                .key("What is Amazon Polly.docx")
                .build())
            .title("What is Amazon Polly")
            .id("polly_doc_1")
            .build();

        Document rekognitionDoc = Document
            .builder()
            .s3Path(
                S3Path.builder()
                .bucket("amzn-s3-demo-bucket")
                .key("What is Amazon Rekognition.docx")
                .build())
            .title("What is Amazon rekognition")
            .id("rekognition_doc_1")
            .build();

        BatchPutDocumentRequest batchPutDocumentRequest = BatchPutDocumentRequest
            .builder()
            .indexId(indexId)
            .roleArn(roleArn)
            .documents(pollyDoc, rekognitionDoc)
            .build();

        BatchPutDocumentResponse result = kendra.batchPutDocument(batchPutDocumentRequest);

        System.out.println(String.format("BatchPutDocument result: %s", result));
    }
}