Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Enriquecimiento de sus documentos durante la ingesta
nota
La compatibilidad de características varía según el tipo de índice y la API de búsqueda que se use. Para comprobar si esta característica es compatible con el tipo de índice y la API de búsqueda que usa, consulte Tipos de índices.
Puede modificar el contenido y los campos de metadatos o atributos del documento durante el proceso de ingesta de documentos. Con la característica Enriquecimiento de documentos personalizado de Amazon Kendra, puede crear, modificar o eliminar atributos y contenido del documento durante la ingesta de documentos en Amazon Kendra. Esto significa que puedes manipular e ingerir sus datos según lo necesite.
Esta característica otorga el control sobre cómo se tratan e ingieren sus documentos en Amazon Kendra. Por ejemplo, puede eliminar la información de identificación personal en los metadatos del documento mientras se ingieren los documentos en Amazon Kendra.
Otra forma de utilizar esta característica es invocar una función de Lambda en AWS Lambda para ejecutar el reconocimiento óptico de caracteres (OCR) en imágenes, traducción en texto y otras tareas para preparar los datos para la búsqueda o el análisis. Por ejemplo, puede invocar una función para ejecutar OCR en imágenes. La función podría interpretar el texto de las imágenes y tratar cada imagen como un documento textual. Una empresa que recibe encuestas de clientes enviadas por correo y las almacena como imágenes, podría ingerirlas como documentos textuales en Amazon Kendra. A continuación, la empresa puede buscar información valiosa de la encuesta de clientes en Amazon Kendra.
Puede utilizar operaciones básicas para aplicarlas como primer análisis de los datos y, a continuación, utilizar una función de Lambda para aplicar operaciones más complejas a los datos. Por ejemplo, puede utilizar una operación básica para eliminar simplemente todos los valores del campo de metadatos del documento “Customer_ID” y, a continuación, aplicar una función de Lambda para extraer texto de las imágenes del texto en los documentos.
Cómo funciona Custom Document Enrichment
El proceso general de Custom Document Enrichment es el siguiente:
-
Custom Document Enrichment se configura al crear o actualizar el origen de datos o indexar los documentos directamente en Amazon Kendra.
-
Amazon Kendra aplica configuraciones en línea o lógica básica para modificar los datos. Para obtener más información, consulte Operaciones básicas para cambiar los metadatos.
-
Si elige configurar la manipulación avanzada de datos, Amazon Kendra puede aplicarlo en sus documentos originales, sin procesar o en los documentos estructurados y analizados. Para obtener más información, consulte Funciones de Lambda: extraer y cambiar metadatos o contenido.
-
Los documentos modificados se ingieren en Amazon Kendra.
En cualquier momento de este proceso, si la configuración no es válida, Amazon Kendra arroja un error.
Al llamar a la API CreateDataSource, UpdateDataSource o BatchPutDocument, se proporciona la configuración de Custom Document Enrichment. Si se llama a BatchPutDocument, se debe configurar Custom Document Enrichment con cada solicitud. Si utiliza la consola, seleccione el índice y, a continuación, seleccione Document enrichments (Enriquecimientos de documentos) para configurar Custom Document Enrichment.
Si usa Enriquecimientos de documento en la consola, puede elegir configurar solo las operaciones básicas o solo las funciones de Lambda o ambas, del mismo modo que puede usar la API. Puede seleccionar Siguiente en los pasos de la consola para elegir no configurar las operaciones básicas y solo las funciones de Lambda, incluida la opción de aplicarlas a los datos originales (antes de la extracción) o estructurados (después de la extracción). Solo puede guardar las configuraciones si completa todos los pasos de la consola. Las configuraciones de sus documentos no se guardan si no completa todos los pasos.
Operaciones básicas para cambiar los metadatos
Puede manipular los campos y el contenido del documento mediante la lógica básica. Esto incluye la eliminación de valores de un campo, la modificación de los valores de un campo mediante una condición o la creación de un campo. Para manipulaciones avanzadas que van más allá de lo que puedes manipular con la lógica básica, invoque una función Lambda. Para obtener más información, consulte Funciones de Lambda: extraer y cambiar metadatos o contenido.
Para aplicar la lógica básica, especifique el campo de destino que desea manipular mediante el objeto DocumentAttributeTarget. Proporcione la clave de atributo. Por ejemplo, la clave “Department” es un campo o atributo que contiene todos los nombres de departamento asociados a los documentos. También puede especificar un valor que se utilizará en el campo de destino si se cumple una condición determinada. Establezca la condición mediante el objeto DocumentAttributeCondition. Por ejemplo, si el campo “source_URI” contiene “financiero” en su valor URI, rellene previamente el campo de destino “Department” con el valor objetivo “Finance” del documento. También puede eliminar los valores del atributo del documento de destino.
Para aplicar la lógica básica mediante la consola, seleccione el índice y, a continuación, seleccione Document enrichments(Enriquecimiento de documentos) en el menú de navegación. Vaya a Configurar operaciones básicas para aplicar manipulaciones básicas a los campos y el contenido del documento.
A continuación se muestra un ejemplo del uso de la lógica básica para eliminar todos los números de identificación de clientes del campo del documento denominado “Customer_ID”.
Ejemplo 1: Eliminación de números de identificación de clientes asociados a los documentos
Datos antes de aplicar la manipulación básica.
| Document_ID | Body_Text | Customer_ID |
|---|---|---|
| 1 | Lorem Ipsum. | CID1234 |
| 2 | Lorem Ipsum. | CID1235 |
| 3 | Lorem Ipsum. | CID1236 |
Datos después de aplicar la manipulación básica.
| Document_ID | Body_Text | Customer_ID |
|---|---|---|
| 1 | Lorem Ipsum. | |
| 2 | Lorem Ipsum. | |
| 3 | Lorem Ipsum. |
A continuación se muestra un ejemplo de uso de la lógica básica para crear un campo denominado “Department” y rellenar previamente este campo con los nombres de departamento en función de la información del campo “Source_URI”. Por ejemplo, si el campo “source_URI” contiene “financial” en su valor URI, rellene previamente el campo de destino “Department” con el valor objetivo “Finance” para el documento.
Ejemplo 2: Crear el campo “Department” y rellenarlo previamente con nombres de departamento asociados a los documentos mediante una condición.
Datos antes de aplicar la manipulación básica.
| Document_ID | Body_Text | URI de origen |
|---|---|---|
| 1 | Lorem Ipsum. | financial/1 |
| 2 | Lorem Ipsum. | financial/2 |
| 3 | Lorem Ipsum. | financial/3 |
Datos después de aplicar la manipulación básica.
| Document_ID | Body_Text | URI de origen | Department |
|---|---|---|---|
| 1 | Lorem Ipsum. | financial/1 | Finance |
| 2 | Lorem Ipsum. | financial/2 | Finanzas |
| 3 | Lorem Ipsum. | financial/3 | Finanzas |
nota
Amazon Kendra no puede crear un campo de documento de destino si aún no se ha creado como campo de índice. Después de crear el campo de índice, puede crear un campo de documento mediante DocumentAttributeTarget. Amazon Kendra luego asigna el campo de metadatos de documento recién creado al campo de índice.
El código siguiente es un ejemplo de configuración de la manipulación básica de datos para eliminar los números de identificación de clientes asociados a los documentos.
Funciones de Lambda: extraer y cambiar metadatos o contenido
Puede manipular los campos y el contenido de los documentos mediante las funciones de Lambda. Esto resulta útil si desea ir más allá de la lógica básica y aplicar manipulaciones avanzadas de datos. Por ejemplo, mediante el reconocimiento óptico de caracteres (OCR), que interpreta el texto de las imágenes y trata cada imagen como un documento textual. O bien, recuperar la fecha y hora actual en una zona horaria determinada e insertar la fecha y hora donde haya un valor vacío para un campo de fecha.
Puede aplicar primero la lógica básica y, a continuación, utilizar una función de Lambda para manipular aún más los datos o viceversa. También puede optar por aplicar solo una función de Lambda.
Amazon Kendra puede invocar una función Lambda para aplicar manipulaciones avanzadas de datos durante el proceso de ingesta como parte de suCustomDocumentEnrichmentConfiguration. Especifique un rol que incluya permiso para ejecutar la función de Lambda y acceder a su bucket de Amazon S3 para almacenar la salida de las manipulaciones de datos; consulte roles de acceso de IAM.
Amazon Kendra puede aplicar una función de Lambda en los documentos originales, sin procesar o en los documentos estructurados y analizados. Puede configurar una función Lambda que tome sus datos originales o sin procesar y aplique sus manipulaciones de datos mediante PreExtractionHookConfiguration. También puede configurar una función Lambda que tome sus documentos estructurados y aplique sus manipulaciones de datos mediante PostExtractionHookConfiguration. Amazon Kendra extrae los metadatos y el texto del documento para estructurar los documentos. Sus funciones Lambda deben seguir las estructuras obligatorias de solicitud y respuesta. Para obtener más información, consulte Contratos de datos para funciones Lambda.
Para configurar una función Lambda en la consola, seleccione el índice y, a continuación, seleccione Document enrichments(Enriquecimiento de documentos) en el menú de navegación. Vaya a Configurar funciones Lambda para configurar una función Lambda.
Solo puede configurar una función Lambda para PreExtractionHookConfiguration y solo una función Lambda para PostExtractionHookConfiguration. Sin embargo, la función Lambda puede invocar otras funciones que requiere. Puede configurar ambos PreExtractionHookConfiguration y PostExtractionHookConfiguration, o cualquiera de los dos. La función Lambda para PreExtractionHookConfiguration no debe exceder un tiempo de ejecución de 5 minutos y su función Lambda para PostExtractionHookConfiguration no debe exceder un tiempo de ejecución de 1 minuto. La configuración de Custom Document Enrichment tarda más tiempo en ingerir sus documentos de forma natural en Amazon Kendra que si no lo configurara.
Puede configurar Amazon Kendra para invocar una función Lambda solo si se cumple una condición. Por ejemplo, puede especificar una condición que si hay valores de fecha y hora vacíos, Amazon Kendra debería invocar una función que insertara la fecha y hora actuales.
A continuación se muestra un ejemplo de uso de una función Lambda para ejecutar OCR para interpretar texto de imágenes y almacenar este texto en un campo denominado “Document_Image_Text”.
Ejemplo 1: Extracción de texto de imágenes para crear documentos textuales
Datos antes de aplicar la manipulación avanzada.
| Document_ID | Document_Image |
|---|---|
| 1 | image_1.png |
| 2 | image_2.png |
| 3 | image_3.png |
Datos después de aplicar la manipulación avanzada.
| Document_ID | Document_Image | Document_Image_Text |
|---|---|---|
| 1 | image_1.png | Mailed survey response |
| 2 | image_2.png | Mailed survey response |
| 3 | image_3.png | Mailed survey response |
A continuación se muestra un ejemplo de uso de una función Lambda para insertar la fecha y hora actual para valores de fecha vacíos. Utiliza la condición de que si el valor de un campo de fecha es “null”, se sustituye por la fecha y hora actuales.
Ejemplo 2: Sustitución de valores vacíos en el campo Last_Updated por la fecha y hora actuales.
Datos antes de aplicar la manipulación avanzada.
| Document_ID | Body_Text | Last_Updated |
|---|---|---|
| 1 | Lorem Ipsum. | 1 de enero de 2020 |
| 2 | Lorem Ipsum. | |
| 3 | Lorem Ipsum. | July 1, 2020 |
Datos después de aplicar la manipulación avanzada.
| Document_ID | Body_Text | Last_Updated |
|---|---|---|
| 1 | Lorem Ipsum. | 1 de enero de 2020 |
| 2 | Lorem Ipsum. | December 1, 2021 |
| 3 | Lorem Ipsum. | July 1, 2020 |
El siguiente código es un ejemplo de configuración de una función Lambda para la manipulación avanzada de datos en los datos originales y sin procesar.
Contratos de datos para funciones Lambda
Sus funciones Lambda para la manipulación avanzada de datos interactúan con contratos de datos de Amazon Kendra. Los contratos son las estructuras de solicitud y respuesta obligatorias de sus funciones Lambda. Si sus funciones Lambda no siguen estas estructuras, Amazon Kendra arroja un error.
La función Lambda para PreExtractionHookConfiguration debería esperar la siguiente estructura de solicitud:
{ "version": <str>, "dataBlobStringEncodedInBase64": <str>, //In the case of a data blob "s3Bucket": <str>, //In the case of an S3 bucket "s3ObjectKey": <str>, //In the case of an S3 bucket "metadata": <Metadata> }
La estructura de metadata, que incluye la estructura de CustomDocumentAttribute, es la siguiente:
{ "attributes": [<CustomDocumentAttribute<] } CustomDocumentAttribute { "name": <str>, "value": <CustomDocumentAttributeValue> } CustomDocumentAttributeValue { "stringValue": <str>, "integerValue": <int>, "longValue": <long>, "stringListValue": list<str>, "dateValue": <str> }
La función Lambda para PreExtractionHookConfiguration debe cumplir la siguiente estructura de respuesta:
{ "version": <str>, "dataBlobStringEncodedInBase64": <str>, //In the case of a data blob "s3ObjectKey": <str>, //In the case of an S3 bucket "metadataUpdates": [<CustomDocumentAttribute>] }
La función Lambda para PostExtractionHookConfiguration debería esperar la siguiente estructura de solicitud:
{ "version": <str>, "s3Bucket": <str>, "s3ObjectKey": <str>, "metadata": <Metadata> }
La función Lambda para PostExtractionHookConfiguration debe cumplir la siguiente estructura de respuesta:
PostExtractionHookConfiguration Lambda Response { "version": <str>, "s3ObjectKey": <str>, "metadataUpdates": [<CustomDocumentAttribute>] }
El documento modificado se carga en su bucket de Amazon S3. El documento modificado debe seguir el formato que se muestra en Formato del documento estructurado.
Formato del documento estructurado
Amazon Kendra carga su documento estructurado en el bucket de Amazon S3 determinado. El documento estructurado sigue este formato:
Kendra document { "textContent": <TextContent> } TextContent { "documentBodyText": <str> }
Ejemplo de una función Lambda que se adhiere a los contratos de datos
El siguiente código de Python es un ejemplo de una función Lambda que aplica manipulación avanzada de los campos de metadatos _authors, _document_title y el contenido del cuerpo de los documentos originales o sin procesar.
En el caso del contenido del cuerpo que reside en un bucket de Amazon S3
import json import boto3 s3 = boto3.client("s3") # Lambda function for advanced data manipulation def lambda_handler(event, context): # Get the value of "S3Bucket" key name or item from the given event input s3_bucket = event.get("s3Bucket") # Get the value of "S3ObjectKey" key name or item from the given event input s3_object_key = event.get("s3ObjectKey") content_object_before_CDE = s3.get_object(Bucket = s3_bucket, Key = s3_object_key) content_before_CDE = content_object_before_CDE["Body"].read().decode("utf-8"); content_after_CDE = "CDEInvolved " + content_before_CDE # Get the value of "metadata" key name or item from the given event input metadata = event.get("metadata") # Get the document "attributes" from the metadata document_attributes = metadata.get("attributes") s3.put_object(Bucket = s3_bucket, Key = "dummy_updated_kendra_document", Body=json.dumps(content_after_CDE)) return { "version": "v0", "s3ObjectKey": "dummy_updated_kendra_document", "metadataUpdates": [ {"name":"_document_title", "value":{"stringValue":"title_from_pre_extraction_lambda"}}, {"name":"_authors", "value":{"stringListValue":["author1", "author2"]}} ] }
En el caso del contenido del cuerpo que reside en un blob de datos
import json import boto3 import base64 # Lambda function for advanced data manipulation def lambda_handler(event, context): # Get the value of "dataBlobStringEncodedInBase64" key name or item from the given event input data_blob_string_encoded_in_base64 = event.get("dataBlobStringEncodedInBase64") # Decode the data blob string in UTF-8 data_blob_string = base64.b64decode(data_blob_string_encoded_in_base64).decode("utf-8") # Get the value of "metadata" key name or item from the given event input metadata = event.get("metadata") # Get the document "attributes" from the metadata document_attributes = metadata.get("attributes") new_data_blob = "This should be the modified data in the document by pre processing lambda ".encode("utf-8") return { "version": "v0", "dataBlobStringEncodedInBase64": base64.b64encode(new_data_blob).decode("utf-8"), "metadataUpdates": [ {"name":"_document_title", "value":{"stringValue":"title_from_pre_extraction_lambda"}}, {"name":"_authors", "value":{"stringListValue":["author1", "author2"]}} ] }
El siguiente código de Python es un ejemplo de una función Lambda que aplica manipulación avanzada de los campos de metadatos _authors, _document_title y el contenido del cuerpo de los documentos estructurados o analizados.
import json import boto3 import time s3 = boto3.client("s3") # Lambda function for advanced data manipulation def lambda_handler(event, context): # Get the value of "S3Bucket" key name or item from the given event input s3_bucket = event.get("s3Bucket") # Get the value of "S3ObjectKey" key name or item from the given event input s3_key = event.get("s3ObjectKey") # Get the value of "metadata" key name or item from the given event input metadata = event.get("metadata") # Get the document "attributes" from the metadata document_attributes = metadata.get("attributes") kendra_document_object = s3.get_object(Bucket = s3_bucket, Key = s3_key) kendra_document_string = kendra_document_object['Body'].read().decode('utf-8') kendra_document = json.loads(kendra_document_string) kendra_document["textContent"]["documentBodyText"] = "Changing document body to a short sentence." s3.put_object(Bucket = s3_bucket, Key = "dummy_updated_kendra_document", Body=json.dumps(kendra_document)) return { "version" : "v0", "s3ObjectKey": "dummy_updated_kendra_document", "metadataUpdates": [ {"name": "_document_title", "value":{"stringValue": "title_from_post_extraction_lambda"}}, {"name": "_authors", "value":{"stringListValue":["author1", "author2"]}} ] }
