API del optimizador de tablas

• Estructura de TableOptimizer

• Estructura de TableOptimizerConfiguration

• Estructura de TableOptimizerVpcConfiguration

• Estructura CompactionConfiguration

• Estructura IcebergCompactionConfiguration

• Estructura de TableOptimizerRun

• Estructura de BatchGetTableOptimizerEntry

• Estructura de BatchTableOptimizer

• Estructura de BatchGetTableOptimizerError

• Estructura de RetentionConfiguration

• Estructura de IcebergRetentionConfiguration

• Estructura de OrphanFileDeletionConfiguration

• Estructura de IcebergOrphanFileDeletionConfiguration

• Estructura de CompactionMetrics

• Estructura de RetentionMetrics

• Estructura de OrphanFileDeletionMetrics

• Estructura de IcebergCompactionMetrics

• Estructura de IcebergRetentionMetrics

• Estructura de IcebergOrphanFileDeletionMetrics

• Estructura RunMetrics

Campos

• type: cadena UTF-8 (valores válidos: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  El tipo de optimizador de tabla. Los valores válidos son:

  • compaction: para administrar la compactación con un optimizador de tablas.

  • retention: para administrar la retención de instantáneas con un optimizador de tablas.

  • orphan_file_deletion: para administrar la eliminación de archivos huérfanos con un optimizador de tablas.

• configuration: un objeto TableOptimizerConfiguration.

  Un objeto TableOptimizerConfiguration que se especificó al crear o actualizar un optimizador de tablas.

• lastRun: un objeto TableOptimizerRun.

  Un objeto TableOptimizerRun que representa la última ejecución del optimizador de tablas.

• configurationSource: cadena UTF-8 (valores válidos: catalog="CATALOG" | table="TABLE").

  Especifica el origen de la configuración del optimizador. Esto indica cómo se configuró el optimizador de tablas y qué entidad o servicio inició la configuración.

Campos

• roleArn: cadena UTF-8, con 20 bytes como mínimo o más de 2048 bytes de largo, que coincide con el Single-line string pattern.

  Un rol transferido por la persona que llama y que permite al servicio actualizar los recursos asociados al optimizador en nombre de la persona que llama.

• enabled: booleano.

  Si la optimización de tablas está habilitada.

• vpcConfiguration: un objeto TableOptimizerVpcConfiguration.

  Un objeto TableOptimizerVpcConfiguration que representa la configuración de la VPC para un optimizador de tablas.

  Esta configuración es necesaria para llevar a cabo la optimización en las tablas que se encuentran en una VPC del cliente.

• compactionConfiguration: un objeto CompactionConfiguration.

  La configuración de un optimizador de compactación. Esta configuración define cómo se compactarán los archivos de datos en la tabla para mejorar el rendimiento de las consultas y reducir los costos de almacenamiento.

• retentionConfiguration: un objeto RetentionConfiguration.

  Configuración de un optimizador de retención de instantáneas.

• orphanFileDeletionConfiguration: un objeto OrphanFileDeletionConfiguration.

  Configuración de un optimizador de eliminación de archivos huérfanos.

Campos

• glueConnectionName: cadena UTF-8 de 1 byte de largo como mínimo.

  El nombre de la conexión de AWS Glue usada para la VPC del optimizador de tablas.

Campos

• icebergConfiguration: un objeto IcebergCompactionConfiguration.

  La configuración de un optimizador de compactación de Iceberg.

Campos

• strategy: cadena UTF-8 (valores válidos: binpack="BINPACK" | sort="SORT" | z-order="ZORDER").

  La estrategia que se utilizará para la compactación. Los valores válidos son:

  • binpack: combina archivos pequeños en archivos más grandes, normalmente con un tamaño superior a 100 MB, y aplica las eliminaciones pendientes. Esta es la estrategia de compactación recomendada para la mayoría de los casos de uso.

  • sort: organiza los datos según columnas especificadas, que se ordenan jerárquicamente durante la compactación, lo que mejora el rendimiento de las consultas en operaciones que aplican filtros. Esta estrategia se recomienda cuando las consultas filtran con frecuencia sobre columnas específicas. Para utilizar esta estrategia, primero debe definir un orden de clasificación en las propiedades de la tabla de Iceberg mediante la propiedad de tabla sort_order.

  • z-order: optimiza la organización de los datos al combinar múltiples atributos en un único valor escalar que se puede utilizar para la ordenación, lo que permite consultas eficientes en varias dimensiones. Esta estrategia se recomienda cuando se necesita consultar datos en varias dimensiones simultáneamente. Para utilizar esta estrategia, primero debe definir un orden de clasificación en las propiedades de la tabla de Iceberg mediante la propiedad de tabla sort_order.

  Si no se proporciona una entrada, se utilizará el valor predeterminado “binpack”.

• minInputFiles: número (entero).

  La cantidad mínima de archivos de datos que deben estar presentes en una partición antes de que la compactación realmente compacte los archivos. Este parámetro ayuda a controlar cuándo se activa la compactación y evita operaciones de compactación innecesarias en particiones con pocos archivos. Si no se proporciona ninguna entrada, se utiliza el valor predeterminado, que es 100.

• deleteFileThreshold: número (entero).

  El número mínimo de eliminaciones que debe contener un archivo de datos para que sea elegible para la compactación. Este parámetro ayuda a optimizar la compactación, ya que se centra en los archivos que contienen un número significativo de operaciones de eliminación, y esto puede mejorar el rendimiento de las consultas porque borra los registros eliminados. Si no se proporciona ninguna entrada, se utiliza el valor predeterminado, que es 1.

Campos

• eventType: cadena UTF-8 (valores válidos: starting="STARTING" | completed="COMPLETED" | failed="FAILED" | in_progress="IN_PROGRESS").

  Un tipo de evento que representa el estado de la ejecución del optimizador de tablas.

• startTimestamp: marca temporal.

  Representa la marca temporal de la época en la que se inició el trabajo de compactación en Lake Formation.

• endTimestamp: marca temporal.

  Representa la marca temporal de la época en la que finalizó el trabajo de compactación.

• metrics: un objeto RunMetrics.

  Un objeto RunMetrics que contiene las métricas de la ejecución del optimizador.

  Este miembro ya no está disponible. Consulte los miembros individuales de la métrica para la compactación, la retención y la eliminación de archivos huérfanos.

• error: cadena UTF-8.

  Un error que se produjo durante la ejecución del optimizador.

• compactionMetrics: un objeto CompactionMetrics.

  Un objeto CompactionMetrics que contiene las métricas de la ejecución del optimizador.

• compactionStrategy: cadena UTF-8 (valores válidos: binpack="BINPACK" | sort="SORT" | z-order="ZORDER").

  La estrategia utilizada para la ejecución de la compactación. Indica qué algoritmo se aplicó para determinar cómo se seleccionaron y combinaron los archivos durante el proceso de compactación. Los valores válidos son:

  • binpack: combina archivos pequeños en archivos más grandes, normalmente con un tamaño superior a 100 MB, y aplica las eliminaciones pendientes. Esta es la estrategia de compactación recomendada para la mayoría de los casos de uso.

  • sort: organiza los datos según columnas especificadas, que se ordenan jerárquicamente durante la compactación, lo que mejora el rendimiento de las consultas en operaciones que aplican filtros. Esta estrategia se recomienda cuando las consultas filtran con frecuencia sobre columnas específicas. Para utilizar esta estrategia, primero debe definir un orden de clasificación en las propiedades de la tabla de Iceberg mediante la propiedad de tabla sort_order.

  • z-order: optimiza la organización de los datos al combinar múltiples atributos en un único valor escalar que se puede utilizar para la ordenación, lo que permite consultas eficientes en varias dimensiones. Esta estrategia se recomienda cuando se necesita consultar datos en varias dimensiones simultáneamente. Para utilizar esta estrategia, primero debe definir un orden de clasificación en las propiedades de la tabla de Iceberg mediante la propiedad de tabla sort_order.

• retentionMetrics: un objeto RetentionMetrics.

  Un objeto RetentionMetrics que contiene las métricas de la ejecución del optimizador.

• orphanFileDeletionMetrics: un objeto OrphanFileDeletionMetrics.

  Objeto OrphanFileDeletionMetrics que contiene las métricas de la ejecución del optimizador.

Campos

• catalogId: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El ID de catálogo de la tabla.

• databaseName: cadena UTF-8 de 1 byte de largo como mínimo.

  El nombre de la base de datos en el catálogo donde reside la tabla.

• tableName: cadena UTF-8 de 1 byte de largo como mínimo.

  El nombre de la tabla.

• type: cadena UTF-8 (valores válidos: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  El tipo de optimizador de tabla.

Campos

• catalogId: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El ID de catálogo de la tabla.

• databaseName: cadena UTF-8 de 1 byte de largo como mínimo.

  El nombre de la base de datos en el catálogo donde reside la tabla.

• tableName: cadena UTF-8 de 1 byte de largo como mínimo.

  El nombre de la tabla.

• tableOptimizer: un objeto TableOptimizer.

  Un objeto TableOptimizer que contiene detalles sobre la configuración y la última ejecución de un optimizador de tabla.

Campos

• error: un objeto ErrorDetail.

  Un objeto ErrorDetail que contiene detalles de mensaje y código acerca del error.

• catalogId: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El ID de catálogo de la tabla.

• databaseName: cadena UTF-8 de 1 byte de largo como mínimo.

  El nombre de la base de datos en el catálogo donde reside la tabla.

• tableName: cadena UTF-8 de 1 byte de largo como mínimo.

  El nombre de la tabla.

• type: cadena UTF-8 (valores válidos: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  El tipo de optimizador de tabla.

Campos

• icebergConfiguration: un objeto IcebergRetentionConfiguration.

  Configuración de un optimizador de retención de instantáneas de Iceberg.

Campos

• snapshotRetentionPeriodInDays: número (entero).

  Número de días que se retienen las instantáneas de Iceberg. Si no se proporciona ninguna entrada, se utilizará el campo de configuración de la tabla de Iceberg correspondiente o, si no está presente, se utilizará el valor predeterminado 5.

• numberOfSnapshotsToRetain: número (entero).

  Número de instantáneas de Iceberg que se van a retener durante el periodo de retención. Si no se proporciona ninguna entrada, se utilizará el campo de configuración de la tabla de Iceberg correspondiente o, si no está presente, se utilizará el valor predeterminado 1.

• cleanExpiredFiles: booleano.

  Si se establece en falso, las instantáneas solo se eliminan de los metadatos de la tabla y no se eliminan los archivos de datos y metadatos subyacentes.

• runRateInHours: número (entero).

  El intervalo en horas entre las ejecuciones de los trabajos de retención. Este parámetro controla la frecuencia con la que se ejecutará el optimizador de retención para limpiar las instantáneas caducadas. Este valor debe estar entre 3 y 168 horas (7 días). Si no se proporciona ninguna entrada, se utiliza el valor predeterminado, que es 24.

Campos

• icebergConfiguration: un objeto IcebergOrphanFileDeletionConfiguration.

  Configuración de un optimizador de eliminación de archivos huérfanos de Iceberg.

Campos

• orphanFileRetentionPeriodInDays: número (entero).

  Número de días que deben retenerse los archivos huérfanos antes de eliminarlos. Si no se proporciona ninguna entrada, se utiliza el valor predeterminado 3.

• location: cadena UTF-8.

  Especifica un directorio en el que buscar los archivos (por defecto es la ubicación de la tabla). Puede elegir un subdirectorio en lugar de la ubicación de la tabla de nivel superior.

• runRateInHours: número (entero).

  El intervalo en horas entre las ejecuciones del trabajo de eliminación de archivos huérfanos. Este parámetro controla la frecuencia con la que se ejecutará el optimizador de eliminación de archivos huérfanos para limpiar los archivos huérfanos. Este valor debe estar entre 3 y 168 horas (7 días). Si no se proporciona ninguna entrada, se utiliza el valor predeterminado, que es 24.

Campos

• IcebergMetrics: un objeto IcebergCompactionMetrics.

  Estructura que contiene las métricas de compactación de Iceberg de la ejecución del optimizador.

Campos

• IcebergMetrics: un objeto IcebergRetentionMetrics.

  Estructura que contiene las métricas de retención de Iceberg de la ejecución del optimizador.

Campos

• IcebergMetrics: un objeto IcebergOrphanFileDeletionMetrics.

  Estructura que contiene las métricas de eliminación de archivos huérfanos de Iceberg de la ejecución del optimizador.

Campos

• DpuHours: número (doble).

  El número de horas de DPU consumidas por el trabajo.

• NumberOfDpus: número (entero).

  El número de DPU consumidas por el trabajo, redondeado al número entero más cercano.

• JobDurationInHour: número (doble).

  La duración del trabajo en horas.

Campos

• DpuHours: número (doble).

  El número de horas de DPU consumidas por el trabajo.

• NumberOfDpus: número (entero).

  El número de DPU consumidas por el trabajo, redondeado al número entero más cercano.

• JobDurationInHour: número (doble).

  La duración del trabajo en horas.

Campos

• DpuHours: número (doble).

  El número de horas de DPU consumidas por el trabajo.

• NumberOfDpus: número (entero).

  El número de DPU consumidas por el trabajo, redondeado al número entero más cercano.

• JobDurationInHour: número (doble).

  La duración del trabajo en horas.

Campos

• NumberOfBytesCompacted: cadena UTF-8.

  El número de bytes eliminados por la ejecución del trabajo de compactación.

• NumberOfFilesCompacted: cadena UTF-8.

  El número de archivos eliminados por la ejecución del trabajo de compactación.

• NumberOfDpus: cadena UTF-8.

  El número de DPU consumidas por el trabajo, redondeado al número entero más cercano.

• JobDurationInHour: cadena UTF-8.

  La duración del trabajo en horas.

• Acción GetTableOptimizer (Python: get_table_optimizer)

• Acción BatchGetTableOptimizer (Python: batch_get_table_optimizer)

• Acción ListTableOptimizerRuns (Python: list_table_optimizer_runs)

• Cción CreateTableOptimizer (Python: create_table_optimizer)

• Acción DeleteTableOptimizer (Python: delete_table_optimizer)

• Acción UpdateTableOptimizer (Python: update_table_optimizer)

Solicitud

• CatalogId: Obligatorio: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El ID de catálogo de la tabla.

• DatabaseName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de la base de datos en el catálogo donde reside la tabla.

• TableName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de la tabla.

• Type – Obligatorio: cadena UTF-8 (valores válidos: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  El tipo de optimizador de tabla.

Respuesta

• CatalogId: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El ID de catálogo de la tabla.

• DatabaseName: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de la base de datos en el catálogo donde reside la tabla.

• TableName: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de la tabla.

• TableOptimizer: un objeto TableOptimizer.

  El optimizador asociado a la tabla especificada.

Errores

• EntityNotFoundException

• InvalidInputException

• AccessDeniedException

• InternalServiceException

• ThrottlingException

Solicitud

• Entries (obligatorio): una matriz de objetos BatchGetTableOptimizerEntry.

  Una lista de objetos BatchGetTableOptimizerEntry que especifican los optimizadores de tabla que se van a recuperar.

Respuesta

• TableOptimizers: matriz de objetos BatchTableOptimizer.

  Una lista de objetos BatchTableOptimizer.

• Failures: matriz de objetos BatchGetTableOptimizerError.

  Una lista de errores de la operación.

Errores

• EntityNotFoundException

• InvalidInputException

• AccessDeniedException

• InternalServiceException

• ThrottlingException

Solicitud

• CatalogId: Obligatorio: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El ID de catálogo de la tabla.

• DatabaseName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de la base de datos en el catálogo donde reside la tabla.

• TableName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de la tabla.

• Type – Obligatorio: cadena UTF-8 (valores válidos: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  El tipo de optimizador de tabla.

• MaxResults: número (entero).

  El número máximo de ejecuciones del optimizador que se devolverán en cada llamada.

• NextToken: cadena UTF-8.

  Token de continuación si se trata de una llamada de continuidad.

Respuesta

• CatalogId: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El ID de catálogo de la tabla.

• DatabaseName: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de la base de datos en el catálogo donde reside la tabla.

• TableName: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de la tabla.

• NextToken: cadena UTF-8.

  Token de continuación para paginar la lista obtenida; se devuelve si el segmento actual de la lista no es el último.

• TableOptimizerRuns: matriz de objetos TableOptimizerRun.

  Lista de las ejecuciones del optimizador asociadas a una tabla.

Errores

• EntityNotFoundException

• AccessDeniedException

• InvalidInputException

• ValidationException

• InternalServiceException

• ThrottlingException

Solicitud

• CatalogId: Obligatorio: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El ID de catálogo de la tabla.

• DatabaseName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de la base de datos en el catálogo donde reside la tabla.

• TableName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de la tabla.

• Type – Obligatorio: cadena UTF-8 (valores válidos: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  El tipo de optimizador de tabla.

• TableOptimizerConfiguration: obligatorio: objeto TableOptimizerConfiguration.

  Un objeto TableOptimizerConfiguration que representa la configuración de un optimizador de tablas.

Respuesta

• Sin parámetros de respuesta.

Errores

• EntityNotFoundException

• ValidationException

• InvalidInputException

• AccessDeniedException

• AlreadyExistsException

• InternalServiceException

• ThrottlingException

Solicitud

• CatalogId: Obligatorio: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El ID de catálogo de la tabla.

• DatabaseName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de la base de datos en el catálogo donde reside la tabla.

• TableName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de la tabla.

• Type – Obligatorio: cadena UTF-8 (valores válidos: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  El tipo de optimizador de tabla.

Respuesta

• Sin parámetros de respuesta.

Errores

• EntityNotFoundException

• InvalidInputException

• AccessDeniedException

• InternalServiceException

• ThrottlingException

Solicitud

• CatalogId: Obligatorio: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El ID de catálogo de la tabla.

• DatabaseName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de la base de datos en el catálogo donde reside la tabla.

• TableName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de la tabla.

• Type – Obligatorio: cadena UTF-8 (valores válidos: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  El tipo de optimizador de tabla.

• TableOptimizerConfiguration: obligatorio: objeto TableOptimizerConfiguration.

  Un objeto TableOptimizerConfiguration que representa la configuración de un optimizador de tablas.

Respuesta

• Sin parámetros de respuesta.

Errores

• EntityNotFoundException

• InvalidInputException

• AccessDeniedException

• ValidationException

• InternalServiceException

• ThrottlingException

• ConcurrentModificationException