Amazon Managed Service para Apache Flink Amazon (Amazon MSF) se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.

Propiedades de configuración de Flink modificables

A continuación se muestran los ajustes de configuración de Flink que se pueden modificar mediante un caso de soporte. Puede modificar más de una propiedad a la vez y para varias aplicaciones al mismo tiempo especificando el prefijo de la aplicación. Si hay otras propiedades de configuración de Flink fuera de esta lista que desee modificar, especifique la propiedad exacta en su caso.

Estrategia de reinicio

A partir de la versión 1.19 de Flink y versiones posteriores, utilizamos la estrategia de reinicio por defecto exponential-delay. Todas las versiones anteriores utilizan la estrategia de reinicio fixed-delay de forma predeterminada.

restart-strategy:

restart-strategy.fixed-delay.delay:

restart-strategy.exponential-delay.backoff-muliplier:

restart-strategy.exponential-delay.initial-backoff:

restart-strategy.exponential-delay.jitter-factor:

restart-strategy.exponential-delay.reset-backoff-threshold:

Puntos de control y backends de estado

state.backend:

state.backend.fs.memory-threshold:

state.backend.incremental:

Creación de puntos de control

execution.checkpointing.unaligned:

execution.checkpointing.interval-during-backlog:

Métricas nativas de RocksDB

Las métricas nativas de RockSDB no se envían a CloudWatch. Una vez habilitadas, se puede acceder a estas métricas desde el panel de control de Flink o desde la API de REST de Flink con herramientas personalizadas.

Managed Service para Apache Flink permite a los clientes acceder a la última API de REST de Flink (o a la versión compatible que esté utilizando) en modo de solo lectura mediante la API CreateApplicationPresignedURL. Esta API se utiliza en el propio panel de Flink, pero también se puede utilizar en herramientas de monitoreo personalizadas.

state.backend.rocksdb.metrics.actual-delayed-write-rate:

state.backend.rocksdb.metrics.background-errors:

state.backend.rocksdb.metrics.block-cache-capacity:

state.backend.rocksdb.metrics.block-cache-pinned-usage:

state.backend.rocksdb.metrics.block-cache-usage:

state.backend.rocksdb.metrics.column-family-as-variable:

state.backend.rocksdb.metrics.compaction-pending:

state.backend.rocksdb.metrics.cur-size-active-mem-table:

state.backend.rocksdb.metrics.cur-size-all-mem-tables:

state.backend.rocksdb.metrics.estimate-live-data-size:

state.backend.rocksdb.metrics.estimate-num-keys:

state.backend.rocksdb.metrics.estimate-pending-compaction-bytes:

state.backend.rocksdb.metrics.estimate-table-readers-mem:

state.backend.rocksdb.metrics.is-write-stopped:

state.backend.rocksdb.metrics.mem-table-flush-pending:

state.backend.rocksdb.metrics.num-deletes-active-mem-table:

state.backend.rocksdb.metrics.num-deletes-imm-mem-tables:

state.backend.rocksdb.metrics.num-entries-active-mem-table:

state.backend.rocksdb.metrics.num-entries-imm-mem-tables:

state.backend.rocksdb.metrics.num-immutable-mem-table:

state.backend.rocksdb.metrics.num-live-versions:

state.backend.rocksdb.metrics.num-running-compactions:

state.backend.rocksdb.metrics.num-running-flushes:

state.backend.rocksdb.metrics.num-snapshots:

state.backend.rocksdb.metrics.size-all-mem-tables:

Opciones de RocksDB

state.backend.rocksdb.compaction.style:

state.backend.rocksdb.memory.partitioned-index-filters:

state.backend.rocksdb.thread.num:

Opciones avanzadas de backends de estado

state.storage.fs.memory-threshold:

Opciones completas de TaskManager

task.cancellation.timeout:

taskmanager.jvm-exit-on-oom:

taskmanager.numberOfTaskSlots:

taskmanager.slot.timeout:

taskmanager.network.memory.fraction:

taskmanager.network.memory.max:

taskmanager.network.request-backoff.initial:

taskmanager.network.request-backoff.max:

taskmanager.network.memory.buffer-debloat.enabled:

taskmanager.network.memory.buffer-debloat.period:

taskmanager.network.memory.buffer-debloat.samples:

taskmanager.network.memory.buffer-debloat.threshold-percentages:

Configuración de memoria

taskmanager.memory.jvm-metaspace.size:

taskmanager.memory.jvm-overhead.fraction:

taskmanager.memory.jvm-overhead.max:

taskmanager.memory.managed.consumer-weights:

taskmanager.memory.managed.fraction:

taskmanager.memory.network.fraction:

taskmanager.memory.network.max:

taskmanager.memory.segment-size:

taskmanager.memory.task.off-heap.size:

RPC/Akka

akka.ask.timeout:

akka.client.timeout:

akka.framesize:

akka.lookup.timeout:

akka.tcp.timeout:

Cliente

client.timeout:

Opciones avanzadas de clústeres

cluster.intercept-user-system-exit:

cluster.processes.halt-on-fatal-error:

Configuraciones del sistema de archivos

fs.s3.connection.maximum:

fs.s3a.connection.maximum:

fs.s3a.threads.max:

s3.upload.max.concurrent.uploads:

Opciones avanzadas de tolerancia a errores

heartbeat.timeout:

jobmanager.execution.failover-strategy:

Configuración de memoria

jobmanager.memory.heap.size:

Métricas

metrics.latency.interval:

Opciones avanzadas para el cliente y el punto de conexión REST

rest.flamegraph.enabled:

rest.server.numThreads:

Opciones de seguridad SSL avanzadas

security.ssl.internal.handshake-timeout:

Opciones avanzadas de programación

slot.request.timeout:

Opciones avanzadas para la interfaz de usuario web de Flink

web.timeout: