Anteriormente, o Amazon Managed Service for Apache Flink (Amazon MSF) era conhecido como Amazon Kinesis Data Analytics for Apache Flink.

Propriedades de configuração modificáveis do Flink

A seguir estão as configurações do Flink que você pode modificar usando um caso de suporte. Você pode modificar mais de uma propriedade por vez e para vários aplicativos ao mesmo tempo especificando o prefixo do aplicativo. Se houver outras propriedades de configuração do Flink fora dessa lista que você queira modificar, especifique a propriedade exata no seu caso.

Estratégia de reinicialização

A partir do Flink 1.19 e versões posteriores, usamos a estratégia de reinicialização exponential-delay por padrão. Todas as versões anteriores usam a estratégia de reinicialização fixed-delay por padrão.

restart-strategy:

restart-strategy.fixed-delay.delay:

restart-strategy.exponential-delay.backoff-muliplier:

restart-strategy.exponential-delay.initial-backoff:

restart-strategy.exponential-delay.jitter-factor:

restart-strategy.exponential-delay.reset-backoff-threshold:

Pontos de verificação e estados de backend

state.backend:

state.backend.fs.memory-threshold:

state.backend.incremental:

Pontos de verificação

execution.checkpointing.unaligned:

execution.checkpointing.interval-during-backlog:

Métricas nativas do RocksDB

As métricas nativas do RocksDB não são enviadas para CloudWatch. Depois de ativadas, essas métricas podem ser acessadas no painel do Flink ou na API REST do Flink com ferramentas personalizadas.

O Managed Service for Apache Flink permite que os clientes acessem a API REST mais recente do Flink (ou a versão compatível que você está usando) no modo de somente leitura usando a API CreateApplicationPreSignedURL. Essa API é usada pelo próprio painel do Flink, mas também pode ser usada por ferramentas de monitoramento personalizadas.

state.backend.rocksdb.metrics.actual-delayed-write-rate:

state.backend.rocksdb.metrics.background-errors:

state.backend.rocksdb.metrics.block-cache-capacity:

state.backend.rocksdb.metrics.block-cache-pinned-usage:

state.backend.rocksdb.metrics.block-cache-usage:

state.backend.rocksdb.metrics.column-family-as-variable:

state.backend.rocksdb.metrics.compaction-pending:

state.backend.rocksdb.metrics.cur-size-active-mem-table:

state.backend.rocksdb.metrics.cur-size-all-mem-tables:

state.backend.rocksdb.metrics.estimate-live-data-size:

state.backend.rocksdb.metrics.estimate-num-keys:

state.backend.rocksdb.metrics.estimate-pending-compaction-bytes:

state.backend.rocksdb.metrics.estimate-table-readers-mem:

state.backend.rocksdb.metrics.is-write-stopped:

state.backend.rocksdb.metrics.mem-table-flush-pending:

state.backend.rocksdb.metrics.num-deletes-active-mem-table:

state.backend.rocksdb.metrics.num-deletes-imm-mem-tables:

state.backend.rocksdb.metrics.num-entries-active-mem-table:

state.backend.rocksdb.metrics.num-entries-imm-mem-tables:

state.backend.rocksdb.metrics.num-immutable-mem-table:

state.backend.rocksdb.metrics.num-live-versions:

state.backend.rocksdb.metrics.num-running-compactions:

state.backend.rocksdb.metrics.num-running-flushes:

state.backend.rocksdb.metrics.num-snapshots:

state.backend.rocksdb.metrics.size-all-mem-tables:

Opções do RocksDB

state.backend.rocksdb.compaction.style:

state.backend.rocksdb.memory.partitioned-index-filters:

state.backend.rocksdb.thread.num:

Opções avançadas de estados de backends

state.storage.fs.memory-threshold:

Opções completas do TaskManager

task.cancellation.timeout:

taskmanager.jvm-exit-on-oom:

taskmanager.numberOfTaskSlots:

taskmanager.slot.timeout:

taskmanager.network.memory.fraction:

taskmanager.network.memory.max:

taskmanager.network.request-backoff.initial:

taskmanager.network.request-backoff.max:

taskmanager.network.memory.buffer-debloat.enabled:

taskmanager.network.memory.buffer-debloat.period:

taskmanager.network.memory.buffer-debloat.samples:

taskmanager.network.memory.buffer-debloat.threshold-percentages:

Configuração de memória

taskmanager.memory.jvm-metaspace.size:

taskmanager.memory.jvm-overhead.fraction:

taskmanager.memory.jvm-overhead.max:

taskmanager.memory.managed.consumer-weights:

taskmanager.memory.managed.fraction:

taskmanager.memory.network.fraction:

taskmanager.memory.network.max:

taskmanager.memory.segment-size:

taskmanager.memory.task.off-heap.size:

RPC/Akka

akka.ask.timeout:

akka.client.timeout:

akka.framesize:

akka.lookup.timeout:

akka.tcp.timeout:

Cliente

client.timeout:

Opções avançadas de cluster

cluster.intercept-user-system-exit:

cluster.processes.halt-on-fatal-error:

Configurações do Filesystem

fs.s3.connection.maximum:

fs.s3a.connection.maximum:

fs.s3a.threads.max:

s3.upload.max.concurrent.uploads:

Opções avançadas de tolerância a falhas

heartbeat.timeout:

jobmanager.execution.failover-strategy:

Configuração de memória

jobmanager.memory.heap.size:

Métricas

metrics.latency.interval:

Opções avançadas para o endpoint REST e cliente

rest.flamegraph.enabled:

rest.server.numThreads:

Opções avançadas de segurança SSL

security.ssl.internal.handshake-timeout:

Opções avançadas de programação

slot.request.timeout:

Opções avançadas para interface do usuário da web do Flink

web.timeout: