Serviço gerenciado da Amazon para Apache Flink 2.2

O MSF Flink 2.2 agora relata uma exceção quando os clientes tentam modificar configurações não suportadas pelo MSF por meio env.getConfig().set() de APIs ou similares. Consulte Propriedades de configuração programática do Flink.

Os clientes ainda podem solicitar a alteração de determinadas configurações por meio de tickets de suporte (consulte Configurações modificáveis)

A fullRestarts métrica foi removida no Flink 2.2. Em vez disso, use a numRestarts métrica.

A bytesRequestedPerFetch métrica do conector KDS foi removida no conector Flink versão 6.0.0 (somente a versão do AWS conector compatível com o Flink 2.2).

As downtime métricas uptime e estão marcadas como obsoletas no Flink 2.2 e serão removidas em breve. uptimeSubstitua pela nova métricarunningTime. downtimeSubstitua por um ou mais de restartingTimecancellingTime, failingTime e.

Consulte a página Métricas e Dimensões para ver a lista completa das métricas suportadas.

Esses endpoints permitidos são usados pelos AWS SDKs DefaultCredentialsProvider (/latest/meta-data/iam/security-credentials/) e DefaultAwsRegionProviderChain (/latest/dynamic/instance-identity/document) para configurar automaticamente as credenciais e a região do seu aplicativo.

Os aplicativos que usam funções do AWS SDK que dependem de chamadas IMDS não credenciais (comoEC2MetadataUtils.getInstanceId(), EC2MetadataUtils.getInstanceType()EC2MetadataUtils.getLocalHostName(), ouEC2MetadataUtils.getAvailabilityZone()) receberão erros HTTP 4xx ao tentarem essas chamadas.

Se seu aplicativo usa IMDS, por exemplo, metadados ou outras informações fora dos caminhos permitidos, refatore seu código para usar variáveis de ambiente ou configuração do aplicativo.

Para melhorar a segurança, qualquer dependência fora da /tmp qual seja o diretório de trabalho padrão do flink resultará em:. java.io.FileNotFoundException: /{path}/{filename} (Read-only file system)

As dependências do sistema de arquivos podem se originar diretamente do seu código ou indiretamente das bibliotecas incluídas nas suas dependências. Substitua as dependências diretas do sistema de arquivos em seu código. /tmp/ Para dependências indiretas do sistema de arquivos de bibliotecas, use substituições de configuração de bibliotecas para redirecionar as operações do sistema de arquivos para o. /tmp/

A DataSet API antiga para processamento em lote foi completamente removida no Flink 2.0+. Agora, todo o processamento em lote deve usar a DataStream API unificada.

Os aplicativos que usam a DataSet API devem ser migrados para a DataStream API antes da atualização. Consulte o guia de migração do Apache Flink para conversão DataSet DataStream

O suporte ao Java 11 foi completamente removido; o Java 17 é o tempo de execução padrão e recomendado.

O suporte ao Python 3.8 foi removido; o Python 3.12 agora é o padrão.

O legado SourceFunction e as SinkFunction interfaces foram substituídos pelas novas APIs unificadas Source (FLIP-27) e Sink (FLIP-143), que fornecem melhor suporte à bounded/unbounded dualidade, melhor coordenação de pontos de verificação e um modelo de programação mais limpo.

Para Kinesis Data Streams, use KinesisStreamsSource e KinesisStreamsSink de. flink-connector-aws-kinesis-streams:6.0.0-2.0

A API Flink Scala foi removida. A API Java do Flink agora é a única API suportada para JVM-based aplicativos.

Se seu aplicativo for escrito em Scala, você ainda poderá usar a API Java do Flink a partir do código Scala — a principal mudança é que os Scala-specific wrappers e as conversões implícitas não estão mais disponíveis. Consulte Atualizando aplicativos e versões do Flink para obter detalhes sobre como atualizar seus aplicativos Scala.

O serializador Kryo atualizado da versão 2.24 para 5.6 pode causar problemas de compatibilidade de estado.

POJOs com coleções (HashMap,ArrayList,HashSet) podem ter problemas de compatibilidade de estado.

A serialização do Avro e do Protobuf não foi afetada.

Consulte Guia de compatibilidade estadual para atualizações do Flink 2.2 para obter uma avaliação detalhada para fazer a triagem do nível de risco do seu aplicativo.

Se seu aplicativo depende de um conector que ainda não tenha uma versão Flink 2.x, você tem duas opções: esperar que o conector lance uma versão compatível ou avaliar se você pode substituí-lo por uma alternativa (por exemplo, usando o catálogo JDBC ou um coletor personalizado).

Ao atualizar as versões do conector, preste atenção às mudanças no nome do artefato — alguns conectores foram renomeados entre as versões principais (por exemplo, o conector Firehose mudou de flink-connector-aws-kinesis-firehose para flink-connector-aws-firehose em algumas versões intermediárias).

Sempre verifique a documentação do conector Amazon Managed Service para Apache Flink para ver os nomes e versões exatos dos artefatos suportados em seu tempo de execução de destino.

Tabelas materializadas: instantâneos de tabelas que podem ser consultados e mantidos continuamente.

Alterações de telemetria personalizadas: relatórios métricos personalizados e configurações de telemetria.

ForSt Backend estadual: armazenamento de estado desagregado (experimental em código aberto).

Java 21: suporte experimental em código aberto, não suportado no Managed Service for Apache Flink.

Os aplicativos que usam o caminho KinesisStreamsSource with EFO (Enhanced Fan-Out / SubscribeToShard) introduzido nos conectores v5.0.0 e v6.0.0 podem falhar quando os streams do Kinesis são refragmentados. Esse é um problema conhecido na comunidade. Para obter mais informações, consulte FLINK-37648.

Os aplicativos que usam o caminho KinesisStreamsSource with EFO (Enhanced Fan-Out / SubscribeToShard) introduzido nos conectores v5.0.0 e v6.0.0 junto com KinesisStreamsSink podem enfrentar bloqueios se o aplicativo Flink estiver sob contrapressão, resultando na interrupção completa do processamento de dados em um ou mais. TaskManagers Uma operação de parada forçada e uma operação de início do aplicativo são necessárias para recuperar o aplicativo. Esse é um subcaso do problema conhecido na comunidade. Para obter mais informações, consulte FLINK-34071.

Novo no Flink 2.2? Para obter a documentação detalhada do Apache Flink 2.2, consulte a documentação do Apache Flink 2.2.

Planejando um upgrade? Consulte Atualizando para o Flink 2.2: guia completo

Preocupações de compatibilidade estadual? Consulte Guia de compatibilidade estadual para atualizações do Flink 2.2