Anteriormente, o Amazon Managed Service for Apache Flink (Amazon MSF) era conhecido como Amazon Kinesis Data Analytics for Apache Flink.
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Amazon Managed Service for Apache Flink 1.19
O Managed Service for Apache Flink Studio agora é compatível com o Apache Flink versão 1.19.1. Esta seção apresenta os principais recursos e alterações introduzidos com o suporte do Apache Flink 1.19.1 ao Managed Service for Apache Flink.
nota
Se você estiver usando uma versão anterior compatível do Apache Flink e quiser atualizar seus aplicativos existentes para o Apache Flink 1.19.1, pode fazer isso usando atualizações de versão do Apache Flink in-place. Para obter mais informações, consulte Use atualizações de versão in-place para o Apache Flink. Com as atualizações de versão in-place, você mantém a rastreabilidade do aplicativo em relação a um único ARN nas versões do Apache Flink, incluindo snapshots, registros, métricas, tags, configurações do Flink e muito mais.
Recursos compatíveis
O Apache Flink 1.19.1 introduz melhorias na API SQL, como parâmetros nomeados, paralelismo de origem personalizado e estados diferentes para vários operadores do Flink. TTLs
| Recursos compatíveis | Description | Referência da documentação do Apache Flink |
|---|---|---|
| API SQL: Support a configuração de estados diferentes TTLs usando o SQL Hint | Agora, os usuários podem configurar o TTL de estado em junções regulares de fluxo e agregação de grupos. | FLIP-373: Configurando um estado diferente usando o SQL Hint TTLs |
| API do SQL: suporte a parâmetros nomeados para funções e procedimentos de chamada | Agora, os usuários podem usar parâmetros nomeados nas funções, em vez de confiar na ordem dos parâmetros. | FLIP-378: suporte a parâmetros nomeados para funções e procedimentos de chamada |
| API do SQL: definindo paralelismo para fontes SQL | Agora, os usuários podem especificar o paralelismo para as fontes SQL. | FLIP-367: Support Setting Parallelism for Sources Table/SQL |
| API do SQL: suporte à janela de sessão TVF | Agora, os usuários podem usar as funções com valor de tabela na janela de sessão. | FLINK-24024: suporte à janela de sessão TVF |
| API do SQL: a agregação TVF de janela suporta entradas de changelog | Agora, os usuários podem realizar a agregação de janelas nas entradas de changelog. | FLINK-20281: a agregação de janelas suporta entrada de fluxo de changelog |
|
Suporte ao Python 3.11 |
O Flink agora suporta o Python 3.11, que é 10 a 60% mais rápido comparado ao Python 3.10. Para saber mais, consulte Novidades no Python 3.11 |
FLINK-33030: adicionar suporte ao Python 3.11 |
| Forneça métricas para o TwoPhaseCommitting coletor | Os usuários podem visualizar estatísticas sobre o status dos confirmadores em coletores de confirmação em duas fases. | FLIP-371: Forneça contexto de inicialização para a criação do Committer em TwoPhaseCommittingSink |
|
Rastreie relatores para reinício e pontos de verificação do trabalho |
Agora, os usuários podem monitorar os rastreamentos da duração do ponto de verificação e das tendências de recuperação. No Amazon Managed Service para Apache Flink, habilitamos os relatores de rastreamento SLF4j por padrão, para que os usuários possam monitorar pontos de verificação e rastreamentos de trabalhos por meio de registros de aplicativos. CloudWatch | FLIP-384: Apresente TraceReporter e use-o para criar rastreamentos de verificação e recuperação |
nota
Você pode optar pelos seguintes recursos enviando um caso de suporte
| Funcionalidades de adesão | Description | Referência da documentação do Apache Flink |
|---|---|---|
| Suporte usando um intervalo maior de ponto de verificação quando a fonte está processando a lista de pendências | Esse recurso é opcional, pois os usuários devem ajustar a configuração de acordo com seus requisitos específicos de trabalho. | FLIP-309: suporte usando um intervalo maior de ponto de verificação quando a fonte está processando a lista de pendências |
| Redirecione System.out e System.err para logs do Java | Esse atributo é opcional. No Amazon Managed Service for Apache Flink, o comportamento padrão é ignorar a saída de System.out e System.err porque a melhor prática na produção é usar o agente de log nativo do Java. | FLIP-390: suporte à saída e erro do sistema a ser redirecionado para o LOG ou descartado |
Para obter a documentação da versão 1.19.1 do Apache Flink, consulte Documentação do Apache Flink v1.19.1
Alterações no Amazon Managed Service for Apache Flink 1.19.1
Logging Trace Reporter ativado por padrão
O Apache Flink 1.19.1 introduziu rastreamentos de pontos de verificação e de recuperação, permitindo que os usuários depurem melhor os problemas de pontos de verificação e recuperação de tarefas. No Amazon Managed Service para Apache Flink, esses rastreamentos são registrados no fluxo de CloudWatch log, permitindo que os usuários detalhem o tempo gasto na inicialização do trabalho e registrem o tamanho histórico dos pontos de verificação.
Agora, a estratégia de reinicialização padrão é atraso exponencial
No Apache Flink 1.19.1, há melhorias significativas na estratégia de reinicialização com um atraso exponencial. No Amazon Managed Service for Apache Flink a partir do Flink 1.19.1, as tarefas do Flink usam a estratégia de reinicialização com atraso exponencial por padrão. Isso significa que as tarefas do usuário se recuperarão mais rapidamente de erros transitórios, sem sobrecarregar os sistemas externos se as reinicializações das tarefas persistirem.
Correções de bugs retroportadas
O Amazon Managed Service for Apache Flink é responsável pelas correções da comunidade do Flink para problemas críticos. Isso significa que o runtime é diferente da versão 1.19.1 do Apache Flink. A seguir está uma lista de correções de bugs em que aplicamos backport:
| Link para o Apache Flink JIRA | Description |
|---|---|
| FLINK-35531 |
Essa correção aborda a regressão de desempenho introduzida na versão 1.17.0 que causa gravações mais lentas no HDFS. |
| FLINK-35157 |
Essa correção soluciona o problema de tarefas travadas do Flink quando fontes com alinhamento de marca d'água encontram subtarefas concluídas. |
| FLINK-34252 |
Essa correção soluciona o problema na geração da marca d'água que resulta em um estado incorreto da marca d'água IDLE. |
| FLINK-34252 |
Essa correção aborda a regressão de desempenho durante a geração da marca d'água, o que reduz as chamadas do sistema. |
| FLINK-33936 |
Essa correção soluciona o problema com registros duplicados durante a agregação de minilotes na API Table. |
| FLINK-35498 |
Essa correção soluciona o problema com conflitos de nomes de argumentos ao definir parâmetros nomeados na API de tabela UDFs. |
| FLINK-33192 |
Essa correção soluciona o problema de um vazamento de memória de estado nos operadores da janela devido à limpeza incorreta do cronômetro. |
| FLINK-35069 |
Essa correção soluciona o problema quando uma tarefa do Flink trava e aciona um cronômetro no final de uma janela. |
| FLINK-35832 |
Essa correção soluciona o problema quando IFNULL retorna resultados incorretos. |
| FLINK-35886 |
Essa correção soluciona o problema quando tarefas com contrapressão são consideradas inativas. |
Componentes
| Componente | Versão |
|---|---|
| Java | 11 (recomendado) |
| Python |
3.11 |
| Kinesis Data Analytics Flink Runtime () aws-kinesisanalytics-runtime | 1.2.0 |
| Conectores | Para obter informações sobre os conectores disponíveis, consulte Conectores do Apache Flink. |
| Apache Beam (somente aplicativos Beam) |
A partir da versão 2.61.0. Para obter mais informações, consulte Compatibilidade de versões do Flink |
Problemas conhecidos
Amazon Managed Service para Apache Flink Studio
O Studio utiliza notebooks do Apache Zeppelin para fornecer uma experiência de desenvolvimento de interface única para desenvolvimento, depuração de código e execução de aplicativos de processamento de fluxo do Apache Flink. É necessário atualizar o Flink Interpreter do Zeppelin para permitir o suporte ao Flink 1.19. Este trabalho está agendado com a comunidade do Zeppelin e atualizaremos essas notas quando for concluído. É possível continuar usando o Flink 1.15 com o Amazon Managed Service for Apache Flink Studio. Para obter mais informações, consulte Criação de um notebook do Studio.
