Conceitos da KCL

Essa seção explica os principais conceitos e interações da Kinesis Client Library (KCL). Esses conceitos são fundamentais para desenvolver e gerenciar aplicações consumidoras da KCL.

• Aplicação de consumo da KCL: uma aplicação personalizada projetada para ler e processar os registros dos fluxos de dados do Kinesis usando a Kinesis Client Library.

• Operador: as aplicações consumidoras da KCL são distribuídas de modo típico, com um ou mais operadores em execução simultânea. A KCL coordena os operadores para que consumam os dados do fluxo de forma distribuída e equilibra a carga uniformemente entre vários operadores.

• Agendador: uma classe de alto nível que um operador da KCL usa para começar a processar os dados. Cada operador da KCL tem um agendador. O agendador inicializa e supervisiona várias tarefas, incluindo a sincronização de informações de fragmentos dos fluxos de dados do Kinesis, o monitoramento de atribuições de fragmentos entre os operadores e o processamento dos dados do fluxo com base nos fragmentos atribuídos ao operador. O agendador pode usar várias configurações que afetam seu comportamento, como o nome do fluxo a ser processado e as credenciais da AWS . O agendador inicia a entrega dos registros de dados do fluxo para os processadores de registros.

• Processador de registros: define a lógica pela qual a aplicação de consumo da KCL processa os dados obtidos dos fluxos de dados. É necessário implementar sua lógica de processamento de dados personalizada no processador de registros. Um operador da KCL instancia um agendador. Em seguida, o agendador instancia um processador de registros para cada fragmento para o qual tenha concessão. Um operador pode executar vários processadores de registros.

• Concessão: define a atribuição entre um operador e um fragmento. As aplicações consumidoras da KCL usam concessões para distribuir o processamento de registros de dados por vários operadores. Cada fragmento está vinculado a apenas um operador por meio de uma concessão em um determinado momento e cada operador pode manter um ou mais concessões simultaneamente. Quando um operador deixa de manter uma concessão devido a interrupção ou falha, a KCL atribui outro operador para assumir a concessão. Para mais detalhes sobre a concessão, consulte Documentação do Github: ciclo de vida da concessão.

• Tabela de concessão: é uma tabela exclusiva do Amazon DynamoDB usada para rastrear todas as concessões da aplicação de consumo da KCL. Cada aplicação de consumo da KCL cria sua própria tabela de concessões. A tabela de concessões é usada para manter o estado de todos os operadores para coordenar o processamento de dados. Para obter mais informações, consulte Tabelas de metadados do DynamoDB e balanceamento de carga na KCL.

• Ponto de verificação: é o processo de armazenar persistentemente a posição do último registro processado com sucesso em um fragmento. A KCL gerencia o ponto de verificação para garantir que o processamento possa ser retomado a partir da última posição desse ponto se um operador falhar ou a aplicação for reiniciada. Os pontos de verificação são armazenados na tabela de concessão do DynamoDB como parte dos metadados da concessão. Isso permite que os operadores continuem o processamento a partir do ponto em que o operador anterior parou.