As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Usar um tópico personalizado de deslocamento de armazenamento
Para fornecer continuidade de deslocamento entre conectores de origem, você pode usar um tópico de deslocamento de armazenamento de sua escolha em vez do tópico padrão. Especificar um tópico de deslocamento de armazenamento ajuda você a realizar tarefas como criar um conector de origem que retoma a leitura desde o último deslocamento de um conector anterior.
Para especificar um tópico de deslocamento de armazenamento, você fornece um valor para a propriedade offset.storage.topic em sua configuração de operador antes de criar um conector. Se quiser reutilizar o tópico de deslocamento de armazenamento para consumir deslocamentos de um conector criado anteriormente, você deverá dar ao novo conector o mesmo nome do conector antigo. Se você criar um tópico personalizado de deslocamento de armazenamento, deverá definir cleanup.policycompact na configuração do tópico.
nota
Se você especificar um tópico de deslocamento de armazenamento ao criar um conector de coletor, o MSK Connect criará o tópico se ele ainda não existir. No entanto, o tópico não será usado para armazenar deslocamentos de conectores.
Em vez disso, os deslocamentos do conector do coletor serão gerenciados usando o protocolo de grupo de consumidores Kafka. Cada conector de coletor cria um grupo chamado connect-{CONNECTOR_NAME}. Enquanto o grupo de consumidores existir, todos os conectores de coletor sucessivos que você criar com o mesmo valor CONNECTOR_NAME continuarão a partir do último deslocamento confirmado.
exemplo Especificar um tópico de deslocamento de armazenamento para recriar um conector de origem com uma configuração atualizada
Suponha que você tenha um conector de Change Data Capture (CDC – Captura de dados de alteração) e queira modificar a configuração do conector sem perder seu lugar no fluxo do CDC. Não é possível atualizar a configuração do conector existente, mas você pode excluir o conector e criar um novo com o mesmo nome. Para informar ao novo conector por onde começar a leitura no fluxo do CDC, você pode especificar o tópico de deslocamento de armazenamento do conector antigo em sua configuração de operador. As etapas a seguir demonstram como concluir essa tarefa.
-
Em sua máquina cliente, execute o comando a seguir para encontrar o nome do tópico de deslocamento de armazenamento do seu conector. Substitua
<bootstrapBrokerString><path-to-your-kafka-installation>/bin/kafka-topics.sh --list --bootstrap-server<bootstrapBrokerString>A saída a seguir mostra uma lista de todos os tópicos do cluster, incluindo qualquer tópico de conector interno padrão. Neste exemplo, o conector CDC existente usa o tópico padrão de deslocamento de armazenamento criado pelo MSK Connect. É por isso que o tópico de deslocamento de armazenamento é chamado de
__amazon_msk_connect_offsets_my-mskc-connector_12345678-09e7-4abc-8be8-c657f7e4ff32-2.__consumer_offsets __amazon_msk_canary __amazon_msk_connect_configs_my-mskc-connector_12345678-09e7-4abc-8be8-c657f7e4ff32-2 __amazon_msk_connect_offsets_my-mskc-connector_12345678-09e7-4abc-8be8-c657f7e4ff32-2 __amazon_msk_connect_status_my-mskc-connector_12345678-09e7-4abc-8be8-c657f7e4ff32-2 my-msk-topic-1 my-msk-topic-2 -
Abra o console do Amazon MSK em https://console.aws.amazon.com/msk/
. -
Escolha seu conector na lista Conectores. Copie e salve o conteúdo do campo Configuração do conector para que você possa modificá-lo e usá-lo na criação do novo conector.
-
Selecione Excluir para excluir o conector. Em seguida, insira o nome do conector no campo de entrada de texto para confirmar a exclusão.
-
Crie uma configuração personalizada de operador com valores adequados ao seu cenário. Para instruções, consulte Criar uma configuração personalizada de operador.
Em sua configuração de operador, você deve especificar o nome do tópico de deslocamento de armazenamento que você recuperou anteriormente como o valor de
offset.storage.topic, assim como na configuração a seguir.config.providers.secretManager.param.aws.region=eu-west-3 key.converter=<org.apache.kafka.connect.storage.StringConverter> value.converter=<org.apache.kafka.connect.storage.StringConverter> config.providers.secretManager.class=com.github.jcustenborder.kafka.config.aws.SecretsManagerConfigProvider config.providers=secretManager offset.storage.topic=__amazon_msk_connect_offsets_my-mskc-connector_12345678-09e7-4abc-8be8-c657f7e4ff32-2 -
Importante
Você deve dar ao seu novo conector o mesmo nome do conector antigo.
Crie um novo conector usando a configuração de operador que você definiu na etapa anterior. Para instruções, consulte Criar um conector.
