Use conectores e dependências - Managed Service for Apache Flink
Conectores padrãoAdicione dependências e conectores personalizados

O Amazon Managed Service para Apache Flink (Amazon MSF) era conhecido anteriormente como Amazon Kinesis Data Analytics for Apache Flink.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Use conectores e dependências

Os conectores permitem que você leia e grave dados em várias tecnologias. O Managed Service for Apache Flink agrupa três conectores padrão com seu notebook Studio. Também é possível usar conectores personalizados. Para obter mais informações sobre coletores de tabelas, consulte Tabela e conectores SQL na Documentação do Apache Flink.

Conectores padrão

Se você usar o AWS Management Console para criar seu notebook Studio, o Managed Service for Apache Flink inclui os seguintes conectores personalizados por padrão:flink-sql-connector-kinesis, e. flink-connector-kafka_2.12 aws-msk-iam-auth Para criar um notebook Studio por meio do console sem esses conectores personalizados, escolha a opção Criar com configurações personalizadas. Em seguida, ao acessar a página Configurações, desmarque as caixas de seleção ao lado dos dois conectores.

Se você usa a CreateApplicationAPI para criar seu notebook Studio, os flink-connector-kafka conectores flink-sql-connector-flink e não são incluídos por padrão. Para adicioná-los, especifique-os como a MavenReference no tipo de dados CustomArtifactsConfiguration, conforme mostrado nos exemplos a seguir.

O conector aws-msk-iam-auth é o conector a ser usado com o Amazon MSK, que inclui o recurso de autenticação automática com o IAM.

nota

As versões do conector mostradas no exemplo a seguir são as únicas para as quais oferecemos suporte.

For the Kinesis connector:

"CustomArtifactsConfiguration": [{
"ArtifactType": "DEPENDENCY_JAR",            
   "MavenReference": {
"GroupId": "org.apache.flink",

      "ArtifactId": "flink-sql-connector-kinesis",
      "Version": "1.15.4"

   }      
}]

For authenticating with AWS MSK through AWS IAM:

"CustomArtifactsConfiguration": [{
"ArtifactType": "DEPENDENCY_JAR",            
   "MavenReference": {
"GroupId": "software.amazon.msk",
      "ArtifactId": "aws-msk-iam-auth",
      "Version": "1.1.6"
   }      
}]
            
For the Apache Kafka connector:  

"CustomArtifactsConfiguration": [{
"ArtifactType": "DEPENDENCY_JAR",            
   "MavenReference": {
"GroupId": "org.apache.flink",

      "ArtifactId": "flink-connector-kafka",
      "Version": "1.15.4"

   }      
}]

Para adicionar esses conectores a um notebook existente, use a operação da UpdateApplicationAPI e especifique-os como a MavenReference no tipo de CustomArtifactsConfigurationUpdate dados.

nota

Você pode definir como verdadeiro failOnError para o flink-sql-connector-kinesis conector na API da tabela.

Adicione dependências e conectores personalizados

Para usar o AWS Management Console para adicionar uma dependência ou um conector personalizado ao seu notebook Studio, siga estas etapas:

  1. Carregue seu arquivo do conector personalizado no Amazon S3.

  2. No AWS Management Console, escolha a opção de criação personalizada para criar seu notebook Studio.

  3. Siga o fluxo de trabalho de criação do notebook Studio até chegar à etapa Configurações.

  4. Na seção Conectores personalizados, selecione Adicionar conector personalizado.

  5. Especifique a localização da dependência ou conector personalizado no Amazon S3.

  6. Escolha Salvar alterações.

Para adicionar um JAR de dependência ou um conector personalizado ao criar um novo notebook Studio usando a CreateApplicationAPI, especifique a localização do JAR de dependência no Amazon S3 ou o conector personalizado no CustomArtifactsConfiguration tipo de dados. Para adicionar uma dependência ou um conector personalizado a um notebook Studio existente, invoque a operação de UpdateApplicationAPI e especifique a localização do JAR da dependência no Amazon S3 ou o conector personalizado no tipo de dados. CustomArtifactsConfigurationUpdate

nota

Ao incluir uma dependência ou um conector personalizado, você também deve incluir todas as dependências transitivas que não estão agrupadas nela.