Usar um modelo AWS CloudFormation para iniciar a replicação do Neptune para o OpenSearch - Amazon Neptune

Usar um modelo AWS CloudFormation para iniciar a replicação do Neptune para o OpenSearch

Iniciar uma pilha CloudFormation específica da região

Cada um dos modelos CloudFormation abaixo cria uma instância de aplicação de consumidor de fluxos em uma região específica da AWS. Para iniciar a pilha correspondente usando o console CloudFormation, selecione um dos botões Iniciar pilha na tabela a seguir, de acordo com a região da AWS que deseja usar.

Região Visualização Visualizar no Designer Iniciar
Leste dos EUA (Norte da Virgínia) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Leste dos EUA (Ohio) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Oeste dos EUA (Norte da Califórnia) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Oeste dos EUA (Oregon) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Canadá (Central) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
América do Sul (São Paulo) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Europa (Estocolmo) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Europa (Irlanda) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Europa (Londres) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Europa (Paris) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Europa (Espanha) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Europa (Frankfurt) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Oriente Médio (Bahrein) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Oriente Médio (Emirados Árabes Unidos) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Israel (Tel Aviv) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
África (Cidade do Cabo) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Ásia-Pacífico (Hong Kong) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Ásia-Pacífico (Tóquio) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Ásia-Pacífico (Seul) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Ásia-Pacífico (Singapura) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Ásia-Pacífico (Jacarta) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Ásia-Pacífico (Mumbai) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
China (Pequim) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
China (Ningxia) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
AWS GovCloud (Oeste dos EUA) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
AWS GovCloud (Leste dos EUA) Visualização Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.

Na página Create Stack (Criar pilha), selecione Next (Avançar).

Adicionar detalhes sobre a nova pilha do OpenSearch que você está criando

A página Especificar detalhes da pilha fornece propriedades e parâmetros que você pode usar para controlar a configuração da pesquisa de texto completo.

Nome da pilha: o nome da pilha do CloudFormation que você está criando. Geralmente, você pode usar o valor padrão, NeptuneStreamPoller.

Em Parameters (Parâmetros), forneça o seguinte:

Configuração de rede para a VPC na qual o consumidor de fluxos é executado
  • VPC –  forneça o nome da VPC na qual a função do Lambda de sondagem será executada.

  • List of Subnet IDs –  as sub-redes para as quais será estabelecida uma interface de rede. Adicione sub-redes correspondentes ao cluster do Neptune.

  • List of Security Group Ids –  forneça os IDs dos grupos de segurança que concedem o acesso de entrada de gravação ao cluster de banco de dados de origem do Neptune.

  • List of Route Table Ids –  isso é necessário para criar um endpoint do Amazon DynamoDB na VPC do Neptune, caso ainda não tenha um. Forneça uma lista separada por vírgulas de IDs de tabela de rotas associados às sub-redes.

  • Require to create Dynamo DB VPC Endpoint –  um valor booliano predefinido como true. Você só precisará alterá-lo para false se já tiver criado um endpoint do DynamoDB na VPC.

  • Require to create Monitoring VPC Endpoint –  um valor booliano predefinido como true. Você só precisará alterá-lo para false se já tiver criado um endpoint de monitoramento na VPC.

Instrumento de sondagem de fluxos
  • Application Name –  geralmente, você pode manter a configuração padrão (NeptuneStream). Se você usar um nome diferente, ele deverá ser exclusivo.

  • Memory size for Lambda Poller –  usado para definir o tamanho da memória disponível para a função do instrumento de sondagem do Lambda. O valor padrão é de 2.048 megabytes.

  • Lambda Runtime –  a linguagem usada na função do Lambda que recupera os itens do fluxo do Neptune. É possível definir como python3.9 ou java8.

  • S3 Bucket having Lambda code artifacts –  deixe em branco, a menos que esteja usando uma função de sondagem personalizada do Lambda, carregada em um bucket do S3 diferente.

  • S3 Key corresponding to Lambda Code artifacts –  deixe em branco, a menos que esteja usando uma função de sondagem personalizada do Lambda.

  • StartingCheckpoint –  o ponto de verificação inicial do instrumento de sondagem de fluxos. O padrão é 0:0, o que significa começar do início do fluxo do Neptune.

  • StreamPollerInitialState –  o estado inicial do instrumento de sondagem. O padrão é ENABLED, o que significa que a replicação de fluxos começará assim que a criação de toda a pilha for concluída.

  • Logging level for Lambda –  em geral, mantenha o valor padrão, INFO.

  • Managed Policies for Lambda Execution –  em geral, deixe em branco, a menos que esteja usando uma função de sondagem personalizada do Lambda.

  • Stream Records Handler –  em geral, deixe em branco, a menos que esteja usando um manipulador personalizado para os registros nos fluxos do Neptune.

  • Maximum records Fetched from Stream –  é possível usar esse parâmetro para ajustar o desempenho. Recomendamos iniciar com o valor padrão (100). O máximo permitido é 10.000. Quanto maior o número, menor serão as chamadas de rede necessárias para ler os registros do fluxo, mas maior será a memória necessária para processar os registros.

  • Max wait time between two Polls (in Seconds) –  determina com que frequência o instrumento de sondagem do Lambda será invocado para sondar os fluxos do Neptune. Defina esse valor como 0 para a sondagem contínua. O valor máximo é de 3.600 segundos (1 hora). Recomendamos o valor padrão (60 segundos) para começar, dependendo da rapidez com que os dados do gráfico mudam.

  • Maximum Continuous polling period (in Seconds) –  usado para definir um tempo limite para a função de sondagem do Neptune. Deve ser entre 5 segundos e 900 segundos. Recomendamos começar com o valor padrão (600 segundos).

  • Step Function Fallback Period –  o número de unidades de período de fallback da função de etapa para aguardar o instrumento de sondagem, após o qual a função de etapa é chamada pelo Amazon CloudWatch Events para se recuperar de uma falha. Recomendamos iniciar com o valor padrão (5 minutos).

  • Step Function Fallback Period Unit: as unidades de tempo usadas para medir o Step Function Fallback Period anterior (minutos, horas, dias). Em geral, o padrão (minutos) é suficiente.

  • Data replication scope –  determina se a replicação deve abranger os nós e as bordas, ou somente nós, para o OpenSearch (isso se aplica somente aos dados do mecanismo do Gremlin). Recomendamos começar com o valor padrão (All).

  • Ignore OpenSearch missing document error –  sinalizador para determinar se um erro de documento ausente no OpenSearch pode ser ignorado. Erros de documentos ausentes ocorrem raramente, mas precisarão de intervenção manual se não forem ignorados. Em geral, o valor padrão (True) é um bom ponto de partida.

  • Enable Non-String Indexing –  sinalizador para habilitar ou desabilitar a indexação de campos que não têm conteúdo de string. Se esse sinalizador estiver definido como true, os campos que não são de string serão indexados no OpenSearch, ou se false, somente os campos de string serão indexados. O padrão é “”. true.

  • Properties to exclude from being inserted into OpenSearch –  uma lista delimitada por vírgulas de chaves de propriedade ou predicado a serem excluídas da indexação do OpenSearch. Se esse valor do parâmetro do CFN for deixado em branco, todas as chaves de propriedade serão indexadas.

  • Datatypes to exclude from being inserted into OpenSearch –  uma lista delimitada por vírgulas de tipos de dados de propriedade ou predicado a serem excluídos da indexação do OpenSearch. Se esse valor do parâmetro do CFN for deixado em branco, todos os valores de propriedade que podem ser convertidos com segurança em tipos de dados do OpenSearch serão indexados.

Fluxo do Neptune
  • Endpoint of source Neptune Stream: (obrigatório) assume um dos dois formatos:

    • https://your DB cluster:port/propertygraph/stream (ou o alias, https://your DB cluster:port/pg/stream).

    • https://your DB cluster:port/sparql/stream

  • Neptune Query Engine –  selecione Gremlin ou SPARQL.

  • Is IAM Auth Enabled? –  se o cluster de banco de dados do Neptune estiver usando a autenticação do IAM, defina esse parâmetro como true.

  • Neptune Cluster Resource Id –  se o cluster de banco de dados do Neptune estiver usando a autenticação do IAM, defina esse parâmetro como o ID do recurso do cluster. O ID do recurso não é igual ao ID do cluster. Em vez disso, o formato é: cluster- seguido por 28 caracteres alfanuméricos. Ele pode ser encontrado em Detalhes do cluster no console do Neptune.

Cluster OpenSearch de destino
  • Endpoint for OpenSearch service –  (obrigatório) forneça o endpoint para o OpenSearch Service na VPC.

  • Number of Shards for OpenSearch Index –  o valor padrão (cinco) geralmente é um bom ponto de partida.

  • Number of Replicas for OpenSearch Index –  o valor padrão (um) geralmente é um bom ponto de partida.

  • Geo Location Fields for Mapping –  se você estiver usando os campos de geolocalização, liste as chaves de propriedade aqui.

Alarme
  • Require to create Cloud watch Alarm: defina como true se quiser criar um alarme do CloudWatch para a nova pilha.

  • SNS Topic ARN for Cloudwatch Alarm Notifications   –   o ARN do tópico do SNS para o qual as notificações de alarme do CloudWatch devem ser enviadas (necessário somente se os alarmes estiverem habilitados).

  • Email for Alarm Notifications –  o endereço de e-mail para o qual as notificações de alarme devem ser enviadas (somente necessário se os alarmes estiverem habilitados).

Para o destino da notificação de alarmes, é possível adicionar somente SNS, somente e-mail ou SNS e e-mail.

Executar o modelo do CloudFormation

Agora é possível concluir o processo de provisionamento de uma instância de aplicação do consumidor de fluxos do Neptune da seguinte forma:

  1. No CloudFormation, na página Specify Stack Details (Especificar detalhes da pilha), selecione Next (Próximo).

  2. Na página Options (Opções), escolha Next (Avançar).

  3. Na página Revisar, marque a primeira caixa de seleção para confirmar que o CloudFormation criará recursos do IAM. Marque a segunda caixa de seleção para confirmar CAPABILITY_AUTO_EXPAND para a nova pilha.

    nota

    CAPABILITY_AUTO_EXPAND confirma explicitamente que os macros serão expandidos ao criar a pilha, sem revisão anterior. Os usuários geralmente criam um conjunto de alterações a partir de um modelo processado para que as alterações feitas pelos macros possam ser revisadas antes de criar a pilha. Para obter mais informações, consulte a operação da API CreateStack do CloudFormation na Referência da API do AWS CloudFormation.

    Escolha Criar.