Usar um modelo AWS CloudFormation para iniciar a replicação do Neptune para o OpenSearch
Iniciar uma pilha CloudFormation específica da região
Cada um dos modelos CloudFormation abaixo cria uma instância de aplicação de consumidor de fluxos em uma região específica da AWS. Para iniciar a pilha correspondente usando o console CloudFormation, selecione um dos botões Iniciar pilha na tabela a seguir, de acordo com a região da AWS que deseja usar.
Na página Create Stack (Criar pilha), selecione Next (Avançar).
Adicionar detalhes sobre a nova pilha do OpenSearch que você está criando
A página Especificar detalhes da pilha fornece propriedades e parâmetros que você pode usar para controlar a configuração da pesquisa de texto completo.
Nome da pilha: o nome da pilha do CloudFormation que você está criando. Geralmente, você pode usar o valor padrão, NeptuneStreamPoller.
Em Parameters (Parâmetros), forneça o seguinte:
Configuração de rede para a VPC na qual o consumidor de fluxos é executado
VPC– forneça o nome da VPC na qual a função do Lambda de sondagem será executada.List of Subnet IDs– as sub-redes para as quais será estabelecida uma interface de rede. Adicione sub-redes correspondentes ao cluster do Neptune.List of Security Group Ids– forneça os IDs dos grupos de segurança que concedem o acesso de entrada de gravação ao cluster de banco de dados de origem do Neptune.List of Route Table Ids– isso é necessário para criar um endpoint do Amazon DynamoDB na VPC do Neptune, caso ainda não tenha um. Forneça uma lista separada por vírgulas de IDs de tabela de rotas associados às sub-redes.Require to create Dynamo DB VPC Endpoint– um valor booliano predefinido comotrue. Você só precisará alterá-lo parafalsese já tiver criado um endpoint do DynamoDB na VPC.Require to create Monitoring VPC Endpoint– um valor booliano predefinido comotrue. Você só precisará alterá-lo parafalsese já tiver criado um endpoint de monitoramento na VPC.
Instrumento de sondagem de fluxos
Application Name– geralmente, você pode manter a configuração padrão (NeptuneStream). Se você usar um nome diferente, ele deverá ser exclusivo.Memory size for Lambda Poller– usado para definir o tamanho da memória disponível para a função do instrumento de sondagem do Lambda. O valor padrão é de 2.048 megabytes.Lambda Runtime– a linguagem usada na função do Lambda que recupera os itens do fluxo do Neptune. É possível definir comopython3.9oujava8.S3 Bucket having Lambda code artifacts– deixe em branco, a menos que esteja usando uma função de sondagem personalizada do Lambda, carregada em um bucket do S3 diferente.S3 Key corresponding to Lambda Code artifacts– deixe em branco, a menos que esteja usando uma função de sondagem personalizada do Lambda.StartingCheckpoint– o ponto de verificação inicial do instrumento de sondagem de fluxos. O padrão é0:0, o que significa começar do início do fluxo do Neptune.StreamPollerInitialState– o estado inicial do instrumento de sondagem. O padrão éENABLED, o que significa que a replicação de fluxos começará assim que a criação de toda a pilha for concluída.Logging level for Lambda– em geral, mantenha o valor padrão,INFO.Managed Policies for Lambda Execution– em geral, deixe em branco, a menos que esteja usando uma função de sondagem personalizada do Lambda.Stream Records Handler– em geral, deixe em branco, a menos que esteja usando um manipulador personalizado para os registros nos fluxos do Neptune.Maximum records Fetched from Stream– é possível usar esse parâmetro para ajustar o desempenho. Recomendamos iniciar com o valor padrão (100). O máximo permitido é 10.000. Quanto maior o número, menor serão as chamadas de rede necessárias para ler os registros do fluxo, mas maior será a memória necessária para processar os registros.Max wait time between two Polls (in Seconds)– determina com que frequência o instrumento de sondagem do Lambda será invocado para sondar os fluxos do Neptune. Defina esse valor como 0 para a sondagem contínua. O valor máximo é de 3.600 segundos (1 hora). Recomendamos o valor padrão (60 segundos) para começar, dependendo da rapidez com que os dados do gráfico mudam.Maximum Continuous polling period (in Seconds)– usado para definir um tempo limite para a função de sondagem do Neptune. Deve ser entre 5 segundos e 900 segundos. Recomendamos começar com o valor padrão (600 segundos).Step Function Fallback Period– o número de unidades de período de fallback da função de etapa para aguardar o instrumento de sondagem, após o qual a função de etapa é chamada pelo Amazon CloudWatch Events para se recuperar de uma falha. Recomendamos iniciar com o valor padrão (5 minutos).Step Function Fallback Period Unit: as unidades de tempo usadas para medir oStep Function Fallback Periodanterior (minutos, horas, dias). Em geral, o padrão (minutos) é suficiente.Data replication scope– determina se a replicação deve abranger os nós e as bordas, ou somente nós, para o OpenSearch (isso se aplica somente aos dados do mecanismo do Gremlin). Recomendamos começar com o valor padrão (All).Ignore OpenSearch missing document error– sinalizador para determinar se um erro de documento ausente no OpenSearch pode ser ignorado. Erros de documentos ausentes ocorrem raramente, mas precisarão de intervenção manual se não forem ignorados. Em geral, o valor padrão (True) é um bom ponto de partida.Enable Non-String Indexing– sinalizador para habilitar ou desabilitar a indexação de campos que não têm conteúdo de string. Se esse sinalizador estiver definido comotrue, os campos que não são de string serão indexados no OpenSearch, ou sefalse, somente os campos de string serão indexados. O padrão é “”.true.Properties to exclude from being inserted into OpenSearch– uma lista delimitada por vírgulas de chaves de propriedade ou predicado a serem excluídas da indexação do OpenSearch. Se esse valor do parâmetro do CFN for deixado em branco, todas as chaves de propriedade serão indexadas.Datatypes to exclude from being inserted into OpenSearch– uma lista delimitada por vírgulas de tipos de dados de propriedade ou predicado a serem excluídos da indexação do OpenSearch. Se esse valor do parâmetro do CFN for deixado em branco, todos os valores de propriedade que podem ser convertidos com segurança em tipos de dados do OpenSearch serão indexados.
Fluxo do Neptune
-
Endpoint of source Neptune Stream: (obrigatório) assume um dos dois formatos:https://(ou o alias,your DB cluster:port/propertygraph/streamhttps://).your DB cluster:port/pg/streamhttps://your DB cluster:port/sparql/stream
Neptune Query Engine– selecione Gremlin ou SPARQL.Is IAM Auth Enabled?– se o cluster de banco de dados do Neptune estiver usando a autenticação do IAM, defina esse parâmetro comotrue.Neptune Cluster Resource Id– se o cluster de banco de dados do Neptune estiver usando a autenticação do IAM, defina esse parâmetro como o ID do recurso do cluster. O ID do recurso não é igual ao ID do cluster. Em vez disso, o formato é:cluster-seguido por 28 caracteres alfanuméricos. Ele pode ser encontrado em Detalhes do cluster no console do Neptune.
Cluster OpenSearch de destino
Endpoint for OpenSearch service– (obrigatório) forneça o endpoint para o OpenSearch Service na VPC.Number of Shards for OpenSearch Index– o valor padrão (cinco) geralmente é um bom ponto de partida.Number of Replicas for OpenSearch Index– o valor padrão (um) geralmente é um bom ponto de partida.Geo Location Fields for Mapping– se você estiver usando os campos de geolocalização, liste as chaves de propriedade aqui.
Alarme
Require to create Cloud watch Alarm: defina comotruese quiser criar um alarme do CloudWatch para a nova pilha.SNS Topic ARN for Cloudwatch Alarm Notifications– o ARN do tópico do SNS para o qual as notificações de alarme do CloudWatch devem ser enviadas (necessário somente se os alarmes estiverem habilitados).Email for Alarm Notifications– o endereço de e-mail para o qual as notificações de alarme devem ser enviadas (somente necessário se os alarmes estiverem habilitados).
Para o destino da notificação de alarmes, é possível adicionar somente SNS, somente e-mail ou SNS e e-mail.
Executar o modelo do CloudFormation
Agora é possível concluir o processo de provisionamento de uma instância de aplicação do consumidor de fluxos do Neptune da seguinte forma:
No CloudFormation, na página Specify Stack Details (Especificar detalhes da pilha), selecione Next (Próximo).
Na página Options (Opções), escolha Next (Avançar).
-
Na página Revisar, marque a primeira caixa de seleção para confirmar que o CloudFormation criará recursos do IAM. Marque a segunda caixa de seleção para confirmar
CAPABILITY_AUTO_EXPANDpara a nova pilha.nota
CAPABILITY_AUTO_EXPANDconfirma explicitamente que os macros serão expandidos ao criar a pilha, sem revisão anterior. Os usuários geralmente criam um conjunto de alterações a partir de um modelo processado para que as alterações feitas pelos macros possam ser revisadas antes de criar a pilha. Para obter mais informações, consulte a operação da API CreateStack do CloudFormation na Referência da API do AWS CloudFormation.Escolha Criar.