As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Validando a qualidade dos dados em AWS Glue DataBrew

Para garantir a qualidade dos seus conjuntos de dados, você pode definir uma lista de regras de qualidade de dados em um conjunto de regras. Um conjunto de regras é um conjunto de regras que compara diferentes métricas de dados com valores esperados. Se algum dos critérios de uma regra não for atendido, o conjunto de regras como um todo falhará na validação. Em seguida, você pode inspecionar os resultados individuais de cada regra. Para qualquer regra que cause uma falha na validação, você pode fazer as correções necessárias e revalidar.

Exemplos de regras incluem o seguinte:

Você pode definir cada regra para uma coluna individual ou aplicá-la de forma independente a várias colunas selecionadas, por exemplo:

Uma regra pode consistir em várias verificações simples. Você pode definir se todas elas devem ser verdadeiras ou alguma, por exemplo:

Você pode verificar as regras em relação a valores agregadosmax, comomin, ou number of duplicate values onde há apenas um valor sendo comparado, ou valores não agregados em cada linha de uma coluna. No último caso, você também pode definir um limite de “passagem”, comovalue in columnA > value in columnB for at least 95% of rows.

Assim como acontece com as informações de perfil, você pode definir regras de qualidade de dados em nível de coluna somente para colunas de tipos simples, como cadeias de caracteres e números. Você não pode definir regras de qualidade de dados para colunas de tipos complexos, como matrizes ou estruturas. Para obter mais detalhes sobre como trabalhar com informações de perfil, consulteCriando e trabalhando com AWS Glue DataBrew empregos de perfil.

Validando regras de qualidade de dados

Depois que um conjunto de regras for definido, você poderá adicioná-lo a um trabalho de perfil para validação. Você pode definir mais de um conjunto de regras para um conjunto de dados.

Por exemplo, um conjunto de regras pode conter regras com critérios minimamente aceitáveis. Uma falha na validação desse conjunto de regras pode significar que os dados não são aceitáveis para uso posterior. Um exemplo são valores ausentes nas principais colunas de um conjunto de dados usado para treinamento de aprendizado de máquina. Você pode usar um segundo conjunto de regras com regras mais rígidas para verificar se o conjunto de dados tem uma qualidade tão boa que não é necessária nenhuma limpeza.

Você pode aplicar um ou mais conjuntos de regras definidos para um determinado conjunto de dados em uma configuração de trabalho de perfil. Quando a tarefa do perfil é executada, ela produz um relatório de validação além do perfil de dados. O relatório de validação está disponível no mesmo local dos dados do seu perfil. Assim como acontece com as informações do perfil, você pode explorar os resultados no DataBrew console. Na visualização de detalhes do conjunto de dados, escolha a guia Qualidade de dados para ver os resultados. Para obter mais detalhes sobre como trabalhar com informações de perfil, consulteCriando e trabalhando com AWS Glue DataBrew empregos de perfil.

Atuando nos resultados da validação

Quando um trabalho DataBrew de perfil é concluído, DataBrew envia um CloudWatch evento da Amazon com os detalhes desse trabalho executado. Se você também configurou seu trabalho para validar as regras de qualidade de dados, DataBrew envia um evento para cada conjunto de regras validado. O evento contém seu resultado (SUCCEEDED,FAILED, ouERROR) e um link para o relatório detalhado de validação da qualidade de dados. Em seguida, você pode automatizar outras ações invocando a próxima ação, dependendo do status da validação. Para obter mais informações sobre como conectar eventos a ações de destino, como notificação do Amazon SNS, invocações de AWS Lambda funções e outras, consulte Introdução à Amazon. EventBridge

Veja a seguir um exemplo de um evento de resultado de DataBrew validação:

{
  "version": "0",
  "id": "fb27348b-112d-e7c2-560d-85e7c2c09964",
  "detail-type": "DataBrew Ruleset Validation Result",   
  "source": "aws.databrew",                     
  "account": "123456789012",          
  "time": "2021-11-18T13:15:46Z", 
  "region": "us-east-1",
  "resources": [],
  "detail": {
    "datasetName": "MyDataset", 
    "jobName": "MyProfileJob",
    "jobRunId": "db_f07954d20d083de0c1fc1eee11498d8635ee5be4ca416af27d33933e91ff4e6e",
    "rulesetName": "MyRuleset",
    "validationState": "FAILED",
    "validationReportLocation": "s3://MyBucket/MyKey/MyDataset_f07954d20d083de0c1fc1eee11498d8635ee5be4ca416af27d33933e91ff4e6e_dq-validation-report.json"
  }
}

Você pode usar atributos de eventosdetail-type, como, source e propriedades aninhadas do detail atributo para criar padrões de eventos no Amazon Eventbridge. Por exemplo, um padrão de evento que correspondesse a todas as validações com falha de qualquer DataBrew trabalho teria a seguinte aparência:

{
  "source": ["aws.databrew"],
  "detail-type": ["DataBrew Ruleset Validation Result"],
  "detail": {
   "validationState": ["FAILED"]
  }
}

Para obter um exemplo de como criar um conjunto de regras e validar suas regras, consulte. Criação de um conjunto de regras com regras de qualidade de dados Para obter mais informações sobre como trabalhar com CloudWatch eventos em DataBrew, consulte Automatização com eventos DataBrew CloudWatch

Inspecionando os resultados da validação e atualizando as regras de qualidade de dados

Depois que seu trabalho de perfil for concluído, você poderá visualizar os resultados da validação de suas regras de qualidade de dados e, conforme necessário, atualizá-las.

Para qualquer regra que falhou na validação, você pode fazer as correções necessárias.