Crie seu próprio pipeline de ML de detecção de anomalias

Os dados de telemetria do dispositivo são ingeridos dos dispositivos de campo quase em tempo real por meio de chamadas para a API por meio do Amazon API Gateway. O Amazon Cognito autentica e autoriza as solicitações.

O Amazon Kinesis Data Firehose ingere os dados em tempo real e invoca AWS Lambda para transformá-los no formato Parquet. O Kinesis Data Firehose é escalado automaticamente para corresponder à taxa de transferência de dados.

Os trabalhos do AWS Glue agregam os dados de telemetria por hora. Os trabalhos reparticionam os dados com base em ano, mês, data e hora. Etapas adicionais, como transformações e engenharia de recursos, preparam os dados para o treinamento. O conjunto de dados de treinamento é armazenado no data lake do Amazon Simple Storage Service.

O código de treinamento verificado na AWS CodeCommit aciona um pipeline de MLOps usando. AWS CodePipeline CodePipeline cria os contêineres de treinamento e inferência de SageMaker IA da Amazon. Ele aciona o trabalho de treinamento de SageMaker IA, implanta o modelo treinado no ambiente de teste e, após a aprovação, implanta o modelo na produção.

Os modelos de ML gerados por trabalhos de treinamento são registrados no SageMaker AI Model Repository. O pipeline de implantação seleciona o melhor modelo de ML a ser implantado usando a hospedagem de SageMaker IA.

Você pode classificar os dados de telemetria como anômalos ou não por meio de uma API HTTPS usando o API Gateway e as funções Lambda. A função Lambda invoca o endpoint de SageMaker IA para prever a anomalia.

SageMaker O AI Model Monitor monitora a qualidade da inferência. Solicitações com pontuações de previsão ambíguas são enviadas para nova rotulagem usando eventos da Amazon. CloudWatch Esses eventos acionam o fluxo de trabalho do SageMaker AI A2I por meio de. AWS Step Functions