Automatização do EMR Sem Servidor com Amazon EventBridge - Amazon EMR
Exemplos de eventos do EventBridge no EMR Sem Servidor

Automatização do EMR Sem Servidor com Amazon EventBridge

Você pode usar o Amazon EventBridge para automatizar os Serviços da AWS e responder automaticamente a eventos do sistema, como problemas de disponibilidade da aplicação ou alterações de recursos. O EventBridge oferece um fluxo quase em tempo real dos eventos do sistema que descrevem as alterações nos recursos da AWS. Você pode escrever regras simples para indicar quais eventos são do seu interesse, e as ações automatizadas a serem tomadas quando um evento corresponder à regra. Com o EventBridge, você pode automaticamente:

  • Invocar uma função do AWS Lambda

  • Retransmissão de um evento para o Amazon Kinesis Data Streams

  • Ativar máquina de estado do AWS Step Functions

  • Notificação de um tópico do Amazon SNS ou de uma fila do Amazon SQS

Por exemplo, ao usar o EventBridge com o EMR Sem Servidor, você pode ativar uma função do AWS Lambda quando um trabalho de ETL for bem-sucedido ou notificar um tópico do Amazon SNS quando um trabalho de ETL falhar.

O EMR Sem Servidor emite quatro tipos de eventos:

  • Eventos de mudança de estado da aplicação: eventos que emitem todas as alterações de estado de uma aplicação. Para obter mais informações sobre estados da aplicação, consulte Estados da aplicação.

  • Eventos de mudança de estado de execução de um trabalho: eventos que emitem cada mudança de estado da execução de um trabalho. Para obter mais informações, consulte Estados de execução de trabalho.

  • Eventos de repetição da execução de um trabalho: eventos que emitem cada nova tentativa de um trabalho executado nas versões 7.1.0 e posteriores do Amazon EMR Sem Servidor.

  • Eventos de atualização de utilização de recursos de trabalho: eventos que emitem atualizações de utilização de recursos para um trabalho executado em intervalos de aproximadamente 30 minutos.

Exemplos de eventos do EventBridge no EMR Sem Servidor

Os eventos relatados pelo EMR Sem Servidor têm um valor de aws.emr-serverless atribuído a source, como nos exemplos a seguir.

Evento de alteração do estado da aplicação

O exemplo de evento a seguir mostra uma aplicação no estado CREATING.

{
    "version": "0",
    "id": "9fd3cf79-1ff1-b633-4dd9-34508dc1e660",
    "detail-type": "EMR Serverless Application State Change",
    "source": "aws.emr-serverless",
    "account": "123456789012",
    "time": "2022-05-31T21:16:31Z",
    "region": "us-east-1",
    "resources": [],
    "detail": {
        "applicationId": "00f1cbsc6anuij25",
        "applicationName": "3965ad00-8fba-4932-a6c8-ded32786fd42",
        "arn": "arn:aws:emr-serverless:us-east-1:111122223333:/applications/00f1cbsc6anuij25",
        "releaseLabel": "emr-6.6.0",
        "state": "CREATING",
        "type": "HIVE",
        "createdAt": "2022-05-31T21:16:31.547953Z",
        "updatedAt": "2022-05-31T21:16:31.547970Z",
        "autoStopConfig": {
            "enabled": true,
            "idleTimeout": 15
        },
        "autoStartConfig": {
            "enabled": true
        }
    }
}

Eventos de alteração de estado em execuções de trabalhos

O exemplo de evento a seguir mostra uma execução de trabalho que se move de um estado SCHEDULED para RUNNING.

{
    "version": "0",
    "id": "00df3ec6-5da1-36e6-ab71-20f0de68f8a0",
    "detail-type": "EMR Serverless Job Run State Change",
    "source": "aws.emr-serverless",
    "account": "123456789012",
    "time": "2022-05-31T21:07:42Z",
    "region": "us-east-1",
    "resources": [],
    "detail": {
        "jobRunId": "00f1cbn5g4bb0c01",
        "applicationId": "00f1982r1uukb925",
        "arn": "arn:aws:emr-serverless:us-east-1:123456789012:/applications/00f1982r1uukb925/jobruns/00f1cbn5g4bb0c01",
        "releaseLabel": "emr-6.6.0",
        "state": "RUNNING",
        "previousState": "SCHEDULED",
        "createdBy": "arn:aws:sts::123456789012:assumed-role/TestRole-402dcef3ad14993c15d28263f64381e4cda34775/6622b6233b6d42f59c25dd2637346242",
        "updatedAt": "2022-05-31T21:07:42.299487Z",
        "createdAt": "2022-05-31T21:07:25.325900Z"
    }
}

Evento de repetição de execução de trabalho

Confira a seguir um exemplo de um evento de nova tentativa de execução de trabalho.

{
    "version": "0",
    "id": "00df3ec6-5da1-36e6-ab71-20f0de68f8a0",
    "detail-type": "EMR Serverless Job Run Retry",
    "source": "aws.emr-serverless",
    "account": "123456789012",
    "time": "2022-05-31T21:07:42Z",
    "region": "us-east-1",
    "resources": [],
    "detail": {
        "jobRunId": "00f1cbn5g4bb0c01",
        "applicationId": "00f1982r1uukb925",
        "arn": "arn:aws:emr-serverless:us-east-1:123456789012:/applications/00f1982r1uukb925/jobruns/00f1cbn5g4bb0c01",
        "releaseLabel": "emr-6.6.0",
        "createdBy": "arn:aws:sts::123456789012:assumed-role/TestRole-402dcef3ad14993c15d28263f64381e4cda34775/6622b6233b6d42f59c25dd2637346242",
        "updatedAt": "2022-05-31T21:07:42.299487Z",
        "createdAt": "2022-05-31T21:07:25.325900Z",
        //Attempt Details
        "previousAttempt": 1,
        "previousAttemptState": "FAILED",
        "previousAttemptCreatedAt": "2022-05-31T21:07:25.325900Z",
        "previousAttemptEndedAt": "2022-05-31T21:07:30.325900Z",
        "newAttempt": 2,
        "newAttemptCreatedAt": "2022-05-31T21:07:30.325900Z"
    }
}

Atualização da utilização de recursos de trabalho

O exemplo de evento a seguir mostra a atualização final da utilização de recursos para um trabalho que foi transferido para um estado terminal após a execução.

{
    "version": "0",
    "id": "00df3ec6-5da1-36e6-ab71-20f0de68f8a0",
    "detail-type": "EMR Serverless Job Resource Utilization Update",
    "source": "aws.emr-serverless",
    "account": "123456789012",
    "time": "2022-05-31T21:07:42Z",
    "region": "us-east-1",
    "resources": [
        "arn:aws:emr-serverless:us-east-1:123456789012:/applications/00f1982r1uukb925/jobruns/00f1cbn5g4bb0c01"
    ],
    "detail": {
        "applicationId": "00f1982r1uukb925",
        "jobRunId": "00f1cbn5g4bb0c01",
        "attempt": 1,
        "mode": "BATCH",
        "createdAt": "2022-05-31T21:07:25.325900Z",
        "startedAt": "2022-05-31T21:07:26.123Z",
        "calculatedFrom": "2022-05-31T21:07:42.299487Z",
        "calculatedTo": "2022-05-31T21:07:30.325900Z",
        "resourceUtilizationFinal": true,
        "resourceUtilizationForInterval": {
            "vCPUHour": 0.023,
            "memoryGBHour": 0.114,
            "storageGBHour": 0.228
        },
        "billedResourceUtilizationForInterval": {
            "vCPUHour": 0.067,
            "memoryGBHour": 0.333,
            "storageGBHour": 0
        },
        "totalResourceUtilization": {
            "vCPUHour": 0.023,
            "memoryGBHour": 0.114,
            "storageGBHour": 0.228
        },
        "totalBilledResourceUtilization": {
            "vCPUHour": 0.067,
            "memoryGBHour": 0.333,
            "storageGBHour": 0
        }
    }
}

O campo startedAt só estará presente no caso de o trabalho ter sido movido para um estado de execução.