Criar um trabalho de importação AWS IoT SiteWise em massa (AWS CLI) - AWS IoT SiteWise

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Criar um trabalho de importação AWS IoT SiteWise em massa (AWS CLI)

Use a operação de CreateBulkImportJobAPI para transferir dados do Amazon S3 para o. AWS IoT SiteWise A CreateBulkImportJobAPI permite a ingestão de grandes volumes de dados históricos e a ingestão em buffer de fluxos de dados analíticos em pequenos lotes. Ela oferece um primitivo econômico para ingestão de dados. O exemplo a seguir usa a AWS CLI.

Importante

Antes de criar um trabalho de importação em massa, você deve habilitar o nível AWS IoT SiteWise quente ou o nível AWS IoT SiteWise frio. Para obter mais informações, consulte Defina as configurações de armazenamento em AWS IoT SiteWise.

A CreateBulkImportJobAPI suporta a ingestão de dados históricos AWS IoT SiteWise com a opção de definir o adaptive-ingestion-flag parâmetro.

  • Quando definido como false, a API ingere dados históricos sem acionar computações ou notificações.

  • Quando definido como true, a API ingere novos dados, calcula métricas e transforma os dados para otimizar análises e notificações contínuas dentro de sete dias.

Execute o comando a seguir. file-nameSubstitua pelo nome do arquivo que contém a configuração do trabalho de importação em massa.

aws iotsitewise create-bulk-import-job --cli-input-json file://file-name.json
exemplo Configuração do trabalho de importação em massa

Estes são exemplos das definições de configuração:

  • Substitua adaptive-ingestion-flag por true ou false.

    • Se definido como false, o trabalho de importação em massa ingere dados históricos no AWS IoT SiteWise.

    • Se definido como true, o trabalho de importação em massa faz o seguinte:

      • Ingere novos dados em. AWS IoT SiteWise

      • Calcula métricas e transformações, além de oferecer suporte a notificações de dados com um carimbo de data/hora dentro de sete dias.

  • delete-files-after-import-flagtrueSubstitua por para excluir os dados do bucket de dados do Amazon S3 após a ingestão no armazenamento de nível AWS IoT SiteWise quente.

  • Substitua amzn-s3-demo-bucket pelo -for-errors nome do bucket Amazon S3 para o qual os erros associados a esse trabalho de importação em massa são enviados.

  • Substitua amzn-s3-demo-bucket pelo -for-errors-prefix prefixo do bucket Amazon S3 para o qual os erros associados a esse trabalho de importação em massa são enviados.

    O Amazon S3 usa o prefixo como nome de pasta para organizar os dados no bucket. Cada objeto em um bucket do Amazon S3 tem uma chave que é seu identificador exclusivo no bucket. Cada objeto em um bucket tem exatamente uma chave. O prefixo deve terminar com uma barra (/). Para obter mais informações, consulte Organizing objects using prefixes no Guia do usuário do Amazon Simple Storage Service.

  • Substitua amzn-s3-demo-bucket pelo -data nome do bucket Amazon S3 do qual os dados são importados.

  • data-bucket-keySubstitua pela chave do objeto Amazon S3 que contém seus dados. Cada objeto tem uma chave que é um identificador exclusivo. Cada objeto tem exatamente uma chave.

  • data-bucket-version-idSubstitua pelo ID da versão para identificar uma versão específica do objeto Amazon S3 que contém seus dados. Esse parâmetro é opcional.

  • column-nameSubstitua pelo nome da coluna especificado no arquivo.csv.

  • job-nameSubstitua por um nome exclusivo que identifique o trabalho de importação em massa.

  • job-role-arnSubstitua pela função do IAM que AWS IoT SiteWise permite ler dados do Amazon S3.

nota

Certifique-se de que sua função tem as permissões do exemplo a seguir: Substitua amzn-s3-demo-bucket pelo -data nome do bucket Amazon S3 que contém seus dados. Além disso, amzn-s3-demo-bucket-for-errors substitua pelo nome do bucket do Amazon S3 para o qual os erros associados a esse trabalho de importação em massa são enviados.

JSON
{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Action": [
                "s3:GetObject",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::amzn-s3-demo-bucket-data",
                "arn:aws:s3:::amzn-s3-demo-bucket-data/*"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::amzn-s3-demo-bucket-for-errors",
                "arn:aws:s3:::amzn-s3-demo-bucket-for-errors/*"
            ],
            "Effect": "Allow"
        }
    ]
}

{
   "adaptiveIngestion": adaptive-ingestion-flag,
   "deleteFilesAfterImport": delete-files-after-import-flag,       
   "errorReportLocation": { 
      "bucket": "amzn-s3-demo-bucket-for-errors",
      "prefix": "amzn-s3-demo-bucket-for-errors-prefix"
   },
   "files": [ 
      { 
         "bucket": "amzn-s3-demo-bucket-data",
         "key": "data-bucket-key",
         "versionId": "data-bucket-version-id"
      }
   ],
   "jobConfiguration": { 
      "fileFormat": { 
         "csv": { 
            "columnNames": [ "column-name" ]
         }
      }
   },
   "jobName": "job-name",
   "jobRoleArn": "job-role-arn"    
}
exemplo Retorno
{
   "jobId":"f8c031d0-01d1-4b94-90b1-afe8bb93b7e5",
   "jobStatus":"PENDING",
   "jobName":"myBulkImportJob"
}