View a markdown version of this page

Construindo o pipeline de ingestão de dados para os dados do seu parceiro de vendas da Amazon - AWS Recomendações

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Construindo o pipeline de ingestão de dados para os dados do seu parceiro de vendas da Amazon

Esta seção fornece uma estratégia para ingerir dados de fornecedores e vendedores da Amazon da Amazon Selling Partner API (SP-API) em um data lake em seu. Conta da AWS Essa arquitetura de pipeline de dados foi projetada para oferecer agilidade. Depois que os dados estiverem disponíveis em sua conta, você poderá implementar recursos de análise e IA generativa para obter informações comerciais avançadas a partir desses dados. Esses dados ajudam você a entender sua empresa, os detalhes do inventário e as análises em grande escala em todos os mercados.

O diagrama de arquitetura a seguir mostra como você usa AWS Lambdafunções em um AWS Step Functionsfluxo de trabalho para ingerir dados do SP-API em um data lake em seu Conta da AWS. Os dados são armazenados no Amazon Simple Storage Service (Amazon S3) e no Parameter Store, que é uma capacidade do. AWS Systems Manager

Arquitetura sem servidor que ingere dados do SP-API e os armazena em um data lake.

O diagrama de arquitetura inclui os seguintes componentes:

  1. O Step Functions é usado como um serviço de orquestração sem servidor para gerenciar centralmente o fluxo de trabalho para integração com o. SP-API

  2. A API do parceiro de vendas para relatórios (API de relatórios) oferece suporte a notificações para automatizar os fluxos de trabalho de relatórios. Para isso, você usa uma função Lambda de SP-APInotificação para inscrever o aplicativo no tipo de REPORT_PROCESSING_FINISHED notificação.

  3. Para fazer chamadas para o SP-API, você usa uma função Lambda de Autenticação para obter um token de acesso Login with Amazon (LWA).

  4. O token de acesso LWA da função de autenticação é passado para a função Lambda do criador de relatórios. Essa função faz uma createReport chamada para o SP-API usando o token de acesso LWA e os dados de endpoints regionais, IDs de mercado e configurações de relatórios armazenados no Parameter Store.

  5. O SP-API gera o relatório. Após a conclusão, um evento de REPORT_PROCESSING_FINISHED notificação é enviado para uma fila do Amazon Simple Queue Service (Amazon SQS), que fornece informações sobre quando o processamento do relatório é, ou. CANCELLED DONE FATAL Isso aciona uma função Lambda de processamento de notificações para processar o evento. Se o evento de notificação tiver um status deDONE, um reportDocumentId será incluído.

  6. O evento de notificação é passado para uma função Lambda de processamento de dados no fluxo de trabalho Step Functions. Essa função usa o reportDocumentId para fazer uma getReportDocument chamada para SP-API o. O SP-API retorna uma URL pré-assinada para a localização do documento do relatório e o algoritmo de compactação usado, se o conteúdo do documento do relatório tiver sido compactado.

  7. Essa resposta é passada para uma função do Storage Lambda, que baixa o documento do relatório, o descompacta (se aplicável) e armazena o documento do relatório no Amazon S3.

  8. AWS Key Management Service (AWS KMS) é usado para gerenciar centralmente as chaves de criptografia, que podem ser usadas para criptografar os segredos em. AWS Secrets Manager Os dados são armazenados no Amazon S3 e no Parameter Store.

  9. SP-API as solicitações são limitadas usando o algoritmo de token bucket. Portanto, um cliente de API é recomendado para limitar a taxa.

  10. AWS CloudTraile a Amazon CloudWatch são usados para monitorar e registrar em todo o Serviços da AWS. Esses registros fornecem rastreabilidade.