Données dans AWS Data Exchange

Les données sont organisées AWS Data Exchange selon trois éléments de base :

Ces trois éléments constituent la base du produit que vous gérez à l'aide de la AWS Data Exchange console ou de l' AWS Data Exchange API.

Pour créer, afficher, mettre à jour ou supprimer des ensembles de données, vous pouvez utiliser la AWS Data Exchange console, le AWS Command Line Interface (AWS CLI), votre propre client REST ou l'un des AWS kits SDK. Pour plus d'informations sur la gestion par programmation des ensembles de AWS Data Exchange données, consultez la référence des AWS Data Exchange API.

Assets

Les actifs sont les données qu'ils contiennent AWS Data Exchange.

Le type d'actif définit la manière dont les données sont transmises au destinataire ou à l'abonné via les ensembles de données, les licences de données ou les produits qui les contiennent.

Un actif peut être l'un des éléments suivants :

Structure des assets

Les actifs ont les paramètres suivants :

{
    "Name": "automation/cloudformation.yaml",
    "Arn": "arn:aws:dataexchange:us-east-1::data-sets/29EXAMPLE24b82c6858af3cEXAMPLEcf/revisions/bbEXAMPLE74c02f4745c660EXAMPLE20/assets/baEXAMPLE660c9fe7267966EXAMPLEf5",
    "Id": "baEXAMPLE660c9fe7267966EXAMPLEf5",
    "CreatedAt": "2019-10-17T21:31:29.833Z",
    "UpdatedAt": "2019-10-17T21:31:29.833Z",
    "AssetType": "S3_SNAPSHOT",
    "RevisionId": "bbEXAMPLE74c02f4745c660EXAMPLE20",
    "DataSetId": "29EXAMPLE24b82c6858af3cEXAMPLEcf",
    "AssetDetails": {
        "S3SnapshotAsset": {
            "Size": 9423
        }
    }
}

Types d'actifs

Ensemble de données de fichiers

À l'aide de Fichiers, les abonnés peuvent accéder à une copie de l'ensemble de données en tant qu'ensemble de données autorisé et exporter les actifs.

Le propriétaire d'un ensemble de données peut à la fois importer et exporter des fichiers à l'aide de la AWS Data Exchange console, par programmation via sa propre application REST ou l' AWS un des kits de développement logiciel. AWS CLI Pour plus d'informations sur l'importation d'actifs Amazon S3, consultez. Importation AWS Data Exchange actifs provenant d'un compartiment S3 Pour plus d'informations sur l'exportation d'actifs, consultezExporting AWS Data Exchange actifs dans un compartiment S3.

Actifs d'API

Grâce aux actifs d'API, les destinataires des données ou les abonnés peuvent consulter l'API et télécharger la spécification de l'API en tant qu'ensemble de données autorisé. Vous pouvez également effectuer des appels d'API vers des points de AWS Data Exchange terminaison gérés, qui sont ensuite transmis par proxy aux points de terminaison. API-owner

Le propriétaire d'un ensemble de données qui possède déjà une API Amazon API Gateway peut ajouter une ressource d'API à l'aide de la AWS Data Exchange console, par programmation via le ou l' AWS CLI un des kits de développement logiciel. AWS Pour plus d'informations sur l'importation de ressources d'API, consultezImportation AWS Data Exchange actifs provenant d'une API Amazon API Gateway.

Les propriétaires d'ensembles de données qui ne disposent pas d'API Amazon API Gateway doivent en créer une avant d'ajouter un actif d'API à leur produit. Pour plus d'informations, consultez Développement d'une API REST dans API Gateway dans le manuel Amazon API Gateway Developer Guide.

Ressources de partage de données Amazon Redshift

Grâce aux ressources de partage de données Amazon Redshift, les destinataires peuvent obtenir un accès en lecture seule pour interroger les données dans Amazon Redshift sans extraire, transformer et charger des données.

Pour plus d'informations sur l'importation d'actifs de partage de données Amazon Redshift, consultez. Importation AWS Data Exchange actifs provenant d'un AWS Data Exchange partage de données pour Amazon Redshift

AWS Lake Formation autorisation de données (aperçu)

Grâce aux ressources d'autorisation de AWS Lake Formation données, les destinataires ou les abonnés peuvent accéder à toutes les bases de données, tables ou colonnes associées aux balises spécifiées et les interroger.

Les propriétaires d'ensembles de données doivent créer et étiqueter leurs données avant d'importer les balises en tant que partie intégrante d'un AWS Data Exchange actif. Pour plus d'informations sur l'importation de ressources d'autorisation relatives aux données de Lake Formation, consultezImportation AWS Data Exchange actifs provenant de AWS Lake Formation (Aperçu).

Accès aux données Amazon S3

Grâce aux ressources d'accès aux données Amazon S3, les destinataires ou les abonnés peuvent accéder directement aux données du fournisseur et les utiliser sans créer ni gérer de copies de données. Les propriétaires d'ensembles de données peuvent configurer AWS Data Exchange Amazon S3 en plus de leurs compartiments Amazon S3 existants afin de partager l'accès direct à l'intégralité d'un compartiment S3 ou à des préfixes spécifiques et à des objets Amazon S3.

Révisions

Une révision est un conteneur pour un ou plusieurs actifs.

Vous utilisez les révisions pour mettre à jour les données dans Amazon S3. Par exemple, vous pouvez regrouper une collection de fichiers .csv ou un seul fichier .csv et un dictionnaire pour créer une révision. Au fur et à mesure que de nouvelles données sont disponibles, vous créez des révisions et vous ajoutez des actifs. Une fois que vous avez créé et finalisé la révision à l'aide de la AWS Data Exchange console, celle-ci sera immédiatement disponible pour les abonnés. Pour de plus amples informations, veuillez consulter Publier un nouveau produit dans AWS Data Exchange.

Gardez à l’esprit les points suivants :

Structure de révision

Les révisions ont les paramètres suivants :

        {
            "UpdatedAt": "2019-10-11T14:13:31.749Z",
            "DataSetId": "1EXAMPLE404460dc9b005a0d9EXAMPLE2f",
            "Comment": "initial data revision",
            "Finalized": true,
            "Id": "e5EXAMPLE224f879066f9999EXAMPLE42",
            "Arn": "arn:aws:dataexchange:us-east-1:123456789012:data-sets/1EXAMPLE404460dc9b005a0d9EXAMPLE2f/revisions/e5EXAMPLE224f879066f9999EXAMPLE42",
            "CreatedAt": "2019-10-11T14:11:58.064Z"
        }

Jeux de données

Un ensemble de données AWS Data Exchange est un ensemble de données qui peut changer au fil du temps.

Lorsque des destinataires ou des abonnés accèdent à un ensemble de données Fichiers, ils accèdent à une révision spécifique de l'ensemble de données. Cette structure permet aux fournisseurs de modifier les données disponibles dans les ensembles de données au fil du temps sans avoir à se soucier des modifications des données historiques.

Lorsque les destinataires ou les abonnés accèdent à un ensemble de données d'API, ils accèdent à un ensemble de données contenant des actifs d'API, qui permettent aux abonnés d'effectuer des appels d'API vers des points de AWS Data Exchange terminaison gérés, qui sont ensuite transmis par proxy aux points de terminaison du fournisseur.

Lorsque des destinataires ou des abonnés accèdent à un ensemble de données Amazon Redshift, ils accèdent à un partage de AWS Data Exchange données pour Amazon Redshift. Ce partage de données donne aux abonnés un accès en lecture seule aux schémas, tables, vues et fonctions définies par l'utilisateur que le propriétaire des données a ajoutés aux partages de données.

Lorsque les destinataires ou les abonnés accèdent à un AWS Lake Formation ensemble de données d'autorisation de données, ils accèdent aux bases de données, aux tables et aux and/or colonnes étiquetées et LF-tag spécifiées par le propriétaire de l'ensemble de données.

Lorsque des destinataires ou des abonnés accèdent à un ensemble de données d'accès aux données Amazon S3, ils bénéficient d'un accès en lecture seule aux objets Amazon S3 partagés hébergés dans les compartiments Amazon S3 du fournisseur. Les destinataires ou les abonnés peuvent utiliser ces données directement avec d'autres personnes Services AWS.

Pour créer, afficher, mettre à jour ou supprimer des ensembles de données, les fournisseurs peuvent utiliser la AWS Data Exchange console, l' AWS interface de ligne de commande, votre propre client REST ou l'un des AWS kits de développement logiciel. Pour plus d'informations sur la gestion par programmation des ensembles de AWS Data Exchange données, consultez la référence des AWS Data Exchange API.

Jeux de données détenus

Un ensemble de données appartient au compte qui l'a créé. Les ensembles de données détenus peuvent être identifiés à l'aide du origin paramètre, qui est défini surOWNED.

Ensembles de données intitulés

Les ensembles de données autorisés sont une vue en lecture seule des ensembles de données appartenant à l'expéditeur. Les ensembles de données autorisés sont créés au moment de la création de la licence de données ou de la publication du produit et sont mis à la disposition des destinataires ou des abonnés qui ont une licence de données active ou un abonnement au produit. Les ensembles de données autorisés peuvent être identifiés à l'aide du origin paramètre, qui est défini surENTITLED.

En tant que destinataire, vous pouvez consulter et interagir avec vos ensembles de données autorisés à l'aide de l' AWS Data Exchange API ou de la AWS Data Exchange console.

En tant que propriétaire d'un ensemble de données, vous avez également accès à l'affichage de l'ensemble de données intitulé que voient vos destinataires ou abonnés. Vous pouvez le faire à l'aide de l' AWS Data Exchange API ou en choisissant le nom du jeu de données dans la page d'attribution des données ou du produit de la AWS Data Exchange console.

Types d'ensembles de données

Les types d'ensembles de données suivants sont pris en charge dans AWS Data Exchange :

Ensemble de données de fichiers

Un ensemble de données Files est un ensemble de données qui contient des fichiers plats autorisés par Amazon S3.

En tant que destinataire ou abonné, vous pouvez exporter les données localement (téléchargement sur votre ordinateur) ou vers votre compartiment Amazon S3.

En tant que propriétaire d'un ensemble de données, vous pouvez importer n'importe quel type de fichier plat depuis votre compartiment Amazon S3 et l'ajouter à l'ensemble de données.

Ensemble de données API

Un ensemble de données d'API est un ensemble de données qui contient des actifs d'API. Les actifs d'API permettent aux destinataires ou aux abonnés d'effectuer des appels d'API vers des points de AWS Data Exchange terminaison gérés, qui sont ensuite transmis par proxy aux points de terminaison propriétaires des ensembles de données.

En tant que propriétaire d'un ensemble de données, vous créez une API dans Amazon API Gateway et vous l'ajoutez à l'ensemble de données pour obtenir une licence d'accès à votre API lors de la création d'une licence de données ou d'un abonnement.

Ensemble de données Amazon Redshift

Un ensemble de données Amazon Redshift inclut des partages AWS Data Exchange de données pour Amazon Redshift. Lorsque vous vous abonnez à un ensemble de données comportant des partages de données, vous êtes ajouté en tant que consommateur du partage de données. Cela vous donne un accès en lecture seule aux schémas, tables, vues et fonctions définies par l'utilisateur que le propriétaire du jeu de données a ajoutés aux partages de données.

En tant que propriétaire d'un ensemble de données, vous pouvez créer une base de données à partir du partage de données dans Amazon Redshift, puis interroger des données en direct sans extraire, transformer et charger des fichiers. L'accès au partage de données vous est automatiquement accordé lorsque votre licence de données ou votre abonnement est activé et vous perdez l'accès à l'expiration de l'un ou l'autre de ces droits.

En tant que propriétaire d'un ensemble de données, vous créez un partage de données dans Amazon Redshift et vous l'ajoutez au jeu de données pour autoriser l'accès à votre partage de données lors de la création d'une licence de données ou d'un abonnement.

Ensemble de données d'accès aux données Amazon S3

Grâce à AWS Data Exchange l'accès aux données Amazon S3, les destinataires des données ou les abonnés peuvent accéder à des fichiers de données tiers directement depuis les compartiments Amazon S3 des propriétaires de jeux de données.

Lorsque vous vous abonnez à un produit AWS Data Exchange d'accès aux données Amazon S3, les opérations suivantes AWS Data Exchange sont automatiquement effectuées :

Avec AWS Data Exchange pour Amazon S3, les propriétaires d'ensembles de données peuvent partager un accès direct à l'intégralité d'un compartiment Amazon S3 ou à des préfixes spécifiques et à des objets Amazon S3. En outre, il AWS Data Exchange peut être utilisé pour gérer automatiquement les subventions de données, les abonnements, les droits, la facturation et les paiements.

AWS Lake Formation ensemble de données (aperçu)

Un ensemble AWS Lake Formation de données est un ensemble de données qui contient des actifs d'autorisation de AWS Lake Formation données.

En tant que destinataire ou abonné, vous pouvez gérer les données mises à votre disposition dans votre AWS Lake Formation. Après avoir créé des liens vers des ressources dans votre AWS Lake Formation, vous pouvez interroger les données à l'aide de services d'analyse tels qu'Amazon Athena.

En tant que propriétaire d'un ensemble de données, vous balisez vos données LF-tags à l'aide de in AWS Lake Formation et vous importez ces balises en tant qu'actifs lors de la création de votre ensemble de données.

Régions AWS et ensembles de données

Vos ensembles de données peuvent figurer dans n'importe quel format pris en charge Région AWS, mais tous les ensembles de données d'une même subvention ou d'un seul produit doivent être identiques Région AWS.

Structure de l'ensemble de données

Les ensembles de données comportent les paramètres suivants :

{
    "Origin": "OWNED", 
    "AssetType": "S3_SNAPSHOT", 
    "Name": "MyDataSetName", 
    "CreatedAt": "2019-09-09T19:31:49.704Z", 
    "UpdatedAt": "2019-09-09T19:31:49.704Z", 
    "Id": "fEXAMPLE1fd9a5c8b0d2e6fEXAMPLEe1", 
    "Arn": "arn:aws:dataexchange:us-east-2:123456789109:data-sets/fEXAMPLE1fd9a5c8b0d2e6fEXAMPLEe1", 
    "Description": "This is my data set's description that describes the contents of the data set."
}

Meilleures pratiques en matière d'ensembles de données

En tant que propriétaire d'un ensemble de données, lorsque vous créez et mettez à jour des ensembles de données, tenez compte des bonnes pratiques suivantes :

Étiquettes

Vous pouvez ajouter des balises à vos propres ensembles de données et à leurs révisions. Lorsque vous utilisez le balisage, vous pouvez également utiliser le contrôle d'accès basé sur les balises dans les politiques Gestion des identités et des accès AWS (IAM) pour contrôler l'accès à ces ensembles de données et à ces révisions.

Les ensembles de données autorisés ne peuvent pas être balisés. Les balises des ensembles de données détenus et leurs révisions ne sont pas propagées aux versions autorisées correspondantes. Plus précisément, les destinataires ou les abonnés qui ont un accès en lecture seule aux ensembles de données autorisés et aux révisions ne verront pas les balises de l'ensemble de données dont ils étaient propriétaires à l'origine.