Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Enregistrement de données d’un cluster de bases de données Amazon Aurora MySQL dans des fichiers texte stockés dans un compartiment Amazon S3

Vous pouvez utiliser l’instruction SELECT INTO OUTFILE S3 pour interroger les données d’un cluster de bases de données Amazon Aurora MySQL et les enregistrer dans des fichiers texte stockés dans un compartiment Amazon S3. Dans Aurora MySQL, les fichiers sont d’abord stockés sur le disque local, puis exportés vers S3. Une fois les exportations terminées, les fichiers locaux sont supprimés.

Vous pouvez chiffrer le compartiment Amazon S3 à l’aide d’une clé gérée par Amazon S3 (SSE-S3) ou d’une AWS KMS key (SSE-KMS : Clé gérée par AWS ou clé gérée par le client).

L’instruction LOAD DATA FROM S3 peut utiliser les fichiers créés par l’instruction SELECT INTO OUTFILE S3 pour charger les données dans un cluster de bases de données Aurora. Pour plus d’informations, consultez Chargement de données dans un cluster de bases de données Amazon Aurora MySQL à partir de fichiers texte stockés dans un compartiment Amazon S3.

Octroi à Aurora MySQL d’un accès à Amazon S3

Pour pouvoir enregistrer des données dans un compartiment Amazon S3, vous devez d’abord octroyer à votre cluster de bases de données Aurora MySQL une autorisation d’accès à Amazon S3.

Accord de privilèges permettant d’enregistrer des données dans Aurora MySQL

L’utilisateur de base de données qui émet l’instruction SELECT INTO OUTFILE S3 doit avoir un rôle ou un privilège spécifique. Dans Aurora MySQL version 3, vous accordez le rôle AWS_SELECT_S3_ACCESS. Dans Aurora MySQL version 2, vous accordez le privilège SELECT INTO S3. L’utilisateur administratif d’un cluster de bases de données reçoit le rôle ou le privilège approprié par défaut. Vous pouvez accorder le privilège à un autre utilisateur à l’aide des instructions suivantes.

Utilisez l’instruction suivante pour Aurora MySQL version 3 :

GRANT AWS_SELECT_S3_ACCESS TO 'user'@'domain-or-ip-address'

Utilisez l’instruction suivante pour Aurora MySQL version 2 :

GRANT SELECT INTO S3 ON *.* TO 'user'@'domain-or-ip-address'

Le rôle AWS_SELECT_S3_ACCESS et le privilège SELECT INTO S3 sont propres à Amazon Aurora MySQL et ne sont pas disponibles pour les bases de données MySQL ou les instances de base de données RDS for MySQL. Si vous avez configuré la réplication entre un cluster de bases de données Aurora MySQL faisant office de source de réplication et une base de données MySQL faisant office de client de réplication, l’instruction GRANT pour le rôle ou le privilège entraîne l’arrêt de la réplication avec une erreur. Vous pouvez ignorer sans risque l’erreur afin de reprendre la réplication. Pour ignorer l’erreur sur une instance de base de données RDS for MySQL, utilisez la procédure mysql_rds_skip_repl_error. Pour ignorer l’erreur sur une base de données MySQL externe, utilisez la variable système slave_skip_errors (Aurora MySQL version 2) ou la variable système replica_skip_errors (Aurora MySQL version 3).

Spécification d’un chemin d’accès à un compartiment Amazon S3

La syntaxe permettant de spécifier le chemin de l’emplacement de stockage des données et des fichiers manifeste dans un compartiment Amazon S3 est similaire à celle utilisée dans l’instruction LOAD DATA FROM S3 PREFIX, comme indiqué ci-dessous.

s3-region://bucket-name/file-prefix

Le chemin d’accès inclut les valeurs suivantes :

Les fichiers de données créés par l’instruction SELECT INTO OUTFILE S3 utilisent le chemin suivant, dans lequel 00000 représente un nombre entier de base zéro à 5 chiffres.

s3-region://bucket-name/file-prefix.part_00000

Par exemple, supposez qu’une instruction SELECT INTO OUTFILE S3 spécifie s3-us-west-2://bucket/prefix comme chemin d’accès dans lequel stocker les fichiers de données et crée trois fichiers de données. Le compartiment Amazon S3 spécifié contient les fichiers de données suivants.

Création d’un manifeste pour répertorier les fichiers de données

Vous pouvez utiliser l’instruction SELECT INTO OUTFILE S3 avec l’option MANIFEST ON pour créer un fichier manifeste au format JSON qui répertorie les fichiers texte créés par l’instruction. L’instruction LOAD DATA FROM S3 peut utiliser le fichier manifeste pour recharger les fichiers de données dans un cluster de bases de données Aurora MySQL. Pour plus d’informations sur l’utilisation d’un manifeste pour charger des fichiers de données dans un cluster de bases de données Aurora MySQL à partir d’Amazon S3, consultez Utilisation d’un manifeste pour spécifier les fichiers de données à charger.

Les fichiers de données inclus dans le manifeste créé par l’instruction SELECT INTO OUTFILE S3 sont répertoriés dans l’ordre dans lequel ils sont créés par l’instruction. Par exemple, supposez qu’une instruction SELECT INTO OUTFILE S3 spécifie s3-us-west-2://bucket/prefix comme chemin d’accès dans lequel stocker les fichiers de données, et crée trois fichiers de données et un fichier manifeste. Le compartiment Amazon S3 spécifié contient un fichier manifeste nommé s3-us-west-2://bucket/prefix.manifest, qui contient les informations suivantes.

{
  "entries": [
    {
      "url":"s3-us-west-2://bucket/prefix.part_00000"
    },
    {
      "url":"s3-us-west-2://bucket/prefix.part_00001"
    },
    {
      "url":"s3-us-west-2://bucket/prefix.part_00002"
    }
  ]
}

SELECT INTO OUTFILE S3

Vous pouvez utiliser l’instruction SELECT INTO OUTFILE S3 pour interroger les données d’un cluster de bases de données et les enregistrer directement dans des fichiers texte délimités stockés dans un compartiment Amazon S3.

Les fichiers compressés ne sont pas pris en charge. Les fichiers chiffrés sont pris en charge à partir d’Aurora MySQL version 2.09.0.

Syntaxe

SELECT
    [ALL | DISTINCT | DISTINCTROW ]
        [HIGH_PRIORITY]
        [STRAIGHT_JOIN]
        [SQL_SMALL_RESULT] [SQL_BIG_RESULT] [SQL_BUFFER_RESULT]
        [SQL_CACHE | SQL_NO_CACHE] [SQL_CALC_FOUND_ROWS]
    select_expr [, select_expr ...]
    [FROM table_references
        [PARTITION partition_list]
    [WHERE where_condition]
    [GROUP BY {col_name | expr | position}
        [ASC | DESC], ... [WITH ROLLUP]]
    [HAVING where_condition]
    [ORDER BY {col_name | expr | position}
         [ASC | DESC], ...]
    [LIMIT {[offset,] row_count | row_count OFFSET offset}]
INTO OUTFILE S3 's3_uri'
[CHARACTER SET charset_name]
    [export_options]
    [MANIFEST {ON | OFF}]
    [OVERWRITE {ON | OFF}]
    [ENCRYPTION {ON | OFF | SSE_S3 | SSE_KMS ['cmk_id']}]

export_options:
    [FORMAT {CSV|TEXT} [HEADER]]
    [{FIELDS | COLUMNS}
        [TERMINATED BY 'string']
        [[OPTIONALLY] ENCLOSED BY 'char']
        [ESCAPED BY 'char']
    ]
    [LINES
        [STARTING BY 'string']
        [TERMINATED BY 'string']
]

Paramètres

L’instruction SELECT INTO OUTFILE S3 utilise les paramètres obligatoires et facultatifs suivants, spécifiques à Aurora.

Pour plus d’informations sur les autres paramètres, consultez Instruction SELECT et Instruction LOAD DATA, dans la documentation sur MySQL.

Considérations

Le nombre de fichiers écrits dans le compartiment Amazon S3 dépend de la quantité de données sélectionnées par l’instruction SELECT INTO OUTFILE S3 et du seuil de taille de fichier défini pour Aurora MySQL. Le seuil de taille de fichier par défaut est de 6 giga-octets (Go). Si les données sélectionnées par l’instruction sont inférieures au seuil de taille de fichier, un fichier unique est créé. Dans le cas contraire, plusieurs fichiers sont créés. Autres considérations relatives aux fichiers créés par cette instruction :

L’instruction SELECT INTO OUTFILE S3 retourne une réponse et un numéro d’erreur MySQL standard en cas de réussite ou d’échec. Si vous n’avez pas accès à la réponse et au numéro d’erreur MySQL, la façon la plus simple d’être informé de la conclusion de l’opération consiste à spécifier MANIFEST ON dans l’instruction. Le fichier manifeste est le dernier fichier écrit par l’instruction. En d’autres termes, si vous disposez d’un fichier manifeste, cela signifie que l’instruction est terminée.

Actuellement, il n’existe aucun moyen de surveiller directement la progression de l’instruction SELECT INTO OUTFILE S3 pendant son exécution. Toutefois, supposons que vous écrivez une grande quantité de données d’Aurora MySQL vers Amazon S3 à l’aide de cette instruction et que vous connaissez la taille des données sélectionnées par l’instruction. Dans ce cas, vous pouvez estimer la progression en surveillant la création des fichiers de données dans Amazon S3.

Pour ce faire, vous pouvez utiliser le fait qu’un fichier de données est créé dans le compartiment Amazon S3 spécifié pour environ 6 Go de données sélectionnées par l’instruction. Divisez la taille des données sélectionnées par 6 Go pour obtenir une estimation du nombre de fichiers de données à créer. Vous pouvez alors estimer la progression de l’instruction en surveillant le nombre de fichiers chargés vers Amazon S3 pendant son exécution.

Exemples

L’instruction ci-dessous sélectionne toutes les données de la table employees et les enregistre dans un compartiment Amazon S3 situé dans une région différente de celle du cluster de bases de données Aurora MySQL. L’instruction crée des fichiers de données dans lesquels chaque champ se termine par une virgule (,) et chaque ligne par un caractère de saut de ligne (\n). L’instruction renvoie une erreur si des fichiers correspondant au préfixe de fichier sample_employee_data existent dans le compartiment Amazon S3 spécifié.

SELECT * FROM employees INTO OUTFILE S3 's3-us-west-2://aurora-select-into-s3-pdx/sample_employee_data'
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n';

L’instruction suivante sélectionne toutes les données de la table employees et les enregistre dans un compartiment Amazon S3 situé dans la même région que le cluster de bases de données Aurora MySQL. L’instruction crée des fichiers de données dans lesquels chaque champ se termine par une virgule (,) et chaque ligne par un caractère de saut de ligne (\n), et crée également un fichier manifeste. L’instruction renvoie une erreur si des fichiers correspondant au préfixe de fichier sample_employee_data existent dans le compartiment Amazon S3 spécifié.

SELECT * FROM employees INTO OUTFILE S3 's3://aurora-select-into-s3-pdx/sample_employee_data'
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    MANIFEST ON;

L’instruction ci-dessous sélectionne toutes les données de la table employees et les enregistre dans un compartiment Amazon S3 situé dans une région différente de celle du cluster de bases de données Aurora. L’instruction crée des fichiers de données dans lesquels chaque champ se termine par une virgule (,) et chaque ligne par un caractère de saut de ligne (\n). L’instruction remplace tout fichier existant correspondant au préfixe de fichier sample_employee_data dans le compartiment Amazon S3 spécifié.

SELECT * FROM employees INTO OUTFILE S3 's3-us-west-2://aurora-select-into-s3-pdx/sample_employee_data'
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    OVERWRITE ON;

L’instruction suivante sélectionne toutes les données de la table employees et les enregistre dans un compartiment Amazon S3 situé dans la même région que le cluster de bases de données Aurora MySQL. L’instruction crée des fichiers de données dans lesquels chaque champ se termine par une virgule (,) et chaque ligne par un caractère de saut de ligne (\n), et crée également un fichier manifeste. L’instruction remplace tout fichier existant correspondant au préfixe de fichier sample_employee_data dans le compartiment Amazon S3 spécifié.

SELECT * FROM employees INTO OUTFILE S3 's3://aurora-select-into-s3-pdx/sample_employee_data'
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    MANIFEST ON
    OVERWRITE ON;