從 Amazon S3 儲存貯體中的文字檔案將資料載入 Amazon Aurora MySQL 資料庫叢集

您可以使用 LOAD DATA FROM S3 或 LOAD XML FROM S3 陳述式，從存放在 Amazon S3 儲存貯體的檔案載入資料。在 Aurora MySQL 中，檔案會先儲存在本機磁碟上，然後匯入資料庫。匯入資料庫完成後，系統會刪除本機檔案。

授權 Aurora 存取 Amazon S3

您必須先授權 Aurora MySQL 資料庫叢集存取 Amazon S3，才能從 Amazon S3 儲存貯體載入資料。

授權在 Amazon Aurora MySQL 中載入資料

發出 LOAD DATA FROM S3 或 LOAD XML FROM S3 陳述式的資料庫使用者必須具備特定的角色或權限，才能發出任一陳述式。在 Aurora MySQL 第 3 版中，您授予 AWS_LOAD_S3_ACCESS 角色。在 Aurora MySQL 第 2 版中，您授予 LOAD FROM S3 權限。根據預設，會將適當的角色或權限授予資料庫叢集的管理使用者。您可以使用下列其中一個陳述式，將此權限授予另一個使用者。

請針對 Aurora MySQL 第 3 版使用下列陳述式：

GRANT AWS_LOAD_S3_ACCESS TO 'user'@'domain-or-ip-address'

請針對 Aurora MySQL 第 2 版使用下列陳述式：

GRANT LOAD FROM S3 ON *.* TO 'user'@'domain-or-ip-address'

AWS_LOAD_S3_ACCESS 角色和 LOAD FROM S3 權限是 Amazon Aurora MySQL 特定的，而且不適用於外部 MySQL 資料庫或 RDS for MySQL 資料庫執行個體。如果您在 Aurora 資料庫叢集 (複寫來源) 和 MySQL 資料庫 (複寫用戶端) 之間設定複寫，則角色或權限的 GRANT 陳述式會導致複寫停止並產生錯誤。您可以放心略過此錯誤並繼續複寫。若要在 RDS for MySQL 執行個體上略過此錯誤，請使用 mysql_rds_skip_repl_error 程序。若要略過外部 MySQL 資料庫上的錯誤，請使用 slave_skip_errors 系統變數 (Aurora MySQL 第 2 版) 或 replica_skip_errors 系統變數 (Aurora MySQL 第 3 版)。

指定 Amazon S3 儲存貯體的路徑 (URI)

對存放於 Amazon S3 儲存貯體中的檔案，指定路徑 (URI) 的語法如下。

s3-region://amzn-s3-demo-bucket/file-name-or-prefix

路徑包含以下值：

LOAD DATA FROM S3

您可以使用 LOAD DATA FROM S3 陳述式從 MySQL LOAD DATA INFILE 陳述式支援的任何文字檔案格式中載入資料，例如以逗號分隔的文字資料。不支援壓縮檔案。

語法

LOAD DATA [FROM] S3 [FILE | PREFIX | MANIFEST] 'S3-URI'
    [REPLACE | IGNORE]
    INTO TABLE tbl_name
    [PARTITION (partition_name,...)]
    [CHARACTER SET charset_name]
    [{FIELDS | COLUMNS}
        [TERMINATED BY 'string']
        [[OPTIONALLY] ENCLOSED BY 'char']
        [ESCAPED BY 'char']
    ]
    [LINES
        [STARTING BY 'string']
        [TERMINATED BY 'string']
    ]
    [IGNORE number {LINES | ROWS}]
    [(col_name_or_user_var,...)]
    [SET col_name = expr,...]

參數

LOAD DATA FROM S3 陳述式會使用下列必要和選用參數。您可以在 MySQL 文件的 LOAD DATA 陳述式中找到某些參數的詳細資訊。

如果您從 Amazon S3 儲存貯體載入資料，則無法使用 LOAD DATA FROM S3 陳述式的 LOCAL 關鍵字。

使用資訊清單指定要載入的資料檔案

您可以使用 LOAD DATA FROM S3 陳述式搭配 MANIFEST 關鍵字，以指定 JSON 格式的資訊清單檔案，其中列出要在資料庫叢集的資料表中載入的文字檔案。

下列 JSON 結構描述說明資訊清單檔案的格式和內容。

{
    "$schema": "http://json-schema.org/draft-04/schema#",
    "additionalProperties": false,
    "definitions": {},
    "id": "Aurora_LoadFromS3_Manifest",
    "properties": {
        "entries": {
            "additionalItems": false,
            "id": "/properties/entries",
            "items": {
                "additionalProperties": false,
                "id": "/properties/entries/items",
                "properties": {
                    "mandatory": {
                        "default": "false",
                        "id": "/properties/entries/items/properties/mandatory",
                        "type": "boolean"
                    },
                    "url": {
                        "id": "/properties/entries/items/properties/url",
                        "maxLength": 1024,
                        "minLength": 1,
                        "type": "string"
                    }
                },
                "required": [
                    "url"
                ],
                "type": "object"
            },
            "type": "array",
            "uniqueItems": true
        }
    },
    "required": [
        "entries"
    ],
    "type": "object"
}

資訊清單檔案中的每個 url 必須指定 URL 和儲存貯體名稱，以及檔案的完整物件路徑，而不只是字首。您可以使用資訊清單從不同儲存貯體、不同區域載入檔案，或載入不共用相同字首的檔案。如果 URL 中未指定某個區域，則會使用目標 Aurora 資料庫叢集的區域。下列範例顯示的資訊清單檔案會從不同儲存貯體載入四個檔案。

{
  "entries": [
    {
      "url":"s3://aurora-bucket/2013-10-04-customerdata", 
      "mandatory":true
    },
    {
      "url":"s3-us-west-2://aurora-bucket-usw2/2013-10-05-customerdata",
      "mandatory":true
    },
    {
      "url":"s3://aurora-bucket/2013-10-04-customerdata", 
      "mandatory":false
    },
    {
      "url":"s3://aurora-bucket/2013-10-05-customerdata"
    }
  ]
}

選用的 mandatory 旗標指定如果找不到檔案時，LOAD DATA FROM S3 是否傳回錯誤。mandatory 旗標預設為 false。無論 mandatory 如何設定，如果找不到檔案，LOAD DATA FROM S3 就會終止。

資訊清單檔案可以有任何副檔名。下列範例會搭配上一個範例中的資訊清單 (名為 LOAD DATA FROM S3) 執行 customer.manifest 陳述式。

LOAD DATA FROM S3 MANIFEST 's3-us-west-2://aurora-bucket/customer.manifest'
    INTO TABLE CUSTOMER
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (ID, FIRSTNAME, LASTNAME, EMAIL);

陳述式完成之後，每個成功載入的檔案都有一個項目寫入 aurora_s3_load_history 資料表中。

使用 aurora_s3_load_history 資料表來驗證載入的檔案

每個成功的 LOAD DATA FROM S3 陳述式會針對每個已載入的檔案，以一個項目更新 aurora_s3_load_history 結構描述中的 mysql 資料表。

執行 LOAD DATA FROM S3 陳述式之後，您可以查詢 aurora_s3_load_history 資料表來驗證已載入哪些檔案。若要查看反覆運算之陳述式所載入的檔案，請依陳述式中使用的資訊清單檔案，使用 WHERE 子句來篩選 Amazon S3 URI 上的記錄。如果您之前已用過相同的資訊清單檔案，請使用 timestamp 欄位來篩選結果。

select * from mysql.aurora_s3_load_history where load_prefix = 'S3_URI';

下表描述 aurora_s3_load_history 資料表中的欄位。

範例

下列陳述式從 Aurora 資料庫叢集所在同一個區域中的 Amazon S3 儲存貯體載入資料。此陳述式從 amzn-s3-demo-bucket Amazon S3 儲存貯體中的檔案 customerdata.txt 讀取逗號分隔資料，然後將資料載入資料表 store-schema.customer-table。

LOAD DATA FROM S3 's3://amzn-s3-demo-bucket/customerdata.csv' 
    INTO TABLE store-schema.customer-table
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (ID, FIRSTNAME, LASTNAME, ADDRESS, EMAIL, PHONE);

下列陳述式從不是位於 Aurora 資料庫叢集所在區域中的 Amazon S3 儲存貯體載入資料。此陳述式在 us-west-2 區域的 amzn-s3-demo-bucket Amazon S3 儲存貯體中，從符合 employee-data 物件字首的所有檔案中讀取逗號分隔資料，然後將資料載入 employees 資料表。

LOAD DATA FROM S3 PREFIX 's3-us-west-2://amzn-s3-demo-bucket/employee_data'
    INTO TABLE employees
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (ID, FIRSTNAME, LASTNAME, EMAIL, SALARY);              

下列陳述式從名為 q1_sales.json 的 JSON 資訊清單檔案所指定的檔案中，將資料載入 sales 資料表。

LOAD DATA FROM S3 MANIFEST 's3-us-west-2://amzn-s3-demo-bucket1/q1_sales.json'
    INTO TABLE sales
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (MONTH, STORE, GROSS, NET);

LOAD XML FROM S3

您可以使用 LOAD XML FROM S3 陳述式，從存放在 Amazon S3 儲存貯體的 XML 檔案 (有三種不同的 XML 格式) 載入資料：

語法

LOAD XML FROM S3 'S3-URI'
    [REPLACE | IGNORE]
    INTO TABLE tbl_name
    [PARTITION (partition_name,...)]
    [CHARACTER SET charset_name]
    [ROWS IDENTIFIED BY '<element-name>']
    [IGNORE number {LINES | ROWS}]
    [(field_name_or_user_var,...)]
    [SET col_name = expr,...]

參數

LOAD XML FROM S3 陳述式會使用下列必要和選用參數。您可以在 MySQL 文件的 LOAD XML 陳述式中找到某些參數的詳細資訊。