Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memuat data ke dalam cluster Amazon Aurora My SQL DB dari file teks di bucket Amazon S3

Anda dapat menggunakan pernyataan LOAD DATA FROM S3 atau LOAD XML FROM S3 untuk memuat data dari file yang tersimpan di bucket Amazon S3. Di Aurora MySQL, file pertama kali disimpan di disk lokal, dan kemudian diimpor ke database. Setelah impor ke database selesai, file lokal dihapus.

Memberi Aurora akses ke Amazon S3

Sebelum Anda dapat memuat data dari bucket Amazon S3, Anda harus terlebih dahulu memberikan izin klaster Aurora My SQL DB Anda untuk mengakses Amazon S3.

Memberikan hak istimewa untuk memuat data di Amazon Aurora My SQL

Pengguna basis data yang mengeluarkan pernyataan LOAD XML FROM S3 atau LOAD DATA FROM S3 harus memiliki peran atau hak akses tertentu untuk mengeluarkan pernyataan. Di Aurora My SQL versi 3, Anda memberikan peran tersebut. AWS_LOAD_S3_ACCESS Di Aurora My SQL versi 2, Anda memberikan hak istimewa. LOAD FROM S3 Pengguna administratif untuk klaster DB akan diberi peran atau hak akses yang sesuai secara default. Anda dapat memberikan hak akses kepada pengguna lain dengan menggunakan salah satu pernyataan berikut.

Gunakan pernyataan berikut untuk Aurora My SQL versi 3:

GRANT AWS_LOAD_S3_ACCESS TO 'user'@'domain-or-ip-address'

Gunakan pernyataan berikut untuk Aurora My SQL versi 2:

GRANT LOAD FROM S3 ON *.* TO 'user'@'domain-or-ip-address'

AWS_LOAD_S3_ACCESSPeran dan LOAD FROM S3 hak istimewa khusus untuk Amazon Aurora dan tidak tersedia untuk database SQL Saya eksternal RDS atau untuk SQL instans DB Saya. Jika Anda telah menyiapkan replikasi antara cluster Aurora DB sebagai sumber replikasi dan database SQL Saya sebagai klien replikasi, maka GRANT pernyataan untuk peran atau hak istimewa menyebabkan replikasi berhenti dengan kesalahan. Anda dapat melewati kesalahan ini dengan aman untuk melanjutkan replikasi. Untuk melewati kesalahan pada SQL instance RDS Saya, gunakan prosedur mysql_rds_skip_repl_error. Untuk melewati kesalahan pada SQL database Saya eksternal, gunakan variabel sistem slave_skip_errors (Aurora My version 2) atau variabel sistem replica_skip_errors (Aurora SQL My version 3). SQL

Menentukan path (URI) ke bucket Amazon S3

Sintaks untuk menentukan path (URI) ke file yang disimpan di bucket Amazon S3 adalah sebagai berikut.

s3-region://amzn-s3-demo-bucket/file-name-or-prefix

Jalur tersebut mencakup nilai-nilai berikut:

LOADDATAFROMS3

Anda dapat menggunakan LOAD DATA FROM S3 pernyataan untuk memuat data dari format file teks apa pun yang didukung oleh SQL LOADDATAINFILEpernyataan Saya, seperti data teks yang dibatasi koma. file terkompresi tidak didukung.

Sintaks

LOAD DATA [FROM] S3 [FILE | PREFIX | MANIFEST] 'S3-URI'
    [REPLACE | IGNORE]
    INTO TABLE tbl_name
    [PARTITION (partition_name,...)]
    [CHARACTER SET charset_name]
    [{FIELDS | COLUMNS}
        [TERMINATED BY 'string']
        [[OPTIONALLY] ENCLOSED BY 'char']
        [ESCAPED BY 'char']
    ]
    [LINES
        [STARTING BY 'string']
        [TERMINATED BY 'string']
    ]
    [IGNORE number {LINES | ROWS}]
    [(col_name_or_user_var,...)]
    [SET col_name = expr,...]

Parameter

Pernyataan LOAD DATA FROM S3 menggunakan parameter wajib dan opsional berikut. Anda dapat menemukan detail lebih lanjut tentang beberapa parameter ini di LOADDATAPernyataan di SQL dokumentasi Saya.

Anda tidak dapat menggunakan kata kunci LOCAL dari pernyataan LOAD DATA FROM S3 jika memuat data dari bucket Amazon S3.

Menggunakan manifes untuk menentukan file data yang akan dimuat

Anda dapat menggunakan LOAD DATA FROM S3 pernyataan dengan MANIFEST kata kunci untuk menentukan file manifes dalam JSON format yang mencantumkan file teks yang akan dimuat ke dalam tabel di cluster DB Anda.

JSONSkema berikut menjelaskan format dan isi file manifes.

{
    "$schema": "http://json-schema.org/draft-04/schema#",
    "additionalProperties": false,
    "definitions": {},
    "id": "Aurora_LoadFromS3_Manifest",
    "properties": {
        "entries": {
            "additionalItems": false,
            "id": "/properties/entries",
            "items": {
                "additionalProperties": false,
                "id": "/properties/entries/items",
                "properties": {
                    "mandatory": {
                        "default": "false",
                        "id": "/properties/entries/items/properties/mandatory",
                        "type": "boolean"
                    },
                    "url": {
                        "id": "/properties/entries/items/properties/url",
                        "maxLength": 1024,
                        "minLength": 1,
                        "type": "string"
                    }
                },
                "required": [
                    "url"
                ],
                "type": "object"
            },
            "type": "array",
            "uniqueItems": true
        }
    },
    "required": [
        "entries"
    ],
    "type": "object"
}

Masing-masing url dalam manifes harus menentukan a URL dengan nama bucket dan path objek lengkap untuk file tersebut, bukan hanya awalan. Anda dapat menggunakan manifes untuk memuat file dari bucket yang berbeda-beda, wilayah yang berbeda-beda, atau file yang tidak memiliki awalan yang sama. Jika suatu wilayah tidak ditentukan dalamURL, wilayah cluster DB Aurora target digunakan. Contoh berikut menunjukkan file manifes yang memuat empat file dari bucket yang berbeda.

{
  "entries": [
    {
      "url":"s3://aurora-bucket/2013-10-04-customerdata", 
      "mandatory":true
    },
    {
      "url":"s3-us-west-2://aurora-bucket-usw2/2013-10-05-customerdata",
      "mandatory":true
    },
    {
      "url":"s3://aurora-bucket/2013-10-04-customerdata", 
      "mandatory":false
    },
    {
      "url":"s3://aurora-bucket/2013-10-05-customerdata"
    }
  ]
}

Flag mandatory opsional menentukan apakah LOAD DATA FROM S3 harus menampilkan kesalahan jika file tidak ditemukan. Flag mandatory diatur secara default ke false. Terlepas dari cara mandatory diatur, LOAD DATA FROM S3 akan diterminasi jika tidak ada file yang ditemukan.

File manifes dapat memiliki ekstensi. Contoh berikut menjalankan pernyataan LOAD DATA FROM S3 dengan manifes di contoh sebelumnya, yang bernama customer.manifest.

LOAD DATA FROM S3 MANIFEST 's3-us-west-2://aurora-bucket/customer.manifest'
    INTO TABLE CUSTOMER
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (ID, FIRSTNAME, LASTNAME, EMAIL);

Setelah pernyataan selesai, entri untuk setiap file yang berhasil dimuat akan ditulis ke tabel aurora_s3_load_history.

Memverifikasi file yang dimuat menggunakan tabel aurora_s3_load_history

Setiap pernyataan LOAD DATA FROM S3 yang berhasil akan memperbarui tabel aurora_s3_load_history dalam skema mysql dengan entri untuk setiap file yang dimuat.

Setelah Anda menjalankan pernyataan LOAD DATA FROM S3, Anda dapat memverifikasi file mana yang dimuat dengan mengueri tabel aurora_s3_load_history. Untuk melihat file yang dimuat dari satu iterasi pernyataan, gunakan WHERE klausa untuk memfilter catatan di Amazon URI S3 untuk file manifes yang digunakan dalam pernyataan. Jika Anda telah menggunakan file manifes yang sama sebelumnya, filter hasilnya menggunakan bidang timestamp.

select * from mysql.aurora_s3_load_history where load_prefix = 'S3_URI';

Tabel berikut menjelaskan bidang dalam tabel aurora_s3_load_history.

Contoh

Pernyataan berikut memuat data dari bucket Amazon S3 yang berada di wilayah yang sama dengan klaster DB Aurora. Pernyataan tersebut membaca data yang dibatasi koma dalam file customerdata.txt yang ada di amzn-s3-demo-bucket Bucket Amazon S3, lalu memuat data ke dalam tabel. store-schema.customer-table

LOAD DATA FROM S3 's3://amzn-s3-demo-bucket/customerdata.csv' 
    INTO TABLE store-schema.customer-table
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (ID, FIRSTNAME, LASTNAME, ADDRESS, EMAIL, PHONE);

Pernyataan berikut memuat data dari bucket Amazon S3 yang berada di wilayah yang berbeda dari klaster DB Aurora. Pernyataan tersebut membaca data yang dibatasi koma dari semua file yang cocok dengan awalan objek di employee-data amzn-s3-demo-bucket Amazon S3 bucket di us-west-2 wilayah tersebut, lalu memuat data ke dalam tabel. employees

LOAD DATA FROM S3 PREFIX 's3-us-west-2://amzn-s3-demo-bucket/employee_data'
    INTO TABLE employees
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (ID, FIRSTNAME, LASTNAME, EMAIL, SALARY);              

Pernyataan berikut memuat data dari file yang ditentukan dalam file JSON manifes bernama q1_sales.json ke dalam tabel. sales

LOAD DATA FROM S3 MANIFEST 's3-us-west-2://amzn-s3-demo-bucket1/q1_sales.json'
    INTO TABLE sales
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (MONTH, STORE, GROSS, NET);

LOADXMLFROMS3

Anda dapat menggunakan LOAD XML FROM S3 pernyataan untuk memuat data dari XML file yang disimpan di bucket Amazon S3 dalam salah satu dari tiga format berbedaXML:

Sintaksis

LOAD XML FROM S3 'S3-URI'
    [REPLACE | IGNORE]
    INTO TABLE tbl_name
    [PARTITION (partition_name,...)]
    [CHARACTER SET charset_name]
    [ROWS IDENTIFIED BY '<element-name>']
    [IGNORE number {LINES | ROWS}]
    [(field_name_or_user_var,...)]
    [SET col_name = expr,...]

Parameter

Pernyataan LOAD XML FROM S3 menggunakan parameter wajib dan opsional berikut. Anda dapat menemukan detail lebih lanjut tentang beberapa parameter ini di LOADXMLPernyataan di SQL dokumentasi Saya.