Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Menggunakan pipeline OpenSearch Ingestion dengan Amazon RDS
Anda dapat menggunakan pipeline OpenSearch Ingestion dengan Amazon RDS untuk mengekspor data yang ada dan mengalirkan perubahan (seperti membuat, memperbarui, dan menghapus) ke domain dan koleksi OpenSearch Layanan Amazon. Pipeline OpenSearch Ingestion menggabungkan infrastruktur change data capture (CDC) untuk menyediakan cara berskala tinggi dan latensi rendah untuk terus mengalirkan data dari Amazon RDS. RDS untuk MySQL dan RDS untuk PostgreSQL didukung.
Ada dua cara agar Anda dapat menggunakan Amazon RDS sebagai sumber untuk memproses data—dengan atau tanpa snapshot awal lengkap. Snapshot awal lengkap adalah snapshot dari tabel tertentu dan snapshot ini diekspor ke Amazon S3. Dari sana, pipa OpenSearch Ingestion mengirimkannya ke satu indeks dalam domain, atau mempartisinya ke beberapa indeks dalam domain. Untuk menjaga data di Amazon RDS dan OpenSearch konsisten, pipeline menyinkronkan semua peristiwa buat, perbarui, dan hapus dalam tabel di instans Amazon RDS dengan dokumen yang disimpan dalam indeks atau indeks. OpenSearch
Saat Anda menggunakan snapshot awal lengkap, pipeline OpenSearch Ingestion Anda pertama-tama akan menyerap snapshot dan kemudian mulai membaca data dari aliran perubahan Amazon RDS. Ini akhirnya mengejar dan mempertahankan konsistensi data hampir real-time antara Amazon RDS dan. OpenSearch
Anda juga dapat menggunakan integrasi OpenSearch Ingestion dengan Amazon RDS untuk melacak pengambilan data perubahan dan menelan semua pembaruan di Aurora ke. OpenSearch Pilih opsi ini jika Anda sudah memiliki snapshot lengkap dari beberapa mekanisme lain, atau jika Anda hanya ingin menangkap semua perubahan pada data dalam instance Amazon RDS.
Ketika Anda memilih opsi ini, Anda perlu [mengonfigurasi Amazon RDS untuk pencatatan biner MySQL atau mengatur replikasi logis untuk Amazon RDS](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_LogAccess.MySQL.BinaryFormat.html) [untuk](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Appendix.PostgreSQL.CommonDBATasks.pglogical.setup-replication.html) instance PostgressQL DB.
**Topics**
+ [
# RDS for MySQL
](rds-mysql.md)
+ [
# RDS for PostgreSQL
](rds-PostgreSQL.md)
# RDS for MySQL
Selesaikan langkah-langkah berikut untuk mengonfigurasi pipeline OpenSearch Ingestion dengan Amazon RDS untuk RDS untuk MySQL.
**Topics**
+ [
## RDS untuk prasyarat MySQL
](#rds-mysql-prereqs)
+ [
## Langkah 1: Konfigurasikan peran pipeline
](#rds-mysql-pipeline-role)
+ [
## Langkah 2: Buat pipa
](#rds-mysql-pipeline)
+ [
## Konsistensi data
](#rds-mysql-pipeline-consistency)
+ [
## Pemetaan tipe data
](#rds-mysql-pipeline-mapping)
+ [
## Batasan
](#rds-mysql-pipeline-limitations)
+ [
## CloudWatch Alarm yang Direkomendasikan
](#aurora-mysql-pipeline-metrics)
## RDS untuk prasyarat MySQL
Sebelum Anda membuat pipeline OpenSearch Ingestion, lakukan langkah-langkah berikut:
1. Buat grup parameter DB kustom di Amazon RDS untuk mengonfigurasi logging biner dan mengatur parameter berikut.
```
binlog_format=ROW
binlog_row_image=full
binlog_row_metadata=FULL
```
Selain itu, pastikan `binlog_row_value_options` parameter tidak disetel ke`PARTIAL_JSON`.
Untuk informasi selengkapnya, lihat [Mengkonfigurasi RDS untuk pencatatan biner MySQL](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_LogAccess.MySQL.BinaryFormat.html).
1. [Pilih atau buat RDS untuk instance MySQL DB](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_CreateDBInstance.html) dan kaitkan grup parameter yang dibuat pada langkah sebelumnya dengan instans DB.
1. Verifikasi bahwa backup otomatis diaktifkan pada database. Untuk informasi selengkapnya, lihat [Mengaktifkan pencadangan otomatis](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_WorkingWithAutomatedBackups.Enabling.html).
1. Konfigurasikan retensi log biner dengan waktu yang cukup untuk replikasi terjadi, misalnya 24 jam. Untuk informasi selengkapnya, lihat [Menyetel dan menampilkan konfigurasi log biner](https://docs.aws.amazon.com//AmazonRDS/latest/UserGuide/mysql-stored-proc-configuring.html) di *Panduan Pengguna Amazon RDS*.
1. Siapkan autentikasi nama pengguna dan kata sandi di instans Amazon RDS Anda menggunakan [manajemen kata sandi dengan Amazon RDS](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/rds-secrets-manager.html) dan. AWS Secrets Manager Anda juga dapat membuat username/password kombinasi dengan [membuat rahasia Secrets Manager](https://docs.aws.amazon.com/secretsmanager/latest/userguide/create_secret.html).
1. Jika Anda menggunakan fitur snapshot awal lengkap, buat peran AWS KMS key dan IAM untuk mengekspor data dari Amazon RDS ke Amazon S3.
Peran IAM harus memiliki kebijakan izin berikut:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "ExportPolicy",
"Effect": "Allow",
"Action": [
"s3:PutObject*",
"s3:ListBucket",
"s3:GetObject*",
"s3:DeleteObject*",
"s3:GetBucketLocation"
],
"Resource": [
"arn:aws:s3:::s3-bucket-used-in-pipeline",
"arn:aws:s3:::s3-bucket-used-in-pipeline/*"
]
}
]
}
```
------
Peran tersebut juga harus memiliki hubungan kepercayaan berikut:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "export.rds.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
]
}
```
------
1. Pilih atau buat domain OpenSearch Layanan atau koleksi OpenSearch Tanpa Server. Untuk informasi selengkapnya, lihat [Membuat domain OpenSearch Layanan](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/createupdatedomains.html#createdomains) dan [Membuat koleksi](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/serverless-manage.html#serverless-create).
1. Lampirkan [kebijakan berbasis sumber daya ke domain Anda atau kebijakan](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/ac.html#ac-types-resource) [akses data ke koleksi](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/serverless-data-access.html) Anda. Kebijakan akses ini memungkinkan OpenSearch Ingestion untuk menulis data dari instans Amazon RDS DB Anda ke domain atau koleksi Anda.
## Langkah 1: Konfigurasikan peran pipeline
Setelah Anda menyiapkan prasyarat pipeline Amazon RDS, konfigurasikan [peran pipeline yang akan digunakan dalam konfigurasi pipeline](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/pipeline-security-overview.html#pipeline-security-sink) Anda. Tambahkan juga izin berikut untuk sumber Amazon RDS ke peran:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "allowReadingFromS3Buckets",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:DeleteObject",
"s3:GetBucketLocation",
"s3:ListBucket",
"s3:PutObject"
],
"Resource": [
"arn:aws:s3:::s3_bucket",
"arn:aws:s3:::s3_bucket/*"
]
},
{
"Sid": "allowNetworkInterfacesActions",
"Effect": "Allow",
"Action": [
"ec2:AttachNetworkInterface",
"ec2:CreateNetworkInterface",
"ec2:CreateNetworkInterfacePermission",
"ec2:DeleteNetworkInterface",
"ec2:DeleteNetworkInterfacePermission",
"ec2:DetachNetworkInterface",
"ec2:DescribeNetworkInterfaces"
],
"Resource": [
"arn:aws:ec2:*:111122223333:network-interface/*",
"arn:aws:ec2:*:111122223333:subnet/*",
"arn:aws:ec2:*:111122223333:security-group/*"
]
},
{
"Sid": "allowDescribeEC2",
"Effect": "Allow",
"Action": [
"ec2:Describe*"
],
"Resource": "*"
},
{
"Sid": "allowTagCreation",
"Effect": "Allow",
"Action": [
"ec2:CreateTags"
],
"Resource": "arn:aws:ec2:*:111122223333:network-interface/*",
"Condition": {
"StringEquals": {
"aws:RequestTag/OSISManaged": "true"
}
}
},
{
"Sid": "AllowDescribeInstances",
"Effect": "Allow",
"Action": [
"rds:DescribeDBInstances"
],
"Resource": [
"arn:aws:rds:us-east-2:111122223333:db:*"
]
},
{
"Sid": "AllowSnapshots",
"Effect": "Allow",
"Action": [
"rds:DescribeDBSnapshots",
"rds:CreateDBSnapshot",
"rds:AddTagsToResource"
],
"Resource": [
"arn:aws:rds:us-east-2:111122223333:db:DB-id",
"arn:aws:rds:us-east-2:111122223333:snapshot:DB-id*"
]
},
{
"Sid": "AllowExport",
"Effect": "Allow",
"Action": [
"rds:StartExportTask"
],
"Resource": [
"arn:aws:rds:us-east-2:111122223333:snapshot:DB-id*"
]
},
{
"Sid": "AllowDescribeExports",
"Effect": "Allow",
"Action": [
"rds:DescribeExportTasks"
],
"Resource": "*",
"Condition": {
"StringEquals": {
"aws:RequestedRegion": "us-east-2",
"aws:ResourceAccount": "111122223333"
}
}
},
{
"Sid": "AllowAccessToKmsForExport",
"Effect": "Allow",
"Action": [
"kms:Decrypt",
"kms:Encrypt",
"kms:DescribeKey",
"kms:RetireGrant",
"kms:CreateGrant",
"kms:ReEncrypt*",
"kms:GenerateDataKey*"
],
"Resource": [
"arn:aws:kms:us-east-2:111122223333:key/export-key-id"
]
},
{
"Sid": "AllowPassingExportRole",
"Effect": "Allow",
"Action": "iam:PassRole",
"Resource": [
"arn:aws:iam::111122223333:role/export-role"
]
},
{
"Sid": "SecretsManagerReadAccess",
"Effect": "Allow",
"Action": [
"secretsmanager:GetSecretValue"
],
"Resource": [
"arn:aws:secretsmanager:*:111122223333:secret:*"
]
}
]
}
```
------
## Langkah 2: Buat pipa
Konfigurasikan pipeline OpenSearch Ingestion yang mirip dengan berikut ini. Contoh pipeline menentukan instance Amazon RDS sebagai sumbernya.
```
version: "2"
rds-mysql-pipeline:
source:
rds:
db_identifier: "instance-id"
engine: mysql
database: "database-name"
tables:
include:
- "table1"
- "table2"
s3_bucket: "bucket-name"
s3_region: "bucket-region"
s3_prefix: "prefix-name"
export:
kms_key_id: "kms-key-id"
iam_role_arn: "export-role-arn"
stream: true
aws:
sts_role_arn: "arn:aws:iam::account-id:role/pipeline-role"
region: "us-east-1"
authentication:
username: ${{aws_secrets:secret:username}}
password: ${{aws_secrets:secret:password}}
sink:
- opensearch:
hosts: ["https://search-mydomain.us-east-1.es.amazonaws.com"]
index: "${getMetadata(\"table_name\")}"
index_type: custom
document_id: "${getMetadata(\"primary_key\")}"
action: "${getMetadata(\"opensearch_action\")}"
document_version: "${getMetadata(\"document_version\")}"
document_version_type: "external"
aws:
sts_role_arn: "arn:aws:iam::account-id:role/pipeline-role"
region: "us-east-1"
extension:
aws:
secrets:
secret:
secret_id: "rds-secret-id"
region: "us-east-1"
sts_role_arn: "arn:aws:iam::account-id:role/pipeline-role"
refresh_interval: PT1H
```
Anda dapat menggunakan cetak biru Amazon RDS yang telah dikonfigurasi sebelumnya untuk membuat pipeline ini. Untuk informasi selengkapnya, lihat [Bekerja dengan cetak biru](pipeline-blueprint.md).
Untuk menggunakan Amazon Aurora sebagai sumber, Anda perlu mengonfigurasi akses VPC untuk pipeline. VPC yang Anda pilih harus VPC yang sama dengan yang digunakan sumber Amazon Aurora Anda. Kemudian pilih satu atau lebih subnet dan satu atau lebih grup keamanan VPC. Perhatikan bahwa pipeline memerlukan akses jaringan ke database MySQL Aurora, jadi Anda juga harus memverifikasi bahwa cluster Aurora Anda dikonfigurasi dengan grup keamanan VPC yang memungkinkan lalu lintas masuk dari grup keamanan VPC pipeline ke port database. Untuk informasi selengkapnya, lihat [Mengontrol akses dengan grup keamanan](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/Overview.RDSSecurityGroups.html).
Jika Anda menggunakan file Konsol Manajemen AWS untuk membuat pipeline, Anda juga harus melampirkan pipeline ke VPC agar dapat menggunakan Amazon Aurora sebagai sumber. Untuk melakukan ini, cari bagian **Konfigurasi jaringan**, pilih **Lampirkan ke VPC**, dan pilih CIDR Anda dari salah satu opsi default yang disediakan, atau pilih sendiri. Anda dapat menggunakan CIDR apa pun dari ruang alamat pribadi seperti yang didefinisikan dalam Praktik Terkini [Terbaik RFC 1918](https://datatracker.ietf.org/doc/html/rfc1918).
Untuk menyediakan CIDR khusus, pilih **Lainnya** dari menu tarik-turun. Untuk menghindari tabrakan dalam alamat IP antara OpenSearch Ingestion dan Amazon RDS, pastikan bahwa Amazon RDS VPC CIDR berbeda dari CIDR untuk Ingestion. OpenSearch
Untuk informasi selengkapnya, lihat [Mengonfigurasi akses VPC untuk pipeline](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/pipeline-security.html#pipeline-vpc-configure).
## Konsistensi data
Pipeline memastikan konsistensi data dengan terus melakukan polling atau menerima perubahan dari instans Amazon RDS dan memperbarui dokumen terkait dalam indeks. OpenSearch
OpenSearch Ingestion mendukung end-to-end pengakuan untuk memastikan daya tahan data. Ketika pipeline membaca snapshot atau stream, ia secara dinamis membuat partisi untuk pemrosesan paralel. Pipeline menandai partisi sebagai lengkap ketika menerima pengakuan setelah menelan semua catatan dalam OpenSearch domain atau koleksi. Jika Anda ingin memasukkan ke dalam koleksi pencarian OpenSearch Tanpa Server, Anda dapat membuat ID dokumen di pipeline. Jika Anda ingin memasukkan koleksi deret waktu OpenSearch Tanpa Server, perhatikan bahwa pipeline tidak menghasilkan ID dokumen, jadi Anda harus menghilangkan konfigurasi sink `document_id: "${getMetadata(\"primary_key\")}"` pipeline.
Pipeline OpenSearch Ingestion juga memetakan tindakan peristiwa yang masuk ke dalam tindakan pengindeksan massal yang sesuai untuk membantu menyerap dokumen. Ini membuat data tetap konsisten, sehingga setiap perubahan data di Amazon RDS direkonsiliasi dengan perubahan dokumen terkait. OpenSearch
## Pemetaan tipe data
OpenSearch Pipeline ingestion memetakan tipe data MySQL ke representasi yang cocok untuk OpenSearch digunakan oleh domain atau koleksi Layanan. Jika tidak ada templat pemetaan yang ditentukan OpenSearch, secara OpenSearch otomatis menentukan jenis bidang dengan [pemetaan dinamis](https://docs.opensearch.org/latest/field-types/#dynamic-mapping) berdasarkan dokumen terkirim pertama. Anda juga dapat secara eksplisit menentukan jenis bidang yang paling sesuai untuk Anda OpenSearch melalui templat pemetaan.
Tabel di bawah ini mencantumkan tipe data MySQL dan OpenSearch jenis bidang yang sesuai. Kolom *Jenis OpenSearch Bidang Default* menunjukkan jenis bidang yang sesuai OpenSearch jika tidak ada pemetaan eksplisit yang ditentukan. Dalam hal ini, OpenSearch secara otomatis menentukan jenis bidang dengan pemetaan dinamis. Kolom *Jenis OpenSearch Bidang yang Direkomendasikan* adalah jenis bidang yang sesuai yang direkomendasikan untuk ditentukan secara eksplisit dalam templat pemetaan. Jenis bidang ini lebih selaras dengan tipe data di MySQL dan biasanya dapat mengaktifkan fitur pencarian yang lebih baik yang tersedia di. OpenSearch
| Tipe Data MySQL | Jenis OpenSearch Bidang Default | Jenis OpenSearch Bidang yang Direkomendasikan |
| --- | --- | --- |
| BIGINT | long | long |
| BIGINT UNSIGNED | long | tidak ditandatangani lama |
| BIT | long | byte, pendek, integer, atau panjang tergantung pada jumlah bit |
| DECIMAL | text | ganda atau kata kunci |
| DOUBLE | float | double |
| FLOAT | float | float |
| INT | long | integer |
| INT UNSIGNED | long | long |
| MEDIUMINT | long | integer |
| MEDIUMINT UNSIGNED | long | integer |
| NUMERIC | text | ganda atau kata kunci |
| SMALLINT | long | pendek |
| SMALLINT UNSIGNED | long | integer |
| TINYINT | long | byte |
| TINYINT UNSIGNED | long | pendek |
| BINARY | text | biner |
| BLOB | text | biner |
| CHAR | text | text |
| ENUM | text | kata kunci |
| LONGBLOB | text | biner |
| LONGTEXT | text | text |
| MEDIUMBLOB | text | biner |
| MEDIUMTEXT | text | text |
| SET | text | kata kunci |
| TEXT | text | text |
| TINYBLOB | text | biner |
| TINYTEXT | text | text |
| VARBINARY | text | biner |
| VARCHAR | text | text |
| DATE | panjang (dalam milidetik zaman) | date |
| DATETIME | panjang (dalam milidetik zaman) | date |
| TIME | panjang (dalam milidetik zaman) | tanggal |
| TIMESTAMP | panjang (dalam milidetik zaman) | date |
| YEAR | panjang (dalam milidetik zaman) | date |
| GEOMETRY | teks (dalam format WKT) | geo\$1shape |
| GEOMETRYCOLLECTION | teks (dalam format WKT) | geo\$1shape |
| LINESTRING | teks (dalam format WKT) | geo\$1shape |
| MULTILINESTRING | teks (dalam format WKT) | geo\$1shape |
| MULTIPOINT | teks (dalam format WKT) | geo\$1shape |
| MULTIPOLYGON | teks (dalam format WKT) | geo\$1shape |
| POINT | teks (dalam format WKT) | geo\$1point atau geo\$1shape |
| POLYGON | teks (dalam format WKT) | geo\$1shape |
| JSON | text | object |
Kami menyarankan Anda mengonfigurasi antrian huruf mati (DLQ) di pipeline Ingestion Anda. OpenSearch Jika Anda telah mengonfigurasi antrian, OpenSearch Layanan mengirimkan semua dokumen gagal yang tidak dapat dicerna karena kegagalan pemetaan dinamis ke antrian.
Jika pemetaan otomatis gagal, Anda dapat menggunakan `template_type` dan `template_content` dalam konfigurasi pipeline untuk menentukan aturan pemetaan eksplisit. Atau, Anda dapat membuat templat pemetaan langsung di domain atau koleksi penelusuran sebelum memulai pipeline.
## Batasan
Pertimbangkan batasan berikut saat Anda menyiapkan pipeline OpenSearch Ingestion untuk RDS untuk MySQL:
+ Integrasi hanya mendukung satu database MySQL per pipeline.
+ Integrasi saat ini tidak mendukung konsumsi data lintas wilayah; instans dan OpenSearch domain Amazon RDS Anda harus sama. Wilayah AWS
+ Integrasi saat ini tidak mendukung konsumsi data lintas akun; instans Amazon RDS dan pipeline OpenSearch Ingestion Anda harus sama. Akun AWS
+ Pastikan instans Amazon RDS mengaktifkan autentikasi menggunakan Secrets Manager, yang merupakan satu-satunya mekanisme autentikasi yang didukung.
+ Konfigurasi pipeline yang ada tidak dapat diperbarui untuk menyerap data dari database yang berbeda dengan tabel and/or yang berbeda. Untuk memperbarui database dan/atau nama tabel pipeline, Anda harus membuat pipeline baru.
+ Pernyataan Data Definition Language (DDL) umumnya tidak didukung. Konsistensi data tidak akan dipertahankan jika:
+ Kunci primer diubah (add/delete/rename).
+ Tabel dijatuhkan/terpotong.
+ Nama kolom atau tipe data diubah.
+ Jika tabel MySQL untuk disinkronkan tidak memiliki kunci utama yang ditentukan, konsistensi data tidak dijamin. Anda perlu menentukan `document_id` opsi khusus dalam konfigurasi OpenSearch wastafel dengan benar agar dapat updates/deletes disinkronkan OpenSearch.
+ Referensi kunci asing dengan tindakan penghapusan cascading tidak didukung dan dapat mengakibatkan inkonsistensi data antara RDS untuk MySQL dan. OpenSearch
+ Cluster DB zona multi-ketersediaan Amazon RDS tidak didukung.
+ Versi yang didukung: MySQL versi 8.0 dan lebih tinggi.
## CloudWatch Alarm yang Direkomendasikan
CloudWatch Metrik berikut direkomendasikan untuk memantau kinerja saluran konsumsi Anda. Metrik ini dapat membantu Anda mengidentifikasi jumlah data yang diproses dari ekspor, jumlah peristiwa yang diproses dari aliran, kesalahan dalam memproses ekspor dan peristiwa streaming, dan jumlah dokumen yang ditulis ke tujuan. Anda dapat mengatur CloudWatch alarm untuk melakukan tindakan ketika salah satu metrik ini melebihi nilai yang ditentukan untuk jangka waktu tertentu.
| Metrik | Deskripsi |
| --- | --- |
| pipeline-name.rds.credentialsBerubah | Metrik ini menunjukkan seberapa sering AWS rahasia diputar. |
| pipeline-name.rds. executorRefreshErrors | Metrik ini menunjukkan kegagalan untuk menyegarkan AWS rahasia. |
| pipeline-name.rds. exportRecordsTotal | Metrik ini menunjukkan jumlah catatan yang diekspor dari Amazon Aurora. |
| pipeline-name.rds. exportRecordsProcessed | Metrik ini menunjukkan jumlah catatan yang diproses oleh pipa OpenSearch Ingestion. |
| pipeline-name.rds. exportRecordProcessingKesalahan | Metrik ini menunjukkan jumlah kesalahan pemrosesan dalam pipeline OpenSearch Ingestion saat membaca data dari cluster Amazon Aurora. |
| pipeline-name.rds. exportRecordsSuccessJumlah | Metrik ini menunjukkan jumlah total catatan ekspor yang berhasil diproses. |
| pipeline-name.rds. exportRecordsFailedJumlah | Metrik ini menunjukkan jumlah total catatan ekspor yang gagal diproses. |
| pipeline-name.rds.bytesDiterima | Metrik ini menunjukkan jumlah total byte yang diterima oleh pipeline OpenSearch Ingestion. |
| pipeline-name.rds.bytesDiproses | Metrik ini menunjukkan jumlah total byte yang diproses oleh pipeline OpenSearch Ingestion. |
| pipeline-name.rds. streamRecordsSuccessJumlah | Metrik ini menunjukkan jumlah catatan yang berhasil diproses dari aliran. |
| pipeline-name.rds. streamRecordsFailedJumlah | Metrik ini menunjukkan jumlah total rekaman yang gagal diproses dari aliran. |
# RDS for PostgreSQL
Selesaikan langkah-langkah berikut untuk mengonfigurasi pipeline OpenSearch Ingestion dengan Amazon RDS untuk RDS untuk PostgreSQL.
**Topics**
+ [
## RDS untuk prasyarat PostgreSQL
](#rds-PostgreSQL-prereqs)
+ [
## Langkah 1: Konfigurasikan peran pipeline
](#rds-mysql-pipeline-role)
+ [
## Langkah 2: Buat pipa
](#rds-PostgreSQL-pipeline)
+ [
## Konsistensi data
](#rds-mysql-pipeline-consistency)
+ [
## Pemetaan tipe data
](#rds-PostgreSQL-pipeline-mapping)
+ [
## Batasan
](#rds-PostgreSQL-pipeline-limitations)
+ [
## CloudWatch Alarm yang Direkomendasikan
](#aurora-mysql-pipeline-metrics)
## RDS untuk prasyarat PostgreSQL
Sebelum Anda membuat pipeline OpenSearch Ingestion, lakukan langkah-langkah berikut:
1. [Buat grup parameter DB khusus](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/zero-etl.setting-up.html#zero-etl.parameters) di Amazon RDS untuk mengonfigurasi replikasi logis.
```
rds.logical_replication=1
```
Untuk informasi selengkapnya, lihat [Melakukan replikasi logis untuk Amazon RDS for PostgreSQL](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/PostgreSQL.Concepts.General.FeatureSupport.LogicalReplication.html).
1. [Pilih atau buat RDS untuk instance PostgreSQL DB dan kaitkan grup parameter yang dibuat pada langkah 1 dengan instance DB](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/CHAP_GettingStarted.CreatingConnecting.PostgreSQL.html).
1. Siapkan autentikasi nama pengguna dan kata sandi di instans Amazon RDS Anda menggunakan [manajemen kata sandi dengan Aurora](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/rds-secrets-manager.html) dan. AWS Secrets Manager Anda juga dapat membuat username/password kombinasi dengan [membuat rahasia Secrets Manager](https://docs.aws.amazon.com/secretsmanager/latest/userguide/create_secret.html).
1. Jika Anda menggunakan fitur snapshot awal lengkap, buat peran AWS KMS key dan IAM untuk mengekspor data dari Amazon RDS ke Amazon S3.
Peran IAM harus memiliki kebijakan izin berikut:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "ExportPolicy",
"Effect": "Allow",
"Action": [
"s3:PutObject*",
"s3:ListBucket",
"s3:GetObject*",
"s3:DeleteObject*",
"s3:GetBucketLocation"
],
"Resource": [
"arn:aws:s3:::s3-bucket-used-in-pipeline",
"arn:aws:s3:::s3-bucket-used-in-pipeline/*"
]
}
]
}
```
------
Peran tersebut juga harus memiliki hubungan kepercayaan berikut:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "export.rds.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
]
}
```
------
1. Pilih atau buat domain OpenSearch Layanan atau koleksi OpenSearch Tanpa Server. Untuk informasi selengkapnya, lihat [Membuat domain OpenSearch Layanan](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/createupdatedomains.html#createdomains) dan [Membuat koleksi](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/serverless-manage.html#serverless-create).
1. Lampirkan [kebijakan berbasis sumber daya ke domain Anda atau kebijakan](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/ac.html#ac-types-resource) [akses data ke koleksi](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/serverless-data-access.html) Anda. Kebijakan akses ini memungkinkan OpenSearch Ingestion untuk menulis data dari instans Amazon RDS DB Anda ke domain atau koleksi Anda.
## Langkah 1: Konfigurasikan peran pipeline
Setelah Anda menyiapkan prasyarat pipeline Amazon RDS, konfigurasikan [peran pipeline yang akan digunakan dalam konfigurasi pipeline](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/pipeline-security-overview.html#pipeline-security-sink) Anda. Tambahkan juga izin berikut untuk sumber Amazon RDS ke peran:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "allowReadingFromS3Buckets",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:DeleteObject",
"s3:GetBucketLocation",
"s3:ListBucket",
"s3:PutObject"
],
"Resource": [
"arn:aws:s3:::s3_bucket",
"arn:aws:s3:::s3_bucket/*"
]
},
{
"Sid": "allowNetworkInterfacesActions",
"Effect": "Allow",
"Action": [
"ec2:AttachNetworkInterface",
"ec2:CreateNetworkInterface",
"ec2:CreateNetworkInterfacePermission",
"ec2:DeleteNetworkInterface",
"ec2:DeleteNetworkInterfacePermission",
"ec2:DetachNetworkInterface",
"ec2:DescribeNetworkInterfaces"
],
"Resource": [
"arn:aws:ec2:*:111122223333:network-interface/*",
"arn:aws:ec2:*:111122223333:subnet/*",
"arn:aws:ec2:*:111122223333:security-group/*"
]
},
{
"Sid": "allowDescribeEC2",
"Effect": "Allow",
"Action": [
"ec2:Describe*"
],
"Resource": "*"
},
{
"Sid": "allowTagCreation",
"Effect": "Allow",
"Action": [
"ec2:CreateTags"
],
"Resource": "arn:aws:ec2:*:111122223333:network-interface/*",
"Condition": {
"StringEquals": {
"aws:RequestTag/OSISManaged": "true"
}
}
},
{
"Sid": "AllowDescribeInstances",
"Effect": "Allow",
"Action": [
"rds:DescribeDBInstances"
],
"Resource": [
"arn:aws:rds:us-east-2:111122223333:db:*"
]
},
{
"Sid": "AllowSnapshots",
"Effect": "Allow",
"Action": [
"rds:DescribeDBSnapshots",
"rds:CreateDBSnapshot",
"rds:AddTagsToResource"
],
"Resource": [
"arn:aws:rds:us-east-2:111122223333:db:DB-id",
"arn:aws:rds:us-east-2:111122223333:snapshot:DB-id*"
]
},
{
"Sid": "AllowExport",
"Effect": "Allow",
"Action": [
"rds:StartExportTask"
],
"Resource": [
"arn:aws:rds:us-east-2:111122223333:snapshot:DB-id*"
]
},
{
"Sid": "AllowDescribeExports",
"Effect": "Allow",
"Action": [
"rds:DescribeExportTasks"
],
"Resource": "*",
"Condition": {
"StringEquals": {
"aws:RequestedRegion": "us-east-2",
"aws:ResourceAccount": "111122223333"
}
}
},
{
"Sid": "AllowAccessToKmsForExport",
"Effect": "Allow",
"Action": [
"kms:Decrypt",
"kms:Encrypt",
"kms:DescribeKey",
"kms:RetireGrant",
"kms:CreateGrant",
"kms:ReEncrypt*",
"kms:GenerateDataKey*"
],
"Resource": [
"arn:aws:kms:us-east-2:111122223333:key/export-key-id"
]
},
{
"Sid": "AllowPassingExportRole",
"Effect": "Allow",
"Action": "iam:PassRole",
"Resource": [
"arn:aws:iam::111122223333:role/export-role"
]
},
{
"Sid": "SecretsManagerReadAccess",
"Effect": "Allow",
"Action": [
"secretsmanager:GetSecretValue"
],
"Resource": [
"arn:aws:secretsmanager:*:111122223333:secret:*"
]
}
]
}
```
------
## Langkah 2: Buat pipa
Konfigurasikan pipeline OpenSearch Ingestion seperti berikut ini, yang menentukan RDS untuk instance PostgreSQL sebagai sumbernya.
```
version: "2"
rds-postgres-pipeline:
source:
rds:
db_identifier: "instance-id"
engine: postgresql
database: "database-name"
tables:
include:
- "schema1.table1"
- "schema2.table2"
s3_bucket: "bucket-name"
s3_region: "bucket-region"
s3_prefix: "prefix-name"
export:
kms_key_id: "kms-key-id"
iam_role_arn: "export-role-arn"
stream: true
aws:
sts_role_arn: "arn:aws:iam::account-id:role/pipeline-role"
region: "us-east-1"
authentication:
username: ${{aws_secrets:secret:username}}
password: ${{aws_secrets:secret:password}}
sink:
- opensearch:
hosts: ["https://search-mydomain.us-east-1.es.amazonaws.com"]
index: "${getMetadata(\"table_name\")}"
index_type: custom
document_id: "${getMetadata(\"primary_key\")}"
action: "${getMetadata(\"opensearch_action\")}"
document_version: "${getMetadata(\"document_version\")}"
document_version_type: "external"
aws:
sts_role_arn: "arn:aws:iam::account-id:role/pipeline-role"
region: "us-east-1"
extension:
aws:
secrets:
secret:
secret_id: "rds-secret-id"
region: "us-east-1"
sts_role_arn: "arn:aws:iam::account-id:role/pipeline-role"
refresh_interval: PT1H
```
**catatan**
Anda dapat menggunakan cetak biru Amazon RDS yang telah dikonfigurasi sebelumnya untuk membuat pipeline ini. Untuk informasi selengkapnya, lihat [Bekerja dengan cetak biru](pipeline-blueprint.md).
Untuk menggunakan Amazon Aurora sebagai sumber, Anda perlu mengonfigurasi akses VPC untuk pipeline. VPC yang Anda pilih harus VPC yang sama dengan yang digunakan sumber Amazon Aurora Anda. Kemudian pilih satu atau lebih subnet dan satu atau lebih grup keamanan VPC. Perhatikan bahwa pipeline memerlukan akses jaringan ke database MySQL Aurora, jadi Anda juga harus memverifikasi bahwa cluster Aurora Anda dikonfigurasi dengan grup keamanan VPC yang memungkinkan lalu lintas masuk dari grup keamanan VPC pipeline ke port database. Untuk informasi selengkapnya, lihat [Mengontrol akses dengan grup keamanan](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/Overview.RDSSecurityGroups.html).
Jika Anda menggunakan file Konsol Manajemen AWS untuk membuat pipeline, Anda juga harus melampirkan pipeline ke VPC agar dapat menggunakan Amazon Aurora sebagai sumber. Untuk melakukan ini, cari bagian **Konfigurasi jaringan**, pilih **Lampirkan ke VPC**, dan pilih CIDR Anda dari salah satu opsi default yang disediakan, atau pilih sendiri. Anda dapat menggunakan CIDR apa pun dari ruang alamat pribadi seperti yang didefinisikan dalam Praktik Terkini [Terbaik RFC 1918](https://datatracker.ietf.org/doc/html/rfc1918).
Untuk menyediakan CIDR khusus, pilih **Lainnya** dari menu tarik-turun. Untuk menghindari tabrakan dalam alamat IP antara OpenSearch Ingestion dan Amazon RDS, pastikan bahwa Amazon Aurora VPC CIDR berbeda dari CIDR untuk Ingestion. OpenSearch
Untuk informasi selengkapnya, lihat [Mengonfigurasi akses VPC untuk pipeline](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/pipeline-security.html#pipeline-vpc-configure).
## Konsistensi data
Pipeline memastikan konsistensi data dengan terus melakukan polling atau menerima perubahan dari instans Amazon RDS dan memperbarui dokumen terkait dalam indeks. OpenSearch
OpenSearch Ingestion mendukung end-to-end pengakuan untuk memastikan daya tahan data. Ketika pipeline membaca snapshot atau stream, ia secara dinamis membuat partisi untuk pemrosesan paralel. Pipeline menandai partisi sebagai lengkap ketika menerima pengakuan setelah menelan semua catatan dalam OpenSearch domain atau koleksi. Jika Anda ingin memasukkan ke dalam koleksi pencarian OpenSearch Tanpa Server, Anda dapat membuat ID dokumen di pipeline. Jika Anda ingin memasukkan koleksi deret waktu OpenSearch Tanpa Server, perhatikan bahwa pipeline tidak menghasilkan ID dokumen, jadi Anda harus menghilangkan konfigurasi sink `document_id: "${getMetadata(\"primary_key\")}"` pipeline.
Pipeline OpenSearch Ingestion juga memetakan tindakan peristiwa yang masuk ke dalam tindakan pengindeksan massal yang sesuai untuk membantu menyerap dokumen. Ini membuat data tetap konsisten, sehingga setiap perubahan data di Amazon RDS direkonsiliasi dengan perubahan dokumen terkait. OpenSearch
## Pemetaan tipe data
OpenSearch Pipeline konsumsi memetakan tipe data PostgreSQL ke representasi yang cocok untuk domain atau koleksi Layanan untuk dikonsumsi. OpenSearch Jika tidak ada templat pemetaan yang ditentukan OpenSearch, secara OpenSearch otomatis menentukan jenis bidang dengan [pemetaan dinamis](https://docs.opensearch.org/latest/field-types/#dynamic-mapping) berdasarkan dokumen terkirim pertama. Anda juga dapat secara eksplisit menentukan jenis bidang yang paling sesuai untuk Anda OpenSearch melalui templat pemetaan.
Tabel di bawah ini mencantumkan RDS untuk tipe data PostgreSQL dan jenis bidang yang sesuai. OpenSearch Kolom *Jenis OpenSearch Bidang Default* menunjukkan jenis bidang yang sesuai OpenSearch jika tidak ada pemetaan eksplisit yang ditentukan. Dalam hal ini, OpenSearch secara otomatis menentukan jenis bidang dengan pemetaan dinamis. Kolom *Jenis OpenSearch Bidang yang Direkomendasikan* adalah jenis bidang yang direkomendasikan yang sesuai untuk ditentukan secara eksplisit dalam templat pemetaan. Jenis bidang ini lebih selaras dengan tipe data di RDS untuk PostgreSQL dan biasanya dapat mengaktifkan fitur pencarian yang lebih baik yang tersedia di. OpenSearch
| RDS untuk Tipe Data PostgreSQL | Jenis OpenSearch Bidang Default | Jenis OpenSearch Bidang yang Direkomendasikan |
| --- | --- | --- |
| smallint | long | pendek |
| integer | long | integer |
| bigint | long | long |
| desimal | text | ganda atau kata kunci |
| numerik [(p, s)] | text | ganda atau kata kunci |
| real | float | float |
| double precision | float | double |
| smallserial | long | pendek |
| serial | long | integer |
| bigserial | long | long |
| money | object | object |
| character varying(n) | text | text |
| varchar (n) | text | text |
| character(n) | text | text |
| arang (n) | text | text |
| bpchar (n) | text | text |
| bpchar | text | text |
| text | text | text |
| enum | text | text |
| bytea | text | biner |
| stempel waktu [(p)] [tanpa zona waktu] | panjang (dalam milidetik zaman) | date |
| stempel waktu [(p)] dengan zona waktu | panjang (dalam milidetik zaman) | date |
| date | panjang (dalam milidetik zaman) | date |
| time [ (p) ] [ without time zone ] | panjang (dalam milidetik zaman) | date |
| waktu [(p)] dengan zona waktu | panjang (dalam milidetik zaman) | date |
| interval [bidang] [(p)] | teks (ISO8601 format) | text |
| boolean | boolean | boolean |
| titik | teks (dalam format WKT) | geo\$1shape |
| lini | teks (dalam format WKT) | geo\$1shape |
| lseg | teks (dalam format WKT) | geo\$1shape |
| kotak | teks (dalam format WKT) | geo\$1shape |
| path | teks (dalam format WKT) | geo\$1shape |
| poligon | teks (dalam format WKT) | geo\$1shape |
| lingkaran | object | object |
| cidr | text | text |
| inet | text | text |
| macaddr | text | text |
| macaddr8 | text | text |
| bit(n) | long | byte, pendek, integer, atau panjang (tergantung pada jumlah bit) |
| bit varying(n) | long | byte, pendek, integer, atau panjang (tergantung pada jumlah bit) |
| json | object | object |
| jsonb | object | object |
| jsonpath | text | text |
Kami menyarankan Anda mengonfigurasi antrian huruf mati (DLQ) di pipeline Ingestion Anda. OpenSearch Jika Anda telah mengonfigurasi antrian, OpenSearch Layanan mengirimkan semua dokumen gagal yang tidak dapat dicerna karena kegagalan pemetaan dinamis ke antrian.
Jika pemetaan otomatis gagal, Anda dapat menggunakan `template_type` dan `template_content` dalam konfigurasi pipeline untuk menentukan aturan pemetaan eksplisit. Atau, Anda dapat membuat templat pemetaan langsung di domain atau koleksi penelusuran sebelum memulai pipeline.
## Batasan
Pertimbangkan batasan berikut saat Anda menyiapkan pipeline OpenSearch Ingestion untuk RDS untuk PostgreSQL:
+ Integrasi hanya mendukung satu database PostgreSQL per pipeline.
+ Integrasi saat ini tidak mendukung konsumsi data lintas wilayah; instans dan OpenSearch domain Amazon RDS Anda harus sama. Wilayah AWS
+ Integrasi saat ini tidak mendukung konsumsi data lintas akun; instans Amazon RDS dan pipeline OpenSearch Ingestion Anda harus sama. Akun AWS
+ Pastikan instans Amazon RDS mengaktifkan autentikasi AWS Secrets Manager, yang merupakan satu-satunya mekanisme autentikasi yang didukung.
+ Konfigurasi pipeline yang ada tidak dapat diperbarui untuk menyerap data dari database yang berbeda dengan tabel and/or yang berbeda. Untuk memperbarui database dan/atau nama tabel pipeline, Anda harus menghentikan pipeline dan memulai ulang dengan konfigurasi yang diperbarui, atau membuat pipeline baru.
+ Pernyataan Data Definition Language (DDL) umumnya tidak didukung. Konsistensi data tidak akan dipertahankan jika:
+ Kunci primer diubah (add/delete/rename).
+ Tabel dijatuhkan/terpotong.
+ Nama kolom atau tipe data diubah.
+ Jika tabel PostgreSQL untuk disinkronkan tidak memiliki kunci utama yang ditentukan, konsistensi data tidak dijamin. Anda perlu menentukan kustom `document_id` opsi dalam OpenSearch dan konfigurasi sink dengan benar agar dapat updates/deletes disinkronkan OpenSearch.
+ Cluster DB RDS Multi-AZ tidak didukung.
+ Versi yang didukung: PostgreSQL 16 dan lebih tinggi.
## CloudWatch Alarm yang Direkomendasikan
CloudWatch Metrik berikut direkomendasikan untuk memantau kinerja saluran konsumsi Anda. Metrik ini dapat membantu Anda mengidentifikasi jumlah data yang diproses dari ekspor, jumlah peristiwa yang diproses dari aliran, kesalahan dalam memproses ekspor dan peristiwa streaming, dan jumlah dokumen yang ditulis ke tujuan. Anda dapat mengatur CloudWatch alarm untuk melakukan tindakan ketika salah satu metrik ini melebihi nilai yang ditentukan untuk jangka waktu tertentu.
| Metrik | Deskripsi |
| --- | --- |
| pipeline-name.rds.credentialsBerubah | Metrik ini menunjukkan seberapa sering AWS rahasia diputar. |
| pipeline-name.rds. executorRefreshErrors | Metrik ini menunjukkan kegagalan untuk menyegarkan AWS rahasia. |
| pipeline-name.rds. exportRecordsTotal | Metrik ini menunjukkan jumlah catatan yang diekspor dari Amazon Aurora. |
| pipeline-name.rds. exportRecordsProcessed | Metrik ini menunjukkan jumlah catatan yang diproses oleh pipa OpenSearch Ingestion. |
| pipeline-name.rds. exportRecordProcessingKesalahan | Metrik ini menunjukkan jumlah kesalahan pemrosesan dalam pipeline OpenSearch Ingestion saat membaca data dari cluster Amazon Aurora. |
| pipeline-name.rds. exportRecordsSuccessJumlah | Metrik ini menunjukkan jumlah total catatan ekspor yang berhasil diproses. |
| pipeline-name.rds. exportRecordsFailedJumlah | Metrik ini menunjukkan jumlah total catatan ekspor yang gagal diproses. |
| pipeline-name.rds.bytesDiterima | Metrik ini menunjukkan jumlah total byte yang diterima oleh pipeline OpenSearch Ingestion. |
| pipeline-name.rds.bytesDiproses | Metrik ini menunjukkan jumlah total byte yang diproses oleh pipeline OpenSearch Ingestion. |
| pipeline-name.rds. streamRecordsSuccessJumlah | Metrik ini menunjukkan jumlah catatan yang berhasil diproses dari aliran. |
| pipeline-name.rds. streamRecordsFailedJumlah | Metrik ini menunjukkan jumlah total rekaman yang gagal diproses dari aliran. |