Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Perayap Web

Web Crawler menghubungkan dan merayapi URL yang Anda tentukan untuk digunakan dalam basis pengetahuan terkelola Anda. Web Crawler melintasi halaman HTML mulai dari URL benih Anda, mengikuti tautan anak sesuai dengan cakupan dan batasan crawling Anda. Anda juga dapat memberikan URL sitemap sebagai titik awal. Web Crawler menghormati robots.txt sesuai dengan RFC 9309.

Fitur yang didukung

Metode autentikasi

Web Crawler mendukung empat metode otentikasi. Pilih metode yang cocok dengan cara situs target mengotentikasi pengguna. Untuk situs publik tanpa login, gunakanNO_AUTH.

Prasyarat

Untuk situs web yang ingin Anda jelajahi, pastikan Anda:

Di AWS akun Anda, pastikan Anda:

Cara mengatur sumber data Web Crawler

Menyiapkan sumber data Web Crawler melibatkan langkah-langkah berikut:

Buat sumber data

Console

Untuk menghubungkan Web Crawler ke basis pengetahuan terkelola

1. Di bawah Sumber data, berikan nama untuk sumber data Anda.

2. Pilih Web Crawler dari dropdown sumber data.

3. Di bawah Sumber, pilih URL Sumber (hingga 10 URL titik awal) atau Peta situs Sumber (maksimal 3 URL peta situs).

4. Masukkan URL Anda di area teks Tam bah URL, satu per baris.

5. Di bawah Otentikasi, pilih Tidak ada otentikasi, Otentikasi dasar, Otentikasi formulir, atau otentik asi SAML. Untuk metode apa pun selain Tanpa otentikasi, pilih atau buat AWS Secrets Manager rahasia untuk menyimpan kredenSIAL Anda.

6. (Opsional) Perluas cakupan Sin kronisasi untuk mengatur kedalaman perayapan (0-10), tautan maksimum per URL (1—1000), URL maksimum yang dirayapi per menit (1—300), dan cakupan perayapan: Def ault (host yang sama dan jalur URL awal yang sama dengan URL awal), Hanya host (host yang sama, jalur apa pun), atau Subdomain (domain utama yang sama, termasuk subdomain).

7. (Opsional) Perluas pola filter URL untuk menambahkan ekspresi reguler yang menyertakan atau mengecualikan URL tertentu.

API

Untuk membuat sumber data Web Crawler, kirim CreateDataSource permintaan dengan titik akhir waktu pembuatan Agen untuk Amazon Bedrock. AWS Command Line Interface Contoh berikut membuat sumber data yang merayapi situs publik tanpa otentikasi. Untuk deskripsi setiap bidang, lihat referensi parameter konektor berikut.

aws bedrock-agent create-data-source \
 --name "WebCrawler-connector" \
 --knowledge-base-id "your-knowledge-base-id" \
 --data-source-configuration file://webcrawler-managed-connector.json

webcrawler-managed-connector.jsonFile berisi yang berikut ini:

{
    "type": "MANAGED_KNOWLEDGE_BASE_CONNECTOR",
    "managedKnowledgeBaseConnectorConfiguration": {
        "connectorParameters": {
            "type": "WEB",
            "version": "1",
            "connectionConfiguration": {
                "seedUrls": [
                    "https://docs.example.com"
                ],
                "authType": "NO_AUTH"
            },
            "crawlConfiguration": {
                "crawlDepth": 3,
                "maxLinksPerUrl": 100,
                "maxCrawledUrlsPerMinute": 50,
                "syncScope": "SUB_DOMAINS",
                "crawlAttachments": true
            },
            "filterConfiguration": {
                "exclusionPatterns": [
                    "https://docs.example.com/private/.*"
                ]
            }
        }
    }
}

Untuk situs yang diautentikasi, atur authType keBASIC_AUTH,FORM, atauSAML, dan tambahkan secretArn keconnectionConfiguration.

Untuk basis pengetahuan terkelola, CreateDataSource tidak sinkron: transisi status sumber data dari CREATING ke AVAILABLE saat operasi selesai.

Parameter konektor

Konfigurasi sumber data menggunakan parameter konektor berikut. Untuk menggunakan Web Crawler, tentukan WEB sebagai tipe konektor diconnectorParameters. Untuk bidang yang membungkus connectorParameters (seperti deletionProtectionConfiguration danmediaExtractionConfiguration), lihatMenghubungkan sumber data.

Kredensi otentikasi

Jika situs web Anda memerlukan otentikasi, simpan kredensibilitas Anda secara AWS Secrets Manager rahasia. Format rahasia tergantung pada jenis otentikasi yang Anda pilih.

Otentikasi dasar (BASIC_AUTH)

{
    "userName": "your-username",
    "password": "your-password",
    "authentication": "BASIC_AUTH"
}

Otentikasi formulir (FORM)

Untuk otentikasi berbasis formulir, berikan ekspresi XPath yang mengidentifikasi bidang nama pengguna, bidang kata sandi, dan tombol kirim pada halaman login.

{
    "authentication": "FORM",
    "loginPageUrl": "https://example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

Otentikasi SAML () SAML

Untuk otentikasi SAML, berikan URL halaman login penyedia identitas SAML dan ekspresi XPath untuk bidang formulir.

{
    "authentication": "SAML",
    "loginPageUrl": "https://your-idp.example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

Perilaku crawling dan konfigurasi sinkronisasi

Web Crawler mengikuti praktik perayapan ini:

Robots.txt kepatuhan

Web Crawler menghormati protokol robots.txt dan menghormati agen pengguna dan mengizinkan atau melarang arahan. Gunakan arahan ini untuk mengontrol bagaimana crawler mengakses situs Anda.

Cara kerja pemeriksaan robots.txt

Bidang robots.txt yang didukung

Web Crawler mengenali bidang robots.txt berikut. Nama bidang tidak peka huruf besar/kecil; nilai peka huruf besar/kecil.

Dukungan tag meta

Web Crawler mendukung tag meta robot tingkat halaman yang dapat Anda gunakan untuk mengontrol bagaimana data Anda digunakan. Anda dapat menentukan pengaturan tingkat halaman dengan menyertakan tag meta pada halaman HTML atau di header HTTP.

Meta tag yang didukung

Anda dapat menggabungkan beberapa nilai dengan menggunakan koma (misalnya,noindex, nofollow).

Pemecahan masalah