本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Web 編目程式

Web 爬蟲程式會連線至您指定的 URLs並編目，以便在受管知識庫中使用。Web 爬蟲程式會從種子 URLs 開始周遊 HTML 頁面，並根據您的爬蟲範圍和限制遵循子連結。您也可以提供網站地圖 URLs做為起點。Web Crawler 遵守符合 RFC 9309 的 robots.txt。

支援的功能

身分驗證方法

Web 爬蟲程式支援四種身分驗證方法。選擇符合目標網站對使用者進行身分驗證的方法。對於沒有登入的公有網站，請使用 NO_AUTH。

先決條件

對於您要抓取的網站，請確定您：

在您的帳戶中 AWS ，請確定您：

如何設定 Web 爬蟲程式資料來源

設定 Web 爬蟲程式資料來源包含下列步驟：

建立資料來源

Console

將 Web 爬蟲程式連接至您的受管知識庫

1. 在資料來源下，提供資料來源的名稱。

2. 從資料來源下拉式清單中選取 Web 爬蟲程式。

3. 在來源下，選擇來源 URLs（最多 10 URLs) 或來源網站地圖 （最多 3 個網站地圖 URLs)。

4. 在新增 URLs文字區域中輸入您的 URL，每行一個。 URLs

5. 在身分驗證下，選取無身分驗證、基本身分驗證、表單身分驗證或 SAML 身分驗證。對於無身分驗證以外的任何方法，請選取或建立 AWS Secrets Manager 秘密來存放您的登入資料。

6. （選用） 展開同步範圍以設定網路爬取深度 (0–10)、每個 URL 的連結上限 (1–1000)、每分鐘網路爬取URLs 上限 (1–300)，以及網路爬取範圍：預設 （與種子 URL 相同的主機和相同的初始 URL 路徑）、僅限主機 （相同的主機、任何路徑） 或子網域 （包括子網域）。

7. （選用） 展開 URL 篩選模式，以新增包含或排除特定 URLs規則運算式。

API

若要建立 Web Crawler 資料來源，請使用 Amazon Bedrock 建置時間端點的代理程式傳送 CreateDataSource 請求。下列 AWS Command Line Interface 範例會建立資料來源，在沒有身分驗證的情況下爬取公有網站。如需每個欄位的說明，請參閱以下連接器參數參考。

aws bedrock-agent create-data-source \
 --name "WebCrawler-connector" \
 --knowledge-base-id "your-knowledge-base-id" \
 --data-source-configuration file://webcrawler-managed-connector.json

webcrawler-managed-connector.json 檔案包含下列項目：

{
    "type": "MANAGED_KNOWLEDGE_BASE_CONNECTOR",
    "managedKnowledgeBaseConnectorConfiguration": {
        "connectorParameters": {
            "type": "WEB",
            "version": "1",
            "connectionConfiguration": {
                "seedUrls": [
                    "https://docs.example.com"
                ],
                "authType": "NO_AUTH"
            },
            "crawlConfiguration": {
                "crawlDepth": 3,
                "maxLinksPerUrl": 100,
                "maxCrawledUrlsPerMinute": 50,
                "syncScope": "SUB_DOMAINS",
                "crawlAttachments": true
            },
            "filterConfiguration": {
                "exclusionPatterns": [
                    "https://docs.example.com/private/.*"
                ]
            }
        }
    }
}

對於已驗證的網站，請將 authType設定為 BASIC_AUTH、 FORM或 SAML，並將 新增至 secretArn connectionConfiguration。

對於受管知識庫， CreateDataSource是非同步的：當操作完成CREATINGAVAILABLE時，資料來源狀態會從 轉換為 。

連接器參數

資料來源組態使用下列連接器參數。若要使用 Web 爬蟲程式，請在 中指定 WEB做為連接器類型connectorParameters。如需包裝的欄位 connectorParameters（例如 deletionProtectionConfiguration和 mediaExtractionConfiguration)，請參閱 連接資料來源。

驗證憑證

如果您的網站需要身分驗證，請將您的登入資料存放在秘密 AWS Secrets Manager 中。秘密格式取決於您選擇的身分驗證類型。

基本身分驗證 (BASIC_AUTH)

{
    "userName": "your-username",
    "password": "your-password",
    "authentication": "BASIC_AUTH"
}

表單身分驗證 (FORM)

對於以表單為基礎的身分驗證，請提供 XPath 表達式，以識別登入頁面上的使用者名稱欄位、密碼欄位和提交按鈕。

{
    "authentication": "FORM",
    "loginPageUrl": "https://example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

SAML 身分驗證 (SAML)

針對 SAML 身分驗證，請為表單欄位提供 SAML 身分提供者的登入頁面 URL 和 XPath 運算式。

{
    "authentication": "SAML",
    "loginPageUrl": "https://your-idp.example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

爬取行為和同步組態

Web 爬蟲程式遵循下列爬蟲實務：

Robots.txt 合規

Web Crawler 遵守 robots.txt 通訊協定，遵守使用者代理程式，並允許或不允許指令。使用這些指令來控制爬蟲程式存取您網站的方式。

robots.txt 檢查的運作方式

支援的 robots.txt 欄位

Web 爬蟲程式會辨識下列 robots.txt 欄位。欄位名稱不區分大小寫；值區分大小寫。

中繼標籤支援

Web Crawler 支援頁面層級機器人中繼標籤，可用來控制資料的使用方式。您可以在 HTML 頁面或 HTTP 標頭中包含中繼標籤，以指定頁面層級設定。

支援的中繼標籤

您可以使用逗號結合多個值 （例如，noindex, nofollow)。

疑難排解