Amazon KendraWeb 爬蟲程式連接器 1.0 版

登入 AWS 管理主控台並開啟 Amazon Kendra主控台。

從左側導覽窗格中，選擇索引，然後從索引清單中選擇您要使用的索引。

在入門頁面上，選擇新增資料來源。

在新增資料來源頁面上，選擇 Web 爬蟲程式連接器，然後選擇新增連接器。如果使用版本 2 （如適用），請選擇具有「V2.0」標籤的 Web 爬蟲程式連接器。

在指定資料來源詳細資訊頁面上，輸入下列資訊：

1. 在名稱和描述中，針對資料來源名稱 - 輸入資料來源的名稱。您可以包含連字號，但不能包含空格。

2. （選用） 描述 — 輸入資料來源的選用描述。

3. 在預設語言 - 選擇語言來篩選索引的文件。除非您另有指定，否則語言預設為英文。文件中繼資料中指定的語言會覆寫選取的語言。

4. 在標籤中，針對新增標籤 - 包含選用標籤，以搜尋和篩選您的資源或追蹤您的AWS成本。

5. 選擇下一步。

在定義存取和安全性頁面上，輸入下列資訊：

1. 對於來源，根據您的使用案例選擇來源 URLs和來源網站地圖，然後輸入每個值。

   您最多可以新增 10 URLs 和三個網站地圖。

   注意

   若要由編目程式爬取網站地圖，請確認基礎或根 URL 是否與網站地圖頁面中列出的 URL 相同。例如：若您的網站地圖 URL 為 https://example.com/sitemap-page.html，則該網站地圖頁面中列出的 URL 也必須使用相同的基本 URL "https://example.com/"。

2. （選用） 針對 Web 代理 — 輸入下列資訊：

   1. 主機名稱 — 需要 Web 代理的主機名稱。

   2. 連接埠號碼 - 主機 URL 傳輸通訊協定所使用的連接埠。連接埠號碼應為 0 至 65535 的數值。

   3. 對於 Web 代理登入資料 - 如果您的 Web 代理連線需要身分驗證，請選擇現有的秘密或建立新的秘密來存放身分驗證登入資料。如果您選擇建立新的秘密，則會AWS Secrets Manager開啟秘密視窗。

   4. 在建立AWS Secrets ManagerSecrets Manager秘密視窗中輸入下列資訊：

      1. 機密名稱 - 輸入您的機密名稱。字首「AmazonKendra-WebCrawler-」會自動新增至您的秘密名稱。

      2. 針對使用者名稱和密碼 - 為您的網站輸入這些基本身分驗證憑證。

      3. 選擇儲存。

3. （選用） 具有身分驗證的主機 - 選取以新增具有身分驗證的其他主機。

4. IAMrole - 選擇現有IAM角色或建立新的IAM角色，以存取您的儲存庫登入資料和索引內容。

   注意

   IAM用於索引的 角色無法用於資料來源。如果您不確定現有角色是否用於索引或常見問答集，請選擇建立新角色以避免錯誤。

5. 選擇下一步。

在設定同步設定頁面上，輸入下列資訊：

1. 爬蟲範圍 - 選擇您要爬蟲的網頁類型。

2. 爬蟲深度 - 從Amazon Kendra應該爬蟲的種子 URL 選取關卡數量。

3. 進階爬蟲設定和其他組態輸入下列資訊：

   1. 檔案大小上限 - 要爬取的網頁或附件大小上限。最小 0.000001 MB (1 位元組）。上限 50 MB。

   2. 每頁連結數上限 - 每頁抓取的連結數上限。會依照外觀順序爬取連結。每頁最少 1 個連結。每頁最多 1000 個連結。

   3. 限流上限 - 每分鐘每個主機名稱爬取URLs 數目上限。每分鐘每個主機名稱最少 1 個 URL。每分鐘每個主機名稱最多 300 個 URL。

   4. Regex 模式 - 新增規則表達式模式，以包含或排除特定 URLs。最多可新增 100 個模式。

4. 在同步執行排程中，針對頻率 - 選擇與您的資料來源Amazon Kendra同步的頻率。

5. 選擇下一步。

在檢閱和建立頁面上，檢查您輸入的資訊是否正確，然後選取新增資料來源。您也可以選擇從此頁面編輯您的資訊。成功新增資料來源後，您的資料來源將顯示在資料來源頁面上。