Amazon Kendra Web Crawler 連接器 1.0 版

登入 AWS Management Console 並開啟 Amazon Kendra 主控台。

從左側導覽窗格中，選擇索引，然後從索引清單中選擇您要使用的索引。

在入門頁面上，選擇新增資料來源。

在新增資料來源頁面上，選擇 Web 爬蟲程式連接器，然後選擇新增連接器。如果使用第 2 版 （如適用），請選擇具有「V2.0」標籤的 Web 爬蟲程式連接器。

在指定資料來源詳細資訊頁面上，輸入下列資訊：

1. 在名稱和描述中，針對資料來源名稱—輸入資料來源的名稱。您可以包含連字號，但不能包含空格。

2. （選用） 描述 — 輸入資料來源的選用描述。

3. 在預設語言 - 選擇語言來篩選索引的文件。除非您另有指定，否則語言預設為英文。文件中繼資料中指定的語言會覆寫選取的語言。

4. 在標籤中，針對新增標籤 - 包含選用標籤，以搜尋和篩選您的資源或追蹤您的 AWS 成本。

5. 選擇 Next (下一步)。

在定義存取和安全頁面上，輸入下列資訊：

1. 對於來源，根據您的使用案例在來源 URLs和來源網站地圖之間進行選擇，並輸入每個值。

   您最多可以新增 10 URLs 和三個網站地圖。

   注意

   如果您想要抓取網站地圖，請檢查基礎或根 URL 是否與網站地圖頁面上列出的 URLs相同。例如，如果您的網站地圖 URL 是 https://example.com/sitemap-page.html，則此網站地圖頁面上列出的 URLs也應使用基本 URL "https://example.com/"。

2. （選用） 針對 Web 代理 — 輸入下列資訊：

   1. 主機名稱 — 需要 Web 代理的主機名稱。

   2. 連接埠號碼 - 主機 URL 傳輸通訊協定所使用的連接埠。連接埠號碼應為介於 0 到 65535 之間的數值。

   3. 對於 Web 代理登入資料 - 如果您的 Web 代理連線需要身分驗證，請選擇現有的秘密或建立新的秘密來存放身分驗證登入資料。如果您選擇建立新的秘密，則會 AWS Secrets Manager 開啟秘密視窗。

   4. 在建立 AWS Secrets Manager Secrets Manager 秘密視窗中輸入下列資訊：

      1. 秘密名稱 — 秘密的名稱。字首「AmazonKendra-WebCrawler-」會自動新增至您的秘密名稱。

      2. 針對使用者名稱和密碼 - 輸入網站的基本身分驗證憑證。

      3. 選擇 Save (儲存)。

3. （選用） 具有身分驗證的主機 - 選取以新增具有身分驗證的其他主機。

4. IAM role—選擇現有 IAM 角色或建立新的 IAM 角色，以存取您的儲存庫登入資料和索引內容。

   注意

   IAM 用於索引的 角色無法用於資料來源。如果您不確定現有角色是否用於索引或常見問答集，請選擇建立新角色以避免錯誤。

5. 選擇 Next (下一步)。

在設定同步設定頁面上，輸入下列資訊：

1. 爬取範圍 - 選擇您要爬取的網頁類型。

2. 爬蟲深度 - 從 Amazon Kendra 應該爬蟲的種子 URL 選取關卡數量。

3. 進階爬蟲設定和其他組態輸入下列資訊：

   1. 檔案大小上限 - 要爬取的網頁或附件大小上限。最小 0.000001 MB (1 位元組）。最大 50 MB。

   2. 每頁連結數上限 - 每頁爬取的連結數上限。連結會依外觀順序進行爬取。最少 1 個連結/頁面。最多 1000 個連結/頁面。

   3. 限流上限 - 每分鐘每個主機名稱所爬取URLs 數目上限。最少 1 URLs/主機名稱/分鐘。上限為 300 URLs/主機名稱/分鐘。

   4. Regex 模式 - 新增規則表達式模式，以包含或排除特定 URLs。您最多可以新增 100 個模式。

4. 在同步執行排程中，針對頻率 - 選擇與您的資料來源 Amazon Kendra 同步的頻率。

5. 選擇 Next (下一步)。

在檢閱和建立頁面上，檢查您輸入的資訊是否正確，然後選取新增資料來源。您也可以選擇從此頁面編輯您的資訊。成功新增資料來源後，您的資料來源將顯示在資料來源頁面上。