Amazon KendraWeb 爬蟲程式連接器 2.0 版

登入 AWS 管理主控台並開啟 Amazon Kendra主控台。

從左側導覽窗格中，選擇索引，然後從索引清單中選擇您要使用的索引。

在入門頁面上，選擇新增資料來源。

在新增資料來源頁面上，選擇 Web 爬蟲程式連接器，然後選擇新增連接器。如果使用第 2 版 （如適用），請選擇具有「V2.0」標籤的 Web 爬蟲程式連接器。

在指定資料來源詳細資訊頁面上，輸入下列資訊：

1. 在名稱和描述中，針對資料來源名稱 - 輸入資料來源的名稱。您可以包含連字號，但不能包含空格。

2. （選用） 描述 — 輸入資料來源的選用描述。

3. 在預設語言 - 選擇語言來篩選索引的文件。除非您另有指定，否則語言預設為英文。文件中繼資料中指定的語言會覆寫選取的語言。

4. 在標籤中，針對新增標籤 - 包含選用標籤，以搜尋和篩選您的資源或追蹤您的AWS成本。

5. 選擇下一步。

在定義存取和安全性頁面上，輸入下列資訊：

1. 來源 - 選擇來源 URLs、來源網站地圖、來源 URLs 檔案、來源網站地圖檔案。如果您選擇使用包含最多 100 URLs 清單的文字檔案，您可以指定儲存檔案的Amazon S3儲存貯體路徑。如果您選擇使用網站地圖 XML 檔案，您可以指定儲存檔案的儲存Amazon S3貯體路徑。您也可以將多個網站地圖 XML 檔案合併為 ZIP 檔案。否則，您可手動輸入最多 10 個種子/起點 URL，以及最多 3 個網站地圖 URL。

   注意

   若要由編目程式爬取網站地圖，請確認基礎或根 URL 是否與網站地圖頁面中列出的 URL 相同。例如：若您的網站地圖 URL 為 https://example.com/sitemap-page.html，則該網站地圖頁面中列出的 URL 也必須使用相同的基本 URL "https://example.com/"。

   如果您的網站需要身分驗證才能存取網站，您可以選擇基本、NTLM/Kerberos、SAML 或表單身分驗證。否則，請選擇沒有身分驗證的選項。

   注意

   如果您想要稍後編輯資料來源以將具有身分驗證URLs 變更為網站地圖，則必須建立新的資料來源。 會使用Secrets Manager秘密中的種子 URLs端點資訊Amazon Kendra來設定資料來源以進行身分驗證，因此在變更為網站地圖時無法重新設定資料來源。

   1. AWS Secrets Manager 秘密：如果您的網站需要相同的身分驗證才能存取網站，請選擇現有的秘密或建立新的Secrets Manager秘密來存放您的網站登入資料。如果您選擇建立新的秘密，則會開啟AWS Secrets Manager秘密視窗。

      如果您選擇基本或 NTML/Kerberos 身分驗證，請輸入秘密的名稱，以及使用者名稱和密碼。NTLM 驗證協定包含密碼雜湊，Kerberos 身分驗證協定包含密碼加密。

      如果您選擇 SAML 或表單身分驗證，請輸入秘密的名稱，以及使用者名稱和密碼。將 XPath 用於使用者名稱欄位 （如果使用 SAML，則將 XPath 用於使用者名稱按鈕）。密碼欄位和按鈕以及登入頁面 URL 使用 XPaths。您可使用網頁瀏覽器的開發人員工具尋找元素的 XPath (XML 路徑語言)。XPath 通常採用以下格式：//tagname[@Attribute='Value']。

2. （選用） Web 代理 — 輸入要用來連線至內部網站的代理伺服器主機名稱和連接埠號碼。例如， 的主機名稱https://a.example.com/page1.html為 "a.example.com"，連接埠號碼為 443，HTTPS 的標準連接埠。如果需要 Web 代理登入資料才能連線到網站主機，您可以建立 AWS Secrets Manager來存放登入資料。

3. Virtual Private Cloud (VPC) — 您可以選擇使用 VPC。若是如此，您必須新增子網路和 VPC 安全群組。

4. IAMrole - 選擇現有IAM角色或建立新的IAM角色，以存取您的儲存庫登入資料和索引內容。

   注意

   IAM用於索引的 角色無法用於資料來源。如果您不確定現有角色是否用於索引或常見問答集，請選擇建立新角色以避免錯誤。

5. 選擇下一步。

在設定同步設定頁面上，輸入下列資訊：

1. 同步範圍 - 設定網路爬取網頁的限制，包括其網域、檔案大小和連結；以及使用 regex 模式篩選 URLs。

   1. （選用） 爬取網域範圍 - 選擇是否僅爬取網站網域、具有子網域的網域，還是也要爬取網頁連結的其他網域。根據預設， Amazon Kendra只會編目您要編目的網站網域。

   2. （選用） 其他組態 - 設定下列設定：

      • 爬蟲深度 - 從種子層級到爬蟲的「深度」或關卡數量。例如，種子 URL 頁面為深度 1，此頁面上也爬取的任何超連結為深度 2。

      • 檔案大小上限 - 要爬取之網頁或附件的大小上限，以 MB 為單位。

      • 每頁連結上限 — 單一網頁上要爬取URLs 數目上限。

      • 爬取速度的最大限流 — 每分鐘每個網站主機爬取URLs 數目上限。

      • 檔案 - 選擇編目網頁連結的檔案。

      • 爬取和索引 URLs - 新增規則表達式模式，以包含或排除爬取特定 URLs，並對這些 URL 網頁上的任何超連結編製索引。

2. 同步模式 - 選擇您希望在資料來源內容變更時更新索引的方式。當您Amazon Kendra第一次使用 同步資料來源時，預設會爬取所有內容並編製索引。如果初始同步失敗，即使您未選擇完全同步做為同步模式選項，仍必須執行資料的完整同步。

   • 完全同步：新編製所有內容的索引，每次資料來源與索引同步時取代現有的內容。

   • 新的、已修改、已刪除的同步：每次資料來源與您的索引同步時，僅索引新的、已修改和已刪除的內容。 Amazon Kendra可以使用資料來源的機制來追蹤自上次同步以來變更的內容和索引內容。

3. 同步執行排程 - 針對頻率，選擇與您的資料來源Amazon Kendra同步的頻率。

4. 選擇下一步。

在設定欄位映射頁面上，輸入下列資訊：

1. 從您要映射至索引的網頁和檔案Amazon Kendra產生的預設欄位中選取 。

2. 選擇下一步。

在檢閱和建立頁面上，檢查您輸入的資訊是否正確，然後選取新增資料來源。您也可以選擇從此頁面編輯您的資訊。成功新增資料來源後，您的資料來源將顯示在資料來源頁面上。