Amazon Kendraウェブクローラーコネクタ v2.0

にサインインAWS マネジメントコンソールし、 Amazon Kendraコンソールを開きます。

左側のナビゲーションペインで、[インデックス] を選択し、インデックスのリストから使用するインデックスを選択します。

[使用開始] ページで、[データソースを追加] を選択します。

[データソースを追加] ページで、[ウェブクローラーコネクタ] を選択し、[コネクタを追加] を選択します。バージョン 2 (該当する場合) を使用している場合は、「V2.0」タグが付いたウェブクローラーコネクタを選択します。

[データソースの詳細を指定] ページで、次の情報を入力します。

1. [名前と説明] の [データソース名] に、データソースの名前を入力します。ハイフン (-) は使用できますが、スペースは使用できません。

2. (オプション) [説明] - オプションで、データソースの説明を入力します。

3. [デフォルト言語] - インデックス用にドキュメントをフィルターするための言語。特に指定しない限り、言語はデフォルトで英語に設定されます。ドキュメントのメタデータで指定された言語は、選択した言語よりも優先されます。

4. タグで、新しいタグを追加する - リソースを検索してフィルタリングしたり、AWSコストを追跡したりするためのオプションのタグを含めます。

5. [次へ] を選択します。

[アクセスとセキュリティの定義] ページで、次の情報を入力します。

1. [ソース] - [ソース URL]、[ソースサイトマップ]、[ソース URL ファイル]、[ソースサイトマップファイル] のいずれかを選択します。最大 100 個のシード URLs のリストを含むテキストファイルを使用する場合は、ファイルが保存されているAmazon S3バケットへのパスを指定します。サイトマップ XML ファイルを使用する場合は、ファイルが保存されている Amazon S3 バケットへのパスを指定します。複数のサイトマップ XML ファイルを 1 つの ZIP ファイルにまとめることもできます。それ以外の場合は、最大 10 個のシードまたは開始ポイント URL と、最大 3 つのサイトマップ URL を手動で入力できます。

   注記

   サイトマップをクロールする場合は、ベース URL またはルート URL がサイトマップページに記載されている URL と同じであることを確認してください。例えば、サイトマップ URL が https://example.com/sitemap-page.html の場合、このサイトマップページに記載されている URL にもベース URL "https://example.com/" を使用する必要があります。

   ウェブサイトが、そのウェブサイトにアクセスするために認証を必要とする場合は、基本認証、NTLM/Kerberos 認証、SAML 認証、またはフォーム認証のいずれかを選択できます。それ以外の場合は、認証なしのオプションを選択します。

   注記

   後でデータソースを編集して、認証を含むシード URL をサイトマップに変更する場合は、新しいデータソースを作成する必要があります。Amazon Kendra は認証用の Secrets Manager のシークレット内のシード URL エンドポイント情報を使用してデータソースを設定するため、サイトマップに変更してもデータソースを再設定することはできません。

   1. secret — ウェブサイトにアクセスするために同じ認証が必要な場合は、既存のシーAWS Secrets Managerクレットを選択するか、新しいシーSecrets Managerクレットを作成してウェブサイトの認証情報を保存します。新しいシークレットを作成すると、AWS Secrets Managerシークレットウィンドウが開きます。

      [基本] または [NTML/Kerberos] を選択した場合は、シークレットの名前と、ユーザー名、パスワードを入力します。NTLM 認証プロトコルにはパスワードハッシュが含まれ、Kerberos 認証プロトコルにはパスワード暗号化が含まれます。

      [SAML] または [フォーム] を選択した場合は、シークレットの名前と、ユーザー名、パスワードを入力します。ユーザー名フィールドには XPath を使用します (SAML を使用する場合はユーザー名ボタンに XPath を使用します)。パスワードフィールドとボタン、およびログインページの URL には XPath を使用します。要素の XPath (XML パス言語) は、ウェブブラウザのデベロッパーツールを使用して確認できます。XPath は通常、次の形式に従います。//tagname[@Attribute='Value']。

2. (オプション) [ウェブプロキシ - 内部ウェブサイトへの接続に使用するプロキシサーバーのホスト名とポート番号を入力します。例えば、https://a.example.com/page1.html のホスト名は 「a.example.com」で、ポート番号は HTTPS の標準ポートである 443 です。ウェブサイトホストに接続するためにウェブプロキシ認証情報が必要な場合は、認証情報AWS Secrets Managerを保存する を作成できます。

3. [仮想プライベートクラウド (VPC)] - VPC の使用を選択できます。選択する場合は、[サブネット] と [VPC セキュリティグループ] を追加する必要があります。

4. IAMrole — 既存のIAMロールを選択するか、リポジトリの認証情報とインデックスコンテンツにアクセスするための新しいIAMロールを作成します。

   注記

   IAMインデックスに使用される ロールは、データソースには使用できません。インデックスやよくある質問に既存のロールが使用されているかどうかが不明な場合は、エラーを避けるため、[新しいロールを作成] を選択してください。

5. [次へ] を選択します。

[同期設定の構成] ページで、次の情報を入力します。

1. [同期の範囲] - ドメイン、ファイルサイズ、リンクなど、ウェブページのクローリングに制限を設定し、正規表現パターンを使用して URL をフィルタリングします。

   1. (オプション) [クロールドメイン範囲] - ウェブサイトのドメインのみをクロールするか、サブドメインのあるドメインをクロールするか、ウェブページのリンク先となる他のドメインもクロールするかを選択します。デフォルトでは、 はクロールするウェブサイトのドメインAmazon Kendraのみをクロールします。

   2. (オプション) [追加設定] - 以下の設定を設定します。

      • [クロールの深さ] - 深さ、またはシードレベルからクロールするレベルの数。例えば、シード URL ページは深度 1 で、このページ上でクロールされるハイパーリンクはすべて深度 2 です。

      • [最大ファイルサイズ] - クロールするウェブページまたは添付ファイルの最大サイズ (MB 単位)。

      • 1 ページあたりの最大リンク数 - クロールする単一ウェブページの URL の最大数。

      • [クローリング速度の最大スロットリング] - ウェブサイトホストごとにクロールされる URL の 1 分あたりの最大数。

      • [ファイル] - ウェブページのリンク先のファイルをクロールすることを選択します。

      • [URL のクロールおよびインデックス作成 - 正規表現パターンを追加して、特定の URL のクローリングと、その URL ウェブページのハイパーリンクのインデックス作成を含めるか除外します。

2. [同期モード] - データソースのコンテンツが変更されたときのインデックスの更新方法を選択します。データソースを Amazon Kendraと初めて同期すると、デフォルトですべてのコンテンツがクロールされ、インデックスが作成されます。同期モードオプションとして完全同期を選択していない場合でも、最初の同期が失敗した場合は、データの完全同期を実行する必要があります。

   • 完全同期: データソースがインデックスと同期されるたびに、既存のコンテンツを置き換えて、すべてのコンテンツのインデックスを新たに作成します。

   • 新規、変更、削除された同期: データソースがインデックスと同期するたびに、新規、変更、削除されたコンテンツのインデックスのみを作成します。 Amazon Kendraは、データソースのメカニズムを使用して、前回の同期以降に変更されたコンテンツの変更とインデックスコンテンツを追跡できます。

3. [同期実行スケジュール] - [頻度] で、Amazon Kendra がデータソースと同期する頻度。

4. [次へ] を選択します。

[フィールドマッピングを設定] ページで、次の情報を入力します。

1. インデックスにマッピングするウェブページとファイルのAmazon Kendra生成されたデフォルトフィールドから選択します。

2. [次へ] を選択します。

[確認と作成] ページで、入力した情報が正しいことを確認し、[データソースを追加] を選択します。このページで情報の編集を選択することもできます。データソースが正常に追加されると、データソースが [データソース] ページに表示されます。