Amazon Kendraウェブクローラー - Amazon Kendra

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon Kendraウェブクローラー

Amazon KendraWeb Crawler を使用して、ウェブページをクロールおよびインデックス作成できます。

クロールできるのは、公開ウェブサイト、または、安全な通信プロトコルである Hypertext Transfer Protocol Secure (HTTPS) を使用する社内ウェブサイトのみです。ウェブサイトをクロールするときにエラーが発生した場合は、ウェブサイトのクロールがブロックされている可能性があります。内部ウェブサイトをクロールするには、ウェブプロキシを設定できます。ウェブプロキシは公開されている必要があります。認証を使用してウェブサイトにアクセスし、クロールすることもできます。

インデックス作成するウェブサイトを選択するときは、Amazon 利用規定ポリシーおよびその他の Amazon 規約のすべてに準拠している必要があります。Web Amazon KendraCrawler は、独自のウェブページ、またはインデックス作成の権限を持つウェブページのインデックス作成にのみ使用する必要があることに注意してください。Web Crawler によるウェブサイトAmazon Kendraのインデックス作成を停止する方法については、「」を参照してくださいAmazon Kendra Web Crawler 用の robots.txt ファイルの設定。

注記

Web Amazon KendraCrawler を使用して、所有していないウェブサイトやウェブページを積極的にクロールすることは、許容される用途とは見なされません。

Amazon Kendraにはweb crawlerコネクタの 2 つのバージョンがあります。各バージョンでサポートされる機能は次のとおりです。

Amazon Kendraウェブクローラーコネクタ v1.0 / WebCrawlerConfiguration API

  • ウェブプロキシ

  • 包含/除外フィルター

Amazon Kendraウェブクローラーコネクタ v2.0 / TemplateConfiguration API

  • フィールドマッピング

  • 包含/除外フィルター

  • 完全および増分コンテンツ同期

  • ウェブプロキシ

  • ウェブサイトの基本認証、NTLM/Kerberos 認証、SAML 認証、フォーム認証

  • Virtual Private Cloud (VPC)

重要

Web Crawler v2.0 コネクタの作成は ではサポートされていませんCloudFormation。CloudFormationサポートが必要な場合は、Web Crawler v1.0 コネクタを使用します。

Amazon Kendraウェブクローラーデータソースコネクタのトラブルシューティングについては、「」を参照してくださいデータソースのトラブルシューティング。

トピック