翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# Amazon Kendra Web Crawler の `robots.txt` ファイルの設定
<a name="stop-web-crawler"></a>

Amazon Kendra は、 AWS お客様が選択したドキュメントのインデックス作成と検索に使用するインテリジェントな検索サービスです。ウェブ上のドキュメントのインデックスを作成するには、顧客は Amazon Kendra ウェブクローラを使用できます。これは、インデックスを作成する URL やその他の運用パラメータを示します。 Amazon Kendra 顧客は、特定のウェブサイトのインデックスを作成する前に認可を取得する必要があります。

Amazon Kendra Web Crawler は、 `Allow`や などの標準の robots.txt ディレクティブを尊重します`Disallow`。ウェブサイトの `robots.txt` ファイルを変更して、 Amazon Kendra Web Crawler がウェブサイトをクロールする方法を制御できます。

## Amazon Kendra Web Crawler がウェブサイトにアクセスする方法の設定
<a name="configure-web-crawler-website-access"></a>

`Allow` および `Disallow`ディレクティブを使用して、 Amazon Kendra Web Crawler がウェブサイトのインデックスを作成する方法を制御できます。また、インデックス作成されるウェブページとクロールしないウェブページを制御することもできます。

**Web Crawler Amazon Kendra が、許可されていないウェブページを除くすべてのウェブページをクロールできるようにするには、次のディレクティブを使用します。**

```
User-agent: amazon-kendra    # Amazon Kendra Web Crawler
Disallow: /credential-pages/ # disallow access to specific pages
```

** Amazon Kendra Web Crawler が特定のウェブページのみをクロールできるようにするには、次のディレクティブを使用します。**

```
User-agent: amazon-kendra    # Amazon Kendra Web Crawler
Allow: /pages/ # allow access to specific pages
```

** Amazon Kendra Web Crawler がすべてのウェブサイトコンテンツをクロールし、他のロボットのクロールを禁止するには、次のディレクティブを使用します。**

```
User-agent: amazon-kendra # Amazon Kendra Web Crawler
Allow: / # allow access to all pages
User-agent: * # any (other) robot
Disallow: / # disallow access to any pages
```

## Amazon Kendra Web Crawler によるウェブサイトのクロールの停止
<a name="stop-web-crawler-access"></a>

`Disallow` ディレクティブを使用して、 Amazon Kendra Web Crawler によるウェブサイトのインデックス作成を停止できます。また、クロールされるウェブページとクロールしないウェブページを制御できます。

** Amazon Kendra Web Crawler によるウェブサイトのクロールを停止するには、次のディレクティブを使用します。**

```
User-agent: amazon-kendra # Amazon Kendra Web Crawler
Disallow: / # disallow access to any pages
```

 Amazon Kendra Web Crawler に関するご質問やご不明点がございましたら、 [AWS サポートチーム](https://aws.amazon.com/contact-us/?nc1=f_m)にお問い合わせください。