Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

# Konfiguration der `robots.txt` Datei für Amazon Kendra Web Crawler
<a name="stop-web-crawler"></a>

Amazon Kendra ist ein intelligenter Suchdienst, mit dem AWS Kunden Dokumente ihrer Wahl indexieren und durchsuchen können. Um Dokumente im Internet zu indexieren, können Kunden den Amazon Kendra Web Crawler verwenden, der angibt, welche URL (s) indexiert werden sollen und welche Betriebsparameter angegeben werden sollen. Amazon Kendra Kunden müssen vor der Indexierung einer bestimmten Website eine Autorisierung einholen.

Amazon Kendra Web Crawler respektiert die Standardanweisungen von robots.txt wie `Allow` und. `Disallow` Sie können die `robots.txt` Datei Ihrer Website ändern, um zu steuern, wie Amazon Kendra Web Crawler Ihre Website crawlt.

## Konfigurieren Sie, wie Amazon Kendra Web Crawler auf Ihre Website zugreift
<a name="configure-web-crawler-website-access"></a>

Sie können mithilfe von AND-Anweisungen steuern, wie der Amazon Kendra Web Crawler Ihre Website indexiert. `Allow` `Disallow` Sie können außerdem kontrollieren, welche Webseiten indexiert werden und welche Webseiten nicht gecrawlt werden.

**Verwenden Sie die Amazon Kendra folgende Direktive, damit der Web Crawler alle Webseiten mit Ausnahme unzulässiger Webseiten crawlen kann:**

```
User-agent: amazon-kendra    # Amazon Kendra Web Crawler
Disallow: /credential-pages/ # disallow access to specific pages
```

**Verwenden Sie die folgende Direktive, damit Amazon Kendra Web Crawler nur bestimmte Webseiten crawlen kann:**

```
User-agent: amazon-kendra    # Amazon Kendra Web Crawler
Allow: /pages/ # allow access to specific pages
```

**Verwenden Sie die folgende Anweisung, um Amazon Kendra Web Crawler das Crawlen aller Website-Inhalte zu ermöglichen und das Crawlen für andere Roboter zu verbieten:**

```
User-agent: amazon-kendra # Amazon Kendra Web Crawler
Allow: / # allow access to all pages
User-agent: * # any (other) robot
Disallow: / # disallow access to any pages
```

## Web Crawler daran hindern, Amazon Kendra Ihre Website zu crawlen
<a name="stop-web-crawler-access"></a>

Mithilfe der Direktive können Sie verhindern, dass Amazon Kendra Web Crawler Ihre Website indexiert. `Disallow` Sie können auch steuern, welche Webseiten gecrawlt werden und welche nicht.

**Verwenden Sie die folgende Anweisung, um zu verhindern, dass Amazon Kendra Web Crawler die Website crawlt:**

```
User-agent: amazon-kendra # Amazon Kendra Web Crawler
Disallow: / # disallow access to any pages
```

[Wenn Sie Fragen oder Bedenken zu Amazon Kendra Web Crawler haben, können Sie sich an das AWS Support-Team wenden.](https://aws.amazon.com/contact-us/?nc1=f_m)