Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

# Configuración del `robots.txt` archivo para Web Crawler Amazon Kendra
<a name="stop-web-crawler"></a>

Amazon Kendra es un servicio de búsqueda inteligente que AWS los clientes utilizan para indexar y buscar los documentos que elijan. Para indexar documentos en la web, los clientes pueden utilizar un rastreador Amazon Kendra web, que indica qué URL deben indexarse y otros parámetros operativos. Amazon Kendra los clientes deben obtener una autorización antes de indexar cualquier sitio web en particular.

Amazon Kendra Web Crawler respeta las directivas estándar de robots.txt, como `Allow` y. `Disallow` Puede modificar el `robots.txt` archivo de su sitio web para controlar la forma en que Amazon Kendra Web Crawler lo rastrea.

## Configurar el modo en que Amazon Kendra Web Crawler accede a su sitio web
<a name="configure-web-crawler-website-access"></a>

Puede controlar la forma en que el Amazon Kendra Web Crawler indexa su sitio web mediante directivas y directivas. `Allow` `Disallow` También puede controlar qué páginas web se indexan y qué páginas web no se rastrean.

**Para permitir que Amazon Kendra Web Crawler rastree todas las páginas web excepto las no permitidas, utilice la siguiente directiva:**

```
User-agent: amazon-kendra    # Amazon Kendra Web Crawler
Disallow: /credential-pages/ # disallow access to specific pages
```

**Para permitir que Amazon Kendra Web Crawler rastree solo páginas web específicas, utilice la siguiente directiva:**

```
User-agent: amazon-kendra    # Amazon Kendra Web Crawler
Allow: /pages/ # allow access to specific pages
```

**Para permitir que Amazon Kendra Web Crawler rastree todo el contenido del sitio web e impedir que otros robots rastreen, utilice la siguiente directiva:**

```
User-agent: amazon-kendra # Amazon Kendra Web Crawler
Allow: / # allow access to all pages
User-agent: * # any (other) robot
Disallow: / # disallow access to any pages
```

## Impedir que Amazon Kendra Web Crawler rastree tu sitio web
<a name="stop-web-crawler-access"></a>

Puede impedir que Amazon Kendra Web Crawler indexe su sitio web mediante esta directiva. `Disallow` También puede controlar qué páginas web se rastrean y cuáles no.

**Para evitar que Amazon Kendra Web Crawler rastree el sitio web, utilice la siguiente directiva:**

```
User-agent: amazon-kendra # Amazon Kendra Web Crawler
Disallow: / # disallow access to any pages
```

[Si tiene alguna pregunta o duda sobre Amazon Kendra Web Crawler, puede ponerse en contacto con el AWS equipo de soporte.](https://aws.amazon.com/contact-us/?nc1=f_m)