Generación de respuestas en la consola mediante áreas de juego

Para usar un área de pruebas

1. Si aún no lo ha hecho, solicite acceso a los modelos que quiera utilizar. Para obtener más información, consulte Acceso a los modelos fundacionales de Amazon Bedrock.

2. Inicie sesión Consola de administración de AWS con una identidad de IAM que tenga permisos para usar la consola Amazon Bedrock. A continuación, abra la consola de Amazon Bedrock en https://console.aws.amazon.com/bedrock.

3. En el panel de navegación, en Áreas de juego, seleccione Chat/texto o Imagen.

4. Si está en el área de juego Chat/texto, seleccione un Modo.

5. Elija Seleccionar modelo. A continuación, elija un proveedor, un modelo y el rendimiento a usar. Para obtener más información sobre cómo aumentar el rendimiento, consulte Aumento del rendimiento con la inferencia entre regiones y Aumento de la capacidad de invocación de modelos con el rendimiento aprovisionado en Amazon Bedrock.

6. Envíe la siguiente información para generar una respuesta:

   • Petición: suele ser una o más frases de texto que configuran un escenario, una pregunta o una tarea para un modelo. Para obtener información sobre la creación de peticiones, consulte Conceptos de ingeniería de peticiones.

     Si utiliza el modo de chat del patio de chat/text recreo, algunos modelos (consulteModelos y características del modelo compatibles) le permiten incluir un archivo de las siguientes maneras:

     • Seleccione el icono del archivo adjunto y elija el archivo que desea cargar.

     • Seleccione el icono del archivo adjunto y elija el objeto de Amazon S3 que desea cargar.

     • Arrastre un archivo hasta la petición.

     Incluya archivos para complementar su petición. Puede hacer referencia al archivo en el texto de la petición. Por ejemplo, puede escribir Summarize this document for me o Tell me what's in this image. Puede incluir los siguientes tipos de archivos:

     • Documentos: añada documentos para complementar la petición. Para obtener una lista de los tipos de archivos compatibles, consulte el format campo de DocumentBlock.

       aviso

       Los nombres de documento son vulnerables a las inyecciones de peticiones, ya que el modelo podría interpretarlas como instrucciones por error. Por lo tanto, le recomendamos que especifique un nombre neutro.

     • Imágenes: agregue imágenes para complementar la petición, si el modelo admite entradas de imágenes y texto multimodales. Para ver una lista de los tipos de archivos compatibles, consulta el format campo de ImageBlock.

     • Vídeos: agregue vídeos para complementar la petición, si el modelo admite entradas de vídeo y texto multimodales. Para obtener una lista de los tipos de archivos compatibles, consulte el format campo del VideoBlock.

   • Configuraciones: ajustes que se adaptan para modificar la respuesta del modelo. Las configuraciones son las siguientes:

     • Parámetros de inferencia: valores que afectan o limitan la forma en que el modelo genera la respuesta. Para obtener más información, consulte Influencia sobre la generación de respuestas con parámetros de inferencia. Para ver los parámetros de inferencia de modelos específicos, consulte Parámetros de solicitud de inferencia y campos de respuesta para los modelos fundacionales.

     • Peticiones del sistema: peticiones que proporcionan instrucciones o contexto al modelo acerca de la tarea que debe realizar o el personaje que debe adoptar. Solo están disponibles en el modo de chat del chat/text patio de recreo. Para obtener más información y una lista de modelos que admiten las peticiones del sistema, consulte Cómo mantener una conversación con las operaciones de la API Converse.

     • Barreras de protección: filtra el contenido dañino o no deseado en las peticiones y modela las respuestas. Para obtener más información, consulte Detección y filtrado del contenido dañino mediante Barreras de protección para Amazon Bedrock.

7. (Opcional) Si un modelo admite la transmisión, el comportamiento predeterminado en el chat/text patio de recreo es transmitir las respuestas. Para desactivar la transmisión, seleccione el icono de opciones ( ) y modifique la opción Preferencias de streaming.

8. (Opcional) En el modo de chat del patio de chat/text recreo, puedes comparar las respuestas de diferentes modelos de la siguiente manera:

   1. Active el Modo de comparación.

   2. Elija Seleccionar modelo. A continuación, elija un proveedor, un modelo y el rendimiento a usar.

   3. Elija el icono de configuración ( ) para modificar las configuraciones que se van a utilizar.

   4. Para añadir más modelos para compararlos, pulse el icono + de la derecha, seleccione un modelo y modifique las configuraciones según sea necesario.

9. (Opcional) Si un modelo admite el almacenamiento en caché de peticiones, puede abrir el panel Configuraciones y activar Almacenamiento en caché de peticiones para permitir el almacenamiento en caché de las respuestas de entrada y del modelo a fin de reducir el costo y la latencia. Para obtener más información, consulte Almacenamiento en caché de peticiones para una inferencia de modelos más rápida.

10. Elija Ejecutar para ejecutar la consulta. Amazon Bedrock no almacena ningún texto, imagen ni documento que proporcione usted. Los datos solo se utilizan para generar la respuesta.

    nota

    Si la respuesta infringe la política de moderación de contenido, Amazon Bedrock no la mostrará. Si ha activado el streaming, Amazon Bedrock borra toda la respuesta si genera contenido que infrinja la política. Para obtener más información, diríjase a la consola de Amazon Bedrock, seleccione Proveedores y lea el texto de la sección Limitaciones de contenido.

11. El modelo devuelve la respuesta. Si utilizas el modo de chat del patio de chat/text recreo, puedes enviar un mensaje para responder a la respuesta y generar otra respuesta.

12. Después de generar una respuesta, tiene las siguientes opciones:

    • Para exportar la respuesta como archivo JSON, elija el icono de opciones ( ) y seleccione Exportar como JSON.

    • Para ver la solicitud de la API que ha realizado, seleccione el icono de opciones ( ) y Ver solicitud de API.

    • En el modo de chat del chat/text patio de recreo, puedes ver las métricas en la sección Métricas del modelo. Están disponibles las siguientes métricas del modelo:

      • Latencia: el tiempo que transcurre entre el momento en que Amazon Bedrock recibe la solicitud y el momento en que se devuelve la respuesta (en el caso de las respuestas que no son de transmisión) o el momento en que se completa la transmisión de la respuesta (en el caso de la transmisión de respuestas).

      • Recuento de tokens de entrada: la cantidad de tokens que se introducen en el modelo como entrada durante la inferencia.

      • Recuento de tokens de salida: la cantidad de tokens generados en respuesta a una petición. Las respuestas más largas y conversacionales requieren más tokens.

      • Costo: el costo de procesar la entrada y generar los tokens de salida.

      Para establecer los criterios de medición con los que desea que coincida la respuesta, elija Definir criterios de medición y defina las condiciones con las que debe coincidir el modelo. Después de aplicar los criterios, la sección Métricas del modelo muestra cuántos y qué criterios cumple la respuesta.

      Si no se cumplen los criterios, puede elegir un modelo diferente, volver a escribir la petición o modificar las configuraciones y volver a ejecutar la petición.