Lanzamiento de una aplicación de Spark mediante la integración de Amazon Redshift para Apache Spark - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Lanzamiento de una aplicación de Spark mediante la integración de Amazon Redshift para Apache Spark

Para usar la integración con EMR Serverless 6.9.0, transfiere las dependencias de Spark-Redshift requeridas con tu trabajo de Spark. Utilice --jars para incluir bibliotecas relacionadas con el conector de Redshift. Para acceder a otras ubicaciones de archivos compatibles con la --jars opción, consulta la sección Gestión avanzada de dependencias de la documentación de Apache Spark.

  • spark-redshift.jar

  • spark-avro.jar

  • RedshiftJDBC.jar

  • minimal-json.jar

Las versiones 6.10.0 y posteriores de Amazon EMR no requieren la dependencia minimal-json.jar e instalan automáticamente las demás dependencias en cada clúster de forma predeterminada. Los siguientes ejemplos muestran cómo lanzar una aplicación Spark con la integración de Amazon Redshift para Apache Spark.

Amazon EMR 6.10.0 +

Lance un trabajo de Spark en Amazon EMR sin servidor con la integración de Amazon Redshift para Apache Spark en EMR sin servidor 6.10.0 y versiones posteriores.

spark-submit my_script.py
Amazon EMR 6.9.0

Para lanzar un trabajo de Spark en Amazon EMR sin servidor con la integración de Amazon Redshift para Apache Spark en EMR sin servidor 6.9.0, utilice la opción --jars que se muestra en el siguiente ejemplo. Tenga en cuenta que las rutas enumeradas con la opción --jars son las rutas predeterminadas para los archivos JAR.

--jars /usr/share/aws/redshift/jdbc/RedshiftJDBC.jar, /usr/share/aws/redshift/spark-redshift/lib/spark-redshift.jar, /usr/share/aws/redshift/spark-redshift/lib/spark-avro.jar, /usr/share/aws/redshift/spark-redshift/lib/minimal-json.jar
spark-submit \ --jars /usr/share/aws/redshift/jdbc/RedshiftJDBC.jar,/usr/share/aws/redshift/spark-redshift/lib/spark-redshift.jar,/usr/share/aws/redshift/spark-redshift/lib/spark-avro.jar,/usr/share/aws/redshift/spark-redshift/lib/minimal-json.jar \ my_script.py