Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Detalles específicos de las aplicaciones de Pig para versiones anteriores de la AMI de Amazon EMR
Versiones de Pig compatibles
La versión de Pig que puede agregar a su clúster depende de la versión de la AMI de Amazon EMR y de la versión de Hadoop que utilice. En la tabla siguiente se muestra las versiones de la AMI y las versiones de Hadoop que son compatibles con las distintas versiones de Pig. Le recomendamos que utilice la última versión disponible de Pig para aprovechar las mejoras de rendimiento y las nuevas funcionalidades.
Cuando usas la API para instalar Pig, se usa la versión predeterminada, a menos que especifiques --pig-versions como argumento el paso que carga Pig en el clúster durante la llamada a RunJobFlow.
| Versión de Pig | Versión de AMI | Parámetros de configuración | Detalles de la versión de Pig |
|---|---|---|---|
| 0.12.0 | 3.1.0 y versiones posteriores |
|
Añade compatibilidad para lo siguiente:
|
| 0.11.1.1 | 2.2 y versiones posteriores |
|
Mejora el rendimiento del comando LOAD PigStorage si la entrada reside en Amazon S3. |
| 0.11.1 | 2.2 y versiones posteriores |
|
Añade compatibilidad con JDK 7, Hadoop 2, las funciones definidas por el usuario de Groovy, la SchemaTuple optimización, los nuevos operadores y mucho más. Para más información, consulte el Registro de cambios de Pig 0.11.1 |
| 0.9.2.2 | 2.2 y versiones posteriores |
|
Añade compatibilidad para Hadoop 1.0.3. |
| 0.9.2.1 | 2.2 y versiones posteriores |
|
Añade soporte para MapR. |
| 0.9.2 | 2.2 y versiones posteriores |
|
Incluye varias mejoras de rendimiento y correcciones de errores. Para obtener información completa sobre los cambios de Pig 0.9.2, consulte el registro de cambios de Pig 0.9.2 |
| 0.9.1 | 2.0 |
|
|
| 0.6 | 1.0 |
|
|
| 0.3 | 1.0 |
|
Detalles de la versión de Pig
Amazon EMR admite determinadas versiones de Pig que podrían tener aplicados parches de Amazon EMR adicionales. Puede configurar la versión de Pig que desea ejecutar en clústeres de Amazon EMR. Para obtener más información acerca de cómo hacerlo, consulte Apache Pig. En las siguientes secciones se describen diferentes versiones de Pig y los parches aplicados a las versiones cargadas en Amazon EMR.
Parches de Pig
En esta sección se describen los parches personalizados aplicados a versiones de Pig disponibles con Amazon EMR.
Parches de Pig 0.11.1.1
La versión 0.11.1.1 de Amazon EMR es una versión de mantenimiento que mejora el rendimiento del comando LOAD si la entrada reside en Amazon S3. PigStorage
Parches de Pig 0.11.1
La versión de Amazon EMR de Pig 0.11.1 contiene todas las actualizaciones facilitadas por la Apache Software Foundation y los parches acumulativos de Amazon EMR de la versión 0.9.2.2 de Pig. Sin embargo, no hay EMR-specific parches nuevos de Amazon en Pig 0.11.1.
Parches de Pig 0.9.2
Apache Pig 0.9.2 es una versión de mantenimiento de Pig. El equipo de Amazon EMR ha aplicado los siguientes parches a la versión de Amazon EMR de Pig 0.9.2.
| Parche | Description (Descripción) |
|---|---|
| PIG-1429 |
Añadir el tipo de datos booleano a Pig como tipo de datos de primer nivel. Para obtener más información, consulte https://issues.apache.org/jira/browse/PIG-1429 Estado: confirmado Corregido en la versión de Apache Pig: 0.10 |
| PIG-1824 |
Admite módulos de importación en Jython UDF. Para obtener más información, consulte https://issues.apache.org/jira/browse/PIG-1824 Estado: confirmado Corregido en la versión de Apache Pig: 0.10 |
| PIG-2010 |
JAR registrados en paquetes en la caché distribuida. Para obtener más información, consulte https://issues.apache.org/jira/browse/PIG-2010 Estado: confirmado Corregido en la versión de Apache Pig: 0.11 |
| PIG-2456 |
Añadir un archivo ~/.pigbootup donde el usuario puede especificar instrucciones de Pig predeterminadas. Para obtener más información, consulte https://issues.apache.org/jira/browse/PIG-2456 Estado: confirmado Corregido en la versión de Apache Pig: 0.11 |
| PIG-2623 |
Admite el uso de rutas de Amazon S3 para registrar UDF. Para obtener más información, consulte https://issues.apache.org/jira/browse/PIG-2623 Estado: confirmado Corregido en la versión de Apache Pig: 0.10, 0.11 |
Parches de Pig 0.9.1
El equipo de Amazon EMR ha aplicado los siguientes parches a la versión de Amazon EMR de Pig 0.9.1.
| Parche | Description (Descripción) |
|---|---|
| Admite archivos de JAR y scripts de Pig en dfs |
Agregue compatibilidad para ejecutar scripts y registrar archivos de JAR almacenados en HDFS, Amazon S3 u otros sistemas de archivos distribuidos. Para obtener más información, consulte https://issues.apache.org/jira/browse/PIG-1505 Estado: confirmado Corregido en la versión de Apache Pig: 0.8.0 |
| Soporta varios sistemas de archivos en Pig |
Añade soporte para scripts de Pig para leer datos desde un sistema de archivos y escribirlos en otro. Para obtener más información, consulte https://issues.apache.org/jira/browse/PIG-1564 Estado: no confirmado Corregido en la versión Apache Pig: n/a |
| Añadir datetime de Piggybank y UDF de cadena |
Añadir datetime y cadena de UDF para soporte de scripts de Pig personalizados. Para obtener más información, consulte https://issues.apache.org/jira/browse/PIG-1565 Estado: no confirmado Corregido en la versión Apache Pig: n/a |
Clústeres de Pig interactivos y por lotes
Amazon EMR le permite ejecutar scripts de Pig en dos modos:
-
Interactivo
-
Lote
Cuando lanzas un clúster de larga duración con la consola o la AWS CLI, puedes conectarte ssh al nodo maestro como usuario de Hadoop y usar el shell de Grunt para desarrollar y ejecutar tus scripts de Pig de forma interactiva. El uso de Pig de forma interactiva le permite revisar el script de Pig con mayor facilidad que el modo por lotes. Después de revisar correctamente el script de Pig en modo interactivo, puede cargar el script en Amazon S3 y utilizar el modo por lotes para ejecutar el script en la fase de producción. También puede enviar comandos de Pig de forma interactiva en un clúster en ejecución para analizar y transformar los datos según sea necesario.
En el modo de lotes, se carga el script de Pig en Amazon S3 y, a continuación, se envía el trabajo al clúster como un paso. Los pasos de Pig se pueden enviar a un clúster en ejecución prolongada o a un clúster transitorio.
