Creación de un complemento personalizado con Oracle

1. En el símbolo del sistema, vaya hasta el directorio en el que esté almacenado el código DAG. Por ejemplo:

   cd dags

2. Copie el contenido del código de ejemplo siguiente y guárdelo localmente como oracle.py.

   from airflow import DAG
   from airflow.operators.python_operator import PythonOperator
   from airflow.utils.dates import days_ago
   import os
   import cx_Oracle
   
   DAG_ID = os.path.basename(__file__).replace(".py", "")
   
   def testHook(**kwargs):
       cx_Oracle.init_oracle_client()
       version = cx_Oracle.clientversion()
       print("cx_Oracle.clientversion",version)
       return version
   
   with DAG(dag_id=DAG_ID, schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
       hook_test = PythonOperator(
           task_id="hook_test",
           python_callable=testHook,
           provide_context=True 
       )

Extracción de la imagen del contenedor Linux de Amazon

1. En el símbolo del sistema, extraiga la imagen del contenedor Linux de Amazon y ejecútelo localmente. Por ejemplo:

   docker pull amazonlinux
   						docker run -it amazonlinux:latest /bin/bash

   La línea de comandos puede invocar una línea de comandos de bash. Por ejemplo:

   bash-4.2#

2. Instale la función I/O asíncrona nativa de Linux (libaio).

   yum -y install libaio

3. Mantenga esta ventana abierta para los pasos siguientes. Copiaremos los siguientes archivos en el sistema local: lib64/libaio.so.1, lib64/libaio.so.1.0.0, lib64/libaio.so.1.0.1.

Descarga de la carpeta del cliente

1. Instale el paquete de descompresión localmente. Por ejemplo:

   sudo yum install unzip

2. Cree un directorio de oracle_plugin. Por ejemplo:

   mkdir oracle_plugin
   cd oracle_plugin

3. Utilice el siguiente comando curl para descargar el instantclient-basic-linux.x64-18.5.0.0.0dbru.zip de Oracle Instant Client Downloads para Linux x86-64 (64 bits).

   curl https://download.oracle.com/otn_software/linux/instantclient/185000/instantclient-basic-linux.x64-18.5.0.0.0dbru.zip > client.zip

4. Descomprima el archivo client.zip. Por ejemplo:

   unzip *.zip

Extracción de archivos de Docker

1. En una nueva línea de comandos, muestre y anote su ID de contenedor de Docker. Por ejemplo:

   docker container ls

   La línea de comandos puede devolver todos los contenedores y sus IDs contenedores. Por ejemplo:

   debc16fd6970

2. En su directorio oracle_plugin, extraiga los archivos lib64/libaio.so.1, lib64/libaio.so.1.0.0, lib64/libaio.so.1.0.1 en la carpeta instantclient_18_5 local. Por ejemplo:

   docker cp debc16fd6970:/lib64/libaio.so.1 instantclient_18_5/
   docker cp debc16fd6970:/lib64/libaio.so.1.0.0 instantclient_18_5/
   docker cp debc16fd6970:/lib64/libaio.so.1.0.1 instantclient_18_5/

• Copie el contenido del código de ejemplo siguiente y guárdelo localmente como env_var_plugin_oracle.py.

  from airflow.plugins_manager import AirflowPlugin
  import os
  
  os.environ["LD_LIBRARY_PATH"]='/usr/local/airflow/plugins/instantclient_18_5'
  os.environ["DPI_DEBUG_LEVEL"]="64"
  
  class EnvVarPlugin(AirflowPlugin):                
      name = 'env_var_plugin' 

Compresión del contenido del directorio de complementos

1. En una línea de comando, vaya al directorio oracle_plugin. Por ejemplo:

   cd oracle_plugin

2. Comprima el directorio instantclient_18_5 en plugins.zip. Por ejemplo:

   zip -r ../plugins.zip ./

   La línea de comandos muestra:

   oracle_plugin$ ls
   client.zip		instantclient_18_5

3. Elimine el archivo client.zip. Por ejemplo:

   rm client.zip

Comprima el archivo env_var_plugin_oracle.py

1. Agregue el archivo env_var_plugin_oracle.py a la raíz de plugins.zip. Por ejemplo:

   zip plugins.zip env_var_plugin_oracle.py

2. Su archivo plugins.zip ahora incluye lo siguiente:

   env_var_plugin_oracle.py
   instantclient_18_5/