Creazione di un plug-in personalizzato con Oracle

1. Nel prompt dei comandi, accedete alla directory in cui è memorizzato il codice DAG. Ad esempio:

   cd dags

2. Copiate il contenuto del seguente esempio di codice e salvatelo localmente con nome. oracle.py

   from airflow import DAG
   from airflow.operators.python_operator import PythonOperator
   from airflow.utils.dates import days_ago
   import os
   import cx_Oracle
   
   DAG_ID = os.path.basename(__file__).replace(".py", "")
   
   def testHook(**kwargs):
       cx_Oracle.init_oracle_client()
       version = cx_Oracle.clientversion()
       print("cx_Oracle.clientversion",version)
       return version
   
   with DAG(dag_id=DAG_ID, schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
       hook_test = PythonOperator(
           task_id="hook_test",
           python_callable=testHook,
           provide_context=True 
       )

Estrai l'immagine del contenitore Amazon Linux

1. Nel prompt dei comandi, recupera l'immagine del contenitore Amazon Linux ed esegui il contenitore localmente. Ad esempio:

   docker pull amazonlinux
   						docker run -it amazonlinux:latest /bin/bash

   Il prompt dei comandi può richiamare una riga di comando bash. Ad esempio:

   bash-4.2#

2. Installa la funzionalità asincrona nativa di Linux (libaio). I/O

   yum -y install libaio

3. Tieni aperta questa finestra per i passaggi successivi. Copieremo localmente i seguenti file:lib64/libaio.so.1,lib64/libaio.so.1.0.0,lib64/libaio.so.1.0.1.

Scarica la cartella del client

1. Installa il pacchetto unzip localmente. Ad esempio:

   sudo yum install unzip

2. Crea una directory oracle_plugin. Ad esempio:

   mkdir oracle_plugin
   cd oracle_plugin

3. Utilizzare il seguente comando curl per scaricare il file instantclient-basic-linux.x64-18.5.0.0.0dbru.zip da Oracle Instant Client Downloads per Linux x86-64 (64 bit).

   curl https://download.oracle.com/otn_software/linux/instantclient/185000/instantclient-basic-linux.x64-18.5.0.0.0dbru.zip > client.zip

4. Decomprimi il file client.zip. Ad esempio:

   unzip *.zip

Estrai file da Docker

1. In un nuovo prompt dei comandi, mostra e annota l'ID del contenitore Docker. Ad esempio:

   docker container ls

   Il prompt dei comandi può restituire tutti i contenitori e i relativi. IDs Ad esempio:

   debc16fd6970

2. Nella oracle_plugin directory, estrai i lib64/libaio.so.1.0.1 file lib64/libaio.so.1lib64/libaio.so.1.0.0,, instantclient_18_5 nella cartella locale. Ad esempio:

   docker cp debc16fd6970:/lib64/libaio.so.1 instantclient_18_5/
   docker cp debc16fd6970:/lib64/libaio.so.1.0.0 instantclient_18_5/
   docker cp debc16fd6970:/lib64/libaio.so.1.0.1 instantclient_18_5/

• Copiate il contenuto del seguente esempio di codice e salvatelo localmente con nomeenv_var_plugin_oracle.py.

  from airflow.plugins_manager import AirflowPlugin
  import os
  
  os.environ["LD_LIBRARY_PATH"]='/usr/local/airflow/plugins/instantclient_18_5'
  os.environ["DPI_DEBUG_LEVEL"]="64"
  
  class EnvVarPlugin(AirflowPlugin):                
      name = 'env_var_plugin' 

Comprimi il contenuto della cartella dei plugin

1. Nel prompt dei comandi, accedi alla oracle_plugin directory. Ad esempio:

   cd oracle_plugin

2. Comprimi la instantclient_18_5 directory in plugins.zip. Ad esempio:

   zip -r ../plugins.zip ./

   Il prompt dei comandi visualizza:

   oracle_plugin$ ls
   client.zip		instantclient_18_5

3. Rimuovi il client.zip file. Ad esempio:

   rm client.zip

Comprimi il file env_var_plugin_oracle.py

1. Aggiungi il env_var_plugin_oracle.py file alla radice del file plugins.zip. Ad esempio:

   zip plugins.zip env_var_plugin_oracle.py

2. Il tuo plugins.zip ora include quanto segue:

   env_var_plugin_oracle.py
   instantclient_18_5/