Oracle でのカスタムプラグインの作成

1. コマンドプロンプトで、DAG コードが保存されているディレクトリに移動します。例:

   cd dags

2. 以下のコードサンプルの内容をコピーし、ローカルに oracle.py として保存します。

   from airflow import DAG
   from airflow.operators.python_operator import PythonOperator
   from airflow.utils.dates import days_ago
   import os
   import cx_Oracle
   
   DAG_ID = os.path.basename(__file__).replace(".py", "")
   
   def testHook(**kwargs):
       cx_Oracle.init_oracle_client()
       version = cx_Oracle.clientversion()
       print("cx_Oracle.clientversion",version)
       return version
   
   with DAG(dag_id=DAG_ID, schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
       hook_test = PythonOperator(
           task_id="hook_test",
           python_callable=testHook,
           provide_context=True 
       )

Amazon Linux コンテナイメージをプルする

1. コマンドプロンプトで Amazon Linux コンテナイメージを取得し、コンテナをローカルで実行します。例:

   docker pull amazonlinux
   						docker run -it amazonlinux:latest /bin/bash

   コマンドプロンプトは bash コマンドラインを呼び出すことができます。例:

   bash-4.2#

2. Linux ネイティブの非同期 I/O 機能 (libaio) をインストールします。

   yum -y install libaio

3. 以降の手順では、このウィンドウを開いたままにしておいてください。次のファイルをローカルにコピーします: lib64/libaio.so.1、lib64/libaio.so.1.0.0、lib64/libaio.so.1.0.1。

クライアントフォルダをダウンロード

1. unzip パッケージをローカルにインストールします。例:

   sudo yum install unzip

2. oracle_plugin ディレクトリの作成 例:

   mkdir oracle_plugin
   cd oracle_plugin

3. 次の curl コマンドを使用して、Linux x86-64 (64 ビット) 用 Oracle インスタントクライアントダウンロードから instantclient-basic-linux.x64-18.5.0.0.0dbru.zip をダウンロードします。

   curl https://download.oracle.com/otn_software/linux/instantclient/185000/instantclient-basic-linux.x64-18.5.0.0.0dbru.zip > client.zip

4. client.zip ファイルを解凍します。例:

   unzip *.zip

Docker からファイルを抽出します。

1. 新しいコマンドプロンプトで、Docker コンテナ ID を表示および書き込みます。例:

   docker container ls

   コマンドプロンプトは、すべてのコンテナとその IDs。例:

   debc16fd6970

2. oracle_plugin ディレクトリで、lib64/libaio.so.1、lib64/libaio.so.1.0.0、lib64/libaio.so.1.0.1 ファイルをローカル instantclient_18_5 フォルダに抽出してください。例:

   docker cp debc16fd6970:/lib64/libaio.so.1 instantclient_18_5/
   docker cp debc16fd6970:/lib64/libaio.so.1.0.0 instantclient_18_5/
   docker cp debc16fd6970:/lib64/libaio.so.1.0.1 instantclient_18_5/

• 以下のコードサンプルの内容をコピーし、ローカルに env_var_plugin_oracle.py として保存します。

  from airflow.plugins_manager import AirflowPlugin
  import os
  
  os.environ["LD_LIBRARY_PATH"]='/usr/local/airflow/plugins/instantclient_18_5'
  os.environ["DPI_DEBUG_LEVEL"]="64"
  
  class EnvVarPlugin(AirflowPlugin):                
      name = 'env_var_plugin' 

プラグインディレクトリの中身を Zip 圧縮する

1. コマンドプロンプトで、oracle_plugin ディレクトリに移動します。例:

   cd oracle_plugin

2. instantclient_18_5 ディレクトリを plugins.zip に圧縮します。例:

   zip -r ../plugins.zip ./

   コマンドプロンプトに以下が表示されます。

   oracle_plugin$ ls
   client.zip		instantclient_18_5

3. client.zip ファイルを削除します。例:

   rm client.zip

env_var_plugin_oracle.py ファイルを圧縮します。

1. plugins.zip のルートに env_var_plugin_oracle.py ファイルを追加します。例:

   zip plugins.zip env_var_plugin_oracle.py

2. plugins.zip に以下が含まれるようになりました。

   env_var_plugin_oracle.py
   instantclient_18_5/