Oracle을 이용한 사용자 지정 플러그인 생성

1. 명령 프롬프트에서 DAG 코드가 저장된 디렉터리로 이동합니다. 예:

   cd dags

2. 다음 코드 샘플의 내용을 복사하고 로컬에서 oracle.py로 저장합니다.

   from airflow import DAG
   from airflow.operators.python_operator import PythonOperator
   from airflow.utils.dates import days_ago
   import os
   import cx_Oracle
   
   DAG_ID = os.path.basename(__file__).replace(".py", "")
   
   def testHook(**kwargs):
       cx_Oracle.init_oracle_client()
       version = cx_Oracle.clientversion()
       print("cx_Oracle.clientversion",version)
       return version
   
   with DAG(dag_id=DAG_ID, schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
       hook_test = PythonOperator(
           task_id="hook_test",
           python_callable=testHook,
           provide_context=True 
       )

Amazon Linux 컨테이너 이미지 가져오기

1. 명령 프롬프트에서 Amazon Linux 컨테이너 이미지를 가져와서 로컬에서 컨테이너를 실행합니다. 예:

   docker pull amazonlinux
   						docker run -it amazonlinux:latest /bin/bash

   명령 프롬프트에서 bash 명령줄을 간접적으로 호출할 수 있습니다. 예:

   bash-4.2#

2. Linux 네이티브 비동기 I/O 기능(libaio)을 설치합니다.

   yum -y install libaio

3. 후속 단계를 위해 이 창을 열어 둡니다. lib64/libaio.so.1, lib64/libaio.so.1.0.0, lib64/libaio.so.1.0.1 파일을 로컬로 복사할 예정입니다.

클라이언트 폴더 다운로드

1. unzip 패키지를 로컬에 설치합니다. 예:

   sudo yum install unzip

2. oracle_plugin 디렉터리를 생성합니다. 예:

   mkdir oracle_plugin
   cd oracle_plugin

3. 다음 curl 명령을 사용하여 Linux x86-64용 Oracle Instant 클라이언트 다운로드(64비트)에서 instantclient-basic-linux.x64-18.5.0.0.0dbru.zip을 다운로드합니다.

   curl https://download.oracle.com/otn_software/linux/instantclient/185000/instantclient-basic-linux.x64-18.5.0.0.0dbru.zip > client.zip

4. client.zip 파일의 압축을 풉니다. 예:

   unzip *.zip

Docker에서 파일을 추출합니다.

1. 새 명령 프롬프트에서 Docker 컨테이너 ID를 표시하고 기록해 둡니다. 예:

   docker container ls

   명령 프롬프트는 모든 컨테이너와 해당 ID를 반환할 수 있습니다. 예:

   debc16fd6970

2. oracle_plugin 디렉터리에서 lib64/libaio.so.1, lib64/libaio.so.1.0.0, lib64/libaio.so.1.0.1 파일을 로컬 instantclient_18_5 폴더로 추출합니다. 예:

   docker cp debc16fd6970:/lib64/libaio.so.1 instantclient_18_5/
   docker cp debc16fd6970:/lib64/libaio.so.1.0.0 instantclient_18_5/
   docker cp debc16fd6970:/lib64/libaio.so.1.0.1 instantclient_18_5/

• 다음 코드 샘플의 내용을 복사하고 로컬에서 env_var_plugin_oracle.py로 저장합니다.

  from airflow.plugins_manager import AirflowPlugin
  import os
  
  os.environ["LD_LIBRARY_PATH"]='/usr/local/airflow/plugins/instantclient_18_5'
  os.environ["DPI_DEBUG_LEVEL"]="64"
  
  class EnvVarPlugin(AirflowPlugin):                
      name = 'env_var_plugin' 

플러그인 디렉터리의 콘텐츠를 압축합니다.

1. 명령 프롬프트에서 oracle_plugin 디렉터리로 이동합니다. 예:

   cd oracle_plugin

2. instantclient_18_5 디렉터리를 plugins.zip으로 압축합니다. 예:

   zip -r ../plugins.zip ./

   명령 프롬프트에 다음이 표시됩니다.

   oracle_plugin$ ls
   client.zip		instantclient_18_5

3. client.zip 파일을 제거합니다. 예:

   rm client.zip

env_var_plugin_oracle.py 파일을 압축합니다.

1. plugins.zip. 파일의 루트에 env_var_plugin_oracle.py 파일을 추가합니다. 예:

   zip plugins.zip env_var_plugin_oracle.py

2. 이제 plugins.zip 파일에 다음 정보가 포함됩니다.

   env_var_plugin_oracle.py
   instantclient_18_5/