Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Referensi perintah CLI Apache Airflow

Topik ini menjelaskan perintah Apache Airflow CLI yang didukung dan tidak didukung di Alur Kerja Terkelola Amazon untuk Apache Airflow.

Prasyarat

Bagian berikut menjelaskan langkah-langkah awal yang diperlukan untuk menggunakan perintah dan skrip di halaman ini.

Akses

AWS CLI

The AWS Command Line Interface (AWS CLI) adalah alat open source yang dapat Anda gunakan untuk berinteraksi dengan AWS layanan menggunakan perintah di shell baris perintah Anda. Untuk menyelesaikan langkah-langkah di halaman ini, Anda memerlukan yang berikut:

Apa yang berubah?

Perintah CLI yang didukung

Bagian berikut mencantumkan perintah Apache Airflow CLI yang tersedia di Amazon MWAA.

Perintah yang Didukung

Apache Airflow v3

Versi minor	, , perintah
v3.0.6	rincian aset
v3.0.6	daftar aset
v3.0.6	aset terwujud
v3.0.6	isi ulang buat
v3.0.6	lembar contekan
v3.0.6	koneksi menambahkan
v3.0.6	koneksi hapus
v3.0.6	hari hapus
v3.0.6	daftar dags
v3.0.6	dags daftar-lowongan
v3.0.6	dags list-import-errors
v3.0.6	dags daftar-berjalan
v3.0.6	dags eksekusi berikutnya
v3.0.6	dags jeda
v3.0.6	laporan dags
v3.0.6	dags reserialize
v3.0.6	pertunjukan dags
v3.0.6	negara bagian dags
v3.0.6	tes dags
v3.0.6	pemicu dags
v3.0.6	dags unpause
v3.0.6	db bersih
v3.0.6	perilaku penyedia
v3.0.6	penyedia mendapatkan
v3.0.6	penyedia kait
v3.0.6	tautan penyedia
v3.0.6	daftar penyedia
v3.0.6	pemberitahuan penyedia
v3.0.6	rahasia penyedia
v3.0.6	penyedia pemicu
v3.0.6	widget penyedia
v3.0.6	peran tambahan perms
v3.0.6	peran del-perms
v3.0.6	peran membuat
v3.0.6	daftar peran
v3.0.6	tugas jelas
v3.0.6	tugas gagal-deps
v3.0.6	daftar tugas
v3.0.6	tugas render
v3.0.6	status tugas
v3.0.6	tugas states-for-dag-run
v3.0.6	tes tugas
v3.0.6	variabel menghapus
v3.0.6	variabel mendapatkan
v3.0.6	variabel yang ditetapkan
v3.0.6	daftar variabel
v3.0.6	versi

Apache Airflow v2

Versi minor	, , perintah
v2.0+	lembar contekan
v2.0+	koneksi menambahkan
v2.0+	koneksi hapus
v2.2+ (catatan)	isi ulang hari
v2.0+	hari hapus
v2.2+ (catatan)	daftar dags
v2.0+	dags daftar-lowongan
v2.6+	dags list-import-errors
v2.2+ (catatan)	dags daftar-berjalan
v2.2+ (catatan)	dags eksekusi berikutnya
v2.0+	dags jeda
v2.0+	laporan dags
v2.4+	dags reserialize
v2.0+	pertunjukan dags
v2.0+	negara bagian dags
v2.0+	tes dags
v2.0+	pemicu dags
v2.0+	dags unpause
v2.4+	db bersih
v2.0+	perilaku penyedia
v2.0+	penyedia mendapatkan
v2.0+	penyedia kait
v2.0+	tautan penyedia
v2.0+	daftar penyedia
v2.8+	pemberitahuan penyedia
v2.6+	rahasia penyedia
v2.7+	penyedia pemicu
v2.0+	widget penyedia
v2.6+	peran tambahan perms
v2.6+	peran del-perms
v2.6+	peran membuat
v2.0+	daftar peran
v2.0+	tugas jelas
v2.0+	tugas gagal-deps
v2.0+	daftar tugas
v2.0+	tugas render
v2.0+	tugas dijalankan
v2.0+	status tugas
v2.0+	tugas states-for-dag-run
v2.0+	tes tugas
v2.0+	variabel menghapus
v2.0+	variabel mendapatkan
v2.0+	variabel yang ditetapkan
v2.0+	daftar variabel
v2.0+	versi

Menggunakan perintah yang mengurai DAGs

Jika lingkungan Anda menjalankan Apache Airflow v2.0.2, perintah CLI yang DAGs mengurai akan gagal jika DAG menggunakan plugin yang bergantung pada paket yang diinstal melalui: requirements.txt

Anda dapat menggunakan perintah CLI ini jika Anda DAGs tidak menggunakan plugin yang bergantung pada paket yang diinstal melalui file. requirements.txt

Kode sampel

Bagian berikut berisi contoh berbagai cara untuk menggunakan Apache Airflow CLI.

Mengatur, mendapatkan, atau menghapus variabel Apache Airflow v2

Anda dapat menggunakan kode contoh berikut untuk mengatur, mendapatkan atau menghapus variabel dalam format<script> <mwaa env name> get | set | delete <variable> <variable value> </variable> </variable>.

[ $# -eq 0 ] && echo "Usage: $0 MWAA environment name " && exit

if [[ $2 == "" ]]; then
    dag="variables list"

elif  [ $2 == "get" ] ||  [ $2 == "delete" ] ||  [ $2 == "set" ]; then
    dag="variables $2 $3 $4 $5"

else
    echo "Not a valid command"
    exit 1
fi

CLI_JSON=$(aws mwaa --region $AWS_REGION create-cli-token --name $1) \
    && CLI_TOKEN=$(echo $CLI_JSON | jq -r '.CliToken') \
    && WEB_SERVER_HOSTNAME=$(echo $CLI_JSON | jq -r '.WebServerHostname') \
    && CLI_RESULTS=$(curl --request POST "https://$WEB_SERVER_HOSTNAME/aws_mwaa/cli" \
    --header "Authorization: Bearer $CLI_TOKEN" \
    --header "Content-Type: text/plain" \
    --data-raw "$dag" ) \
    && echo "Output:" \
    && echo $CLI_RESULTS | jq -r '.stdout' | base64 --decode \
    && echo "Errors:" \
    && echo $CLI_RESULTS | jq -r '.stderr' | base64 --decode

Tambahkan konfigurasi saat memicu DAG

Anda dapat menggunakan kode contoh berikut dengan Apache Airflow v2 untuk menambahkan konfigurasi saat memicu DAG, seperti. airflow trigger_dag 'dag_name' —conf '{"key":"value"}'

import boto3
import json
import requests 
import base64
				
  mwaa_env_name = 'YOUR_ENVIRONMENT_NAME'
  dag_name = 'YOUR_DAG_NAME'
  key = "YOUR_KEY"
  value = "YOUR_VALUE"
  conf = "{\"" + key + "\":\"" + value + "\"}"
				
  client = boto3.client('mwaa')
				
  mwaa_cli_token = client.create_cli_token(
    Name=mwaa_env_name
  )
				
  mwaa_auth_token = 'Bearer ' + mwaa_cli_token['CliToken']
  mwaa_webserver_hostname = 'https://{0}/aws_mwaa/cli'.format(mwaa_cli_token['WebServerHostname'])
  raw_data = "trigger_dag {0} -c '{1}'".format(dag_name, conf)
				
  mwaa_response = requests.post(
    mwaa_webserver_hostname,
    headers={
      'Authorization': mwaa_auth_token,
      'Content-Type': 'text/plain'
    },
    data=raw_data
  )
				
  mwaa_std_err_message = base64.b64decode(mwaa_response.json()['stderr']).decode('utf8')
  mwaa_std_out_message = base64.b64decode(mwaa_response.json()['stdout']).decode('utf8')
				
  print(mwaa_response.status_code)
  print(mwaa_std_err_message)
  print(mwaa_std_out_message)

Jalankan perintah CLI pada terowongan SSH ke host bastion

Gunakan contoh berikut untuk menjalankan perintah Airflow CLI menggunakan proxy terowongan SSH ke Linux Bastion Host.