Impor pustaka psycopg2 AWS Lambda untuk berinteraksi dengan database PostgreSQL Anda

Louis Hourcade, Amazon Web Services

Ringkasan

Psycopg adalah adaptor database PostgressQL untuk Python. Pengembang menggunakan psycopg2 perpustakaan untuk menulis aplikasi Python yang berinteraksi dengan database PostgreSQL.

Di Amazon Web Services (AWS), pengembang juga menggunakan AWS Lambdauntuk menjalankan kode untuk aplikasi atau layanan backend. Lambda adalah layanan komputasi tanpa server yang digerakkan oleh peristiwa yang menjalankan kode tanpa perlu menyediakan atau mengelola server.

Secara default, saat Anda membuat fungsi baru yang menggunakan runtime Python (versi 3.9, 3.8, atau 3.7), lingkungan runtime Lambda dibuat dari gambar dasar untuk Lambda yang disediakan oleh. AWS Pustaka, seperti pandas ataupsycopg2, tidak termasuk dalam gambar dasar. Untuk menggunakan perpustakaan, Anda perlu menggabungkannya dalam paket khusus dan melampirkannya ke Lambda.

Ada beberapa cara untuk menggabungkan dan melampirkan perpustakaan, termasuk yang berikut:

Pola ini menunjukkan dua opsi pertama.

Dengan paket penyebaran.zip, menambahkan pandas pustaka ke fungsi Lambda Anda relatif mudah. Buat folder di mesin Linux Anda, tambahkan skrip Lambda bersama dengan pandas perpustakaan dan dependensi perpustakaan ke folder, zip folder, dan sediakan sebagai sumber untuk fungsi Lambda Anda.

Meskipun menggunakan paket penyebaran.zip adalah praktik umum, pendekatan itu tidak berfungsi untuk perpustakaan. psycopg2 Pola ini pertama-tama menunjukkan kesalahan yang Anda dapatkan jika Anda menggunakan paket penyebaran .zip untuk menambahkan psycopg2 pustaka ke fungsi Lambda Anda. Pola kemudian menunjukkan cara menerapkan Lambda dari Dockerfile dan mengedit gambar Lambda untuk membuat perpustakaan berfungsi. psycopg2

Untuk informasi tentang tiga sumber daya yang diterapkan pola, lihat bagian Informasi tambahan.

Prasyarat dan batasan

Prasyarat

Keterbatasan

Versi produk

Arsitektur

Ikhtisar solusi

Untuk mengilustrasikan tantangan yang mungkin Anda hadapi saat menggunakan psycopg2 pustaka di Lambda, pola tersebut menerapkan dua fungsi Lambda:

Fungsi Lambda pertama menginstal pandas perpustakaan dan dependensinya dalam file.zip, dan Lambda dapat menggunakan pustaka itu.

Fungsi Lambda kedua menunjukkan bahwa dengan membangun gambar kontainer untuk fungsi Lambda Anda, Anda dapat menjalankan dan pandas perpustakaan di Lambda. psycopg2

Alat

Layanan AWS

Alat-alat lainnya

Repositori kode

Kode untuk pola ini tersedia di impor-psycopg2 - - repositori pada. in-lambda-to-interact with-postgres-database GitHub

Praktik terbaik

Pola ini memberi Anda contoh kerja penggunaan AWS CDK untuk membuat fungsi Lambda dari Dockerfile. Jika Anda menggunakan kembali kode ini dalam aplikasi Anda, pastikan bahwa sumber daya yang digunakan memenuhi semua persyaratan keamanan. Gunakan alat seperti Checkov, yang memindai konfigurasi infrastruktur cloud untuk menemukan kesalahan konfigurasi sebelum infrastruktur diterapkan.

Epik

git clone https://github.com/aws-samples/import-psycopg2-in-lambda-to-interact-with-postgres-database.git
cd AWS-lambda-psycopg2

aws_acccount = "AWS_ACCOUNT_ID"
region = "AWS_REGION"
# Select the CPU architecture you are using to build the image (ARM or X86)
architecture = "ARM"

cdk bootstrap aws://<tooling-account-id>/<aws-region>

cdk deploy AWSLambdaPyscopg2

# Start from lambda Python3.8 image
FROM public.ecr.aws/lambda/python:3.8

# Copy the lambda code, together with its requirements
COPY lambda/requirements.txt ${LAMBDA_TASK_ROOT}
COPY lambda/lambda_code.py ${LAMBDA_TASK_ROOT}

# Install postgresql-devel in your image
RUN yum install -y gcc postgresql-devel

# install the requirements for the Lambda code
RUN pip3 install -r requirements.txt --target "${LAMBDA_TASK_ROOT}"

# Command can be overwritten by providing a different command in the template directly.
CMD ["lambda_code.handler"]

Sumber daya terkait

Informasi tambahan

Dalam pola ini, AWS CDK template menyediakan AWS tumpukan dengan tiga sumber daya:

Skrip untuk kedua fungsi Lambda memeriksa apakah psycopg2 pustaka pandas dan pustaka berhasil diimpor:

import pandas
print("pandas successfully imported")

import psycopg2
print("psycopg2 successfully imported")

def handler(event, context):
    """Function that checks whether psycopg2  and pandas are successfully imported or not"""
    return {"Status": "psycopg2 and pandas successfully imported"}

Paket lambda_deploy.zip penerapan dibangun dengan skrip Constructs/lambda/build.sh bash. Skrip ini membuat folder, menyalin skrip Lambda, menginstal pandas dan psycopg2 perpustakaan, dan menghasilkan file.zip. Untuk membuat file.zip sendiri, jalankan skrip bash ini dan gunakan kembali tumpukan. AWS CDK

Dockerfile dimulai dengan image dasar yang AWS disediakan untuk Lambda dengan runtime Python 3.8. Dockerfile menginstal pandas dan psycopg2 pustaka di atas gambar default.