기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Lambda를 사용하여 서버리스로 파일 처리

파일 처리 워크플로는 NFS 또는 SMB 파일 공유에 도착하는 파일, 즉 지사에서 스캔한 문서, 필드 팀이 업로드한 이미지, 고객 센터에서 캡처한 오디오 또는 파트너가 제공한 데이터 파일로 시작하는 경우가 많습니다.

FSx for ONTAP 볼륨에 연결된 Amazon S3 액세스 포인트를 사용하여 AWS Lambda 함수는 Amazon S3 API를 사용하여 파일을 직접 읽고 씁니다. 파일 수준 작업은 사용자와 애플리케이션이 NFS 및 SMB를 통해 액세스하는 것과 동일한 데이터에 대해 서버리스로 처리할 수 있습니다.

이 자습서에서는 세 가지 일반적인 파일 처리 패턴을 보여줍니다. 각 예제는 액세스 포인트를 통해 볼륨에서 파일을 읽고 AWS 서비스 또는 라이브러리로 처리한 다음 결과를 볼륨에 다시 씁니다.

사전 조건

시작하기 전에 다음 항목이 준비되었는지 확인합니다.

1단계: 샘플 파일 업로드

다음 샘플 파일을 다운로드하여 액세스 포인트를 통해 FSx for ONTAP 볼륨에 업로드합니다. 이 자습서 전체에서를 액세스 포인트 별칭my-ap-alias-ext-s3alias으로 바꿉니다.

액세스 포인트를 통해 샘플 파일을 FSx for ONTAP 볼륨에 업로드합니다.

$ aws s3 cp sample-image.jpg s3://my-ap-alias-ext-s3alias/samples/images/sample-image.jpg
aws s3 cp sample-audio.mp3 s3://my-ap-alias-ext-s3alias/samples/audio/sample-audio.mp3

2단계: Lambda 실행 역할 생성

Lambda 함수는 실행 역할을 수임하여 다른 함수와 상호 작용합니다 AWS 서비스. 이 자습서에서는 CloudWatch Logs 로깅에 대한 AWS관리형 AWSLambdaBasicExecutionRole 정책을 연결한 다음 Amazon S3 액세스 포인트와 예제에서 사용하는 Textract 및 Transcribe APIs에 대한 액세스 권한을 부여하는 인라인 정책을 추가합니다.

워크플로에 통합

이 자습서의 예제에서는 테스트 이벤트와 함께 수동 호출을 사용합니다. 프로덕션 환경에서는 다음 접근 방식을 사용하여 이러한 함수를 자동으로 트리거할 수 있습니다.

예제 1: 이미지 썸네일 생성

이 예제에서는 FSx for ONTAP 볼륨에서 JPEG 이미지를 읽고, Pillow 이미지 라이브러리를 사용하여 200픽셀 썸네일로 크기를 조정하고, 썸네일을 볼륨에 다시 씁니다.

Lambda 함수 코드

다음 코드를 로 저장합니다lambda_function.py.

import boto3
from io import BytesIO
from PIL import Image

s3 = boto3.client('s3')

def lambda_handler(event, context):
    bucket = event['access_point_alias']
    key = event['key']

    # Read the image from FSx through the access point
    response = s3.get_object(Bucket=bucket, Key=key)
    image_data = response['Body'].read()

    # Resize to thumbnail
    img = Image.open(BytesIO(image_data))
    img.thumbnail((200, 200))

    # Write the thumbnail back to FSx
    buffer = BytesIO()
    img.save(buffer, format='JPEG', quality=85)
    buffer.seek(0)

    thumbnail_key = key.rsplit('.', 1)[0] + '_thumbnail.jpg'
    s3.put_object(
        Bucket=bucket,
        Key=thumbnail_key,
        Body=buffer.getvalue(),
        ContentType='image/jpeg'
    )

    return {
        'original_size': len(image_data),
        'thumbnail_size': len(buffer.getvalue()),
        'thumbnail_key': thumbnail_key
    }

함수 생성 및 호출

이 함수에는 Pillow 라이브러리가 필요합니다. Lambda Linux 런타임용으로 빌드된 Pillow가 포함된 배포 패키지를 생성합니다.

$ # Create a deployment package with Pillow for Lambda (Linux)
mkdir package && pip install Pillow -t package/ \
    --platform manylinux2014_x86_64 --only-binary=:all:
cd package && zip -r ../thumbnail-function.zip .
cd .. && zip thumbnail-function.zip lambda_function.py

# Create the function
aws lambda create-function \
    --function-name fsxn-thumbnail-generator \
    --runtime python3.12 \
    --handler lambda_function.lambda_handler \
    --role arn:aws:iam::account-id:role/fsxn-lambda-file-processor \
    --zip-file fileb://thumbnail-function.zip \
    --timeout 30 \
    --memory-size 256

# Invoke with a test event
aws lambda invoke \
    --function-name fsxn-thumbnail-generator \
    --cli-binary-format raw-in-base64-out \
    --payload '{"access_point_alias": "my-ap-alias-ext-s3alias", "key": "samples/images/sample-image.jpg"}' \
    response.json

cat response.json

결과 확인

$ aws s3 ls s3://my-ap-alias-ext-s3alias/samples/images/
2024-01-23 12:19:32    2566770 sample-image.jpg
2024-01-23 12:25:49       7065 sample-image_thumbnail.jpg

원래 2.4MB 이미지(5400 × 2700픽셀)의 크기를 7KB 썸네일(200 × 100픽셀)로 조정했습니다.

예제 2: 문서에서 텍스트 추출

이 예제에서는 FSx for ONTAP 볼륨에서 PDF 문서를 읽고 Amazon Textract로 전송하여 텍스트를 추출한 다음 추출된 텍스트를 JSON 파일로 볼륨에 다시 씁니다.

샘플 PDF 생성 및 업로드

이 예제에서는 FSx for ONTAP 볼륨에 PDF 문서가 필요합니다. 다음 Python 스크립트는 간단한 인보이스 PDF를 생성하여 액세스 포인트를 통해 업로드합니다. 로컬 시스템(Lambda 아님)에서이 스크립트를 실행합니다.

$ pip install fpdf2 boto3

# create_invoice.py — run locally to generate and upload a sample PDF
from fpdf import FPDF
import boto3

pdf = FPDF()
pdf.add_page()
pdf.set_font("Helvetica", "B", 24)
pdf.cell(0, 15, "INVOICE", new_x="LMARGIN", new_y="NEXT", align="C")
pdf.set_font("Helvetica", "", 12)
pdf.cell(0, 8, "Invoice Number: INV-2024-00142", new_x="LMARGIN", new_y="NEXT")
pdf.cell(0, 8, "Date: January 15, 2024", new_x="LMARGIN", new_y="NEXT")
pdf.cell(0, 8, "Customer: Example Corp", new_x="LMARGIN", new_y="NEXT")
pdf.ln(5)
pdf.set_font("Helvetica", "B", 12)
pdf.cell(80, 8, "Description", border=1)
pdf.cell(30, 8, "Qty", border=1, align="C")
pdf.cell(40, 8, "Unit Price", border=1, align="R")
pdf.cell(40, 8, "Amount", border=1, align="R")
pdf.ln()
pdf.set_font("Helvetica", "", 12)
for desc, qty, price, amt in [
    ("Cloud Storage Service", "1", "$2,400.00", "$2,400.00"),
    ("Data Transfer (TB)", "5", "$90.00", "$450.00"),
    ("Technical Support", "1", "$500.00", "$500.00"),
]:
    pdf.cell(80, 8, desc, border=1)
    pdf.cell(30, 8, qty, border=1, align="C")
    pdf.cell(40, 8, price, border=1, align="R")
    pdf.cell(40, 8, amt, border=1, align="R")
    pdf.ln()

s3 = boto3.client('s3')
s3.put_object(
    Bucket='my-ap-alias-ext-s3alias',
    Key='samples/documents/invoice.pdf',
    Body=pdf.output(),
    ContentType='application/pdf'
)
print("Uploaded invoice.pdf")

$ python3 create_invoice.py

Lambda 함수 코드

다음 코드를 로 저장합니다lambda_function.py.

import boto3
import json

s3 = boto3.client('s3')
textract = boto3.client('textract')

def lambda_handler(event, context):
    bucket = event['access_point_alias']
    key = event['key']

    # Read the PDF from FSx through the access point
    response = s3.get_object(Bucket=bucket, Key=key)
    document_bytes = response['Body'].read()

    # Extract text with Textract
    textract_response = textract.detect_document_text(
        Document={'Bytes': document_bytes}
    )

    lines = [
        block['Text']
        for block in textract_response['Blocks']
        if block['BlockType'] == 'LINE'
    ]

    # Write extracted text as JSON back to FSx
    result = {
        'source_file': key,
        'total_lines': len(lines),
        'extracted_text': lines
    }

    output_key = key.rsplit('.', 1)[0] + '_extracted.json'
    s3.put_object(
        Bucket=bucket,
        Key=output_key,
        Body=json.dumps(result, indent=2),
        ContentType='application/json'
    )

    return {
        'lines_extracted': len(lines),
        'output_key': output_key
    }

함수 생성 및 호출

$ zip textract-function.zip lambda_function.py

aws lambda create-function \
    --function-name fsxn-text-extractor \
    --runtime python3.12 \
    --handler lambda_function.lambda_handler \
    --role arn:aws:iam::account-id:role/fsxn-lambda-file-processor \
    --zip-file fileb://textract-function.zip \
    --timeout 30 \
    --memory-size 256

aws lambda invoke \
    --function-name fsxn-text-extractor \
    --cli-binary-format raw-in-base64-out \
    --payload '{"access_point_alias": "my-ap-alias-ext-s3alias", "key": "samples/documents/invoice.pdf"}' \
    response.json

cat response.json

출력 예시:

{"lines_extracted": 22, "output_key": "samples/documents/invoice_extracted.json"}

예제 3: 오디오 파일 트랜스크립션

이 예제에서는 FSx for ONTAP 볼륨에 저장된 오디오 파일에 대한 Amazon Transcribe 작업을 시작합니다. Amazon Transcribe는 미디어 파일 URI의 액세스 포인트 별칭을 사용하여 액세스 포인트에서 직접 오디오 파일을 읽습니다. 작업이 완료되면 함수는 트랜스크립트를 볼륨에 다시 기록합니다.

Lambda 함수 코드

다음 코드를 로 저장합니다lambda_function.py.

import boto3
import json
import time
import urllib.request

s3 = boto3.client('s3')
transcribe = boto3.client('transcribe')

def lambda_handler(event, context):
    bucket = event['access_point_alias']
    key = event['key']
    media_format = key.rsplit('.', 1)[-1]  # mp3, wav, etc.

    # Start a Transcribe job pointing to the file on FSx
    job_name = f"fsxn-{int(time.time())}"
    transcribe.start_transcription_job(
        TranscriptionJobName=job_name,
        Media={'MediaFileUri': f's3://{bucket}/{key}'},
        MediaFormat=media_format,
        LanguageCode='en-US'
    )

    # Wait for the job to complete
    while True:
        status = transcribe.get_transcription_job(
            TranscriptionJobName=job_name
        )
        state = status['TranscriptionJob']['TranscriptionJobStatus']
        if state in ('COMPLETED', 'FAILED'):
            break
        time.sleep(5)

    if state == 'FAILED':
        raise Exception(
            status['TranscriptionJob'].get('FailureReason', 'Unknown error')
        )

    # Download the transcript
    transcript_uri = status['TranscriptionJob']['Transcript']['TranscriptFileUri']
    with urllib.request.urlopen(transcript_uri) as resp:
        transcript_data = json.loads(resp.read())

    transcript_text = transcript_data['results']['transcripts'][0]['transcript']

    # Write the transcript back to FSx
    result = {
        'source_file': key,
        'job_name': job_name,
        'transcript': transcript_text
    }

    output_key = key.rsplit('.', 1)[0] + '_transcript.json'
    s3.put_object(
        Bucket=bucket,
        Key=output_key,
        Body=json.dumps(result, indent=2),
        ContentType='application/json'
    )

    return {
        'transcript_length': len(transcript_text),
        'output_key': output_key
    }

함수 생성 및 호출

$ zip transcribe-function.zip lambda_function.py

aws lambda create-function \
    --function-name fsxn-audio-transcriber \
    --runtime python3.12 \
    --handler lambda_function.lambda_handler \
    --role arn:aws:iam::account-id:role/fsxn-lambda-file-processor \
    --zip-file fileb://transcribe-function.zip \
    --timeout 120

aws lambda invoke \
    --function-name fsxn-audio-transcriber \
    --cli-binary-format raw-in-base64-out \
    --payload '{"access_point_alias": "my-ap-alias-ext-s3alias", "key": "samples/audio/sample-audio.mp3"}' \
    --cli-read-timeout 180 \
    response.json

cat response.json

고려 사항

정리

요금이 계속 부과되지 않도록 하려면이 자습서에서 생성한 리소스를 삭제합니다.

$ # Delete Lambda functions
aws lambda delete-function --function-name fsxn-thumbnail-generator
aws lambda delete-function --function-name fsxn-text-extractor
aws lambda delete-function --function-name fsxn-audio-transcriber

# Delete the IAM role and policies
aws iam delete-role-policy \
    --role-name fsxn-lambda-file-processor \
    --policy-name fsxn-access-point-policy
aws iam detach-role-policy \
    --role-name fsxn-lambda-file-processor \
    --policy-arn arn:aws:iam::aws:policy/service-role/AWSLambdaBasicExecutionRole
aws iam delete-role --role-name fsxn-lambda-file-processor

# Delete sample files from your FSx volume
aws s3 rm s3://my-ap-alias-ext-s3alias/samples/ --recursive