Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan pipa OpenSearch Ingestion dengan inferensi batch offline pembelajaran mesin

Pipa Amazon OpenSearch Ingestion (OSI) mendukung pemrosesan inferensi batch offline machine learning (ML) untuk memperkaya volume data yang besar secara efisien dengan biaya rendah. Gunakan inferensi batch offline setiap kali Anda memiliki kumpulan data besar yang dapat diproses secara asinkron. Inferensi batch offline berfungsi dengan Amazon Bedrock dan SageMaker model. Fitur ini tersedia di semua Wilayah AWS yang mendukung OpenSearch Ingestion dengan domain OpenSearch Service 2.17+.

Pemrosesan inferensi batch offline memanfaatkan fitur yang OpenSearch disebut MLCommons. ML Commons menyediakan algoritma ML melalui transport dan panggilan REST API. Panggilan tersebut memilih node dan sumber daya yang tepat untuk setiap permintaan ML dan memantau tugas ML untuk memastikan waktu aktif. Dengan cara ini, ML Commons memungkinkan Anda memanfaatkan algoritme ML open-source yang ada dan mengurangi upaya yang diperlukan untuk mengembangkan fitur ML baru. Untuk informasi selengkapnya tentang ML Commons, lihat Pembelajaran mesin di OpenSearch dokumentasi.org.

Cara kerjanya

Anda dapat membuat pipeline inferensi batch offline di OpenSearch Ingestion dengan menambahkan prosesor inferensi pembelajaran mesin ke pipeline. Prosesor ini memungkinkan pipeline Anda terhubung ke layanan AI seperti SageMaker menjalankan pekerjaan inferensi batch. Anda dapat mengonfigurasi prosesor untuk terhubung ke layanan AI yang Anda inginkan melalui konektor AI (dengan dukungan batch_predict) yang berjalan di domain target Anda.

OpenSearch Ingestion menggunakan ml_inference prosesor dengan MLCommons untuk membuat pekerjaan inferensi batch offline. MLCommons kemudian menggunakan batch_predict API, yang melakukan inferensi pada kumpulan data besar dalam mode asinkron offline menggunakan model yang diterapkan pada server model eksternal di Amazon Bedrock, Amazon, Cohere, dan OpenAI. SageMaker Diagram berikut menunjukkan pipa OpenSearch Ingestion yang mengatur beberapa komponen untuk melakukan proses ini dari ujung ke ujung:

Komponen pipa bekerja sebagai berikut:

Pipeline 1 (Persiapan dan transformasi data) *:

Pipeline 2 (Trigger ML_inference):

Pipeline 3 (konsumsi massal):

Tentang prosesor ml_inference

OpenSearch Ingestion menggunakan integrasi khusus antara sumber S3 Scan dan prosesor inferensi ML untuk pemrosesan batch. S3 Scan beroperasi dalam mode metadata-only untuk mengumpulkan informasi file S3 secara efisien tanpa membaca konten file yang sebenarnya. ml_inferenceProsesor menggunakan file S3 URLs untuk berkoordinasi dengan MLCommons untuk pemrosesan batch. Desain ini mengoptimalkan alur kerja inferensi batch dengan meminimalkan transfer data yang tidak perlu selama fase pemindaian. Anda menentukan ml_inference prosesor menggunakan parameter. Inilah contohnya:

processor:
    - ml_inference:
        # The endpoint URL of your OpenSearch domain
        host: "https://AWS test-offlinebatch-123456789abcdefg.us-west-2.es.amazonaws.com"
        
        # Type of inference operation:
        # - batch_predict: for batch processing
        # - predict: for real-time inference
        action_type: "batch_predict"
        
        # Remote ML model service provider (Amazon Bedrock or SageMaker)
        service_name: "bedrock"
        
        # Unique identifier for the ML model
        model_id: "AWS TestModelID123456789abcde"
        
        # S3 path where batch inference results will be stored
        output_path: "s3://amzn-s3-demo-bucket/"
      
        # Supports ISO_8601 notation strings like PT20.345S or PT15M
        # These settings control how long to keep your inputs in the processor for retry on throttling errors
        retry_time_window: "PT9M"
        
        # AWS configuration settings
        aws:
            # Wilayah AWS where the Lambda function is deployed
            region: "us-west-2"
            # IAM role ARN for Lambda function execution
            sts_role_arn: "arn:aws::iam::account_id:role/Admin"
        
        # Dead-letter queue settings for storing errors
        dlq:
          s3:
            region: us-west-2
            bucket: batch-inference-dlq
            key_path_prefix: bedrock-dlq
            sts_role_arn: arn:aws:iam::account_id:role/OSI-invoke-ml
            
        # Conditional expression that determines when to trigger the processor
        # In this case, only process when bucket matches "amzn-s3-demo-bucket"
        ml_when: /bucket == "amzn-s3-demo-bucket"

Peningkatan kinerja konsumsi menggunakan prosesor ml_inference

ml_inferenceProsesor OpenSearch Ingestion secara signifikan meningkatkan kinerja konsumsi data untuk pencarian berkemampuan ML. Prosesor ini cocok untuk kasus penggunaan yang membutuhkan data yang dihasilkan model pembelajaran mesin, termasuk pencarian semantik, pencarian multimodal, pengayaan dokumen, dan pemahaman kueri. Dalam pencarian semantik, prosesor dapat mempercepat pembuatan dan konsumsi vektor bervolume besar dan berdimensi tinggi dengan urutan besarnya.

Kemampuan inferensi batch offline prosesor menawarkan keunggulan berbeda dibandingkan pemanggilan model waktu nyata. Meskipun pemrosesan real-time memerlukan server model langsung dengan batasan kapasitas, inferensi batch secara dinamis menskalakan sumber daya komputasi sesuai permintaan dan memproses data secara paralel. Misalnya, ketika pipa OpenSearch Ingestion menerima satu miliar permintaan data sumber, ia membuat 100 file S3 untuk input inferensi batch ML. ml_inferenceProsesor kemudian memulai pekerjaan SageMaker batch menggunakan 100 instans ml.m4.xlarge Amazon Elastic Compute Cloud EC2 (Amazon), menyelesaikan vektorisasi satu miliar permintaan dalam 14 jam — tugas yang hampir tidak mungkin diselesaikan dalam mode waktu nyata.

Konfigurasikan prosesor ml_inference untuk menyerap permintaan data untuk pencarian semantik

Prosedur berikut memandu Anda melalui proses pengaturan dan konfigurasi ml_inference prosesor OpenSearch Ingestion untuk menelan satu miliar permintaan data untuk pencarian semantik menggunakan model penyematan teks.

Langkah 1: Buat konektor dan daftarkan model di OpenSearch

Untuk prosedur berikut, gunakan MLCommons batch_inference_sagemaker_connector_blueprint untuk membuat konektor dan model di Amazon. SageMaker Jika Anda lebih suka menggunakan templat OpenSearch CloudFormation integrasi, lihat (Prosedur alternatif) Langkah 1: Buat konektor dan model menggunakan templat CloudFormation integrasi nanti di bagian ini.

(Prosedur alternatif) Langkah 1: Buat konektor dan model menggunakan templat CloudFormation integrasi

Jika mau, Anda dapat menggunakannya AWS CloudFormation untuk secara otomatis membuat semua SageMaker konektor dan model Amazon yang diperlukan untuk inferensi ML. Pendekatan ini menyederhanakan penyiapan dengan menggunakan templat yang telah dikonfigurasi sebelumnya yang tersedia di konsol OpenSearch Layanan Amazon. Untuk informasi selengkapnya, lihat Menggunakan CloudFormation untuk mengatur inferensi jarak jauh untuk pencarian semantik.

Langkah 2: Buat pipeline OpenSearch Ingestion untuk inferensi batch offline MLL

Gunakan sampel berikut untuk membuat pipeline OpenSearch Ingestion untuk inferensi batch offline MLL. Untuk informasi selengkapnya tentang membuat pipeline untuk OpenSearch Ingestion, lihat. Membuat saluran pipa Amazon OpenSearch Ingestion

Sebelum memulai

Dalam contoh berikut, Anda menentukan peran IAM ARN untuk sts_role_arn parameter. Gunakan prosedur berikut untuk memverifikasi bahwa peran ini dipetakan ke peran backend yang memiliki akses ke ml-commons di. OpenSearch

Sampel untuk membuat pipeline OpenSearch Ingestion untuk inferensi batch offline MLL

version: '2'
extension:
  osis_configuration_metadata:
    builder_type: visual
sagemaker-batch-job-pipeline:
  source:
    s3:
      acknowledgments: true
      delete_s3_objects_on_read: false
      scan:
        buckets:
          - bucket:
              name: name
              data_selection: metadata_only
              filter:
                include_prefix:
                  - sagemaker/sagemaker_djl_batch_input
                exclude_suffix:
                  - .manifest
          - bucket:
              name: name
              data_selection: data_only
              filter:
                include_prefix:
                  - sagemaker/output/
        scheduling:
          interval: PT6M
      aws:
        region: name
      default_bucket_owner: account_ID
      codec:
        ndjson:
          include_empty_objects: false
      compression: none
      workers: '1'
  processor:
    - ml_inference:
        host: "https://search-AWStest-offlinebatch-123456789abcdef.us-west-2.es.amazonaws.com"
        aws_sigv4: true
        action_type: "batch_predict"
        service_name: "sagemaker"
        model_id: "model_ID"
        output_path: "s3://AWStest-offlinebatch/sagemaker/output"
        aws:
          region: "us-west-2"
          sts_role_arn: "arn:aws:iam::account_ID:role/Admin"
        ml_when: /bucket == "AWStest-offlinebatch"
        dlq:
          s3:
            region: us-west-2
            bucket: batch-inference-dlq
            key_path_prefix: bedrock-dlq
            sts_role_arn: arn:aws:iam::account_ID:role/OSI-invoke-ml
    - copy_values:
        entries:
          - from_key: /text
            to_key: chapter
          - from_key: /SageMakerOutput
            to_key: chapter_embedding
          - delete_entries:
            with_keys:
          - text
          - SageMakerOutput
  sink:
    - opensearch:
        hosts: ["https://search-AWStest-offlinebatch-123456789abcdef.us-west-2.es.amazonaws.com"]
        aws:
          serverless: false
          region: us-west-2
        routes:
          - ml-ingest-route
        index_type: custom
        index: test-nlp-index
  routes:
    - ml-ingest-route: /chapter != null and /title != null

Langkah 3: Siapkan data Anda untuk dikonsumsi

Untuk menyiapkan data Anda untuk pemrosesan inferensi batch offline ML, siapkan data sendiri menggunakan alat atau proses Anda sendiri atau gunakan Persiapan OpenSearch Data. Verifikasi bahwa data diatur ke dalam format yang benar baik dengan menggunakan pipeline untuk mengkonsumsi data dari sumber data Anda atau dengan membuat kumpulan data pembelajaran mesin.

Contoh berikut menggunakan dataset MS MARCO, yang mencakup kumpulan kueri pengguna nyata untuk tugas pemrosesan bahasa alami. Dataset disusun dalam format JSONL, di mana setiap baris mewakili permintaan yang dikirim ke model penyematan ML:

{"_id": "1185869", "text": ")what was the immediate impact of the Paris Peace Treaties of 1947?", "metadata": {"world war 2"}}
{"_id": "1185868", "text": "_________ justice is designed to repair the harm to victim, the community and the offender caused by the offender criminal act. question 19 options:", "metadata": {"law"}}
{"_id": "597651", "text": "what is amber", "metadata": {"nothing"}}
{"_id": "403613", "text": "is autoimmune hepatitis a bile acid synthesis disorder", "metadata": {"self immune"}}
...

Untuk menguji menggunakan dataset MS MARCO, bayangkan skenario di mana Anda membuat satu miliar permintaan input yang didistribusikan di 100 file, masing-masing berisi 10 juta permintaan. File akan disimpan di Amazon S3 dengan awalan s3://_djl_batch_input/. offlinebatch/sagemaker/sagemaker Pipa OpenSearch Ingestion akan memindai 100 file ini secara bersamaan dan memulai pekerjaan SageMaker batch dengan 100 pekerja untuk pemrosesan paralel, memungkinkan vektorisasi yang efisien dan menelan satu miliar dokumen ke dalamnya. OpenSearch

Di lingkungan produksi, Anda dapat menggunakan pipeline OpenSearch Ingestion untuk menghasilkan file S3 untuk input inferensi batch. Pipeline mendukung berbagai sumber data dan beroperasi sesuai jadwal untuk terus mengubah data sumber menjadi file S3. File-file ini kemudian secara otomatis diproses oleh server AI melalui pekerjaan batch offline terjadwal, memastikan pemrosesan dan konsumsi data berkelanjutan.

Langkah 4: Pantau pekerjaan inferensi batch

Anda dapat memantau pekerjaan inferensi batch menggunakan SageMaker konsol atau. AWS CLI Anda juga dapat menggunakan Get Task API untuk memantau pekerjaan batch:

GET /_plugins/_ml/tasks/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "term": {
            "state": "RUNNING"
          }
        }
      ]
    }
  },
  "_source": ["model_id", "state", "task_type", "create_time", "last_update_time"]
}

API mengembalikan daftar tugas tugas batch aktif:

{
  "took": 2,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 3,
      "relation": "eq"
    },
    "max_score": 0.0,
    "hits": [
      {
        "_index": ".plugins-ml-task",
        "_id": "nyWbv5EB_tT1A82ZCu-e",
        "_score": 0.0,
        "_source": {
          "model_id": "nyWbv5EB_tT1A82ZCu-e",
          "state": "RUNNING",
          "task_type": "BATCH_PREDICTION",
          "create_time": 1725496527958,
          "last_update_time": 1725496527958
        }
      },
      {
        "_index": ".plugins-ml-task",
        "_id": "miKbv5EB_tT1A82ZCu-f",
        "_score": 0.0,
        "_source": {
          "model_id": "miKbv5EB_tT1A82ZCu-f",
          "state": "RUNNING",
          "task_type": "BATCH_PREDICTION",
          "create_time": 1725496528123,
          "last_update_time": 1725496528123
        }
      },
      {
        "_index": ".plugins-ml-task",
        "_id": "kiLbv5EB_tT1A82ZCu-g",
        "_score": 0.0,
        "_source": {
          "model_id": "kiLbv5EB_tT1A82ZCu-g",
          "state": "RUNNING",
          "task_type": "BATCH_PREDICTION",
          "create_time": 1725496529456,
          "last_update_time": 1725496529456
        }
      }
    ]
  }
}

Langkah 5: Jalankan pencarian

Setelah memantau pekerjaan inferensi batch dan mengonfirmasikannya selesai, Anda dapat menjalankan berbagai jenis pencarian AI, termasuk semantik, hibrida, percakapan (dengan RAG), neural sparse, dan multimodal. Untuk informasi selengkapnya tentang penelusuran AI yang didukung oleh OpenSearch Layanan, lihat pencarian AI.

Untuk mencari vektor mentah, gunakan jenis knn kueri, berikan vector array sebagai input, dan tentukan k jumlah hasil yang dikembalikan:

GET /my-raw-vector-index/_search
{
  "query": {
    "knn": {
      "my_vector": {
        "vector": [0.1, 0.2, 0.3],
        "k": 2
      }
    }
  }
}

Untuk menjalankan pencarian bertenaga AI, gunakan jenis neural kueri. Tentukan query_text input, model model_id penyematan yang Anda konfigurasikan di pipeline OpenSearch Ingestion, dan k jumlah hasil yang dikembalikan. Untuk mengecualikan embeddings dari hasil pencarian, tentukan nama bidang embedding di parameter: _source.excludes

GET /my-ai-search-index/_search
{
  "_source": {
    "excludes": [
      "output_embedding"
    ]
  },
  "query": {
    "neural": {
      "output_embedding": {
        "query_text": "What is AI search?",
        "model_id": "mBGzipQB2gmRjlv_dOoB",
        "k": 2
      }
    }
  }
}