View a markdown version of this page

Menyebarkan model dasar yang tersedia untuk umum dengan ModelBuilder kelas - Amazon SageMaker AI
Periksa jenis instans defaultGunakan komponen inferensi untuk menerapkan beberapa model ke titik akhir bersamaPeriksa format inferensi input dan output yang validPeriksa konten yang didukung dan terima jenis

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menyebarkan model dasar yang tersedia untuk umum dengan ModelBuilder kelas

Anda dapat menerapkan algoritma bawaan atau model pra-terlatih ke titik akhir SageMaker AI hanya dalam beberapa baris kode menggunakan SageMaker Python SDK.

  1. Pertama, temukan ID model untuk model pilihan Anda diModel pondasi yang tersedia.

  2. Menggunakan ID model, tentukan model Anda sebagai JumpStart model.

    from sagemaker.serve import ModelBuilder
from sagemaker.core.jumpstart.configs import JumpStartConfig

jumpstart_config = JumpStartConfig(model_id="huggingface-text2text-flan-t5-xl")
model_builder = ModelBuilder.from_jumpstart_config(jumpstart_config=jumpstart_config)

  3. Gunakan deploy metode ini untuk secara otomatis menerapkan model Anda untuk inferensi. Dalam contoh ini, kita menggunakan model FLAN-T5 XL dariHugging Face.

    model = model_builder.build()
endpoint = model_builder.deploy()

  4. Anda kemudian dapat menjalankan inferensi dengan model yang digunakan menggunakan invoke metode. Text-generation model seperti ini menerima badan permintaan JSON dengan inputs kunci. Serialkan payload dengan json.dumps dan atur jenis konten ke. application/json

    import json

question = "What is Southern California often abbreviated as?"
payload = {"inputs": question, "parameters": {"max_new_tokens": 100}}
response = endpoint.invoke(body=json.dumps(payload), content_type="application/json")
print(response.body.read().decode('utf-8'))
catatan

Contoh ini menggunakan model dasar FLAN-T5 XL, yang cocok untuk berbagai kasus penggunaan pembuatan teks termasuk menjawab pertanyaan, ringkasan, pembuatan chatbot, dan banyak lagi. Untuk informasi selengkapnya tentang kasus penggunaan model, lihatModel pondasi yang tersedia.

Untuk informasi selengkapnya tentang ModelBuilder kelas dan parameternya, lihat ModelBuilder dokumentasi SageMaker Python SDK di situs web Baca Dokumen.

Periksa jenis instans default

Saat menerapkan model pra-terlatih, Anda dapat secara opsional menentukan versi model pada model Anda. JumpStartConfig Anda juga dapat memilih jenis instance pada Anda ModelBuilder (misalnya, dengan instance_type parameter). Semua JumpStart model memiliki tipe instance default. Ambil jenis instance penerapan default menggunakan kode berikut:

from sagemaker.core import instance_types

instance_type = instance_types.retrieve_default(
    model_id=model_id,
    model_version=model_version,
    scope="inference")
print(instance_type)

Lihat semua jenis instance yang didukung untuk JumpStart model tertentu dengan instance_types.retrieve() metode ini.

Gunakan komponen inferensi untuk menerapkan beberapa model ke titik akhir bersama

Komponen inferensi adalah objek hosting SageMaker AI yang dapat Anda gunakan untuk menerapkan satu atau lebih model ke titik akhir untuk meningkatkan fleksibilitas dan skalabilitas. Anda harus mengubah endpoint_type agar JumpStart model Anda menjadi berbasis komponen inferensi daripada titik akhir berbasis model default. Impor EndpointType dan terapkan dengan tipe titik akhir berbasis komponen inferensi:

from sagemaker.core.enums import EndpointType

endpoint = model_builder.deploy(
    endpoint_name = 'jumpstart-model-id-123456789012', 
    endpoint_type = EndpointType.INFERENCE_COMPONENT_BASED
)

Untuk informasi selengkapnya tentang membuat titik akhir dengan komponen inferensi dan menerapkan model SageMaker AI, lihat. Pemanfaatan sumber daya bersama dengan beberapa model

Periksa format inferensi input dan output yang valid

Untuk memeriksa format input dan output data yang valid untuk inferensi, Anda dapat menggunakan retrieve_options() metode dari Deserializers kelas Serializers dan.

from sagemaker.core.serializers.implementations import retrieve_options as retrieve_serializer_options
from sagemaker.core.deserializers.implementations import retrieve_options as retrieve_deserializer_options

print(retrieve_serializer_options(model_id=model_id, model_version=model_version))
print(retrieve_deserializer_options(model_id=model_id, model_version=model_version))

Periksa konten yang didukung dan terima jenis

Demikian pula, Anda dapat menggunakan retrieve_options() metode ini untuk memeriksa konten yang didukung dan menerima jenis untuk model.

from sagemaker.core import content_types, accept_types

print(content_types.retrieve_options(model_id=model_id, model_version=model_version))
print(accept_types.retrieve_options(model_id=model_id, model_version=model_version))

Untuk informasi selengkapnya tentang utilitas, lihat API Utilitas.