Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Nemotron Nano 3 30B

NVIDIA — Nemotron Nano 3 30B

Rincian Model

Nemotron Nano 3 30B adalah model parameter 30 miliar NVIDIA dengan penalaran yang kuat dan kinerja pengkodean, dioptimalkan untuk penerapan pada GPU NVIDIA. Untuk informasi lebih lanjut tentang pengembangan model dan kinerja, lihat model/service kartu.

Kemampuan dan Fitur

Fitur Bedrock

Fitur yang didukung menggunakan bedrock-mantle titik akhir

Fitur yang didukung menggunakan bedrock-runtime titik akhir

Harga

Untuk informasi harga, lihat halaman Harga Amazon Bedrock.

Akses Terprogram

Gunakan ID model dan URL titik akhir berikut untuk mengakses model ini secara terprogram. Untuk informasi selengkapnya tentang API dan titik akhir yang tersedia, lihat API yang didukung dan T itik Akhir didukung.

Misalnya, jika wilayah adalah us-east-1 (Virginia Utara), maka URL endpoint bedrock-runtime akan menjadi "" dan untuk bedrock-mantle adalah https://bedrock-runtime.us-east-1.amazonaws.com "”. https://bedrock-mantle.us-east-1.api.aws/v1

Tingkat Layanan

Amazon Bedrock menawarkan beberapa tingkatan layanan untuk memenuhi persyaratan beban kerja Anda. Standar menyediakan akses bayar per token tanpa komitmen (atur "service_tier": "default" atau hilangkan bidang). Priority memberikan waktu respons tercepat untuk premi harga (set"service_tier": "priority"). Flex menyediakan akses berbiaya lebih rendah untuk beban kerja yang fleksibel dan tidak peka waktu (set). "service_tier": "flex" Reserved menyediakan throughput khusus dengan komitmen jangka untuk beban kerja yang dapat diprediksi; ini ditetapkan pada tingkat akun, bukan per permintaan (hubungi tim akun AWS Anda untuk mengaktifkan). Untuk informasi selengkapnya, lihat tingkatan layanan.

Ketersediaan Wilayah

Sekilas tentang ketersediaan regional

Amazon Bedrock menawarkan tiga opsi inferensi: In-Region menyimpan permintaan dalam satu Wilayah untuk kepatuhan yang ketat, Cross-Region rute Geo melintasi Wilayah dalam geografi (seperti AS, UE, dan APAC) sambil menghormati residensi data, dan Cross-Region rute Global di mana pun di seluruh dunia ketika tidak ada batasan residensi. Lihat Ketersediaan regional berdasarkan model halaman untuk lebih jelasnya.

Rincian inferensi Geo CRIS

GovCloud CRIS AS

ID Inferensi GovCloud CRIS AS: us-gov.nvidia.nemotron-nano-3-30b

Kuota dan Batas

AWS Akun Anda memiliki kuota default untuk mempertahankan kinerja layanan dan untuk memastikan penggunaan Amazon Bedrock yang tepat. Kuota default yang ditetapkan ke akun mungkin diperbarui tergantung pada faktor regional, riwayat pembayaran, penggunaan penipuan, and/or persetujuan permintaan peningkatan kuota. Untuk informasi selengkapnya, lihat Kuota untuk Amazon Bedrock dokumentasi dan lihat batasan untuk model.

Kode Sampel

Langkah 1 - AWS Akun: Jika Anda sudah memiliki AWS akun, lewati langkah ini. Jika Anda baru mengenal AWS, daftar untuk akun AWS.

Langkah 2 - Kunci API: Buka konsol Amazon Bedrock dan buat kunci API jangka panjang.

Langkah 3 - Dapatkan SDK: Untuk menggunakan panduan memulai ini, Anda harus sudah menginstal Python. Kemudian instal perangkat lunak yang relevan tergantung pada API yang Anda gunakan.

Chat Completions API

pip install boto3 openai

Invoke/Converse API

pip install boto3

Langkah 4 - Mengatur variabel lingkungan: Konfigurasikan lingkungan Anda untuk menggunakan kunci API untuk otentikasi.

Chat Completions API

OPENAI_API_KEY="<provide your Bedrock API key>"
OPENAI_BASE_URL="https://bedrock-mantle.<your-region>.api.aws/v1"

Invoke/Converse API

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

Langkah 5 - Jalankan permintaan inferensi pertama Anda: Simpan file sebagai bedrock-first-request.py

Chat Completions API

from openai import OpenAI

client = OpenAI()

response = client.chat.completions.create(
    model="nvidia.nemotron-nano-3-30b",
    messages=[{"role": "user", "content": "Can you explain the features of Amazon Bedrock?"}]
    )
print(response)

Invoke API

import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
    modelId='nvidia.nemotron-nano-3-30b',
    body=json.dumps({
            'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
            'max_tokens': 1024
    })
)
print(json.loads(response['body'].read()))

Converse API

import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='nvidia.nemotron-nano-3-30b',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)