View a markdown version of this page

Meluncurkan Instance DLAMI dengan AWS Neuron - AWS Deep Learning AMIs
Verifikasi Instans AndaMengidentifikasi AWS Perangkat InferentiaLihat Penggunaan Sumber DayaMenggunakan Neuron Monitor (neuron-monitor)Meningkatkan Perangkat Lunak Neuron

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Meluncurkan Instance DLAMI dengan AWS Neuron

DLAMI terbaru siap digunakan dengan AWS Inferentia dan dilengkapi dengan paket API AWS Neuron. Untuk meluncurkan instance DLAMI, lihat Mel uncurkan dan Mengkonfigurasi DLAMI. Setelah Anda memiliki DLAMI, gunakan langkah-langkah di sini untuk memastikan bahwa chip AWS Inferentia dan sumber daya AWS Neuron Anda aktif.

Verifikasi Instans Anda

Sebelum menggunakan instance Anda, pastikan instans sudah diatur dan dikonfigurasi dengan benar dengan Neuron.

Mengidentifikasi AWS Perangkat Inferentia

Untuk mengidentifikasi jumlah perangkat Inferentia pada instance Anda, gunakan perintah berikut: 

neuron-ls

Jika instance Anda memiliki perangkat Inferentia yang terpasang padanya, output Anda akan terlihat seperti berikut: 

+--------+--------+--------+-----------+--------------+
| NEURON | NEURON | NEURON | CONNECTED |     PCI      |
| DEVICE | CORES  | MEMORY |  DEVICES  |     BDF      |
+--------+--------+--------+-----------+--------------+
| 0      | 4      | 8 GB   | 1         | 0000:00:1c.0 |
| 1      | 4      | 8 GB   | 2, 0      | 0000:00:1d.0 |
| 2      | 4      | 8 GB   | 3, 1      | 0000:00:1e.0 |
| 3      | 4      | 8 GB   | 2         | 0000:00:1f.0 |
+--------+--------+--------+-----------+--------------+

Output yang disediakan diambil dari Inf1.6xlarge instance dan mencakup kolom berikut:

  • PERANGKAT NEURON: ID logis yang ditetapkan ke NeuronDevice. ID ini digunakan saat mengonfigurasi beberapa runtime untuk menggunakan yang berbeda NeuronDevices.

  • INTI NEURON: Jumlah NeuronCores yang ada di NeuronDevice.

  • MEMORI NEURON: Jumlah memori DRAM di NeuronDevice.

  • PERANGKAT TERHUBUNG: Lainnya NeuronDevices terhubung ke NeuronDevice.

  • PCI BDF: ID Fungsi Perangkat Bus PCI (BDF) dari. NeuronDevice

Lihat Penggunaan Sumber Daya

Lihat informasi berguna tentang NeuronCore dan pemanfaatan vCPU, penggunaan memori, model yang dimuat, dan aplikasi Neuron dengan neuron-top perintah. Mel neuron-top uncurkan tanpa argumen akan menampilkan data untuk semua aplikasi pembelajaran mesin yang digunakan NeuronCores. 

neuron-top

Ketika aplikasi menggunakan empat NeuronCores, output akan terlihat mirip dengan gambar berikut:

Output dari neuron-top perintah, dengan informasi untuk salah satu dari empat yang NeuronCores disorot.

Untuk informasi lebih lanjut tentang sumber daya untuk memantau dan mengoptimalkan aplikasi Neuron-based inferensi, lihat Alat https://awsdocs-neuron.readthedocs-hosted.com/en/latest/neuron-guide/neuron-tools/index.html Neuron.

Menggunakan Neuron Monitor (neuron-monitor)

Neuron Monitor mengumpulkan metrik dari runtime Neuron yang berjalan di sistem dan mengalirkan data yang dikumpulkan ke stdout dalam format JSON. Metrik ini diatur ke dalam grup metrik yang Anda konfigurasikan dengan menyediakan file konfigurasi. Untuk informasi lebih lanjut tentang Neuron Monitor, lihat Panduan Pengguna untuk Monitor Neuron.

Meningkatkan Perangkat Lunak Neuron

Untuk informasi tentang cara memperbarui perangkat lunak Neuron SDK dalam DLAMI, lihat Panduan Peng aturan AWS Neuron.

Langkah Selanjutnya

Menggunakan DLAMI dengan AWS Neuron