使用 AWS Neuron 啟動 DLAMI 執行個體 - AWS 深度學習 AMIs
驗證您的執行個體識別 AWS Inferentia 裝置檢視資源使用量使用 Neuron Monitor （神經監視器）升級 Neuron 軟體

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 AWS Neuron 啟動 DLAMI 執行個體

最新的 DLAMI 已準備好與 AWS Inferentia 搭配使用，並隨附 AWS Neuron API 套件。若要啟動 DLAMI 執行個體，請參閱啟動和設定 DLAMI。在您擁有 DLAMI 之後，請使用此處的步驟，以確保您的 AWS Inferentia 晶片和 AWS Neuron 資源處於作用中狀態。

驗證您的執行個體

使用執行個體之前，請確認已正確設定並設定 Neuron。

識別 AWS Inferentia 裝置

若要識別執行個體上的 Inferentia 裝置數量，請使用下列命令：

neuron-ls

如果您的執行個體已連接 Inferentia 裝置，您的輸出將如下所示：

+--------+--------+--------+-----------+--------------+
| NEURON | NEURON | NEURON | CONNECTED |     PCI      |
| DEVICE | CORES  | MEMORY |  DEVICES  |     BDF      |
+--------+--------+--------+-----------+--------------+
| 0      | 4      | 8 GB   | 1         | 0000:00:1c.0 |
| 1      | 4      | 8 GB   | 2, 0      | 0000:00:1d.0 |
| 2      | 4      | 8 GB   | 3, 1      | 0000:00:1e.0 |
| 3      | 4      | 8 GB   | 2         | 0000:00:1f.0 |
+--------+--------+--------+-----------+--------------+

提供的輸出是從 Inf1.6xlarge 執行個體取得，並包含下列資料欄：

  • NEURON 裝置：指派給 NeuronDevice 的邏輯 ID。設定多個執行時間以使用不同的 NeuronDevices 時，會使用此 ID。

  • NEURON CORES：NeuronDevice 中存在的 NeuronCores 數量。 NeuronDevice

  • NEURON MEMORY：NeuronDevice 中的 DRAM 記憶體數量。

  • CONNECTED DEVICES：連接至 NeuronDevices 的其他 NeuronDevices。

  • PCI BDF：NeuronDevice 的 PCI 匯流排裝置函數 (BDF) ID。

檢視資源使用量

使用 neuron-top命令檢視有關 NeuronCore 和 vCPU 使用率、記憶體用量、載入的模型和 Neuron 應用程式的實用資訊。在沒有引數neuron-top的情況下啟動 將會顯示使用 NeuronCores 的所有機器學習應用程式的資料。

neuron-top

當應用程式使用四個 NeuronCores 時，輸出看起來應該類似下圖：

neuron-top 命令的輸出，並反白顯示四個 NeuronCores 之一的資訊。

如需監控和最佳化 Neuron 型推論應用程式之資源的詳細資訊，請參閱 Neuron 工具。

使用 Neuron Monitor （神經監視器）

Neuron Monitor 會從系統上執行的 Neuron 執行時間收集指標，並以 JSON 格式將收集的資料串流至 stdout。這些指標會組織成您透過提供組態檔案所設定的指標群組。如需 Neuron Monitor 的詳細資訊，請參閱 Neuron Monitor 使用者指南。

升級 Neuron 軟體

如需有關如何在 DLAMI 中更新 Neuron SDK 軟體的資訊，請參閱 AWS Neuron 設定指南。

後續步驟

搭配 AWS Neuron 使用 DLAMI