本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
輪換日誌
Amazon EMR Serverless 可以輪換 Spark 應用程式日誌和事件日誌。日誌輪換有助於解決長時間執行的任務產生大型日誌檔案的問題,這些日誌檔案可能會佔用您所有的磁碟空間。輪換日誌可協助您節省磁碟儲存體並減少任務失敗的數量,因為您磁碟上沒有剩餘的空間。
日誌輪換預設為啟用,僅適用於 Spark 任務。
Spark 事件日誌
注意
Spark 事件日誌輪換適用於所有 Amazon EMR 發行標籤。
EMR Serverless 不會產生單一事件日誌檔案,而是定期輪換事件日誌,並移除較舊的事件日誌檔案。輪換日誌不會影響上傳至 S3 儲存貯體的日誌。
Spark 應用程式日誌
注意
Spark 應用程式日誌輪換適用於所有 Amazon EMR 發行標籤。
EMR Serverless 也會輪換驅動程式和執行器的 Spark 應用程式日誌,例如 stdout
和 stderr
檔案。您可以使用 Spark 歷史記錄伺服器和即時使用者介面連結,選擇 Studio 中的日誌連結來存取最新的日誌檔案。日誌檔案是最新日誌的截斷版本。若要查看較舊的輪換日誌,您必須在儲存日誌時指定 Amazon S3 位置。如需詳細資訊,請參閱使用 Amazon S3 儲存貯體記錄 EMR Serverless。
您可以在下列位置找到最新的日誌檔案。EMR Serverless 每 15 秒重新整理一次檔案。這些檔案的範圍可從 0 MB 到 128 MB。
<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/stderr.gz
下列位置包含較舊的輪換檔案。每個檔案為 128 MB。
<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/archived/stderr_<index>.gz
相同的行為也適用於 Spark 執行器。此變更僅適用於 S3 記錄。日誌輪換不會對上傳至 Amazon CloudWatch 的日誌串流引入任何變更。
EMR Serverless 7.1.0 版和更新版本支援串流和批次任務的重試嘗試。如果您已啟用對任務的重試嘗試,EMR Serverless 會將字首新增至此類任務的日誌路徑,以便您可以更好地追蹤和區分日誌。此路徑包含所有輪換的日誌。
'/applications/<applicationId>/jobs/<jobId>/attempts/<attemptNumber>/'.