텍스트 생성 모델의 학습 프로세스를 최적화하기 위한 하이퍼파라미터

Epoch 개수: epochCount 하이퍼파라미터는 모델이 전체 훈련 데이터세트를 통과하는 횟수를 결정합니다. 훈련 기간에 영향을 미치며 적절하게 설정하면 과적합을 방지할 수 있습니다. 많은 수의 에폭이 미세 조정 작업의 전체 런타임을 증가시킬 수 있습니다. 미세 조정 작업이 조기에 중지되지 않도록 하려면 TextGenerationJobConfig의 CompletionCriteria 내에서 큰 MaxAutoMLJobRuntimeInSeconds를 설정하는 것이 좋습니다.

배치 크기: batchSize 하이퍼파라미터는 각 훈련 반복에 사용되는 데이터 샘플 수를 정의합니다. 수렴 속도와 메모리 사용량에 영향을 미칠 수 있습니다. 배치 크기가 크면 메모리 부족(OOM) 오류의 위험이 증가하여 Autopilot에서 내부 서버 오류로 나타날 수 있습니다. 이러한 오류를 확인하려면 Autopilot 작업에서 시작된 훈련 작업에 대한 /aws/sagemaker/TrainingJobs 로그 그룹을 확인합니다. AWS 관리 콘솔의에서 CloudWatch의 이러한 로그에 액세스할 수 있습니다. 로그를 선택한 후 /aws/sagemaker/TrainingJobs 로그 그룹을 선택합니다. OOM 오류를 해결하려면 배치 크기를 줄이세요.

배치 크기 1부터 시작하여 메모리 부족 오류가 발생할 때까지 점진적으로 늘리는 것이 좋습니다. 참고로 에폭 10개를 완료하는 데는 일반적으로 최대 72시간이 걸립니다.

학습 속도: learningRate 하이퍼파라미터는 훈련 중에 모델의 파라미터가 업데이트되는 단계 크기를 제어합니다. 훈련 중에 모델의 파라미터가 얼마나 빨리 또는 느리게 업데이트되는지 결정합니다. 학습 속도가 높다는 것은 파라미터가 큰 단계 크기로 업데이트되어 수렴이 빨라질 수 있지만 최적화 프로세스로 인해 최적의 솔루션이 과도하게 해결되어 불안정해질 수 있음을 의미합니다. 학습 속도가 낮으면 파라미터가 작은 단계 크기로 업데이트되므로 더 안정적인 수렴이 가능하지만 학습 속도가 느려질 수 있습니다.

학습 속도 워밍업 단계: learningRateWarmupSteps 하이퍼파라미터는 목표 또는 최대값에 도달하기 전에 학습 속도가 점진적으로 증가하는 훈련 단계의 수를 지정합니다. 이렇게 하면 모델이 더 효과적으로 수렴하고 처음에 학습 속도가 높을 때 발생할 수 있는 분산 또는 느린 수렴과 같은 문제를 방지할 수 있습니다.