모델 병합

미세 조정이 완료되면 사용자 지정 모델은 새로 학습한 지식과 '기본 모델'의 기능을 혼합하는 선택적인 사용자 구성 가능한 모델 병합 단계를 거칩니다. 이 프로세스를 통해 최종 모델은 최신 미세 조정 훈련 실행 중에 학습한 전문화된 동작을 통합하면서 '기본 모델'의 원래 인텔리전스를 유지할 수 있습니다. 모델 병합은 모델이 새 데이터에서 미세 조정된 후 이전에 학습한 지식을 잃는 파괴적 망각이라는 현상을 완화합니다.

훈련 유형별 모델 병합 적용 가능성

모델 병합은 SFT 훈련에 대해서만 구성할 수 있습니다. 다음 표에는 각 훈련 유형에 대한 모델 병합 동작이 요약되어 있습니다.

모델 병합을 사용해야 하는 경우

다음과 같은 경우 모델 병합을 활성화해야 합니다.

다음과 같은 경우에는 모델 병합이 필요하지 않을 수 있습니다.

모델 병합 가중치를 구성하는 방법

model_importance_score.fine_tuned_model의 기본값은 1.0입니다. 즉, 훈련 출력 체크포인트는 '기본 모델'에서 혼합하지 않고 미세 조정 가중치를 완전히 사용합니다. 기본값은 훈련 데이터가 포괄적이고 대상 태스크를 가장 근접하게 표시할 때 잘 작동합니다.

하이퍼파라미터에서 model_importance_score를 설정하여 최종 모델이 전문화와 일반 지식의 균형을 조정하는 방법을 제어할 수 있습니다. 예제:

    training_config:
    # ...
      model_importance_score:
        fine_tuned_model: 0.75 # set value between 0.0 to 1.0 inclusive
        

model_importance_score.fine_tuned_model 값이 1.0에 가까우면 모델이 미세 조정된 데이터에 의존하는 반면, 값이 0.0에 가까우면 기본 모델의 일반 기능을 더 많이 유지합니다. 위 예제에서 최종 훈련된 모델은 특정 데이터세트에서 미세 조정 모델의 75%를 '기본 모델'의 25%와 병합하여 생성됩니다.

미세 조정 모델이 일반 기능을 상실하는 경우(예: 훈련 데이터 외부의 태스크에서 성능 저하)가 나타나면 model_importance_score.fine_tuned_model을 줄여 더 많은 '기본 모델'의 지식을 혼합합니다.

모델 병합 가중치 선택

model_importance_score.fine_tuned_model 파라미터는 미세 조정 모델과 기본 모델 사이의 균형을 제어합니다. 처음에 다음 지침을 고려합니다.

일반 원칙: 가중치가 높을수록(1.0에 가까움) 대상 태스크 성능이 극대화되지만 일반 기능이 손실될 위험이 있습니다. 가중치가 낮을수록(0.0에 가까움) 기본 모델의 광범위한 기술은 유지되지만 전문화 성능은 줄어듭니다. 보편적인 최적의 값은 없습니다. 올바른 가중치는 데이터세트 크기, 기본 모델과의 도메인 중복, 유지해야 하는 기능에 따라 달라집니다.

병합 가중치 평가

훈련이 완료된 후 병합된 모델을 평가하여 병합 가중치가 적절한지 확인합니다. 훈련 실행이 여러 번 필요하지는 않습니다. 평가 패스 한 번으로 조정 여부를 판별할 수 있습니다.

병합 작동 방식: 전체 순위 미세 조정

전체 순위 훈련은 모델 가중치의 전체 세트를 생성합니다. 병합 중에 각 파라미터는 가중치 기반 혼합 방식으로 계산됩니다.

# Weighted interpolation
Merged Model = (1 - model_importance_score.fine_tuned_model) * Base Model + model_importance_score.fine_tuned_model * Fine-Tuned Model
        

예를 들어 model_importance_score.fine_tuned_model = 0.3인 경우 병합된 모델은 70%의 '기본 모델' 지식과 30%의 미세 조정된 지식입니다.

병합 작동 방식: LoRA 미세 조정

저순위 적응(LoRA)은 적응을 저순위 업데이트로 표시하는 저순위 매트릭스의 압축 페어(A 및 B)를 학습합니다. 모델 병합 프로세스 중에 각 A 및 B LoRA 매트릭스는 아래와 같이 model_importance_score.fine_tuned_model에 따라 조정됩니다. 이 공식에서 alpha는 LoRA 조정 인자(훈련 레시피의 peft.lora_tuning.alpha)이고 rank는 LoRA 순위입니다. 사용 가능한 alpha 값은 LoRA SFT 훈련 레시피를 참조하세요.

이 시점에서 A 및 B 매트릭스는 최신 미세 조정 실행의 지식만 포함합니다. 이전 훈련 실행에 대한 지식이 없습니다. 이전 훈련 실행의 지식은 아래에서 설명하는 '기본 모델'과의 모델 병합 또는 이전 단계 LoRA 어댑터 병합에서 생성됩니다.

Scaled_A = sqrt(model_importance_score.fine_tuned_model) * sqrt(alpha/rank) * A
Scaled_B = sqrt(model_importance_score.fine_tuned_model) * sqrt(alpha/rank) * B
        

LoRA 훈련은 완전히 병합된 모델과 병합된 LoRA 어댑터 세트라는 두 가지 모델 아티팩트를 생성합니다. 각 항목을 개별적으로 살펴봅니다.

완전히 병합된 모델

LoRA 업데이트가 조정되고 '기본 모델'에 추가됩니다.

Merged Model = Base Model + (Scaled_B @ Scaled_A)
        

이제 Merged Model은 현재 훈련 실행에서 얻은 지식을 포함하고 이외에도 사용자가 구성한 model_importance_score.fine_tuned_model에 따라 Base Model에서 일부 지식을 상속합니다.

병합된 LoRA 어댑터

LoRA 어댑터가 병합되는 방법은 단일 단계 훈련을 수행하는지 아니면 반복 훈련을 수행하는지에 따라 달라집니다.

이러한 병합된 어댑터 Merged_B 및 Merged_A는 전체 훈련 기록을 반영하며 온디맨드 추론에 대해 사용됩니다.