LLM 파인튜닝 실전 가이드 2026: LoRA부터 DPO까지

왜 지금 LLM 파인튜닝인가?

2026년 현재, 범용 LLM만으로는 경쟁력 있는 AI 제품을 만들기 어렵습니다. OpenAI GPT나 Claude가 뛰어나더라도, 특정 도메인(법률, 의료, 금융, 제조)에서는 도메인 특화 모델이 범용 최신 모델을 능가하는 경우가 많습니다.

파인튜닝의 이유:

1. 도메인 전문성: 의료 기록 분석, 법률 문서 검토 등 전문 영역 정확도
2. 응답 스타일 제어: 기업 브랜드 톤, 특정 형식 준수
3. 비용 최적화: GPT-4o API 비용 대비 소형 파인튜닝 모델이 10-100x 저렴
4. 데이터 프라이버시: 민감한 데이터를 외부 API에 보내지 않아도 됨

LoRA / QLoRA: 파인튜닝의 표준

LoRA (Low-Rank Adaptation)

LoRA는 전체 모델 파라미터를 업데이트하지 않고, 각 레이어에 소형 어댑터 행렬을 추가해 학습합니다. 원본 파라미터는 고정(frozen)하고 어댑터만 학습하므로:

• 학습 파라미터: 전체의 0.1~1%
• 메모리: Full Fine-tuning 대비 60-80% 절감
• 속도: 3-5배 빠른 학습

from peft import LoraConfig, get_peft_model, TaskType
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-4-Scout-17B")

lora_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=16,               # Rank: 낮을수록 빠르고 저렴, 높을수록 표현력↑
    lora_alpha=32,      # Scaling factor (통상 r*2)
    target_modules=["q_proj", "v_proj"],  # 어탠션 레이어 대상
    lora_dropout=0.05,
    bias="none",
)

peft_model = get_peft_model(model, lora_config)
peft_model.print_trainable_parameters()
# trainable params: 4,194,304 || all params: 17,000,000,000 || trainable%: 0.0247

QLoRA: 양자화 + LoRA

QLoRA는 모델을 4비트로 양자화한 뒤 LoRA를 적용합니다. A100 80GB 한 장으로 70B 파라미터 모델 파인튜닝이 가능합니다.

from transformers import BitsAndBytesConfig
import torch

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
)

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-4-Maverick-17B-Instruct",
    quantization_config=bnb_config,
    device_map="auto",
)

DPO: RLHF 없이 선호도 정렬

RLHF(Reinforcement Learning from Human Feedback)는 모델을 인간 선호도에 맞추는 강력한 기법이지만, 구현이 복잡하고 비용이 많이 듭니다. **DPO(Direct Preference Optimization)**는 이를 단순화합니다.

DPO의 원리

DPO는 "선호 답변 vs 비선호 답변" 쌍으로만 학습합니다. 별도의 보상 모델(Reward Model)이나 RL 루프 없이 단순 cross-entropy loss로 선호도를 직접 최적화합니다.

from trl import DPOTrainer, DPOConfig

# 데이터 형식: {"prompt": ..., "chosen": ..., "rejected": ...}
training_args = DPOConfig(
    beta=0.1,            # KL 패널티 강도 (0.1-0.5가 일반적)
    max_length=1024,
    max_prompt_length=512,
    per_device_train_batch_size=2,
    gradient_accumulation_steps=4,
    learning_rate=5e-7,  # SFT보다 낮은 학습률 권장
    num_train_epochs=1,
    output_dir="./dpo-output",
)

trainer = DPOTrainer(
    model=peft_model,
    ref_model=None,  # PEFT 모델이면 ref 불필요
    args=training_args,
    train_dataset=dpo_dataset,
    tokenizer=tokenizer,
)
trainer.train()

합성 데이터: 학습 데이터 부족 해결책

2026년 파인튜닝에서 가장 큰 변화는 **합성 데이터(Synthetic Data)**의 부상입니다. 강력한 모델(GPT-4o, Claude Opus)을 교사 모델로 사용해 학습 데이터를 자동 생성합니다.

합성 데이터 생성 전략

import anthropic

client = anthropic.Anthropic()

def generate_training_example(domain: str, instruction_type: str) -> dict:
    """교사 모델로 학습 예제 생성"""
    response = client.messages.create(
        model="claude-opus-4-7",
        max_tokens=2000,
        system=f"""당신은 {domain} 분야 전문가입니다.
주어진 유형의 질문-답변 쌍을 생성하세요.
답변은 정확하고 전문적이어야 합니다.""",
        messages=[{
            "role": "user",
            "content": f"{instruction_type} 유형의 학습 예제를 JSON 형식으로 생성하세요."
        }]
    )
    return parse_example(response.content[0].text)

# 대량 생성
training_data = []
for i in range(1000):
    example = generate_training_example("의료", "진단 보조")
    training_data.append(example)

합성 데이터의 품질을 높이는 핵심:

• 다양성: 같은 주제를 다양한 방식으로 표현
• 난이도 분포: 쉬운 예제와 어려운 예제 혼합
• 필터링: 생성된 데이터를 품질 점수로 필터링 (Llama-Guard 등)

학습 데이터 큐레이션이 핵심

많은 팀이 학습 기법보다 데이터 품질에 더 주의를 기울여야 합니다.

실무에서 검증된 원칙:

1. 노이즈 제거 우선: 잘못된 데이터 1%가 좋은 데이터 10%의 효과를 상쇄
2. 양보다 질: 100개의 고품질 예제 > 10,000개의 저품질 예제
3. 분포 확인: 학습 데이터가 실제 사용 케이스를 대표하는가?
4. 중복 제거: near-duplicate 데이터는 과적합의 원인

# 데이터 품질 점수 계산 예시
def score_training_example(example: dict) -> float:
    response = client.messages.create(
        model="claude-haiku-4-5-20251001",
        max_tokens=100,
        messages=[{
            "role": "user",
            "content": f"""다음 학습 예제의 품질을 0-10으로 평가하세요.
정확성, 명확성, 유용성을 기준으로 합니다.
숫자만 답하세요.

질문: {example['instruction']}
답변: {example['output']}"""
        }]
    )
    return float(response.content[0].text.strip())

# 7점 이상만 학습 데이터로 사용
filtered_data = [ex for ex in raw_data if score_training_example(ex) >= 7.0]

2026년 권장 파인튜닝 스택