JetBrains Mellum2 오픈소스 공개 — 소프트웨어 엔지니어링용 12B MoE 모델

Mellum2란?

Mellum2는 JetBrains가 2026년 6월 1일 오픈소스로 공개한 12B 파라미터 Mixture-of-Experts(MoE) 언어 모델이다. JetBrains는 PyCharm·IntelliJ를 만든 IDE 전문 기업으로, 2024년 말 코드 자동완성 전용 모델 Mellum(4B 밀집)을 공개한 이후 Mellum2에서 자연어와 코드를 모두 다루는 범용 소프트웨어 엔지니어링 모델로 진화했다.

Mellum2의 핵심은 효율적 추론이다. 64개의 전문가(expert) 중 매 토큰마다 8개만 활성화하는 MoE 구조를 통해 12B 모델의 역량을 갖추면서도 실제 계산량은 2.5B 밀집 모델 수준으로 유지한다. 결과적으로 동급 오픈소스 모델 대비 2배 이상 빠른 추론이 가능해 실시간 워크플로와 프로덕션 배포에 적합하다.

기술 아키텍처

Mellum2는 약 10.6조 토큰의 3단계 커리큘럼으로 사전학습됐다. 웹 데이터에서 출발해 코드·수학 비중을 순차적으로 높이며 (23% → 42% → 59%) 코딩 및 수학적 추론 능력을 강화했다.

주요 설계 선택:

• 그룹 쿼리 어텐션(GQA): 4개의 KV 헤드로 추론 메모리 효율화
• 슬라이딩 윈도우 어텐션: 4개 레이어마다 3개에 적용해 장문 컨텍스트 처리 효율 향상
• 멀티 토큰 예측(MTP): 보조 사전학습 목표인 동시에 투기적 디코딩의 드래프트 모델로 활용
• YaRN 컨텍스트 확장: 레이어 선택적 YaRN으로 128K 컨텍스트 윈도우 달성
• Muon 옵티마이저 + FP8 혼합 정밀도: 학습 효율 최적화

어디에 쓰는가?

Mellum2는 단일 대화 챗봇이 아니라 소프트웨어 엔지니어링 시스템의 인프라 레이어를 겨냥한다.

현대 AI 시스템은 단일 대형 모델 외에도 수많은 보조 호출이 필요하다: 라우팅, 검색(RAG), 요약, 계획, 검증, 도구 호출 등. 이 중 많은 부분이 지연시간에 민감하면서도 최대 모델의 역량이 필요하지 않다. Mellum2는 이 "중간 추론" 워크플로를 위한 모델이다.

릴리스 구성

Hugging Face에는 세 가지 체크포인트가 공개됐다:

• Base: 사전학습 기반 모델
• Instruct: 지시 따르기에 최적화
• Thinking: 강화학습으로 추론 트레이스를 생성하는 추론 강화 버전

세 가지 모두 Apache 2.0 라이선스이며, 긴 컨텍스트 확장 전 베이스 모델과 SFT 체크포인트도 함께 공개됐다. 전체 기술 리포트(arXiv 2605.31268)에 아키텍처 결정사항과 데이터 파이프라인이 상세히 기술돼 있다.