Mixtral 8x7B로 읽는 MoE 아키텍처: 13B의 연산으로 70B급 성능 내기

모델 성능을 올리는 가장 확실한 방법은 파라미터를 늘리는 것이지만, 밀집 모델에서는 모든 파라미터가 매 토큰 연산에 참여하므로 추론 비용이 그대로 함께 늘어납니다. Mixtral 8x7B는 이 결합을 끊는 MoE 아키텍처가 공개 모델에서 실용 단계에 도달했음을 보인 사례입니다.

문제 배경

자체 호스팅을 전제로 하면 모델 크기는 곧 GPU 비용입니다. 70B급 밀집 모델의 품질이 필요하지만 그 추론 단가를 감당할 수 없는 조직에게, 파라미터 수와 토큰당 연산량을 분리하는 희소 아키텍처는 오래된 대안이었습니다. 문제는 공개 가중치로 검증된 실용 사례가 없었다는 점입니다.

방법

Mixtral은 트랜스포머 각 층의 피드포워드 블록을 8개의 전문가로 두고, 라우터 네트워크가 토큰마다 2개의 전문가만 선택해 계산합니다. 층의 출력은 선택된 두 전문가 출력의 가중합입니다. 전체 파라미터는 47B이지만 토큰당 실제로 쓰이는 것은 13B에 그치며, 32k 토큰 컨텍스트를 지원합니다. 어텐션은 모든 토큰이 공유하고 피드포워드만 희소화한 구조입니다.

결과

평가된 대부분의 벤치마크에서 Mixtral은 Llama 2 70B와 GPT-3.5를 따라잡거나 능가했으며, 특히 수학, 코드 생성, 다국어 과제에서 강세를 보였습니다. 지시 튜닝된 Mixtral 8x7B Instruct는 MT-Bench에서 8.30점을 기록해 발표 시점 기준 최고 성능의 공개 가중치 모델이 되었고, 인간 평가에서 GPT-3.5 Turbo와 Gemini Pro를 넘어섰습니다. 모델은 Apache 2.0으로 공개되었습니다.

항목	Mixtral 8x7B
총 파라미터	47B
토큰당 활성 파라미터	13B
컨텍스트 길이	32k 토큰
MT-Bench (Instruct)	8.30

한계와 주의점

활성 파라미터는 13B라도 전체 47B 가중치를 모두 메모리에 올려야 하므로, 연산량은 13B급이지만 GPU 메모리 요구는 밀집 13B 모델보다 훨씬 큽니다. 저자들의 라우팅 분석에서는 전문가가 주제나 도메인별로 특화되는 패턴이 관찰되지 않았고, 인접 토큰이 같은 전문가에 배정되는 위치 관련 규칙성이 주로 나타났습니다. 전문가를 도메인별 부품처럼 해석해 운영 설계를 세우면 안 된다는 뜻입니다.

기업 적용 관점

MoE는 추론 연산 단가를 고정한 채 품질을 올리는 선택지입니다. 코텍시스가 자체 호스팅 모델을 제안할 때 판단 기준은 고객 병목의 위치입니다. 처리량과 지연시간이 병목이고 GPU 메모리에 여유가 있다면 MoE가 유리하고, 메모리가 빠듯한 단일 GPU 환경이라면 밀집 sLLM이 맞습니다. 이 구분을 견적 단계에서 명시하면 같은 예산으로 도달 가능한 품질 상한을 고객에게 정직하게 제시할 수 있습니다.