YaRN이 보여준 컨텍스트 확장 효율: 10분의 1 토큰으로 늘리는 긴 문맥

공개 sLLM의 사전학습 컨텍스트는 대부분 4k에서 8k 토큰 수준이었습니다. 계약서 전체나 긴 기술 문서를 다루려면 컨텍스트 확장이 필요한데, 긴 시퀀스로 추가 학습하는 비용이 만만치 않았습니다. YaRN은 이 확장 비용을 한 자릿수 아래로 끌어내린 기법입니다.

문제 배경

RoPE 위치 임베딩은 학습 길이를 넘는 위치에서 성능이 급격히 무너집니다. 위치 인덱스를 균일하게 압축하는 위치 보간이 대안으로 나왔지만, 모든 주파수 성분을 같은 비율로 늘이면 인접 토큰을 구분하는 고주파 정보가 뭉개져 짧은 거리의 위치 분해능이 손상됩니다. 이를 보상하려면 상당한 양의 장문 파인튜닝이 필요했습니다.

방법

YaRN은 RoPE의 주파수 대역별로 보간 강도를 다르게 적용합니다. 파장이 컨텍스트 길이보다 훨씬 짧은 고주파 성분은 보간하지 않고 보존해 인접 토큰의 분해능을 지키고, 파장이 긴 저주파 성분만 늘여서 먼 거리를 표현하게 합니다. 그 사이 대역은 두 방식을 부드럽게 섞습니다. 여기에 어텐션 로짓에 온도 계수를 곱하는 보정을 더해 확장 후 퍼플렉서티 저하를 줄입니다. 기존 모델 구조를 바꾸지 않아 추론 최적화 기법과 그대로 호환됩니다.

결과

YaRN은 기존 확장 방법 대비 10분의 1의 학습 토큰과 2.5분의 1의 학습 스텝으로 더 나은 성능을 얻었습니다. 원래 사전학습 데이터의 0.1%에도 못 미치는 양의 파인튜닝으로 LLaMA 2 모델을 64k와 128k 컨텍스트로 확장했고, 파인튜닝 데이터의 길이를 넘는 컨텍스트로 외삽하는 능력도 확인했습니다.

항목	YaRN
학습 토큰	기존 방법의 10분의 1
학습 스텝	기존 방법의 2.5분의 1
확장 길이	64k, 128k 토큰
추가 학습량	사전학습 데이터의 0.1% 미만

한계와 주의점

무학습 확장이 아니라 소량이라도 장문 파인튜닝이 필요하며, 확장 후 표준 벤치마크에서 원 모델 대비 소폭의 성능 변화가 보고됩니다. 평가가 퍼플렉서티와 패스키 검색 중심이므로 긴 문서에 대한 추론 품질은 대상 과제로 별도 검증해야 합니다. 컨텍스트가 길어지면 어텐션과 KV 캐시로 인한 추론 메모리와 지연시간 증가는 그대로 남는다는 점도 운영 설계에서 감안해야 합니다.

도입 검토 가이드

계약서 전문이나 기술 규격처럼 문서를 쪼개면 판단이 흐려지는 장문 정독 과제를 RoPE 기반 공개 sLLM으로 처리하려는 조직이 검토 대상입니다. RAG 검색만으로 해결되지 않는 문서 전체 대조 요구가 있고, 소규모 추가 파인튜닝을 수행할 GPU 자원이 있다면 적용 조건이 성립합니다.

구분	내용
검토 주체	문서 처리 파이프라인을 설계하는 ML팀과 장문 입력 요구사항을 정의하는 현업 부서
전제 조건	RoPE 위치 임베딩을 쓰는 베이스 모델, 소량의 장문 파인튜닝 데이터(논문 기준 사전학습 데이터의 0.1% 미만), 확장 후 늘어나는 어텐션과 KV 캐시를 감당할 추론 메모리
첫 적용 지점	계약서 전문 검토나 기술 규격 대조처럼 논문이 확장을 검증한 64k에서 128k 토큰 범위 안에 들어오는 단일 문서 정독 과제
판단 기준	확장 길이에서의 대상 과제 정확도와 표준 벤치마크의 회귀 폭. 논문 평가가 퍼플렉서티와 패스키 검색 중심이므로 실제 문서 추론 품질은 자체 평가 세트로 별도 확인해야 합니다

코텍시스는 장문 정독 과제에 sLLM을 맞출 때 YaRN 계열 확장 튜닝을 비용 대비 효과가 가장 검증된 선택지로 적용하며, RAG와의 역할 구분을 설계 단계에서 함께 정의합니다.