YaRN이 보여준 컨텍스트 확장 효율: 10분의 1 토큰으로 늘리는 긴 문맥

공개 sLLM의 사전학습 컨텍스트는 대부분 4k에서 8k 토큰 수준이었습니다. 계약서 전체나 긴 기술 문서를 다루려면 컨텍스트 확장이 필요한데, 긴 시퀀스로 추가 학습하는 비용이 만만치 않았습니다. YaRN은 이 확장 비용을 한 자릿수 아래로 끌어내린 기법입니다.

문제 배경

RoPE 위치 임베딩은 학습 길이를 넘는 위치에서 성능이 급격히 무너집니다. 위치 인덱스를 균일하게 압축하는 위치 보간이 대안으로 나왔지만, 모든 주파수 성분을 같은 비율로 늘이면 인접 토큰을 구분하는 고주파 정보가 뭉개져 짧은 거리의 위치 분해능이 손상됩니다. 이를 보상하려면 상당한 양의 장문 파인튜닝이 필요했습니다.

방법

YaRN은 RoPE의 주파수 대역별로 보간 강도를 다르게 적용합니다. 파장이 컨텍스트 길이보다 훨씬 짧은 고주파 성분은 보간하지 않고 보존해 인접 토큰의 분해능을 지키고, 파장이 긴 저주파 성분만 늘여서 먼 거리를 표현하게 합니다. 그 사이 대역은 두 방식을 부드럽게 섞습니다. 여기에 어텐션 로짓에 온도 계수를 곱하는 보정을 더해 확장 후 퍼플렉서티 저하를 줄입니다. 기존 모델 구조를 바꾸지 않아 추론 최적화 기법과 그대로 호환됩니다.

결과

YaRN은 기존 확장 방법 대비 10분의 1의 학습 토큰과 2.5분의 1의 학습 스텝으로 더 나은 성능을 얻었습니다. 원래 사전학습 데이터의 0.1%에도 못 미치는 양의 파인튜닝으로 LLaMA 2 모델을 64k와 128k 컨텍스트로 확장했고, 파인튜닝 데이터의 길이를 넘는 컨텍스트로 외삽하는 능력도 확인했습니다.

항목	YaRN
학습 토큰	기존 방법의 10분의 1
학습 스텝	기존 방법의 2.5분의 1
확장 길이	64k, 128k 토큰
추가 학습량	사전학습 데이터의 0.1% 미만

한계와 주의점

무학습 확장이 아니라 소량이라도 장문 파인튜닝이 필요하며, 확장 후 표준 벤치마크에서 원 모델 대비 소폭의 성능 변화가 보고됩니다. 평가가 퍼플렉서티와 패스키 검색 중심이므로 긴 문서에 대한 추론 품질은 대상 과제로 별도 검증해야 합니다. 컨텍스트가 길어지면 어텐션과 KV 캐시로 인한 추론 메모리와 지연시간 증가는 그대로 남는다는 점도 운영 설계에서 감안해야 합니다.

기업 적용 관점

문서 업무 자동화 수주에서 긴 컨텍스트는 자주 등장하는 요구사항입니다. 계약서 전문 검토나 기술 규격 대조처럼 문서를 쪼개면 판단이 흐려지는 과제에서는 RAG만으로 부족합니다. YaRN 계열 기법을 쓰면 별도의 장문 사전학습 없이 소규모 추가 튜닝으로 공개 sLLM의 컨텍스트를 확장할 수 있어, 코텍시스가 장문 정독 과제에 sLLM을 맞출 때 비용 대비 효과가 가장 검증된 선택지입니다.