Model teringan,nilai terdalam

sLLM 최적화는 수십억 파라미터급의 소형 언어 모델을 특정 업무에 맞게 미세조정하고 양자화해, 외부 API 없이 기업 자체 인프라에서 구동하는 솔루션입니다. 업무 범위를 좁게 정의하면 소형 모델도 해당 태스크에서 충분한 품질을 낼 수 있고, Pruning·Distillation과 양자화를 거치면 단일 GPU나 CPU 서버에서도 실용적인 추론 속도가 나옵니다. 데이터가 조직 밖으로 나가지 않으면서 호출량에 따른 과금도 발생하지 않습니다.

코텍시스는 보안 요건을 설계의 출발점으로 둡니다. 데이터 반출이 불가능한 환경을 전제로 모델 선정과 서빙 구성을 잡고, 사내 DB와 기존 시스템에 연결되는 형태로 배치합니다. 양자화는 품질 저하를 수반할 수 있으므로 업무 데이터 기반 평가셋을 먼저 만들고, 양자화 전후 품질을 같은 기준으로 계측해 수치로 확인한 뒤 배포합니다.

Advanced RAG는 기업 내부 문서를 검색해 그 내용을 근거로 답변을 생성하는 검색 증강 생성 시스템입니다. 모델을 재학습하지 않고도 최신 문서가 답변에 반영되고, 답변마다 출처가 붙어 검증이 가능합니다. 키워드 기반 BM25와 의미 기반 Dense 검색을 결합한 하이브리드 검색에 리랭킹을 더해 검색 정확도를 끌어올리고, 근거에 없는 내용의 생성을 억제하는 검증 단계로 할루시네이션을 제어합니다.

코텍시스는 검색 이전의 파싱 품질을 가장 먼저 봅니다. 사내 문서는 표와 서식, 스캔본이 섞여 있어 파싱이 무너지면 이후 단계 전체가 무너지기 때문입니다. 문서 접근 권한 체계를 검색 필터에 그대로 연동해 볼 수 없는 문서가 답변에 섞이지 않게 하고, 실제 업무 질문으로 검색 품질 평가셋을 만들어 개선을 수치로 관리합니다. 전체 파이프라인은 온프레미스로 구성할 수 있습니다.

Multimodal VLM은 이미지와 비디오를 이해하고 그 내용을 텍스트로 추론하는 비전 언어 모델 솔루션입니다. 사진 속 객체를 인식하는 데서 그치지 않고 도면의 기호를 해석하거나 문서의 표를 읽어 데이터로 바꾸고, 영상의 상황을 문장으로 요약합니다. 실시간성이 필요한 검출은 YOLO 계열의 경량 검출 모델이 맡고, 해석과 보고는 VLM이 맡는 식으로 두 계층을 역할에 따라 조합합니다.

코텍시스는 현장 데이터로 검증하는 것을 설계 기준으로 삼습니다. 조명과 촬영 각도, 오염이 섞인 실제 현장 이미지는 공개 벤치마크와 다르게 동작하므로, 현장 데이터로 평가 기준을 먼저 세우고 모델을 맞춥니다. 르노코리아 대상 YOLOv11 기반 검출 PoC를 수행하며 이 접근을 실제 제조 현장에서 검증했습니다. 시각 데이터는 사내망 밖으로 내보내기 어려운 경우가 많아 온프레미스 GPU 서빙 구성을 기본으로 검토합니다.

AI Agent는 언어 모델이 도구와 API를 호출하며 여러 단계로 이루어진 업무를 수행하는 솔루션입니다. 질문 응답에 그치지 않고 목표를 받아 스스로 계획을 세우고, 사내 시스템을 조회하거나 갱신하는 행동을 실행하며, 중간 결과를 확인해 다음 단계를 조정합니다. 복잡한 업무는 역할이 나뉜 여러 에이전트가 협업하는 멀티 에이전트 구조로 처리합니다.

코텍시스는 에이전트가 실행 권한을 갖는 만큼 안전장치를 함께 설계합니다. 행동의 허용 범위를 정의하고 위반을 차단하는 가드레일을 파이프라인에 내장하며, 이 영역의 기술은 자체 개발해 공개한 guardrail4agent 모델로 검증하고 있습니다. 기존 시스템의 API 위에 에이전트를 얹어 새 인프라 부담을 줄이고, 실패나 불확실한 판단에서 사람이 개입하는 승인 지점을 설계 단계에 넣습니다. 현재 대기업 인재개발원의 AI Agent 구축 프로젝트를 진행하고 있습니다.