서울공대 컴퓨터비전 연구팀, 기존 AI 모델 더 강력하게 만드는 효율적 확장 기술 개발

uapple 기자

등록 2026-08-04 09:04

사전학습 모델의 의미 구조 활용, 전문가 AI 역할 분화 유도하는 ‘군집 인식 업사이클링’ 개발

서울대 공대·LG AI연구원 공동연구… 대규모 AI 모델의 효율적 확장 가능성 제시

컴퓨터비전 분야 최고 권위 국제학술대회 ‘CVPR 2026’ 논문 채택

서울대 공과 한보형 교수 연구팀이 LG AI연구원과 공동으로 사전학습된 AI 모델을 전문가 혼합 구조(MoE)로 효율적으로 전환하는 ‘군집 인식 업사이클링’ 기술 개발에 성공했다(AI 생성 이미지)

이미 학습된 AI 모델을 처음부터 다시 학습하지 않고도 더 큰 전문가 AI 모델로 확장할 수 있는 효율적인 기술이 개발됐다.

서울대학교 공과대학 전기정보공학부 한보형 교수 연구팀은 LG AI연구원과 공동으로 사전학습된 AI 모델을 전문가 혼합 구조(Mixture-of-Experts, MoE)로 효율적으로 전환하는 ‘군집 인식 업사이클링(Cluster-aware Upcycling)’ 기술을 개발했다고 밝혔다.

전문가 혼합 구조는 여러 전문가가 질문의 성격에 따라 역할을 나눠 답하는 것과 유사하다. 하나의 생성형 AI가 코딩·번역·수학 등 다양한 요청을 처리할 때 모든 모듈을 한꺼번에 사용하는 대신 각 입력을 구성하는 토큰의 특징에 적합한 일부 전문가 모듈만 선택적으로 활용하는 방식이다. 이를 통해 모델이 보유한 전체 지식과 처리 능력을 확대하면서도 입력을 처리하는 데 필요한 계산량의 증가는 줄일 수 있다.

연구팀은 기존 사전학습 모델 내부에 이미 형성된 의미 구조를 활용해 전문가 모듈이 학습 초기부터 서로 다른 특징의 입력을 담당하도록 역할을 분화시키는 새로운 방법을 제안했다. 이를 통해 전문가 혼합 모델의 효율적인 확장 가능성을 제시했으며, 연구 결과는 컴퓨터비전 분야 최고 권위 국제학술대회인 ‘CVPR 2026’에 채택됐다.

대규모 AI 모델은 일반적으로 모델 규모가 커질수록 성능이 향상되지만, 모든 입력에 전체 파라미터를 사용하는 기존 밀집(Dense) 구조에서는 학습과 추론에 필요한 계산 비용도 함께 증가한다. 이러한 한계를 완화할 수 있는 것이 전문가 혼합 구조다. 그러나 전문가 혼합 모델을 처음부터 대규모 데이터로 학습하려면 여전히 많은 시간과 연산 자원이 필요하다.

기존 연구에서는 이러한 비용을 줄이기 위해 이미 학습된 모델의 가중치를 여러 전문가 모듈로 복제하는 희소 업사이클링(Sparse Upcycling) 방식을 제안했다. 기존 모델의 지식을 그대로 활용할 수 있다는 장점이 있지만, 모든 전문가가 동일한 가중치에서 시작하기 때문에 학습 초기에는 각 전문가의 역할이 쉽게 구분되지 않는 문제가 있었다.

또한 입력을 어느 전문가에게 보낼지 결정하는 라우터(router·입력 분배기) 역시 데이터 특성과 무관하게 무작위로 초기화된다. 이는 여러 분야의 전문가를 모아 놓고도 담당 분야를 정하지 않은 채 질문을 무작위로 배분하는 것과 비슷하다. 그 결과, 여러 전문가가 비슷한 기능을 반복해서 학습하거나 학습 초기부터 의미 있는 역할 분화를 이루기 어렵다는 한계가 있었다.

이에 연구팀은 사전학습 모델의 내부 활성화 공간에 이미 의미적으로 유사한 입력들이 군집을 이루는 구조가 형성돼 있다는 점에 주목했다.

제안한 군집 인식 업사이클링은 먼저 사전학습 모델의 각 층에 입력되는 토큰의 활성값을 수집해 유사한 특징을 가진 토큰들을 여러 군집으로 나눈다. 이후 각 군집의 토큰 활성값으로 화이트닝 행렬을 구하고, 이를 이용해 기존 모델의 가중치를 변형한 뒤 절단 특이값 분해(Truncated Singular Value Decomposition)를 적용한다. 이를 통해 각 전문가가 담당할 토큰 군집을 처리하는 데 중요한 가중치 방향은 보존하고, 상대적으로 중요하지 않은 방향은 줄여 전문가 모듈을 서로 다르게 초기화한다. 따라서 모든 전문가가 동일한 복제본으로 출발하는 기존 방식과 달리 각 전문가가 서로 다른 특징을 가진 토큰을 처리하는 데 유리한 초기 구조를 갖게 된다.

라우터도 무작위로 초기화하지 않고 각 군집의 중심값을 활용해 초기화했다. 이를 통해 새로운 토큰이 입력되면 의미적으로 가장 가까운 전문가가 우선 선택되도록 했으며, 하나의 문장이나 이미지 안에서도 토큰의 특성에 따라 서로 다른 전문가가 선택되도록 했다.

연구팀은 여기에 전문가 앙상블 기반 자기증류(Expert-Ensemble Self-Distillation) 기법도 함께 제안했다. 일부 토큰은 여러 전문가와 비슷한 관련성을 보여 특정 전문가의 역할로 명확히 구분하기 어렵다. 이처럼 전문가 배정이 불확실한 토큰은 각 전문가가 일관된 역할을 학습하는 것을 방해할 수 있다. 이에 학습 단계에서 모든 전문가의 출력을 종합한 앙상블 모델의 예측을 추가 학습 신호로 제공했다. 이 신호는 역할이 모호한 토큰에는 상대적으로 강하게 작용하고, 역할이 명확한 토큰에는 그 영향이 적어 전문가별 역할 분화를 유지하고 강화했다.

연구팀은 대표적인 시각-언어 모델인 CLIP에 제안 방법을 적용하고, 별도의 데이터셋별 추가 학습 없이 새로운 데이터를 평가하는 제로샷 환경에서 성능을 검증했다. 그 결과, 이미지·텍스트 검색과 다양한 이미지 분류 평가에서 기존 희소 업사이클링 방식보다 일관되게 높은 성능을 보였다.

특히 다양한 자연 이미지 과제를 포함하는 VTAB-Natural에서는 평균 정확도가 62.0%에서 63.3%로 향상됐다. 학습 데이터와 분포가 다른 ObjectNet에서는 42.3%에서 43.5%로, 이미지의 형태와 표현 방식이 달라진 ImageNet-R에서는 71.2%에서 72.1%로 각각 향상됐다. 별도의 데이터셋 추가 학습 없이도 새로운 환경에서 일관된 성능 향상을 보였다는 점은 제안 기법이 사전학습 모델의 일반화 능력을 효과적으로 높였음을 보여준다.

또한 전문가 모듈의 동작을 분석한 결과, 제안 방법에서는 전문가 간 가중치와 내부 표현의 유사성이 감소하고 각 전문가의 표현 공간이 더욱 뚜렷하게 구분됐다. 각 토큰을 전문가에게 배정하는 라우터의 불확실성도 감소했으며, 특정 전문가에 토큰이 편중되지 않고 전문가들이 균형 있게 활용되는 것으로 확인됐다. 이는 제안 방법이 전문가 혼합 구조의 핵심 목표인 전문가별 역할 분화를 실제로 강화했음을 보여준다.

이번 연구는 이미 많은 시간과 비용을 들여 학습한 AI 모델을 처음부터 다시 학습하지 않고도 전문가 혼합 구조로 효율적으로 확장할 수 있는 새로운 방법을 제시했다는 점에서 의미가 있다.

특히 기업이 보유한 생성형 AI를 코딩, 문서 작성, 번역, 수학 추론 등 다양한 업무를 수행하는 더 큰 모델로 확장하거나 의료 AI에서 CT, 엑스레이, 병리 영상 등 다양한 데이터를 처리하는 모델을 확장할 때도 활용할 수 있다. 또한 대규모 언어모델을 비롯해 영상·음성 등 여러 형태의 정보를 함께 처리하는 다양한 기반 모델의 확장에도 적용될 것으로 기대된다.

산업 현장에서는 이미 확보한 모델과 학습 자산을 재활용하면서 서비스의 적용 범위와 전문성을 넓히고, 모델을 처음부터 다시 학습하는 데 필요한 시간과 연산 자원의 부담을 줄이는 기반 기술로 활용될 수 있다.

연구를 지도한 한보형 교수는 “이번 연구는 사전학습 모델을 전문가 혼합 구조로 전환할 때 기존 가중치를 단순히 복제하는 데 그치지 않고, 모델 내부에 이미 형성된 의미 구조를 활용해 전문가 모듈의 역할 분화를 유도했다는 점에서 의미가 깊다”고 말했다. 이어 “전문가 모듈과 라우터를 데이터 구조에 맞게 함께 구성함으로써 전문가 혼합 모델의 전문화를 학습 초기부터 보다 안정적으로 이끌 수 있었다”며 “향후 더 큰 규모의 시각-언어 모델과 대규모 언어모델뿐 아니라 의료 등 다양한 분야에서도 제안 방법의 확장성과 효율성을 검증해 나갈 계획”이라고 밝혔다.

본 연구의 주저자인 추상혁 연구원은 서울대학교 전기정보공학부 박사과정에서 대규모 시각-언어 모델의 효율적인 확장과 구조화 방법에 대한 후속 연구를 이어갈 예정이다. 향후 전문가 혼합 모델과 선형 시간 모델 등 대규모 AI의 계산 효율을 높이는 모델 구조를 연구하고, 이미지·영상·언어를 함께 처리하는 멀티모달 기반 모델이 제한된 연산 자원에서도 복잡하고 긴 입력을 효과적으로 처리할 수 있도록 하는 기술을 개발할 계획이다.

본 연구는 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원(IITP)의 지원을 받아 수행됐다(RS-2022-II220959).

※ 참고 자료

- 논문명/저널 : Enhancing Mixture-of-Experts Specialization via Cluster-Aware Upcycling, CVPR 2026