움직이는 물체 추적해 중복 연산 제거… 피지컬 AI 상용화 앞당긴다

uapple 기자

등록 2026-07-14 10:10

엣지 디바이스에서 기존 대비 2.61배 빠른 영상 AI 추론 구현

피지컬 AI·증강현실 분야서 실시간 영상 AI 상용화 앞당길 전망

모바일 시스템 분야 최고 권위 학술대회 ACM MobiSys 발표

이경한 서울대학교 전기정보공학부 교수(왼쪽), 박찬정 서울대학교 전기정보공학부 연구원(오른쪽)

서울대학교 공과대학 전기정보공학부 이경한 교수 연구팀이 엣지 디바이스에서 비전 트랜스포머 기반 비디오 분석을 기존 대비 2.61배 빠르게 수행하는 인공지능(AI) 시스템 '우로보로스(Ouroboros)'를 개발했다고 밝혔다.

이번 연구 성과는 미국 카네기멜론대학교와의 공동 연구로 수행됐으며, 모바일 시스템 분야의 세계 최고 권위 국제 학술대회인 'ACM 모비시스(ACM MobiSys) 2026'에서 구두 발표되며 학계의 이목을 집중시켰다.

최근 비전 트랜스포머(Vision Transformer)는 뛰어난 영상 인식 성능으로 자율주행, 객체 탐지 등 다양한 시각 AI 분야에서 각광받고 있다. 하지만 이미지를 여러 조각(패치)으로 나누어 모든 관계를 계산하는 구조적 특성상 연산량과 메모리 사용량이 극도로 크다는 단점이 있다. 이 때문에 스마트폰, 로봇, 드론 등 전력과 연산 자원이 제한된 엣지 디바이스 환경에서는 실시간으로 활용하기 어려웠다.

기존에도 프레임 간 중복 정보를 재사용하는 경량화 기법들이 존재했으나, 단순히 동일한 위치의 픽셀 차이만을 기준으로 삼아 카메라가 흔들리거나 물체가 움직이면 중복성을 감지하지 못하고 새롭게 연산해야 하는 한계가 있었다.

이경한 교수팀이 개발한 우로보로스는 하드웨어 비디오 인코더가 제공하는 움직임 정보(Motion Vector)를 활용해 이 문제를 정면으로 해결했다. 영상 속 물체나 배경이 움직이더라도 이를 추적해 동일한 시각 정보로 인식하고, 이전 프레임의 계산 결과를 재사용하는 방식이다. 실제로 변화가 큰 부분만 선택적으로 계산해 불필요한 반복 연산을 획기적으로 줄였다.

특히 화면 가장자리를 넘어 이동할 때 정보가 단절되는 현상을 막기 위해, 화면의 좌우·상하 경계를 이어 붙인 '순환형 입력 공간'과 '위치 인코딩 재배치 기술'을 도입했다. 이를 통해 경계를 넘어간 물체도 끊김 없이 하나의 연속된 대상으로 정확히 인식한다.

실험 결과, 우로보로스는 엔비디아 젯슨 오린(NVIDIA Jetson Orin) 계열 엣지 디바이스에서 최대 87.0%의 연산량 절감, 2.61배의 추론 속도 향상, 64.5%의 에너지 절감을 달성했다. 반면 객체 탐지 및 인스턴스 분할 작업에서의 정확도 저하는 1% 미만으로 유지해 고성능 영상 AI 모델의 정밀함을 그대로 보존했다.

우로보로스는 모델 자체를 새로 설계하는 것이 아니라 영상 처리 과정의 중복 계산을 줄이는 시스템 기술이기 때문에, 기존의 다양한 비전 트랜스포머 기반 모델에 즉각 적용할 수 있는 높은 범용성을 지닌다. 영상 데이터를 서버로 전송해 처리하는 환경에서도 AI 추론에 필요한 정보만 선별 전달해 네트워크 대역폭 소모를 크게 줄여준다.

이에 따라 자율주행, 지능형 CCTV, 로봇, 휴머노이드, 모바일 증강현실(AR), 스마트팩토리 등 실시간 영상 분석이 필수적인 피지컬 AI(Physical AI) 분야 전반에서 상용화를 앞당기는 결정적 기반이 될 것으로 전망된다.

연구책임자인 이경한 교수는 "이번 연구는 휴머노이드와 같은 피지컬 AI 구현의 걸림돌이었던 연산 및 네트워크 병목 문제를 동시에 해결할 수 있는 원천 기술을 확보했다는 점에서 의미가 크다"며 "향후 피지컬 AI 및 AI 반도체 기업들과 협력해 상용화와 사업화를 적극 추진할 계획"이라고 전했다.

주저자인 박찬정 연구원을 비롯한 연구팀은 이번 성과를 바탕으로 비디오뿐만 아니라 단일 이미지 입력에 대해서도 엣지-클라우드 협업 추론을 가속하는 후속 연구를 이어갈 예정이다. 이번 연구는 과학기술정보통신부 재원으로 정보통신기획평가원(IITP)과 한국연구재단(NRF) 등의 지원을 받아 수행됐다.