스마트 카메라, 자율주행 차량, 산업용 IoT 장치 등 현대 엣지 디바이스들은 단일 AI 모델이 아닌 여러 모델을 동시에 실행해야 하는 경우가 많다. 예를 들어 교통 관제 엣지 노드는 객체 탐지, 차량 번호판 인식,이상 행동 감지를 동시에 처리해야 한다. 이 다중 모델 동시 실행 환경에서 전체 지연을 최적화하는 연구가 발표됐다.
시안 교통 리버풀 대학교 등 연구팀은 엣지 컴퓨팅 패러다임에서 복수의 AI 모델이 제한된 엣지 하드웨어 자원을 공유할 때 발생하는 지연 최적화 문제를 다뤘다. 모델 배치 순서, 실행 스케줄링, 엣지-클라우드 분할 지점 결정을 통합하는 최적화 프레임워크를 제안했다.
핵심 발견은 모델들을 단순 순차 실행하는 것보다,각 모델의 연산 그래프 특성과 하드웨어 리소스를 매칭하는 지능적 스케줄링이 지연을 크게 줄인다는 점이다. 실험에서 최적화된 다중 모델 스케줄링은 단순 순차 실행 대비 전체 지연을 최대 38% 단축했다. 특히 NPU(Neural Processing Unit)와 CPU 간 태스크 분배 최적화가 효과적이었다.
AI 추론이 클라우드에서 엣지로 이동하는 AI 엣지화 트렌드에서 이 연구는 다중 모델 배포의 실용적 설계 원칙을 제공한다.
> 실무 시사점: 엣지 디바이스에 복수의 AI 모델을 배포할 때, 각 모델의 연산 패턴과 하드웨어 가속기 특성에 맞는 지능적 스케줄러를 설계하면 추가 하드웨어 없이 지연을 크게 줄일 수 있다.
📖 *PubMed(Sensors) 논문* | 논문 원문
Modern edge devices—smart cameras, autonomous vehicles, industrial IoT nodes—increasingly need to run multiple AI models simultaneously rather than sequentially. A traffic management edge node might concurrently handle object detection, license plate recognition, and anomaly behavior analysis. This multi-model edge deployment creates resource contention and latency challenges that single-model optimization frameworks cannot address.
Researchers from Xi'an Jiaotong-Liverpool University and partner institutions tackled latency optimization for multi-model inference workloads in edge computing environments. When multiple models compete for constrained edge hardware resources (CPU, GPU, NPU cores, memory bandwidth), naive sequential execution wastes hardware parallelism while concurrent execution requires careful scheduling to avoid resource starvation.
The proposed optimization framework integrates three decisions: model deployment sequencing, execution scheduling across hardware accelerators, and edge-cloud split point determination for partially offloaded models. The key insight is that different model architectures exhibit distinct computational patterns—convolutional layers favor GPU/NPU acceleration, while sequential layers may prefer CPU execution. Matching model stages to hardware units maximizes utilization.
Experimental evaluations showed that optimized multi-model scheduling reduced total system latency by up to 38% compared to sequential execution baselines. NPU-CPU task distribution optimization proved particularly effective, leveraging the complementary strengths of dedicated neural accelerators alongside general-purpose CPU cores.
The framework also addressed thermal management—sustained multi-model execution generates heat that throttles performance on passively cooled edge devices—with scheduling policies that distribute thermal load to maintain consistent performance.
> Practical takeaway: For multi-model edge AI deployments, design an intelligent scheduler that matches model computational patterns to hardware accelerator capabilities. Avoid sequential execution by exploiting hardware parallelism—significant latency gains are available without additional hardware investment.
📖 *Sensors (PubMed)* | Full Paper
