VLM은 이미지를 고정 해상도로 리사이즈한 뒤 일정 개수의 패치 토큰으로 변환하는 방식을 써왔다. 그러나 이 방식은 원본 해상도 정보가 손실되고, 세밀한 텍스트 읽기나 작은 객체 탐지에서 성능 저하가 불가피했다. 실제 앱 스크린샷이나 고해상도 문서를 입력할 때 특히 문제가 된다.
알리바바 클라우드 연구진이 발표한 Qwen2-VL은 네이티브 동적 해상도 메커니즘으로 이 한계를 돌파한다. 이미지를 미리 정된 해상도로 자르지 않고, 원본 해상도에 따라 시각 토큰 수를 동적으로 조정한다. 고해상도 이미지는 더 많은 토큰으로, 저해상도는 적은 토큰으로 표현해 인간의 시각 인식 과정에 가깝게 동작한다. M-RoPE을 도입해 텍스트·이미지·비디오의 위치 정보를 통합한다. 이미지와 비디오를 동일 패러다임으로 처리하는 점도 특징이다.
Qwen2-VL 시리즈는 2B·8B·72B 세 가지 규모로 공개됐다. 72B 모델은 다양한 멀티모달 벤치마크에서 GPT-4o 및 Claude 3.5 Sonnet과 필적하는 성능을 기록했다. 특히 문서 이해·이미지 캡셔닝·비디오 이해 영역에서 기존 일반화 모델 대비 우수한 결과를 보여줬다. 스케일링 법칙 검증에서도 모델 크기와 학습 데이터 양을 늘릴수록 성능이 체계적으로 향상되는 것이 확인됐다.
동적 해상도의 장점은 명확하다. OCR·차트 독해 등 고해상도가 필요한 작업에서 정보 손실 없이 원본을 그대로 활용할 수 있다. M-RoPE 덕분에 이미지와 비디오를 별도 파이프라인 없이 통합 처리하는 것도 가능하다.
한계로는 동적 해상도가 시각 토큰 수를 가변적으로 만들어 어텐션 연산량이 입력마다 달라지고, 72B 모델은 상용 배포에 GPU 클러스터가 필요하다는 점이 있다. 또한 비디오 처리 시 프레임 수 증가에 따른 메모리 소모도 고려해야 한다.
개발자는 2B·8B 소형 모델을 로컬 환경에서 즉시 실험할 수 있다. GitHub에 코드와 체크포인트가 공개돼 있어, 커스텀 도메인 파인튜닝도 가능하다. 동적 해상도 처리는 문서 AI·시각 QA·자율주행 인식 파이프라인에 직접 적용할 수 있다.
📖 *Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution* | 논문 원문 ※ 이 기사는 IT 연구 논문을 바탕으로 작성되었습니다.
Vision-language models have traditionally resized images to a fixed resolution before converting them into a predetermined number of visual tokens. This approach loses fine-grained resolution information, degrading performance on text reading, small object detection, and high-resolution document understanding.
Qwen2-VL from Alibaba Cloud introduces the Naive Dynamic Resolution mechanism, which processes images at their native resolution and dynamically adjusts the number of visual tokens accordingly. High-resolution images receive more tokens; low-resolution ones receive fewer—closely mirroring human visual perception. The model also integrates Multimodal Rotary Position Embedding (M-RoPE) to unify positional information across text, images, and video, and processes both modalities under a single paradigm.
The series comes in 2B, 8B, and 72B parameter sizes. The 72B model achieves results comparable to GPT-4o and Claude 3.5 Sonnet across diverse multimodal benchmarks, particularly excelling in document understanding, image captioning, and video comprehension. Scaling law experiments confirm systematic performance improvement as both model size and training data volume increase.
Dynamic resolution eliminates information loss for tasks requiring fine detail—OCR, chart reading, and small object detection all benefit from processing images at native resolution. M-RoPE enables unified image-video processing without separate pipelines, simplifying architecture and training.
Limitations include variable attention computation costs due to dynamic token counts, GPU cluster requirements for 72B deployment, and memory consumption scaling with video frame count. These engineering challenges are tractable for production teams.
Developers can immediately experiment with the 2B and 8B models locally. Code and checkpoints are available on GitHub, supporting custom domain fine-tuning. The dynamic resolution mechanism applies directly to document AI, visual QA, and autonomous driving perception pipelines.
📖 *Qwen2-VL: Enhancing Vision Language Model's Perception of the World at Any Resolution* | Original Paper ※ This article is based on an IT research paper.
