제조 현장에서 수백, 수천 개의 센서가 쏟아내는 데이터를 실시간으로 수집하고 처리하는 일은 여전히 난제다. 데이터가 몰리면 병목이 생기고, 분산된 공장 간 보안과 자원 배분까지 고려하면 기존 시스템으로는 한계가 뚜렷하다. 현장 엔지니어라면 한 번쯤 "센서 데이터를 실시간으로 쓸 수 있는 구조가 없을까"라고 고민해본 적이 있을 것이다.
이탈리아 살렌토대학교의 Pacella 등 연구팀은 이 문제에 정면으로 답하는 논문을 발표했다. 연구팀이 제안한 것은 클라우드 제조환경에 최적화된 9계층 아키텍처다. 데이터 수집 단계에는 Apache Kafka를, 실시간 처리 단계에는 Apache Spark Streaming을 배치했다. 전체 시스템은 마이크로서비스 기반으로 설계되어, 공장이 늘어나거나 센서 수가 급증해도 개별 서비스를 독립적으로 확장할 수 있다.
연구팀은 UCI 머신러닝 리포지토리의 센서 데이터셋을 활용해 프레임워크를 검증했다. 실험 결과,기존 방식 대비 처리 효율과 처리량 모두에서 유의미한 개선을 확인했다. 특히 Kafka의 높은 내결함성과 Spark Streaming의 마이크로배치 처리가 결합되면서, 대량 데이터 유입 상황에서도 지연 시간이 크게 줄었다.
다만 한계도 있다. 실험에 사용된 데이터셋은 실제 제조 현장의 규모와 복잡성을 온전히 반영하지는 못한다. 또한 보안 계층의 구체적 구현이나 네트워크 장애 상황에서의 복원력은 후속 연구 과제로 남았다.
제조업에서 클라우드와 IoT 도입을 검토하는 실무자라면, 이 연구가 제시한 아키텍처를 참고할 만하다. Kafka와 Spark Streaming은 이미 오픈소스 생태계에서 검증된 기술이므로, 파일럿 프로젝트부터 단계적으로 적용해볼 수 있다. 핵심은 모놀리식 구조를 벗어나 마이크로서비스 단위로 데이터 파이프라인을 설계하는 것이다.
📖 *A Scalable Framework for Sensor Data Ingestion and Real-Time Processing in Cloud Manufacturing* | 논문 원문
※ 이 기사는 학술 논문을 바탕으로 작성되었습니다.
Collecting and processing data from hundreds or thousands of sensors on the factory floor in real time remains one of the toughest challenges in modern manufacturing. When data surges hit, bottlenecks form. Factor in security and resource allocation across geographically distributed plants, and conventional systems quickly reach their limits. Any engineer who has worked with industrial IoT has asked the same question: is there a reliable architecture that can handle sensor data at scale, in real time?
A research team led by Pacella at the University of Salento in Italy has published a study that directly addresses this problem. The team proposed a nine-layer architecture optimized for Cloud Manufacturing environments. Apache Kafka handles the data ingestion layer, providing high-throughput, fault-tolerant message streaming. Apache Spark Streaming takes over at the real-time processing layer, enabling rapid micro-batch analysis of incoming sensor feeds. The entire system is built on a microservice architecture, meaning individual components can scale independently as factories expand or sensor counts spike.
The researchers validated their framework using sensor datasets from the UCI Machine Learning Repository. Experimental results showed substantial improvements in both processing efficiency and throughput compared to conventional approaches. The combination of Kafka's fault tolerance and Spark Streaming's micro-batch processing proved particularly effective at reducing latency under heavy data loads.
The study does have limitations. The datasets used in validation do not fully replicate the scale and complexity of real-world manufacturing environments. Additionally, the specific implementation of the security layer and system resilience under network failure scenarios remain open questions for future research.
For manufacturing professionals evaluating cloud and IoT adoption, this research offers a practical architectural reference. Both Kafka and Spark Streaming are proven open-source technologies with mature ecosystems, making them viable candidates for pilot projects. The key takeaway is clear: moving from monolithic data pipelines to microservice-based architectures is not just a theoretical improvement—it is a measurable one.
📖 *A Scalable Framework for Sensor Data Ingestion and Real-Time Processing in Cloud Manufacturing* | Read the paper
※ This article is based on an academic research paper.
