싱크로트론 빔라인에서 쏟아지는 데이터가 수 테라바이트에 달하는데, 분석 결과는 실험이 끝난 뒤에야 확인할 수 있다. 대형 과학 시설에서 일하는 연구자라면 한 번쯤 겪어본 답답함이다. 실험 도중 데이터를 즉시 분석해 파라미터를 조정할 수 있다면,제한된 빔타임을 훨씬 효율적으로 활용할 수 있을 것이다.
미국 아르곤 국립연구소의 시니샤 베셀리 등 연구팀은 SC'23 국제 고성능컴퓨팅 학회에서 이 문제의 해법을 제시했다. 핵심은 Advanced Photon Source 같은 대규모 실험 시설의 검출기 데이터를 Polaris 슈퍼컴퓨터로 직접 스트리밍하는 EPICS 기반 프레임워크다. 파일을 저장하고 전송하는 기존 방식을 완전히 우회한다.
연구팀의 시연 결과는 주목할 만하다. 이 프레임워크는 APS가 생산하는 데이터 속도를 충분히 감당할 수 있는 처리량을 달성했다. 실험 데이터가 검출기에서 슈퍼컴퓨터의 계산 노드로 직접 흘러들어가 실시간 처리되고, 그 결과가 실험 제어에 즉각 피드백되는 루프가 완성된 것이다. 나아가 대규모 ML 모델의 실시간 학습과 추론을 실험 데이터로 수행할 수 있는 가능성도 열었다.
물론 범용화까지는 갈 길이 남아 있다. 현재는 APS-Polaris 조합에 최적화된 시연 단계이며, 다른 시설이나 네트워크 환경에서의 안정성은 추가 검증이 필요하다. 네트워크 대역폭 변동이나 슈퍼컴퓨터의 작업 스케줄링과의 충돌도 해결해야 할 과제다.
이 연구가 시사하는 바는 과학 분야에 국한되지 않는다. 대규모 데이터 소스에서 고성능 컴퓨팅 자원으로의 직접 스트리밍 패턴은 제조업 IoT, 금융 실시간 분석 등에도 적용 가능하다. EPICS와 같은 제어 시스템 프레임워크에 관심이 있는 엔지니어라면,파일리스 데이터 파이프라인 설계를 검토해볼 시점이다.
📖 *Streaming Data from Experimental Facilities to Supercomputers for Real-Time Data Processing* | 논문 원문
※ 이 기사는 학술 논문을 바탕으로 작성되었습니다. 실제 적용 시 환경에 따라 결과가 다를 수 있습니다.
When a synchrotron beamline generates terabytes of data per session, researchers typically must wait until the experiment concludes before analysis can even begin. For scientists operating under limited beam time allocations, this delay is not just frustrating—it represents a fundamental inefficiency in the scientific process. The ability to analyze data in real time during an experiment and adjust parameters on the fly could dramatically improve the productivity of every session.
A team from Argonne National Laboratory, led by Siniša Veseli alongside John Hammonds, Steven Henke, Hannah Parraga, and Nicholas Schwarz, presented a solution at SC'23, the premier international conference on high-performance computing. Their approach centers on an EPICS-based streaming framework that pipes detector data directly from the Advanced Photon Source (APS) to the Polaris supercomputer—completely bypassing the conventional store-and-transfer workflow.
The demonstration yielded impressive results. The framework achieved throughput rates sufficient to sustain the expected data production rates of the APS facility. Data flowed directly from detectors into supercomputer compute nodes for real-time processing, with results fed back to the experiment control system in a closed loop. Beyond immediate analysis, the architecture opened the door to real-time ML training and inference at scale using live experimental data—a capability that could fundamentally reshape how computational science integrates with physical experiments.
Limitations remain on the path to broader adoption. The current demonstration was optimized specifically for the APS-Polaris pairing, and stability across different facilities and network configurations requires further validation. Network bandwidth variability and potential conflicts with supercomputer job scheduling systems are among the engineering challenges that must be addressed.
The implications extend well beyond scientific facilities. The direct-streaming pattern from large-scale data sources to high-performance computing resources is applicable to manufacturing IoT, real-time financial analytics, and any domain where data volume outpaces traditional transfer mechanisms. Engineers interested in control system frameworks like EPICS should consider exploring fileless data pipeline architectures as a design pattern for their next infrastructure project.
📖 *Streaming Data from Experimental Facilities to Supercomputers for Real-Time Data Processing* | Full Paper
※ This article is based on an academic paper. Results may vary depending on the implementation environment.
