데이터가 한 곳에만 있던 시대는 끝났다. AWS에는 로그 데이터, GCP에는 머신러닝 파이프라인, Azure에는 ERP 데이터—기업 데이터는 여러 클라우드에 흩어져 있다. 이걸 한곳으로 모으려면 비용과 시간이 듬뿍 든다. 모으지 않으면 분석과 거버넌스가 안 된다. 이 딜레마를 해결하는 아키텍처가 있다.
Communications on Applied Nonlinear Analysis에 발표된 연구는 멀티클라우드 환경에서 페더레이티드 데이터 레이크하우스 아키텍처를 제시한다. 페더레이티드 접근은 데이터를 한곳으로 옮기지 않고, 각 클라우드에 있는 데이터를 논리적으로 통합하여 조회·분석·거버넌스하는 방식이다.
연구는 레이크하우스 아키텍처의 진화—데이터 웨어하우스에서 데이터 레이크, 그리고 데이터 레이크하우스로—를 추적하고, 멀티클라우드 환경에서의 도전 과제를 식별한다. 데이터 주권, 규제 준수, 비용 최적화, 지연 시간 관리가 핵심 과제로 부각되었다.
핵심 결과를 보면, 페더레이티드 아키텍처는 세 가지 레이어로 구성된다. 첫째, 데이터 연합 레이어—각 클라우드의 데이터 소스를 논리적으로 연결하는 카탈로그. 둘째, 쿼리 엔진 레이어—분산된 데이터에 대한 통합 쿼리를 실행하는 레이어. 셋째, 거버넌스 레이어—접근 제어, 데이터 계보, 규제 준수를 관리하는 레이어. 이 아키텍처는 데이터를 물리적으로 이동하지 않으면서도 단일 진입점에서 전사 데이터를 조회할 수 있게 한다.
AI 워크로드 지원에서는 페더레이티드 아키텍처가 데이터 지연 시간을 최소화하면서 학습 데이터 접근성을 극대화했다. 각 클라우드에서 데이터를 로컬로 처리하고 결과만 통합하는 패턴이 전체 데이터를 중앙으로 옮기는 것보다 비용 효율적이었다.
이 연구의 시사점은 데이터를 모으는 것만이 정답이 아니라는 것이다. 페더레이티드 접근은 데이터가 있는 곳에서 처리하고 결과만 통합하는, 보다 현실적인 대안이다. 특히 규제 준수와 데이터 주권이 중요한 금융·헬스케어 산업에서 데이터 이동 자체가 제약인 경우에 유력하다.
한계로는 페더레이티드 쿼리의 성능이 데이터 위치와 네트워크 대역폭에 크게 의존하고, 멀티클라우드 거버넌스 구현의 복잡도가 단일 클라우드 대비 상당히 높다는 점이 있다.
멀티클라우드 데이터 환경을 관리 중이라면 데이터 카탈로그를 먼저 구축하라. 데이터가 어디에 어떤 형태로 있는지 모르면 페더레이션도 불가능하다. Apache Iceberg나 Delta Lake 같은 오픈 테이블 포맷을 사용하면 클라우드 간 데이터 상호운용성을 높일 수 있다. 거버넌스는 처음부터 설계에 포함시키는 것이 나중에 덧붙이는 것보다 훨씬 비용이 낮다.
📖 *Federated Data Lakehouse Architecture for Multi-Cloud Governance, AI and Analytics* |
논문 원문
※ 이 기사는 학술 논문을 바탕으로 작성되었습니다. 실제 적용 시 환경에 따라 다를 수 있으니 전문가와 상담하세요.
The era of data residing in a single location is over. Log data on AWS, machine learning pipelines on GCP, ERP data on Azure—enterprise data is scattered across multiple clouds. Consolidating it into one place requires significant cost and time. However, leaving it scattered makes analysis and governance impossible. There is an architecture that solves this dilemma.
A study published in *Communications on Applied Nonlinear Analysis* presents a federated data lakehouse architecture for multi-cloud environments. The federated approach does not move data to a single location; instead, it logically integrates data residing across different clouds for querying, analysis, and governance.
The research traces the evolution of the lakehouse architecture—from data warehouses to data lakes, and ultimately to data lakehouses—and identifies the challenges in multi-cloud environments. Data sovereignty, regulatory compliance, cost optimization, and latency management emerged as key challenges.
Looking at the key findings, the federated architecture consists of three layers. First, the data federation layer—a catalog that logically connects data sources across each cloud. Second, the query engine layer—a layer that executes unified queries against distributed data. Third, the governance layer—a layer that manages access control, data lineage, and regulatory compliance. This architecture enables querying enterprise-wide data from a single entry point without physically moving the data.
In supporting AI workloads, the federated architecture maximized training data accessibility while minimizing data latency. The pattern of processing data locally within each cloud and integrating only the results proved to be more cost-effective than moving all data to a central location.
The implication of this study is that consolidating data is not the only answer. The federated approach offers a more practical alternative by processing data where it resides and integrating only the results. It is particularly viable in industries like finance and healthcare, where regulatory compliance and data sovereignty are critical, and data movement itself is a constraint.
Limitations include the fact that the performance of federated queries heavily depends on data location and network bandwidth, and the complexity of implementing multi-cloud governance is significantly higher compared to a single cloud.
If you are managing a multi-cloud data environment, build a data catalog first. Without knowing where and in what format your data exists, federation is impossible. Using open table formats like Apache Iceberg or Delta Lake can enhance cross-cloud data interoperability. Incorporating governance into the design from the outset is far less costly than bolting it on later.
📖 *Federated Data Lakehouse Architecture for Multi-Cloud Governance, AI and Analytics* | Original Paper
※ This article is based on an academic paper. Actual implementation may vary depending on the environment, so please consult with an expert.
