멀티클라우드 시대, 페더레이티드 데이터 레이크하우스가 해결하려는 것
데이터가 한 곳에만 있던 시대는 끝났다. AWS에는 로그 데이터, GCP에는 머신러닝 파이프라인, Azure에는 ERP 데이터—기업 데이터는 여러 클라우드에 흩어져 있다. 이걸 한곳으로 모으려면 비용과 시간이 듬뿍 든다. 모으지 않으면 분석과 거버넌스가 안 된다. 이 딜레마를 해결하는 아키텍처가 있다.
Communications on Applied Nonlinear Analysis에 발표된 연구는 멀티클라우드 환경에서 페더레이티드 데이터 레이크하우스 아키텍처를 제시한다. 페더레이티드 접근은 데이터를 한곳으로 옮기지 않고, 각 클라우드에 있는 데이터를 논리적으로 통합하여 조회·분석·거버넌스하는 방식이다.
연구는 레이크하우스 아키텍처의 진화—데이터 웨어하우스에서 데이터 레이크, 그리고 데이터 레이크하우스로—를 추적하고, 멀티클라우드 환경에서의 도전 과제를 식별한다. 데이터 주권, 규제 준수, 비용 최적화, 지연 시간 관리가 핵심 과제로 부각되었다.
핵심 결과를 보면, 페더레이티드 아키텍처는 세 가지 레이어로 구성된다. 첫째, 데이터 연합 레이어—각 클라우드의 데이터 소스를 논리적으로 연결하는 카탈로그. 둘째, 쿼리 엔진 레이어—분산된 데이터에 대한 통합 쿼리를 실행하는 레이어. 셋째, 거버넌스 레이어—접근 제어, 데이터 계보, 규제 준수를 관리하는 레이어. 이 아키텍처는 데이터를 물리적으로 이동하지 않으면서도 단일 진입점에서 전사 데이터를 조회할 수 있게 한다.
AI 워크로드 지원에서는 페더레이티드 아키텍처가 데이터 지연 시간을 최소화하면서 학습 데이터 접근성을 극대화했다. 각 클라우드에서 데이터를 로컬로 처리하고 결과만 통합하는 패턴이 전체 데이터를 중앙으로 옮기는 것보다 비용 효율적이었다.
이 연구의 시사점은 데이터를 모으는 것만이 정답이 아니라는 것이다. 페더레이티드 접근은 데이터가 있는 곳에서 처리하고 결과만 통합하는, 보다 현실적인 대안이다. 특히 규제 준수와 데이터 주권이 중요한 금융·헬스케어 산업에서 데이터 이동 자체가 제약인 경우에 유력하다.
한계로는 페더레이티드 쿼리의 성능이 데이터 위치와 네트워크 대역폭에 크게 의존하고, 멀티클라우드 거버넌스 구현의 복잡도가 단일 클라우드 대비 상당히 높다는 점이 있다.
멀티클라우드 데이터 환경을 관리 중이라면 데이터 카탈로그를 먼저 구축하라. 데이터가 어디에 어떤 형태로 있는지 모르면 페더레이션도 불가능하다. Apache Iceberg나 Delta Lake 같은 오픈 테이블 포맷을 사용하면 클라우드 간 데이터 상호운용성을 높일 수 있다. 거버넌스는 처음부터 설계에 포함시키는 것이 나중에 덧붙이는 것보다 훨씬 비용이 낮다.
📖 *Federated Data Lakehouse Architecture for Multi-Cloud Governance, AI and Analytics* | 논문 원문
※ 이 기사는 학술 논문을 바탕으로 작성되었습니다. 실제 적용 시 환경에 따라 다를 수 있으니 전문가와 상담하세요.