양사 파트너십을 통해 두 시스템 간의 상호 운용성 개선 효과는 물론, Cloudera 고객은 Snowflake의 비즈니스 인텔리전스 엔진의 편리함을 직접 접하는 이점도 얻게 됐다(이미지: Cloudera)

데이터, 애널리틱스, AI 활용을 위한 진정한 하이브리드 플랫폼인 클라우데라(Cloudera)가 11일 AI 데이터 클라우드 기업인 스노우플레이크(Snowflake)와 통합해 기업들에게 아파치 아이스버그(Apache Iceberg) 기반의 개방적이고 통합된 하이브리드 데이터 레이크하우스를 제공한다고 밝혔다. 이제 기업들은 데이터 수집, 처리, 소비 과정에 필요한 동급 최고의 두 개 툴인 Cloudera와 Snowflake를 결합해 모든 데이터, 애널리틱스, AI 워크로드에서 신뢰할 수 있는 단일 소스활용이 가능해졌다.

데이터는 비즈니스의 가장 강력한 자산에 해당한다. 데이터는 정보에 기반한 의사결정을 유도하고, 경쟁 우위를 제공하며, 혁신의 기회를 발견할 수 있게 도와준다. 2022년 연구 (https://shorturl.at/i01th)에 따르면 80%의 기업이 실시간 데이터 분석에 힘입어 매출 증대 효과를 봤으며, 98%는 데이터 활용으로 인해 긍정적인 고객 정서가 확대됐다고 보고했다. 그러나 데이터 자원이 지닌 힘을 완전히 활용하기 위해서는 기업들은 데이터의 위치에 관계없이 모든 엔터프라이즈 데이터를 저장, 관리, 통제할 수 있는 단일 통합 데이터 소스가 필요하다.

Cloudera는 오픈 데이터 레이크하우스 상호운용성을 Snowflake까지 확장함으로써 공동 고객들이 아파치 아이스버그 REST 카탈로그를 통해 Cloudera의 데이터 레이크하우스에 원활하게 액세스할 수 있도록 지원한다. 고객들은 동급 최강의 툴을 활용해 데이터를 수집, 준비, 처리할 수 있는 아파치 아이스버그 기반의 최적화된 데이터 플랫폼의 이점을 누릴 수 있게 됐다. Snowflake 사용자들로서도 온프레미스 AWS S3 호환 객체 스토리지 솔루션인 Cloudera의 Ozone에 저장된 데이터를 Snowflake에서 직접 쿼리 처리할 수 있게 됐다. 이제 고객들은 온프레미스, 서비스형 플랫폼(PaaS), 서비스형 소프트웨어(SaaS) 등 모든 주요 폼 팩터를 하나의 통합된 협업 체제에서 이용할 수 있게 된 것이다.

두 시스템 간의 상호 운용성 개선 효과는 물론, Cloudera 고객은 Snowflake의 비즈니스 인텔리전스 엔진의 편리함을 직접 접하는 이점도 얻게 됐다. Snowflake 엔진은 데이터 복제나 전송 없이도 Cloudera의 오픈 데이터 레이크하우스의 데이터에 액세스가 가능해 복잡성을 줄이고, 운영 간소화와 데이터 무결성 유지의 효과를 얻을 수 있다.

이 같은 협업 방식은 기업의 통합 스택의 총 소유 비용 절감 효과로도 이어진다. 데이터 및 메타데이터 사일로 제거, 데이터 파이프라인의 합리화, 운영 노력의 간소화는 이러한 비용 절감의 핵심 요소로 지목된다. 이러한 개선 사항은 분석 및 AI 사용 사례를 보다 효율적이고 대규모로 제공하는 데 도움이 되며, Cloudera와 Snowflake를 모두 활용하는 기업의 가치 제안을 더욱 강화하게 된다. 이 전략적 통합은 분석 워크플로를 최적화할 뿐만 아니라 기업이 혁신을 주도하고 각자의 시장에서 경쟁 우위 확보가 가능한 강력한 프레임워크를 제공하게 된다.

이 통합의 추가적인 이점은 다음과 같다.

· 관리형 아이스버그 테이블: 아이스버그 테이블은 데이터 성능과 안정성을 향상시켜 공동 고객이 데이터 저장 위치에 관계없이 더 나은 구성, 더 빠른 쿼리, 간소화된 데이터 관리를 통해 데이터의 잠재력을 최대한 활용할 수 있게 지원해준다.

· 동급 최고의 엔진: 공동 고객은 최고 수준의 엔진을 통해 데이터를 수집, 준비, 관리함으로써 AI와 비즈니스 인텔리전스 워크로드에 대한 원활한 관리가 가능해진다.

· 통합 보안 및 거버넌스: 이 통합은 전체 데이터 수명 주기에 걸쳐 데이터 보안과 거버넌스를 통합한다. 공동 고객은 온프레미스 또는 클라우드의 단일 플랫폼 내에서 일관된 보안 조치를 적용하고, 데이터의 출처와 이동을 추적하며, 메타데이터의 관리가 가능하다.

Cloudera의 전략부문 최고책임자인 Abhas Ricky는 “아파치 아이스버그를 통해 오픈 데이터 레이크하우스 기능을 Snowflake로 확장함으로써 고객들이 데이터 워크플로를 최적화할 뿐만 아니라 혁신, 효율성, 성장을 위한 새로운 기회를 포착할 수 있도록 지원하고 있다”고 강조했다. 그는 이어 “이를 통해 고객은 데이터 아키텍처 간소화와 데이터 파이프라인의 최소화, 데이터 자산의 총소유비용 절감 효과를 보는 한편 보안 리스크도 줄일 수 있게 됐다. 이제 Snowflake와 Cloudera는 서로 힘을 합쳐 오늘날 운영되는 모든 기업 기관들을 위한 데이터 기반 의사 결정의 새로운 시대를 열어가게 될 것”이라고 기대감을 밝혔다.

Snowflake의 기술 제휴 책임자인 Tarik Dwiek는 “아파치 아이스버그는 데이터에 대한 개방형 표준을 원하는 고객들에게 최고의 선택이며, Cloudera는 아이스버그 프로젝트의 핵심적인 역할을 담당해왔다”고 언급했다. 그는 또 “양사의 파트너십은 아이스버그 테이블을 표준화하기로 선택한 고객들에게 더 많은 가능성을 제공한다. 사일로를 허물고 모든 고객에게 다기능 분석 기능을 갖춘 통합된 하이브리드 데이터 클라우드 환경을 제공하게 돼 기쁜 마음”이라며 양사 제휴가 갖는 의미를 설명했다.

SanjMo의 애널리스트인 Sanjeev Mohan은 “이번 협력을 통해 고객은 클라우드이건 온프레미스이건 모든 데이터에 대해 단일 데이터 소스를 제공하는 통합된 강력한 데이터 관리 플랫폼에 액세스가 가능해졌다”고 진단했다. 그는 또 “이를 통해 데이터 운영을 간소화하고 보호하는 동시에 수집부터 AI 및 분석에 이르기까지 전체 데이터 수명 주기에서 인사이트를 효율적으로 분석하고 추출할 수 있게 됐다. 업계의 두 거물이 여러 기업들에게 즉각적인 가치를 제공할 수 있는 방식으로 협력하며 전략적 행보에 나선 것으로 평가된다”고 덧붙였다.

Cloudera는 아이스버그 도입 촉진을 위한 노력을 재확인하며, 클라우데라 레이크하우스 옵티마이저(Cloudera Lakehouse Optimizer)의 기술 프리뷰를 발표하게 돼 기쁜 마음이라고 전했다. 이 새로운 서비스는 아이스버그 테이블을 자율적으로 최적화해 비용 절감 효과는 물론 레이크하우스의 성능을 크게 향상시킬 것으로 기대된다. 이 기술 프리뷰에 대한 보다 자세한 사항은 여기 (https://shorturl.at/hEbNH)에서 확인할 수 있다.

Cloudera 소개

Cloudera는 데이터, 애널리틱스, AI 활용을 위한 진정 유일한 하이브리드 플랫폼이다. 여타 클라우드 전용 공급업체와 비교해 100배 더 많은 데이터를 관리하고 있는 Cloudera는 글로벌 기업들이 퍼블릭 또는 프라이빗 클라우드에 있는 모든 유형의 데이터를 가치 있고 신뢰할 수 있는 인사이트로 변환할 수 있도록 지원하고 있다. Cloudera의 개방형 데이터 레이크하우스는 확장 가능하고 안전한 데이터 관리와 휴대용 클라우드 네이티브 분석 서비스를 제공함으로써 고객이 개인 정보를 보호하고 책임감 있고 안정적인 AI 구축을 보장하면서 데이터에 생성형 AI 모델을 도입할 수 있도록 지원하고 있다. 금융 서비스, 보험, 미디어, 제조, 정부 분야의 세계 최대 브랜드들이 데이터를 사용해 현재는 물론 미래에도 불가능할 것 같았던 문제 해결을 위해 Cloudera의 문을 두드리고 있다.