Cloudera AI Inference는 엔터프라이즈 제어 환경 내에서 안전한 개발과 구축을 지원해 민감한 데이터가 사설이 아닌 공급업체가 호스팅하는 AI 모델 서비스로 유출되지 않도록 보호한다

데이터와 애널리틱스, AI 활용을 위한 진정한 하이브리드 플랫폼인 Cloudera가 엔비디아 AI 엔터프라이즈(NVIDIA AI Enterprise) 플랫폼의 일부인 NVIDIA NIM마이크로서비스 기반의 Cloudera AI Inference 솔루션을 출시했다.

딜로이트가 최근 공개한 자료에 따르면 기업의 GenAI 도입에 가장 큰 장애물은 규정 준수 리스크와 거버넌스 문제로 드러났지만, 올해 3분기 기업의 3분의 2 이상이 GenAI 예산을 늘릴 정도로 GenAI 도입이 급속도로 진행 중이다. 기업들은 장애물로 지적된 우려 요인을 완화하기 위해 온프레미스나 퍼블릭 클라우드에서 AI 모델과 애플리케이션을 비공개로 실행하는 방향으로 전환할 필요가 있다. 이 같은 전환에 있어 복잡한 DIY 접근 방식을 피할 수 있는 안전하고 확장 가능한 솔루션의 필요성이 커진다.

Cloudera AI Inference는 엔터프라이즈 제어 환경 내에서 안전한 개발과 구축을 지원해 민감한 데이터가 사설이 아닌 공급업체가 호스팅하는 AI 모델 서비스로 유출되지 않도록 보호한다. 엔비디아 기술을 기반으로 하는 이 서비스는 고성능의 속도로 신뢰할 수 있는 AI를 위한 데이터를 구축해 생산성과 새로운 비즈니스 성장에 영향을 미치는 AI 기반 챗봇, 가상 비서, 에이전트 애플리케이션을 효율적으로 개발할 수 있도록 지원하고 있다.

Cloudera가 엔비디아의 협력관계를 맺은 후 출시된 Cloudera AI Inference는 업계가 디지털 혁신과 AI 통합의 복잡성을 헤쳐 나가는 중대한 시점에 엔터프라이즈 AI 혁신 주도에 나선 Cloudera의 의지를 더욱 강화하고 있다.

개발자들은 CPU 대비 최대 36배 빠른 성능과 4배 가까운 처리량을 제공하는 NVIDIA Tensor Core GPUs를 사용함으로써 엔터프라이즈급 LLM을 빌드, 커스터마이징 및 구축해 나갈 수 있다. 원활한 사용자 경험은 UI 및 API를 NVIDIA NIM 마이크로서비스 컨테이너와 직접 통합하기에 명령줄 인터페이스(CLI)와 모니터링 시스템은 별도로 필요하지 않다. 아울러 Cloudera의 AI Model Registry와의 서비스 통합은 모델 엔드포인트와 운영 모두에 대한 액세스 제어를 관리함으로써 보안과 거버넌스 모두를 강화하게 된다. 사용자 입장에선 LLM 배포이든 기존 모델이든 모든 모델을 단일 서비스에서 원활하게 관리할 수 있는 통합 플랫폼의 이점을 누릴 수 있는 것이다.

그 밖에도 다음과 같은 주요 기능을 포함한다:

· 고급 AI 기능: 자연어 처리(NLP), 컴퓨터 비전 및 기타 AI 영역의 최첨단 발전을 위해 NVIDIA NIM 마이크로서비스를 활용함으로써 LLama 및 Mistral을 비롯한 오픈 소스 LLM의 최적화 구현이 가능

· 하이브리드 클라우드 및 개인 정보 보호: 보안 및 규정 준수를 강화하기 위해 VPC 배포를 통해 온프레미스 (조직의 자체 서버 사용) 또는 클라우드에서의 워크로드 실행

· 확장성 및 모니터링: 자동 확장, 고가용성(HA), 실시간 성능 추적 기능을 통해 문제를 감지 및 수정하고 효율적인 리소스 관리를 제공

· 오픈 API 및 CI/CD 통합: 모델 배포, 관리 및 모니터링을 위한 표준 준수 API에 액세스해 CI/CD 파이프라인 및 MLOps 워크플로우와 원활하게 통합

· 엔터프라이즈 보안: 서비스 계정, 액세스 제어, 계보 및 감사 기능으로 모델 액세스의 강화

· 위험 관리형 배포: 모델 업데이트를 제어하기 위해 A/B 테스트 및 카나리아 롤아웃 수행

Sanjeev Mohan 애널리스트는 “기업이 GenAI 투자에 나서길 희망하고 있지만 확장 가능한 데이터뿐 아니라 안전하고 규정을 준수하며 잘 관리되는 데이터가 필요한 상황”이라고 밝혔다. 또한 그는 “개인이 대규모로 AI를 생산하면 DIY 접근 방식으로는 해결하기 어려운 복잡성이 발생한다. Cloudera AI 추론은 고급 데이터 관리와 엔비디아의 AI 전문성을 통합함으로써, 이 같은 격차를 해소하고 데이터의 안전한 보호는 물론 데이터 잠재력의 최대한 활용을 가능하게 만든다. 서비스 계정, 액세스 제어 및 감사와 같은 엔터프라이즈급 보안 기능을 통해 조직은 데이터를 확실하게 보호하고 온프레미스 또는 클라우드에서 워크로드를 실행함으로써 유연성과 거버넌스를 통해 보다 효율적인 AI 모델의 구축이 가능해지는 것”이라고 설명했다.

Cloudera의 제품부문 최고책임자(CPO)인 Dipto Chakravarty는 “엔비디아와 협력해 Cloudera AI Inference를 출시하게 돼 기대감이 크다. 이 솔루션은 거의 모든 모델과 사용 사례를 지원하는 단일 AI/ML 플랫폼을 제공하고 있다”며 “이제 기업들은 우리 소프트웨어로 강력한 AI 앱 개발하는 한편 Cloudera에서도 이 같은 고성능 AI 앱의 실행이 가능하다”고 말했다. 그는 “첨단 기능을 통해 보다 스마트한 의사결정 지원이 가능한 엔비디아 AI의 통합을 이룸으로써 Cloudera는 신뢰할 수 있는 데이터로 신뢰할 수 있는 AI 앱을 대규모로 구축해 고객을 대신해 혁신을 이루어 가고 있는 것”이라고 강조했다.

엔비디아의 AI 소프트웨어, 모델 및 서비스 담당 부사장인 Kari Briski는 “오늘날 기업들은 사업 측면의 성과를 도출하기 위해 생성형 AI를 기존 데이터 인프라와 원활하게 통합해야 할 필요성이 있다”고 밝혔다. 그는 이어 “엔비디아 NIM 마이크로서비스를 Cloudera AI Inference 플랫폼에 통합함으로써 개발자들이 신뢰할 수 있는 생성형 AI 애플리케이션을 손쉽게 개발하는 한편 자생적인 AI 데이터 플라이휠을 육성할 수 있도록 지원하고 있다”고 설명했다.

언급된 신규 기능들은 10월 10일 열리는 Cloudera의 프리미어 AI 및 데이터 컨퍼런스인 Cloudera EVOLVE NY 무대를 통해 공개할 예정이다. GenAI를 통해 엔터프라이즈 데이터를 파일럿 단계에서 프로덕션 단계로 끌어올리는 Cloudera의 최신 업데이트에 대해 자세히 알아보려면 여기 (https://www.globenewswire.com/Tracker?data=nTQDA05-O0eTlmb4zfJOJ7UeReUq9fHACtMbm7leJeaXeTsRcM8_VnAIn6GSE_sKcKJnFBzZ6ZZzjROICeAz2IK3R4i0qE9PJJccSLSCv7dsloJqT2l3lbz_E7Fu107lUqwb_pH3cBmb_HQWqzG8lD7l2uqL71K0QdEL7dPSn4c=)를 클릭하면 된다.

자세한 내용은 회사 홈페이지(http://www.cloudera.com)를 방문하거나 LinkedIn 및 X 계정을 팔로우해 확인할 수 있다. Cloudera 및 관련 마크는 Cloudera의 상표 또는 등록상표이다. 기타 모든 회사 및 제품명은 해당 소유자의 상표에 해당할 수 있다.

Cloudera 소개

Cloudera는 데이터, 애널리틱스, AI 활용을 위한 진정 유일한 하이브리드 플랫폼이다. 여타 클라우드 전용 공급업체와 비교해 100배 더 많은 데이터를 관리하는 Cloudera는 글로벌 기업들이 퍼블릭 또는 프라이빗 클라우드에 있는 모든 유형의 데이터를 가치 있고 신뢰할 수 있는 인사이트로 변환할 수 있도록 지원하고 있다. Cloudera의 개방형 데이터 레이크하우스는 확장 가능하고 안전한 데이터 관리와 휴대용 클라우드 네이티브 분석 서비스를 제공함으로써 고객이 개인 정보를 보호하고 책임감 있고 안정적인 AI 구축을 보장하면서 데이터에 GenAI 모델을 도입할 수 있도록 지원하고 있다. 금융 서비스, 보험, 미디어, 제조, 정부 분야의 세계 최대 브랜드들이 데이터를 사용해 현재는 물론 미래에도 불가능할 것 같았던 문제 해결을 위해 Cloudera의 문을 두드리고 있다.