메타와 손잡은 스노우플레이크…라마 3.1 지원

'코텍스 AI' 서비스에 라마 3.1 최적화

[뉴스토마토 오세은 기자] 글로벌 AI(인공지능) 데이터 클라우드 기업 스노우플레이크가 AI 기반 관리형 서비스 ‘스노우플레이크 코텍스 AI’에서 메타의 오픈 소스 거대언어모델(LLM) ‘라마 3.1’을 지원한다고 9일 밝혔습니다.

 

이날 서울 강남에서 열린 기자간담회에서 최기영 스노우플레이크 한국 지사장은 이 같은 내용을 밝히고 “삼성전자(005930)뿐만 아니라 SK, 현대 등 국내 주요 대기업들이 스노우플레이크를 사용하고 있다”며 “라마 3.1 등 거대언어모델(LLM)에서 자사 모델 사용이 가능하도록 엔터프라이즈 고객들에게 AI 서비스를 제공하고 있다”고 밝혔습니다.

 

이번 서비스를 통해 스노우플레이크는 메타에서 가장 큰 규모인 라마 3.1 405B를 제공하게 됩니다. 405B는 매개변수(파라미터)가 4050억개에 달한다는 의미입니다. 스노우플레이크는 실시간의 고처리량 추론을 구현함은 물론 강력한 자연어 처리와 생성 애플리케이션의 보편화를 증진하는 추론 시스템 스택을 개발하고 오픈 소싱하게 됩니다.

 

스노우플레이크의 AI 리서치팀은 추론과 미세조정(파인튜닝)에 대해 라마 3.1 405B를 최적화해 서비스합니다. 또 기존 오픈 소스 솔루션에 비해 엔드투엔드(end-to-end) 지연시간은 최대 3분의1로 낮아지고 처리량은 1.4배 높아진 실시간 추론을 구현합니다.

 

이번 양사의 협력을 통해 스노우플레이크 고객은 AI 데이터 클라우드에서 메타의 최신 모델에 원활하게 접근해 미세조정 작업을 한 후 배포할 수 있게 됩니다.

 

비벡 라구나단 스노우플레이크 AI 엔지니어링 부사장은 “스노우플레이크의 AI 리서치팀은 기업과 오픈 소스 커뮤니티가 라마 3.1 405B 등의 최첨단 오픈 모델을 적극 활용해 효율 극대화를 위한 추론 및 파인튜닝을 가능하게 한다”며 “메타의 첨단 모델을 스노우플레이크 코텍스 AI를 통해 고객에게 직접 제공하고, 기업과 AI 커뮤니티의 역량을 강화하고 있다”고 말했습니다.

 

한편, 글로벌 데이터 플랫폼 기업 미국 스노우플레이크는 오라클과 IBM 등에서 근무한 개발자들이 2012년 미국 산마테오에서 설립한 회사로, 시가총액은 544억달러(약 74조원)에 달합니다. 클라우드 환경에서 데이터를 수집하고 쉽게 분석할 수 있는 서비스형 소프트웨어(SaaS) 등을 서비스합니다. 이 회사는 10일 서울 코엑스 컨벤션센터에서 기업용 LLM 등 업그레이드된 AI 기술 내용을 공개하는 ‘스노우플레이크 월드 투어 서울’을 개최합니다.

 

최기영 스노우플레이크 한국 지사장 9일 열린 '스노우플레이크 월드투어 서울' 기자간담회에서 발표를 하고 있다. (사진=스노우플레이크)

  

오세은 기자 [e-mail]

 

이 기사는 뉴스토마토 보도준칙 및 윤리강령에 따라 김나볏 테크지식산업부장이 최종 확인·수정했습니다.