삼성 “AI 시대, 비트 아닌 대역폭 판다”

조상연 삼성 미국 총괄, AI 인프라 설계 전환 강조“zHBM, 시장 전망보다 이른 2029년 이후 상용화”

[뉴스토마토 이보라 기자] 삼성전자(005930)가 인공지능(AI) 인프라의 성능과 비용을 좌우하는 핵심 요소로 메모리 대역폭을 꼽았습니다.

 

조상연 삼성전자 DS부문 미주총괄법인(DSA) 총괄 (사진=더 식스파이브 서밋 엑스 계정 캡처)

 

삼성전자 DS부문 미주총괄법인(DSA)의 조상연 총괄(부사장)은 27일(현지시각) 온라인으로 열린 미국 정보기술(IT) 콘퍼런스 ‘더 식스파이브 서밋 2026’에 참석해 ‘AI 한계 재정의: 삼성의 메모리·전력·시스템 설계’를 주제로 진행한 대담에서 이같이 밝혔습니다. 

 

조 총괄은 AI 추론 서비스의 초당 토큰 수가 메모리 대역폭에 의해 결정된다고 설명했습니다. 메모리 대역폭은 메모리와 연산장치 사이에서 데이터가 이동하는 속도로, AI 서비스의 이용자 수와 요청 처리량, 응답 속도와 비용을 좌우합니다.

 

조 총괄은 “삼성은 비트'(bit·데이터의 단위)가 아니라 대역폭을 판매한다”며  “4년 뒤 성공할 애플리케이션은 메모리 양이 가장 많은 애플리케이션이 아니라 메모리 대역폭을 어떻게 활용할지 알아낸 애플리케이션일 것”이라고 전망했습니다.

 

그는 “연산자원과 메모리 용량을 먼저 정한 뒤 패키징과 전력을 고려해온 기존 설계 순서를 바꿔야 한다”고 강조했습니다. 메모리에서 출발해 필요한 대역폭을 정의하고, 이에 맞춰 연산장치와 패키징·전력 구조를 설계하는 ‘메모리 중심 컴퓨팅’을 대안으로 제시했습니다.

 

차세대 제품으로는 AI 가속기 위에 고대역폭메모리(HBM)를 쌓는 ‘zHBM’을 들었습니다. 데이터 이동 거리를 줄여 대역폭을 높이는 구조로, 삼성전자는 현재 1세대 제품의 사양을 정의하고 있다고 그는 설명했습니다. 조 총괄은 “zHBM 기반 제품이 2029년 이후 등장할 것”이라며 “발열 문제는 하이브리드 구리 접합(HCB) 기술 등을 통해 해결할 계획”이라고 밝혔습니다.

 

조 총괄은 공정 미세화만으로 AI가 요구하는 성능과 전력 효율을 확보하는 데 한계가 있다며 첨단 패키징의 중요성도 강조했습니다. 삼성전자는 HBM4의 4나노 베이스다이 설계부터 조립·패키징까지 직접 관리하고 있다고 설명했습니다. 

 

이보라 기자 [e-mail]

이 기사는 뉴스토마토 보도준칙 및 윤리강령에 따라 오승훈 산업1부장이 최종 확인·수정했습니다.