[녹색경제신문 = 문슬예 기자] AI(인공지능) 수요 폭증에 대응하기 위한 반도체 패키징의 진화 방향으로 HBM(고대역폭메모리)과 함께 LPDDR, 낸드 플래시까지 적층하는 구조가 제시됐다.

1일 업계에 따르면 김정호 카이스트 교수는 HBM이 새로운 메모리가 더해진 GPU 패키지와 결합하며 새로운 단계로 진입할 것이라고 내다봤다.

김 교수는 “지금까지 D램을 여러 단으로 적층한 HBM이 AI 연산 병목을 해소하는 핵심 역할을 해왔지만, 앞으로는 GPU 패키지 차원에서 LPDDR과 낸드 플래시까지 함께 쌓는 방식으로 확장될 것”이라고 말했다.

그는 특히 HBM6 세대 전후를 기점으로, 낸드를 적층한 HBF(High Bandwidth Flash)와 LPDDR 적층 메모리 같은 새로운 개념이 본격화할 수 있다고 전망했다. 기존에는 GPU 옆에 D램을 쌓은 HBM만이 존재했지만, 앞으로는 다양한 메모리가 결합해 GPU 주변을 둘러싸는 ‘메모리 타운’ 구조가 형성된다는 것이다.

향후 진화 단계도 제시됐다. HBM4 세대부터는 GPU 옆에 LPDDR이 붙는 ‘새끼 메모리’ 구조가 나타날 것으로 내다봤다. 또한 지금은 CPU 패키지에 붙어 있는 소캠(SOCAMM) 모듈이 GPU로 확장되고, 나중에는 CXL(Compute Express Link) 기반 메모리 네트워크로까지 발전할 가능성이 제기됐다. 

이어 HBM6 전후로는 낸드를 적층한 HBF가 GPU 옆에 붙으며 대용량 수요를 보완하고, 이 과정이 메모리 업체 간 새로운 승부처가 될 것이라고 분석했다.

김 교수는 이러한 변화의 배경으로 AI 발전에 따른 데이터 수요 폭증을 꼽았다. 

생성형 AI를 넘어 에이전트 AI, 피지컬 AI로 발전할수록 처리해야 하는 토큰 수는 수십 배에서 수천 배까지 증가한다. 이 과정에서 단일 HBM만으로는 필요한 용량과 대역폭을 감당하기 어려워지고, GPU 연산을 지원하기 위해 보조 메모리를 결합하는 구조가 불가피해진다는 설명이다.

GPU와 메모리 간 데이터 이동 속도를 결정하는 인터커넥션 확대와 적층 기술의 한계도 패키징 진화 방향의 주요 변수로 지목됐다. 

HBM3에서 1024개 수준이던 I/O는 HBM4에서 최대 4096개까지 늘어나며, 장기적으로는 10만 개 단위까지 확대될 수 있다는 전망이다. 하지만 적층 높이가 24단을 넘어서면 신호 지연과 발열 등 물리적 제약에 직면하기 때문에, 단일 스택이 아닌 여러 스택을 병렬 배치한 ‘아파트 단지형’ 구성이 등장할 수밖에 없다고 그는 설명했다.

김 교수는 “DRAM만으로는 고성능 연산의 용량 한계가 뚜렷하다”며 “대용량 처리가 필요한 영역에서는 낸드를 적층한 HBF가, 전력 효율성을 요구하는 영역에서는 LPDDR 적층 메모리가 결합해 균형을 맞추게 될 것”이라고 말했다.

이어 그는 “HBM은 이미 GPU와 함께 AI 성능을 좌우하는 핵심 부품으로 자리 잡았지만, 앞으로는 GPU를 중심으로 다양한 메모리가 층층이 결합하는 멀티 적층 패키징으로 확장될 것”이라며 “패키징 기술을 누가 선도하느냐에 따라 글로벌 AI 경쟁 구도도 달라질 수 있다”고 덧붙였다.