"지금은 GPU가 왕입니다. 하지만 앞으로는 HBM과 HBF 안에 GPU가 들어가는 시대가 옵니다. GPU와 CPU가 부품으로 전락하는 겁니다."
'HBM (고대역폭 메모리˙High Bandwidth Memory) 의 아버지'로 불리는 김정호 카이스트(KAIST) 전기 및 전자공학부 교수가 AI 반도체 판도의 근본적 역전을 예고했다. 엔비디아 GPU 중심의 현재 패러다임이 메모리 중심(Memory-Centric) 구조로 완전히 뒤집힐 것이라는 전망이다.
본지는 지난 16일 대전 카이스트 테라랩(Terra Lab)에서 김 교수를 단독으로 만났다.
"환각은 메모리 부족 탓… 기억력 1000배 필요"
김 교수는 현재 AI 시장의 패러다임이 '생성형 AI'에서 '에이전틱 AI(Agentic AI)'로 전환하는 과정에서 메모리 병목이 심화되고 있다고 진단했다.
"AI가 시킨 일만 하는 '생성형'에서 알아서 판단하고 최종 리포트까지 쓰는 '에이전틱 AI'로 넘어가고 있습니다. 수많은 서류와 영상 등 방대한 데이터를 한 번에 입력받는 '컨텍스트 엔지니어링'이 일어나는데, 이 엄청난 데이터를 빠르고 정확하게 처리하려면 메모리의 대역폭과 용량이 지금보다 각각 1000배씩은 더 늘어나야 합니다."
그는 AI의 고질적 문제인 '환각 현상(Hallucination)'도 본질적으로 메모리 문제라고 짚었다. "메모리가 부족해 아는 데까지만 대답하려다 보니 환각이 생기는 겁니다. 어떤 질문에도 완벽하게 대답하는 에이전트가 되려면 기억력 천재가 돼야 합니다."
HBM은 '참고서', HBF는 '도서관’
현재 AI 가속기 시장을 지배하는 HBM은 D램을 수직으로 쌓아 속도를 극대화한 메모리다.
하지만 김 교수는 HBM만으로는 에이전틱 AI 시대의 수요를 감당하기 어렵다고 봤다. 차세대 대안으로 그가 지목한 것이 바로 고대역폭플래시 (HBF˙High Bandwidth Flash)다.
"HBM은 빠른 대답을 위해 책상 바로 옆에 쌓아둔 얕은 참고서, 즉 단기기억(Short-term memory)입니다. 반면 HBF는 D램 대신 낸드플래시를 적층해 용량을 획기적으로 늘린 거대한 서가, 즉 장기기억(Long-term memory)입니다. AI가 전 세계 데이터를 뒤져 완벽한 답을 내놓으려면 도서관 같은 HBF 계층 구조가 반드시 필요합니다."
SK하이닉스 '선점' vs 삼성 '만회'… HBM 데자뷔
기업들의 물밑 경쟁은 이미 치열하다. SK하이닉스는 올해 2월 미국 샌디스크(SanDisk)와 손잡고 HBF 표준화 컨소시엄을 출범시키며 생태계 선점에 나섰다. 삼성전자는 HBM4E 등 차세대 HBM에 집중하면서도 HBF 개념에 부합하는 낸드 아키텍처 투자를 병행하고 있다.
김 교수는 이 구도가 2010년대 HBM 초기와 판박이라고 봤다.
"2010년대 HBM 태동기에 SK하이닉스는 적극적으로 투자해 지금 1등이 됐고, 삼성은 '이렇게 비싼 제품을 어디 쓸까' 하다가 투자 속도를 늦춰 그 후폭풍을 겪었습니다. 10년 후 어느 기업이 가장 성장하느냐는 결국 HBM과 HBF가 결정할 것이고, 궁극적으로는 HBF가 승패를 가를 것입니다. 지금 인프라와 R&D 투자를 연속해서 하지 않으면 삼성과 SK하이닉스 모두 위험해질 수 있습니다."
그는 HBF 엔지니어링 샘플이 2027년께 등장하고, 이르면 2028년 구글이나 엔비디아, AMD 중 한 곳이 이를 본격적으로 채용할 것으로 내다봤다.
"GPU는 부품으로 전락… 메모리가 중심 된다"
김 교수가 이날 인터뷰에서 가장 강하게 던진 메시지는 컴퓨팅 패러다임의 근본적 역전이었다. AI 시대의 최후 승자는 GPU가 아닌 메모리가 될 것이라는 전망이다.
"지금은 GPU나 CPU가 컴퓨팅의 중심(Centric)입니다. 하지만 앞으로는 방대한 용량을 갖춘 HBM과 HBF가 중심이 되고, 오히려 그 안에 GPU가 들어가는 '메모리 센트릭 컴퓨팅' 시대가 올 것입니다. GPU와 CPU가 부품으로 전락하는 시점, 그 패러다임을 선도하기 위해선 HBF가 그 근간이 되어야 합니다."
그는 일론 머스크가 최근 패키징과 메모리, 파운드리를 아우르는 대형 팩토리를 짓겠다고 선언한 것도 이 흐름을 간파한 결과라고 해석했다. "머스크가 그 거대한 팩토리를 짓겠다고 한 것도 메모리 중심의 변화를 꿰뚫어 봤기 때문입니다."
엔비디아 GPU 패권이 당연시되는 지금, 김 교수는 10년 뒤 반도체 산업의 중심축이 완전히 이동할 것이라고 단언했다. 판을 주도하느냐, 뒤따르느냐의 갈림길이 바로 지금이라는 것이다.
