💡 AI가 저장을 시작했다… GPU·HBM 너머에서 커지는 AI 메모리
AI 모델은 결국 거대한 숫자 파일입니다. 수십억에서 수천억 개에 달하는 파라미터와 학습으로 결정된 가중치가 입력을 처리하는 방식을 정하고, GPU가 이 숫자들로 계산을 하죠. 그런데 모델 전체를 HBM에 계속 올려 둘 수는 없어요. HBM은 GPU 옆에서 당장 필요한 데이터를 빠르게 공급하는 데 특화된 만큼 용량 대비 가격이 높고, 전원을 끄면 데이터도 사라집니다. 그래서 모델 파일은 SSD 같은 낸드 스토리지에 저장해 두고, 실제 연산에 필요한 가중치만 빠른 메모리로 가져오는 구조예요. 특히 최근 유행하는 MoE(전문가 혼합) 모델은 일부 전문가만 실행한다고 해서 일부만 저장해도 되는 게 아니라 전체 가중치를 어딘가에 보관해야 하죠. AI의 지능도 계산되기 전에는 결국 저장되어야 하는 데이터인 셈입니다. ✨
📈 기업용 SSD 수요 폭증… 2026년 1분기 시장이 보여준 것
AI가 커지면서 저장해야 할 데이터 양도 함께 늘고 있습니다. 실제로 2026년 1분기 상위 5개 기업용 SSD 업체 매출은 184억 6,000만 달러를 넘으며 전 분기 대비 무려 86.1% 증가했어요. AI 에이전트 서비스 확대와 클라우드 사업자들의 강한 조달 수요가 주요 배경으로 꼽힙니다. 판매 대수만 중요한 건 아닙니다. 마이크론은 245TB짜리 데이터센터 SSD를 내놓으며 AI 데이터 레이크와 클라우드, 대규모 파일 스토리지 용도를 제시했죠. 8TB SSD 100만 개와 30TB SSD 100만 개는 대수로는 같아도 들어가는 낸드 총량은 완전히 다릅니다. 그래서 메모리 시장에서는 비트 출하량을 중요하게 봅니다. 렉 공간과 전력, 냉각이 한정된 데이터센터에서는 한 장치에 더 많은 낸드를 넣어 저장 밀도를 높일 이유도 분명합니다. 💰
⚙️ 더 크고 더 빨라진 AI용 SSD… PCIe 6.0이 연 성능
용량만 커지는 건 아닙니다. AI 서버는 거대한 모델과 데이터를 빠르게 불러와야 하므로 SSD의 데이터 공급 속도도 핵심 성능이 됐습니다. 삼성전자가 양산을 시작한 PCIe 6.0 기반 기업용 SSD PM1763은 16TB 모델 기준 최대 초당 28.4GB의 순차 읽기 성능을 냅니다. 이 속도라면 약 40GB 크기의 LLM(대규모 언어 모델)을 1.4초 만에 전송할 수 있습니다. 물론 실제 AI 서비스 성능이 순차 읽기 속도 하나로 정해지는 건 아니지만, 얼마나 많이 저장하느냐와 함께 얼마나 빨리 모델을 가져오느냐가 AI용 SSD의 평가 기준이 됐다는 걸 보여줍니다. 저장 용량과 속도가 동시에 강조되는 시대가 된 거죠. ⚙️
🔍 저장 장치가 연산 속으로… CMX와 HBF의 새로운 시도
최근 낸드 시장의 변화는 여기서 한 단계 더 나아갑니다. 저장 장치가 AI 연산에 더 가까이 다가서고 있거든요. 대표적인 게 엔비디아의 CMX입니다. LLM은 앞서 계산한 내용을 다음 토큰에서 다시 쓰기 위해 키와 밸류 중간값, 즉 KV 캐시를 저장하는데 대화가 길어지고 사용자가 많아질수록 이 데이터도 커집니다. CMX는 이 컨텍스트를 NVMe SSD 기반 플래시 계층까지 확장해 저장하고 다시 활용하는 구조예요. 비싼 GPU 메모리에만 중간 기억을 붙잡아 두는 대신 메모리 범위를 플래시까지 넓히는 셈이죠. SK하이닉스와 샌디스크가 노리는 HBF(하이 밴드위드 플래시)는 낸드 기반이면서 기존 SSD보다 훨씬 높은 대역폭을 목표로 하고, 삼성전자도 새로운 방향을 제시하며 HBM과 SSD 사이의 새 메모리 계층을 만들려는 시도가 이어집니다. 구현 방식은 달라도 공통점은 분명합니다. 낸드를 먼 창고에 두는 게 아니라 AI가 필요할 때 빠르게 꺼낼 수 있는 위치로 끌어올리는 거예요. 🔍
✨ 모바일 AI도 낸드에 산다… 애플 AFM3와 UFS 5.0
이런 변화를 가장 직관적으로 보여주는 사례는 오히려 데이터센터가 아니라 개인 기기에서 찾을 수 있습니다. 애플이 공개한 차세대 파운데이션 모델 AFM3 가운데 코어 어드밴스드는 전체 200억 파라미터 규모인데, 요청 하나를 처리할 때는 그중 약 10억\~40억 개만 활성화합니다. 그렇다고 일부만 기기에 넣어두면 될까요? 필요한 전문가가 입력마다 달라지기 때문에 전체 가중치를 기기 플래시에 저장해 두고, 프롬프트가 들어오면 필요한 전문가만 메모리로 불러와 실행합니다. 애플은 매 토큰마다 전문가를 갈아끼우는 대신 프롬프트 단위로 전문가 집합을 선택하고, IFP(인스트럭션 팔로잉 프루닝)까지 활용해 낸드 특성에 맞게 모델이 움직이도록 설계했어요. 삼성전자의 UFS 5.0도 순차 읽기 속도를 최대 10.8GB/s까지 끌어올리며 온디바이스 AI에서 모델과 데이터를 빠르게 전달하는 용도를 전면에 내세우고 있습니다. 이제 스마트폰 저장 장치를 이야기할 때도 AI 모델을 얼마나 빨리 메모리로 가져올 수 있느냐가 성능 포인트가 된 셈이죠. ✨
✅ 핵심 요약 Q&A
Q: AI 메모리에서 HBM, DRAM, 낸드의 역할은 어떻게 다른가요? A: GPU가 당장 계산할 데이터는 HBM, 더 넓은 작업 공간은 DRAM, 큰 모델과 데이터를 오래 보관하는 영역은 낸드(SSD)가 맡습니다. 서로를 대체하는 게 아니라 역할을 나눠 가진 메모리 계층이 중요해지고 있어요. Q: AI가 저장 공간을 많이 쓰는 이유는 무엇인가요? A: 모델이 커질수록 가중치가 늘고, 긴 컨텍스트와 KV 캐시, 이미지·영상 등 AI가 다루는 데이터 자체가 무거워지기 때문입니다. Q: 기업용 SSD 시장은 어떤 흐름인가요? A: 2026년 1분기 상위 5개 업체 매출이 184억 6,000만 달러를 넘으며 전 분기 대비 86.1% 증가했고, 245TB급 SSD와 PCIe 6.0 기반 초고속 제품까지 등장했습니다. Q: CMX와 HBF는 무엇인가요? A: AI의 중간 기억(KV 캐시)을 플래시까지 확장하거나, 낸드 기반으로 기존 SSD보다 훨씬 높은 대역폭을 노리는 기술입니다. 저장 장치가 연산에 가까워지는 변화를 보여줍니다. Q: 앞으로 AI 메모리를 볼 때 무엇을 봐야 하나요? A: HBM의 증설과 가격뿐 아니라, 커지는 모델과 데이터를 받쳐주는 낸드와 기업용 SSD의 사이클도 함께 살펴봐야 합니다. AI가 얼마나 빠르게 계산하는지 못지않게, 얼마나 많은 지능과 데이터를 저장해야 하는지도 AI 인프라의 크기를 결정하니까요. ✅
