서론: 엔비디아의 아성에 도전하는 새로운 바람, 구글 TPU
“엔비디아 GPU 없이는 AI를 논할 수 없다”는 말이 나올 정도로 시장은 뜨겁습니다. 하지만 치솟는 가격과 공급 부족에 거대 빅테크 기업들이 다른 대안을 찾기 시작했다면 어떨까요? 최근 메타(Meta)와 아마존 웹 서비스(AWS)가 구글의 TPU(Tensor Processing Unit) 도입을 검토하고 있다는 소식은 바로 이 거대한 흐름의 변화를 예고하는 신호탄일 수 있습니다. 엔비디아의 견고한 ‘쿠다(CUDA) 생태계’에도 불구하고, 이들이 TPU라는 새로운 선택지를 고려하는 이유는 무엇일까요?
넘기 힘든 벽, ‘쿠다(CUDA) 해자’의 실체
많은 개발자들이 엔비디아 생태계를 떠나지 못하는 이유는 ‘쿠다(CUDA)’라는 강력한 소프트웨어 장벽 때문입니다. 쿠다는 단순히 하드웨어를 돌리는 언어가 아니라, 수많은 라이브러리와 최적화된 기능들이 집약된 거대한 생태계입니다. 코드를 몇 줄 바꾼다고 해서 쿠다 기반의 프로그램을 TPU에서 바로 돌릴 수 있는 것이 아닙니다. 예를 들어, GPU 하드웨어에 맞춰 특별히 최적화된 쿠다의 특정 기능은 TPU에 존재하지 않을 수 있습니다. 이 경우, 개발자들은 TPU에 맞게 코드를 새로 짜거나 변환하는 추가적인 시간과 비용을 투입해야 합니다. 이것이 바로 기업들이 다른 칩 사용을 주저하게 만드는 ‘쿠다 해자(Moat)’의 실체입니다.
빅테크의 비밀 무기: 하드웨어 추상화
그렇다면 메타와 AWS는 어떻게 이 높은 쿠다의 벽을 넘을 수 있을까요? 비결은 ‘하드웨어 추상화(Hardware Abstraction)’에 있습니다. 이들은 이미 자체 AI 칩(메타의 MTIA, AWS의 트레이니움/인퍼런시아)을 개발하고 운영해 본 경험이 풍부합니다. 이는 마치 게임 개발자가 언리얼이나 유니티 같은 ‘게임 엔진’을 사용해 게임을 만들면, PC, 플레이스테이션, XBOX 등 다양한 플랫폼으로 쉽게 출시할 수 있는 것과 같은 원리입니다. 메타에게는 ‘파이토치(PyTorch)’가, AWS에게는 ‘세이지메이커’와 같은 자체 클라우드 플랫폼이 바로 그 ‘엔진’ 역할을 합니다. 이들은 이 엔진 위에서 AI 모델을 개발하고, 최종적으로 어떤 하드웨어에서 실행할지 선택만 하면 되는 유연한 구조를 만들어 놓은 것입니다.
파이토치, 모든 칩을 지배하는 열쇠
특히 메타의 행보는 주목할 만합니다. 메타는 현재 가장 널리 쓰이는 AI 프레임워크인 ‘파이토치’의 개발을 주도하고 있습니다. 이는 자신들이 만든 ‘게임 엔진’의 구조를 마음껏 바꿀 수 있다는 의미입니다. 메타는 파이토치 내에 여러 종류의 칩을 지원하는 구조를 만들어, 쿠다를 여러 하드웨어 선택지 중 하나로 취급합니다. 파이토치 2.0 이후 도입된 컴파일러 기능은 AI 모델을 분석해 각 하드웨어에 맞게 최적화된 코드를 생성해주는 역할까지 합니다. 즉, TPU에서 모델을 돌리기 위해 필요한 번역(XLA를 통한) 과정의 성능을 개선하고 주도할 힘이 메타에게 있다는 뜻입니다.
결론: 선택지가 다양해지는 AI 하드웨어 시장
메타와 AWS의 TPU 도입 검토는 ‘쿠다를 버린다’는 극단적인 의미가 아닙니다. 이는 특정 기업에 대한 종속에서 벗어나, 비용과 공급망 측면에서 가장 효율적인 하드웨어를 ‘선택할 수 있는 능력’을 갖추겠다는 전략적 움직임입니다. 엔비디아의 독주 체제에 익숙했던 시장에 구글 TPU라는 강력한 대안이 등장하고, 빅테크들이 이를 적극적으로 활용할 수 있는 기반을 마련했다는 점은 AI 산업의 지형이 바뀌고 있음을 보여줍니다. 쿠다의 해자는 여전히 높지만, 그 성벽에 여러 개의 ‘문’을 만들어내는 기업들의 노력은 앞으로 AI 하드웨어 시장을 더욱 흥미롭게 만들 것입니다.
