배런스는 AI 전쟁 초기에 승리한 엔비디아, 새롭고 잠재력있는 경쟁자 증가로 엔비디아 독주가 끝날 수 있다는 주장을 했습니다. AI 시장 흐름을 읽기에 좋은 글이라 번역 공유해 봅니다.

Nvidia Won AI’s First Round. Now the Competition Is Heating Up.

인공지능은 지난 18개월 동안 매일매일 경이로움을 선사했습니다. 투자자들에게 가장 놀라웠던 것은 엔비디아의 부상입니다.

엔비디아는 이 시장에서 약진으로 인공지능 관련 칩 시장을 완전히 장악하게 된 것입니다.

한때 게이머를 위한 PC 애드온 그래픽 카드를 만드는 것으로 유명했던 엔비디아는 그래픽 처리 장치(GPU)를 AI 혁명의 핵심으로 바꾸어 대규모 언어 모델을 생성하고 전 세계 데이터 센터에서 이를 활용하는 추론 소프트웨어를 실행하는 데 힘을 보태고 있습니다.

엔비디아는 이 분야에서 90% 이상의 시장 점유율을 기록하며 거의 독주해 왔습니다.

AI 시장에서 경쟁자의 등장 & 경쟁을 원하는 시장

하지만 크고 작은 기업에서 새로운 경쟁자가 등장하고 있으며, 치열한 경쟁이 벌어질 것입니다. 이보다 더 큰 판돈은 없을 것입니다:

• AMD CEO인 Lisa Su는 2027년까지 AI 칩 시장의 규모를 4,000억 달러로 예상했습니다.
• 인텔 CEO인 팻 겔싱어는 2030년까지 1조 달러의 기회가 있을 것으로 예상했습니다. 이는 2023년 전체 칩 산업 규모의 거의 두 배에 달하는 규모입니다.

엔비디아는 충분히 공급하지 못하고 있으며, 시장은 새로운 대안을 찾고 있다.

엔비디아의 젠슨 황은 보편적인 존경과 찬사를 받는 회사를 만들었지만, 칩 구매자들은 단일 공급업체에 의존하는 것을 좋아하지 않습니다.

델 테크놀로지스, 휴렛팩커드 엔터프라이즈, 레노버, 슈퍼마이크로컴퓨터 와 같은 하드웨어 업체는 고객 수요를 충족할 만큼 충분한 엔비디아 칩을 확보하지 못하고 있으며 대안을 원하고 있습니다.

Amazon.com과 같은 클라우드 제공업체 및 Alphabet의 구글은 자체 칩을 설계할 정도로 더 많은 옵션을 원하고 있습니다.

그리고 AI 기반 시스템에 의존하는 기업들은 지금보다 더 관리하기 쉬운 비용으로 더 많은 컴퓨팅 리소스를 원합니다.

엔비디아 외 기업에게 다가온 새로운 기회

엔비디아의 성공은 이제 다른 모든 이들에게도 기회가 되고 있습니다.

2022년 3월에 출시된 엔비디아 H100 GPU만큼 금융 시장에 빠르게 영향을 미친 제품은 찾아보기 어렵습니다.

H100 출시 이후 엔비디아의 주가는 3배 이상 상승하여 시장 가치가 2조 1,000억 달러로 상승했습니다. 미국 상장 기업 중 엔비디아보다 시가총액이 더 높은 기업은 Microsoft와 Apple뿐입니다. 그리고 다른 어떤 칩 회사도 이에 근접하지 못합니다.

게임스톱이나 트럼프 미디어 & 테크놀로지가 아닙니다. 사실 엔비디아는 반(反)밈 주식입니다: 이 회사의 매출 성장률은 실제로 주가 상승률을 앞질렀습니다. 1월 28일에 마감된 회계연도 4분기에 엔비디아는 전년 동기 대비 265% 증가한 221억 달러의 매출을 기록했습니다. 이 회사의 데이터센터 매출은 409% 증가했습니다.

몇 주 전, 엔비디아는 H100보다 성능이 월등히 뛰어난 최신 제품인 Blackwell B200 GPU를 출시했습니다. 블랙웰을 통해 엔비디아는 경쟁사의 기준을 높였습니다. 당분간 엔비디아는 블랙웰을 최대한 많이 판매할 것이며, 더 정확히 말하면 파트너사인 대만 반도체 제조사가 생산할 수 있는 만큼 판매할 것입니다.

황은 블랙웰 GPU의 가격이 개당 3만 달러에서 4만 달러가 될 것이라고 말했습니다.

현재 H100은 같은 범위에서 판매되고 있습니다. ( H100은 3.6만달러 판매되었으나 최근 4.56만 달러로 상승, Chat-GPT 등장이후 27% 가격 급등)

엔비디아보다 잘할 수 있는 회사드이 많다.

하지만 칩 가격이 전부는 아닙니다. AI 고객은 가능한 한 적은 전력을 소모하면서 가장 낮은 비용으로 가장 짧은 시간에 가장 높은 정확도와 안정성으로 워크로드를 실행하기를 원합니다.

엔비디아만큼, 아니 엔비디아보다 더 잘 할 수 있다고 생각하는 회사들이 많이 있습니다.

엔비디아의 라이벌은 대형 칩 제조업체, 클라우드 컴퓨팅 공급업체, 벤처 지원 스타트업의 세 그룹으로 나뉩니다.

1조 달러 규모의 시장이 걸려 있는 만큼 승자 독식 구조는 아닙니다. 게임이 끝난 것이 아닙니다. 게임 시작입니다.

명확한 제1 경쟁자, AMD와 인텔

엔비디아의 가장 확실한 도전자는 Advanced Micro Devices와 Intel입니다.

AMD의 주가는 지난 12개월 동안 71% 상승했는데, 이는 새로운 MI300 GPU가 시장에서 엔비디아의 아성을 무너뜨릴 것이라는 시장의 인식에 힘입은 결과입니다. 이러한 희망은 AMD가 PC와 서버 분야에서 인텔로부터 시장 점유율을 빼앗은 데서 비롯된 것입니다.

AMD의 데이터센터 GPU 사업 총괄 매니저인 앤드류 디크만은 AMD가 유일한 경쟁자라고 주장합니다.

“이 분야에서는 AMD가 사실상 유일한 기업입니다.”
“업계에서 대규모로 채택되는 유일한 솔루션입니다.”

그는 AMD 칩이 많은 추론 워크로드에서 엔비디아의 H100보다 성능이 뛰어나며, 모델 트레이닝에서도 동등한 성능을 제공한다고 말합니다.

하지만 AMD의 또 다른 자산은 엔비디아가 아니라는 점입니다.

“대규모 사용자의 경우, 한 공급업체에 전체 프랜차이즈를 걸지는 않을 것입니다.”
“시장의 대안에 대한 열망이 매우 높습니다.”

AMD의 CEO Lisa Su는 최근 실적 발표에서 2024년 GPU 매출이 전 분기 20억 달러에서 35억 달러로 증가할 것으로 예상한다고 말했습니다.

인텔은 뒤에서 추격하고 있으며 주가는 수년 동안 어려움을 겪었지만 이번 달에 훈련 및 추론을 위한 3세대 AI 가속기 칩인 가우디 3를 출시하면서 눈을 떴습니다.

인텔은 가우디 3가 두 가지 AI 작업 모두에서 엔비디아의 H100보다 빠르면서도 전력 소비는 적으며, 가우디 3가 블랙웰과 경쟁할 수 있을 것이라고 주장합니다.

현재 애리조나와 오하이오에 칩 팹을 건설하기 위해 수십억 달러를 투자하고 있는 인텔은 공급 부족이 심각한 시장에서 자체 공급원을 확보함으로써 장기적으로 이점을 누릴 수 있을 것입니다.

하지만 아직은 아닙니다: 가우디 3는 엔비디아 및 AMD의 AI 칩과 마찬가지로 TSMC에서 생산될 예정입니다.

인텔의 네트워크 및 엣지 그룹 부사장 제니 바로비안은 “이 혁명의 토대를 마련한” 엔비디아의 공로를 인정하면서도, 인텔은 뒤처질 생각이 없다고 말합니다.

고객들은 대안을 원한다고 그녀는 말합니다. “오늘날 고객들은 선택의 여지가 없다고 느낍니다.”

AI가 클라우드에서 온 디바이스로 이동하면서 퀄컴이 주목을 받을 수 있다.

그리고 반도체 분야의 또 다른 장기적인 리더인 Qualcomm도 있습니다.

이 휴대폰 칩 회사는 원래 스마트폰용으로 설계된 기술을 클라우드 AI 100이라고 부르는 AI 추론 칩에 적용해 클라우드에 적용했습니다. 퀄컴은 궁극적으로 노트북과 휴대폰에서 네트워크의 엣지에 서비스를 제공할 수 있는 기회에 더 관심이 있는 것으로 보입니다.

퀄컴의 수석 부사장인 지아드 아스가르는 시간이 지남에 따라 더 많은 추론 워크로드가 “엣지 디바이스”에서 처리될 것이라고 생각합니다.

클라우드에 의존하지 않는 것이 더 저렴하고 데이터 안전성이 높다는 이론입니다. “추론의 무게 중심이 클라우드에서 엣지로 이동하고 있습니다.”라고 Asghar는 말합니다.

클라우드 대기업, Amazon, Alphabet, Meta 플랫폼, 그리고 Microsoft

눈에 잘 띄지는 않지만 AI 칩 경쟁에 대해 진지하게 고민하고 있는 클라우드 컴퓨팅 대기업 4곳의 내부 팀 – Amazon, Alphabet, Meta 플랫폼, 그리고 Microsoft입니다.

이 네 기업은 모두 자체적인 내부 요구와 클라우드 고객 서비스를 위해 독점 칩을 설계하고 있습니다. 클라우드 리더 중 누구도 타사에 칩을 판매하지 않기 때문에 경쟁 구도는 직접적이지 않습니다.

그럼에도 불구하고 이들은 여전히 엔비디아에 위협이 되고 있습니다. 메타, 마이크로소프트, 아마존, 구글은 함께 AI 인프라에 막대한 비용을 투자하고 있습니다.

이들 4개 기업의 2024 회계연도 자본 지출 총액은 전년 대비 26% 이상 증가한 1,780억 달러에 달할 것으로 예상됩니다.

FactSet이 추적한 추산에 따르면 올해 Microsoft의 자본 지출만 53% 증가할 것으로 예상됩니다. 알파벳은 31%, 메타는 26%의 지출이 증가할 것입니다.

네 회사 모두 지출을 더 잘 통제하기 위해 부분적으로 칩을 개발하고 있으며, 하드웨어 설계에 대한 Apple의 접근 방식과 달리 소프트웨어, 하드웨어 및 칩 설계를 포함한 ‘스택’을 더 많이 제어함으로써 목표를 달성할 수 있다고 말합니다.

엔비디아는 실적 발표 전 조용한 시기라는 점을 들어 이 기사에 대한 논평을 거부했습니다. 하지만 황은 최근의 경쟁 문제에 대해 언급했습니다.

3월 스탠포드 경제정책연구소에서 열린 행사에서 황은 “우리는 지구상 그 누구보다 많은 경쟁을 하고 있다”고 말했습니다. “경쟁업체와의 경쟁뿐 아니라 고객과의 경쟁도 치열합니다.”

그의 견해에 따르면 엔비디아 시스템에 내장된 높은 수준의 통합과 효율성은 경쟁업체들이 따라잡기 어렵게 만듭니다. 황은 회사의 총 운영 비용이 너무 좋아서 “경쟁사의 칩이 공짜라고 해도 충분히 저렴하지 않다”고 말했습니다.

그렇다고 해서 빅테크의 시도가 멈추지 않았고, 수많은 벤처 지원 스타트업이 빅테크에 합류하고 있습니다. 이러한 스타트업 중 일부는 서버 및 클라우드 제공업체에 칩과 시스템을 판매하기를 희망하고 있지만, 대부분은 고객에게 직접 클라우드 기반 서비스를 제공하여 시장을 혼란에 빠뜨리려고 노력하고 있습니다.

칩 선택

엔비디아 칩 시장을 대체하려는 스타트업

지금까지는 엔비디아가 AI 칩 시장을 지배해 왔지만, 경쟁업체가 점점 늘어나고 있습니다. 몇 가지 경쟁자를 살펴보겠습니다.

가장 큰 칩인 웨이퍼 스케일 엔진 3(WSE-3)을 공개한 Cerebras

3월에 Cerebras는 지금까지 가장 큰 칩인 웨이퍼 스케일 엔진 3(WSE-3)을 공개했습니다. 72제곱인치로 지금까지 만들어진 상용 칩 중 가장 큰 크기입니다.

반면 H100은 약 1제곱인치에 불과합니다. 많은 칩을 네트워크로 연결해야 하는 엔지니어링 과제 대신, Cerebras는 단순히 거대한 반도체에 모든 전력을 집약하고 있습니다.

Cerebras의 칩에는 H100 컴퓨팅 성능의 50배에 달하는 4조 개의 트랜지스터가 탑재되어 있습니다.

Cerebras는 이 칩을 CS-3라는 컴퓨팅 플랫폼에 번들로 제공하고 있으며, 이 플랫폼은 메타의 라마와 같은 대규모 언어 모델을 하루 만에 훈련할 수 있는 반면, 엔비디아 기반 플랫폼의 경우 한 달이 걸린다고 말합니다.

Cerebras는 칩을 직접 판매하지 않습니다. 전체 하드웨어 시스템을 판매할 의향이 있지만, 스타트업의 수익 대부분은 클라우드 공급업체와 같은 방식으로 시스템에 대한 액세스 권한을 판매하는 데서 발생합니다. 고객 중에는 메이요 클리닉, GSK, 로렌스 리버모어 국립 연구소 등이 있습니다.

Cerebras의 CEO인 Andrew Feldman은 2023년에 전년 대비 8배 많은 시스템을 구축했으며 2024년에는 총 10배 증가할 것으로 예상한다고 말합니다.

Cerebras의 2023년 매출은 7,900만 달러였으며, 현금 흐름 손익분기점에 도달했습니다. 이 회사는 7억 1,500만 달러의 벤처 캐피탈을 유치했으며, 가장 최근 라운드인 2021년에 40억 달러의 가치를 평가받았습니다.

“슈퍼컴퓨터 오버헤드 없이도 대기업에 슈퍼컴퓨터 성능을 제공할 수 있는 기회가 있습니다.”라고 Feldman은 말합니다.

그 비결은 바로 접시 크기의 칩에 있다고 그는 말합니다. “칩이 크다는 것은 작업을 분할할 필요가 없다는 뜻입니다.”

구글 출신이 설립한 AI 칩 스타트업 Groq

Google의 AI 칩 개발에 중요한 역할을 담당했던 조나단 로스는 현재 Groq이라는 AI 칩 스타트업을 운영하고 있습니다(엘론 머스크의 Grok AI 모델과 혼동하지 마세요).

(이 모든 그로킹은 로버트 하인라인이 1961년 소설 ‘낯선 땅의 이방인’에서 만든 단어에서 유래한 것으로, 가능한 한 가장 깊은 방식으로 무언가를 완전히 이해한다는 뜻입니다.)

하드웨어 및 클라우드 회사에 칩을 판매하는 것이 아니라 소비량에 따라 컴퓨팅 시간을 판매하는 것이 Cerebras와 마찬가지로 Groq의 전략입니다.

Ross는 Groq이 Meta의 Llama 2-70b와 같은 인기 모델을 엔비디아 기반 시스템보다 10배 빠른 속도로 실행할 수 있다고 말합니다. (회사 웹사이트에서 무료로 체험해 볼 수 있습니다.)

몇 주 전 엔비디아의 Huang이 Blackwell을 공개한 후, Groq은 “여전히 더 빠릅니다.”라는 보도자료를 배포했습니다. 이 회사는 현재까지 3억 6,700만 달러의 자금을 유치했다고 발표했으며, 아직 발표되지 않은 추가 자본을 조달했다고 로스 CEO는 말합니다.

AI 칩 스타트업인 d-Matrix

AI 칩 스타트업인 d-Matrix는 데이터 센터의 AI 추론 애플리케이션에 초점을 맞추고 있으며, 모델 구축은 엔비디아 등에 맡기고 있습니다.

2019년에 설립된 d-Matrix는 ‘인메모리 컴퓨팅’이라는 설계를 사용하는데, CEO Sid Sheth는 이 설계가 30~40년 전부터 사용되어 온 아이디어로 계산 속도를 높이기 위한 접근 방식이지만 AI가 등장하기 전까지 제대로 활용되지 못했다고 말합니다.

1억 6천만 달러 투자금을 유치한 D-Matrix는 내년에 칩 판매를 시작할 예정입니다.

시스템 기반 접근 방식의 삼바노바

벤처 투자자로부터 11억 달러를 유치한 삼바노바는 시스템 기반 접근 방식을 통해 AI 시장에 서비스를 제공하는 또 다른 회사입니다. 삼바노바는 칩 외에도 구글과 메타의 모델을 포함해 총 54개의 오픈 소스 AI 모델을 보유하고 있습니다.

삼바노바의 사례에서 놀라운 점은 많은 고객이 데이터센터에 물리적 시스템을 설치하고 있다는 점입니다.

“기업 데이터의 대부분은 여전히 온프레미스에 있습니다.”라고 CEO Rodrigo Liang은 말합니다. 그는 샌디아, 로렌스 리버모어, 로스 알라모스의 국립 연구소를 비롯해 은행, 의료, 정부 등의 분야에서 고객이 찾아온다고 말합니다.

penAI의 CEO인 샘 알트먼이 시드 자금을 투자한 Rain AI

이 밖에도 수많은 AI 칩 스타트업이 있습니다. OpenAI의 CEO인 샘 알트먼이 시드 자금을 지원한 Rain AI는 특히 에너지 효율성과 엣지 디바이스에서 대규모 언어 모델을 실행하는 데 중점을 두고 있습니다.

양자 컴퓨팅을 응용한 Lightmatter

Lightmatter는 원래 양자 컴퓨팅 애플리케이션을 위해 개발된 빛 기반 기술인 포토닉스를 사용하여 AI 데이터 센터의 네트워킹 속도를 개선하고 있습니다.

확실히 이 스타트업들은 큰 아이디어를 가지고 있지만 아직은 소규모로 운영되고 있습니다. 엔비디아에 맞설 준비가 되기까지는 몇 년이 걸릴 수도 있습니다. 하지만 이들의 발전을 가속화할 수 있는 잠재적으로 큰 자금이 준비되어 있습니다.

소프트뱅크 1,000억 달러 투자 준비

블룸버그는 소프트뱅크 그룹이 새로운 AI 칩 회사에 자금을 지원하기 위해 1,000억 달러 규모의 투자를 고려하고 있다고 보도했습니다. (소프트뱅크는 삼바노바의 투자자이자 고객이기도 합니다.)

한편, 월스트리트저널에 따르면 OpenAI의 알트먼은 수십 개의 새로운 칩 팹을 건설하기 위해 최대 7조 달러를 투자할 계획이며, 이는 믿을 수 없을 정도로 큰 규모라고 합니다. 소프트뱅크와 OpenAI는 이 보도에 대해 언급하지 않았습니다.

결론 : 새롭고 잠재력 있는 경쟁자들이 등장하면서 엔비디아 지배가 끌날 수 있다.

새롭고 잠재적인 경쟁자가 등장한다고 해서 AI 칩 챔피언인 엔비디아의 통치가 끝날 것 같지는 않습니다. 하지만 1조 달러 규모의 시장에 대한 엔비디아의 막힘없는 지배가 끝날 날이 머지 않았음을 의미합니다.

지금부터 시작입니다.