2026년 3월 16일, 엔비디아의 GTC 컨퍼런스에서 젠슨 황 CEO가 발표한 내용은 단순한 신제품 공개가 아니었다. 차세대 AI 슈퍼컴퓨터 ‘베라 루빈’과 함께 공개된 LPU(언어처리장치), 새로운 CPU ‘베라‘, 그리고 다음 세대 GPU ‘파인만‘의 로드맵.
이 발표를 관통하는 하나의 질문이 있다. “엔비디아는 왜 GPU 하나로 만족하지 않고, CPU와 LPU까지 직접 설계하는 방향으로 나아가는가?”
이 질문에 대한 답 속에, AI 산업의 다음 단계가 보인다.
출처 : 엔비디아, 추론전용칩·새CPU 공개…AI 에이전트 시대 본격 시동
엔비디아, AI 에이전트 시대 구축
엔비디아가 이번에 공개한 하드웨어 구조는 명확한 역할 분담을 보여준다.
GPU
GPU는 대규모 연산과 학습을 담당한다. 방대한 데이터를 처리하고 AI 모델을 훈련시키는 일. 이건 엔비디아가 지난 10년간 해온 일이다.
LPU
LPU는 추론 작업에 특화되어 있다. 학습된 모델이 실제로 사용자의 질문에 답하거나 행동을 결정할 때, 빠르고 효율적으로 처리하는 역할이다. 조 단위 파라미터 모델의 추론 처리량을 35배 향상시켰다는 발표가 이를 뒷받침한다.
베라
새로운 CPU ‘베라‘는 전체 시스템을 조율한다. 기존 x86 대비 에너지 효율 2배, 메모리 대역폭 3배를 제공하며 자체 설계한 ‘올림퍼스’ 코어를 탑재했다. GPU와 LPU가 각자의 일을 잘하도록 지휘하는 역할이다.
이 세 가지가 하나의 시스템으로 통합된다. 엔비디아는 더 이상 GPU만 파는 회사가 아니라, AI가 작동하는 전체 인프라를 설계하는 회사가 되고 있다.
AI 산업의 변화
과거 AI 개발의 핵심은 “얼마나 큰 모델을 학습시킬 수 있는가”였다. 더 많은 데이터, 더 큰 파라미터, 더 강력한 GPU. 이것이 경쟁의 축이었다.
하지만 지금은 다르다. GPT-4, 클로드, 제미나이 같은 거대 모델들은 이미 충분히 똑똑하다. 문제는 “이 모델을 어떻게 효율적으로 서비스할 것인가”로 이동했다.
조 단위 파라미터를 가진 모델을 실시간으로 작동시키려면 막대한 전력과 비용이 든다. 사용자가 질문을 던졌을 때 5초가 걸리는 AI와 0.5초 만에 답하는 AI는 완전히 다른 경험을 제공한다. 여기서 추론 속도와에너지 효율이 새로운 경쟁 요소가 되었다.
또 다른 변화는 AI 에이전트의 등장이다. 단순히 질문에 답하는 챗봇을 넘어, 스스로 판단하고 여러 단계의 작업을 수행하는 AI. 이메일을 읽고, 일정을 조율하고, 코드를 작성하고, 보고서를 완성하는 AI. 이런 에이전트를 구현하려면 복잡한 연산들을 매끄럽게 조율할 수 있는 시스템이 필요하다.
엔비디아는 이 문제를 하드웨어 차원에서 해결하려 한다. GPU만으로는 불가능하다. 추론에 특화된 칩(LPU)과, 전체 시스템을 효율적으로 지휘하는 CPU가 함께 작동해야 한다.
반도체 시장에서 AI 시장으로
엔비디아의 이번 발표는 AI 반도체 시장의 가치 사슬을 재편하고 있다.
하드웨어 통합
첫째, 하드웨어 통합의 흐름이다. 과거에는 GPU는 엔비디아, CPU는 인텔이나 AMD, 시스템 통합은 서버 제조사가 맡는 식으로 역할이 나뉘어 있었다. 이제 엔비디아는 자체 CPU를 설계하고, LPU까지 통합하며 전체 스택을 장악하려 한다.
이는 애플이 맥북에서 인텔 칩을 버리고 자체 설계한 M 시리즈 칩으로 전환한 것과 비슷한 전략이다. 하드웨어 전체를 한 회사가 설계하면 최적화의 수준이 달라진다. 성능과 효율성에서 압도적인 격차를 만들 수 있다.
AI 시장 집중
둘째, AI 인프라 시장의 집중화다. 엔비디아는 이미 AI 학습용 GPU 시장의 80% 이상을 장악하고 있다. 여기에 추론과 시스템 조율까지 자사 하드웨어로 채우면, AI 서비스를 제공하려는 기업들은 사실상 엔비디아 생태계 안에 들어올 수밖에 없다.
엔비디아가 제시한 1조 달러 규모의 AI 칩 매출 전망은, 단순히 부품을 파는 것이 아니라 AI 시대의 핵심 인프라를 독점하겠다는 의지의 표현이다.
AI 서비스 비용 절약
셋째, AI 서비스 기업들의 비용 구조 변화다. 추론 처리량이 35배 향상되고 에너지 효율이 2배 개선된다면, AI 서비스를 제공하는 기업들의 운영 비용은 크게 낮아진다. 이는 더 복잡한 AI 에이전트 서비스를 더 낮은 가격에 제공할 수 있게 만든다.
결과적으로 AI 서비스의 접근성이 높아지고, 시장은 빠르게 확장될 가능성이 크다.
AI 에이전트 시대
AI 에이전트가 현실화되는 속도가 빨라질 것이다.
지금까지 AI는 주로 “보조 도구”였다. 질문하면 답을 주고, 요청하면 텍스트나 이미지를 생성하는 식이었다. 하지만 엔비디아가 제시하는 하드웨어 구조는, AI가 “행동하는 주체“로 변화하는 기반이 된다.
예약을 하고, 이메일을 보내고, 일정을 조율하고, 데이터를 분석해서 보고서를 작성하는 AI. 이런 에이전트가 실시간으로, 저렴하게, 안정적으로 작동하려면 바로 이런 하드웨어가 필요하다.
기업들도 변한다. 고객 응대, 데이터 분석, 프로세스 자동화 같은 업무에서 AI 에이전트를 도입하는 속도가 빨라질 것이다. 인간이 처리하던 많은 반복 업무들이 AI로 이동할 가능성이 크다.
개인의 삶에서도 변화가 감지된다. 실시간으로 응답하고, 맥락을 이해하며, 복잡한 작업을 수행하는 개인 비서가 현실화된다. 이는 단순한 편의성을 넘어, 정보와 기술에 대한 접근성 자체를 바꿀 수 있다.
하지만 이 변화에는 그림자도 있다. AI 인프라가 소수 기업에 집중될수록, 그들의 영향력은 커진다. 엔비디아가 하드웨어를 독점하면, AI 서비스를 제공하려는 기업들은 엔비디아의 가격 정책과 공급 전략에 종속될 수밖에 없다.
우리 삶의 변화
개인의 관점에서, 이 변화는 “AI가 얼마나 쓸모 있는 존재가 될 수 있는가”의 기준을 바꾼다.
지금까지 AI는 가끔 사용하는 도구였다면, 앞으로는 일상적으로 의존하는 파트너가 될 가능성이 크다. 그 과정에서 “AI를 어떻게 활용할 줄 아는가“가 중요한 역량이 될 것이다.
기업이나 투자자의 관점에서는, AI 서비스의 경쟁 구도가 바뀐다는 점을 주목해야 한다. 이제는 “누가 더 똑똑한 모델을 만드느냐”보다 “누가 엔비디아의 인프라 위에서 가장 유용한 에이전트 서비스를 구현하느냐”가 핵심이 될 수 있다.
산업 전반적으로는, AI 인프라의 집중화가 가져올 리스크를 고민할 시점이다. 엔비디아가 GPU에 이어 CPU, LPU까지 장악하면서 만들어지는 독점 구조가 건강한 경쟁을 가능하게 할지, 아니면 시장을 경직되게 만들지는 지켜봐야 한다.
내가 보는 핵심 포인트
엔비디아의 전략은 명확하다. GPU 하나로는 AI 시대를 지배할 수 없다는 것을 그들은 안다.
과거 PC 시대에 인텔이 x86 CPU로 표준을 만들었듯, 엔비디아는 AI 시대의 표준 인프라를 만들려 한다. GPU, LPU, CPU를 모두 자사 아키텍처로 통합하고, 그 위에서 AI 에이전트가 작동하는 시스템 전체를 설계한다.
이번 발표에서 주목할 점은 단순히 성능 향상이 아니라, 역할의 분업과 통합이다. 각 칩이 각자의 역할을 최적화하면서도, 하나의 시스템으로 매끄럽게 작동하게 만드는 것. 이것이 엔비디아가 추구하는 방향이다.
그리고 그들은 이미 다음 세대(‘파인만’ GPU, ‘로자’ CPU)의 로드맵까지 제시하며, 경쟁사가 따라올 수 없는 속도로 기술 격차를 벌리려 한다.
AI 에이전트 시대의 핵심 인프라를 누가 장악하느냐. 이 질문의 답이 지금 만들어지고 있다.
한문장 통찰
AI는 이제 답변하는 도구가 아니라, 행동하는 주체가 되려 한다. 그 변화의 중심에 하드웨어가 있다.