[AIM의 투자공부] 데이터센터에 필수인 AI 서버, 도대체 왜 비쌀까?

억 단위가 넘어가는 AI 서버의 가격 분석과 그 안에 담긴 핵심 기술인 GPU, HBM의 가치를 파헤칩니다에 관한 썸네일 ©AIM - 무단 전재 및 복제 금지

 

안녕하세요? AIM입니다. 

저번 글에서 AI 데이터센터가 무엇인지를 정의했었습니다.

오늘은 AI 서버가 도대체 무엇이고 어떻게 구성되어 있으며 왜 비싸게 팔리는지에 대해 알아보고자 합니다.

 

일반 서버는 학습된 데이터가 저장되어 있는 도서관과 같다면 AI 서버는 그것을 이용해 결과값을 도출하고 추론할 수 있는 초고성능의 연구소라고 생각하면 쉽습니다.

우리 일상에서 사용하는 지능형 서비스, 즉 챗GPT나 자율주행 뒤에는 이 AI 서버가 존재합니다.

AI 서버 팜(Farm)이라는 형태로 존재하는데요, 팜이라는 말 그대로 농장처럼 생각하면 이해하기 쉬운데 여러 농작물이 판매라는 하나의 결론으로 귀결되듯이 AI 서버 여러 대가 하나의 거대 컴퓨터처럼 움직입니다.

쉽게 말하면 AI 서버는 이렇게 정의됩니다.

 

 

Point.1 AI 서버 한 대에 수 억원을 호가하는데 도대체 어떤 부품으로 이루어져 있나?

AI서버는 일반 데이터 서버에서 겪었던 문제인 병목 현상을 해결하는데 특수한 설계가 필요하다고 합니다.

병목 현상이 해결되어야 우리가 사용하는 생성형 AI나 AI 에이전트 사용시 끊기는 흐름이 끊김 없이 작업을 수행할 수 있게 됩니다.

그래서 AI 서버는 어떠한 부품으로 이루어졌는지 우리는 궁금해집니다.

 

첫째, 우리에게 깐부회담으로 유명한 젠슨 황 CEO의 회사인 엔비디아와 GPU가 필요합니다.

이게 가속기와 같은 역할을 하는데 이게 서버 한 대에 8개 이상의 GPU가 필요하다고 합니다.

 

둘째, 우리에게 익숙한 우리나라 기업인 삼성전자와 SK하이닉스가 만드는 HBM입니다.

일명 고대역폭 메모리라 불리는 HBM을 필요로 하는데요, AI는 고도의 연산 기술이 필요하기 때문에 우리가 일반적으로 가정이나 회사에서 사용하는 DRAM보다 훨씬 빠른 속도로 연산이 가능한 메모리 반도체입니다.

 

셋째, 데이터가 다니는 고속도로인 고속 네트워크가 필요합니다.

이게 아까 말씀드린 병목 현상을 해결할 수 있는 주요 부품인데 이 부분이 해결되지 않으면 아무리 좋은 GPU를 사용한다 하더라도 병목 현상이 해결되지 않아 연산 효율이 급격히 떨어진다고 합니다.

2026년 현재, 우리가 가정에서 1기가 바이트의 인터넷을 사용한다면 AI 서버는 800기가 바이트로 진입한 상황이라고 합니다.

정말 상상도 안가는 속도인데 다들 이게 어느 정도의 속도인지 저처럼 감이 안오시죠?

수 십 편의 영화를 1초만에 보내는 속도라고 합니다.

AIM이 어릴 때 영화 한 편을 다운로드 하고 그걸 USB에 옮기던 속도를 생각해보면 정말 비약적인 발전이지 않나 싶습니다.

 

엔비디아 블랙웰 GPU 기반 AI 서버 핵심 아키텍처 이미지. 출처 - 엔비디아 홈페이지 ©AIM 무단 전재 및 복제 금지

Point.2 AIM이 공부했을 때 AI 서버가 비싼 이유

저는 AI 서버가 비싼 이유가 단순하게 성능이 훨씬 좋으니까 당연히 비싼게 아닐까라고 투자초보적인 생각을 했습니다.

하지만 그런 단순한 이유보다는 훨씬 더 구조적인 이유가 있었습니다.

 

우선 AI 서버 가격의 70~80% 정도를 GPU가 차지한다고 합니다.

엔비디아의 블랙웰 같은 경우 개당 가격이 40,000달러라고 하는데 정말 투린200같은 사람은 상상도 못할 가격 같습니다.

또 아시다시피 수요가 폭발적인 상황인데 그것을 공급할 수 있는 제조사가 한정되어 있어 부르는 게 값이 상황이 되었습니다.

그렇지만 또 우리나라 입장에서는 GPU를 제조하기 위해 HBM이 필요하기 때문에 우리나라 기업이 수혜를 보고 있다고 생각합니다.

 

또 그로 인해 우리나라 기업들이 HBM에 전력을 쏟기 때문에 일반 서버용 DRAM과 SSD의 생산량이 급감한 상태라고 합니다.

그래서 일반 서버용 메모리 가격이 폭등하면서 전체 서버를 구축하는 비용이 많이 올랐습니다.

쉽게 말해 삼성전자나 SK하이닉스가 주방이라고 한다면 DRAM이나 SSD는 일반 국밥이라고 생각할 수 있고 HBM은 미슐랭 같은 식당이라고 했을 때 주방장 입장에서는 더 비싼 것을 팔기 위해 노력해야 더 적은 힘으로 더 큰 매출을 올릴 수 있지 않나요?

그런데 국밥을 먹으려는 일반 기업은 그대로인데 만드는 주방에는 모든 것을 만드는데 한계가 있으니 더 큰 매출을 올릴 수 있는 것에 더 많은 생산량을 쏟아 붓는 겁니다.

 

그런데 여기서 AIM은 의문이 생깁니다.

일반 서버 가격이 오르는 것과 AI 서버가 비싼게 무슨 상관이 있냐는 의문이 들었습니다.

분명 HBM 기반인데 DRAM이 오르는 게 도대체 무슨 상관이지?

이런 의문을 갖는게 되게 초보자적인 생각이라고 생각하시는 분도 있을 것이라 생각합니다.

하지만 저처럼 이 부분이 궁금한 분들도 있겠다 싶어 알아봤습니다.

AI 서버의 주인공이 HBM인건 맞지만 이게 컴퓨터처럼 사용이 되려면 일반적인 부품도 상당량 필요하다고 합니다.

AI가 학습할 데이터를 담아둘 SSD 그리고 일시적으로 내용을 기억할 DRAM이 꼭 필요한 겁니다.

 

그래서 이 모든 것을 합했을 때 AI 서버랙 하나의 가격이 무려 약 40억 원에 육박한다고 합니다.

그 랙 하나가 40억이라니 자그마치 강남 아파트 한 채 값인데 믿어지시나요?

 

 

결론: AIM의 투자 시각

여기서 우리는 단순히 AI 서버가 왜 비싼지에서 생각이 끝나면 안된다고 생각합니다.

AI 서버가 무엇이며 어떠한 것들로 구성이 되어있고 어떠한 이유 때문에 가격이 비싼지 또 그로 인해 수혜를 받고 있는 기업은 없는지를 통해 우리가 투자할 방향을 정할 수 있는 기준을 세울 수 있다고 봅니다.

지금 현재 한국 시장 코스피가 날아가는 이유도 이것과 관련이 있는 기업들의 상승세 때문이기도 하다는 생각이 듭니다.

앞으로도 어떠한 흐름이 있다면 그에 대해 분석하고 투자의 흐름은 어떻게 가져가야 하는지 AIM과 함께 공부해 보시기 바랍니다.

 

 

<함께 보면 좋은 AIM의 다른 글>

[AIM의 투자공부] AI 데이터센터 전망 그리고 전력망, 액체 냉각 기술 AIM 스타일로 완벽 정리

[AIM의 투자공부] AI 데이터센터 전망 그리고 전력망, 액체 냉각 기술 AIM 스타일로 완벽 정리

 

 

<투자 유의사항>

본 글은 투자 관련 정보를 정리한 참고용 콘텐츠이며 특정 종목의 매수나 매도를 권유하기 위한 목적이 아닙니다.

모든 투자 판단과 결정에 대한 책임은 투자자 본인에게 있으며, 투자 전에는 반드시 다양한 자료와 정보를 함께 검토하시기 바랍니다.