로컬 LLM PC 비교, 5090 데스크탑과 DGX Spark 차이가 갈린 순간
시작하며
로컬 LLM용 하드웨어는 작은 모델을 돌릴 때보다 31B, 120B급 모델로 올라가는 순간 선택이 갈린다. RTX 5090 데스크탑은 31B급까지 압도적으로 빠르지만, 120B 이상에서는 VRAM 32GB 한계가 바로 드러난다. 반대로 DGX Spark는 초반 속도만 보면 5090보다 느리지만, 큰 모델로 갈수록 128GB 통합 메모리 장점이 살아난다.
이번 비교 대상은 약 1400만원 데스크탑, 약 535만원 DGX Spark MSI, 약 270만원 AI MAX 392 노트북이다. 로컬 LLM 구축, 토큰 생성 속도, 대규모 파라미터 모델 실행 여부, 외부 작업용 노트북까지 같이 보는 사람에게 현실적인 판단 자료가 된다. 테스트 구성과 모델별 속도 차이는 제공된 비교 내용을 바탕으로 정리했다.
📌 먼저 어디를 봐야 할까
| 상황 | 먼저 볼 부분 | 선택 전 걸리는 점 |
|---|---|---|
| 7B 이하 작은 모델 위주 | 가격 대비 체감 속도 | 고가 장비 차이가 덜 크게 느껴질 수 있다 |
| 26B~31B 모델 위주 | RTX 5090 데스크탑 성능 | PC 전체 가격과 전력, 발열 부담이 있다 |
| 120B 이상 모델 위주 | DGX Spark 통합 메모리 | 일반 PC처럼 쓰기에는 용도가 좁다 |
| 외부 작업도 같이 필요 | AI MAX 392 노트북 | 64GB 모델은 큰 LLM에서 답답할 수 있다 |
| 영상 편집·이미지 AI 병행 | 5090 데스크탑 | LLM 전용 장비로만 보면 과투자일 수 있다 |
1. 로컬 LLM PC 비교는 램보다 메모리 배치에서 갈렸다
로컬 LLM은 단순히 램 숫자만 보고 고르면 안 된다. 작은 모델에서는 CPU, GPU, 운영체제 차이가 속도를 만든다. 큰 모델에서는 모델이 어느 메모리에 올라가느냐가 체감 속도를 좌우한다.
이번 구성은 성격이 완전히 다르다.
- RTX 5090 + 9950X3D + RAM 256GB 데스크탑: GPU VRAM이 빠르고 작업용 확장성이 크다.
- DGX Spark MSI RAM 128GB: 로컬 AI 실험에 맞춘 통합 메모리 장비다.
- AI MAX 392 노트북 RAM 64GB: 휴대성과 전력 효율을 챙긴 외부 작업용 장비에 가깝다.
RTX 5090은 32GB GDDR7 메모리와 512-bit 메모리 인터페이스를 가진 고성능 GPU라 작은 모델과 31B급 모델에서 강하게 나온다. Ryzen 9 9950X3D도 16코어 32스레드, 최대 5.7GHz급 데스크탑 CPU라 영상 편집과 일반 작업을 같이 맡기기 좋다.
DGX Spark는 방향이 다르다. 128GB 통합 시스템 메모리와 Grace Blackwell 기반 구성을 앞세워 최대 200B급 AI 모델 개발·테스트를 책상 위에서 다루는 쪽에 맞춰진 장비다. MSI EdgeXpert MS-C931도 같은 DGX Spark 플랫폼 장비로 128GB LPDDR5x 통합 메모리와 1000 AI TOPS급 FP4 성능을 핵심으로 둔다.
AI MAX 392는 노트북과 미니 PC 쪽에 가까운 선택지다. AMD Ryzen AI Max+ 392는 12코어 Zen 5, Radeon 8060S 그래픽, 최대 128GB LPDDR5x 메모리 지원을 갖춘 Strix Halo 계열 APU다. 다만 이번 비교처럼 64GB 모델이면 120B급 모델에서 여유가 빠르게 사라진다.
(1) 작은 모델은 5090 데스크탑이 너무 빠르다
Gemma 계열 2B, 4B 같은 작은 모델에서는 RTX 5090 데스크탑이 눈에 띄게 앞선다. 토큰 생성이 빠르게 끝나서 체감상 기다리는 시간이 거의 없다.
반면 DGX Spark도 충분히 빠르다. 2B 모델에서 약 100토큰 가까운 속도가 나오고, 4B에서도 50토큰대 속도를 보인다. 이 정도면 로컬 LLM 공부나 실험용으로 답답함이 적다.
AI MAX 392 노트북은 여기서 아쉬움이 먼저 보인다. 2B 모델에서 30토큰대, 4B 모델에서 10토큰대 후반으로 나온다. 일반 사용은 가능하지만, 가격에 붙은 AI 이미지와 비교하면 기대보다 차분한 속도다.
💻 작은 모델에서 느껴지는 차이
| 모델 | 5090 데스크탑 | DGX Spark | AI MAX 392 |
|---|---|---|---|
| Gemma 2B급 | 약 290토큰대 | 약 98토큰 | 약 33토큰 |
| Gemma 4B급 | 약 200토큰대 | 약 55토큰 | 약 18토큰 |
| 체감 | 거의 바로 끝난다 | 충분히 빠르다 | 기다림이 생긴다 |
(2) 26B까지는 고성능 PC와 DGX Spark 모두 쓸 만하다
26B 모델부터는 장비 성격이 조금씩 보인다. DGX Spark는 약 57토큰 수준까지 나오고, 5090 데스크탑은 약 181토큰 수준으로 여전히 빠르다. AI MAX 392도 약 19토큰대로 나온다.
여기서 중요한 점은 26B급은 생각보다 현실적인 선이라는 점이다. 4B보다 모델 크기가 훨씬 커지지만, 장비만 맞으면 대화 품질과 속도 사이에서 균형을 잡기 좋다.
AI MAX 392도 26B까지는 “못 쓸 정도”가 아니다. 다만 여러 작업을 동시에 열어두고 쓰면 램 압박이 빨리 온다. 외부에서 간단히 실험하거나 짧은 답변을 뽑는 용도라면 가능하다. 하루 종일 모델을 바꿔가며 돌리는 용도라면 답답할 수 있다.
2. DGX Spark는 120B부터 존재감이 커진다
DGX Spark는 작은 모델에서 5090 데스크탑을 이기지 못한다. 그래서 처음 보면 가격 대비 애매하게 느껴질 수 있다.
하지만 120B급 모델로 넘어가면 이야기가 달라진다. RTX 5090은 VRAM 32GB를 넘는 순간 시스템 메모리까지 같이 쓰게 된다. 이때 병목이 생기고 속도가 크게 줄어든다. DGX Spark는 128GB 통합 메모리를 활용해 큰 모델을 더 안정적으로 다룬다.
(1) 31B에서는 5090 데스크탑이 아직 강하다
31B 모델은 경계선에 가깝다. 5090 데스크탑은 VRAM 안에서 처리가 가능해 약 61토큰 수준을 보인다. DGX Spark는 약 9토큰대로 내려간다. AI MAX 392는 약 3토큰대까지 떨어진다.
이 구간만 보면 답은 단순하다. 31B를 자주 돌릴 사람은 5090 데스크탑 쪽이 체감 속도에서 유리하다.
다만 이것도 LLM만 보는 답이다. 데스크탑은 영상 편집, AI 이미지 생성, 게임, 일반 작업까지 같이 맡길 수 있다. 그래서 1400만원 구성이 과하더라도 다목적 작업실 PC로 보면 납득할 여지가 있다.
📊 31B에서 달라지는 체감
| 장비 | 속도 느낌 | 사용 전 생각할 점 |
|---|---|---|
| 5090 데스크탑 | 빠르게 답이 나온다 | VRAM 32GB 안에 들어올 때 강하다 |
| DGX Spark | 눈에 띄게 느려진다 | 큰 모델용 장점은 120B부터 더 보인다 |
| AI MAX 392 | 실사용이 답답하다 | 64GB 구성은 여유가 부족하다 |
(2) 120B에서는 DGX Spark가 확실히 편하다
GPT-OSS 120B급 모델에서는 DGX Spark가 약 38토큰대를 보인다. 이 정도면 큰 모델을 로컬에서 다루는 장비로 꽤 설득력 있다. 반면 5090 데스크탑은 약 14토큰대로 내려간다. GPU VRAM을 넘어서 시스템 메모리를 같이 쓰기 때문이다.
AI MAX 392는 64GB 메모리를 거의 다 쓰는 상황이 된다. CPU와 메모리 사용률이 크게 올라가고, 기계가 버티는 느낌이 강해진다. 속도는 약 11토큰대로 나왔지만 안정적인 작업 환경이라고 보기는 어렵다.
여기서 DGX Spark의 장점은 단순 속도보다 큰 모델을 올려놓고 실험할 수 있는 여유다. 120B, 122B 같은 대형 모델을 반복해서 테스트할 사람이라면 이 차이가 크다.
3. AI MAX 392 노트북은 로컬 LLM 전용보다 이동형 작업용에 가깝다
AI MAX 392는 이번 비교에서 성능만 보면 아쉬워 보인다. 하지만 이 장비를 로컬 LLM 전용 장비로만 보면 평가가 너무 좁아진다.
AI MAX 392 노트북의 장점은 휴대성, 전력 효율, 내장 그래픽 성능, 일반 작업 균형에 있다. 40대가 장비를 고를 때 가장 피곤한 부분은 “이거 하나로 어디까지 버티느냐”다. 그 관점에서 보면 AI MAX 392는 책상 위 고정 장비가 아니라, 밖에서 작업하고 가볍게 AI 실험까지 하는 쪽에 맞다.
(1) 64GB 모델은 120B급에서 욕심을 줄여야 한다
AI MAX 392 노트북은 64GB 구성일 때 한계가 분명하다. 31B부터 이미 속도가 크게 줄고, 120B에서는 메모리 여유가 거의 사라진다.
그래도 작은 모델이나 26B급 모델은 다룰 수 있다. 외부에서 문서 초안, 코드 보조, 간단한 질의응답을 로컬로 처리하려는 사람에게는 의미가 있다.
다만 “노트북 하나로 대형 LLM까지 편하게 돌리겠다”는 기대는 낮추는 편이 낫다. 그 용도라면 128GB 구성이나 별도 데스크탑을 같이 보는 쪽이 현실적이다.
(2) AI MAX 392는 게임과 작업까지 같이 볼 때 살아난다
AI MAX 392의 내장 Radeon 8060S 그래픽은 단순 사무용 내장 그래픽과 성격이 다르다. 외장 GPU 노트북보다 가볍게 들고 다니면서 일반 작업, 가벼운 게임, AI 실험을 같이 처리하는 데 의미가 있다.
내가 장비를 고를 때도 이런 부분을 크게 본다. 한 가지 성능만 높은 장비보다, 자주 쓰는 작업을 덜 번거롭게 처리하는 장비가 오래 남는다.
AI MAX 392가 맞는 사람은 이런 쪽이다.
- 외부 작업이 많고 노트북 무게를 중요하게 본다.
- 7B~26B급 로컬 LLM 실험을 가끔 한다.
- 영상 편집보다는 문서, 개발, 브라우저 작업이 많다.
- 외장 GPU 노트북의 무게와 발열이 부담된다.
- 대형 LLM은 메인 데스크탑이나 서버에서 돌릴 생각이 있다.
4. 5090 데스크탑과 DGX Spark는 쓰임새가 완전히 다르다
이번 비교에서 가장 중요한 결론은 “어느 장비가 더 세냐”가 아니다. 어떤 모델 크기를 자주 쓰느냐가 더 중요하다.
RTX 5090 데스크탑은 폭발적인 속도를 보여준다. 작은 모델부터 31B까지는 기다림이 거의 줄어든다. 영상 편집, AI 이미지, 게임, 일반 작업까지 같이 할 수 있어서 돈을 많이 쓰더라도 활용 폭이 넓다.
DGX Spark는 일반 데스크탑 대체품이 아니다. 로컬 LLM과 AI 실험에 초점이 맞춰진 장비다. 128GB 통합 메모리 덕분에 120B 이상 모델에서 안정감이 커진다. 대신 게임이나 일반 그래픽 작업, 윈도우 데스크탑 감각을 기대하면 맞지 않을 수 있다.
🧠 내 사용 상황에 맞춰 보면 이렇게 갈린다
| 주 사용 목적 | 더 어울리는 장비 | 이유 |
|---|---|---|
| 31B 이하 모델을 빠르게 돌림 | RTX 5090 데스크탑 | VRAM 안에서 처리될 때 속도가 압도적이다 |
| 120B 이상 모델 실험 | DGX Spark | 128GB 통합 메모리가 큰 모델에 유리하다 |
| 외부 작업과 가벼운 AI | AI MAX 392 노트북 | 휴대성과 전력 효율을 같이 챙긴다 |
| 영상 편집·AI 이미지 병행 | RTX 5090 데스크탑 | LLM 외 작업까지 활용 폭이 넓다 |
| AI 공부용 전용 장비 | DGX Spark | 소프트웨어 환경과 메모리 구성이 맞다 |
(1) 5090 데스크탑은 빠르지만 돈을 먹는 장비다
5090 데스크탑은 성능이 확실하다. 하지만 전체 구성비가 약 1400만원까지 올라가면 단순 LLM용으로는 부담이 크다.
이 장비는 이런 사람에게 맞다.
- 영상 편집과 AI 이미지 작업을 자주 한다.
- 로컬 LLM도 31B급까지 빠르게 쓰고 싶다.
- 장비 한 대로 거의 모든 작업을 처리하고 싶다.
- 전력, 발열, 소음, 책상 공간을 감당할 수 있다.
반대로 LLM만 돌릴 목적이라면 과할 수 있다. 특히 120B 이상 모델을 자주 쓴다면 5090의 빠른 VRAM보다 총 메모리 구성이 더 중요해진다.
(2) DGX Spark는 큰 모델을 계속 만지는 사람에게 맞다
DGX Spark는 처음부터 용도가 좁다. 하지만 그 좁은 용도에 맞으면 장점이 뚜렷하다.
120B 이상 모델을 자주 올리고, AI 공부나 실험을 꾸준히 하고, 로컬 환경에서 대형 모델을 다뤄보고 싶다면 DGX Spark가 더 편하다. 작은 모델만 돌릴 사람에게는 가격이 무겁다.
특히 2B, 4B, 7B 위주라면 굳이 DGX Spark까지 갈 필요가 적다. 그 구간은 훨씬 저렴한 장비도 충분히 버틴다.
(3) AI MAX 392는 대형 LLM 욕심만 빼면 쓸모가 남는다
AI MAX 392는 이번 비교에서 가장 손해 보는 위치에 있다. 데스크탑보다 느리고, DGX Spark보다 메모리 여유가 적다.
그래도 노트북이라는 점을 봐야 한다. 들고 다니면서 작업하고, 가끔 로컬 LLM을 돌리고, 전력과 무게를 줄이고 싶은 사람에게는 다른 의미가 있다.
다만 64GB 모델은 분명한 선이 있다.
- 26B까지는 상황에 따라 쓸 만하다.
- 31B부터는 기다림이 길어진다.
- 120B급은 테스트는 가능해도 편한 작업은 어렵다.
- 128GB 모델이면 평가가 달라질 수 있다.
5. 로컬 LLM 하드웨어는 모델 크기부터 정하고 사야 한다
로컬 LLM 장비는 “비싼 장비가 늘 답”이 아니다. 작은 모델을 자주 쓰는 사람과 120B 이상 모델을 돌리는 사람은 전혀 다른 장비를 골라야 한다.
내가 다시 고른다면 이렇게 나눠 보겠다.
✅ 이런 상황이면 무엇을 볼까
| 내 상황 | 먼저 볼 장비 | 왜 그쪽을 볼 만한가 |
|---|---|---|
| 7B 이하 모델만 쓴다 | 고가 장비보다 중급 PC | 체감 차이에 비해 비용 차이가 크다 |
| 26B~31B를 자주 쓴다 | RTX 5090 데스크탑 | 속도 체감이 가장 크다 |
| 120B 이상을 자주 쓴다 | DGX Spark | 큰 모델을 올리는 여유가 있다 |
| 들고 다니며 작업한다 | AI MAX 392 노트북 | LLM 전용보다 이동형 작업에 맞다 |
| AI 이미지와 편집도 한다 | RTX 5090 데스크탑 | GPU 활용 폭이 넓다 |
마치며
로컬 LLM 하드웨어는 31B까지 볼 것인지, 120B 이상까지 볼 것인지에서 답이 갈린다. 5090 데스크탑은 31B급까지 빠르고 다목적 작업에 강하다. 대신 120B 이상에서는 VRAM 32GB 한계가 보인다.
DGX Spark는 작은 모델에서 가격 대비 압도적이라고 말하기 어렵다. 하지만 120B 이상 모델을 자주 다룬다면 128GB 통합 메모리 덕분에 존재감이 커진다. AI MAX 392 노트북은 로컬 LLM 전용 장비로 보면 아쉽지만, 외부 작업과 가벼운 AI 실험을 같이 보는 사람에게는 선택지에 넣어볼 만하다.
결국 로컬 LLM용 장비는 가격보다 사용 습관이 먼저다. 작은 모델을 빠르게 쓰고 싶으면 5090 데스크탑이 강하다. 큰 모델을 계속 실험할 생각이면 DGX Spark가 더 편하다. 들고 다니는 작업까지 필요하면 AI MAX 392는 욕심을 줄였을 때 의미가 있다.
댓글
댓글 쓰기