0%

DevOps

AI 서버 GPU를 디자이너 렌더 PC로 나눠 쓰기 — VM 실패에서 듀얼부팅까지

신*진··수정됨 2026.11.21

AI 서버 GPU를 디자이너 렌더 PC로 나눠 쓰기 — VM 실패에서 듀얼부팅까지

RTX 5090 한 대로 평소에는 사내 AI 서버를, 필요할 때는 원격 렌더 PC를 돌린 이야기

01_concept.png

들어가며

사무실에는 RTX 5090이 꽂힌 서버가 한 대 있습니다. 평소에는 사내 AI 서비스인 Command AI(챗봇·받아쓰기·견적)를 돌립니다.

다른 사무실 디자이너들은 고민이 있었습니다. D5 Render, SketchUp, Enscape 같은 렌더링 프로그램은 좋은 GPU가 달린 윈도우 PC가 있어야 제대로 돌아가는데, 그런 PC를 새로 사기는 부담스러웠습니다.

그래서 이런 아이디어가 나왔습니다.

"AI 서버가 쉬는 동안 GPU를 디자이너에게 빌려주자."

이 글은 그 아이디어를 실제로 만든 과정입니다. 처음 계획이 왜 실패했는지, 어떻게 방향을 바꿨는지, 디자이너가 버튼 두 번으로 쓸 수 있게 만든 방법을 정리했습니다.


1. 첫 번째 계획: 윈도우 VM + GPU 패스스루

처음 떠올린 방법은 가상머신(VM)이었습니다.

  • 우분투(AI 서버)는 그대로 켜 둡니다.

  • 디자이너가 요청하면 우분투 안에서 윈도우 VM을 켜고, 5090을 VM에 넘겨줍니다(GPU 패스스루).

  • 다 쓰면 VM을 끄고 GPU를 돌려받아 AI를 다시 켭니다.

재부팅이 없고, 윈도우가 멈춰도 우분투에서 강제로 끌 수 있어서 관리하기 편한 구조입니다. VFIO 설정, libvirt 훅(GPU를 우분투에서 떼어 VM에 붙이고 다시 돌려받는 스크립트)까지 준비하고 시험을 돌렸습니다.

02_vm_fail.png

결과는 위 그림과 같습니다. 앞 단계는 모두 정상이었는데, 5090을 VM에 붙이는 순간 커널이 거부했습니다.

vfio-pci 0000:01:00.0: Firmware has requested this device have a 1:1 IOMMU mapping,
rejecting configuring the device without a 1:1 mapping. Contact your platform vendor.

원인: 메인보드 펌웨어

  • 메인보드(MSI MAG X870E TOMAHAWK WIFI) 펌웨어가 ACPI의 IVRS 표(IVMD 항목)로 리눅스에 지시를 내리고 있었습니다. "이 장치들은 특정 메모리 영역을 1:1로 고정해서 써야 한다"는 내용입니다.

  • 장치를 VM에 넘기려면 메모리 주소 체계를 VM용으로 바꿔야 합니다. 최신 커널은 펌웨어 지시를 어기지 않으려고 넘기기 자체를 막습니다.

  • 확인해 보니 5090만이 아니라 보드의 다른 장치(SSD)에도 같은 영역이 걸려 있었습니다. 이 BIOS로는 어떤 장치도 VM에 넘길 수 없다는 뜻입니다.

비슷한 사례를 찾아보니 MSI B850M, Supermicro, Minisforum 등에서 같은 오류가 보고되어 있었고, 주로 BIOS 업데이트 뒤에 생겼습니다. 커널 쪽 우회 패치(amd_iommu=relax_unity)가 제안되긴 했지만 반영되지 않았습니다. 운영 중인 서버의 BIOS를 건드리지 않는다는 원칙도 있었기 때문에 VM 방식은 접었습니다.

같은 오류 메시지로 검색해서 들어오신 분께: BIOS 설정(Above 4G, ReBAR 등)을 바꿔도 해결됐다는 보고는 찾지 못했습니다. 저희는 설계를 바꾸는 쪽을 택했습니다.


2. 방향 전환: 듀얼부팅 + 원격 접속

여러 대안을 비교했습니다.

방안

비용

AI 서버 영향

판단

BIOS 변경·업데이트

0

없음

해결된다는 근거 없음, 운영 서버 위험

서버를 윈도우로 바꾸고 AI는 WSL2로

0

전면 재구축

작업량 큼

렌더 전용 PC 구매

150~250만 원

없음

예산 필요

클라우드 GPU 대여

계속 발생

없음

파일 이동·비용 부담

듀얼부팅

0

윈도우 사용 중 정지

채택

듀얼부팅을 고른 이유는 간단합니다.

  • 어차피 GPU는 한 번에 한쪽만 쓸 수 있습니다. VM 방식이었어도 윈도우를 쓰는 동안 AI는 멈춰야 했습니다. 달라지는 건 전환할 때 재부팅이 들어간다는 점뿐입니다.

  • 서버에 비어 있는 두 번째 SSD가 있어서 추가 비용이 없습니다.

  • 윈도우가 GPU를 직접 쓰니 5090 성능을 100% 쓰고, 렌더 프로그램 호환성 걱정도 없습니다.

  • 우분투 디스크는 건드리지 않으니 되돌리기도 쉽습니다.

남은 문제는 "디자이너가 다른 사무실에서 어떻게 재부팅을 시키고, 어떻게 접속하느냐"였습니다.


3. 전체 구조

03_architecture.png

핵심은 늘 켜져 있는 사내 중계 서버입니다. 5090 서버는 우분투와 윈도우를 오가며 재부팅되지만, 전환 페이지와 RustDesk 서버는 중계 서버에 있어서 언제든 열립니다.

  • 전환 페이지: 디자이너가 상태를 보고 버튼을 누르는 곳

  • RustDesk 자체 서버: 원격 접속용 ID·중계 서버. 외부 서비스에 의존하지 않습니다.

  • 5090 서버: 외부에서 들어오는 포트를 열지 않고, 역방향 SSH 터널로 중계 서버에만 API를 노출합니다.

그리고 가장 중요한 원칙을 하나 정했습니다.

기본 부팅은 항상 우분투. 윈도우는 "다음 한 번만" 켠다.

이렇게 하면 윈도우에서 무슨 일이 생겨도 다시 시작만 하면 AI 서버로 돌아옵니다. 반납도 결국 "다시 시작"이면 됩니다.


4. 전환 한 바퀴

04_switch_flow.png

디자이너가 하는 일은 버튼 두 번뿐입니다.

전환 페이지

05_web.png

상태는 네 가지 색으로 보여 줍니다.

표시

의미

판정 기준

🟢

AI 사용 중 (전환 가능)

5090 API가 응답하고 AI 서비스가 모두 active

🟡

전환 중

전환 버튼을 누른 지 10분 이내, 양쪽 다 응답 없음

🔵

윈도우 사용 중

윈도우 신호가 3분 이내에 들어옴

🔴

응답 없음

그 외 (관리자 확인 필요)

버튼은 🟢일 때만 켜지고, 누가 언제 전환했는지 "최근 기록"에 남습니다. 이 기록 덕분에 실제 사용 시간도 따로 측정하지 않고 알 수 있습니다.

윈도우로 보내는 스크립트 (to-windows)

버튼을 누르면 중계 서버가 터널을 거쳐 5090의 API를 부르고, API는 이 스크립트를 실행합니다. 핵심만 줄이면 이렇습니다.

# 1) GPU 사용률을 10초간 측정 — 한 번이라도 20%를 넘으면 AI 처리 중으로 보고 거절
busy=$(nvidia-smi --query-gpu=utilization.gpu --format=csv,noheader,nounits -lms 1000 \
       | head -n 10 | awk '$1>20{c++} END{print c+0}')
[ "$busy" -gt 0 ] && { echo "Command AI가 처리 중입니다"; exit 3; }

# 2) 윈도우 SSD의 EFI 파티션 PARTUUID로 부팅 항목을 찾는다
ESPUUID=$(lsblk -nro PARTUUID,PARTTYPE "$WINDISK" \
          | awk 'tolower($2)=="c12a7328-f81f-11d2-ba4b-00a0c93ec93b"{print $1; exit}')
win=$(efibootmgr | awk -v u="$ESPUUID" \
  '/Windows Boot Manager/ && index(tolower($0), tolower(u)) {print substr($1,5,4); exit}')

# 3) 다음 부팅 한 번만 윈도우로
efibootmgr -n "$win"

# 4) vLLM을 먼저 멈추고(20초 넘으면 강제 종료) 재부팅
( timeout 20 systemctl stop vllm-30b vllm-asr || systemctl kill -s KILL vllm-30b vllm-asr
  systemctl reboot ) &

왜 부팅 항목을 번호가 아니라 PARTUUID로 찾을까요? 이 메인보드는 부팅할 때마다 부팅 항목 번호를 바꿔 버렸습니다(0002였던 윈도우가 0004, 0005로 바뀜). 번호를 고정해 두면 엉뚱한 항목으로 부팅하게 됩니다.

vLLM을 먼저 멈추는 이유도 있습니다. 모델을 불러오는 중에 재부팅하면 vLLM 종료에 최대 90초가 걸렸습니다. 먼저 멈추고 20초가 넘으면 강제로 끄도록 해서 전환 시간을 1~2분으로 줄였습니다.

접속: RustDesk

06_rustdesk.png

🔵가 되면 RustDesk로 접속합니다. 윈도우는 디자이너용 표준 계정으로 자동 로그인하고, RustDesk는 서비스로 설치해서 로그인 전에도 무인 접속이 됩니다.

"윈도우 켜져 있어요" 신호

5090이 윈도우로 부팅하면 우분투 API는 응답하지 않습니다. 그래서 윈도우가 스스로 살아 있다고 알려야 합니다. 작업 스케줄러에 1분마다 실행되는 한 줄짜리 PowerShell을 SYSTEM 권한으로 등록했습니다.

try { Invoke-WebRequest -UseBasicParsing -Method POST -TimeoutSec 10 `
      -Uri "https://<중계서버>/gpu/api/heartbeat" -Headers @{ "X-Token" = "<토큰>" } | Out-Null } catch { }

중계 서버는 마지막 신호가 3분 안에 들어왔으면 🔵로 표시합니다.

반납

07_return.png

바탕화면의 작업끝-반납을 더블클릭하면 확인 창이 뜨고, Y를 누르면 다시 시작합니다. 기본 부팅이 우분투라서 그대로 AI 서버로 돌아오고, AI 서비스가 자동으로 켜지면 페이지가 🟢로 바뀝니다.


5. 사고를 막는 장치들

여러 사람이 같은 PC를 원격으로 쓰기 때문에 "실수해도 망가지지 않게" 만드는 데 시간을 많이 썼습니다.

위험

막은 방법

누가 윈도우를 시스템 종료하면 원격으로 다시 켤 수 없음

종료 버튼 숨김. 시작 메뉴 전원에는 "잠금"만 남김

윈도우에서 우분투 디스크를 건드림

디스크 관리에서 우분투 SSD와 HDD를 오프라인 처리

원격 PC에서 사내망 장비에 접근

윈도우 방화벽으로 사내 대역 차단 (게이트웨이·인터넷만 허용)

윈도우 업데이트가 그래픽 드라이버를 바꾸거나 부팅 설정을 건드림

업데이트 5주 일시 중지, 드라이버 자동 설치 정책 차단

BitLocker가 켜져 부팅이 막힘

로컬 계정 사용 (MS 계정은 암호화가 자동으로 켜짐), 해독 상태 확인

인터넷에 재부팅 버튼이 노출됨

HTTPS + 로그인, AI 처리 중이면 거절, 누른 사람 기록


6. 설치하며 만난 함정들

계획대로만 흘러가지는 않았습니다. 기억에 남는 것들을 적어 둡니다.

윈도우 설치 프로그램이 우분투 SSD에 부팅 파일을 넣었습니다. 빈 SSD에 설치했는데도 부팅 파일(EFI)은 이미 있던 우분투 SSD의 EFI 파티션에 들어갔습니다. 화면에서 고를 수 없는 동작입니다. 윈도우 SSD에 EFI 파티션을 새로 만들고 bcdboot C:\Windows /s T: /f UEFI로 옮긴 뒤, 우분투 쪽에 남은 파일을 지웠습니다. 미리 백업해 둔 우분투 EFI와 해시가 같은 것까지 확인했습니다.

메인보드가 부팅 순서를 되돌렸습니다. OS에서 부팅 순서를 바꿔도 다음 부팅 때 BIOS 설정 순서로 돌아갔습니다. 덕분에 "기본은 우분투" 원칙은 저절로 지켜졌고, 다행히 BootNext(다음 한 번만)는 제대로 동작했습니다.

시계가 9시간 틀어졌습니다. 윈도우는 하드웨어 시계를 한국 시간으로, 우분투는 UTC로 읽습니다. 윈도우에 RealTimeIsUniversal=1을 설정해 맞췄습니다.

udev seat 규칙과 GNOME 앱 때문에 GPU가 놓이지 않았습니다. (VM 단계) 5090 모니터에 입력이 안 되는 로그인 창이 뜨거나, 터미널·파일 관리자 같은 GNOME 앱이 GPU를 잡고 놓지 않았습니다. 문서에 없던 현장 상황이라 하나씩 원인을 찾아 고쳤습니다.


7. 디자이너를 위한 마무리: 1장짜리 안내서

기술보다 중요했던 건 디자이너가 헷갈리지 않는 것이었습니다. 처음 한 번만 RustDesk를 설정하면, 그다음부터는 세 단계뿐입니다.

  1. 웹페이지에서 [윈도우로 전환]

  2. RustDesk로 접속해서 작업

  3. 바탕화면 [작업끝-반납]

이 흐름을 스크린샷이 들어간 A4 두 장짜리 안내서로 만들어 배포했습니다. 반납을 잊으면 회사 AI 서비스가 계속 멈춰 있다는 점을 맨 위에 빨간 상자로 강조했습니다. 실제로 첫날 반납을 하지 않아서 AI가 밤새 멈춘 일이 있었기 때문입니다.


마치며

  • 처음 설계를 고집하지 않은 게 가장 잘한 일이었습니다. VM 방식에 더 매달렸다면 BIOS를 건드리거나 검증되지 않은 커널 패치를 운영 서버에 올려야 했을 겁니다. 한 발 물러서서 보니 "어차피 GPU는 한 번에 한쪽만 쓴다"는 사실이 보였고, 듀얼부팅이 오히려 단순하고 튼튼한 답이었습니다.

  • 현장은 문서와 다릅니다. seat 규칙, GPU를 잡고 있는 데스크톱 앱, 부팅 항목 번호를 바꾸는 메인보드처럼, 직접 돌려 봐야 아는 것들이 많았습니다.

  • 쓰기 쉬워야 쓰입니다. 결국 디자이너가 보는 건 버튼 하나, 아이콘 하나입니다. 그 뒤에 있는 복잡한 것들은 모두 "실수해도 다시 시작하면 원래대로"라는 원칙 하나로 묶었습니다.

추가 비용 없이, 놀고 있던 SSD 하나와 스크립트 몇 개로 AI 서버와 렌더 PC를 한 대에 담았습니다.

읽기 도구

약 13분 읽기

이 글이 도움이 되었나요?

Work with GIWorks

프로젝트에 GIWorks의 경험이 필요하신가요?

전시·콘텐츠·엔지니어링 프로젝트의 아이디어와 고민을 들려주세요. 필요한 기술과 실행 방법을 함께 찾겠습니다.

문의하기

다음으로 읽기