NVIDIA GPU instance별 쪼개기

Multi instance GPU MIG
Multi instance GPU MIG


NVIDIA GPU MIG(Multi-Instance GPU) 기능은 A100/H100 계열에서 한 장의 GPU를 여러 “slice”로 분할해 사용하는 기능입니다. 이를 제어하는 도구는 주로 **nvidia-smi**와 **nvidia-mig-parted**입니다. CRUD(Create, Read, Update, Delete) 관점으로 정리해 드리겠습니다.


🔹 1. Create (MIG 인스턴스 생성)

# GPU MIG 모드 켜기 (재부팅 필요)
sudo nvidia-smi -i 0 -mig 1

# GPU 0번에서 GPC 1개 + 메모리 10GB 인스턴스 생성
sudo nvidia-smi mig -i 0 -cgi 0,1 -C

# 또는 여러 인스턴스 동시에 생성 (예: 프로파일 ID 19로 2개 생성)
sudo nvidia-smi mig -i 0 -cgi 19,19 -C
  • -cgi : Compute Instance Profile ID 지정
  • -C : Create 실행

🔹 2. Read (현황 조회)

# 전체 GPU MIG 지원 여부와 상태 확인
nvidia-smi -i 0 -q | grep -A 20 MIG

# MIG 인스턴스 리스트 보기
nvidia-smi mig -lgi   # GPU Instance 조회
nvidia-smi mig -lci   # Compute Instance 조회

# MIG 모드 활성화 상태 확인
nvidia-smi -L

🔹 3. Update (변경, 재구성)

# 현재 GPU 인스턴스 구성을 변경하려면 기존 인스턴스를 지우고 새로 생성해야 함
# 예: GPU 0번에 다른 구성을 적용
sudo nvidia-smi mig -i 0 -dci     # 기존 Compute Instance 삭제
sudo nvidia-smi mig -i 0 -dgi     # 기존 GPU Instance 삭제

# 이후 원하는 프로파일로 재생성 (Create와 동일)
sudo nvidia-smi mig -i 0 -cgi 14,14,14 -C
  • MIG는 동적 resize가 불가 → Update는 사실상 “Delete 후 Create” 절차

🔹 4. Delete (MIG 인스턴스 제거)

# GPU Instance ID가 1인 인스턴스 삭제
sudo nvidia-smi mig -i 0 -dgi 1

# Compute Instance ID가 2인 인스턴스 삭제
sudo nvidia-smi mig -i 0 -dci 2

# GPU 0번 전체 MIG 인스턴스 초기화
sudo nvidia-smi mig -i 0 -dci
sudo nvidia-smi mig -i 0 -dgi

🔹 5. 기타 유용 명령어

# MIG 가능한 프로파일 ID 리스트 조회
nvidia-smi mig -lgip
nvidia-smi mig -lcip

# MIG Partition 자동 구성 (nvidia-mig-parted 사용 예)
sudo nvidia-mig-parted apply --gi 0:1g.10gb,0:1g.10gb --restart

✅ 정리

  • Createnvidia-smi mig -cgi … -C
  • Readnvidia-smi mig -lgi, -lci, nvidia-smi -q
  • Update → 기존 인스턴스 삭제 후 새로 생성 (Delete + Create 조합)
  • Deletenvidia-smi mig -dgi, -dci

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다