nvidia-smi で GPU の使用状況を確認する方法
概要
GPU の使用状況を確認する nvidia-smi コマンドの使い方について解説します。
nvidia-smi
nvidia-smi コマンドで以下の情報が確認できます。公式ドキュメントは nvidia-smi.txt にあります。
- GPU の種類 (GPU Name)
- Nvidia ドライバのバージョン (Driver Version)
- CUDA のバージョン (CUDA Version)
- GPU のファンの回転率 (Fan)
- GPU の温度 (Temp)
- 電源使用量 (Pwr:Usage/Cap)
- GPU 利用率 (GPU-Util)
Thu Dec 16 02:45:58 2021
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 450.119.03 Driver Version: 450.119.03 CUDA Version: 11.0 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|===============================+======================+======================|
| 0 GeForce GTX 1080 Off | 00000000:01:00.0 Off | N/A |
| 27% 30C P8 6W / 180W | 36MiB / 8117MiB | 0% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=============================================================================|
+-----------------------------------------------------------------------------+csv 形式で出力する
--format=csv 引数を指定し、--query-gpu に表示するカラム名の一覧をカンマ区切りで記載することで、CSV 形式で出力できます。
$ nvidia-smi --query-gpu=index,name,memory.total --format=csv,noheader,nounits
0, GeForce GTX 1080, 8117| カラム名 | 意味 |
|---|---|
| timestamp | タイムスタンプ |
| driver_version | ドライバのバージョン |
| count | GPU の数 |
| name or gpu_name | GPU の製品名 |
| serial or gpu_serial | GPU のシリアルナンバー |
| index | GUI ID |
| fan.speed | ファンの回転スピード |
| memory.total | GPU の合計メモリ量 |
| memory.used | GPU の使用中のメモリ量 |
| memory.free | GPU の未使用のメモリ量 |
| utilization.gpu | GPU の使用率 |
| utilization.memory | GPU メモリの使用率 |
| temperature.gpu | GPU の温度 |
| temperature.memory | GPU メモリの温度 |
GPU の使用状況を CSV で記録する Python スクリプト
Python で nvidia-smi で取得した情報を逐次 CSV に出力するスクリプトを作成しました。
実行すると、<GPU_NO>_<GPU_NAME>.csv という名前の CSV ファイルに指定した FPS で使用状況が出力されます。
In [ ]:
import subprocess
import time
from io import StringIO
import pandas as pd
##################################################
# 設定
##################################################
# FPS
fps = 5.0
# CSV に出力するカラム一覧
keys = [
"timestamp",
"memory.total",
"memory.free",
"memory.used",
"utilization.gpu",
"utilization.memory",
"temperature.gpu",
]
def get_gpu_specs():
spec_keys = [
"index",
"name",
"memory.total",
]
output = get_gpu_info(spec_keys)
output = pd.read_csv(StringIO(output), names=spec_keys)
return output
def get_gpu_info(keys=keys, no_units=True):
queries = ",".join(keys)
output_fmt = "csv,noheader"
if no_units:
output_fmt += ",nounits"
cmd = f"nvidia-smi --query-gpu={queries} --format={output_fmt}"
output = subprocess.check_output(cmd, shell=True).decode()
output = output.replace(", ", ",") # カンマの後の空白を削除する
return output
# GPU の一覧を取得する。
gpu_specs = get_gpu_specs()
files = []
for spec in gpu_specs.itertuples():
name = f"{spec.index}_{spec.name}.csv"
f = open(name, "w")
files.append(f)
# ヘッダーを書き込む。
f.write(",".join(keys) + "\n")
while True:
start_time = time.time()
# GPU の情報を取得する。
output = get_gpu_info(keys)
# ファイルに追記する。
for f, line in zip(files, output.splitlines()):
f.write(line + "\n")
f.flush()
elapsed_time = time.time() - start_time
wait_time = 1 / fps - elapsed_time
time.sleep(wait_time)-
前の記事
Pytorch – AdaGrad、RMSprop、AdaDelta について解説 2021.11.23
-
次の記事
Pytorch – GPU と対応するドライバ、CUDA、CuDNN のバージョン 2022.02.18