概要
OpenCV でカメラパラメータを推定するためのキャリブレーション方法について説明します。
関連記事
カメラモデルについては、以下の記事を参照してください。
OpenCV – カメラモデルとカメラパラメータについて解説 | pystyle
カメラキャリブレーション
3 次元上のある点から画像平面上の点への変換を記述するモデルをカメラモデルといいます。 カメラモデルが持つパラメータをカメラパラメータといい、内部パラメータと外部パラメータに分かれます。 このカメラパラメータを測定する作業をカメラキャリブレーションといいます。
手順
1. キャリブレーション器具用意して撮影する
チェスボード、またはサークルグリッドが描かれた画像を紙に印刷します。これをキャリブレーション器具といいます。
画像は OpenCV: Create calibration pattern を参考に自分で作ることもできますが、以下の 2 種類の画像が OpenCV のサンプルページにあるので、こちらの画像を印刷して用意できます。
用意できたら、紙を平らな場所に配置し、キャリブレーション器具を様々な距離、角度から撮影します。 撮影する際のポイントとして、キャリブレーション器具全体が映るようにしてください。
2. 撮影した画像から目印を検出する
今回はサンプルとして こちら の画像を使用しました。キャリブレーション器具を撮影した画像が samples
ディレクトリにあるものとします。
画像処理により、画像に写っているキャリブレーション器具のマーカーを検出し、その画像上の位置を求めます。
チェスボードの場合
cv2.findChessBoardCorners()
を使用してチェスボードの交点を検出します。patternSize
には(列方向の交点数, 行方向の交点数)
を指定します。マス目の数ではなく、交点の数なので注意してください。 返り値は、すべての交点の検出に成功した場合はretval
が True になり、corners
にその交点の画像座標が格納されます。サークルグリッドの場合
cv2.findCirclesGrid()
を使用して円を検出します。patternSize
には(列方向の円の数, 行方向の円の数)
を指定します。 返り値は、すべての円の検出に成功した場合はretval
が True になり、corners
にその円の中心の画像座標が格納されます。
サークルグリッドの場合
キャリブレーション器具がサークルグリッドの場合のコードも記載しました。
返り値 corners
の形状を見てみると、(54, 1, 2) となっています。
交点数は であり、この配列は [[[1個目の交点の xy 座標], [2個目の交点の xy 座標], ...]
を表しています。
(448, 625, 3)
3. 検出した画像座標系の座標に対応する世界座標系の座標を作成する
検出した画像座標系の座標に対応する世界座標系の座標を作成します。 世界座標系の原点や向き、スケールなどは自由に決めてよいですが、通常はキャリブレーションボード上を とし、横方向を 軸、縦方向を 軸と一致させます。 このように座標軸を決めることで、チェスボードの行、列方向の交点数は既知なので、検出した画像座標系の点に対応する 3 次元上の点を作成できます。
4. カメラパラメータを推定する
画像座標系の点と世界座標系の対応する点の一覧ができたので、cv2.calibrateCamera()
でカメラパラメータを推定します。
- 引数
- objectPoints: 世界座標系の点一覧
- imagePoints: 画像座標系の点一覧
- imageSize: 画像の大きさ
- flags: フラグ
- criteria: 最適化の反復を終了する基準
- 返り値
- retval: 交点検出に成功した場合は True、そうでない場合は False
- cameraMatrix: カメラ行列
- distCoeffs: 歪み係数
- rvecs: 回転ベクトル
- tvecs: 平行移動成分
一般に使用されるカメラでは、skew は 0 であるため、OpenCV の関数ではカメラ行列で としたカメラモデルを使用します。
cameraMatrix
: とした 3×3 のカメラ行列 (内部パラメータ)distCoeffs
: 歪み係数 (内部パラメータ)rvecs
:rvecs[i]
はworld_points[i]
からimage_points[i]
に変換する際の 3 次元上の回転。回転行列ではなく、回転ベクトルで表現。 (外部パラメータ)tvecs
:tvecs[i]
はworld_points[i]
からimage_points[i]
に変換する際の 3 次元上の平行移動。 (外部パラメータ)
reprojection error: 0.29143269257189314 camera matrix: [[465.37442759 0. 338.20216266] [ 0. 466.22907443 218.85083528] [ 0. 0. 1. ]] distortion: [[-0.01356546 0.00182163 -0.00132746 0.00026079 0.03298632]] rvecs[0]: [[-0.24060521] [ 0.34735712] [ 1.53049246]] tvecs[0]: [[ 2.02114037] [-4.08028483] [12.7999798 ]]
5. カメラパラメータを保存する
カメラキャリブレーションで得られたカメラ行列、歪み係数はカメラ固有の内部パラメータであり、一度推定すれば使い回すことができます。
np.savez()
を使用して、ファイルに保存しておきましょう。
読み込む場合は、np.load()
を使用します。
camera matrix: [[465.37442759 0. 338.20216266] [ 0. 466.22907443 218.85083528] [ 0. 0. 1. ]] distortion: [[-0.01356546 0.00182163 -0.00132746 0.00026079 0.03298632]]
コメント