MENU

OpenCV – matchTemplate でテンプレートマッチングを行う方法

OpenCV
OpenCV 画像処理
  1. ホーム
  2. 画像処理
  3. OpenCV
  4. OpenCV – matchTemplate でテンプレートマッチングを行う方法
目次
  1. 概要
  2. テンプレートマッチング
  3. cv2.matchTemplate
  4. サンプルコード
    1. result について
    2. 類似度が最も高い場所を探す
  5. 類似度が閾値以上の場所を探す
  6. 類似度の計算方法
    1. cv2.TM_SQDIFF
    2. cv2.TM_SQDIFF_NORMED
    3. cv2.TM_CCORR
    4. cv2.TM_CCORR_NORMED
    5. cv2.TM_CCOEFF
    6. cv2.TM_CCOEFF_NORMED
    7. 各 method のよる結果の違い

概要

OpenCV でテンプレートマッチングを行う方法について解説します。

テンプレートマッチング

検出対象の物体が映るテンプレート画像を用意します。

入力画像に対して、テンプレート画像と同じ大きさの検索窓を左上から右下にかけてスライドさせながら移動させます。 移動する検索窓の各位置において、「入力画像の検索窓の範囲」と「テンプレート画像」の類似度を計算します。 検索窓のすべての位置で計算された類似度が最終的な出力結果になります。

cv2.matchTemplate

result = cv2.matchTemplate(image, templ, method[, result[, mask]])
Python

公式リファレンス: cv2.matchTemplate

引数
名前 型 デフォルト値
image ndarray
入力画像
templ ndarray
テンプレート画像
method TemplateMatchModes
類似度の計算方法
返り値
名前 説明
result 検索窓の各位置での類似度

サンプルコード

入力画像からテンプレート画像の ❓ ボックスを探します。

sample1.jpg

入力画像

template.jpg

テンプレート画像

In [1]: 
import cv2
import numpy as np
from IPython.display import Image, display
from matplotlib import pyplot as plt


def imshow(img):
    """ndarray 配列をインラインで Notebook 上に表示する。"""
    ret, encoded = cv2.imencode(".jpg", img)
    display(Image(encoded))
Python
In [2]: 
# 入力画像、テンプレート画像を読み込む。
img = cv2.imread("sample1.jpg")  # 入力画像
templ = cv2.imread("template.jpg")  # テンプレート画像

# テンプレートマッチングを行う。
result = cv2.matchTemplate(img, templ, cv2.TM_CCOEFF_NORMED)
Python

result について

返り値 result は、検索窓の各位置でのテンプレート画像との類似度を表す 2 次元配列です。 入力画像の大きさを (W,H)(W, H)、テンプレート画像の大きさを (w,h)(w, h)、検索窓の左上の点を (x,y)(x, y) としたとき、 検索窓は (x,y)∈(W−w+1,H−h+1)(x, y) \in (W − w + 1, H − h + 1) の範囲でスライドします。

result[y, x] は検索窓が位置 (x, y) から (x+w,y+h)(x + w, y + h) にあるときの類似度の値になります。

result の解釈

In [3]: 
print("img.shape", img.shape)  # (380, 694, 3)
print("template.shape", templ.shape)  # (30, 31, 3)
print("result.shape", result.shape)  # (380 - 30 + 1, 694 - 31 + 1) = (351, 664)
Python
img.shape (380, 694, 3)
template.shape (29, 33, 3)
result.shape (352, 662)

matplotlib で類似度のヒートマップを描画します。黄色のところは類似度が高いことを意味します。

In [4]: 
fig, ax = plt.subplots(figsize=(10, 5))
im = ax.imshow(result, cmap="jet")
fig.colorbar(im)

plt.show()
Python

類似度が最も高い場所を探す

テンプレート画像が最もマッチする位置を探すには、cv2.minMaxLoc() を使用します。 この関数は、配列の最大値、最小値およびそれぞれの位置を返します。

In [5]: 
# 最も類似度が高い位置を取得する。
minVal, maxVal, minLoc, maxLoc = cv2.minMaxLoc(result)
print(f"max value: {maxVal}, position: {maxLoc}")
# max value: 0.9999998211860657, position: (392, 124)

# 描画する。
tl = maxLoc[0], maxLoc[1]
br = maxLoc[0] + templ.shape[1], maxLoc[1] + templ.shape[0]

dst = img.copy()
cv2.rectangle(dst, tl, br, color=(0, 255, 0), thickness=2)
imshow(dst)
Python
max value: 0.997153639793396, position: (390, 124)

類似度が閾値以上の場所を探す

類似度が最も高い場所を探した場合、2 つある ❓ ブロックのうち 1 つしか検出されません。 類似度が一定以上の場所はすべて検出するように変更するには、以下のようにします。

In [6]: 
# 最も類似度が 0.9 以上の位置を取得する。
ys, xs = np.where(result >= 0.9)

# 描画する。
dst = img.copy()
for x, y in zip(xs, ys):
    cv2.rectangle(
        dst,
        (x, y),
        (x + templ.shape[1], y + templ.shape[0]),
        color=(0, 255, 0),
        thickness=2,
    )
imshow(dst)
Python

類似度の計算方法

method 引数で指定できる類似度の計算方法には以下があります。とくに拘りがなければ、cv2.CCOEFF_NORMED にしておくとよいでしょう。

入力画像を II、テンプレート画像を TT、出力結果を result\text{result} とします。 検索窓が位置 (x,y)(x, y) にあり、入力画像の検索窓の領域およびテンプレート画像の画素を 1 次元配列としたものを uxy,vxy\bm{u}_{xy}, \bm{v}_{xy} としたとき、類似度の計算はこの 2 つのベクトルの類似度を計算することに他なりません。

cv2.TM_SQDIFF

類似度を二乗差 (sum of square difference, SQDIFF) で計算します。

result(x,y)=∑i,j(T(i,j)–I(x+i,y+j))2=∥uxy–vxy∥2 \begin{aligned} \text{result}(x, y) &= \sum_{i, j} {(T(i, j) – I(x + i, y + j))^2} \\ &= \|\bm{u}_{xy} – \bm{v}_{xy}\|^2 \end{aligned}

cv2.TM_SQDIFF_NORMED

類似度を正規化二乗差 (normalized square difference) で計算します。

result(x,y)=∑i,j(T(i,j)–I(x+i,y+j))2∑i,jT(i,j)2∑i,jI(x+i,y+j)2=∥uxy–vxy∥2∥uxy∥∥vxy∥ \begin{aligned} \text{result}(x, y) &= \frac {\sum_{i, j} (T(i, j) – I(x + i, y + j))^2} {\sqrt{\sum_{i, j} T(i, j)^2} \sqrt{\sum_{i, j} I(x + i, y + j)^2}} \\ &= \frac{\|\bm{u}_{xy} – \bm{v}_{xy}\|^2}{\|\bm{u}_{xy}\| \|\bm{v}_{xy}\|} \end{aligned}

cv2.TM_CCORR

類似度を相互相関 (cross correlation, CCORR) で計算します。

result(x,y)=∑i,jT(i,j)I(x+i,y+j)=uxy⋅vxy \begin{aligned} \text{result}(x, y) &= \sum_{i, j} T(i, j) I(x + i, y + j) \\ &= \bm{u}_{xy} \cdot \bm{v}_{xy} \end{aligned}

cv2.TM_CCORR_NORMED

類似度を正規化相互相関 (normalized cross correlation) で計算します。 これはベクトル uxy,vxy\bm{u}_{xy}, \bm{v}_{xy} のなす角を θ\theta としたときの cos⁡θ\cos \theta であり、コサイン類似度と呼ばれます。 出力値は [−1,1][-1, 1] の範囲になります。

result(x,y)=∑i,jT(i,j)I(x+i,y+j)∑i,jT(i,j)2∑i,jI(x+i,y+j)2]=uxy⋅vxy∥uxy∥∥vxy∥ \begin{aligned} \text{result}(x, y) &= \frac{\sum_{i, j} T(i, j) I(x + i,y + j)} {\sqrt{\sum_{i, j} T(i, j)^2} \sqrt{\sum_{i, j} I(x + i, y + j)^2}}] \\ &= \frac{\bm{u}_{xy} \cdot \bm{v}_{xy}}{\|\bm{u}_{xy}\| \|\bm{v}_{xy}\|} \end{aligned}

cv2.TM_CCOEFF

類似度を相関係数 (correlation coefficient, COOEFF) で計算します。

result(x,y)=∑i,j(T′(i,j)⋅I′(x+i,y+j))=(uxy–uˉxy)⋅(vxy–vˉxy) \begin{aligned} \text{result}(x, y) &= \sum_{i, j} (T'(i, j) \cdot I'(x + i, y + j)) \\ &= (\bm{u}_{xy} – \bar{\bm{u}}_{xy}) \cdot (\bm{v}_{xy} – \bar{\bm{v}}_{xy}) \end{aligned}

ただし、

T′(i,j)=T(i,j)–1wh∑i’,j’T(i’,j’)I′(x+i,y+j)=I(x+i,y+j)–1wh∑i’,j’I(x+i’,y+j’) \begin{aligned} T'(i, j) &= T(i, j) – \frac{1}{wh} \sum_{i’, j’} T(i’, j’) \\ I'(x + i, y + j) &= I(x + i, y + j) – \frac{1}{wh} \sum_{i’, j’} I(x + i’, y + j’) \end{aligned}

cv2.TM_CCOEFF_NORMED

類似度を正規化相関係数 (normalized correlation coefficient) で計算します。 出力値は [−1,1][-1, 1] の範囲になります。

result(x,y)=∑i,j(T′(i,j)⋅I′(x+i,y+j))∑i,jT′(i,j)2⋅∑i,jI′(x+i,y+j)2=(uxy–uˉxy)⋅(vxy–vˉxy)∥uxy–uˉxy∥∥vxy–vˉxy∥ \begin{aligned} result(x, y) &= \frac {\sum_{i, j} (T'(i, j) \cdot I'(x + i, y + j))} {\sqrt{\sum_{i, j} T'(i, j)^2 \cdot \sum_{i, j} I'(x + i, y + j)^2}} \\ &= \frac{(\bm{u}_{xy} – \bar{\bm{u}}_{xy}) \cdot (\bm{v}_{xy} – \bar{\bm{v}}_{xy})} {\|\bm{u}_{xy} – \bar{\bm{u}}_{xy}\| \|\bm{v}_{xy} – \bar{\bm{v}}_{xy}\|} \end{aligned}

各 method のよる結果の違い

In [7]: 
params = [
    "TM_SQDIFF",
    "TM_SQDIFF_NORMED",
    "TM_CCORR",
    "TM_CCORR_NORMED",
    "TM_CCOEFF",
    "TM_CCOEFF_NORMED",
]

fig = plt.figure(figsize=(10, 10))

for i, param in enumerate(params, 1):
    result = cv2.matchTemplate(img, templ, getattr(cv2, param))

    ax = fig.add_subplot(3, 2, i)
    ax.set_title(param)
    ax.imshow(result, cmap="jet")

plt.show()
Python
OpenCV
OpenCV 画像処理

コメント

コメントする

目次
  1. 概要
  2. テンプレートマッチング
  3. cv2.matchTemplate
  4. サンプルコード
    1. result について
    2. 類似度が最も高い場所を探す
  5. 類似度が閾値以上の場所を探す
  6. 類似度の計算方法
    1. cv2.TM_SQDIFF
    2. cv2.TM_SQDIFF_NORMED
    3. cv2.TM_CCORR
    4. cv2.TM_CCORR_NORMED
    5. cv2.TM_CCOEFF
    6. cv2.TM_CCOEFF_NORMED
    7. 各 method のよる結果の違い