(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023170185
(43)【公開日】2023-12-01
(54)【発明の名称】類似領域検出装置及び類似領域検出プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20231124BHJP
【ＦＩ】
G06T7/00 300F
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022081737
(22)【出願日】2022-05-18
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100106002
【弁理士】
【氏名又は名称】正林 真之
(74)【代理人】
【識別番号】100120891
【弁理士】
【氏名又は名称】林 一好
(72)【発明者】
【氏名】森 翔平
(72)【発明者】
【氏名】西村 敏
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096GA19
5L096HA08
5L096JA03
5L096JA11
(57)【要約】
【課題】一定の計算量で目標画像に類似する入力画像内の類似領域を検出する類似領域検出装置を提供すること。
【解決手段】類似領域検出装置１は、目標画像及び入力画像を受け付け、目標画像から特徴量を抽出し、入力画像を予め設定されたサイズで分割した各分割領域から特徴量を抽出する特徴量抽出部１２と、目標画像から抽出された特徴量と入力画像の各分割領域から抽出された特徴量とに基づいて、分割領域からいずれを選択するかを変数として数理モデルを生成する数理モデル化部１３と、生成された数理モデルの値が予め定めた閾値の条件を満たすように数理モデルを最小化する変数の解を取得するモデル変数計算部１４と、モデル変数計算部１４で取得された変数の解で特定される類似領域を決定する領域検出部１５と、を備え、領域検出部１５により決定された類似領域を出力する。
【選択図】図１
【解決手段】類似領域検出装置１は、目標画像及び入力画像を受け付け、目標画像から特徴量を抽出し、入力画像を予め設定されたサイズで分割した各分割領域から特徴量を抽出する特徴量抽出部１２と、目標画像から抽出された特徴量と入力画像の各分割領域から抽出された特徴量とに基づいて、分割領域からいずれを選択するかを変数として数理モデルを生成する数理モデル化部１３と、生成された数理モデルの値が予め定めた閾値の条件を満たすように数理モデルを最小化する変数の解を取得するモデル変数計算部１４と、モデル変数計算部１４で取得された変数の解で特定される類似領域を決定する領域検出部１５と、を備え、領域検出部１５により決定された類似領域を出力する。
【選択図】図１
【特許請求の範囲】
【請求項1】
目標画像及び入力画像を受け付ける入力部と、
前記目標画像から特徴量を抽出するとともに、前記入力画像を予め設定されたサイズで分割した分割領域のそれぞれから、特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部により、前記目標画像から抽出された特徴量と、前記入力画像の各分割領域から抽出された特徴量と、に基づいて、前記分割領域からいずれを選択するかを変数として数理モデルを生成する数理モデル化部と、
前記数理モデル化部により生成された数理モデルの値が、予め定めた閾値の条件を満たすように前記数理モデルを最小化する前記変数の解を取得するモデル変数計算部と、
前記モデル変数計算部で取得された変数の解で特定される類似領域を決定する領域検出部と、を備え、
前記領域検出部により決定された類似領域を出力する、類似領域検出装置。
前記目標画像から特徴量を抽出するとともに、前記入力画像を予め設定されたサイズで分割した分割領域のそれぞれから、特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部により、前記目標画像から抽出された特徴量と、前記入力画像の各分割領域から抽出された特徴量と、に基づいて、前記分割領域からいずれを選択するかを変数として数理モデルを生成する数理モデル化部と、
前記数理モデル化部により生成された数理モデルの値が、予め定めた閾値の条件を満たすように前記数理モデルを最小化する前記変数の解を取得するモデル変数計算部と、
前記モデル変数計算部で取得された変数の解で特定される類似領域を決定する領域検出部と、を備え、
前記領域検出部により決定された類似領域を出力する、類似領域検出装置。
【請求項2】
前記数理モデル化部は、
前記領域検出部により決定される類似領域の検出目標とするサイズを予め設定する、請求項１に記載の類似領域検出装置。
前記領域検出部により決定される類似領域の検出目標とするサイズを予め設定する、請求項１に記載の類似領域検出装置。
【請求項3】
前記数理モデルは、ヒストグラム類似度モデルと、領域サイズモデルと、領域塊状度モデルと、を備え、
前記ヒストグラム類似度モデルは最小化されることで、前記分割領域の特徴量のヒストグラムが前記目標画像から抽出された特徴量のヒストグラムに近づくように作用し、
前記領域サイズモデルは最小化されることで、前記分割領域から選択される分割領域の個数を予め定めた条件を満たすように作用し、
前記領域塊状度モデルは最小化されることで、前記分割領域のうち、隣接する分割領域を選択する度合いが高くなるように作用する、請求項１又は請求項２に記載の類似領域検出装置。
前記ヒストグラム類似度モデルは最小化されることで、前記分割領域の特徴量のヒストグラムが前記目標画像から抽出された特徴量のヒストグラムに近づくように作用し、
前記領域サイズモデルは最小化されることで、前記分割領域から選択される分割領域の個数を予め定めた条件を満たすように作用し、
前記領域塊状度モデルは最小化されることで、前記分割領域のうち、隣接する分割領域を選択する度合いが高くなるように作用する、請求項１又は請求項２に記載の類似領域検出装置。
【請求項4】
前記モデル変数計算部は、
前記ヒストグラム類似度モデルと、前記領域サイズモデルと、前記領域塊状度モデルと、をそれぞれ異なるバランス係数によりそれぞれ重みづけをしたうえで加算して算出される全体関数を予め定めた閾値の条件を満たすように最小化する前記変数の解を取得する、請求項３に記載の類似領域検出装置。
前記ヒストグラム類似度モデルと、前記領域サイズモデルと、前記領域塊状度モデルと、をそれぞれ異なるバランス係数によりそれぞれ重みづけをしたうえで加算して算出される全体関数を予め定めた閾値の条件を満たすように最小化する前記変数の解を取得する、請求項３に記載の類似領域検出装置。
【請求項5】
前記モデル変数計算部は、
前記全体関数を予め定めた閾値の条件を満たすように最小化することで取得した前記変数の解を用いて、前記ヒストグラム類似度モデルと、前記領域サイズモデルと、前記領域塊状度モデルの値を計算し、それぞれのモデルの値が、それぞれ予め定めた閾値以下になるように、前記バランス係数を調整する、請求項４に記載の類似領域検出装置。
前記全体関数を予め定めた閾値の条件を満たすように最小化することで取得した前記変数の解を用いて、前記ヒストグラム類似度モデルと、前記領域サイズモデルと、前記領域塊状度モデルの値を計算し、それぞれのモデルの値が、それぞれ予め定めた閾値以下になるように、前記バランス係数を調整する、請求項４に記載の類似領域検出装置。
【請求項6】
前記モデル変数計算部は、
前記全体関数を予め定めた閾値の条件を満たすように最小化することで取得した前記変数の解を用いて、前記ヒストグラム類似度モデルと、前記領域サイズモデルと、前記領域塊状度モデルの値を計算し、いずれかのモデルの値が前記閾値以下でない場合、前記モデルに対応するバランス係数を増加させる、請求項５に記載の類似領域検出装置。
前記全体関数を予め定めた閾値の条件を満たすように最小化することで取得した前記変数の解を用いて、前記ヒストグラム類似度モデルと、前記領域サイズモデルと、前記領域塊状度モデルの値を計算し、いずれかのモデルの値が前記閾値以下でない場合、前記モデルに対応するバランス係数を増加させる、請求項５に記載の類似領域検出装置。
【請求項7】
前記領域検出部は、
前記モデル変数計算部で取得された変数の解で特定される分割領域を用いて後処理をすることで、前記類似領域を決定する、請求項１又は請求項２に記載の類似領域検出装置。
前記モデル変数計算部で取得された変数の解で特定される分割領域を用いて後処理をすることで、前記類似領域を決定する、請求項１又は請求項２に記載の類似領域検出装置。
【請求項8】
前記後処理は、
前記分割領域から生成される４連結成分のうち最大の４連結成分を類似領域とする処理、前記分割領域から生成される８連結成分のうち最大の８連結成分を類似領域とする処理、二値画像に対して数回の膨張処理を行った後に、前記膨張処理と同じ回数の収縮処理を行うクロージング処理、又は二値画像に対して数回の収縮処理を行った後に、前記収縮処理と同じ回数の膨張処理を行うオープニング処理、の何れかの処理である、請求項７に記載の類似領域検出装置。
前記分割領域から生成される４連結成分のうち最大の４連結成分を類似領域とする処理、前記分割領域から生成される８連結成分のうち最大の８連結成分を類似領域とする処理、二値画像に対して数回の膨張処理を行った後に、前記膨張処理と同じ回数の収縮処理を行うクロージング処理、又は二値画像に対して数回の収縮処理を行った後に、前記収縮処理と同じ回数の膨張処理を行うオープニング処理、の何れかの処理である、請求項７に記載の類似領域検出装置。
【請求項9】
請求項１又は請求項２に記載の類似領域検出装置としてコンピュータを機能させるための類似領域検出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像の類似領域を検出する類似領域検出装置及び類似領域検出プログラムに関する。
【背景技術】
【0002】
画像の類似領域を検出する方法として、色特徴量や局所特徴量等の特徴量に基づく方法が広く知られている。色特徴量に基づく方法の一例として、非特許文献１の方法がある。この方法は、入力画像と色ヒストグラムの類似度が高い領域を検出するものである。物体の形状の微小な違いの検出には向かないが、物体の形状変化に頑健な検出が可能である。
また、局所特徴量に基づく方法の一例として、非特許文献２の方法がある。この方法は、局所特徴量からVisual Word（辞書）を作成し、Visual Wordの出現頻度のヒストグラムの類似度が高い領域を検出するものである。物体の回転、スケール等の形状変化や明度変動等に対して頑健な検出が可能である。
また、局所特徴量に基づく方法の一例として、非特許文献２の方法がある。この方法は、局所特徴量からVisual Word（辞書）を作成し、Visual Wordの出現頻度のヒストグラムの類似度が高い領域を検出するものである。物体の回転、スケール等の形状変化や明度変動等に対して頑健な検出が可能である。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】M. J. Swain、D. H. Ballard、 “Color indexing” 、 International Journal of Computer Vision、 Vol.7、No.1、1991、pp.11-32
【非特許文献2】G. Csurka、C. Dance、L. Fan、J. Willamowski、C. Bray、 “Visual categorization with bags of keypoints” 、ECCV Workshop on Statistical Learning in Computer Vision、2004
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、目標画像となるテンプレートと、入力画像中のテンプレートに類似度が最大となる入力画像内の位置を検出する場合、従来技術における探索は、探索領域（探索窓）を順次ずらして、探索領域（探索窓）の特徴量が目標画像（テンプレート）の特徴量に類似するかどうかを逐次的に比較する方法が知られている。
この探索方法に基づいて類似画像を検出する場合、入力画像において検出目標とする画像が目標画像（テンプレート）と同じ大きさで、同じ向きであれば、探索窓の位置を順番にずらしていくことで、目標画像（テンプレート）に類似度が最大となる入力画像内の位置を検出することができる。
しかしながら、入力画像において検出目標とする画像の大きさや向きが目標画像（テンプレート）に比較して未知の場合（例えば、２倍の大きさで斜めに傾いている等）、探索領域（探索窓）を様々な大きさ（例えば、目標画像（テンプレート）の１／２倍、等倍、３／２倍、２倍．．．）と、様々な方向（例えば、目標画像（テンプレート）を０度、３０度、６０度．．．に傾ける方向）を考慮して、目標画像（テンプレート）に類似する画像を探索する必要があった。このため、従来技術における探索は、探索領域（探索窓）の位置に係るパラメータに加え、探索領域（探索窓）の大きさや方向等形状に係るパラメータを変化させて膨大な照合処理を行う必要があるという課題があった。
この探索方法に基づいて類似画像を検出する場合、入力画像において検出目標とする画像が目標画像（テンプレート）と同じ大きさで、同じ向きであれば、探索窓の位置を順番にずらしていくことで、目標画像（テンプレート）に類似度が最大となる入力画像内の位置を検出することができる。
しかしながら、入力画像において検出目標とする画像の大きさや向きが目標画像（テンプレート）に比較して未知の場合（例えば、２倍の大きさで斜めに傾いている等）、探索領域（探索窓）を様々な大きさ（例えば、目標画像（テンプレート）の１／２倍、等倍、３／２倍、２倍．．．）と、様々な方向（例えば、目標画像（テンプレート）を０度、３０度、６０度．．．に傾ける方向）を考慮して、目標画像（テンプレート）に類似する画像を探索する必要があった。このため、従来技術における探索は、探索領域（探索窓）の位置に係るパラメータに加え、探索領域（探索窓）の大きさや方向等形状に係るパラメータを変化させて膨大な照合処理を行う必要があるという課題があった。
【0005】
本発明は、このような従来技術の問題点に鑑みてなされたもので、探索領域の位置や形状に依らず一定の計算量で、画像の特徴量のヒストグラムが類似する領域を検出することで、目標画像に類似する、入力画像内の類似領域を検出することを可能とする類似領域検出装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る類似領域検出装置は、目標画像及び入力画像を受け付ける入力部と、前記目標画像から特徴量を抽出するとともに、前記入力画像を予め設定されたサイズで分割した分割領域のそれぞれから、特徴量を抽出する特徴量抽出部と、前記特徴量抽出部により、前記目標画像から抽出された特徴量と、前記入力画像の各分割領域から抽出された特徴量と、に基づいて、前記分割領域からいずれを選択するかを変数として数理モデルを生成する数理モデル化部と、前記数理モデル化部により生成された数理モデルの値が、予め定めた閾値の条件を満たすように前記数理モデルを最小化する前記変数の解を取得するモデル変数計算部と、前記モデル変数計算部で取得された変数の解で特定される類似領域を決定する領域検出部と、を備え、前記領域検出部により決定された類似領域を出力する。
【0007】
前記数理モデル化部は、前記領域検出部により決定される類似領域の検出目標とするサイズを予め設定するようにしてもよい。
【0008】
前記数理モデルは、ヒストグラム類似度モデルと、領域サイズモデルと、領域塊状度モデルと、を備え、前記ヒストグラム類似度モデルは最小化されることで、前記分割領域の特徴量のヒストグラムが前記目標画像から抽出された特徴量のヒストグラムに近づくように作用し、前記領域サイズモデルは最小化されることで、前記分割領域から選択される分割領域の個数を予め定めた条件を満たすように作用し、前記領域塊状度モデルは最小化されることで、前記分割領域のうち、隣接する分割領域を選択する度合いが高くなるように作用するようにしてもよい。
【0009】
前記モデル変数計算部は、前記ヒストグラム類似度モデルと、前記領域サイズモデルと、前記領域塊状度モデルと、をそれぞれ異なるバランス係数によりそれぞれ重みづけをしたうえで加算して算出される全体関数を予め定めた閾値の条件を満たすように最小化する前記変数の解を取得するようにしてもよい。
【0010】
前記モデル変数計算部は、前記全体関数を予め定めた閾値の条件を満たすように最小化することで取得した前記変数の解を用いて、前記ヒストグラム類似度モデルと、前記領域サイズモデルと、前記領域塊状度モデルの値を計算し、それぞれのモデルの値が、それぞれ予め定めた閾値以下になるように、前記バランス係数を調整するようにしてもよい。
【0011】
前記領域検出部は、前記モデル変数計算部で取得された変数の解で特定される分割領域を用いて後処理をすることで、前記類似領域を決定するようにしてもよい。
【0012】
前記後処理は、前記分割領域から生成される４連結成分のうち最大の４連結成分を類似領域とする処理、前記分割領域から生成される８連結成分のうち最大の８連結成分を類似領域とする処理、二値画像に対して数回の膨張処理を行った後に、前記膨張処理と同じ回数の収縮処理を行うクロージング処理、又は二値画像に対して数回の収縮処理を行った後に、前記収縮処理と同じ回数の膨張処理を行うオープニング処理、の何れかの処理であるようにしてもよい。
【0013】
本発明に係る類似領域検出プログラムは、前記類似領域検出装置としてコンピュータを機能させるためのものである。
【発明の効果】
【0014】
本発明によれば、探索領域の位置や形状によらず一定の計算量で、画像の特徴量のヒストグラムが類似する領域を検出することで、目標画像に類似する、入力画像内の類似領域を検出することを可能とする類似領域検出装置及びそのプログラムを提供することができる。
【図面の簡単な説明】
【0015】
【図1】実施形態における類似領域検出システムの構成を示す図である。
【図2】実施形態における類似領域検出装置の備える数理モデル化部の構成例を示す機能ブロック図である。
【図3】実施形態における類似領域検出装置の備える数理モデル化部で用いる分割領域と隣接領域を模式的に表わした図である。
【図4A】実施形態における数理モデル化部を構成する領域塊状度モデル定式化部の処理例を示す図である。
【図4B】実施形態における数理モデル化部を構成する領域塊状度モデル定式化部の処理例を示す図である。
【図4C】実施形態における数理モデル化部を構成する領域塊状度モデル定式化部の処理例を示す図である。
【図4D】実施形態における数理モデル化部を構成する領域塊状度モデル定式化部の処理例を示す図である。
【図5】実施形態における類似領域検出装置の動作を示すフローチャートを示す図である。
【発明を実施するための形態】
【0016】
【0017】
類似領域検出装置１は、入力装置５０から、目標画像と、入力画像と、を受け付け、類似検出対象となる画像が含まれる目標画像内の目標領域に類似する類似領域を入力画像から検出し、検出した類似領域を出力装置６０へ出力するものである。このため、類似領域検出装置１は、予め入力画像を分割した分割領域の集合から、いずれの分割領域を選択するかを変数として、目標領域に類似する分割領域の部分集合を選択する場合に、最小の値をとる、組合せ最適化問題の数理モデルを定式化する。
【0018】
ここで、組合せ最適化問題の数理モデルについて簡単に説明する。本実施形態では、数理モデルＨを以下の（式１）に示すＱＵＢＯ（Ｑｕａｄｒａｔｉｃ Ｕｎｃｏｎｓｔｒａｎｅｄ Ｂｉｎａｒｙ Ｏｐｔｉｍａｉｚａｔｉｏｎ）：制約なし二次形式二値変数最適化）表現で構築する。
Ｈ＝ΣｉΣｊ（Ｑ（ｉ，ｊ）ｑｉｑｊ） ＝ ｑＴＱｑ
（式１）
ここで、ｑｉ、ｑｊは、ベクトルｑのｉ番目及びｊ番目の要素であり、０又は１の値をとる二値変数である。
また、Σｉ及びΣｊは、ベクトルｑの全ての要素の総和をとる演算子である。
ベクトルの右上の記号Ｔはベクトルの転置を表す。
Ｑ（ｉ，ｊ）は、パラメータ行列Ｑのｉ行目ｊ列目の要素であり、二値変数の積ｑｉｑｊの係数となる。
なお、数理モデルＨは、ＱＵＢＯ表現以外にも、それと等価なイジングモデル表現を用いてもよい。
類似領域検出装置１は、予め定めた分割領域の候補からいずれを選択するかを変数として、組合せ最適化問題の数理モデルＨを、例えば式１に示すＱＵＢＯ表現に定式化する。
Ｈ＝ΣｉΣｊ（Ｑ（ｉ，ｊ）ｑｉｑｊ） ＝ ｑＴＱｑ
（式１）
ここで、ｑｉ、ｑｊは、ベクトルｑのｉ番目及びｊ番目の要素であり、０又は１の値をとる二値変数である。
また、Σｉ及びΣｊは、ベクトルｑの全ての要素の総和をとる演算子である。
ベクトルの右上の記号Ｔはベクトルの転置を表す。
Ｑ（ｉ，ｊ）は、パラメータ行列Ｑのｉ行目ｊ列目の要素であり、二値変数の積ｑｉｑｊの係数となる。
なお、数理モデルＨは、ＱＵＢＯ表現以外にも、それと等価なイジングモデル表現を用いてもよい。
類似領域検出装置１は、予め定めた分割領域の候補からいずれを選択するかを変数として、組合せ最適化問題の数理モデルＨを、例えば式１に示すＱＵＢＯ表現に定式化する。
【0019】
計算機２は、類似領域検出装置１により生成される数理モデルの解を計算により求めるものである。具体的には、計算機２は、式（１）で示すｑの組を計算する。なお、計算機２は、類似領域検出装置１により生成される数理モデルの解を計算するものであれば、どのような計算機でもよい。例えば、計算機２は、ＱＵＢＯやイジングモデルを求解するイジングマシン等の計算機である。また、計算機２は、独立した構成とする必要はなく、類似領域検出装置１の内部に備える構成としてもよい。
【0020】
図１に、本実施形態における類似領域検出システム１００を構成する類似領域検出装置１の機能構成を示す。
類似領域検出装置１は、制御部１０及び記憶部２０を備えた情報処理装置であり、サーバ又はパーソナルコンピュータ等汎用の装置の他、専用のハードウェアとして実装されてもよい。制御部１０は、記憶部２０に格納された類似領域検出プログラム等を読み出し実行することにより、後述する入力部１１、特徴量抽出部１２、数理モデル化部１３、モデル変数計算部１４、領域検出部１５、及び出力部１６として機能する。
類似領域検出装置１は、これらの機能部により、探索領域の位置や形状に依らず一定の計算量で、画像の特徴量のヒストグラムが類似する領域を検出することができる。
次に、類似領域検出装置１の各機能について説明する。
類似領域検出装置１は、制御部１０及び記憶部２０を備えた情報処理装置であり、サーバ又はパーソナルコンピュータ等汎用の装置の他、専用のハードウェアとして実装されてもよい。制御部１０は、記憶部２０に格納された類似領域検出プログラム等を読み出し実行することにより、後述する入力部１１、特徴量抽出部１２、数理モデル化部１３、モデル変数計算部１４、領域検出部１５、及び出力部１６として機能する。
類似領域検出装置１は、これらの機能部により、探索領域の位置や形状に依らず一定の計算量で、画像の特徴量のヒストグラムが類似する領域を検出することができる。
次に、類似領域検出装置１の各機能について説明する。
【0021】
入力部１１は、類似領域検出装置１と通信可能に接続される入力装置５０から、目標画像と入力画像とを受け付ける。ここで、目標画像は、類似検出対象とする画像となる目標領域を含む画像である。また、入力画像は、目標領域の画像に類似する領域を検出する対象となる画像である。入力部１１は、受け付けた目標画像（目標領域の画像）と入力画像とを特徴量抽出部１２に出力する。
なお、目標画像及び入力画像は、それぞれ任意の形状としてもよいが、本実施形態では、説明を簡単にするために、目標画像は任意の形状の物体を目標領域として設定し、入力画像は一般的な矩形の画像を例示して説明するが、目標画像と入力画像は、これに限られない。目標画像及び入力画像は、ともに任意の形状でもよい。
なお、目標画像及び入力画像は、それぞれ任意の形状としてもよいが、本実施形態では、説明を簡単にするために、目標画像は任意の形状の物体を目標領域として設定し、入力画像は一般的な矩形の画像を例示して説明するが、目標画像と入力画像は、これに限られない。目標画像及び入力画像は、ともに任意の形状でもよい。
【0022】
特徴量抽出部１２は、入力部１１で受け付けた目標画像（目標領域の画像）、及び入力画像（入力画像領域）を予め設定されたサイズで分割した分割領域のそれぞれから、特徴量を抽出する。本実施形態では、特徴量として画素値等から抽出される色特徴量を例示するが、特に特徴量の種類は限定されない。例えば、輝度勾配から抽出される局所特徴量（つまり形状の特徴量）、また、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）やＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）を用いて算出される局所特徴量等を用いるようにしてもよい。
特徴量抽出部１２は、目標画像に対して類似検出したい物体（画像）が含まれる目標領域の画像特徴量を抽出する。また、特徴量抽出部１２は、入力画像に対しては予め設定されたサイズで入力画像領域を分割した分割領域毎に、特徴量を抽出する。
特徴量抽出部１２は、抽出した、目標領域の特徴量、及び入力画像の分割領域毎の特徴量を数理モデル化部１３に出力する。
特徴量抽出部１２は、目標画像に対して類似検出したい物体（画像）が含まれる目標領域の画像特徴量を抽出する。また、特徴量抽出部１２は、入力画像に対しては予め設定されたサイズで入力画像領域を分割した分割領域毎に、特徴量を抽出する。
特徴量抽出部１２は、抽出した、目標領域の特徴量、及び入力画像の分割領域毎の特徴量を数理モデル化部１３に出力する。
【0023】
数理モデル化部１３は、ヒストグラム類似度モデル定式化部１３１、領域サイズモデル定式化部１３２、及び領域塊状度モデル定式化部１３３を備える。
【0024】
ヒストグラム類似度モデル定式化部１３１は、入力画像内の選択する分割領域の特徴量のヒストグラムを、目標画像内の目標領域の特徴量のヒストグラムにできる限り近づけるための評価関数を生成するものである。具体的には、ヒストグラム類似度モデル定式化部１３１により生成される評価関数の取る値が最小化されることで、分割領域の選択に際して、分割領域の特徴量のヒストグラムが、目標領域の特徴量のヒストグラムに近づくように作用する。
【0025】
領域サイズモデル定式化部１３２は、入力画像のうち選択する分割領域の個数を決定するための評価関数を生成するものである。具体的には、選択される分割領域の個数をできる限り最大化する、又は検出目標の分割領域の個数にするように作用する。そうすることで、入力画像のうち選択する分割領域の総和となるサイズをできるだけ最大化するか、又は検出目標の分割領域の個数にする。
【0026】
領域塊状度モデル定式化部１３３は、入力画像のうち隣接する分割領域を選択する度合いを表す塊状度を決定するための評価関数を生成するものである。具体的には、隣接領域のいずれも選択されるか、あるいはいずれも選択されないとき、報酬項となり、隣接領域のいずれかのみが選択されるときには罰金項となるように定式化される。すなわち、領域塊状度モデル定式化部１３３により生成される評価関数のとる値が最小化されることで、分割領域の選択に際して、隣接する領域が多く選択されるように作用する。
数理モデル化部１３について説明するうえで、共通に用いる記号等の定義について説明する。
数理モデル化部１３について説明するうえで、共通に用いる記号等の定義について説明する。
【0027】
目標画像のうち類似検出したい物体（画像）が含まれる目標領域をＶ＊と表記する。
本実施形態では、前述したように入力画像は、横Ｗピクセル、縦Ｈピクセルの矩形の画像を例示する。具体的には、入力画像を、予め設定したサイズ毎に分割した分割領域の頂点集合をＶとし、各分割領域をｖ（ｘ，ｙ）（ｘ＝１，２，・・・、Ｘ、ｙ＝１，２，・・・、Ｙ）とする。
そして、分割領域ｖ（ｘ，ｙ）が、選択されるときに値１をとり、選択されないときに値０を取る二値関数をｖ＃（ｘ，ｙ）で表す。
すなわち、入力画像を分割することで分割領域が生成され、
集合Ｖ＝｛ｖ（ｘ，ｙ）；（ｘ＝１，２，・・・，Ｘ，ｙ＝１，２，・・・，Ｙ）｝
が作成される。
Ｘ，Ｙは、それぞれ分割領域の横の個数と縦の個数である。例えば、Ｗ=３０００,Ｈ＝２０００，Ｘ＝３０，Ｙ＝２０とすると、分割領域のサイズは １００ピクセル×１００ピクセルとなり、分割領域の個数は、３０×２０＝６００個となる。
また例えば、Ｗ=３０００,Ｈ＝２０００，Ｘ＝３０００，Ｙ＝２０００とすると、分割領域は画素に一致し、分割領域のサイズは１ピクセル×１ピクセルとなり、分割領域の個数は３０００×２０００＝６００００００個となる。
分割領域のサイズ（例えば、縦のピクセル数と横のピクセル数）は、目標領域Ｖ＊のサイズとは独立して設定可能である。
分割領域のサイズは、類似領域の検出を大雑把にしたり、より細かくしたりする等、検出の精度に関係する。例えば、分割領域のサイズを目標領域Ｖ＊のサイズよりも大きくすると、類似領域の検出が大雑把になるため、分割領域のサイズは、目標領域Ｖ＊のサイズ以下とすることが好ましい。
高精度な検出が必要な場合には、より細かく分割領域を区切ることが好ましい。ただし、細かく分割領域を区切るほど、変数の数が多くなり、計算時間が増大する。このため、具体的なピクセル数については画像や目的によって設定するものとする。
本実施形態では、前述したように入力画像は、横Ｗピクセル、縦Ｈピクセルの矩形の画像を例示する。具体的には、入力画像を、予め設定したサイズ毎に分割した分割領域の頂点集合をＶとし、各分割領域をｖ（ｘ，ｙ）（ｘ＝１，２，・・・、Ｘ、ｙ＝１，２，・・・、Ｙ）とする。
そして、分割領域ｖ（ｘ，ｙ）が、選択されるときに値１をとり、選択されないときに値０を取る二値関数をｖ＃（ｘ，ｙ）で表す。
すなわち、入力画像を分割することで分割領域が生成され、
集合Ｖ＝｛ｖ（ｘ，ｙ）；（ｘ＝１，２，・・・，Ｘ，ｙ＝１，２，・・・，Ｙ）｝
が作成される。
Ｘ，Ｙは、それぞれ分割領域の横の個数と縦の個数である。例えば、Ｗ=３０００,Ｈ＝２０００，Ｘ＝３０，Ｙ＝２０とすると、分割領域のサイズは １００ピクセル×１００ピクセルとなり、分割領域の個数は、３０×２０＝６００個となる。
また例えば、Ｗ=３０００,Ｈ＝２０００，Ｘ＝３０００，Ｙ＝２０００とすると、分割領域は画素に一致し、分割領域のサイズは１ピクセル×１ピクセルとなり、分割領域の個数は３０００×２０００＝６００００００個となる。
分割領域のサイズ（例えば、縦のピクセル数と横のピクセル数）は、目標領域Ｖ＊のサイズとは独立して設定可能である。
分割領域のサイズは、類似領域の検出を大雑把にしたり、より細かくしたりする等、検出の精度に関係する。例えば、分割領域のサイズを目標領域Ｖ＊のサイズよりも大きくすると、類似領域の検出が大雑把になるため、分割領域のサイズは、目標領域Ｖ＊のサイズ以下とすることが好ましい。
高精度な検出が必要な場合には、より細かく分割領域を区切ることが好ましい。ただし、細かく分割領域を区切るほど、変数の数が多くなり、計算時間が増大する。このため、具体的なピクセル数については画像や目的によって設定するものとする。
【0028】
各分割領域ｖ（ｘ，ｙ）に対して、類似領域として選択される場合に値１をとり、選択されない場合に値０を取る二値関数をｖ＃（ｘ，ｙ）が定義される。これにより、後述するように、類似領域の検出は、分割領域ｖ（ｘ，ｙ）のうちいずれの分割領域を選択するかについては、二値変数であるｖ＃（ｘ，ｙ）についてそれぞれ二次式で表現されるヒストグラム類似度モデルＨ１、領域サイズモデルＨ２、及び領域塊状度モデルＨ３をバランス係数λ１、λ２、λ３により加算した全体関数ＨＡＬＬを最小化する二値変数ｖ＃（ｘ，ｙ）の解を算出することに帰着させることができる。
ＨＡＬＬ ＝ λ１Ｈ１＋λ２Ｈ２＋λ３Ｈ３
（式２）
ＨＡＬＬ ＝ λ１Ｈ１＋λ２Ｈ２＋λ３Ｈ３
（式２）
【0029】
次に、ヒストグラム類似度モデル定式化部１３１について説明する。ヒストグラム類似度モデル定式化部１３１は、入力画像内の選択する分割領域ｖ（ｘ，ｙ）の特徴量のヒストグラムＦ（ｘ，ｙ）を、目標画像内の目標領域Ｖ＊の特徴量のヒストグラムｈ＊にできる限り近づけるための評価関数を生成するものである。ここでは、特徴量として、画素値等から抽出される色特徴量を例示する。
具体的には、例えばＲＧＢそれぞれを４階調とした６４色の色特徴量を用いる場合、各画素の特徴量は、各画素（ｗ，ｈ）の色番号に対応する要素を１、それ以外を０とする６４次元のｏｎｅ－ｈｏｔベクトルｆ（ｗ、ｈ）で表される。なお、特徴量としては、前述したように、例えば、輝度勾配から抽出される局所特徴量（つまり形状の特徴量）等、任意の特徴量を適用してもよい。いずれの特徴量であっても、特徴量の種類を問わず、特徴量の個数の次元のベクトルとして表すことができる。
具体的には、例えばＲＧＢそれぞれを４階調とした６４色の色特徴量を用いる場合、各画素の特徴量は、各画素（ｗ，ｈ）の色番号に対応する要素を１、それ以外を０とする６４次元のｏｎｅ－ｈｏｔベクトルｆ（ｗ、ｈ）で表される。なお、特徴量としては、前述したように、例えば、輝度勾配から抽出される局所特徴量（つまり形状の特徴量）等、任意の特徴量を適用してもよい。いずれの特徴量であっても、特徴量の種類を問わず、特徴量の個数の次元のベクトルとして表すことができる。
【0030】
目標領域Ｖ＊の特徴量のヒストグラムｈ＊は、出現頻度の総和で正規化した相対度数として、以下の式３（［数１］）により定義することができる。
明細書中の数式は、式ｎ（ｎ：自然数）により表し、引用している。ただし、イメージ化した式には墨付きカッコによる数を付加する必要がある。このため、式を示す番号と、墨付きカッコ内の番号と、は異なる。
（式３）
ここで、｜Ｖ＊｜は目標領域Ｖ＊に含まれる画素（ｗ，ｈ）数を表わす演算子、Σは、Ｖ＊に含まれる画素（ｗ，ｈ）についてｆ（ｗ、ｈ）の総和をとる演算子である。
明細書中の数式は、式ｎ（ｎ：自然数）により表し、引用している。ただし、イメージ化した式には墨付きカッコによる数を付加する必要がある。このため、式を示す番号と、墨付きカッコ内の番号と、は異なる。
【数1】
ここで、｜Ｖ＊｜は目標領域Ｖ＊に含まれる画素（ｗ，ｈ）数を表わす演算子、Σは、Ｖ＊に含まれる画素（ｗ，ｈ）についてｆ（ｗ、ｈ）の総和をとる演算子である。
【0031】
入力画像内の各分割領域ｖ（ｘ，ｙ）の特徴量のヒストグラムＦ（ｘ，ｙ）についても出現頻度の総和で正規化した相対度数として、以下の式４により定義することができる。
（式４）
ここで、｜ｖ（ｘ，ｙ）｜は、分割領域ｖ（ｘ，ｙ）に含まれる画素（ｗ，ｈ）数を表す演算子、Σは、分割領域ｖ（ｘ，ｙ）に含まれる画素（ｗ，ｈ）について、ｆ（ｗ、ｈ）の総和をとる演算子である。
【数2】
ここで、｜ｖ（ｘ，ｙ）｜は、分割領域ｖ（ｘ，ｙ）に含まれる画素（ｗ，ｈ）数を表す演算子、Σは、分割領域ｖ（ｘ，ｙ）に含まれる画素（ｗ，ｈ）について、ｆ（ｗ、ｈ）の総和をとる演算子である。
【0032】
次に、各分割領域ｖ（ｘ，ｙ）の特徴量のヒストグラムＦ（ｘ，ｙ）を要素とするＸＹ次元のベクトルＦを
Ｆ＝｛Ｆ（１，１） Ｆ（１，２）・・・Ｆ（Ｘ，Ｙ－１） Ｆ（Ｘ，Ｙ）｝
（式５）
と定義するとともに、
各分割領域の二値関数値ｖ＃（ｘ，ｙ）を要素とするＸＹ次元のベクトルｖ＃を
ｖ＃＝｛ｖ＃（１，１） ｖ＃（１，１）・・・ｖ＃（Ｘ，Ｙ－１） ｖ＃（Ｘ，Ｙ）｝
（式６）
と定義する。
そうすると、入力画像内の選択する分割領域ｖ（ｘ，ｙ）の目標個数｜Ｖｔａｒｇｅｔ｜を予め設定する場合（以下、「分割領域の目標個数が設定される場合」ともいう）、入力画像内の選択する分割領域ｖ（ｘ，ｙ）における特徴量のヒストグラムｈは、選択される分割領域ｖ（ｘ，ｙ）の特徴量のヒストグラムＦ（ｘ，ｙ）の総和を目標個数（｜Ｖｔａｒｇｅｔ｜）で正規化した相対度数として、以下の式７により定義することができる。
ｈ＝（１／｜Ｖｔａｒｇｅｔ｜）Ｆｖ＃
（式７）
ここで、「分割領域の目標個数が設定される場合」とは、例えば、次のようなケースを意味する。例えば、目標画像に含まれるニンジンを類似検出対象とする場合、入力画像内にニンジンの含まれるピクセル数を予め把握することができれば、目標画像に類似する類似領域の目標サイズを予め設定することができる。このような場合、目標サイズから目標個数｜Ｖｔａｒｇｅｔ｜を算出することができる。
Ｆ＝｛Ｆ（１，１） Ｆ（１，２）・・・Ｆ（Ｘ，Ｙ－１） Ｆ（Ｘ，Ｙ）｝
（式５）
と定義するとともに、
各分割領域の二値関数値ｖ＃（ｘ，ｙ）を要素とするＸＹ次元のベクトルｖ＃を
ｖ＃＝｛ｖ＃（１，１） ｖ＃（１，１）・・・ｖ＃（Ｘ，Ｙ－１） ｖ＃（Ｘ，Ｙ）｝
（式６）
と定義する。
そうすると、入力画像内の選択する分割領域ｖ（ｘ，ｙ）の目標個数｜Ｖｔａｒｇｅｔ｜を予め設定する場合（以下、「分割領域の目標個数が設定される場合」ともいう）、入力画像内の選択する分割領域ｖ（ｘ，ｙ）における特徴量のヒストグラムｈは、選択される分割領域ｖ（ｘ，ｙ）の特徴量のヒストグラムＦ（ｘ，ｙ）の総和を目標個数（｜Ｖｔａｒｇｅｔ｜）で正規化した相対度数として、以下の式７により定義することができる。
ｈ＝（１／｜Ｖｔａｒｇｅｔ｜）Ｆｖ＃
（式７）
ここで、「分割領域の目標個数が設定される場合」とは、例えば、次のようなケースを意味する。例えば、目標画像に含まれるニンジンを類似検出対象とする場合、入力画像内にニンジンの含まれるピクセル数を予め把握することができれば、目標画像に類似する類似領域の目標サイズを予め設定することができる。このような場合、目標サイズから目標個数｜Ｖｔａｒｇｅｔ｜を算出することができる。
【0033】
「分割領域の目標個数が設定される場合」、ヒストグラム類似度モデルＨ１１は、以下の式８で定義することができる。
（式８）
ここで、|| ||２ ２は、Ｌ２ノルム|| ||２の２乗、ベクトルの右上の記号Ｔはベクトルの転置を表す。
式８に、「分割領域の目標個数が設定される場合」の選択される分割領域ｖ（ｘ，ｙ）の特徴量のヒストグラムｈ（式７）を代入すると、ヒストグラム類似度モデルＨ１１は、次の式９で表される。
（式９）
【数3】
ここで、|| ||２ ２は、Ｌ２ノルム|| ||２の２乗、ベクトルの右上の記号Ｔはベクトルの転置を表す。
式８に、「分割領域の目標個数が設定される場合」の選択される分割領域ｖ（ｘ，ｙ）の特徴量のヒストグラムｈ（式７）を代入すると、ヒストグラム類似度モデルＨ１１は、次の式９で表される。
【数4】
【0034】
他方、「分割領域の目標個数を設定しない場合」、選択される分割領域ｖ（ｘ，ｙ）の特徴量のヒストグラムｈを、選択される分割領域ｖ（ｘ，ｙ）の特徴量のヒストグラムＦ（ｘ，ｙ）の総和を、選択される分割領域ｖ（ｘ，ｙ）の総数で正規化した相対度数として、以下の式１０により定義することができる。
（式１０）
ここで、Σは、入力画像の全ての分割領域ｖ（ｘ，ｙ）の総和をとる演算子である。すなわち、Σの値は選択される分割領域ｖ（ｘ，ｙ）の総数である。
【数5】
ここで、Σは、入力画像の全ての分割領域ｖ（ｘ，ｙ）の総和をとる演算子である。すなわち、Σの値は選択される分割領域ｖ（ｘ，ｙ）の総数である。
【0035】
「分割領域の目標個数が設定されない場合」、ヒストグラム類似度モデルＨ１２は、以下の式１１で定義することができる。
（式１１）
式１１に、「分割領域の目標個数が設定されない場合」の選択される分割領域ｖ（ｘ，ｙ）の特徴量のヒストグラムｈ（式１０）を代入すると、
ヒストグラム類似度モデルＨ１２は、式１２で表される。
（式１２）
ここで、１ＸＹは、全ての要素が１であるＸＹ次元ベクトル、１（ＸＹ）×（ＸＹ）は、全ての要素が１である（ＸＹ）×（ＸＹ）次元行列である。また、式１２で、「〇の中にＸが記載された記号」は、テンソル積を示す。
すなわち、１ＸＹと（ｈ＊ＴＦ）とのテンソル積は、ＸＹ次元の全ての行が（ｈ＊ＴＦ）である行列であり、（ｈ＊ＴＦ）１（ＸＹ）×（ＸＹ）は、（ＸＹ）×（ＸＹ）次元の全ての要素が、（ｈ＊ＴＦ）である行列となる。
以上、ヒストグラム類似度モデル定式化部１３１は、「分割領域の目標個数が設定される場合」と、「分割領域の目標個数が設定されない場合」と、のそれぞれのケースに応じて、式９で示すヒストグラム類似度モデルＨ１１、及び式１２で示すヒストグラム類似度モデルＨ１２を出力する。その後、ヒストグラム類似度モデル定式化部１３１は、ヒストグラム類似度モデルＨ１１又はヒストグラム類似度モデルＨ１２をモデル変数計算部１４に出力する。
以上により、前述したように、ヒストグラム類似度モデル定式化部１３１により生成される評価関数の取る値が最小化されることで、分割領域の選択に際して、分割領域の特徴量のヒストグラムが、目標領域の特徴量のヒストグラムに近づくように作用する。
【数6】
式１１に、「分割領域の目標個数が設定されない場合」の選択される分割領域ｖ（ｘ，ｙ）の特徴量のヒストグラムｈ（式１０）を代入すると、
ヒストグラム類似度モデルＨ１２は、式１２で表される。
【数7】
ここで、１ＸＹは、全ての要素が１であるＸＹ次元ベクトル、１（ＸＹ）×（ＸＹ）は、全ての要素が１である（ＸＹ）×（ＸＹ）次元行列である。また、式１２で、「〇の中にＸが記載された記号」は、テンソル積を示す。
すなわち、１ＸＹと（ｈ＊ＴＦ）とのテンソル積は、ＸＹ次元の全ての行が（ｈ＊ＴＦ）である行列であり、（ｈ＊ＴＦ）１（ＸＹ）×（ＸＹ）は、（ＸＹ）×（ＸＹ）次元の全ての要素が、（ｈ＊ＴＦ）である行列となる。
以上、ヒストグラム類似度モデル定式化部１３１は、「分割領域の目標個数が設定される場合」と、「分割領域の目標個数が設定されない場合」と、のそれぞれのケースに応じて、式９で示すヒストグラム類似度モデルＨ１１、及び式１２で示すヒストグラム類似度モデルＨ１２を出力する。その後、ヒストグラム類似度モデル定式化部１３１は、ヒストグラム類似度モデルＨ１１又はヒストグラム類似度モデルＨ１２をモデル変数計算部１４に出力する。
以上により、前述したように、ヒストグラム類似度モデル定式化部１３１により生成される評価関数の取る値が最小化されることで、分割領域の選択に際して、分割領域の特徴量のヒストグラムが、目標領域の特徴量のヒストグラムに近づくように作用する。
【0036】
領域サイズモデル定式化部１３２は、前述したように、入力画像のうち選択する分割領域の個数を決定するための評価関数を生成するものである。具体的には、選択される分割領域の個数をできる限り最大化する、又は検出目標の分割領域の個数にするように作用する。そうすることで、入力画像のうち選択する分割領域の総和となるサイズをできるだけ最大化する。
【0037】
領域サイズモデル定式化部１３２は、ヒストグラム類似度モデル定式化部１３１と同様に、「分割領域の目標個数が設定される場合」と、「分割領域の目標個数が設定されない場合」と、のそれぞれのケースに応じて領域サイズモデルＨ２１及び領域サイズモデルＨ２２を出力する。その後、領域サイズモデル定式化部１３２は、領域サイズモデルＨ２１、及び領域サイズモデルＨ２２をモデル変数計算部１４に出力する。
まず、「分割領域の目標個数が設定される場合」について説明する。
まず、「分割領域の目標個数が設定される場合」について説明する。
【0038】
「分割領域の目標個数が設定される場合」、領域サイズモデルＨ２１は、式１３で表される。
（式１３）
式１３に示す領域サイズモデルＨ２１は、入力画像における分割領域の目標個数（目標サイズ）と、入力画像内の選択する分割領域の個数との差の二乗である。したがって、最小化されることで、選択する分割領域をできる限り分割領域の目標個数（目標サイズ）に近づける働きをする。
【数8】
式１３に示す領域サイズモデルＨ２１は、入力画像における分割領域の目標個数（目標サイズ）と、入力画像内の選択する分割領域の個数との差の二乗である。したがって、最小化されることで、選択する分割領域をできる限り分割領域の目標個数（目標サイズ）に近づける働きをする。
【0039】
他方、「分割領域の目標個数が設定されない場合」、領域サイズモデルＨ２２は、式１４で表される。
（式１４）
式１４に示す領域サイズモデルＨ２２は、入力画像のうち選択する分割領域の個数の総和に負の符号をつけたものである。したがって、最小化されることで、選択する分割領域の個数（目標サイズ）をできる限り最大化する働きをする。
領域サイズモデル定式化部１３２は、「分割領域の目標個数が設定される場合」、式（１３）に示す領域サイズモデルＨ２１を、また「分割領域の目標個数が設定されない場合」、式（１４）に示す領域サイズモデルＨ２２をモデル変数計算部１４に出力する。
【数9】
式１４に示す領域サイズモデルＨ２２は、入力画像のうち選択する分割領域の個数の総和に負の符号をつけたものである。したがって、最小化されることで、選択する分割領域の個数（目標サイズ）をできる限り最大化する働きをする。
領域サイズモデル定式化部１３２は、「分割領域の目標個数が設定される場合」、式（１３）に示す領域サイズモデルＨ２１を、また「分割領域の目標個数が設定されない場合」、式（１４）に示す領域サイズモデルＨ２２をモデル変数計算部１４に出力する。
【0040】
最後に、領域塊状度モデル定式化部１３３について説明する。領域塊状度モデル定式化部１３３は、前述したように、入力画像のうち隣接する分割領域を選択する度合いを表す塊状度を決定するための評価関数を生成するものである。具体的には、隣接領域がいずれも選択されるか、あるいはいずれも選択されないとき、報酬項となり、隣接領域がいずれかのみ選択されるときには罰金項となるように定式化される。すなわち、領域塊状度モデル定式化部１３３により生成される評価関数のとる値が最小化されることで、分割領域の選択に際して、隣接する領域が多く選択されるように作用する。
隣接する分割領域を選択する度合いを表す塊状度を説明するうえで、隣接する分割領域について説明する。
隣接する分割領域となる２つの隣接領域を結ぶ辺集合をＥとし、各隣接領域の関係となる分割領域のペアを（ｖ（ｘ，ｙ），ｖ（ｘ’、ｙ’））、ただし、ｖ（ｘ，ｙ）≠ｖ（ｘ’、ｙ’）とする。２つの隣接領域と隣接領域の共有する辺（「隣接領域を結ぶ辺」ともいう）とは、１対１に対応する。
ここで、隣接領域の集合を、隣接領域を結ぶ辺集合Ｅと同一視する。
なお、画像の最外縁の分割領域は画像の最外縁と隣接すると見做すことで、当該分割領域の外側の辺を便宜上、辺集合Ｅに含むと定義する。この場合、ｖ（ｘ‘、ｙ’）は、画像の外側にあると仮定する。なお、ｖ（ｘ’、ｙ’）は画像に含まれないが、ｖ＃（ｘ‘、ｙ’）の値は、隣接領域ｖ（ｘ，ｙ）の関数ｖ＃（ｘ，ｙ）の値と同一の値とする。
隣接する分割領域を選択する度合いを表す塊状度を説明するうえで、隣接する分割領域について説明する。
隣接する分割領域となる２つの隣接領域を結ぶ辺集合をＥとし、各隣接領域の関係となる分割領域のペアを（ｖ（ｘ，ｙ），ｖ（ｘ’、ｙ’））、ただし、ｖ（ｘ，ｙ）≠ｖ（ｘ’、ｙ’）とする。２つの隣接領域と隣接領域の共有する辺（「隣接領域を結ぶ辺」ともいう）とは、１対１に対応する。
ここで、隣接領域の集合を、隣接領域を結ぶ辺集合Ｅと同一視する。
なお、画像の最外縁の分割領域は画像の最外縁と隣接すると見做すことで、当該分割領域の外側の辺を便宜上、辺集合Ｅに含むと定義する。この場合、ｖ（ｘ‘、ｙ’）は、画像の外側にあると仮定する。なお、ｖ（ｘ’、ｙ’）は画像に含まれないが、ｖ＃（ｘ‘、ｙ’）の値は、隣接領域ｖ（ｘ，ｙ）の関数ｖ＃（ｘ，ｙ）の値と同一の値とする。
【0041】
図３は、隣接する２つの分割領域に対して、２つの隣接領域を結ぶ辺を対応づけた図である。図３を参照すると、２０個の分割領域ｖ（ｘ，ｙ）（ｘ＝１，２，３，４，５、ｙ＝１，２，３，４）がある。そして、最外縁の分割領域が画像の最外縁と隣接すると見做すと、画像の最外縁は便宜上ｖ（０、ｙ）、ｖ（６，ｙ）（ｙ＝１，２，３，４）、ｖ（ｘ，０）、ｖ（ｘ、５）（ｘ＝１，２，３，４，５）により表される。２つの隣接領域を結ぶ（矢印で示す）辺が、ｙの値を固定したとき、６（＝５＋１）個あり、ｘの値を固定したとき、５（＝４＋１）個あることがわかる。すなわち、隣接領域の個数は、（５＋１）・４＋５・（４＋１）＝４９個あることがわかる。
このように、隣接領域の個数は、Ｘ・（Ｙ＋１）＋（Ｘ＋１）・Ｙ個であることがわかる。
このように、隣接領域の個数は、Ｘ・（Ｙ＋１）＋（Ｘ＋１）・Ｙ個であることがわかる。
【0042】
領域塊状度モデル定式化部１３３は、領域塊状度モデルＨ３を以下の式１５により定義することができる。
（式１５）
ここで、Σは、入力画像の全ての隣接する分割領域の総和をとる演算子である。
なお、ｖ＃（０、ｙ）の値は、隣接領域ｖ（１，ｙ）の関数ｖ＃（１，ｙ）の値と同一の値とする。同様に、ｖ＃（Ｘ＋１、ｙ）の値は、隣接領域ｖ（Ｘ，ｙ）の関数ｖ＃（Ｘ，ｙ）の値と同一の値とする。ｖ＃（ｘ、０）及びｖ＃（ｘ、Ｙ＋１）についても同様である。
そうすると、隣接領域がいずれも選択されるか、あるいはいずれも選択されないとき、
［－（２ｖ＃（ｘ，ｙ）－１）・（２ｖ＃（ｘ’，ｙ’）－１）］＝－１となり、最小化される場合には報酬項となるように作用する。
他方、隣接領域がいずれかのみ選択されるとき、
［－（２ｖ＃（ｘ，ｙ）－１）・（２ｖ＃（ｘ’，ｙ’）－１）］＝１となり、最小化される場合には罰金項となるように作用する。よって、この式に示す領域塊状度モデル Ｈ３は、最小化されることで、できる限り隣接する分割領域を選択する働きをする。隣接する領域が多く選択される場合は、高い塊状度となりＨ３の値は、より小さくなる。隣接しない領域を多く選択される場合は、低い塊状度となりＨ３の値は、より大きくなる。
【数10】
ここで、Σは、入力画像の全ての隣接する分割領域の総和をとる演算子である。
なお、ｖ＃（０、ｙ）の値は、隣接領域ｖ（１，ｙ）の関数ｖ＃（１，ｙ）の値と同一の値とする。同様に、ｖ＃（Ｘ＋１、ｙ）の値は、隣接領域ｖ（Ｘ，ｙ）の関数ｖ＃（Ｘ，ｙ）の値と同一の値とする。ｖ＃（ｘ、０）及びｖ＃（ｘ、Ｙ＋１）についても同様である。
そうすると、隣接領域がいずれも選択されるか、あるいはいずれも選択されないとき、
［－（２ｖ＃（ｘ，ｙ）－１）・（２ｖ＃（ｘ’，ｙ’）－１）］＝－１となり、最小化される場合には報酬項となるように作用する。
他方、隣接領域がいずれかのみ選択されるとき、
［－（２ｖ＃（ｘ，ｙ）－１）・（２ｖ＃（ｘ’，ｙ’）－１）］＝１となり、最小化される場合には罰金項となるように作用する。よって、この式に示す領域塊状度モデル Ｈ３は、最小化されることで、できる限り隣接する分割領域を選択する働きをする。隣接する領域が多く選択される場合は、高い塊状度となりＨ３の値は、より小さくなる。隣接しない領域を多く選択される場合は、低い塊状度となりＨ３の値は、より大きくなる。
【0043】
図４Ａから図４Ｂを参照して、領域塊状度モデル定式化部１３３の処理例を説明する。ここでは、Ｘ＝５，Ｙ＝４の場合を例示している。ここで、選択する分割領域はハッチングで示している。また、白矢印に対応する隣接する分割領域はいずれも選択されるか、あるいはいずれも選択されないケースを、黒矢印に対応する隣接する分割領域はいずれかのみ選択されるケースを示す。
図４Ａ、図４Ｂ、図４Ｃ、及び図４Ｄのように分割領域を選択する場合、Ｈ３の値は、それぞれ以下のように算出できる。
図４Ａ、図４Ｂ、図４Ｃ、及び図４Ｄのように分割領域を選択する場合、Ｈ３の値は、それぞれ以下のように算出できる。
【0044】
図４Ａを参照すると、隣接領域がいずれも選択されるか、あるいはいずれも選択されないケース（白矢印）が３９個、隣接領域がいずれかのみ選択されるケース（黒矢印）が１０個であることから、
Ｈ３＝－１・３９＋１・１０＝－２９
となる。
図４Ｂを参照すると、隣接領域がいずれも選択されるか、あるいはいずれも選択されないケース（白矢印）が３７個、隣接領域がいずれかのみ選択されるケース（黒矢印）が１２個であることから、
Ｈ３＝－１・３７＋１・１２＝－２５
となる。
図４Ｃを参照すると、隣接領域がいずれも選択されるか、あるいはいずれも選択されないケース（白矢印）が２９個、隣接領域がいずれかのみ選択されるケース（黒矢印）が２０個であることから、
Ｈ３＝－１・２９＋１・２０＝－９
となる。
図４Ｄを参照すると、隣接領域がいずれも選択されるか、あるいはいずれも選択されないケース（白矢印）が２５個、隣接領域がいずれかのみ選択されるケース（黒矢印）が２４個であることから、
Ｈ３＝－１・２５＋１・２４＝－１
となる。
Ｈ３の値は、図４Ａの場合が最小値をとり、図４Ｄの場合が、最大の値を取ることがわかる。このように、領域塊状度モデルＨ３は、入力画像のうち隣接する分割領域を選択する度合いを表す塊状度を示し、領域塊状度モデルＨ３はとる値が最小化されることで、分割領域の選択に際して、隣接する領域が多く選択されるように作用することがわかる。
以上、数理モデル化部１３について説明した。
Ｈ３＝－１・３９＋１・１０＝－２９
となる。
図４Ｂを参照すると、隣接領域がいずれも選択されるか、あるいはいずれも選択されないケース（白矢印）が３７個、隣接領域がいずれかのみ選択されるケース（黒矢印）が１２個であることから、
Ｈ３＝－１・３７＋１・１２＝－２５
となる。
図４Ｃを参照すると、隣接領域がいずれも選択されるか、あるいはいずれも選択されないケース（白矢印）が２９個、隣接領域がいずれかのみ選択されるケース（黒矢印）が２０個であることから、
Ｈ３＝－１・２９＋１・２０＝－９
となる。
図４Ｄを参照すると、隣接領域がいずれも選択されるか、あるいはいずれも選択されないケース（白矢印）が２５個、隣接領域がいずれかのみ選択されるケース（黒矢印）が２４個であることから、
Ｈ３＝－１・２５＋１・２４＝－１
となる。
Ｈ３の値は、図４Ａの場合が最小値をとり、図４Ｄの場合が、最大の値を取ることがわかる。このように、領域塊状度モデルＨ３は、入力画像のうち隣接する分割領域を選択する度合いを表す塊状度を示し、領域塊状度モデルＨ３はとる値が最小化されることで、分割領域の選択に際して、隣接する領域が多く選択されるように作用することがわかる。
以上、数理モデル化部１３について説明した。
【0045】
数理モデル化部１３により生成されるヒストグラム類似度モデルＨ１１、Ｈ１２、領域サイズモデルＨ２１、Ｈ２２、及び領域塊状度モデルＨ３は、いずれも二値変数であるｖ＃（ｘ，ｙ）について二次式で表現されることから、式変形によって、前述した式（１）で表されるＱＵＢＯ表現に変換することができる。
なお、二値変数について次数が二次以下であれば、ＱＵＢＯ表現に変換することが可能であることは当業者にとって自明である。すなわち、０又は１をとる二値変数ｑでは、ｑとｑの二乗とは等価（０も１も二乗しても不変）であるため、一次の項と二次の項とは等価変換することができる。また、定数項は、二値変数をどのように選んでも評価関数には影響を与えないことから無視することができる。このように、二値変数ｖ＃（ｘ，ｙ）について、ヒストグラム類似度モデルＨ１１、Ｈ１２、領域サイズモデルＨ２１、Ｈ２２、及び領域塊状度モデルＨ３は、いずれも次数が二次以下であることから、ＱＵＢＯ表現に変換することができる。
次に、モデル変数計算部１４について説明する。
なお、二値変数について次数が二次以下であれば、ＱＵＢＯ表現に変換することが可能であることは当業者にとって自明である。すなわち、０又は１をとる二値変数ｑでは、ｑとｑの二乗とは等価（０も１も二乗しても不変）であるため、一次の項と二次の項とは等価変換することができる。また、定数項は、二値変数をどのように選んでも評価関数には影響を与えないことから無視することができる。このように、二値変数ｖ＃（ｘ，ｙ）について、ヒストグラム類似度モデルＨ１１、Ｈ１２、領域サイズモデルＨ２１、Ｈ２２、及び領域塊状度モデルＨ３は、いずれも次数が二次以下であることから、ＱＵＢＯ表現に変換することができる。
次に、モデル変数計算部１４について説明する。
【0046】
モデル変数計算部１４は、数理モデル化部１３で生成された数理モデルで、最適な分割領域となる変数の解を、計算機２により計算するものである。モデル変数計算部１４は、数理モデル化部１３で生成された数理モデルを加算した全体関数を、計算機２に出力し、計算結果となる変数の解を取得する。
ここでは、モデル変数計算部１４は、「分割領域の目標個数が設定される場合」、ヒストグラム類似度モデルＨ１１と、領域サイズモデルＨ２１と、領域塊状度モデルＨ３と、をバランス係数λ１、λ２、λ３を用いて加算した以下の式２－１の全体関数ＨＡＬＬを最小化する二値変数であるｖ＃（ｘ，ｙ）の解の計算を、計算機２に指示する。
ＨＡＬＬ ＝ λ１Ｈ１１＋λ２Ｈ２１＋λ３Ｈ３
（式１６）
同様に、モデル変数計算部１４は、「分割領域の目標個数が設定されない場合」、ヒストグラム類似度モデルＨ１２と、領域サイズモデルＨ２２と、領域塊状度モデルＨ３と、をバランス係数λ１、λ２、λ３を用いて加算した以下の式２－２の全体関数ＨＡＬＬを最小化する二値変数であるｖ＃（ｘ，ｙ）の解の計算を、計算機２に指示する。
ＨＡＬＬ ＝ λ１Ｈ１２＋λ２Ｈ２２＋λ３Ｈ３
（式１７）
ここでは、モデル変数計算部１４は、「分割領域の目標個数が設定される場合」、ヒストグラム類似度モデルＨ１１と、領域サイズモデルＨ２１と、領域塊状度モデルＨ３と、をバランス係数λ１、λ２、λ３を用いて加算した以下の式２－１の全体関数ＨＡＬＬを最小化する二値変数であるｖ＃（ｘ，ｙ）の解の計算を、計算機２に指示する。
ＨＡＬＬ ＝ λ１Ｈ１１＋λ２Ｈ２１＋λ３Ｈ３
（式１６）
同様に、モデル変数計算部１４は、「分割領域の目標個数が設定されない場合」、ヒストグラム類似度モデルＨ１２と、領域サイズモデルＨ２２と、領域塊状度モデルＨ３と、をバランス係数λ１、λ２、λ３を用いて加算した以下の式２－２の全体関数ＨＡＬＬを最小化する二値変数であるｖ＃（ｘ，ｙ）の解の計算を、計算機２に指示する。
ＨＡＬＬ ＝ λ１Ｈ１２＋λ２Ｈ２２＋λ３Ｈ３
（式１７）
【0047】
ここで、バランス係数λ１、λ２、λ３は、３つのモデルＨ１（Ｈ１１又はＨ１２），Ｈ２（Ｈ２１又はＨ２２）及びＨ３のそれぞれに掛かる比重であって、その値が大きいほどその値に係るモデルに比重が置かれる。バランス係数λ１、λ２、λ３に予め初期値を設定し、計算機に計算を実行させて、変数ｖ＃（ｘ，ｙ）の解を取得する。例えば、目標領域のヒストグラムにどの程度類似した領域を検出するか、あるいは塊状度がどの程度高い領域を検出するか、等に応じて初期値を設定する。
取得した変数の解を用いて、３つのモデルＨ１（Ｈ１１又はＨ１２），Ｈ２（Ｈ２１又はＨ２２）及びＨ３を計算し、それぞれ３つのモデルの値（計算結果）が予めそれぞれのモデルに定めた閾値以下になるように、対応するバランス係数を調整する。そして、バランス係数λ１、λ２、λ３を調整する間、計算機に全体関数ＨＡＬＬの再計算（求解）を行う処理を繰り返す。例えば、３つのモデルＨ１（Ｈ１１又はＨ１２），Ｈ２（Ｈ２１又はＨ２２）又はＨ３のいずれかの値が予め定めた閾値以下でない場合、そのモデルに対応するバランス係数λ１、λ２、λ３のいずれかを増加させることで、このモデルに課される比重を重くする。これによって、このモデルの値を減少させることができる。
このようにバランス係数λ１、λ２、λ３を調整することで、全体関数ＨＡＬＬの最適化を図ることができる。
なお、この全体関数ＨＡＬＬの再計算には、繰り返し回数の上限を設けてもよい。これによって、設定した繰り返し回数の上限の値によっては、３つのモデルの何れかの値が閾値以下とならない場合でも、計算を終了させるようにしてもよい。
その後、モデル変数計算部１４は、変数ｖ＃（ｘ，ｙ）の解を領域検出部１５に出力する。
取得した変数の解を用いて、３つのモデルＨ１（Ｈ１１又はＨ１２），Ｈ２（Ｈ２１又はＨ２２）及びＨ３を計算し、それぞれ３つのモデルの値（計算結果）が予めそれぞれのモデルに定めた閾値以下になるように、対応するバランス係数を調整する。そして、バランス係数λ１、λ２、λ３を調整する間、計算機に全体関数ＨＡＬＬの再計算（求解）を行う処理を繰り返す。例えば、３つのモデルＨ１（Ｈ１１又はＨ１２），Ｈ２（Ｈ２１又はＨ２２）又はＨ３のいずれかの値が予め定めた閾値以下でない場合、そのモデルに対応するバランス係数λ１、λ２、λ３のいずれかを増加させることで、このモデルに課される比重を重くする。これによって、このモデルの値を減少させることができる。
このようにバランス係数λ１、λ２、λ３を調整することで、全体関数ＨＡＬＬの最適化を図ることができる。
なお、この全体関数ＨＡＬＬの再計算には、繰り返し回数の上限を設けてもよい。これによって、設定した繰り返し回数の上限の値によっては、３つのモデルの何れかの値が閾値以下とならない場合でも、計算を終了させるようにしてもよい。
その後、モデル変数計算部１４は、変数ｖ＃（ｘ，ｙ）の解を領域検出部１５に出力する。
【0048】
領域検出部１５は、モデル変数計算部１４で計算された変数ｖ＃（ｘ，ｙ）の解に基づいて、類似領域として検出する領域を決定するものである。変数ｖ＃（ｘ，ｙ）の解を直接用いる場合、対応する分割領域ｖ（ｘ，ｙ）を類似領域としてもよい。
また、変数ｖ＃（ｘ，ｙ）の解に対応する分割領域ｖ＃（ｘ，ｙ）を用いて後処理をしたものを類似領域としてもよい。例えば、解に対応する分割領域の集合により複数の４連結成分が作成される場合、それらの４連結成分のうち、最大の４連結成分を類似領域とすることが考えられる。なお、４連結成分に換えて８連結成分を適用してもよい。また、解に対応する分割領域に対して、二値画像処理における膨張や収縮を用いるクロージングやオープニングの処理を施したものを類似領域とすることも考えられる。
類似領域のデータ形式としてはｖ（ｘ，ｙ）を用いたデータとしてもよいし、また画素情報に修正したデータや、枠線等により類似領域を示す画像データとしてもよい。
このように、類似領域を決定することで、例えば、ユーザの目的に応じた出力形態により類似領域を表示することができる。
その後、領域検出部１５は、類似領域を、出力部１６に出力する。
また、変数ｖ＃（ｘ，ｙ）の解に対応する分割領域ｖ＃（ｘ，ｙ）を用いて後処理をしたものを類似領域としてもよい。例えば、解に対応する分割領域の集合により複数の４連結成分が作成される場合、それらの４連結成分のうち、最大の４連結成分を類似領域とすることが考えられる。なお、４連結成分に換えて８連結成分を適用してもよい。また、解に対応する分割領域に対して、二値画像処理における膨張や収縮を用いるクロージングやオープニングの処理を施したものを類似領域とすることも考えられる。
類似領域のデータ形式としてはｖ（ｘ，ｙ）を用いたデータとしてもよいし、また画素情報に修正したデータや、枠線等により類似領域を示す画像データとしてもよい。
このように、類似領域を決定することで、例えば、ユーザの目的に応じた出力形態により類似領域を表示することができる。
その後、領域検出部１５は、類似領域を、出力部１６に出力する。
【0049】
出力部１６は、領域検出部１５で決定した類似領域を出力装置６０に出力する。なお、出力部１６は、領域検出部１５で決定した類似領域を出力装置６０に限らず、通信可能に接続された装置（又はシステム）（図示せず）に対して出力するようにしてもよい。
以上、類似領域検出システム１００の備える機能について説明した。次に、類似領域検出装置１の動作について説明する。
以上、類似領域検出システム１００の備える機能について説明した。次に、類似領域検出装置１の動作について説明する。
【0050】
【0051】
ステップＳ０２において、特徴量抽出部１２は、ステップＳ０１で受け付けた目標画像と入力画像と、からそれぞれ特徴量を抽出する。具体的には、特徴量抽出部１２は、目標画像から類似検出したい物体（画像）が含まれる目標領域の画像特徴量を抽出する。また、特徴量抽出部１２は、入力画像から、予め設定されたサイズで入力画像領域を分割した分割領域ｖ（ｘ，ｙ）毎に特徴量を抽出する。
【0052】
ステップＳ０３において、数理モデル化部１３は、ステップＳ０２で抽出された特徴量に基づいて、類似領域として検出する分割領域を決定する数理モデルとして、ヒストグラム類似度モデルＨ１と、領域サイズモデルＨ２と、領域塊状度モデルＨ３と、を生成する。具体的には、分割領域の目標個数が設定される場合、数理モデル化部１３は、ヒストグラム類似度モデルＨ１１と、領域サイズモデルＨ２１と、領域塊状度モデルＨ３と、を生成する。分割領域の目標個数を設定されない場合、数理モデル化部１３は、ヒストグラム類似度モデルＨ１２と、領域サイズモデルＨ２２と、領域塊状度モデルＨ３と、を生成する。
【0053】
ステップＳ０４において、モデル変数計算部１４は、ステップＳ０３で生成された３つのモデルＨ１（Ｈ１１又はＨ１２），Ｈ２（Ｈ２１又はＨ２２）及びＨ３から、全体関数ＨＡＬＬを算出する際のバランス係数λ１、λ２、λ３の初期値を設定する。
【0054】
ステップＳ０５において、モデル変数計算部１４は、ステップＳ０３で生成された３つのモデルＨ１（Ｈ１１又はＨ１２），Ｈ２（Ｈ２１又はＨ２２）及びＨ３と、ステップＳ０４で設定された、あるいは、後記するステップＳ０８で調整されたバランス係数λ１、λ２、λ３と、を用いて、全体関数ＨＡＬＬを最小化する二値変数であるｖ＃（ｘ，ｙ）の解を、計算機２を用いて計算する。
【0055】
ステップＳ０６において、モデル変数計算部１４は、全体関数ＨＡＬＬを最小化する変数を計算する計算回数が予め定めた閾値以下か否かを判定する。ここで、計算回数が予め定めた閾値以下の場合（Ｙｅｓの場合）、ステップＳ０７に動作を進める。計算回数が予め定めた閾値を超えた場合（Ｎｏの場合）、ステップＳ０９に動作を進める。
【0056】
ステップＳ０７において、モデル変数計算部１４は、ステップＳ０５で求められた変数の解を用いて、３つのモデルＨ１（Ｈ１１又はＨ１２），Ｈ２（Ｈ２１又はＨ２２）及びＨ３を計算し、それぞれの数理モデルの値が、予めモデル毎に定めた閾値以下か否かを判定する。３つのモデルＨ１（Ｈ１１又はＨ１２），Ｈ２（Ｈ２１又はＨ２２）及びＨ３のそれぞれの閾値は、所望の性能に応じて自由に設定できる。ここで、３つのモデルＨ１（Ｈ１１又はＨ１２），Ｈ２（Ｈ２１又はＨ２２）及びＨ３のそれぞれの値が、予めモデル毎に定めた閾値以下の場合（Ｙｅｓの場合）、ステップＳ０９に動作を進める。一方、３つのモデルＨ１（Ｈ１１又はＨ１２），Ｈ２（Ｈ２１又はＨ２２）及びＨ３のいずれかの値が予めモデル毎に定めた閾値以下でない場合（Ｎｏの場合）、ステップＳ０８に動作を進める。
【0057】
ステップＳ０８において、モデル変数計算部１４は、数理モデルの値が予め定めた閾値以下である数理モデルについて、対応するバランス係数に予め定めた正の実数を加算することでバランス係数を増加させるか、あるいは、数理モデルの値が予め定めた閾値以下でない数理モデルについて、バランス係数に予め定めた負の実数を加算することで、バランス係数を減少させる。例えば、ヒストグラム類似度モデルＨ１（Ｈ１１又はＨ１２）の値のみが閾値以下でない場合、バランス係数λ１を増加させるか、あるいはバランス係数λ２、λ３を減少させる。その後、ステップＳ０５に動作を戻す。
【0058】
ステップＳ０９において、領域検出部１５は、ステップＳ０５で求められた、二値変数ｖ＃（ｘ，ｙ）の解に基づいて、類似領域を決定する。
【0059】
ステップＳ１０において、出力部１６は、領域検出部１５で決定した類似領域を出力装置６０へ出力する。
以上、類似領域検出装置１の動作について説明した。
以上、類似領域検出装置１の動作について説明した。
【0060】
本実施形態によれば、類似領域検出装置１において、特徴量抽出部１２は目標画像Ｖ＊及び入力画像を受け付け、目標画像Ｖ＊から特徴量ｈ＊を抽出するとともに、入力画像を予め設定されたサイズで分割した分割領域ｖ（ｘ，ｙ）のそれぞれから、特徴量を抽出し、数理モデル化部１３は、目標画像から抽出された特徴量と、入力画像の各分割領域から抽出された特徴量と、に基づいて、分割領域からいずれを選択するかを変数として数理モデルを生成し、モデル変数計算部１４は、生成された数理モデルＨの値が、予め定めた閾値の条件を満たすように数理モデルＨを最小化する変数ｖ＃（ｘ，ｙ）の解を取得することで、領域検出部１５は変数の解で特定される類似領域を決定する。
これにより、類似領域検出装置１は、探索領域の位置や形状によらず一定の計算量で、画像の特徴量のヒストグラムが類似する領域を検出することで、目標画像に類似する、入力画像内の類似領域を検出することができる。
これにより、類似領域検出装置１は、探索領域の位置や形状によらず一定の計算量で、画像の特徴量のヒストグラムが類似する領域を検出することで、目標画像に類似する、入力画像内の類似領域を検出することができる。
【0061】
数理モデル化部１３は、領域検出部１５により決定される類似領域の検出目標とするサイズを予め設定するようにしてもよい。それにより、入力画像における検出目標にサイズが既知であれば、計算量を減らすことができる。
【0062】
数理モデルＨは、ヒストグラム類似度モデルＨ１と、領域サイズモデルＨ２と、領域塊状度モデルＨ３と、を備え、ヒストグラム類似度モデルＨ１は最小化されることで、分割領域の特徴量のヒストグラムｈが目標画像から抽出された特徴量ｈ＊のヒストグラムに近づくように作用し、領域サイズモデルＨ２は最小化されることで、分割領域から選択される分割領域の個数を予め定めた条件を満たすように作用し、領域塊状度モデルＨ３は最小化されることで、分割領域のうち、隣接する分割領域を選択する度合いが高くなるように作用するため、適切な類似領域の検出が可能である。
【0063】
モデル変数計算部１４は、ヒストグラム類似度モデルＨ１と、領域サイズモデルＨ２と、領域塊状度モデルＨ３と、をそれぞれ異なるバランス係数λ１、λ２、λ３によりそれぞれ重みづけをしたうえで加算して算出される全体関数ＨＡＬＬを予め定めた閾値の条件を満たすように最小化する変数ｖ＃（ｘ，ｙ）の解を取得するようにしてもよい。
このように、バランス係数λ１、λ２、λ３に基づいて作成される全体関数ＨＡＬＬの最適化を図ることができる。
このように、バランス係数λ１、λ２、λ３に基づいて作成される全体関数ＨＡＬＬの最適化を図ることができる。
【0064】
モデル変数計算部は、さらに前記全体関数を予め定めた閾値の条件を満たすように最小化することで取得した前記変数の解を用いて、前記ヒストグラム類似度モデルと、前記領域サイズモデルと、前記領域塊状度モデルの値を計算し、それぞれのモデルの値が、それぞれ予め定めた閾値以下になるように、前記バランス係数を調整するようにしてもよい。
このようにバランス係数λ１、λ２、λ３を調整することで、全体関数ＨＡＬＬの最適化を図ることができる。
このようにバランス係数λ１、λ２、λ３を調整することで、全体関数ＨＡＬＬの最適化を図ることができる。
【0065】
前記領域検出部は、前記モデル変数計算部で取得された変数の解で特定される分割領域を用いて後処理をすることで、前記類似領域を決定するようにしてもよい。
具体的には、前記後処理は、前記分割領域から生成される４連結成分のうち最大の４連結成分を類似領域とする処理、前記分割領域から生成される８連結成分のうち最大の８連結成分を類似領域とする処理、二値画像に対して数回の膨張処理を行った後に、前記膨張処理と同じ回数の収縮処理を行うクロージング処理、又は二値画像に対して数回の収縮処理を行った後に、前記収縮処理と同じ回数の膨張処理を行うオープニング処理、の何れかの処理であるようにしてもよい。
このように類似領域を決定することで、例えば、ユーザの目的に応じた出力形態により類似領域を表示することができる。
具体的には、前記後処理は、前記分割領域から生成される４連結成分のうち最大の４連結成分を類似領域とする処理、前記分割領域から生成される８連結成分のうち最大の８連結成分を類似領域とする処理、二値画像に対して数回の膨張処理を行った後に、前記膨張処理と同じ回数の収縮処理を行うクロージング処理、又は二値画像に対して数回の収縮処理を行った後に、前記収縮処理と同じ回数の膨張処理を行うオープニング処理、の何れかの処理であるようにしてもよい。
このように類似領域を決定することで、例えば、ユーザの目的に応じた出力形態により類似領域を表示することができる。
【0066】
また、本発明に係る類似領域検出プログラムは、前記類似領域検出装置としてコンピュータを機能させるためのものである。
【0067】
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
【0068】
本実施形態において、モデル変数計算部１４は、ヒストグラム類似度モデルＨ１を画素値から抽出される色特徴量を用いて、算出するようにしたが、前述したように、特徴量として、例えば輝度勾配から抽出される局所特徴量（つまり形状の特徴量）、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）やＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）を用いて算出される局所特徴量等を用いるようにしてもよい。
すなわち、ヒストグラム類似度モデルＨ１として、異なる特徴量に基づいて、２種類以上のヒストグラム類似度モデルＨ１－１、Ｈ１－２等を生成することができる。
そうすると、２種類以上のヒストグラム類似度モデルＨ１－１、Ｈ１－２等と、領域サイズモデルＨ２と、領域塊状度モデルＨ３と、をバランス係数λ１－１、λ１－２、λ２、λ３を用いて加算した式１８に示す全体関数ＨＡＬＬを最小化する変数ｖ＃（ｘ，ｙ）を求めるようにしてもよい。
ＨＡＬＬ ＝ λ１－１Ｈ１－１＋λ１－２Ｈ１－２＋λ２Ｈ２＋λ３Ｈ３
（式１８）
そうすることで、２種類以上の特徴量によるヒストグラム類似度モデルＨ１－１、Ｈ１－２を用いる全体関数により算出される類似領域は、２種類以上の特徴量を考慮した類似領域を検出することが可能である。
すなわち、ヒストグラム類似度モデルＨ１として、異なる特徴量に基づいて、２種類以上のヒストグラム類似度モデルＨ１－１、Ｈ１－２等を生成することができる。
そうすると、２種類以上のヒストグラム類似度モデルＨ１－１、Ｈ１－２等と、領域サイズモデルＨ２と、領域塊状度モデルＨ３と、をバランス係数λ１－１、λ１－２、λ２、λ３を用いて加算した式１８に示す全体関数ＨＡＬＬを最小化する変数ｖ＃（ｘ，ｙ）を求めるようにしてもよい。
ＨＡＬＬ ＝ λ１－１Ｈ１－１＋λ１－２Ｈ１－２＋λ２Ｈ２＋λ３Ｈ３
（式１８）
そうすることで、２種類以上の特徴量によるヒストグラム類似度モデルＨ１－１、Ｈ１－２を用いる全体関数により算出される類似領域は、２種類以上の特徴量を考慮した類似領域を検出することが可能である。
【0069】
本実施形態では、主に類似領域検出装置１の構成と動作について説明したが、本発明はこれに限られず、各構成要素を備え、類似領域を出力装置６０に出力するための方法、又はプログラムとして構成されてもよい。
【0070】
さらに、類似領域検出装置１の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
【0071】
ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【0072】
さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【0073】
１００ 類似領域検出システム
１ 類似領域検出装置
１０ 制御部
１１ 入力部
１２ 特徴量抽出部
１３ 数理モデル化部
１３１ ヒストグラム類似度モデル定式化部
１３２ 領域サイズモデル定式化部
１３３ 領域塊状度モデル定式化部
１４ モデル変数計算部
１５ 領域検出部
１６ 出力部
２０ 記憶部
５０ 入力装置
６０ 出力装置
２ 計算機（イジングマシン）
１ 類似領域検出装置
１０ 制御部
１１ 入力部
１２ 特徴量抽出部
１３ 数理モデル化部
１３１ ヒストグラム類似度モデル定式化部
１３２ 領域サイズモデル定式化部
１３３ 領域塊状度モデル定式化部
１４ モデル変数計算部
１５ 領域検出部
１６ 出力部
２０ 記憶部
５０ 入力装置
６０ 出力装置
２ 計算機（イジングマシン）
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】