特許 7438702 類似領域検出装置、類似領域検出方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-16

(45)【発行日】2024-02-27

(54)【発明の名称】類似領域検出装置、類似領域検出方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240219BHJP

   G06T 7/13 20170101ALI20240219BHJP

   G06V 10/75 20220101ALI20240219BHJP

【ＦＩ】

G06T7/00 300F

G06T7/13

G06V10/75

【請求項の数】 8

(21)【出願番号】P 2019174422

(22)【出願日】2019-09-25

(65)【公開番号】P2021051581

(43)【公開日】2021-04-01

【審査請求日】2022-03-25

【前置審査】

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】木山 亮

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１８－１９４９５６（ＪＰ，Ａ）

【文献】特開２０１８－１４７０９７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／１９４

Ｇ０６Ｖ １０／７０－１０／７７８

(57)【特許請求の範囲】

【請求項1】

第１の画像と第２の画像を取得する取得部と、
前記第１の画像と前記第２の画像の各々の特徴点を抽出する特徴点抽出部と、
前記第１の画像から抽出された特徴点と前記第２の画像から抽出された特徴点とを対応付けて、画像間の対応する特徴点を検出するマッチング部と、
前記第１の画像から１つ以上の第１最外輪郭を抽出し、前記第２の画像から１つ以上の第２最外輪郭を抽出する最外輪郭抽出部と、
１つ以上の前記第１最外輪郭内の前記第１の画像の部分的な領域のうち、前記対応する特徴点の数が最大の領域、または、前記対応する特徴点の数が類似判定閾値を超える領域である、１つ以上の第１類似領域を検出し、１つ以上の前記第２最外輪郭内の前記第２の画像の部分的な領域のうち、前記対応する特徴点の数が最大の領域、または、前記対応する特徴点の数が前記類似判定閾値を超える領域である、１つ以上の第２類似領域を検出する検出部と、
を備える類似領域検出装置。

【請求項2】

前記第１の画像から１つ以上の前記第１類似領域に外接する矩形領域の画像である１つ以上の第１類似画像を切り出し、前記第２の画像から１つ以上の前記第２類似領域に外接する矩形領域の画像である１つ以上の第２類似画像を切り出し、１つ以上の前記第１類似画像のうち１つと、１つ以上の前記第２類似画像のうち１つと、の組み合わせである類似画像ペアを出力する出力部をさらに備える、
請求項１に記載の類似領域検出装置。

【請求項3】

前記出力部は、前記第１類似画像内の前記第１類似領域以外の背景領域に映り込むオブジェクトを除去し、前記第２類似画像内の前記第２類似領域以外の背景領域に映り込むオブジェクトを除去して出力する、
請求項２に記載の類似領域検出装置。

【請求項4】

前記検出部は、１つ以上の前記第１類似領域に含まれる前記対応する特徴点の位置関係と、１つ以上の前記第２類似領域に含まれる前記対応する特徴点の位置関係とに基づいて、前記第１類似領域および前記第２類似領域が正しいか否かを判定する、
請求項１乃至３のいずれか一項に記載の類似領域検出装置。

【請求項5】

前記マッチング部は、特徴点の局所特徴量の近さに基づいて、前記第１の画像から抽出された特徴点と前記第２の画像から抽出された特徴点とを対応付ける、
請求項１乃至４のいずれか一項に記載の類似領域検出装置。

【請求項6】

前記マッチング部は、前記第１の画像と前記第２の画像のうちの一方の画像から抽出された特徴点と局所特徴量が近い複数の特徴点が他方の画像から抽出された場合、前記一方の画像から抽出された特徴点と前記他方の画像から抽出された複数の特徴点とを対応付ける、
請求項５に記載の類似領域検出装置。

【請求項7】

類似領域検出装置により実行される方法であって、
第１の画像と第２の画像を取得する取得ステップと、
前記第１の画像と前記第２の画像の各々の特徴点を抽出する特徴点抽出ステップと、
前記第１の画像から抽出された特徴点と前記第２の画像から抽出された特徴点とを対応付けて、画像間の対応する特徴点を検出するマッチングステップと、
前記第１の画像から１つ以上の第１最外輪郭を抽出し、前記第２の画像から１つ以上の第２最外輪郭を抽出する最外輪郭抽出ステップと、
１つ以上の前記第１最外輪郭内の前記第１の画像の部分的な領域のうち、前記対応する特徴点の数が最大の領域、または、前記対応する特徴点の数が類似判定閾値を超える領域である、１つ以上の第１類似領域を検出し、１つ以上の前記第２最外輪郭内の前記第２の画像の部分的な領域のうち、前記対応する特徴点の数が最大の領域、または、前記対応する特徴点の数が前記類似判定閾値を超える領域である、１つ以上の第２類似領域を検出する検出ステップと、
を含む類似領域検出方法。

【請求項8】

コンピュータに、
第１の画像と第２の画像を取得する取得部の機能と、
前記第１の画像と前記第２の画像の各々の特徴点を抽出する特徴点抽出部の機能と、
前記第１の画像から抽出された特徴点と前記第２の画像から抽出された特徴点とを対応付けて、画像間の対応する特徴点を検出するマッチング部の機能と、
前記第１の画像から１つ以上の第１最外輪郭を抽出し、前記第２の画像から１つ以上の第２最外輪郭を抽出する最外輪郭抽出部の機能と、
１つ以上の前記第１最外輪郭内の前記第１の画像の部分的な領域のうち、前記対応する特徴点の数が最大の領域、または、前記対応する特徴点の数が類似判定閾値を超える領域である、１つ以上の第１類似領域を検出し、１つ以上の前記第２最外輪郭内の前記第２の画像の部分的な領域のうち、前記対応する特徴点の数が最大の領域、または、前記対応する特徴点の数が前記類似判定閾値を超える領域である、１つ以上の第２類似領域を検出する検出部の機能と、
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、類似領域検出装置、類似領域検出方法およびプログラムに関する。

【背景技術】

【0002】

画像の類似性を判定する手法として、テンプレートマッチングが広く知られている。テンプレートマッチングは、テンプレート画像を比較対象の画像と比較して、テンプレート画像に類似する部分を比較対象の画像から検出する技術である。しかし、テンプレートマッチングでは、比較対象の画像からテンプレート画像の全体と類似する領域を検出することはできるが、テンプレート画像の一部の領域に類似する領域を検出することはできない。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－７２９３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、画像間で互いに類似する部分的な領域である類似領域を各画像から検出することができる類似領域検出装置、類似領域検出方法およびプログラムを提供することである。

【課題を解決するための手段】

【0005】

実施形態の類似領域検出装置は、取得部と、特徴点抽出部と、マッチング部と、最外輪郭抽出部と、検出部と、を備える。取得部は、第１の画像と第２の画像を取得する。特徴点抽出部は、前記第１の画像と前記第２の画像の各々の特徴点を抽出する。マッチング部は、前記第１の画像から抽出された特徴点と前記第２の画像から抽出された特徴点とを対応付けて、画像間の対応点を検出する。最外輪郭抽出部は、前記第１の画像と前記第２の画像の各々から、最外輪郭を抽出する。検出部は、前記最外輪郭と前記対応点の数とに基づいて、前記第１の画像と前記第２の画像とで互いに類似する部分的な領域である類似領域を、前記第１の画像と前記第２の画像の各々から検出する。

【図面の簡単な説明】

【0006】

【図1】図１は、実施形態に係る類似領域検出装置の機能的な構成例を示すブロック図である。

【図2】図２は、実施形態に係る類似領域検出装置の処理手順の一例を示すフローチャートである。

【図3】図３は、第１の画像および第２の画像の具体例を示す図である。

【図4】図４は、対応点の一例を示す図である。

【図5】図５は、最外輪郭の一例を示す図である。

【図6】図６は、対応点が最外輪郭の内側にあるかどうかの判定方法の一例を示す図である。

【図7】図７は、最外輪郭と対応点との関係の一例を示す図である。

【図8】図８は、類似画像ペアの一例を示す図である。

【図9】図９は、類似画像ペアの一例を示す図である。

【図10】図１０は、類似画像ペアの一例を示す図である。

【図11】図１１は、対応点の位置関係を確認する手法の一例を説明する図である。

【図12】図１２は、特徴点マッチングの他の例を説明する図である。

【図13】図１３は、類似画像ペアの一例を示す図である。

【図14】図１４は、実施形態に係る類似領域検出装置のハードウェア構成例を示すブロック図である。

【発明を実施するための形態】

【0007】

以下、実施形態の類似領域検出装置、類似領域検出方法およびプログラムについて、図面を参照して詳細に説明する。

【0008】

＜実施形態の概要＞
実施形態の類似領域検出装置は、２つの画像間で互いに類似する部分的な領域である類似領域を各画像から検出するものであり、特に、特徴点マッチングと最外輪郭抽出との組み合せにより類似領域の検出を行う。

【0009】

特徴点マッチングとは、２つの画像の各々から画像の特徴を表す特徴点を抽出し、一方の画像から抽出された特徴点と他方の画像から抽出された特徴点とを、例えば各特徴点の局所特徴量の近さに基づいて対応付ける技術である。画像間で対応付けられた特徴点は対応点と呼ばれる。最外輪郭抽出とは、画像に含まれる図形などのオブジェクトの最も外側の輪郭（最外輪郭）を抽出する技術である。本実施形態では、一方の画像の中で多くの対応点を含むオブジェクトは、他方の画像の中のいずれかのオブジェクトに類似しているとの仮定のもと、２つの画像のそれぞれについて、多くの対応点を含む最外輪郭内の領域を類似領域として検出する。

【0010】

なお、類似領域を検出する方法として、特徴点マッチングのみを用いる方法も考えられる。すなわち、特徴点マッチングによって得られた対応点で囲まれた領域を類似領域として２つの画像の各々から検出する方法である。しかし、この方法では、２つの画像間で類似するオブジェクトの全体ではなく、オブジェクト内の対応点で囲まれた一部の領域だけを類似領域として検出してしまうといった問題や、２つの画像間で類似していないオブジェクトの一部に対応点が存在する場合に、そのオブジェクトの一部を含めた領域を類似領域として検出してしまうといった問題がある。これに対し本実施形態では、特徴点マッチングと最外輪郭抽出との組み合せにより類似領域の検出を行う構成としているので、２つの画像間で類似するオブジェクトの全体を類似領域として適切に検出することができる。

【0011】

本実施形態の類似領域検出装置は、例えば、部分的な類似を含む類似画像検索に用いる特徴抽出器を学習（教師有り学習）するための事例データ（学習データ）を自動生成する用途で有効に利用することができる。一般的な類似画像検索では、クエリから画像の特徴を表す特徴量を抽出し、クエリ画像の特徴量を登録画像の特徴量と比較することで、クエリ画像に類似する類似画像を検索する。一方で、部分的な類似を含む類似画像検索においては、例えばクエリ画像と登録画像の双方で領域抽出を行い、抽出された部分領域の比較も行う。これにより、部分的にでも似た画像を検索することが可能となる。こうした類似画像検索の検索精度を向上させるための手段の一つとして、類似と判断する画像同士の特徴量が近くなるように特徴抽出器を学習する方法がある。これにより学習前は検索できなかった類似画像も検索することができるようになる。

【0012】

このような特徴抽出器の類似性の学習のためには、ある画像とそれと類似する類似画像の２枚１組の類似画像ペアが必要である。類似画像が部分的な類似を含む場合、全体画像同士を類似画像ペアにするのではなく、双方の類似領域を抽出した部分画像同士を類似画像ペアにする必要がある。このような類似画像ペアを得る場合、例えば人手で複数の画像を比較して、類似領域と判断した箇所を教示する方法がある。しかし、この方法では、多くの学習データを得るには膨大な時間がかかる。これに対し、本実施形態の類似領域検出装置を用いれば、部分画像同士の類似画像ペアを人手によらず自動的に生成することができ、部分的な類似を含む類似画像検索に用いる特徴抽出器の学習を効率よく行うことができる。

【0013】

＜第１の実施形態＞
図１は、本実施形態に係る類似領域検出装置の機能的な構成例を示すブロック図である。図１に示すように、本実施形態に係る類似領域検出装置は、取得部１と、特徴点抽出部２と、マッチング部３と、最外輪郭抽出部４と、検出部５と、出力部６とを備える。

【0014】

取得部１は、処理の対象となる第１の画像と第２の画像を装置外部から取得し、取得した第１の画像および第２の画像を、特徴点抽出部２と最外輪郭抽出部４と出力部６に渡す。

【0015】

処理の対象となる第１の画像と第２の画像は、例えば、類似領域検出装置を使用するユーザにより指定される。すなわち、ユーザが第１の画像の格納場所を示すパスを指定すると、取得部１は、このパスに保存されている第１の画像を読み取る。同様に、ユーザが第２の画像の格納場所を示すパスを指定すると、取得部１は、このパスに保存されている第２の画像を読み取る。なお、画像の取得方法はこれに限らず、例えばユーザがカメラやスキャナなどで撮像した画像を、第１の画像や第２の画像として取得してもよい。

【0016】

特徴点抽出部２は、取得部１により取得された第１の画像と第２の画像の各々の特徴点を抽出し、抽出した各特徴点の局所特徴量を算出して、第１の画像と第２の画像の各々の特徴点および局所特徴量の情報をマッチング部３に渡す。

【0017】

特徴点の抽出および局所特徴量の算出は、例えばＳＩＦＴ（Scale-Invariant Feature Transform）のようなスケール不変、回転不変の手法を用いる。なお、特徴点の抽出および局所特徴量の算出の手法はこれに限らず、例えばＳＵＲＦ（Speeded-Up Robust Features）やＡＫＡＺＥ（Accelerated KAZE）などの他の手法を用いてもよい。

【0018】

マッチング部３は、第１の画像から抽出された特徴点と第２の画像から抽出された特徴点とを、各特徴点の局所特徴量の近さに基づいて対応付ける特徴点マッチングを行い、画像間で対応付けられた特徴点（以下、「対応点」と呼ぶ）を検出して、各画像の対応点の情報を検出部５に渡す。

【0019】

例えば、マッチング部３は、第１の画像から抽出された各特徴点を、第２の画像から抽出された特徴点の中で最も近い局所特徴量を持つ特徴点と対応付ける。このとき、第１の画像から抽出された各特徴点のうち、第２の画像から抽出された特徴点の中で最も近い局所特徴量を持つ特徴点を一意に特定できない特徴点については、第２の画像から抽出された特徴点との対応付けを行わないようにしてもよい。また、第１の画像から抽出された各特徴点のうち、第２の画像から抽出された特徴点の中で最も近い局所特徴量を持つ特徴点との間の局所特徴量の差分が基準値を超える特徴点については、第２の画像から抽出された特徴点との対応付けを行わないようにしてもよい。

【0020】

なお、マッチング部３は、第１の画像から抽出された各特徴点を、第２の画像から抽出された特徴点の中で最も近い局所特徴量を持つ特徴点と対応付ける代わりに、第２の画像から抽出された各特徴点を、第１の画像から抽出された特徴点の中で最も近い局所特徴量を持つ特徴点と対応付けてもよい。また、マッチング部３は、第１の画像から抽出された各特徴点を、第２の画像から抽出された特徴点の中で最も近い局所特徴量を持つ特徴点と対応付けるとともに、第２の画像から抽出された各特徴点を、第１の画像から抽出された特徴点の中で最も近い局所特徴量を持つ特徴点と対応付ける、つまり、双方向の対応付けを行うようにしてもよい。このような双方向の対応付けを行う場合は、双方向で対応関係が一致する特徴点のみを対応点として検出してもよい。

【0021】

最外輪郭抽出部４は、取得部１により取得された第１の画像と第２の画像の各々から画像に含まれる図形などのオブジェクトの最も外側の輪郭（最外輪郭）を抽出し、抽出した各最外輪郭の情報を検出部５に渡す。

【0022】

例えば、最外輪郭抽出部４は、第１の画像と第２の画像の各々で輪郭抽出を行い、抽出された輪郭のうち、他の輪郭の内側に含まれていないものを最外輪郭と判定する。輪郭抽出の手法としては、一般的なエッジ検出の技術を利用することができる。

【0023】

検出部５は、最外輪郭抽出部４により第１の画像と第２の画像の各々から抽出された最外輪郭と、マッチング部３により検出された対応点の数とに基づいて、第１の画像と第２の画像の各々から、画像間で互いに類似した領域である類似領域を検出し、検出した類似領域の情報を出力部６に渡す。

【0024】

例えば、検出部５は、第１の画像から抽出された各最外輪郭内の領域のそれぞれに含まれる対応点の数をカウントし、第１の画像から抽出された各最外輪郭内の領域のうち、対応点の数が最大の領域を第１の画像内の類似領域として検出する。同様に、検出部５は、第２の画像から抽出された各最外輪郭内の領域のそれぞれに含まれる対応点の数をカウントし、第２の画像から抽出された各最外輪郭内の領域のうち、対応点の数が最大の領域を第２の画像内の類似領域として検出する。なお、最大の対応点の数が基準値に満たない場合は、類似領域が存在しないと判定してもよい。また、最外輪郭内の領域に含まれる対応点の数をカウントするのではなく、最外輪郭に外接する矩形領域に含まれる対応点の数をカウントし、対応点の数が最大の領域を類似領域として検出してもよい。

【0025】

出力部６は、取得部１により取得された第１の画像と第２の画像の各々から、検出部５によって類似領域として検出された領域の最外輪郭に外接する矩形領域の画像を切り出して、類似画像ペアとして出力する。

【0026】

なお、第１の画像と第２の画像の双方から類似領域の最外輪郭に外接する矩形領域をそのまま切り出すのではなく、第１の画像と第２の画像の少なくとも一方について、例えば矩形の外周に余白を付け、矩形サイズを少し大きくして切り出す、あるいは、矩形サイズを逆に少し小さくして切り出すなど、矩形サイズを変えて切り出すようにしてもよい。出力部６が出力する類似画像ペアは、例えば、上述した部分的な類似を含む類似画像検索に用いる特徴抽出器の学習に用いる学習データとして利用することができる。

【0027】

次に、具体的な事例を挙げながら、本実施形態に係る類似領域検出装置による処理の具体例を説明する。図２は、本実施形態に係る類似領域検出装置の処理手順の一例を示すフローチャートである。

【0028】

まず、取得部１が、第１の画像と第２の画像を取得する（ステップＳ１０１）。ここでは、取得部１によって、図３に示す第１の画像Ｉｍ１と第２の画像Ｉｍ２が取得されたものとする。

【0029】

次に、特徴点抽出部２が、取得部１によって取得された第１の画像と第２の画像の各々の特徴点を抽出して各特徴点の局所特徴量を算出する（ステップＳ１０２）。そして、マッチング部３が、各特徴点の局所特徴量の近さに基づいて、第１の画像の特徴点と第２の画像の特徴点との特徴点マッチングを行い、第１の画像と第２の画像の対応点を検出する（ステップＳ１０３）。

【0030】

図３に示した第１の画像Ｉｍ１と第２の画像Ｉｍ２からマッチング部３によって検出された対応点の一例を図４に示す。図中の直線で結ばれた両端の黒丸の点が第１の画像Ｉｍ１と第２の画像Ｉｍ２の対応点を示している。図４では図示を簡略化するために少ない数の対応点を限定的に図示しているが、実際にはより多くの対応点が検出されることが一般的である。

【0031】

次に、最外輪郭抽出部４が、取得部１によって取得された第１の画像と第２の画像の各々から、画像内に含まれるオブジェクトの最外輪郭を抽出する（ステップＳ１０４）。

【0032】

図３に示した第１の画像Ｉｍ１と第２の画像Ｉｍ２から最外輪郭抽出部４によって抽出された最外輪郭の一例を図５に示す。図５の例では、第１の画像Ｉｍ１から２つの図形の最外輪郭Ｃ１ａ，Ｃ１ｂが抽出され、第２の画像Ｉｍ２からも２つの図形の最外輪郭Ｃ２ａ，Ｃ２ｂが抽出されている。また、第１の画像Ｉｍ１から文字列の最外輪郭Ｃ１ｃが抽出され、第２の画像Ｉｍ２からも文字列の最外輪郭Ｃ２ｃが抽出されている。なお、図形のみを類似性の判定対象とする場合は、画像内のオブジェクトが図形か文字かを判定し、文字列の最外輪郭Ｃ１ｃ，Ｃ２ｃは抽出しないように構成してもよい。また、画像全体に対するサイズの割合が所定値に満たない小さな最外輪郭を抽出しないように構成してもよい。

【0033】

なお、ここではステップＳ１０２の特徴点抽出およびステップＳ１０３の特徴点マッチングを行った後にステップＳ１０４の最外輪郭抽出を行うものとして説明したが、最外輪郭抽出を行った後に特徴点抽出および特徴点マッチングを行うようにしてもよい。また、特徴点抽出および特徴点マッチングと最外輪郭抽出とをシーケンシャル（逐次）に実施するのではなく、これらの処理をパラレル（並列）に実施するようにしてもよい。

【0034】

次に、検出部５が、最外輪郭抽出部４によって第１の画像と第２の画像の各々から抽出された最外輪郭と、マッチング部３によって検出された対応点の数とに基づいて、第１の画像と第２の画像の各々から類似領域を検出する（ステップＳ１０５）。

【0035】

例えば、検出部５は、第１の画像から抽出された最外輪郭ごとに、各最外輪郭の内部の領域で検出された対応点の数をカウントし、各最外輪郭の内部の領域のうち、対応点の数が最大の領域を、第１の画像における類似領域として検出する。同様に、検出部５は、第２の画像から抽出された最外輪郭ごとに、各最外輪郭の内部の領域で検出された対応点の数をカウントし、各最外輪郭の内部の領域のうち、検出された対応点の数が最大の領域を、第２の画像における類似領域として検出する。

【0036】

対応点が最外輪郭の内側にあるかどうかの判定方法としては、例えば図６に示すように対応点から上下左右方向など複数の方向を確認し、いずれの方向にも同じ最外輪郭に属する画素が存在すれば、対応点はその最外輪郭の内側にあると判定するといった方法を用いることができる。なお、対応点が最外輪郭上にある場合は、最外輪郭の内部にあるものと見做してカウントしてもよいし、最外輪郭の外部にあるものと見做してカウントしないようにしてもよい。

【0037】

また、対応点が最外輪郭の内側に存在するかどうかの判定方法として、最外輪郭ごとに、最外輪郭およびその内部の領域の各画素に共通の識別情報を割り当て、対応点の座標に識別情報が割り当てられていれば、その対応点は識別情報で示される最外輪郭の内側に存在すると判定するといった方法を用いてもよい。例えば、第１の画像や第２の画像と同じサイズの画像であって、最外輪郭ごとに、最外輪郭およびその内部の領域の各画素が０以外の共通の画素値を持ち、最外輪郭の外部の画素の画素値を０とした参照画像を作成し、参照画像において、第１の画像や第２の画像から検出された対応点と同じ座標の画素の画素値が０以外であれば、その対応点は参照画像で示された画素値に対応する最外輪郭の内側に存在すると判定するようにしてもよい。

【0038】

図３に示した第１の画像Ｉｍ１から抽出された最外輪郭Ｃ１ａ，Ｃ１ｂ，Ｃ１ｃおよび第２の画像Ｉｍ２から抽出された最外輪郭Ｃ２ａ，Ｃ２ｂ，Ｃ２ｃと、第１の画像Ｉｍ１および第２の画像Ｉｍ２の各々で検出された対応点との関係の一例を図７に示す。図７に示す例では、第１の画像Ｉｍ１から抽出された最外輪郭Ｃ１ａ，Ｃ１ｂ，Ｃ１ｃのうち、内側で検出された対応点の数が最も多いのは、最外輪郭Ｃ１ａである。また、第２の画像Ｉｍ２から抽出された最外輪郭Ｃ２ａ，Ｃ２ｂ，Ｃ２ｃのうち、内側で検出された対応点の数が最も多いのは、最外輪郭Ｃ２ａである。したがって、検出部５は、最外輪郭Ｃ１ａの内部の領域（第１の画像Ｉｍ１内の最外輪郭Ｃ１ａで囲まれた部分的な領域）を第１の画像Ｉｍ１における類似領域として検出し、最外輪郭Ｃ２ａの内部の領域（第２の画像Ｉｍ２内の最外輪郭Ｃ２ａで囲まれた部分的な領域）を第２の画像Ｉｍ２における類似領域として検出する。

【0039】

最後に、出力部６が、取得部１によって取得された第１の画像Ｉｍ１と第２の画像Ｉｍ２の各々から、検出部５により検出された類似領域の最外輪郭に外接する矩形領域を切り出して、第１の画像Ｉｍ１から切り出した矩形領域の画像と第２の画像Ｉｍ２から切り出した矩形領域の画像との組み合わせを類似画像ペアとして出力し（ステップＳ１０６）、本実施形態に係る類似領域検出装置による一連の処理が終了する。

【0040】

なお、出力部６は、類似領域の最外輪郭に外接する矩形領域をそのまま切り出すのではなく、上述のように矩形サイズを変えて切り出して類似画像ペアを出力するようにしてもよい。また、類似画像ペアを構成する２つの画像の矩形サイズが異なる場合、矩形サイズが小さい方に余白を追加する、あるいは矩形サイズが大きい方を小さくするなどにより、２つの画像の矩形サイズを一致させて出力するようにしてもよい。

【0041】

出力部６が出力する類似画像ペアの一例を図８に示す。図８では、図３に示した第１の画像Ｉｍ１の最外輪郭Ｃ１ａに外接する矩形領域を切り出した画像Ｉｍ１’と、図３に示した第２の画像Ｉｍ２の最外輪郭Ｃ２ａに外接する矩形領域を切り出した画像Ｉｍ２’との組み合わせが、類似画像ペアとして出力された例を示している。この出力部６が出力する類似画像ペアは、例えば上述したように、類似画像ペアの特徴量が近くなるように特徴抽出器を学習するための学習データとして利用することができる。

【0042】

以上、具体的な例を挙げながら詳細に説明したように、本実施形態に係る類似領域検出装置は、第１の画像と第２の画像を取得する取得部１と、第１の画像と第２の画像の各々の特徴点を抽出する特徴点抽出部２と、第１の画像から抽出された特徴点と第２の画像から抽出された特徴点とを対応付けて、画像間の対応点を検出するマッチング部３と、第１の画像と第２の画像の各々から、最外輪郭を抽出する最外輪郭抽出部４と、最外輪郭抽出部４により抽出された最外輪郭とマッチング部３により検出された対応点の数とに基づいて、第１の画像と第２の画像とで互いに類似する部分的な領域である類似領域を、第１の画像と第２の画像の各々から検出する検出部５と、を備える。したがって、この類似領域検出装置によれば、人手による教示操作などを必要とせずに、第１の画像と第２の画像の各々から類似領域を自動的に検出することができる。

【0043】

また、本実施形態に係る類似領域検出装置は、第１の画像と第２の画像の各々から、検出部５により検出された類似領域の最外輪郭に外接する矩形領域の画像を切り出して、類似画像ペアとして出力する出力部６をさらに備える。したがって、この類似領域検出装置を用いれば、上述の特徴抽出器を学習するための学習データとして用いる類似画像ペアを人手によらず自動的に生成することができ、特徴抽出器の学習を効率よく行うことができる。

【0044】

＜第２の実施形態＞
次に、第２の実施形態について説明する。第２の実施形態は、第１の画像Ｉｍ１と第２の画像Ｉｍ２の各々から類似領域を検出する手法が、上述した第１の実施形態と異なる。なお、類似領域検出装置の基本的な構成および処理の概要は第１の実施形態と同様であるため、以下では、第１の実施形態と重複する説明は省略し、本実施形態に特徴的な部分についてのみ説明する。

【0045】

第１の実施形態の検出部５は、第１の画像と第２の画像の各々について、各画像に含まれる最外輪郭内の領域のうち、対応点の数が最大の領域を類似領域として検出する。これに対し、第２の実施形態の検出部５は、第１の画像と第２の画像の各々について、最外輪郭内の領域に含まれる対応点の数が事前に設定された類似判定閾値を超える領域を類似領域として検出する。

【0046】

本実施形態の検出部５による処理について、図７に示した例を参照しながら具体的に説明する。図７に示した例では、第１の画像Ｉｍ１から抽出された最外輪郭Ｃ１ａ，Ｃ１ｂ，Ｃ１ｃについては、最外輪郭Ｃ１ａ内で３０個の対応点が検出され、最外輪郭Ｃ１ｂ内で７個の対応点が検出され、最外輪郭Ｃ１ｃのうちの２つの文字の領域内で１個ずつの対応点が検出されている。同様に、第２の画像Ｉｍ２から抽出された最外輪郭Ｃ２ａ，Ｃ２ｂ，Ｃ２ｃについては、最外輪郭Ｃ２ａ内で３０個の対応点が検出され、最外輪郭Ｃ２ｂ内で７個の対応点が検出され、最外輪郭Ｃ２ｃのうちの２つの文字の領域内で１個ずつの対応点が検出されている。ここで、類似判定閾値が“５”に設定されている場合、検出部５は、第１の画像Ｉｍ１から抽出された最外輪郭Ｃ１ａ，Ｃ１ｂ，Ｃ１ｃのうち、内側で検出された対応点の点数が類似判定閾値である“５”を超える最外輪郭Ｃ１ａ内の領域と、最外輪郭Ｃ１ｂ内の領域とを、第１の画像Ｉｍ１における類似領域として検出する。同様に、検出部５は、第２の画像Ｉｍ２から抽出された最外輪郭Ｃ２ａ，Ｃ２ｂ，Ｃ２ｃのうち、内側で検出された対応点の点数が類似判定閾値である“５”を超える最外輪郭Ｃ２ａ内の領域と、最外輪郭Ｃ２ｂ内の領域とを、第２の画像Ｉｍ２における類似領域として検出する。

【0047】

第１の実施形態の検出部５は、上述のように、第１の画像と第２の画像の各々について、対応点の数が最大となる最外輪郭内の領域を類似領域として検出するようにしているため、第１の画像と第２の画像の各々から複数の類似領域を検出することはできない。これに対し、本実施形態の検出部５は、対応点の数が類似判定閾値を超える最外輪郭内の領域を類似領域として検出するため、第１の画像と第２の画像の各々から複数の類似領域を検出することができる。

【0048】

なお、第１の画像と第２の画像の各々から複数の類似領域が検出された場合、第１の画像のどの類似領域が第２の画像のどの類似領域と類似しているかの対応関係は、各類似領域内の対応点の関係を参照することで特定できる。例えば図７に示した例において、第１の画像Ｉｍ１の最外輪郭Ｃ１ａ内の対応点の多くは第２の画像Ｉｍ２の最外輪郭Ｃ２ａ内の対応点と対応付けられており、第１の画像Ｉｍ１の最外輪郭Ｃ１ｂ内の対応点の多くは第２の画像Ｉｍ２の最外輪郭Ｃ２ｂ内の対応点と対応付けられている。このため、最外輪郭Ｃ１ａ内の領域と最外輪郭Ｃ２ａ内の領域とが対応関係にあり、最外輪郭Ｃ１ｂ内の領域と最外輪郭Ｃ２ｂ内の領域とが対応関係にあることが分かる。

【0049】

本実施形態では、検出部５によって第１の画像と第２の画像の各々から複数の類似領域が検出された場合、出力部６が複数の類似画像ペアを出力する。本実施形態の出力部６が出力する複数の類似画像ペアの一例を図９に示す。図９では、図３に示した第１の画像Ｉｍ１の最外輪郭Ｃ１ａに外接する矩形領域を切り出した画像Ｉｍ１’と、図３に示した第２の画像Ｉｍ２の最外輪郭Ｃ２ａに外接する矩形領域を切り出した画像Ｉｍ２’との組み合わせと、図３に示した第１の画像Ｉｍ１の最外輪郭Ｃ１ｂに外接する矩形領域を切り出した画像Ｉｍ１’’と、図３に示した第２の画像Ｉｍ２の最外輪郭Ｃ２ｂに外接する矩形領域を切り出した画像Ｉｍ２’’との組み合わせのそれぞれが、類似画像ペアとして出力された例を示している。

【0050】

以上のように、本実施形態に係る類似領域検出装置では、検出部５が、第１の画像と第２の画像の各々について、最外輪郭内の領域に含まれる対応点の数が事前に設定された類似判定閾値を超える領域を類似領域として検出するようにしている。したがって、この類似領域検出装置によれば、第１の画像と第２の画像が複数の類似領域を含む場合に、これら複数の類似領域を第１の画像と第２の画像の各々から自動的に検出することができ、また、複数の類似画像ペアを自動的に生成することができる。

【0051】

＜第３の実施形態＞
次に、第３の実施形態について説明する。第３の実施形態では、出力部６が第１の画像と第２の画像の各々から類似領域の最外輪郭に外接する矩形領域の画像を切り出して類似画像ペアとして出力する際に、矩形領域内の類似領域以外の背景領域（類似領域の輪郭となる最外輪郭の外側の領域）に映り込むオブジェクトを除去して出力する。なお、類似領域検出装置の基本的な構成および処理の概要は第１の実施形態や第２の実施形態と同様であるため、以下では、第１の実施形態や第２の実施形態と重複する説明は省略し、本実施形態に特徴的な部分についてのみ説明する。

【0052】

本実施形態の出力部９による処理について、図９に示した例を参照しながら具体的に説明する。図９は第２の実施形態の出力部９が出力する２組の類似画像ペアを示しているが、一方の類似画像ペアを構成する一方の矩形領域の画像Ｉｍ１’は、類似領域（最外輪郭Ｃ１ａ内の領域）の外側の背景領域に、最外輪郭Ｃ１ｂを持つオブジェクトの一部が映り込んだ画像となっている。また、他方の類似画像ペアを構成する一方の矩形領域の画像Ｉｍ１’’は、類似領域（最外輪郭Ｃ１ｂ内の領域）の外側の背景領域に、最外輪郭Ｃ１ａを持つオブジェクトの一部が映り込んだ画像となっており、他方の類似画像ペアを構成する他方の矩形領域の画像Ｉｍ２’’は、類似領域（最外輪郭Ｃ２ｂ内の領域）の外側の背景領域に、最外輪郭Ｃ２ａを持つオブジェクトの一部が映り込んだ画像となっている。

【0053】

本実施形態の出力部９は、このように背景領域に他のオブジェクトが映り込んだ矩形領域の画像（図９に示した画像Ｉｍ１’，Ｉｍ１’’，Ｉｍ２’’）を第１の画像や第２の画像から切り出した場合に、その画像の背景領域に映り込んだオブジェクトを除去した上で、類似画像ペアを構成する画像として出力する。本実施形態の出力部９が出力する類似画像ペアの一例を図１０に示す。図１０に示すように、本実施形態では、類似画像ペアを構成する各画像の背景領域に映り込んだオブジェクトが除去されている。

【0054】

以上のように、本実施形態に係る類似領域検出装置では、出力部６が第１の画像と第２の画像の各々から類似領域の最外輪郭に外接する矩形領域の画像を切り出して類似画像ペアとして出力する際に、矩形領域内の背景領域に映り込むオブジェクトを除去して出力するようにしている。したがって、この類似領域検出装置によれば、類似領域以外のノイズとなる情報を含まない類似画像ペアを自動的に生成することができる。

【0055】

＜第４の実施形態＞
次に、第４の実施形態について説明する。第４の実施形態では、検出部５による類似領域の検出の誤りを低減するため、検出部５が、第１の画像と第２の画像の各々の最外輪郭と対応点の数に加えて、対応点の位置関係も用いて、第１の画像と第２の画像の各々から類似領域を検出する。なお、類似領域検出装置の基本的な構成および処理の概要は第１乃至第３の実施形態と同様であるため、以下では、第１乃至第３の実施形態と重複する説明は省略し、本実施形態に特徴的な部分についてのみ説明する。

【0056】

本実施形態の検出部５は、上述の第１の実施形態や第２の実施形態と同様の手法で第１の画像と第２の画像の類似領域を推定した後、推定された各類似領域内の対応点の位置関係を確認して、推定した類似領域が正しいか否かを判定する。すなわち、第１の画像における類似領域と第２の画像における類似領域は、その内部で検出された対応点の位置関係も似ていると考えられるため、対応点の位置関係が似ていなければ類似領域ではないと判定する。つまり、第１の画像と第２の画像の各々の最外輪郭と対応点の数とに基づいて推定した類似領域のうち、対応点の位置関係が似ているものを類似領域として検出する。

【0057】

本実施形態の検出部５による処理について、図１１を参照して説明する。本実施形態の検出部５は、第１の画像における類似領域と第２の実施形態における類似領域とを推定した後、推定された各類似領域内の対応点の位置関係を比較するための正規化を行う。具体的には、例えば、第１の画像における類似領域の外接矩形と第２の画像における類似領域の外接矩形とが同じサイズの正方形となるように正規化し、図１１に示すような正規化画像ＮＩ１，ＮＩ２を得る。そして、検出部５は、これら正規化画像ＮＩ１，ＮＩ２における対応点の位置関係をそれぞれ確認し、正規化画像ＮＩ１における対応点の位置関係が正規化画像ＮＩ２における対応点の位置関係と似ていれば、推定した類似領域は正しいと判断する。一方、正規化画像ＮＩ１における対応点の位置関係が正規化画像ＮＩ２における対応点の位置関係が似ていなければ、推定した類似領域は正しくないと判断する。

【0058】

対応点の位置関係を比較する手法としては、例えば、正規化画像ＮＩ１，ＮＩ２における対応点の座標を用いて、各正規化画像ＮＩ１，ＮＩ２における２つの対応点間の距離を計算する。そして、正規化画像ＮＩ１において算出した２つの対応点間の距離と、正規化画像ＮＩ２において算出した２つの対応点間の距離との距離の差が閾値以内であれば、第１の画像において推定された類似領域と第２の画像において推定された類似領域とで、これら２つの対応点の位置関係が一致していると判断する。そして、例えば推定された各類似領域内の対応点全体に対して位置関係が一致していると判断された対応点の割合が所定値を超えていれば、第１の画像において推定された類似領域内の対応点の位置関係と、第２の画像において推定された類似領域内の対応点の位置関係とが似ていると判断する。

【0059】

なお、正規化画像ＮＩ１，ＮＩ２における対応点の座標を用いて計算された２つの対応点間の距離に基づいてこれら２つの対応点の位置関係が一致しているか否かを判断するのではなく、例えば、正規化画像ＮＩ１，ＮＩ２の一方の正規化画像における２つの対応点の相対位置をもとに他方の正規化画像における２つの対応点の位置を推定し、他方の正規化画像における２つの対応点の位置が推定した位置と一致するか否かにより、２つの対応点の位置関係が一致しているか否かを判断してもよい。

【0060】

以上のように、本実施形態に係る類似領域検出装置では、検出部５が、第１の画像と第２の画像の各々の最外輪郭と対応点の数に加えて、対応点の位置関係も用いて、第１の画像と第２の画像の各々から類似領域を検出するようにしている。したがって、この類似領域検出装置によれば、検出部５による類似領域の検出の誤りを低減することができる。

【0061】

＜第５の実施形態＞
次に、第５の実施形態について説明する。第５の実施形態では、マッチング部３が、第１の画像と第２の画像のうちの一方の画像から抽出された特徴点と局所特徴量が近い複数の特徴点が他方の画像から抽出された場合に、一方の画像から抽出された特徴点と他方の画像から抽出された複数の特徴点とを対応付ける。なお、類似領域検出装置の基本的な構成および処理の概要は第１乃至第４の実施形態と同様であるため、以下では、第１乃至第４の実施形態と重複する説明は省略し、本実施形態に特徴的な部分についてのみ説明する。

【0062】

上述の各実施形態では、マッチング部３が第１の画像と第２の画像との間で特徴点マッチングを行う際に、一方の画像の特徴点と局所特徴量が最も近い他方の画像の特徴点とを対応付けるようにしている。この方法では、一方の画像に含まれるオブジェクトに類似するオブジェクトが他方の画像に複数含まれている場合に、他方の画像において対応点が複数の領域に分散してしまい、他方の画像の類似領域を適切に検出できなくなる虞がある。

【0063】

これに対して本実施形態では、第１の画像と第２の画像のうちの一方の画像から抽出された特徴点と局所特徴量が近い複数の特徴点が他方の画像から抽出された場合に、マッチング部３が、一方の画像から抽出された特徴点と他方の画像から抽出された複数の特徴点とを対応付けるように、第１の画像と第２の画像との間の特徴点マッチングを行う。このため、一方の画像に含まれるオブジェクトに類似するオブジェクトが他方の画像に複数含まれている場合に、他方の画像において対応点が複数の領域に分散することがなく、例えば上述の第２の実施形態と同様の手法で他方の画像から類似領域を検出することにより、他方の画像から複数の類似領域を適切に検出することができる。そして、本実施形態では、一方の画像から検出した類似領域の最外輪郭に外接する矩形領域の画像に対し、他方の画像から検出した複数の類似領域の各々の最外輪郭に外接する複数の矩形領域の画像を各々組み合せて、複数の類似画像ペアを生成して出力することができる。

【0064】

図１２は、本実施形態のマッチング部３による特徴点マッチングの一例を示し、図１３は、本実施形態の出力部６が出力する類似画像ペアの一例を示している。図１２に示す例では、第１の画像Ｉｍ１１から抽出された１つの特徴点に対し、第２の画像Ｉｍ１２から抽出された２つの特徴点が対応付けられている。このため、第２の画像Ｉｍ１２においては、２つの最外輪郭内の２つの領域において多数の対応点が存在することとなり、これらの２つの領域がそれぞれ類似領域として検出される。その結果、出力部６は、図１３に示すように、第１の画像Ｉｍ１１から切り出した矩形領域の画像Ｉｍ１１’と第２の画像Ｉｍ１２から切り出した矩形領域の画像Ｉｍ１２’の組み合わせと、第１の画像Ｉｍ１１から切り出した矩形領域の画像Ｉｍ１１’と第２の画像Ｉｍ１２から切り出した矩形領域の画像Ｉｍ１２’’の組み合わせの２つの類似画像ペアを出力する。

【0065】

以上のように、本実施形態に係る類似領域検出装置では、第１の画像と第２の画像のうちの一方の画像から抽出された特徴点と局所特徴量が近い複数の特徴点が他方の画像から抽出された場合に、マッチング部３が、一方の画像から抽出された特徴点と他方の画像から抽出された複数の特徴点とを対応付けるようにしている。したがって、この類似領域検出装置によれば、一方の画像に含まれるオブジェクトに類似するオブジェクトが他方の画像に複数含まれている場合に、他方の画像において対応点が複数の領域に分散することを有効に抑制して、他方の画像から複数の類似領域を適切に検出することができる。

【0066】

＜補足説明＞
上述した各実施形態の類似領域検出装置は、例えば、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。すなわち、上述の類似領域検出装置の各部の機能は、汎用のコンピュータに搭載された１以上のプロセッサにプログラムを実行させることにより実現することができる。このとき、上記のプログラムはコンピュータに予めインストールされてもよいし、コンピュータ読み取り可能な記憶媒体に記録された上記のプログラム、あるいはネットワークを介して配布される上記のプログラムをコンピュータに適宜インストールするようにしてもよい。

【0067】

図１４は、上述した各実施形態の類似領域検出装置のハードウェア構成例を示すブロック図である。類似領域検出装置は、例えば図１４に示すように、ＣＰＵ（Central Processing Unit）などのプロセッサ１０１と、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリ１０２と、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などのストレージデバイス１０３と、液晶パネルなどの表示装置１０６やキーボードやポインティングデバイスなどの入力装置１０７といった機器を接続するための機器Ｉ／Ｆ１０４と、装置外部と通信を行う通信Ｉ／Ｆ１０５と、これら各部を接続するバス１０８とを備えた一般的なコンピュータとしてのハードウェア構成を有する。

【0068】

上述した各実施形態の類似領域検出装置を図１４に示すハードウェア構成により実現する場合、例えば、プロセッサ１０１がメモリ１０２を利用して、ストレージデバイス１０３などに格納されたプログラムを読み出して実行することにより、上述の取得部１、特徴点抽出部２、マッチング部３、最外輪郭抽出部４、検出部５および出力部６などの各部の機能を実現することができる。

【0069】

なお、上述の各実施形態の類似領域検出装置の各部の機能は、その一部または全部を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）などの専用のハードウェア（汎用のプロセッサではなく専用のプロセッサ）により実現することもできる。また、複数のプロセッサを用いて上述した各部の機能を実現する構成であってもよい。また、上述の各実施形態の類似領域検出装置は、単一のコンピュータにより実現する場合に限らず、複数のコンピュータに機能を分散して実現することもできる。

【0070】

以上、本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0071】

１ 取得部
２ 特徴点抽出部
３ マッチング部
４ 最外輪郭抽出部
５ 検出部
６ 出力部
Ｉｍ１，Ｉｍ１１ 第１の画像
Ｉｍ２，Ｉｍ１２ 第２の画像
Ｃ１ａ，Ｃ１ｂ，Ｃ１ｃ，Ｃ２ａ，Ｃ２ｂ，Ｃ２ｃ 最外輪郭

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】