特許 6220737 被写体領域抽出装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6220737

(24)【登録日】2017年10月6日

(45)【発行日】2017年10月25日

(54)【発明の名称】被写体領域抽出装置、方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20171016BHJP

   G06F 17/30 20060101ALI20171016BHJP

【ＦＩ】

   G06T7/00 350A

   G06T7/00 300F

   G06F17/30 170B

   G06F17/30 419B

【請求項の数】4

【全頁数】20

(21)【出願番号】特願2014-123525(P2014-123525)

(22)【出願日】2014年6月16日

(65)【公開番号】特開2016-4369(P2016-4369A)

(43)【公開日】2016年1月12日

【審査請求日】2016年9月9日

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】田良島 周平

(72)【発明者】

【氏名】入江 豪

(72)【発明者】

【氏名】新井 啓之

(72)【発明者】

【氏名】谷口 行信

【審査官】 板垣 有紀

(56)【参考文献】

【文献】 特開２０１３−１１７８６０（ＪＰ，Ａ）

【文献】 特表２０１２−５２６３１１（ＪＰ，Ａ）

【文献】 特開平０６−２２３１７９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／０３１６９８８（ＵＳ，Ａ１）

【文献】 永橋 知行 他，構造に基づく特徴量を用いたグラフマッチングによる物体識別，情報処理学会研究報告，日本，社団法人情報処理学会，２００６年 ５月１９日，第2006巻 第51号，pp.69-74

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｆ １７／３０

(57)【特許請求の範囲】

【請求項1】

抽出対象の被写体を表す複数の画像を含む画像集合に含まれる画像の各々について、前記画像を複数の部分領域に分割する部分領域分割部と、
前記画像集合に含まれる画像の各々に対し、前記部分領域分割部により分割された前記画像の複数の部分領域の各々について画像特徴量を抽出する部分領域特徴抽出部と、
前記画像集合に含まれる画像の各々について、前記部分領域分割部により分割された前記画像の複数の部分領域からなる部分領域集合のうちの部分集合を、被写体候補領域として初期化する被写体候補領域初期化部と、
前記画像集合に含まれる画像の各々に対し、初期化された被写体候補領域、又は前回更新された前記被写体候補領域について、前記被写体候補領域に含まれる部分領域の各々に対応するノード及び隣接する前記部分領域のペアに対応するノードの各々を結んだエッジからなるグラフ構造を構築する画像グラフ構築部と、
前記画像集合に含まれる画像のうちの画像ペアの各々について、前記画像ペアに含まれる画像の前記複数の部分領域の各々の画像特徴量に基づいて、前記画像ペアに含まれる画像の各々に対して構築された前記グラフ構造を比較して、前記画像ペア間で前記被写体候補領域に含まれる部分領域の対応付けを行うグラフマッチング部と、
前記グラフマッチング部による前記画像ペアの各々についての対応付けの結果に基づいて、前記画像集合に含まれる画像の前記被写体候補領域に含まれる部分領域の各々に対応するノード、隣接する前記部分領域のペアに対応するノードの各々を結んだエッジ、及び前記画像ペア間で対応付けられた前記部分領域の各々に対応するノードの各々を結んだエッジからなるグラフ構造を構築する全体グラフ構築部と、
前記画像集合に含まれる画像の各々に対し、前記画像の被写体候補領域に含まれる部分領域の各々について、前記全体グラフ構築部により構築されたグラフ構造についてクラスタリングを行って前記グラフ構造に含まれる複数のノードをクラスタに分類したときに、前記部分領域がクラスタに属するか否かを判定し、前記クラスタに属すると判定された前記部分領域の各々からなる前記被写体候補領域に更新する被写体候補領域更新部と、
予め定められた繰り返し終了条件を満たすまで、前記画像グラフ構築部によるグラフ構造の構築と、前記グラフマッチング部による対応付けと、前記全体グラフ構築部による全体グラフの構築と、前記被写体候補領域更新部による更新とを繰り返す反復判定部と、
を含む、被写体領域抽出装置。

【請求項2】

被写体画像判定部を更に含み、
前記グラフマッチング部は、前記画像集合に含まれる画像のうちの画像ペアの各々について、前記画像ペア間で前記被写体候補領域に含まれる部分領域の対応付けを行うと共に、前記部分領域の対応付けの各々についてマッチングスコアを更に取得し、
前記被写体画像判定部は、前記画像集合に含まれる画像の各々について、前記画像の前記被写体候補領域に含まれる部分領域との対応付けについて取得したマッチングスコアに基づいて、前記画像が前記抽出対象の被写体を表す画像であるか否かを判定し、
前記全体グラフ構築部は、前記被写体画像判定部によって前記抽出対象の被写体を表す画像であると判定された画像の各々の前記被写体候補領域に含まれる部分領域の各々に対応するノードを、前記グラフ構造のノードとして構築し、
前記反復判定部は、予め定められた繰り返し終了条件を満たすまで、前記画像グラフ構築部によるグラフ構造の構築と、前記グラフマッチング部による対応付けと、前記被写体画像判定部による判定と、前記全体グラフ構築部による全体グラフの構築と、前記被写体候補領域更新部による更新とを繰り返す請求項１記載の被写体領域抽出装置。

【請求項3】

部分領域分割部と、部分領域特徴抽出部と、被写体候補領域初期化部と、画像グラフ構築部と、グラフマッチング部と、全体グラフ構築部と、被写体候補領域更新部と、反復判定部と、を含む被写体領域抽出装置における被写体領域抽出方法であって、
前記部分領域分割部は、抽出対象の被写体を表す複数の画像を含む画像集合に含まれる画像の各々について、前記画像を複数の部分領域に分割し、
前記部分領域特徴抽出部は、前記画像集合に含まれる画像の各々に対し、前記部分領域分割部により分割された前記画像の複数の部分領域の各々について画像特徴量を抽出し、
前記被写体候補領域初期化部は、前記画像集合に含まれる画像の各々について、前記部分領域分割部により分割された前記画像の複数の部分領域からなる部分領域集合のうちの部分集合を、被写体候補領域として初期化し、
前記画像グラフ構築部は、前記画像集合に含まれる画像の各々に対し、初期化された被写体候補領域、又は前回更新された前記被写体候補領域について、前記被写体候補領域に含まれる部分領域の各々に対応するノード及び隣接する前記部分領域のペアに対応するノードの各々を結んだエッジからなるグラフ構造を構築し、
前記グラフマッチング部は、前記画像集合に含まれる画像のうちの画像ペアの各々について、前記画像ペアに含まれる画像の前記複数の部分領域の各々の画像特徴量に基づいて、前記画像ペアに含まれる画像の各々に対して構築された前記グラフ構造を比較して、前記画像ペア間で前記被写体候補領域に含まれる部分領域の対応付けを行い、
前記全体グラフ構築部は、前記グラフマッチング部による前記画像ペアの各々についての対応付けの結果に基づいて、前記画像集合に含まれる画像の前記被写体候補領域に含まれる部分領域の各々に対応するノード、隣接する前記部分領域のペアに対応するノードの各々を結んだエッジ、及び前記画像ペア間で対応付けられた前記部分領域の各々に対応するノードの各々を結んだエッジからなるグラフ構造を構築し、
前記被写体候補領域更新部は、前記画像集合に含まれる画像の各々に対し、前記画像の被写体候補領域に含まれる部分領域の各々について、前記全体グラフ構築部により構築されたグラフ構造についてクラスタリングを行って前記グラフ構造に含まれる複数のノードをクラスタに分類したときに、前記部分領域がクラスタに属するか否かを判定し、前記クラスタに属すると判定された前記部分領域の各々からなる前記被写体候補領域に更新し、
前記反復判定部は、予め定められた繰り返し終了条件を満たすまで、前記画像グラフ構築部によるグラフ構造の構築と、前記グラフマッチング部による対応付けと、前記全体グラフ構築部による全体グラフの構築と、前記被写体候補領域更新部による更新とを繰り返す、
被写体領域抽出方法。

【請求項4】

コンピュータを、請求項１又は請求項２記載の被写体領域抽出装置を構成する各部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体領域抽出装置、方法、及びプログラムに係り、特に、入力された画像について被写体領域を抽出するための被写体領域抽出装置、方法、及びプログラムに関する。

【背景技術】

【0002】

撮像機能を備えたモバイルデバイス(スマートフォン、タブレット、スマートグラス等)の普及に伴い、従来のテキストクエリに基づく画像検索に加え、上記デバイスで撮影した画像をクエリとした画像検索(以下、モバイル画像検索)が急速に普及しつつある。モバイル画像検索における検索対象は様々考えられるが、中でも画像中に映り込んだ被写体の検索は、例えば物販への応用等、商業上の利用価値が非常に高い。

【0003】

また、クエリ画像中に映り込んだ被写体は、様々な見えで撮影されることは想像に難くない。このことは、モバイルデバイスを用いてクエリ画像を撮影する場合や、撮影被写体が立体的な構造を有している場合に特に顕著である。これら被写体の見えの変化に頑健な画像検索を実現するための方法の１つとして、様々な見えで撮影された検索対象被写体をあらかじめデータベースに登録しておくといったアプローチが考えられる。このアプローチを用いれば、検索時に撮影される被写体の画像が見えも類似した状態でデータベース上に格納されている可能性は必然的に高くなり、マッチング精度が向上するため、見えの変化により頑健な被写体検索が可能となる。ここで、様々な見えで撮影された検索対象被写体をあらかじめデータベースに登録しておくためには、何らかの方法で被写体の映り込んだ画像を複数枚収集する必要がある。これら被写体画像を収集する方法は、大きく人手で撮影する方法と、検索エンジンを利用したウェブクロール等を利用して自動で収集する方法が考えられる。

【0004】

また、対象画像群のうち一部画像には、抽出対象の被写体が含まれないような場合においても、頑健に各画像から対象被写体の領域を抽出する技術がある（非特許文献１）。非特許文献１の技術は、画像間でＳＩＦＴ−Ｆｌоｗに基づく被写体領域のマッチングを行っているため、被写体そのものを含まない画像からは領域を抽出することなくかつ被写体を含む画像からは頑健にその領域を抽出することを可能としている。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】M. Rubinstein et. al., "Unsupervised Joint Object Discovery and Segmentation in Internet Images," in Proc. CVPR, 2013.

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、検索対象となる被写体の数が膨大である場合、人手による画像撮影に基づくデータベース構築のコストは非常に高いという問題がある。

【0007】

また、被写体に関する辞書データベースを自動構築する方法においては、ウェブクロールにより得られた画像群中に被写体と無関係のノイズが含まれているため、得られた画像群をそのままデータベースに登録しても、検索精度があまり向上しないという問題がある。ウェブクロール結果として表示される画像群に含まれる、被写体検索の精度向上に寄与しないノイズの例を図５に示している。ノイズは大きく２種類に分類することができる。１つは、画像中の被写体以外が映っている領域、すなわち背景である。ウェブクロールで得られる被写体画像群から辞書データベースを構築するためには、これら背景を除去し、被写体領域を抽出する必要がある。更には、ウェブクロールの結果には、被写体そのものが映り込んでいない画像（図中、点線で囲われた画像を参照のこと）も少数ながら含まれている可能性がある。これらの画像は被写体領域を全く含まないため、画像そのものを除去できることが望ましい。したがって、ウェブクロールに基づいて被写体辞書データベースを自動構築するためには、被写体そのものが映り込んでいない画像も含まれている可能性がある被写体画像群を入力として、各画像から、検索対象の被写体領域を自動で抽出する必要がある。

【0008】

また、上記の非特許文献１の技術においては、ＳＩＦＴ−Ｆｌоｗに基づく被写体マッチングは、画像間で被写体の見えが同一であることを仮定している。そのため対象画像群の中に、抽出対象の被写体が異なる見えで含まれていたり、多少の変形を伴った状態で含まれていたりする場合には、被写体マッチングに失敗し、よって被写体領域抽出精度が低下するという問題がある。また、各被写体について見えの変化がついている場合、被写体の見えの変化や変形にマッチング精度が強く影響を受けるという問題がある。また、対象画像群の全ピクセル数の二乗の要素数で構成される行列を用いた二次計画問題を解く必要があり、計算コストが高いという問題もある。

【0009】

本発明では、上記問題を解決するために成されたものであり、被写体領域を精度良く抽出することができる被写体領域抽出装置、方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するために、第１の発明に係る被写体領域抽出装置は、抽出対象の被写体を表す複数の画像を含む画像集合に含まれる画像の各々について、前記画像を複数の部分領域に分割する部分領域分割部と、前記画像集合に含まれる画像の各々に対し、前記部分領域分割部により分割された前記画像の複数の部分領域の各々について画像特徴量を抽出する部分領域特徴抽出部と、前記画像集合に含まれる画像の各々について、前記部分領域分割部により分割された前記画像の複数の部分領域からなる部分領域集合のうちの部分集合を、被写体候補領域として初期化する被写体候補領域初期化部と、前記画像集合に含まれる画像の各々に対し、初期化された被写体候補領域、又は前回更新された前記被写体候補領域について、前記被写体候補領域に含まれる部分領域の各々に対応するノード及び隣接する前記部分領域のペアに対応するノードの各々を結んだエッジからなるグラフ構造を構築する画像グラフ構築部と、前記画像集合に含まれる画像のうちの画像ペアの各々について、前記画像ペアに含まれる画像の前記複数の部分領域の各々の画像特徴量に基づいて、前記画像ペアに含まれる画像の各々に対して構築された前記グラフ構造を比較して、前記画像ペア間で前記被写体候補領域に含まれる部分領域の対応付けを行うグラフマッチング部と、前記グラフマッチング部による前記画像ペアの各々についての対応付けの結果に基づいて、前記画像集合に含まれる画像の前記被写体候補領域に含まれる部分領域の各々に対応するノード、隣接する前記部分領域のペアに対応するノードの各々を結んだエッジ、及び前記画像ペア間で対応付けられた前記部分領域の各々に対応するノードの各々を結んだエッジからなるグラフ構造を構築する全体グラフ構築部と、前記画像集合に含まれる画像の各々に対し、前記画像の被写体候補領域に含まれる部分領域の各々について、前記全体グラフ構築部により構築されたグラフ構造についてクラスタリングを行って前記グラフ構造に含まれる複数のノードをクラスタに分類したときに、前記部分領域がクラスタに属するか否かを判定し、前記クラスタに属すると判定された前記部分領域の各々からなる前記被写体候補領域に更新する被写体候補領域更新部と、予め定められた繰り返し終了条件を満たすまで、前記画像グラフ構築部によるグラフ構造の構築と、前記グラフマッチング部による対応付けと、前記全体グラフ構築部による全体グラフの構築と、前記被写体候補領域更新部による更新とを繰り返す反復判定部と、を含んで構成されている。

【0011】

第２の発明に係る被写体領域抽出方法は、部分領域分割部と、部分領域特徴抽出部と、被写体候補領域初期化部と、画像グラフ構築部と、グラフマッチング部と、全体グラフ構築部と、被写体候補領域更新部と、反復判定部と、を含む被写体領域抽出装置における被写体領域抽出方法であって、前記部分領域分割部は、抽出対象の被写体を表す複数の画像を含む画像集合に含まれる画像の各々について、前記画像を複数の部分領域に分割し、前記部分領域特徴抽出部は、前記画像集合に含まれる画像の各々に対し、前記部分領域分割部により分割された前記画像の複数の部分領域の各々について画像特徴量を抽出し、前記被写体候補領域初期化部は、前記画像集合に含まれる画像の各々について、前記部分領域分割部により分割された前記画像の複数の部分領域からなる部分領域集合のうちの部分集合を、被写体候補領域として初期化し、前記画像グラフ構築部は、前記画像集合に含まれる画像の各々に対し、初期化された被写体候補領域、又は前回更新された前記被写体候補領域について、前記被写体候補領域に含まれる部分領域の各々に対応するノード及び隣接する前記部分領域のペアに対応するノードの各々を結んだエッジからなるグラフ構造を構築し、前記グラフマッチング部は、前記画像集合に含まれる画像のうちの画像ペアの各々について、前記画像ペアに含まれる画像の前記複数の部分領域の各々の画像特徴量に基づいて、前記画像ペアに含まれる画像の各々に対して構築された前記グラフ構造を比較して、前記画像ペア間で前記被写体候補領域に含まれる部分領域の対応付けを行い、前記全体グラフ構築部は、前記グラフマッチング部による前記画像ペアの各々についての対応付けの結果に基づいて、前記画像集合に含まれる画像の前記被写体候補領域に含まれる部分領域の各々に対応するノード、隣接する前記部分領域のペアに対応するノードの各々を結んだエッジ、及び前記画像ペア間で対応付けられた前記部分領域の各々に対応するノードの各々を結んだエッジからなるグラフ構造を構築し、前記被写体候補領域更新部は、前記画像集合に含まれる画像の各々に対し、前記画像の被写体候補領域に含まれる部分領域の各々について、前記全体グラフ構築部により構築されたグラフ構造についてクラスタリングを行って前記グラフ構造に含まれる複数のノードをクラスタに分類したときに、前記部分領域がクラスタに属するか否かを判定し、前記クラスタに属すると判定された前記部分領域の各々からなる前記被写体候補領域に更新し、前記反復判定部は、予め定められた繰り返し終了条件を満たすまで、前記画像グラフ構築部によるグラフ構造の構築と、前記グラフマッチング部による対応付けと、前記全体グラフ構築部による全体グラフの構築と、前記被写体候補領域更新部による更新とを繰り返す。

【0012】

第１及び第２の発明によれば、部分領域分割部により、抽出対象の被写体を表す複数の画像を含む画像集合に含まれる画像の各々について、画像を複数の部分領域に分割し、部分領域特徴抽出部により、分割された画像の複数の部分領域の各々について画像特徴量を抽出し、被写体候補領域初期化部により、分割された画像の複数の部分領域からなる部分領域集合のうちの部分集合を、被写体候補領域として初期化し、画像グラフ構築部により、初期化された被写体候補領域、又は前回更新された被写体候補領域について、被写体候補領域に含まれる部分領域の各々に対応するノード及び隣接する部分領域のペアに対応するノードの各々を結んだエッジからなるグラフ構造を構築し、グラフマッチング部により、画像ペアの各々について、画像ペアに含まれる画像の複数の部分領域の各々の画像特徴量に基づいて、画像ペアに含まれる画像の各々に対して構築されたグラフ構造を比較して、画像ペア間で被写体候補領域に含まれる部分領域の対応付けを行い、全体グラフ構築部により、画像ペアの各々についての対応付けの結果に基づいて、画像の被写体候補領域に含まれる部分領域の各々に対応するノード、隣接する部分領域のペアに対応するノードの各々を結んだエッジ、及び画像ペア間で対応付けられた部分領域の各々に対応するノードの各々を結んだエッジからなるグラフ構造を構築し、被写体候補領域更新部により、画像の各々に対し、画像の被写体候補領域に含まれる部分領域の各々について、構築されたグラフ構造についてクラスタリングを行ってグラフ構造に含まれる複数のノードをクラスタに分類したときに、部分領域がクラスタに属するか否かを判定し、クラスタに属すると判定された部分領域の各々からなる被写体候補領域に更新し、反復判定部により、予め定められた繰り返し終了条件を満たすまで、グラフ構造の構築と、対応付けと、全体グラフの構築と、更新とを繰り返す。

【0013】

このように、画像集合に含まれる画像の各々について、複数の部分領域に分割し、初期化された被写体候補領域、又は前回更新された被写体候補領域について、グラフ構造を構築し、画像ペアの各々について、構築されたグラフ構造を比較して、画像ペア間で被写体候補領域に含まれる部分領域の対応付けを行い、画像ペアの各々についての対応付けの結果に基づいて、グラフ構造を構築し、画像の被写体候補領域に含まれる部分領域の各々について、構築されたグラフ構造についてクラスタリングを行ったときに、部分領域がクラスタに属するか否かを判定し、クラスタに属すると判定された部分領域の各々からなる被写体候補領域に更新することを繰り返すことにより、被写体領域を精度良く抽出することができる。

【0014】

また、第１の発明において、被写体画像判定部を更に含み、前記グラフマッチング部は、前記画像集合に含まれる画像のうちの画像ペアの各々について、前記画像ペア間で前記被写体候補領域に含まれる部分領域の対応付けを行うと共に、前記部分領域の対応付けの各々についてマッチングスコアを更に取得し、前記被写体画像判定部は、前記画像集合に含まれる画像の各々について、前記画像の前記被写体候補領域に含まれる部分領域との対応付けについて取得したマッチングスコアに基づいて、前記画像が前記抽出対象の被写体を表す画像であるか否かを判定し、前記全体グラフ構築部は、前記被写体画像判定部によって前記抽出対象の被写体を表す画像であると判定された画像の各々の前記被写体候補領域に含まれる部分領域の各々に対応するノードを、前記グラフ構造のノードとして構築し、前記反復判定部は、予め定められた繰り返し終了条件を満たすまで、前記画像グラフ構築部によるグラフ構造の構築と、前記グラフマッチング部による対応付けと、前記被写体画像判定部による判定と、前記全体グラフ構築部による全体グラフの構築と、前記被写体候補領域更新部による更新とを繰り返してもよい。

【0015】

また、本発明のプログラムは、コンピュータを、上記の被写体領域抽出装置を構成する各部として機能させるためのプログラムである。

【発明の効果】

【0016】

以上説明したように、本発明の被写体領域抽出装置、方法、及びプログラムによれば、画像集合に含まれる画像の各々について、複数の部分領域に分割し、初期化された被写体候補領域、又は前回更新された被写体候補領域について、グラフ構造を構築し、画像ペアの各々について、構築されたグラフ構造を比較して、画像ペア間で被写体候補領域に含まれる部分領域の対応付けを行い、画像ペアの各々についての対応付けの結果に基づいて、グラフ構造を構築し、画像の被写体候補領域に含まれる部分領域の各々について、構築されたグラフ構造についてクラスタリングを行ったときに、部分領域がクラスタに属するか否かを判定し、クラスタに属すると判定された部分領域の各々からなる被写体候補領域に更新することを繰り返すことにより、被写体領域を精度良く抽出することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の第１の実施の形態に係る被写体領域抽出装置の機能的構成を示すブロック図である。

【図2】本発明の第１の実施の形態に係る被写体領域抽出装置における被写体領域抽出処理ルーチンを示すフローチャート図である。

【図3】本発明の第２の実施の形態に係る被写体領域抽出装置の機能的構成を示すブロック図である。

【図4】本発明の第２の実施の形態に係る被写体領域抽出装置における被写体領域抽出処理ルーチンを示すフローチャート図である。

【図5】ノイズの例を示す図である。

【発明を実施するための形態】

【0018】

以下、図面を参照して本発明の実施の形態を詳細に説明する。

【0019】

＜本実施の形態の原理＞
まず、本実施の形態における原理について説明する。本実施の形態は、画像の各々について、複数の部分領域に分割することにより、各画像を構成するピクセル集合が部分領域としてまとめられるため、二次計画問題における行列の要素数を大幅に削減することができる。また、画像間の被写体マッチングを、被写体候補領域の抽出及びグラフマッチングを用いて実施する。具体的には、被写体候補領域を構成する部分領域をノード、部分領域間の隣接関係をエッジとするグラフを各画像で構築し、得られたグラフの類似度を画像間で比較することにより、被写体マッチングを行う。非特許文献１で用いられているＳＩＦＴ−Ｆｌоｗとは異なり、グラフマッチングは被写体を構成する部分領域の位相関係に基づいてマッチングする技術であるため、画像間で被写体の見えが異なっていたり変形したりしても、より精度よく被写体マッチングを行うことが可能となる。そのため、対象画像群の中に被写体が異なる見えや変形した状態で写っていても、各画像から被写体領域を精度よく抽出することが可能となる。

【0020】

＜本発明の第１の実施の形態に係る被写体領域抽出装置の構成＞
次に、本発明の第１の実施の形態に係る被写体領域抽出装置の構成について説明する。図１に示すように、本発明の第１の実施の形態に係る被写体領域抽出装置１００は、ＣＰＵと、ＲＡＭと、後述する被写体領域抽出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この被写体領域抽出装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部９０とを備えている。

【0021】

入力部１０は、抽出対象の被写体が映り込んだ複数の画像を含む画像集合Ｉ（Ｉ＝｛Ｉ_０，Ｉ_１，…Ｉ_Ｎ−１｝）を受け付け、画像記憶部２２に記憶する。ここで、Ｎは画像集合Ｉに含まれる画像の数であり、画像集合には、被写体そのものをまったく含まない画像が含まれていてもよい。

【0022】

演算部２０は、画像記憶部２２と、部分領域分割部２４と、部分領域特徴抽出部２６と、スコア算出部２８と、被写体候補領域初期化部３０と、画像グラフ構築部３２と、グラフマッチング部３４と、コセグメンテーション部３５と、反復判定部４２と、被写体領域記憶部４４と、を備えている。

【0023】

画像記憶部２２には、入力部１０において受け付けた画像集合Ｉが記憶されている。

【0024】

部分領域分割部２４は、画像記憶部２２に記憶されている画像集合Ｉに含まれる画像Ｉ_ｎの各々について、部分領域の各々に分割する。画像Ｉ_ｎを構成する部分領域集合を

【0025】

【数1】

【0026】

とする。具体的には、画像Ｉ_ｎについて、非特許文献２に記載されているＭｅａｎ Ｓｈｉｆｔや（D. Comaniciu et. al., Mean Shift: A Robust Approach Toward Feature Space Analysis, in TPAMI, 24(5), pp.603.-619, 2002）、非特許文献３に記載されているＴｕｒｂｏｐｉｘｅｌ（A. Levinstein, TurboPixels: Fast Superpixels Using Geometric Flows, in TPAMI, 31(12), pp., 2009）や、非特許文献４に記載されているＳＬＩＣを用いる（R. Achanta et. al,, SLIC Superpixels Compared to State-of-the-art Superpixel Methods, TPAM, 34(11), pp. 2274-2282, 2012.）。なお、部分領域の分割は、各画像を構成する領域の境界線を可能な限り反映したものとする。

【0027】

部分領域特徴抽出部２６は、部分領域分割部２４において取得した各画像Ｉ_ｎの各部分領域ｓ_ｎ，ｉについて、画像特徴量ｆ_ｎ，ｉを抽出する。画像特徴量としては任意の特徴量を１つ以上用いることができ、第１の実施の形態においては、例えば、部分領域を構成する各ピクセルのＨＳＶ値に基づくカラーヒストグラムを用いる。

【0028】

スコア算出部２８は、部分領域分割部２４において取得した各画像Ｉ_ｎの各部分領域ｓ_ｎ，ｉについて、被写体らしさを示すスコア

【0029】

【数2】

【0030】

を算出する。具体的には、部分領域ｓ_ｎ，ｉを構成する各ピクセルの被写体らしさを評価し、部分領域ｓ_ｎ，ｉを構成する各ピクセルの被写体らしさに基づく統計量（例えば、平均等）を当該部分領域ｓ_ｎ，ｉの被写体らしさを示すスコアとして算出する。ここで、部分領域ｓ_ｎ，ｉを構成する各ピクセルの被写体らしさを評価する方法は、例えば、非特許文献５に記載されているＯｂｊｅｃｔｎｅｓｓ指標を用いる（B. Alexe et.al., Measuring the Objectness of image windows, in TPAMI, 2012）。

【0031】

被写体候補領域初期化部３０は、各画像Ｉ_ｎについて、当該画像Ｉ_ｎを構成する各部分領域ｓ_ｎ，ｉの被写体らしさを示すスコアｐ_ｎ，ｉに基づいて、当該画像Ｉ_ｎの部分領域集合Ｓ_ｎの部分集合として、被写体候補領域Ｖ_ｎ⊂Ｓ_ｎの初期化を行う。具体的には、当該画像Ｉ_ｎの各部分領域ｓ_ｎ，ｉについて、予め定められた閾値と、当該部分領域ｓ_ｎ，ｉの被写体らしさを示すスコアｐ_ｎ，ｉとを比較し、当該部分領域ｓ_ｎ，ｉの被写体らしさを示すスコアｐ_ｎ，ｉが予め定められた閾値以上の場合、当該部分領域を被写体候補領域とする。

【0032】

画像グラフ構築部３２は、各画像Ｉ_ｎについて、被写体候補領域初期化部３０において取得した、又は被写体候補領域更新部４０において前回更新された当該画像の被写体候補領域Ｖ_ｎに基づいて、グラフＧ_ｎ＝｛Ｅ_ｎ，Ｖ_ｎ｝を構築する。ここで、各画像Ｉ_ｎについて構築されるグラフＧ_ｎは、被写体候補領域Ｖ_ｎに含まれる部分領域の各々に対応するノードをノード集合とし、エッジ集合Ｅ_ｎは、空間的に隣接する被写体候補領域に含まれる部分領域ペアｖ_ｎ，ｉ、ｖ_ｎ，ｊ（ｉ≠ｊ）を結んだエッジから構成されているものとする。なお、エッジには重みはないものとしてグラフを構築する。

【0033】

グラフマッチング部３４は、画像集合Ｉに含まれる各画像Ｉ_ｎの組み合わせからなる画像ペア（Ｉ_ｎ、Ｉ_ｍ）の各々について、部分領域特徴抽出部２６によって抽出された画像特徴量に基づいて、画像グラフ構築部３２において構築された当該画像ペアにおける各画像のグラフＧ_ｎ、Ｇ_ｍ（ｎ≠ｍ）を比較して、当該画像ペア間での被写体候補領域に含まれる部分領域の対応付け、及び部分領域の対応付けの各々についてのマッチングスコアを取得する。なお、第１の実施の形態においては、以後グラフＧ_ｎのノード数

【0034】

【数3】

【0035】

とグラフＧ_ｍのノード数

【0036】

【数4】

【0037】

が同一であるものとして説明する。具体的には、画像ペアの各々について、下記（１）式の目的関数Ｆ（Ｐ_ｎｍ）を最小化するような組み合わせ行列Ｐを求める問題である。なお、αは重みパラメータでありメモリ（図示省略）に記憶されており、Ｆ（Ｐ_ｎｍ）がマッチングスコアとなる。

【0038】

【数5】

【0039】

ただし、

【0040】

【数6】

【0041】

は

【0042】

【数7】

【0043】

の行列であり、ｉ行ｊ列目の要素

【0044】

【数8】

【0045】

は、ｖ_ｎ，ｉとｖ_ｎ，ｊがエッジで接続されている場合１を、それ以外の場合０をとる。組み合わせ行列Ｐ_ｎｍは

【0046】

【数9】

【0047】

の行列であり、ｉ行ｊ列目の要素Ｐ_ｎｍ（ｉ，ｊ）は、ｖ_ｎ，ｉとｖ_ｍ，ｊが対応する場合に１を、それ以外の場合に０をとる。また、行列Ｃ_ｎｍは

【0048】

【数10】

【0049】

の行列であり、ｉ行ｊ列目の要素Ｃ_ｎｍ（ｉ，ｊ）は、被写体候補領域に含まれる部分領域の特徴量ｆ_ｎ，ｉとｆ_ｍ，ｊの類似度である。ここで、ｆ_ｎ，ｉとｆ_ｍ，ｊの類似度は、例えばｆ_ｎ，ｉとｆ_ｍ，ｊのユークリッド距離をｄ（ｆ_ｎ，ｉ，ｆ_ｍ，ｉ）として、下記（２）式に従って算出する。ここで、β、及びσは正の値をとるパラメータとし、メモリ（図示省略）に記憶されている。

【0050】

【数11】

【0051】

なお、グラフマッチングは、任意の方法を用いることが可能であり、例えば、第１の実施の形態においては、非特許文献６（M. Zaslavskiy et. al., A PATH Following Algorithm for the Graph Matching Problem, in TPAMI, 31(12), pp. 2227-2242, 2009）、及び非特許文献７（O. Duchenne et al., Tensor-based algorithm for High-Order Graph Matching, in TPAMI, 33(12), pp.2382-2395, 2011）に記載の方法を用いる。

【0052】

コセグメンテーション部３５は、グラフマッチング部３４により取得した画像ペアの各々の被写体候補領域に含まれる部分領域の対応付けを用いてコセグメンテーションを行い、画像Ｉ_ｎの各々の被写体候補領域Ｖ_ｎに含まれる部分領域ｓ_ｎ，ｉの各々を更新する。また、コセグメンテーション部３５は、全体グラフ構築部３６と、被写体候補領域更新部４０とを備えている。なお、第１の実施の形態においては、非特許文献１に記載の技術について、各ピクセルに対する処理を、各画像Ｉ_ｎの被写体候補領域Ｖ_ｎに含まれる各部分領域ｓ_ｎ，ｉに対する処理と対応付けることにより行う。

【0053】

全体グラフ構築部３６は、グラフマッチング部３４において画像ペアの各々について取得した当該画像ペア間における部分領域の対応付け（組み合わせ行列集合Ｐ＝｛Ｐ_０１，Ｐ_０２，…，Ｐ_ｎｍ，…｝）に基づいて、画像集合Ｉにおける被写体候補領域の部分領域の対応関係を示した全体グラフを構築する。具体的には、まず、各画像Ｉ_ｎについて、当該画像Ｉ_ｎの被写体候補領域集合Ｖ_ｎに含まれる部分領域の各々をノード、ノード間の関係性をエッジとするグラフを構築（空間的に隣接する被写体候補領域に含まれる部分領域間にエッジを張る。）する。そして、グラフマッチング部３４において取得した画像ペアの各々の当該画像ペアの被写体候補領域に含まれる部分領域の対応付けに基づいて、構築された各画像Ｉ_ｎのグラフに対して、画像間における対応する被写体候補領域に含まれる部分領域同士のノード間に、関係性を示すエッジを張ることにより、全体グラフを構築する。ここで、画像間Ｉ_ｎ、Ｉ_ｍにおけるエッジの重みについては、被写体候補領域に含まれる部分領域間の特徴量ｆ_ｎ，ｉとｆ_ｍ，ｊと用いて、上記（２）式に従って類似度を算出し、当該類似度を重みとして用いる。

【0054】

被写体候補領域更新部４０は、全体グラフ構築部３６において構築された全体グラフに対してクラスタリングを行い、全体グラフ構造に含まれる複数のノードをクラスタに分類したときに、画像Ｉ_ｎの各々の被写体候補領域に含まれる部分領域の各々について、当該部分領域がクラスタに属するか否かを判定し、画像Ｉ_ｎの各々の被写体候補領域を、クラスタに属すると判定された部分領域の各々からなる被写体候補領域に更新する。具体的には、各画像Ｉ_ｎに含まれる被写体候補領域Ｖ_ｎに含まれる全部分領域の各々をクエリとし、ローカルグラフクラスタリングを用いて、クエリとなる部分領域が属するクラスタを発見し、クラスタが発見された部分領域を、更新後の被写体候補領域に含めるようにする（非特許文献８：R. Andersen et al.,, Local Graph Partitioning using PageRank Vectors in Proc. FOCS, 2006）。

【0055】

反復判定部４２は、予め定められた繰り返し終了条件を満たしたか否かを判定する。第１の実施の形態では、被写体候補領域更新部４０による、各画像Ｉ_ｎの被写体候補領域Ｖ_ｎの更新処理が、予め定められた繰り返し回数以上行われたか否かを判定する。各画像Ｉ_ｎの被写体候補領域Ｖ_ｎの更新処理が、予め定められた繰り返し回数以上行われている場合には、被写体候補領域更新部４０により更新された、各画像Ｉ_ｎの被写体候補領域Ｖ_ｎを、各画像Ｉ_ｎの被写体領域として、被写体領域記憶部４４に記憶すると共に、出力部９０に出力する。各画像Ｉ_ｎの被写体候補領域Ｖ_ｎの更新処理が、予め定められた繰り返し回数行われていない場合には、画像グラフ構築部３２による画像グラフの構築処理、グラフマッチング部３４によるマッチング処理、全体グラフ構築部３６による全体グラフの構築処理、被写体候補領域更新部４０による被写体候補領域の更新処理を繰り返す。

【0056】

被写体領域記憶部４４には、各画像Ｉ_ｎの被写体領域が記憶されている。なお、各画像Ｉ_ｎの被写体領域は、当該画像Ｉ_ｎの部分領域集合の部分集合として得られているものとする。

【0057】

＜本発明の第１の実施の形態に係る被写体領域抽出装置の作用＞
次に、本発明の第１の実施の形態に係る被写体領域抽出装置１００の作用について説明する。まず、画像集合Ｉを受け付け、画像記憶部２２に記憶する。そして、画像記憶部２２から画像集合Ｉを読みだすと、被写体領域抽出装置１００は、図２に示す被写体領域抽出処理ルーチンを実行する。

【0058】

まず、ステップＳ１０２では、読み込んだ画像集合Ｉに含まれる、画像Ｉ_ｎの各々について、当該画像Ｉ_ｎを部分領域ｓ_ｎ，ｉの各々に分割する。

【0059】

次に、ステップＳ１０４では、画像Ｉ_ｎの各々に対し、ステップＳ１０２において取得した当該画像Ｉ_ｎの部分領域ｓ_ｎ，ｉの各々について、画像特徴量ｆ_ｎ，ｉを抽出する。

【0060】

次に、ステップＳ１０６では、画像Ｉ_ｎの各々に対し、ステップＳ１０２において取得した当該画像Ｉ_ｎの部分領域ｓ_ｎ，ｉの各々について、被写体らしさを示すスコアｐ_ｎ，ｉを算出する。

【0061】

次に、ステップＳ１０８では、画像Ｉ_ｎの各々について、ステップＳ１０６において取得した、当該画像Ｉ_ｎの部分領域ｓ_ｎ，ｉの各々についての被写体らしさを示すスコアｐ_ｎ，ｉと、予め定められた閾値と、に基づいて、当該画像Ｉ_ｎにおける被写体候補領域となる部分領域ｓ_ｎ，ｉの各々を判定し、当該画像Ｉ_ｎにおける被写体候補領域Ｖ_ｎを初期化する。

【0062】

次に、ステップＳ１１０では、画像Ｉ_ｎの各々について、ステップＳ１０８において取得した当該画像Ｉ_ｎにおける被写体候補領域Ｖ_ｎに含まれる部分領域の各々、又は前回の処理におけるステップＳ１１８において取得した更新された被写体候補領域に含まれる部分領域の各々に基づいて、グラフＧ_ｎ＝｛Ｅ_ｎ，Ｖ_ｎ｝を構築する。

【0063】

次に、ステップＳ１１２では、画像集合Ｉに含まれる各画像Ｉ_ｎの組み合わせからなる画像ペア（Ｉ_ｎ、Ｉ_ｍ）の各々について、ステップＳ１１０において取得した当該画像ペアにおける各画像のグラフＧ_ｎ、Ｇ_ｍと、ステップＳ１０４において取得した当該画像ペアにおける各画像の被写体領域に含まれる各部分領域の特徴量ｆ_ｎ，ｓ、ｆ_ｍ，ｓと、メモリ（図示省略）に記憶されている重みパラメータαと、パラメータβ、及びσと、に基づいて、当該画像ペア間における被写体候補領域に含まれる部分領域の対応付け及びマッチングスコアを取得する。

【0064】

次に、ステップＳ１１４では、ステップＳ１０８において取得した、画像Ｉ_ｎの各々についての被写体候補領域Ｖ_ｎに含まれる部分領域の各々と、ステップＳ１１２において取得した画像ペアの各々についての被写体候補領域に含まれる部分領域の対応付けとに基づいて、全体グラフを構築する。

【0065】

次に、ステップＳ１１８では、画像Ｉ_ｎの各々について、ステップＳ１０８において取得した被写体候補領域Ｖ_ｎに含まれる部分領域の各々と、ステップＳ１１４において取得した全体グラフとに基づいて、当該画像Ｉ_ｎに含まれる被写体候補領域Ｖ_ｎに含まれる全部分領域の各々をクエリとし、ローカルグラフクラスタリングを用いて、クエリとなる部分領域が属するクラスタを発見し、当該画像Ｉ_ｎにおける被写体候補領域を、クラスタが発見された部分領域からなる被写体候補領域に更新する。

【0066】

次に、ステップＳ１２０では、繰り返し処理の終了条件を満たすか否かを判定する。繰り返しの終了条件を満たす場合には、ステップＳ１２２に移行し、繰り返しの終了条件を満たさない場合には、ステップＳ１１０に移行し、ステップＳ１１０〜ステップＳ１２０の処理を繰り返す。

【0067】

次に、ステップＳ１２２では、画像Ｉ_ｎの各々について、ステップＳ１１８において取得した当該画像Ｉ_ｎの被写体候補領域を、当該画像Ｉ_ｎの被写体領域として被写体領域記憶部４４に記憶すると共に、出力部９０に出力する。

【0068】

以上説明したように、本発明の第１の実施の形態に係る被写体領域抽出装置によれば、画像集合に含まれる画像の各々について、複数の部分領域に分割し、初期化された被写体候補領域、又は前回更新された被写体候補領域について、グラフを構築し、画像ペアの各々について、構築されたグラフを比較して、画像ペア間で被写体候補領域に含まれる部分領域の対応付けを行い、画像ペアの各々についての対応付けの結果に基づいて、全体グラフを構築し、画像の被写体候補領域に含まれる部分領域の各々について、構築された全体グラフについてクラスタリングを行ったときに、部分領域がクラスタに属するか否かを判定し、クラスタに属すると判定された部分領域の各々からなる被写体候補領域に更新することを繰り返すことにより、被写体領域を精度良く抽出することができる。

【0069】

また、被写体そのものを含まない画像を一部含む被写体画像の集合の各画像から、各画像に含まれる被写体の見えが変化、変形している場合であっても、精度よくかつ高速に被写体の写っている領域を自動で抽出することが可能となり、抽出された被写体領域を元に辞書データベースを構築することで、見えの変化に頑健な被写体検索が実現できる。

【0070】

また、初期化された被写体候補領域を更新していくことで、最終的に抽出される被写体領域の精度を向上させることができる。

【0071】

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0072】

例えば、第１の実施の形態において、グラフＧ_ｎのエッジには重みはないものとする場合について説明したが、これに限定されるものではなく、空間的に隣接する被写体候補領域に含まれる部分領域ペアｖ_ｎ，ｉ、ｖ_ｎ，ｊの中心間の距離の逆乗を以ってノード間の重みとしてもよい。また、エッジの重みを任意で設定してもよい。

【0073】

また、第１の実施の形態において、部分領域の各々の画像特徴量として当該部分領域を構成する各ピクセルのＨＳＶ値に基づくカラーヒストグラムを用いる場合について説明したが、これに限定されるものではない。例えば、画像特徴量として、各ピクセルから抽出可能な局所特徴量(例えば、SIFTやColor-SIFTといった局所特徴量（非特許文献９：D.G.Lowe, Distinctive Image Features from Scale-Invariant Keypoints, in IJCV, 60(2),pp. 91-110, 2004.、非特許文献１０：KEA van de Sande, Evaluating Color Descriptors for Object and Scene Recognition, in TPAMI, 32(9), pp. 1582-1596, 2010）)を、あらかじめ作成しておいたコードブック(例えば２５６次元)に基づいて量子化することで得られるＢａｇ−ｏｆ−Ｖｉｓｕａｌ−Ｗｏｒｄｓ特徴量を用いてもよい。

【0074】

また、第１の実施の形態において、各部分領域ｓ_ｎ，ｉを構成する各ピクセルの被写体らしさを評価する方法として、Ｏｂｊｅｃｔｎｅｓｓ指標を用いる場合について説明したが、これに限定されるものではない。例えば、画像中に映り込んだ被写体が画像中に目立って映っていることが仮定できる場合には、非特許文献１１に記載されている任意のＳａｌｉｅｎｃｙ指標（M.M. Cheng et al., Global Contrast based Salient Region Detection, in Proc. CVPR, 2013）を用いることができる。

【0075】

また、第１の実施の形態において、画像集合Ｉに含まれる各画像Ｉ_ｎにおける全ての組み合わせにおける画像ペアの各々について、被写体候補領域に含まれる部分領域の対応付け及びマッチングスコアを取得する場合について説明したが、これに限定されるものではない。例えば、全体の色味、全体から抽出される色、又は全体から抽出される模様が類似する画像ペアの各々についてのみ、被写体候補領域に含まれる部分領域の対応付け及びマッチングスコアを取得してもよい。

【0076】

また、第１の実施の形態において、被写体候補領域に含まれる部分領域を初期化する際に用いる閾値が予め定められている場合について説明したが、これに限定されるものではない。例えば、閾値は任意の設定方法を用いることができ、各画像Ｉ_ｎの中で最も被写体らしい部分領域が持つスコアをｓ_{ｎ，ｍａｘ}とした場合、閾値を０．６ｓ_{ｎ，ｍａｘ}としてもよい。

【0077】

次に、第２の実施の形態に係る被写体領域抽出装置について説明する。

【0078】

第２の実施の形態においては、画像ペアの各々について取得した当該画像ペア間における部分領域の対応付け、及び部分領域の対応付けの各々についてのマッチングスコアの双方を用いてコセグメンテーションを行い、画像Ｉ_ｎの各々の被写体候補領域Ｖ_ｎに含まれる部分領域の各々を更新する点が第１の実施の形態と異なる。なお、第１の実施の形態に係る被写体領域抽出装置と同様の構成及び作用については、同一の符号を付して説明を省略する。

【0079】

＜本発明の第２の実施の形態に係る被写体領域抽出装置の構成＞
次に、本発明の第２の実施の形態に係る被写体領域抽出装置の構成について説明する。図３に示すように、本発明の第２の実施の形態に係る被写体領域抽出装置２００は、ＣＰＵと、ＲＡＭと、後述する被写体領域抽出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この被写体領域抽出装置２００は、機能的には図３に示すように入力部１０と、演算部２２０と、出力部９０とを備えている。

【0080】

演算部２２０は、画像記憶部２２と、部分領域分割部２４と、部分領域特徴抽出部２６と、スコア算出部２８と、被写体候補領域初期化部３０と、画像グラフ構築部２３２と、グラフマッチング部２３４と、コセグメンテーション部２３５と、反復判定部２４２と、被写体領域記憶部２４４と、を備えている。

【0081】

画像グラフ構築部２３２は、画像集合Ｉに含まれる各画像Ｉ_ｎ、又は被写体画像判定部２２１において前回、被写体が写っていると判定された各画像Ｉ´_ｎについて、被写体候補領域初期化部３０において取得した、又は被写体候補領域更新部４０において前回更新された当該画像の被写体候補領域Ｖ_ｎに基づいて、グラフＧ_ｎ＝｛Ｅ_ｎ，Ｖ_ｎ｝を構築する。ここで、各画像Ｉ_ｎ又は各画像Ｉ´_ｎについて構築されるグラフＧ_ｎは、被写体候補領域Ｖ_ｎに含まれる部分領域の各々をノード集合とし、エッジ集合Ｅ_ｎは、空間的に隣接する被写体候補領域に含まれる部分領域ペアｖ_ｎ，ｉ、ｖ_ｎ，ｊ（ｉ≠ｊ）間に張られたエッジから構成されているものとする。なお、エッジには重みはないものとしてグラフを構築する。

【0082】

グラフマッチング部２３４は、画像集合Ｉに含まれる各画像Ｉ_ｎの組み合わせからなる画像ペア（Ｉ_ｎ、Ｉ_ｍ）、又は被写体画像判定部２２１において前回、被写体が写っていると判定された各画像Ｉ´_ｎの組み合わせからなる画像ペア（Ｉ´_ｎ、Ｉ´_ｍ）の各々について、部分領域特徴抽出部２６によって抽出された画像特徴量に基づいて、画像グラフ構築部２３２において構築された当該画像ペアにおける各画像のグラフＧ_ｎ、Ｇ_ｍ（ｎ≠ｍ）を比較して、当該画像ペア間での被写体候補領域に含まれる部分領域の対応付け、及び部分領域の対応付けの各々についてのマッチングスコアを取得する。

【0083】

コセグメンテーション部２３５は、グラフマッチング部２３４により取得した画像ペアの各々の被写体候補領域に含まれる部分領域の対応付け、及び部分領域の対応付けの各々についてのマッチングスコアを用いてコセグメンテーションを行い、被写体が写っていると判定された画像Ｉ´_ｎの各々の被写体候補領域Ｖ_ｎに含まれる部分領域の各々を更新する。また、コセグメンテーション部２３５は、被写体画像判定部２２１と、全体グラフ構築部２３６と、被写体候補領域更新部２４０とを備えている。

【0084】

被写体画像判定部２２１は、グラフマッチング部２３４により取得した画像ペアの各々の、部分領域の対応付け毎についてのマッチングスコアに基づいて、各画像が、被写体が写っている画像であるか否かを判定し、被写体が写っている画像Ｉ´_ｎの各々を取得する。具体的には、各画像Ｉ_ｎ又は被写体画像判定部２２１の前回の処理において取得した各画像Ｉ´_ｎについて、当該画像の被写体候補領域Ｖ_ｎに含まれる部分領域に関するマッチングスコアの和を下記（３）式に従って算出し、当該算出された値と、予め定められた閾値とを比較し、当該値が、当該閾値以下である場合に、当該画像を被写体が写っている画像と判定する。

【0085】

【数12】

【0086】

全体グラフ構築部２３６は、グラフマッチング部２３４において画像ペアの各々について取得した当該画像ペア間における部分領域の対応付け（組み合わせ行列集合Ｐ＝｛Ｐ_０１，Ｐ_０２，…，Ｐ_ｎｍ，…｝）に基づいて、被写体画像判定部２２１において被写体が写っていると判定された画像Ｉ´_ｎの各々における被写体候補領域の部分領域の対応関係を示した全体グラフを構築する。

【0087】

被写体候補領域更新部２４０は、全体グラフ構築部２３６において構築された全体グラフに対してクラスタリングを行い、全体グラフ構造に含まれる複数のノードをクラスタに分類したときに、画像Ｉ´_ｎの各々の被写体候補領域に含まれる部分領域の各々について、当該部分領域がクラスタに属するか否かを判定し、画像Ｉ´_ｎの各々の被写体候補領域を、クラスタに属すると判定された部分領域の各々からなる被写体候補領域に更新する。

【0088】

反復判定部２４２は、予め定められた繰り返し終了条件を満たしたか否かを判定する。被写体候補領域更新部２４０による、各画像Ｉ´_ｎの被写体候補領域Ｖ_ｎの更新処理が、予め定められた繰り返し回数以上行われたか否かを判定する。各画像Ｉ´_ｎの被写体候補領域Ｖ_ｎの更新処理が、予め定められた繰り返し回数以上行われている場合には、被写体候補領域更新部２４０により更新された、各画像Ｉ´_ｎの被写体候補領域Ｖ_ｎを、各画像Ｉ´_ｎの被写体領域として、被写体領域記憶部２４４に記憶すると共に、出力部９０に出力する。各画像Ｉ´_ｎの被写体候補領域Ｖ_ｎの更新処理が、予め定められた繰り返し回数行われていない場合には、画像グラフ構築部２３２による画像グラフの構築処理、グラフマッチング部２３４によるマッチング処理、被写体画像判定部２２１による判定処理、全体グラフ構築部２３６による全体グラフの構築処理、被写体候補領域更新部２４０による被写体候補領域の更新処理を繰り返す。

【0089】

被写体領域記憶部２４４には、各画像Ｉ´_ｎの被写体領域が記憶されている。

【0090】

＜本発明の第２の実施の形態に係る被写体領域抽出装置の作用＞
次に、本発明の第２の実施の形態に係る被写体領域抽出装置２００の作用について説明する。まず、画像集合Ｉを受け付け、画像記憶部２２に記憶する。そして、画像記憶部２２から画像集合Ｉを読み出すと、被写体領域抽出装置２００は、図４に示す被写体領域抽出処理ルーチンを実行する。

【0091】

ステップＳ２００では、画像集合Ｉに含まれる画像Ｉ_ｎの各々又は後述するステップＳ２０４において前回取得した画像Ｉ´_ｎの各々について、ステップＳ１０８において取得した当該画像Ｉ_ｎ又は当該画像Ｉ´_ｎにおける被写体候補領域Ｖ_ｎに含まれる部分領域の各々、又は後述するステップＳ２０８において前回取得した更新された被写体候補領域Ｖ_ｎに含まれる部分領域の各々に基づいて、グラフＧ_ｎ＝｛Ｅ_ｎ，Ｖ_ｎ｝を構築する。

【0092】

次に、ステップＳ２０２では、画像集合Ｉに含まれる各画像Ｉ_ｎの組み合わせからなる画像ペア、又はステップＳ２０４において前回取得した各画像Ｉ´_ｎの組み合わせからなる画像ペアの各々について、ステップＳ２００において取得した当該画像ペアにおける各画像のグラフＧ_ｎ、Ｇ_ｍと、ステップＳ１０４において取得した当該画像ペアにおける各画像の被写体領域に含まれる各部分領域の特徴量ｆ_ｎ，ｓ、ｆ_ｍ，ｓと、メモリ（図示省略）に記憶されている重みパラメータαと、パラメータβ、及びσと、に基づいて、当該画像ペア間における被写体候補領域に含まれる部分領域の対応付け及びマッチングスコアを取得する。

【0093】

次に、ステップＳ２０４では、ステップＳ２０２において取得した画像ペアの各々についての部分領域の対応付け及びマッチングスコアに基づいて、各画像が、被写体が写っている画像であるか否かを判定し、被写体が写っている画像Ｉ´_ｎの各々を取得する。

【0094】

次に、ステップＳ２０６では、ステップＳ１０８において取得した、ステップＳ２０４において取得した画像Ｉ´_ｎの各々についての被写体候補領域Ｖ_ｎに含まれる部分領域の各々と、ステップＳ２０２において取得した画像ペアの各々についての部分領域の対応付けとに基づいて、全体グラフを構築する。

【0095】

次に、ステップＳ２０８では、ステップＳ２０４において取得した画像Ｉ´_ｎの各々について、ステップＳ１０８において取得した被写体候補領域Ｖ_ｎに含まれる部分領域の各々と、ステップＳ２０６において取得した全体グラフとに基づいて、当該画像Ｉ´_ｎに含まれる被写体候補領域Ｖ_ｎに含まれる全部分領域の各々をクエリとし、ローカルグラフクラスタリングを用いて、クエリとなる部分領域が属するクラスタを発見し、当該画像Ｉ´_ｎにおける被写体候補領域を、クラスタが発見された部分領域からなる被写体候補領域に更新する。

【0096】

次に、ステップＳ２１０では、繰り返し処理の終了条件を満たすか否かを判定する。繰り返しの終了条件を満たす場合には、ステップＳ２１２に移行し、繰り返しの終了条件を満たさない場合には、ステップＳ２００に移行し、ステップＳ２００〜ステップＳ２１０の処理を繰り返す。

【0097】

次に、ステップＳ２１２では、画像Ｉ´_ｎの各々について、ステップＳ２０８において取得した当該画像Ｉ´_ｎの被写体候補領域を、当該画像Ｉ´_ｎの被写体領域として被写体領域記憶部２４４に記憶すると共に、出力部９０に出力する。

【0098】

以上説明したように、本発明の第２の実施の形態に係る被写体領域抽出装置によれば、被写体が写っている画像を判定し、被写体が写っている画像について、被写体候補領域に含まれる部分領域の対応付け及びマッチングスコアに基づいて、被写体候補領域に含まれる部分領域の更新を繰り返すことにより、被写体領域を精度良く抽出することができる。

【0099】

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0100】

例えば、第２の実施の形態において、被写体が写っている画像を判定する際に用いた閾値を予め定める場合について説明したが、これに限定されるものではなく、上記（３）式で得られた値のうち最小のものから５倍以上の値を閾値として設定してもよい。

【0101】

また、第２の実施の形態において、コセグメンテーションの際に、被写体候補領域に含まれる部分領域の対応付け及びマッチングスコアを用いる場合について説明したが、これに限定されるものではない。例えば、マッチングスコアのみを用いてコセグメンテーションを行ってもよい。この場合、被写体候補領域に含まれる部分領域の対応付けは、マッチングスコアが存在するか否かにより行う。

【0102】

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。

【符号の説明】

【0103】

１０ 入力部
２０ 演算部
２２ 画像記憶部
２４ 部分領域分割部
２６ 部分領域特徴抽出部
２８ スコア算出部
３０ 被写体候補領域初期化部
３２ 画像グラフ構築部
３４ グラフマッチング部
３５ コセグメンテーション部
３６ 全体グラフ構築部
４０ 被写体候補領域更新部
４２ 反復判定部
４４ 被写体領域記憶部
９０ 出力部
１００ 被写体領域抽出装置
２００ 被写体領域抽出装置
２２０ 演算部
２２１ 被写体画像判定部
２３２ 画像グラフ構築部
２３４ グラフマッチング部
２３５ コセグメンテーション部
２３６ 全体グラフ構築部
２４０ 被写体候補領域更新部
２４２ 反復判定部
２４４ 被写体領域記憶部

【図1】

【図2】

【図3】

【図4】

【図5】