特開2018-205937(P2018-205937A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧

<>
  • 特開2018205937-画像検索装置及びプログラム 図000004
  • 特開2018205937-画像検索装置及びプログラム 図000005
  • 特開2018205937-画像検索装置及びプログラム 図000006
  • 特開2018205937-画像検索装置及びプログラム 図000007
  • 特開2018205937-画像検索装置及びプログラム 図000008
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2018-205937(P2018-205937A)
(43)【公開日】2018年12月27日
(54)【発明の名称】画像検索装置及びプログラム
(51)【国際特許分類】
   G06F 17/30 20060101AFI20181130BHJP
   G06T 7/00 20170101ALI20181130BHJP
   G06T 7/90 20170101ALI20181130BHJP
【FI】
   G06F17/30 350C
   G06F17/30 170B
   G06F17/30 320Z
   G06T7/00 300F
   G06T7/90 A
【審査請求】未請求
【請求項の数】8
【出願形態】OL
【全頁数】15
(21)【出願番号】特願2017-108807(P2017-108807)
(22)【出願日】2017年5月31日
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100143568
【弁理士】
【氏名又は名称】英 貢
(72)【発明者】
【氏名】藤森 真綱
(72)【発明者】
【氏名】望月 貴裕
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096BA08
5L096DA01
5L096EA39
5L096FA32
5L096FA35
5L096FA41
5L096FA52
5L096FA66
5L096FA67
5L096GA51
5L096JA03
5L096JA11
5L096JA18
5L096KA09
5L096MA05
(57)【要約】
【課題】クエリ画像内の被写体と同一又は類似性の高い被写体の画像を検索対象の画像データベース又はネットワーク上の画像から、高精度に検索可能とする画像検索装置及びプログラムを提供する。
【解決手段】本発明の画像検索装置1は、検索対象画像及びクエリ画像のそれぞれに対し、全体特徴ベクトルと詳細特徴ベクトルとを組み合わせた画像特徴ベクトルを計算する画像特徴計算部111,121と、検索対象画像及びクエリ画像における各全体特徴ベクトルとの比較により第1の類似度を求め、且つ検索対象画像及びクエリ画像における各詳細特徴ベクトルとの比較により第2の類似度を求め、その双方を考慮した類似度を計算する画像類似度計算部122と、検索対象画像とクエリ画像との類似性を評価することによりクエリ画像内の被写体と同一又は類似性の高い被写体の画像を検索して抽出する類似画像抽出部123と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
クエリ画像内の被写体と同一又は類似性の高い被写体の画像を、検索対象の画像データベース又はネットワーク上の画像から検索する画像検索装置であって、
検索対象画像及びクエリ画像のそれぞれに対し、全体特徴ベクトルと詳細特徴ベクトルとを組み合わせた画像特徴ベクトルを計算する画像特徴計算手段と、
前記検索対象画像における全体特徴ベクトルと前記クエリ画像における全体特徴ベクトルとの比較により第1の類似度を求め、且つ前記検索対象画像における詳細特徴ベクトルと前記クエリ画像における詳細特徴ベクトルとの比較により第2の類似度を求め、当該第1の類似度と第2の類似度の双方を考慮した類似度を計算する画像類似度計算手段と、
当該計算した類似度を基に前記検索対象画像と前記クエリ画像との類似性を評価することにより前記クエリ画像内の被写体と同一又は類似性の高い被写体の画像を検索して抽出する類似画像抽出手段と、
を備えることを特徴とする画像検索装置。
【請求項2】
前記画像特徴計算手段は、前記検索対象画像及び前記クエリ画像のそれぞれに対し画像の濃淡が二方向に所定値以上変化している点を特徴点とし、各特徴点の所定画像サイズ内の周辺領域における色、テクスチャ、勾配のいずれか1つ以上の情報をベクトル化した局所特徴として求め、前記検索対象画像及び前記クエリ画像のそれぞれの全体に対し所定の代表ベクトルを用いて当該局所特徴をベクトル量子化し、ベクトル量子化した局所特徴の出現頻度を正規化したヒストグラムを、前記全体特徴ベクトルとして求めることを特徴とする、請求項1に記載の画像検索装置。
【請求項3】
前記画像特徴計算手段は、前記検索対象画像及び前記クエリ画像のそれぞれに対し当該局所特徴の特徴空間での距離が近い特徴点の組を列挙し、同じ対称性によって結び付けられる特徴点の組ごとにグループ分けを行なって対称性グループを抽出し、特徴点の数が所定の閾値を超える対称性グループ、又は所属する特徴点が多い順に一定数の対称性グループを抽出し、当該所定の代表ベクトルを用いて、当該検索対象画像における各対称性グループに対し当該局所特徴をベクトル量子化し、ベクトル量子化した局所特徴の出現頻度を正規化したヒストグラムを、前記詳細特徴ベクトルとして求めることを特徴とする、請求項1又は2に記載の画像検索装置。
【請求項4】
前記画像類似度計算手段は、前記検索対象画像における詳細特徴ベクトルと前記クエリ画像における詳細特徴ベクトルとの比較による前記第2の類似度を、対称性グループ毎の類似度の平均値、加算値、又は重み付け平均値により求めることを特徴とする、請求項1から3のいずれか一項に記載の画像検索装置。
【請求項5】
前記画像類似度計算手段は、当該第1の類似度と第2の類似度の双方を考慮した類似度として重み付け平均により、前記検索対象画像と前記クエリ画像との類似性を評価することを特徴とする、請求項1から4のいずれか一項に記載の画像検索装置。
【請求項6】
前記類似画像抽出手段は、所定数の当該検索対象画像に対し前記クエリ画像との類似性を評価し、類似度の高いものから所定数の検索対象画像を自動選択して外部に出力することを特徴とする、請求項1から5のいずれか一項に記載の画像検索装置。
【請求項7】
前記画像特徴計算手段は、複数の対称性グループの抽出を許容し、且つ線対称、回転対称、及び並進対称のうち1つ以上を用いて対称性グループを抽出することを特徴とする、請求項1から6のいずれか一項に記載の画像検索装置。
【請求項8】
請求項1から7のいずれか一項に記載の画像検索装置をコンピュータとして機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータ及びデータベースを用いた画像検索技術に関する。
【背景技術】
【0002】
現在実用化されている画像検索の中で主流な方法の一つは、手動或いは自動で予め画像に付与されたキーワードに対して、単語をクエリとして検索を行うものである。しかし、付与できるキーワードの種類や数には限りがあり、また、中には適切なキーワードを与えられない画像が存在することから、必ずしもユーザーの望む検索結果を提供することができない。
【0003】
そこで、近年ではキーワードを介さずに、画像同士の画像特徴の比較に基づき、「見た目の似た」画像を検索する類似画像検索(Content-Based Image Retrieval,CBIR)技術が知られている。
【0004】
類似画像検索の主な動作は以下の通りである。例えば画像データベースに登録されている画像から、色、テクスチャ、濃淡といった画像特徴を予め抽出する。クエリとして与えられた画像から同様に画像特徴を抽出し、当該画像データベースの画像の画像特徴と比較し、類似度を計算する。そして、類似度が高い画像を自動的に選択し検索結果を画面に表示する。
【0005】
このような類似画像検索技法において、クエリ画像に対し大まかに見た目の類似した画像を検索する幾つかの技法が開示されている(例えば、特許文献1,2参照)。
【0006】
また、対称軸に基づいて領域分割を行ったうえで、クエリ画像と比較画像との特徴点の位置を比較する技法が開示されている(例えば、特許文献3参照)。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2003−233800号公報
【特許文献2】特開2003−216649号公報
【特許文献3】特開2010−272092号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1,2に開示される技法では、クエリ画像に対し大まかに見た目の類似した画像を検索することはできるが、これらの技法で用いられている画像特徴では、画像内の被写体の詳細な構造や局所的な特徴の位置関係の情報を反映させることが難しい。従って、クエリ画像内の被写体と同一又は類似性の高い被写体の画像を高精度に検索することは困難であるという問題があった。
【0009】
また、特許文献3に開示される技法では、対称軸に基づいて領域分割を行ったうえで、クエリ画像と比較画像との特徴点の位置を比較する技法となっており、その処理効率の点では有効であるが、その領域分割に起因して対比する局所特徴の欠損が生じうるため、クエリ画像内の被写体と同一又は類似性の高い被写体の画像を高精度に検索することに関して改善の余地がある。
【0010】
本発明の目的は、上述の問題に鑑みて、クエリ画像内の被写体と同一又は類似性の高い被写体の画像を検索対象の画像データベース又はネットワーク上の画像から、高精度に検索可能とする画像検索装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0011】
本発明の画像検索装置は、クエリ画像内の被写体と同一又は類似性の高い被写体の画像を、検索対象の画像データベース又はネットワーク上の画像から検索する画像検索装置であって、検索対象画像及びクエリ画像のそれぞれに対し、全体特徴ベクトルと詳細特徴ベクトルとを組み合わせた画像特徴ベクトルを計算する画像特徴計算手段と、前記検索対象画像における全体特徴ベクトルと前記クエリ画像における全体特徴ベクトルとの比較により第1の類似度を求め、且つ前記検索対象画像における詳細特徴ベクトルと前記クエリ画像における詳細特徴ベクトルとの比較により第2の類似度を求め、当該第1の類似度と第2の類似度の双方を考慮した類似度を計算する画像類似度計算手段と、当該計算した類似度を基に前記検索対象画像と前記クエリ画像との類似性を評価することにより前記クエリ画像内の被写体と同一又は類似性の高い被写体の画像を検索して抽出する類似画像抽出手段と、を備えることを特徴とする。
【0012】
また、本発明の画像検索装置において、前記画像特徴計算手段は、前記検索対象画像及び前記クエリ画像のそれぞれに対し画像の濃淡が二方向に所定値以上変化している点を特徴点とし、各特徴点の所定画像サイズ内の周辺領域における色、テクスチャ、勾配のいずれか1つ以上の情報をベクトル化した局所特徴として求め、前記検索対象画像及び前記クエリ画像のそれぞれの全体に対し所定の代表ベクトルを用いて当該局所特徴をベクトル量子化し、ベクトル量子化した局所特徴の出現頻度を正規化したヒストグラムを、前記全体特徴ベクトルとして求めることを特徴とする。
【0013】
また、本発明の画像検索装置において、前記画像特徴計算手段は、前記検索対象画像及び前記クエリ画像のそれぞれに対し当該局所特徴の特徴空間での距離が近い特徴点の組を列挙し、同じ対称性によって結び付けられる特徴点の組ごとにグループ分けを行なって対称性グループを抽出し、特徴点の数が所定の閾値を超える対称性グループ、又は所属する特徴点が多い順に一定数の対称性グループを抽出し、当該所定の代表ベクトルを用いて、当該検索対象画像における各対称性グループに対し当該局所特徴をベクトル量子化し、ベクトル量子化した局所特徴の出現頻度を正規化したヒストグラムを、前記詳細特徴ベクトルとして求めることを特徴とする。
【0014】
また、本発明の画像検索装置において、前記画像類似度計算手段は、前記検索対象画像における詳細特徴ベクトルと前記クエリ画像における詳細特徴ベクトルとの比較による前記第2の類似度を、対称性グループ毎の類似度の平均値、加算値、又は重み付け平均値により求めることを特徴とする。
【0015】
また、本発明の画像検索装置において、前記画像類似度計算手段は、当該第1の類似度と第2の類似度の双方を考慮した類似度として重み付け平均により、前記検索対象画像と前記クエリ画像との類似性を評価することを特徴とする。
【0016】
また、本発明の画像検索装置において、前記類似画像抽出手段は、所定数の当該検索対象画像に対し前記クエリ画像との類似性を評価し、類似度の高いものから所定数の検索対象画像を自動選択して外部に出力することを特徴とする。
【0017】
また、本発明の画像検索装置において、前記画像特徴計算手段は、複数の対称性グループの抽出を許容し、且つ線対称、回転対称、及び並進対称のうち1つ以上を用いて対称性グループを抽出することを特徴とする。
【0018】
更に、本発明のプログラムは、本発明の画像検索装置をコンピュータとして機能させるためのプログラムとして構成される。
【発明の効果】
【0019】
本発明によれば、クエリ画像の被写体と同一又は類似性の高い被写体の画像を高精度に検索することが可能となる。特に、対称性を有する被写体に有効であり、画像には多くの場合対称性が含まれているため、幅広い範囲で従来技法よりも検索精度を向上させることができる。
【図面の簡単な説明】
【0020】
図1】本発明による一実施形態の画像検索装置の概略構成を示すブロック図である。
図2】本発明による一実施形態の画像検索装置における画像特徴計算部の処理を示すフローチャートである。
図3】本発明による一実施形態の画像検索装置における画像類似度計算部の処理を示すフローチャートである。
図4】(a),(b)は、それぞれ本発明による一実施形態の画像検索装置における画像類似度計算部の処理に係る説明図である。
図5】(a),(b)は、それぞれ本発明による一実施形態の画像検索装置における検索結果と、典型的な従来技法の検索結果とを数値で比較する図である。
【発明を実施するための形態】
【0021】
以下、図面を参照して、本発明による一実施形態の画像検索装置1を説明する。図1は、本発明による一実施形態の画像検索装置の概略構成を示すブロック図である。
【0022】
〔装置構成〕
本実施形態の画像検索装置1は、前処理部11と検索処理部12とを備える。前処理部11は、画像特徴計算部111と、画像特徴ベクトル格納部112とを備える。また、検索処理部12は、画像特徴計算部121と、画像類似度計算部122と、類似画像抽出部123とを備える。
【0023】
本実施形態の画像検索装置1は、クエリ画像を基に、これと同一又は類似性の高い被写体の画像を検索する、インターネット等のネットワークに接続可能なコンピュータとして構成することができ、当該ネットワークに接続される所定の画像データベース、又はネットワークを介して閲覧可能なネットワーク上の画像を検索対象とする装置である。
【0024】
以下に説明する例では、本発明の理解を高めるために、当該ネットワークに接続される所定の画像データベースとして予め特定した検索対象画像データベース2に格納されるN枚の検索対象画像群I,I,…,Iに対し、クエリ画像Iの被写体と同一又は類似性の高い被写体の画像を高精度に検索する例を説明する。
【0025】
ここで、本実施形態の画像検索装置1は、クエリ画像Iの被写体と同一又は類似性の高い「被写体」の検索を行うものであり、検索対象画像内の被写体の画像サイズや画角、色、テクスチャ、濃淡等の違いがあっても、同一又は類似性の高い「被写体」であれば検索成功とし、これを従来技法よりも高精度に行うものである。
【0026】
まず、前処理部11における画像特徴計算部111は、検索対象画像データベース2に格納されるN枚の検索対象画像群I,I,…,Iに対し、それぞれ画像特徴ベクトルV[I],V[I],…,V[I]を計算し、各検索対象画像群I,I,…,Iと対応付けて画像特徴ベクトル格納部112に格納する。
【0027】
一方、検索処理部12における画像特徴計算部121は、ユーザーから与えられたクエリ画像Iに対し、画像特徴ベクトルV[I]を計算し、画像類似度計算部122に出力する。尚、前処理部11における画像特徴計算部111と、検索処理部12における画像特徴計算部121の処理は同一であり、その詳細は後述する。
【0028】
画像類似度計算部122は、クエリ画像Iに関する画像特徴ベクトルV[I]と、画像特徴ベクトル格納部112に格納されるN枚の検索対象画像群I,I,…,Iに関するそれぞれの画像特徴ベクトルV[I],V[I],…,V[I]とを比較して、それぞれの類似度S(I,I),S(I,I),…,S(I,I)を計算し、検索対象画像データベース2に格納されるN枚の検索対象画像群I,I,…,Iに対応付けて類似画像抽出部123に出力する。
【0029】
類似画像抽出部123は、N枚の検索対象画像群に対するそれぞれの類似度S(I,I),S(I,I),…,S(I,I)のうち、類似度が高い所定数の画像(本例では上位R枚の画像)Id1,Id2,…,IdRを自動選択し検索結果として外部(例えば表示装置)に出力する。
【0030】
〔装置動作〕
(画像特徴計算処理)
図2は、本発明による一実施形態の画像検索装置1における画像特徴計算部111の処理を示すフローチャートである。尚、画像特徴計算部121の処理も図2と同様の処理である。
【0031】
画像特徴計算部111は、検索対象画像データベース2に格納されるN枚の検索対象画像群I,I,…,Iに対し、それぞれ画像特徴ベクトルV[I],V[I],…,V[I]を計算する。即ち、検索対象画像Iに対し画像特徴ベクトルV[I]を求め、他の検索対象画像についても同様であり、以下では、検索対象画像Iに対し画像特徴ベクトルV[I]を求める処理を説明する。
【0032】
まず、画像特徴計算部111は、検索対象画像Iに対し特徴点を検出する(ステップS1)。ここでいう特徴点とは、画像の濃淡が二方向に所定値以上変化している点であり、コーナーやクロス、もしくはそれらに近い点が該当する。特徴点の検出方法としては、例えばSIFT(Scale-Invariant Feature Transform)の検出に利用されるガウシアンピラミッドを用いた方法を利用できる(例えば、『D. G. Lowe,“Object recognition from local scale-invariant features,” Proc. of IEEE International Conference on Computer Vision (ICCV), pp. 1150-1157, 1999』参照)。
【0033】
続いて、画像特徴計算部111は、検索対象画像Iに対し検出された各特徴点の周辺領域(所定画像サイズ内)の局所特徴を計算する(ステップS2)。ここでいう局所特徴とは、特徴点の周辺領域の色、テクスチャ、勾配のいずれか1つ以上の情報をベクトル化したものであり、勾配特徴をベクトル化した例として鏡面反転を考慮したMIFTと称される方法を利用できる(例えば、『X. Guo and X. Cao,“MIFT: A framework for feature descriptors to be mirror reflection invariant,”Image and Vision Computing, vol. 30, no. 8, pp. 546-556, 2012』参照)。
【0034】
そして、画像特徴計算部111は、上記のステップS1,S2の処理を、N枚の検索対象画像群I,I,…,Iに対しそれぞれ行う。
【0035】
以下では、全体特徴計算処理と詳細特徴計算処理に分けて処理を行う。
まず、全体特徴計算処理を説明する。
【0036】
画像特徴計算部111は、代表ベクトルを用いて、検索対象画像Iの全体に対し局所特徴をベクトル量子化する(ステップS3)。代表ベクトルは、本例ではN枚の検索対象画像群I,I,…,Iの全画像から抽出された局所特徴の全部、若しくは一部をクラスタリングし、そのクラスタ中心のベクトルを代表ベクトルとして定める。クラスタ数はデータベースの大きさに応じて適宜決定する。この代表ベクトルは予め不特定多数の画像から選出したものとしてもよい。
【0037】
続いて、画像特徴計算部111は、検索対象画像Iに対しステップS3にて得られたベクトル量子化した局所特徴の出現頻度をヒストグラム化する(ステップS4)。つまり、当該検索対象画像I内で代表ベクトルを持つ局所特徴の出現頻度を調べる。
【0038】
続いて、画像特徴計算部111は、ステップS4で得られた当該ヒストグラムを正規化する(ステップS5)。正規化の手法は、tf-idfを用いたL2正規化など、一般的な方法を用いることができる。即ち、検索対象画像Iに対し出現する局所特徴の出現頻度を基に、その全体を予測表現する特徴量を定義付ける。
【0039】
続いて、画像特徴計算部111は、ステップS5で得られた正規化したヒストグラムを検索対象画像Iに対する全体特徴ベクトルV[I]とする(ステップS6)。
【0040】
そして、画像特徴計算部111は、上記のステップS3〜S6の処理を、N枚の検索対象画像群I,I,…,Iに対しそれぞれ行って、全体特徴ベクトルV[I],V[I],…,V[I]を求める。即ち、或る検索対象画像Iに対し、画像特徴計算部111は、全体特徴ベクトルV[I]を得る。
【0041】
次に、詳細特徴計算処理を説明する。
【0042】
画像特徴計算部111は、検索対象画像Iに対し局所特徴の特徴空間での距離が近い特徴点の組を列挙し、同じ対称性によって結び付けられる特徴点の組ごとにグループ分けを行う(ステップS7)。例えば線対称性に着目する場合には、同じ対象軸によって結び付けられる特徴点の組を一つのグループとする。このグループを対称性グループと呼ぶこととする。特徴点の組をグループ分けする方法としては線対称、回転対称、又は並進対称とすることができるが、本例では線対称を用いる例を説明する。
【0043】
尚、線対称によるグループ化処理として、例えば『Z. Tang, P. Monasse, and J. Morel,“Reflexive Symmetry Detection in Single Image,”Proc. of the 8th International Conference Curves and Surfaces, pp. 452-460, 2014』、或いは『G. Loy and J. Eklundh,“Detecting symmetry and symmetric constellations of features,”ECCV, 2006』に開示される技法を利用できる。
【0044】
また、回転対称によるグループ化処理として、例えば上記の『G. Loy and J. Eklundh,“Detecting symmetry and symmetric constellations of features,”ECCV, 2006』に開示される技法を利用できる。
【0045】
また、並進対称によるグループ化処理として、例えば『M. Park, K. Brocklehurst, R. T. Collins, and Y. Liu,“Deformed lattice detection in real-world images using mean-shift belief propagation,”IEEE Transaction on Pattern Analysis and Machine Intelligence (TPAMI), vol. 31, No. 10』に開示される技法を利用できる。
【0046】
ここで、画像特徴計算部111は、検索対象画像Iに対し構成したグループのうち、各グループ内に所属する特徴点の数が所定の閾値を超えるもののみ採用する、または所属する特徴点が多い順に一定数の対称性グループのみ採用することで、検出された対称性グループの信頼度を上げることができる。最終的に採用された対称性グループの個数をM個(Mは0以上の整数)とする。
【0047】
続いて、画像特徴計算部111は、ステップS3で得られた代表ベクトルを用いて、検索対象画像Iにおける各対称性グループに対し、局所特徴をベクトル量子化する(ステップS8)。
【0048】
続いて、画像特徴計算部111は、検索対象画像Iにおける各対称性グループに対し、ベクトル量子化された局所特徴の出現頻度のヒストグラムを生成する(ステップS9)。従って、M個のヒストグラムが得られる。
【0049】
続いて、画像特徴計算部111は、ステップS9で得られた対称性グループ毎に、当該ヒストグラムを正規化する(ステップS10)。正規化の手法は、ステップS5と同様のものとする。即ち、検索対象画像I内の各対称性グループにて出現する局所特徴の出現頻度を基に、その各対称性グループを予測表現する特徴量を定義付ける。
【0050】
続いて、画像特徴計算部111は、ステップS10で得られた、対称性グループ毎に正規化したヒストグラムを検索対象画像Iに対する詳細特徴ベクトルVSym[I,1],VSym[I,2],…,VSym[I,M]とする(ステップS11)。
【0051】
そして、画像特徴計算部111は、上記のステップS7〜S11の処理を、N枚の検索対象画像群I,I,…,Iに対しそれぞれ行って、N枚の検索対象画像群I,I,…,Iのうちの或る検索対象画像Iについて、詳細特徴ベクトルVSym[I,1],VSym[I,2],…,VSym[I,M]を求める。
【0052】
最終的に、画像特徴計算部111は、上記のステップS6で得られた全体特徴ベクトルと、上記のステップS11で得られた詳細特徴ベクトルをまとめて、N枚の検索対象画像群I,I,…,Iに対し、それぞれの画像特徴ベクトルV[I],V[I],…,V[I]を得る。即ち、或る検索対象画像Iに対し、画像特徴計算部111は、画像特徴ベクトルV[I]={V[I],VSym[In,1], VSym [I,2],…,VSym [I,M]}を得る。
【0053】
ただし、N枚の検索対象画像群I,I,…,Iのうちの或る検索対象画像Iに対し、M=0となる(対称性グループが得られなかった)場合は、画像特徴ベクトルV[I]={V[I],VSym[I,1]}と定める。ここで、対称性グループが得られなかった場合のVSym[I,1]は、その旨が識別できるように定める(例えば図3を参照して後述する画像類似度計算処理の際に詳細画像類似度が常に0となるように、0ベクトルとして定める)。
【0054】
画像特徴計算部121の処理も図2と同様の処理であり、画像特徴計算部121は、クエリ画像Iに対し、画像特徴ベクトルV[I]={V[I],VSym[I,1], VSym [I,2],…,VSym [I,M]}を得る。
【0055】
このようにして、画像特徴計算部111,121は、例えば図4(a)に示す多数の〇枠内で表された特徴点から構成された全体特徴ベクトルを、クエリ画像Iについては全体特徴ベクトルV[I]として、或る検索対象画像Iについては全体特徴ベクトルV[I]として、互いに対比可能に算出する。
【0056】
また、画像特徴計算部111,121は、例えば図4(b)に示す第1の対象軸Sym1を共通に持つ第1対称性グループを示す一点破線〇枠内の多数の〇枠内で表された特徴点から構成された詳細特徴ベクトルを、クエリ画像Iについては詳細特徴ベクトルVSym[I,1]として、或る検索対象画像Iについては詳細特徴ベクトルVSym[I,1]として、互いに対比可能に算出する。
【0057】
更に、画像特徴計算部111,121は、例えば図4(b)に示す第2の対象軸Sym2を共通に持つ第2対称性グループを示す一点破線〇枠内の多数の〇枠内で表された特徴点から構成された詳細特徴ベクトルを、クエリ画像Iについては詳細特徴ベクトルVSym[I,2]として、或る検索対象画像Iについては詳細特徴ベクトルVSym[I,2]として、互いに対比可能に算出する。
【0058】
(画像類似度計算処理)
図3は、本発明による一実施形態の画像検索装置1における画像類似度計算部122の処理を示すフローチャートである。
【0059】
画像類似度計算部122は、クエリ画像Iに関する画像特徴ベクトルV[I]と、画像特徴ベクトル格納部112に格納されるN枚の検索対象画像群I,I,…,Iに関するそれぞれの画像特徴ベクトルV[I],V[I],…,V[I]とを比較して、それぞれの類似度S(I,I),S(I,I),…,S(I,I)を計算する。類似度の計算には、ベクトル同士の内積や、ユークリッド距離を0〜1に正規化したものなど、一般的なものを用いる。
【0060】
まず、画像類似度計算部122は、クエリ画像Iに関する画像特徴ベクトルV[I]と、N枚の検索対象画像群I,I,…,Iのうちの或る検索対象画像Iに関する画像特徴ベクトルV[I]とを入力する(ステップS21)。
【0061】
続いて、画像類似度計算部122は、全体画像類似度S(I,I)と、対称性グループ毎の類似度の平均値として詳細画像類似度SSym(I,I)を個別に求める。
【0062】
第1に、画像類似度計算部122は、クエリ画像Iに関する画像特徴ベクトルV[I]における全体特徴ベクトルV[I]と、当該検索対象画像Iに関する画像特徴ベクトルV[I]における全体特徴ベクトルV[I]とを比較して、全体画像類似度S(I,I)を求める(ステップS22)。
【0063】
第2に、画像類似度計算部122は、詳細画像類似度SSym(I,I)を以下の手順で求める(ステップS23)。
【0064】
まず、クエリ画像Iの対称性グループの添字集合をID={1,2,…,M}、当該検索対象画像Iの対称性グループの添字集合をID={1,2,…,M}とする。ここで、M,Mは、それぞれクエリ画像Iと検索対象画像Iの詳細特徴ベクトルの個数である。
【0065】
始めに、mの初期値を1とする。
【0066】
(処理A)画像類似度計算部122は、Vsym[I,i]とVsym[I,j]との類似度が最大となるiとjをそれぞれID,IDから選択し、その類似度をSSym(I,I)[m]とする。詳細画像類似度の計算は、全体画像類似度の計算と同じ方法とする。
【0067】
(処理B)次に、画像類似度計算部122は、SSym(I,I)[m]=0であるか否かを検査し、SSym(I,I)[m]=0であれば“処理E”へ移行する。
【0068】
(処理C)次に、画像類似度計算部122は、SSym(I,I)[m]=0でないとき、ID,IDから当該i,jを除き、m=m+1とする。
【0069】
(処理D)画像類似度計算部122は、ID,IDが空集合となるまで、上記の(処理A)〜(処理C)を繰り返し、ID,IDが空集合となるとき、“処理E”へ移行する。
【0070】
(処理E)画像類似度計算部122は、SSym(I,I)を、SSym(I,I))[1],…,SSym(I,I)[m−1]の平均値として求める。ただし、SSym(I,I)[1]=0の場合、SSym(I,I)=0とする。
【0071】
このようにして、画像類似度計算部122は、対称性グループ毎の類似度の平均値として詳細画像類似度SSym(I,I)を求める。
【0072】
最終的に、画像類似度計算部122は、クエリ画像Iに関する画像特徴ベクトルV[I]と、当該検索対象画像Iに関する画像特徴ベクトルV[I]との比較による画像類似度S(I,I)を、全体画像類似度S(I,I)と、対称性グループ毎の類似度の平均値として詳細画像類似度SSym(I,I)の加重平均として、次式により求める(ステップS24)。
S(I,I)=(1−a)S(I,I)+aSSym(I,I
【0073】
ただし、aは、対象軸の寄与を決めるパラメータである(0<a<1)。
【0074】
即ち、図4(b)に示す例では、M=M=2であり、第1対称性グループにおける詳細特徴ベクトルの類似度SSym(I,I)[1]はVSym[I,1]とVSym[I,1]の類似度、第2対称性グループにおける詳細特徴ベクトルのSSym(I,I)[2]はVSym[I,2]とVSym[I,2]の類似度となっている。このため、詳細画像類似度SSym(I,I)は、対称性グループ毎の類似度の平均値として、SSym(I,I)=(SSym(I,I)[1]+SSym(I,I)[2])/2となる。
【0075】
尚、図4(b)に示す例では、本発明の理解を高めるために、複数の対称性グループは互いに重複していないが、実際には、本実施形態の画像検索装置1は、抽出する対称性グループの重複を許容しており、これにより対比する局所特徴の欠損を防止して精度を高めることができる。
【0076】
尚、画像類似度計算部122は、対称性グループ毎の類似度の平均値として詳細画像類似度SSym(I,I)を求める代わりに、対称性グループ毎の類似度の和、即ち、SSym(I,I)=SSym(I,I)[1],…,SSym(I,I)[m−1]の和として求めてもよい。
【0077】
或いは、画像類似度計算部122は、対称性グループ毎の類似度の平均値として詳細画像類似度SSym(I,I)を求める代わりに、対称性グループ毎の類似度の重み付け平均値、即ち、SSym(I,I)=SSym(I,I)[1],…,SSym(I,I)[m−1]の重み付け平均値として求めてもよい。このときの重みには、対称軸検出のアルゴリズムの結果として対称軸の信頼度の指標となる値が得られる場合にはそれを用いることができる。
【0078】
このように、対称性グループ毎の類似度の平均値、加算値、又は重み付け平均値として詳細画像類似度SSym(I,I)を求めることにより、対称軸が多く検出されるほど類似度が低くなる状況を回避することができる。
【0079】
以上のように、画像類似度計算部122は、画像特徴ベクトル格納部112に格納されるN枚の検索対象画像群I,I,…,Iに関するそれぞれの画像特徴ベクトルV[I],V[I],…,V[I]について、クエリ画像Iに関する画像特徴ベクトルV[I]と比較することにより、N枚の検索対象画像群に対するそれぞれの類似度S(I,I),S(I,I),…,S(I,I)を計算する。これにより、類似画像抽出部123は、N枚の検索対象画像群のうち、類似度が高い所定数の画像(本例では上位R枚の画像)Id1,Id2,…,IdRを自動選択し検索結果として外部(例えば表示装置)に出力することができる。
【0080】
図5(a),(b)には、それぞれ本発明による一実施形態の画像検索装置1における検索結果と、典型的な従来技法(即ち、全体特徴ベクトルのみの類似度評価)の検索結果とを数値で比較する図である。図5(a), (b)にて使用したデータセットはそれぞれ一般的に開示されている種々の蝶々、陸橋を含む種々の建設物に関するデータセットを用いて、そのうちの1つの画像(図5(a)については或る蝶々、図5(b)については或る陸橋)をクエリ画像として、他の画像を検索対象画像として評価した。対称性については線対称を考慮し、上記の『Z. Tang, P. Monasse, and J. Morel,“Reflexive Symmetry Detection in Single Image,”Proc. of the 8th International Conference Curves and Surfaces, pp. 452-460, 2014』をベースにした手法を用いている。
【0081】
図5(a)に示す蝶々のデータセットでは、従来技法に対応する比較例では対称性を考慮した特徴ベクトルを使用しない場合(パラメータa=0)とし、本発明による実施例では対称性を考慮した特徴ベクトルを使用した場合(パラメータa=0.7)とした。
【0082】
また、図5(b)に示す陸橋のデータセットでは、従来技法に対応する比較例では対称性を考慮した特徴ベクトルを使用しない場合(パラメータa=0)とし、本発明による実施例では対称性を考慮した特徴ベクトルを使用した場合(パラメータa=0.5)とした。
【0083】
平均適合率APは、i番目の正解までの適合率(=正解数/総数)をPとして、以下の式で計算される。ただしNは正解画像の総数である。0≦AP≦1であり、1に近いほど検索精度は良いデータセットとなっている。
【0084】
【数1】
【0085】
図5(a),(b)に示す比較から分かるように、クエリ画像の被写体と同一又は類似性の高い被写体の画像を高精度に検索することが可能となる。特に、陸橋よりも蝶々の検索結果が従来技法より著しく向上しているように、対称性を有する被写体に有効であり、画像には多くの場合対称性が含まれているため、幅広い範囲で従来技法よりも検索精度を向上させることができる。また、図5(a),(b)では、それぞれ本発明による実施例としてパラメータa=0.7又は0.5としているがそれぞれの探索結果として最適化な数値を模索して設定した値であるが、概ね、パラメータa=0.5〜0.7の範囲で設定することで、汎用性が得られることも確認された。
【0086】
図5(a),(b)に示す比較では、主観を除くために、クエリ画像内の被写体と「同一の被写体」の画像を高精度に検索することに関して評価したが、クエリ画像内の被写体と「同一又は類似性の高い被写体」の画像を高精度に検索する目的においてはより有効な結果が期待できる。
【0087】
包括するに、本実施形態の画像検索装置1は、画像特徴計算部111,121により、検索対象画像及びクエリ画像のそれぞれに対し、まず、全体特徴ベクトルと詳細特徴ベクトルとを組み合わせた画像特徴ベクトルを計算する。
【0088】
ここで、本実施形態の画像検索装置1における画像特徴計算部111,121は、検索対象画像及びクエリ画像のそれぞれに対し画像の濃淡が二方向に所定値以上変化している点を特徴点とし、各特徴点の所定画像サイズ内の周辺領域における色、テクスチャ、勾配のいずれか1つ以上の情報をベクトル化した局所特徴として求め、当該検索対象画像及びクエリ画像のそれぞれの全体に対し所定の代表ベクトルを用いて当該局所特徴をベクトル量子化し、ベクトル量子化した局所特徴の出現頻度を正規化したヒストグラムを全体特徴ベクトルとして求める。
【0089】
また、本実施形態の画像検索装置1における画像特徴計算部111,121は、検索対象画像及びクエリ画像のそれぞれに対し当該局所特徴の特徴空間での距離が近い特徴点の組を列挙し、同じ対称性によって結び付けられる特徴点の組ごとにグループ分けを行なって対称性グループを抽出し、特徴点の数が所定の閾値を超える対称性グループ、又は所属する特徴点が多い順に一定数の対称性グループを抽出し、当該所定の代表ベクトルを用いて、当該検索対象画像における各対称性グループに対し当該局所特徴をベクトル量子化し、ベクトル量子化した局所特徴の出現頻度を正規化したヒストグラムを詳細特徴ベクトルとして求める。
【0090】
そして、本実施形態の画像検索装置1は、画像類似度計算部122により、検索対象画像における全体特徴ベクトルとクエリ画像における全体特徴ベクトルとの比較により第1の類似度を求め、検索対象画像における詳細特徴ベクトルとクエリ画像における詳細特徴ベクトルとの比較により第2の類似度を求め、当該第1の類似度と第2の類似度の双方を考慮した類似度(本例ではパラメータaに基づく重み付け平均)により、検索対象画像とクエリ画像との類似性を評価する。
【0091】
特に、画像類似度計算部122は、検索対象画像における詳細特徴ベクトルとクエリ画像における詳細特徴ベクトルとの比較による当該第2の類似度を、対称性グループ毎の類似度の平均値、加算値、又は重み付け平均値により求める。
【0092】
そして、本実施形態の画像検索装置1は、類似画像抽出部123により、所定数の検索対象画像に対しクエリ画像との類似性を評価し、類似度の高いものから所定数の検索対象画像を自動選択して外部に出力する。
【0093】
このように、本発明に係る画像検索装置1は、全体特徴ベクトルの比較による第1の類似度と、詳細特徴ベクトルの比較による第2の類似度を求め、当該第1の類似度と第2の類似度の双方を考慮した類似度(本例ではパラメータaに基づく重み付け平均)により、検索対象画像とクエリ画像との類似性を評価するようになっているため、例えば特許文献3に開示される技法など、他の従来技法よりも、画像の被写体の詳細な構造や位置関係の違いを類似度に反映させることができる。
【0094】
また、特許文献3に開示される技法では、対称軸に基づいて領域分割を行ったうえでクエリ画像と比較画像との特徴点の位置を比較する技法となっており、その領域分割に起因して対比する局所特徴の欠損が生じうるが、本発明に係る画像検索装置1にて抽出する対称性グループは、その重複を許容しており、これにより対比する局所特徴の欠損を防止して精度を高めることができる。
【0095】
また、特許文献3に開示される技法で用いる対称性は線対称性に限られているが、本発明に係る画像検索装置1では、一つの画像に複数の対称性が存在する場合にも適用することが可能であり、尚且つ線対称、回転対称、及び並進対称のうち1つ以上を用いて対称性グループを抽出することができる。これにより、原理的に、従来用いられていた画像特徴と比較して、被写体の詳細な構造や位置関係の情報を反映した画像特徴を構成することができ、類似画像検索の高精度化が可能となる。
【0096】
本発明に係る画像検索装置1はコンピュータとして構成され、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ(図示せず)に記憶される。当該コンピュータに備えられる中央演算処理装置(CPU)などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、本発明に係る画像検索装置1の各構成要素の機能をコンピュータに実現させることができる。
【0097】
本発明は、上述した実施形態の例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。例えば、上述した実施形態の例では、ネットワークに接続される所定の画像データベースとして予め特定した検索対象画像データベース2に格納されるN枚の検索対象画像群I,I,…,Iに対し、クエリ画像Iの被写体と同一又は類似性の高い被写体の画像を高精度に検索する例を説明したが、ネットワークを介して閲覧可能なネットワーク上の画像を検索対象とすることができる。例えば、閲覧可能なネットワーク上の画像を検索対象とするときは、ランダムに収集したものを検索対象画像データベース2に格納すればよい。
【産業上の利用可能性】
【0098】
本発明によれば、クエリ画像の被写体と同一又は類似性の高い被写体の画像を高精度に検索することが可能となり、特に対称性を有する被写体に有効であり、幅広い範囲で従来技法よりも検索精度を向上させることができるので、アーカイブにおける資料検索、映像制作における素材検索、又はWeb上の画像検索エンジンにおいて有用である。
【符号の説明】
【0099】
1 画像検索装置
2 検索対象画像データベース
11 前処理部
12 検索処理部
111 画像特徴計算部
112 画像特徴ベクトル格納部
121 画像特徴計算部
122 画像類似度計算部
123 類似画像抽出部
図1
図2
図3
図4
図5