特許 6717769 情報処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6717769

(24)【登録日】2020年6月15日

(45)【発行日】2020年7月1日

(54)【発明の名称】情報処理装置及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20200622BHJP

【ＦＩ】

   G06T7/00 300F

【請求項の数】18

【全頁数】13

(21)【出願番号】特願2017-54458(P2017-54458)

(22)【出願日】2017年3月21日

(65)【公開番号】特開2018-156544(P2018-156544A)

(43)【公開日】2018年10月4日

【審査請求日】2019年2月12日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】加藤 晴久

【審査官】 片岡 利延

(56)【参考文献】

【文献】 特開２０１２−２３４２５８（ＪＰ，Ａ）

【文献】 特開２０１６−１８１１８１（ＪＰ，Ａ）

【文献】 特開２０１５−０５２９４２（ＪＰ，Ａ）

【文献】 特開２００３−０３０６６３（ＪＰ，Ａ）

【文献】 特開２０１４−１１５８２１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

画像より特徴点を検出すると共に各特徴点の特徴点スコアを求める検出部と、
前記検出された特徴点の中から、各特徴点の特徴点スコア及び位置に基づく選別を行って得られる特徴点を、前記画像の特徴点として出力する選別部と、を備え、
前記選別部では、各特徴点の特徴点スコア及び位置に基づく選別を、各特徴点の特徴点スコアに各特徴点の位置に基づく重みを乗じて得られる重み付けスコアが高いほど優先して選別することによって行い、
前記選別部では、前記重み付けスコアの高い方から特徴点を繰り返して選別し、当該繰り返して選別する都度、当該選別された特徴点から画像上での距離が近いと判定される特徴点の重み付けスコアを低い値に更新することを特徴とする情報処理装置。

【請求項2】

前記選別部による、各特徴点における前記低い値へと更新することは、累積的に更新するものであることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記選別部による、各特徴点における前記低い値へと更新することは、重み付けスコアを一定割合で小さくすることで以降において前記選別部による選別対象として残すことであることを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記選別部による、各特徴点における前記低い値へと更新することは、重み付けスコアをゼロとすることで以降において前記選別部による選別対象から除外することであることを特徴とする請求項１に記載の情報処理装置。

【請求項5】

前記選別部では、前記重み付けスコアの高い方から特徴点を繰り返して選別することを、当該選別された特徴点の数が上限数に到達するまで繰り返すことを特徴とする請求項１ないし４のいずれかに記載の情報処理装置。

【請求項6】

画像より特徴点を検出すると共に各特徴点の特徴点スコアを求める検出部と、
前記検出された特徴点の中から、各特徴点の特徴点スコア及び位置に基づく選別を行って得られる特徴点を、前記画像の特徴点として出力する選別部と、を備え、
前記選別部では、各特徴点の特徴点スコア及び位置に基づく選別を、各特徴点の特徴点スコアに各特徴点の位置に基づく重みを乗じて得られる重み付けスコアが高いほど優先して選別することによって行い、
前記選別部では、前記画像を領域分割して得られる各分割領域を所定順序で選択し、当該選択された分割領域内から前記重み付けスコアが最大となる特徴点を１つ選別することを当該選別された特徴点の個数が上限数に到達するまで当該所定順序に従って継続することにより、前記画像の特徴点を出力することを特徴とする情報処理装置。

【請求項7】

前記選別部では、前記所定順序で選択した分割領域内に選別されていない特徴点が残っていない場合、当該選択した分割領域内から特徴点を選別することを省略することを特徴とする請求項６に記載の情報処理装置。

【請求項8】

前記選別部では、前記所定順序で選択した分割領域内で選別されていない特徴点における前記重み付けスコアの最大値が小さいと判定される場合、当該選択した分割領域内から特徴点を選別することを省略することを特徴とする請求項６または７に記載の情報処理装置。

【請求項9】

前記選別部では、前記重みを、前記画像を撮像したカメラのカメラ中心を基準とした各特徴点の空間位置に基づく値として算出することを特徴とする請求項１ないし８のいずれかに記載の情報処理装置。

【請求項10】

前記選別部では、前記重みを、各特徴点の奥行に基づく値として算出することを特徴とする請求項９に記載の情報処理装置。

【請求項11】

前記選別部では、前記各特徴点の奥行に基づく値を、奥行が小さいほど大きな値として算出することを特徴とする請求項１０に記載の情報処理装置。

【請求項12】

前記選別部では、前記画像を前景領域と背景領域とに分割し、前記位置に基づく選別を、前記分割された前景領域にある特徴点のみを選別対象とすることによって行うことを特徴とする請求項１ないし１１のいずれかに記載の情報処理装置。

【請求項13】

前記選別部では、前記重みを、各特徴点の前記画像における画素座標位置に基づく値として算出することを特徴とする請求項１ないし１２のいずれかに記載の情報処理装置。

【請求項14】

前記選別部では、前記重みを、各特徴点の前記画像における画素座標位置が所定座標位置に近いほど大きな値として算出することを特徴とする請求項１ないし１３のいずれかに記載の情報処理装置。

【請求項15】

前記選別部によって前記画像の特徴点として出力された各特徴点に関して、前記画像における当該特徴点の近傍領域を参照することで、各特徴点における特徴量を算出する算出部をさらに備えることを特徴とする請求項１ないし１４のいずれかに記載の情報処理装置
。

【請求項16】

前記算出部により前記画像に関して算出された特徴量と、複数の所定対象の各々についてその撮像画像から算出された特徴量と、を比較することにより、前記画像において撮像されている対象が前記複数の所定対象のいずれに該当するかを判定する判定部をさらに備えることを特徴とする請求項１５に記載の情報処理装置。

【請求項17】

撮像を行うことによって前記画像を取得する撮像部をさらに備えることを特徴とする請求項１ないし１６のいずれかに記載の情報処理装置。

【請求項18】

コンピュータを請求項１ないし１７のいずれかに記載の情報処理装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特徴量に基づく対象判定その他の用途に関して適切な特徴点を画像から得ることのできる情報処理装置及びプログラムに関する。

【背景技術】

【0002】

画像から対象を判定する技術は、配布や提示が容易な媒体に記載されたアナログ情報からデジタル情報に変換させることが可能であり、利用者の利便性を向上させることができる。当該技術としては例えば、非特許文献１のものが公開されている。非特許文献１では、画像から特徴点を検出し、特徴点周辺から特徴量を算出した上で、事前に蓄積しておいた特徴量と比較することによって、対象の種類および相対的な位置関係を特定する。

【0003】

一方、上記のような特徴点及び特徴量に基づく判定に関してさらに、精度を向上させる技術としては、特許文献１〜３のようなものが公開されている。特許文献１では、特徴点の誤対応を低減するため、特徴点を頂点としたドロネー三角形分割とトポロジー評価によって精度向上を図る。特許文献２では、特徴量の判別性能を評価することによって、有効な特徴量を選別する手法を開示している。特許文献３では、特徴点およびエッジの位置関係の類似度を判定することで、特徴点の対応付けを高精度化する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４−１２７０６８号公報

【特許文献2】特開２０１４−１３４８５８号公報

【特許文献3】特開２０１４−１２６８９３号公報

【非特許文献】

【0005】

【非特許文献1】D. G. Lowe, ``Object recognition from local scale-invariant features,'' Proc. of IEEE International Conference on Computer Vision (ICCV), pp.1150-1157, 1999.

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、以上のような非特許文献１や特許文献１〜３といった従来技術には、特徴点の分布が精度に大きく影響するという課題があった。

【0007】

具体的には、背景に複雑な模様がある場合、特徴点が背景に集中し、前景としての撮像対象から十分な数の特徴点を検出できないと判定処理が全く機能しないという課題がある。例えば、処理時間の観点から特徴点数に対して上限を設定しておき、特徴点らしさを定義したスコア（特徴点スコア）の上位から選択するというフレームワークを採用する場合を考えると、撮像対象に特徴点が存在している場合でも特徴点スコアが相対的に小さいと撮像対象の特徴点が選択されないことがあり得る。これを第一事例と称する。

【0008】

逆に、撮像対象自体に特徴点スコアの大きな模様が存在する場合、一部の領域だけで上限に至る数の特徴点を選択してしまい、当該領域だけで一致する類似対象と誤判定するということがあり得る。これを第二事例と称する。

【0009】

図１は、上記の第一事例及び第二事例の模式例を[1],[2]として示す図である。

【0010】

すなわち、図１にて[1]に示す第一事例においては画像P1,P2として与えられるような2以上の異なる対象が区別困難となってしまう。例えば、画像P1,P2は共に、同一出版社の同一シリーズ（趣味に関して解説するシリーズ）に属する書籍の表紙であり、画像P1の書籍は登山に関して、画像P2の書籍はサイクリングに関して解説する当該同一シリーズ内の別巻であるものとする。この場合、画像P1,P2にはそれぞれ同一シリーズである旨のシリーズタイトル領域R10,R20が上段側部分に存在し、これらの領域R10,R20は完全な同一模様（文字等も含めて模様と呼ぶものとし、以下同様とする）で構成されると共に、シリーズ内の別巻であることから各巻の内容を表現しており互いに異なる模様で構成される領域R11,R21が中・下段側部分に存在するものとする。

【0011】

ここで、画像P1,P2において共に、完全同一模様となっているシリーズタイトル領域R10,R20が特徴点スコアの高い領域として構成されていたとし、且つ、異なる模様を構成している領域R11,R21が特徴点スコアの低い領域として構成されていたものとすると、互いに同一模様の領域R10,R20から全部ないしほとんどの特徴点が検出され、互いに異なる領域R11,R21からは特徴点が全く検出されない又はわずかしか検出されないことになってしまう。従って、実際には異なる対象を撮像しているはずの画像P1,P2が区別不可能あるいは区別困難となってしまう。

【0012】

また、図１にて[2]として示す第二事例では、第一事例で説明したのと同じ画像P1がリファレンス画像として登録されており、同一対象を実際に撮影したクエリ画像が画像P10のように構成されている場合に、当該画像P1,P10の一致判定が困難となってしまう。すなわち、クエリ画像P10は、書籍表紙の下段側部分に販売促進の目的で例えば「帯」が付与されることにより、リファレンス画像P1には存在しない領域R13を形成している。クエリ画像P10の中段側の領域R12はリファレンス画像P1の中・下段側部分の領域R11に部分一致するものとなっており、上段側のシリーズタイトル領域R10,R30はリファレンス画像P1とクエリ画像P10とで共通である。

【0013】

このような場合に、クエリ画像P10におけるリファレンス画像P1には存在しない「帯」の領域R13が特徴点スコアの高い領域として構成されていたとし、クエリ画像P10における全部ないし大部分の特徴点が領域R13から検出されてしまうものとすると、[1]の第一事例で説明したのとほぼ同様の理由によって、実際には同一対象を撮像しているはずの画像P10,P1の同一判定を得ることが困難となってしまう。

【0014】

なお、図１では模式例として書籍表紙を挙げたが、書籍表紙に限らず任意種類の商品パッケージや、その他の任意対象においても同様ないし類似の課題が発生しうることに注意されたい。また、図１では模式例として書籍表紙という１つの判定対象のみに注目して説明したが、画像内に１つ以上の対象が空間的な配置をなして撮像されている場合にも同様ないし類似の課題が発生しうることに注意されたい。

【0015】

以上のような従来技術の課題に鑑み、本発明は、特徴量に基づく対象判定その他の用途に関して適切な特徴点を画像から得ることのできる情報処理装置を提供することを第一の目的とする。

【0016】

また、本発明は、当該適切な特徴点に基づいて高精度に画像における対象を判定することのできる情報処理装置を提供することを第二の目的とする。

【課題を解決するための手段】

【0017】

前記目的を達成するため、本発明は、情報処理装置であって、画像より特徴点を検出すると共に各特徴点の特徴点スコアを求める検出部と、前記検出された特徴点の中から、各特徴点の特徴点スコア及び位置に基づく選別を行って得られる特徴点を、前記画像の特徴点として出力する選別部と、を備えることを第一の特徴とする。

【0018】

また、本発明は、前記情報処理装置がさらに、前記選別部によって前記画像の特徴点として出力された各特徴点に関して、前記画像における当該特徴点の近傍領域を参照することで、各特徴点における特徴量を算出する算出部と、前記算出部により前記画像に関して算出された特徴量と、複数の所定対象の各々についてその撮像画像から算出された特徴量と、を比較することにより、前記画像において撮像されている対象が前記複数の所定対象のいずれに該当するかを判定する判定部と、を備えることを第二の特徴とする。

【発明の効果】

【0019】

前記第一の特徴によれば、各特徴点の特徴点スコア及び位置に基づく選別を行って得られる特徴点を、前記画像の特徴点として出力することにより、適切な特徴点を得ることができる。

【0020】

前記第二の特徴によれば、前記得られた適切な特徴点を用いて、前記画像において撮像されている対象が前記複数の所定対象のいずれに該当するかを判定することができる。

【図面の簡単な説明】

【0021】

【図1】従来技術の課題としての第一事例及び第二事例の模式例を示す図である。

【図2】一実施形態に係る情報処理装置の機能ブロック図である。

【図3】撮像画像及び撮像画像から奥行に反比例して算出される重みマップの例を示す図である。

【図4】第二実施形態における選別部の処理の一例を示すフローチャートである。

【図5】図４のフローの適用例として、本発明の効果の例を示す図である。

【図6】本発明の効果の例を図５より多数の特徴点の場合について示す図である。

【発明を実施するための形態】

【0022】

図２は、本発明の一実施形態に係る情報処理装置の機能ブロック図である。図示する通り、情報処理装置10は撮像部1、検出部2、選別部3、算出部4、判定部5及び記憶部6を備える。情報処理装置10としては撮像部1を備える任意の情報端末を利用することができ、携帯端末の他、タブレット型端末、デスクトップ型又はラップトップ型のコンピュータその他を利用することができる。また、撮像部1以外の一部若しくは全てをサーバーに設置し、情報を適宜通信でやり取りしてもよい。図２の各部における処理内容は以下の通りである。

【0023】

撮像部1は、撮像対象を撮像して、その画像を検出部2、選別部3及び算出部4へと出力する。ここで、撮像対象には判定部5によって判定される対象（記憶部6に予め記憶されている対象のうちのいずれか）が含まれるよう、利用者等が撮像部1を操作して撮像を行うものとする。撮像部1としては、携帯端末に標準装備されるデジタルカメラ等を用いることができる。

【0024】

検出部2は、撮像部1で得た画像より複数の特徴点を検出すると共に、各特徴点につきその特徴点らしさを表す特徴点スコアを求め、当該複数の特徴点及びその特徴点スコアを選別部3へと出力する。当該特徴点の検出には、SIFT(Scale-Invariant Feature Transform)やSURF(Speeded Up Robust Features)などの既存手法が利用でき、特徴点スコアの算出に関しても各手法に応じたスコアを算出すればよい。

【0025】

例えば、SIFTであればDoG(Difference of Gaussian)画像（差分画像群）の極大値を与える点として特徴点の候補を求めたうえで、主曲率及びコントラストに基づいて安定した特徴点を検出するが、当該検出された特徴点におけるDoG出力値（極大値）を特徴点スコアとして採用すればよい。

【0026】

選別部3では、検出部2で得られた特徴点スコア付きの各特徴点の中から、特徴点スコア及び特徴点の画像における位置に基づいて所定数の特徴点を選別し、当該選別した特徴点を算出部4へと出力する。選別部3では当該選別する際にさらに、撮像部1で得られた画像を参照するようにしてもよい。選別部3による選別処理の詳細は後述する。

【0027】

算出部4では、選別部3で選別された各特徴点に関して、撮像部1で得られた画像における各特徴点の局所近傍の領域を参照することで、各特徴点の特徴量を算出し、当該特徴量を判定部5へと出力する。算出部4における特徴量の算出には、検出部2で説明したのと同様に、SIFT(Scale-Invariant Feature Transform)やSURF(Speeded Up Robust Features)などの既存手法が利用できる。なお、算出部4における特徴量の算出手法と検出部2における特徴点の検出手法とが別種類の手法によるものであってもよい。

【0028】

判定部5は、算出部4で算出された特徴量と記憶部6に記憶された特徴量とを比較して一致判定することで撮像対象を判定する。すなわち、記憶部6で記憶されている1つ以上の所定の撮像対象のいずれに、撮像画像内の対象が該当するのかを特定する。

【0029】

ここで、特徴量同士を比較する際には、各種の周知手法を利用することができる。例えば、BoVW（Bag of Visual words）のヒストグラム同士の類似度を算出してもよい。また、特徴量が算出された特徴点の座標も紐づけた特徴情報を用いて比較するようにしてもよい。例えば、RANSAC(Random Sample Consensus)等により、特徴情報を構成している各特徴量をそれぞれ個別にマッチングすることを試みながら外れ値を排除することで、全体として最もマッチングしているものを特定する手法を用いてもよい。すなわち、クエリ画像（撮像部1で得た画像）とリファレンス画像（記憶部6に記憶されている特徴情報が抽出された画像）との間で、ホモグラフィ行列で互いに対応付けられる特徴点座標同士の幾何学的整合性を考慮してマッチングするようにしてもよい。

【0030】

記憶部6は、複数の撮像対象の撮像画像からそれぞれ特徴量を事前に算出し記憶しておくことにより、判定部5における上記の判定処理の際に当該特徴量を参照に供する。ここで、撮像対象に射影変換等の人工的な変形を加え、特徴量を算出・記憶してもよい。特に、大きさが変化する変形においては、撮像部1での撮像画像における見かけの大きさを算出部4で特徴量を算出する際に求まる奥行情報（スケール情報）と対応付けることで特徴点および特徴量の判定精度を向上させる効果が得られるため、奥行情報を紐づけたうえで特徴量を記憶しておき、判定部5の参照に供するようにしてもよい。さらに、判定部5における判定で前述のRANSACの場合のように特徴点座標を利用する場合は、記憶部6においても特徴点座標と特徴量とを紐づけた特徴情報として算出・記憶を行うようにすればよい。

【0031】

なお、記憶部6で記憶する特徴量（及び特徴点）は、算出部4で算出する特徴量（及び検出部2で検出する特徴点）と同種のものとする。

【0032】

以下、選別部3における選別処理の詳細を説明する。まず、一般的な説明として、選別部3では、各特徴点の特徴点スコアに対してさらに、撮像部1で撮像された画像の画素座標ごとに得られる撮像部1と撮像対象との相対的位置関係をも考慮することにより、各特徴点の選別を行うことができる。当該考慮する相対的位置関係とはすなわち、撮像部1で得た画像の各画素位置(u,v)に映っている対象点を、撮像部1を構成するカメラのカメラ中心を基準としたカメラ座標により3次元空間座標位置(x,y,z)=(x(u,v),y(u,v),z(u,v))として表現する関係である。

【0033】

選別部3における当該特徴点スコア及び相対的位置関係に基づく選別処理によって、結果的に、後段側の判定部5における判定処理に適した特徴点の画像上での分布が調整されることとなる。特に、従来手法においては特徴点スコアしか考慮されていなかったのに対して、本発明ではさらに相対的位置関係をも考慮することによって、判定処理に適した特徴点の分布調整が実現されることとなる。模式例を挙げれば、前述した図１の画像P1,P2において領域R10,R20ばかりに集中して特徴点が得られたり、図１の画像P10において領域R13ばかりに集中して特徴点が得られたりするといったことが、本発明によって防止されることにより、判定処理の精度が向上する。

【0034】

具体的に相対的位置関係をも考慮する第一実施形態として、撮像画像の各画素位置の奥行（デプス）を算出したうえで、奥行に応じた所定関係で与えられる重みを、特徴点スコアに対してさらに追加で用いる重みとしてよい。すなわち、各特徴点i(i=1,2,...)に対して、その特徴点の座標位置(u(i),v(i))における奥行d(i)を求め、所定関数Fを用いて重みw(i)=F(d(i))を求め、検出部2において算出されている特徴点スコアscore(i)に当該重みを乗じた重み付きスコアw(i)*score(i)を、当該特徴点iを選別するための本発明におけるスコアとして採用し、当該重み付きスコアw(i)*score(i)が上位の所定数にあるような特徴点iを、選別部3における選別結果とすればよい。なお、重みw(i)及び特徴点スコアscore(i)は非負の値として求めるようにすればよい。

【0035】

ここで、撮像画像における奥行算出については、任意の既存手法を用いることができる。例えば、運動視差や、Markov Random Field（例えば以下の非特許文献２に開示）、ニューラルネットワーク（例えば以下の非特許文献３に開示）を利用した既存手法などが利用できる。あるいは、撮像部1を構成するカメラが複数存在する場合はステレオ視差を利用してもよい。また、撮像部1の撮像画像に対してさらに奥行センサ（例えば赤外線でマーカーを照射し赤外カメラで当該マーカーを撮像することに基づく奥行センサなど）を併用する構成も可能である。

【0036】

[非特許文献２] DA. Saxena and et. al. ``Make3D: Learning 3D Scene Structure from a Single Still Image,'' IEEE Transactions of Pattern Analysis and Machine Intelligence (PAMI), 2008.
[非特許文献３] D. Eigen and et. al. ``Depth Map Prediction from a Single Image using a Multi-Scale Deep Network,'' Advances in Neural Information Processing Systems, No. 27, pp.2366-2374, 2014.

【0037】

また、奥行d(i)に応じた重みw(i)を与えるための所定関数Fに関しても、撮像部1における撮像のなされ方や判定部5における判定のなされ方（又は記憶部6に記憶されている特徴量の選別のなされ方）に応じた所定のものを設定しておけばよい。

【0038】

例えば、利用者は撮像対象を撮像部1に相対的に近接させて撮像することが想定されるのであれば、奥行に反比例するように、あるいは奥行の増加に応じて減少するように、特徴点算出の重み（前述の通り特徴点スコアscore(i)が非負の値で算出される仮定のもとで、正の値としての重み）を設定することが望ましい。図３は[1]及び[2]と分けて、ある撮像画像と、当該撮像画像から奥行に反比例して算出される重みマップと、の例を示す図である。[1]の撮像画像は種々の物体（撮像対象）が配置された屋内の風景の例であり、これに対応する[2]の重みマップでは奥行が小さい（すなわち手前側のカメラにより近い）電気スタンドやデッサン像といった撮像対象に関してより大きな重みが付与されていることが、白色に近いほど重みが大であり、逆に黒色に近いほど重みが小であるものとして表現されている。

【0039】

また、重みの別の設定例として、奥行に応じて撮像情報を前景と背景とに２分割し、前景領域のみから特徴点が選別されるように重み情報を設定してもよい。すなわち、式で表現すれば例えば以下のような2値の重みを設定してもよい。ここでthは前景と背景を区別するための閾値であり、所定値を用いてもよいし、特徴点の奥行（奥行値d(i)）の分布ヒストグラム等から動的に求めてもよい。なお、動的に求める際は任意の既存の統計手法を利用してよい。
w(i)=1 （d(i)≦thすなわち前景の場合）
w(i)=0 （d(i)＞thすなわち背景の場合）

【0040】

このように前景のみから特徴点を選別する手法を採用する場合、次のような効果が得られる。すなわち、撮像対象が相対的に近接することで前景領域に属して撮像されているという前提のもとで、撮像対象には該当しない背景領域の影響を排除して前景領域のみから特徴点を選別できるため、前記従来技術の抱える課題を解決し、判定部5での判定精度が向上する効果が得られる。

【0041】

以上、相対的位置関係をも考慮する第一実施形態では、相対的位置関係としての3次元空間座標位置(x,y,z)=(x(u,v),y(u,v),z(u,v))に相当する関係を奥行によって求めて利用した。相対的位置関係をも考慮する第二実施形態として、空間座標位置(x(u,v),y(u,v),z(u,v))を直接的には利用せず、撮像画像の画素位置(u,v)のみを利用して、第一実施形態と概ね同様の効果が得られる選別を実現するようにしてもよい。

【0042】

一般的な説明として、第二実施形態では選別される特徴点iの画像上での位置(u(i),v(i))が偏ることなく均一化されるようにしたうえで、位置(u(i),v(i))及び特徴点スコアscore(i)に基づいて特徴点iを選別すればよい。この際、位置(u(i),v(i))が偏ることなく均一化されるようにする範囲は、必ずしも撮像画像の全体とするのではなく、撮像画像の一部（例えば、近傍に特徴点が検出されている範囲）として設定するようにしてもよい。

【0043】

図４は、第二実施形態における選別部3の処理の一例を示すフローチャートである。ステップS1では、撮像画像を分割する分割領域の形状及び配置並びに分割領域の選択順番と、最大特徴点数（選別部3で選別する特徴点数の上限所定数）と、を設定したうえでステップS2へと進む。

【0044】

ステップS1における撮像画像の分割領域は、所定手法で分割したものとすればよい。例えば横方向に所定数n個、縦方向に所定数m個に等分割することで、合計n×m個の矩形領域に分割するようにしてもよい。すなわち、撮像画像のサイズ（画素数）が横W個で縦H個であれば、それぞれ縦W/n個、横H/m個となるようなn×m個の矩形領域に分割してよい。また、撮像画像に対して色情報やテクスチャ情報その他に基づく既存の任意の領域分割手法を適用することで、必ずしも分割領域の形状が矩形領域とはならないようにしてもよい。

【0045】

また、ステップS1における分割領域に対する選択順番の決定は、分割手法に応じた所定順番として決定するようにすればよい。例えばn×m個の矩形領域に分割した場合、ラスタスキャン順番などとすればよい。矩形領域とはならない分割の場合も、分割領域の重心位置で例えばラスタスキャン順番となるように、分割領域の選択順番を決定すればよい。

【0046】

ここで、図４の説明において、分割領域をR(k)(k=1,2,...)、その選択順番をO(k)と表記する。例えば3つの分割領域R(1),R(2),R(3)について選択順番O(1)=3,O(2)=2,O(3)=1であれば、「R(3)（O(3)=1番目）」→「R(2)（O(2)=2番目）」→「R(1)（O(1)=3番目）」の順番で分割領域が選択されることを意味するものとする。

【0047】

なお、ステップS1から（初めて）ステップS2へと至る際には、上記選択順番の現在値を1番目として設定しておく。

【0048】

ステップS2では、選択順番の現在値O(k)で指定される分割領域R(k)の中から、未選択の特徴点iであってその特徴点スコアscore(i)が最大となるものを１つ選択したうえで、ステップS3へと進む。なお、ステップS2において当該指定される分割領域R(k)の中に未選択の特徴点iが残っていない場合は、当該選択はスキップ（省略）したうえでそのままステップS3へと進めばよい。また、ステップS2において未選択の特徴点iのうちの特徴点スコアscore(i)の最大値が所定閾値未満である場合、当該選択はスキップ（省略）したうえでそのままステップS3へと進むようにしてもよい。

【0049】

ステップS3では、当該時点までの一連のステップS2において選択された特徴点の数が所定数、すなわちステップS1で設定した上限数に到達したか否かの判定を行い、当該上限数に到達していればステップS4へと進み、到達していなければステップS5へと進む。

【0050】

ステップS4では、当該時点までの一連のステップS2において選択された特徴点を選別部3における選別結果として出力したうえで、図４のフローを終了する。

【0051】

ステップS5では、当該ステップS5に至る直前のステップS2において利用した選択順番の現在値O(k)を次の値「O(k)+1」（=O(k')）に更新することで次の選択対象の領域R(k')を設定したうえで、ステップS2に戻る。

【0052】

こうして、図４においてステップS2,S3,S5のループ処理が繰り返される都度、ステップS2において例えば1番目、2番目、3番目と選択順番が設定されている分割領域がそれぞれ特徴点の選択対象として設定され、ステップS2において当該設定された分割領域から特徴点の選択が行われることとなる。なお、ステップS5において選択順番の現在値O(k)が最後の順番である場合、再度、1番目の選択順番を次の選択対象として設定するようにすればよい。

【0053】

図５は、図４のフローの適用例を示す図である。図５では、選別上限数を7個とし、3×3の矩形領域分割とし、選択順番をラスタスキャン順とする設定のもとで図４のフローを適用した際に、ある画像（不図示）から選別される特徴点の画像内の位置分布が[2]において示されている。図４ではまた、[2]に対する対比例として、本発明の手法を適用せずに特徴点スコア値のみに基づいて選別上限数7個を同一画像内から選別した場合が[1]に示されている。

【0054】

すなわち、図５の[1],[2]では共に、同一画像内の特徴点がその特徴点スコア値を併記する形でプロットされており、特徴点は合計16個あり、特徴点スコアは最高100から最低85までの各整数値を有している例が示されている。[1],[2]では共に、選別された特徴点はそのスコア値に下線付与することによって示されている。本発明の手法を適用しない[1]の例では、単純に最高値100から上位7個までを取って特徴点スコア94までのものが選別されているが、[1]に見て取れるようにその画像内での位置分布が左下箇所に偏ってしまっている。一方、本発明の図４の手法を適用した[2]の例では、[1]の偏りが解消され、画像内において比較的均一に散らばって特徴点が選別されている。すなわち、[2]では画像内の上段側部分で特徴点スコア88,89,85の3個が選別され、中段部分で特徴点スコア92,91の2個が選別され、下段側部分で特徴点スコア100,99の2個が選別されており、[1]に見られるような選別された特徴点分布の空間的な偏りが解消されている。

【0055】

図６は、図４のフローの適用例を図５の場合よりも多数の特徴点上限数のもとで、ある画像（不図示）に関して示す図である。図５の場合と同様、図６でも[1]が対比例としての同一画像における同一特徴点上限数で本発明を適用しなかった場合の選別特徴点分布を示しており、中段・下段側への特徴点の偏りが見られるのに対し、[2]に示す本発明の適用例においては、中段・下段側への特徴点の偏りが解消され、上段側においても概ね均一に特徴点が選別されている。なお、図６の例は、図１の[3]に例示したような、特徴点スコアの高い特徴点が多数抽出されてしまうものの本来の判定対象には該当しない「帯」の領域R13が画像の中下段側部分に存在する場合の、本発明の効果の説明例となっている。

【0056】

以上、本発明によれば、撮像対象を撮像部1で撮像したうえで、判定部5において当該撮像された撮像対象を判定することができる。この際、撮像部1と撮像対象との相対的な位置関係により特徴点を選別するため、特徴点分布を適正化でき高精度な判定が可能となる。さらに、当該特徴点座標での特徴量を撮像画像から算出するとともに、同条件の特徴情報を記憶部6から選択し判定するため、判定精度を高精度化できる。

【0057】

以下、本発明における説明上の補足事項を述べる。

【0058】

（１）選別部3における選別処理についての第二実施形態の第一変形例として、特徴点iをその特徴点スコアscore(i)が最大となるものから1個ずつ選別する処理を繰り返して所定上限数に到達するまで選別を行うものとし、1個ずつ選別される都度、次の更新処理を行うようにしてもよい。すなわち、既に選別された特徴点iから画像上での位置が所定距離以内にあるような特徴点jに関しては、その特徴点スコアscore(j)を低い値に更新するようにしてもよい。低い値への更新は、例えば所定係数r(0≦r<1)を乗ずることによって行えばよく、未選別のある特徴点jに関して所定距離以内に既にN個の特徴点が選別済みのものとして存在すれば、その特徴点スコアはN回分だけ累積的に更新したr^N*score(j)としてもよい。なお、所定係数r=0との設定は、既に選別された特徴点から所定距離内にある特徴点は選別対象から完全に除外することに相当する。

【0059】

なお、当該第一変形例は図４のステップS1,S2,S5における処理を次のような処理に置き換えることで実現できる。すなわち、ステップS1では領域分割や分割領域の選択順番の設定は行わず、最大特徴点数（選別部3で選別する特徴点数の上限所定数）の設定のみを行う。ステップS2では、選択領域ではなく画像全体の中から、未選択の特徴点で特徴点スコアが最大のものを選択するようにする。ステップS5では、次の分割領域を選択するのではなく、直前のステップS2で選択された特徴点iから所定距離内にあるような特徴点jに関して、その特徴点スコアscore(j)を低い値に更新する。

【0060】

（２）選別部3における選別処理についての第二実施形態の第二変形例として、次のようにしてもよい。すなわち、画像の領域分割は図４のステップS1で説明したのと同様に行う。そして、各分割領域R(k)(k=1,2, ...)に関して、当該分割領域内で検出部2により検出されている特徴点の総数をNum(k)とし、各分割領域R(k)から、その特徴点総数Num(k)に応じた個数r*Num(k)個の特徴点を特徴点スコアの高い順に選別したもの全体を、選別部3からの選別結果として出力する。ここで、係数rは特徴点総数Num(k)に応じた個数を与えるような所定値（0<r<1）として設定しておけばよく、特に、各分割領域R(k)から選別する個数の総和「Σr*Num(k)」が予め設定する特徴点上限所定個数に一致するような値として係数rを定めてもよい。なお、係数rを乗じた個数r*Num(k)個は一般に整数ではないが、所定の丸め処理で適宜整数化すればよい。個数の総和「Σr*Num(k)」についても、特徴点上限所定数に閾値判定で一致するものであればよい。

【0061】

当該第二変形例によれば、分割領域内で検出部2により検出されている特徴点の多寡に応じた均等な特徴点分布を、選別部3から出力する選別結果において実現することが可能となる。すなわち、検出部2で検出された撮像画像における特徴点分布を、係数rによって画像全体において概ね均一に間引いた特徴点分布を、選別部3からの選別結果として出力することが可能となる。

【0062】

（３）選別部3における選別処理に関して、第一実施形態と第二実施形態とを組み合わせてもよい。例えば、第二実施形態においては図４のステップS2で特徴点スコアscore(i)が最大となるような特徴点iを選別したが、ステップS2では当該特徴点スコアscore(i)の代わりに第一実施形態における重み付けスコアw(i)*score(i)を用いて、当該重み付けスコアが最大となるような特徴点iを選別するようにしてもよい。

【0063】

（４）第一実施形態における重みw(i)を、奥行きd(i)等の空間座標における配置は考慮せずに、その特徴点iの画像内での座標(u(i),v(i))のみに基づいて設定されるものとしてもよい。例えば、画像内における中心などの所定位置において最大値を取り、当該所定位置から距離が離れるほど値が小さくなるような、正の値の重みw(i)を設定してもよい。この場合も、判定対象となる撮像対象は当該画像内の中心その他の所定位置の付近にあるものとして撮像がなされているという前提のもとで、判定対象の撮像対象に起因する特徴点を優先して選別することが可能となり、判定部5における判定の高精度化に寄与することとなる。

【0064】

（５）情報処理装置10は、図２に示す各機能部のうちの任意の一部分のみで構成されていてもよい。例えば撮像部1を省略して、検出部2では任意の画像をネットワーク上その他の任意の箇所から取得するようにしてもよい。ただしこの際、当該読み込んだ画像に関してのカメラの情報等の付随情報も併せて取得することで、例えば前述の奥行に基づく選別部3による選別処理といったような、前述の各処理が可能になるものとすればよい。例えば、検出部2及び選別部3のみを備えて情報処理装置10を構成した場合を考えると、検出部2において読み込んだ画像から認識その他の判定処理に適した特徴点を選別して出力する装置として情報処理装置10が機能することとなる。

【0065】

（６）情報処理装置10は一般的な構成のコンピュータとして実現可能である。すなわち、CPU（中央演算装置）、当該CPUにワークエリアを提供する主記憶装置、ハードディスクやSSDその他で構成可能な補助記憶装置、キーボード、マウス、タッチパネルその他といったユーザからの入力を受け取る入力インタフェース、ネットワークに接続して通信を行うための通信インタフェース、表示を行うディスプレイ、カメラ及びこれらを接続するバスを備えるような、一般的なコンピュータによって情報処理装置10を構成することができる。さらに、図２に示す情報処理装置10の各部の処理はそれぞれ、当該処理を実行させるプログラムを読み込んで実行するCPUによって実現することができるが、任意の一部の処理を別途の専用回路等において実現するようにしてもよい。撮像部1は、当該ハードウェアとしてのカメラによって実現できる。

【符号の説明】

【0066】

10…情報処理装置、1…撮像部、2…検出部、3…選別部、4…算出部、5…判定部、6…記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】