特許 6393495 画像処理装置および物体認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6393495

(24)【登録日】2018年8月31日

(45)【発行日】2018年9月19日

(54)【発明の名称】画像処理装置および物体認識方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20180910BHJP

   G06T 7/254 20170101ALI20180910BHJP

   G06T 7/60 20170101ALI20180910BHJP

【ＦＩ】

   G06T7/70 B

   G06T7/254 B

   G06T7/60 150S

【請求項の数】2

【全頁数】11

(21)【出願番号】特願2014-58194(P2014-58194)

(22)【出願日】2014年3月20日

(65)【公開番号】特開2015-184743(P2015-184743A)

(43)【公開日】2015年10月22日

【審査請求日】2017年3月1日

(73)【特許権者】

【識別番号】591030237

【氏名又は名称】日本ユニシス株式会社

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(72)【発明者】

【氏名】武井 宏将

【審査官】 井上 宏一

(56)【参考文献】

【文献】 特開平０５−１６５９６８（ＪＰ，Ａ）

【文献】 特開２００１−０５６８６１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ７／２５４

Ｇ０６Ｔ ７／６０

(57)【特許請求の範囲】

【請求項1】

撮影画像から背景を除去して対象物体の画像である対象画像を抽出する物体抽出部と、
物体画像が正規化された大きさとなるように、上記物体画像を正規化する正規化処理部と、
上記正規化処理部により正規化された物体画像から物体の境界を抽出する境界抽出部と、
上記境界抽出部により抽出された境界の各ピクセル位置および当該各ピクセル位置における各特徴量を算出する特徴量算出部と、
物体に関する複数の比較画像について上記正規化処理部、上記境界抽出部および上記特徴量算出部と同様の処理を行うことによってあらかじめ生成された各ピクセル位置および各特徴量のセットを、上記複数の比較画像毎に、当該比較画像が表す物体の形状または姿勢の少なくとも何れか一方を示す情報と共に記憶してなる比較データ記憶部と、
上記特徴量算出部により上記対象画像について算出された各ピクセル位置および各特徴量と、上記比較データ記憶部に複数の比較画像毎に記憶されている各ピクセル位置および各特徴量とに基づいて、最も一致度の高い比較画像を検索し、当該検索した比較画像に関する物体の形状または姿勢を、上記撮影画像に写る物体の形状または姿勢として特定する画像マッチング部とを備え、
上記特徴量算出部は、
上記境界抽出部により抽出された境界に位置するピクセルのうち、一のピクセルの特徴量を算出する際、当該一のピクセルの周辺において境界に位置する他のピクセルが出現するパターンをビット列により表すバイナリ特徴量を特徴量として算出し、
上記画像マッチング部は、
上記対象画像と最も一致度の高い比較画像を検索する際、比較画像のそれぞれについて、上記境界抽出部により抽出された境界上のピクセル位置毎に、上記対象画像のピクセルに係るバイナリ特徴量とのハミング距離が所定の閾値以下のバイナリ特徴量を有するピクセルが周辺に存在するか否かを判定し、ハミング距離が所定の閾値以下のバイナリ特徴量を有するピクセルが周辺に存在すると判定されたピクセル位置の個数が最も多い比較画像を、最も一致度の高い比較画像として検出する
ことを特徴とする画像処理装置。

【請求項2】

画像処理装置の物体抽出部が、撮影画像から背景を除去して対象物体の画像である対象画像を抽出する第１のステップと、
上記画像処理装置の正規化処理部が、上記物体抽出部により抽出された上記物体画像が正規化された大きさとなるように、上記物体画像を正規化する第２のステップと、
上記画像処理装置の境界抽出部が、上記正規化処理部により正規化された物体画像から物体の境界を抽出する第３のステップと、
上記画像処理装置の特徴量算出部が、上記境界抽出部により抽出された境界の各ピクセル位置および当該各ピクセル位置における各特徴量を算出する第４のステップと、
上記画像処理装置の画像マッチング部が、上記特徴量算出部により上記対象画像について算出された各ピクセル位置および各特徴量と、比較データ記憶部に複数の比較画像毎にあらかじめ記憶されている各ピクセル位置および各特徴量とに基づいて、最も一致度の高い比較画像を検索し、当該検索した比較画像に関する物体の形状または姿勢を、上記撮影画像に写る物体の形状または姿勢として特定するとを備え、
上記第４のステップにおいて、上記特徴量算出部は、上記境界抽出部により抽出された境界に位置するピクセルのうち、一のピクセルの特徴量を算出する際、当該一のピクセルの周辺において境界に位置する他のピクセルが出現するパターンをビット列により表すバイナリ特徴量を特徴量として算出し、
上記第５のステップにおいて、上記画像マッチング部は、上記対象画像と最も一致度の高い比較画像を検索する際、比較画像のそれぞれについて、上記境界抽出部により抽出された境界上のピクセル位置毎に、上記対象画像のピクセルに係るバイナリ特徴量とのハミング距離が所定の閾値以下のバイナリ特徴量を有するピクセルが周辺に存在するか否かを判定し、ハミング距離が所定の閾値以下のバイナリ特徴量を有するピクセルが周辺に存在すると判定されたピクセル位置の個数が最も多い比較画像を、最も一致度の高い比較画像として検出する
ことを特徴とする物体認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および物体認識方法に関し、特に、ある物体が写った２次元画像からその物体の形状や姿勢を認識する技術に関するものである。

【背景技術】

【0002】

従来、カメラにより撮影された２次元画像の中から所定の物体を検出あるいは認識する技術が広く用いられている。例えば、特定の人物をトラッキングする監視カメラ、車両周囲の障害物を検出して警告する走行支援システム、人の身振りや手振りなどの動作によってコンピュータを制御するジェスチャ入力など、その応用範囲は広い。これら種々の応用技術の中には、物体の形状や位置に加えて、物体の姿勢を検出することが必要なものも多くある。

【0003】

従来、手のジェスチャによって手ぶらで対象機器を操作できるようにするために、手先の形状、位置、姿勢を画像認識するようにした技術が提案されている（例えば、特許文献１参照）。この特許文献１に記載の情報入力装置では、ユーザを含む環境の観測データをもとに、ユーザを含む前景と、前景以外の環境からなる背景とを分離して、３次元モデルを学習し、既にモデル化された個別の前景モデルが環境中のどこに配置されているか、その位置と姿勢を推定する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−２０５９８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記特許文献１に記載された技術のように、撮影画像内から抽出した対象物体の画像（以下、対象画像という）とモデル化された複数の物体画像（以下、比較画像という）とを比較して、対象物体の形状や姿勢を認識する場合、特徴量に基づく認識方法が多用されている。この手法は、対象画像および比較画像のそれぞれから計算により抽出した特徴量を比較し、対象画像と最も特徴量が近い比較画像から対象物体の形状や姿勢を認識するというものである。

【0006】

しかしながら、画像から計算される１つあるいは数点の特徴量のみで比較を行った場合、誤認識が多くなるという問題があった。例えば、物体上に設定した１〜数個の代表点のみの特徴量を用いて比較を行った場合、代表点に関する画像の類似度が高ければ特徴量は互いに近い値を示すため、代表点以外の部分の類似度が低くても、本来は不正解の比較画像が対象画像に最も近い画像として選ばれてしまうことがある。

【0007】

特に、１つの物体に関して様々な姿勢の比較画像を生成しておき、これらと対象画像とを比較することによって対象物体の姿勢を認識する場合、生成された複数の比較画像の形状自体は互いに似たものとなる。そのため、物体上の代表点のみについて計算した特徴量や、物体の全体の形状等から計算した１つの特徴量を用いた単純な比較では、本来は不正解の比較画像が対象画像に最も近い画像として選ばれてしまい、正しい姿勢を認識できないことが多くなるという問題があった。

【0008】

本発明は、このような問題を解決するために成されたものであり、対象画像およびあらかじめ用意された比較画像のそれぞれから計算した物体の特徴量の比較によって、撮影画像内に写る対象物体の形状や姿勢をより正しく認識できるようにすることを目的とする。

【課題を解決するための手段】

【0009】

上記した課題を解決するために、本発明では、撮影画像から対象物体を抽出して大きさを正規化した対象画像について、物体の境界の各ピクセル位置および当該各ピクセル位置における各特徴量を算出する。そして、当該算出した各ピクセル位置および各特徴量と、複数の比較画像について同様にしてあらかじめ算出しておいた各ピクセル位置および各特徴量とに基づいて、最も一致度の高い比較画像を検索し、当該検索した比較画像に関する物体の形状または姿勢を、撮影画像に写る物体の形状または姿勢として特定するようにしている。また、本発明では、抽出した境界に位置するピクセルのうち、一のピクセルの特徴量を算出する際、当該一のピクセルの周辺において境界に位置する他のピクセルが出現するパターンをビット列により表すバイナリ特徴量を特徴量として算出する。また、本発明では、対象画像と最も一致度の高い比較画像を検索する際、比較画像のそれぞれについて、抽出した境界上のピクセル位置毎に、対象画像のピクセルに係るバイナリ特徴量とのハミング距離が所定の閾値以下のバイナリ特徴量を有するピクセルが周辺に存在するか否かを判定し、ハミング距離が所定の閾値以下のバイナリ特徴量を有するピクセルが周辺に存在すると判定されたピクセル位置の個数が最も多い比較画像を、最も一致度の高い比較画像として検出する。

【発明の効果】

【0010】

上記のように構成した本発明によれば、対象物体の境界を構成するそれぞれのピクセル位置毎に、撮影画像から抽出された対象画像と比較画像との間で特徴量の比較が行われる。そして、最も一致度の高い比較画像が対象画像に最も近い画像として検索され、検索された比較画像により対象物体の形状または姿勢が特定されることとなる。これにより、物体上の代表点のみの特徴量に基づき比較を行う場合や、物体の全体の形状等から計算した１つの特徴量に基づき比較を行う場合に比べて精度の高い比較を行うことができ、撮影画像内に写る対象物体の形状や姿勢をより正しく認識することができる。

【図面の簡単な説明】

【0011】

【図1】本実施形態による画像処理装置の機能構成例を示すブロック図である。

【図2】本実施形態の主成分分析部により分析される主成分方向を説明するための図である。

【図3】本実施形態によるバイナリ特徴量の算出方法を説明するための図である。

【図4】本実施形態による画像マッチング部の処理例を説明するための図である。

【図5】本実施形態による画像処理装置の動作例で、比較データを生成して記憶させる処理の手順を示すフローチャートである。

【図6】本実施形態による画像処理装置の動作例で、撮影画像から対象物体の形状または姿勢を認識する処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による画像処理装置１００の機能構成例を示すブロック図である。図１に示すように、本実施形態の画像処理装置１００は、その機能構成として、撮影画像取得部１１、物体抽出部１２、主成分分析部１３、正規化処理部１４、境界抽出部１５、特徴量算出部１６、比較画像取得部１７、比較データ生成部１８、画像マッチング部１９および比較データ記憶部２０を備えている。

【0013】

上記各機能ブロック１１〜１９は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１〜１９は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

【0014】

撮影画像取得部１１は、単眼カメラ２００を用いて実空間を撮影することにより生成される２次元画像を取得する。なお、図１の例では、パーソナルコンピュータ等の画像処理装置１００に単眼カメラ２００を接続しておき、単眼カメラ２００で撮影された２次元画像を撮影画像取得部１１がリアルタイムに取得する例を示しているが、本発明はこれに限定されない。例えば、単眼カメラ２００で撮影した２次元画像をメモリに記憶させ、このメモリに記憶された２次元画像を撮影画像取得部１１が後から取り込むようにしてもよい。

【0015】

物体抽出部１２は、撮影画像取得部１１により取得された撮影画像から背景を除去して対象物体の画像である対象画像を抽出する。例えば、物体抽出部１２は、撮影画像に対して前景抽出処理を行うことにより、撮影画像内に写っている認識対象物体の画像を抽出する。前景抽出処理には公知の手法を採用することが可能である。例えば、グラフカットを用いた前景抽出処理を適用することが可能である。また、対象物体の画像および背景の画像を教師データとして用い、当該教師データから生成した学習データを用いて前景抽出処理を行うようにしてもよい。

【0016】

主成分分析部１３は、物体画像（物体抽出部１２により抽出された対象画像および後述する比較画像取得部１７により取得された比較画像）に対して主成分分析を行い、第１主成分方向および第２主成分方向を定める。主成分分析とは、元の多数の説明変数で表わされる情報を数個の主成分に要約して表現するための公知の処理である。本実施形態では、物体画像の各ピクセル値を説明変数として、これらの説明変数に座標変換を行って、総合指標となる２つの変数（第１主成分方向および第２主成分方向）を生成する。図２に示すように、第１主成分方向は物体のおよその長尺方向であり、第２主成分方向は物体のおよその短尺方向である。

【0017】

正規化処理部１４は、物体画像が正規化された大きさとなるように、物体画像を正規化する。具体的には、正規化処理部１４は、主成分分析部１３により特定された第１主成分方向および第２主成分方向により物体画像を正規化する。ここで言う正規化とは、第１主成分方向および第２主成分方向に対する特徴ベクトルの大きさが１となるように、物体画像の大きさを拡大または縮小する処理のことである。これにより、同じ対象物体を撮影した場合には、例えば撮影距離の違いによって撮影画像内に写る物体画像の大きさが異なっても、正規化処理後は略同じ大きさの物体画像に整えることができる。

【0018】

境界抽出部１５は、正規化処理部１４により正規化された物体画像から、物体の境界（シルエット）を抽出する。境界の抽出は、例えば、いわゆるエッジ検出処理（画像の輝度や色などが鋭敏に（不連続に）変化している箇所を特定する処理）によって行うことが可能である。

【0019】

特徴量算出部１６は、境界抽出部１５により抽出された境界の各ピクセル位置および当該各ピクセル位置における各特徴量を算出する。境界のピクセル位置ごとに特徴量が求まるのであれば、その算出方法は任意である。例えば、特徴量算出部１６は、以下に説明するバイナリ特徴量を境界のピクセル位置毎に算出する。図３は、バイナリ特徴量の算出方法を説明するための図である。

【0020】

まず、特徴量算出部１６は、図３（ａ）に示すように、物体のシルエット画像の注目するピクセル３１を中心として、一辺の大きさをｎ（ｎは２以上の任意の整数）とするｎ×ｎのボクセル３２を設定する。図３（ａ）の例は、ｎ＝５としてボクセル３２を設定した場合を示している。注目ピクセル３１は、シルエット画像において物体の境界線３３があるピクセルの中の１つである。

【0021】

次に、特徴量算出部１６は、図３（ｂ）に示すように、各ボクセル３２の符号化を行う。具体的には、特徴量算出部１６は、境界線３３のピクセルを含むボクセル３２は値を１とし、含まないボクセル３２は値を０とする。なお、０と１の符号化は逆パターンとしてもよい。すなわち、境界線３３のピクセルを含むボクセル３２は値を０、含まないボクセル３２は値を１としてもよい。

【0022】

さらに、特徴量算出部１６は、図３（ｃ）に示すように、符号化された各ボクセル３２の値を横方向、縦方向、斜め２方向の４方向に取得し、それらを順に配列して２０次元のバイナリ列を生成する。これが求めるバイナリ特徴量である。なお、ここに挙げた４方向およびその配列の順番は一例であって、これに限定されるものではない。特徴量算出部１６は、物体の境界線３３に沿って注目ピクセル３１を１つずつ移動させ、境界線３３上のピクセル位置ごとにバイナリ特徴量を算出する。

【0023】

比較画像取得部１７は、撮影画像から認識したい対象物体と同じ画像を比較画像として取得する。例えば、比較画像取得部１７は、パーソナルコンピュータ等で生成された物体のＣＧ画像を取得する。取得の形態は任意である。例えば、画像処理装置１００にパーソナルコンピュータを接続し、比較画像取得部１７がパーソナルコンピュータからダイレクトに比較画像を取得する。あるいは、パーソナルコンピュータ等で生成された比較画像をメモリに記憶させ、このメモリに記憶された比較画像を比較画像取得部１７が取り込むようにしてもよい。

【0024】

撮影画像から対象物体の形状を認識したい場合、比較画像取得部１７は、形状の異なる様々な物体に関する比較画像を取得する。また、撮影画像から対象物体の姿勢（対象物体が向いている方向）を認識したい場合、比較画像取得部１７は、同じ物体に関して姿勢の異なる様々な比較画像を取得する。撮影画像から対象物体の形状および姿勢の両方を認識したい場合、比較画像取得部１７は、形状の異なる様々な物体のそれぞれに関して、姿勢の異なる様々な比較画像を取得する。ここで、比較画像取得部１７は、各種の比較画像を、当該比較画像が表す物体の形状または姿勢の少なくとも何れか一方を示す情報と共に取得する。

【0025】

上述した主成分分析部１３、正規化処理部１４、境界抽出部１５および特徴量算出部１６は、比較画像取得部１７により取得された比較画像についても同様の処理を行う。これは、認識したい対象物体を単眼カメラ２００で撮影する前に、あらかじめ行っておく。この場合、主成分分析部１３は、比較画像取得部１７により取得された比較画像に対して主成分分析を行い、第１主成分方向および第２主成分方向を定める。

【0026】

正規化処理部１４は、比較画像取得部１７により取得された比較画像が正規化された大きさとなるように、比較画像を正規化する。これにより、正規化された比較画像により表される物体画像の大きさと、撮影画像から抽出され正規化される物体画像の大きさとを略同じ大きさに整えることができる。境界抽出部１５は、正規化処理部１４により正規化された比較画像から物体の境界（シルエット）を抽出する。特徴量算出部１６は、境界抽出部１５により抽出された境界の各ピクセル位置および当該各ピクセル位置における各バイナリ特徴量を算出する。

【0027】

比較データ生成部１８は、物体に関する複数の比較画像について主成分分析部１３、正規化処理部１４、境界抽出部１５および特徴量算出部１６の各処理を行うことによってあらかじめ生成された各ピクセル位置および各バイナリ特徴量のセットを、複数の比較画像毎に、当該比較画像が表す物体の形状または姿勢の少なくとも何れか一方を示す情報と合わせて比較データを生成する。そして、生成した比較データを比較データ記憶部２０に記憶させる。

【0028】

画像マッチング部１９は、特徴量算出部１６により対象画像について算出された各ピクセル位置および各バイナリ特徴量と、比較データ記憶部２０に複数の比較画像毎にあらかじめ記憶されている各ピクセル位置および各バイナリ特徴量とに基づいて、最も一致度の高い比較画像を検索する。そして、当該検索した比較画像に関する物体の形状または姿勢を、撮影画像に写る対象物体の形状または姿勢として特定する。

【0029】

具体的には、画像マッチング部１９は、特徴量算出部１６により対象画像について算出された各ピクセル位置と比較画像について算出された各ピクセル位置との差、および、特徴量算出部１６により対象画像について算出された各バイナリ特徴量と比較画像について算出された各バイナリ特徴量との差に基づいて、各ピクセル位置でのバイナリ特徴量の差の大きさが全体として最も小さくなる比較画像を、最も一致度の高い比較画像として検索する。

【0030】

図４は、画像マッチング部１９の処理例を説明するための図である。図４（ａ）は、撮影画像から抽出された対象物体のシルエット画像を示す。また、図４（ｂ）〜（ｄ）は、複数の比較画像から抽出された比較物体のシルエット画像を示す。

【0031】

まず、画像マッチング部１９は、図４（ａ）に示すように、特徴量算出部１６により対象画像について算出されたピクセル位置（x1,y1）と、そのピクセル位置において算出されたバイナリ特徴量Ｐ11とを取得する。次に、画像マッチング部１９は、図４（ｂ）〜（ｄ）に示す複数の比較画像を対象として、ピクセル位置（x1,y1）から所定の距離以内（符号４１で示す範囲）のピクセル位置に、バイナリ特徴量Ｐ11とのハミング距離が所定の閾値以下となるバイナリ特徴量を持つ比較画像があるか否かを検索する。

【0032】

ハミング距離とは、対象画像および比較画像のそれぞれから算出された２０ビットから成るバイナリ特徴量の対応ビットどうしを比較して、異なる値を示すビットの数をカウントした値のことである。画像マッチング部１９は、ハミング距離が所定の閾値以下となる比較画像が検索された場合、その比較画像に対してスコアを加算する。

【0033】

図４（ｂ）に示す比較画像は、図４（ａ）の対象画像と略同形同大（大きさは正規化されている）であり、ピクセル位置（x1,y1）から所定の距離以内のピクセル位置に、バイナリ特徴量Ｐ11とのハミング距離が所定の閾値以下となるバイナリ特徴量を持つ。よって、この比較画像に対してスコアを加算する。一方、図４（ｃ）、（ｄ）に示す比較画像は、図４（ａ）の対象画像と形状が異なるため、ピクセル位置（x1,y1）から所定の距離以内のピクセル位置に、バイナリ特徴量Ｐ11とのハミング距離が所定の閾値以下となるバイナリ特徴量を持たない。よって、これらの比較画像に対してはスコアを加算しない。

【0034】

画像マッチング部１９は、以上のような処理を、図４（ａ）に示す対象物体の境界線上の各ピクセル位置について順次行う。そして、その結果としてスコアが最も大きくなった比較画像を、対象画像と最も一致度の高い比較画像として抽出する。そして、当該抽出した比較画像に関する物体の形状または姿勢（比較データ記憶部２０に記憶されている）を、撮影画像に写る対象物体の形状または姿勢として特定する。

【0035】

図５および図６は、上記のように構成した本実施形態による画像処理装置１００の動作例を示すフローチャートである。図５は、あらかじめ比較データを生成して記憶させる処理の手順を示す。図６は、撮影画像から対象物体の形状または姿勢を認識する処理の手順を示す。

【0036】

図５において、まず、比較画像取得部１７は、パーソナルコンピュータ等で生成された物体のＣＧ画像を比較画像として取得する（ステップＳ１）。例えば、比較画像取得部１７は、形状の異なる様々な物体に関して、姿勢の異なる様々な比較画像を、当該比較画像が表す物体の形状および姿勢を示す情報と共に取得する。次に、主成分分析部１３は、比較画像取得部１７により取得された比較画像に対して主成分分析を行い、第１主成分方向および第２主成分方向を定める（ステップＳ２）。

【0037】

さらに、正規化処理部１４は、比較画像取得部１７により取得された比較画像が正規化された大きさとなるように、比較画像を正規化する（ステップＳ３）。続いて、境界抽出部１５は、正規化処理部１４により正規化された比較画像から物体の境界（シルエット）を抽出する（ステップＳ４）。そして、特徴量算出部１６は、境界抽出部１５により抽出された境界の各ピクセル位置および当該各ピクセル位置における各バイナリ特徴量を算出する（ステップＳ５）。

【0038】

最後に、比較データ生成部１８は、特徴量算出部１６により複数の比較画像について生成された各ピクセル位置および各バイナリ特徴量のセットを、当該複数の比較画像毎に、当該比較画像が表す物体の形状および姿勢を示す情報と共に比較データ記憶部２０に記憶させる（ステップＳ６）。以上により、撮影画像から対象物体の形状および姿勢を認識するための前準備が完了する。

【0039】

図６において、撮影画像取得部１１は、単眼カメラ２００を用いて実空間を撮影することにより生成される２次元画像を取得する（ステップＳ１１）。また、物体抽出部１２は、撮影画像取得部１１により取得された撮影画像から背景を除去して物体の対象画像を抽出する（ステップＳ１２）。次に、主成分分析部１３は、物体抽出部１２により抽出された対象画像に対して主成分分析を行い、第１主成分方向および第２主成分方向を定める（ステップＳ１３）。

【0040】

さらに、正規化処理部１４は、物体抽出部１１により抽出された対象画像が正規化された大きさとなるように、対象画像を正規化する（ステップＳ１４）。さらに、境界抽出部１５は、正規化処理部１４により正規化された対象画像から、物体の境界（シルエット）を抽出する（ステップＳ１５）。続いて、特徴量算出部１６は、境界抽出部１５により抽出された境界の各ピクセル位置および当該各ピクセル位置における各特徴量を算出する（ステップＳ１６）。

【0041】

最後に、画像マッチング部１９は、特徴量算出部１６により対象画像について算出された各ピクセル位置および各バイナリ特徴量と、比較データ記憶部２０に複数の比較画像毎にあらかじめ記憶されている各ピクセル位置および各バイナリ特徴量とに基づいて、最も一致度の高い比較画像を検索し、当該検索した比較画像に関する物体の形状または姿勢を、撮影画像に写る対象物体の形状または姿勢として特定する（ステップＳ１７）。

【0042】

以上詳しく説明したように、本実施形態では、撮影画像から対象物体を抽出して大きさを正規化した対象画像について、境界の各ピクセル位置および当該各ピクセル位置における各特徴量を算出する。そして、当該算出した各ピクセル位置および各特徴量と、複数の比較画像について同様にしてあらかじめ算出しておいた各ピクセル位置および各特徴量とに基づいて、最も一致度の高い比較画像を検索し、当該検索した比較画像に関する物体の形状または姿勢を、撮影画像に写る対象物体の形状または姿勢として特定するようにしている。

【0043】

このように構成した本実施形態によれば、対象物体の境界を構成するそれぞれのピクセル位置毎に、撮影画像から抽出された物体の対象画像と比較画像との間で特徴量の比較が行われる。そして、最も一致度の高い比較画像が対象画像に最も近い画像として検索され、検索された比較画像により物体の形状または姿勢が特定されることとなる。これにより、従来のように物体上の代表点のみの特徴量に基づき比較を行う場合や、物体の全体の形状等から計算した１つの特徴量に基づき比較を行う場合に比べて精度の高い比較を行うことができ、撮影画像内に写る対象物体の形状や姿勢をより正しく認識することができる。

【0044】

なお、上記実施形態では、主成分分析を行って第１主成分方向および第２主成分方向を特定し、これら２つの方向により物体画像を正規化する例について説明したが、本発明はこれに限定されない。物体画像を正規化することができれば、必ずしも主成分分析による方法によらずともよい。

【0045】

また、上記実施形態では、画像マッチングにおいてハミング距離を算出する例について説明したが、本発明はこれに限定されない。対象画像から算出された特徴量と比較画像から算出された特徴量との類似度を算出することが可能な手法であれば、何れも本発明に適用することが可能である。

【0046】

また、上記実施形態では、対象画像から物体の特徴量を算出する処理と、比較画像から物体の特徴量を抽出する処理とを同じ画像処理装置１００の主成分分析部１３、正規化処理部１４、境界抽出部１５および特徴量算出部１６を用いて行う例について説明したが、本発明はこれに限定されない。例えば、比較画像から物体の特徴量を抽出する処理を画像処理装置１００とは別のパーソナルコンピュータ等で行い、その結果得られた比較データを比較データ記憶部２０にあらかじめ記憶しておくようにしてもよい。

【0047】

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0048】

１１ 撮影画像取得部
１２ 物体抽出部
１３ 主成分分析部
１４ 正規化処理部
１５ 境界抽出部
１６ 特徴量算出部
１７ 比較画像取得部
１８ 比較データ生成部
１９ 画像マッチング部
２０ 比較データ記憶部
１００ 画像処理装置
２００ 単眼カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】