特許 6044293 ３次元物体認識装置および３次元物体認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6044293

(24)【登録日】2016年11月25日

(45)【発行日】2016年12月14日

(54)【発明の名称】３次元物体認識装置および３次元物体認識方法

(51)【国際特許分類】

   G06T 7/00 20060101AFI20161206BHJP

   G06T 7/20 20060101ALI20161206BHJP

   G06T 1/00 20060101ALI20161206BHJP

【ＦＩ】

   G06T7/00 300F

   G06T7/20 A

   G06T1/00 315

   G06T1/00 285

【請求項の数】7

【全頁数】14

(21)【出願番号】特願2012-253023(P2012-253023)

(22)【出願日】2012年11月19日

(65)【公開番号】特開2014-102608(P2014-102608A)

(43)【公開日】2014年6月5日

【審査請求日】2015年9月28日

(73)【特許権者】

【識別番号】000000099

【氏名又は名称】株式会社ＩＨＩ

(74)【代理人】

【識別番号】110000936

【氏名又は名称】特許業務法人青海特許事務所

(72)【発明者】

【氏名】林 俊寛

(72)【発明者】

【氏名】江本 周平

(72)【発明者】

【氏名】曽根原 光治

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１０−２６７２３１（ＪＰ，Ａ）

【文献】 特開２００７−２１９７６５（ＪＰ，Ａ）

【文献】 特開２００１−２６６１６０（ＪＰ，Ａ）

【文献】 特開２００１−５９７３（ＪＰ，Ａ）

【文献】 特開平８−１４９４５８（ＪＰ，Ａ）

【文献】 特表２００６−５２４５３４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／０１１４２５１（ＵＳ，Ａ１）

【文献】 照井冬人, 外２名，”画像情報を用いた大型スペースデブリの運動推定”，日本機械学会２００２年度年次大会講演論文集，２００２年 ９月２５日，p.289-290

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００，７／２０−７／６０

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

探索領域を撮像し、画像データを生成する撮像部と、
前記画像データに基づく画像中の３次元物体と、該３次元物体に対応する３次元形状モデルとを比較し、パターンマッチングによって相関のある特徴点同士を対応付けるマッチング部と、
前記マッチング部が対応付けた特徴点を３次元に復元し、前記３次元形状モデルの位置および姿勢を更新するモデル更新部と、
前記モデル更新部が更新した前記３次元形状モデルの位置姿勢履歴から前記３次元物体の運動を推定し、将来の任意の時点の３次元形状モデルの位置および姿勢を推定する運動推定部と、
前記マッチング部が対応付けた特徴点と、前記運動推定部が推定した３次元形状モデルとを比較し、正当であると判定した特徴点のみによって前記モデル更新部に前記３次元形状モデルを更新させる正当性判定部と、
を備えることを特徴とする３次元物体認識装置。

【請求項2】

探索領域を撮像し、画像データを生成する撮像部と、
前記画像データに基づく画像中の３次元物体と、該３次元物体に対応する３次元形状モデルとを比較し、パターンマッチングによって相関のある特徴点同士を対応付けるマッチング部と、
前記マッチング部が対応付けた特徴点を３次元に復元し、前記３次元形状モデルの位置および姿勢を更新するモデル更新部と、
前記モデル更新部が更新した前記３次元形状モデルの位置姿勢履歴から前記３次元物体の運動を推定し、将来の任意の時点の３次元形状モデルの位置および姿勢を推定する運動推定部と、
を備え、
前記マッチング部は、将来の任意の時点において、前記３次元物体と、前記運動推定部が推定した３次元形状モデルとを比較することを特徴とする３次元物体認識装置。

【請求項3】

前記運動推定部は、前記３次元形状モデルの位置および姿勢を一体的に推定することを特徴とする請求項１または２に記載の３次元物体認識装置。

【請求項4】

前記運動推定部は、前記３次元形状モデルの位置および姿勢を細分化した特徴点毎に推定することを特徴とする請求項１または２に記載の３次元物体認識装置。

【請求項5】

前記運動推定部は、拡張カルマンフィルタを用いて運動を推定することを特徴とする請求項１から４に記載の３次元物体認識装置。

【請求項6】

探索領域を撮像し、画像データを生成し、
前記画像データに基づく画像中の３次元物体と、該３次元物体に対応する３次元形状モデルとを比較し、パターンマッチングによって相関のある特徴点同士を対応付け、
前記対応付けされた特徴点と、推定された３次元形状モデルとを比較し、正当であると判定した特徴点のみを抽出し、
前記抽出された特徴点を３次元に復元し、前記３次元形状モデルの位置および姿勢を更新し、
前記更新された３次元形状モデルの位置姿勢履歴から前記３次元物体の運動を推定し、将来の任意の時点の３次元形状モデルの位置および姿勢を推定することを特徴とする３次元物体認識方法。

【請求項7】

探索領域を撮像し、画像データを生成し、
前記画像データに基づく画像中の３次元物体と、該３次元物体に対応する３次元形状モデルとを比較し、パターンマッチングによって相関のある特徴点同士を対応付け、
前記対応付けられた特徴点を３次元に復元し、前記３次元形状モデルの位置および姿勢を更新し、
前記更新された前記３次元形状モデルの位置姿勢履歴から前記３次元物体の運動を推定し、将来の任意の時点の３次元形状モデルの位置および姿勢を推定し、該将来の任意の時点のパターンマッチングに用いさせることを特徴とする３次元物体認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元物体を認識する３次元物体認識装置および３次元物体認識方法に関する。

【背景技術】

【0002】

近年、宇宙開発を進めていく上で、目的を終えた状態で地球の衛星軌道上を周回している人工物体であるスペースデブリの増加が問題となっている。かかるスペースデブリは移動制御および姿勢制御されていない非協力体であるため、タンブリング運動等の複雑な姿勢運動をしている可能性がある。そのため、スペースデブリを除去するための除去衛星がスペースデブリに近づく際には、スペースデブリの位置や姿勢を正確に把握しなければならない。

【0003】

したがって、除去装置においては、スペースデブリを撮像部（カメラ）で撮像し、撮像された画像中で確認できるスペースデブリの部位から、スペースデブリと除去衛星との相対的な位置関係を示す位置関係情報および相対的な姿勢関係を示す姿勢関係情報（以下、合わせて単に「状態情報」という）を把握しなければならない。このような状態情報の解法として因子分解法が提案されている。また、非特許文献１には、因子分解法におけるParaperspectiveモデルについて記載され、重み付因子分解法も説明されている。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】"A Paraperspective Factorization Method for Shape and Motion Recovery"、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLGENCE、VOL.19、NO.3、MARTCH 1997、p206-218

【発明の概要】

【発明が解決しようとする課題】

【0005】

除去衛星がフライアラウンドによってスペースデブリを周回する場合、スペースデブリの姿勢によっては、撮像された画像から特徴点の数を十分に得られない場合がある。例えば、スペースデブリと除去衛星と太陽との相対位置関係やスペースデブリの姿勢によっては、スペースデブリの表面において太陽光の当たっている部分が少なく、影となってしまう部分が多くなることがある。そのため、特徴点を十分得ることができず、スペースデブリ本体と、スペースデブリに対応する３次元形状モデルとを正しくパターンマッチングできないおそれがある。

【0006】

また、スペースデブリは移動しつつ姿勢も変化するので、上記の非特許文献１の技術を用いただけでは、マッチングした際の特徴点の移動を、スペースデブリの移動と姿勢変化とに分解できず、実際の運動と誤差が生じることがあった。

【0007】

さらに、スペースデブリに対するパターンマッチングでは、パターンマッチングの対象となる範囲が大きく、また、スペースデブリの表面は単純な構造をしており画像パターンが近似している部位が多いので、パターンマッチングに失敗することもある。すると、本来等しい特徴点同士を異なる特徴点であると判断したり、異なる特徴点同士を等しい特徴点であると判断することがあった。

【0008】

また、このようなマッチングの結果を、３次元形状モデルの形成（モデルの形状を示す点の更新または追加）に利用している場合、一度、誤った情報で更新されると、その誤った情報によって誤ったマッチングが実行されてしまい、最終的なマッチング結果に影響を及ぼすことがあった。

【0009】

本発明は、このような課題に鑑み、特徴点の情報を十分に得ることができない状況であっても、３次元物体と３次元形状モデルとのマッチングの精度を高め、３次元物体の状態情報を高精度に導出することが可能な３次元物体認識装置および３次元物体認識方法を提供することを目的としている。

【課題を解決するための手段】

【0010】

上記課題を解決するために、本発明の３次元物体認識装置は、探索領域を撮像し、画像データを生成する撮像部と、画像データに基づく画像中の３次元物体と、３次元物体に対応する３次元形状モデルとを比較し、パターンマッチングによって相関のある特徴点同士を対応付けるマッチング部と、マッチング部が対応付けた特徴点を３次元に復元し、３次元形状モデルの位置および姿勢を更新するモデル更新部と、モデル更新部が更新した３次元形状モデルの位置姿勢履歴から３次元物体の運動を推定し、将来の任意の時点の３次元形状モデルの位置および姿勢を推定する運動推定部と、マッチング部が対応付けた特徴点と、運動推定部が推定した３次元形状モデルとを比較し、正当であると判定した特徴点のみによってモデル更新部に３次元形状モデルを更新させる正当性判定部と、を備えることを特徴とする。

【0011】

上記課題を解決するために、本発明の他の３次元物体認識装置は、探索領域を撮像し、画像データを生成する撮像部と、画像データに基づく画像中の３次元物体と、３次元物体に対応する３次元形状モデルとを比較し、パターンマッチングによって相関のある特徴点同士を対応付けるマッチング部と、マッチング部が対応付けた特徴点を３次元に復元し、３次元形状モデルの位置および姿勢を更新するモデル更新部と、モデル更新部が更新した３次元形状モデルの位置姿勢履歴から３次元物体の運動を推定し、将来の任意の時点の３次元形状モデルの位置および姿勢を推定する運動推定部と、を備え、マッチング部は、将来の任意の時点において、３次元物体と、運動推定部が推定した３次元形状モデルとを比較することを特徴とする。

【0012】

運動推定部は、３次元形状モデルの位置および姿勢を一体的に推定してもよい。

【0013】

運動推定部は、３次元形状モデルの位置および姿勢を細分化した特徴点毎に推定してもよい。

【0014】

運動推定部は、拡張カルマンフィルタを用いて運動を推定してもよい。

【0015】

上記課題を解決するために、本発明の３次元物体認識方法は、探索領域を撮像し、画像データを生成し、画像データに基づく画像中の３次元物体と、３次元物体に対応する３次元形状モデルとを比較し、パターンマッチングによって相関のある特徴点同士を対応付け、対応付けされた特徴点と、推定された３次元形状モデルとを比較し、正当であると判定した特徴点のみを抽出し、抽出された特徴点を３次元に復元し、３次元形状モデルの位置および姿勢を更新し、更新された３次元形状モデルの位置姿勢履歴から３次元物体の運動を推定し、将来の任意の時点の３次元形状モデルの位置および姿勢を推定することを特徴とする。

【0016】

上記課題を解決するために、本発明の他の３次元物体認識方法は、探索領域を撮像し、画像データを生成し、画像データに基づく画像中の３次元物体と、３次元物体に対応する３次元形状モデルとを比較し、パターンマッチングによって相関のある特徴点同士を対応付け、対応付けられた特徴点を３次元に復元し、３次元形状モデルの位置および姿勢を更新し、更新された３次元形状モデルの位置姿勢履歴から３次元物体の運動を推定し、将来の任意の時点の３次元形状モデルの位置および姿勢を推定し、将来の任意の時点のパターンマッチングに用いさせることを特徴とする。

【発明の効果】

【0017】

本発明によれば、特徴点の情報を十分に得ることができない状況であっても、３次元物体と３次元形状モデルとのマッチングの精度を高め、３次元物体の状態情報を高精度に導出することが可能となる。

【図面の簡単な説明】

【0018】

【図1】スペースデブリと除去衛星との相対位置関係を示した説明図である。

【図2】スペースデブリの追尾を説明するための説明図である。

【図3】３次元物体認識装置の概略的な構成を示した機能ブロック図である。

【図4】特徴点抽出部の動作を説明するための説明図である。

【図5】マッチング部の動作を説明するための説明図である。

【図6】３次元物体認識方法の処理の流れを示したフローチャートである。

【図7】他の実施形態における３次元物体認識方法の処理の流れを示したフローチャートである。

【発明を実施するための形態】

【0019】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

【0020】

（除去衛星１０）
図１は、スペースデブリ１２と除去衛星１０との相対位置関係を示した説明図である。図１を参照すると、スペースデブリ１２が地球１４を中心に低軌道混雑軌道１６を周回し、除去衛星１０がスペースデブリ１２を周回する。ここでは、認識対象である３次元物体として、廃棄された大型のロケットの上段部分に相当するスペースデブリ１２を想定している。

【0021】

例えば、除去衛星１０は、スペースデブリ１２を周回する軌道に遷移すると、フライアラウンドしつつ、スペースデブリ１２を撮像装置を通じて撮像し、スペースデブリ１２の除去衛星１０に対する相対的な位置関係情報および姿勢関係情報（状態情報）を導出する。そして、除去衛星１０は、捕獲手段を通じて対象となるスペースデブリ１２を捕獲する。このように、除去衛星１０がフライアラウンドによってスペースデブリ１２を周回する場合、除去衛星１０から見たスペースデブリ１２の向きによっては、撮像された画像から十分な数の特徴点を得られない場合がある。

【0022】

例えば、フライアラウンドでスペースデブリ１２を周回する際、スペースデブリ１２と除去衛星１０と太陽との相対位置関係やスペースデブリ１２の姿勢によっては、撮像した画像中のスペースデブリ１２の表面において、太陽光の当たっている部分が多く、影となってしまう部分が少ない場合と、太陽光の当たっている部分が少なく、影となってしまう部分が多くなる場合がある。そのため、後者の場合、特徴点を十分得ることができず、スペースデブリ１２本体と、スペースデブリ１２に対応する３次元形状モデルとを正しくパターンマッチングできないおそれがある。また、スペースデブリ１２は移動しつつ姿勢も変化するので、位置関係情報および姿勢関係情報を正確に特定しにくく、パターンマッチングの対象となる範囲も大きいので、正しいパターンマッチングが行われないこともあり、対象物であるスペースデブリ１２の追尾に失敗したり、途中で見失うといった事態を招くこととなる。

【0023】

図２は、スペースデブリ１２の追尾を説明するための説明図である。図２では、横軸に時間を、縦軸にスペースデブリ１２の軸周りの回転角度を示している。ここで、スペースデブリ１２が、時間の経過に伴い、図２（ａ）中一点鎖線で示す回転角度で回転していたとする（回転角度の真値）。しかし、除去衛星１０側でマッチングした際の特徴点の移動を、スペースデブリ１２の移動と姿勢変化とに分解できないので、図２（ａ）中実線で示したように、回転角度の測定値は、真値と異なる軌跡を辿る。例えば、図２（ａ）を参照すると、本来は真値のように追尾されるべき特徴点が、回転角度の誤差が大きくなったところで見失われ、また、ある程度時間が経過した後、新たな特徴点として追加される。

【0024】

そこで、本実施形態では、対象の３次元物体であるスペースデブリ１２の追尾処理に、スペースデブリ１２の運動を推定する運動推定処理を併用することで、スペースデブリ１２と３次元形状モデルとのマッチングの精度を高める。このようにスペースデブリ１２の運動を推定することで、特徴点がどこに移動したかを高精度に特定することができ、図２（ｂ）中実線で示すように、回転角度の測定値を、図２（ｂ）中一点鎖線で示した回転角度の真値に近づけることができる。

【0025】

具体的に、本実施形態では、３次元物体（ここではスペースデブリ１２）の追尾処理と３次元復元処理が並行して遂行される。追尾処理では２次元の画像上の特徴点と３次元形状モデルの特徴点との対応付け（パターンマッチング）により、撮像部に対するスペースデブリ１２の状態情報を求める。このとき、移動した特徴点や新たに抽出された特徴点は３次元復元処理に用いられる。３次元復元処理では、移動した特徴点や新たに抽出された特徴点を用いてバンドル調整の原理を用いた３次元復元を行い、３次元形状モデルを更新する。そして、復元された３次元形状モデルを用いて運動推定を行い、推定された３次元形状モデルを利用してマッチングの精度を高める。

【0026】

以下、除去衛星１０において、このような追尾処理や３次元復元処理を実現する３次元物体認識装置１００について具体的な構成を述べ、その後、フローチャートに基づいて３次元物体認識方法の処理の流れを説明する。

【0027】

（３次元物体認識装置１００）
図３は、３次元物体認識装置１００の概略的な構成を示した機能ブロック図である。３次元物体認識装置１００は、撮像部１１０と、保持部１１２と、中央制御部１１４とを含んで構成される。

【0028】

撮像部１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、探索領域を撮像し、画像データを生成する。本実施形態では、かかる画像データに基づく画像中にスペースデブリ１２が存在していることを前提としている。

【0029】

探索領域中に存在するスペースデブリ１２の当該撮像部１１０に対する相対的な位置関係情報および姿勢関係情報である状態情報を求めるためには、レーザレーダ等の測距装置を用いることもできるが、本実施形態では、撮像部１１０を用いる。撮像部１１０は、小型かつ軽量であり、安価に状態情報を取得できるからである。また、撮像部１１０を用いた場合、上述したように、撮像した画像から十分な特徴点を得られない場合もあるが、本実施形態では、運動推定処理を併用することによって、撮像部１１０による画像であっても、３次元物体の状態情報を高精度に特定することができる。状態情報が導出されると、スペースデブリ１２または撮像部１１０のいずれか一方の絶対位置や絶対姿勢を特定すれば、他方の特定も行うことが可能となる。

【0030】

また、撮像部１１０によって生成される画像データは２次元の画像を示すものの、スペースデブリ１２と撮像部１１０との相対的な位置関係を異ならせ、例えば、撮像部１１０をずらして、複数の異なる視点（角度）で画像データを生成することで、画像データ中の平面で表された物体を３次元で捉えることができる。

【0031】

また、１つの撮像部１１０によって異なる複数の視点からの画像データを生成する代わりに、位置および撮像方向が相異なる複数の撮像部１１０で一度に異なる複数の視点からの画像データを生成してもよい。こうすることで、複数の視点による情報からスペースデブリ１２の３次元形状を特定することができるので、処理時間の短縮および特定精度の向上を図ることができる。

【0032】

保持部１１２は、ＳＲＡＭ、ＤＲＡＭ、フラッシュメモリ、ＨＤＤ(Hard Disk Drive)等で構成され、撮像部１１０で生成された画像データや、スペースデブリ１２の３次元形状モデルが一時的に保持される。

【0033】

中央制御部１１４は、中央処理装置（ＣＰＵ）や信号処理装置（ＤＳＰ：Digital Signal Processor）、プログラム等が格納されたＲＯＭやメモリ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、３次元物体認識装置１００全体を管理および制御する。また、本実施形態において、中央制御部１１４は、画像処理部１２０、特徴点抽出部１２２、マッチング部１２４、正当性判定部１２６、モデル更新部１２８、運動推定部１３０としても機能する。

【0034】

画像処理部１２０は、本実施形態の追尾処理の前段階として、撮像部１１０で生成された画像データに基づく画像に対し、撮像部１１０のレンズの歪み補正やホワイトバランスの調整等の画像処理を遂行する。

【0035】

特徴点抽出部１２２は、画像処理部１２０によって画像処理がなされた画像から特徴点を抽出する。

【0036】

図４は、特徴点抽出部１２２の動作を説明するための説明図である。撮像部１１０は、スペースデブリ１２を撮像し、画像データを生成する。特徴点抽出部１２２は、画像処理後の画像データに基づく２次元の画像１５０から頂点（角）を抽出し、その画像パターンを特徴点１５２として保持する。

【0037】

抽出方法としては、Ｈａｒｒｉｓ法を利用することができる。Ｈａｒｒｉｓ法は、画像の濃淡の差がある物体のコーナー等の検出に向いている。かかるＨａｒｒｉｓ法は既存の技術であるため、ここでは、その詳細な説明を省略する。

【0038】

マッチング部１２４は、画像データに基づく画像１５０中のスペースデブリ１２と、スペースデブリ１２の３次元形状モデルとを比較し、パターンマッチングによって相関のある特徴点同士を対応付ける。

【0039】

図５は、マッチング部１２４の動作を説明するための説明図である。まず、３次元形状モデル１６０と画像の特徴点とを比較すべく、後述するモデル更新部１２８が更新した３次元形状モデル１６０を平面投影し、２次元画像１６２を生成する。そして、マッチング部１２４は、特徴点抽出部１２２が抽出したスペースデブリ１２の特徴点１５２それぞれと、３次元形状モデル１６０を平面投影した２次元画像１６２とを比較し、３次元形状モデル１６０を平面投影した２次元画像１６２から特徴点と相関のある特徴点（ブロック）１６４を導出する。

【0040】

本実施形態では、比較対象となる３次元形状モデル１６０は、前回の状態情報が反映されているので、すなわち、前回撮像時の位置関係および姿勢関係となっているので、画像データに基づく画像１５０および２次元画像１６２で同一部位を示す特徴点同士が相対的に近くに位置することとなる。そこで、マッチング部１２４は、パターンマッチングの対象となる範囲を所定の範囲に限定し、その範囲内のみで特徴点と相関のある特徴点１６４を特徴点として導出する。例えば、画像データに基づく画像１５０中の任意の特徴点１５２ａとパターンマッチングを実行する範囲は、２次元画像１６２中の範囲１６６に限られる。

【0041】

このように構成することで、特徴点１５２を３次元形状モデル１６０の全範囲と相関をとる場合と比較し、処理負荷を極めて軽くすることが可能となり、また、画像パターンが近似している部位が多いスペースデブリ１２において、他の画像パターンを対象から除外することができる。したがって、マッチングに失敗し、本来等しい特徴点同士を異なる特徴点であると判断したり、異なる特徴点同士を等しい特徴点であると判断するといった事態を回避することが可能となる。

【0042】

なお、本実施形態では、画像データに基づく画像１５０から特徴点１５２を抽出し、その特徴点１５２と３次元形状モデル１６０を平面投影した２次元画像１６２とを比較しているが、３次元形状モデル１６０の点群から特徴点１６４を抽出し、その特徴点１６４と画像データに基づく画像１５０とを比較してもよい。こうすることで、処理の手順によっては、処理負荷の低減を図ることができる。

【0043】

正当性判定部１２６は、マッチング部１２４が対応付けた特徴点１６４と、後述する運動推定部１３０が推定した３次元形状モデルとを比較し、その特徴点１６４の正当性を判定する。

【0044】

上述したように、本実施形態ではマッチング部１２４によるマッチングの結果（特徴点１６４）を、３次元形状モデルの形成に利用する。しかし、一度、誤った情報で３次元形状モデル１６０が更新されると、その誤った情報によって誤ったマッチングが実行されてしまい、最終的なマッチング結果に影響を及ぼしてしまう。そこで、本実施形態では、マッチング部１２４で導出された特徴点１６４が、３次元形状モデル１６０に反映するにふさわしい（正当性がある）か否かを判定する。そして、３次元形状モデル１６０に反映するにふさわしい特徴点１６４のみ残し、その他は排除することで、適切な３次元形状モデル１６０を形成する。

【0045】

ここで、正当性判定部１２６による正当性判定は、以下のようにして行う。まず、後述する運動推定部１３０により、スペースデブリ１２の運動を推定し、前回の撮像時において特定された３次元形状モデル１６０が、今回の撮像時において、どのような状態情報となっているか導出させる。そして、正当性判定部１２６は、その推定された３次元モデルを平面投影した２次元画像１６２とマッチング部１２４で相関の得られた複数の特徴点１６４とを比較し、各特徴点１６４と、推定された位置、姿勢の状態情報とが近似しているか否か判定する。正当性判定部１２６は、かかる運動パラメータが、想定される所定の範囲に含まれれば、その特徴点１６４を正当性のある特徴点として認識する。かかる正当性判定は後程詳述する。

【0046】

モデル更新部１２８は、正当性判定部１２６が正当であると判定した複数の特徴点１６４を、前回の撮像時に生成した３次元形状モデル１６０の状態情報を参照して、３次元に復元し、新たに今回の撮像に基づく３次元形状モデル１６０として更新する。このように、導出された正当性のある特徴点１６４の位置関係をさらに３次元に戻すことで、３次元形状モデル１６０の並進、回転を求め、誤差を最小化させることができる。

【0047】

また、３次元形状モデル１６０の更新には、バンドル調整が用いられる。バンドル調整は、複数の２次元画像から３次元形状モデルを復元する方法である。かかるバンドル調整は、既存の技術であるため、ここでは、詳細な説明を省略する。

【0048】

運動推定部１３０は、モデル更新部１２８が更新した３次元形状モデル１６０の位置姿勢履歴から３次元物体の運動を推定し、将来の任意の時点の３次元形状モデルを推定する。本実施形態では、モデル更新部１２８が生成した３次元形状モデル１６０の時間推移を用い、拡張カルマンフィルタによってスペースデブリ１２の運動を推定する。

【0049】

このように、パターンマッチングに加え、特徴点１６４の運動を把握して移動や姿勢変化を推定することで、特徴点１６４の特定精度を向上し、正しく推定された特徴点との正しいマッチングと、マッチングされた正しい特徴点１６４とによって正しい３次元形状モデル１６０の復元とを繰り返し、その相互作用によって、スペースデブリ１２と３次元形状モデル１６０とのマッチングの精度を高め、スペースデブリ１２の状態情報を高精度に導出することが可能となる。

【0050】

（拡張カルマンフィルタの説明）
以下、運動推定部１３０が実行する拡張カルマンフィルタについて説明する。ここでは、拡張カルマンフィルタを用いてスペースデブリ１２の状態量Ｘ_ｔを推定する。

【数1】

…（数式１）
ここで、Ｐ_ｔはスペースデブリ１２の位置、Ｑ_ｔはスペースデブリ１２の４元数の姿勢、Ｖ_ｔはスペースデブリ１２の速度、Ｗ_ｔはスペースデブリ１２の角速度を示し、各パラメータは以下の数式２で定義される。

【数2】

…（数式２）

【0051】

ここで、状態量Ｘ_ｔの時間変化を状態遷移方程式ｆで定義すると、以下の数式３を得ることができる。

【数3】

…（数式３）

【0052】

数式３で示した状態遷移方程式は、除去衛星１０に対するスペースデブリ１２の相対運動を、等速直線運動と等角速度回転運動の組み合わせと仮定している。ここで、画像認識によって得られる観測値は、位置Ｐ_ｔと姿勢Ｑ_ｔである。この観測値から、拡張カルマンフィルタによって、速度Ｖ_ｔ、角速度Ｗ_ｔが推定される。推定された速度Ｖ_ｔ、角速度Ｗ_ｔを利用することで、数式３の状態遷移方程式を通じて任意の時刻におけるスペースデブリ１２の状態情報を推定することが可能となる。かかる推定値は、スペースデブリ１２を捕獲するための軌道生成など、除去衛星１０の制御に用いることができる。

【0053】

運動推定部１３０は、上述したように、３次元形状モデル１６０を一体的に推定するが、３次元形状モデル１６０を細分化した、例えば、特徴点毎に推定してもよい。こうすることで、細分化された特徴点毎に運動推定処理を実行することが可能となり、より高精度に特徴点１６４を特定することが可能となる。

【0054】

また、上述したように、本実施形態では、運動推定した結果である３次元形状モデル１６０を正当性判定にフィードバックすることで、３次元形状モデル１６０の更新に誤認識の影響を与えないようにした。

【0055】

具体的に、運動推定部１３０が、数式３の状態遷移方程式によって次回の３次元形状モデルの位置関係および姿勢関係を推定すると、次回の撮像時には、その推定した結果を利用して、正当性判定を行う。正当性判定部１２６は、姿勢Ｑ_ｔの観測値Ｑ_ｍｅａと、次回の撮影時における姿勢の推定値Ｑ_ｐｒｅとを比較し、正当性を判定する。ここでは、数式４に示した指標値Ｍを算出する。

【数4】

…（数式４）
ただし、ＣｏｖＱは、拡張カルマンフィルタによって計算される推定値Ｑ_ｐｒｅの誤差分散期待値であり、指標値Ｍは、マハラノビス距離と呼ばれる、観測値Ｑ_ｍｅａが推定された３次元形状モデルから、どの程度外れているかを示す指標値である。

【0056】

本実施形態では、指標値Ｍが特異的に増加または減少した場合に、その特徴点１６４を誤認識（正当性がない）と判定し、排除する。誤認識と判定するか否かの閾値は、例えば、誤認識が起こらない代表的な画像データを用いて事前に試験した際の、指標値Ｍの推移等に基づいて一意に設定される。誤認識と判定した場合は、３次元形状モデル１６０の更新や、観測値を使った推定処理にその特徴点１６４を利用しない。したがって、誤認識があっても正しい３次元形状モデル１６０が維持されるため、光学条件が良好になり、視認できなくなっていた特徴点１６４が見えるようになると、直ちに再認識が可能となる。その結果、位置関係および姿勢関係の計測精度が向上し、運動推定の精度向上にもつながる。

【0057】

上述したマッチング部１２４によって遂行される処理が上記追尾処理に相当し、モデル更新部１２８によって３次元形状モデル１６０を生成する処理が上記３次元復元処理に相当する。

【0058】

また、コンピュータによって３次元物体認識装置１００として機能するプログラムや、当該プログラムを記憶した記憶媒体も提供される。さらに、当該プログラムは、記憶媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

【0059】

（３次元物体認識方法）
図６は、３次元物体認識方法の処理の流れを示したフローチャートである。ここでは、所定の周期で実行される割込処理において当該３次元物体認識方法が実行される。まず、３次元物体認識装置１００の撮像部１１０は、探索領域を撮像し、画像データを生成し（Ｓ２００）、特徴点抽出部１２２は、画像処理部１２０によって画像処理がなされた画像から特徴点を抽出し（Ｓ２０２）、マッチング部１２４は、特徴点抽出部１２２が抽出した特徴点と、スペースデブリ１２に対応する３次元形状モデルとを比較し、パターンマッチングによって相関のある特徴点同士を対応付ける（Ｓ２０４）。

【0060】

そして、正当性判定部１２６は、対応付けされた特徴点と、推定された３次元形状モデルとを比較し、正当であると判定した特徴点のみを抽出し（Ｓ２０６）、モデル更新部１２８は、抽出された特徴点によって３次元形状モデルを更新する（Ｓ２０８）。また、運動推定部１３０は、更新された３次元形状モデルの位置姿勢履歴から３次元物体の運動を推定し、将来の任意の時点の３次元形状モデルを推定する（Ｓ２１０）。かかる推定された３次元形状モデルは正当性判定で用いられる。こうして、特徴点の情報を十分に得ることができない状況であっても、３次元物体と３次元形状モデルとのマッチングの精度を高め、３次元物体の状態情報を高精度に導出することが可能となる。

【0061】

（効果の検証）
フライアラウンド時の観測条件を反映して、シミュレーションを行ったところ、回転角度が標準偏差０．７度以内でスペースデブリ１２の運動を推定できた。ただし、撮像によってスペースデブリ１２の一部の画像が得られない時間が続いた場合、誤差は最大で７度まで増加したが、再び画像が得られると、真値に迅速に収束した。

【0062】

（他の実施形態）
上述した実施形態では、運動推定部１３０による運動推定の結果を、正当性判定部１２６が利用する例を挙げて説明したが、運動推定の結果をマッチング部１２４で利用することもできる。例えば、運動推定部１３０は、モデル更新部１２８が更新した３次元形状モデル１６０の位置姿勢履歴から３次元物体の運動を推定し、将来の任意の時点（次回の撮像時）の３次元形状モデルを推定する。そして、マッチング部１２４は、画像データに基づく画像１５０中の３次元物体と、運動推定部１３０が推定した３次元形状モデルとを比較し、パターンマッチングによって相関のある特徴点同士を対応付ける。

【0063】

かかる構成では、比較対象となる推定された３次元形状モデル１６０は、前回の状態情報が反映され、かつ、運動推定処理がなされているので、画像データに基づく画像１５０および２次元画像１６２で同一部位を示す特徴点同士の位置がほぼ等しくなる。したがって、画像データに基づく画像１５０中の任意の特徴点１５２ａとパターンマッチングを実行する範囲を、上述した実施形態よりさらに小さく定めることで、正当性のない特徴点は自動的に排除される。したがって、正当性判定部１２６も不要となる。

【0064】

図７は、当該他の実施形態における３次元物体認識方法の処理の流れを示したフローチャートである。まず、３次元物体認識装置１００の撮像部１１０は、探索領域を撮像し、画像データを生成し（Ｓ３００）、特徴点抽出部１２２は、画像処理部１２０によって画像処理がなされた画像１５０から特徴点１５２を抽出し（Ｓ３０２）、マッチング部１２４は、特徴点抽出部１２２が抽出した特徴点１５２と、スペースデブリ１２に対応する３次元形状モデルとを比較し、パターンマッチングによって相関のある特徴点同士を対応付ける（Ｓ３０４）。

【0065】

そして、モデル更新部１２８は、抽出された特徴点によって３次元形状モデル１６０を更新する（Ｓ３０６）。また、運動推定部１３０は、モデル更新部１２８が更新した３次元形状モデル１６０の位置姿勢履歴から３次元物体の運動を推定し、将来の任意の時点の３次元形状モデルを推定し、将来の任意の時点のパターンマッチングに用いさせる（Ｓ３０８）。こうして、特徴点の情報を十分に得ることができない状況であっても、３次元物体と３次元形状モデルとのマッチングの精度を高め、３次元物体の状態情報を高精度に導出することが可能となる。

【0066】

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

【0067】

例えば、上述した実施形態においては、３次元物体としてスペースデブリ１２を挙げたが、３次元物体として現存する様々な物を対象とすることができる。また、上述した実施形態では、宇宙空間を前提としているが、かかる場合に限らず、地球上の、あらゆる領域で適用することができる。

【0068】

なお、本明細書の３次元物体認識方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

【産業上の利用可能性】

【0069】

本発明は、３次元物体を認識する３次元物体認識装置および３次元物体認識方法に利用することができる。

【符号の説明】

【0070】

１０ …除去衛星
１２ …スペースデブリ
１００ …３次元物体認識装置
１１０ …撮像部
１２２ …特徴点抽出部
１２４ …マッチング部
１２６ …正当性判定部
１２８ …モデル更新部
１３０ …運動推定部
１６０ …３次元形状モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】