特許 7446320 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-29

(45)【発行日】2024-03-08

(54)【発明の名称】画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法

(51)【国際特許分類】

   G06T 7/593 20170101AFI20240301BHJP

   G01B 11/00 20060101ALI20240301BHJP

【ＦＩ】

G06T7/593

G01B11/00 H

【請求項の数】 25

(21)【出願番号】P 2021545194

(86)(22)【出願日】2020-08-24

(86)【国際出願番号】 JP2020031819

(87)【国際公開番号】W WO2021049281

(87)【国際公開日】2021-03-18

【審査請求日】2023-07-04

(31)【優先権主張番号】P 2019166087

(32)【優先日】2019-09-12

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】大塚 活志

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１９－８６４１９（ＪＰ，Ａ）

【文献】特開２０１４－２３５６００（ＪＰ，Ａ）

【文献】特開２０１６－７５６１５（ＪＰ，Ａ）

【文献】特開２０１９－９６２９４（ＪＰ，Ａ）

【文献】特開２０１９－３６１４６（ＪＰ，Ａ）

【文献】特開２０１９－１２１１３６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０１Ｂ １１／００

(57)【特許請求の範囲】

【請求項1】

カメラから撮影画像のデータを取得する画像取得部と、
前記撮影画像に写る像の特徴点を抽出する特徴点抽出部と、
複数の撮影画像における同じ像の特徴点の対応づけを行う特徴点照合部と、
対応づけられた特徴点の、撮影画像における位置関係に基づき、前記カメラを含む実空間の情報を取得する空間情報取得部と、
を備え、
前記特徴点抽出部は、前記撮影画像のフレームより小さい部分画像の単位で、各撮影画像における特徴点を抽出し、その結果を前記特徴点照合部に順次供給し、
前記特徴点の抽出および前記特徴点の対応づけに必要な補正を、前記撮影画像のフレームより小さい部分画像の単位で施し、その結果を前記特徴点抽出部に順次供給する画像補正部をさらに備えたことを特徴とする画像処理装置。

【請求項2】

前記特徴点照合部は、前記特徴点の対応づけの結果を順次ローカルメモリに格納し、
前記空間情報取得部は、前記ローカルメモリと直結するインターフェースを介して、前記対応づけの結果を読み出すことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記特徴点照合部は、前記複数の撮影画像のうち一つの撮影画像における特徴点の対応先の探索範囲を他方の撮影画像に定め、当該探索範囲における探索の結果得られた前記特徴点の対応情報を、前記ローカルメモリに順次格納することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記特徴点照合部は、前記他方の撮影画像における前記探索範囲の特徴点のデータが得られた時点で、対応する特徴点の探索処理を開始することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記特徴点照合部は、特徴点が表された処理対象の画像を縮小することにより複数の解像度の画像を生成し、低解像度の画像から探索していくことにより探索範囲を限定して、前記特徴点の対応づけを行うことを特徴とする請求項１から４のいずれかに記載の画像処理装置。

【請求項6】

前記空間情報取得部は、前記特徴点照合部との協働により、前記特徴点の対応情報を最適化することを特徴とする請求項１から５のいずれかに記載の画像処理装置。

【請求項7】

前記空間情報取得部は、前記特徴点照合部における特徴点の対応づけの処理と並行して、自ら特徴点の対応づけの処理を実施し、それらを統合することにより最終的な特徴点の対応情報を得るか、前記特徴点照合部における特徴点の対応づけの処理の前または後に、当該特徴点の対応づけに係る所定の処理を実施することを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記画像取得部、前記特徴点抽出部、前記特徴点照合部、および前記空間情報取得部は、外部のメインメモリが接続されたバスと異なるバスを介して前記ローカルメモリにアクセスすることを特徴とする請求項２から４のいずれかに記載の画像処理装置。

【請求項9】

前記カメラを含む筐体の動きを計測するモーションセンサから計測値を取得するセンサ情報取得部をさらに備え、
前記空間情報取得部は、前記カメラの撮影タイミングと前記モーションセンサの計測タイミングとを同一の時間軸で比較することにより、前記特徴点の位置関係から得られる情報と前記計測値から得られる情報を統合し、前記筐体の位置姿勢を取得することを特徴とする請求項１から８のいずれかに記載の画像処理装置。

【請求項10】

前記特徴点照合部は、複数のカメラで同時に撮影された複数の画像における特徴点の対応づけ、および、同じカメラで撮影された動画像の複数フレームにおける特徴点の対応づけの双方、または一方を行うことを特徴とする請求項１から９のいずれかに記載の画像処理装置。

【請求項11】

前記特徴点照合部は、ＺＮＣＣ（Zero means Normalized Cross Correlation）により特徴点の対応づけを行うことを特徴とする請求項１から１０のいずれかに記載の画像処理装置。

【請求項12】

前記画像取得部は、撮影画像のフレームより小さい部分画像の単位で所定の処理を行い、その結果を前記画像補正部に順次供給することを特徴とする請求項１に記載の画像処理装置。

【請求項13】

前記画像取得部は、画素値として複数の波長帯の光の輝度を含む前記撮影画像のデータを取得し、前記実空間の情報の取得を含む複数の用途に応じて前記撮影画像のデータを分離することにより、所定の波長帯の光の輝度を画素値とする複数の撮影画像のデータを生成することを特徴とする請求項１から１２のいずれかに記載の画像処理装置。

【請求項14】

前記画像取得部は、分離後の撮影画像の１行分の画素列を決定するのに必要な範囲の画素列が取得された時点で、分離処理を開始することを特徴とする請求項１３に記載の画像処理装置。

【請求項15】

前記画像補正部は、前記撮影画像を補正する際に必要な画素の変位量および変位方向を表す変位ベクトルを画像平面に表した変位ベクトルマップを参照して補正を行うことを特徴とする請求項１に記載の画像処理装置。

【請求項16】

前記画像補正部は、前記カメラのレンズによる歪みを除去する補正および、複数のカメラで同時に撮影された複数の画像のレクティフィケーションを行うことを特徴とする請求項１５に記載の画像処理装置。

【請求項17】

前記画像補正部は、前記撮影画像が表す原色ごとに、異なる前記変位ベクトルマップを参照して補正を行うことを特徴とする請求項１５または１６に記載の画像処理装置。

【請求項18】

前記画像補正部は、フレーム内で撮影時間差を有するローリングシャッターカメラにより撮影された画像に対し、当該時間差におけるカメラの動きによる像の歪みを除去する補正を行うことを特徴とする請求項１５から１７のいずれかに記載の画像処理装置。

【請求項19】

前記カメラを含む筐体の動きを計測するモーションセンサから計測値を取得するセンサ情報取得部をさらに備え、
前記画像補正部は、前記モーションセンサによる計測値に基づき、前記カメラの動きによる像の歪みの除去に必要な画素の変位量および変位方向を計算し、前記変位ベクトルに合成することを特徴とする請求項１８に記載の画像処理装置。

【請求項20】

前記画像補正部は、前記変位ベクトルマップにおいて変位ベクトルが設定されている離散的な位置の画素の変位先を求めたうえ、その中間にある画素の変位先を、先に変位先を求めた画素を補間することにより求めることを特徴とする請求項１５から１９のいずれかに記載の画像処理装置。

【請求項21】

前記画像補正部は、補正後の画像の１行分の画素列を決定するのに必要な範囲の画素列が取得された時点で、補正処理を開始することを特徴とする請求項１５から２０のいずれかに記載の画像処理装置。

【請求項22】

前記特徴点抽出部は、１つの特徴点抽出を行うのに必要な範囲の画素列が取得された時点で、当該特徴点の抽出処理を開始することを特徴とする請求項１から２１のいずれかに記載の画像処理装置。

【請求項23】

請求項１から２２のいずれかに記載の画像処理装置と、
前記撮影画像を撮影するカメラと、
前記実空間の情報を用いて生成された画像を表示するパネルと、
を備えたことを特徴とするヘッドマウントディスプレイ。

【請求項24】

カメラから撮影画像のデータを取得するステップと、
前記撮影画像に写る像の特徴点を抽出するステップと、
複数の撮影画像における同じ像の特徴点の対応づけを行うステップと、
対応づけられた特徴点の、撮影画像における位置関係に基づき、前記カメラを含む実空間の情報を取得するステップと、
を含み、
前記特徴点を抽出するステップは、前記撮影画像のフレームより小さい部分画像の単位で、各撮影画像における特徴点を抽出し、その結果を順次、前記対応づけを行うステップで用い、
前記特徴点の抽出および前記特徴点の対応づけに必要な補正を、前記撮影画像のフレームより小さい部分画像の単位で施すステップをさらに含み、その結果を順次、前記特徴点を抽出するステップで用いることを特徴とする画像処理装置による空間情報取得方法。

【請求項25】

カメラから撮影画像のデータを取得する機能と、
前記撮影画像に写る像の特徴点を抽出する機能と、
複数の撮影画像における同じ像の特徴点の対応づけを行う機能と、
対応づけられた特徴点の、撮影画像における位置関係に基づき、前記カメラを含む実空間の情報を取得する機能と、
をコンピュータに実現させ、
前記特徴点を抽出する機能は、前記撮影画像のフレームより小さい部分画像の単位で、各撮影画像における特徴点を抽出し、その結果を、前記対応づけを行う機能に順次供給し、
前記特徴点の抽出および前記特徴点の対応づけに必要な補正を、前記撮影画像のフレームより小さい部分画像の単位で施し、その結果を前記特徴点を抽出する機能に順次供給する機能を、前記コンピュータにさらに実現させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、撮影画像から実空間情報を取得する画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法に関する。

【背景技術】

【0002】

対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザの視線方向に応じた画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることができる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

【0003】

上記技術を実現するには、ヘッドマウントディスプレイを装着したユーザの頭部の動きに連動する視野で画像を表示させ続ける必要がある。そのための一つの手段として、ヘッドマウントディスプレイにカメラを搭載し、その撮影画像を解析することによりヘッドマウントディスプレイの位置や姿勢を取得することが考えられる。撮影画像をリアルタイムで解析することにより、自己位置を推定したり周囲の環境地図を作成したりする技術は、モバイル機器、自動車、ロボット、無人航空機など幅広い分野で利用されている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００８－３０４２６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記技術は多くの場合、自己位置などの情報を正確かつ即時に導出することが求められる。一方、適用範囲を広げるには、解析装置のサイズ、重量、消費電力を抑えることも求められる。例えばヘッドマウントディスプレイ内部で解析を行う場合、ユーザの装着感や連続使用時間などの観点から、それらのパラメータに対する制約が大きくなる。そのような制約のため解析を簡略化すると、得られる情報の精度が落ちユーザ体験が劣化するというジレンマが生じる。解析装置を、ヘッドマウントディスプレイなどカメラを搭載する装置と分けることにより、十分なリソースを用いて高精度な情報を得ることができるが、装置間のデータの送受に時間を要し、応答性が悪化しやすくなる。

【0006】

本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を用いた空間情報の取得を、低遅延、低消費電力で行う技術を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明のある態様は画像処理装置に関する。この画像処理装置は、カメラから撮影画像のデータを取得する撮影画像取得部と、撮影画像に写る像の特徴点を抽出する特徴点抽出部と、複数の撮影画像における同じ像の特徴点の対応づけを行う特徴点照合部と、対応づけられた特徴点の、撮影画像における位置関係に基づき、カメラを含む実空間の情報を取得する空間情報取得部と、を備え、特徴点抽出部は、撮影画像のフレームより小さい部分画像の単位で、各撮影画像における特徴点を抽出し、その結果を特徴点照合部に順次供給することを特徴とする。

【0008】

本発明の別の態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、上記画像処理装置と、撮影画像を撮影するカメラと、実空間の情報を用いて生成された画像を表示するパネルと、を備えたことを特徴とする。

【0009】

本発明のさらに別の態様は空間情報取得方法に関する。この空間情報取得方法は画像処理装置が、カメラから撮影画像のデータを取得するステップと、撮影画像に写る像の特徴点を抽出するステップと、複数の撮影画像における同じ像の特徴点の対応づけを行うステップと、対応づけられた特徴点の、撮影画像における位置関係に基づき、カメラを含む実空間の情報を取得するステップと、を含み、特徴点を抽出するステップは、撮影画像のフレームより小さい部分画像の単位で、各撮影画像における特徴点を抽出し、その結果を順次、前記対応づけを行うステップで用いることを特徴とする。

【0010】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0011】

本発明によれば、撮影画像を用いた空間情報の取得を、低遅延、低消費電力で行うことができる。

【図面の簡単な説明】

【0012】

【図1】本実施の形態のヘッドマウントディスプレイの外観例を示す図である。

【図2】本実施の形態を適用できるコンテンツ処理システムの構成例を示す図である。

【図3】、本実施の形態におけるヘッドマウントディスプレイの内部回路のうち、実空間情報の取得に用いる回路の構成を示す図である。

【図4】本実施の形態における画像処理装置の機能ブロックの構成を示す図である。

【図5】本実施の形態の画像補正部および特徴点抽出部が撮影画像に対して行う処理の内容を説明するための図である。

【図6】本実施の形態における、ローリングシャッター方式のカメラによって撮影された画像の補正について説明するための図である。

【図7】本実施の形態において画素値決定部が行う補正処理の手順の例を説明するための図である。

【図8】本実施の形態において画像取得部、画像補正部、特徴点抽出部、特徴点照合部が実施する処理の流れを示す図である。

【図9】本実施の形態において特徴点照合部が特徴点を照合する処理の手順を説明するための図である。

【図10】本実施の形態において空間情報取得部が実施する実空間取得処理の手順を示すフローチャートである。

【図11】本実施の形態における画像取得部の処理の詳細を説明するための図である。

【図12】空間情報取得部による処理を含めた、本実施の形態の画像処理装置における各フレームに対する処理の流れを例示する図である。

【発明を実施するための形態】

【0013】

本実施の形態はカメラによる撮影画像を解析することにより、当該カメラを含む筐体の位置、姿勢、動きや、カメラを含む実空間にある物、その位置などの少なくともいずれかの情報を取得する技術に関する。この限りにおいて、カメラを搭載する物や装置は限定されず、ヘッドマウントディスプレイなどのウェアラブルディスプレイ、モバイル機器、自動車、ロボット、無人航空機などのいずれでもよい。また撮影画像を解析して情報を得る画像処理装置は、カメラが搭載された装置に内蔵されていてもよいし、当該装置と通信接続可能な状態で別に設けてもよい。以下、ヘッドマウントディスプレイ１００にカメラと画像処理装置を設ける態様を主に説明する。

【0014】

図１は、ヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。

【0015】

筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、画像を拡大して見せる接眼レンズを備える。またヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。

【0016】

ヘッドマウントディスプレイ１００はさらに、筐体１０８の前面にステレオカメラ１１０、中央に広視野角の単眼カメラ１１１、左上、右上、左下、右下の四隅に広視野角の４つのカメラ１１２を備え、ユーザの顔の向きに対応する方向の実空間を動画撮影する。ある態様においてヘッドマウントディスプレイ１００は、ステレオカメラ１１０が撮影した動画像を即時表示させることにより、ユーザが向いた方向の実空間の様子をそのまま見せるシースルーモードを提供する。

【0017】

またヘッドマウントディスプレイ１００はさらに、ステレオカメラ１１０、単眼カメラ１１１、４つのカメラ１１２による撮影画像の少なくともいずれかを解析することにより、ヘッドマウントディスプレイ１００自体の位置や姿勢、ひいてはユーザ頭部の位置や姿勢、および周囲にある物の存在や形状、位置などの少なくともいずれかの情報を所定のレートで取得する画像処理装置を備える。以後、これらの情報を「実空間情報」と総称する。

【0018】

撮影画像などのセンシング結果を解析することにより実空間情報を得る技術として、ＳＬＡＭ（Simultaneous Localization and Mapping）がある。撮影画像を用いたＳＬＡＭは、複数視点からの撮影画像に写る同じ実物体の像の位置関係から当該実物体の３次元での位置を推定する処理と、位置が推定された実物体の像の撮影画像上での位置に基づきカメラの位置や姿勢を推定する処理とを繰り返すことにより、環境地図を作成しながらカメラの位置や姿勢を取得していく手法である。

【0019】

以後、ＳＬＡＭを用いて実空間情報を得ることを想定するが、複数の撮影画像から特徴点を抽出し、その対応関係を利用して実空間情報が得られれば、具体的なアルゴリズムは特に限定されない。そのようにして撮影画像から得られた実空間情報は、ヘッドマウントディスプレイ１００に表示させる画像の視野を決定するのに用いたり、周囲の物への接近を検知しユーザに警告を与えたりするのに用いることができる。その他、実空間情報を用いてなされる情報処理が様々に考えられることは当業者には理解されるところである。

【0020】

ヘッドマウントディスプレイ１００はまた、内部に加速度センサ、ジャイロセンサ、地磁気センサなど、ヘッドマウントディスプレイ１００の位置、姿勢、動きを導出するためのモーションセンサのいずれかを備えてよい。モーションセンサの計測値は、画像処理装置において実空間情報を得る際に利用できる。具体的には、撮影画像の補正や特徴点の対応づけなどに利用することで、それらの処理の精度を高めることができる。また、撮影画像から得られた位置や姿勢の情報を、モーションセンサの計測値に基づき外挿し、撮影レートより高い頻度で実空間情報を生成することもできる。

【0021】

図２は、本実施の形態を適用できるコンテンツ処理システムの構成例を示す。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢ Ｔｙｐｅ－Ｃなどの周辺機器を接続するインターフェース３００によりコンテンツ処理装置２００に接続される。コンテンツ処理装置２００には平板型ディスプレイ３０２が接続される。コンテンツ処理装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをコンテンツ処理装置２００に提供してもよい。

【0022】

コンテンツ処理装置２００は基本的に、コンテンツのプログラムを処理し、表示画像を生成してヘッドマウントディスプレイ１００や平板型ディスプレイ３０２に送信する。ヘッドマウントディスプレイ１００および平板型ディスプレイ３０２は、当該表示画像のデータを受信し、コンテンツの画像として表示する。この際、コンテンツ処理装置２００は、ヘッドマウントディスプレイ１００の位置や姿勢の情報を所定のレートでヘッドマウントディスプレイ１００から取得し、それに基づきユーザの視点の位置や視線の方向を特定したうえ、対応する視野で表示画像を生成、送信してよい。

【0023】

あるいはコンテンツ処理装置２００は、ユーザの周囲にある物やその位置、形状などの情報をヘッドマウントディスプレイ１００から取得し、対応する位置に仮想オブジェクトを描画した画像を生成、送信してもよい。例えば送信された仮想オブジェクトを、ヘッドマウントディスプレイ１００においてステレオカメラ１１０の撮影画像と合成して表示することにより、拡張現実や複合現実を実現してもよい。

【0024】

ただしヘッドマウントディスプレイ１００が取得した実空間情報を利用する目的は特に限定されない。例えばコンテンツ処理装置２００は、ヘッドマウントディスプレイ１００の動きをユーザのジェスチャとして取得し、それに応じて電子ゲームを進捗させてもよい。いずれにしろヘッドマウントディスプレイ１００の内部で実空間情報を取得しておくことにより、撮影画像を送信するよりコンテンツ処理装置２００へ送信すべきデータのサイズを格段に軽減させることができる。

【0025】

なお図示するコンテンツ処理システムの構成は一例に過ぎず、例えば平板型ディスプレイ３０２は含まなくてもよい。またコンテンツ処理装置２００の少なくとも一部の機能を、ヘッドマウントディスプレイ１００に搭載してもよい。さらに上述のように、実空間情報を取得する機能を、コンテンツ処理装置２００に設けてもよい。

【0026】

またコンテンツ処理装置２００とヘッドマウントディスプレイ１００の距離や通信方式は限定されない。例えばコンテンツ処理装置２００は、個人が所有するゲーム装置などのほか、クラウドゲームなど各種配信サービスを提供する企業などのサーバや、任意の端末にデータを送信する家庭内サーバなどでもよい。したがってコンテンツ処理装置２００とヘッドマウントディスプレイ１００の間の通信は上述した例のほか、インターネットなどの公衆ネットワークやＬＡＮ（Local Area Network）、携帯電話キャリアネットワーク、街中にあるＷｉ－Ｆｉスポット、家庭にあるＷｉ－Ｆｉアクセスポイントなど、任意のネットワークやアクセスポイントを経由して実現してもよい。

【0027】

図３は、本実施の形態におけるヘッドマウントディスプレイ１００の内部回路のうち、実空間情報の取得に用いる回路の構成を示している。上述のとおりヘッドマウントディスプレイ１００は、ステレオカメラ１１０、単眼カメラ１１１、４つのカメラ１１２、モーションセンサ１２０、撮影画像から実空間情報を取得する画像処理装置１３０、および外部メモリ１５２を備える。なお画像処理装置１３０は、ＣＰＵを含む様々な機能モジュールを搭載したシステムオンチップとして実装することができる。

【0028】

なお本実施の形態において、実空間の取得に用いるカメラの数は限定されないが、以後は簡単のため、ステレオカメラ１１０の撮影画像を利用するケースについて説明する。画像処理装置１３０は画像処理用の集積回路である。このうちＣＰＵ１３４は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサであり、他の回路を制御する。イメージ信号処理回路１３６はＩＳＰ（Image Signal Processor）と同義であり、ステレオカメラ１１０のイメージセンサから撮影画像のデータを所定のレートで取得し、それぞれにデモザイク処理などの必要な処理を施す。

【0029】

ここでイメージ信号処理回路１３６は、ステレオカメラ１１０が同じタイミングで撮影したフレームの対の画素列のデータを、走査順に並列に取得したうえ必要な処理を施す。この際、イメージ信号処理回路１３６は、カメラのイメージセンサが検出対象とする複数の波長帯の光のうち、実空間情報の取得に用いる光の輝度画像と、その他の用途に用いる光の輝度画像とを分離する処理も行ってよい。

【0030】

イメージ信号処理回路１３６は、画素値が決定した画素列順に、各撮影画像のデータをローカルメモリ１３８に格納する。ローカルメモリ１３８はＳＲＡＭ(Static Random Access Memory)などで実現され、処理に用いる複数の撮影画像のそれぞれに対し、１フレームより小さい部分画像のデータを格納する記憶領域を有する。例えばステレオカメラ１１０による撮影画像を処理対象とするとき、ローカルメモリ１３８は、部分画像のデータを格納する記憶領域を２つ備える。

【0031】

補正回路１４０は、ローカルメモリ１３８に格納された各部分画像に、必要な補正処理を施す。具体的には補正回路１４０は、ステレオカメラ１１０のレンズによる画像の歪みを除去したり、エピポーラ線を平行化するレクティフィケーションを行ったりする。補正回路１４０は、補正後の画素値が決定した画素列順に、そのデータをローカルメモリ１４２に格納する。

【0032】

ローカルメモリ１４２もローカルメモリ１３８と同様、複数の撮影画像のそれぞれに対し、１フレームより小さい部分画像のデータを格納する記憶領域を有する。特徴点抽出器１４４は、ローカルメモリ１４２に格納された補正後の部分画像から特徴点を抽出し、その位置座標を取得する。特徴点を抽出するためのアルゴリズムには様々なものがあり、本実施の形態ではそのいずれを用いてもよい。特徴点抽出器１４４は、抽出した特徴点を画像平面に表したデータを、特徴点の位置情報として大容量ローカルメモリ１５４に格納する。

【0033】

図示するように本実施の形態では、イメージ信号処理回路１３６、補正回路１４０、特徴点抽出器１４４を、ローカルメモリ１３８、１４２を介して直列に接続する。特徴点照合器１４６は、特徴点抽出器１４４が抽出した特徴点の位置情報を大容量ローカルメモリ１５４から読み出し、同じ被写体の同じ箇所を表す特徴点を対応づける。この際、特徴点照合器１４６は、異なるカメラが撮影した複数の画像間での空間方向の対応づけと、同じカメラが撮影した異なる時刻の画像間での時間方向の対応づけを行う。

【0034】

なお特徴点照合器１４６は、各撮影画像のうち照合に必要な領域、すなわち探索範囲の特徴点の位置情報が大容量ローカルメモリ１５４に格納されたら、それを用いて対応づけを開始してよい。特徴点照合器１４６は対応づけの結果を、大容量ローカルメモリ１５４に格納する。算術演算器１４８はＤＳＰ（Digital Signal Processor）で実現され、大容量ローカルメモリ１５４に格納された、特徴点の対応情報に基づき、ＳＬＡＭなど所定のアルゴリズムにより実空間情報を取得する。

【0035】

算術演算器１４８はさらに、特徴点抽出器１４４が抽出した特徴点の位置情報を大容量ローカルメモリ１５４から読み出し、特徴点照合器１４６と同様の処理も行ってよい。このように、特徴点を対応づける処理を行う主体を二重に設けておくことにより、処理効率を上げたり、処理時間を増やすことなく照合の精度を上げたりすることができる。算術演算器１４８は取得した実空間情報を、大容量ローカルメモリ１５４や外部メモリ１５２に格納し、必要に応じてコンテンツ処理装置２００に送信できるようにする。周辺機器インターフェース１５０は、モーションセンサ１２０から、その計測値を所定のレートで取得し大容量ローカルメモリ１５４に格納する。

【0036】

大容量ローカルメモリ１５４は、ＳＲＡＭ(Static Random Access Memory)などで実現され、特徴点抽出器１４４が抽出した特徴点の位置情報、特徴点照合器１４６が取得した特徴点の対応情報、算術演算器１４８がＳＬＡＭの処理において取得する中間データ、処理の結果得られた実空間情報などを格納する。外部メモリ１５２はＤＲＡＭ（Dynamic Random Access Memory）で実現され、ＣＰＵ１３４の動作を規定するプログラムや、処理に必要な各種データ、およびＳＬＡＭによって得られた実空間情報などを格納する。

【0037】

図示するように本実施の形態では、各処理を専門に行うイメージ信号処理回路、補正回路、特徴点抽出器、特徴点照合器、算術演算器を設ける。またイメージ信号処理回路、補正回路、特徴点抽出器、特徴点照合器はそれぞれ、前段での処理が１フレーム分終わるまで待つことなく部分画像の単位で処理を進捗させる。これらの構成により、画素値の取得から実空間情報の取得までを高速に実施できる。

【0038】

また部分画像単位の処理により、１フレーム分のデータを格納するメモリへの書き込みや読み出しの必要性が少なくなり、中間データの一時的な格納先を、ＳＲＡＭなど容量の小さい高速アクセス可能なメモリにできる。このため当該メモリを各回路の近傍に設けることが容易であり、配線の引き回しや消費電力の点で有利となる。さらに図示するように本実施の形態の画像処理装置１３０は、各回路と外部メモリ１５２とのデータの送受に用いるバス１５６のほかに、各回路と大容量ローカルメモリ１５４とのデータの送受に用いる専用のバス１５５を備える。

【0039】

これにより、メインのバス１５６の使用状況によらずデータを行き来させ、実空間情報の処理を進捗させることができる。他の処理と共有される、メインのバス１５６や外部メモリ１５２を利用する頻度を下げることで、転送遅延や消費電力を削減できる。なおバス１５５は実際には、マルチレイヤ型、クロスバー型、ツリー型など、実用化されている様々な構造のいずれとしてもよい。

【0040】

さらに本実施の形態の画像処理装置１３０において、算術演算器１４８と大容量ローカルメモリ１５４との間には、それらを直結させる、低遅延、広帯域の専用インターフェース１５８を設ける。これにより、ＳＬＡＭにおける自己位置推定や環境地図生成などの処理の過程で比較的高い頻度で発生する、算術演算器１４８と大容量ローカルメモリ１５４の間のデータの行き来を、その他の回路による大容量ローカルメモリ１５４へのアクセスと独立に、１ステップで行える。

【0041】

図４は、本実施の形態における画像処理装置１３０の機能ブロックの構成を示している。同図に示す各機能ブロックは、ハードウェア的には図３で示したＣＰＵ、各種回路、算術演算器、各種メモリなどで実現でき、ソフトウェア的には、記録媒体からロードした、情報処理機能、画像解析機能、データ入出力機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0042】

画像処理装置１３０は、撮影画像のデータを取得する画像取得部１７０、撮影画像を補正する画像補正部１７２、モーションセンサ１２０の計測値を取得するセンサ情報取得部１７４、撮影画像から特徴点を抽出する特徴点抽出部１７６、複数の撮影画像における特徴点の対応関係を取得する特徴点照合部１７８、および特徴点の対応関係に基づき実空間情報を取得する空間情報取得部１８０を備える。

【0043】

画像取得部１７０は図３のＣＰＵ１３４、イメージ信号処理回路１３６、ローカルメモリ１３８で実現され、ステレオカメラ１１０から撮影画像のデータを取得する。上述のとおり画像取得部１７０は、ステレオカメラ１１０のイメージセンサから出力される画素列順に画素値のデータを取得し、当該撮影画像のフレームより小さい部分画像の単位で所定の処理を行い、その結果を画像補正部１７２に順次供給する。ここで画像取得部１７０は、取得した画像に黒レベル補正、欠陥補正、デモザイク処理、平滑化処理、ノイズ除去、クロッピングなど必要な処理を施す。ただしカメラのレンズ歪みを除去する補正は行わなくてよい。

【0044】

また画像取得部１７０は、イメージセンサから出力されるデータが、画素値として複数の波長帯の光の輝度を含む場合、実空間の情報の取得を含む複数の用途に応じて、当該データを分離することにより、所定の波長帯の光の輝度を画素値とする複数の撮影画像のデータを生成してもよい。例えばグレースケールの輝度を検出する画素と赤外線の輝度を検出する画素が混在するイメージセンサの場合、画像取得部１７０はグレースケールの画像と赤外線の画像に分離し、前者を実空間情報の取得に用いる。このとき画像取得部１７０は、分離後の画像の１行分の画素列を決定するのに必要な範囲の画素列が取得された時点で分離処理を開始する。なおこの場合の画像取得部１７０の構成については後に述べる。

【0045】

画像補正部１７２は図３のＣＰＵ１３４、補正回路１４０およびローカルメモリ１４２で実現され、画像取得部１７０が部分画像のデータを取得する都度、後段の特徴点の抽出および対応づけに必要な補正を部分画像の単位で施す。具体的には画像補正部１７２は、カメラのレンズによる歪みを除去する補正および、ステレオカメラ１１０で同時に撮影された画像のレクティフィケーションを行う。

【0046】

レクティフィケーションは、光軸が平行でない複数のカメラが撮影した画像のエピポーラ線を同じ水平位置に揃える平行化により、対応点の探索範囲を当該水平線上に限定できるようにする処理である（例えば特開２００４－２５８２６６号公報参照）。詳細には画像補正部１７２は、変位ベクトルマップ取得部１８２および画素値決定部１８４を備える。変位ベクトルマップ取得部１８２は、補正する際に必要な画素の変位量および変位方向を表す変位ベクトルを画像平面に表した変位ベクトルマップを取得する。

【0047】

すなわち変位ベクトルマップ取得部１８２は、補正前の画像における各画素が、補正後の画像においてどの位置に変位するかを計算し、前者を始点、後者を終点とする変位ベクトルを画像平面に表す。この際、カメラのレンズによる歪みを除去する補正で必要な変位ベクトルと、レクティフィケーションにおいて必要な変位ベクトルを計算し、両者を合成することにより、２種類の補正のための変位を１つの変位ベクトルで表せる。またこれらの補正は事前の計算が可能なため、変位ベクトルマップ取得部１８２は実際には、内部で保持している変位ベクトルマップを読み出せばよい。

【0048】

なお撮影画像が赤、緑、青の３原色で表現されている場合、それらの波長帯によってカメラのレンズの屈折率が異なるため色収差が生じる。そこで撮影画像が表す原色ごとに異なる変位ベクトルマップを準備しておき、変位ベクトルマップ取得部１８２はそれらを読み出してもよい。画素値決定部１８４は変位ベクトルマップを参照し、画像取得部１７０から取得した部分画像に含まれる画素ごとに変位先を求め、当該変位先の画素値を変位元の画素値とすることにより補正後の部分画像を生成する。

【0049】

変位ベクトルマップにより、画素値決定部１８４は画素ごとに独立に、レンズ歪みを除去する補正とレクティフィケーションの双方を同時に実施できる。補正前の部分画像から生成できる補正後の画像は、その面積が変化することがあり得る。画素値決定部１８４は、補正後の部分画像のデータを生成するのに必要な範囲の、補正前の部分画像のデータが取得された時点で、変位ベクトルマップを参照した補正処理を開始する。これにより、補正後の画像についても部分画像単位での処理が可能になる。

【0050】

撮影画像が赤、緑、青の３原色で表現されている場合、画素値決定部１８４は、撮影画像が表す原色成分ごとに異なる変位ベクトルマップを用いてそれぞれを補正する。画素値決定部１８４は、補正後の部分画像のデータを、画素値を決定した順にローカルメモリ１４２に格納することにより、特徴点抽出部１７６に順次供給する。

【0051】

なおステレオカメラ１１０がローリングシャッターを採用している場合、画素値決定部１８４は同時に、フレーム内での撮影時間差によって生じる画像の歪みを解消する補正も行ってよい。ローリングシャッターは、露光自体を画像の最上段から順に行う方式のシャッターであり、必然的に最上段の画素列から下に向かうほど、撮像時刻が遅れる。そのため１フレームを撮影している期間におけるステレオカメラ１１０の動きに依存して像が歪む。

【0052】

そこで変位ベクトルマップ取得部１８２は、ヘッドマウントディスプレイ１００のモーションセンサ１２０の計測値に基づきステレオカメラ１１０の動きを取得し、それに起因した像の歪み量を計算する。そして変位ベクトルマップ取得部１８２は、当該歪み量を解消するための変位ベクトルを求め、あらかじめ準備された、レンズによる歪みの除去やレクティフィケーションのための変位ベクトルに合成する。この場合、変位ベクトルマップは変位ベクトルマップ取得部１８２により所定のレートで更新される。そして画素値決定部１８４は、最新の変位ベクトルマップを参照して補正を行う。

【0053】

センサ情報取得部１７４は図３のＣＰＵ１３４、周辺機器インターフェース１５０および大容量ローカルメモリ１５４で実現され、モーションセンサ１２０から所定のレートで計測値を取得し、画像補正部１７２、特徴点照合部１７８、空間情報取得部１８０に適宜供給する。画像補正部１７２では供給された計測値を、上述したローリングシャッターによる歪みの補正に用いる。特徴点照合部１７８では、特徴点の動きを予測し探索範囲を決定するのに用いる。空間情報取得部１８０では、ＳＬＡＭにより得られた実空間情報に統合することによりセンサフュージョンを実現する。

【0054】

特徴点抽出部１７６は図３のＣＰＵ１３４、特徴点抽出器１４４、大容量ローカルメモリ１５４で実現され、画像補正部１７２が補正した画像のデータを部分画像ごとに取得する。そして特徴点抽出部１７６は、当該単位で特徴点を抽出し、その結果を特徴点照合部１７８に供給する。画像における特徴点の抽出アルゴリズムには様々なものがあり、特徴点抽出部１７６はそのいずれを採用してもよい。特徴点抽出部１７６は例えば、ハリスのコーナー検出アルゴリズムを利用して特徴点を抽出する。

【0055】

このアルゴリズム自体は、オープンソースのライブラリであるOpenCVのcv2.cornerHarris()などで公開されている一般的なものである。すなわち画素位置の移動に対する画素値の変化を求め、全方向で大きな変化が観測される領域をコーナーとして検出する。この処理は基本的に、対象画素近傍の領域のみで判定が可能なため、部分画像の単位で独立に特徴点を抽出できる。したがって、特徴点抽出部１７６は、１つの特徴点抽出を行うのに必要な範囲の部分画像が取得された時点で、特徴点の抽出処理を開始してよい。

【0056】

特徴点照合部１７８は図３のＣＰＵ１３４、特徴点照合器１４６、大容量ローカルメモリ１５４で構成され、複数の撮影画像における同じ像の特徴点の対応づけを行う。例えば特徴点照合部１７８は、対応づけを行う一方の画像において設定した所定サイズの領域をテンプレート画像として、それとの類似度が高い領域を、他方の画像において探索するテンプレートマッチングによって、対応する特徴点を検出する。

【0057】

複数の画像における特徴点を対応づけるアルゴリズムには様々なものがあり、特徴点照合部１７８はそのいずれを採用してもよい。例えば特徴点照合部１７８は、ＺＮＣＣ（Zero means Normalized Cross Correlation）により特徴点の対応づけを行う。ＺＮＣＣはテンプレートマッチングの一手法であり、ゼロ平均正規化相互相関と呼ばれる統計量で類似度を評価する。探索先の画像の画素値をＩ（ｘ，ｙ）、テンプレート画像の画素値をＴ（ｘ，ｙ）とすると、位置座標（ｄｘ，ｄｙ）を左上の頂点とする探索窓におけるＺＮＣＣの値は次のように計算される。

【0058】

【数1】

【0059】

ここで（ｗ、ｈ）はテンプレート画像の幅および高さであり、Ｔ_ａｖｅはテンプレート画像の画素値平均、Ｉ_ａｖｅは探索窓の画素値平均である。特徴点照合部１７８はＺＮＣＣの値が最大となる探索窓を検出することにより対応する特徴点を特定する。ＺＮＣＣは比較する画像の輝度レンジの差に影響を受けないため、明るさなどの変化に対し高い頑健性を有する。特徴点照合部１７８はこのようなパターンマッチングにより、複数のカメラで同時に撮影された複数の画像における特徴点の対応づけ、および、同じカメラで撮影された動画像の複数フレームにおける特徴点の対応づけの双方、または一方を行う。

【0060】

この際、特徴点照合部１７８は、探索先の画像における探索範囲の特徴点のデータが得られた時点で、対応する特徴点の探索を行ってよい。空間方向の対応づけにおいては、画像補正部１７２がレクティフィケーションを行っておくことにより、探索範囲を水平方向に限定できる。また水平方向の視差の上限は、ステレオカメラ１１０の間の距離によっておよそ定まる。したがって特徴点照合部１７８は、探索範囲を限定的に設定できる。

【0061】

時間方向の対応づけにおいては、特徴点の動く範囲はステレオカメラ１１０、ひいてはユーザの動きに依存する。そのため特徴点照合部１７８は、特徴点が表された処理対象の画像を縮小することにより複数の解像度の画像を生成し、低解像度の画像から探索していくことにより、高解像度の画像における探索範囲を限定できるようにしてもよい。特徴点照合部１７８はまた、モーションセンサ１２０の計測値に基づきステレオカメラ１１０の動きに対応する特徴点の動きを予測することで、探索範囲を限定してもよい。

【0062】

特徴点照合部１７８はさらに、空間方向の対応づけの結果を利用して、被写体の距離を求めてもよい。ステレオカメラ１１０が撮影した一対の画像における、特徴点の水平方向のずれ量から、三角測量の原理により被写体の距離を求める手法は広く知られている。特徴点照合部１７８は、取得した特徴点の対応情報や距離の情報を、大容量ローカルメモリ１５４に順次格納する。

【0063】

空間情報取得部１８０は図３のＣＰＵ１３４、算術演算器１４８および大容量ローカルメモリ１５４で実現され、対応づけられた特徴点の、撮影画像における位置関係に基づき、ＳＬＡＭなどのアルゴリズムにより実空間情報を取得する。例えば、拡張カルマンフィルタなどを併用して、対応づけられた特徴点から最新のカメラ視点の位置や姿勢の推定を行うことで、実空間情報を取得する。

【0064】

この際、空間情報取得部１８０は、大容量ローカルメモリ１５４に格納された特徴点の対応情報や距離の情報を、専用インターフェース１５８を介して高速に読み出す。また空間情報取得部１８０は、専用インターフェース１５８を用いて、大容量ローカルメモリ１５４に対する中間データの書き込みや読み出し、最終的に得られた実空間情報の書き込みなども高速に行う。

【0065】

空間情報取得部１８０は、特徴点照合部１８６および情報取得部１８８を含む。特徴点照合部１８６は、複数の撮影画像における同じ像の特徴点の対応づけを行う。すなわち特徴点照合部１８６は、特徴点照合部１７８と同様の情報を取得する。本実施の形態では、空間情報取得部１８０を算術演算器１４８で実現することを利用し、下記のような様々な態様を実現できるようにする。

【0066】

１．特徴点照合部１７８、１８６のどちらか一方のみでＺＮＣＣにより対応づけを行う
２．特徴点照合部１７８、１８６の双方でＺＮＣＣによる対応づけを行うが、処理対象とする画像や方向（空間と時間）を分担することにより処理の並列性を上げる
３．特徴点照合部１７８、１８６の双方で、同じ画像についてＺＮＣＣによる対応づけを行い、その際、特徴点照合部１８６においては追加処理や変則処理を行い、結果を比較して差がある場合は良い方の結果を採用する
４．特徴点照合部１７８、１８６で、同じ画像についてＺＮＣＣとそれ以外の手法により対応づけを行い、良い方の結果を採用する（追加処理の有無も比較してよい）
５．特徴点照合部１８６のみで、ＺＮＣＣによる対応づけを行い、追加処理や変則処理も行う
６．特徴点照合部１８６のみで、ＺＮＣＣ以外の手法で対応づけを行う
７．まず特徴点照合部１７８がＺＮＣＣによる対応づけを行い、その結果に基づき、特徴点照合部１８６が、必要な追加処理や変則処理を行う２段階処理とする
８．まず特徴点照合部１８６が必要な前処理や変則処理を行い、その結果に基づき、特徴点照合部１７８が、ＺＮＣＣによる対応づけを行う２段階処理とする

【0067】

空間情報取得部１８０は、上述のとおりＣＰＵ１３４、算術演算器１４８を構成に含み、ソフトウェアによるプログラマビリティが高い。よって特徴点照合部１７８と比べて、特徴点照合部１８６は、特徴点の対応づけにおいて特定の指標が所定値を超えた時のみ行う例外処理の追加、特徴点に対する前処理、情報取得部１８８との複合処理、それらの処理のための同期処理・処理順序の入れ替え・処理粒度の変更、などの追加処理や変則処理を柔軟に行える特徴がある。

【0068】

したがって上記１～８の態様のいずれかを選択できるようにしておくことで、特徴点照合部１７８との協働で、あるいはどちらか単独で、画像の内容や撮影環境などに対し最適な手法により、特徴点の対応情報を得ることができる。なおＺＮＣＣ以外のテンプレートマッチングの手法として、一般にはＳＳＤ(Sum of Squared Difference)、ＳＡＤ(Sum of Absolute Difference)、ＮＣＣ(Normalized Cross Correlation)などが知られている。特徴点照合部１８６はＺＮＣＣに加え、それらの実用化されているアルゴリズムを選択肢としてそのいずれかを選択し、対応情報を取得したうえで必要に応じて特徴点照合部１７８が取得した結果と比較することにより、特徴点の対応情報を最適化する。

【0069】

なお空間情報取得部１８０に、深層学習を用いた推論モデルが含まれてもよい。このとき特徴点照合部１８６は推論モデルを用いて、特徴点照合部１７８が出力した特徴点の事前選別、ＺＮＣＣによる対応づけの事後選別、ＺＮＣＣを用いない特徴点の対応づけ、などを実行してもよい。いずれにしろ実空間情報の取得において、これまで述べたようにして特徴点照合部１８６を併用することにより、特徴点照合部１７８は、ハード・ワイヤードのメリットである高効率な処理に特化させることができる。

【0070】

ただし特徴点照合部１８６を省略し、特徴点照合部１７８の結果をそのまま用いるようにしてもよい。情報取得部１８８は、そのようにして得られた特徴点の対応情報を用いて空間情報を取得する。情報取得部１８８はまた、ステレオカメラ１１０の撮影タイミングとモーションセンサ１２０の計測タイミングを同一の時間軸で比較することにより、特徴点の位置関係から得られる実空間情報と、計測値から得られる実空間情報を統合してもよい。

【0071】

例えばＳＬＡＭにより得られた、ヘッドマウントディスプレイ１００の位置姿勢の情報を、それより高いレートでモーションセンサ１２０が計測する加速度、角加速度に基づき外挿する。これより、撮影周期より短い周期で位置姿勢情報を取得できる。そのようにして得られた結果は、環境地図の生成にも反映させることができる。情報取得部１８８は取得した実空間情報を大容量ローカルメモリ１５４に書き出し、次の撮影画像における実空間情報の取得に用いる。また情報取得部１８８は、実空間情報を外部メモリ１５２に格納するなどして、コンテンツ処理装置２００などに送信できるようにする。

【0072】

図５は、画像補正部１７２および特徴点抽出部１７６が撮影画像に対して行う処理の内容を説明するための図である。同図は、左側に撮影環境１９０の模式図を示すように、物が置かれたテーブルを左視点Ａと右視点Ｂからステレオカメラ１１０で撮影した画像を処理対象としている。ただし上述のとおりカメラの数、ひいては並行して撮影、処理する画像の数は限定されない。まず（ａ）は、画像取得部１７０が取得した状態の撮影画像でありテーブルの像１９２が写っている。

【0073】

詳細には左視点Ａの画像は、右視点Ｂの画像より、テーブルの像１９２が右に寄っている。また両者とも、カメラのレンズに起因して、テーブルの像１９２が樽型に歪んでいる。さらに撮影環境１９０に示すように、左視点Ａのスクリーン１９８ａに対し右視点Ｂのスクリーン１９８ｂが傾いているため、テーブルの像１９２が左右で平行でない。

【0074】

一般的な技術では、まずレンズによる歪みを除去する補正をし、（ｂ）に示すような歪みのない画像を生成する。ここで元の画像における位置座標（ｘ，ｙ）の画素が、補正後の画像における位置座標（ｘ＋Δｘ，ｙ＋Δｙ）へ補正されるとすると、その変位ベクトル（Δｘ，Δｙ）は次の一般式で表せる。

【0075】

【数2】

【0076】

ここでｒは、画像平面におけるレンズの光軸から対象画素までの距離、（Ｃｘ，Ｃｙ）はレンズの光軸の位置である。またｋ_１、ｋ_２、ｋ_３、・・・はレンズ歪み係数でありレンズの設計に依存する。次数の上限は特に限定されない。なお本実施の形態において補正に用いる式を上式に限定する趣旨ではない。

【0077】

次に、レンズによる歪みが除去された画像に対しレクティフィケーションを行う。すなわちキャリブレーションにより事前に得られたカメラパラメータに基づき回転変換をかけることにより、（ｃ）に示すように、水平方向のエピポーラ線１９４が同一の高さにある画像対を得る。そして、そのように補正された画像に対し特徴点抽出処理を施すことにより、（ｄ）に示すように各画像に対し特徴点の位置情報が得られる。

【0078】

本実施の形態の画像補正部１７２は上述のとおり、変位ベクトルマップ１９６を参照し、１フレームより小さい部分画像単位で、（ａ）の画像から（ｃ）の画像を即時に生成する（矢印Ｃ）。変位ベクトルマップ１９６に表される変位ベクトルは、上述したレンズによる歪み除去のための変位ベクトル（Δｘ，Δｙ）に、レクティフィケーションのための変位ベクトルを合成したものである。変位ベクトルマップは図示するように左視点Ａ、右視点Ｂのそれぞれに対し準備する。

【0079】

またカラーの撮影画像を処理対象とする場合、赤、緑、青の原色ごとに変位ベクトルマップを準備する。これにより画像補正部１７２は色収差補正も同時に行える。さらに上述のとおり、ローリングシャッター方式のカメラを採用する場合、変位ベクトルマップ取得部１８２が、モーションセンサ１２０の計測値に基づき変位ベクトルをリアルタイムで更新していくことにより、１フレームの撮影時間で生じた動きによる歪みを同時に補正する。このように補正された各画像に対し、特徴点抽出部１７６は部分画像単位で、ハリスのコーナー検出などのアルゴリズムを用いて特徴点を抽出する。

【0080】

図６は、ローリングシャッター方式のカメラによって撮影された画像の補正について説明するための図である。（ａ）は説明で想定する撮影環境を模式的に示しており、縦長の物体２１０を撮影対象としている。物体２１０を撮影している１フレーム分の撮影期間に、ヘッドマウントディスプレイ１００を装着したユーザが移動し、カメラのスクリーン２１２が、図の左から右へ移動したとする。

【0081】

（ｂ）に示すようにローリングシャッターは、画像２１４の最上段から下方向へ走査しながら輝度を検出していくため、画像２１４の上方にある像と下方にある像では撮影時刻が異なる。その結果、図示するように本来は垂直方向に長い物体２１０が、斜めに長い物体に写ってしまう。当然、カメラの動きによって歪み方は様々となる。そこで変位ベクトルマップ取得部１８２は、当該歪みを補正するための変位ベクトルを求め、レンズによる歪みの除去やレクティフィケーションのための変位ベクトルに合成することで変位ベクトルマップを更新する。

【0082】

例えば変位ベクトルマップ取得部１８２は、フレームの最上段の画素列が走査される時刻を基準時刻として設定する。基準時刻からｎ番目の段の画素列が走査されるまでの遅延時間Δｔ（ｎ）はフレームレートによって定まる。モーションセンサによる計測値から得られるカメラの速度ベクトルをスクリーン２１２に射影してなるベクトルのうち水平成分の速度ｖ（ｔ）を取得すれば、ｎ番目の段の画素の補正量Δｘ（ｎ）は次のように求められる。

【0083】

【数3】

【0084】

図７は、画素値決定部１８４が行う補正処理の手順の例を説明するための図である。（ａ）は補正前の画像、（ｂ）は補正後の画像の平面を示している。補正前の画像平面におけるＳ００、Ｓ０１、Ｓ０２・・・は変位ベクトルマップにおいて変位ベクトルを設定する位置を表す。例えば画像平面の水平方向、垂直方向に離散的に（例えば、８画素あるいは１６画素ごとなど等間隔に）変位ベクトルを設定する。

【0085】

補正後の画像平面におけるＤ００、Ｄ０１、Ｄ０２、・・・はそれぞれ、Ｓ００、Ｓ０１、Ｓ０２、・・・の変位先の位置を表す。図では一例として、Ｓ００からＤ００への変位ベクトル（Δｘ，Δｙ）を白抜き矢印で示している。画素値決定部１８４は、変位ベクトルを設定する画素を頂点とする最小の三角形の単位で、補正前の画像を補正後の画像にマッピングする。例えば補正前の画像のＳ００、Ｓ０１、Ｓ１０を頂点とする三角形を、補正後の画像のＤ００、Ｄ０１、Ｄ１０を頂点とする三角形にマッピングする。

【0086】

ここで三角形の内部の画素は、Ｄ００、Ｄ０１、Ｄ１０との距離に応じて線形に、あるいはバイリニア、トライリニアなどにより補間した位置に変位させる。そして画素値決定部１８４は、接続されたローカルメモリに格納された、補正前の部分画像の対応する画素の値を読み出すことにより、補正後の画像の画素値を決定する。この際、画素値決定部１８４は、補正前の画像における読み出し先の位置から所定範囲内にある複数の画素の値を、バイリニア、トライリニアなどにより補間することで、補正後の画像の画素値を導出する。これにより画素値決定部１８４は、補正前の画像の三角形の変位先である三角形の単位で、補正後の画像を画素列順に描画していくことができる。

【0087】

図８は、本実施の形態において画像取得部１７０、画像補正部１７２、特徴点抽出部１７６、特徴点照合部１７８が実施する処理の流れを示している。図の横方向は時間経過を表し、画像取得部１７０、画像補正部１７２、特徴点抽出部１７６、特徴点照合部１７８が部分画像ごとに行う処理の時間を、「画像取得」、「補正」、「特徴点抽出」、「特徴点照合」として矢印で示している。処理内容の末尾に示す数字は、処理対象の部分画像の番号を昇順で示している。

【0088】

この例では、図の左側に示すように処理対象の２つの撮影画像２２０の画像平面をそれぞれ所定行数ずつ水平方向に分割することで部分画像（１）、（２）、（３）、（４）、・・・を生成しているが、部分画像の分割規則を限定する趣旨ではない。まず画像取得部１７０が、各撮影画像の１番目の部分画像のデータを取得し終えたら、画像補正部１７２は当該部分画像に対応する変位ベクトルマップを取得し、それを参照して補正を施す。その期間に、画像取得部１７０は、各撮影画像の２番目の部分画像のデータを取得している。

【0089】

１番目の部分画像がそれぞれ補正されたら、特徴点抽出部１７６は各部分画像から特徴点を抽出する。その期間に画像補正部１７２は各撮影画像の２番目の部分画像に補正を施し、画像取得部１７０は各撮影画像の３番目の部分画像のデータを取得する。１番目の部分画像からそれぞれ特徴点が抽出されたら、特徴点照合部１７８はそれらを照合し、２つの撮影画像における１番目の部分画像の、特徴点の対応関係を取得する。特徴点照合部１７８はさらに、同じカメラが撮影した前のフレームとの特徴点の対応関係も取得する。

【0090】

その期間に、特徴点抽出部１７６は各撮影画像の２番目の部分画像から特徴点を抽出し、画像補正部１７２は３番目の部分画像に補正を施す。また画像取得部１７０は各撮影画像の４番目の部分画像のデータを取得する。以後、同様に処理を進捗させることにより、必要な処理が並列化され、特徴点の対応関係取得を高速化できる。なお図示する例は理解を容易にするため、各処理の時間を等しく割り当てているが、処理の開始タイミングや終了タイミングをこれに限定する趣旨ではない。

【0091】

例えば画像補正部１７２は、補正後の画像の１行分の画素列を決定するのに必要な範囲の画素列が取得された時点で補正処理を開始してもよい。また特徴点抽出部１７６は、１つの特徴点抽出を行うのに必要な範囲の画素列が取得された時点で、当該特徴点の抽出処理を開始してもよい。また、図では全ての処理が１番目の部分画像、２番目の部分画像、・・・といった同じ領域内で完結しているが、処理を開始するのに必要な部分画像の領域は、処理の内容に応じて異なっていてよい。

【0092】

さらに特徴点照合部１７８は、空間方向、時間方向で特徴点の対応づけを行い、かつ複数の解像度の画像を処理対象とする場合もある。これらを処理する順序や、並列に実行するか否かは、探索範囲の特徴点のデータ入手状況および、後続の処理との同期時期に応じて適切に設定してよい。

【0093】

図９は、特徴点照合部１７８が特徴点を照合する処理の手順を説明するための図である。同図は図５と同様、左視点と右視点のカメラで撮影した画像を処理対象としているが、カメラの数は限定されない。図の縦方向が時間経過を表し、時刻ｔ１、ｔ２、ｔ３において各カメラが撮影した画像を対応づけて示している。特徴点照合部１７８は、複数のカメラが同時に撮影したフレーム間の特徴点の対応情報（空間方向の対応情報）Ｐ１、Ｐ２、Ｐ３、・・・と、同じカメラで異なる時刻に撮影された複数のフレーム間の特徴点の対応情報（時間方向の対応情報）Ｍ１、Ｍ２、・・・を取得する。

【0094】

空間方向の対応情報を得る際、特徴点照合部１７８は例えば、左視点の画像に８×８画素程度のテンプレート画像の領域２３０を特徴点ごとに設定する。そして右視点の画像に、対応する探索範囲２３２を設定し、テンプレート画像と同じサイズの探索窓をずらしながらＺＮＣＣの値を取得していく。特徴点照合部１７８は、ＺＮＣＣが最高値となった探索窓において、テンプレート画像の領域２３０と同じ位置にある特徴点を、テンプレート画像の領域２３０の特徴点と対応づける。この処理を、左視点の画像における特徴点ごとに繰り返すことにより、画像全体の特徴点の対応関係が得られる。

【0095】

ここで両画像は画像補正部１７２によるレクティフィケーションによって平行化されているため、探索範囲２３２は限定された領域となる。そのため特徴点照合部２７８は、例えば左視点の画像において設定したテンプレート画像の領域（例えば領域２３０）に対応する、右視点の画像の探索範囲（例えば探索範囲２３２）の特徴点のデータが取得された段階で、マッチング処理を開始する。これにより前段までの処理と並行して対応づけの処理を進捗させることができる。

【0096】

特徴点照合部１７８はさらに、そのようにして得られた特徴点の対応関係に基づき、特徴点として表されている被写体の箇所までの距離を取得する。すなわち左視点の画像と右視点の画像における対応する特徴点の、画像平面における水平方向の位置ずれに基づき、三角測量の原理で距離を求める。この距離の情報は、ステレオカメラ１１０に対する被写体の３次元空間での位置の特定に用いられるほか、特徴点の誤対応の検出にも利用できる。

【0097】

時間方向の対応情報を得る際も、特徴点照合部１７８は、例えば左視点の時刻ｔ１の画像に、８×８画素程度のテンプレート画像の領域２３０を特徴点ごとに設定する。そして時刻ｔ２の画像に、対応する探索範囲２３４を設定し、テンプレート画像と同じサイズの探索窓をずらしながらＺＮＣＣの値を取得していく。ただしこの場合、特徴点の変位方向はユーザの動きに依存して様々となるため、画像平面の縦方向を含め、比較的広い探索範囲を設定する必要がある。

【0098】

そこで特徴点照合部１７８は前処理として、特徴点を画像平面に表した画像を縮小することにより、複数の解像度の画像（例えば画像２３６ａ、２３６ｂ、２３６ｃ）を準備し、探索処理を効率化してもよい。すなわち特徴点照合部１７８は、まず最小解像度の画像同士でマッチングを行い、およその対応関係を取得したら、探索範囲をその近傍に限定して、その次の解像度の画像同士でマッチングを行う、というように、徐々に情報の詳細度を上げていく。これにより、大きな動きが生じていても探索範囲を絞り込むことができる。

【0099】

あるいは特徴点照合部１７８は、モーションセンサ１２０の計測値を取得することで、カメラの動きを予測してもよい。すなわちカメラの３次元空間での速度ベクトルに基づき、次のフレームにおいて特徴点がどのように変位するかを予測する。このようにしても探索範囲を絞り込むことができる。特徴点照合部１７８は、複数解像度の画像による絞り込みと、モーションセンサ１２０の計測値に基づく絞り込みの双方を行ってもよいし、どちらか一方のみを行ってもよい。

【0100】

いずれにしろ特徴点照合部１７８は、上述したのと同様に、例えば左視点の画像において設定したテンプレート画像に対応する、右視点の画像の探索範囲のデータが取得された段階で、マッチング処理を開始する。これにより前段までの処理と並行して対応づけの処理を進捗させることができる。

【0101】

図１０は、空間情報取得部１８０が実施する実空間取得処理の手順を示すフローチャートである。このフローチャートは、新たな撮影画像（フレーム）の特徴点の対応情報が取得される都度、実行される。まず空間情報取得部１８０の特徴点照合部１８６は、特徴点抽出部１７６が抽出した特徴点の情報に基づき、複数の撮影画像における特徴点の対応づけを行う（Ｓ１０）。特徴点照合部１８６は基本的に、図９で示したのと同様のテンプレートマッチングを行うことにより、空間方向および時間方向で対応情報を取得する。

【0102】

この際、特徴点照合部１８６は上述の１～８のいずれかに対応する処理を行う。例えば特徴点照合部１８６は、特徴点照合部１７８と処理対象の画像を分担して同じアルゴリズムにより対応づけを行ってもよいし、特徴点照合部１７８と異なるアルゴリズムで対応づけを行ってもよい。また特徴点照合部１８６のみが処理を行ってもよいし、特徴点照合部１７８が行う対応づけに対する前処理、追加処理、変則処理のいずれかを行ってもよい。あるいは特徴点照合部１７８が取得した対応情報をそのまま利用し、Ｓ１０の処理を省略してもよい。

【0103】

次に特徴点照合部１８６は、最終的に用いる対応情報を決定する（Ｓ１２）。すなわち特徴点照合部１７８と処理を分担している場合は、その結果を統合する。特徴点照合部１７８と異なるアルゴリズムで対応づけを行った場合は、特徴点照合部１７８が取得した対応情報と比較し、精度が高いと推定される方を採用する。特徴点照合部１８６が前処理を行ったか否かに関わらず、特徴点照合部１７８が取得した対応情報をそのまま採用する場合は、特徴点照合部１８６は当該情報を読み出す。特徴点照合部１７８が取得した対応情報に追加処理や変則処理を行う場合、特徴点照合部１８６はそれらの処理を経て結果を取得する。

【0104】

ここで得られる対応情報とは、図９における空間方向の対応関係Ｐ１、Ｐ２、Ｐ３、・・・と、それらから得られる被写体の距離値、および時間方向の対応関係Ｍ１、Ｍ２、・・・を、基準となるカメラによる撮影画像（例えば左視点の画像）における特徴点ごとに対応づけたデータである。次に情報取得部１８８は、そのような対応情報のうち誤対応を検出して除外する（Ｓ１４）。例えば被写体の表面において特徴点として表れる複数の箇所の、実空間での相対的な位置関係は、カメラがどのように移動しても変化しない。そのため、そのような拘束条件から外れている対応関係は誤対応として対応情報から除外する。

【0105】

そのほか、誤対応を検出する規則として様々に考えられることは当業者には理解されるところである。また情報取得部１８８は、実空間情報を得るための対応関係として適切でないデータも除外してよい。情報取得部１８８は、動きのない被写体の像を基準とすることにより、相対的にカメラの位置や姿勢を取得することを基本とする。そのため動いている被写体の像を処理対象から除外することにより、実空間情報の取得精度を高めることができる。

【0106】

例えば情報取得部１８８は、対応づけがなされた特徴点を含む像の色や形状に基づき、人、動物、ロボットなど、動くと推定される物の特徴点を対応情報から除外する。動く物の推定規則は、あらかじめ人手により設定してもよいし、それを教師データとして機械学習や深層学習により最適化していってもよい。次に情報取得部１８８は、残った対応情報を用いて実空間情報を取得する（Ｓ１６）。例えば推定したカメラの位置や姿勢で写るべき像の特徴点と、時間方向の対応関係により得られた実際の像の特徴点とを比較し、その差が最小となる位置や姿勢を取得する。

【0107】

Ｓ１６において情報取得部１８８は、ステレオカメラ１１０の撮影時刻に対して得られる位置や姿勢の情報を、モーションセンサ１２０による計測値に基づき外挿することにより、センサフュージョンを実現してもよい。情報取得部１８８はまた、そのように取得されたステレオカメラ１１０、ひいてはヘッドマウントディスプレイ１００の位置や姿勢と、空間方向の対応関係により得られた被写体までの距離に基づき、環境地図を生成してもよい。前述のとおり、空間情報取得部１８０には深層学習を用いた推論モデルが含まれてもよい。このとき、情報取得部１８８は、対応づけられた特徴点やモーションセンサ１２０による計測値から、最新のカメラ視点の位置や姿勢を推定したり環境地図を生成したりする際に、推論モデルを用いてもよい。

【0108】

図１１は、画像取得部１７０の処理の詳細を説明するための図である。（ａ）は、ステレオカメラ１１０などのイメージセンサにおける画素配列を例示している。上段の画素配列２５０ａは、２×２画素の４画素のうち３画素でグレースケール（「Ｂ／Ｗ」と表記）の輝度を検出し、１画素で赤外線（「ＩＲ」と表記）の輝度を検出する。このような画素を縦横双方向に配列させることにより、グレースケールの輝度と赤外線の輝度の２次元配列が得られる。

【0109】

（ａ）の下段の画素配列２５０ｂは、４×４の１６画素のうち緑（「Ｇ」と表記）と赤外線（「ＩＲ」と表記）の輝度をそれぞれ縦横双方向に１画素おきの画素で検出し、残りの４画素のうち斜め方向にある２画素の対で赤（「Ｒ」と表記）および青（「Ｂ」と表記）の輝度をそれぞれ検出する。このような画素を縦横双方向に配列させることにより、３原色の輝度と赤外線の輝度の２次元配列が得られる。

【0110】

（ｂ）は、画像取得部１７０の詳細な機能ブロックを示している。画像取得部１７０は前処理部２６０、画素分離部２６２、第１後処理部２６４ａ、第２後処理部２６４ｂを備える。画像取得部１７０に対する入力は、（ａ）で示したように、画素値として複数の波長帯の光の輝度を含む撮影画像のデータである。前処理部２６０は、当該データを走査順に取得し、黒レベル補正、欠陥補正などの前処理を施す。画素分離部２６２は、前処理が施された画素列のデータを順次取得し、（ａ）で示したような画素配列に基づき用途別に分離する。

【0111】

例えば画素配列２５０ａの場合、グレースケールの輝度の２次元配列と、赤外線の輝度の２次元配列に分離する。画素配列２５０ｂの場合は、赤、緑、青の輝度の２次元配列と、赤外線の輝度の２次元配列に分離する。画素分離部２６２は分離したデータを、画素列順に第１後処理部２６４ａ、第２後処理部２６４ｂにそれぞれ入力する。なお３つ以上のデータに分離する場合、後処理部もその数だけ設ける。第１後処理部２６４ａおよび第２後処理部２６４ｂは、入力されたデータに対し必要に応じて、デモザイク処理、平滑化処理、ノイズ除去、クロッピングなどの後処理を施す。

【0112】

これにより、分離により値が欠落した画素についても適宜画素値が補間され、用途に応じた波長帯の光を表す第１画像、第２画像のデータが、第１後処理部２６４ａ、第２後処理部２６４ｂからそれぞれ出力される。例えば画素配列２５０ａを有するカメラの場合、グレースケールの画像と赤外線の画像のデータが出力される。画素配列２５０ｂを有するカメラの場合、カラー画像と赤外線の画像のデータが出力される。この場合、本実施の形態では、グレースケールの画像、あるいはカラー画像のデータを後段の処理に渡すことで、実空間情報が得られる。なおイメージセンサが有する画素配列と、画像取得部１７０が分離する波長帯の種別は上記した例に限らない。

【0113】

以上述べた本実施の形態によれば、撮影画像から実空間情報を得る技術において、１フレーム分の画素列のデータを取得するより前に、それより小さい部分画像の単位で画像の補正、特徴点抽出、特徴点照合の処理を順次進捗させる。またこれらの処理を、専用ハード・ワイヤード・ロジックと専用データフロー構成で行う。これにより、カメラによる撮影から実空間情報取得までの遅延時間を短縮でき、処理の応答性を高められる。また消費電力を抑えられるため、充電池による作動であっても連続使用時間を延ばすことができる。

【0114】

また画像の補正において、レンズ歪みの除去、レクティフィケーション、ローリングシャッターによる歪みの補正、などを加味した変位ベクトルを求め、それを画像平面に表した変位ベクトルマップを参照することで、それらの補正を一度に実施する。これにより、補正に要する時間を増大させることなく、後段の処理において少ない処理負荷で高精度な情報が得られる。

【0115】

なお本実施の形態は、グレースケールの撮影画像であっても適用できる。この場合、画像補正部１７２において、原色ごとに異なる変位ベクトルマップを用意する必要がない。また実空間情報を取得するまでの処理全体として演算やデータの量が削減され、遅延や消費電力をよりいっそう削減できる。撮影画像がカラー画像であっても、画像取得部１７０が輝度成分のみを取り出し、以降の処理はグレースケールとして行うことで、同様の効果を得ることもできる。

【0116】

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0117】

例えば本実施の形態では、汎用プロセッサに代わり専用のハード・ワイヤード・ロジックと専用データフローの構成により画像処理を進捗させた。これにより最も効果的に低遅延、低消費電力での実空間情報取得を実現できるが、一連の処理は汎用プロセッサによっても実現可能である。すなわち外部メモリ１５２にロードしたコンピュータプログラムにより、専らＣＰＵが各プロセスを発生させ、パイプライン処理することによっても、実空間情報を低遅延で得ることができる。

【0118】

また本実施の形態は、撮影画像が赤外線画像であっても適用可能である。この場合、別途、赤外線プロジェクタから被写空間に赤外線を照射したり、赤外線を発する光源を被写空間に設置したりしてもよい。このとき赤外線プロジェクタからの照射光が、構造化光（structured light）方式でパターンを有していてもよい。このとき特徴点抽出部１７６は、当該パターンを利用して特徴点を検出してもよい。

【0119】

また図１０で示した空間情報取得部１８０による処理は、撮影画像のフレーム単位で実施してよい。図１２は、空間情報取得部１８０による処理を含めた、画像処理装置１３０における各フレームに対する処理の流れを例示している。図８と同様、図の横方向は時間経過を表す。最上段に示すように、ステレオカメラ１１０はそれぞれの視点でフレーム１、フレーム２、・・・の画像対を撮影していく（Ｓ１００）。これと並行して、画像処理装置１３０の画像取得部１７０、画像補正部１７２、特徴点抽出部１７６は、各フレームの画像取得、補正、および特徴点抽出を実施する（Ｓ１０２）。すなわち図８で示したように、１フレームより小さい部分画像の単位で各種処理を順次進捗させる。

【0120】

１フレーム分の特徴点抽出処理が完了する都度、空間情報取得部１８０は、当該フレームに対し図１０で示した処理を開始する。すなわち、まず特徴点照合部１８６が、抽出された特徴点の情報に基づき、複数の撮影画像における特徴点の対応づけを行う（Ｓ１０）。ここで特徴点照合部１８６は初期処理として、拡張カルマンフィルタなどの時系列解析フィルタにより、最新の特徴点分布を取得してよい。次に特徴点照合部１８６は、空間方向および時間方向で特徴点の対応情報を取得する。

【0121】

ただし空間方向の対応情報は、空間情報取得部１８０外の特徴点照合部１７８が行い、空間情報取得部１８０の特徴点照合部１８６は時間方向の対応情報を取得する、といったように処理を分担してもよい。このようにすると、図示するように空間方向の対応情報取得と時間方向の対応情報取得を並列に行え、短時間で双方の情報が得られる。その他、２つの特徴点照合部１７８、特徴点照合部１８６による分担が様々に考えられることは上述したとおりである。

【0122】

空間方向の対応情報を取得する際、特徴点照合部１７８または特徴点照合部１８６は、１／１６の縮小画像、１／４の縮小画像、１／１の画像、というように低解像度の画像から順にマッチングを行うことで探索範囲を絞り込み、処理を効率化してもよい。また時間方向の対応情報を取得する際、特徴点照合部１８６は、大容量ローカルメモリ１５４に格納済みの、過去のフレームも参照してよい。特徴点照合部１８６を算術演算器１４８で実現し、ＺＮＣＣなどの演算を実行する専用命令を準備することにより、特徴点照合部１８６は対応情報を高速に取得できる。

【0123】

そして特徴点照合部１８６は、特徴点照合部１７８や自らの処理によって得られた対応情報に基づき、最終的に用いる対応情報をフレーム単位で決定する（Ｓ１２）。続いて情報取得部１８８は上述のとおり、当該対応情報のうち誤対応を検出して除外したうえ（Ｓ１４）、残った対応情報を用いて実空間情報を取得する（Ｓ１６）。以上の処理により、上述したとおり高速かつ高精度に実空間情報を取得できる。

【産業上の利用可能性】

【0124】

以上のように本発明は、画像処理装置、ウェアラブルディスプレイ、ゲーム装置、モバイル機器、自動車、ロボット、無人航空機など各種装置や、それらのいずれかを含むシステムなどに利用可能である。

【符号の説明】

【0125】

１００ ヘッドマウントディスプレイ、 １１０ ステレオカメラ、 １２０ モーションセンサ、 １３０ 画像処理装置、 １３４ ＣＰＵ、 １３６ イメージ信号処理回路、 １３８ ローカルメモリ、 １４０ 補正回路、 １４２ ローカルメモリ、 １４４ 特徴点抽出器、 １４６ 特徴点照合器、 １４８ 算術演算器、 １５０ 周辺機器インターフェース、 １５２ 外部メモリ、 １５４ 大容量ローカルメモリ、 １７０ 画像取得部、 １７２ 画像補正部、 １７４ センサ情報取得部、 １７６ 特徴点抽出部、 １７８ 特徴点照合部、 １８０ 空間情報取得部、 １８２ 変位ベクトルマップ取得部、 １８４ 画素値決定部、 １８６ 特徴点照合部、 １８８ 情報取得部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】