特許 6969739 位置情報取得システム、位置情報取得方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6969739

(24)【登録日】2021年11月1日

(45)【発行日】2021年11月24日

(54)【発明の名称】位置情報取得システム、位置情報取得方法及びプログラム

(51)【国際特許分類】

   G01B 11/00 20060101AFI20211111BHJP

   G01B 11/24 20060101ALI20211111BHJP

【ＦＩ】

   G01B11/00 H

   G01B11/24 K

【請求項の数】17

【全頁数】24

(21)【出願番号】特願2017-147028(P2017-147028)

(22)【出願日】2017年7月28日

(65)【公開番号】特開2019-27894(P2019-27894A)

(43)【公開日】2019年2月21日

【審査請求日】2020年5月28日

(73)【特許権者】

【識別番号】504258527

【氏名又は名称】国立大学法人 鹿児島大学

(73)【特許権者】

【識別番号】510108951

【氏名又は名称】公立大学法人広島市立大学

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100162259

【弁理士】

【氏名又は名称】末富 孝典

(74)【代理人】

【識別番号】100133592

【弁理士】

【氏名又は名称】山口 浩一

(72)【発明者】

【氏名】小野 智司

(72)【発明者】

【氏名】川▲崎▼ 洋

(72)【発明者】

【氏名】芝 優希

(72)【発明者】

【氏名】日浦 慎作

(72)【発明者】

【氏名】古川 亮

【審査官】 國田 正久

(56)【参考文献】

【文献】 特開２０１２−０８３２３９（ＪＰ，Ａ）

【文献】 特開２００４−３０９４３９（ＪＰ，Ａ）

【文献】 特開２０１７−１１６３０４（ＪＰ，Ａ）

【文献】 特開２０１６−１４２７２７（ＪＰ，Ａ）

【文献】 国際公開第２００８／０７８５３７（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００ − １１／３０

(57)【特許請求の範囲】

【請求項1】

撮像素子、光学系及びシャッタを有し、前記シャッタを露光時間開いて前記光学系を介して前記撮像素子により対象物を撮像するカメラと、
前記カメラとは異なる位置に設置され、パターンを前記対象物に投影するプロジェクタと、
前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得する情報取得部と、
を備え、
前記露光時間内で、前記プロジェクタが前記対象物に投影するパターンを、異なるパターンに順次切り替えつつ、前記カメラで前記対象物を撮像し、
前記情報取得部は、前記撮像画像に写るパターンと、前記プロジェクタで投影された異なるパターンのうち一つとの対応付けを行うことにより、前記対象物の奥行き又は速度情報を取得する、
位置情報取得システム。

【請求項2】

前記情報取得部は、前記撮像画像に写るパターンを構成する全てのパターンについて、前記対象物の奥行き又は速度情報を取得する、
請求項１に記載の位置情報取得システム。

【請求項3】

撮像素子、光学系及びシャッタを有し、前記シャッタを露光時間開いて前記光学系を介して前記撮像素子により対象物を撮像するカメラと、
前記カメラとは異なる位置に設置され、パターンを前記対象物に投影するプロジェクタと、
前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得する情報取得部と、
を備え、
前記露光時間内で、前記プロジェクタが前記対象物に投影するパターンを、異なるパターンに順次切り替えつつ、前記カメラで前記対象物を撮像し、
前記情報取得部は、前記プロジェクタで投影されたパターンを合成し、
合成されたパターンと、前記撮像画像に写るパターンとのマッチングにより、前記対象物の奥行き又は速度情報を取得する、
位置情報取得システム。

【請求項4】

前記情報取得部は、対応する奥行きが異なるパターンを合成し、
それぞれのパターンに対応する位置に基づいて、前記対象物の奥行き又は速度情報を取得する、
請求項３に記載の位置情報取得システム。

【請求項5】

前記情報取得部は、前記撮像画像に写るパターンを、前記合成されたパターンを構成する個々のパターンにそれぞれ分解し、
分解されたパターン毎に、前記対象物の位置を検出することにより、前記対象物の奥行き又は速度情報を検出する、
請求項３又は４に記載の位置情報取得システム。

【請求項6】

撮像素子、光学系及びシャッタを有し、前記シャッタを露光時間開いて前記光学系を介して前記撮像素子により対象物を撮像するカメラと、
前記カメラとは異なる位置に設置され、パターンを前記対象物に投影するプロジェクタと、
前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得する情報取得部と、
前記対象物の位置と、前記カメラの撮像画像に写るパターンとが関連付けられて記憶されるデータベースと、
を備え、
前記露光時間内で、前記プロジェクタが前記対象物に投影するパターンを、異なるパターンに順次切り替えつつ、前記カメラで前記対象物を撮像し、
前記情報取得部は、前記撮像画像に写るパターンと、前記データベースに記憶されたパターンとのマッチングにより、前記対象物の奥行き又は速度情報を取得する、
位置情報取得システム。

【請求項7】

撮像素子、光学系及びシャッタを有し、前記シャッタを露光時間開いて前記光学系を介して前記撮像素子により対象物を撮像するカメラと、
前記カメラとは異なる位置に設置され、パターンを前記対象物に投影するプロジェクタと、
前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得する情報取得部と、
を備え、
前記露光時間内で、前記プロジェクタが前記対象物に投影するパターンを、異なるパターンに順次切り替えつつ、前記カメラで前記対象物を撮像し、
前記情報取得部は、前記プロジェクタと前記カメラの位置関係を示す情報を用いて、三角測量法により、前記撮像画像内のパターンの位置から前記対象物の奥行き又は速度情報を算出する、
位置情報取得システム。

【請求項8】

前記情報取得部は、
前記対象物の位置の計測可能範囲から広い間隔で選択された位置に対応するパターンを前記データベースから幾つか抽出しつつ、抽出されたパターンと前記撮像画像に写るパターンとのマッチングを行って、前記撮像画像に写るパターンに近いパターンに対応する基準位置を探索し、
前記計測可能範囲よりも狭く前記基準位置を基準とする範囲内の位置に対応するパターンを前記データベースから幾つか抽出しつつ、抽出されたパターンと前記撮像画像に写るパターンとのマッチングを行って、前記撮像画像に写るパターンに最も近いパターンを探索し、探索されたパターンに対応する位置を検出する、
請求項６に記載の位置情報取得システム。

【請求項9】

撮像素子、光学系及びシャッタを有し、前記シャッタを露光時間開いて前記光学系を介して前記撮像素子により対象物を撮像するカメラと、
前記カメラとは異なる位置に設置され、パターンを前記対象物に投影するプロジェクタと、
前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得する情報取得部と、
前記露光時間内に前記プロジェクタで投影されたパターンの組み合わせによる合成パターンを記憶する記憶部と、
を備え、
前記露光時間内で、前記プロジェクタが前記対象物に投影するパターンを、異なるパターンに順次切り替えつつ、前記カメラで前記対象物を撮像し、
前記情報取得部は、前記対象物の位置情報の取得に先だって、
前記撮像画像に写るパターンと、前記記憶部に記憶された合成パターンとのマッチングにより、前記撮像画像が撮像された露光時間内に前記プロジェクタにより投影されたパターンの組み合わせを特定する、
位置情報取得システム。

【請求項10】

撮像素子、光学系及びシャッタを有し、前記シャッタを露光時間開いて前記光学系を介して前記撮像素子により対象物を撮像するカメラと、
前記カメラとは異なる位置に設置され、パターンを前記対象物に投影するプロジェクタと、
前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得する情報取得部と、
を備え、
前記露光時間内で、前記プロジェクタが前記対象物に投影するパターンを、異なるパターンに順次切り替えつつ、前記カメラで前記対象物を撮像し、
前記プロジェクタが投影するパターンには、パターンの識別情報が含まれ、
前記情報取得部は、前記対象物の位置情報の取得に先だって、
前記撮像画像に写る識別情報に基づいて、前記撮像画像が撮像された露光時間内に前記プロジェクタにより投影されたパターンの組み合わせを特定する、
位置情報取得システム。

【請求項11】

前記露光時間内に、前記対象物に投影される複数のパターンは、それぞれランダムに生成されたパターンである、
請求項１から１０のいずれか一項に記載の位置情報取得システム。

【請求項12】

前記対象物に投影されるパターンは、
ドットパターン、グリッドパターン又は前記プロジェクタと前記カメラとによって仮想的に定義されるエピポーラ線と交差するラインパターンである、
請求項１から１１のいずれか一項に記載の位置情報取得システム。

【請求項13】

前記露光時間内に、前記対象物に投影される複数のパターンは、それぞれ特徴空間において互いに直交するパターンである、
請求項１から１２のいずれか一項に記載の位置情報取得システム。

【請求項14】

プロジェクタによりパターンを対象物に投影しつつ、前記プロジェクタとは異なる位置に設置されたカメラで対象物を撮像し、前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得する位置情報取得方法であって、
前記カメラが撮像画像を撮像する露光時間内に前記プロジェクタが前記対象物に投影するパターンを切り替えながら、前記カメラで前記対象物を撮像する撮像工程と、
前記撮像画像に写るパターンと、前記プロジェクタで投影された異なるパターンのうち一つとの対応付けを行うことにより、前記対象物の奥行き又は速度情報を取得する情報取得工程と、
を含む位置情報取得方法。

【請求項15】

プロジェクタによりパターンを対象物に投影しつつ、前記プロジェクタとは異なる位置に設置されたカメラで対象物を撮像し、前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得する位置情報取得方法であって、
前記カメラが撮像画像を撮像する露光時間内に前記プロジェクタが前記対象物に投影するパターンを切り替えながら、前記カメラで前記対象物を撮像する撮像工程と、
前記プロジェクタで投影されたパターンを合成し、合成されたパターンと撮像画像に写るパターンとのマッチングにより、前記対象物の奥行き又は速度情報を取得する情報取得工程と、
を含む位置情報取得方法。

【請求項16】

プロジェクタによりパターンを対象物に投影しつつ、前記プロジェクタとは異なる位置に設置されたカメラで対象物を撮像し、前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得するコンピュータを、
前記カメラが撮像画像を撮像する露光時間内に前記プロジェクタが前記対象物に投影するパターンを切り替えながら、前記カメラで前記対象物を撮像する制御手段、
前記撮像画像に写るパターンと、前記プロジェクタで投影された異なるパターンのうち一つとの対応付けを行うことにより、前記対象物の奥行き又は速度情報を取得する情報取得手段、
として機能させるプログラム。

【請求項17】

プロジェクタによりパターンを対象物に投影しつつ、前記プロジェクタとは異なる位置に設置されたカメラで対象物を撮像し、前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得するコンピュータを、
前記カメラが撮像画像を撮像する露光時間内に前記プロジェクタが前記対象物に投影するパターンを切り替えながら、前記カメラで前記対象物を撮像する制御手段、
前記プロジェクタで投影されたパターンを合成し、合成されたパターンと撮像画像に写るパターンとのマッチングにより、前記対象物の奥行き又は速度情報を取得する情報取得手段、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、位置情報取得システム、位置情報取得方法及びプログラムに関する。

【背景技術】

【0002】

高速に移動する物体等の３次元計測の需要が増している。例えば、エンジンや発電所で利用されるタービン羽や、爆発の状態を３次元計測し、それらの解析・検査を高精度に行えるようにすることが望まれている。

【0003】

３次元計測においては、カメラ及びパターンプロジェクタを備えるシステムを用いた能動計測が行われるのが一般的である。これは、システムの構成が単純であり、視差による高精度な計測を実現することができるためである。高速に移動する物体の計測には、ハイスピードカメラが用いられるが、ハイスピードカメラは高価であるうえ、ハイスピードカメラで撮像してもぼけるぐらい高速に移動する物体については、やはり計測が困難になる。さらに、高速シャッタにより、１フレームあたりの光の量が大幅に減少する。

【0004】

このような背景から、超解像技術を用いて１フレームの画像から動画像を得る技術が開示されている。例えば非特許文献１には、１フレームの画像を撮像する間に高速に変化する符号化撮像を行うシステムが開示されている。このシステムは、露光時間中に高速に符号化開口の形状を変更し、超解像技術により１フレームの画像から動画像を得る。しかしながら、このシステムでは、画素ごとに露光を行う特殊な機器が必要となる。

【0005】

また、非特許文献２には、ピクセル単位でランダムに符号化された絞りによる撮像を行うシステムが開示されている。このシステムは、イメージセンサの各ピクセルでランダムに露光し、学習によりボケを解析する。このシステムでも、超解像技術により１フレームから動画像を生成することができるが、やはり特殊な機器が必要となる。

【0006】

また、非特許文献３には、擬似ランダムに符号化された絞りによる撮像を行うシステムが開示されている。このシステムは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いて擬似ランダム露光を実現し、実用的なサンプリングによる高空間・時間解像度動画の再構成を行う。このシステムでも、超解像技術により１フレームから動画像を生成可能であるが、やはり特殊な機器が必要となる。

【0007】

また、非特許文献４には、カメラの露光時間内にセンサを点滅させて撮像を行うシステムが開示されている。このシステムは、符号化されたタイミングでライトを点滅させ、１フレームの細かい分割により高い解像度を実現する。しかしながら、このシステムでは、１枚の画像から動画像を得ることはできない。

【0008】

また、非特許文献５には、移動物体に対して複数のパターンを投影するシステムが開示されている。このシステムは、複数の異なる縦縞パターンを投影してそれぞれのパターンに対応する撮像画像を得て、物体の３次元形状を計測する。このシステムによれば、単画像から復元された３次元形状の精度を向上することができるが、カメラの撮像では捉えきれないぐらいの物体の動きの再現は困難である。

【先行技術文献】

【非特許文献】

【0009】

【非特許文献1】H.Nagahara, C.Zhou, T.Watanabe，H.Ishiguro，and S.K.Nayar, ”Programmable aperture camera using lcos". ECCV,337−350.2010．

【非特許文献2】Y.Hitomi, J.Gu, M.Gupta, T.Mitsunaga, and S.K.Nayar, " Video from a single coded exposure photograph using a learned over-complete dictionary". ICCV, 287-294.2011.

【非特許文献3】H.Nagahara, T.Sonoda, K.Endo, Y.Sugiyama, and R.i.Taniguchi."Highspeed imaging using cmos image sensor with quasi pixel-wise exposure".ICCP, 1-11. 2016.

【非特許文献4】A.Veeraraghavan, D.Reddy, and R.Raskar, "Coded strobing photography:"Compressive sensing of high speed periodic videos." TPAMI, 33(4):671-686,2011.

【非特許文献5】Yuichi Taguchi, Amit Agrawal, and Oncel Tuzel,"Motion-Aware StructuredLight Using Spatio-Temporal Decodable Patterns", pp.832-845, Springer Berlin Heidelberg, Berlin, Heidelberg, 2012.

【発明の概要】

【発明が解決しようとする課題】

【0010】

上述のような従来システムは、通常の撮像動作では捉えきれないぐらい高速に移動する物体の動きや形状を計測するのは困難であるか、高速に移動する物体の動きや形状を捉えるために特殊な機器を必要とするものであった。

【0011】

本発明は、上記実情に鑑みてなされたものであり、通常の撮像動作では捉えきれないぐらい高速に移動する物体の位置情報を高精度に取得することができる位置情報取得システム、位置情報取得方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

上記目的を達成するため、本発明の第１の観点に係る位置情報取得システムは、
撮像素子、光学系及びシャッタを有し、前記シャッタを露光時間開いて前記光学系を介して前記撮像素子により対象物を撮像するカメラと、
前記カメラとは異なる位置に設置され、パターンを前記対象物に投影するプロジェクタと、
前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得する情報取得部と、
を備え、
前記露光時間内で、前記プロジェクタが前記対象物に投影するパターンを、異なるパターンに順次切り替えつつ、前記カメラで前記対象物を撮像し、
前記情報取得部は、前記撮像画像に写るパターンと、前記プロジェクタで投影された異なるパターンのうち一つとの対応付けを行うことにより、前記対象物の奥行き又は速度情報を取得する。

【0014】

また、前記情報取得部は、前記撮像画像に写るパターンを構成する全てのパターンについて、前記対象物の奥行き又は速度情報を取得する、
こととしてもよい。

【0015】

本発明の第２の観点に係る位置情報取得システムは、
撮像素子、光学系及びシャッタを有し、前記シャッタを露光時間開いて前記光学系を介して前記撮像素子により対象物を撮像するカメラと、
前記カメラとは異なる位置に設置され、パターンを前記対象物に投影するプロジェクタと、
前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得する情報取得部と、
を備え、
前記露光時間内で、前記プロジェクタが前記対象物に投影するパターンを、異なるパターンに順次切り替えつつ、前記カメラで前記対象物を撮像し、
前記情報取得部は、前記プロジェクタで投影されたパターンを合成し、
合成されたパターンと、前記撮像画像に写るパターンとのマッチングにより、前記対象物の奥行き又は速度情報を取得する。

【0016】

前記情報取得部は、対応する奥行きが異なるパターンを合成し、
それぞれのパターンに対応する位置に基づいて、前記対象物の奥行き又は速度情報を取得する、
こととしてもよい。

【0017】

前記情報取得部は、前記撮像画像に写るパターンを、前記合成されたパターンを構成する個々のパターンにそれぞれ分解し、
分解されたパターン毎に、前記対象物の位置を検出することにより、前記対象物の奥行き又は速度情報を検出する、
こととしてもよい。

【0018】

本発明の第３の観点に係る位置情報取得システムは、
撮像素子、光学系及びシャッタを有し、前記シャッタを露光時間開いて前記光学系を介して前記撮像素子により対象物を撮像するカメラと、
前記カメラとは異なる位置に設置され、パターンを前記対象物に投影するプロジェクタと、
前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得する情報取得部と、
前記対象物の位置と、前記カメラの撮像画像に写るパターンとが関連付けられて記憶されるデータベースと、
を備え、
前記露光時間内で、前記プロジェクタが前記対象物に投影するパターンを、異なるパターンに順次切り替えつつ、前記カメラで前記対象物を撮像し、
前記情報取得部は、前記撮像画像に写るパターンと、前記データベースに記憶されたパターンとのマッチングにより、前記対象物の奥行き又は速度情報を取得する。

【0019】

本発明の第４の観点に係る位置情報取得システムは、
撮像素子、光学系及びシャッタを有し、前記シャッタを露光時間開いて前記光学系を介して前記撮像素子により対象物を撮像するカメラと、
前記カメラとは異なる位置に設置され、パターンを前記対象物に投影するプロジェクタと、
前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得する情報取得部と、
を備え、
前記露光時間内で、前記プロジェクタが前記対象物に投影するパターンを、異なるパターンに順次切り替えつつ、前記カメラで前記対象物を撮像し、
前記情報取得部は、前記プロジェクタと前記カメラの位置関係を示す情報を用いて、三角測量法により、前記撮像画像内のパターンの位置から前記対象物の奥行き又は速度情報を算出する。

【0020】

前記情報取得部は、
前記対象物の位置の計測可能範囲から広い間隔で選択された位置に対応するパターンを前記データベースから幾つか抽出しつつ、抽出されたパターンと前記撮像画像に写るパターンとのマッチングを行って、前記撮像画像に写るパターンに近いパターンに対応する基準位置を探索し、
前記計測可能範囲よりも狭く前記基準位置を基準とする範囲内の位置に対応するパターンを前記データベースから幾つか抽出しつつ、抽出されたパターンと前記撮像画像に写るパターンとのマッチングを行って、前記撮像画像に写るパターンに最も近いパターンを探索し、探索されたパターンに対応する位置を検出する、
こととしてもよい。

【0021】

本発明の第５の観点に係る位置情報取得システムは、
撮像素子、光学系及びシャッタを有し、前記シャッタを露光時間開いて前記光学系を介して前記撮像素子により対象物を撮像するカメラと、
前記カメラとは異なる位置に設置され、パターンを前記対象物に投影するプロジェクタと、
前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得する情報取得部と、
前記露光時間内に前記プロジェクタで投影されたパターンの組み合わせによる合成パターンを記憶する記憶部と、
を備え、
前記露光時間内で、前記プロジェクタが前記対象物に投影するパターンを、異なるパターンに順次切り替えつつ、前記カメラで前記対象物を撮像し、
前記情報取得部は、前記対象物の位置情報の取得に先だって、
前記撮像画像に写るパターンと、前記記憶部に記憶された合成パターンとのマッチングにより、前記撮像画像が撮像された露光時間内に前記プロジェクタにより投影されたパターンの組み合わせを特定する。

【0022】

本発明の第６の観点に係る位置情報取得システムは、
撮像素子、光学系及びシャッタを有し、前記シャッタを露光時間開いて前記光学系を介して前記撮像素子により対象物を撮像するカメラと、
前記カメラとは異なる位置に設置され、パターンを前記対象物に投影するプロジェクタと、
前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得する情報取得部と、
を備え、
前記露光時間内で、前記プロジェクタが前記対象物に投影するパターンを、異なるパターンに順次切り替えつつ、前記カメラで前記対象物を撮像し、
前記プロジェクタが投影するパターンには、パターンの識別情報が含まれ、
前記情報取得部は、前記対象物の位置情報の取得に先だって、
前記撮像画像に写る識別情報に基づいて、前記撮像画像が撮像された露光時間内に前記プロジェクタにより投影されたパターンの組み合わせを特定する。

【0023】

前記露光時間内に、前記対象物に投影される複数のパターンは、それぞれランダムに生成されたパターンである、
こととしてもよい。

【0024】

前記対象物に投影されるパターンは、
ドットパターン、グリッドパターン又は前記プロジェクタと前記カメラとによって仮想的に定義されるエピポーラ線と交差するラインパターンである、
こととしてもよい。

【0025】

前記露光時間内に、前記対象物に投影される複数のパターンは、それぞれ特徴空間において互いに直交するパターンである、
こととしてもよい。

【0026】

本発明の第７の観点に係る位置情報取得方法は、
プロジェクタによりパターンを対象物に投影しつつ、前記プロジェクタとは異なる位置に設置されたカメラで対象物を撮像し、前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得する位置情報取得方法であって、
前記カメラが撮像画像を撮像する露光時間内に前記プロジェクタが前記対象物に投影するパターンを切り替えながら、前記カメラで前記対象物を撮像する撮像工程と、
前記撮像画像に写るパターンと、前記プロジェクタで投影された異なるパターンのうち一つとの対応付けを行うことにより、前記対象物の奥行き又は速度情報を取得する情報取得工程と、
を含む。
本発明の第８の観点に係る位置情報取得方法は、
プロジェクタによりパターンを対象物に投影しつつ、前記プロジェクタとは異なる位置に設置されたカメラで対象物を撮像し、前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得する位置情報取得方法であって、
前記カメラが撮像画像を撮像する露光時間内に前記プロジェクタが前記対象物に投影するパターンを切り替えながら、前記カメラで前記対象物を撮像する撮像工程と、
前記プロジェクタで投影されたパターンを合成し、合成されたパターンと撮像画像に写るパターンとのマッチングにより、前記対象物の奥行き又は速度情報を取得する情報取得工程と、
を含む。

【0027】

本発明の第９の観点に係るプログラムは、
プロジェクタによりパターンを対象物に投影しつつ、前記プロジェクタとは異なる位置に設置されたカメラで対象物を撮像し、前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得するコンピュータを、
前記カメラが撮像画像を撮像する露光時間内に前記プロジェクタが前記対象物に投影するパターンを切り替えながら、前記カメラで前記対象物を撮像する制御手段、
前記撮像画像に写るパターンと、前記プロジェクタで投影された異なるパターンのうち一つとの対応付けを行うことにより、前記対象物の奥行き又は速度情報を取得する情報取得手段、
として機能させる。
本発明の第１０の観点に係るプログラムは、
プロジェクタによりパターンを対象物に投影しつつ、前記プロジェクタとは異なる位置に設置されたカメラで対象物を撮像し、前記カメラの撮像画像に基づいて、前記対象物の位置情報を取得するコンピュータを、
前記カメラが撮像画像を撮像する露光時間内に前記プロジェクタが前記対象物に投影するパターンを切り替えながら、前記カメラで前記対象物を撮像する制御手段、
前記プロジェクタで投影されたパターンを合成し、合成されたパターンと撮像画像に写るパターンとのマッチングにより、前記対象物の奥行き又は速度情報を取得する情報取得手段、
として機能させる。

【発明の効果】

【0028】

本発明によれば、カメラの撮像素子で撮像画像が撮像される露光時間内において、プロジェクタが対象物に投影するパターンが、異なるパターンに順次切り替えられる。したがって、カメラの撮像画像は、対象物に投影された複数の異なるパターンの合成パターンを含む画像となる。仮に、露光時間内において同じパターンが投影されていた場合に対象物が高速に移動すると、撮像画像に写るパターンはその移動の方向に沿って連続的に延びるボケたパターンとなる。これに対して、露光時間内でパターンを切り替えれば、対象物が高速に移動しても、パターンは離散的に配列されるようになるので、パターンのボケが抑制される。プロジェクタとカメラとは視差を持つため、撮像画像内の各パターンの位置は、対象物の位置に応じて変化する。撮像画像ではパターンのボケが抑制されているため、各パターンの位置を高精度に検出し、結果的に高速に移動する対象物の位置情報を高精度に取得することができる。

【図面の簡単な説明】

【0029】

【図1】本発明の実施の形態１に係る位置情報取得システムの構成を示すブロック図である。

【図2】カメラの構成を示す模式図である。

【図3】プロジェクタの構成を示す模式図である。

【図4】プロジェクタによって投影される５つのパターンを示す図である。

【図5】パターンが切り替えられるタイミングと、カメラで撮像が行われる露光時間との関係を示すタイミングチャートである。

【図6】図６（Ａ）は、プロジェクタによって投影される複数のパターンと、カメラによって撮像されるパターンとの関係を示す模式図である。図６（Ｂ）は、パターンを切り替えることなく撮像された撮像画像の一例を示す図である。

【図7】情報処理装置のハードウエア構成を示す図である。

【図8】パターン位置データベースのデータ構造を示す図である。

【図9】合成パターンの一例を示す図である。

【図10】ラフ計測とファイン計測とを示す図である。

【図11】図１１（Ａ）、図１１（Ｂ）及び図１１（Ｃ）は、速度を検出する原理を示す図である。

【図12】本発明の実施の形態１に係る位置情報取得システムの動作を示すフローチャートである。

【図13】図１３（Ａ）は、奥行きマップの一例を示す図である。図１３（Ｂ）は、速度マップの一例を示す図である。

【図14】本発明の実施の形態２に係る位置情報取得システムの動作を示すフローチャートである。

【図15】パターンマッチングの動作（その１）を示す模式図である。

【図16】パターンマッチングの動作（その２）を示す模式図である。

【図17】パターンマッチングの動作（その３）を示す模式図である。

【図18】データベースに記憶されたパターンの合成（その１）を示す図である。

【図19】データベースに記憶されたパターンの合成（その２）を示す図である。

【図20】図２０（Ａ）は、扇風機の羽根の撮像画像ＩＭである。図２０（Ｂ）は、扇風機の羽根の奥行きマップである。図２０（Ｃ）は、回転する扇風機の羽根の動きを各時点において計測された羽根の奥行きの変化として示すイメージ図である。

【図21】図２１（Ａ）は、ドットパターンに付すマーカの一例である。図２１（Ｂ）は、撮像画像に写るマーカの一例である。

【発明を実施するための形態】

【0030】

以下、本発明の実施の形態について、図面を参照して詳細に説明する。図中、同一又は対応する部分には同一の符号を付す。

【0031】

実施の形態１．
まず、本発明の実施の形態１について説明する。

【0032】

図１に示すように、位置情報取得システム１は、奥行き方向であるｘ軸方向に関して計測可能範囲Ｌに存在する対象物５の位置（奥行き）又は速度情報を検出する。位置情報取得システム１は、カメラ２と、プロジェクタ３と、情報処理装置４と、を備える。カメラ２とプロジェクタ３は同期するように構成される場合と、非同期の場合とが考えられる。

【0033】

カメラ２は、対象物５を撮像する。図２に示すように、カメラ２は、光学系２０と、撮像素子２１と、レンズシャッタ２２と、制御部２３とを備える。光学系２０は、レンズ等の光学部品が組み合わせて構成されている。光学系２０は、外部の光を入射して撮像素子２１に出射する。撮像素子２１上には、光学系２０を介して入射した光により、対象物５の像が結像する。

【0034】

レンズシャッタ２２は、通常は閉じており、光学系２０における光の通過を遮断している。制御部２３は、レンズシャッタ２２のコントローラであり、撮像時にレンズシャッタ２２を露光時間（シャッタスピード）Ｔだけ開く。これにより、対象物５からの光は光学系２０を通過し、撮像素子２１上には、露光時間Ｔだけ対象物５の像が結像する。撮像素子２１は、露光時間Ｔだけ撮像素子２１上に結像する対象物５の像に対応する撮像画像データを生成して情報処理装置４へ出力する。なお、カメラ２の焦点深度は、対象物５の計測可能範囲Ｌとなっており、計測可能範囲Ｌ内の対象物５をボケなく撮像することができる。

【0035】

図１に戻り、プロジェクタ３は、カメラ２とは異なる位置に設置されている。プロジェクタ３は、計測用のパターンを対象物５に投影する。図３に示すように、プロジェクタ３は、光源３０と、液晶表示素子３１と、パターン制御部３２と、光学系３３と、を備える。光源３０は、液晶表示素子３１に表示用の光を出射する。液晶表示素子３１は、この光を透過させる。

【0036】

液晶表示素子３１には、投影されるパターンが表示される。これにより、液晶表示素子３１を透過する光は、液晶表示素子３１に表示されたパターンの情報を含む光（パターン投影光）となる。パターン制御部３２は、液晶表示素子３１に表示するパターンを制御する。液晶表示素子３１を透過した光は、光学系３３に入射する。光学系３３は、この光を出射し、液晶表示素子３１に表示されたパターンを対象物５に投影する。

【0037】

液晶表示素子３１には、例えば図４に示す５つのパターンＰ１〜Ｐ５を表示可能である。パターンＰ１〜Ｐ５は、ドットがランダムに配列されたドットパターンであり、ドットの位置がそれぞれ異なる。パターン制御部３２は、図５に示すように、パターンＰ１→Ｐ２→Ｐ３→Ｐ４→Ｐ５の順で、パターンを切り替えながら（周期的に）順次表示させることができる。その切り替え時間は、カメラ２における露光時間Ｔよりも十分に短い時間となっている。本実施の形態では、露光時間Ｔ内では、３枚のパターンがプロジェクタ３によって表示される。

【0038】

この位置情報取得システム１では、カメラ２で画像を撮像する露光時間Ｔ内で、プロジェクタ３が対象物５に投影するパターンを、異なるパターンに順次切り替えつつ、カメラ２で対象物５が撮像される。例えば、図５に示すように、プロジェクタ３は、対象物５に投影するパターンを、ドットパターンＰ１からドットパターンＰ２に切り替え、ドットパターンＰ２からドットパターンＰ３に切り替え、ドットパターンＰ３からドットパターンＰ４に切り替え、ドットパターンＰ４からドットパターンＰ５に切り替える。プロジェクタ３で投影されるパターンが切り替えられる間、カメラ２では、レンズシャッタ２２が制御部２３により開けられ、露光時間Ｔの間、対象物５からの光を、光学系２０を介して撮像素子２１で受光する。この結果、カメラ２で撮像画像ＩＭが得られる。図６（Ａ）に示すように、撮像画像ＩＭは、対象物５上で３つのドットパターンＰｎ（ｎは１〜５のいずれか）が合成された画像となる。なお、プロジェクタ３によるパターンの投影タイミングと、カメラ２における撮像のタイミングとは同期していない場合は、露光時間Ｔ中に投影される３つのドットパターンは、不定である。この場合は、どのパターンが投影されたのか推定する必要がある。

【0039】

ここで、仮に、プロジェクタ３において、例えば、露光時間Ｔ中にドットパターンＰ１のみを投影した場合について考える。この場合、対象物５が高速でｘ軸方向に移動していたとすると、カメラ２で撮像された画像は、例えば図６（Ｂ）に示すように、ドットパターンＰ１が、対象物５の移動に沿って延びてボケた撮像画像ＩＭ’となる。これに対して、撮像画像ＩＭ（図６（Ａ））では、露光時間Ｔ中にドットパターンＰｎの同じドットが対象物５の移動に伴って移動するわけでなく、異なるドットが露光時間Ｔ中に個別に表示されるようになるので、各ドットがボケることなく鮮明に表示される。

【0040】

情報処理装置４は、撮像画像ＩＭに写るパターンに基づいて、対象物５の位置情報を取得する。対象物５の位置情報を取得する方法には、本実施の形態に係る方法の他にも様々な方法があるが、例えば２通りの方法がある。
（Ｍ１）撮像画像ＩＭから個々のドットパターンＰｎとの対応関係を取得する方法
（Ｍ２）撮像画像ＩＭと、撮影されている全てのドットパターンＰｎをまとめて対応関係を得る方法
本実施の形態では、情報処理装置４は、（Ｍ１）の方法により、対象物５の位置情報を取得する。

【0041】

図７に示すように、情報処理装置４は、ハードウエア構成として、内部バス４０と、制御部４１、主記憶部４２、外部記憶部４３、操作部４４、表示部４５及び通信部４６を備える。主記憶部４２、外部記憶部４３、操作部４４、表示部４５及び通信部４６はいずれも内部バス４０を介して制御部４１に接続されている。

【0042】

制御部４１は、ＣＰＵ（Central Processing Unit）等から構成されている。このＣＰＵが、外部記憶部４３に記憶されているプログラム４９を実行することにより、情報処理装置４の各構成要素が実現される。

【0043】

主記憶部４２は、ＲＡＭ（Random-Access Memory）等から構成されている。主記憶部４２には、外部記憶部４３に記憶されているプログラム４９がロードされる。この他、主記憶部４２は、制御部４１の作業領域（データの一時記憶領域）として用いられる。

【0044】

外部記憶部４３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成される。外部記憶部４３には、制御部４１に実行させるためのプログラム４９があらかじめ記憶されている。また、外部記憶部４３は、制御部４１の指示に従って、このプログラム４９の実行の際に用いられるデータを制御部４１に供給し、制御部４１から供給されたデータを記憶する。

【0045】

操作部４４は、キーボード及びマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス４０に接続するインターフェイス装置から構成されている。操作部４４を介して、操作者が操作した内容に関する情報が制御部４１に入力される。

【0046】

表示部４５は、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などから構成され、操作者が操作情報を入力する場合は、操作用の画面が表示される。

【0047】

通信部４６は、シリアルインターフェイスまたはパラレルインターフェイスから構成されている。通信部４６は、通信ネットワークを介してカメラ２と接続されており、カメラ２から画像データを受信する。

【0048】

情報処理装置４の各種構成要素は、プログラム４９が、制御部４１、主記憶部４２、外部記憶部４３、操作部４４、表示部４５及び通信部４６などをハードウエア資源として用いて実行されることによってその機能を発揮する。

【0049】

図１に戻り、情報処理装置４は、計測制御部（制御手段）１０と、情報取得部（情報取得手段）１１と、記憶部１２と、を備える。

【0050】

計測制御部１０は、露光時間Ｔ内で、プロジェクタ３が対象物５に投影するパターンを、異なるパターンに順次切り替えている間に、カメラ２で対象物５を撮像するように、カメラ２及びプロジェクタ３を制御する。計測制御部１０は、図７の制御部４１、主記憶部４２、操作部４４及び通信部４６等によって実現されている。

【0051】

情報取得部１１は、カメラ２で撮像された撮像画像ＩＭに写るパターンに基づいて、対象物５の位置情報を取得する。情報取得部１１は、図７の制御部４１、主記憶部４２及び通信部４６等によって実現されている。

【0052】

記憶部１２には、プロジェクタ３によって投影されるパターンに関する各種データが記憶される。記憶部１２は、図７の主記憶部４２及び外部記憶部４３によって実現されている。

【0053】

記憶部１２に記憶されるデータには、例えば、パターン位置データベース１３がある。パターン位置データベース１３は、図８に示すように、対象物５のｘ位置ｘ_ｋと、カメラ２の撮像画像に写るドットパターンＰ１〜Ｐ５とが関連付けられて記憶されるデータベースである。情報取得部１１は、カメラ２で撮像された撮像画像ＩＭに写るドットパターンＰ１〜Ｐ５と、パターン位置データベース１３に記憶されたパターンとの対応付けにより、対象物５の位置情報を取得する。

【0054】

実際には、カメラ２では、前述のように、ドットパターンＰｎのうちの３つのパターンの合成パターンが撮像される。ここで、図９に示すように、ドットパターンＰ１、Ｐ２、Ｐ３が合成されたパターンを合成パターンＳＰ１とし、ドットパターンＰ２、Ｐ３、Ｐ４が合成されたパターンを合成パターンＳＰ２とし、ドットパターンＰ３、Ｐ４、Ｐ５が合成されたパターンを合成パターンＳＰ３とし、ドットパターンＰ４、Ｐ５、Ｐ１が合成されたパターンを合成パターンＳＰ４とし、ドットパターンＰ５、Ｐ１、Ｐ２が合成されたパターンを合成パターンＳＰ５とする。

【0055】

上述のように、カメラ２の撮像とプロジェクタ３によるパターンの切り替えのタイミングとは同期していない場合も想定されるため、その場合には、カメラ２の撮像画像に含まれる合成パターンＳＰｎは、どのドットパターンＰｎによって構成されているのかが不明である。そこで、情報取得部１１は、撮像画像に写るパターンと、記憶部１２に記憶された個々のパターンＰ１〜Ｐ５とのマッチングにより、撮像画像が撮像された露光時間Ｔ内にプロジェクタ３により投影されたドットパターンＰｎの組み合わせを特定する。そして、情報取得部１１は、撮像画像に含まれるパターンを、特定された組み合わせに係る個々のドットパターンＰｎにそれぞれ対応付け、対応付けられたドットパターンＰｎ毎に、対象物５の位置を検出することにより、対象物５の奥行き又は速度情報を検出する。

【0056】

実際には、パターン位置データベース１３において、ドットパターンＰｎと関連付けられて記憶されるｘ位置ｘ_ｋは多数である。このため、総当たりでマッチング処理を行うと、処理に時間を要するようになる。そこで、情報取得部１１は、図１０に示すように、計測可能範囲Ｌに含まれるｘ位置ｘ_ｋ（ｎ＝１、２、３、…）から広い間隔Δｘ１で選択された位置に対応するドットパターンＰｎをパターン位置データベース１３から幾つか抽出しつつ、抽出されたドットパターンＰｎと撮像画像に写るパターンとのマッチングを行って、撮像画像に写るパターンに近いドットパターンＰｎに対応する基準位置ＲＰを探索する。この計測をラフあるいはＣｏａｒｓｅ計測ともいう。

【0057】

さらに、情報取得部１１は、計測可能範囲Ｌよりも狭く基準位置ＲＰよりも狭い範囲Ｌ１内の位置に対応するドットパターンＰｎをパターン位置データベース１３から幾つか抽出しつつ、抽出されたドットパターンＰｎと撮像画像に写るパターンとのマッチングを行って、撮像画像に写るパターンに近いドットパターンＰｎを探索し、探索されたドットパターンＰｎに対応する位置を検出する。この位置を検出位置ＤＰとし、この計測をファイン計測ともいう。

【0058】

情報取得部１１は、特定されたドットパターンＰｎそれぞれについて検出位置ＤＰを検出する。対象物５がｘ軸方向に高速に移動していれば、それぞれのドットパターンＰｎの検出位置ＤＰも異なったものとなる。ドットパターンＰｎの表示順は決まっているので、ドットパターンＰｎの検出位置ＤＰに基づいて、対象物５の移動の向きや速度を求めることができる。

【0059】

例えば、図１１（Ａ）、図１１（Ｂ）及び図１１（Ｃ）に示すように、対象物５としての球形体５Ａが＋ｘ方向へ移動するか、対象物５としての三角形体５Ｂが−ｘ方向へ移動する場合、球形体５Ａ，三角形体５Ｂ上に連続して投影されるドットパターンＰｎの投影位置も異なったものとなる。情報取得部１１は、各ドットパターンＰｎをパターン位置データベース１３から読み出してマッチングを行い、それぞれのパターンが最もマッチングするｘ位置（検出位置ＤＰ）を検出する。そして、検出位置ＤＰから、球形体５Ａ、三角形体５Ｂの奥行き及び速度を求めることができる。

【0060】

情報取得部１１による各ドットパターンＰｎとのマッチングによる位置検出は、ドット毎に行うようにしてもよい。このようにすれば、対象物５の形状、図１１（Ａ）〜図１１（Ｃ）に示すように、球形体５Ａ、三角形体５Ｂの移動の向きがそれぞれ違うように、撮像視野内に移動の向きが異なる対象物５が存在していたとしても、それぞれの移動の向き及び速度を正確に検出することができる。

【0061】

次に、本実施の形態に係る位置情報取得システム１の動作について説明する。

【0062】

図１２に示すように、まず、情報取得部１１は、パターン位置データベース１３を生成する（ステップＳ１）。具体的には、対象物５としてのフラットなボードを様々なｘ位置ｘ_ｋに置きながら、露光時間Ｔ内にプロジェクタ３によりドットパターンＰｎを投影し、カメラ２によりボード上に投影されたパターンを撮像する。撮像されたドットパターンＰｎは、そのボードが置かれたｘ位置ｘ_ｋと関連付けられて記憶部１２のパターン位置データベース１３に格納される。

【0063】

続いて、計測制御部１０は、対象物５の撮像を行う（ステップＳ２）。具体的には、計測制御部１０は、対象物５を計測可能範囲Ｌ内に置いて、プロジェクタ３により投影するドットパターンＰｎを切り替えながら、カメラ２によって対象物５を撮像する。この撮像により得られた撮像画像は、情報処理装置４に送られる。

【0064】

続いて、情報取得部１１は、パターン特定を行う（ステップＳ３）。パターン特定は、カメラ２とプロジェクタ３とが同期して動作しておらず、投影されたパターンが特定されてない場合にのみ行われる。情報取得部１１は、撮像画像に写るパターンと、記憶部１２に記憶されたパターンＰ１〜Ｐ５との対応付けにより、撮像画像が撮像された露光時間Ｔ内にプロジェクタ３により投影されたドットパターンＰｎの組み合わせを特定する。

【0065】

続いて、情報取得部１１は、特定された個々のパターンについてそれぞれラフ計測を行う（ステップＳ４）。具体的には、図１０に示すように、情報取得部１１は、対象物５の位置の計測可能範囲Ｌから広い間隔ΔＸ１で選択されたｘ位置ｘ_ｋに対応するドットパターンＰｎ（ステップＳ３で特定されたドットパターンＰｎ）を記憶部１２のパターン位置データベース１３から幾つか抽出しつつ、抽出されたドットパターンＰｎと撮像画像で分解されたドットパターンＰｎとのマッチングを行って、撮像画像から分解抽出されたドットパターンＰｎに近いドットパターンＰｎに対応するｘ位置ｘ_ｋである基準位置ＲＰを探索する。

【0066】

このマッチングは、特定された全てのドットパターンＰｎで実行される。したがって、特定されたドットパターンＰｎそれぞれについて基準位置ＲＰが検出される。

【0067】

続いて、情報取得部１１は、ファイン計測を行う（ステップＳ５）。具体的には、情報取得部１１は、計測可能範囲Ｌよりも狭く基準位置ＲＰよりも狭い範囲Ｌ１内のｘ位置ｘ_ｋに対応するドットパターンＰｎ（ステップＳ３で特定されたドットパターンＰｎ）を記憶部１２のパターン位置データベース１３から幾つか抽出しつつ、抽出されたドットパターンＰｎと撮像画像から分解抽出されたドットパターンＰｎとのマッチングを行って、撮像画像に写るドットパターンＰｎに近いドットパターンＰｎを探索し、探索されたドットパターンＰｎに対応するｘ位置ｘ_ｋを検出位置ＤＰとして検出する。

【0068】

続いて、情報取得部１１は、マップ作成を行う（ステップＳ６）。具体的には、情報取得部１１は、ドットパターンＰｎ毎に検出された検出位置ＤＰに基づいて、対象物５の奥行き情報（奥行きマップ）又は速度情報（速度マップ）を検出する。この検出により、例えば、対象物５が球形体５Ａ、三角形体５Ｂである場合には、図１３（Ａ）に示すような奥行きマップや、図１３（Ｂ）に示すような速度マップが生成される。

【0069】

ステップＳ６終了後、情報取得部１１は、処理を終了する。なお、本実施の形態では、ステップＳ２が撮像工程に対応し、ステップＳ３〜Ｓ６が情報取得工程に対応する。

【0070】

カメラ２とプロジェクタ３とが同期して動作していれば、どのドットパターンＰｎが投影されているかが既知となるため、情報処理装置４は、撮像画像ＩＭと、投影されたドットパターンＰｎとの対応関係のみを取得すればよい。また、本実施の形態のように、カメラ２とプロジェクタ３とが同期して動作していない場合でも、マッチングにより、撮像画像ＩＭからドットパターンＰｎを特定し、撮像画像ＩＭと、特定されたドットパターンＰｎとの対応関係のみを取得すればよい。しかしながら、必ずしも撮像画像ＩＭからドットパターンＰｎを特定する必要はない。情報処理装置４は、撮影画像ＩＭと、全てのドットパターンＰｎとの対応関係を求めればよい。

【0071】

対応関係の取得方法としては、マッチングによる方法や、デコードによる方法がある。パターンマッチングによる方法の場合、対象となるドットパターンＰｎ以外のドットパターンＰｎも撮影されているため、自パターン以外とのマッチングを行わないようにするなどの工夫が有効である。また、デコードによる手法の例としては、各ドットパターンＰｎで色を変えるなどの方法がある。各ドットパターンＰｎの色を変えておけば、色により識別することができ、簡易に安定したデコードが可能である。色以外にも、空間周波数や、ドットパターンＰｎの模様などを用いることができる。また、デコードとマッチングを組み合わせる方法も有効である。

【0072】

実施の形態２．
次に、本発明の実施の形態２について説明する。本実施の形態では、情報処理装置４は、上述の（Ｍ２）の方法、すなわち撮像画像ＩＭと、撮影されている全てのドットパターンＰｎを合成したＳＰｎとの間で、直接対応関係を得る方法により、対象物５の位置情報を取得する。

【0073】

図１４に示すように、本実施の形態では、ステップＳ３とステップＳ４との間に、パターン合成（ステップＳ１０）を行う点と、ステップＳ５とステップＳ６との間にパターン分解（ステップＳ１１）を行う点とが、上記実施の形態１と異なる。ステップＳ１０において、情報取得部１１は、ステップＳ３で特定されたドットパターンＰｎを合成した合成パターンＳＰｎを生成する。そして、合成パターンＳＰｎを用いて撮像画像ＩＭに写るパターンとのマッチングが行われる。同じドットパターンＰｎが投影される場合であっても、対象物５の速度に応じて、撮影されるパターンは異なるため、合成パターンＳＰｎには、対象物５の移動を想定したパターンが含まれる。

【0074】

例えば、情報取得部１１は、図１５に示すように、ドットパターンＰ１〜Ｐ３が合成されたパターンである合成パターンＳＰ１’と、撮像画像ＩＭのパターンとのマッチングを行う。これらがマッチングしなければ、情報取得部１１は、図１６に示すように、ドットパターンＰ２〜Ｐ４が合成されたパターンである合成パターンＳＰ２’と、撮像画像ＩＭのパターンとのマッチングを行う。これらがマッチングしなければ、情報取得部１１は、図１７に示すように、ドットパターンＰ３〜Ｐ５が合成されたパターンである合成パターンＳＰ３’と、撮像画像ＩＭのパターンとのマッチングを行う。これらがマッチングしなければ、情報取得部１１は、合成パターンＳＰ４’、ＳＰ５’についても同様の処理を行う。これらのマッチングにより、撮像画像に写るパターンに最も近い合成パターンＳＰｎが特定され、その合成パターンＳＰｎを構成するドットパターンＰｎが特定される。

【0075】

この時、物体の速度に応じて、合成される画像ＳＰｎも異なるものとなる。例えば、一定速度の場合、図１８に示すように、ドットパターンＰ１〜Ｐ３から同じ枚数を用いて合成パターンＳＰ１’を生成することができる。この場合、特に、対象物５の速度等を考慮して、ｘ_ｎ＝Ｄｅｐｔｈ１，Ｄｅｐｔｈ２のドットパターンＰ１、ｘ_ｎ＝Ｄｅｐｔｈ３，Ｄｅｐｔｈ４のドットパターンＰ２、ｘ_ｎ＝Ｄｅｐｔｈ５，Ｄｅｐｔｈ６のドットパターンＰ３を合成することができる。図１８の合成パターンＳＰｎ’は、対象物５の速度が一定であると仮定した場合の合成パターンである。撮像画像ＩＭに写るパターンが合成パターンＳＰｎ’と最も相関度が高い場合には、対象物５の奥行きｘ_ｎは、露光時間Ｔ内で、Ｄｅｐｔｈ１〜Ｄｅｐｔｈ６に一定速度で移動したことになる。

【0076】

一方で、対象物５の速度が一定速度ではない場合、速度の変化を考慮して、図１９に示すような合成パターンＳＰ１’’を生成することも可能である。ｘ_ｎ＝Ｄｅｐｔｈ１，Ｄｅｐｔｈ２，Ｄｅｐｔｈ３のドットパターンＰ１、ｘ_ｎ＝Ｄｅｐｔｈ４，Ｄｅｐｔｈ５のドットパターンＰ２、ｘ_ｎ＝Ｄｅｐｔｈ６のドットパターンＰ３を合成することができる。図１９の合成パターンＳＰｎ’ ’は、対象物５の速度を可変であると仮定した場合の合成パターンである。この場合は、速度が変化しているため、各ドットパターンＰ１〜Ｐ３ごとに使用する枚数が異なる。撮像画像ＩＭに写るパターンが合成パターンＳＰｎ’ ’と最も相関度が高い場合には、対象物５は、露光時間Ｔ内でＤｅｐｔｈ１からＤｅｐｔｈ６まで移動し、その速度は３段階に減速したことになる。

【0077】

本実施の形態においても、情報取得部１１は、ステップＳ４（ラフ計測）、ステップＳ５（ファイン計測）を行う。この場合、ステップＳ４において、図１８に示すような対象物５の速度を一定とした場合の合成パターンＳＰｎ’を用いてパターンマッチングを行い、ステップＳ５において、図１９に示すような対象物５の速度を可変とした場合の合成パターンＳＰｎ’’を用いてパターンマッチングを行い、対象物５の奥行き又は速度を精細に求めるようにしてもよい。

【0078】

上述のように、本実施の形態によれば、個々の対応関係の推定手法に対して、撮影されたパターンそのものと同じパターンが合成されるため、位置推定の処理が安定するメリットが有る。さらに、まとめて推定することによる計算量を削減できるメリットもある。本実施の形態においても、ステップＳ３のパターン特定においては、マッチングの代わりにデコードによる方法を用いてもよい。

【0079】

図２０（Ａ）、図２０（Ｂ）及び図２０（Ｃ）には、位置情報取得システム１で扇風機の羽根の計測を行った場合に得られる実験結果が示されている。図２０（Ａ）には、扇風機の羽根の撮像画像ＩＭである。情報取得部１１は、この撮像画像ＩＭに基づいて、図２０（Ｂ）に示す奥行きマップを作成する。図２０（Ｂ）に示すように、奥行きマップでは、扇風機の羽根の形状がよく再現されている。また、図２０（Ｃ）には、扇風機の羽根のエッジ部分の動きを示すマップが示されている。図２０（Ｃ）では、異なるドットパターンＰｎから得られた羽根部分を、輝度を変えて表現している。図２０（Ｃ）に示すように、この計測により、羽根の動きも再現されている。

【0080】

以上詳細に説明したように、上記各実施の形態によれば、カメラ２の撮像素子で１枚の撮像画像が撮像される露光時間Ｔ内において、プロジェクタ３が対象物５に投影するパターンが異なるドットパターンＰｎに順次切り替えられる。したがって、カメラ２の撮像画像は、対象物５に投影された複数の異なるドットパターンＰｎの合成パターンＳＰｎを含む画像となる。仮に、露光時間Ｔ内において同じドットパターンＰｎが投影されていた場合に対象物５が高速に移動すると、撮像画像に写るパターンはその移動の方向に沿って連続的に延びるボケたパターンとなる（図６（Ｂ））。これに対して、露光時間Ｔ内でドットパターンＰｎを切り替えれば、対象物５が高速に移動しても、ドットパターンＰｎは離散的に配列されるようになるので、パターンのボケが抑制される（図６（Ａ））。プロジェクタ３とカメラ２とは視差を持つため、撮像画像内の各ドットパターンＰｎの位置は、対象物５の位置に応じて変化する。撮像画像ではドットパターンＰｎのボケが抑制されているため、ドットパターンＰｎの位置を高精度に検出し、結果的に高速に移動する対象物５の位置情報を高精度に取得することができる。

【0081】

なお、上記各実施の形態では、撮像画像ＩＭに写るパターンを構成するドットパターンＰｎを特定してから、マッチングを行って、対象物５の位置を得たが、本発明はこれには限られない。例えば、全てのドットパターンＰｎ又は全ての合成パターンＳＰｎとのマッチングを行って、対象物５の位置を求めるようにしてもよい。しかしながら、ドットパターンＰｎを先に特定した方が、比較するドットの数を低減できるため、処理時間を短縮することができる。

【0082】

このように、上記各実施の形態では、マッチングにより合成パターンＳＰｎを構成するドットパターンＰｎを特定したが、カメラ２とプロジェクタ３とが同期して動作している場合は投影されるドットパターンＰｎがあらかじめ既知であるため、この処理は不要である。また、同期されていない場合であっても、各ドットパターンＰｎにマーカ（識別情報）をつけることができる。各ドットパターンＰｎにそれぞれ図２１（Ａ）に示すようなマーカｐ（１）〜ｐ（１０）のいずれかが付けられているとする。Ｅｘａｍｐｌｅ１では、ｐ（３）〜ｐ（８）が写っているので、ドットパターンＰ３〜Ｐ８が撮像画像ＩＭに写っているパターンとなる。また、Ｅｘａｍｐｌｅ２では、ｐ（１）〜ｐ（３）、ｐ（８）、ｐ（９）、ｐ（１０）が写っているので、ドットパターンＰ１〜Ｐ３、Ｐ８、Ｐ９、Ｐ１０が撮像画像ＩＭに写っているパターンとなる。撮像画像ＩＭにおいて、どのマークｐ（ｎ）が写っているかによって、どのドットパターンＰｎが投影されたかを例えば図２１（Ｂ）に示す撮像画像ＩＭに写るマーカｐ（ｎ）から確認することができるため、合成パターンＳＰｎを総当たり的にマッチングする必要がなくなる。この結果、処理時間を短縮することができる。

【0083】

上記実施の形態１では、撮像画像に含まれるパターンからドットパターンＰｎを特定し、各ドットパターンＰｎから検出された検出位置ＤＰに基づいて対象物５の奥行きマップ又は速度マップを作成した。このようにすれば、カメラ２の撮像動作と比較しても高速に移動する対象物５の奥行きや速度を高精度に求めることができる。

【0084】

また、上記各実施の形態では、パターンと対象物５の位置との関係を実測し、それらを関連付けてデータベース化し、データベースのパターンとパターンマッチングを行って、対象物５の奥行き又は速度情報を検出した。このようにすれば、実際の対象物５が移動する環境でのカメラ２の撮像状態及びプロジェクタ３に撮像状態に適合した高精度な検出が可能となる。

【0085】

また、上記各実施の形態では、まず、求めるｘ位置について大きな間隔をとってパターンマッチングを行って対象物５の概略位置（基準位置ＲＰ）を求め、さらに求められた概略位置から対象物５の詳細な位置（検出位置ＤＰ）を求めた。このようにすれば、対象物５の位置を求めるまでのマッチング回数を低減することができるので、処理時間を短縮することができる。

【0086】

また、上記実施の形態２、すなわち（Ｍ２）の方法では、パターンをデコードすることなく、逆にデータベースに記憶されたパターンを合成し、撮像画像ＩＭに写るパターンとのマッチングを行った。この場合、撮像画像ＩＭに写るパターンをそのままでマッチングできるので、マッチングの精度を高め、引いては対象物５の位置検出精度を高めることができる。また、マッチング回数も低減することができるので、処理時間を短縮することができる。

【0087】

しかしながら、対象物５の位置を求める処理は、必ずしもパターンマッチングには限らない。例えば、カメラ２とプロジェクタ３との位置関係を示す情報、例えばカメラ２とプロジェクタ３との間の視差や光軸ＡＸ１，ＡＸ２の位置ずれの情報に基づいて、撮像画像内のドットパターンＰｎの各位置から、三角測量法により、対象物５の位置を計算により求めるようにしてもよい。また、三角測量法により、対象物５の概略位置を求め、その概略位置を基準にして、パターンマッチングを行って、対象物５の詳細位置を求めるようにしてもよい。

【0088】

なお、撮像画像ＩＭにおいては、ドットパターンＰｎ同士の各ドットが重なり合うこともあるが、ドットが重なるとその位置の輝度はより明るくなる。この明るさの増大によってドットが重なり合っていることを認識することができるので、情報取得部１１は、そのことを考慮しつつ、パターンマッチングを行うことができる。

【0089】

なお、プロジェクタ３により投影されるパターンは、ドットパターンＰｎには限られない。プロジェクタ３とカメラ２とによって仮想的に定義されるエピポーラ線と交差するラインパターンであってもよいし、グリッドパターンであってもよい。パターン同士が特徴空間で互いに直交していれば、パターンを区別し易くなる。また、プロジェクタ３により投影するパターン毎に色を変えていてもよい。このようにすれば、各パターンを区別し易くなる。しかしながら、各パターンがランダムに生成されたものであっても、十分に精度良く対象物５の位置を検出することができる。

【0090】

また、パターンの投影にＤＯＥ（Diffractive Optical Element；回折格子）を用いるようにしてもよい。まず、光源としてレーザ光源を用い、光源から出射されたレーザを、ランダムドットパターンを形成するＤＯＥに入射し、ＤＯＥを介して対象物５にパターンを投影する。ＤＯＥは、光量を数％程度しか減衰させないため、本システムでは光量をほとんど減衰させずにパターンを形成することができる。これにより、パターンをさらにクリアなものとして、位置の検出精度を向上することができる。

【0091】

また、パターン毎に異なるパターン投影機を用意してもよい。この場合、パターンごとにカメラとの位置関係が異なるため、この情報を用いたマッチングや位置情報推定の精度向上が実現できる。あるいは、ポリゴンミラーで切り替えてもよい。この場合は、パターンとカメラとの位置関係は変わらないため、処理が単純化される。

【0092】

その他、情報処理装置４のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。

【0093】

制御部４１、主記憶部４２、外部記憶部４３、操作部４４、表示部４５及び通信部４６、内部バス４０などから構成される情報処理装置４の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをインストールすることにより、前記の処理を実行する情報処理装置４を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで情報処理装置４を構成してもよい。

【0094】

情報処理装置４の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

【0095】

搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板（BBS, Bulletin Board System）にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

【0096】

本発明によれば、通常のカメラを用いて、そのシャッタースピードより、数倍高速な動きを計測することができる。これにより、高速移動物体の３次元計測を、ハイスピードカメラを用いる手法に比べて、より安価なカメラで実現可能となる。また、撮影枚数が減ることからキャプチャに要するデータ量を減らすことができる。さらには、カメラ２の露光時間を短くする必要がないので画像のＳ／Ｎ比が改善される。

【0097】

この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

【産業上の利用可能性】

【0098】

本発明は、高速に移動する物体の位置又は速度の検出に適用可能である。

【符号の説明】

【0099】

１ 位置情報取得システム、２ カメラ、３ プロジェクタ、４ 情報処理装置、５ 対象物、５Ａ 球形体、５Ｂ 三角形体、１０ 計測制御部、１１ 情報取得部、１２ 記憶部、１３ パターン位置データベース、２０ 光学系、２１ 撮像素子、２２ レンズシャッタ、２３ 制御部、３０ 光源、３１ 液晶表示素子、３２ パターン制御部、３３ 光学系、４０ 内部バス、４１ 制御部、４２ 主記憶部、４３ 外部記憶部、４４ 操作部、４５ 表示部、４６ 通信部、４９ プログラム、ＡＸ１，ＡＸ２ 光軸、ＤＰ 検出位置、ＩＭ，１Ｍ’ 撮像画像、Ｌ 計測可能範囲、Ｌ１ 範囲、Ｐ１〜Ｐ５ ドットパターン、ＲＰ 基準位置、ＳＰｎ，ＳＰｎ’，ＳＰｎ’’ 合成パターン、Ｔ 露光時間

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】