特許 6042674 三次元情報取得機能付き画像投影装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6042674

(24)【登録日】2016年11月18日

(45)【発行日】2016年12月14日

(54)【発明の名称】三次元情報取得機能付き画像投影装置

(51)【国際特許分類】

   G02B 26/10 20060101AFI20161206BHJP

   H04N 9/31 20060101ALI20161206BHJP

【ＦＩ】

   G02B26/10 104Z

   H04N9/31 Z

【請求項の数】5

【全頁数】13

(21)【出願番号】特願2012-207263(P2012-207263)

(22)【出願日】2012年9月20日

(65)【公開番号】特開2014-62982(P2014-62982A)

(43)【公開日】2014年4月10日

【審査請求日】2015年8月25日

(73)【特許権者】

【識別番号】000002303

【氏名又は名称】スタンレー電気株式会社

(74)【代理人】

【識別番号】110000888

【氏名又は名称】特許業務法人 山王坂特許事務所

(72)【発明者】

【氏名】池野 良平

【審査官】 右田 昌士

(56)【参考文献】

【文献】 特開２００８−２６８６４５（ＪＰ，Ａ）

【文献】 特開２０１０−１７８１１１（ＪＰ，Ａ）

【文献】 特開２０１０−０７８５３４（ＪＰ，Ａ）

【文献】 特開２０１２−１６８０４９（ＪＰ，Ａ）

【文献】 特開２０１０−１６９４０５（ＪＰ，Ａ）

【文献】 特開２００９−１９２４９９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ２６／１０ − ２６／１２

Ｇ０３Ｂ ２１／００ − ２１／３０

Ｈ０４Ｎ ９／１２ − ９／３１

Ｈ０４Ｎ ５／６６ − ５／７４

Ｇ０１Ｓ ７／４８ − ７／５１

Ｇ０１Ｓ １７／００ − １７／９５

(57)【特許請求の範囲】

【請求項1】

入力された画像データに基づいてＲＧＢ光を照射するＲＧＢ光源部と、
ＩＲ光を照射するＩＲ光源部と、
前記ＲＧＢ光及び前記ＩＲ光を投影空間の物体に走査するスキャンミラーと、
該スキャンミラーにより走査された前記ＲＧＢ光及び前記ＩＲ光が前記物体において反射された反射光を受光する受光部と、
前記物体から前記受光部までの距離情報を含む距離画像を前記反射光に基づいて生成する距離画像生成部と、
前記ＲＧＢ光源部及び前記ＩＲ光源部を制御する制御部と、を備え
該制御部が、前記ＲＧＢ光の光量が測距に必要な光量でない場合に、前記ＲＧＢ光及び前記ＩＲ光の反射光の光量が測距に必要な光量となるように前記ＩＲ光源部を制御する三次元情報取得機能付き画像投影装置。

【請求項2】

請求項１記載の三次元情報取得機能付き画像投影装置であって、
前記距離画像生成部は、タイムオブフライト方式で測距することにより前記距離画像を生成し、
前記制御部は、前記画像データに基づいて前記投影空間に画像を形成するための画像信号と前記測距のために周期的にＯＮ／ＯＦＦを繰り返す測距信号とを合成した画像測距信号を生成し、該画像測距信号に基づいて前記ＲＧＢ光源部を制御すると共に、前記画像測距信号と前記ＩＲ光源部を制御するためのＩＲ信号との合成信号が、前記測距信号がＯＮのときに、一定の強度となるように前記ＩＲ光源部を制御すること
を特徴とする三次元情報取得機能付き画像投影装置。

【請求項3】

請求項１または２記載の三次元情報取得機能付き画像投影装置であって、
前記制御部は、前記画像データに従って前記ＲＧＢ光源部から出力される前記ＲＧＢ光の強度に応じて、前記ＩＲ光源部から出力する前記ＩＲ光の強度を決定すること
を特徴とする三次元情報取得機能付き画像投影装置。

【請求項4】

請求項１または２記載の三次元情報取得機能付き画像投影装置であって、
前記反射光に基づいて強度画像を生成する強度画像生成部をさらに備え、
前記制御部は、前記強度画像に基づいて、前記ＩＲ光源部から出力する前記ＩＲ光の強度を決定すること
を特徴とする三次元情報取得機能付き画像投影装置。

【請求項5】

請求項３記載の三次元情報取得機能付き画像投影装置であって、
前記制御部は、前記ＩＲ光の強度を決定する際、前記反射光を受光する撮像素子の波長感度特性を加味すること
を特徴とする三次元情報取得機能付き画像投影装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元情報取得機能付き画像投影装置の照射制御技術に関し、特に、三次元情報の取得に光飛行時間型距離画像センサを用いる装置の照射制御技術に関する。

【背景技術】

【0002】

ＲＧＢレーザ光源から出射された赤（Ｒ）緑（Ｇ）青（Ｂ）光のレーザビームを、ＭＥＭＳ（Ｍｉｃｒｏ−Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）のマイクロミラーで反射させて、スクリーン上を順次走査して画面を描写する画像投影装置（プロジェクタ）がある。

【0003】

また、光源から出た光が対象物で反射し、センサに届くまでの光の飛行時間(遅れ時間)と、光の速度（３×１０^８ｍ／ｓ）とから、被写体までの距離を得る、いわゆる光飛行型（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ：ＴＯＦ）方式を用いた距離画像カメラがある（例えば、特許文献１参照）。ＴＯＦ型距離画像カメラでは、光源として、主に赤外線（ＩＲ）のＬＥＤもしくはレーザを用い、三次元情報（距離）を取得する。

【0004】

この距離画像カメラをプロジェクタに組み合わせた三次元情報取得機能付きのプロジェクタがある。このプロジェクタでは、取得した三次元情報を用いて、投影画像の歪みを修正したり（例えば、特許文献２、３参照）、投影画面上でのタッチ操作を実現している（例えば、非特許文献１参照）。これらの文献に開示されている技術では、測距用のレーザ光と投影用のＲＧＢ光とを別個に照射しているが、投影面上に、測距用レーザ光と同一波長の投影用ＲＧＢ光が照射されると、投影像の反射光の影響を受け、測距の精度が低下する。

【0005】

これを解決するものとして、三次元情報取得機能付きのプロジェクタにおいて、測距用レーザ光のピーク波長が含まれる色成分と異なる色成分の投影用ＲＧＢ光が照射されている間だけ、測距用レーザ光の照射を行うよう制御する技術がある（例えば、特許文献４参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００８−２４１４３５号公報

【特許文献2】特開２００７−３２４６４３号公報

【特許文献3】特開２００９−２２２９７３号公報

【特許文献4】特開２００９−１９８６１８号公報

【非特許文献】

【0007】

【非特許文献1】”Ｗｅａｒａｂｌｅ Ｍｕｌｔｉｔｏｕｃｈ Ｐｒｏｊｅｃｔｏｒ”［ｏｎｌｉｎｅ］、２０１２年３月６日、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ ［２０１２年８月３１日検索］、インターネット＜ＵＲＬ：http://research.microsoft.com/apps/video/dl.aspx?id=160684＞

【発明の概要】

【発明が解決しようとする課題】

【0008】

上記特許文献４に開示の技術においても、測距用のレーザ光を投影用のＲＧＢ光とは別に出力するため、投影用ＲＧＢ光を照射する構成に加え、測距が可能なだけの光量を有する測距用レーザ光を継続的に出力する構成が必須である。従って、これを実現する装置は、全体的に大掛かりで複雑なものとなっている。また、投影用のＲＧＢ光も、測距用レーザ光と同様に投影面で反射し、距離画像カメラに入射するにも関わらず、投影用のＲＧＢ光は全く測距には使われていない。このため、距離画像カメラが可視光帯域に感度を有すると、投影用のＲＧＢ光の反射光で、距離画像カメラが飽和を起こすことがあり、高精度な測距の妨げとなっている。

【0009】

本発明は、上記事情に鑑みてなされたもので、三次元情報取得機能付きの画像投影装置において、簡易な構成で高精度な測距が可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明は、三次元情報取得機能付き画像投影装置において、画像投影に用いる、赤レーザ光（Ｒ）、緑レーザ光（Ｇ）、および青レーザ光（Ｂ）（以下、ＲＧＢ光）を用いて測距も行う。このとき、投影対象の画像データに応じて変化するＲＧＢ光の反射光の強度を補うよう赤外（ＩＲ）光を照射する。照射制御は、ＲＧＢ強度の出力に応じて、または、反射光の強度に応じて行う。

【0011】

具体的には、ＲＧＢ光を出力するＲＧＢ光源部と、ＩＲ光を出力するＩＲ光源部と、前記ＲＧＢ光および前記ＩＲ光の反射光を用い、対象空間の三次元情報として距離画像を生成する距離画像生成部と、入力される画像データに従って前記ＲＧＢ光を出力するよう前記ＲＧＢ光源部を制御するとともに、前記距離画像生成部が距離画像を生成するために必要な光量になるよう、前記ＩＲ光源部から出力するＩＲ光の強度を制御する制御部と、を備えることを特徴とする三次元情報取得機能付き画像投影装置を提供する。

【発明の効果】

【0012】

本発明によれば、三次元情報取得機能付きの画像投影装置において、簡易な構成で高精度な測距が可能となり、高い精度の三次元情報を取得することができる。

【図面の簡単な説明】

【0013】

【図1】（ａ）は、第一の実施形態の三次元情報取得機能付き画像投影装置のブロック図であり、（ｂ）は、第一の実施形態の撮像素子のブロック図である。

【図2】第一の実施形態の画像測距信号を説明するための説明図である。

【図3】ＲＧＢ光による各種の色を描画する際の信号例を説明するための説明図である。

【図4】第一の実施形態の画像測距信号のタイミングチャートである。

【図5】第一の実施形態の画像測距信号と水平同期信号との出力タイミングを説明するための説明図である。

【図6】第一の実施形態のＩＲ信号を説明するための説明図である。

【図7】第二の実施形態の三次元情報取得機能付き画像投影装置のブロック図である。

【図8】第二の実施形態のＩＲ出力制御処理のフローチャートである。

【発明を実施するための形態】

【0014】

＜＜第一の実施形態＞＞
以下、本発明を適用する第一の実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。

【0015】

本実施形態の三次元情報取得機能付き画像投影装置（以下、単に画像投影装置と呼ぶ。）は、入力された画像データに従って、ＲＧＢ光を照射して、当該画像を投影空間に描写するとともに、投影空間からの反射光を用いて、投影空間の三次元情報を取得する。

【0016】

本実施形態の画像投影装置の構成を説明する。図１は、本実施形態の画像投影装置１００のブロック図である。本図に示すように、本実施形態の画像投影装置１００は、画像入力部１１０と、制御部１２０と、照射部１３０と、受光部１４０と、画像生成部１５０とを備える。

【0017】

画像入力部１１０は、投影空間１９０に投影する画像データを、制御部１２０に入力する。画像データは、画像投影装置１００が備える記憶装置、または、外部の記憶装置などに保持される。

【0018】

制御部１２０は、画像投影装置１００が、画像投影装置として機能するとともに、ＴＯＦ方式の距離画像カメラとして機能するよう、各部を制御する。本実施形態の制御部１２０は、画像入力部１１０から入力された画像データに従って、投影空間１９０に画像を投影するよう、照射部１３０からの光の出力を制御する。投影空間１９０には、例えば、スクリーンなどが配置され、画像は、スクリーン上に投影される。ただし、画像の投影面は、平面とは限らず、画像は、任意の形状の投影面に投影される。投影空間１９０に照射された光は、スクリーンなどの物体に反射して、画像投影装置１００に入射する。このとき、本実施形態の制御部１２０は、この反射光を用いて、投影空間１９０内の各物体までの距離を算出し、三次元情報である距離画像を生成するよう、照射部１３０、受光部１４０および画像生成部１５０を制御する。

【0019】

なお、制御部１２０は、画像データに従って、変調信号を生成し、照射部１３０に出力することにより、照射部１３０の制御を行う。生成する変調信号の詳細は後述する。また、制御部１２０が生成する変調信号は、受光部１４０の制御および画像生成部１５０の制御にも用いられる。

【0020】

照射部１３０は、制御部１２０から入力される変調信号に従って、ＲＧＢ光とＩＲ光とを出力する。ＲＧＢ光は、投影空間１９０に画像を形成するとともに、投影空間１９０において反射する光が測距に用いられる。ＩＲ光は、測距のために必要な光量を補うために出力される。

【0021】

照射部１３０は、これらの各光をそれぞれ出力する、ＲＧＢ光源１３１と、ＩＲ光源１３２とを備える。本実施形態では、各光源からレーザ光を出力する場合を例にあげて説明する。すなわち、ＲＧＢ光源１３１からは、赤（Ｒ）レーザ光、緑（Ｇ）レーザ光、青（Ｂ）レーザ光が出力される。これらを区別する必要がない場合は、併せて、ＲＧＢレーザ光、または、上述のようにＲＧＢ光と呼ぶ。また、ＩＲ光源１３２からは、ＩＲレーザ光（または、ＩＲ光）が出力される。

【0022】

また、ＲＧＢ光源１３１から出力されるＲＧＢレーザ光をスキャンして、投影空間１９０に画像を表示させるため、スキャンミラー１３３をさらに備える。スキャンミラー１３３には、ＭＥＭＳなどが用いられる。ＲＧＢ光源１３１およびＩＲ光源１３２から出力されるレーザ光は、スキャンミラー１３３で反射し、投影空間１９０に画像を照射する。

【0023】

投影空間１９０に照射されたＲＧＢレーザ光およびＩＲレーザ光は、スクリーンなどの物体に反射して、受光部１４０に入射する。受光部１４０は、入射した光を受光し、電荷に変換し、複数に振り分け後、画像生成部１５０に出力する。

【0024】

本実施形態の受光部１４０は、画像生成部１５０で生成される画像の画素毎に撮像素子１４１を備える。各撮像素子１４１は、図１（ｂ）に示すように、入射光を受光し、電荷に変換する光電変換部１４２と、光電変換部１４２で変換した電荷を振り分けて蓄積する電荷振分部１４３と、を備える。

【0025】

電荷振分部１４３は、複数の電荷蓄積部１４４を備え、予め定めたタイミングで、それぞれの電荷蓄積部１４４に変換後の電荷を蓄積する。本実施形態では、電荷振分部１４３は、制御部１２０が照射部１３０に出力する変調信号に同期して、電荷を各電荷蓄積部１４４に振り分ける。

【0026】

画像生成部１５０は、電荷振分部１４３が振り分け、各電荷蓄積部１４４に蓄積した電荷から、画素毎の距離値を算出し、距離画像、すなわち、投影空間１９０の三次元情報、を生成する距離画像生成部１５１を備える。

【0027】

例えば、電荷振分部１４３が４つの電荷蓄積部１４４を備える場合、電荷振分部１４３は、ＲＧＢ光源１３１およびＩＲ光源１３２の変調周期Ｔｓを４等分した時間ずつずらしたゲート信号に従って、各電荷蓄積部１４４に電荷を振り分ける。そして、予め定めた時間間隔、例えば、Δｔ毎に、各電荷蓄積部１４４に蓄積された電荷（Ｃ１、Ｃ２、Ｃ３、Ｃ４）を、画像生成部１５０に出力する。

【0028】

画像生成部１５０の距離画像生成部１５１は、電荷蓄積期間Δｔ毎に、受け取った各電荷量（Ｃ１、Ｃ２、Ｃ３、Ｃ４）を用いて、距離Ｄを以下の算出式（１）に従って、算出する。なお、ｃは光速である。

【数1】

ここで、Ｔｄは、遅延時間、すなわち、位相差φであり、上述のように、変調周期Ｔｓを４等分して蓄積した各各電荷量（Ｃ１、Ｃ２、Ｃ３、Ｃ４）を用いて、以下の式（２）で表される。

【数2】

【0029】

次に、本実施形態の制御部１２０から照射部１３０および受光部１４０へ出力される変調信号について説明する。制御部１２０から照射部１３０へ出力される変調信号は、ＲＧＢ光源１３１の出力を制御する画像測距信号と、ＩＲ光源１３２の出力を制御するＩＲ信号とを備える。

【0030】

まず、画像測距信号について説明する。画像測距信号は、画像入力部１１０から入力される画像データに基づいて、当該画像を描画するとともに、反射光を用いて距離画像生成部１５１が距離画像を生成可能なように変調される。従って、本実施形態の画像測距信号２３０は、図２に示すように、画像信号２１０および測距信号２２０の合成信号として生成される。

【0031】

画像信号２１０は、画像データに従って、当該画像データで特定される画像を描画するよう、ＲＧＢ光源１３１の各色の出力を制御するよう生成される。ここで、ＲＧＢ光源１３１からは、Ｒレーザ光、Ｇレーザ光、Ｂレーザ光の３色のレーザ光が出力される。画像信号２１０は、各色のレーザ光の出力を指示するＲレーザ信号２１１、Ｇレーザ信号２１２、Ｂレーザ信号２１３からなり、描画する色に応じて、各色のレーザ光の出力を制御する。

【0032】

図３に、画像データに含まれる各種の色を描画する際の、各ＲＧＢレーザ光に与えられる信号（Ｒレーザ信号２１１、Ｇレーザ信号２１２、Ｂレーザ信号２１３）の例を示す。本図に示すように、白を描画する場合は、ＲＧＢともに最大値を、黒を描画する場合は、ＲＧＢともに最小値を、それぞれ出力するよう、各信号は生成される。なお、白および黒以外の色、中間色を表示する場合は、ＲＧＢ３色の強度をそれぞれ変化させる。

【0033】

測距信号２２０は、電荷を振り分ける変調周期Ｔｓを特定する信号であり、周期的にＯＮ／ＯＦＦを繰り返す信号である。変調（ＯＮ／ＯＦＦ）の１周期Ｔｓは、例えば、数十ｎｓとする。上述のように、電荷振分部１４３は、測距信号２２０により特定される変調周期Ｔｓに従って、電荷を各電荷蓄積部１４４に振り分ける。

【0034】

本実施形態の制御部１２０は、画像信号２１０に測距信号２２０を重畳し、画像測距信号２３０を生成する。具体的には、図２に示すように、測距信号２２０がＯＮの時は、画像信号２１０の強度を出力し、測距信号２２０がＯＦＦの時は、画像信号２１０の出力を０とする。

【0035】

なお、上述のように、図２では、Ｒレーザ信号２１１、Ｇレーザ信号２１２、Ｂレーザ信号２１３を合成した画像信号２１０に測距信号２２０が重畳されるよう表しているが、実際には、測距信号２２０は、Ｒレーザ信号２１１、Ｇレーザ信号２１２、Ｂレーザ信号２１３のいずれかあるいは全ての信号に重畳される。

【0036】

また、生成された画像測距信号２３０が出力されるタイミングを、図４および図５を用いて説明する。本図に示すように、制御部１２０は、スキャンミラー１３３からの垂直同期信号３１０および水平同期信号３２０に従って、画像測距信号２３０を、ＲＧＢ光源１３１に出力する。一般的なプロジェクタでは、垂直同期信号３１０は約６０Ｈｚ、水平同期信号３２０は、投影画像の解像度がＶＧＡ規格の場合、３０ｋＨｚ弱である。

【0037】

水平走査のタイミングチャートを拡大したものを図５に示す。水平方向の１画素を描画する周波数（ドットクロック値）は、約２０ＭＨｚである。

【0038】

次に、ＩＲ信号について、説明する。

【0039】

本実施形態では、基本的に、図２に示す画像測距信号２３０に従って出力されるＲＧＢ光の反射光を用いて、上記距離Ｄを算出する。しかしながら、出力されるＲＧＢ光は、画像測距信号２３０に応じてその光量に増減がある。すなわち、投影する画像によって、ＲＧＢ光源１３１から出力されるＲＧＢ光の強度（光量）は変わる。従って、測距に用いられる、その反射光の光量も変わる。例えば、全画面が白の画像では、全てのＲＧＢ光が出力されるため、ＲＧＢ光の強度は強い。このため、反射光の光量も十分となり、良好な測距ができる。一方、全画面が黒の画像では、いずれのＲＧＢ光も出力されない。このため、反射光もなく、良好な測距ができない。

【0040】

本実施形態の制御部１２０は、ＲＧＢ光源１３１から出力されるＲＧＢ光の強度に応じて、反射光の光量不足を補うよう、ＩＲ光源１３２からＩＲ光を出力させる。ＩＲ信号は、これを実現するよう生成される。すなわち、制御部１２０は、画像測距信号２３０に従ってＲＧＢ光源１３１から出力されるＲＧＢ光の強度を補うよう、ＩＲ光が出力されるよう、ＩＲ信号を生成する。

【0041】

生成されるＩＲ信号の一例を図６に示す。本図に示すように、制御部１２０は、画像測距信号２３０とＩＲ信号２４０との合成信号２５０が、測距信号２２０がＯＮのタイミングで一定の強度となり、ＯＦＦのタイミングで０となるよう、ＩＲ信号２４０を生成する。

【0042】

具体的には、制御部１２０は、以下の式（４）に従って、出力するＩＲ光の強度を決定する。ＰＮは、測距に必要な照射光の強度のデジタル値であり、予め定めておく。測距信号２２０がＯＮの、所定のタイミングｔで出力されるＲＧＢ光各色の強度のデジタル値ＰＲ（ｔ）、ＰＧ（ｔ）、ＰＢ（ｔ）とすると、当該タイミングｔで出力するＩＲ光の強度のデジタル値ＰＩ（ｔ）は、以下の式（３）で決定される。
ＰＩ(ｔ)＝ＰＮ−(ＰＲ(ｔ)＋ＰＧ(ｔ)＋ＰＢ(ｔ))・・・（３）

【0043】

例えば、測距に必要な強度のデジタル値を２００、所定のタイミングでのＲＧＢ各色の出力光の強度のデジタル値を、それぞれ、５０、３０、５５とすると、ＲＧＢ光の強度のデジタル値の和は１３５である。よって、このタイミングでのＩＲ光源１３２から出力するＩＲ光の強度のデジタル値を、６５（＝２００−１３５）とする。

【0044】

制御部１２０は、例えば、測距信号２２０に同期して、上記ＩＲ光源１３２から出力するＩＲ光のデジタル値を計算し、ＩＲ信号２４０を生成する。そして、生成したＩＲ信号２４０を、照射部１３０に出力することにより、ＩＲ光源１３２からの出力を制御する。

【0045】

なお、このとき、撮像素子の波長感度特性を加味し、ＩＲ光源１３２からの出力デジタル値を算出するよう構成してもよい。

【0046】

例えば、上記同様、測距に必要な強度のデジタル値を２００、ＲＧＢ各色の出力光の強度のデジタル値を、５０、３０、５５とする。このとき、ＲＧＢの波長感度特性を、それぞれ、８０％、１００％、６０％、ＩＲの波長感度特性を５０％とする。このとき、これらの波長感度特性を加味したＲＧＢ各色の出力光の強度のデジタル値は、１０３（＝５０×０．８＋３０×１．０＋５５×０．６）である。よって、ＩＲ光源から出力するＩＲ光の強度のデジタル値を、１９４（＝（２００−１０３）／０．５）とする。

【0047】

なお、本実施形態の制御部１２０および画像生成部１５０は、画像投影装置１００が備えるＣＰＵが、予め記憶装置に保持されたプログラムを、メモリにロードして実行することにより実現される。

【0048】

以上説明したように、本実施形態の照射部１３０からは、画像データから生成される画像測距信号によらず、ＯＮ時の出力強度が一定となる変調信号に従って、ＲＧＢ光とＩＲ光との合成光が出力される。従って、画像生成部１５０は、一定強度の光による反射光から距離を算出できる。従って、本実施形態によれば、安定的に、精度よく距離を算出できる。

【0049】

また、本実施形態によれば、主として画像の投影に用いるＲＧＢ光を測距にも用いる。ＩＲ光は補助的に用いられるだけであり、測距に特化した特別な光源を測距用に付加する必要がなく、簡素な構成で、上記高精度な距離の算出を実現できる。

【0050】

＜＜第二の実施形態＞＞
次に、本発明を適用する第二の実施形態について説明する。第一の実施形態では、ＩＲ光源からの出力の制御を、画像データにより決定するＲＧＢ光源からの出力に基づいて行っているが、本実施形態では、ＩＲ光源からの出力の制御を、距離画像とともに生成される変調光の強度画像に基づいて行う。すなわち、第一の実施形態では、ＲＧＢ光源からの出力される光の強度に基づいてＩＲ光源からの出力する光の強度を決定しているが、本実施形態では、受光部における反射光の受光量に基づいてＩＲ光源から出力する光の強度を決定する。

【0051】

まず、本実施形態の三次元情報取得機能付き画像投影装置（以下、本実施形態においても、単に画像投影装置と呼ぶ。）の構成について説明する。図７は、本実施形態の画像投影装置１００ａのブロック図である。本図に示すように、本実施形態の画像投影装置１００ａは、基本的に第一の実施形態と同様の構成を有する。ただし、本実施形態の制御部１２０ａは、上述のように、強度画像に基づいて、ＩＲ光源１３２からの出力を制御する。このため、制御部１２０ａの処理が異なる。また、本実施形態の画像生成部１５０ａは、距離画像生成部１５１に加え、強度画像生成部１５２を備える。

【0052】

まず、本実施形態の強度画像生成部１５２による、強度画像生成処理について、説明する。本実施形態の強度画像生成部１５２は、電荷蓄積期間Δｔ毎に、受光部１４０から受け取った各電荷量（Ｃ１、Ｃ２、Ｃ３、Ｃ４）を用いて、以下の式（４）を用いて、各画素の画素値（強度値）Ｂを算出し、強度画像を生成する。

【数4】

【0053】

なお、本実施形態においても、距離画像生成部１５１は、同じ電荷蓄積期間Δｔ毎に、同じ各電荷量（Ｃ１、Ｃ２、Ｃ３、Ｃ４）を用いて、第一の実施形態同様、式（１）および式（２）に従って、距離画像を生成する。

【0054】

本実施形態では、強度画像の強度値Ｂに応じて、ＩＲ光源１３２から出力するＩＲ光の強度を制御する。すなわち、強度画像の強度値Ｂが、予め定めた上限値より大きければ、ＩＲ光の出力を低減し、予め定めた下限値より小さければ、ＩＲの光の出力を増加させる。

【0055】

具体的には、本実施形態の制御部１２０ａは、強度画像の強度値Ｂを予め定めた下限閾値Ｔｌｏｗおよび上限閾値Ｔｕｐと比較し、強度値Ｂが下限閾値Ｔｌｏｗより小さい場合、対応する領域のＩＲ光源１３２から出力するＩＲ光の強度を増加させる。また、強度値Ｂが上限閾値Ｔｕｐより大きい場合は、対応する領域へ出力するＩＲ光の強度を低減する。増加量および低減量は、予め定めておく。

【0056】

本実施形態では、この比較処理を、強度画像および照射部１３０による照射領域を予め定めたエリアに分割し、エリア毎に行う。これは、強度画像の画素数と、照射部１３０から照射される投影像の画素数とが等しいとは限らないためである。また、強度画像の画角などの受光系と照射部１３０のスキャン角などの発光系とが異なり、距離画像と照射部１３０側の発光系の画素アドレスとの対応が困難であるためである。

【0057】

以下、本実施形態の制御部１２０ａによるＩＲ出力制御処理の流れを、図８を用いて説明する。ここでは、強度画像および照射領域をＮ個（Ｎは１以上の整数）のエリアに分割するものとする。分割後の各エリアを、それぞれエリアｎ（ｎ＝１、２、・・・Ｎ）と呼ぶ。本処理は、強度画像生成部１５２が、強度画像を生成したことをトリガに開始される。なお、強度画像生成部１５２が、強度画像を生成する毎に、処理を行ってもよいし、所定回、強度画像を生成する毎に行ってもよい。

【0058】

強度画像生成部１５２が、強度画像を生成すると、制御部１２０ａは、強度画像をＮ個に分割する（ステップＳ１１０１）。分割手法は、予め定めておく。

【0059】

カウンタｎを初期化（ｎ＝１）する（ステップＳ１１０２）。そして、強度画像のエリアｎ内の強度の最小値Ｂ（ｎ）ｍｉｎを抽出し、予め定めた下限閾値Ｔｌｏｗと比較する（ステップＳ１１０３）。ここで、最小値Ｂ（ｎ）ｍｉｎが、下限閾値Ｔｌｏｗより小さい場合、強度画像のエリアｎに対応する照射領域に照射するＩＲ出力であるＩＲ（ｎ）を増加するよう、ＩＲ光源１３２を制御する（ステップＳ１１０４）。

【0060】

一方、最小値Ｂ（ｎ）ｍｉｎが、下限閾値Ｔｌｏｗ以上の場合、強度画像のエリアｎ内の強度の最大値Ｂ（ｎ）ｍａｘを抽出し、予め定めた上限閾値Ｔｕｐと比較する（ステップＳ１１０５）。ここで、最大値Ｂ（ｎ）ｍａｘが、上限閾値Ｔｕｐより大きい場合、ＩＲ（ｎ）を減少させるよう、ＩＲ光源１３２を制御する（ステップＳ１１０６）。

【0061】

一方、最大値Ｂ（ｎ）ｍａｘが、上限閾値Ｔｕｐ以下の場合、ＩＲ（ｎ）は、変更せず、そのままとする。

【0062】

以上のステップＳ１１０３〜Ｓ１１０６の処理を、全てのＮ個のエリア全てについて、繰り返し（ステップＳ１１０７、Ｓ１１０８）、処理を終了する。

【0063】

以上説明したように、本実施形態の受光部１４０は、画像データに基づいて出力されるＲＧＢ光の強度によらず、所定範囲の強度の反射光を得ることができる。従って、画像生成部１５０は、所定範囲の光量から、距離を算出できる。従って、本実施形態によれば、安定的に精度よく距離を算出できる。

【0064】

また、本実施形態によれば、第一の実施形態同様、主として画像の投影に用いるＲＧＢ光を測距にも用いる。ＩＲ光は補助的に用いられるだけであり、測距に特化した特別な光源を測距用に付加する必要がなく、簡素な構成で、上記高精度な距離の算出を実現できる。

【0065】

また、本実施形態によれば、受光部１４０に入射する反射光の光量に基づいて、補助的に出力するＩＲ光の照射強度を決定している。このため、測距のための光量が不足することがないだけでなく、電荷蓄積部１４４が飽和することによる、測距不能の事態も回避できる。

【0066】

さらに、本実施形態によれば、反射光の光量に基づいて、ＩＲ光の照射を制御しているため、例えば、投影対象の形状が平面以外などで、反射光の光量が照射光の強度に比例しない場合であっても、精度よく照射量を制御できる。従って、さらに、安定的に高精度な測距が実現できる。

【0067】

以上説明したように、本実施形態の各実施形態によれば、画像の投影と高精度な測距とをコンパクトな装置で実現可能である。このため、投影と測距とを組み合わせた各種のシステムへの応用が可能となる。

【0068】

なお、上記各実施形態では、照射部１３０が備える各光源は、レーザ光を出力するものである場合を例にあげて説明したが、光源は、これに限らない。例えば、ＬＥＤであってもよい。ＬＥＤの場合、スキャンミラー１３３は、備えなくてもよい。

【0069】

また、第一の実施形態の手法と第二の実施形態の手法とは組み合わせて用いてもよい。すなわち、ＲＧＢ光源からの出力および変調光の強度画像との両者を用いてＩＲ光源からの出力を制御するよう構成してもよい。

【符号の説明】

【0070】

１００：画像投影装置、１００ａ：画像投影装置、１１０：画像入力部、１２０：制御部、１２０ａ：制御部、１３０：照射部、１３１：ＲＧＢ光源、１３２：ＩＲ光源、１３３：スキャンミラー、１４０：受光部、１４１：撮像素子、１４２：光電変換部、１４３：電荷振分部、１４４：電荷蓄積部、１５０：画像生成部、１５０ａ：画像生成部、１５１：距離画像生成部、１５２：強度画像生成部、１９０：投影空間、２１０：画像信号、２１１：Ｒレーザ信号、２１２：Ｇレーザ信号、２１３：Ｂレーザ信号、２２０：測距信号、２３０：画像測距信号、２４０：ＩＲ信号、２５０：合成信号、３１０：垂直同期信号、３２０：水平同期信号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】