特許 5669212 ３次元情報提示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5669212

(24)【登録日】2014年12月26日

(45)【発行日】2015年2月12日

(54)【発明の名称】３次元情報提示装置

(51)【国際特許分類】

   G02B 27/18 20060101AFI20150122BHJP

   B60Q 1/04 20060101ALI20150122BHJP

   B60R 1/00 20060101ALI20150122BHJP

   F21S 8/10 20060101ALI20150122BHJP

   F21S 8/12 20060101ALI20150122BHJP

   F21W 101/10 20060101ALN20150122BHJP

【ＦＩ】

   G02B27/18 Z

   B60Q1/04 Z

   B60R1/00 A

   F21S8/10 150

   F21S8/12 500

   F21W101:10

【請求項の数】19

【全頁数】17

(21)【出願番号】特願2011-518524(P2011-518524)

(86)(22)【出願日】2010年6月7日

(86)【国際出願番号】JP2010059599

(87)【国際公開番号】WO2010143600

(87)【国際公開日】20101216

【審査請求日】2013年4月24日

(31)【優先権主張番号】特願2009-137269(P2009-137269)

(32)【優先日】2009年6月8日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】304021277

【氏名又は名称】国立大学法人 名古屋工業大学

(74)【代理人】

【識別番号】110001128

【氏名又は名称】特許業務法人ゆうあい特許事務所

(72)【発明者】

【氏名】佐藤 淳

(72)【発明者】

【氏名】坂上 文彦

(72)【発明者】

【氏名】稲垣 雅彦

【審査官】 林 祥恵

(56)【参考文献】

【文献】 国際公開第２００６／０２８５１２（ＷＯ，Ａ１）

【文献】 特開２００１−２２９７１７（ＪＰ，Ａ）

【文献】 特開２００３−１６６８０４（ＪＰ，Ａ）

【文献】 特開２００２−２１９９９４（ＪＰ，Ａ）

【文献】 春田 具範、他，"時空間コード化パターン投影による３次元形状計測"，人文科学とコンピュータシンポジウム論文集，財団法人情報処理学会，２００１年１２月１４日，Vol. 2001, No. 18，p.149-155

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ２７／１８

Ｇ０２Ｂ ２７／２２

Ｂ６０Ｑ １／０２

Ｂ６０Ｑ １／０４

Ｂ６０Ｒ １／００

Ｂ６０Ｒ ２１／００

Ｆ２１Ｖ ２１／００

Ｆ２１Ｖ ９／００

Ｆ２１Ｓ ８／１０

Ｆ２１Ｓ ８／１２

Ｆ２１Ｗ １０１：１０

Ｔｈｏｍｓｏｎ Ｉｎｎｏｖａｔｉｏｎ

(57)【特許請求の範囲】

【請求項1】

同一の空間領域に対して光を照射する複数の投光手段を備え、前記複数の投光手段から物体面に照射する光の濃淡または色のパターンが空間的にコード化されて前記物体面の３次元空間中の位置を示す３次元情報を提示するようになっており、
前記複数の投光手段からの光が前記物体面で足し合わされることにより、前記物体表面の各部において１つの輝度または１つの色が生成され、各１つの輝度または各１つの色が前記３次元情報を提示するようになっていることを特徴とする３次元情報提示装置。

【請求項2】

前記複数の投光手段から照射する光の前記パターンは、３次元空間中に設定された基準平面に対して垂直な方向の距離が提示されるように空間的にコード化されていることを特徴とする請求項１に記載の３次元情報提示装置。

【請求項3】

前記複数の投光手段から照射する光は可視光であり、前記複数の投光手段から可視光の前記パターンが照射されることにより前記基準平面に対して垂直な方向の距離が可視化されることを特徴とする請求項２に記載の３次元情報提示装置。

【請求項4】

前記複数の投光手段から照射する光の前記パターンはグラデーションパターンとなっていることを特徴とする請求項３に記載の３次元情報提示装置。

【請求項5】

前記グラデーションパターンは、前記複数の投光手段の並び方向に光が変化しているパターンであることを特徴とする請求項４に記載の３次元情報提示装置。

【請求項6】

前記基準平面上において前記複数の投光手段から照射された光を加算した輝度値が一定になるように前記グラデーションパターンが設定されていることを特徴とする請求項５に記載の３次元情報提示装置。

【請求項7】

前記複数の投光手段から照射する光の前記パターンは濃淡の変化によりコード化されていることを特徴とする請求項３ないし６のいずれか１つに記載の３次元情報提示装置。

【請求項8】

前記複数の投光手段から照射する光の前記パターンは色の変化によりコード化されていることを特徴とする請求項３ないし６のいずれか１つに記載の３次元情報提示装置。

【請求項9】

前記複数の投光手段のうち１つから投光する光の前記パターンの色を他の１つから投光する光の前記パターンの色の補色とし、前記基準平面においては加算された光の色が白色となり、前記基準平面以外においては加算された光の色が有色となることを特徴とする請求項８に記載の３次元情報提示装置。

【請求項10】

前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して光を照射して車両の前方に存在する物体までの距離を可視化することを特徴とする請求項３ないし９のいずれか１つに記載の３次元情報提示装置。

【請求項11】

前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して光を照射して車両の前方の道路面に対して垂直方向の高さの違いを可視化することを特徴とする請求項３ないし９のいずれか１つに記載の３次元情報提示装置。

【請求項12】

前記複数の投光手段は車両のヘッドライト装置内に設置されていることを特徴とする請求項１０または１１に記載の３次元情報提示装置。

【請求項13】

前記複数の投光手段は車両のヘッドライトを構成する複数の発光手段の一部として構成されていることを特徴とする請求項１０または１１に記載の３次元情報提示装置。

【請求項14】

前記複数の投光手段から照射する光は不可視光であり、前記複数の投光手段から不可視光の前記パターンが照射されることにより前記基準平面に対して垂直な方向の距離が提示されることを特徴とする請求項２に記載の３次元情報提示装置。

【請求項15】

前記複数の投光手段から照射された不可視光によって提示された前記３次元情報を取得する３次元情報取得手段を備えることを特徴とする請求項１４に記載の３次元情報提示装置。

【請求項16】

前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して不可視光を照射して、車両の前方に存在する物体までの距離、または車両の前方の道路面に対して垂直方向の高さの違いを提示することを特徴とする請求項１５に記載の３次元情報提示装置。

【請求項17】

前記複数の投光手段から照射する光の前記パターンは、特定３次元領域が強調提示されるように空間的にコード化されていることを特徴とする請求項１に記載の３次元情報提示装置。

【請求項18】

前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して不可視光を照射して車両の前方の特定領域に存在する物体を強調提示することを特徴とする請求項１７に記載の３次元情報提示装置。

【請求項19】

前記複数の投光手段は製品に対して光を照射して前記製品の欠陥形状部分を強調提示することを特徴とする請求項１７に記載の３次元情報提示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元情報を提示する３次元情報提示装置に関し、例えば、車両走行時において、道路面に対して凹凸の高さに応じた色付けを行ったり、障害物に対して着色することにより、ドライバー支援を行うことを可能とする。

【背景技術】

【0002】

従来、プロジェクタとカメラを用いて３次元計測する技術が多数提案されている（例えば、非特許文献１、２参照）。これらは、プロジェクタ光に対して何らかのコード化を行い、投光された光をカメラで受光し、コード化を用いてプロジェクタ画像上の点とカメラ画像上の点との間で対応を取り、三角測量の原理で３次元距離を計測するものである。また、計測された３次元情報を提示する技術としては、ディスプレイなどを用いてユーザに情報表示するもの（特許文献１、２参照）、ヘッドアップディスプレイ（ＨＵＤ）を用いてフロントガラス面などに情報提示を行うものがある（特許文献３参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８−２７５３８０号公報

【特許文献2】特開２００７−２３５５２９号公報

【特許文献3】特開２００５−７５１９０号公報

【非特許文献】

【0004】

【非特許文献1】S.G.Narasimhan, S.J.Koppal, S. Yamazaki, Temporal Dithering of Illumination for Fast Active Vision, , Proc. ECCV2008, pp.830-844, 2008.

【非特許文献2】T. Koninckx, I. Geys, T. Jaeggli, L.V. Gool, A graph cut based adaptive structures light approach for real-time range acquisition, Proc. 3DPVT, 2004.

【発明の概要】

【発明が解決しようとする課題】

【0005】

非特許文献１、２に代表されるように、従来のプロジェクタを用いた３次元計測技術は、３次元情報を復元することを最終目的としており、これを如何にユーザに提示するかは別の問題として考えられてきた。一方、情報提示技術においては、特許文献１、２に代表されるように、得られた３次元情報をディスプレイモニタなどの情報提示装置を用いて提示することから、ユーザーは情報を視認するためにディスプレイモニタを注視しなければならず、実際の３次元シーンから視線を移動させなければならなかった。車両運転時などに情報提示する場合には、これは脇見運転につながることから、安全上好ましくない。また、特許文献３のように、ヘッドアップディスプレイを用いてフロントガラスの実物体の位置に仮想物体を表示して距離情報を提示する技術の場合には、フロントガラス上に表示されることから鮮明な表示が難しく、また、ドライバーの焦点距離が実物体とフロントガラス上の表示物体とでは大きく異なることから焦点ずれが生じ安全上問題がある。また、実物体の位置に合わせて正確に情報提示するためには、ドライバーの視点位置を正確に計測する必要があるが、実際には正確な計測ができないため、実物体と表示物体との間で位置ずれが生じるなどの問題もある。また、ヘッドマウントディスプレイ（ＨＭＤ）を用いて情報提示する方法もあるが、ＨＵＤと同じ問題が生じる上に、運転時などにおいてはＨＭＤを頭部に装着することは難しいなどの問題もある。これらは、すべて、ディスプレイやＨＵＤ、ＨＭＤなどの表示装置を用いて間接的に情報提示を行っているために生じる問題である。

【0006】

本発明は上記点に鑑みて、３次元情報の提示をディスプレイやＨＵＤなどの表示装置を用いて行うのではなく、対象となる３次元物体面上に直接行うことを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明者らは、以下の検討を行った。異なる位置に設置された２台以上の複数のプロジェクタから特殊なコード化された光のパターンを投光し物体面に照射する。コード化は色を用いて行うことも輝度を用いて行うことも可能である。異なる位置に置かれた２台のプロジェクタからの光は、物体面上において混合されて一つの色や明るさとなるが、コード化を工夫すると、物体面上に生じる色や明るさは、プロジェクタからの距離に応じて変化させることができる。これは、２台のカメラによる三角測量と同じ原理により、２台のプロジェクタの光同士の交わる位置が、物体の距離に応じて変化するためである。この結果、物体面上には、距離や高さに応じた色や明るさのパターンが生じ、物体上の色や明るさにより物体までの距離情報や物体の３次元形状を強調して人間に知覚させることが可能となる。距離に応じた色や明るさの変化のさせ方は、コード化のパターンによって調節することができる。

【0008】

本発明は、上記の検討をもとになされたもので、以下のような特徴を有する。

【0009】

すなわち、本発明は、同一の空間領域に対して光を照射する複数の投光手段を備え、前記複数の投光手段から照射する光のパターンが空間的にコード化されて照射面の３次元情報を可視化するようになっていることを特徴とする。

【0010】

なお、本発明における「光のパターンが空間的にコード化される」とは、例えば光のパターンが後述する図２や図９のようなパターン（光の波長や強度が空間的に変化したパターン）に設定されることを言う。

【図面の簡単な説明】

【0011】

【図1】本発明の第１実施形態における３次元情報提示装置の構成を示す図である。

【図2】図１中の２台のプロジェクタの投影パターンを示す図である。

【図3】図１に示す３次元情報提示装置を車両に適用した場合の基準平面の設定を説明するための図である。

【図4】基準平面からの距離を用いた距離計測を説明するための図である。

【図5】カラーグラデーションを投影した場合の色変化を説明するための図である。

【図6】車載プロジェクタを用いた路面形状の強調提示を説明するための図である。

【図7】平面投影変換の計算を説明するための図である。

【図8】本発明の第２実施形態における３次元情報提示装置の構成を示す図である。

【図9】図８中の３台のプロジェクタの投影パターンを示す図である。

【図10】図８中の３台のプロジェクタの投影パターンを示す図である。

【図11】図８に示す３次元情報提示装置によって照射された対象物体面の輝度を概念的に示す図である。

【図12】図８に示す３次元情報提示装置における投影パターンの計算方法を説明するための図である。

【図13】図８に示す３次元情報提示装置における輝度の表現方法を説明するための図である。

【図14】図８に示す３次元情報提示装置によって得られる投影結果の一例を示す図である。

【図15】車載プロジェクタを用いた障害物の強調提示を説明するための図である。

【図16】製品検査装置に適用した場合における製品の欠陥形状部分の強調提示を説明するための図である。

【図17】提示された３次元情報を利用して制御対象機器を制御する実施形態におけるシステム構成を示すブロック図である。

【発明を実施するための形態】

【0012】

（第１実施形態）
図１に、本発明の第１実施形態に係る３次元情報提示装置の構成を示す。この３次元情報提示装置では、図１に示すように対象物体面に対して２台のプロジェクタＰ１、Ｐ２から光を照射する。２台のプロジェクタＰ１、Ｐ２から照射された光は物体面上において足し合わされて一つの色や輝度となる。物体面上においては、光は単純に加算されるので、図１の物体面上の点Ａの色や輝度は、第１プロジェクタＰ１の画像面上の点ａ_１の色や輝度と第２プロジェクタＰ２の画像面上の点ａ_２の色や輝度が加算されたものとなる。同様に、物体面上の点Ｂの色や輝度は点ｂ_１と点ｂ_２における光の色や輝度の加算となり、点Ｃの色や輝度は点ｃ_１と点ｃ_２における光の色や輝度の加算となる。

【0013】

このとき２台のプロジェクタＰ１、Ｐ２から照射する光のパターンを、図２に示すように、２台それぞれで濃淡の変化が逆であるようなグラデーションのパターンとする、つまり空間的にコード化する。濃淡を変化させる方向は、２台のプロジェクタＰ１、Ｐ２の並び方向、より具体的には２台のプロジェクタＰ１、Ｐ２の投影中心を結ぶ直線方向とし、また、濃淡の変化はリニア（線形）に変化させるものとする。すると、点Ａの輝度は点ａ_１の黒と点ａ_２の黒が加算されて黒色となる。また、点Ｂの輝度は点ｂ_１の灰色と点ｂ_２の灰色が加算されて灰色となり、点Ｃの輝度は点ｃ_１の白と点ｃ_２の白が加算されて白となる。２台のプロジェクタＰ１、Ｐ２の輝度はリニアに変化しているので、点Ａと同じ距離にある点は全て同じ黒色となり、点Ｂと同じ距離にある点は全て同じ灰色、点Ｃと同じ距離にある点は全て同じ白色となる。したがって、物体面上に生成される輝度によって、物体面上の各点の３次元距離が可視化される。

【0014】

このとき可視化する３次元距離は、３次元空間中に設けた任意の基準平面Πに対して垂直な方向の距離とすることができる。例えば、この３次元情報提示装置を車両に適用して車載プロジェクタとした場合、道路前方に存在する車両や障害物までの距離を可視化するには、図３（ａ）に示すように車両進行方向に垂直な面を基準平面Πとする。また、道路面の凹凸を可視化したい場合には、図３（ｂ）に示すように道路面を基準平面Πとすることにより、道路面に対して垂直方向の高さの違いを可視化することができる。

【0015】

なお、図２に示すように、白から黒に変化するようなグレースケールのグラデーション画像を投影した場合、図４に示すように、基準平面Πからの距離が変化すると、重ね合わさる画素値が変化し、観測される輝度値が変化する。これにより、観測輝度により基準平面Πからの距離を強調提示することができる。また、白から黒に変化するようなグレースケールのグラデーション画像ではなく、図５に示すように、赤から緑に変化（図２の白→灰色→黒に対し赤→黄→緑と変化）するカラーグラデーション画像を投影した場合、プロジェクタと物体の距離が遠い場合は観測色が緑に、近い場合は観測色が赤に変化することになる。したがって、図３（ｂ）のように道路面の凹凸を可視化する場合、路面上を基準平面として校正を行い、図６に示すように、車載プロジェクタＰ１、Ｐ２から路面に対してパターンを投影すると、路面上の凸部ａについては赤色が、凹部ｂについては緑色が観測されることになる。また、路面ｃについてはこの中間色である黄色が観測される。これにより、路面形状が色情報を用いて提示可能となり、ドライバに対する路面形状の強調提示が実現できる。

【0016】

次に、上記したような基準平面に応じた３次元距離の可視化の方法を詳しく説明する。まず、第１プロジェクタＰ１および第２プロジェクタＰ２から投影される画像の校正方法を説明する。プロジェクタＰ１、Ｐ２から投影される画像を校正する際にはカメラＣ１が用いられる。

【0017】

いま、図７に示すように、空間中に基準平面Π、カメラＣ１、プロジェクタＰ１、Ｐ２が配置されている場合を考える。このとき、プロジェクタＰ１の画像平面πp1とカメラＣ１の画像平面πcの間には平面Πを介した平面射影変換Hcp1が存在する。同様に、πcとπp2の間にも平面射影変換Hcp2が存在する。このような平面射影変換は４組の対応点組により計算することが可能である。

【0018】

そこで、プロジェクタＰ１から４つの点x1i＝[x1i，y1i，1]^Ｔ（ｉ＝１，…，４）を、またプロジェクタＰ２ から４つの点x2i＝[x2i，y2i，1]^Ｔ（ｉ＝１，…，４）をそれぞれ基準平面Πに投光する。ここで、点の座標は斉次座標を用いて表しており、Ｔは転置を表している。次に、これらの点をカメラＣ１によって撮影した像x'1i＝[x'1i，y'1i，1]^Ｔ,x'2i[x'2i，y'2i，1]^Ｔ（ｉ＝１，…，４）を基に、数式１、２の関係を満たす３×３の平面射影変換行列Hcp1, Hcp2 を求める。

【0019】

【数1】

【0020】

【数2】

【0021】

ここで数式１、２中の記号〜は定数倍の不定性を除いて等しいことを表す。この平面射影変換行列Hcp1, Hcp2 の計算は、以下のようにして線形計算により行うことができる。今、Hcp1 を求める場合を考える。このために、３×３行列Hcp1の９つの要素を縦に並べたベクトルｈを考える（数式３参照）。

【0022】

【数3】

【0023】

hijはHcp1のｉ行ｊ列の要素である。数式１の射影変換式を展開して整理しなおすことで、以下の線形方程式が得られる（数式４参照）。

【0024】

【数4】

【0025】

ここで、0 は零ベクトルであり、Ｍは以下に示す８×９行列である（数式５参照）。

【0026】

【数5】

【0027】

行列Ｍの中身は、プロジェクタ画像とカメラ画像における点の座標値であるため全て既知である。従って数式４の線形方程式を解くことで、ベクトルｈが求まり、射影変換行列Hcp1 が求まる。なお、数式４の解ｈは行列Ｍ^ＴＭの最小固有値に対応する固有ベクトルとして求まる。Hcp2 の計算も同様にして行うことができる。

【0028】

以上のようにして最低４点の対応点から射影変換を求めることができるが、５点以上のＮ点の対応点がある場合には、これらのＮ点全てを用いることでより安定に射影変換を求めることができる。この場合には、行列Mが２Ｎ×９行列となるが、先と同様にＭ^ＴＭの最小固有値に対応する固有ベクトルとしてｈを求めればよい。

【0029】

このようにして求めた平面射影変換Hcp1、Hcp2を用いることにより、各プロジェクタから基準平面Πに対して任意の像を投影することが可能になる。

【0030】

ここで、２台のプロジェクタＰ１、Ｐ２から発光した光を加算した輝度値が基準平面Π上において一定になるように２台のプロジェクタＰ１、Ｐ２のグラデーションパターンを作成する。このために、まず図２に示すような輝度変化の方向が逆であるような２つのグラデーション画像I1とI2（それぞれ図２（ａ）と（ｂ）に対応）を作成する。カメラＣ１でグラデーション画像I1とI2のそれぞれが得られるように、グラデーション画像I1を平面射影変換Hcp1で射影変換し、グラデーション画像I2を平面射影変換Hcp2を用いて射影変換する。このようにして得られた２つのグラデーション画像をそれぞれI1'、I2'とすると、第１プロジェクタＰ１からグラデーション画像I1'が投影されるように第１プロジェクタＰ１の設定を行い、第２プロジェクタＰ２からグラデーション画像I2'が投影されるように第２プロジェクタＰ２の設定を行う。

【0031】

第１プロジェクタＰ１からグラデーション画像I1'が投影され、第２プロジェクタＰ２からグラデーション画像I2'が投影されると、基準平面Πからの距離に応じて重ね合わさる輝度が変化し、観測される輝度値が変化する。これにより、基準平面Πからの距離を可視化して表示することができる。基準平面Πは３次元空間中において自由に設定することができるので、例えば、図３（ａ）に示すように基準平面を車両進行方向に垂直に取れば、車両前方の距離に応じた輝度変化を付けることができ、図３（ｂ）に示すように基準平面を道路面上に取れば、道路面の凹凸に応じた輝度変化を付けることができる。

【0032】

なお、図５に示すように赤から緑に変化するカラーグラデーション画像を投影する場合も、上記と同様の方法により平面射影変換Hcp1、Hcp2を求め、それを用いてプロジェクタＰ１、Ｐ２から投影されるカラーグラデーション画像の設定を行う。

【0033】

以上述べた本実施形態によれば、光の混合を用いて物体面上において直接３次元情報を提示することで、情報獲得と情報提示を同時に行うことを可能にしているので、計測系と情報提示系が分かれた既存システムにおける座標系の校正の問題や、ディスプレイなどの間接的な情報提示手段を用いた場合に生じる実物体と表示物体のずれの問題などを解消することができる。つまり、非特許文献１、２のように３次元計測と３次元情報の提示とを別々に行うのではなく、これら２つを完全に一体化し、３次元情報の可視化が３次元情報の復元を介さずに行うことができる。また、３次元情報の提示は、ディスプレイやＨＵＤなどの表示装置（表示画面）を用いて行うのではなく、対象となる３次元物体面上に直接色や明るさの違いとして提示されるため、従来技術のようにユーザがディスプレイ画面を注視する必要がなく、またＨＵＤにおいて生じるような表示の位置ずれや観測者の焦点ずれなども一切生じることはない。

【0034】

（第２実施形態）
上記第１実施形態では、基準平面Πからの距離を強調提示するが、本第２実施形態では、特定３次元領域を強調提示する。換言すれば、本実施形態では、距離に比例しない３次元情報を提示する。

【0035】

本実施形態では、３台のプロジェクタを用いて特定３次元領域を強調提示する例について説明するが、２台のプロジェクタを用いて特定３次元領域を強調提示することも可能である。

【0036】

本実施形態の３次元情報提示装置では、図８に示すように対象物体面に対して３台のプロジェクタＰ１、Ｐ２、Ｐ３から光を照射する。このとき図９、図１０に示すように、３台のプロジェクタＰ１、Ｐ２、Ｐ３から照射する光のパターンα、β、γを、それぞれ濃淡の変化が非線形であるようなグラデーションのパターンとする。

【0037】

すると、図１１に概念的に示すように、対象物体面のうち特定領域Ｄの輝度は高くなり、それ以外の領域の輝度は特定領域Ｄの輝度よりも低くなる。したがって、物体面上に生成される輝度によって、特定３次元領域が強調提示される。なお、図１１の領域Ｅは、３台のプロジェクタＰ１、Ｐ２、Ｐ３から照射する光が重なり合う領域を示している。

【0038】

次に、上記したような特定３次元領域の強調提示の方法を詳しく説明する。まず、特定領域強調提示の投影パターンの計算方法を説明する。いま、図１２に示すように、空間中にプロジェクタＰ１、Ｐ２、Ｐ３が配置されている場合を考える。このとき、対象物体面の任意の点ｊにおいて観測される色Ｉ_ｊ は、以下の線形方程式で表される（数式６参照）。

【0039】

【数6】

【0040】

ここで、α=[α₁,…,α_N]^Ｔ、β=[β₁,…,β_N]^Ｔ、γ=[γ₁,…,γ_N]^Ｔは、各プロジェクタの投影パターンを表すベクトルであり、それぞれのベクトルはプロジェクタのＮ個の画素の明るさα_i,β_i, γ_i (i=1,…,N)よりなる。Ｗ^ｊ_α=[Ｗ^ｊ_α1,…,Ｗ^ｊ_αN]、Ｗ^ｊ_β=[Ｗ^ｊ_β1,…,Ｗ^ｊ_βN]、Ｗ^ｊ_γ=[Ｗ^ｊ_γ1,…,Ｗ^ｊ_γN]は、対象空間中の点jを着色する場合における投影パターンの各画素の寄与度Ｗ^ｊ_αi,Ｗ^ｊ_βi, Ｗ^ｊ_γi (i=1,…,N)よりなるベクトルである。寄与度Ｗは０から１までの値を取り、０はその画素が点ｊの着色に全く寄与しないことを表し、１は大きく寄与することを表す。寄与度は、その画素から出た光線と離散点jとの重なりの大きさに応じて決定する。

【0041】

したがって、対象物体面上の離散化されたＭ個の各点における観測色Ｉ_１ 〜Ｉ_Ｍ は、次の線形方程式で表される（数式７参照）。

【0042】

【数7】

【0043】

ここで、左辺のＭ×３Ｎ行列は各画素の寄与度（重み）を表す。

【0044】

この数式７は、以下の数式８のように表すことができる。

【0045】

【数8】

【0046】

ここで、Ｗは数式７のＭ×３Ｎ行列であり、Ｙは各プロジェクタの投影パターンを表すベクトルであり、ＩはＭ個の離散点における観測色を表すベクトルである。

【0047】

行列Ｗの中身は、各画素から出る光線と対象空間中の各点との重なりの大きさより事前に求めておくことができるため全て既知である。ベクトルＩは、目的とする着色に応じて設定される。したがって、数式８の線形方程式を解くことで、ベクトルＹ、すなわち各プロジェクタの投影パターンが求まる。

【0048】

このようにして求められた各プロジェクタの投影パターンにはマイナスの輝度値が含まれうるが、プロジェクタからマイナスの光を投影することはできない。

【0049】

このようなマイナスの輝度値の問題を解決するため、本実施形態では以下に示す方法で光の輝度を表現する。例えば目的とする着色画像が図１３（ａ）に示す画像であるとすると、輝度Ｉを０〜１の数値で表すこととし、強調したい領域の輝度Ｉを１（Ｉ＝１）、その他の領域の輝度Ｉを０．５（Ｉ＝０．５）とする。

【0050】

すなわち、図１３（ｂ）に示すように輝度（プロジェクタ光量）Ｉ＝０．５を疑似的なゼロレベルとすることで、マイナスの輝度値（負の光）を疑似的に表現することが可能になる。

【0051】

このようにして求められた投影パターンがプロジェクタＰ１、Ｐ２、Ｐ３から投影されると、対象物体面上の位置によって重ね合わさる輝度が変化し、観測される輝度値が変化する。このようにして得られた投影結果を図１４に示す。このように特定３次元領域で観測される輝度値が高くなることで、特定３次元領域を強調提示することができる。

【0052】

例えば、この３次元情報提示装置を車両に適用して車載プロジェクタとした場合、図１５に示すように道路前方の特定領域に存在する物体１０（車両や障害物等）を強調提示することができる。

【0053】

例えば、この３次元情報提示装置を製品検査装置に適用することができる。すなわち、図１６に例示するように、製品１１に対して複数のプロジェクタＰ１、Ｐ２、Ｐ３から光を照射して、製品１１の正規形状部分（図１６の例では直方体形状部分）以外の３次元領域を強調提示するようにする。これにより、製品の欠陥形状部分１２（図１６の例では円柱形状部分）が強調提示されるので、製品の欠陥の有無を容易に判別することが可能になる。

【0054】

（他の実施形態）
なお、本発明は、上記した実施形態に限ることなく、以下のように変形することも可能である。

【0055】

（１）プロジェクタから投影するグラデーションパターンとして色の変化を用いる場合において、一方の色をもう一方の色の補色とすることにより、基準平面においては加算された光の色が白色（無色）となり、基準平面以外では加算された光の色が有色となるようにしてもよい。

【0056】

（２）プロジェクタから投光するコード化されたパターン光は、静止したパターン光である必要はなく、時間的に変化する動的パターン光とすることもできる。時間的および空間的にコード化された動的パターン光を用いることで、運動する３次元物体に対して、その運動に応じた色付けや明るさの変化付けを行うことができ、ある特定の運動をする物体のみを強調して提示することができる。

【0057】

（３）提示された３次元情報を人間に知覚させるのみならず、提示された３次元情報を３次元情報取得手段に取得させて各種機器の制御に利用するようにしてもよい。例えば、図１７に示すように、プロジェクタＰ１、Ｐ２からの投影結果をカメラ３０で撮影し、撮影された画像を、３次元情報取得手段をなす制御装置３１に入力し、制御装置３１が、撮影された画像に基づいて各種判別処理を行い、この判別結果に基づいて各種制御対象機器３２に制御信号を出力するようにしてもよい。

【0058】

例えば、制御対象機器３２が車両衝突危険警報器である場合には、制御装置３１は、道路前方に車両や障害物が存在するか否かの判別を行い、道路前方に車両や障害物が存在すると判断した場合には、車両衝突危険警報器に警報音発生信号を出力するようにすればよい。

【0059】

例えば、制御対象機器３２が製品欠陥報知器である場合には、制御装置３１は、製品に欠陥形状があるか否かの判別を行い、製品に欠陥形状があると判断した場合には、製品欠陥報知器に報知音発生信号を出力するようにすればよい。

【0060】

また、プロジェクタから投光するコード化されたパターン光（波長や強度が空間的に変化したパターン光）は、可視光である必要はなく、不可視光とすることもできる。例えば、図１７において、プロジェクタＰ１、Ｐ２から不可視光として赤外線を投光し、カメラ３０として赤外線カメラを用い、カメラ３０で撮影された赤外線画像（不可視画像）を制御装置３１に入力するようにしてもよい。

【0061】

（４）投光手段として、図１に示したようなプロジェクタではなく、複数の発光手段（ＬＥＤ等）を用いて構成したものでもよい。また、車載プロジェクタとした場合、投光手段を車両の前部に設けられた左右のヘッドライト装置内にそれぞれ設置したり、あるいはヘッドライトを複数の発光手段（ＬＥＤ等）で構成した場合には、そのうちの一部を車載プロジェクタ用の投光手段として用いるようにしてもよい。

【0062】

（５）投光手段は、２つに限らず適用技術に応じて３つ以上設けるようにしてもよい。投光手段の個数を増やすことによって、より複雑な非線形３次元情報を強調提示することができる。

【0063】

以下、上記した実施形態から把握できる発明について述べる。本発明は、同一の空間領域に対して光を照射する複数の投光手段を備え、前記複数の投光手段から照射する光のパターンが空間的にコード化されて照射面の３次元情報を可視化するようになっていることを第１の特徴とする。

【0064】

なお、本発明における「光のパターンが空間的にコード化される」とは、例えば光のパターンが図２や図９のようなパターン（光の波長や強度が空間的に変化したパターン）に設定されることを言う。

【0065】

本発明は、上記第１の特徴において、前記複数の投光手段から照射する光のパターンは、３次元空間中に設定された基準平面に対して垂直な方向の距離が提示されるように空間的にコード化されていることを第２の特徴とする。

【0066】

本発明は、上記第２の特徴において、前記複数の投光手段から照射する光は可視光であり、前記複数の投光手段から可視光のパターンが照射されることにより前記基準平面に対して垂直な方向の距離が可視化されることを第３の特徴とする。

【0067】

本発明は、上記第３の特徴において、前記複数の投光手段から照射する光のパターンはグラデーションパターンとなっていることを第４の特徴とする。 本発明は、上記第４の特徴において、前記グラデーションパターンは、前記複数の投光手段の並び方向に光が変化しているパターンであることを第５の特徴とする。

【0068】

本発明は、上記第５の特徴において、前記基準平面上において前記複数の投光手段から照射された光を加算した輝度値が一定になるように前記グラデーションパターンが設定されていることを第６の特徴とする。

【0069】

本発明は、上記第３ないし第６のいずれか１つの特徴において、前記複数の投光手段から照射する光のパターンは濃淡の変化によりコード化されていることを第７の特徴とする。

【0070】

本発明は、上記第３ないし第６のいずれか１つの特徴において、前記複数の投光手段から照射する光のパターンは色の変化によりコード化されていることを第８の特徴とする。

【0071】

本発明は、上記第８の特徴において、前記複数の投光手段のうち１つから投光する光のパターンの色を他の１つから投光する光のパターンの色の補色とし、前記基準平面においては加算された光の色が白色となり、前記基準平面以外においては加算された光の色が有色となることを第９の特徴とする。

【0072】

本発明は、上記第３ないし第９のいずれか１つの特徴において、前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して光を照射して車両の前方に存在する物体までの距離を可視化することを第１０の特徴とする。

【0073】

本発明は、上記第３ないし第９のいずれか１つの特徴において、前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して光を照射して車両の前方の道路面に対して垂直方向の高さの違いを可視化することを第１１の特徴とする。

【0074】

本発明は、上記第１０または第１１の特徴において、前記複数の投光手段は車両のヘッドライト装置内に設置されていることを第１２の特徴とする。

【0075】

本発明は、上記第１０または第１１の特徴において、前記複数の投光手段は車両のヘッドライトを構成する複数の発光手段の一部として構成されていることを第１３の特徴とする。

【0076】

本発明は、上記第２の特徴において、前記複数の投光手段から照射する光は不可視光であり、前記複数の投光手段から不可視光のパターンが照射されることにより前記基準平面に対して垂直な方向の距離が提示されることを第１４の特徴とする。

【0077】

本発明は、上記第１４の特徴において、前記複数の投光手段から照射された不可視光によって提示された３次元情報を取得する３次元情報取得手段を備えることを第１５の特徴とする。

【0078】

本発明は、上記第１５の特徴において、前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して不可視光を照射して、車両の前方に存在する物体までの距離、または車両の前方の道路面に対して垂直方向の高さの違いを提示することを第１６の特徴とする。

【0079】

本発明は、上記第１の特徴において、前記複数の投光手段から照射する光のパターンは、特定３次元領域が強調提示されるように空間的にコード化されていることを第１７の特徴とする。

【0080】

本発明は、上記第１７の特徴において、前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して不可視光を照射して車両の前方の特定領域に存在する物体を強調提示することを第１８の特徴とする。

【0081】

本発明は、上記第１７の特徴において、前記複数の投光手段は製品に対して光を照射して前記製品の欠陥形状部分を強調提示することを第１９の特徴とする。

【0082】

さらに、上記した実施形態から次のような３次元情報提示装置を把握できる。すなわち本装置は、同一の空間領域に対して光を照射する複数の投光手段を備え、前記複数の投光手段が照射する光には空間的なパターンが形成されており、前記空間領域に存在する物体上で前記複数の投光手段から照射された光同士が重なり合うことによって、３次元情報に応じた光のパターンを前記物体上に生じさせるものである。

【符号の説明】

【0083】

Ｐ１、Ｐ２ プロジェクタ（投光手段）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】