特開 2023-178760 画像投影システムおよび画像投影方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023178760

(43)【公開日】2023-12-18

(54)【発明の名称】画像投影システムおよび画像投影方法

(51)【国際特許分類】

   G01B 11/24 20060101AFI20231211BHJP

   G01B 11/00 20060101ALI20231211BHJP

   G01C 3/06 20060101ALI20231211BHJP

【ＦＩ】

G01B11/24 K

G01B11/00 B

G01C3/06 120Q

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022091632

(22)【出願日】2022-06-06

(71)【出願人】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】小泉 誠

【テーマコード（参考）】

2F065

2F112

【Ｆターム（参考）】

2F065AA06

2F065FF05

2F065FF11

2F065GG04

2F065GG21

2F065GG23

2F065HH07

2F065LL13

2F065LL46

2F065LL62

2F065MM16

2F065PP22

2F065QQ21

2F065QQ28

2F065QQ31

2F112AD01

2F112CA12

2F112DA25

(57)【要約】

【課題】精度の高いプロジェクションマッピングを容易に実現する。
【解決手段】
画像用レーザー光源５０は投影画像の画素を形成する画像用レーザー光を発生させる。参照用レーザー光源５６は参照用レーザー光を発生させる。ビームスプリッター５８で同軸とされた画像用レーザー光と参照用レーザー光は、ミラー５２で反射され、対象物６の表面上を２次元走査する。形状測定部６０はレーザー光の出射口に外接する位置で、参照用レーザー光の反射光を検出し、反射位置の距離を２次元分布として測定することで対象物６の３次元形状を取得する。画像データ出力部１０は３次元形状に基づき投影画像を調整する。
【選択図】図５

【特許請求の範囲】

【請求項1】

対象物に投影する画像の画素を形成する画像用レーザー光を、当該対象物に照射する画像投影部と、
前記画像用レーザー光と共通の出射口から、前記対象物に参照用レーザー光を照射する参照光照射部と、
前記出射口に外接する位置で、前記対象物において反射してなる前記参照用レーザー光を検出し、検出結果に基づいて前記対象物の３次元形状を測定する形状測定部と、
を備えたことを特徴とする画像投影システム。

【請求項2】

前記画像投影部は、前記画像用レーザー光の到達点が、前記対象物の表面において２次元走査されるように前記画像用レーザー光を反射させたうえ、前記出射口から出射させるミラーをさらに備え、
当該ミラーは、前記参照用レーザー光を、前記画像用レーザー光とともに反射させることを特徴とする請求項１に記載の画像投影システム。

【請求項3】

前記形状測定部は、前記出射口を囲むとともに、前記画像用レーザー光の照射軸と一致する中心軸を有する面に配列させた受光素子により、前記反射してなる前記参照用レーザー光を検出することを特徴とする請求項１に記載の画像投影システム。

【請求項4】

前記参照光照射部は、前記画像用レーザー光の光源と異なる位置にある前記参照用レーザー光の光源と、当該参照用レーザー光の光源から発生した前記参照用レーザー光を、前記ミラーへ導くビームスプリッターを備えたことを特徴とする請求項２に記載の画像投影システム。

【請求項5】

前記参照光照射部は、前記画像用レーザー光の光源と一体的に設けられた、前記参照用レーザー光の光源を備えたことを特徴とする請求項２に記載の画像投影システム。

【請求項6】

前記画像投影部は、前記画像用レーザー光として赤、緑、青の光をそれぞれ照射し、
前記参照光照射部は、前記画像用レーザー光のうち緑のレーザー光と同軸で、前記参照用レーザー光を照射することを特徴とする請求項１から５のいずれかに記載の画像投影システム。

【請求項7】

前記形状測定部は、前記参照用レーザー光の出射時刻と反射光の検出時刻との時間差に基づき、前記対象物の表面における反射位置までの距離を取得することを特徴とする請求項１から５のいずれかに記載の画像投影システム。

【請求項8】

前記３次元形状の測定結果に応じて、投影する画像を調整したうえ前記画像投影部にデータを出力する画像データ出力部をさらに備えたことを特徴とする請求項１から５のいずれかに記載の画像投影システム。

【請求項9】

画像内に重点計測領域を決定し、前記２次元走査における走査速度を他の領域より低下させることにより、前記形状測定部による前記参照用レーザー光の検出回数が増加するように、前記ミラーを制御する走査制御部をさらに備えたことを特徴とする請求項２に記載の画像投影システム。

【請求項10】

前記走査制御部は、画像上の特性、前記３次元形状の測定結果、設定情報、および鑑賞者の視線の少なくともいずれかに基づき、前記重点計測領域を決定することを特徴とする請求項９に記載の画像投影システム。

【請求項11】

前記走査制御部は、前記重点計測領域における前記走査速度を複数段階に調整することを特徴とする請求項９または１０に記載の画像投影システム。

【請求項12】

対象物に投影する画像の画素を形成する画像用レーザー光を、当該対象物に照射するステップと、
前記画像用レーザー光と共通の出射口から、前記対象物に参照用レーザー光を照射するステップと、
前記出射口に外接する位置で、前記対象物において反射してなる前記参照用レーザー光を検出し、検出結果に基づいて前記対象物の３次元形状を測定するステップと、
を含むことを特徴とする、画像投影システムによる画像投影方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象物に画像を投影する画像投影システムおよび画像投影方法に関する。

【背景技術】

【0002】

従来、建造物などの立体物に、その形状に合わせた画像を投影し、外観に仮想的な変化を与えたり立体物が動いているように見せたりするプロジェクションマッピングが知られている。近年では、物や人体の動きに追随するように投影画像を変化させる技術も実用化され、より自由度の高い表現やユーザインターフェースが実現している（例えば非特許文献１）。また、ＲＧＢ画像と赤外線画像を重ね合わせて投影することにより、立体物の形状のセンシングを画像投影と並列に行う技術が開発されている（例えば非特許文献２参照）。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Nick Staff、"Sony’s touchscreen projector technology feels like the future of interactivity"、［online］、２０１７年５月１２日、THE VERGE、［令和４年４月２８日検索］、インターネット<URL:https://www.theverge.com/2017/3/12/14899804/sony-touchscreen-projector-display-prototype-sxsw-2017>

【非特許文献2】Uwe Lippmann、外９名、"In Good Light: A New High-Speed Projector with Visible and Infrared Capabilities"、［online］、２０２１年１２月１３日、東京工業大学、［令和４年４月２８日検索］、インターネット<URL:https://www.titech.ac.jp/english/news/2021/062614>

【発明の概要】

【発明が解決しようとする課題】

【0004】

プロジェクションマッピングでは、あたかも立体物の表面そのものであるかのように投影画像を見せることが肝要である。そのためには、当該立体物の位置、形状、姿勢などを正確に取得し、投影画像を適切に調整する必要がある。しかしながら精細な表現を実現しようとするほど、高度なセンシング技術が必要となり、低コストでの実現が難しくなる。また一般に、センシング結果を画像に反映させるには座標変換など複雑な演算が必要となり、処理に時間を要する。このことは、立体物自体の動きを許容する態様では特に問題となる。

【0005】

本発明はこうした課題に鑑みてなされたものであり、その目的は、精度の高いプロジェクションマッピングを容易に実現する技術を提供することにある。

【課題を解決するための手段】

【0006】

本発明のある態様は画像投影システムに関する。この画像投影システムは、対象物に投影する画像の画素を形成する画像用レーザー光を、当該対象物に照射する画像投影部と、画像用レーザー光と共通の出射口から、対象物に参照用レーザー光を照射する参照光照射部と、出射口に外接する位置で、対象物において反射してなる参照用レーザー光を検出し、検出結果に基づいて対象物の３次元形状を測定する形状測定部と、を備えたことを特徴とする。

【0007】

本発明の別の態様は画像投影方法に関する。この画像投影方法は、画像投影システムが、対象物に投影する画像の画素を形成する画像用レーザー光を、当該対象物に照射するステップと、画像用レーザー光と共通の出射口から、対象物に参照用レーザー光を照射するステップと、出射口に外接する位置で、対象物において反射してなる参照用レーザー光を検出し、検出結果に基づいて対象物の３次元形状を測定するステップと、を含むことを特徴とする。

【0008】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0009】

本発明によると、低コストで精度の高いプロジェクションマッピングを容易に実現できる。

【図面の簡単な説明】

【0010】

【図1】本実施の形態においてプロジェクションマッピングを実現する画像投影システムの構成例を示す図である。

【図2】対象物の３次元形状の取得と画像の投影を同時に実現する従来のシステムの構成例を示す図である。

【図3】従来技術における座標変換の必要性を説明するための図である。

【図4】本実施の形態で採用する、レーザー光走査方式の画像投影技術を説明するための図である。

【図5】本実施の形態における画像投影システムの詳細な構成を示す図である。

【図6】本実施の形態における画像データ出力部の内部回路構成を示す図である。

【図7】本実施の形態における、画像データ出力部と形状測定部の機能ブロックの構成を示す図である。

【図8】本実施の形態における画像用レーザー光と参照用レーザー光の、照射時の位置関係を例示する図である。

【図9】本実施の形態における画像投影システムの構成の別の例を示す図である。

【図10】本実施の形態の走査制御部が、画像の内容に応じてレーザー光の走査速度を調整する態様を説明するための図である。

【図11】本実施の形態の走査制御部がレーザー光の走査速度を調整する規則の設定例を示す図である。

【発明を実施するための形態】

【0011】

図１は、本実施の形態においてプロジェクションマッピングを実現する画像投影システムの構成例を示している。画像投影システム１４は、画像データ出力部１０および光照射部１２を備える。画像データ出力部１０は、対象物６に投影する画像のデータを光照射部１２に出力する。光照射部１２は当該データを取得し、画像を構成する各画素の色を表すレーザー光を対象物６に照射することで、その表面に画像８を投影する。

【0012】

光照射部１２はさらに、対象物６の３次元形状を測定する機能を有する。具体的には光照射部１２は、赤外線などの参照光（参照用レーザー光）を対象物６に照射するとともに、対象物６での反射を観測することにより、対象物６表面までの距離を取得する。ここで光照射部１２は、画像８の各画素を形成するレーザー光と共通の出射口から参照用レーザー光を照射する。

【0013】

好適には光照射部１２は、画像８の各画素を形成するレーザー光と同軸で参照用レーザー光を照射する。これにより参照用レーザー光は、画素単位で対象物６に照射され、反射する。光照射部１２は画像８の投影と並行して、参照用レーザー光の照射と観測を同じ位置で行い、対象物６の距離を、その表面上の２次元分布として取得する。

【0014】

対象物６表面の距離の２次元分布は、対象物６の位置、形状、および姿勢を表している。以後、それらのパラメータを、対象物の「３次元形状」と総称する。画像データ出力部１０は、プロジェクションマッピングが高精度になされるように、直前に得られた対象物６の３次元形状に応じて、投影元となる画像を適応的に調整する。

【0015】

例えば画像データ出力部１０は、対象物６の姿勢や凹凸に合うように、画像を伸縮させたり陰影をつけたりする。あるいは画像データ出力部１０は、対象物６の動きに合わせて並進、回転、変形などの加工を行う。このような画像の調整には、一般的な技術を適用できるため、以後は主に、画像８を投影しながら対象物６の３次元形状を精度よく取得する機構について説明する。

【0016】

ここで本実施の形態の効果を明らかにするために、対象物の３次元形状を取得しながら画像を投影する従来技術について例示する。図２は、対象物６の３次元形状の取得と画像の投影を同時に実現する従来のシステムの構成例を示している。このシステムは、画像８を対象物６に投影する画像投影部１１２に、対象物６の３次元形状を測定する形状測定装置１１６を追加で設けた構成を有する。

【0017】

同図では対象物の形状測定手法として、ドットの配列など特定パターンの赤外線画像を対象物６に投影し、それをステレオカメラで撮影して視差を求めるパターンドステレオ法を想定している。すなわち形状測定装置１１６の赤外線照射部１１４は、特定パターンの赤外線画像を対象物６に照射する。右視点カメラ１２０ａおよび左視点カメラ１２０ｂからなるステレオカメラは、赤外の波長帯の光を透過させる赤外線透過フィルタ１１８を各撮像面の前面に備え、対象物６に照射された赤外線パターンの像をステレオ撮影する。

【0018】

形状取得部１２２は、撮影されたステレオ画像における、赤外線パターンの像に生じた視差に基づき、三角測量の原理で対象物６までの距離を求める。当該距離値は、ドットなど、赤外線パターンを構成する特徴点の単位で得られる。結果的に形状取得部１２２は、当該特徴点の粒度で、対象物６表面の距離の分布を取得し、ひいては対象物６の３次元形状を求めることができる。ただしこの場合の３次元形状は、右視点カメラ１２０ａまたは左視点カメラ１２０ｂの撮像面を基準としたカメラ座標系での情報である。

【0019】

そのため形状測定装置１１６は座標変換部１２４を備え、カメラ座標系での対象物６の３次元形状の情報を、画像投影部１１２の投影面（画像８の投影元である発光素子の面）を基準とした座標系での情報に変換する。画像データ出力部１１０は、座標変換がなされた３次元形状の情報に基づき、投影する画像を調整し画像投影部１１２に出力する。画像投影部１１２は、このようにして形状測定の結果を反映させた画像を対象物６へ投影させる。以上の処理を繰り返すことにより、対象物６の状態が変化しても、それに適合する画像８を投影させ続けることができる。

【0020】

図３は、従来技術における座標変換の必要性を説明するための図である。上述のとおり形状取得部１２２は、右視点カメラ１２０ａまたは左視点カメラ１２０ｂのどちらかの撮像面１３２から対象物６までの距離（例えば距離ｄ）の分布、ひいては撮像面１３２を基準とした３次元形状の情報を得る。一方、画像の調整には、画像投影部１１２の投影面１３０から見た３次元形状の情報が必要となる。例えば対象物６が投影面１３０から遠ざかるとき、画像８が対象物６の模様であるように見せるには、投影面１３０からの距離（例えば距離ｄ’）の増加に応じて投影元の画像９を縮小する必要がある。

【0021】

そのため座標変換部１２４は、形状取得部１２２が取得した３次元形状の情報を座標変換して、投影面１３０を基準とした３次元形状の情報を取得する。変換後の情報は、画像の投影結果に大きな影響を与えるため、画像の投影系と赤外線の観測系との事前のキャリブレーションを厳密に行い、変換パラメータを高精度に求めておく必要がある。そのようにしても、座標変換の処理が介入することにより、誤差が生じる可能性が高くなるとともに、処理リソースの確保や遅延時間に係る問題が生じる。

【0022】

またこの構成では、対象物６の形状や向きによっては、投影面１３０の視野には入るが、撮像面１３２では死角になる部分が生じることがある。この場合、当該死角部分の形状が不定となり、投影画像の正確な生成が困難になる。さらに、画像投影部１１２に加えて、赤外線照射部１１４や各種カメラを備える形状測定装置１１６が必要となり、システム全体が複雑かつ大型となりやすい。結果として、外観のデザインが制約されたり、製造コストが高くなったりする問題もある。

【0023】

これらの問題は、格子状の赤外線画像を投影しその像を観測することにより対象物６の３次元形状を取得する格子投影法など、形状測定手法によらず、システムに投影面１３０と撮像面１３２を設ける限り同様に生じる。ただしパターンドステレオ法の場合、ステレオ画像における赤外線パターンの対応点を抽出するための処理が必要となり、計算コストがより大きくなる。またステレオカメラが必要なため、製造コストや装置の小型化の面でも不利となる。

【0024】

一方、画像投影部１１２をデジタルマイクロミラーデバイスで構成し、赤外線照射部１１４からの赤外線を投影画像の面と重ね合わせて照射する技術が提案されている（例えば非特許文献２参照）。この場合、投影先である対象物表面上の領域と一致する領域の３次元形状を高い分解能で取得できる。ただし赤外線を観測するカメラを別途設ける必要があり、座標変換のための計算コストの増大や死角の存在、製造コストに係る問題は同様に生じる。

【0025】

本実施の形態では、画像を投影するためのレーザー光と、対象物の３次元形状を得るための参照用レーザー光を共通の出射口から出射させ、画素単位で重ね合わせて照射する。そして出射口に外接する位置で参照用レーザー光の反射を観測できるようにする。具体的には画像の投影にレーザー光走査方式を採用し、画素単位での光の照射および観測を、照射先の位置を変化させつつ繰り返すことにより、画像の投影とともに形状測定を時分割で行う。これにより投影面１３０と撮像面１３２を別に設ける必要なく、精度の高い画像投影を低コストで実現する。

【0026】

図４は、本実施の形態で採用する、レーザー光走査方式の画像投影技術を説明するための図である。レーザー光走査方式とは、画素に対応するレーザー光を、偏向用のミラーを用いて２次元走査させることにより、対象物に画像を形成する手法である。例えば画像用レーザー光源５０は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の成分を含むレーザー光を出力する。当該レーザー光はミラー５２により反射され、対象物６の表面に投影される。

【0027】

同図左上には、投影された画像８を正面から見た状態を示している。ミラー５２の角度を２軸周りで制御することにより、例えば矢印５４のように、レーザー光の到達点を左右に振動させながら上から下へ移動させることができる。画像用レーザー光源５０は、到達点の移動に同期するように、各画素の色を表すレーザー光を発生させる。これにより、各時刻で出力したレーザー光の色を画素とする画像８が形成される。なおミラーによる反射を利用した映像投射装置は、例えば特開２０１７－８３６５７号公報などに開示されている。

【0028】

ここで例えば、対象物６の傾きが矢印５５のように変化したとすると、画像データ出力部１０は、その変化に合わせて投影元の画像のデータを調整することにより、画像８が対象物６の表面そのものであるかのように見せることができる。図の例では画像データ出力部１０は、例えば画像８を縦方向に縮小する。実際には上述のとおり、対象物の位置、姿勢、形状の変化により、画像の調整もより複雑になる。

【0029】

いずれにしろ本実施の形態では、形状計測用の参照用レーザー光をもミラー５２で反射させることにより、画像用のレーザー光と同経路、好適には同軸での照射を実現する。さらに、このような「点」での照射機構を利用し、当該ミラー５２に近接した位置で参照用レーザー光の反射を検出することにより、画像用レーザー光の出射位置を基準とした対象物６の３次元形状情報を直接求める。

【0030】

図５は、本実施の形態における画像投影システムの詳細な構成を示している。上述のとおり画像投影システム１４は、画像データ出力部１０および光照射部１２を備える。光照射部１２は、対象物６に投影する画像の画素を形成する光を、当該対象物６に照射する画像投影部として、図４で示したように、画像用レーザー光源５０とミラー５２を備える。画像用レーザー光源５０は、画像データ出力部１０が出力する画像データＩに基づき、投影画像の各画素の色を表す画像用レーザー光５７を時分割で発生させる。

【0031】

画像用レーザー光５７は、例えばＲＧＢに対応する３つのレーザー光で構成されるが、画素値に対応する色を表す限り波長や数は限定されない。ミラー５２としては例えば、ＭＥＭＳ（Micro Electro Mechanical Systems）ミラーを導入する。ＭＥＭＳミラーは、電磁駆動により２軸周りの角度変化を精度よく制御できる、小型かつ低消費電力の装置である。ただしミラー５２の駆動方式は特に限定されない。ミラー５２は、画像データ出力部１０からの制御信号Ｍにより角度を変化させ、画像用レーザー光５７が対象物６上の適切な位置に到達するように反射させる。

【0032】

光照射部１２はさらに、対象物６の３次元形状を計測するための参照用レーザー光を出力する参照用レーザー光源５６、参照用レーザー光を画像用レーザー光と重ね合わせ、ミラー５２に導くビームスプリッター５８、参照用レーザー光の波長の光を透過させる参照用レーザー光透過フィルタ６２、および、参照用レーザー光の反射光を検出し対象物６までの距離、ひいては対象物６の３次元形状情報を取得する形状測定部６０を備える。

【0033】

この構成において参照用レーザー光源５６、ビームスプリッター５８、およびミラー５２は、画像用レーザー光５７と共通の出射口から参照用レーザー光を照射する参照光照射部を構成する。参照用レーザー光源５６は参照用レーザー光５９として、例えば１００ピコ秒～数ナノ秒のパルス幅の近赤外レーザー光を発生させる。ビームスプリッター５８は、画像用レーザー光５７と参照用レーザー光５９を重ね合わせ、ミラー５２に導くように設けられる。

【0034】

これにより、画像用レーザー光５７と参照用レーザー光５９は重なり合った状態で、ミラー５２において反射し、対象物６の表面上の各画素（例えば画素６４）の位置へ到達する。なお画像用レーザー光５７と参照用レーザー光５９は、実質的に共通の軸方向に進行し対象物６へ到達すればよく、重なりの有無や度合いは限定されない。本実施の形態では、この状態を「同軸」と呼ぶ場合がある。

【0035】

形状測定部６０は、参照用レーザー光が対象物６を反射してなる光を検出することにより、対象物６の３次元形状に係る情報を取得する。形状測定部６０は、例えばｄＴＯＦ（Direct Time Of Flight）センサで構成され、参照用レーザー光５９の照射と同期して駆動する。詳細には、参照用レーザー光源５６は、形状測定部６０から入力される同期信号Ｓを契機として、参照用レーザー光５９のパルスを周期的に発生させる。形状測定部６０は、同期信号Ｓの出力時刻に基づく参照用レーザー光５９の出射時刻と、その反射光６１の検出時刻との時間差を一定期間、繰り返し測定することで、対象物６までの距離を取得する。

【0036】

参照用レーザー光５９の出射から反射光６１の検出までの時間差をΔｔ、光速をｃとすると、形状測定部６０の受光面から対象物６表面の各画素（例えば画素６４）までの距離Ｄは、原理的には次のように求められる。
D = c×Δt/2
ただし本実施の形態において、参照用レーザー光の反射を検出することにより対象物の距離を測定する手法はｄＴＯＦに限らない。例えば参照用レーザー光を周期的に変調させ、反射光との位相のずれに基づき距離を求めるｉＴＯＦ（Indirect Time Of Flight）方式を採用することもできる。

【0037】

本実施の形態ではミラー５２を用いて、画像用レーザー光５７とともに参照用レーザー光５９の到達先、ひいてはその反射位置を２次元で変位させることにより、投影画像の画素単位で対象物６までの距離を取得する。結果として形状測定部６０は、対象物６の３次元形状を測定する機能を有する。図の右下には、形状測定部６０の受光面を矢印Ａの方向から見た正面図を示している。

【0038】

図示するように形状測定部６０は、中央に開口部６６を備えた中空矩形の面に受光素子を配列させた構造を有する。当然、参照用レーザー光透過フィルタ６２も同様の形状を有する。開口部６６は、ミラー５２で反射してなる、画像用レーザー光５７および参照用レーザー光５９の出口を形成する。すなわち形状測定部６０は、それらのレーザー光の出射口に外接する位置で、参照用レーザー光の反射光を検出する。なおその限りにおいて、開口部６６や、受光素子を配列させる面の形状は限定されない。

【0039】

本実施の形態ではレーザー光走査方式により、画素ごとに順次レーザー光を照射する。そのため図示するように、レーザー光の出射口に外接するように形状測定部６０の受光面を設けても、対象物６表面における距離の取得位置の分布と投影画像の画素の分布は互いに干渉しない。その結果、投影画像の解像度を維持しつつ、それと同じ解像度で、同一の座標系での対象物の３次元形状情報を直接取得できる。なお形状測定部６０の受光素子配列とレーザー光の出射口との間隔は、接しているとみなされる微小の距離範囲にあればよい。

【0040】

さらに図示するように、レーザー光の出射口である開口部６６を囲むように、反射光の受光面を設けることにより、画像用レーザー光（および参照用レーザー光）の照射軸と受光面の中心軸６７（受光面の中心を通る垂直軸）を一致させることができる。これにより、例えば開口部６６の中心を原点とする同一の座標系で、画像の投影と３次元形状情報の取得を行える。

【0041】

これにより、事前の詳細なキャリブレーションや座標変換のための複雑な計算が不要になり、計算コストを抑えながら高い精度で３次元形状情報を取得できる。また対象物表面において画像用レーザー光５７が到達する位置には、参照用レーザー光５９も到達し、その反射もおよそ死角なく検出できるため、画像投影に必要な３次元形状の情報は抜けなく得られることになる。

【0042】

画像データ出力部１０は、形状測定部６０から対象物６の３次元形状の情報Ｆを取得し、それに対応するように画像の調整を行う。画像データ出力部１０は、必要に応じて調整した画像のデータＩを、画像用レーザー光源５０に入力する。以上の処理を繰り返すことにより、対象物６の３次元形状をその場で観測し、その結果に応じて高精度に画像を調整し投影しつづけることができる。

【0043】

一例として、レーザー光の出射口から１ｍ離れた位置に対象物６がある場合、参照用のレーザー光が出射してから反射光が検出されるまでの時間Δｔは次のようになる。
Δt = 1/(3.0×10⁸)[m/sec]×2[m]=6.66[nsec]
投影画像のフレームレートを３０ｆｐｓ（ｆｒａｍｅ／ｓｅｃ）とすると、１フレーム当たりにレーザーパルスを打てる回数Ｐは次のようになる。
P = 1/30[fps]/6.66[nsec] = 5×10⁶[dots]

【0044】

投影画像の解像度を１２８０×７２０画素とすると、１画素当たりにレーザー光を打てる回数ｐは次のようになる。
ｐ = 5×10⁶[dots]/(1280×720)［pixel] = 5.4[dots/pixel]
仮に実用的な精度で距離を測定するために必要な時間の測定回数を５００回程度とし、レーザー光のパルスの反射光を全ての受光素子で検出できるという理想的な条件を想定した場合、形状測定部６０の受光面には、１００個程度の受光素子を配置すればよい。形状測定部６０は、検出回数分の距離値を平均するなどして、検出誤差の影響を抑えた最終的な距離値を画素ごとに求める。

【0045】

図６は、画像データ出力部１０の内部回路構成を示している。画像データ出力部１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。

【0046】

入出力インターフェース２８には、サーバ等と通信を確立する通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、画像用レーザー光源５０やミラー５２へデータや制御信号を出力する出力部３６、形状測定部６０からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。通信部３２は、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースで構成される。

【0047】

ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより画像データ出力部１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

【0048】

図７は、画像データ出力部１０と形状測定部６０の機能ブロックの構成を示している。同図に示す各機能ブロックは、ハードウェア的には図６で示したＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などのほか、各種センサやマイクロプロセッサなどで実現でき、ソフトウェア的には、記録媒体からメモリにロードした、情報処理機能、画像描画機能、データ入出力機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0049】

また画像データ出力部１０と形状測定部６０は、実際には１つの装置であってもよいし、３つ以上の装置として実装してもよい。また図示する画像データ出力部１０の機能の一部は形状測定部６０が備えてもよいし、形状測定部６０の機能の一部を画像データ出力部１０が備えてもよい。

【0050】

形状測定部６０は、参照用レーザー光源５６に対し同期信号を出力する同期信号出力部７２、参照用レーザー光の反射光を検出する検出部７０、および、検出結果に応じて対象物の３次元形状に係る情報を取得する形状情報取得部７４を備える。同期信号出力部７２は上述のとおり、参照用レーザー光のパルスを発生させる契機となる同期信号を生成し、参照用レーザー光源５６に与える。

【0051】

検出部７０は受光素子の配列を含み、参照用レーザー光源５６が同期信号を契機に発生させた参照用レーザー光のパルスが対象物に反射してなる光を検出し、その時刻を形状情報取得部７４に通知する。形状情報取得部７４は、同期信号出力部７２が生成した同期信号のタイミングに基づき、参照用レーザー光のパルスの出射時刻を求める。そして当該出射時刻と、その反射光の検出時刻との時間差に基づき、上式のとおり対象物における反射位置までの距離を求める。

【0052】

図５の構成によれば、参照用レーザー光源５６が発生させた参照用レーザー光５９は、ミラー５２の揺動により方向が制御され、対象物６の表面上で、画像用レーザー光５７とともに２次元走査される。したがって形状情報取得部７４は例えば、参照用レーザー光の照射方向あるいは投影画像における画素の位置と、反射光の検出により求めた距離値とを対応づけ、対象物の３次元形状情報とする。

【0053】

画像データ出力部１０は、対象物の３次元形状に係る情報を取得する形状情報取得部７６、対象物に投影すべき画像を生成する画像生成部７８、対象物の３次元形状情報に基づき投影すべき画像を調整する画像調整部８０、投影すべき画像のデータを出力する出力部８２、および、対象物表面上でのレーザー光の走査を制御する走査制御部８４を備える。

【0054】

形状情報取得部７６は、対象物の３次元形状に係る情報を形状測定部６０から取得する。ここで形状情報取得部７６は、形状測定部６０において距離値が測定される都度、その情報を逐次取得してもよいし、投影画像のフレーム単位など所定の単位ごとに形状情報を取得してもよい。また形状測定部６０における３次元形状情報の取得処理の一部を、形状情報取得部７６が担ってもよい。

【0055】

画像生成部７８は、対象物に投影すべき静止画や動画のデータを生成する。ここで画像生成部７８は、あらかじめ生成された画像データを、サーバなど外部の装置や内部の記憶装置などから取得してもよい。あるいは画像生成部７８は、内部の記憶装置などに格納しておいたプログラムやモデルデータを用いて、自らが画像を描画してもよい。この際、画像生成部７８は、図示しないカメラ、センサ、コントローラなどの入力装置から実空間の状況を随時取得し、描画する画像に反映させてもよい。あるいは画像生成部７８は、形状情報取得部７６から対象物の形状情報を取得し、それに基づき、投影する画像の内容自体を変化させてもよい。

【0056】

画像調整部８０は、対象物の３次元形状の情報を形状情報取得部７６から順次取得し、それに応じて、画像生成部７８が生成した画像に適切な調整を施す。当該調整は上述のとおり、画像の拡大、縮小、変形、回転、陰影付与などである。典型的には、画像調整部８０は、直前のフレームの投影期間で得られた３次元形状情報に基づき、次に投影するフレームを調整する。ただし３次元形状情報の取得と画像調整の時間的な関係は限定されない。

【0057】

出力部８２は必要に応じて調整処理が施された画像のデータを、画像用レーザー光源５０に出力する。走査制御部８４は、各画素を表す画像用レーザーが対象物表面の適切な位置に到達するようにミラー５２の角度を制御する。本実施の形態における走査制御部８４はさらに、画像生成部７８が生成する画像の内容に応じて、レーザー光の走査速度が位置に依存して変化するようにミラー５２を制御する。

【0058】

具体的には、走査制御部８４は、画像上の特性などに基づき、形状情報に必要な精度が標準より高い領域を検出し、重点計測領域として決定する。例えば走査制御部８４は、画像においてテクスチャが多い領域や動きが大きいオブジェクトが存在する領域などを重点計測領域とする。そして当該領域の画像を投影する際のレーザー光の走査速度を、他の領域より低くすることにより、参照用レーザー光の照射・検出回数を増加させる。

【0059】

同じ画素領域において反射した光の検出回数が多いほど、それを平均化するなどして求められる最終的な距離値には誤差が含まれにくくなる。結果として、レーザー光の走査速度を低くした領域は、得られる３次元形状情報の精度が高くなり、より正確に画像を投影できることになる。本実施の形態ではレーザー光走査方式の光学系を利用しているため、このように臨機応変かつ部分的な制御が可能になる。

【0060】

図８は、画像用レーザー光と参照用レーザー光の、照射時の位置関係を例示している。同図は、対象物に照射されるレーザー光の断面を示す概念図である。（ａ）は、画像用レーザー光源５０が、ＲＧＢの三原色のレーザー光９０ａ、９０ｂ、９０ｃを、それぞれ発生させるケースである。ただしレーザー光９０ａ、９０ｂ、９０ｃの配置をこれに限る主旨ではない。

【0061】

（ａ）の場合、好適には、緑色のレーザー光９０ｂの中心軸に、参照用レーザー光９２の中心軸を合わせる。これは人の視覚特性として、緑の波長の光に対し感度が高く、画像の位置ずれが気づかれやすいことによる。すなわち対象物表面において緑のレーザー光が到達する位置をより正確に測定し、その結果に応じて画像を調整することにより、視認上での投影精度を上げることができる。

【0062】

（ｂ）は、画像用レーザー光源５０が、単一のレーザー光９４を発生させるケースである。この場合は、当該レーザー光９４の中心軸に、参照用レーザー光９６の中心軸を合わせればよい。画像用レーザー光源５０、参照用レーザー光源５６、およびビームスプリッター５８の向きや配置を適切に調整して実装することにより、図示するような軸の位置合わせを実現できる。

【0063】

図９は、本実施の形態における画像投影システムの構成の別の例を示している。同図において、図５で示した画像投影システム１４と同様の構成には同じ符号を付している。すなわち図示する画像投影システム１４ａは、図５で示した画像データ出力部１０、形状測定部６０、ミラー５２、参照用レーザー光透過フィルタ６２を備える。一方、この例では、画像用レーザー光源５０および参照用レーザー光源５６の代わりに、画像・参照兼用レーザー光源１００を設ける。画像・参照兼用レーザー光源１００は、画像投影用のレーザー光と参照用のレーザー光を同じ面から発生させるレーザーモジュールである。

【0064】

図では画像・参照兼用レーザー光源１００が、ＲＧＢの各レーザー光と参照用のレーザー光からなる４つのレーザー光を発生させることを、４本の矢印で示している。ただし画像用レーザー光の数を限定するものではない。また好適には、画像用レーザー光と参照用レーザー光の位置関係を、図８で示したものと同様とする。画像・参照兼用レーザー光源１００は、画像データ出力部１０から得た画像データＩに基づき画像用レーザー光を発生させるとともに、形状測定部６０からの同期信号Ｓに応じて参照用レーザー光のパルスを発生させる。

【0065】

その他の動作は、図５で示したものと同様でよい。この構成によれば、図５で示した構成と比較し、画像投影システムを小型化できる。またビームスプリッターを介する必要がないため、画像・参照兼用レーザー光源１００から発生させたレーザー光の光量を維持したまま対象物に到達させることができ、消費電力を抑えることができる。

【0066】

図１０は、走査制御部８４が、画像の内容に応じてレーザー光の走査速度を調整する態様を説明するための図である。図ではわかりやすさのため、１２行の画素からなる画像を投影する場合の投影の進捗を、右方向を時間軸として示している。図の上段、下段はそれぞれ、走査速度を調整しない場合と調整する場合であり、各段に配列する長方形のそれぞれが、行の投影時間を表している。画像に設定されているフレームレートは一例として６０ｆｐｓとする。

【0067】

走査速度の調整がない場合、上段に示すように「Ｌｉｎｅ ０１」、「Ｌｉｎｅ ０２」、・・・「Ｌｉｎｅ １２」と示される時間において、画像の１行目、２行目、・・・、１２行目の画素列の投影が等しい速度で進捗し、１／６０ｓｅｃ以内に１フレーム分の投影が完了する。以後、周期的に同様の投影が繰り返され、フレームの表示が進捗する。

【0068】

一方、画像の５行目、６行目を重点計測領域と決定した場合、走査制御部８４は下段に示すように、当該行（「Ｌｉｎｅ ０５」、「Ｌｉｎｅ ０６」）の走査速度を低下させるようにミラー５２を制御する。図の例では、５行目（「Ｌｉｎｅ ０５」）については１／２の速度とし、６行目（「Ｌｉｎｅ ０６」）については１／３の速度としている。結果として、５行目の投影時間１０２ａは標準時間の２倍、６行目の投影時間１０２ｂは標準時間の３倍に調整される。

【0069】

これにより、画像の５行目、６行目を投影すべき対象物上の領域ついて、それぞれ２倍、３倍の回数で距離が測定され、その分だけ形状情報の精度を向上させることができる。このような走査速度の調整により、図示するように、１フレーム分の画像を投影するのに必要な時間が１／６０ｓｅｃで収まらなくなることがある。つまりフレームレートが設定値から微小にずれることになるが、その一方で、２次元配列の発光素子からなる投影機と比較し高い自由度での制御が容易にできる。

【0070】

走査制御部８４は重点計測領域を、図示するように画像の行単位で設定してもよいし、画素単位、あるいは領域単位で設定してもよい。また重点計測領域の決定の根拠とする情報は、走査制御部８４が、画像生成部７８が生成した画像を解析することにより取得してよい。あるいは画像生成部７８が画像を生成する際に用いたテクスチャ、決定したオブジェクトの動きや重要なオブジェクトの位置、などの情報を走査制御部８４が取得することにより、重点計測領域を決定してもよい。

【0071】

あるいは、フレーム番号と当該フレームにおける重点計測領域とを対応づけた情報をあらかじめ作成しておき、画像生成部７８が画像の生成時に読み出す画像データに含めておいてもよい。なお図示する例で５行目については１／２、６行目については１／３の走査速度としているように、重点計測領域における走査速度は、形状情報に求められる精度に応じて複数段階で設定してもよいし、一段階のみとしてもよい。

【0072】

また図の例では、後続のフレームについても同様の速度構成での走査を繰り返しているが、走査制御部８４は当然、重点計測領域やそこでの走査速度を、画像の内容に応じて時間変化させてよい。走査制御部８４はまた、重点計測領域の発生、消滅に従い、走査速度の調整の有無を切り替えてよい。走査制御部８４は、画像の内容に限らず、対象物の形状、動き、距離、鑑賞者の視線などに基づき、重点計測領域やそこでの走査速度を決定してもよい。

【0073】

例えば走査制御部８４は、対象物表面のうち細かい凹凸がある部分や、形状変化の大きい部分に投影している画像上の領域を、重点計測領域と決定してもよい。このような場合、走査制御部８４は、直前に得られた３次元形状情報を形状情報取得部７６から取得したり、鑑賞者の注視点情報を図示しない注視点検出器から取得したりする。そして得られたパラメータが、あらかじめ設定した条件を満たした領域を重点計測領域として決定する。なお重点計測領域の決定に用いるパラメータは１つでもよいし、２つ以上を組み合わせてもよい。

【0074】

図１１は、走査制御部８４がレーザー光の走査速度を調整する規則の設定例を示している。この例では、規則設定テーブル１４０として、調整の根拠とするパラメータ１４２、調整の契機とする条件１４４、および、条件が満たされたときの走査速度の目標値１４６を対応づけている。ただし本実施形態における調整規則の設定形式や内容を限定するものではない。図では一例として、「オブジェクトＡの速度Ｖ」を調整の根拠とし、「Ｖ１＜Ｖ≦２」なる条件を満たしたとき、当該オブジェクトＡが表される画像上の領域を重点計測領域とする設定となっている。

【0075】

この条件を満たしたとき、当該重点計測領域におけるレーザー光の走査速度の目標値を、標準値の１／２としている。また「オブジェクトＡの速度Ｖ」が「Ｖ２＜Ｖ」となったら、レーザー光の走査速度の目標値を標準値の１／３としている。また図では、「テクスチャの種類」も調整の根拠とし、「Ｔ１」なるテクスチャが表されている画像上の領域を重点計測領域として、当該重点計測領域におけるレーザー光の走査速度を標準値の１／２とする設定もされている。なおＶ１、Ｖ２、Ｔ１は、実際には具体的な速度やテクスチャ名である。走査制御部８４は、図示するような設定規則を内部のメモリなどに保持する。そして、設定されたパラメータが条件を満たすか否かを監視することにより、レーザー光の走査速度の調整の要否を判定するとともに、重点計測領域や走査速度の目標値を決定する。

【0076】

以上述べた本実施の形態によれば、レーザー光走査方式により対象物に画像を投影するとともに、当該画像用レーザー光と共通の出射口から、形状測定のための参照用レーザー光を対象物に照射する。これにより、参照用レーザー光の反射光を、画像用レーザー光の出射口と接する位置で検出でき、出射面を基準とする座標系での対象物の３次元形状情報を直接取得できる。その結果、投影画像と距離値の２次元配列が互いに干渉することなく、双方を高解像度で得ることができる。

【0077】

また画像投影のための光学系と測距のための光学系との間で事前のキャリブレーションを行ったり、座標変換を行ったりする必要がなく、計算コストを抑えられるとともに演算誤差が生じる可能性を低くできる。さらに対象物表面のうち、画像用レーザー光の到達する箇所について死角が生じることなく形状を測定できるため、より正確な画像投影が可能になる。またマイクロミラーデバイスや、赤外線照射用プロジェクタ、赤外線カメラなどを導入する場合と比較し製造コストを抑えられ、装置全体を小型化できる。結果として、精度の高いプロジェクションマッピングを低コストで容易に実現できる。

【0078】

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【符号の説明】

【0079】

１０ 画像データ出力部、 １２ 光照射部、 １４ 画像投影システム、 ５０ 画像用レーザー光源、 ５２ ミラー、 ５６ 参照用レーザー光源、 ５８ ビームスプリッター、 ６０ 形状測定部、 ６２ 参照用レーザー光透過フィルタ、 ７０ 検出部、 ７２ 同期信号出力部、 ７４ 形状情報取得部、 ７６ 形状情報取得部、 ７８ 画像生成部、 ８０ 画像調整部、 ８２ 出力部、 ８４ 走査制御部、 １００ 画像・参照兼用レーザー光源。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】