特開2016-81497(P2016-81497A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社東通の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2016-81497(P2016-81497A)
(43)【公開日】2016年5月16日
(54)【発明の名称】画像投影方法及び画像投影システム
(51)【国際特許分類】
   G06F 3/048 20130101AFI20160411BHJP
   G03B 21/14 20060101ALI20160411BHJP
   G03B 21/26 20060101ALI20160411BHJP
   H04N 5/74 20060101ALI20160411BHJP
【FI】
   G06F3/048 656A
   G03B21/14 Z
   G03B21/26
   H04N5/74 Z
【審査請求】有
【請求項の数】14
【出願形態】OL
【全頁数】59
(21)【出願番号】特願2014-254622(P2014-254622)
(22)【出願日】2014年12月17日
(31)【優先権主張番号】特願2014-210326(P2014-210326)
(32)【優先日】2014年10月14日
(33)【優先権主張国】JP
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 1.公開の事実(1) (a)ヴェブサイトの掲載日 平成26年6月19日 (b)ヴェブサイトのアドレス http://youtu.be/YMydLI8TzUk 2.公開の事実(2) (a)集会名 第22回3D&バーチャルリアリティ展 (b)開催日 平成26年6月25日から6月27日 3.公開の事実(3) (a)ヴェブサイトの掲載日 平成26年6月29日 (b)ヴェブサイトのアドレス http://youtu.be/amcv4vnvQr4
(71)【出願人】
【識別番号】507353739
【氏名又は名称】株式会社東通
(74)【代理人】
【識別番号】100070530
【弁理士】
【氏名又は名称】畑 泰之
(72)【発明者】
【氏名】岩田 国康
【テーマコード(参考)】
2K103
5C058
5E555
【Fターム(参考)】
2K103AA19
2K103AA22
2K103AA26
2K103AA27
2K103AB10
2K103CA53
2K103CA54
2K103CA55
2K103CA57
2K103CA72
5C058BA24
5C058EA02
5E555AA27
5E555AA76
5E555BA29
5E555BA83
5E555BA87
5E555BB29
5E555BC04
5E555CA29
5E555CA42
5E555CB31
5E555CB45
5E555CB47
5E555CC26
5E555DA03
5E555DB37
5E555DB53
5E555DB57
5E555DC05
5E555DC19
5E555DC24
5E555DC43
5E555DC83
5E555DC84
5E555DC85
5E555EA22
5E555FA02
(57)【要約】
【課題】プロジェクションマッピングの表示エリア内で投影されている映像をプロジェクションマッピングの表示エリア内で動いている投影対象物に対して映像を移動させる画像表示システムを提供する。
【解決手段】プロジェクター手段1、少なくとも2つの画像表示領域3、個々の画像表示領域3の動きを検出するモーションキャプチャー手段4、投影画像描画制御手段5とから構成され、第1の画像表示領域31に投影されている第1の画像6上に、所定の動作状態61の発生した場合には、第1の画像6を、第1の画像表示領域31とは異なる第2の画像表示領域33に移動させて投影を継続する様に構成されている画像投影方法100
【選択図】図1
【特許請求の範囲】
【請求項1】
少なくとも一つのプロジェクター手段、当該プロジェクター手段の投射領域内に配置されている少なくとも1つの独立した移動可能に構成された画像表示領域、当該画像表示領域の動きを検出するモーションキャプチャー手段及び投影画像描画制御手段とから構成されている画像投影システムに於いて、当該プロジェクター手段は、少なくとも選択された一つの画像を、当該画像表示領域内に投影すると共に、当該画像表示領域の移動動作に追随して、当該画像が当該画像表示領域に投影される様に移動する様に構成されている事を特徴とする画像投影方法。
【請求項2】
当該独立した移動可能に構成された画像表示領域は、当該プロジェクター手段の投射領域よりも小さい投射領域を有するものである事を特徴とする請求項 1に記載の画像投影方法。
【請求項3】
当該プロジェクター手段は、自己の投射領域内に一つ或いは相互に独立した複数個の画像投影領域ウインドーを形成すると共に、当該各画像投影領域ウインドーを当該それぞれの移動可能な画像表示領域と対応させており、且つ当該それぞれの画像投影領域ウインドーは、個々に対応する当該画像表示領域に適合する様に描画処理された特定の画像が投影される様に構成されており、更に、当該各ウインドーは、それぞれ対応する個別の画像表示領域の移動動作に追随して当該自己の投射領域内で移動する様に構成されている事を特徴とする請求項1又は2に記載の画像投影方法。
【請求項4】
一つの当該プロジェクター手段は、自己の投射領域内に於いて、一つ乃至複数個の当該画像投影領域ウインドーを介して、当該自己の投射領域内に配置された一つ或いは複数個の当該画像表示領域のそれぞれに対して、個別に、同一或いは相互に異なる画像を投射出来る様に構成されている事を特徴とする請求項1乃至3の何れかに記載の画像投影方法。
【請求項5】
当該一つの画像表示領域に投影されている第1の画像と当該別の画像表示領域に投影されている第2の画像とは、任意に交換する事或いは、当該一つの画像表示領域に投影されている第1の画像を当該別の画像表示領域に投影させる様に切り替え操作が可能に構成されている事を特徴とする請求項5に記載の画像投影方法。
【請求項6】
当該複数個の画像表示領域は、何れも、投影面部分が平面であって、その平面形状は、矩形、円形、多角形、楕円形、台形等を含む任意の形状を有するものであるか、或いは、当該投影面部分が3次元的立体形状を呈し、球面、球体、多角面構成体を含む任意の立体構成物で構成されている事を特徴とする請求項1乃至5の何れかに記載の画像投影方法。
【請求項7】
当該複数個の画像表示領域は、当該プロジェクター手段が形成する個別の投射領域内の3次元空間内に、任意に且つ独立して存在しており、且つ個々の当該画像表示領域は、独立的に任意の方向に移動可能に構成されている事を特徴とする請求項1乃至6の何れかに記載の画像投影方法。
【請求項8】
当該複数個の画像表示領域は、個別的に、当該個々の画像表示領域の範囲並びに当該投影領域内の3次元空間内に於ける存在位置を表示する為に、複数個のマーカーが付与されている事を特徴とする請求項1乃至7の何れかに記載の画像投影方法。
【請求項9】
当該個々のマーカーは、それぞれ個別に3次元位置情報を有している事を特徴とする特徴とする請求項8に記載の画像投影方法。
【請求項10】
当該モーションキャプチャー手段を構成するモーションキャプチャーカメラが常時、当該個々の画像表示領域毎に、当該個々の画像表示領域に配置されている当該マーカーの存在位置を3次元位置情報として検出し、当該個々の画像表示領域の当該3次元位置情報をリアルタイムで当該画像投影システム設けられているモーションキャプチャーデータ処理手段若しくは投影画像描画制御手段に報知する様に構成されている事を特徴とする請求項1乃至9の何れかに記載の画像投影方法。
【請求項11】
当該画像投影システムには、更に、当該モーションキャプチャーデータ処理手段が設けられており、当該モーションキャプチャーデータ処理手段は、当該モーションキャプチャーカメラが検出した、当該個々の画像表示領域毎のマーカー位置情報から、当該個々の画像表示領域の当該空間領域内於ける存在位置及び当該個々の画像表示領域の画像表示領域面の形状及び/又は投射方向に対する角度等を含む画像表示領域情報を演算処理してリアルタイムで決定する様に構成されている事を特徴とする請求項10に記載の画像投影方法。
【請求項12】
当該個々の独立した画像表示領域は、任意の時点で、任意の方向に、移動、回転、旋回、振動等の変位動作を個別に実行できる様に構成されている事を特徴とする請求項1乃至11の何れかに記載の画像投影方法。
【請求項13】
当該個々の独立した画像表示領域に於ける当該変位動作は、任意のタイミングに於いて、自動的若しくは手動的に実行されるものである特徴とする請求項12に記載の画像投影方法。
【請求項14】
当該第1の画像表示領域とは異なる第2の画像表示領域に表示される画像は、当該第1の画像とは異なる画像である事を特徴とする請求項1乃至13の何れかに記載の画像投影方法。
【請求項15】
当該モーションキャプチャー手段は、複数個、好ましくは3個の当該モーションキャプチャーカメラを含んでいる事を特徴とする請求項6乃至14の何れかに記載の画像投影方法。
【請求項16】
当該マーカーは、当該複数個の画像表示領域のそれぞれに付いて、個別的に、当該個々の画像表示領域に対応する識別子を有しており、当該マーカーが、当該個々の画像表示領域に対応してグループ分けされている事を特徴とする請求項8乃至15の何れかに記載の画像投影方法。
【請求項17】
当該プロジェクター手段により当該所定の画像表示領域に投射される画像は動画像及び/又は静止画像であり、当該複数種類の動画像及び静止画像は、当該投影画像描画制御手段に接続された適宜の記憶手段内に予め記憶されている事を特徴とする請求項1乃至16の何れかに記載の画像投影方法。
【請求項18】
当該投影画像描画制御手段は、常時、リアルタイムで、当該選択された画像表示領域に対して、当該モーションキャプチャーデータ処理手段から出力される当該選択された画像表示領域に関する位置情報及び当該画像表示領域の画像表示領域面の形状及び/又は投射方向に対する角度等の画像表示領域情報に基づいて、当該選択された画像を、現時点に於ける当該選択された画像表示領域の状況に合わせた最適な画像となる様に描画処理し、当該描画処理した当該画像を当該選択された画像表示領域に投射する様に構成されている事を特徴とする請求項11乃至17の何れかに記載の画像投影方法。
【請求項19】
当該プロジェクター手段の投射領域内に配置されている少なくとも2つの独立した画像表示領域のそれぞれの画像表示領域に対して、同一若しくは相互に異なる画像が個別に投影される事を特徴とする請求項1乃至18の何れかに記載の画像投影方法。
【請求項20】
複数個のプロジェクター手段が設けられており、当該個々のプロジェクター手段は、個別に、当該個々の独立した画像表示領域の一部若しくは全部に、選択された個々の画像を投射する様に構成されている事を特徴とする請求項1乃至19の何れかに記載の画像投影方法。
【請求項21】
当該変位動作は、当該個々の独立した画像表示領域に於ける当該移動、回転、旋回、振動等に於ける動作の加速度である事を特徴とする請求項12乃至20の何れかに記載の画像投影方法。
【請求項22】
少なくとも一つのプロジェクター手段、当該プロジェクター手段の投射領域空間内に配置されている少なくとも1つの独立した画像表示領域、当該個々の画像表示領域の少なくとも一つの動きを検出するモーションキャプチャー手段、モーションキャプチャー手段と接続されているモーションキャプチャーデータ処理手段、当該モーションキャプチャーデータ処理手段及び当該プロジェクター手段と接続されている投影画像描画制御手段及び当該投影画像描画制御手段に接続されている画像情報格納手段とから構成されている画像投影システムに於いて、当該モーションキャプチャー手段は、少なくとも一つ、好ましくは複数個の、当該此処の画像表示領域の周辺部に配置されているモーションキャプチャーカメラを含んでおり、当該モーションキャプチャーデータ処理手段は、当該モーションキャプチャーカメラにより捕捉された当該それぞれの画像表示領域に配置された個々のマーカーに於ける3次元位置情報に基づいて、当該個々の画像表示領域毎の当該空間領域内於ける存在位置及び当該個々の画像表示領域の画像表示領域面の形状及び/又は投射方向に対する角度等を含む画像表示領域面情報を演算処理してリアルタイムで決定する画像表示領域面情報発生手段と、が設けられており、一方、当該投影画像描画制御手段には、当該プロジェクター手段選択手段と、当該複数個の画像表示領域より選択された少なくとも一つの画像表示領域を選択する画像表示領域選択手段と、当該画像情報格納手段から投射すべき少なくとも一つの画像情報を選択する画像情報選択手段と、当該選択された一つの画像表示領域に関する当該画像表示領域面情報を当該モーションキャプチャーデータ処理手段より取り込む画像表示領域情報取得手段と、当該選択された投射すべき少なくとも一つの画像情報を、当該画像表示領域面情報を基にして、当該選択された一つの画像表示領域内に投影するに適した画像情報に修正する描画処理手段と、当該描画処理手段により修正された当該選択された画像情報を当該選択されたプロジェクター手段を介して、当該選択された画像表示領域に投射する様に指示を行う投射指示手段と、当該画像表示領域の移動を検出し、当該画像表示領域の移動先での当該画像表示領域に関する画像表示領域面情報を基に、当該選択された画像情報を当該移動先での当該画像表示領域に適した画像情報に修正する描画処理を行って再投影処理する手段と、を有する事を特徴とする画像投影装置。
【請求項23】
当該動作状態発生検出手段と、当該動作状態発生報知手段とが、当該投影画像描画制御手段内に設けられている事を特徴とする請求項22に記載の画像投影装置。
【請求項24】
少なくとも一つのプロジェクター手段、当該プロジェクター手段の投射領域空間内に配置されている少なくとも1つの独立した画像表示領域、当該個々の画像表示領域の少なくとも一つの動きを検出するモーションキャプチャー手段、モーションキャプチャーデータ処理手段及び投影画像描画制御手段とから構成されている画像投影システムに於いて、
使用される当該プロジェクター手段を選択する第1の工程、
当該プロジェクター手段の投射領域空間内に配置されている当該少なくとも1つの画像表示領域の当該投射領域空間内に於ける3次元位置情報を、当該各画像表示領域に設けられているマーカー手段と当該モーションキャプチャーデータ処理手段に接続されているモーションキャプチャーカメラを介して検出する第2の工程、
当該プロジェクター手段の投射領域空間内に配置されている当該画像表示領域の少なくとも一つを選択する第3の工程、
当該選択された画像表示領域に関する、当該投射領域空間内に配置されている存在位置及び当該画像表示領域面の形状、面積及び/又は投射方向に対する角度等の画像表示領域面情報をリアルタイムで検出する第4の工程、
当該選択された少なくとも一つの画像表示領域に対して投影すべき少なくとも一つの画像を選択する第5の工程、
当該選択された投射すべき画像を、当該投影画像描画制御手段により、当該選択された画像表示領域の当該画像表示領域面情報に基づいて、当該選択された画像表示領域に投影するに適した画像情報に修正する為の描画処理を行う第6の工程(尚、選択されていない他の、画像表示領域に対しては、画像投影は行わない。)
当該選択されて、当該投影画像描画制御手段により修正描画処理された修正投射画像を、当該プロジェクター手段を介して、当該選択された画像表示領域に投射する第7の工程、
その後、当該描画処理された当該画像が投射されている当該選択された画像表示領域の当該投射領域空間内に於ける3次元位置情報を、当該モーションキャプチャー手段を介してリアルタイムで再モニターする第8の工程、
先に検出された当該画像表示領域の当該3次元位置情報と、今回検出された当該画像表示領域の当該3次元位置情報とから、当該画像表示領域が動いたか否かを判断する第9の工程、
画像表示領域が動いた場合に、当該画像表示領域が今回移動した位置に於ける当該画像表示領域の新たな当該画像表示領域面情報をリアルタイムで検出する第10の工程、
当該選択された投射すべき画像を、当該投影画像描画制御手段により、当該選択された画像表示領域の新たに移動した移動先での当該画像表示領域に関する当該画像表示領域面情報に基づいて、当該選択された画像表示領域に投影するに適した画像情報に修正する為の描画処理を行う第11の工程、
当該描画処理された当該選択された投射すべき画像を、移動先の当該画像表示領域に当該プロジェクター手段を介して投影する第12の工程、
その後、当該画像表示領域が更に移動したか否かを検出する第13の工程、及び
当該移動が検出された場合に、上記第8の工程乃至第13の各工程を繰り返す第14の工程、
と、で構成されている特徴とする画像投影システム。
【請求項25】
請求項24に記載されている第1の工程乃至第15の工程の各機能をコンピューターで実現させる様に構成した事を特徴とする画像投影システム用プログラム。
【請求項26】
少なくとも一つのプロジェクター手段、当該プロジェクター手段の投射領域内に配置されている少なくとも2つの独立した画像表示領域、当該個々の画像表示領域の少なくとも一つの動きを検出するモーションキャプチャー手段及び投影画像描画制御手段とから構成されている画像投影システムに於いて、一つの当該プロジェクター手段が、少なくとも選択された一つの第1の画像を、少なくとも選択された一つの第1の画像表示領域に投影するように操作されている状態に於いて、当該第1の画像表示領域に投影されている当該第1の画像上に、予め選択されている所定の動作状態の発生が検出された場合には、当該動作状態の発生を検出する特定の検出信号に応答して、瞬時に(リアルタイムに)当該第1の画像表示領域に投影されている当該第1の画像を、当該第1の画像表示領域とは異なる第2の画像表示領域に移動させて、第2の画像表示領域内で当該第1の画像の投影を継続する様に構成されている事を特徴とする請求項1乃至21に記載の画像投影方法。
【請求項27】
当該所定の画像表示領域に現在投射されている画像上に、予め選択されている所定の動作状態が発生しているか否かをリアルタイムで検出する手段は、当該画像表示領域が、平面的に若しくは立体的に移動、回転或は旋回の少なくとも何れかの変位動作の程度を当該画像表示領域情報に基づいてリアルタイムに演算して求める手段と、当該求められた当該画像表示領域の変位動作が、予め設定されている所定の閾値(しきい値)を超えているか否かを判断する手段と、から構成されている事を特徴とする請求項26に記載の画像投影システム。
【請求項28】
当該画像表示領域の変位動作は、当該画像表示領域に於ける変位動作の加速度である事を特徴とする請求項27に記載の画像投影システム。
【請求項29】
少なくとも一つのプロジェクター手段、当該プロジェクター手段の投射領域空間内に配置されている少なくとも2つの独立した画像表示領域、当該個々の画像表示領域の少なくとも一つの動きを検出するモーションキャプチャー手段、モーションキャプチャー手段と接続されているモーションキャプチャーデータ処理手段、当該モーションキャプチャーデータ処理手段及び当該プロジェクター手段と接続されている投影画像描画制御手段及び当該投影画像描画制御手段に接続されている画像情報格納手段とから構成されている画像投影システムに於いて、当該モーションキャプチャー手段は、少なくとも一つ、好ましくは複数個の、当該此処の画像表示領域の周辺部に配置されているモーションキャプチャーカメラを含んでおり、当該モーションキャプチャーデータ処理手段は、当該モーションキャプチャーカメラにより捕捉された当該それぞれの画像表示領域に配置された個々のマーカーに於ける3次元位置情報に基づいて、当該個々の画像表示領域毎の当該空間領域内於ける存在位置及び当該個々の画像表示領域の画像表示領域面の形状及び/又は投射方向に対する角度等を含む画像表示領域情報を演算処理してリアルタイムで決定する画像表示領域面情報発生手段と、当該個々の画像表示領域面に関する当該画像表示領域面情報に基づいて、当該投射されている画像上に、予め選択されている所定の動作状態が発生しているか否かをリアルタイムで演算処理して決定する動作状態発生検出手段と、当該投射されている画像表示領域に投影されている当該画像上に、予め選択されている所定の動作状態の発生が検出された場合には、当該動作状態の発生を報知する特定の検出信号を出力する動作状態発生報知手段とが設けられており、一方、当該投影画像描画制御手段には、当該プロジェクター手段選択手段と、当該複数個の画像表示領域より選択された少なくとも一つの画像表示領域を選択する画像表示領域選択手段と、当該画像情報格納手段から投射すべき少なくとも一つの画像情報を選択する画像情報選択手段と、当該選択された一つの画像表示領域に関する当該画像表示領域情報を当該モーションキャプチャーデータ処理手段より取り込む画像表示領域情報取得手段54と、当該選択された投射すべき少なくとも一つの画像情報を、当該画像表示領域情報を基にして、当該選択された一つの画像表示領域内に投影するに適した画像情報に修正する描画処理手段と、当該描画処理手段により修正された当該選択された画像情報を当該選択されたプロジェクター手段を介して、当該選択された画像表示領域に投射する様に指示を行う投射指示手段と、当該モーションキャプチャーデータ処理手段から出力される、当該選択された一つの画像表示領域に於ける所定の動作状態の発生を報知する当該特定の検出信号を検知した場合には、当該特定の検出信号に応答して、瞬時に(リアルタイムに)、当該画像が選択投影されている画像表示領域とは異なる別の画像表示領域を別途選択する別の画像表示領域選択手段と、当該別途選択された当該画像表示領域に関する画像表示領域情報を当該モーションキャプチャーデータ処理手段から取り込む異なる画像表示領域情報取り込み手段と、当該取り込まれた、別途選択された当該画像表示領域に関する画像表示領域情報に基づいて、当該選択投影されている画像を、当該別途選択された画像表示領域内に投影するに適した画像情報に修正する別の描画処理手段と、当該別の描画処理手段により修正された当該選択された画像情報を、当該選択されたプロジェクター手段を介して、瞬時に(リアルタイムに)、当該別途選択された画像表示領域に投射する指示を行う別の投射指示手段、とを有する事を特徴とする請求項22に記載の画像投影装置。
【請求項30】
当該動作状態発生検出手段と、当該動作状態発生報知手段とが、当該投影画像描画制御手段内に設けられている事を特徴とする請求項29に記載の画像投影装置。
【請求項31】
当該所定の画像表示領域に現在投射されている画像上に、予め選択されている所定の動作状態が発生しているか否かをリアルタイムで検出する手段は、当該画像表示領域が、平面的に若しくは立体的に移動、回転或は旋回の少なくとも何れかの変位動作の程度を当該画像表示領域情報に基づいてリアルタイムに演算して求める手段と、当該求められた当該画像表示領域の変位動作が、予め設定されている所定の閾値(しきい値)を超えているか否かを判断する手段と、から構成されている事を特徴とする請求項29又は30に記載の画像投影システム。
【請求項32】
当該画像表示領域の変位動作は、当該画像表示領域に於ける変位動作の加速度である事を特徴とする請求項31に記載の画像投影システム。
【請求項33】
少なくとも一つのプロジェクター手段、当該プロジェクター手段の投射領域空間内に配置されている少なくとも2つの独立した画像表示領域、当該個々の画像表示領域の少なくとも一つの動きを検出するモーションキャプチャー手段、モーションキャプチャーデータ処理手段及び投影画像描画制御手段とから構成されている画像投影システムに於いて、
使用される当該プロジェクター手段を選択する第21の工程、
当該プロジェクター手段の投射領域空間内に配置されている当該全ての画像表示領域の当該投射領域空間内に於ける3次元位置情報を、当該全ての画像表示領域に設けられているマーカーと当該モーションキャプチャーデータ処理手段に接続されているモーションキャプチャーカメラを介して検出する第22の工程、
当該プロジェクター手段の投射領域空間内に配置されている当該画像表示領域の少なくとも一つを選択する第23の工程、
当該選択された画像表示領域に関する、当該投射領域空間内に配置されている存在位置及び当該画像表示領域面の形状及び/又は投射方向に対する角度等の画像表示領域面情報をリアルタイムで表示する第24の工程、
当該選択された少なくとも一つの画像表示領域に対して投影すべき少なくとも一つの画像を選択する第25の工程、
当該選択された投射すべき画像を、当該投影画像描画制御手段により、当該選択された画像表示領域の当該画像表示領域面情報に基づいて、当該選択された画像表示領域に投影するに適した画像情報に修正する為の描画処理を行う第26の工程(尚、選択されていない他の、画像表示領域に対しては、画像投影は行わない。)
当該選択されて、当該投影画像描画制御手段により修正描画処理された修正投射画像を、当該プロジェクター手段を介して、当該選択された画像表示領域に投射する第27の工程、
当該描画処理された当該画像が投射されている当該選択された画像表示領域の当該投射領域空間内に於ける当該画像に関する3次元位置情報を、当該モーションキャプチャー手段を介してリアルタイムでモニターする第28の工程、
当該画像表示領域の当該投射領域空間内に於ける3次元位置情報に所定の動作状態が発生しているか否かを検出する第29の工程、
当該画像表示領域に関する当該所定の動作状態が発生した場合、当該所定の動作状態が予め設定されているしきい値を超えているか否かを判断する第30の工程、
当該画像表示領域(第1の画像表示領域)に関する動作状態が予め設定されているしきい値を超えている場合には、当該選択されている画像が投射されている当該画像表示領域(第1の画像表示領域)とは異なる、当該プロジェクター手段の当該投射領域空間内に配置されている他の画像表示領域(第2の画像表示領域)を選択する第31の工程、
当該選択された他の画像表示領域(第2の画像表示領域)に関する当該画像表示領域面情報を当該モーションキャプチャーデータ処理手段から選択する第32の工程、
当該選択された他の画像表示領域(第2の画像表示領域)に関する当該画像表示領域面情報に基づいて、当該画像表示領域(第1の画像表示領域)に投影されている当該修正投射画像を、当該投影画像描画制御手段により、当該選択された他の画像表示領域(第2の画像表示領域)に投影するに適した画像情報に修正する為の描画処理を行う第33の工程、
当該画像表示領域(第1の画像表示領域)に対する当該先の修正投射画像の投射操作を中止し、当該選択された他の画像表示領域(第2の画像表示領域)に対して、新たに描画処理された修正画像を投射する第34の工程、
上記各工程を繰り返す第35の工程、
と、で構成されている特徴とする画像投影システム。
【請求項34】
請求項33に記載されている第20の工程乃至第35の工程の各機能をコンピューターで実現させる様に構成した事を特徴とする画像投影システム用プログラム。
【請求項35】
当該少なくとも一つのプロジェクター手段が移動可能に構成されている事を特徴とする請求項1乃至21及び28の何れかに記載の画像投影方法。
【請求項36】
当該移動可能に構成されているプロジェクター手段には、マーカーが設けられている事を特徴とする請求項35に記載の画像投影方法。
【請求項37】
当該移動可能に構成されているプロジェクター手段の3次元空間に於ける存在位置は、当該個々の画像表示領域の3次元空間位置情報を規定している原点(0点)と共通の原点に基づいて規定されるものである事を特徴とする請求項35及び36に記載の画像投影方法。
【請求項38】
当該マーカーの中心点と当該プロジェクター手段に於ける投射原点との間のオフセット値を0にする演算処理が実行される事を特徴とする請求項35乃至37の何れかに記載の画像投影方法。
【請求項39】
マーカーを付与された移動可能な携帯式プロジェクター手段
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像投影方法及び画像投影システムに関するものであり、特に詳しくは、所定のプロジェクター手段により、一つの被投影物に対して所定の画像が投影されている場合に於いて、当該所定の画像が示す所定の動きに応答して、リアルタイムに、別の被投影物に対して当該所定の画像若しくはそれと異なる画像が投影される様に構成された画像投影方法及び画像投影システムに関するものである。
【背景技術】
【0002】
従来より、所望の画像データを所望のスクリーン(画像表示領域)上に表示して情報を第3者に伝達する方法は、一般的に知られており、それに関連する種々のシステムや装置が開発されて来ている。
然しながら、従来公知の当該画像表示システムは、固定された平面的なスクリーン(画像表示領域)上に、公知のプロジェクター手段を使用して、予め選択された所望の画像(静止画像及び動画像)を単に、連続的に或は間歇的に投影するに過ぎず、ズーム機能を活用して、同一の画像を拡大・縮小させる処理行って、当該表示画像に変化を与えることが出来る程度であり、又、複数種類の画像を連続的に或は間歇的に、当該固定された平面的なスクリーン(画像表示領域)上で投影しながら変化させる場合には、予め所望の画像を、表示する時間軸に沿って順番に所定のメモリー手段に記憶させておき、それに従って、順次に表示する事は可能であるが、何れにしても、予め設定されたシナリオに沿って、準備された画像が、単にそのシナリオに沿って、順番に表示されるに過ぎないので、当該画像表示効果は、極めて単純で、面白みに欠けているという欠点があった。
【0003】
そのため、従来より、任意の時点で、任意の画像を、任意の形式で、任意の画像表示領域に投影することによって、当該画像表示操作をアトラクティブに演出する事が可能な画像投影方法が関連業界で強く要望されて来ている。
係る従来の問題点を改良する方法として、例えば、特開2013−222280号公報(特許文献1)が知られている。
当該特許文献1に於いては、プロジェクターを使用して、所望の画像を所望のスクリーンSCに投影するシステムにおいて、操作デバイスの一つである、指示体70による、スクリーンSCに対する位置指示操作を検出し、検出した操作の位置に基づき画像の生成または更新を行い、当該スクリーンSCに投射する画像を更新させる様に構成するとともに、当該指示体70の当該スクリーンSCに対する配置姿勢を検出し、指示体70の配置姿勢が、描画の生成或は更新操作を実行できない状態にあると判定された場合に、当該描画手段による画像の生成或は更新処理を実行しないように構成した画像表示処理方法が開示されている。
【0004】
然しながら、当該特許文献1に於いては、固定された平面上のスクリーンSCを使用するものであると同時に、当該指示体70が、当該スクリーンSCに当接した際に、当該指示体70の操作スイッチが稼働して、当該指示体70の動きを当該スクリーンSC上に線状に二次元的に描画したり、当該スクリーンSC上に表示されている複数種の機能ボタンを選択させて、当該機能に対応する画像操作が実行されるか、当該プロジェクター手段に描画操作を行わせずに、当該プロジェクター手段とは別に設けられているパソコンより、当該プロジェクター手段を動作させて、予め作成されている、二次元的な画像情報を所定の順序に従って、当該スクリーンSC上に投射する様に構成された画像表示処理方法が開示されてはいるが、3次元空間内に配置された複数個の画像表示領域を任意に選択し、当該選択された特定の画像表示領域に対して、任意の画像情報を、特定のタイミングに従って、別の画像表示領域に移動して表示させると言う、動的でアトラクティブで、且つインターアクティブな画像表示動作を実現させる技術に関しては、何らの開示も示唆も見当たらないのである。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2013−222280号
【発明の概要】
【発明が解決しようとする課題】
【0006】
従って、本発明の目的は、上記した従来技術の問題点を解決し、3次元空間内に配置された複数個の画像表示領域の中から任意の当該画像表示領域を選択し、当該選択された特定の画像表示領域に対して、選択された任意の画像情報を、投影操作している間に、特定のタイミングに従って、当該選択された特定の画像表示領域に投影されている当該選択された画像情報を、瞬時に且つリアルタイムに、別の画像表示領域に移動させて表示を継続させると言う、動的で、アトラクティブで、且つインターアクティブな画像表示動作を実現させる画像投影方法及びそのシステムを提供しようとするものである。
【0007】
換言するならば、本発明は、様々な演出効果の可能性を広げることが出来る動体としての当該画像表示領域への所望の画像をマッピングする事を可能ならしめる新規な画像投影技術を提供するものであり、それによって、従来、実現が不可能であった、様々なアトラクティブな演出効果の可能性を広げることが出来る画像投影技術を提供するものである。
【0008】
更に付言するならば、本発明は、従来の画像投射技術が、特定の固定された画像を固定され、静止されている画像表示領域、つまり、スクリーン手段に投影する、例えばプロジェクションマッピング等の方法で有ったのに対し、当該画像表示領域を動体として当該画像表示領域を動かしながら当該画像表示領域上に、二次元的では無く、3次元的な画像情報を投射してプロジェクションマッピングが実行される事により、動的、立体的でアトラクティブで意外性に富んだプロジェクションマッピングが行える画像投影技術を提供するものである。
【課題を解決するための手段】
【0009】
本発明は、上記した目的を達成するため、以下に記載されたような、基本的な技術構成を採用するものである。
即ち、本発明の基本的な技術思想の第1の態様としては、少なくとも一つのプロジェクター手段、当該プロジェクター手段の投射領域内に配置されている少なくとも2つの独立した画像表示領域、当該個々の画像表示領域の少なくとも一つの動きを検出するモーションキャプチャー手段及び投影画像描画制御手段とから構成されている画像投影システムに於いて、一つの当該プロジェクター手段が、少なくとも選択された一つの第1の画像を、少なくとも選択された一つの第1の画像表示領域に投影するように操作されている状態に於いて、当該第1の画像表示領域に投影されている当該第1の画像上に、予め選択されている所定の動作状態の発生が検出された場合には、当該動作状態の発生を検出する特定の検出信号に応答して、瞬時に(リアルタイムに)当該第1の画像表示領域に投影されている当該第1の画像を、当該第1の画像表示領域とは異なる第2の画像表示領域に移動させて、第2の画像表示領域内で当該第1の画像の投影を継続する様に構成されている事を特徴とする画像投影方法であり、又、本発明に係る 第2の態様としては、少なくとも一つのプロジェクター手段、当該プロジェクター手段の投射領域空間内に配置されている少なくとも2つの独立した画像表示領域、当該個々の画像表示領域の少なくとも一つの動きを検出するモーションキャプチャー手段、モーションキャプチャーデータ処理手段及び投影画像描画制御手段とから構成されている画像投影システムに於いて、
使用される当該プロジェクター手段を選択する第1の工程、
当該プロジェクター手段の投射領域空間内に配置されている当該全ての画像表示領域の当該投射領域空間内に於ける3次元位置情報を、当該全ての画像表示領域に設けられているマーカーと当該モーションキャプチャーデータ処理手段に接続されているモーションキャプチャーカメラを介して検出する第2の工程、
当該プロジェクター手段の投射領域空間内に配置されている当該画像表示領域の少なくとも一つを選択する第3の工程、
当該選択された画像表示領域に関する、当該投射領域空間内に配置されている存在位置及び当該画像表示領域面の形状及び/又は投射方向に対する角度等の画像表示領域面情報をリアルタイムで表示する第4の工程、
当該選択された少なくとも一つの画像表示領域に対して投影すべき少なくとも一つの画像を選択する第5の工程、
当該選択された投射すべき画像を、当該投影画像描画制御手段により、当該選択された画像表示領域の当該画像表示領域面情報に基づいて、当該選択された画像表示領域に投影するに適した画像情報に修正する為の描画処理を行う第6の工程(尚、選択されていない他の、画像表示領域に対しては、画像投影は行わない。)
当該選択されて、当該投影画像描画制御手段により修正描画処理された修正投射画像を、当該プロジェクター手段を介して、当該選択された画像表示領域に投射する第7の工程、
当該描画処理された当該画像が投射されている当該選択された画像表示領域の当該投射領域空間内に於ける3次元位置情報を、当該モーションキャプチャー手段を介してリアルタイムでモニターする第8の工程、
当該画像表示領域の当該投射領域空間内に於ける3次元位置情報に所定の動作状態が発生しているか否かを検出する第9の工程、
当該画像表示領域に関する当該所定の動作状態が発生した場合、当該所定の動作状態が予め設定されているしきい値を超えているか否かを判断する第10の工程、
当該画像表示領域(第1の画像表示領域)に関する動作状態が予め設定されているしきい値を超えている場合には、当該選択されている画像が投射されている当該画像表示領域(第1の画像表示領域)とは異なる、当該プロジェクター手段の当該投射領域空間内に配置されている他の画像表示領域(第2の画像表示領域)を選択する第11の工程、
当該選択された他の画像表示領域(第2の画像表示領域)に関する当該画像表示領域面情報を当該モーションキャプチャーデータ処理手段から選択する第12の工程、
当該選択された他の画像表示領域(第2の画像表示領域)に関する当該画像表示領域面情報に基づいて、当該画像表示領域(第1の画像表示領域)に投影されている当該修正投射画像を、当該投影画像描画制御手段により、当該選択された他の画像表示領域(第2の画像表示領域)に投影するに適した画像情報に修正する為の描画処理を行う第13の工程、
当該画像表示領域(第1の画像表示領域)に対する当該先の修正投射画像の投射操作を中止し、当該選択された他の画像表示領域(第2の画像表示領域)に対して、新たに描画処理された修正画像を投射する第14の工程、
上記各工程を繰り返す第15の工程、
と、で構成されている特徴とする画像投影システムである。
【0010】
更に、本発明に係る基本的技術思想の第3の態様としては、少なくとも一つのプロジェクター手段、当該プロジェクター手段の投射領域空間内に配置されている少なくとも2つの独立した画像表示領域、当該個々の画像表示領域の少なくとも一つの動きを検出するモーションキャプチャー手段、モーションキャプチャー手段と接続されているモーションキャプチャーデータ処理手段、当該モーションキャプチャーデータ処理手段及び当該プロジェクター手段と接続されている投影画像描画制御手段及び当該投影画像描画制御手段に接続されている画像情報格納手段とから構成されている画像投影システムに於いて、当該モーションキャプチャー手段は、少なくとも一つ、好ましくは複数個の、当該此処の画像表示領域の周辺部に配置されているモーションキャプチャーカメラを含んでおり、当該モーションキャプチャーデータ処理手段は、当該モーションキャプチャーカメラにより捕捉された当該それぞれの画像表示領域に配置された個々のマーカーに於ける3次元位置情報に基づいて、当該個々の画像表示領域毎の当該空間領域内於ける存在位置及び当該個々の画像表示領域の画像表示領域面の形状及び/又は投射方向に対する角度等を含む画像表示領域情報を演算処理してリアルタイムで決定する画像表示領域情報発生手段と、当該個々の画像表示領域に関する当該画像表示領域情報に基づいて、当該投射されている画像上に、予め選択されている所定の動作状態が発生しているか否かをリアルタイムで演算処理して決定する動作状態発生検出手段と、当該投射されている画像表示領域に投影されている当該画像上に、予め選択されている所定の動作状態の発生が検出された場合には、当該動作状態の発生を報知する特定の検出信号を出力する動作状態発生報知手段とが設けられており、一方、当該投影画像描画制御手段には、当該プロジェクター手段選択手段と、当該複数個の画像表示領域より選択された少なくとも一つの画像表示領域を選択する画像表示領域選択手段と、当該画像情報格納手段から投射すべき少なくとも一つの画像情報を選択する画像情報選択手段と、当該選択された一つの画像表示領域に関する当該画像表示領域情報を当該モーションキャプチャーデータ処理手段より取り込む画像表示領域情報取得手段54と、当該選択された投射すべき少なくとも一つの画像情報を、当該画像表示領域情報を基にして、当該選択された一つの画像表示領域内に投影するに適した画像情報に修正する描画処理手段と、当該描画処理手段により修正された当該選択された画像情報を当該選択されたプロジェクター手段を介して、当該選択された画像表示領域に投射する様に指示を行う投射指示手段と、当該モーションキャプチャーデータ処理手段から出力される、当該選択された一つの画像表示領域に於ける所定の動作状態の発生を報知する当該特定の検出信号を検知した場合には、当該特定の検出信号に応答して、瞬時に(リアルタイムに)、当該画像が選択投影されている画像表示領域とは異なる別の画像表示領域を別途選択する別の画像表示領域選択手段と、当該別途選択された当該画像表示領域に関する画像表示領域情報を当該モーションキャプチャーデータ処理手段から取り込む異なる画像表示領域情報取り込み手段と、当該取り込まれた、別途選択された当該画像表示領域に関する画像表示領域情報に基づいて、当該選択投影されている画像を、当該別途選択された画像表示領域内に投影するに適した画像情報に修正する別の描画処理手段と、当該別の描画処理手段により修正された当該選択された画像情報を、当該選択されたプロジェクター手段を介して、瞬時に(リアルタイムに)、当該別途選択された画像表示領域に投射する指示を行う別の投射指示手段、とを有する事を特徴とする画像投影装置である。
【発明の効果】
【0011】
本発明に係る当該画像投影方法、当該画像投影システム及び当該画像投影装置によれば、上記した様な基本的技術構成を採用した結果、簡易な構成でありながら、少なくとも一つのプロジェクター手段に対して、複数個の画像表示領域を配置し、当該3次元空間内に配置された当該複数個の画像表示領域の中から任意の当該画像表示領域を選択し、当該選択された特定の画像表示領域に対して、任意の画像情報を、継続的に投影操作を実行している間に、特定のタイミングに従って、当該選択された特定の画像表示領域で投影されている当該選択された画像情報を、瞬時に且つリアルタイムに、別の画像表示領域に移動させて表示させると言う、動的で、アトラクティブで、且つインターアクティブな画像表示動作を実現させる画像投影方法及びそのシステムを提供する事が可能となる。
【0012】
つまり、本発明によれば動的な投影物に対してプロジェクションマッピングが可能になり、従来では、当該プロジェクションマッピングでは、今迄まで表現が難しかったインタラクティブな映像演出を可能する事が出来る。
換言するならば、本発明は、様々な演出効果の可能性を広げることが出来る、動体としての当該画像表示領域への、所望の画像情報をマッピング処理する事を可能ならしめるものであり、それによって、従来、実現が不可能であった、様々なアトラクティブな演出効果の可能性を広げることが出来る画像投影技術が提供される事になる。
【0013】
更に付言するならば、本発明は、従来の画像投射技術が、特定の固定された画像を固定され、静止されている画像表示領域、つまり、スクリーン手段に投影する、例えばプロジェクションマッピング等の方法で有ったのに対し、当該画像表示領域を動体として当該画像表示領域を動かしながら当該画像表示領域上に、二次元的では無く、3次元的な画像情報を投射してプロジェクションマッピングが実行される事により、動的、立体的でアトラクティブで意外性に富んだプロジェクションマッピングが行える画像投影技術を提供するものである。
【0014】
一方、従来に於いては、動いている物への投影を表現しょうとすると被投影体の動きを制御するモーションコントロール機能を備えた制御機で動きをプログラミングし且その動きに同期した投影映像を被投影体の動きに合わせたタイミングで投影する必要があり非常に複雑で実現が困難な表現方法であったが、発明に於いては、タイミングなどを合わせる必要がなく容易に制御出来るのみならず、被投影体の動きを制御する制御手段を使用しなくても実現できるので装置自体が簡易出且つ小型化されると言う効果が発揮される。
【0015】
換言するならば、本発明は、様々な演出効果の可能性を広げることが出来る動体としての当該画像表示領域への所望の画像をマッピングする事を可能ならしめる新規な画像投影技術を提供するものであり、それによって、従来、実現が不可能であった、様々なアトラクティブな演出効果の可能性を広げることが出来る画像投影技術を提供される。
【0016】
更に付言するならば、本発明は、従来の画像投射技術が、特定の固定された画像を固定され、静止されている画像表示領域、つまり、スクリーン手段に投影する、例えばプロジェクションマッピング等の方法で有ったのに対し、当該画像表示領域を動体として当該画像表示領域を動かしながら当該画像表示領域上に、二次元的では無く、3次元的な画像情報を投射してプロジェクションマッピングが実行される事により、動的、立体的でアトラクティブで意外性に富んだプロジェクションマッピングが行える画像投影技術を提供されるのである。
【図面の簡単な説明】
【0017】
図1図1(A)及び図1(B)は本発明に係る当該画像投影方法100の一具体例の構成を示すブロック図である。
図2図2は、本発明に係る当該画像投影方法100の一具体例に於けるセグメントの形成方法の例を説明する斜視図である。
図3図3(A)及び図3(B)は、本発明に係る当該画像投影方法100の一具体例に於ける画像のマッピング方法の例を説明する図である。
図4図4は、本発明に係る当該画像投影システム100に於けるモーションキャプチャーデータ処理手段8の構成の一例を説明するブロック図である。
図5図5は、本発明に係る当該画像投影システム100に於ける投影画像描画制御手段5の構成の一例を説明するブロック図である。
図6図6(A)及び図6(B)は、本発明に於ける当該画像投影システム100に於ける画像投影表示方法と従来技術の当該画像投影表示方法と相違を説明するブロック図である。
図7図7は、本発明に於ける当該画像投影システム100と従来技術に於けるプロジェクションマッピング方法の別の相違点を説明するブロック図である。
図8図8は、本発明に於ける於ける当該画像投影システム100に於ける画角の設定方法の一例を説明する図である。
図9図9は、本発明に係る当該画像投影システム100の工程手順を説明するフローチャートである。
図10図10は、本発明に於ける係る当該画像投影システム100に於いて使用される画像表示方法の別の具体例を説明する図である。
図11図11は、本発明に於ける当該画像投影システム100で使用される携帯式手のひらサイズのプロジェクター手段1の構造を説明するである。
図12図12は、本発明に於ける当該携帯式手のひらサイズのプロジェクター手段1を使用した当該画像投影方法の一例を説明する図である。
図13図13は、本発明に於ける当該携帯式手のひらサイズのプロジェクター手段1を使用した当該画像投影方法の別の例を説明する図である。
図14図14は、本発明に於ける当該携帯式手のひらサイズのプロジェクター手段1を使用した当該画像投影方法の更に別の例を説明する図である。
図15図15は、本発明に係る当該画像投影システム100に於ける投影画像描画制御手段5の構成の一例を説明するブロック図である。
図16図16(A)及び図16(B)は、本発明に於ける当該画像投影システム100に於ける1具体例の画像投影表示方法を説明するブロック図である。
図17図17は、本発明に於ける当該画像投影システム100に於けるプロジェクションマッピング方法の別の具体例を説明するブロック図である。
図18図18は、本発明に於ける於ける当該画像投影システム100に於ける更に別の一具体例を説明する図である。
図19図19は、本発明に係る当該画像投影システム100の更に他の具体例を説明する図である。
図20図20は、本発明に於ける係る当該画像投影システム100に於いて使用される画像表示方法の別の具体例を説明する図である。
図21図21は、本発明に於ける当該画像投影システム100で使用される異なる具体例を説明する図である。
図22図22は、本発明に於ける当該携帯式手のひらサイズのプロジェクター手段1を使用した当該画像投影方法の一例を説明する図である。
図23図23は、本発明に於ける更に別の具体例の構成を説明するための斜視図である。
図24図24は、本発明に於ける更に別の具体例の動作の手順を説明するフローチャートである。
図25図25は、本発明に於ける異なる具体例を説明する図である。
図26図26は、本発明に於ける更に異なる具体例を説明する図である。
図27図27は、本発明に於ける別の具体例を説明する図である。
図28図28は、本発明に於ける更に別の具体例を説明する図である。
図29図29は、本発明に於ける他の具体例を説明する図である。
図30図30は、本発明に於ける更に他の具体例を説明する図である。
図31図31は、本発明に於ける更に他の具体例を説明する図である。
図32図32は、本発明に於ける更に他の具体例を説明する図である。
図33図33は、本発明に於ける異なる具体例を説明する図である。
図34図34は、本発明に於ける更に異なる具体例を説明する図である。
【発明を実施するための形態】
【0018】
以下に本発明に係る当該画像投影方法の一具体例の構成を、図面を参照しながら詳細に説明する。
即ち、図1(A)は、本発明に於ける当該画像投影方法100を実現する為の画像投影システム100の基本的な構成の具体例を示すブロック図であって、図中、少なくとも一つのプロジェクター手段1、当該プロジェクター手段1の投射領域内2に配置されている少なくとも2つの独立した画像表示領域3、当該個々の画像表示領域3の少なくとも一つの動きを検出するモーションキャプチャー手段4及び投影画像描画制御手段5とから構成されている画像投影システム100に於いて、一つの当該プロジェクター手段1が、少なくとも選択された一つの第1の画像6を、少なくとも選択された一つの第1の画像表示領域31に投影するように操作されている状態に於いて、当該第1の画像表示領域31に投影されている当該第1の画像6上に、予め選択されている所定の動作状態61の発生が検出された場合には、当該動作状態61の発生を検出する特定の検出信号7に応答して、瞬時に(リアルタイムに)当該第1の画像表示領域31に投影されている当該第1の画像6を、当該第1の画像表示領域31とは異なる第2の画像表示領域32に移動させて、第2の画像表示領域32内で当該第1の画像6の投影を継続する様に構成されている事を特徴とする画像投影方法100を実施する為の構成を含むブロック図が示されている。
【0019】
尚、図1(A)に於いては、当該プロジェクター手段1の投射領域2の3次元立体空間22内には、3個の当該画像表示領域31乃至33が配置されている例を示したものであり、又、当該3個の画像表示領域31乃至33の内で、当該第1の画像表示領域31には、画像情報として画像Cが投影されており、当該第2の画像表示領域32には、画像情報は投影されておらず、又、当該第3の画像表示領域33には、画像情報として画像Aが投影されている状態で、当該第1の画像表示領域31が点線で示す位置に変位すると言う、特定の動作状態61が発生した場合に、当該第1の画像表示領域31に投影されている当該画像Cの画像情報を当該第2の画像表示領域32に移動させて投影操作が継続される様に構成されている具体例を示している。
【0020】
一方、図1(B)には、上記した、当該画像投影システムに於いて、当該モーションキャプチャー手段4として、複数個、本具体例では、4個のモーションキャプチャーカメラ41乃至44が当該複数個の画像表示領域のそれぞれを実質的にカバーして監視出来る様に、当該各画像表示領域の周辺部位に、個別独立的に配置されており、当該各モーションキャプチャーカメラ41乃至44が個別に検出した、当該各画像表示領域毎の当該プロジェクター手段1の投射領域2の3次元立体空間22内に於ける3次元位置情報及び各画像表示領域毎の特定の動作状態61が発生した事を検知した特定動作状態発生検知信号7とは、適宜のハブ手段45を介して、モーションキャプチャーデータ処理手段8に伝達される様に構成されており、更には、当該投影画像描画制御手段5は、当該モーションキャプチャーデータ処理手段8から出力される当該所定の画像表示領域31に特定動作状態発生した事を検知する検知信号7に応答して、当該第1の画像表示領域31に投影されている当該第1の画像Bを当該第2の画像表示領域32に移動させて、当該第2の画像表示領域内に当該第1の画像Bを投影し、その状態を継続させると言う具体例の構成が示されている。
係る具体例に於いて、元の画像表示領域に表示されていた画像は、消滅させても良く、或いは当該画像表示を継続させるものであっても良い。
本具体例では、当該特定動作状態発生した事を検知する検知信号7を図1及び図4図5に示す様に、当該モーションキャプチャーデータ処理手段8で発生させ、その信号を当該投影画像描画制御手段5に入力する例を示しているが、本発明に於いては、係る具体例に特定されるものではなく、当該モーションキャプチャーデータ処理手段8では、単に、特定の画像表示領域の動き状態を継続的にモニターする機能のみを付与しておき、当該特定の画像表示領域が、特定の動作状態を発生させたか否かの検知・判断手段と当該特定の動作状態発生報知手段とを当該投影画像描画制御手段5に設けて、当該投影画像描画制御手段5で、当該特定動作状態発生検知信号7を発生させるように構成したものであっても良い事は言うまでもない。
更に、本発明に於いける具体的が事例としては、例えば、一つの当該画像表示領域31を人が手に持って移動させている場合に於いて、当該人物が、当該画像表示領域31を、所定の方向に放り投げる様な動作をする事によって、それまで、当該画像表示領域31に投影されていた特定の画像情報を別の画像表示領域32に移動させるというアクション動作を実現出来る。
本発明では、更に、当該所定の画像表示領域31に投影されていた特定の画像を別の画像表示領域32に移動させる動作に同期させて、音声、音楽、チャイム等の音情報を発生させるように構成されたものであっても良い。
【0021】
尚、当該図1(B)に示される本発明に係る具体例に於いては、当該プロジェクター手段1の投射領域2の3次元立体空間22内には、2個の当該画像表示領域31及び32が配置されている例を示したものであり、且つ、当該第1の画像表示領域31には、第1の画像表示領域として、矩形立方体を形成した画像表示領域を有しており、外観出来る3つの画像表示面には、それぞれA,B及びCの画像情報が、個別に投影されており、当該第2の画像表示領域32には、何らの画像情報は投影されていない状況に於いて、当該第1の画像表示領域31が、矢印61に示す方向に移動して、新たな画像表示領域3’に移動した場合に、当該第1の画像表示領域31の主要投射面に投射されていた画像情報Bを当該第2の画像表示領域32に移動させ、当該第2の画像表示領域32内に於いて、当該画像情報Bの投影処理操作を継続する様に構成された例を示している。
尚、上記具体例に於いては、当該第1の画像表示領域31の主要投射面に投射されていた画像情報Bを当該第2の画像表示領域32に移動させた場合、当該第1の画像表示領域31の主要投射面に投射されていた画像情報Bは、消滅させても良く、或いは、そのまま残留させるものであっても良く、更には、他の画像と取り換える事も可能である。
【0022】
処で、本発明に於いて使用される当該複数個の画像表示領域3(31、32、33・・・・・)のそれぞれは、何れも、投影面部分が略平面であって、その平面形状は、矩形、円形、多角形、楕円形、台形等を含む任意の形状を有するものであるか、或いは、当該投影面部分が3次元的立体形状を呈し、球面、球体、多角面構成体を含む任意の立体構成物で構成されている事が望ましい。
つまり、本発明に於いては、当該画像表示領域3としては、人物像、動物像、その他一般的な立体形状を有する物体の全てを対象として選択出来るのである。
更に、本発明に於いては、当該複数個の画像表示領域3(表示領域3(31、32、33・・・・・)のそれぞれは、当該プロジェクター手段1が形成する個別の投射領域22内の3次元空間23内に、任意に且つ独立して存在しており、且つ個々の当該画像表示領域3(31、32、33・・・・・)のそれぞれは、独立的に任意の方向に移動可能に構成されている事も、好ましい具体例である。
【0023】
一方、本発明に於ける当該複数個の画像表示領域3(31、32、33・・・・・)のそれぞれには、個別的に、当該個々の画像表示領域3(31、32、33・・・・・)の範囲並びに当該投影領域22内の3次元空間23内に於ける存在位置を表示する為に、複数個のマーカー25が付与されている事が必要である。
そして、本発明に於ける当該個々のマーカー25は、それぞれ個別に3次元位置情報を有している事が望ましい。
【0024】
更に、本発明に於いては、当該モーションキャプチャー手段4を構成する一つ若しくは複数個のモーションキャプチャーカメラ41乃至44が常時、当該個々の画像表示領域3(31乃至33)毎に、当該個々の画像表示領域3(31乃至33)に配置されている当該マーカー25の存在位置を、3次元位置情報として検出し、当該個々の画像表示領域3の当該3次元位置情報をリアルタイムで当該画像投影システム100に設けられているモーションキャプチャーデータ処理手段8に報知する様に構成されている事が好ましい具体例の一つである。
【0025】
又、本発明に於ける当該画像投影システム100には、更に、当該モーションキャプチャーデータ処理手段8が設けられており、当該モーションキャプチャーデータ処理手段8は、当該モーションキャプチャーカメラ41乃至44が検出した、当該個々の画像表示領域3(31乃至33)毎の個々のマーカーの3次元位置情報から、当該個々の画像表示領域の当該空間領域内於ける存在位置及び当該個々の画像表示領域3(31乃至33)の画像表示領域面の形状及び/又は投射方向に対する角度等を含む画像表示領域情報26を演算処理してリアルタイムで決定する様に構成されている事が望ましい具体例の一つである。
【0026】
一方、本発明に於いては、当該個々の独立した画像表示領域3(31乃至33)は、任意の時点で、任意の方向に、移動、回転、旋回、振動等の変位動作を個別に実行できる様に構成されている事が望ましい。
本発明に於ける当該画像表示領域3の個々の変位動作として、当該移動とは、当該画像表示領域3の個々を、所定の方向に所定の長さだけ並行的に移動するものであり、又、当該回転とは、当該画像表示領域3の個々を、所定の適宜の点を中心として所定の方向に、所定の角度だけ、平面的に回転移動する事を示唆するものであり、更に、当該旋回とは、当該画像表示領域3(31乃至33)の何れかにいて、当該画像表示領域3を貫通する回転軸線に沿って、所定の角度だけ、旋回させる操作をそれぞれ示している。
又、本発明に於ける当該振動とは、当該個々の独立した画像表示領域3を任意の方向に急速に上下動や左右動、揺動させる動作を示す。
【0027】
又、本発明に於ける当該個々の独立した画像表示領域3(31乃至33)に於ける当該変位動作6は、任意のタイミングに於いて、適宜のプログラム等を利用して自動的若しくは手動的にそれぞれ独立的に実行されるものである。
例えば、当該画像表示領域3は、適宜の移動・変位可能な機械的装置(図示せず)に取り付けられていて、当該機械的装置を適宜のプログラムに従って、或いは、人為的入力操作によって、移動・変位させる事が可能である。
本発明に於いては、当該全ての画像表示領域3(31乃至33)に設けられている全てのマーカー25の当該3次元位置情報は、常時、リアルタイムで検出され、後述する様に、モーションキャプチャーデータ処理手段8に於いて、所定の演算処理が行われ、当該個々の画像表示領域3(31乃至33)の当該投影空間領域内於ける存在位置及び当該個々の画像表示領域3(31乃至33)の画像表示領域面の形状及び/又は投射方向に対する角度等を含む画像表示領域情報が、瞬時に且つリアルタイムで決定され、その結果が後述する投影画像描画制御手段5に送信される様に構成されている。
【0028】
同様に、当該モーションキャプチャーデータ処理手段8に於いては、当該全てのマーカー25からリアルタイムに送信されて来た当該個々の画像表示領域3に関する3次元位置情報を基に、当該個々の画像表示領域3に付いて、適宜の時間差を以て適宜の差分情報を演算処理することにより、当該個々の画像表示領域3に付いての、移動或いは変位等に関する変位動作情報6を得る事が出来る。
【0029】
本発明に於いては、後述する様に、係る変位動作情報6をリアルタイムで取得しながら、当該変位動作情報6の値を、予め定められた特定の閾値(しきい値)と比較して、当該変位動作情報6の値が、当該特定の閾値を超えたと判断された場合には、上記した様に、特定の動作状態発生検出信号7を当該モーションキャプチャーデータ処理手段8から出力させ、それが当該投影画像描画制御手段5に入力される事になる。
【0030】
一方、本発明に於いては、当該投射領域2内に複数個の当該画像表示領域3(31乃至33)が配置されている場合、全ての当該各画像表示領域3(31乃至33)に対して、同一の画像情報を投影する事も可能であり、又、相互に異なる画像情報を投影する事も可能である。
更には、その一部の当該画像表示領域3に対しては、画像情報の投影を行わず、ブラインド状態にしておく事も可能である。
【0031】
そして、本発明に於いて、例えば、図1(B)に示す様に、特定の画像表示領域3の一つである当該第1の画像表示領域31が、矢印61に示す方向に移動し変位した事に起因して、当該第1の画像表示領域31に対して当該特定の動作状態発生検出信号7が発生した場合には、当該第1の画像表示領域31にこれまで投影されていた画像情報である第1の画像情報Bを、これまでブラインド状態にあった当該第2の画像表示領域32の表示領域内に当該第1の画像情報Bを移動させ、そこに当該第1の画像情報Bを投影させ、その状態を継続させる事になる。
この場合、当該第1の画像表示領域31はブラインド状態としても良く、又、別途用意した第3の画像情報Xを投影するものであっても良い。
【0032】
同様に、本発明に於いては、上記した画像移転操作に於いて、当該第1の画像表示領域31とは異なる第2の画像表示領域32に表示される画像は、当該第1の画像情報Bとは異なる画像情報Yであっても良い。
つまり、本発明に於いては、当該プロジェクター手段1の投射領域2内に配置されている少なくとも2つの独立した画像表示領域31乃至33のそれぞれの画像表示領域に対しては、同一若しくは相互に異なる画像が個別に投影される事も可能である。
【0033】
本発明に於いては、当該モーションキャプチャー手段4は、複数個のモーションキャプチャーカメラ41乃至44を含んでいる事が望ましく、特に好ましくは3個或いは3個以上のモーションキャプチャーカメラ41乃至44を含んでいるものであって、当該それぞれのモーションキャプチャーカメラ41乃至44は、それぞれが当該個々の画像表示領域31乃至33の何れかの外周面の略全域が見渡せる様な部位に分散して配置されている事が望ましい。
そして、当該それぞれのモーションキャプチャーカメラ41乃至44は、当該プロジェクター手段1と共通の原点(X=0,Y=0,Z=0)を持っている事が必要である。
一方、本発明に於ける当該マーカー25は、当該複数個の画像表示領域31乃至33のそれぞれに付いて、個別的に、当該個々の画像表示領域31乃至33に対応する個別の識別子を有しており、当該マーカー25が、当該個々の画像表示領域31乃至33に対応してそれぞれグループ分けされている事が望ましい。
【0034】
一方、本発明に於いては、当該プロジェクター手段1により当該所定の画像表示領域31乃至33のそれぞれに対して投射される画像は動画像、アニメーション或いは静止画像であり、当該複数種類の動画像及び静止画像は、当該投影画像描画制御手段5に接続された適宜の記憶手段9内に予め記憶されている事が望ましい。
尚、本発明に於いては、3次元位置情報を取り扱うので、表示すべき当該画像は何れも2次元画像で有っても良く或いは3次元画像で有っても良いので、極めてアトラクティブな画像投影効果が得られる。
【0035】
更に、本発明においては、当該投影画像描画制御手段5は、常時、リアルタイムで、当該選択された画像表示領域31乃至33のそれぞれに対して、当該モーションキャプチャーデータ処理手段8から出力される当該選択された画像表示領域に関する位置情報及び当該画像表示領域の画像表示領域面の形状及び/又は投射方向に対する角度等の画像表示領域情報に基づいて、当該記憶手段9より選択された画像を、現時点に於ける当該選択された画像表示領域31乃至33の画像表示領域の状況に合わせた最適な画像となる様に描画処理し、当該描画処理した当該画像を当該選択された画像表示領域31乃至33に投射する様に構成されているものである。
【0036】
一方、本発明に於いては、当該一つのプロジェクター手段を使用する代わりに、図1(A)に示されている様に、複数個のプロジェクター手段1、1’が設けられている事も可能であり、当該個々のプロジェクター手段1、1’は、個別に、当該個々の独立した画像表示領域31乃至33の一部若しくは全部に、選択された個々の画像を投射する様に構成されている事も可能である。
【0037】
更に、本発明に於いて、当該特定の画像情報を当該所定の画像表示領域31から別の画像表示領域32に対して投影操作を移動変更する際に検出される当該変位動作は、当該個々の独立した画像表示領域31乃至33に於ける当該移動、回転、旋回、振動等に於ける移動長さ、回転角度、旋回角度で有っても良く、或いは当該移動速度、回転角速度、旋回角速度で有っても良く、或いは振動の振幅や振動回数等であっても良い。
又は、画像表示領域31乃至33の当該移動、回転、旋回等に於ける移動加速度、回転角加速度、旋回角加速度である事が望ましい。
何れにしても、上記した本発明に係る当該各処理操作、検出操作は、何れも当該画像表示領域3のそれぞれが、当該モーションキャプチャーカメラ41乃至44のキャプチャーエリア内のみにおいて有効である事は言うまでも無い。
【0038】
此処で、本発明に於いて使用される当該モーションキャプチャー手段4とそれぞれの当該画像表示領域3に取り付けられる当該マーカー25について説明する。
本発明に於いて使用される当該マーカー25の特性或いは製造材料等は特に限定されるものではなく、赤外線を反射出来る特性を有するもので有れば、一般的に市販されている材質のマーカーを使用する事が可能である。
当該マーカー5の大きさも特に限定されるものではないが、例えば、高解像度のカメラや、赤外線カメラにより検出可能な範囲として、縦横が5mm程度の大きさを有するもので有れば使用可能であり、この程度の大きさのもので有れば、第3者からの目視による認識が出来ないので、好都合である。
【0039】
そして、本発明に於いては、当該マーカー5を選択された当該画像表示領域31乃至33のそれぞれに取り付けるものであるが、取り付け方法は、それぞれの当該画像表示領域31乃至33に対して、少なくとも3か所、好ましくは4か所張り付けるものであり、当該マーカー5の貼り付け場所は、当該それぞれの当該画像表示領域31乃至33の角部とする事が望ましい。
例えば、当該画像表示領域32の様に、画像表示領域が平面形状を有する場合には、図1(B)に示す様に、矩形形状の4つの角部に当該マーカー25を配置する事が可能であるが、例えば、当該画像表示領域31の様に、画像表示領域が立体矩形の6面体形状を有している場合には、その主たる外観面で画像情報Bが投影されている面の4隅にマーカー25を取り付けるものである。
【0040】
一方、当該31に於けるその他の角部、及び外観上見えない角部に対しては、当該立体矩形6面体形状に付いての、縦、横、幅に関する長さ情報が知られていることを利用して、当該公知の補完手法を用いて、バーチャルマーカー25’を作成して添付する事が可能である。
つまり、例えばBOX状の当該画像表示領域31の底辺マーカーなどはモーションキャプチャー手段4のモーションキャプチャーカメラ41乃至44からでは撮影出来ない場所にあるので、そのような条件を補う為の手法である。
この手法で当該画像表示領域31に4点のマーカー25をつけるだけで隣接する面の頂点を疑似的に作り出す事が可能となる。
係る操作を実行する為に、例えば、モーションキャプチャーシステムに於いて一般的に使用されている“CORTEX”と称されているソフトを使用する事が出来る。
【0041】
当該それぞれのマーカー25間の相互関係に関しては、基本的には、マーカー25のつける場所が異なれば、マーカー間の距離が違うのでマーカー4点でも誤認識の可能性は低いので、同じマーカー数ででも違うグループと判断する事が可能であり、従って、マーカー25のつけ方とマーカー25の数により当該キャプチャーエリアに多数のグループを個別に認識させることが可能であるが、好ましくは、取り付けた当該画像表示領域31乃至33ごとにマーカー25をグループ分けする為に、グループ化されたマーカーグループに名前をつけ他のマーカーグループとの区別をつける事が望ましい。
【0042】
尚、本発明に於いては、当該それぞれの画像表示領域31乃至33に取り付けられたマーカー25から、当該各画像表示領域31乃至33の配置方向性と回転情報がわかるように、図2に示す様に、当該マーカーグループ25の3次元位置座標情報(XYZの座標値)をもとにセグメント30を疑似的に作成する事が望ましい具体例である。
具体的には、それぞれのマーカー25の中心点を直線で結びその交差点35上にセグメント30を作成するものである。
当該セグメント30はそれぞれのマーカー25の座標値を参照し、当該それぞれの画像表示領域31乃至33の方向情報と回転情報を検出する事が可能である。
【0043】
次に、本発明に於いて使用されるモーションキャプチャー手段4の構成の一具体例について説明する。
即ち、本発明に於ける当該モーションキャプチャー手段4としては、光学式を採用する事が望ましいが、必ずしもこれに限定されるものではなく、例えば、一般的に公知となっている「磁気式」、「機械式」、「慣性センサ式」、「画像認識式」などのさまざまな方式を使用する事が可能である。
然しながら、データの精度、汎用性、システムの使い勝手、拡張性、被験者への負担(拘束性)、システム設置場所の自由度などの点を考慮すると当該「光学式」システムが優れており、結果として現在では、この方式がモーションキャプチャ−システムの主流になっている。
当該システムでは、3次元位置座標値は、当該画像表示領域3の表面にマーカ25を貼るだけで計測できる為、キャプチャする動作に制限が少なく、複数のキャプチャも可能という利点もある。
【0044】
一方、当該「光学式」システムの欠点としては、反射マーカが複数台のカメラから見えていなければならないという原理的な問題であり、従って、当該マーカ25が隠れてしまう状況では当該所定の座標位置データが取れないことになる。
然しながら、上記した公知のシステムの制御ソフトである“CORTEX”では、隠れたマーカの位置を他のマーカから計算し補間することも可能で、隠れ状況によっては十分に対応できるようになっている。
具体的には、一般的に使用されているモーションキャプチャーカメラ41乃至44を、投影エリアをカバーでき、且つそれぞれの当該画像表示領域31乃至33の周りをカバー出来るように設置し、X軸、Y軸、およびZ軸の原点(X=0,Y=0,Z=0)をリアルな空間でどの位置に設定するのかのキャリブレーション処理を従来公知の方法を使用して実行する。
【0045】
次に、本発明に於ける当該画像投影装置100の構成に関する具体例を説明する。
即ち、本発明に係る当該画像投影装置100は、図1(A)に示す通り、少なくとも一つのプロジェクター手段1、当該プロジェクター手段1の投射領域空間2内に配置されている少なくとも2つの独立した画像表示領域3(31乃至33)、当該個々の画像表示領域3(31乃至33)の少なくとも一つの動きを検出するモーションキャプチャー手段4、当該モーションキャプチャー手段4と接続されているモーションキャプチャーデータ処理手段8、当該モーションキャプチャーデータ処理手段8及び当該プロジェクター手段1と接続されている投影画像描画制御手段5及び当該投影画像描画制御手段5に接続されている画像情報格納手段9とから構成されている画像投影システム100が示されている。
【0046】
そして、本発明に於ける当該画像投影システム100に於いて、当該モーションキャプチャー手段4は、少なくとも一つ、好ましくは複数個の当該此処の画像表示領域3(31乃至33)の周辺部に配置されているモーションキャプチャーカメラ41乃至44を含んでいる。
【0047】
一方、本発明に於ける当該モーションキャプチャーデータ処理手段8は、図4に示す様に、当該モーションキャプチャーカメラ41乃至44により捕捉された当該それぞれの画像表示領域3(31乃至33)に配置された個々のマーカー25に於ける3次元位置情報に基づいて、当該個々の画像表示領域3(31乃至33)毎の当該空間領域23内於ける存在位置及び当該個々の画像表示領域3(31乃至33)の画像表示領域面の形状及び/又は投射方向に対する角度等を含む画像表示領域情報を演算処理してリアルタイムで決定する画像表示領域情報発生手段81と、当該個々の画像表示領域3(31乃至33)に関する当該画像表示領域情報に基づいて、当該投射されている画像上に、予め選択されている所定の動作状態が発生しているか否かをリアルタイムで演算処理して決定する動作状態発生検出手段82と、当該投射されている画像表示領域3(31乃至33)に投影されている当該画像上に、予め選択されている所定の動作状態の発生が検出された場合には、当該動作状態の発生を報知する特定の検出信号7を出力する動作状態発生報知手段83とが設けられている。
【0048】
又、本発明に於ける当該投影画像描画制御手段5には、図5に示す様に、当該プロジェクター手段選択手段51と、当該複数個の画像表示領域3(31乃至33)より選択された少なくとも一つの画像表示領域を選択する画像表示領域選択手段52と、当該画像情報格納手段9から投射すべき少なくとも一つの画像情報を選択する画像情報選択手段53と、当該選択された一つの画像表示領域に関する当該画像表示領域情報を当該モーションキャプチャーデータ処理手段8より取り込む画像表示領域情報取得手段54と、当該選択された投射すべき少なくとも一つの画像情報を、当該画像表示領域情報を基にして、当該選択された一つの画像表示領域内に投影するに適した画像情報に修正する描画処理手段55と、当該描画処理手段55により修正された当該選択された画像情報を当該選択されたプロジェクター手段1を介して、当該選択された画像表示領域3(31乃至33)に投射する様に指示を行う投射指示手段56と、当該モーションキャプチャーデータ処理手段8から出力される、当該選択された一つの画像表示領域に於ける所定の動作状態の発生を報知する当該特定の検出信号7を検知した場合には、当該特定の検出信号7に応答して、瞬時に(リアルタイムに)、当該画像が選択投影されている画像表示領域(第1の画像表示領域31)とは異なる別の画像表示領域(第2の画像表示領域32)を別途選択する別の画像表示領域選択手段57と、当該別途選択された当該画像表示領域(第2の画像表示領域32)に関する画像表示領域情報を当該モーションキャプチャーデータ処理手段8から取り込む異なる画像表示領域情報取り込み手段58と、当該取り込まれた、別途選択された当該画像表示領域(第2の画像表示領域32)に関する画像表示領域情報に基づいて、当該選択投影されている画像を、当該別途選択された画像表示領域(第2の画像表示領域32)内に投影するに適した画像情報に修正する別の描画処理手段59と、当該別の描画処理手段59により修正された当該選択された画像情報を、当該選択されたプロジェクター手段1を介して、瞬時に(リアルタイムに)、当該別途選択された画像表示領域(第2の画像表示領域32)に投射する様に指示を行う別の投射指示手段60、とを有するものである。
【0049】
本発明に於いては、当該元の画像表示領域(第1の画像表示領域31)に対しては、元の画像(第1の画像B)の投射を停止しても良く、或は継続させても良く、或は別の画像Xを投射するものであっても良い。
更に、本発明に於いては、当該画像を特定の画像表示領域(第1の画像表示領域31)に対して投射する様に指示を行う投射指示手段56と、当該画像を別の特定の画像表示領域(第2の画像表示領域32)に対して投射する様に指示を行う当該別の投射指示手段60は、別々に独立して設けられていなくともよく、同一の手段であっても良い。
又、当該画像表示領域情報取得手段54と当該異なる画像表示領域情報取り込み手段58も別々に独立して設けられたものであっても良く或いは同一の手段であっても良い。
【0050】
一方、本発明に於いては、当該投射領域2内に3個以上の当該画像表示領域3が配置されている場合において、当該画像情報の移動が考慮されている少なくとも2つの当該画像表示領域3に対する同一或いは異なる画像情報の投射操作は、何らの影響を与えるものではなく、予め定められた手順に従って、別途独立的に投射操作が継続されるものである。
又、本発明に於いては、当該第1の画像表示領域31に、所定の動作状態が発生し、当該第1の画像表示領域31に投射されている第1の画像情報を当該第2の画像表示領域32に移動させて、投射を継続する場合、当該第2の画像表示領域32は、一つに限られるものではなく、複数個の別の画像表示領域33にも移動同時に或いは所定のタイミングを介してシリアルに移動させる事も出来る。
【0051】
一方、本発明に於いては、本システムにおいて投影できる画像の種類は、上記した通り、静止画、アニメーション、動画及び外部からのビデオ映像等が投影可能である。
そして、本発明に於いては、当該静止画、アニメーション或いは当該動画等は3Dバーチャルソフト内でファイル化して投影するものであり、又、当該外部からの映像はシステムの搭載されているビデオボードで圧縮され、例えば、MPEG2の形式に変換され3Dバーチャルソフトに転送され、リアルタイムに投影することが可能となる。(尚、MPEG2圧縮時に1F程度のディレイが発生する。)
【0052】
一方、本発明に於ける当該画像の描画方法は、特に限定されるものではないが、例えば、図3(A)に例示する様に、3Dバーチャルソフトで画像の描画開始位置と終了位置をモーションキャプチャー手段4からリアルタイムに流れてきたマーカー25の座標値を参照し、3Dバーチャルソフト上の座標値に変換し、変換された座標値をもとに描画する。
例えば、投影する画像が四角形の画像の場合、図3(B)に示す様に、
被投影体のマーカー(1)と3Dバーチャルソフト上の座標値(1)
被投影体のマーカー(2)と3Dバーチャルソフト上の座標値(2)
被投影体のマーカー(3)と3Dバーチャルソフト上の座標値(3)
被投影体のマーカー(4)と3Dバーチャルソフト上の座標値(4)
上記のように座標値の変換が行われその座標値を起点、終点としてソフトが画像を描画する。
【0053】
本発明に於ける当該動体状態の被投影体である画像表示領域3への投影技術に関して付言するならば、従来公知の殆どのプロジェクションマッピングでは被投影体つまり画像表示領域3は動いているものではなく静体物である事が前提となっており、従って、当該投影される画像は動かない被投影体つまり画像表示領域3に合わせこむようにし、描画機側で再生させると決められたアニメーションを投影する技術でしかなかったのが実情である。
従って、従来の技術に於いては、当該投影される画像を当該被投影体につまり画像表示領域3に対して再生するタイミングが、プロジェクションマッピングが開始されるタイミングに固定されるという欠点が存在した。
【0054】
然しながら、本発明のシステムはそのような制約を受けることはなく、3Dバーチャルソフトで被投影体つまり当該画像表示領域3ごとに投影する画像を持つことが出来、尚且つ、その画像を再生するタイミングをその投影される画像ごとに再生するタイミングのタイマーをもち、任意にタイミングで再生を開始できると言う作用効果を発揮する事が可能となる。
従来に於ける投影画像の種類も、通常のプロジェクションマッピングでは投影される画像は2次元の映像であるが、本発明に於いては、3Dバーチャルソフトで作成された3次元画像を使用する事が可能となる他、当該被投影体つまり当該画像表示領域3が静体状態、固定されている必要性がなく、動いていても、所望の画像情報を所定の選択された被投影体つまり当該画像表示領域3に投影することができる。
【0055】
そして、本発明に於ける当該画像表示システム100に於いては、当該モーションキャプチャー手段4との連携によって、多面的な画像表示が可能になっている。
即ち、当該モーションキャプチャー手段4からおくられてくるデータは、当該マーカー25のX軸、Y軸、Z軸の3次元座標値を3Dバーチャルソフトが処理して3次元のCGを描画し、当該座標値の変化に追随して被投影体で有る当該画像表示領域3に投影する画像の形状をリアルタイムに当該画像表示領域3の形状に合わせて変化させることが出来るのである。
つまり、本発明に於いては、投影する為に必要とする画像コンテンツの数を複数種、多数持つ事が可能となる。
【0056】
この点が既存のプロジェクションマッピングとの大きな相違点である。
例えば、図6(A)に示す様に、従来の投影システムに於いて、投影する画像がアニメーションである場合、本発明の一具体例では、図6(B)に示す様に、被投影体である第1の画像表示領域31と別の被投影体ある第2の画像表示領域32とが相互に近づいた場合、(例えば、当該マーカー25の距離間が設定したしきい値より短くなった時)当該第1の画像表示領域31がアニメーションの前編を再生し、当該第2の画像表示領域32がアニメーションの後編を再生するという当該画像表示領域3を変えて、時間差で投影することがプログラミングで可能になる。
再生投射対象の当該画像表示領域3の数には、特に理論的には制限がないがCPUの演算処理に委ねられるところが大きい。
【0057】
此処で、既存のプロジェクションマッピングと本発明に係るリアルタイム変化プロジェクションマッピングの違いを、図面を参照しながら説明するならば、当該既存のプロジェクションマッピングに於いては、図7(A)に示す様に、当該画像表示領域は固定されており、又、当該プロジェクター手段1も固定されており、更には、使用される投影画像は2次元画像情報に限られている。
一方、本発明に於ける当該画像表示システム100に於いては、図7(B)に示す様に、当該画像表示領域3は任意の方向に移動、回転、旋回が可能であり、又、当該プロジェクター手段1も固定されている場合と後述する様に、任意の方向に移動・変位可能となっており、更には、使用される投影画像は3次元画像情報を使用してリアルタイムで描画処理、投影操作処理が実行可能である。
【0058】
その為、本発明に於いては、リアルタイム変化に対応するプロジェクションマッピングを成立させる上で重要な要素となるのが現実の空間と3Dバーチャルソフトのスケール間を合わせるキャリブレーション操作が非常に重要な調整方法になります。
つまり、リアルな空間と3Dの仮想の空間の距離や方向などの値を一致させるキャリブレーション操作が必要となる。
本発明に於ける当該キャリブレーションに必要な要素としては、例えば、
(1)投影体と被投影体との距離と角度
(2)投影する投影体の画角サイズ
等であり、まずは、当該投影体と当該被投影体つまり画像表示領域3との距離間と角度を3Dバーチャルソフト内の投影体(VRカメラ)と被投影体(VR空間上のマーカー25)の距離間と角度合わせこむ必要がある。
【0059】
3Dバーチャルソフト上のVRカメラは3Dバーチャルソフト上の見え方アングルと画角サイズを操作する機能であり、当該プロジェクター1の投影する画像は、当該VRカメラが見えている画像となる。
そして、当該距離間に関しては、当該モーションキャプチャー手段4のスケールの変換が必要となり、当該モーションキャプチャー手段4の距離間と3Dバーチャルソフトのスケール値が異なるため、当該モーションキャプチャー手段4のスケールを1/10倍にする。
この際、角度情報は変換する必要はない。
一方、投影する投影体の画角サイズに関しては、距離や回転情報はモーションキャプチャー手段4から送られてくる座標値を基に、現実の空間に合わせて3Dバーチャルソフトに同期させることができるが、投影するプロジェクター1の画角サイズ情報はマーカー25の座標値とは関係ないので送られて来ない。
【0060】
一方、当該プロジェクター1の投影する画角のサイズを求めて3Dバーチャルソフトに投影する画像の画角のサイズを設定する必要がある。
3Dバーチャルソフト上でプロジェクターをカメラとして置き換えているので3Dバーチャルソフト上のカメラから見える範囲がプロジェクターの投影範囲となる。
又、画角サイズの出し方に付いて説明するならば、当該被投影面(原点になる面)とプロジェクター1までの距離を測り、図8に示す様に、投影している映像の幅Wを測定する。
当該測定した数値を三角関数により求め画角サイズをFOVを出す。
【0061】
次に、本発明に於いて、加速度計算を利用して当該第1の画像表示領域31に投影されている画像が当該第2の画像表示領域32に移動するときの仕組みに付いて説明するならば、基本的には、当該第1の画像表示領域31のマーカー25の移動距離をもとに加速度を計算することになる。
つまり、当該マーカー25の移動幅を単位時間の早さにおきかえる。
誤動作を防ぐため上限と下限のしきい値を設定する事が望ましい。
そして、当該上限よりも早ければ誤動作だと判断し、又、当該下限よりも遅ければ誤動作だと判断する。
【0062】
例えば、当該しきい値を、人が特定の被投影体である当該第1の画像表示領域31を立体矩形状の箱体物である場合に、当該箱体物有る方向に放り投げる際の感覚のスピード近傍の値に設定する。
更に、当該設定スピードは調整可能である。
つまり、本発明に係る当該画像表示方法或いはそのシステム100に於ける一つのアトラクティブなデモンストレーションとして、例えば、ステージ上で、演技者が、矩形状立方体(6面体)状の箱体物を手に持って、左右、上下に揺らせたり、回転させたり、或いは円を描く様に、動かしたりしている場合に、当該箱体物の一つの面、或いは複数の面(つまり、当該第1の画像表示領域31)に、適宜の画像情報を、当該プロジェクター手段1から同時に投射させておき、ある時点で、当該演技者が当該箱体物を空中に放り投げる様な動作をして、瞬間的に、当該箱体物に急激な移動動作を与えると、当該体物の当該面に投影されていた当該画像情報が、瞬時に且つリアルタイムで、別の画像表示領域3(例えば当該第2の画像表示領域32)の表面の適宜の部位に移動して、そこで、継続的に当該画像情報の投射が継続される様に設定する事が出来る。
本発明では、この様なパフォーマンスを随時、繰り返して実演する事が可能である。
【0063】
本発明に於ける当該画像表示システム100に於いては、当該第1の画像表示領域31と当該第2の画像表示領域32のアスペクト比率が同じでない場合には、当該第1の画像表示領域31から当該第2の画像表示領域32への移動時間中にアスペクトの補正プログラミングを実施する事が望ましい。
更には、本発明に於いては、当該第1の画像表示領域31の頂点と当該第2の画像表示領域32の頂点の整合性を取り、移動先の画像の方向性が変わらないようにプログラミングする事も好ましい具体例である。
例えば、当該第1の画像表示領域3が四角形の場合、当該第1の画像表示領域31の頂点1、2、3、4が当該第2の画像表示領域32の頂点1、2、3、4へ移動するようにプログラミングする事になる。
【0064】
又、本発明に於いては、当該画像の移動に関しては、動体状態の当該第1の画像表示領域31から動体状態の当該第2の画像表示領域32への移動が可能であると同時に、動体状態の当該第1の画像表示領域31から静体状態の当該第3の画像表示領域33への移動も可能である。
尚、当該移動先の画像表示領域は動体であっても静止状態であってもプログラミング次第でどちらでも実施可能である。
本発明に係る当該画像表示システムに於いては、例えば、モーションキャプチャー手段4からリアルタイムに受信したマーカー25の座標値をもとにプログラミングした数値をもとに、当該各マーカー25の座標値を利用した加速度計算をおこない、動いている画像表示領域31から動いている画像表示領域33へ移動する画像をマッピングすると言う、プロジェクター手段1に接続されたコンピューターが実行可能なプログラムを提供する事も出来る。
【0065】
通常は、当該プロジェクター手段1から投影される画像は2次元の平面の映像であるが、本発明に於いては3次元の画像情報の投影が可能となる。
つまり、当該モーションキャプチャー手段4からの座標値はマーカー25ごとにXYZの座標を持っているので3次元オブジェクトの投影が可能となる。
既にある技術としての画像認識では奥行きを正確に検出することは困難である。
本発明においては、ミリ単位での検出が可能であるため当該画像表示領域3に正確に所望の画像情報をマッピングできる。
即ち、従来公知のプロジェクションマッピングに於いては、キャリブレーションを実行するに際しては、被投影体に対してミリ単位のマッピングの調整が必要であったが、本発明に於ける当該投影システムに於いては、当該マーカー25を当該スクリーン手段つまり、画像表示領域3に取り付けるだけで、正確な座標情報が取得できるので、当該キャリブレーションに関する操作や作業が簡便化され非常に少ない手間で済むので、作業効率が改善されるとい優れた作用効果も発揮される。
【0066】
更に、本発明に於いては、当該プロジェクター手段1を動かしながら当該画像表示領域3に画像をマッピングするプロジェクターに接続されたコンピューターが実行可能なプログラムを提供出来る。
更に、本発明に於いては、当該モーションキャプチャー41乃至44からのマーカー25の座標値情報から当該プロジェクター手段1と当該画像表示領域3の距離と投影体の方向、角度情報をリアルタイムに検出することにより当該プロジェクター手段1及び当該画像表示領域3が双方とも動いていても当該画像表示領域3に投影されるテクスチャーを当該画像表示領域3の形状に合わせた画像をリアルタイムに変形させてマッピングさせることが可能である。
つまり、従来のプロジェクションマッピングは、当該プロジェクター手段1を固定して当該画像表示領域3まで投影するものであるが、当該プロジェクター手段1を固定しなければ正確な場所へのマッピングが出来ないからであった。
本発明に於ける当該画像表示システム100は.当該プロジェクター手段1’にもマーカー125をつけることにより当該プロジェクター手段1’を動かしながらでもマッピングが可能になる。
【0067】
本発明に於ける当該画像表示装置100に於いては、更に、図4に示す様に、当該所定の画像表示領域3(31乃至33)に現在投射されている画像上に、予め選択されている所定の動作状態が発生しているか否かをリアルタイムで検出する動作状態発生検出手段82は、当該画像表示領域3が、平面的に若しくは立体的に移動、回転或は旋回の少なくとも何れかの変位動作の程度を当該画像表示領域情報に基づいてリアルタイムに演算して求める演算手段82−1と、当該求められた当該画像表示領域の変位動作が、予め設定されている所定の閾値(しきい値)を超えているか否かを判断する比較判定手段82−2とから構成されている。
一方、本発明に於ける当該画像表示領域3の変位動作は、当該画像表示領域3に於ける変位動作の加速度である事が好まし具体例の一つである。
【0068】
次に、本発明に於いて使用される当該画像表示システム100の好ましい具体例の構成例を、図面を参照しながら詳細に説明する。
即ち、図9は、本発明に係る当該画像表示システム100の一具体例の構成を示すフローチャートであって、同図中には、少なくとも一つのプロジェクター手段1、当該プロジェクター手段1の投射領域空間23内に配置されている少なくとも2つの独立した画像表示領域3(31乃至33)、当該個々の画像表示領域3(31乃至33)の少なくとも一つの動きを検出するモーションキャプチャー手段4、モーションキャプチャーデータ処理手段8及び投影画像描画制御手段5とから構成されている画像投影システム100に於いて、
使用される当該プロジェクター手段1を選択する第21の工程(S−21)、
当該プロジェクター手段1の投射領域空間23内に配置されている当該全ての画像表示領域3(31乃至33)の当該投射領域空間23内に於ける3次元位置情報を、当該全ての画像表示領域3(31乃至33)に設けられているマーカー25と当該モーションキャプチャーデータ処理手段8に接続されているモーションキャプチャーカメラ41乃至44を介して検出する第22の工程(S−22)、
当該プロジェクター手段4の投射領域空間23内に配置されている当該画像表示領域3(31乃至33)の少なくとも一つを選択する第23の工程(S−23)、
当該選択された画像表示領域3(第1の画像表示領域31)に関する、当該次元位置データを使用して、当該選択された画像表示領域3(第1の画像表示領域31)の当該投射領域空間23内に配置されている存在位置及び当該画像表示領域面の形状及び/又は投射方向に対する角度等の画像表示領域面情報をリアルタイムで表示する第24の工程(S−24)、
当該選択された少なくとも一つの画像表示領域(第1の画像表示領域31)に対して投影すべき少なくとも一つの画像を選択する第25の工程(S−25)、
当該選択された投射すべき画像を、当該投影画像描画制御手段5により、当該選択された画像表示領域(第1の画像表示領域31)の当該画像表示領域面情報に基づいて、当該選択された画像表示領域31に投影するに適した画像情報に修正する為の描画処理を行う第26の工程(S−26)(尚、選択されていない他の、画像表示領域に対しては、画像投影は行わないか、既に別の画像が投影されている場合には、それに干渉はしない。)
当該選択されて、当該投影画像描画制御手段5により修正描画処理された修正投射画像を、当該プロジェクター手段1を介して、当該選択された画像表示領域(第1の画像表示領域31)に投射する第27の工程(S−27)、
当該描画処理された当該画像が投射されている当該選択された画像表示領域31の当該投射領域空間23内に於ける3次元位置情報を、当該モーションキャプチャー手段4を介してリアルタイムでモニターする第28の工程(S−28)、
画像表示領域31於ける当該投影画像の3次元位置情報から、当該投影画像に所定の動作状態61が発生しているか否かを検出する第29の工程(S−29)、
当該画像表示領域31に関して当該所定の動作状態61が発生した場合、当該所定の動作状態61が予め設定されているしきい値を超えているか否かを判断する第30の工程(S−30)、
当該画像表示領域(第1の画像表示領域31)に関する動作状態61が予め設定されているしきい値を超えている場合には、当該選択されている画像が投射されている当該画像表示領域(第1の画像表示領域31)とは異なる、当該プロジェクター手段1の当該投射領域空間23内に配置されている他の画像表示領域3(第2の画像表示領域32)を選択する第31の工程(S−31)、
当該選択された他の画像表示領域3(第2の画像表示領域32)に関する当該画像表示領域面情報を当該モーションキャプチャーデータ処理手段8から選択する第32の工程(S−32)、
当該選択された他の画像表示領域3(第2の画像表示領域32)に関する当該画像表示領域面情報に基づいて、当該画像表示領域(第1の画像表示領域31)に投影されている当該修正投射画像を、当該投影画像描画制御手段5により、当該選択された他の画像表示領域(第2の画像表示領域32)に投影するに適した画像情報に修正する為の再描画処理を行う第33の工程(S−33)、
当該画像表示領域(第1の画像表示領域31)に対する当該先の修正投射画像の投射操作を中止し、当該選択された他の画像表示領域(第2の画像表示領域32)に対して、新たに描画処理された再修正画像を投射する第34の工程(S−34)、
上記各工程を繰り返す第35の工程(S−35)、
と、で構成されている画像投影システム100が示されている。
【0069】
更に、本発明に於いては、上記の画像投影システム100をコンピューターによる制御操作で全てが自動的にプログラミング処理されて実行されるものであり、従って、本発明に於ける更なる態様としては、上記した当該第1の工程乃至第18の工程の各機能をコンピューターで実現させる様に構成した事を特徴とする画像投影システム用プログラム100である。
本発明に於いては、上記した通り、当該プロジェクター手段1は一つでなくとも良く、2個或いはそれ以上の当該プロジェクター手段1、1‘、1“を組み合わせて使用する事が可能である。
例えば、当該プロジェクター手段1の数が増える事によって、投影する画像の数やその種類が増加し、それにより、複数個の当該画像表示領域3の数も増加させる事が可能となると同時に、一つの当該画像表示領域3に同時に組み合わせて投影される相互に異なる画像の数も増加させる事が可能となる。
又、例えば、複数個の当該プロジェクター手段1,1’を使用することにより、従来表現出来なかった、移動行為を組み合わせて、会場の雰囲気を盛り上げる演出が可能となる。
【0070】
次に、本発明に係る当該画像投影方法に関する別の具体例を、図面を参照しながら詳細に説明する。
即ち、本発明に係る別の具体例は、基本的には、上記した具体例の中で、任意な方向に任意の速度で移動する画像表示領域の特定の画像表示面に、当該所定のプロジェクター手段から、所定の画像を当該画像表示領域の動きに完全に同期して追随しながら、確実に表示する様に構成した画像表示方法及びそのシステムである。
より具体的には、図1に示されている通り、少なくとも一つのプロジェクター手段1、当該プロジェクター手段1の投射領域2内に配置されている少なくとも1つの独立した移動可能に構成された画像表示領域3、当該画像表示領域3の動きを検出するモーションキャプチャー手段4及び投影画像描画制御手段5とから構成されている画像投影システム100に於いて、当該プロジェクター手段1は、少なくとも選択された一つの画像6を、当該画像表示領域3内に投影すると共に、当該画像表示領域3の移動動作に追随して、当該画像6が当該画像表示領域3に投影される様に移動する様に構成されている事を特徴とする画像投影方法或いはそのシステム100である。
【0071】
つまり、図1(B)で示されている通り、本具体例に於いては、第1の段階で当該プロジェクター1が第1の位置31に配置されている当該第1の画像表示領域3(31)の画像表示領域面に例えばB或いはCの画像を投影して表示している場合に於いて。当該第1の画像表示領域3が第2の位置33に移動した場合でも、当該第1の画像表示領域3(33)の当該画像表示面には、同じ画像が投影される様に構成されているのである。
【0072】
ここで、本具体例での特徴的な技術構成を説明するならば、上記した具体例でも同じことが実行されているものであるが、当該独立した移動可能に構成された画像表示領域3は、当該プロジェクター手段1の投射領域2よりも小さい投射領域を有するものである事が必要であり、且つ当該画像表示領域3は、当該プロジェクター手段1の投射領域2内を自由に移動、回転、旋回、振動等の動作を自動的或いは手動で行う事が可能である様に構成されているものである。
【0073】
又、本具体例に於いては、当該プロジェクター手段1の投射領域2内に移動可能に配置される当該画像表示領域3は1つに限定されるものではなく、複数個配置されるものであってもよく、その形状は、前記した具体例と同様に投影面部分が平面であってもよく、立体的であってもよいのであり、当該投影面部分が平面である場合には、その平面形状は、矩形、円形、多角形、楕円形、台形等を含む任意の形状を有するものであっても良く、或いは、当該投影面部分が3次元的立体形状を呈し、球面、球体、多角面構成体を含む任意の立体構成物で構成されているものであっても良い。
【0074】
更に、本具体例に於いては、当該それぞれの画像表示領域3には、同一の画像を投影する様に構成されているものであっても良く或いは、当該それぞれの画像表示領域3に個別に相互に異なる画像を投影する様にしたものであっても良い。
又、本発明に於ける上記具体例を含む具体例に於いては、それぞれの画像表示領域3に投影される画像は、動画であっても良く、静止画像であっても良く、更にその画像ソースとしては、適宜の記憶媒体から抽出した当該画像であっても良く、或いは、適宜のカメラ画像、ムービー画像、或いはテレビ画像や、携帯電話、スマートフォンを介してダウンロードされる適宜の画像であっても良い。
【0075】
つまり、本具体例を、感覚的に把握する為に、図23を参照して更に詳細に説明するならば、従来のプロジェクター手段1による特定画像の投影方法は、当該プロジェクター手段1の投影領域2の範囲と合致する大きさのスクリーンである画像表示領域3−0に対して、一つの画像を投影するシステムとなっているのに対し、本発明に於いては、図23に示す様に、当該プロジェクター手段1は、自己の投射領域2内に一つ或いは相互に独立した複数個の画像投影領域ウインドーW1〜W3を形成すると共に、当該各画像投影領域ウインドーW1〜W3を、当該それぞれの移動可能な画像表示領域3−1、3−2、3−3と対応させており、且つ当該それぞれの画像投影領域ウインドーW1〜W3は、個々に対応する当該画像表示領域3−1、3−2、3−3に適合する様に描画処理された特定の画像が、個別に投影される様に構成されており、更に、当該各ウインドーW1〜W3は、それぞれ対応する個別の画像表示領域3−1、3−2、3−3の移動動作に追随して当該自己の投射領域2内で移動する様に構成されているものである。
【0076】
そして、本具体例では、当該一つの当該プロジェクター手段1は、自己の投射領域2内に於いて、一つ乃至複数個の当該画像投影領域ウインドーW1〜W3を介して、当該自己の投射領域2内に配置された一つ或いは複数個の当該画像表示領域3−1、3−2、3−3のそれぞれに対して、個別に、同一或いは相互に異なる画像を、適宜のタイミングで、連続的或いは不連続的に投影出来る様に構成されているものである。
更に、本具体例に於いては、当該一つの画像表示領域3−1に投影されている第1の画像と当該別の画像表示領域3−2に投影されている第2の画像とは、任意に交換する事或いは、当該一つの画像表示領域に投影されている第1の画像を当該別の画像表示領域に投影させる様に切り替え操作が可能に構成されている事も好ましい具体例である。
【0077】
又、本具体例に於いて、当該複数個の画像表示領域3は、当該プロジェクター手段1が形成する個別の投射領域2内の3次元空間内に、任意に且つ独立して存在しており、且つ個々の当該画像表示領域3は、独立的に任意の方向に移動可能に構成されている事が好ましい。
また、上記した本発明の先の具体例でも説明した通り、本具体例に於いても、当該複数個の画像表示領域3−1、3−2、3−3は、個別的に、当該個々の画像表示領域3の範囲並びに当該投影領域2内の3次元空間内に於ける存在位置を表示する為に、3次元位置情報を検出する為の複数個のマーカー52が付与されている事も好ましい具体例である。
【0078】
更に、本具体例に於いては、当該モーションキャプチャー手段4を構成するモーションキャプチャーカメラ41乃至44が常時、当該個々の画像表示領域3毎に、当該個々の画像表示領域3に配置されている当該マーカー26の存在位置を3次元位置情報として検出し、当該個々の画像表示領域3の当該3次元位置情報をリアルタイムで当該画像投影システム100設けられているモーションキャプチャーデータ処理手段8若しくは投影画像描画制御手段5に報知する様に構成されている事が望ましい。
【0079】
一方、当該画像投影システム100には、更に、当該モーションキャプチャーデータ処理手段8が設けられており、当該モーションキャプチャーデータ処理手段8は、当該モーションキャプチャーカメラ41乃至44が検出した、当該個々の画像表示領域3毎のマーカー位置情報から、当該個々の画像表示領域3の当該投影空間領域2内於ける存在位置及び当該個々の画像表示領域3の画像表示領域面の形状及び/又は投射方向に対する角度等を含む画像表示領域面情報を演算処理してリアルタイムで決定する様に構成されている事が望ましい具体例である。
又、本具体例に於いては、当該個々の独立した画像表示領域3は、任意の時点で、任意の方向に、移動、回転、旋回、振動等の変位動作を個別に自動的或いは、マニュアル的に実行できる様に構成されているものである。
更に、本具体例に於いては、当該モーションキャプチャー手段4は、複数個、好ましくは3個の当該モーションキャプチャーカメラ41乃至43を含んでいる事が望ましい。
【0080】
一方、当該マーカー25は、当該複数個の画像表示領域3のそれぞれに付いて、個別的に、当該個々の画像表示領域3に対応する識別子を有しており、当該マーカー25が、当該個々の画像表示領域3に対応してグループ分けされている事も望ましい具体例である。
本具体例に於いては、当該プロジェクター手段1は一つに限る事は無く、複数個同時に使用する事も可能であり、又、当該プロジェクター手段1により当該所定の画像表示領域3に投射される画像は動画像及び/又は静止画像であり、当該複数種類の動画像及び静止画像は、当該投影画像描画制御手段5に接続された適宜の記憶手段9内に予め記憶されている事が望ましい。
【0081】
本具体例に於いて、複数個のプロジェクター手段1が設けられている場合には、当該個々のプロジェクター手段1は、個別に、当該個々の独立した画像表示領域3の一部若しくは全部に、選択された個々の画像を投射する様に構成されている事が望ましい具体例である。
本具体例に於いては、当該投影画像描画制御手段5は、常時、リアルタイムで、当該選択された画像表示領域3に対して、当該モーションキャプチャーデータ処理手段8から出力される当該選択された画像表示領域3に関する位置情報及び当該画像表示領域の画像表示領域面の形状及び/又は投射方向に対する角度等の画像表示領域面情報に基づいて、当該選択された画像を、現時点に於ける当該選択された画像表示領域3の状況に合わせた最適な画像となる様に、適宜、公知のプログラムを利用して、描画処理し、当該描画処理した当該画像を当該選択された画像表示領域3に投射する様に構成されているものである。
【0082】
更に、本具体例では、当該プロジェクター手段1の投射領域2内に配置されている少なくとも1つの独立した画像表示領域3のそれぞれの画像表示領域に対して、同一若しくは相互に異なる画像が個別に投影される事も望ましい具体例である。
【0083】
本発明に於ける更に別の具体例としては、少なくとも一つのプロジェクター手段1、当該プロジェクター手段1の投射領域空間2内に配置されている少なくとも1つの独立した画像表示領域3、当該個々の画像表示領域3の少なくとも一つの動きを検出するモーションキャプチャー手段4、モーションキャプチャー手段4と接続されているモーションキャプチャーデータ処理手段8、当該モーションキャプチャーデータ処理手段8及び当該プロジェクター手段1と接続されている投影画像描画制御手段5及び当該投影画像描画制御手段5に接続されている画像情報格納手段9とから構成されている画像投影システム100に於いて、当該モーションキャプチャー手段4は、少なくとも一つ、好ましくは複数個の、当該個々の画像表示領域3の周辺部に配置されているモーションキャプチャーカメラ41乃至44を含んでおり、当該モーションキャプチャーデータ処理手段8は、当該モーションキャプチャーカメラ41乃至44により捕捉された当該それぞれの画像表示領域3に配置された個々のマーカー25に於ける3次元位置情報に基づいて、当該個々の画像表示領域3毎の当該投影空間領域2内於ける存在位置及び当該個々の画像表示領域3の画像表示領域面の形状及び/又は投射方向に対する角度等を含む画像表示領域面情報を演算処理してリアルタイムで決定する画像表示領域面情報発生手段81が設けられており、一方、当該投影画像描画制御手段6には、当該プロジェクター手段選択手段51と、当該複数個の画像表示領域3より選択された少なくとも一つの画像表示領域3を選択する画像表示領域選択手段52と、当該画像情報格納手段9から投射すべき少なくとも一つの画像情報を選択する画像情報選択手段53と、当該選択された一つの画像表示領域3に関する当該画像表示領域面情報を当該モーションキャプチャーデータ処理手段8より取り込む画像表示領域情報取得手段54と、当該選択された投射すべき少なくとも一つの画像情報を、当該画像表示領域面情報を基にして、当該選択された一つの画像表示領域3内に投影するに適した画像情報に修正する描画処理手段55と、当該描画処理手段55により修正された当該選択された画像情報を当該選択されたプロジェクター手段1を介して、当該選択された画像表示領域3に投射する様に指示を行う投射指示手段56と、当該画像表示領域3の移動を検出し、当該画像表示領域3の移動先での当該画像表示領域3に関する画像表示領域面情報を基に、当該選択された画像情報を当該移動先での当該画像表示領域3に適した画像情報に修正する描画処理を行って再投影処理する手段56と、を有する事を特徴とする画像投影装置100である。
更に、本具体例では、前述した先の具体例で説明した通り、当該動作状態発生検出手段82と、当該動作状態発生報知手段83とが、当該投影画像描画制御手段5内に設けられている場合も有り得るものである。
【0084】
次に、図24を参照しながら、本発明に於ける更に異なる具体例の操作手順の一例を説明するならば、当該異なる具体例としては、少なくとも一つのプロジェクター手段1、当該プロジェクター手段1の投射領域空間2内に配置されている少なくとも1つの独立した画像表示領域3、当該個々の画像表示領域3の少なくとも一つの動きを検出するモーションキャプチャー手段4、モーションキャプチャーデータ処理手段8及び投影画像描画制御手段5とから構成されている画像投影システム100に於いて、
使用される当該プロジェクター手段1を選択する第1の工程(ステップS−1)後、当該プロジェクター手段1の投射領域空間2内に配置されている当該少なくとも1つの画像表示領域3の当該投射領域空間2内に於ける3次元位置情報を、当該全ての画像表示領域3に設けられているマーカー手段25と当該モーションキャプチャーデータ処理手段8に接続されているモーションキャプチャーカメラ41を介して検出する第2の工程(ステップS−2)が実行され、引き続き、当該プロジェクター手段1の投射領域空間2内に配置されている当該画像表示領域3の少なくとも一つを選択する第3の工程(ステップS−3)実行される。
【0085】
続いて、当該選択された画像表示領域3に関する、当該投射領域空間2内に配置されている存在位置及び当該画像表示領域面の形状、面積及び/又は投射方向に対する角度等の画像表示領域面情報をリアルタイムで検出する第4の工程(ステップS−4)が実行された後、当該選択された少なくとも一つの画像表示領域3に対して投影すべき少なくとも一つの画像を選択する第5の工程(ステップS−5)が実行される。
その後、当該選択された投射すべき画像を、当該投影画像描画制御手段5により、当該選択された画像表示領域3の当該画像表示領域面情報に基づいて、当該選択された画像表示領域3に投影するに適した画像情報に修正する為の描画処理を行う第6の工程(ステップS−6)(尚、選択されていない他の、画像表示領域に対しては、画像投影は行わない。)を経て、
当該選択されて、当該投影画像描画制御手段5により修正描画処理された修正投射画像を、当該プロジェクター手段1を介して、当該選択された画像表示領域3に投影する第7の工程(ステップS−7)が実施される。
此処で、要すれば、当該画像の投影操作が終了したか否かが判断され(第71の工程(ステップS−71)、YESであれば、当該プロセスはエンドとなるが、NOの場合には、極めて僅かな所定時間(瞬時時間)経過後、当該描画処理された当該画像が投射されている当該選択された画像表示領域3の当該投射領域空間3内に於ける3次元位置情報を、当該モーションキャプチャー手段4を介してリアルタイムで再モニターする第8の工程(ステップS−8)が実行される。
【0086】
再モニター後、要すれば先に得られた当該画像表示領域の3次元位置情報と今回得られた当該画像表示領域の3次元位置情報とを比較する第81の工程(ステップS−81)が実行され、その結果に基づいて、当該画像表示領域3が動いたか否かを判断する第9の工程(ステップS−9)が実行され、NOで有れば第8の工程に戻り、YESであれば、つまり当該画像表示領域が動いた場合には、当該画像表示領域3が移動した先の位置に於いて、当該画像表示領域3の新たな当該投射領域空間2内に於ける3次元位置情報に基づき、当該画像表示領域3が移動した先の位置に於ける当該画像表示領域3に関する、当該画像表示領域面情報をリアルタイムで検出する第10の工程(ステップS−10)が実行される。
その後、選択された投射すべき画像を、当該投影画像描画制御手段5により、当該選択された画像表示領域の新たに移動した移動先での当該画像表示領域3に関する画像表示領域面情報に基づいて、当該選択された画像表示領域3に投影するに適した画像情報に修正する為の描画処理を行う第11の工程(ステップS−11)を経て、当該描画処理された当該選択された投射すべき画像を、移動先の当該画像表示領域3に当該プロジェクター手段1を介して投影する第12の工程(ステップS−12)が実行される。
【0087】
その後、此処で、要すれば、当該画像の投影操作が終了したか否かが判断され(第121の工程(ステップS−121)、YESであれば、当該プロセスはエンドとなるが、NOの場合には、極めて僅かな所定時間(瞬時時間)経過後、当該描画処理された当該画像が投射されている当該選択された画像表示領域3の当該投射領域空間3内に於ける3次元位置情報を、当該モーションキャプチャー手段4を介してリアルタイムで再モニターする第13の工程(ステップS−13)が実行され、第14の工程(ステップS−14として、第8の工程に戻り、上記第10の工程乃至第13の各工程を繰り返すことになる。
一方、本発明に於ける更に異なる具体例としては、上記したぐらい例に記載されている第1の工程乃至第15の工程の各機能をコンピューターで実現させる様に構成した画像投影システム用プログラムである。
【0088】
以下に、本発明に於ける当該画像投影システムを活用したイベント用投影マッピング方法の具体例を説明する。
即ち、図10に示す様に、例えばコンサート会場などの場を盛り上げる演出としてカメラで観客201、202の顔を撮影し、その映像を演者200の持っている被投影体つまり画像表示領域3に投影することにより観客201若しくは202の顔が演者200のすぐ近くに映しだされることになる。
その結果、当該映し出された映像(観客の顔)に演者が顔を近づけることにより観客201、202と演者200のバーチャルキスのような演出が可能となる。
カメラ2台まで映像入力可能のビデオボードなので2人の観客の撮影が可能である。
【0089】
一方、本発明に於ける更に別の具体例としては、当該少なくとも一つのプロジェクター手段1が移動可能に構成されている事を特徴とする画像投影システム或いは画像投影方法又はその装置100が実現できるのである。
つまり、従来に於いては、当該プロジェクター手段1そのものは、移動することは無く静止した状態で使用されるのが常識で有ったのに対し、本発明に於いては、当該プロジェクター手段1そのものを移動可能に構成する事が可能であり、それによって、適宜のロボット装置や演技者が当該プロジェクター手段1を自由に移動させながら、所望の当該画像表示領域3の所望の画像表示面に対して、リアルタイムで、或いは適宜のタイミングで、所望の画像情報を投影させる事が可能となり、従来予想もされなかった、極めてアトラクティブな投影操作が実現でき、視聴者も参加して、投影される画像に新鮮味が加味されて、会場の雰囲気を一層盛り上げる効果も期待できる。
その為に、本発明に於いては、当該移動可能に構成されているプロジェクター手段1には、別途マーカー125が設けられている事が必要である。
【0090】
更に、本発明の上記具体例に於いては、当該マーカー125は、当該個々の画像表示領域3(31乃至33)の3次元空間位置情報を規定している原点(0点)と共通の原点を持つ事が必要であり、当該移動可能に構成されているプロジェクター手段1の3次元空間23に於ける存在位置は、当該共通の原点に基づいて規定されるものである。
【0091】
更に、上記した本発明に於ける当該具体例に於いては、当該マーカーの中心点と当該プロジェクター手段1に於ける投射原点との間には、通常所定の距離を持ったオフセット値が存在する為、当該オフセット値を0にする演算処理が実行される事が必要である。
【0092】
更に、本発明に於ける更に別の態様としては、上記した通り、従来全く世の中に存在していない、マーカーを付与された移動可能な携帯式プロジェクター手段1が提供されるのである。
此処で、移動可能な携帯式プロジェクター手段1について、更に説明するならば、図11に示す様に、当該携帯式プロジェクター手段1に付いても、当該画像表示領域3と同様にマーカー125をつけることにより当該携帯式プロジェクター手段1の投射面の位置と角度情報を検出することが出来る様になる。
【0093】
又、本発明に於いては、当該携帯式プロジェクター手段1が動いても当該画像表示領域3が共に動いていても互いのマーカー25と125の座標値の距離をリアルタイムに3Dバーチャルソフトが計算し当該画像表示領域3に投影している画像の大きさをリアルタイムに変形させていくことになる。
当該携帯式プロジェクター手段1の数は特に限定されるものではないが、その数はモーションキャプチャー手段4の処理演算能力に委ねられる。
【0094】
一方、本発明に於いては、上記した通り、当該携帯式プロジェクター手段1に於いては、当該携帯式プロジェクター手段1の投射面の中心と当該携帯式プロジェクター手段1に設けられた複数個の当該マーカー125の中心点126との間に所定のオフセット値が存在する為、例えば、当該モーションキャプチャー手段4で当該マーカー125のグループの中心点126から当該投射面迄のオフセット値を検出し、その検出値を3Dバーチャルソフトに設定して、所定のキャリブレーションを実行する。
例えば、モーションキャプチャー手段4に於ける独自のカムトラックというキャリブ方法によりオフセット値が割り出される。
【0095】
一方、当該携帯式移動可能プロジェクター手段1’を使用して適宜の投影操作を行う方法の一つの例として、図12に示す様に、一つの静止状態にある当該画像表示領域3(31)に対して、当該携帯式移動可能プロジェクター手段1’を当該3次元空間領域23内の適宜の部位P1から別の部位P2迄移動しながら所定の画像情報を投影する様に操作する事が可能である。
但し、この具体例に於いては、当該移動可能プロジェクター手段1’と当該画像表示領域3(31)は、何れも当該モーションキャプチャー手段4のキャプチャーエリア内に入っていることが条件となる。
【0096】
又、図13に示されている具体例に於いては、当該携帯式移動可能プロジェクター手段1’と当該画像表示領域3(31)とが何れも移動可能な状態に於かれている場合であって、所定の部位D1から別の部位D2迄移動している当該画像表示領域3(31)に対して、当該携帯式移動可能プロジェクター手段1’を適宜の部位P1から別の部位P2迄移動しながら、所定の画像情報を投影する様に操作する事が可能である。
但し、この具体例に於いても、当該移動可能プロジェクター手段1’と当該画像表示領域3(31)は、何れも当該モーションキャプチャー手段4のキャプチャーエリア内に入っていることが条件となる。
【0097】
その他、図14に示されている通り、複数個の当該携帯式移動可能プロジェクター手段1’−1、1’−2、1’−3がそれぞれ個別に独立した部位Y1,Y2、及びY3に配置されている場合であって、当該当該携帯式移動可能プロジェクター手段1’−1からは、第1の画像情報Z1が当該画像表示領域3の所定の画像表示部分300内に投射される様に構成されており、又、当該携帯式移動可能プロジェクター手段1’−2からは、第2の画像情報Z2が同じ当該画像表示領域3の所定の画像表示部分300内に投射される様に構成されており、更に、当該携帯式移動可能プロジェクター手段1’−3からは、第3の画像情報Z3が、同じ当該画像表示領域3の所定の画像表示部分300内に投射される様に構成されており、それによって、当該画像表示領域3の所定の画像表示部分300内には、それら複数個の個別画像情報が組み合わされて一つの画像情報を形成出来る様に設定することも可能である。
上記具体例に於いても、当該それぞれの画像表示領域3には、マーカー25が付与されている事が必要であり、且つ当該それぞれの画像表示領域3は、当該それぞれのモーションキャプチャー手段4のキャプチャーエリア内に入っていることが必要条件となる。
【0098】
勿論、上記具体例では、当該プロジェクター手段1は、移動可能な機能を有するものでなくとも良い。
つまり、本発明の於ける当該具体例に於いては、多数のプロジェクターを合わせこむことによって浮き出す文字や画像を発生させる事が可能であり、更には、正解の文字或いは画像を含む当該プロジェクター手段1をもった人が協力して答えを導き出すゲームのようなものも投影演出する事も可能である。
【0099】
更に、本発明に於いては、上記の画像投影システム100をコンピューターによる制御操作で全てが自動的にプログラミング処理されて実行されるものであり、従って、本発明に於ける更なる態様としては、上記した当該第1の工程乃至第18の工程の各機能をコンピューターで実現させる様に構成した事を特徴とする画像投影システム用プログラム100である。
本発明に於いては、上記した通り、当該プロジェクター手段1は一つでなくとも良く、2個或いはそれ以上の当該プロジェクター手段1、1‘、1“を組み合わせて使用する事が可能である。
【0100】
例えば、当該プロジェクター手段1の数が増える事によって、投影する画像の数やその種類が増加し、それにより、複数個の当該画像表示領域3の数も増加させる事が可能となると同時に、一つの当該画像表示領域3に同時に組み合わせて投影される相互に異なる画像の数も増加させる事が可能となる。
又、例えば、複数個の当該プロジェクター手段1,1’を使用することにより、従来表現出来なかった、移動行為を組み合わせて、会場の雰囲気を盛り上げる演出が可能となる。
【0101】
次に、本発明に係る当該画像投影方法に関する別の具体例を、図面を参照しながら詳細に説明する。
即ち、本発明に係る別の具体例は、基本的には、上記した具体例の中で、任意な方向に任意の速度で移動する画像表示領域の特定の画像表示面に、当該所定のプロジェクター手段から、所定の画像を当該画像表示領域の動きに完全に同期して追随しながら、確実に表示する様に構成した画像表示方法及びそのシステムである。
より具体的には、図1に示されている通り、少なくとも一つのプロジェクター手段1、当該プロジェクター手段1の投射領域2内に配置されている少なくとも1つの独立した移動可能に構成された画像表示領域3、当該画像表示領域3の動きを検出するモーションキャプチャー手段4及び投影画像描画制御手段5とから構成されている画像投影システム100に於いて、当該プロジェクター手段1は、少なくとも選択された一つの画像6を、当該画像表示領域3内に投影すると共に、当該画像表示領域3の移動動作に追随して、当該画像6が当該画像表示領域3に投影される様に移動する様に構成されている事を特徴とする画像投影方法或いはそのシステム100である。
【0102】
つまり、図1(B)で示されている通り、本具体例に於いては、第1の段階で当該プロジェクター1が第1の位置31に配置されている当該第1の画像表示領域3(31)の画像表示領域面に例えばB或いはCの画像を投影して表示している場合に於いて。当該第1の画像表示領域3が第2の位置33に移動した場合でも、当該第1の画像表示領域3(33)の当該画像表示面には、同じ画像が投影される様に構成されているのである。
【0103】
ここで、本具体例での特徴的な技術構成を説明するならば、上記した具体例でも同じことが実行されているものであるが、当該独立した移動可能に構成された画像表示領域3は、当該プロジェクター手段1の投射領域2よりも小さい投射領域を有するものである事が必要であり、且つ当該画像表示領域3は、当該プロジェクター手段1の投射領域2内を自由に移動、回転、旋回、振動等の動作を自動的或いは手動で行う事が可能である様に構成されているものである。
【0104】
又、本具体例に於いては、当該プロジェクター手段1の投射領域2内に移動可能に配置される当該画像表示領域3は1つに限定されるものではなく、複数個配置されるものであってもよく、その形状は、前記した具体例と同様に投影面部分が平面であってもよく、立体的であってもよいのであり、当該投影面部分が平面である場合には、その平面形状は、矩形、円形、多角形、楕円形、台形等を含む任意の形状を有するものであっても良く、或いは、当該投影面部分が3次元的立体形状を呈し、球面、球体、多角面構成体を含む任意の立体構成物で構成されているものであっても良い。
更に、本具体例に於いては、当該それぞれの画像表示領域3には、同一の画像を投影する様に構成されているものであっても良く或いは、当該それぞれの画像表示領域3に個別に相互に異なる画像を投影する様にしたものであっても良い。
【0105】
又、本発明に於ける上記具体例を含む具体例に於いては、それぞれの画像表示領域3に投影される画像は、動画であっても良く、静止画像であっても良く、更にその画像ソースとしては、適宜の記憶媒体から抽出した当該画像であっても良く、或いは、適宜のカメラ画像、ムービー画像、或いはテレビ画像や、携帯電話、スマートフォンを介してダウンロードされる適宜の画像であっても良い。
【0106】
つまり、本具体例を、感覚的に把握する為に、図23を参照して更に詳細に説明するならば、従来のプロジェクター手段1による特定画像の投影方法は、当該プロジェクター手段1の投影領域2の範囲と合致する大きさのスクリーンである画像表示領域3−0に対して、一つの画像を投影するシステムとなっているのに対し、本発明に於いては、図23に示す様に、当該プロジェクター手段1は、自己の投射領域2内に一つ或いは相互に独立した複数個の画像投影領域ウインドーW1〜W3を形成すると共に、当該各画像投影領域ウインドーW1〜W3を、当該それぞれの移動可能な画像表示領域3−1、3−2、3−3と対応させており、且つ当該それぞれの画像投影領域ウインドーW1〜W3は、個々に対応する当該画像表示領域3−1、3−2、3−3に適合する様に描画処理された特定の画像が、個別に投影される様に構成されており、更に、当該各ウインドーW1〜W3は、それぞれ対応する個別の画像表示領域3−1、3−2、3−3の移動動作に追随して当該自己の投射領域2内で移動する様に構成されているものである。
【0107】
そして、本具体例では、当該一つの当該プロジェクター手段1は、自己の投射領域2内に於いて、一つ乃至複数個の当該画像投影領域ウインドーW1〜W3を介して、当該自己の投射領域2内に配置された一つ或いは複数個の当該画像表示領域3−1、3−2、3−3のそれぞれに対して、個別に、同一或いは相互に異なる画像を、適宜のタイミングで、連続的或いは不連続的に投影出来る様に構成されているものである。
【0108】
更に、本具体例に於いては、当該一つの画像表示領域3−1に投影されている第1の画像と当該別の画像表示領域3−2に投影されている第2の画像とは、任意に交換する事或いは、当該一つの画像表示領域に投影されている第1の画像を当該別の画像表示領域に投影させる様に切り替え操作が可能に構成されている事も好ましい具体例である。
又、本具体例に於いて、当該複数個の画像表示領域3は、当該プロジェクター手段1が形成する個別の投射領域2内の3次元空間内に、任意に且つ独立して存在しており、且つ個々の当該画像表示領域3は、独立的に任意の方向に移動可能に構成されている事が好ましい。
【0109】
また、上記した本発明の先の具体例でも説明した通り、本具体例に於いても、当該複数個の画像表示領域3−1、3−2、3−3は、個別的に、当該個々の画像表示領域3の範囲並びに当該投影領域2内の3次元空間内に於ける存在位置を表示する為に、3次元位置情報を検出する為の複数個のマーカー52が付与されている事も好ましい具体例である。
更に、本具体例に於いては、当該モーションキャプチャー手段4を構成するモーションキャプチャーカメラ41乃至44が常時、当該個々の画像表示領域3毎に、当該個々の画像表示領域3に配置されている当該マーカー26の存在位置を3次元位置情報として検出し、当該個々の画像表示領域3の当該3次元位置情報をリアルタイムで当該画像投影システム100設けられているモーションキャプチャーデータ処理手段8若しくは投影画像描画制御手段5に報知する様に構成されている事が望ましい。
【0110】
一方、当該画像投影システム100には、更に、当該モーションキャプチャーデータ処理手段8が設けられており、当該モーションキャプチャーデータ処理手段8は、当該モーションキャプチャーカメラ41乃至44が検出した、当該個々の画像表示領域3毎のマーカー位置情報から、当該個々の画像表示領域3の当該投影空間領域2内於ける存在位置及び当該個々の画像表示領域3の画像表示領域面の形状及び/又は投射方向に対する角度等を含む画像表示領域面情報を演算処理してリアルタイムで決定する様に構成されている事が望ましい具体例である。
【0111】
又、本具体例に於いては、当該個々の独立した画像表示領域3は、任意の時点で、任意の方向に、移動、回転、旋回、振動等の変位動作を個別に自動的或いは、マニュアル的に実行できる様に構成されているものである。
更に、本具体例に於いては、当該モーションキャプチャー手段4は、複数個、好ましくは3個の当該モーションキャプチャーカメラ41乃至43を含んでいる事が望ましい。
【0112】
一方、当該マーカー25は、当該複数個の画像表示領域3のそれぞれに付いて、個別的に、当該個々の画像表示領域3に対応する識別子を有しており、当該マーカー25が、当該個々の画像表示領域3に対応してグループ分けされている事も望ましい具体例である。
本具体例に於いては、当該プロジェクター手段1は一つに限る事は無く、複数個同時に使用する事も可能であり、又、当該プロジェクター手段1により当該所定の画像表示領域3に投射される画像は動画像及び/又は静止画像であり、当該複数種類の動画像及び静止画像は、当該投影画像描画制御手段5に接続された適宜の記憶手段9内に予め記憶されている事が望ましい。
【0113】
本具体例に於いて、複数個のプロジェクター手段1が設けられている場合には、当該個々のプロジェクター手段1は、個別に、当該個々の独立した画像表示領域3の一部若しくは全部に、選択された個々の画像を投射する様に構成されている事が望ましい具体例である。
本具体例に於いては、当該投影画像描画制御手段5は、常時、リアルタイムで、当該選択された画像表示領域3に対して、当該モーションキャプチャーデータ処理手段8から出力される当該選択された画像表示領域3に関する位置情報及び当該画像表示領域の画像表示領域面の形状及び/又は投射方向に対する角度等の画像表示領域面情報に基づいて、当該選択された画像を、現時点に於ける当該選択された画像表示領域3の状況に合わせた最適な画像となる様に、適宜、公知のプログラムを利用して、描画処理し、当該描画処理した当該画像を当該選択された画像表示領域3に投射する様に構成されているものである。
更に、本具体例では、当該プロジェクター手段1の投射領域2内に配置されている少なくとも1つの独立した画像表示領域3のそれぞれの画像表示領域に対して、同一若しくは相互に異なる画像が個別に投影される事も望ましい具体例である。
【0114】
本発明に於ける更に別の具体例としては、少なくとも一つのプロジェクター手段1、当該プロジェクター手段1の投射領域空間2内に配置されている少なくとも1つの独立した画像表示領域3、当該個々の画像表示領域3の少なくとも一つの動きを検出するモーションキャプチャー手段4、モーションキャプチャー手段4と接続されているモーションキャプチャーデータ処理手段8、当該モーションキャプチャーデータ処理手段8及び当該プロジェクター手段1と接続されている投影画像描画制御手段5及び当該投影画像描画制御手段5に接続されている画像情報格納手段9とから構成されている画像投影システム100に於いて、当該モーションキャプチャー手段4は、少なくとも一つ、好ましくは複数個の、当該個々の画像表示領域3の周辺部に配置されているモーションキャプチャーカメラ41乃至44を含んでおり、当該モーションキャプチャーデータ処理手段8は、当該モーションキャプチャーカメラ41乃至44により捕捉された当該それぞれの画像表示領域3に配置された個々のマーカー25に於ける3次元位置情報に基づいて、当該個々の画像表示領域3毎の当該投影空間領域2内於ける存在位置及び当該個々の画像表示領域3の画像表示領域面の形状及び/又は投射方向に対する角度等を含む画像表示領域面情報を演算処理してリアルタイムで決定する画像表示領域面情報発生手段81が設けられており、一方、当該投影画像描画制御手段6には、当該プロジェクター手段選択手段51と、当該複数個の画像表示領域3より選択された少なくとも一つの画像表示領域3を選択する画像表示領域選択手段52と、当該画像情報格納手段9から投射すべき少なくとも一つの画像情報を選択する画像情報選択手段53と、当該選択された一つの画像表示領域3に関する当該画像表示領域面情報を当該モーションキャプチャーデータ処理手段8より取り込む画像表示領域情報取得手段54と、当該選択された投射すべき少なくとも一つの画像情報を、当該画像表示領域面情報を基にして、当該選択された一つの画像表示領域3内に投影するに適した画像情報に修正する描画処理手段55と、当該描画処理手段55により修正された当該選択された画像情報を当該選択されたプロジェクター手段1を介して、当該選択された画像表示領域3に投射する様に指示を行う投射指示手段56と、当該画像表示領域3の移動を検出し、当該画像表示領域3の移動先での当該画像表示領域3に関する画像表示領域面情報を基に、当該選択された画像情報を当該移動先での当該画像表示領域3に適した画像情報に修正する描画処理を行って再投影処理する手段56と、を有する事を特徴とする画像投影装置100である。
【0115】
更に、本具体例では、前述した先の具体例で説明した通り、当該動作状態発生検出手段82と、当該動作状態発生報知手段83とが、当該投影画像描画制御手段5内に設けられている場合も有り得るものである。
【0116】
次に、図24を参照しながら、本発明に於ける更に異なる具体例の操作手順の一例を説明するならば、当該異なる具体例としては、少なくとも一つのプロジェクター手段1、当該プロジェクター手段1の投射領域空間2内に配置されている少なくとも1つの独立した画像表示領域3、当該個々の画像表示領域3の少なくとも一つの動きを検出するモーションキャプチャー手段4、モーションキャプチャーデータ処理手段8及び投影画像描画制御手段5とから構成されている画像投影システム100に於いて、
使用される当該プロジェクター手段1を選択する第1の工程(ステップS−1)後、当該プロジェクター手段1の投射領域空間2内に配置されている当該少なくとも1つの画像表示領域3の当該投射領域空間2内に於ける3次元位置情報を、当該全ての画像表示領域3に設けられているマーカー手段25と当該モーションキャプチャーデータ処理手段8に接続されているモーションキャプチャーカメラ41を介して検出する第2の工程(ステップS−2)が実行され、引き続き、当該プロジェクター手段1の投射領域空間2内に配置されている当該画像表示領域3の少なくとも一つを選択する第3の工程(ステップS−3)実行される。
【0117】
続いて、当該選択された画像表示領域3に関する、当該投射領域空間2内に配置されている存在位置及び当該画像表示領域面の形状、面積及び/又は投射方向に対する角度等の画像表示領域面情報をリアルタイムで検出する第4の工程(ステップS−4)が実行された後、当該選択された少なくとも一つの画像表示領域3に対して投影すべき少なくとも一つの画像を選択する第5の工程(ステップS−5)が実行される。
その後、当該選択された投射すべき画像を、当該投影画像描画制御手段5により、当該選択された画像表示領域3の当該画像表示領域面情報に基づいて、当該選択された画像表示領域3に投影するに適した画像情報に修正する為の描画処理を行う第6の工程(ステップS−6)(尚、選択されていない他の、画像表示領域に対しては、画像投影は行わない。)を経て、当該選択されて、当該投影画像描画制御手段5により修正描画処理された修正投射画像を、当該プロジェクター手段1を介して、当該選択された画像表示領域3に投影する第7の工程(ステップS−7)が実施される。
【0118】
此処で、要すれば、当該画像の投影操作が終了したか否かが判断され(第71の工程(ステップS−71)、YESであれば、当該プロセスはエンドとなるが、NOの場合には、極めて僅かな所定時間(瞬時時間)経過後、当該描画処理された当該画像が投射されている当該選択された画像表示領域3の当該投射領域空間3内に於ける3次元位置情報を、当該モーションキャプチャー手段4を介してリアルタイムで再モニターする第8の工程(ステップS−8)が実行される。
【0119】
再モニター後、要すれば先に得られた当該画像表示領域の3次元位置情報と今回得られた当該画像表示領域の3次元位置情報とを比較する第81の工程(ステップS−81)が実行され、その結果に基づいて、当該画像表示領域3が動いたか否かを判断する第9の工程(ステップS−9)が実行され、NOで有れば第8の工程に戻り、YESであれば、つまり当該画像表示領域が動いた場合には、当該画像表示領域3が移動した先の位置に於いて、当該画像表示領域3の新たな当該投射領域空間2内に於ける3次元位置情報に基づき、当該画像表示領域3が移動した先の位置に於ける当該画像表示領域3に関する、当該画像表示領域面情報をリアルタイムで検出する第10の工程(ステップS−10)が実行される。
【0120】
その後、選択された投射すべき画像を、当該投影画像描画制御手段5により、当該選択された画像表示領域の新たに移動した移動先での当該画像表示領域3に関する画像表示領域面情報に基づいて、当該選択された画像表示領域3に投影するに適した画像情報に修正する為の描画処理を行う第11の工程(ステップS−11)を経て、当該描画処理された当該選択された投射すべき画像を、移動先の当該画像表示領域3に当該プロジェクター手段1を介して投影する第12の工程(ステップS−12)が実行される。
その後、此処で、要すれば、当該画像の投影操作が終了したか否かが判断され(第121の工程(ステップS−121)、YESであれば、当該プロセスはエンドとなるが、NOの場合には、極めて僅かな所定時間(瞬時時間)経過後、当該描画処理された当該画像が投射されている当該選択された画像表示領域3の当該投射領域空間3内に於ける3次元位置情報を、当該モーションキャプチャー手段4を介してリアルタイムで再モニターする第13の工程(ステップS−13)が実行され、第14の工程(ステップS−14として、第8の工程に戻り、上記第10の工程乃至第13の各工程を繰り返すことになる。
【0121】
つまり、本発明に於ける上記具体例にあっては、上記したフローチャートに記載された一連の操作が、各ウインドーにおいて、瞬時間に膨大な数の演算処理が繰り返し実施されることになるのである。
一方、本発明に於ける更に異なる具体例としては、上記した具体例に記載されている第1の工程乃至第15の工程の各機能をコンピューターで実現させる様に構成した画像投影システム用プログラムである。
【0122】
以下に、上記した本発明の技術構成を利用した更に別の幾つかのプレゼンテーションの例を説明する。
次に、図15に示す具体例では、通常のプロジェクションマッピングと異なり被投影体がひとつに限定されるものではなくではなく、キャプチャーエリア内なら当該表示画像表示領域3を多数設置することが可能であり、投射形状もいろんな形に対応し投影することが可能である事を示している。
つまり、図15の具体例は、上記に於いて、図23で説明した本発明に係る応用技術を利用するものであり、投影映像の種類もファイル化された動画に係わらずLIVEカメラの映像、インターネットからダウンロードした映像等、を投影することが可能であり、更には、当該被投影体の投影に合わせて、適宜のチャイム、音楽、音声等を同時に同期して提供する事も可能である。
【0123】
又、図16に示す具体例は、本発明を利用したプロジェクションマッピングでパズルを行う観客参加型のゲームである。
つまり、本具体例では、参加者全員で協力して投影されている文字や図形を完成させていくゲームであり、具体的には、ボードにある特定の文字の一部が投射される。
その投射された文字のかけらが、当該特定の文字のどの場所なのかを、参加者が当該ボードの文字をみながら、他のボードを持つ参加者の間を移動して、他の人のボードに投影された映像と組み合わせしながら正解の文字を探るゲームである。
係る場合には、文字以外の映像でも勿論使用する事は可能である。
又、本具体例では、当該ゲームに制限時間が設けることもでき、残り時間をボードに表示する事により、参加者に対して緊迫感をあおるのも面白い具体例である。
そして、本ゲームに於いて、正解の文字が完成出来たら次の画像が投射される様に構成することにより、アトラクション向きなゲームとなる。
つまり、本具体例では、単にプロジェクションマッピングは見るだけではなく体験し皆で楽しむという新しいジャンルを確立できる
更に、本具体例に於いては、使用する道具にもマーカーをつけた何枚かのボードを用意すれば実現可能なので大掛かりな装置が必要ではない。
【0124】
次に、図17に示す具体例では、プロジェクションマッピングお手玉と称されるゲームの例であり、具体的には、図示の様に、時限爆弾の形状をした画像が投影された映像を、参加者がお手玉のように受けては直ぐに他の人に渡していくという演出の例である。
当該時限爆弾持っている人が、当該時限爆弾が爆発した場合には、罰ゲームをやらされるという仕組みにしても良い。
或いは、ステージ上に並んだ人物が投影されている映像の内容を順番に説明していくという場面に効果的な演出方法となる。
その他にも、本具体例に於いては、動画の再生を継続的に実行する様な場合に、例えば、Aさんの場所では、当該画像の1/4が再生され、次に映像が転移してBさんに移動した場所では、当該画像の続きの1/4が再生されるという様に一連の動画再生の演出方法も可能である。
【0125】
次に、図18(A)に示される他の具体例では、屋外で、移動物体を利用して本発明のプロジェクションマッピングを行うと言う例である。
即ち、ある川に一つ或いは複数の屋形船が移動しており、その対岸の堤防が壁となっている場所に於いて、当該対岸の堤防の壁面に従来と同様のマッピング操作を行っており、一方、手前の移動する船の側面に、本発明に係る動く被投影体への投影操作を実行するものである。
本具体例では、屋外での想定イベントでの使用を想定したものであり、例えば岐阜の鵜飼が行われる長良川でのイベントを想定すると、鵜飼舟にマーカーをつけてマッピングしながら、川の流れで動く船の舷側に、適宜の画像を投射 することによって、鵜飼舟のかがり火の光と鵜飼舟の側面に投射される映像の融合が演出効果を高める事が出来る。
同様に図18(B)に示される他の具体例では、大型プロジェクションマッピングの別の例としてメリーゴーランドの上下動しながら回転する椅子部分に
夢のある静止画あるいは動画を表示する様に構成したものであり、待っている人も十分楽しめる。
【0126】
一方、図19(A)に示される他の具体例では、屋外で、移動物体を利用して本発明のプロジェクションマッピングを行うと言う別の例である。
即ち、図19(A)に示される様に、例えば、ローカル線のイベントとして列車の車体に、本発明の技術を利用したプロジェクションマッピングをしてイベントを盛り上げる方法が示されている。
例えば、大井川鉄道機関車に機関車トーマスを走らせるというローカル線のイベントを行う際に、機関車トーマスがホームに入ってくると(つまり、キャプチャーエリアに入ると)、昔の町並みの映像などその街の歴史的な映像が流れたあとは、現在の映像、例えば、ホームに集まっている人、(列車をみている人)のLIVEの映像に切り替えて投影することが可能である。
本具体例では、列車の車体にLIVEカメラの映像を写し、車体がホームに入ってきた光景を見ている観客の顔が車体に映る様にすると、当該現場の雰囲気を盛り上げる事が可能となる。
【0127】
同様に図19(B)に示される他の具体例では、大型プロジェクションマッピングの更に別の例として、遊園地に於ける観覧車の回転するゴンドラのそれぞれに夢のある静止画あるいは動画を表示する様に構成したものである。
【0128】
次に、図20に示す本発明の更に異なる具体例の一つでは、プロジェクションマッピングレストランの例が示されている。
即ち、本具体例では、メニューをみて、希望のメニューを発注し、それがテーブルに運ばれて来るまでの間、顧客に飽きさせない様に工夫された新規レストランシステムが提供されるのである。
より具体的には、図20(A)に示されている様に、適宜のレストラン内に、複数台のモーションキャプチャーカメラ4と固定或いは移動可能なプロジェクター25が配置されており、お客が所定のテーブルに着席すると、本日のお勧めメニューを含む通常のメニューが記載された例えば、スマートフォンを主とする携帯端末機器が提供され、お客は、当該携帯端末機器に表示された各種のメニューから好みのメニューを選択すると、当該メニューに対応する料理の写真と食材の種類や調理方法等を示す画像が、当該テーブル上に置かれた、マーカーが設けられているランチョンマット或いはお皿に、天井等に配置されている当該プロジェクター25から投影され、当該お客はその内容を簡単に確認出来る。
【0129】
或いは、直接、メニューの一部或いは全てを、当該テーブル上に置かれた、マーカーが設けられているランチョンマット或いはお皿の上に、天井等に配置されている当該プロジェクタ1から投影して表示する様にしても良い。
そして、当該お客が、所望のメニューを注文する場合には、図20(B)に示されている様に、当該お客が、当該ランチョンマット或いはお皿をキッチン方向に放り投げる振りをすると、当該選ばれたメニューがキッチンまで飛んで行き、調理人がいるキッチンの前のスクリーンに当該発注されたメニューが投影される。
当該発注画像を見て、当該調理人が、注文されたメニューを調理する事になる。
【0130】
次に、本具体例に於いて、当該メニューを注文したお客が、当該メニューに対応する料理が出てくるまでの間の退屈さや、飽き飽き感を解消する為に、例えば、図21に示す様な、システムが用意されている。
即ち、図21(A)に示す様に、当該メニューを注文したお客のテーブルに、適宜のマーカーが付与された食器、例えば、ナイフ、フォーク、スプーン等が配膳される。
当該食器は、只の食器データは無く、適宜のマーカーが付与されたものであって、例えば、図示の様に、当該テーブル上に置かれた当該適宜の付きフォークは、それを持って振ると、適宜の音楽が発生したり、適宜のスクリーン上に適宜の画像が投影されたりするようになっている。
【0131】
より具体的には、当該マーカー付きフォークを振る事によって、例えば、指揮棒の様に振る或いはその配置形状を変化させる事によって、当該マーカーの振れ幅に応じて音が変化する様に構成しておくことが可能である。
つまり、当該マーカーの振れ幅、振動数等によって、音を変化される様にしたものであり、例えば、当該マーカーの縦方向の動きでは、音階を変化させる様に構成し、当該マーカーの横方向の動きでは、音階のスピードを変化させる様に構成する事も可能である。
或いは、当該食器を楽器に対応させ、それらを振ると、ギター音楽やピアノ音楽等の楽器に応じた音楽が演奏される様に構成したものであっても良い。
本発明に於ける当該各具体例は、当該マーカーをミリ単位の移動を検知できる精度をもっているからこそ実行可能な表現方法である。
【0132】
一方、図21(B)に示す様に、当該注文した料理が出来上がる間、当該キッチンに設けられているカメラによって、料理人が当該キッチン内で、当該注文された料理を調理している様子を実況中継して、当該お客のテーブル上のお皿或いはランチョンマット上に当該キッチンで作られる料理のライブ映像を投影する様に構成する事も可能であり、お客は、料理を味わうだけでなく調理されるのを見る楽しさが追加されることになり、当該注文した料理が出てくるまでの間を退屈せず又飽きがこない状態で待つ事が出来る。
【0133】
図22には、本発明に於ける新規に構成された手持ち型携帯式プロジェクターを使用した具体例の一例を示したものであり、当該手持ち型携帯式プロジェクター1’は、マーカー125を有すると同時に画像情報を任意の画像情報発信手段から受信出来る様に構成されているものであり、より具体的には、図示の様に、複数個のモーションキャプチャーカメラ4のャプチャー領域内に於いて、特定の人物を囲むように幾つかの風船が配置されていて、当該人物が、小型のプロジェクターを手にしながら当該風船にぶら下がっているマーカーつきの被投影体に、順次の特定も文字を投影して、そこに何が書かれているのかを判断し、そこから特定の単語を当てるというゲームである。
当該風船は不規則に上がるのでどこにどんな文字が書かれていたかを記憶しておかなければ答えの文字を導き出せないゲームである。
更に、本具体例では、当該風船が所定の位置まで上がるまで何度でも風船の下の被投影体にプロジェクターで所定の文字を投影でき、当該文字を確認することができる。
【0134】
更に、図25には、本発明の更に異なる具体例が示されている。
即ち、図25に於いては、任意のタイミングでコンテンツを切り替えて行くプロジェクト方法が開示されており、具体的には、ある投影領域で、例えば、映画のフィルムの画像が投影されている場合に於いて、オペレーターがスティックを任意の方向に動かすと、当該投影領域にペンギンの画像が現れる様に構成されたものである。
係る投影方法は、従来のシステムでは、実現が困難なものであったが、本発明に於いては、任意のタイミングで画像を切り替える事が可能となる。
係る画像の切り替え方法は当該コンテンツ投影エリアにマーカーの付いたスティックやマーカーを付けた人物の手を近付けることにより実現される。
更には、別の切り替え演出方法として、紙芝居の様に、コンテンツを引っ張る様にすることにより次のコンテンツを切り替え表示する事も可能である。
【0135】
又、図26には、本発明の更に別のアトラクション的な演出方法の具体例が示されている。
即ち、図26に於いては、例えば、綱引きゲームとでも称される様な、視聴者参加型イベントであって、適宜の大きな壁(大型スクリーン)の前に少なくとも2人の視聴者が配置され、当該各視聴者は、それぞれ任意の大きさを持った、複数個のマーカーが配備されている移動式投射領域(つまり、スクリーン)を持って、当該各視聴者間に所定の距離が設定される様に、相互に離れて立っている。
係る状態に於いて、所定のプロジェクターより、当該双方の移動式投射領域とその間の空間部に、図示のような、綱をイメージした画像を投射するものである。
【0136】
具体的には、左側の当該移動式投射領域(スクリーン)に設けられたマーカーから任意に選択された少なくとも2個のマーカーと、右側の当該移動式投射領域(スクリーン)に設けられたマーカーから任意に選択された少なくとも2個のマーカーとで形成される投射領域内に当該綱をイメージした画像を投射するものであり、その結果、と共に、少なくとも当該綱の画像の右端部の画像の一部は、当該右側の当該移動式投射領域(スクリーン)内に投影され、少なくとも当該綱の画像の左端部の画像の一部は、当該左側の当該移動式投射領域(スクリーン)内に投影され、且つその間の綱の画像部分は、後側に設けられている当該綱の画像が投影されるための反射率を有する適宜の壁部を構成する当該適宜の大きな壁(大型スクリーン)に投射され、結局、遠くから見た場合には、当該2つの移動式投射領域(つまり、スクリーン)の間に、当該綱の画像が投射されている様に見える。
本具体例では、より具体的に説明すると、当該綱の画像は、当該マーカーとマーカーとをつないでいる映像であって、当該映像が飛んでいくのは非連続的が投影で実行されるものであり、当該マーカー間を常に映像で投影続ける事は可能である。
又、本具体例に於いて、当該マーカー付きの投影領域の移動や変位或いは振動の状態を検知する為に、適宜の個数のモーションキャプチャーカメラを配置しておく事が望ましい。
【0137】
つまり、従来に於ける通常のプロジェクションマッピングでは、この様な投影方法は、実質的に不可能であったが、本発明においては、マーカーとマーカーの空間を映像で結ぶ事が出来るので実現が可能な演出となる。
此処で、双方の視聴者が手に持っている当該移動式投射領域を適宜に、上下左右の任意の方向に移動、振動、変位等の動作を行わせると、当該綱の画像もそれらの動きに応答して、伸縮したり、上下動したり、或いはその太さが変化したりして、当該綱の画像の躍動的な変化を楽しむ事が出来る。
【0138】
つまり、本具体例に於いては、投影されている被投影体と被投影体を画像で結ぶことが出来るのでその効果を利用して、マーカー間を綱引きの綱の映像で結び、更に、双方がマーカーのついたボードを振りあっても、ボードとボードを結んでいる綱の映像は、そのボードの動きにリアルタイムで追随するので、あたかも綱引きをおこなっているような映像となる。
更に、システム的には、例えば、当該双方の投影領域に於ける当該マーカーの振動を数値化して、背後の大型スクリーンの上部に、図示する様な、棒グラフとして双方の投影領域に対応する上部に表示する事も可能であり、その場合には、当該振り幅或いは振動数が相手より大きければ棒グラフのエリアが増加して相手の陣地まで届くとゲームが終了となるという様なイベントを実現させる事が出来る。
【0139】
次に、図22に例示された当該手持ち型携帯式プロジェクター1’を使用した更に別のアトラクション的な演出方法の幾つかの具体例を以下に図面を参照しながら説明する。
その第1の具体例としては、図27にその概略が示されている様に、プロジェクションマッピング遊園地と言うアトラクションである。い 即ち、このアトラクションでは、参加者が上記したバッテリ駆動の手持ちプロジェクター1’を持って、遊園地の中を探索しながら、所定の画像が、当該遊園地内に配置されたどの施設のどの場所で、観察出来るかを探し出し、そこで当該画像の映像を楽しむ様に設計されている。
【0140】
つまり、図27に於ける当該参加者の周囲に配置されている複数の画像(静止画像や動画像)は、当該遊園地内に配置された何れかの施設の特定の場所に投影される様に予め設定されているものであり、当該参加者は、どの画像が何処で見られるかは、全く知らされていないので、そこに、探検すると言う楽しみが存在する事になる。
係るアトラクションは、バッテリ駆動の手持ちプロジェクター1’に無線で特定の映像が受信できる様に設定されたプロジェクターを利用する事により可能となり、それによって、特に、夕方或いは夜の遊園地をより面白く演出することが可能である。
【0141】
つまり、従来のプロジェクションマッピングでは決められた場所の被投影体に投影される映像をみるという観客が自己の動きを止めて鑑賞するという静止常態での鑑賞であったが、本具体例では、被投影体がどこにあるのかを自分で探しあてて、自己が持っている手持ちプロジェクター1’から、自分で投影したコンテンツを楽しむという観客が自分で動き回り始めて鑑賞出来るという動的で能動的な鑑賞方法が可能になる。
換言するならば、さながら当該携帯式の小型プロジェクターは、懐中電灯のような役割で夜の遊園地の中を宝探しをしているような楽しみ方が出来ることになる。
【0142】
より詳細に本具体例を説明するならば、上記した様な具体例を実現するためには、当該プロジェクションマッピングする対象となる、当該遊園地内に配置された固定された施設或いは動く施設、即ち、遊園地にあるすべての乗り物の側壁や固定壁の一部或いは全部を選択して被投影体(スクリーン)として設定し、当該被投影体(スクリーン)に当該マーカーをつける事が必要である。
これによって、動くのりものにも投影が可能なので乗り物にあった効果的なおうお化けが出てくるというホラー体験も可能である。
もちろん季節ごとのお化けがハロウインやサンタなどに変わっていくのも映像コンテンツを差し替えるだけで可能なので大掛かりな機材を投入しなくてもよいというのも利点である。
【0143】
更に、本具体例を実現する為には、当該被投影体(スクリーン)の近傍に、適宜の個数のモーションキャプチャーカメラ42を配置しておく事が必要であり、これによって、当該参加者が携帯している当該携帯式プロジェクター1’が、当該モーションキャプチャーカメラ42の監視エリア内に入って来た時点で、当該所定の被投影体(スクリーン)対して予め設定されている画像が、当該参加者が携帯している当該携帯式プロジェクター1’から、投影されて、その画像を鑑賞し、楽しむ事が出来る。
【0144】
更に、本具体例に於いては、当該所定の画像を選択しあるいは生成する為のパソコンを含む画像記憶手段付きの画像選択・生成手段を併用すると共に、当該選択され或いは生成された画像を無線により、当該携帯式プロジェクター1’に向けて送信する事が可能な回路手段を含むシステムが用意されている事が必要である。
【0145】
一方、当該携帯式プロジェクター1’は、上記した送信手段から送信された映像信号を無線で受信する為のシステムを有すると同時に、所定のマーカーが付与されている事が必要である。
更に、本具体例では、当該個々の被投影体(スクリーン)に個別に付与された当該マーカーは、3次元位置情報の他、適宜の識別記号(例えばID番号)が付与されており、当該識別記号(例えばID番号)は、図27に示されているそれぞれの画像と1対1の対応がとれている。
従って、当該所定の被投影体(スクリーン)には、予め選択されている画像が必ず投影されることになる。
【0146】
図28は、上記した本具体例の一つの例として、迷路の一部の壁に予め設定された投影領域に適宜個数のマーカーが付与されていて、参加者が、当該壁に設けられたモーションキャプチャーカメラ42の監視エリア内に入って来た時に、当該参加者が持っている当該携帯式プロジェクター1’から、お化けの動画が投影される様にする事が可能となる。
【0147】
一方、図29乃至図32は、何れも、本発明に於ける上記具体例に於いて、スタンプラリーを行うと言うアトラクションであり、当該スタンプのありかは、例えば、当該遊園地すべての乗り物を対象としても良い。
つまり、観覧車や列車、コーヒーカップ、メリーゴーランド等の外壁面の一部に、特定のスタンプの画像が表示される様に予め設定されており、参加者、特に子供は、手持ちプロジェクター1’をもって宝探しゲームのようにスタンプがどこに隠れているかを探し出すアトラクションである。
【0148】
更に、図33は、ナイト美術館と称されるアトラクションであって、暗闇の空中に複数個のマーカー付のキャンパスが吊り下げられており、当該キャンパスには、所定個数のマーカーが付されており、参加者が、好みのキャンパスの前に立って、当該携帯式プロジェクターを操作すると、当該携帯式プロジェクターが懐中電灯のようにして、暗闇の空中につるしてあるマーカー付のキャンパスに投影操作を行うと、初めて当該キャンパス上に所定の画像が現れて来るという鑑賞方法が出来る。
【0149】
一方、図34は、みんなで投影と称されるアトラクションであって、複数の参加者等が、それぞれに持っている手持ちプロジェクター1’を所定の投影領域に向けて投影する事によって、それぞれの映像を重ね合わせる様にクリスマスツリーの画像に投影して、飾りつけを完成させるゲームであり、他の人との共同作業で初めてツリーが完成する。
【符号の説明】
【0150】
1、1’…プロジェクター手段
1’−1、1’−2、1’−3…携帯式移動可能プロジェクター手段
2…投射領域内
3…画像表示領域
3’ …新たな画像表示領域
4…モーションキャプチャー手段
5…投影画像描画制御手段
6…第1の画像
7…特定動作状態検出信号
8…モーションキャプチャーデータ処理手段
9…記憶手段
22…3次元立体空間
25…マーカー
25’ …バーチャルマーカー
30…セグメント
31…第1の画像表示領域
32…第2の画像表示領域
33…第3の画像表示領域
35…交差点
41,42,43,44…モーションキャプチャーカメラ
45…ハブ手段
51…プロジェクター手段選択手段
52…画像表示領域選択手段
53…画像情報選択手段
54…画像表示領域情報取得手段
55…修正描画処理手段
56…投射指示手段
57…別の画像表示領域選択手段
58…異なる画像表示領域情報取り込み手段
59…別の描画処理手段
60…別の投射指示手段
61…所定の動作状態、動作方向矢印
81…画像表示領域情報発生手段
82…動作状態発生検出手段
82−1…演算手段
82−2…比較判定手段
83…動作状態発生報知手段
125…マーカー
100…画像投影方法、画像投影システム、画像投影装置
300…所定の画像表示部分300
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
【手続補正書】
【提出日】2015年12月5日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
少なくとも一つのプロジェクター手段、当該プロジェクター手段の投射領域内に配置されている少なくとも1つの独立した移動可能に構成された画像表示領域、当該画像表示領域の動きを検出するモーションキャプチャー手段及び投影画像描画制御手段とから構成されている画像投影システムに於いて、当該プロジェクター手段は、少なくとも選択された一つの画像を、当該画像表示領域内に投影すると共に、当該画像表示領域の移動動作に追随して、当該画像が当該画像表示領域に投影される様に移動する様に構成されている事を特徴とする画像投影方法。
【請求項2】
当該プロジェクター手段は、自己の投射領域内に一つ或いは相互に独立した複数個の画像投影領域ウインドーを形成すると共に、当該各画像投影領域ウインドーを当該それぞれの移動可能な画像表示領域と対応させており、且つ当該それぞれの画像投影領域ウインドーは、個々に対応する当該画像表示領域に適合する様に描画処理された特定の画像が投影される様に構成されており、更に、当該各ウインドーは、それぞれ対応する個別の画像表示領域の移動動作に追随して当該自己の投射領域内で移動する様に構成されている事を特徴とする請求項1に記載の画像投影方法。
【請求項3】
一つの当該プロジェクター手段は、自己の投射領域内に於いて、一つ乃至複数個の当該画像投影領域ウインドーを介して、当該自己の投射領域内に配置された一つ或いは複数個の当該画像表示領域のそれぞれに対して、個別に、同一或いは相互に異なる画像を投射出来る様に構成されている事を特徴とする請求項1又は2に記載の画像投影方法。
【請求項4】
当該複数個の画像表示領域は、個別的に、当該個々の画像表示領域の範囲並びに当該投影領域内の3次元空間内に於ける存在位置を表示する為に、複数個のマーカーが付与されている事を特徴とする請求項1乃至3の何れかに記載の画像投影方法。
【請求項5】
当該モーションキャプチャー手段を構成するモーションキャプチャーカメラが常時、当該個々の画像表示領域毎に、当該個々の画像表示領域に配置されている当該マーカーの存在位置を3次元位置情報として検出し、当該個々の画像表示領域の当該3次元位置情報をリアルタイムで当該画像投影システム設けられているモーションキャプチャーデータ処理手段若しくは投影画像描画制御手段に報知する様に構成されている事を特徴とする請求項1乃至4の何れかに記載の画像投影方法。
【請求項6】
当該画像投影システムには、更に、当該モーションキャプチャーデータ処理手段が設けられており、当該モーションキャプチャーデータ処理手段は、当該モーションキャプチャーカメラが検出した、当該個々の画像表示領域毎のマーカー位置情報から、当該個々の画像表示領域の当該空間領域内於ける存在位置及び当該個々の画像表示領域の画像表示領域面の形状及び/又は投射方向に対する角度等を含む画像表示領域情報を演算処理してリアルタイムで決定する様に構成されている事を特徴とする請求項5に記載の画像投影方法。
【請求項7】
少なくとも一つのプロジェクター手段、当該プロジェクター手段の投射領域空間内に配置されている少なくとも1つの独立した画像表示領域、当該個々の画像表示領域の少なくとも一つの動きを検出するモーションキャプチャー手段、モーションキャプチャー手段と接続されているモーションキャプチャーデータ処理手段、当該モーションキャプチャーデータ処理手段及び当該プロジェクター手段と接続されている投影画像描画制御手段及び当該投影画像描画制御手段に接続されている画像情報格納手段とから構成されている画像投影システムに於いて、当該モーションキャプチャー手段は、少なくとも一つ、好ましくは複数個の、当該此処の画像表示領域の周辺部に配置されているモーションキャプチャーカメラを含んでおり、当該モーションキャプチャーデータ処理手段は、当該モーションキャプチャーカメラにより捕捉された当該それぞれの画像表示領域に配置された個々のマーカーに於ける3次元位置情報に基づいて、当該個々の画像表示領域毎の当該空間領域内於ける存在位置及び当該個々の画像表示領域の画像表示領域面の形状及び/又は投射方向に対する角度等を含む画像表示領域面情報を演算処理してリアルタイムで決定する画像表示領域面情報発生手段と、が設けられており、一方、当該投影画像描画制御手段には、当該プロジェクター手段選択手段と、当該複数個の画像表示領域より選択された少なくとも一つの画像表示領域を選択する画像表示領域選択手段と、当該画像情報格納手段から投射すべき少なくとも一つの画像情報を選択する画像情報選択手段と、当該選択された一つの画像表示領域に関する当該画像表示領域面情報を当該モーションキャプチャーデータ処理手段より取り込む画像表示領域情報取得手段と、当該選択された投射すべき少なくとも一つの画像情報を、当該画像表示領域面情報を基にして、当該選択された一つの画像表示領域内に投影するに適した画像情報に修正する描画処理手段と、当該描画処理手段により修正された当該選択された画像情報を当該選択されたプロジェクター手段を介して、当該選択された画像表示領域に投射する様に指示を行う投射指示手段と、当該画像表示領域の移動を検出し、当該画像表示領域の移動先での当該画像表示領域に関する画像表示領域面情報を基に、当該選択された画像情報を当該移動先での当該画像表示領域に適した画像情報に修正する描画処理を行って再投影処理する手段と、を有する事を特徴とする画像投影装置。
【請求項8】
少なくとも一つのプロジェクター手段、当該プロジェクター手段の投射領域空間内に配置されている少なくとも1つの独立した画像表示領域、当該個々の画像表示領域の少なくとも一つの動きを検出するモーションキャプチャー手段、モーションキャプチャーデータ処理手段及び投影画像描画制御手段とから構成されている画像投影システムに於いて、
使用される当該プロジェクター手段を選択する第1の工程、
当該プロジェクター手段の投射領域空間内に配置されている当該少なくとも1つの画像表示領域の当該投射領域空間内に於ける3次元位置情報を、当該各画像表示領域に設けられているマーカー手段と当該モーションキャプチャーデータ処理手段に接続されているモーションキャプチャーカメラを介して検出する第2の工程、
当該プロジェクター手段の投射領域空間内に配置されている当該画像表示領域の少なくとも一つを選択する第3の工程、
当該選択された画像表示領域に関する、当該投射領域空間内に配置されている存在位置及び当該画像表示領域面の形状、面積及び/又は投射方向に対する角度等の画像表示領域面情報をリアルタイムで検出する第4の工程、
当該選択された少なくとも一つの画像表示領域に対して投影すべき少なくとも一つの画像を選択する第5の工程、
当該選択された投射すべき画像を、当該投影画像描画制御手段により、当該選択された画像表示領域の当該画像表示領域面情報に基づいて、当該選択された画像表示領域に投影するに適した画像情報に修正する為の描画処理を行う第6の工程(尚、選択されていない他の、画像表示領域に対しては、画像投影は行わない。)
当該選択されて、当該投影画像描画制御手段により修正描画処理された修正投射画像を、当該プロジェクター手段を介して、当該選択された画像表示領域に投射する第7の工程、
その後、当該描画処理された当該画像が投射されている当該選択された画像表示領域の当該投射領域空間内に於ける3次元位置情報を、当該モーションキャプチャー手段を介してリアルタイムで再モニターする第8の工程、
先に検出された当該画像表示領域の当該3次元位置情報と、今回検出された当該画像表示領域の当該3次元位置情報とから、当該画像表示領域が動いたか否かを判断する第9の工程、
画像表示領域が動いた場合に、当該画像表示領域が今回移動した位置に於ける当該画像表示領域の新たな当該画像表示領域面情報をリアルタイムで検出する第10の工程、
当該選択された投射すべき画像を、当該投影画像描画制御手段により、当該選択された画像表示領域の新たに移動した移動先での当該画像表示領域に関する当該画像表示領域面情報に基づいて、当該選択された画像表示領域に投影するに適した画像情報に修正する為の描画処理を行う第11の工程、
当該描画処理された当該選択された投射すべき画像を、移動先の当該画像表示領域に当該プロジェクター手段を介して投影する第12の工程、
その後、当該画像表示領域が更に移動したか否かを検出する第13の工程、及び
当該移動が検出された場合に、上記第8の工程乃至第13の各工程を繰り返す第14の工程、
と、で構成されている特徴とする画像投影システム。
【請求項9】
少なくとも一つのプロジェクター手段、当該プロジェクター手段の投射領域内に配置されている少なくとも2つの独立した画像表示領域、当該個々の画像表示領域の少なくとも一つの動きを検出するモーションキャプチャー手段及び投影画像描画制御手段とから構成されている画像投影システムに於いて、一つの当該プロジェクター手段が、少なくとも選択された一つの第1の画像を、少なくとも選択された一つの第1の画像表示領域に投影するように操作されている状態に於いて、当該第1の画像表示領域に投影されている当該第1の画像上に、予め選択されている所定の動作状態の発生が検出された場合には、当該動作状態の発生を検出する特定の検出信号に応答して、瞬時に(リアルタイムに)当該第1の画像表示領域に投影されている当該第1の画像を、当該第1の画像表示領域とは異なる第2の画像表示領域に移動させて、第2の画像表示領域内で当該第1の画像の投影を継続する様に構成されている事を特徴とする請求項1乃至6に記載の画像投影方法。
【請求項10】
少なくとも一つのプロジェクター手段、当該プロジェクター手段の投射領域空間内に配置されている少なくとも2つの独立した画像表示領域、当該個々の画像表示領域の少なくとも一つの動きを検出するモーションキャプチャー手段、モーションキャプチャー手段と接続されているモーションキャプチャーデータ処理手段、当該モーションキャプチャーデータ処理手段及び当該プロジェクター手段と接続されている投影画像描画制御手段及び当該投影画像描画制御手段に接続されている画像情報格納手段とから構成されている画像投影システムに於いて、当該モーションキャプチャー手段は、少なくとも一つ、好ましくは複数個の、当該此処の画像表示領域の周辺部に配置されているモーションキャプチャーカメラを含んでおり、当該モーションキャプチャーデータ処理手段は、当該モーションキャプチャーカメラにより捕捉された当該それぞれの画像表示領域に配置された個々のマーカーに於ける3次元位置情報に基づいて、当該個々の画像表示領域毎の当該空間領域内於ける存在位置及び当該個々の画像表示領域の画像表示領域面の形状及び/又は投射方向に対する角度等を含む画像表示領域情報を演算処理してリアルタイムで決定する画像表示領域面情報発生手段と、当該個々の画像表示領域面に関する当該画像表示領域面情報に基づいて、当該投射されている画像上に、予め選択されている所定の動作状態が発生しているか否かをリアルタイムで演算処理して決定する動作状態発生検出手段と、当該投射されている画像表示領域に投影されている当該画像上に、予め選択されている所定の動作状態の発生が検出された場合には、当該動作状態の発生を報知する特定の検出信号を出力する動作状態発生報知手段とが設けられており、一方、当該投影画像描画制御手段には、当該プロジェクター手段選択手段と、当該複数個の画像表示領域より選択された少なくとも一つの画像表示領域を選択する画像表示領域選択手段と、当該画像情報格納手段から投射すべき少なくとも一つの画像情報を選択する画像情報選択手段と、当該選択された一つの画像表示領域に関する当該画像表示領域情報を当該モーションキャプチャーデータ処理手段より取り込む画像表示領域情報取得手段54と、当該選択された投射すべき少なくとも一つの画像情報を、当該画像表示領域情報を基にして、当該選択された一つの画像表示領域内に投影するに適した画像情報に修正する描画処理手段と、当該描画処理手段により修正された当該選択された画像情報を当該選択されたプロジェクター手段を介して、当該選択された画像表示領域に投射する様に指示を行う投射指示手段と、当該モーションキャプチャーデータ処理手段から出力される、当該選択された一つの画像表示領域に於ける所定の動作状態の発生を報知する当該特定の検出信号を検知した場合には、当該特定の検出信号に応答して、瞬時に(リアルタイムに)、当該画像が選択投影されている画像表示領域とは異なる別の画像表示領域を別途選択する別の画像表示領域選択手段と、当該別途選択された当該画像表示領域に関する画像表示領域情報を当該モーションキャプチャーデータ処理手段から取り込む異なる画像表示領域情報取り込み手段と、当該取り込まれた、別途選択された当該画像表示領域に関する画像表示領域情報に基づいて、当該選択投影されている画像を、当該別途選択された画像表示領域内に投影するに適した画像情報に修正する別の描画処理手段と、当該別の描画処理手段により修正された当該選択された画像情報を、当該選択されたプロジェクター手段を介して、瞬時に(リアルタイムに)、当該別途選択された画像表示領域に投射する指示を行う別の投射指示手段、とを有する事を特徴とする請求項7に記載の画像投影装置。
【請求項11】
少なくとも一つのプロジェクター手段、当該プロジェクター手段の投射領域空間内に配置されている少なくとも2つの独立した画像表示領域、当該個々の画像表示領域の少なくとも一つの動きを検出するモーションキャプチャー手段、モーションキャプチャーデータ処理手段及び投影画像描画制御手段とから構成されている画像投影システムに於いて、
使用される当該プロジェクター手段を選択する第21の工程、
当該プロジェクター手段の投射領域空間内に配置されている当該全ての画像表示領域の当該投射領域空間内に於ける3次元位置情報を、当該全ての画像表示領域に設けられているマーカーと当該モーションキャプチャーデータ処理手段に接続されているモーションキャプチャーカメラを介して検出する第22の工程、
当該プロジェクター手段の投射領域空間内に配置されている当該画像表示領域の少なくとも一つを選択する第23の工程、
当該選択された画像表示領域に関する、当該投射領域空間内に配置されている存在位置及び当該画像表示領域面の形状及び/又は投射方向に対する角度等の画像表示領域面情報をリアルタイムで表示する第24の工程、
当該選択された少なくとも一つの画像表示領域に対して投影すべき少なくとも一つの画像を選択する第25の工程、
当該選択された投射すべき画像を、当該投影画像描画制御手段により、当該選択された画像表示領域の当該画像表示領域面情報に基づいて、当該選択された画像表示領域に投影するに適した画像情報に修正する為の描画処理を行う第26の工程(尚、選択されていない他の、画像表示領域に対しては、画像投影は行わない。)
当該選択されて、当該投影画像描画制御手段により修正描画処理された修正投射画像を、当該プロジェクター手段を介して、当該選択された画像表示領域に投射する第27の工程、
当該描画処理された当該画像が投射されている当該選択された画像表示領域の当該投射領域空間内に於ける当該画像に関する3次元位置情報を、当該モーションキャプチャー手段を介してリアルタイムでモニターする第28の工程、
当該画像表示領域の当該投射領域空間内に於ける3次元位置情報に所定の動作状態が発生しているか否かを検出する第29の工程、
当該画像表示領域に関する当該所定の動作状態が発生した場合、当該所定の動作状態が予め設定されているしきい値を超えているか否かを判断する第30の工程、
当該画像表示領域(第1の画像表示領域)に関する動作状態が予め設定されているしきい値を超えている場合には、当該選択されている画像が投射されている当該画像表示領域(第1の画像表示領域)とは異なる、当該プロジェクター手段の当該投射領域空間内に配置されている他の画像表示領域(第2の画像表示領域)を選択する第31の工程、
当該選択された他の画像表示領域(第2の画像表示領域)に関する当該画像表示領域面情報を当該モーションキャプチャーデータ処理手段から選択する第32の工程、
当該選択された他の画像表示領域(第2の画像表示領域)に関する当該画像表示領域面情報に基づいて、当該画像表示領域(第1の画像表示領域)に投影されている当該修正投射画像を、当該投影画像描画制御手段により、当該選択された他の画像表示領域(第2の画像表示領域)に投影するに適した画像情報に修正する為の描画処理を行う第33の工程、
当該画像表示領域(第1の画像表示領域)に対する当該先の修正投射画像の投射操作を中止し、当該選択された他の画像表示領域(第2の画像表示領域)に対して、新たに描画処理された修正画像を投射する第34の工程、
上記各工程を繰り返す第35の工程、
と、で構成されている特徴とする画像投影システム。
【請求項12】
請求項1乃至11に規定される画像投影方法、画像投影装置或いは画像投影システムの何れかに於いて使用されるマーカーを付与された移動可能な携帯式プロジェクター手段。
【請求項13】
少なくとも一つのプロジェクター手段、当該プロジェクター手段の投射領域空間内に配置されている少なくとも1つの独立した画像表示領域、当該個々の画像表示領域の少なくとも一つの動きを検出するモーションキャプチャー手段、モーションキャプチャーデータ処理手段及び投影画像描画制御手段とから構成されている画像投影システムに於いて、
使用される当該プロジェクター手段を選択する第1のステップと、
当該プロジェクター手段の投射領域空間内に配置されている当該少なくとも1つの画像表示領域の当該投射領域空間内に於ける3次元位置情報を、当該各画像表示領域に設けられているマーカー手段と当該モーションキャプチャーデータ処理手段に接続されているモーションキャプチャーカメラを介して検出する第2のステップと、
当該プロジェクター手段の投射領域空間内に配置されている当該画像表示領域の少なくとも一つを選択する第3のステップと、
当該選択された画像表示領域に関する、当該投射領域空間内に配置されている存在位置及び当該画像表示領域面の形状、面積及び/又は投射方向に対する角度等の画像表示領域面情報をリアルタイムで検出する第4のステップと、
当該選択された少なくとも一つの画像表示領域に対して投影すべき少なくとも一つの画像を選択する第5のステップと、
当該選択された投射すべき画像を、当該投影画像描画制御手段により、当該選択された画像表示領域の当該画像表示領域面情報に基づいて、当該選択された画像表示領域に投影するに適した画像情報に修正する為の描画処理を行う第6のステップと、(尚、選択されていない他の、画像表示領域に対しては、画像投影は行わない。)
当該選択されて、当該投影画像描画制御手段により修正描画処理された修正投射画像を、当該プロジェクター手段を介して、当該選択された画像表示領域に投射する第7のステップと、
その後、当該描画処理された当該画像が投射されている当該選択された画像表示領域の当該投射領域空間内に於ける3次元位置情報を、当該モーションキャプチャー手段を介してリアルタイムで再モニターする第8のステップと、
先に検出された当該画像表示領域の当該3次元位置情報と、今回検出された当該画像表示領域の当該3次元位置情報とから、当該画像表示領域が動いたか否かを判断する第9のステップと、
画像表示領域が動いた場合に、当該画像表示領域が今回移動した位置に於ける当該画像表示領域の新たな当該画像表示領域面情報をリアルタイムで検出する第10のステップと、
当該選択された投射すべき画像を、当該投影画像描画制御手段により、当該選択された画像表示領域の新たに移動した移動先での当該画像表示領域に関する当該画像表示領域面情報に基づいて、当該選択された画像表示領域に投影するに適した画像情報に修正する為の描画処理を行う第11のステップと、
当該描画処理された当該選択された投射すべき画像を、移動先の当該画像表示領域に当該プロジェクター手段を介して投影する第12のステップと、
その後、当該画像表示領域が更に移動したか否かを検出する第13のステップと、及び
当該移動が検出された場合に、上記第8のステップ乃至第13の各ステップを繰り返す第14のステップ、
と、で構成されている各工程をコンピュータに実行させるように構成した事を
特徴とする画像投影処理プログラム。
【請求項14】
少なくとも一つのプロジェクター手段、当該プロジェクター手段の投射領域空間内に配置されている少なくとも2つの独立した画像表示領域、当該個々の画像表示領域の少なくとも一つの動きを検出するモーションキャプチャー手段、モーションキャプチャーデータ処理手段及び投影画像描画制御手段とから構成されている画像投影システムに於いて、
使用される当該プロジェクター手段を選択する第21のステップと、
当該プロジェクター手段の投射領域空間内に配置されている当該全ての画像表示領域の当該投射領域空間内に於ける3次元位置情報を、当該全ての画像表示領域に設けられているマーカーと当該モーションキャプチャーデータ処理手段に接続されているモーションキャプチャーカメラを介して検出する第22のステップと、
当該プロジェクター手段の投射領域空間内に配置されている当該画像表示領域の少なくとも一つを選択する第23のステップと、
当該選択された画像表示領域に関する、当該投射領域空間内に配置されている存在位置及び当該画像表示領域面の形状及び/又は投射方向に対する角度等の画像表示領域面情報をリアルタイムで表示する第24のステップと、
当該選択された少なくとも一つの画像表示領域に対して投影すべき少なくとも一つの画像を選択する第25のステップと、
当該選択された投射すべき画像を、当該投影画像描画制御手段により、当該選択された画像表示領域の当該画像表示領域面情報に基づいて、当該選択された画像表示領域に投影するに適した画像情報に修正する為の描画処理を行う第26のステップと、(尚、選択されていない他の、画像表示領域に対しては、画像投影は行わない。)
当該選択されて、当該投影画像描画制御手段により修正描画処理された修正投射画像を、当該プロジェクター手段を介して、当該選択された画像表示領域に投射する第27のステップと、
当該描画処理された当該画像が投射されている当該選択された画像表示領域の当該投射領域空間内に於ける当該画像に関する3次元位置情報を、当該モーションキャプチャー手段を介してリアルタイムでモニターする第28のステップと、
当該画像表示領域の当該投射領域空間内に於ける3次元位置情報に所定の動作状態が発生しているか否かを検出する第29のステップと、
当該画像表示領域に関する当該所定の動作状態が発生した場合、当該所定の動作状態が予め設定されているしきい値を超えているか否かを判断する第30のステップと、
当該画像表示領域(第1の画像表示領域)に関する動作状態が予め設定されているしきい値を超えている場合には、当該選択されている画像が投射されている当該画像表示領域(第1の画像表示領域)とは異なる、当該プロジェクター手段の当該投射領域空間内に配置されている他の画像表示領域(第2の画像表示領域)を選択する第31のステップと、
当該選択された他の画像表示領域(第2の画像表示領域)に関する当該画像表示領域面情報を当該モーションキャプチャーデータ処理手段から選択する第32のステップと、
当該選択された他の画像表示領域(第2の画像表示領域)に関する当該画像表示領域面情報に基づいて、当該画像表示領域(第1の画像表示領域)に投影されている当該修正投射画像を、当該投影画像描画制御手段により、当該選択された他の画像表示領域(第2の画像表示領域)に投影するに適した画像情報に修正する為の描画処理を行う第33のステップと、
当該画像表示領域(第1の画像表示領域)に対する当該先の修正投射画像の投射操作を中止し、当該選択された他の画像表示領域(第2の画像表示領域)に対して、新たに描画処理された修正画像を投射する第34のステップと、
上記各ステップとを繰り返す第35のステップと、
と、で構成されている各工程をコンピュータに実行させるように構成した事を
特徴とする画像投影処理プログラム。