IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ カシオ計算機株式会社の特許一覧

特開2022-138755投影制御装置、空間投影装置、空間投影システム及び空間投影方法
<>
  • 特開-投影制御装置、空間投影装置、空間投影システム及び空間投影方法 図1
  • 特開-投影制御装置、空間投影装置、空間投影システム及び空間投影方法 図2
  • 特開-投影制御装置、空間投影装置、空間投影システム及び空間投影方法 図3
  • 特開-投影制御装置、空間投影装置、空間投影システム及び空間投影方法 図4
  • 特開-投影制御装置、空間投影装置、空間投影システム及び空間投影方法 図5
  • 特開-投影制御装置、空間投影装置、空間投影システム及び空間投影方法 図6
  • 特開-投影制御装置、空間投影装置、空間投影システム及び空間投影方法 図7
  • 特開-投影制御装置、空間投影装置、空間投影システム及び空間投影方法 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022138755
(43)【公開日】2022-09-26
(54)【発明の名称】投影制御装置、空間投影装置、空間投影システム及び空間投影方法
(51)【国際特許分類】
   H04N 5/74 20060101AFI20220915BHJP
   G03B 21/62 20140101ALI20220915BHJP
   G03B 21/00 20060101ALI20220915BHJP
   G02B 30/56 20200101ALI20220915BHJP
   G03B 35/18 20210101ALI20220915BHJP
【FI】
H04N5/74 D
G03B21/62
G03B21/00 D
G02B30/56
G03B35/18
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2021038823
(22)【出願日】2021-03-11
(71)【出願人】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】110002022
【氏名又は名称】弁理士法人コスモ国際特許事務所
(72)【発明者】
【氏名】成川 哲郎
(72)【発明者】
【氏名】深野 和靖
(72)【発明者】
【氏名】小林 正樹
(72)【発明者】
【氏名】原 駿介
【テーマコード(参考)】
2H021
2H059
2H199
2K203
5C058
【Fターム(参考)】
2H021BA21
2H059AA35
2H059AA38
2H199BA13
2H199BA32
2H199BA49
2H199BB06
2H199BB12
2H199BB15
2H199BB18
2H199BB20
2H199BB52
2H199BB59
2H199BB60
2H199BB62
2H199BB65
2K203FA63
2K203FA64
2K203FA83
2K203FB03
2K203GB33
2K203GB35
2K203GB47
2K203GB62
2K203GB69
2K203GC22
2K203GC23
2K203HA02
2K203HA35
2K203HA92
2K203KA56
2K203KA85
2K203MA07
5C058BA27
5C058BA35
5C058EA02
5C058EA13
5C058EA26
(57)【要約】
【課題】映像に不具合が無い状態で視覚効果の高い空間投影を可能とする投影制御装置、空間投影装置、空間投影システム及び空間投影方法を提供すること。
【解決手段】投影制御装置は、投影装置10により投影されて結像媒体20に結像された第一投影画像(2a)に関連する情報を取得し、取得された第一投影画像(2a)に関連する情報に基づいて、導光光学系30により空間結像部40に再結像される投影光として結像媒体20に結像される第二投影画像(2a)に係る情報を補正する補正部を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
投影装置により投影されて結像媒体に結像された第一投影画像に関連する情報を取得する取得部と、
取得された前記第一投影画像に関連する情報に基づいて、導光光学系により空間結像部に再結像される投影光として前記結像媒体に結像される第二投影画像に係る情報を補正する補正部と、
を備えることを特徴とする投影制御装置。
【請求項2】
前記取得部は前記第一投影画像に関連する情報として前記結像媒体に結像された前記第一投影画像の撮影画像を取得することを特徴とする請求項1に記載の投影制御装置。
【請求項3】
前記撮影画像は、前記結像媒体を前記投影装置側から撮影して取得されることを特徴とする請求項2に記載の投影制御装置。
【請求項4】
前記撮影画像は、観賞用画像である投影画像の投影前に、前記結像媒体の歪み度合を求める補正用画像を投影して取得されることを特徴とする請求項3に記載の投影制御装置。
【請求項5】
前記撮影画像は、位置検出可能な補正用画像を含んだ観賞用画像である投影画像の投影中に、取得されることを特徴とする請求項3に記載の投影制御装置。
【請求項6】
前記補正は、歪み補正であることを特徴とする請求項1乃至請求項5の何れかに記載の投影制御装置。
【請求項7】
前記導光光学系を有し、
前記導光光学系は、前記結像媒体で結像された光を導光して前記空間結像部に再結像させることを特徴とする請求項1~請求項6の何れかに記載の投影制御装置。
【請求項8】
前記結像媒体を有し、
前記結像媒体は、第一面側に前記投影光が照射され、前記第一面とは反対面である第二面側から前記導光光学系に向かって光を拡散出射させる透過部材であることを特徴とする請求項1~請求項7の何れかに記載の投影制御装置。
【請求項9】
前記導光光学系は、ビームスプリッタ及び再帰性反射部材を有し、
前記ビームスプリッタは、前記結像媒体から出射された光を前記再帰性反射部材側へ反射させ、前記再帰性反射部材により反射された光を前記空間結像部側に透過させる、
ことを特徴とする請求項1~請求項8の何れかに記載の投影制御装置。
【請求項10】
投影装置と、
前記投影装置により投影されて結像媒体に結像された第一投影画像に関連する情報を取得する取得部と、
取得された前記第一投影画像に関連する情報に基づいて、導光光学系により空間結像部に再結像される投影光として前記結像媒体に結像される第二投影画像に係る情報を補正する補正部と、
を備えることを特徴とする空間投影装置。
【請求項11】
投影装置と、
前記投影装置により投影されて結像媒体に結像された第一投影画像に関連する情報を取得する取得部と、
取得された前記第一投影画像に関連する情報に基づいて、導光光学系により空間結像部に再結像される投影光として前記結像媒体に結像される第二投影画像に係る情報を補正する補正部と、
を備えることを特徴とする空間投影システム。
【請求項12】
投影装置により投影されて結像媒体に結像された第一投影画像に関連する情報を取得し、
取得された前記第一投影画像に関連する情報に基づいて、導光光学系により空間結像部に再結像される投影光として前記結像媒体に結像される第二投影画像に係る情報を補正し、
前記第二投影画像を前記投影装置により投影する、
ことを特徴とする空間投影方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、投影制御装置、空間投影装置、空間投影システム及び空間投影方法に関する。
【背景技術】
【0002】
従来から空間に投影光を結像させて投影する空間投影技術が開示されている。例えば、特許文献1には、下部室にディスプレイ画像又は実物等の投影対象を配置し、第1フレネルレンズ、ビームスプリッタ、表面反射鏡及び第2フレネルレンズを含む構成により映像を空間に投射する空中浮遊映像投影装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006-317708号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1のように、投影対象としてディスプレイ画像や実物を用い、ビームスプリッタや表面反射鏡により光を導光する構成では、空間投影画像を任意の形状で映像に歪みといった不具合がない状態で投影することができない場合がある。
【0005】
本発明は、映像に不具合が無い状態で視覚効果の高い空間投影を可能とする投影制御装置、空間投影装置、空間投影システム及び空間投影方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様である投影制御装置は、投影装置により投影されて結像媒体に結像された第一投影画像に関連する情報を取得する取得部と、取得された前記第一投影画像に関連する情報に基づいて、導光光学系により空間結像部に再結像される投影光として前記結像媒体に結像される第二投影画像に係る情報を補正する補正部と、を備えることを特徴とする。
【発明の効果】
【0007】
本発明によれば、映像に不具合が無い状態で視覚効果の高い空間投影を可能とする投影制御装置、空間投影装置、空間投影システム及び空間投影方法を提供することができる。
【図面の簡単な説明】
【0008】
図1】本発明の実施形態1に係る空間投影装置の平面模式図である。
図2】本発明の実施形態1に係る投影装置及び撮影装置の構成を示す図である。
図3】本発明の実施形態1に係る円弧面状の結像媒体を配置した空間投影装置の平面模式図である。
図4】本発明の実施形態1に係る空間投影装置の動作フローチャートを示す。
図5】本発明の実施形態1に係る補正用画像を示す図であり、(a)~(c)は歪み補正用の補正用画像である。
図6】本発明の実施形態2に係る空間投影装置の動作フローチャートを示す。
図7】本発明の各実施形態に適用可能な導光光学系を有する空間投影装置の平面模式図である。
図8】本発明の各実施形態に適用可能な空間投影装置の他の構成例を示す平面模式図である。
【発明を実施するための形態】
【0009】
(実施形態1)
以下、本発明を実施するための形態について述べる。図1は空間投影システム1における空間投影装置100の平面模式図である。空間投影装置100は、投影装置10(プロジェクタ,投影制御装置)と、投影装置10から出射された投影光P1が照射される結像媒体20と、結像媒体20に投影された光を導光する導光光学系30と、導光光学系30により導光された光が再結像される空間結像部40と、結像媒体20に投影された投影画像2aを撮影する撮影装置80とを備える。空間投影装置100は、投影装置10から出射されて結像媒体20で結像された投影画像2aが、結像媒体20から拡散透過されて導光光学系30に入射し、導光光学系30により空間結像部40で再結像されることで、空中に浮かぶ空間投影画像4aを視聴者50に視認させることができる。
【0010】
投影装置10により投影される投影画像2aは、投影面(第一面21)の形状等の影響や、投影光P1(及び空間投影光P2,P3)が被投影面である結像媒体20に斜めに投影される等の影響により、視聴者50の視点からは元の画像データ(図2に示す投影画像112)とは異なる又は意図しない形状で視認される場合がある。そこで、本実施形態では、視聴者50の視点から好適に空間投影画像4aを視認可能となるように、処理部12が投影画像112の補正を行う。補正は、投影装置10により投影された補正用画像70と、撮影装置80が撮影した撮影画像60中の補正用画像70とのずれに基づいて、画像補正情報111,841(図2参照)を求めることにより行われる。従って、投影装置10は、画像補正情報111に基づいて基の投影画像112が、視聴者50にとって意図された態様で視認されるように、画像を投影することができる。
【0011】
図2を参照して投影装置10及び撮影装置80の構成について説明する。投影装置10は、記憶部11、処理部12、投影部13、操作部14、通信部15(取得部)及び音声処理部16を備え、各々内部バスにより接続されている。記憶部11は、例えば、SSD(Solid State Drive)やSRAM(Static Randam Access Memory)で構成される。記憶部11には、補正用画像70(70a~70c)、画像補正情報111、観賞用画像である投影画像112(画像データ又は動画データを含む)、及び制御プログラム等のデータが記憶される。処理部12は、CPUやマイコン等により構成され、記憶部11に記憶される制御プログラムを読み出し、投影装置10を制御する。
【0012】
投影部13は、処理部12から送られてきた投影画像112を、予め設定した画像フォーマットに従ったフレームレートで画像を形成し、その画像を投影光P1として外部に出射する。本実施形態の投影装置10は、DLP(Digital Light Processing)方式の投影装置である。投影部13は、例えば、内部の光源装置によって出射された青色波長帯域光、緑色波長帯域光及び赤色波長帯域光が表示素子であるDMD(デジタルマイクロミラーデバイス)に照射されて、このDMDがマイクロミラー毎(又は画素毎)に青色波長帯域光、緑色波長帯域光及び赤色波長帯域光を時分割で反射することによりカラーの画像光を形成することができる。画像光は投影部13内の投影レンズを介して投影装置10の投影光P1として外部に出射される。投影部13から出射された投影光P1(画像光)は、図1の結像媒体20に投影される。
【0013】
操作部14は、投影装置10の筐体に備える操作キー等から操作信号を受け付けて、その操作信号を、バスを介して処理部12に送信する。処理部12は、操作部14からの操作信号に応じて投影処理等の各種の機能を実行する。
【0014】
通信部15は、無線により図示しないリモートコントローラからの赤外線変調信号等による操作信号を受信し、その操作信号を処理部12に送信する。また、通信部15は、撮影装置80の通信部85と有線ケーブル101により接続されており、データの送受信を行うことができる。通信部15は、外部入力端子を備えてもよく、外部機器から画像データを入力させることができる。
【0015】
音声処理部16は、PCM音源などの音源回路を備え、スピーカ17を駆動して音を拡散放音させる。音声処理部16は、投影する画像データに音声信号が含まれていた場合、投影動作時にその音声信号をアナログ変換してスピーカ17を介して音を出力する。
【0016】
撮影装置80は、撮影部81、処理部82、入出力制御部83、記憶部84、通信部85を備え、各々内部バスにより接続される。撮影部81は、図1の結像媒体20に投影される投影画像2aを撮影する。
【0017】
処理部82は、撮影装置80を制御する機能を有し、CPUやマイコン等により構成される。処理部82は、撮影部81により撮影された補正用画像70を含む撮影画像60を解析する。処理部82は、補正用画像70の解析結果を画像補正情報841として通信部85を介して投影装置10に送信する。また、処理部82は、撮影画像60の解析結果に応じ、通信部85を介して投影装置10に投影指示85aを送信する。
【0018】
入出力制御部83は、視聴者50等が操作ボタン831から入力した操作指示に対応する情報を処理部82へ送信する。表示装置832は、入出力制御部83から出力された画像を表示させる画面や表示灯等である。記憶部84は、撮影装置80の制御プログラムや、撮影部81が撮影した撮影画像60及び画像補正情報841等を記憶する。
【0019】
図1に戻り、結像媒体20は、投影光P1の投影範囲を含む程度の任意の形状及び大きさを有する。又は、結像媒体20は、投影光P1の投影範囲が含まれる任意の位置に配置される。図1の結像媒体20は平坦状に設けられた板状又はフィルム状の透過型フィルムとして構成される。結像媒体20は、投影装置10側の第一面21側に投影装置10から出射された投影光P1(光L1を含む)が照射されると、第一面21の反対面である第二面22側から導光光学系30に向かって空間投影光P2(光L2も含む)を拡散出射させる透過部材である。
【0020】
導光光学系30は、結像媒体20の第二面22側に設けられ、ビームスプリッタ31と、再帰性反射部材32(再帰性反射ミラー)とを備える。再帰性反射部材32は、結像媒体20の配置面S(図1のY方向(前後方向)及びZ方向(上下方向)を含む面)に対して垂直となるように配置される。また、ビームスプリッタ31は、平板状に形成され、結像媒体20の配置面S及び再帰性反射部材32に対して、45度傾いて配置される。本実施形態のビームスプリッタ31は入射した光の一部を反射し、他の一部を透過するハーフミラーである。再帰性反射部材32は、入射した光を入射方向とは逆向きの反対方向に反射するミラー面を有する。
【0021】
空間結像部40は、結像媒体20に投影された投影画像2aが空間投影光P2(P3)として出射された後に、導光光学系30により再結像されて空間投影画像4aが表示される空間領域である。
【0022】
次に、空間投影装置100(空間投影システム1)における空間投影方法について説明する。投影装置10は、投影光P1全体の光軸と、結像媒体20の法線方向(X方向)に対して傾斜した斜め方向から結像媒体20に対して光を照射する。投影装置10内(投影部13内)の点光源(DMD(表示素子)におけるマイクロミラー上の任意の点)から投影レンズを介して出射された光L1は、結像媒体20上の結像点F1に結像する。結像媒体20には、投影光P1の照射範囲に亘って光L1に例示される光路で投影装置10内の点光源から出射されて結像した光が照射される。これにより、結像媒体20には投影画像2aが投影される。
【0023】
結像媒体20に形成された投影画像2aを構成する任意の点の光は、第二面22から所定の拡散角度で拡散透過されて出射される。例えば、結像点F1に結像された前述の光L1は、光L2として、所定の拡散角度で拡散されてビームスプリッタ31に入射する。光L2の一部の光はビームスプリッタ31により再帰性反射部材32側に反射される。即ち、投影画像2aの点光源から出射された光L2は、結像媒体20から再帰性反射部材32までの光路において拡散光として導光される。再帰性反射部材32は、入射した光を入射方向とは逆向きの反対方向に反射するため、再帰性反射部材32に入射した光L2は、拡散角度と同じ角度で集光する集光光としてビームスプリッタ31に向けて反射される。再帰性反射部材32で反射された光L3は、ビームスプリッタ31で一部が透過されて空間結像部40側に導光される。そして、空間結像部40では、光L3が結像点F2で再結像する。なお、光L2の光路長と、光L3の光路長は、略同じである。
【0024】
そして、空間結像部40の結像点F2で結像した光L3は、光L3の集光角度及び光L2の拡散角度と同様の拡散角度を有する光L4として導光される。
【0025】
以上のような投影装置10内の表示素子における点光源からの光L1~L4が、結像媒体20及び導光光学系30の光路の有効領域内に亘って導光される。即ち、投影装置10から出射された点光源からの光L1の集合である投影光P1は、結像媒体20の第一面21側から照射されて、結像媒体20において結像される。結像媒体20に照射された投影光P1は、光L2の集合である空間投影光P2として第二面22からビームスプリッタ31側へ出射される。ビームスプリッタ31に照射された空間投影光P2の一部の光は、再帰性反射部材32側に反射される。再帰性反射部材32は、ビームスプリッタ31側から導光された空間投影光P2を空間投影光P3(光L3の集合)として反射する。再帰性反射部材32により反射された空間投影光P3の一部の光は、ビームスプリッタ31を透過して空間結像部40側に導光される。
【0026】
このように、結像媒体20上で結像された投影画像2aを構成する光(点光源の集合)は、空間投影面である空間結像部40上で再結像し、視聴者50側に出射される。そのため、視聴者50は、空間結像部40上の空中に結像された空間投影画像4aを視認することができる。また、視聴者50は、観測点を移動させても、空間投影画像4aを視認することができる。例えば、結像点F2から出射された光L4は、図1に示す光L4の拡散角度範囲内(出射角度範囲内)の位置において視認することができる。
【0027】
また、視聴者50側から空間結像部40側の方向であるA方向から見た空間投影画像4aの上下方向(Z方向)及び左右方向(X方向)の向きは、B方向から見た投影画像2aの上下方向(Z方向)及び前後方向(Y方向)と略同じである。一方で、光L2と光L3の光路長が略同じであるため、A方向から見た空間投影画像4aの奥行き位置は、B方向から見た投影画像2aの奥行き位置とは逆の関係である(図3で後述)。図1の平坦状に設けられた結像媒体20を用いる場合は、空間投影画像4aも平坦な平面画像として表示される。
【0028】
次に図3を参照して、図1に示した結像媒体20の代わりに、円弧面状の結像媒体20A用いた場合の構成について説明する。結像媒体20Aの凹凸の程度は、投影装置10から出射された投影光P1(光L1)の被写界深度内に収まるように構成される。そのため、結像媒体20Aには焦点の合った投影画像2a(或いは、焦点が合っているものと見做せる程度に結像した投影画像2a)が表示される。
【0029】
前述の通り、導光光学系30により導光される光L2と光L3の光路長は略同じであり、A方向から見た空間投影画像4aの奥行き位置は、B方向から見た投影画像2aの奥行き位置とは逆の関係である。即ち、図3に示すように、B方向から見た湾曲した投影画像2aの奥側に位置する結像点F1は、A方向から見た空間投影画像4aの手前側に位置する結像点F2に対応する。従って、結像媒体20Aを、凹凸を含む立体面状に形成することで、立体的な空間投影画像4aを空間結像部40に投影することができる。
【0030】
次に、図4及び図5を用いて投影画像を補正する処理方法について説明する。空間投影装置100は、結像媒体20に投影された投影画像2aを撮影し、取得した撮影画像60に基づいて投影画像112の補正に用いる画像補正情報111(変形パラメータ)を求める。図4は、観賞用の投影画像112の投影前に予め画像補正情報111を算出する処理例を示す。投影装置10の処理部12は、画像補正情報111の測定を開始すると(ステップS201)、ステップS202で結像媒体20に対し補正用画像70のパターン投影を行う。
【0031】
図5(a)、図5(b)及び図5(c)は、それぞれ歪み補正用の補正用画像70a~70cを示す図である。補正用画像70a、補正用画像70b及び補正用画像70cは、略全面の測定画像72に略正方形の白の四角形及び黒の四角形を縦方向及び横方向に交互に配置した市松模様を有する。補正用画像70a~70cは、市松模様の大きさによる異なる分解能で第一面21の歪み具合を検出することができる。投影装置10は、補正用画像70a~70cを第一面21に投影して、図示しない撮影装置に撮影させる。撮影装置は、複数の補正用画像70a~70cを組み合わせて結像媒体20の第一面21全体の歪みを精度よく検出することができる。
【0032】
本実施形態では、投影装置10は、大型の市松模様の補正用画像70a、中型の市松模様の補正用画像70b、及び小型の市松模様の補正用画像70cの順で、結像媒体20に投影する。この際、サイズの異なる市松模様の各補正用画像70a,70b,70cの四角形の角部は、投影時に互いに重ならない位置に配置される。
【0033】
ステップS203で、撮影装置80の処理部82は、投影された補正用画像70(70a~70c)を、撮影部81により投影装置10側から撮影して取得する。本実施形態の撮影装置80は、投影装置10外の別体の装置として設けられる。
【0034】
ステップS204で、処理部12は、全ての補正用画像70a~70cのパターンが投影され、撮影装置80により撮影されたか判定する。なお、処理部12は、撮影装置80が全ての補正用画像70に対応する撮影画像60を取得した旨の通知を、通信部85,15を介して受信することにより、ステップS204の判定を行うことができる。処理部12は、全ての補正用画像70a~70cのパターンが投影及び撮影された場合(S204,YES)ステップS205の処理に進み、全ての補正用画像70のパターンが投影及び撮影されていない場合(S204,NO)ステップS202の処理に戻る。本実施形態では、3つの補正用画像70a~70cの投影及び撮影が実行されるまで、投影装置10は補正用画像70a~70cを順次投影する。
【0035】
ステップS205で、撮影装置80の処理部82は、各撮影画像60a~60c(それぞれ補正用画像70a~70cを撮影した画像)から検出したマーカ71位置から各補正用画像70a~70cの位置を特定する。具体的に、本実施形態では図5(a)~図5(c)に示した補正用画像70a~70cは、いずれも画像の四隅の同じ位置にマーカ71が配置されているため、撮影装置は、各補正用画像70a~70c間のマーカ71の位置ずれを検出することにより補正用画像70a~70cの平行成分及び回転成分の位置ずれを検出する。処理部82は、複数の補正用画像70a~70cの位置ずれを検出してオフセット補正する。これにより、手振れ等によって起こる撮影画像60a~60c間の位置ずれを補正することができる。処理部82は、撮影画像60a~60cにおける補正用画像70a~70c中の市松模様の交点(角部)の座標を検出して、結像媒体20の歪み度合いを求めることができる。撮影装置80は、歪み度合の情報から画像補正情報841を生成する。
【0036】
そして、ステップS206で、処理部82は、求めた画像補正情報841を、通信部15,85を介して投影装置10に取得させる。投影装置10の処理部12は、取得した画像補正情報841を画像補正情報111として記憶部11に記憶して、画像補正情報111に基づいて観賞用の投影画像112(コンテンツの画像データ)に対して画像補正処理を行うことができる。即ち、処理部12は補正部として機能する。その後、処理部12は画像補正情報111により歪み補正された投影画像112を投影部13から投影光P1として出射する。このように、投影装置10は、結像された投影画像2a(第一投影画像である補正用画像70)の撮影画像60に関連する情報(例えば、表示素子上の座標と撮影画像60上の座標との差分情報(歪み度合い)等を含めた画像補正情報841)に基づいて補正された投影画像2a(補正後の投影画像112(第二投影画像))を投影光P1により投影することができる。従って、投影装置10は、意図された空間投影画像4aが視聴者50に視認されるように空間投影を行うことができる。
【0037】
以上のように、本実施形態の空間投影装置100は、空間投影画像4aとして投影させる投影対象を、投影画像2aにより形成した。従って、投影対象としてのディスプレイ画像や実物を用いた場合に比べて高輝度な投影画像2aを表示させることができ、空間投影画像4aも高輝度で鮮明に表示させることができる。また、投影装置10により投影される投影画像2aは、結像媒体20,20Aの形状を大きくし、投影装置10と結像媒体20,20Aとの距離を適切に空けることで、空間投影画像4aを容易に大きくすることもできる。従って、空間投影装置100は、全体構成を大きく変えることなく、大きな空間投影画像4aを投影することができる。さらに、投影光P1を結像媒体20に対して斜めに照射した場合や、結像媒体20を任意の立体面状に形成した場合であっても、結像媒体20における投影画像2aを歪み補正して、視聴者50から見て意図された空間投影画像4aを表示させることができる。このように、空間投影装置100(空間投影システム1)を用いた空間投影方法により簡易な構成で視覚効果の高い空間投影を可能とすることができる。
【0038】
(実施形態2)
次に、実施形態2について説明する。図6は、実施形態1の空間投影システム1における空間投影装置100が投影画像112の投影処理中に画像補正情報111(変形パラメータ)を算出する処理例を示している。なお、実施形態2の空間投影装置100において、実施形態1と同様の構成についてはその説明を省略又は簡略化する。
【0039】
ステップS301で、処理部12は、任意の投影画像112の画像投影中に座標検出を可能とする補正用画像(不図示)を含むように重畳して結像媒体20に投影している。投影画像112に含める補正用画像としては、例えば、コンテンツ内容に含まれる画像のうち、二値化処理により容易に歪み検出(位置検出)可能な部位とすることができる。
【0040】
ステップS302で、前述した撮影装置80の処理部82は、補正用画像を含んだ投影画像112を投影装置10側から撮影部81により撮影して撮影画像60を取得する。また、処理部82は、撮影画像60を、通信部85及び通信部15を介して投影装置10に取得させる。ステップS303で、投影装置10における処理部12は、補正用画像を含む投影画像112と、撮影装置80から取得した撮影画像60とを比較する。
【0041】
ステップS304で、処理部12は、補正用画像を含めた投影画像112と撮影画像60との比較により、画像歪みに変化があったか(画像補正情報111の変更が必要か)否かを判定する。例えば、処理部12は、投影画像112と撮影画像60との形状が予め定めた閾値以上歪んでいる場合に、画像歪みに変化があったと判定することができる。処理部12は、画像歪みに変化があったと判定した場合(S304,YES)ステップS305の処理に進み、画像歪みに変化があったと判定しない場合(S304,NO)ステップS302の処理に戻る。画像歪みが変化する例として、例えば、結像媒体20を交換(切換)した場合や、投影画像112の投影処理中に結像媒体20と投影装置10との相対位置が変化した場合が挙げられる。
【0042】
ステップS305で、処理部12は、撮影画像60における補正用画像の座標を検出して、結像媒体20の歪み度合いを求めることができる。処理部12は、歪み度合の情報から画像補正情報111を生成する。
【0043】
そして、ステップS306で、処理部12は、画像補正情報111に基づいて観賞用の投影画像112(コンテンツの画像データ)に対して画像補正処理を行うことができる。その後、処理部12は画像補正情報111により歪み補正された投影画像112を投影部13から投影光P1として出射する。このように、投影装置10は、結像された投影画像2a(補正用画像を含んだ補正前の投影画像112(第一投影画像))の撮影画像60に関連する情報(例えば、表示素子上の座標と撮影画像60上の座標との差分情報(歪み度合い)等を含めた画像補正情報841)に基づいて補正された投影画像2a(補正後の投影画像112(第二投影画像))を投影光P1により投影することができる。従って、投影装置10は、意図された空間投影画像4aが視聴者50に視認されるように空間投影を行うことができる。
【0044】
実施形態2の空間投影装置100は、コンテンツ等の投影画像112に含めた補正用画像に基づいて、投影画像2aを補正することができる。従って、画像補正情報111を算出する初期動作を省略することができ、簡易な構成で視覚効果の高い空間投影を可能とすることができる。
【0045】
以上のように、各実施形態1及び実施形態2の空間投影装置100は、空間投影画像4aとして投影させる投影画像2aを投影装置10により形成した。従って、投影対象としてのディスプレイ画像や実物を用いた場合に比べて高輝度な投影画像2aを表示させることができ、空間投影画像4aも高輝度で鮮明に表示させることができる。また、投影装置10により投影される投影画像2aは、結像媒体20,20Aの形状を大きくし、投影装置10と結像媒体20,20Aとの距離を適切に空けることで、空間投影画像4aを容易に大きくすることもできる。従って、空間投影装置100は、全体構成を大きく変えることなく、大きな空間投影画像4aを投影することができる。このように、空間投影装置100(空間投影システム1)を用いた空間投影方法により簡易な構成で視覚効果の高い空間投影を可能とすることができる。
【0046】
なお、以上の実施形態1及び実施形態2において説明した導光光学系30は、ビームスプリッタ31及び再帰性反射部材32とは異なる構成を適用してもよい。例えば、図7に示す空間投影システム1Aにおける空間投影装置100Aは、実施形態1及び実施形態2の空間投影装置100における導光光学系30の代わりに、光反射部材33を含む導光光学系30Aを備えている。光反射部材33は、結像媒体20で結像された各点光源(例えば、結像点F1からの光)を面対称位置である空間結像部40に再結像させる光学部材である。
【0047】
光反射部材33は、任意の構成を適用することができるが、例えばC部拡大図に示すように、複数の第一ミラー331aを含む第一ミラー層331と、複数の第二ミラー332aを含む第二ミラー層332とを隣接して構成される。第一ミラー331aは、ミラー面がXY面に対して平行となるように配置される。また、複数の第一ミラー331aは、互いに平行となるようにZ方向に等間隔で配列されている(XII-XII断面図も参照)。第二ミラー332aは、ミラー面が第一ミラー331aのミラー面と直交するように配置される。また、複数の第二ミラー332aは、互いに平行となるように、第一ミラー331aが配列される方向とは直交する方向に等間隔で配列されている。光反射部材33は、第二ミラー332aが結像媒体20の配置面Sに対して(図7の例では、YZ面とZX面に対して)45度傾くように配置されている。
【0048】
また、C部拡大図では、光反射部材33に対し、結像点F1から出射されてXY平面に対して平行な光L21,L22が入射する場合の光路を示している。光L21及び光L22は、XY平面に対して平行に配置された第一ミラー331aのミラー面には照射されずに、第二ミラー332aのミラー面に入射する。光L21及び光L22は、それぞれ第二ミラー332aに入射する際の入射角と同じ反射角で反射される。光L21は光L22よりも大きい入射角で第二ミラー332a(光反射部材33)に入射するため、光L21は光L22よりも大きい反射角で反射する。従って、結像点F1から出射された所定の拡散角度を有する光L2は、光反射部材33から光L2の拡散角度と同じ集光角度を有する光L3として反射され、光反射部材33に対する面対象位置である結像点F2に再結像される。なお、結像点F1から出射された光L2は、Z方向の拡散成分についても第一ミラー331aにより反射されるため、結像点F2に再結像される。
【0049】
なお、光反射部材33の構成はC部拡大図で示した構成に限らず、結像媒体20で結像された各点光源を面対称位置である空間結像部40に再結像させるその他の光反射部材を用いてもよい。例えば、光反射部材は、複数の微細なプリズムを設けて、所定の拡散角度で入射した光を、その拡散角度と略同じ集光角度で集光する光として反射し、点光源から入射された光を面対称位置に結像するように出射させる構成としてもよい。
【0050】
以上、図7の空間投影装置100A及び空間投影システム1Aでは、実施形態1の図1及び図3で示した導光光学系30よりも部品点数を減らし構成を簡易にすることができるため、全体を小型化することができる。従って、簡易な構成で視覚効果の高い空間投影を可能とすることができる。
【0051】
なお、各実施形態で説明した空間投影装置100,100Aは、投影装置10、撮影装置80、結像媒体20、導光光学系30,30A及び空間結像部40を、一つの装置に配置して構成してもよいし、複数の装置に分散配置して構成してもよい。例えば、空間投影装置100,100Aは、投影装置10に、結像媒体20(20A~20E)、導光光学系30,30A及び空間結像部40の一部の機能を含めて構成することができる。
【0052】
また、本実施形態では、投影装置10により投影されて結像媒体20に結像された第一投影画像に関連する情報を取得する取得部と、取得された第一投影画像に関連する情報に基づいて、導光光学系30により空間結像部340に再結像される投影光として結像媒体20に結像される第二投影画像に係る情報を補正する補正部と、を備える投影制御装置として、投影装置10を設けた例について説明したが、投影装置10とは別体の装置を設けてもよい。図8は、空間投影装置100の他の構成例を示す平面模式図である。空間投影装置100は、図1の空間投影装置100の構成に加えて投影制御装置90を備える。投影制御装置90は、上記補正部と、撮影画像60等の情報を取得する通信部(取得部)と、投影画像に関するデータ(図2に示した補正用画像70、画像補正情報111及び投影画像112)を記憶する記憶部とを有する。投影制御装置90は、例えば、パーソナルコンピュータ等の汎用装置や専用装置とすることができる。投影制御装置90は、通信部を介して撮影装置80から撮影画像60や画像補正情報841を取得し、補正部により投影画像112を補正し、その補正した投影画像112を投影装置10に送信する。従って、投影制御装置90は、補正された投影画像112(第二投影画像)を投影装置10から投影するように制御することができる。なお、投影制御装置90は、図7に示した空間投影装置100Aに設けてもよい。
【0053】
また、撮影装置80は、結像媒体20,20Aに結像された投影画像2aを第一面21又は第二面22の一方から撮影してもよいし、空間結像部40に結像された投影画像(空間投影画像4a)を出射側(視聴者50側)から撮影してもよい。撮影装置80は、空間投影装置100,100A内における投影装置10と別体に設けることに限らず、投影装置10の一部として設けてもよいし、空間投影装置100,100Aに含めない構成としてもよい。投影装置10と撮影装置80との通信は、有線又は無線の任意の手段で行うことができる。
【0054】
また、空間投影装置100は、図4で示した処理と図6で示した処理とを組み合わせて実行してもよい。
【0055】
また、図4及び図6における撮影以降の処理(S204~S206及びS303~S306)は、投影装置10及び撮影装置80のいずれか一方で行ってもよいし、投影装置10及び撮影装置80とは異なる他の装置で行ってもよい。
【0056】
また、投影装置10により投影されて結像媒体20に結像された第一投影画像に関連する情報を取得する方法は、撮影以外のその他の方法であってもよい。
【0057】
また、投影装置10は上記DLP方式に限らずその他の方式であってもよい。投影装置10としてはLCP(liquid crystal panel,液晶パネル)方式の投影装置を用いてもよい。LCP方式の投影装置は、青色波長帯域光、緑色波長帯域光及び赤色波長帯域光が液晶フィルタ(液晶板)により画素毎に透過率が制御されて、液晶フィルタを透過した各画素の青色波長帯域光、緑色波長帯域光及び赤色波長帯域光を合成して投影光として出射する。
【0058】
また、投影装置10として、LCoS(Liquid Crystal on Silicon)方式の投影装置を用いてもよい。LCoS方式の投影装置では、DLP方式の投影装置10におけるDMDの代わりに、反射層の上に画素毎に対応して光の透過率を可変(遮光も含む)可能な液晶フィルタ(液晶層)を有する表示素子を配置する。従って、投影装置は、表示素子に照射された光源光を画素毎に光量制御しながら反射して画像光を形成し、この画像光を投影光として外部に出射して結像媒体20,20Aに投影画像2aを投影することができる。
【0059】
また、投影装置10として上述のLCP方式やLCoS方式の投影装置を用いた例では、液晶フィルタを透過した各光(青色波長帯域光、緑色波長帯域光、赤色波長帯域光)は、所定の偏光方向を有する偏光光である。従って、例えば、実施形態1において、ビームスプリッタ31としてS偏光及びP偏光の光の一方を反射し他方を透過する偏光ミラーを配置し、ビームスプリッタ31と再帰性反射部材32との間の光路上に1/4波長板を配置してもよい。これにより、ビームスプリッタ31は、結像媒体20,20Aから出射された光のうちのS偏光及びP偏光の一方である第一偏光方向の光を、再帰性反射部材32側に反射し、1/4波長板を透過して円偏光に変換された後、再帰性反射部材32により反射させる。再帰性反射部材32により反射された円偏光の光は、再び1/4波長板を透過して第一偏光方向に対して直交する第二偏光方向の光に変換され、ビームスプリッタ31を透過する。このように、ビームスプリッタ31として偏光ミラーを用いた場合は、一度ビームスプリッタで反射された殆どの光を再帰性反射部材32による反射の後にビームスプリッタ31を透過させることができるため、ハーフミラーを用いた場合に比べて、光の利用効率を向上させることができる。
【0060】
また、投影装置10として、レーザースキャン方式の投影装置を用いてもよい。レーザースキャン方式の投影装置では、青色波長帯域光、緑色波長帯域光及び赤色波長帯域光により所望の色に色合成されたレーザー光が表示素子に照射され、表示素子がレーザー光を時分割で反射角度を制御しながら反射して被投影体である結像媒体20,20Aに照射する。その際、表示素子は、結像媒体20,20Aに対して垂直方向及び水平方向に二次元的に走査するようにレーザー光を照射し、結像媒体20,20Aに投影画像2aを投影することができる。レーザースキャン方式の投影装置では、表示素子から出射された光を集光させる投影レンズを省略できるため、投影装置全体を小型化することができる。また、この投影装置は、レーザー光により画像を形成できるため、凹凸の大きい立体面状の結像媒体を用いた場合であっても、意図した鮮明な投影画像2aを投影することができる。
【0061】
また、結像媒体20,20Aとして、板状又はフィルム状の構成を例示したが、煙(スモーク)や水等の流体を用いてもよい。結像媒体20,20Aに流体を用いる場合は、その流体を閉じ込めた透光性容器を配置してもよい。
【0062】
また、結像媒体20には、着色を施してもよい。これにより、空間投影画像4aの色彩を変化させたり、色味を任意に調整したりすることができる。結像媒体20,20Aとして流体を用いる場合は、その流体を着色してもよい。結像媒体20,20Aの着色は時系列で経時的に変化させてもよい。これにより、様々な演出効果を表現することができる。
【0063】
また、導光光学系30,30Aは、フレネルレンズを用いて結像媒体20,20Aから出射された光を空間結像部40に再結像させる構成としてもよい。
【0064】
また、各実施形態では、結像媒体20,20Aに投影される投影光P1は、結像媒体20,20Aの第一面21側から入射して第一面21とは反対側の第二面22側から出射し、導光光学系30,30Aへ空間投影光P2として導光される透過型の結像媒体を例に説明したが、投影光P1を出射する面と空間投影光P2を出射する面が同じ面である反射型の結像媒体(プロジェクタスクリーンや壁面等の被投影媒体)を用いてもよい。
【0065】
また、投影光P1により結像媒体20,20Aに結像される投影画像2aは、投影装置10から出射された投影光による画像に限らず、その他の光源装置から投影光として出射された任意の光源光、照明光、LED光又はレーザー光による光像としてもよい。また、投影画像2aは、任意の光源を用いることで、可視光により形成してもよいし、非可視光(例えば、電子透かし等の用途)により形成してもよい。
【0066】
以上説明したように、各実施形態で説明した空間投影システム1,1A及び空間投影装置100,100Aは、投影装置10と、導光光学系30,30Aにより空間結像部40に再結像される投影光が結像される結像媒体20,20Aと、を備える。また、投影装置10は、結像された第一投影画像(投影画像2a及び空間投影画像4aとして投影される実施形態1の補正用画像70又は実施形態2の補正用画像を含む投影画像112)の撮影画像60に関連する情報に基づいて補正された第二投影画像(投影画像2a及び空間投影画像4aとして投影される補正後の投影画像112)を投影光P1により投影する。さらに、空間投影システム1,1A及び空間投影装置100,100Aの投影処理を制御する投影制御装置は、投影装置10により投影されて結像媒体20に結像された第一投影画像(2a)に関連する情報を取得する取得部と、取得された第一投影画像(2a)に関連する情報に基づいて、導光光学系30により空間結像部40に再結像される投影光として結像媒体20に結像される第二投影画像(2a)に係る情報を補正する補正部と、を備える。これにより、投影光P1を結像媒体20,20Aに対して斜めに照射した場合や、結像媒体20,20Aを任意の立体面状に形成した場合であっても、結像媒体20,20Aにおける投影画像2aを歪み補正して、視聴者50から見て意図された空間投影画像4aを表示させることができる。従って、映像に不具合が無い状態で視覚効果の高い空間投影を可能とすることができる。
【0067】
また、取得部は第一投影画像(2a)に関連する情報として結像媒体20に結像された第一投影画像(2a)の撮影画像60を取得する投影制御装置は、第一投影画像(2a)に用いる関連する情報を容易に取得することができる。
【0068】
また、撮影画像60が結像媒体20を投影装置10側から撮影して取得される空間投影装置100,100Aは、撮影装置80を視聴者50に露出することを低減し、投影装置10側で投影画像2aの歪み具合を検出することができる。
【0069】
また、撮影画像60が観賞用画像である投影画像112の投影前に、結像媒体20,20Aの歪み度合を求める補正用画像70を投影して取得される空間投影装置100,100Aは、結像媒体20,20Aの形状や、投影装置10と結像媒体20,20Aとの位置関係が変更された場合であっても、空間投影画像4aを意図した形状等で投影することができる。
【0070】
また、撮影画像60は、位置検出可能な補正用画像を含んだ観賞用画像である投影画像112の投影中に取得される空間投影装置100,100Aは、投影画像112の投影中に結像媒体20,20Aの形状や、投影装置10と結像媒体20,20Aとの位置関係が変更された場合であっても、空間投影画像4aを意図した形状等で投影することができる。
【0071】
また、投影画像112の補正として歪み補正を行う空間投影装置100,100Aは、投影光P1の投影方向や被投影面である結像媒体20,20Aの形状による歪みを補正し、視覚効果の高い空間投影画像を投影することができる。
【0072】
また、導光光学系30,30Aを有し、導光光学系30,30Aが結像媒体20,20Aで結像された光を導光して空間結像部40に再結像させる空間投影装置100,100Aは、全体構成を纏めて小型化することができる。
【0073】
また、結像媒体20,20Aは、第一面21側に投影光P1が照射され、第一面21とは反対面である第二面22側から導光光学系30,30Aに向かって光を拡散出射させる透過部材である。これにより、結像媒体20,20A及び導光光学系30,30Aを含む構成を小型化することができる。
【0074】
また、導光光学系30,30Aは、ビームスプリッタ31及び再帰性反射部材32を有し、ビームスプリッタ31は、結像媒体20,20Aから出射された光を再帰性反射部材32側へ反射させ、再帰性反射部材32により反射された光を空間結像部40側に透過させる構成について説明した。これにより、投影画像2a上の各点光源から出射された広角な光を簡易に構成することができる。
【0075】
また、投影装置10により投影されて結像媒体20,20Aに結像された第一投影画像(投影画像2a及び空間投影画像4aとして投影される実施形態1の補正用画像70又は実施形態2の補正用画像を含む投影画像112)に関連する情報を取得し、取得された第一投影画像に関連する情報に基づいて、導光光学系30により空間結像部40に再結像される投影光として結像媒体20,20Aに結像される第二投影画像(投影画像2a及び空間投影画像4aとして投影される補正後の投影画像112)に係る情報を補正し、第二投影画像を投影装置10により投影する、空間投影方法について説明した。これにより、投影光P1を結像媒体20,20Aに対して斜めに照射した場合や、結像媒体20,20Aを任意の立体面状に形成した場合であっても、結像媒体20,20Aにおける投影画像2aを歪み補正して、視聴者50から見て意図された空間投影画像4aを表示させることができる。従って、映像に不具合が無い状態で視覚効果の高い空間投影を可能とすることができる。
【0076】
なお、以上説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の趣旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0077】
以下に、本願出願の最初の特許請求の範囲に記載された発明を付記する。
[1] 投影装置により投影されて結像媒体に結像された第一投影画像に関連する情報を取得する取得部と、
取得された前記第一投影画像に関連する情報に基づいて、導光光学系により空間結像部に再結像される投影光として前記結像媒体に結像される第二投影画像に係る情報を補正する補正部と、
を備えることを特徴とする投影制御装置。
[2] 前記取得部は前記第一投影画像に関連する情報として前記結像媒体に結像された前記第一投影画像の撮影画像を取得することを特徴とする前記[1]に記載の投影制御装置。
[3] 前記撮影画像は、前記結像媒体を前記投影装置側から撮影して取得されることを特徴とする前記[2]に記載の投影制御装置。
[4] 前記撮影画像は、観賞用画像である投影画像の投影前に、前記結像媒体の歪み度合を求める補正用画像を投影して取得されることを特徴とする前記[3]に記載の投影制御装置。
[5] 前記撮影画像は、位置検出可能な補正用画像を含んだ観賞用画像である投影画像の投影中に、取得されることを特徴とする前記[3]に記載の投影制御装置。
[6] 前記補正は、歪み補正であることを特徴とする前記[1]乃至前記[5]の何れかに記載の投影制御装置。
[7] 前記導光光学系を有し、
前記導光光学系は、前記結像媒体で結像された光を導光して前記空間結像部に再結像させることを特徴とする前記[1]~前記[6]の何れかに記載の投影制御装置。
[8] 前記結像媒体を有し、
前記結像媒体は、第一面側に前記投影光が照射され、前記第一面とは反対面である第二面側から前記導光光学系に向かって光を拡散出射させる透過部材であることを特徴とする前記[1]~前記[7]の何れかに記載の投影制御装置。
[9] 前記導光光学系は、ビームスプリッタ及び再帰性反射部材を有し、
前記ビームスプリッタは、前記結像媒体から出射された光を前記再帰性反射部材側へ反射させ、前記再帰性反射部材により反射された光を前記空間結像部側に透過させる、
ことを特徴とする前記[1]~前記[8]の何れかに記載の投影制御装置。
[10] 投影装置と、
前記投影装置により投影されて結像媒体に結像された第一投影画像に関連する情報を取得する取得部と、
取得された前記第一投影画像に関連する情報に基づいて、導光光学系により空間結像部に再結像される投影光として前記結像媒体に結像される第二投影画像に係る情報を補正する補正部と、
を備えることを特徴とする空間投影装置。
[11] 投影装置と、
前記投影装置により投影されて結像媒体に結像された第一投影画像に関連する情報を取得する取得部と、
取得された前記第一投影画像に関連する情報に基づいて、導光光学系により空間結像部に再結像される投影光として前記結像媒体に結像される第二投影画像に係る情報を補正する補正部と、
を備えることを特徴とする空間投影システム。
[12] 投影装置により投影されて結像媒体に結像された第一投影画像に関連する情報を取得し、
取得された前記第一投影画像に関連する情報に基づいて、導光光学系により空間結像部に再結像される投影光として前記結像媒体に結像される第二投影画像に係る情報を補正し、
前記第二投影画像を前記投影装置により投影する、
ことを特徴とする空間投影方法。
【符号の説明】
【0078】
1,1A 空間投影システム 2a 投影画像
4a 空間投影画像 10 投影装置
11 記憶部 12 処理部
13 投影部 14 操作部
15 通信部 16 音声処理部
17 スピーカ 20,20A 結像媒体
21 第一面 22 第二面
30,30A 導光光学系 31 ビームスプリッタ
32 再帰性反射部材 33 光反射部材
40 空間結像部 50 視聴者
60(60a~60c) 撮影画像 70(70a~70c) 補正用画像
71 マーカ 72 測定画像
80 撮影装置 81 撮影部
82 処理部 83 入出力制御部
84 記憶部 85 通信部
85a 投影指示 90 投影制御装置
100,100A 空間投影装置 101 有線ケーブル
111 画像補正情報 112 投影画像
331 第一ミラー層 331a 第一ミラー
332 第二ミラー層 332a 第二ミラー
831 操作ボタン 832 表示装置
841 画像補正情報
F1,F2 結像点 L1~L4,L21,L22 光
P1 投影光 P2,P3 空間投影光
S 配置面
図1
図2
図3
図4
図5
図6
図7
図8