7281782 映像投影システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-18

(45)【発行日】2023-05-26

(54)【発明の名称】映像投影システム

(51)【国際特許分類】

   H04N 13/388 20180101AFI20230519BHJP

   H04N 13/363 20180101ALI20230519BHJP

   H04N 5/74 20060101ALI20230519BHJP

   G03B 21/14 20060101ALI20230519BHJP

【ＦＩ】

H04N13/388

H04N13/363

H04N5/74 Z

G03B21/14 Z

【請求項の数】 12

(21)【出願番号】P 2019060064

(22)【出願日】2019-03-27

(65)【公開番号】P2020162011

(43)【公開日】2020-10-01

【審査請求日】2021-12-13

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】高島 深志

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０１６－１９５４６０（ＪＰ，Ａ）

【文献】中国特許出願公開第１０６０２８０１２（ＣＮ，Ａ）

【文献】特開２００４－２８２７１２（ＪＰ，Ａ）

【文献】特表２０１８－５１８９０４（ＪＰ，Ａ）

【文献】特開２０１７－１２６８９９（ＪＰ，Ａ）

【文献】特開２０１７－０４０６８５（ＪＰ，Ａ）

【文献】特開２０１５－０３２３１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／００－１３／３９８

Ｈ０４Ｎ ５／７４

Ｇ０３Ｂ ２１／１４

(57)【特許請求の範囲】

【請求項1】

天井面と、前記天井面と対向する床面と、前記天井面と前記床面との間の正面とを有する筒状のスクリーンと、
映像データ、及び、前記スクリーンの形状を示す投影空間データが入力される入力部と、
前記スクリーンの形状に応じて発生する、前記映像データに基づく投影映像の歪みを補正する制御装置と、
前記天井面、前記床面及び前記正面に、前記投影映像を補正した補正映像を投影する複数の投影装置とを備え、
前記投影装置は、前記スクリーンに対して水平方向の両側に１台以上ずつ配置され、
前記映像データは、三次元形状データである
映像投影システム。

【請求項2】

天井面と、前記天井面と対向する床面と、前記天井面と前記床面との間の正面とを有する筒状のスクリーンと、
映像データ、及び、前記スクリーンの形状を示す投影空間データが入力される入力部と、
前記スクリーンの形状に応じて発生する、前記映像データに基づく投影映像の歪みを補正する制御装置と、
前記天井面、前記床面及び前記正面に、前記投影映像を補正した補正映像を投影する複数の投影装置とを備え、
前記投影装置は、前記スクリーンに対して水平方向の両側に１台以上ずつ配置され、
前記制御装置は、
前記投影空間データに基づいて、それぞれの前記投影装置が前記投影映像を前記スクリーンに投影するための投影領域を算出し、
前記映像データを三次元形状データに変換した周囲環境映像を生成し、
それぞれの前記投影装置ごとに、前記投影領域に対応する前記周囲環境映像に基づいて前記投影映像を生成し、かつ、前記スクリーンの形状に応じて発生する前記投影映像の歪みを補正した前記補正映像を生成する
映像投影システム。

【請求項3】

前記天井面と前記正面との接合部と、前記床面と前記正面との接合部とは、湾曲している
請求項１又は２に記載の映像投影システム。

【請求項4】

それぞれの前記投影装置が前記スクリーンに投影する前記補正映像は、長方形であり、
それぞれの前記投影装置は、前記補正映像の長辺と水平方向とが平行となるように前記補正映像が示す物体を正立させて前記スクリーンに投影し、又は、前記補正映像の短辺と鉛直方向とが平行となるように前記補正映像が示す物体を正立させて前記スクリーンに投影する
請求項１～３のいずれか１項に記載の映像投影システム。

【請求項5】

前記映像データは、全方位撮像装置で撮像されたデータである
請求項１～４のいずれか１項に記載の映像投影システム。

【請求項6】

前記スクリーンに投影された前記補正映像をスイートスポットから見た場合、前記補正映像に示される物体は、実寸大に表示される
請求項１～５のいずれか１項に記載の映像投影システム。

【請求項7】

前記投影空間データは、さらに、前記投影装置における仕様、及び、前記スクリーンに対する前記投影装置の配置位置を含む
請求項１～６のいずれか１項に記載の映像投影システム。

【請求項8】

前記制御装置は、複数の前記投影装置の台数に応じて、一回ずつ前記周囲環境映像を生成する
請求項２に記載の映像投影システム。

【請求項9】

前記入力部には、さらに、前記スクリーンの形状に応じて変形する前記投影映像の歪みを補正するための歪み補正データが入力され、
前記制御装置は、さらに、前記歪み補正データに応じて前記投影映像の歪みを補正する
請求項７又は８に記載の映像投影システム。

【請求項10】

前記歪み補正データは、複数の点と、前記複数の点のうちの少なくとも二つの点を結ぶ１以上の直線とで構成され、
前記制御装置は、前記複数の点のうちの少なくとも１つの第１点が移動すると、前記第１点の移動量に応じて前記投影映像の歪み補正処理を実行する
請求項９に記載の映像投影システム。

【請求項11】

前記歪み補正データは、前記複数の点と前記複数の直線とによって形成された三角形又は四角形が配列された集合体である
請求項１０に記載の映像投影システム。

【請求項12】

前記制御装置は、前記第１点が移動されると、前記第１点に接続される直線と当該直線に接続される第２点とを少なくとも移動させることで、前記投影映像の歪み補正処理を実行する
請求項１０又は１１に記載の映像投影システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、映像投影システムに関する。

【背景技術】

【0002】

従来の映像投影システムとして特許文献１には、上半部分及び下半部分を有する表示スクリーンと床面とを有する全体密閉型ケース構造と、床面側と上半部分側とにそれぞれ配置されたプロジェクタとを備えるスクリーンプロジェクターシステムが開示されている。それぞれのプロジェクタは、上半部分と下半部分とのそれぞれにそれぞれ映像を投影する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１６３２４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１で開示される従来の映像投影システムでは、スクリーンに映る映像を視聴する視聴者が移動したり、座席から立上ったりすれば、投影する映像が視聴者によって遮られてしまい、スクリーンに影ができてしまうことがある。

【0005】

また、従来の映像投影システムでは、床面に映像を投影するわけではないため、視聴者がスクリーンを視聴した場合、視聴者は、床面の存在を認識してしまう。このため、視聴者は、スクリーンに映し出される臨場感を損ねてしまい、没入感を覚え難い。そこで、臨場感を出すために、スクリーンを半球状に形成し、スクリーン全域に投影することも考えられる。しかし、スクリーンが半球状になれば、スクリーンが大型化してしまう。

【0006】

本開示は、このような課題を解決するためになされたものであり、スクリーンに影が映り込み難く、かつ、スクリーン全域に投影しながらもスクリーンの大型化を抑制することができる映像投影システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本開示に係る映像投影システムの一態様は、天井面と、前記天井面と対向する床面と、前記天井面と前記床面との間の正面とを有する筒状のスクリーンと、映像データ、及び、前記スクリーンの形状を示す投影空間データが入力される入力部と、前記スクリーンの形状に応じて発生する、前記映像データに基づく投影映像の歪みを補正する制御装置と、前記天井面、前記床面及び前記正面に、前記投影映像を補正した補正映像を投影する複数の投影装置とを備え、前記投影装置は、前記スクリーンに対して水平方向の両側に１台以上ずつ配置され、前記映像データは、三次元形状データである。
また、上記目的を達成するために、本開示に係る映像投影システムの一態様は、天井面と、前記天井面と対向する床面と、前記天井面と前記床面との間の正面とを有する筒状のスクリーンと、映像データ、及び、前記スクリーンの形状を示す投影空間データが入力される入力部と、前記スクリーンの形状に応じて発生する、前記映像データに基づく投影映像の歪みを補正する制御装置と、前記天井面、前記床面及び前記正面に、前記投影映像を補正した補正映像を投影する複数の投影装置とを備え、前記投影装置は、前記スクリーンに対して水平方向の両側に１台以上ずつ配置され、前記制御装置は、前記投影空間データに基づいて、それぞれの前記投影装置が前記投影映像を前記スクリーンに投影するための投影領域を算出し、前記映像データを三次元形状データに変換した周囲環境映像を生成し、それぞれの前記投影装置ごとに、前記投影領域に対応する前記周囲環境映像に基づいて前記投影映像を生成し、かつ、前記スクリーンの形状に応じて発生する前記投影映像の歪みを補正した前記補正映像を生成する。

【発明の効果】

【0008】

本開示に係る映像投影システムによれば、スクリーンに影が映り込み難く、かつ、スクリーン全域に投影しながらもスクリーンの大型化を抑制することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施の形態に係る映像投影システムのブロック図である。

【図2】図２は、実施の形態に係る映像投影システムを上から見た上面図である。

【図3】図３は、図２のＩＩＩ－ＩＩＩ線における映像投影システムにおけるスクリーンの断面を示す断面図である。

【図4】図４は、実施の形態に係る映像投影システムの動作を示すフローチャートである。

【図5】図５は、実施の形態に係る映像投影システムに用いられるシミュレーションソフトウェアの仮想三次元空間データに配置したスクリーンデータを示すイメージ図である。

【図6】図６は、実施の形態に係る映像投影システムに用いられるシミュレーションソフトウェアによって、投影装置から見たスクリーンデータをレンダリングした投影領域を示すイメージ図である。

【図7】図７は、実施の形態に係る映像投影システムに用いられるシミュレーションソフトウェアの仮想三次元空間データに配置したスクリーンデータとスイートスポットとの関係を示すイメージ図である。

【図8】図８は、図７を上から見た場合、スクリーンデータをレンダリングしたそれぞれの視野角を示す模式図である。

【図9】図９は、右側の視野角で映像データをレンダリングし、かつ、左側の視野角で映像データをレンダリングした周囲環境映像を示すイメージ図である。

【図10】図１０は、一般的なキューブ環境マッピング処理を用いてスクリーンに映像を投影した比較例を例示する説明図である。

【図11】図１１は、実施の形態に係る映像投影システムの制御装置による投影映像の歪み補正処理の動作を示すフローチャートである。

【図12】図１２は、実施の形態に係る映像投影システムの制御装置におけるテクスチャマッピング技術を用いた投影映像の歪み補正処理を示す説明図である。

【図13】図１３は、実施の形態に係る映像投影システムの制御装置による歪み補正データに基づく投影映像の歪み補正処理の動作を示すフローチャートである。

【図14】図１４は、頂点群で結ばれる三角形を示す図である。

【図15】図１５は、細分化した投影映像を示す図である。

【図16】図１６は、四角形を細分化する方法について説明する図である。

【図17】図１７は、ワーピング補正の方法を説明する図である。

【図18】図１８は、ワーピング補正点の移動前と移動後とを示す図である。

【発明を実施するための形態】

【0010】

以下、本開示の実施の形態について、図面を参照しながら説明する。なお、以下に説明する実施の形態は、いずれも本開示の一具体例を示すものである。したがって、以下の実施の形態で示される、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、並びに、ステップ、ステップの順序等は、一例であって本開示を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0011】

各図は、模式図であり、必ずしも厳密に図示されてはいない。したがって、例えば、各図において縮尺等は必ずしも一致しない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。

【0012】

以下の実施の形態に係る映像投影システムについて説明する。

【0013】

（実施の形態）
［構成］
図１は、実施の形態に係る映像投影システム１のブロック図である。図２は、実施の形態に係る映像投影システム１を上から見た上面図である。

【0014】

図１及び図２に示すように、映像投影システム１は、投影装置３０によってスクリーン１０に映像を投影することで、スクリーン１０を視聴する視聴者に映像を表示させる。映像投影システム１では、密閉型ケース構造又は一部分密閉型ケース構造であり、視聴者の水平視野角及び垂直視野角が１８０度未満となる連続画像がスクリーン１０に表示される。

【0015】

映像投影システム１は、スクリーン１０と、入力部２０と、複数の投影装置３０と、制御装置４０と、記憶部５０とを備える。

【0016】

図３は、図２のＩＩＩ－ＩＩＩ線における映像投影システム１におけるスクリーン１０の断面を示す断面図である。

【0017】

図２及び図３に示すように、スクリーン１０は、天井面１１と、天井面１１と対向する床面１２と、天井面１１と床面１２との間の正面１３とを有する筒状を成した、映像を映す幕である。スクリーン１０には、それぞれの投影装置３０から照射された映像が投影される。スクリーン１０を構成する天井面１１、床面１２、及び、正面１３に映像が投影される。

【0018】

本実施の形態では、スクリーン１０において、天井面１１及び床面１２は平面視で半円形状であり、正面１３は天井面１１及び床面１２の円弧状の縁を構成する端縁に沿って湾曲したアーチ状の湾曲面である。

【0019】

天井面１１と正面１３との接合部１４と、床面１２と正面１３との接合部１４とは、湾曲している。つまり、天井面１１と正面１３との接合部１４、及び、床面１２と正面１３との接合部１４は、アールが付けられ、丸められている。これら接合部１４は、境界部分の角である。

【0020】

図１及び図２に示すように、入力部２０は、映像データ、スクリーン１０の形状を示すスクリーンデータ（投影空間データの一例）、及び、スクリーン１０の形状に応じて変形する投影映像の歪みを補正するための歪み補正データが入力される。入力部２０は、映像データ、スクリーンデータ等を入力する入力インターフェイスである。例えば、入力部２０には、３６０度全天球カメラ等の全方位撮像装置等で撮像された映像が入力される。入力部２０は、制御装置４０と通信可能に接続され、上述のデータが入力されると、記憶部５０に保存する。

【0021】

ここで、映像データは、スクリーン１０に投影するための映像を示すデータである。映像は、動画像又は静止画像である。映像データは、全方位撮像装置で撮像されたデータ、又は、ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）等の作成された三次元形状データである。

【0022】

また、スクリーンデータは、スクリーン１０の形状である三次元のスクリーン形状データ、投影装置データ（投影装置における仕様を示すデータである）、スイートスポット（スクリーン１０に対する視聴者の位置、及び、視聴者がスクリーン１０を視たとき角度（視線との角度））等である。また、投影装置データは、スクリーン１０に対する投影装置３０の配置位置、投影装置３０がスクリーン１０に映像を投影するときの投影角、スクリーン１０に対する投影装置３０の投射幅、スクリーン１０に対する投影装置３０の投射距離、投影装置３０の解像度である。

【0023】

それぞれの投影装置３０は、天井面１１、床面１２及び正面１３に、投影映像を補正した補正映像をスクリーン１０に投影する。本実施の形態では、２台の投影装置３０がスクリーン１０に映像を投影する。つまり、それぞれの投影装置３０は、スクリーン１０に対して水平方向の両側に１台以上ずつ配置される。具体的には、一方の投影装置３０はスクリーン１０の右側に配置され、他方の投影装置３０はスクリーン１０の左側に配置される。本実施の形態では、それぞれの投影装置３０は、投影装置３０が有するレンズ中心がスクリーン１０の高さの中心となる位置に設置される。

【0024】

ここで、右側とは、スクリーン１０の正面１３と対向して見た場合の右側であり、左側はその反対側である。

【0025】

スクリーン１０に投影される映像（例えば、補正映像）は、長方形である。つまり、投影される映像の画像領域は、長尺である。このため、それぞれの投影装置３０は、補正映像の長辺と水平方向とが平行となるように補正映像が示す物体を正立させてスクリーン１０に投影し、又は、補正映像の短辺と鉛直方向とが平行となるように補正映像が示す物体を正立させてスクリーン１０に投影する。

【0026】

具体的には、本実施の形態では、投影装置３０が投影する映像のアスペクト比は１６：１０（又は１６：９）である。スクリーン１０に投影した映像の上下が切れてしまう場合、投影装置３０の設置向きを９０°回転することで、アスペクト比を縦長１０：１６（又は９：１６）にできる。このため、投影装置３０は、映像が天井面１１と床面１２とを覆い隠すように投影できる。

【0027】

制御装置４０は、スクリーンデータが入力部２０に入力されたかどうかを判定する。制御装置４０は、スクリーンデータが入力部２０に入力されていると判定すると、投影装置３０が投影映像をスクリーン１０に投影するための投影領域を算出する。投影領域は、スクリーン１０の形状である三次元のスクリーン形状データ、投影装置３０における仕様等に基づいて算出される。

【0028】

具体的には、制御装置４０は、投影装置３０がスクリーン１０に映像を投影する際の視野角を算出する。この視野角は、スクリーン１０に対する投影装置３０の相対的な配置位置、投影装置３０における仕様であるスクリーン１０に対するそれぞれの投影装置３０の投影角度、それぞれの投影装置３０のレンズの画角である投射幅及び投射距離、アスペクト比等に基づいて算出される。制御装置４０は、算出した視野角から、投影領域を算出する。制御装置４０は、投影装置３０ごとに投影領域を算出する。

【0029】

投影領域は、投影装置３０がスクリーン１０に映像を投影するため領域であり、本実施の形態では、スクリーンデータ、つまり、投影装置３０から見たスクリーン１０の形状に応じた三次元の領域である。

【0030】

また、制御装置４０は、映像データが入力部２０に入力されたかどうかを判定する。制御装置４０は、映像データが入力されていると判定すると、映像データを仮想三次元空間データ内でレンダリングするために、映像データが三次元形状データか否かを判定する。

【0031】

制御装置４０は、映像データが三次元形状データであると判定すると、この映像データに基づいて周囲環境映像を生成する。周囲環境映像は、投影装置３０からスクリーン１０に投影する際の水平視野角及び垂直視野角に基づいて、制御装置４０が仮想三次元空間データ内で映像データをレンダリングすることで生成される。本実施の形態では、制御装置４０の処理負荷を抑制するために、二台分の投影装置３０の映像データのレンダリングを、一台につき一回ずつ行って複数の周囲環境映像を生成する。つまり、制御装置４０は、右側の投影領域に対応する周囲環境映像を生成し、左側の投影領域に対応する周囲環境映像を生成する。このため、１つの周囲環境映像の大きさは、スクリーン１０を正面１３から見た場合の半分の大きさである。なお、周囲環境映像の生成についての詳細は後述する。

【0032】

また、制御装置４０は、映像データが三次元形状データでないと判定すると、映像データが画像データであるか否かを判定する。映像データが画像データであれば、制御装置４０は、この映像データを三次元形状データに変換する。つまり、制御装置４０は、映像データに示される複数の物体を三次元形状データに変換する。

【0033】

また、制御装置４０は、生成した周囲環境映像に基づいて、投影装置３０ごとの投影映像を生成する。制御装置４０は、周囲環境映像に示されるそれぞれの画素から投影映像を生成する。通常、投影装置３０から湾曲したスクリーン１０に投影した場合、投影映像は湾曲するため、視聴者からは歪んだ映像として見える。このため視聴者からは歪みの無い映像として投影できるように補正する。投影点は、スクリーン１０に投影される一画素当たりの微小な領域であり、制御装置４０は、投影領域の画素に格納されている被写界深度に基づいて、スクリーン１０上のそれぞれの投影点を求め、その投影点に投影する画素を周囲環境映像から算出することで視聴者からは歪みの無い映像となるよう投影映像を補正する。なお、投影映像の生成についての詳細は後述する。

【0034】

ここまでに視聴者からは歪みの無い映像が投影されるはずだが、投影装置３０には個体差があるため、実際の投影領域はレンズ及び投影装置３０の仕様とは厳密には一致しない。また、施工したスクリーン１０も施工用図面とは厳密に一致することはないため、これら乖離の結果が、最終的に投影映像の歪みとして現れる。このため、制御装置４０は、歪み補正データが入力部２０に入力されたか否かを判定し、歪み補正データが入力部２０に入力されている場合、それぞれの投影装置３０ごとに、スクリーン１０の形状又は投影装置３０の個体差に応じて発生する映像データに基づく投影映像の歪みを、歪み補正データを用いて補正する。制御装置４０は、投影映像の補正を投影装置３０ごとに行う。

【0035】

ここで、映像データに基づく投影映像とは、投影領域に対応する周囲環境映像に基づいて生成された映像を意味する。また、投影映像の歪みとは、スクリーン１０に投影された場合に生じる歪みを意味する。また、歪み補正データを用いて投影映像を補正することを、歪み補正処理と言うことがある。なお、投影映像の歪み補正処理についての詳細は後述する。

【0036】

制御装置４０は、一方の投影装置３０に対応する投影映像を歪み補正処理を実行することで補正映像を生成し、生成した補正映像を一方の投影装置３０に出力する。また、制御装置４０は、他方の投影装置３０に対応する投影映像を歪み補正処理を実行することで補正映像を生成し、生成した補正映像を他方の投影装置３０に出力する。

【0037】

記憶部５０は、制御装置４０に通信可能に接続された半導体メモリ、ハードディスクドライブ等の記憶媒体である。記憶部５０は、入力部２０から入力された、映像データ、スクリーンデータ、歪み補正データ、制御装置４０が生成する投影領域を示すデータ、周囲環境映像を示すデータ、投影映像を示すデータ、及び、補正映像を示すデータ等を保存し、かつ保存した上記それぞれのデータを読み出すことができる。

【0038】

［動作］
次に、映像投影システム１の動作について説明する。

【0039】

図４は、実施の形態に係る映像投影システム１の動作を示すフローチャートである。

【0040】

まず、視聴者は、映像投影システム１の入力部２０に自身が視聴したい映像データを予め入力しておく。本実施の形態では、複数の投影装置３０を用いているが、特に言及しない限り、主に一台の投影装置３０について説明し、制御装置４０がそれぞれの投影装置３０に対して行う処理については、適宜説明を省略する。

【0041】

図４に示すように、映像投影システム１の制御装置４０は、スクリーンデータが入力部２０に入力されたかどうかを判定する（Ｓ１）。つまり、制御装置４０は、スクリーン１０の形状等に応じた映像を投影するために、記憶部５０にスクリーンデータが保存されているかどうかを判定する。スクリーンデータには、スクリーン１０の形状である三次元のスクリーン形状データ、スクリーン１０に対する投影装置３０の配置位置、投影装置３０がスクリーン１０に映像を投影するときの投影角、スクリーン１０に対する投影装置３０の投射幅、スクリーン１０に対する投影装置３０の投射距離、投影装置３０の解像度、スクリーン１０に対する視聴者の位置、及び、視聴者がスクリーン１０を視たとき角度（視線との角度）等を含む。

【0042】

次に、制御装置４０は、スクリーンデータが入力部２０に入力されていると判定すると（Ｓ１でＹｅｓ）、投影装置３０から見たスクリーン１０の形状に応じた三次元の領域である投影領域の算出を行う（Ｓ２）。

【0043】

投影領域の算出について説明する。

【0044】

図５は、実施の形態に係る映像投影システム１に用いられるシミュレーションソフトウェアの仮想三次元空間データに配置したスクリーンデータを示すイメージ図である。

【0045】

図５に示すように、制御装置４０は、入力されたスクリーンデータを仮想三次元空間データに配置する。仮想三次元空間データは、映像データに基づいて補正映像を生成するためのソフトウェアであり、記憶部５０にインストールされている。ソフトウェアは、スクリーンデータが示すスクリーン１０の形状を三次元的にシミュレーションできる。制御装置４０は、スクリーン１０に対する投影装置３０の相対的な配置位置、スクリーン１０に対する投影装置３０の投影角度、投影装置３０のレンズの画角である投射幅及び投射距離、及び、投影装置３０の解像度等から、投影装置３０がスクリーン１０に映像を投影する際の、視野角を算出する。

【0046】

制御装置４０は、算出された視野角に応じて、仮想三次元空間データ内に配置されたスクリーンデータをレンダリングする。スクリーンデータをレンダリングしたイメージ図を図６に示す。図６は、実施の形態に係る映像投影システム１に用いられるシミュレーションソフトウェアによって、投影装置３０から見たスクリーンデータをレンダリングした投影領域を示すイメージ図である。レンダリングされたスクリーンデータが示す画像のそれぞれの画素（ピクセル）には、投影装置３０からスクリーン１０までの距離に応じた被写界深度が入力される。被写界深度が入力されたそれぞれの画素は、スクリーン１０上に投影されるそれぞれの投影点で表される。それぞれの投影点の集合体によって、投影装置３０から見た、スクリーン１０上に投影される投影領域が算出される。

【0047】

一方、図４のステップＳ１に戻り、制御装置４０は、スクリーンデータが入力されていないと判定すると（Ｓ１でＮｏ）、処理をステップＳ１に戻す（スクリーンデータが入力されるまで待機する）。なお、制御装置４０は、ステップＳ１でＮｏの場合、処理を終了する等を行ってもよい。

【0048】

次に、ステップＳ２の処理を終了後、制御装置４０は、映像データが入力部２０に入力されたかどうかを判定する（Ｓ３）。つまり、制御装置４０は、記憶部５０に映像データが保存されているかどうかを判定する。

【0049】

次に、制御装置４０は、映像データが入力部２０に入力されていないと判定すると（Ｓ３でＮｏ）、処理をステップＳ３に戻す（映像データが入力されるまで待機する）。なお、制御装置４０は、ステップＳ３でＮｏの場合、処理をステップＳ１に戻す処理を終了する等を行ってもよい。

【0050】

一方、制御装置４０は、映像データが入力部２０に入力されていると判定すると（Ｓ３でＹｅｓ）、映像データが三次元形状データか否かを判定する（Ｓ４）。これは、制御装置４０は、映像投影システム１に用いられるシミュレーションソフトウェアの仮想三次元空間データに映像データを配置し、仮想三次元空間データ内に配置された映像データをレンダリングする。このため、映像データが三次元形状データである必要がある。

【0051】

制御装置４０は、映像データが三次元形状データでないと判定すると（Ｓ４でＮｏ）、映像データが画像データであるか否かを判定する（Ｓ１０）。

【0052】

制御装置４０は、映像データが画像データであると判定すると（Ｓ１０でＹｅｓ）、この映像データを三次元形状データに変換する（Ｓ１１）。例えば、映像データは、全方位撮像装置で撮影された映像であることが好ましい。一例をあげると、全方位撮像装置で撮像されたエクレクタンギュラー形式の画像データを用いる場合、まずは、制御装置４０は、三次元形状データの球体を作成する。そして、制御装置４０は、作成した球体にエクレクタンギュラー形式の画像をテクスチャマッピングすることで、画像データを三次元形状データに変換する。そして、制御装置４０は、映像データを三次元形状データに変換後に、後述する周囲環境映像の生成（Ｓ５）を行う。

【0053】

なお、本実施の形態では、三次元形状データの球体を用いて、画像データを三次元形状データに変換する。また、所定の形状にテクスチャマッピングできればよいため、平面、又は、湾曲状の面等でもよく、球体には限定されない。また、球体は、長球、真球等でもよい。さらに、平面、又は、湾曲状の面の形状は、円形、多角形状等及びこれを組み合わせた形状でもよい。

【0054】

一方、制御装置４０は、映像データが画像データでないと判定すると（Ｓ１０でＮｏ）、処理をステップＳ１に戻す。

【0055】

ステップＳ４の説明に戻り、制御装置４０は、映像データが三次元形状データであると判定すると（Ｓ４でＹｅｓ）、この映像データに基づいて周囲環境映像を生成する（Ｓ５）。これは、前述した通り、投影装置３０から湾曲したスクリーン１０に投影した場合、投影映像は湾曲するため、視聴者からは歪んだ映像として見える。これを補正するため制御装置４０は、視聴者を中心とした全方位の映像である周囲環境映像を生成する。さらに、後述する投影映像をこの周囲環境映像から生成することで、湾曲したスクリーン１０に投影した映像であっても、視聴者は歪みの無い映像が視聴できる。本実施の形態では、視聴者の前方から見たスクリーン１０に映像が投影されるため、視聴者の前方から見たスクリーン１０の形状と、投影装置３０の配置位置、及び、配置角等に応じて、この周囲環境映像から投影用映像を生成する。

【0056】

本実施の形態では、広視野な映像投影を行うため、制御装置４０は、スイートスポットＳに基づいた周囲環境映像を生成する。スイートスポットＳは、視聴者がスクリーン１０を見た場合に、スクリーン１０と天井面１１及び正面１３の接合部１４の映像と、床面１２及び正面１３の接合部１４の映像とが歪みなく見える視点の位置である。視聴者の視点がスイートスポットＳから外れるほど、これらの接合部１４に投影された映像は曲がって見える。これを緩和するために、本実施の形態では、それぞれの接合部１４を円弧状に湾曲させる。

【0057】

周囲環境映像の生成について説明する。

【0058】

図７は、実施の形態に係るスクリーンデータとスイートスポットＳとの関係を示すイメージ図である。

【0059】

まず、図７に示すように、スクリーン１０を見た場合、スクリーン１０における正面１３側の４つの角のうちの、天井面１１側の点ａ，ｂ及び床面１２側の点ｃ，ｄを規定する。また、点ａ，ｂ，ｃ，ｄで囲まれる領域の中心点ｇを規定する。中心点ｇの高さは、スイートスポットＳの高さと同値とする。また、スクリーン１０を正面１３から見た場合、中心点ｇを含む鉛直方向の直線と交差する、天井面１１の点ｅ及び床面１２の点ｆを規定する。

【0060】

次に、スイートスポットＳから点ｇまでの距離、点ａ，ｂ間の距離、及び、点ｅ，ｆ間の距離に基づいて、水平角及び垂直角を三角関数により求める。水平角は、点ａ，ｃを結ぶ直線の中心点Ｈ１とスイートスポットＳまでの直線と、点ｂ，ｄを結ぶ直線の中心点Ｈ２とスイートスポットＳまでの直線とがなす鋭角の角度である。垂直角は、点ａ，ｂを結ぶ直線の中心となる点ｅとスイートスポットＳまでの直線と、点ｃ，ｄを結ぶ直線の中心となる点ｆとスイートスポットＳまでの直線とがなす鋭角の角度である。このように、水平角及び垂直角は、スイートスポットＳとスクリーン１０の形状との関係から算出する。

【0061】

図８は、図７を上から見た場合、算出した視野角で映像データをレンダリングした様子を示す模式図である。

【0062】

図７及び図８に示すように、周囲環境映像は、視聴者から見たスクリーン１０に投影される領域のみでよく、算出された水平角及び垂直角に基づいて、最適なレンダリングすべき視野が決定されるが、これを図８のように左と右とに二回に分けてレンダリングする。

【0063】

なお、入力部２０に入力された映像データが三次元形状データである場合には、レンダリングすべき視点は任意の視点であり、入力部２０に入力された映像データが画像データである場合には、レンダリングすべき視点はステップＳ１１で生成された球体の中心点となる。

【0064】

まず、一回目のレンダリングでは、制御装置４０は、水平角の右側の半分と垂直角とで規定される右側の視野角Ｖ１で、映像データをレンダリングする。次に、二回目のレンダリングでは、制御装置４０は、図７で示す水平角の左側の半分と垂直角とで規定される左側の視野角Ｖ２で、映像データをレンダリングする。そして、制御装置４０は、二回のレンダリングで生成した周囲環境映像を生成する。

【0065】

ここで、映像データを一回のレンダリングで周囲環境映像を得ることは可能である。しかし、投影装置３０の視野角が広角になるほど、レンダリングされた画像は、中心に向かうほど解像度が劣化してしまうという特性を有する。このため、より画像の解像度の劣化が少なくなるように、右側のスクリーン１０の領域に対応する映像データをレンダリングし、かつ、左側のスクリーン１０の領域に対応する映像データをレンダリングするという、制御装置４０は、二回に分けたレンダリングをする。そして、図９に示すように、制御装置４０は、２つの周囲環境映像を生成し、２つの周囲環境映像を繋ぎ合わせる。

【0066】

本実施の形態では、レンダリング回数を抑えるために、図９に示すように二回のレンダリングで、スクリーン１０の大きさに応じた周囲環境映像を生成する。図９は、図８の視野角Ｖ１で映像データをレンダリングし、かつ、図８の視野角Ｖ２で映像データをレンダリングした周囲環境映像を示すイメージ図である。

【0067】

なお、上述の代替として、一般的なキューブ環境マッピング処理を用いて周囲環境映像を生成してもよく、他の公知の手法を用いて周囲環境映像を生成してもよい。

【0068】

また、水平角及び垂直角に基づいてレンダリングされた映像データのアスペクト比が決定されるが、解像度は特に限定されないが、高解像度である方が望ましい。

【0069】

本実施の形態では、スクリーン１０への投影映像が動画像である場合、三次元形状データのアニメーション表示等の動的な映像更新に備えるため、制御装置４０は、周囲環境映像をリアルタイムで生成する。

【0070】

図１０は、一般的なキューブ環境マッピング処理を用いてスクリーン１０ａに映像を投影した比較例を例示した説明図である。例えば、図１０に示すように、一般的なキューブ環境マッピング処理を用いて映像をスクリーン１０ａに投影した場合、スクリーン１０ａに映像が投影されない背面を除いた、正面、上面、下面、左面、及び、右面の計５面の映像を個別にレンダリングすることがある。しかし、計５面の映像を個別にレンダリングすれば、制御装置の処理負荷が高くなる。

【0071】

図４に示すように、次に、制御装置４０は、ステップＳ５で生成した周囲環境映像に基づいて、投影装置３０ごとの投影映像を生成する（Ｓ６）。

【0072】

投影映像の生成について説明する。

【0073】

具体的には、制御装置４０は、ステップＳ２で算出された投影領域に映像を投影するため、スクリーン１０に映像が投影されたときのそれぞれの投影点の画素から投影映像を生成する。投影領域映像が示すそれぞれの画素には、ステップＳ２により、被写界深度が格納されている。制御装置４０は、スイートスポットＳとそれぞれの投影点（画素に格納された被写界深度）との位置データを記憶部５０から読み出し、スイートスポットＳからそれぞれの投影点までの、それぞれの単位ベクトルを算出する。制御装置４０は、スイートスポットＳからそれぞれの単位ベクトルの方向に伸ばした線と、周囲環境映像とのそれぞれの交点を算出する。算出されたそれぞれの交点上の周囲環境映像は、投影点の画素となる。制御装置４０は、スクリーン１０に映像が投影された際に、投影点ごとの画素を算出することによって、投影映像を生成する。制御装置４０は、投影装置３０ごとに、このような処理を行う。

【0074】

このとき得られた投影映像は、周囲環境映像から生成されるため、実寸大のスケール（１／１スケール）である。つまり、スクリーン１０に投影された投影映像をスイートスポットＳから見た場合、投影映像に示される物体は、実寸大に表示される。

【0075】

次に、制御装置４０は、投影装置３０ごとに生成した投影映像を歪み補正処理を実行する（Ｓ７）。投影映像は、図２のステップＳ２における仮想三次元空間データ内で算出された投影領域に基づいて生成される。しかし、投影装置３０の個体差及びスクリーン１０の施工精度によっては、スクリーン１０に投影された映像に誤差が発生する場合がある。このため、投影映像の更なる補正処理である歪み補正処理を実行する。

【0076】

次に、制御装置４０は、投影装置３０ごとに、投影映像を歪み補正処理を実行した補正映像を生成する（Ｓ８）。

【0077】

次に、制御装置４０は、生成したそれぞれの補正映像をそれぞれの投影装置３０に出力する（Ｓ９）。制御装置４０は、投影装置３０ごとに、上述の処理を行う。こうして、制御装置４０は、右側の投影装置３０に、左側の投影領域に対応する補正映像を出力し、左側の投影装置３０に、右側の投影領域に対応する補正映像を出力する。こうして、本実施の形態では、二台の投影装置３０から投影された補正映像が繋がり、一つの映像がスクリーン１０に表示される。

【0078】

そして、制御装置４０は、処理を終了する。

【0079】

図４のステップＳ７で示す投影映像の歪み補正処理について、詳細に説明する。

【0080】

図１１は、実施の形態に係る映像投影システム１の制御装置４０による投影映像の歪み補正処理の動作を示すフローチャートである。

【0081】

制御装置４０は、歪み補正データが入力部２０に入力されたか否かを判定する（Ｓ３１）。つまり、制御装置４０は、記憶部５０に歪み補正データが保存されているかどうかを判定する。

【0082】

制御装置４０は、歪み補正データが入力部２０に入力されたと判定すると（Ｓ３１でＹｅｓ）、投影映像が生成されたか否かを判定する（Ｓ３２）。投影映像が生成されていなければ（Ｓ３２でＮｏ）、制御装置４０は、処理を終了し、図４の処理を開始する。

【0083】

一方、制御装置４０は、投影映像が生成されていると判定すると（Ｓ３２でＹｅｓ）、投影映像の歪み補正処理を実行する（Ｓ３３）。

【0084】

ステップＳ３３の投影映像の歪み補正処理について、具体的に説明する。

【0085】

（１）一般的な歪み補正処理について説明する。

【0086】

図１２は、実施の形態に係る映像投影システム１の制御装置４０におけるテクスチャマッピング技術を用いた投影映像の歪み補正処理を示す説明図である。

【0087】

図１２に示すように、本実施の形態では、一般的なテクスチャマッピング技術を用いて投影映像の歪み補正処理を実行する。

【0088】

図１２は、テクスチャマッピングの一般的な動作を示している。図１２（ａ）では４つの頂点と二つの三角形とがあり、各頂点にはテクスチャ座標（Ｕ，Ｖ）上の点が入力されている。図１２（ｂ）は、テクスチャ画像である。図１２（ｃ）は、テクスチャマッピングした結果である。図１２（ｄ）は、頂点を移動させることで変化させたテクスチャである。この技術を応用して投影用映像を補正する。本開示では、図１２（ａ）の各頂点を補正点と呼称する。補正点には二つの座標系上の位置情報が含まれており、一つ目はその補正点が投影領域画像のどこに位置するかのＸＹ座標であり、二つ目はテクスチャマッピングを施す場合のＵＶ座標である。また一般的なテクスチャマッピングでは、各頂点は、線分で繋がれ三角形を形成する。従って、歪み補正用データにおいても線分を定義し、この各線分を図１２（ａ）のように補正線と呼称する。

【0089】

（２）歪み補正データの詳細について説明する。

【0090】

歪み補正データは、複数の補正点と、複数の補正点のうちの少なくとも二つの補正点を結ぶ補正線とで構成される。また、歪み補正データは、複数の補正点と複数の補正線とによって形成された三角形又は四角形が配列された集合体を構成する。歪み補正データには、補正点と、補正線と、後述するワーピング補正点とが含まれる。補正点、及び、ワーピング補正点は、点の一例である。補正線は、二つの補正点を結ぶ直線の一例である。

【0091】

補正点には、補正点のＩＤ、補正点の配置位置、補正点のテクスチャ座標位置、及び、２つの補正点を結ぶ連結補正線が含まれる。

【0092】

補正点のＩＤは、補正点を識別するためのユニークな数値である。補正点の配置位置は、図４のステップＳ６で生成した投影映像上の位置座標（Ｘ，Ｙ）を示す。テクスチャ座標位置は、補正点が持つテクスチャ座標（Ｕ，Ｖ）を示す。連結補正線は、配列で定義され、隣り合う２つの補正点を結ぶ線を識別するためのＩＤを保有する。

【0093】

補正線には、補正線のＩＤ、補正線の連結補正点、及び、四角形補正が含まれる。補正線のＩＤは、補正線を識別するためのユニークな数値である。連結補正点は、配列で定義され、補正線に結ばれる補正点を識別するためのＩＤを保有する。四角形補正については後述する。

【0094】

（３）歪み補正データに基づく投影映像の補正について説明する。

【0095】

図１３は、実施の形態に係る映像投影システム１の制御装置４０による歪み補正データに基づく投影映像の歪み補正処理の動作を示すフローチャートである。

【0096】

図１３に示すように、制御装置４０は、テクスチャマッピングに必要な頂点群、及び、頂点群で結ばれる三角形を形成する（Ｓ４１）。

【0097】

ステップＳ４１の処理について図１４を用いて説明する。図１４は、入力された歪み補正データに含まれる補正線及び補正点から形成された頂点群（補正点の群）及び三角形群である。

【0098】

このように入力された歪み補正データには、図１４のような任意の三角形群が形成可能となる補正点と補正線とのデータ群が含まれている。これを元に、制御装置４０は、テクスチャマッピングに必要な頂点群（補正点の群）及び三角形を形成する。補正点には、前述の通りＸＹ座標と、ＵＶ座標における２つの座標値が予め入力されており、これを元にテクスチャマッピングを施し、歪み補正を行う。

【0099】

なお、制御装置４０は後述するステップＳ４９でテクスチャマッピングを実行するが、テクスチャマッピングの元となるテクスチャは、図４のステップＳ６で生成した投影映像そのものである。制御装置４０は、このテクスチャマッピング技術を用いることで、補正点の位置を変更するだけで投影映像を変形する補正を行う。

【0100】

ただし、このテクスチャマッピング技術は、例えば図１２の（ｄ）に示すように、投影映像に歪みが発生する。この歪みを緩和するため、図１３に示すように、投影映像を細分化する処理を行う（Ｓ４２）。

【0101】

まず、投影映像の歪みを緩和する方法について図１５を用いて説明する。

【0102】

図１５は、細分化した投影映像を示す図である。

【0103】

制御装置４０は、図１４のように投影映像を細分化した複数の補正点を生成し、生成した複数の補正点に新たなテクスチャ座標を割り当てる。具体的には、制御装置４０は、図１５の（ａ）では細分化前の四角形であり、図１５の（ｂ）のように補正点を細分化する、つまり、図１５の（ａ）の四角形を格子状に細分化する。制御装置４０は、さらに、２つの隣接する三角形がペアとなるように、細分化された四角形をさらに細分化する。これにより、制御装置４０は、補正点を移動させた際に、図１５（ｃ）のように投影映像の歪みを緩和したテクスチャマッピングを実行する。

【0104】

次に、ステップＳ４２における細分化の方法について、図１６を用いて説明する。

【0105】

図１６は、四角形を細分化する方法について説明する図である。この四角形は、投影映像に相当してもよいし、図１４にある隣接する二つの三角形をペアとすれば、図１４内の複数の三角形ペアに用いてもよい。

【0106】

図１６の（ａ）では、図１２の（ａ）と同等に、四角形には頂点である４つの補正点（Ａ，Ｂ，Ｃ，Ｄ）が規定される。これら４つの補正点は、歪み補正データ内の補正点における配置位置通りに配置される。４つの補正点を結んで形成される四角形状のそれぞれの辺は、時計回りに、補正線Ｔ，Ｒ，Ｕ，Ｌと規定される。具体的には、補正点Ａ，Ｂで補正線Ｔ、補正点Ｂ，Ｃで補正線Ｒ、補正点Ｃ，Ｄで補正線Ｕ、補正点Ｄ，Ａで補正線Ｌが規定される。それぞれの補正線Ｔ，Ｒ，Ｕ，Ｌは、予め定めた分割数ｎで均等分割される。均等分割した補正線Ｔ，Ｒ，Ｕ，Ｌ上の分割点には、補正点（頂点）が生成される。分割点となる補正点を識別するために、それぞれの補正線上の分割点に時計回りに０から始まる数値は、例えば、補正線Ｔでは分割点となる補正点１，２・・・ｎ－２が振られる。補正線Ｒ，Ｕ，Ｌについても同様である。

【0107】

図１６の（ｂ）では、補正線Ｔの分割点の補正点１と、補正線Ｕの分割点の補正点ｎ－２と線分ＴＵで結ぶ。また、補正線Ｌの分割点の補正点ｎ－２と、補正線Ｒの分割点の補正点１とを線分ＬＲで結ぶ。制御装置４０は、このように形成された線分ＴＵと線分ＬＲとを総当たりで交差判定し、線分ＴＵと線分ＬＲとの交点があれば、交点上に補正点を生成する。こうして、四角形状の補正点（Ａ，Ｂ，Ｃ，Ｄ）で規定される領域が、さらに格子状に分割されることで、複数の補正点が生成される。

【0108】

また、制御装置４０は、線分ＴＵと線分ＬＲとにより形成されたそれぞれの格子から、格子をさらに２つに分割する三角形を形成する。つまり、制御装置４０は、線分ＴＵと補正線Ｔとの交点（補正点）、線分ＬＲと補正線Ｌとの交点（補正点）とを結ぶ対角線で格子を分割する。

【0109】

制御装置４０は、このような処理により、図１５の（ｂ）のような細分化された補正点（テクスチャ座標）と、テクスチャ座標で規定される三角形とを求める。細分化により生成した補正点の算出は、補正点（Ａ，Ｂ，Ｃ，Ｄ）の位置を配置座標でなく、歪み補正データ内の補正点におけるテクスチャ座標の位置に表現してから、上記処理を実行することで算出する。

【0110】

なお、２つの三角形がペアとなる四角形に基づいて、細分化処理を行う四角形補正を実行してもよい。また、四角形補正を実行しない場合は、細分化せずに、後述するステップＳ４９でテクスチャマッピングを実行してもよい。

【0111】

また、上述の処理の通り、補正点の細分化は、基点となるＡ，Ｂ，Ｃ，Ｄの位置関係により自動形成される。基点となるＡ，Ｂ，Ｃ，Ｄの四つの補正点を移動した場合には、移動前の細分化処理結果を破棄し、制御装置４０における上述の処理を再実行することで、移動後のＡ，Ｂ，Ｃ，Ｄの位置関係から細分化した補正点を自動形成する。このようにして補正点を移動した場合にも、細分化処理を再実行することで、通常のテクスチャマッピングよりも投影映像の変形を歪み無く実行することができる。一方、この細分化処理は、自動形成であるため、より細かな補正を行う場合、より多くの補正点を歪み補正データに追加する必要があることは言うまでもない。

【0112】

図１３のステップＳ４２の処理が終了すると、補正点の入力作業が増加を抑制するために、制御装置４０は、ワーピング補正点が入力されたかどうかを判定する（Ｓ４３）。

【0113】

例えば、スクリーン１０の接合部１４の湾曲を一様にする事が施工上困難である場合、この誤差が投影映像の歪みとして顕著に発生する場合がある。これを補正するためには、より多くの補正点を入力する必要があり、補正データの入力作業の負荷が増大することがある。本実施の形態では、この負荷を緩和するため、補正点を増やさずに、簡易に補正が行える処理を実行する。本実施の形態では、これをワーピング補正と呼称する。

【0114】

ワーピング補正では、バネ質点系（上述の複数の補正点及び補正線に対応する）によるシミュレーション技法を用いる。バネ質点系では、任意に配置された質点（上述の補正点に対応する）をバネ（上述の補正線に対応する）で結び、質点に与えられた力とそれぞれの質点が結ばれたバネが相互に及ぼしあう力を計算する。例えば、第１質点を移動させた場合に、第１質点に隣接する第２質点がバネの力で弾性的に移動する。つまり、一つの第１質点を移動するだけで、移動した第１質点の周辺の第２質点がバネの力で弾性的に移動する。本実施の形態では、移動させた１つの点をワーピング補正点と呼称するが、このワーピング補正点を移動することで、ワーピング補正点の近傍の補正点を弾性的に、つまり、自然に移動することができる。

【0115】

ワーピング補正の方法について説明する。

【0116】

図１７は、ワーピング補正の方法を説明する図である。

【0117】

図１７（ａ）及び図１７（ｂ）に示すように、投影映像をワーピング補正する際に、図１７（ａ）で太い実線（制約線）内に例示された任意の隣接する三角形をペアとした四角形群の領域から図１７（ｂ）のように複数の補正点と、補正線とを後述するステップＳ４５で自動形成する。自動形成された補正点と補正点を結ぶ補正線は、弾性的に変形移動するバネの性質を有する。

【0118】

制御装置４０は、ワーピング補正点が移動するとその移動量とワーピング補正点と補正点との距離に応じて、自動形成された各補正点を弾性的に移動せることで、投影映像の歪み補正処理を実行する。

【0119】

図１８は、ワーピング補正点の移動前と移動後とを示す図である。図１８では、四角形内の任意のワーピング補正点を規定（破線で示すワーピング補正の移動前）し、これを移動させると（実線で示すワーピング補正の移動後）、ワーピング補正点の周辺に存在する補正点（前述の交点）も弾性移動するとともに、ワーピング補正点周辺の補正線も弾性変形（さらに弾性移動）する様子を示す。

【0120】

この弾性移動する補正点は、後述するステップＳ４５で自動的に細分化した補正点であるため、ユーザが新たに、補正点を追加する必要は無い。このように、投影映像上の補正点を数多く設定せずとも、より簡易に自然な投影映像の歪み補正処理を実行できる。

【0121】

ここで、ワーピング補正点には、ワーピング補正点の配置位置、ワーピング補正点の移動量、ワーピング補正点の制約線、及び、ワーピング補正点の減衰力が含まれる。

【0122】

ワーピング補正点の配置位置は、図４のステップＳ６で生成した投影映像上の位置（Ｘ，Ｙ）を示し、図１８では制約線で囲まれた四角形内の位置を示す。

【0123】

ワーピング補正点の移動量は、ワーピング補正点を実際に移動させる量であり、図１８のワーピング補正点の移動前から移動後までの量である。

【0124】

制約線は、ワーピング補正を行う際に影響する補正点（前述の交点）を限定するための変数であり、配列で定義される。つまり、制約線は、ワーピング補正を行う際に影響する限界の領域を区切る境界となる。複数の制約線で囲まれた領域内は、ワーピング補正を行う際に映像の歪みが補正される領域であり、複数の制約線で囲まれた領域の外側は、ワーピング補正を行っても映像の歪みが補正されない領域である。このため、複数の制約線で囲まれた領域内に配置される補正点が弾性移動し、補正線が弾性変形する。

【0125】

制約線の配列には、補正線が保持するＩＤが格納される。補正線は、補正線であると同時に制約線として制御装置４０に認識される。複数の制約線で囲まれた領域内の補正点のみがワーピング補正に影響され、制約線上の補正点はワーピング補正に影響されない。

【0126】

ワーピング補正点の減衰力は、ワーピング補正の強さを示し、ワーピング補正点に近い補正点ほど、移動量が大きいことを示す。

【0127】

図１３に示すステップＳ４３の処理において、制御装置４０は、ワーピング補正点が入力部２０に入力されたことを判定すると（Ｓ４３でＹｅｓ）、ワーピング補正に影響する三角形を抽出する（Ｓ４４）。具体的には、制御装置４０は、それぞれの三角形に示される、３つの補正点と３つの補正点を結ぶ補正線に基づいて、三角形の重心を計算する。制御装置４０は、計算した三角形の重心がワーピング補正点の制約線で形成される多角形内に含まれていれば、ワーピング補正に影響する三角形と判定し、この三角形を抽出する。

【0128】

一方、制御装置４０は、ワーピング補正点が入力されていないことを判定すると（Ｓ４３でＮｏ）、ステップＳ４９に進み、テクスチャマッピングを実行する。

【0129】

次に、ステップＳ４４の処理を終了すると、制御装置４０は、抽出したワーピング補正に影響する三角形に対し、ステップＳ４２と同様に細分化する（Ｓ４５）。ただし、ステップＳ４２ですでに細分化された三角形に対しては、さらに細分化を行わなくてもよい。

【0130】

次に、制御装置４０は、細分化された三角形が保持する補正点（頂点）に対してバネを接続する（Ｓ４６）。制御装置４０は、バネの両端における一方端を補正点Ｐ１とし、他方端を補正点Ｐ２とし、補正点Ｐ１、Ｐ２をバネのデータ構造として記憶部５０に格納する。また、制御装置４０は、バネの自然長における、補正点Ｐ１と補正点Ｐ２との距離もバネのデータ構造として記憶部５０に格納する。

【0131】

次に、制御装置４０は、以下の式（１）を用いて、バネに接続された補正点を弾性移動させる（Ｓ４７）。制御装置４０は、弾性移動を補正点ごとに行う。ただし、制約線上の頂点に関して移動は行わない。

【0132】

【数1】

【0133】

なお、本実施の形態で使用する式は、ワーピング補正点に近い位置に配置された補正点である程、ワーピング補正の影響力が強くなるが、本式を用いずに独自の計算式で実装してもよい。

【0134】

次に、制御装置４０は、バネ質点系による弾性移動を実行する（Ｓ４８）。

【0135】

具体的には制御装置４０は、以下の式（２）を用いて、ステップＳ４６でバネに接続された補正点Ｐ１、Ｐ２の位置を更新する。制御装置４０は、これらの位置を更新をバネごとに行う。ただし、制約線上の頂点に関して移動は行わない。

【0136】

制御装置４０は、バネ質点系による弾性移動の処理を複数回繰り返す。これにより、弾性移動のシミュレーション精度が向上する。本実施の形態では、処理時間の関係上、処理を二回にわたって実行しているが、処理を任意の回数にわたって実行してもよい。

【0137】

【数2】

【数3】

（補正点Ｐ１＋補正点Ｐ２）／２は、補正点Ｐ１と補正点Ｐ２とを結ぶ補正線の中心を示す。
ｋ：バネ定数
ｆ：（バネの自然長－バネの現在長）で示されるバネの力
バネの現在長は、補正点Ｐ１から補正点Ｐ２までの距離

【0138】

なお、本実施の形態で使用する式（２）を用いずに独自の計算式で頂点移動を実装してもよい。

【0139】

次に、制御装置４０は、上述の処理で生成された補正点、三角形、及び、図４のステップＳ６で生成した投影映像に基づいて、テクスチャマッピングによる補正処理を実行する（Ｓ４９）。こうして、制御装置４０は、図４のステップＳ７に示すテクスチャマッピングによる補正処理を実行することで、図４のステップＳ８に示す投影映像を補正した補正映像を生成する。

【0140】

これにより、それぞれの映像装置が補正映像をスクリーン１０に投影すると、視聴者は、スイートスポットＳから、歪みの無い又は歪みの抑制された映像を見ることができる。

【0141】

［作用効果］
次に、本実施の形態における映像投影システム１の作用効果について説明する。

【0142】

上述したように、本実施の形態に係る映像投影システム１は、天井面１１と、天井面１１と対向する床面１２と、天井面１１と床面１２との間の正面１３とを有する筒状のスクリーン１０と、映像データ、及び、スクリーン１０の形状を示すスクリーンデータが入力される入力部２０と、スクリーン１０の形状に応じて発生する、映像データに基づく投影映像の歪みを補正する制御装置４０と、天井面１１、床面１２及び正面１３に、投影映像を補正した補正映像を投影する複数の投影装置３０とを備える。そして、投影装置３０は、スクリーン１０に対して水平方向の両側に１台以上ずつ配置される。

【0143】

これによれば、スクリーン１０に対して水平方向の両側、つまり、スクリーン１０の右側と左側とに投影装置３０をそれぞれ設置し、それぞれの投影装置３０がスクリーン１０に映像を投影する。このため、スクリーン１０に映像が投影されている最中に、視聴者が移動したり、座席から立上ったりしても、投影する映像が視聴者によって遮られ難い。これにより、スクリーン１０に影ができ難くなるため、視聴者に違和感を与えてしまうといったことが生じ難くなる。

【0144】

また、この映像投影システム１では、筒状のスクリーン１０の全面に映像を投影するため、視聴者の視野角の全てにスクリーン１０が映る。このため、従来の映像投影システム１のように床面１２に映像が投影されていない場合よりも、本実施の形態における映像投影システム１の方が、視聴者に臨場感を与え易くなり、没入感を与え易くなる。

【0145】

また、この映像投影システム１では、スクリーン１０の形状を筒状にすることで、スクリーン１０の形状を半球状に形成する場合に比べて、スクリーン１０の大型化が抑制されている。

【0146】

したがって、この映像投影システム１では、スクリーン１０に影が映り込み難く、かつ、スクリーン全域に投影しながらもスクリーン１０の大型化を抑制することができる。

【0147】

また、本実施の形態に係る映像投影システム１において、天井面１１と正面１３との接合部１４と、床面１２と正面１３との接合部１４とは、湾曲している。

【0148】

例えば、それぞれの接合部１４が湾曲していなければ、スイートスポットＳから少しズレた位置でスクリーン１０に投影された映像を見た場合、それぞれの接合部１４に投影された映像の部分が不自然に屈曲して見える。

【0149】

しかし、本実施の形態では、スイートスポットＳから少しズレた位置でスクリーン１０に投影された映像を見た場合、それぞれの接合部１４が投影された映像が滑らかに曲がって見える。このため、スイートスポットＳから少しズレた位置でスクリーン１０を見てもスクリーン１０に投影された映像に違和感を覚え難い。その結果、映像投影システム１では、視聴者に対して、より広範囲で没入感を与える映像を視聴させることができる。

【0150】

また、本実施の形態に係る映像投影システム１において、それぞれの投影装置３０がスクリーン１０に投影する補正映像は、長方形である。また、それぞれの投影装置３０は、補正映像の長辺と水平方向とが平行となるように補正映像が示す物体を正立させてスクリーン１０に投影し、又は、補正映像の短辺と鉛直方向とが平行となるように補正映像が示す物体を正立させてスクリーン１０に投影する。

【0151】

これによれば、スクリーン１０の大きさと、補正映像のアスペクト比との関係から、スクリーン１０に投影した補正映像で覆うことができなくても、映像の向きを変える（投影装置３０自体を９０°回転させる）ことで、スクリーン１０の全てを映像で覆うことができる。このため、映像投影システム１では、視聴者に対して、没入感を損ね難い。

【0152】

また、本実施の形態に係る映像投影システム１において、映像データは、全方位撮像装置で撮像されたデータである。

【0153】

また、本実施の形態に係る映像投影システム１において、映像データは、三次元形状データである。

【0154】

これらによれば、映像データを三次元形状データに加工しやすい。

【0155】

また、本実施の形態に係る映像投影システム１において、スクリーン１０に投影された補正映像をスイートスポットＳから見た場合、補正映像に示される物体は、実寸大に表示される。

【0156】

これによれば、特定の位置（スイートスポットＳ）から見れば、実寸大で映像を見ることができるため、視聴者は、臨場感を覚え易くなり、没入感を覚え易くなる。

【0157】

また、本実施の形態に係る映像投影システム１において、スクリーンデータは、さらに、投影装置３０における仕様、及び、スクリーン１０に対する投影装置３０の配置位置を含む。制御装置４０は、スクリーンデータに基づいて、それぞれの投影装置３０が投影映像をスクリーン１０に投影するための投影領域を算出し、映像データを三次元形状データに変換した周囲環境映像を生成し、それぞれの投影装置３０ごとに、投影領域に対応する周囲環境映像に基づいて投影映像を生成し、かつ、スクリーン１０の形状に応じて発生する投影映像の歪みを補正した補正映像を生成する。

【0158】

これによれば、投影領域をより精度よく算出することができる。このため、スクリーンにズレを生じさせないように、映像を投影することができる。

【0159】

また、制御装置４０は、スクリーンの形状に応じて投影映像が変形して表示されないように、スクリーンの形状に応じた、映像データに基づく投影映像の歪みを補正することができる。このため、スクリーンには、歪みが補正された補正映像を投影することができる。その結果、視聴者は、スイートスポットＳから、歪みの無い又は歪みの抑制された映像を見ることができる。したがって、視聴者は、臨場感を覚え易くなり、没入感を覚え易くなる。

【0160】

また、本実施の形態に係る映像投影システム１において、制御装置４０は、複数の投影装置３０の台数に応じて、一回ずつ周囲環境映像を生成する。

【0161】

例えば、図１０のように、周囲環境映像をキューブ状に模擬した場合は、正面、上面、下面、左面、及び、右面の計５面の映像を個別にレンダリングするため、制御装置の処理負荷が高くなってしまう。このため、スクリーン１０ａに表示される映像が滑らかな動きを再現できず、映像の動きが途切れ途切れになることがある。

【0162】

しかしながら、本実施の形態では、制御装置４０は、図９のように周囲環境映像を屏風状に模擬し、さらにスクリーン形状とスイートスポットから最適な視野角でレンダリングすることで、レンダリング回数が左と右との二回となるため、従来のように、５面をレンダリングする場合に比べて、周囲環境映像の生成が高速化される。

【0163】

また、本実施の形態に係る映像投影システム１において、入力部２０には、さらに、スクリーン１０の形状に応じて変形する投影映像の歪みを補正するための歪み補正データが入力される。そして、制御装置４０は、さらに、歪み補正データに応じて投影映像の歪みを補正する。

【0164】

これによれば、歪み補正データに基づいて、スクリーン１０の形状に応じた投影映像の歪み補正処理を実行することができる。このため、スクリーン１０に投影された補正映像は、例えばスクリーン１０の接合部１４でスクリーン１０の施工図面と実際の施工とで乖離が発生した場合にも、滑らかに見えるため、不自然に湾曲して見え難くなる。このため、視聴者は、臨場感を覚え易くなり、没入感を覚え易くなる。

【0165】

また、本実施の形態に係る映像投影システム１において、歪み補正データは、複数の補正点と、複数の補正点のうちの少なくとも二つの補正点を結ぶ１以上の補正線とで構成される。そして、制御装置４０は、複数の補正点のうちの少なくとも１つの補正点が移動すると、補正点の移動量に応じて投影映像の歪み補正処理を実行する。

【0166】

これによれば、複数の補正点と、三角形状又は四角形状に細分化できるようにそれぞれの補正点を結んだ複数の補正線とを投影映像に配置（プロット）することで、複数の補正点のうちの補正点を移動させると、補正点に引っ張られるように、補正点の周辺の領域に対応する投影映像が移動する。このため、映像投影システム１では、投影した映像が不自然に歪んで見えることが抑制され、映像が滑らかに見える。

【0167】

また、本実施の形態に係る映像投影システム１において、歪み補正データは、複数の補正点と複数の補正線とによって形成された三角形又は四角形が配列された集合体である。

【0168】

これによれば、歪み補正データを用いて投影映像を補正することで、投影映像を細分化することができる。このため、映像投影システム１では、投影した映像が不自然に歪んで見えることが抑制され、映像が滑らかに見える。

【0169】

また、本実施の形態に係る映像投影システム１において、制御装置４０は、ワーピング補正点が移動されると、ワーピング補正点に接続される補正線と当該補正線に接続される他の補正点とを少なくとも移動させることで、投影映像の歪み補正処理を実行する。

【0170】

これによれば、複数の点と、三角形状又は四角形状になるようにそれぞれの補正点を結んだ複数の補正線とを映像データの映像に配置（プロット）することで、複数の補正点のうちのワーピング補正点を移動させると、ワーピング補正点に接続される補正線及びこの補正線に接続される他の補正点がワーピング補正点に引っ張られるように移動する。この際、ワーピング補正点、ワーピング補正点に接続される補正線及び他の補正点に対応する投影映像、つまり、ワーピング補正点とその周辺の領域に対応する投影映像が移動する。このため、この映像投影システム１では、移動させる全ての点を選択しなくても映像を滑らかに補正することができる。その結果、映像投影システム１では、投影された映像が不自然に歪んで見えることが抑制されるとともに、歪み補正を簡易にすることができるため使い勝手がよい。

【0171】

（その他の変形例）
以上、本開示に係る映像投影システムについて、上記各実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したものも、本開示の範囲内に含まれてもよい。

【0172】

例えば、上記実施の形態に係る映像投影システムにおいて、歪み補正データは後述する投影映像に関しスクリーンへの実投影時に歪みが発生した際に用いるが、歪みを許容する場合には必ずしも入力する必要はない。

【0173】

また、上記実施の形態に係る映像投影システムにおいて、スクリーンの正面と対向して視た場合、投影装置の一部は、スクリーンの正面と重なる位置に配置されていてもよく、スクリーンの正面と重ならない位置に配置されていてもよい。この場合、投影装置は、天井面の延長面と床面の延長面との間に配置される。

【0174】

また、上記実施の形態に係る映像投影システムに含まれる各処理部は典型的に集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

【0175】

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

【0176】

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記憶媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0177】

また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示の実施の形態は例示された数字に制限されない。

【0178】

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

【0179】

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

【0180】

なお、上記の各実施の形態に対して当業者が思い付く各種変形を施して得られる形態や、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。

【符号の説明】

【0181】

１ 映像投影システム
１０ スクリーン
１１ 天井面
１２ 床面
１３ 正面
１４ 接合部
２０ 入力部
３０ 投影装置
４０ 制御装置
Ｓ スイートスポット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】