ホーム > 特許ランキング > 日本電信電話株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-01
(45)【発行日】2024-10-09
(54)【発明の名称】映像処理装置、映像処理方法、および映像処理プログラム
(51)【国際特許分類】
G06T 13/20 20110101AFI20241002BHJP
H04N 13/363 20180101ALI20241002BHJP
H04N 13/346 20180101ALI20241002BHJP
H04N 13/361 20180101ALI20241002BHJP
H04N 13/122 20180101ALI20241002BHJP
【ＦＩ】
G06T13/20
H04N13/363
H04N13/346
H04N13/361
H04N13/122
【請求項の数】
7
(21)【出願番号】P 2023503325
(86)(22)【出願日】2021-03-05
(86)【国際出願番号】 JP2021008736
(87)【国際公開番号】W WO2022185536
(87)【国際公開日】2022-09-09
【審査請求日】2023-08-09
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100129230
【弁理士】
【氏名又は名称】工藤 理恵
(72)【発明者】
【氏名】井阪 建
【審査官】益戸 宏
(56)【参考文献】
【文献】国際公開第２００８／１２６２８３（ＷＯ，Ａ１）
【文献】特開２００５－２３４２４０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １１／００－１９／００
Ｈ０４Ｎ １３／００
Ｈ０４Ｎ ５／６６
Ｈ０４Ｎ ９／１２
Ｇ０２Ｂ ２７／０１
Ｇ０９Ｇ ５／００
(57)【特許請求の範囲】
【請求項1】
平面表示装置の表示面の上の視対象に揺れを表現する映像処理装置であって、前記視対象に濃淡変化のある第１テクスチャを設定するとともに、前記視対象が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第２テクスチャを設定する設定部と、
前記視対象を取り囲む前記背景映像を、前記平面表示装置に出力する出力部と、
前記背景映像を移動させる制御部と、
を備え、
前記視対象が前記背景映像の凹凸面を移動する際に、前記視対象の近傍に発生するコントラスト変化によって、前記視対象の揺れを表現する
映像処理装置。
【請求項2】
前記視対象は、空中像である請求項１に記載の映像処理装置。
【請求項3】
前記設定部は、前記視対象の揺れを表現する揺動部分に第１テクスチャを設定し、前記視対象が前記背景映像の凹凸面を移動する際に、前記揺動部分の近傍に発生するコントラスト変化によって、前記揺動部分の揺れを表現する
請求項１または２に記載の映像処理装置。
【請求項4】
前記床面は、床、地面および水面の少なくとも１つを含む請求項１から３のいずれか１項に記載の映像処理装置。
【請求項5】
前記設定部は、前記凹凸面の明るさと空間周波数とを用いて、前記視対象の揺れる量と、揺れる頻度とを調整する請求項１に記載の映像処理装置。
【請求項6】
平面表示装置の表示面の上の視対象に揺れを表現する映像処理装置が行う映像処理方法であって、前記視対象に濃淡変化のある第１テクスチャを設定するとともに、前記視対象が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第２テクスチャを設定するステップと、
前記視対象を取り囲む前記背景映像を、前記平面表示装置に出力するステップと、
前記視対象を移動させたい方向の反対方向に前記背景映像を移動させるステップと、
を有し、
前記視対象が前記背景映像の凹凸面を移動する際に、前記視対象の近傍に発生するコントラスト変化によって、前記視対象の揺れを表現する
映像処理方法。
【請求項7】
請求項１から５のいずれか１項に記載の映像処理装置としてコンピュータを機能させる映像処理プログラム。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像処理装置、映像処理方法、および映像処理プログラムに関する。
【背景技術】
【0002】
特許文献１および非特許文献１に開示されているように、表示装置の映像をハーフミラーまたは透明板などの光学素子を用いて屈折または反射させて空中像として表示する技術が知られている。空中像は、２Ｄ画像でありながら物理的装置から離れた空間中の虚像面に表示されるため、モニタに表示する２Ｄ画像と比べると、空中像が平面であると観察者に知覚させる手がかりが少ないという特徴をもつ。この特徴を利用すると、実空間のある位置に視対象が存在するという空間定位の知覚を簡便に提供できる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１７－４９３５４号公報
【非特許文献】
【0004】
【文献】Hajime Katsumoto, Hajime Kajita, Naoya Koizumi, and Takeshi Naemura. 2016. HoVerTable PONG: Playing Face-to-face Game on Horizontal Tabletop with Moving Vertical Mid-air Image. In Proceedings of the 13th International Conference on Advances in Computer Entertainment Technology (ACE ’16). Association for Computing Machinery, New York, NY, USA, Article 50, 1-6. DOI: https://doi.org/10.1145/3001773.3001820
【発明の概要】
【発明が解決しようとする課題】
【0005】
床面から物理的に離れた視対象（空中像）で床面上の移動を表現する場合、視点によって視対象とそれが接地しているように見える床面領域が変化する。特許文献１では、視対象の奥行方向への移動を表現するために、遠近法によって虚像面内での視対象の高さを上げ、床面から離している。
【0006】
このような状況において、床面が凹凸面と平面との両方を含んで構成され、視点によっては視対象が接地して見える床面領域が変化する場合、凹凸面上の視対象に合わせて付与した揺れ表現が、平面上の視対象に対しては不自然な表現となってしまう。
【0007】
本発明は、前記の状況に鑑みてなされたものであって、本発明は、凹凸面上では視対象に揺れを表現し、平面上では視対象に揺れを表現しないことを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するため、本発明の一態様は、平面表示装置の表示面の上の視対象に揺れを表現する映像処理装置であって、前記視対象に濃淡変化のある第１テクスチャを設定するとともに、前記視対象が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第２テクスチャを設定する設定部と、前記視対象を取り囲む前記背景映像を、前記平面表示装置に出力する出力部と、前記背景映像を移動させる制御部と、を備え、前記視対象が前記背景映像の凹凸面を移動する際に、前記視対象の近傍に発生するコントラスト変化によって、前記視対象の揺れを表現する。
【0009】
本発明の一態様は、平面表示装置の表示面の上の視対象に揺れを表現する映像処理装置が行う映像処理方法であって、前記視対象に濃淡変化のある第１テクスチャを設定するとともに、前記視対象が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第２テクスチャを設定するステップと、前記視対象を取り囲む前記背景映像を、前記平面表示装置に出力するステップと、前記視対象を移動させたい方向の反対方向に前記背景映像を移動させるステップと、を有し、前記視対象が前記背景映像の凹凸面を移動する際に、前記視対象の近傍に発生するコントラスト変化によって、前記視対象の揺れを表現する。
【0010】
本発明の一態様は、上記映像処理装置としてコンピュータを機能させる映像処理プログラムである。
【発明の効果】
【0011】
本発明によれば、凹凸面上では視対象に揺れを表現し、平面上では視対象に揺れを表現しないことができる。
【図面の簡単な説明】
【0012】
【図12】ハードウェア構成例である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について、図面を参照して説明する。
【0014】
まず、図１および図２を用いて本実施形態の空中像の表示概要について説明する。本実施形態では、観察者が観察する視対象として空中像を用いるが、これに限定されない。図１は、視点を変更することにより、空中像と背景画像との位置関係の変化を説明する説明図である。本実施形態ではハーフミラーなどの光学素子２４を用いての空中像を表示する。空中像出力装置２３から出力される空中像Ａは、光学素子２４により虚像面３０に表示される。図１では、虚像面３０に表示される空中像（視対象）Ａを空中像Ａ１とし、観察者が知覚する空中像Ａを、空中像Ａ２と記載する。
【0015】
観察者が空中像Ａ２を観察する際に、観察者は、観察者の視点と虚像面３０の空中像Ａ１のタイヤとを結ぶ直線Ｌと、床面Ｍとの交点Ｎに、車のタイヤが接地していると知覚する。このとき、虚像面３０における車のタイヤの表示領域が物理的に床面Ｍと接地していれば、観察者の視点が変化しても車のタイヤが接地している床面領域は変化しない。しかし、虚像面３０における車のタイヤの表示領域が、図１に示すように床面Ｍから離れた上にある場合（物理的に接地していない場合）、視点が変わると車のタイヤに接地して見える床面領域は、ずれてしまう。
【0016】
具体的には、虚像面３０に対して正面から見た観察者には、タイヤに接地して見える床面領域１０１は、床面Ｍの中央部にあるように見える。一方、観察者が虚像面３０に対して右から見た場合、正面から見た場合の床面領域１０１に比べて、タイヤに接地して見える床面領域１０２が左にずれて見える。すなわち、ハーフミラー式の空中像表示では、空中像Ａ１が虚像面３０上で床面Ｍに接地させるように表示している場合を除き、視点を変更すると空中像Ａ２に接地しているように見える床面領域１０１、１０２が変化する。
【0017】
図２Ａおよび図２Ｂは、凹凸のある凹凸面と平坦な平面とを含む床面Ｍの空中像の表現を説明するための図である。図２Ａは、虚像面３０に対して正面の視点から見た場合であって、観察者には、タイヤが接地して見える床面領域は、凹凸面にあるように見える。図２Ｂは、虚像面３０に対して右側の視点から見た場合であって、観察者には、タイヤが接地して見える床面領域は、平面にあるように見える。
【0018】
この場合、図２Ａの正面の視点に合わせて車のタイヤが凹凸面から受ける凹凸感を表現しようとして素朴に、車のタイヤに揺れ表現をしてしまうと、図２Ｂの右側の視点では平面上にタイヤがあるように見えており、平面なのに車のタイヤが揺れるという不自然な表現になってしまう。
【0019】
すなわち、床面Ｍの一部が凹凸面をもつような場合、正面の視点に整合するようにタイヤを揺らすような凹凸表現を空中像に単純に付与すると、右から見ると平面上にタイヤがあるにもかかわらず揺れて見えるという不整合な表現となってしまう。
【0020】
本実施形態では、空中像が床面を移動する際に、床面から受ける凹凸感を各視点で整合するように表現する。具体的には、空中像を物理的に揺らすことなく、床面が凹凸面を模したテクスチャパターン上でのみ物体の揺れを知覚する錯視を利用することで、空中像とその背景（床面）における、複数視点間でのずれによって生じる表現の不整合の問題を解決する。具体的には、図２Ａでは凹凸感を示すためにタイヤを揺らしながら移動する表現とし、図２Ｂではタイヤを揺らさないで移動する表現とする。
【0021】
図３は、本実施形態の表示システム１の構成を示す構成図である。図示する表示システム１は、映像処理装置１０、背景映像出力装置２１、スクリーン２２（平面表示装置）、空中像出力装置２３、および光学素子２４を備える。
【0022】
表示システム１は、空中像出力装置２３と光学素子２４によって虚像面３０に空中像（視対象）を表示するとともに、表示された空中像がスクリーン２２に投影した背景映像内を移動しているように知覚させる。具体的には、表示システム１は、例えば暗室条件下において、観察者１００から見て奥行き方向または手前方向に視対象が移動しているように知覚させる。暗室条件とは、表示システム１および観察者を取り囲む周辺光量が少ない環境であり、周囲の装置が見えないことが望ましい。
【0023】
スクリーン２２は、地面に対して平行に配置される。背景映像出力装置２１は、背景映像をスクリーン２２に投影する。背景映像出力装置２１は、いずれの方向から映像を投影してもよい。
【0024】
光学素子２４（例えばハーフミラー）を約４５度傾斜させて配置し、空中像出力装置２３を光学素子２４の上方または下方に配置する。空中像出力装置２３が出力した映像は、光学素子２４により観察者１００の方向へ反射し、虚像面３０において視対象である空中像を形成する。
【0025】
虚像面３０がスクリーン２２の法線方向と平行となるようにスクリーン２２と光学素子２４を配置する。空中像出力装置２３から光学素子２４までの距離ｄ１を変えることで、光学素子２４から虚像面３０までの距離ｄ２を調節することができる。距離ｄ１が短くなれば距離ｄ２が短くなる。本実施形態では、虚像面３０がスクリーン２２の中央付近となるように空中像出力装置２３を配置した。虚像面３０の位置はスクリーン２２の中央に限らず、任意の位置に設定してよい。空中像出力装置２３および光学素子２４の位置は固定されてよい。
【0026】
空中像出力装置２３および光学素子２４は、スクリーン２２の上方に空中像を表示できればよく、上記の構成に限定するものではない。空中像は、必ずしも空中に浮かんでいるように表示する必要はなく、スクリーン２２の表示面（床面）に接地しているように表示してもよい。もしくは、スクリーン２２を上方に配置し、スクリーン２２に表示した背景映像に空中像がぶら下がっているように表示してもよい。本実施形態では、空中像は背景映像の床面に接するように表示する。
【0027】
なお、空中像出力装置２３および光学素子２４で空中像を表示する代わりに、スクリーン２２上に透明スクリーンを配置し、透明スクリーンに投影した映像を視対象としてもよい。あるいは、スクリーン２２上に実物体を配置し、その実体物を視対象としてもよい。透明スクリーンおよび実物体の位置は固定されてよい。
【0028】
映像処理装置１０は、空中像に誘導運動を生じさせる背景映像を背景映像出力装置２１に供給する。具体的には、映像処理装置１０は、空中像の移動方向の逆方向に背景映像を移動させて、空中像に誘導運動を生じさせる。誘導運動は、静止物体に運動知覚を与える錯覚現象である。誘導運動を生じさせる背景映像とは、観察者１００の視点から見たときに空中像を取り囲む映像である。本実施形態では、空中像の移動範囲を表す床面を背景映像として、床面上を空中像が移動しているように知覚させる。誘導運動については後述する。
【0029】
映像処理装置１０は、錯視によって、背景に応じて空中像に対する凹凸感の有無を切り替える。人間の視覚系は、コントラストが変化すると物理的な明るさは同一でも明るさの変化を知覚する視覚特性がある。この人間の視覚特性を利用し、本実施形態では、空中像のテクスチャ（第１テクスチャ）に濃淡変化を付与する。映像処理装置１０は、空中像が濃淡変化があるテクスチャ（第２テクスチャ）が付与された背景上を移動して見える場合にのみ、空中像近傍において空中像と背景画像間のコントラスト変化による疑似的なエッジ変化を知覚させることで、凹凸感を表現する。
【0030】
図４は、凹凸面と平面とを含む床面上を、車が移動する例を示す。ここでは、床面が平面（濃淡変化のないテクスチャ）と凹凸面（濃淡変化があるテクスチャ）で構成されている。また、空中像の車において揺れを表現したい揺動部分（ここでは、車のタイヤ）に濃淡変化のあるテクスチャが設定されている。図示する例では、タイヤの上部が淡色でタイヤの下部が濃色となっている。
【0031】
このとき、映像処理装置１０は、車が背景映像の床面の平面から凹凸面に向かって移動して見える誘導運動を生じさせる。空中像のうちの濃淡変化をつけたタイヤ（揺動部分）が凹凸面の床面を移動すると、タイヤとその背後にある床面のコントラストが時々刻々と変化する。このとき、タイヤの近傍でコントラスト変化による疑似的なエッジが観察者に知覚される。この視覚特性を利用することで、タイヤを物理的に揺らすことなく、観察者にタイヤの揺れを感じさせる。観察者は、凹凸面ではタイヤがゆらゆらと揺れているように見えるが、平面ではタイヤの揺れは見えない。
【0032】
画像４０１は、平面上を車が移動している場合の画像である。タイヤ近傍のコントラスト強調画像４１１に表示される疑似的なエッジ（細い黒線）４２１は、平面上を移動している限り変化しない。疑似的なエッジは、コントラスト変化により生じる。
【0033】
一方、画像４０２および画像４０３は、凹凸面を車が移動している場合の画像である。画像４１２は、画像４０２タイヤ近傍のコントラスト強調画像である。画像４１３は、画像４０３タイヤ近傍のコントラスト強調画像である。ある時点のコントラスト強調画像４１２の疑似的なエッジ４２２と、その後のコントラスト強調画像４１３の疑似的なエッジ４２３とは異なる。すなわち、凹凸面では、疑似的なエッジは移動に伴い時事刻々と変化する。このように、凹凸面を車が移動する場合、濃淡変化の有るテクスチャが付与された空中像のタイヤ近傍では、タイヤと床面とのコントラストが時々刻々と変化し、このコントラスト変化による疑似的なエッジ４２２、４２３の変化を観察者はタイヤの揺れと知覚する。
【0034】
床面は、建物などの床だけでなく、地面であっても、水面（例えば、海面、湖面、川面等）であっても、これらの組み合わせでもよい。すなわち、本実施形態の床面は、床、地面、水面の少なくとも１つを含んでもよい。また、空中像および床面（背景映像）は、白黒のモノトーンであっても、カラーであってもよい。
【0035】
図５および図６は、カラーの空中像および床面の例を示す。図面上では、空中像および床面は、白黒のモノトーンで表現されている。なお、図５および図６の空中像および床面は、白黒のモノトーンであって、白黒のモノトーンの濃淡変化があるテクスチャが設定されていてもよい。
【0036】
図５は、凹凸面と平面とを含む地面上を、車５０１（空中像）が移動する例を示す。図５の地面の凹凸面および車のタイヤは、カラーの濃淡変化があるテクスチャが設定されている。図５においても、図４と同様に、凹凸面ではタイヤがゆらゆらと揺れているように見えるが、平面ではタイヤの揺れは見えない。
【0037】
図６は、波がある領域と波がない領域とを含む海面上を、ヨット６０１（空中像）が移動する例を示す。図６の波のある領域およびヨット６０１は、カラーの濃淡変化があるテクスチャが設定されている。図示するヨット６０１には、ヨット６０１全体に濃淡変化があるテクスチャを付与され、映像処理装置１０は、波のある領域ではヨット６０１全体が揺れているように表現する。波のない領域では、ヨット６０１は揺れていないように見える。
【0038】
図７は、映像処理装置１０の構成を示す構成図である。映像処理装置１０は、スクリーン２２の表示面の上の空中像（視対象）に揺れを表現する。図示する映像処理装置１０は、実空間設定部１１と、仮想空間設定部１２と、制御部１３と、出力部１４とを備える。
【0039】
実空間設定部１１は、実空間に、空中像出力装置２３と光学素子２４とを、虚像面３０に直立の空中像（空中像オブジェクト）が生成されるように設置する。また、虚像面３０の法線方向に広がる画像表示可能なスクリーン２２を設置する。
【0040】
仮想空間設定部１２（設定部）は、空中像に濃淡変化のある第１テクスチャを設定するとともに、空中像が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第２テクスチャを設定する。すなわち、仮想空間設定部１２は、観察者に錯視を生じさせるために、揺らして見せたい空中像に濃淡変化がある第１テクスチャを付与し、床面に凹凸面を模した濃淡変化をもつ第２テクスチャを部分的に付与する。これにより、空中像が背景映像の凹凸面を移動する際に、空中像の近傍に発生するコントラスト変化によって、空中像の揺れを表現する。
【0041】
なお、仮想空間設定部１２は、空中像全体に濃淡変化のある第１テクスチャを設定し、空中像が背景映像の凹凸面を移動する際に、空中像全体の近傍に発生するコントラスト変化によって、空中像全体の揺れを表現してもよい。あるいは、仮想空間設定部１２は、空中像の揺れを表現する揺動部分に第１テクスチャを設定し、空中像が背景映像の凹凸面を移動する際に、揺動部分の近傍に発生するコントラスト変化によって、空中像の揺動部分の揺れを表現してもよい。
【0042】
また、仮想空間設定部１２は、床面の凹凸面の明るさと空間周波数とで、揺れる量（揺れる細かさ）と揺れる頻度とをそれぞれ調節してもよい。
【0043】
仮想空間設定部１２は、仮想空間内で空中像と床面とを、虚像面内の空中像と実際の床面との位置関係が等しくなるよう配置する。仮想空間内での空中像と、空中像用の仮想カメラレンズとの間の位置関係は、虚像面に表示された空中像と正面の観察者の視点間の位置関係と等しくしておく。
【0044】
例えば、仮想空間設定部１２は、実空間での空中像とスクリーン２２の位置関係に基づき、仮想空間内に空中像を表す空中像オブジェクトと、背景映像となる床面オブジェクトとを初期位置に配置する。例えば、仮想空間設定部１２は、空中像オブジェクトが床面オブジェクトの中心付近に立っているように、床面オブジェクトを配置する。床面オブジェクトは空中像オブジェクトの移動範囲を示す平面図形である。
【0045】
仮想空間設定部１２は、仮想空間内に、スクリーン２２に投影する映像を撮影するための背景用の仮想カメラを配置する。背景用の仮想カメラは、床面オブジェクトを含む領域を撮影する。背景用の仮想カメラの撮影した映像がスクリーン２２に投影される。仮想カメラの位置を固定したまま仮想空間内で床面オブジェクトを移動させると、スクリーン２２に投影された背景映像が移動する。
【0046】
仮想空間設定部１２は、空中像オブジェクトを撮影する空中像用の仮想カメラを配置してもよい。空中像用の仮想カメラは、横方向から空中像オブジェクトを撮影する。空中像出力装置２３は、空中像用の仮想カメラの撮影した映像を光学素子２４に投影し、空中像を虚像面に表示する。空中像用の仮想カメラは透視投影法による撮影方法に設定してもよい。空中像用の仮想カメラと背景用の仮想カメラの撮影結果とを、虚像面の画像と実際の床面の画像にそれぞれリアルタイムに反映させる。
【0047】
制御部１３は、背景映像を移動させて、仮想空間内で空中像を移動させる。本実施形態では、制御部１３は、空中像を移動させたい方向の反対方向に床面（背景映像）を移動させ、これにより空中像に誘導運動を生じさせる。
【0048】
具体的には、制御部１３は、空中像オブジェクトの移動量に基づき、床面オブジェクトを移動する。例えば、空中像を手前方向に距離ｖ移動させたい場合、制御部１３は、床面オブジェクトを奥行き方向に距離ｖ移動させる。つまり、制御部１３は、床面オブジェクトのみを移動させて、空中像オブジェクト、空中像用の仮想カメラ、および背景用の仮想カメラを移動させない。あるいは、制御部１３は、床面オブジェクトを移動させずに、空中像オブジェクト、空中像用の仮想カメラ、および背景用の仮想カメラを同じ方向に同じ移動量で移動させてもよい。いずれの場合も、床面オブジェクトを移動させると、背景用の仮想カメラで撮影した映像内での床面オブジェクトの写る位置が移動する。
【0049】
図８Ａに、虚像面３０に表示される空中像５１とスクリーン２２に投影された背景映像５２の表示例を示す。図８Ａは、図４のスクリーン２２を上方から見た図である。観察者は、図上で下方向にいるものとする。空中像５１は虚像面３０に投影されるが、図８Ａでは空中像５１が表示される位置を円で表現している。背景映像５２は、空中像５１を取り囲む床面または地面などの映像である。背景映像５２の形、模様、色は任意に設定できる。背景映像５２の外側には何も表示せずに真っ暗な状態とする。
【0050】
図８Ｂは、図８Ａの状態から背景映像５２を図上で上方向、つまり観察者から見て奥側に移動させたときの表示例である。空中像５１の表示位置は移動させていない。空中像５１は、背景映像５２を基準にすると下方向に移動している。表示システム１が設置された環境が明るく、スクリーン２２の枠や周辺の装置など、実空間内での背景映像５２の位置がわかる物体が見える場合、観察者は、背景映像５２が移動していることを知覚してしまう。
【0051】
暗室条件下では、図９Ａおよび図９Ｂに示すように、観察者は、空中像５１と背景映像５２のみを注視することになる。背景映像５２を移動させたとき、観察者は、図９Ｂに示すように、実際は背景映像５２が移動しているのだが、空中像５１が移動しているように知覚する。すなわち、暗室条件下において、空中像５１を取り囲む背景映像５２を移動させることにより、背景映像５２内の任意の位置に空中像５１が移動したように空間定位させることが可能になる。
【0052】
空中像が虚像面内を自由に移動できる場合、制御部１３は、虚像面の法線方向のみに背景映像５２を移動させてもよい。例えば、図８Ａに示す例において、空中像５１が虚像面に沿って左右方向に移動するときは背景映像５２を移動させない。視対象５１が図８Ａの上下方向に移動するときに、空中像５１の上下方向の移動量に合わせて背景映像５２を移動させる。
【0053】
また、制御部１３は、透視投影法によって、奥行方向への移動量に応じて、空中像の大きさと高さを変化させてもよい。
【0054】
出力部１４は、空中像を取り囲む背景映像をスクリーン２２に出力する。具体的には、出力部１４は、空中像用の仮想カメラで撮影した空中像オブジェクトを含む映像を、空中像出力装置２３へ出力する。また、出力部１４は、背景用の仮想カメラで撮影した床面オブジェクトを含む映像を背景映像出力装置２１へ出力する。
【0055】
図１０のフローチャートを参照し、映像処理装置１０の動作について説明する。
【0056】
ステップＳ１１にて、実空間設定部１１は、実空間に、空中像出力装置２３と光学素子２４とを、虚像面３０に直立の空中像（空中像オブジェクト）が生成されるように設置する。また、虚像面３０の法線方向に広がる画像表示可能なスクリーン２２を設置する。
【0057】
ステップＳ１２にて、仮想空間設定部１２は、実空間での空中像とスクリーン２２の位置関係に基づき、仮想空間内に床面オブジェクトを初期位置に配置するとともに、床面オブジェクトを撮影する仮想カメラを配置する。仮想空間設定部１２は、仮想空間内に空中像および空中像用の仮想カメラを配置する。仮想空間設定部１２は、空中像に濃淡変化のある第１テクスチャを設定するとともに、空中像が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第２テクスチャを設定する。
【0058】
ステップＳ１３で、制御部１３は、視対象の１フレーム分の移動量に基づき、床面の１フレーム分の移動量を計算し、計算した移動量に応じて床面オブジェクトを移動する。
【0059】
ステップＳ１４にて、出力部１４は、仮想カメラで床面オブジェクトを含む平面を撮影した背景映像を背景映像出力装置２１へ出力する。出力部１４は、空中像用の仮想カメラで空中像を撮影した映像を空中像出力装置２３へ出力する。
【0060】
１フレームごとに、ステップＳ１３およびＳ１４の処理が実施される。
【0061】
図１１は、本実施形態の表示システムを、観察者の見る視点によって、表示内容が変化するデジタルサイネージに適用した適用例を示す図である。図示する例では、前景となる空中像（視対象）は芋虫であり、芋虫の下部（揺動部分）には、濃淡変化のあるテクスチャが付与されている。
【0062】
この場合、観察者１００Ａは、濃淡変化のないテクスチャ（平面）が背景として表示されたスクリーン７０２を見ている。観察者１００Ａには、前景である空中像は止まっているように見える。一方、観察者１００Ｂは、濃淡変化のあるテクスチャ（凹凸面）が背景として表示されたスクリーン７０１を見ている。観察者１００Ｂには、前景である空中像は、揺れながら動いているように見える。
【0063】
以上説明した本実施形態の映像処理装置１０は、スクリーン２２の表示面の上の空中像（視対象）に揺れを表現する装置であって、空中像に濃淡変化のある第１テクスチャを設定するとともに、空中像が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第２テクスチャを設定する仮想空間設定部１２と、空中像を取り囲む背景映像を、スクリーン２２に出力する出力部１４と、背景映像を移動させる制御部１３と、を備え、空中像が背景映像の凹凸面を移動する際に、空中像の近傍に発生するコントラスト変化によって、空中像の揺れを表現する。
【0064】
このように、本実施形態では、空中像の近傍において空中像と背景とのコントラスト変化による疑似的なエッジ変化を観察者に知覚させることで、床面の凹凸感を表現する。これにより、本実施形態では、空中像を物理的に揺らすことなく、背景に濃淡変化のあるテクスチャをもつ画像がある場合のみ揺れているように感じさせることで、濃淡変化のあるテクスチャ上（凹凸面）での空中像を揺らしながら移動する表現と、濃淡変化のないテクスチャ上（平面）での空中像を揺らさないで移動する表現とを同時に実現することができる。すなわち、ある視点から見た視対象が背景の床面から受ける凹凸感を、複数の視点で観察した場合であっても違和感なく表現することができる。
【0065】
また、本実施形態では、空中像を物理的に揺らすことなく、コントラスト変化による疑似的なエッジ変化を観察者に知覚させることで揺れているように感じさせる。そのため、本実施形態では、ＣＧ表現においてポリゴンモデルの頂点を移動させて揺れを表現する必要がなく、省コストで容易に揺れを表現することができる。
【0066】
上記説明した映像処理装置１０は、例えば、図１２に示すような汎用的なコンピュータシステムを用いることができる。図示するコンピュータシステムは、CPU（Central Processing Unit：プロセッサ）９０１と、メモリ９０２と、ストレージ９０３と、通信装置９０４と、入力装置９０５と、出力装置９０６とを備える。メモリ９０２およびストレージ９０３は、記憶装置である。このコンピュータシステムにおいて、CPU９０１がメモリ９０２上にロードされた映像処理装置１０のプログラムを実行することにより、映像処理装置１０の各機能が実現される。
【0067】
また、映像処理装置１０は、１つのコンピュータで実装されてもよく、あるいは複数のコンピュータで実装されても良い。また、映像処理装置１０は、コンピュータに実装される仮想マシンであっても良い。映像処理装置１０用のプログラムは、HDD（Hard Disk Drive）、SSD（Solid State Drive）、USB（Universal Serial Bus）メモリ、CD (Compact Disc)、DVD (Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
【0068】
なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。上記実施形態では、視対象として空中像を用いたが、視対象は空中像に限定されず、視覚刺激一般に適用可能である。例えば、視対象の移動物体と、床面とが紙などで構成されていてもよい。
【符号の説明】
【0069】
１…表示システム
１０…映像処理装置
１１…実空間設定部
１２…仮想空間設定部（設定部）
１３…制御部
１４…出力部
２１…背景映像出力装置
２２…スクリーン（平面表示装置）
２３…空中像出力装置
２４…光学素子
３０…虚像面
１００…観察者
１０…映像処理装置
１１…実空間設定部
１２…仮想空間設定部（設定部）
１３…制御部
１４…出力部
２１…背景映像出力装置
２２…スクリーン（平面表示装置）
２３…空中像出力装置
２４…光学素子
３０…虚像面
１００…観察者
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図10】
【図11】
【図12】