IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電信電話株式会社の特許一覧

特許7564487映像処理装置、映像処理方法、および映像処理プログラム
<>
  • 特許-映像処理装置、映像処理方法、および映像処理プログラム 図1
  • 特許-映像処理装置、映像処理方法、および映像処理プログラム 図2A
  • 特許-映像処理装置、映像処理方法、および映像処理プログラム 図2B
  • 特許-映像処理装置、映像処理方法、および映像処理プログラム 図3
  • 特許-映像処理装置、映像処理方法、および映像処理プログラム 図4
  • 特許-映像処理装置、映像処理方法、および映像処理プログラム 図5
  • 特許-映像処理装置、映像処理方法、および映像処理プログラム 図6
  • 特許-映像処理装置、映像処理方法、および映像処理プログラム 図7
  • 特許-映像処理装置、映像処理方法、および映像処理プログラム 図8A
  • 特許-映像処理装置、映像処理方法、および映像処理プログラム 図8B
  • 特許-映像処理装置、映像処理方法、および映像処理プログラム 図9A
  • 特許-映像処理装置、映像処理方法、および映像処理プログラム 図9B
  • 特許-映像処理装置、映像処理方法、および映像処理プログラム 図10
  • 特許-映像処理装置、映像処理方法、および映像処理プログラム 図11
  • 特許-映像処理装置、映像処理方法、および映像処理プログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-01
(45)【発行日】2024-10-09
(54)【発明の名称】映像処理装置、映像処理方法、および映像処理プログラム
(51)【国際特許分類】
   G06T 13/20 20110101AFI20241002BHJP
   H04N 13/363 20180101ALI20241002BHJP
   H04N 13/346 20180101ALI20241002BHJP
   H04N 13/361 20180101ALI20241002BHJP
   H04N 13/122 20180101ALI20241002BHJP
【FI】
G06T13/20
H04N13/363
H04N13/346
H04N13/361
H04N13/122
【請求項の数】 7
(21)【出願番号】P 2023503325
(86)(22)【出願日】2021-03-05
(86)【国際出願番号】 JP2021008736
(87)【国際公開番号】W WO2022185536
(87)【国際公開日】2022-09-09
【審査請求日】2023-08-09
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100129230
【弁理士】
【氏名又は名称】工藤 理恵
(72)【発明者】
【氏名】井阪 建
【審査官】益戸 宏
(56)【参考文献】
【文献】国際公開第2008/126283(WO,A1)
【文献】特開2005-234240(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 11/00-19/00
H04N 13/00
H04N 5/66
H04N 9/12
G02B 27/01
G09G 5/00
(57)【特許請求の範囲】
【請求項1】
平面表示装置の表示面の上の視対象に揺れを表現する映像処理装置であって、
前記視対象に濃淡変化のある第1テクスチャを設定するとともに、前記視対象が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第2テクスチャを設定する設定部と、
前記視対象を取り囲む前記背景映像を、前記平面表示装置に出力する出力部と、
前記背景映像を移動させる制御部と、
を備え、
前記視対象が前記背景映像の凹凸面を移動する際に、前記視対象の近傍に発生するコントラスト変化によって、前記視対象の揺れを表現する
映像処理装置。
【請求項2】
前記視対象は、空中像である
請求項1に記載の映像処理装置。
【請求項3】
前記設定部は、前記視対象の揺れを表現する揺動部分に第1テクスチャを設定し、
前記視対象が前記背景映像の凹凸面を移動する際に、前記揺動部分の近傍に発生するコントラスト変化によって、前記揺動部分の揺れを表現する
請求項1または2に記載の映像処理装置。
【請求項4】
前記床面は、床、地面および水面の少なくとも1つを含む
請求項1から3のいずれか1項に記載の映像処理装置。
【請求項5】
前記設定部は、前記凹凸面の明るさと空間周波数とを用いて、前記視対象の揺れる量と、揺れる頻度とを調整する
請求項1に記載の映像処理装置。
【請求項6】
平面表示装置の表示面の上の視対象に揺れを表現する映像処理装置が行う映像処理方法であって、
前記視対象に濃淡変化のある第1テクスチャを設定するとともに、前記視対象が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第2テクスチャを設定するステップと、
前記視対象を取り囲む前記背景映像を、前記平面表示装置に出力するステップと、
前記視対象を移動させたい方向の反対方向に前記背景映像を移動させるステップと、
を有し、
前記視対象が前記背景映像の凹凸面を移動する際に、前記視対象の近傍に発生するコントラスト変化によって、前記視対象の揺れを表現する
映像処理方法。
【請求項7】
請求項1から5のいずれか1項に記載の映像処理装置としてコンピュータを機能させる映像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像処理装置、映像処理方法、および映像処理プログラムに関する。
【背景技術】
【0002】
特許文献1および非特許文献1に開示されているように、表示装置の映像をハーフミラーまたは透明板などの光学素子を用いて屈折または反射させて空中像として表示する技術が知られている。空中像は、2D画像でありながら物理的装置から離れた空間中の虚像面に表示されるため、モニタに表示する2D画像と比べると、空中像が平面であると観察者に知覚させる手がかりが少ないという特徴をもつ。この特徴を利用すると、実空間のある位置に視対象が存在するという空間定位の知覚を簡便に提供できる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2017-49354号公報
【非特許文献】
【0004】
【文献】Hajime Katsumoto, Hajime Kajita, Naoya Koizumi, and Takeshi Naemura. 2016. HoVerTable PONG: Playing Face-to-face Game on Horizontal Tabletop with Moving Vertical Mid-air Image. In Proceedings of the 13th International Conference on Advances in Computer Entertainment Technology (ACE ’16). Association for Computing Machinery, New York, NY, USA, Article 50, 1-6. DOI: https://doi.org/10.1145/3001773.3001820
【発明の概要】
【発明が解決しようとする課題】
【0005】
床面から物理的に離れた視対象(空中像)で床面上の移動を表現する場合、視点によって視対象とそれが接地しているように見える床面領域が変化する。特許文献1では、視対象の奥行方向への移動を表現するために、遠近法によって虚像面内での視対象の高さを上げ、床面から離している。
【0006】
このような状況において、床面が凹凸面と平面との両方を含んで構成され、視点によっては視対象が接地して見える床面領域が変化する場合、凹凸面上の視対象に合わせて付与した揺れ表現が、平面上の視対象に対しては不自然な表現となってしまう。
【0007】
本発明は、前記の状況に鑑みてなされたものであって、本発明は、凹凸面上では視対象に揺れを表現し、平面上では視対象に揺れを表現しないことを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するため、本発明の一態様は、平面表示装置の表示面の上の視対象に揺れを表現する映像処理装置であって、前記視対象に濃淡変化のある第1テクスチャを設定するとともに、前記視対象が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第2テクスチャを設定する設定部と、前記視対象を取り囲む前記背景映像を、前記平面表示装置に出力する出力部と、前記背景映像を移動させる制御部と、を備え、前記視対象が前記背景映像の凹凸面を移動する際に、前記視対象の近傍に発生するコントラスト変化によって、前記視対象の揺れを表現する。
【0009】
本発明の一態様は、平面表示装置の表示面の上の視対象に揺れを表現する映像処理装置が行う映像処理方法であって、前記視対象に濃淡変化のある第1テクスチャを設定するとともに、前記視対象が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第2テクスチャを設定するステップと、前記視対象を取り囲む前記背景映像を、前記平面表示装置に出力するステップと、前記視対象を移動させたい方向の反対方向に前記背景映像を移動させるステップと、を有し、前記視対象が前記背景映像の凹凸面を移動する際に、前記視対象の近傍に発生するコントラスト変化によって、前記視対象の揺れを表現する。
【0010】
本発明の一態様は、上記映像処理装置としてコンピュータを機能させる映像処理プログラムである。
【発明の効果】
【0011】
本発明によれば、凹凸面上では視対象に揺れを表現し、平面上では視対象に揺れを表現しないことができる。
【図面の簡単な説明】
【0012】
図1図1は、視点の変更により、空中像と背景画像との位置関係の変化を説明するための図である。
図2A図2Aは、正面から床面上に表現された空中像を見た図である。
図2B図2Bは、右から床面上に表現された空中像を見た図である。
図3図3は、本実施形態の表示システムの構成を示す構成図である。
図4図4は、凹凸面と平面とを含む床面上を、車が移動する例を示す図である。
図5図5は、凹凸面と平面とを含む床面上を、車が移動する例を示す図である。
図6図6は、海面上をヨットが移動する例を示す図である。
図7図7は、映像処理装置の構成を示す構成図である。
図8A図8Aは、虚像面に表示される空中像とスクリーンに投影された背景映像の表示例を示す図である。
図8B図8Bは、図8Aの背景映像を移動した表示例を示す図である。
図9A図9Aは、図8Aの状態において観察者が見る空中像と背景映像を示す図である。
図9B図9Bは、図8Bの状態において観察者が見る空中像と背景映像を示す図である。
図10図10は、映像処理装置の処理の流れを示すフローチャートである。
図11図11は、デジタルサイネージの適用例を示す図である。
図12】ハードウェア構成例である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について、図面を参照して説明する。
【0014】
まず、図1および図2を用いて本実施形態の空中像の表示概要について説明する。本実施形態では、観察者が観察する視対象として空中像を用いるが、これに限定されない。図1は、視点を変更することにより、空中像と背景画像との位置関係の変化を説明する説明図である。本実施形態ではハーフミラーなどの光学素子24を用いての空中像を表示する。空中像出力装置23から出力される空中像Aは、光学素子24により虚像面30に表示される。図1では、虚像面30に表示される空中像(視対象)Aを空中像A1とし、観察者が知覚する空中像Aを、空中像A2と記載する。
【0015】
観察者が空中像A2を観察する際に、観察者は、観察者の視点と虚像面30の空中像A1のタイヤとを結ぶ直線Lと、床面Mとの交点Nに、車のタイヤが接地していると知覚する。このとき、虚像面30における車のタイヤの表示領域が物理的に床面Mと接地していれば、観察者の視点が変化しても車のタイヤが接地している床面領域は変化しない。しかし、虚像面30における車のタイヤの表示領域が、図1に示すように床面Mから離れた上にある場合(物理的に接地していない場合)、視点が変わると車のタイヤに接地して見える床面領域は、ずれてしまう。
【0016】
具体的には、虚像面30に対して正面から見た観察者には、タイヤに接地して見える床面領域101は、床面Mの中央部にあるように見える。一方、観察者が虚像面30に対して右から見た場合、正面から見た場合の床面領域101に比べて、タイヤに接地して見える床面領域102が左にずれて見える。すなわち、ハーフミラー式の空中像表示では、空中像A1が虚像面30上で床面Mに接地させるように表示している場合を除き、視点を変更すると空中像A2に接地しているように見える床面領域101、102が変化する。
【0017】
図2Aおよび図2Bは、凹凸のある凹凸面と平坦な平面とを含む床面Mの空中像の表現を説明するための図である。図2Aは、虚像面30に対して正面の視点から見た場合であって、観察者には、タイヤが接地して見える床面領域は、凹凸面にあるように見える。図2Bは、虚像面30に対して右側の視点から見た場合であって、観察者には、タイヤが接地して見える床面領域は、平面にあるように見える。
【0018】
この場合、図2Aの正面の視点に合わせて車のタイヤが凹凸面から受ける凹凸感を表現しようとして素朴に、車のタイヤに揺れ表現をしてしまうと、図2Bの右側の視点では平面上にタイヤがあるように見えており、平面なのに車のタイヤが揺れるという不自然な表現になってしまう。
【0019】
すなわち、床面Mの一部が凹凸面をもつような場合、正面の視点に整合するようにタイヤを揺らすような凹凸表現を空中像に単純に付与すると、右から見ると平面上にタイヤがあるにもかかわらず揺れて見えるという不整合な表現となってしまう。
【0020】
本実施形態では、空中像が床面を移動する際に、床面から受ける凹凸感を各視点で整合するように表現する。具体的には、空中像を物理的に揺らすことなく、床面が凹凸面を模したテクスチャパターン上でのみ物体の揺れを知覚する錯視を利用することで、空中像とその背景(床面)における、複数視点間でのずれによって生じる表現の不整合の問題を解決する。具体的には、図2Aでは凹凸感を示すためにタイヤを揺らしながら移動する表現とし、図2Bではタイヤを揺らさないで移動する表現とする。
【0021】
図3は、本実施形態の表示システム1の構成を示す構成図である。図示する表示システム1は、映像処理装置10、背景映像出力装置21、スクリーン22(平面表示装置)、空中像出力装置23、および光学素子24を備える。
【0022】
表示システム1は、空中像出力装置23と光学素子24によって虚像面30に空中像(視対象)を表示するとともに、表示された空中像がスクリーン22に投影した背景映像内を移動しているように知覚させる。具体的には、表示システム1は、例えば暗室条件下において、観察者100から見て奥行き方向または手前方向に視対象が移動しているように知覚させる。暗室条件とは、表示システム1および観察者を取り囲む周辺光量が少ない環境であり、周囲の装置が見えないことが望ましい。
【0023】
スクリーン22は、地面に対して平行に配置される。背景映像出力装置21は、背景映像をスクリーン22に投影する。背景映像出力装置21は、いずれの方向から映像を投影してもよい。
【0024】
光学素子24(例えばハーフミラー)を約45度傾斜させて配置し、空中像出力装置23を光学素子24の上方または下方に配置する。空中像出力装置23が出力した映像は、光学素子24により観察者100の方向へ反射し、虚像面30において視対象である空中像を形成する。
【0025】
虚像面30がスクリーン22の法線方向と平行となるようにスクリーン22と光学素子24を配置する。空中像出力装置23から光学素子24までの距離d1を変えることで、光学素子24から虚像面30までの距離d2を調節することができる。距離d1が短くなれば距離d2が短くなる。本実施形態では、虚像面30がスクリーン22の中央付近となるように空中像出力装置23を配置した。虚像面30の位置はスクリーン22の中央に限らず、任意の位置に設定してよい。空中像出力装置23および光学素子24の位置は固定されてよい。
【0026】
空中像出力装置23および光学素子24は、スクリーン22の上方に空中像を表示できればよく、上記の構成に限定するものではない。空中像は、必ずしも空中に浮かんでいるように表示する必要はなく、スクリーン22の表示面(床面)に接地しているように表示してもよい。もしくは、スクリーン22を上方に配置し、スクリーン22に表示した背景映像に空中像がぶら下がっているように表示してもよい。本実施形態では、空中像は背景映像の床面に接するように表示する。
【0027】
なお、空中像出力装置23および光学素子24で空中像を表示する代わりに、スクリーン22上に透明スクリーンを配置し、透明スクリーンに投影した映像を視対象としてもよい。あるいは、スクリーン22上に実物体を配置し、その実体物を視対象としてもよい。透明スクリーンおよび実物体の位置は固定されてよい。
【0028】
映像処理装置10は、空中像に誘導運動を生じさせる背景映像を背景映像出力装置21に供給する。具体的には、映像処理装置10は、空中像の移動方向の逆方向に背景映像を移動させて、空中像に誘導運動を生じさせる。誘導運動は、静止物体に運動知覚を与える錯覚現象である。誘導運動を生じさせる背景映像とは、観察者100の視点から見たときに空中像を取り囲む映像である。本実施形態では、空中像の移動範囲を表す床面を背景映像として、床面上を空中像が移動しているように知覚させる。誘導運動については後述する。
【0029】
映像処理装置10は、錯視によって、背景に応じて空中像に対する凹凸感の有無を切り替える。人間の視覚系は、コントラストが変化すると物理的な明るさは同一でも明るさの変化を知覚する視覚特性がある。この人間の視覚特性を利用し、本実施形態では、空中像のテクスチャ(第1テクスチャ)に濃淡変化を付与する。映像処理装置10は、空中像が濃淡変化があるテクスチャ(第2テクスチャ)が付与された背景上を移動して見える場合にのみ、空中像近傍において空中像と背景画像間のコントラスト変化による疑似的なエッジ変化を知覚させることで、凹凸感を表現する。
【0030】
図4は、凹凸面と平面とを含む床面上を、車が移動する例を示す。ここでは、床面が平面(濃淡変化のないテクスチャ)と凹凸面(濃淡変化があるテクスチャ)で構成されている。また、空中像の車において揺れを表現したい揺動部分(ここでは、車のタイヤ)に濃淡変化のあるテクスチャが設定されている。図示する例では、タイヤの上部が淡色でタイヤの下部が濃色となっている。
【0031】
このとき、映像処理装置10は、車が背景映像の床面の平面から凹凸面に向かって移動して見える誘導運動を生じさせる。空中像のうちの濃淡変化をつけたタイヤ(揺動部分)が凹凸面の床面を移動すると、タイヤとその背後にある床面のコントラストが時々刻々と変化する。このとき、タイヤの近傍でコントラスト変化による疑似的なエッジが観察者に知覚される。この視覚特性を利用することで、タイヤを物理的に揺らすことなく、観察者にタイヤの揺れを感じさせる。観察者は、凹凸面ではタイヤがゆらゆらと揺れているように見えるが、平面ではタイヤの揺れは見えない。
【0032】
画像401は、平面上を車が移動している場合の画像である。タイヤ近傍のコントラスト強調画像411に表示される疑似的なエッジ(細い黒線)421は、平面上を移動している限り変化しない。疑似的なエッジは、コントラスト変化により生じる。
【0033】
一方、画像402および画像403は、凹凸面を車が移動している場合の画像である。画像412は、画像402タイヤ近傍のコントラスト強調画像である。画像413は、画像403タイヤ近傍のコントラスト強調画像である。ある時点のコントラスト強調画像412の疑似的なエッジ422と、その後のコントラスト強調画像413の疑似的なエッジ423とは異なる。すなわち、凹凸面では、疑似的なエッジは移動に伴い時事刻々と変化する。このように、凹凸面を車が移動する場合、濃淡変化の有るテクスチャが付与された空中像のタイヤ近傍では、タイヤと床面とのコントラストが時々刻々と変化し、このコントラスト変化による疑似的なエッジ422、423の変化を観察者はタイヤの揺れと知覚する。
【0034】
床面は、建物などの床だけでなく、地面であっても、水面(例えば、海面、湖面、川面等)であっても、これらの組み合わせでもよい。すなわち、本実施形態の床面は、床、地面、水面の少なくとも1つを含んでもよい。また、空中像および床面(背景映像)は、白黒のモノトーンであっても、カラーであってもよい。
【0035】
図5および図6は、カラーの空中像および床面の例を示す。図面上では、空中像および床面は、白黒のモノトーンで表現されている。なお、図5および図6の空中像および床面は、白黒のモノトーンであって、白黒のモノトーンの濃淡変化があるテクスチャが設定されていてもよい。
【0036】
図5は、凹凸面と平面とを含む地面上を、車501(空中像)が移動する例を示す。図5の地面の凹凸面および車のタイヤは、カラーの濃淡変化があるテクスチャが設定されている。図5においても、図4と同様に、凹凸面ではタイヤがゆらゆらと揺れているように見えるが、平面ではタイヤの揺れは見えない。
【0037】
図6は、波がある領域と波がない領域とを含む海面上を、ヨット601(空中像)が移動する例を示す。図6の波のある領域およびヨット601は、カラーの濃淡変化があるテクスチャが設定されている。図示するヨット601には、ヨット601全体に濃淡変化があるテクスチャを付与され、映像処理装置10は、波のある領域ではヨット601全体が揺れているように表現する。波のない領域では、ヨット601は揺れていないように見える。
【0038】
図7は、映像処理装置10の構成を示す構成図である。映像処理装置10は、スクリーン22の表示面の上の空中像(視対象)に揺れを表現する。図示する映像処理装置10は、実空間設定部11と、仮想空間設定部12と、制御部13と、出力部14とを備える。
【0039】
実空間設定部11は、実空間に、空中像出力装置23と光学素子24とを、虚像面30に直立の空中像(空中像オブジェクト)が生成されるように設置する。また、虚像面30の法線方向に広がる画像表示可能なスクリーン22を設置する。
【0040】
仮想空間設定部12(設定部)は、空中像に濃淡変化のある第1テクスチャを設定するとともに、空中像が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第2テクスチャを設定する。すなわち、仮想空間設定部12は、観察者に錯視を生じさせるために、揺らして見せたい空中像に濃淡変化がある第1テクスチャを付与し、床面に凹凸面を模した濃淡変化をもつ第2テクスチャを部分的に付与する。これにより、空中像が背景映像の凹凸面を移動する際に、空中像の近傍に発生するコントラスト変化によって、空中像の揺れを表現する。
【0041】
なお、仮想空間設定部12は、空中像全体に濃淡変化のある第1テクスチャを設定し、空中像が背景映像の凹凸面を移動する際に、空中像全体の近傍に発生するコントラスト変化によって、空中像全体の揺れを表現してもよい。あるいは、仮想空間設定部12は、空中像の揺れを表現する揺動部分に第1テクスチャを設定し、空中像が背景映像の凹凸面を移動する際に、揺動部分の近傍に発生するコントラスト変化によって、空中像の揺動部分の揺れを表現してもよい。
【0042】
また、仮想空間設定部12は、床面の凹凸面の明るさと空間周波数とで、揺れる量(揺れる細かさ)と揺れる頻度とをそれぞれ調節してもよい。
【0043】
仮想空間設定部12は、仮想空間内で空中像と床面とを、虚像面内の空中像と実際の床面との位置関係が等しくなるよう配置する。仮想空間内での空中像と、空中像用の仮想カメラレンズとの間の位置関係は、虚像面に表示された空中像と正面の観察者の視点間の位置関係と等しくしておく。
【0044】
例えば、仮想空間設定部12は、実空間での空中像とスクリーン22の位置関係に基づき、仮想空間内に空中像を表す空中像オブジェクトと、背景映像となる床面オブジェクトとを初期位置に配置する。例えば、仮想空間設定部12は、空中像オブジェクトが床面オブジェクトの中心付近に立っているように、床面オブジェクトを配置する。床面オブジェクトは空中像オブジェクトの移動範囲を示す平面図形である。
【0045】
仮想空間設定部12は、仮想空間内に、スクリーン22に投影する映像を撮影するための背景用の仮想カメラを配置する。背景用の仮想カメラは、床面オブジェクトを含む領域を撮影する。背景用の仮想カメラの撮影した映像がスクリーン22に投影される。仮想カメラの位置を固定したまま仮想空間内で床面オブジェクトを移動させると、スクリーン22に投影された背景映像が移動する。
【0046】
仮想空間設定部12は、空中像オブジェクトを撮影する空中像用の仮想カメラを配置してもよい。空中像用の仮想カメラは、横方向から空中像オブジェクトを撮影する。空中像出力装置23は、空中像用の仮想カメラの撮影した映像を光学素子24に投影し、空中像を虚像面に表示する。空中像用の仮想カメラは透視投影法による撮影方法に設定してもよい。空中像用の仮想カメラと背景用の仮想カメラの撮影結果とを、虚像面の画像と実際の床面の画像にそれぞれリアルタイムに反映させる。
【0047】
制御部13は、背景映像を移動させて、仮想空間内で空中像を移動させる。本実施形態では、制御部13は、空中像を移動させたい方向の反対方向に床面(背景映像)を移動させ、これにより空中像に誘導運動を生じさせる。
【0048】
具体的には、制御部13は、空中像オブジェクトの移動量に基づき、床面オブジェクトを移動する。例えば、空中像を手前方向に距離v移動させたい場合、制御部13は、床面オブジェクトを奥行き方向に距離v移動させる。つまり、制御部13は、床面オブジェクトのみを移動させて、空中像オブジェクト、空中像用の仮想カメラ、および背景用の仮想カメラを移動させない。あるいは、制御部13は、床面オブジェクトを移動させずに、空中像オブジェクト、空中像用の仮想カメラ、および背景用の仮想カメラを同じ方向に同じ移動量で移動させてもよい。いずれの場合も、床面オブジェクトを移動させると、背景用の仮想カメラで撮影した映像内での床面オブジェクトの写る位置が移動する。
【0049】
図8Aに、虚像面30に表示される空中像51とスクリーン22に投影された背景映像52の表示例を示す。図8Aは、図4のスクリーン22を上方から見た図である。観察者は、図上で下方向にいるものとする。空中像51は虚像面30に投影されるが、図8Aでは空中像51が表示される位置を円で表現している。背景映像52は、空中像51を取り囲む床面または地面などの映像である。背景映像52の形、模様、色は任意に設定できる。背景映像52の外側には何も表示せずに真っ暗な状態とする。
【0050】
図8Bは、図8Aの状態から背景映像52を図上で上方向、つまり観察者から見て奥側に移動させたときの表示例である。空中像51の表示位置は移動させていない。空中像51は、背景映像52を基準にすると下方向に移動している。表示システム1が設置された環境が明るく、スクリーン22の枠や周辺の装置など、実空間内での背景映像52の位置がわかる物体が見える場合、観察者は、背景映像52が移動していることを知覚してしまう。
【0051】
暗室条件下では、図9Aおよび図9Bに示すように、観察者は、空中像51と背景映像52のみを注視することになる。背景映像52を移動させたとき、観察者は、図9Bに示すように、実際は背景映像52が移動しているのだが、空中像51が移動しているように知覚する。すなわち、暗室条件下において、空中像51を取り囲む背景映像52を移動させることにより、背景映像52内の任意の位置に空中像51が移動したように空間定位させることが可能になる。
【0052】
空中像が虚像面内を自由に移動できる場合、制御部13は、虚像面の法線方向のみに背景映像52を移動させてもよい。例えば、図8Aに示す例において、空中像51が虚像面に沿って左右方向に移動するときは背景映像52を移動させない。視対象51が図8Aの上下方向に移動するときに、空中像51の上下方向の移動量に合わせて背景映像52を移動させる。
【0053】
また、制御部13は、透視投影法によって、奥行方向への移動量に応じて、空中像の大きさと高さを変化させてもよい。
【0054】
出力部14は、空中像を取り囲む背景映像をスクリーン22に出力する。具体的には、出力部14は、空中像用の仮想カメラで撮影した空中像オブジェクトを含む映像を、空中像出力装置23へ出力する。また、出力部14は、背景用の仮想カメラで撮影した床面オブジェクトを含む映像を背景映像出力装置21へ出力する。
【0055】
図10のフローチャートを参照し、映像処理装置10の動作について説明する。
【0056】
ステップS11にて、実空間設定部11は、実空間に、空中像出力装置23と光学素子24とを、虚像面30に直立の空中像(空中像オブジェクト)が生成されるように設置する。また、虚像面30の法線方向に広がる画像表示可能なスクリーン22を設置する。
【0057】
ステップS12にて、仮想空間設定部12は、実空間での空中像とスクリーン22の位置関係に基づき、仮想空間内に床面オブジェクトを初期位置に配置するとともに、床面オブジェクトを撮影する仮想カメラを配置する。仮想空間設定部12は、仮想空間内に空中像および空中像用の仮想カメラを配置する。仮想空間設定部12は、空中像に濃淡変化のある第1テクスチャを設定するとともに、空中像が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第2テクスチャを設定する。
【0058】
ステップS13で、制御部13は、視対象の1フレーム分の移動量に基づき、床面の1フレーム分の移動量を計算し、計算した移動量に応じて床面オブジェクトを移動する。
【0059】
ステップS14にて、出力部14は、仮想カメラで床面オブジェクトを含む平面を撮影した背景映像を背景映像出力装置21へ出力する。出力部14は、空中像用の仮想カメラで空中像を撮影した映像を空中像出力装置23へ出力する。
【0060】
1フレームごとに、ステップS13およびS14の処理が実施される。
【0061】
図11は、本実施形態の表示システムを、観察者の見る視点によって、表示内容が変化するデジタルサイネージに適用した適用例を示す図である。図示する例では、前景となる空中像(視対象)は芋虫であり、芋虫の下部(揺動部分)には、濃淡変化のあるテクスチャが付与されている。
【0062】
この場合、観察者100Aは、濃淡変化のないテクスチャ(平面)が背景として表示されたスクリーン702を見ている。観察者100Aには、前景である空中像は止まっているように見える。一方、観察者100Bは、濃淡変化のあるテクスチャ(凹凸面)が背景として表示されたスクリーン701を見ている。観察者100Bには、前景である空中像は、揺れながら動いているように見える。
【0063】
以上説明した本実施形態の映像処理装置10は、スクリーン22の表示面の上の空中像(視対象)に揺れを表現する装置であって、空中像に濃淡変化のある第1テクスチャを設定するとともに、空中像が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第2テクスチャを設定する仮想空間設定部12と、空中像を取り囲む背景映像を、スクリーン22に出力する出力部14と、背景映像を移動させる制御部13と、を備え、空中像が背景映像の凹凸面を移動する際に、空中像の近傍に発生するコントラスト変化によって、空中像の揺れを表現する。
【0064】
このように、本実施形態では、空中像の近傍において空中像と背景とのコントラスト変化による疑似的なエッジ変化を観察者に知覚させることで、床面の凹凸感を表現する。これにより、本実施形態では、空中像を物理的に揺らすことなく、背景に濃淡変化のあるテクスチャをもつ画像がある場合のみ揺れているように感じさせることで、濃淡変化のあるテクスチャ上(凹凸面)での空中像を揺らしながら移動する表現と、濃淡変化のないテクスチャ上(平面)での空中像を揺らさないで移動する表現とを同時に実現することができる。すなわち、ある視点から見た視対象が背景の床面から受ける凹凸感を、複数の視点で観察した場合であっても違和感なく表現することができる。
【0065】
また、本実施形態では、空中像を物理的に揺らすことなく、コントラスト変化による疑似的なエッジ変化を観察者に知覚させることで揺れているように感じさせる。そのため、本実施形態では、CG表現においてポリゴンモデルの頂点を移動させて揺れを表現する必要がなく、省コストで容易に揺れを表現することができる。
【0066】
上記説明した映像処理装置10は、例えば、図12に示すような汎用的なコンピュータシステムを用いることができる。図示するコンピュータシステムは、CPU(Central Processing Unit:プロセッサ)901と、メモリ902と、ストレージ903と、通信装置904と、入力装置905と、出力装置906とを備える。メモリ902およびストレージ903は、記憶装置である。このコンピュータシステムにおいて、CPU901がメモリ902上にロードされた映像処理装置10のプログラムを実行することにより、映像処理装置10の各機能が実現される。
【0067】
また、映像処理装置10は、1つのコンピュータで実装されてもよく、あるいは複数のコンピュータで実装されても良い。また、映像処理装置10は、コンピュータに実装される仮想マシンであっても良い。映像処理装置10用のプログラムは、HDD(Hard Disk Drive)、SSD(Solid State Drive)、USB(Universal Serial Bus)メモリ、CD (Compact Disc)、DVD (Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
【0068】
なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。上記実施形態では、視対象として空中像を用いたが、視対象は空中像に限定されず、視覚刺激一般に適用可能である。例えば、視対象の移動物体と、床面とが紙などで構成されていてもよい。
【符号の説明】
【0069】
1…表示システム
10…映像処理装置
11…実空間設定部
12…仮想空間設定部(設定部)
13…制御部
14…出力部
21…背景映像出力装置
22…スクリーン(平面表示装置)
23…空中像出力装置
24…光学素子
30…虚像面
100…観察者
図1
図2A
図2B
図3
図4
図5
図6
図7
図8A
図8B
図9A
図9B
図10
図11
図12