特許 6534972 映像表示装置、映像表示方法及び映像表示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6534972

(24)【登録日】2019年6月7日

(45)【発行日】2019年6月26日

(54)【発明の名称】映像表示装置、映像表示方法及び映像表示プログラム

(51)【国際特許分類】

   H04N 5/66 20060101AFI20190617BHJP

   G06T 19/00 20110101ALI20190617BHJP

【ＦＩ】

   H04N5/66 Z

   G06T19/00 300B

【請求項の数】7

【全頁数】14

(21)【出願番号】特願2016-135311(P2016-135311)

(22)【出願日】2016年7月7日

(65)【公開番号】特開2018-7180(P2018-7180A)

(43)【公開日】2018年1月11日

【審査請求日】2018年8月13日

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(73)【特許権者】

【識別番号】899000079

【氏名又は名称】学校法人慶應義塾

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(72)【発明者】

【氏名】磯貝 愛

(72)【発明者】

【氏名】越智 大介

(72)【発明者】

【氏名】國田 豊

(72)【発明者】

【氏名】小島 明

(72)【発明者】

【氏名】稲見 昌彦

(72)【発明者】

【氏名】チャン リーウェイ

(72)【発明者】

【氏名】ファン スーエン

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２０１４−１１５４５７（ＪＰ，Ａ）

【文献】 特開２０１４−７２５７５（ＪＰ，Ａ）

【文献】 特開平１１−７５４３（ＪＰ，Ａ）

【文献】 特開２００６−７９１７４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／６６

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

ユーザの視野を覆う表示部と、
前記ユーザの視線方向を計測する視線計測部と、
前記視線方向の映像空間の映像を前記表示部に出力する映像出力部と、
前記視線方向が所定の方向に向いた場合に、前記視線方向は変えずに視点高さを高くした視点からの俯瞰図を前記表示部に出力する俯瞰図出力部と
を備えた映像表示装置。

【請求項2】

前記俯瞰図出力部は、
前記視線方向に基づく俯角が所定値以上である場合に、前記俯瞰図を前記表示部に出力する請求項１に記載の映像表示装置。

【請求項3】

前記視線方向に基づき、前記表示部に表示すべき映像を生成する映像生成部を備え、
前記映像出力部及び前記俯瞰図出力部は、前記映像生成部が生成した映像を前記表示部に対して出力する請求項１または２に記載の映像表示装置。

【請求項4】

前記映像生成部は、
前記ユーザが存在する位置とは異なる複数の映像空間の俯瞰図を生成し、
前記俯瞰図出力部は、前記複数の映像空間の俯瞰図を前記表示部に表示し、
前記ユーザによって前記複数の映像空間の俯瞰図の中から選択された映像空間の俯瞰図の映像空間に移動する映像空間移動部を
さらに備える請求項３に記載の映像表示装置。

【請求項5】

前記俯瞰図出力部は、
前記俯瞰図に対して、前記映像の再生操作を行うための情報を重畳して前記表示部に出力し、
前記ユーザの操作によって、前記表示部に表示する映像の再生操作を行う請求項１から４のいずれか一項に記載の映像表示装置。

【請求項6】

ユーザの視野を覆う表示部を備える映像表示装置が行う映像表示方法であって、
前記ユーザの視線方向を計測する視線計測ステップと、
前記視線方向の映像空間の映像を前記表示部に出力する映像出力ステップと、
前記視線方向が所定の方向に向いた場合に、前記視線方向は変えずに視点高さを高くした視点からの俯瞰図を前記表示部に出力する俯瞰図出力ステップと
を有する映像表示方法。

【請求項7】

コンピュータを、請求項１から５のいずれか一項に記載の映像表示装置として機能させるための映像表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像表示装置、映像表示方法及び映像表示プログラムに関する。

【背景技術】

【0002】

バーチャルリアリティ（人工現実感）技術では、利用者の視聴方向の変化に応じて、全天球映像の中から視聴領域の映像を切替えて表示することにより、実世界と同じような感覚を実現することができる。バーチャルリアリティやテレイグジスタンス（遠隔臨場感）の技術分野においては、頭部搭載型ディスプレイ（ＨＭＤ：Head Mounted Display）が用いられることが多い。この頭部搭載型ディスプレイにより、観察者にＣＧ（コンピュータグラフィックス）で作られた空間や遠隔の空間に没入したかのような感覚で映像を提示する技術が確立されている。

【0003】

このような技術においては、観察者の頭部の動きをセンサで検知し、その動きに応じて提示する映像を適切に変化させることが特徴となっている（例えば、特許文献１参照）。このような映像提示方法は、実際の世界において頭部を動かしたときの視覚の変化と同一であるため、観察者にとって自然で直感的であると言える。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特公昭６２−０２９１９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の技術は、現実の世界と同様な体験となるため、現実世界と同様な制約を持ち、必ずしも利便性や視点移動の自由度が高いとは言えない。このようなシステムにおいて、観察者が頭部を回転させた場合、観察者を中心として見回すことができるが、空間全体の中から一部分を切り出した映像しか表示されないため、空間全体を一度に把握することができない。特に、訪れたことのない遠隔空間の場合、地理空間に関する事前知識がなく、表示されている映像は、観察者の視野内の映像である。このため、空間全体を把握することができず、観察者がどの位置・どの方向に視線を移動させればよいか分からないという問題がある。

【0006】

本発明は、このような事情に鑑みてなされたもので、現実と同様な体験をすることができる人工現実感の技術を使用して映像の表示を行う際に、空間全体を見渡す俯瞰図を表示することができる映像表示装置、映像表示方法及び映像表示プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様は、ユーザの視野を覆う表示部と、前記ユーザの視線方向を計測する視線計測部と、前記視線方向の映像空間の映像を前記表示部に出力する映像出力部と、前記視線方向が所定の方向に向いた場合に、前記視線方向は変えずに視点高さを高くした視点からの俯瞰図を前記表示部に出力する俯瞰図出力部とを備えた映像表示装置である。

【0008】

本発明の一態様は、前記映像表示装置であって、前記俯瞰図出力部は、前記視線方向に基づく俯角が所定値以上である場合に、前記俯瞰図を前記表示部に出力する。

【0009】

本発明の一態様は、前記映像表示装置であって、前記視線方向に基づき、前記表示部に表示すべき映像を生成する映像生成部を備え、前記映像出力部及び前記俯瞰図出力部は、前記映像生成部が生成した映像を前記表示部に対して出力する。

【0010】

本発明の一態様は、前記映像表示装置であって、前記映像生成部は、前記ユーザが存在する位置とは異なる複数の映像空間の俯瞰図を生成し、前記俯瞰図出力部は、前記複数の映像空間の俯瞰図を前記表示部に表示し、前記ユーザによって前記複数の映像空間の俯瞰図の中から選択された映像空間の俯瞰図の映像空間に移動する映像空間移動部をさらに備える。

【0011】

本発明の一態様は、前記映像表示装置であって、前記俯瞰図出力部は、前記俯瞰図に対して、前記映像の再生操作を行うための情報を重畳して前記表示部に出力し、前記ユーザの操作によって、前記表示部に表示する映像の再生操作を行う。

【0012】

本発明の一態様は、ユーザの視野を覆う表示部を備える映像表示装置が行う映像表示方法であって、前記ユーザの視線方向を計測する視線計測ステップと、前記視線方向の映像空間の映像を前記表示部に出力する映像出力ステップと、前記視線方向が所定の方向に向いた場合に、前記視線方向は変えずに視点高さを高くした視点からの俯瞰図を前記表示部に出力する俯瞰図出力ステップとを有する映像表示方法である。

【0013】

本発明の一態様は、コンピュータを、前記映像表示装置として機能させるための映像表示プログラムである。

【発明の効果】

【0014】

本発明によれば、現実と同様な体験をすることができる人工現実感の技術を使用して映像の表示を行う際に、空間全体を見渡す俯瞰図を表示することができるという効果が得られる。

【図面の簡単な説明】

【0015】

【図1】本発明の第１実施形態による映像表示装置の構成を示すブロック図である。

【図2】図１に示す装置の詳細な構成を示すブロック図である。

【図3】俯瞰図を表示する際の観察者Ｈの位置関係を示す説明図である。

【図4】俯瞰図を表示する際の観察者Ｈの位置関係の他の例を示す説明図である。

【図5】図２に示す装置の動作を示すフローチャートである。

【図6】リトルプラネットの例を示す図である。

【図7】第２実施形態による映像表示装置の構成を示すブロックである。

【図8】図７に示す装置構成の詳細な構成を示すブロック図である。

【図9】第３実施形態による映像表示装置の構成を示すブロック図である。

【図10】異なる複数の映像空間を俯瞰図に表示した例を示す説明図である。

【図11】第４実施形態による映像表示装置の構成を示すブロック図である。

【図12】俯瞰図に４つの操作ボタンを重畳させた例を示す説明図である。

【図13】第７実施形態による映像表示装置の構成を示すブロック図である。

【発明を実施するための形態】

【0016】

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による映像表示装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号Ｈは、人工現実感を体験する観察者である。符号１は、観察者Ｈの頭部に装着された頭部搭載型ディスプレイ（以下、ＨＭＤという）である。観察者の視野は、ＨＭＤ１によって覆われている。観察者は実空間でＨＭＤ１を装着し、映像空間を観察する。符号２は、ＨＭＤ１の姿勢に合わせた映像を生成し、ＨＭＤ１に対して映像を配信し、その映像をＨＭＤ１に表示させる映像配信部である。

【0017】

次に、図２を参照して、図１に示す装置構成の詳細を説明する。図２は、図１に示す装置の詳細な構成を示すブロック図である。この図において、ＨＭＤ１は、通信部１１、映像表示部１２、姿勢計測部１３を備える。通信部１１は、映像配信部２との間で情報通信を行う。図２において、通信部１１は、無線通信の例を示したが、必ずしも無線通信である必要はなく、有線による通信であってもよい。映像表示部１２は、例えばレンズやプリズムなどの光学的結像手段と、液晶や有機ＥＬなどによるパネルによる映像表示手段により構成される。映像提示手段は、観察者の両眼に同一の映像を提示する形態もよいし、観察者の両眼に異なる映像（視差映像）を提示し、立体感を提示する形態でもよい。

【0018】

姿勢計測部１３は、ＨＭＤ１の姿勢を計測する。姿勢計測部１３は、例えば、ジャイロセンサや加速度センサなどを内蔵させることにより実現することができる。姿勢計測部１３が計測するものは、ＨＭＤ１を観察者Ｈの頭部に装着した場合に、観測者の頭部の位置（ＨＭＤ１の位置）と観察者の顔が向く方向（ＨＭＤ１が向いてる方向）である。すなわち、ここでは、顔の方向が観察者の視線方向と見なすものである。

【0019】

映像配信部２は、通信部２１、姿勢特定部２２、映像生成部２３、映像記憶部２４を備える。通信部２１は、ＨＭＤ１との間で情報通信を行う。姿勢特定部２２は、姿勢計測部１３が計測した観察者Ｈの頭部の位置と方向に基づいて、映像空間内における観察者Ｈの頭部の姿勢を特定する。映像生成部２３は、観察者の映像空間中における視点の位置（頭部の位置と顔の向いている方向）に応じた映像を生成する。映像記憶部２４は、コンピュータグラフィックスによる映像データまたは実写による映像データのいずれかが記憶されており、映像空間を作るための映像データとして用いられる。

【0020】

観察者Ｈに対して提示する映像がコンピュータグラフィクスにより生成する場合は、例えばポリゴンモデルと呼ばれる幾何的なモデルをコンピュータ内の映像空間に配置し、観察者の視点における透視投影映像をレイトレーシングと呼ばれる技術により生成する。また、実写を撮影して用いる場合は、例えばロボットアームに搭載したカメラを観察者の動きに合わせて動かし、映像を撮影する。

【0021】

実写を元に生成する場合は、例えば複数の視点位置で十分な数の映像を撮影して映像記憶部２４に記憶しておき、観察者の動きに合わせて提示する映像を切り替える。視点の距離が離れている場合は、モーフィング（コンピュータグラフィックスの手法の一つである）と呼ばれる技術により撮影された視点の間の視点の映像を補完して生成することができる。

【0022】

次に、図３を参照して、俯瞰図を表示する際の観察者Ｈの位置関係について説明する。図３は、俯瞰図を表示する際の観察者Ｈの位置関係を示す説明図である。観察者Ｈが頭部に装着しているＨＭＤ１の映像表示部１２には、姿勢計測部１３が計測した頭部の動きに合わせた映像が、映像配信部２から配信されて表示される。

【0023】

ただし、俯角θ（目の高さの水平面に対する見下ろす角度）が所定値（例えば、７０度）以上であったか否かを判定する。この結果、所定値以上の場合は、視線の方向（顔の正面方向）を観察者Ｈの頭部の後ろ方向に延長した所定の位置に仮想カメラ１００があるものとして、この仮想カメラ１００の映像による俯瞰図を映像生成部２３によって生成し、映像表示部１２に表示する。

【0024】

ここで、仮想カメラ１００は、観察者Ｈの目の位置より高い位置に配置されているものと見なして、俯瞰図を生成する。例えば、映像空間全体を見渡せる高さになるように配置してもよい。また、俯瞰図に表示されている被写体を観察者Ｈが識別できる程度の高さに配置してもよい。また、仮想カメラ１００の俯角は、ＨＭＤ１の俯角θ（頭部の俯角）と同一である。

【0025】

このように、俯角θが所定値以上であった場合には、仮想カメラ１００の映像を表示することにより視野を広げることができるため、映像空間における観察者Ｈの周辺の映像を表示することができるため、観察者Ｈは、周辺状況を把握することができるようになる。

【0026】

図４は、俯瞰図を表示する際の観察者Ｈの位置関係の他の例を示す説明図である。この例は、俯角θが９０度である場合の例を示している。図４のように、俯角θが９０度の場合は、観察者Ｈの真上に仮想カメラ１００があるものとして、周辺映像を生成することができる。この場合も仮想カメラ１００の映像を表示することにより視野を広げることができるため、映像空間における観察者Ｈの周辺の映像を表示することができる。

【0027】

次に、図５を参照して、図２に示す装置の動作を説明する。図５は、図２に示す装置の動作を示すフローチャートである。まず、姿勢計測部１３は、観察者Ｈの頭部の姿勢データを計測する（ステップＳ１）。そして、姿勢計測部１３は通信部１１を介して、映像配信部２に対して、姿勢データを送信する。

【0028】

次に、通信部２１は、通信部１１が送信した姿勢データを受信し、姿勢特定部２２へ受け渡す。これを受けて、姿勢特定部２２は、受信した姿勢データから映像空間における観察者Ｈの視点位置を特定する（ステップＳ２）。続いて、姿勢特定部２２は、姿勢データから視線方向（顔の正面方向）を特定する（ステップＳ３）。

【0029】

次に、姿勢特定部２２は、特定した視線方向の俯角θが所定値以上か否かを判定する（ステップＳ４）。この判定の結果、俯角θが所定値以上であれば、観察者Ｈが俯瞰図の表示を要求しているものと見なして、姿勢特定部２２は、映像生成部２３に対して、視線方向の情報を含む俯瞰図生成指示を出す。これを受けて、映像生成部２３は、視線方向の俯瞰図映像を生成する（ステップＳ５）。

【0030】

一方、俯角θが所定値以上でなければ、観察者Ｈは通常の映像の表示を要求しているものと見なして、姿勢特定部２２は、映像生成部に対して、視線方向の情報を含む通常映像生成指示を出す。これを受けて、映像生成部２３は、視線方向の視野に相当する領域を切り出した映像を生成する（ステップＳ６）。

【0031】

次に、映像生成部２３は、ステップＳ５またはステップＳ６のいずれかで生成した映像を通信部２１を介して送信する。これを受けて、通信部１１は、送信された映像を受信し、映像表示部１２へ受け渡す。映像表示部１２は、生成された映像を表示する（ステップＳ７）。このような処理を繰り返すことにより、観察者Ｈの視線方向（顔の正面方向）に応じた映像を表示することができる。特に、俯角θが所定値以上となる方向に視線方向を向けると、映像空間全体を見渡すことができる俯瞰図映像が表示される。

【0032】

次に、図５に示すステップＳ５、Ｓ６（映像を生成するステップ）について詳しく説明する。映像生成部２３において生成される映像は、観察者の視点から見た空間全体の中から一部分を切り出した映像と、観察者の位置から視線方向に俯瞰した空間全体を表す映像の２パターンある。空間全体の中から一部分を切り出した映像は、観察者の位置で撮影された映像をもとに、観察者の視点から見た映像を生成してもよい。また、観察者とは異なる位置で撮影された映像から、観察者の視点から映像に変換処理を施して生成してもよい。

【0033】

また、観察者の位置の視線方向に俯瞰した映像は、観察者の位置で撮影された映像をもとに、極座標変換を行い、極から見下ろしたようなリトルプラネットを生成してもよい。リトルプラネットの例を図６に示す。図６は、リトルプラネットの例を示す図である。また、観察者の位置とは異なる位置で撮影された全天球映像から、観察者の視線方向の映像を生成してもよい。なお、観察者の視線方向から俯瞰した映像は、前述の表現方法に限定するものでなく、被写体の距離関係は実空間と一致している必要もない。

【0034】

本実施形態では、観察者の頭部の動きに応じて、空間全体の中から一部分を切り出した映像と、空間全体を表す映像を切替えて表示することで、空間全体を一度に把握することができる。また、観察者の視聴方向から俯瞰した映像を提示することにより、空間全体から切り出した一部分の映像との関係を直観的に理解することができる。さらに、視聴者の位置も考慮した俯瞰映像を提示することで、観察者は実空間と同じ距離を移動しなくても、映像上の空間を移動することができる。

【0035】

なお、図１に示す構成では、ＨＭＤ１と映像配信部２との間で情報通信する例を示したが、必ずしも映像配信部２がＨＭＤ１の外部に備えられている必要はなく、映像配信部２の機能をＨＭＤ１が備えていてもよい。ＨＭＤ１と映像配信部２との間の情報通信をなくすことにより、頭部の動きに合わせた映像表示のリアルタイム性を高めることができる。

【0036】

＜第２実施形態＞
次に、本発明の第２実施形態による映像表示装置を説明する。図７は、第２実施形態による映像表示装置の構成を示すブロックである。図１に示す映像表示装置と異なる点は、姿勢センサ３を新たに設け、ＨＭＤ１から姿勢計測部１３を省いた点である。すなわち、ＨＭＤ１０は、映像を受信して表示するのみの機能を備え、観察者Ｈの姿勢（特に、頭部の姿勢）を外部の姿勢センサ３によって計測し、映像配信部２へ送信するようにしたものである。姿勢センサ３は、外部から光や電磁波を照射し、その反射や吸収を計測することで実現する。

【0037】

図８は、図７に示す装置構成の詳細な構成を示すブロック図である。この図において、図２に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が従来の装置と異なる点は、ＨＭＤ１０に通信部１１と映像表示部１２のみを備え、外部に姿勢センサ３が設けられている点である。映像配信部２は、図２に示す構成を同様である。姿勢計測部３１は、観察者Ｈに対して外部から光や電磁波を照射し、その反射や吸収を計測することにより、観察者Ｈの頭部の姿勢を計測する。計測した頭部の姿勢データは、通信部３２を介して、映像配信部２へ送信する。その後の動作は、前述した動作と同様である。

【0038】

＜第３実施形態＞
次に、本発明の第３の実施形態による映像表示装置を説明する。図９は、第３実施形態による映像表示装置の構成を示すブロック図である。図２に示す映像表示装置と異なる点は、ＨＭＤ１５内に視線計測部１４を設けた点である。視線計測部１４は、映像表示部１２内のどこを見ているかを計測するものである。視線計測部１４は、顔の正面の方向を計測するのではなく、映像表示部１２に表示されている映像のどの部分を注目しているかを計測するものである。第３実施形態では、異なる複数の映像空間を俯瞰図の中に表示し、その映像空間の間を移動するものである。

【0039】

図１０は、異なる複数の映像空間を俯瞰図に表示した例を示す説明図である。図１０に示す俯瞰図において、Ａ１〜Ａ１６の１６個の映像空間が存在しており、これらの映像空間は、連続性を有していない。すなわち、映像空間Ａ１０と映像空間Ａ１１は、全く異なる映像空間である。俯瞰図を表示している間に所定の操作を行うと、映像記憶部２４に記憶されている複数の映像空間が映像表示部１２に表示される。

【0040】

ここで、観察者Ｈは、視線を動かして移動したい映像空間へ視線を移動し、所定時間視線の動きを止めることによって移動したい映像空間を選択する。この動作を視線計測部１４は計測し、映像配信部２へ送信する。これを受けて、映像配信部２は、視線で選択した映像空間に移動し、その映像空間の映像を映像表示部１２へ表示する。

【0041】

このように、非連続の映像空間の間を視線を動かすことによって移動することができるため、映像記憶部２４内に記憶されている異なる複数の映像空間の間を自由に移動することが可能となる。

【0042】

なお、複数空間の俯瞰図映像は、任意の位置で撮影された全天球映像をもとに、極座標変換を行い、極から見下ろしたようなリトルプラネットを用いることによって生成するようにしてもよい。また、複数の位置で撮影された全天球映像から、任意の位置のリトルプラットを生成してもよい。また、複数の映像空間の俯瞰図映像は、前述の表現方法に限定するものではなく、俯瞰図映像中の被写体の距離関係は実空間と一致している必要もない。また、複数空間の俯瞰図映像は、実空間での位置・方向関係に応じて表示するが、実空間の距離と一致している必要はない。観察者の位置は、姿勢計測部１３によって計測される。

【0043】

＜第４実施形態＞
次に、本発明の第４の実施形態による映像表示装置を説明する。図１１は、第４実施形態による映像表示装置の構成を示すブロック図である。図１に示す装置と異なる点は、観察者Ｈの手と足に手センサ３３、足センサ３４を装着した点である。手センサ３３と足センサ３４は、観察者Ｈの手足の動きを検出し、その結果を映像配信部２へ送信する。

【0044】

本実施形態においては、観察者の位置から視線方向に俯瞰した空間全体を表す俯瞰図映像に、映像を操作するための操作ボタンを重畳し、俯瞰図映像に重畳されたボタンの位置に、観測者の手足を移動させることによって、映像を操作するものである。図１２は、俯瞰図に４つの操作ボタンを重畳させた例を示す説明図である。

【0045】

観察者Ｈは、操作ボタン３５〜３８が表示された時点で、操作ボタンの位置に手や足を移動することにより、映像の操作を行うことができる。ここでいう映像の操作とは、映像の巻き戻し、早送り、再生開始、再生停止等を行うことである。これらの操作は、巻き戻しボタン３５、早送りボタン３６、再生開始ボタン３７、再生停止ボタン３８に対して手足を移動させることで操作を行う。

【0046】

なお、重畳するボタンは、丸や四角など幾何形状によって表現することもできるし、キャラクターやアイコンのような画像でも表現してもよい。

【0047】

また、手センサ３３、足センサ３４に代えて、観察者Ｈの手足の位置を、距離計測ジャイロセンサや加速度センサなどにより実現してもよいし、外部から光や電磁波を照射し、その反射や吸収を計測することで実現してもよい。また、観察者Ｈを撮影したカメラ映像から手足の位置を計測するようにしてもよい。

【0048】

＜第５実施形態＞
次に、本発明の第５の実施形態による映像表示装置を説明する。本実施形態では、観察者Ｈの手足の動作で俯瞰図映像を削除し、観察者の位置での全天球映像を表示する。これにより、観察者の位置から見た空間全体を見ることができる。

【0049】

観察者Ｈの手足の動作は、距離計測ジャイロセンサや加速度センサなどにより実現してもよいし、外部から光や電磁波を照射し、その反射や吸収を計測することで実現してもよい。また、観察者Ｈを撮影したカメラ映像から観察者Ｈの手足の動作を認識するようにしてもよい。

【0050】

このようにすることにより、通常の映像表示で自身の足下を見ることもできるようになる。

【0051】

＜第６実施形態＞
次に、本発明の第６の実施形態による映像表示装置を説明する。本実施形態では、映像空間全体の中から一部分を切り出した映像に表示されている被写体を観察者の手足で選択し、観察者から見た俯瞰映像にその被写体を重畳する。そして、俯瞰映像に提示された被写体の位置に、観測者の手足を移動させることによって、実世界の被写体を制御することができる。

【0052】

観察者Ｈの手足の位置は、距離計測ジャイロセンサや加速度センサなどにより実現してもよいし、外部から光や電磁波を照射し、その反射や吸収を計測することで実現してもよい。また、観察者Ｈを撮影したカメラ映像から観察者Ｈの手足の位置を計測するようにしてもよい。

【0053】

＜第７実施形態＞
次に、本発明の第７の実施形態による映像表示装置を説明する。本実施形態では、観察者以外の第三者の手足の動作によって、俯瞰映像を回転させたり、位置を指定したりすることで、観察者が見ている映像を切替えるものである。図１３は、第７実施形態による映像表示装置の構成を示すブロック図である。図１に示す装置構成と異なる点は、観察者ではない第三者の手足の動きを第三者センサによって計測し、その計測結果に応じて映像を操作するようにした点である。図１３において、第三者センサ４は、第三者Ｈ３の手足の動きを、外部から光や電磁波を照射し、その反射や吸収を計測することで実現してもよいし、第三者を撮影したカメラ映像から第三者Ｈ３の手足の動作を認識するようにしてもよい。

【0054】

このように第三者の動きを計測することにより、第三者Ｈ３が観察者Ｈ１に映像を見て欲しい場所などに誘導することができる。

【0055】

なお、第三者にもＨＭＤが装着されている場合は、距離計測ジャイロセンサや加速度センサなどＨＭＤに内蔵させることにより実現することもできる。

【0056】

＜第８実施形態＞
次に、本発明の第８の実施形態による映像表示装置を説明する。本実施形態においては、観察者の位置から視線方向に俯瞰した空間全体を表す俯瞰図映像に、イベントが発生している領域の情報（気づきやすいマーク表示など）を重畳し、俯瞰図映像を提示する。ここでのイベントとは、被写体の動きが激しい、音が発生しているなど、観察者Ｈの注目を引き付ける事象を意味する。イベントは、映像解析によって検出してもよいし、方向別集音装置の情報から推定してもよいし、検出方法は限定されるものではない。

【0057】

以上説明したように、観察者が下方向を見るという動作に応じて、映像空間全体を表す俯瞰図映像を表示することにより、映像空間全体を一度に把握することができる。また、観察者が視聴している映像と空間全体を表す映像の方向を一致させることにより、それらの関係性を直観的に把握することができる。この構成により、観察者が空間全体を表す映像を見たとき、空間全体の中からどこを見ればよいか直観的に把握することができる。

【0058】

また、映像空間全体を表す映像上に情報を重畳したり、俯瞰図映像上で手足を動かしたりすることで、観察者が見ている限られた視野のなかで映像および実物体を制御することができる。

【0059】

前述した実施形態における映像表示装置の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

【0060】

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

【産業上の利用可能性】

【0061】

現実と同様な体験をすることができる人工現実感の技術を使用して映像の表示を行う際に、空間全体を見渡す俯瞰図を表示することが不可欠な用途にも適用できる。

【符号の説明】

【0062】

Ｈ・・・観察者、１、１０、１５・・・ＨＭＤ（頭部搭載型ディスプレイ）、１１・・・通信部、１２・・・映像表示部、１３・・・姿勢計測部、１４・・・視線計測部、２・・・映像配信部、２１・・・通信部、２２・・・姿勢特定部、２３・・・映像生成部、２４・・・映像記憶部、３・・・姿勢センサ、３１・・・姿勢計測部、３２・・・通信部、３３・・・手センサ、３４・・・足センサ、３５、３６、３７、３８・・・操作ボタン、４・・・第三者センサ、１００・・・仮想カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】