特開 2024-32253 映像表示装置、映像表示方法、および映像表示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024032253

(43)【公開日】2024-03-12

(54)【発明の名称】映像表示装置、映像表示方法、および映像表示プログラム

(51)【国際特許分類】

   G06F 3/04815 20220101AFI20240305BHJP

   G06T 19/00 20110101ALI20240305BHJP

   G06F 3/01 20060101ALI20240305BHJP

   G06F 3/0346 20130101ALI20240305BHJP

   G09B 29/10 20060101ALI20240305BHJP

   G01C 21/26 20060101ALI20240305BHJP

   G08G 1/005 20060101ALI20240305BHJP

【ＦＩ】

G06F3/04815

G06T19/00 300B

G06F3/01 510

G06F3/0346 424

G09B29/10 A

G01C21/26 P

G08G1/005

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022135814

(22)【出願日】2022-08-29

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／００００００００１．００００８５１７４．ｈｔｍｌ ウェブサイトの掲載日：令和３年９月１日 〔刊行物等〕 ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｎｏｈｍｉ．ｃｏ．ｊｐ／ｉｎｆｏｒｍａｔｉｏｎ／ｋ／２０２１／ｒｑｉｍ３４０００００００ｗｖ０－ａｔｔ／ｋａｓａｉｒｉｎｊｏｔａｉｋｅｎ．ｐｄｆ ウェブサイトの掲載日：令和３年９月１日 〔刊行物等〕 ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／００００００００６．００００８５１７４．ｈｔｍｌ ウェブサイトの掲載日：令和４年４月１日 〔刊行物等〕 令和４年１月２７日 能美防災株式会社が能美防災株式会社市ヶ谷本社１階にて配布したパンフレットに掲載 〔刊行物等〕 令和３年９月２日 日刊工業新聞社が日刊工業新聞の令和３年９月２日付第７面にて公開 〔刊行物等〕 令和３年８月３１日 日本経済新聞社が日本経済新聞の令和３年８月３１日付電子版にて公開

(71)【出願人】

【識別番号】000233826

【氏名又は名称】能美防災株式会社

(71)【出願人】

【識別番号】511087729

【氏名又は名称】株式会社グランゼーラ

(74)【代理人】

【識別番号】100110423

【弁理士】

【氏名又は名称】曾我 道治

(74)【代理人】

【識別番号】100111648

【弁理士】

【氏名又は名称】梶並 順

(74)【代理人】

【識別番号】100147566

【弁理士】

【氏名又は名称】上田 俊一

(74)【代理人】

【識別番号】100161171

【弁理士】

【氏名又は名称】吉田 潤一郎

(74)【代理人】

【識別番号】100188514

【弁理士】

【氏名又は名称】松岡 隆裕

(72)【発明者】

【氏名】佐々木 聰文

(72)【発明者】

【氏名】西村 麻由美

【テーマコード（参考）】

2C032

2F129

5B050

5B087

5E555

5H181

【Ｆターム（参考）】

2C032HC23

2C032HC27

2C032HD16

2C032HD21

2C032HD23

2F129AA02

2F129EE02

2F129EE26

2F129EE52

2F129EE78

2F129EE79

2F129HH15

5B050AA03

5B050BA06

5B050BA09

5B050BA11

5B050BA12

5B050BA13

5B050CA07

5B050DA01

5B050EA04

5B050EA19

5B050EA26

5B050FA02

5B050FA05

5B087AA07

5B087AB02

5B087BC05

5B087DD03

5B087DE07

5E555AA06

5E555AA22

5E555AA26

5E555AA27

5E555AA64

5E555BA38

5E555BA83

5E555BA87

5E555BB38

5E555BC08

5E555BE16

5E555BE17

5E555CA10

5E555CA21

5E555CA29

5E555CA44

5E555CB02

5E555CB10

5E555CB21

5E555CB45

5E555CB47

5E555CB53

5E555CB55

5E555CB66

5E555CC05

5E555CC26

5E555DA08

5E555DB32

5E555DB51

5E555DB53

5E555DB57

5E555DC05

5E555DC09

5E555DC13

5E555DC19

5E555DC43

5E555DC45

5E555DC63

5E555DC72

5E555DD08

5E555EA05

5E555EA08

5E555EA11

5E555EA14

5E555FA00

5H181AA21

5H181FF14

5H181FF22

5H181FF33

5H181FF35

(57)【要約】

【課題】移動可能な地点に瞬時に移動して異なる視点から映像を視認することができる映像表示装置を得る。
【解決手段】ユーザの手動操作に基づく各種指令を生成する操作部１０と、移動地点特定指令を受信した場合に映像上の移動したい地点をポインタ表示するポインタ表示部２１と、ポインタ表示された地点が移動可能な地点であるかを判断する判断部２２とを備える。画面において、移動可能な地点である場合には、青色の放物線からなる第１の軌跡を映像上に表示し、移動不可能な地点である場合には、第１の軌跡と識別可能な赤色の放物線からなる第２の軌跡を、識別表示部２３が、映像上に表示する。第１の軌跡（青色の放物線）が表示されている状態では、移動可能な地点にユーザの視点を移動させ、第２の軌跡が（赤色の放物線）が表示されている状態では、ユーザの視点を移動させることができない。
【選択図】図１

【特許請求の範囲】

【請求項1】

表示された映像上において、ユーザの視点を移動させる映像表示装置であって、
ユーザの手動操作に基づいて、前記映像上の移動したい地点を特定する移動地点特定指令、および前記映像上のユーザの視点を移動させる視点移動指令を生成する操作部と、
前記操作部から前記移動地点特定指令を受信した場合には、前記映像上の前記移動したい地点をポインタ表示するポインタ表示部と、
ポインタ表示された前記移動したい地点が、ユーザが移動可能な地点であるか移動不可能な地点であるかを判断する判断部と、
前記移動したい地点が前記移動可能な地点であると前記判断部により判断された場合には、前記ユーザの視点から前記移動可能な地点に向かって第１の軌跡を前記映像上に表示し、前記移動したい地点が前記移動不可能な地点であると前記判断部により判断された場合には、前記ユーザの視点から前記移動不可能な地点に向かって前記第１の軌跡と識別可能な第２の軌跡を前記映像上に表示する識別表示部と、
前記第１の軌跡が表示されている状態において、前記視点移動指令を受信した場合には、前記移動可能な地点にユーザの視点を移動させ、前記第２の軌跡が表示されている状態において、前記視点移動指令を受信した場合には、ユーザの視点を移動させることなしに現状のユーザの視点を維持する視点移動制御部と
を備える映像表示装置。

【請求項2】

表示される前記映像上には、移動が禁止される移動禁止区域または移動が可能な移動可能な区域が設定され、移動禁止区域および移動可能な区域は、三次元で表される立体空間となる任意の大きさの直方体状のボックスを映像に積み重ねて配置され、
前記判断部は、ユーザが前記操作部によって指定したポインタの地点が、移動が禁止される移動禁止区域または移動が可能な移動可能な区域のいずれかであるかを判定する
請求項１に記載の映像表示装置。

【請求項3】

前記操作部は、ユーザの手動操作に基づいて、開閉可能な扉を閉状態から開状態に遷移させる開指令を生成し、
前記判断部は、ポインタ表示された前記移動したい地点が、開閉可能な扉の地点であるかを判断し、
前記識別表示部は、前記移動したい地点が前記開閉可能な扉の地点であると前記判断部により判断された場合には、前記ユーザの視点から前記開閉可能な扉の地点に向かって前記第１の軌跡および前記第２の軌跡と識別可能な第３の軌跡を前記映像上に表示し、
前記視点移動制御部は、前記第３の軌跡が表示されている状態において、前記開指令を受信した場合には、前記開閉可能な扉を開状態とし、前記開状態となったことで移動可能となる地点にユーザの視点を移動させる
請求項１または２に記載の映像表示装置。

【請求項4】

表示された映像上において、ユーザの視点を移動させる際に、コンピュータにより実行される映像表示方法であって、
前記コンピュータが、
ユーザの手動操作により前記映像上の移動したい地点を特定する移動地点特定指令を受信した場合には、前記映像上の移動したい地点をポインタ表示する工程と、
ポインタ表示された前記移動したい地点が、ユーザが移動可能な地点であるか移動不可能な地点であるかを判断する工程と、
前記移動したい地点が前記移動可能な地点であると判断した場合には、前記ユーザの視点から前記移動可能な地点に向かって、第１の軌跡を前記映像上に表示する工程と、
前記移動したい地点が前記移動不可能な地点であると判断した場合には、前記ユーザの視点から前記移動不可能な地点に向かって、前記第１の軌跡と識別可能な第２の軌跡を前記映像上に表示する工程と、
前記第１の軌跡が表示されている状態において、ユーザの手動操作により視点移動指令を受信した場合には、前記移動可能な地点にユーザの視点を移動させる工程と、
前記第２の軌跡が表示されている状態において、ユーザの手動操作により視点移動指令が選択された場合には、ユーザの視点を移動させることなしに現状のユーザの視点を維持する工程と
を実行する映像表示方法。

【請求項5】

表示された映像上において、ユーザの視点を移動させる映像表示プログラムであって、
コンピュータを、
ユーザの手動操作に基づいて、前記映像上の移動したい地点を特定する移動地点特定指令、および前記映像上のユーザの視点を移動させる視点移動指令を生成する操作部と、
前記操作部から前記移動地点特定指令を受信した場合には、前記映像上の前記移動したい地点をポインタ表示するポインタ表示部と、
ポインタ表示された前記移動したい地点が、ユーザが移動可能な地点であるか移動不可能な地点であるかを判断する判断部と、
前記移動したい地点が前記移動可能な地点であると前記判断部により判断された場合には、前記ユーザの視点から前記移動可能な地点に向かって第１の軌跡を前記映像上に表示し、前記移動したい地点が前記移動不可能な地点であると前記判断部により判断された場合には、前記ユーザの視点から前記移動不可能な地点に向かって前記第１の軌跡と識別可能な第２の軌跡を前記映像上に表示する識別表示部と、
前記第１の軌跡が表示されている状態において、前記視点移動指令を受信した場合には、前記移動可能な地点にユーザの視点を移動させ、前記第２の軌跡が表示されている状態において、前記視点移動指令を受信した場合には、ユーザの視点を移動させることなしに現状のユーザの視点を維持する視点移動制御部と
して機能させるための映像表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示された映像上において、ユーザの視点を移動させるための映像表示装置、映像表示方法、および映像表示プログラムに関するものである。

【背景技術】

【0002】

専用の「ヘッドマウントディスプレイ（ＨＭＤ：頭部装着型表示装置）」、あるいはゴーグル型の「ＶＲゴーグル」を顔に装着し、映像や音響で視覚と聴覚を刺激することで作り出された「仮想空間」であるにも関わらず、「現実と同等な体感」を得ることができる技術として、Ｖｉｒｔｕａｌ Ｒｅａｒｉｔｌｉ（バーチャルリアリティ：仮想現実）が普及している。例えば、ゲーム、疑似体験を行うシミュレーションシステム等にＶＲ技術が活用されている。

【0003】

具体例として、ユーザが仮想空間内で被操作体を移動させることで危機の疑似体験を行ったときの、被操作体の移動経路を視認することができる従来装置がある（例えば、特許文献１参照）。この従来装置によれは、ユーザは、危機の疑似体験を終了した後、被操作体の移動経路を視認して、被操作体を適切に操作できたか否かを判断することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－１２４６２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

バーチャルリアリティを活用した技術において被操作体を移動させる場合には、ユーザの操作に基づいて、移動可能な経路に従って被操作体を順次移動させながら、移動位置に応じた映像を表示するのが一般的である。すなわち、仮想空間内に存在している被操作体を移動させることで、自らが仮想空間内をあたかも実際に移動したかの状態を模擬している。

【0006】

しかしながら、例えば、火災臨場体験を行うためにバーチャルリアリティを活用するようなシミュレーションシステムの場合には、体験者に実際の避難経路を疑似体験してもらうだけではなく、異なる視点における火災発生状況の模擬体験も行いたい場合がある。具体的には、オフィス内で火災が発生した場合を考えると、ある決まった位置からの避難経路を疑似体験するだけではなく、種々の場所にいち早く移動して、異なるそれぞれの視点での火災臨場体験を行うことも重要となる。

【0007】

換言すると、現実の移動速度で仮想空間内を移動する疑似体験を行うだけでなく、移動可能な地点に瞬時に移動して仮想空間内での異なる視点で疑似体験を行うことができる技術が望まれる。また、仮想空間に限られず、実際に撮像された映像空間においても、移動可能な地点に瞬時に移動して異なる視点から映像を視認することができる技術が望まれる。

【0008】

本開示は、上記の課題を解決するためになされたものであり、移動可能な地点に瞬時に移動して異なる視点から映像を視認することができる映像表示装置、映像表示方法、および映像表示プログラムを得ることを目的とする。

【課題を解決するための手段】

【0009】

本開示に係る映像表示装置は、表示された映像上において、ユーザの視点を移動させる映像表示装置であって、ユーザの手動操作に基づいて、映像上の移動したい地点を特定する移動地点特定指令、および映像上のユーザの視点を移動させる視点移動指令を生成する操作部と、操作部から移動地点特定指令を受信した場合には、映像上の移動したい地点をポインタ表示するポインタ表示部と、ポインタ表示された移動したい地点が、ユーザが移動可能な地点であるか移動不可能な地点であるかを判断する判断部と、移動したい地点が移動可能な地点であると判断部により判断された場合には、ユーザの視点から移動可能な地点に向かって第１の軌跡を映像上に表示し、移動したい地点が移動不可能な地点であると判断部により判断された場合には、ユーザの視点から移動不可能な地点に向かって第１の軌跡と識別可能な第２の軌跡を映像上に表示する識別表示部と、第１の軌跡が表示されている状態において、視点移動指令を受信した場合には、移動可能な地点にユーザの視点を移動させ、第２の軌跡が表示されている状態において、視点移動指令を受信した場合には、ユーザの視点を移動させることなしに現状のユーザの視点を維持する視点移動制御部とを備えるものである。

【0010】

また、本開示に係る映像表示方法は、表示された映像上において、ユーザの視点を移動させる際に、コンピュータにより実行される映像表示方法であって、コンピュータが、ユーザの手動操作により映像上の移動したい地点を特定する移動地点特定指令を受信した場合には、映像上の移動したい地点をポインタ表示する工程と、ポインタ表示された移動したい地点が、ユーザが移動可能な地点であるか移動不可能な地点であるかを判断する工程と、移動したい地点が移動可能な地点であると判断した場合には、ユーザの視点から移動可能な地点に向かって、第１の軌跡を映像上に表示する工程と、移動したい地点が移動不可能な地点であると判断した場合には、ユーザの視点から移動不可能な地点に向かって、第１の軌跡と識別可能な第２の軌跡を映像上に表示する工程と、第１の軌跡が表示されている状態において、ユーザの手動操作により視点移動指令を受信した場合には、移動可能な地点にユーザの視点を移動させる工程と、第２の軌跡が表示されている状態において、ユーザの手動操作により視点移動指令が選択された場合には、ユーザの視点を移動させることなしに現状のユーザの視点を維持する工程とを実行するものである。

【0011】

また、本開示に係る映像表示プログラムは、表示された映像上において、ユーザの視点を移動させる映像表示プログラムであって、コンピュータを、ユーザの手動操作に基づいて、映像上の移動したい地点を特定する移動地点特定指令、および映像上のユーザの視点を移動させる視点移動指令を生成する操作部と、操作部から移動地点特定指令を受信した場合には、映像上の移動したい地点をポインタ表示するポインタ表示部と、ポインタ表示された移動したい地点が、ユーザが移動可能な地点であるか移動不可能な地点であるかを判断する判断部と、移動したい地点が移動可能な地点であると判断部により判断された場合には、ユーザの視点から移動可能な地点に向かって第１の軌跡を映像上に表示し、移動したい地点が移動不可能な地点であると判断部により判断された場合には、ユーザの視点から移動不可能な地点に向かって第１の軌跡と識別可能な第２の軌跡を映像上に表示する識別表示部と、第１の軌跡が表示されている状態において、視点移動指令を受信した場合には、移動可能な地点にユーザの視点を移動させ、第２の軌跡が表示されている状態において、視点移動指令を受信した場合には、ユーザの視点を移動させることなしに現状のユーザの視点を維持する視点移動制御部として機能させるためのものである。

【発明の効果】

【0012】

本開示によれば、移動可能な地点に瞬時に移動して異なる視点から映像を視認することができる映像表示装置、映像表示方法、および映像表示プログラムを得ることができる。

【図面の簡単な説明】

【0013】

【図1】本開示の実施の形態１における映像表示装置の全体構成を示した図である。

【図2】本開示の実施の形態１における映像表示装置によって実施される映像処理方法の一連処理を示したフローチャートである。

【図3】本開示の実施の形態１における映像表示装置を利用した際に表示部に表示される表示画面例として第１表示画面および第２表示画面を示した図である。

【図4】本開示の実施の形態１における映像表示装置を利用した際に表示部に表示される表示画面例として第３表示画面および第４表示画面を示した図である。

【図5】本開示の実施の形態１における映像表示装置を利用した際に表示部に表示される表示画面例として第５表示画面および第６表示画面を示した図である。

【図6】本開示の実施の形態１における映像表示装置を利用した際に表示部に表示される表示画面例として第７表示画面および第８表示画面を示した図である。

【図7】本開示の実施の形態１における映像表示装置を利用した際に表示部に表示される表示画面例として第９表示画面および第１０表示画面を示した図である。

【図8】本開示の実施の形態１における映像表示装置を利用した際に表示部に表示される表示画面例として第１１表示画面および第１２表示画面を示した図である。

【図9】本開示の実施の形態１における映像表示装置を利用した際に表示部に表示される表示画面例として第１３表示画面～第１５表示画面を示した図である。

【図10】本開示の実施の形態１における映像表示装置を利用した際に表示部に表示される表示画面例として第１６表示画面～第１８表示画面を示した図である。

【図11】本開示の実施の形態１における映像表示装置を利用した際に表示部に表示される表示画面例として第１９表示画面～第２１表示画面を示した図である。

【図12】本開示の実施の形態１における映像表示装置を利用した際に表示部に表示される表示画面例として第２２表示画面～第２４表示画面を示した図である。

【発明を実施するための形態】

【0014】

以下、本開示の映像表示装置、映像表示方法、および映像表示プログラムの好適な実施の形態につき、図面を用いて説明する。
本開示に係る映像表示装置、映像表示方法、および映像表示プログラムは、ユーザの手動操作に基づいて選択された移動地点について、移動可能な地点への移動軌跡と、移動不可能な地点への移動軌跡とを識別表示し、移動可能な地点に瞬時に移動して異なる視点から映像を視認することができる構成を備えることを技術的特徴とするものである。

【0015】

実施の形態１．
図１は、本開示の実施の形態１における映像表示装置の全体構成を示した図である。本実施の形態１に係る映像表示装置は、操作部１０、表示制御処理部２０、および表示部３０を備えて構成されている。

【0016】

操作部１０は、ユーザによって所持され、ユーザによる手動操作に従って生成した各種指令を表示制御処理部２０に与えるコントローラーに相当する。

【0017】

表示制御処理部２０は、操作部１０から受信した各種指令に基づいて表示部３０に表示される映像の表示制御を実行することで、ユーザに対して、各種指令に応じた適切な映像（画像）を提供する。

【0018】

表示制御処理部２０は、ポインタ表示部２１、判断部２２、識別表示部２３、および視点移動制御部２４を備えて構成されている。各構成要素の具体的な機能については、図２～図１２を用いて後述する。なお、画像に設定（配置）される後述する「不動地形」、「移動禁止区域」、「アクション」という３つの画像の特性は、この表示制御処理部２０が、その設定の処理を行う。また、判断部２２が、後述する、画像において設定された「移動禁止区域」、「移動可能な区域」の設定状況に基づいて、ユーザが操作部１０によってポインタで指定した地点が、移動が可能な地点であるか否かを判断する。

【0019】

表示部３０は、ユーザに対して、各種指令に応じた適切な映像を提供するものであり、一例として、ユーザが装着するヘッドマウントディスプレイによって実現される。

【0020】

以下では、表示部３０としてヘッドマウントディスプレイを用い、ヘッドマウントディスプレイを装着したユーザが、操作部１０を用いた手動操作に基づいて火災臨場体験を行う場合を具体例として、図２～図１２を参照しがら、本開示の映像表示装置の機能を説明する。

【0021】

図２は、本開示の実施の形態１における映像表示装置によって実施される映像処理方法の一連処理を示したフローチャートである。また、図３～図１２は、本開示の実施の形態１における映像表示装置を利用した際に表示部３０に表示される表示画面例を示した図である。

【0022】

図２のフローチャートを説明する前に、表示部３０としてヘッドマウントディスプレイを装着したユーザが、操作部１０であるコントローラーを手で保持しながら行うことができるアクションについて、まず初めに説明する。

【0023】

ユーザは、ヘッドマウントディスプレイを装着した状態で、頭を移動させることで、ヘッドマウントディスプレイに表示された仮想空間の映像を、所望の視線方向の映像に移動させて視認することができる。すなわち、ユーザは、頭を移動させて視線方向をずらすことで、現在位置から見た任意の視線方向の映像を視認することができる。

【0024】

さらに、ユーザは、コントローラーに設けられたトリガーボタンを押し続けることで、表示部３０に表示されている映像内にレーザーポインタを照射させることができる。ユーザは、手で保持しているコントローラーの方向を移動させることで、レーザーポインタを移動させることができ、映像上の移動したい地点を選択することができる。

【0025】

そして、ユーザは、映像上の移動したい地点を選択できた状態で、トリガーボタンを離すことで、選択した地点が移動可能な地点であれば、瞬時にその地点に移動することができる。

【0026】

トリガーボタンを用いたこのようなユーザによるアクションによって、コントローラーである操作部１０からは、表示制御処理部２０に対して次のような２種類の指令が出力されることとなる。
・ユーザがトリガーボタンを押し続けている状態では、移動したい地点にレーザーポインタを照射させるために、移動地点特定指令が出力される。
・ユーザがトリガーボタンを押すことをやめるように切り替えた状態では、選択している移動したい地点に視点を移動することを試みるために、視点移動指令が出力される。

【0027】

ユーザによるこのようなアクションが行われることを前提とした上で、表示制御処理部２０により実行される一連処理について、図２を用いて詳細に説明する。なお、図２の説明では、ユーザが頭を移動させることで、ヘッドマウントディスプレイに表示された仮想空間の映像を、所望の視線方向の映像に移動させる制御に関しては省略しており、「移動地点特定指令」および「視点移動指令」に対する制御動作を中心に説明する。

【0028】

ステップＳ２０１において、ポインタ表示部２１は、映像上の移動したい地点を特定する移動地点特定指令を操作部１０から受信したか否かを判断する。ポインタ表示部２１は、操作部１０から移動地点特定指令を受信した場合には、ステップＳ２０２に進み、映像上の移動したい地点を映像上にポインタ表示する。すなわち、ポインタ表示部２１は、ユーザの手動操作に応じて、移動したい地点として設定された位置にポインタを表示させることができる。

【0029】

次に、ステップＳ２０３において、判断部２２は、ポインタ表示された移動したい地点が、ユーザが移動可能な地点であるか移動不可能な地点であるかを判断する。例えば、ユーザにより移動したい地点として選択された場所が、映像上で歩行可能な床面、廊下、道路などである場合には、判断部２２は、ポインタ表示された地点を移動可能な地点と判断する。

【0030】

一方、ユーザにより移動したい地点として選択された場所が、映像上で机、壁、建物などである場合には、判断部２２は、ポインタ表示された地点を移動不可能な地点と判断する。

【0031】

すなわち、判断部２２は、表示部３０に表示される仮想空間の映像データから、移動可能な地点か、移動不可能な地点かを判断することができる。ステップＳ２０３においてＹＥＳと判断された場合には、ステップＳ２０４以降の処理に進む。一方、ステップＳ２０３においてＮＯと判断された場合には、ステップＳ２０７以降の処理に進む。

【0032】

ステップＳ２０３において移動したい地点が移動可能な地点であると判断部２２により判断されたことでステップＳ２０４に進んだ場合には、識別表示部２３は、ユーザの視点から移動可能な地点に向かって第１の色（例えば青色）により移動経路の軌跡を映像上に表示させる。

【0033】

次に、ステップＳ２０５において、視点移動制御部２４は、第１の色による軌跡が表示されている状態において、視点移動指令を操作部１０から受信したか否かを判断する。そして、視点移動制御部２４は、ステップＳ２０５でＹＥＳと判断した場合には、ステップＳ２０６に進み、移動可能地点にユーザの視点を移動させた後の映像を表示部３０に表示させた後、ステップＳ２０１に戻る。

【0034】

一方、視点移動制御部２４は、ステップＳ２０５でＮＯと判断した場合には、ステップＳ２０１に戻る。従って、ステップＳ２０１に戻ることで、ユーザは、映像上の移動したい地点を特定する操作を継続して行うことができる。

【0035】

ステップＳ２０３において移動したい地点が移動不可能な地点であると判断部２２により判断されたことでステップＳ２０７に進んだ場合には、判断部２２は、さらに、ポインタ表示された移動したい地点が、開閉可能な扉部分であるか否かを判断する。ステップＳ２０７においてＮＯと判断された場合には、ステップＳ２０８以降の処理に進む。一方、ステップＳ２０７においてＹＥＳと判断された場合には、ステップＳ２１１以降の処理に進む。

【0036】

ステップＳ２０７において移動したい地点が開閉可能な扉部分ではないと判断部２２により判断されたことでステップＳ２０８に進んだ場合には、識別表示部２３は、ユーザの視点から移動不可能な地点に向かって第２の色（例えば赤色）により移動経路の軌跡を映像上に表示させる。

【0037】

次に、ステップＳ２０９において、視点移動制御部２４は、第２の色による軌跡が表示されている状態において、視点移動指令を操作部１０から受信したか否かを判断する。そして、視点移動制御部２４は、ステップＳ２０９でＹＥＳと判断した場合には、ステップＳ２１０に進み、ユーザの視点を移動させることなしに現状のユーザの視点を維持した映像を表示部３０に表示させた後、ステップＳ２０１に戻る。

【0038】

一方、視点移動制御部２４は、ステップＳ２０９でＮＯと判断した場合には、ステップＳ２０１に戻る。従って、ステップＳ２０１に戻ることで、ユーザは、映像上の移動したい地点を特定する操作を継続して行うことができる。

【0039】

ステップＳ２０７において移動したい地点が開閉可能な扉部分であると判断部２２により判断されたことでステップＳ２１１に進んだ場合には、識別表示部２３は、ユーザの視点から開閉可能な扉部分に向かって第３の色（例えば緑色）により移動経路の軌跡を映像上に表示させる。

【0040】

次に、ステップＳ２１２において、視点移動制御部２４は、第３の色による軌跡が表示されている状態において、視点移動指令を操作部１０から受信したか否かを判断する。そして、視点移動制御部２４は、ステップＳ２１２でＹＥＳと判断した場合には、ステップＳ２１３に進み、扉部分を開状態に遷移させ、扉の外側の移動可能地点にユーザの視点を移動させた後の映像を表示部３０に表示させた後、ステップＳ２０１に戻る（図９参照）。

【0041】

一方、視点移動制御部２４は、ステップＳ２１２でＮＯと判断した場合には、ステップＳ２０１に戻る。従って、ステップＳ２０１に戻ることで、ユーザは、映像上の移動したい地点を特定する操作を継続して行うことができる。

【0042】

なお、ステップＳ２１２における判断処理に当たっては、視点移動指令の代わりに、扉開指令を操作部１０から出力するような構成を採用することも可能である。

【0043】

本実施の形態１の映像表示装置の具体的な例は、火災や地震などの災害時における避難の仕方を学習するためのシミュレーション装置である。シミュレーション装置においては、建物または都市のマップが与えられ、火災などの災害が発生した際に、マップ上において安全な地点まで移動する避難経路を確認する体験を仮想空間で体験できるものとなっている。

【0044】

次に、図２のフローチャートで説明した内容について、少し具体的に説明する。ここでは、画像において、移動可能な地点か、移動不可能な地点かを判断する手法について言及する。

【0045】

表示部３０によって表示される画像においては、以下に示す３つの区域が設定されている。なお、これら３つの区域は、画像上では目に見えないもので、表示制御処理部２０によって、マイコン等によって制御処理されるものである。１つ目は、「不動地形」と呼ばれる区域である。これは、配置されてから、プレイ中に移動しない地形を示す。例えば、「地面」や「ビル群」、「ビル内の床、壁、天井」のように、ものとして見た目はありますが、その場所から動かないものが「不動地形」となる。

【0046】

２つ目は、「移動禁止区域」と呼ばれる区域である。これは、シミュレーションをプレイするユーザが、ビル群、天井、壁面など移動してほしくない場所に配置される区域であり、移動が禁止される区域を示す。なお、ある画像において、「不動地形」や「移動禁止区域」といった区域を二次元平面的に設定することも可能であるが、本実施例では、三次元で表される立体空間となる任意の大きさの直方体状のボックスを画像に設定することで、その画像に「不動地形」や「移動禁止区域」といった画像の特性を設定するようにしてある。

【0047】

複数の直方体状のボックスを積み重ねて配置することで、複雑な形の移動禁止区域等を設定することも可能である。「移動禁止区域」は、見た目上は透明であり、視認することはできない。

【0048】

３つ目は「アクション」と呼ばれる区域で、移動以外の特殊行動（例えば、扉を開放する）を発生させるために、配置した区域となる。なお、全ての画像の領域には、これら「不動地形」、「移動禁止区域」、「アクション」という特性が少なくとも１つは割り当てられており、画像のある地点（場所）によっては、複数の特性、例えば、「不動地形」、「移動禁止区域」の２つが割り当てられることもある。

【0049】

一例として、図６で示される画像のビル群の箇所には、少し小さめ目のブロックからなる不動地形が設定され、その不動地形のブロック全体を覆うブロックからなる移動禁止区域が設定されることもある。このような区域が重複する場合であっても、ユーザのポインタが先にあたったところの区域を判定するため、同時に複数の区域が判定されることはない。

【0050】

移動できるようにしたい「不動地形」の場合は、「移動可能な区域」を「移動禁止区域」のように直方体状のブロックで重ねて配置する必要がある。「移動可能な区域」が設定されてなく、「不動地形」のみが配置されている場合は、表示制御処理部２０の判断部２２によって、移動可能な場所として認識しないため、その場所には移動することはできない。

【0051】

それでは、移動時における判定処理について説明する。「不動地形」、「移動禁止区域」、「アクション」の各区域に、操作部１０であるコントローラーによって指定されたポインタが当たった場合における判定処理は、以下の手順（１）～（３）のとおりとなる。

【0052】

（１）操作部１０からのポインタが「不動地形」に当たった場合
操作部１０からでる放物線の先端部分が不動地形に当たった場合、その不動地形が、移動禁止区域とアクションではないことを確認して、両方に該当しない場合は、次の手順に進む。不動地形に当たった場所から、ＸＹＺ軸方向で各々一定距離の範囲で、移動可能な場所があるかを判定して、移動可能な場所がある場合、その地点は、移動可能な場所と認識する。つまり、移動判定処理の最後で、移動可能な場所と認識され、画面上のポインタを青色に変える。

【0053】

この移動可能な場合の判定について少し補足する。ＸＹＺ軸方向で各々一定距離の範囲で移動可能な場所があるかを判定、つまり、画面において、ユーザのポインタが当たった場所から、上下、左右、前後それぞれに方向において、例えば１ｍの範囲で移動可能として判定される座標を探し、移動可能な座標の中で、一番近い場所が移動する場所として指定される。なお、移動が可能かの判定では、前述の「移動可能な区域」として設定されている必要がある。

【0054】

なお、移動禁止区域またはアクションのどちらかであると認識された場合、または、ＸＹＺ軸方向で各々一定距離の範囲で、移動可能な場所がないと認識された場合には、そのポイントされた地点は、移動不可能の場所として認識されて、画面のポインタを赤色に変える。

【0055】

（２）操作部１０からのポインタが「移動禁止区域」に当たった場合
操作部１０からでる放物線の先端部分が移動禁止区域に当たった場合、移動できない場所と認識する。このため、移動処理の最後で、移動できない場所と認識するため、ポインタを赤色に変える。

【0056】

（３）操作部１０からのポインタが「アクション」に当たった場合
操作部１０からでる放物線の先端部分がアクションに当たった場合、移動できない場所と認識するとともに、アクションを起こすオブジェクトがあると認識する。そして、移動判定処理の最後で、移動できない場所より、アクションを起こすオブジェクトが利用可能なものかを優先して認識して、ポインタを緑色に変える。もし、アクションを起こすオブジェクトが利用不可能な場合には、移動できる場所であるかで色が決まるため、ポインタを赤色に変える。

【0057】

表示部３０に表示される種々の表示画面例について、図３～図１２にまとめた第１表示画面～第２４表示画面を用いて補足説明する。

【0058】

なお、これらの表示画面例では、第１の色を青色、第２の色を赤色、第３の色を緑色とした場合を前提として説明する。図３～図１２に示したような濃淡画像として見た場合には識別が困難であるが、実際の画面上では、図中における第１の軌跡Ｃ１は青色、第２の軌跡Ｃ２は赤色、第３の軌跡Ｃ３は緑色として識別表示され、ユーザは、移動したい地点として指定した場所がどの区域であるかを、表示色から容易に識別することができる。

【0059】

図３では、オフィス内に机、椅子、人が配置されている状態の映像が表示部３０に表示された場合を例示している。第１表示画面においては、ユーザの操作部１０により選択された地点が移動可能な床面であるため、第１の色である青色による第１の軌跡Ｃ１が表示されている。

【0060】

なお、この後に説明する図３～図８に示す画像は、いずれも２枚の画像をセットにした図面であって、基本、同じ場所の画像、つまりユーザの視点から見て同じ画像を示してある。そして操作部１０の操作によって、一方の画像には、移動可能なことを示す青色の放物線（場合によっては直線になる場合もある）が表示される。そして、他方の画像には、操作部１０によって操作されたポインタが移動禁止区域にあたるため、移動が不可能なことを示す赤色の放物線（場合によっては直線になる場合もある）が表示されている。

【0061】

一方、第１表示画面と同じ場所の画像である第２表示画面においては、ユーザにより選択された地点が移動不可能な机部分であるため、第２の色である赤色による第２の軌跡Ｃ２が表示されている。軌跡Ｃ１、Ｃ２は、基本的には放物線により表示される。放物線の基端側は、画面下方の任意の場所から出るが、操作部１０の操作によっては、第１表示画面に示すように、操作者の手が画面上に表示され、そこから放物線の表示が行われる。

【0062】

図４では、オフィス内においてパーティションで仕切られた手前の区画と奥の区画とが存在する状態の映像が表示部３０に表示された場合を例示している。第３表示画面においては、ユーザにより選択された地点が手前の第１区画であるため、移動可能として第１の色による第１の軌跡Ｃ１が表示されている。

【0063】

一方、第４表示画面においては、ユーザにより選択された地点が奥の第２区画であるため、より正確には、選択された地点が「移動禁止区域」であるため、移動不可能として第２の色による第２の軌跡Ｃ２が表示されている。表示画面において、青色の軌跡Ｃ１が表示された場合には、その放物線の先端が示す地点へと移動（ジャンプまたはワープともいう）できる。

【0064】

ここで、表示画面において、かなり遠方の地点をポインタで選択しても、移動できないような設定にしてある。これは、災害時の避難経路を体験するにあたり、一瞬で遠方まで移動できる仕様であると、現実感がなく、シミュレーションの学習効果が低下するのを防止するためである。

【0065】

図５では、建物内における非常階段に続く廊下の映像が表示部３０に表示された場合を例示している。第５表示画面においては、ユーザにより選択された地点が移動可能な廊下面であるため、第１の色による第１の軌跡Ｃ１が表示されている。一方、第６表示画面においては、ユーザにより選択された地点が移動不可能な壁部分であるため、第２の色による第２の軌跡Ｃ２が表示されている。

【0066】

なお、識別表示部２３は、第５表示画面および第６表示画面中に示したように、「非常階段を目指してください」といったガイダンスメッセージを適宜表示することも可能である。

【0067】

図６では、手前側が歩道、奥側が車線の先にビル群がある状態の映像が表示部３０に表示された場合を例示している。第７表示画面においては、ユーザにより選択された地点が移動可能な歩道部分であるため、第１の色による第１の軌跡Ｃ１が表示されている。一方、第８表示画面においては、ユーザにより選択された地点が移動不可能なビルであるため、第２の色による第２の軌跡Ｃ２が表示されている。

【0068】

これも前述したとおり、この画面には、見た目上にはわからないが、表示制御処理部２０によって、「移動禁止区域」が、ビル群が表示された部分に設定されているためである。一方、第７表示画面における移動が可能なことを示す青色表示は、ポイントされた地点が「不動地形」であって、そのポイントされた場所から、ＸＹＺ軸方向で各々一定距離の範囲で、移動可能な場所があると判定されるため、ポインタが第１の色（青色）となる。

【0069】

図７では、歩道上を進む状態の映像が表示部３０に表示された場合を例示している。第９表示画面においては、ユーザにより選択された地点が移動可能な歩道部分であるため、第１の色による第１の軌跡Ｃ１が表示されている。一方、第１０表示画面においては、ユーザにより選択された地点が移動不可能なビルであるため、第２の色による第２の軌跡Ｃ２が表示されている。

【0070】

図８では、横断歩道を進む状態の映像が表示部３０に表示された場合を例示している。第１１表示画面においては、ユーザにより選択された地点が移動可能な横断歩道部分であるため、第１の色による第１の軌跡Ｃ１が表示されている。一方、第１２表示画面においては、ユーザにより選択された地点が移動不可能な人と干渉する部分であるため、第２の色による第２の軌跡Ｃ２が表示されている。

【0071】

図９では、扉部分を閉状態から開状態に遷移させて扉の外側に移動する際の映像が表示部３０に表示された場合を例示している。第１３表示画面においては、ユーザにより選択された地点が移動不可能な扉部分であるため、第３の色である緑色による第３の軌跡Ｃ３が表示されている。

【0072】

このように、操作部１０からでる放物線の先端部分が「アクション」である扉というオブジェクトに当たった場合には、移動できない場所と認識するとともに、アクションを起こすオブジェクトがあると認識する。そして、移動判定処理の最後で、移動できない場所より、アクションを起こすオブジェクトが利用可能なものであると優先して認識して、ポインタを緑色に変える。

【0073】

一方、第１４表示画面においては、第３の色による第３の軌跡Ｃ３が表示されている状態で、ユーザが扉を開く指令を出力したことにより扉部分が開状態となった状態が示されている。さらに、第１４表示画面においては、扉が開状態となることで、扉の外側における移動可能な地点が選択可能となり、第１の色による第１の軌跡Ｃ１が表示されている。

【0074】

第１５表示画面においては、第１４表示画面で選択された移動可能な地点に移動した状態が表示されている。このような一連の操作により、ユーザは、開閉可能な扉部分を通過して、扉の外側に移動することができる。このようにして、ユーザは、火災が発生した部屋（図１１参照）から脱出することができる。

【0075】

なお、識別表示部２３は、第１４表示画面および第１５表示画面中に示したように、「非常階段を目指してください」といったガイダンスメッセージを適宜表示することも可能である。非常階段まで移動ができたら、避難を完了したものとして、シミュレーションは終了となる。

【0076】

図１０では、ユーザによる手動操作に基づいて、移動可能な地点に順次移動した状態を時系列的に例示している。第１６表示画面において選択した地点に移動した状態が第１７表示画面であり、さらに、第１７表示画面において選択した地点に移動した状態が第１８表示画面である。

【0077】

言い換えると、第１６表示画面において選択した地点に移動した状態におけるユーザの視点で見える画面が、第１７表示画面であり、さらに、第１７表示画面において選択した地点（青色の軌跡Ｃ１の先端部分）に移動した状態におけるユーザの視点で見える画面が、第１８表示画面である。このようにして、ユーザは、仮想空間内で移動可能な所望の位置に瞬時に移動して、それぞれの地点で疑似体験を行うことができ、さらに、次に移動したい地点を即座に選択することができる。

【0078】

火災や地震などの災害時におけるシミュレーション装置では、ある一定の大きさの建物または都市のマップが与えられ、広大なマップ上において操作部を操作して、安全な地点まで移動することになる。このため、ヘッドマウントディスプレイをつけた状態で、火災が発生した部屋から非常階段の箇所までの移動完了に時間を要すると、長い時間操作をすることになり、いわゆるＶＲ酔いを起こしやすい。

【0079】

その点、本実施の形態では、マップ上の移動においては、表示された画面において、順次、移動したい地点を指定し、ジャンプ（ワープ）しながら移動を行えるので、速やかに与えられたマップ上を移動でき、操作時間が必要以上に長くなることを防止できるため、ＶＲ酔いを起こしにくいという効果を得ることができる。

【0080】

図１１では、室内で火災が発生している状態を、異なる３つの地点から見た状態を例示している。ユーザは、種々の地点に移動した後に、第１９表示画面～第２１表示画面に示すように、同一の火災を異なる視点から視認することができ、種々の視点位置から火災発生状態を擬似体験することができる。

【0081】

なお、識別表示部２３は、第１９表示画面および第２０表示画面中に示したように、「廊下を目指してください」といったガイダンスメッセージを適宜表示することも可能である。

【0082】

図１２では、火災が発生している状態を、異なる３つの高さの視点から見た状態を例示している。特に、室内で煙が発生した場合には、同じ地点であっても、高さにより視界が全く異なる。そこで、表示制御処理部２０は、ヘッドマウントディスプレイを装着したユーザの視線高さに関する情報を取得することで、表示部３０に表示させる映像を、視線高さに応じてずらす処理を行う。この結果、第２２表示画面～第２４表示画面に示すように、ユーザは、同一地点における種々の視点高さから火災発生状態を擬似体験することができる。

【0083】

なお、識別表示部２３は、第１４表示画面および第１５表示画面中に示したように、「非常階段を目指してください」といったガイダンスメッセージを適宜表示することも可能である。

【0084】

上述した図３～図１２に示した表示画面例では、異なる色を用いて移動可能地点であるか移動不可能地点であるかを識別可能に表示しているが、異なる色の代わりに異なる線種、異なる形状、異なる太さ等によって識別可能に表示することも可能である。

【0085】

さらに、軌跡の移動先である地点を示す先端部分の形状を、移動可能地点と移動不可能地点とで異ならせることも考えられる。例えば、移動可能地点であれば、図９の第１４表示画面で示したように、先端部分に矢印表示を付加することで、移動可能であることをより強調することができる。

【0086】

この点、移動不可の場合には、ポインタの先端部分は単なる潰れた円形だけの表示となっており、軌跡Ｃ１、Ｃ２は色だけでなく形状も異ならせることで、ユーザに、移動が可能か不可能であるかが一目でわかるようにしてある。

【0087】

また、移動不可能地点であっても、開閉可能な扉部分である第３の軌跡を表示する際には、図９の第１３表示画面に示したように、先端部分に楕円などによる表示を付加することで、開閉可能であることをより強調することができる。

【0088】

以上のように、実施の形態１によれば、ユーザの手動操作に基づいて選択された移動地点について、移動可能な地点への移動軌跡と、移動不可能な地点への移動軌跡とを識別表示するとともに、移動可能な地点に瞬時に移動して異なる視点から映像を視認することができる構成を備えている。

【0089】

この結果、現実の移動速度で仮想空間内を移動する疑似体験を行うだけでなく、移動可能な地点に瞬時に移動して仮想空間内での異なる視点で疑似体験を行うことができる映像表示を実現することができる。

【0090】

なお、上述した実施の形態１では、ヘッドマウントディスプレイを用いたシミュレーションシステムにおいて、火災の臨場体験を行う場合を例示したが、本開示に係る映像表示技術は、この適用例には限定されない。ユーザによる操作入力に基づいて移動可能な地点に瞬時に移動し、異なる視点からの映像表示を提供する種々の用途に適用可能である。また、表示部としてヘッドマウントディスプレイ以外のディスプレイ装置を用いることも可能である。

【0091】

また、上述した実施の形態１では、図１に示した構成を備える映像表示装置、および図２に示した一連処理の工程を実行する映像処理方法について説明したが、これに限定されない。本開示は、コンピュータを図１に示した構成として機能させるための映像表示プログラムとすることも含むものである。

【符号の説明】

【0092】

１０ 操作部、２０ 表示制御処理部、２１ ポインタ表示部、２２ 判断部、２３ 識別表示部、２３ 判断部、２４ 視点移動制御部、３０ 表示部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】