特開 2024-102951 ＶＲ空間表示システム、ＶＲ空間表示制御システム、ＶＲ空間表示制御方法、ＶＲ空間表示制御プログラム、ＶＲ空間表示制御方法およびＶＲ空間表示制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024102951

(43)【公開日】2024-08-01

(54)【発明の名称】ＶＲ空間表示システム、ＶＲ空間表示制御システム、ＶＲ空間表示制御方法、ＶＲ空間表示制御プログラム、ＶＲ空間表示制御方法およびＶＲ空間表示制御プログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240725BHJP

   H04N 13/117 20180101ALI20240725BHJP

   H04N 13/344 20180101ALI20240725BHJP

   H04N 13/122 20180101ALI20240725BHJP

   G06F 3/04815 20220101ALI20240725BHJP

   G06T 19/00 20110101ALI20240725BHJP

【ＦＩ】

G06F3/01 510

H04N13/117

H04N13/344

H04N13/122

G06F3/04815

G06T19/00 A

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2023007049

(22)【出願日】2023-01-20

(71)【出願人】

【識別番号】523023454

【氏名又は名称】株式会社ＭＡＴＲＩＸ

(74)【代理人】

【識別番号】100131451

【弁理士】

【氏名又は名称】津田 理

(74)【代理人】

【識別番号】100167933

【弁理士】

【氏名又は名称】松野 知紘

(72)【発明者】

【氏名】米倉 豪志

【テーマコード（参考）】

5B050

5C061

5E555

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050BA11

5B050CA07

5B050EA09

5B050EA12

5B050EA13

5B050EA27

5B050FA05

5C061AA01

5C061AB12

5C061AB18

5C061AB20

5E555AA27

5E555AA64

5E555BA02

5E555BB02

5E555BC08

5E555BC18

5E555BE17

5E555CA24

5E555DA08

5E555DA11

5E555DB53

5E555DB57

5E555DC25

5E555DC43

5E555FA00

(57)【要約】

【課題】新たなＶＲ空間表示システム、ＶＲ空間表示制御システム、ＶＲ空間表示制御方法、ＶＲ空間表示制御プログラム、ＶＲ空間表示制御方法およびＶＲ空間表示制御プログラムを提供する。
【解決手段】２次元映像から、前記２次元映像の深さ情報を含む３次元ＶＲ空間表示データを生成する３次元ＶＲ空間表示データ生成部と、ディスプレイと、前記３次元ＶＲ空間表示データに基づいて、前記２次元映像に対応する、所定の視点から見た３次元ＶＲ空間を前記ディスプレイに表示させる３次元ＶＲ空間表示制御部と、コントローラと、前記コントローラに対するユーザからの視点変更指示に応じて前記所定の視点を変更する視点制御部と、を備える、ＶＲ空間表示システムが提供される。
【選択図】図１

【特許請求の範囲】

【請求項1】

２次元映像から、前記２次元映像の深さ情報と、前記２次元映像に含まれるオブジェクトに対応するオブジェクト情報と、前記オブジェクトが大きさ調整を要するオブジェクトであるか否かを示す情報と、を含む３次元ＶＲ空間表示データを生成する３次元ＶＲ空間表示データ生成部と、
ディスプレイと、
前記３次元ＶＲ空間表示データに基づいて、前記２次元映像に対応する、所定の視点から見た３次元ＶＲ空間を前記ディスプレイに表示させる３次元ＶＲ空間表示制御部と、
コントローラと、
前記コントローラに対するユーザからの視点変更指示に応じて前記所定の視点を変更する視点制御部と、を備え、
前記３次元ＶＲ空間表示制御部は、前記視点変更指示に応じて、前記大きさ調整を要するオブジェクトに前記所定の視点が近づいた場合でも、前記大きさ調整を要するオブジェクトから前記所定の視点が離れた場合でも、前記大きさ調整を要するオブジェクトが許容大きさで表示されるよう、前記３次元ＶＲ空間を前記ディスプレイに表示させ、
前記３次元ＶＲ空間は、複数の仮想平面に囲まれた概略直方体形状であり、
前記複数の仮想平面の少なくとも一部は、立体感を出すための複数の仮想ラインを含み、
前記複数の仮想ラインの一部は、前記３次元ＶＲ空間における奥行き方向に延び、
前記複数の仮想ラインの一部は、前記３次元ＶＲ空間における奥行き方向と直交する方向に延びる、ＶＲ空間表示システム。

【請求項2】

２次元映像から、前記２次元映像の深さ情報を含む３次元ＶＲ空間表示データを生成する３次元ＶＲ空間表示データ生成部と、
ディスプレイと、
前記３次元ＶＲ空間表示データに基づいて、前記２次元映像に対応する、所定の視点から見た３次元ＶＲ空間を前記ディスプレイに表示させる３次元ＶＲ空間表示制御部と、
コントローラと、
前記コントローラに対するユーザからの視点変更指示に応じて前記所定の視点を変更する視点制御部と、を備える、ＶＲ空間表示システム。

【請求項3】

前記３次元ＶＲ空間表示制御部は、大きさ調整を要するオブジェクトが許容大きさで表示されるよう、前記３次元ＶＲ空間を前記ディスプレイに表示させる、請求項２に記載のＶＲ空間表示システム。

【請求項4】

前記３次元ＶＲ空間表示データ生成部は、前記２次元映像に含まれるオブジェクトに対応するオブジェクト情報と、前記オブジェクトが大きさ調整を要するオブジェクトであるか否かを示す情報と、を含む前記３次元ＶＲ空間表示データを生成する、請求項３に記載のＶＲ空間表示システム。

【請求項5】

前記３次元ＶＲ空間表示データ生成部は、どのオブジェクトが前記大きさ調整を要するオブジェクトであるかの指定をユーザから受け付ける、請求項３に記載のＶＲ空間表示システム。

【請求項6】

前記３次元ＶＲ空間は、立体感を出すための複数の仮想ラインを含む、請求項２に記載のＶＲ空間表示システム。

【請求項7】

ディスプレイと、
所定の視点から見た３次元ＶＲ空間を前記ディスプレイに表示させる３次元ＶＲ空間表示制御部と、を備え、
前記３次元ＶＲ空間は、立体感を出すための複数の仮想ラインを含む、ＶＲ空間表示システム。

【請求項8】

前記３次元ＶＲ空間は、１以上の仮想面に囲まれており、
前記複数の仮想ラインの少なくとも一部は、前記１以上の仮想面の少なくとも一部に含まれる、請求項６または７に記載のＶＲ空間表示システム。

【請求項9】

前記３次元ＶＲ空間は、概略長方形である前記仮想面に囲まれた概略直方体形状である、請求項８に記載のＶＲ空間表示システム。

【請求項10】

前記複数の仮想ラインの少なくとも一部は、前記概略長方形である仮想面における対向する２辺と平行に延びている、請求項９に記載のＶＲ空間表示システム。

【請求項11】

前記複数の仮想ラインの少なくとも一部は、前記３次元ＶＲ空間における奥行き方向に延びている、請求項６または７に記載のＶＲ空間表示システム。

【請求項12】

前記複数の仮想ラインの少なくとも一部は、前記３次元ＶＲ空間における奥行き方向と直交する方向に延びている、請求項６または７に記載のＶＲ空間表示システム。

【請求項13】

ディスプレイと、
２次元映像から生成された、前記２次元映像の深さ情報を含む３次元ＶＲ空間表示データに基づいて、前記２次元映像に対応する、所定の視点から見た３次元ＶＲ空間を前記ディスプレイに表示させる３次元ＶＲ空間表示制御部と、
コントローラと、
前記コントローラに対するユーザからの視点変更指示に応じて前記所定の視点を変更する視点制御部と、を備えるＶＲ空間表示制御システム。

【請求項14】

２次元映像から生成された、前記２次元映像の深さ情報を含む３次元ＶＲ空間表示データに基づいて、前記２次元映像に対応する、所定の視点から見た３次元ＶＲ空間をディスプレイに表示させるステップと、
コントローラに対するユーザからの視点変更指示に応じて前記所定の視点を変更するステップと、を含むＶＲ空間表示制御方法。

【請求項15】

コンピュータに、
２次元映像から生成された、前記２次元映像の深さ情報を含む３次元ＶＲ空間表示データに基づいて、前記２次元映像に対応する、所定の視点から見た３次元ＶＲ空間をディスプレイに表示させるステップと、
コントローラに対するユーザからの視点変更指示に応じて前記所定の視点を変更するステップと、を実行させるＶＲ空間表示制御プログラム。

【請求項16】

所定の視点から見た３次元ＶＲ空間をディスプレイに表示させるステップを含み、
前記３次元ＶＲ空間は、立体感を出すための複数の仮想ラインを含む、ＶＲ空間表示制御方法。

【請求項17】

コンピュータに、所定の視点から見た３次元ＶＲ空間をディスプレイに表示させるステップを実行させ、
前記３次元ＶＲ空間は、立体感を出すための複数の仮想ラインを含む、ＶＲ空間表示制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＶＲ空間表示システム、ＶＲ空間表示制御システム、ＶＲ空間表示制御方法、ＶＲ空間表示制御プログラム、ＶＲ空間表示制御方法およびＶＲ空間表示制御プログラムに関する。

【背景技術】

【0002】

種々の３次元ＶＲ（仮想現実）空間再生装置が提案されている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６９８０９４６号

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の課題は、新たなＶＲ空間表示システム、ＶＲ空間表示制御システム、ＶＲ空間表示制御方法、ＶＲ空間表示制御プログラム、ＶＲ空間表示制御方法およびＶＲ空間表示制御プログラムを提供することである。

【課題を解決するための手段】

【0005】

［１］
本発明の一態様によれば、
２次元映像から、前記２次元映像の深さ情報と、前記２次元映像に含まれるオブジェクトに対応するオブジェクト情報と、前記オブジェクトが大きさ調整を要するオブジェクトであるか否かを示す情報と、を含む３次元ＶＲ空間表示データを生成する３次元ＶＲ空間表示データ生成部と、
ディスプレイと、
前記３次元ＶＲ空間表示データに基づいて、前記２次元映像に対応する、所定の視点から見た３次元ＶＲ空間を前記ディスプレイに表示させる３次元ＶＲ空間表示制御部と、
コントローラと、
前記コントローラに対するユーザからの視点変更指示に応じて前記所定の視点を変更する視点制御部と、を備え、
前記３次元ＶＲ空間表示制御部は、前記視点変更指示に応じて、前記大きさ調整を要するオブジェクトに前記所定の視点が近づいた場合でも、前記大きさ調整を要するオブジェクトから前記所定の視点が離れた場合でも、前記大きさ調整を要するオブジェクトが許容大きさで表示されるよう、前記３次元ＶＲ空間を前記ディスプレイに表示させ、
前記３次元ＶＲ空間は、複数の仮想平面に囲まれた概略直方体形状であり、
前記複数の仮想平面の少なくとも一部は、立体感を出すための複数の仮想ラインを含み、
前記複数の仮想ラインの一部は、前記３次元ＶＲ空間における奥行き方向に延び、
前記複数の仮想ラインの一部は、前記３次元ＶＲ空間における奥行き方向と直交する方向に延びる、ＶＲ空間表示システムが提供される。

【0006】

［２］
本発明の一態様によれば、
２次元映像から、前記２次元映像の深さ情報を含む３次元ＶＲ空間表示データを生成する３次元ＶＲ空間表示データ生成部と、
ディスプレイと、
前記３次元ＶＲ空間表示データに基づいて、前記２次元映像に対応する、所定の視点から見た３次元ＶＲ空間を前記ディスプレイに表示させる３次元ＶＲ空間表示制御部と、
コントローラと、
前記コントローラに対するユーザからの視点変更指示に応じて前記所定の視点を変更する視点制御部と、を備える、ＶＲ空間表示システムが提供される。

【0007】

これによれば、３次元ＶＲ空間表示データ生成部が２次元映像から３次元ＶＲ空間表示データを生成するため、任意の２次元映像を３次元ＶＲ空間として表示できる。そして、コントローラを用いて視点を変更できる。これにより、３次元ＶＲ空間への没入感が高まる。

【0008】

［３］
［２］において、
前記３次元ＶＲ空間表示制御部は、大きさ調整を要するオブジェクトが許容大きさで表示されるよう、前記３次元ＶＲ空間を前記ディスプレイに表示させてもよい。
これにより、大きさ調整を要するオブジェクトが不自然な大きさで表示されるのを抑制できる。

【0009】

［４］
［３］において、
前記３次元ＶＲ空間表示データ生成部は、前記２次元映像に含まれるオブジェクトに対応するオブジェクト情報と、前記オブジェクトが大きさ調整を要するオブジェクトであるか否かを示す情報と、を含む前記３次元ＶＲ空間表示データを生成してもよい。

【0010】

［５］
［３］において、
前記３次元ＶＲ空間表示データ生成部は、どのオブジェクトが前記大きさ調整を要するオブジェクトであるかの指定をユーザから受け付けてもよい。

【0011】

［６］
［２］乃至［５］のいずれかにおいて、
前記３次元ＶＲ空間は、立体感を出すための複数の仮想ラインを含んでもよい。

【0012】

［７］
本発明の一態様によれば、
ディスプレイと、
所定の視点から見た３次元ＶＲ空間を前記ディスプレイに表示させる３次元ＶＲ空間表示制御部と、を備え、
前記３次元ＶＲ空間は、立体感を出すための複数の仮想ラインを含む、ＶＲ空間表示システムが提供される。

【0013】

このような構成によれば、表示される映像の各箇所と仮想ラインとの位置関係により遠近感が強調され、３次元表現が引き立つことで立体感が増し、臨場感が大きくなる。

【0014】

［８］
［６］または［７］において、
前記３次元ＶＲ空間は、１以上の仮想面に囲まれており、
前記複数の仮想ラインの少なくとも一部は、前記１以上の仮想面の少なくとも一部に含まれてもよい。

【0015】

［９］
［８］において、
前記３次元ＶＲ空間は、概略長方形である前記仮想面に囲まれた概略直方体形状であってもよい。

【0016】

［１０］
［９］において、
前記複数の仮想ラインの少なくとも一部は、前記概略長方形である仮想面における対向する２辺と平行に延びていてもよい。

【0017】

［１１］
［６］乃至［１０］のいずれかにおいて、
前記複数の仮想ラインの少なくとも一部は、前記３次元ＶＲ空間における奥行き方向に延びていてもよい。

【0018】

［１２］
［６］乃至［１１］のいずれかにおいて、
前記複数の仮想ラインの少なくとも一部は、前記３次元ＶＲ空間における奥行き方向と直交する方向に延びていてもよい。

【0019】

［１３］
本発明の一態様によれば、
ディスプレイと、
２次元映像から生成された、前記２次元映像の深さ情報を含む３次元ＶＲ空間表示データに基づいて、前記２次元映像に対応する、所定の視点から見た３次元ＶＲ空間を前記ディスプレイに表示させる３次元ＶＲ空間表示制御部と、
コントローラと、
前記コントローラに対するユーザからの視点変更指示に応じて前記所定の視点を変更する視点制御部と、を備えるＶＲ空間表示制御システムが提供される。

【0020】

［１４］
本発明の一態様によれば、
２次元映像から生成された、前記２次元映像の深さ情報を含む３次元ＶＲ空間表示データに基づいて、前記２次元映像に対応する、所定の視点から見た３次元ＶＲ空間をディスプレイに表示させるステップと、
コントローラに対するユーザからの視点変更指示に応じて前記所定の視点を変更するステップと、を含むＶＲ空間表示制御方法が提供される。

【0021】

［１５］
本発明の一態様によれば、
コンピュータに、
２次元映像から生成された、前記２次元映像の深さ情報を含む３次元ＶＲ空間表示データに基づいて、前記２次元映像に対応する、所定の視点から見た３次元ＶＲ空間をディスプレイに表示させるステップと、
コントローラに対するユーザからの視点変更指示に応じて前記所定の視点を変更するステップと、を実行させるＶＲ空間表示制御プログラムが提供される。

【0022】

［１６］
本発明の一態様によれば、
所定の視点から見た３次元ＶＲ空間をディスプレイに表示させるステップを含み、
前記３次元ＶＲ空間は、立体感を出すための複数の仮想ラインを含む、ＶＲ空間表示制御方法が提供される。

【0023】

［１７］
本発明の一態様によれば、
コンピュータに、所定の視点から見た３次元ＶＲ空間をディスプレイに表示させるステップを実行させ、
前記３次元ＶＲ空間は、立体感を出すための複数の仮想ラインを含む、ＶＲ空間表示制御プログラムが提供される。

【図面の簡単な説明】

【0024】

【図1】一実施形態に係るＶＲ空間表示システムの概略構成を示すブロック図。

【図2】ＶＲ空間表示システムの処理動作の一例を示すフローチャート。

【図3】２次元映像取得部１１によって取得される２次元映像を模式的に示す図。

【図4A】ディスプレイ２１に表示される３次元ＶＲ空間の模式図。

【図4B】ディスプレイ２１に表示される３次元ＶＲ空間の模式図。

【図4C】ディスプレイ２１に表示される３次元ＶＲ空間の模式図。

【図4D】ディスプレイ２１に表示される３次元ＶＲ空間の模式図。

【図5】２次元映像取得部１１によって取得される別の２次元映像を模式的に示す図。

【図6A】ディスプレイ２１に表示される３次元ＶＲ空間の模式図。

【図6B】ディスプレイ２１に表示される３次元ＶＲ空間の模式図。

【図6C】ディスプレイ２１に表示される３次元ＶＲ空間の模式図。

【図7】ディスプレイ２１に表示される３次元ＶＲ空間の模式図。

【図8】３次元ＶＲ空間を模式的に示す図。

【図9】２次元映像に基づいて表示される３次元ＶＲ空間。

【図10】２次元映像に基づいて表示される３次元ＶＲ空間。

【発明を実施するための形態】

【0025】

以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。

【0026】

図１は、一実施形態に係るＶＲ空間表示システムの概略構成を示すブロック図である。ＶＲ空間表示システムは、ＶＲ空間表示データ生成システム１と、ＶＲ空間表示制御システム２とを備えており、これらがネットワークを介して通信可能に接続されている。

【0027】

ＶＲ空間表示データ生成システム１は、２次元映像取得部１１と、３次元ＶＲ空間表示データ生成部１２と、メモリ１３と、通信部１４とを有し得る。ＶＲ空間表示データ生成システム１は、例えば１台のサーバであってもよいし、２以上の装置から構成されてもよい。

【0028】

２次元映像取得部１１は２次元映像を取得する。取得される２次元映像に制限はなく、メモリ１３に蓄積されている２次元映像、インターネットを介して取得されるＷｅｂ上のコンテンツ、テレビ放送、ＤＶＤ等などの記録メディアに記録された２次元映像、ネットワーク接続された外部機器から取得される２次元映像、ユーザから提供される２次元映像であってよい。また、２次元映像は、動画に限られず、静止画であってもよいものとする。

【0029】

３次元ＶＲ空間表示データ生成部１２は、２次元映像取得部１１によって取得された２次元映像から、３次元ＶＲ空間を表示するためのデータ（以下「３次元ＶＲ空間表示データ」という。）を生成する。

【0030】

３次元ＶＲ空間表示データ生成部１２は、２次元映像に含まれるオブジェクトを抽出し、抽出したオブジェクトに対応するオブジェクト情報を含む３次元ＶＲ空間表示データを生成してもよい。

【0031】

また、３次元ＶＲ空間表示データ生成部１２は、２次元映像に対して深度予測を行い、深さ（depth）情報を含む３次元ＶＲ空間表示データを生成してもよい。深さ情報は、オブジェクト毎であってもよいし、２次元映像の画素毎であってもよいし、複数画素毎であってもよい。深さ情報は、オブジェクト等が基準位置に対してどれだけ手前（あるいは奥）に位置するか、を示す値である。以下、深さ情報の基準値を０とし、深さ情報が大きいほど手前に位置することを意味するとする。

【0032】

３次元ＶＲ空間表示データ生成部１２による処理は公知のものを適用できる。例えば、オブジェクトの抽出や深度予測には、機械学習（ＡＩ）に基づく既存の技術を利用してよい。また、３次元ＶＲ空間表示データ生成部１２は、動的に（例えば、ユーザー等から２次元映像入力に対して自動的に）に３次元ＶＲ空間表示データを生成してもよいし、非動的（例えば、バッチ処理）に３次元ＶＲ空間表示データを生成してもよい。

【0033】

なお、２次元映像取得部１１および３次元ＶＲ空間表示データ生成部１２の機能の一部または全部は、ハードウェアで実装されてもよいし、ソフトウェアで実現されてもよい。後者の場合、ＶＲ空間表示データ生成システム１のプロセッサ（不図示）がメモリ１３に記憶された所定のプログラムを実行することにより、そのような機能が実現される。

【0034】

メモリ１３は、ＲＯＭやＲＡＭなど任意の記憶装置から構成され、所定のプログラムや２次元映像などを記憶する。

【0035】

通信部１４は、アンテナや通信用ＩＣなどから構成され、ＶＲ空間表示制御システム２など他の装置とデータの送受信を行う。例えば、通信部１４は、３次元ＶＲ空間表示データ生成部１２により生成された３次元ＶＲ空間表示データを、ＶＲ空間表示制御システム２に送信する。

【0036】

一方、ＶＲ空間表示制御システム２は、主としてユーザが用いるものであり、例えばＨＭＤを含むヘッドセットとして構成され得る。ＶＲ空間表示制御システム２は３次元ＶＲ空間を表示する。ＶＲ空間表示制御システム２は３次元ＶＲ空間をユーザに提供するともいえる。ＶＲ空間表示制御システム２は１以上の装置から構成され、ディスプレイ２１、コントローラ２２、メモリ２３、３次元ＶＲ空間表示制御部２４、視点制御部２５、通信部２６などを有し得る。

【0037】

ディスプレイ２１は３次元ＶＲ空間を表示する。一例として、ＶＲ空間表示制御システム２がＨＭＤを含む場合、ディスプレイ２１は右眼用ディスプレイおよび左眼用ディスプレイを有している。これら右眼用ディスプレイおよび左眼用ディスプレイに互いに視差を有する映像を表示することにより、３次元ＶＲ空間がディスプレイ２１に立体的に表示される。

【0038】

コントローラ２２はユーザがＶＲ空間表示制御システム２に所望の指示を行うためのインターフェースである。一例として、ユーザは、コントローラ２２を介して３次元ＶＲ空間の表示を開始させるための指示（以下「表示開始指示」という。）や、３次元ＶＲ空間の表示を停止させるための指示（以下「表示停止指示」という。）を行うことができ、これらの指示は３次元ＶＲ空間表示制御部２４に通知される。また、ユーザは、コントローラ２２を介して視点（後述）を所望の位置に変更する指示（以下「視点変更指示」という。）を行うことができ、この指示は視点制御部２５に通知される。

【0039】

メモリ２３は、ＲＯＭやＲＡＭなど任意の記憶装置から構成され、所定のプログラムや３次元ＶＲ空間を表示するために必要なデータを記憶する。

【0040】

３次元ＶＲ空間表示制御部２４は、ＶＲ空間表示データ生成システム１から送信される３次元ＶＲ空間表示データに基づいて、所定の視点（例えば、３次元ＶＲ空間におけるユーザの所在地）から見た３次元ＶＲ空間をディスプレイ２１に表示させる。この３次元ＶＲ空間はＶＲ空間表示データ生成システム１の２次元映像取得部１１が取得した２次元映像に対応している。表示される３次元ＶＲ空間の詳細は後述する。

【0041】

視点制御部２５は、ユーザがコントローラ２２を介して視点変更指示がなされた場合に、ディスプレイ２１に表示される３次元ＶＲ空間の視点を変更する。例えば、視点を別の位置に移動する視点変更指示がなされた場合、視点制御部２５は当該視点変更指示に応じた位置に新たな視点を設定する。これにより、３次元ＶＲ空間表示制御部２４は新たに設定された視点から見た３次元ＶＲ空間をディスプレイ２１に表示させる。

【0042】

なお、３次元ＶＲ空間表示制御部２４および視点制御部２５の機能の一部または全部は、ハードウェアで実装されてもよいし、ソフトウェアで実現されてもよい。後者の場合、ＶＲ空間表示制御システム２のプロセッサ（不図示）がメモリ２３に記憶された所定のプログラムを実行することにより、そのような機能が実現される。

【0043】

通信部２６は、アンテナや通信用ＩＣなどから構成され、ＶＲ空間表示データ生成システム１など他の装置とデータの送受信を行う。例えば、通信部２６は３次元ＶＲ空間表示データ生成システム１からの３次元ＶＲ空間表示データを受信する。

【0044】

図２は、ＶＲ空間表示システムの処理動作の一例を示すフローチャートである。
ＶＲ空間表示データ生成システム１は２次元映像を取得する（ステップＳ１）。そして、３次元ＶＲ空間表示データ生成部１２は２次元映像から３次元ＶＲ空間表示データを生成する（ステップＳ２）。生成された３次元ＶＲ空間表示データは、通信部１４によってＶＲ空間表示制御システム２に送信される。送信のタイミングは任意であり、２次元映像の開始から終了までに対応する３次元ＶＲ空間表示データが生成された後に、まとめてＶＲ空間表示制御システム２に送信されてもよい。あるいは、３次元ＶＲ空間表示データを生成しつつ、逐次、ＶＲ空間表示制御システム２に送信されてもよい。

【0045】

ＶＲ空間表示制御システム２の通信部２６は、ＶＲ空間表示データ生成システム１からの３次元ＶＲ表示データを受信する。そして、ユーザからの表示開始指示に応じて、３次元ＶＲ空間表示制御部２４は所定の視点から見た３次元ＶＲ表示データに基づく３次元ＶＲ空間をディスプレイ２１に表示させる（ステップＳ３）。視点の初期位置は、例えば３次元ＶＲ空間内の予め定めた位置であってもよいし、前回３次元ＶＲ空間を表示した際の視点の位置であってもよい。

【0046】

ユーザから視点変更指示があった場合（ステップＳ４のＹＥＳ）、視点制御部２５は視点変更指示に対応した位置に視点を変更する（ステップＳ５）。これにより、変更後の視点から見た３次元ＶＲ空間がディスプレイ２１に表示される。

【0047】

ユーザから表示終了指示があった場合、あるいは、２次元映像の終了に対応して３次元ＶＲ表示データが終了する場合（ステップＳ６のＹＥＳ）、３次元ＶＲ空間の表示は終了する。そうでない場合（ステップＳ６のＮＯ）、３次元ＶＲ空間の表示が継続する。

【0048】

図３は、２次元映像取得部１１によって取得される２次元映像を模式的に示す図である。この２次元映像は、撮影地点を基準として、北側に十分離れた山３１と、その南西方向にある球３２を含んでいるとする。この場合、３次元ＶＲ空間表示データ生成部１２が生成する３次元ＶＲ空間表示データは、オブジェクト情報として山３１および球３２を含んでいる。そして、山３１の深さ情報は０であり、球３２の深さ情報は０より大きい所定値である。

【0049】

図４Ａは、図２のステップＳ３でディスプレイ２１に表示される３次元ＶＲ空間の模式図である。視点の初期位置が撮影地点であるとすると、図３の矢印Ａで表される視点（つまり南側）から見た３次元ＶＲ空間は図４Ａのように表示される。

【0050】

ここで、ユーザが視点を矢印Ｂ（図３および図４Ａ）で表される位置に変更する視点変更指示を行ったとする。この視点は南西から北東を向いており、視点、球３２および山３１がこの順で一直線上に並ぶ位置であるとする。この場合、矢印Ｂで表される視点から見た３次元ＶＲ空間は図４Ｂのようになる。

【0051】

また、ユーザが視点を矢印Ｃ（図３、図４Ａおよび図４Ｂ）で表される位置に変更する視点変更指示を行ったとする。この視点は南東から北西を向いており、視線の右側に山３１があり、左側に球３２がある。この場合、矢印Ｃから表される視点から見た３次元ＶＲ空間は図４Ｃのようになる。

【0052】

また、図４Ｂにおいて、ユーザが視点を前方に変更する視点変更指示を行ったとする。この場合、視点が球３２に近づくため、３次元ＶＲ空間において図４Ｄに示すように球３２が大きく表示され、山３１の一部が隠れる。

【0053】

図５は、２次元映像取得部１１によって取得される別の２次元映像を模式的に示す図である。この２次元映像は、図３の球３２に代えて、人の顔３３を含んでいるとする。この場合、３次元ＶＲ空間表示データ生成部１２が生成する３次元ＶＲ空間表示データは、オブジェクト情報として山３１および顔３３を含んでいる。そして、山３１の深さ情報は０であり、顔３３の深さ情報は０より大きい所定値である。

【0054】

図６Ａは、図２のステップＳ３でディスプレイ２１に表示される３次元ＶＲ空間の模式図である。視点の初期位置が撮影地点であるとすると、図５の矢印Ｄで表される視点（つまり南側）から見た３次元ＶＲ空間は図６Ａのように表示される。

【0055】

ここで、図６Ａにおいて、ユーザが視点を前方に変更する視点変更指示を行ったとする。この場合、視点が顔３３に近づくため、３次元ＶＲ空間において図６Ｂに示すように顔３３が大きく表示される。このような表示とするのも一案である。しかし、表示される顔３３が大きすぎたり小さすぎたりすると、不自然である場合もある。そこで、図６Ｃに示すように顔３３を小さく表示させるのが望ましい。そのようにするための処理は、例えば以下のとおりである。

【0056】

ＶＲ空間表示データ生成システム１の３次元ＶＲ空間表示データ生成部１２は、２次元映像に含まれるオブジェクトを抽出し、オブジェクト情報を含む３次元ＶＲ空間表示データを生成する。さらに、３次元ＶＲ空間表示データ生成部１２は、オブジェクト情報に対応するオブジェクトが大きさ調整を要するオブジェクトであるか否かを判定し、判定結果を示す情報を３次元ＶＲ空間表示データに含める。

【0057】

具体例として、どのオブジェクトが大きさ調整を要するかを予めメモリ１３に記憶させておくことで、３次元ＶＲ空間表示データ生成部１２は抽出されたオブジェクトが大きさ調整を要するか否かを判定できる。典型例としては、顔、映像内の特定の建物、工芸品などが大きさ調整を要するオブジェクトとして挙げられる。また、どのオブジェクトが大きさ調整を要するかを示す情報が２次元映像に含まれていてもよい。あるいは、ＶＲ空間表示データ生成システム１の管理者が指定してもよい。

【0058】

そして、ＶＲ空間表示制御システム２の３次元ＶＲ空間表示制御部２４は、大きさ調整を要するオブジェクトが所定の許容大きさで表示されるよう、３次元ＶＲ空間をディスプレイ２１に表示させる。一例として、図７に示すように、３次元ＶＲ空間表示データにおいて、視点の移動に伴ってオブジェクト（顔）の大きさが時系列で変動する場合でも、オブジェクトがリサイズされて基準サイズで表示される。許容大きさとは、例えば大きさの上限閾値および／または下限閾値によって定められる。また、大きさとは、オブジェクトの縦の長さでもよいし、横の長さでもよいし、その両方について上限閾値および／または下限閾値が設定されてもよい。具体的な上限閾値および／または下限閾値は、例えば実空間における顔の大きさに基づいて適宜定めればよい。また、許容大きさを一定値とし、オブジェクトと視点との３次元ＶＲ空間上の距離に関わらず、オブジェクトを一定の大きさで表示してもよい。

【0059】

許容大きさは、例えばオブジェクト毎にメモリ１３に記憶されていてもよいし、ＶＲ空間表示データ生成システム１の管理者が指定してもよいし、３次元ＶＲ空間表示データ生成部１２あるいは３次元ＶＲ空間表示制御部２４が任意に設定してもよい。

【0060】

なお、どのオブジェクトが大きさ調整を要するかを、ＶＲ空間表示制御システム２のユーザが指定できてもよい。この場合、コントローラ２を介して大きさ調整を要するオブジェクトが指定され、この指定に応じて３次元ＶＲ空間表示制御部２４が上述の表示制御を行う。この場合の許容大きさは、例えばユーザが指定できてもよい。

【0061】

以上により、視点の位置が大きさ調整を要するオブジェクトに近づいた場合でも、離れた場合でも、そのようなオブジェクトは許容大きさで表示され、自然な表示となる。

【0062】

このように、ＶＲ空間表示データ生成システム１が３次元ＶＲ空間表示データ生成部１２を有するため、任意の２次元映像を３次元ＶＲ空間として表示できる。そして、コントローラ２２を用いて任意の視点から３次元ＶＲ空間を表示させることができる。これにより、３次元ＶＲ空間への没入感が高まる。

【0063】

次に、３次元ＶＲ空間の表示例を説明する。
図８は、３次元ＶＲ空間を模式的に示す図である。３次元ＶＲ空間は１以上の仮想面に囲まれていてよい。本実施形態の３次元ＶＲ空間は６つの概略長方形の仮想平面に囲まれた概略直方体形状であるとする。仮想平面が概略正方形で、３次元ＶＲ空間が概略立方体（キューブ）形状であってもよい。

【0064】

６つの仮想平面のうちの１つが基準面４１となる。２次元映像における深さ情報が０（基準値）である箇所（例えばオブジェクトないし画素）が基準面４１上にあるように見えるよう表示される。そして、深さ情報が大きい箇所ほど、基準面４１と対向する仮想平面（以下「対向面４２」という。）側にあるように見えるよう立体表示される。なお、基準面４１の全体に２次元映像に対応した映像が表示されてもよいし、一部分のみに表示されてもよい。３次元ＶＲ空間を表示する際の視点の初期位置は、例えば対向面４２上であってもよく、対向面４２の中心であってもよい。

【0065】

そして、本実施形態では、３次元ＶＲ空間は複数の仮想ラインから構成されるグリッドを含むのが望ましい。すなわち、３次元ＶＲ空間は立体感を出すための複数の仮想ラインを含んでいる。複数の仮想ラインは少なくとも１つの仮想平面（仮想面）に含まれてよい。また、複数の仮想ラインが等間隔に配置されてもよいし、そうでなくてもよい。

【0066】

例えば、少なくとも一部の仮想ライン５１が３次元ＶＲ空間における奥行き方向に延びていてよい。そのような仮想ライン５１の一端は深さ情報０に対応し、他端は深さ情報の最大値に対応し得る。具体的には、仮想ライン５１は基準面４１から対向面４２へと延びている。言い換えると、仮想ライン５１は基準面４１および対向面４２と直交する方向に延びている。具体例として、図８において、基準面４１の上辺４１ａと対向面４２の上辺４２ａとの間の仮想平面において、当該仮想平面における対向する２辺４３ａ，４３ｂと平行に仮想ライン５１は延びている。

【0067】

また、少なくとも一部の仮想ライン５２が３次元ＶＲ空間における奥行き方向と直交する方向に延びていてよい。そのような仮想ライン５２は深さ情報の特定の一定値に対応しており、「等深さ情報線」と呼ぶこともできる。具体的には、仮想ライン５２は基準面４１および対向面４２と平行な方向に延びている。具体例として、図８において、対向面４２の上辺４２ａと対向面４２の下辺４２ｂとの間の仮想平面において、これらの２辺４２ａ，４２ｂと平行に仮想ライン５３は延びている。

【0068】

また、仮想ラインは、必ずしも仮想平面上になくてもよく、ある仮想平面と、これと対向する仮想平面との間に３次元ＶＲ空間内を横切るように表示されてもよい。なお、３次元ＶＲ空間は仮想平面でなく仮想曲面に囲まれていてもよく、例えば球状であってもよい。そして、仮想ラインは直線でもよいが、曲線であってもよい。また、３次元ＶＲ空間は仮想面によって完全に閉じている必要はなく、一部は開放されていてもよく、そのような場合も含めて「囲まれている」と表現する。実際の表示例として、仮想面は黒で、仮想ラインは白で表示されてよい。

【0069】

図９および図１０に、２次元映像に基づいて表示される３次元ＶＲ空間を例示する。図９は視点が初期位置にある状態である。図１０は視点が右に移動した状態である。

【0070】

仮想ラインがあることで、表示される映像の各箇所と仮想ラインとの位置関係により遠近感が強調され、３次元表現が引き立つことで立体感が増し、臨場感が大きくなる。

【0071】

本明細書で言及したプログラムは、コンピュータ読み取り可能な記録媒体に非一時的に記録して頒布されてもよいし、インターネットなどの通信回線（無線通信も含む）を介して頒布されてもよいし、任意の端末にインストールされた状態で頒布されてもよい。

【0072】

本明細書で説明した各発明は、上述した個々の実施形態には限定されるものではなく、適宜、種々の追加、変更、組み合わせおよび部分的削除が可能である。

【0073】

例えば、本明細書において１台の装置として説明されるもの（図面において１台の装置のように描かれているものを含む）を複数の装置によって実現してもよい。逆に、本明細書において複数の装置として説明されるもの（図面において複数の装置のように描かれているものを含む）を１台の装置によって実現してもよい。あるいは、ある装置（例えばサーバ）に含まれるとした手段や機能の一部または全部が、他の装置（例えばユーザ端末）に含まれるようにしてもよい。また、「システム」とは、１台の装置から構成されてもよいし、２以上の装置から構成されてもよい。

【0074】

また、矛盾が生じない範囲で、ある実施形態の一部を他の実施形態に組み込んでもよい。さらに、本明細書に記載された事項の全てが必須の要件というわけではない。特に、本明細書に記載され、特許請求の範囲に記載されていない事項は任意の付加的事項である。

【0075】

なお、本出願人は本明細書の「先行技術文献」欄の文献に記載された文献公知発明を知っているというにすぎず、本明細書に記載された各発明は必ずしも同文献公知発明における課題を解決することを目的とするものではない。特許請求の範囲に記載された発明が解決しようとする課題は本明細書全体を考慮して認定されるべきものである。例えば、本明細書において、特定の構成によって所定の効果を奏する場合（明示の記載がある場合に加え、構成から読み取れる場合も含む）、当該所定の効果の裏返しとなる課題が解決されるということもできる。ただし、必ずしもそのような特定の構成を必須の要件とする趣旨ではない。

【符号の説明】

【0076】

１ ＶＲ空間表示データ生成システム
１１ ２次元映像取得部
１２ ３次元ＶＲ空間表示データ生成部
１３ メモリ
１４ 通信部
２ ＶＲ空間表示制御システム
２１ ディスプレイ
２２ コントローラ
２３ メモリ
２４ ３次元ＶＲ空間表示制御部
２５ 視点制御部
２６ 通信部
３１ 山
３２ 球
３３ 顔
４１ 基準面
４２ 対向面
５１，５２ 仮想ライン

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9】

【図10】