特許 7547501 ＶＲ映像空間生成システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-30

(45)【発行日】2024-09-09

(54)【発明の名称】ＶＲ映像空間生成システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240902BHJP

【ＦＩ】

G06T19/00 300B

【請求項の数】 5

(21)【出願番号】P 2022563511

(86)(22)【出願日】2020-11-19

(86)【国際出願番号】 JP2020043282

(87)【国際公開番号】W WO2022107294

(87)【国際公開日】2022-05-27

【審査請求日】2022-07-20

【前置審査】

(73)【特許権者】

【識別番号】516013837

【氏名又は名称】株式会社ハシラス

(74)【代理人】

【識別番号】100074169

【弁理士】

【氏名又は名称】広瀬 文彦

(72)【発明者】

【氏名】安藤 晃弘

(72)【発明者】

【氏名】水上 智絵

【審査官】益戸 宏

(56)【参考文献】

【文献】特許第６２０３３６９（ＪＰ，Ｂ１）

【文献】特表２０１８－５１６３９９（ＪＰ，Ａ）

【文献】特許第６４７０３７４（ＪＰ，Ｂ１）

【文献】特表２０１７－５２９６３５（ＪＰ，Ａ）

【文献】国際公開第２０２０／１２９１１５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ５／６６

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ １３／００

(57)【特許請求の範囲】

【請求項1】

一または複数のユーザがアクセス可能な仮想空間を構成するためのＶＲ映像を生成するＶＲ映像空間生成システム(1)が、
ユーザが装着する一または複数からなるＶＲ視聴装置(100)と、
前記ＶＲ視聴装置に表示可能な初期映像(10)を生成する映像生成手段(200)と、
前記ＶＲ視聴装置の各々の位置情報(P)を取得する位置情報取得手段(300)と、
前記位置情報取得手段により取得された各位置情報に基づき、前記映像生成手段で生成された初期映像にアバター映像(V)を合成してＶＲ映像(20)を生成するＶＲ映像生成手段(400)と、
前記ＶＲ映像生成手段により生成されたＶＲ映像をＶＲ視聴装置に出力する映像出力手段(500)と、からなり、
前記ＶＲ映像空間生成システム(1)は、ユーザが移動可能な領域(F)をＸＹＺ座標として数値的に定義する領域定義手段(310)と、前記位置情報取得手段によって取得された各位置情報(P)をＸＹＺ座標として数値的に定義する位置定義手段(320)と、前記領域定義手段によって定義された領域(F)に、前記位置定義手段によって定義された各位置情報(P)を座標値として導入（適用）するとともに、該領域と各位置情報とを、前記映像生成手段によって生成された初期映像(10)に対応付ける対応付け手段(410)と、を備え、
前記位置定義手段(320)は、領域(F)が構成するＶＲ映像に係る世界の中心をずらす処理を行うことによってユーザに割り当てられた位置情報の較正処理を行い、
前記ＶＲ視聴装置(100)は、更に、該装置を装着したユーザの両手の指の位置および動きを検知するセンサー(110)を備え、該センサーがユーザの両手の指の動作を検知した上で一定時間内における手や指の一連の動作に係る情報をトラッキング情報(T)として取得するとともに、
前記ＶＲ映像空間生成システムは、指の動作情報からなる複数のアクション情報(A)を保持しており、該アクション情報は、画面の切り替え処理における誤動作や、ユーザが意図せぬ画像の変化を生じさせることを防止・抑制するため、ユーザの両手の指を同じ形で同時に動作することにより発生する指示情報からなるものであって各々前記初期映像(10)の特定の変化処理に対応付けられており、
前記初期映像(10)は、平面投影映像、３Ｄ映像、またはドーム映像の全部又は何れかから選択される映像からなるとともに、ユーザの指示によって切り替わるイラスト、２Ｄ画像および文字情報を含む平面投影映像、ユーザの指示によって動作する２Ｄ動画からなる平面投影映像、ユーザの指示によって動作するＣＧの立体モデル、３Ｄ映像、ユーザの指示によって動作する全天球映像又はそのうちの一部の映像、のうちの何れか一または複数からなる前記初期映像(10)をＶＲ視聴装置(100)の固定位置に表示させる構成からなり、
前記アクション情報(A)は、前記初期映像(10)の進行および／または後退処理に対応付けられており、
前記ＶＲ映像空間生成システムは、前記トラッキング情報(T)が前記アクション情報(A)の何れかと一致した場合に、対応付けられている前記初期映像の変化処理を行うことを特徴とするＶＲ映像空間生成システム。

【請求項2】

一または複数のユーザがアクセス可能な仮想空間を構成するためのＶＲ映像を生成するＶＲ映像空間生成システム(2)が、
ユーザが装着する一または複数からなるＶＲ視聴装置(100)と、
前記ＶＲ視聴装置に表示可能な初期映像(10)を生成する映像生成手段(200)と、
前記映像生成手段で生成された初期映像にＶＲ視聴装置を装着する各ユーザのアバター映像(V)を合成してＶＲ映像(20)を生成するＶＲ映像生成手段(400)と、
前記ＶＲ映像生成手段により生成されたＶＲ映像をＶＲ視聴装置に出力する映像出力手段(500)と、からなり、
前記ＶＲ映像空間生成システム(2)は、ユーザが移動可能な領域(F)をＸＹＺ座標として数値的に定義する領域定義手段(310)と、前記ＶＲ視聴装置を装着するユーザの各位置情報(P)をＸＹＺ座標として数値的に定義する位置定義手段(320)と、前記領域定義手段によって定義された領域(F)に、前記位置定義手段によって定義された各位置情報(P)を座標値として導入（適用）するとともに、該領域と各位置情報とを、前記映像生成手段によって生成された初期映像(10)に対応付ける対応付け手段(410)と、を備え、
前記位置定義手段(320)は、領域(F)が構成するＶＲ映像に係る世界の中心をずらす処理を行うことによってユーザに割り当てられた位置情報の較正処理を行い、
前記ＶＲ視聴装置(100)は、更に、該装置を装着したユーザの両手の指の位置および動きを検知するセンサー(110)を備え、該センサーがユーザの両手の指の動作を検知した上で一定時間内における手や指の一連の動作に係る情報をトラッキング情報(T)として取得するとともに、
前記ＶＲ映像空間生成システムは、指の動作情報からなる複数のアクション情報(A)を保持しており、該アクション情報は、画面の切り替え処理における誤動作や、ユーザが意図せぬ画像の変化を生じさせることを防止・抑制するため、ユーザの両手の指を同じ形で同時に動作することにより発生する指示情報からなるものであって各々前記初期映像(10)の特定の変化処理に対応付けられており、
前記初期映像(10)は、平面投影映像、３Ｄ映像、またはドーム映像の全部又は何れかから選択される映像からなるとともに、ユーザの指示によって切り替わるイラスト、２Ｄ画像および文字情報を含む平面投影映像、ユーザの指示によって動作する２Ｄ動画からなる平面投影映像、ユーザの指示によって動作するＣＧの立体モデル、３Ｄ映像、ユーザの指示によって動作する全天球映像又はそのうちの一部の映像、のうちの何れか一または複数からなる前記初期映像(10)をＶＲ視聴装置(100)の固定位置に表示させる構成からなり、
前記アクション情報(A)は、前記初期映像(10)の進行および／または後退処理に対応付けられており、
前記ＶＲ映像空間生成システムは、前記トラッキング情報(T)が前記アクション情報(A)の何れかと一致した場合に、対応付けられている前記初期映像の変化処理を行うことを特徴とするＶＲ映像空間生成システム。

【請求項3】

前記位置定義手段(320)は、ＶＲ視聴装置(100)を装着するユーザの、身体の特定の部位の位置に係る情報を取得したうえ、身体の他の各部位の位置を演算し、
前記ＶＲ映像生成手段(400)が、前記情報をもとに描画を行いＶＲ視聴装置(100)に表示するＶＲ映像(20)を生成することを特徴とする請求項１または請求項２の何れかに記載のＶＲ映像空間生成システム。

【請求項4】

前記初期映像(10)は、ユーザの指示によって切り替わるイラスト、２Ｄ画像および文字情報を含む平面投影映像、ユーザの指示によって動作する２Ｄ動画からなる平面投影映像、ユーザの指示によって動作するＣＧの立体モデル、３Ｄ映像、ユーザの指示によって動作する全天球映像又はそのうちの一部の映像、のうちの何れか一または複数を含むことを特徴とする請求項１乃至請求項３の何れかに記載のＶＲ映像空間生成システム。

【請求項5】

前記初期映像(10)は、一般的なファイルフォーマットにて生成され、ＶＲ映像空間生成システム本体を変更せずに容易に差し替えできる、前記映像生成手段(200)が読み取り可能な独立した映像データを含む事を特徴とする請求項１乃至請求項４の何れかに記載のＶＲ映像空間生成システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＶＲ（バーチャルリアリティ）によりユーザが利用可能な仮想空間を構成するためのＶＲ映像空間の生成システムに関し、特に、生成されたＶＲ映像空間内をユーザが自由に移動・動作等することを可能としたうえ、ＰＮＧやＭＰ４等を含む一般的なファイルフォーマットにて生成され、ＶＲ映像空間生成システム本体を変更せずに容易に差し替えできる、読取り可能な独立した、平面投影映像、３Ｄ映像、またはドーム映像等の画像・動画データ（以下、「素材」という）を、ＶＲ映像空間内にそのまま投影することで、恰も仮想空間内においてこれらを視聴、体験しているような感覚をユーザに与えることを可能とし、かつ、これらの素材の頁や素材自体、場面の切り替え、すなわち画像・動画データを含む上記素材の再生・停止・コマ送り・切替等の処理を両手指の同時操作或いはコントローラの操作にて行うことにより、ＶＲ空間内において各種素材によるプレゼンテーションやアミューズメント、エキシビション、トレーニングなどを効果的にユーザに体験させることを可能としたＶＲ映像空間生成システムに関する。

【背景技術】

【0002】

従来より、ユーザが映像を視聴することで、様々な疑似体験を得ることを可能としたバーチャルリアリティ（ＶＲ）に関する技術が数多く開発され、様々な場面で活用されている。バーチャルリアリティに関する技術は、進歩を遂げ、あらゆる分野で活用されており、室内等に居ながらにして現実的に仮想空間のその場にいるような体感を得ることを可能にするＶＲ技術が数多く開発され、使用されている。

【0003】

バーチャルリアリティとは、コンピュータが作り出す仮想空間において、ユーザが恰もその空間に自らがいるかのように認識・知覚させるための技術、また、そのような環境を作り出すこと及びそのための技術のことをいい、このような技術を用いた様々なビジネスツールやアミューズメント装置が開発され、ユーザに利便性や娯楽性を与えており、今後も更なる利用・活用の可能性を有している。

【0004】

バーチャルリアリティ技術を用いた空間を生成するためのシステムとしては、例えば、特開２０１８－１４７２７２号公報が存在する。ここでは、建築物等のプレゼンテーションにおいて、競合他者に対する優位性を発揮する支援方法を提供するシステムに関する技術として、原図データに基づきステレオグラムとなる２つのパノラマ画像である３次元ＣＧパースを生成し、該３次元ＣＧパースをパノラマＶＲ画像に変換すると共に、変換後のパノラマＶＲ画像の対応付けを行い、建築物に関するプレゼンテーション書類を生成した上で、該プレゼンテーション書類が使用されるプレゼンテーションにおいて対応付けられたパノラマＶＲ画像を表示装置に表示させるシステムに関する技術が開示されている。

【0005】

この技術によれば、確かに、ＶＲ空間におけるプレゼンテーションを行うことが可能になるとも考えられるが、３ｄｏｆでの視聴にとどまり、６ｄｏｆでの没入感のあるＶＲ体験を行うことが出来ない、複数のユーザがプレゼンテーションに参加する場合に、相互にコミュニケーションを取るなど、複雑な構成を採る事が出来ない、といった致命的な問題点があった。また、遠隔地における複数のユーザを一のＶＲ空間に集めるという構成も取れないという問題点があった。さらに、建築物等のプレゼンテーション以外のＶＲ空間を生成する場合に、専用ソフトウェアにて一から再構築することが必要であり、一般のフォーマットによる、読み取り可能な独立した素材をそのまま利用することができない、ＶＲ空間内において、ＶＲ体験者が素材の頁や素材自体、場面の切り替えを感覚的に行うことができない、という問題点があった。

【0006】

そこで、ＶＲ映像空間内をユーザが自由に移動・動作等することを可能とすることで、恰も仮想空間内にいるような感覚をユーザに与えるとともに、複数のユーザが仮想空間内で相互にコミュニケーションを取ったり、遠隔地における複数のユーザを一のＶＲ空間に集めたりすることができ、一般のファイルフォーマットによる、読取り可能な独立した素材を効果的にＶＲ空間に投影でき、かつ、ＶＲ空間内において、ＶＲ体験者が素材の頁や素材自体、場面の切り替えを感覚的に行うことができる仮想空間を構成するためのＶＲ映像空間を生成するためのＶＲ映像空間生成システムの開発が望まれていた。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１８－１４７２７２号公報

【発明の開示】

【発明が解決しようとする課題】

【0008】

本発明は、バーチャルリアリティによりユーザが利用可能な仮想空間を構成するためのＶＲ映像空間の生成システムであって、特に、生成されたＶＲ映像空間内を一または複数のユーザがその中で自由に移動・動作等することを可能としたうえ、一般的なファイルフォーマットにて生成され、システム本体を変更せずに容易に差し替えできる、読取り可能な独立した、平面投影映像、３Ｄ映像、またはドーム映像等の画像や動画からなる素材を、ＶＲ映像空間内にそのまま投影することで、恰も実際に仮想空間内においてこれらを視聴、体験しているような感覚をユーザに与えることを可能とし、ユーザが仮想空間内で相互にコミュニケーションを取ったり、遠隔地における複数のユーザを一のＶＲ空間に集めたりすることを可能とし、かつ、これらの頁や素材自体、場面の切り替え、すなわち画像・動画データを含む上記素材の再生・停止・コマ送り・切替等の処理を両手指の同時操作或いはコントローラの操作にて行うことにより、ＶＲ空間内において各種素材によるプレゼンテーションやアミューズメント、エキシビジョン、トレーニングなどを効果的にユーザに体験させるとともに、画面の切り替え処理における誤動作や、ユーザが意図せぬ画像の変化を生じさせることを防止・抑制することを可能としたＶＲ映像空間生成システムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記の目的を達成するために本発明に係るＶＲ映像空間生成システムは、一または複数のユーザがアクセス可能な仮想空間を構成するためのＶＲ映像を生成するＶＲ映像空間生成システムであって、ユーザが装着する一または複数からなるＶＲ視聴装置と、前記ＶＲ視聴装置に表示可能な初期映像を生成する映像生成手段と、前記ＶＲ視聴装置の各々の位置情報を取得する位置情報取得手段と、前記位置情報取得手段により取得された各位置情報に基づき、前記映像生成手段で生成された初期映像にアバター映像を合成してＶＲ映像を生成するＶＲ映像生成手段と、前記ＶＲ映像生成手段により生成されたＶＲ映像をＶＲ視聴装置に出力する映像出力手段と、からなり、前記ＶＲ映像空間生成システムは、ユーザが移動可能な領域をＸＹＺ座標として数値的に定義する領域定義手段と、前記位置情報取得手段によって取得された各位置情報をＸＹＺ座標として数値的に定義する位置定義手段と、前記領域定義手段によって定義された領域に、前記位置定義手段によって定義された各位置情報を座標値として導入（適用）するとともに、該領域と各位置情報とを、前記映像生成手段によって生成された初期映像に対応付ける対応付け手段と、を備え、前記位置定義手段は、領域が構成するＶＲ映像に係る世界の中心をずらす処理を行うことによってユーザに割り当てられた位置情報の較正処理を行い、前記ＶＲ視聴装置は、更に、該装置を装着したユーザの両手の指の位置および動きを検知するセンサーを備え、該センサーがユーザの両手の指の動作を検知した上で一定時間内における手や指の一連の動作に係る情報をトラッキング情報として取得するとともに、前記ＶＲ映像空間生成システムは、指の動作情報からなる複数のアクション情報を保持しており、該アクション情報は、画面の切り替え処理における誤動作や、ユーザが意図せぬ画像の変化を生じさせることを防止・抑制するため、ユーザの両手の指を同じ形で同時に動作することにより発生する指示情報からなるものであって各々前記初期映像の特定の変化処理に対応付けられており、前記初期映像は、平面投影映像、３Ｄ映像、またはドーム映像の全部又は何れかから選択される映像からなるとともに、ユーザの指示によって切り替わるイラスト、２Ｄ画像および文字情報を含む平面投影映像、ユーザの指示によって動作する２Ｄ動画からなる平面投影映像、ユーザの指示によって動作するＣＧの立体モデル、３Ｄ映像、ユーザの指示によって動作する全天球映像又はそのうちの一部の映像、のうちの何れか一または複数からなる前記初期映像をＶＲ視聴装置の固定位置に表示させる構成からなり、前記アクション情報は、前記初期映像の進行および／または後退処理に対応付けられており、前記ＶＲ映像空間生成システムは、前記トラッキング情報が前記アクション情報の何れかと一致した場合に、対応付けられている前記初期映像の変化処理を行う構成である。

【0011】

また、本発明に係るＶＲ映像空間生成システムは、一または複数のユーザがアクセス可能な仮想空間を構成するためのＶＲ映像を生成するＶＲ映像空間生成システムであって、ユーザが装着する一または複数からなるＶＲ視聴装置と、前記ＶＲ視聴装置に表示可能な初期映像を生成する映像生成手段と、前記映像生成手段で生成された初期映像にＶＲ視聴装置を装着する各ユーザのアバター映像を合成してＶＲ映像を生成するＶＲ映像生成手段と、前記ＶＲ映像生成手段により生成されたＶＲ映像をＶＲ視聴装置に出力する映像出力手段と、からなり、前記ＶＲ映像空間生成システムは、ユーザが移動可能な領域をＸＹＺ座標として数値的に定義する領域定義手段と、前記ＶＲ視聴装置を装着するユーザの各位置情報をＸＹＺ座標として数値的に定義する位置定義手段と、前記領域定義手段によって定義された領域に、前記位置定義手段によって定義された各位置情報を座標値として導入（適用）するとともに、該領域と各位置情報とを、前記映像生成手段によって生成された初期映像に対応付ける対応付け手段と、を備え、前記位置定義手段は、領域が構成するＶＲ映像に係る世界の中心をずらす処理を行うことによってユーザに割り当てられた位置情報の較正処理を行い、前記ＶＲ視聴装置は、更に、該装置を装着したユーザの両手の指の位置および動きを検知するセンサーを備え、該センサーがユーザの両手の指の動作を検知した上で一定時間内における手や指の一連の動作に係る情報をトラッキング情報として取得するとともに、前記ＶＲ映像空間生成システムは、指の動作情報からなる複数のアクション情報を保持しており、該アクション情報は、画面の切り替え処理における誤動作や、ユーザが意図せぬ画像の変化を生じさせることを防止・抑制するため、ユーザの両手の指を同じ形で同時に動作することにより発生する指示情報からなるものであって各々前記初期映像の特定の変化処理に対応付けられており、前記初期映像は、平面投影映像、３Ｄ映像、またはドーム映像の全部又は何れかから選択される映像からなるとともに、ユーザの指示によって切り替わるイラスト、２Ｄ画像および文字情報を含む平面投影映像、ユーザの指示によって動作する２Ｄ動画からなる平面投影映像、ユーザの指示によって動作するＣＧの立体モデル、３Ｄ映像、ユーザの指示によって動作する全天球映像又はそのうちの一部の映像、のうちの何れか一または複数からなる前記初期映像をＶＲ視聴装置の固定位置に表示させる構成からなり、前記アクション情報は、前記初期映像の進行および／または後退処理に対応付けられており、前記ＶＲ映像空間生成システムは、前記トラッキング情報が前記アクション情報の何れかと一致した場合に、対応付けられている前記初期映像の変化処理を行う構成である。

【0012】

また、前記位置定義手段は、ＶＲ視聴装置を装着するユーザの、身体の特定の部位の位置に係る情報を取得し、身体の他の各部位の位置に関する情報を演算し、前記ＶＲ映像生成手段が、前記情報をもとに描画を行い、ＶＲ視聴装置に表示するＶＲ映像を生成する構成である。

【0013】

また、前記初期映像は、一般的なフォーマットで作成され、他のシステムを変更せずに容易に差し替えできる、読取り可能な独立した、ユーザの指示によって切り替わるイラスト、２Ｄ画像および文字情報を含む平面投影映像、ユーザの指示によって動作する２Ｄ動画からなるプレゼンテーション画像、ユーザの指示によって動作するＣＧの立体モデル等を含む３Ｄ映像、全天球映像又はそのうちの一部の映像、のうちの何れか一または複数を含む構成である。
また、前記初期映像は、前記映像生成手段が読み取り可能な独立した映像データからなる構成である。

【発明の効果】

【0016】

本発明は、上記詳述した通りの構成であるので、以下のような効果がある。
１．ＶＲ視聴装置の位置情報を取得するとともに、初期映像に該位置情報に対応するようにアバター映像を合成する構成としたため、ＶＲ映像空間内にユーザの現在位置を反映させて表示させることが可能となり、複数人が同時にＶＲ映像空間を体験・共有することが可能となる。また、較正処理を行うことで遠隔地にいるユーザであっても同様にＶＲ映像空間を体験・共有することが可能となる。
２．領域定義手段と位置定義手段によってＶＲ映像空間の領域とその中のユーザの位置とを定義する構成としたため、現実的に移動可能な領域と仮想空間内の領域を一致させることが可能となる。

【0017】

３．ＶＲ映像空間生成システムが位置情報取得手段を用いない構成も可能としたため、ユーザの現実的な現在位置情報を取得せず、または現在位置情報を継続的に取得しないユーザも、仮想空間内の仮想的な位置情報を用いてＶＲ空間に参加可能となる。
４．位置定義手段が、位置情報取得手段によらずに、ＶＲ視聴装置を装着するユーザの各位置情報をＸＹＺ座標として数値的に定義する構成も可能としたため、ユーザが国内外の遠隔地にいた場合でも、複数人が同時にＶＲ映像空間を体験・共有することが可能となる。

【0018】

５．位置定義手段が、ユーザの身体の特定の部位の位置に係る情報を取得したうえ、身体の他の部位の位置を演算する構成としたため、かかる正確な位置情報を踏まえ、ＶＲ視聴装置ごとにどのような映像を表示すべきかを詳細に描画して表示することが可能となる。
６．初期映像が、平面投影映像、３Ｄ映像、ドーム映像等からなる構成としたため、ＶＲ空間において、あらゆる形式、タイプの素材を体験することが可能となる。

【0019】

７．初期映像として、ユーザの指示によって切り替わるイラスト、２Ｄ画像および文字情報を含む平面投影映像、ユーザの指示によって動作する２Ｄ動画からなる平面投影映像、ユーザの指示によって動作するＣＧの立体モデル等を含む３Ｄ映像、全天球映像又はそのうちの一部の映像、のうちの何れか一または複数を含む構成としたため、各種素材を含むプレゼンテーションやアミューズメント、エキシビション、トレーニングを、複数のユーザが共有するＶＲ映像空間内で行うことが可能となる。
８．初期映像として、ユーザの指示によって切り替わる映像をＶＲ視聴装置の固定位置に表示させる構成としたため、これらの素材をプレゼンテーションやアミューズメント、エキシビション、トレーニング用の画像・映像として、複数のユーザが共有するＶＲ映像空間内に表示することが可能となる。

【0020】

９．初期映像が、映像生成手段が、一般的なファイルフォーマットに準拠し、システム本体を変更せずに容易に差し替えできる、読み取り可能な独立した素材から生成する構成としたため、一のＶＲ映像空間生成システムで様々なＶＲ映像空間を表示させてユーザに体験させることが可能となる。
１０．センサーがユーザの指の動作をトラッキング情報として取得し、予め設定されたアクション情報と対比する構成としたため、ユーザが指を動かすことにより、体感的に初期映像の動作・変更等の処理指示を出すことが可能となる。

【0021】

１１．アクション情報が、ユーザの両手の指を同時に動作することにより発生する指示情報からなる構成としたため、両手を動かすことによる処理指示にのみ反応することとなり、誤った処理指示を出すリスクを低減できる。
１２．アクション情報が、初期映像の進行および後退処理に対応する指示情報を含む構成としたため、ＶＲ映像空間内における画像の逐次変更を伴うプレゼンテーションやアミューズメント、エキシビション、トレーニングを、ユーザの手や指の動作のみで進行させることが可能となる。

【発明を実施するための最良の形態】

【0022】

以下、本発明に係るＶＲ映像空間生成システムを、図面に示す実施例に基づいて詳細に説明する。図１ａは、本発明に係るＶＲ映像空間生成システムの概略図であり、図１ｂは、外部コンピュータを設けたＶＲ映像空間生成システムの概略図である。図２は、ＶＲ映像の表示例を示す概略図であり、図３は、領域・位置情報を示す図である。図４ａは、遠隔地のユーザに提供するＶＲ映像空間生成システムの概略図であり、図４ｂは、外部コンピュータを設けた遠隔地のユーザに提供するＶＲ映像空間生成システムの概略図である。図５は、映像素材や場面の切替処理を行うＶＲ映像空間生成システムの概略図である。

【0023】

本発明に係るＶＲ映像空間生成システム１は、図１ａおよび図１ｂに示すように、ＶＲ視聴装置１００と、映像生成手段２００と、位置情報取得手段３００と、ＶＲ映像生成手段４００と、映像出力手段５００と、からなり、バーチャルリアリティ（ＶＲ）技術を用いた仮想空間を構成するためのシステムである。一または複数のユーザがアクセス可能な仮想空間を構成するためのＶＲ映像を生成するものであり、生成されたＶＲ映像空間内を一または複数のユーザが自由に移動・動作等を行い、恰も仮想空間内にいるような感覚をユーザに与えることを可能としたシステムである。本発明に係るＶＲ映像空間生成システムにより、仮想空間内でのユーザのコミュニケーションや、プレゼンテーションの実施、アトラクションの体験、エキシビション、トレーニング等などを実現することが可能となる。

【0024】

なお、本発明で表示する「ＶＲ」映像とは、バーチャルリアリティ（仮想現実）の他、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：複合現実）、ＳＲ（Ｓｕｂｓｔｉｔｕｔｉｏｎａｌ Ｒｅａｌｉｔｙ：代替現実）も含む概念としている。

【0025】

ＶＲ視聴装置１００は、ユーザが装着する一または複数からなる装置であり、初期映像１０をもとに生成されたＶＲ映像２０を再生する為に用いられる映像を再生・表示するための装置である。本実施例の装置は、主にゴーグル型の映写装置からなるが、これに限定されることはなく、例えば、網膜に対して直接結像・投影させる網膜投影方式など、ユーザが装着することが可能で、かつ映像への没入感を得られる映写装置であれば、適宜選択して使用することが可能である。

【0026】

ＶＲ視聴装置１００は、本実施例では、図１ａに示すように、演算装置（図示せず）と任意の記憶媒体からなる記憶手段６１０を装備しており、該記憶手段６１０には初期映像１０およびこれから生成されたＶＲ映像２０が記憶される。また、ＶＲ視聴装置１００は、ＶＲ映像を視聴可能とするための映写装置であり、本実施例では、主にゴーグル型の映写装置とする構成となっているが、これに限定されることはなく、他の構造の映写装置を用いる事が可能である。また、ＶＲ視聴装置１００に表示される映像は主に３６０度の全部または一部視聴可能な映像からなる構成であり、また、（１）平面投影版（テキスト、イラスト及び／又は２Ｄ映像）、（２）３Ｄ映像、（３）３次元全天球ドーム映像のいずれからなる構成とすることも可能である。

【0027】

ＶＲ視聴装置１００は、図１ｂに示すように、コンピュータ６００又はクラウドに、無線または有線で接続される構成とすることも可能である。この構成の場合、コンピュータ６００又はクラウド上に、演算装置（図示せず）と任意の記憶媒体からなる記憶手段６１０を装備するものであり、該記憶手段６１０に初期映像１０およびこれから生成されたＶＲ映像２０が記憶される構成であり、また、ＶＲ視聴装置１００の位置情報等を取得・演算・管理することに用いられる構成となる。このとき、初期映像１０およびこれから生成されたＶＲ映像２０はＶＲ視聴装置１００で管理・演算・保持することも可能である。

【0028】

映像生成手段２００は、ＶＲ視聴装置１００に表示可能な初期映像１０を生成する装置である。初期映像１０は、本実施例では、平面投影映像、３Ｄ映像、またはドーム映像などの素材（画像・動画等）からなる構成であり、例えば、３６０度全天球映像等とすることが可能であり、また、平面的な映像とすることも可能であるし、３ｄｏｆ、６ｄｏｆの何れとすることも可能であるし、視差を伴う映像とすることも可能である。映像生成手段２００は、これらの基礎映像データをＶＲ視聴装置１００に表示可能な形式である平面的なアウトプット映像（３６０度映像等も平面的なアウトプット映像の一種）に変更することで初期映像１０を生成する。

【0029】

映像生成手段２００は、本実施例では、ＶＲ視聴装置１００に組み込まれた記憶媒体６１０に保存された各種データを基にＶＲ視聴装置１００の演算装置が演算処理して初期映像１０を生成する構成であるが、この形式に限定されることはなく、例えば、外部にコンピュータ６００又はクラウドを設け、コンピュータ６００又はクラウド上の記憶媒体６１０に保存された各種データを基に演算装置が演算処理して初期映像１０を生成する構成とすることも可能である。また、映像生成手段２００は、本実施例では、演算装置が記憶媒体６１０から読み出して処理するソフトウェアからなる構成であるが、これに限定されることはない。

【0030】

位置情報取得手段３００は、ＶＲ視聴装置１００の各々の位置情報Ｐを取得する手段である。本発明に係るＶＲ映像空間生成システム１のユーザは、ＶＲ視聴装置１００を装着しており、各々のＶＲ視聴装置又は外部のセンサーによりにより、各ユーザの身体の特定の部位に関する現在位置情報を把握することができ、位置情報Ｐを基に、身体の他の各部位の位置を演算し、ＶＲ映像生成手段が、前記情報をもとに描画を行い、ＶＲ視聴装置１００に各ユーザのアバターＶを表示させることが可能となる。

【0031】

位置情報取得手段３００は、本実施例では、各ＶＲ視聴装置１００に装備されており、ＶＲ視聴装置１００のカメラによって位置情報Ｐを算出する構成であるが、これに限定されることはなく、外部にセンサーを設置のうえレーザー照射によるトラッキングを行う等他の技術を用いる構成とすることも可能である。また、位置情報取得手段３００は、本実施例では、ＶＲ視聴装置１００に組み込まれた演算装置が記憶媒体６１０から読み出して処理するソフトウェアからなる構成であるが、これに限定されることはない。

【0032】

また、位置情報取得手段３００は、図１ａ、図１ｂに示すように、遠隔地におけるユーザの位置情報を取得して演算・管理する構成を含むことが可能である。この場合、遠隔地にいるユーザの位置情報を取得するとともに、位置情報取得手段３００が較正処理を行い、他のユーザが存在するＶＲ空間に位置情報を割り当てて、あたかもその空間に存在するように映像処理を行う。遠隔地において移動をした場合には、同様に、較正処理を行ってＶＲ空間内を同じように移動しているように映像処理を行う。この構成とすることにより、遠隔地にいる一または複数のユーザが、アバター映像Ｖを介して、同時にＶＲ映像空間を体験・共有することが可能となり、離れた位置にいるユーザ同士であっても、生成されたＶＲ映像空間内を自由に移動・動作等することが可能となり、遠隔地における複数のユーザを一のＶＲ空間に集めて相互にコミュニケーションを取ったりすることで、空間内における体験を共有することが可能となった。

【0033】

なお、この場合、演算装置は、各ユーザのキャリブレーションされた世界の中心をずらす処理（例えば、現実世界で右に数センチ、左に数センチ動くと、ＶＲ空間での世界の中心から右に数センチ、左に数センチ動く）や、別のユーザのアバターや風景、オブジェクトと、ユーザとが重なる場合にこれらを透明化（薄く）する処理を行う構成とすることが可能であり、その他、ユーザのＶＲへの没入感を高める映像処理を行う構成を取り込むことも可能である。

【0034】

前述の較正処理は、後述する位置定義手段３２０が行う構成としてもよい。この構成とすることにより、ＶＲ視聴装置１００の各位置情報ＰをＸＹＺ軸からなる座標として数値的に定義することが可能となる。

【0035】

ＶＲ映像生成手段４００は、映像生成手段２００で生成された初期映像１０にアバター映像Ｖを合成してＶＲ映像２０を生成するための手段である。ＶＲ映像生成手段４００は、位置情報取得手段３００によって取得された各ＶＲ視聴装置１００のそれぞれの位置情報Ｐに基づいて、初期映像１０内に配置すべき位置や向き（あるいは姿勢）を特定した上で、初期映像１０に各ユーザのアバター映像Ｖを合成したＶＲ映像２０を生成する。これにより、ＶＲ視聴装置１００を装着した各ユーザの現実的な位置が初期映像１０内に反映された状態のＶＲ映像２０が生成されることとなり、図２に示すように、各ユーザがＶＲ映像２０からなる仮想空間内に参加した状態を構成することが可能となる。すなわち、ユーザは、他のユーザが表示される仮想空間の映像であって、自らがいる仮想空間内の位置から見える他人のアバターを含む仮想空間の映像を視聴できることとなり、恰も仮想空間内に入り込んだかのような感覚を得ることが可能となり、ＶＲ映像２０への没入感が高まる事となる。

【0036】

ＶＲ映像生成手段４００は、本実施例では、本実施例では、ＶＲ視聴装置１００に組み込まれた演算装置が記憶媒体６１０から読み出して処理するソフトウェアからなる構成であるが、これに限定されることはなく、例えば、外部にコンピュータ６００又はクラウドを設け、コンピュータ６００に装備された又はクラウド上のＶＲ映像生成手段４００が演算処理してＶＲ映像２０を生成する構成とすることも可能である。また、本発明に係るＶＲ映像空間生成システムを構成する各機能の一部のみをクラウド上に移行した上で、各処理を行う構成とすることも可能である。更に、コンピュータ６００又はクラウドは、位置情報Ｐを取得して管理し、ＶＲ映像２０は、その情報を取得したＶＲ視聴装置１００が生成する構成とすることも可能であり、その他、あらゆる態様でＶＲ映像２０を生成する構成を選択することが可能である。

【0037】

映像出力手段５００は、ＶＲ映像生成手段４００により生成された、初期映像１０に各ユーザのアバター映像Ｖが合成されたＶＲ映像２０を、各ＶＲ視聴装置１００に出力する手段である。各ＶＲ視聴装置１００の位置や向きが異なるため、ＶＲ視聴装置１００に出力される映像はそれぞれ異なることとなる（図２参照）。映像出力手段５００は、本実施例では、ＶＲ視聴装置１００に組み込まれた演算装置が記憶媒体６１０から読み出して処理するソフトウェアからなる構成であるが、この構成に限定されることはなく、例えば、外部にコンピュータ６００を設け、コンピュータ６００に装備された映像出力手段５００が演算処理して、有線または無線で、ＶＲ視聴装置１００にＶＲ映像２０を出力する構成とすることも可能であるし、同様の処理をクラウド上で行うことも可能である。

【0038】

次に、ＶＲ映像空間生成システム１の実施例の詳細について説明する。本発明に係るＶＲ映像空間生成システム１は、図１ａに示すように、ユーザが装着するＶＲ視聴装置１００に装着されたカメラによって取得した空間の映像を、演算装置が解析した上で、予め用意されたＶＲ空間の映像と対応づけて空間映像をＶＲ視聴装置１００に投影する構成である。また、前述のように、各々のＶＲ視聴装置１００に装着されたカメラがデプス情報を取得し、視点位置に応じた仮想的に存在しているメッシュモデルを作成し、位置情報Ｐを取得、演算した上で、当該角度からみえる平面的なアウトプット映像（３６０度映像等も平面的なアウトプット映像の一種）を生成し表示させる構成である。

【0039】

この構成により、各ユーザがＶＲ視聴装置１００を介して見る仮想空間が、他のユーザを含む現実の空間において見える風景と対応し、仮想空間の映像にアバター映像Ｖを組み合わせたＶＲ映像２０となる。

【0040】

すなわち、この構成とすることにより、恰も仮想空間内にいるような感覚をユーザに与えることを可能とするとともに、現実世界と仮想世界が混在することとなり、生成されたＶＲ映像空間内を一または複数のユーザが自由に移動・動作等することが可能となり、複数のユーザが仮想空間内で相互にコミュニケーションを取ることが可能となった。

【0041】

本発明の実施例として、ＶＲ視聴装置１００が、各種情報を一元管理する構成とした場合の実施例を説明する。この場合、図１ａに示すように、ＶＲ映像空間生成システム１は、ＶＲ視聴装置１００内に領域定義手段３１０と、位置定義手段３２０と、対応付け手段４１０と、を備える。

【0042】

領域定義手段３１０は、例えば、図３に示すように、ＶＲ映像空間生成システム１が生成する仮想空間において、ユーザが移動可能な領域Ｆを定義する手段である。本実施例では、例えば、ＸＹＺ軸からなる３次元座標として数値的に定義することが考えられる。このとき、領域Ｆは、現実の空間に設けられる一定の領域と一致している。該領域は、ユーザが任意に移動したり、または着座したりする実際の空間である。

【0043】

領域定義手段３１０は、この空間と一致する仮想的な空間を領域Ｆとして定義する。領域Ｆは、例えば、ＸＹＺ軸からなる座標として数値的に定義されるがこれに限定されことはなく、他の領域管理手段を用いてＶＲ空間を把握し管理する構成とすることが可能である。

【0044】

領域定義手段３１０は、本実施例では、ＶＲ視聴装置１００の演算装置が記憶媒体６１０から読み出して処理するソフトウェアからなり、特に、位置情報取得手段３００に組み込まれるソフトウェアモジュール等からなる構成であるが、これに限定されることはなく、独立したソフトウェアや別途設けられるハードウェアに組み込まれるソフトウェア又はクラウド上において処理する構成としてもよい。

【0045】

位置定義手段３２０は、ＶＲ視聴装置１００の各位置情報ＰをＸＹＺ軸からなる座標として数値的に定義する手段である。ユーザの位置情報のＸ値、Ｙ値および／またはＺ値が最大値を超える場合には、ＶＲ視聴装置１００に警告メッセージを表示させるなどの例外処理を行う構成が考えられる。

【0046】

位置定義手段３２０は、本実施例では、ＶＲ視聴装置１００の演算装置が記憶媒体６１０から読み出して処理するソフトウェアからなり、特に、位置情報取得手段３００に組み込まれるソフトウェアモジュール等からなる構成であるが、これに限定されることはなく、独立したソフトウェアや別途設けられるハードウェアに組み込まれるソフトウェア又はクラウド上おいて処理する構成とすることももちろん可能である。

【0047】

対応付け手段４１０は、領域Ｆに一または複数の位置情報Ｐを導入し適用した上で、初期映像１０に対応づけるための手段である。詳細には、対応付け手段４１０は、領域定義手段３１０によって定義された領域Ｆに対して、位置定義手段３２０によって定義された位置情報Ｐを座標値として導入（適用）する。そのうえで、領域Ｆと各位置情報Ｐとを、映像生成手段２００によって生成された初期映像１０に対応付ける。具体的には、例えば、本実施例ではインバースキネマティクスに係る技術を用いる構成が可能である。なお、この対応付けの詳細については後述する。

【0048】

例えば、現実的な空間にＶＲ視聴装置１００を装着した複数のユーザがいる場合に、現実の空間と一致するように定義される領域Ｆ中に、それぞれの位置情報Ｐが現実の空間に存在するユーザの位置と一致するように定義される。その上で、それら各情報を初期映像１０に適用するため、初期映像１０中に各ユーザのアバター映像Ｖが実際にいるような位置に表示されることとなる。

【0049】

対応付け手段４１０は、本実施例では、ＶＲ視聴装置１００の演算装置が記憶媒体６１０から読み出して処理するソフトウェアからなり、特に、ＶＲ映像生成手段４００に組み込まれるソフトウェアモジュール等からなる構成であるが、これに限定されることはなく、独立したソフトウェアや別途設けられるハードウェアに組み込みまれるソフトウェア又はクラウド上において処理する構成とすることももちろん可能である。

【0050】

本発明の実施例として、コンピュータ６００又はクラウド上にて、各種情報を管理する構成とすることが可能である。この場合、図１ｂに示すように、ＶＲ映像空間生成システム１は、コンピュータ６００内に領域定義手段３１０と、位置定義手段３２０と、対応付け手段４１０と、を備える構成である。

【0051】

更に別の実施例として、コンピュータ６００又はクラウド上にて位置定義手段３２０による位置情報Ｐの管理等を行い、その他の演算処理は全てＶＲ視聴装置１００で行う構成とすることも可能である。

【0052】

本発明の別の実施例として、ＶＲ映像空間生成システム２は、図４ａおよび図４ｂに示すように、位置情報取得手段３００を用いない構成とすることが可能である。すなわち、各ユーザが装着するＶＲ視聴装置１００のそれぞれの今現在の現実的な位置を取得しない構成とし、位置定義手段３２０が仮想空間内におけるユーザの仮想的な位置情報Ｐを演算してＸＹＺ軸からなる座標として数値的に定義し、この位置情報Ｐを用いて、ＶＲ映像生成手段４００は、映像生成手段２００で生成された初期映像１０に、ＶＲ視聴装置１００を装着する各ユーザのアバター映像Ｖを合成してＶＲ映像２０を生成する。このとき、その場にいない遠隔地のユーザのアバターの各々が重ならないように、任意の位置を設定することが考えられる。

【0053】

本発明に係る実施例として、図４ａに示すように、ＶＲ視聴装置１００が各種情報を一元管理する構成について説明する。この構成において、位置定義手段３２０は、他のＶＲ視聴装置１００と通信を行いつつ、位置情報Ｐを現実の空間の任意の箇所にいることと仮定して、任意に位置情報Ｐを設定し、ＸＹＺ軸からなる座標として数値的に定義する。この構成とすることにより、遠隔地にいる一または複数のユーザが、アバター映像Ｖを介して、同時にＶＲ映像空間を体験・共有することが可能となり、離れた位置にいるユーザ同士であっても、生成されたＶＲ映像空間内を自由に移動・動作等することが可能となり、遠隔地における複数のユーザを一のＶＲ空間に集めて相互にコミュニケーションを取ったりすることで、空間内における体験を共有することが可能となる。

【0054】

なお、この場合、演算装置は、各ユーザのキャリブレーションされた世界の中心をずらす処理や、別のユーザのアバターや風景、オブジェクトと、ユーザとが重なる場合にこれらを透明化（薄く）する処理を行う構成とすることが可能であり、その他、ユーザのＶＲへの没入感を高める映像処理を行う構成を取り込むことも可能である。なお、上記キャリブレーション処理は、位置定義手段３２０が行う構成としてもよい。この構成により、ＶＲ視聴装置１００の各位置情報ＰをＸＹＺ軸からなる座標として数値的に定義することが可能となる。

【0055】

また、別の実施例として、図４ｂに示すように、外部のコンピュータ６００を設け又はクラウドを利用して、各種情報を一元管理する構成とすることが可能である。この構成においては、コンピュータ６００又はクラウド上の位置定義手段３２０は、各ＶＲ視聴装置１００と通信を行った上で、位置情報Ｐを、現実の空間の任意の箇所にいることと仮定して、任意に設定し、ＸＹＺ軸からなる座標として数値的に定義する構成である。

【0056】

本発明に係る位置定義手段３２０は、ＶＲ視聴装置１００を装着するユーザの、身体の特定の部位の位置などに係る情報を取得したうえ、身体の他の各部位の位置を演算する構成である。対応付け手段４１０は、領域Ｆとこれらの情報を含む位置情報Ｐとを、映像生成手段２００によって生成された初期映像１０に対応付ける。ＶＲ映像生成手段４００は、これらの情報をもとに描画を行い、ＶＲ視聴装置１００に表示するＶＲ映像２０を生成する。この構成とすることにより、ユーザが装着するＶＲ視聴装置１００に表示されるＶＲ映像２０がユーザの動きに合わせた精確ものとなり、あたかも仮想空間が現実であるかのようなＶＲ映像２０への没入感を得ることが可能となる。

【0057】

アバター映像Ｖの生成には、本実施例では、インバースキネマティクスに係る技術を用いることが可能である。インバースキネマティクスとは、階層構造をもつオブジェクトにおいて下位オブジェクトのターゲット位置を指定することで上位オブジェクトの位置や回転角度などを計算する技術であり、アバター映像Ｖの動作の演算に用いている。本実施例では、ＶＲ視聴装置１００またはコンピュータ６００には、演算装置が組み込まれており、位置定義手段３２０が、ユーザの身体の特定の部位の位置などに係る情報を取得する。これらの情報を演算装置がインバースキネマティクス技術を用いて演算処理し、身体の他の各部位の位置を特定した上で、対応付け手段４１０が対応付け処理を行った上で、ＶＲ視聴装置１００に表示するＶＲ映像２０を生成する構成である。

【0058】

なお、以上の構成とすることにより、一部のユーザは、現実の空間に重ね合わされた仮想空間内を体験し、他のユーザは、遠隔地に設けられた現実の空間からその仮想空間に参加する構成とすることが可能となる。

【0059】

例えば、仮想空間において、あるプレゼンテーションを複数のユーザが視聴する状況において、プレゼンテーション会場にいるユーザは、現実の空間に重ね合わされた仮想空間内でＶＲ視聴装置１００によってプレゼンテーションを視聴し、遠隔地にいるユーザも同様に現実の空間に重ね合わされた同一の仮想空間内でＶＲ視聴装置１００によってプレゼンテーションを視聴する。遠隔地にいるユーザは、アバター映像ＶがＶＲ映像２０に表示されるため、プレゼンテーション会場にいるユーザは遠隔地にいるユーザも同じ場所にいるように認識できる。一方、遠隔地にいるユーザは、ＶＲ視聴装置１００を通して、プレゼンテーション会場にいる体験を得られる。

【0060】

本実施例では、ＶＲ映像空間生成システム１・２は、６ｄｏｆまたは３ｄｏｆに対応する構成となっている。３ｄｏｆとは、Ｘ軸、Ｙ軸、Ｚ軸の３つの動きに対応したＶＲ視聴装置１００であり、ＶＲ視聴装置１００を装着した頭の回転や傾きを感知する。また、６ｄｏｆとは、３ｄｏｆの動きに加えて、Ｘ軸、Ｙ軸、Ｚ軸方向の移動を加えた、６つの動きに対応する構成である。６ｄｏｆに対応することで、ＶＲ視聴装置１００を装着したユーザがあらゆる動きをした場合、仮想空間内における高い没入感を得ることが可能となる。また、３ｄｏｆ対応としても、十分な没入感を得ることができる。

【0061】

特に、ユーザに６ｄｏｆを体験させてから、既存の３ｄｏｆ映像を見せることにより、ユーザが６ｄｏｆによる没入感を維持しながら３ｄｏｆ映像を楽しむことができる。すなわち、６ｄｏｆの体験による錯覚を利用して、既存の多数の３ｄｏｆ映像を６ｄｏｆによる没入感を維持しつつ見せる構成とすることが可能である。

【0062】

また、例えば、撮影した３ｄｏｆ映像で見渡せる範囲に写っているものと同等の映像を、６ｄｏｆにてＣＧ生成したうえ、６ｄｏｆ体験の中で３ｄｏｆを撮影したポジションに誘導し、没入感を維持できる最適なポジションで６ｄｏｆから３ｄｏｆに差し替えを行い、これを連続的に見せることで６ｄｏｆによる没入感を維持しつつ３ｄｏｆを見せる構成とすることが可能である。

【0063】

また、本実施例では、音声を共有することが可能である。すなわち、ユーザが発した声や、ＶＲ映像内で流れる音、音楽などが同時に、すべてのユーザのＶＲ視聴装置１００に設けられたスピーカー等によって再生される構成である。これにより、同じＶＲ空間に参加するすべてのユーザが空間を共有する体験を得ることが可能となる。

【0064】

すなわち、本発明に係るＶＲ映像空間生成システム１・２により、恰も仮想空間内にいるような感覚を各ユーザに与え、ユーザが仮想空間内で相互にコミュニケーションを取ったり、遠隔地における複数のユーザを一のＶＲ空間に集めたりすることが可能となり、ＶＲ空間内におけるプレゼンテーションやアミューズメント、エキシビション、トレーニングなどを体験することが可能となった。

【0065】

本発明に係るＶＲ映像空間生成システム１は、インターネット等の外部ネットワークを用いることなく、ローカルのみで運用することも可能である。すなわち、インターネット等外部に接続可能なネットワーク環境にない状況であっても、ＶＲ映像空間生成システム１を用いてプレゼンテーション等を行う事が可能である。

【0066】

初期映像１０は、本実施例では、ＰＮＧやＭＰ４等を含む一般的なファイルフォーマットにて生成され、ＶＲ映像空間生成システムの本体を変更せずに容易に差し替えできる、読取り可能な独立した、平面投影映像、３Ｄ映像、またはドーム映像等からなる構成である。この構成とすることにより、ＶＲ空間において、あらゆる形式、タイプの素材を、ＶＲ映像空間生成システム１・２を利用するユーザが体験することが可能となった。

【0067】

また、初期映像１０は、一般的なファイルフォーマットにて生成され、ＶＲ映像空間生成システム本体を変更せずに容易に差し替えできる、読取り可能な独立した、ユーザの指示によって切り替わるイラスト、２Ｄ画像および文字情報を含む平面投影映像や、ユーザの指示によって動作する２Ｄ動画からなる平面投影映像を含む構成とすることが可能である。また、ユーザの指示によって動作するＣＧの立体モデル、３Ｄ映像を含む構成としたり、ユーザの指示によって動作する全天球映像又はそのうちの一部の映像を含む構成とすることが可能である。

【0068】

これら各映像は、ＰＮＧやＭＰ４等を一般的なファイルフォーマットにて生成されるものであり、ＶＲ空間内（初期映像１０内）に固定的に埋め込んだり、ユーザが顔を向けた方向に常に表示したり、あらゆる表示方法を選択することが可能な独立した映像である。また、任意に埋め込むことが可能なため、他のシステムを変更せずに容易に差し替え可能となっている。

【0069】

この構成とすることにより、仮想空間内に埋め込まれた平面投影映像、３Ｄ映像、全天球映像をユーザが視聴することが可能となり、これにより、自動車、不動産などの構造・仕様を紹介するためのプレゼンテーションやアミューズメント、エキシビション、トレーニングを、容易にユーザが体験し、共有することが可能となった。その他、様々なアトラクションを、複数のユーザが体験し共有することが可能となった。

【0070】

更に、初期映像１０は、映像生成手段２００が読み取り可能な独立した映像データからなる構成とすることが可能である。この構成とすることにより、映像生成手段２００が一般的なファイルフォーマットで生成された画像・動画データ等を含む既存の各種素材から任意の初期映像１０を読み取ることが可能となり、一のＶＲ映像空間生成システムで所望する任意のＶＲ映像空間を表示させてユーザに体験させることが可能となった。

【0071】

例えば、本発明に係るＶＲ映像空間生成システム１・２では、ユーザが参加するＶＲ空間内において、別形式で作成されたプレゼンテーション資料を固定位置挿入して表示させる（例えば、ＶＲ空間が講堂からなり、プレゼンテーション資料は、講堂の教壇後ろに固定して埋め込む）。これにより、ＶＲ空間内でユーザはプレゼンテーションを共有することが可能となり、プレゼンテーション資料は、容易に差し替えることが可能となった。

【0072】

また、例えば、ＶＲ空間内に映像を含ませる構成とすることも可能である。この構成により、例えば、身体性を伴う運動のトレーニングを本発明に係るＶＲ映像空間生成システム１・２で体験する場合において、仮想空間内に埋め込まれるインストラクターの映像を常にユーザの前に表示させることが可能となり、ユーザがどのような体勢を取っても、常に特定の位置（例えば目の前）に投影映像を表示でき、ユーザにとって利便性の高いＶＲ映像空間生成システム１・２を提供することが可能となった。

【0073】

ＶＲ視聴装置１００は、図３および図５に示すように、本実施例では、センサー１１０を備えている。センサー１１０は、ＶＲ視聴装置１００を装着したユーザの両手の指の位置および動きを検知するセンサーである。センサー１１０は、ＶＲ視聴装置１００を装着中のユーザの両手の手や指の動作を検知した上で、その動作に係る情報をトラッキング情報Ｔとして取得する。トラッキング情報Ｔは、ユーザの両手の指の動きに関する情報であって、一定時間内における手や指の一連の動作に係る情報からなる。なお、センサー１００は、ＶＲ視聴装置１００以外の他の装置に設置して、ＶＲ視聴装置１００を装着したユーザの両手の指の位置および動きを検知する構成としてもよい。

【0074】

例えば、縦または横に一本線を引く動きや、８の字を描く動きなど、ある地点からある地点までの手や指の経路を、左右の手ごとにトレースしてトラッキング情報Ｔとして取得・保存する。

【0075】

また、ＶＲ映像空間生成システム１・２は、アクション情報Ａを保持している。アクション情報Ａは、一定時間内における指の一連の動作をトラッキングした情報であり、本実施例では、複数パターンのアクション情報Ａを保持する。アクション情報Ａは、本実施例では、ＶＲ視聴装置１００またはコンピュータ６００の記憶媒体６１０に記憶されるデータからなる。

【0076】

複数からなるアクション情報Ａは、本実施例では、各々初期映像１０の特定の変化処理に対応付けられる構成である。また、取得したトラッキング情報Ｔが、保存してあるアクション情報Ａの何れかと一致した場合に、対応付けられている初期映像１０の変化処理を行う構成である。

【0077】

例えば、初期映像１０がプレゼンテーション画像等を含み、アクション情報Ａが初期映像の進行および後退処理に対応付けられる場合を想定する。このとき、指を右から左へ動作させるアクションがアクション情報Ａとして登録・保持されており、そのアクション情報Ａが、初期映像１０中の一部分に表示されるプレゼンテーション映像を逐次切り替えるような画像の変化処理に対応付けられているとした場合、ＶＲ視聴装置１００を装着したユーザが指を動かすと、センサー１１０がその指の位置および動きを検知した上で、その動作に係る情報をトラッキング情報Ｔとして取得する。ＶＲ映像空間生成システム１・２は、その指の動きをトレースしたトラッキング情報Ｔとアクション情報Ａとを対比する処理を行い、それらが同じと判断した場合に、対応付けられたプレゼンテーション映像を逐次切り替える画像の処理を行う構成である。

【0078】

その他、親指と人差し指や中指を接触させて円形をつくる動作など、あらゆる動作をアクション情報Ａとして登録・保持することが可能である。この構成とすることにより、仮想空間に参加するユーザのうちの一人がプレゼンテーションやアトラクション、エキシビション、トレーニングを行う場合において、該プレゼンテータが指を動かすだけで映像素材や場面を逐次切り替えることが可能となり、よりスムーズかつ訴求力のあるプレゼンテーションやアトラクション、エキシビション、トレーニングを行うことが可能となった。

【0079】

アクション情報Ａは、本実施例では、特に、ユーザの両手の指を同時に動作することにより発生する指示情報からなる構成である。例えば、初期映像１０が複数枚からなるプレゼンテーション映像を含み、アクション情報Ａがプレゼンテーション映像の進行および後退処理に対応付けられる場合を想定する。このとき、両手の親指と人差し指、または親指と中指を接触させる動作をアクション情報Ａとして登録しておき、この動作をプレゼンテーション映像の進行（または後退）処理に対応させておく。仮想空間内でプレゼンテーションを行うユーザが、両手の親指と人差し指、または親指と中指を接触させる動作をすると、ＶＲ映像空間生成システム１・２は、その指の動きをトレースしたトラッキング情報Ｔを感知・取得するとともに、アクション情報Ａとの対比を行い、一致していることを認定して、そのクション情報Ａに対応付けられたプレゼンテーション映像の進行処理を行う。

【0080】

片手のみからなるトラッキング情報Ｔを用いると、簡易的でスマートに初期映像１０の変化処理を指示することが可能となるが、ユーザの動作が曖昧であったりすると、誤動作に繋がるという大きな問題点があった。両手を同時に用いるこの構成とすることにより、例えばプレゼンテーション時の画面の切り替え処理における誤動作や、ユーザが意図せぬ画像の変化を生じさせることを防止・抑制することが可能となった。

【0081】

以上の構成とする事により、ユーザは、恰も仮想空間内にいるような感覚を得られることとなり、仮想空間内で相互にコミュニケーションを取ったり、遠隔地における複数のユーザが一のＶＲ空間に集まったりすることができ、一般的なファイルフォーマットにて生成され、読取り可能な独立した画像・動画等を含む各種素材を、ＶＲ映像空間内にそのまま投影することで、恰も仮想空間内においてこれらを視聴、体験しているような感覚をユーザに与えたり、これらの素材の頁や素材自体、場面を両手指の同時操作にて切り替えたりすることで、ＶＲ空間内におけるプレゼンテーションやアミューズメント、エキシビション、トレーニングなどを非常に高い臨場感とともに体験し共有することが可能となった。

【図面の簡単な説明】

【0082】

【図1a】本発明に係るＶＲ映像空間生成システムの概略図

【図1b】外部コンピュータを設けたＶＲ映像空間生成システムの概略図

【図2】ＶＲ映像の表示例を示す概略図

【図3】領域・位置情報を示す図

【図4a】遠隔地のユーザに提供するＶＲ映像空間生成システムの概略図

【図4b】外部コンピュータを設けた遠隔地のユーザに提供するＶＲ映像空間生成システムの概略図

【図5】映像素材や場面の切替処理を行うＶＲ映像空間生成システムの概略図

【符号の説明】

【0083】

１・２ ＶＲ映像空間生成システム
１０ 初期映像
２０ ＶＲ映像
１００ ＶＲ視聴装置
１１０ センサー
２００ 映像生成手段
３００ 位置情報取得手段
３１０ 領域定義手段
３２０ 位置定義手段
４００ ＶＲ映像生成手段
４１０ 対応付け手段
５００ 映像出力手段
６００ コンピュータ
６１０ 記憶手段
Ａ アクション情報
Ｆ 領域
Ｐ 位置情報
Ｔ トラッキング情報
Ｖ アバター

【図1a】

【図1b】

【図2】

【図3】

【図4a】

【図4b】

【図5】