特許 7257453 ３次元映像および前庭電気刺激を統合するためのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-05

(45)【発行日】2023-04-13

(54)【発明の名称】３次元映像および前庭電気刺激を統合するためのシステム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20230406BHJP

   H04N 13/261 20180101ALI20230406BHJP

   H04N 13/344 20180101ALI20230406BHJP

   H04N 13/366 20180101ALI20230406BHJP

【ＦＩ】

G06F3/01 510

H04N13/261

H04N13/344

H04N13/366

【請求項の数】 7

(21)【出願番号】P 2021112846

(22)【出願日】2021-07-07

(62)【分割の表示】P 2018528332の分割

【原出願日】2016-12-19

(65)【公開番号】P2021184260

(43)【公開日】2021-12-02

【審査請求日】2021-07-07

(31)【優先権主張番号】62/387,586

(32)【優先日】2015-12-23

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】501083115

【氏名又は名称】メイヨ・ファウンデーション・フォー・メディカル・エデュケーション・アンド・リサーチ

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(74)【代理人】

【識別番号】100142907

【弁理士】

【氏名又は名称】本田 淳

(72)【発明者】

【氏名】プラダン、ガウラフ エヌ．

(72)【発明者】

【氏名】セベット、マイケル ジェイ．

(72)【発明者】

【氏名】ステパネク、ヤン

【審査官】酒井 優一

(56)【参考文献】

【文献】米国特許出願公開第２０１０／０１１３１５０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１２／０１０５６０２（ＵＳ，Ａ１）

【文献】特表２０１２－５１９５３８（ＪＰ，Ａ）

【文献】特表２０１３－５３７７２８（ＪＰ，Ａ）

【文献】特表２０１１－５２３５１５（ＪＰ，Ａ）

【文献】国際公開第２０１４／１９４１３５（ＷＯ，Ａ１）

【文献】特開２００６－２８８６２１（ＪＰ，Ａ）

【文献】特開２００６－２８８６２２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｈ０４Ｎ １３／２６１

Ｈ０４Ｎ １３／３４４

Ｈ０４Ｎ １３／３６６

(57)【特許請求の範囲】

【請求項1】

統合された３次元（３Ｄ）映像および対応する３Ｄ前庭電気刺激をユーザに提供するためのシステムであって、前記３Ｄ前庭電気刺激は前記ユーザによって視聴される映像のシーンに対応するものである、システムにおいて、前記システムは、
３Ｄ視覚刺激システムであって、映像のシーンを表し、かつ前記映像の前記対応するシーンにおける運動の３次元映像角速度情報を表すデータを含む３次元映像信号を受信するように構成され、
仮想環境ユーザシステムと、
前記仮想環境ユーザシステムに連結されるとともに前記ユーザに前記映像を表示するように構成された視覚ディスプレイと、
前記仮想環境ユーザシステムに連結されるとともに前記シーンを視聴する前記ユーザの頭部または眼の運動を表す、３次元頭部角速度情報を提供するように構成されたヘッドトラッカーと、
を含む３Ｄ視覚刺激システムと、
前記３Ｄ視覚刺激システムに結合されるとともに前記３次元映像角速度情報および前記３次元頭部角速度情報に基づいて合成３次元角速度情報を計算するように構成された合成３Ｄ角速度計算器であって、前記合成３次元角速度情報は、前記視聴されるシーンにおける前記運動に対する前記ユーザの頭部または眼の３次元角速度を表す、合成３Ｄ角速度計算器と、
前記合成３Ｄ角速度計算器に結合されるとともに、前記合成３次元角速度情報に基づいて３次元加速度情報を計算するように構成された３Ｄ加速度計算器であって、前記３次元加速度情報は、前記合成３次元角速度情報に関連している３Ｄ加速度計算器と、
前記３Ｄ加速度計算器に結合されるとともに前記３次元加速度情報に対応する３次元前庭電気刺激信号を生成するように構成された３ＤＧＶＳコマンド発生器であって、前記３次元前庭電気刺激信号は、前記シーンを視聴する前記ユーザの加速度に対応する３次元加速度感覚を刺激するように構成されている、３ＤＧＶＳコマンド発生器と、
を含むシステム。

【請求項2】

前記３Ｄ視覚刺激システムに結合される３Ｄ映像変換器をさらに含む、請求項１に記載のシステム。

【請求項3】

前記３Ｄ映像変換器に結合される２次元映像ソースをさらに含む、請求項２に記載のシステム。

【請求項4】

前記３次元映像角速度情報、前記３次元頭部角速度情報および前記合成３次元角速度情報は少なくとも３つの方向のそれぞれにおける角速度として表され、前記３次元加速度情報は少なくとも３つの方向のそれぞれにおける加速度として表される、請求項３に記載のシステム。

【請求項5】

前記少なくとも３つの方向は、ピッチ方向、ヨー方向およびロール方向を含む、請求項４に記載のシステム。

【請求項6】

前記３次元映像角速度情報、前記３次元頭部角速度情報および前記合成３次元角速度情報は少なくとも３つの方向のそれぞれにおける角速度として表され、前記３次元加速度情報は少なくとも３つの方向のそれぞれにおける加速度として表される、請求項１に記載のシステム。

【請求項7】

前記少なくとも３つの方向は、ピッチ方向、ヨー方向およびロール方向を含む、請求項６に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、概して、バーチャルリアリティ刺激システムに関する。特に、本発明は、前庭電気刺激の３次元映像との統合に関する。

【背景技術】

【0002】

Ｏｃｕｌｕｓ ＶＲ社によって開発されたＲｉｆｔデバイスのような、いわゆるバーチャルリアリティシステムまたはエンハンスドリアリティシステムは、３次元映像をヘッドセット上に表示することによって、ユーザに３次元視覚刺激を提示する。ユーザの頭部の向きおよび／または動きを表す情報は、追跡装置によって追跡され、その情報は、映像の表示を制御するためにシステムによって使用される（例えば、表示された映像のシーンは、ユーザが頭を回す方向のシーンに適切に対応する）。また、仮想経験を強化するべく、運動または加速の感覚をユーザに提供するために、視覚刺激と併せて前庭電気刺激（ＧＶＳ）を提供することも知られている。これらのタイプのシステムは、例えば、Ｃａｍｐｂｅｌｌの特許文献１、ＬａＶａｌｌｅ他の特許文献２およびＢｒｏｋｋｅｎ他の特許文献３に記載されており、これらの全ては、参照によりその全体が、そしてすべての目的のための本明細書に組み込まれる。ＧＶＳシステムは、例えば、Ｃｅｖｅｔｔｅ他の特許文献４に記載されており、参照によりその全体が、そしてすべての目的のための本明細書に組み込まれる。しかしながら、エンハンスドバーチャルリアリティシステムに対する継続的な必要性が存在している。特に、視覚刺激に対応して増強された統合前庭刺激を提供するようなシステムが必要である。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許第５，７６２，６１２号明細書

【文献】米国特許第９，０６３，３００号明細書

【文献】米国特許出願公開第２０１１／００４４６０４号明細書

【文献】米国特許第８，７１８，７９６号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、３次元映像および前庭電気刺激を統合するためのシステムを提供することにある。

【課題を解決するための手段】

【0005】

本発明の実施形態は、映像（ｖｉｄｅｏ）のシーンにおける加速に対応する前庭電気刺激（ｇａｌｖａｎｉｃ ｖｅｓｔｉｂｕｌａｒ ｓｔｉｍｕｌａｔｉｏｎ）を提供する方法を含む。実施形態において、同方法は、（１）３次元映像角速度情報を含む３次元映像信号を受信するステップであって、前記映像信号は、ユーザに表示することができるシーンを表すステップと、（２）３次元頭部角速度情報を含む３次元頭部方位信号を受信するステップであって、頭部方位信号は、表示されたシーンを視聴するユーザの頭部の方位を表すステップと、（３）映像角速度情報および頭部角速度情報に基づいて合成（ｒｅｓｕｌｔａｎｔ）３次元角速度情報を計算するステップであって、合成３次元角速度情報は、視聴シーンに対するユーザの３次元角速度を表すステップと、（４）合成３次元角速度情報に基づいて３次元の加速度情報を計算するステップであって、３次元の加速度情報は、シーンを視聴するユーザの３次元加速度を表すステップと、（５）合成３次元角加速度情報に対応する３次元前庭電気刺激信号を生成するステップであって、３次元刺激信号は、表示されたシーンを視聴するユーザの加速度に対応する３次元加速度感覚を刺激することになるステップと、を含む。３次元は、実施形態において、ピッチ、ヨーおよびロールのような少なくとも３つの軸の周りの（ａｂｏｕｔ）速度または加速度を表す。実施形態は、（１）２次元映像信号を受信すること、および（２）２次元映像信号に基づいて３次元映像信号を生成すること、も含む。

【発明の効果】

【0006】

本発明によれば、３次元映像および前庭電気刺激を統合するためのシステムが提供された。

【図面の簡単な説明】

【0007】

【図1】本発明の実施形態に従う３次元映像および前庭電気刺激システムのブロック図である。

【発明を実施するための形態】

【0008】

本発明の実施形態に従って、統合された３次元（３Ｄ）映像および対応する３Ｄ前庭電気刺激（ＧＶＳ）を提供するためのシステム１０および方法は、図１を参照して説明することができる。図示されるように、システム１０は、２次元（２Ｄ）映像ソース１２、３Ｄ映像変換器１４、３Ｄ視覚刺激システム１６、合成３Ｄ角速度計算器１８およびＧＶＳ刺激システム２０を含む。２Ｄ映像ソース１２は、２Ｄ映像データまたは信号の任意の所望のソースであり得る。映像ソース１２の例には、テレビ番組、映画、ビデオゲームフィールドおよびカメラによって捕捉されたシーンのような映像視覚シーンを表す２Ｄ映像信号を提供するテレビ受信機、ＤＶＤまたは他の再生デバイス、ビデオゲームコンソール、ドローンカメラまたは他のカメラが含まれる。実施形態において、２Ｄ映像ソース１２の出力は複合映像信号である。映像ソース１２によって提供される２Ｄ映像信号は、３Ｄ映像変換器１４に結合される。３Ｄ映像変換器１４は、本発明の実施形態においてユニバーサルシリアルバス（ＵＳＢ）を介して映像信号を受信するように構成される。複合映像信号を出力する２Ｄ映像ソース１２と共に使用するように構成されたそのような実施形態において、２Ｄ映像ソースと３Ｄ映像変換器１４との間にコンポジット－ＵＳＢ変換器（図示せず）を結合することができる。本発明の他の実施形態において、２Ｄ映像ソース１２は他のフォーマットの映像を提供し、３Ｄ映像変換器１４は他のフォーマットの映像を受信することができる。

【0009】

３Ｄ映像変換器１４は、受信した２Ｄ映像信号を対応する３Ｄ映像データまたは信号に変換する。実施形態において、３Ｄ映像変換器１４は、Ｏｐｅｎ ＧＬ（登録商標）（Ｏｐｅｎ Ｇｒａｐｈｉｃｓ Ｌｉｂｒａｒｙ）を実行するコンピュータを含む。他の実施形態は、他の３Ｄ映像フォーマットに基づいている。映像変換器１４によって生成された３Ｄ映像信号は、３Ｄ映像の対応するシーンにおける運動の特徴である３Ｄ映像角速度情報を表すデータを含む。例えば、３Ｄ映像角速度情報は、ピッチ方向、ヨー方向及びロール方向のそれぞれの角速度として数値的に表現することができ、行列形式で表すことができる。実施形態において、映像変換器１４によって生成された３Ｄ映像信号は、３Ｄ視覚刺激システム１６と互換性のあるフォーマットを有する。他の実施形態（図示せず）は、映像変換器１４によって生成された３Ｄ映像信号を、刺激システム１６と互換性があるフォーマットに変換するための変換器を含む。

【0010】

３Ｄ視覚刺激システム１６は、図示の実施形態において、仮想環境ユーザシステム３０、視覚ディスプレイ３２およびヘッドトラッカー３４を含む。視覚ディスプレイ３２は、仮想環境ユーザシステム３０によって駆動され、３Ｄ映像変換器１４から受信した３Ｄ映像の３Ｄ視覚ディスプレイを提供する。実施形態において、視覚ディスプレイ３２は、Ｏｃｕｌｕｓ ＶＲ社によって開発されたタイプのＯｃｕｌｕｓ Ｒｉｆｔヘッドマウントディスプレイである。他の実施形態において、他のバーチャルリアリティディスプレイシステムが使用される。ヘッドトラッカー３４は、ユーザが視覚ディスプレイ３２上の映像を視聴している間に、ユーザの頭または眼の方位を表す情報または信号を生成し、仮想環境ユーザシステム３０に供給する。ヘッドトラッカー３４は、例えば、（例えば、運動を検出する加速度計を含む）視覚ディスプレイ３２に内蔵されている、および／またはセンサなどの外部デバイスとすることができる。ヘッドトラッカー３４によって提供される頭部方位情報は、ユーザの頭部の運動を表す３Ｄ頭部角速度の形態であり得る。実施形態において、ヘッドトラッカー３４によって提供される頭部角速度情報は、頭部のピッチ方向、ヨー方向およびロール方向のそれぞれにおける角速度として数値的に表現され、行列形式で表される。例えばビデオゲームコンソールまたはビデオドライバハードウェアおよびソフトウェアを有する汎用コンピュータであり得る仮想環境ユーザシステム３０は、３Ｄ映像変換器１４から受信した映像信号およびヘッドトラッカー３４によって提供された頭部方位情報に応じて視覚ディスプレイ３２を駆動して、映像およびユーザの頭部の動きに対応する視覚的なバーチャルリアリティ環境をユーザに提供する。

【0011】

合成角速度計算器１８は、３Ｄ映像角速度情報と３Ｄ頭部角速度情報とを受信する。図示された実施形態において、この映像角速度情報および頭部角速度情報は仮想環境ユーザシステム３０を介して受信される。他の実施形態（図示しない）において、３Ｄ映像角速度情報および頭部角速度情報のいずれかまたは両方が３Ｄ映像変換器１４またはヘッドトラッカー３４からそれぞれ直接受信されてもよい。角速度計算器１８は、映像および頭部の運動の角速度（すなわち、映像の視聴シーンに対するユーザの対応する角速度）の両方に基づいて合成３Ｄ角速度を計算し、その情報を表す信号を提供する。実施形態において、合成３Ｄ角速度は、ピッチ方向、ヨー方向およびロール方向のそれぞれにおける角速度として表現され、行列形式で表される。角速度計算器１８は、実施形態においてプログラムされたコンピュータである。

【0012】

ＧＶＳ刺激システム２０は、合成３Ｄ角速度情報を角速度計算器１８から受信するように結合され、電極（図示せず）を介してユーザに印加され得る３Ｄ ＧＶＳコマンドまたは信号を生成する。３Ｄ ＧＶＳ信号は、映像シーンを視聴しているユーザの加速度に対応する３Ｄ加速度感覚を刺激する。ＧＶＳ刺激システム２０の図示された実施形態は、３Ｄ加速度計算器４０およびＧＶＳコマンド発生器４２を含む。３Ｄ加速度計算器４０は、合成３Ｄ角速度情報を処理し、角速度情報に関連する３Ｄ加速度情報を計算する（例えば、３Ｄ角速度における変化を決定する）。実施形態において、３Ｄ加速度情報は、ピッチ方向、ヨー方向およびロール方向のそれぞれにおける加速度を表す。３Ｄ加速度計算器４０は、実施形態においてプログラムされたコンピュータである。

【0013】

ＧＶＳコマンド発生器４２は、３Ｄ加速度情報を、ユーザの対応する３Ｄ加速度感覚を刺激することになる同ユーザの身体に（例えば、電極を介して）印加するのに適した適切な電気信号に変換する。実施形態において、コマンド発生器４２は、ピッチ、ヨーおよびロールの各次元における加速度を表す刺激を提供するＧＶＳ信号を生成する。実施形態において、ＧＶＳ刺激システム２０は、左乳様突起、額、右乳様突起、および首の首筋に配置された４つの電極を介して運動知覚を提供する４チャネルシステムであってもよい。様々な電極に印加されるコマンドの振幅、位置および／またはタイミングは、角速度計算器１８によって提供される３Ｄ角速度情報に応答してリアルタイムでＧＶＳコマンドを提供するように制御され、それによってユーザによって提示される視覚刺激に対応する運動知覚を刺激する。一例として、上記に特定されたＣｅｖｅｔｔｅ他の特許文献４に開示されているようなアプローチをこの目的のために使用することができる。他の実施形態は、他の電極番号および配置構成、ならびに他の刺激アプローチを含む。

【0014】

実施形態において、３Ｄ映像変換器１４、仮想環境ユーザシステム３０、合成３Ｄ角速度計算器１８および３Ｄ加速度計算器４０は、別々のコンピュータシステムまたはプロセッサによって実装されてもよい。他の実施形態において、３Ｄ映像変換器１４、仮想環境ユーザシステム３０、合成３Ｄ角速度計算器１８および３Ｄ加速度計算器４０は論理機能（ｌｏｇｉｃａｌ ｆｕｎｃｔｉｏｎｓ）を表し、これらの機能のすべてまたは一部またはすべてを他のコンピュータシステムアーキテクチャによって実行されてもよい。例えば、３Ｄ映像変換器１４、仮想環境ユーザシステム３０および合成角速度計算器１８によって実行される機能は、１つのコンピュータシステム上のＧＶＳ運動アプリケーションによって提供されてもよい。

【0015】

本発明の実施形態は重要な利点を提供する。例えば、それらは、映像シーンに対応する運動を密接に表す運動刺激を提供することによって、ユーザのバーチャルリアリティ体験を向上させることができる。このシステムおよび方法は、任意の所望の２Ｄ映像ソースに関連して使用できる点で柔軟である。このシステムおよび方法はまた、効率的に実装することができる。

【0016】

本発明を好ましい実施形態を参照して説明したが、当業者は、本発明の精神および範囲から逸脱することなく、形態および詳細に変更を加えることができることを認識するであろう。例えば、本明細書で使用する「バーチャルリアリティ」という用語は、例えば、いわゆる「拡張現実」環境を含む、ユーザに少なくとも部分的に電子的に生成された刺激を提供する任意のシステムおよび方法を広く包含することを意図している。

【0017】

以下に、上記実施形態から把握できる技術思想を付記として記載する。
［付記１］
ユーザによって視聴される映像のシーンに対応する前庭電気刺激を前記ユーザに提供するための方法において、前記方法は、
３次元映像信号を受信するステップであって、前記３次元映像信号は、前記ユーザによって視聴される映像のシーンを表し、かつ前記映像の前記対応するシーンにおける運動の３次元映像角速度情報を表すデータを含む、３次元映像信号を受信するステップと、
３次元頭部角速度情報を含む３次元頭部方位信号を受信するステップであって、前記３次元頭部方位信号は、前記シーンを視聴する前記ユーザの頭部または眼の運動を表す、３次元頭部方位信号を受信するステップと、
前記３次元映像角速度情報および前記３次元頭部角速度情報に基づいて合成３次元角速度情報を計算するステップであって、前記合成３次元角速度情報は、前記視聴されるシーンにおける前記運動に対する前記ユーザの頭部または眼の３次元角速度を表す、合成３次元角速度情報を計算するステップと、
前記合成３次元角速度情報に基づいて３次元加速度情報を計算するステップであって、前記３次元加速度情報は、前記合成３次元角速度情報に関連している、３次元加速度情報を計算するステップと、
前記３次元加速度情報に対応する３次元前庭電気刺激信号を生成するステップであって、前記３次元前庭電気刺激信号は、前記シーンを視聴する前記ユーザの加速度に対応する３次元加速度感覚を刺激するように構成されている、３次元前庭電気刺激信号を生成するステップと、
を含む方法。

【0018】

［付記２］
前記３次元映像信号および前記３次元頭部方位信号は、少なくとも３つの方向における運動の特徴である、付記１に記載の方法。

【0019】

［付記３］
前記少なくとも３つの方向は、ピッチ方向、ヨー方向およびロール方向を含む、付記２に記載の方法。

【0020】

［付記４］
２次元映像信号を受信することと、
前記２次元映像信号に基づいて前記３次元映像信号を生成することと、
をさらに含む、付記３に記載の方法。

【0021】

［付記５］
２次元映像信号を受信することと、
前記２次元映像信号に基づいて前記３次元映像信号を生成することと、
をさらに含む、付記２に記載の方法。

【0022】

［付記６］
２次元映像信号を受信することと、
前記２次元映像信号に基づいて前記３次元映像信号を生成することと、
をさらに含む、付記１に記載の方法。

【0023】

［付記７］
前記映像によって表されるシーンを前記ユーザに表示することと、
前記シーンを表示している間に前記ユーザに前記３次元前庭電気刺激信号を印加することと、
をさらに含む、付記６に記載の方法。

【0024】

［付記８］
前記映像によって表されるシーンを前記ユーザに表示することと、
前記シーンを表示している間に前記ユーザに前記３次元前庭電気刺激信号を印加することと、
をさらに含む、付記１に記載の方法。

【図1】