IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社JVCケンウッドの特許一覧

特許7651897表示装置、表示装置の制御方法及びプログラム
<>
  • 特許-表示装置、表示装置の制御方法及びプログラム 図1
  • 特許-表示装置、表示装置の制御方法及びプログラム 図2
  • 特許-表示装置、表示装置の制御方法及びプログラム 図3
  • 特許-表示装置、表示装置の制御方法及びプログラム 図4
  • 特許-表示装置、表示装置の制御方法及びプログラム 図5
  • 特許-表示装置、表示装置の制御方法及びプログラム 図6
  • 特許-表示装置、表示装置の制御方法及びプログラム 図7
  • 特許-表示装置、表示装置の制御方法及びプログラム 図8
  • 特許-表示装置、表示装置の制御方法及びプログラム 図9
  • 特許-表示装置、表示装置の制御方法及びプログラム 図10
  • 特許-表示装置、表示装置の制御方法及びプログラム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-03-18
(45)【発行日】2025-03-27
(54)【発明の名称】表示装置、表示装置の制御方法及びプログラム
(51)【国際特許分類】
   G06T 19/00 20110101AFI20250319BHJP
   G09G 5/00 20060101ALI20250319BHJP
   G09G 5/36 20060101ALI20250319BHJP
   G09G 5/37 20060101ALI20250319BHJP
   G09G 5/377 20060101ALI20250319BHJP
   G09G 5/38 20060101ALI20250319BHJP
【FI】
G06T19/00 600
G09G5/00 510A
G09G5/00 550C
G09G5/00 550H
G09G5/36 500
G09G5/37 320
G09G5/377 100
G09G5/38 100
【請求項の数】 5
(21)【出願番号】P 2021049286
(22)【出願日】2021-03-23
(65)【公開番号】P2022147845
(43)【公開日】2022-10-06
【審査請求日】2023-12-28
(73)【特許権者】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】野口 浩史
【審査官】鈴木 肇
(56)【参考文献】
【文献】特表2019-535054(JP,A)
【文献】特表2020-523672(JP,A)
【文献】特開2018-013901(JP,A)
【文献】特開2020-184695(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00
G06T 11/60 -13/80
G06T 17/05
G06T 19/00 -19/20
G09G 5/00 - 5/42
(57)【特許請求の範囲】
【請求項1】
ユーザに装着されて前記ユーザに仮想空間を提供する表示装置であって、
前記仮想空間において前記ユーザが移動可能な仮想移動領域の情報を取得する仮想空間情報取得部と、
ユーザが実在する実空間において前記ユーザが移動可能な実移動領域の情報を取得する実空間情報取得部と、
前記仮想空間と前記実空間とを重畳した場合に前記仮想移動領域と前記実移動領域とが重畳する面積である重畳面積を算出し、前記重畳面積に基づいて設定された、前記仮想空間と前記実空間との対応関係を取得する対応関係取得部と、
前記対応関係と、前記実空間における前記表示装置の位置とに基づき、前記仮想空間用の画像を表示部に表示させる表示制御部と、
を含み、
前記対応関係取得部は、前記仮想空間と前記実空間との相対位置及び相対向きの少なくとも一方を移動させた、それぞれの前記仮想空間と前記実空間とを組み合わせたときの前記重畳面積を算出し、前記重畳面積のうち、前記重畳面積が最大となる対応関係を取得する、
表示装置。
【請求項2】
前記対応関係取得部は、前記仮想空間と前記実空間との相対大きさを変化させた、それぞれの前記仮想空間と前記実空間との組み合わせたときの前記重畳面積を算出し、前記重畳面積のうちで、前記重畳面積が最大となる対応関係を取得する請求項1に記載の表示装置。
【請求項3】
前記重畳面積は、前記仮想移動領域内で設定された優先領域と前記実移動領域とが重畳する面積が大きいほど、大きく算出されるものであり、前記優先領域は、前記優先領域以外の前記仮想移動領域内の領域よりも、前記重畳面積の大きさへの影響度合いが大きく設定される、請求項1又は請求項2に記載の表示装置。
【請求項4】
ユーザに装着されて前記ユーザに仮想空間を提供する表示装置の制御方法であって、
前記仮想空間において前記ユーザが移動可能な仮想移動領域の情報を取得するステップと、
ユーザが実在する実空間において前記ユーザが移動可能な実移動領域の情報を取得するステップと、
前記仮想空間と前記実空間とを重畳した場合に前記仮想移動領域と前記実移動領域とが重畳する面積である重畳面積を算出し、前記重畳面積に基づいて設定された、前記仮想空間と前記実空間との対応関係を取得するステップと、
前記対応関係と、前記実空間における前記表示装置の位置とに基づき、前記仮想空間用の画像を表示部に表示させるステップと、
を含み、
前記対応関係を取得するステップでは、前記仮想空間と前記実空間との相対位置及び相対向きの少なくとも一方を移動させた、それぞれの前記仮想空間と前記実空間とを組み合わせたときの前記重畳面積を算出し、前記重畳面積のうち、前記重畳面積が最大となる対応関係を取得する、
表示装置の制御方法。
【請求項5】
ユーザに装着されて前記ユーザに仮想空間を提供する表示装置の制御方法をコンピュータに実行させるプログラムであって、
前記仮想空間において前記ユーザが移動可能な仮想移動領域の情報を取得するステップと、
ユーザが実在する実空間において前記ユーザが移動可能な実移動領域の情報を取得するステップと、
前記仮想空間と前記実空間とを重畳した場合に前記仮想移動領域と前記実移動領域とが重畳する面積である重畳面積を算出し、前記重畳面積に基づいて設定された、前記仮想空間と前記実空間との対応関係を取得するステップと、
前記対応関係と、前記実空間における前記表示装置の位置とに基づき、前記仮想空間用の画像を表示部に表示させるステップと、
をコンピュータに実行させ
前記対応関係を取得するステップでは、前記仮想空間と前記実空間との相対位置及び相対向きの少なくとも一方を移動させた、それぞれの前記仮想空間と前記実空間とを組み合わせたときの前記重畳面積を算出し、前記重畳面積のうち、前記重畳面積が最大となる対応関係を取得する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置、表示装置の制御方法及びプログラムに関する。
【背景技術】
【0002】
昨今、情報機器が大きな進化をしている。そしてその代表例であるスマートフォンだけでなく、所謂ウエラブル機器も普及してきた。ウエラブル機器としては、直接視覚を刺激する眼鏡タイプのHMD(ヘッドマウントディスプレイ)が知られている。このようなHMDを用いると、ユーザの視線方向に合わせて映像を表示することで、ユーザUに仮想空間を提供することができる。例えば特許文献1には、3次元センサからの座標データを実3次元空間における基準座標として保持し、仮想3次元空間における基準位置に一致させることで、使用者の視点位置補正を行う旨が記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平9-311618号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような表示装置においては、ユーザに仮想空間を適切に提供することが求められている。
【0005】
本発明は、上記課題に鑑み、現実空間の座標と仮想空間の座標とを適切に対応付け可能な表示装置、表示装置の制御方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様にかかる表示装置は、ユーザに装着されて前記ユーザに仮想空間を提供する表示装置であって、前記仮想空間において前記ユーザが移動可能な仮想移動領域の情報を取得する仮想空間情報取得部と、ユーザが実在する実空間において前記ユーザが移動可能な実移動領域の情報を取得する実空間情報取得部と、前記仮想空間と前記実空間とを重畳した場合に前記仮想移動領域と前記実移動領域とが重畳する面積である重畳面積に基づいて設定された、前記仮想空間と前記実空間との対応関係を取得する対応関係取得部と、前記対応関係と、前記実空間における前記表示装置の位置とに基づき、前記仮想空間用の画像を表示部に表示させる表示制御部と、を含む。
【0007】
本発明の一態様にかかる表示装置の制御方法は、ユーザに装着されて前記ユーザに仮想空間を提供する表示装置の制御方法であって、前記仮想空間において前記ユーザが移動可能な仮想移動領域の情報を取得するステップと、ユーザが実在する実空間において前記ユーザが移動可能な実移動領域の情報を取得するステップと、前記仮想空間と前記実空間とを重畳した場合に前記仮想移動領域と前記実移動領域とが重畳する面積である重畳面積に基づいて設定された、前記仮想空間と前記実空間との対応関係を取得するステップと、前記対応関係と、前記実空間における前記表示装置の位置とに基づき、前記仮想空間用の画像を表示部に表示させるステップと、を含む。
【0008】
本発明の一態様にかかるプログラムは、ユーザに装着されて前記ユーザに仮想空間を提供する表示装置の制御方法をコンピュータに実行させるプログラムであって、前記仮想空間において前記ユーザが移動可能な仮想移動領域の情報を取得するステップと、ユーザが実在する実空間において前記ユーザが移動可能な実移動領域の情報を取得するステップと、前記仮想空間と前記実空間とを重畳した場合に前記仮想移動領域と前記実移動領域とが重畳する面積である重畳面積に基づいて設定された、前記仮想空間と前記実空間との対応関係を取得するステップと、前記対応関係と、前記実空間における前記表示装置の位置とに基づき、前記仮想空間用の画像を表示部に表示させるステップと、をコンピュータに実行させる。
【発明の効果】
【0009】
本発明によれば、ユーザに仮想空間を適切に提供することができる。
【図面の簡単な説明】
【0010】
図1図1は、実空間と仮想空間の一例を説明する模式図である。
図2図2は、本実施形態に係る表示装置の模式的なブロック図である。
図3図3は、仮想空間の一例を示す模式図である。
図4図4は、実空間の一例を示す模式図である。
図5図5は、仮想空間と実空間との重畳の一例を示す模式図である。
図6図6は、仮想空間と実空間との重畳の他の一例を示す模式図である。
図7図7は、仮想空間の画像の表示フローを説明するフローチャートである。
図8図8は、優先領域の一例を説明する模式図である。
図9図9は、仮想空間と実空間との重畳の他の一例を示す模式図である。
図10図10は、ユーザが仮想空間を視認している場合の例を示す模式図である。
図11図11は、仮想空間と実空間との重畳の他の一例を示す模式図である。
【発明を実施するための形態】
【0011】
以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。
【0012】
(実空間と仮想空間)
図1は、実空間と仮想空間の一例を説明する模式図である。本実施形態に係る表示装置10は、画像を表示する表示装置である。図1に示すように、表示装置10は、ユーザUの頭部に装着される、いわゆるHMD(Head Mount Display)である。表示装置10は、画像を表示することで、ユーザUに仮想空間を提供する。図1に示すように、ユーザUが実際に存在する現実空間を実空間SRとし、表示装置10がユーザUに提供する仮想の空間を仮想空間SVとする。この場合、表示装置10は、実空間SRでのユーザUの動作(視線)に応じて、仮想空間SV用の画像を表示する。すなわち、ユーザUがアバターUVとして仮想空間SVで動作していることを模擬して、仮想空間SV用の画像を表示する。そのため、ユーザUは、自身が仮想空間SV内に存在していると認識することができる。なお、ここでの仮想空間SVは、MR(Mixed Reality)であり、ユーザUが存在する場所から離れた実在の場所を再現した空間であるが、それに限られず、実際に存在しない仮想の空間、すなわちVR(Vertial Reality)であってもよい。以下、実空間SRの座標系における、水平方向に沿った一方向を方向XRとし、水平方向に沿って方向XRに直交する方向を方向YRとし、鉛直方向を方向ZRとする。また、仮想空間SVの座標系における、水平方向に沿った一方向を方向XVとし、水平方向に沿って方向XVに直交する方向を方向YVとし、鉛直方向を方向ZVとする。
【0013】
(表示装置)
図2は、本実施形態に係る表示装置の模式的なブロック図である。表示装置10は、コンピュータであるともいえ、図2に示すように、入力部20と、表示部22と、記憶部24と、通信部26と、実空間検出部28と、制御部30とを備える。入力部20は、ユーザUによる操作を受け付ける機構であり、例えばHMDに設けられるコントローラやマイクなどであってよい。表示部22は、画像を表示するディスプレイである。表示部22は、画像を出力することで、ユーザUに仮想空間SVを提供する。表示装置10は、表示部22以外にも、例えば音声を出力するスピーカなど、情報を出力する装置を備えていてよい。
【0014】
記憶部24は、制御部30の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、RAM(Random Access Memory)と、ROM(Read Only Memory)のような主記憶装置と、HDD(Hard Disk Drive)などの外部記憶装置とのうち、少なくとも1つ含む。記憶部24が記憶する制御部30用のプログラムは、表示装置10が読み取り可能な記録媒体に記憶されていてもよい。
【0015】
通信部26は、外部の装置と通信を行う通信モジュールであり、例えばアンテナなどである。表示装置10は、無線通信で外部の装置と通信を行うが、有線通信でもよく、通信方式は任意であってよい。
【0016】
実空間検出部28は、実空間SRにおける表示装置10(ユーザU)の周囲を検出するセンサである。実空間検出部28は、実空間SRにおいて表示装置10(ユーザU)の周囲に存在する物体を検出するものであり、本実施形態ではカメラである。ただし、実空間検出部28は、表示装置10(ユーザU)の周囲の実空間SRに存在する物体を検出可能であれば、カメラであることに限られず、例えばLIDAR(Light Detection And Ranging)などであってもよい。
【0017】
制御部30は、演算装置であり、例えばCPU(Central Processing Unit)などの演算回路を含む。制御部30は、仮想空間情報取得部40と、実空間情報取得部42と、対応関係取得部44と、表示制御部46と、アバター情報送信部48とを含む。制御部30は、記憶部24からプログラム(ソフトウェア)を読み出して実行することで、仮想空間情報取得部40と実空間情報取得部42と対応関係取得部44と表示制御部46とアバター情報送信部48とを実現して、それらの処理を実行する。なお、制御部30は、1つのCPUによってこれらの処理を実行してもよいし、複数のCPUを備えて、それらの複数のCPUで、処理を実行してもよい。また、仮想空間情報取得部40と実空間情報取得部42と対応関係取得部44と表示制御部46とアバター情報送信部48との処理の少なくとも一部を、ハードウェア回路で実現してもよい。
【0018】
(仮想空間情報取得部)
仮想空間情報取得部40は、仮想空間SVの情報を取得する。仮想空間情報取得部40は、例えば、通信部26を介して、外部の装置(サーバ)から、仮想空間SVの情報を取得する。仮想空間SVの情報は、仮想空間SVの座標系における仮想空間SVの画像データを含む。仮想空間SVの画像データとは、仮想空間SV用の画像として表示する対象物の座標や形状などを示す。なお、本実施形態では、仮想空間SVは、実空間SRにおけるユーザUの周囲の環境に応じて構築されるものではなく、実空間SRにおけるユーザUの周囲の環境に関係することなく、予め設定されるものである。
【0019】
図3は、仮想空間の一例を示す模式図である。図3は、仮想空間SVをZV方向から見た場合の平面図の一例である。仮想空間情報取得部40は、仮想空間SVの情報として、仮想空間SVにおける移動可能領域AV2(仮想移動領域)の情報も、取得する。すなわち、仮想空間情報取得部40は、仮想空間SVの座標系において移動可能領域AV2が占める位置を示す情報も、取得する。移動可能領域AV2とは、仮想空間SVにおいて、ユーザUのアバターUVが移動可能な領域(又はアバターUVが移動可能な空間)であり、仮想空間SVのうちで、ユーザUのアバターUVが移動不可能な領域(又はアバターUVが移動不可能な空間)である移動不可領域AV1を除いた領域であってよい。移動可能領域AV2は、例えば仮想空間SVにおいてアバターが集まる部屋の床などであってよく、移動不可領域AV1は、例えば、仮想空間SVにおいてアバターUVが通れない障害物が存在する領域や、仮想空間SVでの会議における注目領域(例えば机やスクリーン等)などであってよい。本実施形態では、移動可能領域AV2は、例えば仮想空間SVを設定する際に、予め設定されてよいし、例えばアバターUVのサイズと移動不可領域AV1のサイズとに基づき、仮想空間情報取得部40が設定してもよい。
【0020】
なお、図3においては、ZV方向から見た場合の仮想空間SV及び移動不可領域AV1が矩形であるが、あくまで一例であり、仮想空間SV、移動不可領域AV1、移動可能領域AV2の形状や大きさは、図3の例に限られず任意であってよい。
【0021】
(実空間情報取得部)
実空間情報取得部42は、実空間SRの情報を取得する。実空間SRの情報は、実空間SRの座標系において表示装置10(ユーザU)の周囲に存在する物体の、座標や形状を示す位置情報を指す。本実施形態では、実空間情報取得部42は、実空間検出部28を制御して、実空間検出部28に表示装置10(ユーザU)の周囲の物体を検出させ、その検出結果を、実空間SRの情報として取得する。ただし、実空間SRの情報の取得方法は、実空間検出部28に検出されることに限られない。例えばユーザUの部屋のレイアウト情報など、実空間SRの情報が予め設定されており、実空間情報取得部42は、設定された実空間SRの情報を取得してもよい。
【0022】
図4は、実空間の一例を示す模式図である。図4は、実空間SRをZR方向から見た場合の平面図の一例である。実空間情報取得部42は、実空間SRにおける移動可能領域AR2(実移動領域)の情報を取得する。すなわち、実空間情報取得部42は、実空間SRの座標系において移動可能領域AR2が占める位置を示す情報を、取得する。移動可能領域AR2とは、実空間SRにおいて、ユーザUが移動可能な領域(又はユーザUが移動可能な空間)であり、ユーザUが移動不可能な領域(又はユーザUが移動不可能な空間)である移動不可領域AR1を除いた領域であってよい。移動可能領域AR2は、例えばユーザUがいる部屋の床などであってよく、移動不可領域AR1は、例えば、仮想空間SVにおいてユーザUが通れない障害物(例えば机やベッドなど)が存在する領域などであってよい。本実施形態では、実空間情報取得部42は、実空間SRの情報に基づき、移動可能領域AR2と移動不可領域AR1とを設定する。実空間情報取得部42は、実空間SRの情報に基づきユーザUが移動できない物体の位置を特定して、ユーザUが移動できない物体が占める領域(又は空間)を移動不可領域AR1とし、ユーザUが移動できない物体が存在しない領域(又は空間)を移動可能領域AR2として設定してよい。ただし、移動可能領域AR2と移動不可領域AR1は、実空間SRの情報に基づき設定されることに限られない。例えばユーザUの部屋のレイアウト情報など、移動可能領域AR2と移動不可領域AR1の情報が予め設定されており、実空間情報取得部42は、設定された移動可能領域AR2と移動不可領域AR1の情報を取得してもよい。
【0023】
なお、図4は、あくまで一例であり、実空間SR、移動不可領域AR1、移動可能領域AR2の形状や大きさは、図4の例に限られず任意であってよい。
【0024】
(対応関係取得部)
対応関係取得部44は、仮想空間情報取得部40が取得した移動可能領域AV2の情報と、実空間情報取得部42が取得した移動可能領域AR2の情報とに基づき、仮想空間SVの座標系と実空間SRの座標系との対応関係を設定する。仮想空間SVの座標系と実空間SRの座標系との対応関係とは、仮想空間SVの座標系における実空間SRの位置及び姿勢を示す情報といえ、実空間SRの座標系を仮想空間SVの座標系に変換するための値ともいえる。例えば、ユーザUが実空間SVにおいて基準位置にいる場合、表示装置10は、実空間SVの基準位置に対応する仮想空間SVでの位置にユーザUの視点(アバターUV)が存在した場合の、仮想空間SVの画像を表示する。以下、対応関係取得部44の処理について具体的に説明する。
【0025】
図5は、仮想空間と実空間との重畳の一例を示す模式図である。対応関係取得部44は、仮想空間情報取得部40が取得した仮想空間SVと、実空間情報取得部42が取得した実空間SRとを、共通の座標系で重畳する。言い換えれば、対応関係取得部44は、仮想空間SVにおける移動不可領域AV1及び移動可能領域AV2の座標と、実想空間SRにおける移動不可領域AR1及び移動可能領域AR2の座標とを、共通の座標系に座標変換することで、移動不可領域AV1及び移動可能領域AV2と、移動不可領域AR1及び移動可能領域AR2とを、共通の座標系で重畳する。なお、共通の座標系は、任意の座標系であってよく、図5の例では、共通の座標系における、水平方向に沿った一方向を方向Xとし、水平方向に沿って方向Xに直交する方向を方向Yとし、鉛直方向を方向Zとしている。
【0026】
対応関係取得部44は、共通の座標系で仮想空間SVと実空間SRとを重畳した際の、移動可能領域AV2と移動可能領域AR2とが重畳する領域の面積(又は重畳する空間の体積)を、重畳面積として算出する。対応関係取得部44は、算出した重畳面積に基づき、仮想空間SVの座標系と実空間SRの座標系との対応関係を算出する。
【0027】
本実施形態では、対応関係取得部44は、図5の例に示すように、共通の座標系において、仮想空間SVと実空間SRとの相対位置及び相対向きの少なくとも一方を移動させつつ、重畳面積を算出する。言い換えれば、対応関係取得部44は、共通の座標系において相対位置及び相対向きの少なくとも一方が異なるそれぞれの仮想空間SVと実空間SRについて、移動可能領域AV2と移動可能領域AR2とが重畳する重畳面積を算出する。なお、図5の例では、共通の座標系において、実空間SVの位置及び向きを固定させつつ、仮想空間SRの位置及び向きを移動させる例を示しているが、それに限られず、仮想空間SRの位置及び向きを固定させつつ、実空間SVの位置及び向きを移動させて、重畳面積を算出してもよい。
【0028】
対応関係取得部44は、共通の座標系において相対位置及び相対向きの少なくとも一方が異なる仮想空間SVと実空間SRとの組み合わせ毎の重畳面積に基づき、仮想空間SVの座標系と実空間SRの座標系との対応関係を設定する。より詳しくは、対応関係取得部44は、相対位置及び相対向きの少なくとも一方が異なる仮想空間SVと実空間SRとの組み合わせのうちで、重畳面積が最大となる仮想空間SVと実空間SRとの組み合わせを、抽出する。そして、対応関係取得部44は、抽出した仮想空間SVの座標系と実空間SRの座標系との対応関係(抽出した実空間SRの座標系を抽出した仮想空間SVの座標系に変換するための値)を算出して、仮想空間SVの座標系と実空間SRの座標系との対応関係として設定する。言い換えれば、対応関係取得部44は、重畳面積が最大となる位置及び向きとなる仮想空間SVを抽出し、抽出した仮想空間SVの座標系を、実空間SRの座標系に対応付ける。
【0029】
図6は、仮想空間と実空間との重畳の他の一例を示す模式図である。図5の説明では、対応関係取得部44は、仮想空間SVの大きさは固定したまま、仮想空間SVの位置及び向きを変えながら、実空間SRと重畳していたが、図6に示すように、仮想空間SVの大きさを変えながら、実空間SRと重畳してよい。この場合、対応関係取得部44は、図6の例に示すように、共通の座標系において、仮想空間SVと実空間SRとの相対大きさを変化させつつ、重畳面積を算出する。言い換えれば、対応関係取得部44は、共通の座標系において相対大きさが異なる仮想空間SVと実空間SRとの組み合わせ毎に、移動可能領域AV2と移動可能領域AR2とが重畳する重畳面積を算出する。なお、相対大きさを変える場合においても、仮想空間SVに対する移動不可領域AV1及び移動可能領域AV2の面積比率や、実空間SRに対する移動不可領域AR1及び移動可能領域AR2の面積比率は、固定したままとすることが好ましい。言い換えれば、仮想空間SVや実空間SRの一部のみを拡大縮小することなく、仮想空間SVや実空間SRの全域を一律で拡大縮小ことが好ましい。また、図6の例では、共通の座標系において、実空間SVの大きさを固定させつつ、仮想空間SRの大きさを変える例を示しているが、それに限られず、仮想空間SRの大きさを固定させつつ、実空間SVの大きさを変化させて、重畳面積を算出してもよい。
【0030】
図6の例では、対応関係取得部44は、共通の座標系において相対大きさが異なる仮想空間SVと実空間SRとの組み合わせ毎の重畳面積に基づき、仮想空間SVの座標系と実空間SRの座標系との対応関係を設定する。より詳しくは、対応関係取得部44は、相対大きさが異なる仮想空間SVと実空間SRとの組み合わせのうちで、重畳面積が最大となる仮想空間SVと実空間SRとの組み合わせを、抽出する。そして、対応関係取得部44は、抽出した仮想空間SVの座標系と実空間SRの座標系との対応関係を、仮想空間SVの座標系と実空間SRの座標系との対応関係として設定する。言い換えれば、対応関係取得部44は、重畳面積が最大となる縮尺度合いの仮想空間SVを抽出し、抽出した縮尺度合いの大きさとした仮想空間SVの座標系を、実空間SRの座標系に対応付ける。
【0031】
なお、図5の例と図6の例とを組み合わせてもよい。すなわち、対応関係取得部44は、共通の座標系において、仮想空間SVと実空間SRとの相対位置、相対向き及び相対大きさを変えながら、重畳面積を算出する。そして、対応関係取得部44は、共通の座標系において相対位置、相対向き及び相対大きさの少なくとも1つが異なる仮想空間SVと実空間SRとの組み合わせのうちで、重畳面積が最大となる仮想空間SVと実空間SRとの組み合わせを、抽出する。そして、対応関係取得部44は、抽出した仮想空間SVの座標系と実空間SRの座標系との対応関係を、仮想空間SVの座標系と実空間SRの座標系との対応関係として設定する。
【0032】
以上の説明では、対応関係取得部44は、仮想空間SVでの二次元での移動可能な領域を示す移動可能領域AV2と、実空間SRでの二次元での移動可能な領域を示す移動可能領域AR2との重畳面積が最大となるように、仮想空間SVと実空間SRとを対応付けていたが、2次元での重畳面積を最大化することに限られない。例えば、対応関係取得部44は、仮想空間SVでの3次元での移動可能な空間を示す移動可能領域AV2(仮想移動空間)と、実空間SRでの3次元での移動可能な空間を示す移動可能領域AR2(実移動空間)との重畳体積が最大となるように、仮想空間SVと実空間SRとを対応付けてよい。
【0033】
また、以上の説明では、対応関係取得部44が、共通座標系において仮想空間SVと実空間SRとを重畳して重畳面積を算出し、重畳面積に基づいて、仮想空間SVの座標系と実空間SRの座標系と対応関係を設定する。ただし、重畳面積の算出や対応関係の設定は、対応関係取得部44によって行われることに限られない。例えば、外部の装置が重畳面積の算出を行い、対応関係取得部44は、その外部の装置から重畳面積の情報を取得して、それに基づき対応関係を設定してよい。また例えば、外部の装置が、重畳面積を算出して重畳面積に基づき対応関係を設定し、対応関係取得部44は、その外部の装置から対応関係の情報を取得してもよい。
【0034】
(表示制御部)
表示制御部46は、対応関係取得部44が設定した仮想空間SVの座標系と実空間SRの座標系との対応関係と、実空間SRにおけるユーザU(表示装置10)の位置とに基づき、仮想空間SR用の画像を表示部22に表示させる。具体的には、表示制御部46は、実空間SRにおけるユーザUの位置及び向きの情報を取得し、対応関係に基づき、実空間SRにおけるユーザUの位置及び向きを、仮想空間SVの座標系におけるユーザUの視点(アバターUV)の位置及び向きに換算する。表示制御部46は、算出したユーザUの視点の位置及び向きから仮想空間SVを視認した場合の仮想空間SVの画像を、仮想空間SV用の画像として表示部22に表示させる。なお、実空間SRにおけるユーザU(表示装置10)の位置及び姿勢の情報は、任意の方法で取得してよいが、例えば実空間検出部28の検出結果(すなわちここでは実空間SRの撮像画像)を用いて算出してよい。
【0035】
このように、実空間SRにおけるユーザUの位置姿勢は、仮想空間SVにおけるユーザUの視点の位置姿勢に反映される。従って、実空間SRでユーザUが移動した場合、仮想空間SVにおけるユーザUの視点の位置姿勢(すなわちアバターUVの位置姿勢)も移動する。この場合、実空間SRにおけるユーザUの移動量と、仮想空間SVにおけるユーザUの視点の移動量とは、対応付けられることが好ましい。より詳しくは、対応関係を設定する際に、共通の座標系において仮想空間SVの大きさを変化させていた場合、その仮想空間SVの大きさの変化度合いを、移動量に反映させることが好ましい。具体的には、共通の座標系において仮想空間SVの大きさを変化させた割合(縮尺率)を、変化割合とすると、表示制御部46は、ユーザUが実空間SRで移動した移動量に対して、変化割合の逆数倍だけの移動量を、ユーザUの視点が仮想空間SVで移動したとして、仮想空間SV用の画像を表示部22に表示させる。すなわち、表示制御部46は、ユーザUが実空間SRで移動した移動量に対して変化割合の逆数倍だけの移動量だけ移動した視点からの仮想空間SVの画像を、表示部22に表示させる。例えば、対応関係を設定する際に仮想空間SVの大きさを2倍にした場合には、表示制御部46は、ユーザUが実空間SRで移動した移動量に対して1/2倍だけの移動量だけ移動した視点からの仮想空間SVの画像を、表示部22に表示させる。
【0036】
また、表示制御部46は、仮想空間SVの画像に実空間SRにおける物体を重畳表示させてもよい。この場合、表示部22は、実空間SRを透過しつつ仮想空間SVの画像を表示するAR(Augumented Reality)を提供するものであってもよいし、仮想空間SVの画像と、実空間SRの物体を示す画像とを、重畳して表示させてもよい。また、仮想空間SV上の移動可能領域AV2のうち、実空間SRの移動可能領域AR2と重なっていない空間部分は、仮想空間SVの画像から削除したり、移動不可領域として情報提示したりしても良い。この場合、移動可能な領域として残った領域だったとしても、ユーザUが(自身の体形を再現したアバターUVが)通過できる空間的広さが確保されていないエリアは、仮想空間SVの画像上から削除しても良い。
【0037】
本実施形態に係る表示装置10は、このようにして設定した仮想空間SVの座標系と実空間SRの座標系との対応関係に基づき仮想空間SV用の画像を表示することで、ユーザUに仮想空間SVを適切に提供することができる。例えば、ユーザUは、仮想空間SVを視認しながら、実空間SRを移動することになる。すなわち、ユーザUは、仮想空間SVにおける移動可能領域AV2内を移動しようとするが、実際にユーザUが移動可能な領域は、実空間SRにおける移動可能領域AR2である。このように、ユーザUが認識する移動可能な領域と、実際に移動可能な領域とは、異なることになる。それに対して、本実施形態では、仮想空間SVにおける移動可能領域AV2と実空間SRにおける移動可能領域AR2との重畳面積が大きくなるように、仮想空間SVと実空間SRとを対応付けているため、ユーザUが認識する移動可能な領域と、実際に移動可能な領域とのずれが少なくなり、ユーザUが移動可能な領域を最大限広く確保できる。そのため、表示装置10によると、ユーザUが移動する場合でも、仮想空間SVを適切に提供することができる。
【0038】
(アバター情報送信部)
アバター情報送信部48は、仮想空間SVにおけるユーザUのアバターUVの情報を、通信部26を介して外部の情報に送信する。アバター情報送信部48は、実空間SRにおけるユーザUの位置及び向きの情報を取得し、実空間SRの座標系と仮想空間SVの座標系との対応関係に基づき、実空間SRにおけるユーザUの位置及び向きを、仮想空間SVの座標系におけるアバターUVの位置及び向きに換算する。アバター情報送信部48は、仮想空間SVの座標系におけるアバターUVの位置及び向きの情報と、アバターUVの画像データ(形状などを示すデータ)とを、外部の装置に送信する。外部の装置は、仮想空間SVの座標系におけるアバターUVの位置及び向きの情報と、アバターUVの画像データとを、仮想空間SVの画像データとして、他のユーザに使用される表示装置に送信する。その表示装置は、その表示装置を装着したユーザに向けて、アバターUVの画像を含む仮想空間SVGの画像データを表示する。このようにアバターの画像データを外部の装置に送信することで、複数のユーザで仮想空間SVを共有できる。
【0039】
(処理フロー)
以上説明した仮想空間SVの画像の表示フローを説明する。図7は、仮想空間の画像の表示フローを説明するフローチャートである。図7に示すように、表示装置10は、仮想空間情報取得部40により、仮想空間SVの情報を取得し(ステップS10)、実空間情報取得部42により、実空間SRの情報を取得する(ステップS12)。そして、表示装置10は、対応関係取得部44により、仮想空間SVと実空間SRの相対位置、相対向き、及び相対大きさの少なくとも1つを変化させつつ、仮想空間SVと実空間SRとを共通の座標系で重畳させて、重畳面積を算出する(ステップS14)。対応関係取得部44は、仮想空間SVと実空間SRとの組み合わせのうちで、重畳面積が最大となる仮想空間SVと実空間SRとの組み合わせを抽出し(ステップS16)、抽出した仮想空間SVの座標系と実空間SRの座標系との対応関係を設定する(ステップS18)。表示装置10は、表示制御部46により、設定した対応関係と、実空間SRでの表示装置10(ユーザU)の位置とに基づき、表示部22に仮想空間SVの画像を表示させる(ステップS20)。
【0040】
(効果)
以上説明したように、本実施形態に係る表示装置10は、ユーザUに装着されてユーザUに仮想空間SVを提供するものであって、仮想空間情報取得部40と、実空間情報取得部42と、対応関係取得部44と、表示制御部46とを含む。仮想空間情報取得部40は、仮想空間SVにおいてユーザU(アバターUV)が移動可能な移動可能領域AV2(仮想移動領域)の情報を取得する。実空間情報取得部42は、ユーザUが実在する実空間SRにおいてユーザUが移動可能な移動可能領域AR2(実移動領域)の情報を取得する。対応関係取得部44は、重畳面積に基づいて設定された、仮想空間SVの座標系と実空間SRの座標系との対応関係を取得する。重畳面積とは、仮想空間SVと実空間SRとを共通の座標系で重畳した場合に、移動可能領域AV2(仮想移動領域)と移動可能領域AR2(実移動領域)とが重畳する面積である。表示制御部46は、対応関係と、実空間SRにおける表示装置10の位置とに基づき、仮想空間SV用の画像を表示部22に表示させる。
【0041】
表示装置10からユーザUに仮想空間SVが提供されている場合、ユーザUが認識する仮想空間SVでの移動可能な領域と、実空間SRでの実際に移動可能な領域とは、異なることになる。それに対して、本実施形態に係る表示装置10は、仮想空間SVにおける移動可能領域AV2と実空間SRにおける移動可能領域AR2との重畳面積に基づき、仮想空間SVと実空間SRとを対応付けているため、ユーザUが認識する移動可能な領域と、実際に移動可能な領域とのずれが少なくなり、ユーザUが移動可能な領域を最大限広く確保できる。そのため、表示装置10によると、ユーザUが移動する場合でも、仮想空間SVを適切に提供することができる。
【0042】
また、対応関係は、共通の座標系において仮想空間SVと実空間SRとの相対位置及び相対向きの少なくとも一方を移動させた、それぞれの仮想空間SVと実空間SRとの組み合わせのうちで、重畳面積が最大となる仮想空間SVの座標系と、実空間SRの座標系とを対応付けたものである。このように仮想空間SVを実空間SRに対して動かして、重畳面積が最大となるように、仮想空間SVと実空間SRとを対応付けることで、ユーザUが移動可能な領域を最大限広く確保できる。
【0043】
また、対応関係は、共通の座標系において仮想空間SVと実空間SRとの相対大きさを変化させた、それぞれの仮想空間SVと実空間SRとの組み合わせのうちで、重畳面積が最大となる仮想空間SVの座標系と、実空間SRの座標系とを対応付けたものである。このように仮想空間SVの実空間SRに対する大きさを変えて、重畳面積が最大となるように、仮想空間SVと実空間SRとを対応付けることで、ユーザUが移動可能な領域を最大限広く確保できる。
【0044】
また、表示制御部46は、表示装置10(ユーザU)が実空間SRで移動した移動量に対して、共通の座標系で仮想空間SVの大きさを変化させた変化割合の逆数倍だけの移動量を、ユーザUが仮想空間SVで移動したとして、仮想空間SV用の画像を表示部22に表示させる。本実施形態に係る表示装置10は、ユーザUの実際の移動量に重畳する際の縮尺度合いを加味して、仮想空間SVにおける移動量を設定するため、ユーザUの動きに合わせて、仮想空間SVを適切に提供できる。
【0045】
(対応関係の設定方法の他の例)
本実施形態で説明した、仮想空間SVの座標系と実空間SRの座標系との対応関係の設定方法の他の例を説明する。
【0046】
例えば図5図6で説明したように、仮想空間SVの位置、向き、大きさを変えつつ、重畳面積が最大となるように、仮想空間SVと実空間SRとを重畳した場合には、仮想空間SVの移動不可領域AV1(例えば注目領域)の周囲に、実空間SRでの移動不可領域AR1(例えば実際の障害物)が位置して、仮想空間SVでの注目領域に近づく際に邪魔となる可能性が想定される。そのような場合に備えて、対応関係取得部44は、仮想空間SVの移動可能領域AV2に優先領域を設定して、優先領域が実空間SRでの移動不可領域AR1と重畳しないように、仮想空間SVと実空間SRとを重畳させてよい。以下、より具体的に説明する。
【0047】
図8は、優先領域の一例を説明する模式図であり、図9は、仮想空間と実空間との重畳の他の一例を示す模式図である。対応関係取得部44は、仮想空間SVの移動可能領域AV2内に、優先領域を設定する。優先領域とは、仮想空間SVと実空間SRとを重畳させる際に、移動不可領域AR1と重畳せずに移動可能領域AR2と重畳することが優先される領域である。対応関係取得部44は、任意の方法で優先領域を設定してよいが、例えば、移動可能領域AV2の全域のうちで、注目領域である移動不可領域AV1の周囲の所定の大きさの領域を、優先領域として設定してよい。また、対応関係取得部44は、優先度合いが異なる複数の優先領域を設定してよい。図8の例では、対応関係取得部44は、移動不可領域AV1の周囲に優先領域AV2aを設定し、優先領域AV2aの周囲に優先領域AV2bを設定している。この場合、移動不可領域AV1により近い優先領域AV2aの方が、優先領域AV2bよりも優先度合いが高く設定される。なお、以下、移動可能領域AV2のうちで優先領域以外の領域を、適宜、非優先領域と記載する。すなわち、図9の例では、優先領域AV2bの外側の領域が、非優先領域AV2cとなる。
【0048】
対応関係取得部44は、優先領域が設定された仮想空間SVと、実空間SRとを、共通の座標系で重畳する。この場合、対応関係取得部44は、図5図6で説明したように、共通の座標系において、仮想空間SVと実空間SRとの相対位置、相対向き及び相対大きさの少なくとも1つを変えながら、重畳面積を算出し、重畳面積が最大となる仮想空間SVと実空間SRとの組み合わせから、仮想空間SVの座標系と実空間SRの座標系との対応関係を設定する。ただし、本例では、優先領域と移動可能領域AR2とが重畳する面積である優先重畳面積の大きさが、非優先領域と移動可能領域AR2とが重畳する面積である非優先重畳面積の大きさよりも、算出される重畳面積に大きく影響するように、重畳面積が算出される。すなわち、重畳面積は、優先重畳面積や非優先重畳面積が大きいほど、大きくなるように算出されるものであるが、優先重畳面積が単位量大きくなった際に重畳面積が大きくなる度合いが、非優先重畳面積が単位量大きくなった際に重畳面積が大きくなる度合いよりも、大きい。
【0049】
例えば、本例の対応関係取得部44は、優先重畳面積に対して重みを付与し、優先重畳面積に重みを乗じた値と、非優先重畳面積との合計値を、重畳面積として算出する。このように優先重畳面積に重みを付与することで、優先重畳面積(優先領域)が重畳面積に与える影響度合いが、非優先重畳面積(非優先領域)が重畳面積に与える影響度合いよりも、大きくなる。そのため、例えば図9に示すように、注目領域(移動不可領域AV1)の周囲の優先領域が移動不可領域AR1に重ならないことが重要視され、重畳面積が最大となる仮想空間SVと実空間SRとの組み合わせは、優先重畳面積が移動不可領域AR1に重なり難くなる。そのため例えば、仮想空間SVでの注目領域に近づく際に、移動不可領域AR1が邪魔となる可能性を抑制できる。
【0050】
このように、本例では、移動可能領域AV2内で設定された優先領域と移動可能領域AV2とが重畳する優先重畳面積が大きいほど、重畳面積が大きくなるように算出される。優先領域は、非優先領域(優先領域以外の移動可能領域AV2内の領域)よりも、重畳面積の大きさへの影響度合いが大きく設定される。これにより、仮想空間SVでの注目領域に近づく際に、移動不可領域AR1が邪魔となる可能性を抑制できる。なお、複数の優先領域を設定する際には、優先領域ごとに重みの値を異ならせてよい。この場合、図8の例では、移動不可領域AV1に近い優先領域AV2aの重みが、優先領域AV2bの重みよりも大きく設定される。
【0051】
次に、対応関係の設定方法の他の例として、実空間SRの高さ方向の位置と仮想空間SVの高さ方向の位置との対応関係を設定する方法について説明する。図10は、ユーザが仮想空間を視認している場合の例を示す模式図である。図10に示すように、仮想空間SVにおける注目領域である移動不可領域AV1aは、実空間SVの障害物である移動不可領域AR1と、高さ方向(実空間座標でのZR方向)の位置が重なり、仮想空間SVにおける注目領域が隠れてしまう場合も想定される。このような状態を避けるため、対応関係取得部44は、移動不可領域AV1と移動不可領域AR1との高さ方向の位置が重ならないように、実空間SRの高さ方向の位置と仮想空間SVの高さ方向の位置との対応関係を設定してよい。これにより、例えば図10の移動不可領域AV1bに示すように、移動不可領域AR1と重ならない位置に移動不可領域の位置を設定できる。なお、実空間SRの高さ方向の位置と仮想空間SVの高さ方向の位置との対応関係の設定は、対応関係取得部44が自動で行ってもよいし、ユーザUの入力により行われてもよい。
【0052】
次に、対応関係の設定方法の他の例として、仮想空間SVと実空間SRとの相似度合いが大きくなるように、仮想空間SVと実空間SRとを重畳する例について説明する。図11は、仮想空間と実空間との重畳の他の一例を示す模式図である。本例においては、対応関係取得部44は、実空間SRと仮想空間SVとの形状を比較して、実空間SRのうちで、仮想空間SVと形状が近い領域を、相似度合いが高い相似領域SRSとして抽出する。そして、対応関係取得部44は、図11の例に示すように、仮想空間SVと実空間SRとの相対位置、相対向き及び相対大きさの少なくとも1つを変えつつ仮想空間SVを実空間SRに重畳させることで、仮想空間SVと相似領域とを重畳させる。対応関係取得部44は、相似領域SRSに重畳された仮想空間SVの座標系と実空間SRの座標系との対応関係を、算出する。このように、相似度合いが高い領域に仮想空間SVを重畳させることでも、ユーザUが認識する移動可能な領域と、実際に移動可能な領域とのずれが少なくなり、ユーザUが移動可能な領域を最大限広く確保できる。なお、本例では、重畳させる際に重畳面積を考慮しなくてよいが、それに限られず、重畳面積も考慮してよい。すなわち例えば、対応関係取得部44は、相似度合いが大きくなり、かつ、重畳面積が大きくなるように、仮想空間SVと実空間SRとを重畳してもよい。
【0053】
以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能であり、各実施形態の構成を組み合わせることも可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
【符号の説明】
【0054】
10 表示装置
22 表示部
40 仮想空間情報取得部
42 実空間情報取得部
44 対応関係取得部
46 表示制御部
AR2 移動可能領域(実移動領域)
AV2 移動可能領域(仮想移動領域)
SR 実空間
SV 仮想空間
U ユーザ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11