IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社NTTドコモの特許一覧

<>
  • 特許-表示制御装置 図1
  • 特許-表示制御装置 図2
  • 特許-表示制御装置 図3
  • 特許-表示制御装置 図4
  • 特許-表示制御装置 図5
  • 特許-表示制御装置 図6
  • 特許-表示制御装置 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-12
(45)【発行日】2024-12-20
(54)【発明の名称】表示制御装置
(51)【国際特許分類】
   G06T 19/00 20110101AFI20241213BHJP
   G06F 3/01 20060101ALI20241213BHJP
   G06F 3/038 20130101ALI20241213BHJP
【FI】
G06T19/00 300B
G06F3/01 510
G06F3/038 310A
【請求項の数】 5
(21)【出願番号】P 2023543701
(86)(22)【出願日】2022-06-06
(86)【国際出願番号】 JP2022022834
(87)【国際公開番号】W WO2023026628
(87)【国際公開日】2023-03-02
【審査請求日】2023-12-25
(31)【優先権主張番号】P 2021137104
(32)【優先日】2021-08-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】392026693
【氏名又は名称】株式会社NTTドコモ
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100121980
【弁理士】
【氏名又は名称】沖山 隆
(74)【代理人】
【識別番号】100128107
【弁理士】
【氏名又は名称】深石 賢治
(72)【発明者】
【氏名】中村 有希
(72)【発明者】
【氏名】森永 康夫
(72)【発明者】
【氏名】後藤 充宏
(72)【発明者】
【氏名】西▲崎▼ 達哉
(72)【発明者】
【氏名】水田 怜央
【審査官】鈴木 明
(56)【参考文献】
【文献】特開2018-073172(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 19/00
G06F 3/01
G06F 3/038
(57)【特許請求の範囲】
【請求項1】
他のディスプレイとの間で共通の仮想空間に共通して配置された表示情報を、ディスプレイ毎の現実空間での位置又は姿勢に基づく仮想空間のディスプレイ毎の視線に応じて表示するディスプレイにおける表示に係る制御を行う表示制御装置であって、
前記他のディスプレイにおける表示に応じた、当該他のディスプレイにおける仮想空間の注目位置を示す注目位置情報を取得する注目位置情報取得部と、
前記注目位置情報取得部によって取得された注目位置情報に基づいて、前記ディスプレイの表示における仮想空間の視線を移動させる視線移動部と、
を備える表示制御装置。
【請求項2】
前記視線移動部は、移動前の前記ディスプレイの表示における仮想空間の視線にも基づいて視線を移動させる請求項1に記載の表示制御装置。
【請求項3】
前記視線移動部は、移動前の前記ディスプレイの表示における仮想空間の視線を基準とした予め設定された方向に視線を移動させる請求項2に記載の表示制御装置。
【請求項4】
前記視線移動部は、前記注目位置情報によって示される注目位置又は当該注目位置に係る表示情報が前記ディスプレイの表示に含まれない場合に、当該注目位置又は当該表示情報の位置を示す表示をディスプレイに行わせる請求項1に記載の表示制御装置。
【請求項5】
前記視線移動部は、前記注目位置情報によって示される注目位置に係る表示情報について、注目位置に係るものであることを示す表示をディスプレイに行わせる請求項1に記載の表示制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ディスプレイにおける表示に係る制御を行う表示制御装置に関する。
【背景技術】
【0002】
従来、全天球画像をヘッドマウントディスプレイで表示することが提案されている(例えば、特許文献1参照)。例えば、ヘッドマウントディスプレイの向きに応じて全天球画像の一部が表示され、ヘッドマウントディスプレイの向き、即ち、ユーザの頭の向きを変えることで、全天球画像の他の部分が表示される。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2020-39052号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来、ディスプレイにおける表示を別のユーザのディスプレイと共有する技術が用いられている。別のユーザとの表示の共有は、上記の全天球画像を用いた態様の表示においても行われ得る。例えば、複数のヘッドマウントディスプレイにおいて、仮想空間に配置される情報を仮想空間の視線に応じて表示し、ヘッドマウントディスプレイ間で仮想空間を共通させて、共通する情報を表示することが考えられる。この際、仮想空間の視線をヘッドマウントディスプレイ毎に互いに独立したものとすると、各ヘッドマウントディスプレイのユーザは、仮想空間の視線に応じた互いに異なる表示を参照することができる。
【0005】
上記のようなディスプレイ間での表示の共有において、別のユーザが仮想空間上のどのコンテンツを見ているかを把握したい場合がある。例えば、表示を共有しているディスプレイのユーザ同士で会話を行っている場合、ユーザ同士が同じコンテンツを参照したい場合がある。そのために、例えば、音声通話等の会話によってユーザ間で注目しているコンテンツの位置を伝え合うことが考えられる。しかしながら、この方法では、注目しているコンテンツを発見するのに時間がかかる。特に眼鏡型のディスプレイ等の視野角が狭いディスプレイでの表示の表示の場合、仮想空間に配置されるコンテンツの数が多い場合、及びディスプレイ間での視線の方向が大きく異なる場合(例えば、ディスプレイ間で仮想空間の視線の方位角が180度ズレている場合)等には、上記の問題が顕著である。また、注目するコンテンツ(即ち、ユーザ同士が参照したい対象の表示)が変わる度に表示の位置を指示する必要があり、円滑な会話が難しい。
【0006】
本発明の一実施形態は、上記に鑑みてなされたものであり、複数のディスプレイ間で共通の仮想空間の情報を表示する場合に適切に表示を行うことができる表示制御装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記の目的を達成するために、本発明の一実施形態に係る表示制御装置は、他のディスプレイとの間で共通の仮想空間に共通して配置された表示情報を、ディスプレイ毎の現実空間での位置又は姿勢に基づく仮想空間のディスプレイ毎の視線に応じて表示するディスプレイにおける表示に係る制御を行う表示制御装置であって、他のディスプレイにおける表示に応じた、当該他のディスプレイにおける仮想空間の注目位置を示す注目位置情報を取得する注目位置情報取得部と、注目位置情報取得部によって取得された注目位置情報に基づいて、ディスプレイの表示における仮想空間の視線を移動させる視線移動部と、を備える。
【0008】
また、本発明の一実施形態に係る表示制御装置は、他のディスプレイとの間で共通の仮想空間に共通して配置された表示情報を、ディスプレイ毎の現実空間での位置又は姿勢に基づく仮想空間のディスプレイ毎の視線に応じて表示するディスプレイにおける表示に係る制御を行う表示制御装置であって、所定のトリガによって、ディスプレイにおける表示に応じて、ディスプレイにおける仮想空間の注目位置を示す注目位置情報を生成する注目位置情報生成部と、注目位置情報生成部によって生成された注目位置情報を他のディスプレイに送信する送信部と、を備える。
【0009】
これらの表示制御装置による制御によれば、一方のディスプレイの表示における仮想空間の視線が、他方のディスプレイにおける表示に応じた、当該他方のディスプレイにおける仮想空間の注目位置に基づいて移動される。従って、何れのディスプレイにおいても仮想空間の注目位置に応じた表示が行われ、例えば、それぞれのディスプレイのユーザ間で同じ表示情報を参照させることができる。即ち、本発明の一実施形態に係る表示制御装置によれば、複数のディスプレイ間で共通の仮想空間の情報を表示する場合に適切に表示を行うことができる。
【発明の効果】
【0010】
本発明の一実施形態に係る表示制御装置によれば、複数のディスプレイ間で共通の仮想空間の情報を表示する場合に適切に表示を行うことができる。
【図面の簡単な説明】
【0011】
図1】本発明の実施形態に係る表示制御装置である移動側ディスプレイ及び基準側ディスプレイの機能構成を示す図である。
図2】ディスプレイにおける表示に係る仮想空間、及び仮想空間に配置される表示情報の例を示す図である。
図3】仮想空間の視線の移動を説明するための図である。
図4】仮想空間の視線の移動後の表示の例を示す図である。
図5】表示情報の指定に用いられる情報の例を示す図である。
図6】本発明の実施形態に係る表示制御装置である移動側ディスプレイ及び基準側ディスプレイで実行される処理を示すシーケンス図である。
図7】本発明の実施形態に係る表示制御装置である移動側ディスプレイ及び基準側ディスプレイのハードウェア構成を示す図である。
【発明を実施するための形態】
【0012】
以下、図面と共に本発明に係る表示制御装置の実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【0013】
図1にそれぞれが本実施形態に係る表示制御装置であるディスプレイ10,20を示す。後述する本実施形態に係る機能に応じて、以下の説明では、ディスプレイ10は、移動側ディスプレイ10とも呼び、ディスプレイ20は、基準側ディスプレイ20とも呼ぶ。表示装置であるディスプレイ10,20は、ディスプレイ10,20自身における表示に係る制御を行う。ディスプレイ10,20は、他のディスプレイ10,20(自身以外のディスプレイ10,20)との間で共通の仮想空間に共通して配置された表示情報を、仮想空間のディスプレイ10,20毎の視線に応じて表示する。仮想空間のディスプレイ10,20毎の視線は、ディスプレイ10,20の現実空間での位置又は姿勢に基づくものである。
【0014】
例えば、ディスプレイ10,20は、仮想的な三次元空間に配置された表示情報(アセット)を仮想空間の視線に応じて表示する。表示情報は、ディスプレイ10,20に表示される情報である。表示情報は、例えば、文字、画像及び動画像等のコンテンツである。あるいは、表示情報は、スケジューラ、ブラウザ、SNS(ソーシャル・ネットワーキング・サービス)及び特定のアプリケーション等の表示される内容が変更され得るものであってもよい。上記の表示情報の具体的内容は、例えば、レシピ、メモ、マップ、ニュース記事、ソースコード、設計図及び各種の資料等であってもよい。また、表示情報は、ディスプレイ10,20のユーザ間でチャット等のコミュニケーションを取れるものであってもよい。また、表示情報は、3DCG(3次元コンピュータグラフィックス)モデルであってもよい。また、表示情報の表示は、クラウドサービスが用いられて行われてもよい。また、表示情報は、上記以外のものであっても、仮想空間に配置されて仮想空間の視線に応じて表示できるものであれば、どのようなものであってもよい。
【0015】
ディスプレイ10,20は、例えば、AR(Augmented Reality)等によって仮想のコンテンツ(表示情報)の表示を行うディスプレイである。ディスプレイ10,20は、ユーザの眼の部分に装着される透過型のディスプレイである。例えば、ディスプレイ10,20は、眼鏡型のヘッドマウントディスプレイ、即ち、シースルーグラス(スマートグラス、ARグラス)であってもよい。なお、ディスプレイ10,20は、互いに異なるユーザによって用いられる。また、ディスプレイ10,20は、ユーザに装着されるものである必要はない。
【0016】
ディスプレイ10,20は、仮想空間における視線の基準位置から仮想空間の視線の方向に見える領域の表示情報を見えた状態で表示する。仮想空間の視線は、仮想空間の視線の基準位置と、仮想空間の視線の方向とを含んで構成される。ディスプレイ10,20では、仮想空間の視線を移動させて表示を行うことができる。仮想空間の視線を移動することで、仮想空間において見える表示情報が変化し、ディスプレイ10,20による表示も変化する。
【0017】
仮想空間の視線の移動は、予め設定された方法で行われる。例えば、仮想空間の視線の移動は、予め設定した自由度で行われる。予め設定した自由度は、例えば、3DoF(Degree of Freedom)である。3DoFでは、仮想空間の視線の基準位置が固定されており、仮想空間の視線の方向のみが仮想空間のX軸、Y軸、Z軸の3軸周りに回転することができる。但し、上記以外の自由度及び上記以外の方法で仮想空間の視線の移動が行われてもよい。
【0018】
例えば、図2に示すように仮想空間に球(全天球)100を設けて、球100に沿って又は球100の内側若しくは外側に表示情報200を配置する。例えば、平面的な表示情報200については、球100の接平面に沿って球100の中心に向うように配置する。即ち、表示情報200は、球100の中心から見えるように配置される。この場合、球100の中心を仮想空間の視線の基準位置とする。
【0019】
ディスプレイ10,20は、仮想空間の視線の基準位置から仮想空間の視線の方向に見える表示情報200を見えた状態で表示する。表示される領域の形状は、ディスプレイ10,20における表示画面の形状、例えば、矩形の形状である。上記のようにディスプレイ10,20の視野角(仮想空間の表示できる角度)は限られているため、球100の一部分に相当する部分のみが表示される。仮想空間の視線の方向が変わることで、表示される領域の位置が変化し、ディスプレイ10,20による表示が変化する。このようにディスプレイ10,20は、全天球ディスプレイであってもよい。ディスプレイ10,20における上記の表示は、当該表示を行うアプリケーションによって行われてもよい。アプリケーションの起動時の視線の方向は、予め設定されたデフォルトの方向であってもよいし、ディスプレイ10,20毎に異なる方向であってもよい。
【0020】
上述したように仮想空間のディスプレイ10,20毎の視線は、ディスプレイ10,20の現実空間での位置又は姿勢に基づくものである。そのため、ディスプレイ10,20には、ディスプレイ10,20自身の動き(即ち、位置の変動)及び向き(即ち、姿勢)を検出するセンサが設けられていてもよい。例えば、加速度を検出する加速度センサ及び角速度を検出するジャイロセンサが設けられていてもよい。ディスプレイ10,20は、これらのセンサによって、ディスプレイ10,20自身の動き及び向きを検出して、検出した動き及び向きに応じて仮想空間の視線を移動させる。即ち、ディスプレイ10,20が装着されるユーザの頭部(顔)の向きに応じて視線が移動されてもよい。但し、仮想空間の視線の移動は、上記以外のセンサによる、位置又は姿勢の検出に応じて行われてもよい。また、上記のように3DoFで視線を移動させる場合には、向きのみが検出されればよい。
【0021】
仮想空間の視線の移動を含む、仮想空間の視線を用いたディスプレイ10,20における表示は、従来のAR等による表示と同様に行われればよい。なお、仮想空間に関する情報の保持及び処理は、ディスプレイ10,20の何れかにおいて行われてもよいし、ディスプレイ10,20に接続されるクラウド等において行われてもよい。
【0022】
ディスプレイ10,20における表示には、共通の仮想空間に共通して配置された表示情報が用いられる。即ち、複数のディスプレイ10,20の間で仮想空間及び表示情報が共有されてもよい。仮想空間及び表示情報が共有される複数のディスプレイ10,20は、予め設定される。ディスプレイ10,20における表示における仮想空間の視線は、ディスプレイ10,20毎の独立したものが用いられる。ディスプレイ10,20における視線が異なっていれば、例えば、3DoFの場合、視線の方向が異なっていれば、ディスプレイ10,20ではそれぞれの視線に応じた異なる表示が行われる。ディスプレイ10,20における視線が同じであれば、例えば、上記のように3DoFの場合、視線の方向が同じであれば、ディスプレイ10,20では同じ表示が行われる。なお、本実施形態では、2つのディスプレイ10,20で仮想空間が共通する例を示すが、3つ以上のディスプレイ10,20で仮想空間が共通してもよい。
【0023】
ディスプレイ10,20では、表示に係る操作、例えば、表示情報200に対するユーザの操作が行われてもよい。ディスプレイ10,20は、ユーザの操作を受け付けて、操作を表示に反映させる。例えば、表示情報200の仮想空間での移動、表示情報の拡大及び縮小、表示情報に対する文字入力及び球100の回転等の操作が行われてもよい。
【0024】
操作は、例えば、ディスプレイ10,20を装着したユーザによって携帯される、スマートフォン等の情報処理装置が用いられて行われてもよい。その場合、予めディスプレイ10,20とスマートフォンとが情報の送受信が可能であるように接続されている。ユーザがスマートフォンに対して操作を行うと、操作がディスプレイ10,20における表示に反映される。また、ユーザが手に持っているスマートフォンから、スマートフォンを向けている位置にレーザポインタが出ているような表示が行われてもよい。また、このようなレーザポインタの表示で表示情報の指定等の操作が行われてもよい。
【0025】
また、操作は、ヘッドマウントディスプレイに付属する専用コントローラによって行われてもよい。また、操作は、ユーザのジェスチャによって行われてもよい。ジェスチャを行うユーザの部分は、例えば、手である。即ち、ハンドジェスチャによる操作が行われてもよい。但し、手以外の部分でのジェスチャによる操作が行われてもよい。ユーザのジェスチャによる操作が行われる場合は、ジェスチャを行う部分を撮像できるようにカメラを設けておき、カメラによって撮像された動画像によってジェスチャが判断される。また、操作は、上記以外の任意の方法で行われてもよい。ディスプレイ10,20における上記の表示及び操作は、従来の方法と同様に行われればよい。
【0026】
ディスプレイ10,20としては、従来の上記の機能を有するディスプレイを用いることができる。また、ディスプレイ10,20は、通信機能を有している。ディスプレイ10,20の通信機能は、上記の仮想空間及び表示情報の共有、並びに本実施形態に係る機能の実現に用いられる。また、ディスプレイ10,20の上述した機能及び後述する本実施形態に係る機能の一部は、表示装置(例えば、上述したシースルーグラス)に接続される情報処理装置(例えば、スマートフォン又はPC(パーソナルコンピュータ))が有していてもよい。即ち、表示装置と情報処理装置とを含んで本実施形態に係るディスプレイ10,20が実現されてもよい。
【0027】
上記のようにディスプレイ10,20が、全天球ディスプレイであるとすると、ディスプレイ10,20が、表示情報として上記のように画像、動画及びブラウザ等を表示することで、ディスプレイ10,20を装着したユーザ専用の作業空間を構築することができる。これによって、いつでもどこでもプライベート空間を持ち運び集中又はリラックスできる世界を構築することができる。また、ディスプレイ10,20が、シースルーグラスであるとすると現実空間での他の作業をしながら表示情報を利用すること、いわゆる、ながらの利用が可能である。
【0028】
また、上記のように複数のディスプレイ10,20の間で仮想空間及び表示情報が共有されることで、この全天球ディスプレイに複数人で入るようなイメージで、例えば、同じ場所又は遠隔の他のディスプレイ10,20を用いる他のユーザと同時に表示情報を共有することができる。従って、空間共有による視覚的かつ直感的なコミュニケーションを向上することができる。他のユーザと視点又はアイデアを直感的に共有することで、視野及び思考の幅を広げることができる。また、常に関係する情報が表示される会話がしやすい世界を構成することができる。
【0029】
ディスプレイ10,20の個人ツールとしてのユースケースは、仕事、趣味、買物、通勤及び通学等がある。また、複数のディスプレイ10,20での仮想空間及び表示情報の共有のユースケースとしては、会議、ワークショップ、雑談及びプランニング等がある。
【0030】
引き続いて、本実施形態に係る移動側ディスプレイ10及び基準側ディスプレイ20の機能を説明する。なお、移動側ディスプレイ10は、基準側ディスプレイ20の本実施形態に係る機能を有していてもよい。また、基準側ディスプレイ20は、移動側ディスプレイ10の本実施形態に係る機能を有していてもよい。ディスプレイ10,20は、移動側ディスプレイ10及び基準側ディスプレイ20の両方の本実施形態に係る機能を有したものであってもよい。また、ディスプレイ10,20は、以下に説明する以外にも従来のシースルーグラス等の従来の表示装置が備える機能を備えていてもよい。
【0031】
本実施形態に係る移動側ディスプレイ10及び基準側ディスプレイ20の機能は、基準側ディスプレイ20における表示に応じた、基準側ディスプレイ20における仮想空間の注目位置に基づいて、移動側ディスプレイ10において仮想空間の視線を移動させるものである。移動側ディスプレイ10において仮想空間の視線が移動されることで、移動側ディスプレイ10における表示が変化する。これによって、移動側ディスプレイ10において、基準側ディスプレイ20で表示されている表示情報が表示され、それぞれのユーザが同じ表示情報を参照することができる。但し、後述するように、移動側ディスプレイ10において仮想空間の視線が移動した場合であっても、移動側ディスプレイ10において、基準側ディスプレイ20で表示されている表示情報が表示されない場合もある。
【0032】
図3(a)に示すように仮想空間には、表示情報200であるライオン200a、ゾウ200b及びウマ200cがそれぞれの位置に配置されている。図3(a)に示すように基準側ディスプレイ20での仮想空間の視線は、ライオン200aが配置されている方に向いており、基準側ディスプレイ20にはライオン200aが表示されている。ゾウ200b及びウマ200cは、基準側ディスプレイ20での仮想空間の視線の方向とは逆側に配置されており、基準側ディスプレイ20にはゾウ200b及びウマ200cは表示されていない。
【0033】
一方で、図3(b)に示すように移動側ディスプレイ10での仮想空間の視線は、ゾウ200b及びウマ200cが配置されている方に向いており、移動側ディスプレイ10にはゾウ200b及びウマ200cが表示されている。また、ライオン200aは、移動側ディスプレイ10での仮想空間の視線の方向とは逆側に配置されており、移動側ディスプレイ10にはライオン200aは表示されていない。従って、移動側ディスプレイ10のユーザと、基準側ディスプレイ20とは、同じ表示情報200を参照できない。
【0034】
本実施形態に係る移動側ディスプレイ10及び基準側ディスプレイ20の機能によって、図3(d)に示すように、基準側ディスプレイ20における仮想空間の注目位置に基づいて、移動側ディスプレイ10での仮想空間の視線が、ライオン200aが配置されている方に向くように移動される。この視線の移動によって、移動側ディスプレイ10でもライオン200aが表示されるようになる。従って、移動側ディスプレイ10のユーザと、基準側ディスプレイ20とは、同じ表示情報200(この例の場合はライオン200a)を参照できるようになる。
【0035】
図1に示すように、移動側ディスプレイ10は、表示部11と、注目位置情報取得部12と、視線移動部13とを備えて構成される。
【0036】
表示部11は、移動側ディスプレイ10での表示を行う機能部である。表示部11は、ディスプレイ10に表示する表示情報を入力して表示する。例えば、表示部11は、ディスプレイ10に記憶される表示情報を入力してもよいし、外部から表示情報を受信して入力してもよい。上述したように表示部11は、仮想空間に配置された表示情報を仮想空間上の視線に応じて表示する。また、上述したように表示部11は、他のディスプレイである基準側ディスプレイ20との間で仮想空間及び表示情報を共有する。仮想空間及び表示情報の共有は、例えば、基準側ディスプレイ20との間で表示情報及び当該表示情報が配置される仮想空間の位置を示す情報を送受信することで行われる。また、仮想空間及び表示情報の共有は、ディスプレイ10,20間の直接のやり取りではなく、ディスプレイ10,20それぞれが通信可能なサーバを介して行われてもよい。また、上記以外の方法でディスプレイ10,20間の仮想空間及び表示情報の共有が行われてもよい。なお、ディスプレイ10,20間で送受信される上記以外の情報についても、直接ディスプレイ10,20間で送受信されてもよいし、サーバ等を介して送受信されてもよい。
【0037】
表示部11による上記の機能は、従来の機能と同様のものでよい。また、後述するように表示部11による表示は、視線移動部13からの制御を受ける。
【0038】
注目位置情報取得部12は、他のディスプレイである基準側ディスプレイ20における表示に応じた、基準側ディスプレイ20における仮想空間の注目位置を示す注目位置情報を取得する機能部である。注目位置情報は、注目位置に対応する仮想空間の視線を特定可能な情報である。上記のような3DoFの場合、視線の基準位置は、球100の中心であり特定されているので、注目位置情報は、仮想空間の視線の方向を特定可能な情報である。例えば、注目位置情報は、仮想空間の座標系における球100の座標を示すものである。あるいは、注目位置情報は、仮想空間の極座標系における2つの偏角を示すものであってもよい。この場合の2つの偏角は、極角(天頂角、仰角)θ及び方位角φである。仮想空間は、現実空間に対応しており、仮想空間の極角θ及び方位角φは、現実空間の極角及び方位角に対応している。即ち、仮想空間の極角θは、現実空間の鉛直方向に対応する角度であり、仮想空間の方位角φは、現実空間の水平方向に対応する角度である。また、注目位置情報は、注目位置を示すものであれば上記以外の情報であってもよい。
【0039】
注目位置情報取得部12は、基準側ディスプレイ20から注目位置情報を受信して取得する。基準側ディスプレイ20は、移動側ディスプレイ10からの要求に応じて、又は基準側ディスプレイ20自身のトリガによって移動側ディスプレイ10に注目位置情報を送信する。
【0040】
例えば、移動側ディスプレイ10において、注目位置情報を要求する旨のユーザの操作があった場合には、注目位置情報取得部12は、基準側ディスプレイ20に注目位置情報を要求する。具体的には、注目位置情報取得部12は、図3(c)に示すようなUI(ユーザーインターフェース)で基準側ディスプレイ20のユーザを指定するユーザからの操作(上述したレーザポインタの表示による操作)を受け付けて、指定されたユーザに対応する基準側ディスプレイ20に注目位置情報を要求する。この場合、基準側ディスプレイ20は複数あり、ユーザによって指定されたユーザの基準側ディスプレイ20の注目位置情報を取得する。
【0041】
このように注目位置情報が取得される場合には、移動側ディスプレイ10では、図3(b)に示す視線の移動前の表示、図3(c)に示す基準側ディスプレイ20のユーザの指定の受け付け及び図3(d)に示す視線の移動後の表示の順に処理が行われる。基準側ディスプレイ20自身のトリガによって移動側ディスプレイ10に注目位置情報を送信する場合については後述する。注目位置情報取得部12は、取得した注目位置情報を視線移動部13に出力する。
【0042】
視線移動部13は、注目位置情報取得部12によって取得された注目位置情報に基づいて、移動側ディスプレイ10の表示における仮想空間の視線を移動させる機能部である。視線移動部13は、移動前の移動側ディスプレイ10の表示における仮想空間の視線にも基づいて視線を移動させてもよい。視線移動部13は、移動前の移動側ディスプレイ10の表示における仮想空間の視線を基準とした予め設定された方向に視線を移動させてもよい。視線移動部13は、注目位置情報によって示される注目位置又は当該注目位置に係る表示情報が移動側ディスプレイ10の表示に含まれない場合に、当該注目位置又は当該表示情報の位置を示す表示を移動側ディスプレイ10(即ち、表示部11)に行わせてもよい。視線移動部13は、注目位置情報によって示される注目位置に係る表示情報について、注目位置に係るものであることを示す表示を移動側ディスプレイ10(即ち、表示部11)に行わせてもよい。
【0043】
視線移動部13は、例えば、以下のように移動側ディスプレイ10の表示における仮想空間の視線を移動させる。視線移動部13は、注目位置情報取得部12から注目位置情報を入力する。視線移動部13は、表示部11による表示に係る仮想空間の視線を、入力した注目位置情報によって特定される位置に移動(同期、遷移)させる。当該移動によって、表示部11による表示が移動後の視線に応じたものとなる。
【0044】
また、視線移動部13は、移動後の仮想空間の視線が方位角φのみ注目位置情報によって特定される視線とあうように、仮想空間の視線を移動(回転)させてもよい。即ち、視線移動部13は、水平方向にのみ仮想空間の視線を移動させてもよい。この場合、注目位置情報は、方位角φを示す情報のみが含まれていてもよい。また、視線移動部13は、注目位置情報が直接的に方位角φを示すものではなかった場合、移動させる方位角をこの時点で計算してもよい。
【0045】
例えば、図3(a)に示す基準側ディスプレイ20(USER-B)の仮想空間における注目位置の方向の方位角である注目方位角φ=φであり、図3(b)に示す移動側ディスプレイ10(USER-A)の仮想空間における移動前の仮想空間の視線の方位角φ=φ+πであるとする。この場合、視線移動部13は、移動側ディスプレイ10の仮想空間の視線を水平方向(即ち、Z軸周りに)πだけ回転させて、図3(d)に示すように移動側ディスプレイ10の仮想空間における移動後の仮想空間の視線の方位角φ=φとなるようにする。
【0046】
このように方位角のみ仮想空間の視線を移動(同期)させる、即ち、視線の移動(同期)を自由度1に制限することで、極角方向の現実空間との対応を維持したまま、仮想空間の表示を変更させることができる。これによって、移動側ディスプレイ10のユーザの空間認識に係るストレス及び酔いを軽減することができる。即ち、視線の移動による表示の変更を移動側ディスプレイ10のユーザにとってより受け入れやすいものとすることができる。
【0047】
このように視線移動部13は、移動前の移動側ディスプレイ10の表示における仮想空間の視線にも基づいて視線を移動させてもよい。また、視線移動部13は、移動前の移動側ディスプレイ10の表示における仮想空間の視線を基準とした予め設定された方向(上記の例では、方位角の方向)に視線を移動させてもよい。
【0048】
上記のように方位角等の予め設定された方向にのみ仮想空間の視線を移動する場合、基準側ディスプレイ20の仮想空間の視線の極角と移動側ディスプレイ10の仮想空間の移動前の視線の極角とが互いに大きく異なっていると、移動側ディスプレイ10における表示範囲に、注目位置及び注目位置に係る表示情報200(注目コンテンツ、対象コンテンツ)が含まれなくなるおそれがある。注目位置に係る表示情報200は、例えば、注目位置にある表示情報200、注目位置から最も近い表示情報200、又は注目位置から一定の距離以内にある表示情報200である。即ち、仮想空間の視線が移動した際に上記の表示情報200が視野外となるおそれがある。
【0049】
視線移動部13は、仮想空間の視線の移動後に、注目位置情報によって示される注目位置又は注目位置に係る表示情報200が移動側ディスプレイ10の表示に含まれない場合に、当該注目位置又は当該表示情報200の位置を示す表示を表示部11に行わせてもよい。視線移動部13は、移動後の仮想空間の視線から、移動側ディスプレイ10における表示範囲を算出する。視線移動部13は、算出した表示範囲に当該注目位置又は当該表示情報200が含まれるか否かを判断して、表示範囲に当該注目位置又は当該表示情報200が含まれないと判断した場合に、上記の表示を表示部11に行わせる。例えば、当該表示は、図4(a)に示すように当該注目位置又は表示情報200がある方向を示す矢印210(即ち、これらをフォローする矢印タグ)である。移動側ディスプレイ10のユーザは、この表示を参照することで当該注目位置又は表示情報200を容易に見つけることができる。
【0050】
また、視線移動部13は、注目位置情報によって示される注目位置に係る表示情報について、注目位置に係るものであることを示す表示を表示部11に行わせてもよい。例えば、当該表示は、図4(b)に示すように当該表示情報200の周囲に赤い表示220を入れたハイライト表示である。あるいは、当該表示は、図4(c)に示すように当該表示情報200を上下にホッピングさせるアニメーションの表示である。なお、注目位置に係るものであることを示す表示であれば、上記以外のものであってもよい。また、これら表示は、当該表示情報200が移動側ディスプレイ10における表示範囲に含まれない場合に加えて、含まれる場合に行われてもよい。移動側ディスプレイ10のユーザは、この表示を参照することで当該表示情報200を容易に見つける、又は当該表示情報200を容易に認識することができる。以上が、移動側ディスプレイ10の機能である。
【0051】
図1に示すように、基準側ディスプレイ20は、表示部21と、注目位置情報生成部22と、送信部23とを備えて構成される。
【0052】
表示部21は、基準側ディスプレイ20での表示を行う機能部である。表示部21は、上述した移動側ディスプレイ10の表示部11の同様の機能を有する。表示部21は、他のディスプレイである移動側ディスプレイ10との間で仮想空間及び表示情報を共有する。当該共有に係る表示部21の機能も、移動側ディスプレイ10の表示部11の機能と同じである。表示部21による表示に用いられる情報は、注目位置情報生成部22によって参照される。
【0053】
注目位置情報生成部22は、所定のトリガによって、基準側ディスプレイ20における表示に応じて、基準側ディスプレイ20における仮想空間の注目位置を示す注目位置情報を生成する機能部である。注目位置情報生成部22は、基準側ディスプレイ20を装着するユーザの現実空間の視線を検出し、検出した視線にも応じて注目位置情報を生成してもよい。注目位置情報生成部22は、基準側ディスプレイ20における表示において、基準側ディスプレイ20のユーザによって指定される位置にも応じて注目位置情報を生成してもよい。注目位置情報生成部22は、基準側ディスプレイ20における表示において、基準側ディスプレイ20のユーザによって指定される表示情報の位置にも応じて注目位置情報を生成してもよい。注目位置情報生成部22は、基準側ディスプレイ20のユーザの音声、操作及びジェスチャの少なくとも何れかによる入力を所定のトリガとしてもよい。
【0054】
注目位置情報生成部22は、例えば、以下のように注目位置情報を生成する。注目位置情報生成部22は、注目位置情報の生成のためのトリガを入力する。例えば、注目位置情報生成部22は、移動側ディスプレイ10から注目位置情報の要求を受信し、受信した要求をトリガとして入力する。
【0055】
注目位置情報生成部22は、以下のような、移動側ディスプレイ10からの要求以外をトリガとして入力してもよい。注目位置情報生成部22は、基準側ディスプレイ20のユーザの音声をトリガとして入力する。例えば、注目位置情報生成部22は、基準側ディスプレイ20が備えるマイク等によって基準側ディスプレイ20のユーザの音声(発声)を入力する。注目位置情報生成部22は、入力した音声を音声認識して、音声認識によって得られた文字列が予めトリガとして設定された文字列であるタグであるか否かを判断する。なお、音声認識は、基準側ディスプレイ20で行われてもよいし、音声認識を行うサーバで行われてもよい。サーバで音声認識を行う場合には、注目位置情報生成部22は、サーバに音声を送信して、サーバから音声認識結果を受信する。
【0056】
注目位置情報生成部22は、音声認識によって得られた文字列が予めトリガとして設定されたタグであると判断した場合、当該音声をトリガとする。タグの予めの設定は、例えば、基準側ディスプレイ20の仮想空間のUI又は基準側ディスプレイ20に接続される情報処理装置の専用管理システムが用いられて行われる。また、ユーザ間との会話と区別するために、注目位置情報生成部22は、基準側ディスプレイ20のユーザが特定のボタンを押している間、又は当該ユーザが特定のハンドジェスチャを行っている間のみに当該ユーザの音声を入力してもよい。
【0057】
注目位置情報生成部22は、基準側ディスプレイ20のユーザの操作をトリガとして入力する。例えば、注目位置情報生成部22は、当該ユーザの操作を受け付けて、受け付けた操作が予めトリガとして設定されたパターンであるか否かを判断する。注目位置情報生成部22は、受け付けた操作が予めトリガとして設定されたパターンであると判断した場合、当該操作をトリガとする。パターンの予めの設定は、音声をトリガとする場合と同様に行われればよい。
【0058】
トリガとなるパターンは、例えば、基準側ディスプレイ20に接続されるスマートフォンのトラックパッドの中央部をn回連続(nは予め設定される自然数、以下についても同様)でタップする操作である。また、トリガとなるパターンは、基準側ディスプレイ20に接続される専用コントローラにおいて、トリガボタンをn回連続で引く操作、又は特定のボタン(バンパー)をn回連続で押下する操作である。また、トリガとなるパターンは、スマートフォンによる仮想空間でのレーザポインタの表示で特定の図面を再現する操作である。特定の図形は、例えば、丸の形状である。図形の再現は、単純な空書であっても、実際のレンダリングであってもよく、又はそれらの何れかであってもよい。あるいは、トリガとなるパターンは、それ以外の操作であってもよい。
【0059】
注目位置情報生成部22は、基準側ディスプレイ20のユーザのジェスチャ、例えば、ハンドジェスチャをトリガとして入力する。例えば、注目位置情報生成部22は、当該ユーザのジェスチャを受け付けて、受け付けたジェスチャが予めトリガとして設定されたパターンであるか否かを判断する。注目位置情報生成部22は、受け付けたジェスチャが予めトリガとして設定されたパターンであると判断した場合、当該ジェスチャをトリガとする。パターンの予めの設定は、音声をトリガとする場合と同様に行われればよい。
【0060】
トリガとなるパターンは、例えば、ジェスチャを既存する従来のシステムで検出可能なもの(例えば、Fist(握りこぶしをつくるハンドジェスチャ)、OK(OKサインをつくるハンドジェスチャ)、C(Cの形状をつくるハンドジェスチャ))であってもよい。あるいは、トリガとなるパターンは、それ以外のジェスチャであってもよい。例えば、ピースサイン、グー(握りこぶし)からパー(指を広げた状態)に切り替える動作、又はクラップであってもよい。
【0061】
注目位置情報生成部22は、トリガを入力すると注目位置情報を生成する。生成される注目位置情報に係る仮想空間の注目位置は、例えば、基準側ディスプレイ20における表示画面の中央の位置(レティクルの位置)に相当する仮想空間の球100の座標である。仮想空間の視線の方向を、表示画面の中央の位置とすると、視線の方向(レティクルを通る方向)と球100との交点の座標である。表示部11は、仮想空間の視線の方向を示す情報を保持しているので、注目位置情報生成部22は、当該情報を参照して注目位置情報を生成する。上述したように移動側ディスプレイ10での仮想空間の視線の移動が、所定の方向(例えば、方位角)のみに行われる場合には、注目位置情報は、注目位置の当該所定の方向のみを示すものであってもよい(以下についても同様である)。
【0062】
あるいは、生成される注目位置情報に係る仮想空間の注目位置は、基準側ディスプレイ20を装着するユーザの現実空間の視線にも応じたものであってもよい。この場合、注目位置情報生成部22は、当該ユーザの現実空間の視線を検出する。例えば、基準側ディスプレイ20に、ユーザの眼球を撮像できるカメラを設けておく。注目位置情報生成部22は、カメラの撮像によって得られたユーザの眼球の画像を入力する。注目位置情報生成部22は、入力したユーザの眼球の画像から、ユーザの現実空間の視線を検出する。例えば、注目位置情報生成部22は、ユーザの眼球の動画像からユーザの眼球の動きを検出して、当該動きに基づいて視線を検出する。注目位置情報生成部22は、検出する視線の方向として、例えば、基準側ディスプレイ20の表示画面における現実空間の視線の位置(視線と表示画面との交点の位置であり、例えば、表示画面における座標)を検出する。当該検出は、従来の方法によって行われればよい。
【0063】
生成される注目位置情報に係る仮想空間の注目位置は、基準側ディスプレイ20の表示画面における現実空間の視線の位置に相当する仮想空間の球100の座標である。表示部11は、仮想空間の視線の方向を示す情報(即ち、基準側ディスプレイ20の表示画面に相当する仮想空間の位置を示す情報)を保持しているので、注目位置情報生成部22は、その情報と検出された現実空間の視線の位置とから、視線の位置に相当する仮想空間の球100の座標を算出して注目位置情報とする。表示画面における座標の仮想空間における位置の算出は、従来の方法によって行われればよい(以下についても同様)。
【0064】
あるいは、生成される注目位置情報に係る仮想空間の注目位置は、基準側ディスプレイ20における表示において、基準側ディスプレイ20のユーザによって指定される位置(ポインティング位置)にも応じたものであってもよい。この場合、基準側ディスプレイ20においてユーザは表示画面の位置(例えば、表示画面における座標)を指定する。表示画面の位置の指定は、ユーザの操作によって行われる。表示画面の位置の指定は、カーソル又はポインタによって行われてもよい。注目位置情報生成部22は、ユーザの操作を受け付けて、操作によって指定される表示画面の位置を示す情報を取得する。
【0065】
生成される注目位置情報に係る仮想空間の注目位置は、基準側ディスプレイ20の表示画面の指定される位置に相当する仮想空間の球100の座標である。表示部11は、仮想空間の視線の方向を示す情報(即ち、基準側ディスプレイ20の表示画面に相当する仮想空間の位置を示す情報)を保持しているので、注目位置情報生成部22は、その情報と指定される表示画面の位置とから、指定される表示画面の位置に相当する仮想空間の球100の座標を算出して注目位置情報とする。
【0066】
あるいは、生成される注目位置情報に係る仮想空間の注目位置は、基準側ディスプレイ20における表示において、基準側ディスプレイ20のユーザによって指定される表示情報(コンテンツ)の位置にも応じたものであってもよい。この場合、基準側ディスプレイ20においてユーザは表示情報を指定する。表示情報は、基準側ディスプレイ20において表示されているものであってもよい。この場合、基準側ディスプレイ20においてユーザは表示情報を指定する。注目位置情報生成部22は、指定される表示画面の位置を示す情報を取得する。
【0067】
例えば、ユーザは以下のように表示情報を指定する。注目位置情報生成部22は、予め表示情報と文字列であるタグとを対応付けて記憶しておく。例えば、図3に示すライオン200aには「#LION」とのタグを、ゾウ200bには「#ELEPHANT」とのタグを、ウマ200cには「#HORSE」とのタグを対応付けておく。注目位置情報生成部22は、基準側ディスプレイ20が備えるマイク等によって基準側ディスプレイ20のユーザの音声(発声)を入力する。注目位置情報生成部22は、入力した音声を音声認識して、音声認識によって得られた文字列が予め表示情報に対応付けられたタグであるか否かを判断する。なお、音声認識は、上記と同様に基準側ディスプレイ20で行われてもよいし、音声認識を行うサーバで行われてもよい。
【0068】
注目位置情報生成部22は、音声認識によって得られた文字列が予め設定されたタグであると判断した場合、タグに対応付けられた表示情報の仮想空間の位置を取得する。表示部11は、表示情報の仮想空間の位置を示す情報を保持しているので、注目位置情報生成部22は当該情報を取得する。注目位置情報生成部22は、表示情報の仮想空間の位置から、当該位置に相当する仮想空間の球100の座標を算出して注目位置情報とする。例えば、表示情報が仮想空間の球100に配置される場合には、表示情報の仮想空間の位置の座標を示す情報を注目位置情報とする。例えば、表示情報が仮想空間の球100以外に配置される場合には、仮想空間の視線位置から延びる、表示情報の仮想空間の位置を通る直線と、仮想空間の球100との交点の位置の座標を示す情報を注目位置情報とする。
【0069】
表示情報の指定は、基準側ディスプレイ20のユーザの音声以外のユーザの操作によって行われてもよい。注目位置情報生成部22は、予め表示情報とユーザの操作とを対応付けて記憶しておく。例えば、図5(a)に示すように表示情報の識別子であるコンテンツIDと、ユーザの操作であるコントローラパターンとを対応付けて記憶しておく。コントローラパターンの例は、上述したトリガとなるユーザの操作と同様である。注目位置情報生成部22は、基準側ディスプレイ20のユーザの操作を受け付けて、受け付けた操作に対応付けられた表示情報を指定される表示情報とする。
【0070】
例えば、基準側ディスプレイ20のユーザのジェスチャ、例えば、ハンドジェスチャによって表示情報の指定が行われてもよい。注目位置情報生成部22は、予め表示情報とユーザのジェスチャとを対応付けて記憶しておく。例えば、図5(b)に示すように表示情報の識別子であるコンテンツIDと、ハンドジェスチャとを対応付けて記憶しておく。ハンドジェスチャの例は、上述したトリガとなるジェスチャと同様である。注目位置情報生成部22は、基準側ディスプレイ20のユーザのジェスチャを受け付けて、受け付けたジェスチャに対応付けられた表示情報を指定される表示情報とする。
【0071】
また、表示情報の指定は、上記以外によって行われてもよい。例えば、表示情報の指定は、カーソル又はポインタによって行われてもよい。また、表示情報の指定がなされた際に、基準側ディスプレイ20における仮想空間の視線が、表示情報の位置に合わされてもよい。また、上記のように表示情報の指定が行われる場合には、当該指定が注目位置情報の生成のトリガとされてもよい。注目位置情報生成部22は、生成した注目位置情報を送信部23に出力する。
【0072】
送信部23は、注目位置情報生成部22によって生成された注目位置情報を他のディスプレイである移動側ディスプレイ10に送信する機能部である。送信部23は、注目位置情報生成部22から注目位置情報を入力する。移動側ディスプレイ10から注目位置情報の要求を受信している場合には、送信部23は、当該要求の送信元である移動側ディスプレイ10に注目位置情報を送信する。
【0073】
基準側ディスプレイ20側のトリガで注目位置情報が生成された場合には、送信部23は、指定された移動側ディスプレイ10に注目位置情報を送信する。注目位置情報が送信される移動側ディスプレイ10は、予め指定されていてもよい。例えば、仮想空間及び表示情報を共有する全ての移動側ディスプレイ10が、注目位置情報が送信される移動側ディスプレイ10とされてもよい。あるいは、注目位置情報が送信される時点で基準側ディスプレイ20のユーザによって、注目位置情報が送信される移動側ディスプレイ10が指定されてもよい。以上が、基準側ディスプレイ20の機能である。
【0074】
引き続いて、図6のシーケンス図を用いて、本実施形態に係る移動側ディスプレイ10及び基準側ディスプレイ20で実行される処理(移動側ディスプレイ10及び基準側ディスプレイ20が行う動作方法)を説明する。本処理は、移動側ディスプレイ10において表示部11による表示、及び基準側ディスプレイ20において表示部21による表示がそれぞれ行われる際のものである。また、移動側ディスプレイ10及び基準側ディスプレイ20では、互いに仮想空間及び表示情報が共有された上で表示が行われる。
【0075】
本処理では、基準側ディスプレイ20において、注目位置情報生成部22によって、注目位置情報の生成のトリガが入力される(S01)。続いて、注目位置情報生成部22によって、基準側ディスプレイ20における表示に応じて注目位置情報が生成される(S02)。続いて、生成された注目位置情報が、送信部23によって移動側ディスプレイ10に送信される(S03)。
【0076】
移動側ディスプレイ10では、注目位置情報取得部12によって、注目位置情報が受信されて取得される(S04)。続いて、視線移動部13によって、注目位置情報に基づいて、移動側ディスプレイ10の表示における仮想空間の視線が移動される(S05)。以上が、本実施形態に係る移動側ディスプレイ10及び基準側ディスプレイ20で実行される処理である。
【0077】
本実施形態によれば、移動側ディスプレイ10の表示における仮想空間の視線が、基準側ディスプレイ20における表示に応じた、基準側ディスプレイ20における仮想空間の注目位置に基づいて移動される。従って、何れのディスプレイ10,20においても、仮想空間の注目位置に応じた表示が行われ、例えば、それぞれのディスプレイのユーザ間で同じ表示情報を参照させることができる。
【0078】
上述したようにディスプレイ10,20毎に独立した視線を用いた表示では、ユーザ毎に見える表示情報が異なる。本実施形態によってユーザ間で同じ表示情報を容易に参照させることができれば、仮想空間における表示情報の位置の言葉での伝え合い等を行うことなく、表示情報を参照しつつのユーザ間のコミュニケーションを円滑に行わせることができる。即ち、本実施形態によれば、複数のディスプレイ10,20間で共通の仮想空間の情報を表示する場合に適切に表示を行うことができる。
【0079】
また、上述したように移動側ディスプレイ10では、以下のような構成を取ってもよい。移動前の移動側ディスプレイ10の表示における仮想空間の視線にも基づいて視線を移動させてもよい。より具体的には、移動前の移動側ディスプレイ10の表示における仮想空間の視線を基準とした予め設定された方向、例えば、上述したように方位角のみに視線を移動させてもよい。この構成によれば、視線の移動による表示の変更を移動側ディスプレイ10のユーザにとってより受け入れやすいものとすることができる。但し、視線の移動は必ずしも上記のように行われる必要はなく、注目位置情報に基づくものであればどのように行われてもよい。
【0080】
また、視線の移動後に、注目位置情報によって示される注目位置又は注目位置に係る表示情報が移動側ディスプレイ10の表示に含まれない場合に、当該注目位置又は当該表示情報の位置を示す表示を表示部11に行わせてもよい。この構成によれば、上述したように移動側ディスプレイ10のユーザは、この表示を参照することで当該注目位置又は当該表示情報を容易に見つけることができる。
【0081】
また、上述したように視線の移動後に、注目位置情報によって示される注目位置に係る表示情報について、注目位置に係るものであることを示す表示を表示部11に行わせてもよい。この構成によれば、上述したように移動側ディスプレイ10のユーザは、この表示を参照することで当該表示情報200を容易に見つける、又は当該表示情報200を容易に認識することができる。但し、視線の移動時に必ずしもこれらの表示を行う必要はない。
【0082】
また、上述したように基準側ディスプレイ20では、以下のような構成を取ってもよい。注目位置情報を生成において、基準側ディスプレイ20を装着するユーザの現実空間の視線を検出し、検出した視線にも応じて注目位置情報を生成してもよい。また、基準側ディスプレイ20における表示において、基準側ディスプレイ20のユーザによって指定される位置にも応じて注目位置情報を生成してもよい。これらの構成によれば、基準側ディスプレイ20を装着するユーザが、より注目している位置に基づいて視線の共有を行うことができる。この結果、複数のディスプレイ10,20間で共通の仮想空間の情報を表示する場合に更に適切に表示を行うことができる。
【0083】
また、基準側ディスプレイ20における表示において、基準側ディスプレイ20のユーザによって指定される表示情報の位置にも応じて注目位置情報を生成してもよい。この構成によれば、基準側ディスプレイ20を装着するユーザが、注目している表示情報に基づいて視線の共有を行うことができる。この結果、複数のディスプレイ10,20間で共通の仮想空間の情報を表示する場合に更に適切に表示を行うことができる。但し、注目位置情報の生成は、必ずしもこのように行われる必要はなく、基準側ディスプレイ20における表示に応じて行われればよい。
【0084】
また、基準側ディスプレイ20のユーザの音声、操作及びジェスチャの少なくとも何れかによる入力を注目位置情報の生成のトリガとしてもよい。この構成によれば、基準側ディスプレイ20側のユーザによって、容易の視線の共有を行わせることができる。但し、注目位置情報の生成のトリガは、必ずしも上記のものである必要はない。
【0085】
上述した実施形態では、表示制御装置は、表示機能を有する移動側ディスプレイ10及び基準側ディスプレイ20として説明したが、必ずしも表示機能を有するものでなくてもよい。表示制御装置は、他のディスプレイとの間で共通の仮想空間に共通して配置された表示情報を、仮想空間のディスプレイ毎の視線に応じて表示する(即ち、表示部11又は表示部21を備える)ディスプレイに接続されて、ディスプレイにおける表示を制御する装置(システム)であり、上述した注目位置情報取得部12と、視線移動部13とを備えるもの、又は上述した注目位置情報生成部22と、送信部23とを備えるものであればよい。
【0086】
なお、移動側ディスプレイ10における仮想空間の視線の移動、例えば、基準側ディスプレイ20における仮想空間の視線との同期は、スナップショット的にその瞬間において行われる単発同期であってもよいし、基準側ディスプレイ20における仮想空間の視線をトラッキングする動的同期であってもよい。動的同期が行われる場合、注目位置情報が継続的に基準側ディスプレイ20から移動側ディスプレイ10に送信されて、移動側ディスプレイ10では当該注目位置情報に基づいて順次仮想空間の視線の移動が行われる。
【0087】
また、基準側ディスプレイ20において、トリガの検出又は表示情報の指定に用いられる、タグ又はパターンは、特定の基準側ディスプレイ20においてのみ設定されてもよいし、複数(例えば、全ての)の基準側ディスプレイ20において共通して設定されてもよい。特定の基準側ディスプレイ20においてのみ設定されている場合、その基準側ディスプレイ20を用いる特定のユーザのみが、設定された情報に基づく機能を利用することができる。複数(例えば、全ての)の基準側ディスプレイ20において共通して設定されている場合、その基準側ディスプレイ20を用いる複数の(例えば、全ての)ユーザが、設定された情報に基づく機能を利用することができる。
【0088】
なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線などを用いて)接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【0089】
機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知(broadcasting)、通知(notifying)、通信(communicating)、転送(forwarding)、構成(configuring)、再構成(reconfiguring)、割り当て(allocating、mapping)、割り振り(assigning)などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック(構成部)は、送信部(transmitting unit)又は送信機(transmitter)と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。
【0090】
例えば、本開示の一実施の形態におけるディスプレイ10,20は、本開示の情報処理を行うコンピュータとして機能してもよい。図7は、本開示の一実施の形態に係るディスプレイ10,20のハードウェア構成の一例を示す図である。上述のディスプレイ10,20は、物理的には、プロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006、バス1007などを含むコンピュータ装置として構成されてもよい。
【0091】
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。ディスプレイ10,20のハードウェア構成は、図に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
【0092】
ディスプレイ10,20における各機能は、プロセッサ1001、メモリ1002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることによって、プロセッサ1001が演算を行い、通信装置1004による通信を制御したり、メモリ1002及びストレージ1003におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
【0093】
プロセッサ1001は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ1001は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)によって構成されてもよい。例えば、上述のディスプレイ10,20における各機能は、プロセッサ1001によって実現されてもよい。
【0094】
また、プロセッサ1001は、プログラム(プログラムコード)、ソフトウェアモジュール、データなどを、ストレージ1003及び通信装置1004の少なくとも一方からメモリ1002に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、ディスプレイ10,20における各機能は、メモリ1002に格納され、プロセッサ1001において動作する制御プログラムによって実現されてもよい。上述の各種処理は、1つのプロセッサ1001によって実行される旨を説明してきたが、2以上のプロセッサ1001により同時又は逐次に実行されてもよい。プロセッサ1001は、1以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
【0095】
メモリ1002は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)などの少なくとも1つによって構成されてもよい。メモリ1002は、レジスタ、キャッシュ、メインメモリ(主記憶装置)などと呼ばれてもよい。メモリ1002は、本開示の一実施の形態に係る情報処理を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュールなどを保存することができる。
【0096】
ストレージ1003は、コンピュータ読み取り可能な記録媒体であり、例えば、CD-ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つによって構成されてもよい。ストレージ1003は、補助記憶装置と呼ばれてもよい。ディスプレイ10,20が備える記憶媒体は、例えば、メモリ1002及びストレージ1003の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。
【0097】
通信装置1004は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
【0098】
入力装置1005は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど)である。出力装置1006は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカー、LEDランプなど)である。なお、入力装置1005及び出力装置1006は、一体となった構成(例えば、タッチパネル)であってもよい。
【0099】
また、プロセッサ1001、メモリ1002などの各装置は、情報を通信するためのバス1007によって接続される。バス1007は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
【0100】
また、ディスプレイ10,20は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ1001は、これらのハードウェアの少なくとも1つを用いて実装されてもよい。
【0101】
本開示において説明した各態様/実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【0102】
入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【0103】
判定は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:true又はfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
【0104】
本開示において説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
【0105】
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
【0106】
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【0107】
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術(同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL:Digital Subscriber Line)など)及び無線技術(赤外線、マイクロ波など)の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
【0108】
本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
【0109】
また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
【0110】
本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断(決定)」は、「想定する(assuming)」、「期待する(expecting)」、「みなす(considering)」などで読み替えられてもよい。
【0111】
「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、2又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された2つの要素間に1又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、2つの要素は、1又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光(可視及び不可視の両方)領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
【0112】
本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【0113】
本開示において使用する「第1の」、「第2の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第1及び第2の要素への参照は、2つの要素のみが採用され得ること、又は何らかの形で第1の要素が第2の要素に先行しなければならないことを意味しない。
【0114】
本開示において、「含む(include)」、「含んでいる(including)」及びそれらの変形が使用されている場合、これらの用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
【0115】
本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【0116】
本開示において、「AとBが異なる」という用語は、「AとBが互いに異なる」ことを意味してもよい。なお、当該用語は、「AとBがそれぞれCと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
【符号の説明】
【0117】
10…移動側ディスプレイ、11…表示部、12…注目位置情報取得部、13…視線移動部、20…基準側ディスプレイ、21…表示部、22…注目位置情報生成部、23…送信部、1001…プロセッサ、1002…メモリ、1003…ストレージ、1004…通信装置、1005…入力装置、1006…出力装置、1007…バス。
図1
図2
図3
図4
図5
図6
図7