IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社NTTドコモの特許一覧

<>
  • 特許-表示制御装置 図1
  • 特許-表示制御装置 図2
  • 特許-表示制御装置 図3
  • 特許-表示制御装置 図4
  • 特許-表示制御装置 図5
  • 特許-表示制御装置 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-20
(45)【発行日】2025-01-06
(54)【発明の名称】表示制御装置
(51)【国際特許分類】
   G09G 5/00 20060101AFI20241223BHJP
   G09G 5/38 20060101ALI20241223BHJP
   G09G 5/373 20060101ALI20241223BHJP
   G06F 3/04815 20220101ALI20241223BHJP
   G06F 3/04842 20220101ALI20241223BHJP
   G06F 3/01 20060101ALI20241223BHJP
   G06T 19/00 20110101ALI20241223BHJP
【FI】
G09G5/00 550C
G09G5/38 100
G09G5/373 100
G09G5/373 200
G06F3/04815
G06F3/04842
G06F3/01 510
G06T19/00 A
【請求項の数】 4
(21)【出願番号】P 2023543736
(86)(22)【出願日】2022-07-07
(86)【国際出願番号】 JP2022026986
(87)【国際公開番号】W WO2023026700
(87)【国際公開日】2023-03-02
【審査請求日】2023-12-19
(31)【優先権主張番号】P 2021137986
(32)【優先日】2021-08-26
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】392026693
【氏名又は名称】株式会社NTTドコモ
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100121980
【弁理士】
【氏名又は名称】沖山 隆
(74)【代理人】
【識別番号】100128107
【弁理士】
【氏名又は名称】深石 賢治
(72)【発明者】
【氏名】山▲崎▼ 智仁
(72)【発明者】
【氏名】石黒 けい
【審査官】西島 篤宏
(56)【参考文献】
【文献】米国特許出願公開第2019/0362557(US,A1)
【文献】特開2017-027206(JP,A)
【文献】国際公開第2020/036898(WO,A1)
【文献】特開2011-198150(JP,A)
【文献】米国特許出願公開第2021/0084278(US,A1)
【文献】中国特許出願公開第108771866(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G09G 5/00
G09G 5/38
G09G 5/373
G06F 3/04815
G06F 3/04842
G06F 3/01
G06T 19/00
(57)【特許請求の範囲】
【請求項1】
仮想空間に配置された表示情報を仮想空間の視線に応じて表示するディスプレイにおける表示を制御する表示制御装置であって、
仮想空間で表示情報を移動させる契機を検出する契機検出部と、
仮想空間での表示情報の移動に用いられる仮想空間での位置及び方向を設定する設定部と、
前記契機検出部によって前記契機が検出された場合、前記設定部によって設定された仮想空間での位置及び方向に基づいて、仮想空間の座標系を変換する変換部と、
前記変換部によって変換された座標系において、前記設定部によって設定された仮想空間での位置及び方向に応じた領域に含まれる表示情報を移動させて、仮想空間の座標系を元の座標系に復元変換する移動部と、
を備え
前記移動部は、移動させる表示情報毎に、前記領域における当該表示情報の位置に応じた速度で移動させる表示制御装置。
【請求項2】
前記設定部は、前記仮想空間の視線の位置及び方向を、仮想空間での表示情報の移動に用いられる仮想空間での位置及び方向に設定する請求項1に記載の表示制御装置。
【請求項3】
前記移動部は、前記設定部によって設定された仮想空間での位置及び方向に応じた扇形状又は帯状の領域に含まれる表示情報を移動させる請求項1に記載の表示制御装置。
【請求項4】
前記移動部は、表示情報の移動に応じて、当該表示情報を縮小又は拡大する請求項1に記載の表示制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ディスプレイにおける表示を制御する表示制御装置に関する。
【背景技術】
【0002】
従来、ヘッドマウントディスプレイ等のディスプレイにおいて、仮想空間に配置された表示情報を仮想空間の視線に応じて表示することが行われている。仮想空間において表示情報が移動すると、当該移動に応じて表示が変化する。特許文献1には、仮想空間の視線によって仮想空間の表示情報を指定して移動することが示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2018-10702号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に示されるような、視線によって個々に移動させる表示情報を指定する方法では、表示情報の容易かつ適切な移動が困難な場合がある。例えば、上記の方法では、他の表示情報に隠れていて表示されていない表示情報を指定して移動させることができなかったり、困難であったりする。また、視線による指定ではなく、ユーザの操作によって個々に移動させる表示情報を指定する方法でも同様の問題が生じる。
【0005】
本発明の一実施形態は、上記に鑑みてなされたものであり、仮想空間を用いた表示において表示情報を容易かつ適切に移動させることができる表示制御装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一実施形態に係る表示制御装置は、仮想空間に配置された表示情報を仮想空間の視線に応じて表示するディスプレイにおける表示を制御する表示制御装置であって、仮想空間で表示情報を移動させる契機を検出する契機検出部と、仮想空間での表示情報の移動に用いられる仮想空間での位置及び方向を設定する設定部と、契機検出部によって契機が検出された場合、設定部によって設定された仮想空間での位置及び方向に基づいて、仮想空間の座標系を変換する変換部と、変換部によって変換された座標系において、設定部によって設定された仮想空間での位置及び方向に応じた領域に含まれる表示情報を移動させて、仮想空間の座標系を元の座標系に復元変換する移動部と、を備え、移動部は、移動させる表示情報毎に、領域における当該表示情報の位置に応じた速度で移動させる
【0007】
本発明の一実施形態に係る表示制御装置では、表示情報の移動に用いられる仮想空間での位置及び方向に応じた領域に含まれる表示情報が移動される。従って、従来の方法では、容易に移動させることができなかった表示情報を容易に移動させることができる。また、表示情報を移動させる際に仮想空間の座標系が変換される。このため、表示情報を移動しやすい座標系に変換した上で表示情報を移動させることができる。このように本発明の一実施形態に係る表示制御装置によれば、仮想空間を用いた表示において表示情報を容易かつ適切に移動させることができる。
【発明の効果】
【0008】
本発明の一実施形態によれば、仮想空間を用いた表示において表示情報を容易かつ適切に移動させることができる。
【図面の簡単な説明】
【0009】
図1】本発明の実施形態に係る表示制御装置であるディスプレイの機能構成を示す図である。
図2】仮想空間に配置される表示情報及び移動に用いられる領域の例を模式的に示す図である。
図3】仮想空間に配置される表示情報及び移動に用いられる領域の別の例を模式的に示す図である。
図4】仮想空間における表示情報の移動の例を模式的に示す図である。
図5】本発明の実施形態に係る表示制御装置であるディスプレイで実行される処理を示すフローチャートである。
図6】本発明の実施形態に係る表示制御装置であるディスプレイのハードウェア構成を示す図である。
【発明を実施するための形態】
【0010】
以下、図面と共に本発明に係る表示制御装置の実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【0011】
図1に本実施形態に係る表示制御装置であるディスプレイ10の機能構成を示す。表示装置であるディスプレイ10は、ディスプレイ10自身における表示を制御する。ディスプレイ10は、仮想空間(例えば、仮想的な三次元空間)に配置された表示情報を仮想空間の視線に応じて表示する。表示情報は、例えば、文字、画像及び動画像等のコンテンツである。また、表示情報は、上記以外のものであっても、仮想空間に配置されて仮想空間の視線に応じて表示できるものであれば、どのようなものであってもよい。
【0012】
例えば、ディスプレイ10は、AR(Augmented Reality)、MR(Mixed Reality)又はVR(Virtual Reality)等のXRによって仮想のコンテンツ(表示情報)の表示を行うディスプレイである。ディスプレイ10は、ユーザの眼の部分に装着される透過型のディスプレイであってもよい。例えば、ディスプレイ10は、眼鏡型のヘッドマウントディスプレイ、即ち、シースルーグラス(スマートグラス、XRグラス)であってもよい。以下では、ディスプレイ10は、ユーザの眼の部分、即ち、ユーザの頭部に装着されるものとして説明する。但し、ディスプレイ10は、ユーザに装着されるものである必要はない。
【0013】
ディスプレイ10は、仮想空間における視線の基準位置(視線の始点)から仮想空間の視線の方向に見える領域の表示情報を見えた状態で表示する。仮想空間の視線は、仮想空間の視線の基準位置と、仮想空間の視線の方向とを含んで構成される。ディスプレイ10では、仮想空間の視線を移動させて表示を行うことができる。仮想空間の視線を移動することで仮想空間において見える表示情報が変化し、ディスプレイ10における表示も変化する。
【0014】
仮想空間のディスプレイ10の視線は、ディスプレイ10の現実空間での位置又は姿勢に基づくものであってもよい。そのため、ディスプレイ10には、ディスプレイ10自身の動き(即ち、位置の変動)及び向き(即ち、姿勢)を検出するセンサが設けられていてもよい。例えば、加速度を検出する加速度センサ及び角速度を検出するジャイロセンサが設けられていてもよい。ディスプレイ10は、これらのセンサによって、ディスプレイ10自身の動き及び向きを検出して、検出した動き及び向きに応じて仮想空間の視線を移動させてもよい。即ち、ディスプレイ10が装着されるユーザの頭部(顔)の向きに応じて視線が移動されてもよい。但し、仮想空間の視線の移動は、上記以外のセンサによる、位置又は姿勢の検出に応じて行われてもよい。
【0015】
また、仮想空間の視線の移動は、上記のようにセンサによるものではなく、ディスプレイ10に対するユーザの操作によって行われてもよい。仮想空間の視線の移動を含む、仮想空間の視線を用いたディスプレイ10における表示は、従来のAR、MR又はVR等による表示と同様に行われればよい。なお、仮想空間に関する情報の保持及び処理は、ディスプレイ10において行われてもよいし、ディスプレイ10に接続されるクラウド等において行われてもよい。
【0016】
仮想空間の視線の移動は、予め設定された方法で行われる。例えば、仮想空間の視線の移動は、所定の自由度で行われる。予め設定した自由度は、例えば、6DoF(Degree of Freedom)である。
【0017】
6DoFでは、仮想空間の視線の基準位置が仮想空間のX軸、Y軸、Z軸の3軸方向に移動することができる。また、6DoFでは、仮想空間の視線の方向が仮想空間のX軸、Y軸、Z軸の3軸周りに回転することができる。従って、ディスプレイ10を装着しているユーザが頭部を動かすと、その動きに応じた表示情報を見ることが可能である。但し、上記以外の自由度及び上記以外の方法で仮想空間の視線の移動が行われてもよい。
【0018】
ディスプレイ10では、表示に係る操作、例えば、表示情報に対するユーザの操作が行われてもよい。ディスプレイ10は、ユーザの操作を受け付けて、操作を表示に反映させる。例えば、仮想空間での表示情報の生成、移動、拡大及び縮小、並びに表示情報に対する文字入力等の操作が行われてもよい。操作は、例えば、ディスプレイ10を装着したユーザによって携帯される、スマートフォン等の情報処理装置が用いられて行われてもよい。その場合、予めディスプレイ10とスマートフォンとが情報の送受信が可能であるように接続されている。
【0019】
また、操作は、ヘッドマウントディスプレイに付属する専用コントローラによって行われてもよい。また、操作は、ユーザのジェスチャによって行われてもよい。ジェスチャを行うユーザの部分は、例えば、手である。即ち、ハンドトラッキングジェスチャによる操作が行われてもよい。但し、手以外の部分でのジェスチャによる操作が行われてもよい。ユーザのジェスチャによる操作が行われる場合は、ジェスチャを行う部分を撮像できるようにカメラを設けておき、カメラによって撮像された動画像によってジェスチャが判断される。また、操作は、上記以外の任意の方法で行われてもよい。ディスプレイ10における上記の表示及び操作は、従来の方法と同様に行われればよい。
【0020】
ディスプレイ10における表示と、他のディスプレイにおける表示とには、共通の仮想空間に共通して配置された表示情報が用いられてもよい。即ち、複数のディスプレイの間で仮想空間及び表示情報が共有されてもよい。仮想空間及び表示情報が共有される複数のディスプレイは、予め設定される。ディスプレイ10における表示と、他のディスプレイにおける表示とにおける仮想空間の視線は、ディスプレイ毎の独立したものが用いられてもよい。ディスプレイにおける視線が異なっていれば、例えば、それぞれのディスプレイではそれぞれの視線に応じた異なる表示が行われる。
【0021】
仮想空間は、現実空間に対応付いたものであってもよい。これによって、例えば、ディスプレイ10を現実空間の特定の位置に向けることで、当該特定の位置に対応する仮想空間の位置に配置された表示情報を表示させることができる。上記のように複数のディスプレイ間で仮想空間及び表示情報が共有されて、仮想空間が現実空間に対応付いたものにすることで、複数のディスプレイのユーザ間での非同期コミュニケーションを行うことができる。例えば、あるユーザが仮想空間に自身が生成した表示情報を配置した後、別のユーザが表示情報の配置位置に対応する現実空間の位置にディスプレイを向けることで、当該表示情報を当該別のユーザのディスプレイに表示させることができる。
【0022】
上記の表示情報は、例えば、他のユーザへのメッセージ(言葉、テキスト)又は三次元動画である。また、表示情報を、仮想空間において浮遊するシャボン玉の表示とし、ユーザの操作等によってシャボン玉が割られると上記のメッセージ及び三次元動画等のコンテンツを参照できるようにしてもよい。即ち、シャボン玉の中にコンテンツを入れた状態で空間上に表示してもよい。
【0023】
ディスプレイ10としては、従来の上記の機能を有するディスプレイを用いることができる。また、ディスプレイ10は、通信機能を有していてもよい。ディスプレイ10の通信機能は、上記の仮想空間及び表示情報の共有、並びに本実施形態に係る機能の実現に用いられてもよい。また、ディスプレイ10の上述した機能及び後述する本実施形態に係る機能の一部は、表示装置(例えば、上述したシースルーグラス)に接続される情報処理装置(例えば、スマートフォン又はPC(パーソナルコンピュータ))が有していてもよい。即ち、表示装置と情報処理装置とを含んで本実施形態に係るディスプレイ10が実現されてもよい。
【0024】
引き続いて、本実施形態に係るディスプレイ10の機能を説明する。図1に示すようにディスプレイ10は、表示部11と、契機検出部12と、設定部13と、変換部14と、移動部15とを備えて構成される。また、ディスプレイ10は、上記以外にも従来のシースルーグラス等の従来の表示装置が備える機能を備えていてもよい。
【0025】
ディスプレイ10の以下に説明する機能は、仮想空間に配置された表示情報を移動するためのものである。例えば、表示情報が仮想空間の視線の基準位置から離れていると、当該表示情報は小さく表示される。当該表示情報を視線の基準位置に近づけるように移動させると、当該表示情報は大きく表示されて、ユーザがよく見えるようになる。
【0026】
上述したように、視線によって個々に移動させる表示情報を指定(選択)する従来の方法では、他の表示情報に隠れていて表示されていない表示情報を指定して移動させることができなかったり、困難であったりする。また、表示されている複数の表示情報、即ち、ユーザの視界の範囲に含まれる複数の表示情報をまとめて仮想空間の視線の基準位置に近づける場合には、上記の従来の方法では容易かつ適切な移動が困難である。視線による指定ではなく、ユーザの操作によって個々に移動させる表示情報を指定する方法でも同様の問題が生じる。
【0027】
また、ハンドトラッキングジェスチャ又は専用コントローラ等によって、ユーザが手で表示情報を触れるような操作によって移動する表示情報を指定する方法も考えられる。しかしながら、この方法では、指定できる表示情報が手の届く範囲に限定される。遠くの表示情報を移動させようとすると、例えば、ユーザ自身の移動が必要となる。また、ポインタビームによって移動する表示情報を指定する方法も考えられる。しかしながら、この方法では、特に遠くの表示情報を指定する場合には繊細な操作が要求される。また、上記の各方法では、複数の表示情報をまとめて移動させることができなかったり、困難であったりする。本実施形態に係る機能は、上記の問題を解決し、表示情報を容易かつ適切に移動させるようにするものである。例えば、本実施形態に係る機能は、ユーザがディスプレイ10を装着した状態で、手の届かない距離にある表示情報をユーザの負担なく操作できるようにするものである。
【0028】
なお、ディスプレイ10での表示に係る表示情報の移動は、本実施形態に係る機能によるものに加えて、本実施形態に係る機能以外によっても行われてもよい。例えば、上記の方法の何れかで表示情報が移動されてもよい。
【0029】
表示部11は、ディスプレイ10での表示を行う機能部である。表示部11は、ディスプレイ10に表示する表示情報を入力して表示する。例えば、表示部11は、ディスプレイ10に記憶される表示情報を入力してもよいし、外部から表示情報を受信して入力してもよい。上述したように表示部11は、仮想空間に配置された表示情報を仮想空間の視線に応じて表示する。また、上述したように表示部11は、他のディスプレイとの間で仮想空間及び表示情報を共有してもよい。仮想空間及び表示情報の共有は、例えば、他のディスプレイとの間で表示情報及び当該表示情報が配置される仮想空間の位置を示す情報を送受信することで行われる。また、仮想空間及び表示情報の共有は、ディスプレイ間の直接のやり取りではなく、ディスプレイそれぞれが通信可能なサーバを介して行われてもよい。また、上記以外の方法でディスプレイ間の仮想空間及び表示情報の共有が行われてもよい。
【0030】
表示部11による上記の機能は、従来の機能と同様のものでよい。また、後述するように表示部11による表示は、移動部15からの制御を受ける。
【0031】
契機検出部12は、仮想空間で表示情報を移動させる契機(トリガ)を検出する機能部である。例えば、契機検出部12は、上記の契機となるユーザの操作を予め記憶しておく。契機検出部12は、ユーザの操作を受け付けて、受け付けたユーザの操作が予め記憶したものであれば、上記の契機を検出したとする。上記の契機となるユーザの操作は、例えば、ボタン押下、ジェスチャ又は音声による特定のコマンドの入力である。なお、契機は、上記以外のユーザの操作であってもよいし、ユーザ操作以外であってもよい。契機検出部12は、契機を検出すると設定部13にその旨を通知する。
【0032】
設定部13は、仮想空間での表示情報の移動に用いられる仮想空間での位置及び方向を設定する機能部である。設定部13は、仮想空間の視線の位置及び方向を、仮想空間での表示情報の移動に用いられる仮想空間での位置及び方向に設定してもよい。
【0033】
設定される位置及び方向は、移動する表示情報を決定するための基準となるものである。例えば、予め仮想空間の視線の基準位置及び方向を、移動に用いられる位置及び方向として用いることとしておく。設定部13は、契機検出部12から契機の検出の通知を受ける。設定部13は、当該通知を受けたタイミングで、表示部11が保持している仮想空間の視線の基準位置及び方向を示す情報を取得し、当該視線の基準位置及び方向を、表示情報の移動に用いられる仮想空間での位置及び方向として設定する。仮想空間の視線の基準位置を示す情報は、例えば、仮想空間の座標系(絶対座標系)での座標である。仮想空間の視線の方向を示す情報は、例えば、仮想空間の座標系でのベクトルである。仮想空間の座標系は、例えば、直交座標系(X,Y,Z)である。
【0034】
設定部13は、設定した、移動に用いられる仮想空間での位置及び方向を示す情報を変換部14に出力する。なお、表示情報の移動に用いられる仮想空間での位置及び方向は、仮想空間の視線の位置及び方向とする必要はなく、それ以外の位置及び方向としてもよい。また、表示情報の移動に用いられる仮想空間での位置及び方向は、上記のように予め記憶された設定基準によって設定される必要はなく、例えば、設定する時点でユーザの操作を受け付けて設定されてもよい。
【0035】
変換部14は、契機検出部12によって契機が検出された場合、設定部13によって設定された仮想空間での位置及び方向に基づいて、仮想空間の座標系を変換する機能部である。変換部14は、設定部13から、移動に用いられる仮想空間での位置及び方向を示す情報を入力する。例えば、変換部14は、入力した情報によって示される位置を原点とし、当該情報によって示される方向を原点から延びる予め設定した方向とするように仮想空間の座標軸を変換する。上記のように仮想空間の視線の基準位置及び方向を、移動に用いられる位置及び方向とした場合、視線の基準位置が原点となる座標系に変換される。即ち、変換部14は、現実空間に対応する仮想空間の座標系(X,Y,Z)を、ユーザ視点の座標系(X´,Y´,Z´)(仮座標系)に変換する。なお、変換後の座標系は、上記のように直交座標系でもよいし、それ以外の座標系(例えば、球面座標系)でもよい。
【0036】
座標系の変換自体は、従来の方法によって行われればよい。変換部14は、変換後の座標系(X´,Y´,Z´)における表示情報の位置(座標)も算出する。変換部14は、変換後の座標系(X´,Y´,Z´)を示す情報を移動部15に出力する。
【0037】
移動部15は、変換部14によって変換された座標系において、設定部13によって設定された仮想空間での位置及び方向に応じた領域に含まれる表示情報を移動させて、仮想空間の座標系を元の座標系に復元変換する機能部である。移動部15は、設定部13によって設定された仮想空間での位置及び方向に応じた扇形状又は帯状の領域に含まれる表示情報を移動させてもよい。移動部15は、移動させる表示情報毎に、上記の領域における当該表示情報の位置に応じた速度で移動させてもよい。移動部15は、表示情報の移動に応じて、当該表示情報を縮小又は拡大してもよい。移動部15は、例えば、以下のような処理を行う。
【0038】
移動部15は、変換部14から変換後の座標系(X´,Y´,Z´)を示す情報を入力する。移動部15は、変換後の座標系において、表示情報の移動に用いる領域(範囲)を設定する。例えば、図2(a)に示すように、移動部15は、変換後の座標系において扇形状の領域200を設定する。より具体的には、当該領域200は、円錐状又は角錐状に広がる領域である。当該領域200の広がる方向と垂直な方向(例えば、上方)から見ると、当該領域200は図2(a)に示すように扇形状に広がっている。なお、扇形状は、無限に広がっていてもよいし、一定の大きさを有するものであってもよい。
【0039】
移動部15は、設定部13によって設定された仮想空間での位置及び方向に応じて、上記の領域200を設定する。具体的には、移動部15は、設定部13によって設定された位置に対応する変換後の座標系の原点(即ち、仮想空間の視線の基準位置)を頂点として上記の領域200を設定する。また、移動部15は、設定部13によって設定された方向に対応する変換後の座標系の方向(即ち、仮想空間の視線の方向)を、上記の領域200の原点から広がる角度の中心の方向として上記の領域200を設定する。即ち、移動部15は、変換後の座標系において、ディスプレイ10で表示される範囲に対応する領域200、即ち、ユーザの視界に対応する領域200を設定する。なお、設定される領域200は、ディスプレイ10で表示される範囲に一致していなくてもよい。設定される領域200と、ディスプレイ10で表示される範囲とが一致し、かつディスプレイ10が矩形の表示をするものである場合、設定される領域200はそれにあわせて角錐状に広がる領域となる。
【0040】
移動部15は、設定された領域200に含まれる表示情報100を判断する。なお、領域200に含まれる表示情報100は、表示情報100全体が領域200に含まれるものとしてもよいし、表示情報100毎に予め設定される中心軸が領域200に含まれるものとしてもよい。移動部15は、設定された領域200に含まれる表示情報100を移動対象の表示情報100とする。図2(b)に示すように、移動部15は、移動対象の表示情報100を予め設定された方向に移動させる。図2(b)に示すように、予め設定された方向は、例えば、領域200の頂点である原点(即ち、仮想空間の視線の基準位置)に向かう方向である。即ち、ディスプレイ10における表示において、表示情報100がユーザに近づくように移動される(ユーザに引き寄せられる)。
【0041】
表示情報100の移動は原点へ向かうものであるため、表示情報100の変換後の座標系における座標の値をt倍(tは1未満の正の値)することで行われる。移動部15は、表示情報100を移動させると仮想空間の座標系を元の座標系に復元変換する。座標系の復元変換自体は、従来の方法によって行われればよい。表示部11は、移動された表示情報100をディスプレイ10での表示に反映する。従って、ユーザは、移動されて表示される表示情報100を見ることができる。
【0042】
また、移動部15は、表示情報100の移動を予め設定した一定の速度で行ってもよい。例えば、上記のtの値を複数用意しておいて、移動部15が順番に変換後の座標を算出することで、ディスプレイ10における表示において表示情報100が徐々に移動する(ユーザに近づいてくる)ようにしてもよい。また、移動を中止するユーザの操作を受け付けるようにしておき、当該操作を受け付けるまで移動するようにしてもよい。
【0043】
なお、表示情報100の移動方向は、原点に向かう方向ではなく、原点から離れる方向、即ち、ユーザから遠ざける方向であってもよい。また、表示情報100の移動方向は、上記以外の方向であってもよい。また、契機検出部12によって検出される契機の種別と表示情報100の移動方向とを予め対応付けておき、検出される契機の種別に応じた方向に表示情報100を移動させてもよい。また、変換後の座標系における表示情報100の移動は上記以外の方法で行われてもよい。
【0044】
また、移動部15は、移動させる表示情報100毎に、上記の領域200における当該表示情報100の位置に応じた速度で移動させてもよい。例えば、移動部15は、図2(a)に示すように領域200の原点から広がる角度に応じた部分領域を設定する。具体的には、移動部15は、領域200の原点から広がる中央の角度Θの部分領域210と、中央の角度Θを除いた角度Θ´の部分領域220とを設定する。上記の角度Θは、例えば、人間の中心視の角度である1~2°とする。上記の角度Θ´は、例えば、人間の有効視野の範囲の角度である4~20°とする。
【0045】
移動部15は、部分領域210に含まれる表示情報100を速度vで移動させ、部分領域220に含まれる表示情報100を速度svで移動させる。なお、v及びsは予め設定された値であり、0<s<1である。即ち、内側の部分領域210に含まれる表示情報100を速く移動させ、外側の部分領域210に含まれる表示情報100を遅く移動させる。これによって、ディスプレイ10の表示画面の中心に近い部分では表示情報100が速く移動し、その外側の部分では表示情報100が遅く移動する。このように表示情報100を移動させることで、表示情報100の移動をユーザの視覚的な感覚にあったものとすることができる。
【0046】
上記の領域200及び表示情報100の移動方向は、上述したものに限られない。例えば、図3に示すように、移動部15は、設定部13によって設定された仮想空間での位置及び方向に応じた帯状の領域200を設定し、表示情報100の移動に用いてもよい。具体的には、移動部15は、設定部13によって設定された位置に対応する変換後の座標系の原点を端部に含み、設定部13によって設定された方向に延びる帯状の領域200を設定する。また、移動部15は、設定された領域200に含まれる表示情報100を、設定部13によって設定された方向と平行に移動させる。また、変換後の座標系の全体を上記の領域200としてもよい。
【0047】
表示情報の移動について、図4を用いて改めて説明する。図4では、仮想空間に表示情報100が配置されており、仮想空間の視線が左から右への方向に、即ち、配置される表示情報100への方向に向かっている。仮想空間の視線が6DoFで移動する場合、図4(a)に示すように、後ろの表示情報100が、他の表示情報100に隠れて見えなかったり、見えにくかったりすることがある。この場合、距離が離れているため、仮想空間の視線を少し傾けるだけでは、後ろの表示情報100の見え方はあまり変わらない。
【0048】
上述した本実施形態の機能によって表示情報を移動させると、図4(b)に示すように、仮想空間の視線の基準位置にそれぞれの表示情報100が近づく。この場合、表示情報100の移動は、奥行方向(仮想空間の視線の方向)の距離uを上記のようにtuとして変更するものであり、表示情報100の高さvは変えない。但し、高さvを変えるように表示情報100を移動させてもよい。図4(b)に示すように、表示情報の移動の結果、表示情報100が仮想空間の視線の基準位置に近くなると、仮想空間の視線を少し移動させれば、後ろの表示情報100も確認することができる。即ち、後ろの表示情報100も、適切にユーザに認識できるようにディスプレイ10に表示させることができる。
【0049】
また、上記と同様に図3において両矢印で示す、視線方向において重なっている2つの表示情報100も、視線の基準位置の近くに移動させることで、一方の表示情報100に隠れている表示情報100を確認することができ、当該表示情報100を選択する等の操作を可能にすることができる。
【0050】
また、移動部15は、表示情報100の移動に応じて、当該表示情報100を縮小又は拡大してもよい。例えば、移動部15は、移動方向及び移動量に応じた表示情報100の縮小率又は拡大率を記憶しておき、記憶した情報に基づいて表示情報100の移動に応じて、当該表示情報100を縮小又は拡大する。また、表示情報100の縮小を行う場合には、任意の最低のサイズを予め設定しておき、そのサイズまで縮小してもよい。また、表示情報100の拡大を行う場合には、任意の最大のサイズを予め設定しておき、そのサイズまで拡大してもよい。表示情報100の縮小又は拡大は、例えば、表示情報100の移動によって表示情報100が見にくくならないことを目的として行われる。以上が、本実施形態に係るディスプレイ10の機能である。
【0051】
引き続いて、図5のフローチャートを用いて、本実施形態に係るディスプレイ10で実行される処理(ディスプレイ10が行う動作方法)を説明する。本処理は、ディスプレイ10において表示部11による表示が行われる際のものである。
【0052】
本処理では、契機検出部12によって、仮想空間で表示情報を移動させる契機が検出される(S01)。続いて、設定部13によって、仮想空間での表示情報の移動に用いられる仮想空間での位置及び方向が設定される(S02)。続いて、変換部14によって、設定部13によって設定された仮想空間での位置及び方向に基づいて、仮想空間の座標系が変換される(S03)。続いて、移動部15によって、変換後の座標系において、設定部13によって設定された仮想空間での位置及び方向に応じた領域に含まれる表示情報100が移動される(S04)。続いて、移動部15によって、仮想空間の座標系が元の座標系に復元変換される(S05)。上記の処理による表示情報100の移動は、ディスプレイ10での表示部11による表示に反映される。以上が、本実施形態に係るディスプレイ10で実行される処理である。
【0053】
本実施形態では、表示情報100の移動に用いられる仮想空間での位置及び方向に応じた領域200に含まれる表示情報100が移動される。従って、従来の方法等、例えば、視線及びユーザの操作による表示情報の指定では、容易に移動させることができなかった表示情報100を容易に移動させることができる。また、表示情報100を移動させる際に仮想空間の座標系が変換される。このため、表示情報を移動しやすい座標系に変換した上で表示情報100を移動させることができる。例えば、上述したように座標の値をt倍することで容易に表示情報100を移動させることができる。このように本実施形態によれば、仮想空間を用いた表示において表示情報を容易かつ適切に移動させることができる。この結果、例えば、上述したように表示情報100のユーザの近傍に出現させることで、視認性向上と選択のしやすさの向上とを図ることができる。
【0054】
また、上述した実施形態のように、設定部13は、仮想空間の視線の位置及び方向を、仮想空間での表示情報100の移動に用いられる仮想空間での位置及び方向に設定してもよい。この構成によれば、仮想空間の視線の位置及び方向に応じて適切に表示情報100を移動させることができる。但し、仮想空間での表示情報100の移動に用いられる仮想空間での位置及び方向は、仮想空間の視線の位置及び方向以外の任意の位置及び方向とされてもよい。
【0055】
また、上述した実施形態のように、移動部15は、設定部13によって設定された仮想空間での位置及び方向に応じた扇形状又は帯状の領域200に含まれる表示情報100を移動させてもよい。この構成によれば、移動させる表示情報100を適切なものとすることができる。但し、上述したように上記の領域200は、上記のものに限られず任意の形状であってもよい。
【0056】
また、上述した実施形態のように、移動部15は、移動させる表示情報100毎に、領域200における当該表示情報100の位置に応じた速度で移動させてもよい。この構成によれば、上述したように例えば、ユーザの視覚的な感覚にあった表示情報100の移動とすることができる。
【0057】
また、上述した実施形態のように、移動部15は、表示情報100の移動に応じて、当該表示情報100を縮小又は拡大してもよい。この構成によれば、例えば、表示情報100の移動によって表示情報100が見にくくなることを防止することができる。但し、表示情報100の縮小又は拡大は行われなくてもよい。
【0058】
上述した実施形態では、表示制御装置は、表示機能を有するディスプレイ10として説明したが、必ずしも表示機能を有するものでなくてもよい。表示制御装置は、仮想空間に配置された表示情報を仮想空間の視線に応じて表示する(即ち、表示部11を備える)ディスプレイに接続されて、ディスプレイにおける表示を制御する装置(システム)であり、上述した契機検出部12と、設定部13と、変換部14と、移動部15とを備えるものであればよい。例えば、上述した各機能部12~15の一部又は全てが、当該ディスプレイと情報の送受信が可能なサーバ等の装置に設けられていてもよい。この場合、サーバ等の装置に設けられる各機能部12~15は、入出力する情報をディスプレイとの間で送受信すればよい。
【0059】
なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線などを用いて)接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【0060】
機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知(broadcasting)、通知(notifying)、通信(communicating)、転送(forwarding)、構成(configuring)、再構成(reconfiguring)、割り当て(allocating、mapping)、割り振り(assigning)などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック(構成部)は、送信部(transmitting unit)又は送信機(transmitter)と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。
【0061】
例えば、本開示の一実施の形態におけるディスプレイ10は、本開示の情報処理を行うコンピュータとして機能してもよい。図6は、本開示の一実施の形態に係るディスプレイ10のハードウェア構成の一例を示す図である。上述のディスプレイ10は、物理的には、プロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006、バス1007などを含むコンピュータ装置として構成されてもよい。
【0062】
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。ディスプレイ10のハードウェア構成は、図に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
【0063】
ディスプレイ10における各機能は、プロセッサ1001、メモリ1002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることによって、プロセッサ1001が演算を行い、通信装置1004による通信を制御したり、メモリ1002及びストレージ1003におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
【0064】
プロセッサ1001は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ1001は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)によって構成されてもよい。例えば、上述のディスプレイ10における各機能は、プロセッサ1001によって実現されてもよい。
【0065】
また、プロセッサ1001は、プログラム(プログラムコード)、ソフトウェアモジュール、データなどを、ストレージ1003及び通信装置1004の少なくとも一方からメモリ1002に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、ディスプレイ10における各機能は、メモリ1002に格納され、プロセッサ1001において動作する制御プログラムによって実現されてもよい。上述の各種処理は、1つのプロセッサ1001によって実行される旨を説明してきたが、2以上のプロセッサ1001により同時又は逐次に実行されてもよい。プロセッサ1001は、1以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
【0066】
メモリ1002は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)などの少なくとも1つによって構成されてもよい。メモリ1002は、レジスタ、キャッシュ、メインメモリ(主記憶装置)などと呼ばれてもよい。メモリ1002は、本開示の一実施の形態に係る情報処理を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュールなどを保存することができる。
【0067】
ストレージ1003は、コンピュータ読み取り可能な記録媒体であり、例えば、CD-ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つによって構成されてもよい。ストレージ1003は、補助記憶装置と呼ばれてもよい。ディスプレイ10が備える記憶媒体は、例えば、メモリ1002及びストレージ1003の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。
【0068】
通信装置1004は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
【0069】
入力装置1005は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど)である。出力装置1006は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカー、LEDランプなど)である。なお、入力装置1005及び出力装置1006は、一体となった構成(例えば、タッチパネル)であってもよい。
【0070】
また、プロセッサ1001、メモリ1002などの各装置は、情報を通信するためのバス1007によって接続される。バス1007は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
【0071】
また、ディスプレイ10は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ1001は、これらのハードウェアの少なくとも1つを用いて実装されてもよい。
【0072】
本開示において説明した各態様/実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【0073】
入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【0074】
判定は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:true又はfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
【0075】
本開示において説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
【0076】
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
【0077】
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【0078】
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術(同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL:Digital Subscriber Line)など)及び無線技術(赤外線、マイクロ波など)の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
【0079】
本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
【0080】
また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
【0081】
本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断(決定)」は、「想定する(assuming)」、「期待する(expecting)」、「みなす(considering)」などで読み替えられてもよい。
【0082】
「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、2又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された2つの要素間に1又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、2つの要素は、1又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光(可視及び不可視の両方)領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
【0083】
本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【0084】
本開示において使用する「第1の」、「第2の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第1及び第2の要素への参照は、2つの要素のみが採用され得ること、又は何らかの形で第1の要素が第2の要素に先行しなければならないことを意味しない。
【0085】
本開示において、「含む(include)」、「含んでいる(including)」及びそれらの変形が使用されている場合、これらの用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
【0086】
本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【0087】
本開示において、「AとBが異なる」という用語は、「AとBが互いに異なる」ことを意味してもよい。なお、当該用語は、「AとBがそれぞれCと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
【符号の説明】
【0088】
10…ディスプレイ、11…表示部、12…契機検出部、13…設定部、14…変換部、15…移動部、1001…プロセッサ、1002…メモリ、1003…ストレージ、1004…通信装置、1005…入力装置、1006…出力装置、1007…バス。
図1
図2
図3
図4
図5
図6