特許 5961892 表示端末ならびに情報記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】5961892

(24)【登録日】2016年7月8日

(45)【発行日】2016年8月3日

(54)【発明の名称】表示端末ならびに情報記録媒体

(51)【国際特許分類】

   G06T 19/00 20110101AFI20160721BHJP

【ＦＩ】

   G06T19/00 600

【請求項の数】10

【全頁数】18

(21)【出願番号】特願2016-513151(P2016-513151)

(86)(22)【出願日】2015年4月3日

(86)【国際出願番号】JP2015060622

【審査請求日】2016年3月7日

【早期審査対象出願】

(73)【特許権者】

【識別番号】515079209

【氏名又は名称】株式会社ハコスコ

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】藤井 直敬

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開２０１３−０２９９５８（ＪＰ，Ａ）

【文献】 特開２０１０−１２２８７９（ＪＰ，Ａ）

【文献】 特開２０００−２７６６１３（ＪＰ，Ａ）

【文献】 特開２０１２−１９０２３０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３８

(57)【特許請求の範囲】

【請求項1】

観察空間において、観察位置と、観察方向と、前記観察位置から前記観察方向に伸びる観察線に交差する観察軸と、を、設定する設定部、
前記観察空間を前記観察位置から前記観察方向に観察する映像を生成して、現実空間に配置される画面に表示する表示部、
前記現実空間において、前記画面が前記映像を表示する表示方向を検知して、当該表示方向の変化のうち、前記現実空間における基準軸周りの回転量を取得する取得部、
前記観察線が前記観察軸と交差したまま、前記取得された前記基準軸周りの回転量だけ、前記観察位置を前記観察軸の周りで回転させることにより、前記観察位置および前記観察方向を更新する更新部
を備え、
前記観察空間に配置されたオブジェクトのいずれも観察対象に設定されていなければ、前記観察軸が前記観察位置を貫通するように前記観察軸の位置を設定し、
前記観察空間に配置されたオブジェクトのいずれかが観察対象に設定されると、前記観察軸が前記観察対象を貫通するように前記観察軸の位置を設定する
ことを特徴とする表示端末。

【請求項2】

前記観察対象が設定されると、前記観察軸が前記観察対象を貫通するまで、前記基準軸が前記観察対象に近付くように、前記観察軸を移動させ、
前記観察軸が移動する距離は、前記取得された前記基準軸周りの回転量もしくは時間の経過によって定められる
ことを特徴とする請求項1に記載の表示端末。

【請求項3】

前記表示端末は、他の表示端末と、前記観察空間ならびに前記観察対象の設定を同期しながら共有し、
前記表示端末において、前記観察位置と、前記観察方向と、前記観察軸と、は、前記他の表示端末から独立して設定され、
前記他の表示端末において設定された観察方向の平均方向およびばらつきを求め、
前記観察空間の背景に、前記求められたばらつきを表すマークを配置する
ことを特徴とする請求項2に記載の表示端末。

【請求項4】

前記マークは、前記観察位置から前記求められた平均方向に位置する背景、前記観察位置から前記観察方向に位置する背景、もしくは、前記観察位置から前記求められた平均方向に位置する背景と前記観察位置から前記観察方向に位置する背景との中間に配置される
ことを特徴とする請求項3に記載の表示端末。

【請求項5】

前記設定部は、前記観察軸が前記観察空間における鉛直方向に伸びるように設定し、
前記基準軸は、前記画面を貫通し、前記現実空間における重力方向、もしくは、前記画面の上下方向に伸びる
ことを特徴とする請求項1に記載の表示端末。

【請求項6】

前記取得部は、前記表示方向の変化のうち、前記表示方向ならびに前記基準軸に直交する参照軸周りの回転量をさらに取得し、
前記設定部は、前記取得された前記参照軸周りの回転量だけ、前記観察位置を中心に、前記観察線を前記観察軸と交差させたまま、前記観察方向を回転させる
ことを特徴とする請求項5に記載の表示端末。

【請求項7】

コンテンツ提供者の指示に基づいて、前記観察対象の設定および当該観察対象の設定の解除がなされる
ことを特徴とする請求項1または2に記載の表示端末。

【請求項8】

前記表示端末は、他の表示端末と、前記観察空間ならびに前記観察対象の設定を同期しながら共有し、
前記表示端末において、前記観察位置と、前記観察方向と、前記観察軸と、は、前記他の表示端末から独立して設定され、
前記他の表示端末のうち定められた閾値以上の数の表示端末において設定された観察位置から前記定められた閾値以上の数の表示端末において設定された観察方向へ伸びる観察線が最初に貫通するオブジェクトが同じオブジェクトであれば、当該同じオブジェクトを、前記観察対象に設定し、
ユーザの指示もしくは時間の経過により前記観察対象の設定が解除される
ことを特徴とする請求項1または2に記載の表示端末。

【請求項9】

前記観察空間における状態の変化もしくは時間の経過に応じ、あらかじめ組み込まれた条件に基づいて、前記観察対象の設定および当該観察対象の設定の解除がなされる
ことを特徴とする請求項1または2に記載の表示端末。

【請求項10】

コンピュータを請求項1に記載の表示端末の各部として機能させるためのプログラムが記録されたコンピュータ読取可能な非一時的な情報記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの頭の向きの変化に応じて観察空間の様子をヘッドマウントディスプレイに提示する際に、ユーザに与える違和感を低減するのに好適な表示端末ならびに当該表示端末を実現するためのプログラムが記録されたコンピュータ読取可能な非一時的な情報記録媒体に関する。

【背景技術】

【0002】

従来から、ユーザに対して実際は目の前で起きていない事象を、あたかも実際に目の前で起きている事象であるかのように認識させる代替現実システムが提案されている(特許文献1を参照)。代替現実システムに類似する技術として、仮想現実(Virtual Reality)システムや拡張現実(Augmented Reality)システムなどの研究も進められている。代替現実、仮想現実、拡張現実等では、現実空間(Real Space)とは異なる観察空間(Observation Space)が用意される。観察空間は、異なる場所や時間等に撮影されたパノラマ映像や全方位映像のほか、3次元グラフィックスのモデリング技術を組み合わせることによって構築される。

【0003】

これらの技術においては、観察位置から観察方向に観察空間を見た様子を表す画像が、透視投影や映像の切り出しによって生成され、当該画像がヘッドマウントディスプレイに表示される。ユーザは、ヘッドマウントディスプレイを装着し、ユーザの頭の向きの変化がセンサ等により検知され、観察方向は、検知された頭の向きの変化に応じて更新される。

【0004】

従来は、ヘッドマウントディスプレイを装着したユーザが、移動せずに頭の向きだけを変えた場合には、観察位置は変化せず、観察位置を中心に観察方向を変化させていた。これは、現実空間におけるユーザの位置や向きを、そのまま観察空間に反映させることが、リアリティを向上させる、と考えられていたからである。

【0005】

このため、観察位置を移動させるには、現実空間においてユーザが歩き回って自身の位置を変化させるか、各種のコントローラ等を利用して観察位置を移動する指示をシステムに伝達するのが一般的であった。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開2014-38523号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、たとえば多数のユーザが同じ観察空間を共有しているような場合には、現実空間内でユーザが歩き回ることが不可能な場合もある。一方で、コントローラ等を用いた移動の指示は、リアリティを低減させる、という問題がある。

【0008】

本発明は、以上のような課題を解決するもので、ユーザの頭の向きの変化に応じて観察空間の様子をヘッドマウントディスプレイに提示する際に、ユーザに与える違和感を低減する表示端末ならびに当該表示端末を実現するためのプログラムが記録されたコンピュータ読取可能な非一時的な情報記録媒体を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明に係る表示端末は、
観察空間において、観察位置と、観察方向と、前記観察位置から前記観察方向に伸びる観察線に交差する観察軸と、を、設定し、
前記観察空間を前記観察位置から前記観察方向に観察する映像を生成して、現実空間に配置される画面に表示し、
前記現実空間において、前記画面が前記映像を表示する表示方向を検知して、当該表示方向の変化のうち、前記現実空間における基準軸周りの回転量を取得し、
前記観察線が前記観察軸と交差したまま、前記取得された前記基準軸周りの回転量だけ、前記観察位置を前記観察軸の周りで回転させることにより、前記観察位置および前記観察方向を更新する。

【発明の効果】

【0010】

本発明によれば、ユーザの頭の向きの変化に応じて観察空間の様子をヘッドマウントディスプレイに提示する際に、ユーザに与える違和感を低減する表示端末ならびに当該表示端末を実現するためのプログラムが記録されたコンピュータ読取可能な非一時的な情報記録媒体を提供することができる。

【図面の簡単な説明】

【0011】

【図1】本実施形態に係る表示端末の概要を示す説明図である。

【図2】現実空間においてディスプレイとユーザの位置関係が変化する前(時刻t_a)の様子を示す上面図である。

【図3】現実空間においてディスプレイとユーザの位置関係が変化した後(時刻t_b)の様子を示す上面図である。

【図4】現実空間においてディスプレイとユーザの位置関係が変化する前(時刻t_a)の、観察空間の様子を示す上面図である。

【図5】現実空間においてディスプレイとユーザの位置関係が変化した後(時刻t_b)の、観察空間の様子を示す上面図である。

【図6】現実空間においてディスプレイとユーザの位置関係が変化する前(時刻t_a)に画面に表示される観察空間の様子を示す表示例である。

【図7】現実空間においてディスプレイとユーザの位置関係が変化した後(時刻t_b)に画面に表示される観察空間の様子を示す表示例である。

【図8】観察対象が設定されておらず、観察軸が観察位置に配置された観察空間の様子を示す上面図である。

【図9】観察対象が設定されておらず、観察軸が観察位置に配置され、現実空間においてディスプレイとユーザの位置関係が変化した後の、観察空間の様子を示す上面図である。

【図10】観察対象が設定されておらず、観察軸が観察位置に配置され、現実空間においてディスプレイとユーザの位置関係が変化した後に画面に表示される観察空間の様子を示す表示例である。

【図11】観察軸が観察位置から観察対象に向かって移動している途中の、観察空間の様子を示す上面図である。

【図12】本実施形態に係る表示端末にて実行される処理の制御の流れを示すフローチャートである。

【図13】本実施形態に係る表示端末と観察空間を同期して共有する他の表示端末を使用する他のユーザの動向を知らせる表示例である。

【発明を実施するための形態】

【0012】

以下に本発明の実施形態を説明する。なお、本実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。

【実施例1】

【0013】

図1は、本実施形態に係る表示端末の概要を示す説明図である。以下、本図を参照して説明する。

【0014】

本実施例に係る表示端末101は、設定部102、表示部103、取得部104、更新部105を備える。表示端末101は、各種のセンサや制御装置を備えたヘッドマウントディスプレイにより構成される。スマートフォンやタブレットコンピュータ、ファブレット等をアタッチメントに装着することにより、ヘッドマウントディスプレイを構築することとしても良い。この場合には、スマートフォン等のコンピュータを上記各部として機能させるためのプログラムを、当該スマートフォン等にて実行させることになる。

【0015】

上記のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、ROM(Read Only Memory)、EEPROM(Electrically Erasable Programmable ROM)、フラッシュメモリ、半導体メモリ等のコンピュータ読み取り可能な非一時的(non-transitory)情報記録媒体に記録することができる。この情報記録媒体は、スマートフォン等のコンピュータとは独立して配布・販売することができる。

【0016】

一般には、コンピュータは、非一時的(non-transitory)情報記録媒体に記録されたプログラムを、一時的(temporary)記憶装置であるRAM(Random Access Memory)に読み出してから、CPU(Central Processing Unit)が読み出されたプログラムに含まれる指令を実行する。ただし、ROMとRAMを一つのメモリ空間にマッピングして実行することが可能なアーキテクチャでは、ROMに格納されたプログラムに含まれる指令を、直接CPUが読み出して実行する。

【0017】

さらに、上記のプログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網等の一時的(transitory)伝送媒体を介して、サーバ装置等から端末装置等へ配布・販売することができる。

【0018】

このほか、プログラムにより定められた仕様に基づいてFPGA(Field Programmable Gate Array)等により電子回路を構成する態様を採用することもできる。この場合には、当該電子回路によって表示端末が制御されることになる。

【0019】

図2は、現実空間においてディスプレイとユーザの位置関係が変化する前(時刻t_a)の様子を示す上面図である。図4は、現実空間においてディスプレイとユーザの位置関係が変化する前(時刻t_a)の、観察空間の様子を示す上面図である。また、図3は、現実空間においてディスプレイとユーザの位置関係が変化した後(時刻t_b)の様子を示す上面図である。図5は、現実空間においてディスプレイとユーザの位置関係が変化した後(時刻t_b)の、観察空間の様子を示す上面図である。以下、これらの図を参照して説明する。なお、これらの図においては、時刻t_aから時刻t_bまでの時間の経過を表すために、英小文字を適宜付与している。以下の説明では、当該英小文字を適宜省略して説明する。

【0020】

現実空間201の中で、ユーザ203は、ヘッドマウントディスプレイ202を実現する表示端末101を眼前に装着する。ユーザ203がヘッドマウントディスプレイ101を装着しているときには、ヘッドマウントディスプレイ202の表示方向204は、ユーザ203がヘッドマウントディスプレイ202を見る視線の向きと逆向きとなる。

【0021】

観察空間301の中には、オブジェクト304が配置されている。これらの図においては、観察空間301に配置された複数のオブジェクトのうち、いずれかのオブジェクトが観察対象として設定されている状況を想定する。設定部102は、観察空間301において、観察位置302と、観察位置302から観察方向303に伸びる観察線と、観察軸305と、を設定する。

【0022】

観察軸305は、観察空間301内に想定された鉛直方向に並行に伸びる軸とするのが典型的であるが、任意に変更が可能である。

【0023】

表示部103は、観察位置302から観察線の伸びる方向である観察方向303に、観察空間301を観察する映像を生成して、現実空間201に配置されるヘッドマウントディスプレイ202の画面に表示する。

【0024】

図6は、現実空間においてディスプレイとユーザの位置関係が変化する前(時刻t_a)に画面に表示される観察空間の様子を示す表示例である。本図は、図2 , 4の状況で、ヘッドマウントディスプレイ202の画面に表示される画像の様子を示す。本図に示すように、画面401の中央には、オブジェクト304が表示されている。

【0025】

なお、現実空間における方位211と観察空間における方位311とは、ずれていても良いし、一致させることとしても良い。これらの図においては、両者はずれている。

【0026】

上記の技術要素は、たとえば3次元仮想空間内をキャラクターが冒険するゲームをヘッドマウントディスプレイによりプレイする状況にて利用される技術と同様である。

【0027】

さて、取得部104は、現実空間201において、画面が映像を表示する表示方向204を検知して、時刻t_aから時刻t_bまでの間の当該表示方向204の変化のうち、現実空間301における基準軸周りの回転量θを取得する。図2, 3を対比すると、ユーザ203が頭の向きを変える前は、表示方向204aはヘッドマウントディスプレイ202aからユーザ203aへ向かっており、頭の向きを変えた後は、表示方向204bはヘッドマウントディスプレイ202bからユーザ203bへ向かっている。表示方向204aと表示方向20baとがなす角が基準軸周りの回転量θであり、回転量θは、いわゆるヨー角に相当する。本図では、ユーザは、頭を右に回している。

【0028】

時刻t_aから時刻t_bまでの時間間隔は、用途に応じて定めることができる。たとえば、ヘッドマウントディスプレイ202の画面のリフレッシュ間隔(たとえば、垂直同期周期)とすることができる。また、後述するように、処理は繰り返し行われるので、ある繰り返し単位における時刻t_bは、次の繰り返し単位における時刻t_aとして解釈される。

【0029】

回転量θは、ヘッドマウントディスプレイ202が備える位置・姿勢センサや加速度センサの測定結果から、取得される。現実空間301における基準軸としては、現実空間301における重力方向、あるいは、ヘッドマウントディスプレイ202の画面の上下方向を採用するのが典型的である。観察位置から観察方向に伸びる観察線に交差する観察軸と、を、設定する。

【0030】

ここで、本実施形態においては、オブジェクト304が観察対象に設定されると、設定部102は、観察軸305が観察対象に設定されたオブジェクト304を貫通し、観察位置302から観察方向303に伸びる観察線が観察軸305に交差する、という条件を満たすように、観察軸305の位置と観察線が伸びる観察方向303と、を設定する。すなわち、観察対象に設定されたオブジェクト304が観察空間301にて静止していれば、観察軸305も、当該オブジェクト304を貫通したまま静止していることになる。

【0031】

そして、更新部105は、観察線が観察軸305と交差したまま、取得された基準軸周りの回転量θだけ、観察位置303を観察軸305の周りで回転させることにより、観察位置302および観察線が伸びる観察方向303を更新する。

【0032】

図4, 5を比較すると、観察軸305を中心に、観察位置302aが観察位置302bへ回転量θだけ回転している。これにより、観察方向303aも観察方向303bへ回転量θだけ回転している。観察軸305と観察位置302の間の距離は、回転の前後で変化していない。

【0033】

すなわち、観察方向303の変化は、表示方向204の変化(ユーザの頭の向きの変化)と一致するように観察位置302と観察方向303が更新されている。本例では、ユーザが頭を右に回すと、観察位置302が観察軸を中心に右周りに回転移動する。

【0034】

図7は、現実空間においてディスプレイとユーザの位置関係が変化した後(時刻t_b)に画面に表示される観察空間の様子を示す表示例である。本図は、図3 , 5の状況で、画面401にオブジェクト304が表示される様子を示している。本図に示すように、観察対象に設定されたオブジェクト304は、ヘッドマウントディスプレイ202の画面401の中央付近に表示される。

【0035】

すなわち、ユーザが頭の向きを変えるだけで、観察対象となっているオブジェクト304に注目したまま、当該オブジェクトの周りを移動したかのように、画面401に対する表示が行われる。ユーザは、画面401の中央付近を見ていることが多いこと。頭を回転させる角度と観察位置301が観察対象に設定されたオブジェクト304の周りを移動する角度とが連動していることから、ユーザは違和感をほとんど感じない。このため、ユーザは、自分で歩き回らなくとも、頭を振ったり、椅子に座ったまま頭を回転したり、回転椅子に座ったまま椅子と体全体を回転させたりするだけで、当該オブジェクト304の周りを巡ることができ、当該オブジェクト304の外観を容易に観察することができる。

【0036】

なお、観察軸305が、観察対象に設定されたオブジェクト304を貫通し、観察位置301から観察方向303に伸びる観察線が、観察軸305と交差する、という状況は、いわゆるサードパーソン・シューティングゲーム(Third Person Shooter; TPS)に類似している。すなわち、TPSでは、ゲームの主人公キャラクターが観察対象に相当し、主人公キャラクターを、その頭上後方から見下ろすように、カメラワークが構成されており、カメラの位置および撮影方向が、観察位置301および観察方向303に相当する。しかしながら、TPSでは、プレイヤーが頭の方向を変化させる動作に応じて主人公キャラクターの外周を観察するようにカメラの位置や撮影方向を変化させることはない。この点が、本願発明とTPSとの相違点である。

【0037】

一方、ファーストパーソン・シューティングゲーム(First Person Shooter; FPS)では、ゲームの主人公キャラクターの位置が観察位置301に、主人公キャラクターの向きが観察方向303に、それぞれ対応する。そして、TPSとFPSとを切り換えられるようにしたゲームも存在する。

【0038】

そこで、本実施形態において、FPSに類似する態様を実現することも可能である。図8は、観察対象が設定されておらず、観察軸が観察位置に配置された観察空間の様子を示す上面図である。図9は、観察対象が設定されておらず、観察軸が観察位置に配置され、現実空間においてディスプレイとユーザの位置関係が変化した後の、観察空間の様子を示す上面図である。これらの図に示すように、FPSに相当する構成を実現するには、観察軸305が観察位置301を通過する、という拘束条件を設けて、検知された回転量θだけ、観察軸305周りで観察方向303を回転させれば良い。

【0039】

図10は、観察対象が設定されておらず、観察軸が観察位置に配置され、現実空間においてディスプレイとユーザの位置関係が変化した後に画面に表示される観察空間の様子を示す表示例である。本図に示すように、ユーザが頭を右に回すと、観察位置301は変化せず、観察方向303が右に回るため、画面401の中で、オブジェクト304は左に移動することになる。

【0040】

本実施形態において、TPS相当の表示方法と、FPS相当の表示形態との切り換えは、観察空間301に配置されているオブジェクト304のいずれかが、観察対象に設定されているか否か、に基づいて行うことができる。すなわち、いずれのオブジェクト304も観察対象に設定されていない状況では、観察軸305は、観察位置302を貫通するように位置を定め、その方向は、ユーザの頭の向きに合わせて設定する。そして、いずれかのオブジェクト304が観察対象に設定されたら、観察軸305は、観察位置30206と、貫通する当該観察対象に設定されたオブジェクト304と、の両方を貫通するように、観察軸305の位置および向きを移動させる。

【0041】

観察軸305の移動は、オブジェクト304が観察対象に設定された後、直ちに行うこととしても良い。また、ユーザの行動に応じて次第に移動することとしても良い。たとえば、表示方向204の変化が検知されるごとに、その変化に応じて定められる距離を上限として、観察軸305が観察対象に近付くように観察軸305を移動させる、という態様である。このほか、時間の経過に応じて滑らかに観察軸305を移動させることとしても良い。

【0042】

図11は、観察軸が観察位置から観察対象に向かって移動している途中の、観察空間の様子を示す上面図である。本図に示すように、観察軸305が移動した後は、観察位置302から観察方向303に伸びる観察線が観察軸305を通過する必要がある。そこで、ユーザが頭を振った際には、観察方向303が変化するので、観察軸305の移動にあわせて観察方向303を調整すれば、ユーザは違和感を感じない。また、時間の経過に応じて観察軸305を移動させる場合には、ユーザが頭の向きを変えなくても、観察方向303が少しずつ変化していくが、その変化が微小であるように設定しておけば、ユーザが感じる違和感は抑制される。

【0043】

なお、ユーザの明示の指示によって観察軸305を移動する場合、たとえば、ユーザが観察対象の設定を解除する場合などは、観察軸305を直ちに観察位置302を貫通する位置に戻しても良い。このように、観察対象が設定される契機となったイベントや、観察対象の設定が解除される契機となったイベントの種類に応じて、観察軸305の移動の態様を変化させることが可能である。

【0044】

図12は、本実施形態に係る表示端末にて実行される処理の制御の流れを示すフローチャートである。以下、本図を参照して説明する。

【0045】

本処理が開始されると、表示端末101は、観察空間301内において、観察位置302、および観察方向303を設定する(ステップS501)。

【0046】

そして、観察空間301において、観察対象を設定されていない状態に初期化し、観察軸305が観察位置302を貫通するように、観察空間を初期化する(ステップS502)。

【0047】

この初期化の際には、観察空間301が過去に撮影されたパノラマ画像や3次元映像からなる場合には、当該画像をあらかじめ取得しておくことができる。また、観察空間301がコンピュータグラフィックスにより構成される場合には、初期化時等に観察空間301内に配置されるオブジェクトの位置、形状、向き、外観を取得、設定したり、観察空間301の無限遠方に配置されると想定される背景の画像などを取得、設定することとしても良い。

【0048】

なお、動作開始の時点から観察対象を設定しても良い。この場合には、観察軸305は、観察対象に設定されたオブジェクト304を貫通するように設定する。

【0049】

ついで、表示端末101は、センサ等の測定結果から、ヘッドマウントディスプレイの画面の表示方向が、現実空間において基準軸周りに回転した回転量θ(ピッチ角に相当)を取得する(ステップS503)。ステップS503は、繰り返し実行されるので、ここで取得される回転量θは、センサ等により前回測定された表示方向と、今回測定された表示方向と、の差分に相当する。

【0050】

その後、表示端末101は、観察位置302および観察方向303が観察軸305周りにθだけ回転するように、これらの設定を更新する。(ステップS504)。

【0051】

そして、表示端末101は、観察空間301内を観察位置302から観察方向303に見た様子を表す画像を生成する(ステップS505)。当該画像の生成には、特許文献1等に開示されたパノラマ画像や全周囲画像、コンピュータグラフィックスの技術を利用することが可能である。

【0052】

たとえば、観察空間301が過去に撮影されたパノラマ画像や3次元映像からなる場合には、当該映像から、所望の方向に対応付けられる画像を切り出せば良い。観察空間301がコンピュータグラフィックスにより構成される場合には、透視投影等の技術を用いて画像を生成する。

【0053】

この後、表示端末101は、ヘッドマウントディスプレイ202の垂直同期割込が生じるまで待機してから(ステップS506)、生成された画像を画面401に転送して、ユーザに提示する(ステップS507)。

【0054】

この後、表示端末101は、観察空間301の状態を更新する(ステップS508)。観察空間301が時間の経過に応じて変化する場合、たとえば、パノラマ映像や全周囲映像が動画である場合には、時間経過に応じて、現在時点のフレームを選択する。コンピュータグラフィックスによる場合には、オブジェクトの位置や向きを、当該オブジェクトに設定された速度、加速度、角速度、各加速度等により更新する物理シミュレーションを行ったり、あらかじめ定められた条件に基づいて変形等をすることとしても良い。

【0055】

ここで、観察空間301の状態には、観察対象の設定の有無の更新が含まれる。観察対象は、以下のようなイベントをきっかけとして設定される。これらのイベントのいずれを採用するか、ならびに、いずれを組み合わせるか、は、用途等に応じて適宜変更が可能である。

【0056】

(1)表示端末101を利用しているユーザ自身の指示、もしくは、当該ユーザにコンテンツを提供している提供者の指示に基づいて、観察対象が設定されたり設定が解除されたりする。

【0057】

(2)観察空間301を同期して共有している他のユーザがいる場合には、たとえば、大半のユーザが現在注目しているオブジェクト304が、自動的に観察対象に設定される。この態様については、後述する。

【0058】

(3)コンテンツに、あらかじめ、観察対象の設定およびその解除の条件や手順を組み込んでおき、時間の経過や観察空間301における状態の変化に応じて、自動的に観察対象の設定およびその解除がなされる。

【0059】

そして、表示端末101は、観察対象が設定されているか否かを判定する(ステップS509)。観察対象が設定されていれば(ステップS509;Yes)、観察軸305の目標位置を、オブジェクト304を貫通する位置に更新して(ステップS510)、ステップS512に進む。

【0060】

一方、観察対象が設定されていなければ(ステップS509;No)、表示端末101は、観察軸305の目標位置を、観察位置302を貫通する位置に更新して(ステップS511)、ステップS512に進む。

【0061】

ここで、観察軸305は、オブジェクト304のいずれかの部分を通過していれば、当該オブジェクト304を貫通しているものとみなしても良いし、オブジェクト304の代表点(中心、重心、基準点)を通過することを、当該オブジェクト304の貫通の必要十分条件としても良い。

【0062】

ついで、表示端末101は、観察軸305の現在位置と、観察軸305の目標位置と、の差分距離を計算し(ステップS512)、計算された差分距離と、ステップS503にて取得された回転量θとに応じて、観察軸305を移動させる移動距離を計算する(ステップS513)。

【0063】

差分距離がゼロである場合には、観察軸305はすでに目標位置に到達していることになるから、移動距離もゼロとすれば良い。移動距離を差分距離と一致させると、観察軸305の移動を瞬時に行うことになる。

【0064】

回転量θが小さければ小さいほど移動距離を小さくするように移動距離の設定を行えば、観察軸305の移動に伴なう違和感を低減することができる。

【0065】

なお、移動距離が差分距離を超えると、目標位置を行き過ぎてしまうので、移動距離は、差分距離以下としなければならない。そこで、まず、回転量θに応じて移動距離の上限値を計算し、その上で、当該上限値と差分距離とを比較する。そして、
(a)差分距離が当該上限値以上であれば、当該上限値を移動距離として採用し、
(b)差分距離が当該上限値未満であれば、差分距離を移動距離として採用する。

【0066】

ついで、表示端末101は、観察空間内において、観察軸305を、観察軸305の目標位置に向かって、移動距離だけ移動し(ステップS514)、ステップS503に戻る。

【0067】

なお、ステップS506において待機することから、この繰り返しの周期は、垂直同期周期となる。したがって、各繰り返しでは、現在時刻がt_b、現在時刻より垂直同期周期だけ前の時刻がt_aと解釈されることになる。

【0068】

このように、本実施形態によれば、観察対象の設定の有無に応じて観察軸305を移動させ、観察対象が設定されている間は、ユーザは、たとえば椅子に座ったままでも、頭の向きを変えるだけで、観察空間内においては、観察対象の周りを歩き回って観察対象を観察することができるかのような経験をすることができ、その際に、ユーザは違和感を感じないようにすることができる。

【実施例2】

【0069】

(ピッチ角とロール角)
上記実施例では、ユーザが左を見たり右を見たり、と、頭の向きを左右に振るだけで、観察対象の周りを歩き回って観察をしたかのような経験をユーザに与えていた。ここでいう頭の向きの変化は、いわゆるヨー角に相当するものである。

【0070】

本実施形態は、これに加えて、ユーザが上を見たり下を見たり、と、頭の向きを上下に振った場合の処理に係るものである。ここでいう頭の向きの変化は、いわゆるピッチ角に相当する。

【0071】

まず、本実施形態では、ピッチ角を測定するための軸を定める。この軸を参照軸と呼ぶ。参照軸は、現実空間において、表示方向および基準軸と直交する軸のことである。表示方向が略水平であり、基準軸が鉛直軸であれば、参照軸は、ディスプレイの左右方向に伸びることになる。参照軸周りの回転量が、ピッチ角に相当する。

【0072】

そして、取得部104は、ステップS503において、表示方向の変化のうち、表示方向ならびに基準軸に直交する参照軸周りの回転量をさらに取得する。

【0073】

一方、設定部102は、ステップS504において、取得された参照軸周りの回転量だけ、観察位置を中心に、観察線を観察軸と交差させたまま、観察方向を回転させる。すなわち、観察空間内において、観察方向を上下に変化させることになる。

【0074】

このほか、ロール角についても対応することが可能である。この場合には、現実空間において、表示方向を表す軸周りの回転量を取得し、仮想空間を観察する際の透視投影の投影面を、当該回転量だけ回転させれば良い。

【0075】

本実施形態では、頭の向きを上下に振ったり、頭を左右にかしげたりする動作に追随して、観察空間を観察する方向を変化させるので、ユーザは違和感を感じずに、観察空間を観察することができる。

【0076】

なお、ピッチ角やロール角の処理を実行するか否かは、表示端末101の用途やユーザの資質に応じて適宜変更が可能であり、ユーザの希望に基づいて選択しても良い。たとえば、3次元酔いしやすいユーザの場合には、ピッチ角やロール角の処理は行わず、鉛直回転のみを行う方が良いことも多い。

【実施例3】

【0077】

(他のユーザの動向)
本実施形態では、たとえば複数のユーザが一つの部屋に並べられた椅子に座って各々表示端末101を装着し、同じ観察空間を同期しながら観察する体験をする状況を想定する。

【0078】

このような状況では、他のユーザの動向を知りたいことがある。また、他のユーザが注目しているオブジェクトを、自分でも観察したい、ということもある。

【0079】

そこで、本実施形態では、各表示端末101は、観察空間を同期して共有する他の表示端末と、自身に設定された観察方向を送受し合う。

【0080】

そして、各表示端末101は、得られた他の表示端末の観察方向の平均方向およびばらつきを求める。平均方向を得るには、各ユーザの観察方向を表す単位ベクトルの総和を求め、当該総和の方向ベクトルを計算(単位ベクトル化)すれば良い。

【0081】

平均方法が得られたら、これと、他の表示端末にて設定された観察方向と、がなす角を各々求め、求められた角の平均を計算する。得られた平均値が、観察方向のばらつきに相当する。

【0082】

そして、表示端末101は、観察空間の背景のうち、観察位置から当該平均方向に位置する背景に、当該ばらつきを表すマークを配置する。

【0083】

図13は、本実施形態に係る表示端末と観察空間を同期して共有する他の表示端末を使用する他のユーザの動向を知らせる表示例である。以下、本図を参照して説明する。本図では、画面401内に、観察位置から平均方向の無限遠方に観察方向のばらつきを表すマーク402として、ばらつきの角度に応じた半径の円を描画している。マーク402は、オブジェクト304の背景に配置されており、表示端末101のユーザには、他のユーザの多くが、オブジェクト304に注目していることが知らされる。

【0084】

ここで、観察対象が設定されていない状況で、大半のユーザがあるオブジェクト304に現在注目しているというイベントが生じた場合には、当該オブジェクト304を観察対象に自動的に設定する、という態様を採用することができる。

【0085】

各ユーザの観察位置302から観察方向303に伸びる観察線が最初に貫通するオブジェクト304が、当該ユーザが現在注目しているオブジェクトである。大半のユーザがオブジェクト304に注目しているのであれば、マーク402の大きさは小さくなることになる。

【0086】

観察空間を同期しながら共有しているユーザの人数に対して閾値を定め、当該閾値以上の人数のユーザが同じオブジェクト304に注目していれば、当該オブジェクト304を自動的に観察対象に設定する。

【0087】

この後は、各ユーザの指示によって観察対象の設定を解除できるようにしても良いし、一定時間が経過すると自動的に観察対象の設定が解除されるようにしても良い。

【0088】

なお、マーク402としては、円形のみならず、正方形や長方形、星型など、任意の形状を採用することができる。また、マーク402の外周を線で描くのではなく、マーク402の内部とマーク402の外部とで色彩や透明度や明瞭度を変化させることとしてもよい。たとえば、透明度が次第に変化するようなマーク402を採用し、多くのユーザが注目している方向は明瞭に表示されるが、それ以外の方向はぼかして表示される、などのような態様を採用することもできる。

【0089】

なお、観察位置から観察方向に位置する背景は、当該ユーザが見ている無限遠点Xに相当し、観察位置から平均方向に位置する背景は、他のユーザが平均的に見ている無限遠点Yに相当する。上記の例では、マーク402を無限遠点Yに表示していたが、たとえば、無限遠点Xから無限遠点Yへ向かう矢印形状のマークを無限遠点Xや無限遠点Xと無限遠点Yの中間に描画するなどの態様を採用しても良い。

【0090】

本態様によれば、他のユーザが何に注目しているかを知得することができ、他のユーザが注目しているオブジェクトの外観を容易に観察することができる。

【0091】

(まとめ)
以上説明したように、上記の実施形態に係る表示端末は、
観察空間において、観察位置と、観察方向と、前記観察位置から前記観察方向に伸びる観察線に交差する観察軸と、を、設定する設定部、
前記観察空間を前記観察位置から前記観察方向に観察する映像を生成して、現実空間に配置される画面に表示する表示部、
前記現実空間において、前記画面が前記映像を表示する表示方向を検知して、当該表示方向の変化のうち、前記現実空間における基準軸周りの回転量を取得する取得部、
前記観察線が前記観察軸と交差したまま、前記取得された前記基準軸周りの回転量だけ、前記観察位置を前記観察軸の周りで回転させることにより、前記観察位置および前記観察方向を更新する更新部
を備えるように構成することができる。

【0092】

また、当該実施形態に係る表示端末において、
前記観察空間に配置されたオブジェクトのいずれも観察対象に設定されていなければ、前記観察軸が前記観察位置を貫通するように前記観察軸の位置を設定し、
前記観察空間に配置されたオブジェクトのいずれかが観察対象に設定されると、前記観察軸が前記観察対象を貫通するように前記観察軸の位置を設定する
ように構成することができる。

【0093】

また、当該実施形態に係る表示端末において、
前記観察対象が設定されると、前記観察軸が前記観察対象を貫通するまで、前記基準軸が前記観察対象に近付くように、前記観察軸を移動させ、
前記観察軸が移動する距離は、前記取得された前記基準軸周りの回転量もしくは時間の経過によって定められる
ように構成することができる。

【0094】

また、当該実施形態に係る表示端末において、
前記表示端末は、他の表示端末と、前記観察空間ならびに前記観察対象の設定を同期しながら共有し、
前記表示端末において、前記観察位置と、前記観察方向と、前記観察軸と、は、前記他の表示端末から独立して設定され、
前記他の表示端末において設定された観察方向の平均方向およびばらつきを求め、
前記観察空間の背景に、前記求められたばらつきを表すマークを配置する
ように構成することができる。

【0095】

また、当該実施形態に係る表示端末において、
前記マークは、前記観察位置から前記求められた平均方向に位置する背景、前記観察位置から前記観察方向に位置する背景、もしくは、前記観察位置から前記求められた平均方向に位置する背景と前記観察位置から前記観察方向に位置する背景との中間に配置される
ように構成することができる。

【0096】

また、当該実施形態に係る表示端末において、
前記設定部は、前記観察軸が前記観察空間における鉛直方向に伸びるように設定し、
前記基準軸は、前記画面を貫通し、前記現実空間における重力方向、もしくは、前記画面の上下方向に伸びる
ように構成することができる。

【0097】

また、当該実施形態に係る表示端末において、
前記取得部は、前記表示方向の変化のうち、前記表示方向ならびに前記基準軸に直交する参照軸周りの回転量をさらに取得し、
前記設定部は、前記取得された前記参照軸周りの回転量だけ、前記観察位置を中心に、前記観察線を前記観察軸と交差させたまま、前記観察方向を回転させる
ように構成することができる。

【0098】

このほか、上記の実施形態に係るコンピュータ読取可能な非一時的な情報記録媒体は、コンピュータを上記の表示端末の各部として機能させるように構成することができる。

【0099】

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

【産業上の利用可能性】

【0100】

本発明によれば、ユーザの頭の向きの変化に応じて観察空間の様子をヘッドマウントディスプレイに提示する際に、ユーザに与える違和感を低減する表示端末ならびに当該表示端末を実現するためのプログラムが記録されたコンピュータ読取可能な非一時的な情報記録媒体を提供することができる。

【符号の説明】

【0101】

101 表示端末
102 設定部
103 表示部
104 取得部
105 更新部
201 現実空間
202 ヘッドマウントディスプレイ
203 ユーザ
204 表示方向
211 現実空間の方位
301 観察空間
302 観察位置
303 観察線
304 オブジェクト
305 観察軸
311 観察空間の方位
401 画面
402 マーク

【要約】

表示端末(101)は、ユーザの頭の向きの変化に応じて観察空間の様子をヘッドマウントディスプレイに提示する際に、ユーザに与える違和感を低減する。表示端末(101)において、設定部(102)は、観察空間において、観察位置と、観察方向と、観察位置から観察方向に伸びる観察線に交差する観察軸と、を、設定する。表示部(103)は、観察空間を観察位置から観察方向に観察する映像を生成して、現実空間に配置される画面に表示する。取得部(104)は、現実空間において、画面が映像を表示する表示方向を検知して、当該表示方向の変化のうち、現実空間における基準軸周りの回転量を取得する。更新部(105)は、観察線が観察軸と交差したまま、取得された基準軸周りの回転量だけ、観察位置を観察軸の周りで回転させることにより、観察位置および観察方向を更新する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】