特許 7467748 表示制御装置、表示システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-04-05

(45)【発行日】2024-04-15

(54)【発明の名称】表示制御装置、表示システム及びプログラム

(51)【国際特許分類】

   G06F 3/04845 20220101AFI20240408BHJP

   G06F 3/04815 20220101ALI20240408BHJP

   G06F 3/0346 20130101ALI20240408BHJP

   G06T 19/00 20110101ALI20240408BHJP

   G09G 5/00 20060101ALI20240408BHJP

   G09G 5/38 20060101ALI20240408BHJP

【ＦＩ】

G06F3/04845

G06F3/04815

G06F3/0346 424

G06T19/00 A

G09G5/00 530H

G09G5/00 550B

G09G5/00 550C

G09G5/38 100

【請求項の数】 12

(21)【出願番号】P 2023165224

(22)【出願日】2023-09-27

【審査請求日】2023-12-13

【早期審査対象出願】

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(72)【発明者】

【氏名】佐藤 隆司

【審査官】酒井 優一

(56)【参考文献】

【文献】特表２０１７－５０１５００（ＪＰ，Ａ）

【文献】特開２０１４－０８２６４８（ＪＰ，Ａ）

【文献】特開２０２３－０９３１７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｔ １９／００

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３８

(57)【特許請求の範囲】

【請求項1】

三次元情報を有する表示対象物を、表示装置へ表示することを制御する表示制御部と、
前記表示装置と剛性連結された撮像装置により撮像された画像であって、前記表示装置に表示された前記表示対象物を見る使用者の顔が撮像された画像を取得する画像取得部と、
取得した前記画像に基づき、前記使用者の視点と、前記表示装置との相対的な位置関係を算出する視点相対位置算出部と、
重力方向の加速度及びその方位角に関する情報を取得する重力情報取得部と、
所定の地点を原点としたときの、自装置が存在する位置情報を取得する初期位置情報取得部と、
自装置の加速度情報を取得する加速度情報取得部と、
前記初期位置情報取得部により取得された位置情報と、前記加速度情報取得部により取得された加速度情報とに基づき、前記表示装置が像を射影する射影面の絶対位置を算出し、算出された前記射影面の絶対位置と、前記視点相対位置算出部により算出された前記使用者の視点と前記表示装置との相対的な位置関係とに基づき、前記使用者の視点の絶対的な位置座標を算出し、算出された前記射影面の絶対位置と、前記重力情報取得部により取得された重力情報と、前記加速度情報取得部により取得された前記加速度情報とに基づき、前記射影面が向く方向のベクトルを算出するベクトル算出部と、
を備え、
前記表示制御部は、前記表示装置が像を射影する射影面の絶対位置と前記射影面が向く方向のベクトルで決定される射影面に、前記使用者の視点の絶対的な位置座標を焦点として、前記表示対象物の三次元情報を変形させた像を透視射影するよう、前記表示装置への表示を制御する
表示制御装置。

【請求項2】

前記視点相対位置算出部は、予め取得された前記使用者の属性に基づき、前記使用者の視点と前記表示装置との相対的な位置関係を算出する
請求項１に記載の表示制御装置。

【請求項3】

前記視点相対位置算出部は、前記画像取得部により取得された前記画像に基づき、前記使用者の瞳孔間の距離を計測し、計測された前記使用者の瞳孔間の距離に基づき、前記使用者の視点と前記表示装置との相対的な位置関係を算出する
請求項１に記載の表示制御装置。

【請求項4】

前記視点相対位置算出部は、前記画像取得部により取得された前記画像に基づき、前記使用者の瞳孔間距離と、瞳孔間画角とを計測し、計測された前記使用者の瞳孔間距離と、瞳孔間画角とに基づき、前記使用者の視点と前記表示装置との相対的な位置関係を算出する
請求項３に記載の表示制御装置。

【請求項5】

前記視点相対位置算出部は、予め記憶された前記使用者の瞳孔間距離と、前記画像取得部により取得された前記画像から計測された前記使用者の瞳孔間距離とに基づき、前記使用者の視点と前記表示装置との相対的な位置関係を算出する
請求項３に記載の表示制御装置。

【請求項6】

前記視点相対位置算出部は、前記画像取得部により取得された前記画像に基づいて得られた前記使用者の左右の瞳孔又は虹彩の大きさの比率の変化に応じて、前記使用者の視点と前記表示装置との相対的な位置関係を更新する
請求項１に記載の表示制御装置。

【請求項7】

前記表示制御部は、複数の前記表示対象物を前記表示装置へ表示し、
複数の前記表示対象物それぞれの仮想的位置に基づいて、それぞれ異なる誤差を付与する誤差付与部を更に備え、
前記表示制御部は、付与された誤差の範囲で前記表示対象物と背景との相対関係を変動させることにより、複数の前記表示対象物の前記表示装置への表示を制御する
請求項１に記載の表示制御装置。

【請求項8】

前記表示制御部は、付与された誤差の範囲で前記表示対象物を表示させる位置を変動させることにより、複数の前記表示対象物の前記表示装置への表示を制御する
請求項７に記載の表示制御装置。

【請求項9】

前記表示制御部は、付与された誤差の範囲で前記表示対象物を表示させる位置を、所定の一方向に変動させることにより、複数の前記表示対象物の前記表示装置への表示を制御する
請求項７に記載の表示制御装置。

【請求項10】

前記表示制御部は、前記表示装置からそれぞれ異なる距離に存在する複数の前記表示対象物を前記表示装置へ表示し、
複数の前記表示対象物は、前記表示装置からの距離に応じて、異なる表示タイミングにより表示される
請求項１に記載の表示制御装置。

【請求項11】

請求項１から請求項１０のいずれか一項に記載の表示制御装置と、
使用者の顔を撮像し、撮像した前記画像を前記画像取得部に提供する前記撮像装置と、
前記表示制御部により制御される前記表示装置と
を備える表示システム。

【請求項12】

コンピュータに、
三次元情報を有する表示対象物を、表示装置へ表示することを制御する表示制御ステップと、
前記表示装置と剛性連結された撮像装置により撮像された画像であって、前記表示装置に表示された前記表示対象物を見る使用者の顔が撮像された画像を取得する画像取得ステップと、
取得した前記画像に基づき、前記使用者の視点と、前記表示装置との相対的な位置関係を算出する視点相対位置算出ステップと、
重力方向の加速度及びその方位角に関する情報を取得する重力情報取得ステップと、
所定の地点を原点としたときの、自装置が存在する位置情報を取得する初期位置情報取得ステップと、
自装置の加速度情報を取得する加速度情報取得ステップと、
前記初期位置情報取得ステップにより取得された位置情報と、前記加速度情報取得ステップにより取得された加速度情報とに基づき、前記表示装置が像を射影する射影面の絶対位置を算出し、算出された前記射影面の絶対位置と、前記視点相対位置算出ステップにより算出された前記使用者の視点と前記表示装置との相対的な位置関係とに基づき、前記使用者の視点の絶対的な位置座標を算出し、算出された前記射影面の絶対位置と、前記重力情報取得ステップにより取得された重力情報と、前記加速度情報取得ステップにより取得された前記加速度情報とに基づき、前記射影面が向く方向のベクトルを算出するベクトル算出ステップと、
を実行させるプログラムであって、
前記表示制御ステップは、前記表示装置が像を射影する射影面の絶対位置と前記射影面が向く方向のベクトルで決定される射影面に、前記使用者の視点の絶対的な位置座標を焦点として、前記表示対象物の三次元情報を変形させた像を透視射影するよう、前記表示装置への表示を制御する
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示制御装置、表示システム及びプログラムに関する。

【背景技術】

【0002】

従来、仮想空間に存在する物体の三次元情報を、スマートフォンやタブレット端末装置等の表示装置に表示する技術があった。ユーザは、このような技術が用いられた表示装置による表示を見ることにより、表示装置を通して仮想的な物体が存在するかのような感覚を得ることが可能となる。例えば、このような技術が用いられた装置の一例として、仮想空間における物体の三次元情報を、現実世界の画像に合成可能な画像処理装置が開示されている（特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２２－１１３２６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このような技術によれば、ユーザが表示装置を正面から見ることが前提として、仮想空間における物体の三次元情報が表示装置に表示される。しかしながら、ユーザの視点が固定されたまま、表示装置のみが移動したり、表示装置の角度が変化したりする場合がある。このような場合、ユーザの視線が固定されているため、ユーザは、表示装置を通して同一の仮想的な物体を見続けることを期待する。一方、装置が行う制御としては、ユーザが正面に存在することが前提となっているため、ユーザが期待する画像と実際に表示される画像とが一致しなくなってしまう。したがって、ユーザは、表示装置を通して仮想的な物体を見ても、当該物体があたかもそこに存在しているかのような感覚を得ることができず、仮想世界への没入感を得ることが難しかった。換言すれば、従来技術には、ユーザが表示装置の正面に存在しない場合、利用者視点と、表示画像とが一致しないといった課題があった。

【0005】

本発明は、このような事情を考慮してなされたものであり、その目的は、ユーザが表示装置の正面に存在しない場合であっても、利用者視点と、表示画像とが一致し、仮想世界への没入感を得ることが可能な表示制御装置、表示システム及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

（１）本発明の一態様は、三次元情報を有する表示対象物を、表示装置へ表示することを制御する表示制御部と、前記表示装置と剛性連結された撮像装置により撮像された画像であって、前記表示装置に表示された前記表示対象物を見る使用者の顔が撮像された画像を取得する画像取得部と、取得した前記画像に基づき、前記使用者の視点と、前記表示装置との相対的な位置関係を算出する視点相対位置算出部と、重力方向の加速度及びその方位角に関する情報を取得する重力情報取得部と、所定の地点を原点としたときの、自装置が存在する位置情報を取得する初期位置情報取得部と、自装置の加速度情報を取得する加速度情報取得部と、前記初期位置情報取得部により取得された位置情報と、前記加速度情報取得部により取得された加速度情報とに基づき、前記表示装置が像を射影する射影面の絶対位置を算出し、算出された前記射影面の絶対位置と、前記視点相対位置算出部により算出された前記使用者の視点と前記表示装置との相対的な位置関係とに基づき、前記使用者の視点の絶対的な位置座標を算出し、算出された前記射影面の絶対位置と、前記重力情報取得部により取得された重力情報と、前記加速度情報取得部により取得された前記加速度情報とに基づき、前記射影面が向く方向のベクトルを算出するベクトル算出部と、を備え、前記表示制御部は、前記表示装置が像を射影する射影面の絶対位置と前記射影面が向く方向のベクトルで決定される射影面に、前記使用者の視点の絶対的な位置座標を焦点として、前記表示対象物の三次元情報を変形させた像を透視射影するよう、前記表示装置への表示を制御する表示制御装置である。
（２）また、本発明の一態様は、上述した（１）の表示制御装置において、前記視点相対位置算出部は、予め取得された前記使用者の属性に基づき、前記使用者の視点と前記表示装置との相対的な位置関係を算出するものである。
（３）また、本発明の一態様は、上述した（１）の表示制御装置において、前記視点相対位置算出部は、前記画像取得部により取得された前記画像に基づき、前記使用者の瞳孔間の距離を計測し、計測された前記使用者の瞳孔間の距離に基づき、前記使用者の視点と前記表示装置との相対的な位置関係を算出するものである。
（４）また、本発明の一態様は、上述した（３）の表示制御装置において、前記視点相対位置算出部は、前記画像取得部により取得された前記画像に基づき、前記使用者の瞳孔間距離と、瞳孔間画角とを計測し、計測された前記使用者の瞳孔間距離と、瞳孔間画角とに基づき、前記使用者の視点と前記表示装置との相対的な位置関係を算出するものである。
（５）また、本発明の一態様は、上述した（３）の表示制御装置において、前記視点相対位置算出部は、予め記憶された前記使用者の瞳孔間距離と、前記画像取得部により取得された前記画像から計測された前記使用者の瞳孔間距離とに基づき、前記使用者の視点と前記表示装置との相対的な位置関係を算出するものである。
（６）また、本発明の一態様は、上述した（１）から（５）のいずれかの表示制御装置において、前記視点相対位置算出部は、前記画像取得部により取得された前記画像に基づいて得られた前記使用者の左右の瞳孔又は虹彩の大きさの比率の変化に応じて、前記使用者の視点と前記表示装置との相対的な位置関係を更新するものである。
（７）また、本発明の一態様は、上述した（１）から（６）のいずれかの表示制御装置において、前記表示制御部は、複数の前記表示対象物を前記表示装置へ表示し、複数の前記表示対象物それぞれの仮想的位置に基づいて、それぞれ異なる誤差を付与する誤差付与部を更に備え、前記表示制御部は、付与された誤差の範囲で前記表示対象物と背景との相対関係を変動させることにより、複数の前記表示対象物の前記表示装置への表示を制御するものである。
（８）また、本発明の一態様は、上述した（７）の表示制御装置において、前記表示制御部は、付与された誤差の範囲で前記表示対象物を表示させる位置を変動させることにより、複数の前記表示対象物の前記表示装置への表示を制御するものである。
（９）また、本発明の一態様は、上述した（７）の表示制御装置において、前記表示制御部は、付与された誤差の範囲で前記表示対象物を表示させる位置を、所定の一方向に変動させることにより、複数の前記表示対象物の前記表示装置への表示を制御するものである。
（１０）また、本発明の一態様は、上述した（１）の表示制御装置において、前記表示制御部は、前記表示装置からそれぞれ異なる距離に存在する複数の前記表示対象物を前記表示装置へ表示し、複数の前記表示対象物は、前記表示装置からの距離に応じて、異なる表示タイミングにより表示されるものである。
（１１）また、本発明の一態様は、上述した（１）から（１０）のいずれかの表示制御装置と、使用者の顔を撮像し、撮像した前記画像を前記画像取得部に提供する前記撮像装置と、前記表示制御部により制御される前記表示装置とを備える表示システムである。
（１２）また、本発明の一態様は、コンピュータに、三次元情報を有する表示対象物を、表示装置へ表示することを制御する表示制御ステップと、前記表示装置と剛性連結された撮像装置により撮像された画像であって、前記表示装置に表示された前記表示対象物を見る使用者の顔が撮像された画像を取得する画像取得ステップと、取得した前記画像に基づき、前記使用者の視点と、前記表示装置との相対的な位置関係を算出する視点相対位置算出ステップと、重力方向の加速度及びその方位角に関する情報を取得する重力情報取得ステップと、所定の地点を原点としたときの、自装置が存在する位置情報を取得する初期位置情報取得ステップと、自装置の加速度情報を取得する加速度情報取得ステップと、前記初期位置情報取得ステップにより取得された位置情報と、前記加速度情報取得ステップにより取得された加速度情報とに基づき、前記表示装置が像を射影する射影面の絶対位置を算出し、算出された前記射影面の絶対位置と、前記視点相対位置算出ステップにより算出された前記使用者の視点と前記表示装置との相対的な位置関係とに基づき、前記使用者の視点の絶対的な位置座標を算出し、算出された前記射影面の絶対位置と、前記重力情報取得ステップにより取得された重力情報と、前記加速度情報取得ステップにより取得された前記加速度情報とに基づき、前記射影面が向く方向のベクトルを算出するベクトル算出ステップと、を実行させるプログラムであって、前記表示制御ステップは、前記表示装置が像を射影する射影面の絶対位置と前記射影面が向く方向のベクトルで決定される射影面に、前記使用者の視点の絶対的な位置座標を焦点として、前記表示対象物の三次元情報を変形させた像を透視射影するよう、前記表示装置への表示を制御するプログラムである。

【発明の効果】

【0007】

本発明によれば、ユーザが表示装置の正面に存在しない場合であっても、利用者視点と、表示画像とを一致させることができ、仮想世界への没入感を得ることができるという効果が得られる。

【図面の簡単な説明】

【0008】

【図1】一実施形態に係る表示システムが表示する像の変化について説明するための図である。

【図2】本実施形態に係る表示システムが表示する仮想オブジェクトについて説明するための図である。

【図3】本実施形態に係る表示システムにより撮像された画像に基づくユーザの視点の解析処理の一例について説明するための第１の図である。

【図4】本実施形態に係る表示システムにより撮像された画像に基づくユーザの視点の解析処理の一例について説明するための第２の図である。

【図5】本実施形態に係る表示システムのイメージについて説明するための図である。

【図6】本実施形態に係る表示システムが解析する情報の過不足について説明するための図である。

【図7】本実施形態に係る表示システムにより算出されるベクトルについて説明するための図である。

【図8】本実施形態に係る表示システムを実現するための機能ブロックの一例について示すブロック図である。

【図9】本実施形態に係る表示制御装置の機能構成の一例について示す機能構成図である。

【図10】本実施形態に係る表示制御装置の機能構成の変形例について示す機能構成図である。

【図11】本実施形態に係る表示システムにおいて、ユーザの顔が傾いた場合の考え方について説明するための図である。

【図12】本実施形態に係る表示制御装置の内部構成の一例を示すブロック図である。

【図13】従来技術に係る拡張現実又は複合現実の技術を用いて、スマートフォンに仮想オブジェクトを表示しようとした場合、スマートフォンの傾きの変化に応じた座標軸の変化について説明するための図である。

【図14】従来技術に係る仮想現実の技術を用いて、スマートグラスに仮想オブジェクトを表示しようとした場合、スマートグラスの傾きの変化に応じた座標軸の変化について説明するための図である。

【図15】従来技術を用いてスマートフォンに仮想オブジェクトを表示する場合において、スマートフォンが傾いた場合における仮想オブジェクトの見え方の変化について説明するための図である。

【発明を実施するための形態】

【0009】

本発明の態様に係る表示制御装置、表示システム及びプログラムについて、好適な実施の形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。なお、本発明の態様は、これらの実施の形態に限定されるものではなく、多様な変更または改良を加えたものも含まれる。つまり、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれ、以下に記載した構成要素は適宜組み合わせることが可能である。また、本発明の要旨を逸脱しない範囲で構成要素の種々の省略、置換または変更を行うことができる。また、以下の図面においては、各構成をわかりやすくするために、各構造における縮尺および数等を、実際の構造における縮尺および数等と異ならせる場合がある。また、使用可能文字の関係上、以下に示す数式においてベクトル記号が付されているもの（英文字記号又はギリシャ文字で表された変数）については、本明細書の文章において、「ベクトル（英文字又はギリシャ文字）」と記載する場合がある。

【0010】

［実施形態］
以下、図面を参照しながら、本発明の実施形態について説明する。まず、本発明の実施形態の前提となる事項について説明する。本発明に係る表示制御装置、表示システム及びプログラムは、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：ＭＲ）及び仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）等の技術に用いることが可能である。本発明に係る表示制御装置、表示システム及びプログラムは、現実世界の画像（又は映像。以下、単に画像と記載する。）の上に、仮想的なオブジェクトを重畳させて表示することが可能である。現実世界の画像とは、ユーザが現実に見ている世界の画像であり、撮像装置により撮像されたものであってもよい。また、撮像装置により撮像された画像から特徴が抽出され、抽出された特徴に合わせて仮想的なオブジェクトが重畳されるものであってもよい。また、本実施形態によれば、位置情報、方位情報、及びジャイロ情報等に基づいて、装置の位置や方向を検出し、検出した位置及び方向等に基づいて表示を制御する。このような表示を行うことにより、ユーザは、没入感を得ることができる。

【0011】

しかしながら、本実施形態はこの一例に限定されず、仮想的なオブジェクトのみを表示することも可能である。仮想的なオブジェクトとは、三次元的な情報を有するものであればよく、物体や、背景等が広く含まれる。以下の説明では、単に、仮想的なオブジェクトを表示する場合の実施形態について説明する。この場合の背景は、現実世界のものであってもよいし、仮想世界のものであってもよい。

【0012】

なお、本実施形態に係る技術は、スマートフォンやタブレット端末等のディスプレイを有する装置の他、スマートグラスや、スマートゴーグル等のウェアラブルデバイスにおいても適用されることが可能である。以下の説明では、一例として、スマートフォンを用いた場合の実施形態について説明する。

【0013】

まず、図１３から図１５を参照しながら、従来技術による課題について、詳細に説明する。

【0014】

図１３は、従来技術に係る拡張現実又は複合現実の技術を用いて、スマートフォンに仮想オブジェクトを表示しようとした場合、スマートフォンの傾きの変化に応じた座標軸の変化について説明するための図である。同図を参照しながら、ユーザＵが仮想オブジェクトを表示可能なデバイス９１を用いて仮想的なオブジェクト９２を見る場合の一例について説明する。デバイス９１とは、例えば、スマートフォンであってもよい。

【0015】

図１３（Ａ）は、ユーザＵが第１の角度でデバイス９１を保持する場合の一例を示している。この場合、ユーザＵの視点と、デバイス９１とを結んだ先に、オブジェクト９２が存在する。デバイス９１は、現実世界の画像又は映像を撮像し、撮像した画像又は映像に重畳させてオブジェクト９２を表示する。オブジェクト９２の表示は、例えば、撮像された画像上の参照特徴を基準に描画される。ユーザＵは、デバイス９１のディスプレイを、正面から見ることにより、オブジェクト９２があたかも現実世界に存在するかのような感覚を得ることができる。しかしながら、従来技術によれば、ユーザＵによりデバイス９１の角度が傾けられ、ユーザがディスプレイの正面ではない位置からオブジェクト９２を見る場合、この限りではない。

【0016】

図１３（Ｂ）は、ユーザＵが第２の角度でデバイス９１を保持する場合の一例を示している。図１３（Ｂ）に示した一例では、現実世界の座標軸と、デバイス９１の座標軸との関係が、図１３（Ａ）に示した一例とは異なる。デバイス９１がユーザＵにより傾けられた結果、デバイス９１の座標軸も傾き、デバイス９１の撮像画角からオブジェクト９２が外れてしまう。この場合、ユーザＵの視点と、デバイス９１とを結んだ先に、オブジェクト９２が存在するはずであるにもかかわらず、デバイス９１のディスプレイには、オブジェクト９２が表示されないこととなる。したがって、ユーザＵは、デバイス９１の傾きによっては、仮想的なオブジェクトが表示された仮想空間への没入感を得ることができなかった。

【0017】

図１４は、従来技術に係る仮想現実の技術を用いて、スマートグラスに仮想オブジェクトを表示しようとした場合、スマートグラスの傾きの変化に応じた座標軸の変化について説明するための図である。図１４に示す一例では、スマートグラスを用いた場合の一例である。この場合も図１３に示した場合と同様に、ユーザＵは、仮想的なオブジェクトが表示された仮想空間への没入感を得難い等の課題や、没入感を得るための課題等、複数の課題がある。同図を参照しながら、ユーザＵが仮想オブジェクトを表示可能なデバイス９３を用いて仮想的なオブジェクト９２を見る場合の一例について説明する。デバイス９３とは、例えばユーザＵが装着可能なスマートグラスであってもよい。

【0018】

図１４（Ａ）は、ユーザＵがデバイス９３を装着し、第１の角度で仮想的なオブジェクト９２を視認する場合の一例を示している。図１４（Ｂ）は、ユーザＵがデバイス９３を装着し、第２の角度で仮想的なオブジェクト９２を視認する場合の一例を示している。スマートグラスの場合、デバイス９３は、固定された操作者視点を焦点として透視描画を行う。スマートグラスの場合は、視点とデバイスの座標軸とが固定されているため、図１３に示したように、ユーザＵの視点が固定されたままデバイスの座標軸のみが変化してしまうような事態が発生しない。よって、スマートグラスの場合は、スマートフォンと比較して、より没入感を得ることができるといった効果があった。しかしながら、スマートグラスでは、視界がふさがってしまい、安全上の課題が存在する。また、スマートグラスは、装着の手間が多く、較正の手間も多い。更に、現在の技術においてスマートグラスを小型化することは容易でないといった課題があった、スマートグラスが小型でないと、装着時に違和感が生じ、仮想世界への没入感が得られ難くなってしまう。このような事情から、スマートグラスの普及率は、スマートフォンの普及率と比較して、低いと言わざるを得なかった。

【0019】

図１５は、従来技術を用いてスマートフォンに仮想オブジェクトを表示する場合において、スマートフォンが傾いた場合における仮想オブジェクトの変化について説明するための図である。同図を参照しながら、従来技術において、スマートフォンが傾いた場合における、仮想オブジェクトの見え方の変化について説明する。図示する一例では、仮想オブジェクトを表示可能なデバイス９１は、複数の仮想的なオブジェクト９２－１、オブジェクト９２－２及びオブジェクト９２－３のうち、デバイス９１が向いている方向に存在するオブジェクトを表示する。

【0020】

図１５（Ａ）は、ユーザＵが第１の角度でデバイス９１を保持する場合の一例を示している。この場合、デバイス９１は、オブジェクト９２－２が存在する方向を向いているため、オブジェクト９２－２の像９２－２Ａを表示する。ここで、ユーザＵの視点が固定されたまま、デバイス９１のみを傾けた場合の一例を図１５（Ｂ）に示す。図１５（Ｂ）に示すように、デバイス９１が右側に傾けられた場合、デバイス９１の先には、オブジェクト９２－２及びオブジェクト９２－３が存在する。したがって、デバイス９１は、オブジェクト９２－２の像９２－２Ａ及びオブジェクト９２－３の像９２－３Ａを表示する。しかしながら、デバイス９１を介したユーザＵの視線の先には、オブジェクト９２－２のみが存在するはずであり、このような表示が行われたのでは、ユーザＵは仮想的な世界への没入感を得ることができなかった。

【0021】

次に、図１から図１２を参照しながら、本発明に係る表示制御装置、表示システム及びプログラムについて説明する。以下の説明においては、本実施形態に係る表示制御装置、表示システム及びプログラムが、スマートフォンＳＰに適用される場合の一例について説明する。しかしながら本実施形態はこの一例に限定されず、ディスプレイを有しユーザに画像を表示させるデバイスに広く適用可能である。以下、一例として示すスマートフォンＳＰとは、仮想オブジェクトを表示可能なデバイスである。まず、図１及び図２を参照しながら、本実施形態に係る表示制御装置、表示システム及びプログラムの概要について説明する。

【0022】

図１は、一実施形態に係る表示システムが表示する像の変化について説明するための図である。同図を参照しながら、本実施形態に係る表示システムにおいて、スマートフォンＳＰが傾いた場合において、ユーザＵの視点との関係で、仮想オブジェクトの見え方の変化について説明する。図示する一例では、スマートフォンＳＰは、複数の仮想的なオブジェクトＯＢＪ１、オブジェクトＯＢＪ２及びオブジェクトＯＢＪ３のうち、スマートフォンＳＰが向いている方向に存在するオブジェクトを表示する。これらの仮想的なオブジェクトは、仮想世界の座標軸において互いに存在する位置の位置関係が予め定められているものである。

【0023】

図１（Ａ）に示すような位置関係では、スマートフォンＳＰは、オブジェクトＯＢＪ２が存在する方向を向いている。したがって、スマートフォンＳＰは、オブジェクトＯＢＪ２の像ＯＢＪ２Ａを表示する。ここで、図１（Ｂ）では、ユーザＵとスマートフォンＳＰの重心との位置関係に変化はないが、スマートフォンＳＰが右方向に回転することにより、スマートフォンＳＰの向く方向が変化している。従来技術によれば、スマートフォンＳＰの回転のみを検知して表示対象を決定していたため、スマートフォンＳＰの回転とともに表示対象が変わっていたが、本実施形態によれば、スマートフォンＳＰの回転を検知することに加えて、更にユーザＵの視点等の情報を考慮することにより、ユーザＵの視点と、スマートフォンＳＰと、仮想的なオブジェクトとの位置関係に応じた表示を行う。

【0024】

ここで、図１（Ｃ）は、図１（Ｂ）のような位置関係から、ユーザＵがスマートフォンＳＰの正面に移動した場合に、スマートフォンＳＰが表示する情報の一例について示している。図１（Ｂ）に示す位置関係と、図１（Ｃ）に示す位置関係とを比較した場合、スマートフォンＳＰと、仮想的なオブジェクトとの位置関係に変化はない。しかしながら、図１（Ｃ）では、ユーザＵが視点を変えて、左側から（スマートフォンＳＰの正面から）画面を覗きこんでいる。このような場合、スマートフォンＳＰは、スマートフォンＳＰを介したユーザＵの視線の先に存在するオブジェクトＯＢＪ２及びオブジェクトＯＢＪ３を表示する。すなわち、本実施形態によれば、ユーザＵの視点等の情報を考慮することにより、ユーザＵの視点と、スマートフォンＳＰと、仮想的なオブジェクトとの位置関係に応じた表示を行うため、ユーザＵは仮想的な世界への没入感を、より得易くなるということができる。視点の動きに追従して描画される複数のオブジェクトの相対位置関係が変化することにより、奥行知覚に関する運動に基づく手がかり（運動視差）を得ることで、他の知覚心理学的手がかり（例えば両眼視差）に依存しない奥行知覚を生じ、対象物に対する立体感を得ることができる。

【0025】

図２は、本実施形態に係る表示システムが表示する仮想オブジェクトについて説明するための図である。同図には、ユーザＵとスマートフォンＳＰと仮想的なオブジェクトＯＢＪとの位置関係が示されている。また、同図には、ユーザＵが存在する現実世界の座標軸と、スマートフォンＳＰの座標軸とが示されている。スマートフォンＳＰの座標軸とは、すなわち、スマートフォンＳＰに仮想的なオブジェクトを描写するための、描写基準座標軸であるということもできる。図２（Ａ）には、ユーザＵがスマートフォンＳＰを第１の傾きで保持する場合の一例が示されており、図２（Ｂ）には、ユーザＵがスマートフォンＳＰを第２の傾きで保持する場合の一例が示されている。本実施形態によれば、図示するように、スマートフォンＳＰの傾きが変わっても、スマートフォンＳＰの座標軸は固定されたままである。すなわち、本実施形態によれば、画面の位置や角度に関わらず、ユーザＵの視点を基準に、オブジェクトＯＢＪが画面を透過するように描画することが可能となる。また、このような構成を採用することにより、ユーザＵは、現実世界の空間に、仮想的なオブジェクトＯＢＪが固定されているかのような体感を得ることができる。

【0026】

次に、図３から図７を参照しながら、本実施形態に係る表示制御装置１０、表示システム１及びプログラムの、動作原理について説明する。

【0027】

図３は、本実施形態に係る表示システムにより撮像された画像に基づくユーザの視点の解析処理の一例について説明するための第１の図である。また、図４は、本実施形態に係る表示システムにより撮像された画像に基づくユーザの視点の解析処理の一例について説明するための第２の図である。まず、表示システム１は、ユーザＵの顔を撮像し、ユーザＵの瞳孔の位置を解析する。同図には、ユーザＵの顔が撮像された画像ＩＭＧが示されている。画像ＩＭＧは、動画像データに含まれる連続するフレーム画像のうち、１つのフレーム画像であってもよい。表示システム１は、画像ＩＭＧを解析し、ユーザＵの右目ＥＲと、左目ＥＬの位置をそれぞれ特定する。表示システム１は、特定したユーザＵの右目ＥＲ及び左目ＥＬの位置に基づき、ユーザＵの右目ＥＲから左目ＥＬまでの距離Ｄ_ｂａｓｅを算出する。なお、ユーザＵの右目ＥＲから左目ＥＬまでの距離Ｄｂａｓｅは、画像処理によって算出されてもよいし、ユーザＵが自身で計測して、あらかじめ入力しておいてもよい。

【0028】

また、表示システム１は、画像ＩＭＧの中心Ｏから、瞳孔の重心を結ぶ線と、画像ＩＭＧの基準線とがなす角である角ηを特定する。更に、表示システム１は、瞳孔間画角φを特定する。ここで、基準長さＬ_０＝Ｄ_ｂａｓｅ／ｓｉｎ（φ／２）とした場合、右目ＥＲの重心ＣＯＧＲ及び左目ＥＬの重心ＣＯＧＬから基準長さＬ_０離れた点であってユーザＵの右目ＥＲから左目ＥＬまでの距離Ｄ_ｂａｓｅの中点における点を、点Ｐとすることができる。瞳孔間画角φとは、点Ｐ及び右目ＥＲの重心ＣＯＧＲを結ぶ線と、点Ｐ及び左目ＥＬの重心ＣＯＧＬを結ぶ線とがなす角である。また、表示システム１は、画像ＩＭＧの中心Ｏから瞳孔重心までの画角θを特定する。なお、これら角度の特定や、数値の算出を行うためには、物体検知技術等の公知の画像処理技術が用いられてもよい。

【0029】

図５は、本実施形態に係る表示システムのイメージについて説明するための図である。同図を参照しながら、表示システム１により行われる仮想空間内透視面の座標を示すベクトルＶ、仮想空間内透視面の平面ベクトルＷ、及び仮想空間内視点座標を示すベクトルＵの算出処理について説明する。なお、透視面とは、スマートフォンＳＰが備えるディスプレイ（表示器）の表示面である。仮想空間内視点座標を示すベクトルＵ、仮想空間内透視面の座標を示すベクトルＶ、及び仮想空間内透視面の平面ベクトルＷの算出には、上述したユーザＵの右目ＥＲから左目ＥＬまでの距離Ｄ_ｂａｓｅと、瞳孔の重心を結ぶ線と画像ＩＭＧの基準線とがなす角である角ηと、瞳孔間画角φと、画像ＩＭＧの中心Ｏから瞳孔重心までの画角θとに加え、仮想空間内初期座標を示すベクトルＳと、表示器と重力方向がなす角を示すベクトルζが用いられる。

【0030】

仮想空間内初期座標を示すベクトルＳは、仮想空間内における初期座標（参照座標）である。表示対象となる仮想的なオブジェクトは、仮想空間内初期座標を示すベクトルＳに基づいて生成されている。仮想空間内初期座標を示すベクトルＳは、予め定められており、所定の記憶部に記憶されていてもよい。

【0031】

表示器と重力方向がなす角を示すベクトルζは、重力センサＧｓから取得される。重力センサＧｓは、スマートフォンＳＰに備えられ、重力方向の加速度を検知する。また、重力センサＧｓは、重力方向の方位角を検知する。表示システム１は、重力センサＧｓから重力方向の加速度とその方位角に関する情報を取得し、取得した情報に基づき、表示器と重力方向がなす角を示すベクトルζを算出する。

【0032】

仮想空間内視点座標を示すベクトルＵの算出には、次の（１）式が用いられてもよい。

【0033】

【数1】

【0034】

ここで、（１）式におけるｆは、座標変換関数である。座標変換関数ｆは、仮想空間内初期座標を示すベクトルＳに対して、仮想空間内視点座標を示すベクトルＵがどの位置にあるのかを、カメラと瞳孔の相対位置関係から決める座標変換関数である。

【0035】

また、仮想空間内透視面の座標を示すベクトルＶの算出には、次の（２）式が用いられてもよい。

【0036】

【数2】

ここで、（２）式におけるｇは、座標変換関数である。座標変換関数ｇは、仮想空間内初期座標を示すベクトルＳに対して、仮想空間内透視面の座標を示すベクトルＶがどの位置にあるのかを、決める座標変換関数である。座標変換関数ｇは、仮想空間内初期座標を示すベクトルＳに対して、仮想空間内透視面の座標を示すベクトルＶがどの位置にあるのかを、加速度センサにより得られる情報に基づいて算出するものであってもよい。

【0037】

また、仮想空間内透視面の平面ベクトルを示すベクトルＷの算出には、次の（３）式が用いられてもよい。

【0038】

【数3】

ここで、（３）式におけるｈは、座標変換関数である。座標変換関数ｈは、仮想空間内初期座標を示すベクトルＳに対して仮想空間内透視面の平面ベクトルを示すベクトルＷがどの方向にあるのかを重力センサーから決める座標変換関数である。座標変換関数ｈは、仮想空間内初期座標を示すベクトルＳに対して仮想空間内透視面の平面ベクトルを示すベクトルＷがどの方向にあるのかを、更にジャイロセンサにより得られる情報に基づいて算出するものであってもよい。

【0039】

表示システム１は、仮想空間内の三次元オブジェクトを、仮想空間内視点座標を示すベクトルＵを焦点とし、仮想空間内透視面の座標を示すベクトルＶ／仮想空間内透視面の平面ベクトルＷであらわされる平面に透視描画する。

【0040】

なお、仮想空間内視点座標を示すベクトルＵ、仮想空間内透視面の座標を示すベクトルＶ、及び仮想空間内透視面の平面ベクトルＷの算出には、ユーザＵの右目ＥＲから左目ＥＬまでの距離Ｄ_ｂａｓｅを用いることに代えて、図示するような基線長さＬ_０が用いられてもよい。基線長さＬ_０の算出には、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）やＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサ等の距離センサが用いられてもよい。

【0041】

基線長さＬ_０を用いて、仮想空間内視点座標を示すベクトルＵ、仮想空間内透視面の座標を示すベクトルＶ、及び仮想空間内透視面の平面ベクトルＷの算出をする場合、次の（４）式、（５）式、及び（６）式が用いられる。

【0042】

【数4】

【0043】

【数5】

【0044】

【数6】

【0045】

図６は、本実施形態に係る表示システムが解析する情報の過不足について説明するための図である。同図を参照しながら、本実施形態に係る表示システム１が用いる情報量の過不足について説明する。同図に示したベクトルは、表示システム１が求める未知の情報である。既知の情報としては、表示器と重力方向がなす角を示すベクトルζと、ユーザＵの右目ＥＲから左目ＥＬまでの距離Ｄ_ｂａｓｅであり、情報数は、４である。また、取得する情報としては、瞳孔の重心を結ぶ線と画像ＩＭＧの基準線とがなす角である角ηと、瞳孔間画角φと、画像ＩＭＧの中心Ｏから瞳孔重心までの画角θと、表示器と重力方向がなす角を示すベクトルζであり、情報数は、６である。すなわち、本実施形態に係る表示システム１が用いる情報のうち、既知の情報数は、１０である。

【0046】

一方、表示システム１が決定すべき情報（未知の情報）としては、仮想空間内視点座標を示すベクトル（三次元）、仮想空間内透視面座標を示すベクトル（三次元）、及び仮想空間内透視面の平面ベクトル（三次元）であり、未知の情報数は、９である。

【0047】

したがって、既知数１０に対して未知数９であるため、情報過多であるということもできる。ただし、瞳孔間距離と瞳孔間画角の２情報を用いて、基線長さＬ_０（１情報）が算出されるため、既知数は９となる、したがって、情報量の過不足はなしとなり、これが最小構成となる。

【0048】

図７は、本実施形態に係る表示システムにより算出されるベクトルについて説明するための図である。同図を参照しながら、上述した未知数（３つの三次元情報）の算出方法について説明する。なお、以下に説明する方法の条件としては、第一に、表示装置の表示面(射影面)とユーザＵの顔を撮像するセルフィーカメラと重力センサが剛性結合されていること、第二に、略同一の平面内に表示面とセルフィーカメラ焦点と重力センサが配置されていること、第三に、表示面とセルフィーカメラ焦点と重力センサの間の距離が、視点相対位置Ｅ_Ｌに比べて十分に小さいことを挙げることができる。

【0049】

図示するように、表示システム１が行う表示に必要な、未知数（３つの三次元情報）の算出は、既知ベクトルの合成で求めることができる。例えば、視点絶対位置Ｅｚは、次の（７）式により求めることができる。

【0050】

【数7】

【0051】

なお、（７）式中のＰ及びＱは、セルフィーカメラ軸と重力センサ軸の結合角による補正値である。

【0052】

なお、重力方位センサ入力Ｇ_θについて、初回又は定期測定値をＧ_θ０として、Ｇ_θ＝Ｇ_θ０＋Δ_θとしてもよい。

【0053】

なお、既知ベクトルの合成により未知数（３つの三次元情報）の算出を行う場合、次の（８）式、（９）式、及び（１０）式により求めることができる。

【0054】

【数8】

【0055】

【数9】

【0056】

【数10】

【0057】

なお、（１０）式に示したベクトルＷは、（１１）式を用いることにより求めることもできる。

【0058】

【数11】

【0059】

次に、図８から図１２を参照しながら、上述したような表示システム１を実現するための、具体的な構成の一例について説明する。

【0060】

図８は、本実施形態に係る表示システムを実現するための機能ブロックの一例について示すブロック図である。同図を参照しながら、表示システム１の機能構成の一例について説明する。表示システム１は、撮像装置２と、重力センサ３と、加速度センサ４と、記憶装置５と、表示装置６と、表示制御装置１０とを備える。なお、表示システム１は、図示する構成の他、ジャイロセンサ等を備えていてもよい。

【0061】

撮像装置２は、ユーザＵの顔を撮像する。すなわち、撮像装置２は、スマートフォンＳＰ等に備え付けられるインカメラ（セルフィーカメラ）であってもよい。なお、ユーザＵとは、表示システム１の使用者である。撮像装置２は、具体的には、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）イメージセンサを用いたＣＣＤカメラであってもよいし、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを用いたＣＭＯＳカメラ等であってもよい。

【0062】

重力センサ３は、重力方向の加速度を検出する。また、重力センサ３は、地軸等の絶対基準に対する装置の相対方位を検出する。

【0063】

加速度センサ４は、自装置の加速度を検出する。加速度センサ４は、重力加速度を検出可能であってもよく、この場合、重力センサ３と加速度センサ４とは同一の構成であってもよい。加速度センサ４は、３軸方向（Ｘ軸・Ｙ軸・Ｚ軸）の加速度を検出する。

【0064】

記憶装置５は、演算に用いられるパラメータ情報を記憶する。パラメータ情報には、ユーザＵの属性等に関する情報や、表示システム１の初期位置に関する情報が含まれる。記憶装置５に記憶される情報は、不図示の操作受付部によりユーザＵから受け付けてもよいし、表示制御装置１０により更新されてもよい。

【0065】

表示装置６は、表示制御装置１０の制御に応じて各種情報を表示する。表示装置６は、表示制御装置１０から制御信号を取得し、取得した制御信号に応じた情報を表示する。表示装置６は、例えば液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等であってもよい。なお、撮像装置２と表示装置６とは、互いに剛性連結されていることが好適である。

【0066】

表示制御装置１０は、撮像装置２、重力センサ３、加速度センサ４及び記憶装置５等から情報を取得し、取得した情報に基づき、表示装置６に表示させる情報を生成し、表示装置６への表示を制御する。以下、図９を参照しながら、表示制御装置１０の機能構成の一例について詳細に説明する。

【0067】

図９は、本実施形態に係る表示制御装置の機能構成の一例について示す機能構成図である。表示制御装置１０は、画像取得部１１と、視点相対位置算出部１２と、重力情報取得部１３と、表示装置角度算出部１４と、加速度情報取得部１５と、初期位置情報取得部１６と、ベクトル算出部１７と、表示制御部１８とを備える。これらの各機能部は、例えば、電子回路を用いて実現される。また、各機能部は、必要に応じて、半導体メモリや磁気ハードディスク装置などといった記憶手段を内部に備えてよい。また、各機能を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有するコンピュータおよびソフトウェアによって実現するようにしてもよい。また、各機能部の全てまたは一部は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）又はＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアを用いて実現されてもよい。また、各機能部の全部または一部は、ソフトウェアとハードウェアとの組み合わせにより実現されてもよい。

【0068】

画像取得部１１は、撮像装置２により撮像された画像を取得する。画像取得部１１により取得される画像は、表示システム１のユーザＵの顔が撮像されたものである。なお、画像取得部１１は、撮像装置２により撮影された動画像データに含まれる連続したフレーム画像を、取得してもよい。

【0069】

視点相対位置算出部１２は、画像取得部１１により取得された画像に基づき、ユーザＵの視点と、表示装置６との相対的な位置関係を算出する。視点相対位置算出部１２は、例えば、瞳孔位置特定部１２１と、瞳孔間画角特定部１２２と、視点相対位置特定部１２３とを備えることにより、ユーザＵの視点と、表示装置６との相対的な位置関係を算出する。なお、視点相対位置算出部１２の具体的算出方法は、この一例に限定されず、その他の方法が用いられてもよい。

【0070】

瞳孔位置特定部１２１は、画像取得部１１により取得された画像に基づき、ユーザＵの左目ＥＬの位置座標と、右目ＥＲの位置座標とを特定する。ユーザＵの左目ＥＬの位置座標と右目ＥＲの位置座標とを特定することにより、瞳孔間距離を特定することができる。なお、位置座標の特定には、例えば、物体検知技術等の公知の画像処理技術が用いられてもよい。次に、瞳孔間画角特定部１２２は、特定されたユーザＵの左目ＥＬの位置座標と、右目ＥＲの位置座標とに基づき、瞳孔間画角φを検出する。更に、視点相対位置特定部１２３は、特定された瞳孔間距離と、検出された瞳孔間画角φと、画像取得部１１により取得された画像等に基づき、ユーザＵの視点と表示装置６との相対位置を特定する。なお、ユーザＵの視点と表示装置６との相対位置の特定方法は、図３から図７を参照しながら説明したような方法で行うことができる。

【0071】

なお、ユーザＵの視点と表示装置６との相対位置の特定は、ユーザＵの属性に基づいて行われてもよい。ユーザＵの属性とは、例えば、瞳孔間距離の実寸値や、性別、年齢、人種等であってもよい。ユーザＵの属性は、予めユーザＵの操作に基づいて入力され、所定の記憶部に記憶される。この場合、視点相対位置算出部１２は、予め取得されたユーザＵの属性に基づき、ユーザＵの視点と表示装置６との相対的な位置関係を算出する。例えば、視点相対位置算出部１２は、予め記憶されたユーザＵの瞳孔間距離と、画像取得部１１により取得された画像から計測されたユーザＵの瞳孔間距離とに基づき、ユーザＵの視点と表示装置６との相対的な位置関係を算出してもよい。

【0072】

重力情報取得部１３は、重力センサ３から、重力方向の加速度、及び地軸等の絶対基準に対する装置の相対方位に関する情報を取得する。

【0073】

表示装置角度算出部１４は、重力情報取得部１３により取得された重力方向の加速度、及びその方位角に関する情報に基づき、表示装置６の角度を算出する。ここで、表示装置６は、重力センサ３と剛性結合されているため、表示装置角度算出部１４は、重力情報取得部１３により取得された重力方向の加速度、及び地軸等の絶対基準に対する装置の相対方位に関する情報に基づき、表示装置６の角度を算出することが可能となる。

【0074】

加速度情報取得部１５は、加速度センサ４から、自装置の加速度情報を取得する。具体的に、加速度情報取得部１５は、３軸方向（Ｘ軸・Ｙ軸・Ｚ軸）の加速度情報を取得する。

【0075】

初期位置情報取得部１６は、加速度情報取得部１５により取得された自装置の加速度情報を取得し、所定の地点の三次元座標情報である原点座標ＯＣを取得する。初期位置情報取得部１６は、原点座標ＯＣを原点としたときの、自装置が存在する位置情報を取得する。初期位置情報とは、図７に記載した初期位置ベクトルＳ（Ｉｘ，Ｉｙ，Ｉｚ）である。

【0076】

ベクトル算出部１７は、既知の情報に基づき、未知の情報を算出する。ベクトル算出部１７により算出される未知の情報とは、図６及び図７を参照しながら説明した３つの三次元ベクトルである。ベクトル算出部１７により算出される未知の情報とは、具体的には、表示装置６が像を射影する射影面の絶対位置（透視面位置ベクトル）と、ユーザＵの絶対的な位置座標（視点位置ベクトル）と、射影面が向く方向のベクトル（透視面平面ベクトル）である。以下、具体的な算出方法について説明する。

【0077】

表示装置６が像を射影する射影面の絶対位置（透視面位置ベクトル）とは、図７に記載の射影面絶対位置ベクトルＶ（Ｐ_ｘ，Ｐ_ｙ，Ｐ_ｚ）である。当該ベクトルは、初期位置情報取得部１６により取得された位置情報と、加速度情報取得部１５により取得された加速度情報とに基づき、算出される。

【0078】

ユーザＵの絶対的な位置座標（視点位置ベクトル）とは、図７に記載の視点絶対位置ベクトルＵ（Ｅ_ｘ，Ｅ_ｙ，Ｅ_ｚ）である。当該ベクトルは、算出された射影面絶対位置ベクトルＶ（Ｐ_ｘ，Ｐ_ｙ，Ｐ_ｚ）と、視点相対位置算出部１２により算出されたユーザＵの視点と表示装置６との相対的な位置関係とに基づき、算出される。

【0079】

射影面が向く方向のベクトル（透視面平面ベクトル）とは、図７に記載の射影面ベクトル(Ｐ_θ，Ｐ_Φ，Ｐ_Ψ)である。当該ベクトルは、射影面絶対位置ベクトルＶ（Ｐ_ｘ，Ｐ_ｙ，Ｐ_ｚ）と、重力情報取得部１３により取得された重力情報と、加速度情報取得部１５により取得された加速度情報とに基づき、算出される。

【0080】

表示制御部１８は、ベクトル算出部１７により算出された情報に基づいて、表示対象物の三次元情報を変形させ、表示装置６への表示を制御する。

【0081】

このような構成を採用することにより、表示システム１は、仮想的なオブジェクトである表示対象物を、ユーザＵの顔の位置や、スマートフォンＳＰの傾き等に応じて変形させ、表示する。したがって、ユーザＵは、ウェアラブル端末を使わなくとも、あたかも窓から仮想空間を覗くような体験を得ることができる。更に、利用者の微細な動きによる運動視差が生まれることにより没入感が高まる。

【0082】

ここで、上述した実施形態によれば、ユーザＵの視点とスマートフォンＳＰとの位置関係が変わらない場合、仮想的なオブジェクトの表示は、表示装置６に固定されたままとなる。画面に動きがない場合、三次元的な位置関係を把握しづらく、仮想空間への没入感を得難い場合がある。そこで、以下、本実施形態に係る表示制御装置１０の変形例として、ユーザＵの視点とスマートフォンＳＰとの位置関係が変わらない場合であっても、仮想空間への没入感を得ることが可能な表示制御装置１０Ａについて説明する。

【0083】

図１０は、本実施形態に係る表示制御装置の機能構成の変形例について示す機能構成図である。同図を参照しながら、表示制御装置１０Ａの機能構成の一例について説明する。表示制御装置１０Ａの説明において、表示制御装置１０と同様の構成については同様の符号を付すことにより説明を省略する場合がある。表示制御装置１０Ａは、更に誤差付与部１９を備える点において、表示制御装置１０とは異なる。

【0084】

誤差付与部１９は、複数の表示対象物それぞれの仮想的位置に基づいて、それぞれ異なる誤差を付与する。誤差は、例えば距離情報として与えられるものであってもよい。誤差付与部１９は、例えば、算出された視点位置の近くに存在する物体には大きな誤差を与え、算出された視点位置の遠くに存在する物体には小さな誤差を与えてもよい。また、誤差付与部１９は、逆に、スマートフォンＳＰの近傍には小さな誤差を与え、スマートフォンＳＰの遠くに存在する物体には大きな誤差を与えてもよい。

【0085】

表示制御部１８は、誤差付与部１９により付与された誤差の範囲で、表示対象物と背景との相対関係を変動させることにより、複数の表示対象物の、表示装置６への表示を制御する。すなわち、本実施形態によれば、スマートフォンＳＰから仮想的なオブジェクトが存在する位置までの距離に応じて、表示対象物と背景との相対関係が変動させられることとなる。相対関係が変動させられることにより、ユーザＵは、仮想的なオブジェクトがプルプルと動いているような感覚を得ることができる。また、プルプルと動く量が、距離に応じて異なるため、ユーザＵは、三次元的な位置関係を容易に把握することができ、三次元的な仮想世界に没入することができる。

【0086】

なお、表示対象物及び背景の相対関係の変動は、仮想的なオブジェクトの位置情報を変動することにより実現されてもよいし、背景の位置情報を変動することにより実現されてもよい。仮想的なオブジェクトの位置情報を変動することにより実現する場合、表示制御部１８は、付与された誤差の範囲で表示対象物を表示させる位置を変動させることにより、複数の表示対象物の表示装置６への表示を制御する。

【0087】

なお、表示対象物及び背景の相対関係の変動は、所定の一方向に対して行われることが好適である。所定の一方向とは、水平方向又は垂直方向のいずれかであることが好適である。例えば、垂直方向と水平方向とをミックスして変動させることも可能であるが、過度な変動はユーザＵの負担となり、酔ったような感覚を生じさせる可能性がある。

【0088】

また、複数の表示対象物が表示装置６に表示されており、絶対視点位置、表示器絶対位置、又は表示器向きベクトルのいずれかの動きにより表示が変形される場合、それぞれ異なる長さの遅延時間をもって表示の更新を遅延させることが好適である。このような構成を採用することにより、実際よりも変位を大きく錯覚させ、奥行を知覚しやすくすることができる。この場合、誤差付与部１９は、それぞれ異なる長さの遅延時間を付与してもよい。

【0089】

また、ベクトルの変化によって、オブジェクト同士の表示位置が変化した場合、それぞれ異なる遅延時間で表示させることにより、より現実的な変化を表現してもよい。例えば、図１（Ｃ）において、ユーザＵが左方向に動いた際に、ユーザＵの手前にあるオブジェクトＯＢＪ２と、ユーザＵの奥にあるオブジェクトＯＢＪ３に関して、ユーザからの見え方は、手前の方が早く動き、奥の方がゆっくり動くというのが物理法則として存在する。したがって、このような物理法則に倣って、スマートフォンＳＰ上でも手前と奥とで表示タイミングに遅延を設けて表示させてもよい。この場合、表示制御部１８は、表示装置６からそれぞれ異なる距離に存在する複数の表示対象物を表示装置６へ表示し、複数の表示対象物は、それぞれ表示装置６からの距離に応じて、異なる表示タイミングにより表示されることとなる。

【0090】

図１１は、本実施形態に係る表示システムにおいて、ユーザの顔が傾いた場合の考え方について説明するための図である。同図を参照しながら、顔の左右の傾きによる瞳孔間画角の見かけの距離変化への処理について説明する。図１１（Ａ）は、ユーザＵが表示装置６を正面から視認した場合の瞳孔間画角φを示している。図１１（Ｂ）は、ユーザＵが表示装置６を斜めから（横目で）見た場合の瞳孔間画角φを示している。このように、ユーザＵの顔の傾きに応じて、瞳孔間画角φは変化する。また、ユーザＵの顔の傾きに応じて、瞳孔間距離も変動する。このような課題を解決するため、ユーザＵの視点と表示装置６との相対位置の特定は、ユーザＵの左右の瞳孔又は虹彩サイズの比率に基づいて行われてもよい。この場合、視点相対位置算出部１２は、画像取得部１１により取得された画像に基づいて得られたユーザＵの左右の瞳孔又は虹彩の大きさの比率の変化に応じて、ユーザＵの視点と表示装置６との相対的な位置関係を更新してもよい。

【0091】

なお、目、鼻、口等の特徴位置が配置された顔面立体モデルを用いて、ユーザＵの視点と表示装置６との相対位置の特定が行われてもよい。顔面立体モデルとは、最も簡易なものは球面モデルによってあらわすことができ、その他、好適なモデルが用いられてもよい。この場合、顔面立体モデル上には、目、鼻、口等の特徴位置が配置され、見かけの位置に最も適合する顔面立体モデルの位置及び角度を算出することにより、相対的な位置関係を更新することができる。

【0092】

なお、実際のユースケースを考えると、２人が表示装置６を同時にのぞき込む場合がある。そのような場合、虹彩認証技術を用いて、いずれか一方のユーザＵを特定し、特定したユーザＵに好適な表示を行ってもよい。

【0093】

図１２は、本実施形態の表示制御装置１０内部構成の一例を示すブロック図である。表示制御装置１０の少なくとも一部の機能は、コンピュータを用いて実現され得る。図示するように、そのコンピュータは、中央処理装置９０１と、ＲＡＭ９０２と、入出力ポート９０３と、入出力デバイス９０４や９０５等と、バス９０６と、を含んで構成される。コンピュータ自体は、既存技術を用いて実現可能である。中央処理装置９０１は、ＲＡＭ９０２等から読み込んだプログラムに含まれる命令を実行する。中央処理装置９０１は、各命令にしたがって、ＲＡＭ９０２にデータを書き込んだり、ＲＡＭ９０２からデータを読み出したり、算術演算や論理演算を行ったりする。ＲＡＭ９０２は、データやプログラムを記憶する。ＲＡＭ９０２に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、ＲＡＭは、「ランダムアクセスメモリー」の略である。入出力ポート９０３は、中央処理装置９０１が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス９０４や９０５は、入出力デバイスである。入出力デバイス９０４や９０５は、入出力ポート９０３を介して中央処理装置９０１との間でデータをやりとりする。バス９０６は、コンピュータ内部で使用される共通の通信路である。例えば、中央処理装置９０１は、バス９０６を介してＲＡＭ９０２のデータを読んだり書いたりする。また、例えば、中央処理装置９０１は、バス９０６を介して入出力ポートにアクセスする。また、表示制御装置１０が備える各機能部の全てまたは一部は、ＡＳＩＣ、ＰＬＤ又はＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、各機能部の全部または一部は、ソフトウェアとハードウェアとの組み合わせにより実現されてもよい。

【0094】

［実施形態のまとめ］
本実施形態によれば、表示制御装置１０は、表示制御部１８を備えることにより、三次元情報を有する仮想的なオブジェクトである表示対象物を、表示装置６へ表示することを制御し、画像取得部１１を備えることにより、表示装置６と剛性連結された撮像装置２により撮像された画像であって、表示装置６に表示された表示対象物を見るユーザＵの顔が撮像された画像を取得し、視点相対位置算出部１２を備えることにより、取得した画像に基づき、ユーザＵの視点と、表示装置６との相対的な位置関係を算出し、重力情報取得部１３を備えることにより、重力方向の加速度及びその方位角に関する情報を取得し、初期位置情報取得部１６を備えることにより、所定の地点を原点としたときの、自装置が存在する位置情報を取得し、加速度情報取得部１５を備えることにより、自装置の加速度情報を取得する。

【0095】

また、表示制御装置１０は、初期位置情報取得部１６により取得された位置情報と、加速度情報取得部１５により取得された加速度情報とに基づき、表示装置６が像を射影する射影面の絶対位置（透視面位置ベクトル）を算出し、算出された射影面の絶対位置と、視点相対位置算出部１２により算出されたユーザＵの視点と表示装置６との相対的な位置関係とに基づき、ユーザＵの絶対的な位置座標（視点位置ベクトル）を算出し、算出された射影面の絶対位置と、重力情報取得部１３により取得された重力情報と、加速度情報取得部１５により取得された加速度情報に基づき、射影面が向く方向のベクトル（透視面平面ベクトル）を算出する。また、表示制御部１８は、ベクトル算出部１７により算出された情報に基づいて、表示対象物の三次元情報を変形させ、表示装置６への表示を制御する。このような構成を採用することにより、ユーザＵが表示装置６の正面に存在しない場合であっても、表示制御装置１０は、ユーザＵの視点と、表示画像とを一致させ、没入感を得られるようにすることができる。

【0096】

また、上述した実施形態によれば、視点相対位置算出部１２は、予め取得されたユーザＵの属性に基づき、ユーザＵの視点と表示装置６との相対的な位置関係を算出する。したがって、表示制御装置１０によれば、精度よくユーザＵの視点と表示装置６との相対的な位置関係を算出することができる。よって、表示制御装置１０は、ユーザＵの視点と、表示画像とを精度よく一致させ、より没入感を得られるようにすることができる。

【0097】

また、上述した実施形態によれば、視点相対位置算出部１２は、画像取得部１１により取得された画像に基づき、ユーザＵの瞳孔間の距離を計測し、計測されたユーザＵの瞳孔間の距離に基づき、ユーザＵの視点と表示装置６との相対的な位置関係を算出する。よって、表示制御装置１０は、ユーザＵの視点と、表示画像とを精度よく一致させ、より没入感を得られるようにすることができる。

【0098】

また、上述した実施形態によれば、視点相対位置算出部１２は、画像取得部１１により取得された画像に基づき、ユーザＵの瞳孔間距離と、瞳孔間画角とを計測し、計測されたユーザＵの瞳孔間距離と、瞳孔間画角とに基づき、ユーザＵの視点と表示装置６との相対的な位置関係を算出する。よって、表示制御装置１０は、ユーザＵの視点と、表示画像とを精度よく一致させ、より没入感を得られるようにすることができる。

【0099】

また、上述した実施形態によれば、視点相対位置算出部１２は、予め記憶されたユーザＵの瞳孔間距離と、画像取得部１１により取得された画像から計測されたユーザＵの瞳孔間距離とに基づき、ユーザＵの視点と表示装置６との相対的な位置関係を算出する。よって、表示制御装置１０は、ユーザＵの瞳孔間距離が既知である場合、ユーザＵの視点と、表示画像とを精度よく一致させ、より没入感を得られるようにすることができる。

【0100】

また、上述した実施形態によれば、視点相対位置算出部１２は、画像取得部１１により取得された画像に基づいて得られたユーザＵの左右の瞳孔又は虹彩の大きさの比率の変化に応じて、ユーザＵの視点と表示装置６との相対的な位置関係を更新する。よって、表示制御装置１０は、ユーザＵの顔が傾いた場合であっても、ユーザＵの視点と、表示画像とを精度よく一致させ、より没入感を得られるようにすることができる。

【0101】

また、上述した実施形態によれば、表示制御装置１０Ａによれば、表示制御部１８は、複数の表示対象物を表示装置６へ表示する。表示制御装置１０Ａは、複数の表示対象物それぞれの仮想的位置に基づいて、それぞれ異なる誤差を付与する誤差付与部１９を更に備え、表示制御部１８は、付与された誤差の範囲で表示対象物と背景との相対関係を変動させることにより、複数の表示対象物の表示装置６への表示を制御する。すなわち、表示制御装置１０Ａは、表示物をわざとプルプルと動かすことにより、より立体的に見えるような視覚的効果を与え、ユーザＵに対して、仮想的な世界への没入感を与えることができる。

【0102】

また、上述した実施形態によれば、表示制御部１８は、誤差付与部１９により付与された誤差の範囲で、表示対象物を表示させる位置を変動させることにより、複数の表示対象物の表示装置６への表示を制御する。すなわち、表示制御部１８は、背景及び表示対象物のうち、表示対象物の位置を変動させることにより、表示対象物と背景との相対関係を変動させる。したがって、表示制御装置１０Ａは、背景に対して表示物をわざとプルプルと動かすことにより、より立体的に見えるような視覚的効果を与え、ユーザＵに対して、仮想的な世界への没入感を与えることができる。

【0103】

また、上述した実施形態によれば、
表示制御部１８は、誤差付与部１９により付与された誤差の範囲で、表示対象物を表示させる位置を、所定の一方向に変動させることにより、複数の表示対象物の表示装置６への表示を制御する。本実施形態によれば、表示制御装置１０Ａは、上下左右をミックスさせてプルプルはさせないため、ユーザＵは、表示制御装置１０Ａにより表示された画面をみても、酔ったような感覚となることが少ない。

【0104】

なお、これにより、例えばスマートフォンやタブレット端末等を介して、仮想的な三次元情報をユーザに提示するサービスについて、サービス品質の向上を実現することができることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標８「すべての人々のための包摂的かつ持続可能な経済成長、雇用およびディーセント・ワークを推進する」に貢献することが可能となる。

【0105】

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【0106】

また、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

【0107】

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。 また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【符号の説明】

【0108】

１…表示システム、２…撮像装置、３…重力センサ、４…加速度センサ、５…記憶装置、６…表示装置、１０…表示制御装置、１１…画像取得部、１２…視点相対位置算出部、１３…重力情報取得部、１４…表示装置角度算出部、１５…加速度情報取得部、１６…初期位置情報取得部、１７…ベクトル算出部、１８…表示制御部、１９…誤差付与部、１２１…瞳孔位置特定部、１２２…瞳孔間画角特定部、１２３…視点相対位置特定部、ＯＣ…原点座標、ＤＯＩ…表示対象物情報

【要約】

【課題】ユーザが表示装置の正面に存在しない場合であっても、利用者視点と、表示画像とを一致させ、没入感を得られるようにする。
【解決手段】表示制御装置は、表示対象物を表示装置へ表示することを制御する表示制御部と、表示装置と剛性連結された撮像装置により撮像された画像であって、使用者の顔が撮像された画像を取得する画像取得部と、使用者の視点と表示装置との相対的な位置関係を算出する視点相対位置算出部と、重力方向の加速度及びその方位角に関する情報を取得する重力情報取得部と、自装置が存在する位置情報を取得する初期位置情報取得部と、加速度情報を取得する加速度情報取得部と、表示装置が像を射影する射影面の絶対位置を算出し、使用者の絶対的な位置座標を算出し、射影面が向く方向を算出するベクトル算出部を備え、表示制御部は、ベクトル算出部により算出された情報に基づいて表示対象物の三次元情報を変形させる。
【選択図】図９

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】