(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-16
(45)【発行日】2023-08-24
(54)【発明の名称】表示システム、表示方法、コントローラ、及び、コンピュータプログラム
(51)【国際特許分類】
G09G 5/377 20060101AFI20230817BHJP
G09G 5/00 20060101ALI20230817BHJP
G09G 5/37 20060101ALI20230817BHJP
G06F 3/01 20060101ALI20230817BHJP
G06F 3/0346 20130101ALI20230817BHJP
H04N 5/64 20060101ALI20230817BHJP
G06T 19/00 20110101ALI20230817BHJP
【FI】
G09G5/377 110
G09G5/00 550C
G09G5/377 100
G09G5/37 320
G09G5/37 100
G06F3/01 510
G06F3/0346 423
H04N5/64 511A
G06T19/00 F
(21)【出願番号】P 2019110139
(22)【出願日】2019-06-13
【審査請求日】2022-06-10
【新規性喪失の例外の表示】特許法第30条第2項適用 2019年2月9日の「立命館大学大学院情報理工学研究科情報理工学専攻 修士論文公聴会」にて発表
(73)【特許権者】
【識別番号】593006630
【氏名又は名称】学校法人立命館
(74)【代理人】
【識別番号】100111567
【氏名又は名称】坂本 寛
(72)【発明者】
【氏名】池田 聖
(72)【発明者】
【氏名】柴田 史久
(72)【発明者】
【氏名】菊池 裕太
(72)【発明者】
【氏名】原 一仁
【審査官】塚本 丈二
(56)【参考文献】
【文献】国際公開第2017/085803(WO,A1)
【文献】特開2017-134803(JP,A)
【文献】米国特許出願公開第2014/0149927(US,A1)
【文献】特開平09-022340(JP,A)
【文献】特開2001-056675(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G09G 5/00-5/42
G06F 3/01
G06F 3/0346
H04N 5/64
G06T 19/00
(57)【特許請求の範囲】
【請求項1】
表示装置と、
視線検出センサと、
前記表示装置における表示を制御するコントローラと、
を備え、
前記コントローラは、
第1注視用オブジェクト上に第1非注視用オブジェクトを重畳した第1オブジェクト表示を行い、
前記視線検出センサからの検出信号に基づき、前記第1非注視用オブジェクトへのユーザの注視が検出されると、前記第1オブジェクト表示を第2オブジェクト表示に切り替える、
動作をするよう構成され、
前記第1非注視用オブジェクトは、前記第1オブジェクト表示において、視認可能な第1部分と、前記第1部分よりも透過度が高い第2部分と、を有し、
前記第1オブジェクト表示において、前記第1非注視用オブジェクトが重畳された前記第1注視用オブジェクトは、前記第2部分から視認可能であ
り、
前記第2オブジェクト表示は、第2注視用オブジェクト上に第2非注視用オブジェクトを重畳した表示であり、
前記第2非注視用オブジェクトは、前記第2オブジェクト表示において、視認可能な第1部分と、前記第1部分よりも透過度が高い第2部分と、を有し、
前記第2オブジェクト表示において、前記第2非注視用オブジェクトが重畳された前記第2注視用オブジェクトは、前記第2部分から視認可能であり、
前記第1非注視用オブジェクトは、前記第2注視用オブジェクトを表す画像から生成された画像であって、前記第1非注視用オブジェクトにおける前記第2部分に相当する前記第2注視用オブジェクトにおける部分の透過度を高くすることにより生成された画像によって表され、
前記第2非注視用オブジェクトは、前記第1注視用オブジェクトを表す画像から生成された画像であって、前記第2非注視用オブジェクトにおける前記第2部分に相当する前記第1注視用オブジェクトにおける部分の透過度を高くすることにより生成された画像によって表される、
表示システム。
【請求項2】
前記第1非注視用オブジェクトを表す画像における前記第1部分は、前記第2注視用オブジェクトの形状を示す
請求項
1に記載の表示システム。
【請求項3】
前記第1非注視用オブジェクトを表す画像における前記第2部分は、前記第1非注視用オブジェクトを表す画像における前記第1部分よりも広い
請求項
1又は請求項2に記載の表示システム。
【請求項4】
前記コントローラは、前記第1注視用オブジェクト及び前記第1非注視用オブジェクトを、奥行位置が異なって視認されるように重畳した前記第1オブジェクト表示を行う
請求項1~請求項
3のいずれか一項に記載の表示システム。
【請求項5】
前記コントローラは、
前記視線検出センサからの検出信号に基づき奥行方向における注視位置を識別し、
前記奥行方向における前記注視位置に基づき、前記第1非注視用オブジェクトへのユーザの注視を検出する
請求項
4に記載の表示システム。
【請求項6】
前記コントローラは、両眼視差を含む対の画像をユーザに提示することで、前記第1注視用オブジェクト及び前記第1非注視用オブジェクトを、奥行位置が異なって視認されるよう重畳した前記第1オブジェクト表示を行うよう構成され、
前記第1注視用オブジェクトが前記第1非注視用オブジェクトの手前に位置するよう視認される場合において、前記対の画像それぞれは、前記第1注視用オブジェクトを表す画像の上に前記第1非注視用オブジェクトが配置されて描画されている
請求項
4又は5に記載の表示システム。
【請求項7】
第1注視用オブジェクト上に第1非注視用オブジェクトを重畳した第1オブジェクト表示を行うことと、
前記第1非注視用オブジェクトへのユーザの注視が検出されると、前記第1オブジェクト表示を第2オブジェクト表示に切り替えることと、を備え、
前記第1非注視用オブジェクトは、前記第1オブジェクト表示において、視認可能な第1部分と、前記第1部分よりも透過度が高い第2部分と、を有し、
前記第1オブジェクト表示において、前記第1非注視用オブジェクトが重畳された前記第1注視用オブジェクトは、前記第2部分から視認可能であ
り、
前記第2オブジェクト表示は、第2注視用オブジェクト上に第2非注視用オブジェクトを重畳した表示であり、
前記第2非注視用オブジェクトは、前記第2オブジェクト表示において、視認可能な第1部分と、前記第1部分よりも透過度が高い第2部分と、を有し、
前記第2オブジェクト表示において、前記第2非注視用オブジェクトが重畳された前記第2注視用オブジェクトは、前記第2部分から視認可能であり、
前記第1非注視用オブジェクトは、前記第2注視用オブジェクトを表す画像から生成された画像であって、前記第1非注視用オブジェクトにおける前記第2部分に相当する前記第2注視用オブジェクトにおける部分の透過度を高くすることにより生成された画像によって表され、
前記第2非注視用オブジェクトは、前記第1注視用オブジェクトを表す画像から生成された画像であって、前記第2非注視用オブジェクトにおける前記第2部分に相当する前記第1注視用オブジェクトにおける部分の透過度を高くすることにより生成された画像によって表される、
表示方法。
【請求項8】
表示装置における表示を制御するコントローラであって、
第1注視用オブジェクト上に第1非注視用オブジェクトを重畳した第1オブジェクト表示を行い、
前記第1非注視用オブジェクトへのユーザの注視が検出されると、前記第1オブジェクト表示を第2オブジェクト表示に切り替える、
動作をするよう構成され、
前記第1非注視用オブジェクトは、前記第1オブジェクト表示において、視認可能な第1部分と、前記第1部分よりも透過度が高い第2部分と、を有し、
前記第1オブジェクト表示において、前記第1非注視用オブジェクトが重畳された前記第1注視用オブジェクトは、前記第2部分から視認可能であ
り、
前記第2オブジェクト表示は、第2注視用オブジェクト上に第2非注視用オブジェクトを重畳した表示であり、
前記第2非注視用オブジェクトは、前記第2オブジェクト表示において、視認可能な第1部分と、前記第1部分よりも透過度が高い第2部分と、を有し、
前記第2オブジェクト表示において、前記第2非注視用オブジェクトが重畳された前記第2注視用オブジェクトは、前記第2部分から視認可能であり、
前記第1非注視用オブジェクトは、前記第2注視用オブジェクトを表す画像から生成された画像であって、前記第1非注視用オブジェクトにおける前記第2部分に相当する前記第2注視用オブジェクトにおける部分の透過度を高くすることにより生成された画像によって表され、
前記第2非注視用オブジェクトは、前記第1注視用オブジェクトを表す画像から生成された画像であって、前記第2非注視用オブジェクトにおける前記第2部分に相当する前記第1注視用オブジェクトにおける部分の透過度を高くすることにより生成された画像によって表される、
コントローラ。
【請求項9】
プロセッサに表示装置における表示を制御する処理を行わせるコンピュータプログラムであって、
前記処理は、
第1注視用オブジェクト上に第1非注視用オブジェクトを重畳した第1オブジェクト表示を行うことと、
前記第1非注視用オブジェクトへのユーザの注視が検出されると、前記第1オブジェクト表示を第2オブジェクト表示に切り替えることと、を含み、
前記第1非注視用オブジェクトは、前記第1オブジェクト表示において、視認可能な第1部分と、前記第1部分よりも透過度が高い第2部分と、を有し、
前記第1オブジェクト表示において、前記第1非注視用オブジェクトが重畳された前記第1注視用オブジェクトは、前記第2部分から視認可能であ
り、
前記第2オブジェクト表示は、第2注視用オブジェクト上に第2非注視用オブジェクトを重畳した表示であり、
前記第2非注視用オブジェクトは、前記第2オブジェクト表示において、視認可能な第1部分と、前記第1部分よりも透過度が高い第2部分と、を有し、
前記第2オブジェクト表示において、前記第2非注視用オブジェクトが重畳された前記第2注視用オブジェクトは、前記第2部分から視認可能であり、
前記第1非注視用オブジェクトは、前記第2注視用オブジェクトを表す画像から生成された画像であって、前記第1非注視用オブジェクトにおける前記第2部分に相当する前記第2注視用オブジェクトにおける部分の透過度を高くすることにより生成された画像によって表され、
前記第2非注視用オブジェクトは、前記第1注視用オブジェクトを表す画像から生成された画像であって、前記第2非注視用オブジェクトにおける前記第2部分に相当する前記第1注視用オブジェクトにおける部分の透過度を高くすることにより生成された画像によって表される、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示システム、表示方法、コントローラ、及び、コンピュータプログラムに関する。
【背景技術】
【0002】
強調して提示するオブジェクトを、視線移動などのユーザの動作に応じて可変的に切り替えることで、ユーザが注目したいオブジェクトを視認しやすく提示する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【0004】
しかしながら、このようなオブジェクトの提示方法では、ユーザは、遮蔽物もしくは不可視領域にあるオブジェクトを強調して提示する対象として選択することが難しい。例えば、強調して提示するオブジェクトをユーザの注視位置によって切り替える技術では、遮蔽物もしくは不可視領域にあるオブジェクトを注視することが難しい場合がある。そのため、強調して提示するオブジェクトを容易に切り替えられることが望まれる。
【0005】
ある実施の形態に従うと、表示システムは、表示装置と、視線検出センサと、表示装置における表示を制御するコントローラと、を備え、コントローラは、第1注視用オブジェクトと第1非注視用オブジェクトとを重畳した第1オブジェクト表示を行い、視線検出センサからの検出信号に基づき、第1非注視用オブジェクトへのユーザの注視が検出されると、第1オブジェクト表示を第2オブジェクト表示に切り替える、動作をするよう構成され、第1注視用オブジェクトは、第1オブジェクト表示において、第1非注視用オブジェクトよりも視認上優位に表れ、第1非注視用オブジェクトを表す画像は、第1オブジェクト表示において、視認可能な第1部分と、第1部分よりも視認性が低い第2部分と、を有する。
【0006】
他の実施の形態に従うと、表示方法は、第1注視用オブジェクトと第1非注視用オブジェクトとを、第1注視用オブジェクトが第1非注視用オブジェクトよりも視認上優位となるように重畳した第1オブジェクト表示を行うことと、第1非注視用オブジェクトへのユーザの注視が検出されると、第1オブジェクト表示を第2オブジェクト表示に切り替えることと、を備え、第1非注視用オブジェクトは、第1オブジェクト表示において、視認可能な第1部分と、第1部分よりも視認性が低い第2部分と、を有する。
【0007】
他の実施の形態に従うと、コントローラは、表示装置における表示を制御するコントローラであって、第1注視用オブジェクトと第1非注視用オブジェクトとを重畳した第1オブジェクト表示を行い、第1非注視用オブジェクトへのユーザの注視が検出されると、第1オブジェクト表示を第2オブジェクト表示に切り替える、動作をするよう構成され、第1注視用オブジェクトは、第1オブジェクト表示において、第1非注視用オブジェクトよりも視認上優位に表れ、第1非注視用オブジェクトは、第1オブジェクト表示において、視認可能な第1部分と、第1部分よりも視認性が低い第2部分と、を有する。
【0008】
他の実施の形態に従うと、コンピュータプログラムはプロセッサに表示装置における表示を制御する処理を行わせるコンピュータプログラムであって、処理は、第1注視用オブジェクトと第1非注視用オブジェクトとを重畳した第1オブジェクト表示を行うことと、第1非注視用オブジェクトへのユーザの注視が検出されると、第1オブジェクト表示を第2オブジェクト表示に切り替えることと、を含み、第1注視用オブジェクトは、第1オブジェクト表示において、第1非注視用オブジェクトよりも視認上優位に表れ、第1非注視用オブジェクトは、第1オブジェクト表示において、視認可能な第1部分と、第1部分よりも視認性が低い第2部分と、を有する。
【0009】
更なる詳細は、後述の実施形態として説明される。
【図面の簡単な説明】
【0010】
【
図1】
図1は、実施の形態に係る表示システムの構成を表した概略ブロック図である。
【
図2】
図2は、表示システムに含まれるコントローラの、プロセッサの機能を表した概略ブロック図である。
【
図3】
図3は、表示システムが表示対象とする、異なる奥行の複数のオブジェクトを説明するための図である。
【
図4】
図4は、第1の実施の形態に係る表示システムでの表示方法を説明するための図である。
【
図5】
図5は、表示システムでの表示の切り替えを説明するための図である。
【
図6】
図6は、表示システムでの表示の切り替えを説明するための図である。
【
図7】
図7は、オブジェクト「A」の具体例を表した図であって、注視用オブジェクトとしてのオブジェクト「A」と、非注視用オブジェクトとしてのオブジェクト「A」と、を表した図である。
【
図8】
図8は、オブジェクト「B」の具体例を表した図であって、注視用オブジェクトとしてのオブジェクト「B」と、非注視用オブジェクトとしてのオブジェクト「B」と、を表した図である。
【
図9】
図9は、
図7及び
図8のオブジェクトを表示対象としたときの、第1オブジェクト表示と第2オブジェクト表示との具体例を示した図である。
【
図10】
図10は、表示システムでの表示方法の流れを表したフローチャートである。
【発明を実施するための形態】
【0011】
<1.表示システム、表示方法、コントローラ、及び、コンピュータプログラムの概要>
【0012】
(1)本実施の形態に含まれる表示システムは、表示装置と、視線検出センサと、表示装置における表示を制御するコントローラと、を備え、コントローラは、第1注視用オブジェクトと第1非注視用オブジェクトとを重畳した第1オブジェクト表示を行い、視線検出センサからの検出信号に基づき、第1非注視用オブジェクトへのユーザの注視が検出されると、第1オブジェクト表示を第2オブジェクト表示に切り替える、動作をするよう構成され、第1注視用オブジェクトは、第1オブジェクト表示において、第1非注視用オブジェクトよりも視認上優位に表れ、第1非注視用オブジェクトは、第1オブジェクト表示において、視認可能な第1部分と、第1部分よりも視認性が低い第2部分と、を有する。
【0013】
視線検出センサは、例えばカメラである。この場合、撮影画像に含まれるユーザの眼球画像に基づいてユーザの視線を検出することができる。第1非注視用オブジェクトを表す画像が、第1オブジェクト表示において、視認可能な第1部分と、第1部分よりも視認性が低い第2部分と、を有することで、表示装置の表示において第1非注視用オブジェクトが視認可能となる。そのため、ユーザは、表示装置の表示において第1注視用オブジェクトが視認上優位であることを維持したまま第1非注視用オブジェクトに注視できる。これにより、表示装置の表示の切り替えが容易になる。
【0014】
第1注視用オブジェクト及び第1非注視用オブジェクトは、例えば、いずれも、画像によって構成された仮想オブジェクトであってもよい。この場合、第1注視用オブジェクトを表す画像と第1非注視用オブジェクトを表す画像とが重畳表示される。
【0015】
また、第1注視用オブジェクト及び第1非注視用オブジェクトのいずれか一方が、仮想オブジェクトであり、他方が、現実世界の実オブジェクトであってもよい。例えば、表示装置として透過型ディスプレイを採用し、透過した実オブジェクトに仮想オブジェクトを重畳表示することができる。
【0016】
実オブジェクトが第1注視用オブジェクトである場合、第1非注視用オブジェクトとなる仮想オブジェクト(画像)が、第1オブジェクト表示において、仮想オブジェクト(画像)を視認可能な第1部分と、第1部分よりも仮想オブジェクト(画像)としての視認性が低く実オブジェクトが視認可能に現れる第2部分と、を有していればよい。
【0017】
第1非注視用オブジェクトが実オブジェクトである場合、第1注視用オブジェクトとなる仮想オブジェクト(画像)が、第1非注視用オブジェクト(実オブジェクト)の視認を妨げつつ仮想オブジェクト(画像)を視認可能にする第1画像部分と、実オブジェクトを視認可能にしつつ仮想オブジェクト(画像)としての視認性が低い第2画像部分と、を有することができる。その結果、実オブジェクトである第1非注視用オブジェクトは、重畳表示されたときにおいて、第2画像部分を介して視認可能な第1部分と、第1画像部分により視認が妨げられて前記第1部分よりも視認性が低い第2部分と、を有することができる。
【0018】
(2)好ましくは、第2オブジェクト表示は、第2注視用オブジェクトと第2非注視用オブジェクトとを重畳した表示であり、第2注視用オブジェクトは、第2オブジェクト表示において、第2非注視用オブジェクトよりも視認上優位に表れ、第2非注視用オブジェクトは、第2オブジェクト表示において、視認可能な第1部分と、第1部分よりも視認性が低い第2部分と、を有する。これにより、第2オブジェクト表示において第2注視用オブジェクトが視認上優位であることを維持したまま第2非注視用オブジェクトが視認可能となる。そのため、ユーザは、表示装置の表示において第2非注視用オブジェクトに注視できる。これにより、表示装置の表示の切り替えが容易になる。
【0019】
(3)好ましくは、第1非注視用オブジェクトは、第2注視用オブジェクトを表す画像から生成された画像によって表される。これにより、ユーザは、第1非注視用オブジェクトが注視用オブジェクトとして示される状態をイメージしやすく、注視しやすくなる。
【0020】
(4)好ましくは、第1非注視用オブジェクトを表す画像における第1部分は、第2注視用オブジェクトの形状を示す。これにより、ユーザは、第1非注視用オブジェクトが注視用オブジェクトとして示される状態をイメージしやすく、注視しやすくなる。
【0021】
(5)好ましくは、第1非注視用オブジェクトを表す画像における第2部分は、第1非注視用オブジェクトを表す画像における第1部分よりも広い。これにより、第1注視用オブジェクトを、第1オブジェクト表示されたときにおいて、第1非注視用オブジェクトよりも視認上優位に表わすことができる。
【0022】
(6)好ましくは、第2部分は、第1部分よりも透過度が高い。これにより、第1注視用オブジェクトを、第1オブジェクト表示されたときにおいて、第1非注視用オブジェクトよりも視認上優位に表わすことができる。
【0023】
(7)好ましくは、第1注視用オブジェクト及び第1非注視用オブジェクトは、いずれも、画像によって表される。これにより、ユーザは、第1非注視用オブジェクトが注視用オブジェクトとして示される状態をイメージしやすく、注視しやすくなる。
【0024】
(8)好ましくは、コントローラは、第1注視用オブジェクト及び第1非注視用オブジェクトを、奥行位置が第2オブジェクトと異なって視認されるように重畳した第1オブジェクト表示を行う。これにより、表示装置には立体表示される。
【0025】
(9)好ましくは、コントローラは、視線検出センサからの検出信号に基づき奥行方向における注視位置を識別し、奥行方向における注視位置に基づき、第1非注視用オブジェクトへのユーザの注視を検出する。これにより、注視位置が定まりやすくなり、第1非注視用オブジェクトが表示されないときよりも高精度でユーザの注視が検出される。その結果、表示装置の表示の切り替えが容易になる。
【0026】
(10)好ましくは、コントローラは、両眼視差を含む画像をユーザに提示することで、第1注視用オブジェクト及び第1非注視用オブジェクトを、奥行位置が異なって視認されるよう重畳した第1オブジェクト表示を行うよう構成され、第1注視用オブジェクトが第1非注視用オブジェクトの手前に位置するよう視認される場合において、対の画像それぞれは、第1注視用オブジェクトを表す画像の上に第1非注視用オブジェクトが配置されて描画されている。これにより、重畳表示された状態において第1非注視用オブジェクトが視認可能となる。
【0027】
(11)本実施の形態に含まれる表示方法は、第1注視用オブジェクトと第1非注視用オブジェクトとを、第1注視用オブジェクトが第1非注視用オブジェクトよりも視認上優位となるように重畳した第1オブジェクト表示を行うことと、第1非注視用オブジェクトへのユーザの注視が検出されると、第1オブジェクト表示を第2オブジェクト表示に切り替えることと、を備え、第1非注視用オブジェクトは、第1オブジェクト表示において、視認可能な第1部分と、第1部分よりも視認性が低い第2部分と、を有する。
【0028】
(12)本実施の形態に含まれるコントローラは、表示装置における表示を制御するコントローラであって、第1注視用オブジェクトと第1非注視用オブジェクトとを重畳した第1オブジェクト表示を行い、第1非注視用オブジェクトへのユーザの注視が検出されると、第1オブジェクト表示を第2オブジェクト表示に切り替える、動作をするよう構成され、第1注視用オブジェクトは、第1オブジェクト表示において、第1非注視用オブジェクトよりも視認上優位に表れ、第1非注視用オブジェクトは、第1オブジェクト表示において、視認可能な第1部分と、第1部分よりも視認性が低い第2部分と、を有する。
【0029】
(13)本実施の形態に含まれるコンピュータプログラムはプロセッサに表示装置における表示を制御する処理を行わせるコンピュータプログラムであって、処理は、第1注視用オブジェクトと第1非注視用オブジェクトとを重畳した第1オブジェクト表示を行うことと、第1非注視用オブジェクトへのユーザの注視が検出されると、第1オブジェクト表示を第2オブジェクト表示に切り替えることと、を含み、第1注視用オブジェクトは、第1オブジェクト表示において、第1非注視用オブジェクトよりも視認上優位に表れ、第1非注視用オブジェクトは、第1オブジェクト表示において、視認可能な第1部分と、第1部分よりも視認性が低い第2部分と、を有する。なお、コンピュータプログラムは、コンピュータ読み取り可能な非一時的な記憶媒体に格納される。
【0030】
<2.表示システム、表示方法、コントローラ、及び、コンピュータプログラムの例>
【0031】
[第1の実施の形態]
【0032】
図1を参照して、本実施の形態に表示システム100は、表示装置31と、表示装置31における表示を制御するコントローラ1と、を備える。表示装置31は、一例として、ヘッドマウントディスプレイ(以下、HMD)3に搭載され、ユーザの頭部に着用した状態で当該ユーザによって視認される。
【0033】
コントローラ1は、HMD3とは分離した別の装置であり、HMD3と通信することによって表示装置31における表示を制御する。そのため、コントローラ1とHMD3とは、それぞれ、インタフェース12,33を有する。インタフェース12,33は、無線、又は、有線による通信装置である。なお、コントローラ1は、HMD3に搭載されていてもよい。この場合、インタフェース12,33は、コントローラ1とHMD3の他の構成との間の接続機構を指す。
【0034】
コントローラ1は、CPU(Central Processing Unit)などであるプロセッサ10と、メモリ11と、を有する。メモリ11は、プロセッサ10によって実行されるプログラムを記憶している。メモリ11は、さらに、プロセッサ10による処理で用いられる画像データを記憶しておく画像データベース(DB)111を有する。
【0035】
コントローラ1は、さらに、ユーザ操作を受け付ける操作部13を有してもよい。操作部13は、例えば、表示装置31での表示の開始や終了の指示を受け付けることができる。操作部13は、ユーザ操作を示す操作信号をプロセッサ10に入力する。プロセッサ10は、操作信号に従って処理を実行する。
【0036】
HMD3には、さらに、HMD3を装着したユーザの視線を検出するためのセンサ32が搭載されている。センサ32は、検出結果を示すセンサ信号Sを、インタフェース12,33を介してコントローラ1に渡す。プロセッサ10は、処理にセンサ信号を用いることができる。
【0037】
コントローラ1では、センサ32からのセンサ信号Sを用いてユーザの視線が検出され、注視位置が特定される。注視位置は、両眼を結ぶ線分の中点(視点)から、その線分に直交する方向の距離、つまり、視点からの距離(以下、奥行とも言う)で表す。注視位置を特定する方法として、従来のさまざまな方法を採用可能である。センサ32は、注視位置を特定する方法に対応したセンサであってよい。
【0038】
一例として、センサ32はカメラである。カメラは、HMD3を装着したユーザの眼球を正面から撮影可能な位置に配置される。センサ信号Sは、撮影画像である。この場合、撮影画像を解析することでユーザの両黒目が特定される。撮影画像中の黒目の形状から、両眼の視軸の角度(輻輳角)が算出される。輻輳角は、近くにある(奥行の小さい)対象物を注視すると大きくなり、遠くにある(奥行の大きい)対象物を注視するときに小さくなる。そのため、輻輳角に基づいてユーザの注視位置が特定される。
【0039】
図2を参照して、プロセッサ10は、メモリ11に記憶されているプログラムを実行することで、上記の注視位置を検出する処理(注視検出処理)101を実行する。注視検出処理101は、表示装置31に表示された画像における注視位置を検出する処理である。一例として、プロセッサ10は、輻輳角と注視位置との関係式を予め記憶しておき、算出された輻輳角をその関係式に代入することによって得られた解より注視位置を検出する。注視位置の検出方法は他の方法であってもよい。
【0040】
プロセッサ10は、メモリ11に記憶されているプログラムを実行することで、表示画像を生成する処理(画像生成処理)102を実行する。このとき、プロセッサ10は、メモリの画像DB111から必要な画像データを読み出して用いる。
【0041】
画像生成処理102は、表示装置31に表示させる画像を生成する処理である。表示装置31に表示させる画像は、HMD3を装着したユーザによって立体視される画像であるとともに、奥行きが異なる複数のオブジェクトを含む画像である。ここでのオブジェクトは、実際のオブジェクト(物体)を表す画像を指す。立体視される画像は、視点からの距離(奥行)に応じた視差を生じるように左右方向にずらせた右目用画像及び左目用画像からなる。画像生成処理102は、左右眼それぞれ用画像を生成する際に、複数の奥行きそれぞれが設定された複数のオブジェクトを重畳する処理を含む。
【0042】
複数のオブジェクトは、注視用オブジェクトと非注視用オブジェクトとに分類され、いずれも、画像によって表される。注視用オブジェクトは、表示装置31に表示させる画像において非注視用オブジェクトよりも視認上優位に表わされる。
【0043】
視認上優位に表わすことは、一例として、注視用オブジェクトの視認性を、非注視用オブジェクトの視認性よりも高くすることである。非注視用オブジェクトは、複数のオブジェクトを重畳したときにおいて視認可能な部分と、視認可能な部分よりも視認性が低い部分と、を有することで、注視用オブジェクトの視認性よりも視認性が低い。なお、非注視用オブジェクトにおける、視認可能な部分を第1部分、視認性が低い部分を第2部分と称する。
【0044】
好ましくは、第2部分は第1部分よりも広い。これにより、非注視用オブジェクトの視認性を注視用オブジェクトの視認性より低くすることができる。なお、視認性は一例として透過度であって、第2部分は第1部分よりも透過度が高い。透過度が高いことで、重畳表示した際に視認性が低い部分は重畳された他のオブジェクトが示される。一例として、視認性の高い注視用オブジェクトは通常画像とする。また、視認性が低い非注視用オブジェクトは、該当する通常画像の部分的に視認性を低くした画像とし、ここでは網目画像とも称する。
【0045】
図3に示されたように、左右眼5L,5Rからの距離、つまり、奥行LAの「A」で示されたオブジェクト「A」OB1と、奥行LBの「B」で示されたオブジェクト「B」OB2との2つのオブジェクトを含む画像を表示装置31に表示させる場合について説明する。このとき、LA>LB、つまり、オブジェクト「A」OB1がオブジェクト「B」OB2よりも奥にある(左右眼5L,5Rを結ぶ線分の中点から遠い)ものとする。
【0046】
なお、
図3は、説明の簡便のために各オブジェクトを含む画像が左右眼5L,5Rに対して正対する平面上にあるものとして奥行を説明するものである。以降の説明でも、簡便のために、各オブジェクトを含む画像が左右眼5L,5Rに対して正対する平面上にあるものとする。しかしながら、各オブジェクトを含む画像が左右眼5L,5Rに対して正対する曲面上にあっても同様である。その場合、左右眼5L,5Rの向く方向に伸び、左右眼5L,5Rを結ぶ線分(以下、線分5L-5R)に直交する方向を注視方向とする。そして、線分5L-5Rの中点からのオブジェクトまでの注視方向の距離をそのオブジェクトの奥行とすることができる。
【0047】
画像生成処理102は、
図4に示されたような、第1オブジェクト表示と第2オブジェクト表示とを行うための画像データを生成する処理を含む。第1オブジェクト表示103Aは、第2オブジェクト表示103Bに切り替わる前の表示であり、第2オブジェクト表示103Bは、第1オブジェクト表示103Aから切り替わった後の表示である。
【0048】
各表示は、注視用オブジェクトと非注視用オブジェクトとを含む。第1オブジェクト表示103Aに含まれる注視用オブジェクトを第1注視用オブジェクト、非注視用オブジェクトを第1非注視用オブジェクトと称する。第2オブジェクト表示103Bに含まれる注視用オブジェクトを第2注視用オブジェクト、非注視用オブジェクトを第2非注視用オブジェクトと称する。
【0049】
第1オブジェクト表示103Aでは、オブジェクト「A」OB1を第1注視用オブジェクトとし、オブジェクト「B」OB2を第1非注視用オブジェクトとしている。第2オブジェクト表示103Bでは、オブジェクト「B」OB2を第2非注視用オブジェクトとし、オブジェクト「A」OB1を第2注視用オブジェクトとしている。
【0050】
オブジェクト「A」OB1を第1注視用オブジェクトとするときは、一例として、オブジェクト「A」OB1を通常画像とする。オブジェクト「B」OB2を第1非注視用オブジェクトとするときは、一例として、オブジェクト「B」OB2を網目画像とする。
図4においては、第1注視用オブジェクトとしたオブジェクト「A」をオブジェクト「A」OB11、第1非注視用オブジェクトとしたオブジェクト「B」をオブジェクト「B」OB22で表している。
【0051】
オブジェクト「B」OB2を第2注視用オブジェクトとするときは、一例として、オブジェクト「B」OB2を通常画像とする。オブジェクト「A」OB1を第2非注視用オブジェクトとするときは、一例として、オブジェクト「A」OB1を網目画像とする。
図4においては、第2注視用オブジェクトとしたオブジェクト「B」をオブジェクト「B」OB21、第2非注視用オブジェクトとしたオブジェクト「A」をオブジェクト「A」OA12で表している。
【0052】
画像生成処理102で行われるオブジェクトの重畳は、注視用オブジェクトの上に非注視用オブジェクトを配置して描画する処理である。すなわち、第1オブジェクト表示103Aを行うための画像生成処理102では、オブジェクト「A」OB11の上にオブジェクト「B」OB22を重畳する。第2オブジェクト表示103Bを行うための画像生成処理102では、オブジェクト「B」OB21の上にオブジェクト「A」OB12を重畳する。
【0053】
これにより、視認性が低い非注視用オブジェクトが視認性の高い注視用オブジェクトより上に重なって描画される。その結果、注視用オブジェクトが視認されつつ、非注視用オブジェクトも注視用オブジェクトよりも低い視認性で視認可能に画像に表現される。つまり、ユーザは、注視用オブジェクトと非注視用オブジェクトとの両方を、異なる視認性で視認可能となる。そして、知覚される両オブジェクトの奥行感は維持されたまま、ユーザは、非注視用オブジェクトが視認可能になる。
【0054】
プロセッサ10は、表示対象のオブジェクトが特定されると画像生成処理102を実行する。表示対象のオブジェクトの特定は、
図3,4の例では、オブジェクト「A」OB1とオブジェクト「B」OB2とを含む画像を表示対象として選択するユーザ操作を操作部13が受け付けること、などによって行われる。他の例として、オブジェクト「A」OB1とオブジェクト「B」OB2とがそれぞれ表示対象として選択されてもよい。
【0055】
プロセッサ10は、表示対象のオブジェクトが特定されるといずれか1つの奥行のオブジェクトを注視用オブジェクト、他のオブジェクトを非注視用オブジェクトとして画像生成処理102を実行する。その後、注視検出処理101によってユーザの注視位置が検出されると、検出された注視位置に応じた奥行のオブジェクトを注視用オブジェクト、他のオブジェクトを非注視用オブジェクトとする画像生成処理102を実行する。
【0056】
図3,4の例では、プロセッサ10は、オブジェクト「A」OB1とオブジェクト「B」OB2とを表示対象のオブジェクトと特定すると、オブジェクト「A」OB1を第1注視用オブジェクトとして、第1オブジェクト表示103Aを行うための画像生成処理102を実行する。生成された画像データは、メモリ11に格納される。
【0057】
第1オブジェクト表示103Aが行われている状況で注視検出処理101によって第1非注視用オブジェクトであるオブジェクト「B」OB22への注視が検出されると、プロセッサ10は、第2オブジェクト表示103Bを行うための画像生成処理102を実行する。生成された画像データは、メモリ11に格納される。
【0058】
なお、他の例として、プロセッサ10は、表示対象のオブジェクトが特定された時点で、各奥行を注視位置とした画像生成処理102を予め実行し、生成された画像データをメモリ11に格納しておいてもよい。
図3,4の例では、プロセッサ10は、第1オブジェクト表示103Aを行うための画像生成処理102と第2オブジェクト表示103Bを行うための画像生成処理102とを予め実行し、第1オブジェクト表示103A用の画像データと第2オブジェクト表示103B用の画像データとをメモリ11に格納しておいてもよい。
【0059】
プロセッサ10は、メモリ11に記憶されているプログラムを実行することで、表示装置31に画像を表示させる処理(画像表示処理)103を実行する。画像表示処理103は、画像生成処理102によって生成されてメモリ11に格納された画像データを、インタフェース12,33を介して表示装置31に送信するとともに、表示を指示する処理を含む。
【0060】
表示装置31に現在表示されている画像とは異なる画像の表示を指示する場合、画像表示処理103は、表示する画像の切替を指示する処理でもある。すなわち、
図5に示されたように、表示装置31が第1オブジェクト表示103Aを行っているときに注視検出処理101によって非注視用オブジェクトであるオブジェクト「B」OB22への注視が検出されると、プロセッサ10は、第2オブジェクト表示103Bを行うための画像生成処理102を実行し、表示装置31に第2オブジェクト表示103Bを指示する。これにより、表示装置31の表示が第1オブジェクト表示103Aから第2オブジェクト表示103Bに切り替わる。すなわち、プロセッサは、表示装置31が第1オブジェクト表示103Aを行っているときに第1オブジェクト表示103A中の非注視用オブジェクトであるのオブジェクト「B」OB22への注視が検出されると、表示装置31の表示を第1オブジェクト表示103Aから第2オブジェクト表示103Bに切り替える。
【0061】
逆に、
図6に示されたように、表示装置31が第2オブジェクト表示103Bを行っているときに注視検出処理101によって非注視用オブジェクトであるオブジェクト「A」OB12への注視が検出されると、プロセッサ10は、第1オブジェクト表示103Aを行うための画像生成処理102を実行し、表示装置31に第1オブジェクト表示103Aを指示する。これにより、表示装置31の表示が第2オブジェクト表示103Bから第1オブジェクト表示103Aに切り替わる。すなわち、プロセッサは、表示装置31が第2オブジェクト表示103Bを行っているときに第2オブジェクト表示103B中の非注視用オブジェクトであるオブジェクト「A」OB12への注視が検出されると、表示装置31の表示を第2オブジェクト表示103Bから第1オブジェクト表示103Aに切り替える。
【0062】
好ましくは、非注視用オブジェクトは、対応する注視用オブジェクトから生成される画像である。すなわち、
図3~
図6で「A」で示されたオブジェクト「A」OB1について、非注視用オブジェクトであるオブジェクト「A」OB12は、注視用オブジェクト、例えば、通常画像であるオブジェクト「A」OB11から生成される網目画像である。非注視用オブジェクトが注視用オブジェクトから生成される画像であることによって、視認性が低く非注視用オブジェクトが示されても、ユーザは非注視用オブジェクトが注視用オブジェクトとして示される状態をイメージしやすく、注視しやすくなる。
【0063】
具体例として、オブジェクト「A」OB1が城(の画像)、オブジェクト「B」OB2が石垣(の画像)である場合について、
図7~
図10を用いて注視用オブジェクトである場合と非注視用オブジェクトである場合について説明する。オブジェクト「A」OB1である城の方が、オブジェクト「B」OB2である石垣より奥行が大きい。すなわち、
図7を参照して、注視用オブジェクトであるオブジェクト「A」OB11は、視認性の高い城の通常画像である。また、
図8を参照して、注視用オブジェクトであるオブジェクト「B」OB21は、視認性の高い石垣の通常画像である。
【0064】
非注視用オブジェクトであるのオブジェクト「A」OB12は、視認性の低い城の網目画像であって、
図7に示されるように、注視用オブジェクトであるオブジェクト「A」OB11から生成される。また、非注視用オブジェクトであるオブジェクト「B」OB22は、視認性の低い石垣の網目画像であって、
図8に示されるように、注視用オブジェクトであるオブジェクト「B」OB21から生成される。
【0065】
詳しくは、非注視用オブジェクトであるオブジェクト「A」OB12は、オブジェクト「B」OB2に重畳表示されたときにおいて、視認可能な第1部分121と、第1部分121よりも視認性が低い、つまり、透過性の高い第2部分122と、を有する。言い換えると、非注視用オブジェクトであるオブジェクト「A」OB12は、注視用オブジェクトであるオブジェクト「A」OB11の通常画像のうち、第1部分121を視認可能な程度に透過性を下げ、第2部分122をそれより透過性が高くなるように透過性を上げることで生成される網目画像である。
図7を白黒2色の画像として、
図7において、第1部分121は白色の領域、第2部分122は黒色の領域である。
【0066】
同様に、非注視用オブジェクトであるのオブジェクト「B」OB22は、注視用オブジェクトであるオブジェクト「B」OB21の通常画像のうち、第1部分221を視認可能な程度に透過性を下げ、第2部分222をそれより透過性が高くなるように透過性を上げることで生成される網目画像である。
図8を白黒2色の画像として、
図8において、第1部分221は白色の領域、第2部分222は黒色の領域である。
【0067】
注視用オブジェクトであるオブジェクト「A」OB11から非注視用オブジェクトであるオブジェクト「A」OB12を生成する方法、及び、注視用オブジェクトであるオブジェクト「B」OB21から非注視用オブジェクトであるオブジェクト「B」OB22を生成する方法は特定の方法に限定されない。一例として、注視用オブジェクトからエッジを検出し、検出されたエッジを第1部分121,221、その他の部分を第2部分122,222としてもよい。また、他の例として、注視用オブジェクトから、いわゆるサリエンシーマップとも呼ばれる、注視されやすい位置を抽出し、第1部分121,221、その他の注視されにくい位置を第2部分122,222としてもよい。
【0068】
注視用オブジェクトであるオブジェクト「A」OB11に非注視用オブジェクトであるオブジェクト「B」OB22を重畳することで、表示装置31では、
図9に示されたような第1オブジェクト表示103Aが行われる。
図9の第1オブジェクト表示103Aでは、オブジェクト「A」OB11である城が視認性高く表されるとともに、それよりも低い視認性でオブジェクト「B」OB22である石垣も表される。そのため、ユーザは、第1オブジェクト表示103Aにおいて石垣を視認することができ、石垣に注視することができる。
【0069】
図9の第1オブジェクト表示103Aにおいて石垣に注視されたことが検出されると、表示装置31の表示は、
図9に示されたように第2オブジェクト表示103Bに切り替わる。第2オブジェクト表示103Bは、注視用オブジェクトであるオブジェクト「B」OB21に非注視用オブジェクトであるオブジェクト「A」OB12を重畳することで表示装置31に表示される。
【0070】
奥行通りにオブジェクト「A」OB1である城にオブジェクト「B」OB2である石垣を重畳すると、手前の石垣によって奥の城は見えない。そのため、その画像においてユーザは奥の城を注視することは難しい。従って、注視によって注視用オブジェクトを切り替える構成である場合、奥行通りに重畳させた画像を用いて注視用オブジェクトを手前の石垣から奥の城に切り替えることが難しい場合がある。
【0071】
その点、本実施の形態に係る表示システム100では、
図9の第2オブジェクト表示103Bがなされる。すなわち、
図9の第2オブジェクト表示103Bでは、手前にある(奥行の小さい)オブジェクト「B」OB21である石垣が視認性高く表されるとともに、それよりも低い視認性で、奥にある(奥行の大きい)オブジェクト「A」OB12である城が表される。これにより、表示装置31の表示画面において、ユーザは、手前の石垣とともに、実際には石垣に隠れる、奥の城も視認することができる。そのため、ユーザは、第2オブジェクト表示103Bにおいて城に注視することができる。この結果、ユーザが注視するオブジェクトを石垣から城に替えることで、表示装置31で表示される画面上での注視用オブジェクトを石垣から城に切り替えることができる。
【0072】
本実施の形態にかかる表示システム100においてこのような表示を表示装置31にさせることで、従来の、手前のオブジェクトによって奥のオブジェクトが隠れて視認されない状態において、奥のオブジェクトに注視することで注視用オブジェクトを切り替える手法と比較して、切替の精度を向上させることができたことが発明者らの実験によって確認されている。これは、
図9のように表示されることで、本来であれば視認されないオブジェクトが非注視用オブジェクトとして表示されるためである。
【0073】
なお、表示装置31での表示方法は、
図10の流れである。すなわち、コントローラ1のプロセッサ10が実行するコンピュータプログラムは、
図10の流れでプロセッサ10に表示処理を行わせる。
図10の表示方法は、例えば操作部13が表示対象の複数のオブジェクトを指示するユーザ操作を受け付けて、その操作を表す操作信号をプロセッサ10に入力することによって開始される。
【0074】
図10を参照して、プロセッサ10は、表示対象の複数のオブジェクトを奥行に応じて重畳する画像表示処理を実行し、表示装置31に表示させる画像データを生成する(ステップS101)。生成された画像データは、メモリ11に格納される。
【0075】
次に、プロセッサ10は、メモリ11に格納された画像データを読み出してインタフェース12,33を介して表示装置31に送信するとともに、表示を指示する(ステップS103)。これにより、表示装置31には、上の例では第1オブジェクト表示103A、又は、第2オブジェクト表示103Bが行われる。
【0076】
次に、プロセッサ10は、表示装置31に第1オブジェクト表示103A、又は、第2オブジェクト表示103Bがなされている状態でのセンサ32での検出結果を示すセンサ信号の入力をセンサ32より受け付け(ステップS105)、ユーザの注視位置を検出する(ステップS107)。
【0077】
検出された注視位置が、表示装置31に表示されている画像に含まれる非注視用オブジェクトの奥行であった場合(ステップS109でYES)、プロセッサ10は、表示装置31に表示される画像を、注視位置であった非注視用オブジェクトが注視用オブジェクトとなる画像に切り替えるために、ステップS101からの処理を繰り返す。このとき、ステップS101で実行されある画像生成処理は、表示装置31に表示されていた画像において注視位置であった非注視用オブジェクトを注視用オブジェクトとする画像を生成する処理である。これにより、表示装置31に表示される画像は、ユーザが注視した非注視用オブジェクトが注視用オブジェクトとして視認性が高く表される画像に切り替わる。
【0078】
検出された注視位置が、表示装置31に表示されている画像に含まれる注視用オブジェクトの奥行であった場合(ステップS109でNO)、プロセッサ10は、現在の表示装置31の表示を継続する。プロセッサ10は、操作部13が表示を終了するユーザ操作を受け付けた場合や、所定期間ユーザ操作が行われなかった場合や、所定期間注視位置が変化しなかった場合など、表示装置31での表示を終了する(ステップS111でYES)。この場合、プロセッサ10は、表示装置31に表示の終了を指示する制御信号を出力する(ステップS113)。
【0079】
表示を終了するまでの間(ステップS111でNO)、プロセッサ10は、表示装置31での表示を継続する。この間、プロセッサ10は、ユーザの注視位置を検出する処理(ステップS105,S107)を繰り返し、非注視用オブジェクトへの注視が検出されると(ステップS109でYES)、ステップS101からの処理を繰り返す。
【0080】
[第2の実施の形態]
【0081】
非注視用オブジェクトは、対応する注視用オブジェクトから生成される画像でなく、奥行が対応する注視用オブジェクトと同じ、異なる画像であってもよい。異なる画像は、例えば、編み目模様などの、視認性が低い画像である。異なる画像であっても、視認可能に表示されることでユーザはその奥行に注視することができる。その結果、注視用オブジェクトを切り替えることができる。
【0082】
好ましくは、非注視用オブジェクトは、視認可能な第1部分と、第1部分よりも視認性が低い第2部分と、を有し、第1部分は、対応する注視用オブジェクトの形状を示すものであればよい。
図7~
図9の例の場合、非注視用オブジェクトであるオブジェクト「A」OB12は、注視用オブジェクトであるオブジェクト「A」OB11に示された城の形状を示し、オブジェクト「A」OB11から生成される画像でなくてもよい。このような表示であっても、非注視用オブジェクトを視認したユーザは注視用オブジェクトとして示される状態をイメージしやすく、注視しやすくなる。
【0083】
[第3の実施の形態]
【0084】
注視位置を特定する方法は、輻輳角に基づく方法に限定されない。注視位置を特定する方法の他の例として、脳波や水晶体の調節状態の検出結果を利用する方法であってもよい。この場合、センサ32は、脳波を測定するためのセンサや、水晶体の状態を検出するセンサ、などである。
【0085】
さらに他の例として、センサ32としてカメラを用い、連続した撮影画像から得られるユーザの視点の動きに基づいて注視位置を特定してもよい。この場合、コントローラ1のプロセッサ10は、表示している画像に含まれる非注視用オブジェクトのうちの、いわゆるサリエンシーマップとも呼ばれる、注視されやすい位置を予め記憶しておく。そして、プロセッサ10は、ユーザの視点の動きが注視されやすい位置に沿った動きである場合に、非注視用オブジェクトへの注視を検出してもよい。
【0086】
また、センサ32としてのカメラの撮影画像を用いる他の例としては、事前に各位置を注視したユーザの黒目を撮影した撮影画像とそのときの注視位置とのデータベースを構築しておき、カメラの撮影画像と比較することによって注視位置を特定してもよい。
【0087】
さらには、注視位置を特定する方法は、ユーザの視覚に関係する検出方法でなくてもよい。例えば、操作部13で、注視位置を指定するユーザ操作を受け付けてもよい。
【0088】
このような他の方法でも非注視用オブジェクトへの注視を検出でき、表示を切り替えることができる。
【0089】
<3.付記>
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
【符号の説明】
【0090】
1 :コントローラ
3 :HMD
5L :左右眼
5R :左右眼
10 :プロセッサ
11 :メモリ
12 :インタフェース
13 :操作部
31 :表示装置
32 :センサ
33 :インタフェース
100 :表示システム
101 :注視検出処理
102 :画像生成処理
103 :画像表示処理
103A :第1オブジェクト表示
103B :第2オブジェクト表示
121 :第1部分
122 :第2部分
221 :第1部分
222 :第2部分
DB111 :画像
LA :奥行
LB :奥行
OB1 :オブジェクト「A」
OB11 :オブジェクト「A」
OB12 :オブジェクト「A」
OB2 :オブジェクト「B」
OB21 :オブジェクト「B」
OB22 :オブジェクト「B」
S :センサ信号