特開 2022-103751 エンターテインメントシステム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022103751

(43)【公開日】2022-07-08

(54)【発明の名称】エンターテインメントシステム及びプログラム

(51)【国際特許分類】

   G06F 3/0484 20220101AFI20220701BHJP

   G06F 3/038 20130101ALI20220701BHJP

   A63F 13/26 20140101ALI20220701BHJP

   A63F 13/213 20140101ALI20220701BHJP

   A63F 13/52 20140101ALI20220701BHJP

【ＦＩ】

G06F3/0484

G06F3/038 310A

A63F13/26

A63F13/213

A63F13/52

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2020218578

(22)【出願日】2020-12-28

(71)【出願人】

【識別番号】000134855

【氏名又は名称】株式会社バンダイナムコエンターテインメント

(71)【出願人】

【識別番号】519180002

【氏名又は名称】株式会社バンダイナムコ研究所

(74)【代理人】

【識別番号】100104710

【弁理士】

【氏名又は名称】竹腰 昇

(74)【代理人】

【識別番号】100124682

【弁理士】

【氏名又は名称】黒田 泰

(74)【代理人】

【識別番号】100090479

【弁理士】

【氏名又は名称】井上 一

(72)【発明者】

【氏名】河野 通就

【テーマコード（参考）】

5B087

5E555

【Ｆターム（参考）】

5B087AE00

5E555AA26

5E555BA02

5E555BB02

5E555BC08

5E555CA42

5E555CB65

5E555DA03

5E555DA05

5E555DA09

5E555DB03

5E555DC10

5E555DC13

5E555DC25

5E555DC35

5E555DC36

5E555DD08

5E555FA00

(57)【要約】

【課題】第１表示装置と第２表示装置を用いたシステムにおいて第１表示装置に関連するコンテンツ情報をユーザに対して通知することができるエンターテインメントシステム等の提供。
【解決手段】第１表示装置と、第１表示装置の表示画像が視認可能な第２表示装置とを用いたエンターテインメントシステムは、ユーザの視線方向の情報に基づいて、第１表示装置の表示画面でのユーザの注視領域を検出する注視領域検出部と、第１表示装置の表示画像に対して第２表示装置の表示画像が付加されたコンテンツ画像をユーザに視認させる処理を行うコンテンツ処理部を含む。コンテンツ処理部は、検出された注視領域に対応するコンテンツ情報を、第２表示装置を用いてユーザに通知する通知処理を行う。
【選択図】図８

【特許請求の範囲】

【請求項1】

第１表示装置と、前記第１表示装置の表示画像が視認可能な第２表示装置とを用いたエンターテインメントシステムであって、
前記ユーザの視線方向の情報に基づいて、前記第１表示装置の表示画面での前記ユーザの注視領域を検出する注視領域検出部と、
前記第１表示装置の表示画像に対して前記第２表示装置の表示画像が付加されたコンテンツ画像を前記ユーザに視認させる処理を行うコンテンツ処理部と、
を含み、
前記コンテンツ処理部は、
検出された前記注視領域に対応するコンテンツ情報を、前記第２表示装置を用いて前記ユーザに通知する通知処理を行うことを特徴とするエンターテインメントシステム。

【請求項2】

請求項１において、
前記通知処理は、前記第２表示装置を用いて前記コンテンツ情報を表示する処理であることを特徴とするエンターテインメントシステム。

【請求項3】

請求項１又は２において、
前記コンテンツ処理部は、
前記第１表示装置に表示される表示物の情報又は前記第１表示装置の表示態様に応じて、前記コンテンツ情報の通知態様を変化させることを特徴とするエンターテインメントシステム。

【請求項4】

請求項３において、
前記コンテンツ処理部は、
前記第１表示装置の前記表示物の情報又は前記第１表示装置の表示態様に応じて、前記第２表示装置に表示されるオブジェクトの表示制御を行うことを特徴とするエンターテインメントシステム。

【請求項5】

請求項４において、
前記表示物の情報は、前記第１表示装置の前記表示画面において前記ユーザにより注視された注視表示物の情報であり、
前記コンテンツ処理部は、
前記注視表示物の情報又は前記第１表示装置の表示態様に応じて、前記第２表示装置に表示される前記オブジェクトの表示位置を設定することを特徴とするエンターテインメントシステム。

【請求項6】

請求項４において、
前記表示物の情報は、前記第１表示装置の前記表示画面において前記ユーザにより注視された注視表示物の情報であり、
前記コンテンツ処理部は、
前記注視表示物の情報又は前記第１表示装置の表示態様に応じて、前記第２表示装置に表示される前記オブジェクトの表示態様を設定することを特徴とするエンターテインメントシステム。

【請求項7】

第１表示装置と、前記第１表示装置の表示画像が視認可能な第２表示装置とを用いたエンターテインメントシステムであって、
前記第１表示装置に表示される表示物の情報又は前記第１表示装置の表示態様の情報を取得する情報取得部と、
前記第１表示装置の表示画像に対して前記第２表示装置の表示画像が付加されたコンテンツ画像を前記ユーザに視認させる処理を行うコンテンツ処理部を含み、
前記コンテンツ処理部は、
コンテンツ情報を前記第２表示装置を用いて前記ユーザに通知する通知処理を行い、前記第１表示装置の前記表示物の情報又は前記第１表示装置の前記表示態様に応じて、前記コンテンツ情報の通知態様を変化させることを特徴とするエンターテインメントシステム。

【請求項8】

請求項７において、
前記コンテンツ処理部は、
前記第１表示装置の前記表示物の情報又は前記第１表示装置の表示態様に応じて、前記第２表示装置に表示されるオブジェクトの表示制御を行うことを特徴とするエンターテインメントシステム。

【請求項9】

請求項８において、
前記コンテンツ処理部は、
前記第１表示装置の前記表示物の情報又は前記第１表示装置の表示態様に応じて、前記第２表示装置に表示される前記オブジェクトの表示位置を設定することを特徴とするエンターテインメントシステム。

【請求項10】

請求項８において、
前記コンテンツ処理部は、
前記第１表示装置の前記表示物の情報又は前記第１表示装置の表示態様に応じて、前記第２表示装置に表示される前記オブジェクトの表示態様を設定することを特徴とするエンターテインメントシステム。

【請求項11】

請求項４、５、６、８、９又は１０において、
前記第２表示装置に表示される前記オブジェクトは、前記第１表示装置に表示される前記表示物に関連するオブジェクトであることを特徴とするエンターテインメントシステム。

【請求項12】

請求項３乃至１１のいずれかにおいて、
前記第１表示装置の前記表示物の情報は、前記表示物のパラメータ情報、前記表示物の表示位置情報又は前記表示物の表示態様情報であることを特徴とするエンターテインメントシステム。

【請求項13】

第１表示装置と、前記第１表示装置の表示画像が視認可能な第２表示装置とを用いたエンターテインメントシステムであって、
前記第２表示装置のカメラにより前記第１表示装置を撮影した撮影画像の解析処理を行う画像解析部と、
前記第１表示装置の表示画像に対して前記第２表示装置の表示画像が付加されたコンテンツ画像を前記ユーザに視認させる処理を行うコンテンツ処理部と、
を含み、
前記コンテンツ処理部は、
前記撮影画像の前記解析処理の結果に基づくコンテンツ情報を、前記第２表示装置を用いて前記ユーザに通知する通知処理を行うことを特徴とするエンターテインメントシステム。

【請求項14】

請求項１乃至１３のいずれかにおいて、
前記コンテンツ処理部は、
前記第１表示装置と前記第２表示装置の位置関係に応じて、前記第１表示装置又は前記第２表示装置の表示内容、或いは前記コンテンツ情報の通知態様を変化させることを特徴とするエンターテインメントシステム。

【請求項15】

請求項１乃至１３のいずれかにおいて、
前記コンテンツ処理部は、
前記第１表示装置と前記第２表示装置の位置関係と、前記第１表示装置に表示される表示物の情報とに応じて、前記第１表示装置又は前記第２表示装置の表示内容、或いは前記コンテンツ情報の通知態様を変化させることを特徴とするエンターテインメントシステム。

【請求項16】

第１表示装置と、前記第１表示装置の表示画像が視認可能な第２表示装置とを用いたエンターテインメントシステムに用いられるプログラムであって、
前記ユーザの視線方向の情報に基づいて、前記第１表示装置の表示画面での前記ユーザの注視領域を検出する注視領域検出部と、
前記第１表示装置の表示画像に対して前記第２表示装置の表示画像が付加されたコンテンツ画像を前記ユーザに視認させる処理を行うコンテンツ処理部として、
コンピュータを機能させ、
前記コンテンツ処理部は、
検出された前記注視領域に対応するコンテンツ情報を、前記第２表示装置を用いて前記ユーザに通知する通知処理を行うことを特徴とするプログラム。

【請求項17】

第１表示装置と、前記第１表示装置の表示画像が視認可能な第２表示装置とを用いたエンターテインメントシステムに用いられるプログラムであって、
前記第１表示装置に表示される表示物の情報又は前記第１表示装置の表示態様の情報を取得する情報取得部と、
前記第１表示装置の表示画像に対して前記第２表示装置の表示画像が付加されたコンテンツ画像を前記ユーザに視認させる処理を行うコンテンツ処理部として、
コンピュータを機能させ、
前記コンテンツ処理部は、
コンテンツ情報を前記第２表示装置を用いて前記ユーザに通知する通知処理を行い、前記第１表示装置の前記表示物の情報又は前記第１表示装置の前記表示態様に応じて、前記コンテンツ情報の通知態様を変化させることを特徴とするプログラム。

【請求項18】

第１表示装置と、前記第１表示装置の表示画像が視認可能な第２表示装置とを用いたエンターテインメントシステムに用いられるプログラムであって、
前記第２表示装置が有するカメラにより前記第１表示装置を撮影した撮影画像の解析処理を行う画像解析部と、
前記第１表示装置の表示画像に対して前記第２表示装置の表示画像が付加されたコンテンツ画像を前記ユーザに視認させる処理を行うコンテンツ処理部として、
コンピュータを機能させ、
前記コンテンツ処理部は、
前記撮影画像の前記解析処理の結果に基づくコンテンツ情報を、前記第２表示装置を用いて前記ユーザに通知する通知処理を行うことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、エンターテインメントシステム及びプログラム等に関する。

【背景技術】

【0002】

従来より２つの表示画像の組み合わせによるコンテンツ画像をユーザに視認させるシステムが知られている。特許文献１のシステムは、特定色が透過される透過画像を表示する透過型モニターと、当該透過画像と組み合わせることによりゲーム画面を形成する基礎画面を、透過型モニターの後方に投影するプロジェクタとを備えている。そして透過画像と基礎画面の組み合わせにより情報提供用画像を形成する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－１４６９１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、これまでは、第１表示装置と第２表示装置との連動制御を行って、第１表示装置の表示物等に関連するコンテンツ情報を、ユーザに通知するようなシステムについては提案されていなかった。

【0005】

本開示によれば、第１表示装置と第２表示装置を用いたシステムにおいて第１表示装置に関連するコンテンツ情報をユーザに対して通知することができるエンターテインメントシステム及びプログラム等を提供できる。

【課題を解決するための手段】

【0006】

本開示の一態様は、第１表示装置と、前記第１表示装置の表示画像が視認可能な第２表示装置とを用いたエンターテインメントシステムであって、前記ユーザの視線方向の情報に基づいて、前記第１表示装置の表示画面での前記ユーザの注視領域を検出する注視領域検出部と、前記第１表示装置の表示画像に対して前記第２表示装置の表示画像が付加されたコンテンツ画像を前記ユーザに視認させる処理を行うコンテンツ処理部と、を含み、前記コンテンツ処理部は、検出された前記注視領域に対応するコンテンツ情報を、前記第２表示装置を用いて前記ユーザに通知する通知処理を行うエンターテインメントシステムに関係する。また本開示の一態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

【0007】

本開示の一態様によれば、第１表示装置の表示画面でのユーザの注視領域が検出される。また第１表示装置の表示画像に対して第２表示装置の表示画像が付加されたコンテンツ画像をユーザに視認させる処理が行われる。そして、この際に、注視領域に対応するコンテンツ情報を、第２表示装置を用いてユーザに通知する通知処理が行われる。このようにすれば、ユーザは、第１表示装置の表示画面において自身が注視した注視領域に対応するコンテンツ情報を、第２表示装置を利用して知ることが可能になる。従って、第１表示装置と第２表示装置を用いたシステムにおいて第１表示装置に関連するコンテンツ情報をユーザに対して通知することができるエンターテインメントシステム等の提供が可能になる。

【0008】

また本開示の一態様では、前記通知処理は、前記第２表示装置を用いて前記コンテンツ情報を表示する処理であってもよい。

【0009】

このようにすれば、ユーザは、第１表示装置の表示画面において自身が注視した注視領域に対応するコンテンツ情報を、第２表示装置の表示画像により視覚的に認識できるようになる。

【0010】

また本開示の一態様では、前記コンテンツ処理部は、前記第１表示装置に表示される表示物の情報又は前記第１表示装置の表示態様に応じて、前記コンテンツ情報の通知態様を変化させてもよい。

【0011】

このようにすれば、第１表示装置の表示画像に第２表示装置の表示画像が付加されたコンテンツ画像をユーザに視認させるエンターテインメントシステムにおいて、第１表示装置の表示物又は表示態様に応じた適切なコンテンツ情報をユーザに通知することが可能になる。

【0012】

また本開示の一態様では、前記コンテンツ処理部は、前記第１表示装置の前記表示物の情報又は前記第１表示装置の表示態様に応じて、前記第２表示装置に表示されるオブジェクトの表示制御を行ってもよい。

【0013】

このようにすれば、第１表示装置の表示物又は表示態様に応じて表示制御されるオブジェクトを第２表示装置に表示して、第１表示装置の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。

【0014】

また本開示の一態様では、前記表示物の情報は、前記第１表示装置の前記表示画面において前記ユーザにより注視された注視表示物の情報であり、前記コンテンツ処理部は、前記注視表示物の情報又は前記第１表示装置の表示態様に応じて、前記第２表示装置に表示される前記オブジェクトの表示位置を設定してもよい。

【0015】

このようにすれば、第１表示装置の注視表示物の情報又は第１表示装置の表示態様に応じた表示位置にオブジェクトを表示して、第１表示装置の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。

【0016】

また本開示の一態様では、前記表示物の情報は、前記第１表示装置の前記表示画面において前記ユーザにより注視された注視表示物の情報であり、前記コンテンツ処理部は、前記注視表示物の情報又は前記第１表示装置の表示態様に応じて、前記第２表示装置に表示される前記オブジェクトの表示態様を設定してもよい。

【0017】

このようにすれば、第１表示装置の注視表示物の情報又は表示態様に応じた表示態様でオブジェクトを表示して、第１表示装置の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。

【0018】

また本開示の一態様は、第１表示装置と、前記第１表示装置の表示画像が視認可能な第２表示装置とを用いたエンターテインメントシステムであって、前記第１表示装置に表示される表示物の情報又は前記第１表示装置の表示態様の情報を取得する情報取得部と、前記第１表示装置の表示画像に対して前記第２表示装置の表示画像が付加されたコンテンツ画像を前記ユーザに視認させる処理を行うコンテンツ処理部を含み、前記コンテンツ処理部は、コンテンツ情報を前記第２表示装置を用いて前記ユーザに通知する通知処理を行い、前記第１表示装置の前記表示物の情報又は前記第１表示装置の前記表示態様に応じて、前記コンテンツ情報の通知態様を変化させるエンターテインメントシステムに関係する。また本開示の一態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

【0019】

本開示の一態様によれば、第１表示装置に表示される表示物の情報又は表示態様の情報が取得される。また第１表示装置の表示画像に対して第２表示装置の表示画像が付加されたコンテンツ画像をユーザに視認させる処理が行われる。そして、この際に、第１表示装置の表示物の情報又は表示態様に応じて、コンテンツ情報の通知態様を変化させる処理が行われる。このようにすれば、第１表示装置の表示画像に第２表示装置の表示画像が付加されたコンテンツ画像をユーザに視認させるエンターテインメントシステムにおいて、第１表示装置の表示物又は表示態様に応じた適切なコンテンツ情報をユーザに通知することが可能になる。従って、第１表示装置と第２表示装置を用いたシステムにおいて第１表示装置に関連するコンテンツ情報をユーザに対して通知することができるエンターテインメントシステム等の提供が可能になる。

【0020】

また本開示の一態様では、前記コンテンツ処理部は、前記第１表示装置の前記表示物の情報又は前記第１表示装置の表示態様に応じて、前記第２表示装置に表示されるオブジェクトの表示制御を行ってもよい。

【0021】

このようにすれば、第１表示装置の表示物又は表示態様に応じて表示制御されるオブジェクトを第２表示装置に表示して、第１表示装置の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。

【0022】

また本開示の一態様では、前記コンテンツ処理部は、前記第１表示装置の前記表示物の情報又は前記第１表示装置の表示態様に応じて、前記第２表示装置に表示される前記オブジェクトの表示位置を設定してもよい。

【0023】

このようにすれば、第１表示装置の表示物の情報又は表示態様に応じた表示位置にオブジェクトを表示して、第１表示装置の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。

【0024】

また本開示の一態様では、前記コンテンツ処理部は、前記第１表示装置の前記表示物の情報又は前記第１表示装置の表示態様に応じて、前記第２表示装置に表示される前記オブジェクトの表示態様を設定してもよい。

【0025】

このようにすれば、第１表示装置の表示物の情報又は表示態様に応じた表示態様でオブジェクトを表示して、第１表示装置の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。

【0026】

また本開示の一態様では、前記第２表示装置に表示される前記オブジェクトは、前記第１表示装置に表示される前記表示物に関連するオブジェクトであってもよい。

【0027】

このようにすれば、第１表示装置の表示物に関連するオブジェクトを、第１表示装置の表示画像に重畳表示されるオブジェクトとして、第２表示装置により表示できるようになる。

【0028】

また本開示の一態様では、前記第１表示装置の前記表示物の情報は、前記表示物のパラメータ情報、前記表示物の表示位置情報又は前記表示物の表示態様情報であってもよい。

【0029】

このようにすれば、表示物のパラメータ情報、表示位置情報又は表示態様情報に応じて、第２表示装置を用いて通知されるコンテンツ情報の通知態様を変化させることなどが可能になる。

【0030】

また本開示の一態様は、第１表示装置と、前記第１表示装置の表示画像が視認可能な第２表示装置とを用いたエンターテインメントシステムであって、前記第２表示装置のカメラにより前記第１表示装置を撮影した撮影画像の解析処理を行う画像解析部と、前記第１表示装置の表示画像に対して前記第２表示装置の表示画像が付加されたコンテンツ画像を前記ユーザに視認させる処理を行うコンテンツ処理部と、を含み、前記コンテンツ処理部は、前記撮影画像の前記解析処理の結果に基づくコンテンツ情報を、前記第２表示装置を用いて前記ユーザに通知する通知処理を行うエンターテインメントシステムに関係する。また本開示の一態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

【0031】

本開示の一態様によれば、第２表示装置が有するカメラにより第１表示装置を撮影した撮影画像の解析処理が行われる。また第１表示装置の表示画像に対して第２表示装置の表示画像が付加されたコンテンツ画像をユーザに視認させる処理が行われる。そして、この際に、撮影画像の解析処理の結果に基づくコンテンツ情報を、第２表示装置を用いてユーザに通知する通知処理が行われる。このようにすれば、ユーザは、第２表示装置のカメラにより第１表示装置を撮影することで得られた撮影画像の解析処理の結果に基づくコンテンツ情報を、第２表示装置を利用して知ることが可能になる。従って、第１表示装置と第２表示装置を用いたシステムにおいて第１表示装置に関連するコンテンツ情報をユーザに対して通知することができるエンターテインメントシステム等の提供が可能になる。

【0032】

また本開示の一態様では、前記コンテンツ処理部は、前記第１表示装置と前記第２表示装置の位置関係に応じて、前記第１表示装置又は前記第２表示装置の表示内容、或いは前記コンテンツ情報の通知態様を変化させてもよい。

【0033】

このようにすれば、第１表示装置と第２表示装置の位置関係に応じた適切な表示内容で、第１表示装置又は第２表示装置に画像を表示したり、或いは第１表示装置と第２表示装置の位置関係に応じた適切な通知態様で、第２表示装置によりコンテンツ情報をユーザに通知できるようになる。

【0034】

また本開示の一態様では、前記コンテンツ処理部は、前記第１表示装置と前記第２表示装置の位置関係と、前記第１表示装置に表示される表示物の情報とに応じて、前記第１表示装置又は前記第２表示装置の表示内容、或いは前記コンテンツ情報の通知態様を変化させてもよい。

【0035】

このようにすれば、第１表示装置と第２表示装置の位置関係と第１表示装置の表示物の情報に応じた適切な表示内容で、第１表示装置又は第２表示装置に画像を表示したり、或いは当該位置関係と表示物の情報に応じた適切な通知態様で、第２表示装置によりコンテンツ情報をユーザに通知できるようになる。

【図面の簡単な説明】

【0036】

【図1】本実施形態のエンターテインメントシステムのシステム構成例。

【図2】第１表示装置の表示画像に対して第２表示装置の表示画像が付加されたコンテンツ画像の説明図。

【図3】ユーザの注視領域に対応するコンテンツ情報を第２表示装置を用いてユーザに通知する通知処理の説明図。

【図4】振動や音声を用いたコンテンツ情報の通知処理の説明図。

【図5】第２表示装置の一例である透過型ＨＭＤを示す図。

【図6】本実施形態のエンターテインメントシステムの構成例を示すブロック図。

【図7】図７（Ａ）、図７（Ｂ）は本実施形態のエンターテインメントシステムのハードウェアの実現構成例を示す図。

【図8】本実施形態の処理例を説明するフローチャート。

【図9】本実施形態の処理例を説明するフローチャート。

【図10】本実施形態の詳細な処理例を説明するフローチャート。

【図11】図１１（Ａ）、図１１（Ｂ）は第１表示装置の表示物の情報又は表示態様に応じた第２表示装置のオブジェクトの表示位置の設定手法の説明図。

【図12】第１表示装置の表示物の情報又は表示態様に応じた第２表示装置のオブジェクトの表示態様の設定手法の説明図。

【図13】第１表示装置の表示物の情報の説明図。

【図14】第１表示装置と第２表示装置の位置関係に応じて第１表示装置又は第２表示装置の表示内容、或いはコンテンツ情報の通知態様を変化させる手法の説明図。

【図15】図１５（Ａ）、図１５（Ｂ）は実空間の認識処理による実空間情報の取得処理の説明図。

【図16】実空間の認識処理を用いて第１表示装置と第２表示装置の位置関係を検出する手法の説明図。

【図17】第１表示装置から第２表示装置側に表示物が移動して見えるようにユーザに認識させる手法の説明図。

【発明を実施するための形態】

【0037】

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲の記載内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、必須構成要件であるとは限らない。

【0038】

１．エンターテインメントシステム
図１に本実施形態のエンターテインメントシステムのシステム構成例を示す。本実施形態のエンターテインメントシステムは、第１表示装置１０と第２表示装置２００を用いて実現される。例えば本実施形態のエンターテインメントシステムは、第１表示装置１０と、第１表示装置１０の表示画像が視認可能な第２表示装置２００を用いてユーザに対して種々のエンターテインメントコンテンツを提供するシステムである。第１表示装置１０は、例えばメインの表示装置である。具体的には第１表示装置１０は、ＰＣ（パーソナルコンピュータ）などの情報処理装置のモニター（ディスプレイ）や、テレビのモニターや、ゲーム装置のモニターや、或いはライブやクラブの会場に設置される大型モニターなどである。図１では、第１表示装置１０には、例えばキャラクタＣＨ１、ＣＨ２、ＣＨ３とキャラクタＣＥ１、ＣＥ２、ＣＥ３とが対戦するゲームコンテンツの画像が表示されている。第２表示装置２００は、例えばサブの表示装置である。例えば第２表示装置２００は、第１表示装置１０の表示画像が視認可能な表示装置である。例えばユーザは、第２表示装置２００の表示部により、第１表示装置１０の表示画像の視認が可能になっている。図１では、第２表示装置２００として透過型ＨＭＤ（広義にはＨＭＤ、透過型表示装置）が用いられている。透過型ＨＭＤは、ユーザが装着する透過型の頭部装着型表示装置（Head Mounted Display）である。透過型ＨＭＤは例えば光学透過型のＨＭＤである。

【0039】

なお、以下では、第２表示装置２００が透過型ＨＭＤである場合を主に例にとり説明するが、第２表示装置２００は、透過型ＨＭＤ以外の透過型表示装置であってもよい。例えば透過型ＨＭＤは、ユーザが頭部に装着する表示装置であるが、第２表示装置２００は、ユーザが頭部に装着しないタイプの透過型表示装置であってもよい。例えば第２表示装置２００は、ユーザが手に所持したり、ユーザが所望の場所に置いて使用する透過型表示装置であってもよい。或いは、第２表示装置２００は、透過型表示装置以外の表示装置であってもよく、例えばカメラによる第１表示装置１０の撮影画像が表示部に表示されることで、第１表示装置１０の表示画像の視認が可能になるような表示装置であってもよい。

【0040】

図２は、第１表示装置１０の表示画像ＩＭＤに対して第２表示装置２００の表示画像ＩＭＨが付加されたコンテンツ画像の説明図である。本実施形態では、第１表示装置１０の表示画像ＩＭＤに対して、第２表示装置２００の表示画像ＩＭＨが付加（重畳）されたコンテンツ画像をユーザに視認させる処理が行われる。例えば第２表示装置２００が透過型ＨＭＤである場合には、第１表示装置１０の表示画像ＩＭＤは、第２表示装置２００の光学素子を透過してユーザに視認される。そして第２表示装置２００の表示画像ＩＭＨが、第２表示装置２００を透過する第１表示装置１０の表示画像ＩＭＤに対して重ねて表示される。第２表示装置２００の表示画像ＩＭＨは、例えば第２表示装置２００により表示される虚像である。後述する図５を例にとれば、表示画像ＩＭＨは、第２表示装置２００である透過型ＨＭＤ２０２の表示装置２４３の表示画像である。こうすることで、第１表示装置１０の表示画像ＩＭＤに対して第２表示装置２００の表示画像ＩＭＨが付加されたコンテンツ画像をユーザに視認させることが可能になる。

【0041】

なお図２では、コンテンツ画像として、ゲームコンテンツの画像の例が示されている。しかしながら、本実施形態のコンテンツ画像は、このようなゲームコンテンツの画像には限定されず、配信動画、映画、環境映像、観光映像又はシミュレーション映像などの種々のコンテンツ（視覚コンテンツ）の画像を想定できる。

【0042】

また第２表示装置２００が、透過型ＨＭＤ以外の透過型表示装置である例えば透過型タブレット端末である場合には、第１表示装置１０の表示画像ＩＭＤは、透過型タブレット端末を透過してユーザに表示される。そして、透過型タブレット端末を透過した表示画像ＩＭＤと、透過型タブレット端末により生成された表示画像ＩＭＨとがユーザに表示されることで、第１表示装置１０の表示画像ＩＭＤ（透過画像）に対して、第２表示装置２００の表示画像ＩＭＨが付加されたコンテンツ画像を、ユーザが視認できるようになる。また第２表示装置２００が、透過型表示装置以外の表示装置である例えばスマートフォン、携帯型ゲーム装置等の端末装置である場合には、例えば第１表示装置１０の表示画像ＩＭＤをカメラにより撮影する。そしてカメラの撮影画像に対して、第２表示装置２００により生成された表示画像ＩＭＨを重畳表示することで、第１表示装置１０の表示画像ＩＭＤ（撮影画像）に対して、第２表示装置２００の表示画像ＩＭＨが付加されたコンテンツ画像を、ユーザが視認できるようになる。

【0043】

そして図２では、第２表示装置２００を用いて、第１表示装置１０に関連するコンテンツ情報が表示画像ＩＭＨとして表示される。第１表示装置１０に関連するコンテンツ情報は、具体的には例えば第１表示装置１０に表示される表示物又は第１表示装置１０の表示内容に関連するコンテンツ情報である。例えば第１表示装置１０には表示物としてキャラクタＣＨ１等が表示されている。そして、このキャラクタＣＨ１に関連するコンテンツ情報が、表示画像ＩＭＨとして第２表示装置２００に表示され、第１表示装置１０の表示画像ＩＭＤに対して、このコンテンツ情報の表示画像ＩＭＨが重ねて表示される。図２では、表示画像ＩＭＨにより通知されるコンテンツ情報は、ゲーム情報であり、第１表示装置１０の表示物であるキャラクタＣＨ１に関連するゲーム情報である。具体的にはコンテンツ情報であるゲーム情報は、キャラクタＣＨ１のヒットポイント（ＨＰ）、マジックポイント（ＭＰ）、経験値（ＥＸＰ）、レベル（ＬＶ）、装備品（ＥＱＰ）などの情報である。表示画像ＩＭＨにおいては、ヒットポイント（ＨＰ）の情報は、ヒットポイントゲージのオブジェクトＯＢ１により表示され、マジックポイント（ＭＰ）の情報は、マジックポイントゲージのオブジェクトＯＢ２により表示されている。経験値（ＥＸＰ）、レベル（ＬＶ）の情報は、各々、経験値、レベルを表す数字のオブジェクトＯＢ３、ＯＢ４により表示され、装備品（ＥＱＰ）の情報は、装備品を表象するアイコンのオブジェクトＯＢ５により表示されている。

【0044】

このように本実施形態では、第１表示装置１０の表示物又は表示内容等に関連するコンテンツ情報を、第２表示装置２００を用いてユーザに通知する通知処理を行っている。図２を例にとれば、第１表示装置１０の表示物であるキャラクタＣＨ１に関連するコンテンツ情報（ＨＰ、ＭＰ、ＥＸＰ、ＬＶ、ＥＱＰ）を、第２表示装置２００を用いてユーザに通知している。具体的には、キャラクタＣＨ１に関連するコンテンツ情報の表示画像ＩＭＨを、第２表示装置２００（表示装置２４３）を用いて表示して、第１表示装置１０の表示画像ＩＭＤに重ねてユーザに視認させることで、コンテンツ情報をユーザに通知している。即ち、この場合のコンテンツ情報の通知処理は、第２表示装置２００を用いてコンテンツ情報（表示画像ＩＭＨ）を表示する処理である。

【0045】

このように本実施形態では、第１表示装置１０の表示画像ＩＭＤに対して第２表示装置２００の表示画像ＩＭＨが付加されたコンテンツ画像（図２）をユーザに視認させる処理を行う。また本実施形態では、ユーザの視線方向の情報に基づいて、第１表示装置１０の表示画面でのユーザの注視領域を検出する。そして検出された注視領域に対応するコンテンツ情報を、第２表示装置２００を用いてユーザに通知する通知処理を行う。

【0046】

例えば図３では、ユーザＵＳの視線方向ＬＳが検出されている。ユーザＵＳの視線方向ＬＳは、例えば第２表示装置２００の方向（向く方向）を検出することで検出できる。具体的には視線方向ＬＳの情報は、第２表示装置２００の方向等のトラッキング処理により取得できる。或いはユーザＵＳの視線を直接に検出する視線トラッキング処理（アイトラッキング処理）によりユーザＵＳの視線方向ＬＳを検出してもよい。或いはカメラにより第１表示装置１０を撮影する場合には、カメラの撮影方向をユーザＵＳの視線方向ＬＳと見なして検出してもよい。この場合には、カメラをユーザＵＳと見なすことができ、ユーザＵＳの注視領域はカメラの注視領域になる。或いは透過型タブレット端末等の透過型表示装置が向く方向を、ユーザＵＳの視線方向と見なしてもよい。この場合には、ユーザＵＳの注視領域は、透過型表示装置が向く方向が注視する領域（向く方向に沿った線が第１表示装置１０の表示画面に交わる領域）になる。

【0047】

そして図３に示すようにユーザＵＳの視線方向ＬＳを検出することで、第１表示装置１０の表示画面でのユーザＵＳの注視領域ＡＲＧを検出できる。例えば視線方向ＬＳ（カメラの撮影方向、透過型表示装置が向く方向）を延長した線が第１表示装置１０の表示画面に交差する位置を求めることなどで、注視領域ＡＲＧ（カメラ、透過型表示装置の注視領域）を検出できる。この場合には、第１表示装置１０と第２表示装置２００（ユーザ、カメラ）との位置関係を求めておくことが望ましい。例えば第２表示装置２００から見た第１表示装置１０の相対的な位置関係を求め、この位置関係の情報と視線方向ＬＳの情報とに基づいて、ユーザＵＳが注視（注目）する領域である注視領域ＡＲＧ（注目領域）を検出する。そして検出された注視領域ＡＲＧに対応するコンテンツ情報を第２表示装置２００を用いてユーザＵＳに通知する通知処理を行う。図３では、注視領域ＡＲＧに対応するコンテンツ情報である表示画像ＩＭＨを、第１表示装置１０の表示画像ＩＭＤに重ねて表示する通知処理を行っている。例えば図３では、ユーザＵＳは、第１表示装置１０の表示画像ＩＭＤのうち、キャラクタＣＨ１を注視しており、このキャラクタＣＨ１の表示領域が注視領域ＡＲＧになっている。従って、キャラクタＣＨ１が表示される注視領域ＡＲＧに対応するコンテンツ情報として、図２に示すようにキャラクタＣＨ１のヒットポイント、マジックポイント、経験値、レベル、装備品などのキャラクタのステータス情報が、第２表示装置２００の表示画像ＩＭＨ（虚像）として表示される。即ち、キャラクタＣＨ１のヒットポイント、マジックポイント、経験値、レベル、装備品を表すオブジェクトＯＢ１、ＯＢ２、ＯＢ３、ＯＢ４、ＯＢ５の画像が、第２表示装置２００の表示装置２４３の表示画像ＩＭＨとして、第１表示装置１０の表示画像ＩＭＤに重ねて表示される。

【0048】

このようにすれば、ユーザＵＳが、第１表示装置１０の表示画像ＩＭＤにおいて自身が注目するキャラクタＣＨ１を注視することで、そのキャラクタＣＨ１に関連するコンテンツ情報であるヒットポイント、マジックポイント、経験値、レベル、装備品などの情報が、ユーザＵＳに通知されるようになる。これにより、ユーザＵＳは、キャラクタＣＨ１を注視するだけで、自身が注目するキャラクタＣＨ１に関連する各種のコンテンツ情報を知ることが可能になる。また例えば第１表示装置１０に表示される全てのキャラクタＣＨ１～ＣＨ３、ＣＥ１～ＣＥ３について、ヒットポイント、マジックポイント等のコンテンツ情報（ステータス情報）の表示画像ＩＭＨを、表示画像ＩＭＤに重ねて表示してしまうと、これらのコンテンツ情報の表示が邪魔になって、ユーザＵＳにとって見にくい表示になってしまう。この点、ユーザＵＳの注視領域ＡＲＧに対応するコンテンツ情報だけを表示するようにすれば、コンテンツ情報の表示が邪魔になってユーザＵＳにとって見にくい表示なってしまう事態を防止できる。

【0049】

このように図３の通知処理は、第２表示装置２００を用いてコンテンツ情報を表示する処理である。このようにコンテンツ情報の通知処理として、コンテンツ情報の表示処理を行うようにすれば、ユーザＵＳは、注視領域ＡＲＧに対応するコンテンツ情報の内容を視覚的に容易に認識できるようになる。但し本実施形態の通知処理はこのようなコンテンツ情報の表示処理には限定されない。例えば図４では振動や音声により通知処理が行われている。具体的には第１表示装置１０の表示画面にはレアキャラクタＲＣＨが出現している。例えばユーザＵＳの視線方向ＬＳの注視領域にレアキャラクタＲＣＨが出現している。このように第１表示装置１０（注視領域）にレアキャラクタＲＣＨなどの特定の表示物が出現した場合に、第２表示装置２００に設けられた振動デバイス（振動機構）を振動させて、レアキャラクタＲＣＨが出現したことをユーザＵＳに通知する。或いは第２表示装置２００に内蔵されるスピーカ又は第２表示装置２００とは別体に設けられたヘッドフォンのスピーカからの音声により、レアキャラクタＲＣＨが出現したことをユーザＵＳに通知する。このように、第１表示装置１０の表示物又は表示内容に関連するコンテンツ情報（注視領域に対応するコンテンツ情報）の通知処理は、第２表示装置２００の振動デバイスを振動させる処理や、第２表示装置２００に対応して設けられる音出力部１９２（図６）による音声等の音の出力処理であってもよい。或いは、第２表示装置２００に、ユーザＵＳが視認できる発光素子を設け、この発光素子の発光により、コンテンツ情報の通知処理を実現してもよい。このようにコンテンツ情報の通知処理の通知態様としては種々の態様を想定できる。

【0050】

また第１ユーザ、第２ユーザというように複数のユーザがエンターテインメントのコンテンツを楽しむ場合には、第１ユーザに対応する第１コンテンツ情報を、第１ユーザが装着する第１透過型ＨＭＤ等の第２表示装置を用いて第１ユーザに通知し、第２ユーザに対応する第２コンテンツ情報を、第２ユーザが装着する第２透過型ＨＭＤ等の第３表示装置を用いて第２ユーザに通知すればよい。具体的には、第１ユーザの視線方向の情報に基づいて第１注視領域を検出し、第１注視領域に応じた第１コンテンツ情報を、第１ユーザが装着する第１透過型ＨＭＤ等の第２表示装置を用いて第１ユーザに通知する。また第２ユーザの視線方向の情報に基づいて第２注視領域を検出し、第２注視領域に応じた第２コンテンツ情報を、第２ユーザが装着する第２透過型ＨＭＤ等の第３表示装置を用いて第２ユーザに通知する。このようにすれば、例えば第１ユーザには、第１表示装置１０の表示画像ＩＭＤに対して、第１コンテンツ情報だけが重畳された第１コンテンツ画像が表示され、第２ユーザには、第１表示装置１０の表示画像ＩＭＤに対して、第２コンテンツ情報だけが重畳された第２コンテンツ画像が表示されるようになる。従って、第１ユーザは、第１ユーザが注目する第１コンテンツ情報だけを視認できるようになり、第２ユーザは、第２ユーザが注目する第２コンテンツ情報だけを視認できるようになるため、各ユーザにとって見やすい表示態様のコンテンツ画像を表示することが可能になる。

【0051】

また、以上では、コンテンツがゲームコンテンツである場合について説明したが、本実施形態のコンテンツはこれに限定されず、配信動画、映画、環境映像、観光映像又はシミュレーション映像のコンテンツであってもよい。例えば仮想的なキャラクタが踊ったり、歌ったりする配信動画のコンテンツである場合には、そのキャラクタについての情報をコンテンツ情報として通知すればよい。また映画のコンテンツの場合には、各種の説明画面や字幕情報などをコンテンツ情報として通知すればよい。観光映像のコンテンツの場合には、例えばユーザの注視領域での種々の観光情報を、コンテンツ情報として通知すればよい。シミュレーション映像のコンテンツの場合には、シミュレーションの対象となるものについての種々の情報を、コンテンツ情報として通知すればよい。

【0052】

図５に第２表示装置２００の一例である透過型ＨＭＤ２０２（広義にはＨＭＤ、透過型表示装置）の一例を示す。図５の透過型ＨＭＤは光学透過型ＨＭＤの例である。

【0053】

図５の透過型ＨＭＤ２０２はテンプル部２４０とゴーグル部２４２を有する。テンプル部２４０にはスピーカが内蔵されている。ゴーグル部２４２には表示装置２４３とホログラフィック光学素子２４４が設けられている。例えばこれらの表示装置２４３、ホログラフィック光学素子２４４等により、透過型ＨＭＤ２０２（広義には第２表示装置）の表示部３０を実現できる。表示装置２４３には、マイクロディスプレイ、ミラー、プリズム等により構成される表示ユニットが設けられている。表示装置２４３には左眼用の表示ユニットと右眼用の表示ユニットが設けられており、これにより立体視が実現される。また左眼用、右眼用の各表示ユニットに一対のマイクロディスプレイを設けることで虚像の位置を可変にできる。

【0054】

表示装置２４３からの表示光は、ホログラフィック光学素子２４４の導光板内部を屈折しながら、ユーザの眼前に導光される。そしてホログラフィック光学素子２４４により表示光を眼球方向に屈折させて、眼球に表示光を送る。これにより眼前に虚像（ホログラムの再生像）があるように見えるようになる。ホログラフィック光学素子２４４の導光板はコンバイナーとも呼ばれ、ハーフミラーであるコンバイナーにより、外界の実像と虚像が重なって見えるようになり、ＡＲ（Augmented Reality）やＭＲ（Mixed Reality）などの実現が可能になる。

【0055】

またゴーグル部２４２には、ＲＧＢカメラ２４６、デプスカメラ２４７、環境認識カメラ２４８、２４９が設けられている。ＲＧＢカメラ２４６を用いることでユーザの正面方向の撮影が可能になる。デプスカメラ２４７を用いることで正面方向での奥行き情報を取得できる。なおゴーグル部２４２にはデプスカメラ用のエミッター（不図示）が設けられている。環境認識カメラ２４８、２４９を用いることでユーザの周囲の環境認識が可能になる。またゴーグル部２４２には、加速度センサやジャイロセンサなどにより構成されるモーションセンサである慣性計測ユニット（ＩＭＵ）が内蔵されている。透過型ＨＭＤ２０２の位置情報や方向情報は、ゴーグル部２４２に設けられたカメラによる撮像画像と慣性計測ユニットからの測定情報などに基づいて検出され、これによりヘッドトラッキングが実現される。そして透過型ＨＭＤ２０２の位置情報や方向情報を検出することで、ユーザの位置情報や方向情報（視線方向情報）の取得も可能になる。またＲＧＢカメラ２４６やデプスカメラ２４７などを用いた処理により、ユーザの周囲に居る他のユーザの位置情報（相対的な位置情報）、方向情報（相対的な方向情報）、或いは姿勢情報を取得できる。例えばキネクト（登録商標）と呼ばれる処理によりこれらの情報を取得する。例えば姿勢情報を取得することで、他のユーザがどのようなアクションを行ったかを検出できるようになる。

【0056】

図５の透過型ＨＭＤ２０２によれば、例えば表示装置２４３、ホログラフィック光学素子２４４等により実現される表示部３０により、表示画像ＩＭＤと表示画像ＩＭＨをユーザに視認させることが可能になる。例えば第１表示装置１０の表示画像ＩＭＤについては、ホログラフィック光学素子２４４によるコンバイナーにより、透過画像（外界の実像）としてユーザに視認させることができる。また表示画像ＩＭＨについては、透過型ＨＭＤ２０２の表示装置２４３に表示することで、虚像としてユーザに視認させることができる。これにより、第１表示装置１０の表示画像ＩＭＤ（透過画像）に対して透過型ＨＭＤ２０２の表示画像ＩＭＨ（虚像）が付加されたコンテンツ画像をユーザに視認させる処理を実現できるようになる。

【0057】

なお透過型ＨＭＤ２０２は図５の構成に限定されるものでなく、例えば表示部３０の構成や虚像表示の手法等について、種々の変形実施が可能である。また透過型ＨＭＤ２０２を用いる場合に、ユーザの操作入力は、例えば不図示のコントローラをユーザが操作することで実現してもよいし、アイトラッキングなどによりユーザの視線が入力用表示物の方を向いていることを検出することで実現してもよい。或いは透過型ＨＭＤ２０２に設けられるモーションセンサによりユーザの頭の動き等を検出することで、ユーザの操作入力を検出してもよい。

【0058】

また前述したように第２表示装置２００は、透過型ＨＭＤ２０２には限定されず、透過型ディスプレイを有し、ユーザが例えば手に持って使用する透過型タブレット端末などの透過型表示装置であってよいし、スマートフォン、携帯型ゲーム装置又はタブレット端末等のカメラ機能を有する端末装置であってもよい。

【0059】

図６は、本実施形態のエンターテインメントシステム（ゲームシステム、コンテンツ提供システム、処理システム）の構成例を示すブロック図である。なお、本実施形態のアミューズメントシステムは図６の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

【0060】

操作部１６０は、ユーザ（プレーヤ）が種々の入力（操作）を行うためのものである。操作部１６０は、例えば操作ボタン、方向指示キー、キーボード、ジョイスティック又はレバー等により実現できる。或いは上述のように操作部１６０の機能を、アイトラッキングやモーションなどを用いて実現してもよい。

【0061】

撮像部１６２（カメラ）は、被写体（撮像対象物）の撮影を行うものである。撮像部１６２は、例えばＣＣＤやＣＭＯＳセンサなどの画像センサや、フォーカスレンズ等により構成される光学系などにより実現できる。カメラである撮像部１６２は例えば第２表示装置２００に設けられる。

【0062】

記憶部１７０は各種の情報を記憶する。記憶部１７０は、処理部１００や通信部１９６などのワーク領域として機能する。プログラムや、プログラムの実行に必要なデータは、この記憶部１７０に保持される。記憶部１７０の機能は、半導体メモリ（ＤＲＡＭ、ＶＲＡＭ）、ＨＤＤ（hard disk drive）、ＳＳＤ（Solid State Drive）、又は光ディスク装置などにより実現できる。記憶部１７０は、例えばコンテンツの情報を記憶する。コンテンツの情報は、コンテンツを構成する画像や音の情報などである。コンテンツの画像情報は、例えばコンテンツを構成するオブジェクト（表示物）の情報などである。

【0063】

情報記憶媒体１８０は、コンピュータにより読み取り可能な媒体であり、プログラムやデータなどを格納するものである。情報記憶媒体１８０は、光ディスク（ＤＶＤ、ＢＤ、ＣＤ）、ＨＤＤ、或いは半導体メモリ（ＲＯＭ）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（入力装置、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

【0064】

第１表示装置１０は、例えばメインのモニターであり、テレビモニター、ＰＣ用のモニター、ゲーム装置のモニター、或いはライブ施設やアミューズメント施設などの施設に設置されるモニターなどにより実現される。表示部３０は、第２表示装置２００（透過型ＨＭＤ２０２等）に設けられるディスプレイである。第１表示装置１０、表示部３０は、例えばＬＣＤ又は有機ＥＬディスプレイなどにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ又はヘッドフォン等により実現できる。

【0065】

通信部１９６は、有線や無線のネットワークを介して外部（他の装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。

【0066】

なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（或いは記憶部１７０）に配信してもよい。このようなサーバによる情報記憶媒体の使用も本実施形態の範囲内に含めることができる。

【0067】

処理部１００（プロセッサ）は、記憶部１７０に記憶されるプログラム、データや、操作部１６０の操作情報などに基づいて、情報取得処理、注視領域検出処理、画像解析処理、位置関係検出処理、或いはコンテンツ処理などを行う。

【0068】

処理部１００の各部が行う本実施形態の各処理はプロセッサ（ハードウェアを含むプロセッサ）により実現できる。例えば本実施形態の各処理は、プログラム等の情報に基づき動作するプロセッサと、プログラム等の情報を記憶するメモリにより実現できる。プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置（例えばＩＣ等）や、１又は複数の回路素子（例えば抵抗、キャパシター等）で構成することもできる。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。但し、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路であってもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルター回路等を含んでもよい。メモリ（記憶部１７０）は、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリであってもよいし、レジスターであってもよい。或いはハードディスク装置（ＨＤＤ）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部１００の各部の処理が実現されることになる。ここでの命令は、プログラムを構成する命令セットでもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

【0069】

処理部１００は、情報取得部１０２、注視領域検出部１０４、画像解析部１０５、位置関係検出部１０６、コンテンツ処理部１１０を含む。コンテンツ処理部１１０は通知処理部１１２を含む。上述したように、これらの各部により実行される本実施形態の各処理は、プロセッサ（或いはプロセッサ及びメモリ）により実現できる。なお、これらの構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

【0070】

情報取得部１０２は、処理部１００の処理に必要な種々の情報を取得する処理を行う。例えば情報取得部１０２は、ユーザの視線方向の情報を取得する。例えば第２表示装置２００を用いたトラッキング処理などによりユーザの視線方向の情報が取得される。例えばトラッキング処理により、第２表示装置２００の方向（向く方向）をユーザの視線方向として検出する。或いはアイトラッキング処理を行って、ユーザの視線方向を検出してもよい。第２表示装置２００の位置や方向は、カメラによる撮像画像や慣性計測ユニットからの測定情報などに基づいて検出できる。或いは、第２表示装置２００に発光部を設け、この発光部からの光を、外部に設けられたカメラなどにより撮像することで、第２表示装置２００の位置や方向を検出してもよい。或いは、外部に設けられた発光部からの光を、第２表示装置２００に設けられた受光部（カメラ）により撮像することで、第２表示装置２００の位置や方向を検出してもよい。また情報取得部１０２は、第１表示装置１０に表示される表示物の情報又は第１表示装置１０の表示態様の情報を取得する。表示物の情報は、例えば表示物の位置情報、表示物の表示態様情報（色、形状、明度又は透明度等）、或いは表示物がキャラクタである場合には、キャラクタについての種々の情報（ステータスパラメータなどのパラメータ情報等）などである。第１表示装置１０の表示態様の情報は、第１表示装置１０の表示画面の明るさ、色合い又はコントラストなどの情報である。

【0071】

注視領域検出部１０４は、ユーザの注視領域を検出する処理を行う。例えば注視領域検出部１０４は、第１表示装置１０の表示画面でのユーザの注視領域を検出する。例えば情報取得部１０２で取得された視線方向の情報に基づいて、第１表示装置１０の表示画面においてユーザが注視している領域である注視領域を検出する。例えば注視領域検出部１０４は、視線方向に沿った線と第１表示装置１０の表示画面との交点を求め、求められた交点を含む領域を、ユーザの注視領域として検出する。

【0072】

なお注視領域は、ユーザが実際に視線方向を向けて注視する領域には限定されない。例えば第２表示装置２００のカメラにより第１表示装置１０を撮影することで、第１表示装置１０の表示画像を視認可能にする例では、ユーザの注視領域は、カメラが注視する領域とすることができる。例えばカメラの向く方向をユーザの視線方向と見なして、注視領域検出部１０４は、カメラの向く方向に沿った線と第１表示装置１０の表示画面との交点を求め、求められた交点を含む領域を、ユーザの注視領域として検出する。この場合に、コンテンツ処理部１１０は、第１表示装置１０の表示画面での当該交点の位置をユーザが視認できるように、当該交点の位置に、マーカ等の交点位置識別用の表示物を表示することが望ましい。或いは、透過型タブレット端末等の透過型表示装置である第２表示装置２００を第１表示装置１０の方に向けることで、第１表示装置１０の表示画像を視認可能にする例では、ユーザの注視領域は、第２表示装置２００を向けることで注視する領域とすることができる。即ち、例えば第２表示装置２００の向く方向をユーザの視線方向と見なす。第２表示装置２００の向く方向は、例えば第２表示装置２００の主面に直交する方向であり、例えば表示部３０（表示画面）に直交する方向である。そして注視領域検出部１０４は、第２表示装置２００の向く方向に沿った線と第１表示装置１０の表示画面との交点を求め、求められた交点を含む領域を、ユーザの注視領域として検出する。この場合にも、コンテンツ処理部１１０は、第１表示装置１０の表示画面での当該交点の位置をユーザが視認できるように、例えば当該交点の位置に、マーカ等の交点位置識別用の表示物を表示することが望ましい。

【0073】

画像解析部１０５は、撮影画像の解析処理を行う。例えば第２表示装置２００のカメラにより第１表示装置１０を撮影した撮影画像の解析処理を行う。カメラは例えば撮像部１６２であり、図５の透過型ＨＭＤ２０２の場合には、例えばＲＧＢカメラ２４６などである。また第２表示装置２００が、スマートフォン、携帯型ゲーム装置又はタブレット端末等の端末装置である場合には、撮影画像を撮影するカメラは、例えば当該端末装置が有するカメラである。画像解析部１０５は、例えばカメラの撮影画像に映る第１表示装置１０の表示画像等の解析処理を行う。例えば画像解析部１０５は、第１表示装置１０の表示画像の表示内容や、第１表示装置１０の表示態様の解析処理を行う。或いは画像解析部１０５は、第１表示装置１０の表示画面でのユーザの注視領域を検出するための画像解析処理を行ってもよい。

【0074】

位置関係検出部１０６は、第１表示装置１０と第２表示装置２００の位置関係を検出する。例えば位置関係検出部１０６は、第１表示装置１０に対する第２表示装置２００の相対的な位置関係を検出する。ここで位置関係は、第１表示装置１０の位置と第２表示装置２００の位置の関係であってもよいし、第１表示装置１０の方向（向く方向）と第２表示装置２００の方向（向く方向）の関係であってもよい。例えば位置関係は、第１表示装置１０に対する第２表示装置２００の相対的な方向関係であってもよい。一例としては、位置関係検出部１０６は、第２表示装置２００に設けられたカメラ（ＲＧＢカメラ、デプスカメラ、環境認識カメラ等）を用いて実空間の認識処理を行い、この認識処理により得られた実空間情報に基づいて、第２表示装置２００に対する第１表示装置１０の相対的な位置関係を検出する。或いは、第１表示装置１０にマーカを設置し、このマーカを用いて第２表示装置２００と第１表示装置１０の位置関係を検出してもよい。例えば第１表示装置１０に複数のマーカ（ＡＲマーカ等）を設置し、第２表示装置２００のカメラにより、これらの複数のマーカを撮像し、得られた撮像画像の解析処理を行うことで、第２表示装置２００に対する第１表示装置１０の相対的な位置関係を検出する。

【0075】

コンテンツ処理部１１０は、種々のコンテンツ処理を行う。コンテンツ処理は、例えば、コンテンツの画像の表示処理や、コンテンツの音の出力処理などのコンテンツに関する種々の処理である。コンテンツの画像の表示処理は、コンテンツの画像を生成して表示する処理には限定されず、コンテンツの画像の表示を指示したり、表示されるコンテンツの画像の内容を指示する処理であってもよい。コンテンツ処理部１１０は、通知処理部１１２を含む。通知処理部１１２は、コンテンツ情報を、第２表示装置２００を用いてユーザに通知する処理を行う。例えば、ユーザの注視領域に対応するコンテンツ情報を、第２表示装置２００を用いてユーザに通知する処理を行う。

【0076】

そして、第１表示装置１０と、第１表示装置１０の表示画像が視認可能な第２表示装置２００を用いた本実施形態のエンターテインメントシステムは、図６に示すように注視領域検出部１０４とコンテンツ処理部１１０を含む。

【0077】

注視領域検出部１０４は、ユーザの視線方向の情報に基づいて、第１表示装置１０の表示画面でのユーザの注視領域を検出する。例えば注視領域検出部１０４は、情報取得部１０２で取得されたユーザの視線方向の情報に基づいて、ユーザの注視領域を検出する。例えば第２表示装置２００のトラッキング処理により取得されたユーザの視線方向の情報に基づいて、注視領域を検出する。或いはカメラの向く方向や透過型表示装置である第２表示装置２００が向く方向から注視領域を検出する。

【0078】

コンテンツ処理部１１０は、第１表示装置１０の表示画像に対して第２表示装置２００の表示画像が付加されたコンテンツ画像をユーザに視認させる処理を行う。例えば図２に示すように、第１表示装置１０の表示画像ＩＭＤに対して第２表示装置２００の表示画像ＩＭＨが付加されたコンテンツ画像をユーザに視認させるための制御処理を、第２表示装置２００等に対して行う。例えばコンテンツ処理部１１０は、表示画像ＩＭＤが透過画像としてユーザに表示され、表示画像ＩＭＨが虚像又は実像の重畳画像としてユーザに表示されるように、第２表示装置２００を制御する。

【0079】

そしてコンテンツ処理部１１０は、検出された注視領域に対応するコンテンツ情報を、第２表示装置２００を用いてユーザに通知する通知処理を行う。例えば注視領域が検出された場合に、注視領域に対応するコンテンツ情報を、例えば第２表示装置２００のハードウェア（表示部、音出力部、振動デバイス又は発光素子等）を利用してユーザに通知する処理を行う。例えば注視領域の表示物の情報、表示内容、表示態様、ステータス情報又はイベント発生情報等を通知する処理を行う。注視領域に対応するコンテンツ情報は、例えば注視領域に関連するコンテンツ情報である。具体的には注視領域に対応するコンテンツ情報は、注視領域に表示される表示物、注視領域での表示内容、注視領域の表示態様、或いは注視領域で発生するイベントなどに関連する情報である。コンテンツ情報は、エンターテインメントシステムが実現するエンターテインメントコンテンツに関する情報である。エンターテインメントコンテンツがゲームコンテンツである場合には、コンテンツ情報はゲーム情報である。ゲーム情報は、例えばゲームに登場する表示物の情報、ゲーム進行情報、ゲームステータス情報、又はゲームをプレイするユーザの情報などである。表示物の情報は、表示物のパラメータ情報、表示位置情報又は表示態様情報などである。或いはコンテンツ情報は、配信動画、映画、環境映像、観光映像又はシミュレーション映像などのエンターテインメントコンテンツについての種々の情報である。例えばコンテンツ情報は、これらのコンテンツの内容に関する情報、コンテンツのステータス情報、コンテンツの進行情報、或いはコンテンツの説明情報などである。

【0080】

またコンテンツ情報の通知処理は、例えば第２表示装置２００を用いてコンテンツ情報を表示する処理である。例えば通知処理は、コンテンツ情報の画像を第２表示装置２００の表示装置２４３に表示する処理である。例えば通知処理は、コンテンツ情報の画像を、第１表示装置１０の表示画像に重畳される画像として表示する処理である。但し通知処理は、これに限定されず、コンテンツ情報についての音の出力処理、振動処理、或いは発光素子の発光処理などであってもよい。

【0081】

またコンテンツ処理部１１０は、第１表示装置１０に表示される表示物の情報又は第１表示装置１０の表示態様に応じて、コンテンツ情報の通知態様を変化させる。表示物の情報は、表示物のパラメータ情報、表示位置情報又は表示態様情報などである。第１表示装置１０の表示態様は、第１表示装置１０の表示画面の明るさ、色合い、コントラスト又は表示内容などである。例えばコンテンツ処理部１１０は、第１表示装置１０の表示物の情報又は表示態様に応じて、コンテンツ情報の通知内容、通知表示物、通知位置、通知イベント又は通知タイミング等を変化させる。

【0082】

例えばコンテンツ処理部１１０は、第１表示装置１０の表示物の情報又は第１表示装置１０の表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示制御を行う。例えば第１表示装置１０の表示物の情報又は表示態様に応じてコンテンツ情報の通知態様を変化させる処理として、第２表示装置２００に表示されるオブジェクトの表示制御を行う。例えばコンテンツ処理部１１０は、第１表示装置１０の表示物の情報又は表示態様に応じて、オブジェクトの表示・非表示を決定したり、オブジェクトの表示態様を変化させる。例えば第１表示装置１０の表示物の情報又は表示態様に応じて、オブジェクトの色合い、明るさ、大きさ、形状、透明度又は輪郭等の表示態様を設定する。

【0083】

例えば表示物の情報は、第１表示装置１０の表示画面においてユーザにより注視された注視表示物の情報である。そしてコンテンツ処理部１１０は、第１表示装置１０での注視表示物の情報又は第１表示装置１０の表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示位置を設定する。即ち注視表示物の情報又は第１表示装置１０の表示態様に応じたオブジェクトの表示制御として、第２表示装置２００に表示されるオブジェクトの表示位置を設定（決定）する。例えばコンテンツ処理部１１０は、ユーザの注視表示物が決定されると、その注視表示物の位置に対応する位置に、第２表示装置２００でのオブジェクトを表示する制御を行う。或いは注視表示物の大きさや形状に応じた位置に、第２表示装置２００でのオブジェクトを表示する制御を行う。或いは第１表示装置１０の表示画面の表示態様や表示内容に応じた適切な位置に、第２表示装置２００でのオブジェクトを表示する制御を行う。なお本実施形態では、記載の明確化のために、第２表示装置２００の表示装置２４３に表示される表示物（図２のＯＢ１～ＯＢ５等）を、第１表示装置１０の「表示物」と区別して、「オブジェクト」と記載することとする。このオブジェクトは、第２表示装置２００により、第１表示装置１０の表示画像への重畳画像として表示されるオブジェクトである。

【0084】

またコンテンツ処理部１１０は、注視表示物の情報又は第１表示装置１０の表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示態様を設定する。即ち第１表示装置１０の注視表示物の情報又は表示態様に応じたオブジェクトの表示制御として、第２表示装置２００に表示されるオブジェクトの表示態様を設定（決定）する。例えばコンテンツ処理部１１０は、ユーザの注視表示物が決定されると、その注視表示物に対応する表示態様で、第２表示装置２００でのオブジェクトを表示する制御を行う。或いは注視表示物の明るさ、色、形状、又は大きさに応じた表示態様で、第２表示装置２００でのオブジェクトを表示する制御を行う。或いは第１表示装置１０の表示画面の表示態様や表示内容に応じた適切な表示態様で、第２表示装置２００でのオブジェクトを表示する制御を行う。

【0085】

また本実施形態のエンターテインメントシステムは、情報取得部１０２とコンテンツ処理部１１０を含む。そして情報取得部１０２は、第１表示装置１０に表示される表示物の情報又は第１表示装置１０の表示態様の情報を取得する。またコンテンツ処理部１１０は、第１表示装置１０の表示画像に対して第２表示装置２００の表示画像が付加されたコンテンツ画像をユーザに視認させる処理を行う。そしてコンテンツ処理部１１０は、コンテンツ情報を第２表示装置２００を用いてユーザに通知する通知処理を行い、第１表示装置１０の表示物の情報又は表示態様に応じて、コンテンツ情報の通知態様を変化させる。例えばコンテンツ処理部１１０は、第１表示装置１０の表示物の情報又は表示態様に応じて、コンテンツ情報の通知内容、通知表示物、通知位置、通知イベント又は通知タイミング等を変化させる。

【0086】

この場合にコンテンツ処理部１１０は、第１表示装置１０の表示物の情報又は表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示制御を行う。例えば第１表示装置１０の表示物の情報又は表示態様に応じてコンテンツ情報の通知態様を変化させる処理として、第２表示装置２００に表示されるオブジェクトの表示制御を行う。例えばコンテンツ処理部１１０は、第１表示装置１０の表示物の情報又は表示態様に応じて、オブジェクトの表示・非表示を決定したり、オブジェクトの表示態様を変化させる。

【0087】

具体的にはコンテンツ処理部１１０は、第１表示装置１０の表示物の情報又は表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示位置を設定する。即ち表示物の情報又は第１表示装置１０の表示態様に応じたオブジェクトの表示制御として、第２表示装置２００に表示されるオブジェクトの表示位置を設定（決定）する。例えばコンテンツ処理部１１０は、第１表示装置１０の表示物の位置に対応する位置に、第２表示装置２００でのオブジェクトを表示する制御を行う。或いは表示物の大きさや形状に応じた位置に、第２表示装置２００でのオブジェクトを表示する制御を行う。或いは第１表示装置１０の表示画面の表示態様や表示内容に応じた適切な位置に、第２表示装置２００でのオブジェクトを表示する制御を行う。

【0088】

またコンテンツ処理部１１０は、第１表示装置１０の表示物の情報又は表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示態様を設定する。即ち第１表示装置１０の表示物の情報又は表示態様に応じたオブジェクトの表示制御として、第２表示装置２００に表示されるオブジェクトの表示態様を設定（決定）する。例えばコンテンツ処理部１１０は、第１表示装置１０の表示物に対応する表示態様で、第２表示装置２００でのオブジェクトを表示する制御を行う。或いは表示物の明るさ、色、形状、又は大きさに応じた表示態様で、第２表示装置２００でのオブジェクトを表示する制御を行う。或いは第１表示装置１０の表示画面の表示態様や表示内容に応じた適切な表示態様で、第２表示装置２００でのオブジェクトを表示する制御を行う。

【0089】

また第２表示装置２００に表示されるオブジェクトは、第１表示装置１０に表示される表示物に関連するオブジェクトである。例えば第２表示装置２００のオブジェクトは、第１表示装置１０の表示物に対して予め関連づけられているオブジェクトである。例えば第２表示装置２００のオブジェクトは、第１表示装置１０の表示物に対応づけられて記憶部１７０に記憶される。例えば第１表示物には、第１オブジェクト（第１オブジェクト群）が関連づけられており、第２表示物には、第２オブジェクト（第２オブジェクト群）が関連づけられている。そして例えば第１表示装置１０に表示物が表示されると、この表示物に関連づけられたオブジェクトが第２表示装置２００に表示される。

【0090】

また第１表示装置１０の表示物の情報は、例えば表示物のパラメータ情報、表示物の表示位置情報又は表示物の表示態様情報である。表示物のパラメータの情報は、表示物の状態や状況を表すパラメータの情報であり、例えばゲームに登場する表示物のゲームパラメータの情報である。例えば表示物がゲームのキャラクタである場合には、パラメータ情報は、当該キャラクタに対応づけて記憶部１７０の記憶されるキャラクタのゲームのパラメータ情報である。例えばキャラクタのステータス、能力、レベル又は属性等を表すパラメータの情報である。表示物の表示位置情報は、例えば第１表示装置１０の表示画面での位置座標、表示エリア又は表示場所等についての情報である。表示物の表示位置情報は、仮想的な３次元空間での表示物の位置情報であってもよい。表示物の表示態様情報は、例えば表示物の色合い、明るさ、大きさ、形状、透明度又はテクスチャ等の情報である。

【0091】

また本実施形態のエンターテインメントシステムは、画像解析部１０５とコンテンツ処理部１１０を含む。画像解析部１０５は、第２表示装置２００のカメラにより第１表示装置１０を撮影した撮影画像の解析処理を行う。例えば情報取得部１０２が、第２表示装置２００のカメラにより第１表示装置１０を撮影した撮影画像の情報を取得し、画像解析部１０５が、取得された撮影画像の解析処理を行う。例えばカメラの撮影画像に映る第１表示装置１０の表示画像等の解析処理を行う。例えば画像解析部１０５は、第１表示装置１０に表示される表示物又は第１表示装置１０の表示態様の解析処理を行う。或いは画像解析部１０５は、第１表示装置１０の表示画面でのユーザの注視領域を検出するための画像解析処理を行う。

【0092】

そしてコンテンツ処理部１１０は、撮影画像の解析処理の結果に基づくコンテンツ情報を、第２表示装置２００を用いてユーザに通知する通知処理を行う。例えば第１表示装置１０を撮影したカメラの撮影画像の解析処理の結果に基づいて、第１表示装置１０に表示される表示物の情報や、第１表示装置１０の表示態様が特定される。そしてコンテンツ処理部１１０は、特定された第１表示装置１０の表示物の情報又は第１表示装置１０の表示態様に応じて、コンテンツ情報の通知態様を変化させる処理を行う。即ちコンテンツ処理部１１０は、撮影画像の解析処理の結果に基づき特定された表示物の情報又は表示態様に応じて、コンテンツ情報の通知態様を変化させる処理を行う。具体的には、第１表示装置１０の表示物の情報又は表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示制御を行う。或いは、第１表示装置１０を撮影したカメラの撮影画像の解析処理の結果に基づいて、第１表示装置１０の表示画面でのユーザの注視領域が検出される。そしてコンテンツ処理部１１０は、カメラの撮影画像の解析処理の結果に基づき検出された注視領域に対応するコンテンツ情報を、第２表示装置２００を用いてユーザに通知する通知処理を行う。例えばカメラの撮影画像の解析処理の結果に基づき、ユーザにより注視された注視表示物が特定されたとする。この場合には、コンテンツ処理部１１０は、注視表示物の情報又は第１表示装置１０の表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示位置を設定する処理を行ったり、第２表示装置２００に表示されるオブジェクトの表示態様を設定する処理を行う。

【0093】

またコンテンツ処理部１１０は、第１表示装置１０と第２表示装置２００の位置関係に応じて、第１表示装置１０又は第２表示装置２００の表示内容、或いはコンテンツ情報の通知態様を変化させる。例えば位置関係検出部１０６が、第１表示装置１０と第２表示装置２００の位置関係を検出すると、コンテンツ処理部１１０は、検出された位置関係に応じて、第１表示装置１０又は第２表示装置２００の表示内容を変化させたり、コンテンツ情報の通知態様を変化させる。例えばコンテンツ処理部１１０は、第１表示装置１０と第２表示装置２００の位置関係に応じて、第１表示装置１０で表示される表示物の種類又は表示態様等を変化させたり、第２表示装置２００で表示されるオブジェクトの種類又は表示態様等を変化させる。或いはコンテンツ処理部１１０は、第１表示装置１０と第２表示装置２００の位置関係に応じて、コンテンツ情報の通知内容、通知表示物、通知位置、通知イベント又は通知タイミング等を変化させる。

【0094】

またコンテンツ処理部１１０は、第１表示装置１０と第２表示装置２００の位置関係と、第１表示装置１０に表示される表示物の情報とに応じて、第１表示装置１０又は第２表示装置２００の表示内容、或いはコンテンツ情報の通知態様を変化させる。例えばコンテンツ処理部１１０は、第１表示装置１０と第２表示装置２００の位置関係と、第１表示装置１０の表示物の情報とにより、第１表示装置１０に表示される表示物の種類又は表示態様等を変化させたり、第２表示装置２００に表示されるオブジェクトの種類又は表示態様を変化させたり、コンテンツ情報の通知内容、通知表示物、通知位置、通知イベント又は通知タイミング等を変化させる。

【0095】

図７（Ａ）、図７（Ｂ）に、本実施形態のエンターテインメントシステムのハードウェアの実現構成例を示す。図７（Ａ）では、情報処理装置４０が、有線又は無線により第１表示装置１０及び第２表示装置２００に通信接続されている。そして情報処理装置４０が第１表示装置１０及び第２表示装置２００の制御処理を行う。情報処理装置４０は、例えばパーソナルコンピュータ（ＰＣ）、ゲーム装置、或いは通信端末装置である。パーソナルコンピュータはデスクトップＰＣ、ノートＰＣ又はタブレット型ＰＣなどである。ゲーム装置は家庭用ゲーム装置であってもよいし、アミューズメント施設に設置される業務用ゲーム装置であってもよい。通信端末装置は例えばスマートフォン等の携帯型の通信端末装置である。例えば図７（Ａ）では、情報処理装置４０が、第１表示装置１０での表示画像の表示処理を行うと共に、第２表示装置２００での表示画像の表示処理を行う。第１表示装置１０での表示処理は情報処理装置４０と第１表示装置１０の分散処理により実現でき、第２表示装置２００での表示処理は情報処理装置４０と第２表示装置２００の分散処理により実現できる。そして情報処理装置４０が、第１表示装置１０の表示画像に対して第２表示装置２００の表示画像が付加されたコンテンツ画像をユーザに視認させる処理を行う。例えば情報処理装置４０が、第１表示装置１０の表示画像の情報を第１表示装置１０に送信し、第２表示装置２００の表示画像の情報を第２表示装置２００に送信する。そして、第２表示装置２００において、第１表示装置１０の表示画像の透過画像に対して、第２表示装置２００の表示画像を重畳表示する処理が行われる。

【0096】

図７（Ｂ）では、第２表示装置２００、サーバ５０、情報処理装置４０が、ネットワーク６０を介して通信接続されている。ネットワーク６０（配信網、通信回線）は、例えばインターネットや無線ＬＡＮ等を利用した通信路であり、直接接続のための専用線（専用ケーブル）やイーサネット（登録商標）等によるＬＡＮの他、電話通信網やケーブル網や無線ＬＡＮ等の通信網を含むことができる。また通信方法については有線／無線を問わない。サーバ５０は、エンターテインメントシステムの運営者が運営するサーバであり、例えばエンターテインメントシステムの各種の制御処理や管理処理を実行する。図７（Ｂ）では、本実施形態のエンターテインメントシステムの各処理は、例えば情報処理装置４０、サーバ５０、第２表示装置２００の分散処理などにより実現できる。図７（Ｂ）では、例えば情報処理装置４０が、第１表示装置１０での表示画像の表示処理を行い、第２表示装置２００が、第２表示装置２００での表示画像の表示処理を行う。そしてサーバ５０が、情報処理装置４０、第２表示装置２００の各種の制御処理や管理処理を行う。例えばサーバ５０は、第１表示装置１０の表示画像に対して第２表示装置２００の表示画像が付加されたコンテンツ画像をユーザに視認させるための制御処理や管理処理を行うことができる。

【0097】

２．本実施形態の手法
次に本実施形態の手法について詳細に説明する。

【0098】

２．１ 第２表示装置を用いた通知処理
本実施形態のエンターテインメントシステムは、図１で説明したように、第１表示装置１０と、第１表示装置１０の表示画像が視認可能な第２表示装置２００とを用いたエンターテインメントシステムである。そして本実施形態では第２表示装置を用いた種々の通知処理を実現する。図８は本実施形態の処理例を説明するフローチャートである。

【0099】

まず本実施形態のエンターテインメントシステムは、図３で説明したように、ユーザＵＳの視線方向ＬＳの情報を取得する（ステップＳ１）。例えばユーザＵＳが装着する第２表示装置２００の方向等のトラッキング処理を行うことで、ユーザＵＳの視線方向ＬＳを検出する。或いは、ユーザＵＳの視線トラッキング（アイトラッキング）を行うことでユーザＵＳの視線方向ＬＳを検出してもよい。

【0100】

次にエンターテインメントシステムは、図３に示すように、ユーザＵＳの視線方向ＬＳの情報に基づいて、第１表示装置１０の表示画面でのユーザＵＳの注視領域ＡＲＧを検出する（ステップＳ２）。例えば図３では、ユーザＵＳは、自身の操作キャラクタであるキャラクタＣＨ１を注視しており、このキャラクタＣＨ１の配置位置に対応する領域が注視領域ＡＲＧとして検出されている。一例としては、ユーザＵＳの視線方向ＬＳに沿った線と第１表示装置１０の表示画面との交点を含む領域が、注視領域ＡＲＧとして検出される。なお、前述したように、第２表示装置２００のカメラの向く方向や、第２表示装置２００である透過型表示装置の向く方向に基づいて、注視領域ＡＲＧを検出してもよい。

【0101】

そしてエンターテインメントシステムは、第１表示装置１０の表示画像に対して第２表示装置２００の表示画像が付加されたコンテンツ画像をユーザＵＳに視認させる処理を行う際に、注視領域ＡＲＧに対応するコンテンツ情報を、第２表示装置２００を用いてユーザに通知する通知処理を行う（ステップＳ３）。例えば図３では、第１表示装置１０の表示画面においてユーザＵＳが注視する注視領域ＡＲＧには、キャラクタＣＨ１が表示されている。そして注視領域ＡＲＧに対応するコンテンツ情報として、第１表示装置１０の表示物であるキャラクタＣＨ１についての情報を通知する。具体的には図２に示すように、注視領域ＡＲＧに位置するキャラクタＣＨ１のステータス情報を、第１表示装置１０の表示画像ＩＭＤに重畳される第２表示装置２００の表示画像ＩＭＨとしてユーザＵＳに表示する。このようにすれば、ユーザＵＳは、第１表示装置１０の表示画面において自身が注視した注視領域ＡＲＧに対応するコンテンツ情報を、第２表示装置２００を利用して知ることが可能になる。即ち、ユーザＵＳは、第１表示装置１０の表示画面において自身が所望する領域を注視するだけで、その注視領域ＡＲＧに対応するコンテンツ情報を取得できるようになる。従って、第１表示装置１０と第２表示装置２００を用いたシステムにおいて第１表示装置１０に関連するコンテンツ情報をユーザに対して通知することができるエンターテインメントシステム等の提供が可能になる。例えば第１表示装置１０と第２表示装置２００を用いたエンターテインメントシステムにおいて興趣性の高い演出制御を実現できる。

【0102】

また本実施形態では、図８のステップＳ３の通知処理として、第２表示装置２００を用いてコンテンツ情報を表示する処理を行っている。即ち図２、図３に示すように、第２表示装置２００を用いてコンテンツ情報に対応する表示画像ＩＭＨを、第１表示装置１０の表示画像ＩＭＤに対して重畳表示することで、注視領域ＡＲＧに対応するコンテンツ情報をユーザに通知している。このようにすれば、ユーザＵＳは、第１表示装置１０の表示画面において自身が注視した注視領域ＡＲＧに対応するコンテンツ情報を、第２表示装置２００の表示画像ＩＭＨにより視覚的に認識できるようになる。即ち、ユーザＵＳは、第１表示装置１０の表示画面において自身が所望する領域を注視するだけで、その注視領域ＡＲＧに対応するコンテンツ情報を、第２表示装置２００の表示画像ＩＭＨにより視認できるようになり、第１表示装置１０と第２表示装置２００を用いたエンターテインメントシステムにおける好適なユーザインターフェースを実現できる。なお、コンテンツ情報をユーザＵＳに通知する通知処理は、図２、図３に示すような画像表示による通知処理には限定されず、図４で説明したように、振動、音又は発光等による通知処理であってもよい。

【0103】

また本実施形態では、第１表示装置１０の表示物の情報又は表示態様に応じて、コンテンツ情報の通知態様を変化させる。図９はこの場合の本実施形態の処理例を説明するフローチャートである。

【0104】

まずエンターテインメントシステムは、第１表示装置１０に表示される表示物の情報又は第１表示装置１０の表示態様の情報を取得する（ステップＳ１１）。図１を例にとれば、第１表示装置１０に表示されるキャラクタＣＨ１～ＣＨ３、ＣＥ１～ＣＥ３や背景表示物などの表示物の情報や、第１表示装置１０の表示画面の明るさ、色合い、コントラスト又は表示内容などの表示態様の情報を取得する。この表示物の情報や表示態様の情報は、第１表示装置１０を撮影したカメラの撮影画像の解析処理の結果に基づいて取得してもよい。そして第１表示装置１０の表示物の情報又は表示態様に応じて、コンテンツ情報の通知態様を変化させる（ステップＳ１２）。例えば第１表示装置１０の表示物の情報又は表示態様に応じて、コンテンツ情報の通知内容、通知表示物、通知位置、通知イベント又は通知タイミング等を変化させる。例えば第１表示装置１０の表示物が第１表示物である場合、或いは第１表示装置１０の表示態様が第１表示態様である場合には、第１通知内容、第１通知表示物、第１通知位置、第１通知イベント又は第１通知タイミングでコンテンツ情報を通知する。第１表示装置１０の表示物が第２表示物である場合、或いは第１表示装置１０の表示態様が第２表示態様である場合には、第２通知内容、第２通知表示物、第２通知位置、第２通知イベント又は第２通知タイミングでコンテンツ情報を通知する。

【0105】

具体的にはエンターテインメントシステムは、第１表示装置１０の表示物に応じた通知内容又は通知表示物のコンテンツ情報を、ユーザに通知する。例えば第１表示装置１０の表示物がキャラクタである場合には、キャラクタに対応する通知内容のコンテンツ情報を通知したり、キャラクタに対応する通知表示物を表示する通知処理を行う。例えばキャラクタの情報を知らせる通知内容のコンテンツ情報を通知したり、キャラクタに関連する通知表示物を表示する。また第１表示装置１０の表示物に応じた通知イベントのコンテンツ情報を通知したり、第１表示装置１０の表示物に応じた通知タイミングでコンテンツ情報を通知する。例えば第１表示装置１０の表示物がキャラクタである場合には、キャラクタに関連する通知イベントが発生するようなコンテンツ情報を通知したり、キャラクタの登場タイミング等に対応する通知タイミングでコンテンツ情報を通知する。或いは、第１表示装置１０の表示画面の明るさ、色合い、コントラスト又は表示内容等の表示態様に応じて、コンテンツ情報の通知内容、通知表示物、通知位置、通知イベント又は通知タイミング等を変化させる。例えば第１表示装置１０の表示態様に適した通知内容又は通知表示物のコンテンツ情報を、ユーザに通知する。或いは、第１表示装置１０の表示態様に適した通知位置でコンテンツ情報を通知したり、第１表示装置１０の表示態様に適した通知イベントが発生するようなコンテンツ情報を通知したり、第１表示装置１０の表示態様に適した通知タイミングで、コンテンツ情報を通知する。このように本実施形態によれば、第１表示装置１０の表示物の情報又は表示態様に応じてコンテンツ情報の通知態様を変化させているため、第１表示装置１０の表示物又は表示態様に適した通知態様で、コンテンツ情報をユーザに通知できるようになる。従って、第１表示装置１０の表示画像に第２表示装置２００の表示画像が付加されたコンテンツ画像をユーザに視認させるエンターテインメントシステムにおいて、第１表示装置１０の表示物又は表示態様に応じた適切なコンテンツ情報をユーザに通知することが可能になる。

【0106】

また本実施形態では、第１表示装置１０の表示物の情報又は表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示制御を行う。このようにすれば、第１表示装置１０の表示物又は表示態様に応じて表示制御されるオブジェクトを第２表示装置２００に表示して、第１表示装置１０の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。従って、第１表示装置１０の表示物又は表示態様を反映させたオブジェクトの表示制御を行って、当該オブジェクトを用いたコンテンツ情報の通知処理を実現できるようになる。図１０はこの場合の本実施形態の処理例を説明するフローチャートである。

【0107】

まずエンターテインメントシステムは、第１表示装置１０に表示される表示物（注視表示物）の情報又は第１表示装置１０の表示態様の情報を取得する（ステップＳ２１）。例えば表示物のパラメータ情報、表示位置情報又は表示態様情報などの表示物の情報や、第１表示装置１０の表示画面の明るさ、色合い、コントラスト又は表示内容などの表示態様の情報を取得する。この表示物の情報や表示態様の情報は、第１表示装置１０を撮影したカメラの撮影画像の解析処理の結果に基づいて取得してもよい。そして第１表示装置１０の表示物（注視表示物）の情報又は表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示位置又は表示態様の設定する（ステップＳ２２）。即ち、第１表示装置１０の表示物の情報又は表示態様に応じた第２表示装置２００のオブジェクトの表示制御として、第２表示装置２００に表示されるオブジェクトの表示位置又は表示態様を設定する制御を行う。

【0108】

このように本実施形態では、第１表示装置１０の表示物の情報又は表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示位置を設定する。このようにすれば、第１表示装置１０の表示物の情報又は表示態様に応じた表示位置にオブジェクトを表示して、第１表示装置１０の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。従って、第１表示装置１０の表示物又は表示態様に応じた表示位置にオブジェクトを表示して、当該オブジェクトを用いたコンテンツ情報の通知処理を実現できるようになる。

【0109】

例えば図１１（Ａ）では、第１表示装置１０の表示物であるキャラクタＣＨ１は、第１表示装置１０の表示画面の左側の位置に表示されている。この場合には、第２表示装置２００において表示画像ＩＭＨとして表示されるオブジェクトＯＢ１、ＯＢ２の表示位置も左側の位置に設定する。また図１１（Ｂ）では、第１表示装置１０の表示物であるキャラクタＣＨ１は、第１表示装置１０の表示画面の右側の位置に表示されている。この場合には、第２表示装置２００に表示されるオブジェクトＯＢ１、ＯＢ２の表示位置も右側の位置に設定する。即ち第１表示装置１０の表示物の情報である表示物の位置情報に応じて、第２表示装置２００に表示されるオブジェクトの表示位置を設定している。或いは、表示物の形状又は大きさの情報に応じて、第２表示装置２００に表示されるオブジェクトの表示位置を設定してもよい。例えば第１表示装置１０での表示物の表示位置、形状又は大きさなどの表示物の情報を判断して、当該表示物の視認を妨げない表示位置に、第２表示装置２００におけるオブジェクトを表示する。このようにすれば、第１表示装置１０の表示物の表示位置、形状又は大きさなどの表示物の情報に応じた適切な表示位置に、第２表示装置２００におけるオブジェクトを表示できるようになる。或いは、本実施形態では、第１表示装置１０の表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示位置を設定してもよい。例えば第１表示装置１０の明るさ、色合い、コントラスト又は表示内容などの表示態様を判断して、オブジェクトを用いたコンテンツ情報の通知に好適な表示位置に、第２表示装置２００におけるオブジェクトを表示する。或いは第１表示装置１０の表示態様を判断して、第１表示装置１０における表示を妨げない表示位置に、第２表示装置２００におけるオブジェクトを表示する。このようにすれば、第１表示装置１０の表示態様に応じた適切な表示位置に、第２表示装置２００におけるオブジェクトを表示できるようになる。

【0110】

また本実施形態では、第１表示装置１０の表示物の情報又は表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示態様を設定する。例えば第２表示装置２００におけるオブジェクトの色合い、明るさ、大きさ、形状、透明度又は輪郭等の表示態様を設定する。このようにすれば、第１表示装置１０の表示物の情報又は表示態様に応じた表示態様でオブジェクトを表示して、第１表示装置１０の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。従って、第１表示装置１０の表示物又は表示態様に応じた表示態様でオブジェクトを表示して、当該オブジェクトを用いたコンテンツ情報の通知処理を実現できるようになる。

【0111】

例えば図１２では、第１表示装置１０の表示物であるキャラクタＣＨ１の情報に応じて、第２表示装置２００の表示画像ＩＭＨのオブジェクトＯＢ１、ＯＢ２の色合い、明るさ、大きさ、形状、透明度又は輪郭等の表示態様を設定している。例えば表示物であるキャラクタＣＨ１に応じた色合い、明るさに、第２表示装置２００におけるオブジェクトＯＢ１、ＯＢ２の色合い、明るさを設定する。例えばキャラクタＣＨ１と同様の色合い、明るさにオブジェクトＯＢ１、ＯＢ２の色合い、明るさを設定する。或いは表示物であるキャラクタＣＨ１に応じた大きさ、形状に、第２表示装置２００におけるオブジェクトＯＢ１、ＯＢ２の大きさ、形状を設定する。例えばキャラクタＣＨ１が大きい場合には、オブジェクトＯＢ１、ＯＢ２も大きくしたり、キャラクタＣＨ１の形状に対応する形状のオブジェクトＯＢ１、ＯＢ２を表示する。なお第１表示装置１０にどのような表示物が表示されているかは、例えば第１表示装置１０を撮影したカメラの撮影画像の解析処理の結果に基づいて特定できる。

【0112】

また図１２では、第１表示装置１０の表示画面（ＩＭＤ）の明るさ、色合い、コントラスト又は表示内容等の表示態様に応じて、第２表示装置２００の表示画像ＩＭＨのオブジェクトＯＢ１、ＯＢ２の色合い、明るさ、大きさ、形状、透明度又は輪郭等の表示態様を設定している。例えば第１表示装置１０の表示画面（ＩＭＤ）が明るい場合には、明るい表示画面においても第２表示装置２００により表示されるオブジェクトＯＢ１、ＯＢ２の視認度が高くなるように、オブジェクトＯＢ１、ＯＢ２の表示態様を設定する。例えば第１表示装置１０の表示画面（ＩＭＤ）が明るい場合には、第２表示装置２００におけるオブジェクトＯＢ１、ＯＢ２の色合いを黒くしたり、透明度を下げたり（不透明度を上げたり）、或いはオブジェクトＯＢ１、ＯＢ２の輪郭が目立つようにオブジェクトＯＢ１、ＯＢ２の表示態様を設定する。また第１表示装置１０の表示画面の色合いに応じた色合いに、第２表示装置２００におけるオブジェクトＯＢ１、ＯＢ２の色合いを設定する。例えば第２表示装置２００におけるオブジェクトＯＢ１、ＯＢ２の色合いを、第１表示装置１０の表示画面と同様の色合いに設定したり、表示画面においてオブジェクトＯＢ１、ＯＢ２の視認性が高まるような色合いに設定する。或いは、第２表示装置２００におけるオブジェクトＯＢ１、ＯＢ２の大きさ又は形状等を、第１表示装置１０の表示内容である表示コンテンツに応じた大きさ、形状又は透明度等に設定する。例えば第２表示装置２００におけるオブジェクトＯＢ１、ＯＢ２の大きさ、形状又は透明度等を、第１表示装置１０の表示コンテンツの視認の妨げにならないような大きさ、形状又は透明度に設定する。なお、環境光の明るさを検出する環境光センサを設け、この環境光センサの検出結果に基づいて、第２表示装置２００により表示されるオブジェクトＯＢ１、ＯＢ２の表示制御を行ってもよい。また第１表示装置１０の表示画面の明るさ、色合い、コントラスト又は表示内容等の表示態様は、例えば第１表示装置１０を撮影したカメラの撮影画像の解析処理の結果に基づいて特定することができる。

【0113】

また第１表示装置１０の表示画面においてユーザにより注視された注視表示物を検出する場合には、注視表示物の情報に応じて、第２表示装置２００に表示されるオブジェクトの表示位置を設定する。例えば図３では、ユーザの視線方向ＬＳの情報に基づいてユーザの注視領域ＡＲＧが検出され、これによりユーザの注視表示物であるキャラクタＣＨ１が検出されている。この場合に、検出された注視表示物（キャラクタＣＨ１）の情報に応じて、第２表示装置２００に表示されるオブジェクト（ＯＢ１、ＯＢ２）の表示位置を設定する。例えば注視表示物のパラメータ情報、表示位置又は表示態様等に応じて、第２表示装置２００に表示されるオブジェクトの表示位置を設定する。例えば注視表示物の表示位置の近くに、第２表示装置２００におけるオブジェクトを表示したり、注視表示物の大きさ又は形状に応じた適切な表示位置に、オブジェクトを表示する。このようにすれば、第１表示装置１０の注視表示物の情報に応じた表示位置にオブジェクトを表示して、第１表示装置１０の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。従って、第１表示装置１０の注視表示物に応じた表示位置にオブジェクトを表示して、当該オブジェクトを用いたコンテンツ情報の通知処理を実現できるようになる。なお、第１表示装置１０の表示画面においてユーザにより注視された注視表示物は、例えば第１表示装置１０を撮影したカメラの撮影画像の解析処理の結果に基づいて特定することができる。

【0114】

また第１表示装置１０の表示画面においてユーザにより注視された注視表示物を検出する場合に、注視表示物の情報に応じて、第２表示装置２００に表示されるオブジェクトの表示態様を設定する。例えば図３のように、ユーザの注視表示物であるキャラクタＣＨ１が検出された場合に、検出された注視表示物（キャラクタＣＨ１）の情報に応じて、第２表示装置２００に表示されるオブジェクト（ＯＢ１、ＯＢ２）の表示態様を設定する。例えば注視表示物のパラメータ情報、表示位置又は表示態様等に応じて、第２表示装置２００に表示されるオブジェクトの表示態様を設定する。例えば注視表示物のパラメータ情報に応じて、オブジェクトの色合い、明るさ、大きさ、形状又は透明度等の表示態様を変化させる。或いは、注視表示物の色合い、明るさ、大きさ又は形状等に対応する色合い、明るさ、大きさ又は形状等のオブジェクトを、第２表示装置２００により表示する。このようにすれば、第１表示装置１０の注視表示物の情報に応じた表示態様でオブジェクトを表示して、第１表示装置１０の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。従って、第１表示装置１０の注視表示物に応じた表示態様でオブジェクトを表示して、当該オブジェクトを用いたコンテンツ情報の通知処理を実現できるようになる。

【0115】

また第２表示装置２００に表示されるオブジェクトは、第１表示装置１０に表示される表示物に関連するオブジェクトである。例えば図２において、第２表示装置２００に表示されるオブジェクトＯＢ１～ＯＢ５は、第１表示装置１０の表示物であるキャラクタＣＨ１のステータス情報等をユーザに知らせるオブジェクトであり、表示物であるキャラクタＣＨ１に関連するオブジェクトである。このようにすれば、第１表示装置１０の表示物に関連するオブジェクトを、第１表示装置１０の表示画像に重畳表示されるオブジェクトとして、第２表示装置２００により表示できるようになる。これにより、第１表示装置１０の表示画像に対して、当該表示画像の表示物に関連するオブジェクトを、第２表示装置２００により重畳表示して、当該オブジェクトによるコンテンツ情報をユーザに通知できるようになる。

【0116】

また第１表示装置１０の表示物の情報は、図１３に示すように、表示物のパラメータ情報、表示位置情報又は表示態様情報である。表示物のパラメータ情報は、キャラクタ等の表示物のステータス、能力、レベル又は属性等を表すパラメータの情報である。また表示物の表示位置情報は、例えば表示物の位置座標、表示エリア又は表示場所等である。表示物の表示態様は、例えば表示物の色合い、明るさ、大きさ、形状又は透明度等である。このようにすれば、表示物のパラメータ情報、表示位置情報又は表示態様情報に応じて、第２表示装置２００を用いて通知されるコンテンツ情報の通知態様を変化させることなどが可能になる。

【0117】

また本実施形態では、例えば第２表示装置２００のカメラにより第１表示装置１０を撮影した撮影画像の解析処理を行う。そして、当該撮影画像の解析処理の結果に基づくコンテンツ情報を、第２表示装置２００を用いてユーザに通知する通知処理を行う。例えばカメラの撮影画像の解析処理の結果に基づき特定された表示物の情報又は表示態様に応じたコンテンツ情報を、第２表示装置２００を用いてユーザに通知する通知処理を行う。例えば解析処理の結果に基づき特定された表示物の情報又は表示態様に応じて、コンテンツ情報の通知態様を変化させる処理を行う。或いはカメラの撮影画像の解析処理の結果に基づき検出された注視領域に対応するコンテンツ情報を、第２表示装置２００を用いてユーザに通知する通知処理を行う。

【0118】

２．２ 位置関係に応じた処理
本実施形態では図１４に示すように、第１表示装置１０と第２表示装置２００の位置関係を検出する。この位置関係は、第１表示装置１０の位置と第２表示装置２００の位置の関係であってもよいし、第１表示装置１０と第２表示装置２００との間の距離の関係や、第１表示装置１０の方向と第２表示装置２００の方向の関係などであってもよい。また図１４では、第２表示装置２００が透過型ＨＭＤである場合の例を示しているが、第１表示装置１０との位置関係が検出される第２表示装置２００は、透過型ＨＭＤ以外の透過型表示装置や、カメラを有する端末装置などであってもよい。

【0119】

そして本実施形態では、第１表示装置１０と第２表示装置２００の位置関係に応じて、第１表示装置１０又は第２表示装置２００の表示内容、或いは第２表示装置２００を用いて通知されるコンテンツ情報の通知態様を変化させる。例えば第１表示装置１０と第２表示装置２００が第１位置関係である場合には、第１表示装置１０又は第２表示装置２００の表示内容を第１表示内容にしたり、或いは第２表示装置２００を用いてコンテンツ情報を第１通知態様で通知する。また第１表示装置１０と第２表示装置２００が第２位置関係である場合には、第１表示装置１０又は第２表示装置２００の表示内容を第２表示内容にしたり、或いは第２表示装置２００を用いてコンテンツ情報を第２通知態様で通知する。このようにすれば、第１表示装置１０と第２表示装置２００の位置関係に応じた適切な表示内容で、第１表示装置１０又は第２表示装置２００に画像を表示したり、或いは第１表示装置１０と第２表示装置２００の位置関係に応じた適切な通知態様で、第２表示装置２００によりコンテンツ情報をユーザに通知できるようになる。

【0120】

例えば第１表示装置１０と第２表示装置２００の距離が遠い位置関係である場合には、第１表示装置１０又は第２表示装置２００の表示内容を、距離が遠くてもユーザが視認可能な表示内容にする。一方、第１表示装置１０と第２表示装置２００の距離が近い位置関係である場合には、第１表示装置１０又は第２表示装置２００の表示内容を、例えば距離が遠いときに比べて情報の詳細度が高い表示内容にする。また第１表示装置１０と第２表示装置２００の方向関係に応じて、第１表示装置１０又は第２表示装置２００の表示内容を変化させてもよい。例えば第２表示装置２００の向く方向が、第１表示装置１０に対して正対しており、第１表示装置１０の正面側から真っ直ぐに表示画面の方に向いている場合には、第１表示装置１０又は第２表示装置２００の表示内容を第１表示内容にする。例えば情報の詳細度が高い表示内容にする。一方、第２表示装置２００の向く方向が、第１表示装置１０に対して斜め方向になっている場合に、第１表示装置１０又は第２表示装置２００の表示内容を第２表示内容にする。例えば情報の詳細度が低く、情報を簡素化して伝える表示内容にしたり、非表示状態にする。

【0121】

また第１表示装置１０と第２表示装置２００の位置関係に応じて、第２表示装置２００を用いて通知されるコンテンツ情報の通知内容、通知表示物又は通知位置等の通知態様を変化させる。例えば第１表示装置１０と第２表示装置２００の距離が遠い位置関係である場合には、コンテンツ情報の通知内容又は通知表示物を、距離が遠い場合用の通知内容又は通知表示物にする。例えば距離が近い場合に比べて、情報の詳細度が低い通知内容の通知にしたり、簡素化された通知表示物によりコンテンツ情報を通知する。一方、第１表示装置１０と第２表示装置２００の距離が近い位置関係である場合には、コンテンツ情報の通知内容又は通知表示物を、距離が近い場合用の通知内容又は通知表示物にする。例えば距離が遠い場合に比べて、情報の詳細度が高い通知内容の通知にしたり、より精細な形状の通知表示物によりコンテンツ情報を通知する。或いは、第１表示装置１０と第２表示装置２００の位置関係に応じた適切な通知位置にコンテンツ情報を表示する。例えば第１表示装置１０の表示画面において、第２表示装置２００の位置から視認しやすい領域にコンテンツ情報が表示されるようにする。

【0122】

また図４のようにコンテンツ情報が音、振動又は発光により通知するものである場合に、第１表示装置１０と第２表示装置２００の位置関係に応じて、音、振動又は発光によるコンテンツ情報の通知態様を変化させてもよい。例えば第１表示装置１０と第２表示装置２００の距離が遠い位置関係である場合には、音又は振動を小さくしたり、発光を弱くし、距離が近い位置関係である場合には、音又は振動を大きくしたり、発光を強くする。また第１表示装置１０と第２表示装置２００の位置関係に応じて、コンテンツ情報の通知のオン、オフを制御してもよい。例えば第１表示装置１０と第２表示装置２００の距離が近い位置関係である場合には、コンテンツ情報の通知をオンにし、距離が遠い位置関係である場合には、コンテンツ情報の通知をオフにする。或いは、第１表示装置１０の方向と第２表示装置２００の方向の関係が、第２表示装置２００から見て第１表示装置１０の表示画面を視認しやすい関係である場合には、コンテンツ情報の通知をオンにし、視認しくい関係である場合には、コンテンツ情報の通知をオフにする。

【0123】

また本実施形態では、第１表示装置１０と第２表示装置２００の位置関係と、第１表示装置１０に表示される表示物の情報とに応じて、第１表示装置１０又は第２表示装置２００の表示内容、或いはコンテンツ情報の通知態様を変化させてもよい。即ち、第１表示装置１０と第２表示装置２００の位置関係のみならず、第１表示装置１０に表示される表示物の情報も考慮して、第１表示装置１０又は第２表示装置２００の表示内容を変化させたり、コンテンツ情報の通知態様を変化させる。このようにすれば、第１表示装置１０と第２表示装置２００の位置関係と第１表示装置１０の表示物の情報に応じた適切な表示内容で、第１表示装置１０又は第２表示装置２００に画像を表示したり、或いは第１表示装置１０と第２表示装置２００の位置関係と表示物の情報に応じた適切な通知態様で、第２表示装置２００によりコンテンツ情報をユーザに通知できるようになる。

【0124】

例えば第１表示装置１０と第２表示装置２００の距離が近い位置関係であったり、或いは第２表示装置２００から見て第１表示装置１０の表示画面を視認しやすい関係であるなどの所定の位置関係であることを条件に、第１表示装置１０の表示物の情報に応じて、第１表示装置１０又は第２表示装置２００の表示内容、或いはコンテンツ情報の通知態様を変化させる。例えば第１表示装置１０と第２表示装置２００が所定の位置関係（距離が近い関係又は視認しやすい関係等）であることを条件に、第１表示装置１０又は第２表示装置２００の表示内容を、第１表示装置１０の表示物の情報に応じた表示内容に設定する。或いは、第１表示装置１０と第２表示装置２００が所定の位置関係（距離が近い関係又は視認しやすい関係等）であることを条件に、前述の図９で説明したように、第１表示装置１０の表示物の情報に応じて、コンテンツ情報の通知態様を変化させる。例えば第１表示装置１０と第２表示装置２００が所定の位置関係であることを条件に、第１表示装置１０の表示物の情報に応じて、第２表示装置２００を用いて通知されるコンテンツ情報の通知内容、通知表示物又は通知位置等の通知態様を変化させる。或いは、第１表示装置１０と第２表示装置２００が所定の位置関係（距離が近い関係又は視認しやすい関係等）である場合には、第１表示装置１０の表示物の情報に応じて、第１表示装置１０又は第２表示装置２００の表示内容、或いはコンテンツ情報の通知態様を変化させる変化処理を行う一方で、第１表示装置１０と第２表示装置２００が所定の位置関係ではない場合には、当該変化処理を行わないようにする。

【0125】

また図３に示すようにユーザの注視表示物（ＣＨ１）が検出される場合には、第１表示装置１０と第２表示装置２００が所定の位置関係であることを条件に、注視表示物の情報に応じて、第１表示装置１０又は第２表示装置２００の表示内容、或いはコンテンツ情報の通知態様を変化させる。例えば第１表示装置１０と第２表示装置２００の距離が近い位置関係であるときに、第１表示装置１０の表示画面でのユーザの注視表示物が検出された場合に、注視表示物の情報に応じて、第１表示装置１０又は第２表示装置２００の表示内容、或いはコンテンツ情報の通知態様を変化させる。例えば注視表示物の表示に適した内容になるように、第１表示装置１０又は第２表示装置２００の表示内容を設定する。或いは、前述したように、注視表示物のパラメータ情報、位置情報又は表示態様等に応じて、第２表示装置２００を用いて通知されるコンテンツ情報の通知内容、通知表示物又は通知位置等の通知態様を変化させる。このようにすることで、第１表示装置１０と第２表示装置２００の位置関係を反映させながら、第１表示装置１０の注視表示物の情報に応じたコンテンツ情報の種々の通知処理を実現できるようになる。

【0126】

次に第１表示装置１０と第２表示装置２００の位置関係の検出処理の一例について説明する。図５で説明した第２表示装置２００では、ユーザの周囲の実空間の認識処理を行うことにより実空間情報を取得し、取得された実空間情報に基づいて、実空間に対応する仮想空間を生成することができる。例えば図１５（Ａ）では、実空間に机ＤＫや壁ＷＬなどの物体が存在している。この実空間を、図５の第２表示装置２００に設けられたカメラによりスキャンする認識処理を行うことで、実空間情報を取得する。具体的には図１５（Ｂ）に示すように、実空間情報としてメッシュポリゴンのデータを取得する。この実空間の認識処理は例えばリアルタイムに実行され、ユーザの周囲の実空間が順次にスキャンされて実空間情報が取得される。例えばＩＤに対応づけられた空間データが順次に取得されて、実空間情報として図６の記憶部１７０に蓄積されて記憶される。この実空間情報は、デプス情報（奥行き値）も有しており、このデプス情報を用いることで、例えば仮想空間のオブジェクトと実空間の物体との隠面消去処理も可能になる。また実空間情報に基づいて仮想空間を生成することで、仮想的なオブジェクト（キャラクタ、配置オブジェクト）と、実空間の物体（机ＤＫ、壁ＷＬ）とのインタラクションが可能になる。例えば仮想的なオブジェクトと実空間の物体とのヒット処理（衝突処理）なども可能になり、これまでにないタイプのＡＲ（Augmented Reality）やＭＲ（Mixed Reality）の実現が可能になる。また、このような実空間の認識処理による実空間情報は、ユーザの位置情報や方向情報の取得処理にも利用できる。例えば実空間情報に基づいて、ユーザとユーザの周囲の物体との位置関係や距離関係を把握できる。従って、慣性計測ユニットの検出結果と実空間情報を用いることで、より正確なユーザの位置情報や方向情報を取得することが可能になる。

【0127】

そして図１６に示すように、第２表示装置２００のカメラ等を用いた実空間の認識処理により、第２表示装置２００から見た第１表示装置１０についての実空間情報を取得する。具体的には、第１表示装置１０のメッシュポリゴンのデータを取得する。そして第１表示装置１０の実空間情報であるメッシュポリゴンのデータに基づいて、例えば第１表示装置１０のコーナー部に対して複数の仮想的なマーカＭＫ１、ＭＫ２、ＭＫ３を設定する。図１６では、第１表示装置１０の例えば少なくとも３つのコーナー部に対して仮想的なマーカＭＫ１、ＭＫ２、ＭＫ３が設定されている。これらのマーカＭＫ１～ＭＫ３は例えばマーカレスのＡＲにおける仮想的なマーカである。そして、これらの仮想的なマーカＭＫ１～ＭＫ３を用いて、第１表示装置１０と第２表示装置２００の位置関係を検出する。例えば第２表示装置２００の位置とマーカＭＫ１～ＭＫ３の位置の距離を求めることで、第１表示装置１０と第２表示装置２００の位置関係を検出できる。このようにすれば、第２表示装置２００のカメラ等を用いた実空間の認識処理を有効利用して、第１表示装置１０と第２表示装置２００との位置関係を検出できる。そして前述したように、検出された位置関係等に応じて、第１表示装置１０又は第２表示装置２００の表示内容、或いはコンテンツ情報の通知態様を変化させる処理を実現できるようになる。

【0128】

また本実施形態では、図１７に示すように、第１表示装置１０の表示物に対応するオブジェクトＯＢが、第１表示装置１０の画面から飛び出して来るようなＡＲやＭＲの画像表示を行ってもよい。例えば図３で説明したように第１表示装置１０の表示画面でのユーザの注視表示物を検出し、検出された注視表示物に対応するオブジェクトＯＢが、第１表示装置１０の画面から第２表示装置２００の方に移動して来るような画像を、第２表示装置２００を利用してユーザに視認させる表示処理を行う。例えば立体視表示における視差を制御することで、このような表示処理を実現できる。このようにすることで、検出された注視領域（注視表示物）に対応するコンテンツ情報であるオブジェクトＯＢを、第２表示装置２００を用いてユーザに通知する通知処理を実現できる。

【0129】

なお、上記のように本実施形態について詳細に説明したが、本開示の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（第２表示装置等）と共に記載された用語（透過型ＨＭＤ等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また情報取得処理、注視領域検出処理、画像解析処理、コンテンツ処理、通知処理、位置関係検出処理等も本実施形態で説明したものに限定されず、これらと均等な手法・処理・構成も本開示の範囲に含まれる。

【符号の説明】

【0130】

１０…第１表示装置、３０…表示部、４０…情報処理装置、５０…サーバ、
６０…ネットワーク、１００…処理部、１０２…情報取得部、１０４…注視領域検出部、
１０５…画像解析部、１０６…位置関係検出部、１１０…コンテンツ処理部、
１１２…通知処理部、１６０…操作部、１６２…撮像部、１７０…記憶部、
１８０…情報記憶媒体、１９２…音出力部、１９６…通信部、２００…第２表示装置、
２０２…透過型ＨＭＤ、２４０…テンプル部、２４２…ゴーグル部、２４３…表示装置、
２４４…ホログラフィック光学素子、２４６…ＲＧＢカメラ、２４７…デプスカメラ、
２４８、２４９…環境認識カメラ、
ＡＲＧ…注視領域、ＣＨ１～ＣＨ３、ＣＥ１～ＣＥ３…キャラクタ、
ＩＭＤ、ＩＭＨ…表示画像、ＬＳ…視線方向、ＭＫ１～ＭＫ３…マーカ、
ＯＢ、ＯＢ１～ＯＢ５…オブジェクト、ＲＣＨ…レアキャラクタ、ＵＳ…ユーザ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】