特開 2022-15647 情報処理装置および画像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022015647

(43)【公開日】2022-01-21

(54)【発明の名称】情報処理装置および画像表示方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220114BHJP

   G06F 3/16 20060101ALI20220114BHJP

   G06F 3/01 20060101ALI20220114BHJP

【ＦＩ】

G06T19/00 A

G06F3/16 530

G06F3/01 510

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2020118637

(22)【出願日】2020-07-09

(71)【出願人】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】今村 隆

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA08

5B050CA07

5B050EA07

5B050FA02

5B050FA10

5E555AA10

5E555AA76

5E555BA02

5E555BA20

5E555BB02

5E555BB20

5E555BC17

5E555BE17

5E555CA42

5E555CA44

5E555CB56

5E555CB65

5E555CB66

5E555CC03

5E555DA23

5E555FA00

(57)【要約】

【課題】仮想的なマルチスクリーンに画像を表示する技術を提供する。
【解決手段】ユーザ情報取得部４２は、ユーザの好みおよび／または属性を示すユーザ情報を取得する。画像決定部４６は、ユーザ情報にしたがって、各仮想スクリーンに表示する画像を決定する。表示処理部４８は、画像決定部４６が決定した画像を、各仮想スクリーンから表示させる。音声処理部５０は、表示される複数の表示画像の少なくとも１つに対応する音声を音声出力部から出力させる。
【選択図】図４

【特許請求の範囲】

【請求項1】

複数の仮想スクリーンに画像を表示させる情報処理装置であって、
ユーザの好みおよび／または属性を示すユーザ情報を取得するユーザ情報取得部と、
ユーザ情報にしたがって、各仮想スクリーンに表示する画像を決定する画像決定部と、
前記画像決定部が決定した画像を、各仮想スクリーンから表示させる表示処理部と、
を備えることを特徴とする情報処理装置。

【請求項2】

表示される複数の表示画像の少なくとも１つに対応する音声を音声出力部から出力させる音声処理部をさらに備える、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

仮想空間には少なくとも、仮想的なセンタースクリーン、左側スクリーン、右側スクリーン、上側スクリーン、下側スクリーンが設定されており、
前記音声処理部は、センタースクリーンに表示される画像に対応する音声を音声出力部から出力させる、
ことを特徴とする請求項２に記載の情報処理装置。

【請求項4】

表示候補となるコンテンツは、ユーザ情報にもとづいた評価値を算出されるものであって、
前記画像決定部は、左側スクリーンおよび右側スクリーンに相対的に評価値の高いコンテンツを表示することを決定し、上側スクリーンおよび下側スクリーンに相対的に評価値の低いコンテンツを表示することを決定する、
ことを特徴とする請求項３に記載の情報処理装置。

【請求項5】

ユーザが見ている仮想スクリーンを特定する特定部を、さらに備え、
前記音声処理部は、ユーザが見ている仮想スクリーンに表示される画像に対応する音声を音声出力部から出力させる、
ことを特徴とする請求項２に記載の情報処理装置。

【請求項6】

前記特定部は、ユーザが１つの仮想スクリーンを連続して見る時間を計測し、計測した時間が所定時間を超えると、前記音声処理部は、当該仮想スクリーンに表示される画像に対応する音声を出力させる、
ことを特徴とする請求項５に記載の記載の情報処理装置。

【請求項7】

前記ユーザ情報取得部は、表示画像においてユーザが見ている対象を示す情報を取得する、
ことを特徴とする請求項１から６のいずれかに記載の情報処理装置。

【請求項8】

複数の仮想スクリーンに画像を表示させる方法であって、
ユーザの好みおよび／または属性を示すユーザ情報を取得するステップと、
ユーザ情報にしたがって、各仮想スクリーンに表示する画像を決定するステップと、
決定した画像を、各仮想スクリーンから表示させるステップと、
を有する画像表示方法。

【請求項9】

複数の仮想スクリーンに画像を表示させるコンピュータに、
ユーザの好みおよび／または属性を示すユーザ情報を取得する機能と、
ユーザ情報にしたがって、各仮想スクリーンに表示する画像を決定する機能と、
決定した画像を、各仮想スクリーンから表示させる機能と、
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想空間に設定した仮想スクリーンに画像を表示する技術に関する。

【背景技術】

【0002】

ヘッドマウントディスプレイ（ＨＭＤ）はユーザの頭部に装着されて仮想現実（ＶＲ）の映像世界をユーザに提供する。ＨＭＤはユーザの視野全体にＶＲ画像を提供することで、ユーザを映像世界に没入させる。特許文献１は、ライブイベントを撮影している複数のカメラ映像をＨＭＤで選択するためのユーザインタフェースを開示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１９／３８８８５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

マルチスクリーン技術は、複数のスクリーンに異なる画像を映し出して、多面的な表現を実現する。本発明者は、複数の仮想スクリーンを仮想空間に設定して、それぞれの仮想スクリーンに異なる画像を映し出すことで、没入感を高める映像空間を構築する可能性に注目した。

【0005】

本発明はこうした課題に鑑みてなされたものであり、その目的は、仮想的なマルチスクリーンに画像を表示する技術を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある態様は、複数の仮想スクリーンに画像を表示させる情報処理装置であって、ユーザの好みおよび／または属性を示すユーザ情報を取得するユーザ情報取得部と、ユーザ情報にしたがって、各仮想スクリーンに表示する画像を決定する画像決定部と、画像決定部が決定した画像を、各仮想スクリーンから表示させる表示処理部とを備える。

【0007】

本発明の別の態様は、複数の仮想スクリーンに画像を表示させる方法であって、ユーザの好みおよび／または属性を示すユーザ情報を取得するステップと、ユーザ情報にしたがって、各仮想スクリーンに表示する画像を決定するステップと、画像決定部が決定した画像を、各仮想スクリーンから表示させるステップとを有する。

【0008】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0009】

本発明によれば、仮想的なマルチスクリーンに画像を表示する技術を提供できる。

【図面の簡単な説明】

【0010】

【図1】情報処理システムの構成例を示す図である。

【図2】ＨＭＤの外観形状の例を示す図である。

【図3】ＨＭＤの機能ブロックを示す図である。

【図4】情報処理装置の機能ブロックを示す図である。

【図5】マルチスクリーン環境の例を示す図である。

【図6】ＨＭＤに表示されるマルチスクリーン映像の例を示す図である。

【発明を実施するための形態】

【0011】

図１は、実施例における情報処理システム１の構成例を示す。情報処理システム１は情報処理装置１０と、ヘッドマウントディスプレイ（ＨＭＤ）１００と、ユーザが手指で操作する入力装置１６と、ＨＭＤ１００を装着したユーザを撮影する撮像装置１４と、画像を表示する出力装置１５とを備える。出力装置１５はテレビであってよい。情報処理装置１０は、アクセスポイント（ＡＰ）１７を介して、インターネットなどの外部のネットワーク２に接続される。ＡＰ１７は無線アクセスポイントおよびルータの機能を有し、情報処理装置１０はＡＰ１７とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。情報処理装置１０は、ネットワーク２経由で外部のコンテンツサーバ等と接続してよい。

【0012】

ＨＭＤ１００はユーザの頭部に装着されて仮想現実（ＶＲ）の映像世界をユーザに提供する。情報処理装置１０にヘッドトラッキング機能をもたせ、ユーザの頭部の動きに連動してＨＭＤ１００に表示される視野画像を更新することで、映像世界へのユーザの没入感を高められる。

【0013】

情報処理装置１０は、処理装置１１、出力制御装置１２および記憶装置１３を備える。処理装置１１は、ユーザにより入力装置１６に入力された操作情報を受け付けて、コンテンツ映像表示アプリケーションを実行する端末装置である。処理装置１１と入力装置１６とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。出力制御装置１２は、処理装置１１から出力される画像データをＨＭＤ１００に供給する処理ユニットであり、出力制御装置１２とＨＭＤ１００とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。

【0014】

撮像装置１４はステレオカメラであって、ＨＭＤ１００を装着したユーザを所定の周期で撮影し、撮影画像を処理装置１１に供給する。後述するがＨＭＤ１００にはユーザ頭部をトラッキングするためのマーカ（トラッキング用ＬＥＤ）が設けられ、処理装置１１は、撮影画像に含まれるマーカの位置にもとづいてＨＭＤ１００の動きを検出する。なおＨＭＤ１００には姿勢センサ（加速度センサおよびジャイロセンサ）が搭載され、処理装置１１は、姿勢センサで検出されたセンサデータをＨＭＤ１００から取得することで、マーカの撮影画像の利用とあわせて、高精度のヘッドトラッキング処理を実施する。なおトラッキング処理については従来より様々な手法が提案されており、処理装置１１はＨＭＤ１００の動きを検出できるのであれば、どのような手法を採用してもよい。たとえばＨＭＤ１００にカメラを搭載し、処理装置１１が、カメラ画像からＳＬＡＭ（Simultaneous Localization and Mapping）処理によりヘッドトラッキングを実施してもよい。

【0015】

ユーザはＨＭＤ１００で画像を見るため、ＨＭＤ１００を装着したユーザにとって出力装置１５は必ずしも必要ではないが、出力装置１５を用意することで、ＨＭＤ１００を装着していない別のユーザが出力装置１５に表示される画像を見ることができる。なお出力制御装置１２または処理装置１１は、ＨＭＤ１００を装着したユーザが見ている視野画像と同じ画像を出力装置１５に表示させてもよいが、別の画像を表示させてもよい。

【0016】

ＨＭＤ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。なおユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した視差画像データをＨＭＤ１００に供給する。この光学歪みの補正処理は、処理装置１１、出力制御装置１２のいずれが行ってもよい。

【0017】

出力制御装置１２による機能は、処理装置１１に組み込まれてもよい。つまり情報処理装置１０の処理ユニットは、１台の処理装置１１から構成されても、また処理装置１１および出力制御装置１２から構成されてもよい。以下においては、ＶＲ画像をＨＭＤ１００に提供する機能を、まとめて情報処理装置１０の機能として説明する。

【0018】

情報処理装置１０は、ユーザのヘッドトラッキング処理により、ユーザ頭部（実際にはＨＭＤ１００）の位置座標および姿勢を検出する。ここでＨＭＤ１００の位置座標は、基準位置を原点とした３次元空間における位置座標であり、基準位置はＨＭＤ１００の電源がオンされたときの位置座標（緯度、経度）であってよい。またＨＭＤ１００の姿勢は、３次元空間における基準姿勢に対する３軸方向の傾きで表現される。基準姿勢は、ユーザの視線方向が水平方向となる姿勢であり、ＨＭＤ１００の電源がオンされたときに基準姿勢が設定されてよい。

【0019】

情報処理装置１０は、ＨＭＤ１００の姿勢センサが検出したセンサデータのみから、ＨＭＤ１００の位置座標および姿勢を検出でき、さらに撮像装置１４で撮影したＨＭＤ１００のマーカ（トラッキング用ＬＥＤ）を画像解析することで、高精度にＨＭＤ１００の位置座標および姿勢を検出できる。

【0020】

図２は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。

【0021】

出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。

【0022】

筐体１０８の外面には、発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが備えられる。この例ではトラッキング用ＬＥＤが発光マーカ１１０を構成するが、その他の種類のマーカであってよく、いずれにしても撮像装置１４により撮影されて、情報処理装置１０がマーカ位置を画像解析できるものであればよい。発光マーカ１１０の数や配置は特に限定されないが、ＨＭＤ１００の姿勢を検出できるための数および配置である必要があり、図示した例では筐体１０８の前面の４隅に設けている。さらにユーザが撮像装置１４に対して背を向けたときにも撮影できるように、発光マーカ１１０は装着バンド１０６の側部や後部に設けられてもよい。

【0023】

ＨＭＤ１００は、情報処理装置１０にケーブルで接続されても、既知の無線通信プロトコルで接続されてもよい。ＨＭＤ１００は、姿勢センサが検出したセンサデータや筐体１０８内に設けた内部カメラが撮影した画像データを情報処理装置１０に送信し、また情報処理装置１０から供給される画像データを受信して、左目用表示パネルおよび右目用表示パネルに表示し、情報処理装置１０から供給される音声データを受信して、スピーカーから出力する。

【0024】

図３は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の姿勢情報を検出する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。内部カメラ１３４は筐体１０８の内側に設けられて、ユーザの視線追跡のために、ユーザの眼を撮影する。

【0025】

通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置１０からデータを受信し、制御部１２０に出力する。

【0026】

制御部１２０は、情報処理装置１０から受け取ったコンテンツの画像データを表示パネル１３０に供給して表示させ、情報処理装置１０から受け取ったコンテンツの音声データを音声出力部１３２に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、姿勢センサ１２４からのセンサデータや、マイク１２６からの音声データ、内部カメラ１３４からの撮影画像データを、通信制御部１２８から情報処理装置１０に送信させる。

【0027】

図４は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、外部との入出力インタフェースとして、センサデータ受信部２０、第１撮影画像受信部２２、第２撮影画像受信部２４、入力データ受信部２６および送信部６０を備える。情報処理装置１０は、さらにＨＭＤ情報取得部３０、顔方向検出部３２、視線方向検出部３４、受付部３６および出力処理部４０を備え、出力処理部４０は、ユーザ情報取得部４２、スクリーン特定部４４、画像決定部４６、表示処理部４８および音声処理部５０を有する。記憶装置１３は、ＨＭＤ１００に表示するための複数の画像素材（コンテンツ）を記憶する。コンテンツには、画像に関する様々なメタデータが関連付けられている。たとえばメタデータには、コンテンツのカテゴリを示す情報や、コンテンツに含まれる人物を示す情報等が含まれてよい。

【0028】

図４において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0029】

図５は、表示処理部４８が設定するマルチスクリーン環境の例を示す。表示処理部４８は、仮想３次元空間において、複数の仮想スクリーン２００を設定する。実施例の複数の仮想スクリーン２００は、センタースクリーン２００ａ、左側スクリーン２００ｂ、右側スクリーン２００ｃ、上側スクリーン２００ｄ、下側スクリーン２００ｅを備える。このように５枚の矩形状仮想スクリーン２００は、箱体の一面を切り欠いた５面体を構成してよく、各仮想スクリーン２００の表示面は、５面体の内側に向けられる。

【0030】

センタースクリーン２００ａの左辺には、左側スクリーン２００ｂの一辺が接続され、センタースクリーン２００ａの右辺には、右側スクリーン２００ｃの一辺が接続され、センタースクリーン２００ａの上辺には、上側スクリーン２００ｄの一辺が接続され、センタースクリーン２００ａの下辺には、下側スクリーン２００ｅの一辺が接続される。左側スクリーン２００ｂの上辺および下辺は、それぞれ上側スクリーン２００ｄの一辺および下側スクリーン２００ｅの一辺と接続し、右側スクリーン２００ｃの上辺および下辺は、それぞれ上側スクリーン２００ｄの一辺および下側スクリーン２００ｅの一辺と接続する。

【0031】

ユーザの視点となる仮想カメラ２０２は、５面体内部の所定位置に配置され、仮想カメラ２０２の光軸方向を変更することで、見える画像（視野画像）が変更される。平面状の複数の仮想スクリーン２００が、隙間を空けることなく互いに接続して５面体を構成することで、映像に対するユーザの没入感を高めることが可能となる。なおセンタースクリーン２００ａに対向する背面スクリーンを設けて、密閉した６面体を構成してもよい。

【0032】

図６は、ＨＭＤ１００に表示されるマルチスクリーン映像の例を示す。この例でユーザは正面を向いており、したがってセンタースクリーン２００ａに映し出されている画像が正面に見えている。実施例のマルチスクリーン環境において、各スクリーンには、ユーザの好みや、ユーザの属性にもとづいた画像が表示される。情報処理装置１０が、ユーザの好みおよび／または属性にしたがった画像を表示することで、コンテンツの新しい楽しみ方を提供できる。以下、その仕組みについて説明する。

【0033】

センサデータ受信部２０は、ユーザが装着したＨＭＤ１００の姿勢センサ１２４から所定の周期でセンサデータを受信して、ＨＭＤ情報取得部３０に供給する。第１撮影画像受信部２２は、撮像装置１４から所定の周期でＨＭＤ１００を撮影した画像を受信して、ＨＭＤ情報取得部３０に供給する。たとえば撮像装置１４は（１／６０）秒ごとにユーザを含む空間を撮影し、第１撮影画像受信部２２は、（１／６０）秒ごとに撮影画像を受信する。実施例においてＨＭＤ情報取得部３０は、センサデータおよび撮影画像を、ユーザの頭部に装着されたＨＭＤ１００の姿勢を示す姿勢情報として取得する。ＨＭＤ情報取得部３０は、取得した姿勢情報を、顔方向検出部３２に供給する。

【0034】

顔方向検出部３２は、ＨＭＤ１００の姿勢情報に応じてユーザの顔の向きを検出する。具体的に顔方向検出部３２は、姿勢センサ１２４のセンサデータから、ＨＭＤ１００の姿勢の変化を検出する。このとき顔方向検出部３２は３軸ジャイロセンサのセンサデータから、ＨＭＤ１００の姿勢変化を特定してよい。顔方向検出部３２は、トラッキング用の発光マーカ１１０の撮影結果をさらに利用して、姿勢変化の検出精度を高めることが好ましい。顔方向検出部３２は、特定したＨＭＤ１００の姿勢を、ユーザの顔の向きとして決定し、表示処理部４８に提供する。

【0035】

第２撮影画像受信部２４は、内部カメラ１３４から所定の周期で、ユーザの眼を撮影した画像を受信して、視線方向検出部３４に供給する。たとえば内部カメラ１３４はユーザの右眼および左眼に赤外光を照射し、その反射光を撮影する。視線方向検出部３４は、反射光の撮影画像から、右眼および左眼の眼球の回転角を検出して、ユーザの視線方向を検出する。なお視線方向検出部３４は、他の公知のアイトラッキング機能によりユーザの視線方向を検出してよい。視線方向検出部３４は、検出した視線方向を、ユーザ情報取得部４２およびスクリーン特定部４４に提供する。

【0036】

入力データ受信部２６は入力装置１６から、ユーザが入力した操作情報を受信して、受付部３６に供給する。受付部３６は操作情報を、出力処理部４０に提供する。ユーザは、コンテンツ映像表示アプリケーションを開始する際や、センタースクリーン２００ａに表示するコンテンツを選択する際に、入力装置１６から操作情報を入力してよい。

【0037】

出力処理部４０において、表示処理部４８は、顔方向検出部３２から提供される顔の向きを、仮想空間における仮想カメラ２０２の光軸方向を定める情報として利用する。なお表示処理部４８は、受付部３６から供給される操作情報を、仮想カメラ２０２の光軸方向を定める情報として利用してもよい。実施例において仮想空間内の仮想カメラ２０２の位置は固定とするが、仮想空間内で仮想カメラ２０２を移動可能としてもよい。この場合、表示処理部４８は、受付部３６から供給される操作情報を、仮想カメラ２０２の配置位置を動かすための情報として利用してよい。

【0038】

表示処理部４８は、仮想カメラ２０２の位置および光軸方向に応じた表示画像（視野画像）を生成する。表示処理部４８は左目用の表示画像と右目用の表示画像を生成すると、送信部６０が、左目用表示画像と右目用表示画像をＨＭＤ１００に送信し、ＨＭＤ１００が、表示パネル１３０に表示する。これによりユーザは、５つの仮想スクリーン２００に表示されている画像を見ることができる。なお図６は、ユーザがセンタースクリーン２００ａを正面に見ているときの表示画像であるが、ユーザが９０度左を向くと、仮想カメラ２０２の光軸方向が左回りに９０度回転するため、左側スクリーン２００ｂが正面に見えるようになる。

【0039】

以下、各仮想スクリーン２００に表示する画像について説明する。実施例では、ユーザがセンタースクリーン２００ａに表示するコンテンツ画像を選択し、それ以外の仮想スクリーン２００に表示するコンテンツ画像を、画像決定部４６が、ユーザの好みおよび／または属性を示すユーザ情報にしたがって決定する。この例では、ユーザがセンタースクリーン２００ａに、アイドルグループのコンサート映像を表示することを決定している。なお画像決定部４６が、センタースクリーン２００ａに表示するコンテンツ画像を選択してよく、またセンタースクリーン２００ａに表示するコンテンツ画像は予め定められていてもよい。

【0040】

ユーザ情報取得部４２は、ユーザの好みおよび／または属性を示すユーザ情報を取得する。ユーザ情報取得部４２は、ユーザの好みおよび／または属性を示すユーザ情報を、ネットワーク２を介して、ユーザ情報を管理する外部サーバから取得してよい。アイドルグループのコンサート映像を表示する場合、ユーザ情報取得部４２は、外部サーバから、少なくとも当該アイドルグループに関するユーザ情報、たとえばユーザが推しているメンバを示す情報を取得する。さらにユーザ情報取得部４２は、ユーザの性別、年齢、出身地、趣味、興味関心の高いジャンル等の属性情報を外部サーバから取得してよい。

【0041】

なおコンテンツ画像の表示後、ユーザ情報取得部４２は、ユーザの視線計測（アイトラッキング）結果から、ユーザが関心のあるメンバをリアルタイムに特定してもよい。このときユーザ情報取得部４２は、視線方向検出部３４からユーザの視線方向を取得し、そのときに表示されている視野画像をもとにユーザが見ている対象（メンバ）を示す情報を取得する。ユーザがグループのメンバＡに注視していることが検出されると、ユーザ情報取得部４２は、ユーザがメンバＡを好きであるというユーザ情報を取得してよい。以上のようにユーザ情報取得部４２は、ユーザの好みおよび／または属性を示すユーザ情報を取得してよい。

【0042】

画像決定部４６は、ユーザの好みおよび／または属性にしたがって、センタースクリーン２００ａ以外の仮想スクリーン２００に表示する画像を決定する。たとえばユーザがメンバＡを推している場合、画像決定部４６は、メンバＡに関連するコンテンツを記憶装置１３から探索する。記憶装置１３は、様々なメタデータを関連付けたコンテンツを記憶している。

【0043】

画像決定部４６は、記憶装置１３に記憶された複数のコンテンツを、メタデータを参照して、ユーザの好みおよび／または属性にもとづいて評価する機能をもつ。この例で画像決定部４６は、メタデータとしてメンバＡが関連付けられているコンテンツを記憶装置１３から探索し、コンテンツの評価値を算出する。なお後述するが、画像決定部４６は、メンバＡをメタデータとして含まないコンテンツを探索してもよい。画像決定部４６は、所定の評価基準を用いて評価値を算出する。

【0044】

実施例で画像決定部４６は、ユーザ情報およびセンタースクリーン２００ａに表示するコンテンツに対する関連度を評価値として算出する。つまり画像決定部４６は、ユーザ情報と、センタースクリーン２００ａに表示する画像素材との関連度が高いコンテンツに対しては高い評価値を算出し、ユーザ情報とセンタースクリーン２００ａの画像素材との関連度が低いコンテンツに対しては低い評価値を算出する。

【0045】

たとえば画像決定部４６は、メタデータにメンバＡを含み、且つセンタースクリーン２００ａの画像素材と同じカテゴリのコンテンツには第１の基準点を与え、メタデータにメンバＡを含むが異なるカテゴリのコンテンツには第１の基準点より低い第２の基準点を与える。たとえばコンテンツを１００点満点で評価する場合、画像決定部４６は、メタデータにメンバＡを含み、且つ素材カテゴリを「コンサート映像」とするコンテンツには７０点（第１の基準点）を与え、メタデータにメンバＡを含み、且つ素材カテゴリが「コンサート映像」以外であるコンテンツには４０点（第２の基準点）を与える。なおメタデータにメンバＡを含まないコンテンツには、０点の基準点が与えられてよい。画像決定部４６は、さらにユーザの推しメンバ以外の好みや属性と、コンテンツのメタデータとの関連度を評価値として基準点に加算して、コンテンツの評価値を算出する。

【0046】

画像決定部４６は、左側スクリーン２００ｂおよび右側スクリーン２００ｃに相対的に評価値の高い画像を、上側スクリーン２００ｄおよび下側スクリーン２００ｅに相対的に評価値の低い画像を表示することを決定する。表示パネル１３０に表示される画像（視野画像）は横長矩形であり、横方向の表示スペースを大きくとることができるため、左側スクリーン２００ｂおよび右側スクリーン２００ｃに評価値の高い画像を表示することで、ユーザの好みおよび／または属性に沿ったコンテンツ画像を表示できる。

【0047】

なお画像決定部４６は、左側スクリーン２００ｂおよび右側スクリーン２００ｃのコンテンツを、所定の閾値（たとえば６０点）よりも高い評価値をもつコンテンツから選択し、上側スクリーン２００ｄおよび下側スクリーン２００ｅのコンテンツを、所定の閾値（たとえば６０点）以下の評価値をもつコンテンツから選択してよい。所定の閾値は、第１の基準点（７０点）より低く設定され、したがって上側スクリーン２００ｄおよび下側スクリーン２００ｅには、センタースクリーン２００ａの画像素材のカテゴリとは異なるカテゴリのコンテンツが表示される可能性が高くなる。

【0048】

センタースクリーン２００ａにコンサート映像が表示される場合、上記したように、左側スクリーン２００ｂおよび右側スクリーン２００ｃには、センタースクリーン２００ａの画像素材に関連度の高い映像が表示されるため、同様にコンサート映像が選択されることが多いと考えられる。そのため上側スクリーン２００ｄおよび下側スクリーン２００ｅにもコンサート映像を表示すると、似たような映像が５面表示されることになり、若干面白みに欠けることが予想される。そこで画像決定部４６は、上側スクリーン２００ｄおよび下側スクリーン２００ｅに表示する画像を、所定の基準よりも低い評価値をもつ画像としてよい。なお評価値に関係なく、画像決定部４６は、上側スクリーン２００ｄおよび下側スクリーン２００ｅに表示する画像を、センタースクリーン２００ａに表示する画像とは異なるカテゴリの画像に決定してもよい。

【0049】

以上の画像決定部４６の決定処理により、図６の各仮想スクリーン２００には、以下の画像が表示される。
・センタースクリーン２００ａ
ユーザが選択したコンサートの映像が表示される。ユーザが、記憶装置１３から１つのコンテンツを選択すると、画像決定部４６は、選択したコンテンツを、センタースクリーン２００ａに表示する画像素材として決定する。

【0050】

画像決定部４６は、ユーザの好みおよび／または属性にしたがって、左側スクリーン２００ｂ、右側スクリーン２００ｃ、上側スクリーン２００ｄ、下側スクリーン２００ｅに表示するコンテンツを決定する。具体的に画像決定部４６は、記憶装置１３に記憶されたコンテンツの評価値を導出し、左側スクリーン２００ｂおよび右側スクリーン２００ｃに相対的に評価値の高いコンテンツを表示することを決定し、上側スクリーン２００ｄおよび下側スクリーン２００ｅに相対的に評価値の低いコンテンツを表示することを決定する。

【0051】

・左側スクリーン２００ｂおよび右側スクリーン２００ｃ
センタースクリーン２００ａの画像素材と同様に、画像決定部４６は、左側スクリーン２００ｂおよび右側スクリーン２００ｃに、センタースクリーン２００ａの画像素材と同じくメンバＡが参加しているコンサート映像を表示することを決定する。なお、左側スクリーン２００ｂおよび右側スクリーン２００ｃに表示する映像のコンサートは、センタースクリーン２００ａに表示する映像のコンサートと同日に開催されたコンサートである必要はなく、異なっていてよい。つまりセンタースクリーン２００ａ、左側スクリーン２００ｂ、右側スクリーン２００ｃに表示する映像のコンサートは、全て異なっていてよい。

【0052】

・上側スクリーン２００ｄおよび下側スクリーン２００ｅ
画像決定部４６は、上側スクリーン２００ｄおよび下側スクリーン２００ｅに、コンサート映像以外の映像を表示することを決定する。この例では上側スクリーン２００ｄに、メンバＡのインタビュー映像を、下側スクリーン２００ｅに、メンバＡが体力作りの目的で運動している映像を表示することを決定する。いずれのコンテンツもコンサート映像ではないため、評価値は相対的に低いが、少なくともメンバＡの映像を含んでいる。

【0053】

このように画像決定部４６は、５つの仮想スクリーン２００に表示する画像素材を決定する。表示処理部４８は、画像決定部４６が決定したコンテンツの画像データを送信部６０からＨＭＤ１００に送信して、表示パネル１３０の各仮想スクリーン２００から表示させる。具体的にはＨＭＤ１００において制御部１２０が各仮想スクリーン２００に表示するための画像データを取得し、表示パネル１３０から表示する。これによりユーザは、ユーザの嗜好に沿ったマルチスクリーン映像を見ることができる。

【0054】

音声処理部５０は、複数の仮想スクリーン２００において表示される表示画像の少なくとも１つに対応する音声を音声出力部１３２から出力させる。実施例で音声処理部５０は、センタースクリーン２００ａに表示される画像に対応する音声を音声出力部１３２から出力させる。センタースクリーン２００ａには、ユーザが選択した画像が表示されるため、音声処理部５０は、センタースクリーン２００ａの表示画像に対応する音声を音声出力部１３２から出力させることで、センタースクリーン２００ａの表示画像と音声とを連動させることが可能となる。

【0055】

なおマルチスクリーン環境において、ユーザは、センタースクリーン２００ａ以外の仮想スクリーン２００に表示される画像を見ることができる。このとき出力音声は変更されなくてよいが、ユーザが見ている仮想スクリーン２００に合わせて変更されてもよい。後者の場合、音声処理部５０は、ユーザが見ている仮想スクリーン２００の表示画像に対応する音声を音声出力部１３２から出力させてよい。

【0056】

そのためにスクリーン特定部４４は、視線方向検出部３４で検出されたユーザの視線方向から、ユーザが見ている仮想スクリーン２００を特定する。スクリーン特定部４４は、表示パネル１３０に表示されている視野画像に、仮想カメラ２０２を起点とする視線方向を交差させることで、ユーザが見ている仮想スクリーン２００を特定してよい。音声処理部５０は、スクリーン特定部４４で特定された仮想スクリーン２００の表示画像に対応する音声を記憶装置１３から読み出し、送信部６０からＨＭＤ１００に送信する。ＨＭＤ１００において制御部１２０は音声データを取得し、音声出力部１３２から出力する。これによりユーザは、ユーザが見ている画像に連動した音声を聞くことができる。

【0057】

なお実際のユーザの視線について検討すると、ユーザは、マルチスクリーン環境下で、あちこちに視線を動かすことが通常である。そのため見ている表示画像が頻繁に切り替わることになるが、その切り替わりの頻度に合わせて音声も切り替えると、好ましくないことも生じうる。そこでスクリーン特定部４４は、ユーザが１つの仮想スクリーン２００を連続して見る時間を計測し、計測した時間が所定時間を超えると、音声処理部５０は、当該仮想スクリーン２００に表示される画像に対応する音声を出力させてもよい。この例でスクリーン特定部４４は、連続して１つの仮想スクリーン２００を見る時間を計測することで、その仮想スクリーン２００をユーザが注視しているか判断する。たとえば所定時間は、５～１０秒の範囲で設定されてよい。ユーザは、センタースクリーン２００ａに表示されるコンサート映像の視聴中に、上側スクリーン２００ｄに表示されているインタビュー動画が気になれば、少し上に視線方向をずらして上側スクリーン２００ｄの映像を所定時間以上見ることで、音声出力部１３２が、コンサート音声の代わりに、インタビュー音声を出力するようになる。

【0058】

以上、本発明を実施例をもとに説明した。実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0059】

実施例では情報処理装置１０とＨＭＤ１００とが別体であることを説明したが、変形例では情報処理装置１０の機能がＨＭＤ１００に組み込まれて、ＨＭＤ１００が単体で画像表示機能を実現してもよい。

【0060】

実施例ではユーザ情報取得部４２が、視線方向検出部３４からユーザの視線方向を取得し、そのときに表示されている視野画像をもとにユーザが注視している対象を特定して、当該対象にもとづいて特定される好みを示すユーザ情報を取得することを説明した。ユーザ情報取得部４２が特定する対象に変更があると、画像決定部４６は、変更された対象にもとづいてコンテンツを変更してよい。なおユーザが入力装置１６を操作して、好みおよび／または属性を示すユーザ情報を直接入力し、ユーザ情報取得部４２がユーザ情報を取得してもよい。ユーザが好みの情報等を直接入力することで、ユーザ情報取得部４２が、確実にユーザの好み情報を取得できるようになる。

【0061】

実施例では出力処理部４０が、記憶装置１３からコンテンツの画像データおよび音声データを取得することを説明したが、外部のコンテンツサーバから取得してもよい。この場合、画像決定部４６は、外部のコンテンツサーバに蓄積されているコンテンツの評価値を算出してよい。

【0062】

実施例では画像決定部４６が、ユーザの好み情報にもとづいてコンテンツを決定する例を示したが、ユーザの属性情報にもとづいてコンテンツを決定してもよい。特にユーザがコンテンツを選択するのではなく、画像決定部４６が、全ての仮想スクリーン２００のコンテンツを選択する場合、画像決定部４６は、ユーザの属性情報にもとづいて、センタースクリーン２００ａに表示するコンテンツを決定し、当該コンテンツおよびユーザ情報にもとづいて、他の仮想スクリーン２００に表示するコンテンツを決定してもよい。

【0063】

実施例では、画像決定部４６は、メンバＡをメタデータとして含むコンテンツを抽出したが、メンバＡを含まないコンテンツを探索してもよい。この場合には、たとえば画像決定部４６が、メンバＡに関連付けられたメンバ情報、たとえばメンバＡと仲の良いメンバをメタデータとして含むコンテンツを抽出して、仮想スクリーン２００のコンテンツとして決定してもよい。画像決定部４６は、ユーザと似た好みおよび／または属性をもつ別のユーザに対して提供したコンテンツを、ユーザに対しても提供してよい。

【符号の説明】

【0064】

１・・・情報処理システム、１０・・・情報処理装置、１３・・・記憶装置、１４・・・撮像装置、２０・・・センサデータ受信部、２２・・・第１撮影画像受信部、２４・・・第２撮影画像受信部、２６・・・入力データ受信部、３０・・・ＨＭＤ情報取得部、３２・・・顔方向検出部、３４・・・視線方向検出部、３６・・・受付部、４０・・・出力処理部、４２・・・ユーザ情報取得部、４４・・・スクリーン特定部、４６・・・画像決定部、４８・・・表示処理部、５０・・・音声処理部、６０・・・送信部、１００・・・ＨＭＤ、１０２・・・出力機構部、１０４・・・装着機構部、１０６・・・装着バンド、１０８・・・筐体、１１０・・・発光マーカ、１２０・・・制御部、１２２・・・記憶部、１２４・・・姿勢センサ、１２６・・・マイク、１２８・・・通信制御部、１３０・・・表示パネル、１３０ａ・・・左目用表示パネル、１３０ｂ・・・右目用表示パネル、１３２・・・音声出力部、１３４・・・内部カメラ、２００ａ・・・センタースクリーン、２００ｂ・・・左側スクリーン、２００ｃ・・・右側スクリーン、２００ｄ・・・上側スクリーン、２００ｅ・・・下側スクリーン、２０２・・・仮想カメラ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】