特開 2023-117824 情報処理方法及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023117824

(43)【公開日】2023-08-24

(54)【発明の名称】情報処理方法及び情報処理システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230817BHJP

   G06F 3/04815 20220101ALI20230817BHJP

   G06F 3/01 20060101ALI20230817BHJP

   G06F 3/14 20060101ALI20230817BHJP

【ＦＩ】

G06T19/00 600

G06T19/00 A

G06F3/0481 150

G06F3/01 510

G06F3/14 350A

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022020588

(22)【出願日】2022-02-14

(71)【出願人】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(71)【出願人】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】志小田 雄宇

【テーマコード（参考）】

5B050

5B069

5E555

【Ｆターム（参考）】

5B050CA06

5B050DA04

5B050EA07

5B050FA05

5B050FA06

5B069CA13

5B069DD06

5B069KA02

5E555AA27

5E555AA63

5E555BA04

5E555BA38

5E555BB04

5E555BB38

5E555BC08

5E555BE16

5E555BE17

5E555CA42

5E555CB19

5E555DA04

5E555DA08

5E555DA09

5E555DA11

5E555DB53

5E555DC09

5E555DC21

5E555DC43

5E555DD06

5E555EA07

5E555EA08

5E555EA09

5E555FA00

(57)【要約】

【課題】仮想オブジェクトの立体表示が可能な三次元ディスプレイを透過型ディスプレイと併用する場合に、透過型ディスプレイによる表示と、三次元ディスプレイによる表示をシームレスに連携することが可能な情報処理方法及び情報処理システムを提供する。
【解決手段】情報処理方法及び情報処理システムは、ユーザの周囲をユーザから視認可能なように透過させる第１表示領域に重ねて、周囲に仮想的に配置された仮想オブジェクトを表す第１画像を表示可能な第１表示装置と、第２表示領域に仮想オブジェクトを表す第２画像を表示可能な第２表示装置と、をコントローラで制御する。制御の際に、第１表示領域において第１画像を表示させる第１位置、及び、第２表示領域において第２画像を表示させる第２位置を、互いに対応付けて設定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１表示装置と、第２表示装置と、コントローラと、を備える情報処理システムにおける情報処理方法であって、
前記第１表示装置は、
ユーザの周囲を前記ユーザから視認可能なように透過させる第１表示領域に重ねて、前記周囲に仮想的に配置された仮想オブジェクトを表す第１画像を表示可能であり、
前記第２表示装置は、
第２表示領域に前記仮想オブジェクトを表す第２画像を表示可能であり、
前記コントローラによって、
前記第１表示領域において前記第１画像を表示させる第１位置、及び、前記第２表示領域において前記第２画像を表示させる第２位置を、互いに対応付けて設定すること
を特徴とする情報処理方法。

【請求項2】

請求項１に記載の情報処理方法であって、
前記第１位置は、前記第１表示装置を基準とする第１座標系によって表現され、
前記第２位置は、前記第２表示装置を基準とする第２座標系によって表現されること
を特徴とする情報処理方法。

【請求項3】

請求項２に記載の情報処理方法であって、
前記コントローラによって、
前記第１座標系における前記第２表示装置の座標を特定し、
前記座標に基づいて、前記第１位置及び前記第２位置を対応付けること
を特徴とする情報処理方法。

【請求項4】

請求項３に記載の情報処理方法であって、
前記コントローラによって、
前記第１座標系における前記第２表示装置の姿勢を特定し、
前記姿勢に基づいて、前記第１位置と前記第２位置を対応付けること
を特徴とする情報処理方法。

【請求項5】

請求項３又は４に記載の情報処理方法であって、
前記第１表示装置は、第１撮像部を有し、
前記コントローラによって、
前記第１撮像部を介して、前記第２表示装置を撮像した撮像画像を取得し、
前記撮像画像に基づいて、前記座標を特定すること
を特徴とする情報処理方法。

【請求項6】

請求項２～５のいずれか一項に記載の情報処理方法であって、
前記コントローラによって、
前記第１位置及び前記第２位置を、前記仮想オブジェクトの仮想的な配置場所を向くユーザの視線上に設定することで、前記第１位置と前記第２位置を対応付けること
を特徴とする情報処理方法。

【請求項7】

請求項１～６のいずれか一項に記載の情報処理方法であって、
前記コントローラによって、
所定周期ごとに、前記第１位置及び前記第２位置の少なくともいずれかを設定すること
を特徴とする情報処理方法。

【請求項8】

請求項１～７のいずれか一項に記載の情報処理方法であって、
前記コントローラによって、
前記第２位置が前記第２表示領域の内部にない場合に、前記第１表示領域に前記第１画像を表示させること
を特徴とする情報処理方法。

【請求項9】

請求項１～８のいずれか一項に記載の情報処理方法であって、
前記コントローラによって、
前記第２位置が前記第２表示領域の内部にある場合に、前記第１表示領域に前記第１画像を表示させず、前記第２表示領域に前記第２画像を表示させること
を特徴とする情報処理方法。

【請求項10】

請求項１～９のいずれか一項に記載の情報処理方法であって、
前記第１表示装置は、前記ユーザの頭部に固定された拡張現実型ディスプレイであること
を特徴とする情報処理方法。

【請求項11】

請求項１～１０のいずれか一項に記載の情報処理方法であって、
前記第２表示装置は、三次元ディスプレイであること
を特徴とする情報処理方法。

【請求項12】

第１表示装置と、第２表示装置と、コントローラと、を備える情報処理システムであって、
前記第１表示装置は、
ユーザの周囲を前記ユーザから視認可能なように透過させる第１表示領域に重ねて、前記周囲に仮想的に配置された仮想オブジェクトを表す第１画像を表示可能であり、
前記第２表示装置は、
第２表示領域に前記仮想オブジェクトを表す第２画像を表示可能であり、
前記コントローラは、
前記第１表示領域において前記第１画像を表示させる第１位置、及び、前記第２表示領域において前記第２画像を表示させる第２位置を、互いに対応付けて設定すること
を特徴とする情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法及び情報処理システムに関する。

【背景技術】

【0002】

透過型ディスプレイを用いて、実空間における検出される実物体を基準とした位置に仮想オブジェクトの表示を実空間に重畳させて表示させる第１の処理、又は、実空間における検出される実物体を基準としない位置に仮想オブジェクトの表示を実空間に重畳させて表示させる第２の処理を行う表示制御部、を備える情報処理装置が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１６／２０３７９２号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された発明によれば、透過型ディスプレイのみを用いて仮想オブジェクトを表示することが想定されている。そのため、仮想オブジェクトの立体表示が可能な三次元ディスプレイを透過型ディスプレイと併用する場合に、透過型のディスプレイによる表示と、三次元ディスプレイによる表示をシームレスに連携することができないという課題がある

【0005】

本発明は、上記問題に鑑みてなされたものである。その目的とするところは、仮想オブジェクトの立体表示が可能な三次元ディスプレイを透過型ディスプレイと併用する場合に、透過型ディスプレイによる表示と、三次元ディスプレイによる表示をシームレスに連携することが可能な情報処理方法及び情報処理システムを提供することにある。

【課題を解決するための手段】

【0006】

本発明の一態様に係る情報処理方法及び情報処理システムは、ユーザの周囲をユーザから視認可能なように透過させる第１表示領域に重ねて、周囲に仮想的に配置された仮想オブジェクトを表す第１画像を表示可能な第１表示装置と、第２表示領域に仮想オブジェクトを表す第２画像を表示可能な第２表示装置と、をコントローラで制御する。制御の際に、第１表示領域において第１画像を表示させる第１位置、及び、第２表示領域において第２画像を表示させる第２位置を、互いに対応付けて設定する。

【発明の効果】

【0007】

本発明によれば、仮想オブジェクトの立体表示が可能な三次元ディスプレイを透過型ディスプレイと併用する場合に、透過型ディスプレイによる表示と、三次元ディスプレイによる表示をシームレスに連携することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の一実施形態に係る情報処理システムの構成を示すブロック図である。

【図2】図２は、本発明の一実施形態に係る情報処理システムの処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

【0010】

［情報処理システムの構成］
図１を参照して、本実施形態に係る情報処理システムの構成例を説明する。情報処理システムは一例として車両に搭載される。図１に示すように、情報処理システムは、第１表示装置１０と、第２表示装置２０と、コントローラ１００とを備える。

【0011】

まず初めに、第１表示装置１０は、後述するコントローラ１００と有線又は無線によって接続される。なお、第１表示装置１０自体がコントローラ１００を備えていてもよい。第１表示装置１０は、第１表示領域１１、第１表示制御部１３、撮像部１７、通信部１５を備える。

【0012】

例えば、第１表示装置１０は拡張現実型ディスプレイである。すなわち、第１表示装置１０は、ヘッドアップディスプレイ装置、ヘッドマウントディスプレイ、スマートグラス、プロンプターなどである。その他、第１表示装置１０は、ユーザの頭部に固定されるものであってもよい。第１表示装置１０がユーザの頭部に固定されることにより、第１表示領域とユーザの両眼の相対的な位置関係が固定されるものであってもよい。第１表示装置１０は、ここに挙げた例に限定されない。

【0013】

第１表示領域１１は、ユーザの周囲をユーザから視認可能なように透過させる領域であって、第１表示装置１０の表面に位置する領域である。第１表示領域１１は、第１表示制御部１３から出力された第１画像（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＲ）画像）を表示する。したがって、第１表示領域１１は、ユーザの周囲の風景に重畳して第１画像を表示する。

【0014】

第１表示制御部１３は、第１表示領域１１によって表示する第１画像を生成し、第１表示領域１１に出力する。なお、第１画像は、ユーザの周囲に仮想的に配置された仮想オブジェクトを表す。例えば、第１表示制御部１３は、仮想的な配置場所に、ユーザから見て実際に仮想オブジェクトが配置されているように見えるように第１画像を生成する。

【0015】

より具体的には、第１表示制御部１３は、仮想オブジェクトの仮想的な配置場所とユーザの目の間の距離に基づいて、第１画像のサイズを設定してもよい。例えば、距離が長いほど、第１画像のサイズを小さく設定し、距離が短いほど、第１画像のサイズを大きく設定してもよい。また、第１表示制御部１３は、ユーザの目から見た仮想オブジェクトが仮想的に位置する方向に基づいて、仮想オブジェクトの姿勢を変更し、第１画像を生成してもよい。

【0016】

なお、第１表示装置１０自体がコントローラ１００を備える場合、第１表示制御部１３とコントローラ１００は別個の構成要素であってもよいし、同一の構成要素であってもよい。

【0017】

撮像部１７は、ユーザの周囲又は第１表示装置１０の周囲の画像を撮像し、撮像画像を取得する。特に、撮像部１７は、後述する第２表示装置２０が写った撮像画像を取得する。

【0018】

例えば、撮像部１７はＣＣＤ、ＣＭＯＳ等の固体撮像素子を備えたデジタルカメラであり、ユーザの周囲又は第１表示装置１０の周囲を撮像して周辺領域のデジタル画像を取得する。撮像部１７は、焦点距離、レンズの画角、カメラの垂直方向及び水平方向の角度などが設定されることにより、ユーザの周囲又は第１表示装置１０の周囲の所定の範囲を撮像する。

【0019】

なお、撮像部１７によって撮像された撮像画像は、所定の期間の間、図示しない記憶部に記憶されるものであってもよい。例えば、撮像部１７、は所定の時間間隔で撮像画像を取得しており、所定の時間間隔で取得した撮像画像が、過去画像として記憶部に記憶される。過去画像は、当該過去画像の撮像時点から所定の期間を経過した後に削除されるものであってもよい。

【0020】

通信部１５は、後述するコントローラ１００の通信部１１０と有線又は無線によって接続され、通信部１１０との間で各種の情報が送受信される。その結果、第１表示装置１０は、コントローラ１００と接続される。また、通信部１５は、第１表示制御部１３及び撮像部１７と接続され、第１表示制御部１３及び撮像部１７で生成又は使用する各種の情報が送受信される。通信部１５は、４Ｇ／ＬＴＥのモバイル通信機能を備えたデバイスであってもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）もしくはＷｉｆｉ通信機能を備えたデバイスであってもよい。

【0021】

次に、第２表示装置２０は、後述するコントローラ１００と有線又は無線によって接続される。なお、第２表示装置２０自体がコントローラ１００を備えていてもよい。第２表示装置２０は、第２表示領域２１、第２表示制御部２３、通信部２５を備える。

【0022】

例えば、第２表示装置２０は三次元ディスプレイである。すなわち、第２表示装置２０は、三次元映像を表示するために、空間中に画像を立体的に投影するものであってもよいし、ユーザの左右の眼に別々の画像を見せることで立体感を与えるものであってもよい。

【0023】

三次元ディスプレイは、観察者に特殊な光学特性を持った眼鏡をかけさせ、両眼に視差をつけた画像を表示するも眼鏡式のディスプレイであってもよい。三次元ディスプレイは、視差障壁を利用したディスプレイであってもよい。視差障壁を利用したディスプレイとしては、パララックスバリア方式、レンチキュラーレンズ方式などが挙げられる。

【0024】

第２表示装置２０は、三次元ディスプレイの他、二次元画像を表示するディスプレイであってもよく、ここに挙げた例に限定されない。

【0025】

第２表示領域２１は、第２表示制御部２３から出力された第２画像を表示する、第２表示装置２０の表面に位置する領域である。

【0026】

第２表示制御部２３は、第２表示領域２１によって表示する第２画像を生成し、第２表示領域２１に出力する。なお、第２画像は、ユーザの周囲に仮想的に配置された仮想オブジェクトを表す。例えば、第２表示制御部２３は、仮想的な配置場所に、ユーザから見て実際に仮想オブジェクトが配置されているように見えるように第２画像を生成する。

【0027】

より具体的には、第２表示制御部２３は、仮想オブジェクトの仮想的な配置場所とユーザの目の間の距離に基づいて、第２画像のサイズを設定してもよい。例えば、距離が長いほど、第２画像のサイズを小さく設定し、距離が短いほど、第２画像のサイズを大きく設定してもよい。また、第２表示制御部２３は、ユーザの目から見た仮想オブジェクトが仮想的に位置する方向に基づいて、仮想オブジェクトの姿勢を変更し、第２画像を生成してもよい。

【0028】

なお、第２表示装置２０自体がコントローラ１００を備える場合、第２表示制御部２３とコントローラ１００は別個の構成要素であってもよいし、同一の構成要素であってもよい。

【0029】

通信部２５は、後述するコントローラ１００の通信部１１０と有線又は無線によって接続され、通信部１１０との間で各種の情報が送受信される。その結果、第２表示装置２０は、コントローラ１００と接続される。また、通信部２５は、第２表示制御部２３と接続され、第２表示制御部２３で生成又は使用する各種の情報が送受信される。通信部２５は、４Ｇ／ＬＴＥのモバイル通信機能を備えたデバイスであってもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）もしくはＷｉｆｉ通信機能を備えたデバイスであってもよい。

【0030】

次に、コントローラ１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリ、記憶装置、入出力部などを備える汎用のコンピュータである。コントローラ１００は、図示しないナビゲーション装置と接続されるものであってもよい。例えば、ナビゲーション装置は、車両のルート案内を実行する。

【0031】

コントローラ１００（制御部）は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。コントローラ１００には、情報処理システムとして機能するためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、コントローラ１００は、情報処理システムが備える複数の情報処理回路（１１０、１２０、１３０、１４０、１５０、１６０）として機能する。なお、コンピュータプログラムは、コンピュータによって読み書き可能な記録媒体に格納されるものであってもよい。

【0032】

本実施形態では、ソフトウェアによって複数の情報処理回路（１１０、１２０、１３０、１４０、１５０、１６０）を実現する例を示す。ただし、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路（１１０、１２０、１３０、１４０、１５０、１６０）を構成することも可能である。また、複数の情報処理回路（１１０、１２０、１３０、１４０、１５０、１６０）を個別のハードウェアにより構成してもよい。さらに、情報処理回路（１１０、１２０、１３０、１４０、１５０、１６０）は、ナビゲーション装置、あるいは、車両の制御に用いる制御ユニットと兼用してもよい。

【0033】

図１に示すように、コントローラ１００は、複数の情報処理回路（１１０、１２０、１３０、１４０、１５０、１６０）として、通信部１１０、第１位置算出部１２０、第２位置算出部１３０、位置特定部１４０、仮想オブジェクト管理部１５０、判定部１６０を備える。

【0034】

通信部１１０は、第１表示装置１０の通信部１５、及び、第２表示装置２０の通信部２５との間で情報を送受信する。通信部１１０は、取得した情報を図示しないメモリ等に記憶する。例えば、通信部１１０は、４Ｇ／ＬＴＥのモバイル通信機能を備えたデバイスであってもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）もしくはＷｉｆｉ通信機能を備えたデバイスであってもよい。

【0035】

第１位置算出部１２０は、第１表示装置１０の第１表示領域１１において第１画像を表示させる第１位置を算出する。例えば、第１位置算出部１２０は、仮想オブジェクトの仮想的な配置場所を向くユーザの視線上に第１位置を設定するものであってもよい。第１位置算出部１２０は、当該視線が第１表示領域１１と交わる交点を、第１位置として設定するものであってもよい。第１位置は、第１表示装置１０を基準とする第１座標系の座標値によって表現される。

【0036】

第２位置算出部１３０は、第２表示装置２０の第２表示領域２１において第２画像を表示させる第２位置を算出する。例えば、第２位置算出部１３０は、仮想オブジェクトの仮想的な配置場所を向くユーザの視線上に第２位置を設定するものであってもよい。第２位置算出部１３０は、当該視線が第２表示領域２１と交わる交点を、第２位置として設定するものであってもよい。第２位置は、第２表示装置２０を基準とする第２座標系の座標値によって表現される。

【0037】

上述した例では、第１位置及び第２位置が、仮想オブジェクトの仮想的な配置場所を向くユーザの視線上に設定されるため、ユーザから見て、第１位置と第２位置は重なった位置に存在することになる。

【0038】

また、第１位置及び第２位置が仮想オブジェクトの仮想的な配置場所を向くユーザの視線上に設定されることで、第１位置と第２位置が互いに対応付けられるが、ここに挙げた例に限定されない。

【0039】

「第１位置と第２位置が互いに対応付けられる」の意味は、例えば、第１座標系において第１位置を示す座標値を座標変換することにより、第２座標系において第２位置を示す座標値を算出できることを意味する。また、第２座標系において第２位置を示す座標値を座標変換することにより、第１座標系において第１位置を示す座標値を算出できることを意味する。

【0040】

なお、第１位置と第２位置の間での座標変換を行うためには、第１表示装置１０及び第２表示装置２０の相対的な位置関係を特定する必要がある。第１表示装置１０及び第２表示装置２０の相対的な位置関係は、後述する位置特定部１４０により特定される。

【0041】

その他、第１位置算出部１２０は、第１表示制御部１３の代わりに第１画像の生成を行ってもよい。また、第２位置算出部１３０は、第２表示制御部２３の代わりに第２画像の生成を行ってもよい。

【0042】

また、第１表示制御部１３は、第１位置算出部１２０の代わりに第１位置の設定を行ってもよい。第２表示制御部２３は、第２位置算出部１３０の代わりに第２位置の設定を行ってもよい。

【0043】

位置特定部１４０は、第１表示装置１０及び第２表示装置２０の相対的な位置関係を特定する。より具体的には、位置特定部１４０は、第２表示装置２０の位置（第２表示装置２０の座標）を特定する。また、位置特定部１４０は、第１座標系における第２表示装置の姿勢（第２表示装置２０の向き）を特定するものであってもよい。

【0044】

例えば、位置特定部１４０は、撮像部１７によって取得された撮像画像に基づいた物体認識処理を行うことで、第１表示装置１０に固定された撮像部１７から第２表示装置２０までの距離、及び、第１表示装置１０を基準とする第２表示装置２０の向きを特定する。その他、位置特定部１４０は、第２表示装置２０に固定されたマーカの位置及び向きを検出することで、第２表示装置２０までの距離及び向きを特定するものであってもよい。

【0045】

位置特定部１４０によって特定された、第１座標系における第２表示装置の座標は、第１位置算出部１２０及び第２位置算出部１３０に出力され、「第１位置と第２位置が互いに対応付けられる」ように、第１位置及び第２位置を算出するために用いられる。

【0046】

仮想オブジェクト管理部１５０は、第１表示装置１０及び第２表示装置２０によって表示する仮想オブジェクトを管理する。具体的には、仮想オブジェクト管理部１５０は、仮想オブジェクトごとに、仮想オブジェクトの仮想的な配置場所を特定する情報を保持する。仮想オブジェクト管理部１５０は、ユーザの位置を基準とする座標系における、当該配置場所を表現する座標値を保持してもよい。また、仮想オブジェクト管理部１５０は、第１表示装置１０を基準とする座標系における、当該配置場所を表現する座標値を保持してもよい。仮想オブジェクト管理部１５０は、第２表示装置２０を基準とする座標系における、当該配置場所を表現する座標値を保持してもよい。

【0047】

また、仮想オブジェクト管理部１５０は、仮想オブジェクトごとに当該仮想オブジェクトの形状および色彩などを特定する三次元データを保持するものであってもよい。ここで、三次元データとは、三次元空間でのコンピュータグラフィックスにおいて立体を表現するモデルに関する情報である。例えば、三次元データは、ベクターデータ（ポイント、ライン、ポリゴン）である。

【0048】

判定部１６０は、第２位置算出部１３０によって算出した第２位置が、第２表示領域２１の内部にあるか否かを判定する。

【0049】

第２位置が第２表示領域２１の内部にないと判定された場合、判定部１６０は、第１表示制御部１３に対して、第１表示領域１１に第１画像を表示させる信号を出力する。この場合、判定部１６０は、第２表示制御部２３に対して、第２表示領域２１に第２画像を表示させる信号を出力しない。この理由は、第２位置が第２表示領域２１の内部にないことから、第２表示領域２１は第２画像を表示できないためである。

【0050】

一方、第２位置が第２表示領域２１の内部にあると判定された場合、判定部１６０は、第２表示制御部２３に対して、第２表示領域２１に第２画像を表示させる信号を出力する。この場合、判定部１６０は、第１表示制御部１３に対して、第１表示領域１１に第１画像を表示させる信号を出力しない。ここで、ユーザの周囲をユーザから視認可能なように透過させる第１表示領域１１の輝度と比較して、第２表示領域２１の輝度の方が高いと考えられる。第１表示領域１１によって表示された第１画像よりも、第２表示領域２１によって表示された第２画像の方を、ユーザは視認しやすいと考えられるためである。

【0051】

［情報処理システムの処理手順］
次に、本実施形態に係る情報処理システムの処理手順を、図２のフローチャートを参照して説明する。図２に示す情報処理システムの処理は、ユーザの指示に基づいて開始されるものであってもよいし、所定の周期で繰り返し実行されるものであってもよい。

【0052】

まず、ステップＳ１０１において、仮想オブジェクト管理部１５０は、第１表示装置１０及び第２表示装置２０の少なくともいずれかで表示する仮想オブジェクトの配置場所を指定する。指定された配置場所に基づいて、後述するステップを実行する。

【0053】

ステップＳ１０３において、位置特定部１４０は、第２表示装置２０の位置を特定する。したがって、位置特定部１４０は、第１表示装置１０及び第２表示装置２０の相対的な位置関係を特定する。

【0054】

ステップＳ１０５において、第１位置算出部１２０が第１位置を算出し、第２位置算出部１３０が第２位置を算出する。

【0055】

ステップＳ１０７において、判定部１６０は、第２位置算出部１３０によって算出した第２位置が、第２表示領域２１の内部にあるか否かを判定する。

【0056】

第２位置が第２表示領域２１の内部にあると判定された場合（ステップＳ１０７にてＹＥＳの場合）、ステップＳ１１１において、判定部１６０は、第２表示制御部２３に対して、第２表示領域２１に第２画像を表示させる信号を出力する。その結果、第２表示領域２１は第２画像を表示する。

【0057】

一方、第２位置が第２表示領域２１の内部にないと判定された場合（ステップＳ１０７にてＮＯの場合）、ステップＳ１１３において、判定部１６０は、第１表示制御部１３に対して、第１表示領域１１に第１画像を表示させる信号を出力する。その結果、第１表示領域１１は第１画像を表示する。

【0058】

［実施形態の効果］
以上詳細に説明したように、本実施形態に係る情報処理方法及び情報処理システムは、ユーザの周囲をユーザから視認可能なように透過させる第１表示領域に重ねて、周囲に仮想的に配置された仮想オブジェクトを表す第１画像を表示可能な第１表示装置と、第２表示領域に仮想オブジェクトを表す第２画像を表示可能な第２表示装置と、をコントローラで制御する。制御の際に、第１表示領域において第１画像を表示させる第１位置、及び、第２表示領域において第２画像を表示させる第２位置を、互いに対応付けて設定する。

【0059】

これにより、第１表示装置と第２表示装置を併用する場合に、第１表示装置による表示と第２表示装置による表示を、シームレスに連携することができる。その結果、ユーザの利便性が向上する。特に、仮想オブジェクトの立体表示が可能な三次元ディスプレイを透過型ディスプレイと併用する場合に、透過型ディスプレイによる表示と、三次元ディスプレイによる表示をシームレスに連携することができる。

【0060】

また、本実施形態に係る情報処理方法及び情報処理システムにおいて、第１位置は、第１表示装置を基準とする第１座標系によって表現され、第２位置は、第２表示装置を基準とする第２座標系によって表現されるものであってもよい。これにより、第１座標系と第２座標系の間での対応付けが行われ、第１表示装置と第２表示装置のそれぞれに表示すべき仮想オブジェクトの範囲と位置を算出できる。

【0061】

さらに、本実施形態に係る情報処理方法及び情報処理システムは、第１座標系における第２表示装置の座標を特定し、座標に基づいて、第１位置及び第２位置を対応付けるものであってもよい。また、本実施形態に係る情報処理方法及び情報処理システムは、第１座標系における第２表示装置の姿勢を特定し、姿勢に基づいて、第１位置と第２位置を対応付けるものであってもよい。

【0062】

これらにより、第１座標系と第２座標系の間での座標変換を行うことができる。その結果、第１座標系と第２座標系の間での対応付けを行うことができる。また、第１表示装置と第２表示装置のそれぞれに表示すべき仮想オブジェクトの範囲と位置を算出できる。

【0063】

さらに、本実施形態に係る情報処理方法及び情報処理システムは、第１表示装置が有する第１撮像部を介して、第２表示装置を撮像した撮像画像を取得し、撮像画像に基づいて、座標を特定するものであってもよい。これにより、第１表示装置と第２表示装置の相対的な位置関係が変化しても、撮像画像に基づいて位置関係を確定させることができる。その結果、第１座標系と第２座標系の間での座標変換を行うことができる。

【0064】

また、本実施形態に係る情報処理方法及び情報処理システムは、第１位置及び第２位置を、仮想オブジェクトの仮想的な配置場所を向くユーザの視線上に設定することで、第１位置と第２位置を対応付けるものであってもよい。これにより、第１表示装置と第２表示装置を併用する場合に、第１表示装置による表示と第２表示装置による表示を、シームレスに連携することができる。その結果、ユーザの利便性が向上する。

【0065】

さらに、本実施形態に係る情報処理方法及び情報処理システムは、所定周期ごとに、第１位置及び第２位置の少なくともいずれかを設定するものであってもよい。これにより、第１表示装置と第２表示装置のそれぞれに表示すべき仮想オブジェクトの範囲と位置を算出する際に生じる、位置ずれなどの誤差を低減できる。

【0066】

また、本実施形態に係る情報処理方法及び情報処理システムは、第２位置が第２表示領域の内部にない場合に、第１表示領域に第１画像を表示させるものであってもよい。これにより、仮想オブジェクトが第２表示装置による表示範囲に位置しない場合であっても、第１表示装置によって仮想オブジェクトを表示できる。その結果、ユーザの利便性が向上する。

【0067】

さらに、本実施形態に係る情報処理方法及び情報処理システムは、第２位置が第２表示領域の内部にある場合に、第１表示領域に第１画像を表示させず、第２表示領域に第２画像を表示させるものであってもよい。ここで、ユーザの周囲をユーザから視認可能なように透過させる第１表示領域の輝度と比較して、第２表示領域の輝度の方が高いと考えられる。したがって、第１表示領域に第１画像を表示させず、第２表示領域に第２画像を表示させることで、ユーザが感じる視認性を向上させることができ、ユーザの利便性が向上する。

【0068】

また、本実施形態に係る情報処理方法及び情報処理システムにおいて、第１表示装置は、ユーザの頭部に固定された拡張現実型ディスプレイであってもよい。これにより、ユーザが感じる没入感が増し、ユーザの利便性が向上する。

【0069】

さらに、本実施形態に係る情報処理方法及び情報処理システムにおいて、第２表示装置は、三次元ディスプレイであってもよい。これにより、ユーザの周囲をユーザから視認可能なように透過させる第１表示領域を有する第１表示装置と比較して、輝度の高い第２表示装置によって仮想オブジェクトを表示できる。その結果、ユーザが感じる視認性を向上させることができ、ユーザの利便性が向上する。

【0070】

上述の実施形態で示した各機能は、１又は複数の処理回路によって実装されうる。処理回路には、プログラムされたプロセッサや、電気回路などが含まれ、さらには、特定用途向けの集積回路（ＡＳＩＣ）のような装置や、記載された機能を実行するよう配置された回路構成要素なども含まれる。

【0071】

以上、実施形態に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

【0072】

本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

【符号の説明】

【0073】

１０ 第１表示装置
１１ 第１表示領域
１３ 第１表示制御部
１５，２５，１１０ 通信部
１７ 撮像部
２０ 第２表示装置
２１ 第２表示領域
２３ 第２表示制御部
１００ コントローラ
１２０ 第１位置算出部
１３０ 第２位置算出部
１４０ 位置特定部
１５０ 仮想オブジェクト管理部
１６０ 判定部

【図1】

【図2】