特許 7644245 表示制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-03

(45)【発行日】2025-03-11

(54)【発明の名称】表示制御装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20250304BHJP

   G06F 3/04845 20220101ALI20250304BHJP

【ＦＩ】

G06T19/00 600

G06F3/04845

【請求項の数】 8

(21)【出願番号】P 2023543704

(86)(22)【出願日】2022-06-09

(86)【国際出願番号】 JP2022023339

(87)【国際公開番号】W WO2023026634

(87)【国際公開日】2023-03-02

【審査請求日】2023-12-22

(31)【優先権主張番号】P 2021136994

(32)【優先日】2021-08-25

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100121980

【弁理士】

【氏名又は名称】沖山 隆

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(74)【代理人】

【識別番号】100183081

【弁理士】

【氏名又は名称】岡▲崎▼ 大志

(72)【発明者】

【氏名】石黒 けい

(72)【発明者】

【氏名】山▲崎▼ 智仁

(72)【発明者】

【氏名】岩村 幹生

(72)【発明者】

【氏名】横尾 雅之

(72)【発明者】

【氏名】新清 文紀

【審査官】渡部 幸和

(56)【参考文献】

【文献】特開２０１７－１４６９５２（ＪＰ，Ａ）

【文献】国際公開第２０１９／１２３７７０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／００

(57)【特許請求の範囲】

【請求項1】

現実空間と共に仮想オブジェクトが表示される表示部の表示制御を行う表示制御装置であって、
前記表示部に表示される前記現実空間の空間構造の把握度に応じたモードを検出するモード検出部と、
前記モード検出部により検出される前記モードに応じて、前記表示部における前記仮想オブジェクトの表示態様を制御する制御部と、
を備え、
前記制御部は、前記モード検出部により検出される前記モードが第１把握度に応じた第１モードから第２把握度に応じた第２モードに変化した場合に、前記表示部における前記仮想オブジェクトの表示態様を、前記第１モードに応じた第１表示態様から前記第２モードに応じた第２表示態様へと、前記第１表示態様と前記第２表示態様との間の一以上の中間表示態様を経由させて変化させる、
表示制御装置。

【請求項2】

前記制御部は、前記モード検出部により検出される前記モードが前記第１モードから前記第２モードに変化した時点を起点として予め定められた遷移期間が経過した時点に前記仮想オブジェクトの表示態様が前記第２表示態様となるように、前記仮想オブジェクトの表示態様を前記第１表示態様から前記第２表示態様へと徐々に変化させる、
請求項１に記載の表示制御装置。

【請求項3】

前記第１把握度は、前記表示部に表示される前記現実空間に含まれる現実オブジェクトと前記仮想オブジェクトとの位置関係を一定の精度以上で特定することができない状態に対応する把握度であり、
前記第２把握度は、前記表示部に表示される前記現実空間に含まれる現実オブジェクトと前記仮想オブジェクトとの位置関係を前記一定の精度以上で特定することができる状態に対応する把握度であり、
前記第１表示態様は、前記仮想オブジェクトと前記現実オブジェクトとの本来の位置関係にかかわらず、前記仮想オブジェクトが前記現実オブジェクトよりも前方に表示される表示態様を含み、
前記第２表示態様は、前記仮想オブジェクトのうち前記現実オブジェクトに隠される部分が透明表示される表示態様を含み、
前記一以上の中間表示態様は、前記仮想オブジェクトのうち前記現実オブジェクトに隠される部分が半透明に表示される表示態様を含む、
請求項１に記載の表示制御装置。

【請求項4】

前記表示部に表示される現実空間の場所を示す場所情報を取得する場所情報取得部を更に備え、
前記モード検出部は、
前記場所情報取得部により取得された前記場所情報に示される前記場所の空間構造に関する空間データが利用可能か否かを判定し、
前記空間データを利用できない場合に、前記第１モードを検出し、
前記空間データを利用できる場合に、前記第２モードを検出し、
前記制御部は、前記仮想オブジェクトを前記第２表示態様で表示させる際に、前記空間データに基づいて、前記仮想オブジェクトのうち前記現実オブジェクトに隠される部分を特定する、
請求項３に記載の表示制御装置。

【請求項5】

前記第１表示態様は、前記仮想オブジェクトが第１サイズで表示される表示態様を含み、
前記第２表示態様は、前記仮想オブジェクトが前記第１サイズとは異なる第２サイズで表示される表示態様を含み、
前記一以上の中間表示態様は、前記仮想オブジェクトが前記第１サイズと前記第２サイズとの間の大きさで表示される表示態様を含む、
請求項１に記載の表示制御装置。

【請求項6】

前記第２サイズは、前記第１サイズよりも大きい、
請求項５に記載の表示制御装置。

【請求項7】

前記第１表示態様は、前記仮想オブジェクトが第１色調で表示される表示態様を含み、
前記第２表示態様は、前記仮想オブジェクトが第１色調とは異なる第２色調で表示される表示態様を含み、
前記一以上の中間表示態様は、前記仮想オブジェクトが前記第１色調と前記第２色調との間の第３色調で表示される表示態様を含む、
請求項１に記載の表示制御装置。

【請求項8】

前記第１表示態様は、前記仮想オブジェクトが第１形状で表示される表示態様を含み、
前記第２表示態様は、前記仮想オブジェクトが第１形状とは異なる第２形状で表示される表示態様を含み、
前記一以上の中間表示態様は、前記仮想オブジェクトが前記第１形状と前記第２形状との間の第３形状で表示される表示態様を含む、
請求項１に記載の表示制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の一側面は、表示制御装置に関する。

【背景技術】

【0002】

従来、現実空間と仮想空間とを融合させた複合現実（ＭＲ：Mixed Reality）をユーザに提供する技術が知られている。例えば、特許文献１には、ディスプレイ等の表示部に表示される現実空間のオブジェクト（以下「現実オブジェクト」という。）と仮想空間のオブジェクト（以下「仮想オブジェクト」という。）との位置関係を算出し、算出結果に基づいて現実オブジェクトのうち仮想オブジェクトを覆う部分の形状に対応したマスクを作成し、仮想空間にこのマスクを重ね合わせて仮想オブジェクトの表示されない部分（すなわち、現実オブジェクトに覆われる部分）を除去することにより、現実オブジェクトと仮想オブジェクトとの前後関係が考慮された画像（すなわち、仮想オブジェクトに対するオクルージョン処理がされた画像）を得ることが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００２－１５７６０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のようなオクルージョン処理を適切且つ即時に実行するためには、表示部に表示される現実空間の空間構造（３次元構造）に関するデータ（以下「空間データ」という。）を予め取得しておく必要がある。しかし、現実空間の全ての場所について空間データを予め取得しておくことは現実的ではない。このため、現実空間のうち空間データを取得済みのエリア（以下「第１エリア」という。）もあれば、空間データを未取得のエリア（以下「第２エリア」という。）もあることが通常である。第１エリアが表示部に表示されている場合には、上述したオクルージョン処理を行うことができるが、第２エリアが表示部に表示されている場合には、上述したオクルージョン処理を行うことができない。このため、仮に、第１エリアが表示部に表示されている場合にはオクルージョン処理を実行し、第２エリアが表示部に表示されている場合にはオクルージョン処理を実行しないようにした場合、表示部に表示される現実空間が第１エリア及び第２エリアの一方から他方へと変化した際に、表示部における仮想オブジェクトの表示態様が急激に変化してしまい、ユーザに違和感を与えるおそれがある。

【0005】

そこで、本発明の一側面は、現実空間と共に仮想オブジェクトをユーザに提示する仕組みにおいて、ユーザの違和感を低減することができる表示制御装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一側面に係る表示制御装置は、現実空間と共に仮想オブジェクトが表示される表示部の表示制御を行う表示制御装置である。表示制御装置は、表示部に表示される現実空間の空間構造の把握度に応じたモードを検出するモード検出部と、モード検出部により検出されるモードに応じて、表示部における仮想オブジェクトの表示態様を制御する制御部と、を備える。制御部は、モード検出部により検出されるモードが第１把握度に応じた第１モードから第２把握度に応じた第２モードに変化した場合に、表示部における仮想オブジェクトの表示態様を、第１モードに応じた第１表示態様から第２モードに応じた第２表示態様へと、第１表示態様と第２表示態様との間の一以上の中間表示態様を経由させて変化させる。

【0007】

本発明の一側面に係る表示制御装置においては、モード検出部により、表示部に表示される現実空間の空間構造の把握度に応じたモードが検出される。そして、制御部により、モードに応じた表示態様で仮想オブジェクトが表示部に表示される。より具体的には、第１モードから第２モードに変化した場合、制御部によって、仮想オブジェクトの表示態様は、第１モードに応じた表示態様（第１表示態様）から、一以上の中間表示態様を経由して、第２モードに応じた表示態様（第２表示態様）へと変化させられる。すなわち、モードが変化した場合に、制御部は、検出された最新のモード（第２モード）に応じた表示態様（第２表示態様）を仮想オブジェクトに直ちに反映させるのではなく、変化前のモード（第１モード）に応じた表示態様（第１表示態様）から変化後のモード（第２モード）に応じた表示態様（第２表示態様）へと段階的に変化させる。上記処理により、モードが変化した場合に、仮想オブジェクトの表示態様が急激に変化することを防止することができる。その結果、ユーザの違和感を低減することができる。

【発明の効果】

【0008】

本発明の一側面によれば、現実空間と共に仮想オブジェクトをユーザに提示する仕組みにおいて、ユーザの違和感を低減することができる表示制御装置を提供することができる。

【図面の簡単な説明】

【0009】

【図1】一実施形態に係る表示制御装置の機能構成の一例を示す図である。

【図2】表示制御装置によりユーザに提供されるコンテンツ画像の例を示す図である。

【図3】表示制御装置の動作の一例を示すフローチャートである。

【図4】図３のステップＳ５の処理の一例を模式的に示す図である。

【図5】表示制御装置のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して、本発明の一実施形態について詳細に説明する。なお、図面の説明において同一又は相当要素には同一符号を付し、重複する説明を省略する。

【0011】

図１は、一実施形態に係る表示制御装置１０の一例を示す図である。表示制御装置１０は、現実空間と共に仮想オブジェクト（仮想的なコンテンツ）が表示された画像（以下、「コンテンツ画像」という。）をユーザに提供することにより、ユーザに拡張現実（ＡＲ：Augmented Reality）又は複合現実（ＭＲ：Mixed Reality）の体験を提供するコンピュータシステムである。

【0012】

表示制御装置１０の形態は、特定の形態に限定されない。一例として、表示制御装置１０は、ユーザの頭部に装着されるウェアラブルデバイスであってもよい。このような表示制御装置１０の例としては、眼鏡型デバイス（例えば、いわゆるＡＲ／ＭＲグラス等のスマートグラス）、ゴーグル型デバイス、帽子型デバイス等が挙げられる。或いは、表示制御装置１０は、ユーザによって保持されるスマートフォン、タブレット等の携帯端末であってもよい。

【0013】

仮想オブジェクトは、実際には現実空間上に存在しない仮想的なコンテンツである。コンテンツとは、２次元又は３次元で表される任意の表示情報である。仮想オブジェクトは、現実世界に存在する物体（生物等）を模したオブジェクトであってもよいし、現実世界には存在しない架空の物体を模したオブジェクトであってもよい。また、仮想オブジェクトは、ユーザによって操作されることが可能に構成されてもよい。一例として、仮想オブジェクトは、シャボン玉を模したオブジェクトとして構成されてもよい。例えば、ユーザのハンドトラッキングジェスチャ、コントローラ操作等によって当該仮想オブジェクト（シャボン玉）にタッチする操作が実行されると、当該仮想オブジェクト（シャボン玉）が割れて、当該仮想オブジェクト内に予め格納されていた他のオブジェクトが展開表示されてもよい。

【0014】

図２を参照して、コンテンツ画像の例について説明する。図２の（Ａ）に示されるコンテンツ画像ＩＭａは、現実空間を表す実写画像上に猫を模した仮想オブジェクトＶＯを重畳させた画像である。一方、図２の（Ｂ）に示されるコンテンツ画像ＩＭｂは、仮想オブジェクトＶＯの一部（この例では、猫の身体の後ろ側の部分）が現実空間に存在する現実オブジェクト（この例では、ベッド）の後ろに隠れるように表現された画像である。

【0015】

コンテンツ画像ＩＭａは、仮想オブジェクトＶＯと現実オブジェクトとの位置関係（特に、前後方向（奥行き方向）の位置関係）を考慮することなく、実写画像上に仮想オブジェクトＶＯを単純に重ねた画像である。すなわち、コンテンツ画像ＩＭａは、オクルージョン処理を実行することなく、実写画像上に仮想オブジェクトＶＯを重畳表示させた画像（すなわち、ＡＲ的に表現された画像）である。一方、コンテンツ画像ＩＭｂは、仮想オブジェクトＶＯと現実オブジェクトとの位置関係を考慮して、オクルージョン処理を実行することにより、より融合度の高い態様で、仮想オブジェクトＶＯを実写画像上に表現した画像（すなわち、ＭＲ的に表現された画像）である。

【0016】

コンテンツ画像ＩＭｂのようにオクルージョン機能が適用された画像を生成するために仮想オブジェクトと現実オブジェクトとの位置関係を精度良く推定する手法としては、主に、画像認識型及び空間認識型の２つの手法が存在する。

【0017】

画像認識型は、表示制御装置１０のカメラ等（後述する外界情報取得部１４等）によって取得された現実空間の画像データに対する画像認識を実行し、画像認識結果に基づいて現実オブジェクトと仮想オブジェクトとの前後関係を推測する手法である。画像認識型によれば、事前に現実空間の情報（後述する空間認識型で必要となる空間データ）を取得しておく必要がないというメリットがある。一方で、画像認識の精度に限界があるため、複雑な構造を有する現実空間では、オクルージョン表示を高い精度で実行できないというデメリットがある。

【0018】

空間認識型は、自己位置認識（自己位置推定）及び空間構造認識（Depth推定）を実行し、これらの認識結果に基づいて現実オブジェクトと仮想オブジェクトとの前後関係を推測する手法である。

【0019】

自己位置認識は、現実空間において事前にセンサ（カメラ、レーザ等）によって収集された特徴点群データと、表示制御装置１０のカメラ等（後述する外界情報取得部１４等）によって抽出された特徴点に関する情報と、を照合（マッチング）することにより、自己位置（すなわち、表示部１２に表示される現実空間を規定する視点及び視線方向（方位））を認識する技術である。上述した自己位置認識は、例えば、ＩＭＵ（Inertial Measurement Unit）、ＳＬＡＭ（Simultaneous Localization And Mapping）等を用いることによって実現され得る。

【0020】

空間構造認識は、表示部１２に表示される現実空間を撮像した写真に対してＳＬＡＭ等のアルゴリズムを適用することにより得られる特徴点群を、事前に様々な場所で撮影された写真から同様のアルゴリズムで抽出してストックされた特徴点群のリファレンスマップと比較することで、上記現実空間の位置を特定し、当該位置に対応する空間構造データを取得することで、表示制御装置１０が向いている方向（すなわち、表示部１２に表示される現実空間を規定する視線方向）の空間構造を認識する技術である。ここで、空間構造データは、ＬｉＤＡＲ（Light Detection And Ranging）によるスキャン、Photogrammetry等によって事前に作成される。なお、表示制御装置１０の近傍３ｍ以内の情報については、上記の空間構造の認識は、上記の空間構造データに加えて、表示制御装置１０が備える深度センサ（ＴｏＦセンサ（ＬｉＤＡＲ）等）で深度をセンシングすることにより取得されたデータを併せて用いることによって行われてもよい。また、上記の空間構造認識は、クラウド（すなわち、表示制御装置１０と通信可能に接続されたサーバ群）によって実行されてもよいし、表示制御装置１０においてローカルで実行されてもよい。

【0021】

空間認識型によれば、画像認識型よりも高い精度でオクルージョン表示を実行できる。一方で、上述した自己位置認識及び空間構造認識を行うためには、表示部１２に表示される現実空間の場所（エリア）に関する空間データ（特徴点群データ及び空間構造データ）が必要となる。上記の空間データが整備されている場所（すなわち、空間データが事前に取得されている場所）の例としては、例えば、渋谷スクランブル交差点のような公共空間、ショッピングモール内等の半公共空間等が挙げられる。しかし、現実空間における全ての場所について空間データが事前に取得されているとは限らない。すなわち、空間データが整備されていない場所も存在する。また、表示部１２に空間データが取得されていない場所が表示されている場合に、当該場所の空間データをリアルタイムに取得（スキャン）することは、計算量（計算時間）及び必要とされるマシンパワーの観点から現実的ではない。

【0022】

以上を踏まえて、表示制御装置１０は、表示部１２に表示される現実空間の場所の空間データが取得済みである場合には、上述した空間認識型の処理を実行することによって仮想オブジェクトと現実オブジェクトとの位置関係を推定し、推定結果に基づいて、例えば図２の（Ｂ）に示されるコンテンツ画像ＩＭｂのようにオクルージョン機能が適用されたコンテンツ画像（ＭＲ的に表現された画像）を生成するように構成されている。一方、表示制御装置１０は、表示部１２に表示される現実空間の場所の空間データが未取得である場合には、例えば図２の（Ａ）に示されるコンテンツ画像ＩＭａのようにオクルージョン機能が適用されないコンテンツ画像（ＡＲ的に表現された画像）を生成するように構成されている。

【0023】

一方、このような構成においては、空間データが未取得の場所から空間データが取得済みの場所にユーザ（表示制御装置１０）が移動した場合、オクルージョン機能が適用されないコンテンツ画像（例えば、図２の（Ａ）のコンテンツ画像ＩＭａのように、単に仮想オブジェクトＶＯが実写画像上に重畳表示された画像）が、オクルージョン機能が適用されたコンテンツ画像（例えば、図２の（Ｂ）のコンテンツ画像ＩＭｂのように、現実オブジェクトと仮想オブジェクトＶＯとの位置関係が考慮され、仮想オブジェクトＶＯの一部又は全部が現実オブジェクトに隠されるように表現された画像）に急激に変化するおそれがある。その結果、表示制御装置１０のユーザに違和感を与えるおそれがある。

【0024】

そこで、表示制御装置１０は、上記のような違和感を低減するための表示制御を実行するように構成されている。以下では、主に上記の表示制御を実現するために表示制御装置１０が備える各機能について詳細に説明する。

【0025】

図１に示されるように、表示制御装置１０は、記憶部１１と、表示部１２と、場所情報取得部１３と、外界情報取得部１４と、モード検出部１５と、制御部１６と、を備える。

【0026】

記憶部１１は、上述した特徴点群データ及び空間構造データを含む空間データを記憶する非一時的な記憶媒体又は記憶装置である。空間データ（特徴点群データ及び空間構造データ）は、例えば、場所（例えば、緯度及び経度の範囲等によって特定されるエリア）毎に、記憶部１１に記憶されている。空間データは、例えば、空間データを提供するサービス提供者が管理するサーバ装置等から通信ネットワーク（例えば、インターネット等の任意のネットワーク）を介してダウンロードされて、記憶部１１に格納される。

【0027】

表示部１２は、コンテンツ画像が表示されるディスプレイである。表示制御装置１０がユーザの頭部に装着されるウェアラブルデバイスである場合、表示部１２は、ユーザの両目の前方に配置されるディスプレイである。表示部１２は、例えば、液晶表示素子、有機ＥＬ（Electro Luminescence）素子等によって構成される。表示部１２は、ユーザの右目の前方に配置される右目用の表示パネルと、ユーザの左目の前方に配置される左目用の表示パネルと、を別々に有してもよい。表示制御装置１０が、スマートフォン、タブレット等の携帯端末である場合、表示部１２は、タッチパネルディスプレイによって構成される。

【0028】

表示部１２は、光学シースルー型（透過型）のディスプレイによって構成されてもよいし、ビデオシースルー型のディスプレイによって構成されてもよい。前者の場合、表示部１２には、光学的に透過した現実空間の透過像が表示される。後者の場合、表示部１２には、外界情報取得部１４（カメラ）によりリアルタイムに取得（撮像）された画像（映像）が表示される。

【0029】

場所情報取得部１３は、表示部１２に表示される現実空間の場所を示す場所情報を取得する。例えば、場所情報取得部１３は、表示制御装置１０が備えるＧＰＳ等の測位機能を用いることにより、表示制御装置１０の位置（緯度及び経度）を示す位置情報を取得してもよい。また、表示制御装置１０が無線アクセスポイントから無線電波を受信している場合、場所情報取得部１３は、無線アクセスポイントを一意に特定するための識別子（例えば、Ｗｉ－Ｆｉ（登録商標）のＳＳＩＤ等）を無線電波から抽出し、抽出された識別子に対応する位置（すなわち、無線アクセスポイントの位置）を示す位置情報を取得してもよい。また、場所情報取得部１３は、外界情報取得部１４により取得された現実空間の画像の画像認識を行い、予め位置情報が関連付けられた特定物体（例えば、特定の建物、標識、銅像、モニュメント等）が認識された場合、当該特定物体に関連付けられた位置情報を取得してもよい。場所情報取得部１３は、例えば、予め用意された位置情報と場所とを関連付けたテーブル情報等を参照することにより、上記のようにして取得された位置情報に対応する場所を特定することができる。

【0030】

外界情報取得部１４は、現実空間の画像を取得する。外界情報取得部１４は、例えば、カメラにより構成され得る。外界情報取得部１４（カメラ）の位置及び向きは、ユーザが透過型のディスプレイ（表示部１２）を介して視認可能な現実空間を映すように設定されている。また、外界情報取得部１４は、上記画像に写っている各物体までの距離を測定する深度センサを含み得る。ただし、表示制御装置１０が備える外界情報取得部１４（深度センサ）の精度には限界があり、上述した空間認識型の手法よりも精度が低い。

【0031】

外界情報取得部１４により取得される現実空間の画像（以下「第１現実画像」という。）は、表示部１２に表示される現実空間の画像（以下「第２現実画像」という。）に対応する。表示部１２がビデオシースルー型のディスプレイによって構成される場合には、外界情報取得部１４により取得される第１現実画像が表示部１２に表示されるため、第１現実画像と第２現実画像とは一致する。表示部１２が光学シースルー型のディスプレイによって構成される場合には、外界情報取得部１４により取得される第１現実画像が表示部１２に表示されるわけではないため、第１現実画像と第２現実画像とは完全には一致しないが、第１現実画像は第２現実画像と同様の内容を示す。したがって、後述する制御部１６は、外界情報取得部１４により取得された第１現実画像を参照することにより、表示部１２の表示内容（例えば、表示部１２上のどの表示位置にどの現実オブジェクトが表示されているか）を把握することができる。制御部１６は、このように把握された情報に基づいて、仮想オブジェクトと重なる現実オブジェクトを特定することができる。

【0032】

モード検出部１５は、表示部１２に表示される現実空間の空間構造の把握度に応じたモードを継続的に検出する。本実施形態では、一例として、現実空間の空間構造の把握度は、第１把握度及び第２把握度を含む。すなわち、本実施形態では、モードは、第１把握度に対応する第１モードと第２把握度に対応する第２モードとを含む。

【0033】

一例として、第１把握度は、表示部１２に表示される現実空間に含まれる現実オブジェクトと仮想オブジェクトとの位置関係を一定の精度以上で特定することができない状態に対応する。一方、第２把握度は、表示部１２に表示される現実空間に含まれる現実オブジェクトと仮想オブジェクトとの位置関係を一定の精度以上で特定することができる状態に対応する。本実施形態では、「一定の精度」は、上述した空間認識型の手法を実行することにより得られる精度である。ただし、「一定の精度」は、必ずしも上記の基準によって定まるものに限られず、サービス提供者又はユーザによって任意に設定され得る。

【0034】

第１把握度は、空間認識型の手法を実行することができない状態に対応する。言い換えれば、第１把握度は、表示部１２に表示される現実空間の場所に対応する空間データを利用できない状態（すなわち、空間データが記憶部１１に記憶されていない状態）に対応しており、相対的に低い把握度に対応する。第１把握度に応じた第１モードは、空間認識型の手法に基づくオクルージョン機能を仮想オブジェクトに適用することができないモードである。

【0035】

第２把握度は、空間認識型の手法を実行することができる状態に対応する。言い換えれば、第２把握度は、表示部１２に表示される現実空間の場所に対応する空間データを利用できる状態（すなわち、空間データが記憶部１１に記憶されている状態）に対応しており、相対的に高い把握度に対応する。第２把握度に応じた第２モードは、上述した空間認識型の手法に基づくオクルージョン機能を仮想オブジェクトに適用することができるモードである。

【0036】

例えば、モード検出部１５は、以下のようにしてモードを検出（特定）することができる。まず、モード検出部１５は、場所情報取得部１３により取得された場所情報を取得する。続いて、モード検出部１５は、当該場所情報に示される場所の空間データ（すなわち、空間認識型の手法を実行するために必要な特徴点群データ及び空間構造データ）が記憶部１１に記憶されているか否かを判定する。すなわち、モード検出部１５は、場所情報取得部１３により取得された場所情報に示される場所の空間データが利用可能か否かを判定する。そして、モード検出部１５は、空間データを利用できない場合（すなわち、上記場所の空間データが記憶部１１に記憶されていない場合）、第１モードを検出する。一方、モード検出部１５は、空間データを利用できる場合（すなわち、上記場所の空間データが記憶部１１に記憶されている場合）、第２モードを検出する。

【0037】

制御部１６は、モード検出部１５により検出されるモード（本実施形態では、第１モード又は第２モード）に応じて、表示部１２における仮想オブジェクトの表示態様を制御する。制御部１６は、例えば、予め定められた仮想オブジェクトの配置ルール（例えば、ユーザに対する仮想オブジェクトの位置（すなわち、ユーザと仮想オブジェクトとの距離等））、動作パターン（例えば、ユーザの前方の空間を浮遊するパターン等）等に基づいて、表示部１２に表示されるコンテンツ画像上における仮想オブジェクトの表示位置を決定する。また、制御部１６は、モード検出部１５により検出されるモードに応じて、仮想オブジェクトの表示態様を決定する。

【0038】

制御部１６は、モード検出部１５により検出されるモードが第１モードから第２モードに変化した場合に、表示部１２における仮想オブジェクトの表示態様を、第１モードに応じた１表示態様から第２モードに応じた第２表示態様へと、第１表示態様と第２表示態様との間の一以上の中間表示態様を経由させて変化させる。制御部１６の処理の具体例については後述する。

【0039】

次に、図３を参照して、表示制御装置１０の動作の一例（一実施形態に係る表示制御方法を含む）について説明する。

【0040】

ステップＳ１において、場所情報取得部１３は、表示部１２（すなわち、コンテンツ画像）に表示される現実空間の場所を示す場所情報を取得する。

【0041】

ステップＳ２において、モード検出部１５は、表示部１２に表示される現実空間の把握度に応じたモードを検出する。本実施形態では、モード検出部１５は、場所情報取得部１３により取得された場所情報に示される場所の空間データが記憶部１１に記憶されているか否かに基づいて、モードを検出（特定）する。より具体的には、モード検出部１５は、上記場所の空間データが記憶部１１に記憶されていない場合、第１モードを検出する。一方、モード検出部１５は、上記場所の空間データが記憶部１１に記憶されている場合、第２モードを検出する。

【0042】

ステップＳ３において、制御部１６は、モード検出部１５により検出されたモードが第１モードであるか否かを判定する。検出されたモードが第１モードである場合（ステップＳ３：ＹＥＳ）、制御部１６は、ステップＳ４の処理を実行する。一方、検出されたモードが第２モードである場合（ステップＳ３：ＮＯ）、制御部１６は、ステップＳ５の処理を実行する。

【0043】

ステップＳ４において、制御部１６は、仮想オブジェクトを第１モードに応じた第１表示態様で表示する。

【0044】

本実施形態では、第１表示態様は、仮想オブジェクトと現実オブジェクトとの本来の位置関係にかかわらず、仮想オブジェクトが現実オブジェクトよりも前方（手前側）に表示される表示態様を含む。すなわち、第１表示態様は、図２の（Ａ）に示したコンテンツ画像ＩＭａのように、オクルージョン機能が適用されない表示態様を含む。また、第１表示態様は、第２モードに応じた第２表示態様におけるサイズ（第２サイズ）よりも小さいサイズ（第１サイズ）で仮想オブジェクトが表示される表示態様を含む。一例として、第２サイズは、仮想オブジェクトに対して予め設定された標準サイズであり、第１サイズは、標準サイズよりも小さいサイズ（仮想オブジェクトを縮小表示する際に適用されるサイズ）である。

【0045】

ステップＳ４において、まず、制御部１６は、予め定められた仮想オブジェクトの配置ルール、動作パターン等に基づいて、コンテンツ画像上において仮想オブジェクトが配置される位置を決定する。続いて、制御部１６は、仮想オブジェクトを第１表示態様で表示する。図４のコンテンツ画像ＩＭ０における仮想オブジェクトＶＯは、第１表示態様で表示された仮想オブジェクトの例を示す。この例では、仮想オブジェクトＶＯの一部は、コンテンツ画像ＩＭ０に含まれる現実オブジェクトＲＯと重なっている。ここで、上述した配置ルール及び動作パターン等に基づいて決定された仮想オブジェクトＶＯの奥行方向の位置は、実際には、現実オブジェクトＲＯよりも後方（奥側）に位置するものとする。しかし、第１モードでは、空間データを利用することができず、高精度にオクルージョン処理を実行することができない。そこで、制御部１６は、仮想オブジェクトＶＯを第１表示態様で表示する。すなわち、制御部１６は、仮想オブジェクトＶＯを予め設定された本来の体積「Ｖ」よりも小さい体積「ｋＶ（０＜ｋ＜１）」（第１サイズ）で表示する。また、制御部１６は、仮想オブジェクトＶＯと現実オブジェクトＲＯとの本来の位置関係にかかわらず、仮想オブジェクトＶＯを現実オブジェクトＲＯよりも前方（手前側）に表示する。

【0046】

ステップＳ４の処理が実行されることにより、現実空間と共に第１表示態様で表示された仮想オブジェクトＶＯを含むコンテンツ画像ＩＭ０が表示部１２に表示される。ユーザは、表示部１２に表示されたコンテンツ画像ＩＭ０を視認することにより、ＡＲ（拡張現実）を体験することができる。

【0047】

ステップＳ４の処理の実行後、上述したステップＳ１～Ｓ３の処理が継続的に（例えば、予め定められた期間毎に定期的に）実行される。例えば、ユーザが表示制御装置１０と共に移動し、対応する空間データが存在する場所（例えば、上述した公共空間、半公共空間等）に進入した場合、ステップＳ２において、モード検出部１５によって第２モードが検出される。或いは、ユーザが移動しない場合であっても、表示部１２に表示される現実空間の場所の空間スキャンが完了し、当該場所の空間データが取得された場合には、その後に実行されるステップＳ２において、モード検出部１５によって第２モードが検出され得る。このような場合、ステップＳ３の判定結果は「ＮＯ」となるため、ステップＳ５の処理が実行される。

【0048】

ステップＳ５において、制御部１６は、仮想オブジェクトＶＯを直ちに第２モードに応じた第２表示態様で表示するのではなく、仮想オブジェクトＶＯの表示態様を第１モードに応じた第１表示態様から第２モードに応じた第２表示態様へと、一以上の中間表示態様を経由して段階的に（連続的に）変化させる。

【0049】

本実施形態では、第２表示態様は、仮想オブジェクトＶＯのうち現実オブジェクトＲＯに隠される部分が透明表示される表示態様を含む。すなわち、第２表示態様は、図２の（Ｂ）に示したコンテンツ画像ＩＭｂのように、オクルージョン機能が適用された表示態様を含む。制御部１６は、外界情報取得部１４により取得された情報（本実施形態では、カメラにより取得された現実空間の画像データ、及び、深度センサにより抽出された深度情報）と、記憶部１１に記憶された空間データ（特徴点群データ及び空間構造データ）と、に基づいて、上記のようにオクルージョン機能が適用された表示態様で仮想オブジェクトＶＯを表示することができる。すなわち、制御部１６は、空間データを用いることにより、現実オブジェクトＲＯと仮想オブジェクトＶＯとの位置関係を特定し、特定された位置関係に基づいて、オクルージョン処理（すなわち、仮想オブジェクトＶＯのうち現実オブジェクトＲＯに隠される部分を透明表示（非表示）にする処理）を実行することができる。また、第２表示態様は、第１表示態様におけるサイズ（第１サイズ）よりも大きいサイズ（第２サイズ）で仮想オブジェクトＶＯが表示される表示態様を含む。

【0050】

図４を参照して、ステップＳ５の処理の具体例を説明する。一例として、制御部１６は、モード検出部１５により検出されるモードが第１モードから第２モードに変化した時点を起点（ｔ＝０）として予め定められた遷移期間Ｔが経過した時点（ｔ＝Ｔ）に仮想オブジェクトＶＯの表示態様が第２表示態様となるように、仮想オブジェクトＶＯの表示態様を第１表示態様から第２表示態様へと徐々に変化させる。なお、例えば表示制御装置１０を起動した直後に最初に検出されたモードが第２モードである場合には、制御部１６は、第２モードが最初に検出された時点を起点（ｔ＝０）として、以下の処理を実行すればよい。なお、以下の説明において、ある時点ｔにおいてコンテンツ画像上に表示される仮想オブジェクトＶＯに適用するサイズを「Ｖ（ｔ）」と表し、ある時点ｔにおいて仮想オブジェクトＶＯのうち現実オブジェクトＲＯに隠される部分に適用する透明度を「ａｌｐｈａ（ｔ）」と表す。透明度「０」は全く透けていない状態を示し、透明度「１００」は完全な透明状態を示す。

【0051】

起点（ｔ＝０）において、制御部１６は、ステップＳ４の処理と同様に、仮想オブジェクトＶＯを第１表示態様で表示する。すなわち、制御部１６は、仮想オブジェクトＶＯのサイズ（体積）を「Ｖ（０）＝ｋＶ」に設定する。また、制御部１６は、仮想オブジェクトＶＯのうち現実オブジェクトＲＯに隠される部分（すなわち、仮想オブジェクトＶＯのうち現実オブジェクトＲＯと重なる部分）の透明度を「ａｌｐｈａ（０）＝０」に設定する。その結果、表示部１２には、図４に示されるコンテンツ画像ＩＭ０が表示される。

【0052】

続いて、起点から所定期間ｔ１（ｔ１＜Ｔ）が経過した時点（ｔ＝ｔ１）において、制御部１６は、仮想オブジェクトＶＯを第１表示態様と第２表示態様との間の中間表示態様（第１の中間表示態様）で表示する。一例として、制御部１６は、仮想オブジェクトＶＯのサイズ（体積）を、「ｋＶ」より大きく「Ｖ」より小さい値「Ｖ（ｔ１）」に設定する。すなわち、「ｋＶ＜Ｖ（ｔ１）＜Ｖ」が成立する。また、制御部１６は、仮想オブジェクトＶＯのうち現実オブジェクトＲＯに隠される部分（すなわち、仮想オブジェクトＶＯのうち現実オブジェクトＲＯと重なる部分）の透明度を「０」より大きく「１００」より小さい値「ａｌｐｈａ（ｔ１）」に設定する。すなわち、制御部１６は、「０＜ａｌｐｈａ（ｔ１）＜１００」が成立するように、仮想オブジェクトＶＯのうち現実オブジェクトＲＯに隠される部分を半透明に表示する。その結果、表示部１２には、図４に示されるコンテンツ画像ＩＭ１が表示される。

【0053】

続いて、起点から所定期間ｔ２（ｔ１＜ｔ２＜Ｔ）が経過した時点（ｔ＝ｔ２）において、制御部１６は、仮想オブジェクトＶＯを第１表示態様と第２表示態様との間の中間表示態様（第２の中間表示態様）で表示する。一例として、制御部１６は、仮想オブジェクトＶＯのサイズ（体積）を、「Ｖ（ｔ１）」より大きく「Ｖ」より小さい値「Ｖ（ｔ２）」に設定する。すなわち、「Ｖ（ｔ１）＜Ｖ（ｔ２）＜Ｖ」が成立する。また、制御部１６は、仮想オブジェクトＶＯのうち現実オブジェクトＲＯに隠される部分（すなわち、仮想オブジェクトＶＯのうち現実オブジェクトＲＯと重なる部分）の透明度を「ａｌｐｈａ（ｔ１）」より大きく「１００」より小さい値「ａｌｐｈａ（ｔ２）」に設定する。すなわち、制御部１６は、「ａｌｐｈａ（ｔ１）＜ａｌｐｈａ（ｔ２）＜１００」が成立するように、仮想オブジェクトＶＯのうち現実オブジェクトＲＯに隠される部分を半透明に表示する。その結果、表示部１２には、図４に示されるコンテンツ画像ＩＭ２が表示される。

【0054】

続いて、起点から遷移期間Ｔが経過した時点（ｔ＝Ｔ）において、制御部１６は、仮想オブジェクトＶＯを第２表示態様で表示する。すなわち、制御部１６は、仮想オブジェクトＶＯのサイズ（体積）を、「Ｖ」（第２サイズ）に設定する。また、制御部１６は、仮想オブジェクトＶＯのうち現実オブジェクトＲＯに隠される部分（すなわち、仮想オブジェクトＶＯのうち現実オブジェクトＲＯと重なる部分）の透明度を「１００」に設定する。すなわち、制御部１６は、仮想オブジェクトＶＯのうち現実オブジェクトＲＯに隠される部分を完全に見えなくする。その結果、表示部１２には、図４に示されるコンテンツ画像ＩＭ３が表示される。

【0055】

なお、上記例では、２つの中間表示態様（ｔ＝ｔ１，ｔ２）を例示したが、中間表示態様は１つでもよい。或いは、仮想オブジェクトＶＯを第１表示態様から第２表示態様へとより滑らかに変化させるために、３つ以上の中間表示態様が設定されてもよい。

【0056】

以上述べた表示制御装置１０においては、モード検出部１５により、表示部１２に表示される現実空間の空間構造の把握度に応じたモードが検出される。そして、制御部１６により、モードに応じた表示態様で仮想オブジェクトＶＯが表示部１２に表示される。より具体的には、第１モードから第２モードに変化した場合、制御部１６によって、仮想オブジェクトＶＯの表示態様は、第１モードに応じた第１表示態様（例えば、図４のコンテンツ画像ＩＭ０）から、一以上の中間表示態様（例えば、図４のコンテンツ画像ＩＭ１，ＩＭ２）を経由して、第２モードに応じた第２表示態様（例えば、図４のコンテンツ画像ＩＭ３）へと変化させられる。すなわち、モードが変化した場合に、制御部１６は、検出された最新のモード（第２モード）に応じた表示態様（第２表示態様）を仮想オブジェクトＶＯに直ちに反映させるのではなく、変化前のモード（第１モード）に応じた表示態様（第１表示態様）から変化後のモード（第２モード）に応じた表示態様（第２表示態様）へと段階的に変化させる。上記処理により、モードが変化した場合に、仮想オブジェクトＶＯの表示態様が急激に変化することを防止することができる。その結果、ユーザの違和感を低減することができる。

【0057】

また、制御部１６は、モード検出部１５により検出されるモードが第１モードから第２モードに変化した時点を起点ｔ０として予め定められた遷移期間Ｔが経過した時点に仮想オブジェクトＶＯの表示態様が第２表示態様となるように、仮想オブジェクトＶＯの表示態様を第１表示態様から第２表示態様へと徐々に変化させてもよい。この構成によれば、予め定められた遷移期間Ｔをかけて徐々に仮想オブジェクトＶＯの表示態様を変化させることができるため、ユーザに違和感を与えることなく、仮想オブジェクトＶＯの表示態様を変化させることができる。

【0058】

また、第１表示態様は、仮想オブジェクトＶＯと現実オブジェクトＲＯとの本来の位置関係にかかわらず、仮想オブジェクトＶＯが現実オブジェクトＲＯよりも前方に表示される表示態様（すなわち、オクルージョン機能が適用されない表示態様）を含んでもよく、第２表示態様は、仮想オブジェクトＶＯのうち現実オブジェクトＲＯに隠される部分が透明表示される表示態様（すなわち、オクルージョン機能が適用される表示態様）を含んでもよく、一以上の中間表示態様は、仮想オブジェクトＶＯのうち現実オブジェクトＲＯに隠される部分が半透明に表示される表示態様（例えば、図４のコンテンツ画像ＩＭ１，ＩＭ２）を含んでもよい。この構成によれば、仮想オブジェクトＶＯのうち現実オブジェクトＲＯに隠される部分を直ちに透明表示（非表示）にすることなく、徐々に透明度を上げていくことにより、ユーザに違和感を与えることなく、仮想オブジェクトＶＯの表示態様を変化させることができる。

【0059】

また、モード検出部１５は、場所情報取得部１３により取得された場所情報に示される場所の空間構造に関する空間データが利用可能か否かを判定し、空間データを利用できない場合に第１モードを検出し、空間データを利用できる場合に第２モードを検出してもよい。また、制御部１６は、仮想オブジェクトＶＯを第２表示態様で表示させる際に、上記空間データに基づいて、仮想オブジェクトＶＯのうち現実オブジェクトＲＯに隠される部分を特定してもよい。この構成によれば、仮想オブジェクトＶＯのうち現実オブジェクトＲＯに隠される部分を特定するための空間データの利用可否に基づいて、容易且つ確実にモードの検出処理を実行することができる。

【0060】

また、第１表示態様は、仮想オブジェクトＶＯが第１サイズで表示される表示態様を含んでもよく、第２表示態様は、仮想オブジェクトＶＯが第１サイズとは異なる第２サイズで表示される表示態様を含んでもよく、一以上の中間表示態様は、仮想オブジェクトＶＯが第１サイズと第２サイズとの間の大きさで表示される表示態様を含んでもよい。この構成によれば、モードが変化した際に、仮想オブジェクトＶＯのサイズを急激に変化させずに段階的に変化させることにより、ユーザに与える違和感を低減することができる。また、第２サイズは第１サイズよりも大きくてもよい。この場合、オクルージョン機能が適用されない第１表示態様において、仮想オブジェクトＶＯの表示サイズを相対的に小さくすることで、ユーザに与える違和感を低減することができる。すなわち、本来現実オブジェクトＲＯに隠されるべき（すなわち、現実オブジェクトＲＯの後方に位置するべき）仮想オブジェクトＶＯの部分が、現実オブジェクトＲＯよりも前方に大きく表示されることを防止することにより、ユーザの違和感を効果的に低減できる。

【0061】

（変形例）
なお、第１表示態様及び第２表示態様のバリエーションは、上記実施形態に限られない。例えば、第１表示態様は、仮想オブジェクトＶＯが第１色調（例えば、モノクロ表示等）で表示される表示態様を含んでもよく、第２表示態様は、仮想オブジェクトＶＯが第１色調とは異なる第２色調（例えば、カラー表示等）で表示される表示態様を含んでもよく、一以上の中間表示態様は、仮想オブジェクトＶＯが第１色調と第２色調との間の第３色調で表示される表示態様を含んでもよい。この場合、モードが変化した際に、仮想オブジェクトＶＯの色調を急激に変化させずに段階的に変化させることにより、ユーザに与える違和感を低減することができる。また、一例として、第１色調は、第２色調よりも目立たない色調によって表現されてもよい。この場合、オクルージョン機能を適用して仮想オブジェクトＶＯを表示できない状態（すなわち、第１表示態様）において、仮想オブジェクトＶＯを目立ち難くすることによってユーザの違和感を効果的に低減できる。

【0062】

また、第１表示態様は、仮想オブジェクトＶＯが第１形状で表示される表示態様を含んでもよく、第２表示態様は、仮想オブジェクトＶＯが第１形状とは異なる第２形状で表示される表示態様を含んでもよく、一以上の中間表示態様は、仮想オブジェクトＶＯが第１形状と第２形状との間の第３形状で表示される表示態様を含んでもよい。例えば、第１形状は、仮想オブジェクトＶＯの本来の形状とは異なる形状（例えば、球状等の単純な形状にデフォルメされた形状）であり、第２形状は、仮想オブジェクトＶＯの本来の形状（すなわち、仮想オブジェクトＶＯに対して予め設定された形状）である。この場合、モードが変化した際に、仮想オブジェクトＶＯの形状を急激に変化させずに段階的に変化させることにより、ユーザに与える違和感を低減することができる。また、上記例のように、オクルージョン機能を適用して仮想オブジェクトＶＯを表示できない状態（すなわち、第１表示態様）において、仮想オブジェクトＶＯを本来の形状とは異なる形状（第１形状）で表示することにより、仮想オブジェクトＶＯに対してオクルージョン機能が適用されていないことをユーザに容易に把握させることができる。その結果、当該仮想オブジェクトＶＯが現実オブジェクトＲＯよりも前方に表示されていることに対してユーザが違和感を持つことを効果的に抑制できる。

【0063】

また、上記実施形態では、空間構造の把握度が相対的に低い方を第１把握度とし、空間構造の把握度が相対的に高い方を第２把握度としたが、空間構造の把握度が相対的に高い方を第１把握度とし、空間構造の把握度が相対的に低い方を第２把握度としてもよい。すなわち、上記実施形態において、空間構造の把握度が相対的に高い第２モードから空間構造の把握度が相対的に低い第１モードに変化する際において、仮想オブジェクトの表示態様を第２表示態様から一以上の中間表示態様を経由させて第１表示態様へと変化させてもよい。すなわち、図４の例において、モード検出部１５により検出されるモードが第２モードから第１モードに変化した場合に、制御部１６は、仮想オブジェクトＶＯの表示態様を第２表示態様（コンテンツ画像ＩＭ３）から、中間表示態様（コンテンツ画像ＩＭ２，ＩＭ１）を経由させて、第１表示態様（コンテンツ画像ＩＭ０）に変化させてもよい。この場合にも、仮想オブジェクトの表示態様が急激に変化することを防ぐことができるため、ユーザに与える違和感を低減できる。

【0064】

また、制御部１６は、モードの遷移方向にかかわらずに、空間構造の把握度に応じたモードが変化する際に、仮想オブジェクトＶＯの表示態様を滑らかに変化させてもよい。例えば、上記実施形態において、制御部１６は、第１モードから第２モードに変化した際には、仮想オブジェクトＶＯの表示態様を第１表示態様から一以上の中間表示態様を経由させて第２表示態様に変化させ、第２モードから第１モードに変化した際には、仮想オブジェクトＶＯの表示態様を第２表示態様から一以上の中間表示態様を経由させて第１表示態様に変化させてもよい。この場合、空間構造の把握度に応じたモード間で、仮想オブジェクトＶＯの表示態様を滑らかに遷移させることができ、ユーザの違和感を効果的に低減できる。

【0065】

また、上記実施形態では、空間構造の把握度に応じたモードは、第１モードと第２モードの２つのみであったが、３つ以上の複数のモードが用いられてもよい。この場合、制御部１６は、モード検出部１５により検出されるモードが上記複数のモードのうちの一のモード（上記実施形態における第１モードに対応）から他のモード（上記実施形態における第２モードに対応）に変化した際に、仮想オブジェクトＶＯの表示態様を当該一のモードに対応する表示態様（上記実施形態における第１表示態様に対応）から一以上の中間表示態様を経由させて当該他のモードに対応する表示態様（上記実施形態における第２表示態様に対応）に変化させてもよい。

【0066】

また、制御部１６は、上述した空間認識型（自己位置認識及び空間構造認識）の手法を、オクルージョン処理以外の物理的な表現を行うために用いてもよい。このような物理的な表現のいくつかの具体例を以下に示す。
・仮想オブジェクトであるボールを現実空間の床の上に転がす。
・仮想オブジェクトであるロボットに現実空間の床の上を歩行させる。
・仮想オブジェクトであるボールを現実空間の壁で跳ね返らせる。
・仮想オブジェクトを現実オブジェクトと衝突させる（例えば、衝突時に仮想オブジェクトを変形させたり消滅させたりする）。
・現実オブジェクトを避けるように仮想オブジェクトを動かす。

【0067】

また、上記実施形態では、ユーザによって利用されるウェアラブル端末、携帯端末（例えば、スマートフォン、タブレット等）等のユーザ端末が表示制御装置１０として機能したが、図１に示した表示制御装置１０の表示部１２以外の機能要素の一部又は全部は、表示部１２を備えるユーザ端末とは別の装置（例えば、ユーザ端末と通信可能に構成されたサーバ等）に実装されてもよい。なお、外界情報取得部１４がユーザ端末とは別のサーバに実装される場合、外界情報取得部１４は、ユーザ端末が備えるカメラ、深度センサ等により取得された情報を、ユーザ端末から受信することによって取得すればよい。例えば、上述した表示制御装置１０の表示部１２以外の機能要素の全部がサーバに実装される場合、当該サーバが、現実空間と共に仮想オブジェクトが表示される表示部１２（すなわち、ユーザ端末が備える表示部）の表示制御を行う表示制御装置として機能し得る。また、例えば、上述した表示制御装置１０の表示部１２以外の機能要素の一部がサーバに実装される場合、ユーザ端末及びサーバを含むシステムが、現実空間と共に仮想オブジェクトが表示される表示部１２の表示制御を行う表示制御装置として機能し得る。

【0068】

なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

【0069】

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。

【0070】

例えば、本開示の一実施の形態における表示制御装置１０は、本開示の表示制御方法を行うコンピュータとして機能してもよい。図５は、本開示の一実施の形態に係る表示制御装置１０に共通のハードウェア構成の一例を示す図である。表示制御装置１０の各々は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

【0071】

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。表示制御装置１０のハードウェア構成は、図５に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0072】

表示制御装置１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

【0073】

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。

【0074】

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、表示制御装置１０の各機能部（例えば、制御部１６等）は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

【0075】

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る表示制御方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0076】

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

【0077】

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

【0078】

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0079】

また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

【0080】

また、表示制御装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

【0081】

以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。

【0082】

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0083】

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0084】

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0085】

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

【0086】

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0087】

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

【0088】

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

【0089】

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。

【0090】

上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。様々な情報要素は、あらゆる好適な名称によって識別できるので、これらの様々な情報要素に割り当てている様々な名称は、いかなる点においても限定的な名称ではない。

【0091】

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0092】

本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

【0093】

本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

【0094】

本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

【0095】

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

【符号の説明】

【0096】

１０…表示制御装置、１１…記憶部、１２…表示部、１３…場所情報取得部、１４…外界情報取得部、１５…モード検出部、１６…制御部、ＩＭａ，ＩＭｂ，ＩＭ０，ＩＭ１，ＩＭ２，ＩＭ３…コンテンツ画像、ＲＯ…現実オブジェクト、ＶＯ…仮想オブジェクト。

【図1】

【図2】

【図3】

【図4】

【図5】