特許 6892961 制御装置、表示制御方法及び表示制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6892961

(24)【登録日】2021年6月1日

(45)【発行日】2021年6月23日

(54)【発明の名称】制御装置、表示制御方法及び表示制御プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20210614BHJP

   H04N 5/66 20060101ALI20210614BHJP

   H04N 9/12 20060101ALI20210614BHJP

【ＦＩ】

   G06T19/00 600

   H04N5/66 A

   H04N9/12 Z

【請求項の数】9

【全頁数】13

(21)【出願番号】特願2020-163267(P2020-163267)

(22)【出願日】2020年9月29日

【審査請求日】2020年9月29日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】福井 啓允

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２０１４−２２５７２７（ＪＰ，Ａ）

【文献】 国際公開第２０１６／２０３７９２（ＷＯ，Ａ１）

【文献】 国際公開第２０１８／０３７６４５（ＷＯ，Ａ１）

【文献】 特開２０１８−１４１８２４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ５／６６

Ｈ０４Ｎ ９／１２

Ｈ０４Ｎ １３／００

Ｇ０９Ｇ ５／００

Ｇ０６Ｆ ３／００

(57)【特許請求の範囲】

【請求項1】

ユーザの頭部に装着されるディスプレイ装置の表示部に表示される仮想オブジェクトの表示を制御する制御装置であって、
前記仮想オブジェクトに関連付けられた実空間の座標系における位置を示すスクリーン位置情報に対応する前記表示部内の位置への前記仮想オブジェクトの表示を制御する表示制御部と、
前記表示部の中心から前記スクリーン位置情報に対応する前記実空間の座標系における位置に向かうベクトルと、前記表示部の中心から正面方向に向かうベクトルとのなす角度が所定の角度以下である場合に、前記ユーザが前記仮想オブジェクトを注視していると判定する注視検出部と、
前記ユーザが前記表示部を介して視認可能な風景の状態を特定する特定部と、
前記特定部が特定した前記風景の状態に基づいて、前記ユーザによる前記仮想オブジェクトの視認が困難な状況か否かを判定する判定部と、
を有し、
前記表示制御部は、前記ユーザが前記仮想オブジェクトを注視していると前記注視検出部が判定している場合において、前記仮想オブジェクトの視認が困難な状況であると前記判定部が判定すると、前記仮想オブジェクトの視認性を高める制御を行う、
制御装置。

【請求項2】

前記注視検出部は、前記表示部の中心から前記スクリーン位置情報に対応する前記実空間の座標系における位置に向かうベクトルと、前記表示部の中心から正面方向に向かうベクトルとのなす角度が所定時間連続して前記所定の角度以下である場合に、ユーザが仮想画面を注視していると判定する、
請求項１に記載の制御装置。

【請求項3】

前記表示制御部は、前記仮想オブジェクトの視認が困難な状況であると前記判定部が判定すると、前記仮想オブジェクトの輝度を上昇させる、
請求項１又は２に記載の制御装置。

【請求項4】

前記特定部は、前記風景の状態として前記風景の色を特定し、
前記表示制御部は、前記仮想オブジェクトの視認が困難な状況であると前記判定部が判定すると、前記仮想オブジェクトの色を、前記特定部が特定した前記風景の色に基づいて変化させる、
請求項１から３のいずれか１項に記載の制御装置。

【請求項5】

前記特定部は、前記風景の照度を特定し、
前記判定部は、前記特定部が特定した前記風景の照度に基づいて、前記仮想オブジェクトの視認が困難な状況であるか否かを判定する、
請求項１から４のいずれか１項に記載の制御装置。

【請求項6】

前記特定部は、前記風景の複雑さを示す複雑度を特定し、
前記判定部は、前記特定部が特定した前記風景の複雑度に基づいて、前記仮想オブジェクトの視認が困難な状況であるか否かを判定する、
請求項１から５のいずれか１項に記載の制御装置。

【請求項7】

前記特定部は、前記表示部の前記風景に対応する領域のうち、前記仮想オブジェクトの視認が相対的に容易である領域を特定し、
前記表示制御部は、前記仮想オブジェクトの視認が困難な状況であると前記判定部が判定すると、前記特定部が特定した前記仮想オブジェクトの視認が相対的に容易になる領域に前記仮想オブジェクトを移動させる、
請求項１から６のいずれか１項に記載の制御装置。

【請求項8】

ユーザの頭部に装着されるディスプレイ装置の表示部に表示される仮想オブジェクトの表示を制御する制御装置が実行する、
前記仮想オブジェクトに関連付けられた実空間の座標系における位置を示すスクリーン位置情報に対応する前記表示部内の位置への前記仮想オブジェクトの表示を制御するステップと、
前記表示部の中心から前記スクリーン位置情報に対応する前記実空間の座標系における位置に向かうベクトルと、前記表示部の中心から正面方向に向かうベクトルとのなす角度が所定の角度以下である場合に、前記ユーザが前記仮想オブジェクトを注視していると判定するステップと、
前記ユーザが前記表示部を介して視認可能な風景の状態を特定するステップと、
特定された前記風景の状態に基づいて、前記ユーザによる前記仮想オブジェクトの視認が困難な状況か否かを判定するステップと、
前記ユーザが前記仮想オブジェクトを注視していると判定している場合において、前記仮想オブジェクトの視認が困難な状況であると判定されると、前記仮想オブジェクトの視認性を高める制御を行うステップと、
を有する表示制御方法。

【請求項9】

ユーザの頭部に装着されるディスプレイ装置の表示部に表示される仮想オブジェクトの表示を制御するコンピュータを、
前記仮想オブジェクトに関連付けられた実空間の座標系における位置を示すスクリーン位置情報に対応する前記表示部内の位置への前記仮想オブジェクトの表示を制御する表示制御部、
前記表示部の中心から前記スクリーン位置情報に対応する前記実空間の座標系における位置に向かうベクトルと、前記表示部の中心から正面方向に向かうベクトルとのなす角度が所定の角度以下である場合に、前記ユーザが前記仮想オブジェクトを注視していると判定する注視検出部、
前記ユーザが前記表示部を介して視認可能な風景の状態を特定する特定部、
前記特定部が特定した前記風景の状態に基づいて、前記ユーザによる前記仮想オブジェクトの視認が困難な状況か否かを判定する判定部、として機能させ、
前記表示制御部は、前記ユーザが前記仮想オブジェクトを注視していると前記注視検出部が判定している場合において、前記仮想オブジェクトの視認が困難な状況であると前記判定部が判定すると、前記仮想オブジェクトの視認性を高める制御を行う、
表示制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御装置、表示制御方法及び表示制御プログラムに関する。

【背景技術】

【0002】

ユーザの頭部に装着可能なスマートグラスと呼ばれるディスプレイ装置が利用されている。特許文献１には、ディスプレイ装置に、仮想画面等の仮想オブジェクトを表示させることが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０−０８７１９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ディスプレイ装置を介してユーザが視認する背景が明るかったり複雑であったりすると、ユーザが仮想オブジェクトを視認しにくいという問題がある。そこで、仮想オブジェクトの視認性を向上させることが求められている。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、仮想オブジェクトの視認性を向上させることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様に係る制御装置は、ユーザの頭部に装着されるディスプレイ装置の表示部に表示される仮想オブジェクトの表示を制御する制御装置であって、前記仮想オブジェクトの前記表示部への表示を制御する表示制御部と、前記ユーザが前記表示部を介して視認可能な風景の状態を特定する特定部と、前記特定部が特定した前記風景の状態に基づいて、前記ユーザによる前記仮想オブジェクトの視認が困難な状況か否かを判定する判定部と、を有し、前記表示制御部は、前記仮想オブジェクトの視認が困難な状況であると前記判定部が判定すると、前記仮想オブジェクトの視認性を高める制御を行う。

【0007】

本発明の第２の態様に係る表示制御方法は、ユーザの頭部に装着されるディスプレイ装置の表示部に表示される仮想オブジェクトの表示を制御する制御装置が実行する、前記仮想オブジェクトの前記表示部への表示を制御するステップと、前記ユーザが前記表示部を介して視認可能な風景の状態を特定するステップと、特定された前記風景の状態に基づいて、前記ユーザによる前記仮想オブジェクトの視認が困難な状況か否かを判定するステップと、前記仮想オブジェクトの視認が困難な状況であると判定されると、前記仮想オブジェクトの視認性を高める制御を行うステップと、を有する。

【0008】

本発明の第３の態様に係る表示制御プログラムは、ユーザの頭部に装着されるディスプレイ装置の表示部に表示される仮想オブジェクトの表示を制御するコンピュータを、前記仮想オブジェクトの前記表示部への表示を制御する表示制御部、前記ユーザが前記表示部を介して視認可能な風景の状態を特定する特定部、前記特定部が特定した前記風景の状態に基づいて、前記ユーザによる前記仮想オブジェクトの視認が困難な状況か否かを判定する判定部、として機能させ、前記表示制御部は、前記仮想オブジェクトの視認が困難な状況であると前記判定部が判定すると、前記仮想オブジェクトの視認性を高める制御を行う。

【発明の効果】

【0009】

本発明によれば、仮想オブジェクトの視認性を向上させることができるという効果を奏する。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る表示制御システムの概要を示す図である。

【図2】本実施形態に係るディスプレイ装置が、仮想オブジェクトの視認性を高める制御を行う例を説明する図である。

【図3】本実施形態に係る配信装置の構成を示す図である。

【図4】本実施形態に係るユーザ端末の構成を示す図である。

【図5】本実施形態に係るディスプレイ装置の構成を示す図である。

【図6】本実施形態に係るディスプレイ装置が実行する視認性向上に係る処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0011】

［表示制御システムＳの概要］
図１は、本実施形態に係る表示制御システムＳの概要を示す図である。表示制御システムＳは、ディスプレイ装置３に仮想オブジェクトを表示させるシステムである。仮想オブジェクトは、例えば、仮想空間上に配置される仮想の人物、動物、車等の各種物体の三次元モデル、又は映像や仮想デスクトップ等のリモートワークを行うための仮想の二次元画面である。以下の説明において、仮想の二次元画面を仮想画面という。本実施形態では、ディスプレイ装置３に仮想オブジェクトとして仮想画面を表示させる例を説明する。

【0012】

図１に示すように、表示制御システムＳは、情報処理装置１と、携帯端末２と、ディスプレイ装置３とを有する。情報処理装置１は、仮想画面を提供するサーバやパーソナルコンピュータである。情報処理装置１は、インターネット回線や携帯電話網等の通信ネットワークを介して携帯端末２と通信可能に接続されており、携帯端末２に仮想画面を示す画面データを送信する。

【0013】

携帯端末２は、例えばユーザが所持するスマートフォン、タブレット等の端末である。携帯端末２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信や無線ＬＡＮ等の無線通信、ＵＳＢ（登録商標）、ＨＤＭＩ（登録商標）／ＭＨＬ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）等の有線通信を介して、ディスプレイ装置３と通信可能に接続されている。

【0014】

携帯端末２は、情報処理装置１から受信した画面データが示す仮想画面をディスプレイ装置３に表示させる。ディスプレイ装置３は、例えばユーザの頭部に装着されるスマートグラス等の端末である。ディスプレイ装置３は、携帯端末２の制御により仮想画面を表示する。本実施形態において、ディスプレイ装置３は、ユーザがディスプレイ装置３の表示部を介して視認可能な風景の状態に基づいて、ユーザによる仮想オブジェクトの視認が困難な状況であるか否かを判定する。ディスプレイ装置３は、仮想オブジェクトの視認が困難な状況であると判定すると、仮想オブジェクトの視認性を高める制御を行う。

【0015】

図２は、本実施形態に係るディスプレイ装置３が、仮想オブジェクトの視認性を高める制御を行う例を説明する図である。図２には、ディスプレイ装置３に表示される仮想画面Ｏｖを示している。図２（ａ）に示すように、ユーザがディスプレイ装置３を介して視認可能な風景が単純である場合、ユーザは仮想画面Ｏｖを容易に視認できる。これに対し、図２（ｂ）に示すように、ユーザがディスプレイ装置３を介して視認可能な風景が複雑であると、ユーザは仮想画面Ｏｖを視認するのが困難になる。そこで、ディスプレイ装置３は、ユーザによる仮想オブジェクトの視認が困難な状況であると判定すると、仮想オブジェクトの視認性を高める制御を行う。

【0016】

図２（ｃ）には、ディスプレイ装置３が視認性を高める制御として仮想画面Ｏｖの輝度を高めた例を示している。図２（ｃ）に示す仮想画面Ｏｖは、図２（ｂ）に示す仮想画面Ｏｖに比べて視認しやすいことが確認できる。このように、ディスプレイ装置３は、仮想オブジェクトの視認性を向上させることができる。

【0017】

［情報処理装置１の構成］
続いて、表示制御システムＳの構成について説明する。まず、情報処理装置１の構成を説明する。図３は、本実施形態に係る情報処理装置１の構成を示す図である。図３に示すように、情報処理装置１は、通信部１１と、記憶部１２と、制御部１３とを備える。

【0018】

通信部１１は、インターネット回線や携帯電話網等の通信ネットワークに接続するためのインターフェースである。
記憶部１２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む記憶媒体である。記憶部１２は、制御部１３が実行するプログラムを記憶している。例えば、記憶部１２は、制御部１３を、画面データ生成部１３１及び送信制御部１３２として機能させるプログラムを記憶している。

【0019】

制御部１３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。制御部１３は、記憶部１２に記憶されたプログラムを実行することにより、画面データ生成部１３１及び送信制御部１３２として機能する。

【0020】

画面データ生成部１３１は、携帯端末２から仮想画面の取得要求を取得すると、仮想画面の画面データを生成する。
送信制御部１３２は、画面データ生成部１３１が画面データを生成すると、当該画面データを携帯端末２に送信する。

【0021】

［携帯端末２の機能構成］
続いて、携帯端末２の構成を説明する。図４は、本実施形態に係る携帯端末２の構成を示す図である。図４に示すように、携帯端末２は、操作部２１と、表示部２２と、通信部２３と、記憶部２４と、制御部２５とを備える。

【0022】

操作部２１は、ユーザの操作を受け付ける操作デバイスであり、例えば表示部２２の表面に設けられたタッチパネルである。なお、操作部２１には、携帯端末２に優先又は無線で接続されるマウスやキーボードが含まれていてもよい。

【0023】

表示部２２は、各種の情報を表示するディスプレイである。
通信部２３は、例えば携帯電話網の基地局との間でデータを送受信するための無線通信インターフェースである。通信部２３は、携帯電話網の基地局を介して、情報処理装置１と無線通信を行う。また、通信部２３は、ディスプレイ装置３との間でデータを送受信するための通信インターフェースである。通信部２３は、ディスプレイ装置３と無線通信又は有線通信を行う。

【0024】

記憶部２４は、ＲＯＭ及びＲＡＭ等を含む記憶媒体である。記憶部２４は、制御部２５が実行するプログラムを記憶している。記憶部２４は、制御部２５を、オブジェクト要求部２５１、オブジェクト取得部２５２及び送信制御部２５３として機能させるオブジェクト表示プログラムを記憶する。

【0025】

制御部２５は、例えばＣＰＵであり、記憶部２４に記憶されたオブジェクト表示プログラムを実行することにより、オブジェクト要求部２５１、オブジェクト取得部２５２及び送信制御部２５３として機能する。

【0026】

オブジェクト要求部２５１は、情報処理装置１に仮想画面を示す画面データの取得要求を送信する。オブジェクト要求部２５１は、例えば、オブジェクト表示プログラムが実行されたことに応じて、情報処理装置１に仮想画面を示す画面データの取得要求の送信を開始する。オブジェクト要求部２５１は、仮想画面を示す画面データの取得要求を所定時間おきに情報処理装置１に送信する。
オブジェクト取得部２５２は、情報処理装置１から仮想画面を示す画面データを取得する。オブジェクト取得部２５２は、例えば、仮想画面の実空間の座標系に対応する位置を示す画面位置情報が関連付けられた画面データを生成する。

【0027】

送信制御部２５３は、オブジェクト取得部２５２が取得した画面データをディスプレイ装置３に送信することにより、当該画面データが示す仮想画面をディスプレイ装置３に表示させる。具体的には、送信制御部２５３は、オブジェクト取得部２５２が取得した画面位置情報を、ディスプレイ装置３における座標系に対応する位置情報であるスクリーン位置情報に変換する座標変換処理を実行する。送信制御部２５３は、スクリーン位置情報と、画面データとをディスプレイ装置３に送信する。

【0028】

［ディスプレイ装置３の機能構成］
続いて、ディスプレイ装置３の構成を説明する。図５は、本実施形態に係るディスプレイ装置３の構成を示す図である。図５に示すように、ディスプレイ装置３は、通信部３１と、撮像部３２と、照度センサ３３と、表示部３４と、記憶部３５と、制御部３６とを備える。

【0029】

通信部３１は、携帯端末２との間でデータを送受信するための無線通信インターフェースである。通信部３１は、制御部３６の制御により、携帯端末２と無線通信又は有線通信を行う。
撮像部３２は、ユーザがディスプレイ装置３を装着した場合におけるユーザの前方を撮像し、撮像画像を生成する。撮像部３２は、生成した撮像画像を制御部３６に出力する。
照度センサ３３は、ディスプレイ装置３の周囲の照度を検出する。照度センサ３３は、検出した照度を示す照度情報を制御部３６に出力する。

【0030】

表示部３４は、導光板と、導光板に光を照射する照射部とを含んでいる。照射部は、制御部３６の制御に応じて、画面データが示す仮想画面に対応する色の光を導光板に照射することにより、導光板に仮想画面を結像させる。

【0031】

記憶部３５は、ＲＯＭ及びＲＡＭ等を含む記憶媒体である。記憶部３５は、制御部３６が実行するプログラムを記憶している。記憶部３５は、制御部３６を、取得部３６１、注視検出部３６２、特定部３６３、判定部３６４及び表示制御部３６５として機能させるプログラムを記憶する。

【0032】

制御部３６は、例えばＣＰＵであり、記憶部３５に記憶されたプログラムを実行することにより、取得部３６１、注視検出部３６２、特定部３６３、判定部３６４及び表示制御部３６５として機能する。

【0033】

取得部３６１は、携帯端末２から仮想画面を示す画面データと、スクリーン位置情報とを取得する。例えば、取得部３６１は、携帯端末２から所定時間おきに仮想画面を示す画面データと、スクリーン位置情報とを取得する。

【0034】

注視検出部３６２は、ユーザが仮想画面を注視していることを検出する。具体的には、注視検出部３６２は、取得部３６１が取得したスクリーン位置情報に基づいてディスプレイ装置３に対する仮想画面の位置を特定し、ディスプレイ装置３の表示部３４の中心から仮想画面に向かうベクトルを特定する。また、注視検出部３６２は、ディスプレイ装置３の表示部３４の中心から正面方向に向かうベクトル、すなわち正面視線方向に向かうベクトルを特定する。注視検出部３６２は、特定した２つのベクトルのなす角度が所定の角度以下である場合に、ユーザが仮想画面を注視していることを検出する。注視検出部３６２は、特定した２つのベクトルのなす角度が所定時間連続して所定の角度以下である場合に、ユーザが仮想画面を注視していることを検出するようにしてもよい。

【0035】

特定部３６３は、ユーザが表示部３４を介して視認可能な風景の状態を特定する。特定部３６３は、ユーザが仮想画面を注視していることを注視検出部３６２が検出している場合に、撮像部３２が撮像した撮像画像に基づいて、ユーザが表示部３４を介して視認可能な風景の状態を特定する。

【0036】

特定部３６３は、風景の状態として、風景の色を特定する。例えば、特定部３６３は、撮像部３２が撮像した撮像画像を構成する複数の画素の画素値の平均値が示す色を、風景の色として特定する。特定部３６３は、複数の画素値を複数の画素値の範囲のいずれかに分類して、複数の画素値の範囲のそれぞれに含まれる画素値の数を集計し、最も画素値の数が多い画素値の範囲を特定してもよい。そして、最も画素値の数が多い画素値の範囲に対応する色を、風景の色として特定してもよい。

【0037】

また、特定部３６３は、風景の状態として、風景の照度を特定する。例えば、特定部３６３は、照度センサ３３が検出した照度を示す照度情報を取得することにより、風景の照度を特定する。

【0038】

また、特定部３６３は、風景の状態として、風景の複雑さを示す複雑度を特定する。例えば、特定部３６３は、撮像部３２が撮像した撮像画像に対し、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を行うことにより、撮像画像の周波数スペクトルを算出し、周波数スペクトルのピーク値に基づいて複雑度を特定する。

【0039】

判定部３６４は、特定部３６３が特定した風景の状態に基づいて、ユーザによる仮想画面の視認が困難な状況であるか否かを判定する。

【0040】

例えば、判定部３６４は、風景の色と、仮想画面の色とが類似している場合に、ユーザによる仮想画面の視認が困難な状況であると判定する。この場合、判定部３６４は、仮想画面の色の平均値と、特定部３６３が特定した色との類似度を算出する。判定部３６４は、類似度が第１の閾値を超えると、ユーザによる仮想画面の視認が困難な状況であると判定する。

【0041】

また、判定部３６４は、特定部３６３が特定した風景の照度に基づいて、仮想画面の視認が困難な状況であるか否かを判定する。例えば、判定部３６４は、特定部３６３が特定した風景の照度が第２の閾値を超えると、ユーザによる仮想画面の視認が困難な状況であると判定する。

【0042】

また、判定部３６４は、特定部３６３が特定した風景の複雑度に基づいて、仮想画面の視認が困難な状況であるか否かを判定する。例えば、判定部３６４は、特定部３６３が特定した風景の複雑度が第３の閾値を超えると、ユーザによる仮想画面の視認が困難な状況であると判定する。

【0043】

表示制御部３６５は、取得部３６１が取得した画面データに基づいて仮想画面を表示部３４に表示させる。表示制御部３６５は、取得部３６１が取得したスクリーン位置情報が示すディスプレイ装置３の表示部３４の位置に、取得部３６１が取得した画面データに基づいて仮想画面を表示部３４に表示させる。

【0044】

表示制御部３６５は、仮想画面の視認が困難な状況であると判定部３６４が判定すると、仮想画面の視認性を高める制御を行う。具体的には、表示制御部３６５は、ユーザが仮想画面を注視していることを注視検出部３６２が検出している場合において、仮想画面の視認が困難な状況であると前記判定部が判定すると、仮想画面の視認性を高める制御を行う。

【0045】

例えば、表示制御部３６５は、仮想画面の視認が困難な状況であると判定部３６４が判定すると、仮想画面の視認性を高める制御として、図２（ｃ）に示すように、仮想画面の輝度を上昇させる制御を行う。この場合、記憶部３５は、複数の照度と、当該照度に対して適切な表示部３４の輝度とを関連付けた関係情報を記憶しているものとする。そして、表示制御部３６５は、表示部３４の輝度を、当該関係情報において、指示情報に含まれる照度情報が示すディスプレイ装置３の周囲の照度に関連付けられている輝度となるように調整することにより、仮想画面の輝度を上昇させる。このようにすることで、ディスプレイ装置３の周囲の照度に対して、表示部３４の輝度を適切な値に調整することができる。

【0046】

また、表示制御部３６５は、仮想画面の視認が困難な状況であると判定部３６４が判定すると、仮想画面の視認性を高める制御として、仮想画面の色を、特定部３６３が特定した風景の色に基づいて変化させる。表示制御部３６５は、仮想画面の色を、特定部３６３が特定した風景の色に対して見やすい色に変化させる。例えば、表示制御部３６５は、仮想画面の背景色を、特定部３６３が特定した風景の色の補色に変化させる。このようにすることで、仮想画面を風景の色に対して見やすい状態に変化させることができる。

【0047】

また、表示制御部３６５は、仮想画面の視認が困難な状況であると判定部３６４が判定すると、仮想画面の視認が相対的に容易である領域に仮想画面を移動させるようにしてもよい。この場合、特定部３６３は、ユーザが表示部３４を介して視認可能な風景の領域、すなわち、表示部３４の領域のうち、仮想オブジェクトの視認が相対的に容易である領域を特定する。例えば、特定部３６３は、撮像部３２が撮像した撮像画像に基づいて、明度が相対的に低い領域を特定する。そして、表示制御部３６５は、明度が相対的に低い領域が仮想画面の表示領域よりも大きい場合、明度が相対的に低い領域に仮想画面を移動させる。このようにすることで、仮想画面の背後が暗くなるため、仮想画面を見やすい状態にすることができる。

【0048】

［視認性向上に係る処理の流れ］
続いて、視認性向上に係る処理の流れを説明する。ここでは、視認性向上に係る処理として、輝度を調整する例を説明する。図６は、ディスプレイ装置３が実行する視認性向上に係る処理の流れを示すフローチャートである。

【0049】

まず、取得部３６１は、携帯端末２から仮想画面を示す画面データ及びスクリーン位置情報を取得する（Ｓ１）。
表示制御部３６５は、取得部３６１が取得したスクリーン位置情報が示すディスプレイ装置３の表示部３４の位置に、取得部３６１が取得した画面データに基づいて仮想画面を表示部３４に表示させる（Ｓ２）。

【0050】

特定部３６３は、ユーザが仮想画面を注視していることを注視検出部３６２が検出しているか否かを判定する（Ｓ３）。特定部３６３は、ユーザが仮想画面を注視していることを検出していると判定すると、Ｓ４に処理を移し、ユーザが仮想画面を注視していることを検出していないと判定すると、本フローチャートに係る処理を終了する。

【0051】

特定部３６３は、ユーザが表示部３４を介して視認可能な風景の状態を特定する（Ｓ４）。
判定部３６４は、特定部３６３が特定した風景の状態に基づいて、ユーザによる仮想画面の視認が困難な状況であるか否かを判定する（Ｓ５）。判定部３６４は、ユーザによる仮想画面の視認が困難な状況であると判定すると、Ｓ６に処理を移し、ユーザによる仮想画面の視認が困難な状況ではないと判定すると、本フローチャートに係る処理を終了する。

【0052】

表示制御部３６５は、Ｓ５において、ユーザによる仮想画面の視認が困難な状況であると判定部３６４が判定すると、ディスプレイ装置３の表示部３４の輝度を上昇させる（Ｓ６）。

【0053】

［本実施形態における効果］
以上説明したように、本実施形態に係るディスプレイ装置３は、ユーザが表示部３４を介して視認可能な風景の状態を特定し、当該風景の状態に基づいて、ユーザによる仮想オブジェクトの視認が困難な状況か否かを判定する。ディスプレイ装置３は、仮想オブジェクトの視認が困難な状況であると判定すると、仮想オブジェクトの視認性を高める制御を行う。このようにすることで、ディスプレイ装置３は、仮想オブジェクトの視認性を向上させる。

【0054】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上述の実施の形態では、ディスプレイ装置３の制御部３６が注視検出部３６２、特定部３６３、判定部３６４、及び表示制御部３６５として機能したが、これに限らない。例えば、情報処理装置１の制御部１３又は携帯端末２の制御部２５が、注視検出部３６２、特定部３６３、判定部３６４、及び表示制御部３６５として機能するようにしてもよい。

【0055】

この場合、ディスプレイ装置３は、情報処理装置１又は携帯端末２がユーザが仮想画面を注視しているかの検出、及びユーザによる仮想画面の視認が困難な状況であるかの判定をできるようにするために、撮像部３２が撮像した画像を情報処理装置１又は携帯端末２に送信してもよい。

【0056】

また、上述の実施の形態では、表示制御部３６５は、ユーザが仮想画面を注視していることを注視検出部３６２が検出している場合において、仮想画面の視認が困難な状況であると判定部３６４が判定すると、仮想画面の視認性を高める制御を行ったが、これに限らない。表示制御部３６５は、注視検出部３６２による注視の検出状況に関わらず、仮想画面の視認が困難な状況であると判定部３６４が判定すると、仮想画面の視認性を高める制御を行うようにしてもよい。

【0057】

また、例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0058】

１・・・情報処理装置、１１・・・通信部、１２・・・記憶部、１３・・・制御部、１３１・・・画面データ生成部、１３２・・・送信制御部、２・・・携帯端末、２１・・・操作部、２２・・・表示部、２３・・・通信部、２４・・・記憶部、２５・・・制御部、２５１・・・オブジェクト要求部、２５２・・・オブジェクト取得部、２５３・・・送信制御部、３・・・ディスプレイ装置、３１・・・通信部、３２・・・撮像部、３３・・・照度センサ、３４・・・表示部、３５・・・記憶部、３６・・・制御部、３６１・・・取得部、３６２・・・注視検出部、３６３・・・特定部、３６４・・・判定部、３６５・・・表示制御部

【要約】

【課題】仮想オブジェクトの視認性を向上させる。
【解決手段】ディスプレイ装置３は、仮想オブジェクトの表示部３４への表示を制御する表示制御部３６５と、ユーザが表示部３４を介して視認可能な風景の状態を特定する特定部３６３と、特定部３６３が特定した風景の状態に基づいて、ユーザによる仮想オブジェクトの視認が困難な状況か否かを判定する判定部３６４と、を有し、表示制御部３６５は、仮想オブジェクトの視認が困難な状況であると判定部３６４が判定すると、仮想オブジェクトの視認性を高める制御を行う。
【選択図】図５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】