特許 7403286 表示装置、表示システム、表示装置の制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-14

(45)【発行日】2023-12-22

(54)【発明の名称】表示装置、表示システム、表示装置の制御方法およびプログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20231215BHJP

   G06F 3/01 20060101ALI20231215BHJP

【ＦＩ】

G09G5/00 530D

G09G5/00 550C

G09G5/00 550B

G09G5/00 510H

G09G5/00 510A

G06F3/01 510

【請求項の数】 12

(21)【出願番号】P 2019202620

(22)【出願日】2019-11-07

(65)【公開番号】P2021076680

(43)【公開日】2021-05-20

【審査請求日】2022-10-28

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】岩佐 剛志

【審査官】西島 篤宏

(56)【参考文献】

【文献】特開２００９－１７１５０５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／００７８１８３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／００ － ５／４２

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

画像を表示するための表示素子を有する表示装置であって、
前記表示装置がユーザに装着されている装着状態であるか否かを判定する装着状態判定手段と、
前記表示装置が静止している静止状態であるか又は動いている動き状態であるかを判定する動き状態判定手段と、
前記表示装置が前記装着状態であり且つ前記動き状態である場合、前記表示素子を点灯可能状態に状態遷移させる制御手段と、
を備え、
前記表示装置は、前記表示装置と当該表示装置と接続された情報処理装置とを含むシステムにおける前記情報処理装置の所定のソフトウェアの起動前には第一の動作モードで動作すると共に、前記所定のソフトウェアの起動後には第二の動作モードで動作し、
前記制御手段は、前記点灯可能状態への状態遷移時に、或いは、前記点灯可能状態でユーザ操作を受け付ける入力部を介してユーザ操作が受け付けられたことに応じて、前記表示素子を点灯させ、
前記制御手段は、
前記表示装置が前記第一の動作モードである場合、前記表示素子の点灯時に、当該点灯時から第一の期間が経過した後に前記表示素子を消灯させる第一のタイマを設定し、
前記表示装置が前記第二の動作モードである場合、前記表示素子の点灯時に、当該点灯時から前記第一の期間よりも長い第二の期間が経過した後に前記ユーザへの通知メッセージを出力させるための第二のタイマを設定することを特徴とする表示装置。

【請求項2】

前記制御手段は、前記第一のタイマのタイムアウトに応じて、前記表示素子を消灯することを特徴とする請求項１に記載の表示装置。

【請求項3】

前記入力部は、前記表示装置が前記装着状態であり且つ前記動き状態である場合に前記ユーザ操作の受け付けが有効になることを特徴とする請求項１又は２に記載の表示装置。

【請求項4】

前記制御手段は、ユーザへの通知メッセージの表示中に、前記入力部により前記ユーザ操作が受け付けられた場合、前記通知メッセージの表示を停止することを特徴とする請求項１乃至３の何れか１項に記載の表示装置。

【請求項5】

前記入力部は、プッシュスイッチであることを特徴とする請求項１乃至４の何れか１項に記載の表示装置。

【請求項6】

前記入力部は、前記表示装置が備える撮像部の撮像結果に基づいてジェスチャ動作を解析し、前記ジェスチャ動作に基づいて前記ユーザ操作を受け付けることを特徴とする請求項１乃至４の何れか１項に記載の表示装置。

【請求項7】

前記装着状態判定手段は、前記装着状態であるか、又は、前記表示装置がユーザに装着されていない非装着状態であるかを判定し、
前記制御手段は、前記表示装置が前記装着状態であり且つ前記動き状態である場合、前記表示素子を点灯可能状態にして、前記表示装置が前記非装着状態である又は前記静止状態である場合、前記表示素子を点灯可能状態にしないことを特徴とする請求項１に記載の表示装置。

【請求項8】

前記点灯可能状態は、前記表示素子を点灯することが許可されている状態であることを特徴とする請求項１乃至７の何れか１項に記載の表示装置。

【請求項9】

前記表示装置は、前記ユーザの頭部に装着される頭部装着型表示装置であることを特徴とする請求項１乃至８の何れか１項に記載の表示装置。

【請求項10】

画像を表示するための表示素子を含む表示装置と、当該表示装置と接続された情報処理装置とを有する表示システムであって、
前記表示装置がユーザに装着されている装着状態であるか否かを判定する装着状態判定手段と、
前記表示装置が静止している静止状態であるか又は動いている動き状態であるかを判定する動き状態判定手段と、
前記表示装置が前記装着状態であり且つ前記動き状態である場合、前記表示素子を点灯可能状態に状態遷移させる制御手段と、
を備え、
前記表示装置は、前記情報処理装置の所定のソフトウェアの起動前には第一の動作モードで動作すると共に、前記所定のソフトウェアの起動後には第二の動作モードで動作し、
前記制御手段は、前記点灯可能状態への状態遷移時に、或いは、前記点灯可能状態でユーザ操作を受け付ける入力部を介してユーザ操作が受け付けられたことに応じて、前記表示素子を点灯させ、
前記制御手段は、
前記表示装置が前記第一の動作モードである場合、前記表示素子の点灯時に、当該点灯時から第一の期間が経過した後に前記表示素子を消灯させる第一のタイマを設定し、
前記表示装置が前記第二の動作モードである場合、前記表示素子の点灯時に、当該点灯時から前記第一の期間よりも長い第二の期間が経過した後に前記ユーザへの通知メッセージを出力させるための第二のタイマを設定することを特徴とする表示システム。

【請求項11】

画像を表示するための表示素子を有する表示装置の制御方法であって、
前記表示装置がユーザに装着されている装着状態であるか否かを判定する工程と、
前記表示装置が静止している静止状態であるか又は動いている動き状態であるかを判定する工程と、
前記表示装置が前記装着状態であり且つ前記動き状態である場合、前記表示素子を点灯可能状態に状態遷移させる工程と、
を有し、
前記表示装置は、前記表示装置と当該表示装置と接続された情報処理装置とを含むシステムにおける前記情報処理装置の所定のソフトウェアの起動前には第一の動作モードで動作すると共に、前記所定のソフトウェアの起動後には第二の動作モードで動作し、
前記制御方法は、
前記点灯可能状態への状態遷移時に、或いは、前記点灯可能状態でユーザ操作を受け付ける入力部を介してユーザ操作が受け付けられたことに応じて、前記表示素子を点灯させる工程と、
前記表示装置が前記第一の動作モードである場合、前記表示素子の点灯時に、当該点灯時から第一の期間が経過した後に前記表示素子を消灯させる第一のタイマを設定する工程と、
前記表示装置が前記第二の動作モードである場合、前記表示素子の点灯時に、当該点灯時から前記第一の期間よりも長い第二の期間が経過した後に前記ユーザへの通知メッセージを出力させるための第二のタイマを設定する工程と、
をさらに有することを特徴とする表示装置の制御方法。

【請求項12】

コンピュータを、請求項１乃至９の何れか１項に記載の表示装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示装置、表示装置の制御方法およびプログラムに関する。

【背景技術】

【0002】

仮想空間を体験できる技術としてＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術が、また、現実空間と仮想空間をリアルタイム且つシームレスに融合させる技術として、複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：頭部装着型表示装置）を利用したＭＲシステムでは、ＨＭＤ内蔵の撮像ユニットによって取得された現実空間画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像を重畳した合成画像をＨＭＤ装着者が観察する。これらの画像は左右の眼に対応してそれぞれ独立しており、ステレオ動画像による立体的なＭＲ空間をＨＭＤ装着者に提示できる。ＶＲでは、現実空間画像の代わりに仮想空間画像が用いられる。

【0003】

ＶＲやＭＲシステムに代表される高精細かつ高精度な動画像を扱う装置では、表示デバイスとしてＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）が用いられることも多い。ＯＬＥＤは発展途上のデバイスであり、経年劣化や焼き付きといった問題がある。これらを低減または防止するため、使用時以外は可能な限り消灯させることが望ましい。また、ＨＭＤを装着すると、装着者が酔いを感じる場合があるため、長時間使用への注意を喚起する旨のメッセージをディスプレイに表示するものも多い。

【0004】

特許文献１では、一定時間経過後にパネルや電源をＯＦＦすることに加え、使用状態検出部によってＭＲ体験の再開や延長を指示する方法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００８－２５７６７１公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に記載の技術では、体験を中断した場合も、その後一定時間はディスプレイが消灯しない可能性があった。

【0007】

本発明は、上記の課題に鑑みてなされたものであり。不要なディスプレイの点灯を抑制する技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記の目的を達成する本発明の一態様による表示装置は、
画像を表示するための表示素子を有する表示装置であって、
前記表示装置がユーザに装着されている装着状態であるか否かを判定する装着状態判定手段と、
前記表示装置が静止している静止状態であるか又は動いている動き状態であるかを判定する動き状態判定手段と、
前記表示装置が前記装着状態であり且つ前記動き状態である場合、前記表示素子を点灯可能状態に状態遷移させる制御手段と、
を備え、
前記表示装置は、前記表示装置と当該表示装置と接続された情報処理装置とを含むシステムにおける前記情報処理装置の所定のソフトウェアの起動前には第一の動作モードで動作すると共に、前記所定のソフトウェアの起動後には第二の動作モードで動作し、
前記制御手段は、前記点灯可能状態への状態遷移時に、或いは、前記点灯可能状態でユーザ操作を受け付ける入力部を介してユーザ操作が受け付けられたことに応じて、前記表示素子を点灯させ、
前記制御手段は、
前記表示装置が前記第一の動作モードである場合、前記表示素子の点灯時に、当該点灯時から第一の期間が経過した後に前記表示素子を消灯させる第一のタイマを設定し、
前記表示装置が前記第二の動作モードである場合、前記表示素子の点灯時に、当該点灯時から前記第一の期間よりも長い第二の期間が経過した後に前記ユーザへの通知メッセージを出力させるための第二のタイマを設定することを特徴とする。

【発明の効果】

【0009】

本発明によれば、不要なディスプレイの点灯を抑制することができる。

【図面の簡単な説明】

【0010】

【図1】第一実施形態における撮像表示システムの概略構成を示すブロック図並びに模式図

【図2】第一実施形態における画像処理制御回路の構成を示す概略模式図

【図3】第一実施形態における撮像表示装置の状態遷移を示す概略模式図

【図4】第一実施形態における撮像表示システムの制御動作を示すタイムチャート

【図5】第一実施形態における撮像表示システムの制御動作の別例を示すタイムチャート

【図6】第二実施形態における撮像表示システムの制御構成を示す概略模式図

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

（第一実施形態）
＜システム構成＞
図１は、本実施形態における撮像表示装置を含む撮像表示システムを示す図であり、図１（ａ）がシステムブロック図、図１（ｂ）がシステムの外観および装着例を表した模式図である。図１に示す通り、撮像表示システム１は、頭部装着型の撮像表示装置（以下、ＨＭＤ）１０、画像合成装置（ＰＣＷＳ：ＰＣ ＷｏｒｋＳｔａｔｉｏｎ、ＰＣワークステーション）３０、及び両者を接続するケーブル２０を含む。画像合成装置３０は、現実空間と仮想空間とが融合した複合現実（ＭＲ）空間の画像（以下、合成画像）を生成してＨＭＤ１０に提供する。なお、ケーブル２０は有線接続の通信経路として図示しているが、無線接続の通信経路を用いても構わない。

【0013】

まず、ＨＭＤ１０の構成について説明する。図１（ａ）において、撮像素子１５０ａおよび１５０ｂは、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｄｏｎｄｕｃｔｏｒ）イメージセンサやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサなどである。制御回路からの制御信号に基づいて設定された露光時間やセンサゲイン、露光開始タイミング等に従って、不図示の光学系を介して現実空間の撮像画像を取得する。

【0014】

表示素子１１０ａおよび１１０ｂは、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などであり、不図示の光学系を介してＨＭＤ１０の装着者に対して合成画像を提示する。本実施形態では右目用画像と左目用画像とを用いた立体画像を扱うため、撮像素子１５０ａおよび１５０ｂ、表示素子１１０ａおよび１１０ｂは、右目用と左目用とで対の構成となる。

【0015】

また、撮像素子１５０ａおよび１５０ｂの撮像画像からは、合成画像のベースとなる背景用画像並びにＣＧ画像を生成するための位置検出用画像が生成される。背景用画像と位置検出用画像は、必要とされる画角や解像度、画像処理などが異なるため、本実施形態では同じ撮像素子の撮像画像から他方を切り出す方法を想定しているが、別々の撮像素子を用いる場合もある。

【0016】

ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）１２０は、３軸の角速度と加速度を検出し、装置の位置姿勢を算出可能な、いわゆる位置姿勢センサであり、ＨＭＤ１０の位置姿勢情報を検出する。ＳＷ（Ｓｗｉｔｃｈ）１３０は、装着者が押下することのできる入力部である。近接センサ１４０は、ＨＭＤ１０が装着者の頭部に対してＭＲ体験可能な状態で装着されたか否かを検知する。画像処理制御回路（以下、制御部）１００は、撮像画像や表示画像に必要な画像処理を施すと共に各デバイスを制御し、画像合成装置３０と協調して動作する。立体画像の撮像および表示に関する技術については公知であるため、説明を省略する。

【0017】

画像合成装置３０は、位置検出部３００と、ＣＧ生成部３１０と、合成部３２０とを含む。位置検出部３００は、ＨＭＤ１０から伝送された位置検出用画像およびＨＭＤ１０の位置姿勢情報に基づいて、ＣＧ画像を生成する位置や視線の角度などＣＧ画像生成に必要な情報を出力する。ＣＧ生成部３１０は、位置検出部３００の出力に従って、所定のＣＧ画像を生成する。ＣＧ画像は、画像剛性装置３０内の不図示のＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等に格納された不図示のＣＡＤデータに基づいてレンダリングされる。合成部３２０は、ＨＭＤ１０から伝送された背景用画像にＣＧ画像を重畳することで合成画像を生成し、表示用画像としてＨＭＤ１０に対して出力する。

【0018】

＜画像処理制御回路の構成＞
図２は、画像処理制御回路１００の詳細な構成と各種外部デバイスとの関係、並びに画像処理制御回路１００内部または周辺での画像および制御信号の流れの概略を示す模式図である。

【0019】

画像処理制御回路１００は、画像処理回路６００及び表示制御回路５００の他、不図示の各種制御回路（デバイス制御や、後述の動作モードの管理など画像合成装置３０との通信制御を行う回路）を含む。

【0020】

画像処理回路６００は、ガンマ調整や歪曲補正、撮像系画像処理など不図示の各種画像処理回路の他、合成画像の画像データにメッセージ（ＯＳＤ、Ｏｎ－Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）を重畳するメッセージ重畳部６１０を有する。画像処理回路６００に入力されてメッセージ重畳部６１０を経た画像データは、表示素子１１０ａ、１１０ｂに出力される。

【0021】

表示制御回路５００は、表示パネル制御部５１０と、表示内容制御部５２０とを含む。表示内容制御部５２０は、表示パネル制御部５１０からの指示情報（例えばＳＷ押下情報）５６０や不図示のタイマからのタイムアウト情報に基づいて、メッセージ重畳部６１０に対してメッセージ制御信号５７０を出力する。メッセージ制御信号５７０とは、合成画像に重畳するメッセージ種別および重畳要否を指定する制御信号である。

【0022】

表示パネル制御部５１０は、ＩＭＵ１２０から入力されたＨＭＤ１０の位置姿勢情報、近接センサ１４０から入力された装着情報（又は非装着情報）、ＳＷ１３０から入力されたスイッチの押下情報、不図示のタイマから入力されたタイムアウト情報に基づいて、パネル点灯制御後信号５５０を表示素子１１０ａ、１１０ｂへ出力する。このパネル点灯制御後信号５５０によって表示素子１１０ａ、１１０ｂの点灯／消灯を制御することができる。また、表示パネル制御部５１０は、ＳＷ１３０の押下情報を取得すると、後述する撮像表示システム１の動作モードに応じて不図示のタイマをセットする。

【0023】

なお、図２に図示された構成は、これに限定されない。例えば、ＩＭＵ１２０やＳＷ１３０、近接センサ１４０などが別途不図示の各種制御回路経由で表示パネル制御部５１０や表示内容制御部５２０に接続されても構わない。

【0024】

＜ＨＭＤの状態＞
ここで、図３を用いて表示制御に関するＨＭＤ１０の状態を説明する。図３（ａ）は、ＩＭＵ１２０および近接センサ１４０によって検知されるＨＭＤ１０の状態を示した図である。ＩＭＵ１２０によってＨＭＤ１０が動いている（動き中（動き状態）、図中α）か、或いは、止まっている（静止中（静止状態））かを検知できる（動き状態判定処理）。また、近接センサ１４０によってＨＭＤ１０が装着者の頭部に対してＭＲ体験が可能な状態で装着されている（装着中（装着状態）、図中β）か否か（すなわち非装着状態であるか）を検知できる（装着状態判定処理）。従って、装着中と非装着の状態間を装着検知または解除検知のイベントによって遷移し、また静止中と動き中の状態間を動き検知または静止検知のイベントによって遷移するため、図中Ｉ～ＩＶで示す４状態が存在する。これをベン図にしたものが図３（ｂ）である。なお、動き検知および静止検知の発生条件について、意識して体を止めていない限り人間の頭部は微妙に動いているのが自然であることを加味し、閾値やチャタリング防止時間などを実験的に最適化するようにしてもよい。

【0025】

＜ユースケース＞
続いて、図４を用いて、本実施形態のユースケースについて説明する。図中上から下に向かって時間が経過し、区間Ａ～Ｐまで刻々と状況が変化している。「装着状態」については近接センサ１４０の出力に基づいて装着か非装着かが決まる。「動き状態」についてはＩＭＵ１２０の出力に基づいて動き中か静止中かが決まる。「表示可否」は、「装着状態」と「動き状態」との論理積によって決まり、装着中且つ動き中のみ表示可（即ち表示素子１１０ａ、１１０ｂを点灯させてもよい点灯可能状態）となる。

【0026】

「パネル状態」は表示素子１１０ａ、１１０ｂの点灯／消灯を表し、少なくとも「表示可否」が表示可でないと点灯させない。「表示内容」は、表示素子１１０ａ、１１０ｂ（以下、パネル）への出力画像データを表す。例えば、"使用前注意"および"長時間警告"の２種類のメッセージの何れかが重畳された合成画像か、或いは、メッセージが重畳されない合成画像かが選択される。「ＳＷ入力」はＳＷ１３０が押下されたことを示す。「タイマ」は、表示パネル制御部５１０によって設定されるとカウントダウンを開始または一時停止し、カウントダウンが完了するとタイムアウトを通知する。図中薄い斜線部分はカウントダウンが一時停止中であることを示す。タイマの設定時間は、１回のＭＲ体験に適切な時間、例えば３０分などに設定してもよい。

【0027】

以降、最初の区間Ａから順に説明する。区間Ａは、撮像表示システム１が起動しており、ＭＲ体験をする準備が整った状態（動作モード）でＨＭＤ１０が机上などに置かれている状態である。装着者がＨＭＤ１０を手に取って持ち上げて（区間Ｂ）、頭部に正しく被って装着を完了する（区間Ｃ）。画面を表示させるために装着者がＳＷ１３０を押下すると、タイマのカウントダウン（３０分）が始まる（区間Ｄ）。

【0028】

もう一度ＳＷ１３０を押下すると、タイマがキャンセルされると共に、ＭＲ体験を開始する前の注意事項が記載された"使用前注意"メッセージが表示される（区間Ｅ）。なお、区間Ｃまたは区間Ｄに関する動作は、適宜省略する設計にしてもよい。ＭＲ体験を開始するために再度ＳＷ１３０を押下するとメッセージが消え、タイマのカウントダウンが始まる（区間Ｆ）。

【0029】

区間Ｇは、装着者がＭＲ体験を一時中断するため、例えば、頭部に装着具を装着したままＨＭＤ１０を跳ね上げるための跳ね上げ機構（不図示）を利用した状態である。このとき、タイマは少なくともキャンセルさえしなければ、一時停止させてもよいし、一時停止させなくともよい。図中斜線で示す通り一時停止させた場合は、装着者が跳ね上げ機構を下ろしてＭＲ体験を再開（区間Ｈ）したら、カウントダウンを再開させる。

【0030】

図中点線で示す通りに一時停止しなかった場合は、その間にタイムアウトが発生すれば、パネル状態は消灯であるものの、画像データ（表示内容）としては"長時間警告"メッセージが出力される。この場合、装着者が跳ね上げ機構を下ろした時点で"長時間警告"メッセージが表示された状態でパネルが点灯する。

【0031】

一方、タイマを一時停止させた場合は、ＭＲ体験再開後（区間Ｈ）にタイムアウトが発生すると、"長時間警告"メッセージが表示される（区間Ｉ）。メッセージ出力中に前述と同様にＨＭＤ１０を跳ね上げて作業を中断している間（区間Ｊ）も、画像データとしてはメッセージの出力が継続される。跳ね上げ機構を下ろしてパネル点灯後（区間Ｋ）にＳＷ１３０を押下すると、"長時間警告"メッセージが消えてＭＲ体験を継続できる（区間Ｌ）。このとき、当然タイマのカウントダウンも開始される。

【0032】

装着者が作業を終了してＨＭＤ１０を頭部から外すと（区間Ｍ）、区間Ｇと同様タイマを一時停止させてもよい。外したＨＭＤ１０を頭部型の置台などに設置している間（区間Ｎ）は、装着中かつ静止中となる。ＨＭＤ１０を置台から外し（区間Ｏ）、机上に安置されて非装着かつ静止中となったら（区間Ｐ）、タイマがキャンセルされて区間Ａと同様の状態に戻る。

【0033】

以上、撮像表示システム１が起動しておりＭＲ体験をする準備が整った状態（合成画像を表示可能な動作モード）でのユースケースを説明した。

【0034】

次に、図５を参照しながら、撮像表示システム１が起動する前の動作モードにおけるユースケースを説明する。システムが起動する前の動作モードとは、ＰＣ（画像合成装置３０）側で必要なソフトウェアが起動しておらず、パネルには合成画像ではなくＰＣのデスクトップ画面が表示されているような状態である。この場合、ＭＲ体験できる状態にないため、パネルが点灯されても、なるべく短時間、例えば１分で消灯させたい。

【0035】

図中の区間Ａ'から区間Ｃ'までは図４のユースケースと同様である。表示可能かつパネル消灯状態（区間Ｃ'）でＳＷ１３０が押下されると、タイマのカウントダウン（１分）が始まる（区間Ｄ'）。カウントダウンが完了してタイムアウトが発生すると、パネル状態がパネル消灯状態に戻る（区間Ｅ'）。

【0036】

そして、パネル点灯中（区間Ｆ'）に再度ＳＷ１３０が押下されると、タイマが再設定されてカウントダウン（１分）が再度始まる（区間Ｇ'）。この状態でＨＭＤ１０を頭部から外すとタイマがキャンセルされると共にパネル消灯状態となり（区間Ｈ'）、机上に置かれるなどすると区間Ａ'と同様の状態（区間Ｉ'）に戻る。

【0037】

以上、図４及び図５を参照して説明したように、ＨＭＤ１０は、ＨＭＤ１０を含む撮像表示システム１の起動前には第一の動作モードで動作すると共に、撮像表示システム１の起動後には第二の動作モードで動作することができる。

【0038】

そして、ＨＭＤ１０が第一の動作モードである場合、図５に示したように、表示素子１１０ａ、１１０ｂの点灯時に、当該点灯時から第一の期間（例えば１分）が経過した後に表示素子１１０ａ、１１０ｂを消灯させる第一のタイマを設定する。第一のタイマのタイムアウトに応じて、表示素子１１０ａ、１１０ｂが自動的に消灯される。

【0039】

また、ＨＭＤ１０が第二の動作モードである場合、図４に示したように、表示素子１１０ａ、１１０ｂの点灯時に、当該点灯から第二の期間（例えば３０分）が経過した後に第二のタイマを設定する。第二のタイマは、ユーザへの通知メッセージ（例えば長時間連続使用していることを警告するメッセージ）を出力させるためのタイマである。

【0040】

そして、ＨＭＤ１０が撮像表示システム１の起動後の第二の動作モード（図４）である場合、ＨＭＤ１０が装着状態から非装着状態へ遷移したことに応じて（例えば区間Ｇ、区間Ｍ）、点灯中の表示素子１１０ａ、１１０ｂを消灯するとともに、第二のタイマの設定を継続する。また、ＨＭＤ１０が撮像表示システム１の起動後の第二の動作モード（図４）である場合、第二のタイマ（例えば３０分）の設定時に、既に当該タイマを設定済である場合には、再度の設定は行わずに設定済のタイマの設定を継続してもよい。

【0041】

第二のタイマ（例えば３０分）のタイムアウトに応じて、表示素子１１０ａ、１１０ｂが点灯中であるか消灯中であるかに関わらず、ユーザへの通知メッセージを表示用画像データとして表示素子１１０ａ、１１０ｂへ出力する。ここで、通知メッセージとは、例えば図４の「表示内容」として表示されるメッセージであり、長時間連続使用していることを警告するメッセージである。これにより、ユーザへの注意喚起を行うことが可能となる。なお、通知メッセージの表示中に、入力部（例えばプッシュスイッチＳＷ）によりユーザ操作が受け付けられた場合、既に確認が済んだことから通知メッセージの表示を停止してもよい。

【0042】

また、図４の例では、点灯可能状態において、ユーザ操作を受け付ける入力部（例えばプッシュスイッチＳＷ）を介してユーザ操作が受け付けられたことに応じて、表示素子１１０ａ、１１０ｂを点灯させる（例えば区間Ｄの開始時点）例を説明したが、当該例に限定されない。点灯可能状態への状態遷移時に自動的に表示素子１１０ａ、１１０ｂを点灯させるようにしてもよい。また、入力部（例えばプッシュスイッチＳＷ）を介したユーザ操作は、特定の状態のときだけ有効化されてもよい。例えば、本実施形態で説明したように、ＨＭＤ１０が装着状態であり、且つ動き状態であるときだけ有効に動作するように構成してもよい。すなわち、当該状態以外の時にユーザ操作が行われても、タイマの設定を実行したりできないように構成してもよい。

【0043】

なお、本実施形態では、上記説明した通りのシステム構成によってＯＳＤメッセージ制御およびディスプレイ点灯制御を実行する例を説明したが、これに限定されるものではない。例えば、撮像素子を省いたＶＲ装置や、ＩＭＵの代わりに撮像画像によって静止判定を行う場合にも本実施形態の制御を適用可能であり、各種パラメータもシステム構成および装置の使用目的に応じて適宜設計してもよい。また、入力部としては、プッシュスイッチＳＷの他にもタッチパネルやジェスチャ動作を用いた方法などでも構わない。例えば、撮像表示装置が備える撮像部（画像撮像素子１５０ａ、１５０ｂ）の撮像結果に基づいてユーザのジェスチャ動作を解析し、当該ジェスチャ動作に基づいてユーザ操作を受け付けるようにしてもよい。さらに、制御構成をハードウェアとして実装してもソフトウェアによって実装しても構わない。

【0044】

以上説明したように、本実施形態では、ＨＭＤがユーザに装着されている装着状態であり且つＨＭＤが動いている動き状態である場合に、表示素子を点灯可能状態に制御する。これにより、ユーザがＨＭＤを使用していないと考えられる時における不要なディスプレイの点灯を抑制することができる。

【0045】

なお、動作モードに関しては、他の装置（例えば画像合成装置３０）からの指示に基づいて、又は、入力部により受け付けられたユーザ操作（例えば図４及び図５で説明したユーザ操作とは異なるユーザ操作）に基づいて、動作モード間を切り替え可能に構成されてもよい。

【0046】

（第二実施形態）
本実施形態に係るシステム構成は、第一実施形態で図１（ａ）を用いて説明した撮像表示装置以外の基本的な構成については第一実施形態と同様であるため、詳細な説明は省略する。

【0047】

＜システム構成＞
図６は、本実施形態に係る撮像表示システム１'のシステムブロック図である。第一実施形態における図１（ａ）との差異は、図１における撮像表示装置１０の小型化のため、画像処理制御回路１００の大半を分離し、画像処理制御回路４００として画像処理装置４０に収めて別装置化した点である。

【0048】

本実施形態における撮像表示装置１０'内には、各デバイスとの通信および外部（第一実施形態の画像合成装置３０と異なり、本実施形態では画像処理装置４０）との通信を行う通信制御回路１９０が実装されている。これにより、図２で示したパネル点灯制御信号５５０や、近接センサ１４０、ＩＭＵ１２０、ＳＷ１３０の出力信号などが、画像信号に加えてケーブル２０を通る。

【0049】

なお、本実施形態では、上記説明した通りの構成によって画像処理装置４０は独立した筐体を有する構成としたが、当該構成に限定されるものではない。例えば、ＰＣＩＥｘｐｒｅｓｓ拡張ボードのようにＰＣＷＳ（画像合成装置３０）の筐体内部に設置可能な形態としても構わない。

【0050】

以上説明したように、本実施形態によれば、不要なディスプレイの点灯を抑制することができる。

【0051】

なお、上述の各実施形態では、ＨＭＤを例に説明を行ったが、ＨＭＤに限定されない。例えば、タブレットなどの携帯型の表示装置であってもよい。例えば、近接センサを用いてユーザに保持されていることを検知した場合に、ユーザに装着されている装着状態と判定すればよい。また、静止状態か動き状態かの判定についてもＨＭＤと同様に行うことができる。

【0052】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0053】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0054】

１０：撮像表示装置、１００，４００：画像処理制御回路、１１０ａ，１１０ｂ：表示素子（左目用および右目用）、１２０：位置姿勢センサ、１３０：スイッチ（ＳＷ）、１４０近接センサ、１５０ａ，１５０ｂ：撮像素子（左目用および右目用）、５１０：表示パネル制御部、５２０：表示内容制御部、６１０：メッセージ重畳部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】