特許 6143242 画像表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6143242

(24)【登録日】2017年5月19日

(45)【発行日】2017年6月7日

(54)【発明の名称】画像表示装置

(51)【国際特許分類】

   G09G 5/00 20060101AFI20170529BHJP

   H04N 5/64 20060101ALI20170529BHJP

   G02B 27/02 20060101ALI20170529BHJP

   G09G 5/10 20060101ALI20170529BHJP

   G09G 5/02 20060101ALI20170529BHJP

   G09G 5/377 20060101ALI20170529BHJP

【ＦＩ】

   G09G5/00 530T

   H04N5/64 511A

   G02B27/02 Z

   G09G5/00 510A

   G09G5/00 510G

   G09G5/10 B

   G09G5/02 B

   G09G5/36 520M

   G09G5/00 550C

【請求項の数】10

【全頁数】13

(21)【出願番号】特願2016-26421(P2016-26421)

(22)【出願日】2016年2月15日

【審査請求日】2016年10月7日

【早期審査対象出願】

(73)【特許権者】

【識別番号】591117413

【氏名又は名称】株式会社菊池製作所

(73)【特許権者】

【識別番号】504133110

【氏名又は名称】国立大学法人電気通信大学

(74)【代理人】

【識別番号】100114524

【弁理士】

【氏名又は名称】榎本 英俊

(72)【発明者】

【氏名】張 博

(72)【発明者】

【氏名】田野 俊一

【審査官】 西島 篤宏

(56)【参考文献】

【文献】 特開２００１−１９７４００（ＪＰ，Ａ）

【文献】 特開２０１１−１５８５４７（ＪＰ，Ａ）

【文献】 特開２００９−０４８２３７（ＪＰ，Ａ）

【文献】 特開平１０−１４２５５２（ＪＰ，Ａ）

【文献】 特開２０１４−１９９５３２（ＪＰ，Ａ）

【文献】 国際公開第２０１０／０８７２９３（ＷＯ，Ａ１）

【文献】 特開２００６−２７６１９８（ＪＰ，Ａ）

【文献】 特開２０１６−０８１２０９（ＪＰ，Ａ）

【文献】 特開２０１６−１９７８１６（ＪＰ，Ａ）

【文献】 特開２０１４−１３７３９６（ＪＰ，Ａ）

【文献】 特開２００８−１８５６０９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｇ ５／００

Ｇ０２Ｂ ２７／０２

Ｇ０９Ｇ ５／０２

Ｇ０９Ｇ ５／１０

Ｇ０９Ｇ ５／３７７

Ｈ０４Ｎ ５／６４

(57)【特許請求の範囲】

【請求項1】

ユーザの視界に存在する外界の実空間の一部領域に所定の重畳画像を重ね合わせた状態で前記ユーザに視認させる画像表示装置において、
前記ユーザが実空間を直視可能な状態で前記重畳画像を表示する光学シースルー方式による画像表示と、付設された撮像装置で撮像した実空間の撮像画像に前記重畳画像を重ね合わせた合成画像を表示するビデオシースルー方式による画像表示とを選択的に行えるように構成された表示手段と、当該表示手段に提示する提示画像を生成する提示画像生成手段と、所定の条件に基づいて、前記光学シースルー方式による画像表示と前記ビデオシースルー方式による画像表示とを切り替えるように、前記表示手段に指令することで当該表示手段での画像表示方式を選択するとともに、選択された当該画像表示方式に対応した前記提示画像を生成するように、前記提示画像生成手段に指令する表示方式選択手段とを備え、
前記表示方式選択手段は、所定の状態を検出する検出部と、当該検出部での検出結果に応じて前記画像表示方式を切り替える自動切替部とを備え、
前記検出部は、前記表示画面の位置変化量を検出可能に構成され、
前記自動切替部では、前記光学シースルー方式が選択されているときに、前記検出部で検出された前記表示画面の位置変化量が所定値以上の場合、前記ビデオシースルー方式に切り替えることを特徴とする画像表示装置。

【請求項2】

ユーザの視界に存在する外界の実空間の一部領域に所定の重畳画像を重ね合わせた状態で前記ユーザに視認させる画像表示装置において、
前記ユーザが実空間を直視可能な状態で前記重畳画像を表示する光学シースルー方式による画像表示と、付設された撮像装置で撮像した実空間の撮像画像に前記重畳画像を重ね合わせた合成画像を表示するビデオシースルー方式による画像表示とを選択的に行えるように構成された表示手段と、当該表示手段に提示する提示画像を生成する提示画像生成手段と、所定の条件に基づいて、前記光学シースルー方式による画像表示と前記ビデオシースルー方式による画像表示とを切り替えるように、前記表示手段に指令することで当該表示手段での画像表示方式を選択するとともに、選択された当該画像表示方式に対応した前記提示画像を生成するように、前記提示画像生成手段に指令する表示方式選択手段とを備え、
前記表示方式選択手段は、所定の状態を検出する検出部と、当該検出部での検出結果に応じて前記画像表示方式を切り替える自動切替部とを備え、
前記検出部は、前記撮像画像と前記重畳画像の色彩情報を対比し、前記重畳画像の少なくとも周囲に位置する前記撮像画像の領域に対する前記重畳画像の色合いの差を検出可能に構成され、
前記自動切替部では、前記光学シースルー方式が選択されているときに、前記検出部で検出された前記色合いの差が所定値以下の場合、前記ビデオシースルー方式に切り替えることを特徴とする画像表示装置。

【請求項3】

前記提示画像生成手段では、前記ビデオシースルー方式が選択されているときに、前記色合いの差を所定値以上にするように前記撮像画像の色合いを変更し、当該変更後の前記撮像画像に前記重畳画像を重ね合わせた合成画像を前記提示画像として生成することを特徴とする請求項２記載の画像表示装置。

【請求項4】

前記表示手段は、外界光が透過可能となる状態で前記提示画像生成手段からの提示画像を表示可能な表示画面と、使用に際して当該表示画面を挟んで前記ユーザの反対側に配置され、前記表示方式選択手段からの指令により、前記表示画面に対する前記外界光の透過の程度である透明度を調整可能に機能するシェードとを備え、
前記表示方式選択手段は、前記透明度を指定する入力部と、当該入力部による入力に応じて前記画像表示方式を切り替えるマニュアル切替部とを更に備えたことを特徴とする請求項１又は２記載の画像表示装置。

【請求項5】

前記マニュアル切替部では、前記入力部で前記透明度について０％を超える指定があったときに、前記光学シースルー方式が選択される一方、前記入力部で前記透明度について０％の指定があったときに、前記ビデオシースルー方式が選択されることを特徴とする請求項４記載の画像表示装置。

【請求項6】

前記入力部は、前記撮像画像の輝度を更に指定可能に構成され、
前記提示画像生成手段では、前記ビデオシースルー方式が選択されているときに、前記入力部で指定された輝度になるように前記撮像画像の輝度を変更し、当該変更後の前記撮像画像に前記重畳画像を重ね合わせた合成画像を前記提示画像として生成することを特徴とする請求項５記載の画像表示装置。

【請求項7】

前記入力部は、入力指令を可変にするスイッチにより構成され、
前記マニュアル切替部では、前記スイッチの操作により、前記光学シースルー方式で前記透明度を連続的に増減させるように前記シェードを機能させる指令を行い、前記透明度が０％に達した時点で、前記光学シースルー方式から前記ビデオシースルー方式に切り替えられ、その状態から更に前記スイッチを操作することで、前記輝度が０％から１００％に連続的に変化するように、前記提示画像生成手段に対し、前記撮像画像の輝度変更を指令することを特徴とする請求項６記載の画像表示装置。

【請求項8】

前記表示手段は、外界光が透過可能となる状態で前記提示画像生成手段からの提示画像を表示可能な表示画面と、使用に際して当該表示画面を挟んで前記ユーザの反対側に配置され、前記表示方式選択手段からの指令により、前記表示画面に対する前記外界光の透過の程度である透明度を調整可能に機能するシェードと、前記撮像画像の輝度に関する色彩情報を取得する情報取得部とを備え、
前記シェードでは、前記光学シースルー方式での画像表示の際に、前記情報取得部で取得された前記撮像画像の輝度に応じて、前記透明度が調整され、前記輝度が高いほど前記透明度を自動的に下げ、前記輝度が低いほど前記透明度を自動的に上げることを特徴とする請求項１又は２記載の画像表示装置。

【請求項9】

前記表示手段は、外界光が透過可能となる状態で前記提示画像生成手段からの提示画像を表示可能な表示画面と、使用に際して当該表示画面を挟んで前記ユーザの反対側に配置され、前記表示方式選択手段からの指令により、前記表示画面に対する前記外界光の透過の程度である透明度を調整可能に機能するシェードと、前記撮像画像と前記重畳画像の色彩情報から、前記重畳画像の少なくとも周囲に位置する前記撮像画像の領域に対する前記重畳画像の輝度及び／又は色合いの差を取得する情報取得部とを備え、
前記シェードでは、前記光学シースルー方式での画像表示の際に、前記情報取得部で取得された前記輝度及び／又は色合いの差に応じて、前記透明度が調整され、前記撮像画像の輝度が前記重畳画像の輝度よりも予め設定された値以上に大きい場合、及び／又は、前記撮像画像に対する前記重畳画像の色合いの差が予め設定された値以下になった場合に、前記透明度を自動的に下げることを特徴とする請求項１又は２記載の画像表示装置。

【請求項10】

前記シェードは、前記情報取得部で取得された前記撮像画像の色彩情報に応じて、所定の部分単位で、所定の色合い毎に前記透明度を調整可能に構成されていることを特徴とする請求項８又は９記載の画像表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像表示装置に係り、更に詳しくは、ヘッドマウントディスプレイ等に適用され、光学シースルー方式による画像表示とビデオシースルー方式による画像表示とを切り替え可能な画像表示装置に関する。

【背景技術】

【0002】

ユーザの頭部に装着され、所定の画像を外界の実空間に重ね合わせてユーザに視認させる透過型のヘッドマウントディスプレイが知られている。この透過型のヘッドマウントディスプレイの表示方式としては、ハーフミラー等を用いた光学的手法を用いることで、ユーザが直視する実空間の背景に所定の重畳画像を重ね合わせてユーザに提示する光学シースルー方式と、ユーザの視界に存在する実空間をビデオカメラで撮像し、当該撮像された実空間の映像を背景として前記重畳画像を重ね合わせた合成画像をユーザに提示するビデオシースルー方式とがある。

【0003】

このヘッドマウントディスプレイは、様々な分野での利用が進んでいるが、例えば、医療分野においては、手術現場で術者が装着するヘッドマウントディスプレイに、Ｘ線画像診断装置や超音波画像診断装置等によって得られた患者の診断画像を前記重畳画像として表示するシステムが知られている（例えば、特許文献１、２参照）。このように手術現場で術者がヘッドマウントディスプレイを用いる場合、実空間に存在する患者を直視しながら診断画像を視認したいとのニーズがあることから、術者には、特許文献２に開示されているような光学シースルー方式のヘッドマウントディスプレイ（以下、単に、「光学シースルーＨＭＤ」と称する）が好まれている。

【0004】

しかしながら、光学シースルーＨＭＤでは、背景となる実空間に重ね合される重畳画像の種類により、術者が直視する実空間の明るさとの関係で重畳画像が視認し難くなる場合がある。すなわち、例えば、手術現場は、通常の室内環境よりも遥かに明るい状態になっているため、重畳画像がモノクロの超音波診断画像の場合、超音波画像の背景が過度に明るい状態となり、術者は当該超音波画像が見にくくなり易い。

【0005】

ところで、特許文献３には、ユーザの動作に応じて、提示される重畳画像の輝度を電気的に調整可能な光学シースルーＨＭＤが開示されている。また、特許文献４には、液晶シャッター等を用い、ユーザが直視する実空間からの外界光の透過率を電気的に調整可能な光学シースルーＨＭＤが開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００４−８１５６９号公報

【特許文献2】特開２０１５−１５９９２９号公報

【特許文献3】特開２０１２−１９４５０１号公報

【特許文献4】特開２０１３−４４８３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、前記特許文献３，４のように、重畳画像の輝度を調整し、或いは、外界光の入射を制限するのみでは、外界光と重畳画像との関係によって、依然として重畳画像が見えにくくなる場合もあり得る。また、何等かの外力によって、光学シースルーＨＭＤの装着位置がずれた場合、ユーザの視界となる実空間と重畳画像の相対位置がずれてしまい、当該相対位置を維持しておきたいニーズがある場合に不十分となる。

【0008】

本発明は、このような課題に着目して案出されたものであり、その目的は、実空間の明るさや色の状態に関わらず、ユーザにとって重畳画像が見やすくなる画像表示態様を選択できる画像表示装置を提供することにある。

【課題を解決するための手段】

【0009】

前記目的を達成するため、本発明は、主として、ユーザの視界に存在する外界の実空間の一部領域に所定の重畳画像を重ね合わせた状態で前記ユーザに視認させる画像表示装置において、前記ユーザが実空間を直視可能な状態で前記重畳画像を表示する光学シースルー方式による画像表示と、付設された撮像装置で撮像した実空間の撮像画像に前記重畳画像を重ね合わせた合成画像を表示するビデオシースルー方式による画像表示とを選択的に行えるように構成された表示手段と、当該表示手段での画像表示方式を選択する表示方式選択手段と、前記表示手段に提示する提示画像を生成する提示画像生成手段とを備え、前記表示方式選択手段では、所定の条件に基づいて、前記光学シースルー方式による画像表示と前記ビデオシースルー方式による画像表示とを切り替えるように、前記表示手段に指令するとともに、選択された前記画像表示方式に対応した前記提示画像を生成するように、前記提示画像生成手段に指令する、という構成を採っている。

【発明の効果】

【0010】

本発明によれば、光学シースルー方式による画像表示とビデオシースルー方式による画像表示とを選択的に切り替えることができる。例えば、光学シースルー方式による画像表示を行っているときに、重畳画像の背景として入射する外界光と重畳画像の明るさの関係上、重畳画像が見にくくなる場合には、ビデオシースルー方式による画像表示に切り替えることができる。この場合、重畳画像の背景は撮像画像になるため、重畳画像の明るさや色合い等の色彩情報に応じて、撮像画像の画像処理を行うことでその輝度や色合いを任意に変更することができ、実環境の明るさに関わらず、背景に対して重畳画像を見やすくすることができる。また、本発明がヘッドマウントディスプレイに適用されたときのように、何等かの外力によって、その装着位置がずれた場合等においては、光学シースルー方式による画像表示では、その背景と重畳画像の相対位置関係が変化してしまうが、このような場合に、ビデオシースルー方式による画像表示に切り替えることで、背景となる撮像画像と重畳画像の相対位置を変化させないようにできる。従って、ヘッドマウントディスプレイの装着位置がずれても、ユーザの視界となる実空間と重畳画像の相対位置を維持しておきたいニーズに応えることができる。

【図面の簡単な説明】

【0011】

【図1】本発明の画像表示装置が適用された第１実施形態に係るヘッドマウントディスプレイの構成を表すブロック図。

【図2】入力部の操作量に対するシェードの透明度とカメラ画像の輝度の関係を表すグラフ。

【図3】（Ａ）〜（Ｅ）は、シェードの透明度とカメラ画像の輝度を連続的に変化させたときの表示画面の表示状態を表す模式図である。

【図4】第２実施形態に係るヘッドマウントディスプレイの構成を表すブロック図。

【図5】第３実施形態に係るヘッドマウントディスプレイの構成を表すブロック図。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について図面を参照しながら説明する。
（第１実施形態）

【0013】

図１には、本発明の画像表示装置が適用された第１実施形態に係るヘッドマウントディスプレイの構成を表すブロック図が示されている。この図において、ヘッドマウントディスプレイ１０は、所定の重畳画像を外界の実空間に重ね合わせてユーザに視認させる透過型のヘッドマウントディスプレイである。具体的に、このヘッドマウントディスプレイ１０は、ユーザの視界に存在する外界の実空間の一部領域に前記重畳画像を重ね合わせてユーザに視認させる画像表示装置１１と、ユーザの視界に存在する実空間を撮像するビデオカメラ等の撮像装置１２とを備えている。なお、特に限定されるものではないが、本実施形態のヘッドマウントディスプレイ１０は、医療現場で用いられ、ユーザである医師が手術等を行う際に頭部に装着することにより、自己の視界の範囲に存在する実空間の患者を視認しつつ、当該医師の視界の一領域に、別途取得した患者の超音波診断画像や各種情報となる文字群からなる画像等を重畳画像として提示するようになっている。

【0014】

前記画像表示装置１１は、ユーザが実空間を直視可能な状態で重畳画像を表示する光学シースルー方式による画像表示機能と、撮像装置１２で撮像した実空間のカメラ画像（撮像画像）に重畳画像を重ね合わせた合成画像を表示するビデオシースルー方式による画像表示機能とを有しており、これら機能を選択的に切り替え可能に構成されている。

【0015】

すなわち、画像表示装置１１は、ヘッドマウントディスプレイ１０の装着時にユーザの目の前に配置され、光学シースルー方式による画像表示とビデオシースルー方式による画像表示とを選択的に行えるように構成された表示手段１４と、表示手段１４での画像表示方式を選択する表示方式選択手段１５と、表示手段１４に提示する提示画像を生成する提示画像生成手段１６とを備えている。

【0016】

前記表示手段１４は、外界光が透過可能となる状態で提示画像生成手段１６からの提示画像を表示可能な表示画面１８と、使用に際して表示画面１８を挟んでユーザの反対側に配置され、表示方式選択手段１５からの指令により、表示画面１８に対する外界光の透過の程度である透明度を調整可能に機能するシェード１９とを備えている。なお、これら表示画面１８及びシェード１９は、公知の構造が採用されており、本発明の本質部分ではないため、構成及び作用について以下に簡単に説明し、構造についての詳細な説明は省略する。

【0017】

前記表示画面１８は、図示しないハーフミラーを用いた光学的構造により、外界からの光（外界光）が透過可能となる状態で、提示画像生成手段１６からの提示画像を表示可能な液晶ディスプレイからなる。

【0018】

前記シェード１９は、印加電圧を変更することにより、表示画面１８への外界光の透過の程度を表す透明度を電気的に調整可能な液晶シャッターや調光素子等からなる。

【0019】

前記表示方式選択手段１５及び提示画像生成手段１６は、ハードウェア及びソフトウェアによって構成され、所定の入力装置、ＣＰＵ等の演算処理装置、メモリやハードディスク等の記憶装置、及びこれら各装置を機能させるプログラムモジュール等から成り立っている。

【0020】

前記表示方式選択手段１５は、シェード１９の透明度と画像表示方式の切替について入力する入力部２１と、入力部２１による入力に応じて、表示手段１４での画像表示方式を切り替えるマニュアル切替部２２とを備えている。

【0021】

本実施形態の入力部２１は、入力指令を可変にする連続操作が可能なボリュームスイッチが用いられているが、本発明においては、以下と同様の作用を奏する限りにおいて、他の装置を用いることもできる。

【0022】

前記マニュアル切替部２２では、光学シースルー方式による画像表示のときに、入力部２１の操作量に応じてシェード１９の透明度を増減させるように、シェード１９への印加電圧を変化させる指令を行う。また、マニュアル切替部２２では、光学シースルー方式による画像表示で透明度が０％になったときに、光学シースルー方式からビデオシースルー方式に画像表示方式を切り替えた後、入力部２１の操作量に応じて、カメラ画像の輝度を増減する変更を行うように、提示画像生成手段１６に指令するようになっている。すなわち、図２に示されるように、一連のスイッチ操作により、光学シースルー方式のときには、同図中左側のグラフに示されるように、シェード１９の透明度が、操作量に応じて１００％から０％に連続的に変更され、当該透明度が０％に達した時点で、ビデオシースルー方式による画像表示に切り替わり、更にスイッチ操作を続けると、同図中右側のグラフに示されるように、操作量に応じて、カメラ画像の輝度が連続的に増大するようになっている。従って、入力部２１の連続操作により、ユーザが直視する外界光が次第に暗くなって、当該外界光が見えなくなった直後に、ユーザは、重畳画像の背景となる実空間をビデオ画像によって視認可能になり、当該ビデオ画像が徐々に明るくなるように、光学シースルー方式からビデオシースルー方式に連続的に切り替わることになる。

【0023】

具体的に、入力部２１の操作量が最小のときは、シェード１９の透明度が１００％となり、このとき、表示画面１８においては、光学シースルー方式により、図３（Ａ）に示されるように、ユーザにより外界の対象空間Ｓを完全に直視できる状態で、その所望の位置に重畳画像Ｄが重ね合されて表示される。この状態から入力部２１の操作量を増大すると、シェード１９の透明度が次第に低下することになり、同図（Ｂ）に示されるように、ユーザが直視する対象空間Ｓが徐々に暗くなる。そして、同図（Ｃ）に示されるように、最終的に外界光が完全に遮光され、ユーザは、対象空間Ｓを直視できずに重畳画像Ｄのみ視認可能な状態となる。ここで、シェード１９の透明度が０％となった時点から、入力部２１の操作量を更に上げると、シェード１９の透明度が０％のまま、画像表示方式がビデオシースルー方式に切り替わる。当該切り替え後、表示画面１８においては、同図（Ｄ）に示されるように、対象空間Ｓが撮像されたカメラ画像Ｃに重畳画像Ｄが重畳された状態で表示され始め、入力部２１での操作量の増大に伴い、カメラ画像Ｃが次第に明るくなる。当該操作量が最大になると、同図（Ｅ）に示されるように、光学シースルー方式におけるシェード１９の透明度を１００％としたときのような対象空間Ｓの視野が、カメラ画像Ｃを通じて得られることになる。
なお、上述の例では、入力部２１の操作量に応じてシェード１９の透明度及びカメラ画像の輝度のそれぞれを連続的に増減させたが、上述の例と同様の効果が得られるように、入力部２１の操作に応じてシェード１９の透明度及びカメラ画像の輝度のそれぞれを段階的に増減させてもよい。

【0024】

前記提示画像生成手段１６は、図示しない超音波診断装置その他各種装置から、患者の超音波診断画像や所定のメッセージ等の重畳画像を取り込む重畳画像取込部２４と、撮像装置１２で撮像された実空間のカメラ画像を取り込む撮像画像取込部２５と、表示方式選択手段１５からの指令に応じて、カメラ画像の画像処理を行う撮像画像処理部２６と、表示方式選択手段１５からの指令に応じて提示画像を決定し、当該提示画像を表示画面１８に提示する提示画像決定部２７とを備えている。

【0025】

表示方式選択手段１５で光学シースルー方式が選択されている場合、前記提示画像決定部２７では、重畳画像取込部２４からの重畳画像のみを提示画像として表示画面１８に提示するようになっている。なお、この場合は、前述したように、入力部２１の操作量に応じて、シェード１９における外界光の透過状態が調整される。

【0026】

一方、表示方式選択手段１５でビデオシースルー方式が選択されている場合、撮像画像処理部２６で、撮像画像取込部２５からのカメラ画像に対し、入力部２１の操作量に応じた輝度にするように画像処理を行った上で、前記提示画像決定部２７では、当該画像処理後のカメラ画像に、重畳画像取込部２４からの重畳画像を重ね合わせた合成画像を生成し、当該合成画像を提示画像として表示画面１８に提示するようになっている。なお、この場合は、シェード１９の透明度を０％にし、ユーザが実空間を直視できないように、ユーザの目への外界光の入射を遮断するようになっている。

【0027】

従って、このような第１実施形態によれば、ユーザの入力部２１の操作により、シェード１９の透明度が調整され、当該透明度に応じて画像表示方式の切り替えを行うことができる。すなわち、図２に示されるように、入力部２１の操作量が最小のときは、シェード１９の透明度が１００％となり、外界光は、全く遮光されずにユーザが直視可能となる。更に、この状態から入力部２１の操作量を上げると、シェード１９の透明度が徐々に低下することになり、ユーザが直視する外界光が徐々に暗くなって、最終的に外界光が完全に遮光されることになる。ここまでの間は、表示手段１４で光学シースルー方式の画像表示がなされ、外界光の入射による実空間を背景とし、その一部領域に重畳画像が表示され、ビデオシースルー方式による画像表示は行われない。そして、シェード１９の透明度が０％となった時点から、更に、入力部２１の操作量を上げると、シェード１９の透明度が０％のまま、画像表示方式がビデオシースルー方式に切り替わり、入力部２１の操作量に応じて、撮像装置１２で撮像された実空間のカメラ画像の輝度が徐々に増大し、重畳画像の背景となるカメラ画像が次第に明るくなる。すなわち、ビデオシースルー方式のときは、入力部２１の操作量により、カメラ画像による背景の明るさの調整が可能となる。

【0028】

次に、本発明の他の実施形態について説明する。なお、以下の説明において、前記第１実施形態と同一若しくは同等の構成部分については同一符号を用いるものとし、説明を省略若しくは簡略にする。
（第２実施形態）

【0029】

本実施形態では、所定の状態検出に基づいて、光学シースルー方式とビデオシースルー方式とを自動的に切り替えるようにしたところに特徴を有する。すなわち、図４に示されるように、本実施形態に係る画像表示装置３１は、第１の実施形態に係る画像表示装置１１に対し、手動モードとして機能する第１の実施形態に係る表示方式選択手段１５に代え、表示手段１４での画像表示方式を自動的に選択する自動モードとして機能する表示方式選択手段３５を備えている。

【0030】

前記表示方式選択手段３５は、所定の状態を検出する検出部３７と、検出部３７での検出結果に応じて表示手段１４での画像表示方式を切り替える自動切替部３８とを備えている。

【0031】

前記検出部３７は、表示画面１８の位置変化量を検出可能に構成されており、ヘッドマウントディスプレイに設けられた図示しない位置センサ等からなる。

【0032】

前記自動切替部３８では、光学シースルー方式が選択されているときに、検出部３７で検出された表示画面１８の位置変化量が所定値以上の場合、ビデオシースルー方式に切り替えるようになっている。

【0033】

なお、本実施形態においても、光学シースルー方式が選択されている場合には、前記提示画像決定部２７において、重畳画像取込部２４からの重畳画像のみを提示画像として表示画面１８に提示するようになっている。

【0034】

一方、ビデオシースルー方式が選択されている場合には、提示画像決定部２７において、撮像画像取込部２５からのカメラ画像に、重畳画像取込部２４からの重畳画像を重ね合わせた合成画像を生成し、当該合成画像を提示画像として表示画面１８に提示するようになっている。なお、この場合、第１実施形態と同様に、シェード１９の透明度が０％とされ、ユーザが実空間を直視できないようにユーザの目への外界光の入射が遮断される。

【0035】

このような第２実施形態によれば、外界の実空間の所望の領域に対する重畳画像の表示領域の誤差が大きくなると見込まれる場合に、ビデオシースルー方式による画像表示に切り替えることができる。例えば、外力等によりヘッドマウントディスプレイ１０の装着位置が不意にずれても、ビデオシースルー方式による画像表示に切り替わることで、ユーザは、実空間との相対位置が一定に維持された状態の重畳画像を視認することができ、手術現場等での使用において有用となる。

【0036】

また、本実施形態の変形例として、別の状態検出を可能にした検出部３７の検出結果により、自動切替部３８で画像表示方式を自動的に切り替える以下の態様が挙げられる。

【0037】

すなわち、当該変形例における検出部３７は、重畳画像取込部２４からの重畳画像と撮像画像取込部２５からのカメラ画像との色彩情報を対比し、公知の画像処理手法により、重畳画像の少なくとも周囲に位置するカメラ画像の領域に対する重畳画像の色合いの差を検出可能に構成されている。

【0038】

また、本変形例における自動切替部３８では、光学シースルー方式による画像表示が選択されているときに、検出部３７で検出された色合いの差、例えば、ＲＧＢの成分差等、が所定値以下の場合、ビデオシースルー方式に切り替えるようになっている。

【0039】

この場合、前記提示画像生成手段１６では、前記撮像画像処理部２６において、予め記憶されたデータに基づき、重畳画像とカメラ画像の色合いの差が所定値以上になるように、撮像画像取込部２５からのカメラ画像における色合いが変更される。その後、提示画像決定部２７において、色合いが変更されたカメラ画像に重畳画像が重ね合された合成画像が生成され、当該合成画像が表示手段１４に提示される。

【0040】

この変形例では、光学シースルー方式による画像表示の際、シェード１９による外界光の透明度の調整だけでは重畳画像の視認が難しいような場合、自動的にビデオシースルー方式に切り替えられ、重畳画像の色合いに応じて、当該重畳画像を見やすくするように、背景となるカメラ画像の色合いを変更して表示手段１４に提示する画像処理が行われる。例えば、手術時において、ユーザである医師の視線が、患者の臓器方向にある場合、実空間は赤主体の色合いになり、そこに、赤い文字群からなる重畳画像を提示しても、医師は当該文字群を視認しにくい。そこで、このような場合、検出部３７の検出結果により、光学シースルー方式からビデオシースルー方式に自動的に切り替えられ、重畳画像が見やすくなるようにカメラ画像の色合いが変更され、当該変更後のカメラ画像に重畳画像を重ね合わせた合成画像が医師の目前に提示されることになる。

【0041】

なお、第１の実施形態における表示方式選択手段１５と、第２の実施形態における表示方式選択手段３５とを併用し、前記手動モードと前記自動モードの何れかを選択可能にする構成を採用することもできる。

【0042】

（第３実施形態）
本実施形態では、光学シースルー方式での画像表示の際に、シェード１９の透明度の調整を入力部２１による手動操作で行わずに自動的に行えるようにしたところに特徴を有する。

【0043】

すなわち、図５に示されるように、本実施形態に係る画像表示装置４１は、第１実施形態に係る画像表示装置１１の表示手段１４に対し、カメラ画像の色彩情報を取得する情報取得部４２を更に設けた表示手段４４を採用し、シェード１９は、情報取得部４２により取得した色彩情報に基づき、透明度を自動調整するように構成される。

【0044】

前記情報取得部４２では、撮像画像取込部２５で取り込まれたカメラ画像の輝度に関する色彩情報を取得する公知の画像処理が行われる。すなわち、情報取得部４２では、ビデオカメラで撮像された実空間のカメラ画像の輝度に基づき、予め記憶されたデータ等から外界の実空間の明るさを推定するようになっている。なお、ここでの情報取得部４２は、実空間の明るさを検出できる限りにおいて、光検出センサ等に代替することも可能である。

【0045】

前記シェード１９では、情報取得部４２で取得されたカメラ画像の輝度から推定された実空間の明るさに応じ、予め記憶されたデータに基づいて透明度が自動的に調整される。

【0046】

本実施形態によれば、光学シースルー方式での画像表示の際に、外界の実空間の明るさに応じて、シェード１９の透明度の調整を自動的に行うことができる。例えば、外界が眩しい程明るいような場合に、ユーザによる操作によらず、重畳画像を見やすくするために、ユーザが直視する背景を暗くするように、シェード１９の透明度を自動的に下げることができる。

【0047】

また、前記情報取得部４２の変形例として、重畳画像取込部２４からの重畳画像の色彩情報と、撮像画像取込部２５で取り込まれたカメラ画像の色彩情報とを対比する機能を備え、シェード１９は、情報取得部４２での色彩情報の対比結果から、予め記憶されたデータに基づき透明度を自動的に調整する構成にしても良い。

【0048】

すなわち、この変形例における情報取得部４２では、公知の画像処理手法によって、重畳画像の少なくとも周囲に位置するカメラ画像の領域に対する重畳画像の輝度及び／又は色合いの差が検出される。シェード１９では、情報取得部４２からの情報により、重畳画像とカメラ画像の間での明るさや色合いの差が、予め設定された値以上になった場合に、予め記憶されたデータに基づき、重畳画像が見やすくなるように外界光の透過状態を自動調整する。

【0049】

当該変形例によれば、外界の実空間の色と重畳画像の色彩の関係に基づいて、シェード１９の透明度の調整を自動的に行うことができる。例えば、外界の実空間の明るさに対して重畳画像が暗い場合には、ユーザが直視する外界光の透過状態を減少させて背景部分を自動的に暗くすることにより、重畳画像を見やすくすることができる。また、外界の実空間と重畳画像の色合いが近似するような場合にも、外界光の透過状態を減少させることで重畳画像を見やすくすることができる。

【0050】

なお、以上の情報取得部４２は、第２実施形態の構成にも適用可能である。

【0051】

また、前記各実施形態や前記各変形例におけるシェード１９は、表示画面１８に対する外界光の透過の程度を一様に変更するものが採用されているが、部分（ドット）単位で、所定の色合い毎に透明度を変更できるものを採用することができる。この場合、カメラ画像の輝度及び／又は色合いに関する色彩情報を取得する前記情報取得部４２を採用し、シェード１９では、情報取得部４２で取得されたカメラ画像の色彩情報に応じて、所定の部分単位で、所定の色合い毎に前記透明度を調整するように機能する。これによれば、光学シースルー方式での画像表示の際に、ヘッドマウントディスプレイ１０を装着したユーザの視界の所定領域毎に透明度を変えることができ、例えば、重畳画像が赤一色のときに、外界光のうち赤色のみを遮光する等、重畳画像の色合いに応じ、重畳画像が見やすくなるように、背景となる外界光のうち、重畳画像の周辺に存在する所定の色彩のみをユーザに視認させないようなフィルタリングが可能になる。

【0052】

また、前記実施形態では、ヘッドマウントディスプレイ１０に画像表示装置１１，３１，４１を適用しているが、本発明はこれに限らず、その他の機器や装置等に適用することもできる。

【0053】

その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。

【符号の説明】

【0054】

１１ 画像表示装置
１２ 撮像装置
１４ 表示手段
１５ 表示方式選択手段
１６ 提示画像生成手段
１８ 表示画面
１９ シェード
２１ 入力部
２２ マニュアル切替部
３１ 画像表示装置
３５ 表示方式選択手段
３７ 検出部
３８ 自動切替部
４１ 画像表示装置
４２ 情報取得部
４４ 表示手段

【要約】

【課題】実空間の明るさや色の状態に関わらず、ユーザにとって重畳画像が見やすくなる画像表示態様を選択可能にする。
【解決手段】本発明の画像表示装置１１は、ユーザが実空間を直視可能な状態で重畳画像を表示する光学シースルー方式による画像表示と、撮像装置１２で撮像した実空間の撮像画像に重畳画像を重ね合わせた合成画像を表示するビデオシースルー方式による画像表示とを選択的に行えるように構成された表示手段１４と、表示手段１４での画像表示方式を選択する表示方式選択手段１５と、表示手段１４に提示する提示画像を生成する提示画像生成手段１６とを備えている。表示方式選択手段１５では、所定の条件に基づいて、光学シースルー方式による画像表示とビデオシースルー方式による画像表示とを切り替えるように、表示手段１４に指令するとともに、選択された画像表示方式に対応した提示画像を生成するように、提示画像生成手段１６に指令する。
【選択図】 図１

【図1】

【図2】

【図3】

【図4】

【図5】