(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022162382
(43)【公開日】2022-10-24
(54)【発明の名称】画像表示システムおよび画像表示方法
(51)【国際特許分類】
G09G 5/02 20060101AFI20221017BHJP
G09G 5/00 20060101ALI20221017BHJP
G09G 5/10 20060101ALI20221017BHJP
H04N 5/64 20060101ALI20221017BHJP
G02B 27/02 20060101ALI20221017BHJP
【FI】
G09G5/02 B
G09G5/00 510G
G09G5/00 550C
G09G5/00 510H
G09G5/10 B
G09G5/00 550B
H04N5/64 511A
G02B27/02 Z
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021067199
(22)【出願日】2021-04-12
(71)【出願人】
【識別番号】000201113
【氏名又は名称】船井電機株式会社
(74)【代理人】
【識別番号】100104433
【弁理士】
【氏名又は名称】宮園 博一
(74)【代理人】
【識別番号】100155608
【弁理士】
【氏名又は名称】大日方 崇
(72)【発明者】
【氏名】清水 真弥
【テーマコード(参考)】
2H199
5C182
【Fターム(参考)】
2H199CA03
2H199CA23
2H199CA25
2H199CA42
2H199CA45
2H199CA69
2H199CA83
2H199CA86
2H199CA94
5C182AA02
5C182AA03
5C182AA31
5C182AB08
5C182AB15
5C182AB21
5C182AB35
5C182AC03
5C182BA01
5C182BA06
5C182BA14
5C182BA25
5C182BA45
5C182BB02
5C182BB11
5C182BC22
5C182BC25
5C182CA01
5C182CA22
5C182CC24
5C182DA64
(57)【要約】
【課題】使用者が減光部材を介して表示部に表示された画像を目視する場合に、表示部に表示された画像の視認性の悪化を抑制することが可能な画像表示システムおよび画像表示方法を提供する。
【解決手段】この画像表示システム100は、使用者30の頭部に装着され、かつ、使用者30の眼前を覆う減光部材40の外側に設けられ、画像を表示する表示部11を含む頭部装着型表示装置10と、減光部材40を介して表示部11に表示された画像が撮像部21により撮像された撮像画像に基づいて、表示部11のカラーバランスを調整する制御部26と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
使用者の頭部に装着され、かつ、前記使用者の眼前を覆う減光部材の外側に設けられ、画像を表示する表示部を含む頭部装着型表示装置と、
前記減光部材を介して前記表示部に表示された前記画像が撮像部により撮像された撮像画像に基づいて、前記表示部のカラーバランスを調整する制御部と、を備える、画像表示システム。
【請求項2】
前記制御部は、前記画像における画素のR値、G値およびB値と、前記撮像画像における前記画像の画素に対応する画素のR値、G値およびB値とに基づいて、前記表示部のカラーバランスを調整するように構成されている、請求項1に記載の画像表示システム。
【請求項3】
前記制御部は、前記撮像画像の前記画素のR値、G値およびB値の比が、撮像された前記画像の前記画素のR値、G値およびB値の比と等しくなるように、前記表示部のR値、G値およびB値の比を調整するように構成されている、請求項2に記載の画像表示システム。
【請求項4】
前記画像は、前記表示部のカラーバランスを調整するために前記撮像部により撮像される調整用画像を含み、
前記調整用画像は、予め設定された形状を含むように構成され、
前記制御部は、撮像された前記調整用画像の前記形状の内側の画素に基づいて、前記表示部のカラーバランスを調整する、請求項1~3のいずれか1項に記載の画像表示システム。
【請求項5】
前記制御部と前記撮像部とを含む携帯型端末装置をさらに備える、請求項1~4のいずれか1項に記載の画像表示システム。
【請求項6】
前記制御部は、前記携帯型端末装置に対する操作に基づいて、予め取得された基準輝度値に基づいてカラーバランスが調整された前記表示部の輝度を変更するように構成されている、請求項5に記載の画像表示システム。
【請求項7】
前記頭部装着型表示装置は、外光を検出する光センサをさらに含み、
前記制御部は、前記光センサが検出した検出値に基づいて、前記表示部の輝度を変更するように構成されている、請求項1~5のいずれか1項に記載の画像表示システム。
【請求項8】
前記制御部は、現在時刻を取得する時刻取得部をさらに含み、前記時刻取得部が取得した現在時刻に基づいて、前記表示部の輝度を変更するように構成されている、請求項1~5のいずれか1項に記載の画像表示システム。
【請求項9】
前記頭部装着型表示装置は、前記表示部の画像が視認可能な開口部と、前記開口部に設けられ、所定方向の偏光を透過させ、かつ、前記所定方向以外の偏光を遮断する前記減光部材の偏光方向に対応するように、前記表示部から出射された画像光の偏光方向を回転させる光学部材と、をさらに含む、請求項1~7のいずれか1項に記載の画像表示システム。
【請求項10】
使用者の眼前を覆う減光部材の外側に設けられた頭部装着型表示装置の表示部に、画像を表示するステップと、
前記減光部材を介して前記表示部に表示された前記画像が撮像された撮像画像に基づいて、前記表示部のカラーバランスを調整するステップと、を備える、画像表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像表示システムおよび画像表示方法に関し、特に、頭部装着型表示装置と制御部とを備える画像表示システム、および、画像表示方法に関する。
【背景技術】
【0002】
従来、表示画像を使用者に視認させる頭部装着型表示装置が知られている(たとえば特許文献1参照)。この頭部装着型表示装置は、眼鏡形状に形成されている。
【0003】
頭部装着型表示装置を装着する使用者は、外景が変化することにより、光学パネルによって生成された原画像データに基づく表示画像と色合いが異なる表示画像を視認する場合がある。上記特許文献1に記載の頭部装着型表示装置は、原画像データに基づく表示画像に忠実な画像を使用者に視認させるために、原画像データのRGB成分を補正する。これにより、ホワイトバランスを調整した画像光を使用者に視認させる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献1には記載されていないが、自転車などによる移動時に用いられ、表示部に表示されたナビゲーション情報などの画像を眼鏡などを介して目視することが可能な頭部装着型表示装置が知られている。
【0006】
上記の自転車などによる移動時に用いられる頭部装着型表示装置では、使用者は有色のシールドやサングラスを介して表示部に表示された画像を目視する場合がある。この場合、表示部に表示された画像の本来の色と、使用者が有色のシールドやサングラスを介して目視する画像の色とが異なり得る。これにより、表示部に表示された画像の視認性が悪化する可能性がある。
【0007】
しかしながら、上記特許文献1に記載された頭部装着型表示装置は、外景の影響を抑制し、原画像データのRGB成分を補正することにより、原画像データに基づく表示画像に忠実な画像を眼鏡形状の頭部装着型表示装置に表示させるものである。上記特許文献1には、有色のシールドやサングラスを介して表示部に表示された画像を目視することによる、表示部に表示された画像の本来の色と、有色のシールドやサングラスを介して目視する画像の色とが異なる場合については考慮されていない。そのため、有色のシールドやサングラスを介して目視した画像の視認性の悪化を抑制することは困難である。その結果、使用者が有色のシールドやサングラスなどの減光部材を介して表示部に表示された画像を目視する場合に、表示部に表示された画像の視認性の悪化を抑制することが望まれている。
【0008】
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、使用者が減光部材を介して表示部に表示された画像を目視する場合に、表示部に表示された画像の視認性の悪化を抑制することが可能な画像表示システムおよび画像表示方法を提供することである。
【課題を解決するための手段】
【0009】
上記目的を達成するために、この発明の第1の局面による画像表示システムは、使用者の頭部に装着され、かつ、使用者の眼前を覆う減光部材の外側に設けられ、画像を表示する表示部を含む頭部装着型表示装置と、減光部材を介して表示部に表示された画像が撮像部により撮像された撮像画像に基づいて、表示部のカラーバランスを調整する制御部と、を備える。
【0010】
この発明の第1の局面による画像表示システムでは、上記のように、頭部装着型表示装置は、画像を表示する表示部を含み、制御部は、減光部材を介して表示部に表示された画像が撮像部により撮像された撮像画像に基づいて、表示部のカラーバランスを調整する。このように表示部のカラーバランスを調整することにより、表示部に表示された画像の本来の色と、使用者が減光部材を介して目視する画像の色とが異なることを抑制するようにカラーバランスを調整することができる。そのため、使用者が減光部材を介して表示部に表示された画像を目視する場合に、表示部に表示された画像の視認性の悪化を抑制することができる。
【0011】
この発明の第1の局面による画像表示システムにおいて、好ましくは、制御部は、画像における画素のR値、G値およびB値と、撮像画像における画像の画素に対応する画素のR値、G値およびB値とに基づいて、表示部のカラーバランスを調整するように構成されている。このように構成すれば、表示部に表示された画像の画素における色成分と、減光部材を介して撮像された画像の画素における色成分とに基づいて、表示部のカラーバランスを容易に調整することができる。
【0012】
この場合、好ましくは、制御部は、撮像画像の画素のR値、G値およびB値の比が、撮像された画像の画素のR値、G値およびB値の比と等しくなるように、表示部のR値、G値およびB値の比を調整するように構成されている。このように構成すれば、表示部に表示された画像の本来の色と、使用者が減光部材を介して目視する画像の色とが等しくなるように調整することができる。
【0013】
この発明の第1の局面による画像表示システムにおいて、好ましくは、画像は、表示部のカラーバランスを調整するために撮像部により撮像される調整用画像を含み、調整用画像は、予め設定された形状を含むように構成され、制御部は、撮像された調整用画像の形状の内側の画素に基づいて、表示部のカラーバランスを調整する。このように、撮像部により撮像される画像が、予め設定された形状を含む調整用画像であるように構成すれば、制御部は、撮像された調整用画像に含まれる予め設定された形状を容易に認識することができる。これにより、制御部は、表示部における撮像された調整用画像に含まれる色成分を検出すべき領域を容易に特定することができる。そのため、撮像された調整用画像の画素の色成分をより容易に取得することができる。
【0014】
この発明の第1の局面による画像表示システムにおいて、好ましくは、制御部と撮像部とを含む携帯型端末装置をさらに備える。このように構成すれば、制御部と撮像部とを同じ装置に設けることができるため、容易なシステム構成により表示部のカラーバランスを調整することができる。
【0015】
この場合、好ましくは、制御部は、携帯型端末装置に対する操作に基づいて、予め取得された基準輝度値に基づいてカラーバランスが調整された表示部の輝度を変更するように構成されている。このように構成すれば、表示部のカラーバランスの調整により表示部の輝度が低下した場合であっても、表示部の輝度を容易に変更することができる。
【0016】
この発明の第1の局面による画像表示システムにおいて、好ましくは、頭部装着型表示装置は、外光を検出する光センサをさらに含み、制御部は、光センサが検出した検出値に基づいて、表示部の輝度を変更するように構成されている。このように構成すれば、使用者の周囲の明暗に基づいて、表示部の輝度を容易に変更することができる。そのため、使用者の周囲の明暗に起因する、表示部に表示された画像の視認性の悪化を抑制することができる。
【0017】
この発明の第1の局面による画像表示システムにおいて、好ましくは、制御部は、現在時刻を取得する時刻取得部をさらに含み、時刻取得部が取得した現在時刻に基づいて、表示部の輝度を変更するように構成されている。このように構成すれば、現在時刻に基づいて、表示部の輝度を容易に変更することができる。そのため、時刻によって変化する使用者の周囲の明暗に起因する、表示部に表示された画像の視認性の悪化を抑制することができる。
【0018】
この発明の第1の局面による画像表示システムにおいて、好ましくは、頭部装着型表示装置は、表示部の画像が視認可能な開口部と、開口部に設けられ、所定方向の偏光を透過させ、かつ、所定方向以外の偏光を遮断する減光部材の偏光方向に対応するように、表示部から出射された画像光の偏光方向を回転させる光学部材とをさらに含む。このように構成すれば、減光部材が偏光サングラスなどであっても、表示部の偏光方向と減光部材の偏光方向とが異なることに起因する画像の減光を抑制することができる。そのため、表示部に表示された画像の視認性の悪化を抑制することができる。
【0019】
この発明の第2の局面による画像表示方法は、使用者の眼前を覆う減光部材の外側に設けられた頭部装着型表示装置の表示部に、画像を表示するステップと、減光部材を介して表示部に表示された画像が撮像された撮像画像に基づいて、表示部のカラーバランスを調整するステップと、を備える。
【0020】
この発明の第2の局面による画像表示方法では、上記第1の局面と同様に、減光部材を介して表示部に表示された画像が撮像された撮像画像に基づいて、表示部のカラーバランスを調整する。このように表示部のカラーバランスを調整することにより、表示部に表示された画像の本来の色と、使用者が減光部材を介して目視する画像の色とが異なることを抑制するようにカラーバランスを調整することができる。そのため、使用者が減光部材を介して表示部に表示された画像を目視する場合に、表示部に表示された画像の視認性の悪化を抑制することができる。
【発明の効果】
【0021】
本発明によれば、上記のように、使用者が減光部材を介して表示部に表示された画像を目視する場合に、表示部に表示された画像の視認性の悪化を抑制することが可能な画像表示システムおよび画像表示方法を提供することができる。
【図面の簡単な説明】
【0022】
【
図1】本実施形態による画像表示システムの概略を示したブロック図である。
【
図2】本実施形態による頭部装着型表示装置の使用態様および表示態様を示した模式図である。
【
図3】本実施形態による頭部装着型表示装置の構造を説明するための縦断面模式図である。
【
図4】本実施形態による頭部装着型表示装置の斜視模式図である。
【
図5】本実施形態による減光部材を介して第1表示部に表示された調整用画像を撮像して撮像画像を取得する態様を示した模式図である。
【
図6】本実施形態による調整用画像を示した模式図である。
【
図7】本実施形態による撮像画像を示した模式図である。
【
図8】本実施形態による第2表示部に表示される操作入力画面の一例を示す模式図である。
【
図9】本実施形態による第1表示部のカラーバランスの調整処理および輝度変更処理を説明するためのフローチャートである。
【
図10】変形例による頭部装着型表示装置の概略を示したブロック図である。
【
図11】変形例による頭部装着型表示装置の構造を説明するための縦断面模式図である。
【
図12】変形例による光学部材を含む頭部装着型表示装置の構造を説明するための縦断面模式図である。
【
図13】変形例による調整用画像を示した模式図である。
【0023】
[一実施形態]
(画像表示システムの構成)
図1~
図5を参照して、本発明の実施形態による画像表示システム100の構成について説明する。
【0024】
図1に示すように、本実施形態による画像表示システム100は、頭部装着型表示装置10と、携帯型端末装置20とを備える。
【0025】
(頭部装着型表示装置)
頭部装着型表示装置10は、筐体15と、第1表示部11と、光学部材12と、第1通信部13と、第1制御部14とを含む。第1表示部11、光学部材12、第1通信部13および第1制御部14は、筐体15の内部に収容されている。
図2に示すように、頭部装着型表示装置10は、使用者30の頭部に装着され、かつ、使用者30の眼前を覆う減光部材40の外側に設けられている。減光部材40は、たとえば、使用者30が装着するヘルメット41に取り付けられた減光効果を得るための有色のシールドや、使用者が装着するサングラスである。シールドは、使用者30の眼を保護するものである。頭部装着型表示装置10は、たとえば、使用者30が装着するヘルメット41に固定されるとともに、ヘルメット41に取り付けられた減光部材40の外側に設けられている。頭部装着型表示装置10は、たとえば、ヘッドマウントディスプレイ装置である。
【0026】
図2に示すように、使用者30が頭部装着型表示装置10を装着した場合、使用者30は、減光部材40を介して景色50を視認する。使用者30は、視界において景色50を視認可能であるとともに、景色50の一部に表示された画像60を視認可能である。なお、景色50は使用者30の視界を模したものであり、
図2では景色50を矩形の画像のように図示しているが、実際の見え方(視界)とは異なる。
図2に示す例では、画像60は景色50の右上に表示されている。
【0027】
第1表示部11は、携帯型端末装置20から送信された目的地までの経路を示すナビゲーション情報61などの画像60(
図2参照)を表示するように構成されている。第1表示部11は、たとえば、液晶パネルにより構成されている。第1表示部11は、図示しない複数の画素を含み、各画素は、R(赤)、G(緑)およびB(青)のカラーフィルターを含んでいる。第1表示部11は、3色のカラーフィルターを透過する光量が第1制御部により調整されることにより、各画素を所望の色により表示することができるように構成されている。なお、第1表示部11は、有機ELパネルなどにより構成されていても良い。
【0028】
第1表示部11は、
図2に示すように、ナビゲーション情報61として、たとえば、進行方向を変更する次の分岐点までの距離61a、分岐点での進行方向61b、および、目的地までの残りの距離61cを表示する。また、第1表示部11は、ナビゲーション情報61の他に、たとえば、現在時刻62、頭部装着型表示装置10の充電池16(
図3参照)の充電量63、携帯型端末装置に対する電話着信または電子メール受信の通知64、および、交通事故多発地点を示す情報65に関する画像60を表示するように構成されている。
図2において画像60は便宜上白色表示されているが、実際には、画像60はカラー表示されている。
図3に示すように、第1表示部11は、筐体15の内部の中央付近に配置されている。
【0029】
図3に示すように、光学部材12は、ミラー部12aとレンズ部12bとを含む。ミラー部12aは、筐体15の内部の下部に配置されている。レンズ部12bは、ミラー部12aと使用者30(
図2参照)の眼との間であって、筐体15の内部の下部に配置されている。レンズ部12bは、使用者30の眼の前方に位置して使用者30の視界の一部に重なるように配置されている。
図3および
図4に示すように、レンズ部12bは、筐体15に形成された開口部17から視認可能なように構成されている。第1表示部11に表示された画像60は、ミラー部12aおよびレンズ部12bを介して使用者30に視認可能となるように構成されている。本実施形態による頭部装着型表示装置10は、表示画面が透過しない非透過型ディスプレイであり、使用者の視界の一部に局所的に表示画面が配置されるインサイト型のディスプレイであり、使用者の視界が覆われておらず表示画面外の領域に背景が視認可能な開放型のディスプレイであり、表示画面を片目で見る単眼型のディスプレイである。
【0030】
第1通信部13は、携帯型端末装置20と無線通信を行うように構成されている。無線通信はBLE(登録商標)(Bluetooth Low Energy)通信により行われる。なお、無線通信はWi-Fi(登録商標)通信により行われても良い。また、第1通信部13は携帯型端末装置20と無線通信ではなく有線通信を行うように構成されていても良い。
【0031】
第1制御部14は、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)などを含む。第1制御部14は、後述する携帯型端末装置20の第2制御部26からの指示に基づいて、第1表示部11に上述した画像60を表示させる制御を行うように構成されている。また、第1制御部14は、第2制御部26からの指示に基づいて、第1表示部11のカラーバランスを調整するように構成されている。また、第1制御部14は、第2制御部26からの指示に基づいて、第1表示部11の輝度を変更するように構成されている。第1表示部11におけるカラーバランスの調整処理および輝度の変更処理については、後述する。
【0032】
また、第1制御部14は、携帯型端末装置20から、ナビゲーション情報61、現在時刻62、電話着信または電子メール受信の通知64、および、交通事故多発地点を示す情報65(
図2参照)などを取得する。
【0033】
(携帯型端末装置)
図1に示すように、携帯型端末装置20は、撮像部21と、記憶部22と、入力受付部23と、第2表示部24と、第2通信部25と、第2制御部26とを備える。携帯型端末装置20は、たとえば、使用者30(
図2参照)が携帯するスマートフォンである。
【0034】
撮像部21は、携帯型端末装置20の背面側20a(
図5参照)に設けられている。撮像部21は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を含むデジタルカメラである。撮像部21により撮像された画像は、記憶部22に記憶される。撮像部21は、入力受付部23に対する使用者30(
図2参照)による操作に基づいて撮像可能に構成されている。なお、撮像部21は、携帯型端末装置20の正面側20b(
図5参照)に設けられていてもよい。
【0035】
記憶部22は、撮像部21により撮像された撮像画像90(
図7参照)を記憶可能なように構成されている。記憶部22は、第1表示部11のカラーバランスを調整するために撮像部21により撮像される調整用画像70(
図6参照)を記憶するように構成されている。撮像画像90および調整用画像70については、後述する。
【0036】
また、記憶部22は、頭部装着型表示装置の製品仕様として予め設定された白色画像の輝度値を基準輝度値として記憶するように構成されている。記憶部22は、たとえば、不揮発性のメモリなどを含む。
【0037】
入力受付部23は、タッチパネルである。
図5に示すように、入力受付部23は、携帯型端末装置20の正面側20bに設けられている。入力受付部23は、使用者30(
図2参照)による各種の操作を受け付けるように構成されている。
【0038】
第2表示部24は、撮像部21により撮像された画像や入力受付部23を表示するように構成されている。第2表示部24は、液晶ディスプレイや有機ELディスプレイなどにより構成されている。第2表示部24は、携帯型端末装置20の正面側20bに設けられている。
【0039】
第2通信部25は、頭部装着型表示装置10と無線通信を行うように構成されている。上述したように、無線通信はBLE(登録商標)(Bluetooth Low Energy)通信などにより行われる。
【0040】
第2制御部26は、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)などを含む。第2制御部26は、現在時刻を取得する時刻取得部27を含む。第2制御部26は、第1制御部14を介して、第1表示部11に上述した画像60を表示させる制御を行うように構成されている。また、第2制御部26は、第1制御部14を介して、第1表示部11のカラーバランスを調整するように構成されている。また、第2制御部26は、第1制御部14を介して、第1表示部11の輝度を変更するように構成されている。
【0041】
また、第2制御部26は、図示しないサーバから、ナビゲーション情報61および交通事故多発地点を示す情報65(
図2参照)などを取得する。
【0042】
(第1表示部のカラーバランスの調整)
第2制御部26は、減光部材40を介して第1表示部11に表示された画像が撮像部により撮像された撮像画像90(
図7参照)に基づいて、第1表示部11のカラーバランスを調整するように構成されている。
【0043】
第2制御部26は、記憶部22に記憶された調整用画像70(
図6参照)を取得するように構成されている。第2制御部26は、取得した調整用画像70を第1表示部11に表示させるように、第1制御部14を制御するように構成されている。調整用画像70は、予め設定された形状を含むように構成されている。調整用画像は、たとえば、黒色を背景とする白色の星型形状の図形71を含む画像である。白色の星型図形71の部分の画素のR値、G値およびB値は既知である。第2制御部26は、調整用画像70における白色の星型図形71の部分の画素のR値、G値およびB値を取得するように構成されている。詳細には、第2制御部26は、調整用画像70の星型図形71の部分の画素のR、GおよびBのカラーフィルターを透過する出力光量の比を取得するように構成されている。
【0044】
また、第2制御部26は、減光部材40を介して第1表示部11に表示された調整用画像70が撮像部21により撮像された撮像画像90(
図7参照)を取得するように構成されている。なお、
図7に図示する撮像画像90は、撮像画像90のうちの調整用画像70が写る部分である。
図5に示すように、使用者30は、頭部装着型表示装置10に形成された開口部17に表示された調整用画像70を、減光部材40を介して撮像部21により撮像する。第2制御部26は、使用者30が減光部材を介して第1表示部11に表示された調整用画像70を撮像部21により撮像した撮像画像90を取得するように構成されている。第2制御部26は、撮像画像90における、調整用画像70の星型図形71の部分に対応する部分の画素92のR値、G値およびB値を取得するように構成されている。詳細には、第2制御部26は、撮像画像の星型図形71の部分91の画素92のR、GおよびBの光量の比を取得するように構成されている。なお、頭部装着型表示装置10は、製品の出荷時にホワイトバランスが調整されている。白色の画像においては、画素のR、GおよびBの出力光量の比は、「R:G:B=1:1:1」であり、白色の画像データの輝度値そのものである。
【0045】
また、第2制御部26は、取得した調整用画像70における星型図形71の部分の画素72のR値、G値およびB値と、取得した撮像画像90における星型図形71の部分に対応する部分の画素92のR値、G値およびB値とに基づいて、第1表示部11のカラーバランスを調整するように構成されている。詳細には、第2制御部26は、撮像画像90における星型図形71の部分に対応する部分91のR値、G値およびB値の比が、撮像された調整用画像70における星型図形71の部分の画素72のR値、G値およびB値の比と等しくなるように、第1表示部11のR値、G値およびB値の比を調整するように構成されている。
【0046】
第2制御部26による第1表示部11のカラーバランスの調整を、表1および表2を参照して説明する。なお、表1および表2に示す値は、いずれも一例である。第2制御部26は、調整用画像70の白色の星型図形71の部分の画素72のR、GおよびBのカラーフィルターを透過する出力光量の比を取得する。第2制御部26は、表1に示すように、調整用画像70の白色の星型図形71の部分の画素72のR、GおよびBの出力光量の比として、「R:G:B=1:1:1」(表1の項目1参照)を取得する。
【0047】
【0048】
また、第2制御部26は、減光部材40を介して調整用画像70が撮像された撮像画像90の星型図形71の部分91の画素92のR、GおよびBの光量の比を取得する。第2制御部26は、表1に示すように、撮像画像90の星型図形71の部分91の画素92のR、GおよびBの光量の比として、「R:G:B=0.5:0.25:0.25」(表1の項目2参照)を取得する。この場合、
図7においてハッチングにより示しているが、撮像画像90の星型図形71の部分91は、R比が高く、やや赤みがかっている。また、第2制御部26は、取得した撮像画像90の星型図形71の部分91の画素92のR、GおよびBの光量の比から、減光部材40のR、GおよびBの光量の透過率の比として、「R:G:B=0.5(=0.5/1.0):0.25(=0.25/1.0):0.25(=0.25/1.0)」(表1の項目3参照)を取得する。
【0049】
また、第2制御部26は、撮像画像90の星型図形71の部分91の画素92のR、GおよびBの光量の比「R:G:B=0.5:0.25:0.25」(表1の項目2参照)が、調整用画像70の白色の星型図形71の部分の画素72のR、GおよびBの出力光量の比「R:G:B=1:1:1」(表1の項目1参照)と同一となるように、第1表示部11のR値、G値およびB値の比を調整する。
【0050】
具体的には、第2制御部26は、第1制御部14を介して、第1表示部11において3色のカラーフィルターを透過する各々の光量を調整することにより、第1表示部11のカラーバランスを調整する。第2制御部26は、表2に示すように、減光部材40を介した星型図形71の部分の画素のR、GおよびBの光量の比が「R:G:B=0.5:0.25:0.25」(表1の項目2参照)から「R:G:B=0.25:0.25:0.25」(表2の項目5参照)となるように、第1表示部11のR、GおよびBの出力光量の相対比を、「R:G:B=1:1:1」から「R:G:B=0.5:1:1」(表2の項目4参照)とする調整を行う。
【0051】
【0052】
上述したように、減光部材40におけるR、GおよびBの透過率の相対比は「R:G:B=0.5:0.25:0.25」(表1の項目3参照)であるため、減光部材40を介した星型図形71の部分91の画素92のR、GおよびBの比は、「R:G:B=0.25(=0.5×0.5):0.25(=1×0.25):0.25(=1×0.25)」(表2の項目5参照)となる。つまり、第1表示部11のカラーバランス調整後の減光部材40を介した星型図形71の部分91の画素92のR、GおよびBの光量の比「R:G:B=0.25:0.25:0.25」は、カラーバランス調整前の調整用画像70の白色の星型図形71の部分の画素72のR、GおよびBの出力光量の比「R:G:B=1:1:1」と同一となる。
【0053】
(第1表示部の輝度の変更)
また、第2制御部26は、予め取得された基準輝度値に基づいて、カラーバランスが調整された第1表示部11の輝度を変更可能に構成されている。
【0054】
第2制御部26は、カラーバランスが調整された第1表示部11の輝度を変更するように構成されている。第2制御部26による第1表示部11のカラーバランスの調整により、カラーバランスの調整後の減光部材40を介した第1表示部11の輝度が、カラーバランスの調整前の減光部材40を介さない第1表示部11の輝度と比べて低下する場合がある。この場合において、使用者30は、カラーバランスの調整後の減光部材40を介して目視した第1表示部11の輝度を、カラーバランスの調整前の減光部材40を介さない第1表示部11の輝度と同等にしたいと考える場合がある。そこで、第2制御部26は、使用者30による携帯型端末装置20に対する操作に基づいて、予め取得された基準輝度値に基づいてカラーバランスの調整後の第1表示部11の輝度を変更するように構成されている。
【0055】
第2制御部26は、後述するカラーバランス調整開始の際に第2表示部24に表示された操作入力画面24a(
図8参照)において輝度変更の実行が選択されている場合、第1表示部11の輝度を変更するように構成されている。
【0056】
第2制御部26による第1表示部11の輝度の変更の一例を、表1~表3を参照して説明する。第2制御部26は、表1に示す、第1表示部11のカラーバランスの調整前における調整用画像70の白色の星型図形71の部分の画素72のR、GおよびBの出力光量の比「R:G:B=1:1:1」(表1の項目1参照)を取得する。ここで、第2制御部26は、第1表示部11のカラーバランスの調整前における調整用画像70の白色の星型図形71の部分の輝度値を基準輝度値とみなすことにより、基準輝度値における調整用画像70の白色の星型図形71の部分の画素72のR、GおよびBの出力光量の比として、「R:G:B=1:1:1」(表1の項目1参照)を取得する。
【0057】
また、第2制御部26は、表2に示すように、第1表示部11のカラーバランスの調整後における第1表示部11のR、GおよびBの出力光量の比「R:G:B=0.5:1:1」(表2の項目4参照)と、第1表示部11のカラーバランスの調整後における減光部材40を介した星型図形71の部分の画素のR、GおよびBの光量の比「R:G:B=0.25:0.25:0.25」(表2の項目5参照)と、を取得する。
【0058】
基準輝度値における調整用画像70の白色の星型図形71の部分の画素72のR、GおよびBの出力光量の比「R:G:B=1:1:1」(表1の項目1参照)に対して、カラーバランスの調整後の減光部材40を介した星型図形71の部分の画素のR、GおよびBの光量の比は、「R:G:B=0.25:0.25:0.25」(表2の項目5参照)である。すなわち、基準輝度値における第1表示部11の出力光量に対して、第1表示部11のカラーバランスの調整後における減光部材40を介した第1表示部11の光量は4分の1に減じている。
【0059】
そこで、第2制御部26は、表3に示すように、カラーバランス調整後の第1表示部11のR値、G値およびB値の比を変更することなく、カラーバランス調整後の第1表示部11のR、GおよびBの出力光量の比「R:G:B=0.5:1:1」(表2の項目4参照)に基づいて、第1表示部11のR、GおよびBの出力光量を4倍とすることにより、第1表示部11の輝度を変更する。詳細には、輝度調整後の第1表示部11のR、GおよびBの出力光量の比を、「R:G:B=2:4:4」(表3の項目6参照)とする。これにより、輝度変更後の減光部材40を介した第1表示部11のR、GおよびBの光量の比は、「R:G:B=1:1:1」(表3の項目7参照)となる。
【0060】
【0061】
(カラーバランス調整開始の際の第2表示部に表示される操作入力画面)
図8を参照して、本発明の実施形態によるカラーバランス調整開始の際の第2表示部24における操作入力画面24aの一例について説明する。
【0062】
第1表示部11におけるカラーバランスの調整の実行についての操作入力を入力受付部23が受け付けた場合、
図8に示すように、第2表示部24には、カラーバランス調整の実行開始の操作入力を受け付けるための操作入力画面24aが表示される。操作入力画面24aには、撮像部21により撮像可能な画像が表示される画像表示領域24b(いわゆるファインダー領域)と、輝度変更の実行に関する輝度変更スイッチ画像24cと、カラーバランス調整の実行に関する実行ボタン画像24dとが表示されている。
【0063】
画像表示領域24bは、撮像部21により撮像可能な画像を表示するように構成されている。画像表示領域24bは、枠画像24eを含む。減光部材40を介して撮像部21により撮像された調整用画像70が、枠画像24eに囲まれた部分に収まるように配置された状態において、使用者30により実行ボタン画像24dがタップ操作されることにより、撮像画像90が取得される。
【0064】
輝度変更スイッチ画像24cは、使用者30によるタップ操作により、カラーバランスが調整された第1表示部11の輝度を変更するか否かを選択する操作入力を受け付けるように構成されている。輝度変更スイッチ画像24cは、使用者30によるタップ操作により、輝度変更の実行(
図8に示す右側に黒丸図形が配置された状態)および不実行(左側に黒丸図形が配置された状態)を切り替えることができるように構成されている。
【0065】
実行ボタン画像24dは、使用者30によるタップ操作により、画像表示領域24bに表示された調整用画像70が撮像部21により撮像された撮像画像90を取得する操作入力を受け付けるとともに、第1表示部11におけるカラーバランス調整の実体的な実行処理の開始を受け付けるように構成されている。
【0066】
(第1表示部のカラーバランスの調整処理および輝度変更処理)
図8を参照して、本発明の実施形態による第1表示部11のカラーバランスの調整処理および輝度変更処理について説明する。
【0067】
ステップS1において、第2制御部26は、第1制御部14を介して第1表示部11に調整用画像70を表示させる。その後、処理はステップS2に進む。
【0068】
ステップS2において、第2制御部26は、第1制御部14を介して、第1表示部11に表示された調整用画像70の星型図形71の部分の画素72のR、GおよびBのカラーフィルターを透過する出力光量の比(表1の項目1参照)を取得する。その後、処理はステップS3に進む。
【0069】
ステップS3において、第2制御部26は、第2表示部24に、カラーバランス調整の実行開始の操作入力を受け付けるための操作入力画面24aを表示させる。なお、ステップS1~ステップS3は同時に行われるように構成されていても良い。その後、処理はステップS4に進む。
【0070】
ステップS4において、第2制御部26は、使用者30による実行ボタン画像24dのタップ操作を入力受付部23により受け付けたことに基づいて、減光部材40を介して第1表示部11に表示された調整用画像70が撮像部21により撮像された撮像画像90を取得する。その後、処理はステップS5に進む。
【0071】
ステップS5において、第2制御部26は、撮像画像90の星型図形71の部分91の画素92のR、GおよびBの光量の比(表1の項目2参照)を取得する。その後、処理はステップS6に進む。
【0072】
ステップS6において、第2制御部26は、撮像画像90の星型図形71の部分91の画素92のR、GおよびBの光量の比が、調整用画像70の白色の星型図形71の部分の画素72のR、GおよびBの出力光量の比と同一となるように、第1表示部11のR値、G値およびB値の比(表2の項目4参照)を調整する。すなわち、第2制御部26は、第1制御部14を介して第1表示部11のカラーバランスを調整する。その後、処理はステップS7に進む。
【0073】
ステップS7において、第2制御部26は、操作入力画面24aの輝度変更スイッチ画像24cにおいて、カラーバランスの調整後の第1表示部11の輝度変更を実行するように選択されているか否かを判定する。第2制御部26は、第1表示部11の輝度変更の実行が選択されていると判定した場合(ステップS7においてYes)、処理はステップS8に進み、第1表示部11の輝度変更の実行が選択されていないと判定した場合(ステップS7においてNo)、第2制御部26による第1表示部11の輝度変更処理は実行されず、かつ、第2制御部26による第1表示部11のカラーバランスの調整処理は終了する。
【0074】
ステップS8において、第2制御部26は、基準輝度値における調整用画像70の白色の星型図形71の部分の画素72のR、GおよびBの出力光量の比(表1の項目1参照)と、カラーバランスの調整後の第1表示部11のR、GおよびBの出力光量の比(表2の項目4参照)と、カラーバランスの調整後における減光部材40を介した星型図形71の部分91の画素92のR、GおよびBの光量の比(表2の項目5参照)と、を取得する。その後、処理はステップS9に進む。
【0075】
ステップS9において、第2制御部26は、基準輝度値における調整用画像70の白色の星型図形71の部分の画素のR、GおよびBの出力光量の比(表1の項目1参照)と、カラーバランス調整後の第1表示部11のR、GおよびBの出力光量の比(表2の項目4参照)と、カラーバランスの調整後における減光部材40を介した星型図形71の部分の画素のR、GおよびBの光量の比(表2の項目5参照)とに基づいて、第1表示部11のR、GおよびBの出力光量を変更(表3の項目6参照)することにより、第1表示部11の輝度を変更する。その後、第2制御部26による第1表示部11のカラーバランスの調整処理および輝度変更処理は終了する。
【0076】
(本実施形態の効果)
本実施形態では、上記のように、使用者30の頭部に装着され、かつ、使用者30の眼前を覆う減光部材40の外側に設けられ、画像を表示する第1表示部11を含む頭部装着型表示装置10と、減光部材40を介して第1表示部11に表示された画像が撮像部21により撮像された撮像画像90に基づいて、第1表示部11のカラーバランスを調整する第2制御部26と、を備える。第1表示部11のカラーバランスを調整することにより、第1表示部11に表示された画像の本来の色と、使用者30が減光部材40を介して目視する画像の色とが異なることを抑制するように第1表示部11のカラーバランスを調整することができる。そのため、使用者30が減光部材40を介して第1表示部11に表示された画像を目視する場合に、第1表示部11に表示された画像の視認性の悪化を抑制することができる。
【0077】
また、本実施形態では、上記のように、第2制御部26は、画像における画素のR値、G値およびB値と、撮像画像90における画像の画素に対応する画素92のR値、G値およびB値とに基づいて、第1表示部11のカラーバランスを調整するように構成されている。これにより、第1表示部11に表示された画像の画素における色成分と、減光部材40を介して撮像された画像の画素92における色成分とに基づいて、第1表示部11のカラーバランスを容易に調整することができる。
【0078】
また、本実施形態では、上記のように、第2制御部26は、撮像画像90の画素92のR値、G値およびB値の比が、撮像された画像の画素72のR値、G値およびB値の比と等しくなるように、第1表示部11のR値、G値およびB値の比を調整するように構成されている。これにより、第1表示部11に表示された画像の本来の色と、使用者30が減光部材40を介して目視する画像の色とが等しくなるように調整することができる。
【0079】
また、本実施形態では、上記のように、画像は、第1表示部のカラーバランスを調整するために撮像部21により撮像される調整用画像70を含み、調整用画像70は、予め設定された形状を含むように構成され、第2制御部26は、撮像された調整用画像70の形状の内側の画素92に基づいて、第1表示部11のカラーバランスを調整する。このように、撮像部21により撮像される画像が、予め設定された形状を含む調整用画像70であるように構成すれば、第2制御部26は、撮像された調整用画像70に含まれる予め設定された形状を容易に認識することができる。これにより、第2制御部26は、第1表示部11における撮像された調整用画像70に含まれる色成分を検出すべき領域を容易に特定することができる。そのため、撮像された調整用画像70の画素の色成分をより容易に取得することができる。
【0080】
また、本実施形態では、上記のように、第2制御部26と撮像部21とを含む携帯型端末装置20をさらに備える。このように構成すれば、第2制御部26と撮像部21とを同じ装置に設けることができるため、容易なシステム構成により第1表示部11のカラーバランスを調整することができる。
【0081】
また、本実施形態では、上記のように、第2制御部26は、携帯型端末装置20に対する操作に基づいて、予め取得された基準輝度値に基づいてカラーバランスが調整された第1表示部11の輝度を変更するように構成されている。このように構成すれば、第1表示部11のカラーバランスの調整により第1表示部11の輝度が低下した場合であっても、使用者30による携帯型端末装置20に対する操作に基づいて、第1表示部11の輝度を容易に変更することができる。
【0082】
(本実施形態による画像表示方法の効果)
本実施形態の画像表示方法では、以下のような効果を得ることができる。
【0083】
本実施形態の画像表示方法では、上記のように、使用者30の眼前を覆う減光部材40の外側に設けられた頭部装着型表示装置10の第1表示部11に、画像を表示するステップと、減光部材40を介して第1表示部に表示された画像が撮像された撮像画像90に基づいて、第1表示部11のカラーバランスを調整するステップと、を備える。第1表示部11のカラーバランスを調整することにより、第1表示部11に表示された画像の本来の色と、使用者30が減光部材40を介して目視する画像の色とが異なることを抑制するようにカラーバランスを調整することができる。そのため、使用者30が減光部材40を介して第1表示部11に表示された画像を目視する場合に、第1表示部11に表示された画像の視認性の悪化を抑制することができる。
【0084】
[変形例]
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
【0085】
たとえば、上記実施形態では、携帯型端末装置20に対する操作に基づいて、カラーバランスが調整された第1表示部11の輝度を変更するように構成されている例を示したが、本発明はこれに限られない。たとえば、
図10および
図11に示すように、頭部装着型表示装置10は、外光を検出する光センサ18をさらに含み、第2制御部26は、光センサ18が検出した検出値を取得するとともに、取得した検出値に基づいて、第1制御部14を介して第1表示部11の輝度を変更するように構成されていても良い。頭部装着型表示装置10は、窓部19をさらに含む。窓部19は、筐体15に設けられた開口である。窓部19には、透光性または半透明性の保護部材が設けられている。光センサ18は、筐体15の内部に収容されている。光センサ18は、窓部19により取り込まれた外光を検出可能なように構成されている。これにより、第2制御部26は、使用者30の周囲の明暗に基づいて、第1表示部11の輝度を容易に変更することができる。そのため、使用者30の周囲の明暗に起因する、第1表示部11に表示された画像の視認性の悪化を抑制することができる。
【0086】
また、たとえば、第2制御部26は、時刻取得部27(
図1参照)が取得した現在時刻に基づいて、第1制御部14を介して第1表示部11の輝度を変更するように構成されていても良い。これにより、現在時刻に基づいて、第1表示部11の輝度を容易に変更することができる。そのため、時刻によって変化する使用者30の周囲の明暗に起因する、第1表示部11に表示された画像の視認性の悪化を抑制することができる。
【0087】
また、上記実施形態では、減光部材40を介して第1表示部11に表示された画像を目視する例を示したが、本発明はこれに限られない。頭部装着型表示装置10は、たとえば、
図12に示されるように、開口部17に設けられ、所定方向の偏光を透過させ、かつ、所定方向以外の偏光を遮断する減光部材40の偏光方向に対応するように、第1表示部11から出射された画像光の偏光方向を回転させる光学部材80(
図12参照)をさらに含むように構成されていても良い。たとえば、減光部材40が偏光サングラスであって、減光部材40を装着した使用者30が直立して正面を向いた状態において、減光部材40が、上下方向の偏光を透過させ、かつ、上下方向以外の偏光を遮断するように構成されている場合、頭部装着型表示装置10は、開口部17に貼り付けられ、第1表示部11から出射された画像光の偏光方向を回転させて上下方向の偏光を透過するように構成されたシール部材をさらに含むように構成されていても良い。これにより、減光部材40が偏光サングラスなどであっても、第1表示部11の偏光方向と減光部材40の偏光方向とが異なることに起因する画像の減光を抑制することができる。そのため、第1表示部11に表示された画像の視認性の悪化を抑制することができる。尚、光学部材80は、具体的には1/2波長板である。
【0088】
また、上記実施形態では、調整用画像70は、黒色を背景とする白色の星型形状の図形71を含む画像である例を示したが、本発明はこれに限られない。たとえば、調整用画像70は、黒色を背景とする白色の丸型形状や多角形状の図形を含む画像であっても良い。また、たとえば、調整用画像70は、
図11に示すように、黒色を背景とする白色の渦巻き形状の図形73などを含む画像であっても良い。調整用画像70が黒色を背景とする白色の渦巻き形状の図形73を含む画像である場合、第2制御部26は、渦巻き形状の図形73を含む調整用画像70と、減光部材40を介して渦巻き形状の図形73を含む調整用画像70が撮像された撮像画像90を取得する。第2制御部26は、渦巻き形状の図形73を含む調整用画像70と、上記調整用画像70が撮像された撮像画像90とに基づいて、上記調整用画像70が撮像された撮像画像90における渦巻き形状の図形73の歪み量を検出する。第2制御部26は、検出した歪み量に基づいて、第1表示部11に表示する画像の歪み補正を行うように構成されていても良い。これにより、第1表示部11に表示された画像の視認性の悪化を抑制することができる。
【0089】
また、上記実施形態では、調整用画像70は、黒色を背景とする白色の星型形状の図形71を含む画像である例を示したが、本発明はこれに限られない。たとえば、第1表示部11に表示されて撮像部21により撮像された調整用画像70は、R値、G値およびB値が既知の画像であれば、白色以外の特定の図形を含む画像であっても良いし、特定の図形を含まない画像であっても良い。
【0090】
また、上記実施形態では、第2制御部26は、第2表示部24の操作入力画面24aにおいて輝度変更の実行が入力受付部23に受け付けられている場合、第1表示部11の輝度を変更するように構成されている例を示したが、本発明はこれに限られない。予め設定された第1表示部11のカラーバランスの調整後における輝度変更の実行または不実行が記憶部22に記憶され、かつ、記憶された設定が輝度変更の実行である場合に、第1表示部11の輝度が変更されても良い。
【0091】
また、上記実施形態では、第2制御部26による第1表示部11のカラーバランスの調整処理および輝度変更処理の終了により、カラーバランスの調整処理および輝度変更処理は終了する例を示したが、本発明はこれに限られない。第2制御部26による第1表示部11のカラーバランスの調整処理および輝度変更処理の終了後、使用者30による携帯型端末装置20に対する操作に基づいて、第1表示部11のカラーバランスの微調整、および、第1表示部11の輝度の微調整が実行可能であるように構成されていても良い。これにより、減光部材40を介して目視される第1表示部11に表示された画像を、使用者30の好みにあった色合いおよび輝度に調整することができる。
【0092】
また、上記実施形態では、第2制御部26は、減光部材40を介して調整用画像70が撮像部21により撮像された撮像画像90に基づいて、第1表示部11のカラーバランスを調整する例を示したが、本発明はこれに限られない。減光部材40における傷や汚れなどが形成された領域は、これらの傷や汚れなどに起因して透過率が低下する可能性がある。この場合、第1表示部11に表示された画像の視認性が悪化する可能性がある。そこで、たとえば、第2制御部26は、減光部材40を介して調整用画像70が撮像部21により撮像された撮像画像90に基づいて、部分的に輝度値が低い領域を検出するように構成されていても良い。また、第2制御部26は、部分的に輝度値が低い領域を検出した場合に、部分的に輝度値が低い領域における輝度の低下を補正するために、減光部材40の傷や汚れなどが形成された領域に対応する第1表示部11の領域の光量を増大させても良い。これにより、減光部材40の傷や汚れなどに起因する、第1表示部11に表示された画像の視認性の悪化を抑制することができる。
【0093】
また、上記実施形態では、頭部装着型表示装置10の製品仕様として予め設定された白色画像の輝度値を基準輝度値とする例を示したが、本発明はこれに限られない。基準輝度値として、第1表示部11のカラーバランスの調整前において減光部材40を介さずに予め撮像部21により撮像された調整用画像70の白色の星型図形71の部分の輝度値を記憶部に記憶するように構成されていても良い。これにより、減光部材40を介さない第1表示部11の輝度と同等な輝度値を基準輝度値として設定することができる。
【0094】
また、上記実施形態では、第2制御部26と撮像部21とは同一のスマートフォンに備えられる例を示したが、本発明はこれに限られない。第2制御部26と撮像部21とが、異なる装置に備えられていても良い。たとえば、第2制御部26がタブレット端末に備えられ、撮像部21がタブレット端末とは異なるデジタルカメラに備えられていても良い。
【0095】
また、上記実施形態では、第2制御部26は、調整用画像70における画素のR値、G値およびB値と、撮像画像90における調整用画像70の画素72に対応する画素92のR値、G値およびB値とに基づいて、第1表示部11のカラーバランスを調整するように構成されている例を示したが、本発明はこれに限られない。たとえば、第2制御部26は、調整用画像70における画素72のC値、M値、Y値およびK値と、撮像画像90における調整用画像70の画素72に対応する画素92のC値、M値、Y値およびK値とに基づいて、第1表示部11のカラーバランスを調整するように構成されていても良い。
【符号の説明】
【0096】
10 頭部装着型表示装置
11 第1表示部
17 開口部
18 光センサ
20 携帯型端末装置
21 撮像部
26 第2制御部
27 時刻取得部
30 使用者
40 減光部材
70 調整用画像
80 光学部材
90 撮像画像
100 画像表示システム