知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022170475
(43)【公開日】2022-11-10
(54)【発明の名称】ヘッドマウントディスプレイ
(51)【国際特許分類】
H04N 5/64 20060101AFI20221102BHJP
【ＦＩ】
H04N5/64 511A
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2021076627
(22)【出願日】2021-04-28
(71)【出願人】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】110000914
【氏名又は名称】弁理士法人ＷｉｓｅＰｌｕｓ
(72)【発明者】
【氏名】三成 千明
(72)【発明者】
【氏名】ムジラネザ ジョン
(72)【発明者】
【氏名】臼倉 奈留
(57)【要約】
【課題】ユーザの覚醒度合いに応じて動作させることができるヘッドマウントディスプレイを提供する。
【解決手段】装着時にユーザの眼が外光から遮蔽された空間内に配置されるヘッドマウントディスプレイであって、映像光を出射する表示部と、上記映像光がユーザの眼で反射された反射光を検出する光センサと、を有する表示パネルを備え、上記反射光の輝度情報に基づきユーザの覚醒度を算出する判定部を備えるヘッドマウントディスプレイ。
【選択図】 図２Ａ
【解決手段】装着時にユーザの眼が外光から遮蔽された空間内に配置されるヘッドマウントディスプレイであって、映像光を出射する表示部と、上記映像光がユーザの眼で反射された反射光を検出する光センサと、を有する表示パネルを備え、上記反射光の輝度情報に基づきユーザの覚醒度を算出する判定部を備えるヘッドマウントディスプレイ。
【選択図】 図２Ａ
【特許請求の範囲】
【請求項1】
装着時にユーザの眼が外光から遮蔽された空間内に配置されるヘッドマウントディスプレイであって、
映像光を出射する表示部と、
前記映像光がユーザの眼で反射された反射光を検出する光センサと、を有する表示パネルを備え、
前記反射光の輝度情報に基づきユーザの覚醒度を算出する判定部を備えることを特徴とするヘッドマウントディスプレイ。
映像光を出射する表示部と、
前記映像光がユーザの眼で反射された反射光を検出する光センサと、を有する表示パネルを備え、
前記反射光の輝度情報に基づきユーザの覚醒度を算出する判定部を備えることを特徴とするヘッドマウントディスプレイ。
【請求項2】
前記光センサは、ユーザの瞳の中心線に対する前記映像光の入射角が５０度以内となる領域の外側に配置されていることを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項3】
前記光センサは、前記表示部の内接円に対して８０％の直径を有する同心円を想定したときに、前記同心円の外側の領域に配置されていることを特徴とする請求項１又は２に記載のヘッドマウントディスプレイ。
【請求項4】
前記表示パネルは、薄膜トランジスタ基板、液晶層及び対向基板を有する液晶パネルであり、
前記光センサは、薄膜トランジスタ基板に配置されていることを特徴とする請求項１～３のいずれかに記載のヘッドマウントディスプレイ。
前記光センサは、薄膜トランジスタ基板に配置されていることを特徴とする請求項１～３のいずれかに記載のヘッドマウントディスプレイ。
【請求項5】
前記ヘッドマウントディスプレイは、ユーザの眼球で反射される場合の第一の反射光量、及び、ユーザの瞼で反射される場合の第二の反射光量を記憶する記憶部を備え、
前記判定部は、前記第一の反射光量、及び、前記第二の反射光量と、前記光センサで検出した前記反射光の輝度情報と、を比較して、ユーザの前記覚醒度が、前記第一の反射光量から算出される第一の基準覚醒度及び前記第二の反射光量から算出される第二の基準覚醒度のいずれの値に近いかを判定することを特徴とする請求項１～４のいずれかに記載のヘッドマウントディスプレイ。
前記判定部は、前記第一の反射光量、及び、前記第二の反射光量と、前記光センサで検出した前記反射光の輝度情報と、を比較して、ユーザの前記覚醒度が、前記第一の反射光量から算出される第一の基準覚醒度及び前記第二の反射光量から算出される第二の基準覚醒度のいずれの値に近いかを判定することを特徴とする請求項１～４のいずれかに記載のヘッドマウントディスプレイ。
【請求項6】
前記ヘッドマウントディスプレイは、前記表示部を制御する映像制御部を有し、
ユーザの前記覚醒度が前記第一の基準覚醒度よりも前記第二の基準覚醒度により近いという前記判定部の判定結果に基づき、前記映像制御部は、前記映像光の輝度を低下させる睡眠導入処理を行うことを特徴とする請求項５に記載のヘッドマウントディスプレイ。
ユーザの前記覚醒度が前記第一の基準覚醒度よりも前記第二の基準覚醒度により近いという前記判定部の判定結果に基づき、前記映像制御部は、前記映像光の輝度を低下させる睡眠導入処理を行うことを特徴とする請求項５に記載のヘッドマウントディスプレイ。
【請求項7】
前記ヘッドマウントディスプレイは、前記表示部を制御する映像制御部を有し、
ユーザの前記覚醒度が前記第一の基準覚醒度よりも前記第二の基準覚醒度により近いという前記判定部の判定結果に基づき、前記映像制御部は、前記表示部が表示する映像を睡眠導入用の映像に変更する睡眠導入処理を行うことを特徴とする請求項５に記載のヘッドマウントディスプレイ。
ユーザの前記覚醒度が前記第一の基準覚醒度よりも前記第二の基準覚醒度により近いという前記判定部の判定結果に基づき、前記映像制御部は、前記表示部が表示する映像を睡眠導入用の映像に変更する睡眠導入処理を行うことを特徴とする請求項５に記載のヘッドマウントディスプレイ。
【請求項8】
前記ヘッドマウントディスプレイは、音響を出力する音響出力部と、前記音響出力部を制御する音響制御部とを有し、
ユーザの前記覚醒度が前記第一の基準覚醒度よりも前記第二の基準覚醒度により近いという前記判定部の判定結果に基づき、前記音響制御部は、前記音響の音量を低下させる睡眠導入処理を行うことを特徴とする請求項５～７のいずれかに記載のヘッドマウントディスプレイ。
ユーザの前記覚醒度が前記第一の基準覚醒度よりも前記第二の基準覚醒度により近いという前記判定部の判定結果に基づき、前記音響制御部は、前記音響の音量を低下させる睡眠導入処理を行うことを特徴とする請求項５～７のいずれかに記載のヘッドマウントディスプレイ。
【請求項9】
前記ヘッドマウントディスプレイは、音響を出力する音響出力部と、前記音響出力部を制御する音響制御部とを有し、
ユーザの前記覚醒度が前記第一の基準覚醒度よりも前記第二の基準覚醒度により近いという前記判定部の判定結果に基づき、前記音響制御部は、前記音響出力部が出力する音響を睡眠導入用の音響に変更する睡眠導入処理を行うことを特徴とする請求項５～７のいずれかに記載のヘッドマウントディスプレイ。
ユーザの前記覚醒度が前記第一の基準覚醒度よりも前記第二の基準覚醒度により近いという前記判定部の判定結果に基づき、前記音響制御部は、前記音響出力部が出力する音響を睡眠導入用の音響に変更する睡眠導入処理を行うことを特徴とする請求項５～７のいずれかに記載のヘッドマウントディスプレイ。
【請求項10】
前記ヘッドマウントディスプレイは、前記表示部を制御する映像制御部を有し、
ユーザの前記覚醒度が前記第一の基準覚醒度よりも前記第二の基準覚醒度により近いという前記判定部の判定結果に基づき、前記映像制御部は、前記映像光の輝度を上昇させる覚醒処理を行うことを特徴とする請求項５に記載のヘッドマウントディスプレイ。
ユーザの前記覚醒度が前記第一の基準覚醒度よりも前記第二の基準覚醒度により近いという前記判定部の判定結果に基づき、前記映像制御部は、前記映像光の輝度を上昇させる覚醒処理を行うことを特徴とする請求項５に記載のヘッドマウントディスプレイ。
【請求項11】
前記ヘッドマウントディスプレイは、前記表示部を制御する映像制御部を有し、
ユーザの前記覚醒度が前記第一の基準覚醒度よりも前記第二の基準覚醒度により近いという前記判定部の判定結果に基づき、前記映像制御部は、前記表示部が表示する映像を覚醒用の映像に変更する覚醒処理を行うことを特徴とする請求項５に記載のヘッドマウントディスプレイ。
ユーザの前記覚醒度が前記第一の基準覚醒度よりも前記第二の基準覚醒度により近いという前記判定部の判定結果に基づき、前記映像制御部は、前記表示部が表示する映像を覚醒用の映像に変更する覚醒処理を行うことを特徴とする請求項５に記載のヘッドマウントディスプレイ。
【請求項12】
前記ヘッドマウントディスプレイは、音響を出力する音響出力部と、前記音響出力部を制御する音響制御部とを有し、
ユーザの前記覚醒度が前記第一の基準覚醒度よりも前記第二の基準覚醒度により近いという前記判定部の判定結果に基づき、前記音響制御部は、前記音響の音量を上昇させる覚醒処理を行うことを特徴とする請求項５、１０又は１１のいずれかに記載のヘッドマウントディスプレイ。
ユーザの前記覚醒度が前記第一の基準覚醒度よりも前記第二の基準覚醒度により近いという前記判定部の判定結果に基づき、前記音響制御部は、前記音響の音量を上昇させる覚醒処理を行うことを特徴とする請求項５、１０又は１１のいずれかに記載のヘッドマウントディスプレイ。
【請求項13】
前記ヘッドマウントディスプレイは、音響を出力する音響出力部と、前記音響出力部を制御する音響制御部とを有し、
ユーザの前記覚醒度が前記第一の基準覚醒度よりも前記第二の基準覚醒度により近いという前記判定部の判定結果に基づき、前記音響制御部は、前記音響出力部が覚醒用の音響を出力するよう覚醒処理を行うことを特徴とする請求項５、１０又は１１のいずれかに記載のヘッドマウントディスプレイ。
ユーザの前記覚醒度が前記第一の基準覚醒度よりも前記第二の基準覚醒度により近いという前記判定部の判定結果に基づき、前記音響制御部は、前記音響出力部が覚醒用の音響を出力するよう覚醒処理を行うことを特徴とする請求項５、１０又は１１のいずれかに記載のヘッドマウントディスプレイ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ヘッドマウントディスプレイに関する。より詳しくは、没入型のヘッドマウントディスプレイに関するものである。
【背景技術】
【0002】
ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）は、ユーザの頭部に装着された状態でユーザが画像を見ることができるように画像を出力する表示装置である。ＨＭＤとしては、例えば、片眼の眼前に画像出力部が設けられる片眼型のＨＭＤと、両眼を完全に覆い、ユーザの視野にはＨＭＤの表示のみが見えるようにした没入型のＨＭＤとがある。
【0003】
片眼型のＨＭＤでは、画像出力部からの画像と、外部の景色とが同時に視野に入る。一方、没入型のＨＭＤでは、両眼が完全に覆われ、外光が遮蔽されて深い没入感が得られ、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）デバイスとも呼ばれる。
【0004】
ヘッドマウントディスプレイに関する技術として、例えば、特許文献１には、少なくとも一方の眼の眼前において画像を表示するヘッドマウントディスプレイにおいて、画像を表示する画像出力部と、上記画像出力部のおかれている環境の明るさを検出する光センサと、上記画像出力部および上記光センサを支持すると共に、ユーザの頭部に装着するための支持部とを有し、上記画像出力部は、上記光センサの検出結果に応じて、表示される画像の明るさが可変であるヘッドマウントディスプレイが開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２００４－２３３９０８号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
覚醒（目が覚めている）状態でＶＲデバイスを利用し、その後、覚醒度が低下してＶＲデバイスを装着したまま睡眠状態となってしまう場合、ＶＲデバイスが備えるディスプレイから照射される光がユーザの瞼を通して眼球を刺激し、ユーザが深い眠りを得られ難いという課題がある。具体的には、ＶＲデバイスを用いて映像を鑑賞している最中、ゲームをプレイしている最中等に、ユーザがいつの間にか眠ってしまう、いわゆる「寝落ち」状態に陥った場合においても、ＶＲデバイスからの光は継続して照射され続ける。そのため、ユーザは睡眠中であるにもかかわらず、瞼を通じてＶＲデバイスからの光刺激を感じ続けることとなり、質の良い睡眠の効果が得られ難い、という課題があった。また、寝落ち状態に陥ることを防止することが求められる場合もあった。
【0007】
上記特許文献１では、ヘッドマウントディスプレイを使用中のユーザが睡眠状態にあるか否かは検討されていない。
【0008】
本発明は、上記現状に鑑みてなされたものであり、ユーザの覚醒度合いに応じて動作させることができるヘッドマウントディスプレイを提供することを目的とするものである。
【課題を解決するための手段】
【0009】
（１）本発明の一実施形態は、装着時にユーザの眼が外光から遮蔽された空間内に配置されるヘッドマウントディスプレイであって、映像光を出射する表示部と、上記映像光がユーザの眼で反射された反射光を検出する光センサと、を有する表示パネルを備え、上記反射光の輝度情報に基づきユーザの覚醒度を算出する判定部を備えるヘッドマウントディスプレイ。
【0010】
（２）また、本発明のある実施形態は、上記（１）の構成に加え、上記光センサは、ユーザの瞳の中心線に対する上記映像光の入射角が５０度以内となる領域の外側に配置されている、ヘッドマウントディスプレイ。
【0011】
（３）また、本発明のある実施形態は、上記（１）又は上記（２）の構成に加え、上記光センサは、上記表示部の内接円に対して８０％の直径を有する同心円を想定したときに、上記同心円の外側の領域に配置されている、ヘッドマウントディスプレイ。
【0012】
（４）また、本発明のある実施形態は、上記（１）、上記（２）又は上記（３）の構成に加え、上記表示パネルは、薄膜トランジスタ基板、液晶層及び対向基板を有する液晶パネルであり、上記光センサは、薄膜トランジスタ基板に配置されている、ヘッドマウントディスプレイ。
【0013】
（５）また、本発明のある実施形態は、上記（１）、上記（２）、上記（３）又は上記（４）の構成に加え、上記ヘッドマウントディスプレイは、ユーザの眼球で反射される場合の第一の反射光量、及び、ユーザの瞼で反射される場合の第二の反射光量を記憶する記憶部を備え、上記判定部は、上記第一の反射光量、及び、上記第二の反射光量と、上記光センサで検出した上記反射光の輝度情報と、を比較して、ユーザの上記覚醒度が、上記第一の反射光量から算出される第一の基準覚醒度及び上記第二の反射光量から算出される第二の基準覚醒度のいずれの値に近いかを判定する、ヘッドマウントディスプレイ。
【0014】
（６）また、本発明のある実施形態は、上記（５）の構成に加え、上記ヘッドマウントディスプレイは、上記表示部を制御する映像制御部を有し、ユーザの上記覚醒度が上記第一の基準覚醒度よりも上記第二の基準覚醒度により近いという上記判定部の判定結果に基づき、上記映像制御部は、上記映像光の輝度を低下させる睡眠導入処理を行う、ヘッドマウントディスプレイ。
【0015】
（７）また、本発明のある実施形態は、上記（５）の構成に加え、上記ヘッドマウントディスプレイは、上記表示部を制御する映像制御部を有し、ユーザの上記覚醒度が上記第一の基準覚醒度よりも上記第二の基準覚醒度により近いという上記判定部の判定結果に基づき、上記映像制御部は、上記表示部が表示する映像を睡眠導入用の映像に変更する睡眠導入処理を行う、ヘッドマウントディスプレイ。
【0016】
（８）また、本発明のある実施形態は、上記（５）、上記（６）又は上記（７）の構成に加え、上記ヘッドマウントディスプレイは、音響を出力する音響出力部と、上記音響出力部を制御する音響制御部とを有し、ユーザの上記覚醒度が上記第一の基準覚醒度よりも上記第二の基準覚醒度により近いという上記判定部の判定結果に基づき、上記音響制御部は、上記音響の音量を低下させる睡眠導入処理を行う、ヘッドマウントディスプレイ。
【0017】
（９）また、本発明のある実施形態は、上記（５）、上記（６）又は上記（７）の構成に加え、上記ヘッドマウントディスプレイは、音響を出力する音響出力部と、上記音響出力部を制御する音響制御部とを有し、ユーザの上記覚醒度が上記第一の基準覚醒度よりも上記第二の基準覚醒度により近いという上記判定部の判定結果に基づき、上記音響制御部は、上記音響出力部が出力する音響を睡眠導入用の音響に変更する睡眠導入処理を行う、ヘッドマウントディスプレイ。
【0018】
（１０）また、本発明のある実施形態は、上記（５）の構成に加え、上記ヘッドマウントディスプレイは、上記表示部を制御する映像制御部を有し、ユーザの上記覚醒度が上記第一の基準覚醒度よりも上記第二の基準覚醒度により近いという上記判定部の判定結果に基づき、上記映像制御部は、上記映像光の輝度を上昇させる覚醒処理を行う、ヘッドマウントディスプレイ。
【0019】
（１１）また、本発明のある実施形態は、上記（５）の構成に加え、上記ヘッドマウントディスプレイは、上記表示部を制御する映像制御部を有し、ユーザの上記覚醒度が上記第一の基準覚醒度よりも上記第二の基準覚醒度により近いという上記判定部の判定結果に基づき、上記映像制御部は、上記表示部が表示する映像を覚醒用の映像に変更する覚醒処理を行う、ヘッドマウントディスプレイ。
【0020】
（１２）また、本発明のある実施形態は、上記（５）、上記（１０）又は上記（１１）の構成に加え、上記ヘッドマウントディスプレイは、音響を出力する音響出力部と、上記音響出力部を制御する音響制御部とを有し、ユーザの上記覚醒度が上記第一の基準覚醒度よりも上記第二の基準覚醒度により近いという上記判定部の判定結果に基づき、上記音響制御部は、上記音響の音量を上昇させる覚醒処理を行う、ヘッドマウントディスプレイ。
【0021】
（１３）また、本発明のある実施形態は、上記（５）、上記（１０）又は上記（１１）の構成に加え、上記ヘッドマウントディスプレイは、音響を出力する音響出力部と、上記音響出力部を制御する音響制御部とを有し、ユーザの上記覚醒度が上記第一の基準覚醒度よりも上記第二の基準覚醒度により近いという上記判定部の判定結果に基づき、上記音響制御部は、上記音響出力部が覚醒用の音響を出力するよう覚醒処理を行う、ヘッドマウントディスプレイ。
【発明の効果】
【0022】
本発明によれば、ユーザの覚醒度合いに応じて動作させることができるヘッドマウントディスプレイを提供することができる。
【図面の簡単な説明】
【0023】
【図1】実施形態のヘッドマウントディスプレイの外観の一例を示す斜視模式図である。
【図2A】実施形態のヘッドマウントディスプレイが備える表示パネルについて説明する模式図である。
【図2B】実施形態のヘッドマウントディスプレイが備える表示パネルのＦＯＶが接眼レンズで規定される場合を説明する模式図である。
【図2C】実施形態のヘッドマウントディスプレイが備える表示パネルのＦＯＶが筐体で規定される場合を説明する模式図である。
【図3】実施形態のヘッドマウントディスプレイの構成を説明するブロック図である。
【図4】実施形態のヘッドマウントディスプレイの一例を説明する図であり、１ディスプレイ方式のヘッドマウントディスプレイの模式図である。
【図5】実施形態のヘッドマウントディスプレイの一例を説明する図であり、２ディスプレイ方式のヘッドマウントディスプレイの模式図である。
【図6】実施形態のヘッドマウントディスプレイが備える表示パネルの一例について説明する平面模式図である。
【図7】実施形態のヘッドマウントディスプレイの光学系の一例を説明する模式図である。
【図8】実施形態のヘッドマウントディスプレイが備える表示パネルの断面模式図である。
【図9】実施形態のヘッドマウントディスプレイが備える表示パネルの構成を示すブロック図である。
【図10】実施形態のヘッドマウントディスプレイが備える光センサが検出する第一の反射光量及び第二の反射光量について説明する模式図である。
【図11】眼球及び瞼での反射光量の違いの一例について説明する模式図である。
【図12】眼球及び瞼での反射光量の違いの一例について説明する模式図である。
【図14】眼球及び瞼での反射光量の違いの一例について説明する模式図である。
【図15】実施形態のヘッドマウントディスプレイが備える判定部、映像制御部及び音響制御部での処理について説明するフローチャートである。
【図16】実施形態の変形例１のヘッドマウントディスプレイが備える表示パネルの断面模式図である。
【図17】実施形態の変形例２のヘッドマウントディスプレイが備える表示パネルの断面模式図である。
【図18】実施形態の変形例３のヘッドマウントディスプレイが備える表示パネルの断面模式図である。
【図19】実施例１のヘッドマウントディスプレイが備える表示パネルの断面模式図である。
【図20】実施例１のヘッドマウントディスプレイが備える表示パネルの平面模式図である。
【図21】実施例１のヘッドマウントディスプレイが行う処理のフローチャートである。
【図22】実施例２のヘッドマウントディスプレイが行う処理のフローチャートである。
【図23】実施例３のヘッドマウントディスプレイが備える表示パネル内の光センサの配置を示す平面模式図である。
【図24】実施例３のヘッドマウントディスプレイのＦＯＶ及び光センサの配置について説明する模式図である。
【発明を実施するための形態】
【0024】
以下に実施形態を掲げ、本発明について図面を参照して更に詳細に説明するが、本発明はこれらの実施形態のみに限定されるものではない。
【0025】
＜用語の定義＞
本明細書中、「観察面側」とは、ディスプレイの画面（表示面）に対してより近い側を意味し、「背面側」とは、ディスプレイの画面（表示面）に対してより遠い側を意味する。
本明細書中、「観察面側」とは、ディスプレイの画面（表示面）に対してより近い側を意味し、「背面側」とは、ディスプレイの画面（表示面）に対してより遠い側を意味する。
【0026】
＜実施形態＞
図１は、実施形態のヘッドマウントディスプレイの外観の一例を示す斜視模式図である。図２Ａは、実施形態のヘッドマウントディスプレイが備える表示パネルについて説明する模式図であり、左側に、ユーザと表示パネルを側方から見たときの配置関係が図示され、右側に、表示パネルの正面図が示されている。図２Ｂは、実施形態のヘッドマウントディスプレイが備える表示パネルのＦＯＶが接眼レンズで規定される場合を説明する模式図である。図２Ｃは、実施形態のヘッドマウントディスプレイが備える表示パネルのＦＯＶが筐体で規定される場合を説明する模式図である。図３は、実施形態のヘッドマウントディスプレイの構成を説明するブロック図である。
図１は、実施形態のヘッドマウントディスプレイの外観の一例を示す斜視模式図である。図２Ａは、実施形態のヘッドマウントディスプレイが備える表示パネルについて説明する模式図であり、左側に、ユーザと表示パネルを側方から見たときの配置関係が図示され、右側に、表示パネルの正面図が示されている。図２Ｂは、実施形態のヘッドマウントディスプレイが備える表示パネルのＦＯＶが接眼レンズで規定される場合を説明する模式図である。図２Ｃは、実施形態のヘッドマウントディスプレイが備える表示パネルのＦＯＶが筐体で規定される場合を説明する模式図である。図３は、実施形態のヘッドマウントディスプレイの構成を説明するブロック図である。
【0027】
図１に示すように、本実施形態のヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１は、装着時にユーザＵの眼が外光から遮蔽された空間内に配置されるヘッドマウントディスプレイである。このような態様とすることにより、ユーザは没入感を得ることができる。
【0028】
一方、上記特許文献１のヘッドマウントディスプレイは、外光を遮蔽しないタイプであり、没入感が得られ難い。
【0029】
また、図１及び図２Ａに示すように、ヘッドマウントディスプレイ１は、映像光を出射する表示部２１０Ａと、映像光がユーザＵの眼で反射された反射光を検出する光センサ２２０と、を有する表示パネル２００を備える。このような態様とすることにより、表示パネルとは別に光センサを設ける場合に比べてコストを抑えることができ、かつ、光センサの感度を高めることができる。
【0030】
一方、上記特許文献１のヘッドマウントディスプレイにおける光センサはディスプレイデバイスとは別に設けられた外付けの光センサであり、設置場所を考慮してデバイスサイズが大きくなったり、コストが掛かったりするという課題がある。
【0031】
また、図３に示すように、ヘッドマウントディスプレイ１は、反射光の輝度情報に基づきユーザＵの覚醒度を算出する判定部５１１を備える。このような態様とすることにより、判定部５１１での結果に基づいて、ユーザＵの覚醒度合いに応じてヘッドマウントディスプレイ１を動作させることが可能となる。
【0032】
一方、上記特許文献１では、外光が入り込むタイプのヘッドマウントディスプレイにおいて、光センサを配置して、外光強度に応じて、ディスプレイの輝度を調節する機能を搭載する技術が開示されている。特許文献１のヘッドマウントディスプレイでは、外光の影響によりユーザの覚醒状態を把握することができない。
【0033】
以上のように、本実施形態のヘッドマウントディスプレイ１は、反射光の輝度情報に基づき覚醒度を算出し、例えば、覚醒時と睡眠時を判別してヘッドマウントディスプレイ１の輝度を調節することができる。また、ヘッドマウントディスプレイ１のサイズをより小さくすることができ、かつ、コストを抑えることができる。以下、本実施形態の詳細を説明する。
【0034】
図１に示すように、ヘッドマウントディスプレイ１は、ユーザＵの頭部に装着可能な表示装置であり、両眼型、かつ、頭部に装着した状態でユーザの眼を完全に覆う没入型のヘッドマウントディスプレイである。
【0035】
ヘッドマウントディスプレイ１は、ユーザＵに対して映像を表示するための機能を有する映像出力部１０と、音声、音楽、効果音等の音響を発生させる機能を有する音響出力部２０と、映像出力部１０及び音響出力部２０を一体的に連結すると共に、これらをユーザＵの頭部に着脱自在に装着するための装着部３０と、映像出力部１０とユーザＵの顔との間に配置されたフェイスクッション４０と、を有する。
【0036】
また、ヘッドマウントディスプレイ１は、映像表示信号及び音響出力信号を出力する駆動ユニット５０を備え、駆動ユニット５０は、映像出力部１０及び音響出力部２０と有線又は無線で接続されている。無線通信の方式としては、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）が挙げられる。
【0037】
音響出力部２０は、音響出力信号を音響に変換するものである。通常、ヘッドホンとして製品化されているものを用いることができる。また、音響出力部２０は、装着部３０と共に、当該ヘッドマウントディスプレイ１をユーザＵの頭部に装着させる際の、耳への当接部としても機能する。
【0038】
装着部３０は、ユーザＵが被ることにより頭部を一周し、ヘッドマウントディスプレイ１をユーザＵの頭部へ固定する装着バンド３１を含む。
【0039】
フェイスクッション４０は、映像出力部１０とユーザＵの顔との間に配置された緩衝材であり、当該フェイスクッション４０を配置することにより、ヘッドマウントディスプレイ１の使用中にユーザＵの視野に外光が入り込むことを抑えることができる。
【0040】
本実施形態のヘッドマウントディスプレイ１は、光センサ２２０により検出される光に基づいてユーザＵの覚醒度を算出するため、映像出力部１０に外光が入り込んだ場合にノイズとなって検出されてしまう。そこで、本実施形態では、フェイスクッション４０を映像出力部１０とユーザＵの顔との間に配置することにより、映像出力部１０内に入り込む外光を抑えることができ、より正確にユーザＵの覚醒度を算出することができる。フェイスクッション４０は、映像出力部１０内に入る外光を９５％以上遮蔽することが好ましく、９９％以上遮蔽することがより好ましく、１００％遮蔽することが更に好ましい。
【0041】
図４は、実施形態のヘッドマウントディスプレイの一例を説明する図であり、１ディスプレイ方式のヘッドマウントディスプレイの模式図である。図５は、実施形態のヘッドマウントディスプレイの一例を説明する図であり、２ディスプレイ方式のヘッドマウントディスプレイの模式図である。
【0042】
映像出力部１０は、映像出力信号を映像に変換するものである。映像出力部１０は、図２Ａ、図４及び図５に示すように、ユーザＵがヘッドマウントディスプレイ１を装着した状態において左右の眼を覆う形状の筐体１００と、筐体１００の内部設けられ、装着時にユーザＵの眼に正対するように表示パネル２００と、表示パネル２００とユーザＵとの間に位置し、映像を拡大して見せる接眼レンズ３００と、を備える。
【0043】
ヘッドマウントディスプレイ１の方式は、１ディスプレイ方式と２ディスプレイ方式とに大別される。１ディスプレイ方式は、図４に示すように、左右の眼に対して一つの表示パネル２００（ディスプレイ）を配置した構成である。スマートフォンをヘッドマウントディスプレイ１の表示パネル２００に流用するものは１ディスプレイ方式に分類され、比較的安価にヘッドマウントディスプレイ１を利用するために採用される。一方で図５に示す２ディスプレイ方式は、左右の眼にそれぞれ表示パネル２００が配置された構成となっていることから、表示パネル２００としての高精細化やヘッドマウントディスプレイ１としての薄化・軽量化が可能である。本実施形態のヘッドマウントディスプレイ１は、１ディスプレイ方式及び２ディスプレイ方式の両方式に対して適用可能である。
【0044】
表示パネル２００は、図２Ａに示すように、画像（映像）を表示可能な表示部（アクティブエリア）２１０Ａと、表示部２１０Ａを取り囲むと共に画像を表示不能な非表示部（ノンアクティブエリア）２１０Ｂとを備える。
【0045】
表示部２１０Ａには、マトリクス状に複数の画素が配列されており、少なくとも１つの光センサ２２０を備える。光センサ２２０は、ユーザＵの瞳の中心線に対する映像光の入射角（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）が５０度以内となる領域の外側に配置されていることが好ましい。このような態様とすることにより、光センサ２２０によって表示部２１０Ａの表示の視認性が損なわれるのを抑えることができる。
【0046】
図２Ａに示すように、光センサ２２０は、ユーザＵの瞳が正面を向いたときを基準として、ユーザＵの瞳の中心線に対する映像光の入射角が８０度以内となる領域の外側に配置されていることがより好ましく、９０度以内となる領域の外側に配置されていることが更に好ましく、１００度以内となる領域の外側に配置されていることが特に好ましい。このような態様とすることにより、光センサ２２０によって表示部２１０Ａの表示の視認性が損なわれるのをより抑えることができる。
【0047】
ここで、ＦＯＶについて説明する。ＦＯＶとは、人（人の眼球）が正面を向いた時に、瞳の中心よりも発光点に近い側（図２Ａで言えば、表示パネル２００の上側から出た光を考える際は、瞳の中心よりも上側）に到達する、表示パネル２００から出た映像光が最大となる角度をＦＯＶの半値角と言う。一般的にはそれを上下ともに考えた全角をＦＯＶと呼ぶ。ＦＯＶは表示パネル２００のサイズに規定されるとは限らず、接眼レンズ３００のサイズ（図２Ｂ参照）や筐体１００（図２Ｃ参照）に影響される場合もある。
【0048】
本実施形態のヘッドマウントディスプレイ１では、ＦＯＶが略１００度に設定されているが、ヘッドマウントディスプレイ１のＦＯＶはこれに限定されず、例えば、略２００度、略２１０度等であってもよい。
【0049】
図６は、実施形態のヘッドマウントディスプレイが備える表示パネルの一例について説明する平面模式図である。光センサ２２０は、図６に示すように、表示パネル２００の表示部２１０Ａに対する内接円２００Ａと中心が同じ円又は楕円であり、かつ、内接円２００Ａの直径又は長径と比べて、８０％の長さの直径又は長径を有する円２００Ｂの外側の領域に配置されることも好ましい。このような態様によっても、光センサ２２０によって表示部２１０Ａの表示の視認性が損なわれるのを抑えることができる。ここで、内接円２００Ａ及び円２００Ｂは、表示部２１０Ａの形状に応じて設定されるものであり、厳密に円形でなくてもよい。例えば、表示部２１０Ａが正方形であれば、円形とされるが、表示部２１０Ａが長方形であれば、楕円形とされる。
【0050】
表示パネル２００は、複数の光センサ２２０を備えることが好ましい。このような態様とすることにより、いずれかの光センサ２２０に不具合が生じても、他の光センサ２２０で補うことができる。また、検出できるデータ数が多くなり、応用範囲が広がる。
【0051】
本実施形態の光センサ２２０は、視認性の低下を抑えるために表示パネル２００の弁別視野範囲外に配置することが好ましく、この場合、光センサ２２０の個数は、表示パネル２００の画素数以下となる。
【0052】
図７は、実施形態のヘッドマウントディスプレイの光学系の一例を説明する模式図であり、左側に、ユーザと表示パネルを側方から見たときの配置関係が図示され、右側に、表示パネルの正面図が示されている。光センサ２２０としては、図２Ａに示す光学系以外に、図７に示す折り返し光学系を採用することもできる。図７に示す折り返し光学系では、ヘッドマウントディスプレイ１は、ユーザＵ側から順に、第一のレンズ２２１、反射偏光板２２２（例えば、日東電工株式会社製の商品名「ＡＰＣＦ」）、λ／４板である第一の位相差板２２３、第二のレンズ２２４、ハーフミラーコート２２５及びλ／４板である第二の位相差板２２６を備える。
【0053】
折り返し光学系とすることにより、ヘッドマウントディスプレイ１を薄型化することができる。この場合も、光センサ２２０は、ユーザＵの瞳が正面を向いたときを基準として、ユーザＵの瞳の中心線に対する映像光の入射角が５０度以内となる領域の外側に配置されていることが好ましい。このような態様とすることにより、光センサ２２０によって表示部２１０Ａの表示の視認性が損なわれるのを抑えることができる。また、光センサ２２０は、ユーザＵの瞳の中心線に対する映像光の入射角が８０度以内となる領域の外側に配置されていることがより好ましく、９０度以内となる領域の外側に配置されていることが更に好ましく、１００度以内となる領域の外側に配置されていることが特に好ましい。このような態様とすることにより、光センサ２２０によって表示部２１０Ａの表示の視認性が損なわれるのをより抑えることができる。
【0054】
図８は、実施形態のヘッドマウントディスプレイが備える表示パネルの断面模式図である。表示パネル２００は、図８に示すように、背面側から観察面側に向かって順に、バックライト２１１と、第一の偏光板２１２と、薄膜トランジスタ（ＴＦＴ：Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）基板２１３と、液晶層２１４と、カラーフィルタ（ＣＦ：Ｃｏｌｏｒ Ｆｉｌｔｅｒ）基板２１５と、第二の偏光板２１６と、を備える。
【0055】
光センサ２２０は、ＴＦＴ基板２１３（領域１Ａ）に配置される。このような態様とすることにより、ＴＦＴ基板２１３が備えるゲート線、ソース線等の各種配線を利用して光センサ２２０を表示パネル２００内に設けることができる。光センサ２２０が配置される場所はＴＦＴ基板２１３（領域１Ａ）に限定されず、液晶層２１４（領域２Ａ）、ＣＦ基板２１５（領域３Ａ）又は第二の偏光板２１６（領域４Ａ）に配置されてもよい。
【0056】
本実施形態の表示パネル２００は液晶表示パネルであるが、表示パネル２００は、光センサ２２０を内蔵した表示パネルであればよい。表示パネル２００としては、液晶表示パネルの他に、例えば、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル、ｕＬＥＤパネルが挙げられる。
【0057】
バックライト２１１は、光を照射するものであれば特に限定されず、直下型やエッジ型やその他のどの方式でもよい。
【0058】
第一の偏光板２１２及び第二の偏光板２１６としては、例えば、ポリビニルアルコール（ＰＶＡ）フィルムにヨウ素錯体（又は染料）等の異方性材料を、染色及び吸着させてから延伸配向させた偏光子（吸収型偏光板）等を用いることができる。なお、通常は、機械強度や耐湿熱性を確保するために、ＰＶＡフィルムの両側にトリアセチルセルロース（ＴＡＣ）フィルム等の保護フィルムをラミネートして実用に供される。
【0059】
第一の偏光板２１２の吸収軸と第二の偏光板２１６の吸収軸とは、直交することが好ましい。このような構成によれば、第一の偏光板２１２と第二の偏光板２１６とがクロスニコルに配置されるため、電圧無印加時に、良好な黒表示状態を実現することができる。
【0060】
ＴＦＴ基板２１３は、表示パネル２００の画素のオン・オフをスイッチングするために用いられるスイッチング素子であるＴＦＴが設けられた基板である。ＴＦＴ基板２１３は、背面側から観察面側に向かって順に、支持基板と、ゲート線と、ゲート絶縁膜と、ソース線と、第一の層間絶縁膜と、面状の共通電極と、第二の層間絶縁膜と、スリットが設けられた画素電極と、を備える。このような構成によれば、一対の電極を構成する共通電極及び画素電極の間に電圧を印加することによって液晶層２１４に横電界（フリンジ電界）を発生させることができる。よって、共通電極と画素電極との間に印加する電圧を調整することにより、液晶層２１４中の液晶の配向を制御することができる。なお、本実施形態では共通電極と画素電極とを異なる層に設けるが、画素電極及び共通電極はそれぞれ櫛歯電極であり、櫛歯電極である画素電極及び櫛歯電極である共通電極が、互いに櫛歯が嵌合し合うように、同一の電極層に設けられてもよい。また、本実施形態では、ＴＦＴ基板２１３に共通電極を設けるが、ＣＦ基板２１５に共通電極を設けてもよい。この場合、画素電極と共通電極との間で縦電界が発生し、液晶層２１４中の液晶分子の配向が制御される。
【0061】
支持基板は、透明基板であることが好ましく、例えば、ガラス基板、プラスチック基板等が挙げられる。
【0062】
ＴＦＴ基板２１３は、支持基板上に、互いに平行に延設された複数のゲート線と、ゲート絶縁膜を介して各ゲート線と交差する方向に互いに平行に延設され複数のソース線と、を備える。複数のゲート線及び複数のソース線は、各画素を区画するように全体として格子状に形成されている。各ゲート線と各ソース線との交点にはスイッチング素子としてのＴＦＴが配置されている。
【0063】
ＴＦＴ基板２１３と液晶層２１４との間、及びＣＦ基板２１５と液晶層２１４との間には、それぞれ第一の配向膜及び第二の配向膜が設けられている。第一の配向膜及び第二の配向膜は、液晶層２１４に含まれる液晶分子の配向を制御する機能を有し、液晶層２１４への印加電圧が閾値電圧未満（電圧無印加を含む）のときには、主に第一の配向膜及び第二の配向膜の働きによって、液晶層２１４中の液晶分子の長軸が第一の配向膜及び第二の配向膜に対して水平方向を向くように制御される。
【0064】
ここで、液晶層２１４中の液晶分子の長軸が第一の配向膜及び第二の配向膜に対して水平方向を向くとは、液晶分子のチルト角（プレチルト角を含む）が、第一の配向膜及び第二の配向膜に対して０～５°であることを意味し、好ましくは０～３°、より好ましくは０～１°であることを意味する。液晶分子のチルト角は、液晶分子の長軸（光軸）がＴＦＴ基板２１３及びＣＦ基板２１５の表面に対して傾斜する角度を意味する。
【0065】
配向膜は、液晶分子の配向を制御するための配向処理がなされた層であり、ポリイミド等の液晶表示装置の分野で一般的な配向膜を用いることができる。配向膜の材料としては、例えば、ポリイミド、ポリアミック酸、ポリシロキサン等の主鎖を有するポリマーが挙げられ、主鎖又は側鎖に光反応部位（官能基）を有する光配向膜材料が好適に用いられる。
【0066】
液晶層２１４は、電圧無印加時にＴＦＴ基板２１３及びＣＦ基板２１５に対して水平配向する液晶分子を含有し、一対の電極を構成する共通電極及び画素電極の間に印加された電圧により液晶層２１４内に発生する電界に応じて液晶分子の配向が変化することにより、光の透過量を制御するものである。液晶層２１４中の液晶分子は、ＴＦＴ基板２１３に設けられた一対の電極間に電圧が印加されていない状態（電圧無印加時）では第一の配向膜及び第二の配向膜の規制力によって水平配向し、一対の電極間に電圧が印加された状態（電圧無印加時）では液晶層２１４内に発生した横電界に応じて面内方向に回転する。
【0067】
上記液晶分子は、下記式で定義される誘電率異方性（Δε）が正の値を有するものであってもよく、負の値を有するものであってもよい。なお、正の誘電率異方性を有する液晶分子はポジ型液晶ともいい、負の誘電率異方性を有する液晶分子はネガ型液晶ともいう。なお、液晶分子の長軸方向が遅相軸の方向となる。
Δε＝（長軸方向の誘電率）－（短軸方向の誘電率）
Δε＝（長軸方向の誘電率）－（短軸方向の誘電率）
【0068】
ＣＦ基板２１５は、観察面側から背面側に向かって順に、支持基板、ブラックマトリクス層、ＣＦ層、及び、オーバーコート層を備える。
【0069】
ブラックマトリクス層は、支持基板上に、ゲート線及びソース線に対応するように格子状に設けられており、画素領域外に配置されている。
【0070】
ＣＦ層は、赤色カラーフィルタ、緑色カラーフィルタ及び青色カラーフィルタが面内に並べられ、ブラックマトリクス層で区画された構成を有する。赤色カラーフィルタ、緑色カラーフィルタ及び青色カラーフィルタは、例えば、顔料を含有する透明樹脂で構成されている。通常、すべての画素に赤色カラーフィルタ、緑色カラーフィルタ及び青色カラーフィルタの組み合わせが配置され、赤色カラーフィルタ、緑色カラーフィルタ及び青色カラーフィルタを透過する色光の量を制御しつつ混色させることで各画素において所望の色が得られ、映像光として観察面側（ユーザＵ側）に出射される。
【0071】
オーバーコート層は、ＣＦ基板２１５の液晶層２１４側の面を平坦化するものであり、例えば、有機膜（誘電率ε＝３～４）を用いることができる。オーバーコート層は、例えば、光硬化性の樹脂を塗布し、紫外線照射及び焼成を行うことにより形成される。
【0072】
図９は、実施形態のヘッドマウントディスプレイが備える表示パネルの構成を示すブロック図である。図９に示すように、表示パネル２００は、ｍ本のゲート線Ｇ１～Ｇｍ、３ｎ本のソース線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎ、及び、（ｍ×３ｎ）個の画素回路１Ｐを備えている。これに加えて表示パネル２００は、ｔ個の光センサ２２０、ｔ本のセンサ読み出し線ＲＷ１～ＲＷｔ、及び、ｔ本のセンサリセット線ＲＳ１～ＲＳｔを備えている。表示パネル２００は、ＣＧ（Ｃｏｎｔｉｎｕｏｕｓ Ｇｒａｉｎ）シリコンを用いて形成される。光センサ２２０は、例えば、ｐｉｎ型半導体層を有する。
【0073】
ゲート線Ｇ１～Ｇｍは、互いに平行に配置される。ソース線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎは、ゲート線Ｇ１～Ｇｍと直交するように互いに平行に配置される。センサ読み出し線ＲＷ１～ＲＷｔとセンサリセット線ＲＳ１～ＲＳｔは、ゲート線Ｇ１～Ｇｍと平行に配置される。
【0074】
画素回路１Ｐは、ゲート線Ｇ１～Ｇｍとソース線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎの交点近傍に１個ずつ設けられる。画素回路１Ｐは、列方向（図９では縦方向）にｍ個ずつ、行方向（図９では横方向）に３ｎ個ずつ、全体として２次元状に配置される。画素回路１Ｐは、制御対象のカラーフィルタの色によって、Ｒ画素回路１Ｐｒ、Ｇ画素回路１Ｐｇ及びＢ画素回路１Ｐｂに分類される。３種類の画素回路１Ｐｒ、１Ｐｇ、１Ｐｂは、行方向に並べて配置され、３個で１個の画素を形成する。
【0075】
画素回路１Ｐは、ＴＦＴ３と液晶容量４を含んでいる。ＴＦＴ３のゲート端子はゲート線Ｇｉ（ｉは１以上ｍ以下の整数）に接続され、ソース端子はソース線ＳＲｊ、ＳＧｊ、ＳＢｊ（ｊは１以上ｎ以下の整数）のいずれかに接続され、ドレイン端子は液晶容量４の一方の電極に接続される。液晶容量４の他方の電極には、共通電極電圧が印加される。以下、Ｇ画素回路１Ｐｇに接続されたソース線ＳＧ１～ＳＧｎをＧソース線、Ｂ画素回路１Ｐｂに接続されたソース線ＳＢ１～ＳＢｎをＢソース線という。なお、画素回路１Ｐは補助容量を含んでいてもよい。
【0076】
画素回路１Ｐの光透過率（サブ画素の輝度）は、画素回路１Ｐに書き込まれた電圧によって定まる。ゲート線Ｇｉとソース線ＳＸｊ（ＸはＲ、Ｇ、Ｂのいずれか）に接続された画素回路１Ｐにある電圧を書き込むためには、ゲート線Ｇｉにハイレベル電圧（ＴＦＴ３をオン状態にする電圧）を印加し、ソース線ＳＸｊに書き込むべき電圧を印加すればよい。表示データ（映像表示信号）に応じた電圧を画素回路１Ｐに書き込むことにより、サブ画素の輝度を所望のレベルに設定することができる。
【0077】
光センサ２２０は、コンデンサ５、フォトダイオード６及びセンサプリアンプ７を含み、所定の画素に設けられる。コンデンサ５の一方の電極は、フォトダイオード６のカソード端子に接続される（以下、この接続点を節点Ａという）。コンデンサ５の他方の電極はセンサ読み出し線ＲＷｉに接続され、フォトダイオード６のアノード端子はセンサリセット線ＲＳｉに接続される。センサプリアンプ７は、ゲート端子が節点Ａに接続され、ドレイン端子がＢソース線ＳＢｊに接続され、ソース端子がＧソース線ＳＧｊに接続されたＴＦＴで構成される。
【0078】
センサ読み出し線ＲＷｉやＢソース線ＳＢｊなどに接続された光センサ２２０で光量を検知するためには、センサ読み出し線ＲＷｉとセンサリセット線ＲＳｉに所定の電圧を印加し、Ｂソース線ＳＢｊに電源電圧ＶＤＤを印加すればよい。センサ読み出し線ＲＷｉとセンサリセット線ＲＳｉに所定の電圧を印加した後、フォトダイオード６に光が入射すると、入射光量に応じた電流がフォトダイオード６に流れ、節点Ａの電圧は流れた電流の分だけ低下する。Ｂソース線ＳＢｊに電源電圧ＶＤＤを印加すると、節点Ａの電圧はセンサプリアンプ７で増幅され、Ｇソース線ＳＧｊには増幅後の電圧が出力される。したがって、Ｇソース線ＳＧｊの電圧に基づき、光センサ２２０で検知された光量を求めることができる。
【0079】
表示パネル２００の周辺には、ゲート線駆動回路４１、ソース線駆動回路４２、センサ行駆動回路４３、ｐ個（ｐは１以上ｎ以下の整数）のセンサ出力アンプ４４、及び、複数のスイッチ４５～４８が設けられる。
【0080】
ソース線駆動回路４２は、３ｎ本のソース線に対応して３ｎ個の出力端子を有する。Ｇソース線ＳＧ１～ＳＧｎとこれに対応したｎ個の出力端子との間にはスイッチ４５が１個ずつ設けられ、Ｂソース線ＳＢ１～ＳＢｎとこれに対応したｎ個の出力端子との間にはスイッチ４６が１個ずつ設けられる。Ｇソース線ＳＧ１～ＳＧｎはｐ本ずつのグループに分けられ、グループ内でｋ番目（ｋは１以上ｐ以下の整数）のＧソース線とｋ番目のセンサ出力アンプ４４の入力端子との間にはスイッチ４７が１個ずつ設けられる。Ｂソース線ＳＢ１～ＳＢｎは、いずれもスイッチ４８の一端に接続され、スイッチ４８の他端には電源電圧ＶＤＤが印加される。図９に含まれるスイッチ４５～４７の個数はｎ個であり、スイッチ４８の個数は１個である。
【0081】
図９に示す回路は、表示期間とセンシング期間で異なる動作を行う。表示期間では、スイッチ４５、４６はオン状態、スイッチ４７、４８はオフ状態となる。これに対してセンシング期間では、スイッチ４５、４６はオフ状態、スイッチ４８はオン状態となり、スイッチ４７はＧソース線ＳＧ１～ＳＧｎがグループごとに順にセンサ出力アンプ４４の入力端子に接続されるように時分割でオン状態となる。
【0082】
表示期間では、ゲート線駆動回路４１とソース線駆動回路４２が動作する。ゲート線駆動回路４１は、タイミング制御信号Ｃ１に従い、ゲート線Ｇ１～Ｇｍの中から１ライン時間ごとに１本のゲート線を選択し、選択したゲート線にはハイレベル電圧を印加し、残りのゲート線にはローレベル電圧を印加する。ソース線駆動回路４２は、表示データＤＲ、ＤＧ、ＤＢに基づき、ソース線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎを線順次方式で駆動する。より詳細には、ソース線駆動回路４２は、表示データＤＲ、ＤＧ、ＤＢを少なくとも１行分ずつ記憶し、１ライン時間ごとに１行分の表示データに応じた電圧をソース線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎに印加する。なお、ソース線駆動回路４２は、ソース線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎを点順次方式で駆動してもよい。
【0083】
センシング期間では、センサ行駆動回路４３とセンサ出力アンプ４４が動作する。センサ行駆動回路４３は、タイミング制御信号Ｃ２に従い、センサ読み出し線ＲＷ１～ＲＷｔとセンサリセット線ＲＳ１～ＲＳｔの中から１ライン時間ごとに信号線を１本ずつ選択し、選択したセンサ読み出し線とセンサリセット線には所定の読み出し用電圧とリセット用電圧を印加し、それ以外の信号線には選択時と異なる電圧を印加する。なお、典型的には、表示期間とセンシング期間では、１ライン時間の長さは異なる。センサ出力アンプ４４は、スイッチ４７によって選択された電圧を増幅し、センサ出力信号ＳＳ１～ＳＳｐとして出力する。
【0084】
図１０は、実施形態のヘッドマウントディスプレイが備える光センサが検出する第一の反射光量及び第二の反射光量について説明する模式図である。光センサ２２０は、図１０に示すように、表示パネル２００から出射される光（映像光等）を光源として、ユーザＵが眼を開いている時の眼球での反射光（第一の反射光量）、及び、眼を閉じている時の瞼での反射光（第二の反射光量）を検出する。また、光センサ２２０は、映像光がユーザＵの眼で反射された反射光を検出する。判定部５１１は、ユーザＵの眼で反射された反射光の光量（例えば、光センサ２２０が一定時間に検出する輝度情報）からユーザＵの覚醒度を算出し、かつ、ユーザＵの覚醒度が、第一の反射光量から算出される第一の基準覚醒度及び第二の反射光量から算出される第二の基準覚醒度のいずれの値に近いかを判定する。
【0085】
なお、フェイスクッションの形状を工夫することで眼の部分（眼球又は瞼）以外での反射光の受光を極力減らすことは可能であるが、眼の形状は万人に共通するものではなく、実質的に眼の部分での反射光のみを抽出することが困難な場合がある。したがって、本実施形態では、眼の部分以外での反射光も含めて輝度を測定し、ユーザＵの覚醒度を算出する。映像光については、ディスプレイ内部の迷光として検出されるが、迷光は映像光の輝度情報に依存し、ユーザＵに依存しないため、ユーザＵの覚醒度の算出において問題にはならない。映像光の輝度情報は映像信号より算出可能である。
【0086】
また、反射光の輝度情報を得る方法には、映像光の輝度情報を考慮しない方法と、映像光の輝度情報を考慮する方法とがある。映像光の輝度情報を考慮しない方法として、映像光の輝度が一定の値の時に、覚醒度を算出することが挙げられる。例えば、映像シーンが切り替わる際の「ディスプレイ全面黒表示」の時間を利用して覚醒度を算出する。一方で、一定時間毎に覚醒度を算出する場合には映像光の輝度情報を考慮する。その際、「較正時の映像光輝度」に対する「覚醒度算出時の映像光輝度」の割合から輝度補正を行った上で覚醒度が算出される。その際、ディスプレイ内部の迷光として検出される映像光も同時に輝度補正される。
【0087】
図１１は、眼球及び瞼での反射光量の違いの一例について説明する模式図である。図１１では、反射光量を輝度（反射輝度）によって示している。図１１におけるＭｅａｎは平均輝度を表し、ＩｎｔＤｅｎ（ＲａｗＩｎｔＤｅｎ）は平均輝度に面積を乗じた値である。第一の領域と、第一の領域よりも広い第二の領域の二つの領域について、第一の反射光量及び第二の反射光量を測定すると、例えば、図１１に示すような結果が得られる。第二の領域のように測定領域を大きくすることで、眼球での反射輝度と瞼での反射輝度の平均輝度差は小さくなる傾向にあるが、それでも、眼球での反射輝度と瞼での反射輝度との間に一定の差異を測定することができる。
【0088】
図１２は、眼球及び瞼での反射光量の違いの一例について説明する模式図である。図１３は、図１２における照度計の配置について説明する模式図である。ヘッドマウントディスプレイ１から照射された映像光がユーザＵの眼で反射する際、眼の開閉により反射率が異なることは次のようにしても確認することができる。図１２に示すように、暗い環境下で、面光源であるバックライト２１１上に、照度計４００を配置し、更にその上に接眼レンズ（ＶＲ用レンズ）３００を置く実験系を準備し、ユーザＵが覗きこみ、眼を開閉させた際の照度を測定する。この際、また２人のユーザＵ（ユーザ１及びユーザ２）のそれぞれについて、照度計４００の配置を図１３の照度計位置１～３ように変えて測定すると、例えば、下記表１示す結果が得られる。ここで、照度計位置１は図７におけるＦＯＶ８０度以内に対応し、照度計位置２は図７におけるＦＯＶ１００度以内に対応し、照度計位置３は図７におけるＦＯＶ１００度に相当する領域の外側に対応する。
【0089】
【表1】
【0090】
上記表１より、ユーザや照度計４００の位置に依らず、同一条件下においては一貫して、眼を開くよりも、眼を閉じた方が高い照度（反射光量に対応する物性）が得られることが分かる。なお、この結果は、すでに示した図１１における、眼を開いた状態と目を閉じた状態の画像を用いた明度差評価の結果と一致している。
【0091】
また照度計位置に依らず、ほぼ同程度の照度が得られていることから、「ＦＯＶ１００度以上の領域もしくはディスプレイの内接円の直径に対して、８０％の直径の円の外側の領域のいずれかを満たす領域にセンサを配置することが望ましい」と定義することの妥当性が認められる。
【0092】
図１４は、眼球及び瞼での反射光量の違いの一例について説明する模式図である。図１２及び図１３において、照度計４００は、周囲で反射した光を含め、平面上のあらゆる方向からの光を照度として計測しているため、眼の開閉による照度の差は大きな値として検出されない（２～３ｌｘ程度）。その点を改善する方法として、例えば、図１４に示すように、光センサ２２０にコリメータレンズ５００を配置し、特定方向（例えば瞳（眼球））からの光のみを抽出して光センサ２２０で照度計測することで、眼の開閉における照度差は得られやすくなると考えられる。
【0093】
以上のように、本実施形態のヘッドマウントディスプレイ１は次のような特徴を有する。
（１）表示パネル２００が光センサ２２０を内蔵している。
（２）内蔵された光センサ２２０は、表示パネル２００から出た光がユーザＵの眼（瞳もしくは瞼）で反射され、表示パネル２００側に戻ってくる光を受光することで、ユーザＵの覚醒状況を判別する。
（３）光センサ２２０が内蔵（配置）される位置は、ヘッドマウントディスプレイ１の光学系が持つＦＯＶで概ね規定することができ、ＦＯＶの半分より外側の領域に配置されることが好ましく、ＦＯＶより外側の領域に配置されることがより好ましい。
（４）ユーザＵの覚醒状況の判定は、事前に較正データを測定／保持し、比較することで行う。
（５）覚醒状況をなるべく正確に測れるよう、フェイスクッション４０により遮光することが好ましく、フェイスクッション４０により外光の９５％以上が遮光されることがより好ましい。
（１）表示パネル２００が光センサ２２０を内蔵している。
（２）内蔵された光センサ２２０は、表示パネル２００から出た光がユーザＵの眼（瞳もしくは瞼）で反射され、表示パネル２００側に戻ってくる光を受光することで、ユーザＵの覚醒状況を判別する。
（３）光センサ２２０が内蔵（配置）される位置は、ヘッドマウントディスプレイ１の光学系が持つＦＯＶで概ね規定することができ、ＦＯＶの半分より外側の領域に配置されることが好ましく、ＦＯＶより外側の領域に配置されることがより好ましい。
（４）ユーザＵの覚醒状況の判定は、事前に較正データを測定／保持し、比較することで行う。
（５）覚醒状況をなるべく正確に測れるよう、フェイスクッション４０により遮光することが好ましく、フェイスクッション４０により外光の９５％以上が遮光されることがより好ましい。
【0094】
図３に示すように、ヘッドマウントディスプレイ１は、制御部５１０と検出部５２０と記憶部５３０とを備える。制御部５１０は、判定部５１１と映像制御部５１２と音響制御部５１３と振動制御部５１４とを備える。検出部５２０は、光センサ２２０を備える。制御部５１０及び記憶部５３０は、それぞれ、表示パネル２００に設けられてもよく、表示パネル２００以外（例えば、駆動ユニット５０）に設けられてもよい。
【0095】
制御部５１０は、記憶部５３０に記憶された各種の処理を実現するためのプログラムと、当該プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、当該ＣＰＵによって制御される各種ハードウェア等によって構成されている。制御部５１０は、記憶部５３０に記憶されたプログラムに従って、ヘッドマウントディスプレイ１の各部を制御する。また、制御部５１０は、記憶部５３０に記憶されたプログラムにより、判定部５１１、映像制御部５１２、音響制御部５１３及び振動制御部５１４の機能を有している。
【0096】
検出部５２０は、光センサ２２０を備える。光センサ２２０は、映像光がユーザＵの眼で反射された反射光を検出する。ここで、ユーザＵの眼で反射された反射光とは、ユーザＵの眼球及び瞼を含む眼部で反射された反射光をいい、ユーザＵの眼球で反射された反射光だけでなく、ユーザＵの瞼で反射された反射光も含むものとする。
【0097】
記憶部５３０は、半導体メモリやハードディスク等の不揮発性の記憶装置から構成されており、ヘッドマウントディスプレイ１を制御するための各種プログラムと各種データとを記憶している。また、記憶部５３０には、ユーザＵの眼球で反射される場合の第一の反射光量、及び、ユーザＵの瞼で反射される場合の第二の反射光量が保存されている。
【0098】
また、記憶部５３０は、ユーザＵの眼球で反射される場合の第一の反射光量、及び、ユーザの瞼で反射される場合の第二の反射光量を記憶する。
【0099】
判定部５１１は、ユーザＵの覚醒度を算出する機能を有する。また、判定部５１１は、第一の反射光量、及び、第二の反射光量と、光センサ２２０で検出したユーザＵの眼で反射された反射光の輝度情報と、を比較して、ユーザＵの覚醒度が、第一の反射光量から算出される第一の基準覚醒度及び第二の反射光量から算出される第二の基準覚醒度のいずれの値に近いかを判定する。判定部５１１は、ヘッドマウントディスプレイ１から出る映像光の「瞼における反射」と「眼球における反射」とを判別することで、ユーザＵが覚醒状態により近いのか、睡眠状態により近いのかを判定することができる。
【0100】
判定部５１１は、具体的に、次のような処理を行う。まず、光センサ２２０を用いて、第一の反射光量に対応する、眼を開けた状態での表示パネル２００の全白表示の際の反射輝度（以下、白輝度）、及び、全黒表示の際の反射輝度（以下、黒輝度）を測定し、更に、第二の反射光量に対応する、眼を閉じた状態での表示パネル２００の白輝度及び黒輝度を測定する。次に、一定時間ヘッドマウントディスプレイ１を利用した後、再度、表示パネル２００の白輝度及び黒輝度を光センサ２２０で測定する。判定部５１１は、一定時間ヘッドマウントディスプレイ１を利用した後の「白輝度／黒輝度」の値を覚醒度として算出する。また、判定部５１１は、「眼を開けた状態での白輝度／眼を開けた状態での黒輝度」の値を第一の基準覚醒度として算出し、かつ、「眼を閉じた状態での白輝度／眼を閉じた状態での黒輝度」の値を第二の基準覚醒度として算出する。更に、覚醒度を第一の基準覚醒度及び第二の基準覚醒度と比較して、覚醒度が第一の基準覚醒度及び第二の基準覚醒度のいずれにより近いかを判定する。更に、ヘッドマウントディスプレイ１は上記判定結果に応じて、例えばヘッドマウントディスプレイ１の表示画像及び表示画像の輝度を調節することができる。具体的には、睡眠時にはヘッドマウントディスプレイ１の輝度をオフにすることができる。
【0101】
映像制御部５１２は、映像出力部１０に出力される映像表示信号を制御する機能を有する。
【0102】
音響制御部５１３は、音響出力部２０に出力される音響出力信号を制御する機能を有する。
【0103】
振動制御部５１４は、振動付与部を制御する機能を有する。振動付与部は、振動を発生させる機能を有するものである。振動付与部は、例えば、装着部３０に設けられている。
【0104】
図１５は、実施形態のヘッドマウントディスプレイが備える判定部、映像制御部及び音響制御部での処理について説明するフローチャートである。まず、較正ステップＳ１１では、光センサ２２０が、眼を開けた状態での、表示パネル２００の全白表示の際の反射輝度（白輝度）、及び、全黒表示の際の反射輝度（黒輝度）を測定し、測定結果が記憶部５３０に記憶される。すなわち、全白表示の際にユーザＵの眼球で反射される場合の第一の反射光量、及び、全黒表示の際にユーザＵの眼球で反射される場合の第一の反射光量が記憶部５３０に記憶される。また、光センサ２２０は、眼を閉じた状態で、表示パネル２００の白輝度及び黒輝度を測定し、測定結果が記憶部５３０に記憶される。すなわち、全白表示の際にユーザＵの瞼で反射される場合の第二の反射光量、及び、全黒表示の際にユーザＵの瞼で反射される場合の第二の反射光量が記憶部５３０に記憶される。
【0105】
次に、測定ステップＳ１２では、一定時間ヘッドマウントディスプレイ１を利用した後、再度、表示パネル２００の白輝度及び黒輝度を光センサ２２０で測定する。
【0106】
次に、判定ステップＳ１３では、判定部５１１が、測定ステップＳ１２における「白輝度／黒輝度」の値を、ユーザＵの覚醒度として算出する。また、判定ステップＳ１３では、判定部５１１が、「眼を開けた状態での白輝度／眼を開けた状態での黒輝度」の値を第一の基準覚醒度として算出し、かつ、「眼を閉じた状態での白輝度／眼を閉じた状態での黒輝度」の値を第二の基準覚醒度として算出する。更に、覚醒度を第一の基準覚醒度及び第二の基準覚醒度と比較して、覚醒度が第一の基準覚醒度及び第二の基準覚醒度のいずれにより近いかを判定する。
【0107】
次にフィードバックステップＳ１４では、判定部５１１が、ユーザＵの覚醒度が第一の基準覚醒度及び第二の基準覚醒度のいずれにより近いかの判定結果を映像制御部５１２及び／又は音響制御部５１３へ送信する。
【0108】
次に、処理ステップＳ１５では、映像制御部５１２及び／又は音響制御部５１３が、上記判定結果に基づいて処理を行う。具体的には、ユーザＵの覚醒度が第一の基準覚醒度よりも第二の基準覚醒度により近いという判定部５１１の判定結果に基づき、映像制御部５１２は、映像光の輝度を低下させる睡眠導入処理を行う。このような態様とすることにより、ユーザＵは質の良い睡眠を得ることができる。ユーザＵの覚醒度が閾値以下ではないという判定部５１１の判定結果に基づき、映像制御部５１２は、現状の処理を続ける。
【0109】
また、映像制御部５１２は、次のような処理を行ってもよい。具体的には、ユーザＵの覚醒度が第一の基準覚醒度よりも第二の基準覚醒度により近いという判定部５１１の判定結果に基づき、映像制御部５１２は、表示部２１０Ａが表示する映像を睡眠導入用の映像に変更する睡眠導入処理を行う。このような態様とすることにより、ユーザＵは質の良い睡眠を得ることができる。睡眠導入処理では、例えば、映像の輝度の強弱が緩やかになるような処理が行われる。
【0110】
また、映像制御部５１２は、次のような処理を行ってもよい。具体的には、ユーザＵの覚醒度が第一の基準覚醒度よりも第二の基準覚醒度により近いという判定部５１１の判定結果に基づき、映像制御部５１２は、映像光の輝度を上昇させる覚醒処理を行う。このような態様とすることにより、ユーザＵがヘッドマウントディスプレイ１を利用しながら睡眠状態に陥ってしまうことを防ぐことができる。
【0111】
また、映像制御部５１２は、次のような処理を行ってもよい。具体的には、ユーザＵの覚醒度が第一の基準覚醒度よりも第二の基準覚醒度により近いという判定部５１１の判定結果に基づき、映像制御部５１２は、表示部２１０Ａが表示する映像を覚醒用の映像に変更する覚醒処理を行う。このような態様とすることにより、ユーザＵがヘッドマウントディスプレイ１を利用しながら睡眠状態に陥ってしまうことを防ぐことができる。覚醒処理では、例えば、映像の輝度の強弱が激しくなるような処理が行われる。
【0112】
また、処理ステップＳ１５では、ユーザＵの覚醒度が第一の基準覚醒度よりも第二の基準覚醒度により近いという判定部５１１の判定結果に基づき、音響制御部５１３は、音響の音量を低下させる睡眠導入処理を行う。このような態様とすることにより、ユーザＵは質の良い睡眠を得ることができる。ユーザＵの覚醒度が閾値以下ではないという判定部５１１の判定結果に基づき、音響制御部５１３は、現状の処理を続ける。
【0113】
また、音響制御部５１３は、次のような処理を行ってもよい。具体的には、ユーザＵの覚醒度が第一の基準覚醒度よりも第二の基準覚醒度により近いという判定部５１１の判定結果に基づき、音響制御部５１３は、音響出力部２０が出力する音響を睡眠導入用の音響に変更する睡眠導入処理を行う。このような態様とすることにより、ユーザＵは質の良い睡眠を得ることができる。睡眠導入処理では、例えば、映像に対応して流れる音響に並行して、波の音のような癒しの効果のある音を流す処理が行われる。
【0114】
また、音響制御部５１３は、次のような処理を行ってもよい。具体的には、ユーザＵの覚醒度が第一の基準覚醒度よりも第二の基準覚醒度により近いという判定部５１１の判定結果に基づき、音響制御部５１３は、音響の音量を上昇させる覚醒処理を行う。このような態様とすることにより、ユーザＵがヘッドマウントディスプレイ１を利用しながら睡眠状態に陥ってしまうことを防ぐことができる。
【0115】
また、音響制御部５１３は、次のような処理を行ってもよい。具体的には、ユーザＵの覚醒度が第一の基準覚醒度よりも第二の基準覚醒度により近いという判定部５１１の判定結果に基づき、音響制御部５１３は、前記音響出力部２０が覚醒用の音響を出力するよう覚醒処理を行う。このような態様とすることにより、ユーザＵがヘッドマウントディスプレイ１を利用しながら睡眠状態に陥ってしまうことを防ぐことができる。覚醒処理では、例えば、ベルの鳴動、電子音、ラジオ、録音した音声等の目覚めを促す音を流す処理が行われる。
【0116】
このように、本実施形態のヘッドマウントディスプレイ１は、ユーザＵの覚醒度が第二の基準覚醒度により近い場合、具体的には、ユーザＵが睡眠状態となりつつある場合や睡眠状態である場合に、ユーザＵを快適な睡眠に導入するために表示パネル２００の低輝度化や映像表示の変更、又は、サウンドの低音量化やＢＧＭ（ｂａｃｋｇｒｏｕｎｄ ｍｕｓｉｃ）変更を行う。また、ユーザＵの覚醒を促すために、表示パネル２００の高輝度化や映像表示、又は、サウンドの大音量化やＢＧＭ変更を行ってもよい。
【0117】
また、フィードバックステップＳ１４において、判定部５１１が、ユーザＵの覚醒度が第一の基準覚醒度及び第二の基準覚醒度のいずれにより近いかの判定結果を振動制御部５１４へ送信し、処理ステップＳ１５において、振動制御部５１４が、ユーザＵの覚醒度が第一の基準覚醒度よりも第二の基準覚醒度により近いという判定部５１１の判定結果に基づき、振動付与部を振動させる制御を行う覚醒処理を行ってもよい。
【0118】
なお、ユーザＵの覚醒度が第一の基準覚醒度及び第二の基準覚醒度の平均値と等しい場合を、第一の基準覚醒度により近いと判定するか、あるいは、第二の基準覚醒度により近いと判定するかは、あらかじめ設定することができる。ユーザＵの覚醒度が上記平均値と等しい場合を、第一の基準覚醒度により近いと判定するように設定してもよく、第二の基準覚醒度により近いと判定するように設定してもよい。
【0119】
（実施形態の変形例１）
図１６は、実施形態の変形例１のヘッドマウントディスプレイが備える表示パネルの断面模式図である。上記実施形態では、図８の領域１Ａに光センサ２２０を備える態様について説明したが、表示パネル２００が備える各部材の配置はこれに限定されず、例えば、図８に対して、ＴＦＴ基板２１３とＣＦ基板２１５との配置を入れ替えてもよい。すなわち、図１６に示すように、表示パネル２００は、背面側から観察面側に向かって順に、バックライト２１１と、第一の偏光板２１２と、ＣＦ基板２１５と、液晶層２１４と、ＴＦＴ基板２１３と第二の偏光板２１６と、を備えてもよい。このような態様とすることにより、ＴＦＴ基板２１３に光センサ２２０を設ける場合であっても、光センサ２２０は、液晶層２１４及びＣＦ基板２１５が備えるＣＦ層を介さずにユーザＵからの反射光を受光することができるため、光センサ２２０の感度を高めることができる。すなわち、実施形態よりも、ユーザＵからの反射光を高精度に測定し、覚醒度を算出することができる。
図１６は、実施形態の変形例１のヘッドマウントディスプレイが備える表示パネルの断面模式図である。上記実施形態では、図８の領域１Ａに光センサ２２０を備える態様について説明したが、表示パネル２００が備える各部材の配置はこれに限定されず、例えば、図８に対して、ＴＦＴ基板２１３とＣＦ基板２１５との配置を入れ替えてもよい。すなわち、図１６に示すように、表示パネル２００は、背面側から観察面側に向かって順に、バックライト２１１と、第一の偏光板２１２と、ＣＦ基板２１５と、液晶層２１４と、ＴＦＴ基板２１３と第二の偏光板２１６と、を備えてもよい。このような態様とすることにより、ＴＦＴ基板２１３に光センサ２２０を設ける場合であっても、光センサ２２０は、液晶層２１４及びＣＦ基板２１５が備えるＣＦ層を介さずにユーザＵからの反射光を受光することができるため、光センサ２２０の感度を高めることができる。すなわち、実施形態よりも、ユーザＵからの反射光を高精度に測定し、覚醒度を算出することができる。
【0120】
（実施形態の変形例２）
図１７は、実施形態の変形例２のヘッドマウントディスプレイが備える表示パネルの断面模式図である。上記実施形態では、図８の領域１Ａに光センサ２２０を備える態様について説明したが、表示パネル２００が備える各部材の配置はこれに限定されず、例えば、図８に対して、ＴＦＴ基板２１３とＣＦ基板２１５との配置を入れ替え、かつ、ＣＦ層をＣＦ基板２１５ではなくＴＦＴ基板２１３と液晶層２１４との間に配置してもよい。すなわち、図１７に示すように、表示パネル２００は、背面側から観察面側に向かって順に、バックライト２１１と、第一の偏光板２１２と、対向基板２１５１と、液晶層２１４と、ＣＦ層２１５２と、ＴＦＴ基板２１３と第二の偏光板２１６と、を備えてもよい。このような態様とすることにより、ＴＦＴ基板２１３に光センサ２２０を設ける場合であっても、光センサ２２０は、液晶層２１４及びＣＦ層２１５２を介さずにユーザＵからの反射光を受光することができるため、光センサ２２０の感度を高めることができる。すなわち、実施形態よりも、ユーザＵからの反射光を高精度に測定し、覚醒度を算出することができる。ここで、対向基板２１５１とは、ＣＦ層を備えないこと以外は、ＣＦ基板２１５と同様の構成を有する基板である。ＴＦＴ基板２１３側にＣＦ層が設けられる構成は、ＣＯＡ（ＣＦ Ｏｎ Ａｒｒａｙ）という。
図１７は、実施形態の変形例２のヘッドマウントディスプレイが備える表示パネルの断面模式図である。上記実施形態では、図８の領域１Ａに光センサ２２０を備える態様について説明したが、表示パネル２００が備える各部材の配置はこれに限定されず、例えば、図８に対して、ＴＦＴ基板２１３とＣＦ基板２１５との配置を入れ替え、かつ、ＣＦ層をＣＦ基板２１５ではなくＴＦＴ基板２１３と液晶層２１４との間に配置してもよい。すなわち、図１７に示すように、表示パネル２００は、背面側から観察面側に向かって順に、バックライト２１１と、第一の偏光板２１２と、対向基板２１５１と、液晶層２１４と、ＣＦ層２１５２と、ＴＦＴ基板２１３と第二の偏光板２１６と、を備えてもよい。このような態様とすることにより、ＴＦＴ基板２１３に光センサ２２０を設ける場合であっても、光センサ２２０は、液晶層２１４及びＣＦ層２１５２を介さずにユーザＵからの反射光を受光することができるため、光センサ２２０の感度を高めることができる。すなわち、実施形態よりも、ユーザＵからの反射光を高精度に測定し、覚醒度を算出することができる。ここで、対向基板２１５１とは、ＣＦ層を備えないこと以外は、ＣＦ基板２１５と同様の構成を有する基板である。ＴＦＴ基板２１３側にＣＦ層が設けられる構成は、ＣＯＡ（ＣＦ Ｏｎ Ａｒｒａｙ）という。
【0121】
（実施形態の変形例３）
図１８は、実施形態の変形例３のヘッドマウントディスプレイが備える表示パネルの断面模式図である。上記実施形態では、図８の領域１Ａに光センサ２２０を備える態様について説明したが、表示パネル２００が備える各部材の配置はこれに限定されず、例えば、図８に対して、ＣＦ層をＣＦ基板２１５ではなくＴＦＴ基板２１３と液晶層２１４との間に配置してもよい。すなわち、図１８に示すように、表示パネル２００は、背面側から観察面側に向かって順に、バックライト２１１と、第一の偏光板２１２と、ＴＦＴ基板２１３と、ＣＦ層２１５２と、液晶層２１４と、対向基板２１５１と、第二の偏光板２１６と、を備えてもよい。このような態様とすることにより、表示パネル２００の製造工程において、ＴＦＴ基板２１３及び対向基板２１５１を貼り合わせる際のアライメントが不要となるため、ブラックマトリクス層の幅を削減することが可能となり、開口率を高めることができる。
図１８は、実施形態の変形例３のヘッドマウントディスプレイが備える表示パネルの断面模式図である。上記実施形態では、図８の領域１Ａに光センサ２２０を備える態様について説明したが、表示パネル２００が備える各部材の配置はこれに限定されず、例えば、図８に対して、ＣＦ層をＣＦ基板２１５ではなくＴＦＴ基板２１３と液晶層２１４との間に配置してもよい。すなわち、図１８に示すように、表示パネル２００は、背面側から観察面側に向かって順に、バックライト２１１と、第一の偏光板２１２と、ＴＦＴ基板２１３と、ＣＦ層２１５２と、液晶層２１４と、対向基板２１５１と、第二の偏光板２１６と、を備えてもよい。このような態様とすることにより、表示パネル２００の製造工程において、ＴＦＴ基板２１３及び対向基板２１５１を貼り合わせる際のアライメントが不要となるため、ブラックマトリクス層の幅を削減することが可能となり、開口率を高めることができる。
【0122】
以下に実施例及び比較例を掲げて本発明を更に詳細に説明するが、本発明はこれらの実施例のみに限定されるものではない。
【0123】
（実施例１）
図１９は、実施例１のヘッドマウントディスプレイが備える表示パネルの断面模式図である。図２０は、実施例１のヘッドマウントディスプレイが備える表示パネルの平面模式図である。図２１は、実施例１のヘッドマウントディスプレイが行う処理のフローチャートである。実施形態と同様の構成を有し、図１９及び図２０に示す実施例１のヘッドマウントディスプレイ１を作製した。表示パネル２００には液晶表示パネルを採用した。フェイスクッション４０は、ヘッドマウントディスプレイ１の使用中にユーザＵの視野に入り込む外光を９５％以上遮蔽するものであった。光センサ２２０のＦＯＶは略１００度であった。光センサ２２０は、ＴＦＴ基板２１３上に配置した。光センサ２２０は、表示パネル２００の四隅（ＦＯＶ１００度に相当する領域の外側）に一個ずつ、合計４個配置した。
図１９は、実施例１のヘッドマウントディスプレイが備える表示パネルの断面模式図である。図２０は、実施例１のヘッドマウントディスプレイが備える表示パネルの平面模式図である。図２１は、実施例１のヘッドマウントディスプレイが行う処理のフローチャートである。実施形態と同様の構成を有し、図１９及び図２０に示す実施例１のヘッドマウントディスプレイ１を作製した。表示パネル２００には液晶表示パネルを採用した。フェイスクッション４０は、ヘッドマウントディスプレイ１の使用中にユーザＵの視野に入り込む外光を９５％以上遮蔽するものであった。光センサ２２０のＦＯＶは略１００度であった。光センサ２２０は、ＴＦＴ基板２１３上に配置した。光センサ２２０は、表示パネル２００の四隅（ＦＯＶ１００度に相当する領域の外側）に一個ずつ、合計４個配置した。
【0124】
更に、ヘッドマウントディスプレイ１を実際に使用する際に、図２１に示す較正、測定、判定及びフィードバックの処理を行った。較正では、眼を開けた状態で、表示パネル２００の全白表示の際の反射輝度（白輝度）と、全黒表示の際の反射輝度（黒輝度）を光センサ２２０で測定した。また、眼を閉じた状態で、表示パネル２００の白輝度と、黒輝度を光センサ２２０で測定した。
【0125】
測定では、一定時間ヘッドマウントディスプレイ１を利用した後、再度、表示パネル２００の白輝度と輝度を光センサ２２０で測定した。この測定における「白輝度／黒輝度」（すなわち覚醒度）が、較正時の「目を開けた状態での白輝度／黒輝度」（すなわち第一の基準覚醒度）よりも「眼を閉じた状態での白輝度／黒輝度」（すなわち第二の基準覚醒度）に近い値であったことから、表示パネル２００は徐々に輝度を低下させ、最終的に表示パネル２００はオフにされた。
【0126】
（実施例２）
図２２は、実施例２のヘッドマウントディスプレイが行う処理のフローチャートである。図２２に示す実施例２のヘッドマウントディスプレイを作製した。実施例２のヘッドマウントディスプレイは、フィードバックの処理が異なること以外は、実施例１のヘッドマウントディスプレイと同様の構成を有していた。実施例２のヘッドマウントディスプレイでは、図２２に示す較正、測定、判定及びフィードバックの処理を行った。
図２２は、実施例２のヘッドマウントディスプレイが行う処理のフローチャートである。図２２に示す実施例２のヘッドマウントディスプレイを作製した。実施例２のヘッドマウントディスプレイは、フィードバックの処理が異なること以外は、実施例１のヘッドマウントディスプレイと同様の構成を有していた。実施例２のヘッドマウントディスプレイでは、図２２に示す較正、測定、判定及びフィードバックの処理を行った。
【0127】
（実施例３）
図２３は、実施例３のヘッドマウントディスプレイが備える表示パネル内の光センサの配置を示す平面模式図である。図２４は、実施例３のヘッドマウントディスプレイのＦＯＶ及び光センサの配置について説明する模式図である。光センサ２２０が図２３に示すように配置された実施例３のヘッドマウントディスプレイ１を作製した。実施例３のヘッドマウントディスプレイ１は、光センサ２２０の配置が異なること以外は、実施例１のヘッドマウントディスプレイ１と同様の構成を有していた。
図２３は、実施例３のヘッドマウントディスプレイが備える表示パネル内の光センサの配置を示す平面模式図である。図２４は、実施例３のヘッドマウントディスプレイのＦＯＶ及び光センサの配置について説明する模式図である。光センサ２２０が図２３に示すように配置された実施例３のヘッドマウントディスプレイ１を作製した。実施例３のヘッドマウントディスプレイ１は、光センサ２２０の配置が異なること以外は、実施例１のヘッドマウントディスプレイ１と同様の構成を有していた。
【0128】
表示パネルはレンズを通して視聴されるため、特に低解像度の表示パネルでは、表示パネルの配線が暗線として視認され、ヘッドマウントディスプレイのユーザの没入感を著しく損なうという課題がある。
【0129】
暗線の視認性を低減するために、高解像度の表示パネルが採用されているが、光センサを配置することで、部分的とはいえ高解像度が損なわれ（表示されない領域ができ）、暗点が視認され、没入感を損なってしまう。
【0130】
そこでユーザの没入感を維持できるような、光センサの表示パネル面内配置を検討するため、実施例３では、図２３に示すように、表示パネル２００を行方向に５つ、列方向に５つの合計２５の領域に分割し、各領域の中央に光センサ２２０を配置し、光センサ２２０の目立ちやすさを主観評価した。
【0131】
図２３に示すように、第一の分割領域６１０にある光センサ２２０は最も目立ち、第二の分割領域６２０にある光センサ２２０は充分に視認され、第三の分割領域６３０にある光センサ２２０は視認され、第四の分割領域６４０にある光センサ２２０は若干視認された。
【0132】
この結果を表示パネル２００の特性として規定するため、ヘッドマウントディスプレイ１のＦＯＶに照らし合わせると、図２４に示すように、ＦＯＶが略１００度のレンズ光学系を用いたヘッドマウントディスプレイにおいて、光センサ２２０をＦＯＶ１００度よりも外に配置した場合に、最も光センサ２２０が表示の視認性を損なわないことが分かった。
【0133】
この理由として、ヘッドマウントディスプレイ１では円形のレンズが使用されるため、表示パネル２００の四隅では視認性が低下されることが考えられる。一般的に表示パネルが四角形であることに対して、レンズは円形であることから、表示パネル２００上に光センサ２２０を配置しても、視認性が低下しにくい領域が生じる。
【符号の説明】
【0134】
１：ヘッドマウントディスプレイ
１Ｐ：画素回路
１Ｐｂ：Ｂ画素回路
１Ｐｇ：Ｇ画素回路
１Ｐｒ：Ｒ画素回路
１Ａ、２Ａ、３Ａ、４Ａ：領域
３：ＴＦＴ（薄膜トランジスタ）
４：液晶容量
５：コンデンサ
６：フォトダイオード
７：センサプリアンプ
１０：映像出力部
２０：音響出力部
３０：装着部
３１：装着バンド
４０：フェイスクッション
４１：ゲート線駆動回路
４２：ソース線駆動回路
４３：センサ行駆動回路
４４：センサ出力アンプ
４５～４８：スイッチ
５０：駆動ユニット
１００：筐体
２００：表示パネル
２００Ａ：内接円
２００Ｂ：円
２１０Ａ：表示部
２１０Ｂ：非表示部
２１１：バックライト
２１２：第一の偏光板
２１３：ＴＦＴ基板
２１４：液晶層
２１５：ＣＦ基板
２１６：第二の偏光板
２２０；光センサ
２２１：第一のレンズ
２２２：反射偏光板
２２３：第一の位相差板
２２４：第二のレンズ
２２５：ハーフミラーコート
２２６：第二の位相差板
３００：接眼レンズ
４００：照度計
５００：コリメータレンズ
５１０：制御部
５１１：判定部
５１２：映像制御部
５１３：音響制御部
５１４：振動制御部
５２０：検出部
５３０：記憶部
６１０：第一の分割領域
６２０：第二の分割領域
６３０：第三の分割領域
６４０：第四の分割領域
２１５１：対向基板
２１５２：ＣＦ層
Ａ：節点
Ｇ１～Ｇｍ：ゲート線
ＲＳ１～ＲＳｔ：センサリセット線
ＲＷ１～ＲＷｔ：センサ読み出し線
ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎ：ソース線
Ｕ：ユーザ
ＶＤＤ：電源電圧
１Ｐ：画素回路
１Ｐｂ：Ｂ画素回路
１Ｐｇ：Ｇ画素回路
１Ｐｒ：Ｒ画素回路
１Ａ、２Ａ、３Ａ、４Ａ：領域
３：ＴＦＴ（薄膜トランジスタ）
４：液晶容量
５：コンデンサ
６：フォトダイオード
７：センサプリアンプ
１０：映像出力部
２０：音響出力部
３０：装着部
３１：装着バンド
４０：フェイスクッション
４１：ゲート線駆動回路
４２：ソース線駆動回路
４３：センサ行駆動回路
４４：センサ出力アンプ
４５～４８：スイッチ
５０：駆動ユニット
１００：筐体
２００：表示パネル
２００Ａ：内接円
２００Ｂ：円
２１０Ａ：表示部
２１０Ｂ：非表示部
２１１：バックライト
２１２：第一の偏光板
２１３：ＴＦＴ基板
２１４：液晶層
２１５：ＣＦ基板
２１６：第二の偏光板
２２０；光センサ
２２１：第一のレンズ
２２２：反射偏光板
２２３：第一の位相差板
２２４：第二のレンズ
２２５：ハーフミラーコート
２２６：第二の位相差板
３００：接眼レンズ
４００：照度計
５００：コリメータレンズ
５１０：制御部
５１１：判定部
５１２：映像制御部
５１３：音響制御部
５１４：振動制御部
５２０：検出部
５３０：記憶部
６１０：第一の分割領域
６２０：第二の分割領域
６３０：第三の分割領域
６４０：第四の分割領域
２１５１：対向基板
２１５２：ＣＦ層
Ａ：節点
Ｇ１～Ｇｍ：ゲート線
ＲＳ１～ＲＳｔ：センサリセット線
ＲＷ１～ＲＷｔ：センサ読み出し線
ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎ：ソース線
Ｕ：ユーザ
ＶＤＤ：電源電圧
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】