知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024156501
(43)【公開日】2024-11-06
(54)【発明の名称】表示システム
(51)【国際特許分類】
G09G 5/00 20060101AFI20241029BHJP
G09G 5/10 20060101ALI20241029BHJP
G09G 5/37 20060101ALI20241029BHJP
H04N 5/66 20060101ALI20241029BHJP
【ＦＩ】
G09G5/00 550C
G09G5/10 B
G09G5/37 320
H04N5/66 A
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023071015
(22)【出願日】2023-04-24
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】110001128
【氏名又は名称】弁理士法人ゆうあい特許事務所
(72)【発明者】
【氏名】佐々木 達也
【テーマコード（参考）】
5C058
5C182
【Ｆターム（参考）】
5C058AA06
5C058AA13
5C058BA05
5C058BA26
5C058BA31
5C182AA02
5C182AA03
5C182AA12
5C182AB15
5C182AB25
5C182AB26
5C182BA14
5C182BA25
5C182BA45
5C182BA55
5C182BA56
5C182CA01
5C182CB44
5C182DA62
(57)【要約】
【課題】ディスプレイにおける視認領域を精度良く推定でき、視認領域におけるユーザへの違和感の低減と消費電力の低減とを両立する輝度制御を実行可能な表示システムを提供する。
【解決手段】表示システムは、ユーザの首向き角および視線角を取得した場合、ディスプレイ１の表示面１ａのうち首向き角に基づいて第１所定領域Ｒ２と、視線角に基づいて第２所定領域Ｒ３を算出する。ユーザの首向き角および視線角の一方が他方に対して遅延する場合、第２所定領域Ｒ３のうち第１所定領域Ｒ２からはみ出すはみ出し領域Ｒ３１を第１所定領域Ｒ２に加えて得られる領域を視認領域Ｒ１として推定する。表示システムは、視認領域Ｒ１以外の外部領域Ｒ０に位置する画素群の輝度を、視認領域Ｒ１に位置する画素群の輝度よりも小さくする輝度制御を実行する。
【選択図】図６
【解決手段】表示システムは、ユーザの首向き角および視線角を取得した場合、ディスプレイ１の表示面１ａのうち首向き角に基づいて第１所定領域Ｒ２と、視線角に基づいて第２所定領域Ｒ３を算出する。ユーザの首向き角および視線角の一方が他方に対して遅延する場合、第２所定領域Ｒ３のうち第１所定領域Ｒ２からはみ出すはみ出し領域Ｒ３１を第１所定領域Ｒ２に加えて得られる領域を視認領域Ｒ１として推定する。表示システムは、視認領域Ｒ１以外の外部領域Ｒ０に位置する画素群の輝度を、視認領域Ｒ１に位置する画素群の輝度よりも小さくする輝度制御を実行する。
【選択図】図６
【特許請求の範囲】
【請求項1】
ディスプレイ（１）の輝度制御を実行する表示システムであって、
前記ディスプレイのユーザを撮像するユーザ撮像部（３１）から表示面（１ａ）に対する前記ユーザの顔の正面方向の角度である首向き角（θ１）の情報を取得する首向き角取得部（２１）と、
前記ユーザ撮像部から前記表示面に対する前記ユーザの視線方向の角度である視線角（θ２）の情報を取得する視線角取得部（２２）と、
前記視線角および前記首向き角の少なくとも一方に基づいて、前記表示面の一部であって、少なくとも前記ユーザの有効視野を含む領域を視認領域（Ｒ１）として推定する視認領域推定部（２３）と、
前記ディスプレイのうち前記視認領域以外の領域に位置する画素群の輝度を前記視認領域に位置する画素群の輝度よりも小さくする輝度制御を実行する輝度制御部（２４）と、を備え、
前記視認領域推定部は、
前記首向き角および前記視線角の両方の情報が取得され、かつ前記首向き角および前記視線角の一方が他方よりも先に変化した場合、前記表示面のうち前記表示面と前記首向き角に沿った仮想直線との交点を中心とする所定範囲の領域を第１所定領域（Ｒ２）として算出し、前記表示面と前記視線角の仮想直線との交点を中心とする所定範囲の領域を第２所定領域（Ｒ３）として算出し、前記第２所定領域のうち前記第１所定領域よりも外側に位置するはみ出し領域（Ｒ３１）を前記第１所定領域に加えて得られる加算領域を前記視認領域として推定する、表示システム。
前記ディスプレイのユーザを撮像するユーザ撮像部（３１）から表示面（１ａ）に対する前記ユーザの顔の正面方向の角度である首向き角（θ１）の情報を取得する首向き角取得部（２１）と、
前記ユーザ撮像部から前記表示面に対する前記ユーザの視線方向の角度である視線角（θ２）の情報を取得する視線角取得部（２２）と、
前記視線角および前記首向き角の少なくとも一方に基づいて、前記表示面の一部であって、少なくとも前記ユーザの有効視野を含む領域を視認領域（Ｒ１）として推定する視認領域推定部（２３）と、
前記ディスプレイのうち前記視認領域以外の領域に位置する画素群の輝度を前記視認領域に位置する画素群の輝度よりも小さくする輝度制御を実行する輝度制御部（２４）と、を備え、
前記視認領域推定部は、
前記首向き角および前記視線角の両方の情報が取得され、かつ前記首向き角および前記視線角の一方が他方よりも先に変化した場合、前記表示面のうち前記表示面と前記首向き角に沿った仮想直線との交点を中心とする所定範囲の領域を第１所定領域（Ｒ２）として算出し、前記表示面と前記視線角の仮想直線との交点を中心とする所定範囲の領域を第２所定領域（Ｒ３）として算出し、前記第２所定領域のうち前記第１所定領域よりも外側に位置するはみ出し領域（Ｒ３１）を前記第１所定領域に加えて得られる加算領域を前記視認領域として推定する、表示システム。
【請求項2】
前記視認領域推定部は、
前記視線角のほうが前記首向き角よりも先に変化した時から前記首向き角と前記視線角との差が所定以下になるまでの間、前記加算領域を前記視認領域として推定し、
前記首向き角と前記視線角との差が所定以下である場合、前記第１所定領域を前記視認領域として推定する、請求項１に記載の表示システム。
前記視線角のほうが前記首向き角よりも先に変化した時から前記首向き角と前記視線角との差が所定以下になるまでの間、前記加算領域を前記視認領域として推定し、
前記首向き角と前記視線角との差が所定以下である場合、前記第１所定領域を前記視認領域として推定する、請求項１に記載の表示システム。
【請求項3】
前記視認領域推定部は、前記視線角の情報が取得されなかった場合、前記第１所定領域を算出し、前記第１所定領域に隣接する隣接領域（Ｒ４）を前記第１所定領域に加えて得られる領域を前記視認領域として推定する、請求項１に記載の表示システム。
【請求項4】
前記視認領域推定部は、前記首向き角を中心とする所定範囲の角度を前記視線角の範囲として推定し、前記視線角の範囲内において前記第２所定領域のうち前記第１所定領域よりも外側に位置する領域を前記隣接領域として推定する、請求項３に記載の表示システム。
【請求項5】
前記輝度制御部は、前記視認領域に位置する画素群の一部または全部の輝度を前記視認領域以外の領域に位置する画素群の輝度よりも高くする輝度制御を実行する、請求項１ないし４のいずれか１つに記載の表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザの顔の向きを含む情報を取得し、ディスプレイの輝度制御を実行する表示システムに関する。
【背景技術】
【0002】
従来、ディスプレイをユーザが見ていない場合にディスプレイの輝度を下げることで、消費電力の低減が可能な表示システムとしては、例えば特許文献１に記載のものが挙げられる。特許文献１に記載の表示システムは、ディスプレイのユーザを撮像し、ユーザの視線や顔の向きの情報であるユーザ情報を取得し、当該ユーザ情報に基づいてユーザがディスプレイを見ていないと判定した場合には、ディスプレイの輝度を下げる制御を実行する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第５０９８４３８号
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、ディスプレイの大型化が進んでおり、大型のディスプレイを用いる場合には、ユーザがディスプレイを見ている状況においても消費電力を低減するための輝度制御が求められる。具体的には、ユーザが大型ディスプレイを見ている場合、大型ディスプレイにはユーザの有効視野内の領域と周辺視野の領域とが生じるため、ユーザが詳細を知覚できない周辺視野およびその外側に位置する領域については輝度を下げる余地がある。
【0005】
特許文献１に記載の表示システムは、ユーザがディスプレイを見ていない場合における輝度制御が可能であるものの、ユーザがディスプレイを見ている場合における部分的な輝度制御を実行することができない。そこで、ユーザの視線の角度または顔の向きの角度とディスプレイの位置とに基づいて、中心視野および有効視野の領域を推定し、有効視野よりも外側の領域について輝度を下げる制御を実行することが考えられる。以下、説明の便宜上、ユーザの視線の角度を「視線角」と称し、ユーザの顔の向きの角度を「首向き角」と称する。
【0006】
しかしながら、ユーザがサングラスを装着している場合のようにユーザの視線を検出できない場合や、ユーザの視線角の変化と首向き角の変化との間にタイムラグがある場合には、有効視野内の領域の推定精度が低下してしまう。このような場合に、部分的に輝度を下げる制御を実行すると、ユーザの実際の有効視野内における一部の領域の輝度が下がってしまい、ユーザが違和感を覚えるおそれがある。
【0007】
本発明は、上記の点に鑑み、ディスプレイにおける有効視野を含む視認領域を精度良く推定でき、視認領域におけるユーザへの違和感の低減と消費電力の低減とを両立する輝度制御を実行可能な表示システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するため、請求項１に記載の表示システムは、ディスプレイ（１）の輝度制御を実行する表示システムであって、ディスプレイのユーザを撮像するユーザ撮像部（３１）からディスプレイの表示面（１ａ）に対するユーザの顔の正面方向の角度である首向き角（θ１）の情報を取得する首向き角取得部（２１）と、ユーザ撮像部から表示面に対するユーザの視線方向の角度である視線角（θ２）の情報を取得する視線角取得部（２２）と、視線角および首向き角の少なくとも一方に基づいて、表示面の一部であって、少なくともユーザの有効視野を含む領域を視認領域（Ｒ１）として推定する視認領域推定部（２３）と、ディスプレイのうち視認領域以外の領域に位置する画素群の輝度を視認領域に位置する画素群の輝度よりも小さくする輝度制御を実行する輝度制御部（２４）と、を備え、視認領域推定部は、首向き角および視線角の両方の情報が取得され、かつ首向き角および視線角の一方が他方よりも先に変化した場合、表示面のうち表示面と首向き角に沿った仮想直線との交点を中心とする所定範囲の領域を第１所定領域（Ｒ２）として算出し、表示面と視線角の仮想直線との交点を中心とする所定範囲の領域を第２所定領域（Ｒ３）として算出し、第２所定領域のうち第１所定領域よりも外側に位置するはみ出し領域（Ｒ３１）を第１所定領域に加えて得られる加算領域を視認領域として推定する。
【0009】
この表示システムは、ディスプレイのユーザを撮像するユーザ撮像部から視線角の情報を取得する視線角取得部と、首向き角の情報を取得する首向き角取得部と、ディスプレイのうち当該ユーザの有効視野を含む視認領域を推定する視認領域推定部とを備える。視認領域推定部は、取得した首向き角および視線角のうち一方が他方よりも先に変化した場合、ディスプレイのうち表示面と首向き角に沿った方向の先との交点を中心とする第１所定領域を算出する。また、この場合、視認領域推定部は、ディスプレイのうち表示面と視線角に沿った方向の先との交点を中心とする第２所定領域を算出し、第２所定領域のうち第１所定領域からはみ出す領域と第１所定領域とを加算した領域を視認領域として推定する。そして、この表示システムは、輝度制御部を有し、輝度制御部によりディスプレイのうち視認領域以外の領域に位置する画素群の輝度を、視認領域に位置する画素群の輝度よりも小さくする輝度制御を実行する。このため、この表示システムは、ユーザの視線角と首向き角との変化のタイミングにずれが生じた場合でも、ユーザの実際の有効視野を含むように視認領域を精度良く推定できると共に、視認領域外の領域における輝度を下げることで低消費電力化が可能となる。
【0010】
なお、各構成要素等に付された括弧付きの参照符号は、その構成要素等と後述する実施形態に記載の具体的な構成要素等との対応関係の一例を示すものである。
【図面の簡単な説明】
【0011】
【図1】実施形態に係る表示システムを示すブロック図である。
【図2】ディスプレイの表示面における視認領域についての説明図である。
【図3】ユーザの首向き角およびディスプレイの表示面における第１所定領域についての説明図である。
【図4】ユーザの視線角およびディスプレイの表示面における第２所定領域についての説明図である。
【図5】ディスプレイの表示面に対するユーザの視線角と首向き角とが一致する場合における視認領域の第１の推定方法についての説明図である。
【図6】ユーザの視線角が首向き角に対して先行して変化する場合における視認領域の第２の推定方法についての説明図である。
【図7】ユーザの視線角が首向き角に対して遅延して変化する場合における視認領域の第２の推定方法についての説明図である。
【図8】ユーザがサングラスを装着している場合における視認領域の第３の推定方法についての説明図である。
【図9】輝度制御における処理動作例を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付して説明を行う。
【0013】
（実施形態）
実施形態に係る表示システムについて説明する。本実施形態では、表示システムが自動車などの車両に搭載された車両用表示システムである場合を代表例として説明するが、勿論、他の用途にも適用され得る。
実施形態に係る表示システムについて説明する。本実施形態では、表示システムが自動車などの車両に搭載された車両用表示システムである場合を代表例として説明するが、勿論、他の用途にも適用され得る。
【0014】
本表示システムは、例えば、車載用途の場合、図１に示すように、ディスプレイ１と、表示制御部２と、ユーザ撮像部３１を含む車載機器３と、車内ＬＡＮ４とを備えた構成とされる。本表示システムは、例えば、ディスプレイ１のユーザをユーザ撮像部３１が撮像し、表示制御部２が当該ユーザの少なくとも後述する首向き角θ１を含むユーザ情報を取得し、ディスプレイ１の表示面１ａにおける当該ユーザの視認領域Ｒ１を推定する。そして、本表示システムは、表示制御部２がディスプレイ１のうち推定された視認領域Ｒ１以外の領域に位置する画素群の輝度を視認領域に位置する画素群の輝度よりも小さくする輝度制御を実行する。
【0015】
ディスプレイ１は、例えば、画素ごとあるいは所定領域ごとに輝度を制御可能な任意のディスプレイである。ディスプレイ１は、例えば、ＯＬＥＤ等の自発光素子を画素として有する自発光型のディスプレイとされうる。ＯＬＥＤとは、Organic Light Emitting Diodeの略称である。ディスプレイ１は、例えば、マイクロメートルサイズの複数のマイクロＬＥＤなどをバックライトとして用い、ローカルディミング、すなわち部分駆動により微小なエリアごとに輝度を制御可能な液晶ディスプレイとされてもよい。ディスプレイ１は、例えば、表示制御部２からの映像出力信号に対応する画像表示を行う。ディスプレイ１は、例えば図２に示すように、表示面１ａを正面から見て横長の長方形状とされるが、これに限定されるものではなく、正方形、縦長の長方形、曲面形状などの他の形状であってもよい。ディスプレイ１は、例えば、所定距離で離れたユーザから見て、表示面１ａが当該ユーザの有効視野よりも大きい面積である大型のディスプレイとされる。ディスプレイ１は、例えば、車載用途の場合、インストルメントパネルに搭載され、助手席側の端部から運転席側の端部にわたる幅広のディスプレイとされるが、これに限定されない。
【0016】
なお、ＯＬＥＤディスプレイや液晶ディスプレイの構成等については公知であるため、本明細書では、ディスプレイ自体の詳細な説明については省略する。また、自発光素子としては、ＯＬＥＤを代表例として挙げたが、これに限定されるものではなく、無機ＥＬやマイクロＬＥＤなどの他の自発光素子であっても構わない。つまり、ディスプレイ１は、個々の画素単位、あるいは所定サイズ以下の領域を占める画素群単位で輝度制御が可能な表示体であればよい。所定サイズ以下の領域とは、例えば、限定するものではないが１ｍｍ角サイズなどが挙げられる。
【0017】
表示制御部２は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏなどを備えたマイクロコンピュータによって構成されている。なお、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏとは、それぞれ、Central Processing Unit、Read Only Memory、Random Access Memory、Input／Outputの略称である。表示制御部２は、例えば、図示しない記録媒体に記録されている各種プログラムを読み出して実行することで、車載機器３から伝えられる映像信号や情報に基づいてディスプレイ１での表示画像の映像出力および輝度制御を行う。表示制御部２は、例えば、首向き角取得部２１と、視線角取得部２２と、視認領域推定部２３と、輝度制御部２４と、映像出力部２５とを有した構成となっている。
【0018】
首向き角取得部２１は、ユーザ撮像部３１からユーザの首向き角θ１の情報を取得する。取得した首向き角θ１の情報は、例えば、視認領域推定部２３に出力され、ディスプレイ１の表示面１ａにおけるユーザの視認領域Ｒ１を推定するために用いられる。視認領域Ｒ１とは、例えば図２に示すように、ディスプレイ１の表示面１ａにおける一部の領域であって、ユーザの中心視野ＶＣおよびその周囲の有効視野ＶＥを内部に含む領域を意味する。なお、図２では、断面を示すものではないが、中心視野ＶＣおよびその周囲の有効視野ＶＥを見易くするため、これらの領域にハッチングを施している。
【0019】
首向き角θ１は、例えば、図３に示すように、ユーザ撮像部３１での撮像により得られるユーザの顔の正面方向に沿った仮想直線ＶＬ１の角度である。首向き角θ１は、例えば、図３にて破線で示す方向、すなわち自車両の座席に着座したユーザが自車両の前方（正面）を見ているときの顔の正面方向を基準方向の０°とし、仮想直線ＶＬ１と基準方向とのなす角度として定義される。首向き角θ１は、例えば、車幅方向に沿った方位および自車両の上下方向に沿った高度について取得される。
【0020】
視線角取得部２２は、ユーザ撮像部３１から図４に示すユーザの視線角θ２の情報を取得する。視線角取得部２２が視線角θ２の情報を取得した場合、取得した視線角θ２の情報は、例えば、視認領域推定部２３に出力され、ディスプレイ１の表示面１ａにおけるユーザの視認領域Ｒ１を推定するために用いられる。
【0021】
視線角θ２は、例えば、図４に示すように、ユーザ撮像部３１での撮像により得られるユーザの視線方向に沿った仮想直線ＶＬ２の角度である。視線角θ２は、例えば、首向き角θ１と同様に、図４にて破線で示す方向、すなわち自車両の座席に着座したユーザが自車両の前方を見ているときの視線方向を基準方向の０°とし、仮想直線ＶＬ２と基準方向とのなす角度として定義される。視線角θ２は、例えば、車幅方向に沿った方位および自車両の上下方向に沿った高度について取得される。
【0022】
なお、首向き角θ１および視線角θ２の定義については、上記した例に限られず、例えば、仮想直線ＶＬ１またはＶＬ２と表示面１ａに対する法線方向とのなす角度、といったように適宜変更されてもよい。
【0023】
視認領域推定部２３は、例えば、少なくともディスプレイ１のユーザの首向き角θ１の情報を取得し、少なくとも首向き角θ１を用いて視認領域Ｒ１の推定を行う。視認領域推定部２３は、例えば、視線角取得部２２が視線角θ２の情報を取得した場合には、視線角取得部２２から当該情報を取得し、必要に応じて、視線角θ２に基づいて視認領域Ｒ１の推定を行う。視認領域Ｒ１の推定の詳細については後述する。視認領域推定部２３が推定した視認領域Ｒ１のデータは、例えば、輝度制御部２４に出力され、低消費電力化や視認領域Ｒ１の見易さ向上のための輝度制御に用いられる。
【0024】
以下、説明の簡便化のため、表示面１ａのうち視認領域Ｒ１とは異なる外部の領域を「外部領域Ｒ０」と称し、表示面１ａのうち視認領域Ｒ１に位置する画素群を「視認領域画素群」と称し、外部領域Ｒ０に位置する画素群を「外部画素群」と称する。
【0025】
輝度制御部２４は、例えば、車載機器３から入力される画像データに対して、ディスプレイ１の視認領域画素群および外部画素群のそれぞれについて輝度調整を行い、そのデータを映像出力部２５に出力する。輝度制御部２４は、例えば、視認領域推定部２３により推定された視認領域Ｒ１に基づいて、視認領域画素群および外部画素群を決定する。輝度制御部２４は、少なくとも外部画素群の輝度を視認領域画素群の輝度よりも小さくする輝度制御を実行する。輝度制御部２４は、例えば、視認領域画素群および外部画素群のそれぞれについて補正後の設定輝度に対応する画像データを生成する。そして、輝度制御部２４は、例えば、設定輝度を調整した画像データを映像出力部２５に出力する。
【0026】
映像出力部２５は、例えば、輝度制御部２４から入力される輝度調整前または輝度調整後の画像データに基づいて映像出力信号を生成し、ディスプレイ１に出力する。
【0027】
車載機器３は、少なくともディスプレイ１のユーザを撮像するユーザ撮像部３１を有してなる。車載機器３は、ユーザ撮像部３１のほか、例えば、ナビゲーション装置、オーディオ装置、マルチメディア、車両ＥＣＵ、通信機器や表示システムが搭載される自車両に印加される物理量に応じた信号を出力する各種センサなどが含まれていてもよい。ＥＣＵとは、Electronic Control Unitの略称である。車載機器３は、例えば、車内ＬＡＮ４０を介して表示制御部２に接続され、ユーザ撮像部３１などからの各種信号を表示制御部２に入力する。
【0028】
ユーザ撮像部３１は、ディスプレイ１のユーザを撮像するカメラを有する撮像装置である。ユーザ撮像部３１は、車載用途では、例えば、株式会社デンソー製のドライバーステータスモニター（登録商標）とされ、自車両の運転席に着座する運転者や助手席に着座する乗員を撮像する。ユーザ撮像部３１は、例えば、公知の画像認証技術に基づいて、撮像したユーザの顔を含む画像データから、自車両内における当該ユーザの目の位置座標、首向き角θ１および視線角θ２を推定する。ユーザ撮像部３１は、例えば、当該ユーザの目の位置座標、首向き角θ１および視線角θ２を随時推定し、その推定結果を表示制御部２に向けて出力する。
【0029】
なお、ユーザ撮像部３１は、ユーザの顔を撮像できるカメラ等を有し、公知の画像認証技術により首向き角θ１および視線角θ２を算出できるものであればよく、他の公知の撮像装置であってもよい。また、ユーザ撮像部３１は、ユーザの顔を撮像できればよく、その配置については任意である。ユーザ撮像部３１は、例えば、ユーザの両目それぞれの位置あるいは両目の中心位置を算出し、右目および左目のそれぞれについて視線角θ２を算出してもよいし、両目の平均値を視線角θ２の代表値として算出してもよい。
【0030】
車内ＬＡＮ４は、例えば、表示制御部２と車載機器３とを接続し、これらの通信を可能とする車載用通信バスである。ＬＡＮとは、Local Area Networkの略称である。
【0031】
以上が、車載用途に適用された場合における本表示システムの基本的な構成である。
【0032】
〔視認領域の推定〕
次に、視認領域推定部２３による視認領域Ｒ１の推定について、図面を参照して説明する。図６～図８では、断面を示すものではないが、後述する第１所定領域Ｒ２よりも外側に位置する領域であって、視認領域Ｒ１の一部として推定される領域に向かう空間にハッチングを施している。
次に、視認領域推定部２３による視認領域Ｒ１の推定について、図面を参照して説明する。図６～図８では、断面を示すものではないが、後述する第１所定領域Ｒ２よりも外側に位置する領域であって、視認領域Ｒ１の一部として推定される領域に向かう空間にハッチングを施している。
【0033】
まず、視認領域Ｒ１の第１の推定方法について説明する。
【0034】
通常、ユーザは、例えば図５に示すように、顔の向きを変える場合を含めて、顔の向きと視線の方向、すなわち首向き角θ１および視線角θ２が略一致している。なお、略一致とは、首向き角θ１と視線角θ２とが完全に一致する場合に加えて、これらの角度がわずかにずれている場合を含む。この場合、視認領域推定部２３は、首向き角θ１に基づいて視認領域Ｒ１を推定する。具体的には、例えば、視認領域推定部２３は、首向き角θ１の情報を取得したとき、図３に示すように、首向き角θ１の方向に沿った仮想直線ＶＬ１と表示面１ａとの交点Ｐ１を算出し、交点Ｐ１を中心とする所定の範囲である第１所定領域Ｒ２を算出する。例えば、第１所定領域Ｒ２は、少なくともユーザの有効視野ＶＥを含むように、交点Ｐ１を中心とし、上下方向において２０°ずつ、水平方向において３０°ずつといった所定の視角の範囲として算出される。視認領域推定部２３は、例えば、上記のように算出した第１所定領域Ｒ２を視認領域Ｒ１として推定する。
【0035】
また、例えば、視認領域推定部２３は、視線角θ２の情報を取得したとき、図４に示すように、視線角θ２の方向に沿った仮想直線ＶＬ２と表示面１ａとの交点Ｐ２を算出し、交点Ｐ２を中心とする所定の範囲である第２所定領域Ｒ３を算出する。例えば、第２所定領域Ｒ３は、第１所定領域Ｒ２と同様に、少なくともユーザの有効視野ＶＥを含むように、交点Ｐ２を中心とする所定の視角の範囲として算出される。なお、第１所定領域Ｒ２および第２所定領域Ｒ３の算出における所定範囲の数値については、上記の例に限定されるものではなく、ユーザとディスプレイ１との距離などに応じて適宜変更されうる。
【0036】
続けて、視認領域Ｒ１の第２の推定方法について説明する。
【0037】
視認領域推定部２３は、首向き角θ１と視線角θ２とが所定以上にずれた状況においては、上記した第１の推定方法とは異なる第２の推定方法により、視認領域Ｒ１を推定する。首向き角θ１と視線角θ２とが所定以上にずれた状況としては、視線角θ２が首向き角θ１に対して先行して変化する場合と、首向き角θ１に対して遅延して変化する場合との２つが挙げられる。言い換えると、第２の推定方法は、首向き角θ１の変化と視線角θ２の変化との間にタイムラグが生じた状況に実行される。
【0038】
視線角θ２が首向き角θ１に対して先行して変化する場合とは、例えば図６に示すように、ユーザが顔の向きを変えずに視線だけを変える状況である。この状況において、第１所定領域Ｒ２を視認領域Ｒ１と推定し、外部画素群を視認領域画素群よりも輝度を小さくする制御を実行すると、外部画素群の一部がユーザの実際の有効視野内に位置し、その輝度が小さくなるため、ユーザが違和感を覚えるおそれがある。このため、視認領域推定部２３は、第１所定領域Ｒ２および第２所定領域Ｒ３をそれぞれ算出するとともに、第２所定領域Ｒ３のうち第１所定領域Ｒ２よりも外側に位置するはみ出し領域Ｒ３１を算出する。そして、視認領域推定部２３は、第１所定領域Ｒ２にはみ出し領域Ｒ３１を加えて得られる加算領域を視認領域Ｒ１として推定する。言い換えると、視認領域推定部２３は、第１所定領域Ｒ２にユーザの視線の先行する側の領域を付加した広い領域を視認領域Ｒ１として推定する。これにより、視認領域Ｒ１は、ユーザの実際の中心視野および有効視野に位置する領域を含めた広い領域として推定される。
【0039】
一方、視線角θ２が首向き角θ１に対して遅延して変化する場合とは、例えば図７に示すように、ユーザが視線を変えずに顔の向きだけを変える状況である。この状況において、第１の推定方法による視認領域Ｒ１の推定、および外部画素群の輝度を下げる輝度制御を実行すると、上記の場合と同様に、ユーザが違和感を覚えるおそれがある。視線角θ２が首向き角θ１に対して遅延して変化する場合についても視認領域推定部２３は、上記と同様に、第１所定領域Ｒ２にはみ出し領域Ｒ３１を加えて得られる加算領域を視認領域Ｒ１として推定する。この場合、視認領域Ｒ１は、ユーザが顔を向けた先に位置する第１所定領域Ｒ２に、ユーザが視線を向けたままの位置、すなわち視線が遅れる側に位置するはみ出し領域Ｒ３１を付加した広い領域として推定される。このため、外部領域Ｒ０にユーザの有効視野が含まれること、ひいてはユーザに違和感を覚えさせるような輝度制御がなされることが抑制される。
【0040】
視線角θ２が首向き角θ１に対して先行または遅延して変化する場合、いずれも首向き角θ１および視線角θ２の変化のタイミングに差が生じる状況であるが、第２の推定方法によれば、ユーザの有効視野を含む所定範囲の領域を視認領域Ｒ１として推定できる。第２の推定方法は、例えば、首向き角θ１と視線角θ２との差が所定以下に収まるまで実行され、首向き角θ１と視線角θ２とが略一致したときには第１の推定方法に切り替えられる。つまり、第２の推定方法は、首向き角θ１および視線角θ２の一方が他方よりも先に変化したときから、首向き角θ１と視線角θ２とが略一致するまでの間に実行される。
【0041】
次に、視認領域Ｒ１の第３の推定方法について説明する。
【0042】
視認領域推定部２３は、ユーザの視線角θ２の情報を取得できない場合には、第３の推定方法により視認領域Ｒ１を推定する。ユーザの視線角θ２の情報を取得できない場合としては、例えば、ユーザがサングラスを装着している状況などが挙げられる。なお、このような状況であっても、ユーザの顔全体については撮像されるため、首向き角θ１の算出については特に影響はない。この場合、視認領域推定部２３は、第１所定領域Ｒ２を算出するとともに、首向き角θ１に基づいて視線角θ２の角度範囲を推定する。例えば、視認領域推定部２３は、例えば図８に示すように、首向き角θ１に沿った仮想直線ＶＬ１を中心とする視線角θ２の角度範囲Ｒθ２を推定し、推定した角度範囲Ｒθ２における第２所定領域Ｒ３の最大範囲を算出する。視認領域推定部２３は、第１所定領域Ｒ２に隣接する領域であって、第２所定領域Ｒ３の最大範囲のうち第１所定領域Ｒ２からはみ出す部分である隣接領域Ｒ４を算出する。そして、視認領域推定部２３は、第１所定領域Ｒ２に隣接領域Ｒ４を加えて得られる加算領域を視認領域Ｒ１として推定する。これにより、視認領域推定部２３は、ユーザの視線角θ２の情報が得られない場合であっても、ユーザの有効視野を含む広い領域を視認領域Ｒ１として推定することができる。
【0043】
なお、角度範囲Ｒθ２については、例えば、首向き角θ１に対応する視線角θ２のデータベースを予め作成し、図示しない記録媒体に格納しておき、首向き角θ１を取得したときに当該データベースを読み込むことにより得ることができる。例えば、角度範囲Ｒθ２は、首向き角θ１が５°である場合、首向き角θ１＝５°に対応する数値が上記のデータベースから読み込まれ、Ｒθ２＝５°±５°といった具合に推定される。視線角θ２のデータベースは、例えば、首向き角θ１を中心とする所定範囲内の角度とされ、首向き角θ１の数値に対応する複数の区分ごとにそれぞれθ２の範囲が設定される。
【0044】
第３の推定方法は、例えば、ユーザの視線角θ２の情報が取得できない間に実行され、ユーザの視線角θ２の情報を取得した場合には第１または第２の推定方法に切り替えられる。
【0045】
〔輝度制御〕
次に、本表示システムにおけるディスプレイ１の輝度制御の一例について説明する。
次に、本表示システムにおけるディスプレイ１の輝度制御の一例について説明する。
【0046】
例えば、表示制御部２は、自車両のイグニッションがオン状態になる、あるいはディスプレイ１がオン状態になるなどの所定の開始条件を満たした場合、図９に示す制御フローを実行する。
【0047】
ステップＳ１１０では、例えば、表示制御部２は、ユーザ撮像部３１からユーザの目の位置座標、視線角θ２および首向き角θ１のうち少なくとも首向き角θ１を含むユーザ情報を取得する。
【0048】
続くステップＳ１２０では、例えば、表示制御部２は、ステップＳ１１０で取得したユーザ情報に視線角θ２が含まれているか否かについて判定し、処理を肯定判定の場合にはステップＳ１４０に進め、否定判定の場合にはステップＳ１３０に進める。
【0049】
ステップＳ１３０では、ユーザがサングラス等を装着するなどの要因により、ユーザの視線角θ２を直接取得できないため、視認領域推定部２３は、上記の第３の推定方法により、視認領域Ｒ１を推定する。これにより、第１所定領域Ｒ２にその周囲に位置する隣接領域Ｒ４を加えた領域が視認領域Ｒ１として推定される。
【0050】
ステップＳ１４０では、例えば、表示制御部２は、首向き角θ１と視線角θ２との変化のズレが生じたか否か、すなわち首向き角θ１および視線角θ２の一方が他方よりも先に変化したか否かについて判定を行う。例えば、表示制御部２は、処理をステップＳ１４０にて肯定判定の場合にはステップＳ１６０に進め、否定判定の場合にはステップＳ１５０に進める。
【0051】
ステップＳ１５０では、首向き角θ１と視線角θ２との差が所定以下、すなわちこれらが略一致している状況であるため、視認領域推定部２３は、上記の第１の推定方法により、視認領域Ｒ１を推定する。これにより、首向き角θ１に基づいて算出された第１所定領域Ｒ２が視認領域Ｒ１として推定される。
【0052】
ステップＳ１６０では、視線角θ２が首向き角θ１に対して先行または遅延している状況であるため、視認領域推定部２３は、上記の第２の推定方法により、視認領域Ｒ１を推定する。これにより、第１所定領域Ｒ２に、第２所定領域Ｒ３のうちユーザの視線側において第１所定領域Ｒ２からはみ出しているはみ出し領域Ｒ３１を加えた広い領域が視認領域Ｒ１として推定される。
【0053】
そして、例えば、表示制御部２は、ステップＳ１３０、Ｓ１５０、Ｓ１６０のいずれか１つにより視認領域Ｒ１を推定した後、処理をステップＳ１７０に進める。ステップＳ１７０では、例えば、輝度制御部２４は、ステップＳ１３０、Ｓ１５０、Ｓ１６０のいずれかにより推定した視認領域Ｒ１に基づいて、視認領域画素群および外部画素群を設定する。そして、例えば、輝度制御部２４は、少なくとも外部画素群の輝度を視認領域画素群の輝度よりも小さくする輝度制御を実行する。
【0054】
これにより、ディスプレイ１の表示画像のうちユーザの視線の先にある部分の輝度を下げることなく、ユーザの有効視野外に位置し、ユーザが画像の詳細を認識できない外部領域Ｒ０について輝度を下げることができる。このため、首向き角θ１および視線角θ２の一方が他方に対して遅延する場合および視線角θ２を取得できない場合においても、視認領域Ｒ１を精度良く推定でき、輝度制御での遅延を抑制でき、ユーザに違和感を覚えさせない画像を表示することが可能となる。また、ユーザの周辺視野やこれよりも外側の領域における輝度を下げるため、低消費電力の効果が得られる。
【0055】
表示制御部２は、例えば、ステップＳ１７０の処理が終了後、ディスプレイ１がオフ状態となるなどの所定の終了条件を満たすまで上記したステップＳ１１０以降の処理を繰り返す。これにより、首向き角θ１と視線角θ２とが略一致する状況では第１の推定方法、首向き角θ１および視線角θ２の一方が他方に対して遅延する状況では第２の推定方法、視線角θ２を取得できない状況では第３の推定方法により、視認領域Ｒ１が推定される。そして、第１ないし第３の推定方法により得られる視認領域Ｒ１に基づいて、輝度制御を実行することで、輝度制御の遅延を抑制でき、ユーザへの違和感の低減と消費電力の低減とを両立することができる。
【0056】
なお、ステップＳ１７０の輝度制御では、外部画素群についての輝度制御に合わせて、画像のうち視認領域Ｒ１に表示される部分を見易い状態とするため、必要に応じて視認領域画素群の一部または全部の輝度を大きくする制御が実行されてもよい。例えば、本表示システムは、車載機器３が照度センサを有し、ディスプレイ１が置かれた環境の照度が所定以上である場合には、日射が当たっている領域における部分の輝度を大きくする制御を実行してもよい。
【0057】
本実施形態によれば、ユーザの視線角θ２を取得できない場合、およびユーザの首向き角θ１および視線角θ２の一方が他方に対して遅延する場合において、首向き角θ１に基づいて得られる第１所定領域Ｒ２よりも広い領域を視認領域Ｒ１として推定する。そして、本表示システムは、推定した視認領域Ｒ１に基づいて外部画素群について視認領域画素群よりも輝度を小さくする輝度制御を実行するため、視認領域Ｒ１の推定ひいては輝度制御に遅延が生じることを抑制しつつ、低消費電力化の効果が得られる。また、視認領域Ｒ１の推定精度が向上し、ユーザの有効視野を含む広い領域として設定されるため、ユーザに違和感を覚えさせない画像表示が可能となる。
【0058】
（他の実施形態）
本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらの一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらの一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
【0059】
本開示に記載の表示制御部２及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の表示制御部２及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の表示制御部２及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
【0060】
なお、上記各実施形態において、実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、上記各実施形態において、実施形態の構成要素の個数、数値、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではない。また、上記各実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に特定の形状、位置関係等に限定される場合等を除き、その形状、位置関係等に限定されるものではない。
【符号の説明】
【0061】
１…ディスプレイ、１ａ…表示面、２１…首向き角取得部、２２…視線角取得部
２３…視認領域推定部、２４…輝度制御部、θ１…首向き角、θ２…視線角
Ｒ１…視認領域、Ｒ２…第１所定領域、Ｒ３…第２所定領域、Ｒ３１…はみ出し領域
Ｒ４…隣接領域
２３…視認領域推定部、２４…輝度制御部、θ１…首向き角、θ２…視線角
Ｒ１…視認領域、Ｒ２…第１所定領域、Ｒ３…第２所定領域、Ｒ３１…はみ出し領域
Ｒ４…隣接領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】