特開 2023-159910 表示状態制御装置および表示状態制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023159910

(43)【公開日】2023-11-02

(54)【発明の名称】表示状態制御装置および表示状態制御方法

(51)【国際特許分類】

   G09G 5/00 20060101AFI20231026BHJP

   G09G 5/36 20060101ALI20231026BHJP

   H04N 5/66 20060101ALI20231026BHJP

   B60K 35/00 20060101ALI20231026BHJP

【ＦＩ】

G09G5/00 X

G09G5/00 550C

G09G5/00 530D

G09G5/36 520B

H04N5/66 Z

B60K35/00 Z

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022069817

(22)【出願日】2022-04-21

(71)【出願人】

【識別番号】000010098

【氏名又は名称】アルプスアルパイン株式会社

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(74)【代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(74)【代理人】

【識別番号】100099748

【弁理士】

【氏名又は名称】佐藤 克志

(74)【代理人】

【識別番号】100103171

【弁理士】

【氏名又は名称】雨貝 正彦

(72)【発明者】

【氏名】田中 計哉

【テーマコード（参考）】

3D344

5C058

5C182

【Ｆターム（参考）】

3D344AA20

3D344AA30

3D344AB01

5C058AA06

5C058BA24

5C058BA29

5C058BA35

5C058BB25

5C182AA03

5C182AB15

5C182AB25

5C182AC03

5C182AC33

5C182BA14

5C182BA55

5C182BA56

5C182CB47

5C182CB54

5C182DA42

5C182DA70

(57)【要約】

【課題】表示画面を安全状態にするための処理系統にエラーが生じている場合でも、表示画像がフリーズしていることをユーザに気づかせることが可能な「表示状態制御装置および表示状態制御方法」を提供する。
【解決手段】フリーズ検出部２１により表示画像のフリーズが検出された場合、安全状態設定部２２がバックライトをオフしてＬＣＤ１を安全状態した後、ＬＣＤ１を見ているユーザの目の部分の画像に基づいて、ＬＣＤ１が安全状態になっているか否かを判定する安全状態判定部２３と、安全状態になっていないと判定された場合にＬＣＤ電源４をオフする別制御部２４とを備え、安全状態設定部２２の処理系統にエラーが生じていてＬＣＤ１が安全状態にならない場合でも、ユーザの目に映り込んでいるＬＣＤ１の表示状態から安全状態ではないことを検知して、安全状態と同様の表示状態となるように制御する。
【選択図】図２

【特許請求の範囲】

【請求項1】

ディスプレイの表示画像がフリーズしていることを検出するフリーズ検出部と、
上記フリーズ検出部により上記フリーズが検出された場合、上記ディスプレイを安全状態にする安全状態設定部と、
上記フリーズ検出部により上記フリーズが検出された場合、上記ディスプレイを見ているユーザの撮影画像に含まれる目の部分の画像に基づいて、上記ディスプレイが上記安全状態になっているか否かを判定する安全状態判定部と、
上記安全状態判定部により上記ディスプレイが上記安全状態になっていないと判定された場合、上記安全状態設定部による処理とは別の処理で、上記ディスプレイが上記安全状態と同様の表示状態となるように制御する別制御部とを備えた
ことを特徴とする表示状態制御装置。

【請求項2】

上記安全状態設定部は、上記安全状態として上記ディスプレイを黒画面にする処理を行い、
上記別制御部は、上記安全状態判定部により上記ディスプレイが上記黒画面になっていないと判定された場合、上記ディスプレイの電源をオフする
ことを特徴とする請求項１に記載の表示状態制御装置。

【請求項3】

上記安全状態設定部は、上記安全状態として上記ディスプレイを黒画面にする処理を行い、
上記別制御部は、上記安全状態判定部により上記ディスプレイが上記黒画面になっていないと判定された場合、上記ディスプレイを動作させている装置の電源をオフする
ことを特徴とする請求項１に記載の表示状態制御装置。

【請求項4】

上記ユーザの撮影画像に基づいて、上記目の部分の画像から上記目を認識可能であるか否かを判定する目認識可否判定部を更に備え、
上記安全状態判定部は、上記目認識可否判定部により上記目を認識可能ではないと判定された場合、上記ディスプレイが上記安全状態になっているか否かの判定を実行しない
ことを特徴とする請求項１～３の何れか１項に記載の表示状態制御装置。

【請求項5】

上記目認識可否判定部は、上記目を認識可能であるか否かの判定を定期的に繰り返し実行し、
上記安全状態判定部は、上記目認識可否判定部により上記目を認識可能ではないと判定された場合、上記目認識可否判定部が次に判定を行うまでの期間中、上記ディスプレイが上記安全状態になっているか否かの判定を実行しない
ことを特徴とする請求項４に記載の表示状態制御装置。

【請求項6】

ディスプレイの表示画像がフリーズしていることが検出された場合に上記ディスプレイを安全状態にする安全状態設定部の機能を有する装置において、上記ディスプレイの表示状態を制御する方法であって、
上記装置の安全状態判定部が、上記フリーズが検出された場合に、上記ディスプレイを見ているユーザの撮影画像に含まれる目の部分の画像に基づいて、上記ディスプレイが上記安全状態になっているか否かを判定する第１のステップと、
上記装置の別制御部が、上記安全状態判定部により上記ディスプレイが上記安全状態になっていないと判定された場合、上記安全状態設定部による処理とは別の処理で、上記ディスプレイが上記安全状態と同様の表示状態となるように制御する第２のステップとを有する
ことを特徴とする表示状態制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示状態制御装置および表示状態制御方法に関し、特に、ディスプレイの表示画像がフリーズしたことをユーザに報知するための制御を行う装置および方法に関するものである。

【背景技術】

【0002】

車両の運転席の正面に配置されたクラスターディスプレイには、運転に必要な各種メーターのほか、各種の警告灯が表示される。そのため、一定の機能安全性が要求される。すなわち、表示画像がフリーズした場合に運転者が警告に気づけないことを防ぐため、表示画像のフリーズを検出した場合には画面を安全状態に設定する（例えば、ディスプレイを黒画面にする）必要がある。表示画像がフリーズしたか否かは、ディスプレイに内蔵されたドライバーＩＣのエラー検出機能を利用して、内部エラーの検出によって判断している。

【0003】

なお、表示画像がフリーズしたか否かを判定する方法として、様々な技術が知られている（例えば、特許文献１～３参照）。特許文献１に記載の液晶表示装置では、黒画面を表示させたときの消費電流と白画面を表示させたときの消費電流とを比較し、その差分が一定以下であるとき、あるいは変化がないとき、画面フリーズと判定する。特許文献１に記載の液晶表示装置では、画面フリーズと判定された場合、黒を表す表示データを液晶駆動回路に供給し、あるいはバックライトをオフすることにより、液晶パネルに安全状態として黒画面を表示させる。

【0004】

特許文献２に記載の画像表示システムでは、撮像画像内に設定された検出画描画領域内にＲＧＢ信号を合成し、フレーム毎に反転しているＲＧＢ信号の比較結果に基づいて、連続する合成画像の特定領域に白色の画像と黒色の画像とが繰り返し含まれている場合には撮像画像にフリーズが発生していないと判断する一方、連続する合成画像の特定領域に白色の画像または黒色の画像の何れか一方が連続して含まれている場合には撮像画像にフリーズが発生していると判断する。特許文献２に記載の画像表示システムでは、フリーズが発生していると判断した場合、バックライトをオフする。

【0005】

特許文献３に記載の映像信号異常検出装置では、映像信号における外部同期信号と、ＰＷＭ出力部により自走される内部同期信号とに位相差がある場合には、比較部から制御部に比較信号が出力され、これを受けて制御部がエラー信号を映像処理部に出力する。そして、このエラー信号が入力された映像処理部では、ＬＣＤにおける表示画面に黒画を表示させるための画像信号をＬＣＤに出力する。

【0006】

なお、特許文献４には、画面のフリーズをユーザに知らせる方法として、黒画面を表示することとは異なる方法で、画面の表示を通常とは異なる状態にすることが開示されている。すなわち、特許文献４に記載の表示装置では、画面のフリーズが発生したとき、フレームごとに左右が反転する表示態様で画像が表示されるようにすることにより、画面がフリーズしたことをユーザに報知する。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０２１－１６２７９５号公報

【特許文献2】特開２００８－２５２３０７号公報

【特許文献3】特開２０１７－１６９１２０号公報

【特許文献4】特開２０１６－１０２９３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

表示画像のフリーズが検知された場合に画面を通常とは異なる安全状態の表示にする（例えば、黒画面する）ことにより、ユーザに異常の発生を気づかせることができる。しかしながら、表示画面を安全状態にするための処理系統にエラーが生じている場合、例えばバックライト電源回路にエラーが生じてバックライトをオフすることができない場合には、表示画像がフリーズしていることをユーザに気づかせることができないという問題があった。

【0009】

本発明は、このような問題を解決するために成されたものであり、表示画面を安全状態にするための処理系統にエラーが生じている場合でも、表示画像がフリーズしていることをユーザに気づかせることができるようにすることを目的とする。

【課題を解決するための手段】

【0010】

上記した課題を解決するために、本発明では、ディスプレイの表示画像がフリーズしていることが検出された場合にディスプレイを安全状態にする表示状態制御装置において、表示画像のフリーズが検出された場合、ディスプレイを見ているユーザの撮影画像に含まれる目の部分の画像に基づいて、ディスプレイが安全状態になっているか否かを判定し、安全状態になっていないと判定された場合、ディスプレイを安全状態にするための処理とは別の処理で、ディスプレイが安全状態と同様の表示状態となるように制御するようにしている。

【発明の効果】

【0011】

ディスプレイの表示画像がフリーズしていても、表示画面を安全状態にするための処理系統にエラーが生じている場合には、ディスプレイが安全状態にならない。その場合でも、上記のように構成した本発明によれば、ディスプレイを見ているユーザの撮影画像に含まれる目の部分の画像に基づいて、ユーザの目に映り込んでいるディスプレイの表示状態が安全状態になっていないことが検知され、ディスプレイが安全状態と同様の表示状態となるように別の処理が行われる。これにより、表示画面を安全状態にするための処理系統にエラーが生じている場合でも、表示画像がフリーズしていることをユーザに気づかせることができる。

【図面の簡単な説明】

【0012】

【図1】本実施形態による表示状態制御装置を含む表示システムのハードウェア構成例を示す図である。

【図2】本実施形態による表示状態制御装置の機能構成例を示すブロック図である。

【図3】本実施形態による安全状態判定部の判定処理を説明するための図である。

【図4】本実施形態による表示状態制御装置の動作例を示すフローチャートである。

【図5】本実施形態の変形例に係る表示状態制御装置の機能構成例を示すブロック図である。

【発明を実施するための形態】

【0013】

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による表示状態制御装置を含む表示システム１０のハードウェア構成例を示す図である。本実施形態の表示システム１０は、ハードウェア構成として、ＬＣＤ１、本実施形態の表示状態制御装置２、画像処理ＩＣ３、ＬＣＤ電源４およびバックライト電源５を備えて構成される。表示状態制御装置２は、例えば、コンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを含むマイコンまたはＳｏＣ（System-on-a-chip）により構成される。

【0014】

また、本実施形態の表示システム１０には、カメラ２０が接続されている。例えば、本実施形態の表示システム１０は車載システムであり、カメラ２０は、車両前方位置において、ユーザ（例えば運転者）の少なくとも顔画像を撮影可能な姿勢に取り付けられている。

【0015】

ＬＣＤ１は、各種の画像を表示するものであり、本実施形態では一例として車両のクラスターディスプレイに用いられる。ＬＣＤ１に表示する画像は、画像処理ＩＣ３により生成される。ＬＣＤ１は、表示に関する内部エラーが発生した場合に、表示状態制御装置２に対してエラー通知を行う。この内部エラーには、表示画像がフリーズした状態となるフリーズエラー（フリーズの原因となるエラーを含む）も含まれる。

【0016】

表示状態制御装置２は、ＬＣＤ１、画像処理ＩＣ３、ＬＣＤ電源４およびバックライト電源５との間で通信を行い、ＬＣＤ１に対する画像の表示を全体として制御する。本実施形態では特に、表示状態制御装置２は、ＬＣＤ１からフリーズエラーのエラー通知を受信した場合に、ＬＣＤ１の表示画面を安全状態に設定するための処理を実行する。これに関する処理の詳細は、図２を用いて後述する。

【0017】

画像処理ＩＣ３は、表示状態制御装置２からの制御に従って、例えばクラスターディスプレイに表示すべき各種メーターの画像および各種警告灯の画像を生成する。例えば、画像処理ＩＣ３は、表示システム１０の外部装置から表示状態制御装置２を介して画像処理ＩＣ３に供給される各種メーターの画像と、画像処理ＩＣ３の内部で生成した各種警告灯の画像とを重畳した合成画像を生成する。

【0018】

なお、クラスターディスプレイに表示する画像はこれに限定されない。例えば、簡易的な走行案内を行うためのナビゲーション画像を更に表示するようにしてもよい。この場合、画像処理ＩＣ３は、表示システム１０の外部のナビゲーション装置から表示状態制御装置２を介して供給されるナビゲーション画像を加工して、これを表示画面の所定領域に更に重畳した合成画像を生成する。

【0019】

また、画像処理ＩＣ３は、カメラ２０により撮影された画像を処理し、処理後の画像を表示状態制御装置２に供給する。例えば、画像処理ＩＣ３は、表示状態制御装置２がＬＣＤ１の表示画面を安全状態に設定するための処理を実行した後、表示状態制御装置２から送られてくる要求に応じて、カメラ２０により撮影されたユーザの顔画像から目の部分を抽出し、抽出した目の部分の画像（以下、単に目画像という）を表示状態制御装置２に供給する。表示状態制御装置２は、画像処理ＩＣ３から供給される目画像に基づいて、ＬＣＤ１の表示画面を安全状態に設定するための関連処理を実行する。

【0020】

ＬＣＤ電源４は、表示状態制御装置２からの制御に従って、ＬＣＤ１に対する電源の供給をオン／オフする。バックライト電源５は、表示状態制御装置２からの制御に従って、ＬＣＤ１のバックライトに対する電源の供給をオン／オフする。バックライト電源５はバックライトのみを対象として電源の供給をオン／オフするのに対し、ＬＣＤ電源４はＬＣＤ１の全体に対する電源の供給をオン／オフする。

【0021】

図２は、本実施形態による表示状態制御装置２の機能構成例を示すブロック図である。図２に示すように、本実施形態の表示状態制御装置２は、機能構成として、フリーズ検出部２１、安全状態設定部２２、安全状態判定部２３および別制御部２４を備えている。これらの機能ブロック２１～２４は、上述したマイコンまたはＳｏＣが備えるＲＯＭ、あるいはハードディスクまたは半導体メモリ等の記憶媒体に記憶されたプログラムが動作することによって実現される。なお、これらの機能ブロック２１～２４の全てまたは一部をハードウェアまたはＤＳＰ（Digital Signal Processor）により構成することも可能である。

【0022】

フリーズ検出部２１は、ＬＣＤ１から供給されるフリーズエラーのエラー通知により、ＬＣＤ１（ディスプレイ）の表示画像がフリーズしていることを検出する。安全状態設定部２２は、フリーズ検出部２１により表示画像のフリーズが検出された場合、ＬＣＤ１を安全状態に設定する。本実施形態において、安全状態設定部２２は、バックライト電源５を制御してＬＣＤ１のバックライトをオフする（バックライトへの電源供給を遮断する）ことにより、安全状態としてディスプレイを黒画面にする処理を行う。

【0023】

ここで、例えばバックライト電源５にエラーが生じている場合や、表示状態制御装置２とバックライト電源５との通信経路に障害が生じている場合などには、バックライトをオフすることができないことが起こり得る。そこで、安全状態判定部２３は、フリーズ検出部２１により表示画像のフリーズが検出された場合、画像処理ＩＣ３に対して目画像の取得を要求し、これに応じて画像処理ＩＣ３から供給されるユーザの目画像に基づいて、ＬＣＤ１が安全状態になっているか否か、すなわち、ＬＣＤ１が黒画面になっているか否かを判定する。

【0024】

図３は、この判定処理を説明するための図であり、ＬＣＤ１を見ているユーザの目の部分を示している。ユーザがＬＣＤ１を見ている場合、当該ＬＣＤ１を見ているユーザの目（瞳の部分）には、ユーザが目視しているＬＣＤ１の表示画面が映り込んでいる。そのため、ＬＣＤ１が黒画面になっている場合は、図３（ａ）のようにユーザの目にはＬＣＤ１の黒画面が映り込む。一方、ＬＣＤ１が黒画面になっていない場合は、図３（ｂ）のようにユーザの目にはフリーズ状態の表示画面が映り込む。よって、安全状態判定部２３は、画像処理ＩＣ３から供給されるユーザの目画像が、図３（ａ）のようにユーザの目にＬＣＤ１の黒画面が映り込んだ状態の画像になっているか否かを認識することにより、ＬＣＤ１が黒画面になっているか否かを判定することが可能である。

【0025】

別制御部２４は、安全状態判定部２３によりＬＣＤ１が安全状態になっていないと判定された場合、すなわち、ＬＣＤ１が黒画面になっていないと判定された場合、安全状態設定部２２による処理（バックライトの電源供給オフ）とは別の処理で、ＬＣＤ１が安全状態と同様の表示状態（黒画面）となるように制御する。本実施形態において、別制御部２４は、ＬＣＤ電源４をオフする（ＬＣＤ１への電源供給を遮断する）ことにより、ＬＣＤ１が黒画面となるようにする。

【0026】

図４は、上記のように構成した表示状態制御装置２の動作例（表示状態制御方法の処理手順）を示すフローチャートである。図４に示すフローチャートは、表示状態制御装置２がＬＣＤ１からフリーズエラーのエラー通知を受信したときに開始する。

【0027】

まず、フリーズ検出部２１は、ＬＣＤ１から供給されるフリーズエラーのエラー通知の受信により、ＬＣＤ１の表示画像がフリーズしていることを検出する（ステップＳ１）。表示画像のフリーズが検出されると、安全状態設定部２２は、バックライト電源５を制御してＬＣＤ１のバックライトをオフすることにより、ディスプレイを黒画面にする（ステップＳ２）。

【0028】

次いで、安全状態判定部２３は、画像処理ＩＣ３に対して目画像の取得を要求し、これに応じて画像処理ＩＣ３から供給されるユーザの目画像（ＬＣＤ１を見ているユーザの撮影画像に含まれる目の部分の画像）に基づいて、ＬＣＤ１が安全状態になっているか否か、すなわち、ＬＣＤ１が黒画面になっているか否かを判定する（ステップＳ３）。

【0029】

ここで、安全状態判定部２３によりＬＣＤ１が黒画面になっていないと判定された場合、別制御部２４は、ＬＣＤ電源４をオフすることにより、ＬＣＤ１が黒画面となるように制御する（ステップＳ４）。これにより、図４に示すフローチャートの処理が終了する。一方、安全状態判定部２３によりＬＣＤ１が黒画面になっていると判定された場合、別制御部２４は何もせず、図４に示すフローチャートの処理が終了する。

【0030】

以上詳しく説明したように、本実施形態では、ＬＣＤ１の表示画像がフリーズしていることが検出された場合にＬＣＤ１のバックライトをオフして黒画面の安全状態にする表示状態制御装置２において、表示画像のフリーズがフリーズ検出部２１により検出された場合、ＬＣＤ１を見ているユーザの目画像に基づいて、ＬＣＤ１が安全状態になっているか否かを判定し、安全状態になっていないと判定された場合、ＬＣＤ電源４をオフすることにより、ＬＣＤ１が安全状態と同様の表示状態となるようにしている。

【0031】

このように構成した本実施形態によれば、ＬＣＤ１の表示画面を安全状態にするための処理系統にエラーが生じていて、表示画像がフリーズしていてもＬＣＤ１が安全状態にならない場合でも、ＬＣＤ１を見ているユーザの撮影画像に含まれる目の部分の画像に基づいて、ユーザの目に映り込んでいるＬＣＤ１の表示状態が安全状態になっていないことが検知され、ＬＣＤ１が安全状態と同様の表示状態となるように制御される。これにより、表示画面を安全状態にするための処理系統にエラーが生じている場合でも、表示画像がフリーズしていることをユーザに気づかせることができる。

【0032】

なお、上記実施形態では、ＬＣＤ１を安全状態にするための処理とは別の処理の例として、ＬＣＤ１への電源供給をオフする処理を挙げたが、本発明はこれに限定されない。例えば、別制御部２４は、安全状態判定部２３によりＬＣＤ１が黒画面になっていないと判定された場合に、ＬＣＤ１を動作させている装置に電源オフの要求を出力することにより、当該装置の電源をオフするようにしてもよい。例えば、表示状態制御装置２に接続された外部装置の電源をオフすることによって外部装置から表示状態制御装置２への電源供給を遮断することにより、ＬＣＤ１を黒画面とするようにしてもよい。

【0033】

また、ＬＣＤ１を見ているユーザが眼鏡やサングラスをかけている場合、カメラ２０による撮影画像から目の部分を認識できない可能性がある。このよう場合に、安全状態判定部２３の処理を実行しないようにしてもよい。図５は、この場合における表示状態制御装置２’の機能構成例を示すブロック図である。この図５において、図２に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

【0034】

図５に示す変形例に係る表示状態制御装置２’は、目認識可否判定部２５を更に備えている。また、変形例に係る表示状態制御装置２’は、安全状態判定部２３に代えて安全状態判定部２３’を備えている。

【0035】

目認識可否判定部２５は、カメラ２０により撮影されたユーザの顔画像を画像処理ＩＣ３から取得し、当該ユーザの顔画像に基づいて、目の部分の画像から目を認識可能であるか否かを判定する。例えば、目認識可否判定部２５は、ユーザの顔画像に基づいて、ユーザが眼鏡またはサングラスをかけているか否かを判定し、かけていない場合は目を認識可能であると判定する。また、目認識可否判定部２５は、ユーザが眼鏡またはサングラスをかけていると判定された場合は、レンズ越しにユーザの目を画像認識により検出可能か否かを更に判定し、検出可能な場合は、目を認識可能であると判定する。

【0036】

安全状態判定部２３’は、目認識可否判定部２５により目を認識可能ではないと判定された場合、ＬＣＤ１が安全状態になっているか否かの判定を実行しない。ここで、目認識可否判定部２５が目を認識可能であるか否かの判定を定期的に繰り返し実行し、安全状態判定部２３’は、目認識可否判定部２５により目を認識可能ではないと判定された場合、目認識可否判定部２５が次に判定を行うまでの期間中、ＬＣＤ１が安全状態になっているか否かの判定を実行しないようにしてもよい。

【0037】

このように構成した変形例によれば、ユーザが眼鏡等をかけているために目を認識できない状態のときに、安全状態判定部２３’によりＬＣＤ１が安全状態になっていないと誤判定されてしまうことを防ぐことができる。

【0038】

また、上記実施形態では、ＬＣＤ１として車載のクラスターディスプレイを用いる例について説明したが、本発明はこれに限定されない。例えば、センターコンソールまたはダッシュボードに設置されるディスプレイであってもよい。

【0039】

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0040】

１ ＬＣＤ（ディスプレイ）
２，２’ 表示状態制御装置
３ 画像処理ＩＣ
４ ＬＣＤ電源
５ バックライト電源
１０ 表示システム
２０ カメラ
２１ フリーズ検出部
２２ 安全状態設定部
２３，２３’ 安全状態判定部
２４ 別制御部
２５ 目認識可否判定部

【図1】

【図2】

【図3】

【図4】

【図5】