IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックオートモーティブシステムズ株式会社の特許一覧

特開2024-105079表示制御装置、表示制御方法及びプログラム
<>
  • 特開-表示制御装置、表示制御方法及びプログラム 図1
  • 特開-表示制御装置、表示制御方法及びプログラム 図2
  • 特開-表示制御装置、表示制御方法及びプログラム 図3
  • 特開-表示制御装置、表示制御方法及びプログラム 図4
  • 特開-表示制御装置、表示制御方法及びプログラム 図5A
  • 特開-表示制御装置、表示制御方法及びプログラム 図5B
  • 特開-表示制御装置、表示制御方法及びプログラム 図6A
  • 特開-表示制御装置、表示制御方法及びプログラム 図6B
  • 特開-表示制御装置、表示制御方法及びプログラム 図6C
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024105079
(43)【公開日】2024-08-06
(54)【発明の名称】表示制御装置、表示制御方法及びプログラム
(51)【国際特許分類】
   B60K 35/00 20240101AFI20240730BHJP
【FI】
B60K35/00 Z
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023009632
(22)【出願日】2023-01-25
(71)【出願人】
【識別番号】322003857
【氏名又は名称】パナソニックオートモーティブシステムズ株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】打越 忠宏
(72)【発明者】
【氏名】大石 将仁
(72)【発明者】
【氏名】池田 浩
【テーマコード(参考)】
3D344
【Fターム(参考)】
3D344AA19
3D344AB01
3D344AD01
(57)【要約】
【課題】ユーザが表示に注意力を取られにくい表示制御装置等を提供する。
【解決手段】表示制御装置30aは、表示部31に表示される情報を制御する表示制御装置であって、表示部31を使用するユーザを撮影した画像データを取得する取得部(例えば、制御部34)と、取得された画像データから、ユーザの視線を検出し、ユーザの視線を中心とする中心視野領域R1に表示部31が存在する場合、通知情報を、第1の表示形態で表示部31に表示させ、中心視野領域R1に表示部31が存在しない場合、通知情報を、第1の表示形態より抽象度が高い第2の表示形態で表示部31に表示させる制御部34と、所定の条件を満たすか否かを判定し、所定の条件を満たすと判定した場合、通知情報を、特定の表示形態に固定して表示部31に表示させる判定部35とを備える。
【選択図】図2
【特許請求の範囲】
【請求項1】
表示部に表示される通知情報を制御する表示制御装置であって、
前記表示部を使用するユーザを撮影した画像データを取得する取得部と、
取得された前記画像データから、前記ユーザの視線を検出し、前記ユーザの視線を中心とする中心視野領域に前記表示部が存在する場合、前記通知情報を、第1の表示形態で前記表示部に表示させ、前記中心視野領域に前記表示部が存在しない場合、前記通知情報を、前記第1の表示形態より抽象度が高い第2の表示形態で前記表示部に表示させる制御部と、
所定の条件を満たすか否かを判定し、前記所定の条件を満たすと判定した場合、前記通知情報を、特定の表示形態に固定して前記表示部に表示させる判定部とを備える
表示制御装置。
【請求項2】
前記所定の条件は、前記ユーザが前記表示部に表示された前記通知情報を確認することである
請求項1に記載の表示制御装置。
【請求項3】
前記制御部は、前記ユーザの視線の動きに基づいて、前記ユーザが前記表示部に表示された前記通知情報を確認したか否かを判定する
請求項2に記載の表示制御装置。
【請求項4】
前記制御部は、前記ユーザの視線が所定時間以上、前記表示部の方向に留まっているか否かに基づいて、前記ユーザが前記表示部に表示された前記通知情報を確認したか否かを判定する
請求項2に記載の表示制御装置。
【請求項5】
前記所定の条件は、前記通知情報に対する表示形態の切り替えが所定回数実施されたことを含む
請求項1に記載の表示制御装置。
【請求項6】
前記所定の条件は、前記通知情報に対する表示形態の切り替えが行われた後の経過時間が所定時間以内であることを含む
請求項1に記載の表示制御装置。
【請求項7】
前記特定の表示形態は、前記第1の表示形態、前記第2の表示形態、及び、前記通知情報を無効化する第3の表示形態のいずれかである
請求項1~6のいずれか1項に記載の表示制御装置。
【請求項8】
前記制御部は、さらに、前記通知情報が緊急性を有する場合、前記通知情報を、前記第2の表示形態で前記表示部に表示させる
請求項1~6のいずれか1項に記載の表示制御装置。
【請求項9】
表示部に表示される通知情報を制御する表示制御方法であって、
前記表示部を使用するユーザを撮影した画像データを取得し、
取得された前記画像データから、前記ユーザの視線を検出し、
検出された前記ユーザの視線を中心とする中心視野領域に前記表示部が存在するか否かを判定し、
前記中心視野領域に前記表示部が存在する場合、前記通知情報を、第1の表示形態で前記表示部に表示させ、
前記中心視野領域に前記表示部が存在しない場合、前記通知情報を、前記第1の表示形態より抽象度が高い第2の表示形態で前記表示部に表示させ、
さらに、所定の条件を満たすか否かを判定し、前記所定の条件を満たす場合、前記通知情報を、特定の表示形態に固定して前記表示部に表示させる
表示制御方法。
【請求項10】
請求項9に記載の表示制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示制御装置、表示制御方法及びプログラムに関する。
【背景技術】
【0002】
車両内の所定位置に配置された表示部に通知情報を表示させる表示装置が知られている。例えば、特許文献1には、ユーザ(表示装置の使用者)の中心視野領域と周辺視野領域とのいずれに表示部が存在するかで、通知情報の表示形態の抽象度を異ならせる表示装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第6758788号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の技術では、ユーザの視線が動くなどして、表示部が中心視野領域に存在する場合と、表示部が周辺視野領域に存在する場合とが頻繁に切り替わると、表示形態も頻繁に切り替わってしまう。これにより、ユーザが表示の切り替わりに注意力を取られてしまい、車両の安全性が低下する恐れがある。
【0005】
そこで、本開示は、ユーザが表示に注意力を取られにくい表示制御装置、表示制御方法及びプログラムを提供する。
【課題を解決するための手段】
【0006】
本開示の一態様に係る表示制御装置は、表示部に表示される通知情報を制御する表示制御装置であって、前記表示部を使用するユーザを撮影した画像データを取得する取得部と、取得された前記画像データから、前記ユーザの視線を検出し、前記ユーザの視線を中心とする中心視野領域に前記表示部が存在する場合、前記通知情報を、第1の表示形態で前記表示部に表示させ、前記中心視野領域に前記表示部が存在しない場合、前記通知情報を、前記第1の表示形態より抽象度が高い第2の表示形態で前記表示部に表示させる制御部と、所定の条件を満たすか否かを判定し、前記所定の条件を満たすと判定した場合、前記通知情報を、特定の表示形態に固定して前記表示部に表示させる判定部とを備える。
【0007】
本開示の一態様に係る表示制御方法は、表示部に表示される通知情報を制御する表示制御方法であって、前記表示部を使用するユーザを撮影した画像データを取得し、取得された前記画像データから、前記ユーザの視線を検出し、検出された前記ユーザの視線を中心とする中心視野領域に前記表示部が存在するか否かを判定し、前記中心視野領域に前記表示部が存在する場合、前記通知情報を、第1の表示形態で前記表示部に表示させ、前記中心視野領域に前記表示部が存在しない場合、前記通知情報を、前記第1の表示形態より抽象度が高い第2の表示形態で前記表示部に表示させ、さらに、所定の条件を満たすか否かを判定し、前記所定の条件を満たす場合、前記通知情報を、特定の表示形態に固定して前記表示部に表示させる。
【0008】
本開示の一態様に係るプログラムは、上記の表示制御方法をコンピュータに実行させるためのプログラムである。
【発明の効果】
【0009】
本開示の一態様によれば、ユーザが表示に注意力を取られることを抑制することができる表示制御装置等を提供することができる。
【図面の簡単な説明】
【0010】
図1図1は、実施の形態に係る表示制御装置を有する表示装置が搭載される車両の車室の構成の一例を示す図である。
図2図2は、実施の形態に係る表示装置の機能構成を示す図である。
図3図3は、実施の形態に係る中心視野領域及び周辺視野領域を説明するための図である。
図4図4は、実施の形態に係る表示制御装置の動作を示すフローチャートである。
図5A図5Aは、所定の条件を説明するための第1図である。
図5B図5Bは、所定の条件を説明するための第2図である。
図6A図6Aは、実施の形態に係る表示形態の第1例を示す図である。
図6B図6Bは、実施の形態に係る表示形態の第2例を示す図である。
図6C図6Cは、実施の形態に係る表示形態の第3例を示す図である。
【発明を実施するための形態】
【0011】
本開示の第1の態様に係る表示制御装置は、表示部に表示される通知情報を制御する表示制御装置であって、前記表示部を使用するユーザを撮影した画像データを取得する取得部と、取得された前記画像データから、前記ユーザの視線を検出し、前記ユーザの視線を中心とする中心視野領域に前記表示部が存在する場合、前記通知情報を、第1の表示形態で前記表示部に表示させ、前記中心視野領域に前記表示部が存在しない場合、前記通知情報を、前記第1の表示形態より抽象度が高い第2の表示形態で前記表示部に表示させる制御部と、所定の条件を満たすか否かを判定し、前記所定の条件を満たすと判定した場合、前記通知情報を、特定の表示形態に固定して前記表示部に表示させる判定部とを備える。
【0012】
これにより、所定の条件を満たす場合、表示形態が特定の表示形態に固定されるので、ユーザの視線が動いても表示形態が切り替わることを抑制することができる。よって、表示制御装置は、表示形態が切り替わる回数を減らすことができるので、ユーザが表示の切り替わりに注意力を取られてしまうことを抑制することができる。
【0013】
また、例えば、本開示の第2の態様に係る表示制御装置は、第1の態様に係る表示制御装置であって、前記所定の条件は、前記ユーザが前記表示部に表示された前記通知情報を確認することであってもよい。
【0014】
これにより、ユーザが通知情報を確認した場合に、ユーザが表示の切り替わりに注意力を取られてしまうことを抑制することができる。
【0015】
また、例えば、本開示の第3の態様に係る表示制御装置は、第2の態様に係る表示制御装置であって、前記制御部は、前記ユーザの視線の動きに基づいて、前記ユーザが前記表示部に表示された前記通知情報を確認したか否かを判定してもよい。また、例えば、本開示の第4の態様に係る表示制御装置は、第2の態様に係る表示制御装置であって、前記制御部は、前記ユーザの視線が所定時間以上、前記表示部の方向に留まっているか否かに基づいて、前記ユーザが前記表示部に表示された前記通知情報を確認したか否かを判定してもよい。
【0016】
これにより、ユーザが操作することなく通知情報を確認したか否かを判定することができるので、ユーザの操作を要する場合に比べて、ユーザが注意力を取られることを抑制することができる。
【0017】
また、例えば、本開示の第5の態様に係る表示制御装置は、第1の態様に係る表示制御装置であって、前記所定の条件は、前記通知情報に対する表示形態の切り替えが所定回数実施されたことを含んでもよい。
【0018】
これにより、表示形態の切り替えが所定回数実施された場合に、ユーザが表示の切り替わりに注意力を取られてしまうことを抑制することができる。
【0019】
また、例えば、本開示の第6の態様に係る表示制御装置は、第1の態様に係る表示制御装置であって、前記所定の条件は、前記通知情報に対する表示形態の切り替えが行われた後の経過時間が所定時間以内であることを含んでもよい。
【0020】
これにより、表示形態の切り替えが行われた後の経過時間が所定時間以内である場合に、ユーザが表示の切り替わりに注意力を取られてしまうことを抑制することができる。
【0021】
また、例えば、本開示の第7の態様に係る表示制御装置は、第1の態様~第6の態様のいずれかに係る表示制御装置であって、前記特定の表示形態は、前記第1の表示形態、前記第2の表示形態、及び、前記通知情報を無効化する第3の表示形態のいずれかであってもよい。
【0022】
これにより、所定の条件を満たす場合、第1の表示形態、第2の表示形態、及び、第3の表示形態のいずれかの表示態様で固定されるので、ユーザが表示の切り替わりに注意力を取られてしまうことを抑制することができる。
【0023】
また、例えば、本開示の第8の態様に係る表示制御装置は、第1の態様~第7の態様のいずれかに係る表示制御装置であって、前記制御部は、さらに、前記通知情報が緊急性を有する場合、前記通知情報を、前記第2の表示形態で前記表示部に表示させてもよい。
【0024】
これにより、緊急性を有する通知情報をユーザにより短時間で認識させることができる。
【0025】
また、本開示の第9の態様に係る表示制御方法は、表示部に表示される通知情報を制御する表示制御方法であって、前記表示部を使用するユーザを撮影した画像データを取得し、取得された前記画像データから、前記ユーザの視線を検出し、検出された前記ユーザの視線を中心とする中心視野領域に前記表示部が存在するか否かを判定し、前記中心視野領域に前記表示部が存在する場合、前記通知情報を、第1の表示形態で前記表示部に表示させ、前記中心視野領域に前記表示部が存在しない場合、前記通知情報を、前記第1の表示形態より抽象度が高い第2の表示形態で前記表示部に表示させ、さらに、所定の条件を満たすか否かを判定し、前記所定の条件を満たす場合、前記通知情報を、特定の表示形態に固定して前記表示部に表示させる。また、本開示の第10の態様に係るプログラムは、上記の表示制御方法をコンピュータに実行させるためのプログラムである。
【0026】
これにより、上記の表示制御装置と同様の効果を奏する。
【0027】
なお、これらの全般的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なCD-ROM等の非一時的記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。プログラムは、記録媒体に予め記憶されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。
【0028】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【0029】
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0030】
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺などは必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略又は簡略化する。
【0031】
また、本明細書において、リング形状、T字状などの要素の形状を示す用語、並びに、数値、及び、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数%程度(あるいは、10%程度)の差異をも含むことを意味する表現である。
【0032】
また、本明細書において、「第1」、「第2」などの序数詞は、特に断りの無い限り、構成要素の数又は順序を意味するものではなく、同種の構成要素の混同を避け、区別する目的で用いられている。
【0033】
(実施の形態)
以下、本実施の形態に係る表示制御装置を備える表示装置について、図1図3を参照しながら説明する。
【0034】
[1.表示装置の構成]
まず、本実施の形態に係る表示装置が搭載される車両及び表示装置の構成について、図1及び図2を参照しながら説明する。図1は、本実施の形態に係る表示制御装置30aを有する表示装置30が搭載される車両1の車室の構成の一例を示す図である。図2は、本実施の形態に係る表示装置30の機能構成を示す図である。
【0035】
図1に示すように、車両1は、ステアリング10と、表示装置30を有するインストルメントパネル20と、ナビゲーション用の表示装置40と、フロントガラス50とを備える。また、図2に示すように、車両1は、通信装置60を備える。図2に示す通信装置60、表示装置30及びサーバ100により表示システムが構成される。表示システムは、表示装置30の表示部31に、その設置位置とユーザの視野との関係に応じて表示形態を切り替えて通知情報を表示させためのシステムである。通知情報は、ユーザに通知が必要な情報であり、車両1の状態、車両1の周囲の状況、サーバ100からの情報などの少なくとも1つを含む。なお、ユーザは、表示装置30の使用者であり、例えば、車両1のドライバである。
【0036】
また、車両1には、複数の車載機器が搭載されている。車載機器は、車両1に搭載される機器であり、例えば、表示装置40を含むカーナビゲーションシステム、光ディスクを再生するためのオーディオ機器(図示せず)、映像再生機器(図示せず)などである。また、車載機器は、スピーカに接続され、音声をスピーカに出力する構成であってもよいし、空調機器などの機器であり、入力装置を用いて操作の入力を行うことによって、当該機器の動作が制御される構成であってもよい。
【0037】
ステアリング10は、車両1を操舵するためのものであり、リング形状を有するリムと、リムの内周面に一体的に形成されたT字状のスポークとを有する。
【0038】
インストルメントパネル20は、表示装置30及びメータ類を含む。
【0039】
表示装置30は、ユーザに画像で通知情報を提示するための装置であり、表示部31と、撮像部32と、通信部33と、制御部34と、判定部35とを備える。
【0040】
表示部31は、液晶又は有機EL(Electro Luminescence)等のディスプレイであり、ユーザに対して通知情報を表示する。表示部31は、ユーザの視線(例えば、視野領域)と設置位置との関係に応じて表示形態が切り替わるように制御される。表示部31は、例えば、速度オーバー、急ブレーキ等の警告表示、及び、エアコン、オーディオ等の車載機器についての通知情報の表示等を、抽象化又は具現化した表示形態により表示する。
【0041】
本実施の形態では、表示部31はステアリング10の前方(フロントガラス50側)に配置されている。つまり、表示部31は、車両1内のユーザ(ここでは、ドライバ)の前方に配置されている。
【0042】
撮像部32は、車室内に設けられ、ユーザを撮像するカメラである。撮像部32は、ユーザの視線を検出可能であれば車室内のいずれに配置されてもよく、例えば、表示部31の周囲に配置される。例えば、撮像部32は、表示部31の上方に配置されてもよい(後述する図3を参照)。撮像部32は、表示装置30と一体に設けられるが、表示装置30の周囲に別体の装置(撮像装置)として設けられてもよい。
【0043】
通信部33は、通信装置60から車両識別情報又は車両情報等を取得し、サーバ100に車両識別情報又は車両情報等を送信する。また、通信部33は、サーバ100から表示処理情報等の受信を行う。表示処理情報は表示部31によりユーザに通知される情報であり、例えば、表示の優先度(例えば、緊急度)を示す情報が含まれていてもよい。
【0044】
制御部34及び判定部35は、プロセッサ、メモリ等を含んで構成される。具体的には、制御部34及び判定部35は、プロセッサがメモリに記憶されたプログラムに従って動作することにより、以下に説明する各機能を実現する。制御部34及び判定部35を含んで、表示部31に表示される通知情報を制御する表示制御装置30aが構成される。
【0045】
制御部34は、表示装置30の各構成要素を制御する制御装置である。制御部34は、撮像部32から取得するユーザの画像データ(例えば、顔画像データ)からユーザの視線を判定する。制御部34による視線の判定方法は既知のいかなる方法が用いられてもよい。なお、制御部34は、画像データを取得する取得部として機能する。
【0046】
ここで、視野について、図3を参照しながら説明する。図3は、本実施の形態に係る中心視野領域R1及び周辺視野領域R2を説明するための図である。
【0047】
中心視野領域R1は、ユーザの視線が向いている領域(視認している領域)であり、例えば、ユーザの視線を中心とする領域である。周辺視野領域R2は、中心視野領域R1を外方から囲む領域であり、中心視野領域R1に比べて視認しにくい領域である。
【0048】
制御部34は、中心視野領域R1及び周辺視野領域R2を設定する。制御部34は、例えば、検出したユーザの視線を中心として上下左右に所定角度(例えば、有効視野又は文字の認識限界とされる4~20°)の領域を中心視野領域R1に設定する。また、制御部34は、例えば、検出したユーザの視線を中心として左右に所定角度(例えば、最大視野角に相当する100°)、視線から上に所定角度(例えば、最大視野角に相当する50°)、視線から下に所定角度(例えば、最大視野角に相当する75°)の領域(ただし、中心視野領域R1を除く)を周辺視野領域R2に設定する。なお、中心視野領域R1及び周辺視野領域R2の設定方法はこれに限定されない。
【0049】
制御部34は、表示部31が、中心視野領域R1に存在するか、又は、周辺視野領域R2に存在するかを判定する。制御部34は、例えば、視線検出において抽出したユーザの瞳孔と撮像部32とを通過する直線とが、中心視野領域R1を通過するか否かにより判定する。そして、制御部34は、中心視野領域R1を通過するか否かにより、表示部31に表示する通知情報の表示形態を制御する。制御部34は、表示部31が周辺視野領域R2に存在する場合(例えば、図3の(a)の場合)、アイコン等の抽象化した表示情報(以下、抽象化情報D2とも記載する)を生成し、生成した抽象化情報D2を表示部31に表示させる。また、制御部34は、表示部31が中心視野領域R1に存在する場合(例えば、図3の(b)の場合)、テキスト等の具現化した表示情報(以下、具現化情報D1とも記載する)を生成し、生成した具現化情報D1を表示部31に表示させる。
【0050】
これにより、周辺視野領域R2に存在する表示部31に表示された通知情報についてのユーザの認識時間の長大化を抑制することができ、かつ、中心視野領域R1に存在する表示部31に表示された通知情報についてのユーザの情報要求量が不足することを抑制することができる。従って、表示部31に表示させる通知情報を、ユーザの視線との関係で適切に設定することができる。
【0051】
具現化情報D1を表示部31に表示させることは、通知情報を、第1の表示形態で表示部31に表示させることに相当し、抽象化情報D2を表示部31に表示させることは、当該通知情報を、第1の表示形態より抽象度が高い第2の表示形態で表示部31に表示させることに相当する。なお、第1の表示形態及び第2の表示形態は、同一の通知情報に対して抽象度が異なる表示形態である。また、通知情報の内容と、その通知情報の内容に対応する具現化情報D1及び抽象化情報D2それぞれの表示内容とが対応付けられたテーブルを表示装置30が記憶しており、制御部34は、当該テーブルを用いて通知情報の内容から具現化情報D1及び抽象化情報D2を生成してもよい。
【0052】
ユーザの視線は、周囲の状況、車両1の状況などにより変化し得る。そのため、表示部31が中心視野領域R1に存在するか否かも経時的に変化する。制御部34は、例えば、所定時間間隔ごとにユーザの視線を判定し、判定した視線と表示部31の設置位置との位置関係に応じて、表示している通知情報の抽象度を変化させる。
【0053】
なお、抽象度が高い表示形態とは、例えば、文字数又は文字の画数などが少なく、抽象度が低い表示形態とは、例えば、文字数又は文字の画数などが多いことであってもよい。例えば、「危険!」は抽象度が高く、「飛び出し注意!」は「危険!」に比べて相対的に抽象度が低い。また、例えば、「キケン」は抽象度が高く、「危険」は「キケン」に比べて相対的に抽象度が低い。また、抽象度が高い表示形態とは、例えば、情報量が少ない表示形態であり、抽象度が低い表示形態とは、例えば、情報量が多い表示形態であってもよい。情報量が高いとは、例えば、表示における色の数が多いことであってもよいし、文字等の線の数が多いことであってもよいし、人が認識するのに時間を要することであってもよく、また情報量が低いとは、例えば、表示における色の数が少ないことであってもよいし、文字等の線の数が少ないことであってもよいし、人が認識するのに時間を要しないことであってもよい。また、抽象度が高い表示形態とは、例えば、簡略化された図面(複雑ではない図形)を含んでおり、抽象度が低い表示形態とは、例えば、複雑な図形を含むことであってもよい。
【0054】
なお、情報量は、画像処理等で算出可能である。
【0055】
なお、制御部34は、少なくとも表示部31が中心視野領域R1に存在するか否かを判定すればよい。そして、制御部34は、表示部31が中心視野領域R1に存在する場合、具現化情報D1を生成し、生成した具現化情報D1を表示部31に表示させ、表示部31が中心視野領域R1に存在しない場合、抽象化情報D2を生成し、生成した抽象化情報D2を表示部31に表示させてもよい。
【0056】
なお、図3において、撮像部32を図示しているが、図1及び以降の図において、便宜上、撮像部32の図示を省略している。
【0057】
図2を再び参照して、判定部35は、ユーザに関する所定の条件を満たすか否かを判定し、所定の条件を満たすと判定した場合、通知情報を特定の表示形態に固定して表示するように表示部31を制御する。所定の条件は、ユーザが通知情報を確認したことを含む。判定部35は、例えば、制御部34が判定したユーザの視線を示す視線などのユーザ反応情報を用いて、ユーザが通知情報を確認したか否かを判定する。
【0058】
なお、表示装置30の表示部31は、インストルメントパネル20に配置されることに限定されず、表示装置40により実現されてもよいし、他の車載機器が有していてもよい。また、表示部31は、スマートフォンなどの携帯端末の表示部により実現されてもよい。また、撮像部32は、表示装置30が携帯端末により実現される場合、いわゆるインカメラであってもよい。また、撮像部32は、車室内を撮影可能に設けられた他のカメラであってもよい。撮像部32は、表示装置30の外部の構成要素として実現されてもよい。
【0059】
通信装置60は、CAN(Controller Area Network)等の車載ネットワークに接続されており、ECU(Engine Control Unit又はElectronic Control Unit)等の車載機器(図示しない)から車両情報を取得する。この車両情報としては、速度、エンジンの回転数、ブレーキの状態、ステアリングの状態、車載カメラの撮影画像、ウィンカーの状態、前照灯スイッチ又は車幅灯スイッチのON/OFF、イグニッションスイッチのON/OFF等を例示することができる。また、通信装置60は、Bluetooth(登録商標)等の無線通信又は有線LAN(Local Area Network)等の有線通信を介して表示装置30に接続されており、車両識別番号等の車両識別情報又は車載機器から取得した車両情報等を表示装置30に出力する。
【0060】
サーバ100は、無線通信網に接続されており、表示装置30との間で情報を送受信する。この無線通信網としては、LTE(Long Term Evolution)や3G等の携帯電話用通信回線網、WiMAX(登録商標)等の無線通信網、及び、ビーコン等の高度道路交通システム用の無線通信網等を例示することができる。本実施の形態では、サーバ100は、表示装置30から車両識別情報、車両情報、表示装置30の情報等を受信し、情報表示処理に必要な情報(以下、表示処理情報という)を、表示装置30に送信する。なお、サーバ100と表示装置30との間での処理又は機能の割り振りは適宜設定されればよい。例えば、サーバ100が、表示装置30から受信した情報に基づいて、表示装置30の表示部31に表示させる情報を生成して表示装置30に送信してもよい。
【0061】
[2.表示制御装置の動作]
続いて、上記のように構成される制御部34及び判定部35を有する表示制御装置30aにおける動作について、図4図6Cを参照しながら説明する。図4は、本実施の形態に係る表示制御装置30aの動作(表示制御方法)を示すフローチャートである。
【0062】
図4に示すように、制御部34は、メッセージ表示依頼を取得する(S10)。制御部34は、通信部33を介して、通信装置60又はサーバ100から、ユーザに通知が必要なメッセージ(通知情報)の表示依頼(表示指示)を取得する。
【0063】
次に、制御部34は、メッセージ表示依頼を取得すると、ユーザ認知時間が短いか否かを判定する(S20)。制御部34は、ステップS10で取得したメッセージを、短い時間でユーザへ認知させる必要がある場合、ユーザ認知時間が短いと判定する。制御部34は、例えば、サーバ100から送信されたメッセージ表示依頼に含まれる優先度が所定以上である、又は、車両1の周囲を撮像する撮像装置からの画像により走行の危険(例えば、障害物が接近しているなど)が検知された場合に、ユーザ認知時間が短いと判定する。
【0064】
次に、制御部34は、ユーザ認知時間が短いと判定した場合(S20でyes)、簡略化されたメッセージを表示部31に表示させる(S30)。制御部34は、ステップS10で取得したメッセージ表示依頼の内容に応じたアイコン等の抽象化情報D2を生成し、生成した抽象化情報D2を表示部31に表示させる。制御部34は、メッセージを第2の表示形態で表示部31に表示させるとも言える。このように、制御部34は、通知情報が緊急性を有する場合、通知情報を、第2の表示形態で表示部31に表示させる。この場合、ユーザの視線が移動しても、表示形態は切り替わらない。そして、ステップS90に進む。
【0065】
また、制御部34は、ユーザ認知時間が短いと判定しなかった場合(S20でno)、表示部31にメッセージを表示させる(S40)。制御部34は、ステップS40において、表示部31が中心視野領域R1に存在する場合、具現化情報D1を生成し、生成した具現化情報D1を表示部31に表示させ、表示部31が中心視野領域R1に存在しない場合(例えば、周辺視野領域R2に存在する場合)、抽象化情報D2を生成し、生成した抽象化情報D2を表示部31に表示させる。
【0066】
次に、判定部35は、表示部31においてメッセージの表示が行われている期間に、所定の条件を満たすか否かを判定する(S50)。
【0067】
ここで、所定の条件を満たすか否かの判定について、図5A及び図5Bを参照しながら説明する。図5Aは、所定の条件を説明するための第1図である。図5Aは、ユーザの視線の動きにより所定の条件を満たすか否かが判定される場合を示している。また、図5Bは、所定の条件を説明するための第2図である。図5Bは、AI(Artificial Intelligence)エージェントを介してのやり取りにより所定の条件を満たすか否かが判定される場合を示している。
【0068】
図5Aに示すように、判定部35は、例えば、制御部34からの視線情報に基づいて、ユーザの視線の動きを検出し、表示部31の表示をユーザが確認したか否かを判定し、表示部31の表示をユーザが確認したと判定した場合、所定の条件を満たすと判定してもよい。ここでの所定の条件は、ユーザが表示部31の表示を確認することである。また、判定部35は、例えば、制御部34からの視線情報に基づいて、ユーザの視線が所定時間以上、表示部31の方向に留まっているか否かを判定し、その判定結果に基づいて、ユーザが表示部31に表示された通知情報を確認したか否かを判定してもよい。この場合、判定部35は、ユーザの視線が所定時間以上、表示部31の方向に留まっていると判定した場合、所定の条件を満たすと判定してもよい。
【0069】
図5Bに示すように、判定部35は、例えば、ユーザとAIエージェントとのやり取りに基づいて、所定の条件を満たすと判定してもよい。ここでの所定の条件は、ユーザから表示に関する指示を受け付けることである。例えば、判定部35は、音声で表示部31の表示形態を操作するためのアプリケーションであるAIエージェントが表示装置30(例えば、判定部35)にインストールされており、AIエージェントによる「要件は何でしょうか?」に対するユーザの指示として、「表示を消してほしい」などの表示形態を切り替える指示を取得した場合、所定の条件を満たすと判定してもよい。また、AIエージェントは、過去の表示の指示履歴、ユーザの視線情報などから、現在の表示形態をどうするかをユーザに提案してもよい。
【0070】
なお、所定の条件を満たすか否かは上記方法以外で判定されてもよい。判定部35は、例えば、直近の表示形態の切り替え回数を用いて、所定の条件を満たすか否かを判定してもよい。ここでの所定の条件は、直近の表示形態の切り替え回数が所定回数以上であることを含む。例えば、ここでの所定の条件は、1つの通知情報に対する表示形態の切り替えが所定回数実施されたことを含む。所定回数は閾値の一例である。例えば、表示部31が中心視野領域R1に入ったり出たりを繰り返している、つまりユーザの視線が往復しているなど繰り返し動いている場合に、判定部35は、所定の条件を満たすと判定してもよい。例えば、図5Aのように、前方に車両及び速度標識があるようなケースでは、ユーザは、メータ(速度計)の確認と前方の確認とをしながら運転する必要があり、視線がよく動くので、表示形態の切り替え頻度が高く、視認性又は注意力の低下につながる。そのため、判定部35は、所定の条件を満たすと判定し、表示形態を固定する。なお、直近とは、数秒であってもよいし、数十秒であってもよいし、数分であってもよい。
【0071】
また、判定部35は、例えば、表示形態が切り替えられた時点からの経過時間を用いて、所定の条件を満たすか否かを判定してもよい。ここでの所定の条件は、1つの通知情報に対して表示形態の切り替えが行われた後の経過時間が所定時間以下であることを含む。所定時間は、閾値の一例である。なお、所定時間は特に限定されず、例えば、数秒であってもよいし、数十秒であってもよい。
【0072】
次に、判定部35は、所定の条件を満たすと判定すると(S50でyes)、メッセージの切り替え表示を終了させる(S60)。判定部35は、表示部31の表示を、特定の表示形態に固定させるとも言える。この場合、表示形態の切り替えが禁止されるので、表示部31が中心視野領域R1の内外の一方から他方に変わった場合であっても、表示形態は切り替わらず、特定の表示形態での表示が継続される。
【0073】
また、判定部35は、所定の条件を満たさないと判定すると(S50でno)、メッセージの切り替え表示を継続させる(S70)。言い換えると、判定部35は、表示部31の表示に対する指示を行わない。この場合、表示部31の表示形態は制御部34により制御されるので、表示部31が中心視野領域R1の内外の一方から他方に変わった場合、表示形態も切り替わる。
【0074】
次に、制御部34は、メッセージの表示を終了するか否かを判定する(S80)。制御部34は、例えば、サーバ100からメッセージの表示を終了させることを示す情報を取得した場合、又は、障害物などの危険が回避された場合、メッセージの表示を終了すると判定する。
【0075】
次に、制御部34は、メッセージの表示を終了すると判定した場合(S80でyes)、メッセージの表示を終了させ(S90)、メッセージの表示を終了しないと判定した場合(S80でno)、ステップS40に戻り、メッセージの表示を継続させる。
【0076】
ここで、ステップS50でYesと判定された場合の特定の表示形態について、図6A図6Cを参照しながら説明する。図6A図6Cは、本実施の形態に係る表示形態の各例を示す図である。
【0077】
図6Aの(a)は、表示部31が中心視野領域R1外に存在する(例えば、周辺視野領域R2に存在する)場合の表示部31の表示形態(第2の表示形態)を示す。この場合、表示部31に抽象化情報D2が表示される。
【0078】
図6Aの(b)は、ユーザの視線が動いて、表示部31が中心視野領域R1内に存在する場合の表示部31の表示形態(第1の表示形態)を示す。この場合、抽象化情報D2から具現化情報D1に表示が切り替わる。つまり、表示部31の表示が制御部34の制御により、第2の表示形態から第1の表示形態に切り替わる。
【0079】
図6Aの(c)は、図6Aの(b)の後に、所定の条件を満たすと判定された場合の表示部31の表示形態を示す。図6Aの(c)の例では、特定の表示形態が第1の表示形態であり、表示部31には具現化情報D1が表示されており、ユーザの視線に関わらず、第1の表示形態での表示が維持される。第1の表示形態から表示形態が切り替わることが禁止されるとも言える。
【0080】
なお、図6Bの(a)及び(b)、並びに、図6Cの(a)及び(b)は、図6Aの(a)及び(b)と同様の状況を示しているので、説明を省略する。
【0081】
図6Bの(c)は、図6Bの(b)の後に、所定の条件を満たすと判定された場合の表示部31の表示形態を示す。図6Bの(c)では、特定の表示形態が第2の表示形態であり、表示部31には抽象化情報D2が表示されており、ユーザの視線に関わらず、第2の表示形態での表示が維持される。第2の表示形態から表示形態が切り替わることが禁止されるとも言える。
【0082】
また、図6Cの(c)は、図6Cの(b)の後に、所定の条件を満たすと判定された場合の表示部31の表示形態を示す。図6Cの(c)では、特定の表示形態が表示しない形態(非表示状態D3)であり、表示部31には何も表示されておらず、ユーザの視線に関わらず、表示しない表示形態が維持される。表示しない形態から表示形態が切り替わることが禁止されるとも言える。なお、表示しない形態、例えば表示内容が無効化される形態は、第3の表示形態の一例である。
【0083】
図6A図6Cに示すように、特定の表示形態としては、第1の表示形態、第2の表示形態、及び、通知情報を無効化する第3の表示形態の3つの表示形態が例示される。
【0084】
上記のように、所定の条件を満たす場合、ユーザの視線に応じて表示形態が切り替わらなくなるので、表示形態が頻繁に切り替わることで、ユーザに対し重要な情報に関する視認性が低下したり、表示に注意力を取られてしまうことが抑制される。これにより、ユーザの車両1での走行における安全性が脅かされることが抑制される。
【0085】
(その他の実施の形態)
以上、一つ又は複数の態様に係る表示制御装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示に含まれてもよい。
【0086】
例えば、上記実施の形態における表示態様は、表示部の表示における表示色及び点灯条件の少なくとも一方を含んでもよい。例えば、制御部は、表示部が中心視野領域に存在しない場合、表示部が中心視野領域に存在する場合に比べて表示が目立つようにしてもよい。制御部は、表示部が中心視野領域に存在しない場合、表示部が中心視野領域に存在する場合に比べて目立つ表示色で第2の表示形態の表示を表示部に表示させてもよいし、表示部が中心視野領域に存在しない場合、表示部が中心視野領域に存在する場合に比べて目立つ点灯条件(例えば、点滅など)で第2の表示形態の表示を表示部に表示させてもよい。また、制御部は、表示に音声を追加してユーザに通知してもよい。
【0087】
また、上記実施の形態において所定の条件が満たされる場合、判定部は、第1の表示形態、つまり抽象度が低い表示形態に表示を固定する方が好ましいが、第2の表示形態、つまり抽象度が高い表示形態に表示を固定してもよい。
【0088】
また、上記実施の形態では、抽象度は高い及び低いの2段階である例について説明したが、これに限定されず、3段階以上設定されていてもよい。例えば、所定の条件を満たす度合いに応じて抽象度が決定されてもよい。
【0089】
また、上記実施の形態では、表示部が車両内のユーザ(例えば、ドライバ)の前方に配置される状況を例に挙げて本開示を説明したが、表示部の配置位置はこれに限定されない。
【0090】
また、上記実施の形態では、本開示が車両で使用される例について説明したが、船舶、航空機、建設機械等の車両以外の他の機械、又は、オフィスで使用される状況にも本開示を適用できる。
【0091】
また、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【0092】
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が他のステップと同時(並列)に実行されてもよいし、上記ステップの一部は実行されなくてもよい。
【0093】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【0094】
また、上記実施の形態では、表示制御装置が表示装置に含まれる例について説明したが、これに限定されず、表示制御装置は単独の装置として実現されてもよい。
【0095】
また、上記実施の形態に係る表示制御装置は、単一の装置として実現されてもよいし、複数の装置により実現されてもよい。表示制御装置が複数の装置によって実現される場合、当該表示制御装置が有する各構成要素(例えば、制御部、判定部)は、複数の装置にどのように振り分けられてもよい。表示制御装置が複数の装置で実現される場合、当該複数の装置間の通信方法は、特に限定されず、無線通信であってもよいし、有線通信であってもよい。また、装置間では、無線通信及び有線通信が組み合わされてもよい。
【0096】
また、上記実施の形態で説明した各構成要素は、ソフトウェアとして実現されても良いし、典型的には、集積回路であるLSIとして実現されてもよい。これらは、個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路(専用のプログラムを実行する汎用回路)又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)又は、LSI内部の回路セルの接続若しくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。
【0097】
システムLSIは、複数の処理部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)などを含んで構成されるコンピュータシステムである。ROMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
【0098】
また、本開示の一態様は、図4に示される表示制御方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。
【0099】
また、例えば、プログラムは、コンピュータに実行させるためのプログラムであってもよい。また、本開示の一態様は、そのようなプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。例えば、そのようなプログラムを記録媒体に記録して頒布又は流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。
【産業上の利用可能性】
【0100】
本開示は、車両などに搭載される表示部を制御する表示制御装置等に有用である。
【符号の説明】
【0101】
1 車両
10 ステアリング
20 インストルメントパネル
30、40 表示装置
30a 表示制御装置
31 表示部
32 撮像部
33 通信部
34 制御部
35 判定部
50 フロントガラス
60 通信装置
100 サーバ
D1 具現化情報
D2 抽象化情報
D3 非表示状態
R1 中心視野領域
R2 周辺視野領域
図1
図2
図3
図4
図5A
図5B
図6A
図6B
図6C