(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024112137
(43)【公開日】2024-08-20
(54)【発明の名称】表示制御装置、表示制御方法、及びプログラム
(51)【国際特許分類】
G09G 5/00 20060101AFI20240813BHJP
G09G 5/10 20060101ALI20240813BHJP
B60K 35/23 20240101ALI20240813BHJP
G02B 27/01 20060101ALI20240813BHJP
【FI】
G09G5/00 550C
G09G5/10 B
G09G5/00 510A
B60K35/00 A
G02B27/01
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023017019
(22)【出願日】2023-02-07
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】110001081
【氏名又は名称】弁理士法人クシブチ国際特許事務所
(72)【発明者】
【氏名】塩野 正光
【テーマコード(参考)】
2H199
3D344
5C182
【Fターム(参考)】
2H199DA03
2H199DA36
3D344AA22
3D344AA30
3D344AB01
3D344AC25
3D344AD13
5C182AA05
5C182AB13
5C182AB14
5C182AB15
5C182AB26
5C182AB31
5C182AC35
5C182BA14
5C182BA56
5C182CA01
(57)【要約】
【課題】利用者の意図にあった表示態様で、利用者が視認している対象に情報画像を重畳して、利用者に視認させることができる表示制御装置を提供する。
【解決手段】利用者Uが視認している視認対象と利用者Uとの間に配置されるスクリーンに、情報画像を投影させることにより、前記情報画像を前記視認対象に重畳して前記利用者に視認させる表示装置60の作動を制御する表示制御装置10であって、表示制御装置10は、カメラ55により撮影される利用者Uの画像を取得する利用者画像取得部22と、利用者画像取得部22により取得される利用者Uの画像に基づいて、利用者Uの左右の目の瞳孔間長さを認識する瞳孔間長さ認識部23と、瞳孔間長さに基づいて、情報画像の輝度を変更する情報画像表示制御部24と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
利用者が視認している視認対象と前記利用者との間に配置されるスクリーンに、情報画像を投影させることにより、前記情報画像を前記視認対象に重畳して前記利用者に視認させる表示装置の作動を制御する表示制御装置であって、
カメラにより撮影される前記利用者の画像を取得する利用者画像取得部と、
前記利用者画像取得部により取得される前記利用者の画像に基づいて、前記利用者の左右の目の瞳孔間長さを認識する瞳孔間長さ認識部と、
前記瞳孔間長さに基づいて、前記情報画像の輝度を変更する情報画像表示制御部と、
を備える表示制御装置。
【請求項2】
前記情報画像表示制御部は、前記瞳孔間長さが第1所定長さを超えている場合に、前記情報画像の輝度を、前記瞳孔間長さが前記第1所定長さ以下である場合よりも低くする
請求項1に記載の表示制御装置。
【請求項3】
前記情報画像表示制御部は、前記瞳孔間長さが第2所定長さ以下である場合に、前記情報画像の輝度を、前記瞳孔間長さが前記第2所定長さを超えている場合よりも高くする
請求項1に記載の表示制御装置。
【請求項4】
前記表示装置は、車両に搭載されて、前記車両のフロントウインドウを前記スクリーンとして、前記情報画像を投影させる
請求項1から請求項3のうちいずれか1項に記載の表示制御装置。
【請求項5】
利用者が視認している視認対象と前記利用者との間に配置されるスクリーンに、情報画像を投影させることにより、前記情報画像を前記視認対象に重畳して前記利用者に視認させる表示装置の作動を、コンピュータにより制御する表示制御方法であって、
カメラにより撮影される前記利用者の画像を取得する利用者画像取得ステップと、
前記利用者画像取得ステップにより取得される前記利用者の画像に基づいて、前記利用者の左右の目の瞳孔間長さを認識する瞳孔間長さ認識ステップと、
前記瞳孔間長さに基づいて、前記情報画像の輝度を変更する情報画像表示制御ステップと、
を含む表示制御方法。
【請求項6】
コンピュータを、
利用者が視認している視認対象と前記利用者との間に配置されるスクリーンに、情報画像を投影させることにより、前記情報画像を前記視認対象に重畳して前記利用者に視認させる表示装置の作動を制御するために、
カメラにより撮影される前記利用者の画像を取得する利用者画像取得部と、
前記利用者画像取得部により取得される前記利用者の画像に基づいて、前記利用者の左右の目の瞳孔間長さを認識する瞳孔間長さ認識部と、
前記瞳孔間長さに基づいて、前記情報画像の輝度を変更する情報画像表示制御部と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示制御装置、表示制御方法、及びプログラムに関する。
【背景技術】
【0002】
従来、車両に備えられたHUD(Head-Up Display)において、HUDにより投影される虚像を視認する利用者から虚像までの視距離を変更可能として、視距離に応じて虚像の明るさを調整するようにした構成が提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記背景技術では、利用者からHUDにより投影される虚像までの視距離に応じて虚像の明るさを変更することにより、利用者に対して、虚像の輝度が変動したような違和感を与える可能性を低減して、虚像の表示品位及び視認性の低下の抑制を図っている。
しかしながら、HUDにより投影される虚像は、利用者が必要に応じて適宜視認するものであるため、上記背景技術のように視距離に応じて虚像の明るさを変更しても、利用者が虚像の表示を煩わしいと感じる場合がある。そこで、利用者の意図にあった表示態様で、利用者が視認している対象に情報画像を重畳して、利用者に視認させることが本願の課題である。
本願は上記課題の解決のため、視認性の向上を目的としたものである。そして、延いては交通の安全性をより一層改善して持続可能な輸送システムの発展に寄与するものである。
【課題を解決するための手段】
【0005】
上記目的を達成するための第1態様として、利用者が視認している視認対象と前記利用者との間に配置されるスクリーンに、情報画像を投影させることにより、前記情報画像を前記視認対象に重畳して前記利用者に視認させる表示装置の作動を制御する表示制御装置であって、カメラにより撮影される前記利用者の画像を取得する利用者画像取得部と、前記利用者画像取得部により取得される前記利用者の画像に基づいて、前記利用者の左右の目の瞳孔間長さを認識する瞳孔間長さ認識部と、前記瞳孔間長さに基づいて、前記情報画像の輝度を変更する情報画像表示制御部と、を備える表示制御装置が挙げられる。
【0006】
上記表示制御装置において、前記情報画像表示制御部は、前記瞳孔間長さが第1所定長さを超えている場合に、前記情報画像の輝度を、前記瞳孔間長さが前記第1所定長さ以下である場合よりも低くする構成としてもよい。
【0007】
上記表示制御装置において、前記情報画像表示制御部は、前記瞳孔間長さが第2所定長さ以下である場合に、前記情報画像の輝度を、前記瞳孔間長さが前記第2所定長さを超えている場合よりも高くする構成としてもよい。
【0008】
上記表示制御装置において、前記表示装置は、車両に搭載されて、前記車両のフロントウインドウを前記スクリーンとして、前記情報画像を投影させる構成としてもよい。
【0009】
上記目的を達成するための第2態様として、利用者が視認している視認対象と前記利用者との間に配置されるスクリーンに、情報画像を投影させることにより、前記情報画像を前記視認対象に重畳して前記利用者に視認させる表示装置の作動を、コンピュータにより制御する表示制御方法であって、カメラにより撮影される前記利用者の画像を取得する利用者画像取得ステップと、前記利用者画像取得ステップにより取得される前記利用者の画像に基づいて、前記利用者の左右の目の瞳孔間長さを認識する瞳孔間長さ認識ステップと、前記瞳孔間長さに基づいて、前記情報画像の輝度を変更する情報画像表示制御ステップと、を含む表示制御方法が挙げられる。
【0010】
上記目的を達成するための第3態様として、コンピュータを、利用者が視認している視認対象と前記利用者との間に配置されるスクリーンに、情報画像を投影させることにより、前記情報画像を前記視認対象に重畳して前記利用者に視認させる表示装置の作動を制御するために、カメラにより撮影される前記利用者の画像を取得する利用者画像取得部と、前記利用者画像取得部により取得される前記利用者の画像に基づいて、前記利用者の左右の目の瞳孔間長さを認識する瞳孔間長さ認識部と、前記瞳孔間長さに基づいて、前記情報画像の輝度を変更する情報画像表示制御部と、して機能させるためのプログラムが挙げられる。
【発明の効果】
【0011】
上記表示制御装置によれば、利用者の意図にあった表示態様で、利用者が視認している対象に情報画像を重畳して、利用者に視認させることができる。
【図面の簡単な説明】
【0012】
【
図3】
図3は、情報画像の輝度変更処理のフローチャートである。
【
図4】
図4は、運転者が遠方に注視している状況での情報画像の表示態様の説明図である。
【
図5】
図5は、運転者が情報画像に注視している状況での情報画像の表示態様の説明図である。
【発明を実施するための形態】
【0013】
[1.表示制御装置の構成]
図1,
図2を参照して、本開示の表示制御装置10の構成について説明する。
図1を参照して、表示制御装置10は車両1に搭載され、車両1に備えらえた通信ユニット40、フロントカメラ50、フロントレーダー51、リアカメラ52、リアレーダー53、速度センサ54、運転者モニタカメラ55、HUD(Head-Up Display)60、及びナビゲーション装置70等と接続されている。運転者モニタカメラ55は本開示のカメラに相当し、HUD60は本開示の表示装置に相当する。
【0014】
通信ユニット40は、通信ネットワーク200を介して、交通情報サーバー210、車両管理サーバー220等の外部の通信システムとの間で通信を行う。フロントカメラ50は、車両1の前方を撮影して前方画像を表示制御装置10に入力する。フロントレーダー51は、車両1の前方の対象物の位置を検出して、位置検出データを表示制御装置10に入力する。
【0015】
リアカメラ52は、車両1の後方を撮影して後方画像を表示制御装置10に入力する。リアレーダー53は、車両1の後方の対象物の位置を検出して、位置検出データを表示制御装置10に入力する。速度センサ54は、車両1の走行速度を検出して、速度検出データを表示制御装置10に入力する。ナビゲーション装置70は、車両1の現在位置を検出するGNSS(Global Navigation Satellite System)センサ71と、地図データ72を備えている。ナビゲーション装置70は、目的地までのルート案内データ等を表示制御装置10に入力する。
【0016】
図2を参照して、運転者モニタカメラ55は、車両1のダッシュボード等に配置され、車両1の運転者Uを撮影して、運転者Uの画像を表示制御装置10に入力する。運転者Uは、本開示の利用者に相当する。HUD60は、車両1の走行速度等を示す情報画像100を、フロントウインドウ2に投影する。フロントウインドウ2は、本開示のスクリーンに相当する。情報画像100は、車両1の前方の視認対象(道路、前走車、対向車、風景等)に重畳して、運転者Uにより認識される。
【0017】
図2では、情報画像100として、速度センサ54により検出される車両1の走行速度を投影する例を示したが、情報画像100には、車両周辺状況認識部21により認識される車両1の前方或いは後方の他車両に対する注意喚起画像、交通情報サーバー210から提供される交通情報画像、ナビゲーション装置70から入力されるルート案内データに基づく案内画像等も含まれる。
【0018】
図1を参照して、表示制御装置10は、プロセッサ20、メモリ30により構成される制御ユニットである。プロセッサ20は、シングルプロセッサであっても、マルチプロセッサであってもよい。メモリ30には、表示制御装置10の制御用のプログラム31が保存されている。プログラム31は、記録媒体(磁気ディスク、光学ディスク、フラッシュメモリ等)から読み出されてメモリ30に保存されてもよく、車両管理サーバー220等からダウンロードされてメモリ30に保存されてもよい。
【0019】
プロセッサ20は、プログラム31を読み込んで実行することにより、車両周辺状況認識部21、利用者画像取得部22、瞳孔間長さ認識部23、及び情報画像表示制御部24として機能する。ここで、利用者画像取得部22により実行される処理は、本開示の表示制御方法における利用者画像取得ステップに相当し、瞳孔間長さ認識部23により実行される処理は、本開示の瞳孔間長さ認識ステップに相当する。また、情報画像表示制御部24により実行される処理は、本開示の情報画像表示制御ステップに相当する。
【0020】
車両周辺状況認識部21は、フロントカメラ50により撮影される車両1の前方画像、及びフロントレーダー51により検出される車両1の前方の対象物の位置検出データに基づいて、車両1の前方の状況を認識する。また、車両周辺状況認識部21は、リアカメラ52により撮影される車両1の後方画像、及びリアレーダー53により検出される車両1の後方の対象物の位置検出データに基づいて、車両1の後方の状況を認識する。
【0021】
利用者画像取得部22は、運転者モニタカメラ55により撮影される運転者Uの画像を取得する。瞳孔間長さ認識部23は、運転者Uの画像から、運転者Uの左右の目の瞳孔の画像部分を抽出することによって、瞳孔間長さを認識する。情報画像表示制御部24は、瞳孔間長さ認識部23により認識される瞳孔間長さに基づいて、HUD60によりフロントウインドウ2に投影される情報画像100の輝度を変更する処理を実行する。この処理の詳細については後述する。
【0022】
[2.情報画像の輝度変更処理]
図3に示したフローチャートに従って、表示制御装置10により実行される情報画像100の輝度変更処理の手順について説明する。表示制御装置10は、車両1の走行中に、
図3に示したフローチャートによる処理を繰り返し実行する。
【0023】
図3のステップS1で、車両周辺状況認識部21は、運転者モニタカメラ55により撮影される運転者Uの画像を取得する。続くステップS2で、瞳孔間長さ認識部23は、運転者Uの画像から左右の目の瞳孔の画像部分を抽出することによって、瞳孔間長さを認識する。
【0024】
ここで、
図4は、運転者Uの画像110aから、瞳孔間長さL1が認識された場合を例示している。
図4は、運転者Uが車両1の前方の道路等の離れた視認対象に注視している状況である。また、
図5は、運転者Uの画像110bから、瞳孔間長さL2が認識された場合を例示している。
図5は、運転者Uが、フロントウインドウ2に投影された情報画像100に注視している状況であり、瞳孔間長さL2は、
図4の状況における瞳孔間長さL1よりも短くなっている。
【0025】
次のステップS3で、情報画像表示制御部24は、瞳孔間長さ認識部23により認識された瞳孔間長さが、所定長さ(本開示の第1所定長さ及び第2所定長さに相当する)を超えているか否かを判断する。そして、情報画像表示制御部24は、瞳孔間長さが所定長さを超えているときはステップS10に処理を進め、瞳孔間長さが所定長さ以下であるときにはステップS4に処理を進める。ここで、所定長さは、例えば、運転者Uの画像から抽出される運転者の左右の目の中心位置間の長さに応じて設定される。
【0026】
ステップS10は、
図4に示したように、運転者Uが、フロントウインドウ2越しに遠方を注視している場合に対応した処理であり、情報画像表示制御部24は、HUD60によりフロントウインドウ2に投影させる情報画像100の輝度を「低輝度」(例えば、最高輝度の50%程度等の輝度)に設定して、ステップS5に処理を進める。これにより、運転者Uが、情報画像100に注視していない状況で、情報画像100の表示を煩わしく感じることを抑制することができる。なお、「低輝度」には、情報画像100を消す場合(輝度0%)も含まれる。
【0027】
ステップS4は、
図5に示したように、運転者Uが、フロントウインドウ2に投影されている情報画像100に注視している場合に対応した処理であり、情報画像表示制御部24は、HUD60によりフロントウインドウ2に投影させる情報画像100の輝度を「高輝度」(例えば最高輝度)に設定して、ステップS5に処理を進める。これにより、運転者Uが注視している情報画像100を、運転者Uが視認し易くすることができる。
【0028】
[3.他の実施形態]
上記実施形態では、本開示の表示制御装置として、車両1に搭載された表示制御装置10を例示した。他の実施形態として、本開示の表示制御装置を、運転教習シミュレーター装置や、ゲーム装置に適用してもよい。この場合は、運転中の疑似画面やゲーム画面が表示される遠方のディスプレイ画面と、利用者の間に配置されるスクリーンに、情報画像を投影させる構成となる。
【0029】
上記実施形態では、
図3のフローチャートにより、ステップS3で、利用者Uの瞳孔間長さが所定長さを超えているか否かにより、HUD60によりフロントウインドウ2に投影させる情報画像100の輝度を「高輝度」と「低輝度」に切り替えた。他の実施形態として、情報画像100の輝度を複数段階に切り替えてもよい。例えば、第1所定長さと、第1所定長さよりも短い第2所定長さを設定し、瞳孔間長さが第1所定長さを超えている場合は「高輝度」とし、瞳孔間長さが第1所定長さ未満且つ第2所定長さを超えている場合は「中輝度」とし、瞳孔間長さが第2所定長さ以下である場合は「低輝度」としてもよい。或いは、瞳孔間長さに比例させて情報画像の輝度をリニアに変化させるようにしてもよい。
【0030】
なお、
図1は、本願発明の理解を容易にするために、表示制御装置10の構成を、主な処理内容により区分して示した概略図であり、表示制御装置10の構成を他の区分によって構成してもよい。また、各構成要素の処理は、1つのハードウェアユニットにより実行されてもよいし、複数のハードウェアユニットにより実行されてもよい。また、
図3に示した各構成要素による処理は、1つのプログラムにより実行されてもよいし、複数のプログラムにより実行されてもよい。
【0031】
[4.上記実施形態によりサポートされる構成]
上記実施形態は、以下の構成の具体例である。
【0032】
(構成1)利用者が視認している視認対象と前記利用者との間に配置されるスクリーンに、情報画像を投影させることにより、前記情報画像を前記視認対象に重畳して前記利用者に視認させる表示装置の作動を制御する表示制御装置であって、カメラにより撮影される前記利用者の画像を取得する利用者画像取得部と、前記利用者画像取得部により取得される前記利用者の画像に基づいて、前記利用者の左右の目の瞳孔間長さを認識する瞳孔間長さ認識部と、前記瞳孔間長さに基づいて、前記情報画像の輝度を変更する情報画像表示制御部と、を備える表示制御装置。
構成1の表示制御装置によれば、利用者の左右の目の瞳孔間長さは、利用者が注視している対象までの距離に応じて変化するため、前記瞳孔間長さに基づいて前記情報画像の輝度を変更することにより、利用者の意図にあった表示態様で、利用者が視認している対象に補助的な画像を重畳して、利用者に視認させることができる。
【0033】
(構成2)前記情報画像表示制御部は、前記瞳孔間長さが第1所定長さを超えている場合に、前記情報画像の輝度を、前記瞳孔間長さが前記第1所定長さ以下である場合よりも低くする構成1に記載の表示制御装置。
構成2の表示制御装置によれば、利用者の瞳孔間長さが第1処理長さを超えていることから、利用者が遠方の視認対象に注視していると想定される場合に、情報画像の輝度を、瞳孔間長さが第1所定長さ以下である場合よりも低くすることによって、利用者が情報画像を煩わしく感じることを抑制することができる。
【0034】
(構成3)前記情報画像表示制御部は、前記瞳孔間長さが第2所定長さ以下である場合に、前記情報画像の輝度を、前記瞳孔間長さが前記第2所定長さを超えている場合よりも高くする構成1又は構成2に記載の表示制御装置。
構成3の表示制御装置によれば、利用者の瞳孔間長さが第2所定長さ以下であることから、利用者が近くの情報画像に注視していると想定される場合に、情報画像の輝度を、瞳孔間長さが第2所定長さを超えている場合よりも高くすることによって、利用者による情報画像の視認を容易にすることができる。
【0035】
(構成4)前記表示装置は、車両に搭載されて、前記車両のフロントウインドウを前記スクリーンとして、前記情報画像を投影させる構成1から構成3のうちいずれか1つの構成に記載の表示制御装置。
構成4の表示制御装置によれば、車両に乗車している利用者が注視している対象に応じて、情報画像の輝度を変更することができる。
【0036】
(構成5)利用者が視認している視認対象と前記利用者との間に配置されるスクリーンに、情報画像を投影させることにより、前記情報画像を前記視認対象に重畳して前記利用者に視認させる表示装置の作動を、コンピュータにより制御する表示制御方法であって、カメラにより撮影される前記利用者の画像を取得する利用者画像取得ステップと、前記利用者画像取得ステップにより取得される前記利用者の画像に基づいて、前記利用者の左右の目の瞳孔間長さを認識する瞳孔間長さ認識ステップと、前記瞳孔間長さに基づいて、前記情報画像の輝度を変更する情報画像表示制御ステップと、を含む表示制御方法。
構成5の表示制御装置をコンピュータにより実行することによって、構成1の表示制御装置と同様の作用効果を得ることができる。
【0037】
(構成6)コンピュータを、利用者が視認している視認対象と前記利用者との間に配置されるスクリーンに、情報画像を投影させることにより、前記情報画像を前記視認対象に重畳して前記利用者に視認させる表示装置の作動を制御するために、カメラにより撮影される前記利用者の画像を取得する利用者画像取得部と、前記利用者画像取得部により取得される前記利用者の画像に基づいて、前記利用者の左右の目の瞳孔間長さを認識する瞳孔間長さ認識部と、前記瞳孔間長さに基づいて、前記情報画像の輝度を変更する情報画像表示制御部と、して機能させるためのプログラム。
構成6のプログラムをコンピュータにより実行することによって、構成1の表示制御装置の構成を実現することができる。
【符号の説明】
【0038】
1…車両、2…フロントウインドウ(スクリーン)、10…表示制御装置、20…プロセッサ、21…車両周辺状況認識部、22…利用者画像取得部、23…瞳孔間長さ認識部、24…情報画像表示制御部、30…メモリ、31…プログラム、40…通信ユニット、50…フロントカメラ、51…フロントレーダー、52…リアカメラ、53…リアレーダー、54…速度センサ、55…運転者モニタカメラ、60…HUD(表示装置)、70…ナビゲーション装置、71…GNSSセンサ、72…地図データ、100…情報画像、110a,110b…運転者モニタカメラの撮影画像、111a,111b…運転者の画像部分、U…運転者(利用者)。