知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-14
(45)【発行日】2025-01-22
(54)【発明の名称】車両用表示装置
(51)【国際特許分類】
B60K 35/235 20240101AFI20250115BHJP
G02B 27/01 20060101ALI20250115BHJP
【ＦＩ】
B60K35/235
G02B27/01
【請求項の数】
3
(21)【出願番号】P 2022503637
(86)(22)【出願日】2021-02-24
(86)【国際出願番号】 JP2021006796
(87)【国際公開番号】W WO2021172333
(87)【国際公開日】2021-09-02
【審査請求日】2023-12-15
(31)【優先権主張番号】P 2020032500
(32)【優先日】2020-02-28
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000231512
【氏名又は名称】日本精機株式会社
(72)【発明者】
【氏名】秦 誠
【審査官】鶴江 陽介
(56)【参考文献】
【文献】特開２００８－１２６９８４（ＪＰ，Ａ）
【文献】韓国公開特許第１０－２０１３－００６８７３２（ＫＲ，Ａ）
【文献】特開２０１１－１５２８８３（ＪＰ，Ａ）
【文献】特開２０１２－１６３６１３（ＪＰ，Ａ）
【文献】特開２０１０－０５８６３３（ＪＰ，Ａ）
【文献】特開２０１９－２０６２６２（ＪＰ，Ａ）
【文献】特開２００１－０７１８４３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６０Ｋ ３５／００ －３７／２０
Ｇ０２Ｂ ２７／００ －２７／６４
Ｇ０９Ｇ ５／００ － ５／３６
Ｇ０９Ｇ ５／３７７－ ５／４２
(57)【特許請求の範囲】
【請求項1】
車両に設けられた反射透光部材に表示光を投影し、前記反射透光部材を透過する実景に重ねて前記反射透光部材に反射された表示光により虚像を生成して表示するとともに、前記車両の利用者に赤外光を投影して前記利用者を撮像し、その撮像画像に基づいて前記利用者の視点位置を検出可能な車両用表示装置であって、前記撮像画像における前記利用者の目の位置を検出する目検出手段と、
前記目検出手段により検出された前記目の位置に基づいて前記視点位置を検出する視点位置検出手段と、
前記撮像画像における前記利用者の特徴点の位置を検出する特徴点検出手段と、
前記目検出手段により検出された前記目の位置と前記特徴点検出手段により検出された前記特徴点の位置との位置関係を記憶する記憶手段とを備え、
前記視点位置検出手段は、前記目検出手段による前記目の位置の検出が困難な場合に、前記特徴点検出手段により検出された前記特徴点の位置及び前記記憶手段に記憶された前記位置関係に基づいて前記視点位置を推定し、
前記目検出手段は、前記虚像の表示中の定期的又は不定期的な撮像により得られる撮像画像における前記利用者の左右の目の位置を検出し、
前記記憶手段は、前記左右の目の離間距離が所定の基準時以降最大となったときの撮像画像から得られる前記位置関係を記憶することを特徴とする車両用表示装置。
【請求項2】
前記利用者の顔の向きを検出する顔向き検出手段を備え、 前記視点位置検出手段は、前記顔向き検出手段により検出された前記顔の向きに基づいて前記視点位置を推定することを特徴とする請求項１に記載の車両用表示装置。
【請求項3】
前記利用者の視線情報を取得する視線情報取得手段を備え、 前記目検出手段は、前記虚像の表示中の定期的又は不定期的な撮像により得られる撮像画像における前記目の位置を検出し、
前記記憶手段は、前記視線情報取得手段により取得された視線情報に基づいて前記利用者が正面を向いているときの撮像画像から得られる前記位置関係を記憶することを特徴とする請求項１又は請求項２に記載の車両用表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両のフロントウインドシールドやコンバイナ等に虚像を表示するとともに、利用者の目の位置を検出可能なヘッドアップディスプレイ装置等の車両用表示装置に関する。
【背景技術】
【0002】
車両のフロントウインドシールドやコンバイナ等の反射透光部材を透過する実景（車両前方の風景）に重ねて、その反射透光部材に反射された表示光により虚像を生成して表示するヘッドアップディスプレイ装置は、車両の運転者等の利用者の視線移動を極力抑えつつ、利用者が所望する情報を虚像により提供することによって、安全で快適な車両運行に寄与する。
【0003】
また、ヘッドアップディスプレイ装置には、利用者に赤外光を照射して利用者を撮像し、その撮像画像に基づいて利用者の目の位置（瞳孔等の位置）を検出することにより、脇見や居眠り等の利用者の状態把握に供するものがある。
【0004】
例えば特許文献１に記載のヘッドアップディスプレイ装置は、表示手段から発せられる可視光をコンバイナ部材にて利用者に向けて反射して表示像を結像してなるもので、利用者に向けて赤外線を照射する赤外線照射手段と、表示手段から発せられる可視光をコンバイナ部材に向けて反射し、利用者及びコンバイナ部材にて反射される赤外線を透過するミラー部材と、ミラー部材を透過する赤外線を感受して利用者をそれぞれ異なる方向から撮像する複数の撮像手段と、撮像手段によって撮像された画像に基づいて利用者の目の位置を算出する画像処理手段とを備え、利用者の目の位置を精度良く算出することが可能となっている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２００８－１２６９８４号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、ヘッドアップディスプレイ装置に太陽光や街灯の光等の強い外光が入射すると、撮像画像に外光のノイズが加わり、利用者の目の位置の検出に失敗するという問題があった。特許文献１に記載のヘッドアップディスプレイ装置では、外光の赤外成分がミラー部材を透過して撮像手段に入射すると、撮像画像にサチュレーション等による白飛びしたノイズ領域が形成され、このノイズ領域は、撮像画像において必ずしも利用者の目の位置（目の像の位置）と重なり合っていなくても、目の位置の検出に支障を来すことがある。
【0007】
本発明は、上記の事情に鑑みてなされたもので、外光が入射しても利用者の目の位置を安定的に検出することができる車両用表示装置を提供することを課題としている。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明は、車両に設けられた反射透光部材に表示光を投影し、前記反射透光部材を透過する実景に重ねて前記反射透光部材に反射された表示光により虚像を生成して表示するとともに、前記車両の利用者に赤外光を投影して前記利用者を撮像し、その撮像画像に基づいて前記利用者の視点位置を検出可能な車両用表示装置であって、前記撮像画像における前記利用者の目の位置を検出する目検出手段と、前記目検出手段により検出された前記目の位置に基づいて前記視点位置を検出する視点位置検出手段と、前記撮像画像における前記利用者の特徴点の位置を検出する特徴点検出手段と、前記目検出手段により検出された前記目の位置と前記特徴点検出手段により検出された前記特徴点の位置との位置関係を記憶する記憶手段とを備え、前記視点位置検出手段は、前記目検出手段による前記目の位置の検出が困難な場合に、前記特徴点検出手段により検出された前記特徴点の位置及び前記記憶手段に記憶された前記位置関係に基づいて前記視点位置を推定し、前記目検出手段は、前記虚像の表示中の定期的又は不定期的な撮像により得られる撮像画像における前記利用者の左右の目の位置を検出し、前記記憶手段は、前記左右の目の離間距離が所定の基準時以降最大となったときの撮像画像から得られる前記位置関係を記憶することを特徴とする。「前記目検出手段による前記目の位置の検出が困難な場合」とは、目検出手段が目の位置の検出に失敗した場合のみを指すのではなく、外光の入射等により目の位置の検出が困難と思われる所定の条件を満たした場合も含む。
【0009】
また、本発明に係る車両用表示装置は、前記利用者の顔の向きを検出する顔向き検出手段を備え、前記視点位置検出手段は、前記顔向き検出手段により検出された前記顔の向きに基づいて前記視点位置を推定してもよい。
【0011】
あるいは、本発明に係る車両用表示装置は、前記利用者の視線情報を取得する視線情報取得手段を備え、前記目検出手段は、前記虚像の表示中の定期的又は不定期的な撮像により得られる撮像画像における前記目の位置を検出し、前記記憶手段は、前記視線情報取得手段により取得された視線情報に基づいて前記利用者が正面を向いているときの撮像画像から得られる前記位置関係を記憶してもよい。「前記利用者が正面を向いているとき」とは、前記利用者が撮像される方向を向いているときを意味し、利用者の顔や視線が厳密に撮像方向を向いている場合のみを指すのではなく、顔や視線が撮像方向を向いていると思われる所定の条件を満たしている場合も含む。
【発明の効果】
【0012】
本発明に係る車両用表示装置によれば、外光が入射しても利用者の目の位置を安定的に検出することができる。
【図面の簡単な説明】
【0013】
【図1】発明を実施するための形態に係るヘッドアップディスプレイ装置を示す説明図である。
【図4】外光によるノイズ領域が含まれた撮像画像を示す説明図である。
【図5】（ａ）は運転者が虚像を視認して顔が正面を向いている様子を平面視で示す説明図、（ｂ）は運転者の顔が斜めを向いている様子を平面視で示す説明図である。
【発明を実施するための形態】
【0014】
本発明を実施するための形態について、図面に基づいて説明する。
【0015】
図１に示すように、本実施の形態に係る車両用表示装置（車載表示器）としてのヘッドアップディスプレイ装置（ＨＵＤ）１は、車両のフロントウインドシールド２の下方に設けられ、フロントウインドシールド２の一部に可視光である表示光Ｌ１を投影する。表示光Ｌ１は、フロントウインドシールド２に反射されて虚像Ｖを生成し、車両の運転者Ｄにフロントウインドシールド２を透過する実景に重ねて虚像Ｖを視認させる。
【0016】
また、ＨＵＤ１は、運転者Ｄの状態をモニターするＤＭＳ（ドライバーモニタリングシステム）の機能を持ち、運転者Ｄに赤外光Ｌ２を投影して運転者Ｄを撮像し、撮像画像に基づいて運転者Ｄの目Ｅの位置を検出可能である。
【0017】
詳細には、ＨＵＤ１は、黒色のＡＢＳ樹脂等により成形されて外光の侵入が防止された筐体３に覆われて外部と区画され、筐体３には図示を略すポリカーボネート等の透明な樹脂で覆われた透光部４が形成されている。筐体３の内部には、表示ユニット５と、折返鏡６と、凹面鏡７と、赤外光照射ユニット８と、カメラ９と、制御部１０とが保持・収容されている。
【0018】
表示ユニット５は、ここでは、チップ型の発光ダイオードからなる光源及び液晶パネルが設けられ、液晶パネルが光源の出射光を２次元的に変調することにより、可視光である映像光（表示光Ｌ１）を投影表示するが、ＤＭＤ（デジタル・マイクロミラー・ディスプレイ）等の反射型デバイスを使用してもよい。折返鏡６は、平面部分を有するように成形されたポリカーボネート等の樹脂にアルミニウム等の金属を蒸着してなり、光を単純に反射する。凹面鏡７は、凹面部分を有するように成形されたポリカーボネート等の樹脂にアルミニウム等の金属を蒸着してなり、可視光を拡大して反射するとともに、赤外光を透過させる特性を有する。
【0019】
赤外光照射ユニット８は、凹面鏡７の裏側（凹面鏡７に対して透光部４及び折返鏡６の反対側）に設けられ、発光ダイオードからなる光源が発する赤外光（近赤外線）を凹面鏡７に向けて照射する。カメラ９は、赤外照射ユニット８から照射される波長帯の赤外光に感度を有する撮像素子、及び、赤外光を透過してその撮像素子に結像させ得るレンズを備え、近赤外線画像を撮影する。
【0020】
制御部１０は、マイクロプロセッサ、メモリ及びそれらを動作させるための各種電子部品、基板、ケースからなり、車両情報や運転者Ｄの入力情報に基づいてＨＵＤ１の映像を適切に表示するように表示ユニット５を制御する。
【0021】
また、制御部１０は、図２に示すように、カメラ９による撮像画像Ｐのコントラストに基づいて、運転者Ｄの左右の目Ｅの瞳孔Ｃ（又は虹彩Ｉの中心）の位置を検出し、この左右の瞳孔Ｃの中間点Ｃ１の位置を視点位置として検出する。検出された視点位置は、運転者Ｄの状態検出（脇見や居眠り等）やＨＵＤ１の表示制御に利用可能である。
【0022】
さらに、制御部１０は、カメラ９による撮像画像Ｐのコントラストに基づいて、運転者Ｄの顔Ｆの輪郭Ｆ１（顎の先端Ｆ２を含む。）、左右の耳Ｙ、左右の耳Ｙの中心Ｙ１、左右の眉毛Ｂ、左右の眉毛Ｂの中心Ｂ１、眉間Ｑ、左右の目Ｅの輪郭Ｅ１（目尻Ｅ２及び目頭Ｅ３を含む。）、鼻Ｎの輪郭Ｎ１（左右の鼻の淵Ｎ２を含む。）、左右の鼻の淵Ｎ２の中心Ｎ３、左右の鼻の穴Ｎ４、左右の鼻の穴Ｎ４の中心Ｎ５、鼻筋Ｎ６、鼻尖Ｎ７、人中Ｒ、口Ｍの輪郭Ｍ１（左右の口角Ｍ２を含む。）、左右の口角Ｍ２の中心Ｍ３等の特徴点Ｔの位置を検出するとともに、検出された瞳孔Ｃの位置と検出された特徴点Ｔの位置との位置関係を内部メモリに記憶する（以下、制御部１０に記憶される位置関係の取得に用いられる撮像画像を「基準画像」ともいう。）。
【0023】
ＨＵＤ１において、表示ユニット５からの表示光Ｌ１は、折返鏡６で反射され、次いで、凹面鏡７で拡大して反射され、透光部４を通過してフロントウインドシールド２に投影される。フロントウインドシールド２に投影された表示光Ｌ１は、運転者Ｄの側に拡大して反射され、虚像Ｖを生成してフロントウインドシールド２を透過する実景に重ねて運転者Ｄに表示する。
【0024】
一方、赤外光照射ユニット８からの赤外光Ｌ２は、凹面鏡７を透過し、透光部４を通過してフロントウインドシールド２に投影され、フロントウインドシールド２で運転者Ｄの側に反射されて運転者Ｄを照射する。そして、運転者Ｄに反射されると赤外光Ｌ２の一部は逆の経路を辿り、凹面鏡７を透過してカメラ９に入射した赤外光Ｌ２により運転者Ｄが撮像され、その撮像画像Ｐが制御部１０に入力される。この撮像は、虚像Ｖの表示中、定期的又は不定期的に行われ、ここでは、虚像Ｖが表示されている間、定期的なフレームレートの動画撮像が行われる。
【0025】
制御部１０は、運転者Ｄの撮像画像Ｐが入力されると、運転者Ｄの左右の目Ｅの瞳孔Ｃの位置を検出し、この左右の瞳孔Ｃの中間点Ｃ１の位置を視点位置として検出する。ただ、本来は、図２に示すような運転者Ｄの撮像画像Ｐが得られるはずであるが、図３に示すように、太陽光等の強い外光Ｌ３の赤外成分がフロントウインドシールド２、透光部４、凹面鏡７を透過してカメラ９に入射すると、撮像画像Ｐには図４に示すような白飛びしたノイズ領域Ｓが生じ、運転者Ｄの目Ｅ（図４では右目Ｅ）の位置の検出に支障を来すことがある。
【0026】
そこで、制御部１０は、あらかじめ正常に（ノイズ領域Ｓによって顔Ｆが隠れていない状態で）撮像された撮像画像Ｐから瞳孔Ｃの位置と特徴点Ｔの位置との位置関係を取得して記憶し、その後撮像した撮像画像Ｐについてノイズ領域Ｓの存在により瞳孔Ｃの位置の検出が困難な場合に、その撮像画像Ｐから検出される特徴点Ｔの位置、及び、あらかじめ記憶した前記位置関係に基づいて、左右の瞳孔Ｃの位置、ひいては視点位置（中間点Ｃ１の位置）を推定する。
【0027】
本実施の形態に係るＨＵＤ１では、制御部１０は、撮像画像Ｐにおける運転者Ｄの目Ｅ（瞳孔Ｃ）の位置を検出し、検出された目Ｅの位置に基づいて視点位置を検出する。さらに、制御部１０は、撮像画像Ｐ（基準画像）における運転者Ｄの顔Ｆの特徴点Ｔの位置（望ましくは複数の特徴点Ｔの位置）を検出し、検出された目Ｅの位置と検出された特徴点Ｔの位置との位置関係を記憶して、目Ｅの位置の検出が困難な場合に、そのときに検出された特徴点Ｔの位置及びあらかじめ記憶された位置関係に基づいて視点位置を推定する。
【0028】
したがって、たとえ左右の目Ｅの一方又は両方の位置の検出が外光Ｌ３の影響により困難であっても、撮像により特徴点Ｔの位置が得られれば目Ｅの位置の推定が可能で、目Ｅの位置の検出に失敗する確率が低減し、外光Ｌ３が入射しても目Ｅの位置を安定的に検出することが可能となる。
【0029】
また、運転者Ｄの撮像は、虚像Ｖの表示中に行われるので、運転者ＤがＨＵＤ１のアイボックス面において車両の正面方向（カメラ９の撮像方向）を向き虚像Ｖを視認している状況と仮定することができる（そうでなければ、運転者Ｄは、虚像Ｖを視認することができない。）。一方、運転者Ｄがなるべく正面を向いている状態の撮像画像Ｐを基準画像とする方が、視点位置を高精度に推定しやすいから、運転者Ｄの撮像が虚像Ｖの表示中に行われることにより、視点位置の推定精度を高めることができる。
【0030】
運転者Ｄがより確実に正面を向いている撮像画像Ｐを基準画像とするのであれば、制御部１０が、虚像Ｖの表示中の定期的又は不定期的な撮像により得られる撮像画像Ｐにおける運転者Ｄの左右の目Ｅの位置を検出し、その左右の目Ｅの離間距離（ここでは、左右の瞳孔Ｃの間隔）が所定の基準時（虚像Ｖの表示を開始した時点でもよい。）以降最大となったときの撮像画像Ｐを基準画像とすることにより基準画像を更新し、その基準画像から位置関係を算出して記憶すればよい。
【0031】
すなわち、左右の目Ｅの離間距離は、運転者Ｄがきちんと正面を向いているほど大きくなるから、基準画像とした撮像画像Ｐにおける左右の目Ｅの離間距離よりも、新たに撮像した撮像画像Ｐにおける左右の目Ｅの離間距離の方が大きければ、その新たな撮像画像Ｐを基準画像としてそれから得られる位置関係を制御部１０に上書きし、制御部１０に記憶されている位置関係を更新することによって、運転者Ｄがより確実に正面を向いている状況での位置関係に基づいて視点位置を正確に推定することができるようになる。
【0032】
あるいは、制御部１０が撮像画像Ｐに基づいて運転者Ｄの視線に関する情報を取得し、その取得された視線情報に基づいて運転者Ｄが正面を向いていると考えられるのであれば、そのときの撮像画像Ｐを基準画像として、それから得られる位置関係を記憶することによって、運転者Ｄがより確実に正面を向いている状況での位置関係に基づいて視点位置を正確に推定することができるようになる。基準画像において運転者Ｄが正面を向いている精度を高めるのであれば、ある時点で基準画像としている撮像画像Ｐにおける運転者Ｄの視線よりも、新たに撮像した撮像画像Ｐにおける運転者Ｄの視線の方がより正面を向いていると考えられるときに、その新たな撮像画像Ｐを基準画像としてそれから得られる位置関係を制御部１０に上書きし、制御部１０に記憶されている位置関係を更新してもよい。
【0033】
また、制御部１０は、撮像画像Ｐにおける特徴点Ｔの位置から運転者Ｄの顔Ｆの向きも検出し、左右の目Ｅの一方又は両方の位置の検出が外光Ｌ３の影響により困難な場合に、そのときに検出された特徴点Ｔの位置、あらかじめ記憶された位置関係及び顔Ｆの向きに基づいて視点位置を推定してもよい。
【0034】
例えば、制御部１０は、図５に示すように、運転者Ｄについて位置関係の一つとして瞳孔Ｃと耳Ｙとの距離Ｋを記憶している場合に（本来、位置関係は撮像画像Ｐ上で把握すればよいが、図５においては、便宜上、運転者Ｄの耳Ｙと瞳孔Ｃとの距離を示す。）、目Ｅの位置の検出が困難なときに運転者Ｄの顔Ｆが正面を向いていれば（図５（ａ））、その距離Ｋを用いて視点位置を推定するが、目Ｅの位置の検出が困難なときに運転者Ｄの顔Ｆが角度θだけ斜めを向いていれば（図５（ｂ））、距離Ｋではなく距離Ｋｃｏｓθを用いて視点位置を推定する。つまり、左右の瞳孔Ｃが車両の前後方向（奥行方向）にずれた位置にあり、その間隔（瞳孔間距離）が車両の左右方向に狭くなっていても、瞳孔Ｃの位置の推定精度が低下する事態を抑制することができる。
【0035】
以上、本発明を実施するための形態について例示したが、本発明の実施形態は上述したものに限られず、発明の趣旨を逸脱しない範囲で適宜変更等してもよい。
【0036】
例えば、上記実施の形態では、車両のフロントウインドシールドを反射透光部材として表示光を投影したが、フロントウインドシールドに代えてコンバイナを用いてもよい。
【0037】
また、左右の一方の目Ｅの位置の推定に左右の他方の目Ｅから得られる位置関係を用いてもよく、もし右目Ｅの瞳孔Ｃの位置は取得することができないが目尻Ｅ２及び目頭Ｅ３の位置を取得することができ、かつ、左目Ｅの瞳孔Ｃ、目尻Ｅ２及び目頭Ｅ３の位置を取得することができたのであれば、左目Ｅについて得られる瞳孔Ｃと目尻Ｅ２及び目頭Ｅ３との位置関係、並びに、右目Ｅの目尻Ｅ２及び目頭Ｅ３の位置に基づいて、右目Ｅの瞳孔Ｃの位置を推定してもよい。
【0038】
さらに、運転者Ｄが車両の運転席に座った後に顔ＦがＨＵＤ表示（虚像Ｖ）に対して正対する状態でＤＭＳのキャリブレーションとして撮像を行い、この撮像画像を基準画像としてもよい。
【符号の説明】
【0039】
１ ヘッドアップディスプレイ装置（車両用表示装置）
２ フロントウインドシールド（反射透光部材）
９ カメラ
１０ 制御部（目検出手段、視点位置検出手段、特徴点検出手段、記憶手段、顔向き検出手段、視線情報取得手段）
Ｃ 瞳孔
Ｄ 運転者（利用者）
Ｅ 目
Ｆ 顔
Ｌ１ 表示光
Ｌ２ 赤外光
Ｐ 撮像画像
Ｔ 特徴点
Ｖ 虚像
２ フロントウインドシールド（反射透光部材）
９ カメラ
１０ 制御部（目検出手段、視点位置検出手段、特徴点検出手段、記憶手段、顔向き検出手段、視線情報取得手段）
Ｃ 瞳孔
Ｄ 運転者（利用者）
Ｅ 目
Ｆ 顔
Ｌ１ 表示光
Ｌ２ 赤外光
Ｐ 撮像画像
Ｔ 特徴点
Ｖ 虚像
【図1】
【図2】
【図3】
【図4】
【図5】