特許 7605136 視点検知システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】視点検知システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241217BHJP

   G06T 7/70 20170101ALI20241217BHJP

   G06V 20/59 20220101ALI20241217BHJP

【ＦＩ】

G06T7/00 660A

G06T7/70 Z

G06V20/59

【請求項の数】 4

(21)【出願番号】P 2021574075

(86)(22)【出願日】2021-01-27

(86)【国際出願番号】 JP2021002844

(87)【国際公開番号】W WO2021153615

(87)【国際公開日】2021-08-05

【審査請求日】2023-11-17

(31)【優先権主張番号】P 2020013787

(32)【優先日】2020-01-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000231512

【氏名又は名称】日本精機株式会社

(72)【発明者】

【氏名】濱田 一成

【審査官】鈴木 圭一郎

(56)【参考文献】

【文献】特開２００４－１６４４８３（ＪＰ，Ａ）

【文献】特開２０１６－０２８６６９（ＪＰ，Ａ）

【文献】国際公開第２０１８／１９３７０８（ＷＯ，Ａ１）

【文献】中国特許出願公開第１０５０９４３００（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／７０

Ｇ０６Ｖ ２０／５９

(57)【特許請求の範囲】

【請求項1】

被写体の撮像画像に基づいて前記被写体の視点位置を検知する視点検知システムであって、
前記撮像画像において前記被写体の一方の目の虹彩に外光が接近していることを検出する外光検出手段と、
前記外光検出手段が前記外光の接近を検出すると、前記撮像画像における前記被写体の他方の目の虹彩の位置に基づいて前記視点位置を算出する視点位置算出手段と
を備えることを特徴とし、
ここで、前記視点位置とは、前記被写体の左右の虹彩間の中間点を指し、前記中間点は、前記撮像画像における前記被写体の他方の目の虹彩の位置に基づいて算出される仮想的又は仮定的な中間点を含む、視点検知システム。

【請求項2】

前記外光検出手段は、前記撮像画像における前記一方の目の虹彩の領域と白目の領域とのコントラストが閾値未満の場合に、前記外光の接近を検出することを特徴とする請求項１に記載の視点検知システム。

【請求項3】

前記外光検出手段は、前記撮像画像における前記一方の目の虹彩の領域と白飛びしている領域との距離が閾値未満の場合に、前記外光の接近を検出することを特徴とする請求項１に記載の視点検知システム。

【請求項4】

前記外光検出手段は、前記撮像画像における前記一方の目の虹彩の領域の明度が閾値を超えている場合に、前記外光の接近を検出することを特徴とする請求項１に記載の視点検知システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体の撮像画像に基づいて被写体の視点位置を検知する視点検知システムに関する。

【背景技術】

【0002】

車両のフロントウインドシールドやコンバイナ等の反射透光部材を透過する実景（車両前方の風景）に重ねて、その反射透光部材に反射された表示光により虚像を生成して表示するヘッドアップディスプレイ装置には、車両の利用者（被写体）に赤外光を照射して利用者を撮像し、その撮像画像に基づいて利用者の左右の黒目（虹彩）の中心を視点として検出し、左右の視点の中間点等を視点位置として検知する視点検知システムを含むものがある。

【0003】

例えば特許文献１に記載のヘッドアップディスプレイ装置は、表示手段から発せられる可視光をコンバイナ部材にて利用者に向けて反射して表示像を結像してなるもので、利用者に向けて赤外線を照射する赤外線照射手段と、表示手段から発せられる可視光をコンバイナ部材に向けて反射し、利用者及びコンバイナ部材にて反射される赤外線を透過するミラー部材と、ミラー部材を透過する赤外線を感受して利用者をそれぞれ異なる方向から撮像する複数の撮像手段と、撮像手段によって撮像された画像に基づいて利用者の目の位置を算出する画像処理手段とを備える。これにより、利用者の目の位置を精度良く算出することが可能で、その目の位置から利用者の視点位置が求められる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００８－１２６９８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、視点検知システムに太陽光や街灯の光等の強い外光が入射すると、撮像画像に外光のノイズが加わり、視点位置の検知に困難を来すという問題がある。特許文献１に記載のヘッドアップディスプレイ装置では、外光の赤外成分がミラー部材を透過して撮像手段に入射し、撮像画像における左右一方の目の虹彩に強い外光が接近すると、その一方の目（外光に近い側の目）の視点を正確に検出することができなくなって検出結果が不規則に変動し、左右の視点の中間点等として検知される視点位置もまた不規則に変動して不安定となる。

【0006】

本発明は、上記の事情に鑑みてなされたもので、外光が入射しても被写体の視点位置を安定的に検知することができる視点検知システムを提供することを課題としている。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明は、被写体の撮像画像に基づいて前記被写体の視点位置を検知する視点検知システムであって、前記撮像画像において前記被写体の一方の目の虹彩に外光が接近していることを検出する外光検出手段と、前記外光検出手段が前記外光の接近を検出すると、前記撮像画像における前記被写体の他方の目の虹彩の位置に基づいて前記視点位置を算出する視点位置算出手段とを備えることを特徴とし、
ここで、前記視点位置とは、前記被写体の左右の虹彩間の中間点を指し、前記中間点は、前記撮像画像における前記被写体の他方の目の虹彩の位置に基づいて算出される仮想的又は仮定的な中間点を含む視点検知システムを提供する。

【0008】

前記外光検出手段は、前記撮像画像における前記一方の目の虹彩の領域と白目の領域とのコントラストが閾値未満の場合に、前記外光の接近を検出してもよい。

【0009】

また、前記外光検出手段は、前記撮像画像における前記一方の目の虹彩の領域と白飛びしている領域（撮像画像の明度が上限を超えて諧調が失われている領域）との距離が閾値未満の場合に、前記外光の接近を検出してもよい。

【0010】

あるいは、前記外光検出手段は、前記撮像画像における前記一方の目の虹彩の領域の明度が閾値を超えている場合に、前記外光の接近を検出してもよい。

【発明の効果】

【0011】

本発明に係る視点検知システムによれば、外光が入射しても被写体の視点位置を安定的に検出することができる。

【図面の簡単な説明】

【0012】

【図1】発明を実施するための形態に係る視点検知システムが適用されたヘッドアップディスプレイ装置を示す説明図である。

【図2】車両の運転者の撮像画像を示す説明図である。

【図3】図１のヘッドアップディスプレイ装置に外光が侵入する様子を示す説明図である。

【図4】車両の運転者の右目の虹彩に外光が接近している例を示す説明図である。

【図5】図４の右目の部分を拡大して示す説明図である。

【図6】車両の運転者の右目の虹彩に外光が接近している他の例を示す説明図である。

【発明を実施するための形態】

【0013】

本発明を実施するための形態について、図面に基づいて説明する。

【0014】

図１に示すように、本実施の形態に係る視点検知システムが適用されたヘッドアップディスプレイ装置（ＨＵＤ）１は、車両のフロントウインドシールド２の下方に設けられ、フロントウインドシールド２の一部に可視光である表示光Ｌ_１を投影する。表示光Ｌ_１は、フロントウインドシールド２に反射されて虚像Ｖを生成し、車両の運転者Ｄにフロントウインドシールド２を透過する実景に重ねて虚像Ｖを視認させる。

【0015】

また、ＨＵＤ１は、運転者Ｄに赤外光Ｌ_２を投影して運転者Ｄを撮像し、その撮像画像に基づいて運転者Ｄの左右の目Ｅの視点の中間点を視点位置として検知する。

【0016】

詳細には、ＨＵＤ１は、黒色のＡＢＳ樹脂等により成形されて外光の侵入が防止された筐体３に覆われて外部と区画され、筐体３には図示を略すポリカーボネート等の透明な樹脂で覆われた透光部４が形成されている。筐体３の内部には、表示ユニット５と、折返鏡６と、凹面鏡７と、赤外光照射ユニット８と、カメラ９と、制御部１０とが保持・収容されている（本実施の形態に係る視点検知システムは、凹面鏡７、赤外光照射ユニット８、カメラ９及び制御部１０により構成されている。）。

【0017】

表示ユニット５は、チップ型の発光ダイオードからなる光源及び液晶パネルが設けられ、液晶パネルが光源の出射光を２次元的に変調することにより、可視光である映像光（表示光Ｌ_１）を投影表示する。折返鏡６は、平面部分を有するように成形されたポリカーボネート等の樹脂にアルミニウム等の金属を蒸着してなり、光を単純に反射する。凹面鏡７は、凹面部分を有するように成形された板ガラスやポリカーボネート等の樹脂にアルミニウム等の金属を蒸着してなり、可視光を拡大して反射するとともに、赤外光を透過させる特性を有する。

【0018】

赤外光照射ユニット８は、凹面鏡７の裏側（凹面鏡７に対して透光部４及び折返鏡６の反対側）に設けられ、発光ダイオードからなる光源が発する赤外光（近赤外線）を凹面鏡７に向けて照射する。カメラ９は、赤外照射ユニット８から照射される波長帯の赤外光に感度を有する撮像素子及び赤外光を透過してその撮像素子に結像させ得るレンズを備え、近赤外線画像を撮影する。

【0019】

制御部１０は、マイクロプロセッサ、メモリ及びそれらを動作させるための各種電子部品、基板、ケースからなり、車両情報や運転者Ｄの入力情報に基づいてＨＵＤ１の映像を適切に表示するように表示ユニット５を制御する。

【0020】

また、制御部１０は、図２に示すように、カメラ９による撮像画像Ｐのコントラストに基づいて、運転者Ｄの顔の輪郭、目尻、目頭、鼻の輪郭といった特徴点や、左右の目Ｅの虹彩Ｉを検出し、左右の虹彩Ｉの中心Ｃをそれぞれ左右の視点とした上で、左右の視点の中間点Ｑの座標を視点位置として検知する。

【0021】

さらに、制御部１０は、撮像画像Ｐにおいて運転者Ｄの一方の目Ｅの虹彩Ｉに外光が接近していることを検出すると、撮像画像Ｐにおける運転者Ｄの他方の目Ｅの虹彩Ｉの位置（ここでは、虹彩Ｉの中心Ｃの位置）に基づいて視点位置を算出する。

【0022】

例えば、図３に示すように、太陽光である強い外光Ｌ_３の赤外成分がフロントウインドシールド２、透光部４、凹面鏡７を透過してカメラ９に入射すると、図４に示すように、撮像画像Ｐには、運転者Ｄの右目Ｅの虹彩Ｉに接近して太陽が映り込み、その領域（太陽が映り込んだ領域）Ｓ_１がカメラ９の撮像素子のオーバーフローにより白飛びするとともに、領域Ｓ_１の周辺で太陽の周りの明るく映る領域Ｓ_２が運転者Ｄの右目Ｅの虹彩Ｉに接近することがある。外光Ｌ_３の接近を検出すると、制御部１０は、左目Ｅの視点から推測して算出した仮想的・仮定的な中間点Ｑ’の座標を視点位置として検知する。推測は、どのような方法によってもよく、例えば、運転者Ｄの左右いずれの目Ｅの虹彩Ｉにも外光が接近していない状態で撮像された画像により、左右の虹彩Ｉの中心Ｃ間の距離が既知であれば、その距離と、（図４において外光Ｌ_３が接近していない）左目Ｅの虹彩Ｉの中心Ｃ（視点）の座標とから、中間点Ｑ’（視点位置）の座標を推測することもできる。

【0023】

外光Ｌ_３の虹彩Ｉへの接近については、図５に示すように、撮像画像Ｐにおける一方の目Ｅの虹彩Ｉの白目との境界付近の領域Ｓ_３（領域Ｓ_３の少なくとも一部）と、領域Ｓ_３に隣接する虹彩Ｉを外れた白目の領域Ｓ_４とのコントラストが所定の閾値未満の場合に、外光Ｌ_３（図４における領域Ｓ_１及び領域Ｓ_２）が虹彩Ｉに接近したと検出することができる。例えば、撮像画像Ｐにおける領域Ｓ_３の一部である領域Ｓ_５の明度が高く、その輝度の階調値がＸ_５、領域Ｓ_４の輝度の階調値がＸ_４、所定の閾値を表す階調値がＸ_０の場合、制御部１０は、Ｘ_４－Ｘ_５＜Ｘ_０であれば外光Ｌ_３が虹彩Ｉに接近したと判断する。

【0024】

ＨＵＤ１において、表示ユニット５からの表示光Ｌ_１は、折返鏡６で反射され、次いで、凹面鏡７で拡大して反射され、透光部４を通過してフロントウインドシールド２に投影される。フロントウインドシールド２に投影された表示光Ｌ_１は、運転者Ｄの側に拡大して反射され、虚像Ｖを生成してフロントウインドシールド２を透過する実景に重ねて運転者Ｄに表示する。

【0025】

一方、赤外光照射ユニット８からの赤外光Ｌ_２は、凹面鏡７を透過し、透光部４を通過してフロントウインドシールド２に投影され、フロントウインドシールド２で運転者Ｄの側に反射されて運転者Ｄを照射する。そして、運転者Ｄに反射されると赤外光Ｌ_２の一部は凹面鏡７を透過してカメラ９に入射し、赤外光Ｌ_２により運転者Ｄが撮像されて、その撮像画像Ｐが制御部１０に入力される。

【0026】

制御部１０は、撮像画像Ｐが入力されると、撮像画像Ｐにおける運転者Ｄの左右の目Ｅの虹彩Ｉの中心Ｃを視点として検出し、二つの視点の中間点Ｑを視点位置として検知した後、視点位置に関する情報をＨＵＤ１の外部に出力する。

【0027】

しかし、制御部１０は、左右いずれかの虹彩Ｉの中心Ｃを検出することができなかった場合、又は、左右のいずれかの目Ｅについて領域Ｓ_３と領域Ｓ_４とのコントラストが所定の閾値未満であった場合には、検出することができなかった又はコントラストが閾値未満であった一方の目Ｅについて視点の検出を中止し、他方の目Ｅの虹彩Ｉの中心Ｃの位置に基づいて中間点Ｑ’の位置（視点位置）を推測して算出し、視点位置に関する情報をＨＵＤ１の外部に出力する。

【0028】

本実施の形態に係るＨＵＤ１では、制御部１０が、撮像画像Ｐにおいて運転者Ｄの一方の目Ｅの虹彩Ｉに外光が接近していることを検出可能であり、外光の接近を検出すると、撮像画像Ｐにおける運転者Ｄの他方の目Ｅの虹彩Ｉの位置に基づいて視点位置を算出するので、外光の接近により一方の目Ｅの視点の検出結果が不規則に変動することに伴う視点位置の不規則な変動や不安定な検知が防止され、視点位置を安定的に検出することが可能となる。

【0029】

以上、本発明を実施するための形態について例示したが、本発明の実施形態は上述したものに限られず、発明の趣旨を逸脱しない範囲で適宜変更等してもよい。

【0030】

例えば、上記実施の形態では、車両のフロントウインドシールド２に表示光Ｌ_１を投影したが、フロントウインドシールドに代えてコンバイナを用いてもよい。

【0031】

また、制御部１０は、図６に示すように、撮像画像Ｐにおける一方の目Ｅの虹彩Ｉの領域Ｓ_３と白飛びしている領域Ｓ_１との距離Ｌ_１（又は、領域Ｓ_３と領域Ｓ_２との距離Ｌ_２）が所定の閾値未満の場合（領域Ｓ_３と領域Ｓ_１（又は領域Ｓ_２）とが重なっている場合も含む。）に、外光Ｌ_３が虹彩Ｉに接近したと検出してもよい。このとき、領域Ｓ_３と領域Ｓ_１（又は領域Ｓ_２）とのコントラストは不問で、閾値は、カメラ９の画角及びカメラ９から運転者Ｄ（虹彩Ｉ）までの光学的距離に基づいて、カメラ９の振動や運転者Ｄの動き等も加味して決定すればよく、決定した閾値や距離Ｌ_１（又は距離Ｌ_２）は、長さの単位ではなく、画素数等により規定してもよい。

【0032】

あるいは、制御部１０は、撮像画像Ｐにおける一方の目Ｅの虹彩Ｉの瞳孔Ｒを外れた領域の明度が閾値を超えている場合に、外光Ｌ_３が虹彩Ｉに接近したと検出してもよい。図５において、領域Ｓ_３の一部であり瞳孔Ｒを外れた領域Ｓ_５は、領域Ｓ_２に重なり合って明度が高く（虹彩Ｉの中心付近では、光（特に赤外光）は瞳孔Ｒを通過し網膜で反射されて明るく映りやすいので、ここでは虹彩Ｉの中心付近にある瞳孔Ｒを外れた領域Ｓ_５の明度を考える。）、この明度が所定の閾値を超えていれば、制御部１０は、外光Ｌ_３が虹彩Ｉに接近したと判定することができる。このとき、閾値は、目Ｅの白目の領域の明度、目Ｅの周辺の皮膚の平均明度、又は、外光Ｌ_３が接近していない反対側の目Ｅの黒目（虹彩Ｉ）の明度等に合わせることができる。この構成により、黒目の周囲で明度が低く、コントラストが低い場合でも、黒目の領域を識別可能な視点検知システムでは、コントラストの閾値によっては外光の接近を判定しにくいが、黒目の領域に白目や皮膚の明度を超える明るい領域があれば、コントラストにかかわらず強い外光が重なっていることを判定することができる。

【符号の説明】

【0033】

８ 赤外光照射ユニット
９ カメラ
１０ 制御部（外光検出手段、視点位置算出手段）
Ｄ 運転者（被写体）
Ｅ 目
Ｉ 虹彩
Ｌ_３ 外光
Ｐ 撮像画像
Ｑ 中間点
Ｑ’ （仮想的・仮定的な）中間点
Ｒ 瞳孔
Ｓ_１ 領域（白飛びしている領域）
Ｓ_３ 領域（虹彩の領域）
Ｓ_４ 領域（虹彩を外れた領域）
Ｓ_５ 領域（虹彩の瞳孔を外れた領域）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】