特許 7472706 視点位置検出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-15

(45)【発行日】2024-04-23

(54)【発明の名称】視点位置検出システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240416BHJP

   B60K 35/235 20240101ALI20240416BHJP

   G02B 27/01 20060101ALI20240416BHJP

   G06F 3/0346 20130101ALI20240416BHJP

   G06F 3/038 20130101ALI20240416BHJP

   G06T 5/94 20240101ALI20240416BHJP

   H04N 1/407 20060101ALI20240416BHJP

【ＦＩ】

G06T7/00 660A

B60K35/235

G02B27/01

G06F3/0346 423

G06F3/038 310A

G06T5/94

G06T7/00 650Z

H04N1/407

【請求項の数】 5

(21)【出願番号】P 2020128797

(22)【出願日】2020-07-30

(65)【公開番号】P2022025741

(43)【公開日】2022-02-10

【審査請求日】2023-05-19

(73)【特許権者】

【識別番号】000231512

【氏名又は名称】日本精機株式会社

(72)【発明者】

【氏名】濱田 一成

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０１１－１６４７１１（ＪＰ，Ａ）

【文献】特開２０１３－０６５１１９（ＪＰ，Ａ）

【文献】特開２００７－０２５９３５（ＪＰ，Ａ）

【文献】特開２０１８－１１７２８８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｂ６０Ｋ ３５／２３５

Ｇ０２Ｂ ２７／０１

Ｇ０６Ｔ ５／９４

Ｈ０４Ｎ １／４０７

Ｇ０６Ｆ ３／０３８

Ｇ０６Ｆ ３／０３４６

(57)【特許請求の範囲】

【請求項1】

車両の利用者に投影された赤外光により前記利用者を撮像する撮像手段と、
前記撮像手段の撮像画像における階調差に基づいて、前記利用者の特徴点の位置を検出する特徴点検出手段と、
前記特徴点検出手段により検出された特徴点に基づいて、前記撮像画像における前記利用者の左右の目の位置を検出し、検出された左右の目の位置に基づいて、前記利用者の視点位置を検出する視点位置検出手段とを備え、
前記特徴点検出手段は、前記特徴点の位置の検出が困難で前記視点位置検出手段による前記左右の目の一方の位置の検出が困難な場合に、前記撮像画像のガンマ値を調整したガンマ補正画像を生成し、前記ガンマ補正画像における階調差に基づいて、前記特徴点の位置を検出することを特徴とする視点位置検出システム。

【請求項2】

前記特徴点検出手段は、前記特徴点の位置の検出が困難で前記視点位置検出手段による前記左右の目の一方の位置の検出が困難な場合に、前記撮像画像のうち位置の検出が困難な特徴点を含む領域のガンマ値を調整して前記ガンマ補正画像を生成することを特徴とする請求項１に記載の視点位置検出システム。

【請求項3】

前記特徴点検出手段は、前記撮像画像のガンマ値がαの場合に、前記撮像画像の入力が所定の閾値未満の範囲でガンマ値をαよりも大きくなるように調整して前記ガンマ補正画像を生成することを特徴とする請求項１又は請求項２に記載の視点位置検出システム。

【請求項4】

前記特徴点検出手段は、前記撮像画像のガンマ値がαの場合に、前記撮像画像の入力が前記閾値以上の範囲でガンマ値をαよりも小さくなるように調整して前記ガンマ補正画像を生成することを特徴とする請求項３に記載の視点位置検出システム。

【請求項5】

前記特徴点検出手段は、前記特徴点の位置の検出が困難で前記視点位置検出手段による前記左右の目の両方の位置の検出が困難な場合に、前記ガンマ補正画像を生成しないことを特徴とする請求項１乃至請求項４のいずれか１項に記載の視点位置検出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両のフロントウインドシールドやコンバイナに虚像を表示するヘッドアップディスプレイ装置等に用いられ、車両の運転者等の利用者の視点の位置を検出する視点位置検出システムに関する。

【背景技術】

【0002】

車両のフロントウインドシールドやコンバイナ等の反射透光部材を透過する実景（車両前方の風景）に重ねて、その反射透光部材に反射された表示光により虚像を生成して表示するヘッドアップディスプレイ装置は、車両の運転者等の利用者の視線移動を極力抑えつつ、利用者が所望する情報を虚像により提供することによって、安全で快適な車両運行に寄与する。

【0003】

また、ヘッドアップディスプレイ装置には、利用者に赤外光を照射して利用者を撮像し、その撮像画像に基づいて利用者の目等の位置（視点位置）を検出することにより、脇見や居眠り等の利用者の状態把握に供するものがある。

【0004】

例えば特許文献１に記載のヘッドアップディスプレイ装置は、表示手段から発せられる可視光をコンバイナ部材にて利用者に向けて反射して表示像を結像してなるもので、利用者に向けて赤外線を照射する赤外線照射手段と、表示手段から発せられる可視光をコンバイナ部材に向けて反射し、利用者及びコンバイナ部材にて反射される赤外線を透過するミラー部材と、ミラー部材を透過する赤外線を感受して利用者をそれぞれ異なる方向から撮像する複数の撮像手段と、撮像手段によって撮像された画像に基づいて利用者の目の位置を算出する画像処理手段とを備え、利用者の目の位置を精度良く算出することが可能となっている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００８－１２６９８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、このようなヘッドアップディスプレイ装置に用いられる視点検出システムでは、撮像画像（撮像画像データ）における階調差（コントラスト）に基づいて利用者の特徴点（目そのものを特徴点としてもよいが、顔の輪郭や耳、鼻尖、眉、顎その他を特徴点とすることもある。）の位置を検出することにより、利用者の左右の目の位置を検出し、その視点位置を検出するが、太陽光や街灯の光等の強い外光が撮像手段に入射すると、あるいは、撮像手段において強い外光に合わせて露出が調整された結果として、撮像画像における利用者の顔の一部が明るくなりすぎたり（露出オーバー）、暗くなりすぎたりすることがある（露出アンダー）。そうすると、特徴点を検出するための十分な階調差が得られず、視点を検出することができなくなるという問題があった。

【0007】

本発明は、上記の事情に鑑みてなされたもので、撮像画像における階調差が十分でない場合も利用者の視点位置を検出することができる視点検出システムを提供することを課題としている。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明に係る視点検出システムは、車両の利用者に投影された赤外光により前記利用者を撮像する撮像手段と、前記撮像手段の撮像画像における階調差に基づいて、前記利用者の特徴点の位置を検出する特徴点検出手段と、前記特徴点検出手段により検出された特徴点に基づいて、前記撮像画像における前記利用者の左右の目の位置を検出し、検出された左右の目の位置に基づいて、前記利用者の視点位置を検出する視点位置検出手段とを備え、前記特徴点検出手段は、前記特徴点の位置の検出が困難で前記視点位置検出手段による前記左右の目の一方の位置の検出が困難な場合に、前記撮像画像のガンマ値を調整したガンマ補正画像を生成し、前記ガンマ補正画像における階調差に基づいて、前記特徴点の位置を検出することを特徴とする。

【0009】

前記特徴点検出手段は、前記特徴点の位置の検出が困難で前記視点位置検出手段による前記左右の目の一方の位置の検出が困難な場合に、前記撮像画像のうち位置の検出が困難な特徴点を含む領域のガンマ値を調整して前記ガンマ補正画像を生成してもよい。

【0010】

例えば、前記特徴点検出手段は、前記撮像画像のガンマ値がαの場合に、前記撮像画像の入力が所定の閾値未満の範囲でガンマ値をαよりも大きくなるように調整して前記ガンマ補正画像を生成してもよく、さらに、前記撮像画像の入力が前記閾値以上の範囲でガンマ値をαよりも小さくなるように調整して前記ガンマ補正画像を生成してもよい。

【0011】

また、前記特徴点検出手段は、前記特徴点の位置の検出が困難で前記視点位置検出手段による前記左右の目の両方の位置の検出が困難な場合に、前記ガンマ補正画像を生成しなくてもよい。

【発明の効果】

【0012】

本発明に係る視点検出システムによれば、撮像画像における階調差が十分でない場合も利用者の視点位置を検出することができる。

【図面の簡単な説明】

【0013】

【図1】発明を実施するための形態に係る視点検出システムが適用されたヘッドアップディスプレイ装置を示す説明図である。

【図2】図１のヘッドアップディスプレイ装置による運転者の撮像画像を特徴点とともに示す説明図である。

【図3】図１のヘッドアップディスプレイ装置に外光が侵入する様子を示す説明図である。

【図4】外光により特徴点の検出が困難な撮像画像を特徴点とともに示す説明図である。

【図5】図４の撮像画像のガンマ値を調整したガンマ補正画像を特徴点とともに示す説明図である。

【図6】ガンマ補正画像の生成方法の例を示す説明図である。

【図7】ガンマ補正画像の生成方法の他の例を示す説明図である。

【図8】ガンマ補正画像の生成方法のさらに他の例を示す説明図である。

【発明を実施するための形態】

【0014】

本発明を実施するための形態について、図面に基づいて説明する。

【0015】

図１に示すように、本実施の形態に係る視点検出システムが適用されたヘッドアップディスプレイ装置（ＨＵＤ）１は、車両のフロントウインドシールド２の下方に設けられ、フロントウインドシールド２の一部に可視光である表示光Ｌ_１を投影する。表示光Ｌ_１は、フロントウインドシールド２に反射されて虚像Ｖを生成し、車両の運転者Ｄにフロントウインドシールド２を透過する実景に重ねて虚像Ｖを視認させる。

【0016】

また、ＨＵＤ１は、視点検出システムにより運転者Ｄの状態をモニターするＤＭＳ（ドライバーモニタリングシステム）の機能を持ち、運転者Ｄに赤外光Ｌ_２を投影して運転者Ｄを撮像し、撮像画像に基づいて運転者Ｄの視点の位置を検出可能である。

【0017】

詳細には、ＨＵＤ１は、黒色のＡＢＳ樹脂等により成形されて外光の侵入が防止された筐体３に覆われて外部と区画され、筐体３には図示を略すポリカーボネート等の透明な樹脂で覆われた開口部（透光部）４が形成されている。筐体３の内部には、表示ユニット５と、折返鏡６と、凹面鏡７と、赤外光照射ユニット８と、カメラ９と、制御部１０とが保持・収容されている。

【0018】

表示ユニット５は、チップ型の発光ダイオードからなる光源及び液晶パネルが設けられ、液晶パネルが光源の出射光を２次元的に変調することにより、可視光である映像光（表示光Ｌ_１）を投影表示する。折返鏡６は、平面部分を有するように成形されたポリカーボネート等の樹脂にアルミニウム等の金属を蒸着してなり、光を単純に反射する。凹面鏡７は、凹面部分を有するように成形されたポリカーボネート等の樹脂に誘電体多層膜等を蒸着してなり、可視光を拡大して反射するとともに、赤外光を透過させる特性を有する。

【0019】

赤外光照射ユニット８は、凹面鏡７の裏側（凹面鏡７に対して開口部４及び折返鏡６の反対側）に設けられ、発光ダイオードからなる光源が発する赤外光（近赤外線）を凹面鏡７に向けて照射する。カメラ９は、赤外照射ユニット８から照射される波長帯の赤外光に感応する撮像素子、及び、赤外光を透過してその撮像素子に結像させ得るレンズを備え、近赤外線画像を撮影する。赤外光を選択的に透過させるために、可視光等の波長を吸収又は反射するフィルターを用いてもよい。

【0020】

制御部１０は、マイクロプロセッサ、メモリ及びそれらを動作させるための各種電子部品、基板、ケースからなり、車両情報や運転者Ｄの入力情報に基づいてＨＵＤ１の映像を適切に表示するように表示ユニット５を制御する。

【0021】

また、制御部１０は、図２に示すように、カメラ９による撮像画像Ｐの階調差（コントラスト）に基づいて、運転者Ｄの左目Ｅ_Ｌの虹彩（黒目）Ｉ_Ｌの位置及び右目Ｅ_Ｒの虹彩Ｉ_Ｒの位置を検出し、左右の虹彩Ｉ_Ｌ，Ｉ_Ｒの中間点Ｉ_Ｃの位置を視点位置として検出する。検出された視点位置は、運転者Ｄの状態検出（脇見や居眠り等）に利用可能であり、視点情報として外部に出力される。

【0022】

すなわち、制御部１０は、カメラ９による撮像画像Ｐの階調差に基づいて、運転者Ｄの左目Ｅ_Ｌのおよその位置を認識するための特徴点として鼻尖Ｎ、人中Ｒ、顎Ｆ、左の口角Ｍ_Ｌ及び左の眉頭Ｂ_Ｌを検出するとともに、左目Ｅ_Ｌに関する特徴点として目頭Ｅ_１Ｌ、目尻Ｅ_２Ｌ及び上眼瞼Ｅ_３Ｌを検出し、虹彩Ｉ_Ｌの位置を検出する。

【0023】

また、制御部１０は、カメラ９による撮像画像Ｐの階調差に基づいて、運転者Ｄの右目Ｅ_Ｒのおよその位置を認識するための特徴点として鼻尖Ｎ、人中Ｒ、顎Ｆ、右の口角Ｍ_Ｒ及び右の眉頭Ｂ_Ｒを検出するとともに、右目Ｅ_Ｒに関する特徴点として目頭Ｅ_１Ｒ、目尻Ｅ_２Ｒ及び上眼瞼Ｅ_３Ｒを検出し、虹彩Ｉ_Ｒの位置を検出する。

【0024】

ＨＵＤ１において、表示ユニット５からの表示光Ｌ_１は、折返鏡６で反射され、次いで、凹面鏡７で拡大して反射され、開口部４を通過してフロントウインドシールド２に投影される。フロントウインドシールド２に投影された表示光Ｌ_１は、運転者Ｄの側に拡大して反射され、虚像Ｖを生成してフロントウインドシールド２を透過する実景に重ねて運転者Ｄに表示する。

【0025】

一方、赤外光照射ユニット８からの赤外光Ｌ_２は、凹面鏡７を透過し、開口部４を通過してフロントウインドシールド２に投影され、フロントウインドシールド２で運転者Ｄの側に反射されて運転者Ｄを照射する。そして、運転者Ｄに反射されると赤外光Ｌ_２の一部は逆の経路を辿り、凹面鏡７を透過してカメラ９に入射した赤外光Ｌ_２により運転者Ｄが撮像され、その撮像画像Ｐが制御部１０に入力される。この撮像は、虚像Ｖの表示中、定期的又は不定期的に行われ、ここでは、虚像Ｖが表示されている間、定期的なフレームレートの動画撮像が行われる。

【0026】

制御部１０は、運転者Ｄの撮像画像Ｐが入力されると、上記のとおり、運転者Ｄの左右の虹彩Ｉ_Ｌ，Ｉ_Ｒの位置を検出し、虹彩Ｉ_Ｌ，Ｉ_Ｒの中間点Ｉ_Ｃの位置を視点位置として検出する。ただ、本来は、図２に示すような運転者Ｄの撮像画像Ｐが得られるはずであるが、図３に示すように、太陽光等の強い外光Ｌ_３の赤外成分がフロントウインドシールド２、開口部４、凹面鏡７を透過してカメラ９に入射すると、撮像画像Ｐにおいては図４に示すような白飛びした領域Ｓ_１が生じるとともに、その周辺の領域Ｓ_２の階調差が低下し、領域Ｓ_２に左目Ｅ_Ｌや右目Ｅ_Ｒを検出するための特徴点が含まれると、特徴点の位置の検出が困難になり、虹彩Ｉ_Ｌや虹彩Ｉ_Ｒ（図４では虹彩Ｉ_Ｒ）の検出が困難になる。

【0027】

そこで、制御部１０は、特徴点の位置の検出が困難で虹彩Ｉ_Ｌ，Ｉ_Ｒの一方の位置の検出が困難な場合は、虹彩Ｉ_Ｌ，Ｉ_Ｒの他方の位置についてのみ撮像画像Ｐにおける階調差に基づいて検出し、虹彩Ｉ_Ｌ，Ｉ_Ｒの一方の位置については、撮像画像Ｐのガンマ値を調整したガンマ補正画像を生成し、ガンマ補正画像における階調差に基づいて検出する。

【0028】

例えば、図４の撮像画像Ｐでは、左目Ｅ_Ｌについては階調差に基づいて鼻尖Ｎ、人中Ｒ、顎Ｆ、口角Ｍ_Ｌ、眉頭Ｂ_Ｌ、目頭Ｅ_１Ｌ、目尻Ｅ_２Ｌ及び上眼瞼Ｅ_３Ｌをいずれも検出することができ、虹彩Ｉ_Ｌの位置を検出可能であるが、右目Ｅ_Ｒについては階調差に基づいて眉頭Ｂ_Ｒ、目頭Ｅ_１Ｒ、目尻Ｅ_２Ｒ及び上眼瞼Ｅ_３Ｒを検出することができず、虹彩Ｉ_Ｒの位置を検出不可能であるから、制御部１０は、図５に示すように、撮像画像Ｐのうち位置の検出が困難な特徴点（眉頭Ｂ_Ｒ、目頭Ｅ_１Ｒ、目尻Ｅ_２Ｒ及び上眼瞼Ｅ_３Ｒ）を含む領域Ｓ_３を決定し（領域Ｓ_３は、ここでは、既知の特徴点（鼻尖Ｎ、人中Ｒ、顎Ｆ、口角Ｍ_Ｒ、眉頭Ｂ_Ｌ、目頭Ｅ_１Ｌ、目尻Ｅ_２Ｌ、上眼瞼Ｅ_３Ｌのいずれか）に基づいて右目Ｅ_Ｒのおよその位置を推定し、そこから推定される右目Ｅ_Ｒの周辺領域として、位置の検出が困難な特徴点を含むように決定される。）、領域Ｓ_３のガンマ値を調整してガンマ補正画像Ｐ_γを生成する。制御部１０は、ガンマ補正画像Ｐ_γにおいては、撮像画像Ｐで検出することができなかった眉頭Ｂ_Ｒ、目頭Ｅ_１Ｒ、目尻Ｅ_２Ｒ及び上眼瞼Ｅ_３Ｒを検出することができるので、虹彩Ｉ_Ｒの位置、ひいては、視点位置を検出することができる。

【0029】

ガンマ補正画像Ｐ_γの生成方法は、階調差が十分に得られるようになれば特に限定されるものではなく、撮像画像Ｐのうち領域Ｓ_３だけのガンマ値を調整するのではなく、撮像画像Ｐ全体のガンマ値を調整してもよい。

【0030】

例えば、撮像画像Ｐのガンマ値（カメラ９のイメージセンサ（ＣＭＯＳ、ＣＣＤ等）が入力光量に対してリニアな信号を発生し、この信号（入力）にガンマ値を適用して変換したデータ（出力）が撮像画像Ｐとして記録される場合の当該ガンマ値）γがγ＝αの場合、図６に示すように（図６ではα＝１）、撮像画像Ｐの入力が０から所定の閾値未満までの範囲でγをαよりも大きくなるように調整してガンマ補正画像Ｐγを生成することができる。図６のガンマ曲線では、０から２５５までの入力のうち中間地１２８を閾値とし、閾値未満の範囲ではγ＞α（＝１）で下に凸の曲線、閾値以上の範囲ではγ＝α（＝１）でリニアな特性とすることにより、撮像画像Ｐでは明度が低すぎて十分な階調差が得られなかった領域の階調差を拡大したガンマ補正画像Ｐ_γが生成される。

【0031】

図７も、撮像画像Ｐのガンマ値γがγ＝α（＝１）の場合に、撮像画像Ｐの入力が閾値未満の範囲でガンマ値をαよりも大きくなるように調整してガンマ補正画像Ｐγを生成する例を示すが、図７のガンマ曲線は、閾値を１７６として閾値未満の範囲では入力が８０の付近に変曲点を有し、変曲点未満の範囲ではγ＞α（＝１）で下に凸の曲線、変曲点以上の範囲ではγ＞α（＝１）で上に凸の曲線、閾値以上の範囲ではγ＝α（＝１）でリニアな特性を有する。これにより、図６のガンマ曲線によると十分な階調差が得られていた箇所の明度が低下して階調差が縮小する場合に、そのような階調差の縮小を防ぐガンマ補正画像Ｐ_γが生成される。

【0032】

図８は、撮像画像Ｐのガンマ値γがγ＝α（＝１）の場合に、撮像画像Ｐの入力が閾値以上の範囲でガンマ値をαよりも小さくなるように調整してガンマ補正画像Ｐγを生成する例を示す。図８のガンマ曲線は、図６のガンマ曲線と同様に、閾値を１２８として閾値未満の範囲ではγ＞α（＝１）で下に凸であるが、閾値以上の範囲ではγ＜α（＝１）で上に凸であり（図８では、厳密には閾値でα＝１で変曲点になり、閾値を超えた範囲でγ＜αが成り立つ。）、これにより、閾値以上の範囲で明度が撮像画像Ｐの状態よりも高く、図６のガンマ曲線の効果を補強するガンマ補正画像Ｐ_γが生成される。

【0033】

なお、制御部１０は、特徴点の位置の検出が困難で左右の虹彩Ｉ_Ｌ，Ｉ_Ｒの両方の位置の検出が困難な場合は、ガンマ補正画像Ｐ_γを生成せず、左右の虹彩Ｉ_Ｌ，Ｉ_Ｒの一方の位置が検出可能な状態に遷移してから、ガンマ補正画像Ｐ_γの生成とそれに基づく特徴点の位置（並びに虹彩Ｉ_Ｌ，Ｉ_Ｒの位置及び視点位置）の検出を開始する。

【0034】

つまり、制御部１０は、運転者Ｄが横を向いていたり体勢を傾けて顔が撮影範囲外にあったりする状態から、正面に向き直ったり体勢を戻したりして、強い光の影響がなければ左右の虹彩Ｉ_Ｌ，Ｉ_Ｒを検知することができるにもかかわらず、強い光によって虹彩Ｉ_Ｌ，Ｉ_Ｒの一方を検知することができない状態に遷移した瞬間にのみ、虹彩Ｉ_Ｌ，Ｉ_Ｒの他方の位置を撮像画像Ｐに基づいて、虹彩Ｉ_Ｌ，Ｉ_Ｒの一方の位置をガンマ補正画像Ｐ_γに基づいて検出し、視点位置を検出する。その後、強い光の影響が消失して虹彩Ｉ_Ｌ，Ｉ_Ｒの一方も検知可能になれば、制御部１０は、ガンマ補正画像Ｐ_γの生成を中止し、虹彩Ｉ_Ｌ，Ｉ_Ｒの両方の位置を撮像画像Ｐに基づいて検出する。

【0035】

本実施の形態に係る視点検出システムは、車両２の運転者Ｄに投影された赤外光Ｌ_２により運転者Ｄを撮像するカメラ９と、カメラ９の撮像画像Ｐにおける階調差に基づいて、運転者Ｄの特徴点の位置を検出し、検出された特徴点に基づいて、撮像画像Ｐにおける運転者Ｄの左右の虹彩Ｉ_Ｌ，Ｉ_Ｒの位置を検出し、検出された左右の虹彩Ｉ_Ｌ，Ｉ_Ｒの位置に基づいて、運転者Ｄの視点位置を検出する制御部１０とを備え、制御部１０は、特徴点の位置の検出が困難で左右の虹彩Ｉ_Ｌ，Ｉ_Ｒの一方の位置の検出が困難な場合に、撮像画像Ｐのガンマ値を調整したガンマ補正画像Ｐ_γを生成し、ガンマ補正画像Ｐ_γにおける階調差に基づいて、検出が困難だった特徴点の位置を検出するので、撮像画像Ｐにおける階調差が十分でない場合も、ガンマ値を調整したガンマ補正画像Ｐ_γを生成して階調差を確保することにより、運転者Ｄの視点位置を検出することができる。

【0036】

この実施の形態では、制御部１０は、特徴点の位置の検出が困難で左右の虹彩Ｉ_Ｌ，Ｉ_Ｒの一方の位置の検出が困難な場合に、撮像画像Ｐのうち位置の検出が困難な特徴点（図４では、眉頭Ｂ_Ｒ、目頭Ｅ_１Ｒ、目尻Ｅ_２Ｒ及び上眼瞼Ｅ_３Ｒ）を含む領域Ｓ_３のガンマ値を調整してガンマ補正画像Ｐ_γを生成するので、撮像画像Ｐ全体のガンマ値を調整するよりも画像処理の領域が限定され、処理時間を短縮することができる。

【0037】

また、制御部１０は、特徴点の位置の検出が困難で左右の虹彩Ｉ_Ｌ，Ｉ_Ｒの両方の位置の検出が困難な場合は、ガンマ補正画像Ｐ_γを生成せず、左右の虹彩Ｉ_Ｌ，Ｉ_Ｒの一方の位置が検出可能な状態に遷移してから、ガンマ補正画像Ｐ_γの生成とそれに基づく特徴点の位置の検出を開始するので、ガンマ値の調整が不要又は無意義な条件下ではガンマ補正画像Ｐ_γの生成を行わないことにより、不要又は無意義なガンマ補正画像Ｐ_γの生成に伴う視点位置の検出の遅延や視点情報の外部への出力の遅延を抑制することができる。

【0038】

以上、本発明を実施するための形態について例示したが、本発明の実施形態は上述したものに限られず、発明の趣旨を逸脱しない範囲で適宜変更等してもよい。

【0039】

例えば、上記実施の形態では、左右の虹彩Ｉ_Ｌ，Ｉ_Ｒの中間点Ｉ_Ｃの位置を視点位置としたが、虹彩Ｉ_Ｌ，Ｉ_Ｒの位置自体やその他の位置を視点位置としてもよい。

【0040】

また、特徴点として図２に示した部位以外の部位を検出してもよく、目の位置として虹彩以外の部位の位置（例えば、瞳孔の位置）を検出してもかまわない。

【0041】

さらに、閾値の設定方法も任意であり、閾値を複数設定してもよく、一例として第１の閾値と第１の閾値よりも大きい第２の閾値を設定し、第１の閾値未満の領域（少なくとも、明度が低すぎて必要十分な階調差が得られない領域を含む。）の範囲でγ＞αとなるようにガンマ値を調整するとともに、第２の閾値を超える領域（少なくとも、明度が高すぎて必要十分な階調差が得られない領域を含む。）の範囲でγ＜αとなるようにガンマ値を調整してガンマ補正画像を生成してもかまわない（図６及び図７のガンマ曲線は、第１の閾値のみが設定されている場合に相当し、図８のガンマ曲線は、第１の閾値及び第２の閾値が一致している場合に相当する。）。

【符号の説明】

【0042】

２ 車両
９ カメラ（撮像手段）
１０ 制御部（特徴点検出手段、視点位置検出手段）
Ｂ_Ｌ 眉頭（特徴点）
Ｂ_Ｒ 眉頭（特徴点）
Ｄ 運転者（利用者）
Ｅ_１Ｌ 目頭（特徴点）
Ｅ_１Ｒ 目頭（特徴点）
Ｅ_２Ｌ 目尻（特徴点）
Ｅ_２Ｒ 目尻（特徴点）
Ｅ_３Ｌ 上眼瞼（特徴点）
Ｅ_３Ｒ 上眼瞼（特徴点）
Ｅ_Ｌ 左目
Ｅ_Ｒ 右目
Ｆ 顎（特徴点）
Ｉ_Ｌ 虹彩
Ｉ_Ｒ 虹彩
Ｍ_Ｌ 口角（特徴点）
Ｍ_Ｒ 口角（特徴点）
Ｎ 鼻尖（特徴点）
Ｐ 撮像画像
Ｐ_γ ガンマ補正画像
Ｒ 人中（特徴点）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】