特許 6024639 視線位置検出装置、および視線位置検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6024639

(24)【登録日】2016年10月21日

(45)【発行日】2016年11月16日

(54)【発明の名称】視線位置検出装置、および視線位置検出方法

(51)【国際特許分類】

   G08G 1/00 20060101AFI20161107BHJP

   B60R 11/04 20060101ALI20161107BHJP

   G06T 1/00 20060101ALI20161107BHJP

   G08G 1/16 20060101ALI20161107BHJP

【ＦＩ】

   G08G1/00 D

   B60R11/04

   G06T1/00 330

   G06T1/00 340Z

   G08G1/16 F

【請求項の数】10

【全頁数】20

(21)【出願番号】特願2013-214864(P2013-214864)

(22)【出願日】2013年10月15日

(65)【公開番号】特開2015-79304(P2015-79304A)

(43)【公開日】2015年4月23日

【審査請求日】2015年12月21日

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100111970

【弁理士】

【氏名又は名称】三林 大介

(72)【発明者】

【氏名】成瀬 洋一

【審査官】 東 勝之

(56)【参考文献】

【文献】 特開２００６−１７２２１５（ＪＰ，Ａ）

【文献】 特開２０１３−２００８３７（ＪＰ，Ａ）

【文献】 特開２００４−１１４７０９（ＪＰ，Ａ）

【文献】 特開２００８−０１８８５３（ＪＰ，Ａ）

【文献】 特開２００６−１６３５０１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００ − １／１６

Ｂ６０Ｒ １１／０４

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

車載カメラを用いて車両の進行方向を撮影した前方画像と、車室内カメラを用いて運転者の顔面を撮影した顔画像とを解析することにより、該運転者の視線の位置を検出する視線位置検出装置であって、
前記車載カメラを駆動することによって、所定の時間間隔で前記前方画像を撮影する前方画像撮影部と、
前記車室内カメラを駆動することによって、前記所定の時間間隔で前記顔画像を撮影する顔画像撮影部と、
前記車両の走行速度を検出する走行速度検出部と、
前記車載カメラが通過した位置に前記車両の進行に伴って前記運転者の顔面が到るまでに要する所要時間を、前記走行速度に基づいて推測する所要時間推測部と、
前記所定の時間間隔で撮影された前記顔画像について、前記所要時間の経過前に対応する前記前方画像を、該顔画像に対応する前方画像として選択する前方画像選択部と、
前記顔画像を解析することによって、前記運転者の視線の方向を検出する視線方向検出部と、
前記視線の方向が検出された前記顔画像に対応する前記前方画像上での前記運転者の視線の位置を、該検出された視線の方向に基づいて決定する視線位置決定部と
を備える視線位置検出装置。

【請求項2】

請求項１に記載の視線位置検出装置であって、
前記前方画像上で決定された前記視線の位置を記憶する視線位置記憶部を備える視線位置検出装置。

【請求項3】

請求項１または請求項２に記載の視線位置検出装置であって、
前記車載カメラは、前記車両の少なくとも幅方向に位置を異ならせて複数箇所に設けられており、
前記前方画像撮影部は、複数箇所に設けられた前記車載カメラを駆動することによって前記前方画像を撮影しており、
前記複数箇所で撮影された前記前方画像を１つの前記前方画像に合成する前方画像合成部を備え、
前記視線位置決定部は、前記合成された前記前方画像上で前記運転者の視線の位置を決定する
視線位置検出装置。

【請求項4】

請求項１ないし請求項３の何れか一項に記載の視線位置検出装置であって、
前記車両内で前記車載カメラが搭載された高さ位置を原点とする座標から、前記運転者の目の高さ位置を原点とする座標に座標変換することにより、前記前方画像を、前記運転者の目の位置から見た画像に変換する画像変換部を備え、
前記視線位置決定部は、前記画像変換部によって座標変換された前記前方画像上で、前記運転者の視線の位置を決定する
視線位置検出装置。

【請求項5】

請求項４に記載の視線位置検出装置であって、
前記視線方向検出部は、前記顔画像を解析することによって、前記運転者の視線の方向に加えて、少なくとも高さ方向への前記運転者の目の位置を検出しており、
前記画像変換部は、前記検出された目の位置に基づいて前記座標変換する
視線位置検出装置。

【請求項6】

車載カメラを用いて車両の進行方向を撮影した前方画像と、車室内カメラを用いて運転者の顔面を撮影した顔画像とを解析することにより、該運転者の視線の位置を検出する視線位置検出装置であって、
前記車載カメラを駆動することによって、所定の時間間隔で前記前方画像を撮影する前方画像撮影部と、
前記車室内カメラを駆動することによって、前記所定の時間間隔で前記顔画像を撮影する顔画像撮影部と、
前記車両の走行速度を検出する走行速度検出部と、
前記車載カメラが通過した位置に前記車両の進行に伴って前記運転者の顔面が到るまでに要する所要時間を、前記走行速度に基づいて推測する所要時間推測部と、
前記所定の時間間隔で撮影された前記前方画像について、前記所要時間の経過後に対応する前記顔画像を、該前方画像に対応する顔画像として選択する顔画像選択部と、
前記選択された顔画像を解析することによって、前記運転者の視線の方向を検出する視線方向検出部と、
前記視線の方向が検出された前記顔画像に対応する前記前方画像上での前記運転者の視線の位置を、該検出された視線の方向に基づいて決定する視線位置決定部と
を備える視線位置検出装置。

【請求項7】

車載カメラを用いて車両の進行方向を撮影した前方画像と、車室内カメラを用いて運転者の顔面を撮影した顔画像とを解析することにより、該運転者の視線の位置を検出する視線位置検出装置であって、
前記車載カメラを駆動することによって、所定の時間間隔で前記前方画像を撮影する前方画像撮影部と、
前記車両の走行速度を検出する走行速度検出部と、
前記車載カメラが通過した位置に前記車両の進行に伴って前記運転者の顔面が到るまでに要する所要時間を、前記走行速度に基づいて推測する所要時間推測部と、
前記前方画像を撮影してから前記所要時間が経過する度に前記車室内カメラを駆動することによって、該前方画像に対応する前記顔画像を撮影する顔画像撮影部と、
前記顔画像を解析することによって、前記運転者の視線の方向を検出する視線方向検出部と、
前記視線の方向が検出された前記顔画像に対応する前記前方画像上での前記運転者の視線の位置を、該検出された視線の方向に基づいて決定する視線位置決定部と
を備える視線位置検出装置。

【請求項8】

車載カメラを用いて車両の進行方向を撮影した前方画像と、車室内カメラを用いて運転者の顔面を撮影した顔画像とを解析することにより、該運転者の視線の位置を検出する視線位置検出方法であって、
前記車載カメラを駆動することによって、所定の時間間隔で前記前方画像を撮影する工程と、
前記車室内カメラを駆動することによって、前記所定の時間間隔で前記顔画像を撮影する工程と、
前記車両の走行速度を検出する工程と、
前記車載カメラが通過した位置に前記車両の進行に伴って前記運転者の顔面が到るまでに要する所要時間を、前記走行速度に基づいて推測する工程と、
前記所定の時間間隔で撮影された前記顔画像について、前記所要時間の経過前に対応する前記前方画像を、該顔画像に対応する前方画像として選択する工程と、
前記顔画像を解析することによって、前記運転者の視線の方向を検出する工程と、
前記視線の方向が検出された前記顔画像に対応する前記前方画像上での前記運転者の視線の位置を、該検出された視線の方向に基づいて決定する工程と
を備える視線位置検出方法。

【請求項9】

車載カメラを用いて車両の進行方向を撮影した前方画像と、車室内カメラを用いて運転者の顔面を撮影した顔画像とを解析することにより、該運転者の視線の位置を検出する視線位置検出方法であって、
前記車載カメラを駆動することによって、所定の時間間隔で前記前方画像を撮影する工程と、
前記車室内カメラを駆動することによって、前記所定の時間間隔で前記顔画像を撮影する工程と、
前記車両の走行速度を検出する工程と、
前記車載カメラが通過した位置に前記車両の進行に伴って前記運転者の顔面が到るまでに要する所要時間を、前記走行速度に基づいて推測する工程と、
前記所定の時間間隔で撮影された前記前方画像について、前記所要時間の経過後に対応する前記顔画像を、該前方画像に対応する顔画像として選択する工程と、
前記選択された顔画像を解析することによって、前記運転者の視線の方向を検出する工程と、
前記視線の方向が検出された前記顔画像に対応する前記前方画像上での前記運転者の視線の位置を、該検出された視線の方向に基づいて決定する工程と
を備える視線位置検出方法。

【請求項10】

車載カメラを用いて車両の進行方向を撮影した前方画像と、車室内カメラを用いて運転者の顔面を撮影した顔画像とを解析することにより、該運転者の視線の位置を検出する視線位置検出方法であって、
前記車載カメラを駆動することによって、所定の時間間隔で前記前方画像を撮影する工程と、
前記車両の走行速度を検出する工程と、
前記車載カメラが通過した位置に前記車両の進行に伴って前記運転者の顔面が到るまでに要する所要時間を、前記走行速度に基づいて推測する工程と、
前記前方画像を撮影してから前記所要時間が経過する度に前記車室内カメラを駆動することによって、該前方画像に対応する前記顔画像を撮影する工程と、
前記顔画像を解析することによって、前記運転者の視線の方向を検出する工程と、
前記視線の方向が検出された前記顔画像に対応する前記前方画像上での前記運転者の視線の位置を、該検出された視線の方向に基づいて決定する工程と
を備える視線位置検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の走行時の運転者の視線の位置を検出する技術に関する。

【背景技術】

【0002】

車両の走行中に車載カメラで撮影した進行方向前方の画像（前方画像）を記憶しておき、車両事故などが発生した場合には、事故原因の特定などに利用可能とする技術が提案されている（特許文献１）。
また、前方画像だけでなく、走行中の運転者の視線の位置を検出して記憶しておくことで、事故が発生した原因などをより詳細に特定可能とすることを狙った技術も提案されている（特許文献２）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平８−２３５４９１号公報

【特許文献2】特開２００７−０７２５６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、提案されている技術では、依然として、事故が発生した原因などを詳細に特定することは難しいという問題があった。これは、次のような理由による。先ず、車載カメラは、運転者よりも車両の進行方向前方に搭載されている。このため、運転者が見ている前方状況は、車載カメラが実際に搭載されている位置よりも少し後方から撮影した画像に対応した前方状況となる。逆に言えば、運転者は、車載カメラで撮影した画像に対応する前方状況を、車載カメラよりも少し遅れて視認することになる。
このため、車両進行方向前方を撮影した前方画像と、運転者の視線の位置とを単に記憶しておくだけでは、事故発生の瞬間に、あるいは事故発生前の特定のタイミングで、運転者が実際に見ていた位置を正確に特定することが困難なためである。

【0005】

この発明は、上述した問題に鑑みてなされたものであり、車両の走行時に運転者が見ていた位置を正確に特定することが可能な技術の提供を目的とする。

【課題を解決するための手段】

【0006】

上述した問題を解決するために本発明の視線位置検出装置、および本発明の視線位置検出方法は、前方画像および顔画像を所定の時間間隔で撮影しており、車載カメラで前方画像を撮影した時の走行車速に対応する所要時間に基づいて、顔画像に対応する前方画像を選択する。ここで、所要時間とは、次のような時間である。ある時点で車室内カメラが顔画像を撮影したとすると、その時に運転者の顔面が存在していた位置を、車載カメラは少しだけ前に通過している。所要時間とは、この時間、すなわち、車両の進行に伴って、車載カメラが通過した位置に、運転者の顔面が到るまでに要する時間である。また、顔画像に対応する前方画像を選択するに際しては、顔画像が撮影されるより所要時間前、あるいは所要時間前に近いタイミングで撮影された前方画像を選択する。そして、選択した前方画像上での運転者の視線の位置を、顔画像を解析することによって検出する。
こうすれば、運転者の顔画像と、その顔画像を撮影した時に運転者の顔面が存在する位置（あるいは大まかには同じ位置）で撮影された前方画像とを用いて、運転者の視線の位置を決定することができる。このため、車両の走行時に運転者が見ていた位置を正確に特定することが可能となる。

【0007】

また、上述した本発明の視線位置検出装置においては、前方画像上で決定された視線の位置を記憶しておくこととしてもよい。また、視線の位置は、前方画像上に上書きして記憶しておくことができる。
こうすれば、顔画像を記憶しておく必要が無くなるので、記憶容量を節約することができる。また、視線の位置を直ちに確認することが可能となる。

【0008】

また、上述した本発明の視線位置検出装置においては、車両の少なくとも幅方向に位置を異ならせて複数箇所に車載カメラを設けておいてもよい。そして、それらの車載カメラを駆動することによって複数箇所で撮影した前方画像を１つの前方画像に合成し、合成した前方画像上で運転者の視線の位置を決定することとしてもよい。
こうすれば、大まかには運転者の正面に車載カメラを搭載して撮影したような前方画像を得ることができるので、車両の走行時に運転者が見ていた位置を正確に特定することが可能となる。また、運転者の正面には車載カメラを搭載する必要が無くなるので、車載カメラが運転者の視界を妨げて運転の邪魔になることも回避できる。

【0009】

また、上述した本発明の視線位置検出装置においては、次のようにしても良い。先ず、車両内で車載カメラが搭載された高さ位置を原点とする座標から、運転者の目の高さ位置を原点とする座標に座標変換することにより、前方画像を、運転者の目の位置から見た画像に変換する。そして、得られた前方画像上で運転者の視線の位置を決定することとしてもよい。
こうすれば、大まかには運転者の目の高さの位置から撮影したような前方画像を得ることができるので、車両の走行時に運転者が見ていた位置を正確に特定することが可能となる。

【0010】

また、前方画像を座標変換する上述した視線位置検出装置においては、顔画像を解析することによって運転者の目の位置を検出してもよい。そして、前方画像を座標変換するに際しては、車載カメラが搭載された高さ位置を原点とする座標から、検出した目の高さ位置を原点とする座標に座標変換することとしてもよい。
こうすれば、運転者の目の高さの位置から撮影したような前方画像を得ることができるので、車両の走行時に運転者が見ていた位置をより正確に特定することが可能となる。

【0011】

また、上述した本発明の視線位置検出装置および視線位置検出方法は、次のようにしても良い。
すなわち、車載カメラで前方画像を撮影してから、所要時間の経過後に撮影された顔画像、あるいは所要時間後に近いタイミングで撮影された顔画像を選択する。そして、前方画像上での運転者の視線の位置を、選択した顔画像を解析することによって検出する。
こうすれば、車載カメラで撮影した前方画像と、その時の車載カメラの位置での運転者の顔面を撮影した顔画像とを用いて、運転者の視線の位置を決定することができる。このため、車両の走行時に運転者が見ていた位置を正確に特定することが可能となる。

【0012】

また、上述した本発明の視線位置検出装置および視線位置検出方法は、次のようにしても良い。
すなわち、車載カメラで前方画像を撮影してから、所要時間の経過後に顔画像を撮影する。そして、その顔画像を解析することによって、前方画像上での運転者の視線の位置を検出する。
このようにしても、車載カメラで撮影した前方画像と、その時の車載カメラの位置での運転者の顔面を撮影した顔画像とを用いて、運転者の視線の位置を決定することができる。このため、車両の走行時に運転者が見ていた位置を正確に特定することが可能となる。

【0013】

また、上述した本発明の視線位置検出装置および視線位置検出方法においては、次のようにしても良い。すなわち、車両の走行中は、前方画像や、顔画像、走行速度などを予め記憶しておく。そして、車両の走行後に、視線の位置を検出するに際しては、記憶されている前方画像、顔画像、走行速度を読み出して、前方画像上での視線の位置を検出することとしても良い。
こうすれば、車両の走行中に顔画像の解析などの処理をする必要がなく、走行終了後に必要に応じて処理すればよいので、処理負担を抑制することが可能となる。

【図面の簡単な説明】

【0014】

【図1】視線位置検出装置１０を搭載した車両１の大まかな構成を示した説明図である。

【図2】視線位置検出装置１０についてのブロック図である。

【図3】運転者から見た前方状況と車載カメラで撮影した前方画像との違いについての説明図である。

【図4】第１実施例の視線位置検出処理のフローチャートである。

【図5】第１実施例で顔画像を用いて前方画像上での視線位置を決定する動作を示した説明図である。

【図6】第２実施例の画像撮影処理のフローチャートである。

【図7】第２実施例の視線位置検出処理のフローチャートである。

【図8】第２実施例で顔画像を用いて前方画像上での視線位置を決定する動作を示した説明図である。

【図9】第３実施例の前方画像撮影処理のフローチャートである。

【図10】第３実施例の視線位置検出処理のフローチャートである。

【図11】第３実施例で顔画像を用いて前方画像上での視線位置を決定する動作を示した説明図である。

【図12】複数台の車載カメラを搭載した変形例についての説明図である。

【図13】変形例の視線位置検出装置１０についてのブロック図である。

【図14】複数台の車載カメラを搭載した他の態様の変形例についての説明図である。

【発明を実施するための形態】

【0015】

以下では、上述した本願発明の内容を明確にするために実施例について説明する。
Ａ．装置構成 ：
図１には、本実施例の視線位置検出装置１０を搭載した車両１の大まかな構成が示されている。図示されるように本実施例の視線位置検出装置１０は、車両１のダッシュボード２内に搭載されており、車両１の進行方向前方の画像を撮影する車載カメラ３や、車両１の運転者６の顔面の画像（顔画像）を撮影する車室内カメラ４や、図示しない車輪に搭載されて車両１の走行速度を検出する車速センサー５などに接続されている。
このうちの視線位置検出装置１０は、主にマイクロコンピューターを用いて構成されている。また、車室内カメラ４は、近赤外光を放射する近赤外ＬＥＤを内蔵しており、運転者６の顔面に近赤外光を照射することによって近赤外光での顔画像を撮影する。これに対して、車載カメラ３は、可視光を用いて前方画像を撮影する。

【0016】

ここで図１に示されるように、車両１中で車載カメラ３が搭載されている位置と、運転者６の目の位置とを比較すると、車載カメラ３は、運転者６の目の位置よりも、車両１の進行方向前方に搭載されている。尚、目の位置は運転者６の身長や体格などによって厳密には変化するが、ほとんどの運転者６の目の位置を包含するような領域（アイボックス６ａ）を想定することができる。そこで、このアイボックス６ａの中心から、車両１の進行方向に沿って、車載カメラ３が搭載された位置までの距離を、以下では「距離Ｌ」と称することがある。

【0017】

図２には、視線位置検出装置１０の大まかな内部構造が示されている。図示されるように視線位置検出装置１０は、前方画像撮影部１２と、顔画像撮影部１３と、走行速度検出部１４と、視線位置解析部１５と、記憶部１６などを備えている。
尚、これら５つの「部」は、視線位置検出装置１０を、主に機能に着目して便宜的に分類した抽象的な概念である。これら５つの「部」の実体は、視線位置検出装置１０を構成する各種の機器や、電子部品、コンピューター、コンピュータープログラム、あるいはそれらの組合せなどによって構成することができる。

【0018】

前方画像撮影部１２は、車載カメラ３と接続されており、所定周期（例えば３０Ｈｚ）で車載カメラ３を駆動して車両１の進行方向前方の画像を撮影し、車載カメラ３で撮影された前方画像を取得する。
顔画像撮影部１３は、車室内カメラ４と接続されており、所定周期（例えば３０Ｈｚ）あるいは指定されたタイミングで車室内カメラ４を駆動して、運転者６の顔面の画像を撮影し、車室内カメラ４で撮影された顔画像を取得する。
走行速度検出部１４は、車速センサー５と接続されており、指定されたタイミングで車速センサー５から車両１の走行速度を取得する。

【0019】

視線位置解析部１５は、主にＣＰＵによって構成されており、車載カメラ３で撮影された前方画像や、車室内カメラ４で撮影された顔画像を解析することによって、運転者６の視線の位置を解析する。
尚、運転者６の顔画像から視線の位置を検出する方法には、周知の種々の方法を用いることができる。例えば、顔画像から目の位置と瞳の位置とを検出し、更に、目の位置と瞳の位置との関係から視線の方向を検出する。そして、目の位置と視線の方向とに基づいて視線の位置を検出することができる。あるいは、運転者６の目の位置についてはアイボックス６ａの中心の位置で代用することとして、視線の方向を検出することによって、簡易的に視線の位置を検出することも可能である。
本実施例では、視線位置解析部１５が本発明における「視線方向検出部」および「視線位置決定部」に対応する。

【0020】

記憶部１６は、ハードディスクなどの大容量記憶装置によって主に構成されており、車載カメラ３で撮影された前方画像や、車室内カメラ４で撮影された顔画像などを記憶する。更に、視線位置解析部１５によって検出された視線の位置も記憶部１６に記憶される。
尚、記憶部１６は、本発明における「視線位置記憶部」に対応する。

【0021】

もっとも、図１に示したように、運転者６のアイボックス６ａの位置と、車載カメラ３が搭載されている位置とは、距離Ｌだけ離れている。このため、単に車載カメラ３で撮影した前方画像に、顔画像を解析して得られた視線の位置を重ねても、実際には運転者６が見ている位置を正確には特定することができない。この点について、図３を用いて説明する。

【0022】

図３（ａ）には、運転者６が実際に見ている前方の状況が例示されており、図３（ｂ）には、その時に車載カメラ３で撮影される前方画像が例示されている。図３（ａ）に例示した画像も、図３（ｂ）に例示した画像も、どちらも車両１の前方の状況を示しているのでほとんど同じ画像となる。
しかし、２つの画像を比較すれば明らかなように、図３（ｂ）に示した車載カメラ３の画像の方が、図３（ａ）に示した画像よりも、画像中の対象物が少しだけ大きく写っている。これは、車載カメラ３の搭載位置が、運転者６のアイボックス６ａの位置よりも距離Ｌだけ前方にあることによる。

【0023】

また、車載カメラ３の搭載位置で見た対象物の方が、運転者６のアイボックス６ａの位置で見た対象物よりも大きく見えると言うことは、同じ画角で比較すると、車載カメラ３の位置で撮影した画像の方が、運転者６のアイボックス６ａの位置で撮影した画像よりも狭い範囲を写していることになる。そして、このために、顔画像を解析して得られた視線の位置を、単に車載カメラ３で撮影した前方画像に重ねただけでは、実際に運転者６が見ている位置を正確に特定することが困難となる。

【0024】

例えば、図３（ａ）中に「視線Ａ」と表示したように、運転者６が信号機を見たとする。この視線の位置は、車室内カメラ４で撮影した顔画像を解析し、運転者６の目の位置と、視線の方向とを検出することによって決定されたものである。仮に、運転者６の目の位置に車載カメラ３が搭載されているとしたら、その車載カメラ３で撮影した前方画像に、顔画像を解析して決定した視線Ａの位置を重ねると、視線Ａの位置は前方画像上の信号機の位置に来る筈である。
しかし実際には、車載カメラ３は運転者６の目の位置よりも前方に搭載されており、このため車載カメラ３は、運転者６の目の位置に搭載された場合よりも狭い範囲を撮影する。従って、実際に車載カメラ３が撮影した前方画像に、顔画像から求めた視線Ａの位置を重ねても、図３（ｂ）に例示したように、視線Ａの位置は前方画像上の信号機の位置から離れた位置に来る。

【0025】

運転者６が歩行者を確認する場合にも同様なことが当て嵌まる。すなわち、図３（ｂ）で左側から出てきた歩行者を確認した時の運転者６の視線の位置が、図中に「視線Ｂ」と表示した位置であったとする。しかし、図３（ｂ）に例示したように、この視線Ｂの位置は、車載カメラ３で撮影した前方画像上では、歩行者の位置とは離れた位置に来る。
このように、車両１の走行中に撮影した顔画像を解析して、得られた視線の位置を、車載カメラ３で撮影した前方画像に重ねただけでは、実際に運転者６が見ている位置を正確に特定することは難しい。そこで、本実施例の視線位置検出装置１０では、次のような方法で、運転者６の視線の位置を特定する。

【0026】

Ｂ．第１実施例 ：
図４には、第１実施例の視線位置検出装置１０が運転者６の視線の位置を検出する視線位置検出処理のフローチャートが示されている。この処理は、視線位置検出装置１０の視線位置解析部１５によって主に実行される。

【0027】

第１実施例の視線位置検出処理（Ｓ１００）では、先ず始めに、車載カメラ３および車室内カメラ４の撮影周期時間が経過したか否かを判断する（Ｓ１０２）。すなわち、図２を用いて前述したように、車載カメラ３および車室内カメラ４は所定周期（例えば３０Ｈｚ）で画像を撮影しており、前回に画像を撮影してからの経過時間が、その所定周期（例えば３０Ｈｚ）の逆数に対応する時間（撮影周期時間）に達したか否かを判断する。

【0028】

その結果、撮影周期時間に達していない場合は（Ｓ１０２：ｎｏ）、同じ判断を繰り返すことによって、そのまま待機状態となる。
これに対して、撮影周期時間に達したと判断した場合は（Ｓ１０２：ｙｅｓ）、車載カメラ３を駆動して前方画像を撮影すると共に、車室内カメラ４を駆動して運転者６の顔画像を撮影した後、前方画像については記憶部１６に記憶する（Ｓ１０４）。

【0029】

続いて、視線位置解析部１５は、顔画像を解析することによって運転者６の視線の方向を検出する（Ｓ１０６）。尚、運転者６の目の位置については、顔画像から検出しても良いし、アイボックス６ａの中心に相当する所定の位置にあるものとしてもよい。

【0030】

その後、車速センサー５を用いて車両１の走行速度を検出し、走行速度に対応する所要時間を算出する（Ｓ１０８）。ここで、走行速度に対応する「所要時間」とは次のような時間である。先ず、あるタイミングで車室内カメラ４が顔画像を撮影したとすると、その時に運転者６の顔面が存在する位置を、車載カメラ３は既に通過している筈である。そして、車載カメラ３が通過してから、その位置で車室内カメラ４によって顔画像が撮影されるまでに要する時間は、車両１の走行速度が高くなるほど短くなる。この時間が、走行速度に対応する所要時間である。
車載カメラ３は、運転者６の顔面よりも距離Ｌだけ前方に搭載されているから（図１参照）、所要時間Ｔは、距離Ｌを走行速度Ｖで除算することによって算出することができる。図４のＳ１０８では、このようにして、走行速度に対応する所要時間を算出する。
尚、所要時間を算出する処理は視線位置解析部１５で行われていることから、本実施例の視線位置解析部１５は本発明における「所要時間推測部」に対応する。

【0031】

そして視線位置解析部１５は、先に撮影されて記憶部１６に記憶されている複数の前方画像の中から、所要時間前に撮影された前方画像を読み出す（Ｓ１１０）。前述したように前方画像は所定周期で（すなわち撮影周期時間毎に）撮影されているから、所要時間前に撮影された画像が、何周期前に撮影された画像に対応するかを直ちに決定することができるので、視線位置解析部１５は、その画像を記憶部１６から読み出す。
もちろん、所要時間が撮影周期時間の整数倍になるとは限らないが、この場合は、所要時間を撮影周期時間で除算した値を四捨五入することによって、何周期前の画像を読み出すかを決定することができる。あるいは、所要時間を撮影周期時間で除算した値を切り上げ、もしくは切り捨てることによって、何周期前の画像を読み出すかを決定することとしてもよい。
尚、所要時間前に撮影された前方画像を選択して読み出す処理は視線位置解析部１５で行われていることから、本実施例の視線位置解析部１５は本発明における「前方画像選択部」に対応する。

【0032】

その後、視線位置解析部１５は、先に検出した視線の方向と読み出した前方画像とを用いて、その前方画像上での運転者の視線の位置を決定し（Ｓ１１２）、その結果として得られた視線の位置が書き込まれた前方画像を、記憶部１６に記憶する（Ｓ１１４）。尚、視線の位置が書き込まれた前方画像は、元の前方画像に上書きしてもよいし、元の前方画像とは別に記憶しても良い。

【0033】

こうして、１つの顔画像と、この顔画像に対応する前方画像とについて視線位置を検出したら、車両１の運転を終了するか否かを判断し（Ｓ１１６）、運転終了でない場合は（Ｓ１１６：ｎｏ）、処理の先頭に戻って、上述した続く一連の処理（Ｓ１０２〜Ｓ１１４）を実行する。
これに対して、運転終了と判断した場合は（Ｓ１１６：ｙｅｓ）、第１実施例の視線位置検出処理を終了する。

【0034】

図５には、第１実施例の視線位置検出装置１０が視線位置を検出する様子が概念的に示されている。車載カメラ３および車室内カメラ４では、一定周期で前方画像および顔画像を撮影する。このうち車載カメラ３が撮影した前方画像は、記憶部１６に一旦、記憶される。
一方、車室内カメラ４が撮影した顔画像は視線位置解析部１５で解析されて、運転者６の視線の方向（および運転者６の目の位置）が検出される。また、視線位置解析部１５は、車速センサー５で検出された走行速度に基づいて、記憶部１６に記憶されている複数の前方画像の中から１の前方画像を選択する。そして、その前方画像に対して、顔面画像から検出した視線の方向に基づいて視線の位置を書き込んでいく。

【0035】

このように第１実施例の視線位置検出装置１０では、車載カメラ３で撮影した前方画像が次々と記憶部１６に蓄えられていき、そして、前方画像を撮影した位置を運転者６の顔面が通過する度に、その位置で撮影されて記憶部１６に記憶されていた前方画像に対して、運転者６の視線の位置が次々と書き込まれていく。
こうすれば、顔画像を撮影した時に運転者６の顔面が存在していた位置と、近い位置から撮影した前方画像に対して視線の位置を決定することができる。このため、図３を用いて前述したような問題が生じることが無く、運転者が実際に見ていた位置を正確に特定することが可能となる。

【0036】

もちろん、この場合、運転者６の視線の位置が決定される前方画像は、運転者６の顔画像が撮影されるよりも、走行速度に対応する所要時間だけ前に撮影された画像である。従って、歩行者のように前方画像中の対象物が移動する場合には、前方画像中での対象物の位置と、運転者６が実際に見た対象物の位置とにズレが生じる。
しかし、前述したように、走行速度に対応する所要時間は、運転者６の目の位置から車載カメラ３の搭載位置までの距離Ｌを、車両１の走行速度で除算して得られる時間であり、その短い時間の間で対象物が移動する距離はそれほど大きなものではない。このため、顔画像を撮影したタイミングよりも、所要時間だけ前に撮影した前方画像を用いることによる影響は、事実上、無視することが可能である。

【0037】

尚、上述した第１実施例では、前方画像を選択する処理や、顔画像を解析して前方画像上での視線の位置を検出する処理は、車両１の走行中に実行されるものとして説明した。しかし、車両１の走行中には前方画像、顔画像、走行速度を記憶しておき、走行終了後に必要に応じて、前方画像の選択や、顔画像の解析や、視線位置の決定などを行うこととしても良い。

【0038】

Ｃ．第２実施例 ：
上述した第１実施例では、車室内カメラ４が顔画像を撮影すると、そのタイミングから所要時間だけ前に撮影されていた前方画像を選択し、その前方画像上で視線の位置を検出した。しかし、車載カメラ３が前方画像を撮影すると、そのタイミングから所要時間の経過後に撮影される顔画像を用いて、前方画像上での視線の位置を検出するようにしてもよい。以下では、このような第２実施例の視線位置検出装置１０について説明する。

【0039】

図６には、第２実施例の視線位置検出装置１０が、車載カメラ３を用いて前方画像を撮影し、車室内カメラ４を用いて顔画像を撮影する処理のフローチャートが示されている。尚、この画像撮影処理（Ｓ２００）は、運転者６の視線の位置を検出する準備として行われる処理であり、視線位置検出装置１０の視線位置解析部１５によって実行される。

【0040】

画像撮影処理（Ｓ２００）では、先ず始めに、車載カメラ３および車室内カメラ４の撮影周期時間が経過したか否かを判断する（Ｓ２０２）。撮影周期時間とは、前述した第１実施例と同様に、車載カメラ３および車室内カメラ４が画像を撮影する周期（例えば３０Ｈｚ）の逆数に対応する時間である。

【0041】

その結果、撮影周期時間に達していない場合は（Ｓ２０２：ｎｏ）、同じ判断を繰り返すことによって待機状態となるが、撮影周期時間に達したと判断した場合は（Ｓ２０２：ｙｅｓ）、車載カメラ３および車室内カメラ４を駆動して前方画像および顔画像を撮影し、顔画像については一旦、記憶部１６に記憶する（Ｓ２０４）。

【0042】

続いて、車速センサー５を用いて車両１の走行速度を検出し、走行速度に対応する所要時間を算出する（Ｓ２０６）。ここで、第２実施例における「所要時間」とは次のような時間である。先ず、運転者６の顔面は、車載カメラ３が搭載されている位置よりも車両１の進行方向に対して後方にある。従って、あるタイミングで車載カメラ３が前方画像を撮影したとすると、その時の車載カメラ３の位置を運転者６の顔面が通過するまでには、車両１の走行速度に応じた時間の経過後となる。この経過時間が、第２実施例における「所要時間」である。
もっとも、第２実施例の「所要時間」も第１実施例の「所要時間」と同様に、距離Ｌを走行速度Ｖで除算することによって算出することができる。図６のＳ２０６では、このようにして、走行速度に対応する所要時間を算出する。

【0043】

こうして所要時間を求めたら、視線位置解析部１５は、求めた所要時間を関連付けた状態で、先に撮影した前方画像を記憶部１６に記憶する（Ｓ２０８）。
このように第２実施例の画像撮影処理では、前方画像および顔画像を所定周期で撮影すると、顔画像についてはそのまま記憶部１６に記憶し、前方画像については、その時の走行速度に応じた所要時間を関連付けた状態で記憶部１６に記憶する。

【0044】

その後、車両１の運転を終了するか否かを判断し（Ｓ２１０）、運転終了でない場合は（Ｓ２１０：ｎｏ）、処理の先頭に戻って、上述した続く一連の処理（Ｓ２０２〜Ｓ２１０）を実行する。
これに対して、運転終了と判断した場合は（Ｓ２１０：ｙｅｓ）、第２実施例の画像撮影処理を終了する。

【0045】

第２実施例の視線位置解析部１５は、こうして記憶部１６に記憶された顔画像および前方画像に対して、次のような処理を行うことによって運転者６の視線の位置を検出する。
図７には、第２実施例の視線位置解析部１５が、運転者６の視線の位置を検出するために実行する視線位置検出処理のフローチャートが示されている。尚、第２実施例の視線位置検出処理（Ｓ２５０）は、車両１の運転が終了した後に開始しても良いし、車両１の運転中に（従って、図６の画像撮影処理と並行して）実行されるようにしても良い。車両１の運転が終了してから視線位置検出処理を開始する場合は、全ての前方画像および顔画像が記憶部１６に記憶された状態で、この視線位置検出処理が実行される。これに対して、車両１の運転中に視線位置検出処理を開始する場合は、記憶部１６に前方画像および顔画像が記憶される処理と並行して、図７の視線位置検出処理が実行されることになる。

【0046】

第２実施例の視線位置検出処理を開始すると、視線位置解析部１５は先ず始めに、記憶部１６に記憶されている前方画像の中から、処理対象となる前方画像を１つ選択する（Ｓ２５２）。

【0047】

そして、選択した前方画像に関連付けて記憶されている所要時間を記憶部１６から読み出すと（Ｓ２５４）、記憶部１６に記憶されている複数の顔画像の中から、選択した前方画像に対応する顔画像を、所要時間に基づいて選択する（Ｓ２５６）。
顔画像は前方画像と同様に撮影周期時間毎に撮影されているから、前方画像に関連付けられた所要時間が分かれば、その前方画像が撮影されてから所要時間後に撮影された顔画像を直ちに特定することができる。視線位置解析部１５は、こうして前方画像に対応する顔画像を選択して記憶部１６から読み出す。
もちろん第２実施例においても、前述した第１実施例と同様に、所要時間が撮影周期時間の整数倍になるとは限らないが、この場合は、所要時間を撮影周期時間で除算した値を四捨五入、切り上げ、あるいは切り捨てすればよい。
尚、前方画像の所要時間後に撮影された顔画像を選択して読み出す処理は視線位置解析部１５で行われていることから、本実施例の視線位置解析部１５は本発明における「顔画像選択部」に対応する。

【0048】

続いて視線位置解析部１５は、こうして選択した顔画像を解析することによって、運転者６の視線の方向を検出する（Ｓ２５８）。尚、運転者６の目の位置については、顔画像から検出しても良いし、アイボックス６ａの中心に相当する所定の位置にあるものとしてもよい。

【0049】

その後、視線位置解析部１５は、Ｓ２５２で選択して読み出しておいた前方画像と、検出した視線の方向とを用いて、前方画像上での運転者の視線の位置を決定し（Ｓ２６０）、その結果として得られた視線の位置が書き込まれた前方画像を、記憶部１６に記憶する（Ｓ２６２）。尚、視線の位置が書き込まれた前方画像は、元の前方画像に上書きしてもよいし、元の前方画像とは別に記憶しても良い。

【0050】

こうして、選択した１つの前方画像についての処理を終了したら、全ての前方画像についての処理を終了したか否かを判断し（Ｓ２６４）、全ての前方画像についての処理が終了していない場合は（Ｓ２６４：ｎｏ）、処理の先頭に戻って、上述した続く一連の処理（Ｓ２５２〜Ｓ２６４）を実行する。
これに対して、全ての前方画像についての処理が終了したと判断した場合は（Ｓ２６４：ｙｅｓ）、第２実施例の視線位置検出処理を終了する。

【0051】

図８には、第２実施例の視線位置検出装置１０が視線位置を検出する様子が概念的に示されている。前述したように第２実施例では、図６の画像撮影処理を実行して前方画像および顔画像を記憶部１６に記憶する段階と、図７の視線位置検出処理を実行することによって、記憶部１６に記憶された前方画像および顔画像を読み出して解析する段階の２段階で視線の位置を検出する。

【0052】

先ず、画像を撮影する段階では、図８（ａ）に示されるように、車載カメラ３および車室内カメラ４が一定周期で前方画像および顔画像を撮影して、記憶部１６に記憶していく。この時、前方画像については、車両１の走行速度に対応する所要時間が関連付けられた状態で記憶される。

【0053】

次に、視線位置を検出する段階では、図８（ｂ）に示すように、記憶部１６に記憶されている前方画像の中から、まだ視線位置が書き込まれていない画像を、処理対象の前方画像として１つ選択する。そして、その前方画像に関連付けて記憶されている所要時間を記憶部１６から読み出すと、記憶部１６に記憶されている顔画像の中から、前方画像に対応する顔画像を、その所要時間に基づいて選択する。
続いて、視線位置解析部１５は、読み出した顔画像を解析して視線位置を検出した後、検出した視線位置を、対象とする前方画像に書き込んで記憶する。このような処理を、記憶部１６に記憶されている前方画像に対して順次行うことで、それら前方画像に視線位置を書き込むことができる。

【0054】

このような第２実施例においても、前方画像を撮影した時に車載カメラ３が存在していた位置の近くを、運転者６の顔面が通過するタイミングで撮影された顔画像を用いて、視線の位置を決定することができる。このため、図３を用いて前述したような問題が生じることが無く、運転者が実際に見ていた位置を正確に特定することが可能となる。

【0055】

また、この場合にも、前述した第１実施例と同様に、前方画像と顔画像とは異なるタイミングで撮影されている。すなわち、第２実施例では、前方画像上での視線の位置を決定するために用いる顔画像は、その前方画像が撮影されてから所要時間が経過した後に撮影された画像である。従って、歩行者のように前方画像中の対象物が移動する場合には、前方画像中での対象物の位置と、運転者６が実際に見た対象物の位置とにズレが生じる。
しかし、前述したように、走行速度に対応する所要時間は、運転者６の目の位置から車載カメラ３の搭載位置までの距離Ｌを、車両１の走行速度で除算して得られる時間であり、その短い時間の間で対象物が移動する距離はそれほど大きなものではない。このため、顔画像を撮影したタイミングと、前方画像を撮影したタイミングとが所要時間だけずれていることによる影響は、事実上、無視することができる。

【0056】

Ｄ．第３実施例 ：
上述した第１実施例および第２実施例では、車載カメラ３および車室内カメラ４は、どちらも一定周期で前方画像および顔画像を撮影しているものとして説明した。そして、第１実施例では、顔画像を撮影したタイミングを基準として所要時間だけ前に撮影された前方画像を選択し、第２実施例では、前方画像を撮影したタイミングを基準として所要時間だけ後に撮影された顔画像を選択して、視線の位置を検出するものとして説明した。
しかし、車室内カメラ４が顔画像を撮影するタイミングを、車載カメラ３が前方画像を撮影したタイミングに連動させることとして、車載カメラ３が前方画像を撮影してから所要時間が経過したタイミングで、車室内カメラ４で顔画像を撮影するようにしても良い。以下では、このような第３実施例の視線位置検出装置１０について説明する。

【0057】

図９には、第９実施例の視線位置検出装置１０が、車載カメラ３を用いて前方画像を撮影する処理のフローチャートが示されている。尚、この前方画像撮影処理（Ｓ３００）は、運転者６の視線の位置を検出する準備として行われる処理であり、視線位置検出装置１０の視線位置解析部１５によって実行される。

【0058】

前方画像撮影処理（Ｓ３００）では、先ず始めに、車載カメラ３が前回に前方画像を撮影してから撮影周期時間が経過したか否かを判断する（Ｓ３０２）。撮影周期時間とは、前述した第１実施例および第２実施例と同様に、車載カメラ３が画像を撮影する周期（例えば３０Ｈｚ）の逆数に対応する時間である。
その結果、撮影周期時間に達していない場合は（Ｓ３０２：ｎｏ）、同じ判断を繰り返すことによって待機状態となるが、撮影周期時間に達したと判断した場合は（Ｓ３０２：ｙｅｓ）、車載カメラ３を用いて前方画像を撮影して、記憶部１６に記憶する（Ｓ３０４）。

【0059】

続いて、車速センサー５を用いて車両１の走行速度を検出し、走行速度に対応する所要時間を算出する（Ｓ３０６）。第３実施例の「所要時間」は、前述した第２実施例の「所要時間」と同様に、あるタイミングで前方画像を撮影した車載カメラ３が存在していた位置を、運転者６の顔面が通過するまでに要する時間である。従って、第３実施例の「所要時間」も、第２実施例（および第１実施例）の「所要時間」と同様に、距離Ｌを走行速度Ｖで除算することによって算出することができる。

【0060】

視線位置解析部１５は、こうして求めた所要時間に基づいて、前方画像に対応する顔画像の撮影タイミングを設定する（Ｓ３０８）。尚、こうして設定された顔画像の撮影タイミングは、次の前方画像が撮影されるタイミングよりも早くなる場合もあるが、遅くなる場合もある。顔画像が撮影されるよりも前に次の前方画像が撮影された場合には、新たな前方画像に対しても顔画像の撮影タイミングが設定されるので、複数の前方画像の各々に対して顔画像の撮影タイミングが設定されることになる。
このことから、顔画像の撮影タイミングを設定するに際しては、何れの前方画像に対応して設定された撮影タイミングであるかを識別可能なように、撮影タイミングは前方画像に関連付けられた状態で設定される。

【0061】

こうして前方画像に関連付けて顔画像の撮影タイミングを設定したら、視線位置解析部１５は、車両１の運転終了か否かを判断し（Ｓ３１０）、運転終了でない場合は（Ｓ３１０：ｎｏ）、処理の先頭に戻って、上述した続く一連の処理（Ｓ３０２〜Ｓ３１０）を実行する。
これに対して、運転終了と判断した場合は（Ｓ３１０：ｙｅｓ）、第３実施例の前方画像撮影処理を終了する。

【0062】

第３実施例の視線位置解析部１５は、以上のようにして前方画像を記憶部１６に記憶して、顔画像の撮影タイミングを設定する前方画像撮影処理（Ｓ３００）を実行する。また、この処理と並行して、以下のような視線位置検出処理を実行する。

【0063】

図１０には、第３実施例の視線位置解析部１５が実行する視線位置検出処理のフローチャートが示されている。第３実施例の視線位置検出処理を開始すると、視線位置解析部１５は先ず始めに、前述した前方画像撮影処理（Ｓ３００）で設定された顔画像の撮影時刻に達したか否かを判断する（Ｓ３５２）。複数の撮影時刻が設定されている場合には、そのうちの早い方の撮影時刻に達したか否かが判断される。その結果、撮影時刻に達していない場合は（Ｓ３５２：ｎｏ）、同じ判断を繰り返すことによって待機状態となる。

【0064】

これに対して、撮影時刻に達したと判断した場合は（Ｓ３５２：ｙｅｓ）、車室内カメラ４を用いて運転者６の顔画像を撮影する（Ｓ３５４）。
そして、撮影した顔画像を解析することによって、運転者６の視線の方向を検出する（Ｓ３５６）。尚、運転者６の目の位置については、顔画像から検出しても良いし、アイボックス６ａの中心に相当する所定の位置にあるものとしてもよい。

【0065】

その後、視線位置解析部１５は、顔画像に対応する前方画像を記憶部１６から読み出す（Ｓ３５８）。すなわち、図９を用いて前述したように、撮影時刻は前方画像と関連付けられた状態で記憶されているので、顔画像を撮影した撮影時刻から前方画像を特定することができる。そこで、その前方画像を顔画像に対応する前方画像として記憶部１６から読み出す。

【0066】

そして、顔画像から検出した視線の方向と、読み出した前方画像とを用いて、前方画像上での運転者の視線の位置を決定し（Ｓ３６０）、その結果として得られた視線の位置が書き込まれた前方画像を、記憶部１６に記憶する（Ｓ３６２）。尚、視線の位置が書き込まれた前方画像は、元の前方画像に上書きしてもよいし、元の前方画像とは別に記憶しても良い。

【0067】

その後、車両１の運転を終了するか否かを判断し（Ｓ３６４）、運転終了でない場合は（Ｓ３６４：ｎｏ）、処理の先頭に戻って、上述した続く一連の処理（Ｓ３５２〜Ｓ３６４）を実行する。
これに対して、運転終了と判断した場合は（Ｓ３６４：ｙｅｓ）、第３実施例の視線位置検出処理を終了する。

【0068】

図１１には、第３実施例の視線位置検出装置１０が視線位置を検出する様子が概念的に示されている。第３実施例においても、車載カメラ３については前述した第１実施例あるいは第２実施例と同様に、一定周期で前方画像を撮影する。また、撮影した前方画像は記憶部１６に記憶される。

【0069】

また、視線位置解析部１５は、車載カメラ３が前方画像を撮影すると、その時の車両１の走行速度を車速センサー５から取得して、顔画像の撮影時刻を設定する。その後、設定された撮影時刻に達したら、車室内カメラ４を用いて顔画像を撮影し、撮影した顔画像を解析して運転者６の視線の方向（および運転者６の目の位置）を検出する。そして、その顔画像の撮影時刻が関連付けられている前方画像に対して、顔面画像から検出した視線の方向に基づいて視線の位置を書き込んでいく。

【0070】

このような第３実施例においても、車載カメラ３が前方画像を撮影すると、その時に車載カメラ３が存在していた位置を運転者６の顔面が通過するタイミングで顔画像を撮影し、その顔画像を用いて視線の位置を決定する。このため、図３を用いて前述したような問題が生じることが無く、運転者が実際に見ていた位置を正確に特定することができる。

【0071】

また、この場合にも、前述した第１実施例および第２実施例と同様に、前方画像と顔画像とは異なるタイミングで撮影されることとなるが、この影響は、前述した第１実施例および第２実施例と同様な理由により、事実上は無視することができる。

【0072】

尚、上述した第３実施例においても、顔画像を解析する処理や、記憶されている前方画像を読み出す処理、前方画像上での視線の位置を検出する処理は、車両１の走行中に実行されるものとして説明した。しかし、車両１の走行中には前方画像、顔画像を記憶しておき、走行終了後に必要に応じて、前方画像および前方画像に対応する顔画像を選択して、顔画像を解析することにより、前方画像上での視線位置を決定することとしても良い。

【0073】

Ｅ．変形例 ：
上述した各種実施例には、幾つかの変形例を考えることができる。以下では、これらの変形例について簡単に説明する。

【0074】

上述した各種実施例では、車載カメラ３は１台だけ車両１に搭載されているものとして説明した。しかし、複数台の車載カメラ３を搭載しても良い。この場合、図１２に例示したように、アイボックス６ａの左側と右側とに、アイボックス６ａの中央から等距離となる位置に車載カメラ３Ｌ，３Ｒを配置しても良い。
そして、図１３に示すように前方画像撮影部１２は、車載カメラ３Ｌ，３Ｒを用いてそれぞれの前方画像を撮影して、それらの前方画像を１枚の前方画像に合成する。

【0075】

前方画像の合成に際しては、左右の車載カメラ３Ｌ，３Ｒの視角差の情報を用いて３次元画像を合成しても良いが、簡易的には次のようにしても良い。車載カメラ３Ｌと車載カメラ３Ｒとは搭載位置が左右方向に異なっているので、前方画像中での対象物の位置は異なったものとなる。たとえば、アイボックス６ａのちょうど正面にある対象物が、左側の車載カメラ３Ｌでは少し右側にあるように写り、右側の車載カメラ３Ｒでは少し左側にあるように写る。すなわち、車載カメラ３Ｌの前方画像では右側に写り、３Ｒの前方画像では左側に写っているような対象物は、アイボックス６ａの正面にあると考えて良い。また、車載カメラ３Ｌの前方画像では少しだけ右側に写り、３Ｒの前方画像では大きく左側に写っているような対象物は、アイボックス６ａの正面よりも左側にあると考えて良い。
このことから、車載カメラ３Ｌで撮影した前方画像上での対象物の位置と、車載カメラ３Ｒで撮影した前方画像上での対象物の位置とに基づいて、アイボックス６ａの位置から撮影した前方画像上での対象物の位置を推定することができる。そして、このようにすれば、車載カメラ３Ｌで撮影した前方画像と、車載カメラ３Ｒで撮影した前方画像とを用いて、アイボックス６ａの位置で撮影したような前方画像を合成することができる。
こうして合成した前方画像に対して、車室内カメラ４で撮影した顔画像を用いて視線の位置を検出しても良い。

【0076】

また、図１２に示した例では、車載カメラ３Ｌ，３Ｒは、アイボックス６ａよりも低い位置に搭載されている。従って、車載カメラ３Ｌ，３Ｒで撮影された前方画像では、アイボックス６ａの位置から前方画像を撮影した場合よりも、高い位置に対象物が写っていることになる。
そこで、前方画像撮影部１２は、車載カメラ３Ｌ，３Ｒと、アイボックス６ａの中心との高さの差に相当する画素数だけ、前方画像上での対象物の位置を下方に移動させることとしてもよい。こうすれば、車載カメラ３Ｌ，３Ｒで撮影された前方画像を、アイボックス６ａの中心位置から撮影した前方画像に変換することができる。
尚、変形例の前方画像撮影部１２は、本発明における「前方画像合成部」に対応する。

【0077】

また、車室内カメラ４で撮影した顔画像から運転者６の目の位置を検出することができるから、車載カメラ３Ｌ，３Ｒと、運転者６の目の位置との高さの差に相当する画素数だけ、前方画像上での対象物の位置を下方に移動させることとしてもよい。こうすれば、車載カメラ３Ｌ，３Ｒで撮影された前方画像を、運転者６の目の位置から撮影した前方画像に変換することができる。
尚、この場合の変形例の前方画像撮影部１２は、本発明における「画像変換部」に対応する。

【0078】

また、上述した変形例では、車載カメラ３Ｌ，３Ｒは、車両１に対して大まかには同じ高さ位置に搭載されているものとして説明した。これに対して、図１４に例示したように、一方（図示した例では車載カメラ３Ｌ）はアイボックス６ａよりも高い位置に搭載し、他方（図示した例では車載カメラ３Ｒ）はアイボックス６ａよりも低い位置に搭載するようにしても良い。
こうすれば、車載カメラ３Ｌによる前方画像と、車載カメラ３Ｒによる前方画像を合成することによって、運転者６の目の位置から撮影した前方画像を合成することが可能となる。

【0079】

以上、各種の実施例および変形例について説明したが、本発明は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

【符号の説明】

【0080】

１…車両、 ２…ダッシュボード、 ３…車載カメラ、
４…車室内カメラ、 ５…車速センサー、 ６…運転者、
６ａ…アイボックス、 １０…視線位置検出装置、 １２…前方画像撮影部、
１３…顔画像撮影部、 １４…走行速度検出部、 １５…視線位置解析部、
１６…記憶部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】