特許 7275586 映像処理装置および映像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-10

(45)【発行日】2023-05-18

(54)【発明の名称】映像処理装置および映像処理方法

(51)【国際特許分類】

   G08G 1/00 20060101AFI20230511BHJP

【ＦＩ】

G08G1/00 D

【請求項の数】 4

(21)【出願番号】P 2019003707

(22)【出願日】2019-01-11

(65)【公開番号】P2020113066

(43)【公開日】2020-07-27

【審査請求日】2022-01-11

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】小川 修治

【審査官】増子 真

(56)【参考文献】

【文献】特開２０１５－２１１７４１（ＪＰ，Ａ）

【文献】特開２０１４－１９４６２５（ＪＰ，Ａ）

【文献】特開２０１２－００８７９０（ＪＰ，Ａ）

【文献】特開２０１８－０６９８０６（ＪＰ，Ａ）

【文献】特開２００５－１８２３０７（ＪＰ，Ａ）

【文献】特開２０１３－０１６０３７（ＪＰ，Ａ）

【文献】再公表特許第２０１１／０６４８３１（ＪＰ，Ａ１）

【文献】特開２０１４－０４８８８５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ５／５０

Ｇ０６Ｔ ９／００ － ９／４０

(57)【特許請求の範囲】

【請求項1】

車両の周囲を撮像する撮像部から映像データを取得する映像データ取得部と、
前記車両を運転する運転者の頭の位置および向きに基づいて、前記運転者の視線方向を推定する視線推定部と、
前記運転者の前記視線方向に基づいて、前記運転者の注視点を導出する注視点導出部と、
前記注視点を基準とした注視映像データを前記映像データから切出す映像処理部と、
前記注視映像データを出力する出力制御部と、
前記注視点の履歴を管理し、前記注視点の前記履歴に基づいて左方向、右方向および上下方向において、前記運転者が頻繁に見ている少なくとも一方向の最頻注視点を取得する注視点履歴管理部と、
前記車両の左サイドミラー、右サイドミラーまたはルームミラーの位置情報を、前記運転者からの相対位置として算出する相対位置算出部と、を備え、
前記映像処理部は、取得した前記最頻注視点に基づいて、算出された前記左サイドミラー、前記右サイドミラーまたは前記ルームミラーの相対位置と前記注視点の視線の角度とが一致するように切出し位置を調整し整合させることで、前記注視点の基準を補正する、
映像処理装置。

【請求項2】

前記運転者の視線の動きに基づいて、前記運転者の運転技術の習熟度を判定する運転技術判定部をさらに備える、
請求項１に記載の映像処理装置。

【請求項3】

前記車両の車両速度を含む車両情報を取得する車両情報取得部をさらに備え、
前記映像処理部は、前記車両情報と、前記視線方向に基づいて、前記注視映像データの切出し範囲を決定する、
請求項１または２に記載の映像処理装置。

【請求項4】

車両の周囲を撮像する撮像部から映像データを取得するステップと、
前記車両を運転する運転者の頭の位置および向きに基づいて、前記運転者の視線方向を推定するステップと、
前記運転者の前記視線方向に基づいて、前記運転者の注視点を導出するステップと、
前記注視点を基準とした注視映像データを前記映像データから切出すステップと、
前記注視映像データを出力するステップと、
前記注視点の履歴を管理し、前記注視点の前記履歴に基づいて左方向、右方向および上下方向において、前記運転者が頻繁に見ている少なくとも一方向の最頻注視点を取得するステップと、
前記車両の左サイドミラー、右サイドミラーまたはルームミラーの位置情報を、前記運転者からの相対位置として算出するステップと、
取得された前記最頻注視点に基づいて、算出された前記左サイドミラー、前記右サイドミラーまたは前記ルームミラーの相対位置と前記注視点の視線の角度とが一致するように切出し位置を調整し整合させることで、前記注視点の基準を補正するステップと、
を含む、映像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像処理装置、映像処理方法、およびプログラムに関する。

【背景技術】

【0002】

車両事故などが起こった際に、事故を起こした運転者がどのような運転を行っていたのかを把握する技術が知られている。

【0003】

例えば、特許文献１には、車両の周辺画像に、車両を運転している運転者の視線方向を示すマーカを重畳して表示させることで、運転者の視線方向を把握することのできる技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００７－７２５６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１は、周辺画像における運転者の視線方向を特定できるが、運転者が具体的に何を見ているか特定できない可能性がある。そのため、運転者が、車両事故などを起こした際に、見ていたものを判定することのできる技術が望まれている。

【0006】

本発明は、車両事故などを起こした際に、運転者が見ていたものを判定することのできる映像処理装置、映像処理方法、およびプログラムを提供することを課題とする。

【課題を解決するための手段】

【0007】

本発明の第一の態様の映像処理装置は、車両の周囲を撮像する撮像部から映像データを取得する映像データ取得部と、前記車両を運転する運転者の頭の位置および向きに基づいて、前記運転者の視線方向を推定する視線推定部と、前記運転者の前記視線方向に基づいて、前記運転者の注視点を導出する注視点導出部と、前記注視点を基準とした注視映像データを前記映像データから切出す映像処理部と、前記注視映像データを出力する出力制御部と、を備える。

【0008】

本発明の第二の態様の映像処理方法は、車両の周囲を撮像する撮像部から映像データを取得するステップと、前記車両を運転する運転者の頭の位置および向きに基づいて、前記運転者の視線方向を推定するステップと、前記運転者の前記視線方向に基づいて、前記運転者の注視点を導出するステップと、前記注視点を基準とした注視映像データを前記映像データから切出すステップと、前記注視映像データを出力するステップと、を含む。

【0009】

本発明の第三の態様のプログラムは、車両の周囲を撮像する撮像部から映像データを取得するステップと、前記車両を運転する運転者の頭の位置および向きに基づいて、前記運転者の視線方向を推定するステップと、前記運転者の前記視線方向に基づいて、前記運転者の注視点を導出するステップと、前記注視点を基準とした注視映像データを前記映像データから切出すステップと、前記注視映像データを出力するステップと、を映像処理装置として動作するコンピュータに実行させる。

【発明の効果】

【0010】

本発明によれば車両事故などを起こした際に、運転者が見ていたものを判定することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、本発明の第一実施形態に係る映像処理システムの構成を示すブロック図である。

【図2】図２は、本発明の第一実施形態に係る映像処理システムの構成を示す概略図である。

【図3】図３は、車両周辺を撮像する範囲を説明するための模式図である。

【図4】図４は、周辺映像データにおける注視点の位置データを導出し、導出した注視点を基準として注視映像データを切出す方法を説明するための図である。

【図5】図５は、注視映像データを拡大する方法の一例を説明するための図である。

【図6】図６は、切出した注視映像データを拡大した様子を示す図である。

【図7】図７は、運転者の視線の軌跡を表示させる方法の一例を説明するための図である。

【図8】図８は、運転者の視線の軌跡の範囲を表示させる方法の一例を説明するための図である。

【図9】図９は、本発明の第一実施形態に係る映像処理システムの処理の流れの一例を示すフローチャートである。

【図10】図１０は、本発明の第一実施形態に係る映像処理システムの処理の流れの一例を示すフローチャートである。

【図11】図１１は、本発明の第一実施形態の第一変形例に係る映像処理システムの構成を示すブロック図である。

【図12】図１２は、本発明の第一実施形態の第二変形例に係る映像処理システムの構成を示すブロック図である。

【図13】図１３は、注視映像データの切出す範囲を変更する方法を説明するための図である。

【図14】図１４は、本発明の第一実施形態の第二変形例に係る映像処理システムの処理の流れの一例を示すフローチャートである。

【図15】図１５は、本発明の第二実施形態に係る映像処理システムの構成を示すブロック図である。

【図16】図１６は、本発明の第二実施形態に係る映像処理システムの処理の流れの一例を示すフローチャートである。

【図17】図１７は、本発明の第三実施形態に係る映像処理システムの構成を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら、本発明の実施形態について詳細に説明する。なお、各図において同一または相当する部分には同一の符号を付して適宜説明は省略する。また、下記実施形態又は実施例における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能であり、また、実施形態又は実施例が複数ある場合には、各実施形態又は実施例を組み合わせることも可能である。

【0013】

図１は、本発明の第一実施形態に係る映像処理システムの構成を示すブロック図である。図１に示すように、映像処理システム１は、撮像部１０と、表示部２０と、映像処理装置１００とを備える。図２に示すように、映像処理装置１００は、車両Ｃに搭載される。図２には、左サイドミラー２と、右サイドミラー３と、ルームミラー４と、ステアリングホイール５とが示されている。映像処理システム１は、例えば、車両Ｃに搭載されるドライブレコーダであり、車両Ｃの周辺の画像と、車両周辺の映像から運転者の見ているものを切出した映像との両方を表示部２０に表示したり、記憶媒体に記録したりする。

【0014】

撮像部１０は、周辺撮像部１１と、運転者撮像部１２とを有する。図２では、撮像部１０は、ルームミラー４の上方に配置されているが、これは模式的に示した一例であり、撮像部１０を配置する位置を限定するものではない。

【0015】

周辺撮像部１１は、車両Ｃの周囲を撮像する。周辺撮像部１１は、例えば、全天球カメラなどの広角カメラである。周辺撮像部１１は、例えば、車両Ｃの前方を撮像する前方カメラと、後方を撮像する後方カメラと、左側方を撮像する左側方カメラと、右側方を撮像する右側方カメラとの複数のカメラから構成されていてもよい。周辺撮像部１１は、運転者の視線の方向に応じて駆動するカメラであってもよい。この場合、周辺撮像部１１は、通常時は車両Ｃの進行方向を撮像し、後述する運転者撮像部１２によって撮像された運転者の頭部や、視線の方向に追従して駆動し、運転者の視線の方向を撮像する構成とすればよい。

【0016】

図３は、周辺撮像部１１が撮像した周辺映像データ３００を説明するための図である。図３に示すように、周辺撮像部１１は、前方と、後方と、左側方と、右側方とを含む車両Ｃの周辺を撮像する。周辺撮像部１１は、撮像した前方を前方映像データ２１０として映像データ取得部１１１に出力する。周辺撮像部１１は、撮像した後方を後方映像データ２２０として映像データ取得部１１１に出力する。周辺撮像部１１は、撮像した左側方を左側映像データ２３０として映像データ取得部１１１に出力する。周辺撮像部１１は、撮像した右側方を右側映像データ２４０として映像データ取得部１１１に出力する。周辺撮像部１１は、全天球カメラで全天球映像を撮像した場合には、その映像を全天球映像データとして映像データ取得部１１１に出力する。

【0017】

再び図１を参照する。運転者撮像部１２は、少なくとも運転者の顔の向きを判別できるように運転者の頭部を撮像する。運転者撮像部１２は、運転者の眼球を撮像できる場合には、運転者の眼球を撮像することが好ましい。運転者撮像部１２は、例えば、ルームミラー４の近傍や、ステアリングホイール５の前方に設けられる。なお、運転者撮像部１２は、例えば、周辺撮像部１１が車両Ｃの内部に設けられた全天球カメラであり、周辺撮像部１１で運転者を撮像できる場合には、備えていなくてもよい。

【0018】

表示部２０は、例えば、液晶ディスプレイ（LCD：Liquid Crystal Display）または有機ＥＬ（Organic Electro-Luminescence）ディスプレイなどを含むディスプレイである。表示部２０は、映像処理装置１００によって処理された映像を表示する。具体的には、表示部２０は、周辺映像データ３００を表示してもよいし、少なくとも前方映像データ２１０を表示すればよい。

【0019】

映像処理装置１００は、制御部１１０と、記憶部１３０とを備える。

【0020】

制御部１１０は、映像処理システム１を構成する各部を制御する。具体的には、制御部１１０は、記憶部１３０に記憶されているプログラムを展開して実行することによって、映像処理システム１を構成する各部を制御する。制御部１１０は、例えば、ＣＰＵ（Central Processing Unit）を含む電子的な回路などで実現することができる。制御部１１０は、映像データ取得部１１１と、視線推定部１１２と、注視点導出部１１３と、映像処理部１１４と、出力制御部１１５とを有する。

【0021】

映像データ取得部１１１は、周辺撮像部１１が撮像した車両Ｃの周辺映像データ３００を取得する。映像データ取得部１１１は、運転者撮像部１２が撮像した運転者の頭部映像データを取得する。映像データ取得部１１１は、周辺映像データ３００を注視点導出部１１３に出力し、頭部映像データを視線推定部１１２に出力する。映像データ取得部１１１は、周辺映像データ３００を、例えば、記憶部１３０や、外部の記憶装置などに出力する。すなわち、本実施形態では、周辺映像データ３００と、運転者の視線の方向の映像との両方の映像を記憶または出力する。

【0022】

視線推定部１１２は、運転者の頭部映像データに基づいて、運転者の視線の方向を推定する。具体的には、視線推定部１１２は、運転者の顔の向きに基づいて、運転者の視線の方向を推定する。視線推定部１１２は、運転者の視線の方向の推定結果を注視点導出部１１３に出力する。視線推定部１１２は、推定結果を記憶部１３０に履歴として格納する。

【0023】

注視点導出部１１３は、周辺映像データ３００と、運転者の視線の方向の推定結果に基づいて、周辺映像データ３００における注視点の位置データを導出する。具体的には、注視点の位置データとは、運転者の視線の方向ベクトルと、周辺映像データ３００との交点を意味する。

【0024】

図４は、周辺映像データ３００における注視点の位置データを導出し、導出した注視点を基準として注視映像データを切出す方法を説明するための図である。図４には、周辺映像データ３００の一例として、前方映像データ２１０が示されている。まず、注視点導出部１１３は、運転者の視線の推定結果に基づいて、視線ベクトルＶを導出する。そして、注視点導出部１１３は、例えば、視線ベクトルＶと前方映像データ２１０との交点に、注視点Ｐの位置データを導出する。注視点導出部１１３は、導出した注視点Ｐの位置データを映像処理部１１４に出力する。以下では、前方映像データ２１０を例として説明するが、後方映像データ２２０と、左側映像データ２３０と、右側映像データ２４０についても同様である。

【0025】

映像処理部１１４は、注視点Ｐの位置を基準（中心）とした所定範囲の注視映像データを前方映像データ２１０から切出す。図４に示すように、映像処理部１１４は、注視点Ｐを基準として範囲Ｘの注視映像データを前方映像データ２１０から切出す。ここでは、映像処理部１１４は、例えば、注視点Ｐを基準として、人の注意力が及ぶ範囲、言い換えると、人が映像から被撮影物を認識可能な範囲を切出す。映像処理部１１４は、運転者の視線の方向に応じて切出す範囲Ｘを変えてもよい。この場合、映像処理部１１４は、目視などで左右方向を見た場合に切出す範囲を予め設定されていればよい。例えば、映像処理部１１４は、左側映像データ２３０や、右側映像データ２４０から切出す注視映像データの範囲を、前方映像データ２１０から切出す注視映像データの範囲よりも狭くしてもよい。

【0026】

映像処理部１１４は、例えば、運転者ごとに切出す範囲を変えてもよい。この場合、例えば、記憶部１３０に、運転者ごとの切出す範囲を予め記憶しておけばよい。映像処理部１１４は、例えば、運転者の通常時の視線の動きとは異なる動きをした場合に、導出された注視点Ｐの周辺を拡大して表示したり、切出す範囲を変更したりしてもよい。この場合、例えば、記憶部１３０に、運転者の通常時の視線の動きなどを記憶させればよい。通常時の視線の動きと異なる動きとは、運転時に運転者の視線が動く平均的な範囲から外れる動き、視線が動く平均的な速度の範囲から外れた動き、視線が留まる時間が平均的な時間より長い動きなどである。

【0027】

映像処理部１１４は、例えば、注視点Ｐの位置が変わるたびに切出す位置を変更してもよいし、注視点Ｐが第一の位置で検出された後、第一の位置から所定の距離以上離れた位置で注視点Ｐが検出された場合にのみ切出す位置を変更してもよい。この場合、映像処理部１１４は、例えば、第一の位置から範囲Ｘの外縁までの距離の５０％以上近づいた位置で注視点Ｐが検出された場合に切出す位置を変更する。また、映像処理部１１４は、第一の位置から範囲Ｘの外縁まで距離の２０％以上近づいた位置で注視点Ｐが検出された場合に切出す位置を変更してもよいし、８０％以上近づいた位置で注視点Ｐが検出された場合に切出す位置を変更してもよい。すなわち、第一の位置からの所定距離は、ユーザの所望の値に設定するようにすればよい。

【0028】

図５を用いて、注視映像データを拡大する方法について説明する。図５は、注視映像データを拡大する方法の一例を説明するための図である。

【0029】

映像処理部１１４は、例えば、運転者が特定の場所を所定時間(例えば、５秒間)注視していた場合には、その場所を拡大してもよい。図５に示す例では、運転者は、車両Ｃ２を所定の時間注視していたとする。この場合、映像処理部１１４は、注視点Ｐを基準とした
所定範囲を拡大して表示する。ここで、映像処理部１１４が拡大する範囲Ｘａは、図４に示す通常の切出し範囲Ｘよりも小さくすることが好ましい。

【0030】

図６は、切出した注視映像データを拡大した様子を示す図である。図６に示すように、映像処理部１１４は、切出した注視映像データを拡大してもよい。この場合、映像処理部１１４は、例えば、拡大した注視映像データに対して物体認識処理をかけることによって、範囲Ｘａに含まれる物体を抽出するようにしてもよい。

【0031】

図７を用いて、運転者の視線の軌跡を表示させる方法について説明する。図７は、運転者の視線の軌跡を表示させる方法の一例を説明するための図である。

【0032】

図７に示すように、映像処理部１１４は、例えば、切出した範囲Ｘにおける運転者の視線の軌跡を前方映像データ２１０に重畳して表示させてもよい。図７に示す例では、前方映像データ２１０において、運転者の視線の軌跡Ｔが示されている。運転者の視線の軌跡Ｔには、一定時間注視していたポイントである、第一注視点Ｐ１と、第二注視点Ｐ２と、第三注視点Ｐ３と、第四注視点Ｐ４と、第五注視点Ｐ５と、第六注視点Ｐ６と、第七注視点Ｐ７と、第八注視点Ｐ８と、第九注視点Ｐ９とが白丸で示されている。この場合、運転者は、第一注視点Ｐ１から第九注視点Ｐ９まで順に視線を動かしたことを意味している。この場合、範囲Ｘの中心は、第九注視点Ｐ９となる。ここで、例えば、運転者が注視していた時間に応じて、第一注視点Ｐ１から第九注視点Ｐ９の大きさを変えてもよい。図７に示す例では、第一注視点Ｐ１が最も大きく、次に第六注視点Ｐ６と、第九注視点Ｐ９とが大きく、第二注視点Ｐ２と、第三注視点Ｐ３と、第四注視点Ｐ４と、第五注視点Ｐ５と、第七注視点Ｐ７と、第八注視点Ｐ８とが最も小さい。この場合、運転者は、第一注視点Ｐ１を注視していた時間が最も長く、次に第六注視点Ｐ６と、第九注視点Ｐ９とを注視していた時間が長く、第二注視点Ｐ２と、第三注視点Ｐ３と、第四注視点Ｐ４と、第五注視点Ｐ５と、第七注視点Ｐ７と、第八注視点Ｐ８とを注視していた時間が最も短いことを意味している。映像処理部１１４は、上述したような運転者の視線の軌跡を常時表示させてもよいし、運転者の特定の動作が検出された場合にのみ表示させてもよい。運転者の特定の動作とは、特定のポイントを所定時間(例えば、５秒間)注視する、通常時よりも視線の動きが激しく変動するなどが挙げられるが、これらに限定されない。また、映像処理部１１４は、車両の走行好況に応じて、運転者の視線の軌跡を表示する時間を変えるようにしてもよい。映像処理部１１４は、例えば、市街地や、繁華街を走行している場合には、軌跡を表示する時間を短くしたり、長くしたりしてもよい。また、映像処理部１１４は、交差点の右左折時などの周囲の状況をより注意深く確認する必要のある状況では、軌跡を表示する時間を長くするようにしてもよい。

【0033】

図８は、運転者の視線の軌跡を表示させる方法の図７とは異なる一例を説明するための図である。図８に示すように、映像処理部１１４は、周辺映像データ３００において、運転者が見ていた範囲を表示してもよい。図８には、運転者が見ていた範囲として、左側映像データ２３０内の第一範囲Ａ１と、前方映像データ２１０内の第二範囲Ａ２と、右側映像データ２４０内の第三範囲Ａ３とが示されている。この場合、例えば、第一範囲Ａ１は時刻ｔ１の時点で運転者が見ていた範囲であり、第二範囲Ａ２が時刻ｔ１よりも後の時刻ｔ２の時点で運転者が見ていた範囲であり、第三範囲Ａ３が時刻ｔ２よりも後の時刻ｔ３の時点で運転者が見ていた範囲である。すなわち、映像処理部１１４は、周辺映像データ３００において、見ていた範囲の時間変化を可視化する。

【0034】

映像処理部１１４は、図６と、図７と、図８との表示方式を状況に応じて切り替えるようにしてもよい。また、図６と、図７と、図８との表示方式は、ユーザが自由に切り替えられるようにしてもよい。

【0035】

映像処理部１１４は、車両Ｃが特定の場所を走行している場合に、運転者の視線の軌跡を周辺映像データ３００に表示するようにしてもよい。特定の場所とは、例えば、市街地などの死角が多い場所を挙げられるが、これに限定されない。

【0036】

映像処理部１１４は、注視映像データを出力制御部１１５に出力する。

【0037】

出力制御部１１５は、注視映像データを出力する。出力制御部１１５は、例えば、注視映像データを表示部２０に出力する。これにより、運転者などは、表示部２０を視認することで、注視映像データを確認することができる。出力制御部１１５は、例えば、注視映像データを記憶部１３０に出力してもよいし、図示しないＳＤカードなどの可搬型記録媒体に出力してもよい。これにより、運転者などは車両以外の場所で注視映像データを確認することができる。

【0038】

記憶部１３０は、制御部１１０が映像処理システム１の各部を制御するためのプログラムを記憶している。記憶部１３０は、例えば、周辺映像データ３００から注視映像データを切出す範囲を運転者ごとに記憶してもよい。記憶部１３０は、例えば、運転をしている際の通常時の視線の動きの傾向を運転者ごとに記憶している。記憶部１３０は、例えば、推定された運転者の視線の方向を履歴として記憶している。記憶部１３０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、または、ハードディスク、ソリッドステートドライブ、光ディスクなどの記憶装置である。

【0039】

図９を用いて、映像処理装置１００の制御部１１０の処理について説明する。図９は、制御部１１０の処理の流れの一例を示すフローチャートである。

【0040】

まず、制御部１１０は、周辺画像データと、頭部映像データとを取得する(ステップＳ１０１)。具体的には、制御部１１０は、映像データ取得部１１１によって、周辺画像データと、頭部映像データとを取得する。そして、制御部１１０は、ステップＳ１０２に進む。

【0041】

制御部１１０は、頭部映像データに基づいて、運転者の視線の方向を推定する(ステップＳ１０２)。具体的には、制御部１１０は、視線推定部１１２によって、運転者の視線の方向を推定する。そして、制御部１１０は、ステップＳ１０３に進む。

【0042】

制御部１１０は、周辺映像データ３００と、運転者の視線の方向の推定結果に基づいて、注視点の位置データを導出する(ステップＳ１０３)。具体的には、制御部１１０は、注視点導出部１１３によって、注視点の位置データを導出する。そして、制御部１１０は、ステップＳ１０４に進む。

【0043】

制御部１１０は、周辺映像データ３００から、注視点を基準とした所定範囲の注視映像データを切出す(ステップＳ１０４)。具体的には、制御部１１０は、映像処理部１１４によって、周辺映像データ３００から注視映像データを切出す。そして、制御部１１０は、ステップＳ１０５に進む。

【0044】

制御部１１０は、注視映像データを出力する(ステップＳ１０５)。具体的には、制御部１１０は、出力制御部１１５によって、注視映像データを出力する。そして、制御部１１０は、図９の処理を終了する。

【0045】

図１０を用いて、映像処理装置１００の制御部１１０の図９とは異なる処理について説明する。図１０は、制御部１１０の処理の流れの一例を示すフローチャートである。

【0046】

ステップＳ２０１からステップＳ２０４は、図９に図示のステップＳ１０１からステップＳ１０４と同様なので説明は省略する。

【0047】

制御部１１０は、運転者の特定の動作を検出する(ステップＳ２０５)。具体的には、制御部１１０は、映像処理部１１４によって運転者の特定の動作を検出する。なお、ステップＳ２０５では、特定の場所を走行しているか否かを検出するようにしてもよい。そして、制御部１１０は、ステップＳ２０６に進む。

【0048】

運転者の特定の動作が検出された場合(ステップＳ２０６の「Ｙｅｓ」)、制御部１１０は、ステップＳ２０７に進み、拡大した注視映像データと、運転者の視線の軌跡を表示した注視映像データとの少なくとも一方を出力する(ステップＳ２０７)。具体的には、制御部１１０は、映像処理部１１４によって、拡大した注視映像データと、運転者の視線の軌跡を表示した注視映像データとの少なくとも一方を出力する。そして、制御部１１０は、図１０の処理を終了する。

【0049】

一方、運転者の特定の動作が検出されなかった場合(ステップＳ２０６の「Ｎｏ」)、制御部１１０は、ステップＳ２０８に進み、ステップＳ２０４で切出した注視映像データを出力する(ステップＳ２０８)。具体的には、制御部１１０は、映像処理部１１４によって、ステップＳ２０４で切出した注視映像データを出力する。そして、制御部１１０は、図１０の処理を終了する。

【0050】

上述のとおり、第一実施形態は、周辺映像データのうち、運転者が運転中に注視したと推定された箇所を注視映像データとして出力することができる。これにより、第一実施形態は、例えば、運転者の視線方向の映像を記録するドライブレコーダを提供することができる。

【0051】

また、第一実施形態は、運転者の視線方向の映像を記録することができるので、赤信号の見落とし、歩行者などの飛び出しに対する気づきの遅れ、わき見運転などを映像から判定することができる。これにより、第一実施形態は、例えば、自動車事故が起こった際の運転者の運転状況を、精度よく分析することができる。

【0052】

さらに、第一実施形態は、運転者の視線方向の映像を記録することができるので、例えば、珍しい建物、綺麗な景色、標識や周囲を走行する車両などを運転者目線で記録することができる。これにより、第一実施形態は、旅行などの楽しい思い出を運転者目線で記録することができる。

【0053】

[第一実施形態の第一変形例]
図１１は、本発明の第一実施形態の第一変形例に係る映像処理システム１Ａの構成を示すブロック図である。図１１に示すように、映像処理システム１Ａは、映像処理装置１００Ａの制御部１１０Ａが、視線検出部１１６を備えている点で、映像処理システム１と異なっている。

【0054】

映像処理システム１Ａにおいては、運転者撮像部１２は、運転者の眼球の様子を撮像する。この場合、運転者撮像部１２は、運転者の眼球の様子を眼球映像データとして映像データ取得部１１１に出力する。

【0055】

映像データ取得部１１１は、運転者撮像部１２から眼球映像データを取得する。映像データ取得部１１１は、眼球映像データを視線検出部１１６に出力する。

【0056】

視線検出部１１６は、眼球映像データから例えば目の輪郭および黒目の位置に基づいて、運転者の視線の方向を検出する。視線検出部１１６が運転者の視線の方向を検出する方法に特に制限なく、公知の技術を用いて検出すればよい。例えば、視線検出部１１６は、アイトラッキング、ゲイズプロットなどによって運転者の視線を検出する。視線検出部１１６は、検出結果を注視点導出部１１３に出力する。視線検出部１１６は、視線の検出結果を履歴として記憶部１３０に格納する。

【0057】

注視点導出部１１３は、周辺映像データ３００と、運転者の視線の検出結果に基づいて、周辺映像データ３００における注視点の位置データを導出する。注視点導出部１１３は、注視点の位置データを映像処理部１１４に出力する。映像処理部１１４と、出力制御部１１５との処理は第一実施形態と同じなので、説明は省略する。

【0058】

上述のとおり、第一実施形態の第一変形例は、周辺映像データ３００のうち、運転者が運転中に注視した箇所を注視映像データとして切出すことができる。これにより、第一実施形態の第一変形例は、より精度を向上させることができる。

【0059】

[第一実施形態の第二変形例]
図１２は、第一実施形態の第二変形例に係る映像処理システム１Ｂの構成を示すブロック図である。映像処理システム１Ｂは、照度センサ３０と、雨量センサ４０とを備えている点、映像処理装置１００Ｂの制御部１１０Ｂが車両情報取得部１１７と、周辺情報取得部１１８とを備えている点で、映像処理システム１と異なっている。映像処理システム１Ｂは、照度センサ３０や、雨量センサ４０の検出結果、車両情報取得部１１７によって取得された車両情報に応じて切出す範囲を変更する。具体的には、映像処理システム１Ｂは、車両情報や、周辺情報に応じて変化する、運転者が視認する範囲を切出す。

【0060】

照度センサ３０は、映像処理システム１Ｂを搭載する車両の周囲の照度を検出する。照度センサ３０は、検出した照度を映像処理部１１４に出力する。

【0061】

雨量センサ４０は、映像処理システム１Ｂを搭載する車両の周囲の雨量を検出する。雨量センサ４０は、検出した雨量を映像処理部１１４に出力する。

【0062】

照度センサ３０や、雨量センサ４０は、映像処理システム１Ｂが備える車両Ｃの周辺情報を取得するセンサの一例であり、本実施形態が備えるセンサの種類を限定するものではない。映像処理システム１Ｂは、照度センサ３０や、雨量センサ４０に限らず、車両Ｃの周辺のその他の周辺情報を検出するセンサを備えていてもよい。この場合、映像処理部１１４は、検出された周辺情報に応じて、切出す範囲を変更する。

【0063】

車両情報取得部１１７は、例えば、車両Ｃの速度を含む車両情報を、ＣＡＮ（Controller Area Network）や車両Ｃの状態をセンシングする各種センサなどから取得する。車両情報取得部１１７は、例えば、車両情報として、ＧＰＳ（Global Positioning System）受信機を使用して取得した車両Ｃの現在地情報を取得する。車両情報取得部１１７は、取得した車両情報を映像処理部１１４に出力する。

【0064】

周辺情報取得部１１８は、照度センサ３０から車両Ｃの周囲の照度の検出結果を取得する。周辺情報取得部１１８は、雨量センサ４０から車両Ｃの周囲の雨量の検出結果を取得する。周辺情報取得部１１８は、映像処理システム１Ｂがその他の周辺情報を検出するセンサを備えている場合には、そのセンサが取得した周辺情報を取得する。

【0065】

映像処理部１１４は、車両の周囲の照度に応じて注視映像データの切出し範囲を変更する。映像処理部１１４は、例えば、車両の周囲の明るさが暗いほど注視映像データの切出し範囲を広くする。この場合、映像処理部１１４は、注視映像データの切出し範囲を線形に変化させてもよいし、段階的に変化させてもよい。

【0066】

映像処理部１１４は、車両の周囲の雨量に応じて注視映像データの切出し範囲を変更する。映像処理部１１４は、例えば、車両の周囲の雨量が多いほど注視映像データの切出し範囲を広くする。この場合、映像処理部１１４は、注視映像データの切出し範囲を線形に変化させてもよいし、段階的に変化させてもよい。

【0067】

映像処理部１１４は、車両情報に応じて注視映像データの切出し範囲を変更する。映像処理部１１４は、例えば、車両情報に含まれる車両の速度情報に基づいて、注視映像データの切出し範囲を変更する。映像処理部１１４は、例えば、車両の速度が速いほど切出す範囲を狭くする。この場合、映像処理部１１４は、注視映像データの切出し範囲を線形に変化させてもよいし、段階的に変化させてもよい。

【0068】

映像処理部１１４は、例えば、車両情報に含まれる位置情報に応じて切出し範囲を変更してもよい。映像処理部１１４は、例えば、車両Ｃの現在位置が高速道路であると判定された場合、注視映像データの切出す範囲を狭くする。映像処理部１１４は、例えば、車両Ｃの現在位置が商店街などの物が多かったり、道路の幅が狭かったりする場所である場合には、切出す範囲を狭くする。映像処理部１１４は、例えば、道路の幅が広い場所である場合には、切出す範囲を広くする。

【0069】

映像処理部１１４は、周辺情報と、車両情報との両方に基づいて、切出し範囲を変更してもよいし、周辺情報と、車両情報との少なくとも一方に基づいて、切出し範囲を変更してもよい。

【0070】

図１３は、注視映像データの切出す範囲を変更する方法を説明するための図である。図１３に示すように、映像処理部１１４は、例えば、通常時には、前方映像データ２１０から注視点Ｐを基準として範囲Ｘ１の注視映像データを切出す。映像処理部１１４は、周辺情報や、車両情報に基づいて切出し範囲を狭くすると判断した場合には、例えば、前方映像データ２１０から注視点Ｐを基準として範囲Ｘ２の注視映像データを切出す。映像処理部１１４は、周辺情報や、車両情報に基づいて切出し範囲を広くすると判断した場合には、例えば、前方映像データ２１０から注視点Ｐを基準として範囲Ｘ３の注視映像データを切出す。なお、映像処理部１１４は、注視映像データの範囲を変更し、変更された注視映像データの範囲内における、運転者の視線の軌跡を表示するようにしてもよい。

【0071】

図１４を用いて、映像処理装置１００Ｂの制御部１１０Ｂの処理について説明する。図１４は、制御部１１０Ｂの処理の流れの一例を示すフローチャートである。

【0072】

ステップＳ３０１からステップＳ３０３については、図９に図示のステップＳ１０１からステップＳ１０３と同様なので説明は省略する。

【0073】

制御部１１０Ｂは、車両情報と、周辺情報との少なくとも一方を取得する(ステップＳ３０４)。具体的には、制御部１１０Ｂは、車両情報取得部１１７によって車両情報を取得し、周辺情報取得部１１８によって周辺情報を取得する。そして、制御部１１０Ｂは、ステップＳ３０５に進む。

【0074】

制御部１１０Ｂは、車両情報と、周辺情報との少なくとも一方に基づいて、注視点を基準とした所定範囲の注視映像データを周辺映像データ３００から切出す(ステップＳ３０５)。具体的には、制御部１１０Ｂは、映像処理部１１４によって、所定範囲の注視映像データを周辺映像データ３００から切出す。そして、制御部１１０Ｂは、ステップＳ３０６に進む。

【0075】

ステップＳ３０６は、図９に図示のステップＳ１０５と同様なので説明は省略する。そして、制御部１１０Ｂは、図１４の処理を終了する。

【0076】

上述のとおり、第一実施形態の第二変形例は、車両情報と、周辺情報との少なくとも一方に基づいて、周辺映像データ３００から注視映像データを切出す範囲を変更することができる。これにより、第一実施形態の第二変形例は、より精度を向上させることができる。また、第一実施形態の第二変形例は、状況に応じて範囲が変更された注視映像データにおける運転者の目線の軌跡を表示させることによって、より詳細に運転者の視線の動きを判定することができる。

【0077】

[第二実施形態]
図１５を用いて、本発明の第二実施形態に係る映像処理システム１Ｃについて説明する。図１５は、映像処理システム１Ｃの構成を示すブロック図である。

【0078】

図１５に示すように、映像処理システム１Ｃは、映像処理装置１００Ｃの制御部１１０Ｃが注視点履歴管理部１１９と、ミラー位置取得部１２０と、相対位置算出部１２１とを備えている点で映像処理システム１とは異なっている。

【0079】

注視点履歴管理部１１９は、記憶部１３０が記憶している運転者の視線の方向の履歴に基づいて、例えば、左右方向において運転者が最も頻繁に見ている最頻注視点を取得する。注視点履歴管理部１１９は、例えば、上下方向において運転者が頻繁に見ている箇所を取得する。注視点履歴管理部１１９は、取得結果を映像処理部１１４に出力する。

【0080】

ミラー位置取得部１２０は、例えば、図２に示すような左サイドミラー２と、右サイドミラー３と、ルームミラー４との車両Ｃにおける位置を、例えば、ＣＡＮなどから取得する。ミラー位置取得部１２０は、左サイドミラー２と、右サイドミラー３と、ルームミラー４との位置情報を、相対位置算出部１２１に出力する。

【0081】

相対位置算出部１２１は、左サイドミラー２と、右サイドミラー３と、ルームミラー４との位置情報に基づいて、各ミラーの位置を運転者からの相対位置として算出する。ここでは、例えば、映像データ取得部１１１が運転者の頭部映像データを相対位置算出部１２１に出力する。この場合、相対位置算出部１２１は、左サイドミラー２と、右サイドミラー３と、ルームミラー４との位置情報と、頭部映像データに含まれる運転者の頭部の位置に基づいて、各ミラーの位置を運転者からの相対位置として算出する。相対位置算出部１２１は、各ミラーの相対位置を映像処理部１１４に出力する。

【0082】

映像処理部１１４は、左方向における最頻注視点と、左サイドミラー２の相対位置とを整合させる。映像処理部１１４は、右方向における最頻注視点と、右サイドミラー３の相対位置とを整合させる。映像処理部１１４は、上下方向における最頻注視点と、ルームミラー４の相対位置とを整合させる。これは、左方向における最頻注視点は左サイドミラー２の相対位置と一致し、右方向における最頻注視点は右サイドミラー３の相対位置と一致し、上下方向における最頻注視点はルームミラー４の相対位置と一致すると考えられるためである。そして、映像処理部１１４は、視線の角度と、各ミラーの相対位置とが一致するように注視映像データを切出すように調整する。これにより、本実施形態は、注視点の基準が補正されることになるので、運転者の注視点の導出精度を向上することができる。

【0083】

図１６を用いて、映像処理装置１００Ｃの制御部１１０Ｃの処理について説明する。図１６は、制御部１１０Ｃの処理の流れの一例を示すフローチャートである。

【0084】

制御部１１０Ｃは、左右方向および上下方向の少なくとも１つの最頻注視点を取得する(ステップＳ４０１)。具体的には、制御部１１０Ｃは、注視点履歴管理部１１９によって、最頻注視点を取得する。そして、制御部１１０Ｃは、ステップＳ４０２に進む。

【0085】

制御部１１０Ｃは、左サイドミラー２と、右サイドミラー３と、ルームミラー４との少なくとも１つの位置を取得する(ステップＳ４０２)。具体的には、制御部１１０Ｃは、ミラー位置取得部１２０によって、ステップＳ４０１で取得した最頻注視点に対応するミラーの位置を取得する。そして、制御部１１０Ｃは、ステップＳ４０３に進む。

【0086】

制御部１１０Ｃは、運転者の頭部映像データを取得する(ステップＳ４０３)。具体的には、制御部１１０Ｃは、映像データ取得部１１１によって、運転者の頭部映像データを取得する。そして、制御部１１０Ｃは、ステップＳ４０４に進む。

【0087】

制御部１１０Ｃは、ステップＳ４０２で取得したミラーの位置と、ステップＳ４０３で取得した運転者の頭部映像データに基づいて、ミラーの相対位置を算出する(ステップＳ４０４)。具体的には、制御部１１０Ｃは、相対位置算出部１２１によって、ミラーの相対位置を算出する。そして、制御部１１０Ｃは、ステップＳ４０５に進む。

【0088】

制御部１１０Ｃは、ステップＳ４０１で取得した最頻注視点と、ステップＳ４０４で算出したミラーの相対位置に基づいて、注視映像データの切出し位置を調整する(ステップＳ４０５)。具体的には、制御部１１０Ｃは、映像処理部１１４によって、注視映像データの切出し位置を調整する。そして、制御部１１０Ｃは、図１６の処理を終了する。

【0089】

上述のとおり、第二実施形態は、運転者の最頻注視点と、ミラーの相対位置に基づいて、注視映像データの切出し位置を調整することができる。これにより、第二実施形態は、より精度を向上させることができる。

【0090】

[第三実施形態]
図１７を用いて、本発明の第三実施形態に係る映像処理システム１Ｄの構成について説明する。図１７は、本発明委の第三実施形態に係る映像処理システム１Ｄの構成を示すブロック図である。

【0091】

図１７に示すように、映像処理システム１Ｄは、映像処理装置１００Ｄの制御部１１０Ｄが、運転技術判定部１２２を備えている点で、映像処理システム１とは異なっている。

【0092】

運転技術判定部１２２は、例えば、映像データ取得部１１１が取得した運転者の頭部映像データや、映像処理部１１４によって処理された注視映像データなどに基づいて、運転者の運転技術の習熟度を判定する。

【0093】

運転技術判定部１２２は、例えば、頭部映像データに基づいて、図２に示す左サイドミラー２と、右サイドミラー３と、ルームミラー４とを運転者が確認している頻度を判定する。運転技術判定部１２２は、例えば、注視映像データに基づいて、標識、他車両、歩行者などを確認しているかを判定することによって、運転者の注意力がどこを向いているかを判定する。

【0094】

運転技術判定部１２２は、例えば、判定結果に応じて、運転者の運転技術に点数を付けてもよい。具体的には、運転技術判定部１２２は、運転者が適切に視線を動かしていなかったり、標識を適切に視認していなかったりした場合には、点数を低くつける。運転技術判定部１２２は、例えば、運転者の信号の確認が疎かであり、赤信号から青信号に変わった場合に適切に発進しなかった場合には、運転者に対して警告を発するようにしてもよい。この場合、運転技術判定部１２２は、例えば、車両Ｃが備えるスピーカに音声信号を出力し、音声によって警告を発するようにすればよい。

【0095】

上述のとおり、第三実施形態は、頭部映像データや、映像データに基づいて、運転者の運転技術を判定することができる。これにより、運転者は、例えば、判定結果に基づいて、ヒヤリハット事象への気づきの遅れなどを把握することができるので、判定結果を運転技術の向上に役立てることができる。すなわち、第三実施形態は、運転者の運転技術を向上させる運転訓練のための装置として使用することもできる。

【符号の説明】

【0096】

１，１Ａ，１Ｂ，１Ｃ，１Ｄ 映像処理システム
２ 左サイドミラー
３ 右サイドミラー
４ ルームミラー
５ ステアリングホイール
１０ 撮像部
１１ 周辺撮像部
１２ 運転者撮像部
２０ 表示部
３０ 照度センサ
４０ 雨量センサ
１００，１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ 映像処理装置
１１０，１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄ 制御部
１１１ 映像データ取得部
１１２ 視線推定部
１１３ 注視点導出部
１１４ 映像処理部
１１５ 出力制御部
１１６ 視線検出部
１１７ 車両情報取得部
１１８ 周辺情報取得部
１１９ 注視点履歴管理部
１２０ ミラー位置取得部
１２１ 相対位置算出部
１２２ 運転技術判定部
１３０ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】