ホーム > 特許ランキング > 株式会社デンソーテン
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024112560
(43)【公開日】2024-08-21
(54)【発明の名称】運転手用の行動評価装置及び方法
(51)【国際特許分類】
G06V 20/59 20220101AFI20240814BHJP
G06T 7/00 20170101ALI20240814BHJP
G06T 7/70 20170101ALI20240814BHJP
G06V 40/16 20220101ALI20240814BHJP
G08G 1/16 20060101ALI20240814BHJP
【ＦＩ】
G06V20/59
G06T7/00 650Z
G06T7/70 B
G06V40/16 C
G08G1/16 A
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023017684
(22)【出願日】2023-02-08
(71)【出願人】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(74)【代理人】
【識別番号】110001933
【氏名又は名称】弁理士法人 佐野特許事務所
(72)【発明者】
【氏名】上松 健治
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181BB04
5H181BB13
5H181CC04
5H181CC27
5H181EE02
5H181FF04
5H181FF10
5H181FF13
5H181FF27
5H181LL06
5H181LL20
5L096AA13
5L096BA02
5L096JA03
5L096JA11
(57)【要約】
【課題】車外に対する運転手の目視行動（確認行動）を適正に評価する。
【解決手段】車両（１）の運転手における両目の虹彩の撮影結果を含む車内画像データ（ＩＮ）、及び、車外の撮影結果を含む車外画像データ（ＯＵＴ）を取得する。車内画像データ及び車外画像データに基づき運転手の車外に対する目視行動を評価する。
【選択図】図１
【解決手段】車両（１）の運転手における両目の虹彩の撮影結果を含む車内画像データ（ＩＮ）、及び、車外の撮影結果を含む車外画像データ（ＯＵＴ）を取得する。車内画像データ及び車外画像データに基づき運転手の車外に対する目視行動を評価する。
【選択図】図１
【特許請求の範囲】
【請求項1】
車両の運転手における両目の虹彩の撮影結果を含む車内画像データ、及び、車外の撮影結果を含む車外画像データを取得するインターフェースと、
前記車内画像データ及び前記車外画像データに基づき前記運転手の車外に対する目視行動を評価する処理部と、を備えた
、運転手用の行動評価装置。
前記車内画像データ及び前記車外画像データに基づき前記運転手の車外に対する目視行動を評価する処理部と、を備えた
、運転手用の行動評価装置。
【請求項2】
前記車内画像データは、前記運転手における右目の虹彩の撮影画像である右虹彩画像の画像データ、及び、前記運転手における左目の虹彩の撮影画像である左虹彩画像の画像データを含み、
前記車外画像データが前記車外に位置する対象物体の画像データを含む場合、前記処理部は、前記車内画像データ及び前記車外画像データに基づき、前記右虹彩画像及び前記左虹彩画像の夫々に前記対象物体の像が含まれるかを検出することにより、前記運転手が前記対象物体の存在位置を含む対象領域を目視しているかを判断する
、請求項１に記載の運転手用の行動評価装置。
前記車外画像データが前記車外に位置する対象物体の画像データを含む場合、前記処理部は、前記車内画像データ及び前記車外画像データに基づき、前記右虹彩画像及び前記左虹彩画像の夫々に前記対象物体の像が含まれるかを検出することにより、前記運転手が前記対象物体の存在位置を含む対象領域を目視しているかを判断する
、請求項１に記載の運転手用の行動評価装置。
【請求項3】
前記車外画像データが前記対象物体の画像データを含む場合において、前記右虹彩画像及び前記左虹彩画像の夫々に前記対象物体の像が含まれると検出したとき、前記処理部は、前記運転手が前記対象物体の存在位置を含む前記対象領域を目視していると判断する
、請求項２に記載の運転手用の行動評価装置。
、請求項２に記載の運転手用の行動評価装置。
【請求項4】
前記処理部は、前記車内画像データに基づき前記運転手の顔の向きを検出し、
前記顔の向きの検出結果と、前記車内画像データ及び前記車外画像データと、に基づき、前記運転手の車外に対する目視行動を評価する
、請求項１～３の何れかに記載の運転手用の行動評価装置。
前記顔の向きの検出結果と、前記車内画像データ及び前記車外画像データと、に基づき、前記運転手の車外に対する目視行動を評価する
、請求項１～３の何れかに記載の運転手用の行動評価装置。
【請求項5】
前記処理部は、前記車内画像データに基づき前記運転手の顔の向きが前記車両の進行方向に対して右向き又は左向きであるかを検出し、
前記車外画像データは、前記車両の進行方向に対して右側の車外領域の撮影結果を示す右側画像データ及び前記車両の進行方向に対して左側の車外領域の撮影結果を示す左側画像データを含み、
前記処理部は、前記運転手の顔の向きが前記右向きであると検出した場合には、前記車内画像データと前記右側画像データとに基づき前記運転手が前記右側の車外領域を目視しているかを判断し、前記運転手の顔の向きが前記左向きであると検出した場合には、前記車内画像データと前記左側画像データとに基づき前記運転手が前記左側の車外領域を目視しているかを判断する
、請求項１～３の何れかに記載の運転手用の行動評価装置。
前記車外画像データは、前記車両の進行方向に対して右側の車外領域の撮影結果を示す右側画像データ及び前記車両の進行方向に対して左側の車外領域の撮影結果を示す左側画像データを含み、
前記処理部は、前記運転手の顔の向きが前記右向きであると検出した場合には、前記車内画像データと前記右側画像データとに基づき前記運転手が前記右側の車外領域を目視しているかを判断し、前記運転手の顔の向きが前記左向きであると検出した場合には、前記車内画像データと前記左側画像データとに基づき前記運転手が前記左側の車外領域を目視しているかを判断する
、請求項１～３の何れかに記載の運転手用の行動評価装置。
【請求項6】
前記処理部は、前記車内画像データに基づき前記運転手の顔の向きが前記車両の進行方向に対して右向き又は左向きであるかを検出し、
前記車外画像データは、前記車両の進行方向に対して右側の車外領域の撮影結果を示す右側画像データ及び前記車両の進行方向に対して左側の車外領域の撮影結果を示す左側画像データを含み、
前記運転手の顔の向きが前記右向きであると検出され且つ前記右側画像データが前記右側の車外領域に位置する第１対象物体の画像データを含む場合、前記処理部は、前記車内画像データ及び前記右側画像データに基づき、前記右虹彩画像及び前記左虹彩画像の夫々に前記第１対象物体の像が含まれるかを検出することにより、前記運転手が前記右側の車外領域を目視しているかを判断し、
前記運転手の顔の向きが前記左向きであると検出され且つ前記左側画像データが前記左側の車外領域に位置する第２対象物体の画像データを含む場合、前記処理部は、前記車内画像データ及び前記左側画像データに基づき、前記右虹彩画像及び前記左虹彩画像の夫々に前記第２対象物体の像が含まれるかを検出することにより、前記運転手が前記左側の車外領域を目視しているかを判断する
、請求項２に記載の運転手用の行動評価装置。
前記車外画像データは、前記車両の進行方向に対して右側の車外領域の撮影結果を示す右側画像データ及び前記車両の進行方向に対して左側の車外領域の撮影結果を示す左側画像データを含み、
前記運転手の顔の向きが前記右向きであると検出され且つ前記右側画像データが前記右側の車外領域に位置する第１対象物体の画像データを含む場合、前記処理部は、前記車内画像データ及び前記右側画像データに基づき、前記右虹彩画像及び前記左虹彩画像の夫々に前記第１対象物体の像が含まれるかを検出することにより、前記運転手が前記右側の車外領域を目視しているかを判断し、
前記運転手の顔の向きが前記左向きであると検出され且つ前記左側画像データが前記左側の車外領域に位置する第２対象物体の画像データを含む場合、前記処理部は、前記車内画像データ及び前記左側画像データに基づき、前記右虹彩画像及び前記左虹彩画像の夫々に前記第２対象物体の像が含まれるかを検出することにより、前記運転手が前記左側の車外領域を目視しているかを判断する
、請求項２に記載の運転手用の行動評価装置。
【請求項7】
前記運転手の顔の向きが前記右向きであると検出され且つ前記右側画像データが前記第１対象物体の画像データを含む場合において、前記右虹彩画像及び前記左虹彩画像の夫々に前記第１対象物体の像が含まれると検出したとき、前記処理部は、前記運転手が前記右側の車外領域を目視していると判断し、
前記運転手の顔の向きが前記左向きであると検出され且つ前記左側画像データが前記第２対象物体の画像データを含む場合において、前記右虹彩画像及び前記左虹彩画像の夫々に前記第２対象物体の像が含まれると検出したとき、前記処理部は、前記運転手が前記左側の車外領域を目視していると判断する
、請求項６に記載の運転手用の行動評価装置。
前記運転手の顔の向きが前記左向きであると検出され且つ前記左側画像データが前記第２対象物体の画像データを含む場合において、前記右虹彩画像及び前記左虹彩画像の夫々に前記第２対象物体の像が含まれると検出したとき、前記処理部は、前記運転手が前記左側の車外領域を目視していると判断する
、請求項６に記載の運転手用の行動評価装置。
【請求項8】
前記処理部は、前記右虹彩画像上における物体の像の特徴点を抽出する右虹彩用の抽出処理と、前記左虹彩画像上における物体の像の特徴点を抽出する左虹彩用の抽出処理と、を実行し、
前記右側画像データにより右車外画像が表され、前記左側画像データにより左車外画像が表され、
前記運転手の顔の向きが前記右向きであると検出され且つ前記右側画像データが前記第１対象物体の画像データを含む場合、前記処理部は、前記右車外画像上における前記第１対象物体の像の特徴点を抽出する右車外用の抽出処理を実行して、前記右車外用の抽出処理の結果と、前記右虹彩用の抽出処理の結果と、前記左虹彩用の抽出処理の結果とに基づき、前記運転手が前記右側の車外領域を目視しているかを判断し、
前記運転手の顔の向きが前記左向きであると検出され且つ前記左側画像データが前記第２対象物体の画像データを含む場合、前記処理部は、前記左車外画像上における前記第２対象物体の像の特徴点を抽出する左車外用の抽出処理を実行して、前記左車外用の抽出処理の結果と、前記右虹彩用の抽出処理の結果と、前記左虹彩用の抽出処理の結果とに基づき、前記運転手が前記左側の車外領域を目視しているかを判断する
、請求項６又は７に記載の運転手用の行動評価装置。
前記右側画像データにより右車外画像が表され、前記左側画像データにより左車外画像が表され、
前記運転手の顔の向きが前記右向きであると検出され且つ前記右側画像データが前記第１対象物体の画像データを含む場合、前記処理部は、前記右車外画像上における前記第１対象物体の像の特徴点を抽出する右車外用の抽出処理を実行して、前記右車外用の抽出処理の結果と、前記右虹彩用の抽出処理の結果と、前記左虹彩用の抽出処理の結果とに基づき、前記運転手が前記右側の車外領域を目視しているかを判断し、
前記運転手の顔の向きが前記左向きであると検出され且つ前記左側画像データが前記第２対象物体の画像データを含む場合、前記処理部は、前記左車外画像上における前記第２対象物体の像の特徴点を抽出する左車外用の抽出処理を実行して、前記左車外用の抽出処理の結果と、前記右虹彩用の抽出処理の結果と、前記左虹彩用の抽出処理の結果とに基づき、前記運転手が前記左側の車外領域を目視しているかを判断する
、請求項６又は７に記載の運転手用の行動評価装置。
【請求項9】
前記運転手の顔の向きが前記右向きであると検出され且つ前記右側画像データが前記第１対象物体の画像データを含む場合、前記処理部は、前記右車外用の抽出処理にて抽出された特徴点の群に対応する特徴点の群が前記右虹彩画像及び前記左虹彩画像の夫々に存在するかを検出することで、前記運転手が前記右側の車外領域を目視しているかを判断し、
前記運転手の顔の向きが前記左向きであると検出され且つ前記左側画像データが前記第２対象物体の画像データを含む場合、前記処理部は、前記左車外用の抽出処理にて抽出された特徴点の群に対応する特徴点の群が前記右虹彩画像及び前記左虹彩画像の夫々に存在するかを検出することで、前記運転手が前記左側の車外領域を目視しているかを判断する
、請求項８に記載の運転手用の行動評価装置。
前記運転手の顔の向きが前記左向きであると検出され且つ前記左側画像データが前記第２対象物体の画像データを含む場合、前記処理部は、前記左車外用の抽出処理にて抽出された特徴点の群に対応する特徴点の群が前記右虹彩画像及び前記左虹彩画像の夫々に存在するかを検出することで、前記運転手が前記左側の車外領域を目視しているかを判断する
、請求項８に記載の運転手用の行動評価装置。
【請求項10】
車両の運転手における両目の虹彩の撮影結果を含む車内画像データ、及び、車外の撮影結果を含む車外画像データに基づき、前記運転手の車外に対する目視行動を評価する
、運転手用の行動評価方法。
、運転手用の行動評価方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転手用の行動評価装置及び方法に関する。
【背景技術】
【0002】
車両の運転手は車両周辺の様子を目で確認しながら運転操作を行う。
【0003】
尚、画像処理装置において、瞳画像に基づき人物のうつり込みが発生してるかを判定する方法が提案されている（下記特許文献１参照）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２２－６９９１３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
運転手は、一時停止場所から車両を再発進させるとき、又は、車両を右折又は左折させるときなどにおいて、左右確認行動をとることが要求される。左右確認行動において、運転手は、顔を左に向ける顔振り運動を伴いながら左側の車外領域を目視する、又は、顔を右に向ける顔振り運動を伴いながら右側の車外領域を目視することが求められる。
【0006】
ドライブレコーダの撮影画像から運転手の視線、顔の向き又は顔の移動量を検出し、検出結果に基づき左右への目視行動（左右確認行動）の実施有無を判断する参考方法が検討される。参考方法では、左右への目視行動（左右確認行動）を行ったときに生じる顔の移動量等の平均値を予め設定しておき、設定した平均値を実際の検出値と比較することで必要な行動の実施有無を評価する。しかしながら、左右への目視行動（左右確認行動）における顔の振り幅等には個人差があるため、参考方法では誤った評価がなされる場合がある。また、顔を振る行動があったとしても、実際には見るべき対象を運転手が見ていないケースもあるので、参考方法では当該ケースにおいても誤った評価がなされ得る。
【0007】
本発明は、車外に対する運転手の目視行動を適正に評価し得る運転手用の行動評価装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る運転手用の行動評価装置は、車両の運転手における両目の虹彩の撮影結果を含む車内画像データ、及び、車外の撮影結果を含む車外画像データを取得するインターフェースと、前記車内画像データ及び前記車外画像データに基づき前記運転手の車外に対する目視行動を評価する処理部と、を備える。
【発明の効果】
【0009】
本発明によれば、車外に対する運転手の目視行動を適正に評価し得る運転手用の行動評価装置及び方法を提供することが可能となる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態に係る車両システムの概略的な構成図である。
【図2】本発明の実施形態に係り、車両情報の構成図である。
【図3】本発明の実施形態に係り、車両との関係において、前後左右と幾つかの領域を定義するための図である。
【図4】本発明の実施形態に係り、車外画像データの構成及び車外用カメラの構成を示す図である。
【図5】本発明の実施形態に係り、演算処理部の機能ブロック図である。
【図6】本発明の実施形態に係り、車内カメラ画像の例を示す図である。
【図7】本発明の実施形態に係り、運転手の顔が右向きであるときにおいて顔向き検出処理の中で抽出される特徴点群を示す図（ａ）と、運転手の顔が左向きであるときにおいて顔向き検出処理の中で抽出される特徴点群を示す図（ｂ）である。
【図8】本発明の実施形態に係り、右目視ケースにおける車両、運転手の視線及び被写体の関係と、右目視ケースにおける運転手の両目の状態を示す図である。
【図9】本発明の実施形態に係り、左目視ケースにおける車両、運転手の視線及び被写体の関係と、左目視ケースにおける運転手の両目の状態を示す図である。
【図10】本発明の実施形態に係り、車外カメラ画像を示す図（ａ）と、車外カメラ画像に内包される右車外画像及び左車外画像を示す図（ｂ）と、右車外画像及び左車外画像の夫々から抽出される領域及び特徴点情報を示す図（ｃ）である。
【図11】本発明の実施形態に係り、右目視ケースにおいて右虹彩画像及び左虹彩画像の夫々から特徴点情報が抽出されることを説明するための図である。
【図12】本発明の実施形態に係り、左目視ケースにおいて右虹彩画像及び左虹彩画像の夫々から特徴点情報が抽出されることを説明するための図である。
【図13】本発明の実施形態に属する第１実施例に係り、車載装置の動作フローチャートである。
【図16】本発明の実施形態に属する第１実施例に係り、右目視ケースにおいて右車外画像、右虹彩画像及び左虹彩画像から抽出される３つの特徴点情報を示す図である。
【図17】本発明の実施形態に属する第１実施例に係り、左目視ケースにおいて左車外画像、右虹彩画像及び左虹彩画像から抽出される３つの特徴点情報を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量、機能部、回路、素子又は部品等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量、機能部、回路、素子又は部品等の名称を省略又は略記することがある。例えば、後述の“ＩＮ”によって参照される車内画像データは（図１参照）、車内画像データＩＮと表記されることもあるし、画像データＩＮと略記されることもあり得るが、それらは全て同じものを指す。
【0012】
図１は本実施形態に係る車両システムの概略的な構成図である。車両システムは車両１に搭載される。車両１は例えば路面上を走行可能な自動車であるが、車両１の種類は任意である。図１の車載システムは、車載装置１００、カメラブロック２００及びセンサブロック３００を備える。
【0013】
車載装置１００は、ハードウェア資源として演算処理部１１０、メモリ１２０、インターフェース１３０及び記録媒体１４０を備える。演算処理部１１０は、ＭＰＵ（Micro Processing Unit）及びＧＰＵ（Graphics Processing Unit）等を含む。車載装置１００にて実行される任意の制御、動作及び処理は、演算処理部１１０にて実行される制御、動作及び処理であると解されて良い。演算処理部１１０においてＭＰＵとＧＰＵが一体に形成されていても良い（例えばＭＰＵにＧＰＵが内蔵されていても良い）。
【0014】
メモリ１２０は、ＲＯＭ（Read only memory）又はフラッシュメモリ等の不揮発性メモリ、及び、ＲＡＭ（Random access memory）等の揮発性メモリを含む。メモリ１２０に格納されたプログラムを演算処理部１１０にて実行することで、車載装置１００の各機能が実現されて良い。ここにおけるプログラムは複数のプログラムを含んでいて良い。演算処理部１１０に複数のＭＰＵを設けておき、当該複数のＭＰＵにて複数のプログラムが実行されることで、車載装置１００の各機能が実現されても良い。車載装置１００は１以上のＥＣＵ（Electronic Control Unit）にて構成されていて良い。２以上のＥＣＵにおける２以上のＭＰＵにより演算処理部１１０が構成されていても良い。
【0015】
インターフェース１３０は相手側装置と通信を行う。通信は双方向通信又は一方向通信である。車両１においてＣＡＮ（Controller Area Network）を含む通信網が形成される。当該通信網は有線通信網でも良いし、無線通信網でも良い。相手側装置は車両１に設置され且つ上記通信網に接続された任意の装置を含む。車載装置１００及び相手側装置は上記通信網を介して任意の情報及び信号の送受信が可能である。本実施形態において、相手側装置はカメラブロック２００及びセンサブロック３００を含む。インターフェース１３０にとっての相手側装置は、車両１の外部に設けられた外部装置（サーバ装置等）を含み得る。車載装置１００と車両１の内部又は外部における相手側装置との通信は、無線通信若しくは有線通信、又は、無線通信と有線通信との組み合わせであって良い。車載装置１００及び相手側装置間の通信は、インターフェース１３０を用いて実現されるが、以下では、インターフェース１３０の記述が省略されることがある。
【0016】
記録媒体１４０は、磁気ディスク又は半導体メモリ等から成る、或いは、それらの組み合わせから成る。記録媒体１４０は不揮発性の記録媒体であり、演算処理部１１０の制御の下で、任意のデータを記録する。車載装置１００に対して記録媒体装着部（不図示）を設けておき、記録媒体装着部に対して記録媒体１４０が着脱自在とされていても良い。
【0017】
カメラブロック２００は車両１に設置された１以上のカメラから成る。カメラブロック２００を構成する各カメラは、自身の撮影領域内の被写体を所定のフレームレートで順次撮影して、撮影結果を示す画像データを順次車載装置１００に出力する。カメラの撮影領域は視野とも称される。
【0018】
カメラブロック２００から車載装置１００に送られる画像データには、車内画像データ及び車外画像データが含まれる。以下では、車内画像データを適宜記号“ＩＮ”にて参照し、車外画像データを適宜記号“ＯＵＴ”にて参照する。車載装置１００に送れられた画像データＩＮ及びＯＵＴは、インターフェース１３０にて受信及び取得される。
【0019】
本実施形態では、カメラブロック２００に車内用カメラ２１０及び車外用カメラ２２０が設けられることを想定する。車内用カメラ２１０により車内画像データＩＮが生成され、車外用カメラ２２０により車外画像データＯＵＴが生成される。
【0020】
車内用カメラ２１０の撮影領域（視野）に車室内の領域が含まれる。車室とは車両１の車室を指す。車内用カメラ２１０は、車室内の被写体を所定のフレームレートで順次撮影して、撮影結果を示す画像データを車内画像データＩＮとして生成及び出力する。車内用カメラ２１０が撮影する被写体には運転手が含まれる。運転手とは車両１の運転手を指す。尚、車内用カメラ２１０は２以上のカメラにて構成されていて良い。
【0021】
車外用カメラ２２０の撮影領域（視野）に車外の領域が含まれる。車外とは車両１の外部（詳細には車両１の車体の外側に位置する領域）を指す。車外用カメラ２２０は、車外の被写体を所定のフレームレートで順次撮影して、撮影結果を示す画像データを車外画像データＯＵＴとして生成及び出力する。車外の被写体とは、車外に位置する被写体を指す。車外用カメラ２２０が撮影する被写体には、車外に位置する人物、他車両、信号機、路面及び交通標識が含まれる。他車両とは車両１とは異なる車両を指す。
【0022】
車外用カメラ２２０は２以上のカメラにて構成されていて良い。例えば、車外用カメラ２２０は、車両１の外部であって且つ車両１の右側領域に視野を持つライトカメラ、及び、車両１の外部であって且つ車両１の左側領域に視野を持つレフトカメラを有していて良い。この場合、ライトカメラの撮影結果とレフトカメラの撮影結果とで車外画像データＯＵＴが形成される。また例えば、車外用カメラ２２０は、車両１の外部であって且つ車両１の前方側領域に視野を持つフロントカメラ、及び、車両１の外部であって且つ車両１の後方側領域に視野を持つリアカメラを有していて良い。この場合、フロントカメラの撮影結果とリアカメラの撮影結果とで車外画像データＯＵＴが形成される。車外用カメラ２２０は、上述のフロントカメラ、リアカメラ、ライトカメラ及びレフトカメラを全て有していて良い。この場合、フロントカメラ、リアカメラ、ライトカメラ及びレフトカメラの各撮影結果により車外画像データＯＵＴが形成される。
【0023】
センサブロック３００は車両１に搭載された複数のセンサから成り、当該複数のセンサを用いて車両情報を生成する。車両情報は車載装置１００に出力される。図２に示す如く、車両情報は、走行情報、ＧＰＳ位置情報及びＧセンサ情報を含む。センサブロック３００に、走行センサ群３１０、ＧＰＳセンサ３２０及びＧセンサ３３０が設けられる。
【0024】
走行センサ群３１０は、車両１の走行状態を表す走行情報を生成する。走行情報は、車両１の速度（走行速度）を表す車速情報、車両１の舵角（操舵角）を表す舵角情報、並びに、車両１の加速及び減速の状態を表す加減速情報を含む。加減速情報は、車両１のブレーキの制御量（操作量）を表すブレーキ情報を含んでいて良い。走行情報は、上述の各種情報以外の様々な情報（スロットルの操作量等）を更に含み得る。走行情報は所定周期で順次取得され、取得された走行情報は、順次、車載装置１００に出力される。
【0025】
ＧＰＳセンサ３２０は、ＧＰＳ（Global Positioning System）を形成する複数のＧＰＳ衛星からの信号を受信し、受信結果に基づきＧＰＳ位置情報を生成する。ＧＰＳ位置情報は車両１の現在地を表す情報である。ＧＰＳ位置情報において、車両１の現在地は経度及び緯度によって表される。ＧＰＳ位置情報は車両１の現在地の高度を更に表すこともある。ＧＰＳ位置情報は所定周期で順次生成され、生成されたＧＰＳ位置情報は順次車載装置１００に出力される。
【0026】
Ｇセンサ３３０は、車両１に加わる所定軸方向の加速度を検出し、加速度の検出結果をＧセンサ情報として生成及び出力する。Ｇセンサ３３０において、互いに直交する２軸方向の加速度が検出されても良いし、互いに直交する３軸方向の加速度が検出されても良い。Ｇセンサ情報は所定周期で順次生成され、生成されたＧセンサ情報は順次車載装置１００に出力される。
【0027】
ここで、図３を参照し、車両１との関係において前後左右を以下のように定義する。車両１において、運転席からステアリングホイールに向かう向きを「前方」と定義し、ステアリングホイールから運転席に向かう向きを「後方」と定義する。後方から前方に向かう向きが車両１の進行方向であるとし、車両１の進行方向に対して左右方向が定義される。左右方向は車両１の進行方向に直交し（従って前後方向に直交し）且つ路面に平行である。本実施形態において、路面は、特に記述無き限り、水平面に平行であるとする。左右方向における左、右は、車両１の運転席に座り且つ前方を向いている、車両１の運転手から見た左、右である。
【0028】
図３において軸ＣＸは車両１の車体の中心軸である。中心軸ＣＸは車両１の車体の中心又は重心を通る。但し、中心軸ＣＸは前後方向及びに路面に平行な軸であるとする。図３において、斜線領域ＲＲは右側の車外領域であり、斜線領域ＬＬは左側の車外領域である。
【0029】
右側の車外領域ＲＲとは、車両１の外部であって且つ車両１の右側に位置する領域である。右側の車外領域ＲＲは中心軸ＣＸより右側に位置する。右側の車外領域ＲＲは、少なくとも車両１の前方且つ右側に位置する領域を含む。右側の車外領域ＲＲは、車両１の側方且つ右側に位置する領域を更に含んでいても良い。右側の車外領域ＲＲは、車両１の後方且つ右側に位置する領域を更に含んでいても良い。
【0030】
左側の車外領域ＬＬとは、車両１の外部であって且つ車両１の左側に位置する領域である。左側の車外領域ＬＬは中心軸ＣＸより左側に位置する。左側の車外領域ＬＬは、少なくとも車両１の前方且つ左側に位置する領域を含む。左側の車外領域ＬＬは、車両１の側方且つ左側に位置する領域を更に含んでいても良い。左側の車外領域ＬＬは、車両１の後方且つ左側に位置する領域を更に含んでいても良い。
【0031】
図４（ａ）に示す如く、車外画像データＯＵＴは右側画像データと左側画像データを含む。以下では、右側画像データを適宜記号“ＯＲ”にて参照し、左側画像データを適宜記号“ＯＬ”にて参照する。
【0032】
右側画像データＯＲは、右側の車外領域ＲＲに位置する被写体の撮影結果を示す画像データである。左側画像データＯＬは、左側の車外領域ＬＬに位置する被写体の撮影結果を示す画像データである。例えば、図４（ｂ）に示す如く、車外用カメラ２２０は、右側の車外領域ＲＲを視野に収めたライトカメラ２２０Ｒと、左側の車外領域ＬＬを視野に収めたレフトカメラ２２０Ｌとを有していて良い。この場合、ライトカメラ２２０Ｒの撮影によりライトカメラ２２０Ｒにて右側画像データＯＲが生成され、レフトカメラ２２０Ｌの撮影によりレフトカメラ２２０Ｌにて左側画像データＯＬが生成される。或いは例えば、図４（ｃ）に示す如く、車外用カメラ２２０は、車外領域ＲＲ及びＬＬを視野に収めたフロントカメラ２２０Ｆを有していて良い。この場合、フロントカメラ２２０Ｆの撮影により、フロントカメラ２２０Ｆにて画像データＯＲ及びＯＬを包含する車外画像データＯＵＴが生成される。
【0033】
一方、車内用カメラ２１０の視野内に運転手の頭部及び顔が含まれ、故に、運転手の頭部及び顔の撮影結果を示す画像データが車内画像データＩＮに含まれる。更に、車内用カメラ２１０にて運転手の両目の虹彩が撮影されるよう、車室内の適所に車内用カメラ２１０が設置される。故に、運転手における両目の虹彩の撮影結果が車内画像データＩＮに含まれる。以下の説明において、頭部、顔、両目、右目、左目、虹彩とは、特に記述無き限り、車両１の運転手における頭部、顔、両目、右目、左目、虹彩を指す。
【0034】
図５に車載装置１００の機能ブロック図を示す。車載装置１００には機能ブロックＦ１～Ｆ５が設けられる。尚、図５には、各機能ブロックが実行する処理の名称が付記されている。演算処理部１１０において、単一のプログラム又は複数のプログラムが実行されることで機能ブロックＦ１～Ｆ５が実現されて良い。演算処理部１１０に複数のＭＰＵを設けておき、当該複数のＭＰＵにて複数のプログラムが個別に実行されることで任意の複数の機能ブロックが実現されて良い。機能ブロックＦ１、Ｆ４、Ｆ５は、夫々、顔向き検出部、行動評価部、記録管理部である。機能ブロックＦ２及びＦ３は共に画像解析部である。単一の画像解析部にて機能ブロックＦ２及びＦ３が実現されても良い。
【0035】
［顔向き検出部Ｆ１］
顔向き検出部Ｆ１は、車内画像データＩＮに基づいて運転手の顔の向きを検出する顔向き検出処理を実行する。顔向き検出部Ｆ１は、車内画像データＩＮに基づき、運転手の顔が車両１の進行方向に対して、右を向いているのか、左を向いているのか、正面を向いているのかを区別して検出する。以下、運転手の顔の向きは顔向きとも称され得る。車両１の進行方向に対して右、左、正面を向く顔向きを、夫々、右向き、左向き、正面向きと称する。尚、顔向きに関する向きは、水平面に平行な二次元平面上の向きであるとし、ここでは鉛直方向の向きの成分を無視する。
顔向き検出部Ｆ１は、車内画像データＩＮに基づいて運転手の顔の向きを検出する顔向き検出処理を実行する。顔向き検出部Ｆ１は、車内画像データＩＮに基づき、運転手の顔が車両１の進行方向に対して、右を向いているのか、左を向いているのか、正面を向いているのかを区別して検出する。以下、運転手の顔の向きは顔向きとも称され得る。車両１の進行方向に対して右、左、正面を向く顔向きを、夫々、右向き、左向き、正面向きと称する。尚、顔向きに関する向きは、水平面に平行な二次元平面上の向きであるとし、ここでは鉛直方向の向きの成分を無視する。
【0036】
運転手の顔が車両１の進行方向に対して右を向いているとき、顔向きは右向きである。運転手の後頭部から運転手の鼻に向かう向きが運転手の存在位置から車両１の右側前方に向かう向きと一致しているとき、顔向きは右向きである。
運転手の顔が車両１の進行方向に対して左を向いているとき、顔向きは左向きである。運転手の後頭部から運転手の鼻に向かう向きが運転手の存在位置から車両１の左側前方に向かう向きと一致しているとき、顔向きは左向きである。
運転手の顔が車両１の進行方向に対して正面を向いているとき、顔向きは正面向きである。運転手の後頭部から運転手の鼻に向かう向きが中心軸ＣＸと平行であるとき、顔向きは正面向きである。
顔向き検出部Ｆ１は、車内画像データＩＮに基づき、顔向きが、右向き、左向き及び正面向きの何れであるかを検出できる。
運転手の顔が車両１の進行方向に対して左を向いているとき、顔向きは左向きである。運転手の後頭部から運転手の鼻に向かう向きが運転手の存在位置から車両１の左側前方に向かう向きと一致しているとき、顔向きは左向きである。
運転手の顔が車両１の進行方向に対して正面を向いているとき、顔向きは正面向きである。運転手の後頭部から運転手の鼻に向かう向きが中心軸ＣＸと平行であるとき、顔向きは正面向きである。
顔向き検出部Ｆ１は、車内画像データＩＮに基づき、顔向きが、右向き、左向き及び正面向きの何れであるかを検出できる。
【0037】
車内画像データＩＮにて表される二次元画像を車内カメラ画像と称する。図６に示す二次元画像６００は車内カメラ画像の例である。二次元画像６００の如く、車内カメラ画像には運転手の顔の像が含まれる。運転手とは異なる他の物体の像（運転席など）も車内カメラ画像に含まれるが、他の物体の像に関する図示を図６では省略している。
【0038】
顔向き検出部Ｆ１は、車内カメラ画像上における運転手の顔を周知の顔検出処理にて検出した後、顔向き検出用の特徴点抽出処理を実行する。顔向き検出処理に顔向き検出用の特徴点抽出処理が含まれる。顔向き検出用の特徴点抽出処理において、顔向き検出部Ｆ１は、顔向きの検出に有益な特徴点を車内カメラ画像から抽出する。顔向きの検出に有益な特徴点として、運転手の目、眉、鼻及び口を示す特徴点並びに顔の輪郭を示す特徴点が挙げられる。図７（ａ）に顔向きが右向きであるときに抽出される複数の特徴点の例を黒丸により概略的に示す。図７（ｂ）に顔向きが左向きであるときに抽出される複数の特徴点の例を黒丸により概略的に示す。尚、図７（ａ）及び（ｂ）では、車内用カメラ２１０が運転手の前方に設置され、車内用カメラ２１０の光軸が前後方向に平行であることが想定されている。
【0039】
顔向き検出部Ｆ１は、顔向き検出用の特徴点抽出処理にて抽出された複数の特徴点の位置関係（車内カメラ画像上の位置関係）に基づき、顔向きを検出する。顔向き検出部Ｆ１は、顔向きの検出を行うために形成された人工知能モデルを用いて顔向きの検出を行って良い。
【0040】
顔向きの検出に際して、ワールド座標系と車内用カメラ２１０のカメラ座標系との対応関係情報が利用されて良い。
【0041】
車両１が存在する実空間（実際の三次元空間）の座標系としてワールド座標系が定義される。ワールド座標系は、車両１の前後方向に平行な軸と車両１の左右方向に平行な軸と鉛直方向に平行な軸とで形成される三次元座標系である。一方、車内用カメラ２１０の座標系として第１カメラ座標系が定義される。第１カメラ座標系は、車内用カメラ２１０の存在位置を原点に設置した三次元座標系であり、互いに直交する３つの軸を有する。第１カメラ座標系における３つの軸は、原点から車内用カメラ２１０の光軸に沿って伸びる軸と、その軸に直交する２つの軸と、から成る。同様に、車外用カメラ２２０の座標系として第２カメラ座標系が定義される。第２カメラ座標系は、車外用カメラ２２０の存在位置を原点に設置した三次元座標系であり、互いに直交する３つの軸を有する。第２カメラ座標系における３つの軸は、原点から車外用カメラ２２０の光軸に沿って伸びる軸と、その軸に直交する２つの軸と、から成る。ワールド座標系と第１カメラ座標系との関係を特定する第１カメラパラメータが演算処理部１１０に対して予め与えられる。ワールド座標系と第２カメラ座標系との関係を特定する第２カメラパラメータが演算処理部１１０に対して予め与えられる。演算処理部１１０は第１及び第２カメラパラメータを用いて必要な処理を行うことができる。顔向き検出部Ｆ１に関しては、第１カメラパラメータを参照して顔向きの検出を行って良い。
【0042】
顔向きにおける右向きは、右側の車外領域ＲＲ内の被写体を見るのに適した向きである。顔向きが右向きである場合において運転手が実際に車外領域ＲＲ内の被写体を目視している状態を右目視状態と称する。右目視状態では、運転手の視線上に右側の車外領域ＲＲが位置し、運転手の右目及び左目の各虹彩に車外領域ＲＲ内の被写体の像が写り込む。
【0043】
図８を参照する。右側の車外領域ＲＲに被写体Ｐ１が存在しており且つ運転手が被写体Ｐ１を右目視状態にて目視しているケースを右目視ケースと称する。図８には右目視ケースにおける運転手の右目及び左目の様子が概略的に示される。以下、本実施形態では、車外領域ＲＲに被写体Ｐ１が存在しているものとする。図８において矢印付き破線ＬＳ１は右目視ケースにおける運転手の視線を表す。運転手が被写体Ｐ１を目視しているとき、右目及び左目の虹彩は共に被写体Ｐ１の方向を向く。このため、右目視ケースでは、右目の虹彩に被写体Ｐ１の像Ｐ１ｃが写り込み、且つ、左目の虹彩に被写体Ｐ１の像Ｐ１ｄが写り込む。運転手が被写体Ｐ１を目視していないとき、右目及び左目の虹彩には基本的に被写体Ｐ１の像が写り込まない。但し、運転手が被写体Ｐ１を目視していないときでも、右目及び左目の何れか一方の虹彩に被写体Ｐ１の像が偶然写り込むことはあり得る。
【0044】
顔向きにおける左向きは、左側の車外領域ＬＬ内の被写体を見るのに適した向きである。顔向きが左向きである場合において運転手が実際に車外領域ＬＬ内の被写体を目視している状態を左目視状態と称する。左目視状態では、運転手の視線上に左側の車外領域ＬＬが位置し、運転手の右目及び左目の各虹彩に車外領域ＬＬ内の被写体の像が写り込む。
【0045】
図９を参照する。左側の車外領域ＬＬに被写体Ｐ２が存在しており且つ運転手が被写体Ｐ２を左目視状態にて目視しているケースを左目視ケースと称する。図９には左目視ケースにおける運転手の右目及び左目の様子が概略的に示される。以下、本実施形態では、車外領域ＬＬに被写体Ｐ２が存在しているものとする。図９において矢印付き破線ＬＳ２は左目視ケースにおける運転手の視線を表す。運転手が被写体Ｐ２を目視しているとき、右目及び左目の虹彩は共に被写体Ｐ２の方向を向く。このため、左目視ケースでは、右目の虹彩に被写体Ｐ２の像Ｐ２ｃが写り込み、且つ、左目の虹彩に被写体Ｐ２の像Ｐ２ｄが写り込む。運転手が被写体Ｐ２を目視していないとき、右目及び左目の虹彩には基本的に被写体Ｐ２の像が写り込まない。但し、運転手が被写体Ｐ２を目視していないときでも、右目及び左目の何れか一方の虹彩に被写体Ｐ２の像が偶然写り込むことはあり得る。
【0046】
尚、図８では、図示の便宜上、円柱状の三次元物体が被写体Ｐ１として示されているが、被写体Ｐ１は車外領域ＲＲに位置する任意の三次元物体である。同様に、図９では、図示の便宜上、三角錐状の三次元物体が被写体Ｐ２として示されているが、被写体Ｐ２は車外領域ＬＬに位置する任意の三次元物体である。被写体Ｐ１及びＰ２は、例えば、人物、他車両、信号機又は交通標識である。
【0047】
［車外物体用の画像解析部Ｆ２（車外解析部）］
機能ブロックＦ２は車外物体用の画像解析部である（図５参照）。機能ブロックＦ２である車外物体用の画像解析部と機能ブロックＦ３である虹彩用の画像解析部との混合を避けるべく、以下では適宜、車外物体用の画像解析部Ｆ２を車外解析部Ｆ２と表記し、虹彩用の画像解析部Ｆ３を虹彩解析部Ｆ３と表記する。車外解析部Ｆ２は車外画像データＯＵＴに基づく画像解析（以下、車外画像解析と称する）を行う。図１０（ａ）等を参照しつつ、車外画像解析を説明する。車外解析部Ｆ２は上述の第２カメラパラメータを用いて車外画像解析を実行できる。
機能ブロックＦ２は車外物体用の画像解析部である（図５参照）。機能ブロックＦ２である車外物体用の画像解析部と機能ブロックＦ３である虹彩用の画像解析部との混合を避けるべく、以下では適宜、車外物体用の画像解析部Ｆ２を車外解析部Ｆ２と表記し、虹彩用の画像解析部Ｆ３を虹彩解析部Ｆ３と表記する。車外解析部Ｆ２は車外画像データＯＵＴに基づく画像解析（以下、車外画像解析と称する）を行う。図１０（ａ）等を参照しつつ、車外画像解析を説明する。車外解析部Ｆ２は上述の第２カメラパラメータを用いて車外画像解析を実行できる。
【0048】
図１０（ａ）に示す二次元画像７００は車外カメラ画像の例である。二次元画像７００の如く、車外カメラ画像には被写体Ｐ１の像Ｐ１ａ及び被写体Ｐ２の像Ｐ２ａが含まれる。他にも様々な像が車外カメラ画像に含まれ得る。車外カメラ画像は右車外画像と左車外画像とで構成される。右車外画像は、右側の車外領域ＲＲ内の被写体を撮影することで得られる画像であり、車外領域ＲＲ内の被写体の像を含む。右車外画像は右側画像データＯＲによって表される（図４（ａ）参照）。左車外画像は、左側の車外領域ＬＬ内の被写体を撮影することで得られる画像であり、車外領域ＬＬ内の被写体の像を含む。左車外画像は左側画像データＯＬによって表される（図４（ａ）参照）。車外カメラ画像７００であれば、図１０（ｂ）に示す如く、右車外画像７１０と左車外画像７２０とで車外カメラ画像７００が構成される。
【0049】
車外解析部Ｆ２が実行可能な車外画像解析は、右車外画像に対する車外画像解析と、左車外画像に対する車外画像解析と、を含む。図１０（ｂ）の右車外画像７１０及び左車外画像７２０を例にとり、車外画像解析を説明する。
【0050】
右車外画像７１０に対する車外画像解析において、車外解析部Ｆ２は、右側画像データＯＲに基づき、右車外画像７１０上の物体の領域を抽出する領域抽出処理を行う。領域抽出処理をセマンティックセグメンテーションにて行うことができる。尚、任意の画像から物体の領域を抽出することと、物体の像の存在領域を抽出することは、同義である。今、右車外画像７１０上の物体としての被写体Ｐ１に注目する。そうすると、右車外画像７１０に対する領域抽出処理により、被写体Ｐ１の像Ｐ１ａの存在領域が抽出される。ここで抽出された被写体Ｐ１の像Ｐ１ａの存在領域を、説明の具体化のため、抽出領域Ｐ１ａ＿ｒと称する（図１０（ｃ）参照）。右車外画像７１０に対する車外画像解析は、右車外用の特徴点抽出処理を含む。右車外用の特徴点抽出処理において、車外解析部Ｆ２は、抽出領域Ｐ１ａ＿ｒにおけるエッジ（従って像Ｐ１ａのエッジ）を特徴点として抽出することで、特徴点情報Ｐ１ａ＿ｔを生成する（図１０（ｃ）参照）。特徴点情報Ｐ１ａ＿ｔは、抽出領域Ｐ１ａ＿ｒにおける像Ｐ１ａの特徴点の群から成り、像Ｐ１ａの特徴点の群により像Ｐ１ａの形状が示される。即ち、特徴点情報Ｐ１ａ＿ｔは像Ｐ１ａの形状を特定する情報である、と言える。
【0051】
左車外画像７２０に対する車外画像解析において、車外解析部Ｆ２は、左側画像データＯＬに基づき、左車外画像７２０上の物体の領域を抽出する領域抽出処理を行う。領域抽出処理をセマンティックセグメンテーションにて行うことができる。今、左車外画像７２０上の物体としての被写体Ｐ２に注目する。そうすると、左車外画像７２０に対する領域抽出処理により、被写体Ｐ２の像Ｐ２ａの存在領域が抽出される。ここで抽出された被写体Ｐ２の像Ｐ２ａの存在領域を、説明の具体化のため、抽出領域Ｐ２ａ＿ｒと称する（図１０（ｃ）参照）。左車外画像７２０に対する車外画像解析は、左車外用の特徴点抽出処理を含む。左車外用の特徴点抽出処理において、車外解析部Ｆ２は、抽出領域Ｐ２ａ＿ｒにおけるエッジ（従って像Ｐ２ａのエッジ）を特徴点として抽出することで、特徴点情報Ｐ２ａ＿ｔを生成する（図１０（ｃ）参照）。特徴点情報Ｐ２ａ＿ｔは、抽出領域Ｐ２ａ＿ｒにおける像Ｐ２ａの特徴点の群から成り、像Ｐ２ａの特徴点の群により像Ｐ２ａの形状が示される。即ち、特徴点情報Ｐ２ａ＿ｔは像Ｐ２ａの形状を特定する情報である、と言える。
【0052】
［虹彩用の画像解析部Ｆ３（虹彩解析部）］
上述したように機能ブロックＦ３は虹彩用の画像解析部であり、虹彩解析部Ｆ３と表記され得る（図５参照）。虹彩解析部Ｆ３は車内画像データＩＮに基づく画像解析（以下、虹彩画像解析と称する）を行う。
上述したように機能ブロックＦ３は虹彩用の画像解析部であり、虹彩解析部Ｆ３と表記され得る（図５参照）。虹彩解析部Ｆ３は車内画像データＩＮに基づく画像解析（以下、虹彩画像解析と称する）を行う。
【0053】
運転手の両目の瞼が閉じていないと仮定すると、任意の車内カメラ画像には右虹彩画像及び左虹彩画像が含まれる。右虹彩画像は運転手における右目の虹彩を撮影することで得られる画像である。左虹彩画像は運転手における左目の虹彩を撮影することで得られる画像である。虹彩解析部Ｆ３は、車内画像データＩＮに基づき、車内カメラ画像において右目の虹彩の像が存在する領域及び左目の虹彩の像が存在する領域を抽出し、これによって車内カメラ画像から右虹彩画像及び左虹彩画像を切り出す。車内画像データＩＮの内、右目の虹彩の像が存在する領域の画像データにより右虹彩画像が表され、左目の虹彩の像が存在する領域の画像データにより左虹彩画像が表される。人物の顔の画像から右虹彩画像及び左虹彩画像を切り出す方法は周知であり、当該方法の詳細な説明を省略する。例えばセマンティックセグメンテーションを利用して上記の切り出しを行うことができる。
【0054】
尚、右虹彩画像は右目の虹彩の像に加えて右目の瞳孔の像を含んでいて良く、ここでは右虹彩画像は右目の瞳孔の像を含むものとする。故に右虹彩画像を右瞳画像と称しても良い。同様に、左虹彩画像は左目の虹彩の像に加えて左目の瞳孔の像を含んでいて良く、ここでは左虹彩画像は左目の瞳孔の像を含むものとする。故に左虹彩画像を左瞳画像と称しても良い。
【0055】
図１１に示す二次元画像６００＿Ｒは車内カメラ画像の例である。図１１の車内カメラ画像６００＿Ｒには右虹彩画像６１０及び左虹彩画像６２０が含まれる。図１１では、右虹彩画像６１０及び左虹彩画像６２０が拡大図示されている。虹彩解析部Ｆ３が実行可能な虹彩画像解析は、右虹彩画像に対する虹彩画像解析と、左虹彩画像に対する虹彩画像解析と、を含む。図１１の右虹彩画像６１０及び左虹彩画像６２０を例にとり、虹彩画像解析を説明する。図１１の車内カメラ画像６００＿Ｒは右目視ケースで得られる車内カメラ画像であり、故に、右虹彩画像６１０には被写体Ｐ１の像Ｐ１ｃが含まれ且つ左虹彩画像６２０には被写体Ｐ１の像Ｐ１ｄが含まれる（図８も参照）。
【0056】
右虹彩画像６１０に対する虹彩画像解析において、虹彩解析部Ｆ３は、車内画像データＩＮに含まれる右虹彩画像６１０の画像データに基づき、右虹彩用の特徴点抽出処理を行う。右虹彩用の特徴点抽出処理において、虹彩解析部Ｆ３は、右虹彩画像６１０におけるエッジ（像Ｐ１ｃのエッジを含む）を特徴点として抽出することで、特徴点情報Ｐ１ｃ＿ｔを生成する。特徴点情報Ｐ１ｃ＿ｔは、右虹彩画像６１０における像Ｐ１ｃの特徴点の群から成り、像Ｐ１ｃの特徴点の群により像Ｐ１ｃの形状が示される。即ち、特徴点情報Ｐ１ｃ＿ｔは像Ｐ１ｃの形状を特定する情報である、と言える。
【0057】
左虹彩画像６２０に対する虹彩画像解析において、虹彩解析部Ｆ３は、車内画像データＩＮに含まれる左虹彩画像６２０の画像データに基づき、左虹彩用の特徴点抽出処理を行う。左虹彩用の特徴点抽出処理において、虹彩解析部Ｆ３は、左虹彩画像６２０におけるエッジ（像Ｐ１ｄのエッジを含む）を特徴点として抽出することで、特徴点情報Ｐ１ｄ＿ｔを生成する。特徴点情報Ｐ１ｄ＿ｔは、左虹彩画像６２０における像Ｐ１ｄの特徴点の群から成り、像Ｐ１ｄの特徴点の群により像Ｐ１ｄの形状が示される。即ち、特徴点情報Ｐ１ｄ＿ｔは像Ｐ１ｄの形状を特定する情報である、と言える。
【0058】
運転手の視界に被写体Ｐ１が入っていないときには、虹彩画像解析において特徴点情報Ｐ１ｃ＿ｔ及びＰ１ｄ＿ｔが生成されず、代わりに、被写体Ｐ１とは異なる被写体の特徴点情報が生成され得る。
【0059】
図１２に示す二次元画像６００＿Ｌは車内カメラ画像の他の例である。図１２の車内カメラ画像６００＿Ｌには右虹彩画像６３０及び左虹彩画像６４０が含まれる。図１２では、右虹彩画像６３０及び左虹彩画像６４０が拡大図示されている。図１２の右虹彩画像６３０及び左虹彩画像６４０を例にとり、虹彩画像解析を説明する。図１２の車内カメラ画像６００＿Ｌは左目視ケースで得られる車内カメラ画像であり、故に、右虹彩画像６３０には被写体Ｐ２の像Ｐ２ｃが含まれ且つ左虹彩画像６４０には被写体Ｐ２の像Ｐ２ｄが含まれる（図９も参照）。
【0060】
右虹彩画像６３０に対する虹彩画像解析において、虹彩解析部Ｆ３は、車内画像データＩＮに含まれる右虹彩画像６３０の画像データに基づき、右虹彩用の特徴点抽出処理を行う。右虹彩用の特徴点抽出処理において、虹彩解析部Ｆ３は、右虹彩画像６３０におけるエッジ（像Ｐ２ｃのエッジを含む）を特徴点として抽出することで、特徴点情報Ｐ２ｃ＿ｔを生成する。特徴点情報Ｐ２ｃ＿ｔは、右虹彩画像６３０における像Ｐ２ｃの特徴点の群から成り、像Ｐ２ｃの特徴点の群により像Ｐ２ｃの形状が示される。即ち、特徴点情報Ｐ２ｃ＿ｔは像Ｐ２ｃの形状を特定する情報である、と言える。
【0061】
左虹彩画像６４０に対する虹彩画像解析において、虹彩解析部Ｆ３は、車内画像データＩＮに含まれる左虹彩画像６４０の画像データに基づき、左虹彩用の特徴点抽出処理を行う。左虹彩用の特徴点抽出処理において、虹彩解析部Ｆ３は、左虹彩画像６４０におけるエッジ（像Ｐ２ｄのエッジを含む）を特徴点として抽出することで、特徴点情報Ｐ２ｄ＿ｔを生成する。特徴点情報Ｐ２ｄ＿ｔは、左虹彩画像６４０における像Ｐ２ｄの特徴点の群から成り、像Ｐ２ｄの特徴点の群により像Ｐ２ｄの形状が示される。即ち、特徴点情報Ｐ２ｄ＿ｔは像Ｐ２ｄの形状を特定する情報である、と言える。
【0062】
運転手の視界に被写体Ｐ２が入っていないときには、虹彩画像解析において特徴点情報Ｐ２ｃ＿ｔ及びＰ２ｄ＿ｔが生成されず、代わりに、被写体Ｐ２とは異なる被写体の特徴点情報が生成され得る。
【0063】
［行動評価部Ｆ４］
行動評価部Ｆ４は、顔向き検出部Ｆ１の検出結果並びに車外解析部Ｆ２及び虹彩解析部Ｆ３の各画像解析の結果に基づいて運転者の車外に対する目視行動を評価する行動評価処理を実行する。運転者の車外に対する目視行動とは、運転手が車外に位置する特定の領域（従って特定の領域内の物体）を目視する行動を指す。目視行動を評価するとは、運転手が車外に位置する特定の領域（従って特定の領域内の物体）を目視しているか又は目視していたかを評価することを指す。
行動評価部Ｆ４は、顔向き検出部Ｆ１の検出結果並びに車外解析部Ｆ２及び虹彩解析部Ｆ３の各画像解析の結果に基づいて運転者の車外に対する目視行動を評価する行動評価処理を実行する。運転者の車外に対する目視行動とは、運転手が車外に位置する特定の領域（従って特定の領域内の物体）を目視する行動を指す。目視行動を評価するとは、運転手が車外に位置する特定の領域（従って特定の領域内の物体）を目視しているか又は目視していたかを評価することを指す。
【0064】
運転手は、特定の領域を目視することで、特定の領域内における物体の存否及び特定の領域内における物体の位置を確認する。この確認を行う行動を確認行動と称する。確認行動は目視行動と実質的に等価であると考えることができ、故に、行動評価処理における評価の対象は、運転者の車外に対する確認行動であると解しても良い。確認行動として左側確認行動と右側確認行動とがあり、これらを合わせて左右確認行動と称する。左側確認行動において運転手は、左側の車外領域ＬＬを目視することで車外領域ＬＬ内の物体の存否及び車外領域ＬＬ内の物体の位置を確認する。右側確認行動において運転手は、右側の車外領域ＲＲを目視することで車外領域ＲＲ内の物体の存否及び車外領域ＲＲ内の物体の位置を確認する。
【0065】
行動評価処理の詳細は後述される。端的に言えば、行動評価処理において、特定の物体の像が右虹彩画像及び左虹彩画像の双方に含まれると検出されたとき、特定の物体の存在領域（実空間上の領域）を運転手が目視していると判断される。尚、本明細書において目視は注視であっても良い。
【0066】
［記録管理部Ｆ５］
記録管理部Ｆ５は記録媒体１４０に必要なデータを記録させる記録処理を実行する。車載装置１００はドライブレコーダであって良い。以下では、車載装置１００がドライブレコーダの機能を持つものとする。そうすると、記録処理において記録管理部Ｆ５は、画像データＩＮ及びＯＵＴ並びに車両情報を時系列に沿って互いに関連付けた状態で記録媒体１４０に記録させる。尚、車載装置１００とカメラブロック２００とでドライブレコーダが形成されると考えることもできる。
記録管理部Ｆ５は記録媒体１４０に必要なデータを記録させる記録処理を実行する。車載装置１００はドライブレコーダであって良い。以下では、車載装置１００がドライブレコーダの機能を持つものとする。そうすると、記録処理において記録管理部Ｆ５は、画像データＩＮ及びＯＵＴ並びに車両情報を時系列に沿って互いに関連付けた状態で記録媒体１４０に記録させる。尚、車載装置１００とカメラブロック２００とでドライブレコーダが形成されると考えることもできる。
【0067】
以下、複数の実施例の中で、車載装置１００に関する幾つかの具体的な動作例、応用技術、変形技術等を説明する。本実施形態にて上述した事項は、特に記述無き限り且つ矛盾無き限り、以下の各実施例に適用される。各実施例において、上述の事項と矛盾する事項がある場合には、各実施例での記載が優先されて良い。また矛盾無き限り、以下に示す複数の実施例の内、任意の実施例に記載した事項を、他の任意の実施例に適用することもできる（即ち複数の実施例の内の任意の２以上の実施例を組み合わせることも可能である）。
【0068】
＜＜第１実施例＞＞
第１実施例を説明する。図１３に第１実施例に係る車載装置１００の動作フローチャートを示す。図１３の動作フローチャートに沿って、第１実施例に係る車載装置１００の動作の流れを説明する。図１３の動作フローチャートは、任意の時刻である注目時刻において運転手が適正な左右確認行動を行ったかを判断するためのフローチャートである。
第１実施例を説明する。図１３に第１実施例に係る車載装置１００の動作フローチャートを示す。図１３の動作フローチャートに沿って、第１実施例に係る車載装置１００の動作の流れを説明する。図１３の動作フローチャートは、任意の時刻である注目時刻において運転手が適正な左右確認行動を行ったかを判断するためのフローチャートである。
【0069】
まずステップＳ１１において、注目時刻における車内画像データＩＮ及び車外画像データＯＵＴがインターフェース１３０にて取得される（換言すればインターフェース１３０を通じ演算処理部１１０にて取得される）。続くステップＳ１２において、顔向き検出部Ｆ１は注目時刻における車内画像データＩＮに基づき顔向き検出処理を実行することにより、注目時刻における運転手の顔向きを検出する。その後、ステップＳ１３に進む。
【0070】
ステップＳ１２にて検出された顔向きが左向きであるかが、ステップＳ１３において確認される。検出された顔向きが左向きであれば（ステップＳ１３のＹ）、ステップＳ１３からステップＳ３１に進む。検出された顔向きが左向きでなければ（ステップＳ１３のＮ）、ステップＳ１３からステップＳ１４に進む。ステップＳ１２にて検出された顔向きが右向きであるかが、ステップＳ１４において確認される。検出された顔向きが右向きであれば（ステップＳ１４のＹ）、ステップＳ１４からステップＳ２１に進む。検出された顔向きが右向きでなければ（ステップＳ１４のＮ）、ステップＳ１４からステップＳ４１に進む。まとめると、ステップＳ１２にて検出された顔向きが左向きであればステップＳ３１に進み、右向きであればステップＳ２１に進み、正面向きであればステップＳ４１に進む。運転手が後方を向く、車内用カメラ２１０の視界から運転手の顔が外れる場合など、顔向きの検出が不能であった場合にも、ステップＳ４１に進む。
【0071】
ステップＳ２１に進んだ場合、ステップＳ２１～Ｓ２４の処理が実行される。ステップＳ２１～Ｓ２３の処理は全て互いに異なる時間に実行されて良い。或いは、ステップＳ２１～Ｓ２３の処理の内、任意の２以上の処理は同時に実行されても良い。ステップＳ２４の処理はステップＳ２１～Ｓ２３の処理を経て実行される。
【0072】
ステップＳ２１において、車外解析部Ｆ２は注目時刻の右車外画像に対する車外解析処理を実行する（図５、図１０（ａ）～（ｃ）参照）。注目時刻の右車外画像は、注目時刻の車外画像データＯＵＴの内、右側画像データＯＲにより表され（図４（ａ）参照）、当該右側画像データＯＲに基づきステップＳ２１の車外解析処理が実行される。ステップＳ２１の車外解析処理に含まれる右車外用の特徴点抽出処理により、特徴点情報ＣＲ１が生成される。
【0073】
ステップＳ２２において、虹彩解析部Ｆ３は注目時刻の右虹彩画像に対する虹彩解析処理を実行する（図５参照）。注目時刻の右虹彩画像は、注目時刻の車内画像データＩＮの内、右目の虹彩の像が存在する領域の画像データにより表される。右目の虹彩の像が存在する領域の画像データに基づき、ステップＳ２２の虹彩解析処理が実行される（後述のステップＳ３２でも同様）。ステップＳ２２の虹彩解析処理に含まれる右虹彩用の特徴点抽出処理により、特徴点情報ＣＲ２が生成される。
【0074】
ステップＳ２３において、虹彩解析部Ｆ３は注目時刻の左虹彩画像に対する虹彩解析処理を実行する（図５参照）。注目時刻の左虹彩画像は、注目時刻の車内画像データＩＮの内、左目の虹彩の像が存在する領域の画像データにより表される。左目の虹彩の像が存在する領域の画像データに基づき、ステップＳ２３の虹彩解析処理が実行される（後述のステップＳ３３でも同様）。ステップＳ２３の虹彩解析処理に含まれる左虹彩用の特徴点抽出処理により、特徴点情報ＣＲ３が生成される。
【0075】
ステップＳ２４において、行動評価部Ｆ４は、特徴点情報ＣＲ１、ＣＲ２及びＣＲ３に基づき行動評価処理を実行することにより、右側の車外領域ＲＲに対する運転手の目視行動の有無を評価する。ステップＳ２４の評価は、運転手が右側の車外領域ＲＲを目視しているか否かの評価である。右側の車外領域ＲＲに対する運転手の目視行動は右側確認行動に相当する。
【0076】
今、注目時刻において右側の車外領域ＲＲに存在する特定の物体を第１対象物体と称し、第１対象物体に対するステップＳ２４の処理を説明する。図８の被写体Ｐ１は第１対象物体の例である。ステップＳ２１に進むケースにおいて、注目時刻における右側画像データＯＲは第１対象物体の画像データを含む。
【0077】
図１４はステップＳ２４の詳細フローチャートである。ステップＳ２４の処理はステップＳ２４ａ～Ｓ２４ｄの処理に細分化される。ステップＳ２４では、まずステップＳ２４ａにおいて、行動評価部Ｆ４が、特徴点情報ＣＲ１、ＣＲ２及びＣＲ３に基づき右虹彩画像及び左虹彩画像の夫々に第１対象物体の像が含まれるかを検出する。ステップＳ２４ａに続くステップＳ２４ｂにおいて、ステップＳ２４ａでの検出結果に基づき、ステップＳ２４ｃ又はＳ２４ｄへの分岐を発生させる。具体的には、右虹彩画像及び左虹彩画像の夫々に第１対象物体の像が含まれると検出された場合（ステップＳ２４ｂのＹ）、ステップＳ２４ｃに進む。右虹彩画像及び左虹彩画像の何れにも第１対象物体の像が含まれていないと検出された場合、又は、右虹彩画像及び左虹彩画像の一方にのみ第１対象物体の像が含まれると検出された場合、ステップＳ２４ｄに進む。ステップＳ２４ｃにおいて、行動評価部Ｆ４は、運転手が注目時刻にて右側の車外領域ＲＲを目視していると判断する（即ち右側確認行動が実施されていると判断する）。ステップＳ２４ｃにおいて、行動評価部Ｆ４は、運転手が注目時刻にて第１対象物体を目視していると判断しても良い。ステップＳ２４ｄにおいて、行動評価部Ｆ４は、運転手が注目時刻にて右側の車外領域ＲＲを目視していないと判断する（即ち右側確認行動が実施されていないと判断する）。
【0078】
上述のステップＳ２１において、車外解析処理に含まれる右車外用の特徴点抽出処理により（図１０（ｃ）参照）第１対象物体の特徴点の群が抽出され、その抽出結果が特徴点情報ＣＲ１に反映される。ステップＳ２４ａに係る行動評価部Ｆ４は、ステップＳ２１にて抽出された特徴点の群に対応する特徴点の群が右虹彩画像及び左虹彩画像の夫々に存在するかを検出及び判断する。そして、その判断結果が肯定であるときにステップＳ２３ｃへの移行を発生させ、否定であるときにステップＳ２３ｄへの移行を発生させる。
【0079】
ステップＳ２４の処理内容について更に詳細な説明を設ける。説明の具体化のため、右車外画像、右虹彩画像及び左虹彩画像の夫々に被写体の像が１つだけ含まれる状況を考える。特徴点情報ＣＲ１により、右車外画像に含まれる被写体の像の形状が特定される。特徴点情報ＣＲ２により、右虹彩画像に含まれる被写体の像の形状が特定される（即ち、右目の虹彩に写り込んだ被写体の像の形状が特定される）。特徴点情報ＣＲ３により、左虹彩画像に含まれる被写体の像の形状が特定される（即ち、左目の虹彩に写り込んだ被写体の像の形状が特定される）。右車外画像に含まれる被写体の像は、ここでは第１対象物体の像である。
【0080】
行動評価部Ｆ４は、特徴点情報ＣＲ１により特定される第１対象物体の像の形状と、特徴点情報ＣＲ２により特定される被写体の像の形状と、の類似度Ｓ［Ｒ１：Ｒ２］を導出する。行動評価部Ｆ４は、特徴点情報ＣＲ１により特定される第１対象物体の像の形状と、特徴点情報ＣＲ３により特定される被写体の像の形状と、の類似度Ｓ［Ｒ１：Ｒ３］を導出する。
【0081】
そして、行動評価部Ｆ４は、類似度Ｓ［Ｒ１：Ｒ２］及びＳ［Ｒ１：Ｒ３］が共に所定の基準類似度ＳＲＥＦ以上であるときに、右虹彩画像上の被写体及び左虹彩画像上の被写体が第１対象物体であると判断する。換言すれば、行動評価部Ｆ４は、“Ｓ［Ｒ１：Ｒ２］≧ＳＲＥＦ”及び“Ｓ［Ｒ１：Ｒ３］≧ＳＲＥＦ”の成立時に、右虹彩画像及び左虹彩画像の夫々に第１対象物体の像が含まれると検出及び判断する。この判断は、ステップＳ２１にて抽出された特徴点の群に対応する特徴点の群が右虹彩画像及び左虹彩画像の夫々に存在するとの判断と等価である。
【0082】
行動評価部Ｆ４は、“Ｓ［Ｒ１：Ｒ２］＜ＳＲＥＦ”の成立時には右虹彩画像に第１対象物体の像が含まれないと検出及び判断し、“Ｓ［Ｒ１：Ｒ３］＜ＳＲＥＦ”の成立時には左虹彩画像に第１対象物体の像が含まれないと検出及び判断する。
【0083】
行動評価部Ｆ４は周知のパターンマッチングを用いて類似度Ｓ［Ｒ１：Ｒ２］及びＳ［Ｒ１：Ｒ３］を導出できる。同一の被写体の像が右車外画像及び右虹彩画像に含まれていたとしても、当該同一の被写体に関する像の大きさは、右虹彩画像において、右車外画像においてよりも小さい。このため、特徴点情報ＣＲ１により特定される形状の大きさを、特徴点情報ＣＲ２により特定される形状の大きさにまで縮小させるスケールダウン処理を行ってから、類似度Ｓ［Ｒ１：Ｒ２］を導出すれば良い。類似度Ｓ［Ｒ１：Ｒ３］についても同様である。
【0084】
ステップＳ３１に進んだ場合、ステップＳ３１～Ｓ３４の処理が実行される。ステップＳ３１～Ｓ３３の処理は全て互いに異なる時間に実行されて良い。或いは、ステップＳ３１～Ｓ３３の処理の内、任意の２以上の処理は同時に実行されても良い。ステップＳ３４の処理はステップＳ３１～Ｓ３３の処理を経て実行される。
【0085】
ステップＳ３１において、車外解析部Ｆ２は注目時刻の左車外画像に対する車外解析処理を実行する（図５、図１０（ａ）～（ｃ）参照）。注目時刻の左車外画像は、注目時刻の車外画像データＯＵＴの内、左側画像データＯＬにより表され（図４（ａ）参照）、当該左側画像データＯＬに基づきステップＳ３１の車外解析処理が実行される。ステップＳ３１の車外解析処理に含まれる左車外用の特徴点抽出処理により、特徴点情報ＣＬ１が生成される。
【0086】
ステップＳ３２において、虹彩解析部Ｆ３は注目時刻の右虹彩画像に対する虹彩解析処理を実行する（図５参照）。ステップＳ３２の虹彩解析処理に含まれる右虹彩用の特徴点抽出処理により、特徴点情報ＣＬ２が生成される。
【0087】
ステップＳ３３において、虹彩解析部Ｆ３は注目時刻の左虹彩画像に対する虹彩解析処理を実行する（図５参照）。ステップＳ３３の虹彩解析処理に含まれる左虹彩用の特徴点抽出処理により、特徴点情報ＣＬ３が生成される。
【0088】
ステップＳ３４において、行動評価部Ｆ４は、特徴点情報ＣＬ１、ＣＬ２及びＣＬ３に基づき行動評価処理を実行することにより、左側の車外領域ＬＬに対する運転手の目視行動の有無を評価する。ステップＳ３４の評価は、運転手が左側の車外領域ＬＬを目視しているか否かの評価である。左側の車外領域ＬＬに対する運転手の目視行動は左側確認行動に相当する。
【0089】
今、注目時刻において左側の車外領域ＬＬに存在する特定の物体を第２対象物体と称し、第２対象物体に対するステップＳ３４の処理を説明する。図９の被写体Ｐ２は第２対象物体の例である。ステップＳ３１に進むケースにおいて、注目時刻における左側画像データＯＬは第２対象物体の画像データを含む。
【0090】
図１５はステップＳ３４の詳細フローチャートである。ステップＳ３４の処理はステップＳ３４ａ～Ｓ３４ｄの処理に細分化される。ステップＳ３４では、まずステップＳ３４ａにおいて、行動評価部Ｆ４が、特徴点情報ＣＬ１、ＣＬ２及びＣＬ３に基づき右虹彩画像及び左虹彩画像の夫々に第２対象物体の像が含まれるかを検出する。ステップＳ３４ａに続くステップＳ３４ｂにおいて、ステップＳ３４ａでの検出結果に基づき、ステップＳ３４ｃ又はＳ３４ｄへの分岐を発生させる。具体的には、右虹彩画像及び左虹彩画像の夫々に第２対象物体の像が含まれると検出された場合（ステップＳ３４ｂのＹ）、ステップＳ３４ｃに進む。右虹彩画像及び左虹彩画像の何れにも第２対象物体の像が含まれていないと検出された場合、又は、右虹彩画像及び左虹彩画像の一方にのみ第２対象物体の像が含まれると検出された場合、ステップＳ３４ｄに進む。ステップＳ３４ｃにおいて、行動評価部Ｆ４は、運転手が注目時刻にて左側の車外領域ＬＬを目視していると判断する（即ち左側確認行動が実施されていると判断する）。ステップＳ３４ｃにおいて、行動評価部Ｆ４は、運転手が注目時刻にて第２対象物体を目視していると判断しても良い。ステップＳ３４ｄにおいて、行動評価部Ｆ４は、運転手が注目時刻にて左側の車外領域ＬＬを目視していないと判断する（即ち左側確認行動が実施されていないと判断する）。
【0091】
上述のステップＳ３１において、車外解析処理に含まれる左車外用の特徴点抽出処理により（図１０（ｃ）参照）第２対象物体の特徴点の群が抽出され、その抽出結果が特徴点情報ＣＬ１に反映される。ステップＳ３４ａに係る行動評価部Ｆ４は、ステップＳ３１にて抽出された特徴点の群に対応する特徴点の群が右虹彩画像及び左虹彩画像の夫々に存在するかを検出及び判断する。そして、その判断結果が肯定であるときにステップＳ３３ｃへの移行を発生させ、否定であるときにステップＳ３３ｄへの移行を発生させる。
【0092】
ステップＳ３４の処理内容について更に詳細な説明を設ける。説明の具体化のため、左車外画像、右虹彩画像及び左虹彩画像の夫々に被写体の像が１つだけ含まれる状況を考える。特徴点情報ＣＬ１により、左車外画像に含まれる被写体の像の形状が特定される。特徴点情報ＣＬ２により、右虹彩画像に含まれる被写体の像の形状が特定される（即ち、右目の虹彩に写り込んだ被写体の像の形状が特定される）。特徴点情報ＣＬ３により、左虹彩画像に含まれる被写体の像の形状が特定される（即ち、左目の虹彩に写り込んだ被写体の像の形状が特定される）。左車外画像に含まれる被写体の像は、ここでは第２対象物体の像である。
【0093】
行動評価部Ｆ４は、特徴点情報ＣＬ１により特定される第２対象物体の像の形状と、特徴点情報ＣＬ２により特定される被写体の像の形状と、の類似度Ｓ［Ｌ１：Ｌ２］を導出する。行動評価部Ｆ４は、特徴点情報ＣＬ１により特定される第２対象物体の像の形状と、特徴点情報ＣＬ３により特定される被写体の像の形状と、の類似度Ｓ［Ｌ１：Ｌ３］を導出する。
【0094】
そして、行動評価部Ｆ４は、類似度Ｓ［Ｌ１：Ｌ２］及びＳ［Ｌ１：Ｌ３］が共に所定の基準類似度ＳＲＥＦ以上であるときに、右虹彩画像上の被写体及び左虹彩画像上の被写体が第２対象物体であると判断する。換言すれば、行動評価部Ｆ４は、“Ｓ［Ｌ１：Ｌ２］≧ＳＲＥＦ”及び“Ｓ［Ｌ１：Ｌ３］≧ＳＲＥＦ”の成立時に、右虹彩画像及び左虹彩画像の夫々に第２対象物体の像が含まれると検出及び判断する。この判断は、ステップＳ３１にて抽出された特徴点の群に対応する特徴点の群が右虹彩画像及び左虹彩画像の夫々に存在するとの判断と等価である。
【0095】
行動評価部Ｆ４は、“Ｓ［Ｌ１：Ｌ２］＜ＳＲＥＦ”の成立時には右虹彩画像に第２対象物体の像が含まれないと検出及び判断し、“Ｓ［Ｌ１：Ｌ３］＜ＳＲＥＦ”の成立時には左虹彩画像に第２対象物体の像が含まれないと検出及び判断する。
【0096】
行動評価部Ｆ４は周知のパターンマッチングを用いて類似度Ｓ［Ｌ１：Ｌ２］及びＳ［Ｌ１：Ｌ３］を導出できる。同一の被写体の像が左車外画像及び右虹彩画像に含まれていたとしても、当該同一の被写体に関する像の大きさは、右虹彩画像において、左車外画像においてよりも小さい。このため、特徴点情報ＣＬ１により特定される形状の大きさを、特徴点情報ＣＬ２により特定される形状の大きさにまで縮小させるスケールダウン処理を行ってから、類似度Ｓ［Ｌ１：Ｌ２］を導出すれば良い。類似度Ｓ［Ｌ１：Ｌ３］についても同様である。
【0097】
図１３を再度参照する。ステップＳ４１において、行動評価処理に係る行動評価部Ｆ４は、顔を右又は左に向ける顔振り運動を伴った目視行動（確認行動）が運転手により行われていないと判断する。
【0098】
ステップＳ２４、Ｓ３４又はＳ４１の後、ステップＳ５０に進む。ステップＳ５０では、行動評価部Ｆ４により、又は、行動評価部Ｆ４及び記録管理部Ｆ５により、結果出力処理が行われる。ステップＳ２４を経た後の結果出力処理では、ステップＳ２４における行動評価処理の評価及び判断結果を示す情報が、注目時刻の画像データＩＮ及びＯＵＴ並びに車両情報と関連付けて記録媒体１４０に記録される。ステップＳ３４を経た後の結果出力処理では、ステップＳ３４における行動評価処理の評価及び判断結果を示す情報が、注目時刻の画像データＩＮ及びＯＵＴ並びに車両情報と関連付けて記録媒体１４０に記録される。ステップＳ４１を経た後の結果出力処理では、ステップＳ４１における行動評価処理の評価及び判断結果を示す情報が、注目時刻の画像データＩＮ及びＯＵＴ並びに車両情報と関連付けて記録媒体１４０に記録される。
【0099】
図１３に示す一連の動作は、順次訪れる複数の時刻の夫々を注目時刻として捉えた上で、繰り返し実行される。このため、記録媒体１４０には、画像データＩＮ及びＯＵＴ並びに車両情報と共に、各時刻における行動評価処理の評価及び判断結果が蓄積記録されてゆく。記録媒体１４０の記録内容を事故等があった場合の原因検証に役立てることができる。ステップＳ５０にて記録媒体１４０に記録されると上述した任意のデータ及び情報を、インターフェース１３０を用いて、車両１の外部に設けられた外部装置（サーバ装置等）に送信するようにしても良い。
【0100】
また、演算処理部１１０は、行動評価処理の評価及び判断結果に応じた通知を運転手に対して行う通知管理部（不図示）を有していて良い。例えば、車両１が右折を行う際に、行動評価処理にて右側確認行動が不十分であると認められる場合、通知管理部は右折中に右側確認行動を促す通知又は右折後に右側確認行動に関する通知を運転手に行うようにしても良い。右側確認行動を促す通知は、例えば「顔を右側に向けて対向車等を確認して下さい」というメッセージの音声通知を含む。右側確認行動に関する通知は、例えば「右折の際には顔を右側に向けて対向車等を確認しましょう」というメッセージの音声通知を含む。任意の音声通知は、車載装置１００に設けられたスピーカ（不図示）を用いて、又は、車載装置１００に無線又は有線にて接続された電子機器（例えばカーナビゲーション装置又はスマートホン）のスピーカを用いて、実現される。
【0101】
図１１に示す右目視ケースに対する図１３の動作を説明する。右目視ケースにおいて上述の第１対象物体は被写体Ｐ１である（図８参照）。図１６に右目視ケースに関わる画像及び特徴点情報を示す。図１６は、図１０（ｂ）及び（ｃ）の一部と、図１１の一部を、併せて示したものである。右目視ケースでは、ステップＳ２１にて右車外画像７１０に対する車外画像解析が行われることで、特徴点情報Ｐ１ａ＿ｔが特徴点情報ＣＲ１として得られる。右目視ケースでは、ステップＳ２２にて右虹彩画像６１０に対する虹彩画像解析が行われることで特徴点情報Ｐ１ｃ＿ｔが特徴点情報ＣＲ２として得られる。右目視ケースでは、ステップＳ２３にて左虹彩画像６２０に対する虹彩画像解析が行われることで特徴点情報Ｐ１ｄ＿ｔが特徴点情報ＣＲ３として得られる。像Ｐ１ａ、Ｐ１ｃ及びＰ１ｄは共通の被写体Ｐ１の像であるため、右目視ケースにおいて類似度Ｓ［Ｒ１：Ｒ２］及びＳ［Ｒ１：Ｒ３］が基準類似度ＲＲＥＦ以上となることが期待される。
【0102】
図１２に示す左目視ケースに対する図１３の動作を説明する。左目視ケースにおいて上述の第２対象物体は被写体Ｐ２である（図９参照）。図１７に左目視ケースに関わる画像及び特徴点情報を示す。図１７は、図１０（ｂ）及び（ｃ）の一部と、図１２の一部を、併せて示したものである。左目視ケースでは、ステップＳ３１にて左車外画像７２０に対する車外画像解析が行われることで、特徴点情報Ｐ２ａ＿ｔが特徴点情報ＣＬ１として得られる。左目視ケースでは、ステップＳ３２にて右虹彩画像６３０に対する虹彩画像解析が行われることで特徴点情報Ｐ２ｃ＿ｔが特徴点情報ＣＬ２として得られる。左目視ケースでは、ステップＳ３３にて左虹彩画像６４０に対する虹彩画像解析が行われることで特徴点情報Ｐ２ｄ＿ｔが特徴点情報ＣＬ３として得られる。像Ｐ２ａ、Ｐ２ｃ及びＰ２ｄは共通の被写体Ｐ２の像であるため、左目視ケースにおいて類似度Ｓ［Ｌ１：Ｌ２］及びＳ［Ｌ１：Ｌ３］が基準類似度ＲＲＥＦ以上となることが期待される。
【0103】
このように、運転手における両目の虹彩の撮影結果を含む車内画像データＩＮと、車外の撮影結果を含む車外画像データＯＵＴと、基づき、演算処理部１１０は、運転手の車外に対する目視行動（換言すれば確認行動）を評価する。
【0104】
虹彩の撮影結果と車外の撮影結果との照合により運転手の目視内容を評価できる。このため、運転手による目視行動を正しく評価することが可能となる。目視行動の正確な評価を、事故等が生じた場合における原因検証に役立てることができると共に、安全運転に関する運転手への啓蒙にも役立てることができる。
【0105】
顔向きが右向きであっても、視線が右側の車外領域ＲＲに向いていないケースもある。上述の参考方法では当該ケースにおいて右側の車外領域ＲＲを運転手が目視及び確認していると誤検出されることがある。本実施例の方法では、運転手が実際に目で見たもの（虹彩に写り込んだ像の撮影結果）を利用するため、このような誤検出が抑制され、参考方法と異なり個人差の影響を受けにくい。
【0106】
また各時刻において運転手が見ていた対象を特定できるため、事故等が生じた場合において、運転手が脇見をしていたか等の検証が容易となる。例えば、事故の発生直前において運転手の目に店舗の看板が映っておれば、その看板への脇見運転が事故に繋がったのではないかとの推測を行うことができる。
【0107】
車外に位置する物体を対象物体と称する。対象物体は車外用カメラ２２０の視野内に位置するものとする。そうすると、車外画像データＯＵＴは対象物体の画像データを含む。演算処理部１１０は、画像データＩＮ及びＯＵＴに基づき、右虹彩画像及び左虹彩画像の夫々に対象物体の像が含まれるかを検出することにより、運転手が対象物体の存在位置を含む対象領域を目視しているかを判断する。当該判断は、図１３の動作において顔向きが右向きと検出されたならばステップＳ２１～Ｓ２４の処理にて実現され、顔向きが左向きと検出されたならばステップＳ３１～Ｓ３４の処理にて実現される。これにより、運転手による目視行動を正しく評価することが可能となる。上記の対象領域は例えば右側の車外領域ＲＲ又は左側の車外領域ＬＬである。対象領域は、対象物体の存在位置を含む任意の大きさ及び形状の領域であっても良い。
【0108】
より具体的には、右虹彩画像及び左虹彩画像の夫々に対象物体の像が含まれると検出したとき、演算処理部１１０は運転手が上記対象領域を目視していると判断できる（図１４のステップＳ２４ｃ又は図１５のステップＳ３４ｃ）。運転手が対象物体を目視しているとき、運転手の両目の虹彩に対象物体の像が写り込むからであり、上記判断を通じて運転手による目視行動を正しく評価することが可能となる。
【0109】
詳細には顔向き検出処理を利用することが好ましい。即ち、運転手の顔の向きの検出結果と画像データＩＮ及びＯＵＴとに基づき、演算処理部１１０は運転手の車外に対する目視行動（換言すれば確認行動）を評価することが好ましい。これにより、首振り行動を伴った適正な目視行動（左右確認行動）を運転者が行ったのかを、正しく評価することが可能となる。
【0110】
即ち、運転手の顔向きが右向きであると検出した場合、演算処理部１１０は、車内画像データＩＮと右側画像データＯＲとに基づき運転手が右側の車外領域ＲＲを目視しているかを判断すれば良い（ステップＳ２１～Ｓ２４）。逆に、運転手の顔向きが左向きであると検出した場合、演算処理部１１０は、車内画像データＩＮと左側画像データＯＬとに基づき運転手が左側の車外領域ＬＬを目視しているかを判断すれば良い（ステップＳ３１～Ｓ３４）。これにより、首振り行動を伴った適正な目視行動（左右確認行動）を運転者が行ったのかを、正しく評価することが可能となる。 運転手の顔の向きに応じて参照する画像データを右側画像データＯＲ又は左側画像データＯＬに限定することにより、処理負荷が軽減され、また誤検出の低減も期待される。
【0111】
運転手の顔向きが右向きであると検出され且つ右側の車外領域ＲＲに被写体Ｐ１が第１対象物体として存在している第１ケースを想定する。第１ケースにおいて右側画像データＯＲは第１対象物体の画像データを含むことになる。この場合、演算処理部１１０は、車内画像データＩＮ及び右側画像データＯＲに基づき、右虹彩画像及び左虹彩画像の夫々に第１対象物体の像が含まれるかを検出することにより、運転手が右側の車外領域ＲＲを目視しているかを判断できる。当該判断は、図１３の動作においてステップＳ２１～Ｓ２４の処理にて実現される（図１４も参照）。具体的には、第１ケースにおいて、右虹彩画像及び左虹彩画像の夫々に第１対象物体の像が含まれると検出したとき、演算処理部１１０は、運転手が右側の車外領域ＲＲを目視していると判断できる（ステップＳ２４ｃ）。
運転手の顔向きが左向きであると検出され且つ左側の車外領域ＬＬに被写体Ｐ２が第２対象物体として存在している第２ケースを想定する。第２ケースにおいて左側画像データＯＬは第２対象物体の画像データを含むことになる。この場合、演算処理部１１０は、車内画像データＩＮ及び左側画像データＯＬに基づき、右虹彩画像及び左虹彩画像の夫々に第２対象物体の像が含まれるかを検出することにより、運転手が左側の車外領域ＬＬを目視しているかを判断できる。当該判断は、図１３の動作においてステップＳ３１～Ｓ３４の処理にて実現される（図１５も参照）。具体的には、第２ケースにおいて、右虹彩画像及び左虹彩画像の夫々に第２対象物体の像が含まれると検出したとき、演算処理部１１０は、運転手が左側の車外領域ＬＬを目視していると判断できる（ステップＳ３４ｃ）。
運転手の顔向きが左向きであると検出され且つ左側の車外領域ＬＬに被写体Ｐ２が第２対象物体として存在している第２ケースを想定する。第２ケースにおいて左側画像データＯＬは第２対象物体の画像データを含むことになる。この場合、演算処理部１１０は、車内画像データＩＮ及び左側画像データＯＬに基づき、右虹彩画像及び左虹彩画像の夫々に第２対象物体の像が含まれるかを検出することにより、運転手が左側の車外領域ＬＬを目視しているかを判断できる。当該判断は、図１３の動作においてステップＳ３１～Ｓ３４の処理にて実現される（図１５も参照）。具体的には、第２ケースにおいて、右虹彩画像及び左虹彩画像の夫々に第２対象物体の像が含まれると検出したとき、演算処理部１１０は、運転手が左側の車外領域ＬＬを目視していると判断できる（ステップＳ３４ｃ）。
【0112】
より詳細には、第１ケースにおいて、図１３のステップＳ２１～Ｓ２４の如く、特徴点情報の抽出結果（特徴点情報ＣＲ１～ＣＲ３）を用いて運転手が右側の車外領域ＲＲを目視しているかを判断すれば良い。同様に、第２ケースにおいて、図１３のステップＳ３１～Ｓ３４の如く、特徴点情報の抽出結果（特徴点情報ＣＬ１～ＣＬ３）を用いて運転手が左側の車外領域ＬＬを目視しているかを判断すれば良い。特徴点を利用することで、第１対象物体の像の画像サイズが小さい場合などにあっても、右虹彩画像及び左虹彩画像の夫々に第１対象物体の像が含まれるかを良好に判断することができる。第２対象物体についても同様である。
【0113】
演算処理部１１０は、順次取得される画像データＩＮ及びＯＵＴに基づきリアルタイムで図１３の動作を行うことができる。但し、注目時刻に関する図１３に示す動作は、注目時刻以降、任意のタイミングで行われても良い。演算処理部１１０と同等の機能を持つ演算処理部を車載装置１００とは異なる外部装置（サーバ装置等）に設けておき、外部装置における演算処理部に、任意のタイミングにおいて図１３の動作を行わせても良い。
【0114】
＜＜第２実施例＞＞
第２実施例を説明する。第２実施例及び後述の他の実施例は、第１実施例を基礎とする実施例である。第２実施例にて特に記述なき事項は、第１実施例の記載が矛盾無き限り第２実施例に適用されて良い（後述の他の実施例でも同様）。
第２実施例を説明する。第２実施例及び後述の他の実施例は、第１実施例を基礎とする実施例である。第２実施例にて特に記述なき事項は、第１実施例の記載が矛盾無き限り第２実施例に適用されて良い（後述の他の実施例でも同様）。
【0115】
行動評価部Ｆ４は、車内画像データＩＮに基づき、運転手が居眠りをしている状態又は居眠りに近い状態にあるかを検出しても良い（この検出を居眠り検出と称する）。行動評価部Ｆ４は行動評価処理にて居眠り検出を行って良く、従って居眠り検出の結果が記録媒体１４０に記録されても良い。以下、運転手が居眠りをしている状態を居眠り状態と称する。居眠りに近い状態も居眠り状態に属すると考える。運転手が居眠りを一切行うことなく、完全に覚醒して目を見開いている状態を覚醒状態と称する。
【0116】
運転手において、居眠り状態には覚醒状態と比べて瞼が下がり、車外の被写体が虹彩に写り込む領域が減少する。この減少の有無及び程度を検出することで、行動評価部Ｆ４は居眠り検出を行うことができる。
【0117】
居眠り検出を行う際、行動評価部Ｆ４は所定の時間長さ（例えば１０秒）を有する居眠り評価期間を設定する。居眠り検出では、居眠り評価期間にて取得されるｎフレーム分の車内画像データＩＮが参照される。居眠り検出で参照される車内画像データＩＮは、居眠り評価期間にて取得される全フレーム又は一部フレームの車内画像データＩＮである。ｎは２以上の任意の整数である。各フレームにおいて右虹彩画像の大きさ及び左虹彩画像の大きさの和を、虹彩サイズと称する。虹彩サイズは、運転手の両目において物体が映り込むことのできる領域のサイズに相当する。右虹彩画像の大きさは右虹彩画像の画素数で表される。左虹彩画像の大きさも同様である。行動評価部Ｆ４は、居眠り評価期間においてフレームごとに虹彩サイズを導出する。居眠り評価期間において、ｎフレームに対して導出されるｎ個の虹彩サイズの平均を平均虹彩サイズと称する。
【0118】
行動評価部Ｆ４は以下の第１居眠り検出を行って良い。第１居眠り検出に係る行動評価部Ｆ４は平均虹彩サイズを基準サイズＳＲＥＦ１と比較する。第１居眠り検出に係る行動評価部Ｆ４は、平均虹彩サイズが基準サイズＳＲＥＦ１以上であれば居眠り評価期間にて運転手が覚醒状態にあると判断し、平均虹彩サイズが基準サイズＳＲＥＦ１未満であれば居眠り評価期間にて運転手が居眠り状態にあると判断する。基準サイズＳＲＥＦ１は、第１居眠り検出が実行される前に行動評価部Ｆ４に対して与えられる。覚醒状態にある運転手を車内用カメラ２１０で撮影することで得た車内画像データＩＮに基づき、基準サイズＳＲＥＦ１が予め行動評価部Ｆ４に登録されて良い。これにより、目の大きさに関する個人差を考慮した第１居眠り検出を実行できる。
【0119】
運転手が居眠り状態にあるとき、覚醒状態と比べて瞼が閉じる時間が多くなる。瞼が完全に閉じれば虹彩サイズはゼロとなる。このため、行動評価部Ｆ４は以下の第２居眠り検出を行っても良い。第２居眠り検出に係る行動評価部Ｆ４は、居眠り評価期間におけるｎ個の虹彩サイズを個別に基準サイズＳＲＥＦ２と比較し、ｎ個の虹彩サイズの内、基準サイズＳＲＥＦ２以上の虹彩サイズの総数ｍを求める。第２居眠り検出に係る行動評価部Ｆ４は、割合“ｍ／ｎ”が所定値以上であれば居眠り評価期間にて運転手が覚醒状態にあると判断し、割合“ｍ／ｎ”が所定値未満であれば居眠り評価期間にて運転手が居眠り状態にあると判断する。ここにおける所定値は１より小さな正の値（例えば０．８）を持つ。基準サイズＳＲＥＦ２は、第２居眠り検出が実行される前に行動評価部Ｆ４に対して与えられる。覚醒状態にある運転手を車内用カメラ２１０で撮影することで得た車内画像データＩＮに基づき、基準サイズＳＲＥＦ２が予め行動評価部Ｆ４に登録されて良い。これにより、瞬きの頻度に関する個人差を考慮した第２居眠り検出を実行できる。
【0120】
演算処理部１１０は警告部（不図示）を有していて良い。行動評価部Ｆ４により運転手が居眠り状態にあると判断されたとき、警告部は、運転手に対して所定の警告通知を行う又は運転席を振動させるなどにより、運転手の覚醒を促す。警告通知は、例えば「居眠りの可能性を検知しました。ご注意下さい」というメッセージの音声通知を含む。警告通知は単なる警告音の出力であっても良い。
【0121】
＜＜第３実施例＞＞
第３実施例を説明する。第１実施例では、車外画像データＯＵＴが対象物体の画像データを含む場合、特徴点の抽出を利用して、右虹彩画像及び左虹彩画像の夫々に対象物体の像が含まれるかを検出している。しかしながら、この検出に際し、特徴点の抽出は必須ではない。
第３実施例を説明する。第１実施例では、車外画像データＯＵＴが対象物体の画像データを含む場合、特徴点の抽出を利用して、右虹彩画像及び左虹彩画像の夫々に対象物体の像が含まれるかを検出している。しかしながら、この検出に際し、特徴点の抽出は必須ではない。
【0122】
例えば、車外画像データＯＵＴが対象物体の画像データを含む場合、以下のようにしても良い。即ち、車外解析部Ｆ２は、車外カメラ画像から対象物体の画像データが存在する画像領域を切り出すことで、切り出し画像を生成する。その後、虹彩解析部Ｆ３は、切り出し画像との類似度が基準類似度以上となる第１マッチング画像が右虹彩画像に含まれるかをパターンマッチングにより探索する。更に、虹彩解析部Ｆ３は、切り出し画像との類似度が基準類似度以上となる第２マッチング画像が左虹彩画像に含まれるかをパターンマッチングにより探索する。行動評価部Ｆ４は、第１マッチング画像が右虹彩画像に含まれ且つ第２マッチング画像が左虹彩画像に含まれる場合に、右虹彩画像及び左虹彩画像の夫々に対象物体の像が含まれると判断できる。
【0123】
＜＜第４実施例＞＞
第４実施例を説明する。顔向き検出処理を非実行とする変形も可能である。顔向き検出処理を非実行とする場合にあっても、対象物体の画像データを含む車外画像データＯＵＴと車内画像データＩＮとに基づき、右虹彩画像及び左虹彩画像の夫々に対象物体の像が含まれるかを検出すれば良い。そして、右虹彩画像及び左虹彩画像の夫々に対象物体の像が含まれると検出されたならば、行動評価部Ｆ４は、運転手が対象物体の存在位置を含む対象領域を目視していると判断できる。顔向き検出処理を実行することで顔向きが正面向きであると検出された場合、又は、顔向き検出処理を実行したものの顔向きを検出できなかった場合も、顔向き検出処理を非実行とした場合と同様であって良い。
第４実施例を説明する。顔向き検出処理を非実行とする変形も可能である。顔向き検出処理を非実行とする場合にあっても、対象物体の画像データを含む車外画像データＯＵＴと車内画像データＩＮとに基づき、右虹彩画像及び左虹彩画像の夫々に対象物体の像が含まれるかを検出すれば良い。そして、右虹彩画像及び左虹彩画像の夫々に対象物体の像が含まれると検出されたならば、行動評価部Ｆ４は、運転手が対象物体の存在位置を含む対象領域を目視していると判断できる。顔向き検出処理を実行することで顔向きが正面向きであると検出された場合、又は、顔向き検出処理を実行したものの顔向きを検出できなかった場合も、顔向き検出処理を非実行とした場合と同様であって良い。
【0124】
＜＜第５実施例＞＞
第５実施例を説明する。
第５実施例を説明する。
【0125】
十分に広い画角を有する単一のカメラをカメラブロック２００に設けておき、当該単一のカメラにて画像データＩＮ及びＯＵＴを生成するようにしても良い。
【0126】
また、中心軸ＣＸより右側の領域であって且つ車室内及び車外の双方の領域を視野に収めた第１カメラと、中心軸ＣＸより左側の領域であって且つ車室内及び車外の双方の領域を視野に収めた第２カメラと、がカメラブロック２００に設けられていて良い。この場合、第１カメラにて生成される画像データには、中心軸ＣＸより右側に位置する各被写体の画像データが含まれる。第２カメラにて生成される画像データには、中心軸ＣＸより左側に位置する各被写体の画像データが含まれる。そうすると、第１カメラにて生成される画像データに、車内画像データＩＮの一部と車外画像データＯＵＴの一部（車外領域ＲＲの画像データ）が含まれる。第２カメラにて生成される画像データに、車内画像データＩＮの残部と車外画像データＯＵＴの残部（車外領域ＬＬの画像データ）が含まれる。つまり、第１カメラの生成画像データにおける一部と第２カメラの生成画像データにおける一部とを合成することで車内画像データＩＮが得られる。第１カメラの生成画像データにおける他の一部と第２カメラの生成画像データにおける他の一部とを合成することで車外画像データＯＵＴが得られる。第１カメラの視野と第２カメラの視野は部分的に重複していても良く、重複箇所における各カメラの画像データに基づき、画像データの合成が行われる。
【0127】
車載装置１００は運転手用の行動評価装置を内包する。運転手用の行動評価装置は、画像データＩＮ及びＯＵＴを取得するインターフェース１３０と、画像データＩＮ及びＯＵＴに基づく処理を行う演算処理部１１０と、を備える。但し、カメラブロック２００から車載装置１００に送れられた画像データＩＮ及びＯＵＴがインターフェース１３０を通じて演算処理部１１０にて取得される、と考えることもできる。このような考えが採用された場合、演算処理部１１０のみにて運転手用の行動評価装置が形成される、と解され得る。
【0128】
本発明の実施形態にて述べた任意の方法をコンピュータに実行させるプログラム、及び、そのプログラムを記録した記録媒体であって且つコンピュータ読み取り可能な不揮発性の記録媒体は、本発明の実施形態の範囲に含まれる。本発明の実施形態における任意の処理は、半導体集積回路等のハードウェア、上記プログラムに相当するソフトウェア、又は、ハードウェアとソフトウェアの組み合わせによって実現されて良い。ここにおけるソフトウェア及びハードウェアは夫々に複数あっても良い。
【0129】
本発明の一側面に係るプログラムは、車両の運転手における両目の虹彩の撮影結果を含む車内画像データ、及び、車外の撮影結果を含む車外画像データに基づき、前記運転手の車外に対する目視行動を評価する方法を処理部（１１０）に実行させるプログラムである。
【0130】
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
【符号の説明】
【0131】
１ 車両
１００ 車載装置
１１０ 演算処理部
１２０ メモリ
１３０ インターフェース
１４０ 記録媒体
２００ カメラブロック
２１０ 車内用カメラ
２２０ 車外用カメラ
３００ センサブロック
３１０ 走行センサ群
３２０ ＧＰＳセンサ
３３０ Ｇセンサ
ＩＮ 車内画像データ
ＯＵＴ 車外画像データ
ＲＲ 右側の車外領域
ＬＬ 左側の車外領域
ＯＲ 右側画像データ
ＯＬ 左側画像データ
２２０Ｒ ライトカメラ
２２０Ｌ レフトカメラ
２２０Ｆ フロントカメラ
Ｆ１ 顔向き検出部
Ｆ２ 車外物体用の画像解析部（車外解析部）
Ｆ３ 虹彩用の画像解析部（虹彩解析部）
Ｆ４ 行動評価部
Ｆ５ 記録管理部
Ｐ１ 被写体（第１対象物体）
Ｐ２ 被写体（第２対象物体）
Ｐ１ａ、Ｐ１ｃ、Ｐ１ｄ 像
Ｐ２ａ、Ｐ２ｃ、Ｐ２ｄ 像
ＬＳ１、ＬＳ２ 視線
６００、６００＿Ｒ、６００＿Ｌ 車内カメラ画像
６１０、６３０ 右虹彩画像
６２０、６４０ 左虹彩画像
７００ 車外カメラ画像
７１０ 右車外画像
７２０ 左車外画像
Ｐ１ａ＿ｒ、Ｐ２ａ＿ｒ 抽出領域
Ｐ１ａ＿ｔ、Ｐ２ａ＿ｔ 特徴点情報
Ｐ１ｃ＿ｔ、Ｐ１ｄ＿ｔ、Ｐ２ｃ＿ｔ、Ｐ２ｄ＿ｔ 特徴点情報
１００ 車載装置
１１０ 演算処理部
１２０ メモリ
１３０ インターフェース
１４０ 記録媒体
２００ カメラブロック
２１０ 車内用カメラ
２２０ 車外用カメラ
３００ センサブロック
３１０ 走行センサ群
３２０ ＧＰＳセンサ
３３０ Ｇセンサ
ＩＮ 車内画像データ
ＯＵＴ 車外画像データ
ＲＲ 右側の車外領域
ＬＬ 左側の車外領域
ＯＲ 右側画像データ
ＯＬ 左側画像データ
２２０Ｒ ライトカメラ
２２０Ｌ レフトカメラ
２２０Ｆ フロントカメラ
Ｆ１ 顔向き検出部
Ｆ２ 車外物体用の画像解析部（車外解析部）
Ｆ３ 虹彩用の画像解析部（虹彩解析部）
Ｆ４ 行動評価部
Ｆ５ 記録管理部
Ｐ１ 被写体（第１対象物体）
Ｐ２ 被写体（第２対象物体）
Ｐ１ａ、Ｐ１ｃ、Ｐ１ｄ 像
Ｐ２ａ、Ｐ２ｃ、Ｐ２ｄ 像
ＬＳ１、ＬＳ２ 視線
６００、６００＿Ｒ、６００＿Ｌ 車内カメラ画像
６１０、６３０ 右虹彩画像
６２０、６４０ 左虹彩画像
７００ 車外カメラ画像
７１０ 右車外画像
７２０ 左車外画像
Ｐ１ａ＿ｒ、Ｐ２ａ＿ｒ 抽出領域
Ｐ１ａ＿ｔ、Ｐ２ａ＿ｔ 特徴点情報
Ｐ１ｃ＿ｔ、Ｐ１ｄ＿ｔ、Ｐ２ｃ＿ｔ、Ｐ２ｄ＿ｔ 特徴点情報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
