特許 7438045 情報記録装置、情報記録方法及び情報記録システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-15

(45)【発行日】2024-02-26

(54)【発明の名称】情報記録装置、情報記録方法及び情報記録システム

(51)【国際特許分類】

   G08G 1/00 20060101AFI20240216BHJP

   H04N 7/18 20060101ALI20240216BHJP

   G07C 5/08 20060101ALI20240216BHJP

【ＦＩ】

G08G1/00 D

H04N7/18 U

G07C5/08

【請求項の数】 8

(21)【出願番号】P 2020121633

(22)【出願日】2020-07-15

(65)【公開番号】P2022018497

(43)【公開日】2022-01-27

【審査請求日】2023-03-31

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】小野 紘平

(72)【発明者】

【氏名】藤井 亮太

【審査官】高島 壮基

(56)【参考文献】

【文献】特開２０２０－１０６９４６（ＪＰ，Ａ）

【文献】特開２００８－３０４３３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｒ １／２０－ １／３１

Ｇ０７Ｃ ５／０８

Ｇ０８Ｇ １／００－９９／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

少なくとも自車両の周囲を撮像した画像である車両周辺画像と、自車両の乗員を撮像した画像とを含む画像情報を取得する車両関連情報取得部と、
前記画像情報に基づいて自車両の乗員の視線位置を検出し、検出した視線位置に基づく視線情報と、前記視線位置に対応する物体情報とを取得する視線情報取得部と、
同じ時刻における前記視線情報と前記物体情報とを関連付けて記録する記録部と
を備えることを特徴とする情報記録装置。

【請求項2】

前記視線情報取得部は、前記視線情報として、視線の移動量又は視線の移動速度を取得する
ことを特徴とする請求項１に記載の情報記録装置。

【請求項3】

前記視線情報取得部は、前記視線の移動量又は前記視線の移動速度が予め設定されている閾値を超えている場合、前記視線位置にある物体の物体情報を取得し、
前記記録部は、同じ時刻における前記視線情報と前記物体情報とを関連付けて記録する場合、前記物体情報の取得元となった前記車両周辺画像をさらに関連付けて記録する
ことを特徴とする請求項２に記載の情報記録装置。

【請求項4】

前記視線情報取得部は、前記視線位置が、一定期間、前記乗員が注視すべき領域である注視領域の外に位置している場合、前記視線位置にある物体の物体情報を前記車両周辺画像から取得し、
前記記録部は、同じ時刻における前記視線情報と前記物体情報とを関連付けて記録する場合、前記物体情報の取得元となった前記車両周辺画像をさらに関連付けて記録する
ことを特徴とする請求項１に記載の情報記録装置。

【請求項5】

前記車両関連情報取得部は、自車両の加速度を取得し、
前記視線情報取得部は、前記車両関連情報取得部により取得された加速度が予め設定された閾値を超える場合、前記視線位置にある物体の物体情報を前記車両周辺画像から取得し、
前記記録部は、同じ時刻における前記視線情報と前記物体情報とを関連付けて記録する場合、前記物体情報の取得元となった前記車両周辺画像をさらに関連付けて記録する
ことを特徴とする請求項１に記載の情報記録装置。

【請求項6】

前記物体情報は、物体の名称、動き、及び自車両と前記物体との位置関係のうちの少なくともいずれかを含む
ことを特徴とする請求項１～５のいずれか一項に記載の情報記録装置。

【請求項7】

少なくとも自車両の周囲を撮像した画像である車両周辺画像と、自車両の乗員を撮像した画像とを含む画像情報を取得する工程と、
前記画像情報に基づいて自車両の乗員の視線位置を検出し、検出した視線位置に基づく視線情報と、前記視線位置に対応する物体情報とを取得する工程と、
同じ時刻における前記視線情報と前記物体情報とを関連付けて記録する工程と
を含むことを特徴とする情報記録方法。

【請求項8】

情報記録装置と画像管理装置とを備える画像記録システムであって、
前記情報記録装置は、
少なくとも自車両の周囲を撮像した画像である車両周辺画像と、自車両の乗員を撮像した画像とを含む画像情報を取得する車両関連情報取得部と、
前記画像情報に基づいて自車両の乗員の視線位置を検出し、検出した視線位置に基づく視線情報と、前記視線位置に対応する物体情報とを取得する視線情報取得部と、
同じ時刻における前記視線情報と前記物体情報とを関連付けて記録する記録部と、
前記視線情報及び前記物体情報を前記画像管理装置にアップロードする通信部と
を備え、
前記画像管理装置は、
前記情報記録装置ごとに、同じ時刻における前記視線情報及び前記物体情報を関連付けて記録する記録部
を備えることを特徴とする情報記録システム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の実施形態は、情報記録装置、情報記録方法及び情報記録システムに関する。

【背景技術】

【0002】

従来、車載カメラで車両の周囲を撮像し、映像データを記録するドライブレコーダが知られている（例えば、特許文献１参照）。ドライブレコーダを搭載した車両が関与する交通事故が発生した場合、ドライブレコーダに記録された映像データを用いることにより、交通事故の原因を特定することが容易となる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－２４４４７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ドライブレコーダに記録された画像等の情報は、事後的に参照することができる。このため、ドライブレコーダに記録された情報の中から所望の画像等を容易に検索できる機能等、記録された情報を参照する際のユーザの利便性を向上できる機能の提供が望まれている。例えばドライブレコーダに記録された画像等の情報を様々な観点で検索できる機能が望まれている。しかし、特許文献１に係るドライブレコーダは、車両の運転者の挙動に基づいて画像等の情報を検索することができない。

【0005】

実施形態の一態様は、上記に鑑みてなされたものであって、記録された情報の中から運転手の挙動に基づく情報を検索できる情報記録装置、情報記録方法及び情報記録システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決し、目的を達成するために、実施形態の一態様に係る情報記録装置は、車両関連情報取得部と、視線情報取得部と、記録部とを備える。車両関連情報取得部は、少なくとも自車両の周囲を撮像した画像である車両周辺画像と、自車両の乗員を撮像した画像とを含む画像情報を取得する。視線情報取得部は、前記画像情報に基づいて自車両の乗員の視線位置を検出し、検出した視線位置に基づく視線情報と、前記視線位置に対応する物体情報とを取得する。記録部は、同じ時刻における前記視線情報と前記物体情報とを関連付けて記録する。

【発明の効果】

【0007】

実施形態の一態様によれば、記録された情報の中から運転手の挙動に基づく情報を検索できる情報記録装置、情報記録方法、及び情報記録システムを提供できる。

【図面の簡単な説明】

【0008】

【図1】図１は、第１の実施形態に係る情報記録システムの概略構成を示す図である。

【図2】図２は、第１の実施形態に係る情報記録装置による処理の概要を説明するための図である。

【図3】図３は、第１の実施形態に係る情報記録装置による処理の概要を説明するための図である。

【図4】図４は、第１の実施形態に係る情報記録装置の構成例を示すブロック図である。

【図5】図５は、第１の実施形態に係る視線の移動量と移動速度の算出例の説明に用いる図である。

【図6】図６は、第１の実施形態に係る注視領域の一例を示す図である。

【図7】図７は、第１の実施形態に係る画像検索結果の一例を示す図である。

【図8】図８は、第１の実施形態に係る画像検索結果の一例を示す図である。

【図9】図９は、第１の実施形態に係る画像検索結果の一例を示す図である。

【図10】図１０は、第１の実施形態に係る情報記録装置の処理手順の一例を示すフローチャートである。

【図11】図１１は、第１の実施形態に係る情報記録装置の処理手順の一例を示すフローチャートである。

【図12】図１２は、第２の実施形態に係る情報記録装置の構成例を示す図である。

【図13】図１３は、変形例に係る情報記録装置の処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本願の開示する情報記録装置、情報記録方法及び情報記録システムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0010】

＜第１の実施形態＞
＜１．概要＞
第１の実施形態に係る情報記録システムの概要について、図１～図３を用いて説明する。図１は、第１の実施形態に係る情報記録システムの概略構成を示す図である。図２及び図３は、第１の実施形態に係る情報記録装置による処理の概要を説明するための図である。

【0011】

図１に示すように、第１の実施形態に係る情報記録システムＳＹＳは、情報記録装置１００Ｘ、１００Ｙ、及び画像管理装置２００を備える。情報記録装置１００Ｘは車両ＶＸに搭載され、情報記録装置１００Ｙは車両ＶＹに搭載される。情報記録装置１００Ｘ，１００Ｙ、及び画像管理装置２００は、ネットワークＮに接続される。情報記録装置１００Ｘ，１００Ｙは、ネットワークＮを介して、画像管理装置２００と相互に通信する。また、情報処理装置４００は、ネットワークＮを介して、画像管理装置２００と相互に通信する。

【0012】

以下では、車両ＶＸ，ＶＹを特に区別して説明する必要がない車両全般を指す場合には「車両Ｖ」と記載し、情報記録装置１００Ｘ、１００Ｙを特に区別して説明する必要がない情報記録装置全般を指す場合、「情報記録装置１００」と記載する。また、図１では、説明の便宜上、情報記録システムＳＹＳが情報記録装置１００Ｘ、１００Ｙ、並びに画像管理装置２００を備える例を示すが、図１に示す画像記録システムＳＹＳの構成要素の数は、図１に示す例に限られず、図１に示す場合よりも多くの情報記録装置１００や画像管理装置２００を含んでよい。

【0013】

情報記録装置１００は、車両Ｖに搭載されるドライブレコーダである。情報記録装置１００は、フロントカメラ１３１及び車室カメラ１３２により撮像された画像情報を取得し、データとして記録する。フロントカメラ１３１は、車両Ｖの周囲を撮像する。フロントカメラ１３１は、車両Ｖの周囲を撮像可能な位置に取り付けられる。情報記録装置１００は、フロントカメラ１３１により撮像された車両周辺画像を記録する。車室カメラ１３２は、車両Ｖの乗員を撮像する。車室カメラ１３２は、車両の乗員である運転者の顔を撮像可能な位置に取り付けられる。情報記録装置１００は、車載カメラにより撮像された乗員の画像（例えば、乗員である運転者の顔画像）を取得する。情報記録装置１００は、カメラの他、加速度センサやＧＰＳ（Global Positioning System）センサ、ジャイロセンサといった各種センサ、記憶デバイス、マイクロコンピュータなどを有してもよい。なお、以下の説明において、特に説明のない限り、乗員は、車両Ｖの運転者である。車両Ｖの運転者とは、車両Ｖの運転席に着座した乗員である。

【0014】

情報記録装置１００は、図１に示すように、画像情報を取得する（ステップＳ１－１）。画像情報は、例えば、自車両の一例である車両Ｖの周囲を撮像した画像である車両周辺画像と、車両Ｖの運転者の顔画像とを有する。図２に示すように、車両周辺画像及び運転者の顔画像は、予め設定されているフレームレート（例えば、Ｔ秒ごと）に従って取得される。予め設定されているフレームレートが３０ｆｐｓ（frames per second）である場合、図２に示すＴ（秒）は、約３３ミリ秒である。

【0015】

また、情報記録装置１００は、図１に示すように、ステップＳ１－１で取得した画像情報に基づいて、視線情報を取得する（ステップＳ１－２）。情報記録装置１００は、画像情報に含まれる車両Ｖの運転者の顔画像から、視線情報を取得する。情報記録装置１００は、図２に示すように、予め設定される時刻ごと、例えば、３Ｔ秒ごとに視線情報を取得する。

【0016】

視線情報は、車両Ｖの運転者の視線位置に基づく情報である。視線は、運転者が見ている方向である。視線位置は、運転者の視線が注がれている位置である。つまり、視線位置は、視点と言い換えることができる。視線情報は、視線の移動量又は視線の移動速度のいずれかの情報を含む。視線の移動量は、運転者の視線位置の移動量に基づいて、例えば、視線の移動量を推定した値である。また、視線の移動速度は、前述の視線の移動量をある単位時間あたりの移動量に換算した値である。視線情報は、その数値によりランキング化しておいて、視線の移動量又は視線の移動速度に紐付く情報検索時に利用することもできる。

【0017】

また、情報記録装置１００は、ステップＳ１－２で取得した視線情報と、画像情報に含まれる車両周辺画像とに基づいて物体情報を取得する（ステップＳ１－３）。物体情報は、車両Ｖの乗員の視線位置に対応する物体の情報である。視線位置は、車両Ｖの運転者の視線が注がれている位置である。つまり、物体情報は、車両Ｖの運転者が見ている物体の名称等の情報である。物体情報は、車両Ｖの運転者の視線位置にある物体の名称、物体の色、物体の動きをキーワード化した情報や、車両Ｖと物体との位置関係を示す情報などを有する。

【0018】

情報記録装置１００は、視線情報が後述する予め規定される条件を満たすとき、車両Ｖの運転者の視線位置にある物体の物体情報を取得する。予め規定される条件とは、例えば、車両Ｖの運転者の視線の移動量又は移動速度が予め定められた閾値を超えたという条件や、車両Ｖの運転者の視線位置が注視領域から外れたという条件である。

【0019】

注視領域は、注視すべき領域として予め設定される領域である。例えば、車両Ｖが前方へ直進している場合、注視領域は、車両Ｖが走行する車線のうち、車両Ｖの進行方向前方に対応する領域である。

【0020】

図３の左図は、運転者Ｄｒの視線ＶＬが注視領域に注がれている場合を示している。一方、図３の右図は、運転者Ｄｒの視線ＶＬが移動して注視領域から外れ、物体５００に注がれている例を示している。例えば、図３において、予め規定される条件を満たす場合、情報記録装置１００は、車両Ｖの運転者の視線位置ＶＰにある物体５００の物体情報を取得する。例えば、情報記録装置１００は、運転者Ｄｒの視線の移動量又は移動速度が予め定められた閾値を超えた場合、物体５００の物体情報として「黒い猫」を取得する。また、情報記録装置１００は、運転者Ｄｒの視線位置が注視領域から外れた場合、物体５００の物体情報として「黒い猫」を取得する。

【0021】

なお、情報記録装置１００は、ステップＳ１－１の画像取得、ステップＳ１－２の視線情報の取得、及びステップＳ１－３の物体情報の取得を同期させて実行する。例えば、情報記録装置１００は、フロントカメラ１３１により生成された画像フレームの番号を視線情報に記録する、又は画像情報と視線情報との各々に時刻情報を付加する等の任意の方法で各情報の取得を同期させる。

【0022】

図１に戻り、情報記録装置１００は、同じ時刻における視線情報と物体情報とを関連付けて記録する（ステップＳ１－４）。例えば、情報記録装置１００は、車両Ｖの運転者の視線の移動量又は移動速度が予め定められた閾値を超えた場合、図２に示すように、同じ時刻における視線情報と物体情報とを関連付けて記録する。ここで、同じ時刻における視線情報と物体情報とは、前述のステップＳ１―２で取得した視線情報の取得元となる運転者の顔画像と、前述のステップＳ１０３で取得した物体情報の取得元となる車両周辺画像の撮影時刻とが一致することを意味する。例えば、図２において、時刻Ｔ３、Ｔ６に撮影された顔画像に基づいて取得された視線情報と、時刻Ｔ３、Ｔ６に撮影された車両周辺画像に基づいて取得された物体情報とは、同じ時刻における視線情報と物体情報である。なお、情報記録装置１００は、同じ時刻における視線情報と物体情報とを関連付けて記録する際、物体情報の取得元となった車両周辺画像をさらに関連付けて記録してもよい。視線情報、物体情報、及び車両周辺画像は、タイムスタンプ又はフロントカメラ１３１により生成された画像フレームの番号等の固有な識別情報により関連付けできる。なお、必要に応じて、運転者の顔画像をさらに関連付けて記録してもよい。

【0023】

情報記録装置１００は、同じ時刻における視線情報と物体情報とを関連付けて記録する。このため、事後的に、車両Ｖの運転者が大きく視線を動かした原因となる物体を確認することができる。また、情報記録装置１００が同じ時刻における視線情報と物体情報と画像情報とを関連付けて記録する場合、事後的に、車両Ｖの運転者が大きく視線を動かした原因となる物体の画像を確認できる。

【0024】

情報記録装置１００は、同じ時刻における視線情報と、物体情報とを、画像管理装置２００に送信する（ステップＳ２－１）。なお、ステップＳ２－１において、情報記録装置１００は、同じ時刻における視線情報と、物体情報と、画像情報とを相互に関連付けて記録している場合、視線情報、物体情報及び画像情報を画像管理装置２００に送信してもよい。この場合、情報記録装置１００は、画像情報に含まれる車両周辺画像のみを画像管理装置２００に送信してもよい。また、情報記録装置１００は、視線情報、物体情報、及び画像情報を画像管理装置２００にアップロードした後、アップロードした情報を削除してもよい。これにより、記憶領域の圧迫を防止できる。また、情報記録装置１００は、画像管理装置２００にアップロードした情報を直ちに削除するのではなく、アップロード後、一定時間の経過後に削除してもよい。これにより、アップロードした情報をある程度バックアップできる。

【0025】

画像管理装置２００は、サーバ装置やクラウドシステムにより実現される。画像管理装置２００は、例えば、情報記録装置１００が記録した情報の検索に特化したポータルサイトとして機能する。画像管理装置２００は、記録部２０１及び検索部２０２を備える。記録部２０１は、情報記録装置１００からアップロードされた情報を記録する。なお、記録部２０１は、情報記録装置１００が備える記録部１７３と同様の機能を備えてもよい。検索部２０２は、情報記録装置１００が備える検索部１７４と同様の機能を備える。また、画像管理装置２００は、情報記録装置１００等と通信するための通信部等の当然に備えることが想定される機能部を有する。

【0026】

画像管理装置２００は、情報記録装置１００によって送信された視線情報と、物体情報とを関連付けて記録する（ステップＳ２－２）。画像管理装置２００は、情報記録装置１００から送信された視線情報及び物体情報を、同じ時刻の情報で予め相互に関連付けられた情報としてそのまま記録する。画像管理装置２００には、情報記録装置１００と同一の情報が記録される。

【0027】

なお、画像管理装置２００は、情報記録装置１００によって送信された視線情報と、物体情報と、画像情報とを取得してもよい。この場合、画像管理装置２００は、情報記録装置１００から送信された視線情報、物体情報、及び画像情報を、同じ時刻の情報で予め相互に関連付けられた情報としてそのまま記録する。

【0028】

図１に戻り、情報処理装置４００は、情報取得要求を画像管理装置２００に送信する（ステップＳ２－３）。画像管理装置２００は、情報処理装置４００からの求めに応じ、記録された視線情報と、物体情報とを検索する（ステップＳ２－４）。画像管理装置２００は、検出された視線情報と、物体情報とを、情報処理装置４００に提供する（ステップＳ２－５）。情報処理装置４００は、ユーザＵにより操作、制御される。このため、ユーザＵは、情報処理装置４００に提供された情報を確認することができる。

【0029】

上述してきたように、情報記録システムＳＹＳにより、記録された情報の中から運転手の挙動に基づく情報の検索が実現される。本実施形態において、運転手の挙動は、例えば視線の動きである。情報処理装置４００のユーザＵは、視線の移動量又は移動速度を検索キーをとして、記録された情報の中から、車両Ｖの運転者が大きく視線を動かした原因となる物体の物体情報等を検索できる。また、例えば、情報処理装置４００のユーザＵは、物体の名称、物体の色、物体の動き、又は車両Ｖと物体との位置関係などを検索キーとして、記録された情報の中から所望の情報を検索できる。

【0030】

＜２．情報記録装置の構成＞
第１の実施形態に係る情報記録装置１００の構成について、図４を用いて説明する。図４は、情報記録装置の構成例を示すブロック図である。なお、図４に示すブロック図では、本願が開示する実施形態の特徴を説明するために必要な構成要素を機能ブロックで表しており、一般的な構成要素についての記載を省略している。

【0031】

換言すれば、図４に示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各構成要素の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

【0032】

図４に示す情報記録装置１００は、例えば、前方に向かって走行する車両Ｖ（図１参照）に搭載される。つまり、情報記録装置１００は、運転者の視線が車両Ｖの前方を向いた状態で走行する車両Ｖに搭載される。情報記録装置１００は、図１～図３を用いて前述した情報記録方法を実現する情報記録装置として機能する。

【0033】

図４に示すように、情報記録装置１００は、入力部１１０と、出力部１２０と、フロントカメラ１３１と、車室カメラ１３２と、加速度センサ１４０と、通信部１５０と、記憶部１６０と、制御部１７０とを備える。

【0034】

入力部１１０は、車両Ｖの乗員などから、記録された情報の検索要求の入力を受け付けて、制御部１７０に入力する。入力部１１０は、車両Ｖの運転者どの操作を可能とするボタンやタッチパネルなどの入力デバイスにより実現される。

【0035】

出力部１２０は、車両Ｖの運転者などの操作に応じて、記録された情報の検索結果を出力する。出力部１２０は、ディスプレイなどの表示デバイスにより実現される。

【0036】

フロントカメラ１３１は、車両Ｖの周囲を撮像する。フロントカメラ１３１は、車両Ｖの周囲を撮像可能な位置に取り付けられる。フロントカメラ１３１は、車両Ｖの周囲を撮像した車両周辺画像を電子的に取得する。フロントカメラ１３１は、例えば、レンズと撮像素子とを備える単眼カメラなどで実現される。

【0037】

車室カメラ１３２は、車両Ｖの乗員を撮像する。車室カメラ１３２は、車両の乗員である運転者の顔を撮像可能な位置に取り付けられる。情報記録装置１００は、車載カメラにより撮像された運転者の顔画像を電子的に取得する。

【0038】

加速度センサ１４０は、情報記録装置１００が搭載される車両Ｖの加速度を検出する。

【0039】

なお、情報記録装置１００は、フロントカメラ１３１、車室カメラ１３２、及び加速度センサ１４０を備えなくてもよい。この場合、情報記録装置１００は、情報記録装置１００とは別に、車両Ｖに搭載されたフロントカメラ、車室カメラ、及び加速度センサと接続される。また、情報記録装置１００は、接続されるフロントカメラ及び車室カメラから画像情報を取得する。また、情報記録装置１００は、接続される加速度センサから車両Ｖに作用する加速度を取得する。

【0040】

通信部１５０は、インターネットなどのネットワークと有線又は無線で接続され、ネットワークを介して、車両Ｖの外部に位置する通信装置との間で各種情報を送受信する。このとき、通信部１５０は、たとえばＮＩＣ（Network Interface Card）等によって実現される。

【0041】

記憶部１６０は、制御部１７０が実行する各機能を実現するための各種プログラム及びデータを記憶する。記憶部１６０は、例えば、フラッシュメモリ等の不揮発性メモリやデータフラッシュ、ハードディスクドライブといった記憶デバイスにより実現される。

【0042】

記憶部１６０は、カメラ情報格納部１６１と、乗員情報格納部１６２と、閾値情報格納部１６３と、記録情報格納部１６４とを有する。

【0043】

カメラ情報格納部１６１に記憶されるカメラ情報は、情報記録装置１００が設置される車両Ｖ１の車種や、撮像部１３０として機能するカメラの設置位置および取付角度に関する情報等を含む。カメラの設置位置および取付角度に関する情報は、車両空間におけるカメラの３次元位置を規定する３次元座標、カメラの撮像方向を３次元座標で示すデータ、カメラの画角、及び焦点距離等で構成される。なお、カメラの設置位置および取付角度に関する情報は、フロントカメラ１３１により撮像される画像の仮想面を特定する際に用いられる。

【0044】

乗員情報格納部１６２に記憶される乗員情報は、車両Ｖ１に乗車することが想定されている各乗員に関する情報を含む。乗員情報は、乗員に一意に割り当てられるユーザＩＤと、着座位置ごとに乗員の情報に応じて予め算出される乗員の目の位置の情報とが相互に対応付けられた情報である。目の位置は、瞳の位置であってもよい。乗員情報は、車両Ｖの乗員の視野範囲を特定する際に利用される。なお、乗員情報は、乗員の属性である性別や年齢、乗員の身体情報である身長、座高、視力などを含んでよい。また、乗員情報は、各乗員が有する免許証の目の位置を特定するためのパラメータ情報を含んでよい。このように、乗員情報格納部１６２に記憶される乗員情報が複数の目の位置の情報を有することによって、乗員と、乗員の目の位置とを正確に関連付けることができる。

【0045】

閾値情報格納部１６３に記憶される閾値情報は、視線の移動量又は視線の移動速度を判定するための閾値、視線位置が注視領域から外れている時間を判定するための閾値、及び車両Ｖに加わる加速度を判定するための閾値などを含む。

【0046】

記録情報格納部１６４に記録された情報は、視線情報と物体情報とを関連付けて構成される。また、記録された情報は、画像情報と視線情報と物体情報とを関連付けて構成されてもよい。

【0047】

制御部１７０は、情報記録装置１００の各部を制御するコントローラである。制御部１７０は、車両関連情報取得部１７１と、視線情報取得部１７２と、記録部１７３と、検索部１７４とを備える。

【0048】

制御部１７０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）のプロセッサにより実現される。制御部１７０は、情報記録装置１００の内部に記憶された各種プログラムを、プロセッサがＲＡＭ（Random Access Memory）等を作業領域として実行することにより、情報記録装置１００の各種処理を実現する。なお、制御部１７０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

【0049】

これら機能ブロックはソフトウェアブロックであってもよいし、ハードウェアブロックであってもよい。例えば、上述の機能ブロックが、それぞれ、ソフトウェア（マイクロプログラムを含む。）で実現される１つのソフトウェアモジュールであってもよいし、半導体チップ（ダイ）上の１つの回路ブロックであってもよい。勿論、各機能ブロックがそれぞれ１つのプロセッサ又は１つの集積回路であってもよい。機能ブロックの構成方法は任意である。なお、制御部１７０は上述の機能ブロックとは異なる機能単位で構成されていてもよい。

【0050】

車両関連情報取得部１７１は、フロントカメラ１３１により撮像された車両周辺画像及び車室カメラ１３２により撮像された運転者の顔画像を含む画像情報を取得する。また、車両関連情報取得部１７１は、加速度センサ１４０により検出された車両Ｖに作用する加速度を取得する。

【0051】

＜２－１．視線情報の取得＞
視線情報取得部１７２は、車両Ｖ１の乗員の視線を検出する。視線情報取得部１７２は、検出した視線に基づいて視線情報を取得する。視線情報は、例えば、視線の移動量又は移動速度のいずれか一方を含む。なお、視線の移動量又は移動速度は、視線の移動方向を含んでよい。

【0052】

＜２－１－１．視線の移動量と移動速度＞
視線の移動量と移動速度の算出について、具体的に説明する。図５は、第１の実施形態に係る視線の移動量と移動速度の算出例の説明に用いる図である。視線情報取得部１７２は、乗員情報格納部１４２に記憶されている運転者の情報を参照し、運転者のユーザＩＤに関連付けられた運転者の目の位置ＵＰＶを取得する。また、視線情報取得部１７２は、車室カメラ１３２によって撮像された運転者の顔画像から、運転者の目の特徴点（虹彩、目頭、目尻）や口の特徴点（口角）などを取得し、取得した特徴点に基づいて、運転者の視線方向Ｄ２を導出する。

【0053】

視線情報取得部１７２は、カメラ情報を参照し、図５に示すように、車両空間におけるフロントカメラ１３１の３次元位置１３１Ｐから、フロントカメラ１３１の撮像方向Ｄ１に沿って、距離ｄだけ離れた位置に仮想面Ｒｃを設定する。仮想面Ｒｃは、仮想面Ｒｃに含まれる点Ｒｐと、仮想面Ｒｃの法線ベクトルにより特定される。仮想面Ｒｃの法線ベクトルは、車両前方の点ＥＰを通り、車両Ｖの前後方向に延びる仮想的な軸ＰＬに平行である。フロントカメラ１３１により撮像された車両周辺画像は、仮想面Ｒｃに投影される。

【0054】

本来撮像された画像に映し出される物体までの距離はそれぞれ異なる。しかし、一般的に、単眼カメラにより撮影された画像フレームは、カメラから物体までの距離の情報を含まない。そこで、フロントカメラ１３１により撮像された画像フレームに写っている物体が仮想面Ｒｃに存在すると仮定する。これにより、視線情報取得部１７２は、物体までの距離を考慮することなく、運転者の視線位置が仮想面Ｒｃ上を動くものとして視線情報を取得する。なお、図５及び後述する図６に示す仮想面Ｒｃは、運転者の目の位置ＵＰＶから所定の距離にある平面である。図５及び図６においては、説明の便宜上、仮想面Ｒｃの一部を示している。

【0055】

視線情報取得部１７２は、視線方向Ｄ２と仮想面Ｒｃとの交点ＣＰを、運転者の視線位置と推定する。視線情報取得部１７２は、交点ＣＰの移動量に基づいて、視線の移動量を推定する。視線情報取得部１７２は、交点ＣＰの移動方向を、視線の移動方向と推定する。視線情報取得部１７２は、視線の移動量と視線の移動方向とに基づいて、視線の移動速度を推定する。

【0056】

＜２－１－２．注視領域と脇見運転＞
まず、注視領域について説明する。視線情報取得部１７２は、仮想面Ｒｃに対して、車両Ｖの運転者が注視すべき仮想的な注視領域を固定領域として設定する。図６は、第１の実施形態に係る注視領域の一例を示す図である。例えば、車両Ｖが前方に直進している場合、視線情報取得部１７２は、図６に示す注視領域ＧＡを、車両Ｖの前方中央付近（仮想面Ｒｃの中央付近）に設定する。車両Ｖが後方に直進している場合、視線情報取得部１７２は、注視領域ＧＡを、車両Ｖ１の後方中央付近（仮想面Ｒｃの中央付近）に設定する。

【0057】

視線情報取得部１７２は、視線位置、すなわち、視線方向Ｄ２と仮想面Ｒｃとの交点ＣＰが、注視領域ＧＡの外に位置するか否かを判定する。視線情報取得部１７２は、予め設定される一定期間、視線方向Ｄ２と仮想面Ｒｃとの交点ＣＰが、注視領域ＧＡの外に位置していると判定した場合、車両Ｖの運転者が脇見運転をしていると判断する。そして、視線情報取得部１７２は、脇見運転検出時に交点ＣＰに位置する物体、すなわち、視線位置にある物体の物体情報を取得する。

【0058】

＜２－１－３．視線位置がルームミラーにある場合＞
運転者がルームミラー等を見ている場合も考えられる。この場合、運転者の視線位置は、注視領域ＧＡの外に位置する。視線位置がルームミラーやサイドミラーに位置する場合、視線情報取得部１７２は、運転者がルームミラーやサイドミラーに映し出された領域を見ていると判断する。例えば、運転者がルームミラーやサイドミラーに頻繁に見ている場合、車両Ｖの運転者が後方車両による煽り運転などを受けている可能性がある。このため、視線情報取得部１７２は、一定時間、予め設定される閾値よりも多く、視線位置がルームミラーやサイドミラーに位置する場合、視線位置にある物体、すなわち、ルームミラーやサイドミラーに映し出された物体の物体情報を取得する。ルームミラー及びサイドミラーがスマートミラーである場合、スマートミラーと運転者の視線方向との交点位置にある物体をスマートミラーに写す画像から検出する。ルームミラー及びサイドミラーが可視光を反射する鏡である場合、ルームミラーやサイドミラーを撮像する車室カメラにより生成される画像から、鏡上の視点位置にある物体を検出する。

【0059】

＜２－１－４．車両バック時＞
運転者が、例えば車両Ｖのリアウィンドウを見ながら車両Ｖをバックさせる場合、視線情報取得部１７２は、前述の方法と同様にして、運転操作中の運転者の顔画像に基づき運転者の視線位置を検出できる。具体的には、視線情報取得部１７２は、車両がバックする際の車両後方を撮像するリアカメラの撮像方向に沿って所定の距離離れた位置に仮想面を設定する。視線情報取得部１７２は、この仮想面に、リアカメラにより撮像される画像フレームに写っている物体が存在すると仮定する。そして、視線情報取得部１７２は、仮想面と運転者の視線方向との交点を視線位置と推定する。視線情報取得部１７２は、かかる交点の移動量に基づいて、視線の移動量等を推定する。なお、車両Ｖの後部座席側から運転席側を撮像する車室カメラを設置してもよい。また、運転者が、ルームミラー及びサイドミラーを見ながら車両Ｖをバックさせる場合、前述した方法と同様の方法により運転者の視線位置にある物体を検出できる。例えば、ルームミラー及びサイドミラーがスマートミラーである場合、スマートミラーと運転者の視線方向との交点位置にある物体をスマートミラーに写す画像から検出する。ルームミラー及びサイドミラーが可視光を反射する鏡である場合、ルームミラーやサイドミラーを撮像する車載カメラにより取得される画像情報から、鏡上の視点位置にある物体を検出する。

【0060】

＜２－２．物体情報の取得＞
また、視線情報取得部１７２は、検出した運転者の視線位置にある物体の物体情報を取得する。視線情報取得部１７２が検出する視線位置にある物体の物体情報は、乗員の視野範囲にある物体の物体情報である。物体情報は、運転者が見ている物体の物体情報と言い換えることができる。視線情報取得部１７２は、物体情報として、物体の名称並びに動き、車両Ｖと物体との相対的な位置関係等を取得できる。

【0061】

視線情報取得部１７２は、運転者の視線の移動量又は移動速度が予め定められた閾値を超えた場合、運転者の視線位置にある物体の物体情報を取得する。具体的には、視線情報取得部１７２は、仮想面Ｒｃに投影される物体を、乗員が認識可能な物体として特定する。視線情報取得部１７２は、かかる物体のうち、視線方向Ｄ２と仮想面Ｒｃとの交点ＣＰに位置する物体を視線位置にある物体として特定する。視線情報取得部１７２は、視線位置にある物体の物体情報を取得する。

【0062】

なお、仮想面Ｒｃに映し出された物体の名称並びに動きは、画像認識処理により、予め識別される。物体の名称（例えば、猫）は、テンプレートマッチングによる画像認識や、ＣＮＮ（Convolutional Neural Network）などを用いた機械学習により獲得されるＡＩ（学習済みモデル）による推論結果などにより特定できる。物体の名称の識別結果として、「黒い猫」などのように、形容詞を含んだ情報がラベリングされてもよい。また、認識した物体が車両である場合、物体の名称の識別結果として、車種やナンバープレートの情報がラベリングされてもよい。

【0063】

物体の動きは、時系列的に連続する複数の画像フレームを解析することにより特定できる。例えば、直前の画像フレームに含まれていない物体が、直後の画像フレームに含まれる場合、物体の動きが「飛び出し」であると特定する。

【0064】

また、車両Ｖと、仮想面Ｒｃに映し出された物体との位置関係（例えば、自車両の左前方）は、例えば、仮想面Ｒｃに映し出された物体の位置等に基づいて、予め取得できる。

【0065】

上述してきたように、運転者の視線位置に対応する物体に対して、複数の情報がラベリングされることにより、例えば、「黒い猫の自車両の左前方からの飛び出し」というような具体的なキーワードにより記録された情報の検索が可能となる。

【0066】

記録部１７３は、視線情報取得部１７２により取得された視線情報及び物体情報を、対応する視線情報及び物体情報に対して付与する固有の識別情報により関連付けて、記録情報格納部１４４に記録する。固有の識別情報としては、ＩＤやタイムスタンプなどが考えられる。固有の識別情報としてタイムスタンプを用いる場合、タイムスタンプは、車両周辺画像のフレームが撮影された時刻を示してもよい。また、記録部１７３は、不図示のＧＰＳ（Global Positioning System）等により取得した車両の位置情報を固有情報として用い、視線情報及び物体情報を関連付けて記録してもよい。なお、記録部１７３は、視線情報と物体情報とを関連付けて記録する場合、視線情報と物体情報の取得元となる画像情報を関連付けて、記録情報格納部１４４に記録してもよい。例えば、画像情報のうち車両周辺画像を関連付ける場合、視線情報と、物体情報と、車両周辺画像とを関連付ける識別情報として、ＩＤやタイプスタンプの代わりに、物体情報の取得元となった車両周辺画像の画像フレームのフレーム番号を利用してもよい。

【0067】

＜２－３．記録された情報の検索＞
検索部１７４は、記録情報格納部１６４に記録された情報の中から車両Ｖの乗員などの検索要求に対応する車両周辺画像等の情報を検索する。図７～図９は、第１の実施形態に係る画像検索結果の一例を示す図である。

【0068】

検索部１７４は、「視線の移動量」を検索条件として受け付けた場合、図７に示すように、記録された物体情報の中から、最上位から５位までの視線の移動量に関連付けられた物体情報を検索する。そして、検索部１７４は、図７に示すように、検索結果を出力部１２０に出力する。図７に示す例では、視線の移動量が最上位から５位までの物体の名称が、視線の移動量が多いものから順に降順となるように並べて提供される場合を示している。

【0069】

また、検索部１７４は、「視線の移動量」及び「画像」を検索条件として受け付けた場合、記録された車両周辺情報の中から、最上位から５位までの視線の移動量に関連付けられた車両周辺画像を検索する。そして、検索部１７４は、図８に示すように、検索結果を出力部１２０に出力する。図８に示す例では、視線の移動量が最上位から５位までの画像ファイルが、視線の移動量が多いものから順に降順となるように並べて提供される場合を示している。

【0070】

また、検索部１７４は、「視線の移動速度」、「画像」、及び「猫」を検索条件として受け付けると、記録された「猫」がラベリングされた車両周辺画像の中から、最上位から５位までの視線の移動速度に関連付けられた車両周辺画像を検索する。そして、検索部１７４は、図９に示すように、検索結果を出力部１２０に出力する。図９に示す例では、「猫」がラベリングされた画像ファイルが、視線の移動速度が降順となるように並べて提供される場合を示している。なお、図７～図９において、検索部１７４は、検索結果を降順ではなく昇順に並べて出力してもよい。

【0071】

＜３．情報記録装置による処理＞
＜３－１．視線の移動量又は移動速度に基づく処理＞
図１０を用いて、視線の移動量又は移動速度に基づく情報記録装置１００の処理手順について説明する。図１０は、第１の実施形態に係る情報記録装置の処理手順の一例を示すフローチャートである。図１０に示す処理手順は、情報記録装置１００が備える制御部１７０により実行される。図１０に示す処理手順は、情報記録装置１００の稼働中、繰り返し実行される。

【0072】

図１０に示すように、車両関連情報取得部１７１は、画像情報を取得する（ステップＳ１０１）。視線情報取得部１７２は、視線情報を取得する（ステップＳ１０２）。

【0073】

視線情報取得部１７２は、視線の移動量又は視線の移動速度が閾値を超えているか否かを判定する（ステップＳ１０３）。

【0074】

視線情報取得部１７２は、視線の移動量又は視線の移動速度が閾値を超えていると判定した場合（ステップＳ１０３，Ｙｅｓ）、視線情報取得部１７２は、視線位置にある物体の物体情報を取得する（ステップＳ１０４）。

【0075】

そして、記録部１７３は、同じ時刻における視線情報と物体情報とを関連付けて記録し（ステップＳ１０５）、図１０に示す処理を終了する。

【0076】

上記ステップＳ１０３において、車両関連情報取得部１７１が、視線の移動量又は視線の移動速度が閾値を超えていないと判定した場合（ステップＳ１０３，Ｎｏ）、記録部１７３は、画像情報の記録し、図１０に示す処理を終了する。

【0077】

＜３－２．注視領域に基づく処理＞
図１１を用いて、注視領域に基づく情報記録装置１００の処理手順について説明する。図１１は、第１の実施形態に係る情報記録装置の処理手順の一例を示すフローチャートである。図１１に示す処理手順は、情報記録装置１００が備える制御部１７０により実行される。図１１に示す処理手順は、情報記録装置１００の稼働中、繰り返し実行される。

【0078】

図１１に示すように、車両関連情報取得部１７１は、画像情報を取得する（ステップＳ２０１）。続いて、視線情報取得部１７２は、視線情報を取得した後（ステップＳ２０２）、一定期間、視線位置（交点ＣＰ）が注視領域ＧＡから外れた状態であるか否かを判定する（ステップＳ２０３）。

【0079】

視線情報取得部１７２は、一定期間、視線位置が注視領域から外れた状態であると判定した場合（ステップＳ２０３，Ｙｅｓ）、視線位置にある物体の物体情報を取得する（ステップＳ２０４）。

【0080】

記録部１７３は、同じ時刻における視線情報と物体情報とを関連付けて記録し（ステップＳ２０５）、図１１に示す処理を終了する。

【0081】

上記ステップＳ２０３において、視線情報取得部１７２が、一定期間、視線位置が注視領域から外れた状態ではないと判定した場合（ステップＳ２０３，Ｎｏ）、記録部１７３は、画像情報を記録し、図１１に示す処理を終了する。なお、ステップＳ２０５において、記録部１７３は、視線情報と物体情報とを関連付けて記録する際、画像情報をさらに関連付けて記録してもよい。

【0082】

上述してきたように、情報記録装置１００は、画像情報に基づいて、車両Ｖ１の乗員の視線位置を検出する。情報記録装置１００は、検出した視線位置に基づく視線情報を取得する。情報記録装置１００は、視線位置に対応する物体情報を取得する。情報記録装置１００は、同じ時刻における視線情報と物体情報とを対応付けて記録する。これにより、記録された情報の中から運転者の挙動、特に、視線の移動に基づく情報を検索できる。

【0083】

また、情報記録装置１００は、視線情報として、視線の移動量又は視線の移動速度を取得する。これにより、運転者の視線の移動の度合いを特定できる。

【0084】

また、情報記録装置１００は、視線の移動量又は視線の移動速度が予め定められた閾値を超える場合、視線位置にある物体情報を取得する。そして、情報記録装置１００は、視線情報と物体情報とを関連付けて記録する。これにより、運転者の視線が一定の基準を超えて移動した原因を特定できる。

【0085】

また、情報記録装置１００は、車両Ｖ１の乗員の視線位置（交点ＣＰ）が、一定期間、注視領域ＧＡの外に位置している場合、視線位置にある物体の物体情報を取得する。そして、情報記録装置１００は、視線情報と物体情報とを関連付けて記録する。これにより、車両Ｖの運転者の視線位置（交点ＣＰ）が、急激に動いた場合、運転者の視線位置が急激に動いた原因となる物体を確認できる。また、車両Ｖの運転者の視線位置が、一定期間、注視領域ＧＡの外に位置している場合、すなわち、脇見運転を判断できる場合、脇見運転の原因を容易に特定できる。

【0086】

また、情報記録装置１００は、物体情報として、物体の名称や動き、車両Ｖ１と物体との位置関係を識別して、記録する。これにより、情報記録装置１００は、物体の名称や動き、車両Ｖ１と物体との位置関係をキーワード化することにより、記録された情報をより容易に検索できる。

【0087】

＜４．第２の実施形態＞
上述の第１の実施形態では、情報記録装置１００と、画像管理装置２００とを備える情報記録システムＳＹＳについて説明した。第２の実施形態に係る情報記録装置１００は、第１の実施形態とは異なり、画像管理装置２００とは連携しない。すなわち、第２の実施形態に係る情報記録装置１００は、ネットワークや他の機器に接続しないで、単独で動作する。図１２は、第２の実施形態に係る情報記録装置の構成例を示す図である。

【0088】

図１２に示すように、情報記録装置３００は、入力部３１０と、出力部３２０と、フロントカメラ３３１と、車室カメラ３３２と、加速度センサ３４０と、通信部３５０と、記憶部３６０と、制御部３７０とを備える。情報記録装置３００が備える各部は、第１の実施形態に係る情報記録装置１００と基本的には同様の構成を備える。第３の実施形態における制御部３７０は、第１の実施形態における制御部１７０に対応する。ただし、情報記録装置３００が備える制御部３７０の検索部３７４が、図１に示す画像管理装置２００が備える検索部２０２の機能を兼ね備える点が、情報記録装置１００の制御部１７０が備える検索部１７４とは相違する。

【0089】

具体的には、情報記録装置３００の検索部３７４は、情報処理装置４００からの求めに応じ、記録された視線情報と、物体情報とを検索する。検索部３７４は、検出された視線情報と、物体情報とを、情報処理装置４００に提供する。

【0090】

これにより、情報記録装置３００は、第１の実施形態に係る情報記録システムＳＹＳにおける画像管理装置２００と同じように、例えば、情報処理装置４００からの要求に応じて、記録されたデータの中から検索条件に合致する情報を提供できる。

【0091】

＜５．変形例＞
＜５－１．第１の変形例＞
第１の実施形態に係る情報記録装置１００の第１の変形例について説明する。第１の変形例では、情報記録装置１００は、車両Ｖの加速度が予め設定される閾値を超えているか否かに基づいて、車両Ｖの運転者の視線位置に対応する物体の物体情報を取得する。

【0092】

以下、車両の加速度が閾値を超えているか否かを判定する処理を導入した場合の処理手順の一例を説明する。図１３は、変形例に係る情報記録装置の処理手順の一例を示すフローチャートである。図１３に示す処理手順は、情報記録装置１００が備える制御部１７０により実行される。図１３に示す処理手順は、情報記録装置１００の稼働中、繰り返し実行される。

【0093】

図１３に示すように、車両関連情報取得部１７１は、画像情報を取得する（ステップＳ３０１）。視線情報取得部１７２は、取得した画像情報に基づいて視線情報を取得する（ステップＳ３０２）。

【0094】

車両関連情報取得部１７１は、加速度センサ１４０から車両Ｖに加わる加速度を取得し、取得した加速度の絶対値が加速度判定用閾値を超えているか否かを判定する（ステップＳ３０３）。

【0095】

車両関連情報取得部１７１は、車両Ｖに加わる加速度の絶対値が加速度判定用閾値を超えているか否かに基づいて、車両Ｖの急ブレーキ、他車両への衝突、他車両からの衝突等の発生を推定する。

【0096】

車両関連情報取得部１７１が取得した加速度の絶対値が閾値を超えていると判定した場合（ステップＳ３０３，Ｙｅｓ）、視線情報取得部１７２は、視線位置にある物体の物体情報を取得する（ステップＳ３０４）。

【0097】

そして、記録部１７３は、同じ時刻における視線情報と物体情報とを関連付けて記録し（ステップＳ３０５）、図１３に示す処理を終了する。

【0098】

上記ステップＳ３０３において、車両関連情報取得部１７１が取得した車両Ｖの加速度が加速度判定用閾値を超えていないと判定した場合（ステップＳ３０３，Ｎｏ）、記録部１７３は、画像情報を記録し、図１３に示す処理を終了する。

【0099】

図１３に示す処理手順によれば、情報記録装置１００は、車両Ｖの加速度に基づいて、視線位置にある物体の物体情報を取得する。そして、情報記録装置１００は、同じ時刻の視線情報と物体情報とを関連付けて記録する。このため、車両Ｖ１の急ブレーキ、他車両への衝突、他車両からの衝突等が発生した原因を特定するための情報を検索できる。

【0100】

＜５－２．第２の変形例＞
第１の実施形態に係る情報記録装置１００の第２の変形例について説明する。上述した第１の実施形態では、情報記録装置１００が視線情報と物体情報とを取得する例を示したが、本発明はこれに限られない。例えば、情報記録装置１００は、視線情報と物体情報とを取得しなくてもよい。この場合、情報記録装置１００は、画像情報を画像管理装置２００に送信する。画像管理装置２００は受信した画像情報に基づいて、視線情報と物体情報とを取得する。つまり、画像管理装置２００は、前述の視線情報取得部１７２と同様の処理を実行する。これにより、情報記録装置１００の処理負荷を軽減できる。

【0101】

＜５－３．第３の変形例＞
第１の実施形態に係る情報記録装置１００の第３の変形例について説明する。上述した第１の実施形態では、情報記録装置１００、画像管理装置２００が、画像情報として車両Ｖの周囲を撮像した画像である車両周辺画像と、車両Ｖの乗員である運転者の顔画像とを記録する例を説明したが、本発明はこれに限られない。情報記録装置１００、画像管理装置２００は、画像情報のうち、車両周辺画像のみを保存し、運転者の顔画像は保存しなくてもよい。これにより、本変形例の情報記録装置１００及び画像管理装置２００は、必要な画像情報の記録領域の低減と、情報記録装置１００と画像管理装置２００の間の通信容量の低減と、を達成することができる。

【0102】

＜５－４．第４の変形例＞
第１の実施形態に係る情報記録装置１００の第４の変形例について説明する。上述した第１の実施形態において、情報記録装置１００は、車室カメラ１３２が生成した画像に基づいて、運転者の視線位置にある物体の物体情報を取得してもよい。なお、物体情報の検出方法は、前述した第１の実施形態と同様である。これにより、情報記録装置１００は、運転者の視線位置にある物体として、スマートフォンや、携帯電話などを検出できる。これにより、情報記録装置１００は、運転者による脇見運転の原因を特定できる。

【0103】

＜６．その他＞
上記実施形態において、処理内容を矛盾させない領域で適宜組み合わせることが可能である。また、上記実施形態において処理手順を示すフローチャート（図１０、図１１、図１３参照）に示された各ステップは、適宜順序を変更することが可能である。

【0104】

また、上記実施形態において、情報記録装置１００において実行されるプログラムをインターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。また、情報記録装置１００において実現される各種処理機能を、ＯＳ（Operating System）やアプリケーションソフト、ファームウェアとの協働により実現してもよい。この場合には、ＯＳ以外の部分を媒体に格納して配布してもよいし、ＯＳ以外の部分をサーバ装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。

【0105】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0106】

１００（１００Ｘ，１００Ｙ）、３００ 情報記録装置
１１０ 入力部
１２０ 出力部
１３１ フロントカメラ
１３２ 車室カメラ
１４０ 加速度センサ
１５０ 通信部
１６０ 記憶部
１６１ カメラ情報格納部
１６２ 乗員情報格納部
１６３ 閾値情報格納部
１６４ 記録情報格納部
１７０ 制御部
１７１ 車両関連情報取得部
１７２ 視線情報取得部
１７３ 記録部
１７４ 検索部
２００ 画像管理装置
２０１ 記録部
２０２ 検索部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】