ホーム > 特許ランキング > 株式会社トランストロン
特許7423426運転能力低下検知装置、運転能力低下検知システム及び運転能力低下検知プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-19
(45)【発行日】2024-01-29
(54)【発明の名称】運転能力低下検知装置、運転能力低下検知システム及び運転能力低下検知プログラム
(51)【国際特許分類】
G08G 1/00 20060101AFI20240122BHJP
G07C 5/00 20060101ALI20240122BHJP
B60W 50/12 20120101ALI20240122BHJP
B60W 40/08 20120101ALI20240122BHJP
【ＦＩ】
G08G1/00 D
G07C5/00 Z
B60W50/12
B60W40/08
【請求項の数】
9
(21)【出願番号】P 2020096851
(22)【出願日】2020-06-03
(65)【公開番号】P2021189941
(43)【公開日】2021-12-13
【審査請求日】2023-01-06
(73)【特許権者】
【識別番号】391008559
【氏名又は名称】株式会社トランストロン
(74)【代理人】
【識別番号】100170070
【弁理士】
【氏名又は名称】坂田 ゆかり
(72)【発明者】
【氏名】黒瀬 義敏
【審査官】山田 由希子
(56)【参考文献】
【文献】特開２０１７－０６２７６３（ＪＰ，Ａ）
【文献】特開２００８－１７０４４７（ＪＰ，Ａ）
【文献】特開２０１７－１１７０９６（ＪＰ，Ａ）
【文献】国際公開第２０２０／０８５２２３（ＷＯ，Ａ１）
【文献】特開２０１８－１０６２４０（ＪＰ，Ａ）
【文献】特開２０２０－０７１７７４（ＪＰ，Ａ）
【文献】特開２０１０－１２３０４６（ＪＰ，Ａ）
【文献】特開２０１３－１９６０４２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６０Ｗ １０／００－１０／３０
Ｂ６０Ｗ ３０／００－６０／００
Ｇ０１Ｃ ２１／００－２１／３６
Ｇ０１Ｃ ２３／００－２５／００
Ｇ０７Ｃ １／００－１５／００
Ｇ０８Ｇ １／００－９９／００
Ｇ０９Ｂ ２３／００－２９／１４
(57)【特許請求の範囲】
【請求項1】
車両に設けられており、前記車両の走行中に前記車両の外部の画像を連続して撮像する撮像部と、前記車両に設けられており、前記車両の減速を含む車両挙動を検知する車両挙動検知部と、
前記画像に基づいて、信号の色の変化を含むイベントを抽出し、前記イベントが発生した時刻であるイベント発生時刻及び同時に発生した前記イベントの数であるイベント数を取得するイベント情報取得部と、
前記車両挙動に基づいて、前記車両の運転者が前記車両に対して動作を行った時刻である行動時刻を取得する行動情報取得部と、
前記イベント発生時刻及び前記行動時刻に基づいて、前記イベントが発生してから前記運転者の行動までの時間差であるタイムラグを取得する時間差取得部と、
前記イベント数と、前記タイムラグとに基づいて、前記イベント数と前記タイムラグとの相関係数を求め、当該相関係数に基づいて運転者の運転能力低下の程度を判定する相関取得部と、
を備えたことを特徴とする運転能力低下検知装置。
【請求項2】
前記イベント情報取得部は、連続して第１イベントと第２イベントが発生した場合に、前記第１イベントと前記第２イベントとの間隔が所定時間以内である場合には、前記第１イベントと前記第２イベントとが同時に発生したとして前記イベント数を取得することを特徴とする請求項１に記載の運転能力低下検知装置。
【請求項3】
情報を格納する記憶部を備え、前記イベント情報取得部は、前記イベントと、前記イベント発生時刻と、前記イベント数とを関連付けたイベント情報を前記記憶部に記憶し、
前記行動情報取得部は、前記行動時刻と前記運転者が前記車両に対して動作を行った内容を関連付けた行動情報を前記記憶部に記憶し、
前記時間差取得部は、前記イベント情報に含まれる任意の前記イベントである特定イベントに対応する行動である特定行動を前記行動情報から抽出し、前記特定行動が前記特定イベントに対応する行動であるかどうかを判定し、前記特定行動が前記特定イベントに対応する行動である場合に前記タイムラグを算出する
ことを特徴とする請求項１又は２に記載の運転能力低下検知装置。
【請求項4】
信号、道路標識及び道路標示の少なくとも１つの位置情報を含む地図情報と、前記車両の現在位置を示す現在位置情報と、を取得するカーナビゲーション装置を備え、前記イベント情報取得部は、前記画像、前記地図情報及び前記現在位置情報に基づいて前記イベント発生時刻及び前記イベント数を判定する
ことを特徴とする請求項１から３のいずれか一項に記載の運転能力低下検知装置。
【請求項5】
前記イベント情報取得部は、前記車両挙動検知部で取得された情報に基づいて前記車両の不具合を検知し、当該車両の不具合を前記イベントとして抽出することを特徴とする請求項１から４のいずれか一項に記載の運転能力低下検知装置。
【請求項6】
前記車両は、スピーカを有し、前記イベント情報取得部は、前記スピーカからの音声出力を前記イベントとして抽出する
ことを特徴とする請求項１から５のいずれか一項に記載の運転能力低下検知装置。
【請求項7】
前記運転者の動きを含む運転者情報を取得する運転者情報検知部を備え、前記行動情報取得部は、前記運転者情報を取得した時刻を前記行動時刻として取得する
ことを特徴とする請求項１から６のいずれか一項に記載の運転能力低下検知装置。
【請求項8】
車両に設けられており、前記車両の走行中に前記車両の外部の画像を連続して撮像する撮像部と、前記車両に設けられており、前記車両の減速を含む車両挙動を検知する車両挙動検知部と、
前記車両に設けられた車載装置であって、前記撮像部及び前記車両挙動検知部と接続された車載装置と、
前記車載装置と接続された情報処理装置と、
を備えた運転能力低下検知システムであって、
前記車載装置は、
前記画像に基づいて、信号の色の変化を含むイベントを抽出し、前記イベントが発生した時刻であるイベント発生時刻及び同時に発生した前記イベントの数であるイベント数を取得するイベント情報取得部と、
前記車両挙動に基づいて、前記車両の運転者が前記車両に対して動作を行った時刻である行動時刻を取得する行動情報取得部と、を有し、
前記情報処理装置は、
前記イベント発生時刻及び前記行動時刻に基づいて、前記イベントが発生してから前記運転者の行動までの時間差であるタイムラグを取得する時間差取得部と、
前記イベント数と、前記タイムラグとに基づいて、前記イベント数と前記タイムラグとの相関係数を求め、当該相関係数に基づいて運転者の運転能力低下の程度を判定する相関取得部と、を有する
ことを特徴とする運転能力低下検知システム。
【請求項9】
車両に設けられており、前記車両の走行中に前記車両の外部の画像を連続して撮像する撮像部と、前記車両に設けられており、前記車両の減速を含む車両挙動を検知する車両挙動検知部と接続され、前記画像に基づいて、信号の色の変化を含むイベントを抽出し、前記イベントが発生した時刻であるイベント発生時刻及び同時に発生した前記イベントの数であるイベント数を取得し、前記車両挙動に基づいて、前記車両の運転者が前記車両に対して動作を行った時刻である行動時刻を取得する車載装置との間で通信可能に接続されるコンピュータを、前記イベント発生時刻及び前記行動時刻に基づいて、前記イベントが発生してから前記運転者の行動までの時間差であるタイムラグを取得する時間差取得部、
前記イベント数と、前記タイムラグとに基づいて、前記イベント数と前記タイムラグとの相関係数を求め、当該相関係数に基づいて運転者の運転能力低下の程度を判定する相関取得部、
として機能させるための運転能力低下検知プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転能力低下検知装置、運転能力低下検知システム及び運転能力低下検知プログラムに関する。
【背景技術】
【0002】
特許文献１には、運転負荷が予め設定された運転負荷範囲内であると判定された走行区間に対応する運転操作量の情報に基づき、運転操作量の乱れ量である操作状態量を算出する車両用運転状態監視装置及び車両用運転状態監視システムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１３－１９６０４２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
高齢者の認知機能が低下すると、運転能力が低下し、突発的なことに対応できないおそれがある。しかしながら、特許文献1に記載の発明では、運転負荷が予め設定された運転負荷範囲内である場合の運転操作量の情報に基づいて、監視対象者の車両の運転状態を監視しているため、突発的なことが発生した場合に顕著に表れる運転能力低下を検知することはできない。
【0005】
本発明はこのような事情を鑑みてなされたもので、運転者の運転能力低下を正確に検知することができる運転能力低下検知装置、運転能力低下検知システム及び運転能力低下検知プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様にかかる運転能力低下検知装置は、車両に設けられており、前記車両の走行中に前記車両の外部の画像を連続して撮像する撮像部と、前記車両に設けられており、前記車両の減速を含む車両挙動を検知する車両挙動検知部と、前記画像に基づいて、信号の色の変化を含むイベントを抽出し、前記イベントが発生した時刻であるイベント発生時刻及び同時に発生した前記イベントの数であるイベント数を取得するイベント情報取得部と、前記車両挙動に基づいて、前記車両の運転者が前記車両に対して動作を行った時刻である行動時刻を取得する行動情報取得部と、前記イベント発生時刻及び前記行動時刻に基づいて、前記イベントが発生してから前記運転者の行動までの時間差であるタイムラグを取得する時間差取得部と、前記イベント数と、前記タイムラグとに基づいて、前記イベント数と前記タイムラグとの相関係数を求める相関取得部と、を備えたことを特徴とする。これにより、運転者の運転能力低下を正確に検知することができる。特に、イベント数とタイムラグとの相関係数に基づいて運転者の運転能力低下を検知するため、運転者の体調不良や運転能力の個人差に影響を受けることなく、運転能力低下を検知することができる。
【0007】
前記イベント情報取得部は、連続して第１イベントと第２イベントが発生した場合に、前記第１イベントと前記第２イベントとの間隔が所定時間以内である場合には、前記第１イベントと前記第２イベントとが同時に発生したとして前記イベント数を取得する。これにより、正確なイベント数を把握することができる。よって、運転者の運転能力低下を正確に検知することができる。
【0008】
情報を格納する記憶部を備え、前記イベント情報取得部は、前記イベントと、前記イベント発生時刻と、前記イベント数とを関連付けたイベント情報を前記記憶部に記憶し、前記行動情報取得部は、前記行動時刻と前記運転者が前記車両に対して動作を行った内容を関連付けた行動情報を前記記憶部に記憶し、前記時間差取得部は、前記イベント情報に含まれる任意の前記イベントである特定イベントに対応する行動である特定行動を前記行動情報から抽出し、前記特定行動が前記特定イベントに対応する行動であるかどうかを判定し、前記特定行動が前記特定イベントに対応する行動である場合に前記タイムラグを算出する。これにより、正確なタイムラグを算出することができる。
【0009】
信号、道路標識及び道路標示の少なくとも１つの位置情報を含む地図情報と、前記車両の現在位置を示す現在位置情報と、を取得するカーナビゲーション装置を備え、前記イベント情報取得部は、前記画像、前記地図情報及び前記現在位置情報に基づいて前記イベント発生時刻及び前記イベント数を判定する。これにより、信号や交差点等の出現をイベントとして検知することができる。
【0010】
前記イベント情報取得部は、前記車両挙動検知部で取得された情報に基づいて前記車両の不具合を検知し、当該車両の不具合を前記イベントとして抽出してもよい。また、前記車両は、スピーカを有し、前記イベント情報取得部は、前記スピーカからの音声出力を前記イベントとして抽出してもよい。これにより、車両の不具合や音出力等の運転者に影響を及ぼす事項をイベントとして検知することができる。
【0011】
前記運転者の動きを含む運転者情報を取得する運転者情報検知部を備え、前記行動情報取得部は、前記運転者情報を取得した時刻を前記行動時刻として取得する。これにより、車両挙動からは知ることができなかった運転者の行動等を取得することができる。
【0012】
本発明の他態様にかかる運転能力低下検知システムは、車両に設けられており、前記車両の走行中に前記車両の外部の画像を連続して撮像する撮像部と、前記車両に設けられており、前記車両の減速を含む車両挙動を検知する車両挙動検知部と、前記車両に設けられた車載装置であって、前記撮像部及び前記車両挙動検知部と接続された車載装置と、前記車載装置と接続された情報処理装置と、を備えた運転能力低下検知システムであって、前記車載装置は、前記画像に基づいて、信号の色の変化を含むイベントを抽出し、前記イベントが発生した時刻であるイベント発生時刻及び同時に発生した前記イベントの数であるイベント数を取得するイベント情報取得部と、前記車両挙動に基づいて、前記車両の運転者が前記車両に対して動作を行った時刻である行動時刻を取得する行動情報取得部と、を有し、前記情報処理装置は、前記イベント発生時刻及び前記行動時刻に基づいて、前記イベントが発生してから前記運転者の行動までの時間差であるタイムラグを取得する時間差取得部と、前記イベント数と、前記タイムラグとに基づいて、前記イベント数と前記タイムラグとの相関係数を求める相関取得部と、を有することを特徴とする。
【0013】
本発明の他態様にかかる運転能力低下検知プログラムは、車両に設けられており、前記車両の走行中に前記車両の外部の画像を連続して撮像する撮像部と、前記車両に設けられており、前記車両の減速を含む車両挙動を検知する車両挙動検知部と接続され、前記画像に基づいて、信号の色の変化を含むイベントを抽出し、前記イベントが発生した時刻であるイベント発生時刻及び同時に発生した前記イベントの数であるイベント数を取得し、前記車両挙動に基づいて、前記車両の運転者が前記車両に対して動作を行った時刻である行動時刻を取得する車載装置との間で通信可能に接続されるコンピュータを、前記イベント発生時刻及び前記行動時刻に基づいて、前記イベントが発生してから前記運転者の行動までの時間差であるタイムラグを取得する時間差取得部、前記イベント数と、前記タイムラグとに基づいて、前記イベント数と前記タイムラグとの相関係数を求める相関取得部、として機能させる。運転能力低下検知プログラムは、コンピュータ可読、かつ非一時的な記録媒体に格納されて提供されてもよい。
【発明の効果】
【0014】
本発明によれば、運転者の運転能力低下を正確に検知することができる。
【図面の簡単な説明】
【0015】
【図1】発明の実施の形態に係る運転能力低下検知システム１０の一例を示す概略図である。
【図2】運転能力低下検知システム１０の一例を示す構成ブロック図である。
【図3】車両挙動検知部３３の概略構成を示すブロック図である。
【図4】運転者情報検知部３４の概略構成を示すブロック図である。
【図5】制御部の構成例を表す機能ブロック図である。
【図6】イベント及びイベント発生時刻の一例を示す図である。
【図7】イベント情報の一例を示す図である。
【図8】行動情報の一例を示す図である。
【図9】第１時間差情報の一例を示す図である。
【図10】第２時間差情報の一例を示す図である。
【図11】イベント数とタイムラグとの関係の一例を示す図である。
【図12】イベント数とタイムラグとの関係の一例を示すグラフである。
【発明を実施するための形態】
【0016】
以下、添付図面を参照して、本発明の実施形態（以下、「本実施形態」という。）について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。
【0017】
図１は、本発明の実施の形態に係る運転能力低下検知システム１０の一例を示す概略図である。運転能力低下検知システム１０は、主として、車両３に搭載された車載装置１及び各種センサ（後に詳述）と、車両３と異なる位置（例えば、建物の内部）に設けられた情報処理装置２と、外部装置４と、情報通信装置５とを含んで構成されている。
【0018】
外部装置４は、例えば、パーソナルコンピュータや携帯端末であり、運転者への伝達事項を音声で入力可能な装置である。情報通信装置５は、例えば、他の車両や道路に設けられており、他の車両の位置情報、速度情報等を出力する装置である。
【0019】
車載装置１と情報処理装置２、車載装置１と外部装置４、車載装置１と情報通信装置５は、移動体通信網又は無線通信等の通信ネットワークを介して互いに通信可能に構成されている。
【0020】
図２は、運転能力低下検知システム１０の一例を示す構成ブロック図である。車載装置１は、主として、制御部１１と、記憶部１２と、通信部１３と、スピーカ１４と、マイクロホン１５とを有する。また、情報処理装置２は、主として、制御部２１と、記憶部２２と、通信部２３とを有する。
【0021】
制御部１１、２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプログラム制御デバイスである。制御部１１は記憶部１２に格納されたプログラムを実行し、制御部２１は記憶部２２に格納されたプログラムを実行する。
【0022】
制御部１１は、各種センサから取得した情報、通信部１３を介して外部装置４及び情報通信装置５から入力された情報、スピーカ１４からの出力、マイクロホン１５からの入力等に基づいてイベントを抽出し、イベントが発生した時刻（以下、イベント発生時刻という）及び同時に発生したイベントの数（以下、イベント数）を取得する。ここで、イベントとは、運転中に発生する状況の変化であり、信号、交差点、横断歩道、道路標識、道路標示、電光掲示板等の出現、信号の色の変化、歩行者や二輪車の車道への飛びだし、車両３の不具合、音声出力等を含む。
【0023】
また、制御部１１は、各種センサから取得した情報に基づいて、車両３の運転者が車両３に対して動作を行った時刻（以下、行動時刻という）を取得する。
【0024】
また、制御部１１は、通信部１３を介して情報通信装置５から出力された位置情報、速度情報を取得し、位置情報、速度情報に基づいて、他の車両に関する音声データを生成する。例えば、制御部１１は、入力された位置情報、速度情報に基づいて他の車両が近づいてきていると判定すると、「右前方の走行車両に注意してください」等の音声データを生成する。
【0025】
また、制御部１１は、生成した音声データや、通信部１３を介して外部装置４から入力された音声データをスピーカ１４に出力する。制御部１１が行う処理については、後に詳述する。
【0026】
制御部２１は、イベント発生時刻及び行動時刻に基づいて、イベントが発生してから運転者の行動までの時間差（以下、タイムラグという）を取得する。また、制御部２１は、イベント数とタイムラグとの相関係数を求める。制御部２１が行う処理については、後に詳述する。
【0027】
記憶部１２、２２は、ディスクデバイスやメモリデバイス等を含み、それぞれ制御部１１、２１によって実行されるプログラムや各種の情報を格納している。また、記憶部１２、２２は、それぞれ制御部１１、２１のワークメモリとしても動作する。さらに、記憶部１２、２２は、制御部１１、２１における処理結果の情報を記憶する。
【0028】
なお、制御部１１、２１によって実行されるプログラムは、インターネット等の通信ネットワークを介して車載装置１や情報処理装置２に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
【0029】
通信部１３、２３は、外部の装置と通信するための通信インターフェース等を含む。通信部１３は、通信ネットワークを介して情報処理装置２、外部装置４や情報通信装置５との間で通信を行う。また、通信部１３は、制御部１１から入力される指示に従って、記憶部１２に記憶されたデータ等を情報処理装置２に送出する。通信部２３は、通信ネットワークを介して車載装置１から受信したデータを制御部２１に出力する。
【0030】
スピーカ１４は、制御部１１から入力された音声データを音に変換する。マイクロホン１５は、スピーカ１４から出力された音を取得する。マイクロホン１５で取得された音は、制御部１１に入力される。
【0031】
なお、図２では、車載装置１、情報処理装置２が有する主要構成の一部を示しているに過ぎず、車載装置１、情報処理装置２は、情報処理装置が一般的に備える他の構成を備えることができる。
【0032】
車両３には、車載装置１以外に、各種センサである撮像部３１、カーナビゲーション装置３２、車両挙動検知部３３及び運転者情報検知部３４が設けられている。
【0033】
撮像部３１は、例えば、ドライブレコーダであり、ＣＭＯＳイメージセンサ等の撮像素子を有する。撮像部３１は、車両３の走行中に車両３の外部の画像を連続して撮像する。撮像部３１は、車両３の前部に設けられており、車両３の前方を撮像する前方カメラや、車両３の側面に設けられており、車両３の側方を撮像する側方カメラや、車両３の後部に取り付けられており、車両３の後方を撮像する後方カメラを含んでもよい。撮像部３１で連続的に撮像された画像は、制御部１１に入力される。
【0034】
カーナビゲーション装置３２は、道路、交差点、信号、道路標識、道路標示、区画線、電光掲示板、看板、横断歩道等の位置情報を含む地図情報を保有している。なお、道路標識とは、道路の脇や上部に設置されている表示部材であり、道路標示とは、道路上に記載された記号や文字であり、区画線とは、道路上に記載された白線等であり、車道中央線や車線境界線を含む。また、カーナビゲーション装置３２は、ＧＰＳ（Global Positioning System）等の位置情報取得部を有し、車両３の現在位置を示す情報（以下、現在位置情報という）を取得する。地図情報及び現在位置情報は、カーナビゲーション装置３２から制御部１１に入力される。
【0035】
車両挙動検知部３３は、車両の加速及び減速の少なくとも１つを含む車両挙動を取得する。車両挙動検知部３３で取得された情報は、制御部１１に入力される。
【0036】
図３は、車両挙動検知部３３の概略構成を示すブロック図である。車両挙動検知部３３は、例えば、速度センサ３３ａ、加速度センサ３３ｂ、操舵角センサ３３ｃ、アクセルセンサ３３ｄ、ブレーキセンサ３３ｅ、測距センサ３３ｆ、タイヤセンサ３３ｇを含んで構成されている。
【0037】
速度センサ３３ａは、例えば、車軸の回転数に比例してパルス信号を発生させ、当該パルス信号に基づいて車両３の速度を測定するセンサである。加速度センサ３３ｂは、３軸方向の加速度、すなわち車両３の加速、減速及び方向転換を検出するセンサである。
【0038】
操舵角センサ３３ｃは、例えば車両３のステアリングシャフトに設けられており、ステアリングホイールの操作の有無やステアリングホイールの回転角度（タイヤの方向）を検出するセンサである。
【0039】
アクセルセンサ３３ｄは、車両３のアクセルペダルに設けられており、アクセルペダルの踏み込み量を検出するセンサである。ブレーキセンサ３３ｅは、車両３のブレーキペダルに設けられており、ブレーキペダルの踏み込み量や踏み込み速度を検出するセンサである。アクセルセンサ３３ｄ及びブレーキセンサ３３ｅは、車両３の加速度の測定に加え、運転者がアクセルペダルやブレーキペダルを踏んだ時刻を取得する。例えば、ブレーキの整備が悪い場合や、路面の状況が変化した場合等で車両３の加速度は変化するが、運転者が行動を起こしていない。このような場合に、アクセルセンサ３３ｄ及びブレーキセンサ３３ｅを設けることで、運転者の行動のタイミングを正確に測ることができる。
【0040】
測距センサ３３ｆは、例えば、超音波等を対象物に向け発信し、その反射波を受信することにより対象物の有無や対象物までの距離を検出するセンサである。
【0041】
タイヤセンサ３３ｇは、車両３のタイヤに設けられており、タイヤの空気圧や温度を検出するセンサである。
【0042】
運転者情報検知部３４は、運転者情報を検知する。運転者情報は、運転者の動きや、運転者の状態を含む。運転者情報検知部３４で取得された情報は、制御部１１に入力される。
【0043】
図４は、運転者情報検知部３４の概略構成を示すブロック図である。運転者情報検知部３４は、例えば、車内カメラ３４ａ、シートセンサ３４ｂ、グリップセンサ３４ｃ、脈拍センサ３４ｄ、温度センサ３４ｅ、ウェアラブルデバイス３４ｆを含んで構成されている。
【0044】
車内カメラ３４ａは、ＣＭＯＳイメージセンサ等の撮像素子を有するカメラであり、車両３の走行中に車両３の内部、特に運転席に着席した運転者の画像を連続して撮像する。車内カメラ３４ａで撮影された画像からは、主に、運転者の顔の向きや目線が検知される。画像から顔の向きや目線を検知する方法は、すでに公知の様々な画像処理技術を用いることができる。
【0045】
シートセンサ３４ｂは、運転席に複数設けられた感圧フィルムセンサを含み、運転者の着席や運転席内での運転者の姿勢移動を検知するセンサである。
【0046】
グリップセンサ３４ｃは、車両３のハンドルに設けられており、静電容量の変化により運転者のハンドル保持を検知するセンサである。グリップセンサ３４ｃは、運転者のハンドル保持や保持位置の変化を検知するセンサである。
【0047】
脈拍センサ３４ｄは、車両３のハンドルに設けられており、波長が５５０ｎｍ付近の光を照射し、生体内で反射した光をフォトダイオードやフォトトランジスタで計測することで、運転者の脈拍を検知するセンサである。
【0048】
温度センサ３４ｅは、車両３の運転席側の天井に設けられており、運転者の体表温度を計測するセンサである。
【0049】
ウェアラブルデバイス３４ｆは、例えば、運転者の腕に装着されて使用される腕時計型、運転者の指に装着されて使用される指輪型、運転者の耳等に装着されるクリップ型の携帯端末である。ウェアラブルデバイス３４ｆは、加速度センサ、ジャイロセンサ、地磁気センサ、気圧センサ、脈拍センサ、温湿度センサ等を有する。例えば、加速度センサやジャイロセンサにより運転者の姿勢を検知し、加速度センサや気圧センサにより運転者の転倒を検知する。
【0050】
なお、ウェアラブルデバイス３４ｆが脈拍センサ及び温湿度センサを有する場合には、脈拍センサ３４ｄ及び温度センサ３４ｅは不要である。
【0051】
車内カメラ３４ａ、シートセンサ３４ｂ及びグリップセンサ３４ｃは、運転者の動きを検知し、脈拍センサ３４ｄ、温度センサ３４ｅ及びウェアラブルデバイス３４ｆは、運転者の状態を検知する。ただし、運転者の状態を検知する脈拍センサ３４ｄ、温度センサ３４ｅ及びウェアラブルデバイス３４ｆは必須ではない。
【0052】
次に、運転能力低下検知システム１０の機能的構成について説明する。図５は、制御部１１、２１の構成例を表す機能ブロック図である。制御部１１は、機能的には、イベント情報取得部４１と、行動情報取得部４２とを含んで構成される。また、制御部２１は、機能的には、時間差取得部４３と、相関取得部４４とを含んで構成される。
【0053】
イベント情報取得部４１は、撮像部３１が撮像した画像、カーナビゲーション装置３２から取得した地図情報及び現在位置情報、及び車両挙動検知部３３で取得された車両挙動に基づいてイベントを抽出する。例えば、イベント情報取得部４１は、すでに公知の画像処理技術を用いて、撮像部３１が撮像した画像から信号の色の変化（図６における「信号変化（赤）」は信号が赤信号へ変化したことを示し、「信号変化（青）」は信号が青信号へ変化したことを示す）、車間距離が近くなったこと（図６における「車間距離小」）、飛び出しをイベントとして抽出する。なお、イベント情報取得部４１は、車両挙動検知部３３で取得された車両挙動から車間距離が近くなったことをイベントとして検知してもよい。
【0054】
また、イベント情報取得部４１は、車両挙動検知部３３で取得された情報に基づいて車両３の不具合を検知し、車両３の不具合をイベントとして検知する。例えば、タイヤセンサ３３ｇで検知された空気圧が低くなると、イベント情報取得部４１は、車両３の不具合であるタイヤトラブルをイベントとして抽出する。
【0055】
また、イベント情報取得部４１は、地図情報と現在位置情報から、信号や交差点等の出現をイベントとして検知する。
【0056】
さらに、イベント情報取得部４１は、スピーカ１４から音声が出力されたことをイベントとして検知する。例えば、イベント情報取得部４１は、スピーカ１４への音声データの出力、又は、マイクロホン１５における音声入力に基づいて、スピーカ１４から音声が出力されたことを検知することができる。
【0057】
また、イベント情報取得部４１は、時計等から取得した時刻情報に基づいて、イベントが発生した時刻であるイベント発生時刻を取得する。例えば、イベント情報取得部４１は、画像からイベントを抽出したときの時刻、信号や交差点等が出現したときの時刻、車両挙動が取得された時刻をイベント発生時刻とする。
【0058】
なお、イベント情報取得部４１は、撮像部３１から画像と共に時刻情報を取得してもよいし、カーナビゲーション装置３２から地図情報及び現在位置情報と共に時刻情報を取得してもよい。また、イベント情報取得部４１は、車載装置１が有する内部時計から時刻情報を取得してもよい。
【0059】
図６は、イベント情報取得部４１が取得したイベント及びイベント発生時刻の一例を示す図である。図６に示すように、イベントとイベント発生時刻とは関連付けられている。なお、各イベントには、イベント番号（図６におけるＮｏ．）が順番に振られている。
【0060】
さらに、イベント情報取得部４１は、イベント及びイベント発生時刻に基づいて、同時に発生したイベントの数（以下、イベント数という）を取得する。イベント情報取得部４１は、イベント発生時刻が同一のイベントが複数発生していた場合には、これらのイベントが同時に発生したとしてイベント数を取得する。
【0061】
また、イベント情報取得部４１は、イベント発生時刻が同一でなくても、連続して複数のイベントが発生した場合、これらのイベントの間隔が所定時間（例えば、数十ミリ秒～数百ミリ秒程度）以内である場合には、これらのイベントが同時に発生したとしてイベント数を取得する。なお、所定時間は、記憶部１２に記憶されている。
【0062】
例えば、図６に示すイベント番号が３（Ｎｏ．３）のイベントとイベント番号が４（Ｎｏ.４）のイベントとは、連続して発生しており、時間差は１１５ミリ秒である。したがって、イベント情報取得部４１は、連続して発生したＮｏ．３のイベントとＮｏ.４のイベントとの間隔が所定時間以内であるとして、Ｎｏ．３のイベントとＮｏ.４のイベントが同時に発生したと判定する。そして、イベント情報取得部４１は、Ｎｏ．３のイベント発生時刻に発生したイベント数を２として取得する。
【0063】
イベント情報取得部４１は、図７に示すように、イベントと、当該イベントが発生したイベント発生時刻と、当該イベント発生時刻に発生したイベント数を関連付けた情報（以下、イベント情報という）を記憶部１２に記憶する。記憶部１２に記憶されたイベント情報は、車載装置１から情報処理装置２に出力され、記憶部２２に記憶される。なお、イベント情報の情報処理装置２への出力は、車両３の運行停止後にまとめて行う。
【0064】
図５の説明に戻る。行動情報取得部４２は、車両挙動検知部３３によって取得された車両挙動に基づいて、車両３の運転者が車両３に対して動作を行った内容（以下、行動内容という）と、車両３の運転者が車両３に対して動作を行った時刻（以下、行動時刻という）とを取得する。なお、行動情報取得部４２は、車載装置１の内部時計等から取得した時刻情報に基づいて、行動時刻を取得する。車両挙動検知部３３は一般的に車両３に設けられているセンサ類であるため、新たな構成を設けることなく行動及び行動時刻を取得することができる。
【0065】
また、行動情報取得部４２は、運転者情報検知部３４によって運転者情報が検知された時刻を、運転者情報の内容と共に行動時刻として取得する。なお、運転者情報の内容は、行動内容に含まれる。運転者情報を用いることで、車両挙動からは知ることができなかった運転者の行動等を取得することができる。
【0066】
図８は、行動情報取得部４２が取得した行動内容及び行動時刻を関連付けた行動情報の一例を示す図である。行動情報取得部４２は、行動時刻とその時刻に行われた運転者の行動内容とを関連付けて、記憶部１２に記憶する。なお、各行動には行動番号（図８におけるＮｏ．）が順番に振られている。記憶部１２に記憶された行動情報は、車載装置１から情報処理装置２に出力され、記憶部２２に記憶される。なお、行動情報の情報処理装置２への出力は、車両３の運行停止後にまとめて行う。
【0067】
【0068】
まず、時間差取得部４３は、イベント情報に含まれる各イベント（本発明の特定イベントに相当）に対応する行動（本発明の特定行動に相当）を行動情報から抽出する。抽出は、イベント時刻及び行動時刻に基づいて行われる。例えば、図７に示すＮｏ．３のイベント（本発明の特定イベントの一例である）のイベント発生時刻は２分１０秒１３０であり、図８においてＮｏ．３のイベント発生時刻に最も近い行動は行動番号５（Ｎｏ．５）の行動（本発明の特定行動の一例である）であるため、時間差取得部４３は、Ｎｏ．３のイベントに対応する行動として行動情報からＮｏ．５の行動を抽出する。
【0069】
そして、時間差取得部４３は、抽出された行動が、イベントに対応する行動であるかどうかを判定する。例えば、Ｎｏ．３のイベントは「交差点」であり、同時に発生したイベントであるＮｏ．４のイベントは「信号変化（赤）」であり、Ｎｏ．５の行動は「急減速（ブレーキ操作）」である。「急減速（ブレーキ操作）」は、「交差点」、「信号変化（赤）」に起因する行動であるため、時間差取得部４３は、Ｎｏ．５の行動がＮｏ．３のイベントに対応する行動であると判定する。
【0070】
なお、時間差取得部４３は、イベントと、そのイベントに起因する行動とを関連付けた情報を記憶部２２から取得し、当該情報に基づいて抽出された行動がイベントに対応する行動であるかどうかを判定することができる。
【0071】
抽出された行動がイベントに対応する行動である場合には、時間差取得部４３は、イベントと、当該イベントに対応する行動とのタイムラグを算出する。例えば、図７に示すＮｏ．３のイベント発生時刻は２分１０秒１３０であり、図８においてＮｏ．５の行動の行動時刻は２分１１秒２０４であるため、時間差取得部４３は、タイムラグを１秒７４と算出する。
【0072】
図９は、イベント番号とタイムラグとを関連付けた第１時間差情報の一例を示す図である。第１時間差情報は、記憶部２２に記憶される。
【0073】
図５の説明に戻る。相関取得部４４は、イベント情報取得部４１が取得したイベント情報と、時間差取得部４３が算出したタイムラグとに基づいて、イベント数とタイムラグとの相関係数を求める。
【0074】
まず、相関取得部４４は、記憶部２２からイベント情報及び第１時間差情報を取得し、イベント情報にタイムラグを関連付ける。図１０は、イベント番号とタイムラグとを関連付けた第２時間差情報の一例を示す図である。例えば、イベント番号が１（Ｎｏ．１）のイベントは、同時に発生したイベント数は「１」（図７に示すイベント情報参照）であり、タイムラグは「０秒４１６」（図９に示す時間差情報参照）であるため、相関取得部４４は、Ｎｏ．１のイベントにタイムラグ「０秒４１６」を関連付ける。また、Ｎｏ．３のイベントは、同時に発生したイベント数は「２」（図７に示すイベント情報参照）であり、タイムラグは「１秒７４」（図９に示す時間差情報参照）であるため、相関取得部４４は、Ｎｏ．３のイベントにタイムラグ「１秒７４」を関連付ける。
【0075】
次に、相関取得部４４は、第２時間差情報に基づいて、イベント数とタイムラグとの関係を取得する。相関取得部４４は、第２時間差情報におけるイベント数毎にタイムラグの平均を算出する。図１１は、イベント数とタイムラグとの関係の一例を示す図である。例えば、相関取得部４４は、図１０において、イベント数が１、２、３、４・・・である場合のタイムラグの平均をそれぞれ算出し、これを各イベント数に関連付ける。
【0076】
次に、相関取得部４４は、イベント数とタイムラグとの相関係数を求める。図１２は、イベント数とタイムラグとの関係の一例を示すグラフであり、図１１に示す値をプロットしたものである。イベント数とタイムラグとは比例関係にあると想定されるため、相関取得部４４は、横軸にイベント数、縦軸にタイムラグをとった一次関数のグラフの傾きを、イベント数とタイムラグとの相関係数として求める。図１２に示す例では、相関取得部４４は、一次関数のグラフの傾き、すなわちイベント数とタイムラグとの相関係数を０．３８２と求める。
【0077】
また、相関取得部４４は、イベント数とタイムラグとの相関係数に基づいて運転者の運転能力低下の程度を判定する。例えば、相関取得部４４は、相関係数が第１閾値（例えば０．５）以下である場合には、運転者の運転能力が低下していないことと判定し、相関係数が第１閾値より大きい場合には、運転者の運転能力低下の程度が小さいと判定し、相関係数が第２閾値（例えば０．８）より大きい場合には、運転者の運転能力低下の程度が大きいと判定する。なお、第１閾値及び第２閾値は、記憶部２２に記憶されている。
【0078】
情報処理装置２は、相関取得部４４で判定した運転者の運転能力低下の程度を、通信部２３を介して図示しない外部装置（例えば、携帯端末）に出力する。図示しない外部装置は、取得した運転者の運転能力低下の程度を図示しない表示部に表示したり、図示しないプリンタを介して印刷したりしてもよい。また、情報処理装置２は、相関取得部４４で求めた運転者の運転能力低下の程度を、図示しない表示部やプリンタに直接出力してもよい。運転者の運転能力低下の程度を情報処理装置２から出力することで、運転者の運転能力低下の程度を一目で把握することができる。
【0079】
本実施の形態によれば、運転者の運転能力低下を正確に検知することができる。特に、運転中に発生するイベントと、イベントが発生してから運転者の行動までのタイムラグに基づいて運転能力低下を判定するため、突発的なことが発生した場合に顕著に表れる運転能力低下を検知することができる。
【0080】
また、本実施の形態によれば、運転中に発生するイベントと、イベントに起因する車両挙動を自動的に取得するため、運転者に負担をかけず、運転者の運転能力低下を検知することができる。
【0081】
また、本実施の形態によれば、連続して発生したイベントの間隔が所定時間（例えば、数十ミリ秒～数百ミリ秒程度）以内である場合には、これらのイベントが同時に発生したとしてイベント数を取得するため、正確なイベント数を把握し、よって運転者の運転能力低下を正確に検知することができる。
【0082】
また、本実施の形態によれば、イベント数とタイムラグとの相関係数に基づいて運転者の運転能力低下を検知するため、運転者の体調不良や運転能力の個人差に影響を受けることなく、運転能力低下を検知することができる。例えば、運転者が体調不良であるとタイムラグが大きくなることが想定されるが、イベント数が１のときのタイムラグも大きくなるため、相関係数は体調の良し悪しの影響を受けない。また、運転能力の個人差により、イベント数が１のときのタイムラグも個人差が生じるため、相関係数は個人差の影響を受けない。したがって、イベント数とタイムラグとの相関係数を用いて運転能力低下を検知することは、運転能力低下を正確に検知するために重要である。
【0083】
なお、本実施の形態では、運転能力低下検知システム１０は、主として、車両３に搭載された車載装置１及び各種センサと、車両３以外の位置に設けられた情報処理装置２とを含んで構成されていたが、情報処理装置２は必須ではない。例えば、車両３に搭載された車載装置１及び各種センサで構成された運転能力低下検知装置が運転者の運転能力低下を検知してもよい。この場合には、車載装置１の制御部１１が、イベント情報取得部４１と、行動情報取得部４２と、時間差取得部４３と、相関取得部４４とを機能的に含んでいればよい。そして、制御部１１によって実行されるプログラムは、記憶部１２に記憶されていてもよいし、インターネット等の通信ネットワークを介して車載装置１に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
【0084】
また、本実施の形態では、イベント情報取得部４１は、撮像部３１が撮像した画像及びカーナビゲーション装置３２から取得した情報に基づいてイベントを抽出したが、カーナビゲーション装置３２は必須ではない。イベント情報取得部４１は、撮像部３１が撮像した画像にのみ基づいてイベントを抽出してもよい。
【0085】
また、本実施の形態では、行動情報取得部４２は、車両挙動検知部３３及び運転者情報検知部３４によって取得された情報に基づいて行動及び行動時刻を取得したが、運転者情報検知部３４は必須ではない。行動情報取得部４２は、車両挙動検知部３３によって取得された車両挙動にのみ基づいて行動及び行動時刻を取得してもよい。
【0086】
また、本実施の形態では、イベント情報取得部４１は、連続して複数のイベントが発生したときに、これらのイベントの間隔が所定時間以内である場合には、これらのイベントが同時に発生したとしてイベント数を取得したが、連続して発生した複数のイベントを同時に発生すると認識する方法はこれに限られない。例えば、イベント情報取得部４１は、一定時間（例えば、１秒）毎に撮像部３１が撮像した画像やカーナビゲーション装置３２から取得した地図情報及び現在位置情報を取得し、同時に取得された画像や地図情報及び現在位置情報から抽出されたイベントは同時に発生したとみなしてイベント数を取得してもよい。
【0087】
また、本実施の形態では、相関取得部４４は、イベント数とタイムラグとの相関係数に基づいて運転者の運転能力低下の程度を判定したが、運転者の運転能力低下の程度を判定することは必須ではない。相関取得部４４は、イベント数とタイムラグとの相関係数を求め、情報処理装置２は、相関取得部４４が求めたイベント数とタイムラグとの相関係数を図示しない外部装置等に出力してもよい。
【0088】
また、本実施の形態では、イベント情報及び行動情報の情報処理装置２への出力は、車両３の運行停止後にまとめて行い、その後に情報処理装置２で処理を行ったが、イベント情報及び行動情報を情報処理装置２へ逐次出力し、情報処理装置２で逐次処理を行ってもよい。
【0089】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではない。本発明は上記実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他に適用したものであってもよい。
【符号の説明】
【0090】
１ ：車載装置
２ ：情報処理装置
３ ：車両
１０ ：運転能力低下検知システム
１１、２１：制御部
１２、２２：記憶部
１３、２３：通信部
３１ ：撮像部
３２ ：カーナビゲーション装置
３３ ：車両挙動検知部
３３ａ ：速度センサ
３３ｂ ：加速度センサ
３３ｃ ：操舵角センサ
３３ｄ ：アクセルセンサ
３３ｅ ：ブレーキセンサ
３３ｆ ：測距センサ
３４ ：運転者情報検知部
３４ａ ：車内カメラ
３４ｂ ：シートセンサ
３４ｃ ：グリップセンサ
３４ｄ ：脈拍センサ
３４ｅ ：温度センサ
４１ ：イベント情報取得部
４２ ：行動情報取得部
４３ ：時間差取得部
４４ ：相関取得部
２ ：情報処理装置
３ ：車両
１０ ：運転能力低下検知システム
１１、２１：制御部
１２、２２：記憶部
１３、２３：通信部
３１ ：撮像部
３２ ：カーナビゲーション装置
３３ ：車両挙動検知部
３３ａ ：速度センサ
３３ｂ ：加速度センサ
３３ｃ ：操舵角センサ
３３ｄ ：アクセルセンサ
３３ｅ ：ブレーキセンサ
３３ｆ ：測距センサ
３４ ：運転者情報検知部
３４ａ ：車内カメラ
３４ｂ ：シートセンサ
３４ｃ ：グリップセンサ
３４ｄ ：脈拍センサ
３４ｅ ：温度センサ
４１ ：イベント情報取得部
４２ ：行動情報取得部
４３ ：時間差取得部
４４ ：相関取得部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】