特許 6593708 運転操作監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6593708

(24)【登録日】2019年10月4日

(45)【発行日】2019年10月23日

(54)【発明の名称】運転操作監視装置

(51)【国際特許分類】

   G08G 1/00 20060101AFI20191010BHJP

   B60W 40/09 20120101ALI20191010BHJP

【ＦＩ】

   G08G1/00 D

   B60W40/09

【請求項の数】8

【全頁数】11

(21)【出願番号】特願2016-231881(P2016-231881)

(22)【出願日】2016年11月29日

(65)【公開番号】特開2018-88196(P2018-88196A)

(43)【公開日】2018年6月7日

【審査請求日】2018年8月28日

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100101786

【弁理士】

【氏名又は名称】奥村 秀行

(72)【発明者】

【氏名】小原 英行

(72)【発明者】

【氏名】竹澤 清

(72)【発明者】

【氏名】中神 智子

【審査官】 久保田 創

(56)【参考文献】

【文献】 特開２０１５−１３２９０５（ＪＰ，Ａ）

【文献】 特開２００８−０５８０３９（ＪＰ，Ａ）

【文献】 特開２００９−２７７１４５（ＪＰ，Ａ）

【文献】 特開２００７−１８２１５５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００

Ｂ６０Ｗ ４０／０９

(57)【特許請求の範囲】

【請求項1】

車両の運転手により操作される操作部と、
前記運転手による前記操作部の操作を撮影する撮影部と、
前記撮影部が撮影した画像に基づいて、前記操作部の操作後に同じ操作が再度行われたか否かを判定する判定部と、
前記判定部により同じ操作が再度行われたと判定された場合に、当該判定結果を記録する記録部と、を備えた運転操作監視装置において、
前記操作部が操作されたことを検出して、操作検出信号を出力する操作検出部をさらに備え、
前記判定部は、前記操作検出部から前記操作検出信号を受信した後、前記画像に基づいて、前記同じ操作が再度行われたか否かを判定する、ことを特徴とする運転操作監視装置。

【請求項2】

請求項１に記載の運転操作監視装置において、
前記撮影部は、前記操作検出信号を受信した時点から撮影を開始する、ことを特徴とする運転操作監視装置。

【請求項3】

請求項１に記載の運転操作監視装置において、
前記判定部は、前記画像上で、前記操作部が操作される場面が検出されたか否かを判定し、その後、前記画像上で、前記操作と同じ操作が再度行われる場面が検出されたか否かを判定する、ことを特徴とする運転操作監視装置。

【請求項4】

請求項１ないし請求項３のいずれかに記載の運転操作監視装置において、
前記記録部は、前記同じ操作が再度行われた時刻と、当該操作の種類とを記録する、ことを特徴とする運転操作監視装置。

【請求項5】

請求項１ないし請求項４のいずれかに記載の運転操作監視装置において、
前記判定部は、前記同じ操作が再度行われたと判定した回数が所定値に達した場合に警報を出力する、ことを特徴とする運転操作監視装置。

【請求項6】

請求項１ないし請求項５のいずれかに記載の運転操作監視装置において、
前記撮影部は、前記操作部の操作に加えて、前記運転手の身体を撮影し、
前記判定部は、
前記操作部の操作の画像に基づいて、前記同じ操作が再度行われたか否かを判定する第１判定部と、
前記運転手の身体の画像に基づいて、当該運転手の身体状態が正常であるか否かを判定する第２判定部と、を有することを特徴とする運転操作監視装置。

【請求項7】

請求項１ないし請求項６のいずれかに記載の運転操作監視装置において、
前記判定部は、前記操作部である方向指示器の操作について、同じ操作が再度行われたか否かを判定する、ことを特徴とする運転操作監視装置。

【請求項8】

請求項１ないし請求項６のいずれかに記載の運転操作監視装置において、
前記判定部は、前記操作部であるパーキングブレーキの操作について、同じ操作が再度行われたか否かを判定する、ことを特徴とする運転操作監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の運転手が行う操作を監視する運転操作監視装置に関する。

【背景技術】

【0002】

運転手の操作や挙動などを監視して運転内容を評価し、当該評価結果を運転手にフィードバックすることにより運転技術の向上を図るシステムが、特許文献１〜４に開示されている。

【0003】

特許文献１では、閾値以上の加速度が測定された回数に基づいて、安全運転の評価を行い、閾値以上の加速度が測定された回数および法定速度以上の速度が測定された回数に基づいて、エコ運転の評価を行うようにしている。

【0004】

特許文献２では、画像データと運転データとに基づき、信号機が無く、横断歩道が検出され、かつ、横断歩道脇に人がいることが検出されている場合に、自車両の制動距離が横断歩道までの距離以上であれば、減速あるいは停車していないと判断し、運転の評価点を下げるようにしている。

【0005】

特許文献３では、道路上の一時停止地点に自車両が接近した場合に、カメラの画像に基づいて、運転者が左右方向に顔を向ける首振動作と、その首振動作の際の運転者の開眼状態とを検出し、当該検出結果に基づいて運転者の運転挙動を評価するようにしている。

【0006】

特許文献４では、自車両に後方確認シーンが到来した場合に、カメラの画像に基づいて、運転者の予め定められた後方確認動作と、その後方確認動作の際の開眼状態とを検出し、当該検出結果に基づいて運転者の運転挙動を評価するようにしている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１０−７２７６６号公報

【特許文献2】特開２０１５−５５９２１号公報

【特許文献3】特開２０１５−９０６７６号公報

【特許文献4】特開２０１５−１４１４３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

近年では、高齢者人口の増加に伴い、いわゆる高齢者ドライバーによる事故が多発している。高齢者については、視力、聴力、体力などの点で衰えが目立つのは仕方がないとしても、判断力が低下した場合は、たとえばブレーキとアクセルとを踏み間違えるなど、運転操作を誤ることによって重大な事故を起こすことがあり、運転能力の欠如が問題となる。このため、運転手の運転能力を評価し、早い段階で運転能力の低下を察知することが肝要である。

【0009】

そこで、本発明の課題は、運転手の運転能力を簡便に評価できる運転操作監視装置を提供することにある。

【課題を解決するための手段】

【0010】

本発明に係る運転操作監視装置は、車両の運転手により操作される操作部と、運転手による操作部の操作を撮影する撮影部と、この撮影部が撮影した画像に基づいて、操作部の操作後に同じ操作が再度行われたか否かを判定する判定部と、この判定部により同じ操作が再度行われたと判定された場合に、当該判定結果を記録する記録部と、操作部が操作されたことを検出して、操作検出信号を出力する操作検出部とを備えている。判定部は、操作検出部から操作検出信号を受信した後、撮影部が撮影した画像に基づいて、同じ操作が再度行われたか否かを判定する。

【0011】

このような運転操作監視装置によると、操作部において同じ操作が再度行われるたびに、その結果が記録部に記録されてゆくので、随時または定期的に記録部の記録内容を出力することで、運転手の運転能力を簡便に評価することができる。

【0013】

本発明において、撮影部は、操作検出部からの操作検出信号を受信した時点から、撮影を開始するようにしてもよい。

【0014】

本発明において、判定部は、画像上で操作部が操作される場面が検出されたか否かを判定し、その後、画像上で前記操作と同じ操作が再度行われる場面が検出されたか否かを判定してもよい。

【0015】

本発明において、記録部は、同じ操作が再度行われた時刻と、当該操作の種類とを記録するようにしてもよい。

【0016】

本発明において、判定部は、同じ操作が再度行われたと判定した回数が所定値に達した場合に、警報を出力するようにしてもよい。

【0017】

本発明において、撮影部は、操作部の操作に加えて、運転手の身体を撮影し、判定部は、操作部の操作の画像に基づいて、同じ操作が再度行われたか否かを判定する第１判定部と、運転手の身体の画像に基づいて、当該運転手の身体状態が正常であるか否かを判定する第２判定部とを有していてもよい。

【0018】

本発明において、判定部は、操作部である方向指示器の操作について、同じ操作が再度行われたか否かを判定してもよい。

【0019】

本発明において、判定部は、操作部であるパーキングブレーキの操作について、同じ操作が再度行われたか否かを判定してもよい。

【発明の効果】

【0020】

本発明によれば、運転手の運転能力を簡便に評価できる運転操作監視装置を提供することができる。

【図面の簡単な説明】

【0021】

【図1】本発明の実施形態に係る運転操作監視装置のブロック図である。

【図2】車両の運転席の概略構成図である。

【図3】運転操作監視装置の動作を示したフローチャートである。

【図4】運転操作監視装置の動作の他の例を示したフローチャートである。

【図5】運転操作監視装置の動作の他の例を示したフローチャートである。

【図6】他の実施形態に係る運転操作監視装置のブロック図である。

【図7】図６の運転操作監視装置の動作を示したフローチャートである。

【図8】他の実施形態に係る運転操作監視装置のブロック図である。

【発明を実施するための形態】

【0022】

以下、本発明の実施形態につき、図面を参照しながら説明する。各図において、同一の部分または対応する部分には、同一符号を付してある。

【0023】

まず、運転操作監視装置の構成を、図１を参照しながら説明する。図１において、運転操作監視装置１００は、車両に搭載されており、操作部１、撮影部２、操作検出部３、操作検出部４、判定部５、および記録部６を備えている。

【0024】

操作部１は、車両の運転手により操作されるブロックであって、方向指示器１１とパーキングブレーキ１２とを含む。方向指示器１１は、車両が右折または左折する際や、走行中に車線変更を行う際に、方向指示灯を点滅させるために操作される操作部である。パーキングブレーキ１２は、車両の停車時に、車両が動かないようにするために操作される操作部である。撮影部２は、運転手による操作部１の操作状態を撮影するブロックであって、カメラ２１と画像処理部２２とを含む。カメラ２１は、ＣＣＤ（電荷結合素子）などの撮像素子を有している。画像処理部１２は、カメラ２１が撮影した画像を、デジタル信号に変換するなどの処理を行う。

【0025】

図２は、車両の運転席の概略構成を示している。車両１０は、たとえば自動四輪車である。方向指示器１１は、ハンドル１３に近接して設けられている。パーキングブレーキ１２は、運転席シート１４の側方に設けられている。カメラ２１は、運転席１５のフロントガラス上部に設置されており、方向指示器１１およびパーキングブレーキ１２を含む領域を撮影する。

【0026】

図１に戻って、操作検出部３は、方向指示器１１が操作された場合に、これを検出して操作検出信号を出力するセンサなどから構成されている。この操作検出信号は、判定部５へ出力されるとともに、図示しない方向指示灯の駆動回路へ出力される。操作検出部４は、パーキングブレーキ１２が操作された場合に、これを検出して操作検出信号を出力するセンサなどから構成されている。この操作検出信号は、判定部５へ出力される。

【0027】

判定部５は、ＣＰＵを含むマイクロコンピュータから構成されており、画像処理部２２から取得した画像信号と、操作検出部３、４から出力された操作検出信号とに基づいて、操作部１において同じ操作が再度行われたか否かを判定する。この詳細については後述する。

【0028】

記録部６は、不揮発性のメモリから構成されており、判定部５により同じ操作が再度行われたと判定された場合に、当該判定結果を記録する。この詳細についても後述する。

【0029】

次に、上述した運転操作監視装置１００の動作を、図３のフローチャートを参照しながら説明する。

【0030】

図３において、ステップＳ１では、カメラ２１が撮影を開始する。ステップＳ２では、判定部５において、操作検出部３、４からの操作検出信号の有無が判定される。前記のとおり、運転手によって方向指示器１１が操作された場合は、操作検出部３から操作検出信号が出力され、パーキングブレーキ１２が操作された場合は、操作検出部４から操作検出信号が出力される。判定部５が、操作検出部３または操作検出部４から操作検出信号を受信すると、ステップＳ２の判定はＹＥＳとなり、ステップＳ３へ進む。また、判定部５が、操作検出部３、４のいずれからも操作検出信号を受信しなければ、ステップＳ２の判定はＮＯとなり、ステップＳ１へ戻る。

【0031】

ステップＳ３では、判定部５において、画像処理部２２から取得したカメラ２１の撮影画像の解析が行われる。この解析は、ステップＳ２で操作検出信号を受信してから所定時間にわたって撮影した画像に対して行われる。そして、当該解析結果に基づいて、ステップＳ４では、ステップＳ２において検出された方向指示器１１やパーキングブレーキ１２の操作と同じ操作が、画像上で再度検出されたか否かが判定される。

【0032】

詳しくは、ステップＳ２において、方向指示器１１の操作によって操作検出部３から操作検出信号が出力された場合、ステップＳ４では、撮影画像において、方向指示器１１の操作が再度行われた場面があるかどうかが判定される。たとえば、車両が交差点において赤信号で停車中に、運転手が方向指示器１１を右折側へ最初に操作し、その後、再び方向指示器１１を右折側へ操作した場合、同じ操作が再度行われたと判定される。

【0033】

また、たとえば、ステップＳ２において、パーキングブレーキ１２の操作によって操作検出部４から操作検出信号が出力された場合、ステップＳ４では、撮影画像において、パーキングブレーキ１２の操作が再度行われた場面があるかどうかが判定される。

【0034】

すなわち、同じ操作が再度行われたことを検出するにあたって、ステップＳ２において、操作検出部３、４からの操作検出信号に基づいて１回目の操作（初回操作）を検出し、ステップＳ４において、カメラ２１で撮影された画像に基づいて２回目の操作（再操作）を検出する。

【0035】

ステップＳ４において、同じ操作が再度検出された場合は、判定はＹＥＳとなってステップＳ５へ進む。また、同じ操作が再度検出されない場合は、判定はＮＯとなってステップＳ６へ進む。

【0036】

ステップＳ５では、ステップＳ４で同じ操作が再度行われたと判定された場合に、当該判定結果を記録部６に記録する。具体的には、記録部６は、たとえば、同じ操作が再度行われた時刻と、当該操作の種類とを記録する。本例では、操作の種類は、方向指示器１１の操作や、パーキングブレーキ１２の操作である。

【0037】

ステップＳ６では、操作部１の操作が解除されたか否かが判定される。この判定は、操作検出部３、４からの検出信号の有無に基づいて、判定部５が行う。たとえば、ハンドルを元に戻すことに連動して方向指示器１１の操作が解除されたり、手動で方向指示器１１を元に戻すことで操作が解除されたりした場合は、操作検出部３から検出信号が出力されなくなるので、ステップＳ６の判定はＹＥＳとなり、処理を終了する。また、方向指示器１１の操作が解除されない場合は、ステップＳ６の判定はＮＯとなり、ステップＳ３へ戻る。パーキングブレーキ１２についても同様である。

【0038】

上述した実施形態によると、操作部１において同じ操作が再度行われるたびに、その結果が記録部６に記録されてゆくので、随時または定期的に記録部６の記録内容を出力することで、運転手の運転能力を簡便に評価することができる。これにより、たとえば、自動車の運転にとって必要のない再操作が頻繁に発生している場合は、運転手の運転能力が低下しているとみて、検査や指導などの適切な処置を講じることができる。

【0039】

図４は、運転操作監視装置１００の動作の他の例を示している。前述した図３の例では、カメラ２１が撮影を開始してから、操作検出部３、４からの操作検出信号の有無を判定したが、図４の例では、操作検出信号の有無を判定した後に、カメラ２１が撮影を開始する。

【0040】

図４において、ステップＳ１ａでは、判定部５において、操作検出部３、４からの操作検出信号の有無が判定される。この判定の詳細は、図３のステップＳ２の場合と同じであるので、ここでは説明を省略する。判定部５が操作検出信号を受信した場合は、ステップＳ１ａの判定はＹＥＳとなり、ステップＳ２ａへ進んで、カメラ２１が撮影を開始する。判定部５が操作検出信号を受信しなければ、ステップＳ１ａの判定はＮＯとなり、ステップＳ１ａが反復される。ステップＳ３からステップＳ６までの処理については、図３の場合と同じであるので、重複説明を省略する。

【0041】

図４の例によれば、操作部１が操作されるのを待ってカメラ２１が撮影を開始するため、カメラ２１の消費電力を抑えることができる。

【0042】

図５は、運転操作監視装置１００の動作の他の例を示している。前述した図３および図４の例では、操作検出信号に基づいて１回目の操作（初回操作）を検出し、撮影画像に基づいて２回目の操作（再操作）を検出したが、図５の例では、１回目の操作と２回目の操作を、共に撮影画像から検出する。

【0043】

図５において、ステップＳ１でカメラ２１が撮影を開始すると、ステップＳ３に進んで、判定部５が画像処理部２２から取得した撮影画像の解析を行う。次のステップＳ４ａでは、画像上で操作部１が操作される場面が検出されたか否かが、判定部５により判定される。さらに、次のステップＳ４ｂでは、画像上でステップＳ４ａでの操作と同じ操作が再度行われる場面が検出されたか否かが、判定部５により判定される。

【0044】

たとえば、ステップＳ４ａにおいて、方向指示器１１が操作される場面が検出され、ステップＳ４ｂにおいて、再び方向指示器１１が操作される場面が検出された場合は、同じ操作が再度行われたことになり、ステップＳ４ｂの判定はＹＥＳとなって、ステップＳ５へ進む。また、ステップＳ４ａにおいて、パーキングブレーキ１２が操作される場面が検出され、ステップＳ４ｂにおいて、再びパーキングブレーキ１２が操作される場面が検出された場合も、同じ操作が再度行われたことになるので、ステップＳ４ｂの判定はＹＥＳとなって、ステップＳ５へ進む。ステップＳ４ｂで再度の同じ操作が検出されない場合は、ステップＳ４ｂの判定はＮＯとなり、ステップＳ６へ進む。ステップＳ５、Ｓ６の処理については、図３の場合と同じであるので、重複説明を省略する。

【0045】

図５の例によれば、操作検出部３、４からの操作検出信号を用いずに、カメラ２１の撮影画像のみに基づいて、再度の同じ操作を検出することができる。

【0046】

図６は、他の実施形態による運転操作監視装置２００を示している。本実施形態では、同じ操作が再度行われた回数（以下、「再操作回数」という。）が所定値に達した場合に、警報が出力され、その内容が表示部７に表示される。以下、図７のフローチャートを参照して、さらに詳細に説明する。

【0047】

図７において、ステップＳ１からステップＳ６までの処理については、図３の場合と同じであるので、重複説明を省略する。ステップＳ６で操作部１の操作が解除されると、ステップＳ７で判定部５が、記録部６の記録内容を参照して、再操作回数を算出する。そして、判定部５は、ステップＳ８で再操作回数と所定値とを比較して、再操作回数が所定値に達したか否かを判定する。再操作回数が所定値に達しておれば、ステップＳ８の判定はＹＥＳとなって、ステップＳ９へ進む。また、再操作回数が所定値に達していなければ、ステップＳ８の判定はＮＯとなって、処理を終了する。

【0048】

ステップＳ９では、判定部５から警報信号が出力され、この信号は表示部７へ与えられる。そして、表示部７には、再操作回数が所定値に達したことや、そのことに伴う運転能力の評価結果や、運転手へのアドバイスなどが表示される。表示部７としては、たとえばカーナビゲーション装置のディスプレイを利用することができる。

【0049】

図６の運転操作監視装置２００によれば、再操作回数が所定値に達した場合に、自動的に警報を出力することができる。

【0050】

図８は、他の実施形態による運転操作監視装置３００を示している。本実施形態では、図２のカメラ２１が、方向指示器１１およびパーキングブレーキ１２を含む領域に加えて、運転席１５に着座した運転手（図示省略）の顔を含む領域も撮影する。また、判定部５は、運転手の運転能力を判定する運転能力判定部５ａ（第１判定部）と、運転手の身体状態を判定する身体状態判定部５ｂ（第２判定部）とを有している。

【0051】

運転能力判定部５ａは、先の実施形態と同様に、操作部２の操作の画像に基づいて、同じ操作が再度行われたか否かを判定する。この判定結果は、記録部６に記録される。身体状態判定部５ｂは、運転手の顔画像などに基づいて、運転手の身体状態が正常であるか否か（たとえば居眠り状態の有無）を、開眼の有無、視線移動の有無、まばたき回数などから判定する。この判定の結果、身体状態が正常でない場合は、そのことを示す信号が判定部５から出力され、この信号に基づいて、たとえば警報の出力、手動運転から自動運転への切替、車両の自動停止などの制御が行われる。

【0052】

図８の運転操作監視装置３００によれば、１台のカメラ２１で、運転手の運転能力と、運転手の身体状態とを判定することができる。

【0053】

本発明では、上述した実施形態以外にも、以下のような種々の実施形態を採用することができる。

【0054】

上述した実施形態では、カメラ２１の撮像対象である操作部１として、方向指示器１１とパーキングブレーキ１２を例に挙げたが、これ以外の操作部であってもよい。また、操作部１は、車載機器の操作部であってもよい。

【0055】

図６の実施形態では、判定部５が記録部６の記録内容を参照して、再操作回数を算出したが、判定部５にカウンタを設け、判定部５が再操作であることを判定する度にカウンタ値に１を加算することで、再操作回数を算出してもよい。

【0056】

図１、図６、図８の実施形態では、判定部５と別に記録部６が設けられているが、記録部６は判定部５の中に設けてもよい。

【0057】

上述した各種の実施形態は、適宜組み合わせることも可能である。たとえば、図７では、カメラ２１が撮像を開始した後に、操作検出信号の有無を判定しているが、図４のように、操作検出信号の有無を判定した後に、カメラ２１が撮影を開始するようにしてもよい。すなわち、図７において、ステップＳ１とステップＳ２とを入れ替えてもよい。また、図３〜図５において、図７のステップＳ７〜Ｓ９を追加してもよい。

【0058】

上述した実施形態では、自動四輪車に搭載される運転操作監視装置に本発明を適用した例を挙げたが、本発明は、バスやトラックなどの他の車両に搭載される運転操作監視装置にも適用することができる。

【符号の説明】

【0059】

１ 操作部
２ 撮影部
３、４ 操作検出部
５ 判定部
５ａ 運転能力判定部（第１判定部）
５ｂ 身体状態判定部（第２判定部）
６ 記録部
１０ 車両
１１ 方向指示器
１２ パーキングブレーキ
１００、２００、３００ 運転操作監視装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】