特開 2024-172497 監視装置、監視方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024172497

(43)【公開日】2024-12-12

(54)【発明の名称】監視装置、監視方法およびプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241205BHJP

【ＦＩ】

G08G1/16 F

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023090255

(22)【出願日】2023-05-31

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】清水 勝也

(72)【発明者】

【氏名】伊森 宏樹

(72)【発明者】

【氏名】大西 康司

(72)【発明者】

【氏名】塩田 大輔

(72)【発明者】

【氏名】上林 輝彦

(72)【発明者】

【氏名】伏見 文孝

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB05

5H181BB20

5H181CC04

5H181CC27

5H181FF27

5H181FF32

5H181LL06

5H181LL20

(57)【要約】

【課題】車両の乗員の動作種別に応じつつ、より報知精度の高い警告制御を行うこと。
【解決手段】実施形態に係る監視装置は、車両の乗員の動作を監視する監視装置であって、コントローラを有する。コントローラは、車室内画像の画像認識に基づく検知アルゴリズムによって警告対象となる上記乗員の動作を検知し、検知する上記動作の動作種別ごとに上記検知アルゴリズムの挙動を変更し、変更された上記検知アルゴリズムの挙動に基づいて上記乗員に対する警告の実施または非実施を制御する警告制御を行う。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両の乗員の動作を監視する監視装置であって、コントローラを有し、
前記コントローラは、
車室内画像の画像認識に基づく検知アルゴリズムによって警告対象となる前記乗員の動作を検知し、
検知する前記動作の動作種別ごとに前記検知アルゴリズムの挙動を変更し、
変更された前記検知アルゴリズムの挙動に基づいて前記乗員に対する警告の実施または非実施を制御する警告制御を行う、
監視装置。

【請求項2】

前記検知アルゴリズムは、
前記画像認識の結果を含む情報が蓄積された蓄積情報に基づいて前記動作を検知し、
前記コントローラは、
前記動作種別ごとに前記情報の蓄積を無効化するか否かを決定することによって前記検知アルゴリズムの挙動を変更する、
請求項１に記載の監視装置。

【請求項3】

前記コントローラは、
前記車両の車速に基づいて前記車両が停車中または低速域であると判定される場合に、前記情報の蓄積を無効化する、
請求項２に記載の監視装置。

【請求項4】

前記動作種別は、
第１の動作種別と、該第１の動作種別よりも危険度が低い第２の動作種別とを含み、
前記コントローラは、
前記車両が停車中である場合に、前記第１の動作種別および前記第２の動作種別に関する前記情報の蓄積を無効化する、
請求項３に記載の監視装置。

【請求項5】

前記コントローラは、
前記車両が低速域である場合に、前記第２の動作種別に関する前記情報の蓄積を無効化する、
請求項４に記載の監視装置。

【請求項6】

前記検知アルゴリズムは、
前記動作を検知した時点から予め決められた間は前記動作を検知しても前記警告制御に対する通知を非通知とするインターバル区間を設定可能であり、
前記コントローラは、
前記動作種別ごとに前記インターバル区間を無効化するか否かを決定することによって前記検知アルゴリズムの挙動を変更する、
請求項１に記載の監視装置。

【請求項7】

前記コントローラは、
前記車両の車速に基づいて前記車両が停車中または低速域であると判定される場合に、前記インターバル区間を無効化する、
請求項６に記載の監視装置。

【請求項8】

前記動作種別は、
第１の動作種別と、該第１の動作種別よりも危険度が低い第２の動作種別とを含み、
前記コントローラは、
前記車両が停車中である場合に、前記第１の動作種別および前記第２の動作種別に関する前記インターバル区間を無効化する、
請求項７に記載の監視装置。

【請求項9】

前記コントローラは、
前記車両が低速域である場合に、前記第２の動作種別に関する前記インターバル区間を無効化する、
請求項８に記載の監視装置。

【請求項10】

車両の乗員の動作を監視する監視装置が実行する監視方法であって、
車室内画像の画像認識に基づく検知アルゴリズムによって警告対象となる前記乗員の動作を検知することと、
検知する前記動作の動作種別ごとに前記検知アルゴリズムの挙動を変更することと、
変更された前記検知アルゴリズムの挙動に基づいて前記乗員に対する警告の実施または非実施を制御する警告制御を行うことと、
を含む、監視方法。

【請求項11】

車両の乗員の動作を監視するコンピュータに、
車室内画像の画像認識に基づく検知アルゴリズムによって警告対象となる前記乗員の動作を検知すること、
検知する前記動作の動作種別ごとに前記検知アルゴリズムの挙動を変更すること、
変更された前記検知アルゴリズムの挙動に基づいて前記乗員に対する警告の実施または非実施を制御する警告制御を行うこと、
を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の実施形態は、監視装置、監視方法およびプログラムに関する。

【背景技術】

【0002】

従来、車室内を撮影したカメラ画像の画像認識によりドライバの居眠りやわき見といった警告対象となる動作を検知した場合に、ドライバに対し警告を報知する監視装置が知られている。また、このような監視装置において、車両の停車時等に誤警報が頻発されるのを防ぐため、車速に応じて警告の実施または非実施を制御する警告制御を行う技術が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１３３４０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した従来技術には、車両のドライバの動作種別に応じつつ、より報知精度の高い警告制御を行ううえで、さらなる改善の余地がある。

【0005】

上述した従来技術には、車速がある閾値以下である場合に、居眠りについては警告するがわき見については警告しないといったドライバの動作種別に応じた警告制御を行うことが開示されている。しかし、このことは、単に車速の閾値と動作種別とに応じて警告のオン／オフ制御を行っているに過ぎない。

【0006】

警告の誤警告や未警告が生じる場合、例えばドライバの動作を検知する検知アルゴリズムの挙動などが原因となることがある。こうした原因による場合に、上述した従来技術を用いて報知精度の高い警告制御を行うことは難しい。なお、動作を監視する対象は、ドライバ以外の同乗者を含む乗員全般であってもよい。

【0007】

実施形態の一態様は、上記に鑑みてなされたものであって、車両の乗員の動作種別に応じつつ、より報知精度の高い警告制御を行うことができる監視装置、監視方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

実施形態の一態様に係る監視装置は、車両の乗員の動作を監視する監視装置であって、コントローラを有する。前記コントローラは、車室内画像の画像認識に基づく検知アルゴリズムによって警告対象となる前記乗員の動作を検知し、検知する前記動作の動作種別ごとに前記検知アルゴリズムの挙動を変更し、変更された前記検知アルゴリズムの挙動に基づいて前記乗員に対する警告の実施または非実施を制御する警告制御を行う。

【発明の効果】

【0009】

実施形態の一態様によれば、車両の乗員の動作種別に応じつつ、より報知精度の高い警告制御を行うことができる。

【図面の簡単な説明】

【0010】

【図1】図１は、既存技術において発車直後の誤警告が生じる場合の説明図である。

【図2】図２は、既存技術において発車直後の未警告が生じる場合の説明図である。

【図3】図３は、実施形態に係る監視方法における発車直後の誤警告対策の説明図である。

【図4】図４は、動作種別の説明図である。

【図5】図５は、実施形態に係る監視方法における発車直後の未警告対策の説明図である。

【図6】図６は、実施形態に係る監視装置の構成例を示す図である。

【図7】図７は、変形例に係る監視装置の構成例を示す図である。

【図8】図８は、実施形態に係る監視装置が実行する処理手順を示すフローチャート（その１）である。

【図9】図９は、実施形態に係る監視装置が実行する処理手順を示すフローチャート（その２）である。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して、本願の開示する監視装置、監視方法およびプログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0012】

また、以下では、実施形態に係る監視装置１０が、車両に搭載される車載装置であるものとする。監視装置１０は、車室内画像の画像認識に基づく検知アルゴリズムによって警告対象となる乗員の動作を検知した場合に、乗員に対する警告を報知可能に設けられた装置である。以下では、車両の乗員のうち主にドライバの動作を検知する場合について説明する。

【0013】

また、以下に説明する実施形態に係る監視方法は、監視装置１０が備えるコントローラ１２（図６参照）が実行するものとする。

【0014】

また、以下では、「所定」との表現は、「予め決められた」と読み替えてもよい。また、以下では、「アルゴリズム」を「アルゴ」と略称する場合がある。

【0015】

まず、実施形態に係る監視方法の説明に先立って、既存技術において発車直後の誤警告や未警告が生じる場合について図１および図２を用いて説明する。図１は、既存技術において発車直後の誤警告が生じる場合の説明図である。また、図２は、既存技術において発車直後の未警告が生じる場合の説明図である。

【0016】

図１に示すように、既存技術では、コントローラ１２は、ＤＮＮ（Deep Neural Network）モデル等のＡＩ（Artificial Intelligence）モデルを用いた車室内画像の画像認識を行う。そして、コントローラ１２は、この画像認識によって蓄積された情報に基づく検知アルゴリズムによって、警告対象となるドライバの動作を検知する。

【0017】

例えば検知アルゴリズムは、ドライバの閉眼状態を示す画像認識結果が蓄積された複数フレーム分の情報に基づいて、警告対象動作であるドライバの居眠りを検知する。

【0018】

また、検知アルゴリズムは、警告対象動作を検知した場合にこれを上位アプリケーションである警告制御アプリへ通知する。通知を受けた警告制御アプリは、かかる通知に応じた警告の実施または非実施を制御する。警告制御アプリは、図１に示すように、例えば車両が停車中である場合、警告を非実施とする。

【0019】

ここで、図１に示すように、車両が時点Ｔ１において停車したものとする。既存技術では、検知アルゴリズムは車両が停車中の間も車室内画像の画像認識を継続し、かかる画像認識による情報を蓄積し続ける。なお、その蓄積情報に基づいて例えば時点Ｔ２で警告対象動作を検知した場合、検知アルゴリズムはこれを警告制御アプリへ通知する。ただし、車両は停車中のため、警告制御アプリは警告を非実施とする。

【0020】

一方で、検知アルゴリズムはその間も情報を蓄積し続ける。そして、時点Ｔ３で車両が発車し、検知アルゴリズムが、蓄積された情報に基づいて時点Ｔ４で警告対象動作を検知したものとする。すると、検知アルゴリズムは、かかる警告対象動作の検知を警告制御アプリへ通知する。そして、通知を受けた警告制御アプリは、停車中でないので、かかる通知に対応する警告を実施する。

【0021】

ただし、時点Ｔ４で検知された警告対象動作は、車両が停車中である間に蓄積された情報も参照して検知アルゴリズムが検知したものであるため誤検知である可能性が高く、これに応じて実施された警告も誤警告となる可能性が高い。このように、検知アルゴリズムが、停車中である間の蓄積情報も使用して警告対象動作を検知する発車直後は、警告対象動作が頻発して検知されやすく、これに応じて誤警告も誘発されやすい。

【0022】

また、既存技術では、図２に示すように、例えば時点Ｔ２で警告対象動作を検知した場合に、検知アルゴリズムは、時点Ｔ２から所定の間は警告対象動作を検知しても警告制御アプリへの通知を行わないインターバル区間を設定する場合がある。これは、警告の頻発を防止するためである。

【0023】

ここで、検知アルゴリズムは、時点Ｔ２から時点Ｔ５までをインターバル区間として設定したものとする。すると、例えば時点Ｔ５よりも前の時点Ｔ３で車両が発車し、同じく時点Ｔ５よりも前の時点Ｔ４で警告対象動作が検知されても、検知アルゴリズムは時点Ｔ４の検知を警告制御アプリへ通知しない。このため、かかる時点Ｔ４の検知は警告制御アプリにおいて警告非実施となり、発車直後の未警告が生じることとなる。

【0024】

そこで、実施形態に係る監視方法では、コントローラ１２が、車室内画像の画像認識に基づく検知アルゴリズムによって警告対象となる前記乗員の動作を検知し、検知する動作の動作種別ごとに検知アルゴリズムの挙動を変更することとした。また、コントローラ１２は、この変更された検知アルゴリズムの挙動に応じてドライバに対する警告の実施または非実施を制御する警告制御を行うこととした。検知アルゴリズムの挙動は、図１に示した情報蓄積の無効化、および、図２に示したインターバル区間の設定の無効化を含む。

【0025】

図３は、実施形態に係る監視方法における発車直後の誤警告対策の説明図である。また、図４は、動作種別の説明図である。また、図５は、実施形態に係る監視方法における発車直後の未警告対策の説明図である。

【0026】

具体的には、図３に示すように、実施形態に係る監視方法では発車直後の誤警告対策として、コントローラ１２がドライバの動作種別ごとの所定の間につき、検知アルゴリズムにおける情報蓄積を無効化する。言い換えれば、コントローラ１２は、ドライバの動作種別ごとに情報の蓄積を無効化するか否かを決定することによって検知アルゴリズムの挙動を変更する。これにより、検知アルゴリズムにおける動作種別ごとの情報の蓄積量の制御が可能となり、誤検知を招きやすい情報を除外することができる。なお、ここに言う「情報蓄積の無効化」は、蓄積そのものを行わないこと、および、蓄積は行うが参照対象から除外することの双方の意味を含む。

【0027】

図３に示すように、コントローラ１２は、例えば動作Ａについては時点Ｔ１の停車から時点Ｔ３の発車まで、すなわち車速が閾値ＴＨ１（＝０）である間は、検知アルゴリズムにおける情報蓄積を無効化する。また、コントローラ１２は、例えば動作Ｂについては時点Ｔ１の停車から時点Ｔ６まで、すなわち車速が閾値ＴＨ１以上であり閾値ＴＨ２以下である間は、検知アルゴリズムにおける情報蓄積を無効化する。閾値ＴＨ２は、例えば３０～４０ｋｍ／ｈ程度である。

【0028】

これにより、図１では時点Ｔ４において誤検知された警告対象動作が、図３では同じ時点Ｔ４において未検知となる可能性を高くすることができる。未検知であれば、検知アルゴリズムは時点Ｔ４における警告制御アプリへの通知は行わず、無論警告は非実施となる。つまり、実施形態に係る監視方法によれば、発車直後の誤警告が生じるのを抑制することができる。

【0029】

なお、図４に示すように、動作Ａは、例えば「居眠り」や、「スマホ操作」や、「キャリブレーション関連動作」等である。動作Ａは、「第１の動作種別」の一例に相当する。スマホ操作は、通話動作のほか通話以外のスマートフォン（スマホ）等の物体に対する操作を行う場合を含む。キャリブレーション関連動作は、カメラに対するドライバの顔の向き等の基準位置等を設定するための動作である。

【0030】

また、動作Ｂは、例えば「わき見」等である。動作Ｂは、「第２の動作種別」の一例に相当する。動作Ｂは、動作Ａよりも危険度が低いとして予め定義される。わき見は、例えば車両の発車前後などにドライバが行う左右確認動作等を含む。このため、本実施形態では、動作Ｂについては停車中の間だけでなく車速が閾値ＴＨ２以下である低速域の間も情報蓄積を無効化することとしている。これにより、ドライバの左右確認動作などを警告対象動作として誤検知してしまうことを抑制することができる。

【0031】

また、図５に示すように、実施形態に係る監視方法では発車直後の未警告対策として、コントローラ１２がドライバの動作種別ごとの所定の間につき、検知アルゴリズムにおけるインターバル区間の設定を無効化する。言い換えれば、コントローラ１２は、ドライバの動作種別ごとにインターバル区間を無効化するか否かを決定することによって検知アルゴリズムの挙動を変更する。これにより、検知アルゴリズムが警告対象動作を検知するにあたり、未検知を招きやすいインターバル区間を動作種別ごとに除外することができる。なお、ここに言う「インターバル区間の設定を無効化」は、インターバル区間の設定を不可とすることを指す。

【0032】

図５に示すように、コントローラ１２は、例えば動作Ａについては時点Ｔ１の停車から時点Ｔ３の発車まで、すなわち車速が閾値ＴＨ１（＝０）である間は、検知アルゴリズムにおけるインターバル区間の設定を無効化する。また、コントローラ１２は、例えば動作Ｂについては時点Ｔ１の停車から時点Ｔ６まで、すなわち車速が閾値ＴＨ１以上であり閾値ＴＨ２以下である間は、検知アルゴリズムにおけるインターバル区間の設定を無効化する。

【0033】

これにより、図２では時点Ｔ４において警告非実施となった警告対象動作が、図５では時点Ｔ６よりも後の同じ時点Ｔ４において検知される。検知されれば、検知アルゴリズムはかかる検知を警告制御アプリへ通知する。通知を受けた警告制御アプリは、これに対応する警告を実施する。つまり、実施形態に係る監視方法によれば、発車直後の未警告が生じるのを防止することができる。

【0034】

また、本実施形態では、動作Ｂについては停車中の間だけでなく車速が閾値ＴＨ２以下である低速域の間もインターバル区間の設定を無効化する。これにより、ドライバの左右確認動作などを警告対象動作として誤検知してしまうことを抑制することができる。

【0035】

このように、実施形態に係る監視方法では、コントローラ１２が、車室内画像の画像認識に基づく検知アルゴリズムによって警告対象となる乗員の動作を検知し、検知する動作の動作種別ごとに検知アルゴリズムの挙動を変更する。また、コントローラ１２は、この検知アルゴリズムの挙動に応じてドライバに対する警告の実施または非実施を制御する警告制御を行う。

【0036】

したがって、実施形態に係る監視方法によれば、車両の乗員の動作種別に応じつつ、より報知精度の高い警告制御を行うことができる。以下、上述した実施形態に係る監視方法を適用した監視装置１０の構成例について、より具体的に説明する。

【0037】

図６は、実施形態に係る監視装置１０の構成例を示す図である。図６に示すように、監視装置１０は、記憶部１１と、コントローラ１２とを備える。また、監視装置１０は、カメラ３と、出力部５とが接続される。

【0038】

カメラ３は、車両に搭載され、少なくとも車室内画像を撮像可能に設けられる。なお、カメラ３は、車室内に限らず、全周囲を撮像可能な３６０度カメラであってもよい。

【0039】

出力部５は、監視装置１０からの出力情報（本実施形態では主に乗員に対する警告）を提示する出力デバイスである。出力部５は、ディスプレイやスピーカ等によって実現される。

【0040】

車載センサ７は、車両に搭載される各種のセンサ群である。車載センサ７は、車速センサを含む。車速センサは、車速を計測して随時コントローラ１２へ通知する。車載センサ７は、ＣＡＮ（Controller Area Network）等の車載ネットワークを介して監視装置１０と接続される。車載センサ７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、Ｗｉ－Ｆｉ（登録商標）、ＵＷＢ（Ultra Wide Band）等を介して無線により監視装置１０と接続されてもよい。

【0041】

監視装置１０は、例えば車両に搭載されるコンピュータである。監視装置１０は、少なくとも、図３および図５を用いて説明した各対策となる情報処理を実行する。

【0042】

記憶部１１は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の記憶デバイスによって実現される。記憶部１１は、コントローラ１２が実行する実施形態に係るプログラムを記憶する。また、記憶部１１は、コントローラ１２が実行する情報処理において用いられる各種の情報を記憶する。

【0043】

記憶部１１は、例えば画像認識用のＡＩモデルを記憶する。また、記憶部１１は、図１および図３を用いて説明した蓄積情報を記憶する。また、記憶部１１は、コントローラ１２が実行する情報処理において用いられる閾値情報等を記憶する。

【0044】

コントローラ１２は、いわゆるプロセッサに相当する。コントローラ１２は、ＣＰＵ（Central Processing Unit）や、ＭＰＵ（Micro Processing Unit）や、ＧＰＵ（Graphics Processing Unit）等によって実現される。コントローラ１２は、記憶部１１に記憶されている実施形態に係るプログラムを読み込んでＲＡＭを作業領域として実行する。コントローラ１２は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することもできる。

【0045】

コントローラ１２は、図８および図９の各フローチャートに示す処理手順による情報処理を実行する。図８および図９を用いた説明は後述する。

【0046】

なお、図６に示すように、カメラ３、出力部５および監視装置１０は、ドライブレコーダ１として実現することができる。この場合、カメラ３は、ドライブレコーダ１に搭載されるカメラユニットによって実現される。出力部５は、ドライブレコーダ１に搭載されるディスプレイやスピーカによって実現される。監視装置１０は、ドライブレコーダ１に搭載されるマイコンによって実現される。

【0047】

また、ドライブレコーダ１は、車載センサ７によらず、ドライブレコーダ１自体が車速センサを備えるようにしてもよい。また、ドライブレコーダ１は、Ｇセンサを備え、Ｇセンサから車速を算出するようにしてもよい。また、ドライブレコーダ１は、カメラ３による車外画像に基づいて車速を算出するようにしてもよい。本実施形態では、監視装置１０は、車載センサ７から車速を取得するものとする。

【0048】

図６に示す構成例は一例であり、この他にも変形例を挙げることができる。図７は、変形例に係る監視装置１０の構成例を示す図である。図７に示すように、監視装置１０は、監視ＥＣＵ（Electronic Control Unit）９として実現することができる。この場合、カメラ３は、例えばドライブレコーダ１に搭載されるカメラユニットによって実現される。カメラ３は、ドライブレコーダ１以外の車載カメラユニットによって実現されてもよい。出力部５は、車両に搭載される車載出力装置８である車載ディスプレイや車載スピーカによって実現される。

【0049】

図７の例の場合、カメラ３および出力部５は、ＣＡＮ等の車載ネットワークを介して監視装置１０と接続される。カメラ３および出力部５は、Ｂｌｕｅｔｏｏｔｈや、Ｗｉ－Ｆｉ、ＵＷＢ等を介して無線により監視装置１０と接続されてもよい。

【0050】

次に、監視装置１０のコントローラ１２が実行する情報処理の処理手順について、図８および図９を用いて説明する。図８は、実施形態に係る監視装置１０が実行する処理手順を示すフローチャート（その１）である。図９は、実施形態に係る監視装置１０が実行する処理手順を示すフローチャート（その２）である。

【0051】

なお、図８は、図３に示した発車直後の誤警告対策としての情報処理を実行する処理手順を示している。また、図９は、図５に示した発車直後の未警告対策としての情報処理を実行する処理手順を示している。また、図８および図９は、コントローラ１２において実行される検知アルゴリズムの挙動を主に示している。

【0052】

発車直後の誤警告対策としては、図８に示すように、コントローラ１２は、カメラ３および車載センサ７から車室内画像および車速を取得する（ステップＳ１０１）。そして、コントローラ１２は、車室内画像の画像認識を行う（ステップＳ１０２）。

【0053】

また、コントローラ１２は、ステップＳ１０１で取得した車速が第１閾値（前述の閾値ＴＨ１に相当）の０であるか否かを判定する（ステップＳ１０３）。車速が０である場合（ステップＳ１０３，Ｙｅｓ）、コントローラ１２は、画像認識結果に基づく動作Ａおよび動作Ｂに関する情報蓄積を無効化する（ステップＳ１０４）。

【0054】

車速が０以外である場合（ステップＳ１０３，Ｎｏ）、コントローラ１２は、車速が第２閾値（前述の閾値ＴＨ２に相当）以下であるか否かを判定する（ステップＳ１０５）。車速が第２閾値以下である場合（ステップＳ１０５，Ｙｅｓ）、コントローラ１２は、画像認識結果に基づく動作Ｂに関する情報蓄積を無効化する（ステップＳ１０６）。

【0055】

車速が第２閾値を超える場合（ステップＳ１０５，Ｎｏ）、コントローラ１２は、画像認識結果に基づく動作Ａおよび動作Ｂに関する情報蓄積を有効化する（ステップＳ１０７）。

【0056】

そして、コントローラ１２は、蓄積情報に基づく動作検知処理を実行する（ステップＳ１０８）。そして、コントローラ１２は、警告対象動作が検知されたか否かを判定する（ステップＳ１０９）。

【0057】

警告対象動作が検知された場合（ステップＳ１０９，Ｙｅｓ）、コントローラ１２は検知アルゴリズムが警告制御アプリへの通知を行い、これに基づいて警告制御アプリが警告を実施する（ステップＳ１１０）。

【0058】

警告対象動作が検知されなかった場合（ステップＳ１０９，Ｎｏ）、コントローラ１２は検知アルゴリズムが警告制御アプリへの通知を行わず、警告制御アプリも警告非実施となる（ステップＳ１１１）。

【0059】

そして、コントローラ１２は、処理終了であるか否かを判定する（ステップＳ１１２）。処理終了を示すイベントは、例えば車両の起動終了等である。処理終了でないと判定した場合（ステップＳ１１２，Ｎｏ）、コントローラ１２は、ステップＳ１０１からの処理を繰り返す。また、処理終了であると判定した場合（ステップＳ１１２，Ｙｅｓ）、コントローラ１２は処理を終了する。

【0060】

次に、発車直後の未警告対策としては、図９に示すように、コントローラ１２は、カメラ３および車載センサ７から車室内画像および車速を取得する（ステップＳ２０１）。そして、コントローラ１２は、車室内画像の画像認識を行う（ステップＳ２０２）。

【0061】

また、コントローラ１２は、ステップＳ２０１で取得した車速が第１閾値の０であるか否かを判定する（ステップＳ２０３）。車速が０である場合（ステップＳ２０３，Ｙｅｓ）、コントローラ１２は、動作Ａおよび動作Ｂに関するインターバル区間の設定を無効化する（ステップＳ２０４）。

【0062】

車速が０以外である場合（ステップＳ２０３，Ｎｏ）、コントローラ１２は、車速が第２閾値以下であるか否かを判定する（ステップＳ２０５）。車速が第２閾値以下である場合（ステップＳ２０５，Ｙｅｓ）、コントローラ１２は、動作Ｂに関するインターバル区間の設定を無効化する（ステップＳ２０６）。

【0063】

車速が第２閾値を超える場合（ステップＳ２０５，Ｎｏ）、コントローラ１２は、動作Ａおよび動作Ｂに関するインターバル区間の設定を有効化する（ステップＳ２０７）。

【0064】

そして、コントローラ１２は、画像認識結果に基づく動作検知処理を実行する（ステップＳ２０８）。なお、図示は略しているが、動作検知処理において警告対象動作が検知されれば、コントローラ１２はインターバル区間の設定が有効化されている場合、動作種別ごとの所定の間のインターバル区間を設定することとなる。

【0065】

そして、コントローラ１２は、インターバル区間であるか否かを判定する（ステップＳ２０９）。インターバル区間である場合（ステップＳ２０９，Ｙｅｓ）、コントローラ１２は検知アルゴリズムが警告対象動作を検知しても警告制御アプリへの通知を行わず、警告制御アプリも警告非実施となる（ステップＳ２１０）。

【0066】

また、インターバル区間でない場合（ステップＳ２０９，Ｎｏ）、コントローラ１２は検知アルゴリズムが警告対象動作を検知すればこれを警告制御アプリへ通知し、かかる通知に基づいて警告制御アプリが警告を実施する（ステップＳ２１１）。

【0067】

そして、コントローラ１２は、処理終了であるか否かを判定する（ステップＳ２１２）。処理終了を示すイベントは、例えば車両の起動終了等である。処理終了でないと判定した場合（ステップＳ２１２，Ｎｏ）、コントローラ１２は、ステップＳ２０１からの処理を繰り返す。また、処理終了であると判定した場合（ステップＳ２１２，Ｙｅｓ）、コントローラ１２は処理を終了する。

【0068】

なお、図８および図９に示した処理手順は、コントローラ１２が並列に実行することとしてもよいし、適宜組み合わされて実行されてもよい。

【0069】

上述してきたように、実施形態に係る監視装置１０は、車両のドライバの動作を監視する監視装置であって、コントローラ１２を有する。コントローラ１２は、車室内画像の画像認識に基づく検知アルゴリズムによって警告対象となる上記乗員の動作を検知し、検知する動作の動作種別ごとに上記検知アルゴリズムの挙動を変更し、変更された上記検知アルゴリズムの挙動に基づいて上記乗員に対する警告の実施または非実施を制御する警告制御を行う。これにより、車両の乗員の動作種別に応じつつ、より報知精度の高い警告制御を行うことができる。

【0070】

なお、上述した実施形態では、主にドライバの警告対象となる動作を例に挙げたが、検知対象となる警告対象動作は、ドライバ以外の乗員によるものであってもよい。例えば、ドライバ以外の乗員が、窓から手や顔を出す動作などを警告対象動作としてもよい。また、例えば、同乗者の不適当な着座姿勢などを警告対象動作としてもよい。

【0071】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0072】

１ ドライブレコーダ
３ カメラ
５ 出力部
７ 車載センサ
８ 車載出力装置
９ 監視ＥＣＵ
１０ 監視装置
１１ 記憶部
１２ コントローラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】