(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-05
(45)【発行日】2024-11-13
(54)【発明の名称】検知機能制御装置、検知機能制御方法、及びプログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20241106BHJP
【FI】
G08G1/16 F
(21)【出願番号】P 2021034404
(22)【出願日】2021-03-04
【審査請求日】2023-12-28
(73)【特許権者】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】100149548
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100175824
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100114937
【氏名又は名称】松本 裕幸
(74)【代理人】
【識別番号】100162868
【氏名又は名称】伊藤 英輔
(72)【発明者】
【氏名】孝治 吉春
(72)【発明者】
【氏名】小野寺 毅
【審査官】篠原 将之
(56)【参考文献】
【文献】特開2014-032119(JP,A)
【文献】特開2020-183226(JP,A)
【文献】特開2003-226227(JP,A)
【文献】特開2014-016702(JP,A)
【文献】登録実用新案第3207515(JP,U)
【文献】特開2014-232421(JP,A)
【文献】国際公開第2020/181840(WO,A1)
【文献】特開平10-234076(JP,A)
【文献】特表2010-503262(JP,A)
【文献】特開2019-074944(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/16
(57)【特許請求の範囲】
【請求項1】
イグニッションの状態、座席に着座しているか否か、車両の加速度、前記車両の位置、前記車両の速度、及び収音される音声のいずれか1以上の検出の結果に基づいて前記車両の状況を判定する車両状況判定部と、
前記車両状況判定部によって判定された前記状況に基づいて危険な運転を検知するための1以上の検知機能のうちいずれを作動させるかを判定する検知機能制御部と、
を備え
、
前記検知機能制御部は、前記車両状況判定部が前記加速度、前記位置、前記速度のすべての変化量が所定未満であると判定し、かつ、前記車両状況判定部がイグニッションオンになって以降所定時間以内であると判定した場合、または前記車両状況判定部が着座状態に変化が生じたと判定した場合に、顔認証機能を作動させ、
前記検知機能制御部は、前記車両状況判定部が前記加速度、前記位置、前記速度のいずれか1以上の変化量が所定以上であると判定した場合には、わき見運転を判定する機能を作動させる検知機能制御装置。
【請求項2】
前記検知機能制御部は、
前記車両状況判定部が、前記車両が移動中であると判定し、かつ、前記車両状況判定部が運転者が発話していると判定した場合には、通話動作を判定する画像認識機能を作動させ、
前記車両状況判定部が、前記車両が移動中であると判定し、かつ、前記車両状況判定部が前記運転者が沈黙していると判定した場合には、居眠り運転を判定する画像認識機能を作動させる
請求項1に記載の検知機能制御装置。
【請求項3】
イグニッションの状態、座席に着座しているか否か、車両の加速度、前記車両の位置、前記車両の速度、及び収音される音声のいずれか1以上の検出の結果に基づいて前記車両の状況を判定する車両状況判定ステップと、
前記車両状況判定ステップによって判定された前記状況に基づいて危険な運転を検知するための1以上の検知機能のうちいずれを作動させるかを判定する検知機能制御ステップと
を含み、
前記検知機能制御ステップは、前記車両状況判定ステップが前記加速度、前記位置、前記速度のすべての変化量が所定未満であると判定し、かつ、前記車両状況判定ステップがイグニッションオンになって以降所定時間以内であると判定した場合、または前記車両状況判定ステップが着座状態に変化が生じたと判定した場合に、顔認証機能を作動させ、
前記検知機能制御ステップは、前記車両状況判定ステップが前記加速度、前記位置、前記速度のいずれか1以上の変化量が所定以上であると判定した場合には、わき見運転を判定する機能を作動させる検知機能制御方法。
【請求項4】
コンピュータに、
イグニッションの状態、座席に着座しているか否か、車両の加速度、前記車両の位置、前記車両の速度、及び収音される音声のいずれか1以上の検出の結果に基づいて前記車両の状況を判定する車両状況判定ステップと、
前記車両状況判定ステップによって判定された前記状況に基づいて危険な運転を検知するための1以上の検知機能のうちいずれを作動させるかを判定する検知機能制御ステップと、
を実行させるためのプログラム
であって、
前記検知機能制御ステップは、前記車両状況判定ステップが前記加速度、前記位置、前記速度のすべての変化量が所定未満であると判定し、かつ、前記車両状況判定ステップがイグニッションオンになって以降所定時間以内であると判定した場合、または前記車両状況判定ステップが着座状態に変化が生じたと判定した場合に、顔認証機能を作動させ、
前記検知機能制御ステップは、前記車両状況判定ステップが前記加速度、前記位置、前記速度のいずれか1以上の変化量が所定以上であると判定した場合には、わき見運転を判定する機能を作動させる
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検知機能制御装置、検知機能制御方法、及びプログラムに関する。
【背景技術】
【0002】
小型の端末にAI(Artificial Intelligence)機能を搭載し、利用者の顔認証や居眠りの検知などを行う技術が知られている。例えば、カメラを設置することなく、居眠りを検知する装置が知られている(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
AI機能はその目的に応じて、異なる推論モデルを実行する必要がある。推論モデルの実行には大量の計算資源(CPUリソースまたは専用回路リソース)が必要とされる。そのため、小型の端末で同時に実行できる推論モデルの数には限界がある。
近年の高性能ドライブレコーダには、DMS(Driver Monitoring System)が搭載されるものがある。このDMSでは、例えば、運転者の顔認証、わき見、居眠り、通話動作などを検知し、危険な運転を警告する機能が搭載されている。しかしながら、小型の端末ではこれらすべての機能を実行するための計算力がないことが多い。そのため、小型の端末に、DMSのような機能を実装することが困難であった。
保有する計算能力に対してより多くの検知機能を作動できることが求められている。
【0005】
本発明は上記の点に鑑みてなされたものであり、保有する計算能力に対してより多くの検知機能を作動できる検知機能制御装置、検知機能制御方法、及びプログラムを提供する。
【課題を解決するための手段】
【0006】
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、イグニッションの状態、座席に着座しているか否か、車両の加速度、前記車両の位置、前記車両の速度、及び収音される音声のいずれか1以上の検出の結果に基づいて前記車両の状況を判定する車両状況判定部と、前記車両状況判定部によって判定された前記状況に基づいて危険な運転を検知するための1以上の検知機能のうちいずれを作動させるかを判定する検知機能制御部と、を備え、前記検知機能制御部は、前記車両状況判定部が前記加速度、前記位置、前記速度のすべての変化量が所定未満であると判定し、かつ、前記車両状況判定部がイグニッションオンになって以降所定時間以内であると判定した場合、または前記車両状況判定部が着座状態に変化が生じたと判定した場合に、顔認証機能を作動させ、前記検知機能制御部は、前記車両状況判定部が前記加速度、前記位置、前記速度のいずれか1以上の変化量が所定以上であると判定した場合には、わき見運転を判定する機能を作動させる検知機能制御装置である。
【0008】
また、本発明の一態様は、上記の検知機能制御装置において、前記検知機能制御部は、前記車両状況判定部が、前記車両が移動中であると判定し、かつ、前記車両状況判定部が運転者が発話していると判定した場合には、通話動作を判定する画像認識機能を作動させ、前記車両状況判定部が、前記車両が移動中であると判定し、かつ、前記車両状況判定部が前記運転者が沈黙していると判定した場合には、居眠り運転を判定する画像認識機能を作動させる。
【0009】
また、本発明の一態様は、イグニッションの状態、座席に着座しているか否か、車両の加速度、前記車両の位置、前記車両の速度、及び収音される音声のいずれか1以上の検出の結果に基づいて前記車両の状況を判定する車両状況判定ステップと、前記車両状況判定ステップによって判定された前記状況に基づいて危険な運転を検知するための1以上の検知機能のうちいずれを作動させるかを判定する検知機能制御ステップとを含み、前記検知機能制御ステップは、前記車両状況判定ステップが前記加速度、前記位置、前記速度のすべての変化量が所定未満であると判定し、かつ、前記車両状況判定ステップがイグニッションオンになって以降所定時間以内であると判定した場合、または前記車両状況判定ステップが着座状態に変化が生じたと判定した場合に、顔認証機能を作動させ、前記検知機能制御ステップは、前記車両状況判定ステップが前記加速度、前記位置、前記速度のいずれか1以上の変化量が所定以上であると判定した場合には、わき見運転を判定する機能を作動させる検知機能制御方法である。
【0010】
また、本発明の一態様は、コンピュータに、イグニッションの状態、座席に着座しているか否か、車両の加速度、前記車両の位置、前記車両の速度、及び収音される音声のいずれか1以上の検出の結果に基づいて前記車両の状況を判定する車両状況判定ステップと、前記車両状況判定ステップによって判定された前記状況に基づいて危険な運転を検知するための1以上の検知機能のうちいずれを作動させるかを判定する検知機能制御ステップと、を実行させるためのプログラムであって、前記検知機能制御ステップは、前記車両状況判定ステップが前記加速度、前記位置、前記速度のすべての変化量が所定未満であると判定し、かつ、前記車両状況判定ステップがイグニッションオンになって以降所定時間以内であると判定した場合、または前記車両状況判定ステップが着座状態に変化が生じたと判定した場合に、顔認証機能を作動させ、前記検知機能制御ステップは、前記車両状況判定ステップが前記加速度、前記位置、前記速度のいずれか1以上の変化量が所定以上であると判定した場合には、わき見運転を判定する機能を作動させるプログラムである。
【発明の効果】
【0011】
本発明によれば、保有する計算能力に対してより多くの検知機能を作動できる。
【図面の簡単な説明】
【0012】
【
図1】本発明の実施形態に係るドライブレコーダのハードウェア構成の一例を示す図である。
【
図2】本発明の実施形態に係るドライブレコーダの機能構成の一例を示す図である。
【
図3】本発明の実施形態に係る車両状況と複数の検知機能を作動させるか否かとの関係の一例を示す図である。
【
図4】本発明の実施形態に係る検知機能制御処理の一例を示す図である。
【
図5】本発明の実施形態に係る検知機能制御処理の一例を示す図である。
【発明を実施するための形態】
【0013】
(実施形態)
以下、図面を参照しながら本発明の実施形態について詳しく説明する。本実施形態では、一例として、ドライブレコーダ1に、運転者の顔認証、わき見、居眠り、通話動作などの複数の検知項目を検知するAIが搭載されている場合について説明する。ドライブレコーダ1は、運転者2(不図示)によって運転される車両3(不図示)に搭載される。ドライブレコーダ1は、例えば、主に車両3(不図示)のダッシュボードまたはフロントガラスに設置される。
[ドライブレコーダの構成]
図1は、本実施形態に係るドライブレコーダ1のハードウェア構成の一例を示す図である。ドライブレコーダ1は、加速度センサ10と、ジャイロセンサ11と、GPS受信部12と、車両信号ケーブル13と、カメラ14と、スピーカ15と、ディスプレイ16と、操作ボタン17と、マイク18と、タイマー19と、CPU110と、ROM111と、RAM112と、通信モジュール113とを備える。加速度センサ10、ジャイロセンサ11、GPS受信部12、車両信号ケーブル13、カメラ14、スピーカ15、ディスプレイ16、操作ボタン17、マイク18、タイマー19、CPU110、ROM111、RAM112、及び通信モジュール113は、互いに信号線によって接続される。
【0014】
加速度センサ10は、車両3の加速度を測定する。
ジャイロセンサ11は、車両3の角速度を測定する。
GPS受信部12は、GPS(Global Positioning System)を利用して車両3の現在位置を示す情報を取得する。
【0015】
車両信号ケーブル13は、車両3から車両信号を取得する。車両信号は、車両3の状態を示す信号である。車両信号ケーブル13は、車両3のECU(Electronic Control Unit)から各種の車両信号を取得する。各種の車両信号には、例えば、イグニッションスイッチ信号、車速信号、車両3の操舵角を示す信号、車両3のシートに加わる圧力の値を示す信号などが含まれる。
【0016】
カメラ14は、第1のカメラと、第2のカメラとを含む。第1のカメラは、運転者2の身体の一部または全部を撮影する。第2のカメラは、車両3の走行中の動画像を撮影、及び録画する。
スピーカ15は、音声による警告音を出力する。
【0017】
ディスプレイ16は、各種の画面を表示する。ディスプレイ16は、例えば、液晶ディスプレイ、または有機エレクトロルミネッセンス(EL:Electroluminescence)ディスプレイなどである。
操作ボタン17は、ユーザがドライブレコーダ1を操作するためのボタンである。
なお、ディスプレイ16は、タッチパネルであってもよく、その場合、操作ボタン17はディスプレイ16と一体となって構成されてもよい。または、操作ボタン17の一部がディスプレイ16と一体となって構成されてもよい。
【0018】
マイク18は、音声を収音する。当該音声には、運転者2の発話による音声が含まれる。
タイマー19は、計時を行う。
【0019】
CPU110は、ROM111からプログラムを読み込み、読み込んだプログラムに従って各種の制御を実行する。CPU110は、レジスターなどの内部記憶媒体を複数内蔵している。CPU110は、ROM111から内部記憶媒体にデータを一時的に記憶し、これを演算処理する。CPU110は、演算結果をレジスターに出力し、さらにレジスターからRAM112や外部の記憶媒体に出力させる。
【0020】
ROM111は、CPU110が各種演算や制御を行うための各種プログラム、データ及びパラメーターなどを格納した主記憶装置である。ROM111は、ROM111に供給される電力がゼロの状態でも記憶内容を保持できる。
【0021】
RAM112は、CPU110にワーキングメモリーとして使用される主記憶装置である。RAM112は、CPU110により、プログラムやデータなどの書き込み及び消去が行われる。RAM112は、例えば、半導体記憶装置等の記憶装置を用いて構成される。
【0022】
通信モジュール113は、無線ネットワークNWを介して、各種の情報の送信及び受信を行う。通信モジュール113は、通信インターフェース(I/F)を備える。
【0023】
図2は、本実施形態に係るドライブレコーダ1の機能構成の一例を示す図である。ドライブレコーダ1は、制御部20と、加速度取得部21と、角速度取得部22と、位置取得部23と、車両信号取得部24と、収音部25と、撮影部26と、計時部27と、操作部28と、音声出力部29と、表示部210と、通信部211と、記憶部212とを備える。
【0024】
制御部20は、ドライブレコーダ1についての各種の制御を行う。制御部20は、例えばCPUを備えており、種々の演算や情報の授受を行う。制御部20が備える各機能部は、CPUがROMからプログラムを読み込んで処理を実行することにより実現される。制御部20が備える各機能部については後述する。制御部20は、
図1に示したCPU110、ROM111、及びRAM112を含む。
【0025】
加速度取得部21は、車両3の加速度を取得する。加速度取得部21は、取得した加速度に基づいて、加速度データA1を生成する。加速度データA1は、車両3の加速度を示す。加速度取得部21は、
図1に示した加速度センサ10を含む。
【0026】
角速度取得部22は、車両3の角速度を取得する。角速度取得部22は、取得した角速度に基づいて、角速度データB1を生成する。角速度データB1は、車両3の角速度を示す。角速度取得部22は、
図1に示したジャイロセンサ11を含む。
【0027】
位置取得部23は、車両3の位置を取得する。位置取得部23は、取得した位置に基づいて、位置データC1を生成する。位置データC1は、車両3の位置を示す。位置取得部23は、
図1に示したGPS受信部12を含む。
【0028】
車両信号取得部24は、車両3の車両信号を取得する。車両信号取得部24は、取得した車両信号に基づいて、車両信号データD1を生成する。車両信号データD1は、イグニッションのオンまたはオフを示すデータ、車両3の車速を示すデータ、操舵角データ、着座データを含む。操舵角データは、車両3の操舵角を示す。着座データは、車両3のシートに加わる圧力の値を示す。車両信号取得部24は、
図1に示した車両信号ケーブル13を含む。
【0029】
収音部25は、運転者2の発話による音声を収音する。収音部25は、収音した結果、音声データE1を生成する。音声データE1は、運転者2の発話による音声を示す。収音部25は、
図1に示したマイク18を含む。
【0030】
撮影部26は、運転者2の顔、運転者2の動作のいずれか1以上を撮影する。撮影部26は、撮影の結果、画像データF1を生成する。画像データF1は、運転者2の顔、運転者2の動作のいずれか1以上を示す。撮影部26は、
図1に示したカメラ14を含む。
【0031】
計時部27は、各種の計時を行う。計時部27は、制御部20からの信号に応じて計時の開始し及び停止を行う。計時部27は、計時の結果、計時データG1を生成する。計時データG1には、例えば、制御部20から計時開始の信号を取得してから計時停止の信号を取得するまでに経過した時間が含まれる。計時部27は、複数の計時を並行して行う場合がある。複数の計時が並行して行われる場合には、計時データG1には、それら複数の計時の結果が含まれる。また、計時データG1には、現在時刻が含まれてもよい。
計時部27は、
図1に示したタイマー19を含む。
【0032】
操作部28は、ドライブレコーダ1のユーザによる各種の操作を受け付ける。操作部28は、
図1に示した操作ボタン17を含む。なお、操作ボタン17とディスプレイ16とが一体となってタッチパネルとして備えられる場合、操作部28は、当該タッチパネルを含む。
【0033】
音声出力部29は、各種の音声を出力する。音声出力部29が出力する音声には、例えば、運転者2についての検知の結果、異常が検知された場合に警告音として出力する音声が含まれる。
【0034】
表示部210は、各種の画面を表示する。表示部210が表示する画面には、例えば、運転者2についての検知の結果、異常が検知された場合に警告として表示される警告画面が含まれる。表示部210は、
図1に示したディスプレイ16、及びRAM112を含む。RAM112には、警告画面の画像データが含まれる。
【0035】
通信部211は、外部装置と通信を行う。通信部211が通信を行う外部装置には、サーバ(不図示)が含まれる。通信部211は、
図1に示した通信モジュール113を含む。
記憶部212は、各種の情報を記憶する。記憶部212は、
図1に示したRAM112を含む。
【0036】
ここで制御部20が備える各機能部について説明する。制御部20は、取得部200と、操作受付部2010と、表示制御部2011と、警告部2012と、検知実行部30と、検知機能管理部31とを備える。
【0037】
取得部200は、各種の情報を取得する。取得部200は、加速度データ取得部201と、角速度データ取得部202と、操舵角データ取得部203と、位置情報取得部204と、車両信号データ取得部205と、着座データ取得部206と、音声データ取得部207と、撮影画像取得部208と、計時データ取得部209とを備える。
【0038】
加速度データ取得部201は、加速度取得部21から加速度データA1を取得する。
角速度データ取得部202は、角速度取得部22から角速度データB1を取得する。
操舵角データ取得部203は、車両信号取得部24から車両信号データD1に含まれる操舵角データを取得する。
位置情報取得部204は、位置取得部23から位置データC1を取得する。
車両信号データ取得部205は、車両信号取得部24から車両信号データD1を取得する。
【0039】
着座データ取得部206は、車両信号取得部24から車両信号データD1に含まれる着圧データを取得する。
音声データ取得部207は、収音部25から音声データE1を取得する。
撮影画像取得部208は、撮影部26から画像データF1を取得する。
計時データ取得部209は、計時部27から計時データG1を取得する。
【0040】
操作受付部2010は、操作部28に行われた各種の操作を受け付ける。
表示制御部2011は、表示部210を制御して、表示部210に各種の画面を表示させる。
警告部2012は、警告を実行する。例えば、警告部2012は、音声出力部29を制御して、音声出力部29に警告音を出力させる。
【0041】
検知実行部30は、AI機能を備え、通話動作などの複数の検知項目を検知する。換言すれば、検知実行部30は、複数の検知項目それぞれに応じて複数の検知機能を実行する。なお、検知実行部30が各種の判定を行うための学習済みのモデルは記憶部212に記憶されている。検知実行部30は、ドライバーモニタシステム(DMS:Driver Monitoring System)に相当する。
検知実行部30は、顔認証部300と、わき見運転判定部301と、居眠り運転判定部302と、通話動作判定部303とを備える。
【0042】
顔認証部300は、運転者2の顔を認証する。顔認証部300は、撮影画像取得部208が取得する画像データF1が示す運転者2の顔と、記憶部212に記憶される車両3の持ち主の顔画像(不図示)とを比較することによってAI機能に基づいて認証を行う。顔認証部300は、顔認証の結果を、運転者の情報として収集する。顔認証は、例えば、車両3が業務用車両などの場合に、許可のない、もしくは無関係な人間が運転することを防ぐためのものである。例えば、顔認証部300は、顔認証の結果、運転者2が許可のない人間と判定した場合、警告部2012に警告を実行させる。または、顔認証は、盗難防止を目的として運転者2が車両3の持ち主であるかの検証に用いられてもよい。
【0043】
わき見運転判定部301は、わき見運転を判定する。わき見運転判定部301は、撮影画像取得部208が取得する画像データF1が示す運転者2の動作(例えば、顔の向き、視線の向きなど)に基づいて、運転者2がわき見をしていないか否かを判定する。わき見運転判定部301は、運転者2がわき見をしていると判定した場合、警告部2012に警告を実行させる。
【0044】
居眠り運転判定部302は、居眠り運転を判定する。居眠り運転判定部302は、撮影画像取得部208が取得する画像データF1が示す運転者2の動作(例えば、頭部の揺れ、瞼が開いているかなど)に基づいて、居眠りをしていないか否かを判定する。居眠り運転判定部302は、運転者2が居眠りをしていると判定した場合、警告部2012に警告を実行させる。
【0045】
通話動作判定部303は、通話動作を判定する。通話動作判定部303は、音声データ取得部207が取得する音声データE1が示す運転者2の音声に基づいて、通話動作を判定する。通話動作判定部303は、撮影画像取得部208が取得する画像データF1が示す運転者2の動作(例えば、携帯電話を耳元に当てているなど)に基づいて、通話動作を判定してもよい。通話動作判定部303は、運転者2が通話をしていると判定した場合、警告部2012に警告を実行させる。
【0046】
検知機能管理部31は、検知実行部30によって実行される複数の検知機能のうち、いずれを作動させるかを判定する。換言すれば、検知機能管理部31は、当該複数の検知機能のうち作動させる検知機能を選択する。検知機能管理部31は、判定(または選択)の結果、1つの検知機能を作動させてもよいし、複数の検知機能を作動させてもよい。
以下の説明では、検知機能管理部31が実行する処理を、検知機能制御処理ともいう。
検知機能管理部31は、車両状況判定部310と、検知機能制御部311とを備える。
【0047】
車両状況判定部310は、所定の検出項目の検出結果に基づいて車両状況を判定する。ここで所定の検出項目とは、例えば、イグニッションの状態、座席に着座しているか否か、車両の加速度、車両3の位置、車両3の速度、及び収音される音声のいずれか1以上である。車両状況とは、車両3の状況である。車両状況には、例えば、車両3の移動の状況、運転の開始または運転者の交代が行われた状況、運転者2が発話している状況などが含まれる。車両3の移動の状況には、例えば、車両3が移動していること、車両3が前方に直進していることなどが含まれる。
【0048】
なお、所定の検出項目は、イグニッションの状態、座席に着座しているか否か、車両の加速度、車両3の位置、車両3の速度、及び収音される音声のいずれか1以上であってもよい。
【0049】
検知機能制御部311は、車両状況判定部310によって判定された車両状況に基づいて危険な運転を検知するための1以上の検知機能のうちいずれを作動させるかを判定する。検知機能制御部311は、判定結果を検知実行部30に出力し、複数の検知機能のうち当該判定結果が示す検知機能を検知実行部30に作動させる。
【0050】
ここで
図3を参照し、車両状況と複数の検知機能を作動させるか否かとの関係について説明する。
図3は、本実施形態に係る車両状況と複数の検知機能を作動させるか否かとの関係の一例を示す図である。
図3では、車両状況として、車両3が停止していること、車両3が移動していること、車両3が転回していること、運転者2が沈黙していること、運転者2が発話を行っていることが示されている。
図3では、それらの車両状況それぞれの場合に、検知機構を作動させるか否かが顔認証、わき見、居眠り、及び通話動作の検知項目それぞれについて示されている。
【0051】
顔認証による運転者情報の収集が必要になるのは、運転の開始時および運転者の交代時である。加速度センサ、GPSデータ、車速パルスデータなどから、車両3が移動していないこと(停止していること)を検出したときのみ顔認証を実行させ、それらが検出されない残りの時間は顔認証を停止させる。
【0052】
わき見運転の検知による危険運転警告が必要になるのは、車両3が前方直進しているときである。加速度センサ、GPSデータ、車速パルスデータなどから、車両3が移動していること、ジャイロセンサ、操舵角データなどから車両3が転回していないこと(直進していること)を検出したときのみわき見運転の検知機能を実行させ、それらが検出されない残りの時間はわき見運転の検知機能を停止させる。なお、わき見運転の検知機能を実行させるか否かの判定には、運転者の沈黙の検出、または運転者の発話の検出は不要である。
【0053】
居眠り検知による危険運転警告が必要になるのは、車両3が移動中でありかつ運転者2が沈黙しているときである。加速度センサ、GPSデータ、車速パルスデータなどから、車両3が移動していること、ジャイロセンサ、操舵角データなどから車両3が転回していること、マイクから収集される音声データから運転者が沈黙していることを検出したときのみ居眠り検知機能を実行させ、それらが検出されない残りの時間は居眠り検知機能停止させる。
【0054】
通話検知による危険運転警告が必要になるのは、車両3が移動中でありかつ運転者2が発話しているときである。加速度センサ、GPSデータ、車速パルスデータなどから、車両3が移動していること、ジャイロセンサ、操舵角データなどから車両3が転回していること、マイクから収集される音声データから運転者が発話していることを検出したときのみ通話検知機能を実行させ、それらが検出されない残りの時間は通話検知機能を停止させる。
【0055】
[検知機能制御処理]
次に
図4及び
図5を参照し、検知機能制御処理の具体例について説明する。制御部20は、例えば、ドライブレコーダ1の電源がオンになっている間、
図4及び
図5に示す検知機能制御処理をそれぞれ並行して繰り返し実行する。なお、
図4及び
図5に示す検知機能制御処理のうちいずれか一方のみが実行されてもよい。
【0056】
図4及び
図5に示す検知機能制御処理が開始される前においては、複数の検知機能は、作動させないと判定されている。つまり、複数の検知機能のうち、
図4及び
図5に示す検知機能制御処理において作動させると判定されなかった検知機能は、制御部20は作動させない。ただし、
図4及び
図5に示す検知機能制御処理は繰り返し実行されるため、ある時点において作動させないと判定された検知機能であっても、次回の検知機能制御処理において作動させると判定される場合がある。同様に、ある時点において作動させると判定された検知機能であっても、次回の検知機能制御処理において作動させないと判定される場合がある。
【0057】
図4は、本実施形態に係る検知機能制御処理の一例を示す図である。
ステップS10:車両状況判定部310は、各種の検出結果を取得する。ここで車両状況判定部310は、加速度データ取得部201から加速度データA1を取得する。車両状況判定部310は、位置情報取得部204から位置データC1を取得する。車両状況判定部310は、車両信号データ取得部205から車両信号データD1を取得する。車両状況判定部310は、計時データ取得部209から計時データG1を取得する。車両状況判定部310は、着座データ取得部206から着圧データを取得する。
【0058】
ステップS20:車両状況判定部310は、車両3の加速度、車両3の位置、車両3の速度のすべての変化量が所定未満であるか否かを判定する。車両状況判定部310は、例えば、加速度の変化量について、加速度データA1が示す加速度を、計時データG1が示す所定時間によって除算することによって当該変化量を算出する。車両状況判定部310は、例えば、位置の変化量について、位置データC1が示す複数の位置の間の距離を、計時データG1が示す所定時間によって除算することによって当該変化量を算出する。車両状況判定部310は、例えば、車速の変化量について、車両信号データD1が示す車速信号と、計時データG1が示す所定時間とに基づいて、当該変化量を算出する。
【0059】
車両3の加速度の所定の変化量とは、例えば、エンジン等による継続的な振動を超える変化量のことである。当該加速度の所定の変化量は、予め定めておいてもよいし、過去所定時間内の加速度の変化量の平均値または中央値などの代表値から随時求めてもよい。
車両3の位置の所定の変化量とは、例えば、単位時間1秒後のGPSの位置の変化が所定距離1メートルのことである。単位時間は1秒後に限らず、10ミリ秒以上10秒以下の適切な時間としてもよい。また、所定距離は1メートルに限らず、0メートル以上10メートル以下の適切な距離としてもよい。
車両3の速度の所定の変化量とは、例えば、時速3キロメートルのことである。時速3キロメートルに限らず、時速0キロメートル以上5キロメートル以下の適切な速度としてもよい。
【0060】
車両状況判定部310は、車両3の加速度、車両3の位置、車両3の速度のすべての変化量が所定未満であると判定した場合(ステップS20;YES)、ステップS30の処理を実行する。一方、車両状況判定部310が、車両3の加速度、車両3の位置、車両3の速度のいずれか1以上の変化量が所定以上であると判定した場合(ステップS20;NO)、検知機能管理部31は、ステップS50の処理を実行する。
【0061】
ステップS30:車両状況判定部310は、イグニッションオンになって以降所定時間以内であるか、または座席の着座センサに変化があったか否かを判定する。座席の着座センサに変化があることは、座席に着座する乗員の位置または人数に変化があることを示す。
【0062】
イグニッションオンになって以降所定時間以内であるかを判定するために、車両状況判定部310は、車両信号データD1がイグニッションオンとなったことを示す場合、計時部27に計時を開始させる。車両状況判定部310は、計時データG1に基づいて、イグニッションオンになってから経過した時間と、所定時間とを比較して判定を行う。
なお、イグニッションオンになって以降所定時間以内であるか否かを判定するために、車両信号データD1以外の車両信号に基づいて判定が行われてもよい。
【0063】
座席の着座センサに変化があったか否かを判定するために、車両状況判定部310は、着圧データが示す車両3のシートに加わる圧力の値に基づいて判定を行う。
【0064】
車両状況判定部310は、イグニッションオンになって以降所定時間以内であるか、または座席の着座センサに変化があったと判定した場合(ステップS30;YES)、検知機能管理部31は、ステップS40の処理を実行する。一方、車両状況判定部310が、イグニッションオンになって以降所定時間以内でなく、かつ座席の着座センサに変化がなかったと判定した場合(ステップS30;NO)、検知機能管理部31は、検知機能制御処理を終了する。
【0065】
ステップS40:検知機能制御部311は、顔認証機能を作動させると判定する。検知機能制御部311は、顔認証部300に顔認証機能を実行させる。
【0066】
ステップS50:検知機能制御部311は、わき見運転を判定する機能を作動させると判定する。検知機能制御部311は、わき見運転判定部301にわき見運転を判定する機能を実行させる。つまり、検知機能制御部311は、車両状況判定部310が車両3の加速度、車両3の位置、車両3の速度のいずれか1以上の変化量が所定以上であると判定した場合には、わき見運転を判定する機能を作動させる。
以上で、検知機能管理部31は、検知機能制御処理を終了する。
【0067】
なお、顔認証が必要とされるのは、運転者2が入れ替わるときである。
図4に示す検知機能制御処理は、運転者2が入れ替わるのは車両3が移動していない場合であるとの想定に基づいている。
図4に示す検知機能制御処理では、車両3が移動していないことの条件の一例として、イグニッションオンになって以降所定時間以内であるという条件が用いられている。
【0068】
なお、わき見運転の判定が必要とされるのは、車両3が走行中のときである。
図4に示す検知機能制御処理では、車両3が走行中の条件の一例として、車両3の加速度、車両3の位置、車両3の速度それぞれの変化量が所定以上であるという条件が用いられている。
【0069】
なお上述したように、
図4に示した検知機能制御処理においては、顔認証機能を作動させるか否か、わき見運転を判定する機能を作動させるか否かの両方が判定される場合の一例について説明したが、これに限られない。
図4に示した検知機能制御処理において、顔認証機能を作動させるか否か、わき見運転を判定する機能を作動させるか否かのいずれか一方の判定が省略されてもよい。
【0070】
顔認証機能を作動させるか否かの判定が省略される場合、
図4に示した検知機能制御処理においてステップS30及びステップS40の各処理が省略される。その場合、ステップS20において車両状況判定部310が、車両3の加速度、車両3の位置、車両3の速度のすべての変化量が所定未満であると判定した場合(ステップS20;YES)、検知機能管理部31は、検知機能制御処理を終了する。一方、車両状況判定部310が、車両3の加速度、車両3の位置、車両3の速度のいずれか1以上の変化量が所定以上であると判定した場合(ステップS20;NO)、検知機能管理部31は、ステップS50の処理を実行する。
【0071】
わき見運転を判定する機能を作動させるか否かの判定が省略される場合、
図4に示した検知機能制御処理においてステップS20及びステップS50の各処理が省略される。その場合、ステップS30の処理は、ステップS10の処理の後に実行される。ステップS30において、車両状況判定部310は、イグニッションオンになって以降所定時間以内であるか、または座席の着座センサに変化があったと判定した場合(ステップS30;YES)、検知機能管理部31は、ステップS40の処理を実行する。一方、車両状況判定部310が、イグニッションオンになって以降所定時間以内でなく、かつ座席の着座センサに変化がなかったと判定した場合(ステップS30;NO)、検知機能管理部31は、検知機能制御処理を終了する。
【0072】
なお、座席の着座センサに変化があることは、着座状態に変化が生じることの一例である。着座状態に変化が生じることの他の一例は、車両3のドアが開閉されることである。車両状況判定部310は、着座状態に変化が生じたか否かを判定するために、車両3のドアが開閉されたか否かを判定してもよい。その場合、車両信号データD1にはドアが開閉を示す信号が含まれる。車両状況判定部310は、当該信号に基づいて車両3のドアが開閉されたか否かを判定する。
また、車両状況判定部310は、着座状態に変化が生じたか否かを判定するために、座席の着座センサに変化があったか否かと、車両3のドアが開閉されたか否かとの両方を判定してもよい。
【0073】
上述したように、ステップS30において、車両状況判定部310は、イグニッションオンになって以降所定時間以内であるか、または着座状態に変化が生じたか否かを判定すればよい。したがって、検知機能制御部311は、車両状況判定部310が車両3の加速度、車両3の位置、車両3の速度のすべての変化量が所定未満であると判定し、かつ、車両状況判定部310がイグニッションオンになって以降所定時間以内であると判定した場合、または車両状況判定部310が着座状態に変化が生じたと判定した場合に顔認証機能を作動させる。
【0074】
図5は、本実施形態に係る検知機能制御処理の一例を示す図である。
ステップS110:車両状況判定部310は、各種の検出結果を取得する。ここで車両状況判定部310は、音声データ取得部207から音声データE1を取得する。
【0075】
ステップS120:車両状況判定部310は、運転者2が発話しているか否かを判定する。310は、音声データE1が示す運転者2の音声に基づいて、運転者2が発話しているか、または沈黙しているかを判定する。
【0076】
車両状況判定部310が、運転者2が発話していると判定した場合(ステップS120;YES)、検知機能管理部31は、ステップS130の処理を実行する。一方、車両状況判定部310が、運転者2が発話していない(沈黙している)と判定した場合(ステップS120;NO)、検知機能管理部31は、ステップS140の処理を実行する。
【0077】
ステップS130:検知機能制御部311は、通話動作を判定する画像認識機能を作動させると判定する。検知機能制御部311は、通話動作判定部303に通話動作を判定する画像認識機能を実行させる。したがって、検知機能制御部311は、車両状況判定部310が、運転者2が発話していると判定した場合、通話動作を判定する画像認識機能を作動させる。
【0078】
ステップS140:検知機能制御部311は、居眠り運転を判定する画像認識機能を作動させると判定する。検知機能制御部311は、居眠り運転判定部302に居眠り運転を判定する画像認識機能を実行させる。したがって、検知機能制御部311は、車両状況判定部310が、運転者2が沈黙していると判定した場合、居眠り運転を判定する画像認識機能を作動させる。
以上で、検知機能管理部31は、検知機能制御処理を終了する。
【0079】
なお、
図5に示した検知機能制御処理では、運転者2が発話しているか否かに応じて、居眠り運転を判定する画像認識機能を作動させるか否かが判定される場合の一例について説明したが、これに限られない。例えば、運転者2の発話と、操舵角とに基づいて居眠り運転を判定する画像認識機能を作動させるか否かが判定されてもよい。その場合、運転者2が沈黙しており、かつ操舵角が所定以上の場合に、居眠りの可能性があるとして、検知機能制御部311は当該機能を作動させる。
【0080】
以上に説明したように、本実施形態に係る検知機能制御装置(本実施形態において、ドライブレコーダ1)は、車両状況判定部310と、検知機能制御部311とを備える。
車両状況判定部310は、イグニッションの状態、座席に着座しているか否か、車両3の加速度、車両3の位置、車両3の速度、及び収音される音声のいずれか1以上の検出の結果に基づいて車両3の状況(本実施形態において、車両状況)を判定する。
検知機能制御部311は、車両状況判定部310によって判定された状況(本実施形態において、車両状況)に基づいて危険な運転を検知するための1以上の検知機能(本実施形態において、顔認証部300、わき見運転判定部301、居眠り運転判定部302、通話動作判定部303)のうちいずれを作動させるかを判定する。
【0081】
この構成により、本実施形態に係る検知機能制御装置(本実施形態において、ドライブレコーダ1)では、危険な運転を検知するための1以上の検知機能について車両3の状況に応じて必要な機能のみを作動できるため、保有する計算能力に対してより多くの検知機能を作動できる。上述したように、検知機能とは、AIに基づいている。本実施形態に係る検知機能制御装置では、計算能力が高くない小型の端末に備えられるDMSにおいても、より多くの危険運転警告機能が実装、実行できる。
【0082】
また、本実施形態に係る検知機能制御装置(本実施形態において、ドライブレコーダ1)では、検知機能制御部311は、車両状況判定部310が車両3の加速度、車両3の位置、車両3の速度のすべての変化量が所定未満であると判定し、かつ、車両状況判定部310がイグニッションオンになって以降所定時間以内であると判定した場合、または検知機能制御部311が着座状態に変化が生じたと判定した場合に顔認証機能(本実施形態において、顔認証部300)を作動させ、車両状況判定部310が車両3の加速度、車両3の位置、車両3の速度のいずれか1以上の変化量が所定以上であると判定した場合には、わき見運転を判定する機能(本実施形態において、わき見運転判定部301)を作動させる。
【0083】
この構成により、本実施形態に係る検知機能制御装置(本実施形態において、ドライブレコーダ1)では、車両3が移動していないことに基づいて運転者2の入れ替わりが起きているか否かを判定できるため、運転者2の入れ替わりが起きている場合に、顔認証機能を作動させることができる。また、本実施形態に係る検知機能制御装置では、車両3が走行中であるか否かを判定できるため、車両3が走行中である場合、わき見運転を判定する機能を作動させることができる。
【0084】
なお、検知機能制御装置が、顔認証機能、またはわき見運転を判定する機能を作動させるための条件は、上述した条件に限らない。例えば、検知機能制御部311は、車両状況判定部310が車両3の加速度、車両3の位置、車両3の速度のいずれか1以上の変化量が所定未満であると判定し、かつ、車両状況判定部310がイグニッションオンになって以降所定時間以内であると判定した場合に、顔認証部300を作動させてもよい。また、検知機能制御部311は、車両状況判定部310が車両3の加速度、車両3の位置、車両3の速度のすべての変化量が所定以上であると判定した場合に、わき見運転判定部301を作動させてもよい。
また、検知機能制御部311は、車両状況判定部310が車両3の加速度、車両3の位置、車両3の速度のいずれか1以上の変化量が所定未満であると判定した場合に、顔認証部300を作動させてもよい。検知機能制御部311は、車両状況判定部310がイグニッションオンになって以降所定時間以内であると判定した場合に、顔認証部300を作動させてもよい。
【0085】
また、本実施形態に係る検知機能制御装置(本実施形態において、ドライブレコーダ1)では、検知機能制御部311は、車両状況判定部310が運転者2が発話していると判定した場合には、通話動作を判定する画像認識機能(本実施形態において、通話動作判定部303)を作動させ、車両状況判定部310が運転者2が沈黙していると判定した場合には、居眠り運転を判定する画像認識機能(本実施形態において、居眠り運転判定部302)を作動させる。
【0086】
この構成により、本実施形態に係る検知機能制御装置(本実施形態において、ドライブレコーダ1)では、運転者2が発話しているか否かを判定できるため、運転者2が沈黙している場合に、居眠り運転を判定する画像認識機能を作動させることができる。
【0087】
なお、検知実行部30の構成から、顔認証部300、わき見運転判定部301、居眠り運転判定部302、または通話動作判定部303のうちいずれか1以上が省略されてもよい。また、検知実行部30の構成に、顔認証部300、わき見運転判定部301、居眠り運転判定部302、及び通話動作判定部303に加えて、またはそれらのうちいずれかに代えて、他の検知機能を備える機能部が備えられてもよい。
【0088】
なお、車両状況判定部310は、車両状況として、昼夜の識別を扱ってもよい。昼間は居眠り運転の検知は不要と考えられる。その場合、ドライブレコーダ1は、照度センサを備えてもよい。車両状況判定部310が、照度センサの測定する明るさが所定以上であると判定した場合、検知機能制御部311は、居眠り運転判定部302に居眠り運転を判定する画像認識機能を作動させない。
【0089】
なお、ドライブレコーダ1は、
図2において説明した機能の他に、カメラ14によって常時録画される映像を記憶部212に記憶させる記録機能を備える。
また、ドライブレコーダ1は、衝撃検知時処理を行ってもよい。衝撃検知時処理では、所定の大きさ以上の衝撃が検知された場合に、音声出力部29に警告音を出力させる処理、表示部210に警告画面を表示させる処理が含まれる。また、衝撃検知時処理には、イベント情報を生成して、記憶部212にイベント情報を記憶させる処理が含まれる。
【0090】
なお、制御部20は、ドライブレコーダ以外の種類の車両3に搭載される機器の機能として備えられてもよい。当該機器が小型の端末である場合に、制御部20の構成は好適に用いられる。ここで小型の端末とは、計算能力があまり高くないために、複数のAI機能を同時に機能させることが難しい端末をいう。
【0091】
なお、上述した実施形態におけるドライブレコーダ1の一部、例えば、制御部20をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ドライブレコーダ1に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態におけるドライブレコーダ1の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。ドライブレコーダ1の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【0092】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0093】
1…ドライブレコーダ、2…運転者、3…車両、310…車両状況判定部、311…検知機能制御部、300…顔認証部、301…わき見運転判定部、302…居眠り運転判定部、303…通話動作判定部