知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024101806
(43)【公開日】2024-07-30
(54)【発明の名称】運転者監視装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20240723BHJP
G08G 1/16 20060101ALI20240723BHJP
G06V 20/59 20220101ALI20240723BHJP
G06V 10/70 20220101ALI20240723BHJP
【ＦＩ】
G06T7/00 650Z
G08G1/16 F
G06V20/59
G06T7/00 660A
G06T7/00 660B
G06V10/70
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023005949
(22)【出願日】2023-01-18
(71)【出願人】
【識別番号】000006895
【氏名又は名称】矢崎総業株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】高橋 良宏
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA21
5H181CC02
5H181CC04
5H181LL07
5H181LL20
5L096BA04
5L096CA05
5L096CA17
5L096DA02
5L096DA03
5L096FA02
5L096FA09
5L096FA64
5L096FA67
5L096FA69
5L096FA72
5L096GA51
5L096HA02
5L096JA11
5L096JA13
5L096JA16
(57)【要約】 （修正有）
【課題】様々な状況について運転者の適切な監視を可能にすると共に、画像等のデータを処理する処理装置の処理負荷を低減する運転者監視装置を提供する。
【解決手段】運転者監視装置は、車両の運転者５０を撮像可能な１つ以上の撮像部と、撮像部が撮影した像に基づいて運転者を含む動体検出処理を行う画像処理部とを有する。画像処理部は、運転者の脇見運転を検知したときに、撮像部が撮影した像ｉ０１～ｉ０３の全体の領域の中で、事前に定めた一部分の処理対象領域Ａ０１又はＡ０２のみに限定して処理を実行する領域限定部を含む。検知した運転者の視認方向、車載装備品の位置情報、検知した運転者の体の位置などのいずれかを反映するように処理対象領域を決定する際に、事前に定めた領域のデータを保持する処理領域テーブルを利用して、領域の特定を容易にする。
【選択図】図４
【解決手段】運転者監視装置は、車両の運転者５０を撮像可能な１つ以上の撮像部と、撮像部が撮影した像に基づいて運転者を含む動体検出処理を行う画像処理部とを有する。画像処理部は、運転者の脇見運転を検知したときに、撮像部が撮影した像ｉ０１～ｉ０３の全体の領域の中で、事前に定めた一部分の処理対象領域Ａ０１又はＡ０２のみに限定して処理を実行する領域限定部を含む。検知した運転者の視認方向、車載装備品の位置情報、検知した運転者の体の位置などのいずれかを反映するように処理対象領域を決定する際に、事前に定めた領域のデータを保持する処理領域テーブルを利用して、領域の特定を容易にする。
【選択図】図４
【特許請求の範囲】
【請求項1】
車両の運転者を撮像可能な位置に配置された少なくとも１つの撮像部と、前記撮像部が撮影した像に基づいて動体検出処理を行う画像処理部とを有し、
前記画像処理部は、少なくとも前記運転者の脇見運転を検知したときに、前記撮像部が撮影した像全体の領域の中で、事前に定めた一部分の所定領域に限定して処理を実行する領域限定部を含む、
運転者監視装置。
前記画像処理部は、少なくとも前記運転者の脇見運転を検知したときに、前記撮像部が撮影した像全体の領域の中で、事前に定めた一部分の所定領域に限定して処理を実行する領域限定部を含む、
運転者監視装置。
【請求項2】
前記画像処理部は前記運転者の視認方向を検知する視認方向検知部を有し、
前記領域限定部は、前記視認方向検知部が検知した視認方向に基づいて前記所定領域を特定する、
請求項１に記載の運転者監視装置。
前記領域限定部は、前記視認方向検知部が検知した視認方向に基づいて前記所定領域を特定する、
請求項１に記載の運転者監視装置。
【請求項3】
前記領域限定部は、該当する車両に存在する装備品の位置情報に基づいて前記所定領域を特定する、
請求項１に記載の運転者監視装置。
請求項１に記載の運転者監視装置。
【請求項4】
前記画像処理部は前記運転者の体の各部位の位置を検知する運転者位置検知部を有し、
前記領域限定部は、前記運転者位置検知部が検知した体の特定部位の位置を基準にして前記所定領域を特定する、
請求項１に記載の運転者監視装置。
前記領域限定部は、前記運転者位置検知部が検知した体の特定部位の位置を基準にして前記所定領域を特定する、
請求項１に記載の運転者監視装置。
【請求項5】
前記領域限定部は、前記運転者の体の特定の姿勢を検知したときに、その時の手の位置を基準にして、前記所定領域の位置を修正し記憶する、
請求項１に記載の運転者監視装置。
請求項１に記載の運転者監視装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転者監視装置に関する。
【背景技術】
【0002】
近年では、例えば道路交通法の改正に伴って、車両の運転者に新たな義務が科されたり、車両に搭載しなければならない新たな装置が増える状況にある。例えば、車両の自動運転中は運転者に安全運転義務が科されるため、車両上のシステムが運転者の運転状況を正しく把握して運転者の安全運転を支援したり、安全運転の実際の状況を正しく記録する必要性が高まる。
【0003】
例えば、特許文献１は、カメラの撮像範囲外の危険運転要素を検知可能とする運転者モニタ装置を開示している。具体的には、運転者の顔部の輝度分布から顔の向きなどを判断してわき見運転などを検出したり、瞳部の位置や瞳部の動きなどからわき見運転や居眠り運転等を判断することを示している。また、顔部の瞳や眼鏡部（メガネ）に映り込んだスマートホンなどを検知することを示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２１－４３６３７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
運転中の運転者の状況を車載システムがモニタリングする場合には、基本的な機能として居眠り運転、わき見運転、異常な姿勢などを検知可能であることが必要とされる。したがって、車載システムは運転者の目や顔の細部まで情報をしっかりと把握する必要がある。また、例えば運転者がスマートホンを操作しながらのながら運転を行っている場合のような危険な運転状況を検出する機能も車載システムに必要とされる。
【0006】
しかしながら、上記のような機能を実現するためには、実際の運転状況とは無関係に、運転席に着座している運転者の体を含む広い範囲を死角が発生し難い場所から解像度の高いカメラで常時撮影すると共に、撮影した画像を常時データ処理して細部まで状態を監視しなければならない。そのため、画像データの処理などを実施する処理装置の負荷が大きくなり、消費電力の増大や発熱量の増大が懸念される。また、処理装置の負荷が大きくなるため、処理装置のリソースの大部分を常時消費する状態になり、運転者を監視する以外の別の用途では処理装置のリソースを使えない状況が想定される。したがって、既存の処理装置に新たな機能を追加するような設計変更も困難になる。
【0007】
本発明は、上述した事情に鑑みてなされたものであり、その目的は、様々な状況について運転者の適切な監視を可能にすると共に、画像等のデータを処理する処理装置の負荷を低減することが可能な運転者監視装置を提供することにある。
【課題を解決するための手段】
【0008】
本発明に係る上記目的は、下記構成により達成される。
車両の運転者を撮像可能な位置に配置された少なくとも１つの撮像部と、前記撮像部が撮影した像に基づいて動体検出処理を行う画像処理部とを有し、
前記画像処理部は、少なくとも前記運転者の脇見運転を検知したときに、前記撮像部が撮影した像全体の領域の中で、事前に定めた一部分の所定領域に限定して処理を実行する領域限定部を含む、
運転者監視装置。
車両の運転者を撮像可能な位置に配置された少なくとも１つの撮像部と、前記撮像部が撮影した像に基づいて動体検出処理を行う画像処理部とを有し、
前記画像処理部は、少なくとも前記運転者の脇見運転を検知したときに、前記撮像部が撮影した像全体の領域の中で、事前に定めた一部分の所定領域に限定して処理を実行する領域限定部を含む、
運転者監視装置。
【発明の効果】
【0009】
本発明の運転者監視装置によれば、様々な状況について運転者の適切な監視を可能にすると共に、画像等のデータを処理する処理装置の負荷を低減することが可能になる。すなわち、運転者の脇見運転を検知した後で、監視対象とする画像の領域が一部分の所定領域だけに限定されるため、高解像度のカメラで広い範囲を撮影した画像を処理する場合でも、実際に処理する画像のデータ量は大幅に削減され、処理の負荷が小さくなる。しかも、所定領域は事前に決定されるので、データ処理を行いながら監視対象の領域の位置を逐次探索する必要がなくなり、データ処理の内容を簡略化できる。
【0010】
以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態（以下、「実施形態」という。）を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
本発明に関する具体的な実施形態について、各図を参照しながら以下に説明する。
【0013】
図１は、本発明の実施形態における運転者監視装置１００の構成概要を示すブロック図である。
図１に示した運転者監視装置１００は、第１カメラ（カメラ１）１０Ａ、第２カメラ（カメラ２）１０Ｂ、及びメイン制御部２０を備えている。
図１に示した運転者監視装置１００は、第１カメラ（カメラ１）１０Ａ、第２カメラ（カメラ２）１０Ｂ、及びメイン制御部２０を備えている。
【0014】
第１カメラ１０Ａは、図１中の撮影範囲Ａ１の像を撮影できるように設置位置や画角が事前に調整されている。すなわち、第１カメラ１０Ａは、運転席に着座している状態の運転者５０の顔や、体の上半身、腕、手などの比較的広い範囲を撮影できる。
【0015】
例えば、第１カメラ１０Ａは、車両の車室内におけるオーバーヘッドモジュール、ルームミラー、インパネセンター部、Ａピラー、メータフード、メータ内部、ステアリングコラムなどのいずれかの部位に設置される。
【0016】
撮影範囲Ａ１の中には、車両のハンドル（ステアリングホイール）５１や、シートベルト５２などの車載装備品が存在する領域も含まれる。
第２カメラ１０Ｂは、図１中の撮影範囲Ａ２の像を撮影できるように設置位置や画角が事前に調整してある。すなわち、運転席に着座している状態の運転者５０の顔の部位の詳細な情報を撮影できるように、第１カメラ１０Ａと比べて比較的狭い範囲内だけを第２カメラ１０Ｂで撮影できる。
第２カメラ１０Ｂは、図１中の撮影範囲Ａ２の像を撮影できるように設置位置や画角が事前に調整してある。すなわち、運転席に着座している状態の運転者５０の顔の部位の詳細な情報を撮影できるように、第１カメラ１０Ａと比べて比較的狭い範囲内だけを第２カメラ１０Ｂで撮影できる。
【0017】
第２カメラ１０Ｂの設置位置は、第１カメラ１０Ａと同様の場所でも良いが、視線などの情報をより取得しやすいように運転者５０の正面側から撮影できる位置に配置することが望ましい。
【0018】
メイン制御部２０は、第１カメラ１０Ａ及び第２カメラ１０Ｂが撮影した画像に基づいて運転者の状況を監視する機能を有する電子制御ユニット（ＥＣＵ）である。メイン制御部２０は、第１カメラ１０Ａ及び第２カメラ１０Ｂのそれぞれについて、撮影するタイミング、画像データを取得するタイミング、露光量、ゲインなどを制御できる。メイン制御部２０は、第１カメラ１０Ａ及び第２カメラ１０Ｂの少なくとも一方から取得した画像データを処理して運転の状況を表す情報を取得し、その結果の情報を自動的に記録し保存したり、安全な運転を支援するために警報の出力等を状況に応じて実施する。
なお、運転者監視装置１００が使用するカメラの数は１台でも良いし、３台以上に増やすこともできる。
なお、運転者監視装置１００が使用するカメラの数は１台でも良いし、３台以上に増やすこともできる。
【0019】
【0020】
図２に示したメイン制御部２０の各機能は、例えばメイン制御部２０に組み込まれているマイクロコンピュータ（図示せず）を主体とする電子回路のハードウェアの動作と、このマイクロコンピュータが実行するプログラムとで実現される。
【0021】
メイン制御部２０は、特徴検出機能２１、２２、タイミング制御機能２３、監視機能部２４、警報機能２５、履歴情報記録機能２６、処理領域テーブル２７、及び領域更新機能２８を備えている。また、監視機能部２４は、脇見検出機能２４ａ、居眠り検出機能２４ｂ、姿勢崩れ検出機能２４ｃ、行為検出機能２４ｄ、姿勢検出機能２４ｅ、シートベルト検出機能２４ｆ、及びハンドル保持検出機能２４ｇを含んでいる。
【0022】
特徴検出機能２１は、第１カメラ１０Ａから取得した画像データを画像処理することで、運転者５０の上半身の各部や手の領域の様々な特徴を検知する。また、特徴検出機能２２は、第２カメラ１０Ｂから取得した画像データを画像処理することで、運転者５０の顔領域の様々な特徴を検知する。
【0023】
また、特徴検出機能２１は、第１カメラ１０Ａから取得した画像データの中で事前に定めた一部分の領域だけを限定的に選択した状態で画像処理することができる。この領域は、例えば運転者５０が運転中に手に持って操作している可能性のあるスマートホンが存在すると予想される小さい矩形の領域に相当する。
【0024】
例えば、監視機能部２４が運転者５０の脇見を検出したイベントが発生したような場合に、特徴検出機能２１はイベントの種類と処理領域テーブル２７に登録されたデータの内容とに基づいて処理対象の領域を特定し、この領域内だけに限定して画像処理を実行できる。
【0025】
特徴検出機能２１が処理する画像データの領域を限定することで、画像処理の負荷を大幅に減らすことができる。特徴検出機能２１が選択する領域の位置や大きさの情報は、事前に決定されて処理領域テーブル２７に登録されている。また、初期状態でも事前に定めたデータが処理領域テーブル２７に登録されているが、領域更新機能２８を利用することで、処理領域テーブル２７に登録した各領域の位置や大きさの情報を必要に応じて更新することもできる。
また、特徴検出機能２２が処理する画像データの範囲についても、処理領域テーブル２７の登録データを利用して限定することが可能である。
また、特徴検出機能２２が処理する画像データの範囲についても、処理領域テーブル２７の登録データを利用して限定することが可能である。
【0026】
タイミング制御機能２３は、特徴検出機能２１及び２２のそれぞれの検出状態などに基づいて、第１カメラ１０Ａ及び第２カメラ１０Ｂのそれぞれが撮影（照明光の制御を含む）を実施するタイミングや、第１カメラ１０Ａ及び第２カメラ１０Ｂのそれぞれが撮影した画像データをメイン制御部２０に送出するタイミング（或いはメイン制御部２０が画像を要求するタイミング）などを適切に制御できる。
【0027】
監視機能部２４は、車両において必要とされる様々な監視対象項目のそれぞれについて、現在の状態を検知することができる。
脇見検出機能２４ａは、運転者５０の顔の情報に基づいて、運転と無関係な方向を向いた状態のままで運転していないかどうかを検出する機能を有する。
脇見検出機能２４ａは、運転者５０の顔の情報に基づいて、運転と無関係な方向を向いた状態のままで運転していないかどうかを検出する機能を有する。
【0028】
居眠り検出機能２４ｂは、運転者５０の顔の情報に基づいて、運転者５０が瞼を閉じたり居眠り状態のままで運転していないかどうかを検出する機能を有する。
姿勢崩れ検出機能２４ｃは、運転者５０の体の上半身などの情報に基づいて、運転者５０が通常の運転姿勢とは異なる異常な姿勢のままで運転していないかどうかを検出する機能を有する。
姿勢崩れ検出機能２４ｃは、運転者５０の体の上半身などの情報に基づいて、運転者５０が通常の運転姿勢とは異なる異常な姿勢のままで運転していないかどうかを検出する機能を有する。
【0029】
行為検出機能２４ｄは、運転者５０の体の上半身などの情報に基づいて、運転者５０が例えばスマートホンの操作のように、危険なながら運転の行為をしていないかどうかを検出する機能を有する。
【0030】
姿勢検出機能２４ｅは、例えば運転者５０の体全体の姿勢、顔の水平方向および前後方向の向き、視線の方向、上体の傾きなどの情報を検出する機能を有する。
シートベルト検出機能２４ｆは、運転者５０がシートベルトを着用しているか否かを検出する機能を有する。
シートベルト検出機能２４ｆは、運転者５０がシートベルトを着用しているか否かを検出する機能を有する。
【0031】
ハンドル保持検出機能２４ｇは、運転者５０が運転可能な状態でハンドルを保持しているか否かを検出する機能を有する。
警報機能２５は、運転者５０の運転状態について監視機能部２４のいずれかの機能が警告すべき状況を検知した場合に、例えば音声出力や警報音の出力により異常があることを報知して運転者の安全運転を支援する機能を有する。
警報機能２５は、運転者５０の運転状態について監視機能部２４のいずれかの機能が警告すべき状況を検知した場合に、例えば音声出力や警報音の出力により異常があることを報知して運転者の安全運転を支援する機能を有する。
【0032】
履歴情報記録機能２６は、運転者５０の運転状態について監視機能部２４のそれぞれの機能が検知した情報を、例えば現在日時や自車両の現在位置の情報と対応付けた状態で履歴情報として所定の不揮発性記録媒体に記録し保存する。
【0033】
また、図２に示すように第３カメラ１０Ｃをメイン制御部２０に接続することも可能である。この第３カメラ１０Ｃについては、第１カメラ１０Ａおよび第２カメラ１０Ｂとは異なる範囲、例えば車室内のルームミラー付近から後方側を視た車室内全域の範囲を撮影できるように設置位置、撮影方向、画角などを調整することが想定される。これにより、例えば後部座席に着座している子供などの状況も監視することが可能になる。
【0034】
＜処理領域テーブルの構成＞
運転者監視装置１００のメイン制御部２０が利用可能な処理領域テーブル２７の構成例を図３に示す。
運転者監視装置１００のメイン制御部２０が利用可能な処理領域テーブル２７の構成例を図３に示す。
【0035】
図３に示した処理領域テーブル２７には、複数種類の検出対象のそれぞれについて、領域範囲の基準位置の座標および領域の大きさを表すデータが登録されている。また、図３の例では、運転者５０の頭側方位置にある端末を検出する場合の領域、運転者５０の手元の位置にある端末を検出する場合の領域、後部座席の領域、運転者５０の顔の領域、運転者５０の右手の領域、運転者５０の左手の領域のそれぞれに対応付けた領域データが処理領域テーブル２７に予め登録されている。
【0036】
例えば、メイン制御部２０が第１カメラ１０Ａが撮影した画像から運転者５０の手元位置にあることが予想されるスマートホンを検出しようとする場合には、図３に示した番号０２の領域データＤＡ０２を処理領域テーブル２７から取得することで、処理すべき領域の範囲を特定できる。そして、第１カメラ１０Ａが撮影した画像の画像フレーム全体の中から領域データＤＡ０２の領域の画像データだけを抽出し、抽出した画像データから目的のスマートホンを検出できる。
【0037】
また、運転者５０が顔の側方にスマートホンを配置して通話している状況が予想される場合には、図３に示した番号０１の領域データＤＡ０１を処理領域テーブル２７から取得することで、処理すべき領域の範囲を特定できる。そして、第１カメラ１０Ａが撮影した画像の画像フレーム全体の中から領域データＤＡ０１の領域の画像データだけを抽出し、抽出した画像データから目的のスマートホンを検出できる。
【0038】
また、後部座席に着座している子供の状況を確認したいような状況では、図３に示した番号０３の領域データＤＡ０３を処理領域テーブル２７から取得することで、処理すべき領域の範囲を特定できる。そして、第３カメラ１０Ｃが撮影した画像の画像フレーム全体の中から領域データＤＡ０３の領域の画像データだけを抽出し、抽出した画像データから目的のスマートホンを検出できる。
【0039】
＜撮影画像の例＞
図４は、第１カメラ１０Ａなどが撮影可能な３種類の撮影画像ｉ０１、ｉ０２、ｉ０３の具体例を示す模式図である。
図４は、第１カメラ１０Ａなどが撮影可能な３種類の撮影画像ｉ０１、ｉ０２、ｉ０３の具体例を示す模式図である。
【0040】
図４の撮影画像ｉ０１においては、運転者５０が右手でハンドル５１を把持して運転しながら、左手に持ったスマートホン６０を顔の側方位置に配置して通話している状況が現れている。
【0041】
撮影画像ｉ０１中に示した複数の特徴点Ｐｘは、運転者５０の各関節や特定部位の重心や中心位置などを表している。また、複数の特徴点Ｐｘを結んだ線分の集合は、運転者５０の特徴的な姿勢の状況を表している。
【0042】
図４の撮影画像ｉ０１において、メイン制御部２０は矩形形状の特定の処理対象領域Ａ０１の範囲内だけ画像データを処理すれば、運転者５０の左手および左手で持っているスマートホン６０を検出可能である。
【0043】
一方、図４の撮影画像ｉ０２においては、運転者５０が右手でハンドル５１を把持して運転しながら、顔から離れた位置の左手に持ったスマートホン６０の画面を視線Ｌ０２に沿った方向で注視している状況が現れている。撮影画像ｉ０２において、メイン制御部２０は、矩形形状の特定の処理対象領域Ａ０２の範囲内だけ画像データを処理すれば、運転者５０の左手および左手で持っているスマートホン６０を検出可能である。
【0044】
また、図４の撮影画像ｉ０３においては運転者５０が右手でハンドル５１を把持して運転しながら、顔から離れた位置の左手でスマートホン６０を持ち、更にスマートホン６０の画面とは方向が異なる視線Ｌ０３の方向を注視している状況が現れている。撮影画像ｉ０３において、メイン制御部２０は、矩形形状の特定の処理対象領域Ａ０２の範囲内だけ画像データを処理すれば、運転者５０の左手および左手で持っているスマートホン６０を検出可能である。
【0045】
図４に示した各撮影画像ｉ０１～ｉ０３において、画像フレーム全体の大きさと比べて各処理対象領域Ａ０１～Ａ０２はサイズが小さいので、画像データ全体のデータ量が多い場合でも、処理対象領域Ａ０１～Ａ０２のいずれかだけを処理する場合には、メイン制御部２０における処理の負荷を大幅に低減できる。
【0046】
＜メイン制御部の動作＞
メイン制御部２０の動作例を図５に示す。すなわち、メイン制御部２０のコンピュータは車両のドライバーモニタリングシステム(DMS：Driver Monitoring System)が起動すると図５の動作を開始する。図５に示した動作について以下に説明する。
メイン制御部２０の動作例を図５に示す。すなわち、メイン制御部２０のコンピュータは車両のドライバーモニタリングシステム(DMS：Driver Monitoring System)が起動すると図５の動作を開始する。図５に示した動作について以下に説明する。
【0047】
メイン制御部２０は、第１カメラ１０Ａ及び第２カメラ１０Ｂのそれぞれの初期化処理として、各カメラの露光量（Exposure）や映像処理回路のゲインが適切になるように自動調整してその状態を示す情報を記録する（Ｓ１１）。
【0048】
初期化が終了し、各カメラを用いて運転者５０の監視を開始する時には、メイン制御部２０は各カメラの照明を点灯し、所定のタイミングで、例えば一定の周期で繰り返し撮影を実施する。なお、夜間でもカメラの撮影ができるようにＬＥＤ照明の発光波長は近赤外域を含むようにする。
【0049】
メイン制御部２０は、第１カメラ１０Ａおよび第２カメラ１０Ｂの少なくとも一方が撮影した画像を特徴検出機能２１又は２２で処理してＳ１２で運転者５０の顔位置を検出する。
【0050】
メイン制御部２０は、運転者（ドライバ）５０の顔位置を検出できた時間の長さを事前に定めた閾値時間と比較し（Ｓ１３）。顔位置を検出できた時間の長さが閾値時間以上であればＳ１４の処理に進む。また、Ｓ１３の条件を満たさない場合はＳ１５の処理に進み、メイン制御部２０は、運転者５０の顔が検出不可能な状態であることを表す情報を出力する。
【0051】
運転者５０の顔位置を安定して検出できている時には、メイン制御部２０は処理領域テーブル２７に事前位置のデフォルト設定値をＳ１４で登録する。例えば、図４中に示した撮影画像ｉ０１～ｉ０３のような画像中で検出した画像フレーム内の運転者５０の顔の位置を基準にして、処理対象領域Ａ０１、Ａ０２などの各々の位置座標および大きさを示す初期値を決定して処理領域テーブル２７に登録する。
【0052】
一方、運転者５０が左右の手のいずれかを上げた状態を画像の内容からメイン制御部２０がＳ１６で検知した場合には、Ｓ１６からＳ１８の処理に進む。そして、運転者５０が右手を挙げている場合はＳ１９に進み、左手を挙げている場合はＳ２０の処理に進む。
【0053】
メイン制御部２０は、Ｓ１９で運転者５０の利き手が右手であることを把握すると共に、現在検知している右手の位置を基準にして、処理領域テーブル２７における事前位置のデータを自動的に計算して登録データをより適切な内容に更新する。
【0054】
メイン制御部２０は、Ｓ２０で運転者５０の利き手が左手であることを把握すると共に、現在検知している左手の位置を基準にして、処理領域テーブル２７における事前位置のデータを自動的に計算して登録データをより適切な内容に更新する。
【0055】
メイン制御部２０は、自車両が停車中か否かをＳ１７で識別し、停車中でなければＳ２１の処理に進み、所定の脇見検出の処理を実施する。すなわち、第１カメラ１０Ａ又は第２カメラ１０Ｂが撮影した画像に基づき検出した顔の情報から、運転者５０の視認方向を検知してその状態を脇見運転の条件と比較する。運転者５０の視認方向は、視線の方向又は／及び顔の向きにより検知する。
【0056】
メイン制御部２０は、運転者５０の顔の向きや視線の方向などが、事前に定めた閾値時間以上に亘り所定範囲Ａｘ内にあるか否かをＳ２２で識別する。所定範囲Ａｘは、脇見運転とそれ以外の状態とを区別するために事前に決定した範囲である。そして、Ｓ２２の条件を満たす場合はＳ２３に進み、この条件を満たさない場合はＳ１６の処理に戻る。
【0057】
メイン制御部２０は、運転者５０の顔の向きや視線の方向をＳ２３で所定の閾値と比較して、脇見の方向を２種類に区別する。すなわち、脇見状態の顔の向きや視線の方向が車室内を向いている場合はＳ２３からＳ２４に進み、脇見状態の顔の向きや視線の方向が車室外を向いている場合はＳ２３からＳ２８に進む。
【0058】
メイン制御部２０はＳ２４でスマートホン（スマホ）の検出処理を実施する。この場合、メイン制御部２０の処理対象の画像データの範囲は、処理領域テーブル２７に登録されている事前データにより特定される一部分の領域だけに限定される。例えば、図４中の処理対象領域Ａ０１又はＡ０２のいずれかの範囲内の画像データを処理するだけで、スマートホン６０を検知することができる。
【0059】
このように領域を限定することで、メイン制御部２０における処理対象のデータ量が大幅に削減され、処理の負荷が小さくなる。また、限定する領域の位置や大きさは事前に決定され処理領域テーブル２７に登録されているので、メイン制御部２０が該当する領域を探索する必要はなく、処理領域テーブル２７の内容から目的の領域を即座に特定できる。
【0060】
メイン制御部２０は、Ｓ２４でスマートホン６０を検出した場合、Ｓ２５からＳ２６の処理に進む。そして、スマートホン６０の使用、すなわち「ながら運転」に関する警告を運転者５０に対して出力する。
【0061】
メイン制御部２０は、処理した画像中でスマートホン６０を実際に検知した位置を把握し、そのデータを事前位置として処理領域テーブル２７に登録する（Ｓ２７）。
一方、運転者５０の車室外方向の脇見をＳ２３で検知した場合には、メイン制御部２０はＳ２８で運転者５０に対する脇見警報を出力する。また、脇見警報を発生した後で所定の警報解除の信号を検知した場合には、メイン制御部２０はＳ２９からＳ３０の処理に進み脇見警報を解除する。警報解除の信号については、例えば運転者５０による所定のボタン操作で発生することができる。
一方、運転者５０の車室外方向の脇見をＳ２３で検知した場合には、メイン制御部２０はＳ２８で運転者５０に対する脇見警報を出力する。また、脇見警報を発生した後で所定の警報解除の信号を検知した場合には、メイン制御部２０はＳ２９からＳ３０の処理に進み脇見警報を解除する。警報解除の信号については、例えば運転者５０による所定のボタン操作で発生することができる。
【0062】
＜領域限定の処理＞
メイン制御部２０が前述の処理領域テーブル２７に登録するデータを決定する際や、処理領域テーブル２７に既に登録されている複数領域の候補データから１つの領域だけを選択するような場合には、図５に示した処理以外にも図６～図８に示すような様々な処理が考えられる。
メイン制御部２０が前述の処理領域テーブル２７に登録するデータを決定する際や、処理領域テーブル２７に既に登録されている複数領域の候補データから１つの領域だけを選択するような場合には、図５に示した処理以外にも図６～図８に示すような様々な処理が考えられる。
【0063】
＜領域限定－１＞
領域限定－１の処理を図６に示す。
図６に示した処理においては、メイン制御部２０は運転者５０の視線の方向又は顔の方向などの視認方向をＳ５１で検出し、検出した視線の方向又は顔の方向などの視認方向に基づいて限定する領域を特定する（Ｓ５２）。
領域限定－１の処理を図６に示す。
図６に示した処理においては、メイン制御部２０は運転者５０の視線の方向又は顔の方向などの視認方向をＳ５１で検出し、検出した視線の方向又は顔の方向などの視認方向に基づいて限定する領域を特定する（Ｓ５２）。
【0064】
＜領域限定－２＞
領域限定－２の処理を図７に示す。
図７に示した処理においては、装備品テーブルＴＢ２を利用する。この装備品テーブルＴＢ２は、車両に搭載されている様々な装備品、例えばハンドル、ルームミラー、各座席、シートベルト、収納部などが配置されている領域を表す事前に定めた定数データを保持している。
領域限定－２の処理を図７に示す。
図７に示した処理においては、装備品テーブルＴＢ２を利用する。この装備品テーブルＴＢ２は、車両に搭載されている様々な装備品、例えばハンドル、ルームミラー、各座席、シートベルト、収納部などが配置されている領域を表す事前に定めた定数データを保持している。
【0065】
メイン制御部２０は、Ｓ６１で装備品テーブルＴＢ２からデータを読み込んで、各車載装備品が配置されている領域を特定する。
メイン制御部２０は、検出対象の条件をＳ６２で識別し、検出対象毎に適切な処理を選択的に実施する。すなわち、検出対象がハンドルの近傍にあることが予想される場合には、装備品テーブルＴＢ２に登録されたハンドルの位置を基準にして、今回の検出対象の処理に割り当てる限定領域を特定する（Ｓ６３）。
メイン制御部２０は、検出対象の条件をＳ６２で識別し、検出対象毎に適切な処理を選択的に実施する。すなわち、検出対象がハンドルの近傍にあることが予想される場合には、装備品テーブルＴＢ２に登録されたハンドルの位置を基準にして、今回の検出対象の処理に割り当てる限定領域を特定する（Ｓ６３）。
【0066】
また、検出対象がルームミラーの近傍にあることが予想される場合には、装備品テーブルＴＢ２に登録されたルームミラーの位置を基準にして、今回の検出対象の処理に割り当てる限定領域を特定する（Ｓ６４）。
【0067】
また、検出対象が収納部の近傍にあることが予想される場合には、装備品テーブルＴＢ２に登録された収納部の位置を基準にして、今回の検出対象の処理に割り当てる限定領域を特定する（Ｓ６５）。
【0068】
また、検出対象が座席の近傍にあることが予想される場合には、装備品テーブルＴＢ２に登録された座席の位置を基準にして、今回の検出対象の処理に割り当てる限定領域を特定する（Ｓ６６）。
【0069】
＜領域限定－３＞
領域限定－３の処理を図８に示す。
図８に示した処理においては、メイン制御部２０は運転者５０の体の各部位の領域を実際に撮影された画像に基づきＳ７１で特定する。また、メイン制御部２０は、検出対象の条件をＳ７２で識別し、検出対象毎に適切な処理を選択的に実施する。すなわち、検出対象が顔の近傍であることが予想される場合には、メイン制御部２０はＳ７１で特定した顔の位置を基準にして、今回の検出対象の処理に割り当てる限定領域を特定する（Ｓ７３）。
領域限定－３の処理を図８に示す。
図８に示した処理においては、メイン制御部２０は運転者５０の体の各部位の領域を実際に撮影された画像に基づきＳ７１で特定する。また、メイン制御部２０は、検出対象の条件をＳ７２で識別し、検出対象毎に適切な処理を選択的に実施する。すなわち、検出対象が顔の近傍であることが予想される場合には、メイン制御部２０はＳ７１で特定した顔の位置を基準にして、今回の検出対象の処理に割り当てる限定領域を特定する（Ｓ７３）。
【0070】
また、検出対象が右手の近傍であることが予想される場合には、メイン制御部２０はＳ７１で特定した右手の位置を基準にして、今回の検出対象の処理に割り当てる限定領域を特定する（Ｓ７４）。
【0071】
また、検出対象が左手の近傍であることが予想される場合には、メイン制御部２０はＳ７１で特定した左手の位置を基準にして、今回の検出対象の処理に割り当てる限定領域を特定する（Ｓ７５）。
【0072】
【0073】
図９に示した動作においては、運転者監視装置１００は通常は第２カメラ１０Ｂだけを用いて一定の周期で、すなわち図９中の各時刻ｔ１、ｔ２、ｔ３、ｔ４・・・で繰り返し撮像を行い、その都度画像を処理して運転者５０の運転状態を認識する。
【0074】
そして、図９に示した運転者５０Ａのように指定範囲の脇見の状態を検知した状態が一定時間以上継続（時刻ｔ６～ｔ９の範囲）すると、メイン制御部２０はながら運転の可能性があるとみなし、スマートホンを検知するための処理を開始する。すなわち、第１カメラ１０Ａでの撮影を時刻ｔ１０Ａから開始して、一定時間毎の時刻ｔ１１Ａ、ｔ１２Ａ、・・・で撮影を繰り返す。
【0075】
そして、各時刻ｔ１０Ａ、ｔ１１Ａ、ｔ１２Ａ、・・・で第１カメラ１０Ａが撮影した画像に基づき、メイン制御部２０は図９の運転者５０Ｂのように手の近傍の矩形領域を抽出し、この中にスマートホンが存在するか否かを検知する。
【0076】
なお、図９に示した動作においては、第２カメラ１０Ｂが撮影する時刻ｔ１０、ｔ１１、ｔ１２、・・・と、第１カメラ１０Ａが撮影する時刻ｔ１１Ａ、ｔ１２Ａ、・・・とは非同期で互いにタイミングが重ならないようにずれている。なお、図９に示したような各々のタイミングについては必要に応じて変更できる。
【0077】
以上のように、本実施形態の運転者監視装置１００は、例えば図５のＳ２４でスマートホン６０を検出する際に、図４の処理対象領域Ａ０１又はＡ０２のように、画像フレーム全体に比べて小さい領域のデータだけに処理を限定することができる。したがって、メイン制御部２０における画像処理の負荷を大幅に減らすことができる。したがって、メイン制御部２０における発熱や消費電力を抑制でき、リソースの消費も削減できる。
【0078】
また、各処理対象領域Ａ０１、Ａ０２を表すデータは事前に決定され処理領域テーブル２７に登録されているので、画像処理を伴う探索処理は不要であり、その時に検出すべき状況に応じて、対象の領域を即座に特定できる。これにより、処理の負荷を更に減らすことができる。
【0079】
なお、本発明は、上述した実施形態に限定されるものではなく、適宜、変形、改良、等が可能である。その他、上述した実施形態における各構成要素の材質、形状、寸法、数、配置箇所、等は本発明を達成できるものであれば任意であり、限定されない。
【0080】
ここで、上述した本発明の実施形態に係る運転者監視装置の特徴をそれぞれ以下［１］～［５］に簡潔に纏めて列記する。
［１］ 車両の運転者を撮像可能な位置に配置された少なくとも１つの撮像部（第１カメラ１０Ａ）と、前記撮像部が撮影した像に基づいて動体検出処理を行う画像処理部（メイン制御部２０）とを有し、
前記画像処理部は、少なくとも前記運転者の脇見運転を検知したときに、前記撮像部が撮影した像全体の領域の中で、事前に定めた一部分の所定領域に限定して処理を実行する領域限定部（特徴検出機能２１、処理領域テーブル２７）を含む、
運転者監視装置（１００）。
［１］ 車両の運転者を撮像可能な位置に配置された少なくとも１つの撮像部（第１カメラ１０Ａ）と、前記撮像部が撮影した像に基づいて動体検出処理を行う画像処理部（メイン制御部２０）とを有し、
前記画像処理部は、少なくとも前記運転者の脇見運転を検知したときに、前記撮像部が撮影した像全体の領域の中で、事前に定めた一部分の所定領域に限定して処理を実行する領域限定部（特徴検出機能２１、処理領域テーブル２７）を含む、
運転者監視装置（１００）。
【0081】
上記［１］の構成の運転者監視装置によれば、画像処理部が対象物を検知するために処理する画像データの領域サイズが小さくなるため、処理の負荷を大幅に低減できる。そのため、画像処理部の発熱や消費電力を抑制したり、リソース消費を抑制することが容易になる。また、事前に定めた所定領域に限定するので、当該領域を特定するために領域の探索処理を行う必要がなく、より効果的に処理の負荷を削減できる。
【0082】
［２］ 前記画像処理部は前記運転者の視認方向を検知する視認方向検知部（Ｓ５１）を有し、
前記領域限定部は、前記視認方向検知部が検知した視認方向に基づいて前記所定領域を特定する（Ｓ５２）、
上記［１］に記載の運転者監視装置。
前記領域限定部は、前記視認方向検知部が検知した視認方向に基づいて前記所定領域を特定する（Ｓ５２）、
上記［１］に記載の運転者監視装置。
【0083】
上記［２］の構成の運転者監視装置によれば、運転者の実際の視線の方向や顔向きなどの視認方向を反映するように領域を特定することができる。そのため、領域の位置精度を上げることができ、領域のサイズをより小さくした場合でも、領域内で目的の対象物を検知することが可能になる。すなわち、効率的に処理の負荷を削減できる。
【0084】
［３］ 前記領域限定部は、該当する車両に存在する装備品の位置情報に基づいて前記所定領域を特定する（Ｓ６３～Ｓ６６）、
上記［１］又は［２］に記載の運転者監視装置。
上記［１］又は［２］に記載の運転者監視装置。
【0085】
上記［３］の構成の運転者監視装置によれば、車両に実際に存在している各装備品の位置を反映するように、領域を特定することができる。そのため、領域の位置精度を上げることができ、領域のサイズをより小さくした場合でも、領域内で目的の対象物を検知することが可能になる。すなわち、効率的に処理の負荷を削減できる。
【0086】
［４］ 前記画像処理部は前記運転者の体の各部位の位置を検知する運転者位置検知部（Ｓ７１）を有し、
前記領域限定部は、前記運転者位置検知部が検知した体の特定部位の位置を基準にして前記所定領域を特定する（Ｓ７３～Ｓ７５）、
上記［１］から［３］のいずれかに記載の運転者監視装置。
前記領域限定部は、前記運転者位置検知部が検知した体の特定部位の位置を基準にして前記所定領域を特定する（Ｓ７３～Ｓ７５）、
上記［１］から［３］のいずれかに記載の運転者監視装置。
【0087】
上記［４］の構成の運転者監視装置によれば、実際の運転者の体の位置を反映するように、領域を特定することができる。そのため、領域の位置精度を上げることができ、領域のサイズをより小さくした場合でも、領域内で目的の対象物を検知することが可能になる。すなわち、運転者を監視対象とする場合に、効率的に処理の負荷を削減できる。
【0088】
［５］ 前記領域限定部は、前記運転者の体の特定の姿勢を検知したときに（Ｓ１６）、その時の手の位置を基準にして、前記所定領域の位置を修正し記憶する（Ｓ１８～Ｓ２０）、
上記［１］から［４］のいずれかに記載の運転者監視装置。
上記［１］から［４］のいずれかに記載の運転者監視装置。
【0089】
上記［５］の構成の運転者監視装置によれば、実際の手の位置を基準にして所定領域の位置を決定できるので、体型の違いなどの個人差に起因するばらつきの影響を減らすことができ、領域の位置精度を上げることができる。また、特定の姿勢を検知したときに所定領域の位置を修正するので、運転者が頻繁に交代するような状況であっても実際に運転する人の体型等に合わせて位置を修正する操作が容易になる。
【符号の説明】
【0090】
１０Ａ 第１カメラ
１０Ｂ 第２カメラ
１０Ｃ 第３カメラ
２０ メイン制御部
２１，２２ 特徴検出機能
２３ タイミング制御機能
２４ 監視機能部
２４ａ 脇見検出機能
２４ｂ 居眠り検出機能
２４ｃ 姿勢崩れ検出機能
２４ｄ 行為検出機能
２４ｅ 姿勢検出機能
２４ｆ シートベルト検出機能
２４ｇ ハンドル保持検出機能
２５ 警報機能
２６ 履歴情報記録機能
２７ 処理領域テーブル
２８ 領域更新機能
５０，５０Ａ，５０Ｂ 運転者
５１ ハンドル
５２ シートベルト
６０ スマートホン
１００ 運転者監視装置
Ａ１，Ａ２ 撮影範囲
Ａ０１，Ａ０２ 処理対象領域
ｉ０１，ｉ０２，ｉ０３ 撮影画像
Ｐｘ 特徴点
ＴＢ２ 装備品テーブル
１０Ｂ 第２カメラ
１０Ｃ 第３カメラ
２０ メイン制御部
２１，２２ 特徴検出機能
２３ タイミング制御機能
２４ 監視機能部
２４ａ 脇見検出機能
２４ｂ 居眠り検出機能
２４ｃ 姿勢崩れ検出機能
２４ｄ 行為検出機能
２４ｅ 姿勢検出機能
２４ｆ シートベルト検出機能
２４ｇ ハンドル保持検出機能
２５ 警報機能
２６ 履歴情報記録機能
２７ 処理領域テーブル
２８ 領域更新機能
５０，５０Ａ，５０Ｂ 運転者
５１ ハンドル
５２ シートベルト
６０ スマートホン
１００ 運転者監視装置
Ａ１，Ａ２ 撮影範囲
Ａ０１，Ａ０２ 処理対象領域
ｉ０１，ｉ０２，ｉ０３ 撮影画像
Ｐｘ 特徴点
ＴＢ２ 装備品テーブル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】