特許 7583009 運転者監視装置および監視プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-05

(45)【発行日】2024-11-13

(54)【発明の名称】運転者監視装置および監視プログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241106BHJP

   G06V 40/16 20220101ALI20241106BHJP

   G06T 7/00 20170101ALI20241106BHJP

   G06T 7/70 20170101ALI20241106BHJP

【ＦＩ】

G08G1/16 F

G06V40/16 Z

G06T7/00 660A

G06T7/00 650B

G06T7/70 B

【請求項の数】 5

(21)【出願番号】P 2022202280

(22)【出願日】2022-12-19

(65)【公開番号】P2024087452

(43)【公開日】2024-07-01

【審査請求日】2024-04-16

(73)【特許権者】

【識別番号】000006895

【氏名又は名称】矢崎総業株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】高橋 良宏

【審査官】櫻田 正紀

(56)【参考文献】

【文献】米国特許出願公開第２０２０／０３２７３４５（ＵＳ，Ａ１）

【文献】特開２０１４－２２５０９９（ＪＰ，Ａ）

【文献】特開２０１８－１０３６７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｇ０６Ｖ ４０／００ － ４０／１６

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

車両の運転者およびその周辺を撮像可能な第１の撮像部と、
前記第１の撮像部よりも撮像範囲が狭く前記運転者の顔に現れる特徴を撮像可能な第２の撮像部と、
前記第１の撮像部および前記第２の撮像部の撮像タイミングを制御する制御部と、
前記第１の撮像部および前記第２の撮像部から取得した画像から、前記運転者が運転操作と無関係な動作を行っているか否かを判定する判定部と、
を備え、前記判定部は、前記第１の撮像部からの入力を停止した状態で、前記第２の撮像部から入力された画像に基づき運転者が脇見をしていることを検出した場合には、前記制御部を制御して前記第１の撮像部からの画像の取得を開始し、前記第１の撮像部から取得した画像に検出対象物又は検出対象となる運転者の姿勢が含まれているか否かを判定する、
運転者監視装置。

【請求項2】

前記判定部は、前記第１の撮像部の撮像した画像に基づいて、運転者近傍の領域に存在する携帯端末を検出する、
請求項１に記載の運転者監視装置。

【請求項3】

前記判定部は、前記第２の撮像部の撮像した画像に基づいて、運転者の顔の向きおよび視線の方向の少なくとも一方を検出する、
請求項１に記載の運転者監視装置。

【請求項4】

前記判定部は、前記第２の撮像部の撮像した画像に基づいて、運転者の顔の向きおよび視線の方向の少なくとも一方を検出すると共に、検出した顔の向き又は視線の方向が一定時間以上脇見の条件の範囲内であった場合に脇見と判定する、
請求項１に記載の運転者監視装置。

【請求項5】

車両の運転者およびその周辺を撮像可能な第１の撮像部と、前記第１の撮像部よりも撮像範囲が狭く前記運転者の顔に現れる特徴を撮像可能な第２の撮像部と、前記第１の撮像部および前記第２の撮像部の撮像タイミングを制御する制御部と、前記第１の撮像部および前記第２の撮像部から取得した画像から、前記運転者が運転操作と無関係な動作を行っているか否かを判定する判定部とを含む監視装置のコンピュータが実行可能な監視プログラムであって、
前記第２の撮像部から入力された第２画像に基づき運転者が脇見をしていることを検出する手順と、
前記第１の撮像部からの入力を停止した状態で、前記第２画像に基づき運転者が脇見をしていることを検出した時に、前記第１の撮像部からの第１画像の取得を開始して、前記第１画像に検出対象物又は検出対象となる運転者の姿勢が含まれているか否かを判定する手順と、
を有する監視プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運転者監視装置および監視プログラムに関する。

【背景技術】

【0002】

近年では、例えば道路交通法の改正に伴って、車両の運転者に新たな義務が科されたり、車両に搭載しなければならない新たな装置が増える状況にある。例えば、車両の自動運転中は運転者に安全運転義務が科されるため、車両上のシステムが運転者の運転状況を正しく把握して運転者の安全運転を支援したり、安全運転の実際の状況を正しく記録する必要性が高まる。

【0003】

例えば、特許文献１は、カメラの撮像範囲外の危険運転要素を検知可能とする運転者モニタ装置を開示している。具体的には、運転者の顔部の輝度分布から顔の向きなどを判断してわき見運転などを検出したり、瞳部の位置や瞳部の動きなどからわき見運転や居眠り運転等を判断することを示している。また、顔部の瞳や眼鏡部（メガネ）に映り込んだスマートフォンなどを検知することを示している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２１－４３６３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

運転中の運転者の状況を車載システムがモニタリングする場合には、基本的な機能として居眠り運転、わき見運転、異常な姿勢などを検知可能であることが必要とされる。したがって、車載システムは運転者の目や顔の細部まで情報をしっかりと把握する必要がある。また、例えば運転者がスマートフォンを操作しながらのながら運転を行っている場合のような危険な運転状況を検出する機能も車載システムに必要とされる。

【0006】

しかしながら、上記のような機能を実現するためには、実際の運転状況とは無関係に、運転席に着座している運転者の体を含む広い範囲を死角が発生し難い場所から解像度の高いカメラで常時撮影すると共に、撮影した画像を常時データ処理して細部まで状態を監視しなければならない。そのため、画像データの処理などを実施する処理装置の負荷が大きくなり、消費電力の増大や発熱量の増大が懸念される。

【0007】

また、処理装置の負荷が大きくなるため、処理装置のリソースの大部分を常時消費する状態になり、運転者を監視する以外の別の用途では処理装置のリソースを使えない状況が想定される。したがって、既存の処理装置に新たな機能を追加するような設計変更も困難になる。

【0008】

本発明は、上述した事情に鑑みてなされたものであり、その目的は、様々な状況について運転者の適切な監視を可能にすると共に、画像等のデータを処理する処理装置の負荷を低減することが可能な運転者監視装置および監視プログラムを提供することにある。

【課題を解決するための手段】

【0009】

本発明に係る上記目的は、下記構成により達成される。

【0010】

車両の運転者およびその周辺を撮像可能な第１の撮像部と、
前記第１の撮像部よりも撮像範囲が狭く前記運転者の顔に現れる特徴を撮像可能な第２の撮像部と、
前記第１の撮像部および前記第２の撮像部の撮像タイミングを制御する制御部と、
前記第１の撮像部および前記第２の撮像部から取得した画像から、少なくとも前記運転者が運転操作と無関係な動作を行っているか否かを判定する判定部と、
を備え、前記判定部は、前記第１の撮像部からの入力を停止した状態で、前記第２の撮像部から入力された画像に基づき運転者が脇見をしていることを検出した場合には、前記制御部を制御して前記第１の撮像部からの画像の取得を開始し、前記第１の撮像部から取得した画像に検出対象物又は検出対象となる運転者の姿勢が含まれているか否かを判定する、
運転者監視装置。

【0011】

車両の運転者およびその周辺を撮像可能な第１の撮像部と、前記第１の撮像部よりも撮像範囲が狭く前記運転者の顔に現れる特徴を撮像可能な第２の撮像部と、前記第１の撮像部および前記第２の撮像部の撮像タイミングを制御する制御部と、前記第１の撮像部および前記第２の撮像部から取得した画像から、少なくとも前記運転者が運転操作と無関係な動作を行っているか否かを判定する判定部とを含む監視装置のコンピュータが実行可能な監視プログラムであって、
前記第２の撮像部から入力された第２画像に基づき運転者が脇見をしていることを検出する手順と、
前記第１の撮像部からの入力を停止した状態で、前記第２画像に基づき運転者が脇見をしていることを検出した時に、前記第１の撮像部からの第１画像の取得を開始して、前記第１画像に検出対象物又は検出対象となる運転者の姿勢が含まれているか否かを判定する手順と、
を有する監視プログラム。

【発明の効果】

【0012】

本発明の運転者監視装置および監視プログラムによれば、様々な状況について運転者の適切な監視を可能にすると共に、画像等のデータを処理する処理装置の負荷を低減することが可能になる。

【0013】

以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態（以下、「実施形態」という。）を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。

【図面の簡単な説明】

【0014】

【図1】図１は、本発明の実施形態における運転者監視装置の構成概要を示すブロック図である。

【図2】図２は、２つのカメラでそれぞれ撮影した２種類の撮影画像の例を示す正面図である。

【図3】図３は、図１の運転者監視装置に搭載された主要な機能の構成を示すブロック図である。

【図4】図４は、メイン制御部の動作例を示すフローチャートである。

【図5】図５は、図１の運転者監視装置における動作タイミングの例－１を示すタイムチャートである。

【図6】図６は、図１の運転者監視装置における動作タイミングの例－２を示すタイムチャートである。

【図7】図７は、図１の運転者監視装置における動作タイミングの例－３を示すタイムチャートである。

【発明を実施するための形態】

【0015】

本発明に関する具体的な実施形態について、各図を参照しながら以下に説明する。

【0016】

図１は、本発明の実施形態における運転者監視装置１００の構成概要を示すブロック図である。
図１に示した運転者監視装置１００は、第１カメラ（カメラ１）１０Ａ、第２カメラ（カメラ２）１０Ｂ、及びメイン制御部２０を備えている。

【0017】

第１カメラ１０Ａは、図１中の撮影範囲Ａ１の像を撮影できるように設置位置や画角が事前に調整されている。すなわち、第１カメラ１０Ａは、運転席に着座している状態の運転者５０の顔や、体の上半身、腕、手などの比較的広い範囲を撮影できる。

【0018】

例えば、第１カメラ１０Ａは、車両の車室内におけるオーバーヘッドモジュール、ルームミラー、インパネセンター部、ピラー、メータフード、メータ内部、ステアリングコラムなどのいずれかの部位に設置される。
撮影範囲Ａ１の中には、車両のハンドル（ステアリングホイール）５１や、シートベルト５２などの車載装備品が存在する領域も含まれる。

【0019】

第２カメラ１０Ｂは、図１中の撮影範囲Ａ２の像を撮影できるように設置位置や画角が事前に調整してある。すなわち、運転席に着座している状態の運転者５０の顔の部位の詳細な情報を撮影できるように、第１カメラ１０Ａと比べて比較的狭い範囲内だけを第２カメラ１０Ｂで撮影できる。

【0020】

第２カメラ１０Ｂの設置位置は、第１カメラ１０Ａと同様の場所でも良いが、視線などの情報をより取得しやすいように運転者５０の正面側から撮影できる位置に配置することが望ましい。

【0021】

メイン制御部２０は、第１カメラ１０Ａ及び第２カメラ１０Ｂが撮影した画像に基づいて運転者の状況を監視する機能を有する電子制御ユニット（ＥＣＵ）である。メイン制御部２０は、第１カメラ１０Ａ及び第２カメラ１０Ｂのそれぞれについて、撮影するタイミング、画像データを取得するタイミング、露光量、ゲインなどを制御できる。メイン制御部２０は、第１カメラ１０Ａ及び第２カメラ１０Ｂの少なくとも一方から取得した画像データを処理して運転の状況を表す情報を取得し、その結果の情報を自動的に記録し保存したり、安全な運転を支援するために警報の出力等を状況に応じて実施する。

【0022】

＜撮影画像の例＞
第１カメラ１０Ａ及び第２カメラ１０Ｂでそれぞれ撮影した２種類の撮影画像ｉ１、ｉ２の具体例を図２に示す。

【0023】

図２に示した撮影画像ｉ１の中には、運転者５０の体の上半身、両手、両腕など運転状況を把握するのに十分な情報が現れている。また、図２に示した撮影画像ｉ２の中には、運転者５０の顔全体や頭部を含む情報が拡大された状態で現れている。

【0024】

したがって、例えば撮影画像ｉ２のような画像のデータをメイン制御部２０で分析することで、運転者５０の顔の向きや、目の視線の方向を検知すると共に、その変化を監視することが可能になる。また、撮影画像ｉ１のような画像のデータをメイン制御部２０で分析することで、運転者５０がハンドルを保持している状況を検知したり、運転者５０が手に持つ可能性のある携帯端末（スマートフォンなど）を検知することも可能になる。

【0025】

＜主要な機能構成＞
図３は、図１の運転者監視装置１００に搭載された主要な機能の構成を示すブロック図である。

【0026】

図３に示したメイン制御部２０の各機能は、例えばメイン制御部２０に組み込まれているマイクロコンピュータ（図示せず）を主体とする電子回路のハードウェアの動作と、このマイクロコンピュータが実行するプログラムとで実現される。

【0027】

メイン制御部２０は、特徴検出機能２１、２２、タイミング制御機能２３、監視機能部２４、警報機能２５、及び履歴情報記録機能２６を備えている。また、監視機能部２４は脇見検出機能２４ａ、居眠り検出機能２４ｂ、姿勢崩れ検出機能２４ｃ、行為検出機能２４ｄ、姿勢検出機能２４ｅ、シートベルト検出機能２４ｆ、及びハンドル保持検出機能２４ｇを含んでいる。

【0028】

特徴検出機能２１は、第１カメラ１０Ａから取得した画像データを画像処理することで、運転者５０の上半身の各部や手の領域の様々な特徴を検知する。また、特徴検出機能２２は第２カメラ１０Ｂから取得した画像データを画像処理することで、運転者５０の顔領域の様々な特徴を検知する。

【0029】

タイミング制御機能２３は、特徴検出機能２１及び２２のそれぞれの検出状態などに基づいて、第１カメラ１０Ａ及び第２カメラ１０Ｂのそれぞれが撮影（照明光の制御を含む）を実施するタイミングや、第１カメラ１０Ａ及び第２カメラ１０Ｂのそれぞれが撮影した画像データをメイン制御部２０に送出するタイミング（或いはメイン制御部２０が画像を要求するタイミング）などを制御する。

【0030】

監視機能部２４は、車両において必要とされる様々な監視対象項目のそれぞれについて、現在の状態を検知する。
脇見検出機能２４ａは、運転者５０の顔の情報に基づいて、運転と無関係な方向を向いた状態のままで運転していないかどうかを検出する機能を有する。

【0031】

居眠り検出機能２４ｂは、運転者５０の顔の情報に基づいて、運転者５０が瞼を閉じたり居眠り状態のままで運転していないかどうかを検出する機能を有する。
姿勢崩れ検出機能２４ｃは、運転者５０の体の上半身などの情報に基づいて、運転者５０が通常の運転姿勢とは異なる異常な姿勢のままで運転していないかどうかを検出する機能を有する。

【0032】

行為検出機能２４ｄは、運転者５０の体の上半身などの情報に基づいて、運転者５０が例えばスマートフォンの操作のように、危険なながら運転の行為をしていないかどうかを検出する機能を有する。

【0033】

姿勢検出機能２４ｅは、例えば運転者５０の体全体の姿勢、顔の水平方向および前後方向の向き、視線の方向、上体の傾きなどの情報を検出する機能を有する。
シートベルト検出機能２４ｆは、運転者５０がシートベルトを着用しているか否かを検出する機能を有する。

【0034】

ハンドル保持検出機能２４ｇは、運転者５０が運転可能な状態でハンドルを保持しているか否かを検出する機能を有する。
警報機能２５は、運転者５０の運転状態について監視機能部２４のいずれかの機能が警告すべき状況を検知した場合に、例えば音声出力や警報音の出力により異常があることを報知して運転者の安全運転を支援する機能を有する。

【0035】

履歴情報記録機能２６は、運転者５０の運転状態について監視機能部２４のそれぞれの機能が検知した情報を、例えば現在日時や自車両の現在位置の情報と対応付けた状態で履歴情報として所定の不揮発性記録媒体に記録し保存する。

【0036】

＜メイン制御部の動作＞
メイン制御部２０の動作例を図４に示す。すなわち、メイン制御部２０のコンピュータは車両のドライバーモニタリングシステム(DMS：Driver Monitoring System)が起動すると図４の動作を開始する。図４に示した動作について以下に説明する。

【0037】

メイン制御部２０は、第１カメラ１０Ａ及び第２カメラ１０Ｂのそれぞれの初期化処理として、各カメラの露光量（Exposure）や映像処理回路のゲインが適切になるように自動調整してその状態を示す情報を記録する（Ｓ１１）。初期状態では、各カメラの照明は消灯する。

【0038】

本実施形態では、メイン制御部２０は、通常時は第２カメラ１０Ｂの撮影した画像だけを処理して運転者５０を監視する。そのため、最初は第２カメラ１０Ｂ側に内蔵又は付属しているＬＥＤ照明だけの点灯を開始する（Ｓ１２）。また、第２カメラ１０Ｂが撮影した画像の明るさを検出し、一定時間の間に発生した明るさの変動量を記録する。なお、夜間でもカメラの撮影ができるようにＬＥＤ照明の発光波長は近赤外域とする。

【0039】

メイン制御部２０は、第２カメラ１０Ｂの撮影で得られた画像データを定期的に取得して特徴検出機能２２により処理し、運転者５０の顔位置の検出処理を周期的に繰り返し実行する（Ｓ１３）。

【0040】

メイン制御部２０は、運転者（ドライバ）５０の顔位置を検出できた時間の長さを事前に定めた閾値時間と比較し（Ｓ１４）。顔位置を検出できた時間の長さが閾値時間以上であればＳ１６の処理に進む。また、Ｓ１４の条件を満たさない場合はＳ１７の処理に進み、メイン制御部２０は、運転者５０の顔が検出不可能な状態であることを表す情報を出力する。

【0041】

メイン制御部２０は、運転者５０の顔の向きと視線の方向の両者を事前に定めた特定の範囲と比較する（Ｓ１６）。この特定の範囲は、スマートフォンのような携帯端末の画面を運転者５０が注視する場合や、携帯端末を手で操作する場合や、携帯端末で通話などの動作を行う状況で想定される顔の向きおよび視線の方向の範囲に相当する。Ｓ１６の条件を満たす場合はＳ２４へ進む。

【0042】

メイン制御部２０は、Ｓ１６の条件を満たさない場合はＳ１８で停車中か否かを識別する。更に、停車中の場合はＳ１９に進み、運転者５０の顔の向き及び視線の方向の両者が事前に定めた閾値時間以上静止状態を継続しているか否かを識別する。また、停車中でない場合はＳ２０に進み、運転者５０の顔の向き及び視線の方向の両者が事前に定めた範囲外にある時間が閾値時間以上継続しているか否かを識別する。

【0043】

メイン制御部２０は、停車中、且つＳ１９の条件を満たす場合はＳ２１に進み、Ｓ１９の条件を満たさない場合はＳ１３に進む。また、停車中でなく、且つＳ２０の条件を満たす場合はＳ２１に進み、Ｓ１９の条件を満たさない場合はＳ１３に進む。

【0044】

メイン制御部２０は、Ｓ２１で運転者の脇見警報を出力する。更に、所定の警報解除信号の有無をＳ２２で識別し、警報解除信号を検知した場合は次のＳ２３でＳ２１の警報を解除してからＳ１３に進む。警報解除信号を検知しない場合はＳ１８に進む。例えば、運転者による所定のボタン操作などにより脇見の警報解除信号を発生することができる。

【0045】

一方、Ｓ１６の条件を満たした場合は、第１カメラ１０Ａの撮影を開始できるように、メイン制御部２０はＳ２４で第１カメラ１０Ａ側に内蔵又は付属しているＬＥＤ照明の点灯を開始する。また、メイン制御部２０はＳ１２で検知した第２カメラ１０Ｂの明るさ変動量を第１カメラ１０Ａにおける露光量やゲインの設定値に反映する。

【0046】

メイン制御部２０は、第１カメラ１０Ａの撮影で得られた画像データを定期的に取得して特徴検出機能２１により処理し、運転者５０が手に持っている可能性のあるスマートフォン（スマホ）などの携帯端末の検出処理を周期的に繰り返し実行する（Ｓ２５）。

【0047】

例えば、処理対象の画像中で運転者５０の手の位置を検知して追跡し、その近傍の矩形領域内でスマートフォンと同等の輪郭形状などを検知した場合に、スマートフォンを検出したとみなすことができる。あるいは、運転者５０が通話をしている場合のように運転者５０の顔の側方に手があり、その近傍の矩形領域内でスマートフォンと同等の輪郭形状などを検知した場合に、スマートフォンを検出したとみなすこともできる。

【0048】

第１カメラ１０Ａの画像に基づいてスマートフォンを検知した場合には、メイン制御部２０はＳ２７でスマートフォン操作に関するながら運転の警告を発生する。更に、停車中か否かをＳ２９で識別し、停車中でなければＳ２５に戻り、停車中の場合はながら運転の警告を解除する（Ｓ３０）。

【0049】

一方、Ｓ２６でスマートフォンを検知しなかった場合には、メイン制御部２０はＳ２８に進む。そして、運転者５０の顔の向き及び視線の方向の両者が一定の状態に保持されているか否かを識別し、一定であればＳ２５の処理に戻り、変化がある場合はＳ１８の処理に進む。

【0050】

なお、メイン制御部２０が図４のＳ２４～Ｓ３０の処理を実行しているときには、第２カメラ１０Ｂの撮影した画像データは不要であるので、一時的に第２カメラ１０Ｂの照明を消灯し、第２カメラ１０Ｂの撮影動作や画像データの送信を停止するように処理の内容を変更してもよい。

【0051】

＜装置の動作タイミング＞
＜例－１＞
図１の運転者監視装置１００における動作タイミングの例－１を図５に示す。図５に示した動作について以下に説明する。

【0052】

図５に示した動作においては、運転者監視装置１００は通常は第２カメラ１０Ｂだけを用いて一定の周期で、すなわち図５中の各時刻ｔ１、ｔ２、ｔ３、ｔ４・・・で繰り返し撮像を行い、その都度画像を処理して運転者５０の運転状態を認識する。

【0053】

そして、図５中に示した運転者５０Ａのように指定範囲の脇見の状態を検知した状態が一定時間以上継続（時刻ｔ６～ｔ９の範囲）すると、メイン制御部２０はながら運転の可能性があるとみなし、スマートフォンを検知するための処理を開始する。すなわち、第１カメラ１０Ａでの撮影を時刻ｔ１０Ａから開始して、一定時間毎の時刻ｔ１１Ａ、ｔ１２Ａ、・・・で撮影を繰り返す。

【0054】

そして、各時刻ｔ１０Ａ、ｔ１１Ａ、ｔ１２Ａ、・・・で第１カメラ１０Ａが撮影した画像に基づき、メイン制御部２０は図５中の運転者５０Ｂのように手の近傍の矩形領域を抽出し、この中にスマートフォンが存在するか否かを検知する（図４中のＳ２５、Ｓ２６に相当）。

【0055】

なお、図５に示した動作においては、第２カメラ１０Ｂが撮影する時刻ｔ１０、ｔ１１、ｔ１２、・・・と、第１カメラ１０Ａが撮影する時刻ｔ１１Ａ、ｔ１２Ａ、・・・とは非同期で互いにタイミングが重ならないようにずれている。

【0056】

＜例－２＞
図１の運転者監視装置１００における動作タイミングの例－２を図６に示す。図６に示した動作について以下に説明する。

【0057】

図６に示した動作においては、運転者監視装置１００は通常は第２カメラ１０Ｂだけを用いて一定の周期で、すなわち図６中の各時刻ｔ１、ｔ２、ｔ３、・・・で繰り返し撮像を行うが、第２カメラ１０Ｂが撮影しないタイミング（時刻ｔ５、ｔ１０、・・・）が予め定めてある。

【0058】

メイン制御部２０は、各時刻ｔ１、ｔ２、ｔ３、・・・で第２カメラ１０Ｂが撮影した画像をその都度処理して運転者５０の運転状態を認識する。
そして、図６中に示した運転者５０Ａのように指定範囲の脇見の状態を検知した状態が一定時間以上継続（時刻ｔ６～ｔ９の範囲）すると、メイン制御部２０はながら運転の可能性があるとみなし、スマートフォンを検知するための処理を行う。すなわち、第１カメラ１０Ａでの撮影を時刻ｔ１０で行い、この第１カメラ１０Ａが撮影した画像に基づき、メイン制御部２０は図６中の運転者５０Ｂのように手の近傍の矩形領域を抽出し、この中にスマートフォンが存在するか否かを検知する（図４中のＳ２５、Ｓ２６に相当）。

【0059】

＜例－３＞
図１の運転者監視装置１００における動作タイミングの例－３を図７に示す。図７に示した動作について以下に説明する。

【0060】

図７に示した動作においては、運転者監視装置１００は通常は第２カメラ１０Ｂだけを用いて一定の周期で、すなわち図７中の各時刻ｔ１、ｔ２、ｔ３、・・・で繰り返し撮像を行うが、第２カメラ１０Ｂが撮影しないタイミング（時刻ｔ５、ｔ１０、・・・）が予め定めてある。

【0061】

メイン制御部２０は、各時刻ｔ１、ｔ２、ｔ３、・・・で第２カメラ１０Ｂが撮影した画像をその都度処理して運転者５０の運転状態を認識する。
そして、図７中に示した運転者５０Ａのように指定範囲の脇見の状態を検知した状態が一定時間以上継続（時刻ｔ６～ｔ９の範囲）すると、メイン制御部２０はながら運転の可能性があるとみなし、スマートフォンを検知するための処理を開始する。すなわち、第１カメラ１０Ａでの撮影を時刻ｔ１０から開始して、それから一定時間毎の事前に定めた各時刻ｔ１０、ｔ１１、ｔ１２、・・・で撮影を繰り返す。

【0062】

また、第１カメラ１０Ａの撮影と第２カメラ１０Ｂの撮影とのタイミングが重ならないように、第１カメラ１０Ａが撮影を開始した後のタイミング（ｔ１１、ｔ１２、・・・）では第２カメラ１０Ｂの撮影を停止する。

【0063】

メイン制御部２０は、各時刻ｔ１０、ｔ１１、ｔ１２、・・・で第１カメラ１０Ａが撮影した画像に基づき、図７中の運転者５０Ｂのように手の近傍の矩形領域を抽出し、この中にスマートフォンが存在するか否かを検知する（図４中のＳ２５、Ｓ２６に相当）。

【0064】

以上のように、本実施形態の運転者監視装置１００は、通常時は図５～図７中の各時刻ｔ１～ｔ９のように第２カメラ１０Ｂの画像だけをメイン制御部２０が処理するので、メイン制御部２０における処理の負荷を減らすことができる。特に、第２カメラ１０Ｂは撮影範囲が狭いので、解像度の低い画像でも顔の向きや視線の方向を十分に検出可能であり、処理の負荷を減らすのに効果的である。また、運転者５０の脇見を検知した時には、第１カメラ１０Ａを用いて広い範囲を撮影した画像を処理対象とするので、運転者５０が手に持っているスマートフォンなどを検知することが容易になり、ながら運転の状況を正しく検知できる。また、図５～図７に示すように第１カメラ１０Ａの画像を処理するタイミングでは第２カメラ１０Ｂの撮影や処理を中止することで、メイン制御部２０の処理の負荷を減らすことができる。

【0065】

なお、本発明は、上述した実施形態に限定されるものではなく、適宜、変形、改良、等が可能である。その他、上述した実施形態における各構成要素の材質、形状、寸法、数、配置箇所、等は本発明を達成できるものであれば任意であり、限定されない。

【0066】

ここで、上述した本発明の実施形態に係る運転者監視装置および監視プログラムの特徴をそれぞれ以下［１］～［５］に簡潔に纏めて列記する。
［１］ 車両の運転者およびその周辺を撮像可能な第１の撮像部（第１カメラ１０Ａ）と、
前記第１の撮像部よりも撮像範囲が狭く前記運転者の顔に現れる特徴を撮像可能な第２の撮像部（第２カメラ１０Ｂ）と、
前記第１の撮像部および前記第２の撮像部の撮像タイミングを制御する制御部（メイン制御部２０、タイミング制御機能２３）と、
前記第１の撮像部および前記第２の撮像部から取得した画像から、前記運転者が運転操作と無関係な動作を行っているか否かを判定する判定部（メイン制御部２０、行為検出機能２４ｄ）と、
を備え、前記判定部は、前記第１の撮像部からの入力を停止した状態で、前記第２の撮像部から入力された画像に基づき運転者が脇見をしていることを検出した場合には、前記制御部を制御して前記第１の撮像部からの画像の取得を開始し（Ｓ２４、Ｓ２５）、前記第１の撮像部から取得した画像に検出対象物又は検出対象となる運転者の姿勢が含まれているか否かを判定する（Ｓ２６）、
運転者監視装置（１００）。

【0067】

上記［１］の構成の運転者監視装置によれば、車両を運転する運転者によるながら運転のような状況を容易に検出できる。すなわち、撮像範囲が狭い第２の撮像部の画像を処理することで、脇見運転の状況を容易に検出できる。また、脇見運転の状況で第１の撮像部の画像を処理することで、運転者が操作しているスマートフォンを検出したり、スマートフォンの画面を注視している運転者の姿勢を検出することが可能になる。つまり、脇見運転の状況におけるスマートフォンの操作のようなながら運転を識別できる。しかも、第１の撮像部および第２の撮像部の撮像タイミングや処理のタイミングを適切に調整することで処理にかかる負荷を大幅に低減できる。これにより、制御装置の発熱や消費電力の増大を抑制でき、制御装置のリソース消費も抑制できる。

【0068】

［２］ 前記判定部は、前記第１の撮像部の撮像した画像に基づいて、運転者近傍の領域に存在する携帯端末を検出する（Ｓ２４～Ｓ２６）、
上記［１］に記載の運転者監視装置。

【0069】

上記［２］の構成の運転者監視装置によれば、比較的広い範囲を撮影する前記第１の撮像部の撮像した画像に基づいて携帯端末を検出するので、運転者が自分の顔から大きく離れた場所にある携帯端末を手で持って操作しているような場合でも、ながら運転を容易に検出できる。

【0070】

［３］ 前記判定部は、前記第２の撮像部の撮像した画像に基づいて、運転者の顔の向きおよび視線の方向の少なくとも一方を検出する（Ｓ１２～Ｓ１６）、
上記［１］又は［２］に記載の運転者監視装置。

【0071】

上記［３］の構成の運転者監視装置によれば、運転者の顔の向き又は視線の方向を検出するので、運転者の脇見運転の状況や、携帯端末の画面等を視ている状況などを検知することが可能になる。

【0072】

［４］ 前記判定部は、前記第２の撮像部の撮像した画像に基づいて、運転者の顔の向きおよび視線の方向の少なくとも一方を検出する（Ｓ１２～Ｓ１６）と共に、検出した顔の向き又は視線の方向が一定時間以上脇見の条件の範囲内であった場合に脇見と判定する（Ｓ１６、Ｓ２４）、
上記［１］に記載の運転者監視装置。

【0073】

上記［４］の構成の運転者監視装置によれば、運転者の顔の向き又は視線の方向を検出すると共に、同じ状態が継続する時間の長さを識別するので、運転者の脇見運転の状況や、携帯端末の画面等を注視している状況などをより正確に検知することが可能になる。

【0074】

［５］ 車両の運転者およびその周辺を撮像可能な第１の撮像部と、前記第１の撮像部よりも撮像範囲が狭く前記運転者の顔に現れる特徴を撮像可能な第２の撮像部と、前記第１の撮像部および前記第２の撮像部の撮像タイミングを制御する制御部と、前記第１の撮像部および前記第２の撮像部から取得した画像から、前記運転者が運転操作と無関係な動作を行っているか否かを判定する判定部とを含む監視装置のコンピュータ（メイン制御部２０）が実行可能な監視プログラムであって、
前記第２の撮像部から入力された第２画像に基づき運転者が脇見をしていることを検出する手順（Ｓ１２～Ｓ１６）と、
前記第１の撮像部からの入力を停止した状態で、前記第２画像に基づき運転者が脇見をしていることを検出した時に、前記第１の撮像部からの第１画像の取得を開始して、前記第１画像に検出対象物又は検出対象となる運転者の姿勢が含まれているか否かを判定する手順（Ｓ２４～Ｓ２６）と、
を有する監視プログラム。

【0075】

上記［５］の手順の監視プログラムを所定のコンピュータで実行することで、車両を運転する運転者によるながら運転のような状況を容易に検出できる。すなわち、撮像範囲が狭い第２の撮像部の画像を処理することで、脇見運転の状況を容易に検出できる。また、脇見運転の状況で第１の撮像部の画像を処理することで、運転者が操作しているスマートフォンを検出したり、スマートフォンの画面を注視している運転者の姿勢を検出することが可能になる。つまり、脇見運転の状況におけるスマートフォンの操作のようなながら運転を識別できる。しかも、第１の撮像部および第２の撮像部の撮像タイミングや処理のタイミングを適切に調整することで処理にかかる負荷を大幅に低減できる。これにより、制御装置の発熱や消費電力の増大を抑制でき、制御装置のリソース消費も抑制できる。

【符号の説明】

【0076】

１０Ａ 第１カメラ
１０Ｂ 第２カメラ
２０ メイン制御部
２１，２２ 特徴検出機能
２３ タイミング制御機能
２４ 監視機能部
２４ａ 脇見検出機能
２４ｂ 居眠り検出機能
２４ｃ 姿勢崩れ検出機能
２４ｄ 行為検出機能
２４ｅ 姿勢検出機能
２４ｆ シートベルト検出機能
２４ｇ ハンドル保持検出機能
２５ 警報機能
２６ 履歴情報記録機能
５０，５０Ａ，５０Ｂ 運転者
５１ ハンドル
５２ シートベルト
１００ 運転者監視装置
Ａ１，Ａ２ 撮影範囲
ｉ１，ｉ２ 撮影画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】