特許 7586137 監視装置、監視用コンピュータプログラム及び監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-11

(45)【発行日】2024-11-19

(54)【発明の名称】監視装置、監視用コンピュータプログラム及び監視方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241112BHJP

   B60W 50/14 20200101ALI20241112BHJP

【ＦＩ】

G08G1/16 F

B60W50/14

【請求項の数】 10

(21)【出願番号】P 2022080857

(22)【出願日】2022-05-17

(65)【公開番号】P2023169625

(43)【公開日】2023-11-30

【審査請求日】2024-01-18

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100135976

【弁理士】

【氏名又は名称】宮本 哲夫

(72)【発明者】

【氏名】江頭 和輝

(72)【発明者】

【氏名】澤井 俊一郎

【審査官】白石 剛史

(56)【参考文献】

【文献】国際公開第２０１０／０３２４９１（ＷＯ，Ａ１）

【文献】特開２００３－０９９８９９（ＪＰ，Ａ）

【文献】特開２０１８－０６７１９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ｂ６０Ｗ ５０／１４

(57)【特許請求の範囲】

【請求項1】

車両の周辺の環境を表す環境情報に基づいて、前記車両の周辺の所定の領域内に存在する所定の種類の周辺物体を検出する検出部と、
ドライバの状態を表す情報に基づいて、ドライバが前記車両の周辺に注意を向けていない程度を決定する決定部と、
前記検出部によって前記所定の領域内で検出された前記周辺物体の数が物体数閾値よりも少ない場合、ドライバが前記車両の周辺に注意を向けていない前記程度の規準となる不注意閾値を第１の値に設定し、前記周辺物体の数が前記物体数閾値以上の場合、前記不注意閾値を前記第１の値よりも小さい第２の値に設定する設定部と、
前記決定部によって決定されたドライバが前記車両の周辺に注意を向けていない前記程度が、前記不注意閾値を超えたか否かを判定する判定部と、
前記判定部によってドライバが前記車両の周辺に注意を向けていない前記程度が前記不注意閾値を超えたと判定された場合、通知部を介して、ドライバに対して前記車両の周辺に注意を向けるように警告を通知する警告部と、
を有する、ことを特徴とする監視装置。

【請求項2】

前記決定部は、ドライバが前記車両の周辺に注意を向けていない度合いが大きい程大きい値を有するように、前記車両の周辺に注意を向けていない前記程度を決定し、
前記警告部は、前記判定部によってドライバが前記車両の周辺に注意を向けていない前記程度が前記不注意閾値より大きいと判定された場合、ドライバに対して前記警告を通知する、請求項１に記載の監視装置。

【請求項3】

前記決定部は、ドライバが脇見をしている継続時間に基づいて、ドライバが前記車両の周辺に注意を向けていない前記程度を決定する、請求項２に記載の監視装置。

【請求項4】

前記決定部は、所定時間内にドライバが脇見をした回数に基づいて、ドライバが前記車両の周辺に注意を向けていない前記程度を決定する、請求項２に記載の監視装置。

【請求項5】

前記決定部は、所定時間内にドライバが脇見をした累積時間に基づいて、ドライバが前記車両の周辺に注意を向けていない前記程度を決定する、請求項２に記載の監視装置。

【請求項6】

前記決定部は、ドライバが前記車両の周辺に注意を向けていない度合いが大きい程大きい値を有するように、前記車両の周辺に注意を向けていない前記程度を決定し、
前記警告部は、前記判定部によってドライバが前記車両の周辺に注意を向けていない前記程度が前記不注意閾値より小さいと判定された場合、ドライバに対して前記警告を通知する、請求項１に記載の監視装置。

【請求項7】

更に、前記検出部によって前記周辺物体が検出された方向と、ドライバが顔を向けている方向との相対関係に基づいて、前記設定部が設定した前記不注意閾値を変更する第１変更部を有する、請求項１に記載の監視装置。

【請求項8】

更に、前記車両の速度に基づいて、前記設定部が設定した前記不注意閾値を変更する第２変更部を有する、請求項１～６の何れか一項に記載の監視装置。

【請求項9】

車両の周辺の環境を表す環境情報に基づいて、前記車両の周辺の所定の領域内に存在する所定の種類の周辺物体を検出し、
ドライバの状態を表す情報に基づいて、ドライバが前記車両の周辺に注意を向けていない程度を決定し、
前記所定の領域内で検出された前記周辺物体の数が物体数閾値よりも少ない場合、ドライバが前記車両の周辺に注意を向けていない前記程度の規準となる不注意閾値を第１の値に設定し、前記周辺物体の数が前記物体数閾値以上の場合、前記不注意閾値を前記第１の値よりも小さい第２の値に設定し、
ドライバが前記車両の周辺に注意を向けていない前記程度が、前記不注意閾値を超えたか否かを判定し、
ドライバが前記車両の周辺に注意を向けていない前記程度が前記不注意閾値を超えたと判定された場合、通知部を介して、ドライバに対して前記車両の周辺に注意を向けるように警告を通知する、ことを含む処理をプロセッサに実行させる、ことを特徴とする監視用コンピュータプログラム。

【請求項10】

警告装置によって実行される監視方法であって、
車両の周辺の環境を表す環境情報に基づいて、前記車両の周辺の所定の領域内に存在する所定の種類の周辺物体を検出し、
ドライバの状態を表す情報に基づいて、ドライバが前記車両の周辺に注意を向けていない程度を決定し、
前記所定の領域内で検出された前記周辺物体の数が物体数閾値よりも少ない場合、ドライバが前記車両の周辺に注意を向けていない前記程度の規準となる不注意閾値を第１の値に設定し、前記周辺物体の数が前記物体数閾値以上の場合、前記不注意閾値を前記第１の値よりも小さい第２の値に設定し、
ドライバが前記車両の周辺に注意を向けていない前記程度が、前記不注意閾値を超えたか否かを判定し、
ドライバが前記車両の周辺に注意を向けていない前記程度が前記不注意閾値を超えたと判定された場合、通知部を介して、ドライバに対して前記車両の周辺に注意を向けるように警告を通知する、ことを含む、ことを特徴とする監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、監視装置、監視用コンピュータプログラム及び監視方法に関する。

【背景技術】

【0002】

従来、車両に搭載される監視装置は、ドライバの状態を監視して、ドライバが車両の周辺に注意を向けているか否かを監視する。例えば、車両に搭載される監視装置は、ドライバが車両の前方を見ているか否かを監視して、ドライバが脇見をしている場合、ドライバに対して警告を通知する。

【0003】

例えば、特許文献１は、脇見運転等といった不適切運転が行われている度合い（不適切運転レベル）を計測して、不適切運転レベルが対処レベルに達すると、警告を行う車載システムを提案している。この車載システムでは、不適切運転の行われやすい走行場所では、そうではない走行場所よりも対処レベルを低下させる。これにより、車載システムでは、不適切運転が行われることを防ぐようにしている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－６５２４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述したように、ドライバを監視する基準は、不適切運転の行われやすい走行場所に応じて変化させることが提案されている。また、車両又は歩行者といった移動物体は、車両と接近するおそれがある。そして、この移動物体の数は動的に変化し得る。従って、ドライバを監視する基準は、車両の周辺状況に応じて変化させることが好ましいと考えられる。

【0006】

本開示は、車両の周辺状況に応じて、ドライバを監視する基準を変化させることにより、ドライバを適切に監視できる監視装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

一の実施形態によれば、監視装置が提供される。この監視装置は、車両の周辺の環境を表す環境情報に基づいて、車両の周辺の所定の領域内に存在する所定の種類の周辺物体を検出する検出部と、ドライバの状態を表す情報に基づいて、車両のドライバによる周辺監視の程度を決定する決定部と、検出部によって所定の領域内で検出された周辺物体の数が物体数閾値よりも少ない場合、ドライバによる周辺監視の程度の規準となる不注意閾値を第１の値に設定し、周辺物体の数が物体数閾値以上の場合、不注意閾値を第１の値よりも小さい第２の値に設定する設定部と、決定部によって決定されたドライバによる周辺監視の程度が、不注意閾値を超えたか否かを判定する判定部と、判定部によってドライバによる周辺監視の程度が不注意閾値を超えたと判定された場合、通知部を介して、ドライバに対して車両の周辺に注意を向けるように警告を通知する警告部と、を有する、ことを特徴とする。

【0008】

また、この監視装置において、決定部は、ドライバが車両の周辺に注意を向けていない程度が大きい程大きい値を有するように、車両のドライバによる周辺監視の程度を決定し、警告部は、判定部によってドライバによる周辺監視の程度が不注意閾値より大きいと判定された場合、ドライバに対して警告を通知することが好ましい。

【0009】

また、この監視装置において、決定部は、ドライバが脇見をしている継続時間に基づいて、ドライバによる周辺監視の程度を決定することが好ましい。

【0010】

また、この監視装置において、決定部は、所定時間内にドライバが脇見をした回数に基づいて、ドライバによる周辺監視の程度を決定することが好ましい。

【0011】

また、この監視装置において、決定部は、所定時間内にドライバが脇見をした累積時間に基づいて、ドライバによる周辺監視の程度を決定することが好ましい。

【0012】

また、この監視装置において、決定部は、ドライバが車両の周辺に注意を向けている程度が大きい程大きい値を有するように、車両のドライバによる周辺監視の程度を決定し、警告部は、判定部によってドライバによる周辺監視の程度が不注意閾値より小さいと判定された場合、ドライバに対して警告を通知することが好ましい。

【0013】

また、この監視装置において、更に、検出部によって周辺物体が検出された方向と、ドライバが顔を向けている方向との相対関係に基づいて、設定部が設定した不注意閾値を変更する第１変更部を有することが好ましい。

【0014】

また、この監視装置において、更に、車両の速度に基づいて、設定部が設定した不注意閾値を変更する第２変更部を有することが好ましい。

【0015】

他の実施形態によれば、監視用コンピュータプログラムが提供される。この監視用コンピュータプログラムは、車両の周辺の環境を表す環境情報に基づいて、車両の周辺の所定の領域内に存在する所定の種類の周辺物体を検出し、ドライバの状態を表す情報に基づいて、車両のドライバによる周辺監視の程度を決定し、所定の領域内で検出された周辺物体の数が物体数閾値よりも少ない場合、ドライバによる周辺監視の程度の規準となる不注意閾値を第１の値に設定し、周辺物体の数が物体数閾値以上の場合、不注意閾値を第１の値よりも小さい第２の値に設定し、ドライバによる周辺監視の程度が、不注意閾値を超えたか否かを判定し、ドライバによる周辺監視の程度が不注意閾値を超えたと判定された場合、通知部を介して、ドライバに対して車両の周辺に注意を向けるように警告を通知する、ことを含む処理をプロセッサに実行させる、ことを含む特徴とする。

【0016】

更に他の実施形態によれば、監視方法が提供される。この監視方法は、警告装置によって実行される監視方法であって、車両の周辺の環境を表す環境情報に基づいて、車両の周辺の所定の領域内に存在する所定の種類の周辺物体を検出し、ドライバの状態を表す情報に基づいて、車両のドライバによる周辺監視の程度を決定し、所定の領域内で検出された周辺物体の数が物体数閾値よりも少ない場合、ドライバによる周辺監視の程度の規準となる不注意閾値を第１の値に設定し、周辺物体の数が物体数閾値以上の場合、不注意閾値を第１の値よりも小さい第２の値に設定し、ドライバによる周辺監視の程度が、不注意閾値を超えたか否かを判定し、ドライバによる周辺監視の程度が不注意閾値を超えたと判定された場合、通知部を介して、ドライバに対して車両の周辺に注意を向けるように警告を通知する、ことを含む、ことを特徴とする。

【発明の効果】

【0017】

本開示に係る監視装置は、車両の周辺状況に応じて、ドライバを監視する基準を変化させることにより、ドライバを適切に監視できる。

【図面の簡単な説明】

【0018】

【図1】本実施形態の監視装置の動作の概要を説明する図であり、（Ａ）は、車両の周辺に１台の他の車両が走行している様子を示す図であり、（Ｂ）は、車両の周辺に複数の他の車両が走行している様子を示す図であり、（Ｃ）は、車室内を示す図である。

【図2】本実施形態の監視システムが実装される車両の概略構成図である。

【図3】本実施形態の監視装置の監視処理に関する動作フローチャートの一例である。

【図4】前方領域及び脇見領域を説明する図である。

【図5】ドライバによる周辺監視の程度を決定する一例を説明する図である。

【図6】本実施形態の監視装置の閾値定処理に関する動作フローチャートの一例である。

【図7】変型例１を説明する図である。

【図8】変型例２を説明する動作フローチャートの一例である。

【発明を実施するための形態】

【0019】

図１は、本実施形態の監視装置１２の動作の概要を説明する図である。図１（Ａ）は、車両１０の周辺に１台の他の車両６０が走行している様子を示す図であり、図１（Ｂ）は、車両の周辺に複数の他の車両６１、６２、６３が走行している様子を示す図であり、図１（Ｃ）は、車室内を示す図である。以下、図１（Ａ）～図１（Ｃ）を参照しながら、本明細書に開示する監視装置１２のドライバを監視する監視処理に関する動作の概要を説明する。

【0020】

車両１０は、物体検出装置１１及び監視装置１２を有する。物体検出装置１１は、前方カメラ２及びLiDARセンサ４を用いて、車両１０の周辺における前方の領域内に存在する他の物体を検出する。前方カメラ２及びLiDARセンサ４により他の物体が検出される車両１０の前方の領域は、車両１０の周辺の所定の領域の一例である。監視装置１２は、ドライバの状態を監視する。

【0021】

図１（Ａ）に示す例では、車両１０は、道路５０を走行している。車両１０の前方の領域には、他の車両６０が走行している。物体検出装置１１は、前方カメラ２及びLiDARセンサ４を用いて、車両１０の前方の領域内に他の車両６０を検出する。

【0022】

監視装置１２は、監視カメラ３を用いて、ドライバ４０の視線の向きを推定する。監視装置１２は、ドライバ４０の視線の向きが、前方領域Ｓ（非脇見領域）に含まれているのか、又は、脇見領域Ｎに含まれているのかを判定する。前方領域Ｓは、車室３０内の運転席３１を始点として前方に向かう方向から左右の水平方向に所定の範囲の角度で表される。脇見領域Ｎは、車室３０内の運転席３１を始点として前方に向かう方向に対して、左右の水平方向において、前方領域Ｓを表す範囲を除いた角度の範囲で表される。

【0023】

ドライバ４０の視線の向きが、前方領域Ｓに含まれている場合、ドライバ４０は、車両１０の前方の領域を監視していると考えられる。一方、ドライバ４０の視線の向きが、脇見領域Ｎに含まれている場合、ドライバ４０は、車両１０の前方の領域を監視していないと考えられる。

【0024】

そこで、監視装置１２は、ドライバ４０の視線の向きが前方領域Ｓに含まれている場合、脇見をしていないと判定し、ドライバ４０の視線の向きが脇見領域Ｎに含まれている場合、脇見をしていると判定する。

【0025】

また、監視装置１２は、監視画像に基づいて、ドライバ４０による周辺監視の程度を決定する。監視画像は、ドライバの状態を表す情報の一例である。具体的には、監視装置１２は、ドライバが脇見をしている継続時間を、ドライバ４０による周辺監視の程度として決定する。

【0026】

図１（Ａ）に示す例では、監視装置１２は、物体検出装置１１によって車両１０の前方の領域内で検出された他の車両６０の数（１）が物体数閾値（例えば２）よりも少ないので、車両１０のドライバ４０による周辺監視の程度が低下したことの規準となる不注意閾値を第１の値（例えば、３秒）に設定する。他の車両６０は、所定の種類の周辺物体の一例である。他の車両６０は、車両１０に近づく可能性がある。

【0027】

監視装置１２は、ドライバによる周辺監視の程度が、不注意閾値を超えていないので、ドライバ４０に対して警告を与えることはない。

【0028】

一方、図１（Ｂ）に示す例では、車両１０の前方の領域には、他の車両６１、６２、６３が走行している。監視装置１２は、物体検出装置１１によって車両１０の前方の領域内で検出された他の車両６１、６２、６３の数（３）が物体数閾値（例えば２）以上なので、車両１０のドライバ４０による周辺監視の程度が低下したことの規準となる不注意閾値を第１の値よりも小さい第２の値（例えば、２秒）に設定する。

【0029】

車両１０の前方の領域内で検出された他の車両の数が多い場合、ドライバ４０には他の車両のそれぞれに対して注意を向けることが求められる。そのため、ドライバ４０に対して、より高い周辺監視の程度が要求される。

【0030】

監視装置１２は、ドライバによる周辺監視の程度が、不注意閾値を超えたので、ユーザインターフェース（ＵＩ）７を介して、ドライバ４０に対して車両１０の前方に注意を向けるように警告を通知する。ユーザインターフェース７は、通知部の一例である。

【0031】

以上説明したように、監視装置１２は、車両１０の周辺状況に応じて、ドライバ４０を監視する基準を変化させることにより、ドライバ４０を適切に監視できる。

【0032】

図２は、本実施形態の監視システム１が実装される車両１０の概略構成図である。車両１０は、前方カメラ２と、監視カメラ３と、LiDARセンサ４と、車速センサ５と、シートベルト駆動装置６と、ユーザインターフェース（ＵＩ）７と、物体検出装置１１及び監視装置１２等とを有する。

【0033】

前方カメラ２と、監視カメラ３と、LiDARセンサ４と、車速センサ５と、シートベルト駆動装置６と、ユーザインターフェース（ＵＩ）７と、物体検出装置１１と、監視装置１２とは、コントローラエリアネットワークといった規格に準拠した車内ネットワーク１３を介して通信可能に接続される。

【0034】

前方カメラ２は、車両１０に設けられる撮像部の一例である。前方カメラ２は、車両１０の前方を向くように、車両１０に取り付けられる。前方カメラ２は、例えば所定の周期で設定されるカメラ画像撮影時刻に、車両１０の前方の所定の領域の環境が表されたカメラ画像を撮影する。カメラ画像には、車両１０の前方の所定の領域内に含まれる道路と、その路面上の車線区画線等の道路特徴物が表わされ得る。カメラ画像は、車両１０の周辺の環境を表す環境情報の一例である。前方カメラ２は、ＣＣＤあるいはＣ－ＭＯＳ等、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する撮像光学系を有する。前方カメラ２の視野は、前方領域Ｓを含むことが好ましい。

【0035】

前方カメラ２は、カメラ画像を撮影する度に、カメラ画像及びカメラ画像撮影時刻を、車内ネットワーク１３を介して、物体検出装置１１等へ出力する。カメラ画像は、カメラ画像は、物体検出装置１１において、車両１０の周辺の他の物体を検出する処理に使用される。

【0036】

監視カメラ３は、運転席の近傍を含む監視画像を撮影可能に車室３０内に配置される。監視画像には、車両１０を運転するドライバ４０の顔が含まれ得る。監視カメラ３は、ドライバ４０の顔を含む監視画像を撮影する撮影装置の一例である。監視カメラ３は、例えば、図示しない、ステアリングコラム、ルームミラー、メータパネル、メータフード等に配置され得る。

【0037】

監視カメラ３は、例えば所定の周期で設定される監視画像撮影時刻に監視画像を撮影する。監視カメラ３は、ＣＣＤあるいはＣ－ＭＯＳ等、赤外線に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する撮像光学系を有する。監視カメラ３は、２次元検出器と共に、ドライバを照射可能な投光器を有していることが好ましい。投光器は、ＬＥＤ（発光ダイオード）であり、例えば撮像光学系の両側に配置された二個の近赤外ＬＥＤである。ドライバに近赤外光を照射することによって、夜間等の低照度時においてもドライバに不快感を与えることなくドライバの顔を撮影することができる。監視カメラ３は、監視画像を撮影する度に、監視画像及び監視画像撮影時刻を、車内ネットワーク１３を介して、監視装置１２等へ出力する。

【0038】

LiDARセンサ４は、車両１０の前方を向くように、例えば、車両１０の外面に取り付けられる。LiDARセンサ４は、所定の周期で設定される反射波情報取得時刻において、車両１０の前方を走査するようにレーザを発射して、反射物により反射された反射波を受信する。反射波が戻ってくるのに要する時間は、レーザが照射された方向に位置する他の物体と車両１０との間の距離情報を有する。LiDARセンサ４が車両１０の前方を走査する範囲は、前方領域Ｓを含むことが好ましい。LiDARセンサ４は、レーザの照射方向及び反射波が戻ってくるのに要する時間を含む反射波情報を、レーザを発射した反射波情報取得時刻と共に、車内ネットワーク１３を介して物体検出装置１１へ出力する。反射波情報は、物体検出装置１１において、車両１０の周辺の他の物体を検出する処理に使用される。反射波情報は、車両１０の周辺の環境を表す環境情報の一例である。

【0039】

車速センサ５は、車両１０の速度を表す速度情報を取得して、この速度情報を、車内ネットワーク１３を介して監視装置１２へ出力する。速度情報は、例えば、タイヤ（図示せず）の回転数を表す。速度情報は、監視装置１２において車両１０の速度を算出するのに使用される。

【0040】

シートベルト駆動装置６は、例えば監視装置１２に制御されて、ドライバ４０に装着されたシートベルト３２の張力を調節する。監視装置１２は、シートベルト３２の張力を変化させることにより、ドライバ４０に対して、車両１０の前方へ注意を向けるように警告を通知可能である。

【0041】

ＵＩ７は、通知部の一例である。ＵＩ７は、監視装置１２等に制御されて、ドライバ４０に対して、車両１０の前方へ注意を向けることを求める警告等を通知する。ＵＩ７は、警告等を表示するために、液晶ディスプレイ又はタッチパネル等の表示装置７ａを有する。また、ＵＩ７は、警告等をドライバへ通知するための音響出力装置（図示せず）を有していてもよい。また、ＵＩ７は、ドライバから車両１０に対する操作に応じた操作信号を生成する。ＵＩ７は、ドライバから車両１０への操作情報を入力する入力装置として、例えば、タッチパネル又は操作ボタンを有する。ＵＩ７は、入力された操作情報を、車内ネットワーク１３を介して、監視装置１２等へ出力する。

【0042】

物体検出装置１１は、カメラ画像に基づいて、車両１０の周辺の前方における他の物体及びその種類を検出する。他の物体には、車両１０の周辺を移動する歩行者及び他の車両等の移動物体が含まれる。物体検出装置１１は、例えば、カメラ画像を識別器に入力することで画像に表された移動物体を識別する識別器を有する。識別器として、例えば、入力された画像から、その画像に表された物体を検出するように予め学習されたディープニューラルネットワーク（ＤＮＮ）を用いることができる。物体検出装置１１は、ＤＮＮ以外の識別器を用いてもよい。例えば、物体検出装置１１は、識別器として、画像上に設定されるウィンドウから算出される特徴量（例えば、Histograms of Oriented Gradients, ＨＯＧ）を入力として、そのウィンドウに検出対象となる物体が表される確信度を出力するように予め学習されたサポートベクトルマシン（ＳＶＭ）を用いてもよい。あるいはまた、物体検出装置１１は、検出対象となる物体が表されたテンプレートと画像との間でテンプレートマッチングを行うことで、物体領域を検出してもよい。

【0043】

また、物体検出装置１１は、反射波情報に基づいて、車両１０の周辺の前方における他の物体を検出してもよい。また、物体検出装置１１は、カメラ画像内の他の物体の位置に基づいて、車両１０に対する他の物体の方位を求め、この方位と、LiDARセンサ４が出力する反射波情報とに基づいて、この他の物体と車両１０との間の距離を求めてもよい。物体検出装置１１は、車両１０の現在位置と、車両１０に対する他の物体までの距離及び方位に基づいて、例えば車両に原点を有する車両座標系で表された、他の物体の位置を推定する。物体検出装置１１は、検出された他の物体の種類（例えば、歩行者、車両）を示す情報と、その位置を示す情報を含む物体検出情報を、監視装置１２等へ出力する。

【0044】

監視装置１２は、検出処理と、設定処理と、決定処理と、判定処理と、警告処理と、変更処理とを実行する。そのために、監視装置１２は、通信インターフェース（ＩＦ）２１と、メモリ２２と、プロセッサ２３とを有する。通信インターフェース２１と、メモリ２２と、プロセッサ２３とは、信号線２４を介して接続されている。通信インターフェース２１は、監視装置１２を車内ネットワーク１３に接続するためのインターフェース回路を有する。

【0045】

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、プロセッサ２３により実行される情報処理において使用されるアプリケーションのコンピュータプログラム及び各種のデータを記憶する。

【0046】

監視装置１２が有する機能の全て又は一部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。プロセッサ２３は、検出部２３１と、設定部２３２と、決定部２３３と、判定部２３４と、警告部２３５と、変更部２３６とを有する。あるいは、プロセッサ２３が有する機能モジュールは、プロセッサ２３に設けられる、専用の演算回路であってもよい。プロセッサ２３は、１個又は複数個のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路を更に有していてもよい。監視装置１２の動作については後述する。

【0047】

物体検出装置１１と、監視装置１２とは、例えば、電子制御装置（Electronic Control Unit:ECU）である。図２では、監視装置１２とは、別々の装置として説明されているが、これらの装置の全て又は一部は、一つの装置として構成されていてもよい。

【0048】

図３は、本実施形態の監視装置１２の監視処理に関する動作フローチャートの一例である。図３を参照しながら、監視装置１２の監視処理について、以下に説明する。監視装置１２は、所定の周期を有する監視時刻に、図３に示される動作フローチャートに従って監視処理を実行する。

【0049】

まず、決定部２３３は、カメラ画像に基づいて、車両１０のドライバ４０による周辺監視の程度を決定する（ステップＳ１０１）。例えば、決定部２３３は、ドライバ４０が車両１０の周辺に注意を向けていない程度が大きい程大きい値を有するように、車両１０のドライバによる周辺監視の程度を決定する。決定部２３３がドライバによる周辺監視の程度を決定する処理の詳細については後述する。

【0050】

次に、判定部２３４は、ドライバ４０による周辺監視の程度が、ドライバによる周辺監視の程度が低下したことの規準となる不注意閾値を超えたか否かを判定する（ステップＳ１０２）。不注意閾値を設定する閾値設定処理については後述する。

【0051】

ドライバ４０による周辺監視の程度が不注意閾値を超えている場合（ステップＳ１０２－Ｙｅｓ）、警告部２３５は、ＵＩ７を介して、車両１０の前方に注意を向けることを求める警告を、ドライバ４０に対して通知して（ステップＳ１０３）、一連の処理を終了する。警告は、表示装置７ａを用いて表示されてもよい。また、警告は、ＵＩ７の音声出力装置を用いて、音声で通知してもよい。更に、警告部２３５は、シートベルト駆動装置６を介して、シートベルト３２の張力を周期的に変化させることにより、ドライバ４０に対して、車両１０の前方へ注意を向けるように警告を通知してもよい。なお、警告を通知する方法は、上述したものに制限されるものではなく、他の方法を用いてもよい。

【0052】

ここで、所定の時間警告しても、ドライバ４０が視線を前方領域Ｓへ向けない場合、警告部２３５は、車両１０を停止することを決定してもよい。

【0053】

一方、ドライバによる周辺監視の程度が不注意閾値を超えていない場合（ステップＳ１０２－Ｎｏ）、一連の処理を終了する。

【0054】

次に、図４を参照しながら、決定部２３３がドライバによる周辺監視の程度を決定する処理について、以下に説明する。

【0055】

図４は、前方領域Ｓ及び脇見領域Ｎを説明する図である。前方領域Ｓは、車室３０内の運転席３１を始点として前方に向かう方向から左右の水平方向に所定の範囲の角度で表される。この水平方向に所定の範囲は、例えば、車室３０内の運転席３１を始点として前方に向かう方向に対して、車両１０のフロントウィンドウの右端から左に向かってフロントウィンドウの２／３までの範囲とすることができる。脇見領域Ｎは、車室３０内の運転席３１を始点として前方に向かう方向に対して、左右の水平方向において、前方領域Ｓを表す範囲を除いた角度の範囲で表される。物体検出装置１１によって他の物体が検出される車両１０の前方の領域は、前方領域Ｓを含むことが好ましい。

【0056】

決定部２３３は、監視カメラ３により撮影された監視画像を用いて、ドライバ４０の視線の向きを推定する。例えば、決定部２３３は、監視画像に基づいて、角膜反射法又は眼球中心法を用いて、視線の向きを検出する。ドライバ４０の視線の向きは、車両１０の前方に向かう方向に対して、水平方向の角度及び垂直方向の角度で表される。決定部２３３は、ドライバ４０の左右のうち何れか一方の眼の視線の向きを推定する。又は、決定部２３３は、ドライバ４０の両眼の視線の向きの平均の向きを、ドライバ４０の視線の向きとして推定する。

【0057】

決定部２３３は、ドライバ４０の視線の水平方向の向きが、前方領域Ｓ（非脇見領域）に含まれているのか、又は、脇見領域Ｎに含まれているのかを判定する。ドライバ４０の視線の水平方向の向きが、前方領域Ｓに含まれている場合、ドライバ４０は、車両１０の前方の領域を監視していると考えられる。一方、ドライバ４０の水平方向の視線の向きが、脇見領域Ｎに含まれている場合、ドライバ４０は、車両１０の前方の領域を監視していないと考えられる。

【0058】

そこで、決定部２３３は、ドライバ４０の視線の水平方向の向きが前方領域Ｓに含まれている場合、脇見をしていないと判定し、ドライバ４０の視線の水平方向の向きが脇見領域Ｎに含まれている場合、脇見をしていると判定する。

【0059】

決定部２３３は、ドライバ４０が脇見をしている継続時間に基づいて、ドライバ４０による周辺監視の程度を決定する。具体的には、決定部２３３は、ドライバ４０が脇見をしている場合、ドライバ４０が脇見をしている継続時間を、ドライバ４０による周辺監視の程度として決定する。決定部２３３は、ドライバ４０が、前方領域Ｓを見ることなく、連続して脇見領域Ｎに視線を向けている時間を求める。ドライバ４０が脇見をしている継続時間は、ドライバ４０が車両１０の前方に注意を向けていない程度が大きい程、長い時間（大きい値の時間）となる。

【0060】

また、決定部２３３は、他の方法を用いて、ドライバ４０による周辺監視の程度として決定してもよい。例えば、決定部２３３は、所定時間内にドライバ４０が脇見をした回数に基づいて、ドライバ４０による周辺監視の程度を決定してもよい。具体的には、決定部２３３は、所定の判定時間内に、ドライバ４０が脇見をした回数を、ドライバ４０による周辺監視の程度として決定してもよい。判定時間として、例えば、３０～６０秒とすることができる。ドライバ４０が脇見をした回数は、ドライバ４０が車両１０の前方に注意を向けていない程度が大きい程、大きい値となる。

【0061】

また、決定部２３３は、所定時間内にドライバ４０が脇見をした累積時間に基づいて、ドライバ４０による周辺監視の程度を決定してもよい。具体的には、決定部２３３は、所定時間内にドライバ４０が脇見をした累積時間を、ドライバ４０による周辺監視の程度として決定してもよい。図５は、ドライバによる周辺監視の程度を決定する一例を説明する図である。判定時間として、例えば、３０～６０秒とすることができる。所定時間内にドライバ４０が脇見をした累積時間は、ドライバ４０が車両１０の前方に注意を向けていない程度の大きい程、大きい値となる。

【0062】

図５に示す例では、ドライバ４０は、２秒間脇見を行い、１秒間前方に視線を向け、２秒間脇見を行い、１秒間前方に視線を向けるということを繰り返している。このように、ドライバ４０がチラチラと脇見をすることはしばしば行われる。一方、ドライバ４０が脇見をしている継続時間では、不注意閾値を３秒とした場合、このようなドライバ４０の脇見を検出することができない。そこで、本実施形態では、所定時間内にドライバ４０が脇見をした累積時間を、ドライバ４０による周辺監視の程度とするものである。上述した複数のドライバによる周辺監視の程度を決定する処理のうち、１つ又は複数を使用してもよい。

【0063】

次に、監視装置１２が不注意閾値を設定する閾値設定処理について、図６を参照しながら以下に説明する。図６は、本実施形態の監視装置の閾値設定処理に関する動作フローチャートの一例である。監視装置１２は、所定の周期を有する閾値設定時刻に、図６に示される動作フローチャートに従って閾値設定処理を実行する。閾値設定時刻の周期は、監視時刻の周期以下であることが好ましい。

【0064】

まず、検出部２３１は、物体検出情報に基づいて、車両１０の周辺の所定の領域内に存在する所定の種類の周辺物体を検出する（ステップＳ２０１）。本実施形態では、所定の領域は、車両１０の周辺における前方の領域である。また、所定の種類の周辺物体は、移動物体である。移動物体は、車両１０に近づいてくる可能性がある。具体的には、移動物体として、他の車両又は歩行者が挙げられる。検出部２３１は、物体検出装置１１から入力された物体検出情報に基づいて、車両１０の前方の領域に位置する移動物体を検出する。なお、検出部２３１が物体検出装置１１の機能を有していてもよい。

【0065】

次に、設定部２３２は、車両１０の周辺の所定の領域内で検出された周辺物体の数が物体数閾値よりも少ないか否かを判定する（ステップＳ２０２）。具体的には、設定部２３２は、車両１０の前方の領域内で検出された他の車両及び歩行者の数が、物体数閾値よりも少ないか否かを判定する。

【0066】

物体数閾値は、ドライバ４０が通常の注意力をもって視線を向けることが可能な物体の数に応じて設定され得る。例えば、周辺物体が、車両又は歩行者の場合、２又は３とすることができる。周辺物体が１つの場合には、ドライバ４０はこの周辺物体に対してだけ注意を向けていれば良いが、周辺物体の２つ以上になると、ドライバ４０は視線を分散して向けることが困難になる場合がある。特に、２つの周辺物体の距離が長くなると、ドライバ４０は視線を分散して向けることが更に困難になる。

【0067】

例えば、複数の周辺物体が検出された場合、複数の周辺物体のうちの２つの周辺物体の最小隣接距離に応じて、物体数閾値を変更するようにしてもよい。例えば、最小隣接距離が、所定の基準距離よりも長い場合、所定の基準距離以下の時よりも物体数閾値を小さくしてもよい。

【0068】

周辺物体の数が物体数閾値よりも少ない場合（ステップＳ２０２－Ｙｅｓ）、設定部２３２は、不注意閾値を第１の値に設定して（ステップＳ２０３）、一連の処理を終了する。一方、周辺物体の数が物体数閾値以上の場合（ステップＳ２０２－Ｎｏ）、設定部２３２は、不注意閾値を第１の値よりも小さい第２の値に設定して（ステップＳ２０３）、一連の処理を終了する。

【0069】

例えば、ドライバ４０による周辺監視の程度が、ドライバ４０が脇見をしている継続時間である場合、設定部２３２は、ドライバ４０が脇見をしている継続時間について、不注意閾値を設定する。例えば、第１の値を３秒とし、第２の値を２秒としてもよい。

【0070】

また、ドライバ４０による周辺監視の程度が、所定時間内にドライバ４０が脇見をした回数である場合、設定部２３２は、所定時間内にドライバ４０が脇見をした回数について、不注意閾値を設定する。例えば、３０秒間にドライバ４０が脇見をした回数に対して、第１の値を４回とし、第２の値を２回としてもよい。

【0071】

更に、ドライバ４０による周辺監視の程度が、所定時間内にドライバ４０が脇見をした累積時間である場合、設定部２３２は、所定時間内にドライバ４０が脇見をした累積時間について、不注意閾値を設定する。例えば、３０秒間にドライバ４０が脇見をした累積時間に対して、第１の値を１０秒とし、第２の値を５秒としてもよい。

【0072】

車両１０の前方の領域内で検出された他の車両の数が多い場合、ドライバ４０には他の車両のそれぞれに対して注意を向けることが求められる。そのため、ドライバ４０に対して、より高い周辺監視の程度が要求される。そこで、監視装置１２は、車両１０の周辺の所定の領域内で検出された周辺物体の数に応じて、不注意閾値を設定する。これにより、不注意閾値は、周辺物体の数が多い場合には、少ない場合よりも、ドライバ４０に警告が通知されやすくなるように設定される。

【0073】

以上に説明してきたように、監視装置１２は、車両１０の周辺状況に応じて、ドライバ４０を監視する基準を変化させることにより、ドライバ４０を適切に監視できる。

【0074】

次に、上述した実施形態の監視装置１２の変型例を、図７及び図８を参照しながら以下に説明する。

【0075】

図７は、変型例１を説明する図である。本変型例では、変更部２３６は、検出部２３１によって周辺物体が検出された方向と、ドライバ４０が顔を向けている方向との相対関係に基づいて、設定部２３２が設定した不注意閾値を変更する。

【0076】

図７に示す例では、車両１０は、道路５１と道路５２とが交差する交差点５３において、道路５１から道路５２へ右折しようとしている。ドライバ４０の視線の向きＰ１は、右折方向において道路５２の横断歩道６６を歩行している歩行者６４に向いている。ドライバ４０が顔を向けている方向Ｐ１として、ドライバ４０の視線の向きを用いることができる。

【0077】

ここで、他の車両６５が、車両１０とは反対側から交差点５３に向かって、道路５１を走行している。検出部２３１によって他の車両６５が検出された方向Ｐ２に対して、ドライバ４０が顔を向けている方向Ｐ１が、水平方向において所定の基準角度を超えて離れているので、変更部２３６は、他の車両６５が検出された方向Ｐ２に対して、ドライバ４０が顔を向けている方向Ｐ１が所定の基準角度以下の場合よりも不注意閾値が小さくなるように不注意閾値を変更する。具体的には、変更部２３６は、不注意閾値が第１の値の時には、不注意閾値を第１の値よりも小さい第３の値に設定する。また、変更部２３６は、不注意閾値が第２の値の時には、不注意閾値を第２の値よりも小さい第４の値に設定する。

【0078】

これにより、監視装置１２は、検出部２３１によって周辺物体が検出された方向と、ドライバ４０が顔を向けている方向とが比較的離れている場合、周辺物体の数にかかわらず、ドライバ４０に警告が通知されやすくなる。

【0079】

図８は、変型例２を説明する動作フローチャートの一例である。本変型例の閾値設定処理では、変更部２３６は、車両１０の速度に基づいて、設定部２３２が設定した不注意閾値を変更する。そのため、本変型例の閾値設定処理では、ステップＳ３０５及びＳ３０６が追加されていることが、上述した閾値設定処理とは異なっている。本変型例のステップＳ３０１～Ｓ３０４の処理は、上述したステップＳ１０１～Ｓ１０４の処理と同様である。

【0080】

不注意閾値が第１の値に設定されるか、又は、不注意閾値が第２の値に設定された後に、設定部２３２は、車両１０の速度が所定の基準速度よりも速いか否かを判定する（ステップＳ３０５）。

【0081】

車両１０の速度が所定の基準速度よりも速い場合（ステップＳ３０５－Ｙｅｓ）、設定部２３２は、車両１０の速度が所定の基準速度以下の場合よりも不注意閾値が小さくなるように、不注意閾値を設定して（ステップＳ３０６）、一連の処理を終了する。例えば、設定部２３２は、現在の不注意閾値と、係数Ｋ（Ｋは、１．０以下の正の実数）との積を、新たな不注意閾値とする。

【0082】

一方、車両１０の速度が所定の基準速度よりも速くない場合（ステップＳ３０５－Ｎｏ）、一連の処理を終了する。

【0083】

これにより、車両１０の速度が比較的速く、且つ、周辺物体の数が多い場合には、周辺物体の数にかかわらず、ドライバ４０に警告が通知されやすくなる。

【0084】

本開示では、上述した実施形態の監視装置、監視用コンピュータプログラム及び監視方法は、本開示の趣旨を逸脱しない限り適宜変更が可能である。また、本開示の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。

【0085】

例えば、車両の周辺の所定の領域は、車両の前方以外の領域でもよい。例えば、車両１０が右折する場合には、所定の領域を車両の右側の領域とし、車両１０が左折する場合には、所定の領域を車両の左側の領域とし、車両１０が後進する場合には、所定の領域を車両の後方の領域としてもよい。

【0086】

また、車両の周辺の所定の領域内に存在する所定の種類の周辺物体は、移動物体以外の物体であってもよい。例えば、寸法が所定の基準寸法よりも小さい物体であってもよい。小さい物体は、大きい物体よりも見落としがちであるので、ドライバに対してより一層の注意を喚起することは有用である。なお、物体の寸法は、反射波情報に基づいて推定され得る。

【0087】

また、上述した実施形態では、ドライバの状態を表す情報は監視画像であったが、画像以外の情報であってもよい。例えば、ドライバが着座する運転席に配置された感圧センサ等を用いて、ドライバの姿勢を推定し、ドライバの姿勢に基づいて、ドライバの周辺監視の程度を決定してもよい。

【0088】

また、決定部は、ドライバが車両の周辺に注意を向けている程度が大きい程大きい値を有するように、車両のドライバによる周辺監視の程度を決定してもよい。この場合、警告部は、判定部によってドライバによる周辺監視の程度が不注意閾値より小さいと判定された場合、ドライバに対して警告を通知する。

【0089】

また、監視装置は、脇見以外のドライバの状態を監視するようにしてもよい。例えば、監視装置は、ドライバの運転に関与する度合いの指標となる開眼度又は開口度を監視してもよい。

【符号の説明】

【0090】

１ 監視システム
２ 前方カメラ
３ 監視カメラ
４ LiDARセンサ
５ 車速センサ
６ シートベルト駆動装置
７ ユーザインターフェース
７ａ 表示装置
１０ 車両
１１ 物体検出装置
１２ 監視装置
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
２３１ 検出部
２３２ 設定部
２３３ 決定部
２３４ 判定部
２３５ 警告部
２３６ 変更部
１３ 車内ネットワーク
３０ 車室
３１ 運転席
３２ シートベルト
４０ ドライバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】