特許 7509157 ドライバ監視装置、ドライバ監視用コンピュータプログラム及びドライバ監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-24

(45)【発行日】2024-07-02

(54)【発明の名称】ドライバ監視装置、ドライバ監視用コンピュータプログラム及びドライバ監視方法

(51)【国際特許分類】

   B60W 40/08 20120101AFI20240625BHJP

   B60N 2/90 20180101ALI20240625BHJP

   B60R 11/04 20060101ALI20240625BHJP

   G08G 1/16 20060101ALI20240625BHJP

   B60W 50/14 20200101ALI20240625BHJP

   B60W 60/00 20200101ALI20240625BHJP

【ＦＩ】

B60W40/08

B60N2/90

B60R11/04

G08G1/16 C

B60W50/14

B60W60/00

【請求項の数】 8

(21)【出願番号】P 2022005705

(22)【出願日】2022-01-18

(65)【公開番号】P2023104608

(43)【公開日】2023-07-28

【審査請求日】2023-08-17

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100135976

【弁理士】

【氏名又は名称】宮本 哲夫

(72)【発明者】

【氏名】原 健一郎

【審査官】平井 功

(56)【参考文献】

【文献】再公表特許第２０２０／０８５４２５（ＪＰ，Ａ１）

【文献】特開２０１７－２０７９５５（ＪＰ，Ａ）

【文献】特開２０１９－８４９８１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｗ １０／００－１０／３０

Ｂ６０Ｗ ３０／００－６０／００

Ｂ６０Ｎ ２／００－ ２／９０

Ｂ６０Ｒ ９／００－１１／０６

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

車両が走行を開始する際に前記車両に搭乗している搭乗者数を取得する取得部と
撮像部により撮像された前記車両の運転席近傍の画像に基づいて、ドライバが前記運転席に着座しているか否かを判定する第１判定部と、
前記第１判定部によってドライバが前記運転席に着座していないと判定された場合、前記車両における前記運転席以外の座席のそれぞれに配置された着座センサにより検知された着座している人の数を表す着座者数が前記搭乗者数とが一致する場合にはドライバは前記運転席に着座していないと判定し、前記着座者数が前記搭乗者数よりも一人少ない場合にはドライバは前記運転席に着座していると判定する第２判定部と、
を有することを特徴とするドライバ監視装置。

【請求項2】

前記第２判定部によってドライバが前記運転席に着座していないと判定された場合、ドライバへ前記運転席に着座するように通知部を介して通知する制御部を更に有する、請求項１に記載のドライバ監視装置。

【請求項3】

前記第２判定部によってドライバが前記運転席に着座していると判定された場合、前記第２判定部の判定後の所定の時間の間に、前記撮像部により撮像された複数の画像に基づいて、ドライバが前記運転席に着座しているか否かを判定する第３判定部を更に有する、請求項１に記載のドライバ監視装置。

【請求項4】

前記第３判定部によってドライバが前記運転席に着座していないと判定された場合、ドライバへ前記運転席に着座するように通知部を介して通知する制御部を更に有する、請求項３に記載のドライバ監視装置。

【請求項5】

前記着座者数と前記搭乗者数とが一致しておらず、且つ、前記着座者数が前記搭乗者数よりも一人少なくもない場合、ドライバへ前記運転席に着座するように通知部を介して通知する制御部を更に有する、請求項１に記載のドライバ監視装置。

【請求項6】

前記第１判定部によって前記ドライバが前記運転席に着座していると判定された場合、前記着座者数と前記搭乗者数とを比較して、前記着座者数が前記搭乗者数から１を減算した値よりも多い場合、前記着座者数から前記搭乗者数を減算して１を加算した値を、前記運転席以外の座席に置かれた物体数として求める第４判定部を更に有し、
前記第４判定部によって前記物体数が求められた後に、前記第１判定部によってドライバが前記運転席に着座していないと判定された場合、前記第２判定部は、前記着座者数から前記物体数を減算した値と前記搭乗者数とが一致する場合、ドライバは前記運転席に着座していないと判定し、前記着座者数から前記物体数を減算した値が前記搭乗者数よりも一人少ない場合、ドライバは前記運転席に着座していると判定する、請求項１～５の何れか一項に記載のドライバ監視装置。

【請求項7】

車両が走行を開始する際に前記車両に搭乗している搭乗者数を取得し、
撮像部により撮像された前記車両の運転席近傍の画像に基づいて、ドライバが前記運転席に着座しているか否かを判定し、
ドライバが前記運転席に着座していないと判定された場合、前記車両における前記運転席以外の座席のそれぞれに配置された着座センサにより検知された着座している人の数を表す着座者数が前記搭乗者数とが一致する場合にはドライバは前記運転席に着座していないと判定し、前記着座者数が前記搭乗者数よりも一人少ない場合にはドライバは前記運転席に着座していると判定する、
ことをプロセッサに実行させる、ことを特徴とするドライバ監視用コンピュータプログラム。

【請求項8】

車両が走行を開始する際に前記車両に搭乗している搭乗者数を取得し、
撮像部により撮像された前記車両の運転席近傍の画像に基づいて、ドライバが前記運転席に着座しているか否かを判定し、
ドライバが前記運転席に着座していないと判定された場合、前記車両における前記運転席以外の座席のそれぞれに配置された着座センサにより検知された着座している人の数を表す着座者数が前記搭乗者数とが一致する場合にはドライバは前記運転席に着座していないと判定し、前記着座者数が前記搭乗者数よりも一人少ない場合にはドライバは前記運転席に着座していると判定する、
ことをドライバ監視装置が実行する、ことを特徴とするドライバ監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ドライバ監視装置、ドライバ監視用コンピュータプログラム及びドライバ監視方法に関する。

【背景技術】

【0002】

車両の自動制御システムは、ドライバの運転に関与する程度を、センサ等を用いて監視している（例えば、特許文献１参照）。ドライバに求められる運転に関与する程度は、自動制御のレベルに応じて異なる。

【0003】

自動制御システムは、ドライバを監視して、自動制御のレベルに応じて求められるように運転に関与しているか否かを判定する。上述した監視を行う手段として、例えば、運転席の着座センサ、運転席のシートベルトをドライバが装着していることを検知するバックルセンサ、ドライバの状態を監視するための画像を撮像する監視カメラが挙げられる。

【0004】

自動制御レベル３で制御される車両の自動制御システムには、運転席のシートベルトをドライバが装着していること、及び、ドライバが運転操作を引き継ぐことができる状態を検知できることが求められる。そのため、自動制御レベル３で制御される車両の自動制御システムは、運転席のバックセンサと、運転席の着座センサと、監視カメラとを有すること好ましい。

【先行技術文献】

【特許文献】

【0005】

【文献】国際公開第２０１７／１５８７２６号

【発明の概要】

【発明が解決しようとする課題】

【0006】

自動制御レベル２以下で制御可能な車両に基づいて、自動制御レベル３で制御される車両を製造することを考えた場合、既に車両に搭載されているセンサ等の部品を利用することはコスト的に有利である。バックルセンサ、及び、運転席以外の座席の着座センサ、及び、監視カメラは、自動制御レベル２以下の車両にも搭載されている。

【0007】

しかし、自動制御レベル２以下で制御可能な車両の運転では、ドライバが運転席に着座して車両を操作可能であることが定められており、ドライバが運転席に着座していることが前提となっているので、運転席に着座センサは搭載されていない。

【0008】

監視カメラにより運転席近傍の画像を撮像し、その画像内にドライバの所定の部位を識別することにより、ドライバが運転席に着座しているか否かを判定できる。例えば、画像内にドライバの顔が識別された場合、ドライバは運転席に着座していると判定できる。しかし、運転席に着座しているドライバの顔が横を向いていると、画像内にドライバの顔が識別されない。そこで、画像内にドライバの顔が識別されなくても、運転席に着座しているドライバが正面を向く可能性があるので、所定の時間の間、ドライバの顔が画像内に識別されるか否かを待って判定する必要があった。そのため、画像に基づいてドライバが着座しているか否かを判定するには、ある程度の長さの時間を要するという問題があった。

【0009】

そこで、本開示は、運転席近傍が撮像された画像に基づいてドライバが運転席に着座していないと判定された場合には、すぐに運転席以外の座席の着座センサを用いることにより、短い時間でドライバが運転席に着座しているか否かを判定できるドライバ監視装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

一の実施形態によれば、ドライバ監視装置が提供される。このドライバ監視装置は、車両が走行を開始する際に前記車両に搭乗している搭乗者数を取得する取得部と撮像部により撮像された前記車両の運転席近傍の画像に基づいて、ドライバが前記運転席に着座しているか否かを判定する第１判定部と、前記第１判定部によってドライバが前記運転席に着座していないと判定された場合、前記車両における前記運転席以外の座席のそれぞれに配置された着座センサにより検知された着座している人の数を表す着座者数が前記搭乗者数とが一致する場合にはドライバは前記運転席に着座していないと判定し、前記着座者数が前記搭乗者数よりも一人少ない場合にはドライバは前記運転席に着座していると判定する第２判定部と、を有することを特徴とする。

【0011】

また、このドライバ監視装置において、前記第２判定部によってドライバが前記運転席に着座していないと判定された場合、ドライバへ前記運転席に着座するように通知部を介して通知する制御部を更に有することが好ましい。

【0012】

また、このドライバ監視装置において、前記第２判定部によってドライバが前記運転席に着座していると判定された場合、前記第２判定部の判定後の所定の時間の間に、前記撮像部により撮像された複数の画像に基づいて、ドライバが前記運転席に着座しているか否かを判定する第３判定部を更に有することが好ましい。

【0013】

また、このドライバ監視装置において、前記第３判定部によってドライバが前記運転席に着座していないと判定された場合、ドライバへ前記運転席に着座するように通知部を介して通知する制御部を更に有することが好ましい。

【0014】

また、このドライバ監視装置において、前記着座者数と前記搭乗者数とが一致しておらず、且つ、前記着座者数が前記搭乗者数よりも一人少なくもない場合、ドライバへ前記運転席に着座するように通知部を介して通知する制御部を更に有することが好ましい。

【0015】

更に、このドライバ監視装置において、前記第１判定部によって前記ドライバが前記運転席に着座していると判定された場合、前記着座者数と前記搭乗者数とを比較して、前記着座者数が前記搭乗者数から１を減算した値よりも多い場合、前記着座者数から前記搭乗者数を減算して１を加算した値を、前記運転席以外の座席に置かれた物体数として求める第４判定部を更に有し、前記第４判定部によって前記物体数が求められた後に、前記第１判定部によってドライバが前記運転席に着座していないと判定された場合、前記第２判定部は、前記着座者数から前記物体数を減算した値と前記搭乗者数とが一致する場合、ドライバは前記運転席に着座していないと判定し、前記着座者数から前記物体数を減算した値が前記搭乗者数よりも一人少ない場合、ドライバは前記運転席に着座していると判定することが好ましい。

【0016】

他の実施形態によれば、ドライバ監視用コンピュータプログラムが提供される。このドライバ監視用コンピュータプログラムは、車両が走行を開始する際に前記車両に搭乗している搭乗者数を取得し、撮像部により撮像された前記車両の運転席近傍の画像に基づい、ドライバが前記運転席に着座しているか否かを判定し、ドライバが前記運転席に着座していないと判定された場合、前記車両における前記運転席以外の座席のそれぞれに配置された着座センサにより検知された着座している人の数を表す着座者数が前記搭乗者数とが一致する場合にはドライバは前記運転席に着座していないと判定し、前記着座者数が前記搭乗者数よりも一人少ない場合にはドライバは前記運転席に着座していると判定する、ことをプロセッサに実行させることを特徴とする。

【0017】

更に他の実施形態によれば、ドライバ監視方法が提供される。このドライバ監視方法は、車両が走行を開始する際に前記車両に搭乗している搭乗者数を取得し、撮像部により撮像された前記車両の運転席近傍の画像に基づいて、ドライバが前記運転席に着座しているか否かを判定し、ドライバが前記運転席に着座していないと判定された場合、前記車両における前記運転席以外の座席のそれぞれに配置された着座センサにより検知された着座している人の数を表す着座者数が前記搭乗者数とが一致する場合にはドライバは前記運転席に着座していないと判定し、前記着座者数が前記搭乗者数よりも一人少ない場合にはドライバは前記運転席に着座していると判定する、ことをドライバ監視装置が実行することを特徴とする。

【発明の効果】

【0018】

本開示に係るドライバ監視装置は、運転席近傍が撮像された画像に基づいてドライバが運転席に着座していないと判定された場合には、運転席以外の座席の着座センサを用いることにより、短い時間でドライバが運転席に着座しているか否かを判定できる。

【図面の簡単な説明】

【0019】

【図1】（Ａ）及び（Ｂ）は、本実施形態のドライバ監視装置の動作の概要を説明しており、（Ａ）は車両を示す図であり、（Ｂ）は監視カメラによりドライバが撮像されることを示す図である。

【図2】（Ａ）～（Ｃ）は、車室内の座席及びドライバの状態の一例を示す図（その１）である。

【図3】本実施形態のドライバ監視装置を含む監視システムが実装される車両の概略構成図である。

【図4】本実施形態のドライバ監視装置のドライバ監視処理に関する動作フローチャートの一例である。

【図5】（Ａ）及び（Ｂ）は、車室内の座席及びドライバの状態の一例を示す図（その２）である。

【図6】本実施形態のドライバ監視装置のドライバ監視処理に関する変形例１を示す動作フローチャートである。

【図7】本実施形態のドライバ監視装置のドライバ監視処理に関する変形例２を示す動作フローチャートである。

【図8】（Ａ）～（Ｃ）は、車室内の座席及びドライバの状態の一例を示す図（その３）である。

【発明を実施するための形態】

【0020】

図１（Ａ）及び図１（Ｂ）は、本実施形態のドライバ監視装置１１の動作の概要を説明しており、図１（Ａ）は車両１０を示す図であり、図１（Ｂ）は監視カメラ２によりドライバ３０が撮像されることを示す図である。図２（Ａ）～図２（Ｃ）は、車室１０Ａ内の座席及びドライバ３０の状態の一例を示す図である。

【0021】

図１（Ａ）に示すように、車両１０はドライバ監視装置１１を有する。図１（Ｂ）に示すように、車室１０Ａ内には、運転席４０に着座したドライバ３０を撮像可能なカメラ監視カメラ２が、ステアリングコラム５０の上に配置される。

【0022】

図２（Ａ）～図２（Ｃ）に示すように、車両１０の車室１０Ａ内には、ドライバ３０が着座する運転席４０と、助手席４１と、後部座席４２、４３とが配置される。着座センサ３ａ～３ｃが、運転席以外の座席４１～４３のそれぞれに配置される。着座センサ３ａ～３ｃは、搭乗者の着座を検知して、搭乗者の着座していることを表す着座信号をドライバ監視装置１１へ出力する。ドライバ監視装置１１は、着座センサ３ａ～３ｃから入力された着座信号に基づいて、着座者数を短時間で取得可能である。また、各座席には、シートベルトを搭乗者が装着していることを検知するバックルセンサ（図示せず）も配置されることが好ましい。

【0023】

ドライバ監視装置１１は、車両１０が走行を開始する際に車両１０に搭乗している人の数を表す搭乗者数を取得する。例えば、ドライバ監視装置１１は、ユーザインターフェース４（図３参照）を介して、ドライバから入力された搭乗者数を取得する。図２（Ａ）～図２（Ｃ）に示す例では、搭乗者数はドライバの一人だけである。

【0024】

ドライバ監視装置１１は、車両１０が走行を開始すると、監視カメラ２により撮像された監視画像に基づいて、ドライバ３０が運転席４０に着座しているか否かを判定する。ドライバ監視装置１１は、ニューラルネットワーク（ＣＮＮ）等の識別機を用いて監視画像を内にドライバの顔を表されているか否かを判定することにより、ドライバ３０が運転席４０に着座しているか否かを短時間で判定可能である。

【0025】

図２（Ａ）に示す例では、ドライバ３０が運転席４０に車両１０の前方を向いて着座している。監視画像には、ドライバ３０が監視カメラ２に対して正面を向いた顔を表される。ドライバ監視装置１１は、監視画像に基づいて、ドライバ３０が運転席４０に着座していると判定する。

【0026】

一方、図２（Ｂ）に示す例では、ドライバ３０は後部座席４２に着座している。監視画像には、ドライバ３０の顔が識別可能には表されていない。ドライバ監視装置１１は、監視画像に基づいて、ドライバ３０が運転席４０に着座していないと判定する。ドライバ監視装置１１は、監視画像に基づいて、ドライバ３０が運転席４０に着座していないと判定した場合、更に、着座センサ３ａ～３ｃの検知結果に基づいて、ドライバ３０が運転席４０に着座しているか否かを判定する。

【0027】

ドライバ監視装置１１は、着座センサ３ａ～３ｃから出力される着座信号に基づいて、車両１０における運転席以外の座席４１～４３のそれぞれに配置された着座センサ３ａ～３ｃにより検知された着座している人の数を表す着座数を取得する。ドライバ監視装置１１は、着座者数と搭乗者数とを比較する。

【0028】

図２（Ｂ）に示す例では、着座者数は１であり、搭乗者数も１である。ドライバ監視装置１１は、着座者数と搭乗者数とが一致するので、ドライバ３０は運転席４０に着座していないと判定する。

【0029】

また、図２（Ｃ）に示す例では、ドライバ３０は、運転席４０に着座しているが、助手席４１の方を向いおり、車両１０の前方を向いてはいない。監視画像には、ドライバ３０が監視カメラ２に対して正面を向いた顔を表されていない。ドライバ監視装置１１は、監視画像に基づいて、ドライバ３０が運転席４０に着座していないと判定する。

【0030】

図２（Ｃ）に示す例では、着座者数はゼロであり、搭乗者数は１である。ドライバ監視装置１１は、着座者数が搭乗者数よりも一人少ない場合、ドライバ３０は運転席４０に着座していると判定する。

【0031】

以上説明したように、本実施形態のドライバ監視装置１１は、運転席近傍が撮像された画像に基づいてドライバが運転席に着座していないと判定された場合には、すぐに運転席以外の座席の着座センサ３ａ～３ｃを用いることにより、短い時間でドライバ４０が運転席４０に着座しているか否かを判定できる。

【0032】

図３は、本実施形態のドライバ監視装置１１を含む監視システム１が実装される車両１０の概略構成図である。監視システム１は、監視カメラ２と、着座センサ３ａ、３ｂ、３ｃと、ユーザインターフェース（ＵＩ）４と、ドライバ監視装置１１等とを有する。

【0033】

監視カメラ２と、着座センサ３ａ、３ｂ、３ｃと、ＵＩ４と、ドライバ監視装置１１とは、コントローラエリアネットワークといった規格に準拠した車内ネットワーク１２を介して通信可能に接続される。

【0034】

監視カメラ２は、車両１０を運転するドライバの顔を含む監視画像を撮像可能に、車室１０Ａ内に配置される。監視カメラ２は、撮像部の一例である。監視画像は、運転席近傍の状況を表す。図１（Ｂ）に示すように、監視カメラ２は、例えば、ステアリングコラム５０の上に配置される。なお、監視カメラ２は、車室内のステアリングホイール、ルームミラー、メータパネル、メータフード等に配置されてもよい。

【0035】

監視カメラ２は、例えば所定の周期を有する監視画像撮像時刻に、ドライバの顔を含む監視画像を撮像する。監視カメラ２は、ＣＣＤあるいはＣ－ＭＯＳ等、赤外線に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮像対象となる領域の像を結像する撮像光学系を有する。所定の周期として、例えば、０．１～０．５秒とすることができる。監視カメラ２は、２次元検出器と共に、投光器を有していることが好ましい。投光器は、ＬＥＤ（発光ダイオード）であり、例えば撮像光学系の両側に配置された二個の近赤外ＬＥＤである。ドライバに近赤外光を照射することによって、夜間等の低照度時においてもドライバに不快感を与えることなくドライバの顔を撮像することができる。また、近赤外以外の波長成分の光を除去するするバンドパスフィルタが撮像光学系の内部に設けられ、近赤外ＬＥＤから照射される近赤外以外の光を除去する可視光カットフィルタが投光器の前面に設けられていてもよい。

【0036】

着座センサ３ａ、３ｂ、３ｃは、車両１０における運転席４０以外の座席のそれぞれに配置される。着座センサ３ａは助手席４１に配置され、着座センサ３ｂは右側の後部座席４２に配置され、着座センサ３ｃは左側の後部座席４３に配置される。着座センサ３ａ～３ｃは、搭乗者の着座を検知して、着座していることを表す着座信号をドライバ監視装置１１へ出力する。着座センサ３ａ～３ｃは、搭乗者の着座を検知している間は、着座信号をドライバ監視装置１１へ出力し続けることが好ましい。着座センサ３ａ～３ｃとして、例えば、感圧センサを用いることができる。感圧センサは、所定の基準圧力以上の圧力を検知すると、着座信号を出力し、基準圧力未満の圧力を検知した場合着座信号を出力しない。

【0037】

ＵＩ４は、通知部の一例である。ＵＩ４は、ドライバ監視装置１１に制御されて、監視カメラ２により撮像可能なように運転席に着座することを要求する着座通知等を、ドライバへ通知する。ＵＩ４は、着座通知等を表示するために、液晶ディスプレイ又はタッチパネル等の表示装置４ａを有する。表示装置４ａに表示される情報は、車室１０Ａの後部座席４２、４３に着座した搭乗者からも視認可能であることが好ましい。また、ＵＩ４は、着座通知等をドライバへ通知するための音響出力装置（図示せず）を有していてもよい。また、ＵＩ４は、ドライバから車両１０への操作情報を入力する入力装置として、例えば、タッチパネル又は操作ボタンを有する。操作情報として、例えば、搭乗者数が挙げられる。ＵＩ４は、入力された操作情報を、車内ネットワーク１２を介してドライバ監視装置１１へ出力する。

【0038】

ドライバ監視装置１１は、取得処理と、判定処理と、制御処理とを実行する。そのために、ドライバ監視装置１１は、通信インターフェース（ＩＦ）２１と、メモリ２２と、プロセッサ２３とを有する。通信インターフェース２１と、メモリ２２と、プロセッサ２３とは、信号線２４を介して接続されている。通信インターフェース２１は、ドライバ監視装置１１を車内ネットワーク１２に接続するためのインターフェース回路を有する。

【0039】

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、プロセッサ２３により実行される情報処理において使用されるアプリケーションのコンピュータプログラム及び各種のデータを記憶する。メモリ２２には、監視カメラ２から入力された監視画像が、監視画像撮像時刻と関連付けられて記憶される。

【0040】

ドライバ監視装置１１が有する機能の全て又は一部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。プロセッサ２３は、取得部２３０と、判定部２３１と、制御部２３２とを有する。判定部２３１は、第１判定部、第２判定部、第３判定部及び第４判定部の一例である。あるいは、プロセッサ２３が有する機能モジュールは、プロセッサ２３に設けられる、専用の演算回路であってもよい。プロセッサ２３は、１個又は複数個のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路を更に有していてもよい。ドライバ監視装置１１は、例えば、電子制御装置（Electronic Contorol Unit:ECU）である。また、ドライバ監視装置１１は、監視画像に基づいて、ドライバの運転に関与する程度を推定してもよい。ドライバ監視装置１１の動作の詳細については、後述する。

【0041】

図４は、本実施形態のドライバ監視装置１１のドライバ監視処理に関する動作フローチャートの一例である。次に、図４を参照しながら、監視システム１のドライバ監視処理について、以下に説明する。

【0042】

まず、取得部２３０は、車両１０が走行を開始する際に車両１０に搭乗している人の数を表す搭乗者数を取得する（ステップＳ１０１）。例えば、ドライバ監視装置１１は、ＵＩ４を介して、ドライバ３０から入力された搭乗者数を取得する。また、取得部２３０は、監視カメラ２により撮像された監視画像に基づいて、ドライバ３０が運転席４０に着座していると判定した場合、着座センサ３ａ～３ｃを用いて検知された着座者数に１を加えた数を、搭乗者数として取得してもよい。また、取得部２３０は、運転席４０に着座することを要求する通知をドライバ３０へ通知した後、着座者数に１を加えた数を、搭乗者数として取得してもよい。この場合、搭乗者数として、座席に置かれた荷物の数が含まれることがあるが、この座席に荷物が置かれた状態が続く限りは、ドライバ監視処理には影響を与えない。

【0043】

車両１０が走行を開始する際とは、例えば、車両１０がナビルートに基づいて走行を開始する前の時点、又は、搭乗者が車両１０内に搭乗した時点をいう。また、取得部２３０が搭乗者数を取得した時点を、車両１０が走行を開始する際としてもよい。

【0044】

そして、判定部２３１は、監視画像が入力される度に、ステップＳ１０２～ステップＳ１１１の処理を実行する。

【0045】

判定部２３１は、監視カメラ２から監視画像を入力する（ステップＳ１０２）。監視カメラ２は、監視画像を撮像する度に、監視画像及び監視画像が撮像された監視画像撮像時刻を、車内ネットワーク１２を介して、ドライバ監視装置１１へ出力する。判定部２３１は、監視画像を、監視画像撮像時刻と関連付けて、メモリ２２に記憶する。

【0046】

次に、判定部２３１は、監視画像に基づいて、ドライバ３０の顔が検出されているか否かを判定する（ステップＳ１０３）。判定部２３１は、監視画像を入力して、ひとの顔を検出するように学習した識別器を含んで構成されている。この識別器は、監視画像を入力して、監視画像に含まれる顔を検出すると共に、検出された顔の信頼度を出力する。信頼度は、例えば、０．０～１．０の間の数値で表される。判定部２３１は、信頼度が、所定の基準信頼度（例えば、０．７）以上である場合、ドライバ３０の顔が検出されていると判定する。一方、判定部２３１は、信頼度が、所定の基準信頼度未満である場合、ドライバ３０の顔が検出されていないと判定する。

【0047】

ドライバ３０の顔が検出されている場合（ステップＳ１０３－Ｙｅｓ）、判定部２３１は、ドライバ３０が運転席４０に着座していると判定する（ステップＳ１０４）。なお、判定部２３１は、ドライバ３０の所定の部位が検出されている場合、ドライバ３０が運転席４０に着座していると判定すればよい。

【0048】

次に、判定部２３１は、車両１０が目的位置に到着したか否かを判定する（ステップＳ１１０）。車両１０が目的位置に到着していない場合、処理はステップＳ１０２へ戻る。一方、車両１０が目的位置に到着した場合、一連の処理は終了する。例えば、判定部２３１は、図示しないナビゲーション装置から、車両１０の現在位置と、ナビルートの目的位置とを入力して判定し、車両１０が目的位置に到着したか否かを判定する。

【0049】

一方、ドライバ３０の顔が検出されない場合、判定部２３１は、ドライバ３０が運転席４０に着座していないと判定する（ステップＳ１０５）。

【0050】

次に、判定部２３１は、着座数を取得する（ステップＳ１０６）。判定部２３１は、車両１０における運転席４０以外の座席のそれぞれに配置された着座センサ３ａ～３ｃから入力されている着座信号に基づいて、着座数を取得する。

【0051】

次に、判定部２３１は、着座者数と搭乗者数とを比較して、着座者数と搭乗者数とが一致するか否かを判定する（ステップＳ１０７）。

【0052】

着座者数と搭乗者数とが一致する場合（ステップＳ１０７－Ｙｅｓ）、判定部２３１は、ドライバ３０が運転席４０に着座していないと判定する（ステップＳ１０８）。ドライバ３０は、運転席４０以外の他の座席に移動していると考えられる。

【0053】

次に、制御部２３２は、ＵＩ４を介して、監視カメラ２により撮像可能なように運転席４０に着座することを要求する着座通知をドライバ３０へ通知する（ステップＳ１０９）。着座通知は、例えば、表示装置４ａに表示される。また、着座通知は、音声として、ドライバへ通知されてもよい。また、着座通知は、表示装置４ａに表示されると共に、音声として、ドライバへ通知されてもよい。

【0054】

次に、判定部２３１は、車両１０が目的位置に到着したか否かを判定する（ステップＳ１１０）。車両１０が目的位置に到着していない場合、処理はステップＳ１０２へ戻る。一方、車両１０が目的位置に到着した場合、一連の処理は終了する。

【0055】

一方、着座者数と搭乗者数とが一致しない場合（ステップＳ１０７－Ｎｏ）、判定部２３１は、着座者数が搭乗者数よりも一人少ないか否かを判定する（ステップＳ１１１）。

【0056】

着座者数が搭乗者数よりも一人少ない場合（ステップＳ１１１－Ｙｅｓ）、判定部２３１は、ドライバ３０が運転席４０に着座していると判定する（ステップＳ１１２）。着座数に基づいて、ドライバ３０は運転席以外の座席に着座していないと考えられるので、ドライバ３０が運転席４０に着座していると推定される。監視画像に基づいて、ドライバ３０の顔が検出されなかった理由として、ドライバ３０の顔が車両１０の前方を向いていなかったため、監視画像にドライバ３０の顔が検出されなかったことが考えられる。

【0057】

次に、判定部２３１は、車両１０が目的位置に到着したか否かを判定する（ステップＳ１１０）。車両１０が目的位置に到着していない場合、処理はステップＳ１０２へ戻る。一方、車両１０が目的位置に到着した場合、一連の処理は終了する。

【0058】

一方、着座者数が搭乗者数よりも一人少なくない場合（ステップＳ１１１－Ｎｏ）、判定部２３１は、ドライバ３０が運転席４０に着座していないと判定する（ステップＳ１０８）。車室１０Ａ内の状況として、搭乗者数に含まれていない荷物等が運転席以外の座席に置かれていることが考えられる。

【0059】

次に、制御部２３２は、ＵＩ４を介して、監視カメラ２により撮像可能なように運転席４０に着座することを要求する着座通知をドライバ３０へ通知する（ステップＳ１０９）。

【0060】

次に、判定部２３１は、車両１０が目的位置に到着したか否かを判定する（ステップＳ１１０）。車両１０が目的位置に到着していない場合、処理はステップＳ１０２へ戻る。一方、車両１０が目的位置に到着した場合、一連の処理は終了する。

【0061】

以下、ドライバ監視装置１１のドライバ監視処理の具体例を、図２（Ａ）～図２（Ｃ）並びに図５（Ａ）及び図５（Ｂ）を参照しながら、以下に説明する。

【0062】

図２（Ａ）に示す例では、搭乗者数は１であり、ドライバ３０は車両１０の前方を向いて運転席４０に着座している。監視画像には、ドライバ３０が監視カメラ２に対して正面を向いた顔が表される。ドライバ３０の顔が、監視カメラ２の光軸に対して所定の範囲内の方向を向いていれば、判定部２３１は、監視画像に含まれる顔を検出可能（高い信頼度）である。判定部２３１は、監視画像に基づいて、ドライバ３０が運転席４０に着座していると判定する。

【0063】

図２（Ｂ）に示す例では、搭乗者数は１であり、ドライバ３０は、後部座席４２に着座している。自動制御レベル３の車両の運転時には、ドライバ３０に対して車両１０を常に操縦可能な状態にあることは求められないので、ドライバ３０は空間のよりひろい後部座席４２、４３へ移動することがある。監視画像には、ドライバ３０の顔は検出可能に表されていない（低い信頼度）。ドライバ監視装置１１は、監視画像に基づいて、ドライバ３０が運転席４０に着座していないと判定する。判定部２３１には、後部座席４２に配置された着座センサ３ｂから着座信号が入力される。着座者数は１であり、搭乗者数も１である。判定部２３１は、着座者数と搭乗者数とが一致するので、ドライバ３０は運転席４０に着座していないと判定する。

【0064】

着座通知が通知されドライバ３０は、後部座席４２から運転席４０に移動して、車両１０の前方を向いて運転席４０に着座することにより、ドライバ監視装置１１は、監視画像に基づいて、ドライバ３０が運転席４０に着座していると判定することになる。これにより、ドライバ監視装置１１は、ドライバ３０の運転に関与する程度を高めることができる。

【0065】

図２（Ｃ）に示す例では、搭乗者数は１であり、ドライバ３０は、運転席４０に着座しているが、助手席４１の方を向いおり、車両１０の前方を向いてはいない。また、ドライバはリラックスした姿勢が取れる様にシート位置を寝かせるように変位させている場合もあり得る。監視画像には、ドライバ３０が監視カメラ２に対して正面を向いた顔を表されていない。ドライバ３０の顔が、監視カメラ２の光軸に対して所定の範囲以外の方向を向いているので、監視画像には、ドライバ３０の顔は検出可能に表されていない（低い信頼度）。判定部２３１は、監視画像に基づいて、ドライバ３０が運転席４０に着座していないと判定する。

【0066】

運転席以外の座席には誰も着座していないので、判定部２３１には、着座信号は入力されない。着座者数はゼロであり、搭乗者数は１である。ドライバ監視装置１１は、着座者数が搭乗者数よりも一人少ないので、ドライバ３０は運転席４０に着座していると判定する。そして、制御部２３２は、監視カメラ２により撮像可能なように運転席４０に着座することを要求する着座通知をドライバ３０へ通知する。

【0067】

着座通知が通知されドライバ３０は、車両１０の前方を向いて着座することにより、判定部２３１は、監視画像に基づいて、ドライバ３０が運転席４０に着座していると判定することになる。これにより、ドライバ監視装置１１は、ドライバ３０の運転に関与する程度を高めることができる。

【0068】

図５（Ａ）に示す例では、搭乗者数は１であり、ドライバ３０は、運転席４０に着座しているが、助手席４１に置かれた荷物の方を向いており、車両１０の前方を向いてはいない。ドライバ３０の顔が、監視カメラ２の光軸に対して所定の範囲以外の方向を向いているので、監視画像には、ドライバ３０の顔は検出可能に表されていない（低い信頼度）。判定部２３１は、監視画像に基づいて、ドライバ３０が運転席４０に着座していないと判定する。

【0069】

また、荷物３１が助手席４１に置かれ、荷物３２が後部座席４３に置かれていので、判定部２３１には、助手席４１に配置された着座センサ３ａ及び後部座席４３に配置された着座センサ３ａ、３ｃから着座信号が入力される。着座者数は２であり、搭乗者数は１である。着座者数と搭乗者数とが一致しておらず、且つ、着座者数が搭乗者数よりも一人少なくもないので、判定部２３１は、ドライバ３０が運転席４０に着座していないと判定する。そして、制御部２３２は、監視カメラ２により撮像可能なように運転席４０に着座することを要求する着座通知をドライバ３０へ通知する。

【0070】

着座通知が通知されドライバ３０は、車両１０の前方を向いて着座することにより、判定部２３１は、監視画像に基づいて、ドライバ３０が運転席４０に着座していると判定することになる。これにより、ドライバ監視装置１１は、ドライバ３０の運転に関与する程度を高めることができる。

【0071】

図５（Ｂ）に示す例では、搭乗者数は１であり、ドライバ３０は、後部座席４２に着座している。監視画像には、ドライバ３０の顔は検出可能に表されていない。判定部２３１は、監視画像に基づいて、ドライバ３０が運転席４０に着座していないと判定する。

【0072】

また、ドライバ３０は後部座席４２に着座し、荷物３１が助手席４１に置かれているので、判定部２３１には、助手席４１に配置された着座センサ３ａ及び後部座席４２に配置された着座センサ３ｂから着座信号が入力される。着座者数は２であり、搭乗者数は１である。着座者数と搭乗者数とが一致しておらず、且つ、着座者数が搭乗者数よりも一人少なくもないので、判定部２３１は、ドライバ３０が運転席４０に着座していないと判定する。そして、制御部２３２は、監視カメラ２により撮像可能なように運転席４０に着座することを要求する着座通知をドライバ３０へ通知する。

【0073】

着座通知が通知されドライバ３０は、後部座席４２から運転席４０に移動して、車両１０の前方を向いて運転席４０に着座することにより、判定部２３１は、監視画像に基づいて、ドライバ３０が運転席４０に着座していると判定することになる。これにより、ドライバ監視装置１１は、ドライバ３０の運転に関与する程度を高めることができる。

【0074】

以上説明したように、本実施形態のドライバ監視装置は、運転席近傍が撮像された画像に基づいてドライバが運転席に着座していないと判定された場合には、すぐに運転席以外の座席の着座センサを用いることにより、短い時間でドライバが運転席に着座しているか否かを判定できる。

【0075】

次に、上述した本実施形態のドライバ監視装置１１の変型例１及び変型例２について、図を参照しながら、以下に説明する。図６は、本実施形態のドライバ監視装置のドライバ監視処理に関する変形例１を示す動作フローチャートである。

【0076】

本変型例では、図４に示す動作フローチャートのステップＳ１１２ステップＳ１１０との間に、図６に示す着座監視処理（処理Ａ）が実行される。

【0077】

まず、ドライバ３０が運転席４０に着座していると判定された（ステップＳ１１２）後、判定部２３１は、監視カメラ２から監視画像を入力する（ステップＳ２０１）。本変型例の着座監視処理が実行されている間は、図４に示す処理は行われない。

【0078】

次に、判定部２３１は、監視画像に基づいて、ドライバ３０が運転席４０に着座しているか否かを判定する（ステップＳ２０２）。

【0079】

ドライバ３０が運転席４０に着座している場合（ステップＳ２０２－Ｙｅｓ）、処理はステップＳ１１０へ進む。

【0080】

一方、ドライバ３０が運転席４０に着座していない場合（ステップＳ２０２－Ｎｏ）、制御部２３２は、ＵＩ４を介して、監視カメラ２により撮像可能なように運転席４０に着座することを要求する着座通知をドライバ３０へ通知する（ステップＳ２０３）。

【0081】

次に、判定部２３１は、ドライバ３０が運転席４０に着座していると判定された（ステップＳ１０４）後、所定の基準時間が経過しているか否かを判定する（ステップＳ２０４）。

【0082】

所定の基準時間が経過している場合、処理はステップＳ１１０へ進む。一方、所定の基準時間が経過している場合、処理はステップＳ２０１へ戻る。

【0083】

ステップＳ１０５においてドライバ３０が運転席４０に着座していない理由として、ドライバ３０の顔が車両１０の前方を向いてはいないことが考えられる。そこで、本変型例では、ドライバ３０が運転席４０に着座していると判定された（ステップＳ１１２）後、所定の基準時間の間、ドライバ３０の顔が車両１０の前方を向いてはいない状態が続いている場合には、着座通知をドライバ３０へ通知する。これにより、着座通知が通知されドライバ３０は、車両１０の前方を向いて運転席４０に着座することにより、ドライバ監視装置１１は、監視画像に基づいて、ドライバ３０が運転席４０に着座していると判定することになる。これにより、ドライバ監視装置１１は、ドライバ３０の運転に関与する程度を高めることができる。

【0084】

図７は、本実施形態のドライバ監視装置１１のドライバ監視処理に関する変形例２を示す動作フローチャートである。

【0085】

本変型例では、図４に示す動作フローチャートのステップＳ１０４とステップＳ１１０との間に、図７に示す物体数判定処理（処理Ｂ）が実行される。

【0086】

まず、ドライバ３０が運転席４０に着座していると判定された（ステップＳ１０４）後、判定部２３１は、着座数を取得する（ステップＳ３０１）。

【0087】

次に、判定部２３１は、着座センサ３ａ～３ｃにより検知された着座している人の数を表す着座者数と、搭乗者数とを比較して、着座者数が搭乗者数から１を減算した値よりも多い否かを判定する（ステップＳ３０２）。

【0088】

着座者数が搭乗者数から１を減算した値よりも多い場合（ステップＳ３０２－Ｙｅｓ）、判定部２３１は、着座者数から搭乗者数を減算して１を加算した値を、運転席以外の座席に置かれた物体数として求めた後（ステップＳ３０３）、処理はステップＳ１１０へ進む。

【0089】

一方、着座者数が搭乗者数から１を減算した値よりも多くはない場合（ステップＳ３０２－Ｎｏ）、処理はステップＳ１１０へ進む。

【0090】

物体数が求められた後に（ステップＳ３０２）、上述した図４に示す処理において、ドライバ３０が運転席４０に着座していないと判定された場合（ステップＳ１０５）、判定部２３１は、ステップＳ１０７において、着座数と搭乗者数とを比較して、着座者数から物体数を減算した値と、搭乗者数とが一致する場合、ドライバ３０は運転席４０に着座していないと判定する。また、物体数が求められた後に（ステップＳ３０２）、上述した図４に示す処理において、ドライバ３０が運転席４０に着座していないと判定された場合（ステップＳ１０５）、判定部２３１は、ステップＳ１１１において、着座者数から物体数を減算した値が搭乗者数よりも一人少ない場合、ドライバ３０は運転席４０に着座していると判定する。

【0091】

本変型例におけるドライバ監視装置１１の処理を、図８を参照して、以下に説明する。

【0092】

まず、図４に示すドライバ監視処理では、図８（Ａ）に示すように、搭乗者数は１であり、ドライバ３０は車両１０の前方を向いて運転席４０に着座している。助手席４１には、荷物３１が置かれている。判定部２３１は、監視画像に基づいて、ドライバ３０が運転席４０に着座していると判定する（ステップＳ１０４）。

【0093】

次に、図７に示す物体数判定処理において、判定部２３１には、助手席４１に配置された着座センサ３ａから着座信号が入力される。着座数は１であり、搭乗者数は１である。着座者数（１）は、搭乗者数（１）から１を減算した値（０）よりも多いので、判定部２３１は、着座者数（１）から搭乗者数（１）を減算して１を加算した値（１）を、運転席以外の座席に置かれた物体数として求める。

【0094】

次に、物体数が求められた後に、図４に示すドライバ監視処理を、図８（Ｂ）及び図８（Ｃ）を参照して、以下に説明する。

【0095】

図８（Ｂ）に示す例では、ドライバ３０は、運転席４０に着座しているが、助手席４１に置かれた荷物３１の方を向いおり、車両１０の前方を向いてはいない。判定部２３１は、監視画像に基づいて、ドライバ３０が運転席４０に着座していないと判定する。

【0096】

判定部２３１には、助手席４１に配置された着座センサ３ａに配置された着座センサ３ａから着座信号が入力される。着座者数（１）から物体数（１）を減算した値（０）は搭乗者数（１）よりも一人少ないので、判定部２３１は、ドライバ３０は運転席４０に着座していると判定する。

【0097】

図８（Ｃ）に示す例では、ドライバ３０は後部座席４２に着座している。判定部２３１は、監視画像に基づいて、ドライバ３０が運転席４０に着座していないと判定する。

【0098】

判定部２３１には、助手席４１に配置された着座センサ３ａ及び後部座席４２に配置された着座センサ３ｂから着座信号が入力される。判定部２３１は、着座者数（２）から物体数（１）を減算した値（１）と、搭乗者数（１）とが一致するので、ドライバ３０は運転席４０に着座していないと判定する。

【0099】

図８（Ｂ）及び図８（Ｃ）に示す例では、制御部２３２は、監視カメラ２により撮像可能なように運転席４０に着座することを要求する着座通知をドライバ３０へ通知する。

【0100】

着座通知が通知されドライバ３０は、車両１０の前方を向いて運転席４０に着座することにより、判定部２３１は、監視画像に基づいて、ドライバ３０が運転席４０に着座していると判定することになる。これにより、ドライバ監視装置１１は、ドライバ３０の運転に関与する程度を高めることができる。

【0101】

車両１０が走行を開始した後に、運転席以外の座席に置かれた荷物が置かれることがある。本変型例によれば、着座数に対して、運転席以外の座席に置かれた荷物等の物体数が補正されるので、運転席以外の座席に荷物が置かれた場合でも、ドライバをより正確に監視することができる。

【0102】

本開示では、上述した実施形態のドライバ監視装置、ドライバ監視用コンピュータプログラム及びドライバ監視方法は、本開示の趣旨を逸脱しない限り適宜変更が可能である。また、本開示の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。

【0103】

例えば、ドライバが運転席に着座していないと判定された場合、判定部は、人の手、腕又は胴体を識別するように学習した識別器を用いて、監視カメラにより撮像された画像中に表されたドライバの体の有無を調べることにより、ドライバがシート位置を寝かせるように変位させた状態で運転席に着座しているか否かを判定してもよい。ドライバがシート位置を寝かせるように変位させた状態で運転席に着座していると判定された場合、制御部は、通知部を介して、着座通知をドライバへ通知してもよい。

【符号の説明】

【0104】

１ 監視システム
２ 監視カメラ
３a、３ｂ、３ｃ 着座センサ
４ ユーザインターフェース
４ａ 表示装置
１０ 車両
１１ ドライバ監視装置
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
２３０ 取得部
２３１ 判定部
２３２ 制御部
１２ 車内ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】