2023-86452 運転者監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023086452

(43)【公開日】2023-06-22

(54)【発明の名称】運転者監視装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230615BHJP

   G08B 21/02 20060101ALI20230615BHJP

   G08B 25/00 20060101ALI20230615BHJP

   G08B 25/04 20060101ALI20230615BHJP

【ＦＩ】

G08G1/16 F

G08B21/02

G08B25/00 510M

G08B25/04 C

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2021200980

(22)【出願日】2021-12-10

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100138771

【弁理士】

【氏名又は名称】吉田 将明

(72)【発明者】

【氏名】村谷 瞭介

(72)【発明者】

【氏名】清水 覚史

(72)【発明者】

【氏名】江間 慎弥

(72)【発明者】

【氏名】藤川 国雄

(72)【発明者】

【氏名】水田 健人

(72)【発明者】

【氏名】張 嶼城

(72)【発明者】

【氏名】高田 貴正

【テーマコード（参考）】

5C086

5C087

5H181

【Ｆターム（参考）】

5C086AA22

5C086BA22

5C086CA28

5C086CB36

5C086DA08

5C086EA40

5C086EA45

5C086FA02

5C086FA06

5C086FA11

5C086FA17

5C086FA18

5C087AA10

5C087AA11

5C087AA19

5C087AA32

5C087AA37

5C087AA44

5C087DD03

5C087DD14

5C087EE08

5C087FF01

5C087FF04

5C087GG02

5C087GG08

5C087GG09

5C087GG66

5C087GG84

5H181AA01

5H181CC04

5H181LL01

5H181LL04

5H181LL07

5H181LL08

5H181LL20

(57)【要約】

【課題】状況に応じた適切なタイミングで運転者に通知を行う。
【解決手段】運転者監視装置は、カメラにより撮影された車両の運転席の画像に基づいて、運転者の姿勢崩れを検出する検出手段と、検出手段により検出された運転者の姿勢崩れが、運転者の癖による姿勢崩れか否かを判定する判定手段と、判定手段により癖以外の姿勢崩れと判定された場合に、画像に基づいて、運転者の眼の開度を算出する開度算出手段と、車両が走行中であり、開度算出手段により算出された開度が所定の閾値以上である場合に、運転者に所定の通知を行うタイミングであるか否かを判定する通知タイミング判定手段と、通知タイミング判定手段により通知を行うタイミングであると判定された場合、運転者に所定の通知を行う通知手段とを備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

カメラにより撮影された車両の運転席の画像に基づいて、運転者の姿勢崩れを検出する検出手段と、
前記検出手段により検出された前記運転者の姿勢崩れが、前記運転者の癖による姿勢崩れか否かを判定する判定手段と、
前記判定手段により前記癖以外の姿勢崩れと判定された場合に、前記画像に基づいて、前記運転者の眼の開度を算出する開度算出手段と、
前記車両が走行中であり、前記開度算出手段により算出された前記開度が所定の閾値以上である場合に、前記運転者に所定の通知を行うタイミングであるか否かを判定する通知タイミング判定手段と、
前記通知タイミング判定手段により前記通知を行うタイミングであると判定された場合、前記運転者に前記所定の通知を行う通知手段と、を備える、
運転者監視装置。

【請求項2】

前記通知タイミング判定手段は、前記車両の現在位置から予め設定された前記車両が走行する予定のルート上に存在する休憩場所までの距離が所定の閾値未満となった場合、前記通知を行うタイミングであると判定し、
前記通知手段は、前記所定の通知として、前記運転者に前記休憩場所での休憩を促す通知を行う、
請求項１に記載の運転者監視装置。

【請求項3】

前記通知タイミング判定手段は、前記車両の現在位置から予め設定された前記車両が走行する予定のルート上に存在する走行に注意すべき場所までの距離が所定の閾値未満となった場合、前記通知を行うタイミングであると判定し、
前記通知手段は、前記所定の通知として、前記運転者に安全運転を促す通知を行う、
請求項１又は２に記載の運転者監視装置。

【請求項4】

前記通知タイミング判定手段は、前記画像に含まれる前記運転者の顔の表情の分析の結果、前記運転者が会話中であると判定した場合、前記通知を行うタイミングであると判定し、
前記通知手段は、前記所定の通知として、前記運転者に運転への集中を促す通知を行う、
請求項１から３のいずれか１項に記載の運転者監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、運転者監視装置に関する。

【背景技術】

【0002】

特許文献１には、カメラ画像に基づいて運転者の姿勢崩れを検出し、検出された運転者の姿勢崩れが、運転者の癖による姿勢崩れか否かを判定し、癖による姿勢崩れと判定された場合と、癖以外の姿勢崩れと判定された場合とで、異なる態様により運転者に姿勢崩れに関する通知を行う運転者監視装置が開示される。また、特許文献１に開示される運転者監視装置は、癖以外の姿勢崩れと判定して運転者に注意を喚起した後に運転者の姿勢が改善されない場合、運転者の閉眼時間が所定時間よりも長いか否かを判定し、運転者の閉眼時間が所定時間よりも長い場合、車両を安全に停車させ、運転者の閉眼時間が所定時間未満である場合、次に、車両が停車中であるか否かを判定し、車両が停車中である場合、適切な運転姿勢及び姿勢崩れの影響を運転者に提示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－３８７９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示される運転者支援装置は、運転者が癖以外の姿勢崩れであって、運転者の閉眼時間が所定時間未満である場合、車両が停車するまで運転者に通知を行わない。しかし、このような場合であっても、状況に応じた適切なタイミングで運転者に通知を行った方がよい場合もある。

【0005】

本開示は、状況に応じた適切なタイミングで運転者に通知を行う運転者監視装置の提供を目的とする。

【課題を解決するための手段】

【0006】

本開示の一態様に係る運転者監視装置は、カメラにより撮影された車両の運転席の画像に基づいて、運転者の姿勢崩れを検出する検出手段と、前記検出手段により検出された前記運転者の姿勢崩れが、前記運転者の癖による姿勢崩れか否かを判定する判定手段と、前記判定手段により前記癖以外の姿勢崩れと判定された場合に、前記画像に基づいて、前記運転者の眼の開度を算出する開度算出手段と、前記車両が走行中であり、前記開度算出手段により算出された前記開度が所定の閾値以上である場合に、前記運転者に所定の通知を行うタイミングであるか否かを判定する通知タイミング判定手段と、前記通知タイミング判定手段により前記通知を行うタイミングであると判定された場合、前記運転者に前記所定の通知を行う通知手段と、を備える。

【0007】

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0008】

本開示によれば、状況に応じた適切なタイミングで運転者に通知を行う運転者監視装置を提供できる。

【図面の簡単な説明】

【0009】

【図1】本実施の形態に係る運転者監視装置の構成例を示す図

【図2】本実施の形態に係る運転者監視装置を搭載した車両の室内を示す図

【図3】本実施の形態に係る姿勢崩れ量の一例を示す図

【図4】本実施の形態に係る姿勢崩れに関する通知を行う処理手順を示すフローチャート

【図5】本実施の形態に係る適切な通知タイミングの判定方法の一例を示す図

【図6】本実施の形態に係る運転者に休憩を促す通知の一例を示す図

【図7】本実施の形態に係る運転者に安全運転を促す通知の一例を示す図

【図8】本実施の形態に係る運転者に運転への集中を促す通知の一例を示す図

【発明を実施するための形態】

【0010】

以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。

【0011】

（本実施の形態）
＜運転者監視装置の構成＞
図１及び２を参照して、本実施形態に係る運転者監視装置１０の構成を説明する。図１は、本実施の形態に係る運転者監視装置の構成例を示す図である。図２は、本実施の形態に係る運転者監視装置を搭載した車両の室内を示す図である。

【0012】

運転者監視装置１０は、ＥＣＵ（Electronic Control Unit）２０、カメラ３１、照明３２、マイク３７、設定スイッチ３６、ディスプレイ３３、及び、スピーカ３４を備える。

【0013】

カメラ３１は、例えばＣＣＤ（Charge Coupled Device）カメラであり、近赤外領域で高い感度特性を有するカメラである。照明３２は、近赤外ＬＥＤ（Light Emitting Diode）等の近赤外光を照射するものであり、カメラ３１の近傍に設置される。マイク３７は、カメラ３１の近傍に設置されてよい。

【0014】

カメラ３１は、図２に示すように、メータフード５３に設置されており、照明３２に照らされた車両の室内の運転席を撮影する。詳しくは、照明３２は、運転席のシート５１のヘッドレスト５１ａ周辺に向けて近赤外光を照射し、カメラ３１は、照明３２に照らされたヘッドレスト５１ａ周辺を撮影する。すなわち、カメラ３１は、運転席に運転者が着座している場合に、運転者の顔周辺を撮影する。カメラ３１は、１フレーム分の画像を撮像する度に、画像データをＥＣＵ２０へ送信する。なお、カメラ３１は、シート５１に着座した運転者の顔周辺を撮影できる位置であれば、ダッシュボードの上、ステアリングコラム、又は、Ａピラー等に設置されてもよい。また、カメラ３１は、複数のカメラから構成され、それぞれのカメラが異なる位置に設置されてもよい。また、マイク３７は、車両の室内の運転者及び搭乗者の会話を集音し、音声データをＥＣＵ２０へ送信する。

【0015】

ＥＣＵ２０は、運転者の監視処理を行うための装置である。したがって、ＥＣＵ２０は、運転者監視ＥＣＵと読み替えられてもよい。ＥＣＵ２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＩ／Ｏ（Input／Output）等を備えるマイクロコンピュータであり、検出手段２１、判定手段２２、開度算出手段２３、停車手段２４、通知タイミング判定手段２５の各機能を実現する。また、ＥＣＵ２０は、運転者の顔を撮影しやすいように、時間帯等に応じて照明３２の光量を調整する。次に、上記した各機能について説明する。

【0016】

検出手段２１は、カメラ３１により撮影された画像に基づいて、運転者の姿勢崩れを検出する。詳しくは、検出手段２１は、カメラ３１により撮影された画像を認識して、姿勢崩れ量Ｌを算出する。姿勢崩れ量Ｌの定義は色々考えられるが、例えば図３に示すように、ヘッドレスト５１ａの中心を基準点とし、基準点と運転者の顔中心との距離を姿勢崩れ量Ｌとする。ヘッドレスト５１ａの中心の代わりに、ステアリング５２の中心を基準点としてもよい。あるいは、運転者が正面を向いた適切な姿勢でシート５１に着座した時の顔中心を基準点として登録しておき、この基準点と画像から認識した運転者の顔中心との距離を姿勢崩れ量Ｌとしてもよい。

【0017】

そして、検出手段２１は、姿勢崩れ量Ｌが閾値Ｔｈよりも大きい場合に、運転者の姿勢崩れを検出する。閾値Ｔｈは、例えば、衝突時にエアバッグが正しく効果を発揮できる範囲の境界値とする。すなわち、閾値Ｔｈは、姿勢崩れ量Ｌが閾値Ｔｈよりも大きい場合には、エアバッグが正しい効果を発揮できないような値にする。エアバッグとしては、ステアリング５２の上に展開する運転席エアバッグや、シート５１とドアパネルの間に展開するサイドエアバッグ等がある。例えば、運転席エアバッグの場合、ステアリング５２の上面に投影した運転者の頭部がエアバッグの展開領域から出ていると、衝突時にエアバッグが正しい効果を発揮できない。また、エアバッグと運転者の頭部との距離が近すぎると、エアバッグが展開したときに運転者の頭部は強い衝撃を受けることになり、衝突時にエアバッグが正しい効果を発揮できない。閾値Ｔｈは、車両に設置されているエアバッグの位置や大きさに応じて適切に設定すればよい。なお、閾値Ｔｈは、姿勢崩れの方向すなわち適正な運転姿勢からのずれの方向ごとに設定してもよい。

【0018】

判定手段２２は、検出手段２１により検出された運転者の姿勢崩れが、運転者の癖による姿勢崩れか否かを判定する。正常な姿勢の場合、姿勢崩れ量Ｌは、閾値Ｔｈよりも小さくてよい。癖による姿勢崩れの場合、運転開始直後から継続して、姿勢崩れ量Ｌは閾値Ｔｈよりも大きくてよい。疲労や注意力低下による姿勢崩れの場合、姿勢崩れ量Ｌは、運転開始直後は小さいが、運転時間の経過に伴い大きくなってよい。そして、姿勢崩れ量Ｌは、閾値Ｔｈよりも大きくなった後は、継続して閾値Ｔｈよりも大きい。癖による姿勢崩れの場合、運転者に直ちに注意を喚起しなくてもよいが、姿勢崩れが続くと疲労が蓄積されやすくなるため、姿勢を正すように促すことが望ましい。一方、疲労や注意力低下による姿勢崩れの場合、事故につながるおそれがあるため、直ちに注意を喚起して休息等を促すことが望ましい。

【0019】

判定手段２２は、運転開始直後（運転開始から所定時間内）から時間Ｔ１（崩れ判定時間）よりも長く継続して、検出手段２１により運転者の姿勢崩れが検出されている場合に、癖による姿勢崩れと判定する。また、判定手段２２は、姿勢崩れ量Ｌが閾値Ｔｈ以下の値から運転時間の経過とともに大きくなって閾値Ｔｈを超えた場合に、疲労や注意力低下による姿勢崩れ、すなわち癖以外の姿勢崩れと判定する。あるいは、判定手段２２は、運転開始から所定時間経過した以降に、時間Ｔ１よりも長く継続して検出手段２１により運転者の姿勢崩れが検出されている場合に、癖以外の姿勢崩れと判定する。

【0020】

判定手段２２は、癖による姿勢崩れと判定した場合には、所定のタイミングで姿勢情報を提示するように、ディスプレイ３３及びスピーカ３４に指示を出し、癖以外の姿勢崩れと判定した場合には、直ちに注意を喚起するように、ディスプレイ３３及びスピーカ３４に指示を出す。なお、急激に姿勢崩れ量Ｌが大きくなって閾値Ｔｈを超え、時間Ｔ１経過する前に姿勢崩れ量Ｌが閾値Ｔｈ以下になった場合は、運転者は脇見等をしてすぐに姿勢を正しているので、運転者に姿勢崩れに関する通知を行わなくてもよい。

【0021】

癖以外の姿勢崩れのときに、運転者に注意を喚起しても姿勢崩れが改善されず、且つ、運転者の眼が閉じている場合には、運転者が意識の喪失等して、運転不能な状態になっているおそれがある。そこで、開度算出手段２３は、カメラ３１により撮影された画像を認識して、運転者の眼の開度を算出する。眼の開度は、上瞼の輪郭と下瞼の輪郭との間隔から算出される。

【0022】

停車手段２４は、癖以外の姿勢崩れに伴い運転者に注意が喚起された後に、運転者の姿勢が改善されず、且つ運転者が眼を閉じていると判定した場合に、車両を安全に停車させる信号を車両制御装置４０へ送信する。停車手段２４は、開度算出手段２３により算出された眼の開度が、閾値Ｔｈｏ（開度閾値）よりも時間Ｔ２（開度判定時間）を超えて小さい場合に、運転者が眼を閉じていると判定する。

【0023】

通知タイミング判定手段２５は、車両が走行中であり、開度算出手段による算出された運転者の眼の開度が、閾値Ｔｈｏ（開度閾値）以上である場合に、運転者に所定の通知を行うタイミングであるか否かを判定する。なお、通知タイミング判定手段２５の詳細については後述する。

【0024】

ディスプレイ３３（通知手段）は、車載情報端末のディスプレイや、メータパネル内に設けられている車載ディスプレイである。ディスプレイ３３は、液晶パネルや有機ＥＬパネルを備えたタッチディスプレイでもよい。

【0025】

スピーカ３４（通知手段）は、車載情報端末やオーディオ装置等と共用される車載スピーカである。

【0026】

ディスプレイ３３及びスピーカ３４は、判定手段２２により癖による姿勢崩れと判定された場合と、判定手段２２により癖以外の姿勢崩れと判定された場合とで、異なる態様により運転者に姿勢崩れに関する通知を行う。詳しくは、ディスプレイ３３及びスピーカ３４は、癖による姿勢崩れの場合には、車両が停車したタイミングで姿勢情報を提示する。姿勢情報は、姿勢を正すことを促す情報であり、適切な運転姿勢及び姿勢崩れの影響の少なくとも一方を含む情報であるとよい。また、ディスプレイ３３及びスピーカ３４は、癖以外の姿勢崩れの場合に、直ちに運転者に注意を喚起してよい。また、ディスプレイ３３及びスピーカ３４は、癖以外の姿勢崩れの場合であって、通知タイミング判定手段２５が通知を行うタイミングであると判定した場合に、運転者に対して所定の通知を行ってよい。

【0027】

設定スイッチ３６（設定手段）は、運転者が姿勢情報を提示する頻度を設定するためのスイッチである。設定スイッチ３６は、機械スイッチでもよいし、ディスプレイ３３と一体的に形成されたタッチスイッチでもよい。癖による姿勢崩れの場合、頻繁に姿勢情報を提示すると、煩わしく感じる運転者も存在する。このような運転者は、設定スイッチ３６を操作して、例えば１トリップ中に１回や数時間毎に１回のように、都合のよい頻度で姿勢情報を取得できるように設定できる。

【0028】

＜姿勢崩れに関する通知を行う処理手順＞
次に、図４を参照して、姿勢崩れに関する通知を行う処理手順について説明する。図４は、姿勢崩れに関する通知を行う処理手順を示すフローチャートである。なお、本処理手順は、ＥＣＵ２０によって実行されてよい。また、本処理手順は、繰り返し実行されてよい。

【0029】

ＥＣＵ２０は、姿勢崩れを検出したか否かを判定する（Ｓ１０）。すなわち、ＥＣＵ２０は、姿勢崩れ量Ｌが閾値Ｔｈよりも大きくなったか否かを判定する。

【0030】

ＥＣＵ２０は、姿勢崩れを検出していない場合（Ｓ１０：ＮＯ）、ステップＳ１０の処理を繰り返し実行する。

【0031】

ＥＣＵ２０は、姿勢崩れを検出した場合（Ｓ１０：ＹＥＳ）、時間Ｔ１よりも長く継続して姿勢崩れを検出しているか否かを判定する（Ｓ１１）。

【0032】

ＥＣＵ２０は、時間Ｔ１よりも長く継続して姿勢崩れを検出していない場合（Ｓ１１：ＮＯ）、ステップＳ１０の処理に戻る。

【0033】

ＥＣＵ２０は、時間Ｔ１よりも長く継続して姿勢崩れを検出している場合（Ｓ１１：ＹＥＳ）、癖による姿勢崩れか否かを判定する（Ｓ１２）。ＥＣＵ２０は、運転開始直後から姿勢崩れを検出している場合、すなわち、運転開始直後から時間Ｔ１よりも長く継続して姿勢崩れを検出している場合、癖による姿勢崩れと判定（つまり、Ｓ１２をＹＥＳと判定）してよい。ＥＣＵ２０は、運転開始直後から姿勢崩れを検出していない場合、すなわち、運転開始直後よりも以降に、時間Ｔ１よりも長く継続して姿勢崩れを検出している場合、癖以外の姿勢崩れと判定（つまりＳ１２をＮＯと判定）してよい。

【0034】

ここでは、運転開始直後を、シフトポジションをパーキングから移動させてから所定時間内、又は、車両の走行を開始してから所定時間内とする。また、シフトポジションや走行開始は、車両センサ４１の検出値に基づき判断する。

【0035】

ＥＣＵ２０は、癖による姿勢崩れと判定した場合（Ｓ１２：ＹＥＳ）、停車中か否かを判定する（Ｓ１３）。例えば、ＥＣＵ２０は、車両センサ４１の検出値に基づいて車速が閾値Ｖｋｍ／ｈ以下か否を判定し、その判定結果に基づいて停車中か否かを判定する。閾値Ｖｋｍ／ｈは、０ｋｍ／ｈ（完全な停車）でもよいし、停車とみなせる程度に十分に低い速度（例えば１ｋｍ／ｈ）でもよい。

【0036】

ＥＣＵ２０は、停車中でないと判定した場合（Ｓ１３：ＮＯ）、ステップＳ１３の処理を繰り返し実行する。

【0037】

ＥＣＵ２０は、停車中と判定した場合（Ｓ１３：ＹＥＳ）、適切な運転姿勢及び姿勢崩れの影響を提示する（Ｓ１４）。なお、適切な運転姿勢及び姿勢崩れの影響の提示方法の一例については後述する。そして、ＥＣＵ２０は、本処理を終了する。

【0038】

次に、ステップＳ１２において癖以外の姿勢崩れと判定した場合（Ｓ１２：ＮＯ）について説明する。

【0039】

ＥＣＵ２０は、癖以外の姿勢崩れと判定した場合（Ｓ１２：ＮＯ）、直ちに注意を喚起する（Ｓ１５）。例えば、ＥＣＵ２０は、スピーカ３４から警告音を出力する。あるいは、ＥＣＵ２０は、「休息を取ってください」といった注意を、ディスプレイ３３に表示させるとともにスピーカ３４から音声出力させる。

【0040】

ＥＣＵ２０は、運転者の姿勢が改善したか否かを判定する（Ｓ１６）。ＥＣＵ２０は、姿勢崩れ量Ｌが閾値Ｔｈ以下になった場合、運転者の姿勢が改善したと判定する（Ｓ１６：ＹＥＳ）。そして、ＥＣＵ２０は、本処理を終了する。

【0041】

ＥＣＵ２０は、姿勢崩れ量Ｌが閾値Ｔｈよりも大きい状態のままの場合、運転者の姿勢が改善していないと判定し（Ｓ１６：ＮＯ）、次に、運転者の眼が閉じている時間（以下、閉眼時間と称する）が、所定の閾値時間Ｔ２よりも長いか否かを判定する（Ｓ１７）。例えば、ＥＣＵ２０は、閾値時間Ｔ２よりも長い間、目の開度が閾値Ｔｈｏよりも小さい状態（つまり閉眼の状態）が継続しているか否かを判定する。

【0042】

ＥＣＵ２０は、運転者の閉眼時間が閾値時間Ｔ２よりも長い場合（Ｓ１７：ＹＥＳ）、適切な制動及び操舵を行い安全に停車するように、車両制御装置４０へ指示を出す。また、ＥＣＵ２０は、周囲の車両に危険を知らせるために、車両制御装置４０へヘッドライトの灯火及びクラクションの吹聴の指示を出す。さらに、ＥＣＵ２０は、車両の他の搭乗者に危険を知らせるために、スピーカ３４へ警報出力の指示を出す。

【0043】

ＥＣＵ２０は、運転者の閉眼時間が閾値時間Ｔ２未満である場合（Ｓ１７：ＮＯ）、ステップＳ１３の処理と同様に、停車中か否かを判定する（Ｓ１９）。

【0044】

ＥＣＵ２０は、停車中と判定した場合（Ｓ１９：ＹＥＳ）、Ｓ１４の処理と同様に、適切な運転姿勢及び姿勢崩れの影響を提示する（Ｓ２０）。なお、適切な運転姿勢及び姿勢崩れの影響の提示方法の一例については後述する。そして、ＥＣＵ２０は、本処理を終了する。

【0045】

ＥＣＵ２０は、停車中でない（つまり走行中）と判定した場合（Ｓ１９：ＮＯ）、適切な通知タイミングか否かを判定する（Ｓ２１）。なお、適切な通知タイミングか否かの判定方法については後述する。ＥＣＵ２０は、適切な通知タイミングでない場合（Ｓ２０：ＮＯ）、Ｓ１９の処理に戻る。

【0046】

ＥＣＵ２０は、適切な通知タイミングである場合（Ｓ２０：ＹＥＳ）、運転者に所定の通知を行う（Ｓ２２）。なお、所定の通知の詳細については後述する。そして、ＥＣＵ２０は、本処理を終了する。

【0047】

＜適切な運転姿勢の提示例＞
次に、図４に示すステップＳ１４又はステップＳ２０における、適切な運転姿勢及び姿勢崩れの影響の提示方法の一例について説明する。

【0048】

例えば、ＥＣＵ２０は、正しい運転姿勢を図解するイラストレーションをディスプレイ３３に表示させ、さらに、正しい運転姿勢を取る手順をディスプレイ３３に表示させるとともに、スピーカ３４から音声出力させる。

【0049】

さらに、ＥＣＵ２０は、癖による姿勢崩れの崩れ方に応じて、姿勢情報の内容を変化させて提示してもよい。例えば、ＥＣＵ２０は、姿勢崩れの崩れ方を、前かがみになっている、リラックスしすぎている（仰け反っている）、ドアにもたれかかっている等のパターンに分類し、分類した姿勢崩れのパターンに対応した姿勢情報を提示する。

【0050】

姿勢崩れのパターンの分類は、例えば、予め姿勢崩れのパターンを分類したテーブルを用意しておき、このテーブルと画像認識により検出した運転者の姿勢とを比較して行うことができる。その他の方法を用いて姿勢崩れのパターンの分類を行ってもよい。

【0051】

＜適切な通知タイミングの判定方法と通知方法＞
次に、図５～図８を参照しながら、図４に示すステップＳ２１における適切な通知タイミングの判定の例と、ステップＳ２２における運転者への所定の通知の例とについて説明する。

【0052】

図５は、本実施の形態に係る適切な通知タイミングの判定方法の一例を示す図（表）である。図６は、本実施の形態に係る運転者に休憩を促す通知の一例を示す図である。図７は、本実施の形態に係る運転者に安全運転を促す通知の一例を示す図である。図８は、本実施の形態に係る運転者に運転への集中を促す通知の一例を示す図である。

【0053】

ＥＣＵ２０（通知タイミング判定手段２５）は、図５の表の１行目に示すように、ステップＳ２１において、車両の現在位置から予め設定された車両が走行する予定のルート上に存在する休憩場所までの距離が所定の閾値未満（例えば数ｋｍ未満）となった場合、通知を行うタイミングであると判定する。車両の現在位置は、車両に搭載される測位装置（例えばＧＮＳＳ（Global Navigation Satellite System）信号の受信装置）によって特定されてよい。車両が走行する予定のルートは、ナビゲーション装置１２に予め設定されてよい。休憩場所の例として、高速道路におけるサービスエリア（ＳＡ）又はパーキングエリア（ＰＡ）、一般道路における道の駅又は駐車場などが挙げられる。この場合、ＥＣＵ２０は、ステップＳ２２において、次の休憩場所での休憩を促す情報を運転者に通知する。例えば、ＥＣＵ２０は、図６に示すように、次の休憩場所での休憩を促す情報を、ディスプレイ３３に表示すると共に、休憩を促す音声をスピーカ３４から出力してよい。また、この場合、ＥＣＵ２０は、次の休憩場所を中継地点とするルートをナビゲーション装置１２に設定してもよい。

【0054】

ＥＣＵ２０（通知タイミング判定手段２５）は、図５の表の２行目に示すように、ステップＳ２１において、車両の現在位置から予め設定された車両が走行する予定のルート上に存在する走行に注意すべき場所までの距離が所定の閾値未満（例えば数百ｍ未満）となった場合、通知を行うタイミングであると判定する。注意すべき場所の例として、事故多発地点、事故発生地点、工事中地点などが挙げられる。ＥＣＵ２０は、これらの注意すべき地点を示す情報を、ナビゲーション装置１２から取得してよい。また、ナビゲーション装置１２は、これらの注意すべき地点を示す情報を、ＶＩＣＳ（登録商標）（Vehicle Information and Communication System）、ＥＴＣ２．０、又は、モバイル通信網等によって取得してよい。この場合、ＥＣＵ２０は、ステップＳ２２において、運転者に安全運転を促す情報を通知する。例えば、ＥＣＵ２０は、図７に示すように、この先に事故多発地点があるので姿勢を正して安全に運転すること促すメッセージをディスプレイ３３に表示する共に、当該メッセージを読み上げる音声をスピーカ３４から出力してよい。

【0055】

ＥＣＵ２０（通知タイミング判定手段２５）は、図５の表の３行目に示すように、ステップＳ２１において、車内のカメラ３１が撮像した画像に含まれる運転者の顔の表情の分析の結果、及び、車内のマイク３７が集音した音声の分析の結果の少なくとも１つに基づいて、運転者が会話中であるか否かを判定する。そして、ＥＣＵ２０は、運転者が会話中であると判定した場合に、通知を行うタイミングであると判定する。例えば、ＥＣＵ２０は、顔の表情の分析の結果、運転者の口の開閉又は笑顔が所定期間（例えば数分）以上続いている場合、運転者が会話中であると判定する。例えば、ＥＣＵ２０は、集音した音声の分析の結果、運転者と搭乗者の両方の音声が所定期間（例えば数分）以上続いている場合、運転者が会話中であると判定する。この場合、ＥＣＵ２０は、ステップＳ２２において、運転者に運転への集中を促す情報を通知する。例えば、ＥＣＵ２０は、図８に示すように、姿勢を正して集中して運転することを促すメッセージをディスプレイ３３に表示すると共に、当該メッセージを読み上げる音声をスピーカ３４から出力してよい。

【0056】

なお、ＥＣＵ２０（通知タイミング判定手段２５）は、ステップＳ２１において、上述した図５の表の１行目から３行目の何れであるかを判定し、その判定結果に基づいて、上述した図６～図８のうち適切な１つを選択的に通知してよい。これにより、ＥＣＵ２０（通知タイミング判定手段２５）は、ルート上の状況及び／又は運転者の状況の応じて適切な通知を行うことができる。

【0057】

（本開示のまとめ）
本開示の内容は以下の付記のように表現できる。

【0058】

＜付記１＞
運転者監視装置１０は、カメラ３１により撮影された車両の運転席の画像に基づいて、運転者の姿勢崩れを検出する検出手段２１と、検出手段２１により検出された運転者の姿勢崩れが、運転者の癖による姿勢崩れか否かを判定する判定手段２２と、判定手段２２により癖以外の姿勢崩れと判定された場合に、上記画像に基づいて、運転者の眼の開度を算出する開度算出手段２３と、車両が走行中であり、開度算出手段２３により算出された開度が所定の閾値以上である場合に、運転者に所定の通知を行うタイミングであるか否かを判定する通知タイミング判定手段２５と、通知タイミング判定手段２５により通知を行うタイミングであると判定された場合、運転者に所定の通知を行う通知手段と、を備える。
これにより、運転者監視装置１０は、運転者が癖以外の姿勢崩れであって、運転者の眼の開度が所定の閾値以上であり、車両が走行中であっても、適切なタイミングにおいて運転者に所定の通知を行うことができる。

【0059】

＜付記２＞
付記１に記載の運転者監視装置１０において、通知タイミング判定手段２５は、車両の現在位置から予め設定された車両が走行する予定のルート上に存在する休憩場所までの距離が所定の閾値未満となった場合、通知を行うタイミングであると判定し、通知手段は、所定の通知として、運転者に休憩場所での休憩を促す通知を行ってよい。
これにより、運転者監視装置１０は、運転者が癖以外の姿勢崩れの状態で開眼している場合に、車両の現在位置からルート上の所定距離未満の位置に休憩場所が存在するタイミングで適切に、当該休憩場所での休憩を促す通知を行うことができる。よって、運転者は、例えば疲労によって癖以外の姿勢崩れが発生している場合に、適切なタイミングで休憩を促す通知を受け取ることができる。

【0060】

＜付記３＞
付記１又は付記２に記載の運転者監視装置１０において、通知タイミング判定手段２５は、車両の現在位置から予め設定された車両が走行する予定のルート上に存在する走行に注意すべき場所までの距離が所定の閾値未満となった場合、通知を行うタイミングであると判定し、通知手段は、所定の通知として、運転者に安全運転を促す通知を行ってよい。
これにより、運転者監視装置１０は、運転者が癖以外の姿勢崩れの状態で開眼している場合に、車両の現在位置からルート上の所定距離未満の位置に走行に注意すべき場所が存在するタイミングで適切に、当該安全運転を促す通知を行うことができる。よって、運転者は、例えば疲労又は集中力低下によって癖以外の姿勢崩れが発生している場合に、適切なタイミングで安全運転を促す通知を受け取ることができる。

【0061】

＜付記４＞
付記１から３のいずれか１項に記載の運転者監視装置１０において、通知タイミング判定手段２５は、画像に含まれる運転者の顔の表情の分析の結果、運転者が会話中であると判定した場合、通知を行うタイミングであると判定し、通知手段は、所定の通知として、運転者に運転への集中を促す通知を行ってよい。
これにより、運転者監視装置１０は、運転者が癖以外の姿勢崩れの状態で開眼しており、会話に夢中になっているタイミングで適切に、当該運転への集中を促す通知を行うことができる。よって、運転者は、例えば会話によって癖以外の姿勢崩れが発生している場合に、適切なタイミングで運転への集中を促す通知を受け取ることができる。

【0062】

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0063】

本開示の技術は、車両の運転の安全性向上に有用である。

【符号の説明】

【0064】

１０ 運転者監視装置
１２ ナビゲーション装置
２０ ＥＣＵ
２１ 検出手段
２２ 判定手段
２３ 開度算出手段
２４ 停車手段
２５ 通知タイミング判定手段
３１ カメラ
３２ 照明
３３ ディスプレイ
３４ スピーカ
３６ 設定スイッチ
３７ マイク
４０ 車両制御装置
４１ 車両センサ
５１ シート
５１ａ ヘッドレスト
５２ ステアリング
５３ メータフード

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】