ホーム > 特許ランキング > トヨタ自動車株式会社
知財求人 - 知財ポータルサイト「IP Force」
▶ トヨタ自動車株式会社の特許一覧 ▶ 株式会社デンソーの特許一覧 ▶ アイシン精機株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024147927
(43)【公開日】2024-10-17
(54)【発明の名称】運転者監視装置、運転者監視方法及びプログラム
(51)【国際特許分類】
B60W 40/08 20120101AFI20241009BHJP
A61B 5/16 20060101ALI20241009BHJP
A61B 5/18 20060101ALI20241009BHJP
A61B 5/11 20060101ALI20241009BHJP
G08G 1/16 20060101ALI20241009BHJP
G06T 7/00 20170101ALI20241009BHJP
【ＦＩ】
B60W40/08
A61B5/16 130
A61B5/18
A61B5/11
G08G1/16 F
G06T7/00 660A
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023060681
(22)【出願日】2023-04-04
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(71)【出願人】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100147555
【弁理士】
【氏名又は名称】伊藤 公一
(74)【代理人】
【識別番号】100123593
【弁理士】
【氏名又は名称】関根 宣夫
(74)【代理人】
【識別番号】100133835
【弁理士】
【氏名又は名称】河野 努
(72)【発明者】
【氏名】大見 拓寛
(72)【発明者】
【氏名】森本 寛
(72)【発明者】
【氏名】山田 健太
(72)【発明者】
【氏名】ウダラ エシャン マナワドゥ
【テーマコード（参考）】
3D241
4C038
5H181
5L096
【Ｆターム（参考）】
3D241BA70
3D241DD04A
3D241DD04B
3D241DD07A
3D241DD07B
4C038PP05
4C038PQ04
4C038PS07
4C038VA04
4C038VA15
4C038VB02
4C038VB04
4C038VB05
4C038VB12
4C038VC05
5H181AA01
5H181CC03
5H181CC04
5H181CC12
5H181CC14
5H181LL20
5L096AA06
5L096BA04
5L096CA04
5L096DA02
5L096FA64
5L096FA67
5L096GA51
5L096HA09
(57)【要約】
【課題】車両の運転者が電子機器を使用中の場合と居眠り状態又は強い眠気状態にある場合とを判別する。
【解決手段】運転者監視装置１２は、車両１０の自動運転制御を実行する車両制御部２３２Ａと、車両１０の運転者が居眠り状態又は強い眠気状態にある可能性があるか否かの第１判定を実行する第１判定部２３２Ｅと、運転者が電子機器を使用中であるか否かの第２判定を実行する第２判定部２３２Ｆとを備え、第２判定部２３２Ｆは、ドライバモニタカメラ７によって撮影された運転者の顔を含む画像と、運転者が居眠り状態又は強い眠気状態にあるときの運転者の行動特徴と運転者が電子機器を使用するときの運転者の行動特徴との違いを示す行動特徴情報とに基づいて、第２判定を実行する。
【選択図】図４
【解決手段】運転者監視装置１２は、車両１０の自動運転制御を実行する車両制御部２３２Ａと、車両１０の運転者が居眠り状態又は強い眠気状態にある可能性があるか否かの第１判定を実行する第１判定部２３２Ｅと、運転者が電子機器を使用中であるか否かの第２判定を実行する第２判定部２３２Ｆとを備え、第２判定部２３２Ｆは、ドライバモニタカメラ７によって撮影された運転者の顔を含む画像と、運転者が居眠り状態又は強い眠気状態にあるときの運転者の行動特徴と運転者が電子機器を使用するときの運転者の行動特徴との違いを示す行動特徴情報とに基づいて、第２判定を実行する。
【選択図】図４
【特許請求の範囲】
【請求項1】
車両の自動運転制御を実行する車両制御部と、
前記車両の運転者が居眠り状態又は強い眠気状態にある可能性があるか否かの第１判定を実行する第１判定部と、
前記運転者が電子機器を使用中であるか否かの第２判定を実行する第２判定部とを備え、
前記第２判定部は、ドライバモニタカメラによって撮影された前記運転者の顔を含む画像と、前記運転者が居眠り状態又は強い眠気状態にあるときの前記運転者の行動特徴と前記運転者が前記電子機器を使用するときの前記運転者の行動特徴との違いを示す行動特徴情報とに基づいて、前記第２判定を実行する、運転者監視装置。
前記車両の運転者が居眠り状態又は強い眠気状態にある可能性があるか否かの第１判定を実行する第１判定部と、
前記運転者が電子機器を使用中であるか否かの第２判定を実行する第２判定部とを備え、
前記第２判定部は、ドライバモニタカメラによって撮影された前記運転者の顔を含む画像と、前記運転者が居眠り状態又は強い眠気状態にあるときの前記運転者の行動特徴と前記運転者が前記電子機器を使用するときの前記運転者の行動特徴との違いを示す行動特徴情報とに基づいて、前記第２判定を実行する、運転者監視装置。
【請求項2】
前記第２判定部は、
前記運転者が前記電子機器を使用可能なレベルの前記自動運転制御を前記車両制御部が実行中に、
前記第２判定を実行する、請求項１に記載の運転者監視装置。
前記運転者が前記電子機器を使用可能なレベルの前記自動運転制御を前記車両制御部が実行中に、
前記第２判定を実行する、請求項１に記載の運転者監視装置。
【請求項3】
前記第２判定部は、前記運転者が居眠り状態又は強い眠気状態にある可能性があると前記第１判定部が判定した場合に、前記第２判定を実行する、請求項１又は２に記載の運転者監視装置。
【請求項4】
前記第２判定部は、前記運転者が居眠り状態又は強い眠気状態にある可能性があると前記第１判定部が判定した場合に、前記第１判定部が前記第１判定にかけた時間より長い時間をかけて前記第２判定を実行する、請求項１又は２に記載の運転者監視装置。
【請求項5】
前記運転者が居眠り状態又は強い眠気状態にあるときの前記運転者の行動特徴には、前記運転者の頭が後ろに倒れること、前記運転者が眠気との葛藤で頭を大きく速く振ること、前記運転者が深呼吸すること、前記運転者の動作がマイクロスリープイベントに該当すること及び前記運転者の表情筋が緩むことの少なくともいずれかが含まれ、
前記運転者が前記電子機器を使用するときの前記運転者の行動特徴には、前記運転者が前記電子機器の画面に表示されたテキストを目で追う時に前記運転者の上瞼が上下に動くこと、前記運転者が前記電子機器の画面に表示されたテキストを目で追う時に前記運転者の首が左右に動くこと、前記運転者が右手及び左手の一方により前記電子機器を保持しかつ前記運転者の右手及び左手の他方により前記電子機器を操作する時に前記運転者の右肩及び左肩の一方のみが左右に動くこと、前記運転者の発話に伴って前記運転者の口が動くこと及び前記運転者の顔表情が変化することの少なくともいずれかが含まれる、請求項１又は２に記載の運転者監視装置。
前記運転者が前記電子機器を使用するときの前記運転者の行動特徴には、前記運転者が前記電子機器の画面に表示されたテキストを目で追う時に前記運転者の上瞼が上下に動くこと、前記運転者が前記電子機器の画面に表示されたテキストを目で追う時に前記運転者の首が左右に動くこと、前記運転者が右手及び左手の一方により前記電子機器を保持しかつ前記運転者の右手及び左手の他方により前記電子機器を操作する時に前記運転者の右肩及び左肩の一方のみが左右に動くこと、前記運転者の発話に伴って前記運転者の口が動くこと及び前記運転者の顔表情が変化することの少なくともいずれかが含まれる、請求項１又は２に記載の運転者監視装置。
【請求項6】
前記第２判定部は、
前記画像中の前記運転者の眉毛と上瞼との距離の変化を検知する機能を有し、
前記画像中の前記運転者の眉毛と上瞼との距離が変化する場合に、前記画像中の前記運転者の眉毛と上瞼との距離が変化しない場合よりも、前記運転者が前記電子機器を使用中であると判定しやすくなる、請求項１又は２に記載の運転者監視装置。
前記画像中の前記運転者の眉毛と上瞼との距離の変化を検知する機能を有し、
前記画像中の前記運転者の眉毛と上瞼との距離が変化する場合に、前記画像中の前記運転者の眉毛と上瞼との距離が変化しない場合よりも、前記運転者が前記電子機器を使用中であると判定しやすくなる、請求項１又は２に記載の運転者監視装置。
【請求項7】
前記第２判定部は、
前記画像中の前記運転者の顔向きの横方向の移動の繰り返しを検知する機能を有し、
前記画像中の前記運転者の顔向きの横方向の移動が繰り返される場合に、前記画像中の前記運転者の顔向きの横方向の移動の繰り返しが無い場合よりも、前記運転者が前記電子機器を使用中であると判定しやすくなる、請求項１又は２に記載の運転者監視装置。
前記画像中の前記運転者の顔向きの横方向の移動の繰り返しを検知する機能を有し、
前記画像中の前記運転者の顔向きの横方向の移動が繰り返される場合に、前記画像中の前記運転者の顔向きの横方向の移動の繰り返しが無い場合よりも、前記運転者が前記電子機器を使用中であると判定しやすくなる、請求項１又は２に記載の運転者監視装置。
【請求項8】
前記第２判定部は、
前記画像中の前記運転者の右肩及び左肩の位置及び動きの左右非対称を検知する機能を有し、
前記画像中の前記運転者の右肩及び左肩の位置及び動きが左右非対称である場合に、前記画像中の前記運転者の右肩及び左肩の位置及び動きが左右非対称でない場合よりも、前記運転者が前記電子機器を使用中であると判定しやすくなる、請求項１又は２に記載の運転者監視装置。
前記画像中の前記運転者の右肩及び左肩の位置及び動きの左右非対称を検知する機能を有し、
前記画像中の前記運転者の右肩及び左肩の位置及び動きが左右非対称である場合に、前記画像中の前記運転者の右肩及び左肩の位置及び動きが左右非対称でない場合よりも、前記運転者が前記電子機器を使用中であると判定しやすくなる、請求項１又は２に記載の運転者監視装置。
【請求項9】
前記第２判定部は、
前記運転者の顔を含む前記画像から前記運転者の口元の動きを解析する読唇解析機能を有し、
前記運転者が発話中であると解析する場合に、前記運転者が発話中でないと解析する場合よりも、前記運転者が前記電子機器を使用中であると判定しやすくなる、請求項１又は２に記載の運転者監視装置。
前記運転者の顔を含む前記画像から前記運転者の口元の動きを解析する読唇解析機能を有し、
前記運転者が発話中であると解析する場合に、前記運転者が発話中でないと解析する場合よりも、前記運転者が前記電子機器を使用中であると判定しやすくなる、請求項１又は２に記載の運転者監視装置。
【請求項10】
前記第２判定部は、
顔面動作符号化システム（ＦＡＣＳ）を用いて顔表情検知を行う機能を有し、
前記顔面動作符号化システムを用いて前記運転者の顔表情の変化を検知した場合に、前記運転者の顔表情の変化を検知しない場合よりも、前記運転者が前記電子機器を使用中であると判定しやすくなる、請求項１又は２に記載の運転者監視装置。
顔面動作符号化システム（ＦＡＣＳ）を用いて顔表情検知を行う機能を有し、
前記顔面動作符号化システムを用いて前記運転者の顔表情の変化を検知した場合に、前記運転者の顔表情の変化を検知しない場合よりも、前記運転者が前記電子機器を使用中であると判定しやすくなる、請求項１又は２に記載の運転者監視装置。
【請求項11】
運転者監視装置が、車両の自動運転制御を実行する車両制御ステップと、
前記運転者監視装置が、前記車両の運転者が居眠り状態又は強い眠気状態にある可能性があるか否かの第１判定を実行する第１判定ステップと、
前記運転者監視装置が、前記運転者が電子機器を使用中であるか否かの第２判定を実行する第２判定ステップとを備え、
前記第２判定ステップでは、ドライバモニタカメラによって撮影された前記運転者の顔を含む画像と、前記運転者が居眠り状態又は強い眠気状態にあるときの前記運転者の行動特徴と前記運転者が前記電子機器を使用するときの前記運転者の行動特徴との違いを示す行動特徴情報とに基づいて、前記第２判定が実行される、運転者監視方法。
前記運転者監視装置が、前記車両の運転者が居眠り状態又は強い眠気状態にある可能性があるか否かの第１判定を実行する第１判定ステップと、
前記運転者監視装置が、前記運転者が電子機器を使用中であるか否かの第２判定を実行する第２判定ステップとを備え、
前記第２判定ステップでは、ドライバモニタカメラによって撮影された前記運転者の顔を含む画像と、前記運転者が居眠り状態又は強い眠気状態にあるときの前記運転者の行動特徴と前記運転者が前記電子機器を使用するときの前記運転者の行動特徴との違いを示す行動特徴情報とに基づいて、前記第２判定が実行される、運転者監視方法。
【請求項12】
プロセッサに、
車両の自動運転制御を実行する車両制御ステップと、
前記車両の運転者が居眠り状態又は強い眠気状態にある可能性があるか否かの第１判定を実行する第１判定ステップと、
前記運転者が電子機器を使用中であるか否かの第２判定を実行する第２判定ステップとを実行させるためのプログラムであって、
前記第２判定ステップでは、ドライバモニタカメラによって撮影された前記運転者の顔を含む画像と、前記運転者が居眠り状態又は強い眠気状態にあるときの前記運転者の行動特徴と前記運転者が前記電子機器を使用するときの前記運転者の行動特徴との違いを示す行動特徴情報とに基づいて、前記第２判定が実行される、プログラム。
車両の自動運転制御を実行する車両制御ステップと、
前記車両の運転者が居眠り状態又は強い眠気状態にある可能性があるか否かの第１判定を実行する第１判定ステップと、
前記運転者が電子機器を使用中であるか否かの第２判定を実行する第２判定ステップとを実行させるためのプログラムであって、
前記第２判定ステップでは、ドライバモニタカメラによって撮影された前記運転者の顔を含む画像と、前記運転者が居眠り状態又は強い眠気状態にあるときの前記運転者の行動特徴と前記運転者が前記電子機器を使用するときの前記運転者の行動特徴との違いを示す行動特徴情報とに基づいて、前記第２判定が実行される、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、運転者監視装置、運転者監視方法及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、対象人物の眠気を検出する眠気検出装置について記載されている。特許文献１に記載された技術では、対象人物の目が眠り目であるか否かが判断され、対象人物のまぶたの動きが生じた直後に顔向き角度の変化が生じたか否かが判断される。また、特許文献１には、眠り目が所定時間以上半眼状態又は閉眼状態にある目である旨、運転者のまぶたの動きが生じた直後に顔向き角度の変化が生じたと判断された場合に運転者の目が眠り目ではない（下方視等である）と判断される旨等が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１１－０４８５３１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、運転者が車両内で電子機器を使用するときにドライバモニタカメラによって撮影される運転者の顔の画像は、運転者が居眠り状態又は強い眠気状態にあるときにドライバモニタカメラによって撮影される運転者の顔の画像と同様の画像になる。
一方、特許文献１に記載された技術では、運転者が電子機器を使用中であるか否かの判定が行われない。そのため、特許文献１に記載された技術では、運転者が電子機器を使用中に、運転者が居眠り状態又は強い眠気状態にあると誤判定されてしまうおそれがある。
一方、特許文献１に記載された技術では、運転者が電子機器を使用中であるか否かの判定が行われない。そのため、特許文献１に記載された技術では、運転者が電子機器を使用中に、運転者が居眠り状態又は強い眠気状態にあると誤判定されてしまうおそれがある。
【0005】
上述した点に鑑み、本開示は、車両の運転者が電子機器を使用中の場合と居眠り状態又は強い眠気状態にある場合とを判別することができる運転者監視装置、運転者監視方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
（１）本開示の一態様は、車両の自動運転制御を実行する車両制御部と、前記車両の運転者が居眠り状態又は強い眠気状態にある可能性があるか否かの第１判定を実行する第１判定部と、前記運転者が電子機器を使用中であるか否かの第２判定を実行する第２判定部とを備え、前記第２判定部は、ドライバモニタカメラによって撮影された前記運転者の顔を含む画像と、前記運転者が居眠り状態又は強い眠気状態にあるときの前記運転者の行動特徴と前記運転者が前記電子機器を使用するときの前記運転者の行動特徴との違いを示す行動特徴情報とに基づいて、前記第２判定を実行する、運転者監視装置である。
【0007】
（２）（１）の運転者監視装置では、前記第２判定部は、前記運転者が前記電子機器を使用可能なレベルの前記自動運転制御を前記車両制御部が実行中に、前記第２判定を実行してもよい。
【0008】
（３）（１）又は（２）の運転者監視装置では、前記第２判定部は、前記運転者が居眠り状態又は強い眠気状態にある可能性があると前記第１判定部が判定した場合に、前記第２判定を実行してもよい。
【0009】
（４）（１）～（３）のいずれかの運転者監視装置では、前記第２判定部は、前記運転者が居眠り状態又は強い眠気状態にある可能性があると前記第１判定部が判定した場合に、前記第１判定部が前記第１判定にかけた時間より長い時間をかけて前記第２判定を実行してもよい。
【0010】
（５）（１）～（４）のいずれかの運転者監視装置では、前記運転者が居眠り状態又は強い眠気状態にあるときの前記運転者の行動特徴には、前記運転者の頭が後ろに倒れること、前記運転者が眠気との葛藤で頭を大きく速く振ること、前記運転者が深呼吸すること、前記運転者の動作がマイクロスリープイベントに該当すること及び前記運転者の表情筋が緩むことの少なくともいずれかが含まれ、前記運転者が前記電子機器を使用するときの前記運転者の行動特徴には、前記運転者が前記電子機器の画面に表示されたテキストを目で追う時に前記運転者の上瞼が上下に動くこと、前記運転者が前記電子機器の画面に表示されたテキストを目で追う時に前記運転者の首が左右に動くこと、前記運転者が右手及び左手の一方により前記電子機器を保持しかつ前記運転者の右手及び左手の他方により前記電子機器を操作する時に前記運転者の右肩及び左肩の一方のみが左右に動くこと、前記運転者の発話に伴って前記運転者の口が動くこと及び前記運転者の顔表情が変化することの少なくともいずれかが含まれてもよい。
【0011】
（６）（１）～（５）のいずれかの運転者監視装置では、前記第２判定部は、前記画像中の前記運転者の眉毛と上瞼との距離の変化を検知する機能を有し、前記画像中の前記運転者の眉毛と上瞼との距離が変化する場合に、前記画像中の前記運転者の眉毛と上瞼との距離が変化しない場合よりも、前記運転者が前記電子機器を使用中であると判定しやすくなってもよい。
【0012】
（７）（１）～（６）のいずれかの運転者監視装置では、前記第２判定部は、前記画像中の前記運転者の顔向きの横方向の移動の繰り返しを検知する機能を有し、前記画像中の前記運転者の顔向きの横方向の移動が繰り返される場合に、前記画像中の前記運転者の顔向きの横方向の移動の繰り返しが無い場合よりも、前記運転者が前記電子機器を使用中であると判定しやすくなってもよい。
【0013】
（８）（１）～（７）のいずれかの運転者監視装置では、前記第２判定部は、前記画像中の前記運転者の右肩及び左肩の位置及び動きの左右非対称を検知する機能を有し、前記画像中の前記運転者の右肩及び左肩の位置及び動きが左右非対称である場合に、前記画像中の前記運転者の右肩及び左肩の位置及び動きが左右非対称でない場合よりも、前記運転者が前記電子機器を使用中であると判定しやすくなってもよい。
【0014】
（９）（１）～（８）のいずれかの運転者監視装置では、前記第２判定部は、前記運転者の顔を含む前記画像から前記運転者の口元の動きを解析する読唇解析機能を有し、前記運転者が発話中であると解析する場合に、前記運転者が発話中でないと解析する場合よりも、前記運転者が前記電子機器を使用中であると判定しやすくなってもよい。
【0015】
（１０）（１）～（９）のいずれかの運転者監視装置では、前記第２判定部は、顔面動作符号化システム（ＦＡＣＳ）を用いて顔表情検知を行う機能を有し、前記顔面動作符号化システムを用いて前記運転者の顔表情の変化を検知した場合に、前記運転者の顔表情の変化を検知しない場合よりも、前記運転者が前記電子機器を使用中であると判定しやすくなってもよい。
【0016】
（１１）本開示の一態様は、運転者監視装置が、車両の自動運転制御を実行する車両制御ステップと、前記運転者監視装置が、前記車両の運転者が居眠り状態又は強い眠気状態にある可能性があるか否かの第１判定を実行する第１判定ステップと、前記運転者監視装置が、前記運転者が電子機器を使用中であるか否かの第２判定を実行する第２判定ステップとを備え、前記第２判定ステップでは、ドライバモニタカメラによって撮影された前記運転者の顔を含む画像と、前記運転者が居眠り状態又は強い眠気状態にあるときの前記運転者の行動特徴と前記運転者が前記電子機器を使用するときの前記運転者の行動特徴との違いを示す行動特徴情報とに基づいて、前記第２判定が実行される、運転者監視方法である。
【0017】
（１０）本開示の一態様は、プロセッサに、車両の自動運転制御を実行する車両制御ステップと、前記車両の運転者が居眠り状態又は強い眠気状態にある可能性があるか否かの第１判定を実行する第１判定ステップと、前記運転者が電子機器を使用中であるか否かの第２判定を実行する第２判定ステップとを実行させるためのプログラムであって、前記第２判定ステップでは、ドライバモニタカメラによって撮影された前記運転者の顔を含む画像と、前記運転者が居眠り状態又は強い眠気状態にあるときの前記運転者の行動特徴と前記運転者が前記電子機器を使用するときの前記運転者の行動特徴との違いを示す行動特徴情報とに基づいて、前記第２判定が実行される、プログラムである。
【発明の効果】
【0018】
本開示によれば、車両の運転者が電子機器を使用中の場合と居眠り状態又は強い眠気状態にある場合とを判別することができる。
【図面の簡単な説明】
【0019】
【図1】第１実施形態の運転者監視装置１２が適用された車両１０の概略構成の一例を示す図である。
【図4】第１実施形態の運転者監視装置１２のプロセッサ２３によって実行される処理の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【0020】
以下、図面を参照し、本開示の運転者監視装置、運転者監視方法及びプログラムの実施形態について説明する。
【0021】
【0022】
図１及び図２に示す例では、車両１０が、車外カメラ２と、レーダー３と、LiDAR(Light Detection And Ranging)４と、運転者監視装置１２とを備えている。車外カメラ２は、車両１０の周辺車両及び車両１０の周辺の道路環境（例えば道路構造、ルール等）を示す画像を撮影し、周辺車両及び周辺の道路環境を示す画像データを生成して運転者監視装置１２に送信する。レーダー３は、例えばミリ波レーダー等であり、車両１０に対する周辺車両及び周辺の道路構造の相対位置及び相対速度を検出し、その検出結果を運転者監視装置１２に送信する。LiDAR４は、車両１０に対する周辺車両及び周辺の道路構造の相対位置及び相対速度を検出し、その検出結果を運転者監視装置１２に送信する。
車外カメラ２、レーダー３及びLiDAR４は、車両１０外の物標を検出することによって、車両１０の衝突可能性を検知することができる。
車外カメラ２、レーダー３及びLiDAR４は、車両１０外の物標を検出することによって、車両１０の衝突可能性を検知することができる。
【0023】
また、車両１０は、ＧＰＳ(Global Positioning System)ユニット５と、地図情報ユニット６とを備えている。ＧＰＳユニット５は、ＧＰＳ信号に基づいて車両１０の現在位置を示す位置情報を取得し、車両１０の位置情報を運転者監視装置１２に送信する。地図情報ユニット６は、例えば車両１０に搭載されたＨＤＤ（Hard Disk Drive）、ＳＳＤ(Solid State Drive)等のストレージ内に形成されている。地図情報ユニット６が有する地図情報には、道路構造（道路の位置、道路の形状、車線構造等）、ルール等の各種の情報が含まれる。
【0024】
更に、車両１０は、ドライバモニタカメラ７と、ＨＭＩ（Human Machine Interface）８とを備えている。ドライバモニタカメラ７は、車両１０の運転者の顔を含む画像を撮影する。
【0025】
図３は図１に示すドライバモニタカメラ７の配置の一例を示す図である。
図１～図３に示す例では、ドライバモニタカメラ７が、運転者の顔及び上半身の一部を撮像することができるように、車両１０のステアリングコラム（図示せず）の上部に配置されている。つまり、ドライバモニタカメラ７の撮像領域には、運転者の右肩及び左肩が含まれるものの、運転者の右手首及び左手首は含まれない。
他の例では、ドライバモニタカメラ７が車両１０のセンタークラスタに配置されたり、ドライバモニタカメラ７が車両１０のルームミラー、メータパネル、メータフード等に配置されたりしてもよい。これらの例においても、運転者の右手首及び左手首は、ドライバモニタカメラ７の撮像領域に含まれない。
図１～図３に示す例では、ドライバモニタカメラ７が、運転者の顔及び上半身の一部を撮像することができるように、車両１０のステアリングコラム（図示せず）の上部に配置されている。つまり、ドライバモニタカメラ７の撮像領域には、運転者の右肩及び左肩が含まれるものの、運転者の右手首及び左手首は含まれない。
他の例では、ドライバモニタカメラ７が車両１０のセンタークラスタに配置されたり、ドライバモニタカメラ７が車両１０のルームミラー、メータパネル、メータフード等に配置されたりしてもよい。これらの例においても、運転者の右手首及び左手首は、ドライバモニタカメラ７の撮像領域に含まれない。
【0026】
図１及び図２に示す例では、ＨＭＩ８が、運転者監視装置１２と運転者との間で情報の入出力を行うためのインターフェースである。ＨＭＩ８は、運転者に各種情報を提供するための情報提供装置、具体的には、文字、画像等を表示するディスプレイ、音声を出力するスピーカ等を備えている。また、ＨＭＩ８は、運転者の音声入力を受け付けるマイク、運転者の入力操作を受け付ける操作ボタン、タッチパネル等を備えている。
車外カメラ２とレーダー３とLiDAR４とＧＰＳユニット５と地図情報ユニット６とドライバモニタカメラ７とＨＭＩ８と運転者監視装置１２とは、車内ネットワーク１３を介して接続されている。
車外カメラ２とレーダー３とLiDAR４とＧＰＳユニット５と地図情報ユニット６とドライバモニタカメラ７とＨＭＩ８と運転者監視装置１２とは、車内ネットワーク１３を介して接続されている。
【0027】
また、車両１０は、操舵アクチュエータ１４と、制動アクチュエータ１５と、駆動アクチュエータ１６とを備えている。操舵アクチュエータ１４には、例えばパワーステアリングシステム、ステアバイワイヤ操舵システム、後輪操舵システム等が含まれる。制動アクチュエータ１５は、車両１０を減速させる機能を有する。制動アクチュエータ１５には、例えば油圧ブレーキ、電力回生ブレーキ等が含まれる。駆動アクチュエータ１６は、車両１０を加速させる機能を有する。駆動アクチュエータ１６には、例えばエンジン、ＥＶ（電気自動車）システム、ハイブリッドシステム、燃料電池システム等が含まれる。
【0028】
図１及び図２に示す例では、運転者監視装置１２が、自動運転ＥＣＵによって構成されている。運転者監視装置１２（自動運転ＥＣＵ）は、SAE(Society of Automotive Engineers)の定義によるレベル３の運転制御レベル、すなわち、運転者による操舵アクチュエータ１４、制動アクチュエータ１５及び駆動アクチュエータ１６の操作及び車両１０の周囲の監視を必要としない運転制御レベルで車両１０を制御可能である。また、運転者監視装置１２（自動運転ＥＣＵ）は、運転者が車両１０の運転に関与する運転制御レベル、例えばSAEの定義によるレベル０～２の運転制御レベルで車両１０を制御する機能を有する。
【0029】
SAEの定義によるレベル３の自動運転では、システム操縦時に車両１０の運転者にセカンダリアクティビティ（飲食、スマートフォン操作、映画視聴等）が許容されるものの、運転交代要請にスムーズに対応できない運転者の居眠りや大きなシートリクライニング移動は許容されない。つまり、車両１０の運転者は、運転交代要請に応じて運転復帰できる状態を常に維持する必要がある。そのため、運転者監視装置１２は、ドライバモニタカメラ７を用いることによって、運転者が運転交代に適した状態を維持しているか否かを常時監視する。具体的には、運転者監視装置１２は、運転者が一定時間以内に運転復帰できる状態（Available状態）であるか否かを監視する。例えば運転者が運転席に着座してシートベルトを着用した状態であって居眠りしていない状態である場合に、運転者監視装置１２は、運転者がAvailable状態であると判定する。
運転者監視装置１２がAvailable状態であると判定するために一定時間毎にボタンを押すこと等を運転者に求める手法が考えられるが、その手法では、セカンダリアクティビティが許容されている運転者に煩わしい操作（ボタンを押す操作）を強いることになってしまい、適切ではない。
そこで、図１及び図２に示す例では、運転者監視装置１２が、ドライバモニタカメラ７によって撮影された運転者の顔を含む画像を用いることによって、運転者が居眠りしているか否かを検知する機能を有する。詳細には、運転者監視装置１２が、車両１０の運転者の開閉眼検知機能を有する。
運転者監視装置１２がAvailable状態であると判定するために一定時間毎にボタンを押すこと等を運転者に求める手法が考えられるが、その手法では、セカンダリアクティビティが許容されている運転者に煩わしい操作（ボタンを押す操作）を強いることになってしまい、適切ではない。
そこで、図１及び図２に示す例では、運転者監視装置１２が、ドライバモニタカメラ７によって撮影された運転者の顔を含む画像を用いることによって、運転者が居眠りしているか否かを検知する機能を有する。詳細には、運転者監視装置１２が、車両１０の運転者の開閉眼検知機能を有する。
【0030】
ドライバモニタカメラ７が車両１０のステアリングコラムの上部に配置されたり（図３に示す例）、ドライバモニタカメラ７が車両１０のセンタークラスタに配置されたりする場合、運転者監視装置１２は、運転者が首を垂れている時にドライバモニタカメラ７によって撮影された運転者の顔を含む画像に基づいて運転者の目の開閉状態を検知できないため、運転者が居眠りしているか否かを正確に推定することができない。
また、ドライバモニタカメラ７が車両１０のステアリングコラムの上部に配置されたり、ドライバモニタカメラ７が車両１０のセンタークラスタに配置されたりする場合、ドライバモニタカメラ７は、画角の制約から、運転者の手首を含む画像を撮影することができない。
一方で、上述したようにSAEの定義によるレベル３の自動運転では、車両１０の運転者による電子機器の使用（例えばスマートフォンの操作、タブレット端末等を用いた映画の視聴等）が許容される。
したがって、車両１０の運転者が、例えば首を垂れて居眠りしている（居眠り状態又は強い眠気状態にある）のか、あるいは、電子機器を使用しているのかを判別できる必要がある。その点に鑑み、第１実施形態の運転者監視装置１２では、後述する対策が施されている。
また、ドライバモニタカメラ７が車両１０のステアリングコラムの上部に配置されたり、ドライバモニタカメラ７が車両１０のセンタークラスタに配置されたりする場合、ドライバモニタカメラ７は、画角の制約から、運転者の手首を含む画像を撮影することができない。
一方で、上述したようにSAEの定義によるレベル３の自動運転では、車両１０の運転者による電子機器の使用（例えばスマートフォンの操作、タブレット端末等を用いた映画の視聴等）が許容される。
したがって、車両１０の運転者が、例えば首を垂れて居眠りしている（居眠り状態又は強い眠気状態にある）のか、あるいは、電子機器を使用しているのかを判別できる必要がある。その点に鑑み、第１実施形態の運転者監視装置１２では、後述する対策が施されている。
【0031】
図１及び図２に示す例では、運転者監視装置１２が、通信インターフェース（Ｉ／Ｆ）２１とメモリ２２とプロセッサ２３とを備えるマイクロコンピュータによって構成されている。通信インターフェース２１とメモリ２２とプロセッサ２３とは、信号線２４を介して接続されている。通信インターフェース２１は、運転者監視装置１２を車内ネットワーク１３に接続するためのインターフェース回路を有する。メモリ２２は、記憶部の一例であり、例えば揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。メモリ２２は、プロセッサ２３により実行される処理において使用されるプログラム及び各種のデータを記憶する。プロセッサ２３は、車両１０の運転者が電子機器を使用可能なレベルの自動運転（例えばSAEの定義によるレベル３の自動運転）を実行する機能等を有する。
図１及び図２に示す例では、運転者監視装置１２が１つのプロセッサ２３を備えているが、他の例では、運転者監視装置１２が複数のプロセッサを備えていてもよい。また、図１及び図２に示す例では、運転者監視装置１２が１つのＥＣＵ（自動運転ＥＣＵ）によって構成されているが、他の例では、運転者監視装置１２が複数のＥＣＵ（自動運転ＥＣＵ及び自動運転ＥＣＵ以外のＥＣＵ）によって構成されていてもよい。
図１及び図２に示す例では、運転者監視装置１２が１つのプロセッサ２３を備えているが、他の例では、運転者監視装置１２が複数のプロセッサを備えていてもよい。また、図１及び図２に示す例では、運転者監視装置１２が１つのＥＣＵ（自動運転ＥＣＵ）によって構成されているが、他の例では、運転者監視装置１２が複数のＥＣＵ（自動運転ＥＣＵ及び自動運転ＥＣＵ以外のＥＣＵ）によって構成されていてもよい。
【0032】
図１及び図２に示す例では、プロセッサ２３が、取得部２３１と、制御部２３２とを備えている。取得部２３１は、周辺車両情報取得部２３１Ａと、周辺道路環境情報取得部２３１Ｂと、画像取得部２３１Ｃとを備えている。
周辺車両情報取得部２３１Ａは、車両１０の周辺車両の位置、速度等を示す情報である周辺車両情報を車外カメラ２、レーダー３及びLiDAR４から取得する。詳細には、周辺車両情報取得部２３１Ａは、車外カメラ２、レーダー３及びLiDAR４から送信された情報に基づいて、周辺車両の位置、速度等を認識する機能を有する。
周辺道路環境情報取得部２３１Ｂは、車両１０の周辺道路環境を示す情報である周辺道路環境情報を取得する。詳細には、周辺道路環境情報取得部２３１Ｂは、車外カメラ２、レーダー３及びLiDAR４から送信された情報に基づいて、車両１０の周辺の道路構造、ルール等を認識する機能を有する。また、周辺道路環境情報取得部２３１Ｂは、地図情報ユニット６から送信された地図情報に基づいて、車両１０の周辺の道路構造、ルール等を認識する機能を有する。
画像取得部２３１Ｃは、ドライバモニタカメラ７によって撮影された車両１０の運転者の顔を含む画像を取得する。
周辺車両情報取得部２３１Ａは、車両１０の周辺車両の位置、速度等を示す情報である周辺車両情報を車外カメラ２、レーダー３及びLiDAR４から取得する。詳細には、周辺車両情報取得部２３１Ａは、車外カメラ２、レーダー３及びLiDAR４から送信された情報に基づいて、周辺車両の位置、速度等を認識する機能を有する。
周辺道路環境情報取得部２３１Ｂは、車両１０の周辺道路環境を示す情報である周辺道路環境情報を取得する。詳細には、周辺道路環境情報取得部２３１Ｂは、車外カメラ２、レーダー３及びLiDAR４から送信された情報に基づいて、車両１０の周辺の道路構造、ルール等を認識する機能を有する。また、周辺道路環境情報取得部２３１Ｂは、地図情報ユニット６から送信された地図情報に基づいて、車両１０の周辺の道路構造、ルール等を認識する機能を有する。
画像取得部２３１Ｃは、ドライバモニタカメラ７によって撮影された車両１０の運転者の顔を含む画像を取得する。
【0033】
制御部２３２は、車両制御部２３２Ａと、顔検出部２３２Ｂと、顔部品検出部２３２Ｃと、顔特徴量抽出部２３２Ｄと、第１判定部２３２Ｅと、第２判定部２３２Ｆと、警告部２３２Ｇとを備えている。
車両制御部２３２Ａは、車両１０の自動運転制御を実行する。詳細には、車両制御部２３２Ａは、車両１０の運転者が電子機器を使用可能なレベルの自動運転制御を実行する機能を有する。車両制御部２３２Ａは、例えばSAEの定義によるレベル３の運転制御レベルで車両１０を制御可能である。
車両制御部２３２Ａは、車両１０の自動運転制御を実行する。詳細には、車両制御部２３２Ａは、車両１０の運転者が電子機器を使用可能なレベルの自動運転制御を実行する機能を有する。車両制御部２３２Ａは、例えばSAEの定義によるレベル３の運転制御レベルで車両１０を制御可能である。
【0034】
顔検出部２３２Ｂは、例えば顔認識ＡＩ（人工知能）等のような公知の顔認識技術を用いることにより、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者の顔を検出する。
顔部品検出部２３２Ｃは、顔検出部２３２Ｂによって検出された車両１０の運転者の顔から、公知の顔部品検出技術を用いることにより、車両１０の運転者の顔部品（例えば目、鼻、口等）を検出する。
顔特徴量抽出部２３２Ｄは、顔検出部２３２Bによって検出された車両１０の運転者の顔から、公知の顔特徴量抽出技術を用いることにより、車両１０の運転者の顔特徴量を抽出する。また、顔特徴量抽出部２３２Ｄは、顔部品検出部２３２Ｃの処理結果と、公知の顔向き検出技術とを用いることにより、車両１０の運転者の顔向きを検出する。
顔部品検出部２３２Ｃは、顔検出部２３２Ｂによって検出された車両１０の運転者の顔から、公知の顔部品検出技術を用いることにより、車両１０の運転者の顔部品（例えば目、鼻、口等）を検出する。
顔特徴量抽出部２３２Ｄは、顔検出部２３２Bによって検出された車両１０の運転者の顔から、公知の顔特徴量抽出技術を用いることにより、車両１０の運転者の顔特徴量を抽出する。また、顔特徴量抽出部２３２Ｄは、顔部品検出部２３２Ｃの処理結果と、公知の顔向き検出技術とを用いることにより、車両１０の運転者の顔向きを検出する。
【0035】
第１判定部２３２Ｅは、顔特徴量抽出部２３２Ｄによる車両１０の運転者の顔向きの検出結果等に基づいて、車両１０の運転者が居眠り状態又は強い眠気状態にある可能性があるか否かの第１判定を実行する。
具体的には、第１判定部２３２Ｅは、公知の居眠り検知技術を用いることにより、車両１０の運転者が居眠り状態又は強い眠気状態にある可能性があるか否かを判定する。
例えばドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者が閉眼しているように見える場合、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者の頭が前に傾く場合、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者の肩の上下動等のような運転者の体全体の動きがある場合、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者の口が動く場合、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者が手で顔を触る場合、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者が頷くような顔の動きをする場合等に、第１判定部２３２Ｅは、車両１０の運転者が居眠り状態又は強い眠気状態にある可能性があると判定する。
具体的には、第１判定部２３２Ｅは、公知の居眠り検知技術を用いることにより、車両１０の運転者が居眠り状態又は強い眠気状態にある可能性があるか否かを判定する。
例えばドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者が閉眼しているように見える場合、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者の頭が前に傾く場合、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者の肩の上下動等のような運転者の体全体の動きがある場合、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者の口が動く場合、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者が手で顔を触る場合、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者が頷くような顔の動きをする場合等に、第１判定部２３２Ｅは、車両１０の運転者が居眠り状態又は強い眠気状態にある可能性があると判定する。
【0036】
一方、運転者が居眠り状態又は強い眠気状態にある場合に、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者が閉眼しているように見えるのみならず、運転者が伏せ目で（つまり、顔を前向きにしつつ視線を下向きにした状態で）電子機器を使用中（例えばスマートフォンの操作中、タブレット端末等を用いた映画の視聴中等）にも、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者は閉眼しているように見える。
また、運転者が居眠り状態又は強い眠気状態にある場合に、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者の頭が前に傾くのみならず、運転者が電子機器を使用中にも、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者の頭は前に傾く。
運転者が強い眠気状態にある場合に、ドライバモニタカメラ７によって撮影された画像に含まれる眠気と葛藤する運転者の肩の上下動等のような運転者の体全体の動きがあるのみならず、運転者が例えばスマートフォンを操作中、ゲーミング中等にも、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者の体全体の動きはある。
運転者が居眠り状態にある場合に、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者の口が表情筋の緩みによって動くのみならず、運転者が例えばスマートフォン、携帯電話等を用いて通話中にも、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者の口は動く。
運転者が強い眠気状態にある場合に、ドライバモニタカメラ７によって撮影された画像に含まれる眠気と葛藤する運転者が手で顔を触るのみならず、運転者がタブレット端末等を用いた映画の視聴中等にも、ドライバモニタカメラ７によって撮影された画像に含まれる運転者が手で顔を触ることはある。
運転者が居眠り状態にある場合に、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者が頷くような顔の動きをするのみならず、運転者が例えばスマートフォン、携帯電話等を用いて通話中にも、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者が頷くような顔の動きをすることはある。
また、運転者が居眠り状態又は強い眠気状態にある場合に、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者の頭が前に傾くのみならず、運転者が電子機器を使用中にも、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者の頭は前に傾く。
運転者が強い眠気状態にある場合に、ドライバモニタカメラ７によって撮影された画像に含まれる眠気と葛藤する運転者の肩の上下動等のような運転者の体全体の動きがあるのみならず、運転者が例えばスマートフォンを操作中、ゲーミング中等にも、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者の体全体の動きはある。
運転者が居眠り状態にある場合に、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者の口が表情筋の緩みによって動くのみならず、運転者が例えばスマートフォン、携帯電話等を用いて通話中にも、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者の口は動く。
運転者が強い眠気状態にある場合に、ドライバモニタカメラ７によって撮影された画像に含まれる眠気と葛藤する運転者が手で顔を触るのみならず、運転者がタブレット端末等を用いた映画の視聴中等にも、ドライバモニタカメラ７によって撮影された画像に含まれる運転者が手で顔を触ることはある。
運転者が居眠り状態にある場合に、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者が頷くような顔の動きをするのみならず、運転者が例えばスマートフォン、携帯電話等を用いて通話中にも、ドライバモニタカメラ７によって撮影された画像に含まれる車両１０の運転者が頷くような顔の動きをすることはある。
【0037】
上述した点に鑑み、図１及び図２に示す例では、第２判定部２３２Ｆが、車両１０の運転者が電子機器を使用中（例えばスマートフォンの操作中、タブレット端末等を用いた映画の視聴中等）であるか否かの第２判定を実行する。
詳細には、第２判定部２３２Ｆは、ドライバモニタカメラ７によって撮影された車両１０の運転者の顔を含む画像と、例えば一般的な車両の運転者が居眠り状態又は強い眠気状態にあるときのその運転者の行動特徴とその運転者が電子機器を使用するときのその運転者の行動特徴との違いを示す行動特徴情報とに基づいて、第２判定を実行する。行動特徴情報は、例えば実験等において予め生成され、例えばメモリ２２等に格納されている。
詳細には、第２判定部２３２Ｆは、ドライバモニタカメラ７によって撮影された車両１０の運転者の顔を含む画像と、例えば一般的な車両の運転者が居眠り状態又は強い眠気状態にあるときのその運転者の行動特徴とその運転者が電子機器を使用するときのその運転者の行動特徴との違いを示す行動特徴情報とに基づいて、第２判定を実行する。行動特徴情報は、例えば実験等において予め生成され、例えばメモリ２２等に格納されている。
【0038】
行動特徴情報に含まれる例えば一般的な車両の運転者が居眠り状態又は強い眠気状態にあるときのその運転者の行動特徴には、例えば運転者の頭が後ろに倒れること、運転者が眠気との葛藤で頭を大きく速く振ること、運転者が深呼吸すること、運転者の動作がマイクロスリープイベントに該当する（例えば運転者の頭がガクッとなる）こと及び運転者の表情筋が緩む（その結果、運転者の顔表情がたるむ）ことが含まれる。
行動特徴情報に含まれる例えば一般的な車両の運転者が電子機器を使用するときのその運転者の行動特徴には、例えば運転者が電子機器の画面に表示されたテキストを目で追う時（例えばテキスト黙読時等）に運転者の上瞼が上下に動くこと、運転者が電子機器の画面に表示されたテキストを目で追う時に運転者の首が左右に動くこと、運転者が右手及び左手の一方により電子機器を保持しかつ運転者の右手及び左手の他方により電子機器を操作する時（例えばテキスティング時、スクロール時、スワイプ時等）に運転者の右肩及び左肩の一方のみが左右に動くこと、運転者の発話（例えば通話等）に伴って運転者の口が動くこと及び例えばゲーミング時、ムービー視聴時等に運転者の顔表情が変化することが含まれる。
行動特徴情報に含まれる例えば一般的な車両の運転者が電子機器を使用するときのその運転者の行動特徴には、例えば運転者が電子機器の画面に表示されたテキストを目で追う時（例えばテキスト黙読時等）に運転者の上瞼が上下に動くこと、運転者が電子機器の画面に表示されたテキストを目で追う時に運転者の首が左右に動くこと、運転者が右手及び左手の一方により電子機器を保持しかつ運転者の右手及び左手の他方により電子機器を操作する時（例えばテキスティング時、スクロール時、スワイプ時等）に運転者の右肩及び左肩の一方のみが左右に動くこと、運転者の発話（例えば通話等）に伴って運転者の口が動くこと及び例えばゲーミング時、ムービー視聴時等に運転者の顔表情が変化することが含まれる。
【0039】
第２判定部２３２Ｆは、ドライバモニタカメラ７によって撮影された画像中の車両１０の運転者の顔向きを検知する機能を有する。
第２判定部２３２Ｆは、車両１０の運転者の顔向きの検知結果に基づいて、車両１０の運転者の頭が後ろに倒れたか否かを判定する。車両１０の運転者の頭が後ろに倒れた場合には、車両１０の運転者の頭が後ろに倒れていない場合よりも、車両１０の運転者が電子機器を使用中ではなく居眠り状態又は強い眠気状態にあると第２判定部２３２Ｆが判定しやすくなる。
また、第２判定部２３２Ｆは、車両１０の運転者の顔向きの検知結果に基づいて、車両１０の運転者が眠気との葛藤で頭を大きく速く振ったか否かを判定する。車両１０の運転者が頭を大きく速く振った場合には、車両１０の運転者が頭を大きく速く振っていない場合よりも、車両１０の運転者が電子機器を使用中ではなく強い眠気状態にあると第２判定部２３２Ｆが判定しやすくなる。
更に、第２判定部２３２Ｆは、車両１０の運転者の顔向きの検知結果に基づいて、車両１０の運転者の動作がマイクロスリープイベントに該当した（例えば運転者の頭がガクッとなった）か否かを判定する。車両１０の運転者の動作がマイクロスリープイベントに該当した場合（つまり、運転者の頭がガクッとなった場合）には、車両１０の運転者の動作がマイクロスリープイベントに該当しない場合（つまり、運転者の頭がガクッとならない場合）よりも、車両１０の運転者が電子機器を使用中ではなく居眠り状態にあると第２判定部２３２Ｆが判定しやすくなる。
第２判定部２３２Ｆは、車両１０の運転者の顔向きの検知結果に基づいて、車両１０の運転者の頭が後ろに倒れたか否かを判定する。車両１０の運転者の頭が後ろに倒れた場合には、車両１０の運転者の頭が後ろに倒れていない場合よりも、車両１０の運転者が電子機器を使用中ではなく居眠り状態又は強い眠気状態にあると第２判定部２３２Ｆが判定しやすくなる。
また、第２判定部２３２Ｆは、車両１０の運転者の顔向きの検知結果に基づいて、車両１０の運転者が眠気との葛藤で頭を大きく速く振ったか否かを判定する。車両１０の運転者が頭を大きく速く振った場合には、車両１０の運転者が頭を大きく速く振っていない場合よりも、車両１０の運転者が電子機器を使用中ではなく強い眠気状態にあると第２判定部２３２Ｆが判定しやすくなる。
更に、第２判定部２３２Ｆは、車両１０の運転者の顔向きの検知結果に基づいて、車両１０の運転者の動作がマイクロスリープイベントに該当した（例えば運転者の頭がガクッとなった）か否かを判定する。車両１０の運転者の動作がマイクロスリープイベントに該当した場合（つまり、運転者の頭がガクッとなった場合）には、車両１０の運転者の動作がマイクロスリープイベントに該当しない場合（つまり、運転者の頭がガクッとならない場合）よりも、車両１０の運転者が電子機器を使用中ではなく居眠り状態にあると第２判定部２３２Ｆが判定しやすくなる。
【0040】
また、第２判定部２３２Ｆは、ドライバモニタカメラ７によって撮影された画像中の車両１０の運転者の右肩及び左肩の上下動を検知する機能を有する。
第２判定部２３２Ｆは、車両１０の運転者の右肩及び左肩の上下動の検知結果に基づいて、運転者が深呼吸したか否かを判定する。車両１０の運転者が深呼吸した場合には、車両１０の運転者が深呼吸していない場合よりも、車両１０の運転者が電子機器を使用中ではなく強い眠気状態にあると第２判定部２３２Ｆが判定しやすくなる。
第２判定部２３２Ｆは、車両１０の運転者の右肩及び左肩の上下動の検知結果に基づいて、運転者が深呼吸したか否かを判定する。車両１０の運転者が深呼吸した場合には、車両１０の運転者が深呼吸していない場合よりも、車両１０の運転者が電子機器を使用中ではなく強い眠気状態にあると第２判定部２３２Ｆが判定しやすくなる。
【0041】
更に、第２判定部２３２Ｆは、ドライバモニタカメラ７によって撮影された画像中の車両１０の運転者の顔表情の変化を検知する機能を有する。
第２判定部２３２Ｆは、車両１０の運転者の顔表情の変化の検知結果に基づいて、運転者の表情筋が緩んだか否かを判定する機能を有する。運転者の表情筋が緩んだ場合には、運転者の表情筋が緩んでいない場合よりも、車両１０の運転者が電子機器を使用中ではなく居眠り状態にあると第２判定部２３２Ｆが判定しやすくなる。
第２判定部２３２Ｆは、車両１０の運転者の顔表情の変化の検知結果に基づいて、運転者の表情筋が緩んだか否かを判定する機能を有する。運転者の表情筋が緩んだ場合には、運転者の表情筋が緩んでいない場合よりも、車両１０の運転者が電子機器を使用中ではなく居眠り状態にあると第２判定部２３２Ｆが判定しやすくなる。
【0042】
また、第２判定部２３２Ｆは、ドライバモニタカメラ７によって撮影された画像中の車両１０の運転者の眉毛と上瞼との距離の変化を検知する機能を有する。
車両１０の運転者の眉毛と上瞼との距離が変化する場合に、車両１０の運転者の眉毛と上瞼との距離が変化しない場合よりも、車両１０の運転者が電子機器を使用中であると第２判定部２３２Ｆが判定しやすくなる（つまり、車両１０の運転者が電子機器の画面に表示されたテキストを目で追っていると第２判定部２３２Ｆが推定しやすくなる）。
車両１０の運転者の眉毛と上瞼との距離が変化したか否かの具体的な判定手法として、例えば１０秒間等の所定時間に０．５ｍｍ以上程度の距離変化が２回以上観測された場合に、車両１０の運転者の眉毛と上瞼との距離が変化した（詳細には、微小変化の反復があった）と判定される。
車両１０の運転者の眉毛と上瞼との距離が変化する場合に、車両１０の運転者の眉毛と上瞼との距離が変化しない場合よりも、車両１０の運転者が電子機器を使用中であると第２判定部２３２Ｆが判定しやすくなる（つまり、車両１０の運転者が電子機器の画面に表示されたテキストを目で追っていると第２判定部２３２Ｆが推定しやすくなる）。
車両１０の運転者の眉毛と上瞼との距離が変化したか否かの具体的な判定手法として、例えば１０秒間等の所定時間に０．５ｍｍ以上程度の距離変化が２回以上観測された場合に、車両１０の運転者の眉毛と上瞼との距離が変化した（詳細には、微小変化の反復があった）と判定される。
【0043】
更に、第２判定部２３２Ｆは、ドライバモニタカメラ７によって撮影された画像中の車両１０の運転者の顔向きの横方向の移動の繰り返しを検知する機能を有する。
車両１０の運転者の顔向きの横方向の移動が繰り返される場合に、車両１０の運転者の顔向きの横方向の移動の繰り返しが無い場合よりも、車両１０の運転者が電子機器を使用中であると第２判定部２３２Ｆが判定しやすくなる（つまり、車両１０の運転者が電子機器の画面に表示されたテキストを目で追う時に運転者の首が左右に動いていると第２判定部２３２Ｆが推定しやすくなる）。
車両１０の運転者の顔向きの横方向の移動の繰り返しがあったか否かの具体的な判定手法として、例えば１０秒間等の所定時間に車両１０の運転者の顔向きの横方向の反復移動が２回以上観測された場合に、車両１０の運転者の顔向きの横方向の移動の繰り返しがあったと判定される。
車両１０の運転者の顔向きの横方向の移動が繰り返される場合に、車両１０の運転者の顔向きの横方向の移動の繰り返しが無い場合よりも、車両１０の運転者が電子機器を使用中であると第２判定部２３２Ｆが判定しやすくなる（つまり、車両１０の運転者が電子機器の画面に表示されたテキストを目で追う時に運転者の首が左右に動いていると第２判定部２３２Ｆが推定しやすくなる）。
車両１０の運転者の顔向きの横方向の移動の繰り返しがあったか否かの具体的な判定手法として、例えば１０秒間等の所定時間に車両１０の運転者の顔向きの横方向の反復移動が２回以上観測された場合に、車両１０の運転者の顔向きの横方向の移動の繰り返しがあったと判定される。
【0044】
また、第２判定部２３２Ｆは、ドライバモニタカメラ７によって撮影された画像中の車両１０の運転者の右肩及び左肩の位置及び動きの左右非対称を検知する機能を有する。
車両１０の運転者の右肩及び左肩の位置及び動きが左右非対称である場合に、車両１０の運転者の右肩及び左肩の位置及び動きが左右非対称でない場合よりも、車両１０の運転者が電子機器を使用中であると第２判定部２３２Ｆが判定しやすくなる（つまり、車両１０の運転者が右手及び左手の一方により電子機器を保持しかつ運転者の右手及び左手の他方により電子機器を操作していると第２判定部２３２Ｆが推定しやすくなる）。
車両１０の運転者の右肩及び左肩の位置及び動きが左右非対称であるか否かの具体的な判定手法として、例えば下記の手法が用いられる。車両１０の運転者の右肩（関節中心でも良いし肩を構成する任意の点を特徴点としても良い。または肩付近の衣類の任意の点を特徴点としても良い）に対する左肩（上記の右肩の特定方法と同様）の３次元空間的な距離についてある時間内（例えば直近３０秒で時間窓を移動していく）でヒストグラムをとり、その最頻度値（基準距離）に対する左右肩間距離変化が、例えば５ｍｍを超えてその後基準距離に戻ることが例えば10秒間等の所定時間内に２回以上観測された場合に、車両１０の運転者の右肩及び左肩の位置及び動きが左右非対称であると判定される。
車両１０の運転者の右肩及び左肩の位置及び動きが左右非対称である場合に、車両１０の運転者の右肩及び左肩の位置及び動きが左右非対称でない場合よりも、車両１０の運転者が電子機器を使用中であると第２判定部２３２Ｆが判定しやすくなる（つまり、車両１０の運転者が右手及び左手の一方により電子機器を保持しかつ運転者の右手及び左手の他方により電子機器を操作していると第２判定部２３２Ｆが推定しやすくなる）。
車両１０の運転者の右肩及び左肩の位置及び動きが左右非対称であるか否かの具体的な判定手法として、例えば下記の手法が用いられる。車両１０の運転者の右肩（関節中心でも良いし肩を構成する任意の点を特徴点としても良い。または肩付近の衣類の任意の点を特徴点としても良い）に対する左肩（上記の右肩の特定方法と同様）の３次元空間的な距離についてある時間内（例えば直近３０秒で時間窓を移動していく）でヒストグラムをとり、その最頻度値（基準距離）に対する左右肩間距離変化が、例えば５ｍｍを超えてその後基準距離に戻ることが例えば10秒間等の所定時間内に２回以上観測された場合に、車両１０の運転者の右肩及び左肩の位置及び動きが左右非対称であると判定される。
【0045】
更に、第２判定部２３２Ｆは、ドライバモニタカメラ７によって撮影された画像中の車両１０の運転者の口元の動きを解析する読唇解析機能を有する。
第２判定部２３２Ｆは、車両１０の運転者が発話中であると解析する場合に、車両１０の運転者が発話中でないと解析する場合よりも、車両１０の運転者が電子機器を使用中であると判定しやすくなる（つまり、車両１０の運転者が電子機器を用いて通話していると第２判定部２３２Ｆが推定しやすくなる）。
車両１０の運転者が発話中であるか否かの具体的な解析手法として、例えば３０秒間等の所定時間内に車両１０の運転者の開口状態および閉口状態が複数回検出された場合に、車両１０の運転者が発話中であると解析される。
第２判定部２３２Ｆは、車両１０の運転者が発話中であると解析する場合に、車両１０の運転者が発話中でないと解析する場合よりも、車両１０の運転者が電子機器を使用中であると判定しやすくなる（つまり、車両１０の運転者が電子機器を用いて通話していると第２判定部２３２Ｆが推定しやすくなる）。
車両１０の運転者が発話中であるか否かの具体的な解析手法として、例えば３０秒間等の所定時間内に車両１０の運転者の開口状態および閉口状態が複数回検出された場合に、車両１０の運転者が発話中であると解析される。
【0046】
また、第２判定部２３２Ｆは、顔面動作符号化システム（ＦＡＣＳ）を用いて車両１０の運転者の顔表情検知を行う機能を有する。
第２判定部２３２Ｆは、顔面動作符号化システムを用いて車両１０の運転者の顔表情の変化を検知した場合に、車両１０の運転者の顔表情の変化を検知しない場合よりも、車両１０の運転者が電子機器を使用中であると判定しやすくなる（つまり、電子機器を用いたゲーミング時、ムービー視聴時等に車両１０の運転者の顔表情が変化したと第２判定部２３２Ｆが推定しやすくなる）。
第２判定部２３２Ｆは、顔面動作符号化システムを用いて車両１０の運転者の顔表情の変化を検知した場合に、車両１０の運転者の顔表情の変化を検知しない場合よりも、車両１０の運転者が電子機器を使用中であると判定しやすくなる（つまり、電子機器を用いたゲーミング時、ムービー視聴時等に車両１０の運転者の顔表情が変化したと第２判定部２３２Ｆが推定しやすくなる）。
【0047】
図１及び図２に示す例では、第２判定部２３２Ｆが、ドライバモニタカメラ７によって撮影された画像中の車両１０の運転者の顔向きの検知結果と、車両１０の運転者の右肩及び左肩の上下動の検知結果と、車両１０の運転者の顔表情の変化（表情筋が緩みの有無）の検知結果と、車両１０の運転者の眉毛と上瞼との距離の変化の検知結果と、車両１０の運転者の顔向きの横方向の移動の繰り返しの検知結果と、車両１０の運転者の右肩及び左肩の位置及び動きの左右非対称の検知結果と、車両１０の運転者の口元の動きの読唇解析結果と、顔面動作符号化システムを用いた車両１０の運転者の顔表情検知結果とを組み合わせることによって、車両１０の運転者が電子機器を使用中であるか否かの第２判定を実行する。
詳細には、第２判定部２３２Ｆは、車両１０の運転者が電子機器を使用可能なレベルの自動運転制御を車両制御部２３２Ａが実行中であって、車両１０の運転者が居眠り状態又は強い眠気状態にある可能性があると第１判定部２３２Ｅが判定した場合に、第２判定を実行する。
詳細には、第２判定部２３２Ｆは、車両１０の運転者が電子機器を使用可能なレベルの自動運転制御を車両制御部２３２Ａが実行中であって、車両１０の運転者が居眠り状態又は強い眠気状態にある可能性があると第１判定部２３２Ｅが判定した場合に、第２判定を実行する。
【0048】
また、第２判定部２３２Ｆは、車両１０の運転者が居眠り状態又は強い眠気状態にある可能性があると第１判定部２３２Ｅが判定した場合に、第１判定部２３２Ｅが第１判定にかけた時間より長い時間をかけて第２判定を実行する。
警告部２３２Ｇは、車両１０の運転者が居眠り状態又は強い眠気状態にある可能性があると第１判定部２３２Ｅが判定した場合であって、車両１０の運転者が電子機器を使用中（例えばスマートフォンの操作中、タブレット端末等を用いた映画の視聴中等）でないと第２判定部２３２Ｆが判定した場合（つまり、車両１０の運転者がAvailable状態でないと運転者監視装置１２が判定した場合）に、車両１０の運転者が電子機器を使用可能なレベルの自動運転制御を解除する旨の警告（例えばSAEの定義によるレベル３の自動運転を解除する旨の警告）をＨＭＩ８に実行させる。
車両１０の運転者が居眠り状態又は強い眠気状態にある可能性があると第１判定部２３２Ｅが判定した場合であっても、車両１０の運転者が電子機器を使用中（例えばスマートフォンの操作中、タブレット端末等を用いた映画の視聴中等）であると第２判定部２３２Ｆが判定した場合（つまり、車両１０の運転者がAvailable状態であると運転者監視装置１２が判定した場合）には、警告部２３２Ｇが、車両１０の運転者が電子機器を使用可能なレベルの自動運転制御を解除する旨の警告（例えばSAEの定義によるレベル３の自動運転を解除する旨の警告）をＨＭＩ８に実行させない。そのため、車両１０の運転者は電子機器を使用し続けることができる。
すなわち、図１及び図２に示す例では、第２判定部２３２Ｆによる第２判定が実行されるため、車両１０の運転者が電子機器を使用可能なレベルの自動運転制御の実行中であって、車両１０の運転者が電子機器を使用中に、その自動運転制御を解除する旨の警告が車両１０の運転者に誤って発せられてしまうおそれを抑制することができる（すなわち、車両１０の運転者がAvailable状態であるか否かを適切に判定することができる）。
警告部２３２Ｇは、車両１０の運転者が居眠り状態又は強い眠気状態にある可能性があると第１判定部２３２Ｅが判定した場合であって、車両１０の運転者が電子機器を使用中（例えばスマートフォンの操作中、タブレット端末等を用いた映画の視聴中等）でないと第２判定部２３２Ｆが判定した場合（つまり、車両１０の運転者がAvailable状態でないと運転者監視装置１２が判定した場合）に、車両１０の運転者が電子機器を使用可能なレベルの自動運転制御を解除する旨の警告（例えばSAEの定義によるレベル３の自動運転を解除する旨の警告）をＨＭＩ８に実行させる。
車両１０の運転者が居眠り状態又は強い眠気状態にある可能性があると第１判定部２３２Ｅが判定した場合であっても、車両１０の運転者が電子機器を使用中（例えばスマートフォンの操作中、タブレット端末等を用いた映画の視聴中等）であると第２判定部２３２Ｆが判定した場合（つまり、車両１０の運転者がAvailable状態であると運転者監視装置１２が判定した場合）には、警告部２３２Ｇが、車両１０の運転者が電子機器を使用可能なレベルの自動運転制御を解除する旨の警告（例えばSAEの定義によるレベル３の自動運転を解除する旨の警告）をＨＭＩ８に実行させない。そのため、車両１０の運転者は電子機器を使用し続けることができる。
すなわち、図１及び図２に示す例では、第２判定部２３２Ｆによる第２判定が実行されるため、車両１０の運転者が電子機器を使用可能なレベルの自動運転制御の実行中であって、車両１０の運転者が電子機器を使用中に、その自動運転制御を解除する旨の警告が車両１０の運転者に誤って発せられてしまうおそれを抑制することができる（すなわち、車両１０の運転者がAvailable状態であるか否かを適切に判定することができる）。
【0049】
図４は第１実施形態の運転者監視装置１２のプロセッサ２３によって実行される処理の一例を説明するためのフローチャートである。
図４に示す例では、車両１０の運転者が電子機器を使用可能なレベルの車両１０の自動運転制御を車両制御部２３２Ａが実行中に、図４に示す処理が実行される。
図４に示す処理が開始されると、ステップＳ１１において、取得部２３１の画像取得部２３１Ｃが、ドライバモニタカメラ７によって撮影された車両１０の運転者の顔を含む画像を取得する。
ステップＳ１２では、顔検出部２３２Ｂが、ステップＳ１１において取得された画像に含まれる車両１０の運転者の顔を検出する。
ステップＳ１３では、顔部品検出部２３２Ｃが、ステップＳ１２において検出された車両１０の運転者の顔から顔部品を検出する。
ステップＳ１４では、顔特徴量抽出部２３２Ｄが、ステップＳ１２において検出された車両１０の運転者の顔から顔特徴量を抽出する。また、顔特徴量抽出部２３２Ｄは、ステップＳ１３における処理結果を用いることにより、車両１０の運転者の顔向きを検出する。
図４に示す例では、車両１０の運転者が電子機器を使用可能なレベルの車両１０の自動運転制御を車両制御部２３２Ａが実行中に、図４に示す処理が実行される。
図４に示す処理が開始されると、ステップＳ１１において、取得部２３１の画像取得部２３１Ｃが、ドライバモニタカメラ７によって撮影された車両１０の運転者の顔を含む画像を取得する。
ステップＳ１２では、顔検出部２３２Ｂが、ステップＳ１１において取得された画像に含まれる車両１０の運転者の顔を検出する。
ステップＳ１３では、顔部品検出部２３２Ｃが、ステップＳ１２において検出された車両１０の運転者の顔から顔部品を検出する。
ステップＳ１４では、顔特徴量抽出部２３２Ｄが、ステップＳ１２において検出された車両１０の運転者の顔から顔特徴量を抽出する。また、顔特徴量抽出部２３２Ｄは、ステップＳ１３における処理結果を用いることにより、車両１０の運転者の顔向きを検出する。
【0050】
ステップＳ１５では、第１判定部２３２Ｅが、ステップＳ１４における車両１０の運転者の顔向きの検出結果等に基づいて、車両１０の運転者が居眠り状態又は強い眠気状態にある可能性があるか否かを判定する。車両１０の運転者が居眠り状態又は強い眠気状態にある可能性がある場合にはステップＳ１６に進み、車両１０の運転者が居眠り状態又は強い眠気状態にある可能性がない場合にはステップＳ１１に戻る。
【0051】
ステップＳ１６では、第２判定部２３２Ｆが、車両１０の運転者が電子機器を使用中の兆候があるか否かを判定する。詳細には、第２判定部２３２Ｆは、ステップＳ１１において取得された車両１０の運転者の顔を含む画像と、ステップＳ１４における車両１０の運転者の顔向きの検出結果等と、例えば一般的な車両の運転者が居眠り状態又は強い眠気状態にあるときのその運転者の行動特徴とその運転者が電子機器を使用するときのその運転者の行動特徴との違いを示す行動特徴情報とに基づいて、車両１０の運転者が電子機器を使用中の兆候があるか否かを判定する。車両１０の運転者が電子機器を使用中の兆候がある場合にはステップＳ１７に進み、車両１０の運転者が電子機器を使用中の兆候がない場合にはステップＳ１１に戻る。
【0052】
ステップＳ１７では、第２判定部２３２Ｆが、車両１０の運転者が電子機器を使用中の兆候を示す時間を計測するためのカウンタｎをインクリメントする（ｎ＝ｎ＋１）。
ステップＳ１８において、第２判定部２３２Ｆは、カウンタｎが閾値ａより大きくなったか否かを判定する。カウンタｎが閾値ａより大きくなった場合に、第２判定部２３２Ｆは、車両１０の運転者が電子機器を使用中であると判定し、ステップＳ１９に進む。一方、カウンタｎが閾値ａより大きくない場合には、車両１０の運転者が電子機器を使用中であるか否かをまだ判定できない（つまり、車両１０の運転者が電子機器を使用中であるか否かを正確に判定するためにもっと時間をかける必要がある）ため、ステップＳ１１に戻る。
ステップＳ１９において、警告部２３２Ｇは、車両１０の運転者が電子機器を使用可能なレベルの自動運転制御を解除する旨の警告（例えばSAEの定義によるレベル３の自動運転を解除する旨の警告）をＨＭＩ８に実行させる。
ステップＳ１８において、第２判定部２３２Ｆは、カウンタｎが閾値ａより大きくなったか否かを判定する。カウンタｎが閾値ａより大きくなった場合に、第２判定部２３２Ｆは、車両１０の運転者が電子機器を使用中であると判定し、ステップＳ１９に進む。一方、カウンタｎが閾値ａより大きくない場合には、車両１０の運転者が電子機器を使用中であるか否かをまだ判定できない（つまり、車両１０の運転者が電子機器を使用中であるか否かを正確に判定するためにもっと時間をかける必要がある）ため、ステップＳ１１に戻る。
ステップＳ１９において、警告部２３２Ｇは、車両１０の運転者が電子機器を使用可能なレベルの自動運転制御を解除する旨の警告（例えばSAEの定義によるレベル３の自動運転を解除する旨の警告）をＨＭＩ８に実行させる。
【0053】
上述したように第１実施形態の運転者監視装置１２では、車両１０の運転者が居眠り状態又は強い眠気状態にある可能性があると第１判定部２３２Ｅによって判定された場合であっても、車両１０の運転者が電子機器を使用中であると第２判定部２３２Ｆによって判定された場合には、車両１０の運転者が電子機器を使用可能なレベルの自動運転制御を解除する旨の警告が車両１０の運転者に発せられない。
そのため、第１実施形態の運転者監視装置１２では、車両１０の運転者が電子機器を使用可能なレベルの自動運転制御の実行中であって、車両１０の運転者が電子機器を使用中に、その自動運転制御を解除する旨の警告が車両１０の運転者に誤って発せられてしまうおそれを抑制することができる。
そのため、第１実施形態の運転者監視装置１２では、車両１０の運転者が電子機器を使用可能なレベルの自動運転制御の実行中であって、車両１０の運転者が電子機器を使用中に、その自動運転制御を解除する旨の警告が車両１０の運転者に誤って発せられてしまうおそれを抑制することができる。
【0054】
＜第２実施形態＞
第２実施形態の運転者監視装置１２が適用された車両１０は、後述する点を除き、上述した第１実施形態の運転者監視装置１２が適用された車両１０と同様に構成されている。
第２実施形態の運転者監視装置１２が適用された車両１０は、後述する点を除き、上述した第１実施形態の運転者監視装置１２が適用された車両１０と同様に構成されている。
【0055】
第２実施形態の運転者監視装置１２では、上述した第１実施形態の運転者監視装置１２と同様に、第２判定部２３２Ｆが、ドライバモニタカメラ７によって撮影された車両１０の運転者の顔を含む画像と、例えば一般的な車両の運転者が居眠り状態又は強い眠気状態にあるときのその運転者の行動特徴とその運転者が電子機器を使用するときのその運転者の行動特徴との違いを示す行動特徴情報とに基づいて、第２判定を実行する。
【0056】
上述したように、第１実施形態の運転者監視装置１２では、行動特徴情報に含まれる例えば一般的な車両の運転者が居眠り状態又は強い眠気状態にあるときのその運転者の行動特徴に、例えば運転者の頭が後ろに倒れること（第１行動特徴）、運転者が眠気との葛藤で頭を大きく速く振ること（第２行動特徴）、運転者が深呼吸すること（第３行動特徴）、運転者の動作がマイクロスリープイベントに該当する（例えば運転者の頭がガクッとなる）こと（第４行動特徴）及び運転者の表情筋が緩む（その結果、運転者の顔表情がたるむ）こと（第５行動特徴）が含まれ、行動特徴情報に含まれる例えば一般的な車両の運転者が電子機器を使用するときのその運転者の行動特徴に、例えば運転者が電子機器の画面に表示されたテキストを目で追う時（例えばテキスト黙読時等）に運転者の上瞼が上下に動くこと（第６行動特徴）、運転者が電子機器の画面に表示されたテキストを目で追う時に運転者の首が左右に動くこと（第７行動特徴）、運転者が右手及び左手の一方により電子機器を保持しかつ運転者の右手及び左手の他方により電子機器を操作する時（例えばテキスティング時、スクロール時、スワイプ時等）に運転者の右肩及び左肩の一方のみが左右に動くこと（第８行動特徴）、運転者の発話（例えば通話等）に伴って運転者の口が動くこと（第９行動特徴）及び例えばゲーミング時、ムービー視聴時等に運転者の顔表情が変化すること（第１０行動特徴）が含まれる。
更に、第１実施形態の運転者監視装置１２では、第２判定部２３２Ｆが、ドライバモニタカメラ７によって撮影された画像中の車両１０の運転者の顔向きの検知結果（第１、第２、第４行動特徴）と、車両１０の運転者の右肩及び左肩の上下動の検知結果（第３行動特徴）と、車両１０の運転者の顔表情の変化（表情筋が緩みの有無）の検知結果（第５行動特徴）と、車両１０の運転者の眉毛と上瞼との距離の変化の検知結果（第６行動特徴）と、車両１０の運転者の顔向きの横方向の移動の繰り返しの検知結果（第７行動特徴）と、車両１０の運転者の右肩及び左肩の位置及び動きの左右非対称の検知結果（第８行動特徴）と、車両１０の運転者の口元の動きの読唇解析結果（第９行動特徴）と、顔面動作符号化システムを用いた車両１０の運転者の顔表情検知結果（第１０行動特徴）とを組み合わせることによって、車両１０の運転者が電子機器を使用中であるか否かの第２判定を実行する。
更に、第１実施形態の運転者監視装置１２では、第２判定部２３２Ｆが、ドライバモニタカメラ７によって撮影された画像中の車両１０の運転者の顔向きの検知結果（第１、第２、第４行動特徴）と、車両１０の運転者の右肩及び左肩の上下動の検知結果（第３行動特徴）と、車両１０の運転者の顔表情の変化（表情筋が緩みの有無）の検知結果（第５行動特徴）と、車両１０の運転者の眉毛と上瞼との距離の変化の検知結果（第６行動特徴）と、車両１０の運転者の顔向きの横方向の移動の繰り返しの検知結果（第７行動特徴）と、車両１０の運転者の右肩及び左肩の位置及び動きの左右非対称の検知結果（第８行動特徴）と、車両１０の運転者の口元の動きの読唇解析結果（第９行動特徴）と、顔面動作符号化システムを用いた車両１０の運転者の顔表情検知結果（第１０行動特徴）とを組み合わせることによって、車両１０の運転者が電子機器を使用中であるか否かの第２判定を実行する。
【0057】
一方、第２実施形態の運転者監視装置１２では、第２判定部２３２Ｆが第２判定を実行する時に、第１実施形態の運転者監視装置１２において用いられる検知結果（第１行動特徴～第１０行動特徴）のすべてが用いられなくてもよい。
つまり、第２実施形態の運転者監視装置１２では、第２判定部２３２Ｆが、ドライバモニタカメラ７によって撮影された画像中の車両１０の運転者の顔向きの検知結果（第１、第２、第４行動特徴）、車両１０の運転者の右肩及び左肩の上下動の検知結果（第３行動特徴）、車両１０の運転者の顔表情の変化（表情筋が緩みの有無）の検知結果（第５行動特徴）、車両１０の運転者の眉毛と上瞼との距離の変化の検知結果（第６行動特徴）、車両１０の運転者の顔向きの横方向の移動の繰り返しの検知結果（第７行動特徴）、車両１０の運転者の右肩及び左肩の位置及び動きの左右非対称の検知結果（第８行動特徴）、車両１０の運転者の口元の動きの読唇解析結果（第９行動特徴）及び顔面動作符号化システムを用いた車両１０の運転者の顔表情検知結果（第１０行動特徴）のうちの少なくとも２つの検知結果を組み合わせることによって、車両１０の運転者が電子機器を使用中であるか否かの第２判定を実行する。
つまり、第２実施形態の運転者監視装置１２では、第２判定部２３２Ｆが、ドライバモニタカメラ７によって撮影された画像中の車両１０の運転者の顔向きの検知結果（第１、第２、第４行動特徴）、車両１０の運転者の右肩及び左肩の上下動の検知結果（第３行動特徴）、車両１０の運転者の顔表情の変化（表情筋が緩みの有無）の検知結果（第５行動特徴）、車両１０の運転者の眉毛と上瞼との距離の変化の検知結果（第６行動特徴）、車両１０の運転者の顔向きの横方向の移動の繰り返しの検知結果（第７行動特徴）、車両１０の運転者の右肩及び左肩の位置及び動きの左右非対称の検知結果（第８行動特徴）、車両１０の運転者の口元の動きの読唇解析結果（第９行動特徴）及び顔面動作符号化システムを用いた車両１０の運転者の顔表情検知結果（第１０行動特徴）のうちの少なくとも２つの検知結果を組み合わせることによって、車両１０の運転者が電子機器を使用中であるか否かの第２判定を実行する。
【0058】
以上のように、本開示の運転者監視装置、運転者監視方法及びプログラムの実施形態について図面を参照して説明したが、本開示の運転者監視装置、運転者監視方法及びプログラムは上述した実施形態に限られるものではなく、本開示の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した実施形態の各例の構成を適宜組み合わせてもよい。
上述した実施形態の各例では、運転者監視装置１２（自動運転ＥＣＵ又は運転支援ＥＣＵ）において行われる処理を、プログラムを実行することにより行われるソフトウエア処理として説明したが、運転者監視装置１２において行われる処理が、ハードウエアにより行われる処理であってもよい。あるいは、運転者監視装置１２において行われる処理が、ソフトウエア及びハードウエアの双方を組み合わせた処理であってもよい。また、運転者監視装置１２のメモリ２２に記憶されるプログラム（運転者監視装置１２のプロセッサ２３の機能を実現するプログラム）が、例えば半導体メモリ、磁気記録媒体、光記録媒体等のようなコンピュータ読み取り可能な記憶媒体に記録されて提供、流通等されてもよい。
上述した実施形態の各例では、運転者監視装置１２（自動運転ＥＣＵ又は運転支援ＥＣＵ）において行われる処理を、プログラムを実行することにより行われるソフトウエア処理として説明したが、運転者監視装置１２において行われる処理が、ハードウエアにより行われる処理であってもよい。あるいは、運転者監視装置１２において行われる処理が、ソフトウエア及びハードウエアの双方を組み合わせた処理であってもよい。また、運転者監視装置１２のメモリ２２に記憶されるプログラム（運転者監視装置１２のプロセッサ２３の機能を実現するプログラム）が、例えば半導体メモリ、磁気記録媒体、光記録媒体等のようなコンピュータ読み取り可能な記憶媒体に記録されて提供、流通等されてもよい。
【符号の説明】
【0059】
２ 車外カメラ
３ レーダー
４ LiDAR
５ ＧＰＳユニット
６ 地図情報ユニット
７ ドライバモニタカメラ
８ ＨＭＩ
１０ 車両
１２ 運転者監視装置
１４ 操舵アクチュエータ
１５ 制動アクチュエータ
１６ 駆動アクチュエータ
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
２３１ 取得部
２３１Ａ 周辺車両情報取得部
２３１Ｂ 周辺道路環境情報取得部
２３１Ｃ 画像取得部
２３２ 制御部
２３２Ａ 車両制御部
２３２Ｂ 顔検出部
２３２Ｃ 顔部品検出部
２３２Ｄ 顔特徴量抽出部
２３２Ｅ 第１判定部
２３２Ｆ 第２判定部
２３２Ｇ 警告部
３ レーダー
４ LiDAR
５ ＧＰＳユニット
６ 地図情報ユニット
７ ドライバモニタカメラ
８ ＨＭＩ
１０ 車両
１２ 運転者監視装置
１４ 操舵アクチュエータ
１５ 制動アクチュエータ
１６ 駆動アクチュエータ
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
２３１ 取得部
２３１Ａ 周辺車両情報取得部
２３１Ｂ 周辺道路環境情報取得部
２３１Ｃ 画像取得部
２３２ 制御部
２３２Ａ 車両制御部
２３２Ｂ 顔検出部
２３２Ｃ 顔部品検出部
２３２Ｄ 顔特徴量抽出部
２３２Ｅ 第１判定部
２３２Ｆ 第２判定部
２３２Ｇ 警告部
【図1】
【図2】
【図3】
【図4】