ホーム > 特許ランキング > トヨタ自動車株式会社
知財求人 - 知財ポータルサイト「IP Force」
▶ トヨタ自動車株式会社の特許一覧 ▶ 株式会社デンソーの特許一覧 ▶ アイシン精機株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025012874
(43)【公開日】2025-01-24
(54)【発明の名称】運転者監視装置、運転者監視方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20250117BHJP
G08G 1/16 20060101ALI20250117BHJP
【ＦＩ】
G06T7/00 660A
G08G1/16 F
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023116039
(22)【出願日】2023-07-14
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(71)【出願人】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100147555
【弁理士】
【氏名又は名称】伊藤 公一
(74)【代理人】
【識別番号】100123593
【弁理士】
【氏名又は名称】関根 宣夫
(74)【代理人】
【識別番号】100133835
【弁理士】
【氏名又は名称】河野 努
(72)【発明者】
【氏名】大見 拓寛
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181BB04
5H181BB05
5H181BB20
5H181CC04
5H181CC27
5H181EE02
5H181FF04
5H181LL06
5H181LL20
5L096BA04
5L096CA02
5L096DA03
5L096FA69
(57)【要約】
【課題】運転者がドライバモニタカメラの撮影範囲外に位置する携帯電話を手に持って通話する行動を抑制する。
【解決手段】運転者監視装置２０は、ドライバモニタカメラ３によって撮影された車両１の運転者の顔を含むドライバモニタカメラ画像を取得する取得部２３１と、取得部２３１によって取得されたドライバモニタカメラ画像に基づいて運転者がドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話しているか否かを推定する推定部２３３とを備え、推定部２３３は携帯電話及び携帯電話を持つ運転者の手がドライバモニタカメラ画像に含まれる状態が検出され次いで携帯電話及び携帯電話を持つ運転者の手がドライバモニタカメラ画像に含まれなくなった状態が検出されかつ通話の継続を示す運転者の特徴的な行為が検出された場合に運転者がドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話していると推定する。
【選択図】図５
【解決手段】運転者監視装置２０は、ドライバモニタカメラ３によって撮影された車両１の運転者の顔を含むドライバモニタカメラ画像を取得する取得部２３１と、取得部２３１によって取得されたドライバモニタカメラ画像に基づいて運転者がドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話しているか否かを推定する推定部２３３とを備え、推定部２３３は携帯電話及び携帯電話を持つ運転者の手がドライバモニタカメラ画像に含まれる状態が検出され次いで携帯電話及び携帯電話を持つ運転者の手がドライバモニタカメラ画像に含まれなくなった状態が検出されかつ通話の継続を示す運転者の特徴的な行為が検出された場合に運転者がドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話していると推定する。
【選択図】図５
【特許請求の範囲】
【請求項1】
ドライバモニタカメラによって撮影された車両の運転者の顔を含むドライバモニタカメラ画像を取得する取得部と、
前記取得部によって取得された前記ドライバモニタカメラ画像に基づいて、運転者が、前記ドライバモニタカメラの撮影範囲外に位置する携帯電話を手に持って通話しているか否かを推定する推定部とを備え、
前記推定部は、
携帯電話及び携帯電話を持つ運転者の手が前記ドライバモニタカメラ画像に含まれる状態が検出され、次いで、携帯電話及び携帯電話を持つ運転者の手が前記ドライバモニタカメラ画像に含まれなくなった状態が検出されかつ通話の継続を示す運転者の特徴的な行為が検出された場合に、
運転者が前記ドライバモニタカメラの撮影範囲外に位置する携帯電話を手に持って通話していると推定する、運転者監視装置。
前記取得部によって取得された前記ドライバモニタカメラ画像に基づいて、運転者が、前記ドライバモニタカメラの撮影範囲外に位置する携帯電話を手に持って通話しているか否かを推定する推定部とを備え、
前記推定部は、
携帯電話及び携帯電話を持つ運転者の手が前記ドライバモニタカメラ画像に含まれる状態が検出され、次いで、携帯電話及び携帯電話を持つ運転者の手が前記ドライバモニタカメラ画像に含まれなくなった状態が検出されかつ通話の継続を示す運転者の特徴的な行為が検出された場合に、
運転者が前記ドライバモニタカメラの撮影範囲外に位置する携帯電話を手に持って通話していると推定する、運転者監視装置。
【請求項2】
前記通話の継続を示す運転者の特徴的な行為には、通話の継続を示す運転者の口の動き、携帯電話を持つ運転者の手を、ステアリングを把持する位置以外の位置まで移動させる行為及び運転者が手に持っている携帯電話をチラチラ見る行為の少なくともいずれかが含まれ、
前記推定部は、前記ドライバモニタカメラ画像と骨格検知とを用いることによって、携帯電話を持つ運転者の手を、前記ステアリングを把持する位置以外の位置まで移動させる行為が検出されたか否かを推定する機能を有する、請求項１に記載の運転者監視装置。
前記推定部は、前記ドライバモニタカメラ画像と骨格検知とを用いることによって、携帯電話を持つ運転者の手を、前記ステアリングを把持する位置以外の位置まで移動させる行為が検出されたか否かを推定する機能を有する、請求項１に記載の運転者監視装置。
【請求項3】
携帯電話及び携帯電話を持つ運転者の手が前記ドライバモニタカメラ画像に含まれる状態が検出されたときと、携帯電話及び携帯電話を持つ運転者の手が前記ドライバモニタカメラ画像に含まれなくなった状態及び前記通話の継続を示す運転者の特徴的な行為が検出されたときとで異なる態様で警報を発報する警報部を備える、請求項１又は２に記載の運転者監視装置。
【請求項4】
運転者監視装置が、ドライバモニタカメラによって撮影された車両の運転者の顔を含むドライバモニタカメラ画像を取得する取得ステップと、
前記運転者監視装置が、前記取得ステップにおいて取得された前記ドライバモニタカメラ画像に基づいて、運転者が、前記ドライバモニタカメラの撮影範囲外に位置する携帯電話を手に持って通話しているか否かを推定する推定ステップとを備え、
前記推定ステップでは、
携帯電話及び携帯電話を持つ運転者の手が前記ドライバモニタカメラ画像に含まれる状態が検出され、次いで、携帯電話及び携帯電話を持つ運転者の手が前記ドライバモニタカメラ画像に含まれなくなった状態が検出されかつ通話の継続を示す運転者の特徴的な行為が検出された場合に、
運転者が前記ドライバモニタカメラの撮影範囲外に位置する携帯電話を手に持って通話していると推定される、運転者監視方法。
前記運転者監視装置が、前記取得ステップにおいて取得された前記ドライバモニタカメラ画像に基づいて、運転者が、前記ドライバモニタカメラの撮影範囲外に位置する携帯電話を手に持って通話しているか否かを推定する推定ステップとを備え、
前記推定ステップでは、
携帯電話及び携帯電話を持つ運転者の手が前記ドライバモニタカメラ画像に含まれる状態が検出され、次いで、携帯電話及び携帯電話を持つ運転者の手が前記ドライバモニタカメラ画像に含まれなくなった状態が検出されかつ通話の継続を示す運転者の特徴的な行為が検出された場合に、
運転者が前記ドライバモニタカメラの撮影範囲外に位置する携帯電話を手に持って通話していると推定される、運転者監視方法。
【請求項5】
プロセッサに、
ドライバモニタカメラによって撮影された車両の運転者の顔を含むドライバモニタカメラ画像を取得する取得ステップと、
前記取得ステップにおいて取得された前記ドライバモニタカメラ画像に基づいて、運転者が、前記ドライバモニタカメラの撮影範囲外に位置する携帯電話を手に持って通話しているか否かを推定する推定ステップとを実行させるためのプログラムであって、
前記推定ステップでは、
携帯電話及び携帯電話を持つ運転者の手が前記ドライバモニタカメラ画像に含まれる状態が検出され、次いで、携帯電話及び携帯電話を持つ運転者の手が前記ドライバモニタカメラ画像に含まれなくなった状態が検出されかつ通話の継続を示す運転者の特徴的な行為が検出された場合に、
運転者が前記ドライバモニタカメラの撮影範囲外に位置する携帯電話を手に持って通話していると推定される、プログラム。
ドライバモニタカメラによって撮影された車両の運転者の顔を含むドライバモニタカメラ画像を取得する取得ステップと、
前記取得ステップにおいて取得された前記ドライバモニタカメラ画像に基づいて、運転者が、前記ドライバモニタカメラの撮影範囲外に位置する携帯電話を手に持って通話しているか否かを推定する推定ステップとを実行させるためのプログラムであって、
前記推定ステップでは、
携帯電話及び携帯電話を持つ運転者の手が前記ドライバモニタカメラ画像に含まれる状態が検出され、次いで、携帯電話及び携帯電話を持つ運転者の手が前記ドライバモニタカメラ画像に含まれなくなった状態が検出されかつ通話の継続を示す運転者の特徴的な行為が検出された場合に、
運転者が前記ドライバモニタカメラの撮影範囲外に位置する携帯電話を手に持って通話していると推定される、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、運転者監視装置、運転者監視方法及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、運転席の真正面に位置するカメラが運転者画像を撮影する旨、運転者画像から頭部姿勢情報、目部状態情報、口部状態情報等を得て、それらに基づいて運転者の注意散漫状態を検出して注意散漫動作（電話通話動作等）が発生したか否かを決定する（顔の局所領域（口部領域、目部領域等）、手部領域、動作関連物（携帯電話等）を含む動作目標枠を決定すること等を含む）旨等が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０２１－５２７９００号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、特許文献１に記載された技術では、運転者がカメラの撮影範囲外に位置する携帯電話（つまり、運転者画像に含まれない携帯電話）を手に持って通話しているか否かを判定することができず、そのため、運転者がカメラの撮影範囲外に位置する携帯電話を手に持って通話する行動を抑制することができない。
【0005】
上述した点に鑑み、本開示は、運転者がドライバモニタカメラの撮影範囲外に位置する携帯電話を手に持って通話する行動を抑制することができる運転者監視装置、運転者監視方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の一態様は、ドライバモニタカメラによって撮影された車両の運転者の顔を含むドライバモニタカメラ画像を取得する取得部と、前記取得部によって取得された前記ドライバモニタカメラ画像に基づいて、運転者が、前記ドライバモニタカメラの撮影範囲外に位置する携帯電話を手に持って通話しているか否かを推定する推定部とを備え、前記推定部は、携帯電話及び携帯電話を持つ運転者の手が前記ドライバモニタカメラ画像に含まれる状態が検出され、次いで、携帯電話及び携帯電話を持つ運転者の手が前記ドライバモニタカメラ画像に含まれなくなった状態が検出されかつ通話の継続を示す運転者の特徴的な行為が検出された場合に、運転者が前記ドライバモニタカメラの撮影範囲外に位置する携帯電話を手に持って通話していると推定する、運転者監視装置である。
【発明の効果】
【0007】
本開示によれば、運転者がドライバモニタカメラの撮影範囲外に位置する携帯電話を手に持って通話する行動を抑制することができる。
【図面の簡単な説明】
【0008】
【図1】第１実施形態の運転者監視装置２０が適用された車両１の一例を示す図である。
【図4】第１実施形態の運転者監視装置２０における骨格検知の用い方を概念的に説明するための図である。
【図5】第１実施形態の運転者監視装置２０によって実行される処理の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【0009】
以下、図面を参照し、本開示の運転者監視装置、運転者監視方法及びプログラムの実施形態について説明する。
【0010】
＜第１実施形態＞
図１は第１実施形態の運転者監視装置２０が適用された車両１の一例を示す図である。図２は図１に示す運転者監視装置２０の具体的な構成の一例を示す図である。図３は図１に示すドライバモニタカメラ３の配置の一例を示す図である。
図１～図３に示す例では、車両１が、車速センサ２と、ドライバモニタカメラ３と、ＨＭＩ（Human Machine Interface）４と、ＧＰＳ(Global Positioning System)ユニット５と、地図情報ユニット６と、車両制御装置１０と、操舵アクチュエータ１１と、制動アクチュエータ１２と、駆動アクチュエータ１３と、車内ネットワーク１４と、運転者監視装置２０とを備えている。図３に示すように、ドライバモニタカメラ３は、車両１の運転者の顔及び上半身の一部を撮像することができるように、車両１のステアリングコラム（図示せず）の上部に配置されている。他の例では、ドライバモニタカメラ３が車両１のセンタークラスタに配置されたり、ドライバモニタカメラ３が車両１のルームミラー、メータパネル、メータフード等に配置されたりしてもよい。
図１は第１実施形態の運転者監視装置２０が適用された車両１の一例を示す図である。図２は図１に示す運転者監視装置２０の具体的な構成の一例を示す図である。図３は図１に示すドライバモニタカメラ３の配置の一例を示す図である。
図１～図３に示す例では、車両１が、車速センサ２と、ドライバモニタカメラ３と、ＨＭＩ（Human Machine Interface）４と、ＧＰＳ(Global Positioning System)ユニット５と、地図情報ユニット６と、車両制御装置１０と、操舵アクチュエータ１１と、制動アクチュエータ１２と、駆動アクチュエータ１３と、車内ネットワーク１４と、運転者監視装置２０とを備えている。図３に示すように、ドライバモニタカメラ３は、車両１の運転者の顔及び上半身の一部を撮像することができるように、車両１のステアリングコラム（図示せず）の上部に配置されている。他の例では、ドライバモニタカメラ３が車両１のセンタークラスタに配置されたり、ドライバモニタカメラ３が車両１のルームミラー、メータパネル、メータフード等に配置されたりしてもよい。
【0011】
図１～図３に示す例では、運転者監視装置２０が、通信インターフェース（Ｉ／Ｆ）２１と、メモリ２２と、プロセッサ２３と、信号線２４とを備えている。プロセッサ２３は、取得部２３１としての機能と、検出部２３２としての機能と、推定部２３３としての機能と、判定部２３４としての機能と、警報部２３５としての機能とを有する。
取得部２３１は、ドライバモニタカメラ３によって撮影された車両１の運転者の顔を含むドライバモニタカメラ画像を取得する。
検出部２３２は、例えば顔認識ＡＩ（人工知能）等のような公知の顔認識技術を用いることにより、ドライバモニタカメラ画像に含まれる車両１の運転者の顔の位置を検出する機能を有する。また、検出部２３２は、公知の顔部品検出技術と同様の技術を用いることにより、ドライバモニタカメラ画像に含まれる車両１の運転者の手を検出する機能を有する。更に、検出部２３２は、公知の物体検出（物体検知）技術を用いることにより、ドライバモニタカメラ画像に含まれる物体（例えば携帯電話等）を検出する機能を有する。
つまり、検出部２３２は、携帯電話及び携帯電話を持つ車両１の運転者の手がドライバモニタカメラ画像に含まれる状態（つまり、携帯電話を持つ車両１の運転者の手が車両１の運転者の顔付近にある状態）を検出する機能を有する。また、検出部２３２は、携帯電話及び携帯電話を持つ車両１の運転者の手がドライバモニタカメラ画像に含まれなくなった状態（つまり、携帯電話又は車両１の運転者の手が車両１の運転者の顔付近になくなった状態）を検出する機能を有する。
取得部２３１は、ドライバモニタカメラ３によって撮影された車両１の運転者の顔を含むドライバモニタカメラ画像を取得する。
検出部２３２は、例えば顔認識ＡＩ（人工知能）等のような公知の顔認識技術を用いることにより、ドライバモニタカメラ画像に含まれる車両１の運転者の顔の位置を検出する機能を有する。また、検出部２３２は、公知の顔部品検出技術と同様の技術を用いることにより、ドライバモニタカメラ画像に含まれる車両１の運転者の手を検出する機能を有する。更に、検出部２３２は、公知の物体検出（物体検知）技術を用いることにより、ドライバモニタカメラ画像に含まれる物体（例えば携帯電話等）を検出する機能を有する。
つまり、検出部２３２は、携帯電話及び携帯電話を持つ車両１の運転者の手がドライバモニタカメラ画像に含まれる状態（つまり、携帯電話を持つ車両１の運転者の手が車両１の運転者の顔付近にある状態）を検出する機能を有する。また、検出部２３２は、携帯電話及び携帯電話を持つ車両１の運転者の手がドライバモニタカメラ画像に含まれなくなった状態（つまり、携帯電話又は車両１の運転者の手が車両１の運転者の顔付近になくなった状態）を検出する機能を有する。
【0012】
例えば、中華人民共和国国家標準ＧＢ／Ｔ ４１７９７－２０２２では、手に持ったスマホを顔から５ｃｍのところに３秒以上保持したら運転者に警報することが求められている。しかしながら運転者に警報されても運転者がすぐに通話を止めることはあまり期待できず、スピーカーホンにして通話を継続することなどが考えられる。例えば、中華人民共和国国家標準ＧＢ／Ｔ ４１７９７－２０２２に準拠した検知をするためには、ドライバモニタリングによって運転者の顔、顔付近の手、スマホ本体等を検出することになるが、スピーカーホンでスマホをホーンパット付近等に持たれると、運転者の手及びスマホがドライバモニタカメラの画角から外れる（ドライバモニタカメラの撮影範囲外に位置する）ため、運転者の手及びスマホを検出することが困難になる。ドライバモニタリングの弱点を悪用されてスマホによる通話が継続されることは不安全行動をさらに助長されることになるため、この状態を検出することが必要となる。
【0013】
上述した点に鑑み、図１～図３に示す例では、検出部２３２が、ドライバモニタカメラ３の撮影範囲外に移動させられた携帯電話を用いた通話の継続を示す車両１の運転者の特徴的な行為（「通話の継続を示す車両１の運転者の特徴的な行為」については後で詳細に説明する。）を検出する機能を有する。
具体的には、検出部２３２は、例えば、ドライバモニタカメラ画像及び骨格検知（例えば下記のＵＲＬが示すＷＥＢサイトに記載された技術を用いた骨格検知）の結果（例えばドライバモニタカメラの撮影範囲外に位置する骨格検知の対象の運転者の上腕、前腕等の方向）と、ドライバモニタカメラ画像に含まれ骨格検知の対象の運転者がドライバモニタカメラの撮影範囲外に移動させられた携帯電話を用いた通話の継続を示す特徴的な行為をしたか否かを示すラベルとのデータセットである教師データを用いた学習を行うことによって得られたモデルを用いることにより、取得部２３１によって取得されたドライバモニタカメラ画像と骨格検知の結果（例えばドライバモニタカメラ画像からはみ出している車両１の運転者の上腕、前腕等の方向）とに基づいて、ドライバモニタカメラ３の撮影範囲外に移動させられた携帯電話を用いた通話の継続を示す車両１の運転者の特徴的な行為を検出する。
https://www.autoconnectedcar.com/2019/03/eyesight-tech-knows-whos-in-the-car/
具体的には、検出部２３２は、例えば、ドライバモニタカメラ画像及び骨格検知（例えば下記のＵＲＬが示すＷＥＢサイトに記載された技術を用いた骨格検知）の結果（例えばドライバモニタカメラの撮影範囲外に位置する骨格検知の対象の運転者の上腕、前腕等の方向）と、ドライバモニタカメラ画像に含まれ骨格検知の対象の運転者がドライバモニタカメラの撮影範囲外に移動させられた携帯電話を用いた通話の継続を示す特徴的な行為をしたか否かを示すラベルとのデータセットである教師データを用いた学習を行うことによって得られたモデルを用いることにより、取得部２３１によって取得されたドライバモニタカメラ画像と骨格検知の結果（例えばドライバモニタカメラ画像からはみ出している車両１の運転者の上腕、前腕等の方向）とに基づいて、ドライバモニタカメラ３の撮影範囲外に移動させられた携帯電話を用いた通話の継続を示す車両１の運転者の特徴的な行為を検出する。
https://www.autoconnectedcar.com/2019/03/eyesight-tech-knows-whos-in-the-car/
【0014】
上記のＵＲＬが示すＷＥＢサイトに記載された技術では、そのＷＥＢサイトのトップページの画像中の運転者の上腕（一部のみが画像に含まれている）の方向を検知することができる。また、この骨格検知では、その画像中の助手席の搭乗者の前腕（肘までが画像に含まれている）の方向を検知することができる。
【0015】
他の例では、検出部２３２が、上述した学習済みのモデルを用いることなく、取得部２３１によって取得されたドライバモニタカメラ画像と骨格検知の結果（例えばドライバモニタカメラの撮影範囲外に位置する車両１の運転者の上腕、前腕等の位置、角度等）とに基づいて、ドライバモニタカメラ３の撮影範囲外に移動させられた携帯電話を用いた通話の継続を示す車両１の運転者の特徴的な行為を検出してもよい。
【0016】
図１～図３に示す例では、ドライバモニタカメラ３の撮影範囲外に移動させられた携帯電話を用いた通話の継続を示す車両１の運転者の特徴的な行為に、通話の継続を示す車両１の運転者の口の動きが含まれる。
つまり、検出部２３２は、ドライバモニタカメラ３の撮影範囲外に移動させられた携帯電話を用いた通話の継続を示す車両１の運転者の口の動きを検出する機能を有する。具体的には、検出部２３２は、例えば、ドライバモニタカメラ画像と、ドライバモニタカメラ画像に含まれる運転者がドライバモニタカメラの撮影範囲外に移動させられた携帯電話を用いた通話の継続を示す口の動きをしたか否かを示すラベルとのデータセットである教師データを用いた学習を行うことによって得られたモデルを用いることにより、取得部２３１によって取得されたドライバモニタカメラ画像に基づいて、ドライバモニタカメラ３の撮影範囲外に移動させられた携帯電話を用いた通話の継続を示す車両１の運転者の口の動きを検出する。
つまり、検出部２３２は、ドライバモニタカメラ３の撮影範囲外に移動させられた携帯電話を用いた通話の継続を示す車両１の運転者の口の動きを検出する機能を有する。具体的には、検出部２３２は、例えば、ドライバモニタカメラ画像と、ドライバモニタカメラ画像に含まれる運転者がドライバモニタカメラの撮影範囲外に移動させられた携帯電話を用いた通話の継続を示す口の動きをしたか否かを示すラベルとのデータセットである教師データを用いた学習を行うことによって得られたモデルを用いることにより、取得部２３１によって取得されたドライバモニタカメラ画像に基づいて、ドライバモニタカメラ３の撮影範囲外に移動させられた携帯電話を用いた通話の継続を示す車両１の運転者の口の動きを検出する。
【0017】
また、図１～図３に示す例では、ドライバモニタカメラ３の撮影範囲外に移動させられた携帯電話を用いた通話の継続を示す車両１の運転者の特徴的な行為に、携帯電話を持つ車両１の運転者の手を、ステアリングＳＴを把持する位置以外の位置（ドライバモニタカメラ３の撮影範囲外の位置）まで移動させる車両１の運転者の行為が含まれる。
つまり、検出部２３２は、ドライバモニタカメラ３の撮影範囲外に移動させられた携帯電話を用いた通話の継続を示す、携帯電話を持つ車両１の運転者の手を、ステアリングＳＴを把持する位置以外の位置まで移動させる車両１の運転者の行為を検出する機能を有する。具体的には、検出部２３２は、上述した骨格検知を用いることによって、携帯電話を持つ車両１の運転者の手を、ステアリングＳＴを把持する位置以外の位置まで移動させる車両１の運転者の行為を検出する。
つまり、検出部２３２は、ドライバモニタカメラ３の撮影範囲外に移動させられた携帯電話を用いた通話の継続を示す、携帯電話を持つ車両１の運転者の手を、ステアリングＳＴを把持する位置以外の位置まで移動させる車両１の運転者の行為を検出する機能を有する。具体的には、検出部２３２は、上述した骨格検知を用いることによって、携帯電話を持つ車両１の運転者の手を、ステアリングＳＴを把持する位置以外の位置まで移動させる車両１の運転者の行為を検出する。
【0018】
図４は第１実施形態の運転者監視装置２０における骨格検知の用い方を概念的に説明するための図である。詳細には、図４（Ａ）は車両１の運転者が携帯電話を手に持つ前（携帯電話を手に持って通話を開始する前）に両手でステアリングＳＴを把持している状態を示している。図４（Ｂ）は車両１の運転者が運転中に手に持った携帯電話を耳に当てて通話している状態を示している。図４（Ｃ）は車両１の運転者が携帯電話を持つ手を、ステアリングＳＴを把持する位置以外の位置まで移動させて通話を継続している状態を示している。
第１実施形態の運転者監視装置２０の一例では、図４（Ａ）に示すような車両１の運転者が携帯電話を手に持つ前（携帯電話を手に持って通話を開始する前）に両手でステアリングＳＴを把持している状態におけるドライバモニタカメラ画像が予めメモリ２２に記憶される。
また、第１実施形態の運転者監視装置２０の一例では、車両１の運転者が運転中に手に持った携帯電話を耳に当てて通話している状態（図４（Ｂ）に示す状態）から、車両１の運転者が携帯電話を持つ手を、ステアリングＳＴを把持する位置以外の位置まで移動させて通話を継続している状態（図４（Ｃ）に示す状態）に遷移すると、車両１の運転者が手に持っている携帯電話が、ドライバモニタカメラ３の撮影範囲外に位置する。検出部２３２は、骨格検知を用いることによって例えば車両１の運転者の上腕及び前腕の方向を検知し（つまり、車両１の運転者の上腕及び前腕の位置、角度が変化したことを検知し、車両１の運転者が、携帯電話を持つ車両１の運転者の手を、ステアリングＳＴを把持する位置以外の位置まで移動させたこと（車両１の運転者の特徴的な行為）を検出する。
第１実施形態の運転者監視装置２０の一例では、図４（Ａ）に示すような車両１の運転者が携帯電話を手に持つ前（携帯電話を手に持って通話を開始する前）に両手でステアリングＳＴを把持している状態におけるドライバモニタカメラ画像が予めメモリ２２に記憶される。
また、第１実施形態の運転者監視装置２０の一例では、車両１の運転者が運転中に手に持った携帯電話を耳に当てて通話している状態（図４（Ｂ）に示す状態）から、車両１の運転者が携帯電話を持つ手を、ステアリングＳＴを把持する位置以外の位置まで移動させて通話を継続している状態（図４（Ｃ）に示す状態）に遷移すると、車両１の運転者が手に持っている携帯電話が、ドライバモニタカメラ３の撮影範囲外に位置する。検出部２３２は、骨格検知を用いることによって例えば車両１の運転者の上腕及び前腕の方向を検知し（つまり、車両１の運転者の上腕及び前腕の位置、角度が変化したことを検知し、車両１の運転者が、携帯電話を持つ車両１の運転者の手を、ステアリングＳＴを把持する位置以外の位置まで移動させたこと（車両１の運転者の特徴的な行為）を検出する。
【0019】
図１～図３に示す例では、推定部２３３が、取得部２３１によって取得されたドライバモニタカメラ画像に基づき、例えば図４（Ａ）に示す状態における骨格検知の結果等と図４（Ｃ）に示す状態における骨格検知の結果等とを比較することによって、車両１の運転者が、ドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話している（通話を継続している）か否かを推定する。
また、図１～図３に示す例では、推定部２３３が、骨格検知技術を用いるだけではなく、図４（Ａ）に示す状態におけるドライバモニタカメラ画像及び図４（Ｃ）に示す状態におけるドライバモニタカメラ画像と、図４（Ａ）に示す状態から図４（Ｃ）に示す状態に遷移したときに運転者がドライバモニタカメラの撮影範囲外に位置する携帯電話を手に持って通話を継続しているか否かを示すラベルとのデータセットである教師データを用いた学習を行うことによって得られたモデルを用いることにより、取得部２３１によって取得されたドライバモニタカメラ画像に基づいて、車両１の運転者が、ドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話している（通話を継続している）か否かを推定する。
他の例では、推定部２３３が、上述した学習済みのモデルを用いることなく、例えば図４（Ａ）に示す状態における骨格検知の結果等と図４（Ｃ）に示す状態における骨格検知の結果等とを比較することによって、車両１の運転者が、ドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話している（通話を継続している）か否かを推定してもよい。
また、図１～図３に示す例では、推定部２３３が、骨格検知技術を用いるだけではなく、図４（Ａ）に示す状態におけるドライバモニタカメラ画像及び図４（Ｃ）に示す状態におけるドライバモニタカメラ画像と、図４（Ａ）に示す状態から図４（Ｃ）に示す状態に遷移したときに運転者がドライバモニタカメラの撮影範囲外に位置する携帯電話を手に持って通話を継続しているか否かを示すラベルとのデータセットである教師データを用いた学習を行うことによって得られたモデルを用いることにより、取得部２３１によって取得されたドライバモニタカメラ画像に基づいて、車両１の運転者が、ドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話している（通話を継続している）か否かを推定する。
他の例では、推定部２３３が、上述した学習済みのモデルを用いることなく、例えば図４（Ａ）に示す状態における骨格検知の結果等と図４（Ｃ）に示す状態における骨格検知の結果等とを比較することによって、車両１の運転者が、ドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話している（通話を継続している）か否かを推定してもよい。
【0020】
更に、図１～図３に示す例では、ドライバモニタカメラ３の撮影範囲外に移動させられた携帯電話を用いた通話の継続を示す車両１の運転者の特徴的な行為に、車両１の運転者が手に持っている携帯電話をチラチラ見る行為が含まれる。
つまり、検出部２３２は、ドライバモニタカメラ３の撮影範囲外に移動させられた携帯電話を用いた通話の継続を示す、手に持っている携帯電話をチラチラ見る車両１の運転者の行為を検出する機能を有する。具体的には、検出部２３２は、例えば、ドライバモニタカメラ画像と、ドライバモニタカメラ画像に含まれる運転者の視線及び／又は顔向きが短い周期で車両の前方と車両の前方以外の特定の位置とに交互に向いた否かを示すラベルとのデータセットである教師データを用いた学習を行うことによって得られたモデルを用いることにより、取得部２３１によって取得されたドライバモニタカメラ画像に基づいて、車両１の運転者が手に持っている携帯電話をチラチラ見る行為を検出する。
つまり、検出部２３２は、ドライバモニタカメラ３の撮影範囲外に移動させられた携帯電話を用いた通話の継続を示す、手に持っている携帯電話をチラチラ見る車両１の運転者の行為を検出する機能を有する。具体的には、検出部２３２は、例えば、ドライバモニタカメラ画像と、ドライバモニタカメラ画像に含まれる運転者の視線及び／又は顔向きが短い周期で車両の前方と車両の前方以外の特定の位置とに交互に向いた否かを示すラベルとのデータセットである教師データを用いた学習を行うことによって得られたモデルを用いることにより、取得部２３１によって取得されたドライバモニタカメラ画像に基づいて、車両１の運転者が手に持っている携帯電話をチラチラ見る行為を検出する。
【0021】
また、図１～図３に示す例では、推定部２３３は、車両１の運転者が通話状態であるか否かを推定する機能を有する。詳細には、推定部２３３は、携帯電話を持つ車両１の運転者の手が車両１の運転者の顔付近にある状態で車両１の運転者が通話しているか否かを推定する機能を有する。
具体的には、携帯電話及び携帯電話を持つ車両１の運転者の手がドライバモニタカメラ画像に含まれる状態（つまり、携帯電話を持つ車両１の運転者の手が車両１の運転者の顔付近にある状態）を検出部２３２が検出した場合に、推定部２３３は、携帯電話を持つ車両１の運転者の手が車両１の運転者の顔付近にある状態で車両１の運転者が通話していると推定する。
例えば車両１の運転者の手がドライバモニタカメラ画像に含まれない状態（例えば携帯電話を持つ車両１の運転者の手が車両１の運転者の顔付近にない状態）を検出部２３２が検出した場合であって、警報部２３５が後述する第１警報を発報した後一定時間が経過していない場合に、推定部２３３は、車両１の運転者がドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話している可能性（通話を継続している可能性）があると推定する。
例えば後述するカウンタｔ＝０かつカウンタｎ＝０の時に車両１の運転者の手がドライバモニタカメラ画像に含まれない状態を検出部２３２が検出した場合に、車両１の運転者が携帯電話を持って通話していないと推定する。
具体的には、携帯電話及び携帯電話を持つ車両１の運転者の手がドライバモニタカメラ画像に含まれる状態（つまり、携帯電話を持つ車両１の運転者の手が車両１の運転者の顔付近にある状態）を検出部２３２が検出した場合に、推定部２３３は、携帯電話を持つ車両１の運転者の手が車両１の運転者の顔付近にある状態で車両１の運転者が通話していると推定する。
例えば車両１の運転者の手がドライバモニタカメラ画像に含まれない状態（例えば携帯電話を持つ車両１の運転者の手が車両１の運転者の顔付近にない状態）を検出部２３２が検出した場合であって、警報部２３５が後述する第１警報を発報した後一定時間が経過していない場合に、推定部２３３は、車両１の運転者がドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話している可能性（通話を継続している可能性）があると推定する。
例えば後述するカウンタｔ＝０かつカウンタｎ＝０の時に車両１の運転者の手がドライバモニタカメラ画像に含まれない状態を検出部２３２が検出した場合に、車両１の運転者が携帯電話を持って通話していないと推定する。
【0022】
更に、推定部２３３は、車両１の運転者がドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話しているか否かを推定する機能を有する。
具体的には、推定部２３３は、携帯電話及び携帯電話を持つ車両１の運転者の手がドライバモニタカメラ画像に含まれる状態を検出部２３２が検出し、次いで、携帯電話及び携帯電話を持つ車両１の運転者の手がドライバモニタカメラ画像に含まれなくなった状態を検出部２３２が検出しかつ通話の継続を示す車両１の運転者の特徴的な行為（詳細には、通話の継続を示す車両１の運転者の口の動き、携帯電話を持つ車両１の運転者の手を、ステアリングＳＴを把持する位置以外の位置まで移動させる車両１の運転者の行為及び手に持っている携帯電話を車両１の運転者がチラチラ見る行為のすべて）を検出部２３２が検出した場合に、車両１の運転者がドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話している（通話を継続している）と推定する。
また、推定部２３３は、ドライバモニタカメラ画像と骨格検知とを用いることによって、携帯電話を持つ車両１の運転者の手を、ステアリングＳＴを把持する位置以外の位置まで移動させる車両１の運転者の行為が検出部２３２によって検出されたか否かを推定する機能を有する。携帯電話を持つ車両１の運転者の手を、ステアリングＳＴを把持する位置以外の位置まで移動させる車両１の運転者の行為を検出部２３２が検出した場合に、推定部２３３は、車両１の運転者が携帯電話を持つ手を、ステアリングＳＴを把持する位置以外の位置まで移動させたと推定（判定）する。
具体的には、推定部２３３は、携帯電話及び携帯電話を持つ車両１の運転者の手がドライバモニタカメラ画像に含まれる状態を検出部２３２が検出し、次いで、携帯電話及び携帯電話を持つ車両１の運転者の手がドライバモニタカメラ画像に含まれなくなった状態を検出部２３２が検出しかつ通話の継続を示す車両１の運転者の特徴的な行為（詳細には、通話の継続を示す車両１の運転者の口の動き、携帯電話を持つ車両１の運転者の手を、ステアリングＳＴを把持する位置以外の位置まで移動させる車両１の運転者の行為及び手に持っている携帯電話を車両１の運転者がチラチラ見る行為のすべて）を検出部２３２が検出した場合に、車両１の運転者がドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話している（通話を継続している）と推定する。
また、推定部２３３は、ドライバモニタカメラ画像と骨格検知とを用いることによって、携帯電話を持つ車両１の運転者の手を、ステアリングＳＴを把持する位置以外の位置まで移動させる車両１の運転者の行為が検出部２３２によって検出されたか否かを推定する機能を有する。携帯電話を持つ車両１の運転者の手を、ステアリングＳＴを把持する位置以外の位置まで移動させる車両１の運転者の行為を検出部２３２が検出した場合に、推定部２３３は、車両１の運転者が携帯電話を持つ手を、ステアリングＳＴを把持する位置以外の位置まで移動させたと推定（判定）する。
【0023】
更に、図１～図３に示す例では、判定部２３４が種々の判定を実行する。警報部２３５は、第１警報を発報する機能と、第１警報とは態様が異なる（例えば第１警報よりも警告度合いが強い）第２警報を発報する機能とを有する。つまり、警報部２３５は、携帯電話及び携帯電話を持つ車両１の運転者の手がドライバモニタカメラ画像に含まれる状態が検出部２３２によって検出された時と、携帯電話及び携帯電話を持つ車両１の運転者の手がドライバモニタカメラ画像に含まれなくなった状態及び通話の継続を示す車両１の運転者の特徴的な行為が検出部２３２によって検出された時とで異なる態様で警報を発報する。
【0024】
図５は第１実施形態の運転者監視装置２０によって実行される処理の一例を説明するためのフローチャートである。図５に示す処理は、例えば車速センサ２が車両１の走行状態（例えば１０ｋｍ／ｈ以上の車速）を検出した時に実行される。
図５に示す例では、ステップＳ１０において、取得部２３１がドライバモニタカメラ画像を取得する。
ステップＳ１１では、検出部２３２が車両１の運転者の顔の位置を検出する。
ステップＳ１２では、検出部２３２が車両１の運転者の手及び物体（携帯電話）を検出する。
ステップＳ１３において、推定部２３３は、車両１の運転者が通話状態であるか否かを推定する。車両１の運転者が通話状態（携帯電話を持つ車両１の運転者の手が車両１の運転者の顔付近にある状態）である場合にはステップＳ１４に進む。車両１の運転者が携帯電話を持って通話していない場合（例えばカウンタｎ＝０の時に車両１の運転者の手がドライバモニタカメラ画像に含まれない場合）にはステップＳ１９に進む。車両１の運転者の手がドライバモニタカメラ画像に含まれずかつ警報部２３５が第１警報を発報した後一定時間が経過していない場合には、Ｓ１７に進む。
図５に示す例では、ステップＳ１０において、取得部２３１がドライバモニタカメラ画像を取得する。
ステップＳ１１では、検出部２３２が車両１の運転者の顔の位置を検出する。
ステップＳ１２では、検出部２３２が車両１の運転者の手及び物体（携帯電話）を検出する。
ステップＳ１３において、推定部２３３は、車両１の運転者が通話状態であるか否かを推定する。車両１の運転者が通話状態（携帯電話を持つ車両１の運転者の手が車両１の運転者の顔付近にある状態）である場合にはステップＳ１４に進む。車両１の運転者が携帯電話を持って通話していない場合（例えばカウンタｎ＝０の時に車両１の運転者の手がドライバモニタカメラ画像に含まれない場合）にはステップＳ１９に進む。車両１の運転者の手がドライバモニタカメラ画像に含まれずかつ警報部２３５が第１警報を発報した後一定時間が経過していない場合には、Ｓ１７に進む。
【0025】
ステップＳ１４では、例えば警報部２３５がカウンタｔのインクリメントを実行する。
ステップＳ１５において、判定部２３４は、カウンタｔが閾値Ｔｈ１より大きいか否かを判定する。ｔ＞Ｔｈ１の場合にはステップＳ１６に進む。ｔ≦Ｔｈ１の場合にはステップＳ１０に戻る。
ステップＳ１６において、警報部２３５は、車両１の運転者が通話状態（携帯電話を持つ車両１の運転者の手が車両１の運転者の顔付近にある状態）であると判定し、例えば数秒の長さの第１警報を発報する（第１警報をＨＭＩ４に出力させる）。次いで、ステップＳ１７に進む。
ステップＳ１７において、推定部２３３は、車両１の運転者がドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話している（通話を継続している）か否かを推定する。車両１の運転者がドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話を継続していると推定部２３３が推定した場合にはステップＳ１８に進む。車両１の運転者がドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話を継続していると推定部２３３が推定しなかった場合にはステップＳ２０に進む。
ステップＳ１８において、警報部２３５は、例えば第１警報よりも警告度合いが強い第２警報を発報する（第２警報をＨＭＩ４に出力させる）。
ステップＳ１５において、判定部２３４は、カウンタｔが閾値Ｔｈ１より大きいか否かを判定する。ｔ＞Ｔｈ１の場合にはステップＳ１６に進む。ｔ≦Ｔｈ１の場合にはステップＳ１０に戻る。
ステップＳ１６において、警報部２３５は、車両１の運転者が通話状態（携帯電話を持つ車両１の運転者の手が車両１の運転者の顔付近にある状態）であると判定し、例えば数秒の長さの第１警報を発報する（第１警報をＨＭＩ４に出力させる）。次いで、ステップＳ１７に進む。
ステップＳ１７において、推定部２３３は、車両１の運転者がドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話している（通話を継続している）か否かを推定する。車両１の運転者がドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話を継続していると推定部２３３が推定した場合にはステップＳ１８に進む。車両１の運転者がドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話を継続していると推定部２３３が推定しなかった場合にはステップＳ２０に進む。
ステップＳ１８において、警報部２３５は、例えば第１警報よりも警告度合いが強い第２警報を発報する（第２警報をＨＭＩ４に出力させる）。
【0026】
ステップＳ１９では、例えば警報部２３５がカウンタｔをリセットする。
ステップＳ２０では、例えば警報部２３５がカウンタｎのインクリメントを実行する。
ステップＳ２１において、判定部２３４は、カウンタｎが閾値Ｔｈ２より大きいか否かを判定する。ｎ＞Ｔｈ２の場合にはステップＳ２２に進む。ｎ≦Ｔｈ２の場合にはステップＳ１０に戻る。
ステップＳ２２では例えば警報部２３５がカウンタｔ及びカウンタｎをリセットする。
ステップＳ２０では、例えば警報部２３５がカウンタｎのインクリメントを実行する。
ステップＳ２１において、判定部２３４は、カウンタｎが閾値Ｔｈ２より大きいか否かを判定する。ｎ＞Ｔｈ２の場合にはステップＳ２２に進む。ｎ≦Ｔｈ２の場合にはステップＳ１０に戻る。
ステップＳ２２では例えば警報部２３５がカウンタｔ及びカウンタｎをリセットする。
【0027】
上述したように第１実施形態の運転者監視装置２０では、車両１の運転者が手に持った携帯電話で通話していることに対して第１警報が発報された後に、車両１の運転者が第１警報に従って通話を断念することなく、通話をやめたカモフラージュをして通話を継続することが、第２警報の発報によって抑制される。
【0028】
＜第２実施形態＞
第２実施形態の運転者監視装置２０が適用された車両１は、後述する点を除き、上述した第１実施形態の運転者監視装置２０が適用された車両１と同様に構成されている。上述したように第１実施形態の運転者監視装置２０では、通話の継続を示す車両１の運転者の特徴的な行為として、通話の継続を示す車両１の運転者の口の動き、携帯電話を持つ車両１の運転者の手を、ステアリングＳＴを把持する位置以外の位置まで移動させる車両１の運転者の行為及び手に持っている携帯電話を車両１の運転者がチラチラ見る行為のすべてを検出部２３２が検出した場合に、車両１の運転者がドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話している（通話を継続している）と推定する。一方、第２実施形態の運転者監視装置２０では、通話の継続を示す車両１の運転者の特徴的な行為として、通話の継続を示す車両１の運転者の口の動き、携帯電話を持つ車両１の運転者の手を、ステアリングＳＴを把持する位置以外の位置まで移動させる車両１の運転者の行為及び手に持っている携帯電話を車両１の運転者がチラチラ見る行為のうちのいずれか１つ又は２つを検出部２３２が検出した場合に、車両１の運転者がドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話している（通話を継続している）と推定する。
第２実施形態の運転者監視装置２０が適用された車両１は、後述する点を除き、上述した第１実施形態の運転者監視装置２０が適用された車両１と同様に構成されている。上述したように第１実施形態の運転者監視装置２０では、通話の継続を示す車両１の運転者の特徴的な行為として、通話の継続を示す車両１の運転者の口の動き、携帯電話を持つ車両１の運転者の手を、ステアリングＳＴを把持する位置以外の位置まで移動させる車両１の運転者の行為及び手に持っている携帯電話を車両１の運転者がチラチラ見る行為のすべてを検出部２３２が検出した場合に、車両１の運転者がドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話している（通話を継続している）と推定する。一方、第２実施形態の運転者監視装置２０では、通話の継続を示す車両１の運転者の特徴的な行為として、通話の継続を示す車両１の運転者の口の動き、携帯電話を持つ車両１の運転者の手を、ステアリングＳＴを把持する位置以外の位置まで移動させる車両１の運転者の行為及び手に持っている携帯電話を車両１の運転者がチラチラ見る行為のうちのいずれか１つ又は２つを検出部２３２が検出した場合に、車両１の運転者がドライバモニタカメラ３の撮影範囲外に位置する携帯電話を手に持って通話している（通話を継続している）と推定する。
【0029】
以上のように、本開示の運転者監視装置、運転者監視方法及びプログラムの実施形態について図面を参照して説明したが、本開示のあおり運転兆候推定装置、自車両、あおり運転兆候推定方法及びプログラムは上述した実施形態に限られるものではなく、本開示の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した実施形態の各例の構成を適宜組み合わせてもよい。
【符号の説明】
【0030】
１…車両、２…車速センサ、３…ドライバモニタカメラ、２０…運転者監視装置、２３…プロセッサ、２３１…取得部、２３２…検出部、２３３…推定部、２３４…判定部、２３５…警報部
【図1】
【図2】
【図3】
【図4】
【図5】