知財求人 - 知財ポータルサイト「IP Force」
特許7548290余所見判定装置、余所見判定システム、余所見判定方法、プログラム、端末装置、車両
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-02
(45)【発行日】2024-09-10
(54)【発明の名称】余所見判定装置、余所見判定システム、余所見判定方法、プログラム、端末装置、車両
(51)【国際特許分類】
G08G 1/16 20060101AFI20240903BHJP
G06T 7/00 20170101ALI20240903BHJP
G07C 5/00 20060101ALI20240903BHJP
【ＦＩ】
G08G1/16 C
G06T7/00 660A
G07C5/00 Z
【請求項の数】
9
(21)【出願番号】P 2022212272
(22)【出願日】2022-12-28
(62)【分割の表示】P 2020563309の分割
【原出願日】2019-12-24
(65)【公開番号】P2023052172
(43)【公開日】2023-04-11
【審査請求日】2022-12-28
(31)【優先権主張番号】P 2018245790
(32)【優先日】2018-12-27
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100181135
【弁理士】
【氏名又は名称】橋本 隆史
(72)【発明者】
【氏名】十文字 奈々
【審査官】武内 俊之
(56)【参考文献】
【文献】特開２００９－１５７７３６（ＪＰ，Ａ）
【文献】特開２０１８－０６７１９８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／１６
Ｇ０６Ｔ ７／００
Ｇ０７Ｃ ５／００
(57)【特許請求の範囲】
【請求項1】
移動体を運転する運転者の撮影画像を取得する撮影画像取得手段と、前記撮影画像に基づいて前記運転者の視線方向を検出する視線方向検出手段と、
前記撮影画像に基づいて前記運転者の顔方向を検出する顔方向検出手段と、
前記視線方向および前記顔方向を検出できない場合に、前記撮影画像に基づいて前記運転者の顔を検出できるか否かを判定し、当該運転者の顔を検出できない場合には、アラートを出力するアラート手段と、
を備える余所見判定装置。
【請求項2】
前記視線方向検出手段は、前記視線方向が所定の視線範囲に含まれていない時間を測定し、当該時間の単位時間当たりの割合が第一の所定割合以上である場合に余所見状態と判定する請求項１に記載の余所見判定装置。
【請求項3】
前記顔方向検出手段は、前記顔方向が所定の顔方向範囲に含まれていない時間を測定し、当該時間の単位時間当たりの割合が第二の所定割合以上である場合に余所見状態と判定する請求項１または請求項２に記載の余所見判定装置。
【請求項4】
前記アラート手段は、前記運転者の顔を検出できない時間を検出し、前記検出した時間の単位時間当たりの割合が第三の所定割合以上である場合に余所見状態と判定する請求項１から請求項３の何れか一項に記載の余所見判定装置。
【請求項5】
撮影装置と余所見判定装置とを備え、前記撮影装置と前記余所見判定装置とが通信ネットワークで接続された余所見判定システムであって、前記余所見判定装置が、
移動体を運転する運転者の撮影画像を取得する撮影画像取得手段と、
前記撮影画像に基づいて前記運転者の視線方向を検出する視線方向検出手段と、
前記撮影画像に基づいて前記運転者の顔方向を検出する顔方向検出手段と、
前記視線方向および前記顔方向を検出できない場合に、前記撮影画像に基づいて前記運転者の顔を検出できるか否かを判定し、当該運転者の顔を検出できない場合には、アラートを出力するアラート手段と、
を備える余所見判定システム。
【請求項6】
移動体を運転する運転者の撮影画像を取得する撮影画像取得手段と、前記撮影画像をサーバに送信する送信手段と、
アラートを出力するアラート部と、を備え、
前記アラート部は、
送信された前記撮影画像に基づいて前記運転者の視線方向を検出する視線方向検出手段と、
前記撮影画像に基づいて前記運転者の顔方向を検出する顔方向検出手段と、
前記視線方向および前記顔方向を検出できない場合に、前記撮影画像に基づいて前記運転者の顔を検出できるか否かを判定する判定手段と、を備える前記サーバから前記判定の結果を受信し、当該運転者の顔を検出できない場合には、アラートを出力する端末装置。
【請求項7】
移動体を運転する運転者の撮影画像を取得する撮影画像取得手段と、前記撮影画像に基づいて前記運転者の視線方向を検出する視線方向検出手段と、
前記撮影画像に基づいて前記運転者の顔方向を検出する顔方向検出手段と、
前記視線方向および前記顔方向を検出できない場合に、前記撮影画像に基づいて前記運転者の顔を検出できるか否かを判定し、当該運転者の顔を検出できない場合には、アラートを出力するアラート手段と、
を備える車両。
【請求項8】
余所見判定装置が、
移動体を運転する運転者の撮影画像を取得し、
前記撮影画像に基づいて前記運転者の視線方向を検出し、
前記撮影画像に基づいて前記運転者の顔方向を検出し、
前記視線方向および前記顔方向を検出できない場合に、前記撮影画像に基づいて前記運転者の顔を検出できるか否かを判定し、当該運転者の顔を検出できない場合には、アラートを出力する
余所見判定方法。
【請求項9】
余所見判定装置のコンピュータに、移動体を運転する運転者の撮影画像を取得し、
前記撮影画像に基づいて前記運転者の視線方向を検出、
前記撮影画像に基づいて前記運転者の顔方向を検出し、
前記視線方向および前記顔方向を検出できない場合に、前記撮影画像に基づいて前記運転者の顔を検出できるか否かを判定し、当該運転者の顔を検出できない場合には、アラートを出力する
処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、余所見判定装置、余所見判定システム、余所見判定方法、プログラム、端末装置、車両に関する。
【背景技術】
【0002】
車等の移動体を操作する運転者の余所見を検知する技術が特許文献１に開示されている。特許文献１の技術では、人の顔の向きに基づいて人が脇見をしていないと判定された場合に、人の視線の向きに基づいて人が脇見をしているか否かを判定することが記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００９－１５５４９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述の特許文献１の技術では顔の向きが脇見をしていると判定される方向である場合、脇見と判定されない視線方向であっても脇見と判定されてしまう。
【0005】
そこでこの発明は、上述の課題を解決する余所見判定装置、余所見判定システム、余所見判定方法、プログラム、端末装置、車両を提供することを目的としている。
【課題を解決するための手段】
【0006】
本発明の第１の態様によれば、余所見判定装置は、移動体を運転する運転者の撮影画像を取得する撮影画像取得手段と、前記撮影画像に基づいて前記運転者の視線方向を検出し、前記移動体の進行方向を基準とする所定の視線範囲と前記視線方向とに基づいて余所見状態か否かを判定する第一余所見判定手段と、前記視線方向を検出できない場合に、前記移動体の進行方向を基準とする所定の顔方向範囲と前記運転者の顔方向とに基づいて前記余所見状態か否かを判定する第二余所見判定手段と、を備える。
【0007】
本発明の第２の態様によれば、撮影装置と余所見判定装置とを備え、前記撮影装置と前記余所見判定装置とが通信ネットワークで接続された余所見判定システムであって、前記余所見判定装置が、移動体を運転する運転者の撮影画像を取得する撮影画像取得手段と、前記撮影画像に基づいて前記運転者の視線方向を検出し、前記移動体の進行方向を基準とする所定の視線範囲と前記視線方向とに基づいて余所見状態か否かを判定する第一余所見判定手段と、前記視線方向を検出できない場合に、前記移動体の進行方向を基準とする所定の顔方向範囲と前記運転者の顔方向とに基づいて前記余所見状態か否かを判定する第二余所見判定手段と、を備える。
【0008】
本発明の第３の態様によれば、余所見判定方法は、移動体を運転する運転者の撮影画像を取得し、前記撮影画像に基づいて前記運転者の視線方向を検出し、前記移動体の進行方向を基準とする所定の視線範囲と前記視線方向とに基づいて余所見状態か否かを判定し、前記視線方向を検出できない場合に、前記移動体の進行方向を基準とする所定の顔方向範囲と前記運転者の顔方向とに基づいて前記余所見状態か否かを判定する。
【0009】
本発明の第４の態様によれば、プログラムは、余所見判定装置のコンピュータに、移動体を運転する運転者の撮影画像を取得し、前記撮影画像に基づいて前記運転者の視線方向を検出し、前記移動体の進行方向を基準とする所定の視線範囲と前記視線方向とに基づいて余所見状態か否かを判定し、前記視線方向を検出できない場合に、前記移動体の進行方向を基準とする所定の顔方向範囲と前記運転者の顔方向とに基づいて余所見状態か否かを判定する、処理を実行させる。
【発明の効果】
【0010】
本発明によれば、移動体を運転する運転者が余所見状態か否かを、より精度良く判定することができる。
【図面の簡単な説明】
【0011】
【図1】本実施形態による余所見判定システムを示す図である。
【図2】本実施形態による余所見判定装置のハードウェア構成図である。
【図3】本実施形態による余所見判定装置の機能ブロック図である。
【図4】本実施形態による余所見判定部の詳細を示す機能ブロック図である。
【図5】本実施形態によるドライブレコーダのハードウェア構成を示す図である。
【図6】本実施形態によるドライブレコーダの制御装置の機能ブロック図である。
【図7】本実施形態によるドライブレコーダの処理フローを示す図である。
【図8】本実施形態による余所見判定装置の処理フローを示す図である。
【図9】本実施形態による余所見判定装置の最小構成を示す図である。
【図10】本実施形態による最小構成の余所見判定装置の処理フローを示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の一実施形態による余所見判定装置を図面を参照して説明する。
図１は同実施形態による余所見判定システムを示す図である。
図１で示すように余所見判定システム１００は余所見判定装置１と、運転状況センシング装置の一態様であるドライブレコーダ２と含んで構成される。ドライブレコーダ２は、一例としては移動体である車両２０のフロントガラス近傍に設けられているものとする。余所見判定装置１とドライブレコーダ２とは無線通信ネットワークや有線通信ネットワークを介して接続される。余所見判定装置１は例えば複数の車両２０にそれぞれ設置されたドライブレコーダ２と通信接続する。
図１は同実施形態による余所見判定システムを示す図である。
図１で示すように余所見判定システム１００は余所見判定装置１と、運転状況センシング装置の一態様であるドライブレコーダ２と含んで構成される。ドライブレコーダ２は、一例としては移動体である車両２０のフロントガラス近傍に設けられているものとする。余所見判定装置１とドライブレコーダ２とは無線通信ネットワークや有線通信ネットワークを介して接続される。余所見判定装置１は例えば複数の車両２０にそれぞれ設置されたドライブレコーダ２と通信接続する。
【0013】
図２は余所見判定装置のハードウェア構成図である。
この図が示すように余所見判定装置１はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。
この図が示すように余所見判定装置１はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。
【0014】
図３は余所見判定装置の機能ブロック図である。
余所見判定装置１は電源が投入されると起動し、予め記憶する余所見判定プログラムを実行する。これにより余所見判定装置１には、制御部１１、情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５、を少なくとも備える。
余所見判定装置１は電源が投入されると起動し、予め記憶する余所見判定プログラムを実行する。これにより余所見判定装置１には、制御部１１、情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５、を少なくとも備える。
【0015】
制御部１１は他の機能部を制御する。
情報取得部１２は撮影画像、車両情報、天候情報、加速度情報などのドライブレコーダ２から送信された情報を取得する。
余所見開始判定部１３は余所見判定を開始するかを判定する。
余所見判定部１４は運転者が余所見状態か否かを判定する。
判定結果出力部１５は余所見判定結果を出力する。
情報取得部１２は撮影画像、車両情報、天候情報、加速度情報などのドライブレコーダ２から送信された情報を取得する。
余所見開始判定部１３は余所見判定を開始するかを判定する。
余所見判定部１４は運転者が余所見状態か否かを判定する。
判定結果出力部１５は余所見判定結果を出力する。
【0016】
【0017】
具体的には、第一余所見判定部１４１は、撮影画像に基づいて運転者の視線方向を検出し、移動体の進行方向を基準とする所定の視線範囲と視線方向とに基づいて余所見状態か否かを判定する。この処理において第一余所見判定部１４１は、視線方向が所定の視線範囲に含まれていない時間を測定し、当該時間の単位時間当たりの割合が所定割合以上である場合に余所見状態と判定してよい。
【0018】
また第二余所見判定部１４２は、視線方向を検出できない場合に、移動体の進行方向を基準とする所定の顔方向範囲と運転者の顔方向とに基づいて、余所見状態か否かを判定する。この処理において第二余所見判定部１４２は、顔方向が所定の顔方向範囲に含まれていない時間を測定し、当該時間の単位時間当たりの割合が所定割合以上である場合に余所見状態と判定してよい。
【0019】
また第三余所見判定部１４３は、視線方向を検出できない場合であって、運転者の顔方向を検出できない場合に、撮影画像に基づいて運転者の顔を検出できるか否かを判定する。第三余所見判定部１４３は、当該運転者の顔を検出できない場合に、余所見状態と判定する。この処理において、第三余所見判定部１４３は、運転者の顔が検出できない時間を検出し、その時間の単位時間当たりの割合が所定割合以上である場合に余所見状態と判定する。
【0020】
図５はドライブレコーダのハードウェア構成を示す図である。
ドライブレコーダ２は、加速度センサ２１、通信装置２２、カメラ２３（撮影装置）、制御装置２４、記憶装置２５などを含んで構成される。加速度センサ２１は車両の加速度を検知する。通信装置２２は余所見判定装置１と通信接続する。カメラ２３は車両の外部や内部を撮影して、少なくとも動画像、静止画像のいずれかを生成する。
制御装置２４はドライブレコーダ２の各機能を制御する。記憶装置２５は、動画像及び静止画像のいずれか、加速度センサ２１で検知した加速度やその他のドライブレコーダ２の外部から取得した情報等を記憶する。ドライブレコーダ２は基地局等を介して余所見判定装置１と通信接続する。なおドライブレコーダ２の制御装置２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータである。
ドライブレコーダ２は、加速度センサ２１、通信装置２２、カメラ２３（撮影装置）、制御装置２４、記憶装置２５などを含んで構成される。加速度センサ２１は車両の加速度を検知する。通信装置２２は余所見判定装置１と通信接続する。カメラ２３は車両の外部や内部を撮影して、少なくとも動画像、静止画像のいずれかを生成する。
制御装置２４はドライブレコーダ２の各機能を制御する。記憶装置２５は、動画像及び静止画像のいずれか、加速度センサ２１で検知した加速度やその他のドライブレコーダ２の外部から取得した情報等を記憶する。ドライブレコーダ２は基地局等を介して余所見判定装置１と通信接続する。なおドライブレコーダ２の制御装置２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータである。
【0021】
図６はドライブレコーダ２に備わる制御装置２４の機能ブロック図である。
制御装置２４はドライブレコーダ２が起動すると制御プログラムを実行する。これにより制御装置２４には、車両情報取得部２４１、天候情報取得部２４２、加速度情報取得部２４３、撮影画像取得部２４４、運転状況データ送信部２４５、及び撮影画像送信部２４６の各機能部が備わる。
制御装置２４はドライブレコーダ２が起動すると制御プログラムを実行する。これにより制御装置２４には、車両情報取得部２４１、天候情報取得部２４２、加速度情報取得部２４３、撮影画像取得部２４４、運転状況データ送信部２４５、及び撮影画像送信部２４６の各機能部が備わる。
【0022】
図７はドライブレコーダ２の処理フローを示す図である。
余所見判定システム１００の処理フローについて順を追って説明する。
まずドライブレコーダ２における運転状況情報の送信処理について説明する。
車両２０の電気系統が起動するとドライブレコーダ２が動作を始動する（ステップＳ１０１）。ドライブレコーダ２の加速度センサ２１は、ドライブレコーダ２の始動後に車両の加速度のセンシングを開始する（ステップＳ１０２）。またカメラ２３は車内および車外の撮影を開始する（ステップＳ１０３）。なおカメラ２３は車内側レンズと車外側レンズを備えてよい。カメラ２３は、車内側レンズを用いて車内を撮影し、車内の運転者の顔の方向の対象物を撮影する。カメラ２３は車外側レンズを用いて車外の進行方向の対象物を撮影する。
余所見判定システム１００の処理フローについて順を追って説明する。
まずドライブレコーダ２における運転状況情報の送信処理について説明する。
車両２０の電気系統が起動するとドライブレコーダ２が動作を始動する（ステップＳ１０１）。ドライブレコーダ２の加速度センサ２１は、ドライブレコーダ２の始動後に車両の加速度のセンシングを開始する（ステップＳ１０２）。またカメラ２３は車内および車外の撮影を開始する（ステップＳ１０３）。なおカメラ２３は車内側レンズと車外側レンズを備えてよい。カメラ２３は、車内側レンズを用いて車内を撮影し、車内の運転者の顔の方向の対象物を撮影する。カメラ２３は車外側レンズを用いて車外の進行方向の対象物を撮影する。
【0023】
ドライブレコーダ２の動作中、制御装置２４の車両情報取得部２４１は車両情報を取得する（ステップＳ１０４）。車両情報取得部２４１が取得する車両情報は、車両に備わる各センサによって検出された車速、ハンドル角度、ウィンカー指示方向などである。本実施形態においては、車両情報には、少なくとも車速とウィンカー指示方向とが含まれる。車両情報には、ハンドル角度、ウィンカー指示方向以外の情報がさらに含まれてもよい。
また天候情報取得部２４２は天候情報を取得する（ステップＳ１０５）。天候情報は気象庁や天候情報提供企業に備わるサーバ装置から取得されてもよい。または天候情報は、車両に備わるセンサ（ワイパー動作検出器や雨滴検出器）などから得られる情報であってよい。制御装置２４は、ワイパーが動作している場合、又は雨滴検出器が雨滴を検出している場合には雨天であると判定してよい。
加速度情報取得部２４３は、加速度センサ２１から所定の時間間隔で加速度を取得する（ステップＳ１０６）。制御装置２４は車両情報、天候情報、加速度を所定の間隔で取得する。なお本実施形態においては制御装置２４が天候情報と加速度とを取得する態様について説明しているが、天候情報と加速度は、必ずしも取得されなくてもよい。
また天候情報取得部２４２は天候情報を取得する（ステップＳ１０５）。天候情報は気象庁や天候情報提供企業に備わるサーバ装置から取得されてもよい。または天候情報は、車両に備わるセンサ（ワイパー動作検出器や雨滴検出器）などから得られる情報であってよい。制御装置２４は、ワイパーが動作している場合、又は雨滴検出器が雨滴を検出している場合には雨天であると判定してよい。
加速度情報取得部２４３は、加速度センサ２１から所定の時間間隔で加速度を取得する（ステップＳ１０６）。制御装置２４は車両情報、天候情報、加速度を所定の間隔で取得する。なお本実施形態においては制御装置２４が天候情報と加速度とを取得する態様について説明しているが、天候情報と加速度は、必ずしも取得されなくてもよい。
【0024】
またドライブレコーダ２の動作中、制御装置２４の撮影画像取得部２４４はカメラ２３から撮影画像（少なくとも動画像、静止画像のいずれか）を取得する。当該撮影画像には運転者の顔の範囲の情報が少なくとも含まれる。撮影画像取得部２４４は撮影画像を撮影画像送信部２４６へ出力する。
【0025】
運転状況データ送信部２４５は、所定の間隔で車両情報、天候情報、及び加速度情報を余所見判定装置１へ送信するよう、通信装置２２に指示する。通信装置２２は車両情報、天候情報、加速度情報を余所見判定装置１へ送信する（ステップＳ１０７）。なお、制御装置２４において天候情報と加速度とが取得されない場合には、それらの情報は余所見判定装置１へ送信されなくてよい。
撮影画像送信部２４６は撮影画像を余所見判定装置１へ送信するよう通信装置２２に指示する。通信装置２２は撮影画像を余所見判定装置１へ送信する（ステップＳ１０８）。制御装置２４は処理終了かを判定し（ステップＳ１０９）、処理終了であると判定されるまでステップＳ１０２からの処理を繰り返す。なお、車両情報、天候情報、加速度情報、撮影画像には、ドライブレコーダ２のＩＤ、運転者のＩＤ、センシング時刻が付与される。
撮影画像送信部２４６は撮影画像を余所見判定装置１へ送信するよう通信装置２２に指示する。通信装置２２は撮影画像を余所見判定装置１へ送信する（ステップＳ１０８）。制御装置２４は処理終了かを判定し（ステップＳ１０９）、処理終了であると判定されるまでステップＳ１０２からの処理を繰り返す。なお、車両情報、天候情報、加速度情報、撮影画像には、ドライブレコーダ２のＩＤ、運転者のＩＤ、センシング時刻が付与される。
【0026】
図８は余所見判定装置１の処理フローを示す図である。
余所見判定装置１において情報取得部１２はドライブレコーダ２のＩＤ、及び運転者のＩＤに基づいて、対応する車両情報、天候情報、加速度情報、及び撮影画像の組を当該各ＩＤに紐づけて、順次、データベース１０４へ記録する（ステップＳ２０１）。そして制御部１１は余所見判定処理を行うよう余所見開始判定部１３、余所見判定部１４に指示する。
余所見判定装置１において情報取得部１２はドライブレコーダ２のＩＤ、及び運転者のＩＤに基づいて、対応する車両情報、天候情報、加速度情報、及び撮影画像の組を当該各ＩＤに紐づけて、順次、データベース１０４へ記録する（ステップＳ２０１）。そして制御部１１は余所見判定処理を行うよう余所見開始判定部１３、余所見判定部１４に指示する。
【0027】
余所見開始判定部１３はある一つのドライブレコーダ２を特定し、特定したドライブレコーダ２のＩＤに紐づいて記録されているセンシング時刻、車両情報、天候情報、加速度情報、及び撮影画像を取得する。
余所見判定部１４は、車両情報に含まれる車速が前方方向の速度（前進）で所定の速度以上を示し、かつウィンカー指示方向が方向指示を指定していないか否かを判定する（ステップＳ２０２）。所定の速度は一例としては２０ｋｍ／ｈなどの値であってよい。車速が前進で所定の速度以上を示し、ウィンカー指示を指定していない場合（ステップＳ２０２のＹＥＳ）、余所見判定部１４は余所見判定を開始すると決定する（ステップＳ２０３）。
余所見判定部１４は、車両情報に含まれる車速が前方方向の速度（前進）で所定の速度以上を示し、かつウィンカー指示方向が方向指示を指定していないか否かを判定する（ステップＳ２０２）。所定の速度は一例としては２０ｋｍ／ｈなどの値であってよい。車速が前進で所定の速度以上を示し、ウィンカー指示を指定していない場合（ステップＳ２０２のＹＥＳ）、余所見判定部１４は余所見判定を開始すると決定する（ステップＳ２０３）。
【0028】
余所見開始判定部１３は他の情報を利用して、または他の情報を追加で利用して余所見判定を開始すると決定してもよい。例えば、余所見判定部１４は、加速度が０以上か否かを判定して、加速度が０以上である場合に余所見判定を開始すると決定してもよい。また余所見判定部１４は、ハンドル角度が所定の範囲内か否かによって余所見判定を開始するか否かを決定してもよい。ハンドル角度の所定の範囲は例えば直進方向を基準とする左右１０度などであってよい。また余所見判定部１４は、天候情報が雨を示す場合に余所見判定を開始すると決定してもよい。
余所見判定部１４は、車外の撮影画像に基づいて余所見判定を開始するか否かを決定してもよい。例えば、撮影画像の直進方向に対象物が映る場合、又は撮影画像に車線のカーブが映る場合に、余所見判定を開始すると決定してよい。余所見判定部１４は、車両２０が走行する道路における事故情報や付近の催し物開催情報に基づいて、余所見判定を開始するか否かを決定してもよい。ドライブレコーダ２において車両の危険イベント（事故に発展する可能性のある事象）を検知する場合、余所見判定部１４はドライブレコーダ２において危険イベントを検知した際に、余所見判定を開始すると決定してもよい。
余所見判定を開始すると決定すると、余所見判定部１４は開始を指示する。余所見判定部１４は余所見判定を開始するかどうかの判定処理を所定の間隔で繰り返す。
余所見判定部１４は、車外の撮影画像に基づいて余所見判定を開始するか否かを決定してもよい。例えば、撮影画像の直進方向に対象物が映る場合、又は撮影画像に車線のカーブが映る場合に、余所見判定を開始すると決定してよい。余所見判定部１４は、車両２０が走行する道路における事故情報や付近の催し物開催情報に基づいて、余所見判定を開始するか否かを決定してもよい。ドライブレコーダ２において車両の危険イベント（事故に発展する可能性のある事象）を検知する場合、余所見判定部１４はドライブレコーダ２において危険イベントを検知した際に、余所見判定を開始すると決定してもよい。
余所見判定を開始すると決定すると、余所見判定部１４は開始を指示する。余所見判定部１４は余所見判定を開始するかどうかの判定処理を所定の間隔で繰り返す。
【0029】
余所見判定部１４は、現在の処理対象のドライブレコーダ２のＩＤに基づいて、情報取得部１２が既に取得している撮影画像を当該情報取得部１２から入力する。余所見判定部１４は余所見判定を開始すると決定した場合、所定の間隔でドライブレコーダ２から受信する撮影画像のうち、車内を撮影した撮影画像を順次読み取る。
【0030】
余所見判定部１４が車内の撮影画像を読み取ると、第一余所見判定部１４１が新たに取得した撮影画像を用いて運転者の視線方向を検出できるか否かを判定する（ステップＳ２０４）。第一余所見判定部１４１は視線方向の算出を公知の技術を用いて行う。
【0031】
第一余所見判定部１４１は、視線方向の算出処理の結果、視線方向を検出できた場合、その視線方向が直進方向を基準とする第一の所定の範囲に含まれていない時間を測定する。第一の所定範囲は、直進方向を基準として左右１０度などの範囲であってよい。速度が低速の場合には、運転者が広い範囲を目視する可能性が高くなる。このため、第一余所見判定部１４１は、直進方向を基準とする第一の所定の範囲の幅を左右２０度などと広げるようにしてもよい。
第一余所見判定部１４１は、視線方向の直進方向を基準とする第一の所定の範囲に含まれていない時間が、単位時間当たりに第一の所定割合以上となるか否かを判定する（ステップＳ２０５）。第一余所見判定部１４１は、視線方向の直進方向を基準とする第一の所定の範囲に含まれていない時間の単位時間当たりの割合が第一の所定割合以上となる場合（ステップＳ２０５のＹＥＳ）、運転者は余所見状態であると判定する（ステップＳ２０６）。視線方向の直進方向を基準とする第一の所定の範囲に含まれていない時間の単位時間当たりの割合が第一の所定割合以上とならないと第一余所見判定部１４１が判定した場合（ステップＳ２０５のＮＯ）、制御部１１はステップ２０１からの処理を繰り返すよう制御する。
視線方向の直進方向を基準とする第一の所定の範囲に含まれていない時間については、所定時間のうちの連続した時間でもよいし、所定時間のうちの断続的な時間を合計した時間であってもよい。
第一余所見判定部１４１は、視線方向の直進方向を基準とする第一の所定の範囲に含まれていない時間が、単位時間当たりに第一の所定割合以上となるか否かを判定する（ステップＳ２０５）。第一余所見判定部１４１は、視線方向の直進方向を基準とする第一の所定の範囲に含まれていない時間の単位時間当たりの割合が第一の所定割合以上となる場合（ステップＳ２０５のＹＥＳ）、運転者は余所見状態であると判定する（ステップＳ２０６）。視線方向の直進方向を基準とする第一の所定の範囲に含まれていない時間の単位時間当たりの割合が第一の所定割合以上とならないと第一余所見判定部１４１が判定した場合（ステップＳ２０５のＮＯ）、制御部１１はステップ２０１からの処理を繰り返すよう制御する。
視線方向の直進方向を基準とする第一の所定の範囲に含まれていない時間については、所定時間のうちの連続した時間でもよいし、所定時間のうちの断続的な時間を合計した時間であってもよい。
【0032】
ステップＳ２０４において運転者の視線方向を検出できないと判定した場合（ステップＳ２０４のＮＯ）、第一余所見判定部１４１は第二余所見判定部１４２に処理開始を指示する。第二余所見判定部１４２は、撮影画像を用いて運転者の顔方向を検出できるか否かを判定する（ステップＳ２０７）。第二余所見判定部１４２は顔方向の算出を公知の技術を用いて行う。
【0033】
第二余所見判定部１４２は、顔方向の算出処理の結果、顔方向を検出できた場合（ステップＳ２０７のＹＥＳ）、その顔方向が直進方向を基準とする第二の所定の範囲に含まれていない時間を測定する。第二の所定の範囲は直進方向を基準として左右１０度などの範囲であってよい。速度が低速の場合には、運転者が広い範囲を目視する可能性が高くなる。このため、第二余所見判定部１４２は、直進方向を基準とする第二の所定の範囲の幅を左右２０度などと広げるようにしてもよい。第二の所定範囲は第一の所定範囲と異なる範囲であってよい。
第二余所見判定部１４２は、顔方向の直進方向を基準とする第二の所定の範囲に含まれていなない時間の単位時間当たりの割合が第二の所定割合以上となるか否かを判定する（ステップＳ２０８）。第二余所見判定部１４２は、顔方向の直進方向を基準とする第二の所定の範囲内に含まれていない時間の単位時間当たりの割合が第二の所定割合以上となる場合（ステップＳ２０８のＹＥＳ）、運転者は余所見状態であると判定する（ステップＳ２０９）。顔方向の直進方向を基準とする第二の所定の範囲内に含まれていない時間の単位時間当たりの割合が第二の所定割合以上とならないと第二余所見判定部１４２が判定した場合（ステップＳ２０８のＮＯ）、制御部１１はステップ２０１からの処理を繰り返すよう制御する。
顔方向の直進方向を基準とする第二の所定の範囲内に含まれていない時間については、所定時間のうちの連続した時間でもよいし、所定時間のうちの断続的な時間を合計した時間であってもよい。第一の所定割合は第二の所定割合と異なる値であってよい。
第二余所見判定部１４２は、顔方向の直進方向を基準とする第二の所定の範囲に含まれていなない時間の単位時間当たりの割合が第二の所定割合以上となるか否かを判定する（ステップＳ２０８）。第二余所見判定部１４２は、顔方向の直進方向を基準とする第二の所定の範囲内に含まれていない時間の単位時間当たりの割合が第二の所定割合以上となる場合（ステップＳ２０８のＹＥＳ）、運転者は余所見状態であると判定する（ステップＳ２０９）。顔方向の直進方向を基準とする第二の所定の範囲内に含まれていない時間の単位時間当たりの割合が第二の所定割合以上とならないと第二余所見判定部１４２が判定した場合（ステップＳ２０８のＮＯ）、制御部１１はステップ２０１からの処理を繰り返すよう制御する。
顔方向の直進方向を基準とする第二の所定の範囲内に含まれていない時間については、所定時間のうちの連続した時間でもよいし、所定時間のうちの断続的な時間を合計した時間であってもよい。第一の所定割合は第二の所定割合と異なる値であってよい。
【0034】
ステップＳ２０７において運転者の顔方向を検出できないと判定した場合（ステップＳ２０７のＮＯ）、第二余所見判定部１４２は第三余所見判定部１４３に処理開始を指示する。第三余所見判定部１４３は撮影画像を用いて運転者の顔が検出されているか否かを判定する（ステップＳ２１０）。第三余所見判定部１４３は顔が検出されているか否かの判定を公知の技術を用いて行う。
【0035】
第三余所見判定部１４３は、顔が検出されているか否かの判定の結果、顔が検出されていないと判定した場合（ステップＳ２１０のＮＯ）、顔が検出されていない時間を測定する。第三余所見判定部１４３は、顔の検出されていない時間の単位時間当たりの割合が第三の所定割合以上となるか否かを判定する（ステップＳ２１１）。第三余所見判定部１４３は、顔が検出されていない時間の単位時間当たりの割合が第三の所定割合以上となる場合（ステップＳ２１１のＹＥＳ）、運転者は余所見状態であると判定する（ステップＳ２１２）。顔が検出されていない時間の単位時間当たりの割合が第三の所定割合以上とならないと第三余所見判定部１４３が判定した場合（ステップＳ２１１のＮＯ）、制御部１１はステップ２０１からの処理を繰り返すよう制御する。
顔が検出されていない時間については、所定時間のうちの連続した時間でもよいし、所定時間のうちの断続的な時間を合計した時間であってもよい。第三の所定割合は、第一の所定割合、及び第二の所定割合と異なる値であってよい。
顔が検出されていない時間については、所定時間のうちの連続した時間でもよいし、所定時間のうちの断続的な時間を合計した時間であってもよい。第三の所定割合は、第一の所定割合、及び第二の所定割合と異なる値であってよい。
【0036】
余所見判定部１４は余所見が行われていると判定した場合には（ステップＳ２０６、Ｓ２０９、Ｓ２１２）、判定結果出力部１５へ余所見判定結果を出力するよう指示する。判定結果出力部１５は余所見が行われていると判定したドライブレコーダ２のＩＤを取得する。判定結果出力部１５はドライブレコーダ２のＩＤに基づいて、その送信先となるドライブレコーダ２のネットワークアドレスをデータベース１０４から取得する。送信先のネットワークアドレスは予めデータベース１０４に記録されているものとする。判定結果出力部１５は、当該送信先のドライブレコーダ２に余所見検知を示す情報を送信する（ステップＳ２１３）。判定結果出力部１５は余所見検知を示す情報を、ドライブレコーダ２のＩＤや運転者のＩＤに紐づけてデータベース１０４に記録してもよい。
余所見判定部１４は終了するか否かを判定する（ステップＳ２１４）。終了しないと判定された場合（ステップＳ２１４のＮＯ）、余所見判定装置１は次にドライブレコーダ２から受信した情報等を用いて同様の処理を所定間隔で繰り返す。
余所見判定部１４は終了するか否かを判定する（ステップＳ２１４）。終了しないと判定された場合（ステップＳ２１４のＮＯ）、余所見判定装置１は次にドライブレコーダ２から受信した情報等を用いて同様の処理を所定間隔で繰り返す。
【0037】
ドライブレコーダ２は、余所見判定装置１から余所見検知の情報を受信する。ドライブレコーダ２は余所見検知の情報を受信すると、アラーム音を発信するなど、余所見検知を運転者に知らせる処理を行う。これにより運転者は余所見運転を認識することができる。
【0038】
上述の処理においてはクラウドサーバとして通信ネットワークに接続された余所見判定装置１が余所見判定を行っている。しかしながら上述の余所見判定の処理はドライブレコーダ２が単独で行うようにしてもよい。つまりドライブレコーダ２が余所見判定装置１として動作してもよい。この場合、ドライブレコーダ２が上述の情報取得部１２、余所見開始判定部１３、余所見判定部１４、及び判定結果出力部１５と同様の処理を行うようにしてもよい。
またはドライブレコーダ２と接続され、車内２０に搭載されている車載器が情報取得部１２、余所見開始判定部１３、余所見判定部１４、及び判定結果出力部１５の処理を備えてもよい。この場合、車載器が余所見判定装置１として動作する。この場合、車載器が、情報取得部１２、余所見開始判定部１３、余所見判定部１４、及び判定結果出力部１５と同様の処理を行う。
またはドライブレコーダ２と接続され、車内２０に搭載されている車載器が情報取得部１２、余所見開始判定部１３、余所見判定部１４、及び判定結果出力部１５の処理を備えてもよい。この場合、車載器が余所見判定装置１として動作する。この場合、車載器が、情報取得部１２、余所見開始判定部１３、余所見判定部１４、及び判定結果出力部１５と同様の処理を行う。
【0039】
上述の処理によれば、移動体を運転する運転者が余所見状態か否かを、より精度良く判定することができる。つまり、上述の処理によれば、余所見判定装置１は、最初に運転者の視線方向を検出して当該視線方向と車両２０の進行方向を基準とする所定の視線範囲とに基づいて余所見状態か否かを判定する。その後、余所見判定装置１は、視線方向を検出できない場合に、運転者の顔方向に基づいて余所見状態か否かを判定している。
このように、余所見判定装置１は顔方向による余所見状態の判定前に視線方向による余所見状態の判定を行っている。従って、余所見判定装置１は、顔方向が所定範囲を向いていない場合であっても視線方向が進行方向を向いているために余所見状態ではない場合に、余所見状態であると誤認識しない余所見判定装置を提供することができる。
このように、余所見判定装置１は顔方向による余所見状態の判定前に視線方向による余所見状態の判定を行っている。従って、余所見判定装置１は、顔方向が所定範囲を向いていない場合であっても視線方向が進行方向を向いているために余所見状態ではない場合に、余所見状態であると誤認識しない余所見判定装置を提供することができる。
【0040】
また上述の処理によれば顔方向や視線方向が少しずれただけで余所見検知アラートをすることはなく、所定期間内において所定割合以上に顔方向や視線方向がずれた場合に、余所見検知アラートを出力する。これにより運転者に対する不要な余所見検知アラートの出力を削減することができる。
また上述の余所見判定装置１によれば、所定の速度未満での低速運転など視線方向が前方から離れる可能性が高い状況において余所見であると判定されてしまうことを回避する。これにより運転者に対する不要な余所見検知アラートの出力を削減することができる。
例えば、余所見判定装置１は車両の速度低下に応じて余所見判定の可能性があると判定する場合の直進方向を基準とする範囲を広げる処理を行う。このとき、第一の所定範囲、及び第二の所定の範囲を広げてもよいし、いずれか一方の所定範囲を増大させてもよい。第一の所定範囲と第二の所定の範囲との間で、増大させる度合いが異なっていてもよい。これにより、速度に応じた適切な顔方向、視線方向の範囲に基づく余所見判定を行うことができる。
また、余所見判定装置１は、視線が直進方向を基準とする所定範囲に含まれる時間の単位時間当たりの割合が所定割合以上かを判定する処理において、速度が低下するほど当該所定割合の値を増大させてもよい。このとき、第一の所定割合、第二の所定割合、及び第三の所定割合の全てを増大させてもよいし、一部の所定割合のみを増大させてもよい。第一の所定割合、第二の所定割合、及び第三の所定割合の間で、増大させる度合いが異なっていてもよい。これにより速度に応じた適切な顔方向、視線方向の範囲に基づく余所見判定を行うことができる。
また上述の余所見判定装置１によれば、所定の速度未満での低速運転など視線方向が前方から離れる可能性が高い状況において余所見であると判定されてしまうことを回避する。これにより運転者に対する不要な余所見検知アラートの出力を削減することができる。
例えば、余所見判定装置１は車両の速度低下に応じて余所見判定の可能性があると判定する場合の直進方向を基準とする範囲を広げる処理を行う。このとき、第一の所定範囲、及び第二の所定の範囲を広げてもよいし、いずれか一方の所定範囲を増大させてもよい。第一の所定範囲と第二の所定の範囲との間で、増大させる度合いが異なっていてもよい。これにより、速度に応じた適切な顔方向、視線方向の範囲に基づく余所見判定を行うことができる。
また、余所見判定装置１は、視線が直進方向を基準とする所定範囲に含まれる時間の単位時間当たりの割合が所定割合以上かを判定する処理において、速度が低下するほど当該所定割合の値を増大させてもよい。このとき、第一の所定割合、第二の所定割合、及び第三の所定割合の全てを増大させてもよいし、一部の所定割合のみを増大させてもよい。第一の所定割合、第二の所定割合、及び第三の所定割合の間で、増大させる度合いが異なっていてもよい。これにより速度に応じた適切な顔方向、視線方向の範囲に基づく余所見判定を行うことができる。
【0041】
上述の実施形態では、移動体が車両２０である場合について説明しているが、余所見判定装置１は、船舶、航空機などの他の移動体の運転者の余所見判定を行うようにしてもよい。
【0042】
図９は余所見判定装置１の最小構成を示す図である。
図１０は最小構成の余所見判定装置１の処理フローを示す図である。
余所見判定装置１は少なくとも情報取得部１２（撮影画像取得部）と、第一余所見判定部１４１と、第二余所見判定部１４２とを備えればよい。
情報取得部１２は、移動体を運転する運転者の撮影画像を取得する（ステップＳ８０１）。
第一余所見判定部１４１は、撮影画像に基づいて運転者の視線方向を検出し、移動体の進行方向を基準とする所定の視線範囲と視線方向とに基づいて余所見状態か否かを判定する（ステップＳ８０２）。
第二余所見判定部１４２は、視線方向を検出できない場合に、運転者の顔方向と移動体の進行方向を基準とする所定の顔方向範囲とに基づいて余所見状態か否かを判定する（ステップＳ８０３）。
図１０は最小構成の余所見判定装置１の処理フローを示す図である。
余所見判定装置１は少なくとも情報取得部１２（撮影画像取得部）と、第一余所見判定部１４１と、第二余所見判定部１４２とを備えればよい。
情報取得部１２は、移動体を運転する運転者の撮影画像を取得する（ステップＳ８０１）。
第一余所見判定部１４１は、撮影画像に基づいて運転者の視線方向を検出し、移動体の進行方向を基準とする所定の視線範囲と視線方向とに基づいて余所見状態か否かを判定する（ステップＳ８０２）。
第二余所見判定部１４２は、視線方向を検出できない場合に、運転者の顔方向と移動体の進行方向を基準とする所定の顔方向範囲とに基づいて余所見状態か否かを判定する（ステップＳ８０３）。
【0043】
上述の余所見判定装置１およびドライブレコーダ２は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【0044】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【0045】
この出願は、２０１８年１２月２７日に日本出願された特願２０１８－２４５７９０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【0046】
本発明によれば、移動体を運転する運転者が余所見状態か否かを、より精度良く判定することができる。
【符号の説明】
【0047】
１・・・余所見判定装置
２・・・ドライブレコーダ
１１・・・制御部
１２・・・情報取得部
１３・・・余所見開始判定部
１４・・・余所見判定部
１５・・・判定結果出力部
２１・・・加速度センサ
２３・・・カメラ
２４・・・制御装置
１４１・・・第一余所見判定部
１４２・・・第二余所見判定部
１４３・・・第三余所見判定部
２４１・・・車両情報取得部
２４２・・・天候情報取得部
２４３・・・加速度情報取得部
２４４・・・撮影画像取得部
２４５・・・運転状況データ送信部
２４６・・・撮影画像送信部
２・・・ドライブレコーダ
１１・・・制御部
１２・・・情報取得部
１３・・・余所見開始判定部
１４・・・余所見判定部
１５・・・判定結果出力部
２１・・・加速度センサ
２３・・・カメラ
２４・・・制御装置
１４１・・・第一余所見判定部
１４２・・・第二余所見判定部
１４３・・・第三余所見判定部
２４１・・・車両情報取得部
２４２・・・天候情報取得部
２４３・・・加速度情報取得部
２４４・・・撮影画像取得部
２４５・・・運転状況データ送信部
２４６・・・撮影画像送信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】