知財求人 - 知財ポータルサイト「IP Force」
特開2021-26748マシンビジョンに基づく過労運転検出警告システム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2021-26748(P2021-26748A)
(43)【公開日】2021年2月22日
(54)【発明の名称】マシンビジョンに基づく過労運転検出警告システム及び方法
(51)【国際特許分類】
G08B 21/06 20060101AFI20210125BHJP
G08B 21/00 20060101ALI20210125BHJP
【ＦＩ】
G08B21/06
G08B21/00 E
【審査請求】有
【請求項の数】6
【出願形態】ＯＬ
【全頁数】26
(21)【出願番号】特願2019-223762(P2019-223762)
(22)【出願日】2019年12月11日
(11)【特許番号】特許第6784424号(P6784424)
(45)【特許公報発行日】2020年11月11日
(31)【優先権主張番号】201910708314.X
(32)【優先日】2019年8月1日
(33)【優先権主張国】CN
(71)【出願人】
【識別番号】519292730
【氏名又は名称】肇▲慶▼学院
(74)【代理人】
【識別番号】110000291
【氏名又は名称】特許業務法人コスモス国際特許商標事務所
(74)【代理人】
【識別番号】100131406
【弁理士】
【氏名又は名称】福山 正寿
(72)【発明者】
【氏名】元▲澤▼▲懐▼
(72)【発明者】
【氏名】欧▲陽▼国峰
(72)【発明者】
【氏名】洪超亮
(72)【発明者】
【氏名】▲蘇▼超彬
【テーマコード（参考）】
5C086
【Ｆターム（参考）】
5C086AA22
5C086AA23
5C086AA38
5C086AA39
5C086BA22
5C086CA16
5C086CA28
5C086CB01
5C086CB07
5C086CB11
5C086CB20
5C086CB36
5C086DA33
5C086EA11
5C086EA13
5C086FA06
(57)【要約】 （修正有）
【課題】非接触方式で疲労検出を行うマシンビジョンに基づく過労運転検出警告システムを提供する。【解決手段】システムは、運転時間取得モジュール、中央処理モジュール、顔面動画収集モジュール及び警告モジュールを備え、すべて中央処理モジュールに接続される。運転時間取得モジュールは、ドライバーの運転時間を取得して、中央処理モジュールに送信する。中央処理モジュールは、ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動する。中央処理モジュールは、顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行う。
【選択図】図１
【特許請求の範囲】
【請求項1】
マシンビジョンに基づく過労運転検出警告システムであって、
運転時間取得モジュール、中央処理モジュール、顔面動画収集モジュール及び警告モジュールを備え、前記運転時間取得モジュール、顔面動画収集モジュール、警告モジュールは、すべて中央処理モジュールに接続され、
前記運転時間取得モジュールは、ドライバーの運転時間を取得して、前記中央処理モジュールに送信することに用いられ、
前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、前記顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動し、
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とするマシンビジョンに基づく過労運転検出警告システム。
運転時間取得モジュール、中央処理モジュール、顔面動画収集モジュール及び警告モジュールを備え、前記運転時間取得モジュール、顔面動画収集モジュール、警告モジュールは、すべて中央処理モジュールに接続され、
前記運転時間取得モジュールは、ドライバーの運転時間を取得して、前記中央処理モジュールに送信することに用いられ、
前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、前記顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動し、
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とするマシンビジョンに基づく過労運転検出警告システム。
【請求項2】
自動車の内部に設置された環境パラメータ収集モジュールをさらに備え、
前記環境パラメータ収集モジュールは、車内の環境パラメータを収集し、前記中央処理モジュールに送信することに用いられ、
前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定することを特徴とする請求項１に記載の過労運転検出警告システム。
前記環境パラメータ収集モジュールは、車内の環境パラメータを収集し、前記中央処理モジュールに送信することに用いられ、
前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定することを特徴とする請求項１に記載の過労運転検出警告システム。
【請求項3】
前記環境パラメータ収集モジュールは、空気質検出センサーユニット、湿度センサーユニット、温度センサーユニット及び気圧センサーユニットを備え、
前記空気質検出センサーは、ＣＯ濃度センサー、ＣＯ２濃度センサー、ＰＭ２．５センサーのうちの１種又は複数種を含むことを特徴とする請求項２に記載の過労運転検出警告システム。
前記空気質検出センサーは、ＣＯ濃度センサー、ＣＯ２濃度センサー、ＰＭ２．５センサーのうちの１種又は複数種を含むことを特徴とする請求項２に記載の過労運転検出警告システム。
【請求項4】
前記中央処理モジュールでは、前記した前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定することは、具体的には、下記式により現在の環境での参照運転時間閾値を決定することを利用し、
式中、Ｄ′は、現在の環境での参照運転時間閾値であり、Ｄ０は、標準車内環境パラメータでの運転時間閾値であり、ＡＱ、Ｈ、Ｔ、Ｐは、それぞれ現在の環境での空気質係数、車内湿度、車内温度及び車内気圧であり、ＡＱ０は、標準車内環境パラメータでの空気質係数、車内湿度、車内温度及び車内気圧であり、α、β、γは、重み係数であり、α＋β＋γ＝１を満たすことを特徴とする請求項３に記載の過労運転検出警告システム。
【数1】
式中、Ｄ′は、現在の環境での参照運転時間閾値であり、Ｄ０は、標準車内環境パラメータでの運転時間閾値であり、ＡＱ、Ｈ、Ｔ、Ｐは、それぞれ現在の環境での空気質係数、車内湿度、車内温度及び車内気圧であり、ＡＱ０は、標準車内環境パラメータでの空気質係数、車内湿度、車内温度及び車内気圧であり、α、β、γは、重み係数であり、α＋β＋γ＝１を満たすことを特徴とする請求項３に記載の過労運転検出警告システム。
【請求項5】
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することは、具体的には、
（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）前記顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークされた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
式中、ＥＡＲは、目のアスペクト比であり、ρＤ１、Ｄ４は、Ｄ１、Ｄ４の２点のユークリッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項１に記載の過労運転検出警告システム。
（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）前記顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークされた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
【数2】
式中、ＥＡＲは、目のアスペクト比であり、ρＤ１、Ｄ４は、Ｄ１、Ｄ４の２点のユークリッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項１に記載の過労運転検出警告システム。
【請求項6】
前記算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断することは、具体的には、
前記Ｍフレームの顔面動画のうち、少なくとも１フレームの顔面動画における目のアスペクト比が予め設定された目のアスペクト比より小さいと、該ドライバーが過労運転していると判定し、このときに前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項５に記載の過労運転検出警告システム。
前記Ｍフレームの顔面動画のうち、少なくとも１フレームの顔面動画における目のアスペクト比が予め設定された目のアスペクト比より小さいと、該ドライバーが過労運転していると判定し、このときに前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項５に記載の過労運転検出警告システム。
【請求項7】
マシンビジョンに基づく過労運転検出警告方法であって、
中央処理モジュールは、ドライバーの運転時間を取得するための運転時間取得モジュールから送信されたドライバーの運転時間を受信するステップと、
前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、前記顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動するステップと、
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動するステップとを含むことを特徴とするマシンビジョンに基づく過労運転検出警告方法。
中央処理モジュールは、ドライバーの運転時間を取得するための運転時間取得モジュールから送信されたドライバーの運転時間を受信するステップと、
前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、前記顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動するステップと、
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動するステップとを含むことを特徴とするマシンビジョンに基づく過労運転検出警告方法。
【請求項8】
前記中央処理モジュールは、車内に設置されて車内の環境パラメータを収集するための環境パラメータ収集モジュールにより収集された車内の環境パラメータを受信するステップと、
前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定するステップとを含むことを特徴とする請求項７に記載の過労運転検出警告方法。
前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定するステップとを含むことを特徴とする請求項７に記載の過労運転検出警告方法。
【請求項9】
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動するステップは、具体的には、
（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）前記顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークされた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
式中、ＥＡＲは、目のアスペクト比であり、ρＤ１、Ｄ４は、Ｄ１、Ｄ４の２点のユークリッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項７に記載の過労運転検出警告方法。
（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）前記顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークされた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
【数3】
式中、ＥＡＲは、目のアスペクト比であり、ρＤ１、Ｄ４は、Ｄ１、Ｄ４の２点のユークリッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項７に記載の過労運転検出警告方法。
【請求項10】
コンピュータープログラムであって、
コンピューターに請求項７−９のいずれか１項に記載の前記過労運転検出警告方法を実行させることを特徴とするコンピュータープログラム。
コンピューターに請求項７−９のいずれか１項に記載の前記過労運転検出警告方法を実行させることを特徴とするコンピュータープログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マシンビジョンの技術分野に関し、具体的には、マシンビジョンに基づく過労運転検出警告システム及び方法に関する。
【背景技術】
【0002】
中国の経済と社会の急速な発展、国民収入の増加につれ、自動車を保有する人が多くなりつつあり、自動車は、人々の生活に効率、利便性及び快適さをもたらす反面、交通事故の原因となり、中国の交通機関の統計によると、過労運転に起因する交通事故は、交通事故の総数の約２０％、重大な交通事故の４０％、及び交通事故死者数の８３％を占めている。
【0003】
従来技術では、ドライバーの耳に重力を感知可能なヘッドホンを装着することにより、ドライバーの頭が下がっているか否かを検出してドライバーが過労運転しているか否かを判定する。しかし、このような疲労検出方法は、検出精度が不十分であり、たとえば、ドライバーが何かをチャックするために見下ろしたり、車内に落ちたものを拾ったり、又はほかの頭が下がる動作をしたりする場合に、誤判断が発生しやすい。さらに、イヤホンを長時間装着すると、ドライバーに不快感を与えるので、ドライバーはその利用が嫌いになりやすい。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】中国特許出願公開第204190913号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記問題に対して、本発明は、マシンビジョンに基づく過労運転検出警告システム及び方法を提供する。
【課題を解決するための手段】
【0006】
本発明の目的は、以下の技術案によって実現される。
【0007】
本発明の第１態様は、マシンビジョンに基づく過労運転検出警告システムを提供し、該システムは、運転時間取得モジュール、中央処理モジュール、顔面動画収集モジュール及び警告モジュールを備え、運転時間取得モジュール、顔面動画収集モジュール、警告モジュールは、何れも中央処理モジュールに接続され、運転時間取得モジュールは、ドライバーの運転時間を取得して、中央処理モジュールに送信することに用いられ、中央処理モジュールは、ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動し、中央処理モジュールは、顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行うように駆動する。
【0008】
好ましくは、該システムは、自動車の内部に設置された環境パラメータ収集モジュールをさらに備え、環境パラメータ収集モジュールは、車内の環境パラメータを収集し、中央処理モジュールに送信し、
中央処理モジュールは、車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、ドライバーの運転時間を参照運転時間閾値と比較して、ドライバーの運転時間が参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定する。
【0009】
好ましくは、環境パラメータ収集モジュールは、空気質検出センサーユニット、湿度センサーユニット、温度センサーユニット及び気圧センサーユニットを備え、空気質検出センサーは、ＣＯ濃度センサー、ＣＯ２濃度センサー、ＰＭ２．５センサーのうちの１種類又は数種類を含む。
【0010】
好ましくは、中央処理モジュールでは、車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定することは、具体的には、下記式により現在の環境での参照運転時間閾値を決定することを利用し、【数1】
式中、Ｄ′は、現在の環境での参照運転時間閾値であり、Ｄ０は、標準車内環境パラメータでの運転時間閾値であり、ＡＱ、Ｈ、Ｔ、Ｐは、それぞれ現在の環境での空気質係数、車内湿度、車内温度及び車内気圧であり、ＡＱ０は、標準車内環境パラメータでの空気質係数、車内湿度、車内温度及び車内気圧であり、α、β、γは、重み係数であり、α＋β＋γ＝１を満たす。
【0011】
好ましくは、中央処理モジュールは、顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行うように駆動することは、具体的には、（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）顔面画像に対して目を特定し、目の６つの特徴点をマーキングして、マーキングされた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
【数2】
式中、ＥＡＲは、目のアスペクト比であり、ρＤ１、Ｄ４は、Ｄ１、Ｄ４の２点のユークリッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行うように駆動する。
【0012】
好ましくは、算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断することは、具体的には、前記Ｍフレームの顔面動画のうち、少なくとも１フレームの顔面動画における目のアスペクト比が予め設定された目のアスペクト比より小さいと、該ドライバーが過労運転していると判定し、このときに警告モジュールが警報を発して注意喚起を行うように駆動する。
【0013】
本発明による過労運転検出警告システムは、下記有益な効果を有する。
【0014】
（１）該システムは、まず、ドライバーの運転時間を判断することによりドライバーが過労運転状態に入ったか否かを初期判断し、入った場合、顔面動画収集モジュールを起動して顔面動画を収集させ、さらに該ドライバーが過労運転しているか否かを正確に判断し、それによって、顔面動画収集モジュールの持続作動を回避し、該システムの耐用年数を延ばし、エネルギー損失を減らす。
【0015】
（２）顔面動画収集モジュールで顔面動画を収集し、さらに収集した顔面動画について目の特定及び目を閉じる状態の検出を行うことで、ドライバーの疲労度を検出し、製品を装着することにより頭が下がることを検出する従来技術に比べて、ドライバーが簡便に使用でき、該システムの使用性を向上させる。
【0016】
（３）マシンビジョンに基づく顔検出及び目の定位は、頭が下がっているか否かを検出する従来技術よりも、精度が高く、誤判断が少なくなる。
【0017】
（４）該システムは、非接触方式で疲労度検出を行うため、ドライバーにより簡便に使用できる。
【0018】
（５）人の目の６つの特徴に基づいて検出して計算するため、データ分析結果がより正確になる。
【0019】
本発明の第２態様は、マシンビジョンに基づく過労運転検出警告方法を提供し、該方法は、中央処理モジュールは、ドライバーの運転時間を取得するための運転時間取得モジュールから送信されたドライバーの運転時間を受信するステップと、
中央処理モジュールは、ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動するステップと、
中央処理モジュールは、顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行うように駆動するステップと、を含む。
【0020】
好ましくは、該方法はさらに、中央処理モジュールは、車内に設置されて車内の環境パラメータを収集するための環境パラメータ収集モジュールにより収集された車内の環境パラメータを受信するステップと、
中央処理モジュールは、車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、ドライバーの運転時間を参照運転時間閾値と比較して、ドライバーの運転時間が参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定するステップと、を含む。
【0021】
好ましくは、該方法は、中央処理モジュールは、顔面動画画像を受信して、受信した顔面動画画像に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行うように駆動するステップは、具体的には、
（１）受信した連続Ｍフレームの顔面動画画像に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークされた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
【数3】
式中、ＥＡＲは、目のアスペクト比であり、ρＤ１、Ｄ４は、Ｄ１、Ｄ４の２点のユークリッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行うように駆動する。
【0022】
本発明による過労運転検出警告方法は、下記有益な効果を有する。
【0023】
（１）該過労運転検出警告方法では、まず、ドライバーの運転時間を判断することによりドライバーが過労運転状態に入ったか否かを初期判断し、過労運転状態に入った場合、顔面動画収集モジュールが起動して顔面動画を収集するように駆動し、さらに該ドライバーが過労運転しているか否かを正確に判断し、それによって、顔面動画収集モジュールの持続作動を回避し、該システムの耐用年数を延ばし、エネルギー損失を減らす。
【0024】
（２）顔面動画収集モジュールで顔面動画を収集し、さらに収集した顔面動画について目の特定及び目を閉じる状態の検出を行うことで、ドライバーの疲労度を検出し、製品を装着することにより頭が下がることを検出する従来技術に比べて、ドライバーが簡便に使用でき、該システムの使用性を向上させる。
【0025】
（３）マシンビジョンに基づく顔検出及び目の定位は、頭が下がっているか否かを検出する従来技術よりも、精度が高く、誤判断が少なくなる。
【0026】
（４）該システムは、非接触方式で疲労検出を行うため、ドライバーにより簡便に使用できる。
【0027】
（５）人の目の６つの特徴に基づいて検出して計算するため、データ分析結果がより正確になる。
【0028】
本発明の第３態様は、コンピューターに前記の過労運転検出警告方法を実行させるコンピュータープログラムを提供する。
【図面の簡単な説明】
【0029】
図面を参照しながら本発明についてさらに説明するが、図面における実施例は、本発明を何ら制限するものではなく、当業者であれば、創造的な努力を必要とせずに、以下の図面に基づいてほかの図面を取得しうる。【図1】本発明の実施例による過労運転検出警告システムのフレーム構造図である。
【図2】本発明の実施例による過労運転検出警告方法のフローチャートである。
【図3】本発明の実施例による目の６つの特徴点の分布図である。
【発明を実施するための形態】
【0030】
以下の実施例にて本発明をさらに説明する。
【0031】
図１には、マシンビジョンに基づく過労運転検出警告システムが示されており、該システムは、環境パラメータ収集モジュール１、運転時間取得モジュール２、顔面動画収集モジュール３、警告モジュール４及び中央処理モジュール５を備え、環境パラメータ収集モジュール１、運転時間取得モジュール２、顔面動画収集モジュール３、警告モジュール４は、何れも中央処理モジュールに接続される。
【0032】
環境パラメータ収集モジュール１は、該自動車の内部に設置され、車内の環境パラメータを収集し、中央処理モジュール５に送信することに用いられ、中央処理モジュール５は、車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、ドライバーの運転時間を参照運転時間閾値と比較して、ドライバーの運転時間が参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定する。
【0033】
一好適実施例では、環境パラメータ収集モジュール１は、空気質検出センサーユニット、湿度センサーユニット、温度センサーユニット及び気圧センサーユニットを含み、空気質検出センサーは、ＣＯ濃度センサー、ＣＯ２濃度センサー、ＰＭ２．５センサーのうちの１種類又は数種類を含む。
【0034】
中央処理モジュール５では、車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定することは、具体的には、下記式により現在の環境での参照運転時間閾値を決定することを利用し、【数4】
式中、Ｄ′は、現在の環境での参照運転時間閾値であり、Ｄ０は、標準車内環境パラメータでの運転時間閾値であり、ＡＱ、Ｈ、Ｔ、Ｐは、それぞれ現在の環境での空気質係数、車内湿度、車内温度及び車内気圧であり、ＡＱ０は、標準標準車内環境パラメータでの空気質係数、車内湿度、車内温度及び車内気圧であり、α、β、γは、重み係数であり、α＋β＋γ＝１を満たす。好ましくは、標準車内環境パラメータでの運転時間閾値Ｄ０は、４時間である。
【0035】
車内の環境条件がドライバーの生理学的パラメータに影響を及ぼすため、運転時間を予備判断するときに、上記式により運転時間閾値Ｄ０を修正し、それにより、過労運転を予備判断するときに、環境の要因を考慮に入れて、現在の環境での参照運転時間閾値を取得し、それによって、ドライバーの運転状態を正確に予備判断し、該システムの疲労検出の正確性を向上させる。
【0036】
運転時間取得モジュール２は、ドライバーの運転時間を取得して、中央処理モジュール５に送信することに用いられ、中央処理モジュール５は、ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、顔面動画収集モジュール３がドライバーの顔面動画を収集するように駆動し、中央処理モジュール５は、顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュール５が警報を発して注意喚起を行うように駆動する。好ましくは、該顔面動画収集モジュール３は、ＣＣＤカメラ又はＣＳＩカメラである。
【0037】
可能な一実施例では、該警告モジュール５は、音声放送方式でドライバーに過労運転しないように促す音声放送モジュールである。
【0038】
可能な一実施例では、中央処理モジュール５は、ラズベリーパイＣＰＵである。
【0039】
可能な一実施例では、該システムは、ＳＴＭ３２Ｆ１０３Ｃ８Ｔ６シングルチップマイクロコンピュータを介してラズベリーパイＣＰＵと通信可能に接続されるＯＬＥＤ１２８６４表示画面をさらに備え、該ＯＬＥＤ１２８６４表示画面は、現在の目のアスペクト比を表示することにも、さまざまな人のニーズに合わせるように、予め設定された目のアスペクト比のサイズをボタンで調整することにも適用できる。
【0040】
好ましくは、中央処理モジュール５は、顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュール４が警報を発して注意喚起を行うように駆動するステップは、具体的には、（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）顔面画像について目を特定し、目の６つの特徴点をマーキングして（図３参照）、マークされた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
【数5】
式中、ＥＡＲは、目のアスペクト比であり、ρＤ１、Ｄ４は、Ｄ１、Ｄ４の２点のユークリッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュール４が警報を発して注意喚起を行うように駆動する。好ましくは、該警告モジュール４は、音声アラームであり、ドライバーが過労運転状態にある場合、音声放送方式で、過労運転しないように車を止めて休憩するようにドライバーを促す。
【0041】
好ましくは、算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断することは、具体的には、受信したＭフレームの顔面動画のうち、少なくとも１フレームの顔面動画における目のアスペクト比が予め設定された目のアスペクト比より小さいと、該ドライバーが過労運転していると判定し、このときに、警告モジュールが警報を発して注意喚起を行うように駆動する。予め設定された目のアスペクト比は、ドライバーの実際な状況に応じて設定できる。なお、上記で受信したフレーム数は、具体的には、実際な状況に応じて設定すればよいが、好ましくは、Ｍ＝２０である。
【0042】
可能な一実施例では、マシンビジョンライブラリｏｐｅｎｃｖを使用してＣＳＩカメラから読み込まれた２０ｆｐｓのビデオストリームをリアルタイムで検出して、Ｄｌｉｂによって顔検出を行い、顔面情報を抽出して、次に、ＳＴＭ３２Ｆ１０３Ｃ８Ｔ６シングルチップマイクロコンピュータによってＯＬＥＤ１２８６４を駆動して現在のアスペクト比を表示させ、予め設定された目のアスペクト比をボタンで調整してシリアルポートを介してラズベリーパイに送信し、受信したＭフレームの顔面動画のうち、１フレーム又は複数のフレームの顔面動画におけるドライバーの目のアスペクト比が予め設定された目のアスペクト比より小さい場合、ドライバーが過労運転状態にあると判定し、このときに、ラズベリーパイは、音声放送モジュールが警告情報を放送するように駆動する。
【0043】
本発明による過労運転検出警告システムは、下記有益な効果を有する。
【0044】
（１）該システムでは、まず、ドライバーの運転時間を判断することによりドライバーが過労運転状態に入ったか否かを初期判断し、過労運転状態に入った場合、顔面動画収集モジュール３が起動して顔面動画を収集するように駆動し、さらに該ドライバーが過労運転しているか否かを正確に判断し、それによって、顔面動画収集モジュール３の持続作動を回避し、該システムの耐用年数を延ばし、エネルギー損失を減らす。
【0045】
（２）顔面動画収集モジュール３で顔面動画を収集し、さらに収集した顔面動画について目の特定及び目を閉じる状態の検出を行うことで、ドライバーの疲労を検出し、製品を装着することにより頭が下がることを検出する従来技術に比べて、ドライバーが簡便に使用でき、該システムの使用性を向上させる。
【0046】
（３）マシンビジョンに基づく顔検出及び目の定位は、頭が下がっているか否かを検出する従来技術よりも、精度が高く、誤判断が少なくなる。
【0047】
（４）該システムは、非接触方式で疲労検出を行うため、ドライバーにより簡便に使用できる。
【0048】
（５）人の目の６つの特徴に基づいて検出して計算するため、データ分析結果がより正確になる。
【0049】
図２には、過労運転検出警告方法が示されており、該方法は、中央処理モジュール５は、車内に設置されて車内の環境パラメータを収集するための環境パラメータ収集モジュールにより収集された車内の環境パラメータを受信するステップと、
中央処理モジュール５は、車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、ドライバーの運転時間を参照運転時間閾値と比較して、ドライバーの運転時間が参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定するステップと、
中央処理モジュール５は、該ドライバーが連続的に運転する時間であるドライバーの運転時間を取得するための運転時間取得モジュール２から送信されたドライバーの運転時間を受信するステップと、
中央処理モジュール５は、ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、顔面動画収集モジュール３がドライバーの顔面動画を収集するように駆動するステップと、
中央処理モジュール５は、顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行うように駆動するステップと、を含む。
【0050】
好ましくは、該方法は、中央処理モジュール５は、顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行うように駆動するステップは、具体的には、
（１）受信した連続Ｍフレームの顔面動画についてグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークされた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
【数6】
式中、ＥＡＲは、目のアスペクト比であり、ρＤ１、Ｄ４は、Ｄ１、Ｄ４の２点のユークリッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュール４が警報を発して注意喚起を行うように駆動する。
【0051】
本発明による過労運転検出警告方法は、下記有益な効果を有する。
【0052】
（１）該過労運転検出警告方法では、まず、ドライバーの運転時間を判断することによりドライバーが過労運転状態に入ったか否かを初期判断し、過労運転状態に入った場合、顔面動画収集モジュール３が起動して顔面動画を収集するように駆動し、さらに該ドライバーが過労運転しているか否かを正確に判断し、それによって、顔面動画収集モジュール３の持続作動を回避し、該システムの耐用年数を延ばし、エネルギー損失を減らす。
【0053】
（２）顔面動画収集モジュール３で顔面動画を収集し、さらに収集した顔面動画について目の特定及び目を閉じる状態の検出を行うことで、ドライバーの疲労を検出し、製品を装着することにより頭が下がることを検出する従来技術に比べて、ドライバーが簡便に使用でき、該システムの使用性を向上させる。
【0054】
（３）マシンビジョンに基づく顔検出及び目の定位は、頭が下がっているか否かを検出する従来技術よりも、精度が高く、誤判断が少なくなる。
【0055】
（４）該システムは、非接触方式で疲労検出を行うため、ドライバーにより簡便に使用できる。
【0056】
（５）人の目の６つの特徴に基づいて検出して計算するため、データ分析結果がより正確になる。
【0057】
本発明の第３態様は、コンピューターに前記過労運転検出警告方法を実行させるコンピュータープログラムを提供する。
【0058】
最後に、なお、以上の実施例は、本発明の技術案を説明するために過ぎず、本発明の特許範囲を制限するものではなく、好適実施例を参照しながら本発明を詳細に説明したが、当業者であれば、本発明の技術案の主旨及び範囲から逸脱することなく本発明の技術案について修正又は同等置換を行えることを理解できる。
【符号の説明】
【0059】
環境パラメータ収集モジュール１運転時間取得モジュール２
顔面動画収集モジュール３
警告モジュール４
中央処理モジュール５
【手続補正書】
【提出日】2020年4月7日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
マシンビジョンに基づく過労運転検出警告システムであって、
運転時間取得モジュール、中央処理モジュール、顔面動画収集モジュール及び警告モジュールを備え、前記運転時間取得モジュール、顔面動画収集モジュール、警告モジュールは、すべて中央処理モジュールに接続され、
前記運転時間取得モジュールは、ドライバーの運転時間を取得して、前記中央処理モジュールに送信することに用いられ、
前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、前記顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動し、
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動し、
自動車の内部に設置された環境パラメータ収集モジュールをさらに備え、
前記環境パラメータ収集モジュールは、車内の環境パラメータを収集し、前記中央処理モジュールに送信することに用いられ、
前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定し、
前記環境パラメータ収集モジュールは、空気質検出センサーユニット、湿度センサーユニット、温度センサーユニット及び気圧センサーユニットを備え、
前記空気質検出センサーは、ＣＯ濃度センサー、ＣＯ２濃度センサー、ＰＭ２．５センサーのうちの１種又は複数種を含み、
前記中央処理モジュールでは、前記した前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定することは、具体的には、下記式により現在の環境での参照運転時間閾値を決定することを利用し、
式中、Ｄ′は、現在の環境での参照運転時間閾値であり、Ｄ０は、標準車内環境パラメータでの運転時間閾値であり、ＡＱ、Ｈ、Ｔ、Ｐは、それぞれ現在の環境での空気質係数、車内湿度、車内温度及び車内気圧であり、ＡＱ０は、標準車内環境パラメータでの空気質係数、車内湿度、車内温度及び車内気圧であり、α、β、γは、重み係数であり、α＋β＋γ＝１を満たすことを特徴とする過労運転検出警告システム。
運転時間取得モジュール、中央処理モジュール、顔面動画収集モジュール及び警告モジュールを備え、前記運転時間取得モジュール、顔面動画収集モジュール、警告モジュールは、すべて中央処理モジュールに接続され、
前記運転時間取得モジュールは、ドライバーの運転時間を取得して、前記中央処理モジュールに送信することに用いられ、
前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、前記顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動し、
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動し、
自動車の内部に設置された環境パラメータ収集モジュールをさらに備え、
前記環境パラメータ収集モジュールは、車内の環境パラメータを収集し、前記中央処理モジュールに送信することに用いられ、
前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定し、
前記環境パラメータ収集モジュールは、空気質検出センサーユニット、湿度センサーユニット、温度センサーユニット及び気圧センサーユニットを備え、
前記空気質検出センサーは、ＣＯ濃度センサー、ＣＯ２濃度センサー、ＰＭ２．５センサーのうちの１種又は複数種を含み、
前記中央処理モジュールでは、前記した前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定することは、具体的には、下記式により現在の環境での参照運転時間閾値を決定することを利用し、
【数1】
式中、Ｄ′は、現在の環境での参照運転時間閾値であり、Ｄ０は、標準車内環境パラメータでの運転時間閾値であり、ＡＱ、Ｈ、Ｔ、Ｐは、それぞれ現在の環境での空気質係数、車内湿度、車内温度及び車内気圧であり、ＡＱ０は、標準車内環境パラメータでの空気質係数、車内湿度、車内温度及び車内気圧であり、α、β、γは、重み係数であり、α＋β＋γ＝１を満たすことを特徴とする過労運転検出警告システム。
【請求項2】
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することは、具体的には、
（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）前記顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークされた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
式中、ＥＡＲは、目のアスペクト比であり、ρＤ１、Ｄ４は、Ｄ１、Ｄ４の２点のユークリッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項１に記載の過労運転検出警告システム。
（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）前記顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークされた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
【数2】
式中、ＥＡＲは、目のアスペクト比であり、ρＤ１、Ｄ４は、Ｄ１、Ｄ４の２点のユークリッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項１に記載の過労運転検出警告システム。
【請求項3】
前記算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断することは、具体的には、
前記Ｍフレームの顔面動画のうち、少なくとも１フレームの顔面動画における目のアスペクト比が予め設定された目のアスペクト比より小さいと、該ドライバーが過労運転していると判定し、このときに前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項２に記載の過労運転検出警告システム。
前記Ｍフレームの顔面動画のうち、少なくとも１フレームの顔面動画における目のアスペクト比が予め設定された目のアスペクト比より小さいと、該ドライバーが過労運転していると判定し、このときに前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項２に記載の過労運転検出警告システム。
【請求項4】
マシンビジョンに基づく過労運転検出警告方法であって、
中央処理モジュールは、ドライバーの運転時間を取得するための運転時間取得モジュールから送信されたドライバーの運転時間を受信するステップと、
前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、前記顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動するステップと、
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動するステップとを含み、
前記中央処理モジュールは、車内に設置されて車内の環境パラメータを収集するための環境パラメータ収集モジュールにより収集された車内の環境パラメータを受信するステップと、
前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定するステップとをさらに含み、
前記した前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定することは、具体的には、下記式により現在の環境での参照運転時間閾値を決定することを利用し、
式中、Ｄ′は、現在の環境での参照運転時間閾値であり、Ｄ０は、標準車内環境パラメータでの運転時間閾値であり、ＡＱ、Ｈ、Ｔ、Ｐは、それぞれ現在の環境での空気質係数、車内湿度、車内温度及び車内気圧であり、ＡＱ０は、標準車内環境パラメータでの空気質係数、車内湿度、車内温度及び車内気圧であり、α、β、γは、重み係数であり、α＋β＋γ＝１を満たすことを特徴とする過労運転検出警告方法。
中央処理モジュールは、ドライバーの運転時間を取得するための運転時間取得モジュールから送信されたドライバーの運転時間を受信するステップと、
前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、前記顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動するステップと、
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動するステップとを含み、
前記中央処理モジュールは、車内に設置されて車内の環境パラメータを収集するための環境パラメータ収集モジュールにより収集された車内の環境パラメータを受信するステップと、
前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定するステップとをさらに含み、
前記した前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定することは、具体的には、下記式により現在の環境での参照運転時間閾値を決定することを利用し、
【数1】
式中、Ｄ′は、現在の環境での参照運転時間閾値であり、Ｄ０は、標準車内環境パラメータでの運転時間閾値であり、ＡＱ、Ｈ、Ｔ、Ｐは、それぞれ現在の環境での空気質係数、車内湿度、車内温度及び車内気圧であり、ＡＱ０は、標準車内環境パラメータでの空気質係数、車内湿度、車内温度及び車内気圧であり、α、β、γは、重み係数であり、α＋β＋γ＝１を満たすことを特徴とする過労運転検出警告方法。
【請求項5】
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動するステップは、具体的には、
（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）前記顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークされた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
式中、ＥＡＲは、目のアスペクト比であり、ρＤ１、Ｄ４は、Ｄ１、Ｄ４の２点のユークリッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項４に記載の過労運転検出警告方法。
（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）前記顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークされた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
【数3】
式中、ＥＡＲは、目のアスペクト比であり、ρＤ１、Ｄ４は、Ｄ１、Ｄ４の２点のユークリッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項４に記載の過労運転検出警告方法。
【請求項6】
コンピュータープログラムであって、コンピューターに請求項４または５に記載の前記過労運転検出警告方法を実行させることを特徴とするコンピュータープログラム。
【手続補正書】
【提出日】2020年8月3日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
マシンビジョンに基づく過労運転検出警告システムであって、
運転時間取得モジュール、中央処理モジュール、顔面動画収集モジュール及び警告モジュールを備え、前記運転時間取得モジュール、顔面動画収集モジュール、警告モジュールは、すべて中央処理モジュールに接続され、
前記運転時間取得モジュールは、ドライバーの運転時間を取得して、前記中央処理モジュールに送信することに用いられ、
前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、前記顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動し、
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動し、
自動車の内部に設置された環境パラメータ収集モジュールをさらに備え、
前記環境パラメータ収集モジュールは、車内の環境パラメータを収集し、前記中央処理モジュールに送信することに用いられ、
前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定し、
前記環境パラメータ収集モジュールは、空気質検出センサーユニット、湿度センサーユニット、温度センサーユニット及び気圧センサーユニットを備え、
前記空気質検出センサーユニットは、ＣＯ濃度センサー、ＣＯ２濃度センサー、ＰＭ２．５センサーのうちの１種又は複数種を含み、
前記中央処理モジュールでは、前記した前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定することは、具体的には、下記式により現在の環境での参照運転時間閾値を決定することを利用し、
式中、Ｄ′は、現在の環境での参照運転時間閾値であり、Ｄ０は、標準車内環境パラメータでの運転時間閾値であり、ＡＱ、Ｈ、Ｔ、Ｐは、それぞれ現在の環境での空気質係数、車内湿度、車内温度及び車内気圧であり、ＡＱ０は、標準車内環境パラメータでの空気質係数、車内湿度、車内温度及び車内気圧であり、α、β、γは、重み係数であり、α＋β＋γ＝１を満たすことを特徴とする過労運転検出警告システム。
運転時間取得モジュール、中央処理モジュール、顔面動画収集モジュール及び警告モジュールを備え、前記運転時間取得モジュール、顔面動画収集モジュール、警告モジュールは、すべて中央処理モジュールに接続され、
前記運転時間取得モジュールは、ドライバーの運転時間を取得して、前記中央処理モジュールに送信することに用いられ、
前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、前記顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動し、
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動し、
自動車の内部に設置された環境パラメータ収集モジュールをさらに備え、
前記環境パラメータ収集モジュールは、車内の環境パラメータを収集し、前記中央処理モジュールに送信することに用いられ、
前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定し、
前記環境パラメータ収集モジュールは、空気質検出センサーユニット、湿度センサーユニット、温度センサーユニット及び気圧センサーユニットを備え、
前記空気質検出センサーユニットは、ＣＯ濃度センサー、ＣＯ２濃度センサー、ＰＭ２．５センサーのうちの１種又は複数種を含み、
前記中央処理モジュールでは、前記した前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定することは、具体的には、下記式により現在の環境での参照運転時間閾値を決定することを利用し、
【数1】
【請求項2】
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することは、具体的には、
（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）前記顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークされた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
式中、ＥＡＲは、目のアスペクト比であり、ρＤ１、Ｄ４は、Ｄ１、Ｄ４の２点のユークリッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項１に記載の過労運転検出警告システム。
（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）前記顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークされた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
【数2】
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項１に記載の過労運転検出警告システム。
【請求項3】
前記算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断することは、具体的には、
前記連続Ｍフレームの顔面動画のうち、少なくとも１フレームの顔面動画における目のアスペクト比が予め設定された目のアスペクト比より小さいと、該ドライバーが過労運転していると判定し、このときに前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項２に記載の過労運転検出警告システム。
前記連続Ｍフレームの顔面動画のうち、少なくとも１フレームの顔面動画における目のアスペクト比が予め設定された目のアスペクト比より小さいと、該ドライバーが過労運転していると判定し、このときに前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項２に記載の過労運転検出警告システム。
【請求項4】
マシンビジョンに基づく過労運転検出警告方法であって、
中央処理モジュールは、ドライバーの運転時間を取得するための運転時間取得モジュールから送信されたドライバーの運転時間を受信するステップと、
前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動するステップと、
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行うように駆動するステップとを含み、前記中央処理モジュールは、車内に設置されて車内の環境パラメータを収集するための環境パラメータ収集モジュールにより収集された車内の環境パラメータを受信するステップと、
前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定するステップとをさらに含み、
前記した前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定することは、具体的には、下記式により現在の環境での参照運転時間閾値を決定することを利用し、
式中、Ｄ′は、現在の環境での参照運転時間閾値であり、Ｄ０は、標準車内環境パラメータでの運転時間閾値であり、ＡＱ、Ｈ、Ｔ、Ｐは、それぞれ現在の環境での空気質係数、車内湿度、車内温度及び車内気圧であり、ＡＱ０は、標準車内環境パラメータでの空気質係数、車内湿度、車内温度及び車内気圧であり、α、β、γは、重み係数であり、α＋β＋γ＝１を満たすことを特徴とする過労運転検出警告方法。
中央処理モジュールは、ドライバーの運転時間を取得するための運転時間取得モジュールから送信されたドライバーの運転時間を受信するステップと、
前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動するステップと、
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行うように駆動するステップとを含み、前記中央処理モジュールは、車内に設置されて車内の環境パラメータを収集するための環境パラメータ収集モジュールにより収集された車内の環境パラメータを受信するステップと、
前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定するステップとをさらに含み、
前記した前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定することは、具体的には、下記式により現在の環境での参照運転時間閾値を決定することを利用し、
【数1】
【請求項5】
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動するステップは、具体的には、
（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）前記顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークされた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
式中、ＥＡＲは、目のアスペクト比であり、ρＤ１、Ｄ４は、Ｄ１、Ｄ４の２点のユークリッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項４に記載の過労運転検出警告方法。
（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）前記顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークされた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
【数3】
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項４に記載の過労運転検出警告方法。
【請求項6】
コンピュータープログラムであって、コンピューターに請求項４または５に記載の前記過労運転検出警告方法を実行させることを特徴とするコンピュータープログラム。
【手続補正書】
【提出日】2020年8月24日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
マシンビジョンに基づく過労運転検出警告システムであって、
運転時間取得モジュール、中央処理モジュール、顔面動画収集モジュール及び警告モジュールを備え、前記運転時間取得モジュール、顔面動画収集モジュール、警告モジュールは、すべて中央処理モジュールに接続され、
前記運転時間取得モジュールは、ドライバーの運転時間を取得して、前記中央処理モジュールに送信することに用いられ、
前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、前記顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動し、
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動し、
自動車の内部に設置された環境パラメータ収集モジュールをさらに備え、
前記環境パラメータ収集モジュールは、車内の環境パラメータを収集し、前記中央処理モジュールに送信することに用いられ、
前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定し、
前記環境パラメータ収集モジュールは、空気質検出センサーユニット、湿度センサーユニット、温度センサーユニット及び気圧センサーユニットを備え、
前記空気質検出センサーユニットは、ＣＯ濃度センサー、ＣＯ２濃度センサー、ＰＭ２．５センサーのうちの１種又は複数種を含み、
前記中央処理モジュールでは、前記した前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定することは、具体的には、下記式により現在の環境での参照運転時間閾値を決定することを利用し、
式中、Ｄ′は、現在の環境での参照運転時間閾値であり、Ｄ０は、標準車内環境パラメータでの運転時間閾値であり、ＡＱ、Ｈ、Ｔ、Ｐは、それぞれ現在の環境での空気質係数、車内湿度、車内温度及び車内気圧であり、ＡＱ０は、標準車内環境パラメータでの空気質係数、車内湿度、車内温度及び車内気圧であり、α、β、γは、重み係数であり、α＋β＋γ＝１を満たすことを特徴とする過労運転検出警告システム。
運転時間取得モジュール、中央処理モジュール、顔面動画収集モジュール及び警告モジュールを備え、前記運転時間取得モジュール、顔面動画収集モジュール、警告モジュールは、すべて中央処理モジュールに接続され、
前記運転時間取得モジュールは、ドライバーの運転時間を取得して、前記中央処理モジュールに送信することに用いられ、
前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、前記顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動し、
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動し、
自動車の内部に設置された環境パラメータ収集モジュールをさらに備え、
前記環境パラメータ収集モジュールは、車内の環境パラメータを収集し、前記中央処理モジュールに送信することに用いられ、
前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定し、
前記環境パラメータ収集モジュールは、空気質検出センサーユニット、湿度センサーユニット、温度センサーユニット及び気圧センサーユニットを備え、
前記空気質検出センサーユニットは、ＣＯ濃度センサー、ＣＯ２濃度センサー、ＰＭ２．５センサーのうちの１種又は複数種を含み、
前記中央処理モジュールでは、前記した前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定することは、具体的には、下記式により現在の環境での参照運転時間閾値を決定することを利用し、
【数1】
式中、Ｄ′は、現在の環境での参照運転時間閾値であり、Ｄ０は、標準車内環境パラメータでの運転時間閾値であり、ＡＱ、Ｈ、Ｔ、Ｐは、それぞれ現在の環境での空気質係数、車内湿度、車内温度及び車内気圧であり、ＡＱ０は、標準車内環境パラメータでの空気質係数、車内湿度、車内温度及び車内気圧であり、α、β、γは、重み係数であり、α＋β＋γ＝１を満たすことを特徴とする過労運転検出警告システム。
【請求項2】
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することは、具体的には、
（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）前記顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークされた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
式中、ＥＡＲは、目のアスペクト比であり、ρＤ１、Ｄ４は、Ｄ１、Ｄ４の２点のユークリッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項１に記載の過労運転検出警告システム。
（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）前記顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークされた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
【数2】
式中、ＥＡＲは、目のアスペクト比であり、ρＤ１、Ｄ４は、Ｄ１、Ｄ４の２点のユークリッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項１に記載の過労運転検出警告システム。
【請求項3】
前記算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断することは、具体的には、
前記連続Ｍフレームの顔面動画のうち、少なくとも１フレームの顔面動画における目のアスペクト比が予め設定された目のアスペクト比より小さいと、該ドライバーが過労運転していると判定し、このときに前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項２に記載の過労運転検出警告システム。
前記連続Ｍフレームの顔面動画のうち、少なくとも１フレームの顔面動画における目のアスペクト比が予め設定された目のアスペクト比より小さいと、該ドライバーが過労運転していると判定し、このときに前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項２に記載の過労運転検出警告システム。
【請求項4】
マシンビジョンに基づく過労運転検出警告方法であって、
中央処理モジュールは、ドライバーの運転時間を取得するための運転時間取得モジュールから送信されたドライバーの運転時間を受信するステップと、
前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動するステップと、
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行うように駆動するステップとを含み、
前記中央処理モジュールは、車内に設置されて車内の環境パラメータを収集するための環境パラメータ収集モジュールにより収集された車内の環境パラメータを受信するステップと、
前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定するステップとをさらに含み、
前記した前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定することは、具体的には、下記式により現在の環境での参照運転時間閾値を決定することを利用し、
式中、Ｄ′は、現在の環境での参照運転時間閾値であり、Ｄ０は、標準車内環境パラメータでの運転時間閾値であり、ＡＱ、Ｈ、Ｔ、Ｐは、それぞれ現在の環境での空気質係数、車内湿度、車内温度及び車内気圧であり、ＡＱ０は、標準車内環境パラメータでの空気質係数、車内湿度、車内温度及び車内気圧であり、α、β、γは、重み係数であり、α＋β＋γ＝１を満たすことを特徴とする過労運転検出警告方法。
中央処理モジュールは、ドライバーの運転時間を取得するための運転時間取得モジュールから送信されたドライバーの運転時間を受信するステップと、
前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動するステップと、
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行うように駆動するステップとを含み、
前記中央処理モジュールは、車内に設置されて車内の環境パラメータを収集するための環境パラメータ収集モジュールにより収集された車内の環境パラメータを受信するステップと、
前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定するステップとをさらに含み、
前記した前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定することは、具体的には、下記式により現在の環境での参照運転時間閾値を決定することを利用し、
【数1】
式中、Ｄ′は、現在の環境での参照運転時間閾値であり、Ｄ０は、標準車内環境パラメータでの運転時間閾値であり、ＡＱ、Ｈ、Ｔ、Ｐは、それぞれ現在の環境での空気質係数、車内湿度、車内温度及び車内気圧であり、ＡＱ０は、標準車内環境パラメータでの空気質係数、車内湿度、車内温度及び車内気圧であり、α、β、γは、重み係数であり、α＋β＋γ＝１を満たすことを特徴とする過労運転検出警告方法。
【請求項5】
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動するステップは、具体的には、
（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）前記顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークされた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
式中、ＥＡＲは、目のアスペクト比であり、ρＤ１、Ｄ４は、Ｄ１、Ｄ４の２点のユークリッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項４に記載の過労運転検出警告方法。
（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）前記顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークされた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
【数3】
式中、ＥＡＲは、目のアスペクト比であり、ρＤ１、Ｄ４は、Ｄ１、Ｄ４の２点のユークリッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項４に記載の過労運転検出警告方法。
【請求項6】
コンピュータープログラムであって、コンピューターに請求項４または５に記載の前記過労運転検出警告方法を実行させることを特徴とするコンピュータープログラム。
【手続補正書】
【提出日】2020年9月14日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
マシンビジョンに基づく過労運転検出警告システムであって、
運転時間取得モジュール、中央処理モジュール、顔面動画収集モジュール及び警告モジュ
ールを備え、前記運転時間取得モジュール、顔面動画収集モジュール、警告モジュールは
、すべて中央処理モジュールに接続され、
前記運転時間取得モジュールは、ドライバーの運転時間を取得して、前記中央処理モジュ
ールに送信することに用いられ、
前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状
態を判断し、ドライバーが過労運転状態にあると判定すると、前記顔面動画収集モジュー
ルがドライバーの顔面動画を収集するように駆動し、
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドラ
イバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると
、前記警告モジュールが警報を発して注意喚起を行うように駆動し、
自動車の内部に設置された環境パラメータ収集モジュールをさらに備え、
前記環境パラメータ収集モジュールは、車内の環境パラメータを収集し、前記中央処理モ
ジュールに送信することに用いられ、
前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照
運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記
ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態に
あると判定し、
前記環境パラメータ収集モジュールは、空気質検出センサーユニット、湿度センサーユニ
ット、温度センサーユニット及び気圧センサーユニットを備え、
前記空気質検出センサーユニットは、ＣＯ濃度センサー、ＣＯ２濃度センサー、ＰＭ２．
５センサーのうちの１種又は複数種を含み、
前記中央処理モジュールでは、前記した前記車内の環境パラメータに基づいて、現在の環
境での参照運転時間閾値を決定することは、具体的には、下記式により現在の環境での参
照運転時間閾値を決定することを利用し、
式中、Ｄ′は、現在の環境での参照運転時間閾値であり、Ｄ０は、標準車内環境パラメー
タでの運転時間閾値であり、ＡＱ、Ｈ、Ｔ、Ｐは、それぞれ現在の環境での空気質係数、
車内湿度、車内温度及び車内気圧であり、ＡＱ０は、標準車内環境パラメータでの空気質
係数、車内湿度、車内温度及び車内気圧であり、α、β、γは、重み係数であり、α＋β
＋γ＝１を満たすことを特徴とする過労運転検出警告システム。
運転時間取得モジュール、中央処理モジュール、顔面動画収集モジュール及び警告モジュ
ールを備え、前記運転時間取得モジュール、顔面動画収集モジュール、警告モジュールは
、すべて中央処理モジュールに接続され、
前記運転時間取得モジュールは、ドライバーの運転時間を取得して、前記中央処理モジュ
ールに送信することに用いられ、
前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状
態を判断し、ドライバーが過労運転状態にあると判定すると、前記顔面動画収集モジュー
ルがドライバーの顔面動画を収集するように駆動し、
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドラ
イバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると
、前記警告モジュールが警報を発して注意喚起を行うように駆動し、
自動車の内部に設置された環境パラメータ収集モジュールをさらに備え、
前記環境パラメータ収集モジュールは、車内の環境パラメータを収集し、前記中央処理モ
ジュールに送信することに用いられ、
前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照
運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記
ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態に
あると判定し、
前記環境パラメータ収集モジュールは、空気質検出センサーユニット、湿度センサーユニ
ット、温度センサーユニット及び気圧センサーユニットを備え、
前記空気質検出センサーユニットは、ＣＯ濃度センサー、ＣＯ２濃度センサー、ＰＭ２．
５センサーのうちの１種又は複数種を含み、
前記中央処理モジュールでは、前記した前記車内の環境パラメータに基づいて、現在の環
境での参照運転時間閾値を決定することは、具体的には、下記式により現在の環境での参
照運転時間閾値を決定することを利用し、
【数1】
タでの運転時間閾値であり、ＡＱ、Ｈ、Ｔ、Ｐは、それぞれ現在の環境での空気質係数、
車内湿度、車内温度及び車内気圧であり、ＡＱ０は、標準車内環境パラメータでの空気質
係数、車内湿度、車内温度及び車内気圧であり、α、β、γは、重み係数であり、α＋β
＋γ＝１を満たすことを特徴とする過労運転検出警告システム。
【請求項2】
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドラ
イバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると
、前記警告モジュールが警報を発して注意喚起を行うように駆動することは、具体的には
、
（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔
認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）前記顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークさ
れた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
式中、ＥＡＲは、目のアスペクト比であり、ρＤ１、Ｄ４は、Ｄ１、Ｄ４の２点のユーク
リッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ
３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを
判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発し
て注意喚起を行うように駆動することを特徴とする請求項１に記載の過労運転検出警告シ
ステム。
イバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると
、前記警告モジュールが警報を発して注意喚起を行うように駆動することは、具体的には
、
（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔
認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）前記顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークさ
れた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
【数2】
リッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ
３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを
判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発し
て注意喚起を行うように駆動することを特徴とする請求項１に記載の過労運転検出警告シ
ステム。
【請求項3】
前記算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判
断することは、具体的には、
前記連続Ｍフレームの顔面動画のうち、少なくとも１フレームの顔面動画における目のア
スペクト比が予め設定された目のアスペクト比より小さいと、該ドライバーが過労運転し
ていると判定し、このときに前記警告モジュールが警報を発して注意喚起を行うように駆
動することを特徴とする請求項２に記載の過労運転検出警告システム。
断することは、具体的には、
前記連続Ｍフレームの顔面動画のうち、少なくとも１フレームの顔面動画における目のア
スペクト比が予め設定された目のアスペクト比より小さいと、該ドライバーが過労運転し
ていると判定し、このときに前記警告モジュールが警報を発して注意喚起を行うように駆
動することを特徴とする請求項２に記載の過労運転検出警告システム。
【請求項4】
マシンビジョンに基づく過労運転検出警告方法であって、
中央処理モジュールは、ドライバーの運転時間を取得するための運転時間取得モジュール
から送信されたドライバーの運転時間を受信するステップと、
前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状
態を判断し、ドライバーが過労運転状態にあると判定すると、顔面動画収集モジュールが
ドライバーの顔面動画を収集するように駆動するステップと、
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドラ
イバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると
、警告モジュールが警報を発して注意喚起を行うように駆動するステップとを含み、前記
中央処理モジュールは、車内に設置されて車内の環境パラメータを収集するための環境パ
ラメータ収集モジュールにより収集された車内の環境パラメータを受信するステップと、
前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照
運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記
ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態に
あると判定するステップとをさらに含み、
前記した前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定
することは、具体的には、下記式により現在の環境での参照運転時間閾値を決定すること
を利用し、
式中、Ｄ′は、現在の環境での参照運転時間閾値であり、Ｄ０は、標準車内環境パラメー
タでの運転時間閾値であり、ＡＱ、Ｈ、Ｔ、Ｐは、それぞれ現在の環境での空気質係数、
車内湿度、車内温度及び車内気圧であり、ＡＱ０は、標準車内環境パラメータでの空気質
係数、車内湿度、車内温度及び車内気圧であり、α、β、γは、重み係数であり、α＋β
＋γ＝１を満たすことを特徴とする過労運転検出警告方法。
中央処理モジュールは、ドライバーの運転時間を取得するための運転時間取得モジュール
から送信されたドライバーの運転時間を受信するステップと、
前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状
態を判断し、ドライバーが過労運転状態にあると判定すると、顔面動画収集モジュールが
ドライバーの顔面動画を収集するように駆動するステップと、
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドラ
イバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると
、警告モジュールが警報を発して注意喚起を行うように駆動するステップとを含み、前記
中央処理モジュールは、車内に設置されて車内の環境パラメータを収集するための環境パ
ラメータ収集モジュールにより収集された車内の環境パラメータを受信するステップと、
前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照
運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記
ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態に
あると判定するステップとをさらに含み、
前記した前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定
することは、具体的には、下記式により現在の環境での参照運転時間閾値を決定すること
を利用し、
【数1】
タでの運転時間閾値であり、ＡＱ、Ｈ、Ｔ、Ｐは、それぞれ現在の環境での空気質係数、
車内湿度、車内温度及び車内気圧であり、ＡＱ０は、標準車内環境パラメータでの空気質
係数、車内湿度、車内温度及び車内気圧であり、α、β、γは、重み係数であり、α＋β
＋γ＝１を満たすことを特徴とする過労運転検出警告方法。
【請求項5】
前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドラ
イバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると
、前記警告モジュールが警報を発して注意喚起を行うように駆動するステップは、具体的
には、
（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔
認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）前記顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークさ
れた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
式中、ＥＡＲは、目のアスペクト比であり、ρＤ１、Ｄ４は、Ｄ１、Ｄ４の２点のユーク
リッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ
３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを
判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発し
て注意喚起を行うように駆動することを特徴とする請求項４に記載の過労運転検出警告方
法。
イバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると
、前記警告モジュールが警報を発して注意喚起を行うように駆動するステップは、具体的
には、
（１）受信した連続Ｍフレームの顔面動画に対してグレースケール化処理を順次行い、顔
認識を行って、顔面画像を抽出し、ここで、Ｍは、予め設定されたフレーム数であり、
（２）前記顔面画像について目を特定し、目の６つの特徴点をマーキングして、マークさ
れた目の６つの特徴点に基づいて、下記式により目のアスペクト比を計算し、
【数3】
リッド距離であり、ρＤ２、Ｄ６は、Ｄ２、Ｄ６の２点のユークリッド距離であり、ρＤ
３、Ｄ５は、Ｄ３、Ｄ５の２点のユークリッド距離であり、
（３）算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを
判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発し
て注意喚起を行うように駆動することを特徴とする請求項４に記載の過労運転検出警告方
法。
【請求項6】
コンピュータープログラムであって、コンピューターに請求項４または５に記載の前記過
労運転検出警告方法を実行させることを特徴とするコンピュータープログラム。
労運転検出警告方法を実行させることを特徴とするコンピュータープログラム。