特許 7407198 ながら運転のモニタリング方法、システム及び電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-20

(45)【発行日】2023-12-28

(54)【発明の名称】ながら運転のモニタリング方法、システム及び電子機器

(51)【国際特許分類】

   G08G 1/16 20060101AFI20231221BHJP

   G06T 7/00 20170101ALI20231221BHJP

【ＦＩ】

G08G1/16 F

G06T7/00 650Z

G06T7/00 660Z

【請求項の数】 29

(21)【出願番号】P 2021552987

(86)(22)【出願日】2019-12-03

(65)【公表番号】

(43)【公表日】2022-04-21

(86)【国際出願番号】 CN2019122790

(87)【国際公開番号】W WO2020181840

(87)【国際公開日】2020-09-17

【審査請求日】2021-10-21

(31)【優先権主張番号】201910175982.0

(32)【優先日】2019-03-08

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】519262146

【氏名又は名称】アークソフト コーポレイション リミテッド

【氏名又は名称原語表記】ＡｒｃＳｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ Ｌｉｍｉｔｅｄ

【住所又は居所原語表記】１９ Ｆｌｏｏｒ，Ｎｏ．３９２ Ｂｉｎｘｉｎｇ Ｒｏａｄ （ＡｒｃＳｏｆｔ Ｂｕｉｌｄｉｎｇ），Ｃｈａｎｇｈｅ Ｓｔｒｅｅｔ，Ｂｉｎｊｉａｎｇ Ｄｉｓｔｒｉｃｔ，Ｈａｎｇｚｈｏｕ，Ｚｈｅｊｉａｎｇ，３１００５２，ＣＨＩＮＡ

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】ジャン，シャオディ

(72)【発明者】

【氏名】ジャン，ジーウェイ

(72)【発明者】

【氏名】バオ，ティエンロン

(72)【発明者】

【氏名】ディン，チュンフイ

(72)【発明者】

【氏名】ワン，ジン

【審査官】佐々木 佳祐

(56)【参考文献】

【文献】中国特許出願公開第１０６７０９４２０（ＣＮ，Ａ）

【文献】特開２００９－０８７２０４（ＪＰ，Ａ）

【文献】特開２００８－１６５３２６（ＪＰ，Ａ）

【文献】特開２０１９－０３６００８（ＪＰ，Ａ）

【文献】特表２０１８－５０９６６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

少なくとも画像収集モジュールと、検出モジュールと、論理判断モジュールと、通信モジュールとを含むコンピュータシステム又はサーバに適用されるながら運転のモニタリング方法であって、
前記画像収集モジュールによって運転者の画像を収集するステップと、
前記検出モジュールによってながら運転行為に対応するターゲットを検出して検出結果を取得するステップと、
前記論理判断モジュールによって前記検出結果に基づいて、運転行為の判断結果を取得するステップと、
前記判断結果が前記ながら運転行為の出現を示す場合、前記通信モジュールによって警報信号を発するステップと、を含み、
前記検出結果は、ターゲットの位置を含み、
前記方法は、
前記ターゲットの位置と予め設定された適切領域との相対位置関係を分析することで、前記検出結果の適切性を評価するステップを含み、
前記予め設定された適切領域は、前記ながら運転行為が顔領域で出現する可能性のある適切領域に基づいて予め設定されることを特徴とする、ながら運転のモニタリング方法。

【請求項2】

単独の撮像装置または電子機器に集積された撮像装置である画像収集モジュールによって、運転者の画像を収集することを特徴とする、請求項１に記載の方法。

【請求項3】

前記ターゲットは、タバコ、携帯電話、水カップ、食べ物のうちの少なくとも１つを含み、前記ターゲットに対応する前記ながら運転行為は、喫煙、通話、水飲み、飲食のうちの少なくとも１つを含むことを特徴とする、請求項１に記載の方法。

【請求項4】

前記検出結果は前記運転者の画像にターゲットが含まれているか否かを示し、前記検出結果が前記運転者の画像にターゲットが含まれていることを示す場合、前記運転行為の判断結果はながら運転行為であることを特徴とする、請求項１に記載の方法。

【請求項5】

前記検出結果は、前記ターゲットの種類と、前記種類に対応する確率値とを含むことを特徴とする、請求項１または請求項４に記載の方法。

【請求項6】

前記確率値に基づいて検出結果を選別するステップをさらに含むことを特徴とする、請求項５に記載の方法。

【請求項7】

前記検出結果のうちの前記種類に対応する確率値と第１閾値とを比較して、比較結果を取得するステップと、
前記比較結果に基づいて検出結果を選別するステップと、をさらに含むことを特徴とする、請求項６に記載の方法。

【請求項8】

前記比較結果が検出結果のうちの前記種類に対応する確率値が前記第１閾値を超えることを示す場合、当該検出結果を保留し、そうではなければ、前記検出結果を破棄するステップを含むことを特徴とする、請求項７に記載の方法。

【請求項9】

確率値が第１閾値を超える検出結果が複数存在する場合、最も確率値が高い検出結果のみを保留することを特徴とする、請求項８に記載の方法。

【請求項10】

前記運転者の画像を収集するステップの後、顔領域を検出するステップを含むことを特徴とする、請求項１に記載の方法。

【請求項11】

ターゲットの位置と予め設定された適切領域との相対位置関係を分析することで、検出結果の適切性を評価するステップは、
前記ターゲットの位置と前記ターゲットに対応する前記予め設定された適切領域とのＩｏＵ値を計算し、ＩｏＵ値と第２閾値を比較するステップと、
前記ＩｏＵ値が前記第２閾値を超えていれば、前記ターゲットの位置が予め設定された適切領域に出現していることを示し、ターゲット検出結果は信頼できるものとなり、そうではなければ、前記ターゲット検出結果を破棄するステップを含むことを特徴とする、請求項１に記載の方法。

【請求項12】

運転者の画像を収集するステップの後、
前記運転者の画像に対して、画像のスケーリング、画素値の正規化、及び画像強調のうちの少なくとも１つを含む前処理を行うステップをさらに含み、
前記画像強調は、画像中の異なる物体の特徴間の差を拡大し、興味のない特徴を抑制し、画像品質を改善するための方法であることを特徴とする、請求項１に記載の方法。

【請求項13】

深層学習アルゴリズムで、前記運転者の画像または前記前処理の画像における前記ターゲットの位置と、種類と、前記ターゲットが前記種類に属する確率である確率値とを取得することを特徴とする、請求項１または請求項１２に記載の方法。

【請求項14】

連続フレームの判断結果を組合せて、最終的な判断結果を決定することを特徴とする、請求項１に記載の方法。

【請求項15】

キュー構造で最近のｔ秒内の各フレームの判断結果を記憶して当該キューを維持し、
当該キューの記録をトラバースして、運転行為の最近のｔ秒における割合が第３閾値を超えていれば、当該運転行為を最終的な判断結果とすることを特徴とする、請求項１４に記載の方法。

【請求項16】

運転者の画像を収集するように構成された画像収集モジュールと、
ターゲットを検出して検出結果を取得するように構成された検出モジュールと、
検出結果に基づいて、運転行為の判断結果を取得するように構成された論理判断モジュールと、
判断結果がながら運転行為の出現を示す場合、警報信号を発するように構成された通信モジュールと、を含み、
前記検出結果は、ターゲットの位置を含み、
前記論理判断モジュールは、前記ターゲットの位置と予め設定された適切領域との相対位置関係を分析することで、前記検出結果の適切性を評価し、
前記予め設定された適切領域は、前記ながら運転行為が顔領域で出現する可能性のある適切領域に基づいて予め設定されることを特徴とする、ながら運転のモニタリングシステム。

【請求項17】

前記画像収集モジュールは、単独の撮像装置または電子機器に集積された撮像装置であることを特徴とする、請求項１６に記載のながら運転のモニタリングシステム。

【請求項18】

前記ターゲットは、タバコ、携帯電話、水カップ、食べ物のうちの少なくとも１つを含み、前記ターゲットに対応する前記ながら運転行為は、喫煙、通話、水飲み、飲食のうちの少なくとも１つを含むことを特徴とする、請求項１６に記載のながら運転のモニタリングシステム。

【請求項19】

前記検出結果は、ターゲットの有無、ターゲットの位置、ターゲットの種類、及び前記種類に対応する確率値のうちの少なくとも１つを含むことを特徴とする、請求項１６に記載のながら運転のモニタリングシステム。

【請求項20】

前記論理判断モジュールは、前記確率値に基づいて前記検出結果を選別するように構成されたことを特徴とする、請求項１９に記載のながら運転のモニタリングシステム。

【請求項21】

前記論理判断モジュールは、
前記検出結果のうちの前記種類に対応する確率値と第１閾値とを比較して、比較結果を取得し、
前記比較結果に基づいて検出結果を選別し、前記比較結果が検出結果のうちの前記種類に対応する確率値が前記第１閾値を超えることを示す場合、当該検出結果を保留し、そうではなければ、前記検出結果を破棄するように構成されたことを特徴とする、請求項２０に記載のながら運転のモニタリングシステム。

【請求項22】

確率値が第１閾値を超える検出結果が複数存在する場合、最も確率値が高い検出結果のみを保留することを特徴とする、請求項２１に記載のながら運転のモニタリングシステム。

【請求項23】

前記検出モジュールは、前記運転者の画像が収集された後、顔領域を検出するように構成されたことを特徴とする、請求項１６または請求項１９に記載のながら運転のモニタリングシステム。

【請求項24】

ターゲットの位置と予め設定された適切領域との相対位置関係を分析することで、検出結果の適切性を評価することは、
前記ターゲットの位置と前記ターゲットに対応する前記予め設定された適切領域とのＩｏＵ値を計算し、ＩｏＵ値と第２閾値を比較することと、
前記ＩｏＵ値が前記第２閾値を超えていれば、前記ターゲットの位置が予め設定された適切領域に出現していることを示し、ターゲット検出結果は信頼できるものとなり、そうではなければ、前記ターゲット検出結果を破棄することと、を含むことを特徴とする、請求項２３に記載のながら運転のモニタリングシステム。

【請求項25】

前記検出モジュールは、深層学習アルゴリズムで、前記運転者の画像における前記ターゲットの位置、種類、前記ターゲットが前記種類に属する確率である確率値を取得することを特徴とする、請求項１６に記載のながら運転のモニタリングシステム。

【請求項26】

前記論理判断モジュールは、連続フレームの判断結果を組合せることで、最終的な判断結果を決定することを特徴とする、請求項１６に記載のながら運転のモニタリングシステム。

【請求項27】

前記論理判断モジュールは、
キュー構造で最近のｔ秒内の各フレームの判断結果を記憶して当該キューを維持し、
当該キューの記録をトラバースして、運転行為の最近のｔ秒における割合が第３閾値を超えていれば、当該運転行為を最終的な判断結果とすることを特徴とする、請求項２６に記載のながら運転のモニタリングシステム。

【請求項28】

プロセッサと、前記プロセッサが実行可能なコマンドを記憶するメモリとを備える電子機器であって、
前記プロセッサは、前記実行可能なコマンドを実行することで請求項１乃至１５のうちのいずれか１項に記載のながら運転のモニタリング方法を実現するように構成されたことを特徴とする、電子機器。

【請求項29】

記憶されたプログラムを含む記憶媒体であって、
前記プログラムは実行されると、請求項１乃至請求項１５のうちのいずれか１項に記載のながら運転のモニタリング方法を実現するように前記記憶媒体の所在する機器を制御することを特徴とする、記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータ視覚処理技術分野に関し、特に、ながら運転のモニタリング方法、システム及び電子機器に関する。

【背景技術】

【0002】

国家経済の発展に伴って、国内の自動車保持量も持続的に上昇しており、家庭用車両、交通運送車両が高速に増加している。同時に、交通事故の量もともに急増し、多くの死傷者と重大な物的損害をもたらす。如何に交通事故の量を下げるかは、全社会が注目している問題である。運転中、電話を受けたりかけたりする、喫煙、水や飲み物を飲む等の行為がある場合、運転者がながら運転をしてしまうのが、交通事故を起こす最もよくある１つの原因である。そこで、運転者による運転過程において、その行為をモニタリングして、運転者に通話、喫煙、水や飲み物を飲む等のながら運転行為が現われると、即時にそれを警告し、または監査機構にフィードバックして、交通事故の発生リスクを低減させなければならない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明の実施例は、少なくとも運転者が運転中に現れたながら運転行為をモニタリング行わないことによる交通事故が起こる問題を解決できるながら運転のモニタリング方法、システム及び電子機器を提供する。

【課題を解決するための手段】

【0004】

本発明の実施例の一態様によると、運転者の画像を収集するステップと、ながら運転行為に対応するターゲットを検出して検出結果を取得するステップと、前記検出結果に基づいて、運転行為の判断結果を取得するステップと、前記判断結果が前記ながら運転行為の出現を示す場合、警報信号を発するステップと、を含むながら運転のモニタリング方法を提供する。

【0005】

さらに、前記方法は、単独の撮像装置または電子機器に集積された撮像装置である画像収集モジュールによって運転者の画像を収集する。

【0006】

さらに、前記ターゲットは、タバコ、携帯電話、水カップ、食べ物のうちの少なくとも１つを含み、前記ターゲットに対応する前記ながら運転行為は、喫煙、通話、水飲み、飲食のうちの少なくとも１つを含む。

【0007】

さらに、前記検出結果は前記運転者画像にターゲットが含まれているか否かを示し、前記検出結果が前記運転者画像にターゲットが含まれていることを示す場合、前記運転行為の判断結果はながら運転行為である。

【0008】

さらに、前記検出結果は、前記ターゲットの種類、前記種類に対応する確率値を含む。

【0009】

さらに、前記方法は、前記確率値に基づいて検出結果を選別するステップをさらに含む。

【0010】

さらに、前記方法は、前記検出結果のうちの前記種類に対応する確率値と第１閾値とを比較して、比較結果を取得するステップと、前記比較結果に基づいて検出結果を選別するステップと、を含む。

【0011】

さらに、前記方法は、前記比較結果が検出結果のうちの前記種類に対応する確率値が前記第１閾値を超えることを示す場合、この検出結果を保留し、そうではなければ、前記検出結果を破棄するステップを含む。

【0012】

さらに、確率値が第１閾値を超える検出結果が複数存在する場合、最も確率値が高い検出結果のみを保留する。

【0013】

さらに、前記方法は、前記運転者の画像を収集するステップの後、顔領域を検出するステップを含む。

【0014】

さらに、前記検出結果は、ターゲットの位置を含む。

【0015】

さらに、前記方法は、前記ターゲットの位置と予め設定された適切領域との相対位置関係を分析することで、前記検出結果の適切性を評価するステップを含む。

【0016】

さらに、ターゲットの位置と予め設定された適切領域との相対位置関係を分析することで、検出結果の適切性を評価することは、前記ターゲットの位置と前記ターゲットに対応する前記予め設定された適切領域とのＩｏＵ（Inｔersecｔion over Union）値を計算し、ＩｏＵ値と第２閾値を比較するステップと、前記ＩｏＵ値が前記第２閾値を超えていれば、前記ターゲットの位置が予め設定された適切領域に出現していることを示し、ターゲット検出結果が信頼できるものとなり、そうではなければ、前記ターゲット検出結果を破棄するステップと、を含む。

【0017】

さらに、前記方法は、運転者の画像を収集するステップの後、前記運転者画像に対して、画像のスケーリング、画素値の正規化、画像強化のうちの少なくとも１つを含む前処理を行うことをさらに含む。

【0018】

さらに、前記方法は、深層学習アルゴリズムで、前記運転者画像または前記前処理画像中の前記ターゲットの位置と、種類と、前記ターゲットが前記種類に属する確率である確率値とを得る。

【0019】

さらに、前記方法は、連続フレームの判断結果を組合せることで、最終的な判断結果を決定する。

【0020】

さらに、前記方法は、キュー構造で最近のｔ秒内の各フレームの判断結果を記憶して当該キューを維持し、このキューの記録をトラバースして、運転行為の最近のｔ秒における割合が第３閾値を超えていれば、この運転行為を最終的な判断結果とする。

【0021】

本発明の実施例の他の一態様によると、運転者の画像を収集するように構成された画像収集モジュールと、ターゲットを検出して検出結果を取得するように構成された検出モジュールと、検出結果に基づいて、運転行為の判断結果を取得するように構成された論理判断モジュールと、判断結果がながら運転行為の出現を示す場合、警報信号を発するように構成された通信モジュールと、を含むながら運転のモニタリングシステムを提供する。

【0022】

さらに、前記画像収集モジュールは、単独の撮像装置または電子機器に集積された撮像装置である。

【0023】

さらに、前記ターゲットは、タバコ、携帯電話、水カップ、食べ物のうちの少なくとも１つを含み、前記ターゲットに対応する前記ながら運転行為は、喫煙、通話、水飲み、飲食のうちの少なくとも１つを含む。

【0024】

さらに、前記検出結果は、ターゲットの有無、ターゲットの位置、ターゲットの種類、及び前記種類に対応する確率値のうちの少なくとも１つを含む。

【0025】

さらに、前記論理判断モジュールは、前記確率値に基づいて前記検出結果を選別するように構成される。

【0026】

さらに、前記論理判断モジュールは、前記検出結果のうちの前記種類に対応する確率値と第１閾値とを比較して、比較結果を取得し、前記比較結果に基づいて検出結果を選別し、前記比較結果が検出結果のうちの前記種類に対応する確率値が前記第１閾値を超えることを示す場合、この検出結果を保留し、そうではなければ、前記検出結果を破棄するように構成される。

【0027】

さらに、確率値が第１閾値を超える検出結果が複数存在する場合、最も確率値が高い検出結果のみを保留する。

【0028】

さらに、前記検出モジュールは、前記運転者の画像が収集された後、顔領域を検出するように構成される。

【0029】

さらに、前記論理判断モジュールは、前記ターゲットの位置と予め設定された適切領域との相対位置関係を分析することで、前記検出結果の適切性を評価する。

【0030】

さらに、ターゲットの位置と予め設定された適切領域との相対位置関係を分析することで、検出結果の適切性を評価することは、前記ターゲットの位置と前記ターゲットに対応する前記予め設定された適切領域とのＩｏＵ値を計算し、ＩｏＵ値と第２閾値を比較することと、前記ＩｏＵ値が前記第２閾値を超えていれば、前記ターゲットの位置が予め設定された適切領域に出現していることを示し、ターゲット検出結果が信頼できるものとなり、そうではなければ、前記ターゲット検出結果を破棄することと、を含む。

【0031】

さらに、前記検出モジュールは、深層学習アルゴリズムで、前記運転者画像中の前記ターゲットの位置、種類、前記ターゲットが前記種類に属する確率である確率値を得る。

【0032】

さらに、前記論理判断モジュールは、連続フレームの判断結果を組合せることで、最終的な判断結果を決定する。

【0033】

さらに、前記論理判断モジュールは、キュー構造で最近のｔ秒内の各フレームの判断結果を記憶して当該キューを維持し、このキューの記録をトラバースして、運転行為の最近のｔ秒における割合が第３閾値を超えていれば、この運転行為を最終的な判断結果とする。

【0034】

本発明の実施例の他の一態様によると、プロセッサと、前記プロセッサが実行可能なコマンドを記憶するメモリとを備える電子機器であって、前記プロセッサは、前記実行可能なコマンドを実行することで上記したいずれかのながら運転のモニタリング方法を実現するように構成された電子機器を提供する。

【0035】

本発明の実施例の他の一態様によると、記憶されたプログラムを含む記憶媒体であって、前記プログラムは実行されると、上記したいずれかのながら運転のモニタリング方法を実現するように前記記憶媒体の所在する機器を制御する記憶媒体を提供する。

【発明の効果】

【0036】

本発明の実施例において、運転者の画像を収集し、ターゲットを検出して検出結果を取得すること、検出結果に基づいて、運転行為の判断結果を取得すること、判断結果がながら運転行為の出現を示す場合、警報信号を発することで、運転者のながら運転行為をリアルタイムにモニタリングして警報して、運転者が注意力を集中して安全運転を確保するように促し、交通事故の発生を回避することができる。また、具体的にどのようなながら運転行為であるかを判断して異なる警報提示を与えることができ、法律執行の依拠となること、データ分析または手動確認への適用に有利である。よって、運転者が運転中に現れたながら運転行為をモニタリング行わないことによる交通事故が起こる問題を解決できる。

【図面の簡単な説明】

【0037】

ここで説明する図面は本発明をより理解させるためのものとして、本願の一部を構成し、本発明の概略的な実施例及びその説明は本発明を解釈するもので、本発明を限定するものではない。

【図1】本発明の実施例に係る選択可能なながら運転のモニタリング方法を示す図である。

【図2】本発明の実施例に係る他の選択可能なながら運転のモニタリング方法を示すフローチャートである。

【図3】本発明の実施例に係る選択可能なながら運転のモニタリングシステムの構造を示すブロック図である。

【図4】本発明の実施例に係る選択可能な電子機器の構造を示すブロック図である。

【発明を実施するための形態】

【0038】

以下、当業者が本発明の技術案をよりよく理解できるように、本発明の実施例中の図面を参照しながら、本発明の実施例の技術案を明確且つ完全に説明するが、ここで説明する実施例が本発明の実施例の全部ではなく一部であることは言うまでもない。本発明の実施例に基づいて、当業者が創造性のある行為を必要とせずに得られる他の実施例はいずれも本発明の保護範囲に含まれる。

【0039】

尚、本発明の明細書、特許請求の範囲及び図面に用いられた「第１」、「第２」等の用語は類似する対象を区別するためのものとして、特定の順または前後順を限定するものではない。ここで説明する本発明の実施例を図面に示すまたは説明した順と異なる順でも実現できるように、このように使用される数値は適切な状況において交換可能である。そして、「含む」、「有する」及びそれらの変形用語は、非排他的に含むことをカバーするもので、例えば、一連のステップまたはユニットを含むプロセス、方法、システム、製品または機器が明確に例示されたステップまたはユニットに限定されず、明確に例示されていないまたはこれらのプロセス、方法、製品または機器固有の他のステップまたはユニットも含むことを表す。

【0040】

本発明の実施例は、コンピュータシステム／サーバに適用されることができ、他の多くの汎用または専用計算システム環境または配置と一緒に操作されることができる。コンピュータシステム/サーバと一緒に使用可能な周知の計算システム、環境及び／又は配置の例として、パソコンシステム、サーバコンピュータシステム、手持ちまたは膝置き型機器、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費電子製品、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム及び上記したいずれかのシステムを含む分布式クラウドコンピューティング技術環境などを含むが、これらに限定されることはない。

【0041】

コンピュータシステム/サーバは、コンピュータシステムにより実行されるコンピュータシステムが実行可能なコマンド（例えば、プログラムモジュール等）の一般的なコンテキストで説明されることができる。通常、プログラムモジュールは、ルーチン、プログラム、目標プログラム、素子、ロジック、データ構造などを含むことができ、これらは特定のジョブを実行するか又は特定の抽象データ構造種類を実現する。コンピュータシステム/サーバは分布式クラウドコンピューティング環境で実施することができ、ネットワークを介して接続された遠隔処理装置によってジョブを実行する。分布式クラウドコンピューティング環境において、プログラムモジュールは、記憶装置を備えたローカルに位置したりまたは遠隔コンピュータシステムの記憶媒体に位置したりすることができる。

【0042】

以下、詳細な実施例によって本発明を説明する。

【0043】

図１を参照すると、本発明の実施例に係る選択可能なながら運転のモニタリング方法を示すフローチャートである。図１に示すように、この方法はステップＳ１０、Ｓ１２、Ｓ１４、Ｓ１６を含む。

【0044】

Ｓ１０において、運転者の画像を収集する。

【0045】

Ｓ１２において、ながら運転行為に対応するターゲットを検出して検出結果を取得する。

【0046】

Ｓ１４において、検出結果に基づいて、運転行為の判断結果を取得する。

【0047】

Ｓ１６において、判断結果がながら運転行為の出現を示す場合、警報信号を発する。

【0048】

本発明の実施例において、上記ステップによって、すなわち、運転者の画像を収集し、ターゲットを検出して検出結果を取得し、検出結果に基づいて、運転行為の判断結果を取得し、判断結果がながら運転行為の出現を示す場合、警報信号を発することで、運転者のながら運転行為をリアルタイムにモニタリングして警報して、運転者が注意力を集中して安全運転を確保するように促し、交通事故の発生を回避することができる。

【0049】

以下、上記各ステップを詳しく説明する。

【0050】

ステップＳ１０において、運転者の画像を収集する。

【0051】

あるいはまた、本発明の実施例において、画像収集モジュールによって運転者画像を収集することができる。ここで、画像収集モジュールは単独の撮像装置または電子機器に集積された撮像装置等であることができ、例えば単独の赤外カメラ、深度カメラ、ＲＧＢカメラ、Ｍｏｎｏカメラ等、または携帯電話、タブレットＰＣ、ドライブレコーダー、ナビゲーター、操作パネル、コンソール等の電子機器に備えられたカメラであることができる。運転者画像は、画像収集モジュールにより収集されたビデオ中の画像フレームを切り取って得られる。

【0052】

車内（例えば、運転室）の光線は通常走行環境に従って変化し、晴れた日の昼の場合、車内（例えば、運転室）の光線が明るく、夜または曇りまたはトンネルにおいては車内（例えば、運転室）の光線が暗く、一方、赤外カメラが光の影響を多く受けず２４時間動作できる能力を具備するので、赤外カメラ（近赤外カメラ等を含む）を用いて運転者画像を取得することで、普通のカメラより品質の高い運転者画像を取得してながら運転のモニタリング結果の正確度を向上させることができる。

【0053】

あるいはまた、本発明の実施例において、画像収集モジュールは運転者の顔を撮像できる車内の任意の位置のうちの少なくとも１つに設置されることができ、例えば、ダッシュボード周辺、コンソール周辺、バックミラー周辺等に設置されることができる。画像収集モジュールの数は１つまたは複数であることができる。

【0054】

あるいはまた、本発明の実施例において、所定の数のフレームの間隔でビデオフレーム画像を取得することで、ビデオフレーム画像の取得周波数を低減し、計算リソースを最適化することができる。

【0055】

あるいはまた、本発明の実施例において、運転者画像に前処理を行うことができ、前処理は、画像のスケーリング、画素値の正規化、画像強化のうちの少なくとも１つを含む。これにより、解像度、大きさ等が要求に符合する運転者画像を取得できる。

【0056】

ステップＳ１２において、ターゲットを検出して検出結果を取得する。ここで、ターゲットはながら運転行為に対応する。

【0057】

あるいはまた、本発明の実施例において、検出モジュールによってターゲットを検出して検出結果を取得することができる。

【0058】

あるいはまた、本発明の実施例において、検出結果は運転者画像にターゲットが含まれているか否かを示すことができる。

【0059】

あるいはまた、本発明の実施例において、ターゲットは、タバコ、携帯電話、水カップ、食べ物のうちの少なくとも１つを含む。ターゲットに対応するながら運転行為は、喫煙、通話、水飲み、飲食のうちの少なくとも１つを含む。

【0060】

あるいはまた、本発明の実施例において、運転者画像をターゲット検出アルゴリズムに入力してターゲットを検出することができる。ここで、ターゲット検出アルゴリズムはオフラインで大量のサンプルでトレーニングして得られる。ターゲット検出アルゴリズムは、例えばｙｏｌｏ、ｆａｓｔｅｒ－ＲＣＮＮ、ＳＳＤ等の深層学習アルゴリズムであることができる。

【0061】

ステップＳ１４において、検出結果に基づいて、運転行為の判断結果を取得する。

【0062】

あるいはまた、本発明の実施例において、論理判断モジュールによって、検出結果に基づいて、運転行為の判断結果を取得する。

【0063】

あるいはまた、本発明の実施例において、運転行為の判断結果は、正常な運転行為とながら運転行為とを含む。検出結果が運転者画像にターゲットが含まれていることを示す場合、運転行為の判断結果はながら運転行為である。検出結果が運転者画像にターゲットが含まれていないことを示す場合、運転行為の判断結果は正常な運転行為である。

【0064】

ステップＳ１６において、判断結果がながら運転行為の出現を示す場合、警報信号を発する。

【0065】

あるいはまた、本発明の実施例において、通信モジュールによって、判断結果に基づいて警報信号を発する。ここで、警報信号は、音声提示、ランプ提示、振動提示のうちの少なくとも１つであることができる。具体的に、音声提示は声またはベル等を含み、ランプ提示は点灯または点滅等を含む。

【0066】

あるいはまた、本発明の実施例において、判断結果がながら運転行為の出現を示す場合、さらに、運転者画像をリアルタイムにモニタリングセンターへ伝送して、法律執行の依拠とし、またはデータ収集、データ分析、手動確認等に適用することができる。

【0067】

上記ステップによると、運転者のながら運転行為をモニタリングして警報して、運転者が注意力を集中して安全運転を確保するように促し、交通事故の発生を回避することができる。しかし、上記ながら運転のモニタリング方法によると、運転者の行為が正常な運転行為であるかそれともながら運転行為であるかを判断して簡単な警報を出すことしかできず、具体的にどのようなながら運転行為であるかを決定して異なる警報提示を与えることはできない。

【0068】

図２を参照すると、本発明の実施例に係る他の選択可能なながら運転のモニタリング方法を示すフローチャートである。図２に示すように、この方法はステップＳ２０、Ｓ２２、Ｓ２４、Ｓ２６、Ｓ２８を含む。

【0069】

Ｓ２０において、運転者の画像を収集する。

【0070】

Ｓ２２において、ながら運転行為に対応するターゲットを検出して検出結果を取得する。

【0071】

Ｓ２４において、検出結果を選別して、ターゲットの種類を決定する。

【0072】

Ｓ２６において、ターゲットの種類に基づいて、運転行為の判断結果を取得する。

【0073】

Ｓ２８において、判断結果がながら運転行為の出現を示す場合、警報信号を発する。

【0074】

本発明の実施例において、上記ステップによって、即ち、運転者の画像を収集し、ターゲットを検出して検出結果を取得し、検出結果を選別してターゲットの種類を決定し、ターゲットの種類に基づいて運転行為の判断結果を取得し、判断結果がながら運転行為の出現を示す場合、警報信号を発することで、運転者の行為が正常な運転行為であるかそれともながら運転行為であるかを判断して簡単な警報信号を発することができる以外、具体的にどのようなながら運転行為であるかを判断して異なる警報提示を与えることもでき、運転者が注意力を集中して安全運転を確保するように促し、交通事故の発生を回避することができる。同時に、法律執行の依拠とし、データ分析または手動確認への適用に有利である。

【0075】

上記ステップＳ２０は図１に示すステップＳ１０と基本的に同じであるので、ここでは詳細な説明を省略する。以下、上記ステップＳ２２乃至ステップＳ２８をそれぞれ詳しく説明する。

【0076】

Ｓ２２において、ながら運転行為に対応するターゲットを検出して検出結果を取得する。

【0077】

あるいはまた、本発明の実施例において、検出モジュールによってターゲットを検出して検出結果を取得することができる。

【0078】

あるいはまた、本発明の実施例において、検出結果は運転者画像にターゲットが含まれているか否かを示すことができる。

【0079】

あるいはまた、本発明の実施例において、ターゲットは、タバコ、携帯電話、水カップ、食べ物のうちの少なくとも１つを含む。ターゲットに対応するながら運転行為は、喫煙、通話、水飲み、飲食のうちの少なくとも１つを含む。

【0080】

ながら運転行為が喫煙、通話、水飲み、飲食等を含むので、具体的にどのようなながら運転行為であるかを判断するため、あるいはまた、本発明の実施例において、ステップＳ２２の検出結果は運転者画像にターゲットが含まれているか否かを示す以外、運転者画像にターゲットが含まれていることが検出されると、検出結果は、ターゲットの種類と、前記種類に対応する確率値とをさらに含むことができる。確率値はターゲットが前記種類である確率を示し、その値が０～１の範囲内であることが好ましい。

【0081】

Ｓ２４において、検出結果を選別してターゲットの種類を決定する。

【0082】

あるいはまた、本発明の実施例において、論理判断モジュールによって、検出結果を選別してターゲットの種類を決定することができる。

【0083】

各フレームの運転者画像から複数のターゲットまたはターゲット以外の干渉物が検出される可能性があり、その中の一部は間違った検出ターゲットである。このような間違った検出ターゲットを除去するため、あるいはまた、本発明の実施例において、検出結果を選別してターゲットの種類を決定することは、検出結果のうちの前記種類に対応する確率値と第１閾値とを比較して、比較結果を取得するステップと、比較結果に基づいてターゲット検出結果を選別するステップと、を含む。ここで、複数の相違する種類のターゲットが同一の第１閾値を共用することができ、または各種類のターゲットに１つの第１閾値を対応させることもできる。比較結果が検出結果のうちの前記種類に対応する確率値が第１閾値を超えることを示す場合、この検出結果を保留し、そうではなければ、この検出結果を破棄する。確率値が第１閾値を超える検出結果が１つであると、ターゲットの種類を直接に決定することができる。確率値が第１閾値を超える検出結果が複数存在する場合、最も確率値が高い検出結果のみを保留し、これに基づいてターゲットの種類を決定することができる。

【0084】

あるいはまた、本発明の実施例において、運転者画像をターゲット検出アルゴリズムに入力してターゲットを検出することができる。ここで、ターゲット検出アルゴリズムはオフラインで大量のサンプルでトレーニングして得られる。ターゲット検出アルゴリズムは、例えばｙｏｌｏ、ｆａｓｔｅｒ－ＲＣＮＮ、ＳＳＤ等の深層学習アルゴリズムであることができる。

【0085】

ステップＳ２６において、ターゲットの種類に基づいて、運転行為の判断結果を取得する。

【0086】

あるいはまた、本発明の実施例において、論理判断モジュールによって、ターゲットの種類に基づいて運転行為の判断結果を取得することができる。

【0087】

あるいはまた、本発明の実施例において、運転行為の判断結果は、正常な運転行為と各種の具体的なながら運転行為とを含む。検出結果が運転者画像にターゲットが含まれていないことを示す場合、運転行為の判断結果は正常な運転行為である。検出結果が運転者画像にターゲットが含まれていることを示す場合、運転行為の判断結果はながら運転行為であり、また、ターゲットの種類に基づいて、例えば喫煙、通話、水飲み、飲食等の各種の具体的なながら運転行為をさらに判断することができる。具体的に、例えばターゲット種類がタバコであると、具体的なながら運転行為が喫煙であると判断し、ターゲット種類が水カップであると、具体的なながら運転行為が水飲みであると判断する。

【0088】

ステップＳ２８において、判断結果がながら運転行為の出現を示す場合、警報信号を発する。

【0089】

あるいはまた、本発明の実施例において、通信モジュールによって、判断結果に基づいて警報信号を発することができる。ここで、警報信号は、音声提示、ランプ提示、振動提示のうちの少なくとも１つであることができる。具体的に、音声提示は声またはベル等を含み、ランプ提示は点灯または点滅等を含む。音声で放送する方式で、出現している各種の具体的なながら運転行為をそれぞれ提示することが好ましい。

【0090】

あるいはまた、本発明の実施例において、判断結果がながら運転行為の出現を示す場合、さらに、運転者画像をリアルタイムにモニタリングセンターへ伝送して、法律執行の依拠とし、データ収集、データ分析、手動確認等に適用することができる。

【0091】

上記ステップによると、運転者の行為が正常な運転行為であるかそれともながら運転行為であるかを判断して簡単な警報信号を発することができるとともに、具体的にどのようなながら運転行為であるかを判断して異なる警報提示を与えることもでき、運転者が注意力を集中して安全運転を確保するように促し、交通事故の発生を回避することができる。同時に、法律執行の依拠とし、データ収集、データ分析または手動確認への適用に有利である。

【0092】

あるいはまた、本発明の実施例のながら運転のモニタリング方法は、ステップＳ１０またはＳ２０において運転者の画像を収集する前、ハードウェアとソフトウェアに初期化を行うことをさらに含む。

【0093】

ながら運転のモニタリング結果の正確度を向上させるため、あるいはまた、本発明の実施例において、ステップＳ１０またはＳ２０（即ち、運転者の画像を収集する）の後、顔領域を検出するステップＳ１１をさらに含むことができる。尚、ステップＳ１１は、ステップＳ１２またはＳ２２（即ち、ターゲットを検出して検出結果を取得する）の前、その後または同時に実行されることができる。

【0094】

運転者画像全体の領域が大きく、この領域内に複種類のターゲットまたはターゲット以外の干渉物が同時に出現する可能性があるので、ながら運転のモニタリング結果の正確度を向上させるため、あるいはまた、本発明の実施例において、ステップＳ１２またはＳ２２の検出結果は、ターゲットの位置をさらに含むことができる。ここで、ターゲットの位置を、左上隅と右下隅の２つの点の座標または右上隅と左下隅の２つの点の座標または左上隅、右下隅、右上隅、左下隅の四つの点で座標を含む矩形枠で示すことができる。

【0095】

ステップＳ１２またはＳ２２の検出結果にターゲットの位置が含まれる場合、ステップＳ１４またはＳ２４は、検出結果の適切性を評価するステップＳ１３をさらに含むことができる。あるいはまた、本発明の実施例において、ターゲットの位置と予め設定された適切領域との相対位置関係を分析して検出結果の適切性を評価することができる。具体的に、ターゲットの位置の適切性を評価することは、ターゲットの位置とこのターゲットに対応する予め設定された適切領域とのＩｏＵ値を計算し、ＩｏＵ値と第２閾値を比較するステップと、ＩｏＵ値が第２閾値を超えていれば、このターゲットの位置が予め設定された適切領域に出現していることを示し、検出結果は信頼できるものとなり、次のステップを実行することができ、そうではなければ、このターゲット検出結果を破棄する。ここで、予め設定された適切領域は、ながら運転行為が顔領域で出現する可能性のある適切領域に基づいて予め設定される。例えば、通話行為に対応する予め設定された適切領域は顔領域の両側または下方の領域であることができ、喫煙行為に対応する予め設定された適切領域は顔の下方の領域であることができる。

【0096】

ステップＳ１１及び/またはステップＳ１３を追加することで、すなわち、顔領域を検出すること及び/または検出結果の適切性を評価することを追加することで、ながら運転のモニタリング結果の正確度を向上させることができる。

【0097】

ながら運転のモニタリング結果の正確度をさらに向上させるため、あるいはまた、本発明の実施例において、ステップＳ１４またはステップＳ２６において、連続フレームの判断結果を組合せて、最終的な判断結果を決定することで、ながら運転行為をさらに精確に判断し、誤検出率を低下させることができる。具体的に、連続フレームの判断結果を組合せることは、キュー構造で最近のｔ秒内の各フレームの判断結果を記憶してこのキューを維持することと、このキューの記録をトラバースし、最近のｔ秒における割合が第３閾値を超える運転行為があると、この運転行為を最終的な判断結果とすることと、を含む。

【0098】

本発明の実施例に係る他の一態様によると、ながら運転のモニタリングシステムを提供し、ながら運転のモニタリングシステム３０は、画像収集モジュール３００と、検出モジュール３０２と、論理判断モジュール３０４と、通信モジュール３０６と、を含む。

【0099】

画像収集モジュール３００は、運転者の画像を収集するように構成される。

【0100】

あるいはまた、本発明の実施例において、画像収集モジュール３００は単独の撮像装置または電子機器に集積された撮像装置等であることができ、例えば単独の赤外カメラ、深度カメラ、ＲＧＢカメラ、Ｍｏｎｏカメラ等、または携帯電話、タブレットＰＣ、ドライブレコーダー、ナビゲーター、操作パネル、コンソール等の電子機器に備えられたカメラであることができる。運転者画像は、画像収集モジュールにより収集されたビデオ中の画像フレームを切り取って得えられる。

【0101】

車内（例えば、運転室）の光線は通常走行環境に従って変化し、晴れた日の昼の場合、車内（例えば、運転室）の光線が明るく、夜又は曇り又はトンネルにおいては車内（例えば、運転室）の光線が暗く、一方、赤外カメラが光の影響を多く受けず２４時間動作できる能力を具備するので、画像収集モジュール３００として赤外カメラ（近赤外カメラ等を含む）を用いて運転者画像を取得することで、普通のカメラより品質の高い運転者画像を取得してながら運転のモニタリング結果の正確度を向上させることができる。

【0102】

あるいはまた、本発明の実施例において、画像収集モジュール３００は運転者の顔を撮像できる車内の任意の位置のうちの少なくとも１つに設置されることができ、例えば、ダッシュボード周辺、コンソール周辺、バックミラー周辺等に設置されることができる。画像収集モジュールの数は１つ又は複数であることができる。

【0103】

あるいはまた、本発明の実施例において、所定の数のフレームの間隔でビデオフレーム画像を取得することで、ビデオフレーム画像の取得周波数を低減し、計算リソースを最適化することができる。

【0104】

あるいはまた、本発明の実施例において、画像収集モジュール３００によって運転者画像に前処理を行うことができ、前処理は、画像のスケーリング、画素値の正規化、画像強化のうちの少なくとも１つを含む。これにより、解像度、大きさ等が要求に符合する運転者画像を取得できる。

【0105】

検出モジュール３０２は、ターゲットを検出して検出結果を取得するように構成される。

【0106】

あるいはまた、本発明の実施例において、検出結果は運転者画像にターゲットが含まれているか否かを示すことができる。

【0107】

あるいはまた、本発明の実施例において、ターゲットは、タバコ、携帯電話、水カップ、食べ物のうちの少なくとも１つを含む。ターゲットに対応するながら運転行為は、喫煙、通話、水飲み、飲食のうちの少なくとも１つを含む。

【0108】

あるいはまた、本発明の実施例において、検出モジュール３０２はターゲット検出アルゴリズムを用いてターゲットを検出することができる。ここで、ターゲット検出アルゴリズムはオフラインで大量のサンプルでトレーニングして得られる。ターゲット検出アルゴリズムは、例えばｙｏｌｏ、ｆａｓｔｅｒ－ＲＣＮＮ、ＳＳＤ等の深層学習アルゴリズムであることができる。

【0109】

論理判断モジュール３０４は、検出結果に基づいて、運転行為の判断結果を取得するように構成される。

【0110】

あるいはまた、本発明の実施例において、運転行為の判断結果は、正常な運転行為とながら運転行為とを含む。検出結果が運転者画像にターゲットが含まれていることを示す場合、運転行為の判断結果はながら運転行為である。検出結果が運転者画像にターゲットが含まれていないことを示す場合、運転行為の判断結果は正常な運転行為である。

【0111】

通信モジュール３０６は、判断結果がながら運転行為の出現を示す場合、警報信号を発するように構成される。

【0112】

あるいはまた、本発明の実施例において、警報信号は、音声提示、ランプ提示、振動提示のうちの少なくとも１つであることができる。具体的に、音声提示は声又はベル等を含み、ランプ提示は点灯又は点滅等を含む。

【0113】

あるいはまた、本発明の実施例において、判断結果がながら運転行為の出現を示す場合、通信モジュールはさらに、運転者画像をリアルタイムにモニタリングセンターへ伝送して、法律執行の依拠とし、またはデータ収集、データ分析、手動確認等に適用することができる。

【0114】

上記画像収集モジュール３００、検出モジュール３０２、論理判断モジュール３０４と通信モジュール３０６は、互いに独立した方式でながら運転のモニタリングシステムに配置されることができ、一部または全部が１つの大きいモジュールに集積された形態でながら運転のモニタリングシステムに配置されることもでき、これにより、ながら運転のモニタリングシステムによると、運転者のながら運転行為をリアルタイムにモニタリングして警報して、運転者が注意力を集中して安全運転を確保するように促し、交通事故の発生を回避することができる。

【0115】

ながら運転行為が喫煙、通話、水飲み、飲食等を含むので、具体的にどのようなながら運転行為であるかを判断するため、あるいはまた、本発明の実施例の他のながら運転のモニタリングシステムにおいて、検出モジュール３０２が運転者画像にターゲットが含まれているか否かを検出する以外、ターゲットの種類と、前記種類に対応する確率値とをさらに検出することができる。確率値はターゲットが前記種類である確率を示し、その値が０～１の範囲内であることが好ましい。

【0116】

その後、論理判断モジュール３０４は、前記確率値に基づいて前記検出結果を選別してターゲットの種類を決定するように構成される。各フレームの運転者画像から複数のターゲットまたはターゲット以外の干渉物が検出される可能性があり、その中の一部は間違った検出ターゲットである。このような間違った検出ターゲットを除去するため、あるいはまた、本発明の実施例において、論理判断モジュール３０４は、検出結果のうちの前記種類に対応する確率値と第１閾値とを比較して、比較結果を取得し、比較結果に基づいてターゲット検出結果を選別するように構成される。ここで、複数の相違する種類のターゲットが同一の第１閾値を共用することができ、または各種類のターゲットに１つの第１閾値を対応させることもできる。比較結果が検出結果のうちの前記種類に対応する確率値が第１閾値を超えることを示す場合、この検出結果を保留し、そうではなければ、この検出結果を破棄する。確率値が第１閾値を超える検出結果が１つであると、ターゲットの種類を直接に決定することができる。確率値が第１閾値を超える検出結果が複数存在する場合、最も確率値が高い検出結果のみを保留し、これに基づいてターゲットの種類を決定することができる。あるいはまた、本発明の実施例において、運転行為の判断結果は、正常な運転行為と各種の具体的なながら運転行為とを含む。検出結果が運転者画像にターゲットが含まれていないことを示す場合、運転行為の判断結果は正常な運転行為である。検出結果が運転者画像にターゲットが含まれていることを示す場合、運転行為の判断結果はながら運転行為であり、また、ターゲットの種類に基づいて、論理判断モジュール３０４は、例えば喫煙、通話、水飲み、飲食等の各種の具体的なながら運転行為をさらに判断することができる。具体的に、例えばターゲット種類がタバコであると、具体的なながら運転行為が喫煙であると判断し、ターゲット種類が水カップであると、具体的なながら運転行為が水飲みであると判断する。

【0117】

その後、通信モジュール３０６は、判断結果に基づいて警報信号を発する。ここで、警報信号は、音声提示、ランプ提示、振動提示のうちの少なくとも１つであることができる。具体的に、音声提示は声またはベル等を含み、ランプ提示は点灯または点滅等を含む。音声で放送する方式で、出現している各種の具体的なながら運転行為をそれぞれ提示することが好ましい。

【0118】

本発明の実施例のさらなる他のながら運転のモニタリングシステムにおいて、検出モジュール３０２はさらに、前記運転者の画像が収集された後、顔領域とターゲットの位置を検出するように構成される。ここで、ターゲットの位置を、左上隅と右下隅の２つの点の座標または右上隅と左下隅の２つの点の座標または左上隅、右下隅、右上隅、左下隅の四つの点で座標を含む矩形枠で示すことができる。

【0119】

論理判断モジュール３０４はさらに、検出結果の適切性を評価するように構成される。あるいはまた、本発明の実施例において、ターゲットの位置と予め設定された適切領域との相対位置関係を分析して検出結果の適切性を評価することができる。具体的に、ターゲットの位置の適切性を評価することは、ターゲットの位置とこのターゲットに対応する予め設定された適切領域とのＩｏＵ値を計算し、ＩｏＵ値と第２閾値を比較するステップと、ＩｏＵ値が第２閾値を超えていれば、このターゲットの位置が予め設定された適切領域に出現していることを示し、検出結果は信頼できるものとなり、次のステップを実行することができ、そうではなければ、このターゲット検出結果を破棄する。ここで、予め設定された適切領域は、ながら運転行為が顔領域で出現する可能性のある適切領域に基づいて予め設定される。例えば、通話行為に対応する予め設定された適切領域は顔領域の両側または下方の領域であることができ、喫煙行為に対応する予め設定された適切領域は顔の下方の領域であることができる。

【0120】

本発明の実施例のさらなる他のながら運転のモニタリングシステムにおいて、論理判断モジュール３０４はさらに、連続フレームの判断結果を組合せて、最終的な判断結果を決定することで、ながら運転行為をさらに精確に判断し、誤検出率を低下させるように構成される。具体的に、連続フレームの判断結果を組合せることは、キュー構造で最近のｔ秒内の各フレームの判断結果を記憶してこのキューを維持することと、このキューの記録をトラバースし、最近のｔ秒における割合が第３閾値を超える運転行為があると、この運転行為を最終的な判断結果とすることと、を含む。

【0121】

本発明の実施例に係る他の一態様によると電子機器を提供し、電子機器４０は、プロセッサ４００と、前記プロセッサ４００が実行可能なコマンドを記憶するメモリ４０２と、を含み、前記プロセッサ４００は前記実行可能なコマンドを実行することで上述したいずれかのながら運転のモニタリング方法を実現するように構成される。

【0122】

本発明の実施例に係る他の一態様によると記憶媒体を提供し、前記記憶媒体は記憶されたプログラムを含み、前記プログラムは実行されるときに、上述したいずれかのながら運転のモニタリング方法を実現するように、前記記憶媒体を備えた機器を制御する。

【0123】

本発明の実施例の適用が自動車の運転に限られず、船、飛行機、列車、地下鉄、ライトレール等の他の各種の交通工具の運転における運転者の運転状態のモニタリングにも適用可能であることを当業者は理解できる。

【0124】

上述した本発明の実施例の番号は説明の便宜を図るためのもので、実施例の優劣を示すものではない。

【0125】

本発明の上記実施例において、各実施例の説明は重要視するものがあって、ある実施例で詳しく説明していない部分については他の実施例の関連部分の説明を参照することができる。

【0126】

本願で提供するいくつかの実施例において、開示した技術内容を他の形態で実現できることは理解できることである。ここで、以上で説明した装置実施例は例示的なものであって、例えば、上記ユニットの区画はロジック機能の区画であることができるが、実際に実現する時は他の区画方式であることもでき、例えば、複数のユニット又は部品を組合せるか、又は他の１つのシステムに集積することもでき、又は部分の特徴を省略し又は実行しないこともできる。そして、示した又は検討した相互組合せ又は直接組合せ又は通信接続はインターフェース、ユニット又はモジュールを介した間接的な組合せ又は通信接続であることができ、電気的又は他の形態のものであることもできる。

【0127】

上述した分離部品として説明したユニットは物理的に分離したものであることができれば物理的に分離していないものであることもでき、ユニットとして表す部品は物理ユニットであることができれば物理ユニットではないこともでき、つまり、１つの箇所に位置することができれば、複数のユニットに分布されることもできる。実際の需要に応じて、その中の一部又は全部のユニットを選択して本実施例の技術案を実現する目的を実現することができる。

【0128】

また、本発明の各実施例中の各機能ユニットを１つの処理ユニットに集積することができ、各ユニットが物理的に独立したものであることもでき、２つ又はそれ以上のユニットを１つのユニットに集積することもできる。上記集積されたユニットをハードウェアの形態で実現でき、ソフトウェア機能ユニットの形態で実現することもできる。

【0129】

上述した集積されたユニットをソフトウェア機能ユニットの形態で実現し、独立した製品として販売又は使用する場合、１つのコンピュータ読取可能な記憶媒体に記憶することができる。従って、本発明の技術案の実質又は既存技術に対する貢献のある部分又は該技術案の全部又は一部をソフトウェア製品の形態で体現でき、計算機機器（パーソナルコンピュータ、サーバ又はネットワーク機器等であることができる）に本発明の各実施例で説明した方法の全部又は一部のステップを実行させるいくつかの命令を含む該コンピュータソフトウェア製品を１つの記憶媒体に記憶することができる。上述した記憶媒体には、ＵＳＢ、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、モバイルハードディスク、ディスク又はＣＤ等のプログラムコードを記憶できる各種の媒体が含まれる。

【0130】

以上は、本発明の好適な実施形態に過ぎず、当業者は本発明の精神を離脱せずに若干の改善や修正を行うことができ、このような改善や修正は本発明の保護範囲に含まれる。

【図1】

【図2】

【図3】

【図4】