特許 7167325 運転者在席状態検出方法及び装置、機器並びにコンピュータ記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-28

(45)【発行日】2022-11-08

(54)【発明の名称】運転者在席状態検出方法及び装置、機器並びにコンピュータ記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221031BHJP

   G06V 20/59 20220101ALI20221031BHJP

【ＦＩ】

G06T7/00 650Z

G06V20/59

【請求項の数】 15

(21)【出願番号】P 2021518896

(86)(22)【出願日】2019-11-29

(65)【公表番号】

(43)【公表日】2022-01-11

(86)【国際出願番号】 CN2019122211

(87)【国際公開番号】W WO2020258719

(87)【国際公開日】2020-12-30

【審査請求日】2021-04-06

(31)【優先権主張番号】201910580618.2

(32)【優先日】2019-06-28

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】518209698

【氏名又は名称】シェンチェン センスタイム テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】シアン ジエ

(72)【発明者】

【氏名】イン シャオポン

【審査官】新井 則和

(56)【参考文献】

【文献】国際公開第２０１８／０４３１００（ＷＯ，Ａ１）

【文献】特開２００５－１５７６４８（ＪＰ，Ａ）

【文献】国際公開第２０１８／１１６３７３（ＷＯ，Ａ１）

【文献】特開２００４－２７６７８２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００３６５９９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０３５４４４０（ＵＳ，Ａ１）

【文献】Zhixiong Liu, Guiming He，Research On Vehicle Anti-theft and Alarm System Using Facing Recognition，2005 International Conference on Neural Networks and Brain，米国，IEEE，2005年10月13日，pp. 925-929，https://ieeexplore.ieee.org/document/1614771/

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ ２０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

車載画像取得装置が遮られていないことを確認するステップと、
車両に取り付けられ、少なくとも前記車両の運転席領域の画像を取得するために用いられる前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出するステップと、
取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定するステップと、を含み、
前記車載画像取得装置が遮られていないことを確認するステップは、
前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップを含み、
前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像に基づいて前記画像の平均輝度を決定するステップと、
前記画像の平均輝度が第１輝度閾値より小さくなっていた持続時間が第２設定時間以上であるか、又は前記第１輝度閾値以上の第２輝度閾値より大きくなっていた持続時間が第２設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップと、を含む、運転者在席状態検出方法。

【請求項2】

取得された画像から顔画像が抽出されたことに応えて、前記画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングするか否かを決定するステップと、
前記取得された画像から抽出された顔画像の特徴が前記事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、
前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップと、を更に含む請求項１に記載の方法。

【請求項3】

前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップは、
前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、
選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を含み、
前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、前記運転者が在席していると決定するステップは、
前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、
選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップと、を含む請求項２に記載の方法。

【請求項4】

運転者の欠席持続時間が第１設定時間を超えたことに応えて、第１警告情報を出すステップを更に含む請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記第１警告情報を出した後、
運転者が在席していると決定した後、前記第１警告情報を出すことを止めるステップを更に含む請求項４に記載の方法。

【請求項6】

前記車載画像取得装置が運転者の欠席状態で取得した画像をローカルに保存するか、又はクラウドにアップロードするステップを更に含む請求項１～５のいずれか一項に記載の方法。

【請求項7】

携帯端末で権限認証が成功した後、前記携帯端末によってクラウドサーバに運転者の顔画像をアップロードし且つ前記クラウドサーバに保存するステップと、
前記クラウドサーバに保存された前記車両に関連する運転者の顔画像が更新された後、車両と前記クラウドサーバの接続を確立した後、前記クラウドサーバから前記車両に前記車両に関連する更新後の運転者の顔画像を送信するステップと、を使用することによって運転者の顔画像を事前に記憶し、
又は、
車両が起動したが走行していない状態にある場合に、権限認証が成功した後、前記車載画像取得装置によって運転者の顔画像を取得して保存するステップを使用することによって運転者の顔画像を事前に記憶する請求項２～５のいずれか一項に記載の方法。

【請求項8】

前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値より大きくなっていた持続時間が第３設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、を更に含む請求項１に記載の方法。

【請求項9】

前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量より小さくなっていた持続時間が第４設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に含む請求項１に記載の方法。

【請求項10】

前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量以上であることに応えて、前記車載画像取得装置が遮られていない状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に含む請求項１に記載の方法。

【請求項11】

前記取得された画像の有効面積は、前記車載画像取得装置と前記車載画像取得装置が画像を取得する領域に光を補充するための補光用ランプの相対的位置に応じて事前に設定される請求項８～１０のいずれか一項に記載の方法。

【請求項12】

前記車載画像取得装置が遮られている状態にあると決定した場合に、
前記車載画像取得装置が遮られている状態にある持続時間が第５設定時間より大きいことに応えて、第２警告情報を出すステップを更に含み、
前記第２警告情報を出した後、
前記車載画像取得装置が遮られていない状態にあると決定した後、前記第２警告情報を出すことを止めるステップを更に含む請求項１～１１のいずれか一項に記載の方法。

【請求項13】

プロセッサと、プロセッサ上で実行可能なコンピュータプログラムを記憶するように構成されるメモリと、を含み、
前記プロセッサは、前記コンピュータプログラムを実行させて、請求項１～１２のいずれか一項に記載の方法を実行するように構成される電子機器。

【請求項14】

コンピュータに、請求項１～１２のいずれか一項に記載の方法を実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

【請求項15】

コンピュータに、請求項１～１２のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０１９年６月２８日に中国特許局に提出された、出願の番号２０１９１０５８０６１８．２、出願の名称「運転者在席状態検出方法及び装置、機器並びにコンピュータ記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。

【0002】

本開示は、運転監視に関し、特に運転者在席状態検出方法及び装置、電子機器並びにコンピュータ記憶媒体に関する。

【背景技術】

【0003】

関連技術において、運転者監視システムの機能としては、主に運転者の疲労状態を監視する機能及び危険運転行動等を監視する機能を含み、監視結果に基づいて運転者に報知して、インテリジェントドライブのセキュリティレベルを好適に向上して、車両走行の安全性を高くすることができる。

【発明の概要】

【0004】

本開示の実施例は、運転者在席状態検出の技術的解決手段を提供することを目的とする。

【0005】

本開示の実施例は、
車載画像取得装置が遮られていないことを確認するステップと、
車両に取り付けられ、少なくとも前記車両の運転席領域の画像を取得するために用いられる前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出するステップと、
取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定するステップと、を含む運転者在席状態検出方法を提供する。

【0006】

任意選択的に、前記方法は、
取得された画像から顔画像が抽出されたことに応えて、前記画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングするか否かを決定するステップと、
前記取得された画像から抽出された顔画像の特徴が前記事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を更に含む。

【0007】

任意選択的に、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップは、
前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、
選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を含む。

【0008】

任意選択的に、前記方法は、
前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップを更に含む。

【0009】

任意選択的に、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、前記運転者が在席していると決定するステップは、
前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、
選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップと、を含む。

【0010】

任意選択的に、前記方法は、
運転者の欠席持続時間が第１設定時間を超えたことに応えて、第１警告情報を出すステップを更に含む。

【0011】

任意選択的に、第１警告情報を出した後、前記方法は、
運転者が在席していると決定した後、前記第１警告情報を出すことを止めるステップを更に含む。

【0012】

任意選択的に、前記方法は、
前記車載画像取得装置が運転者の欠席状態で取得した画像をローカルに保存するか、又はクラウドにアップロードするステップを更に含む。

【0013】

任意選択的に、携帯端末で権限認証が成功した後、前記携帯端末によってクラウドサーバに運転者の顔画像をアップロードし且つ前記クラウドサーバに保存するステップと、
前記クラウドサーバに保存された前記車両に関連する運転者の顔画像が更新された後、車両と前記クラウドサーバの接続を確立した後、前記クラウドサーバから前記車両に前記車両に関連する更新後の運転者の顔画像を送信するステップと、を使用することによって運転者の顔画像を事前に記憶する。

【0014】

任意選択的に、車両が起動したが走行していない状態にある場合に、権限認証が成功した後、前記車載画像取得装置によって運転者の顔画像を取得して保存するステップを使用することによって運転者の顔画像を事前に記憶する。

【0015】

任意選択的に、前記車載画像取得装置が遮られていないことを確認するステップは、
前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップを含む。

【0016】

任意選択的に、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像に基づいて前記画像の平均輝度を決定するステップと、
前記画像の平均輝度が第１輝度閾値より小さくなっていた持続時間が第２設定時間以上であるか、又は前記第１輝度閾値以上の第２輝度閾値より大きくなっていた持続時間が第２設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップと、を含む。

【0017】

任意選択的に、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値より大きくなっていた持続時間が第３設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、を更に含む。

【0018】

任意選択的に、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量より小さくなっていた持続時間が第４設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に含む。

【0019】

任意選択的に、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量以上であることに応えて、前記車載画像取得装置が遮られていない状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に含む。

【0020】

任意選択的に、前記取得された画像の有効面積は、前記車載画像取得装置と前記車載画像取得装置が画像を取得する領域に光を補充するための補光用ランプの相対的位置に応じて事前に設定される。

【0021】

任意選択的に、前記車載画像取得装置は赤外線カメラである。

【0022】

任意選択的に、前記車載画像取得装置が遮られている状態にあると決定した場合に、前記方法は、
前記車載画像取得装置が遮られている状態にある持続時間が第５設定時間より大きいことに応えて、第２警告情報を出すステップを更に含む。

【0023】

任意選択的に、第２警告情報を出した後、前記方法は、
前記車載画像取得装置が遮られていない状態にあると決定した後、前記第２警告情報を出すことを止めるステップを更に含む。

【0024】

任意選択的に、前記車両の起動状態は車両の走行速度が設定速度より大きくなっている状態を含む。

【0025】

本開示の実施例は、
車載画像取得装置が遮られていないことを確認するように構成される第１処理モジュールと、
車両に取り付けられ、少なくとも前記車両の運転席領域の画像を取得するために用いられる前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出するように構成される抽出モジュールと、
取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定するように構成される第２処理モジュールと、を含む運転者在席状態検出装置を更に提供する。

【0026】

任意選択的に、前記第２処理モジュールは、更に、取得された画像から顔画像が抽出されたことに応えて、前記画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングするか否かを決定し、前記取得された画像から抽出された顔画像の特徴が前記事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するように構成される。

【0027】

任意選択的に、前記第２処理モジュールは、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップは、
前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を実行するように構成される。

【0028】

任意選択的に、前記第２処理モジュールは、更に、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するように構成される。

【0029】

任意選択的に、前記第２処理モジュールは、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップは、
前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップと、を実行するように構成される。

【0030】

任意選択的に、前記第２処理モジュールは、更に、運転者の欠席持続時間が第１設定時間を超えたことに応えて、第１警告情報を出すように構成される。

【0031】

任意選択的に、前記第２処理モジュールは、更に、第１警告情報を出した後、運転者が在席していると決定した後、前記第１警告情報を出すことを止めるように構成される。

【0032】

任意選択的に、前記第２処理モジュールは、更に、前記車載画像取得装置が運転者の欠席状態で取得した画像をローカルに保存するか、又はクラウドにアップロードするように構成される。

【0033】

任意選択的に、前記第１処理モジュールは、更に、
携帯端末で権限認証が成功した後、前記携帯端末によってクラウドサーバに運転者の顔画像をアップロードし且つ前記クラウドサーバに保存するステップと、
前記クラウドサーバに保存された前記車両に関連する運転者の顔画像が更新された後、車両と前記クラウドサーバの接続を確立した後、前記クラウドサーバから前記車両に前記車両に関連する更新後の運転者の顔画像を送信するステップと、を使用することによって運転者の顔画像を事前に記憶するように構成される。

【0034】

任意選択的に、前記第１処理モジュールは、更に、
車両が起動したが走行していない状態にある場合に、権限認証が成功した後、前記車載画像取得装置によって運転者の顔画像を取得して保存するステップを使用することによって運転者の顔画像を事前に記憶するように構成される。

【0035】

任意選択的に、前記第１処理モジュールは、車載画像取得装置が遮られていないことを確認するステップは、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップを実行するように構成される。

【0036】

任意選択的に、前記第１処理モジュールは、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、前記取得された画像に基づいて前記画像の平均輝度を決定するステップと、前記画像の平均輝度が第１輝度閾値より小さくなっていた持続時間が第２設定時間以上であるか、又は前記第１輝度閾値以上の第２輝度閾値より大きくなっていた持続時間が第２設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップと、を実行するように構成される。

【0037】

任意選択的に、前記第１処理モジュールは、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値より大きくなっていた持続時間が第３設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、を更に実行するように構成される。

【0038】

任意選択的に、前記第１処理モジュールは、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量より小さくなっていた持続時間が第４設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に実行するように構成される。

【0039】

任意選択的に、前記第１処理モジュールは、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量以上であることに応えて、前記車載画像取得装置が遮られていない状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に実行するように構成される。

【0040】

任意選択的に、前記取得された画像の有効面積は、前記車載画像取得装置と前記車載画像取得装置が画像を取得する領域に光を補充するための補光用ランプの相対的位置に応じて事前に設定される。

【0041】

任意選択的に、前記車載画像取得装置は赤外線カメラである。

【0042】

任意選択的に、前記第１処理モジュールは、更に、前記車載画像取得装置が遮られている状態にあると決定した場合に、前記車載画像取得装置が遮られている状態にある持続時間が第５設定時間より大きいことに応えて、第２警告情報を出すように構成される。

【0043】

任意選択的に、前記第１処理モジュールは、更に、第２警告情報を出した後、前記車載画像取得装置が遮られていない状態にあると決定した後、前記第２警告情報を出すことを止めるように構成される。

【0044】

任意選択的に、前記車両の起動状態は車両の走行速度が設定速度より大きくなっている状態を含む。

【0045】

本開示の実施例は、プロセッサと、プロセッサ上で実行可能なコンピュータプログラムを記憶するように構成されるメモリと、を含み、
前記プロセッサは、前記コンピュータプログラムを実行させて、上記のいずれか１種の運転者在席状態検出方法を実行するように構成される電子機器を更に提供する。

【0046】

本開示の実施例は、コンピュータ読み取り可能な記憶媒体を更に提供する。前記コンピュータ読み取り可能な記憶媒体は、コンピュータに、本開示の実施例で開示されたいずれか１種の運転者在席状態検出方法を実行させるためのコンピュータプログラムを記憶する。

【0047】

本開示の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムは、コンピュータに、本開示の実施例で開示されたいずれか１種の運転者在席状態検出方法を実行させるためのものである。

【0048】

本開示の実施例で提供された運転者在席状態検出方法及び装置、電子機器並びにコンピュータ読み取り可能な記憶媒体において、車載画像取得装置が遮られていないことを確認し、車両に取り付けられ、少なくとも前記車両の運転席領域の画像を取得するために用いられる車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出し、取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定する。そのようにして、本開示の実施例では、車載画像取得装置が遮られていないと決定した後、車載画像取得装置の画像に顔画像を含むか否かを判断することによって、運転者の在席状態を決定することができるので、車載画像取得装置が遮られていることで運転者在席状態検出に及ぼす影響を低減でき、運転者在席状態の検出の正確性や信頼性を向上できる。

【0049】

以上の一般説明と以下の詳細説明は解釈するための例示的なものに過ぎず、本開示を制限しないことを理解すべきである。

【図面の簡単な説明】

【0050】

【図1】本開示の実施例の運転者在席状態検出方法のフローチャートである。

【図2】本開示の実施例の運転者在席状態検出装置の構成の構造模式図である。

【図3】本開示の実施例の電子機器の構造模式図である。

【発明を実施するための形態】

【0051】

ここの図面は明細書に組み込まれて明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の技術的手段を説明するために用いられる。

【0052】

以下、図面及び実施例を参照しながら、本開示を更に詳細に説明する。ここで提供される実施例は、本開示を限定するためのものではなく、ただ本開示を解釈することを目的とすることを理解すべきである。なお、以下で提供される実施例は、本開示を実施する全ての実施例ではなく、本開示を実施するための一部の実施例となり、本開示の実施例に記載の技術的解決手段は、矛盾しない限り、任意に組み合わせた形態で実施可能である。

【0053】

本開示の実施例では、用語「含む」、「からなる」またはその他のあらゆる変形は非排他的包含を含むように意図され、それにより一連の要素を含む方法または装置は、明確に記載された要素のみならず、明示されていない他の要素、または実施方法または装置に固有の要素をも含むことを説明する必要がある。特に断らない限り、語句「一つの……を含む」により限定される要素は、該要素を含む方法または装置に別の関連要素がさらに存在することを排除するものではない（例えば、方法のステップ又は装置のユニットが挙げられ、例えば、ユニットが一部の回路、一部のプロセッサ、一部のプログラム又はソフトウェア等であってもよい）。

【0054】

本明細書の用語の「及び／又は」は、関連対象の関連関係を記述するためのものに過ぎず、３種の関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａが単独して存在し、ＡとＢが同時に存在し、Ｂが単独して存在するという３種の場合を示してもよい。また、本明細書の用語の「少なくとも１種」は多種のうちのいずれか１種又は多種のうちの少なくとも２種の任意の組合を示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１種を含むということは、Ａ、Ｂ及びＣから構成される集合から選択されるいずれか１つ又は複数の要素を含むことを示してもよい。

【0055】

例えば、本開示の実施例で提供された運転者在席状態検出方法は、一連のステップを含むが、記載されたステップに限定されることがなく、同様に、本開示の実施例で提供された運転者在席状態検出装置は、一連のモジュールを含むが、明確に記載されたモジュールを含むことに限定されることがなく、更に、関連情報を取得してもよく、情報に基づいて処理する時に必要とされるモジュールを含んでも良い。

【0056】

本開示の実施例は端末に適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。ここで、端末は、車載端末、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム等であってよい。

【0057】

端末等の電子機器は、コンピュータシステムにより実行されるコンピュータシステム実行可能コマンド（例えば、プログラムモジュール）の一般的な言語環境において記述できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してよい。

【0058】

以上で記載した内容によれば、本開示のいくつかの実施例では、運転者監視システム、インテリジェント車室等に実施可能な運転者在席状態検出方法及び装置を提供する。

【0059】

図１は本開示の実施例の運転者在席状態検出方法のフローチャートであり、図１に示すように、このフローは、以下のステップを含んでもよい。

【0060】

ステップ１０１：車載画像取得装置が遮られていないことを確認する。ここで、いわゆる車載画像取得装置が遮られているのは、不透明材料によって車載画像取得装置の視野の７５％以上が遮られていることである。

【0061】

ここで、車載画像取得装置はカメラであってもよく、任意選択的に、車載画像取得装置は夜や他の光線が足りない時に車内画像データを取得できる赤外線カメラであってもよい。

【0062】

実際に適用するに際して、車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、車載画像取得装置が遮られている状態にあるか否かを決定することができる。一例として、車載画像取得装置によって取得された画像の特徴情報に基づいて、車載画像装置が遮られているか否かを判断できる。

【0063】

一実施形態として、上記の取得された画像の特徴情報は、平均輝度、前景面積と有効面積の割合、画像輪郭数の少なくとも一項を含んでもよく、そのうち、画像の平均輝度は全画像の平均輝度を表し、画像の前景面積は取得された画像から認識された画像の前景部分の面積を表し、画像の有効面積は事前に設定されたものであり、画像の有効面積は取得された画像の面積以下であり、画像の輪郭数量は取得された画像に対して目標認識を行うことで得られた目標輪郭数である。

【0064】

実際に適用するに際して、いろいろな方法で画像の前景部分と背景部分の分離を実現可能であり、一例として、動的閾値分割法を用いて画像の前景部分と背景部分の分離を実現でき、動的閾値分割法で画像の前景部分と背景部分の分離を実現する過程において、具体的には、画像の異なる領域に異なる濃淡閾値を設置してもよく、画像中の画素点に対して画素点の濃淡値と対応の濃淡閾値を比較することによって、画素点が前景点であるか背景点であるかを決定でき、更に画像の前景部分と背景部分を決定できる。

【0065】

実際に適用するに際して、輪郭検出方法で画像に対して目標検出と認識を行って目標の輪郭を取得でき、更に、目標の輪郭数量を決定でき、例えば、画像に対して輪郭検出を行った後、シート、人体等の５つの目標輪郭を取得でき、そのように画像輪郭数を５とする。本開示の実施例では、輪郭検出方法が限定されるものではない。

【0066】

任意選択的に、上記の取得された画像の有効面積は、車載画像取得装置と車載画像取得装置が画像を取得する領域に光を補充するための補光用ランプの相対的位置に応じて事前に設定されてもよい。画像取得装置が赤外線カメラである時に、補光用ランプが赤外線補光用ランプである。具体的な一例では、補光用ランプが画像取得装置のレンズの周りに均一に分布され、即ち、補充光が取得された全画像に均一に分布された時に、画像の有効面積は取得された画像画面全体の面積であってもよく、また、補充光が主に取得された画像画面の中央に分布された時に、取得された画像画面の短辺の長さを直径とする円の面積を有効面積としてもよい。

【0067】

実際に適用するに際して、車載画像取得装置は画像を取得した後、更に処理するために、取得された画像をプロセッサ等の装置に送信してもよく、車載画像取得装置は画像をリアルタイムに取得して、連続的に取得された複数の画像を得ることができ、例えば、Ｎ秒ごとに画像を取得してもよく、Ｎが事前に設定されたものであってもよい。

【0068】

ステップ１０２：車両に取り付けられ、少なくとも車両の運転席領域の画像を取得するために用いられる車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出する。

【0069】

ここで、車両の起動状態とは、車両が起動した時及び起動した後から車両がシャットダウンするまでの状態を指す。

【0070】

実際に適用するに際して、運転席に人がいる時に運転席での人員画像を撮影できるように、車載画像取得装置を運転席領域に向かって取り付けてもよい。一例として、車両の起動状態は車両の走行速度が設定速度より大きくなっている状態を含み、設定速度を実際の要求に応じて設定可能であり、例えば、設定速度を１ｋｍ／ｈ又は他の速度値にしてもよい。実際に適用するに際して、取得された画像から顔認識技術で顔画像を抽出してもよく、本開示の実施例では、顔認識技術の種類が限定されるものではなく、例えば、深層学習に基づく顔認識技術を用いてもよい。

【0071】

ステップ１０３：取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定する。

【0072】

本開示の実施例では、運転者が欠席しているのは、特定の運転者が運転席にいない状態又は運転席に人がいない状態を示し、取得された画像から顔画像が抽出されなかった場合に、運転席に人がいないと直接決定でき、更に運転者が欠席していると決定できる。

【0073】

実際に適用するに際して、ステップ１０１～ステップ１０３は、運転者欠席検出装置におけるプロセッサ等に基づいて実現可能であり、上記プロセッサは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、デジタル信号処理装置（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ：ＤＳＰＤ）、プログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）、コントローラ、マイクロコントローラ、マイクロプロセッサのうち少なくとも１種であってもよい。運転者欠席検出装置によっては、上記プロセッサ機能を実現するための電子デバイスが他のものであってもよく、本開示の実施例で具体的に限定されないことが理解される。

【0074】

運転者監視システムを実際に使用している過程で、一部の運転者は監視されることに反感を抱く等の原因で、例えば、衣類、紙コップやテープ等の物体を用いて監視カメラを遮って、監視システムが無効になって運転者の在席状態を正確に判断できなくなる。

【0075】

本開示の実施例では、車載画像取得装置が遮られていないと決定した後、車載画像取得装置の画像に顔画像を含むか否かを判断することによって、運転者の在席状態を決定することができるので、車載画像取得装置が遮られていることで運転者在席状態検出に及ぼす影響を回避でき、運転者在席状態の検出の正確性や信頼性を向上できる。更に、取得された画像から顔画像が抽出された時に、画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチング可能か否かを決定でき、取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定できる。

【0076】

任意選択的に、取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定できる。

【0077】

実際に適用するに際して、運転者登録手法で運転者の顔画像を事前に記憶しておくことができる。

【0078】

任意選択的に、携帯端末で権限認証が成功した後、前記携帯端末によってクラウドサーバに運転者の顔画像をアップロードし且つ前記クラウドサーバに保存するステップと、前記クラウドサーバに保存された前記車両に関連する運転者の顔画像が更新された後、車両と前記クラウドサーバの接続を確立した後、前記クラウドサーバから前記車両に前記車両に関連する更新後の運転者の顔画像を送信するステップと、を使用することによって運転者の顔画像を事前に記憶することができる。具体的には、携帯端末にインストールされたアプリ（ＡＰＰｌｉｃａｔｉｏｎ、ＡＰＰ）によってクラウドサーバで運転者登録を行うことができ、携帯端末によって運転者登録を行う時にこの携帯端末によってクラウドサーバに運転者の顔画像をアップロードし、ここで、車両が起動しない時にクラウドサーバで運転者登録を行ってもよく、車両が起動したが走行していない状態にある場合にクラウドサーバで運転者登録を行ってもよい。

【0079】

任意選択的に、車両が起動したが走行していない状態にある場合に、権限認証が成功した後、車載画像取得装置によって運転者の顔画像を取得し保存するステップを使用することによって運転者の顔画像を事前に記憶しておく。

【0080】

本開示の実施例では、取得された画像中の顔画像が事前に記憶された運転者の顔画像とマッチング可能か否かを判断することによって運転者の欠席又は在席を正確に検出することを実現できる。顔画像がマッチング可能か否かについての検出によって、運転席に非関係者又は運転資格のない人員が現れた時に運転席に人がいるか否かのみについて検出するので、車両が不安全になるか、又は運転が不安全になることを回避する。以上から分かるように、本開示の実施例では、在席すべき運転者の顔画像を事前に取得し、次に現在抽出されている顔画像が事前に記憶された在席すべき運転者の顔画像とマッチング可能か否かを判断することによって、在席すべき運転者の在席状態を決定することができ、運転の安全性を更に向上した。

【0081】

本開示の実施例では、上記の取得された画像中の顔画像として１つの顔画像を含んでもよく、複数の顔画像を含んでもよく、取得された画像中の顔画像が複数の顔画像である時に、上記の取得された画像中の各顔画像については、それぞれ所在する画像領域を決定でき、例えば、上記の取得された画像中の１つの顔画像が取得された画像の運転席領域に位置してもよく、取得された画像の非運転席領域に位置してもよく、画像の運転席領域が事前に設置されてもよく、例えば、画像の左半分を画像の運転席領域としてもよい。

【0082】

一実施形態として、取得された画像から抽出された顔画像に複数の顔画像を含む時に、複数の顔画像から取得された画像の運転席領域に位置する顔画像を選択し、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するようにしてもよい。

【0083】

任意選択的に、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定する。

【0084】

以上から分かるように、本開示の実施例では、選択された画像運転席領域に位置する顔画像に対して更に顔画像の特徴がマッチング可能か否かについて判断して、現在運転席領域に現れた人員が在席すべき運転者であるか否かを決定でき、運転者在席状態検出の正確性を更に向上した。

【0085】

一実施形態として、取得された画像中の顔画像が事前に記憶された運転者の顔画像の特徴とマッチング可能か否かをリアルタイムに判断することによって、運転者の欠席持続時間を決定してもよい。

【0086】

つまり、複数フレームの画像を連続的に取得した場合に、取得された各画像フレームに対して、その中の顔画像が事前に記憶された運転者の顔画像の特徴とマッチング可能か否かを判断し、複数回連続的に判断した結果、いずれもマッチングしない時に、複数フレームの画像の取得時間によって運転者の欠席持続時間を決定でき、例えば、１分間内に取得された複数フレームの画像について判断した結果、いずれもマッチング不可能であれば、運転者の欠席持続時間が少なくとも１分間であると決定できる。

【0087】

更に、運転者の欠席持続時間が第１設定時間を超えたか否かを判断してもよく、運転者の欠席持続時間が第１設定時間を超えた場合に（即ち、第１設定時間以上の場合に）、第１警告情報を出してもよく、運転者の欠席持続時間が第１設定時間を超えていない時に、運転者の欠席持続時間を計測し続けてもよい。

【0088】

ここで、第１設定時間は実際の応用シーンに応じて事前に設置しておいてもよく、例えば、第１設定時間は２秒間であってもよい。第１警告情報の形式は、音声警告情報、発光警告情報、振動警告情報等を含むが、それらに限定されない。

【0089】

更に、第１警告情報を出した後、運転者が在席していると決定した後、第１警告情報を出すことを止めてもよく、そのようにして、運転者在席状態の変化に応じて第１警告情報を柔軟的に処理でき、実際の要求に更に応えられる。

【0090】

更に、第１警告情報を出した後、後に調べることができるように、第１警告情報をローカルに保存してもよく、また、第１警告情報を出した後、遠隔監視人員に通知できるように、第１警告情報をクラウドにアップロードしてもよい。

【0091】

任意選択的に、後に分析できるように、更に車載画像取得装置によって運転者の欠席状態で取得された画像をローカルに保存するか、又はクラウドにアップロードするようにしてもよい。

【0092】

車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、車載画像取得装置が遮られている状態にあるか否かを決定する実施形態では、一例として、取得された画像に基づいて取得された画像の平均輝度を決定してもよく、取得された画像の平均輝度が第１輝度閾値より小さくなっていた持続時間が第２設定時間以上であるか、又は取得された画像の平均輝度が第１輝度閾値以上の第２輝度閾値より大きくなっていた持続時間が第２設定時間以上である場合に、車載画像取得装置が遮られている状態にあると決定できる。

【0093】

任意選択的に、取得された画像の平均輝度が第１輝度閾値以上且つ第２輝度閾値以下であると決定した場合に、取得された画像の前景面積と有効面積の割合を決定してもよく、取得された画像の前景面積と有効面積の割合が設定値より大きくなっていた持続時間が第３設定時間以上である場合に、車載画像取得装置が遮られている状態にあると決定できる。

【0094】

具体的な一例では、遮られた面積（前景面積）が画像全体の有効面積の７５％以上であると定義された時に、車載画像取得装置（例えば、赤外線カメラ）が遮られていると考えられる。

【0095】

任意選択的に、前記取得された画像の平均輝度が第１輝度閾値以上且つ第２輝度閾値以下であると決定し、且つ取得された画像の前景面積と有効面積の割合が設定値以下であると決定した場合に、取得された画像中の輪郭数量を決定してもよく、取得された画像中の輪郭数量が設定数量より小さくなっていた持続時間が第４設定時間以上である場合に、車載画像取得装置が遮られている状態にあると決定でき、取得された画像中の輪郭数量が設定数量以上である場合に、車載画像取得装置が遮られていない状態にあると決定できる。

【0096】

本開示の実施例では、第１輝度閾値、第２輝度閾値、設定値、設定数量はいずれも実際の応用シーンに応じて事前に設置してもよく、例えば、６５％～８５％を設定値の範囲としてもよく、８～１２を設定数量の範囲としてもよく、第２設定時間、第３設定時間及び第４設定時間はいずれも実際の応用シーンに応じて事前に設置してもよく、第２設定時間、第３設定時間及び第４設定時間は２つずつに同様であってもよく、異なってもよく、一例において、第２設定時間、第３設定時間及び第４設定時間の範囲はいずれも４秒～７秒である。

【0097】

更に、車載画像取得装置が遮られていないと決定した時刻から時間を計測して車載画像取得装置が遮られていた持続時間を取得し、且つ車載画像取得装置が遮られていた持続時間が第５設定時間を超えた（即ち、第５設定時間以上）か否かを判断し、車載画像取得装置が遮られていた持続時間が第５設定時間を超えた場合に、第２警告情報を出してもよく、車載画像取得装置が遮られていた持続時間が第５設定時間を超えていない場合に、時間を計測し続けて、車載画像取得装置が遮られていた持続時間を取得し続けるようにしてもよい。

【0098】

ここで、第５設定時間は、実際の応用シーンに応じて事前に設置してもよく、第１設定時間と同じであってもよいし、異なってもよい。例えば、５秒間を第５設定時間としてもよい。第２警告情報の形式は、音声警告情報、発光警告情報、振動警告情報等を含むが、それらに限定されない。

【0099】

更に、第２警告情報を出した後、車載画像取得装置が遮られていない状態にあると決定した後、第２警告情報を出すことを止めてもよく、そのようにして、車載画像取得装置が遮られているか否かに応じて、第２警告情報を出すか否かを柔軟的に決定でき、実際の要求に更に応えられる。

【0100】

更に、第２警告情報を出した後、後に調べることができるように、第２警告情報をローカルに保存してもよく、第２警告情報を出した後、遠隔監視人員に通知できるように、第２警告情報をクラウドにアップロードしてもよい。

【0101】

実際に適用するに際して、画像取得装置が赤外線カメラである時に、赤外線カメラの特徴を考慮しなければならず、運転者がテープ等によって赤外線補光用ランプ全体を遮った時に、前景面積が必ず７５％より大きいというわけではなく、この時に画像の平均輝度によって赤外線カメラが遮られているか否かを判断する必要があり、例えば、画像の平均輝度が第１輝度閾値より小さいか否かを判断し、画像の平均輝度が第１輝度閾値より小さいか、又は第２輝度閾値より大きい場合に、時間の計測を開始し、持続時間が５秒に到達すると、赤外線カメラが遮られていると考えられ、画像の平均輝度が第１輝度閾値以上且つ第２輝度閾値以下である場合に、動的閾値分割法で画像の前景背景分割を行い、前景面積が有効面積の７５％より大きければ、時間の計測を開始し、持続時間が５秒に到達すると、赤外線カメラが遮られていると考えられ、前景面積が有効面積の７５％より大きくなければ、輪郭検出によって画像の輪郭数を取得し、輪郭数量が１０より少なく且つ持続時間が５秒に到達すると、赤外線カメラが遮られていると考えられ、輪郭数量が１０より少なくなければ、赤外線カメラが遮られていないと考えられる。

【0102】

一実施形態として、赤外線カメラが遮られており、且つ持続時間が第５設定時間を超えたことが検出されると、第２警告情報を出してもよく、例えば、「カメラを遮らないでください」という音声警告を第２警告情報としてもよく、また、運転者が欠席しており、且つ運転者の欠席持続時間が第１設定時間を超えたことが検出されると、第１警告情報を出してもよく、例えば、「運転席に帰ってください」という音声警告を第１警告情報としてもよい。

【0103】

具体的な実施形態の上記方法において、各ステップの記述順序は厳しい実行順序であるというわけではなく、実施プロセスの何の制限にもならなく、各ステップの具体的な実行順序はその機能と可能な内在的論理に依存することが当業者に理解される。

【0104】

前記実施例で提供された運転者在席状態検出方法をもとに、本開示の実施例は運転者在席状態検出装置を提供する。

【0105】

図２は本開示の実施例の運転者在席状態検出装置の構成の構造模式図であり、図２に示すように、前記装置は、
車載画像取得装置が遮られていないことを確認するように構成される第１処理モジュール２０１と、
車両に取り付けられ、少なくとも前記車両の運転席領域の画像を取得するために用いられる前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出するように構成される抽出モジュール２０２と、
取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定するように構成される第２処理モジュール２０３と、を含む。

【0106】

一実施形態では、前記第２処理モジュール２０３は、更に、取得された画像から顔画像が抽出されたことに応えて、前記画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングするか否かを決定し、前記取得された画像から抽出された顔画像の特徴が前記事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するように構成される。

【0107】

一実施形態では、前記第２処理モジュール２０３は、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップは、
前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を実行するように構成される。

【0108】

一実施形態では、前記第２処理モジュール２０３は、更に、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するように構成される。

【0109】

一実施形態では、前記第２処理モジュール２０３は、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップは、前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップとを実行するように構成される。

【0110】

一実施形態では、前記第２処理モジュール２０３は、更に、運転者の欠席持続時間が第１設定時間を超えたことに応えて、第１警告情報を出すように構成される。

【0111】

一実施形態では、前記第２処理モジュール２０３は、更に、第１警告情報を出した後、運転者が在席していると決定した後、前記第１警告情報を出すことを止めるように構成される。

【0112】

一実施形態では、前記第２処理モジュール２０３は、更に、前記車載画像取得装置が運転者の欠席状態で取得した画像をローカルに保存するか、又はクラウドにアップロードするように構成される。

【0113】

一実施形態では、前記第１処理モジュール２０１は、更に、携帯端末で権限認証が成功した後、前記携帯端末によってクラウドサーバに運転者の顔画像をアップロードし且つ前記クラウドサーバに保存するステップと、前記クラウドサーバに保存された前記車両に関連する運転者の顔画像が更新された後、車両と前記クラウドサーバの接続を確立した後、前記クラウドサーバから前記車両に前記車両に関連する更新後の運転者の顔画像を送信するステップと、を使用することによって運転者の顔画像を事前に記憶するように構成される。

【0114】

一実施形態では、前記第１処理モジュール２０１は、更に、
車両が起動したが走行していない状態にある場合に、権限認証が成功した後、前記車載画像取得装置によって運転者の顔画像を取得して保存するステップを使用することによって運転者の顔画像を事前に記憶するように構成される。

【0115】

一実施形態では、前記第１処理モジュール２０１は、車載画像取得装置が遮られていないことを確認するステップは、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップを実行するように構成される。

【0116】

一実施形態では、前記第１処理モジュール２０１は、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、前記取得された画像に基づいて前記画像の平均輝度を決定するステップと、前記画像の平均輝度が第１輝度閾値より小さくなっていた持続時間が第２設定時間以上であるか、又は前記第１輝度閾値以上の第２輝度閾値より大きくなっていた持続時間が第２設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップと、を実行するように構成される。

【0117】

一実施形態では、前記第１処理モジュール２０１は、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値より大きくなっていた持続時間が第３設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、を更に実行するように構成される。

【0118】

一実施形態では、前記第１処理モジュール２０１は、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量より小さくなっていた持続時間が第４設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に実行するように構成される。

【0119】

一実施形態では、前記第１処理モジュール２０１は、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量以上であることに応えて、前記車載画像取得装置が遮られていない状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に実行するように構成される。

【0120】

一実施形態では、前記取得された画像の有効面積は、前記車載画像取得装置と前記車載画像取得装置が画像を取得する領域に光を補充するための補光用ランプの相対的位置に応じて事前に設定される。

【0121】

一実施形態では、前記車載画像取得装置は赤外線カメラである。

【0122】

一実施形態では、前記第１処理モジュール２０１は、更に、前記車載画像取得装置が遮られている状態にあると決定した場合に、前記車載画像取得装置が遮られている状態にある持続時間が第５設定時間より大きいことに応えて、第２警告情報を出すように構成される。

【0123】

一実施形態では、前記第１処理モジュール２０１は、更に、第２警告情報を出した後、前記車載画像取得装置が遮られていない状態にあると決定した後、前記第２警告情報を出すことを止めるように構成される。

【0124】

一実施形態では、前記車両の起動状態は車両の走行速度が設定速度より大きくなっている状態を含む。

【0125】

実際に適用するに際して、上記第１処理モジュール２０１、抽出モジュール２０２及び第２処理モジュール２０３はいずれも電子機器に位置するプロセッサによって実現可能であり、このプロセッサは、ＡＳＩＣ、ＤＳＰ、ＤＳＰＤ、ＰＬＤ、ＦＰＧＡ、ＣＰＵ、コントローラ、マイクロコントローラ、マイクプロセッサのうち少なくとも１種であってもよい。

【0126】

また、本実施例における各機能モジュールは一つの処理ユニットに統合されてもよく、それぞれ独立して物理的に存在してもよく、二つ以上で一つのユニットに統合されてもよい。上記統合されたユニットはハードウェアの形式で実現してもよく、ソフトウェア機能モジュールの形式で実現してもよい。

【0127】

前記の統合されたユニットはソフトウェア機能モジュールの形で実現されかつ独立した製品として販売または使用されない場合、コンピュータ読み取り可能記憶媒体に記憶されてもよく、このような見解をもとに、本実施例の技術的解決手段は実質的に従来技術に寄与する部分又はこの技術的解決手段の全部又は一部がソフトウェア製品の形で実施できると言え、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、またはネットワーク機器などであってもよい）又はｐｒｏｃｅｓｓｏｒ（プロセッサ）に本実施例に記載の方法のステップの全てまたは一部を実行させる複数の命令を含む。前記記憶媒体は、ＵＳＢメモリ、モバイルハードディスク、読み出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能な様々な媒体を含む。

【0128】

具体的には、本実施例の運転者在席状態検出方法に対応するコンピュータプログラムコマンドは、光ディスク、ハードディスク、ＵＳＢメモリ等の記憶媒体に記憶可能であり、記憶媒体における運転者在席状態検出方法に対応するコンピュータプログラムコマンドが電子機器により読み取られて実行される時に、上記実施例のいずれか１種の運転者在席状態検出方法を実現する。

【0129】

前記実施例と同じ技術的構想によれば、図３に示すように、本開示の実施例で提供された電子機器３０は、コンピュータプログラムやデータを記憶するように構成されるメモリ３１と、前記メモリに記憶されているコンピュータプログラムを実行させて上記実施例のいずれか１種の運転者在席状態検出方法を実現するように構成されるプロセッサ３２と、を含んでもよい。

【0130】

実際に適用するに際して、上記メモリ３１は、ＲＡＭのような揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、又はＲＯＭ、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ハードディスク（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ＨＤＤ）或いは半導体ディスク（Ｓｏｌｉｄ－Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）のような非揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、又は上記の種類のメモリの組合せであってもよく、プロセッサ３２にコマンドやデータを提供する。上記プロセッサ３２は、ＡＳＩＣ、ＤＳＰ、ＤＳＰＤ、ＰＬＤ、ＦＰＧＡ、ＣＰＵ、コントローラ、マイクロコントローラ、マイクプロセッサのうち少なくとも１種であってもよい。装置によっては、上記プロセッサ機能を実現するための電子デバイスは他のものであってもよく、本開示の実施例では限定されないことが理解される。

【0131】

本開示の実施例は、コンピュータに、本開示の実施例で開示されたいずれか１種の運転者在席状態検出方法を実行させるためのコンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体を更に提供する。

【0132】

本開示の実施例は、コンピュータに、本開示の実施例で開示されたいずれか１種の運転者在席状態検出方法を実行させるためのコンピュータプログラムを更に提供する。

【0133】

いくつかの実施例では、本開示の実施例で提供された装置に備えた機能又はモジュールは、上記方法実施例に記載の方法を実行するために用いられ、その具体的な実施形態については上記方法実施例の説明を参照してもよく、簡単化するために、ここで重複説明は割愛する。以上の各実施例についての説明はそれぞれの実施例の相違点を強調する傾向があり、その同一又は類似的な点について相互に参照してもよく、簡単化するために、本明細書で一つずつに繰り返して説明しない。本願で提供される各方法の実施例が開示した方法は、矛盾なく任意に組み合わせて新たな方法の実施例を得ることができる。本願で提供される各製品の実施例が開示した特徴は、矛盾なく任意に組み合わせて新たな製品の実施例を得ることができる。本願で提供される各方法又は装置の実施例が開示した特徴は、矛盾なく任意に組み合わせて新たな方法の実施例又は装置の実施例を得ることができる。

【0134】

以上の実施形態に対する説明によって、当業者であれば上記実施例の方法はソフトウェアと必要な共通ハードウェアプラットフォームとの組み合わせという形態で実現できることを明らかに理解可能であり、当然ながら、ハードウェアによって実現してもよいが、多くの場合において前者はより好ましい実施形態である。このような見解をもとに、本開示の技術的解決手段は実質的にまたは従来技術に寄与する部分はソフトウェアの形で実施することができ、該コンピュータソフトウェア製品は記憶媒体（例えばＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶され、端末（携帯電話、コンピュータ、サーバ、エアコン、またはネットワーク機器などであってもよい）に本開示の各実施例に記載の方法を実行させる複数の命令を含む。

【0135】

以上、図面を参照しながら本開示の実施例を説明したが、本開示は上記の具体的実施形態に限定されるものではなく、上記の具体的実施形態は例示的なものにすぎず、限定する意図がなく、当業者であれば、本開示に示唆された場合に、本開示の趣旨や特許請求の範囲を逸脱しない限り、様々な変形を加えることができ、それらは全て本開示の保護範囲に含まれる。

【図1】

【図2】

【図3】