特許 7146959 運転状態検出方法及び装置、運転者監視システム並びに車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-26

(45)【発行日】2022-10-04

(54)【発明の名称】運転状態検出方法及び装置、運転者監視システム並びに車両

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220927BHJP

   G06T 7/20 20170101ALI20220927BHJP

   G06T 7/70 20170101ALI20220927BHJP

   G08B 21/02 20060101ALI20220927BHJP

   G08B 25/00 20060101ALI20220927BHJP

   G08G 1/16 20060101ALI20220927BHJP

【ＦＩ】

G06T7/00 650Z

G06T7/00 350C

G06T7/20 300B

G06T7/20 300Z

G06T7/70 Z

G08B21/02

G08B25/00 510M

G08G1/16 F

【請求項の数】 20

(21)【出願番号】P 2020571644

(86)(22)【出願日】2019-10-18

(65)【公表番号】

(43)【公表日】2021-10-14

(86)【国際出願番号】 CN2019111931

(87)【国際公開番号】W WO2020078464

(87)【国際公開日】2020-04-23

【審査請求日】2020-12-22

(31)【優先権主張番号】201811224308.9

(32)【優先日】2018-10-19

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520180323

【氏名又は名称】上▲海▼商▲湯▼智能科技有限公司

【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩ ＳＥＮＳＥＴＩＭＥ ＩＮＴＥＬＬＩＧＥＮＴ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ １６０５Ａ， Ｂｕｉｌｄｉｎｇ ３， ３９１ Ｇｕｉｐｉｎｇ Ｒｏａｄ， Ｘｕｈｕｉ Ｄｉｓｔｒｉｃｔ， Ｓｈａｎｇｈａｉ ２００２３３ Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人 ユニアス国際特許事務所

(72)【発明者】

【氏名】秦 仁波

(72)【発明者】

【氏名】▲楊▼ 大乾

【審査官】笠田 和宏

(56)【参考文献】

【文献】特表２０１６－５３９４４６（ＪＰ，Ａ）

【文献】特開２００８－１４０２６６（ＪＰ，Ａ）

【文献】特開２０１６－０２７４５２（ＪＰ，Ａ）

【文献】特開２０１８－１３３００７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０

Ｇ０６Ｔ ７／７０

Ｇ０８Ｂ ２１／０２

Ｇ０８Ｂ ２５／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

運転状態検出方法であって、
運転者画像に対して頭部姿勢検出と目部状態検出を行って、頭部姿勢情報と目部状態情報を得る操作と、
前記頭部姿勢情報に基づいて決定された前記運転者画像における運転者の頭部位置情報により、前記運転者の頭部位置のずれ角度が所定範囲を超えたか否かを決定する操作と、
前記運転者の頭部位置のずれ角度が所定範囲を超えた場合に、前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の注意散漫状態の検出結果を決定する操作と、
前記運転者の頭部位置のずれ角度が所定範囲を超えていない場合に、前記頭部姿勢情報と前記目部状態情報に基づいて運転者の疲労状態と注意散漫状態の検出結果を決定する操作と、を含むことを特徴とする運転状態検出方法。

【請求項2】

前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の疲労状態と注意散漫状態の検出結果を決定する前記操作は、
前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の疲労状態を表すための指標のパラメータ値と運転者の注意散漫状態を表すための指標のパラメータ値を決定する操作と、
前記の運転者の疲労状態を表すための指標のパラメータ値に基づいて、運転者の疲労状態の検出結果を決定し、前記の運転者の注意散漫状態を表すための指標のパラメータ値に基づいて、運転者の注意散漫状態の検出結果を決定する操作と、を含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の疲労状態を表すための指標のパラメータ値と運転者の注意散漫状態を表すための指標のパラメータ値を決定する前記操作は、
前記頭部姿勢情報に基づいて前記運転者画像における運転者の頭部位置を決定して頭部位置情報を得、所定時間内の前記頭部位置情報に基づいて頭部位置ずれ度合いのパラメータ値を取得する操作と、
前記頭部姿勢情報に基づいて前記運転者画像における運転者の顔向きを決定して顔向き情報を得、所定時間内の顔向き情報に基づいて顔向きずれ度合いのパラメータ値を取得する操作と、
前記頭部姿勢情報に基づいて前記運転者画像における運転者の視線方向を決定して視線方向情報を取得し、所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得し、又は、顔キーポイントに基づいて前記運転者画像における目部領域画像を決定し、第６ニューラルネットワークによって前記目部領域画像における運転者の視線方向情報を取得し、所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得する操作と、
所定時間内の前記目部状態情報に基づいて、放心度合いのパラメータ値を取得する操作と、
前記頭部姿勢情報に基づいて前記運転者画像における運転者の頭部位置を決定して頭部位置情報を得、所定時間内の前記頭部位置情報に基づいて居眠り度合いのパラメータ値を取得する操作と、
所定時間内の前記目部状態情報に基づいて、閉眼度合いのパラメータ値を取得する操作と、所定時間内の前記目部状態情報に基づいて、まばたき度合いのパラメータ値を取得する操作と、
所定時間内の口部状態情報に基づいて、あくび度合いのパラメータ値を取得する操作と、の中の少なくとも一つを含み、
前記の運転者疲労状態を表すための指標は、居眠り度合い、閉眼度合い、まばたき度合い、あくび度合いの中のいずれか一つ又は複数を含み、及び／又は、
前記の運転者注意散漫状態を表すための指標は、頭部位置ずれ度合い、顔向きずれ度合い、視線方向ずれ度合い、放心度合いの中のいずれか一つ又は複数を含むことを特徴とする請求項２に記載の方法。

【請求項4】

前記頭部姿勢情報に基づいて前記運転者画像における運転者の視線方向を決定して、視線方向情報を取得する前記操作は、
前記顔キーポイントのうちの目キーポイントによって位置決めされた目画像に基づいて瞳縁位置を決定し、前記瞳縁位置に基づいて瞳中心位置を計算する操作と、
前記瞳中心位置と目中心位置に基づいて前記頭部姿勢情報に対応する頭部姿勢での眼球回転角度情報を取得する操作と、
前記頭部姿勢情報と前記眼球回転角度情報に基づいて前記運転者の視線方向を決定して、視線方向情報を得る操作と、を含み、
前記顔キーポイントのうちの目キーポイントによって位置決めされた目画像に基づいて瞳縁位置を決定する前記操作は、
第７ニューラルネットワークによって、前記顔キーポイントに基づいて分割された画像における目領域画像に対して瞳縁位置の検出を行い、前記第７ニューラルネットワークの出力した情報に基づいて前記瞳縁位置を取得する操作を含むことを特徴とする請求項３に記載の方法。

【請求項5】

基準視線方向を予め設定する操作、又は、
前記運転者画像の所在するビデオ中の前のＮフレームの運転者画像に基づいて決定された平均視線方向を前記基準視線方向とする操作を更に含み、Ｎが１より大きい整数であり、
所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得する前記操作は、
所定時間内の視線方向情報の前記基準視線方向に対するずれ角度に基づいて、視線方向ずれ度合いのパラメータ値を取得する操作を含むことを特徴とする請求項３に記載の方法。

【請求項6】

所定時間内の前記目部状態情報に基づいて、放心度合いのパラメータ値を取得する前記操作は、
前記目部状態情報に基づいて、前記運転者の目が開眼状態にあり且つ所定放心時間に到達するまで持続した時に、前記運転者が放心状態にあると決定する操作と、
所定時間内の目部状態情報に基づいて、放心度合いのパラメータ値を取得する操作と、を含み、前記所定時間は前記所定放心時間を含むことを特徴とする請求項３～５のいずれか一項に記載の方法。

【請求項7】

所定時間内の前記頭部位置情報に基づいて、居眠り度合いのパラメータ値を取得する前記操作は、
前記頭部位置情報に基づいて、前記運転者の頭部位置の所定基準頭部位置に対するずれ度合いが第１所定時間内に所定ずれ範囲に到達し、且つ第２所定時間内に前記所定基準頭部位置に復帰した時に、前記運転者が居眠り状態にあると決定する操作と、
所定時間内の前記頭部位置情報に基づいて、居眠り度合いのパラメータ値を取得する操作と、を含み、前記所定時間は前記第１所定時間と前記第２所定時間を含むことを特徴とする請求項３～６のいずれか一項に記載の方法。

【請求項8】

所定時間内の前記口部状態情報に基づいて、あくび度合いのパラメータ値を取得する前記操作は、
前記口部状態情報に基づいて、前記運転者の口が閉口状態から開口状態に変化し、更に閉口状態に復帰した時間が所定時間範囲内にある時に、前記運転者が１回のあくび動作を完了したと決定する操作と、
所定時間内の口部状態情報に基づいて、あくび度合いのパラメータ値を取得する操作と、を含み、前記所定時間は前記運転者の口が閉口状態から開口状態に変化し、更に閉口状態に復帰した時間を含むことを特徴とする請求項３～７のいずれか一項に記載の方法。

【請求項9】

前記の運転者の注意散漫状態を表すための指標のパラメータ値に基づいて、運転者の注意散漫状態の検出結果を決定する操作は、
いずれか一つ又は複数の前記の運転者の注意散漫状態を表すための指標のパラメータ値が所定注意散漫条件を満たした時に、運転者の注意散漫状態の検出結果を注意散漫状態と決定する操作を含み、
前記所定注意散漫条件は、複数の注意散漫等級条件を含み、
いずれか一つ又は複数の前記の運転者の注意散漫状態を表すための指標のパラメータ値が所定注意散漫条件を満たした時に、運転者の注意散漫状態の検出結果を注意散漫状態と決定する前記操作は、
前記の運転者の注意散漫状態を表すための指標のパラメータ値が満たした注意散漫等級条件に基づいて、注意散漫状態等級を決定する操作と、
決定された注意散漫状態等級を運転者の注意散漫状態の検出結果とする操作と、を含み、
前記の運転者の疲労状態を表すための指標のパラメータ値に基づいて、運転者の疲労状態の検出結果を決定する操作は、
いずれか一つ又は複数の前記の運転者の疲労状態を表すための指標のパラメータ値が所定疲労条件を満たした時に、運転者の疲労状態の検出結果を疲労状態と決定する操作を含み、
前記所定疲労条件は、複数の疲労等級条件を含み、
いずれか一つ又は複数の前記の運転者の疲労状態を表すための指標のパラメータ値が所定疲労条件を満たした時に、運転者の疲労状態の検出結果を疲労状態と決定する前記操作は、
前記の運転者の疲労状態を表すための指標のパラメータ値が満たした疲労等級条件に基づいて、疲労状態等級を決定する操作と、
決定された疲労状態等級を運転者の疲労状態の検出結果とする操作と、を含むことを特徴とする請求項２～８のいずれか一項に記載の方法。

【請求項10】

前記運転者画像に対して所定注意散漫動作検出を行って、所定注意散漫動作が発生したか否かを決定する操作と、
所定注意散漫動作が発生した場合に、所定時間内に前記所定注意散漫動作が発生したか否かの決定結果に基づいて、運転者の注意散漫度合いを表すための指標のパラメータ値を取得する操作と、
前記の運転者の注意散漫度合いを表すための指標のパラメータ値に基づいて、運転者の所定注意散漫動作の検出結果を決定する操作と、を更に含み、
前記所定注意散漫動作は、喫煙動作、飲水動作、飲食動作、電話通話動作、娯楽動作、化粧動作の中のいずれか一つ又は複数を含むことを特徴とする請求項１～９のいずれか一項に記載の方法。

【請求項11】

前記運転者画像に対して所定注意散漫動作検出を行って、所定注意散漫動作が発生したか否かを決定する前記操作は、
前記運転者画像の特徴を抽出する操作と、
前記特徴に基づいて所定注意散漫動作を含む可能性がある複数の候補枠を抽出する操作と、
複数の前記候補枠に基づいて、顔の局所領域と動作関連物を含む動作目標枠を決定する操作と、
前記動作目標枠に基づいて所定注意散漫動作の分類検出を行って、前記所定注意散漫動作が発生したか否かを決定する操作と、を含むことを特徴とする請求項１０に記載の方法。

【請求項12】

前記顔の局所領域は、口部領域、耳部領域、目部領域の中のいずれか一つ又は複数を含み、
前記動作関連物は、容器、タバコ、携帯電話、食物、工具、飲料ボトル、眼鏡、マスクの中のいずれか一つ又は複数を含み、
前記動作目標枠は、手部検出枠を更に含むことを特徴とする請求項１１に記載の方法。

【請求項13】

前記運転者画像に対して所定注意散漫動作検出を行って、所定注意散漫動作が発生したか否かを決定する前記操作は、
第８ニューラルネットワークによって前記運転者画像に対して顔検出を行って顔検出枠を取得し、前記顔検出枠の特徴情報を抽出する操作と、
前記第８ニューラルネットワークによって前記顔検出枠の特徴情報に基づいて喫煙動作が発生したか否かを決定する操作と、を含むことを特徴とする請求項１１に記載の方法。

【請求項14】

前記運転者画像に対して所定注意散漫動作検出を行って、所定注意散漫動作が発生したか否かを決定する前記操作は、
第９ニューラルネットワークによって前記運転者画像に対して前記飲食動作／飲水動作／電話通話動作／娯楽動作／化粧動作に対応する所定目標対象の検出を行って、容器、食物、電子機器、化粧品の中のいずれか一つ又は複数を含む動作関連物、手部、口部、および、目部を含む所定目標対象の検出枠を得る操作と、
前記所定目標対象の検出枠に基づいて、所定注意散漫動作が発生したか否かを決定する操作と、を含み、所定注意散漫動作が発生したか否かの決定結果は、飲食動作／飲水動作／電話通話動作／娯楽動作／化粧動作が発生しなかったこと、飲食動作が発生したこと、飲水動作が発生したこと、電話通話動作が発生したこと、娯楽動作が発生したこと、化粧動作が発生したことの中の一項を含むことを特徴とする請求項１１に記載の方法。

【請求項15】

前記動作目標枠は、手部検出枠を更に含み、
前記所定目標対象の検出枠に基づいて、所定注意散漫動作が発生したか否かを決定する前記操作は、
手部の検出枠、口部の検出枠、目部の検出枠及び動作関連物の検出枠が検出されたか否か、および、手部の検出枠と動作関連物の検出枠とが重なっているか否か、前記動作関連物の種類及び動作関連物の検出枠と口部の検出枠又は目部の検出枠との間の距離が所定条件を満たすか否かに応じて、所定注意散漫動作が発生したか否かを決定する操作を含むことを特徴とする請求項１４に記載の方法。

【請求項16】

手部の検出枠と動作関連物の検出枠とが重なっているか否か、前記動作関連物の種類及び動作関連物の検出枠と口部の検出枠又は目部の検出枠との間の距離が所定条件を満たすか否かに応じて、所定注意散漫動作が発生したか否かを決定する前記操作は、
前記手部の検出枠と前記動作関連物の検出枠とが重なっており、前記動作関連物の種類が容器又は食物であり、且つ前記動作関連物の検出枠と口部の検出枠とが重なっている場合に、飲食動作、飲水動作又は化粧動作が発生したと決定する操作と、
前記手部の検出枠と前記動作関連物の検出枠とが重なっており、前記動作関連物の種類が電子機器であり、且つ前記動作関連物の検出枠と口部の検出枠との間の最小距離が第１所定距離より小さく、又は前記動作関連物の検出枠と目部の検出枠との間の最小距離が第２所定距離より小さい場合に、娯楽動作又は電話通話動作が発生したと決定する操作と、の中の少なくとも一つを含むことを特徴とする請求項１５に記載の方法。

【請求項17】

手部の検出枠、口部の検出枠及びいずれか１つの前記動作関連物の検出枠が同時に検出されなく、且つ手部の検出枠、目部の検出枠及びいずれか１つの前記動作関連物の検出枠が同時に検出されなかった場合に、所定注意散漫動作が発生したか否かの決定結果として、飲食動作、飲水動作、電話通話動作、娯楽動作及び化粧動作が検出されなかったと決定する操作と、
手部の検出枠と前記動作関連物の検出枠とが重なっていない場合に、所定注意散漫動作が発生したか否かの決定結果として、飲食動作、飲水動作、電話通話動作、娯楽動作、化粧動作が検出されなかったと決定する操作と、前記動作関連物の種類が容器又は食物であり、且つ前記動作関連物の検出枠と口部の検出枠とが重なっていない場合に、所定注意散漫動作が発生したか否かの決定結果として、飲食動作、飲水動作、電話通話動作、娯楽動作及び化粧動作が検出されなかったと決定する操作、又は、
前記動作関連物の種類が電子機器であり、且つ前記動作関連物の検出枠と口部の検出枠との間の最小距離が第１所定距離より小さくなく、又は前記動作関連物の検出枠と目部の検出枠との間の最小距離が第２所定距離より小さくない場合に、所定注意散漫動作が発生したか否かの決定結果として、飲食動作、飲水動作、電話通話動作、娯楽動作及び化粧動作が検出されなかったと決定する操作と、の中の少なくとも一つを更に含むことを特徴とする請求項１５又は１６に記載の方法。

【請求項18】

疲労状態の検出結果、注意散漫状態の検出結果、所定注意散漫動作の検出結果の中のいずれか一つ又は複数を含む運転者状態の検出結果に基づいて、警報又はインテリジェント運転制御を行う操作を更に含み、
運転者状態の検出結果に基づいて、警報又はインテリジェント運転制御を行う前記操作は、
運転者状態の検出結果が所定警報条件を満たした時に、前記警報条件に対応する通知／警報情報を出力する操作と、
運転者状態の検出結果が所定運転モード切り替え条件を満たした時に、運転モードを自動運転モードに切り替える操作と、の中の少なくとも一つを含むことを特徴とする請求項１～１７のいずれか一項に記載の方法。

【請求項19】

電子機器であって、
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されているコンピュータプログラムを実行するためのものであって、前記コンピュータプログラムが実行されると、上記請求項１～１８のいずれか一項に記載の運転状態検出方法を実現するプロセッサと、を含むことを特徴とする電子機器。

【請求項20】

コンピュータプログラムが記憶されているコンピュータ読取可能記憶媒体であって、
前記コンピュータプログラムがプロセッサにより実行されると、上記請求項１～１８のいずれか一項に記載の運転状態検出方法を実現することを特徴とするコンピュータ読取可能記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、コンピュータビジョン技術に関し、特に、運転状態検出方法及び装置、運転者監視システム並びに車両に関する。
＜関連出願の相互参照＞
本開示は、２０１８年１０月１９日に中国特許局に提出された、出願番号がＣＮ２０１８１１２２４３０８．９であり、発明の名称が「運転状態検出方法及び装置、運転者監視システム並びに車両」である中国特許出願の優先権を主張し、その開示の全てが参照によって本開示に組み込まれる。

【背景技術】

【0002】

車両が普及していくに伴って、交通事故も増えており、運転者の運転状態は車両の走行安全に非常に大きな影響を与えている。運転者の運転状態が悪くなった時に、例えば、過度の疲労、睡眠不足、注意散漫等の問題によって運転状態が悪くなった時に、判断力が低下して反応が遅くなり、更に漫然状態又は瞬間記憶喪失に至ることがあって、遅れた運転操作又は早すぎる運転操作、操作中断又は不適切な時点の修正等の危険な要因に繋がって、道路交通事故の発生可能性が非常に高くなる。運転者は運転中に携帯電話等の他の事物に気を配って注意をそらすと、運転の危険性が高くなってしまう。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示の実施例は、運転状態検出の技術的解決手段を提供する。

【課題を解決するための手段】

【0004】

本開示の実施例の一態様によれば、
運転者画像に対して頭部姿勢検出と目部状態検出を行って、頭部姿勢情報と目部状態情報を得る操作と、
前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の疲労状態と注意散漫状態の検出結果を決定する操作と、を含む運転状態検出方法を提供する。

【0005】

本開示の実施例の別の態様によれば、
運転者画像に対して頭部姿勢検出と目部状態検出を行って、頭部姿勢情報と目部状態情報を得るための第１検出モジュールと、
前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の疲労状態と注意散漫状態の検出結果を決定するための第１決定モジュールと、を含む運転状態検出装置を提供する。

【0006】

本開示の実施例のもう１つの態様によれば、
運転者画像及び運転者の疲労状態と注意散漫状態の検出結果を表示するための表示装置と、
運転者画像に対して頭部姿勢検出と目部状態検出を行って頭部姿勢情報と目部状態情報を得、前記頭部姿勢情報と前記目部状態情報に基づいて運転者の疲労状態と注意散漫状態の検出結果を決定するための運転者状態検出装置と、を含む運転者監視システムを提供する。

【0007】

本開示の実施例のもう１つの態様によれば、
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されているコンピュータプログラムを実行するためのものであって、前記コンピュータプログラムが実行されると、上記のいずれか１つの実施例に記載の運転状態検出方法を実現するプロセッサと、を含む電子機器を提供する。

【0008】

本開示の実施例の更にもう１つの態様によれば、コンピュータプログラムが記憶されているコンピュータ読取可能記憶媒体であって、このコンピュータプログラムがプロセッサにより実行されると、上記のいずれか１つの実施例に記載の運転状態検出方法を実現するコンピュータ読取可能記憶媒体を提供する。

【0009】

本開示の実施例の更にまた１つの態様によれば、中央制御システムを含む車両であって、上記のいずれか１つの実施例に記載の運転状態検出装置又は上記のいずれか１つの実施例に記載の運転者監視システムを更に含む車両を提供する。

【発明の効果】

【0010】

本開示の上記実施例で提供された運転状態検出方法及び装置、運転者監視システム、車両、電子機器並びに媒体によれば、運転者画像に対して頭部姿勢検出と目部状態検出を行って、検出された頭部姿勢情報と目部状態情報に基づいて、運転者の疲労状態と注意散漫状態の検出結果を決定することができる。本開示の実施例は、運転者画像に対して頭部姿勢検出と目部状態検出を行うことによって、運転者の疲労状態と注意散漫状態を共同してリアルタイムに検出することを可能にして、そのように運転者の運転状態が悪くなった時にリアルタイムに対策を取ることができ、運転の安全性が高くなり、道路交通事故の発生率が低くなる。

【0011】

以下、図面及び実施例を通じて本開示の技術的手段をさらに詳しく説明する。

【図面の簡単な説明】

【0012】

明細書の一部を構成する図面は、本開示の実施例を説明し、その説明と共に本開示の原理を解釈することに用いられる。

【0013】

図面を参照し、以下の詳細な説明により本開示をより明瞭に理解することができる。

【0014】

【図1】本開示の運転状態検出方法の一実施例のフローチャートである。

【図2】本開示の運転状態検出方法の別の実施例のフローチャートである。

【図3】本開示の実施例で運転者画像に対して特定注意散漫動作検出を行う一実施例のフローチャートである。

【図4】本開示の運転状態検出装置の一実施例の構造模式図である。

【図5】本開示の運転状態検出装置の別の実施例の構造模式図である。

【図6】本開示の運転者監視システムの一実施例の構造模式図である。

【図7】本開示の電子機器の一応用実施例の構造模式図である。

【図8】本開示の車両の一実施例の構造模式図である。

【発明を実施するための形態】

【0015】

ここで、図面を参照しながら本開示の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材及びステップの相対的配置、数式及び値は本開示の範囲を限定するものではないことに注意すべきである。

【0016】

本開示の実施例における「第１の」、「第２の」などの用語は区別するためのものに過ぎず、本開示の実施例に対する限定と理解してはならないことを理解すべきである。

【0017】

更に、本開示の実施例では、「複数の」は２つ又は２つ以上を指してよく、「少なくとも１つの」は１つ、２つ又は２つ以上を指してよいことを理解すべきである。

【0018】

更に、本開示の実施例で言及された任意の部材、データ又は構造は、明確に限定され又は明細書の前後で反対的に示唆された場合でなければ、一般的には１つ又は複数と理解してよいことを理解すべきである。

【0019】

更に、本開示ではそれぞれの実施例についての説明はそれぞれの実施例の相違点を重点として強調し、その同一又は類似的な点について相互に参照してよく、簡単化するために、ここで一つずつに繰り返して説明しないことを理解すべきである。

【0020】

同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。

【0021】

以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本開示及びその適用または使用へのなんらの制限にもならない。

【0022】

関連分野の当業者に既知の技術、方法及び機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法及び機器は明細書の一部と見なすべきである。

【0023】

なお、類似する符号及び英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。

【0024】

また、本開示の用語の「及び／又は」は、関連対象の関連関係を記述するためのものに過ぎず、３種の関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａが単独して存在し、ＡとＢが同時に存在し、Ｂが単独して存在するという３種の場合を示してもよい。また、本開示における符号「／」は一般的には、前後の関連対象が「又は」という関係にあることを示す。

【0025】

本開示の実施例は端末装置、コンピュータシステム、サーバ等の電子機器に適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。端末装置、コンピュータシステム、サーバ等の電子機器との併用に適する公知の端末装置、計算システム、環境及び／または構成の例は、車載装置、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム及び前記の任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。

【0026】

端末装置、コンピュータシステム、サーバ等の電子機器はコンピュータシステムにより実行されるコンピュータシステム実行可能コマンド（例えば、プログラムモジュール）の一般的な言語環境において記述できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してよい。

【0027】

本開示の各実施例におけるニューラルネットワークは、それぞれ１つの多層ニューラルネットワーク（即ち、深層ニューラルネットワーク）であってよく、そのうちのニューラルネットワークは、多層の畳み込みニューラルネットワーク、例えばＬｅＮｅｔ、ＡｌｅｘＮｅｔ、ＧｏｏｇＬｅＮｅｔ、ＶＧＧ、ＲｅｓＮｅｔ等の任意のニューラルネットワークモデルであってよい。各ニューラルネットワークとしては同じタイプと構造のニューラルネットワークを用いてもよく、異なるタイプ及び／又は構造のニューラルネットワークを用いてもよい。本開示の実施例はそれを限定するものではない。

【0028】

図１は本開示の運転状態検出方法の一実施例のフローチャートである。本開示の実施例の運転状態検出方法は、１つの装置（本開示の実施例では運転状態検出装置と呼んでもよい）又は１つのシステム（本開示の実施例では運転者監視システムと呼ぶ）によって実現されてよい。図１に示すように、この実施例の運転状態検出方法は、以下の操作を含む。

【0029】

１０２、運転者画像に対して頭部姿勢検出と目部状態検出を行って、頭部姿勢情報と目部状態情報を得る。

【0030】

そのうちのいくつかの実施形態では、この操作１０２は、運転者画像に対して顔キーポイント検出を行う操作と、検出された顔キーポイントに基づいて頭部姿勢情報と目部状態情報を取得する操作と、を含んでよい。

【0031】

ここで、いくつかの選択可能な例では、検出された顔キーポイントに基づいて頭部姿勢情報を取得する時に、例えば、第１ニューラルネットワークによって、顔キーポイントに基づいて頭部姿勢情報を取得してよい。

【0032】

そのうちのいくつかの実施形態では、頭部姿勢は正常な運転状態での正規化球座標系（即ち、カメラの所在するカメラ座標系）における頭部の姿勢角／オイラー角で表してよく、そのうちの姿勢角／オイラー角は、ピッチ角θ（ｐｉｔｃｈ）、ヨー角ψ（ｙａｗ）、ロール角Φ（ｒｏｌｌ）を含み、そのように頭部姿勢情報は（ｐｉｔｃｈ，ｙａｗ，ｒｏｌｌ）を含む。ここで、ピッチ角は垂直方向に頭を下げるか、頭を上げる角度を示すためのものであり、ヨー角は水平方向に顔を横に向ける（即ち、頭を振り返る）角度を示すためのものであり、ロール角は垂直方向に頭を傾ける（即ち、肩に寄せる）角度を示すためのものである。

【0033】

顔のサイズが一定した場合に、ある可能な適用シーンを例とすると、運転者画像を撮影するカメラが運転席の真正面に位置して運転席に対向する時に、ヨー角度、ピッチ角度、ロール角が小さいほど、顔が偏っていないし、運転者の運転状態が良い。ヨー角、ピッチ角、ロール角がいずれも０である時のものを基準頭部姿勢としてよく、この時に運転者が最適な運転状態にある。ピッチ角及び／又はヨー角が所定角度閾値より大きく、且つ持続時間が所定時間閾値より大きい時に運転者注意散漫状態の検出結果を注意散漫状態（即ち、注意力が集中していない）と決定してよい。ピッチ角が所定短い時間内に０度から所定角度に変化してから０度に復帰した（頭部を正常な位置から突然に下げてから正常な位置に復帰させた、居眠りうなずき動作に対応する）時に、運転者疲労状態の検出結果を疲労状態（即ち、疲労運転レベル）と決定してよい。カメラが他の位置にある応用シーンにおいて、カメラが運転席の真正面に位置し運転席に対向する場合のカメラとこの位置のカメラとがなす夾角による基準頭部姿勢に基づいて、頭部姿勢情報を決定してよく、当業者であれば、本開示の実施例の記載に基づいてその具体的な実施形態を理解でき、ここで詳細な説明を省略する。

【0034】

ここで、第１ニューラルネットワークは、深層学習技術に基づいて予め訓練されたものであってよい。本実施例では、第１ニューラルネットワークを用いて顔キーポイントに基づいて頭部姿勢情報を取得して、取得された頭部姿勢情報の精確度を高めることができ、そのように運転者状態の検出結果の正確率が高くなる。

【0035】

なお、予め訓練されたニューラルネットワークによって顔キーポイント検出を行ってもよく、それによって顔キーポイント検出結果の精確性が高くなり、頭部姿勢情報の精確度が更に高くなり、そのように運転者状態の検出結果の正確率が高くなる。

【0036】

いくつかの選択可能な例では、検出された顔キーポイントに基づいて目部状態情報を取得する操作は、例えば、顔キーポイントに基づいて運転者画像における目部領域画像を決定する操作と、第２ニューラルネットワークによって目部領域画像に対して上眼瞼線と下眼瞼線の検出を行う操作と、上眼瞼線と下眼瞼線との間の間隔に基づいて運転者の目開閉状態情報を決定する操作と、を含んでよい。ここで、目開閉状態は、開眼状態、半分閉眼状態又は閉眼状態を含み、上記目部状態情報は、この目開閉状態情報を含む。選択可能な一例では、先に顔キーポイントのうちの目キーポイント（例えば、目キーポイントの運転者画像での座標情報）を用いて運転者画像における目の位置を決定して目部領域画像を取得し、且つこの目部領域画像によって上眼瞼線と下眼瞼線を取得し、上眼瞼線と下眼瞼線との間の間隔を計算することで目開閉状態情報を取得するようにしてよい。又は、別の選択可能な例では、運転者画像に対して顔キーポイント検出を行い、検出された顔キーポイントのうちの目キーポイントを直接用いて計算し、計算結果に基づいて目開閉状態情報を取得するようにしてもよい。この目開閉状態情報は運転者の閉眼検出に用いてよく、例えば、運転者が目を半分程度閉じたか否か（「半分」は目を完全に閉じていない状態を示し、例えば、居眠り状態で目を細くしている等を示す）、目を閉じたか否か、閉眼回数、閉眼幅等の検出に用いてよい。選択可能に、目開閉状態情報は開眼高さに対して正規化処理を行った後の情報であってよい。

【0037】

ここで、第２ニューラルネットワークは、深層学習技術に基づいて予め訓練されたものであってよい。本実施例では、第２ニューラルネットワークを用いて上眼瞼線と下眼瞼線の検出を行って、上眼瞼線と下眼瞼線位置の精確な検出を実現でき、それによって目開閉状態情報の正確率が高くなって、運転者状態の検出結果の正確率が高くなる。

【0038】

また、別の選択可能な例では、検出された顔キーポイントに基づいて目部状態情報を取得する操作は、例えば、顔キーポイントに基づいて運転者画像における目部領域画像を決定する操作と、第３ニューラルネットワークによってこの目部領域画像に対して開眼閉眼の分類処理を行って、目が開眼状態又は閉眼状態にあることを示す開眼又は閉眼の分類結果を得る操作と、を含んでよく、上記目部状態情報はこの開眼又は閉眼の分類結果に対応する開眼状態又は閉眼状態を含む。例えば、第３ニューラルネットワークは、入力された目部領域画像に対して特徴抽出と開眼閉眼の分類処理を行って開眼確率（値の範囲が０～１であってよい）又は閉眼確率（値の範囲が０～１であってよい）といった分類結果を出力し、この開眼確率又は閉眼確率に基づいて目が開眼状態にあるか閉眼状態にあるかを決定して、運転者の目部状態を得ることができる。

【0039】

ここで、第３ニューラルネットワークは、深層学習技術に基づいて開眼サンプル画像と閉眼サンプル画像を直接用いて訓練して得られてよく、訓練された第３ニューラルネットワークは、目開閉度合いの計算を行わず、入力された画像に対して開眼又は閉眼の分類結果を直接得ることができる。本実施例では、第３ニューラルネットワークによって目部領域画像における運転者の目部状態を取得して、目部状態情報の正確率と検出効率を高めることができ、そのように運転者状態の検出結果の正確率と検出効率が高くなる。

【0040】

選択可能な一例では、この操作１０２は、プロセッサによってメモリに記憶された該当するコマンドを呼び出して実行されてもよく、プロセッサによって動作する第１検出モジュールによって実現されてもよい。

【0041】

１０４、上記頭部姿勢情報と目部状態情報に基づいて、運転者の疲労状態と注意散漫状態の検出結果を決定する。

【0042】

そのうちのいくつかの実施形態では、この操作１０４は、頭部姿勢情報と目部状態情報に基づいて、運転者の疲労状態を表すための指標のパラメータ値と運転者の注意散漫状態を表すための指標のパラメータ値を決定する操作と、運転者の疲労状態を表すための指標のパラメータ値に基づいて、運転者の疲労状態の検出結果を決定し、運転者の注意散漫状態を表すための指標のパラメータ値に基づいて、運転者の注意散漫状態の検出結果を決定する操作と、を含んでよい。

【0043】

選択可能な一例では、この操作１０４は、プロセッサによってメモリに記憶された該当するコマンドを呼び出して実行されてもよく、プロセッサによって動作する第１決定モジュールによって実現されてもよい。

【0044】

本開示の上記実施例で提供された運転状態検出方法によれば、運転者画像に対して頭部姿勢検出と目部状態検出を行って、検出された頭部姿勢情報と目部状態情報に基づいて、運転者の疲労状態と注意散漫状態の検出結果を決定することができる。本開示の実施例は、運転者画像に対して頭部姿勢検出と目部状態検出を行うことによって、運転者の疲労状態と注意散漫状態を共同してリアルタイムに検出することを可能にして、そのように運転者の運転状態が悪くなった時にリアルタイムに対策を取ることができ、運転の安全性が高くなり、道路交通事故の発生率が低くなる。

【0045】

また、本開示の運転状態検出方法の別の実施例では、上記操作１０２の後、
頭部姿勢情報に基づいて決定された運転者画像における運転者の頭部位置情報によって、運転者の頭部位置のずれ角度が所定範囲を超えたか否かを決定する操作と、
運転者の頭部位置のずれ角度が所定範囲を超えていない場合に、上記操作１０４を実行し、即ち、頭部姿勢情報と目部状態情報に基づいて、運転者の疲労状態と注意散漫状態の検出結果を決定する操作と、
運転者の頭部位置のずれ角度が所定範囲を超えた場合に、頭部姿勢情報と目部状態情報に基づいて、運転者の注意散漫状態の検出結果を決定する操作と、を更に含んでよい。

【0046】

そのうちのいくつかの実施形態では、頭部姿勢情報と目部状態情報に基づいて、運転者の注意散漫状態の検出結果を決定する上記操作は、頭部姿勢情報と目部状態情報に基づいて、運転者の注意散漫状態を表すための指標のパラメータ値を決定する操作と、運転者の注意散漫状態を表すための指標のパラメータ値に基づいて、運転者の注意散漫状態の検出結果を決定する操作と、を含んでよい。

【0047】

また、本開示の上記各運転状態検出方法の実施例では、運転者画像に対して口部状態検出を行って、口部状態情報を得る操作を更に含んでよい。これに応じて、この実施例では、頭部姿勢情報、目部状態情報及び口部状態情報に基づいて、運転者の疲労状態を表すための指標のパラメータ値を決定してよい。

【0048】

そのうちのいくつかの実施形態では、運転者画像に対して口部状態検出を行って、口部状態情報を得る操作は、運転者画像に対して顔キーポイント検出を行う操作と、検出された顔キーポイントに基づいて口部状態情報を取得する操作と、を含んでよい。

【0049】

いくつかの選択可能な例では、検出された顔キーポイントに基づいて口部状態情報を取得する操作は、例えば、顔キーポイントに基づいて運転者画像における口部領域画像を決定する操作と、第４ニューラルネットワークによって口部領域画像に対して上口唇線と下口唇線の検出を行う操作と、上口唇線と下口唇線との間の間隔に基づいて運転者の口開閉状態情報を決定する操作と、を含んでよい。ここで、口開閉状態は、口の開状態（即ち、開口状態）、閉状態（即ち、閉口状態）、半閉鎖状態（即ち、口を半分程度開いた状態）等を含んでもよい。上記口部状態情報は、この口開閉状態情報を含む。例えば、選択可能な一例では、先に顔キーポイントのうちの口キーポイント（例えば、口キーポイントの運転者画像での座標情報）を用いて運転者画像における口の位置を決定し、切り抜き等の方式によって口部領域画像を取得し、更にこの口部領域画像によって上口唇線と下口唇線を取得し、上口唇線と下口唇線との間の間隔を計算することで口開閉状態情報を取得するようにしてよい。別の選択可能な例では、顔キーポイントのうちの口部キーポイントを直接用いて計算して、計算結果に基づいて口開閉状態情報を取得するようにしてもよい。

【0050】

上記口開閉状態情報は運転者のあくび検出に用いてよく、例えば、運転者があくびをしているか否か、あくび回数等の検出に用いてよい。選択可能に、口開閉状態情報は開口高さに対して正規化処理を行った後の情報であってよい。

【0051】

ここで、第４ニューラルネットワークは、深層学習技術に基づいて予め訓練されたものであってよい。本実施例では、第４ニューラルネットワークを用いて上口唇線と下口唇線の検出を行って、上口唇線と下口唇線位置の精確な検出を実現でき、それによって口開閉状態情報の正確率が高くなって、運転者状態の検出結果の正確率が高くなる。

【0052】

別の選択可能な例では、検出された顔キーポイントに基づいて口部状態情報を取得する操作は、例えば、顔キーポイントに基づいて運転者画像における口部領域画像を決定する操作と、第５ニューラルネットワークによってこの口部領域画像に対して口開閉の分類処理を行って、口が開口状態又は閉口状態にあることを示す開口又は閉口の分類結果を得る操作と、を含んでよく、ここで、上記口部状態情報は、開口状態又は閉口状態を含む。例えば、第５ニューラルネットワークは、入力された口部領域画像に対して特徴抽出と口開閉の分類処理を行って、開口（即ち、開口状態）確率（値の範囲が０～１であってよい）又は閉口（即ち、閉口状態）確率（値の範囲が０～１であってよい）を出力し、この開口確率又は閉口確率に基づいて口が開口状態にあるか閉口状態にあるかを決定して、運転者の口部状態情報を得ることができる。

【0053】

ここで、第５ニューラルネットワークは、深層学習技術に基づいて、開口サンプル画像及び閉口サンプル画像を直接用いて予め訓練して得られてよく、訓練された第５ニューラルネットワークは、上口唇線と下口唇線の検出及び両者の間隔の計算を行わず、入力された画像に対して開口又は閉口の分類結果を直接取得できる。本実施例では、第５ニューラルネットワークによって口部領域画像における運転者の口状態情報を取得して、口部状態情報の正確率と検出効率を高めることができ、そのように運転者状態の検出結果の正確率と検出効率が高くなる。

【0054】

図２は本開示の運転状態検出方法の別の実施例のフローチャートである。図２に示すように、この実施例の運転状態検出方法は、以下の操作を含む。

【0055】

２０２、運転者画像に対して頭部姿勢検出、目部状態検出及び口部状態検出を行って、頭部姿勢情報、目部状態情報及び口部状態情報を得る。

【0056】

選択可能な一例では、この操作２０２は、プロセッサによってメモリに記憶された該当するコマンドを呼び出して実行されてもよく、プロセッサによって動作する第１検出モジュールによって実現されてもよい。

【0057】

２０４、頭部姿勢情報に基づいて決定された運転者画像における運転者の頭部位置情報によって、運転者の頭部位置のずれ角度が所定範囲を超えたか否かを決定する。

【0058】

選択可能な一例では、この操作２０４は、プロセッサによってメモリに記憶された該当するコマンドを呼び出して実行されてもよく、プロセッサによって動作する第２決定モジュールによって実現されてもよい。

【0059】

運転者の頭部位置のずれ角度が所定範囲を超えた場合に、操作２０６を実行する。逆の場合には、運転者の頭部位置のずれ角度が所定範囲を超えていない場合に、操作２１０を実行する。

【0060】

２０６、頭部姿勢情報と目部状態情報に基づいて、運転者の注意散漫状態を表すための指標のパラメータ値を決定する。

【0061】

２０８、運転者の注意散漫状態を表すための指標のパラメータ値に基づいて、運転者の注意散漫状態の検出結果を決定する。

【0062】

選択可能な一例では、この操作２０６－２０８は、プロセッサによってメモリに記憶された該当するコマンドを呼び出して実行されてもよく、プロセッサによって動作する第１決定モジュール又は第１決定モジュール中の第１決定ユニットによって実現されてもよい。

【0063】

操作２０８の後、本実施例の後続工程を実行しない。

【0064】

２１０、上記頭部姿勢情報と目部状態情報に基づいて、運転者の注意散漫状態を表すための指標のパラメータ値を決定し、上記頭部姿勢情報、前記目部状態情報及び前記口部状態情報に基づいて、運転者の疲労状態を表すための指標のパラメータ値を決定する。

【0065】

２１２、運転者の疲労状態を表すための指標のパラメータ値に基づいて、運転者の疲労状態の検出結果を決定し、運転者の注意散漫状態を表すための指標のパラメータ値に基づいて、運転者の注意散漫状態の検出結果を決定する。

【0066】

選択可能な一例では、この操作２１０－２１２は、プロセッサによってメモリに記憶された該当するコマンドを呼び出して実行されてもよく、プロセッサによって動作する第１決定モジュール又は第１決定モジュール中の第２決定ユニットによって実現されてもよい。

【0067】

上記実施例では、頭部位置のずれ角度が所定範囲を超えた時に、運転者が注意散漫状態にあることがあるので、疲労状態検出を行わず、運転者に対して注意散漫状態検出を行うだけで、運転状態の検出効果を実現でき、疲労状態検出に必要な計算リソースを節約でき、運転状態の検出効率が高くなる。頭部位置のずれ角度が所定範囲を超えていない時に、運転者が注意散漫状態及び／又は疲労状態にあることがあるので、運転者に対して注意散漫状態検出と疲労状態検出を同時に行うことで、運転者状態の全面的な検出を実現でき、運転の安全性が保証される。

【0068】

そのうちのいくつかの実施形態では、運転者疲労状態を表すための指標は、例えば、居眠り度合い、閉眼度合い、まばたき度合い、あくび度合い等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び／又は、運転者注意散漫状態を表すための指標は、例えば、頭部位置ずれ度合い、顔向きずれ度合い、視線方向ずれ度合い、漫然度合い等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されない。

【0069】

そのうちのいくつかの実施形態では、上記各実施例において、頭部姿勢情報と目部状態情報に基づいて、運転者の注意散漫状態を表すための指標のパラメータ値を決定する操作は、以下の操作を含んでよい。
頭部姿勢情報に基づいて運転者画像における運転者の頭部位置を決定して頭部位置情報を得、例えば、頭部姿勢情報中のピッチ角を取得して頭部位置としてよく、所定時間内の頭部位置情報に基づいて頭部位置ずれ度合いのパラメータ値を取得する。ここで、頭部位置ずれ度合いのパラメータ値は、例えば、頭部位置ずれ状態、頭部位置ずれ方向、頭部位置の頭部位置ずれ方向におけるずれ角度、頭部位置のずれ持続時間、頭部位置ずれ頻度の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び／又は、
頭部姿勢情報に基づいて運転者画像における運転者の顔向きを決定して顔向き情報を得、この顔向き情報は、例えば、顔転動の方向及び角度を含んでよく、ここの転動方向は左への転動、右への転動、下への転動及び／又は上への転動等であってよく、例えば、頭部姿勢情報中のピッチ角とヨー角を取得して顔向きとし、所定時間内の顔向き情報に基づいて顔向きずれ度合いのパラメータ値を取得するようにしてよい。ここで、顔向きずれ度合いのパラメータ値は、例えば、頭回し回数、頭回し持続時間、頭回し頻度等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び／又は、
頭部姿勢情報に基づいて運転者画像における運転者の視線方向を決定して視線方向情報を取得し、所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得し、又は、顔キーポイントに基づいて運転者画像における目部領域画像を決定し、第６ニューラルネットワークによって目部領域画像における運転者の視線方向情報を取得し、所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得する。ここで、視線方向ずれ度合いのパラメータ値は、例えば、視線方向ずれ角度、視線方向ずれ時間、視線方向ずれ頻度等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び／又は、
所定時間内の目部状態情報に基づいて、漫然度合いのパラメータ値を取得する。ここで、漫然度合いのパラメータ値は、例えば、開眼幅、開眼持続時間、開眼累計時間が統計時間窓で占める割合等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されない。

【0070】

本実施例は、運転者画像のいずれか一つ又は複数の運転者注意散漫状態を表すための指標のパラメータ値を検出し、且つそれに基づいて運転者の注意散漫状態の検出結果を決定することによって、運転者が運転に注意力を集中しているか否かを判断し、運転者の注意散漫状態の指標を計量化し、運転の注意力集中度を頭部位置ずれ度合い、顔向きずれ度合い、視線方向ずれ度合い、漫然度合いの指標の中の少なくとも１つで計量化することで、運転者の注意力集中運転状態をリアルタイム且つ客観的に判断することに寄与する。

【0071】

そのうちのいくつかの実施形態では、上記各実施例において、頭部姿勢情報と目部状態情報に基づいて、運転者の疲労状態を表すための指標のパラメータ値と運転者の注意散漫状態を表すための指標のパラメータ値を決定する操作は、以下の操作を含む。
頭部姿勢情報に基づいて運転者画像における運転者の頭部位置を決定して頭部位置情報を得、例えば、頭部姿勢情報中のピッチ角を取得して頭部位置としてよく、所定時間内の頭部位置情報に基づいて頭部位置ずれ度合いのパラメータ値を取得する。ここで、頭部位置ずれ度合いのパラメータ値は、例えば、頭部位置ずれ状態、頭部位置ずれ方向、頭部位置の頭部位置ずれ方向におけるずれ角度、頭部位置のずれ持続時間、頭部位置ずれ頻度の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び／又は、
頭部姿勢情報に基づいて運転者画像における運転者の顔向きを決定して顔向き情報を得、例えば、頭部姿勢情報中のピッチ角とヨー角を取得して顔向きとしてよく、所定時間内の顔向き情報に基づいて顔向きずれ度合いのパラメータ値を取得する。ここで、顔向きずれ度合いのパラメータ値は、例えば、頭回し回数、頭回し持続時間、頭回し頻度等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び／又は、
頭部姿勢情報に基づいて運転者画像における運転者の視線方向を決定して視線方向情報を取得し、所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得し、又は、顔キーポイントに基づいて運転者画像における目部領域画像を決定し、第６ニューラルネットワークによって目部領域画像における運転者の視線方向情報を取得し、所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得する。ここで、視線方向ずれ度合いのパラメータ値は、例えば、視線方向ずれ角度、視線方向ずれ時間、視線方向ずれ頻度等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び／又は、
所定時間内の目部状態情報に基づいて、漫然度合いのパラメータ値を取得する。ここで、漫然度合いのパラメータ値は、例えば、開眼幅、開眼持続時間、開眼累計時間が統計時間窓で占める割合等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び／又は、
頭部姿勢情報に基づいて運転者画像における運転者の頭部位置を決定して頭部位置情報を得、所定時間内の頭部位置情報に基づいて居眠り度合いのパラメータ値を取得する。ここで、居眠り度合いのパラメータ値は、例えば、居眠りうなずき状態、居眠りうなずき幅、居眠りうなずき回数、居眠りうなずき頻度、居眠りうなずき持続時間等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び／又は、
所定時間内の目部状態情報に基づいて、閉眼度合いのパラメータ値を取得する。ここで、閉眼度合いのパラメータ値は、例えば、閉眼回数、閉眼頻度、閉眼持続時間、閉眼幅、半分閉眼回数、半分閉眼頻度、閉眼累計時間が統計時間窓で占める割合等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び／又は、
所定時間内の目部状態情報に基づいて、まばたき度合いのパラメータ値を取得する。本開示の実施例では、目部状態情報に基づいて、目が開眼状態から閉眼状態に変化し更に開眼状態に変化する過程は、１回のまばたき動作が完了したと考えられ、１回のまばたき動作に必要な時間が例えば０．２ｓ～１ｓ程度であってよい。ここで、まばたき度合いのパラメータ値は、例えば、まばたき回数、まばたき頻度、まばたき持続時間、まばたき累計時間が統計時間窓で占める割合等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び／又は、
所定時間内の口部状態情報に基づいて、あくび度合いのパラメータ値を取得する。ここで、あくび度合いのパラメータ値は、例えば、あくび状態、あくび回数、あくび持続時間、あくび頻度等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されない。

【0072】

上記実施例では、深層学習技術に基づいて頭部姿勢情報を取得し、この頭部姿勢情報に基づいて運転者画像における運転者の頭部位置、顔向き及び視線方向を決定することができ、頭部位置情報、顔向き情報及び視線方向情報の正確率が高くなって、頭部姿勢情報に基づいて決定された、運転者状態を表すための指標のパラメータ値がより精確になって、運転者状態の検出結果の正確率の向上に寄与する。

【0073】

ここで、頭部位置情報は、運転者の頭部位置が正常であるか否か、例えば、運転者が頭を下げているか否か、頭を上げているか否か、頭を傾けているか否か、又は頭を後ろに向けているか否か等を決定することに利用可能である。頭部位置情報は、選択可能に、頭部のピッチ角、ヨー角及びロール角によって決定されてよい。顔向き情報は、運転者の顔方向が正常であるか否か、例えば、運転者が顔を横に向けているか否か、又は振り返っているか否か等を決定することに利用可能である。顔向き情報は、選択可能に、運転者の顔の真正面と運転者の運転している車両の真正面との間の夾角であってよい。上記視線方向情報は、運転者の視線方向が正常であるか否か、例えば、運転者が前方を見ているか否か等を決定することに利用可能であり、視線方向情報は、運転者の視線がずれたか否か等を判断することに利用可能である。視線方向情報は、選択可能に、運転者の視線と運転者の運転している車両の真正面との間の夾角であってよい。

【0074】

選択可能な一例では、顔向き情報が第１向きより大きく、且つ第１向きより大きい現象がＮ１フレーム持続した（例えば、９フレーム又は１０フレームなど持続した）と判断された場合に、運転者に１回の長時間且つ大角度の頭回し現象が発生したと決定し、１回の長時間且つ大角度の頭回しを記録してもよく、今回の頭回し持続時間を記録してもよく、また、顔向き情報が第１向きより大きくないが、第２向きより大きく、且つ第１向きより大きくなく第２向きより大きい現象がＮ１フレーム持続した（Ｎ１が０より大きい整数であり、例えば、９フレーム又は１０フレーム等持続した）と判断された場合に、運転者に１回の長時間且つ小角度の頭回し現象が発生したと決定し、１回の小角度頭回しずれを記録してもよく、今回の頭回し持続時間を記録してもよい。

【0075】

選択可能な一例では、視線方向情報と車両の真正面との間の夾角が第１夾角より大きく、且つ第１夾角より大きい現象がＮ２フレーム持続した（例えば、８フレーム又は９フレーム等持続した）と判断された場合に、運転者に１回の視線重度ずれ現象が発生したと決定し、１回の視線重度ずれを記録してもよく、今回の視線重度ずれ持続時間を記録してもよく、また、視線方向情報と車両の真正面との間の夾角が第１夾角より大きくないが、第２夾角より大きく、且つ第１夾角より大きくなく第２夾角より大きい現象がＮ２フレーム持続した（Ｎ２が０より大きい整数であり、例えば、９フレーム又は１０フレーム等持続した）と判断された場合に、運転者に１回の視線ずれ現象が発生したと決定し、１回の視線ずれを記録してもよく、今回の視線ずれ持続時間を記録してもよい。

【0076】

選択可能な一例では、上記第１向き、第２向き、第１夾角、第２夾角、Ｎ１及びＮ２の値は実際の状況に応じて設定可能であり、本開示では数値の大小が限定されない。

【0077】

上記実施例では、深層学習技術に基づいて目部状態情報を取得し、この目部状態情報に基づいて閉眼度合いのパラメータ値、漫然度合いのパラメータ値及びまばたき度合いのパラメータ値を決定することができ、閉眼度合いのパラメータ値、漫然度合いのパラメータ値及びまばたき度合いのパラメータ値の正確率が高くなって、目部状態情報に基づいて決定された、運転者状態を表すための指標のパラメータ値がより精確になって、運転者状態の検出結果の正確率の向上に寄与する。

【0078】

上記実施例では、深層学習技術に基づいて口部状態情報を取得し、この口部状態情報に基づいてあくび度合いを表すためのパラメータ値を決定することができ、あくび度合いのパラメータ値の正確率が高くなって、口部状態情報に基づいて決定された、運転者状態を表すための指標のパラメータ値がより精確になって、運転者状態の検出結果の正確率の向上に寄与する。

【0079】

上記実施例では、第６ニューラルネットワークは、深層学習技術に基づいてサンプル画像によって予め訓練されてよく、訓練済みの第６ニューラルネットワークは、入力された画像に対して視線方向情報を直接出力することができ、視線方向情報の正確率が高くなって、そのように運転者状態の検出結果の正確率が高くなる。

【0080】

ここで、様々な形態で第６ニューラルネットワークを訓練してもよく、本開示ではそれについて限定しない。例えば、そのうちの一形態では、少なくとも目部画像を含むサンプル画像を撮影するカメラ及びこのサンプル画像における瞳に基づいて第１視線方向を決定し、第６ニューラルネットワークによってサンプル画像の視線方向を検出して第１検出視線方向を得、第１視線方向と第１検出視線方向に基づいて第６ニューラルネットワークを訓練するようにしてよい。更に例えば、そのうちの一形態では、少なくとも目部画像を含むサンプル画像における瞳基準点の第１カメラ座標系での第１座標を決定し、サンプル画像における角膜基準点の第１カメラ座標系での第２座標を決定し、第１座標と第２座標に基づいてサンプル画像の第２視線方向を決定し、第６ニューラルネットワークによってサンプル画像に対して視線方向検出を行って第２検出視線方向を得、第２視線方向と前記第２検出視線方向に基づいて第６ニューラルネットワークを訓練する。

【0081】

そのうちのいくつかの選択可能な例では、頭部姿勢情報に基づいて運転者画像における運転者の視線方向を決定して視線方向情報を取得する操作は、顔キーポイントのうちの目キーポイントに基づいて位置決めされた目画像によって瞳縁位置を決定し、瞳縁位置に基づいて瞳中心位置を計算する操作と、瞳中心位置と目中心位置に基づいて頭部姿勢情報に対応する頭部姿勢での眼球回転角度情報を取得する操作と、頭部姿勢情報と眼球回転角度情報に基づいて運転者の視線方向を決定して視線方向情報を得る操作と、を含んでよい。

【0082】

ここで、顔キーポイントのうちの目キーポイントに基づいて位置決めされた目画像によって瞳縁位置を決定する操作は、第７ニューラルネットワークによって、顔キーポイントに基づいて分割された画像における目画像に対して瞳縁位置の検出を行い、この第７ニューラルネットワークの出力した情報に基づいて瞳縁位置を取得する操作を含んでよい。

【0083】

選択可能な一例として、運転者画像から目画像を切り抜き拡大し、且つこの切り抜き拡大した後の目画像を、瞳の位置を決定するための第７ニューラルネットワークに提供して瞳キーポイント検出を行い、検出された瞳キーポイントを出力し、第７ニューラルネットワークの出力した瞳キーポイントに基づいて瞳縁位置を取得し、瞳縁位置を計算する（例えば、円心位置を計算する）ことで、瞳中心位置を取得できる。

【0084】

選択可能な一例として、上記上眼瞼線と下眼瞼線に基づいて目中心位置を取得してよく、例えば、上眼瞼線と下眼瞼線の全てのキーポイントの座標情報を加算し、且つ上眼瞼線と下眼瞼線の全てのキーポイントの数量で割り、得られた座標情報を目中心位置とする。他の形態を用いて目中心位置を取得してもよいことは言うまでもなく、例えば、検出された顔キーポイントのうちの目キーポイントに対して計算して目中心位置を取得してよく、本開示では目中心位置を取得する実施形態が限定されない。

【0085】

本実施例は、瞳キーポイント検出を基礎として瞳中心位置を取得することによって、より正確な瞳中心位置を取得でき、眼瞼線の位置決定を基礎として目中心位置を取得することによって、より正確な目中心位置を取得でき、そのようにして、瞳中心位置と目中心位置で視線方向を決定する時に、正確な視線方向情報を取得できる。また、瞳キーポイント検出によって瞳中心位置を決定し、且つ瞳中心位置と目中心位置で視線方向を決定することによって、視線方向を決定する実施形態に正確率を持たせると共に、実現しやすい特徴を兼備させる。

【0086】

選択可能な一例では、本開示は、従来のニューラルネットワークを用いて瞳縁位置の検出と目中心位置の検出を実現してよい。

【0087】

ここで、第７ニューラルネットワークは、深層学習技術に基づいて予め訓練されたものであってよい。本実施例では、第７ニューラルネットワークを用いて瞳縁位置の検出を行うことで、瞳縁位置の高精度検出を実現して、視線方向情報の正確率を高めることができる。

【0088】

選択可能な一例では、所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得する時に、所定時間内の視線方向情報の基準視線方向に対するずれ角度に基づいて、視線方向ずれ度合いのパラメータ値を取得してよい。

【0089】

ここで、基準視線方向は、予め設定されたものであってもよく、又は、運転者画像の所在するビデオ中の前のＮフレームの運転者画像に基づいて決定された平均視線方向であってもよい。ここで、Ｎが１より大きい整数である。

【0090】

本開示の実施例では、目が開眼状態にあり且つ所定時間持続した時に、漫然状態にあると考えられる。選択可能な一例では、所定時間内の目部状態情報に基づいて、漫然度合いのパラメータ値を取得する操作は、上記目部状態情報に基づいて、運転者の目が開眼状態にあり且つ所定漫然時間に到達するまで持続した時に、運転者が漫然状態にあると決定する操作と、所定時間内の目部状態情報に基づいて、漫然度合いのパラメータ値を取得する操作と、を含んでよい。ここで、この所定時間は上記所定漫然時間を含む。

【0091】

本開示の実施例では、頭部を正常な頭部位置から突然に下へ下げてから正常な頭部位置に復帰した（即ち、頭部姿勢情報中のピッチ角が正常な運転状態時の０度から所定短い時間内に所定角度に変化してから０度に復帰した時）過程は、１回の居眠りで頭を軽く下げた行動と見なしてよい。選択可能な一例では、所定時間内の頭部位置情報に基づいて、居眠り度合いのパラメータ値を取得する操作は、頭部位置情報に基づいて、運転者の頭部位置の所定基準頭部位置に対するずれ度合いが第１所定時間内に所定ずれ範囲に到達し、且つ第２所定時間内に所定基準頭部位置に復帰した時に、運転者が居眠り状態にあると決定する操作と、所定時間内の頭部位置情報に基づいて、居眠り度合いのパラメータ値を取得する操作と、を含んでよく、ここで、上記所定時間は第１所定時間と第２所定時間を含む。

【0092】

本開示の実施例では、口が閉状態から開状態に変化し、更に閉状態になる過程は、１回のあくび動作を完了したと考えられ、１回のあくび動作に必要な時間が一般に４００ｍｓより大きい。選択可能な一例では、所定時間内の口部状態情報に基づいてあくび度合いのパラメータ値を取得する操作は、口部状態情報に基づいて、運転者の口が閉口状態から開口状態に変化し、更に閉口状態に復帰した時間が所定時間範囲内にある時に、運転者が１回のあくび動作を完了したと決定する操作と、所定時間内の口部状態情報に基づいて、あくび度合いのパラメータ値を取得する操作と、を含んでよい。ここで、この所定時間は、上記運転者の口が閉口状態から開口状態に変化し、更に閉口状態に復帰した時間を含む。

【0093】

そのうちのいくつかの実施形態では、運転者疲労状態を表すための指標のパラメータ値に基づいて、運転者疲労状態の検出結果を決定する操作は、いずれか一つ又は複数の運転者疲労状態を表すための指標のパラメータ値が所定疲労条件を満たした時に、運転者疲労状態の検出結果を疲労状態と決定する操作、及び／又は、運転者疲労状態を表すための指標のパラメータ値がいずれも所定疲労条件を満たさない時に、運転者疲労状態の検出結果を非疲労状態と決定する操作を含んでよい。

【0094】

ここで、上記所定疲労条件は、複数の疲労等級条件を含んでよい。これに応じて、いずれか一つ又は複数の運転者疲労状態を表すための指標のパラメータ値が所定疲労条件を満たした時に、運転者疲労状態の検出結果を疲労状態と決定する上記操作は、運転者疲労状態を表すための指標のパラメータ値が満たした疲労等級条件に基づいて、疲労状態等級を決定する操作と、決定された疲労状態等級を運転者疲労状態の検出結果とする操作と、を含む。

【0095】

この実施例では、運転者疲労状態の検出結果は疲労運転度合いで表し、この疲労運転度合いは、例えば、正常運転レベル（即ち、非疲労状態）と疲労運転レベル（即、疲労状態等級）を含んでよく、そのうちの疲労運転レベルは１つの疲労状態等級であってもよく、複数の異なる疲労状態等級に分けてもよく、例えば、上記疲労運転レベルは、プロンプト疲労レベル（軽度疲労レベルと呼んでもよい）及び警告疲労レベル（重度疲労レベルと呼んでもよい）に分けてもよい。また、疲労運転度合いは、例えば、軽度疲労レベル、中等度疲労レベル及び重度疲労レベル等のようにより多いレベルに分けてもよい。本開示では疲労運転度合いに含まれる異なる疲労状態等級が限定されない。

【0096】

選択可能な一例では、疲労運転度合いに含まれるそれぞれの疲労状態等級はいずれも対応する疲労等級条件があり、運転者疲労状態を表すための指標のパラメータ値が満たした疲労等級条件に対応する疲労状態等級を疲労運転度合いとしてもよく、又は運転者疲労状態を表すための指標のパラメータ値がいずれの疲労等級条件も満たさない非疲労状態を疲労運転度合いとしてもよい。

【0097】

選択可能な一例では、正常運転レベル（即ち、非疲労状態）に対応する所定条件（即ち、所定疲労条件を満たさない）は、以下を含んでよい。
条件２０ａ、半分閉眼や閉眼現象がない。
条件２０ｂ、あくび現象がない。
上記条件２０ａ、条件２０ｂの全てを満たした場合に、運転者が現在正常運転レベル（即ち、非疲労状態）にある。

【0098】

選択可能な一例では、プロンプト疲労レベルに対応する疲労等級条件は、以下を含んでよい。
条件２０ｃ、半分閉眼現象があった。
条件２０ｄ、あくび現象があった。
上記条件２０ｃ、条件２０ｄのうちのいずれか一方を満たした場合に、運転者が現在プロンプト疲労レベルにある。

【0099】

選択可能な一例では、警告疲労レベルに対応する疲労等級条件は、以下を含んでよい。
条件２０ｄ、閉眼現象があったか、所定時間内の閉眼回数が所定回数に到達したか、所定時間内の閉眼時間が所定時間に到達した。
条件２０ｅ、所定時間内のあくびの回数が所定回数に到達した。
上記条件２０ｄ、条件２０ｅのうちのいずれか一方を満たした場合に、運転者が現在警告疲労レベルにある。

【0100】

そのうちのいくつかの実施形態では、運転者注意散漫状態を表すための指標のパラメータ値に基づいて、運転者注意散漫状態の検出結果を決定する操作は、いずれか一つ又は複数の運転者注意散漫状態を表すための指標のパラメータ値が所定注意散漫条件を満たした時に、運転者注意散漫状態の検出結果を注意散漫状態と決定する操作、及び／又は、運転者注意散漫状態を表すための指標のパラメータ値がいずれも所定注意散漫条件を満たさない時に、運転者注意散漫状態の検出結果を非注意散漫状態と決定する操作を含んでよい。

【0101】

ここで、上記所定注意散漫条件は、複数の注意散漫等級条件を含んでよい。これに応じて、いずれか一つ又は複数の運転者注意散漫状態を表すための指標のパラメータ値が所定注意散漫条件を満たした時に、運転者注意散漫状態の検出結果を注意散漫状態と決定する上記操作は、運転者注意散漫状態を表すための指標のパラメータ値が満たした注意散漫等級条件に基づいて、注意散漫状態等級を決定する操作と、決定された注意散漫状態等級を運転者注意散漫状態の検出結果とする操作と、を含む。

【0102】

この実施例では、運転者注意散漫状態の検出結果は注意散漫運転度合いで表してよく、この注意散漫運転度合いは、例えば、運転者注意力集中（運転者の注意力が散漫になっていない非注意散漫状態）、運転者注意力散漫（注意散漫状態）を含んでよい。例えば、視線方向ずれ角度、顔向きずれ角度、頭部位置のずれ角度がいずれも第１所定角度より小さく、開眼持続時間が第１所定時間より小さい場合に、運転者注意力集中（運転者の注意力が散漫になっていない非注意散漫状態）とする。そのうちの運転者注意力散漫レベルは、例えば、運転者注意力軽度散漫、運転者注意力中等度散漫、運転者注意力重度散漫等を含んでよい。そのうちの運転者注意力散漫レベルは、運転者の注意散漫状態を表すための指標のパラメータ値が満たした注意散漫等級条件によって決定してよい。例えば、視線方向ずれ角度、顔向きずれ角度及び頭部位置のずれ角度のうちのいずれか一方が所定角度より小さくなく、且つ持続時間が第１所定時間より大きくなく、且つ第２所定時間より小さく、又は開眼持続時間が第１所定時間より大きくなく、且つ第２所定時間より小さい場合に、運転者注意力軽度散漫とし、視線方向ずれ角度と顔向きずれ角度のうちのいずれか一方が所定角度より小さくなく、且つ持続時間が第２所定時間より大きくなく、且つ第３所定時間より小さく、又は開眼持続時間が第２所定時間より大きくなく、且つ第３所定時間より小さい場合に、運転者注意力中等度散漫とし、視線方向ずれ角度と顔向きずれ角度のうちのいずれか一方が所定角度より小さくなく、且つ持続時間が第３所定時間より小さくなく、又は開眼持続時間が第３所定時間より小さくない場合に、運転者注意力重度散漫とする。

【0103】

図３は本開示の運転状態検出方法のまた１つの実施例のフローチャートである。上記図１又は図２に比べると、この実施例の運転状態検出方法は、運転者画像に対して所定注意散漫動作検出を行う関連操作を更に含み、図３に示すように、この運転者画像に対して所定注意散漫動作検出を行う実施例は、以下の操作を含む。

【0104】

３０２、運転者画像に対して所定注意散漫動作検出を行って、所定注意散漫動作が発生したか否かを決定する。

【0105】

本開示の実施例における所定注意散漫動作は、例えば、喫煙動作、飲水動作、飲食動作、電話通話動作、娯楽動作、化粧動作等のような、運転者の注意力を散らせる可能性がある任意の注意散漫動作であってもよい。ここで、飲食動作としては、例えば、果物、間食等の食物を食べる動作が挙げられ、娯楽動作としては、例えば、メッセージを編集したり、ゲームをしたり、歌を歌ったりする等の電子機器で実行する任意の動作が挙げられる。そのうちの電子機器は、例えば、携帯端末、パームトップ型パソコン、ゲーム機等であってよい。

【0106】

所定注意散漫動作が発生した場合に、操作３０４を実行する。逆の場合には、所定注意散漫動作が発生しなかった場合に、本実施例の後続工程を実行しない。

【0107】

選択可能な一例では、この操作３０２は、プロセッサによってメモリに記憶された該当するコマンドを呼び出して実行されてもよく、プロセッサによって動作する第２検出モジュールによって実現されてもよい。

【0108】

３０４、所定時間内に所定注意散漫動作が発生したか否かの決定結果に基づいて、運転者の注意散漫度合いを表すための指標のパラメータ値を取得する。

【0109】

ここで、注意散漫度合いのパラメータ値は、例えば、所定注意散漫動作の回数、所定注意散漫動作の持続時間、所定注意散漫動作の頻度等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されない。例えば、喫煙動作の回数、その持続時間、その頻度、飲水動作の回数、その持続時間、その頻度、電話通話動作の回数、その持続時間、その頻度等を含む。

【0110】

選択可能な一例では、この操作３０４は、プロセッサによってメモリに記憶された該当するコマンドを呼び出して実行されてもよく、プロセッサによって動作する第１取得モジュールによって実現されてもよい。

【0111】

３０６、上記の運転者の注意散漫度合いを表すための指標のパラメータ値に基づいて、運転者の所定注意散漫動作の検出結果を決定する。

【0112】

選択可能な一例では、この操作３０６は、プロセッサによってメモリに記憶された該当するコマンドを呼び出して実行されてもよく、プロセッサによって動作する第３決定モジュールによって実現されてもよい。

【0113】

そのうちのいくつかの実施形態では、運転者画像に対して所定注意散漫動作検出を行って、所定注意散漫動作が発生したか否かを決定する操作３０２は、
運転者画像の特徴を抽出する操作と、
特徴に基づいて所定注意散漫動作を含む可能性がある複数の候補枠を抽出する操作と、
複数の候補枠に基づいて動作目標枠を決定する操作と、
動作目標枠に基づいて所定注意散漫動作の分類検出を行って、所定注意散漫動作が発生したか否かを決定する操作と、を含んでよく、
ここで、動作目標枠は、顔の局所領域と動作関連物を含み、更に選択可能に手部領域を含んでもよい。ここで、顔の局所領域は、例えば、口部領域、耳部領域、目部領域等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び／又は、動作関連物は、例えば、容器、タバコ、携帯電話、食物、工具、飲料ボトル、眼鏡、マスク等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されない。

【0114】

別の実施形態では、運転者画像に対して所定注意散漫動作検出を行って、所定注意散漫動作が発生したか否かを決定する操作３０２は、運転者画像に対して所定注意散漫動作に対応する目標対象検出を行って、目標対象の検出枠を得る操作と、目標対象の検出枠に基づいて所定注意散漫動作が発生したか否かを決定する操作と、を含んでよい。

【0115】

本実施例は、運転者に対して所定注意散漫動作検出を行う実現方法を提供し、所定注意散漫動作に対応する目標対象を検出し、検出された目標対象の検出枠に基づいて所定注意散漫動作が発生したか否かを決定することによって、運転者の注意力が散漫になったか否かを判断して、正確な運転者の所定注意散漫動作検出の結果の取得に寄与して、運転状態検出結果の正確率の向上に寄与する。

【0116】

例えば、所定注意散漫動作が喫煙動作である時に、運転者画像に対して所定注意散漫動作検出を行って、所定注意散漫動作が発生したか否かを決定する上記操作は、第８ニューラルネットワークによって運転者画像に対して顔検出を行って顔検出枠を取得し、顔検出枠の特徴情報を抽出する操作と、この第８ニューラルネットワークによって顔検出枠の特徴情報に基づいて喫煙動作が発生したか否かを決定する操作と、を含んでよい。

【0117】

更に例えば、所定注意散漫動作が飲食動作／飲水動作／電話通話動作／娯楽動作（即ち、飲食動作及び／又は飲水動作及び／又は電話通話動作及び／又は娯楽動作）／化粧動作である時に、運転者画像に対して所定注意散漫動作検出を行って、所定注意散漫動作が発生したか否かを決定する上記操作は、以下の操作を含んでよい。第９ニューラルネットワークによって運転者画像に対して飲食動作／飲水動作／電話通話動作／娯楽動作／化粧動作に対応する所定目標対象の検出を行って、所定目標対象の検出枠を得、そのうちの所定目標対象は手部、口部、目部及び動作関連物を含み、動作関連物は例えば、容器、食物、電子機器、化粧品等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されない。所定目標対象の検出枠に基づいて所定注意散漫動作が発生したか否かを決定し、所定注意散漫動作が発生したか否かの決定結果は、飲食動作／飲水動作／電話通話動作／娯楽動作が発生しなかったこと、飲食動作が発生したこと、飲水動作が発生したこと、電話通話動作が発生したこと、娯楽動作が発生したこと、化粧動作が発生したことの中の一項を含んでもよい。

【0118】

いくつかの選択可能な例では、所定注意散漫動作が飲食動作／飲水動作／電話通話動作／娯楽動作（即ち、飲食動作及び／又は飲水動作及び／又は電話通話動作及び／又は娯楽動作）／化粧動作である時に、所定目標対象の検出枠に基づいて、所定注意散漫動作が発生したか否かを決定する操作は、手部の検出枠、口部の検出枠、目部の検出枠及び動作関連物の検出枠が検出されたか否か、および、手部の検出枠と動作関連物の検出枠とが重なっているか否か、動作関連物の種類及び動作関連物の検出枠と口部の検出枠又は目部の検出枠との間の距離が所定条件を満たすか否かに応じて、所定注意散漫動作が発生したか否かを決定する操作を含んでよい。

【0119】

選択可能に、手部の検出枠と動作関連物の検出枠とが重なっており、動作関連物の種類が容器又は食物であり、且つ動作関連物の検出枠と口部の検出枠とが重なっている場合に、飲食動作、飲水動作又は化粧動作が発生したと決定し、及び／又は、手部の検出枠と動作関連物の検出枠とが重なっており、動作関連物の種類が電子機器であり、且つ動作関連物の検出枠と口部の検出枠との間の最小距離が第１所定距離より小さく、又は動作関連物の検出枠と目部の検出枠との間の最小距離が第２所定距離より小さい場合に、娯楽動作又は電話通話動作が発生したと決定する。

【0120】

また、手部の検出枠、口部の検出枠及びいずれか１つの動作関連物の検出枠が同時に検出されなく、且つ手部の検出枠、目部の検出枠及びいずれか１つの動作関連物の検出枠が同時に検出されなかった場合に、飲食動作、飲水動作、電話通話動作、娯楽動作及び化粧動作が検出されなかったことを、所定注意散漫動作が発生したか否かを決定する決定結果とし、及び／又は、手部の検出枠と動作関連物の検出枠とが重なっていない場合に、飲食動作、飲水動作、電話通話動作、娯楽動作及び化粧動作が検出されなかったことを、注意散漫動作が発生したか否かを決定する決定結果とし、及び／又は、動作関連物の種類が容器又は食物であり、且つ動作関連物の検出枠と口部の検出枠とが重なっておらず、及び／又は、動作関連物の種類が電子機器であり、且つ動作関連物の検出枠と口部の検出枠との間の最小距離が第１所定距離より小さくなく、又は、動作関連物の検出枠と目部の検出枠との間の最小距離が第２所定距離より小さくない場合に、飲食動作、飲水動作、電話通話動作、娯楽動作及び化粧動作が検出されなかったことを所定注意散漫動作が発生したか否かの決定結果とする。

【0121】

上記例において、第８ニューラルネットワーク、第９ニューラルネットワークによって運転者画像に対して所定注意散漫動作検出を行って各種の所定注意散漫動作の発生確率を出力してよく、所定確率閾値より大きく且つ確率値が最も高い注意散漫動作を選択して所定注意散漫動作の検出結果としてよく、各種の所定注意散漫動作の確率がいずれも所定確率閾値より低ければ、所定注意散漫動作が検出されなかったと考えられる。

【0122】

また、上記の運転者画像に対して所定注意散漫動作検出を行う実施例では、所定注意散漫動作が発生したと決定した場合に、検出された注意散漫動作をプロンプトする操作を更に含んでよく、例えば、喫煙動作が検出されると、タバコを吸うことが検出されたことをプロンプトし、飲水動作が検出されると、飲水ことが検出されたことをプロンプトし、電話通話動作が検出されると、電話通話が検出されたことをプロンプトして、運転者の注意を喚起して注意力を運転に集中させる。

【0123】

また、上記の運転者画像に対して所定注意散漫動作検出を行う実施例では、所定注意散漫動作が発生したと決定した場合に、
注意散漫度合いを表すための指標のパラメータ値が満たした注意散漫動作等級条件に基づいて、注意散漫動作等級を決定する操作と、
決定された注意散漫動作等級を運転者の所定注意散漫動作の検出結果とする操作と、を更に含んでよい。

【0124】

本実施例では、運転者の所定注意散漫動作の検出結果は、所定注意散漫動作が発生しなかったこと（即ち、所定注意散漫動作が検出されなく、集中運転レベルと呼んでもよい）、所定注意散漫動作が発生したこと（即ち、所定注意散漫動作が検出された）を含んでよい。また、上記運転者の所定注意散漫動作の検出結果は注意散漫動作等級、例えば、プロンプト注意散漫レベル（軽度注意散漫レベルと呼んでもよい）と警告注意散漫レベル（重度注意散漫レベルと呼んでもよい）であってもよい。また、注意散漫動作等級は、例えば、非注意散漫レベル、軽度注意散漫レベル、中等度注意散漫レベル及び重度注意散漫レベル等のようにより多いレベルに分けてもよい。本開示の各実施例の注意散漫動作等級を他の方式で分けてもよく、上記レベルに分けることに限定されないことは言うまでもない。

【0125】

そのうちの注意散漫動作等級は注意散漫度合いを表すための指標のパラメータ値が満たした注意散漫動作等級条件によって決定してよい。例えば、運転者の所定注意散漫動作の検出結果は所定注意散漫動作が発生しなかったことになり、なお、所定注意散漫動作が発生したと決定した時に、所定注意散漫動作の持続時間が第１所定時間より小さく、且つ頻度が第１所定頻度より小さいことが検出された場合に、注意散漫動作等級が軽度注意散漫レベルとなり、所定注意散漫動作の持続時間が第１所定時間より大きく、及び／又は頻度が第１所定頻度より大きいことが検出された場合に、注意散漫動作等級が重度注意散漫レベルとなる。

【0126】

また、本開示の上記各実施例では、運転者状態の検出結果に基づいて、警報及び／又はインテリジェント運転制御を行う操作を更に含んでよい。ここで、運転者状態の検出結果は、疲労状態の検出結果、注意散漫状態の検出結果、所定注意散漫動作の検出結果の中のいずれか一つ又は複数を含む。

【0127】

そのうちのいくつかの実施形態では、運転者状態の検出結果に基づいて、警報及び／又はインテリジェント運転制御を行う操作は、以下の操作を含んでよい。
運転者状態の検出結果が所定警報条件を満たした時に、警報条件に対応するプロンプト／警報情報を出力する。例えば、声（例えば、音声又はベル等）／光（点灯又は点滅等）／振動等の方式で運転者にプロンプトして、運転者の注意を喚起して、運転者に散った注意力を運転に戻させたり又は運転者を休憩させたりして、安全運転を可能にして、道路交通事故を回避し、及び／又は、
運転者状態の検出結果が所定運転モード切り替え条件を満たした時に、運転モードを自動運転モードに切り替えて、安全運転を可能にして、道路交通事故を回避する。

【0128】

本実施例では、運転者状態の検出結果に基づいて所定警報条件を満たした時に警報条件に対応するプロンプト／警報情報を出力することで、正常な運転状態を保持するように運転者の注意を促して、安全運転を保障して、道路交通事故を回避する。所定運転モード切り替え条件を満たした時に運転モードを自動運転モードに切り替え、自動運転モードによって車両の安全運転を可能にして、道路交通事故を回避する。

【0129】

そのうちのいくつかの選択可能な例では、運転者状態の検出結果が所定警報条件を満たした時に、警報条件に対応するプロンプト／警報情報を出力する操作は、以下の操作を含んでよい。
疲労状態の検出結果が疲労状態である時に、疲労状態の検出結果に対応するプロンプト／警報情報を出力する。ここで、運転者疲労状態の検出結果が疲労状態等級である時に、疲労状態等級に基づいて対応するプロンプト又は警報情報を出力し、及び／又は、
注意散漫状態の検出結果が注意散漫状態である時に、注意散漫状態の検出結果に対応するプロンプト／警報情報を出力する。ここで、運転者の注意散漫状態の検出結果が注意散漫状態等級である時に、注意散漫状態等級に基づいて対応するプロンプト又は警報情報を出力し、及び／又は、
所定注意散漫動作の検出結果として所定注意散漫動作が発生した時に、所定注意散漫動作の検出結果に対応するプロンプト／警報情報を出力する。ここで、所定注意散漫動作の検出結果が注意散漫動作等級である時に、注意散漫動作等級に基づいて対応するプロンプト又は警報情報を出力し、及び／又は、
運転者疲労状態の検出結果として疲労状態の検出結果、注意散漫状態の検出結果、所定注意散漫動作が検出された検出結果のうちの任意の二つ又は三つがあった時に、所定方式でプロンプト／警報情報を出力する。例えば、
運転者状態の検出結果が疲労状態と注意散漫状態である時に、疲労状態の検出結果に対応するプロンプト／警報情報を出力し、又は、注意散漫状態の検出結果に対応するプロンプト／警報情報を出力し、又は、疲労状態の検出結果と注意散漫状態の検出結果に対応するプロンプト／警報情報を出力し、及び／又は、
運転者状態の検出結果が注意散漫状態であり、所定注意散漫動作が発生した時に、注意散漫状態の検出結果に対応するプロンプト／警報情報を出力し、又は、所定注意散漫動作の検出結果に対応するプロンプト／警報情報を出力し、又は、注意散漫状態の検出結果と所定注意散漫動作の検出結果に対応するプロンプト／警報情報を出力し、及び／又は、
運転者状態の検出結果が疲労状態であり、所定注意散漫動作が検出された時に、疲労状態の検出結果に対応するプロンプト／警報情報を出力し、又は、所定注意散漫動作の検出結果に対応するプロンプト／警報情報を出力し、又は、疲労状態の検出結果と所定注意散漫動作の検出結果に対応するプロンプト／警報情報を出力し、及び／又は、
運転者状態の検出結果が疲労状態、注意散漫状態であり、所定注意散漫動作が検出された時に、疲労状態の検出結果に対応するプロンプト／警報情報を出力し、又は、注意散漫状態の検出結果に対応するプロンプト／警報情報を出力し、又は、所定注意散漫動作の検出結果に対応するプロンプト／警報情報を出力し、又は、疲労状態の検出結果と注意散漫状態の検出結果に対応するプロンプト／警報情報を出力し、又は、注意散漫状態の検出結果と所定注意散漫動作の検出結果に対応するプロンプト／警報情報を出力し、又は、疲労状態の検出結果と所定注意散漫動作の検出結果に対応するプロンプト／警報情報を出力し、又は、疲労状態の検出結果、注意散漫状態の検出結果及び所定注意散漫動作の検出結果に対応するプロンプト／警報情報を出力する。例えば、上記実施例によれば、疲労状態の検出結果が疲労状態である時に、疲労状態の検出結果に対応するプロンプト／警報情報を出力する操作は、以下の操作を含んでよい。
頭部位置情報に基づいて、運転者が居眠りうなずき動作をしていることを見つけた時に、運転者疲労状態の検出結果を疲労状態と決定し、疲労プロンプト情報を出力する。運転者がずっと居眠りうなずき動作をしている場合に、運転者の疲労度合いが深刻になり続け（即ち、疲労状態等級が高くなる）、疲労度合いが順に軽度疲労レベル、中等度疲労レベル、重度疲労レベルになり、よって、運転者疲労状態の検出結果が非疲労状態になり、即ち運転者が正常な運転状態に復帰するまで、Ｘ秒毎に疲労警報情報を１回出力し、ここで、Ｘが０より大きい数値であり、
目部状態情報に基づいて、運転者が両眼を閉じた時間が所定時間に到達するまで持続したか、まばたき頻度が所定数値に到達したことを見つけた場合に、運転者疲労状態の検出結果を疲労状態と決定し、疲労プロンプト情報を出力する。運転者が両眼を閉じた時間が増加し続けているか、まばたき頻度がずっと高すぎている場合に、運転者の疲労度合いが深刻になり続け（即ち、疲労状態等級が高くなる）、疲労度合いが順に軽度疲労レベル、中等度疲労レベル、重度疲労レベルになり、よって、運転者疲労状態の検出結果が非疲労状態になり、即ち運転者が正常な運転状態に復帰するまで、Ｘ秒毎に疲労警報情報を１回出力し、
口部状態情報に基づいて、運転者があくび動作をしていることを見つけた場合に、運転者疲労状態の検出結果を疲労状態と決定し、疲労プロンプト情報を出力する。運転者がずっとあくび動作をしている場合に、運転者の疲労度合いが深刻になり続け（即ち、疲労状態等級が高くなる）、疲労度合いが順に軽度疲労レベル、中等度疲労レベル、重度疲労レベルになり、よって、運転者疲労状態の検出結果が非疲労状態になり、即ち運転者が正常な運転状態に復帰するまで、Ｘ秒毎に疲労警報情報を１回出力し、
頭部位置情報、目部状態情報、口部状態情報に基づいて、運転者が居眠りでうなずいていること、両眼の閉眼持続時間が所定時間に到達したこと、まばたき頻度が所定数値に到達したこと、あくびをしたことといった４種の行動のうちの二つ又は二つ以上があったことを見つけた場合に、運転者が重度疲労レベルにあると判定し、よって、運転者疲労状態の検出結果が非疲労状態になり、即ち運転者が正常な運転状態に復帰するまで、Ｘ秒毎に疲労警報情報を１回出力する。例えば、上記実施例によれば、注意散漫状態の検出結果が注意散漫状態である時に、注意散漫状態の検出結果に対応するプロンプト／警報情報を出力する操作は、以下の操作を含んでよい。
頭部位置情報に基づいて、運転者の頭部位置ずれ角度が所定範囲を超え、且つずれ時間がＹ秒を超えた場合に、運転者注意散漫状態の検出結果を注意散漫状態と決定し、注意散漫プロンプト情報を出力する。運転者の頭部位置ずれ度合いが所定範囲を超えたずれ時間が増加し続けるにつれて、運転者の注意散漫度合いが深刻になり続け（即ち、注意散漫状態等級が高くなる）、注意散漫度合いが順に運転者注意力軽度散漫、運転者注意力中等度散漫、運転者注意力重度散漫等になり、よって、運転者注意散漫状態の検出結果が非注意散漫状態になり、即ち運転者が正常な運転状態に復帰するまで、Ｘ秒毎に注意散漫警報情報を１回出力し、
頭部位置情報と視線方向情報に基づいて、運転者の頭部位置ずれ角度が所定範囲を超えていないが、視線方向ずれ角度が所定視線安全範囲を超え、且つ持続時間がＹ秒を超えた場合に、運転者注意散漫状態の検出結果を注意散漫状態と決定し、注意散漫プロンプト情報を出力する。視線方向ずれ角度が所定視線安全範囲を超えた持続時間が増加するにつれて、運転者の注意散漫度合いが深刻になり続け（即ち、注意散漫状態等級が高くなる）、注意散漫度合いが順に運転者注意力軽度散漫、運転者注意力中等度散漫、運転者注意力重度散漫等になり、よって、運転者注意散漫状態の検出結果が非注意散漫状態になり、即ち運転者が正常な運転状態に復帰するまで、Ｘ秒毎に注意散漫警報情報を１回出力し、
頭部位置情報、視線方向情報及び目開閉状態情報に基づいて、運転者の頭部位置ずれ角度が所定範囲を超えておらず、且つ視線方向ずれ角度が所定視線安全範囲を超えていないが、運転者が漫然状態にあることが検出された場合に、運転者注意散漫状態の検出結果を注意散漫状態と決定し、注意散漫プロンプト情報を出力する。運転者の注意散漫度合いが深刻になり続け（即ち、注意散漫状態等級が高くなる）、注意散漫度合いが順に運転者注意力軽度散漫、運転者注意力中等度散漫、運転者注意力重度散漫等になり、よって、運転者注意散漫状態の検出結果が非注意散漫状態になり、即ち運転者が正常な運転状態に復帰するまで、Ｘ秒毎に注意散漫警報情報を１回出力する。

【0130】

選択可能に、上記実施例では、
疲労状態に対応するプロンプト／警報情報を出力した後の所定時間内に、運転者状態の検出結果のうちの他の検出結果に対応するプロンプト／警報情報（例えば、注意散漫状態に対応するプロンプト／警報情報、所定注意散漫動作の検出結果に対応するプロンプト／警報情報）を抑える操作、及び／又は、
注意散漫状態に対応するプロンプト／警報情報を出力した後の所定時間内に、運転者状態の検出結果のうちの他の検出結果に対応するプロンプト／警報情報（例えば、疲労状態に対応するプロンプト／警報情報、所定注意散漫動作の検出結果に対応するプロンプト／警報情報）を抑える操作、及び／又は、
所定注意散漫動作の検出結果に対応するプロンプト／警報情報を出力した後の所定時間内に、運転者状態の検出結果のうちの他の検出結果に対応するプロンプト／警報情報（例えば、注意散漫状態に対応するプロンプト／警報情報、疲労状態に対応するプロンプト／警報情報）を抑える操作を更に含んでよい。

【0131】

上記実施例では、１種の運転者状態のプロンプト／警報情報を出力した後の所定時間内に、他の検出結果に対応するプロンプト／警報情報を抑えることで、運転者にプロンプトして安全に運転させる目的を実現すると共に、多種のプロンプト／警報情報を繰り返して出力して運転者の正常な運転の邪魔になることを回避することができ、そのように運転の安全性が高くなる。

【0132】

そのうちのいくつかの実施形態では、運転者状態の検出結果が所定運転モード切り替え条件を満たした時に、運転モードを自動運転モードに切り替える操作は、疲労状態等級及び／又は注意散漫状態等級及び／又は注意散漫動作等級が所定運転モード切り替え条件を満たした時に、運転モードを自動運転モードに切り替える操作を含んでよい。

【0133】

また、本開示の各実施例では、運転者状態の検出結果を決定した後、運転者状態の検出結果を出力してもよく、例えば、運転者状態の検出結果をローカル出力し、及び／又は、運転者状態の検出結果を遠隔出力する。ここで、運転者状態の検出結果をローカル出力することは、運転状態検出装置又は運転者監視システムによって運転者状態の検出結果を出力したり、車両中の中央制御システムへ運転者状態の検出結果を出力したりするということであり、それによって車両がこの運転者状態の検出結果に基づいて車両に対してインテリジェント運転制御を行うことができる。運転者状態の検出結果を遠隔出力するのは、例えば、クラウドサーバ又は管理ノードに運転者状態の検出結果を送信するということであってよく、それによってクラウドサーバ又は管理ノードが運転者状態の検出結果の収集、分析及び／又は管理を行うか、この運転者状態の検出結果に基づいて車両を遠隔制御することができる。

【0134】

更に、上記実施例では、運転状態の検出結果をデータベースにおけるこの運転者のユーザ情報に記憶してもよく、この運転者の運転状態検出結果を記録することで、その後で運転者の運転状態検出結果を調べるか、運転者の運転行動習慣の分析、統計等を行うことができる。

【0135】

また、本開示の運転状態検出方法のまた１つの実施例では、赤外線カメラによって画像を取得する操作を更に含んでもよく、例えば、車両内の少なくとも１つの位置に設置された赤外線カメラによって画像を取得して運転者画像を得る。

【0136】

本開示の実施例における運転者画像が一般に赤外線カメラ（近赤外線カメラ等を含む）によって運転室を撮影して得られたビデオ中の画像フレームである。

【0137】

そのうちの赤外線カメラの波長は、９４０ｎｍ又は８５０ｎｍを含んでよい。そのうちの赤外線カメラが車両運転室における運転者を撮影可能な任意の位置に設置されてよく、例えば、赤外線カメラが、インストルメントパネルの上方又は近傍位置、センターコンソールの上方又は近傍位置、Ａピラー又は近傍位置、バックミラー又は近傍位置の中のいずれか１つ又は複数の位置に設置されてよい。例えば、いくつかの選択可能な例では、赤外線カメラをインストルメントパネルの上方（例えば、真上位置）であって真正面に向けている位置に設置してもよく、センターコンソール上方（例えば、真ん中位置）であって真正面に向けている位置に設置してもよく、更に運転者の顔部に向けるようにＡピラー上に設置してもよく（例えば、Ａピラーに近いガラスに貼り付けてよい）、更に運転者の顔部に向けるようにバックミラー上に設置してもよい（例えば、バックミラー上方のガラスに貼り付けてよい）。ここで、赤外線カメラがインストルメントパネル上方、センターコンソール上方の位置に設置される時に、カメラの視角と運転者の位置に応じてその具体的な位置を決定してよく、例えば、インストルメントパネル上方の位置に設置される時に、カメラ視角がハンドルに遮られないように、赤外線カメラが運転者に向けるようにしてよく、センターコンソール上方の位置に設置される時に、カメラの視角が充分に大きれば、運転者が撮影装置視野内にいるように後方に向けるようにしてよく、視角が充分に大きなければ、運転者が赤外線カメラの視角内にいるように運転者に向けるようにしてよい。

【0138】

運転者の所在する領域（例えば、車両内又は運転室等）の光線が一般に複雑で、赤外線カメラによって取得された運転者画像の品質が一般のカメラによって取得された運転者画像の品質より優れることが多く、特に夜や曇天、トンネル内等の外部光線が暗い環境で、赤外線カメラによって取得された運転者画像が一般のカメラによって取得された運転者画像の品質より明らかに優れることが多く、それによって運転者の注意散漫状態検出と注意散漫動作検出の正確率の向上に寄与して、更に運転状態監視の正確率の向上に寄与する。

【0139】

本開示の実施例では、設置も使用も容易な赤外線カメラを用いて運転者画像をリアルタイムに取得し、カメラを、車両のセンターコンソール、インストルメントパネル、Ａピラー、車内バックミラー等の様々な位置に設置可能であり、深層学習技術に基づくニューラルネットワークを用いて運転者の疲労状態検出と注意散漫状態検出を実現し、ロバスト性に優れ、応用範囲が広く、昼、夜、強光、弱光等のいずれの場合にも望ましい運転状態検出効果を実現することができる。

【0140】

選択可能に、実際に応用する時に、カメラで取得された原画像は、各種条件に制限されたり、ランダムに干渉されたりすることがあるので、一般的には直接使用できなく、本開示のいくつかの選択可能な例では、身元認証、注意散漫状態検出及び注意散漫動作検出の正確率を高めるために、赤外線カメラで撮影した運転者画像に対してグレースケール化前処理を行って、赤緑青（ＲＧＢ）３チャンネルの画像をグレースケール画像に変換してから運転者の身元認証、注意散漫状態検出及び注意散漫動作検出等の操作を行う。

【0141】

そのうちのいくつかの実施形態では、例えば、
車両が走行状態にある時に赤外線カメラによって画像を取得して運転者画像を得、及び／又は、車両の走行速度が所定車速を超えると、赤外線カメラによって画像を取得して運転者画像を得、及び／又は、車両が起動したことが検出されると、赤外線カメラによって画像を取得して運転者画像を得、及び／又は、車両の起動コマンドが検出されると、赤外線カメラによって画像を取得して運転者画像を得、及び／又は、車両又は車両における部材或いはシステムへの制御コマンド（例えば、加速（ａｃｃｅｌｅｒａｔｉｎｇ）、加速（ｓｐｅｅｄｉｎｇ ＵＰ）、方向転換、車窓開閉、エアコンオンオフ、娯楽システムオンオフ等）が検出されると、赤外線カメラによって画像を取得して運転者画像を得るようにしてよい。

【0142】

そのうちのいくつかの適用シーンにおいて、運転者が車両を起動する時、運転状態監視装置又は運転者監視システムを起動する時に、赤外線カメラを起動して運転者画像を取得して運転状態検出を行うようにしてよい。

【0143】

本開示の上記実施例の運転状態検出方法は、赤外線カメラ（近赤外線カメラを含む）によって画像を取得して運転者画像を得た後、ニューラルネットワークをロード可能なワンチップコンピュータ、ＦＰＧＡ、ＡＲＭ、ＣＰＵ、ＧＰＵ、マイクロプロセッサ、スマートフォン、ノート型パソコン、タブレット型コンピュータ（ＰＡＤ）、デスクトップコンピュータ又はサーバ等の電子機器に送信することで実現されてよく、この電子機器はコンピュータプログラム（プログラムコードと呼んでもよい）を実行可能であり、このコンピュータプログラムはフラッシュメモリ、キャッシュメモリ、ハードディスクまたは光磁気ディスク等のコンピュータ読取可能記憶媒体に記憶されてよい。

【0144】

本開示の実施例で提供されたいずれか１種の運転状態検出方法は、データ処理能力を有するいかなる適切な機器によって実行されてもよく、端末装置とサーバ等を含むが、それらに限定されない。又は、本開示の実施例で提供されたいずれか１種の運転状態検出方法はプロセッサによって実行されてもよく、例えば、プロセッサはメモリに記憶された該当するコマンドを呼び出すことで本開示の実施例におけるいずれか１種の運転状態検出方法を実行する。以下、詳細な説明を省略する。

【0145】

当業者であれば、上記方法の実施例の全てまたは一部のステップを実現するにはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。

【0146】

図４は本開示の運転状態検出装置の一実施例の構造模式図である。この実施例の運転状態検出装置は、本開示の上記の各運転状態検出方法の実施例を実現することに利用可能である。図４に示すように、この実施例の運転状態検出装置は、運転者画像に対して頭部姿勢検出と目部状態検出を行って、頭部姿勢情報と目部状態情報を得るための第１検出モジュールと、頭部姿勢情報と目部状態情報に基づいて、運転者の疲労状態と注意散漫状態の検出結果を決定するための第１決定モジュールと、を含む。

【0147】

本開示の上記実施例で提供された運転状態検出装置によれば、運転者画像に対して頭部姿勢検出と目部状態検出を行って、検出された頭部姿勢情報と目部状態情報に基づいて、運転者の疲労状態と注意散漫状態の検出結果を決定することができる。本開示の実施例は、運転者画像に対して頭部姿勢検出と目部状態検出を行うことによって、運転者の疲労状態と注意散漫状態を共同してリアルタイムに検出することを可能にして、そのように運転者の運転状態が悪くなった時にリアルタイムに対策を取ることができ、運転の安全性が高くなり、道路交通事故の発生率が低くなる。

【0148】

図５は本開示の運転状態検出装置の別の実施例の構造模式図である。図５に示すように、図４に示した実施例に比べると、この実施例の運転状態検出装置は、頭部姿勢情報に基づいて決定された運転者画像における運転者の頭部位置情報によって、運転者の頭部位置のずれ角度が所定範囲を超えたか否かを決定するための第２決定モジュールを更に含んでよい。

【0149】

これに応じて、この実施例では、第１決定モジュールは、運転者の頭部位置のずれ角度が所定範囲を超えた時に、頭部姿勢情報と目部状態情報に基づいて、運転者の注意散漫状態の検出結果を決定するための第１決定ユニット、及び／又は、運転者の頭部位置のずれ角度が所定範囲を超えていない時に、頭部姿勢情報と目部状態情報に基づいて、運転者の疲労状態と注意散漫状態の検出結果を決定するための第２決定ユニットを含む。

【0150】

そのうちのいくつかの実施形態では、第１決定ユニットは、頭部姿勢情報と目部状態情報に基づいて、運転者の注意散漫状態を表すための指標のパラメータ値を決定するための第１決定サブユニットと、運転者の注意散漫状態を表すための指標のパラメータ値に基づいて、運転者の注意散漫状態の検出結果を決定するための第２決定サブユニットと、を含んでよい。

【0151】

そのうちのいくつかの実施形態では、第２決定ユニットは、頭部姿勢情報と目部状態情報に基づいて、運転者の疲労状態を表すための指標のパラメータ値を決定するための第３決定サブユニットと、頭部姿勢情報と目部状態情報に基づいて、運転者の注意散漫状態を表すための指標のパラメータ値を決定するための第１決定サブユニットと、運転者の疲労状態を表すための指標のパラメータ値に基づいて、運転者の疲労状態の検出結果を決定するための第４決定サブユニットと、運転者の注意散漫状態を表すための指標のパラメータ値に基づいて、運転者の注意散漫状態の検出結果を決定するための第２決定サブユニットと、を含んでよい。

【0152】

そのうちのいくつかの実施形態では、第１検出モジュールは、運転者画像に対して顔キーポイント検出を行うためのキーポイント検出ユニットと、検出された顔キーポイントに基づいて頭部姿勢情報と目部状態情報を取得するための第１取得ユニットと、を含んでよい。

【0153】

ここで、第１取得ユニットは、検出された顔キーポイントに基づいて頭部姿勢情報を取得する時に、第１ニューラルネットワークによって、顔キーポイントに基づいて頭部姿勢情報を取得するために用いられてよい。

【0154】

例えば、そのうちのいくつかの選択可能な例では、第１取得ユニットは、検出された顔キーポイントに基づいて目部状態情報を取得する時に、顔キーポイントに基づいて運転者画像における目部領域画像を決定する操作と、第２ニューラルネットワークによって目部領域画像に対して上眼瞼線と下眼瞼線の検出を行う操作と、上眼瞼線と下眼瞼線との間の間隔に基づいて運転者の目開閉状態情報を決定する操作とに用いられてよく、ここで、目部状態情報は目開閉状態情報を含む。

【0155】

別の選択可能な例では、第１取得ユニットは、検出された顔キーポイントに基づいて目部状態情報を取得する時に、顔キーポイントに基づいて運転者画像における目部領域画像を決定する操作と、第３ニューラルネットワークによって目部領域画像に対して開眼閉眼の分類処理を行って、開眼又は閉眼の分類結果を得る操作とに用いられ、ここで、目部状態情報は開眼状態又は閉眼状態を含む。

【0156】

また、上記運転状態検出装置の実施例では、第１検出モジュールは、更に、運転者画像に対して口部状態検出を行って、口部状態情報を得るために用いられてよい。これに応じて、この実施例では、第３決定サブユニットは、頭部姿勢情報、目部状態情報及び口部状態情報に基づいて、運転者の疲労状態を表すための指標のパラメータ値を決定するために用いられる。選択可能に、第１検出モジュール中の第１取得ユニットは、更に、検出された顔キーポイントに基づいて口部状態情報を取得するために用いられてもよい。

【0157】

そのうちのいくつかの選択可能な例では、第１取得ユニットは、検出された顔キーポイントに基づいて口部状態情報を取得する時に、顔キーポイントに基づいて運転者画像における口部領域画像を決定する操作と、第４ニューラルネットワークによって口部領域画像に対して上口唇線と下口唇線の検出を行う操作と、上口唇線と下口唇線との間の間隔に基づいて運転者の口開閉状態情報を決定する操作とに用いられ、ここで、口部状態情報は口開閉状態情報を含む。

【0158】

別の選択可能な例では、第１取得ユニットは、検出された顔キーポイントに基づいて口部状態情報を取得する時に、顔キーポイントに基づいて運転者画像における口部領域画像を決定する操作と、第５ニューラルネットワークによって口部領域画像に対して口開閉の分類処理を行って、開口又は閉口の分類結果を得る操作とに用いられ、ここで、口部状態情報は開口状態又は閉口状態を含む。

【0159】

そのうちのいくつかの選択可能な例では、第１決定サブユニットは、頭部姿勢情報に基づいて運転者画像における運転者の頭部位置を決定して頭部位置情報を得、所定時間内の頭部位置情報に基づいて頭部位置ずれ度合いのパラメータ値を取得する操作、及び／又は、頭部姿勢情報に基づいて運転者画像における運転者の顔向きを決定して顔向き情報を得、所定時間内の顔向き情報に基づいて顔向きずれ度合いのパラメータ値を取得する操作、及び／又は、頭部姿勢情報に基づいて運転者画像における運転者の視線方向を決定して視線方向情報を取得し、所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得し、又は、顔キーポイントに基づいて運転者画像における目部領域画像を決定し、第６ニューラルネットワークによって目部領域画像における運転者の視線方向情報を取得し、所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得する操作、及び／又は、所定時間内の目部状態情報に基づいて、漫然度合いのパラメータ値を取得する操作に用いられる。

【0160】

そのうちのいくつかの選択可能な例では、第３決定サブユニットは、頭部姿勢情報に基づいて運転者画像における運転者の頭部位置を決定して頭部位置情報を得、所定時間内の頭部位置情報に基づいて居眠り度合いのパラメータ値を取得する操作、及び／又は、所定時間内の目部状態情報に基づいて、閉眼度合いのパラメータ値を取得する操作、及び／又は、所定時間内の目部状態情報に基づいて、まばたき度合いのパラメータ値を取得する操作、及び／又は、所定時間内の口部状態情報に基づいて、あくび度合いのパラメータ値を取得する操作に用いられる。

【0161】

ここで、運転者疲労状態を表すための指標は、居眠り度合い、閉眼度合い、まばたき度合い、あくび度合い等の中のいずれか一つ又は複数を含み、及び／又は、運転者注意散漫状態を表すための指標は、頭部位置ずれ度合い、顔向きずれ度合い、視線方向ずれ度合い、漫然度合い等の中のいずれか一つ又は複数を含む。

【0162】

そのうちのいくつかの選択可能な例では、第１決定サブユニットは、頭部姿勢情報に基づいて運転者画像における運転者の頭部位置を決定する時に、頭部姿勢情報中のピッチ角を取得して頭部位置とするために用いられ、及び／又は、第１決定サブユニットは、頭部姿勢情報に基づいて運転者画像における運転者の顔向きを決定する時に、頭部姿勢情報中のピッチ角とヨー角を取得して顔向きとするために用いられる。

【0163】

そのうちのいくつかの選択可能な例では、第１決定サブユニットは、頭部姿勢情報に基づいて運転者画像における運転者の視線方向を決定して視線方向情報を得る時に、顔キーポイントのうちの目キーポイントに基づいて位置決めされた目画像によって瞳縁位置を決定し、瞳縁位置に基づいて瞳中心位置を計算する操作と、瞳中心位置と目中心位置に基づいて頭部姿勢情報に対応する頭部姿勢での眼球回転角度情報を取得する操作と、頭部姿勢情報と眼球回転角度情報に基づいて運転者の視線方向を決定して視線方向情報を得る操作とに用いられる。例えば、第１決定サブユニットは、顔キーポイントのうちの目キーポイントに基づいて位置決めされた目画像によって瞳縁位置を決定する時に、第７ニューラルネットワークによって、顔キーポイントに基づいて分割された画像における目領域画像に対して瞳縁位置の検出を行い、第７ニューラルネットワークの出力した情報に基づいて瞳縁位置を取得するために用いられる。

【0164】

そのうちのいくつかの選択可能な例では、第１決定サブユニットは、所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得する時に、所定時間内の視線方向情報の基準視線方向に対するずれ角度に基づいて、視線方向ずれ度合いのパラメータ値を取得するために用いられる。ここで、基準視線方向は、予め設定されたものであってもよく、又は、運転者画像の所在するビデオ中の前のＮフレームの運転者画像に基づいて決定された平均視線方向であってもよく、Ｎが１より大きい整数である。

【0165】

そのうちのいくつかの選択可能な例では、第１決定サブユニットは、所定時間内の目部状態情報に基づいて漫然度合いのパラメータ値を取得する時に、目部状態情報に基づいて、運転者の目が開眼状態にあり且つ所定漫然時間に到達するまで持続した時に、運転者が漫然状態にあると決定する操作と、所定時間内の目部状態情報に基づいて、漫然度合いのパラメータ値を取得する操作とに用いられ、ここで、この所定時間は所定漫然時間を含む。

【0166】

そのうちのいくつかの選択可能な例では、第３決定サブユニットは、所定時間内の頭部位置情報に基づいて居眠り度合いのパラメータ値を取得する時に、頭部位置情報に基づいて、運転者の頭部位置の所定基準頭部位置に対するずれ度合いが第１所定時間内に所定ずれ範囲に到達し、且つ第２所定時間内に所定基準頭部位置に復帰した時に、運転者が居眠り状態にあると決定する操作と、所定時間内の頭部位置情報に基づいて、居眠り度合いのパラメータ値を取得する操作とに用いられ、ここで、この所定時間は第１所定時間と第２所定時間を含む。

【0167】

そのうちのいくつかの選択可能な例では、第３決定サブユニットは、所定時間内の口部状態情報に基づいてあくび度合いのパラメータ値を取得する時に、口部状態情報に基づいて、運転者の口が閉口状態から開口状態に変化し、更に閉口状態に復帰した時間が所定時間範囲内にある時に、運転者が１回のあくび動作を完了したと決定する操作と、所定時間内の口部状態情報に基づいて、あくび度合いのパラメータ値を取得する操作とに用いられ、ここで、所定時間は、運転者の口が閉口状態から開口状態に変化し、更に閉口状態に復帰した時間を含む。

【0168】

そのうちのいくつかの選択可能な例では、頭部位置ずれ度合いのパラメータ値は、頭部位置ずれ状態、頭部位置ずれ方向、頭部位置の頭部位置ずれ方向におけるずれ角度、頭部位置のずれ持続時間、頭部位置ずれ頻度の中のいずれか一つ又は複数を含み、及び／又は、顔向きずれ度合いのパラメータ値は、頭回し回数、頭回し持続時間、頭回し頻度の中のいずれか一つ又は複数を含み、及び／又は、視線方向ずれ度合いのパラメータ値は、視線方向ずれ角度、視線方向ずれ時間、視線方向ずれ頻度の中のいずれか一つ又は複数を含み、及び／又は、漫然度合いのパラメータ値は、開眼幅、開眼持続時間、開眼累計時間が統計時間窓で占める割合の中のいずれか一つ又は複数を含み、及び／又は、居眠り度合いを表すためのパラメータ値は、居眠りうなずき状態、居眠りうなずき幅、居眠りうなずき回数、居眠りうなずき頻度、居眠りうなずき持続時間の中のいずれか一つ又は複数を含み、及び／又は、閉眼度合いを表すためのパラメータ値は、閉眼回数、閉眼頻度、閉眼持続時間、閉眼幅、半分閉眼回数、半分閉眼頻度、閉眼累計時間が統計時間窓で占める割合の中のいずれか一つ又は複数を含み、及び／又は、まばたき度合いを表すためのパラメータ値は、まばたき回数、まばたき頻度、まばたき持続時間、まばたき累計時間が統計時間窓で占める割合の中のいずれか一つ又は複数を含み、及び／又は、あくび度合いを表すためのパラメータ値は、あくび状態、あくび回数、あくび持続時間、あくび頻度の中のいずれか一つ又は複数を含む。

【0169】

そのうちのいくつかの選択可能な例では、第２決定サブユニットは、いずれか一つ又は複数の運転者の注意散漫状態を表すための指標のパラメータ値が所定注意散漫条件を満たした時に、運転者の注意散漫状態の検出結果を注意散漫状態と決定する操作、及び／又は、運転者の注意散漫状態を表すための指標のパラメータ値がいずれも所定注意散漫条件を満たさない時に、運転者の注意散漫状態の検出結果を非注意散漫状態と決定する操作に用いられる。

【0170】

そのうちのいくつかの選択可能な例では、所定注意散漫条件は、複数の注意散漫等級条件を含む。これに応じて、この実施例では、第２決定サブユニットは、いずれか一つ又は複数の運転者の注意散漫状態を表すための指標のパラメータ値が所定注意散漫条件を満たした時に、運転者の注意散漫状態の検出結果を注意散漫状態と決定する時に、運転者の注意散漫状態を表すための指標のパラメータ値が満たした注意散漫等級条件に基づいて、注意散漫状態等級を決定する操作と、決定された注意散漫状態等級を運転者の注意散漫状態の検出結果とする操作とに用いられる。

【0171】

そのうちのいくつかの選択可能な例では、第４決定サブユニットは、いずれか一つ又は複数の運転者の疲労状態を表すための指標のパラメータ値が所定疲労条件を満たした時に、運転者の疲労状態の検出結果を疲労状態と決定する操作、及び／又は、運転者の疲労状態を表すための指標のパラメータ値がいずれも所定疲労条件を満たさない時に、運転者の疲労状態の検出結果を非疲労状態と決定する操作に用いられる。

【0172】

そのうちのいくつかの選択可能な例では、所定疲労条件は複数の疲労等級条件を含む。これに応じて、この実施例では、第４決定サブユニットは、いずれか一つ又は複数の運転者の疲労状態を表すための指標のパラメータ値が所定疲労条件を満たした時に、運転者の疲労状態の検出結果を疲労状態と決定する時に、運転者の疲労状態を表すための指標のパラメータ値が満たした疲労等級条件に基づいて、疲労状態等級を決定する操作と、決定された疲労状態等級を運転者の疲労状態の検出結果とする操作とに用いられる。

【0173】

また、更に図５を参照し、本開示の運転状態検出装置のまた１つの実施例では、運転者画像に対して所定注意散漫動作検出を行って、所定注意散漫動作が発生したか否かを決定するための第２検出モジュールと、所定注意散漫動作が発生した時に、所定時間内に所定注意散漫動作が発生したか否かの決定結果に基づいて、運転者の注意散漫度合いを表すための指標のパラメータ値を取得するための第１取得モジュールと、運転者の注意散漫度合いを表すための指標のパラメータ値に基づいて、運転者の所定注意散漫動作の検出結果を決定するための第３決定モジュールと、を更に含んでよい。ここで、注意散漫度合いのパラメータ値は、所定注意散漫動作の回数、所定注意散漫動作の持続時間、所定注意散漫動作の頻度等の中のいずれか一つ又は複数を含んでよい。そのうちの所定注意散漫動作は、喫煙動作、飲水動作、飲食動作、電話通話動作、娯楽動作、化粧動作等の中のいずれか一つ又は複数を含んでよい。

【0174】

そのうちのいくつかの実施形態では、第２検出モジュールは、運転者画像の特徴を抽出する操作と、特徴に基づいて所定注意散漫動作を含む可能性がある複数の候補枠を抽出する操作と、複数の候補枠に基づいて、顔の局所領域と動作関連物を含み更に手部領域を含んでもよい動作目標枠を決定する操作と、動作目標枠に基づいて所定注意散漫動作の分類検出を行って、所定注意散漫動作が発生したか否かを決定する操作とに用いられる。ここで、顔の局所領域は、口部領域、耳部領域、目部領域の中のいずれか一つ又は複数を含んでよく、及び／又は、動作関連物は、容器、タバコ、携帯電話、食物、工具、飲料ボトル、眼鏡、マスクの中のいずれか一つ又は複数を含んでよい。

【0175】

そのうちのいくつかの実施形態では、第２検出モジュールは、第８ニューラルネットワークによって運転者画像に対して顔検出を行って顔検出枠を取得し、顔検出枠の特徴情報を抽出する操作と、第８ニューラルネットワークによって顔検出枠の特徴情報に基づいて喫煙動作が発生したか否かを決定する操作とに用いられる。

【0176】

そのうちのいくつかの実施形態では、第２検出モジュールは、第９ニューラルネットワークによって運転者画像に対して飲食動作／飲水動作／電話通話動作／娯楽動作／化粧動作に対応する所定目標対象の検出を行って、手部、口部、目部、及び容器、食物、電子機器、化粧品の中の一つ又は複数を包含する動作関連物を含む所定目標対象の検出枠を得る操作と、所定目標対象の検出枠に基づいて、所定注意散漫動作が発生したか否かを決定する操作とに用いられ、ここで、所定注意散漫動作が発生したか否かの決定結果は、飲食動作／飲水動作／電話通話動作／娯楽動作／化粧動作が発生しなかったこと、飲食動作が発生したこと、飲水動作が発生したこと、電話通話動作が発生したこと、娯楽動作が発生したこと、化粧動作が発生したことの中の一項を含む。

【0177】

そのうちのいくつかの実施形態では、第２検出モジュールは、所定目標対象の検出枠に基づいて、所定注意散漫動作が発生したか否かを決定する時に、手部の検出枠、口部の検出枠、目部の検出枠及び動作関連物の検出枠が検出されたか否か、および、手部の検出枠と動作関連物の検出枠とが重なっているか否か、動作関連物の種類及び動作関連物の検出枠と口部の検出枠又は目部の検出枠との間の距離が所定条件を満たすか否かに応じて、所定注意散漫動作が発生したか否かを決定するために用いられる。

【0178】

そのうちのいくつかの選択可能な例では、第２検出モジュールは、手部の検出枠と動作関連物の検出枠とが重なっているか否か、動作関連物の検出枠と口部の検出枠又は目部の検出枠との間の位置関係が所定条件を満たすか否かに応じて、所定注意散漫動作が発生したか否かを決定する時に、手部の検出枠と動作関連物の検出枠とが重なっており、動作関連物の種類が容器又は食物であり、且つ動作関連物の検出枠と口部の検出枠とが重なっている場合に、飲食動作又は飲水動作が発生したと決定する操作、及び／又は、手部の検出枠と動作関連物の検出枠とが重なっており、動作関連物の種類が電子機器であり、且つ動作関連物の検出枠と口部の検出枠との間の最小距離が第１所定距離より小さく、又は動作関連物の検出枠と目部の検出枠との間の最小距離が第２所定距離より小さい場合に、娯楽動作又は電話通話動作が発生したと決定する操作に用いられる。

【0179】

そのうちのいくつかの選択可能な例では、第２検出モジュールは、更に、手部の検出枠、口部の検出枠及びいずれか１つの動作関連物の検出枠が同時に検出されなく、且つ手部の検出枠、目部の検出枠及びいずれか１つの動作関連物の検出枠が同時に検出されなかった場合に、所定注意散漫動作が発生したか否かの決定結果として、飲食動作、飲水動作、電話通話動作、娯楽動作及び化粧動作が検出されなかったと決定する操作、及び／又は、手部の検出枠と動作関連物の検出枠とが重なっていない場合に、所定注意散漫動作が発生したか否かの決定結果として、飲食動作、飲水動作、電話通話動作、娯楽動作、化粧動作が検出されなかったと決定する操作、及び／又は、動作関連物の種類が容器又は食物であり、且つ動作関連物の検出枠と口部の検出枠とが重なっておらず、及び／又は、動作関連物の種類が電子機器であり、且つ動作関連物の検出枠と口部の検出枠との間の最小距離が第１所定距離より小さくなく、又は、動作関連物の検出枠と目部の検出枠との間の最小距離が第２所定距離より小さくない場合に、所定注意散漫動作が発生したか否かの決定結果として、飲食動作、飲水動作、電話通話動作、娯楽動作及び化粧動作が検出されなかったと決定する操作に用いられる。

【0180】

また、更に図５を参照し、本開示の運転状態検出装置の更に別の実施例では、注意散漫度合いを表すための指標のパラメータ値が満たした注意散漫動作等級条件に基づいて、注意散漫動作等級を決定するための第４決定モジュールを更に含んでよい。これに応じて、この実施例では、第３決定モジュールは、決定された注意散漫動作等級を運転者の所定注意散漫動作の検出結果とするために用いられる。

【0181】

また、更に図５を参照し、本開示の運転状態検出装置の更に別の実施例では、運転者状態の検出結果に基づいて、警報を行うための警報モジュール、及び／又は、運転者状態の検出結果に基づいて、インテリジェント運転制御を行うための運転制御モジュールを更に含んでよい。ここで、運転者状態の検出結果は、疲労状態の検出結果、注意散漫状態の検出結果、所定注意散漫動作の検出結果の中のいずれか一つ又は複数を含む。

【0182】

そのうちのいくつかの実施形態では、警報モジュールは、運転者状態の検出結果が所定警報条件を満たした時に、警報条件に対応するプロンプト／警報情報を出力するために用いられ、及び／又は、運転制御モジュールは、運転者状態の検出結果が所定運転モード切り替え条件を満たした時に、運転モードを自動運転モードに切り替えるために用いられる。

【0183】

そのうちのいくつかの選択可能な例では、警報モジュールは、疲労状態の検出結果が疲労状態である時に、疲労状態の検出結果に対応するプロンプト／警報情報を出力する操作、及び／又は、注意散漫状態の検出結果が注意散漫状態である時に、注意散漫状態の検出結果に対応するプロンプト／警報情報を出力する操作、及び／又は、所定注意散漫動作が発生した時に、所定注意散漫動作の検出結果に対応するプロンプト／警報情報を出力する操作、及び／又は、運転者状態の検出結果として、疲労状態の検出結果、注意散漫状態の検出結果、所定注意散漫動作が発生した検出結果のうちの任意の二つ又は三つがあった時に、所定方式でプロンプト／警報情報を出力する操作に用いられる。

【0184】

そのうちのいくつかの選択可能な例では、警報モジュールは、更に、疲労状態に対応するプロンプト／警報情報を出力した後の所定時間内に、運転者状態の検出結果のうちの他の検出結果に対応するプロンプト／警報情報を抑える操作、及び／又は、注意散漫状態に対応するプロンプト／警報情報を出力した後の所定時間内に、運転者状態の検出結果のうちの他の検出結果に対応するプロンプト／警報情報を抑える操作、及び／又は、所定注意散漫動作の検出結果に対応するプロンプト／警報情報を出力した後の所定時間内に、運転者状態の検出結果のうちの他の検出結果に対応するプロンプト／警報情報を抑える操作に用いられる。

【0185】

そのうちのいくつかの選択可能な例では、警報モジュールは、運転者状態の検出結果として、疲労状態の検出結果、注意散漫状態の検出結果、所定注意散漫動作が発生した検出結果のうちの任意の二つ又は三つがあった時に、所定方式でプロンプト／警報情報を出力する時に、運転者状態の検出結果が疲労状態と注意散漫状態である時に、疲労状態の検出結果に対応するプロンプト／警報情報を出力し、又は、注意散漫状態の検出結果に対応するプロンプト／警報情報を出力し、又は、疲労状態の検出結果と注意散漫状態の検出結果に対応するプロンプト／警報情報を出力する操作、及び／又は、運転者状態の検出結果が注意散漫状態であり、所定注意散漫動作が検出された時に、注意散漫状態の検出結果に対応するプロンプト／警報情報を出力し、又は、所定注意散漫動作の検出結果に対応するプロンプト／警報情報を出力し、又は、注意散漫状態の検出結果と所定注意散漫動作の検出結果に対応するプロンプト／警報情報を出力する操作、及び／又は、運転者状態の検出結果が疲労状態であり、所定注意散漫動作が検出された時に、疲労状態の検出結果に対応するプロンプト／警報情報を出力し、又は、所定注意散漫動作が検された検出結果に対応するプロンプト／警報情報を出力し、又は、疲労状態の検出結果と所定注意散漫動作の検出結果に対応するプロンプト／警報情報を出力する操作、及び／又は、運転者状態の検出結果が疲労状態、注意散漫状態であり、所定注意散漫動作が発生した時に、疲労状態の検出結果に対応するプロンプト／警報情報を出力し、又は、注意散漫状態の検出結果に対応するプロンプト／警報情報を出力し、又は、所定注意散漫動作の検出結果に対応するプロンプト／警報情報を出力し、又は、疲労状態の検出結果と注意散漫状態の検出結果に対応するプロンプト／警報情報を出力し、又は、注意散漫状態の検出結果と所定注意散漫動作の検出結果に対応するプロンプト／警報情報を出力し、又は、疲労状態の検出結果と所定注意散漫動作の検出結果に対応するプロンプト／警報情報を出力し、又は、疲労状態の検出結果、注意散漫状態の検出結果及び所定注意散漫動作の検出結果に対応するプロンプト／警報情報を出力する操作に用いられる。

【0186】

そのうちのいくつかの選択可能な例では、疲労状態の検出結果が疲労状態等級である時に、警報モジュールは、疲労状態の検出結果に対応するプロンプト／警報情報を出力する時に、疲労状態等級に基づいて対応するプロンプト又は警報情報を出力するために用いられ、及び／又は、注意散漫状態の検出結果が注意散漫状態等級である時に、警報モジュールは、注意散漫状態の検出結果に対応するプロンプト／警報情報を出力する時に、注意散漫状態等級に基づいて対応するプロンプト又は警報情報を出力するために用いられ、所定注意散漫動作の検出結果が注意散漫動作等級である時に、警報モジュールは、所定注意散漫動作の検出結果に対応するプロンプト／警報情報を出力する時に、注意散漫動作等級に基づいて対応するプロンプト又は警報情報を出力するために用いられる。

【0187】

そのうちのいくつかの選択可能な例では、運転制御モジュールは、疲労状態等級及び／又は注意散漫状態等級及び／又は注意散漫動作等級が所定運転モード切り替え条件を満たした時に、運転モードを自動運転モードに切り替えるために用いられる。

【0188】

また、更に図５を参照し、本開示の上記各実施例では、画像を取得して運転者画像を得るための赤外線カメラを更に含んでもよい。この赤外線カメラが、インストルメントパネルの上方又は近傍位置、センターコンソールの上方又は近傍位置、Ａピラー又は近傍位置、バックミラー又は近傍位置の中のいずれか１つ又は複数の位置を含む車両内の少なくとも１つの位置に設置される。

【0189】

そのうちのいくつかの実施形態では、赤外線カメラは、車両が走行状態にある時に画像を取得して運転者画像を得る操作、及び／又は、車両の走行速度が所定車速を超えると、画像を取得して運転者画像を得る操作、及び／又は、車両が起動したことが検出されると、画像を取得して運転者画像を得る操作、及び／又は、車両の起動コマンドが検出されると、画像を取得して運転者画像を得る操作、及び／又は、車両又は車両中の部材或いはシステムへの制御コマンドが検出されると、画像を取得して運転者画像を得る操作に用いられる。

【0190】

図６は本開示の運転者監視システムの一実施例の構造模式図である。この実施例の運転者監視システムは、本開示の上記の各運転状態検出方法の実施例を実現することに利用可能である。図６に示すように、この実施例の運転者監視システムは、運転者画像及び運転者の疲労状態と注意散漫状態の検出結果を表示するための表示装置と、運転者画像に対して頭部姿勢検出と目部状態検出を行って頭部姿勢情報と目部状態情報を得、頭部姿勢情報と目部状態情報に基づいて運転者の疲労状態と注意散漫状態の検出結果を決定するための運転者状態検出装置と、を含む。

【0191】

そのうちの運転者状態検出装置は、本開示の上記のいずれか１つの実施例の運転状態検出装置によって実現されてよい。

【0192】

本開示の上記実施例で提供された運転者監視システムによれば、運転者画像に対して頭部姿勢検出と目部状態検出を行って、検出された頭部姿勢情報と目部状態情報に基づいて、運転者の疲労状態と注意散漫状態の検出結果を決定することができる。本開示の実施例は、運転者画像に対して頭部姿勢検出と目部状態検出を行うことによって、運転者の疲労状態と注意散漫状態を共同してリアルタイムに検出することを可能にして、そのように運転者の運転状態が悪くなった時にリアルタイムに対策を取ることができ、運転の安全性が高くなり、道路交通事故の発生率が低くなる。

【0193】

また、本開示の実施例で提供された別の電子機器は、コンピュータプログラムを記憶するためのメモリと、メモリに記憶されているコンピュータプログラムを実行するためのものであって、コンピュータプログラムが実行されると、本開示の上記のいずれか１つの実施例の運転状態検出方法を実現するためのプロセッサと、を含む。

【0194】

図７は本開示の電子機器の一適用実施例の構成模式図である。以下、本開示の実施例の端末装置又はサーバを実現するのに適する電子機器の構成模式図を示す図７を参照する。図７に示すように、該電子機器は１つ又は複数のプロセッサ、通信部などを含み、前記１つ又は複数のプロセッサは、例えば、１つ又は複数の中央処理ユニット（ＣＰＵ）、及び／又は１つ又は複数の画像プロセッサ（ＧＰＵ）などであり、プロセッサは、読み取り専用メモリ（ＲＯＭ）に記憶された実行可能コマンド又は記憶部からランダムアクセスメモリ（ＲＡＭ）にロードされた実行可能コマンドによって各種の適切な動作及び処理を実現することができる。通信部はネットワークカードを含んでよいが、それに限定されなく、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでよいが、それに限定されなく、プロセッサは読み取り専用メモリ及び／又はランダムアクセスメモリと通信して実行可能コマンドを実行し、通信バスを介して通信部に接続され、通信部を介して他のターゲットデバイスと通信してよく、それにより本開示の実施例で提供されるいずれか一項の運転状態検出方法に対応する操作を完成し、例えば、運転者画像に対して頭部姿勢検出と目部状態検出を行って頭部姿勢情報と目部状態情報を得、前記頭部姿勢情報と前記目部状態情報に基づいて運転者の疲労状態と注意散漫状態の検出結果を決定する。

【0195】

また、ＲＡＭには、装置の動作に必要な各種のプログラムやデータが格納されていてもよい。ＣＰＵ、ＲＯＭ及びＲＡＭは、バスを介して相互に接続される。ＲＡＭを有する場合に、ＲＯＭは選択可能なモジュールである。ＲＡＭは実行可能コマンドを格納するか、または動作時に実行可能コマンドをＲＯＭに書き込み、実行可能コマンドによってプロセッサに本開示の上記のいずれか１種の方法に対応する操作を実行させる。入力／出力（Ｉ／Ｏ）インタフェースもバスに接続される。通信部は、統合的に設置されてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有し、通信バスのリンク上にあるように設置されてもよい。

【0196】

キーボード、マウスなどを含む入力部と、陰極線管（ＣＲＴ）、液晶ディスプレイー（ＬＣＤ）など及びスピーカなどを含む出力部と、ハードディスクなどを含む記憶部と、ＬＡＮカード、モデムなどのネットワークインタフェースカードを含む通信部とがＩ／Ｏインタフェースに接続されている。通信部は例えばインターネットのようなネットワークを介して通信処理を行う。ドライブも必要に応じてＩ／Ｏインタフェースに接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体は、必要に応じてドライブ上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部にインストールする。

【0197】

なお、図７に示す構造は選択可能な一実施形態に過ぎず、具体的な実践過程では、実際の必要に応じて上記図７の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えばＧＰＵとＣＰＵは分離設置するかまたはＧＰＵをＣＰＵに統合するようにしてよく、通信部は分離設置するか、またはＣＰＵやＧＰＵに統合設置することなども可能であることを説明する必要がある。これらの置換可能な実施形態はいずれも本開示の保護範囲に属する。

【0198】

特に、本開示の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本開示の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本開示のいずれか１つの実施例により提供される運転状態検出方法のステップを対応して実行するための該当するコマンドを含んでよい。このような実施例では、該コンピュータプログラムは通信部によってネットワークからダウンロード及びインストールされ、及び／又はリムーバブル媒体からインストールされ得る。ＣＰＵによって該コンピュータプログラムを実行する時に、本開示の方法で限定された上記機能を実行する。

【0199】

また、本開示の実施例は、コンピュータコマンドを含むコンピュータプログラムであって、コンピュータコマンドが機器のプロセッサ中で動作すると、本開示の上記のいずれか１つの実施例の運転状態検出方法を実現するコンピュータプログラムを更に提供する。

【0200】

また、本開示の実施例は、コンピュータプログラムが記憶されているコンピュータ読取可能記憶媒体であって、このコンピュータプログラムがプロセッサにより実行されると、本開示の上記のいずれか１つの実施例の運転状態検出方法を実現するコンピュータ読取可能記憶媒体を更に提供する。

【0201】

図８は本開示の車両の一実施例の構造模式図である。図８に示すように、この実施例の車両は、中央制御システムを含み、本開示の上記のいずれか１つの実施例に記載の運転状態検出装置又は運転者監視システムを更に含む。

【0202】

本開示の上記実施例で提供された車両は、本開示の上記のいずれか１つの実施例に記載の運転状態検出装置又は運転者監視システムを含み、運転者画像に対して頭部姿勢検出と目部状態検出を行って、検出された頭部姿勢情報と目部状態情報に基づいて、運転者の疲労状態と注意散漫状態の検出結果を決定することができる。本開示の実施例は、運転者画像に対して頭部姿勢検出と目部状態検出を行うことによって、運転者の疲労状態と注意散漫状態を共同してリアルタイムに検出することを可能にして、そのように運転者の運転状態が悪くなった時にリアルタイムに対策を取ることができ、運転の安全性が高くなり、道路交通事故の発生率が低くなる。

【0203】

そのうちのいくつかの実施形態では、中央制御システムは、運転状態検出装置又は運転者監視システムの出力した運転者状態の検出結果に基づいて、運転者状態の検出結果が所定警報条件を満たした時に、車両中の娯楽システム（例えば、スピーカ、ブザー、ランプ装置等）又は車両の外部に接続される娯楽システム（例えば、スピーカ、ブザー、ランプ装置等）を呼び出して警報条件に対応するプロンプト／警報情報を出力する操作、及び／又は、運転者状態の検出結果が所定運転モード切り替え条件を満たした時に、運転モードを自動運転モードに切り替え、且つ自動運転モードで車両に対して自動運転制御を行う操作に用いられる。

【0204】

別の実施形態では、中央制御システムは、更に、手動運転に切り替える運転コマンドを受信すると、運転モードを手動運転モードに切り替えるために用いられてよい。

【0205】

更に図８を参照し、上記実施例の車両は、中央制御システムの制御コマンドに基づいてプロンプト／警報所定条件に対応するプロンプト／警報情報を出力する操作、及び／又は、中央制御システムの制御コマンドに基づいてプロンプト／警報情報の警報効果又は娯楽項目の再生効果を調整する操作に用いられる娯楽システムを更に含んでよい。そのうちの娯楽システムは、例えば、スピーカ、ブザー、ランプ装置等を含んでよい。

【0206】

更に図８を参照し、上記実施例の車両は、画像を取得するための少なくとも１つの赤外線カメラを更に含んでよい。

【0207】

そのうちのいくつかの実施形態では、車両における赤外線カメラが、車両内の少なくとも１つの位置、例えば、インストルメントパネルの上方又は近傍位置、センターコンソールの上方又は近傍位置、Ａピラー又は近傍位置、バックミラー又は近傍位置等の中のいずれか１つ又は複数の位置に設置されてよい。

【0208】

本明細書における様々な実施例は漸進的に説明され、各実施例は他の実施例との相違点に集中して説明したが、各実施例間の同一または類似の部分については相互に参照すればよい。システム実施例については、それは基本的に方法実施例に対応するので、説明は比較的簡単であり、関連部分は方法実施例の説明の一部を参照すればよい。

【0209】

本開示の方法、装置及び機器は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組合せによって本開示の方法、装置及び機器を実現することができる。前記方法のステップのための上記順序は説明することのみを目的とし、本開示の方法のステップは、特に断らない限り、以上で具体的に説明した順序に限定されない。また、いくつかの実施例では、本開示は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本開示の方法を実現するための機械可読コマンドを含む。従って、本開示は本開示の方法を実行するためのプログラムが記憶された記録媒体も含む。

【0210】

本開示の説明は、例示及び説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本開示を限定するというわけでない。当業者にとっては多くの修正及び変形を加えることができるのは明らかであろう。実施例は本開示の原理及び実際応用をより明瞭に説明するため、かつ当業者が本開示を理解して特定用途に適した各種の修正を加えた各種の実施例を設計可能にするように選択され説明されたものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】