特表 2024-543600 脇見領域の自動標定方法及び装置、道路車両、電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-21

(54)【発明の名称】脇見領域の自動標定方法及び装置、道路車両、電子機器

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241114BHJP

   B60W 40/08 20120101ALI20241114BHJP

【ＦＩ】

G08G1/16 F

B60W40/08

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024533151

(86)(22)【出願日】2022-11-10

(85)【翻訳文提出日】2024-06-03

(86)【国際出願番号】 CN2022131200

(87)【国際公開番号】W WO2023103708

(87)【国際公開日】2023-06-15

(31)【優先権主張番号】202111489217.X

(32)【優先日】2021-12-07

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】519262146

【氏名又は名称】アークソフト コーポレイション リミテッド

【氏名又は名称原語表記】ＡｒｃＳｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ Ｌｉｍｉｔｅｄ

【住所又は居所原語表記】１９ Ｆｌｏｏｒ，Ｎｏ．３９２ Ｂｉｎｘｉｎｇ Ｒｏａｄ （ＡｒｃＳｏｆｔ Ｂｕｉｌｄｉｎｇ），Ｃｈａｎｇｈｅ Ｓｔｒｅｅｔ，Ｂｉｎｊｉａｎｇ Ｄｉｓｔｒｉｃｔ，Ｈａｎｇｚｈｏｕ，Ｚｈｅｊｉａｎｇ，３１００５２，ＣＨＩＮＡ

(74)【代理人】

【識別番号】100142365

【弁理士】

【氏名又は名称】白井 宏紀

(72)【発明者】

【氏名】戴海能

(72)【発明者】

【氏名】王進

(72)【発明者】

【氏名】石嶼

【テーマコード（参考）】

3D241

5H181

【Ｆターム（参考）】

3D241BA60

3D241BA70

3D241BB03

3D241CE08

3D241CE10

3D241DA52Z

3D241DB01Z

3D241DB02Z

3D241DC51Z

3D241DD07Z

5H181AA01

5H181BB20

5H181CC04

5H181FF25

5H181FF27

5H181LL07

5H181LL20

(57)【要約】

本開示は脇見領域の自動標定方法及び装置、道路車両、電子機器を提供し、情報処理分野に関している。
当該自動標定方法は、所定時間帯内で現在車両内に含まれる運転者の複数の顔画像を取り込むステップと、複数の顔画像を結合して、運転者の、現在車両内における正常運転角度を決定するステップと、正常運転角度及び事前決定された現在車両臨界の脇見偏向角度に基づいて、運転者の、現在車両内における非脇見領域及び脇見領域を標定するステップと、を含む。本開示は、関連技術において、運転姿勢又は人員の交換によって脇見領域を変更させ、脇見検出が相変わらず固定脇見領域を使用するため、誤検出を招致するという技術問題を解決する。
【選択図】図１

【特許請求の範囲】

【請求項1】

脇見領域の自動標定方法であって、
所定時間帯内で現在車両内に含まれる運転者の複数の顔画像を取り込むステップと、
前記複数の顔画像を結合して、前記運転者の、前記現在車両内における正常運転角度を決定するステップと、
前記正常運転角度及び事前決定された前記現在車両臨界の脇見偏向角度に基づいて、前記運転者の、前記現在車両内における非脇見領域及び脇見領域を標定するステップと、を含む方法。

【請求項2】

前記複数の顔画像を結合して、前記運転者の、前記現在車両内における正常運転角度を決定するステップは、
非正常運転情報を結合して、前記運転者の非正常運転状態を決定して、前記非正常運転状態に対応する画像を全ての顔画像から除去し、正常運転画像セットを取得するステップと、
前記正常運転画像セットに基づいて、前記正常運転角度を統計して更新するステップと、を含む請求項１に記載の方法。

【請求項3】

前記複数の顔画像を結合して、前記運転者の、前記現在車両内における正常運転角度を決定する前、前記正常運転角度を初期化するステップをさらに含み、
デフォルト値を使用して、前記正常運転角度を初期化するステップ、又は、
前記運転者が第１のマークポイントを注視する際の第１の視線角度を使用して、前記正常運転角度を初期化するステップを含む請求項１に記載の方法。

【請求項4】

前記非正常運転情報は、低車速、ステアリング信号のトリガー、脇見偏向、及び握力のうちの少なくとも１つを含む請求項２に記載の方法。

【請求項5】

低車速を結合して前記運転者の非正常運転状態を決定するステップは、
前記現在車両の車両走行速度を取り込むステップと、
前記車両走行速度が所定速度閾値より低いと、前記運転者が非正常運転状態にあると決定するステップと、を含む請求項４に記載の方法。

【請求項6】

ステアリング信号のトリガーを結合して、前記運転者の非正常運転状態を決定するステップは、
前記現在車両のステアリング信号の信号トリガー状態を取り込むステップと、
前記信号トリガー状態が、前記ステアリング信号をトリガーしていないと指示すれば、前記運転者が正常運転状態にあると決定するステップと、
前記信号トリガー状態が前記ステアリング信号をトリガーしたと指示すれば、前記現在車両がコーナリング状態にあり、前記運転者が非正常運転状態にあると決定するステップと、を含む請求項４に記載の方法。

【請求項7】

脇見偏向を結合して、前記運転者の非正常運転状態を決定するステップは、
前記運転者の顔及び視線角度を取り込むステップと、
前記運転者の顔及び視線角度が所定の非正常運転領域にある期間を統計するステップと、
非正常運転領域にある期間が第１の期間閾値に達した場合、前記運転者が非正常運転状態にあると決定するステップと、を含む請求項４に記載の方法。

【請求項8】

握力を結合して前記運転者の非正常運転状態を決定するステップは、
前記運転者のステアリングホイールの握力を取り込むステップと、
前記ステアリングホイールの握力が所定の握力閾値より低いと、前記運転者が非正常運転状態にあると決定するステップと、を含む請求項４に記載の方法。

【請求項9】

前記正常運転画像セットに基づいて、前記正常運転角度を統計して更新するステップは、
前記正常運転画像セットにおける各画像に対して、顔角度及び視線角度モデルによって、各画像に対応する正常顔及び視線角度値を出力するステップと、
全ての前記正常顔及び視線角度値を統計して、前記正常運転角度を更新するステップと、を含む請求項４に記載の方法。

【請求項10】

前記現在車両臨界の脇見偏向角度を事前決定するステップは、
所定の関心領域に基づいて、前記現在車両内部の非脇見マーキング領域及び脇見マーキング領域を標定するステップであって、前記非脇見マーキング領域は正常注視標識点を含み、前記脇見領域は少なくとも境界標識点を含むステップと、
複数の運転者が前記正常注視標識点及び前記境界標識点にそれぞれ向かう画像を取り込んで、正常注視画像及び脇見注視画像を取得するステップと、
前記正常注視画像及び前記脇見注視画像を分析して、前記現在車両脇見領域臨界の脇見偏向角度を取得するステップと、を含む請求項１に記載の方法。

【請求項11】

所定の関心領域に基づいて、前記現在車両内部の非脇見マーキング領域及び脇見マーキング領域を標定するステップは、
前記所定の関心領域を前記現在車両内部の非脇見マーキング領域として表徴するステップと、
前記非脇見マーキング領域の中心点を決定して、前記正常注視標識点を取得するステップと、
前記非脇見マーキング領域の複数本の境界を決定し、各前記境界を辺として、前記非脇見マーキング領域の外部の脇見マーキング領域を決定するステップであって、前記境界での任意の点は前記境界標識点として表徴されるステップと、を含む請求項１０に記載の方法。

【請求項12】

前記正常注視画像及び前記脇見注視画像を分析して、前記現在車両脇見領域臨界の脇見偏向角度を取得するステップは、
前記正常注視画像を分析して、前記正常注視標識点を注視する視線角度を決定し、前記正常注視標識点を注視する視線角度の分布に基づいて、第１の正常運転角度を取得するステップと、
全ての前記脇見注視画像を分析して、脇見領域の臨界脇見運転角度の分布を取得し、前記脇見領域の臨界脇見運転角度の分布に基づいて、前記脇見領域の臨界脇見運転角度の平均値を計算するステップと、
前記第１の正常運転角度と前記臨界脇見運転角度の平均値との間の差値を計算して、全ての前記現在車両臨界の脇見偏向角度を取得するステップと、を含む請求項１０に記載の方法。

【請求項13】

前記正常運転角度及び事前決定された前記現在車両臨界の脇見偏向角度に基づいて、前記運転者の、前記現在車両内における非脇見領域及び脇見領域を標定するステップは、
前記正常運転角度に基づいて前記現在車両臨界の脇見偏向角度を追加し、脇見領域境界の臨界位置を取得するステップと、
前記脇見領域境界の臨界位置に含まれる領域を前記非脇見領域に標定して、前記脇見領域境界の臨界位置に含まれる領域を除いた領域を前記脇見領域に標定するステップと、を含む請求項１に記載の方法。

【請求項14】

脇見領域の自動標定装置であって、
所定時間帯内で現在車両内に含まれる運転者の複数の顔画像を取り込むように配置される取り込みユニットと、
前記複数の顔画像を結合して、前記運転者の、前記現在車両内における正常運転角度を決定するように配置される決定ユニットと、
前記正常運転角度及び事前決定された前記現在車両臨界の脇見偏向角度に基づいて、前記運転者の、前記現在車両内における非脇見領域及び脇見領域を標定するように配置される標定ユニットと、を含む装置。

【請求項15】

前記決定ユニットは、
非正常運転情報を結合して、前記運転者の非正常運転状態を決定して、前記非正常運転状態に対応する画像を全ての顔画像から除去し、正常運転画像セットを取得するように配置される第１の決定モジュールと、
前記正常運転画像セットに基づいて、前記正常運転角度を統計して更新するように配置される更新モジュールと、を含む請求項１４に記載の装置。

【請求項16】

前記複数の顔画像を結合して、前記運転者の、前記現在車両内における正常運転角度を決定する前、前記正常運転角度を初期化するように配置される初期化ユニットをさらに含み、前記初期化ユニットは、
デフォルト値を使用して、前記正常運転角度を初期化するように配置される第１の初期化モジュール、又は、
前記運転者が第１のマークポイントを注視する際の第１の視線角度を使用して、前記正常運転角度を初期化するように配置される第２の初期化モジュールを含む請求項１４に記載の装置。

【請求項17】

前記非正常運転情報は、低車速、ステアリング信号のトリガー、脇見偏向、及び握力のうちの少なくとも１つを含む請求項１５に記載の装置。

【請求項18】

道路車両であって、
車両前方のフロントガラスに搭載され、前方道路の道路画像を取り込むように配置される車載カメラと、
前記車載カメラに接続され、請求項１～１３の何れか１項に記載の脇見領域の自動標定方法を実行する車載制御ユニットと、を含む道路車両。

【請求項19】

車載電子機器であって、
プロセッサーと、
前記プロセッサーの実行可能指令を記憶するように配置されるメモリと、を含み、
前記プロセッサーは、前記実行可能指令を実行することで、請求項１～１３の何れか１項に記載の脇見領域の自動標定方法を実行するように配置される車載電子機器。

【請求項20】

コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体は記憶されるコンピュータプログラムを含み、前記コンピュータプログラムが運転すると、請求項１～１３の何れか１項に記載の脇見領域の自動標定方法を実行するように、前記コンピュータ可読記憶媒体が所在する機器を制御するコンピュータ可読記憶媒体。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本出願は２０２１年１２月０７日にて中国特許庁に提出され、出願番号が２０２１１１４８９２１７.Ｘであり、出願名称が「脇見領域の自動標定方法及び装置、道路車両、電子機器」である中国特許出願の優先権を主張して、その全ての内容は本出願に援用される。

【技術分野】

【0002】

本開示は情報処理の技術分野に関して、具体的に、脇見領域の自動標定方法及び装置、道路車両、電子機器に関している。

【背景技術】

【0003】

関連技術において、運転者の運転過程で、よく疲労、外部のものなどのため、脇見状態になり、このような脇見状態は交通事故を招致する恐れがあるので、運転者が脇見状態にあるかどうかを監視する必要があり、運転者が脇見状態にあるかどうかを監視する前、各車両の脇見領域を迅速に位置決めする必要があり、現在、脇見領域を標定する場合、運転者自体の差（運転姿勢又は人員交換による差）、運転習慣及び各種車両の車種に影響されるため、標定誤差が大きくなる。また、現在の脇見領域標定方式は一般的に、固定領域閾値を使用して脇見領域を標定するため、運転姿勢又は人員交換によって、標定された脇見領域には誤差が生じやすい。

【発明の概要】

【発明が解決しようとする課題】

【0004】

現在、採用した標定方式において、運転者の眼球運動行為情報を取得することで、運転者の脇見状態のリアルタイム検出を実現し、運転者が運転過程で生じた脇見行為に対して早期警報を行って、道路交通安全を効果的に向上させる。ところが、このような方式は伝統の機械学習方法を使用して、光線及び運転者個人差による影響のため、精度が悪く、また、当該方式は、実車の特別なシナリオを処理していなく、誤検出の状況が多い。

【0005】

上記の問題に対して、まだ、効果的な解決策を提出していない。

【0006】

少なくとも関連技術において、運転姿勢又は人員の交換によって脇見領域を変更させ、脇見検出が相変わらず固定脇見領域を使用するため、誤検出を招致するという技術問題を解決するために、本開示は脇見領域の自動標定方法及び装置、道路車両、電子機器を提供している。

【課題を解決するための手段】

【0007】

本開示の１つの態様によれば、脇見領域の自動標定方法を提供し、所定時間帯内で現在車両内に含まれる運転者の複数の顔画像を取り込むステップと、前記複数の顔画像を結合して、前記運転者の、前記現在車両内における正常運転角度を決定するステップと、前記正常運転角度及び事前決定された前記現在車両臨界の脇見偏向角度に基づいて、前記運転者の、前記現在車両内における非脇見領域及び脇見領域を標定するステップと、を含む。

【0008】

好ましくは、前記複数の顔画像を結合して、前記運転者の、前記現在車両内における正常運転角度を決定するステップは、非正常運転情報を結合して、前記運転者の非正常運転状態を決定して、前記非正常運転状態に対応する画像を全ての顔画像から除去し、正常運転画像セットを取得するステップと、前記正常運転画像セットに基づいて、前記正常運転角度を統計して更新するステップと、を含む。

【0009】

好ましくは、前記複数の顔画像を結合して、前記運転者の、前記現在車両内における正常運転角度を決定する前、前記方法は、前記正常運転角度を初期化するステップをさらに含み、デフォルト値を使用して、前記正常運転角度を初期化するステップ、又は、前記運転者が第１のマークポイントを注視する際の第１の視線角度を使用して、前記正常運転角度を初期化するステップを含む。

【0010】

好ましくは、前記非正常運転情報は、低車速、ステアリング信号のトリガー、脇見偏向、及び握力のうちの少なくとも１つを含む。

【0011】

好ましくは、低車速を結合して前記運転者の非正常運転状態を決定するステップは、前記現在車両の車両走行速度を取り込むステップと、前記車両走行速度が所定速度閾値より低いと、前記運転者が非正常運転状態にあると決定するステップと、を含む。

【0012】

好ましくは、ステアリング信号のトリガーを結合して、前記運転者の非正常運転状態を決定するステップは、前記現在車両のステアリング信号の信号トリガー状態を取り込むステップと、前記信号トリガー状態が、前記ステアリング信号をトリガーしていないと指示すれば、前記運転者が正常運転状態にあると決定するステップと、前記信号トリガー状態が前記ステアリング信号をトリガーしたと指示すれば、前記現在車両がコーナリング状態にあり、前記運転者が非正常運転状態にあると決定するステップと、を含む。

【0013】

好ましくは、脇見偏向を結合して、前記運転者の非正常運転状態を決定するステップは、前記運転者の顔及び視線角度を取り込むステップと、前記運転者の顔及び視線角度が所定の非正常運転領域にある期間を統計するステップと、非正常運転領域にある期間が第１の期間閾値に達した場合、前記運転者が非正常運転状態にあると決定するステップと、を含む。

【0014】

好ましくは、握力を結合して前記運転者の非正常運転状態を決定するステップは、前記運転者のステアリングホイールの握力を取り込むステップと、前記ステアリングホイールの握力が所定の握力閾値より低いと、前記運転者が非正常運転状態にあると決定するステップと、を含む。

【0015】

好ましくは、前記正常運転画像セットに基づいて、前記正常運転角度を統計して更新するステップは、前記正常運転画像セットにおける各画像に対して、顔角度及び視線角度モデルによって、各画像に対応する正常顔及び視線角度値を出力するステップと、全ての前記正常顔及び視線角度値を統計して、前記正常運転角度を更新するステップと、を含む。

【0016】

好ましくは、前記現在車両臨界の脇見偏向角度を事前決定するステップは、所定の関心領域に基づいて、前記現在車両内部の非脇見マーキング領域及び脇見マーキング領域を標定するステップであって、前記非脇見マーキング領域は正常注視標識点を含み、前記脇見領域は少なくとも境界標識点を含むステップと、複数の運転者が前記正常注視標識点及び前記境界標識点にそれぞれ向かう画像を取り込んで、正常注視画像及び脇見注視画像を取得するステップと、前記正常注視画像及び前記脇見注視画像を分析して、前記現在車両脇見領域臨界の脇見偏向角度ステップと、を含む。

【0017】

好ましくは、所定の関心領域に基づいて、前記現在車両内部の非脇見マーキング領域及び脇見マーキング領域を標定するステップは、所定の関心領域を前記現在車両内部の非脇見マーキング領域として表徴するステップと、前記非脇見マーキング領域の中心点を決定して、前記正常注視標識点を取得するステップと、前記非脇見マーキング領域の複数本の境界を決定し、各前記境界を辺として、前記非脇見マーキング領域の外部の脇見マーキング領域を決定するステップであって、前記境界での任意の点は前記境界標識点として表徴されるステップと、を含む。

【0018】

好ましくは、前記正常注視画像及び前記脇見注視画像を分析して、前記現在車両脇見領域臨界の脇見偏向角度を取得するステップは、前記正常注視画像を分析して、前記正常注視標識点を注視する視線角度を決定し、前記正常注視標識点を注視する視線角度の分布に基づいて、第１の正常運転角度を取得するステップと、全ての前記脇見注視画像を分析して、脇見領域の臨界脇見運転角度の分布を取得し、前記脇見領域の臨界脇見運転角度の分布に基づいて、前記脇見領域の臨界脇見運転角度の平均値を計算するステップと、前記第１の正常運転角度と前記臨界脇見運転角度の平均値との間の差値を計算して、全ての前記現在車両臨界の脇見偏向角度を取得するステップと、を含む。

【0019】

好ましくは、前記正常運転角度及び事前決定された前記現在車両臨界の脇見偏向角度に基づいて、前記運転者の、前記現在車両内における非脇見領域及び脇見領域を標定するステップは、前記正常運転角度に基づいて前記現在車両臨界の脇見偏向角度を追加して、脇見領域境界の臨界位置を取得するステップと、前記脇見領域境界の臨界位置に含まれる領域を前記非脇見領域に標定して、前記脇見領域境界の臨界位置に含まれる領域を除いた領域を前記脇見領域に標定するステップと、を含む。

【0020】

本開示の別の態様によれば、脇見領域の自動標定装置をさらに提供し、所定時間帯内で現在車両内に含まれる運転者の複数の顔画像を取り込むように配置される取り込みユニットと、前記複数の顔画像を結合して、前記運転者の、前記現在車両内における正常運転角度を決定するように配置される決定ユニットと、前記正常運転角度及び事前決定された前記現在車両臨界の脇見偏向角度に基づいて、前記運転者の、前記現在車両内における非脇見領域及び脇見領域を標定するように配置される標定ユニットと、を含む。

【0021】

好ましくは、前記決定ユニットは、非正常運転情報を結合して、前記運転者の非正常運転状態を決定して、前記非正常運転状態に対応する画像を全ての顔画像から除去し、正常運転画像セットを取得するように配置される第１の決定モジュールと、前記正常運転画像セットに基づいて、前記正常運転角度を統計して更新するように配置される更新モジュールと、を含む。

【0022】

好ましくは、前記自動標定装置は、前記複数の顔画像を結合して、前記運転者の、前記現在車両内における正常運転角度を決定する前、前記正常運転角度を初期化するように配置される初期化ユニットをさらに含み、前記初期化ユニットは、デフォルト値を使用して、前記正常運転角度を初期化するように配置される第１の初期化モジュール、又は、前記運転者が第１のマークポイントを注視する際の第１の視線角度を使用して、前記正常運転角度を初期化するように配置される第２の初期化モジュールを含む。

【0023】

好ましくは、前記非正常運転情報は、低車速、ステアリング信号のトリガー、脇見偏向、及び握力のうちの少なくとも１つを含む。

【0024】

好ましくは、第１の決定モジュールは、前記現在車両の車両走行速度を取り込むように配置される第１の取り込みサブモジュールと、前記車両の走行速度が所定速度閾値より低い場合、前記運転者が非正常運転状態にあると決定するように配置される第１の決定サブモジュールと、を含む。

【0025】

好ましくは、第１の決定モジュールは、前記現在車両のステアリング信号の信号トリガー状態を取り込むように配置される第２の取り込みサブモジュールと、前記信号トリガー状態が、前記ステアリング信号をトリガーしていないと指示する場合、前記運転者が正常運転状態になると決定する第２の決定サブモジュールと、前記信号トリガー状態が、前記ステアリング信号をトリガーしたと指示する場合、前記現在車両がコーナリング状態にあり、前記運転者が非正常運転状態にあると決定する第３の決定サブモジュールと、を含む。

【0026】

好ましくは、第１の決定モジュールは、前記運転者の顔及び視線角度を取り込むように配置される第３の取り込みサブモジュールと、前記運転者の顔及び視線角度が所定の非正常運転領域にある期間を統計するように配置される第１の統計サブモジュールと、非正常運転領域にある期間が第１の期間閾値に達した場合、前記運転者が非正常運転状態にあると決定するように配置される第４の決定サブモジュールと、を含む。

【0027】

好ましくは、第１の決定モジュールは、前記運転者のステアリングホイールの握力を取り込むように配置される第４の取り込みサブモジュールと、前記ステアリングホイールの握力が所定の握力閾値より低い場合、前記運転者が非正常運転状態にあると決定するように配置される第５の決定サブモジュールと、を含む。

【0028】

好ましくは、前記更新モジュールは、前記正常運転画像セットにおける各画像に対して、顔角度及び視線角度モデルによって、各画像に対応する正常顔及び視線角度値を出力するように配置される出力サブモジュールと、全ての前記正常顔及び視線角度値を統計して、前記正常運転角度を更新するように配置される第２の統計サブモジュールと、を含む。

【0029】

好ましくは、脇見領域の自動標定装置は、所定の関心領域に基づいて、前記現在車両内部の非脇見マーキング領域及び脇見マーキング領域を標定するように配置される領域標定モジュールであって、前記非脇見マーキング領域は正常注視標識点を含み、前記脇見領域は少なくとも境界標識点を含む領域標定モジュールと、複数の運転者が前記正常注視標識点及び前記境界標識点にそれぞれ向かう画像を取り込んで、正常注視画像及び脇見注視画像を取得するように配置される画像取り込みモジュールと、前記正常注視画像及び前記脇見注視画像を分析して、前記現在車両脇見領域臨界の脇見偏向角度を取得する画像分析モジュールと、をさらに含む。

【0030】

好ましくは、前記領域標定モジュールは、所定の関心領域を前記現在車両内部の非脇見マーキング領域として表徴するように配置される第６の決定サブモジュールと、前記非脇見マーキング領域の中心点を決定して、前記正常注視標識点を取得するように配置される第７の決定サブモジュールと、前記非脇見マーキング領域の複数本の境界を決定し、各前記境界を辺として、前記非脇見マーキング領域の外部の脇見マーキング領域を決定するように配置される第８の決定サブモジュールであって、前記境界での任意の点は前記境界標識点として表徴される第８の決定サブモジュールと、を含む。

【0031】

好ましくは、画像分析モジュールは、前記正常注視画像を分析して、前記正常注視標識点を注視する視線角度を決定し、前記正常注視標識点を注視する視線角度の分布に基づいて、第１の正常運転角度を取得するように配置される分析サブモジュールと、全ての前記脇見注視画像を分析して、脇見領域の臨界脇見運転角度の分布を取得し、前記脇見領域の臨界脇見運転角度の分布に基づいて、前記脇見領域の臨界脇見運転角度の平均値を計算するように配置される第１の計算サブモジュールと、前記第１の正常運転角度と前記臨界脇見運転角度の平均値との間の差値を計算して、全ての前記現在車両臨界の脇見偏向角度を取得するように配置される第２の計算サブモジュールと、を含む。

【0032】

好ましくは、前記標定ユニットは、前記正常運転角度に基づいて前記現在車両臨界の脇見偏向角度を追加して、脇見領域境界の臨界位置を取得するように配置される第１の標定モジュールと、前記脇見領域境界の臨界位置に含まれる領域を前記非脇見領域に標定して、前記脇見領域境界の臨界位置に含まれる領域を除いた領域を前記脇見領域に標定するように配置される第２の標定モジュールと、を含む。

【0033】

本開示の別の態様によれば、道路車両をさらに提供し、車両前方のフロントガラスに搭載され、前方道路の道路画像を取り込むように配置される車載カメラと、前記車載カメラに接続され、上記の何れか１項に記載の脇見領域の自動標定方法を実行する車載制御ユニットと、を含む。

【0034】

本開示の別の態様によれば、車載電子機器をさらに提供し、プロセッサーと、前記プロセッサーの実行可能指令を記憶するように配置されるメモリと、を含み、前記プロセッサーは、前記実行可能指令を実行することで、上記の何れか１項に記載の脇見領域の自動標定方法を実行するように配置される。

【0035】

本開示の別の態様によれば、コンピュータ可読記憶媒体をさらに提供し、前記コンピュータ可読記憶媒体は記憶されるコンピュータプログラムを含み、前記コンピュータプログラムが運転すると、上記の何れか１項に記載の脇見領域の自動標定方法を実行するように、前記コンピュータ可読記憶媒体が所在する機器を制御する。

【発明の効果】

【0036】

本開示において、自動標定を使用して、異なる運転者個人及び運転状態に対して追従処理を行って、固定閾値方法に比べると、脇見領域の標定の正確さを向上させ、誤検出を効果的に低減させる。

【0037】

本開示において、多情報融和の解決策を使用して、走行中の非正常運転状態を濾過して、誤検出を避ける。

【0038】

本開示において、所定時間帯内で現在車両内に含まれる運転者の複数の顔画像を使用して、複数の顔画像を結合して、運転者の、現在車両内における正常運転角度を決定し、正常運転角度及び事前決定された現在車両臨界の脇見偏向角度に基づいて、運転者の、現在車両内における非脇見領域及び脇見領域を標定する。本開示において、現在車両内の運転者の複数の顔画像を分析して、自動運転者の、現在車両内における非脇見領域及び脇見領域を標定し、異なる運転者個人及び運転状態に対して追従処理を行って、脇見領域の標定の正確さを向上させ、さらに、脇見状態の検出の正確さを向上させ、関連技術において、運転姿勢又は人員の交換によって脇見領域を変更させ、脇見検出が相変わらず固定脇見領域を使用するため、誤検出を招致するという技術問題を解決する。

【図面の簡単な説明】

【0039】

ここで、図面は本開示に対するさらなる理解を提供して本出願の一部を構成し、本開示の概略的な実施例及びその説明は、本開示に対する不当限定ではなく、本開示を解釈するためのものである。

【図1】本開示の実施例による好適な脇見領域の自動標定方法のフローチャートである。

【図2】本開示の実施例による好適な所定の非正常運転領域の概略図である。

【図3】本開示の実施例による好適な脇見領域標定の概略図である。

【図4】本開示の実施例による好適な脇見領域の自動標定装置の概略図である。

【発明を実施するための形態】

【0040】

当業者が本開示の解決策をよりよく理解するために、以下、本開示の実施例の図面を結合して、本開示の実施例の技術案を明らか且つ完全に記載し、明らかに、記載の実施例は全ての実施例ではなく、本開示の一部の実施例のみである。本開示の実施例に基づいて、当業者が進歩性に値する労働をしないことを前提として、取得した他の全ての実施例は、何れも本開示の保護範囲に属している。

【0041】

ここで、本開示の明細書、請求項及び上記の図面における「第１」、「第２」などの用語は特定の順序又は先後順次を記載していなく、類似の対象を区別するためのものである。ここで、適切な場合、このように使用されるデータは互いに交換されることで、ここに記載の本開示の実施例は、ここで図示又は記載のもの以外の順序で実施されることができる。また、用語である「含む」、「具備」及びこれらの任意の変形は非排他的包含を含むように意図され、例えば、一連のステップ又はユニットを含む過程、方法、システム、製品又は機器は、明らかに挙げられたこれらのステップ又はユニットに限定されず、更に明確に列挙されていない、或いは、このような過程、方法、製品又は設備の固有の要素を含む。

【0042】

本開示は、各種タイプの交通手段（自動車、バス、バイク、飛行機、列車など）に適用され、本実施例の、車両を例とする模式的な説明において、車両脇見領域及び運転者脇見状態の検出を実現する。車両のタイプはカー、トラック、スポーツカー、ＳＵＶ及びＭＩＮＩ車などを含むが、これらに限定されていない。本開示は各種の駐車スペース及び領域において、脇見領域を自動に標定するとともに、標定された脇見領域に基づいて、運転者が脇見状態にあるかどうかを分析し、異なる運転者個人及び運転状態に対して追従処理を行って、固定閾値方法に比べると、脇見検出の正確さを向上させ、誤検出を効果的に低減させる。本開示は脇見領域を自己適応的に調整して、運転姿勢又は人員の交換による脇見の誤検出を避ける。以下、各実施例を結合して本開示を詳しく説明する。

【0043】

実施例一
本開示の実施例によれば、脇見領域の自動標定方法の実施例を提供し、ここで、図面のフローチャートに示されるステップは、例えば、１組のコンピュータ実行可能指令のコンピュータシステムで実行され、フローチャートは論理順序を示すが、ある場合、示され又は記載されるステップをここと異なっている順序で実行してもよい。

【0044】

図１は本開示の実施例による好適な脇見領域の自動標定方法のフローチャートであり、図１に示すように、当該方法は以下のステップを含み、
ステップＳ１０２：所定時間帯内で現在車両内に含まれる運転者の複数の顔画像を取り込む；
ステップＳ１０４：複数の顔画像を結合して、運転者の、現在車両内における正常運転角度を決定する；
ステップＳ１０６：正常運転角度及び事前決定された現在車両臨界の脇見偏向角度に基づいて、運転者の、現在車両内における非脇見領域及び脇見領域を標定する。

【0045】

上記のステップによって、所定時間帯内で現在車両内に含まれる運転者の複数の顔画像を取り込む、複数の顔画像を結合して、運転者の、現在車両内における正常運転角度を決定し、正常運転角度及び事前決定された現在車両臨界の脇見偏向角度に基づいて、運転者の、現在車両内における非脇見領域及び脇見領域を標定する。当該実施例において、現在車両内の運転者の複数の顔画像を分析して、自動運転者の、現在車両内における非脇見領域及び脇見領域を標定し、異なる運転者個人及び運転状態に対して追従処理を行って、脇見領域の標定の正確さを向上させ、さらに、脇見状態の検出の正確さを向上させ、関連技術において、運転姿勢又は人員の交換によって脇見領域を変更させ、脇見検出が相変わらず固定脇見領域を使用するため、誤検出を招致するという技術問題を解決する。

【0046】

以下、上記の各実施のステップを結合して本開示の実施例を詳しく説明する。

【0047】

ステップＳ１０２：所定時間帯内で現在車両内に含まれる運転者の複数の顔画像を取り込む。

【0048】

脇見領域を正確に標定するために、現在車両の所定偏向領域（領域形状及び領域大きさ）を結合して、運転者の運転属性（運転者の体つき及び運転角度）をリアルタイムに配慮し、例えば、運転者の体つき、身長が異なると、標定された脇見領域を変更させる。車内に設けられる撮影モジュールによって、所定時間帯内で運転者の複数の顔画像を取り込んで、脇見領域が正確に標定されたリアルタイム情報を複数の顔画像から回復させる。

【0049】

本実施例の所定時間帯は事前設定され、具体的に、所定時間帯の期間は実際の検出精度要求と関係があり、例えば、１分以内、３０Ｓ以内である。また、撮影モジュールはビデオストリームを取り込んで、本出願において、所定期間のカバーフレームに対してスライド処理を行って、現在フレームを処理した後、次のフレームを入力して、最初フレームを除去し、画像セットを更新した後、画像セットを再び処理することで、リアルタイム且つ自動に標定する。

【0050】

本実施例において、車両内には、車両運転領域に近接するように、少なくとも１つの撮影モジュールが設けられ、上記の撮影モジュールの具体的な搭載位置は限定されず、運転者の顔が含まれる画像を取り込むとよい。撮影モジュールのタイプはカメラ、深度カメラ、赤外線カメラなどを含むが、これらに限定されず、取り込まれた顔画像の画像タイプは、通常ＲＧＢ画像、深度画像、サーマルイメージングなどを含むが、これらに限定されず、本実施例は通常ＲＧＢ画像を例として、概略的に説明する。

【0051】

ステップＳ１０４：複数の顔画像を結合して、運転者の、現在車両内における正常運転角度を決定する。

【0052】

好ましくは、複数の顔画像を結合して、運転者の、現在車両内における正常運転角度を決定するステップは、非正常運転情報を結合して、運転者の非正常運転状態を決定し、非正常運転状態に対応する画像を全ての顔画像から除去し、正常運転画像セットを取得するステップと、正常運転画像セットに基づいて、正常運転角度を統計して更新するステップと、を含む。

【0053】

具体的に、正常運転角度は、現在運転者が現在車両内で運転に専念している時の視線角度を指し、運転に専念することは、運転者の視線が直前方に保持する状態を意味し、電話して、振り向き及びバックミラーを見るなどの状況がない。さらに、正常運転角度はシナリオ変更に連れて変更し、晴天走行において、正常運転角度は直前方に保持し、視野範囲が大きく、トンネルに入って又は霧中走行において、目の前の環境を集束させるために、運転者は無意識に頭を下げて、視野範囲が小さくなり、晴天の直前方位置より、正常運転角度は下に移動し、本出願において、ビデオストリームをリアルタイムに取り込んで、取り込まれたビデオストリームに対してスライド処理をリアルタイムに行って、正常運転角度情報のリアルタイム更新を保証する。また、実際場合において、所定時間帯内に取り込まれた画像セットは、何れも専念する運転者の状態に対応する状態にあるわけではなく、本出願において全ての顔画像における非正常運転状態に対応する画像を削除することで、正常運転画像セットを取得し、正常運転画像セットに基づいて、長時間の正常運転角度を統計して更新する。

【0054】

また、非正常運転情報は、低車速、ステアリング信号のトリガー、脇見偏向、及び握力のうちの少なくとも１つを含む。以下、各非正常運転情報をそれぞれ結合して、運転者の非正常運転状態を決定する方式を説明する。

【0055】

好ましくは、低車速を結合して運転者の非正常運転状態を決定するステップは、現在車両の車両走行速度を取り込むステップと、車両走行速度が所定速度閾値より低いと、運転者が非正常運転状態にあると決定するステップとを含む。

【0056】

本実施例において、一般的に、始動階段及び路肩駐車などのシナリオでは、低速で走行し、環境を見回して、正確に判定し、当該階段は、正常運転階段に属していない。本出願において、車両の車速と所定速度閾値との比較によって低速運転状態にあるかどうかを判定し、所定速度閾値は事前設定され、具体的な所定速度閾値の設定は、実際のユーザーニーズに基づいて決定さればよい。例えば、所定速度閾値を３０ｋｍ／ｈに設定し、現在車両の車速＞３０ｋｍ／ｈであれば、正常車速運転状態とみなされ、車速＜３０ｋｍ／ｈであれば、車速が低速運転状態にあり、運転者が非正常運転状態にあると見なされ、さらに、非正常運転階段に対応するフレームを画像セットから除去する。

【0057】

好ましくは、ステアリング信号のトリガーを結合して、運転者の非正常運転状態を決定するステップは、現在車両のステアリング信号の信号トリガー状態を取り込むステップと、信号トリガー状態がステアリング信号をトリガーしていないと指示すれば、運転者が正常運転状態にあると決定するステップと、信号トリガー状態がステアリング信号をトリガーしたと指示すれば、現在車両がコーナリング状態にあり、運転者が非正常運転状態にあると決定するステップと、を含む。

【0058】

ステアリング又は方向転換の時、ステアリング信号を開始させ、運転者は周囲環境を見回して、正確に判定する。本出願において、ステアリング信号のトリガー状態を検出することで、運転状態の判定を実現し、ステアリング信号がトリガーされていないと、運転者が正常運転状態にあり、ステアリング信号がトリガーされた場合、車両がコーナリング状態にあり、さらに、非正常運転階段に対応するフレームを画像セットから除去する。

【0059】

好ましくは、脇見偏向を結合して、運転者の非正常運転状態を決定するステップは、運転者の顔及び視線角度を取り込むステップと、運転者の顔及び視線角度が所定の非正常運転領域にある期間を統計するステップと、非正常運転領域にある期間が第１の期間閾値に達した場合、運転者が非正常運転状態にあると決定するステップと、を含む。

【0060】

本実施例において、脇見領域の領域範囲は所定の非正常運転領域の以上であり、所定の非正常運転領域はユーザーによって設定され、運転者が明らかに脇見運転の領域にあることを指示する。

【0061】

図２は本開示の実施例による好適な所定の非正常運転領域の概略図であり、図２に示すように、脇見領域を除いた領域は非脇見領域であり、所定の正常運転領域を除いた領域は所定の非正常運転領域であり、正確な自動標定を必要とする脇見領域に比べると、所定の非正常運転領域は、大まかに位置決めされた領域である。視線角度が当該領域に該当すると、運転者が明らかに脇見運転の領域にあることを示し、例えば、運転者が運転している時、視線が長時間に道端の看板に惹かれ、所定の非正常運転領域に長時間にあると、運転者が非正常運転状態にあると決定し、さらに、非正常運転状態に対応するフレームを画像セットから除去する。

【0062】

また、握力を結合して運転者の非正常運転状態を決定するステップは、運転者のステアリングホイールの握力を取り込むステップと、ステアリングホイールの握力が所定の握力閾値より低いと、運転者が非正常運転状態にあると決定するステップと、を含む。

【0063】

実際場合において、運転者が疲労運転などの他の脇見状態にあると、ステアリングホイールの握力が小さくなる。上記の場合に基づいて、本開示の実施例はセンサーによって握力値を取得し、握力を結合して運転者の非正常運転者状態を決定し、本実施例の握力閾値は各車両の車両タイプに応じて、自己適応に事前設定され、ステアリングホイールの握力が所定の握力閾値より低いと、運転者が非正常運転状態にあると決定し、さらに、非正常運転状態に対応するフレームを画像セットから除去する。

【0064】

本出願の実施例において、上記の非正常運転情報に含まれるタイプの任意の組み合わせを限定していなく、非正常運転情報に含まれるタイプの、画像セット選別時の優先度順序を限定していない。

【0065】

好ましくは、正常運転画像セットに基づいて、正常運転角度を統計して更新するステップは、正常運転画像セットにおける各画像に対して顔角度及び視線角度モデルによって各画像に対応する正常顔及び視線角度値を出力するステップと、全ての正常顔及び視線角度値を統計して、正常運転角度を更新するステップと、を含む。

【0066】

車両内の正常運転画像セットを取り込んで後、各画像を分析することで、各画像に対応する正常顔及び視線角度値を決定し、正常運転時の全ての顔及び視線角度値によって、正常運転角度を更新する。本実施例において、画像を顔角度及び視線角度モデルに入力することで、出力された顔及び視線角度出力値を取得する。本開示は、顔角度及び視線角度モデルの形態及びタイプを限定していなく、伝統の幾何学モデルを採用してもよいし、ニューラルネットワークモデルを採用してもよい。本実施例において、長時間正常運転角度を統計して更新し、例えば、最初の６０ｓ内の運転者の正常運転の顔及び視線角度を統計して、平均値を取って、更新する。

【0067】

本実施例の好適な実施形態として、複数の顔画像を結合して、運転者の、現在車両内における正常運転角度を決定する前、方法は、正常運転角度を初期化するステップをさらに含み、デフォルト値を使用して、正常運転角度を初期化するステップ、又は、運転者が第１のマークポイントを注視する際の第１の視線角度を使用して、正常運転角度を初期化するステップを含む。

【0068】

本実施例の第１のマークポイントは単一の点であってもよいし、複数の点の平均値であってもよい。例えば、現在車両のフロントガラスの直前方を第１のマークポイントとしてもよいし、フロントガラスの特定領域に含まれる任意の複数の点の平均値を第１のマークポイントとしてもよい。正常運転角度を初期化することで、自動脇見領域は、正常運転角度が更新された運転モードに迅速且つ滑らかに入って、初期データには極値偏差が存在するため、正常運転角度の初期計算値の誤差が大きすぎって、さらに正常演算に改めて戻って、大量の時間及びリソースを消費することがない。

【0069】

ステップＳ１０６：正常運転角度及び事前決定された現在車両臨界の脇見偏向角度に基づいて、運転者の、現在車両内における非脇見領域及び脇見領域を標定する。

【0070】

また、現在車両臨界の脇見偏向角度を事前決定するステップは、所定の関心領域に基づいて、現在車両内部の非脇見マーキング領域及び脇見マーキング領域を標定するステップであって、非脇見マーキング領域は正常注視標識点を含み、脇見領域は少なくとも境界標識点を含むステップと、複数の運転者が正常注視標識点及び境界標識点にそれぞれ向かう画像を取り込んで、正常注視画像及び脇見注視画像を取得するステップと、正常注視画像及び脇見注視画像を分析して、現在車両脇見領域臨界の脇見偏向角度取得するステップと、を含む。

【0071】

本実施例において、所定の関心領域に基づいて、現在車両内部の非脇見マーキング領域及び脇見マーキング領域を標定するステップは、所定の関心領域を現在車両内部の非脇見マーキング領域として表徴するステップと、前記非脇見マーキング領域の中心点を決定して、正常注視標識点を取得するステップと、非脇見マーキング領域の複数本の境界を決定して、各境界を辺として、非脇見マーキング領域の外部の脇見マーキング領域を決定するステップであって、境界での任意の点は境界標識点として表徴されるステップと、を含む。

【0072】

図３は本開示の実施例による好適な脇見領域標定の概略図であり、図３に示すように、車両内運転領域の画像から関心領域（例えば、図３において、ステアリングホイールの上方に位置するマーキング枠である）を分割し、当該領域は非脇見マーキング領域である。本出願は関心領域の形状を限定していなく、円形、三角形及び四角形などであってもよく、一般的に、工場出荷時、車両の属性に応じて設定され、図３において四角形を例とする。非脇見マーキング領域内に標識位置１を配置し、標識位置１は当該領域内の中心点、即ち、正常注視標識点である。非脇見マーキング領域の複数本の境界を決定して、境界での任意の点は境界標識点として表徴される。図３において、当該非脇見マーキング領域の上下左右という４つの境界に標識位置２、３、４、５をそれぞれ配置し、標識位置２、３、４、５はそれぞれ上、右、下、左の脇見領域の境界位置であり、境界位置を除いた領域は脇見マーキング領域である。具体的に、位置１はフロントガラスの中間であり、位置２はフロントガラスの上側エッジであり、位置３はバックミラーの右側エッジであり、位置４はステアリングホイールの中間であり、位置５は左側バックミラーである。

【0073】

好ましくは、正常注視画像及び各枚の脇見注視画像を分析して、現在車両脇見領域臨界の脇見偏向角度を取得するステップは、正常注視画像を分析し、正常注視標識点を注視する視線角度を決定し、正常注視標識点を注視する視線角度の分布に基づいて、第１の正常運転角度を取得するステップと、全ての脇見注視画像を分析して、各脇見領域の臨界脇見運転角度の分布を取得し、各脇見領域の臨界脇見運転角度の分布に基づいて、各脇見領域の臨界脇見運転角度の平均値を計算するステップと、第１の正常運転角度と臨界脇見運転角度平均値との間の差値を計算して、全ての現在車両臨界の脇見偏向角度を取得するステップと、を含む。

【0074】

図３を例として、本実施例において、運転者の、標識位置１～５に向かう複数の画像を取り込んで、画像を事前訓練されることで得られた顔角度及び視線角度モデルに入力して、顔及び視線角度出力値を出力する。具体的に、注視標識位置１によって取り込まれた画像セットに基づいて、正常注視標識点を注視する時の視線角度の分布を決定し、平均値を計算してＭｅａｎ＿Ａ１、即ち、第１の正常角度を取得し、同じように、注視標識位置２―５によって取り込まれた画像セットに対して臨界脇見運転角度の平均値Ｍｅａｎ＿Ａ２、Ｍｅａｎ＿Ａ３……Ｍｅａｎ＿Ａ５を決定し、第１の正常運転角度と臨界脇見運転角度の平均値との間のヨー及びピッチ方向に基づいて、差値をそれぞれ計算し、全ての現在車両臨界の脇見偏向角度を取得する。例えば、以下の式によって、標識位置２での臨界の脇見偏向角度を計算し、
Ｙａｗ＿Ａ２＿１＝Ｙａｗ（Ｍｅａｎ＿Ａ２）― Ｙａｗ（Ｍｅａｎ＿Ａ１）;
Ｐｉｔｃｈ＿Ａ２＿１＝Ｐｉｔｃｈ（Ｍｅａｎ＿Ａ２）―Ｐｉｔｃｈ（Ｍｅａｎ＿Ａ１）。

【0075】

異なる車両又は脇見領域に基づいて、顔及び視線を取得する脇見偏向角度を設定し、データ訓練モデルを改めて取り込むことを回避し、よい適用性を実現する。

【0076】

本実施例において、各々運転者が正常注視標識点及び境界標識点に向かう角度平均値を計算して、さらに、第１の正常運転角度と臨界脇見運転角度平均値との間の差値を計算し、全ての現在車両臨界の脇見偏向角度を取得し、当該脇見偏向角度及び運転者の正常運転角度によって、運転者の、現在車両内における非脇見領域及び脇見領域を標定する。

【0077】

好ましくは、正常運転角度及び事前決定された現在車両臨界の脇見偏向角度に基づいて、運転者の、現在車両内における非脇見領域及び脇見領域を標定するステップは、正常運転角度に基づいて現在車両臨界の脇見偏向角度を追加し、脇見領域境界の臨界位置を取得するステップと、脇見領域境界の臨界位置に含まれる領域を非脇見領域に標定し、脇見領域境界の臨界位置に含まれる領域を除いた領域を脇見領域に標定するステップと、を含む。

【0078】

出運転者の、現在車両内における非脇見領域及び脇見領域を標定した後、運転者の長時間の脇見状態を出力し、例えば、連続的に５ｓで脇見領域にあると、脇見運転状態であり、さもなければ、正常運転状態であり、車速が閾値に達した場合、又はステアリング信号が開始すると、何れも非脇見状態にあると見なされる。運転者が脇見状態にあるかどうかを検出することで、運転者が脇見状態にあると確認した場合、提示情報（例えば、音声提示、警報音）を適時的に送信して、運転者の事故発生確率を低減させ、車両運転の安全性を向上させる。

【0079】

本開示の実施例において、多情報融和の解決策を使用して、走行中の非正常運転状態を濾過して、誤検出を避けるとともに、本開示の実施例は自動標定をさらに採用して、異なる運転者個人及び運転状態に対して追従処理を行って、固定閾値標定の方式に比べると、本出願は脇見の標定の正確さを向上させ、誤検出を効果的に低減させる。

【0080】

以下、別の好適な実施例を結合して本開示を説明する。

【0081】

実施例二
本実施例は脇見領域の自動標定装置を提供し、当該自動標定装置に含まれる各ユニットは上記の実施例一における各実施ステップに対応する。

【0082】

図４は本開示の実施例による好適な脇見領域の自動標定装置の概略図であり、図４に示すように、当該自動標定装置は、
所定時間帯内で現在車両内に含まれる運転者の複数の顔画像を取り込むように配置される取り込みユニット４１と。
複数の顔画像を結合して、運転者の、現在車両内における正常運転角度を決定するように配置される決定ユニット４３と、
正常運転角度及び事前決定された現在車両臨界の脇見偏向角度に基づいて、運転者の、現在車両内における非脇見領域及び脇見領域を標定するように配置される標定ユニット４５と、を含む。

【0083】

上記の脇見領域的自動標定装置において、取り込みユニット４１によって所定時間帯内で現在車両内に含まれる運転者の複数の顔画像を取り込んで、決定ユニット４３によって複数の顔画像を結合して、運転者の、現在車両内における正常運転角度を決定し、標定ユニット４５によって、正常運転角度及び事前決定された現在車両臨界の脇見偏向角度に基づいて、運転者の、現在車両内における非脇見領域及び脇見領域を標定する。当該実施例において、現在車両内の運転者の複数の顔画像を分析して、自動運転者の、現在車両内における非脇見領域及び脇見領域を標定し、異なる運転者個人及び運転状態に対して追従処理を行って、脇見領域の標定の正確さを向上させ、さらに、脇見状態の検出の正確さを向上させ、関連技術において、運転姿勢又は人員の交換によって脇見領域を変更させ、脇見検出が相変わらず固定脇見領域を使用するため、誤検出を招致するという技術問題を解決する。

【0084】

好ましくは、決定ユニットは、非正常運転情報を結合して、運転者の非正常運転状態を決定し、非正常運転状態に対応する画像を全ての顔画像から除去し、正常運転画像セットを取得するように配置される第１の決定モジュールと、正常運転画像セットに基づいて、正常運転角度を統計して更新するように配置される更新モジュールと、を含む。

【0085】

好ましくは、複数の顔画像を結合して、運転者の、現在車両内における正常運転角度を決定する前、正常運転角度を初期化するように配置される初期化ユニットをさらに含み、初期化ユニットは、デフォルト値を使用して、正常運転角度を初期化するように配置される第１の初期化モジュール、又は、運転者が第１のマークポイントを注視する際の第１の視線角度を使用して、正常運転角度を初期化するように配置される第２の初期化モジュールをさらに含む。

【0086】

好ましくは、非正常運転情報は、低車速、ステアリング信号のトリガー、脇見偏向、及び握力のうちの少なくとも１つを含む。

【0087】

好ましくは、第１の決定モジュールは、現在車両の車両走行速度を取り込むように配置される第１の取り込みサブモジュールと、車両走行速度が所定速度閾値より低い場合、運転者が非正常運転状態にあると決定するように配置される第１の決定サブモジュールと、を含む。

【0088】

好ましくは、第１の決定モジュールは、現在車両のステアリング信号の信号トリガー状態を取り込むように配置される第２の取り込みサブモジュールと、信号トリガー状態が、ステアリング信号をトリガーしていないと指示する場合、運転者が正常運転状態にあると決定するように配置される第２の決定サブモジュールと、信号トリガー状態が、ステアリング信号をトリガーしたと指示する場合、現在車両がコーナリング状態にあり、運転者が非正常運転状態にあると決定するように配置される第３の決定サブモジュールと、を含む。

【0089】

好ましくは、第１の決定モジュールは、運転者の顔及び視線角度を取り込むように配置される第３の取り込みサブモジュールと、運転者の顔及び視線角度が所定の非正常運転領域にある期間を統計するように配置される第１の統計サブモジュールと、非正常運転領域にある期間が第１の期間閾値に達した場合、運転者が非正常運転状態にあると決定するように配置される第４の決定サブモジュールと、を含む。

【0090】

好ましくは、第１の決定モジュールは、運転者のステアリングホイールの握力を取り込むように配置される第４の取り込みサブモジュールと、ステアリングホイールの握力が所定の握力閾値より低い場合、運転者が非正常運転状態にあると決定するように配置される第５の決定サブモジュールと、を含む。

【0091】

好ましくは、更新モジュールは、正常運転画像セットにおける各画像に対して顔角度及び視線角度モデルによって各画像に対応する正常顔及び視線角度値を出力するように配置される出力サブモジュールと、全ての正常顔及び視線角度値を統計して、正常運転角度を更新するように配置される第２の統計サブモジュールと、を含む。

【0092】

好ましくは、脇見領域の自動標定装置は、所定の関心領域に基づいて、現在車両内部の非脇見マーキング領域及び脇見マーキング領域を標定するように配置される領域標定モジュールであって、非脇見マーキング領域は正常注視標識点を含み、脇見領域は少なくとも境界標識点を含む領域標定モジュールと、複数の運転者が正常注視標識点及び境界標識点にそれぞれ向かう画像を取り込んで、正常注視画像及び脇見注視画像を取得するように配置される画像取り込みモジュールと、正常注視画像及び脇見注視画像を分析して、現在車両脇見領域臨界の脇見偏向角度を取得するように配置される画像分析モジュールと、を含む。

【0093】

好ましくは、領域標定モジュールは、所定の関心領域を現在車両内部の非脇見マーキング領域として表徴するように配置される第６の決定サブモジュールと、非脇見マーキング領域の中心点を決定して、正常注視標識点を取得するように配置される第７の決定サブモジュールと、非脇見マーキング領域の複数本の境界を決定して、各境界を辺として、非脇見マーキング領域の外部の脇見マーキング領域を決定するように配置される第８の決定サブモジュールであって、境界での任意の点は境界標識点として表徴される第８の決定サブモジュールと、を含む。

【0094】

好ましくは、画像分析モジュールは、正常注視画像を分析し、正常注視標識点を注視する視線角度を決定し、正常注視標識点を注視する視線角度の分布に基づいて、第１の正常運転角度を取得するように配置される分析サブモジュールと、全ての脇見注視画像を分析して、脇見領域の臨界脇見運転角度の分布を取得し、脇見領域の臨界脇見運転角度の分布に基づいて、脇見領域の臨界脇見運転角度の平均値を計算するように配置される第１の計算サブモジュールと、第１の正常運転角度と臨界脇見運転角度平均値との間の差値を計算して、全ての現在車両臨界の脇見偏向角度を取得するように配置される第２の計算サブモジュールと、を含む。

【0095】

好ましくは、標定ユニットは、正常運転角度に基づいて現在車両臨界の脇見偏向角度を追加し、脇見領域境界の臨界位置を取得するように配置される第１の標定モジュールと、脇見領域境界の臨界位置に含まれる領域を非脇見領域に標定し、脇見領域境界の臨界位置に含まれる領域を除いた領域を脇見領域に標定するように配置される第２の標定モジュールと、を含む。

【0096】

上記の脇見領域の自動標定装置はプロセッサー及びメモリをさらに含み、上記の取り込みユニット４１、決定ユニット４３、標定ユニット４５などは何れもプログラムユニットとしてメモリに記憶され、プロセッサーによって、メモリに記憶される上記のプログラムユニットを実行することで、相応的な機能を実現する。

【0097】

上記のプロセッサーにはカーネルが含まれ、カーネルは相応的なプログラムユニットをメモリから呼び出す。カーネルは１つ又は以上が配置され、カーネルのパラメータを調整することで、正常運転角度及び事前決定された現在車両臨界の脇見偏向角度に基づいて、運転者の、現在車両内における非脇見領域及び脇見領域を標定する。

【0098】

上記のメモリはコンピュータ可読媒体における非永続のメモリ、ランダムアクセスメモリ（ＲＡＭ）及び／又は不揮発性メモリなどの形態、例えば、読み取り専用メモリ（ＲＯＭ）又はフラッシュメモリ（ｆｌａｓｈ ＲＡＭ）を含み、メモリには少なくとも１つの記憶チップが含まれる。

【0099】

本開示の別の態様によれば、道路車両をさらに提供し、車両前方のフロントガラスに搭載され、前方道路の道路画像を取り込むように配置される車載カメラと、車載カメラに接続され、上記の何れか１項の脇見領域の自動標定方法を実行する車載制御ユニットと、を含む。

【0100】

本開示の別の態様によれば、車載電子機器をさらに提供し、プロセッサーと、プロセッサーの実行可能指令を記憶するように配置されるメモリと、を含み、プロセッサーは、実行可能指令を実行することで、上記の何れか１項の脇見領域の自動標定方法を実行するように配置される。

【0101】

本開示の別の態様によれば、コンピュータ可読記憶媒体をさらに提供し、コンピュータ可読記憶媒体は記憶されるコンピュータプログラムを含み、コンピュータプログラムが運転すると、上記の何れか１項の脇見領域の自動標定方法を実行するように、コンピュータ可読記憶媒体が所在する機器を制御する。

【0102】

本出願はコンピュータプログラム製品をさらに提供し、データ処理機器で実行される時、以下の方法ステップのプログラムは初期化の実行に適し、即ち、所定時間帯内で現在車両内に含まれる運転者の複数の顔画像を取り込むステップと、複数の顔画像を結合して、運転者の、現在車両内における正常運転角度を決定するステップと、正常運転角度及び事前決定された現在車両臨界の脇見偏向角度に基づいて、運転者の、現在車両内における非脇見領域及び脇見領域を標定するステップと、を含む。

【0103】

上記の本開示の実施例の番号は実施例の優劣を示していなく、ただ記載のためのものである。

【0104】

本開示の上記の実施例において、各実施例に対する記載は何れも重点を有し、ある実施例において詳しく記載されていない部分について、他の実施例の関連記載を参照すればよい。

【0105】

本出願が提供したいくつかの実施例において、開示した技術内容は他の方式で実現されてもよい。以上に記載の装置実施例はただ概略的なものであり、例えば、前記ユニットの分割は、論理機能の分割であり、実際に実現する時、別の分割方式を有し、例えば、複数のユニット又はコンポーネントは、別のシステムに結合され、又は集積され、或いはいくつかの特徴を無視して、又は実行していない。また、表示され又は議論される相互の間の結合、又は直接的な結合、或いは通信接続は、いくつかのインターフェース、ユニット又はモジュールによる間接的な結合、或いは通信接続であってもよく、電気的又は他の形態であってもよい。

【0106】

前記分離部材として説明されるユニットは物理的に分離してもよいし、そうではなくてもよく、ユニットとして表示される部材は物理ユニットであってもよいし、そうではなくてもよく、即ち、１つの箇所に位置してもよいし、又は複数のユニットに分布されてもよい。実際のニーズに応じて、そのうちの一部又は全てのユニットを選択して、本実施例の解決策の目的を実現する。

【0107】

また、本開示の各実施例における各機能ユニットが、１つの処理ユニットに集積されてもよく、各ユニットが単独に物理的に存在してもよく、２つ又は２つ以上のユニットが１つのユニットに集積されてもよい。上記の集積されたユニットに対して、ハードウェアの形態で実現されてもよいし、ソフトウェア機能ユニットの形態で実現されてもよい。

【0108】

前記集積されたユニットは、ソフトウェア機能ユニットの形態で実現され、独立の製品として販売され又は使用される場合、コンピュータ可読取記憶媒体に記憶されてもよい。このような理解に基づいて、本開示の技術案の本質、又は従来技術に対して貢献を有する部分、又は当該技術案の全て若しくは一部は、ソフトウェア製品の形態で体現され、当該コンピュータソフトウェア製品は１つの記憶媒体に記憶され、１台のコンピュータ機器（パーソナル コンピュータ、サーバー又はネットワーク機器などであってもよい）に本開示の各実施例に記載の方法の全て又は一部のステップを実行させるいくつかの指令を含む。上記記憶媒体はＵディスク、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ―Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ポータブルハードディスク、磁気ディスク又は光ディスクなどのような、プログラムコードを記憶できる各種の媒体を含む。

【0109】

以上は本開示の好適な実施形態のみであり、ここで、当業者にとって、本開示の原理から逸脱しないことを前提として、いくつかの改良及び修飾を行ってもよく、これらの改良及び修飾も本開示の保護範囲と見なされるべきである。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】