特許 7253639 手によるハンドルの把握状態の検出方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-29

(45)【発行日】2023-04-06

(54)【発明の名称】手によるハンドルの把握状態の検出方法及び装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230330BHJP

【ＦＩ】

G06T7/00 660Z

【請求項の数】 34

(21)【出願番号】P 2021557708

(86)(22)【出願日】2020-03-17

(65)【公表番号】

(43)【公表日】2022-06-16

(86)【国際出願番号】 CN2020079742

(87)【国際公開番号】W WO2020192498

(87)【国際公開日】2020-10-01

【審査請求日】2021-10-04

(31)【優先権主張番号】201910245398.8

(32)【優先日】2019-03-28

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】519262146

【氏名又は名称】アークソフト コーポレイション リミテッド

【氏名又は名称原語表記】ＡｒｃＳｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ Ｌｉｍｉｔｅｄ

【住所又は居所原語表記】１９ Ｆｌｏｏｒ，Ｎｏ．３９２ Ｂｉｎｘｉｎｇ Ｒｏａｄ （ＡｒｃＳｏｆｔ Ｂｕｉｌｄｉｎｇ），Ｃｈａｎｇｈｅ Ｓｔｒｅｅｔ，Ｂｉｎｊｉａｎｇ Ｄｉｓｔｒｉｃｔ，Ｈａｎｇｚｈｏｕ，Ｚｈｅｊｉａｎｇ，３１００５２，ＣＨＩＮＡ

(74)【代理人】

【識別番号】110002734

【氏名又は名称】弁理士法人藤本パートナーズ

(72)【発明者】

【氏名】タン，チェン

(72)【発明者】

【氏名】ジャン，ジウェイ

(72)【発明者】

【氏名】ジャン，シアオディ

(72)【発明者】

【氏名】ディン，チュンホォイ

(72)【発明者】

【氏名】ワン，ジン

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０１６－２１９００４（ＪＰ，Ａ）

【文献】特開２０１９－０４０４６５（ＪＰ，Ａ）

【文献】特開２０１０－２１１７０５（ＪＰ，Ａ）

【文献】特開２０１８－１３２９９６（ＪＰ，Ａ）

【文献】T. Hoang Ngan Le et al.，Multiple Scale Faster-RCNN Approach to Driver’s Cell-Phone Usage and Hands on Steering Wheel Detection，2016 IEEE Conference on Computer Vision and Pattern Recognition Workshops ，IEEE，2016年07月01日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7789503

【文献】Eshed Ohn-Bar and Mohan Trivedi，In-Vehicle Hand Activity Recognition Using Integration of Regions，2013 IEEE Intelligent Vehicles Symposium (IV)，2013年06月26日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6629602

【文献】Guido Borghi et al.，Hands on the wheel: A Dataset for Driver Hand Detection and Tracking，2018 13th IEEE International Conference on Automatic Face & Gesture Recognition ，2018年03月19日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8373883

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

手によるハンドルの把握状態の検出方法であって、
目標車両から収集されたビデオストリームを検出し、検出結果を取得するステップと、
前記検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を取得するステップであって、前記ＲＯＩ領域情報１は、前記目標車両のハンドルのＲＯＩ領域情報であり、前記ＲＯＩ領域情報２は、前記目標車両の運転者の手のＲＯＩ領域情報であるステップと、
前記関連状態に応じて前記運転者の手と前記目標車両のハンドルとの間の現在状態を特定するステップと、
前記検出結果に含まれる前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度情報を取得し、前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度状態を特定するステップであって、前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度状態は、前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致するか否かを示すステップと、
を含む、手によるハンドルの把握状態の検出方法。

【請求項2】

前記ビデオストリームは、深度ビデオストリーム、赤外線ＩＲビデオストリーム、及びＲＧＢビデオストリームのうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項3】

目標車両から収集されたビデオストリームを検出し、検出結果を取得するステップは、
前記ビデオストリームにおける画像を検出することで、前記目標車両のハンドル位置及び前記運転者の手部位置を取得し、前記検出結果を取得するステップを含む、請求項１に記載の方法。

【請求項4】

前記検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を取得するステップは、
予め訓練された分類モデルを用いて前記ハンドル位置と前記運転者の手部位置との位置関係を異なる種類に分けるステップであって、前記種類は、前記手部位置が前記ハンドル位置にあること、及び前記手部位置が前記ハンドル位置にないこと、を含むステップを含む、請求項１に記載の方法。

【請求項5】

前記検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を取得するステップは、
前記ハンドル位置と前記運転者の手部位置との前記二次元平面での重複率及び第１閾値を比較し、前記二次元平面でのＲＯＩ領域情報１と前記ＲＯＩ領域情報２との集合状態を特定するステップであって、前記集合状態は、前記二次元平面での前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との共通部分があるか否かを示すステップを含む、請求項１に記載の方法。

【請求項6】

前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度情報に応じて、領域拡張法を利用して手部位置とハンドル位置とが１つの連通領域になるように拡張できるか否かを判断し、前記運転者の手と前記目標車両のハンドルとの間の現在状態を特定するステップをさらに含む、請求項１に記載の方法。

【請求項7】

検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との深度情報を取得し、前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度状態を特定するステップは、
前記ハンドル位置の深度をモデリングし、前記ハンドル位置の深度モデルを取得するステップと、
前記手部位置の実際深度と前記手部位置の前記深度モデルでの理論深度とを取得するステップと、
前記手部位置の実際深度及び理論深度に応じて、前記ハンドル位置と前記手部位置との深度状態を特定するステップと、を含む、請求項１に記載の方法。

【請求項8】

前記ビデオストリームにおける画像を検出し、前記目標車両のハンドル位置を取得するステップは、
前記目標車両のハンドルの初期位置を特定し、前記目標車両のハンドル位置を、前記ビデオストリームにおける画像に応じて前記初期位置内で検出し取得するステップを含む、請求項３に記載の方法。

【請求項9】

前記ビデオストリームにおける画像を検出し、前記運転者の手部位置を取得するステップは、
測位モデルによって、前記ビデオストリームにおける画像に対応する前記運転者の手部位置を取得するステップであって、前記測位モデルは、複数組の訓練データを利用して訓練されたものであり、前記複数組の訓練データのそれぞれは、ビデオストリームにおける画像及び前記ビデオストリームにおける画像に対応する運転者の手部位置を含むステップを含む、請求項３に記載の方法。

【請求項10】

前記ビデオストリームにおける画像を検出し、前記運転者の手部位置を取得するステップは、
前記ビデオストリームにおける画像を検出し、測位することで、前記運転者の腕位置を取得するステップと、
前記腕位置に応じて、前記測位モデルにより取得された手部位置を補正し、前記手部位置を取得するステップと、をさらに含む、請求項９に記載の方法。

【請求項11】

前記運転者の腕位置は、前記ビデオストリームにおける画像から検出された腕に対応する腕沿線上の所定数の点の三次元情報で示される、請求項１０に記載の方法。

【請求項12】

前記関連状態に応じて前記運転者の手と前記目標車両のハンドルとの間の現在状態を特定するステップは、
前記手部位置が前記ハンドル位置にあること、又は、集合状態が前記二次元平面での前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との共通部分が存在することを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を実際把握状態と特定するステップと、
前記手部位置が前記ハンドル位置にないこと、又は、前記集合状態が前記二次元平面での前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との共通部分が存在しないことを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を離脱状態と特定するステップと、を含む、請求項４又は請求項５に記載の方法。

【請求項13】

前記関連状態及び前記深度状態に応じて、前記運転者の手と前記目標車両のハンドルとの間の現在状態を特定するステップを含む、請求項１に記載の方法。

【請求項14】

前記関連状態及び前記深度状態に応じて、前記運転者の手と前記目標車両のハンドルとの間の現在状態を特定するステップは、
集合状態が前記二次元平面での前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との共通部分が存在しないことを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を離脱状態と特定するステップと、
前記集合状態が前記二次元平面での前記ＲＯＩ領域情報２と前記ＲＯＩ領域情報１との共通部分が存在することを示し、且つ前記深度状態が前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致しないことを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を仮把握状態と特定するステップと、
前記集合状態が前記二次元平面での前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との共通部分が存在することを示し、且つ前記深度状態が前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致することを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を実際把握状態と特定するステップと、を含む、請求項１３に記載の方法。

【請求項15】

前記関連状態及び前記深度状態に応じて、前記運転者の手と前記目標車両のハンドルとの間の現在状態を特定するステップは、
前記手部位置が前記ハンドル位置にあり、且つ前記深度状態が前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致しないことを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を仮把握状態と特定するステップと、
前記手部位置が前記ハンドル位置にあり、且つ前記深度状態が前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致することを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を実際把握状態と特定するステップと、
前記手部位置が前記ハンドル位置にない場合、前記運転者の手と前記目標車両のハンドルとの現在状態を離脱状態と特定するステップと、を含む、請求項１３に記載の方法。

【請求項16】

前記運転者の手と前記目標車両のハンドルとの間の現在状態は、両手がハンドルから離れた状態、片手がハンドルから離れた状態、両手が仮に把握している状態、片手が仮に把握している状態、及び両手が実際に把握している状態のうちの１つを含む、請求項１に記載の方法。

【請求項17】

前記検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を取得する前に、
手の数を検出するステップと、
前記手の数が２つであると検出されると、前記ハンドル位置と前記運転者の各手の手部位置との前記二次元平面での関連状態を取得するステップと、をさらに含む、請求項１に記載の方法。

【請求項18】

手によるハンドルの把握状態の検出装置であって、
目標車両から収集されたビデオストリームを検出し、検出結果を取得する検出ユニットと、
前記検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を取得する取得ユニットであって、前記ＲＯＩ領域情報１は、前記目標車両のハンドルのＲＯＩ領域情報であり、前記ＲＯＩ領域情報２は、前記目標車両の運転者の手のＲＯＩ領域情報である取得ユニットと、
前記関連状態に応じて前記運転者の手と前記目標車両のハンドルとの間の現在状態を特定する特定ユニットと、を含み、
前記取得ユニットは、
前記検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との深度情報を取得し、ＲＯＩ領域情報１とＲＯＩ領域情報２との深度状態を特定する深度状態取得モジュールであって、前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度状態は、前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致するか否かを示す深度状態取得モジュールをさらに含む、手によるハンドルの把握状態の検出装置。

【請求項19】

前記ビデオストリームは、深度ビデオストリーム、赤外線ＩＲビデオストリーム、及びＲＧＢビデオストリームのうちの少なくとも１つを含む、請求項１８に記載の装置。

【請求項20】

前記検出ユニットは、
前記ビデオストリームにおける画像を検出することで、前記目標車両のハンドル位置及び前記運転者の手部位置を取得し、前記検出結果を取得する、請求項１８に記載の装置。

【請求項21】

前記取得ユニットは、
予め訓練された分類モデルを用いて前記ハンドル位置と前記運転者の手部位置との位置関係を異なる種類に分ける関連状態取得モジュールであって、前記種類は、前記手部位置が前記ハンドル位置にあること、及び前記手部位置が前記ハンドル位置にないこと、を含む関連状態取得モジュールを含む、請求項１８に記載の装置。

【請求項22】

前記取得ユニットは、
前記ハンドル位置と前記運転者の手部位置との前記二次元平面での重複率及び第１閾値を比較し、前記二次元平面でのＲＯＩ領域情報１と前記ＲＯＩ領域情報２との集合状態を特定する関連状態取得モジュールであって、前記集合状態は、前記二次元平面での前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との共通部分があるか否かを示す関連状態取得モジュールを含む、請求項１８に記載の装置。

【請求項23】

前記深度状態取得モジュールは、さらに、
前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度情報に応じて、領域拡張法を利用して手部位置とハンドル位置とが１つの連通領域になるように拡張できるか否かを判断し、前記運転者の手と前記目標車両のハンドルとの間の現在状態を特定する、請求項１８に記載の装置。

【請求項24】

前記深度状態取得モジュールは、
前記ハンドル位置の深度をモデリングし、前記ハンドル位置の深度モデルを取得するモデリングサブモジュールと、
前記手部位置の実際深度と前記手部位置の前記深度モデルでの理論深度とを取得する取得サブモジュールと、
前記手部位置の実際深度及び理論深度に応じて、前記ハンドル位置と前記手部位置との深度状態を特定する特定サブモジュールと、を含む、請求項１８に記載の装置。

【請求項25】

前記検出ユニットは、
前記目標車両のハンドルの初期位置を特定し、前記目標車両のハンドル位置を、前記ビデオストリームにおける画像に応じて前記初期位置内で検出し取得するハンドル位置検出モジュールを含む、請求項２０に記載の装置。

【請求項26】

前記検出ユニットは、
測位モデルによって、前記ビデオストリームにおける画像に対応する前記運転者の手部位置を取得する手部位置検出モジュールであって、前記測位モデルは、複数組の訓練データを利用して訓練されたものであり、前記複数組の訓練データのそれぞれは、ビデオストリームにおける画像及び前記ビデオストリームにおける画像に対応する運転者の手部位置を含む手部位置検出モジュールを含む、請求項２０に記載の装置。

【請求項27】

前記検出ユニットは、
前記ビデオストリームにおける画像を検出し、測位することで、前記運転者の腕位置を取得する腕位置検出モジュールと、
前記腕位置に応じて、測位モデルにより取得された手部位置を補正し、前記手部位置を取得する手部位置補正モジュールと、をさらに含む、請求項２０に記載の装置。

【請求項28】

前記特定ユニットは、
前記手部位置が前記ハンドル位置にあること、又は、集合状態が前記二次元平面での前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との共通部分が存在することを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を実際把握状態と特定する第１特定サブユニットと、
前記手部位置が前記ハンドル位置にないこと、又は、前記集合状態が前記二次元平面での前記ＲＯＩ領域情報２と前記ＲＯＩ領域情報１との共通部分が存在しないことを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を離脱状態と特定する第２特定サブユニットと、を含む、請求項２１又は請求項２２に記載の装置。

【請求項29】

前記特定ユニットは、
前記集合状態が前記二次元平面での前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との共通部分が存在しないことを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を離脱状態と特定する第３特定サブユニットと、
前記集合状態が前記二次元平面での前記ＲＯＩ領域情報２と前記ＲＯＩ領域情報１との共通部分が存在することを示し、且つ前記深度状態が前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致しないことを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を仮把握状態と特定する第４特定サブユニットと、
前記集合状態が前記二次元平面での前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との共通部分が存在することを示し、且つ前記深度状態が前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致することを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を実際把握状態と特定する第５特定サブユニットと、をさらに含む、請求項１８に記載の装置。

【請求項30】

前記特定ユニットは、
前記手部位置が前記ハンドル位置にあり、且つ前記深度状態が前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致しないことを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を仮把握状態と特定する第６特定サブユニットと、
前記手部位置が前記ハンドル位置にあり、且つ前記深度状態が前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致することを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を実際把握状態と特定する第７特定サブユニットと、
前記手部位置が前記ハンドル位置にない場合、前記運転者の手と前記目標車両のハンドルとの現在状態を離脱状態と特定する第８特定サブユニットと、をさらに含む、請求項１８に記載の装置。

【請求項31】

前記運転者の手と前記目標車両のハンドルとの間の現在状態は、両手がハンドルから離れた状態、片手がハンドルから離れた状態、両手が仮に把握している状態、片手が仮に把握している状態、及び両手が実際に把握している状態のうちの１つを含む、請求項１８に記載の装置。

【請求項32】

前記取得ユニットは、さらに、
前記検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を取得する前に、手の数を検出し、前記検出結果として前記手の数が２つである場合、前記ハンドル位置と前記運転者の各手の手部位置との前記二次元平面での関連状態を取得する、請求項１８に記載の装置。

【請求項33】

記憶されたプログラムを含む記憶媒体であって、
前記プログラムは、請求項１～請求項１７のいずれか１項に記載の手によるハンドルの把握状態の検出方法を実行する記憶媒体。

【請求項34】

プログラムを実行するプロセッサであって、
前記プログラムが実行されると、請求項１～請求項１７のいずれか１項に記載の手によるハンドルの把握状態の検出方法を実行するプロセッサ。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０１９年３月２８日に中国国家知識産権局に提出された、出願番号が２０１９１０２４５３９８．８で、発明の名称が「手によるハンドルの把握状態の検出方法及び装置」である特許出願についての優先権を主張し、その全ての内容は、参照により本公開に組み込まれるものとする。

【0002】

技術分野
本願は、画像検出の技術分野に関し、具体的には、手によるハンドルの把握状態の検出方法及び装置に関する。

【背景技術】

【0003】

現在、自動車は、非常に一般的な交通手段となっている。自家用車や輸送車両の数が急増することで、人々の生活に利便性をもたらしている。一方、運転者の能力や経験の差別、安全意識の不足、過労運転等によって、多くの交通問題を引き起こしてしまう。事故統計によると、ほとんどの交通事故は、運転者が車両の走行中に集中しなかったり、通話したり、メッセージを送信したり、食べたりする等によって引き起こされたものである。運転を妨げるこれらの行動を行う際に、運転者の片手又は両手がハンドルから離れ、ハンドルに対する完全な制御が不能になり、手がハンドルにあるかないかによって、その注意力の分散状況は、大きく異なる。危険が発生する場合、運転者は、直ちに危険に対応することが困難であり、事故を引き起こしてしまう。これに対して、現在、運転者の手がハンドルから離れる行動を監視して警告することを実現できない。

【0004】

上記関連技術では、運転者が車両の運転中にハンドルの把握状態を検出できないという問題に対する効果的な解決案は、いまだに提案されていない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願の実施例は、関連技術において、運転者が車両の運転中にハンドルの把握状態を検出できないという課題を少なくとも解決する、手によるハンドルの把握状態の検出方法及び装置を提供する。

【課題を解決するための手段】

【0006】

本願の実施例に係る一態様によれば、手によるハンドルの把握状態の検出方法が提供され、この方法は、目標車両から収集されたビデオストリームを検出し、検出結果を取得するステップと、前記検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を取得するステップとであって、前記ＲＯＩ領域情報１は、前記目標車両のハンドルのＲＯＩ領域情報であり、前記ＲＯＩ領域情報２は、前記目標車両の運転者の手のＲＯＩ領域情報であるステップと、前記関連状態に応じて前記運転者の手と前記目標車両のハンドルとの間の現在状態を特定するステップと、を含む。

【0007】

好ましくは、前記ビデオストリームは、深度ビデオストリーム、赤外線ＩＲビデオストリーム、及びＲＧＢビデオストリームのうちの少なくとも１つを含む。

【0008】

好ましくは、目標車両から収集されたビデオストリームを検出し、検出結果を取得するステップは、前記ビデオストリームにおける画像を検出し、前記目標車両のハンドル位置及び前記運転者の手部位置を取得し、前記検出結果を取得するステップを含む。

【0009】

好ましくは、前記検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を取得するステップは、予め訓練された分類モデルを用いて前記ハンドル位置と前記運転者の手部位置との位置関係を異なる種類に分けるステップであって、前記種類は、前記手部が前記ハンドル位置にあること、及び前記手部位置が前記ハンドル位置にないこと、を含むステップを含む。

【0010】

好ましくは、前記検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を取得するステップは、前記ハンドル位置と前記運転者の手部位置との前記二次元平面での重複率及び第１閾値を比較し、前記二次元平面でのＲＯＩ領域情報１と前記ＲＯＩ領域情報２との集合状態を特定するステップであって、前記集合状態は、前記二次元平面での前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との共通部分があるか否かを示すステップを含む。

【0011】

好ましくは、前記方法は、前記検出結果に含まれる前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度情報を取得し、前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度状態を特定するステップであって、前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度状態は、前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致するか否かを示すステップをさらに含む。

【0012】

好ましくは、前記方法は、前記ＲＯＩ領域情報１及び前記ＲＯＩ領域情報２の深度情報に応じて、領域拡張法を利用して手部位置とハンドル位置が１つの連通領域になるように拡張できるか否かを判断し、前記運転者の手と前記目標車両のハンドルとの間の現在状態を特定するステップをさらに含む。

【0013】

好ましくは、検出結果に含まれるＲＯＩ領域情報１及びＲＯＩ領域情報２の深度情報を取得し、ＲＯＩ領域情報１とＲＯＩ領域情報２の深度状態を特定するステップは、前記ハンドル位置の深度をモデリングし、前記ハンドル位置の深度モデルを取得するステップと、前記手部位置の実際深度と前記手部位置の前記深度モデルでの理論深とを取得するステップと、前記手部位置の実際深度及び理論深度に応じて、前記ハンドル位置と前記手部位置との深度状態を特定するステップと、を含む。

【0014】

好ましくは、前記ビデオストリームにおける画像を検出し、前記目標車両のハンドル位置を取得するステップは、前記目標車両のハンドルの初期位置を特定し、前記目標車両のハンドル位置を、前記ビデオストリームにおける画像に応じて前記初期位置内で検出し取得するステップを含む。

【0015】

好ましくは、前記ビデオストリームにおける画像を検出し、前記運転者の手部位置を取得するステップは、測位モデルによって、前記ビデオストリームにおける画像に対応する前記運転者の手部位置を取得するステップであって、前記測位モデルは、複数組の訓練データを利用して訓練されたものであり、前記複数組の訓練データのそれぞれは、ビデオストリームにおける画像、及び前記ビデオストリームにおける画像に対応する運転者の手部位置を含むステップを含む。

【0016】

好ましくは、前記ビデオストリームにおける画像を検出し、前記運転者の手部位置を取得するステップは、前記ビデオストリームにおける画像を検出し、測位することで、前記運転者の腕位置を取得するステップと、前記腕位置に応じて、前記測位モデルにより取得された手部位置を補正し、前記手部位置を取得するステップとをさらに含む。

【0017】

好ましくは、前記運転者の腕位置は、前記ビデオストリームにおける画像から検出された腕に対応する腕沿線上の所定数の点の三次元情報で示される。

【0018】

好ましくは、前記関連状態に応じて前記運転者の手と前記目標車両のハンドルとの間の現在状態を特定するステップは、前記手部が前記ハンドル位置にあること、又は、前記集合状態が前記二次元平面での前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との共通部分が存在することを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を実際把握状態と特定するするステップと、前記手部位置が前記ハンドル位置にないこと、又は、前記集合状態が前記二次元平面での前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との共通部分が存在しないことを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を離脱状態と特定するステップと、を含む。

【0019】

好ましくは、前記関連状態と前記深度状態に応じて前記運転者の手と前記目標車両のハンドルとの間の現在状態を特定するステップは前記集合状態が前記二次元平面での前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との共通部分が存在しないことを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を離脱状態と特定するステップと、前記集合状態が前記二次元平面での前記ＲＯＩ領域情報２と前記ＲＯＩ領域情報１との共通部分が存在することを示し、且つ前記深度状態が前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致しないことを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を仮把握状態と特定するステップと、前記集合状態が前記二次元平面での前記ＲＯＩ領域情報２と前記ＲＯＩ領域情報１との共通部分が存在することを示し、且つ前記深度状態が前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致することを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を実際把握状態と特定するステップと、を含む。

【0020】

好ましくは、前記関連状態と前記深度状態に応じて前記運転者の手と前記目標車両のハンドルとの間の現在状態を特定するステップは、前記手部位置が前記ハンドル位置にあり、且つ前記深度状態が前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致しないことを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を仮把握状態と特定するステップと、前記手部位置が前記ハンドル位置にあり、且つ前記深度状態が前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致することを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を実際把握状態と特定するステップと、前記手部位置が前記ハンドル位置にない場合、前記運転者の手と前記目標車両のハンドルとの現在状態を離脱状態と特定するステップと、を含む。

【0021】

好ましくは、前記運転者の手と前記目標車両のハンドルとの間の現在状態は、両手がハンドルから離れた状態、片手がハンドルから離れた状態、両手が仮に把握している状態、片手が仮に把握している状態、及び両手が実際に把握している状態のうちの１つを含む。

【0022】

好ましくは、前記検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を取得する前に、この手によるハンドルの把握状態の検出方法は、手の数を検出するステップと、前記手の数が２つであると検出されると、前記ハンドル位置及び前記運転者の各手の手部位置の前記二次元平面での関連状態を取得するステップとをさらに含む。

【0023】

本願の実施例に係る別の態様によれば、手によるハンドルの把握状態の検出装置がさらに提供され、この装置は、目標車両から収集されたビデオストリームを検出し、検出結果を取得する検出ユニットと、前記検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を取得する取得ユニットであって、前記ＲＯＩ領域情報１は、前記目標車両のハンドルのＲＯＩ領域情報であり、前記ＲＯＩ領域情報２は、前記目標車両の運転者の手のＲＯＩ領域情報である取得ユニットと、前記関連状態に応じて前記運転者の手と前記目標車両のハンドルとの間の現在状態を特定する特定ユニットと、を含む。

【0024】

好ましくは、前記ビデオストリームは、深度ビデオストリーム、赤外線ＩＲビデオストリーム、及びＲＧＢビデオストリームのうちの少なくとも１つを含む。

【0025】

好ましくは、前記検出ユニットは、前記ビデオストリームにおける画像を検出し、前記目標車両のハンドル位置及び前記運転者の手部位置を取得し、前記検出結果を取得する。

【0026】

好ましくは、前記取得ユニットは、予め訓練された分類モデルを用いて前記ハンドル位置と前記運転者の手部位置との位置関係を異なる種類に分ける関連状態取得モジュールであって、前記種類は、前記手部が前記ハンドル位置にあること、及び前記手部位置が前記ハンドル位置にないこと、を含む関連状態取得モジュールを含む。

【0027】

好ましくは、前記取得ユニットは、前記ハンドル位置と前記運転者の手部位置との前記二次元平面での重複率及び第１閾値を比較し、前記二次元平面でのＲＯＩ領域情報１と前記ＲＯＩ領域情報２との集合状態を特定する関連状態取得モジュールであって、前記集合状態は、前記二次元平面での前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との共通部分があるか否かを示す関連状態取得モジュールを含む。

【0028】

好ましくは、前記取得ユニットは、前記検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２の深度情報を取得し、ＲＯＩ領域情報１とＲＯＩ領域情報２との深度状態を特定する深度状態取得モジュールであって、前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度状態は、前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致するか否かを示す深度状態取得モジュールをさらに含む。

【0029】

好ましくは、前記深度状態取得モジュールは、さらに、前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度情報に応じて、領域拡張法を利用して手部位置とハンドル位置が１つの連通領域になるように拡張できるか否かを判断し、前記運転者の手と前記目標車両のハンドルとの間の現在状態を特定する。

【0030】

好ましくは、前記深度状態取得モジュールは、前記ハンドル位置の深度をモデリングし、前記ハンドル位置の深度モデルを取得するモデリングサブモジュールと、前記手部位置の実際深度と前記手部位置の前記深度モデルでの理論深とを取得する取得サブモジュールと、前記手部位置の実際深度及び理論深度に応じて、前記ハンドル位置と前記手部位置の深度状態を特定する特定サブモジュールと、を含む。

【0031】

好ましくは、前記検出ユニットは、前記目標車両のハンドルの初期位置を特定し、前記目標車両のハンドル位置を、前記ビデオストリームにおける画像に応じて前記初期位置内で検出し取得するハンドル位置検出モジュールを含む。

【0032】

好ましくは、前記検出ユニットは、測位モデルによって、前記ビデオストリームにおける画像に対応する前記運転者の手部位置を取得する手部位置検出モジュールであって、前記測位モデルは、複数組の訓練データを利用して訓練されたものであり、前記複数組の訓練データのそれぞれは、ビデオストリームにおける画像、及び前記ビデオストリームにおける画像に対応する運転者の手部位置を含む手部位置検出モジュールを含む。

【0033】

好ましくは、前記検出ユニットは、前記ビデオストリームにおける画像を検出し、測位することで、前記運転者の腕位置を取得する腕位置検出モジュールと、前記腕位置に応じて、前記測位モデルにより取得された手部位置を補正し、前記手部位置を取得する手部位置補正モジュールと、をさらに含む。

【0034】

好ましくは、前記特定ユニットは、前記手部が前記ハンドル位置にあること、又は、前記集合状態が前記二次元平面での前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との共通部分が存在することを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を実際把握状態と特定する第１特定サブユニットと、前記手部位置が前記ハンドル位置にないこと、又は、前記集合状態態が前記二次元平面での前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２ｔの共通部分が存在しないことを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を離脱状態と特定する第２特定サブユニットと、を含む。

【0035】

好ましくは、前記特定ユニットは、前記集合状態が前記二次元平面での前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との共通部分が存在しないことを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を離脱状態と特定する第３の特定サブユニットと、前記集合状態が前記二次元平面での前記ＲＯＩ領域情報２と前記ＲＯＩ領域情報１との共通部分が存在することを示し、前記深度状態が前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致しないことを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を仮把握状態と特定する第４特定サブユニットと、前記集合状態が前記二次元平面での前記ＲＯＩ領域情報２と前記ＲＯＩ領域情報１との共通部分が存在することを示し、且つ前記深度状態が前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致することを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を実際把握状態と特定する第５特定サブユニットとをさらに含む。

【0036】

好ましくは、前記特定ユニットは、前記手部位置が前記ハンドル位置にあり、且つ前記深度状態が前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致しないことを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を仮把握状態と特定する第６特定サブユニットと、前記手部位置が前記ハンドル位置にあり、且つ前記深度状態が前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致することを示す場合、前記運転者の手と前記目標車両のハンドルとの現在状態を実際把握状態と特定する第７特定サブユニットと、前記手部位置が前記ハンドル位置にない場合、前記運転者の手と前記目標車両のハンドルとの現在状態を離脱状態と特定する第８特定サブユニットとをさらに含む。

【0037】

好ましくは、前記運転者の手と前記目標車両のハンドルとの間の現在状態は、両手がハンドルから離れた状態、片手がハンドルから離れた状態、両手が仮に把握している状態、片手が仮に把握している状態、及び両手が実際に把握している状態のうちの１つを含む。

【0038】

好ましくは、前記取得ユニットは、前記検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を取得する前に、手の数を検出し、前記検出結果として前記手の数が２つである場合、前記ハンドル位置及び前記運転者の各手の手部位置の前記二次元平面での関連状態を取得する。

【0039】

本願の実施例に係る別の態様によれば、記憶されたプログラムを含む記憶媒体がさらに提供され、前記プログラムは、上記のいずれかに記載の手によるハンドルの把握状態の検出方法を実行する。

【0040】

本願の実施例に係る別の態様によれば、プログラムを実行する記憶媒体がさらに提供され、前記プログラムが実行されると、上記のいずれかに記載の手によるハンドルの把握状態の検出方法を実行する。

【発明の効果】

【0041】

本願の実施例では、目標車両から収集されたビデオストリームを検出し、検出結果を取得し、検出結果に含まれる目標車両のハンドルのＲＯＩ領域情報であるＲＯＩ領域情報１と目標車両の運転者の手のＲＯＩ領域情報であるＲＯＩ領域情報２との二次元平面での関連状態を取得し、関連状態に応じて運転者の手と目標車両のハンドルとの間の現在状態を特定する方法を用いて、運転者ハンドルの把握状態を検出し、画像から分析された運転者の手のＲＯＩ領域情報１及びハンドルのＲＯＩ領域情報２に基づいて、運転者の手と目標車両のハンドルとの状態を特定する目的を実現し、運転者の手とハンドルとの状態を検出する精度を向上させる技術的効果を実現する。これにより、関連技術において、運転者が車両の運転中にハンドルの把握状態を検出できないという課題を解決できる。

【図面の簡単な説明】

【0042】

ここで説明される図面は、本願に対するさらなる理解を提供するものとして、本願の一部を構成し、本願の例示的な実施例及びその説明は、本願を解釈するためのものとして、本願に対する不適切な限定を構成しない。

【図1】本願の実施例に係る手によるハンドルの把握状態の検出方法のフローチャートである。

【図2】本願の実施例に係る好ましい手によるハンドルの把握状態の検出方法のフローチャートである。

【図3】本願の実施例に係る手によるハンドルの把握状態の検出方法の好適なフローチャートである。

【図4】本願の実施例に係る手によるハンドルの把握状態の検出装置の模式図である。

【発明を実施するための形態】

【0043】

以下、当業者が本願の技術案をよりよく理解できるようにするために、本願の実施形態における技術案について、本願の実施形態の図面を参照しながら明確かつ完全に説明する。明らかに、説明される実施例は、本願の一部の実施例に過ぎず、すべての実施形態ではない。本願の実施形態に基づいて、創造的な作業なしに当業者によって取得された他のすべての実施形態は、本願の保護範囲内に含まれるべきである。

【0044】

なお、本願の明細書、特許請求の範囲、及び上記図面における用語の「第１」、「第２」などは、類似の対象物を区別することを意図したものであり、必ずしも特定の順序又は配列を示すものではない。このように利用されるデータは、適切な状況では交換可能であり、ここに記載する本願の実施例は、ここに図示又は記載される順序以外の順序で実施可能である。また、「含む」、「有する」のような用語又はそれらの変形は、排他的でないものを含むことを意図するものである、例えば、一連のステップ又はユニットを含む工程、方法、システム、製品、又はデバイスは、必ずしも列挙されたステップ又はユニットに限定されるものではなく、明瞭に列挙されていないか、或いは、これらの工程、方法、システム、製品、又はデバイスに固有の他のステップ又はユニットを含むことができる。

【0045】

先進運転支援システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ、ＡＤＡＳと略称）の発展とともに、運転者は、多くの場合、ＡＤＡＳに依存して操作することができる。ただし、ＡＤＡＳシステムに依存しすぎると、システムの悪用のリスクが発生する可能性が高くなり、例えば、低速で行使、後進または駐車する場合には、自律運転システムで車両を制御でき、手をハンドルから離してもよい。一方、高速道路では、ＡＤＡＳは、補助的なものにしか過ぎず、運転者は、車両の運転に集中する必要があり、この際、両手がハンドルから離れることが発生することがない。従って、ＡＤＡＳシステムは、運転者の手のハンドルからの離脱に対する検出を追加する必要があり、シーンによって適切な支援を与える。

【0046】

従来の手のハンドルからの離脱検出は、ハードウェアで検出される。具体的には、ハードウェアによる検出は、静電容量センサで運転者によるハンドルの保持度を直接検出するとのことである。その利点としては、センサが運転者に直接接触し、得られた結果が正確であり、反応感度が高い一方、手離脱検出システムのコストが高くなることが多い。

【0047】

実施例１
本願の実施例によれば、手によるハンドルの把握状態の検出方法の実施例が提供される。なお、図面のフローチャートに示すステップは、例えば、コンピュータが実行できる１組の命令によってコンピュータシステムにおいて実行でき、フローチャートにおいて論理的順序が示されるが、一部の場合、ここと異なる順序で、示される又は説明されるステップを実行してもよい。

【0048】

図１は、本願の実施例に係る手によるハンドルの把握状態の検出方法のフローチャートであり、図１に示すように、この手によるハンドルの把握状態の検出方法は、ステップＳ１０２、ステップＳ１０４、及びステップＳ１０６を含む。

【0049】

ステップＳ１０２において、目標車両から収集されたビデオストリームを検出し、検出結果を取得する。

【0050】

上記ビデオストリームは、深度ビデオストリーム、赤外線ＩＲビデオストリーム、及びＲＧＢビデオストリームのうちの少なくとも１つを含んでもよい。ＩＲは、赤外線Ｉｎｆｒａｒｅｄ Ｒａｄｉａｔｉｏｎの略称であり、無線データの伝送を行うことができる無線通信方式である。車内（例えば、運転室）の光は、通常、車が走行している環境とともに変わり、天気が晴れる昼の場合、車内（例えば、運転室）の光が明るくなり、夜又は曇りの日及びトンネル内の場合、車内（例えば、運転室）の光が暗くなる。一方、赤外カメラは、光の変化の影響を受けにくく、２４時間動作する機能を備えているため、赤外カメラ（近赤外カメラなどを含む）を選択し、一般的なカメラよりも品質が優れる赤外線ＩＲビデオストリームを実現でき、それにより、検出結果の正確性を向上させる。

【0051】

また、本願の実施例では、上記ビデオストリームを収集できる限り、ビデオストリームを収集する収集機器の取り付け位置については具体的に限定しない。収集視点は、目標車両のトップから下への視点、一人称視点、三人称視点であり得る。上記収集機器は、道路要所の監視機器などの道路監視機器であってもよい。

【0052】

また、目標車両から収集されたビデオストリームを検出し、検出結果を取得するステップは、ビデオストリームにおける画像を検出することで、目標車両のハンドル位置及び運転者の手部位置を取得し、検出結果を取得するステップを含んでもよい。

【0053】

１つの好ましい実施例としては、ビデオストリームにおける画像を検出し、目標車両のハンドル位置を取得するステップは、目標車両のハンドルの初期位置を特定し、目標車両のハンドル位置を、ビデオストリームにおける画像に応じて初期位置内で検出し取得するステップを含んでもよい。

【0054】

別の態様では、ビデオストリームにおける画像を検出し、運転者の手部位置を取得するステップは、測位モデルによって、ビデオストリームにおける画像に対応する運転者の手部位置を取得するステップであって、測位モデルは、複数組の訓練データを利用して訓練されたものであり、複数組の訓練データのそれぞれは、ビデオストリームにおける画像及びビデオストリームにおける画像に対応する運転者の手部位置を含むステップを含んでもよい。

【0055】

ステップＳ１０４において、検出結果に含まれる目標車両のハンドルのＲＯＩ領域情報であるＲＯＩ領域情報１と目標車両の運転者の手のＲＯＩ領域情報であるＲＯＩ領域情報２との二次元平面での関連状態を取得する。

【0056】

すなわち、上記検出結果には、目標車両のハンドルのＲＯＩ領域情報及び目標車両の運転者の手のＲＯＩ領域情報がさらに含まれる。

【0057】

一実施例では、検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を取得する方法は、予め訓練された分類モデルを用いてハンドル位置と運転者の手部位置との位置関係を異なる種類に分けるステップであって、種類は、手部位置がハンドル位置にあること、及び手部位置がハンドル位置にないこと、を含む。具体的には、手部位置がハンドル位置にないことは、手部位置が前記ハンドルの下方又は隣接する位置にあることを含んでもよい。

【0058】

別の好ましい実施例では、検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を取得するステップは、ハンドル位置と運転者の手部位置との二次元平面での重複率及び第１閾値を比較し、二次元平面でのＲＯＩ領域情報１とＲＯＩ領域情報２との集合状態を特定するステップであって、集合状態は、二次元平面でのＲＯＩ領域情報１とＲＯＩ領域情報２との共通部分があるか否かを示すステップを含んでもよい。

【0059】

例えば、二次元平面でのハンドル位置と運転者の手部位置との重複率と第１閾値を比較し、比較結果として、二次元平面でのハンドル位置と運転者の手部位置との重複率が第１閾値よりも大きい場合、手部位置がハンドル位置にあることを特定し、比較結果として、二次元平面でのハンドル位置と運転者の手部位置との重複率が第１閾値以下である場合、手部位置がハンドル位置にないことを特定し、それにより、運転者の手と目標車両のハンドルとの位置関係を特定する。

【0060】

ステップＳ１０６において、関連状態に応じて運転者の手と目標車両のハンドルとの間の現在状態を特定する。

【0061】

具体的には、関連状態に応じて運転者の手と目標車両のハンドルとの間の現在状態を特定するステップは、手部位置がハンドル位置にある場合、運転者の手と目標車両のハンドルとの現在状態を実際把握状態と特定するステップと、手部位置がハンドル位置にない場合、運転者の手と目標車両のハンドルとの現在状態を離脱状態と特定するステップと、を含んでもよい。

【0062】

上記ステップによって、目標車両から収集されたビデオストリームを検出し、検出結果を取得し、その後、検出結果に含まれる、目標車両のハンドルのＲＯＩ領域情報であるＲＯＩ領域情報１と目標車両の運転者の手のＲＯＩ領域情報であるＲＯＩ領域情報２との二次元平面での関連状態を取得し、関連状態に応じて運転者の手と目標車両のハンドルとの間の現在状態を特定する。この実施例では、目標車両のビデオストリームを検出して検出結果を取得してから、ＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を特定し、この関連状態に応じて、運転者の手と目標車両のハンドルとの間の現在状態を特定することで、画像から分析された運転者の手のＲＯＩ領域情報１とハンドルのＲＯＩ領域情報２に基づいて、運転者の手と目標車両のハンドルとの状態を特定する目的を実現し、運転者の手とハンドルとの状態を検出する精度を向上させる技術的効果を実現し、これにより、関連技術において、運転者が車両の運転中にハンドルの把握状態を検出できないという課題を解決できる。ただし、この方法では、実質的には、運転者の手部とハンドルとが視覚的に重なっているか否かのみを判断でき、これにより、運転者の手と目標車両のハンドルとの現在状態が実際把握状態であるか、それとも、離脱状態であるかを特定する。運転者がハンドルを仮に把握しており、すなわち、手がハンドルの真上でハンドルを把握するふりをしているが、実際にハンドルに接触していない場合、運転者がハンドルから手を離脱していることを正確に判断することができない。本願の実施例は、運転者の手によるハンドルの把握状態の検出精度をさらに向上させるために、深度ビデオストリームにおける運転者の手と目標車両のハンドルの深度情報を用いることで、両者の深度範囲が一致するか否かを判断し、運転者の手と目標車両のハンドルとの現在状態が実際把握状態であるか、仮把握状態であるか、それとも、離脱状態であるかを特定する。以下に、以下の実施例を参照しながら詳細に説明する。

【0063】

実施例２
本願の実施例によれば、手によるハンドルの把握状態の検出方法の実施例が提供される。なお、図面のフローチャートに示すステップは、例えば、コンピュータが実行できる１組の命令によってコンピュータシステムにおいて実行できる。フローチャートにおいて論理的順序が示されるが、ある場合、ここと異なる順序で、示される又は説明されるステップを実行してもよい。

【0064】

図２は、本願の実施例に係る好ましい手によるハンドルの把握状態の検出方法のフローチャートであり、図２に示すように、この手によるハンドルの把握状態の検出方法は、ステップＳ２０２、ステップＳ２０４、ステップＳ２０６、及びステップＳ２０８を含む。

【0065】

ステップＳ２０２において、目標車両から収集されたビデオストリームを検出し、検出結果を取得する。

【0066】

好ましくは、ビデオストリームは、深度ビデオストリーム、赤外線ＩＲビデオストリーム、及びＲＧＢビデオストリームのうちの少なくとも１つを含む。単一のＲＧＢビデオストリーム、又は、単一の赤外線ＩＲビデオストリーム、又は、ＲＧＢビデオストリームと赤外線ＩＲビデオストリームの組み合わせを用いる場合、運転者の手とハンドルの深度位置を判断できず、仮把握状況を検出できない。また、夜間に運転するとき、ＲＧＢビデオストリームを単独に用いる場合、運転者の手とハンドルとの状態の判断に影響を与える恐れがある。従って、本願の実施例では、検出結果がより全面的になり、適応性がより高くなるように、ビデオストリームは、複数種を含んでもよいが、各種は、いずれも、深度ビデオストリームを含む。

【0067】

また、本願の実施例では、深度ビデオストリームを収集できる限り、ビデオストリームの収集機器については具体的に限定せず、また、上記ビデオストリームを収集できる限り、収集機器の取り付け位置についても具体的に限定しない。収集視点は、目標車両のトップから下への視点、一人称視点、三人称視点であり得る。上記収集機器は、道路要所の監視機器などの道路監視機器であってもよい。

【0068】

ステップＳ２０２において、目標車両から収集されたビデオストリームを検出し、検出結果を取得するステップは、ビデオストリームにおける画像を検出し、目標車両のハンドル位置及び運転者の手部位置を取得し、検出結果を取得するステップを含んでもよい。

【0069】

ステップＳ２０４において、検出結果に含まれる、目標車両のハンドルのＲＯＩ領域情報であるＲＯＩ領域情報１と目標車両の運転者の手のＲＯＩ領域情報であるＲＯＩ領域情報２との二次元平面での関連状態を取得する。

【0070】

ここで、ＲＯＩ領域は、関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩと略称）であり、機器視覚や画像処理では、処理された画像から、四角、円、楕円、不規則な多角形などで描かれた処理すべき領域は、関心領域と呼ばれる。画像を分析する際に、このＲＯＩ領域を画像分析の重点領域とすることができる。ここでのＲＯＩ領域情報は、二次元平面内の座標位置である。

【0071】

１つの好ましい実施例としては、検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を取得するステップは、予め訓練された分類モデルを用いてハンドル位置と運転者の手部位置との位置関係を異なる種類に分けるステップであって、種類は、手部位置がハンドル位置にあること、及び手部位置がハンドル位置にないこと、を含むステップを含んでもよい。

【0072】

別の好ましい実施例としては、検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を取得するステップは、ハンドル位置と運転者の手部位置との二次元平面での重複率及び第１閾値を比較し、ＲＯＩ領域情報１の二次元平面でのＲＯＩ領域情報２との集合状態を特定するステップであって、集合状態は、二次元平面でのＲＯＩ領域情報１とＲＯＩ領域情報２との共通部分があるか否かを示すステップを含んでもよい。

【0073】

例えば、二次元平面でのハンドル位置と運転者の手部位置との重複率と第１閾値を比較し、比較結果として二次元平面でのハンドル位置と運転者の手部位置との重複率が第１閾値よりも大きい場合、手部位置がハンドル位置にあることを特定し、比較結果として二次元平面でのハンドル位置と運転者の手部位置との重複率が第１閾値以下である場合、手部位置がハンドル位置にないことを特定し、それにより、運転者の手と目標車両のハンドルとの位置関係を特定する。

【0074】

ステップＳ２０６において、検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２の深度情報を取得し、ＲＯＩ領域情報１とＲＯＩ領域情報２との深度状態を特定する。

【0075】

好ましくは、ＲＯＩ領域情報１とＲＯＩ領域情報２との深度状態は、ＲＯＩ領域情報１とＲＯＩ領域情報２の深度範囲が一致するか否かを含む。

【0076】

一実施例では、検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２の深度情報を取得し、ＲＯＩ領域情報１とＲＯＩ領域情報２との深度状態を特定するステップは、ハンドル位置（ＲＯＩ領域情報１）の深度をモデリングし、ハンドル位置（ＲＯＩ領域情報１）の深度モデルを取得するステップと、手部位置（ＲＯＩ領域情報２）の実際深度と手部位置（ＲＯＩ領域情報２）の深度モデルでの理論深度とを取得するステップと、手部位置（ＲＯＩ領域情報２）の実際深度及び理論深度に応じて、ハンドル位置（ＲＯＩ領域情報１）と手部位置（ＲＯＩ領域情報２）との深度状態を特定するステップと、を含んでもよい。手部位置（ＲＯＩ領域情報２）の理論深度は、手部位置（ＲＯＩ領域情報２）の実際深度をハンドル位置（ＲＯＩ領域情報１）の深度モデルに入力した後、深度モデルの出力から取得してもよく、ハンドル位置の深度モデルは、複数組の訓練データを用いて機器学習訓練して取得されたものである。

【0077】

一実施例では、手部位置の実際深度及び理論深度に応じて、ハンドル位置と手部位置との深度状態を特定するステップは、手部位置の実際深度及び手部位置の深度モデルでの理論深度と、第２閾値とを比較し、ハンドル位置と手部位置との深度状態を特定するステップを含む。具体的には、手部位置の実際深度及び手部位置の深度モデルでの理論深度が第２閾値よりも大きい場合、手部位置とハンドル位置とが一致しないこと、すなわち、ＲＯＩ領域情報１とＲＯＩ領域情報２との深度範囲が一致しないことを特定し、手部位置の実際深度及び手部位置の深度モデルでの理論深度が第２閾値以下である場合、手部位置とハンドル位置とが一致すること、すなわち、ＲＯＩ領域情報１とＲＯＩ領域情報２との深度範囲が一致することを特定する。

【0078】

ステップＳ２０８において、関連状態及び深度状態に応じて運転者の手と目標車両とのハンドルとの間の現在状態を特定する。

【0079】

１つの好ましい実施例としては、関連状態及び深度状態に応じて運転者の手と目標車両のハンドルとの間の現在状態を特定するステップは、手部位置がハンドル位置にあり、且つ深度状態が手部位置とハンドル位置とが一致しないことを示す場合、運転者の手と目標車両のハンドルとの現在状態を仮把握状態と特定するステップと、手部位置がハンドル位置にあり、且つ深度状態が手部位置とハンドル位置とが一致することを示す場合、運転者の手と目標車両のハンドルとの現在状態を実際把握状態と特定するステップと、手部位置がハンドル位置にない場合、運転者の手と目標車両のハンドルとの現在状態を離脱状態と特定するステップと、を含む。

【0080】

別の好ましい実施例としては、関連状態及び深度状態に応じて運転者の手と目標車両のハンドルとの間の現在状態を特定するステップは、集合状態が二次元平面でのＲＯＩ領域情報１とＲＯＩ領域情報２とに共通部分が存在しないことを示す場合、運転者の手と目標車両のハンドルとの現在状態を離脱状態と特定するするステップと、集合状態が二次元平面でのＲＯＩ領域情報１とＲＯＩ領域情報２とに共通部分が存在することを示し、且つ深度状態が手部位置とハンドル位置とが一致しないことを示す場合、運転者の手と目標車両のハンドルとの現在状態を仮把握状態と特定するステップと、集合状態が二次元平面でのＲＯＩ領域情報１とＲＯＩ領域情報２とに共通部分が存在することを示し、且つ深度状態が手部位置とハンドル位置が一致することを示す場合、運転者の手と目標車両のハンドルとの現在状態を実際把握状態と特定するステップとをさらに含んでもよい。

【0081】

上記ステップによって、目標車両から収集されたビデオストリームを検出し、検出結果を取得し、次に検出結果に含まれる、目標車両のハンドルのＲＯＩ領域情報であるＲＯＩ領域情報１と目標車両の運転者の手のＲＯＩ領域情報であるＲＯＩ領域情報２との二次元平面での関連状態を取得し、検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２の深度情報を取得し、ＲＯＩ領域情報１とＲＯＩ領域情報２との深度状態を特定し、関連状態及び深度状態に応じて運転者の手と目標車両のハンドルとの間の現在状態を特定する。この実施例では、目標車両のビデオストリームを検出し検出結果を取得してから、ＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態及び深度状態を特定し、この関連状態及び深度状態に基づいて運転者の手と目標車両のハンドルとの間の現在状態を特定し、画像から分析された運転者の手のＲＯＩ領域情報１及びハンドルのＲＯＩ領域情報２に基づいて、運転者の手と目標車両のハンドルとの状態を特定する目的を実現する。よって、運転者の手と目標車両のハンドルとの現在状態が実際把握状態であるか、それとも、離脱状態であるかを特定でき、また、さらに仮把握状態をさらに判断でき、運転者の手とハンドルとの状態を検出する精度を向上させる技術的効果を実現し、これにより、関連技術において、運転者が車両の運転中にハンドルの把握状態を検出できないという課題を解決できる。

【0082】

また、運転者の手とハンドルとの状態を検出する精度を向上させるために、１つの好ましい実施例としては、さらにＲＯＩ領域情報１とＲＯＩ領域情報２の深度情報に基づいて、領域拡張法を利用して手部位置とハンドル位置とが１つの連通領域になるように拡張できるか否かを判断し、判断結果として手部位置の領域拡張図とハンドル位置の領域拡張図とが連通領域にならない場合、手部位置とハンドル位置との深度範囲が一致しないことを示し、運転者の手と目標車両のハンドルとの現在状態を仮把握状態と特定する。

【0083】

別の好ましい実施例としては、さらにビデオストリームにおける画像を検出し、測位することで、運転者の腕位置を取得し、腕位置に応じて、測位モデルによって取得された手部位置を補正し、手部位置を取得するか、又は、腕位置及びハンドル位置に応じて、運転者の手と目標車両のハンドルとの現在状態が仮把握状態であるか否かを、さらに判断して特定し、運転者の腕位置は、ビデオストリームにおける画像から検出された腕に対応する腕沿線上の所定数の点の三次元情報で示される。

【0084】

検出結果を精細化するために、前記検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を取得する前に、この手によるハンドルの把握状態の検出方法は、手の数を検出するステップと、手の数が２つであると検出されると、ハンドル位置と運転者の各手の手部位置との二次元平面での関連状態を取得するステップと、をさらに含んでもよい。

【0085】

上記実施例から分かるように、運転者の手と目標車両のハンドルとの間の現在状態は、両手がハンドルから離れた状態、片手がハンドルから離れた状態、両手が仮に把握している状態、片手が仮に把握している状態、及び両手が実際に把握している状態のうちの１つを含み、図３に示されている。

【0086】

例えば、図３は、本願の実施例に係る手によるハンドルの把握状態の検出方法の好適なフローチャートであり、図３に示すように、深度ビデオストリーム、深度ビデオストリームと赤外線ＩＲビデオストリームとの組み合わせ、深度ビデオストリームとＲＧＢビデオストリームとの組み合わせ、深度ビデオストリームと赤外線ＩＲビデオストリームとＲＧＢビデオストリームとの組み合わせのうちのいずれかのビデオストリームを検出モジュールに入力してもよく、すなわち、入力ビデオストリームは、深度ビデオストリームのみ、深度ビデオストリームと赤外線ＩＲビデオストリームとの組み合わせ、深度ビデオストリームとＲＧＢビデオストリームとの組み合わせ、深度ビデオストリームと赤外線ＩＲビデオストリームとＲＧＢビデオストリームとの組み合わせであってもよい。検出モジュールは、受信されたビデオストリームを検出する。検出モジュールがビデオストリームを検出することは、以下の２つのことを含む。

【0087】

第１としては、ビデオストリームにおける画像を検出し、目標車両のハンドル位置を取得するステップは、目標車両のハンドルの初期位置を特定し、目標車両のハンドルの位置１を、ビデオストリームにおける画像に応じて初期位置内で検出し取得するステップを含んでもよい。すなわち、検出モジュールに入力されたビデオストリームに含まれる連続的な画像を検出し、ハンドルに対する検出は、事前の知識に基づいて、およその範囲を取得し、すなわち、初期位置を取得し、このおよその範囲内から検出することで、目標車両のハンドルの位置１を取得するように行われてもよい。図３に示すように、ハンドルの検出を行った後に、ハンドルが検出されたか否かを判断し、判断結果がＹＥＳの場合、ハンドルの位置１を出力し、そうでない場合、戻って再検出する。

【0088】

第２としては、ビデオストリームにおける画像を検出し、運転者の手部位置を取得するステップは、測位モデルによって、ビデオストリームにおける画像に対応する運転者の手部位置を取得するステップであって、測位モデルは、複数組の訓練データを利用して訓練されたものであり、複数組の訓練データのそれぞれは、ビデオストリームにおける画像及びビデオストリームにおける画像に対応する運転者の手部位置を含むステップを含んでもよい。

【0089】

ハンドルが検出された場合、ハンドルのＲＯＩ領域情報１及び目標車両の運転者の手のＲＯＩ領域情報２を図３に示す判断モジュールへ出力し、判断モジュールを起動する。

【0090】

具体的には、この判断モジュールは、検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を取得し、関連状態に応じて運転者の手と目標車両のハンドルとの間の現在状態を特定し、ＲＯＩ領域情報１は、目標車両のハンドルのＲＯＩ領域情報であり、ＲＯＩ領域情報２は、目標車両の運転者の手のＲＯＩ領域情報である。

【0091】

最後に、運転者の手と目標車両のハンドルとの間の現在状態を出力する。

【0092】

本願の実施例に係る手によるハンドルの把握状態の検出方法によって、カメラを用いて目標車両を検出し、目標車両のビデオストリームを取得し、ビデオストリーム（例えば、深度ビデオストリーム、深度ビデオストリームと赤外線ＩＲビデオストリームとの組み合わせ、深度ビデオストリームとＲＧＢビデオストリームとの組み合わせ、深度ビデオストリームと赤外線ＩＲビデオストリームとＲＧＢビデオストリームとの組み合わせのうちのいずれか）をリアルタイムに分析及び検出し、検出結果におけるハンドルと手の位置との二次元平面での関連状態及び深度状態に基づいて、一部の適用では人の手足とハンドルとの位置関係を組み合わせ、運転者の両手がハンドルを把握しているか、片手がハンドルから離れているか、それとも、両手がハンドルから離れているかを判断し、仮把握状況に対しても、正確に判断することができる。また、夜にも利用でき、運転者の手のハンドルからの離脱、仮把握状況を検出する。運転者が運転中、運転者の片手又は両手がハンドルから離れたり、仮に把握したりする行動を監視して警報し、それに対応する補正フィードバックメカニズムを提供し、交通事故の減少に対して重要な意味を持っている。

【0093】

好適には、検出結果として、両手がハンドルから離れたり、仮に把握したりする場合、要求指令を生成し、この要求指令は、目標車両が車線からはずれて交通事故が生じることを防止するために、目標車両を制御して自動運転機能を起動させるためのものである。

【0094】

実施例３
本願の実施例によれば、手によるハンドルの把握状態の検出装置がさらに提供される。なお、本願の実施例の手によるハンドルの把握状態の検出装置は、本願の実施例に係る手によるハンドルの把握状態の検出方法を実行することができる。以下、本願の実施例に係る手によるハンドルの把握状態の検出装置について説明する。

【0095】

図４は、本願の実施例に係る手によるハンドルの把握状態の検出装置の模式図であり、図４に示すように、この手によるハンドルの把握状態の検出装置は、検出ユニット４１と、取得ユニット４３と、特定ユニット４５と、を含む。以下、この手によるハンドルの把握状態の検出装置について詳細に説明する。

【0096】

検出ユニット４１は、目標車両から収集されたビデオストリームを検出し、検出結果を取得する。

【0097】

取得ユニット４３は、検出結果に含まれる、目標車両のハンドルのＲＯＩ領域情報であるＲＯＩ領域情報１と目標車両の運転者の手のＲＯＩ領域情報であるＲＯＩ領域情報２との二次元平面での関連状態を取得する。

【0098】

特定ユニット４５は、関連状態に応じて運転者の手と目標車両のハンドルとの間の現在状態を特定する。

【0099】

この実施例では、検出ユニット４１は、目標車両から収集されたビデオストリームを検出し、検出結果を取得し、取得ユニット４３は、検出結果に含まれる目標車両のハンドルのＲＯＩ領域情報であるＲＯＩ領域情報１と目標車両の運転者の手のＲＯＩ領域情報であるＲＯＩ領域情報２との二次元平面での関連状態を取得し、特定ユニット４５は、関連状態に応じて運転者の手と目標車両のハンドルとの間の現在状態を特定する。この実施例では、目標車両のビデオストリームを検出し検出結果を取得してから、ＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を特定し、この関連状態に応じて運転者の手と目標車両のハンドルとの間の現在状態を特定し、画像から分析された運転者の手のＲＯＩ領域情報１及びハンドルのＲＯＩ領域情報２に基づいて、運転者の手と目標車両のハンドルとの状態を特定する目的を実現する。よって、運転者の手とハンドルとの状態を検出する精度を向上させる技術的効果を実現し、関連技術において、運転者が車両の運転中にハンドルの把握状態を検出できないという課題を解決できる。

【0100】

１つの好ましい実施例としては、ビデオストリームは、深度ビデオストリーム、赤外線ＩＲビデオストリーム、及びＲＧＢビデオストリームのうちの少なくとも１つを含む。

【0101】

１つの好ましい実施例としては、検出ユニット４１は、ビデオストリームにおける画像を検出し、目標車両のハンドル位置及び運転者の手部位置を取得し、検出結果を取得する。

【0102】

１つの好ましい実施例としては、取得ユニット４３は、予め訓練された分類モデルを用いてハンドル位置と運転者の手部位置との位置関係を異なる種類に分ける関連状態取得モジュールであって、種類は、手部位置がハンドル位置にあること、及び手部位置がハンドル位置にないこと含む関連状態取得モジュールを含む。

【0103】

１つの好ましい実施例としては、取得ユニット４３は、ハンドル位置と運転者の手部位置との二次元平面での重複率及び第１閾値を比較し、二次元平面でのＲＯＩ領域情報１とＲＯＩ領域情報２との集合状態を特定する関連状態取得モジュールであって、集合状態は、二次元平面でのＲＯＩ領域情報１とＲＯＩ領域情報２との共通部分があるか否かを示す関連状態取得モジュールを含む。

【0104】

１つの好ましい実施例としては、取得ユニット４３は、検出結果に含まれるＲＯＩ領域情報１及びＲＯＩ領域情報２の深度情報を取得し、ＲＯＩ領域情報１とＲＯＩ領域情報２との深度状態を特定する深度状態取得モジュールであって、ＲＯＩ領域情報１とＲＯＩ領域情報２との深度状態は、ＲＯＩ領域情報１とＲＯＩ領域情報２との深度範囲が一致するか否かを示す深度状態取得モジュールをさらに含む。

【0105】

１つの好ましい実施例としては、深度状態取得モジュールは、さらに、ＲＯＩ領域情報１及びＲＯＩ領域情報２の深度情報に基づいて、領域拡張法を利用して手部位置とハンドル位置とが１つの連通領域になるように拡張できるか否かを判断する。

【0106】

１つの好ましい実施例としては、深度状態取得モジュールは、ハンドル位置の深度をモデリングし、ハンドル位置の深度モデルを取得するモデリングサブモジュールと、手部位置の実際深度及び手部位置の深度モデルでの理論深度を取得する取得サブモジュールと、前記手部位置の実際深度及び理論深度に応じて、前記ハンドル位置と前記手部位置との深度状態を特定する特定サブモジュールと、を含み、理論深度は、手部位置の実際深度をハンドル位置の深度モデルに入力して計算して出力されたものであり、深度モデルは、複数組の訓練データを用いて機器学習訓練して取得されたものである。

【0107】

１つの好ましい実施例としては、検出ユニット４１は、目標車両のハンドルの初期位置を特定し、目標車両のハンドル位置を、ビデオストリームにおける画像に応じて初期位置内で検出し取得するハンドル位置検出モジュールを含む。

【0108】

１つの好ましい実施例としては、検出ユニット４１は、測位モデルによって、ビデオストリームにおける画像に対応する運転者の手部位置を取得する手部位置検出モジュールであって、測位モデルは、複数組の訓練データを利用して訓練されたものであり、複数組の訓練データのそれぞれは、ビデオストリームにおける画像及びビデオストリームにおける画像に対応する運転者の手部位置を含む手部位置検出モジュールを含む。

【0109】

１つの好ましい実施例としては、検出ユニット４１は、ビデオストリームにおける画像を検出し、測位することで、運転者の腕位置を取得する腕位置検出モジュールと、腕位置に応じて、測位モデルにより取得された手部位置を補正し、手部位置を取得する手部位置補正モジュールと、をさらに含んでもよい。

【0110】

１つの好ましい実施例としては、特定ユニット４５は、手部位置がハンドル位置にあること、又は、集合状態が前記二次元平面での前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との共通部分が存在することを示す場合、運転者の手と目標車両のハンドルとの現在状態を実際把握状態と特定する第１特定サブユニットと、手部位置がハンドル位置にないこと、又は、集合状態が二次元平面でのＲＯＩ領域情報１とＲＯＩ領域情報２との共通部分が存在しないことを示す場合、運転者の手と目標車両のハンドルとの現在状態を離脱状態と特定する第２特定サブユニットと、を含む。

【0111】

１つの好ましい実施例としては、特定ユニット４５は、集合状態が二次元平面でのＲＯＩ領域情報１とＲＯＩ領域情報２との共通部分が存在しないことを示す場合、運転者の手と目標車両のハンドルとの現在状態を離脱状態と特定する第３の特定サブユニットと、集合状態が二次元平面でのＲＯＩ領域情報１とＲＯＩ領域情報２との共通部分が存在することを示し、且つ前記深度状態が前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致しないことを示す場合、運転者の手と目標車両のハンドルとの現在状態を仮把握状態と特定する第４特定サブユニットと、集合状態が二次元平面でのＲＯＩ領域情報１とＲＯＩ領域情報２との共通部分が存在することを示し、且つ前記深度状態が前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致することを示す場合、運転者の手と目標車両のハンドルとの現在状態を実際把握状態と特定する第５特定サブユニットと、をさらに含む。

【0112】

１つの好ましい実施例としては、特定ユニット４５は、手部位置がハンドル位置にあり、且つ前記深度状態が前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致しないことを示す場合、運転者の手と目標車両のハンドルとの現在状態を仮把握状態と特定する第６特定サブユニットと、手部位置がハンドル位置にあり、且つ前記ＲＯＩ領域情報１と前記ＲＯＩ領域情報２との深度範囲が一致することを示す場合、運転者の手と目標車両のハンドルとの現在状態を実際把握状態と特定する第７特定サブユニットと、手部位置がハンドル位置にない場合、運転者の手と目標車両のハンドルとの現在状態を離脱状態と特定する第８特定サブユニットと、をさらに含む。

【0113】

１つの好ましい実施例としては、運転者の手と目標車両のハンドルとの間の現在状態は、両手がハンドルから離れた状態、片手がハンドルから離れた状態、両手が仮に把握している状態、片手が仮に把握している状態、及び両手が実際に把握している状態のうちの１つを含む。

【0114】

１つの好ましい実施例としては、取得ユニットは、検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を取得する前に、さらに、手の数を検出し、前記検出結果として前記手の数が２つである場合、前記ハンドル位置及び前記運転者の各手の手部位置との前記二次元平面での関連状態を取得する。

【0115】

上記手によるハンドルの把握状態の検出装置は、プロセッサとメモリと、を含み、上記検出ユニット４１、取得ユニット４３及び特定ユニット４５などは、いずれも、プログラムユニットとしてメモリに記憶され、プロセッサは、メモリに記憶された上記プログラムユニットを実行することで、対応する機能を実現する。

【0116】

上記プロセッサは、メモリから対応するプログラムユニットを呼び出すカーネルを含む。カーネルは、１つ以上設けられてもよく、カーネルのパラメータを調整することで、関連状態に応じて、運転者の手と目標車両のハンドルとの状態を特定する。

【0117】

上記メモリは、コンピュータ読み取り可能な媒体の不揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）及び／又は不揮発性メモリなどの形態（例えば、読み出し専用メモリ（ＲＯＭ）又はフラッシュメモリ（ｆｌａｓｈ ＲＡＭ））を含むことができ、メモリは、少なくとも１つの記憶チップを含む。

【0118】

本願の実施例に係る別の態様によれば、記憶されたプログラムを含む記憶媒体がさらに提供され、プログラムは、上記のいずれかの手によるハンドルの把握状態の検出方法を実行する。

【0119】

本願の実施例に係る別の態様によれば、プログラムを実行するプロセッサがさらに提供され、プログラムが実行されると、上記のいずれかの手によるハンドルの把握状態の検出方法を実行する。

【0120】

本願の実施例では、機器がさらに提供され、この機器は、プロセッサと、メモリと、メモリに記憶され、プロセッサにより実行可能なプログラムとを含み、プロセッサは、プログラムを実行すると、目標車両から収集されたビデオストリームを検出し、検出結果を取得するステップと、検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を取得するステップであって、ＲＯＩ領域情報１は、目標車両のハンドルのＲＯＩ領域情報であり、ＲＯＩ領域情報２は、目標車両の運転者の手のＲＯＩ領域情報であるステップと、関連状態に応じて運転者の手と目標車両のハンドルとの間の現在状態を特定するステップとを実現する。

【0121】

本願の実施例では、コンピュータプログラム製品がさらに提供され、このコンピュータプログラム製品は、データ処理機器において実行されると、以下の方法ステップが初期化されたプログラムを実行する。即ち、目標車両から収集されたビデオストリームを検出し、検出結果を取得するステップ、検出結果に含まれるＲＯＩ領域情報１とＲＯＩ領域情報２との二次元平面での関連状態を取得するステップであって、ＲＯＩ領域情報１は、目標車両のハンドルのＲＯＩ領域情報であり、ＲＯＩ領域情報２は、目標車両の運転者の手のＲＯＩ領域情報であるステップ、及び、関連状態に応じて運転者の手と目標車両のハンドルとの間の現在状態を特定するステップ。

【0122】

上記した本願の実施例の番号は、単に記載用のものであり、実施例の優劣を代表しない。

【0123】

本願の上記実施例では、各実施例の説明の中心が異なり、ある実施例で詳細に説明されていない部分は、他の実施例の関連する説明を参照することができる。

【0124】

本願による一部の実施例では、開示された技術内容は、他の形態で実現されてもよいことを理解できる。例えば、上述した装置の実施例は例示的なものに過ぎず、例えば、前記ユニットの区分は、ロジック機能に応じた区分に過ぎず、実際に実現する際には、別の区分方式が可能であり、例えば、複数のユニット又はコンポーネントは別のシステムに結合又は集積されてもよく、又はいくつかの特徴は無視されても、実行されなくてもよい。また、記載又は検討した相互結合又は直接結合又は通信可能な接続はいくつかのインタフェース、ユニット又はモジュールを介した間接結合又は通信可能な接続としてもよく、電気的、機械的又は他の形態としてもよい。

【0125】

上記で分離部材として説明したユニットは、物理的に分離されていてもよく分離されていなくてもよく、ユニットとして示された部材は、物理ユニットであってもよく、物理ユニットでなくてもよく、即ち、１つの場所に配置されてもよく、複数のネットワークユニットに分散してもよい。実際のニーズに応じてこれらの一部又は全てのユニットを選択して本実施例の技術案の目的を実現してもよい。

【0126】

また、本願の各実施例における各機能ユニットは、１つの検出ユニットに集積されてもよく、各ユニットは個別に物理的に存在してもよく、２つ以上のユニットは１つのユニットに集積されてもよい。上記集積されたユニットがハードウェアの形態として実現されてもよいし、ソフトウェア機能ユニットの形態として実現されてもよい。

【0127】

前記集積されたユニットがソフトウェア機能ユニットの形態として実現され、独立した製品として販売又は利用される場合、コンピュータ読み取り可能な取記憶媒体に記憶されてもよい。このように知見に基づいて、本願の技術案は、本質的に又は従来技術に貢献する部分又は該技術案の全部または一部がソフトウェア製品の形態として具現化してもよく、このコンピュータソフトウェア製品は記憶媒体に記憶され、１台のコンピュータ機器（パーソナルコンピュータ、サーバー、ネットワーク機器又は端末機器などであってもよい）に本願の各実施例に記載の方法の全部又は一部のステップを実行させ得る複数の命令を含む。前述した記憶媒体は、ＵＳＢメモリ、読み出し専用メモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、モバイルディスク、磁気ディスクや光ディスクなど、プログラムコードを記憶し得る様々な媒体であってもよい。

【0128】

以上は、本願の好適な実施の形態に過ぎず、当業者であれば、本願の原理を逸脱することなく、さらに複数の改良及び修飾を行うことができ、これらの改良及び修飾も、本願の保護範囲に含まれるものとすべきである。

【図1】

【図2】

【図3】

【図4】