特表2023-500218運転者行為検出方法、装置、電子機器、記憶媒体及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-01-05
(54)【発明の名称】運転者行為検出方法、装置、電子機器、記憶媒体及びプログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20221223BHJP
G06T 7/00 20170101ALI20221223BHJP
【ＦＩ】
G08G1/16 F
G06T7/00 660Z
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022523602
(86)(22)【出願日】2020-12-10
(85)【翻訳文提出日】2022-04-21
(86)【国際出願番号】 CN2020135501
(87)【国際公開番号】W WO2022027894
(87)【国際公開日】2022-02-10
(31)【優先権主張番号】202010790208.3
(32)【優先日】2020-08-07
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】521098397
【氏名又は名称】上海商▲湯▼▲臨▼港智能科技有限公司
【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩ ＳＥＮＳＥＴＩＭＥ ＬＩＮＧＡＮＧ ＩＮＴＥＬＬＩＧＥＮＴ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
(74)【代理人】
【識別番号】110002468
【氏名又は名称】特許業務法人後藤特許事務所
(72)【発明者】
【氏名】王 飛
(72)【発明者】
【氏名】銭 晨
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181CC04
5H181LL20
5L096AA06
5L096BA04
5L096CA04
5L096DA02
5L096FA69
5L096GA51
5L096HA09
5L096HA11
5L096JA11
5L096JA18
5L096KA04
(57)【要約】
本願の実施例は、運転者行為検出方法、装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラムを提供し、該方法は、車室内の運転位置領域の検出対象画像を取得し、前記検出対象画像を検出し、目標検出結果を取得し、前記目標検出結果がハンドル検出結果及び人の手検出結果を含み、前記目標検出結果に基づいて、運転者の運転行為種類を特定し、前記運転者の運転行為種類が危険運転である場合、警告情報を発することを含む。
【選択図】図１ｂ
【選択図】図１ｂ
【特許請求の範囲】
【請求項1】
車室内の運転位置領域の検出対象画像を取得することと、前記検出対象画像を検出し、目標検出結果を取得し、前記目標検出結果がハンドル検出結果及び人の手検出結果を含むことと、
前記目標検出結果に基づいて、運転者の運転行為種類を特定することと、
前記運転者の運転行為種類が危険運転である場合、警告情報を発することと、を含むことを特徴とする運転者行為検出方法。
【請求項2】
前記ハンドル検出結果にハンドルが含まれ、前記人の手検出結果に人の手が含まれる場合、前記目標検出結果に基づいて、運転者の運転行為種類を特定することは、前記ハンドル検出結果及び前記人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定し、
前記位置関係に基づいて、運転者の運転行為種類を特定することを含むことを特徴とする請求項１に記載の方法。
【請求項3】
前記位置関係に基づいて、運転者の運転行為種類を特定することは、前記位置関係が運転者がハンドルを手で握ることを指示する場合、前記運転者の運転行為種類が安全運転であると特定することを含むことを特徴とする請求項２に記載の方法。
【請求項4】
前記位置関係に基づいて、運転者の運転行為種類を特定することは、前記位置関係が運転者の両手がハンドルから離れたことを指示する場合、前記運転者の運転行為種類が危険運転であると特定することを含むことを特徴とする請求項２に記載の方法。
【請求項5】
前記ハンドル検出結果及び前記人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定することは、前記人の手検出結果に人の手が一つ含まれる場合、前記人の手検出結果における人の手に対応する検出枠と、前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在する場合、前記ハンドルと前記人の手との間の位置関係が運転者がハンドルを手で握ることであると特定し、前記人の手検出結果における人の手に対応する検出枠と前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在しない場合、前記ハンドルと前記人の手との間の位置関係が運転者の両手がハンドルから離れたことであると特定することを含むことを特徴とする請求項２に記載の方法。
【請求項6】
前記ハンドル検出結果及び前記人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定することは、前記人の手検出結果に両手が含まれる場合、前記人の手検出結果における両手に対応する検出枠と、それぞれ前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在しない場合、前記ハンドルと前記人の手との間の位置関係が運転者の両手がハンドルから離れたことであると特定し、前記人の手検出結果における少なくとも一つの人の手に対応する検出枠と前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在する場合、前記ハンドルと前記人の手との間の位置関係が運転者がハンドルを手で握ることであると特定することを含むことを特徴とする請求項２に記載の方法。
【請求項7】
前記ハンドル検出結果及び前記人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定することは、前記検出対象画像に基づいて、前記検出対象画像に対応する中間特徴マップを生成することと、
前記中間特徴マップに少なくとも一回の畳み込み処理を行い、前記中間特徴マップに対応する二チャネルの分類特徴マップを生成し、前記二チャネルの分類特徴マップにおける各チャネル特徴マップが人の手の一つの種類に対応することと、
前記人の手検出結果における人の手に対応する検出枠情報により指示された中心点位置情報に基づいて、前記分類特徴マップから前記中心点位置情報とマッチングする特徴位置における二つの特徴値を抽出し、二つの特徴値から最大特徴値を選択し、前記分類特徴マップにおける、前記最大特徴値に対応するチャネル特徴マップの種類を前記中心点位置情報に対応する種類として特定することと、
前記人の手に対応する検出枠情報により指示された各中心点位置情報に対応する種類に基づいて、前記ハンドルと前記人の手との間の位置関係を特定することと、を含むことを特徴とする請求項２に記載の方法。
【請求項8】
前記人の手に対応する検出枠情報により指示された各中心点位置情報に対応する種類に基づいて、前記ハンドルと人の手との間の位置関係を特定することは、前記人の手に対応する検出枠情報に一つの中心点位置情報が含まれる場合、前記中心点位置情報に対応する種類を、ハンドルと人の手との間の位置関係として特定し、
前記人の手に対応する検出枠情報に二つの中心点位置情報が含まれ、かつ前記二つの中心点位置情報に対応する種類が運転者の手がハンドルから離れたことである場合、前記ハンドルと前記人の手との間の位置関係が運転者の両手がハンドルから離れたことであると特定し、前記二つの中心点位置情報に対応する種類において、少なくとも一つの中心点位置情報に対応する種類が運転者がハンドルを手で握ることである場合、前記ハンドルと前記人の手との間の位置関係が運転者がハンドルを手で握ることであると特定することを含むことを特徴とする請求項７に記載の方法。
【請求項9】
前記ハンドル検出結果にハンドルが含まれ、前記人の手検出結果に人の手が含まれない場合、前記目標検出結果に基づいて、運転者の運転行為種類を特定することは、前記目標検出結果に基づいて、前記運転者の運転行為種類が危険運転であると特定することを含むことを特徴とする請求項１に記載の方法。
【請求項10】
前記検出対象画像を検出し、目標検出結果を取得することは、前記検出対象画像に基づいて、前記検出対象画像に対応する中間特徴マップを生成することと、
前記中間特徴マップに少なくとも一回の目標畳み込み処理を行い、前記中間特徴マップに対応するマルチチャネルの検出特徴マップを生成することと、
活性化関数を利用してマルチチャネルの前記検出特徴マップのうち位置を表す目標チャネル特徴マップの各特徴値に特徴値変換処理を行い、変換された目標チャネル特徴マップを生成することと、
予め設定されたプーリングサイズ及びプーリングステップサイズに応じて、変換された目標チャネル特徴マップに最大プーリング処理を行い、複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスを取得し、前記位置インデックスが前記プーリング値の前記変換された目標チャネル特徴マップにおける位置を識別するために用いられることと、
複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスに基づいて、目標検出枠情報を生成することと、
前記目標検出枠情報に基づいて、前記目標検出結果を特定することと、を含むことを特徴とする請求項１～９のいずれか一項に記載の方法。
【請求項11】
複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスに基づいて、前記目標検出枠情報を生成することは、前記複数のプーリング値に設定されたプーリング閾値より大きいプーリング値が少なくとも一つ存在する場合、前記複数のプーリング値及びプーリング閾値に基づいて、前記複数のプーリング値から目標検出枠の中心点の目標プーリング値を特定し、
前記目標プーリング値に対応する位置インデックスに基づいて、前記目標検出枠情報を生成することを含むことを特徴とする請求項１０に記載の方法。
【請求項12】
複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスに基づいて、前記目標検出枠情報を生成することは、前記複数のプーリング値が設定されたプーリング閾値以下である場合、前記目標検出枠情報が空であると特定することを含むことを特徴とする請求項１０に記載の方法。
【請求項13】
車室内の運転位置領域の検出対象画像を取得するように構成された取得モジュールと、前記検出対象画像を検出し、目標検出結果を取得し、前記目標検出結果がハンドル検出結果及び人の手検出結果を含むように構成された検出モジュールと、
前記目標検出結果に基づいて、運転者の運転行為種類を特定するように構成された特定モジュールと、
前記運転者の運転行為種類が危険運転である場合、警告情報を発するように構成された警告モジュールと、を含むことを特徴とする運転者行為検出装置。
【請求項14】
プロセッサと、メモリと、バスとを含み、前記メモリに前記プロセッサが実行可能な機械可読命令が記憶され、電子機器が動作する場合、前記プロセッサと前記メモリとの間がバスを介して通信し、前記機械可読命令が前記プロセッサにより実行される場合に請求項１～１２のいずれか一項に記載の運転者行為検出方法を実行することを特徴とする電子機器。
【請求項15】
コンピュータプログラムが記憶され、該コンピュータプログラムがプロセッサにより実行される場合、請求項１～１２のいずれか一項に記載の運転者行為検出方法を実行するコンピュータ読み取り可能な記憶媒体。
【請求項16】
コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で動作する場合、前記電子機器内のプロセッサは、請求項１～１２のいずれか一項に記載の運転者行為検出方法を実行するように構成されることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、深層学習の技術分野に関し、具体的には、運転者行為検出方法、装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラムに関する。
【背景技術】
【0002】
車両の急速な発展に伴い、車両は、ユーザーにとって重要な輸送手段になり、車両の安全な運転は、現在の自動車産業における重要な問題の一つとなっている。車両の安全走行は、運転者の運転行為、道路の道路状況、天気状況など、様々な要因により特定される。
【0003】
一般的には、危険な運転行為は、大部分の交通事故を引き起こす主な要因の一つである。したがって、走行の安全性を向上させ、乗客と運転者の安全を保障するために、運転者の運転行為を検出することができる。
【発明の概要】
【0004】
本願の実施例は、少なくとも運転者行為検出方法、装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラムを提供する。
【0005】
本願の実施例は、運転者行為検出方法を提供し、前記方法は、
車室内の運転位置領域の検出対象画像を取得することと、
前記検出対象画像を検出し、目標検出結果を取得し、前記目標検出結果がハンドル検出結果及び人の手検出結果を含むことと、
前記目標検出結果に基づいて、運転者の運転行為種類を特定することと、
前記運転者の運転行為種類が危険運転である場合、警告情報を発することと、を含む。
車室内の運転位置領域の検出対象画像を取得することと、
前記検出対象画像を検出し、目標検出結果を取得し、前記目標検出結果がハンドル検出結果及び人の手検出結果を含むことと、
前記目標検出結果に基づいて、運転者の運転行為種類を特定することと、
前記運転者の運転行為種類が危険運転である場合、警告情報を発することと、を含む。
【0006】
上記方法により、取得された運転位置領域に対応する検出対象画像を検出することにより、目標検出結果を取得し、該目標検出結果にハンドル検出結果及び人の手検出結果が含まれ、目標検出結果に基づいて、運転者の運転行為種類を特定し、かつ運転者の運転行為種類が危険運転である場合、警告情報を発し、運転者の運転行為への検出を実現し、それにより運転者に安全に関する注意喚起を行いやすく、車両運転の安全性を向上させる。
【0007】
本願のいくつかの実施例において、前記ハンドル検出結果にハンドルが含まれ、前記人の手検出結果に人の手が含まれる場合、前記目標検出結果に基づいて、運転者の運転行為種類を特定することは、
前記ハンドル検出結果及び前記人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定し、
前記位置関係に基づいて、運転者の運転行為種類を特定することを含む。
前記ハンドル検出結果及び前記人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定し、
前記位置関係に基づいて、運転者の運転行為種類を特定することを含む。
【0008】
本願のいくつかの実施例において、位置関係に基づいて、運転者の運転行為種類を特定することは、
前記位置関係が運転者がハンドルを手で握ることを指示する場合、前記運転者の運転行為種類が安全運転であると特定することを含む。
前記位置関係が運転者がハンドルを手で握ることを指示する場合、前記運転者の運転行為種類が安全運転であると特定することを含む。
【0009】
本願のいくつかの実施例において、位置関係に基づいて、運転者の運転行為種類を特定することは、
前記位置関係が運転者の両手がハンドルから離れたことを指示する場合、前記運転者の運転行為種類が危険運転であると特定することを含む。
前記位置関係が運転者の両手がハンドルから離れたことを指示する場合、前記運転者の運転行為種類が危険運転であると特定することを含む。
【0010】
本願のいくつかの実施例において、前記ハンドル検出結果及び前記人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定することは、
前記人の手検出結果に人の手が一つ含まれる場合、前記人の手検出結果における人の手に対応する検出枠と、前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在する場合、前記ハンドルと前記人の手との間の位置関係が運転者がハンドルを手で握ることであると特定し、前記人の手検出結果における人の手に対応する検出枠と前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在しない場合、前記ハンドルと前記人の手との間の位置関係が運転者の両手がハンドルから離れたことであると特定することを含む。
前記人の手検出結果に人の手が一つ含まれる場合、前記人の手検出結果における人の手に対応する検出枠と、前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在する場合、前記ハンドルと前記人の手との間の位置関係が運転者がハンドルを手で握ることであると特定し、前記人の手検出結果における人の手に対応する検出枠と前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在しない場合、前記ハンドルと前記人の手との間の位置関係が運転者の両手がハンドルから離れたことであると特定することを含む。
【0011】
本願のいくつかの実施例において、前記ハンドル検出結果及び前記人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定することは、
前記人の手検出結果に両手が含まれる場合、前記人の手検出結果における両手に対応する検出枠と、それぞれ前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在しない場合、前記ハンドルと前記人の手との間の位置関係が運転者の両手がハンドルから離れたことであると特定し、前記人の手検出結果における少なくとも一つの人の手に対応する検出枠と前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在する場合、前記ハンドルと前記人の手との間の位置関係が運転者がハンドルを手で握ることであると特定することを含む。
前記人の手検出結果に両手が含まれる場合、前記人の手検出結果における両手に対応する検出枠と、それぞれ前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在しない場合、前記ハンドルと前記人の手との間の位置関係が運転者の両手がハンドルから離れたことであると特定し、前記人の手検出結果における少なくとも一つの人の手に対応する検出枠と前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在する場合、前記ハンドルと前記人の手との間の位置関係が運転者がハンドルを手で握ることであると特定することを含む。
【0012】
本願のいくつかの実施例において、前記ハンドル検出結果及び前記人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定することは、
前記検出対象画像に基づいて、前記検出対象画像に対応する中間特徴マップを生成することと、
前記中間特徴マップに少なくとも一回の畳み込み処理を行い、前記中間特徴マップに対応する二チャネルの分類特徴マップを生成し、前記二チャネルの分類特徴マップにおける各チャネル特徴マップが人の手の一つの種類に対応することと、
前記人の手検出結果における人の手に対応する検出枠情報により指示された中心点位置情報に基づいて、前記分類特徴マップから前記中心点位置情報とマッチングする特徴位置における二つの特徴値を抽出し、二つの特徴値から最大特徴値を選択し、前記分類特徴マップにおける、前記最大特徴値に対応するチャネル特徴マップの種類を前記中心点位置情報に対応する種類として特定することと、
前記人の手に対応する検出枠情報により指示された各中心点位置情報に対応する種類に基づいて、前記ハンドルと人の手との間の位置関係を特定することと、を含む。
前記検出対象画像に基づいて、前記検出対象画像に対応する中間特徴マップを生成することと、
前記中間特徴マップに少なくとも一回の畳み込み処理を行い、前記中間特徴マップに対応する二チャネルの分類特徴マップを生成し、前記二チャネルの分類特徴マップにおける各チャネル特徴マップが人の手の一つの種類に対応することと、
前記人の手検出結果における人の手に対応する検出枠情報により指示された中心点位置情報に基づいて、前記分類特徴マップから前記中心点位置情報とマッチングする特徴位置における二つの特徴値を抽出し、二つの特徴値から最大特徴値を選択し、前記分類特徴マップにおける、前記最大特徴値に対応するチャネル特徴マップの種類を前記中心点位置情報に対応する種類として特定することと、
前記人の手に対応する検出枠情報により指示された各中心点位置情報に対応する種類に基づいて、前記ハンドルと人の手との間の位置関係を特定することと、を含む。
【0013】
上記実施形態では、ハンドル検出結果を特定し、かつ中間特徴マップに少なくとも一回の畳み込み処理を行うことにより、分類特徴マップを生成し、さらに生成された運転者の手部の中心点位置情報を参照して、ハンドルと人の手との間の位置関係をより正確に特定することができる。
【0014】
本願のいくつかの実施例において、前記人の手に対応する検出枠情報により指示された各中心点位置情報に対応する種類に基づいて、前記ハンドルと人の手との間の位置関係を特定することは、
前記人の手に対応する検出枠情報に一つの中心点位置情報が含まれる場合、前記中心点位置情報に対応する種類を、ハンドルと人の手との間の位置関係として特定し、
前記人の手に対応する検出枠情報に二つの中心点位置情報が含まれ、かつ前記二つの中心点位置情報に対応する種類が運転者の手がハンドルから離れたことである場合、前記ハンドルと前記人の手との間の位置関係が運転者の両手がハンドルから離れたことであると特定し、前記二つの中心点位置情報に対応する種類において、少なくとも一つの中心点位置情報に対応する種類が運転者がハンドルを手で握ることである場合、前記ハンドルと前記人の手との間の位置関係が運転者がハンドルを手で握ることであると特定することを含む。
前記人の手に対応する検出枠情報に一つの中心点位置情報が含まれる場合、前記中心点位置情報に対応する種類を、ハンドルと人の手との間の位置関係として特定し、
前記人の手に対応する検出枠情報に二つの中心点位置情報が含まれ、かつ前記二つの中心点位置情報に対応する種類が運転者の手がハンドルから離れたことである場合、前記ハンドルと前記人の手との間の位置関係が運転者の両手がハンドルから離れたことであると特定し、前記二つの中心点位置情報に対応する種類において、少なくとも一つの中心点位置情報に対応する種類が運転者がハンドルを手で握ることである場合、前記ハンドルと前記人の手との間の位置関係が運転者がハンドルを手で握ることであると特定することを含む。
【0015】
本願のいくつかの実施例において、前記ハンドル検出結果にハンドルが含まれ、前記人の手検出結果に人の手が含まれない場合、前記目標検出結果に基づいて、運転者の運転行為種類を特定することは、
前記目標検出結果に基づいて、前記運転者の運転行為種類が危険運転であると特定することを含む。
前記目標検出結果に基づいて、前記運転者の運転行為種類が危険運転であると特定することを含む。
【0016】
本願のいくつかの実施例において、前記検出対象画像を検出し、目標検出結果を取得することは、
前記検出対象画像に基づいて、前記検出対象画像に対応する中間特徴マップを生成することと、
前記中間特徴マップに少なくとも一回の目標畳み込み処理を行い、前記中間特徴マップに対応するマルチチャネルの検出特徴マップを生成することと、
活性化関数を利用してマルチチャネルの前記検出特徴マップのうち位置を表す目標チャネル特徴マップの各特徴値に特徴値変換処理を行い、変換された目標チャネル特徴マップを生成することと、
予め設定されたプーリングサイズ及びプーリングステップサイズに応じて、変換された目標チャネル特徴マップに最大プーリング処理を行い、複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスを取得し、前記位置インデックスが前記プーリング値の前記変換された目標チャネル特徴マップにおける位置を識別するために用いられることと、
複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスに基づいて、目標検出枠情報を生成することと、
前記目標検出枠情報に基づいて、前記目標検出結果を特定することと、を含む。
前記検出対象画像に基づいて、前記検出対象画像に対応する中間特徴マップを生成することと、
前記中間特徴マップに少なくとも一回の目標畳み込み処理を行い、前記中間特徴マップに対応するマルチチャネルの検出特徴マップを生成することと、
活性化関数を利用してマルチチャネルの前記検出特徴マップのうち位置を表す目標チャネル特徴マップの各特徴値に特徴値変換処理を行い、変換された目標チャネル特徴マップを生成することと、
予め設定されたプーリングサイズ及びプーリングステップサイズに応じて、変換された目標チャネル特徴マップに最大プーリング処理を行い、複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスを取得し、前記位置インデックスが前記プーリング値の前記変換された目標チャネル特徴マップにおける位置を識別するために用いられることと、
複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスに基づいて、目標検出枠情報を生成することと、
前記目標検出枠情報に基づいて、前記目標検出結果を特定することと、を含む。
【0017】
上記実施形態では、目標チャネル特徴マップに最大プーリング処理を行うことにより、複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスを取得し、かつ目標検出枠情報を生成し、目標検出結果の生成にデータサポートを提供する。
【0018】
本願のいくつかの実施例において、前記複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスに基づいて、前記目標検出枠情報を生成することは、
前記複数のプーリング値に設定されたプーリング閾値より大きいプーリング値が少なくとも一つ存在する場合、前記複数のプーリング値及びプーリング閾値に基づいて、前記複数のプーリング値から前記目標検出枠の中心点に属する目標プーリング値を特定し、
前記目標プーリング値に対応する位置インデックスに基づいて、前記目標検出枠情報を生成することを含む。
前記複数のプーリング値に設定されたプーリング閾値より大きいプーリング値が少なくとも一つ存在する場合、前記複数のプーリング値及びプーリング閾値に基づいて、前記複数のプーリング値から前記目標検出枠の中心点に属する目標プーリング値を特定し、
前記目標プーリング値に対応する位置インデックスに基づいて、前記目標検出枠情報を生成することを含む。
【0019】
上記実施形態では、複数のプーリング値のうちプーリング閾値より大きいプーリング値を、ハンドル又は運転者の手部の目標検出枠の中心点に属する目標プーリング値として特定し、目標プーリング値に対応する位置インデックスに基づいて、ハンドル又は運転者の手部の少なくとも一つの目標検出枠情報をより正確に生成する。
【0020】
本願のいくつかの実施例において、前記複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスに基づいて、前記目標検出枠情報を生成することは、
前記複数のプーリング値が設定されたプーリング閾値以下である場合、前記目標検出枠情報が空であると特定することを含む。
前記複数のプーリング値が設定されたプーリング閾値以下である場合、前記目標検出枠情報が空であると特定することを含む。
【0021】
以下の装置、電子機器等の効果説明は、上記方法の説明を参照し、ここで説明を省略する。
【0022】
本願の実施例は、運転者行為検出装置を提供し、前記運転者行為検出装置は、
車室内の運転位置領域の検出対象画像を取得するように構成された取得モジュールと、
前記検出対象画像を検出し、目標検出結果を取得し、前記目標検出結果がハンドル検出結果及び人の手検出結果を含むように構成された検出モジュールと、
前記目標検出結果に基づいて、運転者の運転行為種類を特定するように構成された特定モジュールと、
前記運転者の運転行為種類が危険運転である場合、警告情報を発するように構成された警告モジュールと、を含む。
車室内の運転位置領域の検出対象画像を取得するように構成された取得モジュールと、
前記検出対象画像を検出し、目標検出結果を取得し、前記目標検出結果がハンドル検出結果及び人の手検出結果を含むように構成された検出モジュールと、
前記目標検出結果に基づいて、運転者の運転行為種類を特定するように構成された特定モジュールと、
前記運転者の運転行為種類が危険運転である場合、警告情報を発するように構成された警告モジュールと、を含む。
【0023】
本願の実施例は、電子機器を提供し、プロセッサと、メモリと、バスとを含み、前記メモリに前記プロセッサが実行可能な機械可読命令が記憶され、電子機器が動作する場合、前記プロセッサと前記メモリとの間がバスを介して通信し、前記機械可読命令が前記プロセッサにより実行される場合に上記いずれかの実施形態に記載の運転者行為検出方法を実行する。
【0024】
本願の実施例は、コンピュータ読み取り可能な記録媒体を提供し、該コンピュータ読み取り可能な記録媒体にコンピュータプログラムが記憶され、該コンピュータプログラムがプロセッサにより実行される場合に上記いずれかの実施形態に記載の運転者行為検出方法を実行する。
【0025】
本願の実施例は、コンピュータ可読コードを含むコンピュータプログラムをさらに提供し、前記コンピュータ可読コードが電子機器で動作する場合、前記電子機器内のプロセッサは、上記いずれかの実施形態に記載の運転者行為検出方法を実現するために用いられる。
【0026】
本願の上記目的、特徴及び利点をより明らかにするために、以下、好ましい実施例を挙げ、かつ添付の図面を合わせて、以下のように詳細に説明する。
【図面の簡単な説明】
【0027】
本願の実施例の技術的解決手段をより明確に説明するために、以下に実施例に必要な図面を簡単に紹介し、ここでの図面は、明細書に組み込まれかつ本願明細書の一部を構成し、これらの図面は、本願に合致する実施例を示し、かつ明細書と共に本願の技術的解決手段を説明するために用いられる。理解すべきなのは、以下の図面は、本願のいくつかの実施例のみを示すため、範囲を限定するものと見なされるべきではなく、当業者にとって、創造的な労力を要することなく、これらの図面に基づいて他の関連する図面を取得することができる。
【図1a】本願の実施例の一つの応用シーンの模式図を示す。
【図1b】本願の実施例が提供する運転者行為検出方法のフローチャートを示す。
【図2】本願の実施例が提供する運転者行為検出方法において、検出対象画像を検出し、目標検出結果を取得する具体的な方法のフローチャートを示す。
【図3】本願の実施例が提供する運転者行為検出装置のアーキテクチャ模式図を示す。
【図4】本願の実施例が提供する電子機器の構造模式図を示す。
【発明を実施するための形態】
【0028】
本願の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明確で、完全に説明し、明らかに、説明された実施例は、本願の一部の実施例だけであり、全ての実施例ではない。通常、添付図面に記載されて例示される本願の実施例の構成要素は、様々な異なる構成で構成され、設計され取得する。したがって、以下に図面に提供された本願の実施例に対する詳細な説明は、特許請求される本願の範囲を限定するものではなく、本願の選定された実施例のみを示す。本願の実施例に基づいて、当業者が創造的な労力を要さずに想到し取得する他の実施例は、いずれも本願の保護範囲に属する。
【0029】
危険な運転行為は、大部分の交通事故を引き起こす主な要因の一つであると考えられる。したがって、走行の安全性を向上させ、乗客と運転者の安全を保障するために、運転者の運転行為を検出することができる。したがって、上記問題を解決するために、本願の実施例は、運転者行為検出方法を提供する。
【0030】
本願の実施例を理解しやすくするために、まず、本願の実施例に開示された運転者行為検出方法を詳細に説明する。
【0031】
本願のいくつかの実施例において、前記運転者行為検出方法は、運転者行為検出装置により実行することができ、運転者行為検出装置は、ユーザー装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、モバイル装置、ユーザー端末、端末、携帯電話、コードレス電話、パーソナルデジタル処理（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ハンドヘルド装置、計算装置、車載装置、ウェアラブル装置等であってもよく、前記方法は、プロセッサがメモリに記憶されたコンピュータ可読命令を呼び出す方式により実現することができる。又は、サーバにより該方法を実行することができる。
【0032】
以下、一つの応用シーンを参照して本願をさらに説明する。
【0033】
本願の実施例の運転者行為検出方法は、運転者の運転などの応用シーンに応用することができる。図１ａは、本願の実施例の応用シーンの模式図であり、図１ａに示すように、運転者行為検出装置１０により運転位置領域の検出対象画像１１を取得することができ、検出対象画像１１は、ハンドル１１０及び人の手１１１を含む。運転者行為検出装置１０において、前述の実施例に記載された運転者行為検出により処理を行い、ハンドル１１０及び人の手１１１の検出結果を取得することができる。さらに、ハンドル１１０及び人の手１１１の検出結果に基づいて、運転者の運転行為種類を特定することができ、かつ運転者の運転行為種類が危険運転である場合、運転者行為検出装置１０は、警告情報を発し、運転者の運転行為への検出を実現して運転者に安全に関する注意喚起を行いやすく、車両運転の安全性を向上させる。
【0034】
図１ｂに示すように、本願の実施例が提供する運転者行為検出方法のフローチャートであり、該方法は、Ｓ１０１～Ｓ１０４を含む。ここで、
Ｓ１０１、車室内の運転位置領域の検出対象画像を取得する。
Ｓ１０２、検出対象画像を検出し、目標検出結果を取得し、目標検出結果がハンドル検出結果及び人の手検出結果を含む。
Ｓ１０３、前記目標検出結果に基づいて、運転者の運転行為種類を特定する。
Ｓ１０４、運転者の運転行為種類が危険運転である場合、警告情報を発する。
Ｓ１０１、車室内の運転位置領域の検出対象画像を取得する。
Ｓ１０２、検出対象画像を検出し、目標検出結果を取得し、目標検出結果がハンドル検出結果及び人の手検出結果を含む。
Ｓ１０３、前記目標検出結果に基づいて、運転者の運転行為種類を特定する。
Ｓ１０４、運転者の運転行為種類が危険運転である場合、警告情報を発する。
【0035】
上記方法において、取得された運転位置領域の検出対象画像を検出することにより、目標検出結果を取得し、該目標検出結果には、ハンドル検出結果及び人の手検出結果が含まれ、目標検出結果に基づいて、運転者の運転行為種類を特定し、かつ運転者の運転行為種類が危険運転である場合、警告情報を発する。これにより、運転者の運転行為への検出を実現し、それにより運転者に安全に関する注意喚起を行いやすく、車両運転の安全性を向上させる。
【0036】
Ｓ１０１については、
車室内に撮像装置を設置し、車室内に設置された撮像装置により運転位置領域の検出対象画像をリアルタイムに取得することができる。ここで、該撮像装置の取付位置は、運転位置領域におけるハンドル及び運転席領域を撮像可能な位置であってもよい。
車室内に撮像装置を設置し、車室内に設置された撮像装置により運転位置領域の検出対象画像をリアルタイムに取得することができる。ここで、該撮像装置の取付位置は、運転位置領域におけるハンドル及び運転席領域を撮像可能な位置であってもよい。
【0037】
Ｓ１０２及びＳ１０３については、
ここで、検出対象画像をトレーニングされたニューラルネットワークに入力し、検出対象画像をそれぞれ検出し、目標検出結果を取得することができ、ここで、目標検出結果は、ハンドル検出結果及び人の手検出結果を含む。ハンドル検出結果は、検出対象画像にハンドルが存在するか否かの情報を含み、ハンドルが存在する場合、ハンドル検出結果にハンドルの検出枠情報が含まれる。人の手検出結果は、検出対象画像に人の手の検出枠が存在するか否かの情報を含み、人の手が存在する場合、人の手検出結果に人の手の検出枠情報が含まれる。
ここで、検出対象画像をトレーニングされたニューラルネットワークに入力し、検出対象画像をそれぞれ検出し、目標検出結果を取得することができ、ここで、目標検出結果は、ハンドル検出結果及び人の手検出結果を含む。ハンドル検出結果は、検出対象画像にハンドルが存在するか否かの情報を含み、ハンドルが存在する場合、ハンドル検出結果にハンドルの検出枠情報が含まれる。人の手検出結果は、検出対象画像に人の手の検出枠が存在するか否かの情報を含み、人の手が存在する場合、人の手検出結果に人の手の検出枠情報が含まれる。
【0038】
好ましい実施形態において、図２に示すように、検出対象画像を検出し、目標検出結果を取得することは、以下のステップ２０１～２０６を含むことができる。
Ｓ２０１、検出対象画像に基づいて、検出対象画像に対応する中間特徴マップを生成する。
Ｓ２０２、中間特徴マップに少なくとも一回の目標畳み込み処理を行い、中間特徴マップに対応するマルチチャネルの検出特徴マップを生成する。
Ｓ２０３、活性化関数を利用してマルチチャネルの検出特徴マップのうち位置を表す目標チャネル特徴マップの各特徴値に特徴値変換処理を行い、変換された目標チャネル特徴マップを生成する。
Ｓ２０４、予め設定されたプーリングサイズ及びプーリングステップサイズに応じて、変換された目標チャネル特徴マップに最大プーリング処理を行い、複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスを取得し、位置インデックスがプーリング値の変換された目標チャネル特徴マップにおける位置を識別するために用いられる。
Ｓ２０５、複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスに基づいて、目標検出枠情報を生成する。
Ｓ２０６、目標検出枠情報に基づいて、目標検出結果を特定する。
Ｓ２０１、検出対象画像に基づいて、検出対象画像に対応する中間特徴マップを生成する。
Ｓ２０２、中間特徴マップに少なくとも一回の目標畳み込み処理を行い、中間特徴マップに対応するマルチチャネルの検出特徴マップを生成する。
Ｓ２０３、活性化関数を利用してマルチチャネルの検出特徴マップのうち位置を表す目標チャネル特徴マップの各特徴値に特徴値変換処理を行い、変換された目標チャネル特徴マップを生成する。
Ｓ２０４、予め設定されたプーリングサイズ及びプーリングステップサイズに応じて、変換された目標チャネル特徴マップに最大プーリング処理を行い、複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスを取得し、位置インデックスがプーリング値の変換された目標チャネル特徴マップにおける位置を識別するために用いられる。
Ｓ２０５、複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスに基づいて、目標検出枠情報を生成する。
Ｓ２０６、目標検出枠情報に基づいて、目標検出結果を特定する。
【0039】
上記実施形態では、目標チャネル特徴マップに最大プーリング処理を行うことにより、複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスを取得し、かつ目標検出枠情報を生成し、目標検出結果の生成にデータサポートを提供する。
【0040】
検出対象画像をトレーニングされたニューラルネットワークに入力することができ、トレーニングされたニューラルネットワークにおけるバックボーンネットワークは、検出対象画像に複数回の畳み込み処理を行い、検出対象画像に対応する中間特徴マップを生成する。ここで、ニューラルネットワークにおけるバックボーンネットワークの構造は、実際の必要に応じて設定することができる。
【0041】
ここで、中間特徴マップをそれぞれニューラルネットワークのハンドル検出分岐ネットワーク及び手部検出分岐ネットワークに入力し、ハンドル検出結果及び人の手検出結果を生成することができる。以下、ハンドル検出結果の生成については詳細に説明する。
【0042】
まず、中間特徴マップに少なくとも一回の第１畳み込み処理（すなわち目標畳み込み処理）を行い、ハンドルに対応するマルチチャネルの検出特徴マップを生成することができ、該検出特徴マップに対応するチャネル数は、三チャネルであってもよい。ここで、該検出特徴マップには、位置を表す第１チャネル特徴マップ（該第１チャネル特徴マップが目標チャネル特徴マップである）、検出枠の長さ情報を表す第２チャネル特徴マップ、検出枠の幅情報を表す第３チャネル特徴マップが含まれる。
【0043】
さらに、活性化関数を利用してマルチチャネルの検出特徴マップのうち位置を表す目標チャネル特徴マップに特徴値変換処理を行い、変換された目標チャネル特徴マップを生成することができ、変換された目標チャネル特徴マップにおける各特徴値は、いずれも０～１の間の数値である。ここで、該活性化関数は、ｓｉｇｍｏｉｄ関数であってもよい。変換された目標チャネル特徴マップにおけるいずれかの特徴点の特徴値に対して、該特徴値が１となるほど、該特徴値に対応する特徴点がハンドルの検出枠の中心点に属する確率が大きくなる。
【0044】
次に、予め設定されたプーリングサイズ及びプーリングステップサイズに応じて、変換された目標チャネル特徴マップに最大プーリング処理を行い、目標チャネル特徴マップにおける各特徴位置に対応するプーリング値及び各プーリング値に対応する位置インデックスを取得することができる。位置インデックスは、プーリング値の変換された目標チャネル特徴マップにおける位置を識別するために用いられる。さらに、各特徴位置に対応する位置インデックスのうち同じ位置インデックスを合併処理し、該目標チャネル特徴マップに対応する複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスを取得することができる。ここで、予め設定されたプーリングサイズ及びプーリングステップサイズは、実際の必要に応じて設定することができ、例えば、予め設定されたプーリングサイズは、３×３であってもよく、予め設定されたプーリングステップサイズは、１であってもよい。
【0045】
さらに、複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスに基づいて、ハンドルに対応する第１検出枠情報（すなわち目標検出枠情報）を生成することができる。
【0046】
本願のいくつかの実施例において、目標チャネル特徴マップにプーリングサイズが３×３であり、ステップサイズが１である最大プーリング処理を行うことができる。プーリング時に、３×３個の特徴点ごとの目標チャネル特徴マップにおける特徴値に対して、３×３個の特徴点の最大応答値（すなわちプーリング値）及び最大応答値の目標チャネル特徴マップにおける位置インデックスを特定する。このとき、最大応答値の数は、目標チャネル特徴マップのサイズに関連する。例えば目標チャネル特徴マップのサイズが８０×６０×３である場合、目標チャネル特徴マップに最大プーリング処理を行った後、得られた最大応答値は、合計で８０×６０個であり、かつ各最大応答値に対して、その位置インデックスと同じである他の最大応答値が少なくとも一つ存在する可能性がある。次に、位置インデックスが同じである最大応答値を合併し、Ｍ個の最大応答値、及びＭ個の最大応答値のうちの各最大応答値に対応する位置インデックスを取得する。最後に、Ｍ個の最大応答値（プーリング値）及び各最大応答値に対応する位置インデックスに基づいて、ハンドルに対応する第１検出枠情報を生成する。
【0047】
ここで、人の手に対応する第２検出枠情報の特定過程は、ハンドルに対応する第１検出枠情報の特定過程を参照することができ、ここで説明を省略する。
【0048】
ハンドルに対応する第１検出枠情報を取得した後、第１検出枠情報をハンドル検出結果として特定することができる。ハンドルに対応する第１検出枠情報を取得しいない場合、ハンドル検出結果がハンドルを含まないと特定する。人の手に対応する第２検出枠情報を取得した後、第２検出枠情報を人の手検出結果として特定することができる。人の手に対応する第２検出枠情報を取得しいない場合、人の手検出結果が人の手を含まないと特定する。
【0049】
好ましい実施形態において、複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスに基づいて、目標検出枠情報を生成することは、以下のステップＡ１及びステップＡ２を含むことができる。
ステップＡ１：複数のプーリング値に設定されたプーリング閾値より大きいプーリング値が少なくとも一つ存在する場合、複数のプーリング値及びプーリング閾値に基づいて、複数のプーリング値から目標検出枠の中心点の目標プーリング値を特定する。
ステップＡ２：目標プーリング値に対応する位置インデックスに基づいて、目標検出枠情報を生成する。
ステップＡ１：複数のプーリング値に設定されたプーリング閾値より大きいプーリング値が少なくとも一つ存在する場合、複数のプーリング値及びプーリング閾値に基づいて、複数のプーリング値から目標検出枠の中心点の目標プーリング値を特定する。
ステップＡ２：目標プーリング値に対応する位置インデックスに基づいて、目標検出枠情報を生成する。
【0050】
ハンドルを例として説明し続け、ここで、プーリング閾値を設定することができ、複数のプーリング値に設定されたプーリング閾値より大きいプーリング値が少なくとも一つ存在する場合、設定されたプーリング閾値に基づいて複数のプーリング値を選別し、複数のプーリング値のうちプーリング閾値より大きい一つの目標プーリング値を取得する。複数のプーリング値のうちの各プーリング値が設定されたプーリング閾値以下である場合、目標プーリング値が存在せず、すなわちハンドルの第１検出枠情報が存在しない。
【0051】
さらに、目標プーリング値に対応する位置インデックスに基づいて、ハンドルに対応する第１検出枠の中心点位置情報を生成することができる。ここで、ハンドルに対応するプーリング閾値と運転者の手部に対応するプーリング閾値は、同じであってもよく、異なってもよい。具体的には、ハンドルに対応するプーリング閾値と運転者の手に対応するプーリング閾値は、実際の状況に応じて特定することができる。例えば、検出対象画像に対応する撮像装置により収集されたマルチフレームのサンプル画像を取得し、収集されたマルチフレームのサンプル画像に基づいて自己適応アルゴリズムを利用して、それぞれハンドルに対応するプーリング閾値と運転者の手部に対応するプーリング閾値を生成する。
【0052】
上記例の説明を続け、Ｍ個の最大応答値、及びＭ個の最大応答値のうちの各最大応答値に対応する位置インデックスを取得した後、Ｍ個の最大応答値のうちの各最大応答値をプーリング閾値と比較し、ある最大応答値が該プーリング閾値より大きい場合、該最大応答値を目標プーリング値として特定することができる。目標プーリング値に対応する位置インデックスが、ハンドルの第１検出枠の中心点位置情報である。
【0053】
ここで、さらに変換する前の目標チャネル特徴マップに最大プーリング処理を直接的に行い、ハンドルの第１検出枠の中心点位置情報を取得することができる。
【0054】
本願のいくつかの実施例において、ハンドルの第１検出枠の中心点位置情報を取得した後、さらに該中心点位置情報に基づいて、第２チャネル特徴マップから該中心点位置情報とマッチングする特徴位置における第２特徴値を選択し、選択された第２特徴値をハンドルの第１検出枠に対応する長さとして特定し、かつ第３チャネル特徴マップから該中心点位置情報とマッチングする特徴位置における第３特徴値を選択し、選択された第３特徴値をハンドルの第１検出枠に対応する幅として特定し、ハンドルの第１検出枠のサイズ情報を取得する。
【0055】
ここで、運転者の手部に対して、一つ又は二つの第２検出枠情報を取得することができ、すなわち左手及び／又は右手にそれぞれ対応する第２検出枠情報を取得することができる。具体的には、運転者の手部に対応する第２検出枠情報を特定する過程は、上記ハンドルの第１検出枠情報を特定する過程を参照することができ、ここで説明を省略する。
【0056】
上記実施形態では、複数のプーリング値のうちプーリング閾値より大きいプーリング値を、ハンドル又は運転者の手部の目標検出枠の中心点に属する目標プーリング値として特定し、目標プーリング値に対応する位置インデックスに基づいて、ハンドル又は運転者の手部の少なくとも一つの目標検出枠情報をより正確に生成する。
【0057】
好ましい実施形態において、複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスに基づいて、目標検出枠情報を生成することは、複数のプーリング値が設定されたプーリング閾値以下である場合、目標検出枠情報が空であると特定することを含むことができる。
【0058】
ここで、ハンドルに対応する複数のプーリング値が設定されたプーリング閾値以下である場合、ハンドルの第１検出枠情報が空であると特定し、ハンドルに対応する複数のプーリング値に設定されたプーリング閾値より大きいプーリング値が少なくとも一つ存在する場合、ハンドルの第１検出枠情報が空ではないと特定する。
【0059】
ハンドル検出結果及び人の手検出結果を取得した後、ハンドル検出結果及び人の手検出結果に基づいて、運転者の運転行為種類を特定することができる。
【0060】
本願のいくつかの実施例において、ハンドル検出結果にハンドルが含まれ、人の手検出結果に人の手が含まれる場合、目標検出結果に基づいて、運転者の運転行為種類を特定することは、
ハンドル検出結果及び人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定し、
位置関係に基づいて、運転者の運転行為種類を特定することを含むことができる。
ハンドル検出結果及び人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定し、
位置関係に基づいて、運転者の運転行為種類を特定することを含むことができる。
【0061】
ここで、まず、ハンドル検出結果及び人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定し、特定された位置関係に基づいて、運転者の運転行為種類を特定し、すなわち運転者が安全運転であるか、又は危険運転であるかを特定することができる。
【0062】
本願のいくつかの実施例において、位置関係に基づいて、運転者の運転行為種類を特定することは、前記位置関係が運転者がハンドルを手で握ることを指示する場合、前記運転者の運転行為種類が安全運転であると特定することを含む。
【0063】
ここで、位置関係が運転者がハンドルを手で握ることを指示することが検出された場合、運転者の行為種類が安全運転であると特定する。運転者がハンドルを握るこの場合には、運転者が左手でハンドルを握る場合、運転者が右手でハンドルを握る場合、又は運転者が両手でハンドルを握る場合が含まれる。
【0064】
本願のいくつかの実施例において、位置関係に基づいて、運転者の運転行為種類を特定することは、位置関係が運転者の両手がハンドルから離れたことを指示する場合、運転者の運転行為種類が危険運転であると特定することを含むことができる。
【0065】
ここで、位置関係が運転者の両手がハンドルから離れたことであると特定する場合、該運転者の運転行為種類が危険運転であると特定する。
【0066】
本願のいくつかの実施例において、ハンドル検出結果にハンドルが含まれ、人の手検出結果に人の手が含まれない場合、目標検出結果に基づいて、運転者の運転行為種類を特定することは、目標検出結果に基づいて、運転者の運転行為種類が危険運転であると特定することを含む。
【0067】
ここで、ハンドル検出結果にハンドルが検出され、人の手検出結果に人の手が検出されない場合、該運転者の両手がハンドルから離れたことを表し、該運転者の運転行為種類が危険運転であると特定する。
【0068】
本願のいくつかの実施例において、ハンドル検出結果にハンドルが検出されない場合、検出対象画像が異常画像であると特定するため、該運転者の運転行為種類を状態異常として特定する。
【0069】
本願のいくつかの実施例において、ハンドル検出結果及び人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定することは、人の手検出結果に人の手が一つ含まれる場合、人の手検出結果における人の手に対応する検出枠と、ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在する場合、ハンドルと人の手との間の位置関係が運転者がハンドルを手で握ることであると特定し、人の手検出結果における人の手に対応する検出枠と、ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在しない場合、ハンドルと人の手との間の位置関係が運転者の両手がハンドルから離れたことであると特定することを含むことができる。
【0070】
本願のいくつかの実施例において、ハンドル検出結果及び人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定することは、人の手検出結果に両手が含まれる場合、人の手検出結果における両手に対応する検出枠と、それぞれハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在しない場合、ハンドルと人の手との間の位置関係が運転者の両手がハンドルから離れたことであると特定し、人の手検出結果における少なくとも一つの人の手に対応する検出枠と、ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在する場合、ハンドルと人の手との間の位置関係が運転者がハンドルを手で握ることであると特定することを含むことができる。
【0071】
ここで、ハンドル検出結果におけるハンドルに対応する検出枠と人の手検出結果における人の手に対応する検出枠に基づいて、ハンドルと人の手との間の位置関係を判断することができる。
【0072】
人の手検出結果に一つの人の手が含まれる場合、該人の手に対応する検出枠とハンドルに対応する検出枠とに重なり領域が存在する場合、ハンドルと人の手との間の位置関係がハンドルを手で握ることであると特定する。人の手に対応する検出枠とハンドルに対応する検出枠とに重なり領域が存在しない場合、ハンドルと人の手との間の位置関係が、手がハンドルから離れたことであると特定する。
【0073】
人の手検出結果に両手が含まれる場合、少なくとも一つの人の手に対応する検出枠とハンドルに対応する検出枠とに重なり領域が存在する場合、ハンドルと人の手との間の位置関係がハンドルを手で握ることであると特定する。両手にそれぞれ対応する検出枠とハンドルに対応する検出枠とに重なり領域が存在しない場合、ハンドルと人の手との間の位置関係が、手がハンドルから離れたことであると特定する。
【0074】
好ましい実施形態において、ハンドル検出結果及び人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定することは、
検出対象画像に基づいて、検出対象画像に対応する中間特徴マップを生成し、
中間特徴マップに少なくとも一回の畳み込み処理を行い、中間特徴マップに対応する二チャネルの分類特徴マップを生成し、二チャネルの分類特徴マップにおける各チャネル特徴マップが人の手の一つの種類に対応し、
人の手検出結果における人の手に対応する検出枠情報により指示された中心点位置情報に基づいて、分類特徴マップから中心点位置情報とマッチングする特徴位置における二つの特徴値を抽出し、二つの特徴値から最大特徴値を選択し、分類特徴マップにおける、最大特徴値に対応するチャネル特徴マップの種類を中心点位置情報に対応する種類として特定し、
人の手に対応する検出枠情報により指示された各中心点位置情報に対応する種類に基づいて、ハンドルと人の手との間の位置関係を特定することを含むことができる。
検出対象画像に基づいて、検出対象画像に対応する中間特徴マップを生成し、
中間特徴マップに少なくとも一回の畳み込み処理を行い、中間特徴マップに対応する二チャネルの分類特徴マップを生成し、二チャネルの分類特徴マップにおける各チャネル特徴マップが人の手の一つの種類に対応し、
人の手検出結果における人の手に対応する検出枠情報により指示された中心点位置情報に基づいて、分類特徴マップから中心点位置情報とマッチングする特徴位置における二つの特徴値を抽出し、二つの特徴値から最大特徴値を選択し、分類特徴マップにおける、最大特徴値に対応するチャネル特徴マップの種類を中心点位置情報に対応する種類として特定し、
人の手に対応する検出枠情報により指示された各中心点位置情報に対応する種類に基づいて、ハンドルと人の手との間の位置関係を特定することを含むことができる。
【0075】
ここで、人の手検出結果により指示された第２検出枠情報が空ではない場合、中間特徴マップに少なくとも一回の畳み込み処理を行い、中間特徴マップに対応する二チャネルの分類特徴マップを生成することができる。ここで、二チャネルの分類特徴マップのうちの各チャネル特徴マップは、人の手の一つの種類に対応する。例えば、分類特徴マップにおいて、第０チャネルのチャネル特徴マップに対応する種類は、運転者の手がハンドルから離れたことであってもよい。第１チャネルのチャネル特徴マップに対応する種類は、運転者がハンドルを手で握ることであってもよい。
【0076】
さらに、人の手に対応する検出枠情報により指示された中心点位置情報に基づいて、分類特徴マップから中心点位置情報とマッチングする特徴位置における二つの特徴値を抽出し、二つの特徴値から最大特徴値を選択し、分類特徴マップのうち該最大特徴値に対応するチャネル特徴マップの種類を、中心点位置情報に対応する種類として特定することができる。
【0077】
人の手に対応する検出枠情報に二つの中心点位置情報が含まれる（すなわち左手に対応する中心点位置情報及び右手に対応する中心点位置情報が含まれる）場合、各中心点位置情報に対して、該中心点位場合置情報に対応する種類を特定する。
【0078】
例えば、分類特徴マップにおいて、第０チャネルのチャネル特徴マップに対応する種類は、運転者の手がハンドルから離れたことであってもよく、第１チャネルのチャネル特徴マップに対応する種類は、運転者がハンドルを手で握ることであってもよい場合、左手に対応する中心点位置情報に対して、分類特徴マップから二つの特徴値、すなわち０．８、０．２を抽出して取得し、分類特徴マップにおいて、０．８に対応する第０チャネル特徴マップの種類を、左手に対応する中心点位置情報の種類として特定し、すなわち左手に対応する中心点位置情報の種類が、運転者の手がハンドルから離れたことである。同時に、右手に対応する中心点位置情報の種類を取得することができる。
【0079】
上記実施形態では、ハンドル検出結果を特定し、かつ中間特徴マップに少なくとも一回の畳み込み処理を行うことにより、分類特徴マップを生成し、さらに生成された運転者の手部の中心点位置情報を参照して、ハンドルと人の手との間の位置関係をより正確に特定することができる。
【0080】
好ましい実施形態において、人の手に対応する検出枠情報により指示された各中心点位置情報に対応する種類に基づいて、ハンドルと人の手との間の位置関係を特定することは、以下の方式１及び方式２を含むことができる。
方式１、人の手に対応する検出枠情報に一つの中心点位置情報が含まれる場合、中心点位置情報に対応する種類を、ハンドルと人の手との間の位置関係として特定する。
方式２、人の手に対応する検出枠情報に二つの中心点位置情報が含まれ、かつ二つの中心点位置情報に対応する種類が運転者の手がハンドルから離れたことである場合、ハンドルと人の手との間の位置関係が運転者の両手がハンドルから離れたことであると特定し、二つの中心点位置情報に対応する種類において、少なくとも一つの中心点位置情報に対応する種類が運転者がハンドルを手で握ることである場合、ハンドルと人の手との間の位置関係が運転者がハンドルを手で握ることであると特定する。
方式１、人の手に対応する検出枠情報に一つの中心点位置情報が含まれる場合、中心点位置情報に対応する種類を、ハンドルと人の手との間の位置関係として特定する。
方式２、人の手に対応する検出枠情報に二つの中心点位置情報が含まれ、かつ二つの中心点位置情報に対応する種類が運転者の手がハンドルから離れたことである場合、ハンドルと人の手との間の位置関係が運転者の両手がハンドルから離れたことであると特定し、二つの中心点位置情報に対応する種類において、少なくとも一つの中心点位置情報に対応する種類が運転者がハンドルを手で握ることである場合、ハンドルと人の手との間の位置関係が運転者がハンドルを手で握ることであると特定する。
【0081】
方式１に対して、人の手に対応する検出枠情報に中心点位置情報が含まれる場合、すなわち人の手に対応する検出枠情報に左手に対応する中心点位置情報又は右手に対応する中心点位置情報が含まれる場合、人の手に対応する検出枠情報における該中心点位置情報に対応する種類を、ハンドルと人の手との間の位置関係として特定することができる。例えば、人の手に対応する検出枠情報に左手に対応する中心点位置情報が含まれ、該左手に対応する中心点位置情報の種類が、運転者がハンドルを手で握ることである場合、ハンドルと人の手との間の位置関係が、運転者がハンドルを手で握ることである。
【0082】
方式２に対して、人の手に対応する検出枠情報に二つの中心点位置情報が含まれ、すなわち人の手に対応する検出枠情報に左手に対応する中心点位置情報及び右手に対応する中心点位置情報が含まれる場合、二つの中心点位置情報に対応する種類がいずれも運転者の手がハンドルから離れたことである場合、ハンドルと人の手との間の位置関係が、運転者の手がハンドルから離れたことであると特定する。左手に対応する中心点位置情報の種類が運転者がハンドルを手で握ることであり、及び／又は、右手に対応する中心点位置情報の種類が、運転者がハンドルを手で握ることである場合、ハンドルと人の手との間の位置関係が、運転者がハンドルを手で握ることであると特定する。
【0083】
Ｓ１０４については、
ここで、運転者の運転行為種類が危険運転であると特定した場合、運転者の運転行為種類に基づいて、運転者に対する警告情報を生成することができる。ここで、該警告情報は、音声の形式で再生することができる。例えば生成された警告情報は、「危険です。ハンドルを握ってください」であってもよい。
ここで、運転者の運転行為種類が危険運転であると特定した場合、運転者の運転行為種類に基づいて、運転者に対する警告情報を生成することができる。ここで、該警告情報は、音声の形式で再生することができる。例えば生成された警告情報は、「危険です。ハンドルを握ってください」であってもよい。
【0084】
当業者であれば理解できるように、具体的な実施形態の上記方法において、各ステップの作成順序は、厳密な実行順序であり実施過程を任意に限定するものを意味せず、各ステップの具体的な実行順序は、その機能及び可能な固有論理により特定されるべきである。
【0085】
同じ構想に基づいて、本願の実施例は、運転者行為検出装置をさらに提供し、図３に示すように、本願の実施例が提供する運転者行為検出装置のアーキテクチャ模式図であり、取得モジュール３０１と、検出モジュール３０２と、特定モジュール３０３と、警告モジュール３０４とを含み、具体的には、
取得モジュール３０１は、車室内の運転位置領域の検出対象画像を取得するように構成され、
検出モジュール３０２は、前記検出対象画像を検出し、目標検出結果を取得するように構成され、前記目標検出結果がハンドル検出結果及び人の手検出結果を含み、
特定モジュール３０３は、前記目標検出結果に基づいて、運転者の運転行為種類を特定するように構成され、
警告モジュール３０４は、前記運転者の運転行為種類が危険運転である場合、警告情報を発するように構成される。
取得モジュール３０１は、車室内の運転位置領域の検出対象画像を取得するように構成され、
検出モジュール３０２は、前記検出対象画像を検出し、目標検出結果を取得するように構成され、前記目標検出結果がハンドル検出結果及び人の手検出結果を含み、
特定モジュール３０３は、前記目標検出結果に基づいて、運転者の運転行為種類を特定するように構成され、
警告モジュール３０４は、前記運転者の運転行為種類が危険運転である場合、警告情報を発するように構成される。
【0086】
本願のいくつかの実施例において、前記ハンドル検出結果にハンドルが含まれ、前記人の手検出結果に人の手が含まれる場合、前記特定モジュール３０３は、前記目標検出結果に基づいて、運転者の運転行為種類を特定する場合、
前記ハンドル検出結果及び前記人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定し、
前記位置関係に基づいて、運転者の運転行為種類を特定するように構成される。
前記ハンドル検出結果及び前記人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定し、
前記位置関係に基づいて、運転者の運転行為種類を特定するように構成される。
【0087】
本願のいくつかの実施例において、前記特定モジュール３０３は、位置関係に基づいて、運転者の運転行為種類を特定する場合、
前記位置関係が運転者がハンドルを手で握ることを指示する場合、前記運転者の運転行為種類が安全運転であると特定するように構成される。
前記位置関係が運転者がハンドルを手で握ることを指示する場合、前記運転者の運転行為種類が安全運転であると特定するように構成される。
【0088】
本願のいくつかの実施例において、前記特定モジュール３０３は、位置関係に基づいて、運転者の運転行為種類を特定する場合、
前記位置関係が運転者の両手がハンドルから離れたことを指示する場合、前記運転者の運転行為種類が危険運転であると特定するように構成される。
前記位置関係が運転者の両手がハンドルから離れたことを指示する場合、前記運転者の運転行為種類が危険運転であると特定するように構成される。
【0089】
本願のいくつかの実施例において、前記ハンドル検出結果にハンドルが含まれ、前記人の手検出結果に人の手が含まれない場合、前記特定モジュール３０３は、前記目標検出結果に基づいて、運転者の運転行為種類を特定する場合、
前記目標検出結果に基づいて、前記運転者の運転行為種類が危険運転であると特定するように構成される。
前記目標検出結果に基づいて、前記運転者の運転行為種類が危険運転であると特定するように構成される。
【0090】
本願のいくつかの実施例において、前記検出モジュール３０２は、前記検出対象画像を検出し、目標検出結果を取得する場合、
前記検出対象画像に基づいて、前記検出対象画像に対応する中間特徴マップを生成し、
前記中間特徴マップに少なくとも一回の目標畳み込み処理を行い、前記中間特徴マップに対応するマルチチャネルの検出特徴マップを生成し、
活性化関数を利用してマルチチャネルの前記検出特徴マップのうち位置を表す目標チャネル特徴マップの各特徴値に特徴値変換処理を行い、変換された目標チャネル特徴マップを生成し、
予め設定されたプーリングサイズ及びプーリングステップサイズに応じて、変換された目標チャネル特徴マップに最大プーリング処理を行い、複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスを取得し、前記位置インデックスが前記プーリング値の前記変換された目標チャネル特徴マップにおける位置を識別するために用いられ、
複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスに基づいて、目標検出枠情報を生成し、
前記目標検出枠情報に基づいて、前記目標検出結果を特定するように構成される。
前記検出対象画像に基づいて、前記検出対象画像に対応する中間特徴マップを生成し、
前記中間特徴マップに少なくとも一回の目標畳み込み処理を行い、前記中間特徴マップに対応するマルチチャネルの検出特徴マップを生成し、
活性化関数を利用してマルチチャネルの前記検出特徴マップのうち位置を表す目標チャネル特徴マップの各特徴値に特徴値変換処理を行い、変換された目標チャネル特徴マップを生成し、
予め設定されたプーリングサイズ及びプーリングステップサイズに応じて、変換された目標チャネル特徴マップに最大プーリング処理を行い、複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスを取得し、前記位置インデックスが前記プーリング値の前記変換された目標チャネル特徴マップにおける位置を識別するために用いられ、
複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスに基づいて、目標検出枠情報を生成し、
前記目標検出枠情報に基づいて、前記目標検出結果を特定するように構成される。
【0091】
本願のいくつかの実施例において、前記検出モジュール３０２は、複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスに基づいて、目標検出枠情報を生成する場合、
前記複数のプーリング値に設定されたプーリング閾値より大きいプーリング値が少なくとも一つ存在する場合、前記複数のプーリング値及びプーリング閾値に基づいて、前記複数のプーリング値から前記目標検出枠の中心点の目標プーリング値を特定し、
前記目標プーリング値に対応する位置インデックスに基づいて、前記目標検出枠情報を生成するように構成される。
前記複数のプーリング値に設定されたプーリング閾値より大きいプーリング値が少なくとも一つ存在する場合、前記複数のプーリング値及びプーリング閾値に基づいて、前記複数のプーリング値から前記目標検出枠の中心点の目標プーリング値を特定し、
前記目標プーリング値に対応する位置インデックスに基づいて、前記目標検出枠情報を生成するように構成される。
【0092】
本願のいくつかの実施例において、前記検出モジュール３０２は、複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスに基づいて、前記目標検出枠情報を生成する場合、
前記複数のプーリング値が設定されたプーリング閾値以下である場合、前記目標検出枠情報が空であると特定するように構成される。
前記複数のプーリング値が設定されたプーリング閾値以下である場合、前記目標検出枠情報が空であると特定するように構成される。
【0093】
本願のいくつかの実施例において、前記特定モジュール３０３は、前記ハンドル検出結果及び前記人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定する場合、
前記人の手検出結果に人の手が一つ含まれる場合、前記人の手検出結果における人の手に対応する検出枠と、前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在する場合、前記ハンドルと前記人の手との間の位置関係が運転者の手がハンドルを握ることであると特定し、前記人の手検出結果における人の手に対応する検出枠と前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在しない場合、前記ハンドルと前記人の手との間の位置関係が運転者の両手がハンドルから離れたことであると特定するように構成される。
前記人の手検出結果に人の手が一つ含まれる場合、前記人の手検出結果における人の手に対応する検出枠と、前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在する場合、前記ハンドルと前記人の手との間の位置関係が運転者の手がハンドルを握ることであると特定し、前記人の手検出結果における人の手に対応する検出枠と前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在しない場合、前記ハンドルと前記人の手との間の位置関係が運転者の両手がハンドルから離れたことであると特定するように構成される。
【0094】
本願のいくつかの実施例において、前記特定モジュール３０３は、前記ハンドル検出結果及び前記人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定する場合、
前記人の手検出結果に両手が含まれる場合、前記人の手検出結果における両手に対応する検出枠と、それぞれ前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在しない場合、前記ハンドルと前記人の手との間の位置関係が運転者の両手がハンドルから離れたことであると特定し、前記人の手検出結果における少なくとも一つの人の手に対応する検出枠と前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在する場合、前記ハンドルと前記人の手との間の位置関係が運転者の手がハンドルを握ることであると特定するように構成される。
前記人の手検出結果に両手が含まれる場合、前記人の手検出結果における両手に対応する検出枠と、それぞれ前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在しない場合、前記ハンドルと前記人の手との間の位置関係が運転者の両手がハンドルから離れたことであると特定し、前記人の手検出結果における少なくとも一つの人の手に対応する検出枠と前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在する場合、前記ハンドルと前記人の手との間の位置関係が運転者の手がハンドルを握ることであると特定するように構成される。
【0095】
本願のいくつかの実施例において、前記特定モジュール３０３は、前記ハンドル検出結果及び前記人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定する場合、
前記検出対象画像に基づいて、前記検出対象画像に対応する中間特徴マップを生成し、
前記中間特徴マップに少なくとも一回の畳み込み処理を行い、前記中間特徴マップに対応する二チャネルの分類特徴マップを生成し、前記二チャネルの分類特徴マップにおける各チャネル特徴マップが人の手の一つの種類に対応し、
前記人の手検出結果における人の手に対応する検出枠情報により指示された中心点位置情報に基づいて、前記分類特徴マップから前記中心点位置情報とマッチングする特徴位置における二つの特徴値を抽出し、二つの特徴値から最大特徴値を選択し、前記分類特徴マップにおける、前記最大特徴値に対応するチャネル特徴マップの種類を前記中心点位置情報に対応する種類として特定し、
前記人の手に対応する検出枠情報により指示された各中心点位置情報に対応する種類に基づいて、前記ハンドルと人の手との間の位置関係を特定するように構成される。
前記検出対象画像に基づいて、前記検出対象画像に対応する中間特徴マップを生成し、
前記中間特徴マップに少なくとも一回の畳み込み処理を行い、前記中間特徴マップに対応する二チャネルの分類特徴マップを生成し、前記二チャネルの分類特徴マップにおける各チャネル特徴マップが人の手の一つの種類に対応し、
前記人の手検出結果における人の手に対応する検出枠情報により指示された中心点位置情報に基づいて、前記分類特徴マップから前記中心点位置情報とマッチングする特徴位置における二つの特徴値を抽出し、二つの特徴値から最大特徴値を選択し、前記分類特徴マップにおける、前記最大特徴値に対応するチャネル特徴マップの種類を前記中心点位置情報に対応する種類として特定し、
前記人の手に対応する検出枠情報により指示された各中心点位置情報に対応する種類に基づいて、前記ハンドルと人の手との間の位置関係を特定するように構成される。
【0096】
本願のいくつかの実施例において、前記特定モジュール３０３は、前記人の手に対応する検出枠情報により指示された各中心点位置情報に対応する種類に基づいて、前記ハンドルと人の手との間の位置関係を特定する場合、
前記人の手に対応する検出枠情報に一つの中心点位置情報が含まれる場合、前記中心点位置情報に対応する種類を、ハンドルと人の手との間の位置関係として特定し、
前記人の手に対応する検出枠情報に二つの中心点位置情報を含み、かつ前記二つの中心点位置情報に対応する種類が運転者の手がハンドルから離れたことである場合、前記ハンドルと人の手との間の位置関係が運転者の両手がハンドルから離れたことであると特定し、前記二つの中心点位置情報に対応する種類において、少なくとも一つの中心点位置情報に対応する種類が運転者がハンドルを手で握ることである場合、前記ハンドルと前記人の手との間の位置関係が運転者がハンドルを手で握ることであると特定するように構成される。
前記人の手に対応する検出枠情報に一つの中心点位置情報が含まれる場合、前記中心点位置情報に対応する種類を、ハンドルと人の手との間の位置関係として特定し、
前記人の手に対応する検出枠情報に二つの中心点位置情報を含み、かつ前記二つの中心点位置情報に対応する種類が運転者の手がハンドルから離れたことである場合、前記ハンドルと人の手との間の位置関係が運転者の両手がハンドルから離れたことであると特定し、前記二つの中心点位置情報に対応する種類において、少なくとも一つの中心点位置情報に対応する種類が運転者がハンドルを手で握ることである場合、前記ハンドルと前記人の手との間の位置関係が運転者がハンドルを手で握ることであると特定するように構成される。
【0097】
いくつかの実施例において、本願の実施例が提供する装置の有する機能又は含まれるテンプレートは、上記方法の実施例に記載の方法を実行するために用いることができ、その具体的な実現は、上記方法の実施例の説明を参照することができ、簡潔にするために、ここでは説明を省略する。
【0098】
同じ技術的思想に基づいて、本願の実施例は、電子機器をさらに提供する。図４に示すように、本願の実施例が提供する電子機器の構造模式図であり、プロセッサ４０１と、メモリ４０２と、バス４０３とを含む。ここで、メモリ４０２１及び外部メモリ４０２２を含むメモリ４０２は、実行命令を記憶するように構成され、ここでのメモリ４０２１は、内部メモリとも呼ばれ、プロセッサ４０１における演算データと、ハードディスクなどの外部メモリ４０２２と交換するデータとを一時的に記憶するように構成され、プロセッサ４０１は、メモリ４０２１を介して外部メモリ４０２２とデータ交換を行い、電子機器４００が動作する時、プロセッサ４０１とメモリ４０２との間は、バス４０３を介して通信し、それによりプロセッサ４０１は、
車室内の運転位置領域の検出対象画像を取得し、
前記検出対象画像を検出し、目標検出結果を取得し、前記目標検出結果がハンドル検出結果及び人の手検出結果を含み、
前記目標検出結果に基づいて、運転者の運転行為種類を特定し、
前記運転者の運転行為種類が危険運転である場合、警告情報を発するという命令を実行する。
車室内の運転位置領域の検出対象画像を取得し、
前記検出対象画像を検出し、目標検出結果を取得し、前記目標検出結果がハンドル検出結果及び人の手検出結果を含み、
前記目標検出結果に基づいて、運転者の運転行為種類を特定し、
前記運転者の運転行為種類が危険運転である場合、警告情報を発するという命令を実行する。
【0099】
また、本願の実施例は、コンピュータ読み取り可能な記録媒体をさらに提供し、該コンピュータ読み取り可能な記録媒体にコンピュータプログラムが記憶され、該コンピュータプログラムがプロセッサにより実行される場合、上記方法の実施例に記載の運転者行為検出方法のステップを実行する。
【0100】
本願の実施例が提供する運転者行為検出方法のコンピュータプログラム製品は、プログラムコードが記憶されたコンピュータ読み取り可能な記録媒体を含み、前記プログラムコードに含まれる命令は、上記方法の実施例に記載の運転者行為検出方法のステップを実行するために用いることができ、具体的には上記方法の実施例を参照することができ、ここで説明を省略する。
【0101】
当業者であれば、説明の利便性及び簡潔のために、上記説明されたシステム及び装置の具体的な動作過程は、前述の方法の実施例における対応する過程を参照することができ、ここでは説明を省略することを明確に理解することができる。本願が提供するいくつかの実施例において、理解すべきことは、開示されたシステム、装置及び方法が、他の方式で実現することができることである。以上に説明した装置の実施例は、例示的なものだけであり、例えば、前記ユニットの分割は、論理機能上の分割だけであり、実際に実現する時に他の分割方式を有することができ、さらに例えば複数のユニット又はアセンブリは、他のシステムに結合するか又は統合することができ、又はいくつかの特徴を無視するか又は実行しないことができる。また、表示されるか又は議論される互いの結合又は直接結合又は通信接続は、いくつかの通信インタフェース、装置又はユニットの間の間接結合又は通信接続によるものであってもよく、電気的、機械的又は他の形式であってもよい。
【0102】
前記分離部材として説明されたユニットは、物理的に分離されてもよいか又はそうでなくてもよく、ユニットとして表示された部材は、物理的ユニットであってもよいか又はそうでなくてもよく、すなわち一つの場所に位置してもよく、又は複数のネットワークユニットに分布してもよい。実際のニーズに応じてそのうちの一部又は全部のユニットを選択して本願実施例の目的を達成することができる。
【0103】
また、本願の各実施例における各機能ユニットは、一つの処理ユニットに集積されてもよく、各ユニットが単独で物理的に存在してもよく、二つ又は二つ以上のユニットが一つのユニットに集積されてもよい。
【0104】
前記機能は、ソフトウェア機能ユニットの形式で実現されかつ独立した製品として販売されるか又は使用される場合、一つのプロセッサが実行可能な不揮発性のコンピュータ読取可能記憶媒体に記憶することができる。このような理解に基づいて、本願の技術的解決手段は、本願質的に、又は従来の技術に寄与する部分又は該技術的解決手段の部分がソフトウェア製品の形式で具現化することができ、該コンピュータソフトウェア製品は、記憶媒体に記憶され、コンピュータ設備（パーソナルコンピュータ、サーバ、又はネットワーク設備等であってもよい）に本願の各実施例に記載の方法の全部又は一部のステップを実行させるための複数の命令を含む。前述の記憶媒体は、Ｕディスク、リムーバブルハードディスク、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスクなどの様々なプログラムコードを記憶できる媒体を含む。
【0105】
上記は、本願の具体的な実施形態にすぎないが、本願の保護範囲はそれに限定されない。当業者によって、本願に開示された技術的範囲内に容易に想像できるいかなる変更または置換は、本願の保護範囲内にカバーされるべきである。したがって、本願の保護範囲は、特許請求の範囲の保護範囲に従うべきである。
【0106】
本願の実施例は、運転者行為検出方法、装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラムを開示し、該方法は、ローカルエージェントプログラムにより第１制御対象装置が動作するように制御するためのプログラムコードを取得することと、前記ローカルエージェントプログラムにより前記プログラムコードを前記第１制御対象装置に送信することにより、前記第１被制御装置が前記プログラムコードを実行することとを含む。本願の実施例の技術的解決手段は、ローカルエージェントプログラムによりプログラムコードを取得してプッシュすることができ、さらにプログラムコードにより第１制御対象装置に対する制御を実現することができ、プログラムコードが柔軟に編集することができ、このように、第１制御対象装置をより柔軟に制御することができる。
【0107】
本願は、出願番号が２０２０１０７９０２０８．３であり、出願日が２０２０年８月７日の中国特許出願に基づいて提出され、かつ該中国特許出願の優先権を要求し、当該出願の全文が引用によって本願に組み込まれる。
【図1a】
【図1b】
【図2】
【図3】
【図4】
【手続補正書】
【提出日】2022-04-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
車室内の運転位置領域の検出対象画像を取得することと、前記検出対象画像を検出し、目標検出結果を取得し、前記目標検出結果がハンドル検出結果及び人の手検出結果を含むことと、
前記目標検出結果に基づいて、運転者の運転行為種類を特定することと、
前記運転者の運転行為種類が危険運転である場合、警告情報を発することと、を含むことを特徴とする運転者行為検出方法。
【請求項2】
前記ハンドル検出結果にハンドルが含まれ、前記人の手検出結果に人の手が含まれる場合、前記目標検出結果に基づいて、運転者の運転行為種類を特定することは、前記ハンドル検出結果及び前記人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定し、
前記位置関係に基づいて、運転者の運転行為種類を特定することを含むことを特徴とする請求項１に記載の方法。
【請求項3】
前記位置関係に基づいて、運転者の運転行為種類を特定することは、前記位置関係が運転者がハンドルを手で握ることを指示する場合、前記運転者の運転行為種類が安全運転であると特定し、
前記位置関係が運転者の両手がハンドルから離れたことを指示する場合、前記運転者の運転行為種類が危険運転であると特定することを含むことを特徴とする請求項２に記載の方法。
【請求項4】
前記ハンドル検出結果及び前記人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定することは、前記人の手検出結果に人の手が一つ含まれる場合、前記人の手検出結果における人の手に対応する検出枠と、前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在する場合、前記ハンドルと前記人の手との間の位置関係が運転者がハンドルを手で握ることであると特定し、前記人の手検出結果における人の手に対応する検出枠と前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在しない場合、前記ハンドルと前記人の手との間の位置関係が運転者の両手がハンドルから離れたことであり、
前記人の手検出結果に両手が含まれる場合、前記人の手検出結果における両手に対応する検出枠と、それぞれ前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在しない場合、前記ハンドルと前記人の手との間の位置関係が運転者の両手がハンドルから離れたことであると特定し、前記人の手検出結果における少なくとも一つの人の手に対応する検出枠と前記ハンドル検出結果におけるハンドルに対応する検出枠とに重なり領域が存在する場合、前記ハンドルと前記人の手との間の位置関係が運転者がハンドルを手で握ると特定することを含むことを特徴とする請求項２に記載の方法。
【請求項5】
前記ハンドル検出結果及び前記人の手検出結果に基づいて、ハンドルと人の手との間の位置関係を特定することは、前記検出対象画像に基づいて、前記検出対象画像に対応する中間特徴マップを生成することと、
前記中間特徴マップに少なくとも一回の畳み込み処理を行い、前記中間特徴マップに対応する二チャネルの分類特徴マップを生成し、前記二チャネルの分類特徴マップにおける各チャネル特徴マップが人の手の一つの種類に対応することと、
前記人の手検出結果における人の手に対応する検出枠情報により指示された中心点位置情報に基づいて、前記分類特徴マップから前記中心点位置情報とマッチングする特徴位置における二つの特徴値を抽出し、前記二つの特徴値から最大特徴値を選択し、前記分類特徴マップにおける、前記最大特徴値に対応するチャネル特徴マップの種類を前記中心点位置情報に対応する種類として特定することと、
前記人の手に対応する検出枠情報により指示された各中心点位置情報に対応する種類に基づいて、前記ハンドルと前記人の手との間の位置関係を特定することと、を含むことを特徴とする請求項２に記載の方法。
【請求項6】
前記人の手に対応する検出枠情報により指示された各中心点位置情報に対応する種類に基づいて、前記ハンドルと人の手との間の位置関係を特定することは、前記人の手に対応する検出枠情報に一つの中心点位置情報が含まれる場合、前記中心点位置情報に対応する種類を、ハンドルと人の手との間の位置関係として特定し、
前記人の手に対応する検出枠情報に二つの中心点位置情報が含まれ、かつ前記二つの中心点位置情報に対応する種類が運転者の手がハンドルから離れたことである場合、前記ハンドルと前記人の手との間の位置関係が運転者の両手がハンドルから離れたことであると特定し、前記二つの中心点位置情報に対応する種類において、少なくとも一つの中心点位置情報に対応する種類が運転者がハンドルを手で握ることである場合、前記ハンドルと前記人の手との間の位置関係が運転者がハンドルを手で握ることであると特定することを含むことを特徴とする請求項５に記載の方法。
【請求項7】
前記ハンドル検出結果にハンドルが含まれ、前記人の手検出結果に人の手が含まれない場合、前記目標検出結果に基づいて、運転者の運転行為種類を特定することは、前記目標検出結果に基づいて、前記運転者の運転行為種類が危険運転であると特定することを含むことを特徴とする請求項１に記載の方法。
【請求項8】
前記検出対象画像を検出し、目標検出結果を取得することは、前記検出対象画像に基づいて、前記検出対象画像に対応する中間特徴マップを生成することと、
前記中間特徴マップに少なくとも一回の目標畳み込み処理を行い、前記中間特徴マップに対応するマルチチャネルの検出特徴マップを生成することと、
活性化関数を利用してマルチチャネルの前記検出特徴マップのうち位置を表す目標チャネル特徴マップの各特徴値に特徴値変換処理を行い、変換された目標チャネル特徴マップを生成することと、
予め設定されたプーリングサイズ及びプーリングステップサイズに応じて、変換された目標チャネル特徴マップに最大プーリング処理を行い、複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスを取得し、前記位置インデックスが前記プーリング値の前記変換された目標チャネル特徴マップにおける位置を識別するために用いられることと、
複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスに基づいて、目標検出枠情報を生成することと、
前記目標検出枠情報に基づいて、前記目標検出結果を特定することと、を含むことを特徴とする請求項１に記載の方法。
【請求項9】
複数のプーリング値及び複数のプーリング値のうちの各プーリング値に対応する位置インデックスに基づいて、前記目標検出枠情報を生成することは、前記複数のプーリング値に設定されたプーリング閾値より大きいプーリング値が少なくとも一つ存在する場合、前記複数のプーリング値及びプーリング閾値に基づいて、前記複数のプーリング値から目標検出枠の中心点の目標プーリング値を特定し、
前記目標プーリング値に対応する位置インデックスに基づいて、前記目標検出枠情報を生成し、
前記複数のプーリング値が設定されたプーリング閾値以下である場合、前記目標検出枠情報が空であることを含むことを特徴とする請求項８に記載の方法。
【請求項10】
車室内の運転位置領域の検出対象画像を取得するように構成された取得モジュールと、前記検出対象画像を検出し、目標検出結果を取得し、前記目標検出結果がハンドル検出結果及び人の手検出結果を含むように構成された検出モジュールと、
前記目標検出結果に基づいて、運転者の運転行為種類を特定するように構成された特定モジュールと、
前記運転者の運転行為種類が危険運転である場合、警告情報を発するように構成された警告モジュールと、を含むことを特徴とする運転者行為検出装置。
【請求項11】
プロセッサと、メモリと、バスとを含み、前記メモリに前記プロセッサが実行可能な機械可読命令が記憶され、電子機器が動作する場合、前記プロセッサと前記メモリとの間がバスを介して通信し、前記機械可読命令が前記プロセッサにより実行される場合に請求項１～９のいずれか一項に記載の運転者行為検出方法を実行することを特徴とする電子機器。
【請求項12】
コンピュータプログラムが記憶され、該コンピュータプログラムがプロセッサにより実行される場合、請求項１～９のいずれか一項に記載の運転者行為検出方法を実行することを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項13】
コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で動作する場合、前記電子機器内のプロセッサは、請求項１～９のいずれか一項に記載の運転者行為検出方法を実行するように構成されたコンピュータプログラム。
【国際調査報告】