IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッドの特許一覧

特表2022-517152車両内で撮像された画像内の運転者と乗員とを区別するためのシステム及び方法
<>
  • 特表-車両内で撮像された画像内の運転者と乗員とを区別するためのシステム及び方法 図1
  • 特表-車両内で撮像された画像内の運転者と乗員とを区別するためのシステム及び方法 図2
  • 特表-車両内で撮像された画像内の運転者と乗員とを区別するためのシステム及び方法 図3
  • 特表-車両内で撮像された画像内の運転者と乗員とを区別するためのシステム及び方法 図4
  • 特表-車両内で撮像された画像内の運転者と乗員とを区別するためのシステム及び方法 図5
  • 特表-車両内で撮像された画像内の運転者と乗員とを区別するためのシステム及び方法 図6
  • 特表-車両内で撮像された画像内の運転者と乗員とを区別するためのシステム及び方法 図7
  • 特表-車両内で撮像された画像内の運転者と乗員とを区別するためのシステム及び方法 図8
  • 特表-車両内で撮像された画像内の運転者と乗員とを区別するためのシステム及び方法 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-03-07
(54)【発明の名称】車両内で撮像された画像内の運転者と乗員とを区別するためのシステム及び方法
(51)【国際特許分類】
   G06T 7/00 20170101AFI20220228BHJP
   G06T 7/70 20170101ALI20220228BHJP
   G08G 1/16 20060101ALI20220228BHJP
【FI】
G06T7/00 660A
G06T7/70 A
G08G1/16 F
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2020533008
(86)(22)【出願日】2019-12-16
(85)【翻訳文提出日】2020-06-15
(86)【国際出願番号】 CN2019125549
(87)【国際公開番号】W WO2021119901
(87)【国際公開日】2021-06-24
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ZIGBEE
2.JAVA
3.SMALLTALK
4.VISUAL BASIC
5.BLUETOOTH
(71)【出願人】
【識別番号】516317573
【氏名又は名称】ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】シュウバオ・ジャン
(72)【発明者】
【氏名】ユクン・ゲ
(72)【発明者】
【氏名】ハイフェン・シェン
【テーマコード(参考)】
5H181
5L096
【Fターム(参考)】
5H181AA01
5H181AA26
5H181BB04
5H181CC04
5H181FF10
5H181LL01
5H181LL04
5H181LL06
5H181LL20
5L096BA04
5L096DA02
5L096FA52
5L096FA59
5L096FA64
5L096FA66
5L096FA69
(57)【要約】
本開示は、車両内で撮像された画像内の運転者と乗員とを区別するためのシステム及び方法に関する。このシステムは、この方法を実行して、画像から車両内の少なくとも1つの人間の顔と少なくとも1つの人間の顔の座標を含む顔セットを取得し、少なくとも1つの人間の顔の座標に基づいて顔セットから少なくとも1つの候補運転者の顔及び少なくとも1つの候補運転者の顔の座標を含む候補運転者の顔セットを取得し、少なくとも1つの候補運転者の顔の座標に基づいて少なくとも1つの候補運転者の顔からターゲット運転者の顔を識別することができる。
【特許請求の範囲】
【請求項1】
車両内で撮像された画像内の運転者と乗員とを区別するためのシステムであって、
前記画像内の運転者と乗員とを区別するための命令セットを含む少なくとも1つの記憶媒体と、
前記記憶媒体と通信する少なくとも1つのプロセッサとを含み、前記命令セットを実行すると、前記少なくとも1つのプロセッサは、
前記画像から前記車両内の少なくとも1つの人間の顔と前記少なくとも1つの人間の顔の座標を含む顔セットを取得し、
前記少なくとも1つの人間の顔の座標に基づいて前記顔セットから少なくとも1つの候補運転者の顔と前記少なくとも1つの候補運転者の顔の座標を含む候補運転者の顔セットを取得し、
前記少なくとも1つの候補運転者の顔の座標に基づいて前記少なくとも1つの候補運転者の顔からターゲット運転者の顔を識別するように指示されるシステム。
【請求項2】
前記候補運転者の顔セットを取得するために、前記少なくとも1つのプロセッサは、
前記画像の幅を取得し、
前記少なくとも1つの人間の顔の座標及び前記画像の幅に基づいて前記候補運転者の顔セットを決定するように指示される、請求項1に記載のシステム。
【請求項3】
前記候補運転者の顔セット内の前記少なくとも1つの候補運転者の顔のそれぞれの座標は、xjbd>w/2、j=1,2,...,m(ここで、xjbdは、前記少なくとも1つの候補運転者の顔のそれぞれの右下隅のX軸座標を示し、wは、前記画像の幅を示し、mは、前記少なくとも1つの候補運転者の顔の数を示す)を満たす請求項2に記載のシステム。
【請求項4】
前記少なくとも1つの候補運転者の顔から前記ターゲット運転者の顔を識別するために、前記少なくとも1つのプロセッサは、
前記少なくとも1つの候補運転者の顔の座標に基づいて、前記少なくとも1つの候補運転者の顔のそれぞれの面積を決定するように指示される、請求項1に記載のシステム。
【請求項5】
前記少なくとも1つのプロセッサはさらに、
前記画像の幅及び高さを取得し、
前記少なくとも1つの候補運転者の顔の座標、前記画像の幅、及び前記画像の高さに基づいて、前記少なくとも1つの候補運転者の顔のそれぞれの右下隅と前記画像の右下隅との間の距離を決定するように指示される、請求項4に記載のシステム。
【請求項6】
前記少なくとも1つのプロセッサは、
前記少なくとも1つの候補運転者の顔の座標に基づいて、前記少なくとも1つの候補運転者の顔のそれぞれの高さを決定するように指示される、請求項5に記載のシステム。
【請求項7】
前記少なくとも1つのプロセッサは、
前記少なくとも1つの候補運転者の顔のそれぞれの座標、前記少なくとも1つの候補運転者の顔のそれぞれの面積、前記少なくとも1つの候補運転者の顔のそれぞれの右下隅と前記画像の右下隅との間の距離、及び前記少なくとも1つの候補運転者の顔のそれぞれの高さに基づいて、前記ターゲット運転者の顔を決定するように指示される、請求項6に記載のシステム。
【請求項8】
前記ターゲット運転者の顔の座標は、xjbd>w*3/5(ここで、xjbdは、前記ターゲット運転者の顔の右下隅のX軸座標を示し、wは、前記画像の幅を示す)を満たす請求項7に記載のシステム。
【請求項9】
前記ターゲット運転者の顔の面積は、前記候補運転者の顔セットにおいて最大である、請求項7に記載のシステム。
【請求項10】
前記ターゲット候補運転者の顔の右下隅と前記画像の右下隅との間の距離は、前記候補運転者の顔セット内で最も短い、請求項7に記載のシステム。
【請求項11】
前記ターゲット候補運転者の顔の右下隅と前記画像の右下隅との間の距離は、D <(3/4h)(ここで、Dは、前記ターゲット候補運転者の顔の右下隅と前記画像の右下隅との間の距離を示し、hは、前記画像の高さを示す)を満たす請求項7に記載のシステム。
【請求項12】
前記ターゲット運転者の顔の高さは、H/h>1/6(ここで、Hは、前記ターゲット運転者の顔の高さを示し、hは、前記画像の高さを示す)を満たす請求項7に記載のシステム。
【請求項13】
前記少なくとも1つのプロセッサはさらに、
前記顔セット内の前記ターゲット運転者の顔以外の人間の顔を乗員の顔として決定するように指示される、請求項1~11のいずれか一項に記載のシステム。
【請求項14】
前記少なくとも1つのプロセッサはさらに、
前記乗員の顔の座標に基づいて、前記乗員の顔から助手席に座っている乗員の顔を決定するように指示される、請求項13に記載のシステム。
【請求項15】
車両内で撮像された画像内の運転者と乗員とを区別するための方法であって、
画像から車両内の少なくとも1つの人間の顔と少なくとも1つの人間の顔の座標を含む顔セットを取得することと、
前記少なくとも1つの人間の顔の座標に基づいて前記顔セットから少なくとも1つの候補運転者の顔と前記少なくとも1つの候補運転者の顔の座標を含む候補運転者の顔セットを取得することと、
前記少なくとも1つの候補運転者の顔の座標に基づいて前記少なくとも1つの候補運転者の顔からターゲット運転者の顔を識別することと、を含む方法。
【請求項16】
前記候補運転者の顔セットを取得することは、
前記画像の幅を取得することと、
前記少なくとも1つの人間の顔の座標及び前記画像の幅に基づいて前記候補運転者の顔セットを決定することと、を含む請求項15に記載の方法。
【請求項17】
前記候補運転者の顔セット内の前記少なくとも1つの候補運転者の顔のそれぞれの座標は、xjbd>w/2、j=1,2,...,m,(ここで、xjbdは、前記少なくとも1つの候補運転者の顔のそれぞれの右下隅のX軸座標を示し、wは、前記画像の幅を示し、mは、前記少なくとも1つの候補運転者の顔の数を示す)を満たす請求項16に記載の方法。
【請求項18】
前記少なくとも1つの候補運転者の顔から前記ターゲット運転者の顔を識別することは、
前記少なくとも1つの候補運転者の顔の座標に基づいて、前記少なくとも1つの候補運転者の顔のそれぞれの面積を決定すること、を含む請求項15に記載の方法。
【請求項19】
前記画像の幅及び高さを取得することと、
前記少なくとも1つの候補運転者の顔の座標、前記画像の幅、及び前記画像の高さに基づいて、前記少なくとも1つの候補運転者の顔のそれぞれの右下隅と前記画像の右下隅との間の距離を決定することと、をさらに含む請求項18に記載の方法。
【請求項20】
前記少なくとも1つの候補運転者の顔の座標に基づいて、前記少なくとも1つの候補運転者の顔のそれぞれの高さを決定すること、をさらに含む請求項19に記載の方法。
【請求項21】
前記少なくとも1つの候補運転者の顔のそれぞれの座標、前記少なくとも1つの候補運転者の顔のそれぞれの面積、前記少なくとも1つの候補運転者の顔のそれぞれの右下隅と前記画像の右下隅との間の距離、及び前記少なくとも1つの候補運転者の顔のそれぞれの高さに基づいて、前記ターゲット運転者の顔を決定すること、をさらに含む請求項20に記載の方法。
【請求項22】
前記ターゲット運転者の顔の座標は、xjbd>w*3/5(ここで、xjbdは、前記ターゲット運転者の顔の右下隅のX軸座標を示し、wは、前記画像の幅を示す)を満たす請求項21に記載の方法。
【請求項23】
前記ターゲット運転者の顔の面積は、前記候補運転者の顔セット内で最大である、請求項21に記載の方法。
【請求項24】
前記ターゲット候補運転者の顔の右下隅と前記画像の右下隅との間の距離は、前記候補運転者の顔セット内で最も短い、請求項21に記載の方法。
【請求項25】
前記ターゲット候補運転者の顔の右下隅と前記画像の右下隅との間の距離は、D <(3/4h)(ここで、Dは、前記ターゲット候補運転者の顔の右下隅と前記画像の右下隅との間の距離を示し、hは、前記画像の高さを示す)を満たす請求項21に記載の方法。
【請求項26】
前記ターゲット運転者の顔の高さは、H/h>1/6(ここで、Hは、前記ターゲット運転者の顔の高さを示し、hは、前記画像の高さを示す)を満たす請求項21に記載の方法。
【請求項27】
前記顔セット内の前記ターゲット運転者の顔以外の人間の顔を乗員の顔として決定すること、をさらに含む請求項15~25のいずれか一項に記載の方法。
【請求項28】
前記乗員の顔の座標に基づいて、前記乗員の顔から助手席に座っている乗員の顔を決定すること、をさらに含む請求項27に記載の方法。
【請求項29】
車両内で撮像された画像内の運転者と乗員とを区別するための少なくとも1つの命令セットを含む非一時的な可読媒体であって、電気装置の少なくとも1つのプロセッサによって実行されると、前記少なくとも1つの命令セットは、前記少なくとも1つのプロセッサを、
前記画像から前記車両内の少なくとも1つの人間の顔と前記少なくとも1つの人間の顔の座標を含む顔セットを取得ことと、
前記少なくとも1つの人間の顔の座標に基づいて前記顔セットから少なくとも1つの候補運転者の顔と前記少なくとも1つの候補運転者の顔の座標を含む候補運転者の顔セットを取得することと、
前記少なくとも1つの候補運転者の顔の座標に基づいて前記少なくとも1つの候補運転者の顔からターゲット運転者の顔を識別することと、を含む方法を実行するように指示する、非一時的な可読媒体。
【請求項30】
車両内で撮像された画像内の運転者と乗員とを区別するためのシステムであって、
前記画像から車両内の少なくとも1つの人間の顔と前記少なくとも1つの人間の顔の座標を含む顔セットを取得するように構成された顔セット取得モジュールと、
前記少なくとも1つの人間の顔の座標に基づいて前記顔セットから少なくとも1つの候補運転者の顔と前記少なくとも1つの候補運転者の顔の座標を含む候補運転者の顔セットを取得するように構成された候補運転者の顔セット取得モジュールと、
前記少なくとも1つの候補運転者の顔の座標に基づいて前記少なくとも1つの候補運転者の顔からターゲット運転者の顔を識別するように構成されたターゲット運転者の顔識別モジュールと、を含むシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、画像処理のためのシステム及び方法に関し、特に、車両内で撮像された画像内の運転者と乗員とを区別するためのシステム及び方法に関する。
【背景技術】
【0002】
車両内で撮影された画像には、多くの場合、運転者と乗員の顔が含まれる。運転者の顔及び乗員の顔(特に、車両の助手席に座っている乗員の顔)を認識することは、他の用途に使用することが場合がある。例えば、認識された顔をさらに、乗員の数、運転者の疲労運転又は漫然運転の防止、シートベルト警告などのような安全運転の識別に使用する場合がある。したがって、車両内で撮像された画像内の運転者と乗員とを迅速かつ正確に区別するためのシステム及び方法を提供することが望ましい。
【発明の概要】
【課題を解決するための手段】
【0003】
本開示の一態様は、車両内で撮像された画像内の運転者と乗員とを区別するためのシステムを紹介する。システムは、画像内の運転者と乗員とを区別するための命令セットを含む少なくとも1つの記憶媒体と、記憶媒体と通信する少なくとも1つのプロセッサと、を含み、命令セットを実行すると、少なくとも1つのプロセッサは、画像から車両内の少なくとも1つの人間の顔と少なくとも1つの人間の顔の座標を含む顔セットを取得し、少なくとも1つの人間の顔の座標に基づいて顔セットから少なくとも1つの候補運転者の顔と少なくとも1つの候補運転者の顔の座標を含む候補運転者の顔セットを取得し、そして、少なくとも1つの候補運転者の顔の座標に基づいて少なくとも1つの候補運転者の顔からターゲット運転者の顔を識別するように指示される。
【0004】
いくつかの実施形態では、候補運転者の顔セットを取得するために、少なくとも1つのプロセッサは、画像の幅を取得し、そして、少なくとも1つの人間の顔の座標及び画像の幅に基づいて候補運転者の顔セットを決定するように指示される。
【0005】
いくつかの実施形態では、候補運転者の顔セット内の少なくとも1つの候補運転者の顔のそれぞれの座標は、xjbd>w/2、j=1,2,...,m(ここで、xjbdは、少なくとも1つの候補運転者の顔のそれぞれの右下隅のX軸座標を示し、wは、画像の幅を示し、mは、少なくとも1つの候補運転者の顔の数を示す)を満たす。
【0006】
いくつかの実施形態では、少なくとも1つの候補運転者の顔からターゲット運転者の顔を識別するために、少なくとも1つのプロセッサは、少なくとも1つの候補運転者の顔の座標に基づいて、少なくとも1つの候補運転者の顔のそれぞれの面積を決定するように指示される。
【0007】
いくつかの実施形態では、少なくとも1つのプロセッサはさらに、画像の幅及び高さを取得し、そして、少なくとも1つの候補運転者の顔の座標、画像の幅、及び画像の高さに基づいて、少なくとも1つの候補運転者の顔のそれぞれの右下隅と画像の右下隅との間の距離を決定するように指示される。
【0008】
いくつかの実施形態では、少なくとも1つのプロセッサは、少なくとも1つの候補運転者の顔の座標に基づいて、少なくとも1つの候補運転者の顔のそれぞれの高さを決定するように指示される。
【0009】
いくつかの実施形態では、少なくとも1つのプロセッサは、少なくとも1つの候補運転者の顔のそれぞれの座標、少なくとも1つの候補運転者の顔のそれぞれの面積、少なくとも1つの候補運転者の顔のそれぞれの右下隅と画像の右下隅との間の距離、及び少なくとも1つの候補運転者の顔のそれぞれの高さに基づいて、ターゲット運転者の顔を決定するように指示される。
【0010】
いくつかの実施形態では、ターゲット運転者の顔の座標は、xjbd>w*3/5(ここで、xjbdは、ターゲット運転者の顔の右下隅のX軸座標を示し、wは、画像の幅を示す)を満たす。
【0011】
いくつかの実施形態では、ターゲット運転者の顔の面積は、候補運転者の顔セット内で最大である。
【0012】
いくつかの実施形態では、ターゲット候補運転者の顔の右下隅と画像の右下隅との間の距離は、候補運転者の顔セット内で最も短い。
【0013】
いくつかの実施形態では、ターゲット候補運転者の顔の右下隅と画像の右下隅との間の距離は、D <(3/4h)(ここで、Dは、ターゲット候補運転者の顔の右下隅と画像の右下隅との間の距離を示し、hは、画像の高さを示す)を満たす。
【0014】
いくつかの実施形態では、ターゲット運転者の顔の高さは、H/h>1/6(ここで、Hは、ターゲット運転者の顔の高さを示し、hは、画像の高さを示す)を満たす。
【0015】
いくつかの実施形態では、少なくとも1つのプロセッサはさらに、顔セット内のターゲット運転者の顔以外の人間の顔を乗員の顔として決定するように指示される。
【0016】
いくつかの実施形態では、少なくとも1つのプロセッサはさらに、乗員の顔の座標に基づいて、乗員の顔から助手席に座っている乗員の顔を決定するように指示される。
【0017】
本開示の別の態様は、車両内で撮像された画像内の運転者と乗員とを区別するための方法に関する。この方法は、画像から車両内の少なくとも1つの人間の顔と少なくとも1つの人間の顔の座標を含む顔セットを取得することと、少なくとも1つの人間の顔の座標に基づいて顔セットから少なくとも1つの候補運転者の顔と少なくとも1つの候補運転者の顔の座標を含む候補運転者の顔セットを取得することと、少なくとも1つの候補運転者の顔の座標に基づいて少なくとも1つの候補運転者の顔からターゲット運転者の顔を識別することと、を含んでもよい。
【0018】
本開示のさらなる別の態様は、車両内で撮像された画像内の運転者と乗員の区別が両立できる少なくとも1つの命令セットを含む、非一時的なコンピュータ可読媒体に関する。電気装置の少なくとも1つのプロセッサによって実行されると、少なくとも1つの命令セットは、方法を実行するように少なくとも1つのプロセッサを指示する。この方法は、画像から車両内の少なくとも1つの人間の顔と少なくとも1つの人間の顔の座標を含む顔セットを取得することと、少なくとも1つの人間の顔の座標に基づいて顔セットから少なくとも1つの候補運転者の顔と少なくとも1つの候補運転者の顔の座標を含む候補運転者の顔セットを取得することと、少なくとも1つの候補運転者の顔の座標に基づいて少なくとも1つの候補運転者の顔からターゲット運転者の顔を識別することと、を含んでもよい。
【0019】
本開示のさらなる別の態様によれば、車両内で撮像された画像内の運転者と乗員とを区別するためのシステムは、画像から車両内の少なくとも1つの人間の顔と少なくとも1つの人間の顔の座標を含む顔セットを取得するように構成された顔セット取得モジュールと、少なくとも1つの人間の顔の座標に基づいて顔セットから少なくとも1つの候補運転者の顔と少なくとも1つの候補運転者の顔の座標を含む候補運転者の顔セットを取得するように構成された候補運転者の顔セット取得モジュールと、少なくとも1つの候補運転者の顔の座標に基づいて少なくとも1つの候補運転者の顔からターゲット運転者の顔を識別するように構成されたターゲット運転者の顔識別モジュールと、を含んでもよい。
【0020】
追加的な特徴について、一部は以下説明するが、一部は以下及び添付の図面を検討すると当業者に明らかになり、或いは例の作製又は動作によって分かる。本開示の特徴は、以下で論じられる詳細な例において記述された方法論、手段、及び組み合わせの様々な態様の実践又は使用により実現し達成することができる。
【図面の簡単な説明】
【0021】
例示的な実施形態によって本開示をさらに説明する。これらの例示的な実施形態を、図面を参照して詳細に説明する。図面は縮尺通りではない。これらの実施形態は、非限定的な概略実施形態であり、同様の参照番号が図面のいくつかの図を通して同様の構造を表す。
【0022】
図1】本開示のいくつかの実施形態に係る例示的な顔区別システムを示す概略図
図2】本開示のいくつかの実施形態に係る例示的なコンピューティングデバイスの例示的なハードウェア及び/又はソフトウェアコンポーネントを示す概略図
図3】本開示のいくつかの実施形態に係る、端末装置が実装され得る例示的なモバイルデバイスの例示的なハードウェア及び/又はソフトウェアコンポーネントを示す概略図
図4】本開示のいくつかの実施形態に係る例示的な処理装置を示すブロック図
図5】本開示のいくつかの実施形態に係る、車両内で撮像された画像内の運転者と乗員とを区別するための例示的なプロセスを示すフローチャート
図6】本開示のいくつかの実施形態に係る候補運転者の顔セットを決定するための例示的なプロセスを示すフローチャート
図7】本開示のいくつかの実施形態に係る、車両内で撮像された例示的な画像を示す概略図
図8】本開示のいくつかの実施形態に係る、ターゲット運転者の顔を決定するための例示的なプロセスを示すフローチャート
図9】本開示のいくつかの実施形態に係る、助手席に座っている乗員の顔を決定するための例示的なプロセスを示すフローチャート
【発明を実施するための形態】
【0023】
以下の説明は、当業者が本開示を作成し、使用することができるように説明されかつ特定の用途及びその要件の前提で提供されるものである。開示される実施形態に対する様々な変更は、当業者には明らかであり、本明細書で定義された一般的な原理は、本開示の趣旨及び範囲から逸脱しない限り、他の実施形態及び用途に適用することができる。したがって、本開示は、示された実施形態に限定されるものではなく、特許請求の範囲と一致した最大の範囲が与えられる。
【0024】
本明細書で用いられる用語は、具体的な例示的実施形態を記述することのみを目的とするものであり、限定することを意図しない。本明細書で用いられるように、「a」、「an」の単数形及び「the」は、文脈上明確に別途示されていない限り、複数形も同様に包含することを意図するものとする。さらに、「包含する」、「備える」、「からなる」、「含有する」、「含む」、及び/又は「有する」などの用語は、本開示において用いられるように、言及される特徴、整数、ステップ、動作、要素、及び/又はコンポーネントの存在を明示するが、1つ以上の他の特徴、整数、ステップ、動作、要素、コンポーネント、及び/又はそれらの群の存在又は追加を排除するものではないことが理解されよう。
【0025】
本開示の上記及び上記以外の特徴及び性質、ならびに関連する構成要素及び各部分の組み合わせの動作方法と機能、及び製造の経済性については、添付の図面を参照して以下の説明を検討することにより、より明らかになり、以下の説明と図面はいずれも本明細書の一部を構成する。しかしながら、図面は、例示及び説明のみを目的とするものであり、本開示の範囲を限定するものではないことは、明確に理解されるべきである。図面は、縮尺通りではないと理解される。
【0026】
本開示において用いられるフローチャートは、本開示のいくつかの実施形態に係るシステムが実行する動作を示す。フローチャートの動作が順序通りに実行されなくてもよいことは、明確に理解されるべきである。反対に、動作は、逆の順序で、又は同時に実行されてもよい。さらに、1つ以上の他の操作をフローチャートに追加してもよい。1つ以上の操作をフローチャートから削除してもよい。
【0027】
さらに、本開示で開示されたシステム及び方法は、主に車両内で撮像された画像内の運転者と乗員とを区別することに関して説明されるが、それらが一つの例示的な実施形態に過ぎないことを理解すべきである。本開示のシステム及び方法は、任意の他の種類の輸送システムに適用してもよい。例えば、本開示のシステム又は方法は、土地、海洋、航空宇宙など、又はそれらの任意の組み合わせを含む様々な環境の輸送システムに適用されてもよい。輸送システムの車両は、タクシー、自家用車、ヒッチ、バス、列車、超特急列車、高速鉄道、地下鉄、船舶、航空機、宇宙船、熱気球など、又はそれらの任意の組み合わせを含んでもよい。
【0028】
本開示の一態様は、車両内で撮像された画像内の運転者と乗員とを区別するためのシステム及び方法に関する。システム及び方法は、画像上に現れた顔を識別し、画像上に座標系を構築することができる。システム及び方法は、4つの条件すべてを満たす顔をターゲット運転者の顔として決定してもよい。4つの条件は、顔の座標、顔の面積、顔と画像の角との距離、顔の高さにそれぞれ関連する。システム及び方法は、同様の4つの条件を用いて、助手席に座っている乗員の顔をさらに識別することができる。このようにして、画像上の運転者と乗員を迅速かつ正確に区別することができる。認識された顔はさらに、乗員の数、運転者の疲労運転又は漫然運転の防止、シートベルト警告などのような安全運転の識別に使用することができる。
【0029】
図1は、本開示のいくつかの実施形態に係る例示的な顔区別システム100を示す概略図である。いくつかの実施形態では、顔識別システム100は、車両110、サーバ120、ネットワーク130、及び記憶装置140を含んでもよい。
【0030】
車両110は、任意のタイプの車両であってもよい。例えば、車両100は、馬、馬車、人力車(例えば、手押し一輪車、自転車、三輪車等)、自動車(例えば、タクシー、バス、自家用車等)、列車、地下鉄、船舶、航空機(例えば、飛行機、ヘリコプター、宇宙連絡船、ロケット、熱気球等)など、又はそれらの任意の組み合わせを含んでもよい。いくつかの実施形態では、車両110は、車両110を移動又は飛行できるようにする同等の構造を有することができる。例えば、車両110は、シャーシ、サスペンション、ステアリング装置(例えば、ステアリングホイール)、ブレーキ装置(例えば、ブレーキペダル)、加速器などのような従来の車両の構造を含んでもよい。別の例として、車両110は、本体と、少なくとも1つの車輪とを有してもよい。本体は、スポーツ車両、クーペ、セダン、ピックアップトラック、ステーションワゴン、スポーツ用多目的車(SUV)、ミニバン、又はコンバージョンバンのような任意の車体スタイルであってもよい。少なくとも1つの車輪は、全輪駆動(AWD)、前輪駆動(FWR)、後輪駆動(RWD)などとして構成してもよい。いくつかの実施形態では、車両110は、電動車両、燃料電池車両、ハイブリッド車両、従来の内燃機関車両などであってよいと考えられる。
【0031】
図1に示すように、車両110は、車両の内部又は外部環境を感知するために車両内部にカメラ111を含んでもよい。カメラ111は、カメラ111の範囲内にある対象物(例えば、人、動物、木、バリケード、建物、又は車両)に関連する1つ以上の画像を取得するように構成されてもよい。例えば、カメラ111は、車両110内に取り付けられた自動車運転レコーダであってもよい。カメラ111は、自動車運転レコーダのフロントカメラ又はリアカメラであってもよい。別の例として、カメラ111は、車両110内に取り付けられた監視カメラであってもよい。さらに別の例として、カメラ111は、車両110内の運転者又は乗員のユーザ端末(例えば、モバイルデバイス、タブレットコンピュータ、ラップトップコンピュータ、車両の内蔵型装置、ウェアラブルデバイス)であってもよい。
【0032】
いくつかの実施形態では、サーバ120は、単一のサーバ又はサーバグループであってもよい。サーバグループは、集中型であっても分散型であってもよい(例えば、サーバ120は、分散型システムであってもよい)。いくつかの実施形態では、サーバ120は、ローカルであってもリモートであってもよい。例えば、サーバ120は、ネットワーク130を介して、車両110、カメラ111、及び/又は記憶装置140に記憶された情報及び/又はデータにアクセスしてもよい。別の例として、サーバ120は、記憶された情報及び/又はデータにアクセスするために、車両110、カメラ111、及び/又は記憶装置140に直接接続してもよい。いくつかの実施形態では、サーバ120は、クラウドプラットフォーム又は車載コンピュータに実装することができる。単に例として、クラウドプラットフォームは、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散クラウド、インタークラウド、マルチクラウドなど、又はそれらの任意の組み合わせを含んでもよい。いくつかの実施形態では、サーバ120は、本開示の図2に示す1つ以上のコンポーネントを有するコンピューティングデバイス200に実装することができる。
【0033】
いくつかの実施形態では、サーバ120は、処理装置122を含んでもよい。処理装置122は、本開示に記載された1つ以上の機能を実行するために、車両内で撮像された画像内の運転者と乗員とを区別することに関連する情報及び/又はデータを処理することができる。例えば、処理装置122は、画像上の座標に基づいて、ターゲット運転者の顔を識別することができる。別の例として、処理装置122は、助手席に座っている乗員の顔を識別することができる。いくつかの実施形態では、処理装置122は、1つ以上の処理エンジン(例えば、シングルコア処理エンジン又はマルチコアプロセッサ)を含んでもよい。単に例として、処理装置122は、中央処理装置(CPU)、特定用途向け集積回路(ASIC)、特定用途向け命令のセットプロセッサ(ASIP)、グラフィックス処理ユニット(GPU)、物理演算処理装置(PPU)、デジタルシグナルプロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックデバイス(PLD)、コントローラ、マイクロコントローラユニット、縮小命令セットコンピュータ(RISC)、マイクロプロセッサなど、又はそれらの任意の組み合わせを含んでもよい。いくつかの実施形態では、処理装置122は、車両110に組み込まれてもよい。
【0034】
記憶装置140は、データ及び/又は命令を記憶してもよい。いくつかの実施形態では、記憶装置140は、車両110、カメラ111、処理装置122、及び/又は外部記憶装置から取得されたデータを記憶してもよい。例えば、記憶装置140は、カメラ111から取得された画像データを記憶してもよい。別の例として、記憶装置140は、ターゲット運転者の顔(又は乗員の顔)に関連する画像データを記憶してもよい。いくつかの実施形態では、記憶装置140は、サーバ120が本開示で説明される例示的な方法を実施するために実行又は使用するデータ及び/又は命令を記憶してもよい。例えば、記憶装置140は、処理装置122が画像内の運転者と乗員とを区別するために実行又は使用する命令を記憶してもよい。いくつかの実施形態では、記憶装置140は、マスストレージ、リムーバブルストレージ、揮発性読み書きメモリ、リードオンリーメモリ(ROM)など、又はそれらの任意の組み合わせを含んでもよい。例示的なマスストレージは、磁気ディスク、光ディスク、ソリッドステートドライブなどを含んでもよい。例示的なリムーバブルストレージは、フラッシュドライブ、フロッピーディスク、光ディスク、メモリーカード、ジップディスク、磁気テープ等を含んでもよい。例示的な揮発性読み書きメモリは、ランダムアクセスメモリ(RAM)を含んでもよい。例示的なRAMは、ダイナミックRAM(DRAM)、ダブルデータレート同期ダイナミックRAM(DDR SDRAM)、スタティックRAM(SRAM)、サイリスタRAM(T-RAM)、ゼロキャパシタRAM(Z-RAM)などを含んでもよい。例示的なROMは、マスクROM(MROM)、プログラマブルROM(PROM)、消去可能プログラマブルROM(EPROM)、電気的消去可能プログラマブルROM(EEPROM)、コンパクトディスクROM(CD-ROM)、及びデジタルバーサタイルディスクROMなどを含んでもよい。いくつかの実施形態では、記憶装置140は、クラウドプラットフォームに実装してもよい。単に例として、クラウドプラットフォームは、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散クラウド、インタークラウド、マルチクラウドなど、又はそれらの任意の組み合わせを含んでもよい。
【0035】
いくつかの実施形態では、記憶装置140は、顔区別システム100の1つ以上のコンポーネント(例えば、サーバ120、カメラ111、及び/又は車両110)と通信するために、ネットワーク130に接続してもよい。顔区別システム100の1つ以上のコンポーネントは、ネットワーク130を介して、記憶装置140に記憶されたデータ又は命令にアクセスしてもよい。いくつかの実施形態では、記憶装置140は、顔区別システム100の1つ以上のコンポーネント(例えば、サーバ120、カメラ111、及び/又は車両110)に直接接続するか又は通信してもよい。いくつかの実施形態では、記憶装置140は、サーバ120の一部であってもよい。いくつかの実施形態では、記憶装置140は、車両110に組み込まれてもよい。
【0036】
ネットワーク130は、情報及び/又はデータの変換を円滑化することができる。いくつかの実施形態では、顔区別システム100の一つ以上のコンポーネント(例えば、サーバ120、カメラ111、車両110、記憶装置140)は、情報及び/又はデータを、ネットワーク130を介して顔区別システム100の他のコンポーネントに送信してもよい。例えば、サーバ120は、ネットワーク130を介して車両110及び/又は記憶装置140から画像を取得してもよい。いくつかの実施形態では、ネットワーク130は、任意のタイプの有線又は無線ネットワーク、又はそれらの組み合わせであってもよい。単に例として、ネットワーク130は、ケーブルネットワーク、有線ネットワーク、光ファイバネットワーク、テレコミュニケーションネットワーク、イントラネット、インターネット、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、無線ローカルエリアネットワーク(WLAN)、メトロポリタンエリアネットワーク(MAN)、ワイドエリアネットワーク(WAN)、公衆電話交換網(PSTN)、ブルートゥース(登録商標)ネットワーク、ZigBeeネットワーク、近距離無線通信(NFC)ネットワークなど、又はそれらの任意の組み合わせを含んでもよい。いくつかの実施形態では、ネットワーク130は、1つ以上のネットワークアクセスポイントを含んでもよい。例えば、ネットワーク130は、有線又は無線ネットワークアクセスポイント(例えば、130-1、130-2)を含みことができ、それらを介して顔区別システム100の1つ以上のコンポーネントは、データ及び/又は情報を交換するために、ネットワーク130に接続してもよい。
【0037】
図2は、本開示のいくつかの実施形態に係る例示的なコンピューティングデバイス200の例示的なハードウェア及び/又はソフトウェアコンポーネントを示す概略図である。いくつかの実施形態では、サーバ120は、コンピューティングデバイス200に実装してもよい。例えば、処理装置122は、コンピューティングデバイス200に実装され、本開示で開示された処理装置122の機能を実行するように構成されてもよい。
【0038】
コンピューティングデバイス200を、本開示の顔区別システム100の任意のコンポーネントを実装するために用いてもよい。例えば、顔区別システム100の処理装置122は、そのハードウェア、ソフトウェアプログラム、ファームウェア又はそれらの組み合わせにより、コンピューティングデバイス200に実装してもよい。便宜上、このようなコンピュータの1つのみを示すが、処理負荷を分散させるために、本明細書に記載された顔区別システム100に関連するコンピュータ機能は、複数の同様のプラットフォームに分散して実装してもよい。
【0039】
コンピューティング装置200は、例えば、データ通信を容易にするために、それに接続されたネットワーク(例えば、ネットワーク130)に接続され、かつそれから接続された通信(COM)ポート250を含んでもよい。コンピューティングデバイス200は、プログラム命令を実行するために、1つ以上のプロセッサ(例えば、論理回路)の形でプロセッサ(例えば、プロセッサ220)を含んでもよい。例えば、プロセッサは、その中にインタフェース回路及び処理回路を含んでもよい。インタフェース回路は、バス210から、処理回路が処理するための構造化データ及び/又は命令を符号化する電子信号を受信するように構成されてもよい。処理回路は、論理計算を行い、次に、電子信号として符号化された結論、結果及び/又は命令を決定してもよい。そして、インタフェース回路は、バス210を介して、電子信号を処理回路から送信してもよい。
【0040】
コンピューティングデバイス200はさらに、コンピューティングデバイス200により処理及び/又は送信される様々なデータファイルのための、ディスク270、リードオンリーメモリ(ROM)230又はランダムアクセスメモリ(RAM)240などのような異なる形態のプログラムストレージ及びデータストレージを含んでもよい。例示的なコンピューティングデバイス200は、プロセッサ220により実行される、ROM230、RAM240及び/又は別のタイプの非一時的記憶媒体に記憶されたプログラム命令を含んでもよい。本開示の方法及び/又はプロセスは、プログラム命令として実装してもよい。コンピューティングデバイス200は、コンピューティングデバイス200とその中の他のコンポーネントとの間の入力及び/又は出力をサポートするI/Oコンポーネント260をも含む。コンピューティングデバイス200は、ネットワーク通信を介してプログラミング及びデータを受信してもよい。
【0041】
単に例示のために、コンピューティングデバイス200内の1つのプロセッサのみを記載した。しかしながら、本開示におけるコンピューティングデバイス200は、複数のプロセッサを含んでもよいため、本開示で記載されたような1つのプロセッサによって実行される動作は、複数のプロセッサによって共同で又は別々に実行してもよい点に注意すべきである。例えば、コンピューティングデバイス200のプロセッサは、動作A及び動作Bの両方を実行する。別の例として、動作A及び動作Bは、コンピューティングデバイス200において2つの異なるプロセッサによって共同で又は別々に実行してもよい(例えば、第1のプロセッサが動作Aを実行し、第2のプロセッサが動作Bを実行し、又は第1のプロセッサと第2のプロセッサが動作A及び動作Bを共同で実行する)。
【0042】
図3は、本開示のいくつかの実施形態に係る、端末装置が実装され得る例示的なモバイルデバイス300の例示的なハードウェア及び/又はソフトウェアコンポーネントを示す概略図である。いくつかの実施形態では、カメラ111は、モバイルデバイス300に実装してもよい。図3に示すように、前記モバイルデバイス300は、通信プラットフォーム310、ディスプレイ320、グラフィックス処理ユニット(GPU)330、中央処理装置(CPU)340、I/O350、メモリ360、モバイルオペレーティングシステム(OS)370、及びストレージ390を含んでもよい。いくつかの実施形態では、システムバス又はコントローラ(図示せず)を含むが、これらに限定されない任意の他の適切なコンポーネントをモバイルデバイス300が含んでもよい。
【0043】
いくつかの実施形態では、モバイルオペレーティングシステム370(例えば、iOSTM、AndroidTM、Windows PhoneTM)及び1つ以上のアプリケーション380が、CPU340により実行するために、ストレージ390からメモリ360にロードしてもよい。アプリケーション380は、測位に関連する情報又は処理装置122からの他の情報を受信してレンダリングするブラウザ又は他の任意の適切なモバイルアプリケーションを含んでもよい。情報ストリームとのユーザ対話は、I/O 350を介して達成され、ネットワーク130を介して、顔区別システム100の処理装置122及び/又は他のコンポーネントに提供してもよい。
【0044】
本開示に説明される様々なモジュール、ユニット及びそれらの機能を実装するために、コンピュータハードウェアプラットフォームは、本明細書において説明された要素のうちの1つ以上のためのハードウェアプラットフォームとして使用してもよい。ユーザインタフェース要素を有するコンピュータは、パーソナルコンピュータ(PC)又は任意の他のタイプのワークステーション又は端末装置を実装するために使用してもよい。コンピュータは、適切にプログラムされた場合、サーバとして機能してもよい。
【0045】
図4は、本開示のいくつかの実施形態に係る例示的な処理装置122を示すブロック図である。処理装置122は、顔セット取得モジュール410、候補運転者の顔セット取得モジュール420、ターゲット運転者の顔識別モジュール430、及び乗員の顔決定モジュール440を含んでもよい。
【0046】
顔セット取得モジュール410は、画像から顔セットを取得するように構成されてもよい。例えば、顔セット取得モジュール410は、画像から少なくとも1つの人間の顔を識別してもよい。
【0047】
候補運転者の顔セット取得モジュール420は、顔セットから候補運転者の顔セットを取得するように構成されてもよい。例えば、候補運転者の顔セット取得モジュール420は、少なくとも1つの人間の顔の座標と画像の幅とに基づいて、候補運転者の顔セットを決定してもよい。
【0048】
ターゲット運転者の顔識別モジュール430は、少なくとも1つの候補運転者の顔からターゲット運転者の顔を識別するように構成されてもよい。例えば、ターゲット運転者の顔識別モジュール430は、少なくとも1つの候補運転者の顔のそれぞれの面積、少なくとも1つの候補運転者の顔のそれぞれの右下隅と画像の右下隅との間の距離、及び/又は少なくとも1つの候補運転者の顔のそれぞれの高さを決定してもよい。別の例として、ターゲット運転者の顔識別モジュール430は、少なくとも1つの候補運転者の顔のそれぞれの座標、少なくとも1つの候補運転者の顔のそれぞれの面積、少なくとも1つの候補運転者の顔のそれぞれの右下隅と画像の右下隅との間の距離、及び/又は少なくとも1つの候補運転者の顔のそれぞれの高さに基づいて、ターゲット運転者の顔を決定してもよい。
【0049】
乗員の顔決定モジュール440は、助手席に座っている複数の乗員の顔及び/又は1つの乗員の顔を決定するように構成されてもよい。例えば、乗員の顔決定モジュール440は、顔セット内のターゲット運転者の顔以外の人間の顔を乗員の顔として決定してもよい。別の例として、乗員の顔決定モジュール440は、乗員の顔の座標に基づいて、助手席に座っている乗員の顔を決定してもよい。
【0050】
処理装置122内のモジュールは、有線接続又は無線接続を介して、互いに接続されるか又は通信してもよい。有線接続は、金属ケーブル、光ケーブル、ハイブリッドケーブルなど、又はそれらの任意の組み合わせを含んでもよい。無線接続は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、Bluetooth、ZigBee、近距離通信(NFC)など、又はそれらの任意の組み合わせを含んでもよい。2つ以上のモジュールは、単一のモジュールとして組み合わせてもよいし、いずれか1つのモジュールは、2つ以上のユニットに分割してもよい。例えば、処理装置122は、運転者と乗員の区別に関連する情報及び/又はデータ(例えば、画像など)を記憶するために使用される記憶モジュール(図示せず)を含んでもよい。
【0051】
図5は、本開示のいくつかの実施形態に係る、車両内で撮像された画像内の運転者と乗員とを区別するための例示的なプロセス500を示すフローチャートである。いくつかの実施形態では、プロセス500は、ストレージROM230又はRAM240に記憶された命令セット(例えば、アプリケーション)として実装してもよい。図4におけるプロセッサ220及び/又はモジュールは、命令セットを実行することができ、命令を実行すると、プロセッサ220及び/又はモジュールは、プロセス500を実行するように構成されてもよい。以下に説明される図示のプロセスの動作は、例示を意図するものである。いくつかの実施形態では、プロセス500は、説明されていない1つ以上の動作の追加、及び/又は本明細書で論じられる1つ以上の動作の抜きで達成してもよい。さらに、図5に示され、以下に説明されるプロセスの動作の順序は、限定的なものではない。
【0052】
510において、処理装置122(例えば、顔セット取得モジュール410、プロセッサ220のインタフェース回路)は、画像から顔セットを取得してもよい。
【0053】
いくつかの実施形態では、処理装置122は、車両110内に取り付けられたカメラ111から画像を取得してもよい。例えば、カメラ111は、自動車運転レコーダーのリアカメラであってもよい。自動車運転レコーダは、車両110のフロントガラスに取り付けてもよい。別の例として、カメラ111は道路監視カメラであってもよい。車両110が道路で移動しているとき、道路監視カメラは、車両110内の物体を含む画像を撮像してもよい。いくつかの実施形態では、カメラ111は、画像を撮像した後、リアルタイムで画像を処理装置122に送信してもよい。いくつかの実施形態では、カメラ111は、画像を顔区別システム100のストレージ(例えば、ストレージデバイス140、ROM230、RAM240など)に送信てもよく、処理装置122は、画像を取得するためにストレージにアクセスしてもよい。
【0054】
いくつかの実施形態では、処理装置122は、カメラ111と通信してもよい。例えば、処理装置122は、車両110が移動している間に、画像を撮像するための命令をカメラ111に送信してもよい。いくつかの実施形態では、カメラ111は、画像を自動的に撮像してもよい。例えば、カメラ111は、(例えば、車両110がスピードオーバーになっている、車両110が異常なサービス命令をしているなど)いくつかの状況において画像を自動的に撮像してもよい。いくつかの実施形態では、カメラ111は、所定の時間間隔ごとに画像を撮像してもよい。例えば、カメラ111は、5分、10分、30分ごとなどに画像を撮像してもよい。
【0055】
いくつかの実施形態では、顔セットは、車両内に座っている運転者及び/又は乗員の少なくとも1つの人間の顔を含んでもよい。いくつかの実施形態では、処理装置122は、顔認識アルゴリズムに従って、画像から少なくとも1つの人間の顔を認識してもよい。例えば、顔認識アルゴリズムは、固有顔を使用した主成分分析、線形判別分析、Fisherfaceアルゴリズムを使用した弾性バンチグラフマッチング、隠れマルコフモデル、テンソル表現を使用した多重線形部分空間学習、及びニューロン動機動的リンクマッチングなど、又はそれらの任意の組み合わせを含んでもよい。
【0056】
いくつかの実施形態では、顔セットは、少なくとも1つの人間の顔の座標を含んでもよい。いくつかの実施形態では、少なくとも1つの人間の顔のそれぞれは、形状(例えば、正方形、長方形など)として認識してもよい。いくつかの実施形態では、処理装置122は、画像上に座標系を確立してもよい。例えば、処理装置122は、画像の左上隅を座標系の原点として座標系を確立してもよい。X軸とY軸は、それぞれ幅方向と長さ方向に沿ってもよい。処理装置122は、各人間の顔の認識された形状(例えば、正方形、長方形など)に基づいて、少なくとも1つの人間の顔のそれぞれの座標を決定してもよい。例えば、処理装置122は、人間の顔の認識された長方形の各隅(例えば、左上隅、右上隅、左下隅、右下隅など)の座標を人間の顔の座標として決定してもよい。
【0057】
520において、処理装置122(例えば、候補運転者の顔セット取得モジュール420)は、少なくとも1つの人間の顔の座標に基づいて顔セットから候補運転者の顔セットを取得してもよい。いくつかの実施形態では、候補運転者の顔セットは、少なくとも1つの候補運転者の顔と、少なくとも1つの候補運転者の顔の座標とを含んでもよい。
【0058】
いくつかの実施形態では、候補運転者の顔は、潜在的運転者の顔であってもよい。いくつかの実施形態では、処理装置122は、少なくとも1つの人間の顔の座標に基づいて、顔セットから1つ以上の候補運転者の顔を識別してもよい。例えば、処理装置122は、画像の右半分に現れる1つ以上の顔を潜在的運転者として識別してもよい。画像の右半分は、画像の幅に基づいて決定してもよい。例えば、処理装置122は、顔セット内の各顔(例えば、顔の右下隅、顔の右上隅など)のX軸座標を画像の幅の半分の値と比較してもよい。顔(例えば、顔の右下隅、顔の右上隅など)のX軸座標が画像の幅の半分の値より大きい場合、処理装置122は、顔が画像の右半分に現れると決定してもよく、該顔を候補運転者の顔として決定してもよい。いくつかの実施形態では、1つ以上の候補運転者の顔は、その座標とともに候補運転者の顔セットに含んでもよい。いくつかの実施形態では、候補運転者の顔セットを決定するための方法は、本開示の他の箇所(例えば、図6及びその説明)で見出すことができる。
【0059】
530において、処理装置122(例えば、ターゲット運転者の顔識別モジュール430)は、少なくとも1つの候補運転者の顔の座標に基づいて、少なくとも1つの候補運転者の顔からターゲット運転者の顔を識別してもよい。
【0060】
いくつかの実施形態では、ターゲット運転者の顔は、車両110を運転しているターゲット運転者の顔であってよい。いくつかの実施形態では、処理装置122は、候補運転者の顔セット内の少なくとも1つの候補運転者の顔の座標に基づいて目標運転者の顔を決定してもよい。例えば、処理装置122は、1つ以上の条件を満たす顔をターゲット運転者の顔として決定してもよい。例えば、処理装置122は、顔の右下隅のX軸座標が座標条件(例えば、顔の右下隅のX軸座標が画像の幅の60%より大きいこと)を満たす顔をターゲット運転者の顔として決定してもよい。別の例として、処理装置122は、すべての候補運転者の顔の中で面積が最大である顔をターゲット運転者の顔として決定してもよい。顔の面積は、顔の四隅(長方形)の座標に基づいて決定してもよい。さらに別の例として、処理装置122は、画像の隅(例えば、画像の右下隅)からの距離が最も短い顔をターゲット運転者の顔として決定してもよい。さらに別の例として、処理装置122は、高さが高さ条件(例えば、顔の高さが高さの閾値よりも大きいこと、顔の高さと画像の高さの比率が比率の閾値よりも大きいこと、など)を満たす顔をターゲット運転者の顔として決定してもよい。顔の高さは、顔の隅(長方形)の座標に基づいて決定してもよい。さらに別の例として、処理装置122は、所定の基準に従って、1つ以上の条件の一部又はすべてを満たす顔をターゲット運転者の顔として決定してもよい。いくつかの実施形態では、すべての条件を満たす人間の顔がない(例えば、画像に2つの人間の顔があり、1つの人間の顔が3つの条件を満たし、もう1つの人間の顔が他の2つの条件を満たす)場合、運転者の顔を手動で決定するために画像をシステム100の作業者に送信してもよい。いくつかの実施形態では、すべての条件を満たす人間の顔がない場合、処理装置122は、カメラが正しく取り付けられるかどうかを検査しようと、車両の運転者に命令を送信してもよい。いくつかの実施形態では、すべての条件に基づいて決定されたターゲット運転者の顔は、1つ以上の条件の一部に基づいて決定されたターゲット運転者の顔よりも正確であってもよい。いくつかの実施形態では、ターゲット運転者の顔を決定するための方法は、本開示の他の箇所(例えば、図8及びその説明)で見出すことができる。
【0061】
いくつかの実施形態では、ターゲット運転者の顔を、本開示に従って迅速かつ正確に識別することができる。いくつかの実施形態では、ターゲット運転者の顔を、特定の用途に用いてもよい。例えば、ターゲットの運転者の顔を安全運転に用いて、運転者の疲労運転又は漫然運転を防止してもよい。別の例として、ターゲット運転者の顔を、車両110の運転中にシートベルトを締めるように運転者に警告するために使用してもよい。さらに別の例として、ターゲット運転者の顔を、運転者の個人識別のために使用してもよい。
【0062】
上記説明は、例示のためのものに過ぎず、本開示の範囲を限定するものではないことに留意すべきである。当業者であれば、本開示の教示下で複数の変形又は修正を行うことができる。しかしながら、これらの変形及び修正は、本開示の範囲から逸脱するものではない。例えば、1つ以上の他の任意の動作(例えば、記憶動作)を、プロセス500の他の部分に追加してもよい。記憶動作では、処理装置122は、識別されたターゲット運転者の顔を、本開示の他の箇所で開示されるストレージ(例えば、記憶装置140)に記憶してもよい。別の例として、処理装置122は、候補運転者の顔セットを取得する代わりに、顔セット内の少なくとも1つの人間の顔からターゲット運転者の顔を直接識別してもよい。
【0063】
図6は、本開示のいくつかの実施形態に係る候補運転者の顔セットを決定するための例示的なプロセス600を示すフローチャートである。いくつかの実施形態では、プロセス600は、ストレージROM230又はRAM240に記憶された命令セット(例えば、アプリケーション)として実装してもよい。図4におけるプロセッサ220及び/又はモジュールは、命令セットを実行することができ、命令を実行すると、プロセッサ220及び/又はモジュールは、プロセス600を実行するように構成されてもよい。以下に説明される図示のプロセスの動作は、例示を意図するものである。いくつかの実施形態では、プロセス600は、説明されていない1つ以上の動作の追加、及び/又は本明細書で論じられる1つ以上の動作の抜きで達成してもよい。さらに、図6に示され、以下に説明されるプロセスの動作の順序は、限定的なものではない。
【0064】
610において、処理装置122(例えば、候補運転者の顔セット取得モジュール420)は、画像の幅を取得してもよい。
【0065】
いくつかの実施形態では、画像の幅は、画像の右上隅のX軸座標を示してもよい。図7は、本開示のいくつかの実施形態に係る、車両内で撮像された例示的な画像710を示す概略図である。図7に示すように、画像710の右上隅のX軸座標は(w、0)である。画像710の右上隅は座標系の原点であってもよく、幅方向はX軸方向であってもよく、長さ方向はY軸方向であってもよい。画像710上には、5つの人間の顔720、730、740、750、及び760が存在する場合がある。図7に示すように、画像710の幅はwであってもよい。図7は、単に例示のためであることに留意すべきである。座標系は、別の方法を用いて画像上に確立してもよい。例えば、画像の任意の隅(例えば、左上隅、左下隅、右下隅)は、座標系の原点であってもよい。別の例として、画像の中心は座標系の原点であってもよい。画像内の人間の顔の座標は、それに応じて変更することができる。
【0066】
620において、処理装置122(候補運転者の顔セット取得モジュール420)は、少なくとも1つの人間の顔の座標と画像の幅とに基づいて、候補運転者の顔セットを決定してもよい。
【0067】
いくつかの実施形態では、車両110は、左ハンドル車又は右ハンドル車であってもよい。車両110が左ハンドル車両である場合、処理装置122は、画像の右半分に現れる1つ以上の顔を候補運転者の顔として識別してもよい。例えば、候補運転者の顔セット内の少なくとも1つの候補運転者の顔のそれぞれの座標は下記条件を満たしてもよい。
xjbd>w/2、j=1,2,...,m, (1)
(ここで、xjbdは、少なくとも1つの候補運転者の顔のそれぞれの右下隅のX軸座標を示し、wは、画像の幅を示し、mは、少なくとも1つの候補運転者の顔の数を示してもよい。)
【0068】
いくつかの実施形態では、画像の幅の半分の値を用いて、顔が画像の片側に現れるかどうかを決定してもよい。図7に示すように、人間の顔730、740、及び760は、候補運転者の顔として決定してもよい。候補運転者の顔セットは、人間の顔730、740、及び760を含んでもよい。車両110が右ハンドル車である場合、処理装置122は、画像の左半分に現れる1つ以上の顔を候補運転者の顔として識別してもよい。例えば、候補運転者の顔セット内の少なくとも1つの候補運転者の顔のそれぞれの左下隅のX軸座標は、画像の幅の半分の値よりも小さくてもよい。いくつかの実施形態では、処理装置122は、顔セット内の人間の顔のそれぞれのX軸座標(例えば、左下隅又は右下隅のX軸座標)を画像の幅の半分の値と比較することによって、候補運転者の顔セットに含まれる少なくとも1つの候補運転者の顔を決定してもよい。
【0069】
いくつかの実施形態では、候補運転者は、ターゲット運転者の顔を決定するための計算コストを低減するために、本開示に従って最初に画像内の人間の顔から選択してもよい。例えば、処理装置122は、画像から得られた顔セットではなく、候補運転者の顔セットからターゲット運転者の顔を決定してもよい。
【0070】
上記説明は、例示のためのものに過ぎず、本開示の範囲を限定するものではないことに留意すべきである。当業者であれば、本開示の教示下で複数の変形又は修正を行うことができる。しかしながら、これらの変形及び修正は、本開示の範囲から逸脱するものではない。例えば、1つ以上の他の任意の動作(例えば、記憶動作)を、プロセス600の他の部分に追加してもよい。記憶動作では、処理装置122は、画像の幅又は候補運転者の顔セットを、本開示の他の箇所で開示されるストレージ(例えば、記憶装置140)に記憶してもよい。別の例として、処理装置122は、少なくとも1つの人間の顔の座標及び画像の高さに基づいて候補運転者の顔セットを決定してもよい。例えば、候補運転者の顔は、画像の下半分に現れる場合がある。
【0071】
図8は、本開示のいくつかの実施形態に係る、ターゲット運転者の顔を決定するための例示的なプロセス800を示すフローチャートである。いくつかの実施形態では、プロセス800は、ストレージROM230又はRAM240に記憶された命令セット(例えば、アプリケーション)として実装してもよい。図4におけるプロセッサ220及び/又はモジュールは、命令セットを実行することができ、命令を実行すると、プロセッサ220及び/又はモジュールは、プロセス800を実行するように構成されてもよい。以下に説明される図示のプロセスの動作は、例示を意図するものである。いくつかの実施形態では、プロセス800は、説明されていない1つ以上の動作の追加、及び/又は本明細書で論じられる1つ以上の動作の抜きで達成してもよい。さらに、図8に示され、以下に説明されるプロセスの動作の順序は、限定的なものではない。
【0072】
810において、処理装置122(例えば、ターゲット運転者の顔識別モジュール430)は、少なくとも1つの候補運転者の顔の座標に基づいて、少なくとも1つの候補運転者の顔のそれぞれの面積を決定してもよい。
【0073】
いくつかの実施形態では、顔の面積は、顔のサイズを示してもよい。面積の大きい顔は、顔がカメラ111により近く現れることを示してもよい。例えば、車両110の前列に座っている人間の顔は、後列に座っている人間の顔よりも広い面積を有する場合がある。いくつかの実施形態では、処理装置122は、候補運転者の顔の座標に基づいて各候補運転者の顔の面積を決定してもよい。例えば、図7に示すように、候補運転者の顔760の左上隅の座標は(xilt、yilt)である。候補運転者の顔760の左上隅のX軸座標はxiltであり、候補運転者の顔760の左上隅のY軸座標はyiltである。候補運転者の顔760の右下隅の座標は(xibd、yibd)である。候補運転者の顔760の右下隅のX軸座標はxibdであり、候補運転者の顔760の右下隅のY軸座標はyibdである。処理エンジン112は、候補運転者の顔760の幅を|xibd-xilt|として決定し、候補運転者の顔760の高さを|yibd-yilt|として決定してもよい。処理装置122は、候補運転者の顔760の幅及び高さを乗算することによって候補運転者の顔760の面積を決定してもよい。
【0074】
820において、処理装置122(例えば、ターゲット運転者の顔識別モジュール430)は、画像の幅及び高さを取得してもよい。
【0075】
いくつかの実施形態では、画像の幅は、画像の右上隅のX軸座標を示してもよい。画像の高さは、画像の左下隅のY軸座標を示してもよい。図7に示すように、画像710の幅はwであってもよく、画像710の高さはhであってもよい。
【0076】
830において、処理装置122(例えば、ターゲット運転者の顔識別モジュール430)は、少なくとも1つの候補運転者の顔の座標、画像の幅、及び画像の高さに基づいて、少なくとも1つの候補運転者の顔のそれぞれの右下隅と画像の右下隅との間の距離を決定してもよい。
【0077】
いくつかの実施形態では、左ハンドル車両において、運転者は車両の左前方に座り、運転者の顔は画像の右下に現れる。いくつかの実施形態では、候補運転者の顔の右下隅と画像の右下隅との間の距離は、候補運転者の顔が画像の右下に現れるかどうかを決定するために用いてもよい。いくつかの実施形態では、画像の右下は、右下隅に近く画像の最も低いところにある部分を表てもよい。図7に示すように、画像の右下は、円弧(AB)で示される領域であってもよい。点Bから画像の右下隅までの距離は0.75hであってもよい。いくつかの実施形態では、処理装置122は、候補運転者の顔の座標、画像の幅、及び画像の高さに基づいて、候補運転者の顔の右下隅と画像の右下隅との間の距離を決定してもよい。例えば、図7に示すように、候補運転者の顔760の右下隅と画像710の右下隅との間の距離Dは、候補運転者の顔760の右下隅の座標(xibd、yibd)及び画像710の右下隅の座標(w、h)に基づいて決定してもよい。ここで、wとhは、それぞれ画像710の幅と高さを示してもよい。距離Dは、√((xibd-w)+(yibd-h))に従って決定されてもよい。
【0078】
候補運転者の顔の右下隅と画像の右下隅との間の距離は、説明のみを目的とするものであり、他の距離(例えば、候補運転者の顔の右上隅と画像の右下隅との間の距離、候補運転者の顔の左下隅と画像の右下隅との間の距離など)は、候補運転者の顔が画像の右下に現れるかどうかを決定するために用いてもよいことに留意すべきである。左ハンドル車は、説明のみを目的とするものであり、右ハンドル車両において、処理装置122は、候補運転者の顔の左下隅と画像の左下隅との間の距離を決定してもよいことに留意すべきである。
【0079】
840において、処理装置122(例えば、ターゲット運転者の顔識別モジュール430)は、少なくとも1つの候補運転者の顔の座標に基づいて、少なくとも1つの候補運転者の顔のそれぞれの高さを決定してもよい。
【0080】
いくつかの実施形態では、候補運転者の顔の高さは、候補運転者の顔のサイズ又は候補運転者の顔と画像との高さ比を決定するために用いてもよい。例えば、運転者は車両の前部に座り、運転者の顔の高さは高さの閾値よりも高くてもよい(或いは、画像に対する運転者の高さ比は高さ比の閾値より高くてもよい)。いくつかの実施形態では、処理装置122は、候補運転者の顔の座標に基づいて候補運転者の顔の高さを決定してもよい。例えば、図7に示すように、候補運転者の顔760の高さhは、|yibd-yilt|に従って決定してもよい。
【0081】
850において、処理装置122(例えば、ターゲット運転者の顔識別モジュール430)は、少なくとも1つの候補運転者の顔のそれぞれの座標、少なくとも1つの候補運転者の顔のそれぞれの面積、少なくとも1つの候補運転者の顔のそれぞれの右下隅と画像の右下隅との間の距離、及び少なくとも1つの候補運転者の顔のそれぞれの高さに基づいて、ターゲット運転者の顔を決定してもよい。
【0082】
いくつかの実施形態では、処理装置122は、候補運転者の顔の座標、候補運転者の顔の面積、候補運転者の顔の右下隅と画像の右下隅との間の距離、及び/又は候補運転者の顔の高さに関連する1つ以上の条件を満たす候補運転者の顔をターゲット運転者の顔として決定してもよい。
【0083】
いくつかの実施形態では、ターゲット運転者の顔の座標は、座標条件を満たしてもよい。例えば、ターゲット運転者の顔の右下隅のx軸座標は、画像の幅に関連する閾値よりも大きくてもよい。いくつかの実施形態では、閾値は、顔区別システム100のストレージ(例えば、記憶装置140、ROM230、RAM240など)に記憶されたデフォルト値であってもよい。いくつかの実施形態では、閾値は、異なる応用シーンに応じて決定され、又は顔区別システム100の作業者によって決定されてもよい。例えば、閾値は、画像の幅の50%、60%、又は65%などであってもよい。いくつかの実施形態では、ターゲット運転者の顔の座標は、下記条件を満たしてもよい。
xjbd>w*3/5 (2)
(ここで、xjbdは、ターゲット運転者の顔の右下隅のX軸座標を示し、wは、画像の幅を示す。)
【0084】
いくつかの実施形態では、ターゲット運転者の顔の面積は、面積条件を満たしてもよい。例えば、ターゲット運転者の顔の面積は、候補運転者の顔セット内の少なくとも1つの候補運転者の顔の中で最大であってもよい。別の例として、ターゲット運転者の顔の面積は面積閾値よりも大きくてもよい。いくつかの実施形態では、面積閾値は、顔区別システム100のストレージ(例えば、記憶装置140、ROM230、RAM240など)に記憶されたデフォルト値であってもよい。いくつかの実施形態では、面積閾値は、異なる応用シーンに応じて決定され、又は顔区別システム100の作業者によって決定されてもよい。
【0085】
いくつかの実施形態では、ターゲット運転者の顔の右下隅と画像の右下隅との間の距離は、距離条件を満たしてもよい。例えば、ターゲット運転者の顔の右下隅と画像の右下隅との間の距離は、距離閾値よりも小さくてもよい。いくつかの実施形態では、距離閾値は、顔区別システム100のストレージ(例えば、記憶装置140、ROM230、RAM240など)に記憶されたデフォルト値であってもよい。いくつかの実施形態では、距離閾値は、異なる応用シーンに応じて決定され、又は顔区別システム100の作業者によって決定されてもよい。別の例として、ターゲット運転者の顔の右下隅と画像の右下隅との間の距離は下記条件を満たしてもよい。
<(3/4h) (3)
(ここで、Dは、ターゲット候補運転者の顔の右下隅と画像の右下隅との間の距離を示し、hは、画像の高さを示す。)
【0086】
いくつかの実施形態では、ターゲット運転者の顔の高さは、高さ条件を満たしてもよい。例えば、ターゲット運転者の顔の高さは、高さ閾値より大きくてもよい。いくつかの実施形態では、高さ閾値は、顔区別システム100のストレージ(例えば、記憶装置140、ROM230、RAM240など)に記憶されたデフォルト値であってもよい。いくつかの実施形態では、高さ閾値は、異なる応用シーンに応じて決定され、又は顔区別システム100の作業者によって決定されてもよい。例えば、高さの閾値は、100、120、130などであってもよい。別の例として、ターゲット運転者の顔の高さは下記条件を満たしてもよい。
/h>1/6 (4)
(ここで、Hは、ターゲット運転者の顔の高さを示し、hは、画像の高さを示す。)
【0087】
いくつかの実施形態では、処理装置122は、動作850において説明されたすべての条件を満たす候補運転者の顔をターゲット運転者の顔として決定してもよい。例えば、すべての条件を満たす人間の顔がない(例えば、画像に2つの人間の顔があり、1つの人間の顔が3つの条件を満たし、もう1つの人間の顔が他の2つの条件を満たす)場合、運転者の顔を手動で決定するために画像をシステム100の作業者に送信してもよい。いくつかの実施形態では、処理装置122は、動作850において説明された少なくとも1つの条件を満たす候補運転者の顔をターゲット運転者の顔として決定してもよい。例えば、処理装置122は、条件(2)、(3)、及び(4)を満たす候補運転者の顔をターゲット運転者の顔として決定してもよい。別の例として、処理装置122は、条件(2)及び(4)を満たす候補運転者の顔をターゲット運転者の顔として決定してもよい。
【0088】
上記説明は、例示のためのものに過ぎず、本開示の範囲を限定するものではないことに留意すべきである。当業者であれば、本開示の教示下で複数の変形又は修正を行うことができる。しかしながら、これらの変形及び修正は、本開示の範囲から逸脱するものではない。例えば、1つ以上の他の任意の動作(例えば、記憶動作)を、プロセス800の他の部分に追加してもよい。記憶動作では、処理装置122は、ターゲット運転者の顔を、本開示の他の箇所で開示されるストレージ(例えば、記憶装置140)に記憶してもよい。別の例として、処理装置122は、上述の条件の任意の組み合わせに基づいて、ターゲット運転者の顔を決定してもよい。
【0089】
図9は、本開示のいくつかの実施形態に係る、助手席に座っている乗員の顔を決定するための例示的なプロセス900を示すフローチャートである。いくつかの実施形態では、プロセス900は、ストレージROM230又はRAM240に記憶された命令セット(例えば、アプリケーション)として実装してもよい。図4におけるプロセッサ220及び/又はモジュールは、命令セットを実行することができ、命令を実行すると、プロセッサ220及び/又はモジュールは、プロセス900を実行するように構成されてもよい。以下に説明される図示のプロセスの動作は、例示を意図するものである。いくつかの実施形態では、プロセス900は、説明されていない1つ以上の動作の追加、及び/又は本明細書で論じられる1つ以上の動作の抜きで達成してもよい。さらに、図9に示され、以下に説明されるプロセスの動作の順序は、限定的なものではない。
【0090】
910において、処理装置122(例えば、乗員の顔決定モジュール440)は、顔セット内のターゲット運転者の顔以外の人間の顔を乗員の顔として決定してもよい。
【0091】
いくつかの実施形態では、処理装置122は、画像から取得された顔セットからターゲット運転者の顔を削除してもよい。残りの人間の顔は、乗員の顔であってもよい。
【0092】
920において、処理装置122(例えば、乗員の顔決定モジュール440)は、乗員の顔の座標に基づいて、乗員の顔から、助手席に座っている乗員の顔を決定してもよい。
【0093】
いくつかの実施形態では、左ハンドル車において、助手席に座っている乗員が、車両110の前部とターゲット運転者の右側に座るとしてもよい。いくつかの実施形態では、処理装置122は、乗員の顔の座標に基づいて、助手席に座っている乗員の顔を決定してもよい。例えば、助手席に座っている乗員の顔が、乗員の顔の中で最大の面積を有するとしてもよい。処理装置122は、各乗員の顔の面積を決定し、かつ最大の面積を有する乗員の顔を、助手席に座っている乗員の顔として決定してもよい。別の例として、助手席に座っている乗員の顔の座標は、条件(2)と同様の条件を満たしてもよい。例えば、助手席に座っている乗員の顔の左下隅のX軸座標は、画像の幅の30%、40%、又は45%など未満であってもよい。さらに別の例として、処理装置122は、各乗員の顔の左下隅と画像の左下隅との間の距離を決定してもよい。助手席に座っている乗員の顔の左下隅と画像の左下隅との間の距離は、条件(3)と同様の条件を満たしてもよい。さらに別の例として、処理装置122は、各乗員の顔の高さを決定してもよい。助手席に座っている乗員の顔の高さは、条件(4)と同様の条件を満たしてもよい。
【0094】
いくつかの実施形態では、処理装置122は、上記すべての条件を満たす乗員の顔を、助手席に座っている乗員の顔として決定する。例えば、すべての条件を満たす人間の顔がない(例えば、画像に2つの乗員の顔があり、1つの乗員の顔が3つの条件を満たし、もう1つの乗員の顔が他の2つの条件を満たす)場合、助手席に座っている乗員の顔を手動で決定するために画像をシステム100の作業者に送信してもよい。いくつかの実施形態では、処理装置122は、上記少なくとも1つの条件を満たす乗員の顔を、助手席に座っている乗員の顔として決定してもよい。
【0095】
いくつかの実施形態では、処理装置122は、本開示におけるターゲット運転者の顔を決定するための同様の方法に従って、画像から得られた顔セットからの乗員の顔から、助手席に座っている乗員の顔を直接決定してもよい。いくつかの実施形態では、助手席に座っている乗員の顔を、本開示に従って迅速かつ正確に識別してもよい。いくつかの実施形態では、助手席に座っている乗員の顔を、特定の用途のために用いてもよい。例えば、助手席に座っている乗員の顔を、安全のために用いてもよい。別の例として、助手席に座っている乗員の顔を、助手席に座っている乗員にシートベルトを締めるように警告するために用いてもよい。さらに別の例として、助手席に座っている乗員の顔を、乗員の個人識別に用いてもよい。いくつかの実施形態では、乗員の顔を、車両110内に座っている乗員の数を識別して過多な乗員の輸送を防止するために用いてもよい。
【0096】
上記説明は、例示のためのものに過ぎず、本開示の範囲を限定するものではないことに留意すべきである。当業者であれば、本開示の教示下で複数の変形又は修正を行うことができる。しかしながら、これらの変形及び修正は、本開示の範囲から逸脱するものではない。例えば、1つ以上の他の任意の動作(例えば、記憶動作)を、プロセス900の他の部分に追加してもよい。記憶動作では、処理装置122は、乗員の顔を、本開示の他の箇所で開示されるストレージ(例えば、記憶装置140)に記憶してもよい。別の例として、処理装置122は、ターゲット運転者の顔を決定するための同様の方法に基づいて、助手席に座っている乗員の顔を決定してもよい。
【0097】
以上のように基本概念を説明してきたが、この詳細な開示を読んだ当業者にとって、上記の詳細な開示は、単なる例として説明されているに過ぎず、限定的ではないことは明らかである。本明細書には明示的に述べられていないが、様々な変更、改良、及び修正は、当業者にとって、意図しているものであり、そして可能である。これらの変更、改良及び修正は、本開示によって示唆されるものとし、本開示の例示的な実施形態の趣旨及び範囲内にある。
【0098】
さらに、所定の用語が、本開示の実施形態を説明するために使用されている。例えば、「一実施形態」、「実施形態」及び/又は「いくつかの実施形態」という用語は、この実施形態に関連して説明される特定の特徴、構造又は特性が本開示の少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書の様々な部分における「実施形態」又は「一実施形態」又は「代替実施形態」についての2つ以上の言及は、必ずしも全て同一の実施形態を指すわけではないことを強調し、理解されたい。さらに、特定の特徴、構造、又は特性は、本開示の1つ以上の実施形態では適切に組み合わせられてもよい。
【0099】
さらに、当業者には理解されるように、本開示の態様は、本明細書において、任意の新規かつ有用なプロセス、機械、製造、又は組成物、又はそれらの新規で有用な改善を含む、多くの特許性のある種類又は文脈のいずれかにおいて、例示及び説明することができる。したがって、本開示の態様は、完全にハードウェア、完全にソフトウェア(ファームウェア、常駐ソフトウェア、マイクロコード等を含む)、又はソフトウェアとハードウェアの実施態様との組み合わせにより実施することができ、本明細書では、一般に、「ユニット」、「モジュール」、又は「システム」と総称されてもよい。さらに、本開示の態様は、その上に具現化されたコンピュータ可読プログラムコードを有する1つ以上のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形態をとることもできる。
【0100】
コンピュータ可読信号媒体は、例えば、ベースバンド内で、又は搬送波の一部として、コンピュータ可読プログラムコードを具現化した伝搬データ信号を含むことができる。このような伝搬信号は、電磁気、光学など、又はそれらの任意の適切な組み合わせを含む様々な形態のいずれかを取り得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではないが、命令実行システム、機器若しくは装置によって使用されるか又はそれらと関連して使用されるためのプログラムを通信、伝搬又は伝送できる任意のコンピュータ可読媒体であってもよい。コンピュータ可読信号媒体に具現化されたプログラムコードは、無線、有線、光ファイバケーブル、RFなど、又はこれらの任意の適切な組み合わせを含む任意の適切な媒体を使用して送信してもよい。
【0101】
本開示の態様の動作を実行するためのコンピュータプログラムコードは、Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Pythonなどのオブジェクト指向プログラミング言語、「C」プログラミング言語、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAPなどの従来の手続き型プログラミング言語、Python、Ruby、Groovyなどの動的プログラミング言語、又は他のプログラミング言語を含む、1つ以上のプログラミング言語の任意の組み合わせで書いてもよいNET、Pythonなどのオブジェクト指向プログラミング言語、「C」プログラミング言語、Visual Basic、Fortran 1703、Perl、COBOL 1702、PHP、ABAPなどの従来の手続き型プログラミング言語、Python、Ruby、Groovyなどの動的プログラミング言語、又は他のプログラミング言語を含む1つ以上のプログラミング言語の任意の組み合わせで書いてもよい。プログラムコードは、完全にユーザのコンピュータで、部分的にユーザのコンピュータで、スタンドアロンのソフトウェアパッケージとして、部分的にユーザのコンピュータで、部分的にリモートコンピュータで、又は完全にリモートコンピュータ若しくはサーバで実行してもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(LAN)又はワイドエリアネットワーク(WAN)を含む任意のタイプのネットワークを介してユーザのコンピュータに接続することができ、或いは、接続は、外部コンピュータ(例えば、インターネットサービスプロバイダを使用してインターネットを介して)若しくはクラウドコンピューティング環境で行われるか、又はサービスとしてのソフトウェア(SaaS)などのサービスとして提供してもよい。
【0102】
さらに、処理要素もしくはシーケンスを列挙する順序、又はそれに対して使用した数、文字、もしくは他の名称は、特許請求の範囲に特定され得るものを除き、請求された処理及び方法を任意の順序に限定することを意図するものではない。上記開示は、本開示の様々な有用な実施形態であると現在考えられる様々な実施例により論じているが、そのような詳細は当該目的のものでしかなく、添付の特許請求の範囲は、開示される実施形態に限定されず、それどころか、開示される実施形態の趣旨及び範囲内にある修正及び等価な構成を包含するように意図されることを理解すべきである。例えば、上記様々なコンポーントの実装は、ハードウェア装置で具体化されてもよいが、ソフトウェアのみの解決策として、例えば、既存のサーバ又はモバイルデバイスへのインストールで実装してもよい。
【0103】
同様に、本開示の実施形態の前述の説明では、本開示を簡素化し、1つ以上の様々な実施形態の理解に資するため、様々な特徴が単一の実施形態、図、又はその説明にまとめられた場合があることを理解すべきである。しかしながら、本開示の方法は、特許請求された主題が各請求項に明確に記載されたより多くの特徴を必要とするという意図を反映するものとして解釈されるべきではない。むしろ、特許請求された主題は、前述の単一の開示される実施形態のすべての特徴よりも少ない範囲にある。
【符号の説明】
【0104】
100 顔区別システム
110 車両
111 カメラ
120 サーバ
122 処理装置
130 ネットワーク
140 記憶装置
200 コンピューティングデバイス
210 バス
220 プロセッサ
250 ポート
260 I/Oコンポーネント
270 ディスク
図1
図2
図3
図4
図5
図6
図7
図8
図9
【手続補正書】
【提出日】2020-06-15
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
車両内で撮像された画像内の運転者と乗員とを区別するためのシステムであって、
前記画像内の運転者と乗員とを区別するための命令セットを含む少なくとも1つの記憶媒体と、
前記記憶媒体と通信する少なくとも1つのプロセッサとを含み、前記命令セットを実行すると、前記少なくとも1つのプロセッサは、
前記画像から前記車両内の少なくとも1つの人間の顔と前記少なくとも1つの人間の顔の座標を含む顔セットを取得し、
前記少なくとも1つの人間の顔の座標に基づいて前記顔セットから少なくとも1つの候補運転者の顔と前記少なくとも1つの候補運転者の顔の座標を含む候補運転者の顔セットを取得し、
前記少なくとも1つの候補運転者の顔の座標に基づいて前記少なくとも1つの候補運転者の顔からターゲット運転者の顔を識別するように指示されるシステム。
【請求項2】
前記候補運転者の顔セットを取得するために、前記少なくとも1つのプロセッサは、
前記画像の幅を取得し、
前記少なくとも1つの人間の顔の座標及び前記画像の幅に基づいて前記候補運転者の顔セットを決定するように指示される、請求項1に記載のシステム。
【請求項3】
前記候補運転者の顔セット内の前記少なくとも1つの候補運転者の顔のそれぞれの座標は、xjbd>w/2、j=1,2,...,m(ここで、xjbdは、前記少なくとも1つの候補運転者の顔のそれぞれの右下隅のX軸座標を示し、wは、前記画像の幅を示し、mは、前記少なくとも1つの候補運転者の顔の数を示す)を満たす請求項2に記載のシステム。
【請求項4】
前記少なくとも1つの候補運転者の顔から前記ターゲット運転者の顔を識別するために、前記少なくとも1つのプロセッサは、
前記少なくとも1つの候補運転者の顔の座標に基づいて、前記少なくとも1つの候補運転者の顔のそれぞれの面積を決定するように指示される、請求項1~3のいずれか一項に記載のシステム。
【請求項5】
前記少なくとも1つのプロセッサはさらに、
前記画像の幅及び高さを取得し、
前記少なくとも1つの候補運転者の顔の座標、前記画像の幅、及び前記画像の高さに基づいて、前記少なくとも1つの候補運転者の顔のそれぞれの右下隅と前記画像の右下隅との間の距離を決定するように指示される、請求項4に記載のシステム。
【請求項6】
前記少なくとも1つのプロセッサは、
前記少なくとも1つの候補運転者の顔の座標に基づいて、前記少なくとも1つの候補運転者の顔のそれぞれの高さを決定するように指示される、請求項5に記載のシステム。
【請求項7】
前記少なくとも1つのプロセッサは、
前記少なくとも1つの候補運転者の顔のそれぞれの座標、前記少なくとも1つの候補運転者の顔のそれぞれの面積、前記少なくとも1つの候補運転者の顔のそれぞれの右下隅と前記画像の右下隅との間の距離、及び前記少なくとも1つの候補運転者の顔のそれぞれの高さに基づいて、前記ターゲット運転者の顔を決定するように指示される、請求項6に記載のシステム。
【請求項8】
前記ターゲット運転者の顔の座標は、xjbd>w*3/5(ここで、xjbdは、前記ターゲット運転者の顔の右下隅のX軸座標を示し、wは、前記画像の幅を示す)を満たす請求項7に記載のシステム。
【請求項9】
前記ターゲット運転者の顔の面積は、前記候補運転者の顔セットにおいて最大である、請求項に記載のシステム。
【請求項10】
前記ターゲット候補運転者の顔の右下隅と前記画像の右下隅との間の距離は、前記候補運転者の顔セット内で最も短い、請求項7~9のいずれか一項に記載のシステム。
【請求項11】
前記ターゲット候補運転者の顔の右下隅と前記画像の右下隅との間の距離は、D <(3/4h)(ここで、Dは、前記ターゲット候補運転者の顔の右下隅と前記画像の右下隅との間の距離を示し、hは、前記画像の高さを示す)を満たす請求項7~9のいずれか一項に記載のシステム。
【請求項12】
前記ターゲット運転者の顔の高さは、H/h>1/6(ここで、Hは、前記ターゲット運転者の顔の高さを示し、hは、前記画像の高さを示す)を満たす請求項7~11のいずれか一項に記載のシステム。
【請求項13】
前記少なくとも1つのプロセッサはさらに、
前記顔セット内の前記ターゲット運転者の顔以外の人間の顔を乗員の顔として決定し、
前記乗員の顔の座標に基づいて、前記乗員の顔から助手席に座っている乗員の顔を決定するように指示される、請求項1~12のいずれか一項に記載のシステム。
【請求項14】
車両内で撮像された画像内の運転者と乗員とを区別するための方法であって、
画像から車両内の少なくとも1つの人間の顔と少なくとも1つの人間の顔の座標を含む顔セットを取得することと、
前記少なくとも1つの人間の顔の座標に基づいて前記顔セットから少なくとも1つの候補運転者の顔と前記少なくとも1つの候補運転者の顔の座標を含む候補運転者の顔セットを取得することと、
前記少なくとも1つの候補運転者の顔の座標に基づいて前記少なくとも1つの候補運転者の顔からターゲット運転者の顔を識別することと、を含む方法。
【請求項15】
車両内で撮像された画像内の運転者と乗員とを区別するための少なくとも1つの命令セットを含む非一時的な可読媒体であって、電気装置の少なくとも1つのプロセッサによって実行されると、前記少なくとも1つの命令セットは、前記少なくとも1つのプロセッサを、
前記画像から前記車両内の少なくとも1つの人間の顔と前記少なくとも1つの人間の顔の座標を含む顔セットを取得ことと、
前記少なくとも1つの人間の顔の座標に基づいて前記顔セットから少なくとも1つの候補運転者の顔と前記少なくとも1つの候補運転者の顔の座標を含む候補運転者の顔セットを取得することと、
前記少なくとも1つの候補運転者の顔の座標に基づいて前記少なくとも1つの候補運転者の顔からターゲット運転者の顔を識別することと、を含む方法を実行するように指示する、非一時的な可読媒体。
【国際調査報告】