(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-19
(45)【発行日】2022-05-27
(54)【発明の名称】生体検出方法及び装置、記憶媒体
(51)【国際特許分類】
G06T 7/593 20170101AFI20220520BHJP
G06T 7/80 20170101ALI20220520BHJP
G06T 7/00 20170101ALI20220520BHJP
G06T 1/00 20060101ALI20220520BHJP
【ＦＩ】
G06T7/593
G06T7/80
G06T7/00 660A
G06T1/00 340A
G06T7/00 510F
G06T7/00 350C
G06T1/00 315
【請求項の数】
11
(21)【出願番号】P 2020573275
(86)(22)【出願日】2020-05-12
(65)【公表番号】
(43)【公表日】2022-02-16
(86)【国際出願番号】 CN2020089865
(87)【国際公開番号】W WO2021103430
(87)【国際公開日】2021-06-03
【審査請求日】2020-12-28
(31)【優先権主張番号】201911184524.X
(32)【優先日】2019-11-27
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】519453342
【氏名又は名称】深▲せん▼市商▲湯▼科技有限公司
【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ ２０１， Ｂｕｉｌｄｉｎｇ Ａ， Ｎｏ． １， Ｑｉａｎｗａｎ Ｒｏａｄ， Ｑｉａｎｈａｉ Ｓｈｅｎｚｈｅｎ－Ｈｏｎｇｋｏｎｇ Ｍｏｄｅｒｎ Ｓｅｒｖｉｃｅ Ｉｎｄｕｓｔｒｙ Ｃｏｏｐｅｒａｔｉｏｎ Ｚｏｎｅ Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０００ （ＣＮ）
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】高哲峰
(72)【発明者】
【氏名】李若岱
(72)【発明者】
【氏名】▲馬▼▲くん▼
(72)【発明者】
【氏名】庄南▲慶▼
【審査官】間野 裕一
(56)【参考文献】
【文献】米国特許出願公開第２０１９／０３５４７４６（ＵＳ，Ａ１）
【文献】特開２０１６－１５６７０２（ＪＰ，Ａ）
【文献】特開２００８－１２３２１６（ＪＰ，Ａ）
【文献】特開２０１８－１７３７３１（ＪＰ，Ａ）
【文献】特表２０２２－５０９７５６（ＪＰ，Ａ）
【文献】中国特許出願公開第１０５０２３０１０（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ １／００
(57)【特許請求の範囲】
【請求項1】
両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得ることと、前記第１画像及び前記第２画像におけるキーポイント情報を決定することと、
前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定することと、
前記複数のキーポイントにそれぞれ対応する深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定することと
を含み、
前記複数のキーポイントにそれぞれ対応する深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定することは、
前記複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練されたＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，サポートベクトルマシン）分類器に入力し、前記ＳＶＭ分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得ることと、
前記第１出力結果が、前記複数のキーポイントが同一の平面に属することを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属しないことであると決定し、前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属することであると決定することと
を含む、生体検出方法。
【請求項2】
前記両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得る前に、前記両眼カメラに対してキャリブレーションを行い、キャリブレーション結果を得ることであって、前記キャリブレーション結果は、前記両眼カメラのそれぞれの内部パラメータ及び前記両眼カメラ間の外部パラメータを含む、ことを更に含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記第１画像及び第２画像を得た後、前記キャリブレーション結果に基づいて、前記第１画像及び前記第２画像に対して両眼補正を行うことを更に含むことを特徴とする
請求項２に記載の方法。
【請求項4】
前記第１画像及び前記第２画像におけるキーポイント情報を決定することは、前記第１画像及び前記第２画像をそれぞれ、事前構築されたキーポイント検出モデルに入力し、前記第１画像及び前記第２画像にそれぞれ含まれる複数のキーポイントのキーポイント情報をそれぞれ得ることを含むことを特徴とする
請求項３に記載の方法。
【請求項5】
前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定することは、前記キャリブレーション結果に基づいて、前記両眼カメラに含まれる２つのカメラ間の光心距離値及び前記両眼カメラに対応する焦点距離値を決定することと、
前記第１画像での前記複数のキーポイントのうちの各キーポイントの水平方向位置と、前記第２画像での前記複数のキーポイントのうちの各キーポイントの水平方向位置と、の位置差分値を決定することと、
前記光心距離値と前記焦点距離値との積を前記位置差分値で除算した商を算出し、前記各キーポイントに対応する前記深度情報を得ることと
を含むことを特徴とする
請求項３又は４に記載の方法。
【請求項6】
前記ＳＶＭ分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得た後、前記方法は、前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記第１画像及び前記第２画像を事前構築された生体検出モデルに入力し、前記生体検出モデルから出力された第２出力結果を得ることと、
前記第２出力結果に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための前記検出結果を決定することと、を更に含むことを特徴とする
請求項１に記載の方法。
【請求項7】
前記検出されるべき対象は、顔を含み、前記キーポイント情報は、顔キーポイント情報を含むことを特徴とする請求項１～６のうちいずれか一項に記載の方法。
【請求項8】
両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得るように構成される画像収集モジュールと、前記第１画像及び前記第２画像におけるキーポイント情報を決定するように構成される第１決定モジュールと、
前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定するように構成される第２決定モジュールと、
前記複数のキーポイントにそれぞれ対応する前記深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定するように構成される第３決定モジュールと
を備え、
前記第３決定モジュールは、さらに、前記複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練されたＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，サポートベクトルマシン）分類器に入力し、前記ＳＶＭ分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得、前記第１出力結果が、前記複数のキーポイントが同一の平面に属することを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属しないことであると決定し、前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属することであると決定するように構成される、生体検出装置。
【請求項9】
コンピュータに請求項１～７のうちいずれか一項に記載の生体検出方法を実現させるためのコンピュータプログラムを記憶したコンピュータ可読記憶媒体。
【請求項10】
プロセッサによる実行可能な命令を記憶するためのメモリと、前記メモリに記憶された実行可能な命令を呼び出して、請求項１～７のうちいずれか一項に記載の生体検出方法を実行するように構成されるプロセッサと
を備える生体検出装置。
【請求項11】
コンピュータに請求項１～７のうちいずれか一項に記載の生体検出方法を実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、２０１９年１１月２７日に中国特許局に提出された出願番号２０１９１１１８４５２４．Ｘ、名称「生体検出方法及び装置、記憶媒体」の中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、２０１９年１１月２７日に中国特許局に提出された出願番号２０１９１１１８４５２４．Ｘ、名称「生体検出方法及び装置、記憶媒体」の中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
【0002】
本願は、コンピュータビジョン分野に関し、特に生体検出方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【0003】
現在、単眼カメラ、両眼カメラ及びデプスカメラを利用して生体検出を行うことができる。ここで、単眼カメラベースの生体検出装置は、簡単でコストが低く、誤判率が千分の一である。両眼カメラに対応する誤判率は、万分の一に達することができる。デプスカメラに対応する誤判率は、百万分の一に達することができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本願は、生体検出方法及び装置、記憶媒体を提供する。
【課題を解決するための手段】
【0005】
本願の実施例の第１態様によれば、生体検出方法を提供する。前記方法は、両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得ることと、前記第１画像及び前記第２画像におけるキーポイント情報を決定することと、前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定することと、前記複数のキーポイントにそれぞれ対応する深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定することと、を含む。
【0006】
幾つかの任意選択的な実施例において、両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得る前に、前記方法は、前記両眼カメラに対してキャリブレーションを行い、キャリブレーション結果を得ることであって、前記キャリブレーション結果は、前記両眼カメラのそれぞれの内部パラメータ及び前記両眼カメラ間の外部パラメータを含む、ことを更に含む。
【0007】
幾つかの任意選択的な実施例において、第１画像及び第２画像を得た後、前記方法は、前記キャリブレーション結果に基づいて、前記第１画像及び前記第２画像に対して両眼補正を行うことを更に含む。
【0008】
幾つかの任意選択的な実施例において、前記第１画像及び前記第２画像におけるキーポイント情報を決定することは、前記第１画像及び前記第２画像をそれぞれ、事前構築されたキーポイント検出モデルに入力し、前記第１画像及び前記第２画像にそれぞれ含まれる複数のキーポイントのキーポイント情報をそれぞれ得ることを含む。
【0009】
幾つかの任意選択的な実施例において、前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定することは、前記キャリブレーション結果に基づいて、前記両眼カメラに含まれる２つのカメラ間の光心距離値及び前記両眼カメラに対応する焦点距離値を決定することと、前記第１画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、前記第２画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、の位置差分値を決定することと、前記光心距離値と前記焦点距離値との積を前記位置差分値で除算した商を算出し、前記各キーポイントに対応する前記深度情報を得ることと、を含む。
【0010】
幾つかの任意選択的な実施例において、前記複数のキーポイントにそれぞれ対応する深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定することは、前記複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練された分類器に入力し、前記分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得ることと、前記第１出力結果が、前記複数のキーポイントが同一の平面に属することを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属しないことであると決定し、そうでなければ、前記検出結果が、前記検出されるべき対象が生体に属することであると決定することと、を含む。
【0011】
幾つかの任意選択的な実施例において、前記ベクトルマシン分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得た後、前記方法は、前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記第１画像及び前記第２画像を事前構築された生体検出モデルに入力し、前記生体検出モデルから出力された第２出力結果を得ることと、前記第２出力結果に基づいて、前記検出対象が生体に属するかどうかを示すための前記検出結果を決定することと、を更に含む。
【0012】
幾つかの任意選択的な実施例において、前記検出されるべき対象は、顔を含み、前記キーポイント情報は、顔キーポイント情報を含む。
【0013】
本願の実施例の第２態様によれば、生体検出装置を提供する。前記装置は、両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得るように構成される画像収集モジュールと、前記第１画像及び前記第２画像におけるキーポイント情報を決定するように構成される第１決定モジュールと、前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定するように構成される第２決定モジュールと、前記複数のキーポイントにそれぞれ対応する前記深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定するように構成される第３決定モジュールと、を備える。
【0014】
幾つかの任意選択的な実施例において、前記装置は、前記両眼カメラに対してキャリブレーションを行い、キャリブレーション結果を得るように構成されるキャリブレーションモジュールであって、前記キャリブレーション結果は、前記両眼カメラのそれぞれの内部パラメータ及び前記両眼カメラ間の外部パラメータを含む、キャリブレーションモジュールを更に備える。
【0015】
幾つかの任意選択的な実施例において、前記装置は、前記キャリブレーション結果に基づいて、前記第１画像及び前記第２画像に対して両眼補正を行うように構成される補正モジュールを更に備える。
【0016】
幾つかの任意選択的な実施例において、前記第１決定モジュールは、前記第１画像及び前記第２画像をそれぞれ、事前構築されたキーポイント検出モデルに入力し、前記第１画像及び前記第２画像にそれぞれ含まれる複数のキーポイントのキーポイント情報をそれぞれ得るように構成される第１決定サブモジュールを備える。
【0017】
幾つかの任意選択的な実施例において、前記第２決定モジュールは、前記キャリブレーション結果に基づいて、前記両眼カメラに含まれる２つのカメラ間の光心距離値及び前記両眼カメラに対応する焦点距離値を決定するように構成される第２決定サブモジュールと、前記第１画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、前記第２画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、の位置差分値を決定するように構成される第３決定サブモジュールと、前記光心距離値と前記焦点距離値との積を前記位置差分値で除算した商を算出し、前記各キーポイントに対応する前記深度情報を得るように構成される第４決定サブモジュールと、を備える。
【0018】
幾つかの任意選択的な実施例において、前記第３決定モジュールは、前記複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練された分類器に入力し、前記分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得るように構成される第５決定サブモジュールと、前記第１出力結果が、前記複数のキーポイントが同一の平面に属することを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属しないことであると決定し、そうでなければ、前記検出結果が、前記検出されるべき対象が生体に属することであると決定するように構成される第６決定サブモジュールと、を備える。
【0019】
幾つかの任意選択的な実施例において、前記装置は、前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記第１画像及び前記第２画像を事前構築された生体検出モデルに入力し、前記生体検出モデルから出力された第２出力結果を得るように構成される第４決定モジュールと、前記第２出力結果に基づいて、前記検出対象が生体に属するかどうかを示すための前記検出結果を決定するように構成される第５決定モジュールと、を更に備える。
【0020】
幾つかの任意選択的な実施例において、前記検出されるべき対象は、顔を含み、前記キーポイント情報は、顔キーポイント情報を含む。
【0021】
本願の実施例の第３態様によれば、コンピュータ可読記憶媒体を提供する。前記記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムがコンピュータに、第１態様のいずれか一つに記載の生体検出方法を実行させる。
【0022】
本願の実施例の第４態様によれば、生体検出装置を提供する。前記装置は、プロセッサと、前記プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、前記プロセッサは、前記メモリに記憶された実行可能な命令を呼び出して、第１態様のいずれか一つに記載の生体検出方法を実行するように構成される。
【0023】
本願の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムは、コンピュータに、上記いずれか一つに記載の生体検出方法を実行させる。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得ることと、
前記第１画像及び前記第２画像におけるキーポイント情報を決定することと、
前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定することと、
前記複数のキーポイントにそれぞれ対応する深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定することと、を含む、生体検出方法。
（項目２）
前記両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得る前に、
前記両眼カメラに対してキャリブレーションを行い、キャリブレーション結果を得ることであって、前記キャリブレーション結果は、前記両眼カメラのそれぞれの内部パラメータ及び前記両眼カメラ間の外部パラメータを含む、ことを更に含むことを特徴とする
項目１に記載の方法。
（項目３）
前記第１画像及び第２画像を得た後、
前記キャリブレーション結果に基づいて、前記第１画像及び前記第２画像に対して両眼補正を行うことを更に含むことを特徴とする
項目２に記載の方法。
（項目４）
前記第１画像及び前記第２画像におけるキーポイント情報を決定することは、
前記第１画像及び前記第２画像をそれぞれ、事前構築されたキーポイント検出モデルに入力し、前記第１画像及び前記第２画像にそれぞれ含まれる複数のキーポイントのキーポイント情報をそれぞれ得ることを含むことを特徴とする
項目３に記載の方法。
（項目５）
前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定することは、
前記キャリブレーション結果に基づいて、前記両眼カメラに含まれる２つのカメラ間の光心距離値及び前記両眼カメラに対応する焦点距離値を決定することと、
前記第１画像での前記複数のキーポイントのうちの各キーポイントの水平方向位置と、前記第２画像での前記複数のキーポイントのうちの各キーポイントの水平方向位置と、の位置差分値を決定することと、
前記光心距離値と前記焦点距離値との積を前記位置差分値で除算した商を算出し、前記各キーポイントに対応する前記深度情報を得ることと、を含むことを特徴とする
項目３又は４に記載の方法。
（項目６）
前記複数のキーポイントにそれぞれ対応する深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定することは、
前記複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練された分類器に入力し、前記分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得ることと、
前記第１出力結果が、前記複数のキーポイントが同一の平面に属することを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属しないことであると決定し、前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属することであると決定することと、を含むことを特徴とする
項目１～５のうちいずれか一項に記載の方法。
（項目７）
前記ベクトルマシン分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得た後、前記方法は、
前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記第１画像及び前記第２画像を事前構築された生体検出モデルに入力し、前記生体検出モデルから出力された第２出力結果を得ることと、
前記第２出力結果に基づいて、前記検出対象が生体に属するかどうかを示すための前記検出結果を決定することと、を更に含むことを特徴とする
項目６に記載の方法。
（項目８）
前記検出されるべき対象は、顔を含み、前記キーポイント情報は、顔キーポイント情報を含むことを特徴とする
項目１～７のうちいずれか一項に記載の方法。
（項目９）
両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得るように構成される画像収集モジュールと、
前記第１画像及び前記第２画像におけるキーポイント情報を決定するように構成される第１決定モジュールと、
前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定するように構成される第２決定モジュールと、
前記複数のキーポイントにそれぞれ対応する前記深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定するように構成される第３決定モジュールと、を備える、生体検出装置。
（項目１０）
前記両眼カメラに対してキャリブレーションを行い、キャリブレーション結果を得るように構成されるキャリブレーションモジュールであって、前記キャリブレーション結果は、前記両眼カメラのそれぞれの内部パラメータ及び前記両眼カメラ間の外部パラメータを含む、キャリブレーションモジュールを更に備えることを特徴とする
項目９に記載の装置。
（項目１１）
前記キャリブレーション結果に基づいて、前記第１画像及び前記第２画像に対して両眼補正を行うように構成される補正モジュールを更に備えることを特徴とする
項目１０に記載の装置。
（項目１２）
前記第１決定モジュールは、
前記第１画像及び前記第２画像をそれぞれ、事前構築されたキーポイント検出モデルに入力し、前記第１画像及び前記第２画像にそれぞれ含まれる複数のキーポイントのキーポイント情報をそれぞれ得るように構成される第１決定サブモジュールを備えることを特徴とする
項目１１に記載の装置。
（項目１３）
前記第２決定モジュールは、
前記キャリブレーション結果に基づいて、前記両眼カメラに含まれる２つのカメラ間の光心距離値及び前記両眼カメラに対応する焦点距離値を決定するように構成される第２決定サブモジュールと、
前記第１画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、前記第２画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、の位置差分値を決定するように構成される第３決定サブモジュールと、
前記光心距離値と前記焦点距離値との積を前記位置差分値で除算した商を算出し、前記各キーポイントに対応する前記深度情報を得るように構成される第４決定サブモジュールと、を備えることを特徴とする
項目１１又は１２に記載の装置。
（項目１４）
前記第３決定モジュールは、
前記複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練された分類器に入力し、前記分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得るように構成される第５決定サブモジュールと、
前記第１出力結果が、前記複数のキーポイントが同一の平面に属することを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属しないことであると決定し、前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属することであると決定するように構成される第６決定サブモジュールと、を備えることを特徴とする
項目９～１３のうちいずれか一項に記載の装置。
（項目１５）
前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記第１画像及び前記第２画像を事前構築された生体検出モデルに入力し、前記生体検出モデルから出力された第２出力結果を得るように構成される第４決定モジュールと、
前記第２出力結果に基づいて、前記検出対象が生体に属するかどうかを示すための前記検出結果を決定するように構成される第５決定モジュールと、を更に備えることを特徴とする
項目１４に記載の装置。
（項目１６）
前記検出されるべき対象は、顔を含み、前記キーポイント情報は、顔キーポイント情報を含むことを特徴とする
項目９～１５のうちいずれか一項に記載の装置。
（項目１７）
コンピュータに項目１～８のうちいずれか一項に記載の生体検出方法を実現させるためのコンピュータプログラムを記憶したコンピュータ可読記憶媒体。
（項目１８）
プロセッサによる実行可能な命令を記憶するためのメモリと、
前記メモリに記憶された実行可能な命令を呼び出して、項目１～８のうちいずれか一項に記載の生体検出方法を実行するように構成されるプロセッサと、を備える生体検出装置。
（項目１９）
コンピュータに項目１～８のうちいずれか一項に記載の生体検出方法を実行させるためのコンピュータプログラム。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得ることと、
前記第１画像及び前記第２画像におけるキーポイント情報を決定することと、
前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定することと、
前記複数のキーポイントにそれぞれ対応する深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定することと、を含む、生体検出方法。
（項目２）
前記両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得る前に、
前記両眼カメラに対してキャリブレーションを行い、キャリブレーション結果を得ることであって、前記キャリブレーション結果は、前記両眼カメラのそれぞれの内部パラメータ及び前記両眼カメラ間の外部パラメータを含む、ことを更に含むことを特徴とする
項目１に記載の方法。
（項目３）
前記第１画像及び第２画像を得た後、
前記キャリブレーション結果に基づいて、前記第１画像及び前記第２画像に対して両眼補正を行うことを更に含むことを特徴とする
項目２に記載の方法。
（項目４）
前記第１画像及び前記第２画像におけるキーポイント情報を決定することは、
前記第１画像及び前記第２画像をそれぞれ、事前構築されたキーポイント検出モデルに入力し、前記第１画像及び前記第２画像にそれぞれ含まれる複数のキーポイントのキーポイント情報をそれぞれ得ることを含むことを特徴とする
項目３に記載の方法。
（項目５）
前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定することは、
前記キャリブレーション結果に基づいて、前記両眼カメラに含まれる２つのカメラ間の光心距離値及び前記両眼カメラに対応する焦点距離値を決定することと、
前記第１画像での前記複数のキーポイントのうちの各キーポイントの水平方向位置と、前記第２画像での前記複数のキーポイントのうちの各キーポイントの水平方向位置と、の位置差分値を決定することと、
前記光心距離値と前記焦点距離値との積を前記位置差分値で除算した商を算出し、前記各キーポイントに対応する前記深度情報を得ることと、を含むことを特徴とする
項目３又は４に記載の方法。
（項目６）
前記複数のキーポイントにそれぞれ対応する深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定することは、
前記複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練された分類器に入力し、前記分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得ることと、
前記第１出力結果が、前記複数のキーポイントが同一の平面に属することを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属しないことであると決定し、前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属することであると決定することと、を含むことを特徴とする
項目１～５のうちいずれか一項に記載の方法。
（項目７）
前記ベクトルマシン分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得た後、前記方法は、
前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記第１画像及び前記第２画像を事前構築された生体検出モデルに入力し、前記生体検出モデルから出力された第２出力結果を得ることと、
前記第２出力結果に基づいて、前記検出対象が生体に属するかどうかを示すための前記検出結果を決定することと、を更に含むことを特徴とする
項目６に記載の方法。
（項目８）
前記検出されるべき対象は、顔を含み、前記キーポイント情報は、顔キーポイント情報を含むことを特徴とする
項目１～７のうちいずれか一項に記載の方法。
（項目９）
両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得るように構成される画像収集モジュールと、
前記第１画像及び前記第２画像におけるキーポイント情報を決定するように構成される第１決定モジュールと、
前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定するように構成される第２決定モジュールと、
前記複数のキーポイントにそれぞれ対応する前記深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定するように構成される第３決定モジュールと、を備える、生体検出装置。
（項目１０）
前記両眼カメラに対してキャリブレーションを行い、キャリブレーション結果を得るように構成されるキャリブレーションモジュールであって、前記キャリブレーション結果は、前記両眼カメラのそれぞれの内部パラメータ及び前記両眼カメラ間の外部パラメータを含む、キャリブレーションモジュールを更に備えることを特徴とする
項目９に記載の装置。
（項目１１）
前記キャリブレーション結果に基づいて、前記第１画像及び前記第２画像に対して両眼補正を行うように構成される補正モジュールを更に備えることを特徴とする
項目１０に記載の装置。
（項目１２）
前記第１決定モジュールは、
前記第１画像及び前記第２画像をそれぞれ、事前構築されたキーポイント検出モデルに入力し、前記第１画像及び前記第２画像にそれぞれ含まれる複数のキーポイントのキーポイント情報をそれぞれ得るように構成される第１決定サブモジュールを備えることを特徴とする
項目１１に記載の装置。
（項目１３）
前記第２決定モジュールは、
前記キャリブレーション結果に基づいて、前記両眼カメラに含まれる２つのカメラ間の光心距離値及び前記両眼カメラに対応する焦点距離値を決定するように構成される第２決定サブモジュールと、
前記第１画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、前記第２画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、の位置差分値を決定するように構成される第３決定サブモジュールと、
前記光心距離値と前記焦点距離値との積を前記位置差分値で除算した商を算出し、前記各キーポイントに対応する前記深度情報を得るように構成される第４決定サブモジュールと、を備えることを特徴とする
項目１１又は１２に記載の装置。
（項目１４）
前記第３決定モジュールは、
前記複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練された分類器に入力し、前記分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得るように構成される第５決定サブモジュールと、
前記第１出力結果が、前記複数のキーポイントが同一の平面に属することを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属しないことであると決定し、前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属することであると決定するように構成される第６決定サブモジュールと、を備えることを特徴とする
項目９～１３のうちいずれか一項に記載の装置。
（項目１５）
前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記第１画像及び前記第２画像を事前構築された生体検出モデルに入力し、前記生体検出モデルから出力された第２出力結果を得るように構成される第４決定モジュールと、
前記第２出力結果に基づいて、前記検出対象が生体に属するかどうかを示すための前記検出結果を決定するように構成される第５決定モジュールと、を更に備えることを特徴とする
項目１４に記載の装置。
（項目１６）
前記検出されるべき対象は、顔を含み、前記キーポイント情報は、顔キーポイント情報を含むことを特徴とする
項目９～１５のうちいずれか一項に記載の装置。
（項目１７）
コンピュータに項目１～８のうちいずれか一項に記載の生体検出方法を実現させるためのコンピュータプログラムを記憶したコンピュータ可読記憶媒体。
（項目１８）
プロセッサによる実行可能な命令を記憶するためのメモリと、
前記メモリに記憶された実行可能な命令を呼び出して、項目１～８のうちいずれか一項に記載の生体検出方法を実行するように構成されるプロセッサと、を備える生体検出装置。
（項目１９）
コンピュータに項目１～８のうちいずれか一項に記載の生体検出方法を実行させるためのコンピュータプログラム。
【発明の効果】
【0024】
本願の実施例で提供される技術的解決手段は、下記有益な効果を含む。
【0025】
本願の実施例によれば、両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得て、２枚の画像におけるキーポイント情報に基づいて、検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定し、更に、検出されるべき対象が生体に属するかどうかを決定することができる。これにより、コストを増加させることなく、両眼カメラによる生体検出の精度を向上させ、誤判率を低下させることができる。
【0026】
上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。
【図面の簡単な説明】
【0027】
【図1】本願の一例示的な実施例による生体検出方法を示すフローチャートである。
【図2】本願の一例示的な実施例によるもう１つの生体検出方法を示すフローチャートである。
【図3】本願の一例示的な実施例によるもう１つの生体検出方法を示すフローチャートである。
【図4】本願の一例示的な実施例によるもう１つの生体検出方法を示すフローチャートである。
【図5】本願の一例示的な実施例によるキーポイントに対応する深度情報を決定するシーンを示す概略図である。
【図6】本願の一例示的な実施例によるもう１つの生体検出方法を示すフローチャートである。
【図7】本願の一例示的な実施例によるもう１つの生体検出方法を示すフローチャートである。
【図8】本願の一例示的な実施例による生体検出装置を示すブロック図である。
【図9】本願の一例示的な実施例による生体検出装置の構造を示す概略図である。
【発明を実施するための形態】
【0028】
ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本願に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。
【0029】
ここで、例示的な実施例を詳しく説明し、その例を図面に示す。下記記述が図面に係わる場合、別途明記されない限り、異なる図面における同一の数字は、同一又は類似した要素を表す。下記例示的な実施例に記載の実施形態は、本願と一致した全ての実施形態を表すものではない。逆に、それらは、添付の特許請求の範囲に詳述したような本願のいくつかの態様と一致する装置及び方法の例だけである。
【0030】
本願において使用される用語は、特定の実施例を説明することだけを目的としており、本願を限定することは意図されていない。本願及び添付の特許請求の範囲で使用されるとき、単数形の「１つの」、「前記」及び「該」は、文脈が明らかに違うように示さない限り、複数形も含む意図である。本明細書において使用される「及び／又は」という用語は、列挙された１つ以上の関連する対象物の任意の又は全ての可能的な組み合わせを参照かつ包含することも理解されるべきである。
【0031】
本願では、用語である第１、第２、第３などを用いて各種情報を記述する可能性があるが、これらの情報はこれらの用語に限定されないことが理解されるべきである。これらの用語は、同一種類の情報をお互いに区別するためだけに用いられる。例えば、本願の範囲を逸脱しない限り、第１情報は第２情報と称されてもよく、同様に、第２情報は第１情報と称されてもよい。文脈によっては、ここで使用される語句「とすれば」は「…場合」、「…時」又は「と決定されるのに応答して」と解釈される。
【0032】
本願の実施例で提供される生体検出方法は、両眼カメラに適用可能である。ハードウェアコストを増加させることなく、両眼カメラによる生体検出の誤判率を低下させることができる。両眼カメラは、２つのカメラを含むカメラを指す。ここで、１つのカメラとして、ＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ：一般的な光学）カメラを用いてもよく、もう１つのカメラとして、ＩＲ（Ｉｎｆｒａ－ｒｅｄ：赤外）カメラを用いてもよい。勿論、２つのカメラとしていずれもＲＧＢカメラを用いてもよく、又はいずれもＩＲカメラを用いてもよく、本願は、これを限定するものではない。
【0033】
本願における両眼カメラの代わりに、単に１つのＲＧＢカメラ及び１つのＩＲカメラ（又はＲＧＢカメラを用いるか又は２つのＩＲ相机を用いる）を用いて、本願で提供される生体検出方法で、生体検出の誤判率の低下の目的を実現させる技術的解決手段も本願の保護範囲内に含まれる。
【0034】
一例示的な実施例による生体検出方法を示す図である図１に示すように、下記ステップを含む。
【0035】
ステップ１０１において、両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得る。
【0036】
本願の実施例において、両眼カメラの２つのカメラにより、検出されるべき画像を含む画像をそれぞれ収集し、１つのカメラにより収集された第１画像及びもう１つのカメラにより収集された第２画像を得る。検出されるべき対象は、例えば、顔のような、生体検出されるべき対象であってもよい。該顔は、実在人物の顔である可能性がある。プリントされた顔画像又は電子ディスプレイに表示された顔画像である可能性もある。本願において、実在人物の顔を決定する必要がある。
【0037】
ステップ１０２において、前記第１画像及び前記第２画像におけるキーポイント情報を決定する。
【0038】
検出されるべき対象が顔を含むと、キーポイント情報は、顔キーポイント情報であり、顔型、眼、鼻、口などの部位の情報を含んでもよいが、これらに限定されない。
【0039】
ステップ１０３において、前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定する。
【0040】
本願の実施例において、深度情報は、ワールド座標系において、検出されるべき対象に含まれる各キーポイントから基線までの距離を指す。基線は、両眼カメラの２つのカメラの光心を結んだ直線である。
【0041】
１つの考えられる実現形態において、２枚の画像におけるそれぞれ対応する顔キーポイント情報に基づいて、三角測距方式で、検出されるべき対象に含まれる複数の顔キーポイントにそれぞれ対応する深度情報を算出することができる。
【0042】
ステップ１０４において、前記複数のキーポイントにそれぞれ対応する深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定する。
【0043】
１つの考えられる実現形態において、複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練された分類器に入力し、該分類器から出力された、複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得て、該第１出力結果に基づいて、前記検出されるべき対象が生体に属するかどうかを示す検出結果を決定することができる。
【0044】
もう１つの考えられる実現形態において、複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練された分類器に入力し、該分類器から出力された、複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得ることができる。第１出力結果が、複数のキーポイントが同一の平面に属することを示すと、検出結果の正確性を更に確保するために、第１画像及び第２画像を更に、事前構築された生体検出モデルに入力し、前記生体検出モデルから出力された第２出力結果を得て、第２出力結果に基づいて、前記検出されるべき対象が生体に属するかどうかを示す検出結果を決定する。分類器によりフィルタリングした後、更に、生体検出モデルにより、最終的な検出結果を決定し、更に、両眼カメラによる生体検出の精度を向上させる。
【0045】
上記実施例において、両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得て、２枚の画像におけるキーポイント情報に基づいて、検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定し、更に、検出されるべき対象が生体に属するかどうかを決定することができる。上記方式により、コストを増加させることなく、両眼カメラによる生体検出の精度を向上させ、誤判率を低下させることができる。上記分類器は、サポートベクトルマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ）分類器を含むが、これに限定されず、他のタイプの分類器を含んでもよく、ここで、具体的に限定しない。
【0046】
幾つかの任意選択的な実施例において、例えば、図２に示すように、ステップ１０１を実行する前に、上記方法は、以下を更に含んでもよい。
【0047】
ステップ１００において、前記両眼カメラに対してキャリブレーションを行い、キャリブレーション結果を得る。
【0048】
本願の実施例において、両眼カメラのキャリブレーションは、各カメラの内部パラメータ及び２つのカメラ間の外部パラメータをキャリブレーションすることを指す。
【0049】
カメラの内部パラメータは、カメラ自体の特性を反映するためのパラメータを指す。これは、光心、焦点距離及び歪みパラメータという列挙された複数のパラメータのうちの少なくとも１つ又は少なくとも２つの組み合わせなどを含んでもよいが、これらに限定されない。
【0050】
ここで、カメラの光心は、該カメラの所在するカメラ座標系の座標原点であり、カメラにおけるイメージングのための凸レンズの中心である。焦点距離は、カメラの焦点から光心までの距離を指す。歪みパラメータは、径方向歪みパラメータ及び接線方向歪みパラメータを含む。径方向歪み及び接線方向歪みはそれぞれ、画像画素点が歪み中心を中心点として長手方向又は接線に沿って位置偏差を発生して引き起こした画像の歪みである。
【0051】
２つのカメラ間の外部パラメータは、１つのカメラの、もう１つのカメラに対する位置及び／又は姿勢の変化パラメータ等を指す。２つのカメラ間の外部パラメータは、回転行列Ｒ及び並進行列Ｔを含んでもよい。ここで、回転行列Ｒは、１つのカメラがもう１つのカメラの所在するカメラ座標系に変換する場合、ｘ、ｙ、ｚという３つの座標軸にそれぞれ対する回転角度パラメータである。並進行列Ｔは、１つのカメラがもう１つのカメラの所在するカメラ座標系に変換する場合の原点の並進パラメータである。
【0052】
１つの考えられる実現形態において、線形キャリブレーション、非線形キャリブレーション及び二段階キャリブレーションのうちのいずれか１つの方法で、両眼カメラをキャリブレーションすることができる。ここで、線形キャリブレーションは、カメラ歪みという非線形を考慮することなく、カメラ歪みを考慮しない場合に用いられるキャリブレーション方式である。非線形キャリブレーションは、レンズの歪みが明らかである場合、歪みモデルを導入し、線形キャリブレーションモデルを非線形キャリブレーションモデルに変換し、非線形最適化方法でカメラパラメータを求めるキャリブレーション方式である。二段階キャリブレーションについて、張正友キャリブレーション方式を例として、まず、カメラの内部パラメータ行列を決定し、更に、内部パラメータ行列に基づいて、２つのカメラ間の外部パラメータを決定する。
【0053】
上記実施例において、まず、両眼カメラに対してキャリブレーションを行うことで、両眼カメラの各カメラのそれぞれの内部パラメータ及び前記両眼カメラの２つのカメラ間の外部パラメータを得る。これにより、後続で、複数のキーポイントのそれぞれに対応する前記深度情報を正確に決定することができ、利用可能性が高い。
【0054】
幾つかの任意選択的な実施例において、例えば、図３に示すように、ステップ１０１を実行した後、上記方法は以下を更に含んでもよい。
【0055】
ステップ１０５において、前記キャリブレーション結果に基づいて、前記第１画像及び前記第２画像に対して両眼補正を行う。
【0056】
本願の実施例において、両眼補正は、キャリブレーションした各カメラの内部パラメータ及び２つのカメラ間の外部パラメータにより、前記第１画像及び前記第２画像に対して歪み除去及び行アライメントを行い、前記第１画像及び前記第２画像のイメージング原点座標を一致させ、２つのカメラの光軸を平行にし、２つのカメラのイメージング平面を同一の平面に位置させ、エピポーラ線を行アライメントさせることを指す。
【0057】
両眼カメラの各カメラのそれぞれの歪みパラメータに基づいて、第１画像及び第２画像に対してそれぞれ歪み除去処理を行うことができる。なお、両眼カメラの各カメラのそれぞれの内部パラメータ及び両眼カメラの２つのカメラ間の外部パラメータに基づいて、第１画像及び第２画像に対して行アライメントを行うこともできる。これにより、後続で、第１画像と第２画像での、検出されるべき対象に含まれる同一のキーポイントの視差を決定する場合、二次元マッチングプロセスを一次元マッチングプロセスに削減し、２枚の画像における同一のキーポイントの水平方向での位置差分値を直接的に決定することで、第１画像と第２画像での、同一のキーポイントの視差を得ることができる。
【0058】
上記実施例において、第１画像及び第２画像に対して両眼補正を行う。後続で、第１画像と第２画像での、検出されるべき対象に含まれる同一のキーポイントの視差を決定する場合、二次元マッチングプロセスを一次元マッチングプロセスに削減し、マッチングプロセスにかかる時間を減少させ、マッチングサーチの範囲を縮小する。
【0059】
幾つかの任意選択的な実施例において、上記ステップ１０２は、
前記第１画像及び前記第２画像をそれぞれ、事前構築されたキーポイント検出モデルに入力し、前記第１画像及び前記第２画像にそれぞれ含まれる複数のキーポイントのキーポイント情報をそれぞれ得ることを含んでもよい。
前記第１画像及び前記第２画像をそれぞれ、事前構築されたキーポイント検出モデルに入力し、前記第１画像及び前記第２画像にそれぞれ含まれる複数のキーポイントのキーポイント情報をそれぞれ得ることを含んでもよい。
【0060】
本願の実施例において、キーポイント検出モデルは、顔キーポイント検出モデルであってもよい。キーポイントをタグ付けしたサンプル画像を入力として、深層ニューラルネットワークを訓練し、該ニューラルネットワークの出力結果がサンプル画像におけるタグ付けされたキーポイントとマッチングするか又は誤差許容範囲内になるまで継続する。これにより顔キーポイント検出モデルを得る。ここで、深層ニューラルネットワークとして、ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ：残差ネットワーク）、ｇｏｏｇｌｅｎｅｔ、ＶＧＧ（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ Ｎｅｔｗｏｒｋ：視覚的幾何学的グループネットワーク）等を用いてもよいが、これらに限定されない。該深層ニューラルネットワークは、少なくとも１つの畳み込み層、ＢＮ（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ：バッチ正規化）層、分類出力層などを含んでもよい。
【0061】
第１画像及び第２画像を取得した後、第１画像及び第２画像をそれぞれ、上記事前構築された顔キーポイント検出モデルに入力することで、各画像にそれぞれ含まれる複数のキーポイントのキーポイント情報をそれぞれ得ることができる。
【0062】
上記実施例において、直接的に、事前構築されたキーポイント検出モデルにより、各画像にそれぞれ含まれる複数のキーポイントのキーポイント情報を決定することができる。実現しやすく、利用可能性が高い。
【0063】
幾つかの任意選択的な実施例において、例えば図４に示すように、ステップ１０３は、以下を含んでもよい。
【0064】
ステップ２０１において、前記キャリブレーション結果に基づいて、前記両眼カメラに含まれる２つのカメラ間の光心距離値及び前記両眼カメラに対応する焦点距離値を決定する。
【0065】
本願の実施例において、この前、両眼カメラの各カメラのそれぞれの内部パラメータをキャリブレーションしたため、この場合、例えば、図４に示すように、２つのカメラのそれぞれの光心の、ワールド座標系での位置に基づいて、２つの光心ｃ１とｃ２との光心距離値を決定することができる。
【0066】
なお、後続の演算を容易にするために、本願の実施例において、両眼カメラにおける２つのカメラの焦点距離値が同じである。この前にキャリブレーションしたキャリブレーション結果に基づいて、両眼カメラのいずれか１つのカメラの焦点距離値を両眼カメラの焦点距離値として決定することができる。
【0067】
ステップ２０２において、前記第１画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、前記第２画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、の位置差分値を決定する。
【0068】
例えば、図５に示すように、検出されるべき対象のいずれか１つのキーポイントＡは、第１画像及び第２画像にける画素点Ｐ１及びＰ２にそれぞれ対応する。本願の実施例において、Ｐ１とＰ２との視差を算出する必要がある。
【0069】
この前、２枚の画像に対して両眼補正を行ったため、Ｐ１とＰ２との水平方向位置差分値を直接的に算出し、該位置差分値を必要な視差とすることができる。
【0070】
本願の実施例において、上記方式で、前記第１画像での、検出されるべき対象に含まれる各キーポイントの水平方向位置と、前記第２画像での、検出されるべき対象に含まれる各キーポイントの水平方向位置と、の位置差分値をそれぞれ決定することで、各キーポイントに対応する視差を得ることができる。
【0071】
ステップ２０３において、前記光心距離値と前記焦点距離値との積を前記位置差分値で除算した商を算出し、前記各キーポイントに対応する前記深度情報を得る。
【0072】
本願の実施例において、三角測距方式で、各キーポイントに対応する深度情報ｚを決定することができる。下記式１により算出することができる。
【0073】
ｚ＝ｆｂ／ｄ （１）
ただし、ｆは、両眼カメラに対応する焦点距離値であり、ｂは、光心距離値であり、ｄは、２枚の画像での、キーポイントの視差である。
ただし、ｆは、両眼カメラに対応する焦点距離値であり、ｂは、光心距離値であり、ｄは、２枚の画像での、キーポイントの視差である。
【0074】
上記実施例において、検出されるべき対象に含まれる複数のキーポイントにそれぞれ対応する深度情報を迅速に決定することができ、利用可能性が高い。
【0075】
幾つかの任意選択的な実施例において、例えば図６に示すように、上記ステップ１０４は、以下を含んでもよい。
【0076】
ステップ３０１において、前記複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練された分類器に入力し、前記分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得る。
【0077】
本願の実施例において、サンプルライブラリにおける、同一の平面に属するかどうかをタグ付けした複数の深度情報を利用して分類器を訓練し、分類器からの出力結果をサンプルライブラリにおけるタグ付けした結果とマッチングさせるか又は誤差許容範囲内にすることができる。これにより、検出されるべき対象に含まれる複数のキーポイントのそれぞれに対応する前記深度情報を取得した後、訓練された分類器に直接的に入力し、該分類器から出力された第１出力結果を得ることができる。
【0078】
１つの考えられる実現形態において、該分類器として、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ：サポートベクトルマシン）分類器を用いてもよい。ＳＶＭ分類器は、二値分類器に属する。複数のキーポイントのそれぞれに対応する深度情報を入力した後、得られた第１出力結果は、複数のキーポイントが同一の平面に属するか又は同一の平面に属しないことを示すことができる。
【0079】
ステップ３０２において、前記第１出力結果が、前記複数のキーポイントが同一の平面に属することを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属しないことであると決定し、そうでなければ、前記検出結果が、前記検出されるべき対象が生体に属することであると決定する。
【0080】
本願の実施例において、第１出力結果が、複数のキーポイントが同一の平面に属することを示すと、フラット攻撃が発生した可能性がある。つまり、不正者が写真、プリントした顔画像、電子ディスプレイなどの種々の方式で提供されたダミーにより、正当な権限を取得しようとする。この場合、検出結果が、検出されるべき対象が生体に属しないことであると直接的に決定することができる。
【0081】
第１出力結果が、複数のキーポイントが同一の平面に属しないことを示すことに応答して、該検出されるべき画像が実在人物であると決定することができる。この場合、検出結果が、検出されるべき対象が生体に属することであると決定することができる。
【0082】
実験により、上記方式で生体検出を行う場合の誤判率は、万分の一から十万分の一までに低下し、両眼カメラによる生体検出の精度を大幅に向上させ、生体検出アルゴリズムの性能境界及びユーザ体験を向上させることが実証された。
【0083】
幾つかの任意選択的な実施例において、例えば、図７に示すように、上記ステップ３０１を行った後、上記方法は、以下を更に含んでもよい。
【0084】
ステップ１０６において、前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記第１画像及び前記第２画像を事前構築された生体検出モデルに入力し、前記生体検出モデルから出力された第２出力結果を得る。
【0085】
第１出力結果が前記複数のキーポイントが同一の平面に属しないことを示すと、生体検出の精度を更に向上させるために、第１画像及び第２画像を事前構築された生体検出モデルに出力することができる。該生体検出モデルは、深層ニューラルネットワークにより構築されてもよい。ここで、深層ニューラルネットワークとしてＲｅｓＮｅｔ、ｇｏｏｇｌｅｎｅｔ、ＶＧＧ等をもちいてもよいが、これらに限定されない。該深層ニューラルネットワークは、少なくとも１つの畳み込み層、ＢＮ（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ：バッチ正規化）層、分類出力層などを含んでもよい。生体に属するかどうかをタグ付けした少なくとも２枚のサンプル画像により、深層ニューラルネットワークを訓練することで、出力結果をサンプル画像おけるタグ付けした結果とマッチングさせるか又は誤差許容範囲内にする。これにより、生体検出モデルを得る。
【0086】
本願の実施例において、生体検出モデルを事前確立した後、第１画像及び第２画像を該生体検出モデルに入力し、生体検出モデルから出力された第２出力結果を得ることができる。ここの第２出力結果は、該２枚の画像に対応する検出されるべき対象が生体に属するかどうかを直接的に示す。
【0087】
ステップ１０７において、前記第２出力結果に基づいて、前記検出対象が生体に属するかどうかを示すための前記検出結果を決定する。
【0088】
本願の実施例において、上記第２出力結果に基づいて、直接的に、最終的な検出結果を決定することができる。
【0089】
例えば、分類器から出力された第１出力結果は、複数のキーポイントが同一の平面に属しないことであるが、生体検出モデルから出力された第２出力結果は、検出されるべき対象が生体に属しないか又は生体に属することである。これにより、最終的な検出結果の正確度を向上させ、誤判を更に減少させる。
【0090】
前記方法実施例に対応するように、本願は、装置の実施例を更に提供する。
【0091】
本願の一例示的な実施例による生体検出装置を示すブロック図である図８に示すように、装置は、両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得るように構成される画像収集モジュール４１０と、前記第１画像及び前記第２画像におけるキーポイント情報を決定するように構成される第１決定モジュール４２０と、前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定するように構成される第２決定モジュール４３０と、前記複数のキーポイントにそれぞれ対応する前記深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定するように構成される第３決定モジュール４４０と、を備える。
【0092】
幾つかの任意選択的な実施例において、前記装置は、前記両眼カメラに対してキャリブレーションを行い、キャリブレーション結果を得るように構成されるキャリブレーションモジュールであって、前記キャリブレーション結果は、前記両眼カメラのそれぞれの内部パラメータ及び前記両眼カメラ間の外部パラメータを含む、キャリブレーションモジュールを更に備える。
【0093】
幾つかの任意選択的な実施例において、前記装置は、前記キャリブレーション結果に基づいて、前記第１画像及び前記第２画像に対して両眼補正を行うように構成される補正モジュールを更に備える。
【0094】
幾つかの任意選択的な実施例において、前記第１決定モジュールは、前記第１画像及び前記第２画像をそれぞれ、事前構築されたキーポイント検出モデルに入力し、前記第１画像及び前記第２画像にそれぞれ含まれる複数のキーポイントのキーポイント情報をそれぞれ得るように構成される第１決定サブモジュールを備える。
【0095】
幾つかの任意選択的な実施例において、前記第２決定モジュールは、前記キャリブレーション結果に基づいて、前記両眼カメラに含まれる２つのカメラ間の光心距離値及び前記両眼カメラに対応する焦点距離値を決定するように構成される第２決定サブモジュールと、前記第１画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、前記第２画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、の位置差分値を決定するように構成される第３決定サブモジュールと、前記光心距離値と前記焦点距離値との積を前記位置差分値で除算した商を算出し、前記各キーポイントに対応する前記深度情報を得るように構成される第４決定サブモジュールと、を備える。
【0096】
幾つかの任意選択的な実施例において、前記第３決定モジュールは、前記複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練された分類器に入力し、前記分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得るように構成される第５決定サブモジュールと、前記第１出力結果が、前記複数のキーポイントが同一の平面に属することを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属しないことであると決定し、そうでなければ、前記検出結果が、前記検出されるべき対象が生体に属することであると決定するように構成される第６決定サブモジュールと、を備える。
【0097】
幾つかの任意選択的な実施例において、前記装置は、前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記第１画像及び前記第２画像を事前構築された生体検出モデルに入力し、前記生体検出モデルから出力された第２出力結果を得るように構成される第４決定モジュールと、前記第２出力結果に基づいて、前記検出対象が生体に属するかどうかを示すための前記検出結果を決定するように構成される第５決定モジュールと、を更に備える。
【0098】
幾つかの任意選択的な実施例において、前記検出されるべき対象は、顔を含み、前記キーポイント情報は、顔キーポイント情報を含む。
【0099】
装置実施例について言えば、それは、ほぼ方法実施例に対応する。従って、関連する部分は方法実施例の部分的な説明を参照すればよい。以上に記載した装置の実施例はただ例示的なものである。分離部材として説明したユニットは、物理的に別個のものであってもよく、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよく、そうでなくてもよい。即ち、同一の位置に位置してもよく、複数のネットワークユニットに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本願の方策の目的を実現することができる。当業者は創造的な労働を経ずに、理解し実施することができる。
【0100】
本願の実施例は、コンピュータ可読記憶媒体を更に提供する。前記記憶媒体に、コンピュータプログラムが記憶されており、コンピュータプログラムがコンピュータに、上記いずれか１つに記載の生体検出方法を実行させる。
【0101】
幾つかの任意選択的な実施例において、本願の実施例は、コンピュータプログラム製品を提供する。コンピュータプログラム製品は、コンピュータに、上記いずれか１つの実施例で提供される生体検出方法を実行させるためのコンピュータ可読コードを含む。
【0102】
幾つかの任意選択的な実施例において、本願の実施例は、もう１つのコンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、コンピュータに、上記いずれか１つの実施例で提供される生体検出方法を実行させるためのコンピュータ可読命令を記憶する。
【0103】
該コンピュータプログラム製品は、具体的には、ハードウェア、ソフトウェア又はそれらの組み合わせにより実現することができる。任意選択的な実施例において、前記コンピュータプログラム製品は具体的にはコンピュータ記憶媒体として具現化され、もう１つの任意選択的な実施例において、コンピュータプログラム製品は具体的には、例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ：ＳＤＫ）などのようなソフトウェア製品として具現化される。
【0104】
本願の実施例は、生体検出装置を更に提供する。前記装置は、プロセッサと、前記プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、前記プロセッサは、前記メモリに記憶された実行可能な命令を呼び出して、第１態様のいずれか一項に記載の生体検出方法を実行するように構成される。
【0105】
図９は、本願の実施例による生体検出装置のハードウェア構造を示す概略図である。該生体検出装置５１０は、プロセッサ５１１を備え、入力装置５１２と、出力装置５１３と、メモリ５１４と、を更に備えてもよい。該入力装置５１２、出力装置５１３、メモリ５１４及びプロセッサ５１１は、バスを介して相互接続される。
【0106】
メモリは、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ：ＲＡＭ）、読み出し専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ：ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ：ＥＰＲＯＭ）、コンパクトディスク読み出し専用メモリ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ：ＣＤ－ＲＯＭ）を含むが、これらに限定されない。該メモリは、関連命令及びデータを記憶するように構成される。
【0107】
入力装置は、データ及び／又は信号を入力するように構成され、出力装置は、データ及び／又は信号を出力するように構成される。出力装置及び入力装置は、独立したデバイスであってもよく、一体型デバイスであってもよい。
【0108】
プロセスは、１つ又は複数のプロセッサを含んでもよい。例えば、１つ又は複数の中央演算装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ：ＣＰＵ）を含む。プロセッサが１つのＣＰＵである場合、該ＣＰＵは、シングルコアＣＰＵであってもよく、マルチコアＣＰＵであってもよい。
【0109】
メモリは、ネットワーク装置のプログラムコード及びデータを記憶するように構成される。
【0110】
プロセッサは、該メモリにおけるプログラムコード及びデータを呼び出して、上記方法実施例におけるステップを実行するように構成される。具体的には、方法実施例における説明を参照することができ、ここで、詳細な説明を省略する。
【0111】
図９に、生体検出装置の簡略化した設計のみが示されることが理解されるべきである。実際の適用において、生体検出装置は、必要な他の要素をそれぞれ備えてもよく、それらは、任意の数の入力／出力装置、プロセッサ、コントローラ、メモリなどを含むが、これらに限定されない。本願の実施例を実現させることができる全ての生体検出装置は、いずれも本願の保護範囲内に含まれる。
【0112】
幾つかの実施例において、本願の実施例で提供される装置における機能及びモジュールは、上記方法実施例に記載の方法を実行するために用いられ、具体的な実現形態は上記方法実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。
【0113】
当業者は明細書を検討し、ここで開示した発明を実践した後、本発明のその他の実施方案を容易に思いつくことができる。本願は、本願の実施例のいかなる変形、用途または適応的変化を含むことを目指し、これらの変化、変形、用途または適応的変化が、本開示の一般的な原理に従いかつ本開示に開示されない本技術分野の周知常識と慣用技術手段を含む。明細書と実施例は、ただ例示的なものであって、本願の本当の範囲と主旨は、以下の特許請求の範囲によって示される。
【0114】
以上は、本願の好適な実施例だけであり、本願を限定するものではない。本発明の主旨及び原則内でのいずれの修正、等同の交換、改進などのすべてが本発明の保護範囲内に含まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
