▶ 北京京▲東▼尚科信息技▲術▼有限公司の特許一覧 ▶ 北京京東世紀貿易有限公司の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-04-17
(45)【発行日】2023-04-25
(54)【発明の名称】人体検出用の方法及び装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20230418BHJP
G06T 7/10 20170101ALI20230418BHJP
G06V 20/64 20220101ALI20230418BHJP
【ＦＩ】
G06T7/00 660B
G06T7/00 C
G06T7/10
G06V20/64
【請求項の数】
12
(21)【出願番号】P 2021559665
(86)(22)【出願日】2020-03-26
(65)【公表番号】
(43)【公表日】2022-06-08
(86)【国際出願番号】 CN2020081314
(87)【国際公開番号】W WO2020215974
(87)【国際公開日】2020-10-29
【審査請求日】2021-10-07
(31)【優先権主張番号】201910331939.9
(32)【優先日】2019-04-24
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】519274389
【氏名又は名称】北京京▲東▼尚科信息技▲術▼有限公司
【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＪＩＮＧＤＯＮＧ ＳＨＡＮＧＫＥ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】８ＴＨ ＦＬＯＯＲ ＯＦ ＢＵＩＬＤＩＮＧ， ＮＯ． ７６， ＺＨＩＣＨＵＮ ＲＯＡＤ， ＨＡＩＤＩＡＮ ＤＩＳＴＲＩＣＴ， ＢＥＩＪＩＮＧ １０００８６， ＰＥＯＰＬＥ’Ｓ ＲＥＰＵＢＬＩＣ ＯＦ ＣＨＩＮＡ
(73)【特許権者】
【識別番号】517241916
【氏名又は名称】北京京東世紀貿易有限公司
【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＪＩＮＧＤＯＮＧ ＣＥＮＴＵＲＹ ＴＲＡＤＩＮＧ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ ２０１， ２／Ｆ， Ｂｌｏｃｋ Ｃ， Ｎｏ．１８， Ｋｅｃｈｕａｎｇ １１ｔｈ Ｓｔｒｅｅｔ， Ｂｅｉｊｉｎｇ Ｅｃｏｎｏｍｉｃ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｃａｌ Ｄｅｖｅｌｏｐｍｅｎｔ Ｚｏｎｅ， Ｂｅｉｊｉｎｇ １００１７６， Ｃｈｉｎａ
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】▲鮑▼ 慊
(72)【発明者】
【氏名】▲劉▼ 武
(72)【発明者】
【氏名】▲梅▼ 涛
【審査官】笠田 和宏
(56)【参考文献】
【文献】中国特許出願公開第１０８００９４６６（ＣＮ，Ａ）
【文献】特開２０１０－２１８５５６（ＪＰ，Ａ）
【文献】特開２０１１－１９１９２８（ＪＰ，Ａ）
【文献】George Papandreou，外６名，Towards Accurate Multi-person Pose Estimation in the Wild，2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)，2017年07月21日，pp. 3711-3719
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／１０
Ｇ０６Ｖ ２０／６４
(57)【特許請求の範囲】
【請求項1】
人体検出モデルに基づいて、ターゲット画像における候補人体画像領域セットを取得することと、前記候補人体画像領域セットにおける候補人体画像領域に対して、個人人体キーポイント検出モデルに基づいて、当該候補人体画像領域における候補人体キーポイントの位置情報及び信頼度を取得することと、当該候補人体画像領域における人体の輪郭情報及び取得された位置情報に基づいて人体輪郭内の候補人体キーポイントを確定し、あらかじめ設定された重みに応じて、人体輪郭内の候補人体キーポイントの信頼度の和、前記候補人体画像領域が人体画像領域である信頼度、人体輪郭外の候補人体キーポイントの信頼度の和を加重合計し、前記候補人体画像領域セットにおける候補人体画像領域の信頼度スコアを取得することであって、人体輪郭内の候補人体キーポイントの信頼度の和に対して設定された重みは、人体輪郭外の候補人体キーポイントの信頼度の和に対して設定された重みより大きい、ことと、
前記候補人体画像領域セットにおける候補人体画像領域の信頼度スコアに基づいて、前記候補人体画像領域セットから人体画像領域を確定することとを含む人体検出用の方法。
【請求項2】
前記候補人体画像領域セットにおける候補人体画像領域の信頼度スコアに基づいて、前記候補人体画像領域セットから人体画像領域を確定した後、前記方法は、確定された人体画像領域における候補人体キーポイントを人体キーポイントとして確定することをさらに含む請求項１に記載の方法。
【請求項3】
前記候補人体画像領域が人体画像領域である信頼度は、前記人体検出モデルに基づいて決定される請求項１に記載の方法。
【請求項4】
前記候補人体画像領域セットにおける候補人体画像領域の信頼度スコアに基づいて、前記候補人体画像領域セットから人体画像領域を確定することは、前記候補人体画像領域セットのうち、信頼度スコアがあらかじめ設定されたスコア閾値を超える、又は信頼性スコアは高いものから低いものへと並べ替えられると、事前に設定された数の前にある候補人体画像領域を確定することと、
前記候補人体画像領域セットのうち、確定された候補人体画像領域と冗長な候補人体画像領域を検索することと、
検出された候補人体画像領域を削除することとを含む請求項１－３のいずれか１項の方法。
【請求項5】
前記候補人体画像領域セットのうち、確定された候補人体画像領域と冗長な候補人体画像領域を検索することは、前記候補人体画像領域セットにおける候補人体画像領域に対して、当該候補人体画像領域における人体の輪郭情報と確定された候補人体画像領域における人体の輪郭情報に基づいて輪郭中心距離を確定することと、当該候補人体画像領域に含まれる候補人体キーポイントと確定された候補人体画像領域に含まれる候補人体キーポイントとの間のユークリッド距離に基づいてキーポイント類似性を確定することと、確定された輪郭中心距離があらかじめ設定された距離閾値より小さく、確定されたキーポイント類似性があらかじめ設定された類似性閾値より大きいことに応答して、当該候補人体画像領域が冗長な候補人体画像領域であると確定することとを含む請求項４に記載の方法。
【請求項6】
人体検出モデルに基づいて、ターゲット画像における候補人体画像領域セットを取得するように配置される取得ユニットと、前記候補人体画像領域セットにおける候補人体画像領域に対して、個人人体キーポイント検出モデルに基づいて、当該候補人体画像領域における候補人体キーポイントの位置情報及び信頼度を取得し、当該候補人体画像領域における人体の輪郭情報及び取得された位置情報に基づいて人体輪郭内の候補人体キーポイントを確定し、あらかじめ設定された重みに応じて、人体輪郭内の候補人体キーポイントの信頼度の和、前記候補人体画像領域が人体画像領域である信頼度、人体輪郭外の候補人体キーポイントの信頼度の和を加重合計し、前記候補人体画像領域セットにおける候補人体画像領域の信頼度スコアを取得するように配置される第１の確定ユニットであって、人体輪郭内の候補人体キーポイントの信頼度の和に対して設定された重みは、人体輪郭外の候補人体キーポイントの信頼度の和に対して設定された重みより大きい、第１の確定ユニットと、
前記候補人体画像領域セットにおける候補人体画像領域の信頼度スコアに基づいて、前記候補人体画像領域セットから人体画像領域を確定するように配置される第２の確定ユニットとを含む人体検出用の装置。
【請求項7】
確定された人体画像領域における候補人体キーポイントを人体キーポイントとして確定するように配置される第３の確定ユニットをさらに含む請求項６に記載の装置。
【請求項8】
前記候補人体画像領域が人体画像領域である信頼度は、前記人体検出モデルに基づいて決定される請求項６に記載の装置。
【請求項9】
前記第２の確定ユニットは、前記候補人体画像領域セットのうち、信頼度スコアがあらかじめ設定されたスコア閾値を超える、又は信頼性スコアは高いものから低いものへと並べ替えられると、事前に設定された数の前にある候補人体画像領域を確定するように配置される確定サブユニットと、
前記候補人体画像領域セットのうち、確定された候補人体画像領域と冗長な候補人体画像領域を検索するように配置される検索サブユニットと、
検出された候補人体画像領域を削除するように配置される削除サブユニットとを含む請求項６－８のいずれか１項に記載の装置。
【請求項10】
前記検索サブユニットは、前記候補人体画像領域セットにおける候補人体画像領域に対して、当該候補人体画像領域における人体の輪郭情報と確定された候補人体画像領域における人体の輪郭情報に基づいて輪郭中心距離を確定し、当該候補人体画像領域に含まれる候補人体キーポイントと確定された候補人体画像領域に含まれる候補人体キーポイントとの間のユークリッド距離に基づいてキーポイント類似性を確定し、確定された輪郭中心距離があらかじめ設定された距離閾値より小さく、確定されたキーポイント類似性があらかじめ設定された類似性閾値より大きいことに応答して、当該候補人体画像領域が冗長な候補人体画像領域であると確定するようにさらに配置される請求項９に記載の装置。
【請求項11】
１つ又は複数のプロセッサと、１つ又は複数のプログラムが記憶されている記憶装置と、を含み、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されるとき、前記１つ又は複数のプロセッサに請求項１～５のいずれか１項に記載の方法を実現させる電子機器。
【請求項12】
プロセッサによって実行されるとき、請求項１～５のいずれか１項に記載の方法を実現させるコンピュータプログラムが記憶されているコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願の実施例はコンピュータ技術分野に関し、特に人体検出用の方法及び装置に関する。
【背景技術】
【0002】
コンピュータ技術の急速な発展に伴い、デジタル画像処理技術はますます急速に発展し、生活のあらゆる側面に浸透してきた。デジタル画像処理技術の分野における重要な研究課題の１つとして、人体検出は、国防軍事、公共交通、社会保障、商業用途などのさまざまな分野で広く使用されている。
【0003】
人体検出とは、画像内の人体を検出し位置決めし、人体の長方形フレーム座標を返すことである。人体検出は、人体姿勢分析、人間行動分析などの基礎である。既存の人間の検出方法は、主に人間の検出モデルを介して実行される。
【発明の概要】
【0004】
本出願の実施例は、人体検出用の方法及び装置を提案した。
【0005】
第１の態様では、本出願のいくつかの実施例は、人体検出用の方法を提出し、当該方法は、人体検出モデルに基づいて、ターゲット画像における候補人体画像領域セットを取得することと、候補人体画像領域セットにおける候補人体画像領域に対して、個人人体キーポイント検出モデルに基づいて、当該候補人体画像領域における候補人体キーポイントの位置情報及び信頼度を取得することと、当該候補人体画像領域における人体の輪郭情報及び取得された位置情報に基づいて人体輪郭内の候補人体キーポイントを確定することと、人体輪郭内の候補人体キーポイントの信頼度の和に基づいて当該候補人体画像領域の信頼度スコアを確定することと、候補人体画像領域セットにおける候補人体画像領域の信頼度スコアに基づいて、候補人体画像領域セットから人体画像領域を確定することとを含む。
【0006】
いくつかの実施例では、候補人体画像領域セットにおける候補人体画像領域の信頼度スコアに基づいて、候補人体画像領域セットから人体画像領域を確定した後、方法は、確定された人体画像領域における候補人体キーポイントを人体キーポイントとして確定することをさらに含む。
【0007】
いくつかの実施例では、人体検出モデルに基づいて、ターゲット画像における候補人体画像領域セットを取得することは、人体検出モデルに基づいて、ターゲット画像における候補人体画像領域セット、及び候補人体画像領域セットにおける候補人体画像領域が人体画像領域である信頼度を取得することを含み、人体輪郭内の候補人体キーポイントの信頼度の和に基づいて当該候補人体画像領域の信頼度スコアを確定するは、人体輪郭内の候補人体キーポイントの信頼度の和及び当該候補人体画像領域が人体画像領域である信頼度に基づいて、当該候補人体画像領域の信頼度スコアを確定することを含む。
【0008】
いくつかの実施例では、人体輪郭内の候補人体キーポイントの信頼度の和及び当該候補人体画像領域が人体画像領域である信頼度に基づいて、当該候補人体画像領域の信頼度スコアを確定することは、あらかじめ設定された重みに応じて、人体輪郭内の候補人体キーポイントの信頼度の和、当該候補人体画像領域が人体画像領域である信頼度、人体輪郭外の候補人体キーポイントの信頼度の和を加重和し、当該候補人体画像領域の信頼度スコアを取得することであって、人体輪郭内の候補人体キーポイントの信頼度の和に対して設定された重みは、人体輪郭外の候補人体キーポイントの信頼度の和に対して設定された重みより大きいことを含む。
【0009】
いくつかの実施例では、候補人体画像領域セットにおける候補人体画像領域の信頼度スコアに基づいて、候補人体画像領域セットから人体画像領域を確定することは、候補人体画像領域セットのうち、信頼度スコアがあらかじめ設定されたスコア閾値を超える、又は信頼性スコアは高いものから低いものへと並べ替えられると、事前に設定された数の前にある候補人体画像領域を確定することと、候補人体画像領域セットのうち、確定された候補人体画像領域と冗長な候補人体画像領域を検索することと、検出された候補人体画像領域を削除することとを含む。
【0010】
いくつかの実施例では、候補人体画像領域セットのうち、確定された候補人体画像領域と冗長な候補人体画像領域を検索することは、候補人体画像領域セットにおける候補人体画像領域に対して、当該候補人体画像領域における人体の輪郭情報と確定された候補人体画像領域における人体の輪郭情報に基づいて輪郭中心距離を確定することと、当該候補人体画像領域に含まれる候補人体キーポイントと確定された候補人体画像領域に含まれる候補人体キーポイントとの間の距離に基づいて類似性を確定することと、確定された輪郭中心距離があらかじめ設定された距離閾値より小さく、確定された類似性があらかじめ設定された類似性閾値より大きいことに応答して、当該候補人体画像領域が冗長な候補人体画像領域であると確定することとを含む。
【0011】
第２の態様では、本出願のいくつかの実施例は人体検出用の装置を提出し、当該装置は、人体検出モデルに基づいて、ターゲット画像における候補人体画像領域セットを取得するように配置される取得ユニットと、候補人体画像領域セットにおける候補人体画像領域に対して、個人人体キーポイント検出モデルに基づいて、当該候補人体画像領域における候補人体キーポイントの位置情報及び信頼度を取得し、当該候補人体画像領域における人体の輪郭情報及び取得された位置情報に基づいて人体輪郭内の候補人体キーポイントを確定し、人体輪郭内の候補人体キーポイントの信頼度の和に基づいて当該候補人体画像領域の信頼度スコアを確定するように配置される第１の確定ユニットと、候補人体画像領域セットにおける候補人体画像領域の信頼度スコアに基づいて、候補人体画像領域セットから人体画像領域を確定するように配置される第２の確定ユニットとを含む。
【0012】
いくつかの実施例では、装置は、確定された人体画像領域における候補人体キーポイントを人体キーポイントとして確定するように配置される第３の確定ユニットをさらに含む。
【0013】
いくつかの実施例では、取得ユニットは、人体検出モデルに基づいて、ターゲット画像における候補人体画像領域セット、及び候補人体画像領域セットにおける候補人体画像領域が人体画像領域である信頼度を取得するように配置され、第１の確定ユニットは、人体輪郭内の候補人体キーポイントの信頼度の和及び当該候補人体画像領域が人体画像領域である信頼度に基づいて、当該候補人体画像領域の信頼度スコアを確定するようにさらに配置される。
【0014】
いくつかの実施例では、第１の確定ユニットは、あらかじめ設定された重みに応じて、人体輪郭内の候補人体キーポイントの信頼度の和、当該候補人体画像領域が人体画像領域である信頼度、人体輪郭外の候補人体キーポイントの信頼度の和を加重和し、当該候補人体画像領域の信頼度スコアを取得するようにさらに設置され、人体輪郭内の候補人体キーポイントの信頼度の和に対して設定された重みは、人体輪郭外の候補人体キーポイントの信頼度の和に対して設定された重みより大きい。
【0015】
いくつかの実施例では、第２の確定ユニットは、候補人体画像領域セットのうち、信頼度スコアがあらかじめ設定されたスコア閾値を超える、又は信頼性スコアは高いものから低いものへと並べ替えられると、事前に設定された数の前にある候補人体画像領域を確定するように配置される確定サブユニットと、候補人体画像領域セットのうち、確定された候補人体画像領域と冗長な候補人体画像領域を検索するように配置される検索サブユニットと、検出された候補人体画像領域を削除するように削除サブユニットとを含む。
【0016】
いくつかの実施例では、検索サブユニットは、候補人体画像領域セットにおける候補人体画像領域に対して、当該候補人体画像領域における人体の輪郭情報と確定された候補人体画像領域における人体の輪郭情報に基づいて輪郭中心距離を確定し、当該候補人体画像領域に含まれる候補人体キーポイントと確定された候補人体画像領域に含まれる候補人体キーポイントとの間の距離に基づいて類似性を確定し、確定された輪郭中心距離があらかじめ設定された距離閾値より小さく、確定された類似性があらかじめ設定された類似性閾値より大きいことに応答して、当該候補人体画像領域が冗長な候補人体画像領域であると確定するようにさらに配置される。
【0017】
第３の態様では、本出願のいくつかの実施例は機器を提供し、機器は、１つ又は複数のプロセッサと、１つ又は複数のプログラムが記憶されている記憶装置とを含み、上記１つ又は複数のプログラムが上記１つ又は複数のプロセッサによって実行されることで、上記１つ又は複数のプロセッサに一形態に記載の方法を実現させる。
【0018】
第４の態様では、本出願のいくつかの実施例は、プロセッサによって実行される時、一形態に記載の方法を実現させるコンピュータプログラムが記憶されているコンピュータ可読媒体を提供する。
【0019】
本出願の実施例に係る人体検出用の方法及び装置は、ターゲット画像における候補人体画像領域セットを取得し、その後、候補人体画像領域セットにおける候補人体画像領域に対して、個人人体キーポイント検出モデルに基づいて、当該候補人体画像領域における候補人体キーポイントの位置情報及び信頼度を取得し、当該候補人体画像領域における人体の輪郭情報及び取得された位置情報に基づいて人体輪郭内の候補人体キーポイントを確定し、人体輪郭内の候補人体キーポイントの信頼度の和に基づいて当該候補人体画像領域の信頼度スコアを確定し、最後に、候補人体画像領域セットにおける候補人体画像領域の信頼度スコアに基づいて、候補人体画像領域セットから人体画像領域を確定することにより、人体の輪郭情報及び人体キーポイントに基づく人体検出メカニズムを提供し、人体検出の正確度を向上させた。
【0020】
以下の図面を参照して非限定的な実施形態に対し行う詳細な説明を読むことにより、本出願の他の特徴、目的、および利点がより明らかになる。
【図面の簡単な説明】
【0021】
【図1】本出願のいくつかの適用される例示的なシステムアーキテクチャである。
【図2】本出願の人体検出用の方法の一実施例のフローチャートである。
【図3】本出願の人体検出用の方法の適用シナリオの模式図である。
【図4】本出願の人体検出用の方法の他の実施例のフローチャートである。
【図5】本出願の人体検出用の装置の一実施例の構成模式図である。
【図6】本出願のいくつかの実施例のサーバ又は端末を実現することに適したコンピュータシステムの構造模式図である。
【発明を実施するための形態】
【0022】
以下、図面及び実施例を参照しながら本出願を更に詳細説明する。ここに説明される具体的な実施例は係る発明を解釈するためのものであり、当該発明を限定するためのものではない。ただし、説明の便宜上、図面には係る発明に関連する部分のみを示す。
【0023】
ただし、衝突がない場合、本出願における実施例及び実施例における特徴は互いに組み合わせることができる。以下、図面を参照して実施例を結合することにより本出願を詳しく説明する。
【0024】
図１は本出願が適用可能な人体検出用の方法又は人体検出用の装置の実施例の例示的なシステムアーキテクチャ１００を示す。
【0025】
図１に示すように、システムアーキテクチャ１００は端末機器１０１、１０２、１０３、ネットワーク１０４及びサーバ１０５を含んでもよい。ネットワーク１０４は、端末機器１０１、１０２、１０３とサーバ１０５との間に通信リンクを提供するための媒体である。ネットワーク１０４は様々な接続タイプを含んでもよく、例えば、有線、無線通信リンク又は光ファイバケーブル等が挙げられる。
【0026】
メッセージ等を送受信するように、ユーザは、端末機器１０１、１０２、１０３を用いてネットワーク１０４を介してサーバ１０５とインタラクティブする。端末機器１０１、１０２、１０３には様々なクライアントアプリケーションがインストールされてもよく、例えば、画像収集類のアプリケーション、画像処理類のアプリケーション、Ｅコマース類のアプリケーション、検索類のアプリケーション等が挙げられる。
【0027】
端末機器１０１、１０２、１０３は、ハードウェアであってもよく、ソフトウェアであってもよい。当端末機器１０１、１０２、１０３はハードウェアである場合、ディスプレイを持つ様々な電子機器であってもよく、スマートフォン、タブレット、ラップトップ及びデスクトップコンピュータなどが含まれるが、これらに限定されない。端末機器１０１、１０２、１０３がソフトウェアである場合、上記に挙げられる電子機器にインストールされることができる。複数のソフトウェア又はソフトウェアモジュールとして実現されてもよく、単一のソフトウェア又はソフトウェアモジュールとして実現されてもよい。ここでは、具体的に限定されない。
【0028】
サーバ１０５は、例えば、端末機器１０１、１０２、１０３にインストールされたアプリケーションにサポートを提供するバックグラウンドサーバなどの、様々なサービスを提供するサーバであってもよく、サーバ１０５は、人体検出モデルに基づいて、ターゲット画像における候補人体画像領域セットを取得し、候補人体画像領域セットにおける候補人体画像領域に対して、個人人体キーポイント検出モデルに基づいて、当該候補人体画像領域における候補人体キーポイントの位置情報及び信頼度を取得し、当該候補人体画像領域における人体の輪郭情報及び取得された位置情報に基づいて人体輪郭内の候補人体キーポイントを確定し、人体輪郭内の候補人体キーポイントの信頼度の和に基づいて当該候補人体画像領域の信頼度スコアを確定し、候補人体画像領域セットにおける候補人体画像領域の信頼度スコアに基づいて、候補人体画像領域セットから人体画像領域を確定することができる。
【0029】
ただし、本出願の実施例に係る人体検出用の方法は、サーバ１０５によって実行されてもよく、端末機器１０１、１０２、１０３によって実行されてもよく、それに応じて、人体検出用の装置は、サーバ１０５に設置されてもよく、端末機器１０１、１０２、１０３に設置されてもよい。
【0030】
ただし、サーバは、ハードウェアであってもよく、ソフトウェアであってもよい。サーバがハードウェアである場合、複数のサーバからなる分散サーバクラスターとして実現されてもよく、単一のサーバとして実現されてもよい。サーバがソフトウェアである場合、複数のソフトウェア又はソフトウェアモジュール（例えば、分散サービスを提供するためのもの）として実現されてもよく、単一のソフトウェア又はソフトウェアモジュールとして実現されてもよい。ここでは、具体的に限定されない。
【0031】
図１における端末機器、ネットワーク及びサーバの数は、単なる例示であることが理解できる。実現のニーズに応じて、任意の数の端末機器、ネットワーク及びサーバを有することができる。
【0032】
図２を引き続き参照すると、本出願による人体検出用の方法の一実施例のフロー２００が示されている。当該人体検出用の方法は、ステップ２０１～ステップ２０３を含む。
【0033】
ステップ２０１では、人体検出モデルに基づいて、ターゲット画像における候補人体画像領域セットを取得する。
【0034】
本実施例では、人体検出用の方法の実行機関（例えば、図１に示すサーバ又は端末）はまず人体検出モデルに基づいて、ターゲット画像における候補人体画像領域セットを取得することができる。ターゲット画像は人体検出されるべき任意の画像を含んでもよい。ターゲット画像を人体検出モデルに直接入力してもよく、先にターゲット画像を前処理して、前処理されたターゲット画像を人体検出モデルに入力してもよい。人体検出モデルは、ＳＳＤ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、ＹＯＬＯ、Ｒ－ＦＣＮなどのターゲット検出アルゴリズムを採用して構築することができ、上記Ｆａｓｔｅｒ Ｒ－ＣＮＮ、Ｒ－ＦＣＮ、ＳＳＤ及びＹＯＬＯは現在広く研究され、適用されている、よく知られた技術であるので、ここで繰り返さない。人体検出モデルは再現率を保証する必要があることを考慮して、 Ｆａｓｔｅｒ Ｒ－ＣＮＮなどの人体検出精度が高いアルゴリズムを選択することができる。ターゲット画像は、ターゲット画像がＮ個の人を含むことを想定しており、人体検出モデルによって得られた候補人体画像領域セットには、 Ｍ個の候補人体画像領域を含んでもよく、再現率を確保することを前提としてＭ＞＝Ｎである。
【0035】
ステップ２０２では、候補人体画像領域セットにおける候補人体画像領域に対して、個人人体キーポイント検出モデルに基づいて、当該候補人体画像領域における候補人体キーポイントの位置情報及び信頼度を取得し、当該候補人体画像領域における人体の輪郭情報及び取得された位置情報に基づいて人体輪郭内の候補人体キーポイントを確定し、人体輪郭内の候補人体キーポイントの信頼度の和に基づいて当該候補人体画像領域の信頼度スコアを確定する。
【0036】
本実施例では、上記実行機関は、ステップ２０１で取得された候補人体画像領域セットにおける候補人体画像領域に対して、個人人体キーポイント検出モデルに基づいて、当該候補人体画像領域における候補人体キーポイントの位置情報及び信頼度を取得し、当該候補人体画像領域における人体の輪郭情報及び取得された位置情報に基づいて人体輪郭内の候補人体キーポイントを確定し、人体輪郭内の候補人体キーポイントの信頼度の和に基づいて当該候補人体画像領域の信頼度スコアを確定することができる。人体検出モデルによって得られた候補人体画像領域内に１人しかいないので、個人人体キーポイント検出モデルを使用して候補人体キーポイントを取得する。
【0037】
キーポイント推定は１つの回帰問題であり、畳み込みニューラルネットワーク（ＣＮＮ）などのモデルを使用して、キーポイントの位置座標に回帰することができる。人体の主なキーポイントのスケールが異なるため、頭、首、肩などの関節がより明らかな関節及び複雑な動きをするのが難しい関節に対して、１つのＣＮＮモデルを直接使用すると、これらのキーポイントのより正確な推定を得ることができる。ヒップ、手首、足首などの簡単に遮られたり見えなくなったりするキーポイントに対して、ローカル情報を使用し、受容野を大きくして、これらのキーポイントの正確な位置を更に取得する必要がある。ｈｏｕｒｇｌａｓｓ（砂時計）モデル、又は前後カスケードされるネットワーク構造を使用して、グローバル情報とローカル情報を組み合わせて、キーポイント推定の精度を向上させることができる。
【0038】
ｈｏｕｒｇｌａｓｓモデルの内部には、いくつかの残余ネットワークモジュールが含まれ、構造全体は対称であり、ダウンサンプリングで低解像度の特徴が取得され、アップサンプリングで高解像度の特徴が取得され、特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）は要素ごとに加えられる。ｈｏｕｒｇｌａｓｓモデルの終わりには、２つの１＊１の完全畳み込み層で、各関節のヒートマップ（ｈｅａｔ ｍａｐ）を取得することができ、１つヒートマップは１つのキーポイントに対応し、 ｈｏｕｒｇｌａｓｓモジュールによって出力されたヒートマップと対応するキーポイントの実際のヒートマップとの差を計算することで、当該キーポイントの損失関数値を取得することができる。キーポイント推定の精度を向上させるために、複数のｈｏｕｒｇｌａｓｓモデルを順番にカスケードして、積み重ねられたｈｏｕｒｇｌａｓｓモデルを取得することができる。ヒートマップは各ピクセルポイントにキーポイントが存在する確率を表すため、最後の１つのｈｏｕｒｇｌａｓｓモデルによって出力された各ヒートマップ上には、対応するキーポイントの位置座標である、確率が最も大きいピクセルが位置する位置を見つける。確率値は当該キーポイントの信頼度である。
【0039】
本実施例では、人体の輪郭情報は、人体を背景から区別するために使用される情報、例えば、体を背景から区別する二値化画像であり得る。輪郭情報は、候補人体画像領域セットにおける候補人体画像領域に対して実行するものであってもよく、キーポイントの確定とは無関係である。輪郭検出は、既存のセマンティックセグメンテーションテクノロジーを使用して実行してもよく、砂時計構造と類似するエンコーダーデコーダー（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）構造を使用して実行してもよい。ネットワーク出力の終わりは、１＊１の完全な畳み込み層であり、接正規化指数関数損失（ｓｏｆｔｍａｘ ｌｏｓｓ）層に接続される。輪郭検出は、キーポイント推定のために弱い監視情報を提供することができるため、大まかな輪郭検出でも需要を満たすことができる。セマンティックセグメンテーションと比較して、砂時計構造と類似するエンコーダ－デコーダ （Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ） 構造を使用すると、ラベリングデータの品質とネットワークの複雑さの要件を減らすことができる。
【0040】
本実施例では、人体輪郭内の候補人体キーポイントの信頼度の和と当該候補人体画像領域の信頼度スコアとの対応関係を事前に設定することができる、例えば、設定された対応関係は、人体輪郭内の候補人体キーポイントの信頼度の和が大きいほど、当該候補人体画像領域の信頼度スコアが高くなることを示してもよい。さらに、候補人体画像領域の信頼度スコアを確定する時、人体検出モデルによって出力された当該候補人体画像領域が人体画像領域である信頼度も考慮してもよい。いくつかの人体キーポイントが人体輪郭外にある可能性があるため、確定される信頼度スコアの精度をさらに向上させるように、人体輪郭外にある候補人体キーポイントの信頼度の和も包括的に考慮してもよい。
【0041】
本実施例のいくつかの代替的な実現形態では、人体検出モデルに基づいて、ターゲット画像における候補人体画像領域セットを取得することは、人体検出モデルに基づいて、ターゲット画像における候補人体画像領域セット、及び候補人体画像領域セットにおける候補人体画像領域が人体画像領域である信頼度を取得することを含み、人体輪郭内の候補人体キーポイントの信頼度の和に基づいて当該候補人体画像領域の信頼度スコアを確定することは、人体輪郭内の候補人体キーポイントの信頼度の和及び当該候補人体画像領域が人体画像領域である信頼度に基づいて、当該候補人体画像領域の信頼度スコアを確定することを含む。
【0042】
本実現形態では、人体輪郭内の候補人体キーポイントの信頼度の和及び当該候補人体画像領域が人体画像領域である信頼度に基づいて、当該候補人体画像領域の信頼度スコアを確定することは、あらかじめ設定された重みに応じて、人体輪郭内の候補人体キーポイントの信頼度の和、当該候補人体画像領域が人体画像領域である信頼度を加重和することであってもよく、具体的な重みは、実際のニーズに応じて設定してもよく、機械学習手法を使用してトレーニングを通じて取得してもよい。
【0043】
本実施例のいくつかの代替的な実現形態では、人体輪郭内の候補人体キーポイントの信頼度の和及び当該候補人体画像領域が人体画像領域である信頼度に基づいて、当該候補人体画像領域の信頼度スコアを確定することは、あらかじめ設定された重みに応じて、人体輪郭内の候補人体キーポイントの信頼度の和、当該候補人体画像領域が人体画像領域である信頼度、人体輪郭外の候補人体キーポイントの信頼度の和を加重和し、当該候補人体画像領域の信頼度スコアを取得することであって、人体輪郭内の候補人体キーポイントの信頼度の和に対して設定された重みは、人体輪郭外の候補人体キーポイントの信頼度の和に対して設定された重みより大きいことを含む。本実現形態では、具体的な重みは、実際のニーズに応じて設定してもよく、機械学習手法を使用してトレーニングを通じて取得してもよい。
【0044】
ステップ２０３では、候補人体画像領域セットにおける候補人体画像領域の信頼度スコアに基づいて、候補人体画像領域セットから人体画像領域を確定する。
【0045】
本実施例では、上記実行機関は、ステップ２０２で確定された候補人体画像領域セットにおける候補人体画像領域の信頼度スコアに基づいて、候補人体画像領域セットから人体画像領域を確定することができる。人体検出モデルは、再現率を確保するために、候補人体画像領域セットに冗長な人体画像領域が不可避的に現れるため、候補人体画像領域の信頼度スコアにより、候補人体画像領域セットから人体画像領域を確定することができる。
【0046】
本実施例のいくつかの代替的な実現形態では、候補人体画像領域セットにおける候補人体画像領域の信頼度スコアに基づいて、候補人体画像領域セットから人体画像領域を確定した後、方法は、確定された人体画像領域における候補人体キーポイントを人体キーポイントとして確定することをさらに含む。
【0047】
本実施例では、ステップ２０１での人体検出モデルのパラメータ、ステップ２０２での個人人体キーポイント検出モデルのパラメータ、人体の輪郭情報の確定時に関するパラメータ及び信頼度スコアの確定時に関するパラメータは、手動設定で確定してもよく、機械学習手法を使用してトレーニングを通じて取得してもよい。トレーニング中に使用されるサンプルデータは、サンプルピクチャ及びラベリング情報を含んでもよく、ラベリング情報は、ラベリングされた人体画像領域又は人体キーポイントを含んでもよい。例として、サンプルピクチャを入力として、ラベリングされた人体キーポイントの座標を出力として、トレーニングすることにより、上記のパラメータの１つまたは複数を取得することができる。
【0048】
トレーニングの前、まずサンプルデータを前処理することができ、前処理は、データクリーニング及びデータ拡張を含んでもよい。データクリーニングとは、トレーニングデータ内の誤った不完全なラベリングデータを削除することであり、複数人の人体キーポイントラベリングデータには、通常、人体画像領域ラベリングエラーと、座標の欠落や間違った座標などを含むキーポイントラベリングエラーが存在している。データ拡張は、元トレーニングデータに対して、回転、サイズ変更、トリミング、反転、明るさの変更などを行って、拡張されたトレーニングデータを取得し、モデルにより強い汎化性を持たせることであってもよい。データ拡張のトリミング（ｃｒｏｐ）ステップでは、画像のアスペクト比を変更せずにピクチャをトリミングし、ピクチャの縁にゼロパディングを行った後、ピクチャを２５６＊２５６のサイズに調整することができる。ピクチャに対してデータ拡張を行う一方で、ラベリングデータに対しても、回転、スケール変更、反転などの対応する操作を行う必要がある。
【0049】
本出願の上記実施例に係る方法は、人体の輪郭情報及び人体キーポイントに基づく人体検出メカニズムを提供し、人体検出の正確度を向上させた。
【0050】
図３を参照し続けると、図３は本実施例の人体検出用の方法の適用シナリオの１つの模式図である。図３の適用シナリオでは、サーバ３０１は、ターゲット画像３０２を人体検出モデル３０３に入力し、ターゲット画像３０２における候補人体画像領域セットを取得し、次に候補人体画像領域セットにおける候補人体画像領域に対して、それを個人人体キーポイント検出モデル３０４に入力して、当該候補人体画像領域における候補人体キーポイントの位置情報及び信頼度を取得し、且つ当該候補人体画像領域における人体の輪郭情報及び取得された位置情報に基づいて人体輪郭内の候補人体キーポイントを確定し、次に、人体輪郭内の候補人体キーポイントの信頼度の和に基づいて当該候補人体画像領域の信頼度スコアを確定し、最後に、候補人体画像領域セットにおける候補人体画像領域の信頼度スコアに基づいて、候補人体画像領域セットから人体画像領域を確定する。
【0051】
【0052】
ステップ４０１では、人体検出モデルに基づいて、ターゲット画像における候補人体画像領域セットを取得する。
【0053】
本実施例では、人体検出用の方法実行機関（例えば、図１に示すサーバ又は端末）は、まず人体検出モデルに基づいて、ターゲット画像における候補人体画像領域セットを取得することができる。
【0054】
ステップ４０２では、候補人体画像領域セットにおける候補人体画像領域に対して、個人人体キーポイント検出モデルに基づいて、当該候補人体画像領域における候補人体キーポイントの位置情報及び信頼度を取得し、当該候補人体画像領域における人体の輪郭情報及び取得された位置情報に基づいて人体輪郭内の候補人体キーポイントを確定し、人体輪郭内の候補人体キーポイントの信頼度の和に基づいて当該候補人体画像領域の信頼度スコアを確定する。
【0055】
本実施例では、上記実行機関は、ステップ４０１で取得された候補人体画像領域セットにおける候補人体画像領域に対して、個人人体キーポイント検出モデルに基づいて、当該候補人体画像領域における候補人体キーポイントの位置情報及び信頼度を取得し、当該候補人体画像領域における人体の輪郭情報及び取得された位置情報に基づいて人体輪郭内の候補人体キーポイントを確定し、人体輪郭内の候補人体キーポイントの信頼度の和に基づいて当該候補人体画像領域の信頼度スコアを確定することができる。
【0056】
ステップ４０３では、候補人体画像領域セットのうち、信頼度スコアがあらかじめ設定されたスコア閾値を超える、又は信頼性スコアは高いものから低いものへと並べ替えられると、事前に設定された数の前にある候補人体画像領域を確定する。
【0057】
本実施例では、上記実行機関は、候補人体画像領域セットのうち、信頼度スコアがあらかじめ設定されたスコア閾値を超える、又は信頼性スコアは高いものから低いものへと並べ替えられると、事前に設定された数の前にある候補人体画像領域を確定することができる。スコア閾値及びあらかじめ設定された数は実際のニーズに応じて設定してもよく、例えば、あらかじめ設定された数は１であってもよく、このように、信頼度スコアが最も高い候補人体画像領域が確定される。
【0058】
ステップ４０４では、候補人体画像領域セットのうち、確定された候補人体画像領域と冗長な候補人体画像領域を検索する。
【0059】
本実施例では、上記実行機関は、検索候補人体画像領域セットのうち、ステップ４０３で確定された候補人体画像領域と冗長な候補人体画像領域を検索することができる。上記の人体検出モデルは、再現率を確保するために、冗長な検出フレームが不可避的に現れる。冗長であるかどうかは、キーポイントの類似性（ｏｂｊｅｃｔ ｋｅｙｐｏｉｎｔ ｓｉｍｉｌａｒｉｔｙ、ＯＫＳ）および／または輪郭の中心距離によって確定できる。
【0060】
本実施例のいくつかの代替的な実現形態では、候補人体画像領域セットのうち、確定された候補人体画像領域と冗長な候補人体画像領域を検索することは、候補人体画像領域セットにおける候補人体画像領域に対して、当該候補人体画像領域における人体の輪郭情報と確定された候補人体画像領域における人体の輪郭情報に基づいて輪郭中心距離を確定することと、当該候補人体画像領域に含まれる候補人体キーポイントと確定された候補人体画像領域に含まれる候補人体キーポイントとの間の距離に基づいて類似性を確定することと、確定された輪郭中心距離があらかじめ設定された距離閾値より小さく、確定された類似性があらかじめ設定された類似性閾値より大きいことに応答して、当該候補人体画像領域が冗長な候補人体画像領域であると確定することとを含む。
【0061】
ステップ４０５では、検出された候補人体画像領域を削除する。
【0062】
本実施例では、上記実行機関はステップ４０４で検索された候補人体画像領域を削除することができる。同一の人の冗長な推定を削除するとともに、接近している２人の推定を削除しなく、人体検出の正確度を向上させる。その後、人体検出結果により人体キーポイント推定を行う時、画像全体における複数の人の人体キーポイント推定の精度をさらに向上させることができる。
【0063】
本実施例では、ステップ４０１、ステップ４０２の操作はステップ２０１、ステップ２０２の操作と基本的に同じである、ここで繰り返さない。
【0064】
図４から分かるように、図２と対応する実施例に比べると、本実施例における人体検出用の方法のフロー４００において、候補人体画像領域セットのうち、信頼度スコアが高い候補人体画像領域を確定し、その後これらの領域と冗長な領域を削除することで、人体画像領域を確定する精度をさらに向上させる。
【0065】
さらに図５を参照し、上記の各図に示す方法の実現形態として、本出願は、人体検出用の装置の１つの実施例を提供する。当該装置の実施例は図２に示す方法の実施例と対応し、当該装置は具体的には様々な電子機器に適用することができる。
【0066】
図５に示すように、本実施例の人体検出用の装置５００は、取得ユニット５０１、第１の確定ユニット５０２、第２の確定ユニット５０３を含む。取得ユニットは、人体検出モデルに基づいて、ターゲット画像における候補人体画像領域セットを取得するように配置される。第１の確定ユニットは、候補人体画像領域セットにおける候補人体画像領域に対して、個人人体キーポイント検出モデルに基づいて、当該候補人体画像領域における候補人体キーポイントの位置情報及び信頼度を取得し、当該候補人体画像領域における人体の輪郭情報及び取得された位置情報に基づいて人体輪郭内の候補人体キーポイントを確定し、人体輪郭内の候補人体キーポイントの信頼度の和に基づいて当該候補人体画像領域の信頼度スコアを確定するように配置される。第２の確定ユニットは、候補人体画像領域セットにおける候補人体画像領域の信頼度スコアに基づいて、候補人体画像領域セットから人体画像領域を確定するように配置される。
【0067】
本実施例では、人体検出用の装置５００の取得ユニット５０１、第１の確定ユニット５０２、第２の確定ユニット５０３の具体的な処理について、図２と対応する実施例におけるステップ２０１、ステップ２０２及びステップ２０３を参照することができる。
【0068】
本実施例のいくつかの代替的な実現形態では、装置は、確定された人体画像領域における候補人体キーポイントを人体キーポイントとして確定するように配置される第３の確定ユニットをさらに含む。
【0069】
本実施例のいくつかの代替的な実現形態では、取得ユニットは、人体検出モデルに基づいて、ターゲット画像における候補人体画像領域セット、及び候補人体画像領域セットにおける候補人体画像領域が人体画像領域である信頼度を取得するようにさらに配置される、第１の確定ユニットは、人体輪郭内の候補人体キーポイントの信頼度の和及び当該候補人体画像領域が人体画像領域である信頼度に基づいて、当該候補人体画像領域の信頼度スコアを確定するようにさらに配置される。
【0070】
本実施例のいくつかの代替的な実現形態では、第１の確定ユニットは、あらかじめ設定された重みに応じて、人体輪郭内の候補人体キーポイントの信頼度の和、当該候補人体画像領域が人体画像領域である信頼度、人体輪郭外の候補人体キーポイントの信頼度の和を加重和し、当該候補人体画像領域の信頼度スコアを取得するようにさらに配置され、人体輪郭内の候補人体キーポイントの信頼度の和に対して設定された重みは、人体輪郭外の候補人体キーポイントの信頼度の和に対して設定された重みより大きい。
【0071】
本実施例のいくつかの代替的な実現形態では、第２の確定ユニットは、候補人体画像領域セットのうち、信頼度スコアがあらかじめ設定されたスコア閾値を超える、又は信頼性スコアは高いものから低いものへと並べ替えられると、事前に設定された数の前にある候補人体画像領域を確定するように配置される確定サブユニットと、候補人体画像領域セットのうち、確定された候補人体画像領域と冗長な候補人体画像領域を検索するように配置される検索サブユニットと、検出された候補人体画像領域を削除するように配置される削除サブユニットを含む。
【0072】
本実施例のいくつかの代替的な実現形態では、検索サブユニットは、候補人体画像領域セットにおける候補人体画像領域に対して、当該候補人体画像領域における人体の輪郭情報と確定された候補人体画像領域における人体の輪郭情報に基づいて輪郭中心距離を確定し、当該候補人体画像領域に含まれる候補人体キーポイントと確定された候補人体画像領域に含まれる候補人体キーポイントとの間の距離に基づいて類似性を確定し、確定された輪郭中心距離があらかじめ設定された距離閾値より小さく、確定された類似性があらかじめ設定された類似性閾値より大きいことに応答して、当該候補人体画像領域が冗長な候補人体画像領域であると確定するようにさらに配置される。
【0073】
本出願の上記実施例に係る装置は、人体検出モデルに基づいて、ターゲット画像における候補人体画像領域セットを取得することと、候補人体画像領域セットにおける候補人体画像領域に対して、個人人体キーポイント検出モデルに基づいて、当該候補人体画像領域における候補人体キーポイントの位置情報及び信頼度を取得し、当該候補人体画像領域における人体の輪郭情報及び取得された位置情報に基づいて人体輪郭内の候補人体キーポイントを確定し、人体輪郭内の候補人体キーポイントの信頼度の和に基づいて当該候補人体画像領域の信頼度スコアを確定し、候補人体画像領域セットにおける候補人体画像領域の信頼度スコアに基づいて、候補人体画像領域セットから人体画像領域を確定することにより、人体の輪郭情報及び人体キーポイントに基づく人体検出メカニズムを提供し、人体検出の正確度を向上させた。
【0074】
以下、図６を参照すると、本出願の実施例のサーバ又は端末を実現することに適したコンピュータシステム６００の構造模式図を示す。図６に示すサーバ又は端末は、単なる例であり、本出願の実施例の機能および使用範囲にいかなる制限ももたらしてはならない。
【0075】
図６に示すように、コンピュータシステム６００は、読み出し専用メモリ（ＲＯＭ）６０２に記憶されたプログラムまたは記憶部分６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたプログラムに基づいて様々な適切なアクションと処理を実行することができる中央処理装置（ＣＰＵ）６０１を含む。ＲＡＭ ６０３には、システム６００の動作に必要な様々なプログラム及びデータが更に記憶されている。ＣＰＵ ６０１、ＲＯＭ ６０２及びＲＡＭ ６０３は、バス６０４を介して互いに接続されている。入出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。
【0076】
キーボード、マウスなどを含む入力部分６０６と、ブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など及びスピーカーなどを含む出力部分６０７と、ハードディスク等を含む記憶部分６０８と、ＬＡＮカード、モデムなどのネットワークインターフェースカードを含む通信部分６０９とは、Ｉ／Ｏインターフェース６０５に接続することができる。通信部分６０９は、インターネットなどのネットワークを介して通信処理を行う。ドライバ６１０はまた、必要に応じてＩ／Ｏインターフェース６０５に接続されている。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブルメディア６１１は、ドライバ６１０から読み取られたコンピュータプログラムが必要に応じて記憶部分６０８にインストールされるように、必要に応じて、ドライバ６１０に搭載される。
【0077】
特に、本開示の実施例によれば、以上にフローチャートを参照しながら説明された過程はコンピュータソフトウェアプログラムとして実現することができる。例えば、本開示の実施例は、コンピュータ可読媒体上に搭載されたコンピュータプログラムを含むコンピュータプログラム製品を含み、当該コンピュータプログラムは、フローチャートに示す方法を実行するためのプログラムコードを含む。このような実施例では、当該コンピュータプログラムは、通信部分６０９を介してネットワークからウンロードおよびインストールされ、および／またはリムーバブル媒体６１１からインストールされることができる。当該コンピュータプログラムは中央処理装置（ＣＰＵ）６０１よって実行されるとき、本出願の方法に限定される上記機能が実行される。ただし、本出願で説明されるコンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読媒体又はその２つの任意の組み合わせであってもよい。コンピュータ可読媒体は、例えば、電気的、磁気的、光学的、電磁気的、赤外線、または半導体システム、装置、またはデバイス、あるいは上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読媒体のより具体的な例は、１つ又は複数のワイヤを有する電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能でプログラム可能な読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光ストレージデバイス、磁気ストレージデバイス、または上記の任意の適切な組み合わせを含むが、これらに限定されない。本出願では、コンピュータ可読媒体は、プログラムを含むかまたは記憶する任意の有形媒体であってもよく、当該プログラムは、命令実行システム、装置、またはデバイスによって、またはそれらと組み合わせて使用され得る。本出願では、コンピュータで読み取り可能な信号媒体は、ベースバンド内で、または搬送波の一部として伝搬されるデータ信号を含んでもよく、その中にコンピュータで読み取り可能なプログラムコードが担持されている。この伝搬されたデータ信号は多くの形態をとることができ、電磁信号、光信号、または前述の任意の適切な組み合わせを含むが、これらに限定されない。コンピュータで読み取り可能な信号媒体は、コンピュータ可読媒体以外の任意のコンピュータ可読媒体であってもよく、当該コンピュータ可読媒体は、命令実行システム、装置またはデバイスによって使用されまたはそれと組み合わせて使用するためのプログラムを送信、伝播、または送信することができる。コンピュータ可読媒体に含まれるプログラムコードは、任意の適切な媒体によって送信することができ、無線、ワイヤ、光ケーブル、ＲＦなど、または上記の任意の適切な組み合わせを含むが、これらに限定されない。
【0078】
本出願の操作を実行するためのコンピュータプログラムコードは、１つまたは複数のプログラミング言語またはそれらの組み合わせで記述することができる。前記プログラミング言語は、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向のプログラミング言語と、 Ｃ言語や同様のプログラミング言語などの従来の手続き型プログラミング言語とを含む。プログラムコードは、完全にユーザコンピュータ上で実行したり、一部がユーザコンピュータ上で実行したり、１つのスタンドアロンソフトウェアパッケージとして実行したり、一部がユーザコンピュータ上で一部がリモートコンピュータ上で実行したり、完全にリモートコンピュータ或サーバ上で実行することができる。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ） またはワイドエリアネットワーク（ＷＡＮ）を含むあらゆる種類のネットワークを介してユーザのコンピュータに接続することができ、又は、外部コンピュータに接続することができる（例えば、インターネットサービスプロバイダーを使用してインターネット経由で接続される）。
【0079】
図面中のフローチャート及びブロック図は、本出願の様々な実施例によるシステム、方法、及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能、及び操作を例示する。この点において、フローチャート又はブロック図の各ブロックは、所定の論理機能を実現するための１つ以上の実行可能命令を含むモジュール、プログラムセグメント、又はコードの一部を表してもよい。なおいくつかの代替実現では、ブロックに記載された機能は、図面に記載された順序とは異なる順序で発生することもある。例えば、連続して表示される２つのブロックは、実際には、基本的に並行して実行され、機能によっては逆の順序で実行されることもある。また、なお、ブロック図及び／又はフローチャート中の各ブロック、ならびにブロック図及び／又はフローチャート中のブロックの組み合わせは、特定の機能又は操作を実行する専用ハードウェアベースのシステムによって実現されてもよく、又は専用ハードウェアとコンピュータ命令との組み合わせによって実現されてもよい。
【0080】
本出願の実施例に係るユニットは、ソフトウェアの形態で実現されてもよく、ハードウェアの形態で実現されてもよい。説明するユニットはまた、プロセッサに配置されてもよく、例えば、プロセッサは、取得ユニット、第１の確定ユニット及び第２の確定ユニットを含むように記述されてもよい。ここで、これらのユニットの名称は、場合によって、このユニット自体を制限するものではなく、例えば、取得ユニットは、「人体検出モデルに基づいて、ターゲット画像における候補人体画像領域セットを取得するように配置されるユニット」として記述されてもよい。
【0081】
別の態様として、本出願は、コンピュータ読み取り可能な媒体をさらに提供し、該コンピュータ読み取り可能な媒体は、上記実施例に記載の装置に含まれるものであってもよく、該装置に組み込まれずに単独で存在してもよい。上記コンピュータ読み取り可能な媒体は、１つ以上のプログラムを担持しており、上記１つ以上の複数のプログラムは、該装置により実行されると、人体検出モデルに基づいて、ターゲット画像における候補人体画像領域セットを取得することと、候補人体画像領域セットにおける候補人体画像領域に対して、個人人体キーポイント検出モデルに基づいて、当該候補人体画像領域における候補人体キーポイントの位置情報及び信頼度を取得することと、当該候補人体画像領域における人体の輪郭情報及び取得された位置情報に基づいて人体輪郭内の候補人体キーポイントを確定することと、人体輪郭内の候補人体キーポイントの信頼度の和に基づいて当該候補人体画像領域の信頼度スコアを確定することと、候補人体画像領域セットにおける候補人体画像領域の信頼度スコアに基づいて、候補人体画像領域セットから人体画像領域を確定することと、を該装置に実行させる。
【0082】
以上の説明は、本出願の好適な実施例及び適用される技術原理の説明にすぎない。当業者にとって自明なように、本出願に係る発明の範囲は、上記の技術的特徴の特定の組合せからなる技術案に限定されるものではなく、上記の発明構想を逸脱することなく、上記の技術的特徴又はその同等の特徴の任意の組合せからなる他の技術案をもカバーする。例えば、上記の特徴と、本出願で開示された（ただし、これに限定されない）類似の機能を有する技術的特徴とを相互に置き換えて形成された技術案が挙げられる。
【図1】
【図2】
【図3】
【図3A】
【図3B】
【図3C】
【図4】
【図 】
【図5】
【図 】
【図6】
【図 】
【図7】