▶ センスタイム インターナショナル プライベート リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-03
(54)【発明の名称】人体と人手との関連付け方法、装置、設備及び記憶媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20230127BHJP
【ＦＩ】
G06T7/00 660B
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021550115
(86)(22)【出願日】2021-06-25
(85)【翻訳文提出日】2021-08-25
(86)【国際出願番号】 IB2021055677
(87)【国際公開番号】W WO2022096951
(87)【国際公開日】2022-05-12
(31)【優先権主張番号】10202106728X
(32)【優先日】2021-06-21
(33)【優先権主張国・地域又は機関】SG
(81)【指定国・地域】
(71)【出願人】
【識別番号】520132724
【氏名又は名称】センスタイム インターナショナル プライベート リミテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ワン， バイルン
(72)【発明者】
【氏名】ジャン， シュエセン
(72)【発明者】
【氏名】リウ， チュンヤ
(72)【発明者】
【氏名】イー， シュアイ
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA02
5L096FA09
5L096FA66
5L096FA67
5L096FA69
5L096FA72
5L096GA30
5L096HA11
5L096JA11
(57)【要約】
本願の実施例は人体と人手との関連付け方法、装置、設備、記憶媒体及びコンピュータプログラムを提供し、前記方法は、画面内容に関連付け対象人体及び関連付け対象人手が含まれる検出対象画像において、前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定することと、前記人体検出枠内のキーポイントに基づいて、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定し、前記キーポイントは、同一腕に属する手首キーポイント及び肘キーポイントを含むことと、前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定することと、前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することと、を含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
人体と人手との関連付け方法であって、画面内容に関連付け対象人体及び関連付け対象人手が含まれる検出対象画像において、前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定することと、
前記人体検出枠内のキーポイントに基づいて、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定し、前記人体検出枠内のキーポイントは、同一腕に属する手首キーポイント及び肘キーポイントを含むことと、
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定することと、
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することと、を含む、人体と人手との関連付け方法。
【請求項2】
画面内容に関連付け対象人体及び関連付け対象人手が含まれる検出対象画像において、前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定することは、前記人体検出枠の人体特徴及び前記人手検出枠の人手特徴を決定することと、
前記人体特徴及び前記人手特徴に基づいて、前記人体検出枠と前記人手検出枠との第１関連確率を決定することと、を含む
請求項１に記載の方法。
【請求項3】
前記人体検出枠内のキーポイントに基づいて、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定することは、前記手首キーポイントが真値点である信頼度を決定することと、
前記信頼度に基づいて、前記関連付け対象人体と前記手首キーポイントとの関連確率を決定し、前記第２関連確率を取得することと、を含む
請求項１又は２に記載の方法。
【請求項4】
前記信頼度に基づいて、前記関連付け対象人体と前記手首キーポイントとの関連確率を決定し、前記第２関連確率を取得することは、前記信頼度を前記第２関連確率として決定することを含む
請求項３に記載の方法。
【請求項5】
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定することは、前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記手首キーポイントと前記人手検出枠との位置関係を決定することと、
前記位置関係及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定し、前記手首キーポイントに対応する信頼度は前記手首キーポイントが真値点である信頼度を含むことと、を含む
請求項１～４のいずれか１項に記載の方法。
【請求項6】
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記手首キーポイントと前記人手検出枠との位置関係を決定することは、同一腕に属する前記手首キーポイントと前記肘キーポイントを接続する第１接続線を決定することと、
前記手首キーポイントと前記人手検出枠内の所定点を接続する第２接続線を決定することと、
前記手首キーポイントを頂点として、前記腕の前腕方向に沿って、前記第１接続線と前記第２接続線とがなす夾角を決定し、前記位置関係を取得することと、を含む
請求項５に記載の方法。
【請求項7】
前記位置関係及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定することは、前記夾角が所定の角度閾値より小さい場合、前記手首キーポイントと前記人手検出枠内の所定点との距離を決定することと、
前記夾角、前記距離及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定することと、を含む
請求項６に記載の方法。
【請求項8】
前記夾角、前記距離及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定することは、前記距離と所定の長さ閾値との第１差分に基づいて、前記距離の第１信頼度を決定することと、
前記夾角と前記所定の角度閾値との第２差分に基づいて、前記夾角の第２信頼度を決定することと、
前記第１信頼度、前記第２信頼度及び前記手首キーポイントに対応する信頼度を融合して、前記第３関連確率を取得することと、を含む
請求項７に記載の方法。
【請求項9】
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することは、前記第２関連確率及び前記第３関連確率に基づいて、前記第１関連確率を修正して、修正済み第１確率を取得することと、
前記修正済み第１確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することと、を含む
請求項１～８のいずれか１項に記載の方法。
【請求項10】
前記検出対象画像の画面内容に複数の関連付け対象人体及び複数の関連付け対象人手が含まれる場合、前記修正済み第１確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することは、各関連付け対象人体と各関連付け対象人手との修正済み第１確率を決定し、修正済み第１確率セットを取得することと、
前記修正済み第１確率セットにおいて、確率が所定確率閾値より大きいターゲット修正済み第１確率を選別することと、
前記ターゲット修正済み第１確率に基づいて、前記ターゲット修正済み第１確率に対応する、関連付け対象人体にマッチングする関連付け対象人手を決定することと、を含む
請求項９に記載の方法。
【請求項11】
前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定することは、前記第１関連確率が所定確率閾値より大きい場合、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの前記第２関連確率を決定することを含み、
前記人手検出枠と前記手首キーポイントとの第３関連確率を決定することは、
前記第２関連確率が前記所定確率閾値より大きい場合、前記第３関連確率を決定することを含み、
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することは、
前記第３関連確率が前記所定確率閾値より大きい場合、前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することを含む
請求項１～１０のいずれか１項に記載の方法。
【請求項12】
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定する前に、前記方法は更に、前記第１関連確率、前記第２関連確率及び前記第３関連確率を融合して、融合確率を取得することと、
前記融合確率が第３所定確率閾値より小さい場合、前記第２関連確率に対応する手首キーポイントの位置を更新して、更新された手首キーポイントを取得することと、を含む
請求項１０に記載の方法。
【請求項13】
前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定する前に、前記方法は更に、前記関連付け対象人体の人体検出枠、前記関連付け対象人手の人手検出枠及び前記関連付け対象人体のキーポイントを決定するように、前記検出対象画像に対して人体検出、人手検出及び人体キーポイント検出を行うことを含む
請求項１～１２のいずれか１項に記載の方法。
【請求項14】
人体と人手との関連付け装置であって、画面内容に関連付け対象人体及び関連付け対象人手が含まれる検出対象画像において、前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定するように構成される第１決定モジュールと、
前記人体検出枠内のキーポイントに基づいて、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定するように構成され、前記人体検出枠内のキーポイントは、同一腕に属する手首キーポイント及び肘キーポイントを含む第２決定モジュールと、
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定するように構成される第３決定モジュールと、
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定するように構成される第４決定モジュールと、を備える、人体と人手との関連付け装置。
【請求項15】
前記第１決定モジュールは、前記人体検出枠の人体特徴及び前記人手検出枠の人手特徴を決定するように構成される第１決定サブモジュールと、
前記人体特徴及び前記人手特徴に基づいて、前記人体検出枠と前記人手検出枠との第１関連確率を決定するように構成される第２決定サブモジュールと、を含む
請求項１４に記載の装置。
【請求項16】
前記第２決定モジュールは、前記手首キーポイントが真値点である信頼度を決定するように構成される第３決定サブモジュールと、
前記信頼度に基づいて、前記関連付け対象人体と前記手首キーポイントとの関連確率を決定し、前記第２関連確率を取得するように構成される第４決定サブモジュールと、を含む
請求項１４又は１５に記載の装置。
【請求項17】
前記第２決定モジュールは前記信頼度を前記第２関連確率として決定することに用いられる請求項１６に記載の装置。
【請求項18】
前記第３決定モジュールは、前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記手首キーポイントと前記人手検出枠との位置関係を決定するように構成される第５決定サブモジュールと、
前記位置関係及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定するように構成され、前記手首キーポイントに対応する信頼度は前記手首キーポイントが真値点である信頼度を含む第６決定サブモジュールと、を含む
請求項１４～１７のいずれか１項に記載の装置。
【請求項19】
前記第５決定サブモジュールは、同一腕に属する前記手首キーポイントと前記肘キーポイントを接続する第１接続線を決定するように構成される第１接続ユニットと、
前記手首キーポイントと前記人手検出枠内の所定点を接続する第２接続線を決定するように構成される第２接続ユニットと、
前記手首キーポイントを頂点として、前記腕の前腕方向に沿って、前記第１接続線と前記第２接続線とがなす夾角を決定し、前記位置関係を取得するように構成される第１決定ユニットと、を備える
請求項１８に記載の装置。
【請求項20】
前記第６決定サブモジュールは、前記夾角が所定の角度閾値より小さい場合、前記手首キーポイントと前記人手検出枠内の所定点との距離を決定するように構成される第２決定ユニットと、
前記夾角、前記距離及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定するように構成される第３決定ユニットと、を備える
請求項１９に記載の装置。
【請求項21】
前記第３決定ユニットは、前記距離と所定の長さ閾値との第１差分に基づいて、前記距離の第１信頼度を決定するように構成される第１差分サブユニットと、
前記夾角と前記所定夾角閾値との第２差分に基づいて、前記夾角の第２信頼度を決定するように構成される第２差分サブユニットと、
前記第１信頼度、前記第２信頼度及び前記手首キーポイントに対応する信頼度を融合して、前記第３関連確率を取得するように構成される第１融合サブユニットと、を含む
請求項２０に記載の装置。
【請求項22】
前記第４決定モジュールは、前記第２関連確率及び前記第３関連確率に基づいて、前記第１関連確率を修正して、修正済み第１確率を取得するように構成される第１修正サブモジュールと、
前記修正済み第１確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定するように構成される第７決定サブモジュールと、を含む
請求項１４～２１のいずれか１項に記載の装置。
【請求項23】
前記検出対象画像の画面内容に複数の関連付け対象人体及び複数の関連付け対象人手が含まれる場合、前記第７決定サブモジュールは、各関連付け対象人体と各関連付け対象人手との修正済み第１確率を決定し、修正済み第１確率セットを取得するように構成される第４決定ユニットと、
前記修正済み第１確率セットにおいて、確率が所定確率閾値より大きいターゲット修正済み第１確率を選別するように構成される第１選別ユニットと、
前記ターゲット修正済み第１確率に基づいて、前記ターゲット修正済み第１確率に対応する、関連付け対象人体にマッチングする関連付け対象人手を決定するように構成される第５決定ユニットと、を備える
請求項２２に記載の装置。
【請求項24】
前記第２決定モジュールは更に、前記第１関連確率が所定確率閾値より大きい場合、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの前記第２関連確率を決定することに用いられ、前記第３決定モジュールは更に、前記第２関連確率が前記所定確率閾値より大きい場合、前記第３関連確率を決定することに用いられ、
前記第４決定モジュールは更に、前記第３関連確率が前記所定確率閾値より大きい場合、前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することに用いられる
請求項１４～２３のいずれか１項に記載の装置。
【請求項25】
前記装置は更に、前記第１関連確率、前記第２関連確率及び前記第３関連確率を融合して、融合確率を取得するように構成される第１融合モジュールと、
前記融合確率が第３所定確率閾値より小さい場合、前記第２関連確率に対応する手首キーポイントの位置を更新して、更新された手首キーポイントを取得するように構成される第１更新モジュールと、を備える
請求項２３に記載の装置。
【請求項26】
前記装置は更に、前記関連付け対象人体の人体検出枠、前記関連付け対象人手の人手検出枠及び前記関連付け対象人体のキーポイントを決定するように、前記検出対象画像に対して人体検出、人手検出及び人体キーポイント検出を行うように構成される第１検出モジュールを備える
請求項１４～２５のいずれか１項に記載の装置。
【請求項27】
コンピュータ記憶媒体であって、コンピュータ実行可能命令が記憶され、該コンピュータ実行可能命令が実行された後、請求項１～１３のいずれか１項に記載の人体と人手との関連付け方法を実現することができる、コンピュータ記憶媒体。
【請求項28】
コンピュータ装置であって、メモリ及びプロセッサを備え、前記メモリにコンピュータ実行可能命令が記憶され、前記プロセッサが前記メモリにおけるコンピュータ実行可能命令を実行するとき、請求項１～１３のいずれか１項に記載の人体と人手との関連付け方法を実現することができる、コンピュータ装置。
【請求項29】
コンピュータプログラムであって、コンピュータ実行可能命令を含み、該コンピュータ実行可能命令がプロセッサにより実行され、該コンピュータに請求項１～１３のいずれか１項に記載の人体と人手との関連付け方法を実現させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、２０２１年６月２１日にシンガポール知的財産庁に提出された、出願番号が１０２０２１０６７２８Ｘであり、発明の名称が「人体と人手との関連付け方法、装置、設備及び記憶媒体（ＢＯＤＹ ＡＮＤ ＨＡＮＤ ＣＯＲＲＥＬＡＴＩＯＮ ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ、ＤＥＶＩＣＥ、ＡＮＤ ＳＴＯＲＡＧＥ ＭＥＤＩＵＭ）」であるシンガポール特許出願に基づく優先権を主張し、該シンガポール特許出願の全ての内容が援用により本願に取り込まれる。
本願は、２０２１年６月２１日にシンガポール知的財産庁に提出された、出願番号が１０２０２１０６７２８Ｘであり、発明の名称が「人体と人手との関連付け方法、装置、設備及び記憶媒体（ＢＯＤＹ ＡＮＤ ＨＡＮＤ ＣＯＲＲＥＬＡＴＩＯＮ ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ、ＤＥＶＩＣＥ、ＡＮＤ ＳＴＯＲＡＧＥ ＭＥＤＩＵＭ）」であるシンガポール特許出願に基づく優先権を主張し、該シンガポール特許出願の全ての内容が援用により本願に取り込まれる。
【0002】
本願の実施例は画像処理技術分野に関し、人体と人手との関連付け方法、装置、設備及び記憶媒体に関するが、それらに限らない。
【背景技術】
【0003】
人数がより多い複雑なシーンにおいて、人と人が遮る又は腕が互いに交錯する現象がある。関連技術において、人体キーポイントの検出とセンサーを組み合わせる方式を用いて、人手の帰属を判断しており、これは、判断精度を確保できず、しかも判断コストが高い。
【発明の概要】
【課題を解決するための手段】
【0004】
本願の実施例は人体と人手との関連付け技術案を提供する。
【0005】
本願の実施例の技術案は以下のように実現される。
【0006】
本願の実施例は人体と人手との関連付け方法を提供し、前記方法は、
画面内容に関連付け対象人体及び関連付け対象人手が含まれる検出対象画像において、前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定することと、
前記人体検出枠内のキーポイントに基づいて、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定し、前記人体検出枠内のキーポイントは、同一腕に属する手首キーポイント及び肘キーポイントを含むことと、
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定することと、
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することと、を含む。
画面内容に関連付け対象人体及び関連付け対象人手が含まれる検出対象画像において、前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定することと、
前記人体検出枠内のキーポイントに基づいて、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定し、前記人体検出枠内のキーポイントは、同一腕に属する手首キーポイント及び肘キーポイントを含むことと、
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定することと、
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することと、を含む。
【0007】
いくつかの実施例では、画面内容に関連付け対象人体及び関連付け対象人手が含まれる検出対象画像において、前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定することは、前記人体検出枠の人体特徴及び前記人手検出枠の人手特徴を決定することと、前記人体特徴及び前記人手特徴に基づいて、前記人体検出枠と前記人手検出枠との第１関連確率を決定することと、を含む。このように、検出ネットワークを用いて関連付け対象人手の位置情報を取得することにより、人手検出枠と人体検出枠との関連確率を正確に予測することができるだけでなく、関連確率の予測施設を簡易化することもできる。
【0008】
いくつかの実施例では、前記人体検出枠内のキーポイントに基づいて、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定することは、前記手首キーポイントが真値点である信頼度を決定することと、前記信頼度に基づいて、前記関連付け対象人体と前記手首キーポイントとの関連確率を決定し、前記第２関連確率を取得することと、を含む。このように、人体検出枠を用いて人体のキーポイントを予測することにより、予測された手首キーポイントの信頼度を最適化することができ、即ち第２関連確率を最適化する。
【0009】
いくつかの実施例では、前記信頼度に基づいて、前記関連付け対象人体と前記手首キーポイントとの関連確率を決定し、前記第２関連確率を取得することは、前記信頼度を前記第２関連確率として決定することを含む。このように、手首キーポイントが真値点である信頼度を、関連付け対象人体と手首キーポイントとの関連確率とすることにより、関連付け対象人体と手首キーポイントとの関連をより正確に示すことができる。
【0010】
いくつかの実施例では、前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定することは、前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記手首キーポイントと前記人手検出枠との位置関係を決定することと、前記位置関係及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定し、前記手首キーポイントに対応する信頼度は前記手首キーポイントが真値点である信頼度を含むことと、を含む。このように、位置関係の合理性を分析することにより、手首キーポイントの信頼度と組み合わせて、手首キーポイントと人手検出枠との関連確率をより正確に予測することができる。
【0011】
いくつかの実施例では、前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記手首キーポイントと前記人手検出枠との位置関係を決定することは、同一腕に属する前記手首キーポイントと前記肘キーポイントを接続する第１接続線を決定することと、前記手首キーポイントと前記人手検出枠内の所定点を接続する第２接続線を決定することと、前記手首キーポイントを頂点として、前記腕の前腕方向に沿って、前記第１接続線と前記第２接続線とがなす夾角を決定し、前記位置関係を取得することと、を含む。このように、人体検出枠の精度への依存性を低減することができる。
【0012】
いくつかの実施例では、前記位置関係及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定することは、前記夾角が所定の角度閾値より小さい場合、前記手首キーポイントと前記人手検出枠内の所定点との距離を決定することと、前記夾角、前記距離及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定することと、を含む。このように、夾角及び距離の合理性、並びに手首キーポイントに対応する信頼度と組み合わせて、取得された第３関連確率の正確度を向上させることができる。
【0013】
いくつかの実施例では、前記夾角、前記距離及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定することは、前記距離と所定の長さ閾値との第１差分に基づいて、前記距離の第１信頼度を決定することと、前記夾角と前記所定夾角閾値との第２差分に基づいて、前記夾角の第２信頼度を決定することと、前記第１信頼度、前記第２信頼度及び前記手首キーポイントに対応する信頼度を融合して、前記第３関連確率を取得することと、を含む。このように、肘キーポイント、手首キーポイント及び人手検出枠の位置を利用して手首キーポイントと人手検出枠との関連確率を正確に予測することができる。
【0014】
いくつかの実施例では、前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することは、前記第２関連確率及び前記第３関連確率に基づいて、前記第１関連確率を修正して、修正済み第１確率を取得することと、前記修正済み第１確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することと、を含む。このように、人体検出枠の精度への依存を低減することができるだけでなく、最終的に決定された関連付け対象人体と関連付け対象人手との関連度を最適化することもできる。
【0015】
いくつかの実施例では、前記検出対象画像の画面内容に複数の関連付け対象人体及び複数の関連付け対象人手が含まれる場合、前記修正済み第１確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することは、各関連付け対象人体と各関連付け対象人手との修正済み第１確率を決定し、修正済み第１確率セットを取得することと、前記修正済み第１確率セットにおいて、確率が所定確率閾値より大きいターゲット修正済み第１確率を選別することと、前記ターゲット修正済み確率に基づいて、前記ターゲット修正済み確率に対応する関連付け対象人体にマッチングする関連付け対象人手を決定することと、を含む。このように、一定の確率閾値を用いて複数の修正済み第１確率のうちの確率値がより小さい修正済み第１確率をフィルタリングすることにより、関連付け対象人手と関連付け対象人体とをマッチングする計算量を減少することができる。
【0016】
いくつかの実施例では、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定することは、前記第１関連確率が所定確率閾値より大きい場合、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの前記第２関連確率を決定することを含み、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定することは、前記第２関連確率が前記所定確率閾値より大きい場合、前記第３関連確率を決定することを含み、前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することは、前記第３関連確率が前記所定確率閾値より大きい場合、前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することを含む。このように、漸進的なステップバイステップの方式で関連付け対象人体と手首キーポイントとの関連確率及び手首キーポイントと人手検出枠との関連確率を決定することにより、確率がより小さいケースをフィルタリングすることができ、更に関連付け対象人体と関連付け対象人手とをマッチングする正確度を向上させる。
【0017】
いくつかの実施例では、前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定する前に、前記方法は更に、前記第１関連確率、前記第２関連確率及び前記第３関連確率を融合して、融合確率を取得することと、前記融合確率が第３所定確率閾値より小さい場合、前記第２関連確率に対応する手首キーポイントの位置を更新して、更新された手首キーポイントを取得することと、を含む。このように、最終的に更新された第２関連確率の正確度を向上させることができる。
【0018】
いくつかの実施例では、前記関連付け対象人体の人体検出枠、前記関連付け対象人手の人手検出枠及び前記関連付け対象人体のキーポイントを決定するように、前記検出対象画像に対して人体検出、人手検出及び人体キーポイント検出を行う。
【0019】
本願の実施例は人体と人手との関連付け装置を提供し、前記装置は、
画面内容に関連付け対象人体及び関連付け対象人手が含まれる検出対象画像において、前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定するように構成される第１決定モジュールと、
前記人体検出枠内のキーポイントに基づいて、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定するように構成され、前記キーポイントは、同一腕に属する手首キーポイント及び肘キーポイントを含む第２決定モジュールと、
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定するように構成される第３決定モジュールと、
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定するように構成される第４決定モジュールと、を備える。
画面内容に関連付け対象人体及び関連付け対象人手が含まれる検出対象画像において、前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定するように構成される第１決定モジュールと、
前記人体検出枠内のキーポイントに基づいて、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定するように構成され、前記キーポイントは、同一腕に属する手首キーポイント及び肘キーポイントを含む第２決定モジュールと、
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定するように構成される第３決定モジュールと、
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定するように構成される第４決定モジュールと、を備える。
【0020】
いくつかの実施例では、前記第１決定モジュールは、
前記人体検出枠の人体特徴及び前記人手検出枠の人手特徴を決定するように構成される第１決定サブモジュールと、
前記人体特徴及び前記人手特徴に基づいて、前記人体検出枠と前記人手検出枠との第１関連確率を決定するように構成される第２決定サブモジュールと、を含む。
前記人体検出枠の人体特徴及び前記人手検出枠の人手特徴を決定するように構成される第１決定サブモジュールと、
前記人体特徴及び前記人手特徴に基づいて、前記人体検出枠と前記人手検出枠との第１関連確率を決定するように構成される第２決定サブモジュールと、を含む。
【0021】
いくつかの実施例では、前記第２決定モジュールは、
前記手首キーポイントが真値点である信頼度を決定するように構成される第３決定サブモジュールと、
前記信頼度に基づいて、前記関連付け対象人体と前記手首キーポイントとの関連確率を決定し、前記第２関連確率を取得するように構成される第４決定サブモジュールと、を含む。
前記手首キーポイントが真値点である信頼度を決定するように構成される第３決定サブモジュールと、
前記信頼度に基づいて、前記関連付け対象人体と前記手首キーポイントとの関連確率を決定し、前記第２関連確率を取得するように構成される第４決定サブモジュールと、を含む。
【0022】
いくつかの実施例では、前記第２決定モジュールは更に、前記信頼度を前記第２関連確率として決定することに用いられる。
【0023】
いくつかの実施例では、前記第３決定モジュールは、
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記手首キーポイントと前記人手検出枠との位置関係を決定するように構成される第５決定サブモジュールと、
前記位置関係及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定するように構成され、前記手首キーポイントに対応する信頼度は前記手首キーポイントが真値点である信頼度を含む第６決定サブモジュールと、を含む。
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記手首キーポイントと前記人手検出枠との位置関係を決定するように構成される第５決定サブモジュールと、
前記位置関係及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定するように構成され、前記手首キーポイントに対応する信頼度は前記手首キーポイントが真値点である信頼度を含む第６決定サブモジュールと、を含む。
【0024】
いくつかの実施例では、前記第５決定サブモジュールは、
同一腕に属する前記手首キーポイントと前記肘キーポイントを接続する第１接続線を決定するように構成される第１接続ユニットと、
前記手首キーポイントと前記人手検出枠内の所定点を接続する第２接続線を決定するように構成される第２接続ユニットと、
前記手首キーポイントを頂点として、前記腕の前腕方向に沿って、前記第１接続線と前記第２接続線とがなす夾角を決定し、前記位置関係を取得するように構成される第１決定ユニットと、を備える。
同一腕に属する前記手首キーポイントと前記肘キーポイントを接続する第１接続線を決定するように構成される第１接続ユニットと、
前記手首キーポイントと前記人手検出枠内の所定点を接続する第２接続線を決定するように構成される第２接続ユニットと、
前記手首キーポイントを頂点として、前記腕の前腕方向に沿って、前記第１接続線と前記第２接続線とがなす夾角を決定し、前記位置関係を取得するように構成される第１決定ユニットと、を備える。
【0025】
いくつかの実施例では、前記第６決定サブモジュールは、
前記夾角が所定の角度閾値より小さい場合、前記手首キーポイントと前記人手検出枠内の所定点との距離を決定するように構成される第２決定ユニットと、
前記夾角、前記距離及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定するように構成される第３決定ユニットと、を備える。
前記夾角が所定の角度閾値より小さい場合、前記手首キーポイントと前記人手検出枠内の所定点との距離を決定するように構成される第２決定ユニットと、
前記夾角、前記距離及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定するように構成される第３決定ユニットと、を備える。
【0026】
いくつかの実施例では、前記第３決定ユニットは、
前記距離と所定の長さ閾値との第１差分に基づいて、前記距離の第１信頼度を決定するように構成される第１差分サブユニットと、
前記夾角と前記所定夾角閾値との第２差分に基づいて、前記夾角の第２信頼度を決定するように構成される第２差分サブユニットと、
前記第１信頼度、前記第２信頼度及び前記手首キーポイントに対応する信頼度を融合して、前記第３関連確率を取得するように構成される第１融合サブユニットと、を含む。
前記距離と所定の長さ閾値との第１差分に基づいて、前記距離の第１信頼度を決定するように構成される第１差分サブユニットと、
前記夾角と前記所定夾角閾値との第２差分に基づいて、前記夾角の第２信頼度を決定するように構成される第２差分サブユニットと、
前記第１信頼度、前記第２信頼度及び前記手首キーポイントに対応する信頼度を融合して、前記第３関連確率を取得するように構成される第１融合サブユニットと、を含む。
【0027】
いくつかの実施例では、前記第４決定モジュールは、
前記第２関連確率及び前記第３関連確率に基づいて、前記第１関連確率を修正して、修正済み第１確率を取得するように構成される第１修正サブモジュールと、
前記修正済み第１確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定するように構成される第７決定サブモジュールと、を含む。
前記第２関連確率及び前記第３関連確率に基づいて、前記第１関連確率を修正して、修正済み第１確率を取得するように構成される第１修正サブモジュールと、
前記修正済み第１確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定するように構成される第７決定サブモジュールと、を含む。
【0028】
いくつかの実施例では、前記検出対象画像の画面内容に複数の関連付け対象人体及び複数の関連付け対象人手が含まれる場合、前記第７決定サブモジュールは、
各関連付け対象人体と各関連付け対象人手との修正済み第１確率を決定し、修正済み第１確率セットを取得するように構成される第４決定ユニットと、
前記修正済み第１確率セットにおいて、確率が所定確率閾値より大きいターゲット修正済み第１確率を選別するように構成される第１選別ユニットと、
前記ターゲット修正済み確率に基づいて、前記ターゲット修正済み確率に対応する関連付け対象人体にマッチングする関連付け対象人手を決定するように構成される第５決定ユニットと、を備える。
各関連付け対象人体と各関連付け対象人手との修正済み第１確率を決定し、修正済み第１確率セットを取得するように構成される第４決定ユニットと、
前記修正済み第１確率セットにおいて、確率が所定確率閾値より大きいターゲット修正済み第１確率を選別するように構成される第１選別ユニットと、
前記ターゲット修正済み確率に基づいて、前記ターゲット修正済み確率に対応する関連付け対象人体にマッチングする関連付け対象人手を決定するように構成される第５決定ユニットと、を備える。
【0029】
いくつかの実施例では、前記第２決定モジュールは更に、前記第１関連確率が所定確率閾値より大きい場合、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの前記第２関連確率を決定することに用いられ、
前記第３決定モジュールは更に、前記第２関連確率が前記所定確率閾値より大きい場合、前記第３関連確率を決定することに用いられ、
前記第４決定モジュールは更に、前記第３関連確率が前記所定確率閾値より大きい場合、前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することに用いられる。
前記第３決定モジュールは更に、前記第２関連確率が前記所定確率閾値より大きい場合、前記第３関連確率を決定することに用いられ、
前記第４決定モジュールは更に、前記第３関連確率が前記所定確率閾値より大きい場合、前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することに用いられる。
【0030】
いくつかの実施例では、前記装置は更に、
前記第１関連確率、前記第２関連確率及び前記第３関連確率を融合して、融合確率を取得するように構成される第１融合モジュールと、
前記融合確率が第３所定確率閾値より小さい場合、前記第２関連確率に対応する手首キーポイントの位置を更新して、更新された手首キーポイントを取得するように構成される第１更新モジュールと、を備える。
前記第１関連確率、前記第２関連確率及び前記第３関連確率を融合して、融合確率を取得するように構成される第１融合モジュールと、
前記融合確率が第３所定確率閾値より小さい場合、前記第２関連確率に対応する手首キーポイントの位置を更新して、更新された手首キーポイントを取得するように構成される第１更新モジュールと、を備える。
【0031】
いくつかの実施例では、前記装置は更に、
前記関連付け対象人体の人体検出枠、前記関連付け対象人手の人手検出枠及び前記関連付け対象人体のキーポイントを決定するように、前記検出対象画像に対して人体検出、人手検出及び人体キーポイント検出を行うように構成される第１検出モジュールを備える。
前記関連付け対象人体の人体検出枠、前記関連付け対象人手の人手検出枠及び前記関連付け対象人体のキーポイントを決定するように、前記検出対象画像に対して人体検出、人手検出及び人体キーポイント検出を行うように構成される第１検出モジュールを備える。
【0032】
それに対応して、本願の実施例はコンピュータ記憶媒体を提供し、前記コンピュータ記憶媒体にコンピュータ実行可能命令が記憶され、該コンピュータ実行可能命令が実行された後、上記人体と人手との関連付け方法を実現することができる。
【0033】
本願の実施例はコンピュータ装置を提供し、前記コンピュータ装置はメモリ及びプロセッサを備え、前記メモリにコンピュータ実行可能命令が記憶され、前記プロセッサが前記メモリにおけるコンピュータ実行可能命令を実行するとき、上記人体と人手との関連付け方法を実現することができる。
【0034】
本願の実施例はコンピュータプログラムを提供し、前記コンピュータプログラムはコンピュータ可読コードを含む。該コンピュータ可読コードがコンピュータにより実行され、該コンピュータに上記人体と人手との関連付け方法を実現させる。
【0035】
本願の実施例は人体と人手との関連付け方法、装置、設備及び記憶媒体を提供し、取得された検出対象画像に対して、まず、検出枠を用いて画像における関連付け対象人体及び関連付け対象人手を検出し、人手検出枠と人体検出枠との第１関連確率を予測し、このように、検出枠を用いて人手検出枠と人体検出枠との第１関連確率を予測することにより、関連付け対象人手位置を取得する施設を簡易化することができ、次に、人体検出枠を用いて該人体の手首キーポイントを予測することにより、手首キーポイントと人体検出枠との第２関連確率を決定し、このように、手首キーポイントと人手との位置の相違による精度への影響を補うことができる。次に、同一腕上の肘キーポイント及び手首キーポイントによって手首キーポイントと人手検出枠との第３関連確率を予測し、最後に、３つの関連確率をまとめて、該関連付け対象人手が関連付け対象人体に属するかどうかを決定し、このように、手首キーポイントで人手キーポイントを代替することにより、人体検出枠の精度への依存を低減することができ、しかも最終的な関連結果の正確度を向上させることもできる。
【図面の簡単な説明】
【0036】
【発明を実施するための形態】
【0037】
本願の実施例の目的、技術案及び利点をより明確にするために、以下に本願の実施例の図面を参照しながら本発明の具体的な技術案を更に詳しく説明する。下記実施例は本願を説明するためのものであって、本願の範囲を制限するためのものではない。
【0038】
下記説明に言及した「いくつかの実施例」で、すべての可能な実施例のサブセットを記載しているが、明らかに、「いくつかの実施例」はすべての可能な実施例と同じサブセット又は異なるサブセットであってもよく、且つ、衝突しない限り、互いに組み合わせられてもよい。
【0039】
下記説明に言及した用語「第１＼第２＼第３」は類似の対象を区別するものに過ぎず、オブジェクトに対する特定の順序を表しておらず、明らかに、「第１＼第２＼第３」は、場合によって、特定の順序又は前後順位を交換することができ、それによってここで記載される本願の実施例をここで図示又は記載される以外の順序で実施してもよい。
【0040】
特に定義しない限り、本明細書に使用されるすべての技術及び科学用語は、当業者が通常に理解する意味と同じである。本明細書に使用される用語は本願の実施例の目的を説明するためのものであって、本願を制限するように意図されるものではない。
【0041】
本願の実施例を更に詳しく説明する前に、本願の実施例に言及した名詞及び用語について説明し、本願の実施例に言及した名詞及び用語は下記解釈に適用される。
【0042】
１）コンピュータビジョン（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）はどのように機械に「見させる」かについて研究する科学であり、ビデオカメラ及びコンピュータで人間の目を代替して目標を識別、追跡及び測定して、更に画像処理を行うことを意味する。
【0043】
２）貪欲法とは、問題の解を求めるとき、常に現在にとっての最善の選択をすることを意味する。即ち、全体にとっての最適のことを考慮せず、ある意味で局所の最適解を求めているに過ぎない。
【0044】
以下、本願の実施例に係る人体と人手との関連付け装置の例示的な適用について説明し、本願の実施例に係る装置は、画像収集機能を有するノートパソコン、タブレットコンピュータ、デスクトップパソコン、カメラ、モバイル機器（例えば、パーソナルデジタルアシスタント、専用メッセージング装置、ポータブルゲーム装置）等の様々なタイプのユーザー端末として実施されてもよく、サーバとして実施されてもよい。以下、装置が端末又はサーバとして実施される際の例示的な適用について説明する。
【0045】
該方法はコンピュータ装置に適用されてもよく、該方法の実現する機能はコンピュータ装置のプロセッサがプログラムコードを呼び出すことにより実現されてもよく、当然ながら、プログラムコードはコンピュータ記憶媒体に保存されてもよく、これから分かるように、該コンピュータ装置は少なくともプロセッサ及び記憶媒体を備える。
【0046】
【0047】
ステップＳ１０１、画面内容に関連付け対象人体及び関連付け対象人手が含まれる検出対象画像において、関連付け対象人体の人体検出枠と関連付け対象人手の人手検出枠との第１関連確率を決定する。
【0048】
いくつかの実施例では、検出対象画像はカラー画像であってもよく、グレイスケール画像であってもよい。対応的に、関連付け対象人体及び関連付け対象人手は、検出対象画像の前景領域、中景領域及び背景領域に位置してもよい。検出対象画像における関連付け対象人体は、検出対象画像に全部又は一部の体情報を表示可能な人体を指し、対応的に、検出対象画像における関連付け対象人手は、検出対象画像に表示される左手情報、右手情報及び左右手情報等を指してもよい。
【0049】
いくつかの実施例では、関連付け対象人体が検出対象画像に表示される姿勢は、直立、歩行及び座り等であってもよく、対応的に、関連付け対象人手が検出対象画像に表示される姿勢は、開き又は握り閉めであってもよく、部分的な閉じ等であってもよい。
【0050】
いくつかの実施例では、検出対象画像の画面内容は関連付け対象人体及び関連付け対象人手を含むが、それらに限らず、検出対象画像は画面内容における関連付け対象人体及び関連付け対象人手が、例えば教室、公園、事務室又はゲーム場所等のいずれかのシーンにあるものであってもよく、それと同時に、検出対象画像における画面内容に含まれる関連付け対象人体の数及び関連付け対象人体は１つ又は２つ以上であってもよく、対応的に、検出対象画像の画面内容における関連付け対象人体と関連付け対象人手との相対位置関係は左右、前後、上下等であってもよい。
【0051】
いくつかの可能な実現方式では、前記検出対象画像に対して人体検出、人手検出及び人体キーポイント検出を行うことにより、前記関連付け対象人体の人体検出枠、前記関連付け対象人手の人手検出枠及び前記関連付け対象人体のキーポイントを決定する。まず、取得された検出対象画像の画面内容には関連付け対象人体及び関連付け対象人手が含まれる。該検出対象画像は任意のシーンにおいて収集された画像、例えば複数のプレイヤーとプレイヤーの手とを含むゲーム場所において収集された画像であってもよく、関連付け対象人体がプレイヤーの体であり、関連付け対象人手がプレイヤーの手である。検出対象画像における関連付け対象人体は少なくとも１つあり、関連付け対象人手は少なくとも２つある。次に、検出対象画像において、検出モデルを用いてすべての関連付け対象人体の人体検出枠及び関連付け対象人手の人手検出枠を予測し、最後に、人体検出枠及び人手検出枠において特徴抽出を行い、抽出された人手特徴及び人体特徴に基づいて、人体検出枠と人手検出枠との関連確率を決定し、第１関連確率を取得することができる。該第１関連確率は関連付け対象人手が関連付け対象人体に属する確率を示す。このように、関連付け対象人体と関連付け対象人手がいずれも複数ある場合、各ペアの固定の関連付け対象人手及び関連付け対象人体に対して、関連付け対象人手及び関連付け対象人体の検出枠をそれぞれ決定し、このペアの関連付け対象人手と関連付け対象人体との関連確率を取得することができる。
【0052】
ステップＳ１０２、前記人体検出枠内のキーポイントに基づいて、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定する。
【0053】
いくつかの実施例では、前記キーポイントは同一腕に属する手首キーポイント及び肘キーポイントを含む。該キーポイントは少なくとも各腕の手首キーポイント及び肘キーポイントを含み、更に頭、首、肩、肘、手、尻、膝、足等の部位を含んでもよい。例えば、左腕、右腕の肘キーポイント、及び左腕と右腕の手首キーポイントがある。各腕に対して、該腕上の手首キーポイントの信頼度に基づいて、該手首キーポイントと関連付け対象人体との関連確率を決定し、第２関連確率を取得する。該第２関連確率は該手首キーポイントが該点に関連付けられる人体に属する確率を示す。
【0054】
いくつかの可能な実現方式では、手首キーポイントの位置情報を予測することにより、該手首キーポイントが真値点である信頼度を決定し、該信頼度を関連付け対象人体と手首キーポイントとの関連確率、即ち第２関連確率とする。
【0055】
上記ステップＳ１０２はステップＳ１０１と並行する過程であってもよく、即ち、いずれかの関連付け対象人体に対して、１ペアの関連付け対象人体と関連付け対象人手との関連確率を決定すると同時に、該関連付け対象人体の人体検出枠において、手首キーポイントを決定して、手首キーポイントと関連付け対象人体との第２関連確率を決定する。
【0056】
ステップＳ１０３、前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定する。
【0057】
いくつかの実施例では、第３関連確率は、該人手検出枠内の関連付け対象人手と該手首キーポイントが同一腕に属する確率を示す。同一腕に属する手首キーポイントの信頼度及び肘キーポイントの信頼度を分析することにより、同一腕に属する手首キーポイントの信頼度と肘キーポイントの信頼度が両方とも一定閾値より大きい場合、人手検出枠と該手首キーポイントとの関連確率を決定する。
【0058】
いくつかの可能な実現方式では、まず、所定の夾角範囲を設定し、該夾角は同一腕に属する手首キーポイント及び肘キーポイントの接続線と、手首キーポイントと人手検出枠の所定点との接続線とがなす夾角であり、次に、該所定の夾角範囲内の手首キーポイントから一定距離離れる範囲において人手検出枠を探し、最後に、該人手検出枠を見つけった場合、人手検出枠と手首キーポイントとの第３関連確率を決定する。
【0059】
ステップＳ１０４、前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定する。
【0060】
いくつかの実施例では、関連付け対象人体と関連付け対象人手との関連度は、関連付け対象人手と関連付け対象人体とが関連付けられる可能性の高低を示す。即ち、関連付け対象人体と関連付け対象人手との関連度がより大きい場合、関連付け対象人手が関連付け対象人体に属することを決定し、又は、関連付け対象人体と関連付け対象人手との関連度がより小さい場合、関連付け対象人手が関連付け対象人体に属しないことを決定する。
【0061】
いくつかの可能な実現方式では、第２関連確率及び第３関連確率を用いて第１関連確率を調整することにより、調整後の第１関連確率に基づいて、貪欲法又はＫＭアルゴリズム等を用いて、該関連付け対象人手が該関連付け対象人体に属するかどうかを決定する。
【0062】
本願の実施例では、取得された検出対象画像に対して、まず、検出枠を用いて画像における関連付け対象人体及び関連付け対象人手を検出し、人手検出枠と人体検出枠との第１関連確率を予測し、このように、検出枠を用いて人手検出枠と人体検出枠との第１関連確率を予測することにより、関連付け対象人手の位置を取得する施設を簡易化することができ、次に、人体検出枠を用いて該人体の手首キーポイントを予測することにより、手首キーポイントと人体検出枠との第２関連確率を決定し、このように、手首キーポイントと人手との位置の相違による精度への影響を補うことができる。次に、同一腕上の肘キーポイント及び手首キーポイントによって、手首キーポイントと人手検出枠との第３関連確率を予測し、最後に、３つの関連確率をまとめて考慮し、該関連付け対象人手が関連付け対象人体に属するかどうかを決定し、このように、手首キーポイントで人手キーポイントを代替することにより、人体検出枠の精度への依存性を低減し、且つ最終的な関連精度を向上させることができる。
【0063】
上記ステップＳ１０１～ステップＳ１０４の実行順序は平行してもよく、ステップバイステップのように実行してもよく、即ち、上記４つの実行ステップの各ステップにおいて、いずれもある閾値を超える関連確率を選択し、関連確率が一定閾値より大きいと決定してから次のステップを行ってもよく、それは、下記ステップにより実現されてもよい。
【0064】
第１ステップ、前記第１関連確率が所定確率閾値より大きい場合、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの前記第２関連確率を決定する。
【0065】
いくつかの実施例では、該第１ステップで関連付け対象人体と手首キーポイントとの第２関連確率を予測する過程を実現する。関連付け対象人体の人体検出枠と関連付け対象人手の人手検出枠との関連確率が所定確率閾値より大きいかどうかを判断し、例えば、所定確率閾値を０．８として設定し、第１関連確率が所定確率閾値より小さい場合、関連付け対象人体の人体検出枠と関連付け対象人手の人手検出枠との関連性が極めて低いと表し、それによって、該関連付け対象人手と関連付け対象人体が同じ人に属しないと裏付け、そのため、該関連付け対象人体に対して他の関連付け対象人手をマッチングし続ければよい。第１関連確率が所定確率閾値より大きい場合、関連付け対象人体の人体検出枠と関連付け対象人手の人手検出枠との関連性がより高いと表し、それによって、関連付け対象人手と関連付け対象人体が同じ人に属する可能性があると裏付け、関連付け対象人手と関連付け対象人体が同じ人に属するかどうかをより正確に分析するために、関連付け対象人体の人体検出枠において、手首キーポイントを決定して、関連付け対象人体と手首キーポイントとの第２関連確率を決定する。
【0066】
第２ステップ、前記第２関連確率が前記所定確率閾値より大きい場合、前記第３関連確率を決定する。
【0067】
いくつかの実施例では、該第２ステップで人手検出枠と手首キーポイントとの第３関連確率の予測を実現する。該第２関連確率は手首キーポイントに対応する信頼度で示されてもよく、該手首キーポイントの信頼度が大きい場合、手首キーポイントと人手検出枠との関連確率を予測し続け、このように、信頼度が低い手首キーポイントをフィルタリングすることができる。
【0068】
第３ステップ、前記第３関連確率で前記所定確率閾値より大きい場合、前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定する。
【0069】
いくつかの実施例では、第３ステップによって関連付け対象人体と関連付け対象人手との関連度の予測を実現する。手首キーポイントと人手検出枠との関連確率も大きい場合、３つの大きい関連確率を融合することにより、関連付け対象人体と関連付け対象人手との関連度を決定し、更に関連付け対象人体にマッチングする関連付け対象人手を決定することができる。このように、漸進的なステップバイステップの方式で関連付け対象人体と手首キーポイントとの関連確率及び手首キーポイントと人手検出枠との関連確率を決定することにより、確率がより小さいケースをフィルタリングすることができ、更に関連付け対象人体と関連付け対象人手とをマッチングする正確度を向上させる。
【0070】
いくつかの実施例では、検出ネットワークを用いて関連付け対象人体及び関連付け対象人手を検出し、関連付け対象人手の位置情報を決定することにより、人手検出枠と人体検出枠との関連確率を予測し、即ち、上記ステップＳ１０１は下記ステップにより実現されてもよい。
【0071】
ステップＳ１１１、前記人体検出枠の人体特徴及び前記人手検出枠の人手特徴を決定する。
【0072】
いくつかの実施例では、検出ネットワークを用いて人体検出枠における人体に対して特徴抽出を行って、人体特徴を取得し、該検出ネットワークは畳み込みニューラルネットワークであってもよい。該ネットワークを用いて人手検出枠における人手に対して特徴抽出を行って、人手特徴を取得する。
【0073】
ステップＳ１１２、前記人体特徴及び前記人手特徴に基づいて、前記人体検出枠と前記人手検出枠との第１関連確率を決定する。
【0074】
いくつかの実施例では、該検出ネットワークを用いて、該人手特徴に基づいて該関連付け対象人手の人体上での位置情報を分析し、該位置情報によって人体特徴と人手特徴との関連を予測することができ、それにより人体検出枠と人手検出枠との第１関連確率を決定する。このように、検出ネットワークを用いて関連付け対象人手の位置情報を取得することにより、人手検出枠と人体検出枠との関連確率を正確に予測することができるだけでなく、関連確率の予測施設を簡易化することもできる。
【0075】
いくつかの実施例では、人体検出枠を用いて人体のキーポイントを予測することにより、予測されたキーポイントの信頼度を最適化することができ、即ち、上記ステップＳ１０２は下記ステップにより実現されてもよい。
【0076】
ステップＳ１２１、前記手首キーポイントが真値点である信頼度を決定する。
【0077】
いくつかの実施例では、検出された人体検出枠に対して、人体キーポイント検出ネットワークを用いて該人体検出枠内の人体に対してキーポイント検出を行う。該人体キーポイント検出ネットワークで、キーポイント情報位置を予測するとき、各キーポイントの信頼度を取得する。いくつかの可能な実現方式では、キーポイントの位置が遮られた場合、低い信頼度を出力し、又は、キーポイントの位置がより明確である場合、高い信頼度を出力する。
【0078】
ステップＳ１２２、前記信頼度に基づいて、前記関連付け対象人体と前記手首キーポイントとの関連確率を決定し、前記第２関連確率を取得する。
【0079】
いくつかの実施例では、人体キーポイント検出ネットワークによって人体上の手首キーポイントの信頼度を予測し、該信頼度は、該手首キーポイントが関連付け対象人体上の真のキーポイントである可能性を示す。いくつかの可能な実現方式では、該信頼度を前記第２関連確率として決定する。このように、手首キーポイントの信頼度を関連付け対象人体と前記手首キーポイントとの関連確率、即ち、前記第２関連確率とする。
【0080】
いくつかの可能な実現方式では、１ペアの関連付け対象人手及び関連付け対象人体に対して、検出対象画像において、人体キーポイント検出ネットワークを用いて各手首キーポイントの信頼度を予測し、手首キーポイントの信頼度が一定閾値より低い場合、該手首キーポイントを削除又は無視し、手首キーポイントの信頼度が一定閾値より大きい場合、該手首キーポイントの信頼度を関連付け対象人体と前記手首キーポイントとの関連確率とする。このように、キーポイント検出ネットワークを用いて手首キーポイントの信頼度を予測することにより、最終的に取得された結果を最適化することができる。
【0081】
いくつかの実施例では、上記ステップＳ１０３は図２に示されるステップにより実現されてもよく、図２は本願の実施例に係る人体と人手との関連付け方法を実現する他の模式的なフローチャートであり、以下に図１及び図２を参照しながら説明する。
【0082】
ステップＳ２０１、前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記手首キーポイントと前記人手検出枠との位置関係を決定する。
【0083】
いくつかの実施例では、同一腕に属する手首キーポイントの位置情報及び肘キーポイントの位置情報に基づいて、手首キーポイントと人手検出枠との位置関係を分析する。例えば、手首キーポイントと人手検出枠内の中心点との相対位置関係を決定する。
【0084】
いくつかの可能な実現方式では、手首キーポイントを導入することにより、同一腕の肘キーポイントと手首キーポイントの位置と組み合わせて、手首キーポイントと人手検出枠との関連確率を予測し、即ち、ステップＳ２０１は下記ステップにより実現されてもよい。
【0085】
ステップＳ２１１、同一腕に属する前記肘キーポイントと前記手首キーポイントを接続する第１接続線を決定する。
【0086】
例えば、人体検出枠において、同一腕上の肘キーポイントと手首キーポイントを接続して、第１接続線を取得する。
【0087】
ステップＳ２１２、前記手首キーポイントと前記人手検出枠内の所定点を接続する第２接続線を決定する。
【0088】
いくつかの実施例では、該所定点は人手検出枠の位置を示すことができる点であり、人手検出枠内の中心点であってもよく、又は、人手検出枠内の指方向に沿う中心線上のいずれか１つの点であってもよい。所定点が中心点である場合を例とし、該腕上の手首キーポイント及び人手検出枠内の中心点を接続して、第２接続線を取得する。
【0089】
ステップＳ２１３、前記手首キーポイントを頂点として、前記腕の前腕方向に沿って、前記第１接続線と前記第２接続線とがなす夾角を決定し、前記位置関係を取得する。
【0090】
いくつかの実施例では、第１接続線及び第２接続線は手首キーポイントを頂点とする線であり、該腕の前腕方向に沿って、この２つの線がなす夾角を決定する。該夾角を手首キーポイントと人手検出枠との位置関係とする。このように、手首キーポイントを導入することにより、手首キーポイントと肘キーポイントとを接続し、該手首キーポイントと人手検出枠内の中心点とを接続し、２つの接続線がなす夾角で手首キーポイントと人手検出枠との位置関係を示し、人体検出枠の精度への依存性を低減することができる。
【0091】
ステップＳ２０２、前記位置関係及び前記手首キーポイントに対応する信頼度に基づいて、第３関連確率を決定する。
【0092】
いくつかの実施例では、前記手首キーポイントに対応する信頼度は前記手首キーポイントが真値点である信頼度を含む。手首キーポイントと人手検出枠との位置関係、並びに通常の人体の手首及び人手の構造と比べる合理性を分析して、該合理性に基づいて該位置関係に重みを割り当て、手首キーポイントに対応する信頼度に基づいて該手首キーポイントに重みを割り当て、取得された重みの位置関係に対する信頼度と手首キーポイントに対応する信頼度とを重み付け融合して、手首キーポイントと人手検出枠が同一腕に属することを示す確率、即ち、第３関連確率を取得する。このように、位置関係の合理性を分析することにより、手首キーポイントの信頼度と組み合わせて、手首キーポイントと人手検出枠との関連確率をより正確に予測することができる。
【0093】
いくつかの可能な実現方式では、まず、手首キーポイントと人手検出枠との位置関係が合理であるかどうかを判断し、次に、手首キーポイントから人手検出枠までの距離を判断し、それにより第３関連確率を予測する正確度を向上させることができ、即ち、上記ステップＳ２０２は下記ステップにより実現されてもよい。
【0094】
ステップＳ２２１、前記夾角が所定の角度閾値より小さい場合、前記手首キーポイントと前記人手検出枠内の所定点との距離を決定する。
【0095】
いくつかの実施例では、該所定の角度閾値は人体の手首が曲げられる最大角度に基づいて設定したものであってもよく、例えば、所定の角度閾値を０°以上かつ９０°以下に設定する。第１接続線と第２接続線とがなす夾角は所定の角度閾値より小さいかどうかを分析し、該夾角が所定の角度閾値より大きい場合には、該人手検出枠が手首キーポイントと同一手に属しないと表す。該夾角が所定の角度閾値より小さい場合には、人手検出枠が手首キーポイントと同一手に属する可能性があると表すため、手首キーポイントから人手検出枠までの距離を更に判断する。いくつかの可能な実現方式では、該距離は手首キーポイントと人手検出枠内の所定点との距離、例えば手首キーポイントと人手検出枠内の中心点との距離であってもよい。
【0096】
いくつかの可能な実現方式では、一定の夾角範囲において人手検出枠が見つかった場合、更に手首キーポイントから人手検出枠までの距離を判断する。その過程は以下のとおりである。
【0097】
第１ステップ、前記夾角と前記所定夾角閾値とを減算して、第１差分を取得する。
【0098】
いくつかの実施例では、第１接続線と第２接続線とがなす夾角と、所定夾角閾値との差分を分析し、例えば、所定夾角閾値が９０°である場合、該夾角から９０°を引いて、第１差分を取得する。
【0099】
第２ステップ、前記第１差分が０より小さい場合、前記手首キーポイントから前記人手検出枠までの距離を決定する。
【0100】
いくつかの実施例では、第１差分が０より小さい場合には、第１接続線における手首キーポイントと第２接続線における人手検出枠内の所定点との位置関係が合理であると表す。手首キーポイントと人手検出枠内の所定点との位置関係が合理であると判断した場合、更に手首キーポイントから人手検出枠までの距離を決定し、それにより第３関連確率を予測する正確度を向上させることができる。
【0101】
ステップＳ２２２、前記夾角、前記距離及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定する。
【0102】
いくつかの実施例では、夾角及び距離の合理性を分析することにより、該夾角及び距離の重みを決定し、手首キーポイントの信頼度に基づいて該信頼度の重みを決定して、取得された重みを用いて、夾角の信頼度、距離の信頼度及び手首キーポイントに対応する信頼度をそれぞれ重み付け合計し、手首キーポイントと人手検出枠内の人手が同一手に属する確率、即ち、第３関連確率を決定する。このように、夾角及び距離の合理性、並びに手首キーポイントに対応する信頼度と組み合わせて、取得された第３関連確率の正確度を向上させることができる。
【0103】
いくつかの可能な実現方式では、距離と所定の長さ閾値との差分及び夾角と所定の角度閾値との差分を分析することにより、距離及び夾角の合理性を決定し、それにより第３関連確率を取得し、即ち、上記ステップＳ２２２は下記ステップにより実現されてもよい。
【0104】
第１ステップ、前記距離と所定の長さ閾値との第１差分に基づいて、前記距離の第１信頼度を決定する。
【0105】
いくつかの実施例では、所定の長さ閾値は関連付け対象人体の身長及び腕の長さに基づいて設定したものであってもよく、例えば、身長又は腕の長さが長いほど、所定の長さ閾値を大きく設定し、又は、所定長さが身長に正比例するように設定する。該所定の長さ閾値は関連付け対象人体の手首キーポイントから人手の中心点までの最も大きい、体構造に適合する距離、即ち通常構造の人体にとっての手首キーポイントから人手の中心点までの最大距離を示す。該距離と所定の長さ閾値との差分を分析し、該差分は該距離と手首キーポイントから人手の中心点までの最も大きい合理的な距離との差を示す。該距離が所定の長さ閾値より大きい場合には、該人手検出枠内の関連付け対象人手と手首キーポイントとの関連度が極めて低いと見なし、該手首キーポイントを放棄してもよい。該距離が所定の長さ閾値より遥かに小さく、該身長の関連付け対象人体の人体構造に適合しない場合には、該人手検出枠内の関連付け対象人手と手首キーポイントとの関連度が極めて低いと見なし、距離の第１信頼度を低く設定する。該距離が所定の長さ閾値より少々小さい場合には、該人手検出枠内の関連付け対象人手と手首キーポイントとの関連度がより高いと見なし、距離の第１信頼度を高く設定する。
【0106】
第２ステップ、前記夾角と前記所定夾角閾値との第２差分に基づいて、前記夾角の第２信頼度を決定する。
【0107】
いくつかの実施例では、夾角と所定夾角閾値との差分を分析し、該差分は該夾角と手首が曲げられる最大角度との差を示す。該夾角が所定夾角閾値より大きい場合には、該人手検出枠内の関連付け対象人手と手首キーポイントが同一腕に属しないと見なし、該手首キーポイントを放棄してもよい。該夾角が所定夾角閾値より小さい場合には、該人手検出枠内の関連付け対象人手と手首キーポイントとが関連付けられる可能性があると見なし、より大きい第２信頼度を設定する。
【0108】
第３ステップ、前記第１信頼度、前記第２信頼度及び前記手首キーポイントに対応する信頼度を融合して、前記第３関連確率を取得する。
【0109】
いくつかの実施例では、この３つの信頼度の高低に基づいて、それぞれ第１信頼度、第２信頼度及び手首キーポイントに対応する信頼度に３つの重みを割り当て、該重みとこの３つの信頼度とをそれぞれ乗算してから足し算し、第３関連確率を取得する。
【0110】
本願の実施例では、検出された各ペアの同一腕上の肘キーポイント及び手首キーポイントに対して、その前腕の延伸方向の近傍、即ち、所定夾角閾値範囲内の手首キーポイントから一定距離離れる範囲において該人手検出枠を探し、それにより肘キーポイント、手首キーポイント及び人手検出枠の位置を利用して手首キーポイントと人手検出枠との関連確率を正確に予測することができる。
【0111】
いくつかの実施例では、上記ステップＳ１０４は下記ステップにより実現されてもよい。
【0112】
ステップＳ１４１、前記第２関連確率及び前記第３関連確率に基づいて、前記第１関連確率を修正して、修正済み第１確率を取得する。
【0113】
いくつかの実施例では、関連付け対象人体と手首キーポイントとの関連確率及び手首キーポイントと人手検出枠との関連確率を用いて、関連付け対象人体の人体検出枠及び人手検出枠の関連確率を修正する。関連付け対象人体と手首キーポイントとの関連確率及び手首キーポイントと人手検出枠との関連確率がいずれも低い場合、人体検出枠と人手検出枠との関連確率を下げる。例えば、第１関連確率を１つの定数に下げ、又は、第１関連確率を１つの定数で割り、又は、第１関連確率から１つの定数を引く等のようにする。逆に、関連付け対象人体と手首キーポイントとの関連確率及び手首キーポイントと人手検出枠との関連確率がいずれもより高い場合、人体検出枠と人手検出枠との関連確率を適当に上げる。
【0114】
ステップＳ１４２、前記修正済み第１確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定する。
【0115】
いくつかの実施例では、修正済み第１確率を取得し、貪欲法等で局所最適値を決定し、それにより関連付け対象人体と前記関連付け対象人手との関連度を決定し、更に関連付け対象人体と関連付け対象人手が同じ人に属するかどうかを決定する。このように、関連付け対象人体、関連付け対象人手及び手首キーポイントという三つ項目における２つずつの関連確率を決定し、関連付け対象人体と関連付け対象人手との関連確率を修正し、手首キーポイントを導入することにより、人体検出枠の精度への依存を低減することができるだけでなく、最終的に決定された関連付け対象人体と関連付け対象人手との関連度を最適化することもできる。
【0116】
いくつかの可能な実現方式では、関連付け対象人体が複数の人体であり、関連付け対象人手が複数の人手である場合、取得された複数の修正済み第１確率を貪欲法等で処理して、最終的な関連結果を取得する。その過程は以下のとおりである。
【0117】
第１ステップ、各関連付け対象人体と各関連付け対象人手との修正済み第１確率を決定し、修正済み第１確率セットを取得する。
【0118】
いくつかの実施例では、ゲーム場所又は教室場所等のシーンにおいて、検出対象画像に複数の関連付け対象人体及び複数の関連付け対象人手が含まれ、各関連付け対象人体及び各関連付け対象人手に対して、いずれも上記ステップＳ１４１及びＳ１４２に示される過程を用いて処理し、各ペアの関連付け対象人体及び関連付け対象人手の修正済み第１確率を取得し、それにより修正済み第１確率、即ち、修正済み第１確率セットを取得することができる。
【0119】
第２ステップ、前記修正済み第１確率セットにおいて、確率が所定確率閾値より大きいターゲット修正済み第１確率を選別する。
【0120】
いくつかの実施例では、一定の所定確率閾値に基づいて修正済み第１確率セットにおける修正済み第１確率を選別し、確率値が大きい修正済み第１確率、即ち、ターゲット修正済み確率を選別する。
【0121】
第３ステップ、前記ターゲット修正済み確率に基づいて、前記ターゲット修正済み確率に対応する関連付け対象人体にマッチングする関連付け対象人手を決定する。
【0122】
いくつかの実施例では、ターゲット修正済み確率は少なくとも１つあり、貪欲法で取得されたターゲット修正済み確率を論理演算し、それにより関連付け対象人手と関連付け対象人体とに対してマッチングすることができ、即ち、検出対象画像における複数の関連付け対象人体及び複数の関連付け対象人手に対してマッチングして、それによって同じ人に属する関連付け対象人体及び関連付け対象人手をマッチングして得る。このように、一定の確率閾値を用いて複数の修正済み第１確率のうちの確率値がより小さい修正済み第１確率をフィルタリングすることにより、関連付け対象人手と関連付け対象人体とのマッチング計算量を減少することができる。
【0123】
いくつかの実施例では、関連付け対象人手、関連付け対象人体及び手首キーポイントのうちの２つずつの間の関連確率を加算することにより、該手首キーポイントを該関連付け対象人手及び関連付け対象人体に提供することができるかどうかを決定することができ、それは下記ステップにより実現してもよい。
【0124】
第１ステップ、前記第１関連確率、前記第２関連確率及び前記第３関連確率を融合して、融合確率を取得する。
【0125】
いくつかの実施例では、第１関連確率、前記第２関連確率及び前記第３関連確率を加算し、合計スコアを取得し、該合計スコアを融合確率とし、この第２関連確率及び第３関連確率に関わる手首キーポイントが第１関連確率に対応する１ペアの関連付け対象人手及び関連付け対象人体に適用するかどうかを判断することに用いられる。
【0126】
第２ステップ、前記融合確率が第３所定確率閾値より小さい場合、前記第２関連確率に対応する手首キーポイントの位置を更新して、更新された手首キーポイントを取得する。
【0127】
いくつかの実施例では、融合確率が第３所定確率閾値より小さい場合には、該手首キーポイントと関連付け対象人体との関連度、及び該手首キーポイントと関連付け対象人手の人手検出枠との関連度がいずれも低いと表し、該手首キーポイントと関連付け対象人手とが同一腕に属しないこと、又は、該手首キーポイントと関連付け対象人手が同じ人に属しないことを更に表す。これに基づいて、人体検出枠において、他の手首キーポイントを探し、更新された手首キーポイントを取得する。又は、第２関連確率の大きさに基づいて手首キーポイントの位置を調整して、更新された手首キーポイントを取得する。このように、この３つの関連確率を融合することにより、この１ペアの関連付け対象人体及び関連付け対象人手に適用可能な手首キーポイントを見つけることができ、それにより最終的に更新された第２関連確率の正確度を向上させることができる。
【0128】
以下、本願の実施例の１つの実際の応用シーンでの例示的な適用について説明し、ゲーム場所を例とし、ゲーム場所内のプレイヤーの人体及び人手を関連付ける場合を例として説明する。
【0129】
人体と人手を関連付けるアルゴリズムはゲーム場所等のシーンにおいて、より高い応用価値を有する。ゲーム場所等の複雑なシーンにおいて、視野範囲内の人体の数が多く、腕を組む場合を考慮すると、より複雑であるため、人体－人手関連付けアルゴリズム又はキーポイント検出アルゴリズムを用いて良好な予測結果を取得することが困難である。
【0130】
関連技術において、人体、人手の検出関連付けアルゴリズムを用いて各ペアの人体と人手との関連確率を予測し、又は、人体キーポイント検出技術を用いて各人体の手部のキーポイントを検出すると同時に、他のセンサーと組み合わせて人手の帰属を判断する。人体、人手検出関連付けアルゴリズムを用いて、手を伸び、腕を組む等の状況を解決することが困難である。人体キーポイント検出ネットワークを用いることは、人体検出枠の精度に依存するとともに、他のセンサーを導入する必要もあり、追加コストが増加してしまう。同時に、多くのオープンソースの人体キーポイント方法は手首キーポイントのみを検出し、人手キーポイントを検出しない。手首キーポイントは人手の姿勢から影響を受け、人手範囲内に位置するとは限らず、アルゴリズムを論理設計する難度を増加させる。
【0131】
手部キーポイントのみを使用して人手全体の位置及び大きさを取得することができないため、人体キーポイントネットワークを使用して人体と人手との関連情報を判断するために、追加のセンサーを導入して人手の位置を判断する必要があり、このように、追加コストが発生してしまう。しかも、関連技術において、人体キーポイント検出方法は手首キーポイントを検出するが、手首キーポイントと人手との距離の相違がアルゴリズムのロバスト性に影響し、いくつかの複雑シーンにおける関連問題を解決することが困難である。
【0132】
よって、本願の実施例は人体キーポイントの検出を用いて人手と人体を関連付けるアルゴリズムを最適化し、追加のセンサーを導入せず、手首キーポイントと人手との位置の相違による精度への影響を補うことができ、複雑なシーンにおいてより良い表現を有し、下記過程により実現されてもよい。
【0133】
第１ステップ、検出ネットワークを使用して画像におけるすべての人体検出枠及び人手検出枠を予測する。
【0134】
第２ステップ、人体検出枠及び人手検出枠における各ペアに対して、検出ネットワークの関連分岐を使用してこのペアの人体と人手との関連確率を予測する。
【0135】
第３ステップ、検出された人体検出枠に対して、人体キーポイントネットワークを使用してキーポイントを検出する。
【0136】
いくつかの実施例では、検出結果において注目する必要があるキーポイントは、左腕の肘キーポイント（ｅｌｂｏｗ＿ｌ）、右腕の肘キーポイント（ｅｌｂｏｗ＿ｒ）、左腕の手首キーポイント（ｗｒｉｓｔ＿ｌ）及び右腕の手首キーポイント（ｗｒｉｓｔ＿ｒ）がある。同時に、各人体の２つの手首キーポイントの信頼度を取得し、該信頼度を該人体と手首キーポイントとの関連確率とする。図３に示すように、人体３０１を例とし、該人体３０１のキーポイントは、左腕の肘キーポイント３０２、右腕の肘キーポイント３０３、左腕の手首キーポイント３０４及び右腕の手首キーポイント３０５を含み、手首キーポイント３０４及び３０５の信頼度を人体３０１と手首キーポイントとの関連確率とする。
【0137】
第４ステップ、第３ステップにおいて検出された各ペアの同一腕上の肘キーポイント及び手首キーポイントに対して、該腕上の人手検出枠を探し、肘キーポイント、手首キーポイント及び人手検出枠の位置を利用して手首－人手の関連確率を予測する。
【0138】
いくつかの実施例では、該腕の前腕の延伸方向の近傍（例えば、夾角が一定範囲内にある）の、手首から一定距離離れる範囲において、該腕の人手検出枠を探す。いくつかの可能な実現方式では、同一腕に対して、まず、肘キーポイントと手首キーポイントとの接続線と、手首キーポイントと人手検出枠の所定点との接続線とがなす夾角に対して、夾角範囲を設定し（例えば、設定夾角の範囲が９０°より小さい）、次に、人手検出枠の所定点と手首キーポイントとの距離を設定し、所定距離を設定し、該夾角範囲に基づいて、該前腕の延伸方向に沿って、手首からの所定距離内において、該腕上の人手検出枠を探す。該距離は前腕の長さ及び人体の身長に基づいて決定したものであってもよい。手首－人手の関連確率に対して、実際に探し出した人手検出枠の所定点と手首キーポイントとの接続線と、肘キーポイントと手首キーポイントとの接続線とがなす夾角と、設定された夾角範囲との関係を判断することにより、実際に形成された夾角の信頼度を決定し、実際に探し出した人手検出枠の所定点と手首キーポイントとの距離及び所定距離の信頼度を決定し、夾角の信頼度、距離の信頼度、手首キーポイント及び肘キーポイントの信頼度を組み合わせて、手首－人手の関連確率を予測することができる。
【0139】
他の可能な実現方式では、更に夾角の信頼度、距離の信頼度、手首キーポイント及び肘キーポイントの信頼度等を符号化した後、構造が簡単であるニューラルネットワークに入力して、手首と人手との関連確率を予測することができる。
【0140】
第５ステップ、上記第１ステップ～第４ステップにおいて取得された人体－手首－人手という三つの項目における２つずつの関連確率をまとめて、得られた関連確率を貪欲法等で処理し、最終的な関連結果を取得する。
【0141】
１つの具体例では、検出対象画像はゲーム場所において収集された画像であり、関連付け対象人体はプレイヤーの体であり、関連付け対象人手はプレイヤーの手である。上記第１ステップ～第４ステップによって、まず、各プレイヤーの体の人体検出枠とプレイヤーの手の人手検出枠との第１関連確率を決定し、次に、該プレイヤーの体の人体検出枠において、人体キーポイントを決定して、手首キーポイントの信頼度を手首キーポイントとプレイヤーの体との第２関連確率とし、必要となるキーポイントは、少なくとも左腕、右腕の肘キーポイント、及び左腕と右腕の手首キーポイントを含み、次に、検出された手首キーポイント及び肘キーポイントによって手首キーポイントとプレイヤーの手との第３関連確率を予測し、次に、第２関連確率及び第３関連確率を用いて第１関連確率を修正し、修正済み第１確率を取得し、最後に、修正済み第１確率を貪欲法に入力し、該プレイヤーの体とプレイヤーの手とのマッチングを実現する。このように、複雑なゲーム場所内のプレイヤーの手と体をマッチングすることにより、ゲーム過程におけるプレイヤーがゲーム用通貨を配り、又は支払う等の過程をより効果的に監視することができる。
【0142】
本願の実施例では、人手及び人体の検出関連付け方法を使用して人体枠及び人手枠を検出して、人手と人体との関連情報を予測する。人体枠を使用して手首キーポイントを予測し、その結果を人体－手首の関連情報とする。腕上のいくつかのキーポイントの位置及び人手の位置情報に基づいて手首－人手の関連情報を予測する。上記３つの関連情報をまとめることにより、最後の関連予測結果を取得する。このように、検出ネットワークを使用して人手の位置を取得することにより、人手と人体とを関連付ける施設を簡易化する。キーポイントネットワークを使用して関連結果を最適化することにより、最終的な関連精度を向上させる。手首キーポイントで人手キーポイントを代替することにより、多くのオープンソースのネットワークを使用してニーズを満足することができるとともに、人体検出枠の精度への依存性を低減することもできる。
【0143】
本願の実施例は人体と人手との関連付け装置を提供し、図４は本願の実施例に係る人体と人手との関連付け装置の構成模式図であり、図４に示すように、前記人体と人手との関連付け装置４００は、
画面内容に関連付け対象人体及び関連付け対象人手が含まれる検出対象画像において、前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定するように構成される第１決定モジュール４０１と、
前記人体検出枠内のキーポイントに基づいて、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定するように構成され、前記キーポイントは、同一腕に属する手首キーポイント及び肘キーポイントを含む第２決定モジュール４０２と、
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定するように構成される第３決定モジュール４０３と、
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定するように構成される第４決定モジュール４０４と、を備える。
画面内容に関連付け対象人体及び関連付け対象人手が含まれる検出対象画像において、前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定するように構成される第１決定モジュール４０１と、
前記人体検出枠内のキーポイントに基づいて、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定するように構成され、前記キーポイントは、同一腕に属する手首キーポイント及び肘キーポイントを含む第２決定モジュール４０２と、
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定するように構成される第３決定モジュール４０３と、
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定するように構成される第４決定モジュール４０４と、を備える。
【0144】
いくつかの実施例では、前記第１決定モジュール４０１は、
前記人体検出枠の人体特徴及び前記人手検出枠の人手特徴を決定するように構成される第１決定サブモジュールと、
前記人体特徴及び前記人手特徴に基づいて、前記人体検出枠と前記人手検出枠との第１関連確率を決定するように構成される第２決定サブモジュールと、を含む。
前記人体検出枠の人体特徴及び前記人手検出枠の人手特徴を決定するように構成される第１決定サブモジュールと、
前記人体特徴及び前記人手特徴に基づいて、前記人体検出枠と前記人手検出枠との第１関連確率を決定するように構成される第２決定サブモジュールと、を含む。
【0145】
いくつかの実施例では、前記第２決定モジュール４０２は、
前記手首キーポイントが真値点である信頼度を決定するように構成される第３決定サブモジュールと、
前記信頼度に基づいて、前記関連付け対象人体と前記手首キーポイントとの関連確率を決定し、前記第２関連確率を取得するように構成される第４決定サブモジュールと、を含む。
前記手首キーポイントが真値点である信頼度を決定するように構成される第３決定サブモジュールと、
前記信頼度に基づいて、前記関連付け対象人体と前記手首キーポイントとの関連確率を決定し、前記第２関連確率を取得するように構成される第４決定サブモジュールと、を含む。
【0146】
いくつかの実施例では、前記第２決定モジュール４０２は更に、前記信頼度を前記第２関連確率として決定することに用いられる。
【0147】
いくつかの実施例では、前記第３決定モジュール４０３は、
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記手首キーポイントと前記人手検出枠との位置関係を決定するように構成される第５決定サブモジュールと、
前記位置関係及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定するように構成される第６決定サブモジュールと、を含む。
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記手首キーポイントと前記人手検出枠との位置関係を決定するように構成される第５決定サブモジュールと、
前記位置関係及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定するように構成される第６決定サブモジュールと、を含む。
【0148】
いくつかの実施例では、前記第５決定サブモジュールは、
同一腕に属する前記手首キーポイントと前記肘キーポイントを接続する第１接続線を決定するように構成される第１接続ユニットと、
前記手首キーポイントと前記人手検出枠内の所定点を接続する第２接続線を決定するように構成される第２接続ユニットと、
前記手首キーポイントを頂点として、前記腕の前腕方向に沿って、前記第１接続線と前記第２接続線とがなす夾角を決定し、前記位置関係を取得するように構成される第１決定ユニットと、を備える。
同一腕に属する前記手首キーポイントと前記肘キーポイントを接続する第１接続線を決定するように構成される第１接続ユニットと、
前記手首キーポイントと前記人手検出枠内の所定点を接続する第２接続線を決定するように構成される第２接続ユニットと、
前記手首キーポイントを頂点として、前記腕の前腕方向に沿って、前記第１接続線と前記第２接続線とがなす夾角を決定し、前記位置関係を取得するように構成される第１決定ユニットと、を備える。
【0149】
いくつかの実施例では、前記第６決定サブモジュールは、
前記夾角が所定の角度閾値より小さい場合、前記手首キーポイントと前記人手検出枠内の所定点との距離を決定するように構成される第２決定ユニットと、
前記夾角、前記距離及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定するように構成される第３決定ユニットと、を備える。
前記夾角が所定の角度閾値より小さい場合、前記手首キーポイントと前記人手検出枠内の所定点との距離を決定するように構成される第２決定ユニットと、
前記夾角、前記距離及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定するように構成される第３決定ユニットと、を備える。
【0150】
いくつかの実施例では、前記第３決定ユニットは、
前記距離と所定の長さ閾値との第１差分に基づいて、前記距離の第１信頼度を決定するように構成される第１差分サブユニットと、
前記夾角と前記所定夾角閾値との第２差分に基づいて、前記夾角の第２信頼度を決定するように構成される第２差分サブユニットと、
前記第１信頼度、前記第２信頼度及び前記手首キーポイントに対応する信頼度を融合して、前記第３関連確率を取得するように構成される第１融合サブユニットと、を含む。
前記距離と所定の長さ閾値との第１差分に基づいて、前記距離の第１信頼度を決定するように構成される第１差分サブユニットと、
前記夾角と前記所定夾角閾値との第２差分に基づいて、前記夾角の第２信頼度を決定するように構成される第２差分サブユニットと、
前記第１信頼度、前記第２信頼度及び前記手首キーポイントに対応する信頼度を融合して、前記第３関連確率を取得するように構成される第１融合サブユニットと、を含む。
【0151】
いくつかの実施例では、前記第４決定モジュール４０４は、
前記第２関連確率及び前記第３関連確率に基づいて、前記第１関連確率を修正して、修正済み第１確率を取得するように構成される第１修正サブモジュールと、
前記修正済み第１確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定するように構成される第７決定サブモジュールと、を含む。
前記第２関連確率及び前記第３関連確率に基づいて、前記第１関連確率を修正して、修正済み第１確率を取得するように構成される第１修正サブモジュールと、
前記修正済み第１確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定するように構成される第７決定サブモジュールと、を含む。
【0152】
いくつかの実施例では、前記検出対象画像の画面内容に複数の関連付け対象人体及び複数の関連付け対象人手が含まれる場合、前記第７決定サブモジュールは、
各関連付け対象人体と各関連付け対象人手との修正済み第１確率を決定し、修正済み第１確率セットを取得するように構成される第４決定ユニットと、
前記修正済み第１確率セットにおいて、確率が所定確率閾値より大きいターゲット修正済み第１確率を選別するように構成される第１選別ユニットと、
前記ターゲット修正済み確率に基づいて、前記ターゲット修正済み確率に対応する関連付け対象人体にマッチングする関連付け対象人手を決定するように構成される第５決定ユニットと、を備える。
各関連付け対象人体と各関連付け対象人手との修正済み第１確率を決定し、修正済み第１確率セットを取得するように構成される第４決定ユニットと、
前記修正済み第１確率セットにおいて、確率が所定確率閾値より大きいターゲット修正済み第１確率を選別するように構成される第１選別ユニットと、
前記ターゲット修正済み確率に基づいて、前記ターゲット修正済み確率に対応する関連付け対象人体にマッチングする関連付け対象人手を決定するように構成される第５決定ユニットと、を備える。
【0153】
いくつかの実施例では、前記装置は更に、
更に、前記第１関連確率が所定確率閾値より大きい場合、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの前記第２関連確率を決定するように構成される前記第２決定モジュール４０２と、
更に、前記第２関連確率が前記所定確率閾値より大きい場合、前記第３関連確率を決定するように構成される前記第３決定モジュール４０３と、
更に、前記第３関連確率が前記所定確率閾値より大きい場合、前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定するように構成される前記第４決定モジュール４０４と、を備える。
更に、前記第１関連確率が所定確率閾値より大きい場合、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの前記第２関連確率を決定するように構成される前記第２決定モジュール４０２と、
更に、前記第２関連確率が前記所定確率閾値より大きい場合、前記第３関連確率を決定するように構成される前記第３決定モジュール４０３と、
更に、前記第３関連確率が前記所定確率閾値より大きい場合、前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定するように構成される前記第４決定モジュール４０４と、を備える。
【0154】
いくつかの実施例では、前記装置は更に、
前記第１関連確率、前記第２関連確率及び前記第３関連確率を融合して、融合確率を取得するように構成される第１融合モジュールと、
前記融合確率が第３所定確率閾値より小さい場合、前記第２関連確率に対応する手首キーポイントの位置を更新して、更新された手首キーポイントを取得するように構成される第１更新モジュールと、を備える。
前記第１関連確率、前記第２関連確率及び前記第３関連確率を融合して、融合確率を取得するように構成される第１融合モジュールと、
前記融合確率が第３所定確率閾値より小さい場合、前記第２関連確率に対応する手首キーポイントの位置を更新して、更新された手首キーポイントを取得するように構成される第１更新モジュールと、を備える。
【0155】
いくつかの実施例では、前記装置は更に、
前記関連付け対象人体の人体検出枠、前記関連付け対象人手の人手検出枠及び前記関連付け対象人体のキーポイントを決定するように、前記検出対象画像に対して人体検出、人手検出及び人体キーポイント検出を行うように構成される第１検出モジュールを備える。
前記関連付け対象人体の人体検出枠、前記関連付け対象人手の人手検出枠及び前記関連付け対象人体のキーポイントを決定するように、前記検出対象画像に対して人体検出、人手検出及び人体キーポイント検出を行うように構成される第１検出モジュールを備える。
【0156】
なお、上記装置実施例の説明は上記方法実施例の説明に類似し、方法実施例に類似する有益な効果を有する。本願の装置実施例に開示されていない技術的詳細は、本願の方法実施例の説明を参照して理解されてもよい。
【0157】
なお、本願の実施例では、ソフトウェア機能モジュールの形式で上記人体と人手との関連付け方法を実現し、独立した製品として販売又は使用されるときは、１つのコンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づいて、本願の実施例の技術案の本質的又は従来技術に貢献する部分はソフトウェア製品の形式で具現されてもよい。該コンピュータソフトウェア製品は、１台のコンピュータ装置（端末、サーバー等であってもよい）に本願の各実施例に記載の方法の全部又は一部を実行させるための若干の命令を含む１つの記憶媒体に記憶される。そして、上記記憶媒体はＵＳＢメモリ、ポータブルハードディスク、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスク等のプログラムコードを記憶できる様々な媒体を含む。このように、本願の実施例はいかなる特定のハードウェア及びソフトウェアの組み合わせに制限されるものではない。
【0158】
本願の実施例は更にコンピュータプログラム製品を提供し、前記コンピュータプログラム製品はコンピュータ実行可能命令を含み、該コンピュータ実行可能命令が実行された後、本願の実施例に係る人体と人手との関連付け方法を実現することができる。
【0159】
本願の実施例は更にコンピュータ記憶媒体を提供し、前記コンピュータ記憶媒体にコンピュータ実行可能命令が記憶され、前記コンピュータ実行可能命令がプロセッサにより実行されるとき、上記実施例に係る人体と人手との関連付け方法を実現する。
【0160】
本願の実施例はコンピュータプログラムを提供し、該コンピュータプログラムはコンピュータ実行可能命令を含む。該コンピュータ実行可能命令がコンピュータにより実行され、それにより本願の実施例に係る人体と人手との関連付け方法におけるステップを実現する。
【0161】
本願の実施例はコンピュータ装置を提供し、図５は本願の実施例に係るコンピュータ装置の要部構成模式図であり、図５に示すように、前記コンピュータ装置５００は１つのプロセッサ５０１、少なくとも１つの通信バス、通信インターフェース５０２、少なくとも１つの外部通信インターフェース及びメモリ５０３を備える。通信インターフェース５０２はこれらのコンポーネントの間の接続通信を実現するように構成される。通信インターフェース５０２はディスプレイを含んでもよく、外部通信インターフェースは標準の有線インターフェース及び無線インターフェースを含んでもよい。前記プロセッサ５０１はメモリにおける画像処理プログラムを実行するように構成され、それにより上記実施例に係る人体と人手との関連付け方法を実現する。
【0162】
上記人体と人手との関連付け装置、コンピュータ装置及び記憶媒体の実施例についての説明は、上記方法実施例の説明に類似し、対応の方法実施例に類似する技術的説明及び有益な効果を有し、紙幅の都合上、上記方法実施例の記載を参照してもよく、従って、ここで詳細な説明は省略する。本願に係る人体と人手との関連付け装置、コンピュータ装置及び記憶媒体の実施例に開示されていない技術的詳細は、本願の方法実施例の説明を参照して理解されてもよい。
【0163】
理解されるように、明細書全体に言及した「１つの実施例」又は「一実施例」は実施例に関わる特定の特徴、構造又は特性が本願の少なくとも１つの実施例に含まれることを意味する。従って、明細書全体の各箇所に出現する「１つの実施例では」又は「一実施例では」は必ず同じ実施例を指すとは限らない。また、これらの特定の特徴、構造又は特性は任意の適切な方式で１つ又は複数の実施例に組み合わせられてもよい。理解されるように、本願の様々な実施例では、上記各過程の番号の順位は実行順序の前後を意味せず、各過程の実行順序はその機能及び内部論理によって決定されるべきであり、本願の実施例の実施過程を制限するためのものではない。上記本願の実施例の番号は説明のためのものであって、実施例の優劣を代表しない。なお、本明細書では、用語「含む」、「包含」又はそのいかなる変形は非排他的包含を網羅することが意図され、それにより一連の要素を含む過程、方法、物品又は装置はそれらの要素を含むだけでなく、明確に列挙しない他の要素も含み、又はこのような過程、方法、物品又は装置固有の要素も含む。特に制限しない限り、語句「〇〇を含む」により制限される要素は、該要素を含む過程、方法、物品又は装置には他の同じ要素が更に存在することを排除しない。
【0164】
本願に係るいくつかの実施例において、理解されるように、開示される装置及び方法は他の方式で実現されてもよい。以上に記載される装置実施例は模式的なものに過ぎず、例えば、前記ユニットの区分は論理機能上の区分に過ぎず、実際に実現するとき、他の区分方式があってもよく、例えば複数のユニット又はコンポーネントは他のシステムに結合又は統合されてもよく、又はいくつかの特徴は省略してもよく、又は実行しなくてもよい。また、表示又は検討される各構成部分同士の結合、又は直接結合、又は通信接続はいくつかのインターフェース、装置又はユニットによる間接結合又は通信接続であってもよく、電気、機械又は他の形式であってもよい。
【0165】
分離部材として説明される上記ユニットは物理的に分離してもよく、物理的に分離しなくてもよく、ユニットとして表示される部材は物理ユニットであってもよく、物理ユニットでなくてもよく、即ち、一箇所に位置してもよく、複数のネットワークユニットに配置されてもよい。実際の必要に応じて、その一部又は全部のユニットを選択して本実施例案の目的を実現してもよい。
【0166】
また、本願の各実施例では、各機能ユニットはすべて１つの処理ユニットに統合されてもよく、各ユニットはそれぞれ独立して１つのユニットとされてもよく、２つ以上のユニットは１つのユニットに統合されてもよい。上記統合されたユニットはハードウェアの形式で実現されてもよく、ハードウェアプラスソフトウェア機能ユニットの形式で実現されてもよい。当業者であれば理解されるように、上記方法実施例を実現する全部又は一部のステップはプログラム命令に関連するハードウェアで遂行してもよく、上記プログラムはコンピュータ可読記憶媒体に記憶されてもよく、該プログラムが実行されるとき、上記方法実施例のステップを含むものを実行するが、上記記憶媒体は携帯記憶装置、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスク等のプログラムコードを記憶できる様々な媒体を含む。
【0167】
又は、本願の上記統合されたユニットはソフトウェア機能モジュールの形式で実現され、独立した製品として販売又は使用されるときは、１つのコンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づいて、本願の実施例の技術案の本質的又は従来技術に貢献する部分はソフトウェア製品の形式で具現されてもよい。該コンピュータソフトウェア製品は、１台のコンピュータ装置（パーソナルコンピュータ、サーバ又はネットワーク装置等であってもよい）に本願の各実施例に記載の方法の全部又は一部を実行させるための若干の命令を含む１つの記憶媒体に記憶される。そして、上記記憶媒体は携帯記憶装置、ＲＯＭ、磁気ディスク又は光ディスク等のプログラムコードを記憶できる様々な媒体を含む。以上の説明は本願の具体的な実施形態であって、本願の保護範囲を制限するためのものではない。当業者が本願に開示される技術的範囲内で容易に想到し得る変更や置換は、いずれも本願の保護範囲内に含まれるべきである。従って、本願の保護範囲は特許請求の範囲に準じるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【手続補正書】
【提出日】2021-08-25
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
人体と人手との関連付け方法であって、画面内容に関連付け対象人体及び関連付け対象人手が含まれる検出対象画像において、前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定することと、
前記人体検出枠内のキーポイントに基づいて、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定し、前記人体検出枠内のキーポイントは、同一腕に属する手首キーポイント及び肘キーポイントを含むことと、
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定することと、
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することと、を含む、人体と人手との関連付け方法。
【請求項2】
画面内容に関連付け対象人体及び関連付け対象人手が含まれる検出対象画像において、前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定することは、前記人体検出枠の人体特徴及び前記人手検出枠の人手特徴を決定することと、
前記人体特徴及び前記人手特徴に基づいて、前記人体検出枠と前記人手検出枠との第１関連確率を決定することと、を含む
請求項１に記載の方法。
【請求項3】
前記人体検出枠内のキーポイントに基づいて、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定することは、前記手首キーポイントが真値点である信頼度を決定することと、
前記信頼度に基づいて、前記関連付け対象人体と前記手首キーポイントとの関連確率を決定し、前記第２関連確率を取得することと、を含む
請求項１又は２に記載の方法。
【請求項4】
前記信頼度に基づいて、前記関連付け対象人体と前記手首キーポイントとの関連確率を決定し、前記第２関連確率を取得することは、前記信頼度を前記第２関連確率として決定することを含む
請求項３に記載の方法。
【請求項5】
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定することは、前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記手首キーポイントと前記人手検出枠との位置関係を決定することと、
前記位置関係及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定し、前記手首キーポイントに対応する信頼度は前記手首キーポイントが真値点である信頼度を含むことと、を含む
請求項１～４のいずれか１項に記載の方法。
【請求項6】
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記手首キーポイントと前記人手検出枠との位置関係を決定することは、同一腕に属する前記手首キーポイントと前記肘キーポイントを接続する第１接続線を決定することと、
前記手首キーポイントと前記人手検出枠内の所定点を接続する第２接続線を決定することと、
前記手首キーポイントを頂点として、前記腕の前腕方向に沿って、前記第１接続線と前記第２接続線とがなす夾角を決定し、前記位置関係を取得することと、を含む
請求項５に記載の方法。
【請求項7】
前記位置関係及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定することは、前記夾角が所定の角度閾値より小さい場合、前記手首キーポイントと前記人手検出枠内の所定点との距離を決定することと、
前記夾角、前記距離及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定することと、を含む
請求項６に記載の方法。
【請求項8】
前記夾角、前記距離及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定することは、前記距離と所定の長さ閾値との第１差分に基づいて、前記距離の第１信頼度を決定することと、
前記夾角と前記所定の角度閾値との第２差分に基づいて、前記夾角の第２信頼度を決定することと、
前記第１信頼度、前記第２信頼度及び前記手首キーポイントに対応する信頼度を融合して、前記第３関連確率を取得することと、を含む
請求項７に記載の方法。
【請求項9】
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することは、前記第２関連確率及び前記第３関連確率に基づいて、前記第１関連確率を修正して、修正済み第１確率を取得することと、
前記修正済み第１確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することと、を含む
請求項１～８のいずれか１項に記載の方法。
【請求項10】
前記検出対象画像の画面内容に複数の関連付け対象人体及び複数の関連付け対象人手が含まれる場合、前記修正済み第１確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することは、各関連付け対象人体と各関連付け対象人手との修正済み第１確率を決定し、修正済み第１確率セットを取得することと、
前記修正済み第１確率セットにおいて、確率が所定確率閾値より大きいターゲット修正済み第１確率を選別することと、
前記ターゲット修正済み第１確率に基づいて、前記ターゲット修正済み第１確率に対応する、関連付け対象人体にマッチングする関連付け対象人手を決定することと、を含む
請求項９に記載の方法。
【請求項11】
前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定することは、前記第１関連確率が所定確率閾値より大きい場合、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの前記第２関連確率を決定することを含み、
前記人手検出枠と前記手首キーポイントとの第３関連確率を決定することは、
前記第２関連確率が前記所定確率閾値より大きい場合、前記第３関連確率を決定することを含み、
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することは、
前記第３関連確率が前記所定確率閾値より大きい場合、前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することを含む
請求項１～１０のいずれか１項に記載の方法。
【請求項12】
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定する前に、前記方法は更に、前記第１関連確率、前記第２関連確率及び前記第３関連確率を融合して、融合確率を取得することと、
前記融合確率が第３所定確率閾値より小さい場合、前記第２関連確率に対応する手首キーポイントの位置を更新して、更新された手首キーポイントを取得することと、を含む
請求項１０に記載の方法。
【請求項13】
前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定する前に、前記方法は更に、前記関連付け対象人体の人体検出枠、前記関連付け対象人手の人手検出枠及び前記関連付け対象人体のキーポイントを決定するように、前記検出対象画像に対して人体検出、人手検出及び人体キーポイント検出を行うことを含む
請求項１～１２のいずれか１項に記載の方法。
【請求項14】
人体と人手との関連付け装置であって、画面内容に関連付け対象人体及び関連付け対象人手が含まれる検出対象画像において、前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定するように構成される第１決定モジュールと、
前記人体検出枠内のキーポイントに基づいて、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定するように構成され、前記人体検出枠内のキーポイントは、同一腕に属する手首キーポイント及び肘キーポイントを含む第２決定モジュールと、
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定するように構成される第３決定モジュールと、
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定するように構成される第４決定モジュールと、を備える、人体と人手との関連付け装置。
【請求項15】
コンピュータ記憶媒体であって、コンピュータ実行可能命令が記憶され、該コンピュータ実行可能命令は、コンピュータに、請求項１～１３のいずれか１項に記載の人体と人手との関連付け方法を実行させることができる、コンピュータ記憶媒体。
【請求項16】
コンピュータ装置であって、メモリ及びプロセッサを備え、前記メモリにコンピュータ実行可能命令が記憶され、前記プロセッサが前記メモリにおけるコンピュータ実行可能命令を実行するとき、請求項１～１３のいずれか１項に記載の人体と人手との関連付け方法を実現することができる、コンピュータ装置。
【請求項17】
コンピュータに請求項１～１３のいずれか１項に記載の人体と人手との関連付け方法を実現させる、コンピュータプログラム。【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【0035】
本願の実施例は人体と人手との関連付け方法、装置、設備及び記憶媒体を提供し、取得された検出対象画像に対して、まず、検出枠を用いて画像における関連付け対象人体及び関連付け対象人手を検出し、人手検出枠と人体検出枠との第１関連確率を予測し、このように、検出枠を用いて人手検出枠と人体検出枠との第１関連確率を予測することにより、関連付け対象人手位置を取得する施設を簡易化することができ、次に、人体検出枠を用いて該人体の手首キーポイントを予測することにより、手首キーポイントと人体検出枠との第２関連確率を決定し、このように、手首キーポイントと人手との位置の相違による精度への影響を補うことができる。次に、同一腕上の肘キーポイント及び手首キーポイントによって手首キーポイントと人手検出枠との第３関連確率を予測し、最後に、３つの関連確率をまとめて、該関連付け対象人手が関連付け対象人体に属するかどうかを決定し、このように、手首キーポイントで人手キーポイントを代替することにより、人体検出枠の精度への依存を低減することができ、しかも最終的な関連結果の正確度を向上させることもできる。例えば、本願は以下の項目を提供する。
（項目１）
人体と人手との関連付け方法であって、
画面内容に関連付け対象人体及び関連付け対象人手が含まれる検出対象画像において、前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定することと、
前記人体検出枠内のキーポイントに基づいて、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定し、前記人体検出枠内のキーポイントは、同一腕に属する手首キーポイント及び肘キーポイントを含むことと、
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定することと、
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することと、を含む、人体と人手との関連付け方法。
（項目２）
画面内容に関連付け対象人体及び関連付け対象人手が含まれる検出対象画像において、前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定することは、
前記人体検出枠の人体特徴及び前記人手検出枠の人手特徴を決定することと、
前記人体特徴及び前記人手特徴に基づいて、前記人体検出枠と前記人手検出枠との第１関連確率を決定することと、を含む
項目１に記載の方法。
（項目３）
前記人体検出枠内のキーポイントに基づいて、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定することは、
前記手首キーポイントが真値点である信頼度を決定することと、
前記信頼度に基づいて、前記関連付け対象人体と前記手首キーポイントとの関連確率を決定し、前記第２関連確率を取得することと、を含む
項目１又は２に記載の方法。
（項目４）
前記信頼度に基づいて、前記関連付け対象人体と前記手首キーポイントとの関連確率を決定し、前記第２関連確率を取得することは、
前記信頼度を前記第２関連確率として決定することを含む
項目３に記載の方法。
（項目５）
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定することは、
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記手首キーポイントと前記人手検出枠との位置関係を決定することと、
前記位置関係及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定し、前記手首キーポイントに対応する信頼度は前記手首キーポイントが真値点である信頼度を含むことと、を含む
項目１～４のいずれか１項に記載の方法。
（項目６）
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記手首キーポイントと前記人手検出枠との位置関係を決定することは、
同一腕に属する前記手首キーポイントと前記肘キーポイントを接続する第１接続線を決定することと、
前記手首キーポイントと前記人手検出枠内の所定点を接続する第２接続線を決定することと、
前記手首キーポイントを頂点として、前記腕の前腕方向に沿って、前記第１接続線と前記第２接続線とがなす夾角を決定し、前記位置関係を取得することと、を含む
項目５に記載の方法。
（項目７）
前記位置関係及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定することは、
前記夾角が所定の角度閾値より小さい場合、前記手首キーポイントと前記人手検出枠内の所定点との距離を決定することと、
前記夾角、前記距離及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定することと、を含む
項目６に記載の方法。
（項目８）
前記夾角、前記距離及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定することは、
前記距離と所定の長さ閾値との第１差分に基づいて、前記距離の第１信頼度を決定することと、
前記夾角と前記所定の角度閾値との第２差分に基づいて、前記夾角の第２信頼度を決定することと、
前記第１信頼度、前記第２信頼度及び前記手首キーポイントに対応する信頼度を融合して、前記第３関連確率を取得することと、を含む
項目７に記載の方法。
（項目９）
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することは、
前記第２関連確率及び前記第３関連確率に基づいて、前記第１関連確率を修正して、修正済み第１確率を取得することと、
前記修正済み第１確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することと、を含む
項目１～８のいずれか１項に記載の方法。
（項目１０）
前記検出対象画像の画面内容に複数の関連付け対象人体及び複数の関連付け対象人手が含まれる場合、前記修正済み第１確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することは、
各関連付け対象人体と各関連付け対象人手との修正済み第１確率を決定し、修正済み第１確率セットを取得することと、
前記修正済み第１確率セットにおいて、確率が所定確率閾値より大きいターゲット修正済み第１確率を選別することと、
前記ターゲット修正済み第１確率に基づいて、前記ターゲット修正済み第１確率に対応する、関連付け対象人体にマッチングする関連付け対象人手を決定することと、を含む
項目９に記載の方法。
（項目１１）
前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定することは、
前記第１関連確率が所定確率閾値より大きい場合、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの前記第２関連確率を決定することを含み、
前記人手検出枠と前記手首キーポイントとの第３関連確率を決定することは、
前記第２関連確率が前記所定確率閾値より大きい場合、前記第３関連確率を決定することを含み、
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することは、
前記第３関連確率が前記所定確率閾値より大きい場合、前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することを含む
項目１～１０のいずれか１項に記載の方法。
（項目１２）
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定する前に、前記方法は更に、
前記第１関連確率、前記第２関連確率及び前記第３関連確率を融合して、融合確率を取得することと、
前記融合確率が第３所定確率閾値より小さい場合、前記第２関連確率に対応する手首キーポイントの位置を更新して、更新された手首キーポイントを取得することと、を含む
項目１０に記載の方法。
（項目１３）
前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定する前に、前記方法は更に、
前記関連付け対象人体の人体検出枠、前記関連付け対象人手の人手検出枠及び前記関連付け対象人体のキーポイントを決定するように、前記検出対象画像に対して人体検出、人手検出及び人体キーポイント検出を行うことを含む
項目１～１２のいずれか１項に記載の方法。
（項目１４）
人体と人手との関連付け装置であって、
画面内容に関連付け対象人体及び関連付け対象人手が含まれる検出対象画像において、前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定するように構成される第１決定モジュールと、
前記人体検出枠内のキーポイントに基づいて、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定するように構成され、前記人体検出枠内のキーポイントは、同一腕に属する手首キーポイント及び肘キーポイントを含む第２決定モジュールと、
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定するように構成される第３決定モジュールと、
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定するように構成される第４決定モジュールと、を備える、人体と人手との関連付け装置。
（項目１５）
前記第１決定モジュールは、
前記人体検出枠の人体特徴及び前記人手検出枠の人手特徴を決定するように構成される第１決定サブモジュールと、
前記人体特徴及び前記人手特徴に基づいて、前記人体検出枠と前記人手検出枠との第１関連確率を決定するように構成される第２決定サブモジュールと、を含む
項目１４に記載の装置。
（項目１６）
前記第２決定モジュールは、
前記手首キーポイントが真値点である信頼度を決定するように構成される第３決定サブモジュールと、
前記信頼度に基づいて、前記関連付け対象人体と前記手首キーポイントとの関連確率を決定し、前記第２関連確率を取得するように構成される第４決定サブモジュールと、を含む
項目１４又は１５に記載の装置。
（項目１７）
前記第２決定モジュールは前記信頼度を前記第２関連確率として決定することに用いられる
項目１６に記載の装置。
（項目１８）
前記第３決定モジュールは、
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記手首キーポイントと前記人手検出枠との位置関係を決定するように構成される第５決定サブモジュールと、
前記位置関係及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定するように構成され、前記手首キーポイントに対応する信頼度は前記手首キーポイントが真値点である信頼度を含む第６決定サブモジュールと、を含む
項目１４～１７のいずれか１項に記載の装置。
（項目１９）
前記第５決定サブモジュールは、
同一腕に属する前記手首キーポイントと前記肘キーポイントを接続する第１接続線を決定するように構成される第１接続ユニットと、
前記手首キーポイントと前記人手検出枠内の所定点を接続する第２接続線を決定するように構成される第２接続ユニットと、
前記手首キーポイントを頂点として、前記腕の前腕方向に沿って、前記第１接続線と前記第２接続線とがなす夾角を決定し、前記位置関係を取得するように構成される第１決定ユニットと、を備える
項目１８に記載の装置。
（項目２０）
前記第６決定サブモジュールは、
前記夾角が所定の角度閾値より小さい場合、前記手首キーポイントと前記人手検出枠内の所定点との距離を決定するように構成される第２決定ユニットと、
前記夾角、前記距離及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定するように構成される第３決定ユニットと、を備える
項目１９に記載の装置。
（項目２１）
前記第３決定ユニットは、
前記距離と所定の長さ閾値との第１差分に基づいて、前記距離の第１信頼度を決定するように構成される第１差分サブユニットと、
前記夾角と前記所定夾角閾値との第２差分に基づいて、前記夾角の第２信頼度を決定するように構成される第２差分サブユニットと、
前記第１信頼度、前記第２信頼度及び前記手首キーポイントに対応する信頼度を融合して、前記第３関連確率を取得するように構成される第１融合サブユニットと、を含む
項目２０に記載の装置。
（項目２２）
前記第４決定モジュールは、
前記第２関連確率及び前記第３関連確率に基づいて、前記第１関連確率を修正して、修正済み第１確率を取得するように構成される第１修正サブモジュールと、
前記修正済み第１確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定するように構成される第７決定サブモジュールと、を含む
項目１４～２１のいずれか１項に記載の装置。
（項目２３）
前記検出対象画像の画面内容に複数の関連付け対象人体及び複数の関連付け対象人手が含まれる場合、前記第７決定サブモジュールは、
各関連付け対象人体と各関連付け対象人手との修正済み第１確率を決定し、修正済み第１確率セットを取得するように構成される第４決定ユニットと、
前記修正済み第１確率セットにおいて、確率が所定確率閾値より大きいターゲット修正済み第１確率を選別するように構成される第１選別ユニットと、
前記ターゲット修正済み第１確率に基づいて、前記ターゲット修正済み第１確率に対応する、関連付け対象人体にマッチングする関連付け対象人手を決定するように構成される第５決定ユニットと、を備える
項目２２に記載の装置。
（項目２４）
前記第２決定モジュールは更に、前記第１関連確率が所定確率閾値より大きい場合、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの前記第２関連確率を決定することに用いられ、
前記第３決定モジュールは更に、前記第２関連確率が前記所定確率閾値より大きい場合、前記第３関連確率を決定することに用いられ、
前記第４決定モジュールは更に、前記第３関連確率が前記所定確率閾値より大きい場合、前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することに用いられる
項目１４～２３のいずれか１項に記載の装置。
（項目２５）
前記装置は更に、
前記第１関連確率、前記第２関連確率及び前記第３関連確率を融合して、融合確率を取得するように構成される第１融合モジュールと、
前記融合確率が第３所定確率閾値より小さい場合、前記第２関連確率に対応する手首キーポイントの位置を更新して、更新された手首キーポイントを取得するように構成される第１更新モジュールと、を備える
項目２３に記載の装置。
（項目２６）
前記装置は更に、
前記関連付け対象人体の人体検出枠、前記関連付け対象人手の人手検出枠及び前記関連付け対象人体のキーポイントを決定するように、前記検出対象画像に対して人体検出、人手検出及び人体キーポイント検出を行うように構成される第１検出モジュールを備える
項目１４～２５のいずれか１項に記載の装置。
（項目２７）
コンピュータ記憶媒体であって、
コンピュータ実行可能命令が記憶され、該コンピュータ実行可能命令が実行された後、項目１～１３のいずれか１項に記載の人体と人手との関連付け方法を実現することができる、コンピュータ記憶媒体。
（項目２８）
コンピュータ装置であって、メモリ及びプロセッサを備え、
前記メモリにコンピュータ実行可能命令が記憶され、前記プロセッサが前記メモリにおけるコンピュータ実行可能命令を実行するとき、項目１～１３のいずれか１項に記載の人体と人手との関連付け方法を実現することができる、コンピュータ装置。
（項目２９）
コンピュータプログラムであって、
コンピュータ実行可能命令を含み、該コンピュータ実行可能命令がプロセッサにより実行され、該コンピュータに項目１～１３のいずれか１項に記載の人体と人手との関連付け方法を実現させる、コンピュータプログラム。
（項目１）
人体と人手との関連付け方法であって、
画面内容に関連付け対象人体及び関連付け対象人手が含まれる検出対象画像において、前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定することと、
前記人体検出枠内のキーポイントに基づいて、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定し、前記人体検出枠内のキーポイントは、同一腕に属する手首キーポイント及び肘キーポイントを含むことと、
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定することと、
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することと、を含む、人体と人手との関連付け方法。
（項目２）
画面内容に関連付け対象人体及び関連付け対象人手が含まれる検出対象画像において、前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定することは、
前記人体検出枠の人体特徴及び前記人手検出枠の人手特徴を決定することと、
前記人体特徴及び前記人手特徴に基づいて、前記人体検出枠と前記人手検出枠との第１関連確率を決定することと、を含む
項目１に記載の方法。
（項目３）
前記人体検出枠内のキーポイントに基づいて、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定することは、
前記手首キーポイントが真値点である信頼度を決定することと、
前記信頼度に基づいて、前記関連付け対象人体と前記手首キーポイントとの関連確率を決定し、前記第２関連確率を取得することと、を含む
項目１又は２に記載の方法。
（項目４）
前記信頼度に基づいて、前記関連付け対象人体と前記手首キーポイントとの関連確率を決定し、前記第２関連確率を取得することは、
前記信頼度を前記第２関連確率として決定することを含む
項目３に記載の方法。
（項目５）
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定することは、
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記手首キーポイントと前記人手検出枠との位置関係を決定することと、
前記位置関係及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定し、前記手首キーポイントに対応する信頼度は前記手首キーポイントが真値点である信頼度を含むことと、を含む
項目１～４のいずれか１項に記載の方法。
（項目６）
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記手首キーポイントと前記人手検出枠との位置関係を決定することは、
同一腕に属する前記手首キーポイントと前記肘キーポイントを接続する第１接続線を決定することと、
前記手首キーポイントと前記人手検出枠内の所定点を接続する第２接続線を決定することと、
前記手首キーポイントを頂点として、前記腕の前腕方向に沿って、前記第１接続線と前記第２接続線とがなす夾角を決定し、前記位置関係を取得することと、を含む
項目５に記載の方法。
（項目７）
前記位置関係及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定することは、
前記夾角が所定の角度閾値より小さい場合、前記手首キーポイントと前記人手検出枠内の所定点との距離を決定することと、
前記夾角、前記距離及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定することと、を含む
項目６に記載の方法。
（項目８）
前記夾角、前記距離及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定することは、
前記距離と所定の長さ閾値との第１差分に基づいて、前記距離の第１信頼度を決定することと、
前記夾角と前記所定の角度閾値との第２差分に基づいて、前記夾角の第２信頼度を決定することと、
前記第１信頼度、前記第２信頼度及び前記手首キーポイントに対応する信頼度を融合して、前記第３関連確率を取得することと、を含む
項目７に記載の方法。
（項目９）
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することは、
前記第２関連確率及び前記第３関連確率に基づいて、前記第１関連確率を修正して、修正済み第１確率を取得することと、
前記修正済み第１確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することと、を含む
項目１～８のいずれか１項に記載の方法。
（項目１０）
前記検出対象画像の画面内容に複数の関連付け対象人体及び複数の関連付け対象人手が含まれる場合、前記修正済み第１確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することは、
各関連付け対象人体と各関連付け対象人手との修正済み第１確率を決定し、修正済み第１確率セットを取得することと、
前記修正済み第１確率セットにおいて、確率が所定確率閾値より大きいターゲット修正済み第１確率を選別することと、
前記ターゲット修正済み第１確率に基づいて、前記ターゲット修正済み第１確率に対応する、関連付け対象人体にマッチングする関連付け対象人手を決定することと、を含む
項目９に記載の方法。
（項目１１）
前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定することは、
前記第１関連確率が所定確率閾値より大きい場合、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの前記第２関連確率を決定することを含み、
前記人手検出枠と前記手首キーポイントとの第３関連確率を決定することは、
前記第２関連確率が前記所定確率閾値より大きい場合、前記第３関連確率を決定することを含み、
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することは、
前記第３関連確率が前記所定確率閾値より大きい場合、前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することを含む
項目１～１０のいずれか１項に記載の方法。
（項目１２）
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定する前に、前記方法は更に、
前記第１関連確率、前記第２関連確率及び前記第３関連確率を融合して、融合確率を取得することと、
前記融合確率が第３所定確率閾値より小さい場合、前記第２関連確率に対応する手首キーポイントの位置を更新して、更新された手首キーポイントを取得することと、を含む
項目１０に記載の方法。
（項目１３）
前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定する前に、前記方法は更に、
前記関連付け対象人体の人体検出枠、前記関連付け対象人手の人手検出枠及び前記関連付け対象人体のキーポイントを決定するように、前記検出対象画像に対して人体検出、人手検出及び人体キーポイント検出を行うことを含む
項目１～１２のいずれか１項に記載の方法。
（項目１４）
人体と人手との関連付け装置であって、
画面内容に関連付け対象人体及び関連付け対象人手が含まれる検出対象画像において、前記関連付け対象人体の人体検出枠と前記関連付け対象人手の人手検出枠との第１関連確率を決定するように構成される第１決定モジュールと、
前記人体検出枠内のキーポイントに基づいて、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの第２関連確率を決定するように構成され、前記人体検出枠内のキーポイントは、同一腕に属する手首キーポイント及び肘キーポイントを含む第２決定モジュールと、
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記人手検出枠と前記手首キーポイントとの第３関連確率を決定するように構成される第３決定モジュールと、
前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定するように構成される第４決定モジュールと、を備える、人体と人手との関連付け装置。
（項目１５）
前記第１決定モジュールは、
前記人体検出枠の人体特徴及び前記人手検出枠の人手特徴を決定するように構成される第１決定サブモジュールと、
前記人体特徴及び前記人手特徴に基づいて、前記人体検出枠と前記人手検出枠との第１関連確率を決定するように構成される第２決定サブモジュールと、を含む
項目１４に記載の装置。
（項目１６）
前記第２決定モジュールは、
前記手首キーポイントが真値点である信頼度を決定するように構成される第３決定サブモジュールと、
前記信頼度に基づいて、前記関連付け対象人体と前記手首キーポイントとの関連確率を決定し、前記第２関連確率を取得するように構成される第４決定サブモジュールと、を含む
項目１４又は１５に記載の装置。
（項目１７）
前記第２決定モジュールは前記信頼度を前記第２関連確率として決定することに用いられる
項目１６に記載の装置。
（項目１８）
前記第３決定モジュールは、
前記同一腕に属する手首キーポイント及び肘キーポイントに基づいて、前記手首キーポイントと前記人手検出枠との位置関係を決定するように構成される第５決定サブモジュールと、
前記位置関係及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定するように構成され、前記手首キーポイントに対応する信頼度は前記手首キーポイントが真値点である信頼度を含む第６決定サブモジュールと、を含む
項目１４～１７のいずれか１項に記載の装置。
（項目１９）
前記第５決定サブモジュールは、
同一腕に属する前記手首キーポイントと前記肘キーポイントを接続する第１接続線を決定するように構成される第１接続ユニットと、
前記手首キーポイントと前記人手検出枠内の所定点を接続する第２接続線を決定するように構成される第２接続ユニットと、
前記手首キーポイントを頂点として、前記腕の前腕方向に沿って、前記第１接続線と前記第２接続線とがなす夾角を決定し、前記位置関係を取得するように構成される第１決定ユニットと、を備える
項目１８に記載の装置。
（項目２０）
前記第６決定サブモジュールは、
前記夾角が所定の角度閾値より小さい場合、前記手首キーポイントと前記人手検出枠内の所定点との距離を決定するように構成される第２決定ユニットと、
前記夾角、前記距離及び前記手首キーポイントに対応する信頼度に基づいて、前記第３関連確率を決定するように構成される第３決定ユニットと、を備える
項目１９に記載の装置。
（項目２１）
前記第３決定ユニットは、
前記距離と所定の長さ閾値との第１差分に基づいて、前記距離の第１信頼度を決定するように構成される第１差分サブユニットと、
前記夾角と前記所定夾角閾値との第２差分に基づいて、前記夾角の第２信頼度を決定するように構成される第２差分サブユニットと、
前記第１信頼度、前記第２信頼度及び前記手首キーポイントに対応する信頼度を融合して、前記第３関連確率を取得するように構成される第１融合サブユニットと、を含む
項目２０に記載の装置。
（項目２２）
前記第４決定モジュールは、
前記第２関連確率及び前記第３関連確率に基づいて、前記第１関連確率を修正して、修正済み第１確率を取得するように構成される第１修正サブモジュールと、
前記修正済み第１確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定するように構成される第７決定サブモジュールと、を含む
項目１４～２１のいずれか１項に記載の装置。
（項目２３）
前記検出対象画像の画面内容に複数の関連付け対象人体及び複数の関連付け対象人手が含まれる場合、前記第７決定サブモジュールは、
各関連付け対象人体と各関連付け対象人手との修正済み第１確率を決定し、修正済み第１確率セットを取得するように構成される第４決定ユニットと、
前記修正済み第１確率セットにおいて、確率が所定確率閾値より大きいターゲット修正済み第１確率を選別するように構成される第１選別ユニットと、
前記ターゲット修正済み第１確率に基づいて、前記ターゲット修正済み第１確率に対応する、関連付け対象人体にマッチングする関連付け対象人手を決定するように構成される第５決定ユニットと、を備える
項目２２に記載の装置。
（項目２４）
前記第２決定モジュールは更に、前記第１関連確率が所定確率閾値より大きい場合、前記関連付け対象人体と前記キーポイント内の手首キーポイントとの前記第２関連確率を決定することに用いられ、
前記第３決定モジュールは更に、前記第２関連確率が前記所定確率閾値より大きい場合、前記第３関連確率を決定することに用いられ、
前記第４決定モジュールは更に、前記第３関連確率が前記所定確率閾値より大きい場合、前記第１関連確率、前記第２関連確率及び前記第３関連確率に基づいて、前記関連付け対象人体と前記関連付け対象人手との関連度を決定することに用いられる
項目１４～２３のいずれか１項に記載の装置。
（項目２５）
前記装置は更に、
前記第１関連確率、前記第２関連確率及び前記第３関連確率を融合して、融合確率を取得するように構成される第１融合モジュールと、
前記融合確率が第３所定確率閾値より小さい場合、前記第２関連確率に対応する手首キーポイントの位置を更新して、更新された手首キーポイントを取得するように構成される第１更新モジュールと、を備える
項目２３に記載の装置。
（項目２６）
前記装置は更に、
前記関連付け対象人体の人体検出枠、前記関連付け対象人手の人手検出枠及び前記関連付け対象人体のキーポイントを決定するように、前記検出対象画像に対して人体検出、人手検出及び人体キーポイント検出を行うように構成される第１検出モジュールを備える
項目１４～２５のいずれか１項に記載の装置。
（項目２７）
コンピュータ記憶媒体であって、
コンピュータ実行可能命令が記憶され、該コンピュータ実行可能命令が実行された後、項目１～１３のいずれか１項に記載の人体と人手との関連付け方法を実現することができる、コンピュータ記憶媒体。
（項目２８）
コンピュータ装置であって、メモリ及びプロセッサを備え、
前記メモリにコンピュータ実行可能命令が記憶され、前記プロセッサが前記メモリにおけるコンピュータ実行可能命令を実行するとき、項目１～１３のいずれか１項に記載の人体と人手との関連付け方法を実現することができる、コンピュータ装置。
（項目２９）
コンピュータプログラムであって、
コンピュータ実行可能命令を含み、該コンピュータ実行可能命令がプロセッサにより実行され、該コンピュータに項目１～１３のいずれか１項に記載の人体と人手との関連付け方法を実現させる、コンピュータプログラム。
【国際調査報告】