特表 2022-542199 キーポイントの検出方法、装置、電子機器および記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-09-30

(54)【発明の名称】キーポイントの検出方法、装置、電子機器および記憶媒体

(51)【国際特許分類】

   G06T 7/60 20170101AFI20220922BHJP

   G06T 7/00 20170101ALI20220922BHJP

【ＦＩ】

G06T7/60 150D

G06T7/00 350C

G06T7/00 660B

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021539648

(86)(22)【出願日】2021-02-03

(85)【翻訳文提出日】2021-07-07

(86)【国際出願番号】 CN2021075128

(87)【国際公開番号】W WO2022001106

(87)【国際公開日】2022-01-06

(31)【優先権主張番号】202010622132.3

(32)【優先日】2020-06-30

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】321006888

【氏名又は名称】ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】ジン ション

(72)【発明者】

【氏名】リウ ウェンタオ

(72)【発明者】

【氏名】チエン チェン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096DA01

5L096FA09

5L096FA34

5L096FA72

5L096GA30

5L096HA11

5L096KA04

(57)【要約】

本発明は、キーポイントの検出方法、装置、電子機器および記憶媒体を提供し、前記方法は、検出される画像を取得することと、前記検出される画像に基づいて、画像特徴マップと、複数のキーポイントヒートマップを生成することであって、前記画像特徴マップは、前記検出される画像の各ターゲット対象間の相対位置関係を表すために使用され、各前記キーポイントヒートマップには、前記検出される画像の１つのカテゴリのキーポイントが含まれ、異なるカテゴリのキーポイントは、前記ターゲット対象の異なる部位に対応することと、前記画像特徴マップおよび複数の前記キーポイントヒートマップに基づいて、キーポイントマップモデルを生成することであって、前記キーポイントマップモデルには、前記検出される画像内の異なるカテゴリのキーポイントの情報および接続エッジの情報が含まれ、各接続エッジは、２つの異なるカテゴリのキーポイント間のエッジであることと、前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定することと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

キーポイントの検出方法であって、
検出される画像を取得することと、
前記検出される画像に基づいて、画像特徴マップと、複数のキーポイントヒートマップを生成することであって、前記画像特徴マップは、前記検出される画像の各ターゲット対象間の相対位置関係を表すために使用され、各前記キーポイントヒートマップには、前記検出される画像の１つのカテゴリのキーポイントが含まれ、異なるカテゴリのキーポイントは、前記ターゲット対象の異なる部位に対応することと、
前記画像特徴マップおよび複数の前記キーポイントヒートマップに基づいて、キーポイントマップモデルを生成することであって、前記キーポイントマップモデルには、前記検出される画像内の異なるカテゴリのキーポイントの情報および接続エッジの情報が含まれ、各接続エッジは、２つの異なるカテゴリのキーポイント間のエッジであることと、
前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定することと、を含む、前記キーポイントの検出方法。

【請求項2】

前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定することは、
前記キーポイントマップモデルの各キーポイントの情報および前記接続エッジの情報に基づいて、前記キーポイントマップモデルにおける接続関係を持つ２つのキーポイント間の相関性を決定することと、
決定された前記相関性に基づいて、同じターゲット対象に属する各キーポイントを決定することと、を含む、
請求項１に記載のキーポイントの検出方法。

【請求項3】

決定された前記相関性に基づいて、同じターゲット対象に属する各キーポイントを決定することは、
対応する前記相関性が設定閾値より大きい各キーポイントを同じターゲット対象のキーポイントとして使用することを含む、
請求項２に記載のキーポイントの検出方法。

【請求項4】

前記キーポイントマップモデルの各キーポイントの情報および前記接続エッジの情報に基づいて、前記キーポイントマップモデルにおける接続関係を持つ２つのキーポイント間の相関性を決定することは、
各キーポイントに対して、前記キーポイントの情報、および前記キーポイントと接続関係を持つ前記キーポイントマップモデル内の他のキーポイントの情報に基づいて、前記キーポイントの融合特徴を決定することと、
各キーポイントにそれぞれ対応する融合特徴に基づいて、前記キーポイントマップモデルにおける接続関係を持つ２つのキーポイント間の相関性を決定することと、を含む、
請求項２または３に記載のキーポイントの検出方法。

【請求項5】

前記キーポイントの情報は、位置情報、カテゴリ情報、およびピクセル特徴情報を含み、
前記キーポイントヒートマップに基づいて、各キーポイントの位置情報を決定すること、
各前記キーポイントの位置情報に基づいて、前記画像特徴マップから前記キーポイントのピクセル特徴情報を抽出し、前記キーポイントが属するキーポイントヒートマップのカテゴリラベルに基づいて、前記キーポイントに対応するカテゴリ情報を決定することに従って、前記キーポイントマップモデルの各キーポイントの情報を決定する、
請求項１ないし４のいずれか一項に記載のキーポイントの検出方法。

【請求項6】

各キーポイントに対応する前記カテゴリ情報に基づいて、各キーポイントを、前記キーポイントが属するカテゴリとは異なる他のキーポイントと接続して、前記キーポイントマップモデル内の接続エッジを形成することに従って、前記キーポイントマップモデル内の各接続エッジを生成する、
請求項５に記載のキーポイントの検出方法。

【請求項7】

各キーポイントに対応する前記カテゴリ情報、およびプリセットの異なるカテゴリ間のマッチング関係に基づいて、各キーポイントを、前記キーポイントが属するカテゴリとマッチングするターゲットカテゴリに対応するキーポイントと接続して、前記キーポイントマップモデル内の接続エッジを形成することに従って、前記キーポイントマップモデル内の各接続エッジを生成する、
請求項５に記載のキーポイントの検出方法。

【請求項8】

前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定した後、
各ターゲット対象に対応する各キーポイントの情報に基づいて、前記ターゲット対象の行動タイプを決定することをさらに含む、
請求項１ないし７のいずれか一項に記載のキーポイントの検出方法。

【請求項9】

前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定した後、
各ターゲット対象に対応する各キーポイントの情報に基づいて、前記ターゲット対象に対する特殊効果情報を生成することをさらに含む、
請求項１ないし７のいずれか一項に記載のキーポイントの検出方法。

【請求項10】

キーポイントの検出装置であって、
検出される画像を取得するように構成される、取得モジュールと、
前記検出される画像に基づいて、画像特徴マップと、複数のキーポイントヒートマップを生成するように構成される第１生成モジュールであって、前記画像特徴マップは、前記検出される画像の各ターゲット対象間の相対位置関係を表すために使用され、各前記キーポイントヒートマップには、前記検出される画像の１つのカテゴリのキーポイントが含まれ、異なるカテゴリのキーポイントは、前記ターゲット対象の異なる部位に対応する、第１生成モジュールと、
前記画像特徴マップおよび複数の前記キーポイントヒートマップに基づいて、キーポイントマップモデルを生成するように構成される第２生成モジュールであって、前記キーポイントマップモデルには、前記検出される画像内の異なるカテゴリのキーポイントの情報および接続エッジの情報が含まれ、各接続エッジは、２つの異なるカテゴリのキーポイント間のエッジである、第２生成モジュールと、
前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定するように構成される、決定モジュールと、を備える、前記キーポイントの検出装置。

【請求項11】

前記決定モジュールは、前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定する場合に、
前記キーポイントマップモデルの各キーポイントの情報および前記接続エッジの情報に基づいて、前記キーポイントマップモデルにおける接続関係を持つ２つのキーポイント間の相関性を決定し、
決定された前記相関性に基づいて、同じターゲット対象に属する各キーポイントを決定するように構成される、
請求項１０に記載のキーポイントの検出装置。

【請求項12】

前記決定モジュールは、決定された前記相関性に基づいて、同じターゲット対象に属する各キーポイントを決定する場合に、
対応する前記相関性が設定閾値より大きい各キーポイントを同じターゲット対象のキーポイントとして使用するように構成される、
請求項１１に記載のキーポイントの検出装置。

【請求項13】

前記決定モジュールは、前記キーポイントマップモデルの各キーポイントの情報および前記接続エッジの情報に基づいて、前記キーポイントマップモデルにおける接続関係を持つ２つのキーポイント間の相関性を決定する場合に、
各キーポイントに対して、前記キーポイントの情報、および前記キーポイントと接続関係を持つ前記キーポイントマップモデル内の他のキーポイントの情報に基づいて、前記キーポイントの融合特徴を決定し、
各キーポイントにそれぞれ対応する融合特徴に基づいて、前記キーポイントマップモデルにおける接続関係を持つ２つのキーポイント間の相関性を決定するように構成される、
請求項１１または１２に記載のキーポイントの検出装置。

【請求項14】

前記キーポイントの情報は、位置情報、カテゴリ情報、およびピクセル特徴情報を含み、
前記第２生成モジュールは、
前記キーポイントヒートマップに基づいて、各キーポイントの位置情報を決定すること、
各前記キーポイントの位置情報に基づいて、前記画像特徴マップから前記キーポイントのピクセル特徴情報を抽出し、前記キーポイントが属するキーポイントヒートマップのカテゴリラベルに基づいて、前記キーポイントに対応するカテゴリ情報を決定することに従って、前記キーポイントマップモデルの各キーポイントの情報を決定するように構成される、
請求項１０ないし１３のいずれか一項に記載のキーポイントの検出装置。

【請求項15】

前記第２生成モジュールは、
各キーポイントに対応する前記カテゴリ情報に基づいて、各キーポイントを、前記キーポイントが属するカテゴリとは異なる他のキーポイントと接続して、前記キーポイントマップモデル内の接続エッジを形成することに従って、前記キーポイントマップモデル内の各接続エッジを生成する、
請求項１４に記載のキーポイントの検出装置。

【請求項16】

前記第２生成モジュールは、
各キーポイントに対応する前記カテゴリ情報、およびプリセットの異なるカテゴリ間のマッチング関係に基づいて、各キーポイントを、前記キーポイントが属するカテゴリとマッチングするターゲットカテゴリに対応するキーポイントと接続して、前記キーポイントマップモデル内の接続エッジを形成することに従って、前記キーポイントマップモデル内の各接続エッジを生成する、
請求項１４に記載のキーポイントの検出装置。

【請求項17】

前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定した後、さらに、
各ターゲット対象に対応する各キーポイントの情報に基づいて、前記ターゲット対象の行動タイプを決定するように構成される、行動タイプ決定モジュールを備える、
請求項１０ないし１６のいずれか一項に記載のキーポイントの検出装置。

【請求項18】

前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定した後、さらに、
各ターゲット対象に対応する各キーポイントの情報に基づいて、前記ターゲット対象に対する特殊効果情報を生成するように構成される、特殊効果情報生成モジュールを備える、
請求項１０ないし１６のいずれか一項に記載のキーポイントの検出装置。

【請求項19】

プロセッサ、メモリおよびバスを備える、電子機器であって、前記メモリは、前記プロセッサの実行可能な機械可読命令を記憶し、電子機器が実行されるとき、前記プロセッサと前記メモリとは、バスを介して通信し、前記機械可読命令は、前記プロセッサによって実行されるとき、請求項１ないし９のいずれか一項に記載のキーポイントの検出方法のステップを実行する、前記電子機器。

【請求項20】

コンピュータプログラムを記憶する、コンピュータ可読記憶媒体であって、前記コンピュータプログラムは、プロセッサによって実行されるときに、請求項１ないし９のいずれか一項に記載のキーポイントの検出方法のステップを実行する、前記コンピュータ可読記憶媒体。

【請求項21】

コンピュータ可読コードを含む、コンピュータプログラム製品であって、前記コンピュータ可読コードが、電子機器で実行されるとき、前記電子機器内のプロセッサは、請求項１ないし９のいずれか一項に記載のキーポイントの検出方法を実現するためのステップを実行する、前記コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０２０年０６月３０日に中国特許局に提出された、出願番号が２０２０１０６２２１３２．３である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容は、引用によって本願に組み込まれる。

【0002】

本発明は、画像検出技術分野に関し、特に、キーポイントの検出方法、装置、電子機器および記憶媒体に関する。

【背景技術】

【0003】

人体キーポイントの検出は、ビデオ内の人間の行動を分析することのために上位層情報のサポートを提供し、ビデオの人体の動き認識および人間とコンピュータとの対話を実現するための基礎となる。近年、ディープニューラルネットワークに基づく人体キーポイントの検出方法は、入力画像への取得が容易で、検出効果が、効率的かつ正確であるため、研究のホットスポットになっている。

【0004】

通常、ディープニューラルネットワークに基づく人体キーポイントの検出方法において、キーポイントの検出とキーポイントのクラスタリングは、２つの独立したステップであり、即ち、キーポイントのクラスタリングは、通常、微分不可能な後処理動作である。しかし、このような方式では、キーポイントのクラスタリングプロセスの精度は低く、即ち、クラスタリングエラーが発生する可能性があり、異なる人のキーポイントが同じ人のキーポイントとしてクラスタリングされ、それにより、検出結果にエラーが発生する。

【発明の概要】

【発明が解決しようとする課題】

【0005】

これを鑑みて、本発明の実施例は、少なくともキーポイントの検出方法、装置、電子機器および記憶媒体を提供する。

【課題を解決するための手段】

【0006】

第１態様において、本発明の実施例は、キーポイントの検出方法を提供し、前記方法は、
検出される画像を取得することと、
前記検出される画像に基づいて、画像特徴マップと、複数のキーポイントヒートマップを生成することであって、前記画像特徴マップは、前記検出される画像の各ターゲット対象間の相対位置関係を表すために使用され、各前記キーポイントヒートマップには、前記検出される画像の１つのカテゴリのキーポイントが含まれ、異なるカテゴリのキーポイントは、前記ターゲット対象の異なる部位に対応することと、
前記画像特徴マップおよび複数の前記キーポイントヒートマップに基づいて、キーポイントマップモデルを生成することであって、前記キーポイントマップモデルには、前記検出される画像内の異なるカテゴリのキーポイントの情報および接続エッジの情報が含まれ、各接続エッジは、２つの異なるカテゴリのキーポイント間のエッジであることと、
前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定することと、を含む。

【0007】

上記の方法を採用することにより、生成される画像特徴マップと、複数のキーポイントヒートマップに基づいて、検出される画像に対応するキーポイントマップモデルを生成することができ、キーポイントマップモデルには、画像特徴マップと、キーポイントヒートマップ内の情報が含まれ、画像特徴マップは、検出される画像内の異なるターゲット対象間の相対位置関係を表すことができるため、キーポイントマップモデルに基づいて、異なるターゲット対象のキーポイントを正しく区別して、キーポイントクラスタリングの精度を向上させることができるようにする。

【0008】

一可能な実施形態において、前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定することは、
前記キーポイントマップモデルの各キーポイントの情報および前記接続エッジの情報に基づいて、前記キーポイントマップモデルにおける接続関係を持つ２つのキーポイント間の相関性を決定することと、
決定された前記相関性に基づいて、同じターゲット対象に属する各キーポイントを決定することと、を含む。

【0009】

一可能な実施形態において、決定された前記相関性に基づいて、同じターゲット対象に属する各キーポイントを決定することは、対応する前記相関性が設定閾値より大きい各キーポイントを同じターゲット対象のキーポイントとして使用することを含む。

【0010】

一可能な実施形態において、前記キーポイントマップモデルの各キーポイントの情報および前記接続エッジの情報に基づいて、前記キーポイントマップモデルにおける接続関係を持つ２つのキーポイント間の相関性を決定することは、各キーポイントに対して、前記キーポイントの情報、および前記キーポイントマップモデルの前記キーポイントと接続関係を持つ他のキーポイントの情報に基づいて、前記キーポイントの融合特徴を決定することと、各キーポイントにそれぞれ対応する融合特徴に基づいて、前記キーポイントマップモデルにおける接続関係を持つ２つのキーポイント間の相関性を決定することと、を含む。

【0011】

一可能な実施形態において、前記キーポイントの情報は、位置情報、カテゴリ情報、およびピクセル特徴情報を含み、前記キーポイントヒートマップに基づいて、各キーポイントの位置情報を決定すること、各前記キーポイントの位置情報に基づいて、前記画像特徴マップから前記キーポイントのピクセル特徴情報を抽出し、前記キーポイントが属するキーポイントヒートマップのカテゴリラベルに基づいて、前記キーポイントに対応するカテゴリ情報を決定することに従って、前記キーポイントマップモデルの各キーポイントの情報を決定する。

【0012】

一可能な実施形態において、各キーポイントに対応する前記カテゴリ情報に基づいて、各キーポイントを、前記キーポイントが属するカテゴリとは異なる他のキーポイントと接続して、前記キーポイントマップモデル内の接続エッジを形成することに従って、前記キーポイントマップモデル内の各接続エッジを生成する。

【0013】

一可能な実施形態において、各キーポイントに対応する前記カテゴリ情報、およびプリセットの異なるカテゴリ間のマッチング関係に基づいて、各キーポイントを、前記キーポイントが属するカテゴリとマッチングするターゲットカテゴリに対応するキーポイントと接続して、前記キーポイントマップモデル内の接続エッジを形成することに従って、前記キーポイントマップモデル内の各接続エッジを生成する
一可能な実施形態において、前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定した後、各ターゲット対象に対応する各キーポイントの情報に基づいて、前記ターゲット対象の行動タイプを決定することをさらに含む。

【0014】

一可能な実施形態において、前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定した後、各ターゲット対象に対応する各キーポイントの情報に基づいて、前記ターゲット対象に対する特殊効果情報を生成することをさらに含む。

【0015】

以下の装置、電子機器などの効果の説明は、上記の方法の説明を参照でき、ここでは、繰り返して説明しない。

【0016】

第２態様において、本発明の実施例は、キーポイントの検出装置を提供し、前記装置は、
検出される画像を取得するように構成される、取得モジュールと、
前記検出される画像に基づいて、画像特徴マップと、複数のキーポイントヒートマップを生成するように構成される第１生成モジュールであって、前記画像特徴マップは、前記検出される画像の各ターゲット対象間の相対位置関係を表すために使用され、各前記キーポイントヒートマップには、前記検出される画像の１つのカテゴリのキーポイントが含まれ、異なるカテゴリのキーポイントは、前記ターゲット対象の異なる部位に対応する、第１生成モジュールと、
前記画像特徴マップおよび複数の前記キーポイントヒートマップに基づいて、キーポイントマップモデルを生成するように構成される第２生成モジュールであって、前記キーポイントマップモデルには、前記検出される画像内の異なるカテゴリのキーポイントの情報および接続エッジの情報が含まれ、各接続エッジは、２つの異なるカテゴリのキーポイント間のエッジである、第２生成モジュールと、
前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定するように構成される、決定モジュールと、を備える。

【0017】

第３態様において、本発明の実施例は、プロセッサ、メモリおよびバスを備える、電子機器を提供し、前記メモリは、前記プロセッサの実行可能な機械可読命令を記憶し、電子機器が実行される場合に、前記プロセッサと前記メモリとは、バスを介して通信し、前記機械可読命令は、前記プロセッサによって実行されるとき、上記の第１態様または任意の実施形態に記載のキーポイントの検出方法のステップを実行する。

【0018】

第４態様において、本発明の実施例は、コンピュータプログラムを記憶する、コンピュータ可読記憶媒体を提供し、前記コンピュータプログラムが、プロセッサによって実行されるとき、上記の第１態様または任意の実施形態に記載のキーポイントの検出方法のステップを実行する。

【0019】

本発明の実施例は、コンピュータ可読コードを含む、コンピュータプログラム製品を提供し、前記コンピュータ可読コードが、電子機器で実行されるとき、前記電子機器内のプロセッサは、上記の１つまたは複数の実施例を実現するためのサーバを実行して上記の方法を実行する。

【0020】

本発明の上記の目的、特徴および利点をより明確且つ理解しすくするために、以下は、好ましい実施例を添付の図面と合わせて、詳細な説明をする。

【図面の簡単な説明】

【0021】

本発明の実施例の技術的解決策をより明確に説明するために、以下は、実施例で必要な図面を簡単に紹介する。ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本発明と一致する実施例を示すものであり、明細書とともに本発明の実施例の技術的解決策を説明するために使用される。以下の図面は、本発明のいくつかの実施例のみを示したため、範囲の限定として見なされるべきではなく、当業者にとっては、創造的な作業なしに、これらの図面に従って他の関連する図面を得ることもできることを理解されたい。

【図1】本発明の実施例によるキーポイントの検出方法の例示的なフローチャートである。

【図2A】本発明の実施例によるキーポイントマップモデルの概略図である。

【図2B】本発明の実施例によるキーポイントの検出方法のシステムのブロック図である。

【図2C】本発明の実施例によるキーポイントの検出方法の適用シナリオ図である。

【図3】本発明の実施例によるキーポイントの検出装置のアーキテクチャの概略図である。

【図4】本発明の実施例による電子機器４００の例示的な構造図である。

【発明を実施するための形態】

【0022】

本発明の実施例の目的、技術的解決策および利点をより明確にするために、以下は、本発明の実施例の図面を参照して、本発明の実施例における技術的解決策を明確、且つ完全に説明し、明らかに、説明される実施例は、本発明の実施例の一部に過ぎず、実施例の全てではない。通常、ここでの図面で説明および示された本発明の実施例のコンポーネンは、様々な異なる構成で配置および設計されることができる。そのため、以下は、図面で提供された本発明の実施例の詳細な説明は、保護請求の本発明の範囲を制限することを目的としなく、本発明の選択された実施例を表示することに過ぎない。本発明の実施例に基づいて、創造的な努力なしに当業者によって取得される他のすべての実施例は、すべて本発明の保護範囲に含まれる。

【0023】

通常、ディープニューラルネットワークを使用して画像を検出し、画像に含まれるターゲット対象のキーポイント情報を決定することができ、ここで、ディープニューラルネットワークに基づくキーポイントの検出方法では、キーポイントの検出と、キーポイントのクラスタリングが含まれる。

【0024】

現在、キーポイントの検出とキーポイントのクラスタリングは、２つの独立したステップであり、即ち、キーポイントのクラスタリングは、通常、微分できない後の処理動作である。しかし、このような方式を使用する場合、キーポイントのクラスタリングプロセスの精度は低くなり、即ち、クラスタリングエラーが生成される可能性があり、異なる人のキーポイントを同じ人のキーポイントとしてクラスタリングされ、それにより、検出結果にエラーが発生する。

【0025】

上記の問題を解決するために、本発明の実施例は、キーポイントの検出方法を提供。

【0026】

本発明の実施例を理解し易くするために、まず、本発明の実施例で開示されるキーポイントの検出方法を詳細に紹介する。

【0027】

本発明の実施例によるキーポイントの検出方法の実行主体は、サーバであり得、当該サーバは、ローカルサーバであってもよいし、クラウドサーバであってもよい。または、当該方法の実行主体は、携帯電話、タブレット、ＡＲ眼鏡などの端末機器であってもよい。

【0028】

図１を参照すると、図１は、本発明の実施例によるキーポイントの検出方法の例示的なフローチャートであり、当該方法は、Ｓ１０１～Ｓ１０４を含む。

【0029】

Ｓ１０１において、検出される画像を取得する。

【0030】

Ｓ１０２において、検出される画像に基づいて、画像特徴マップと、複数のキーポイントヒートマップを生成し、画像特徴マップは、検出される画像の各ターゲット対象間の相対位置関係を表すために使用され、各キーポイントヒートマップには、検出される画像の１つのカテゴリのキーポイントが含まれ、異なるカテゴリのキーポイントは、ターゲット対象の異なる部位に対応する。

【0031】

Ｓ１０３において、画像特徴マップおよび複数のキーポイントヒートマップに基づいて、キーポイントマップモデルを生成し、キーポイントマップモデルには、検出される画像内の異なるカテゴリのキーポイントの情報および接続エッジの情報が含まれ、各接続エッジは、２つの異なるカテゴリのキーポイント間のエッジである。

【0032】

Ｓ１０４において、キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定する。

【0033】

上記の方法において、生成される画像特徴マップと、複数のキーポイントヒートマップに基づいて、検出される画像に対応するキーポイントマップモデルを生成することができ、キーポイントマップモデルには、画像特徴マップと、キーポイントヒートマップ内の情報が含まれ、画像特徴マップは、検出される画像内の異なるターゲット対象間の相対位置関係を表すことができるため、キーポイントマップモデルに基づいて、異なるターゲット対象のキーポイントを正しく区別して、キーポイントクラスタリングの精度を向上させることができるようにする。

【0034】

Ｓ１０１およびＳ１０２について、
検出される画像は、任意の１つのターゲット対象を含む画像であり得る。実施プロセスでは、接続された記憶装置から、検出される画像を取得することができ、接続された撮影装置からリアルタイムで収集された検出される画像を取得することもできる。

【0035】

実施プロセスでは、取得された検出される画像を、トレーニングされたキーポイント検出ニューラルネットワークに入力して、画像特徴マップと、複数のキーポイントヒートマップを生成し、画像特徴マップ、複数のキーポイントヒートマップ、およびトレーニングされたキーポイント検出ニューラルネットワークに基づいて、各ターゲット対象の各キーポイントを決定することができる。

【0036】

ここで、各キーポイントヒートマップには、検出される画像の１つのカテゴリのキーポイントが含まれ、異なるカテゴリのキーポイントは、ターゲット対象の異なる部位に対応する。例えば、キーポイントのカテゴリは、頭、首、手などであり得、さらに、キーポイントヒートマップは、頭のキーポイントを含む画像であり得、または、キーポイントヒートマップは、首のキーポイントを含む画像などであり得、または、キーポイントのカテゴリは、設定された第１カテゴリ、第２カテゴリなどであり得る。ここで、第１カテゴリキーポイントは、親指のキーポイントであり得、第２カテゴリキーポイントは、食指のキーポイントであり得、さらに、キーポイントヒートマップは、第１カテゴリキーポイントを含む画像であり得、または、キーポイントヒートマップは、第２カテゴリキーポイントを含む画像などであり得る。ここで、キーポイントのカテゴリおよびカテゴリの数は、実際のニーズに従って設定することができる。および、各ターゲット対象に対応するキーポイントの数は、実際のニーズに従って設定でき、例えば、各ターゲット対象に対応するキーポイントの数は、１７個、１０５個などであり得る。

【0037】

ここで、キーポイントヒートマップの数と、設定したキーポイントカテゴリの数は一致し、例えば、設定したキーポイントのカテゴリ数が、１７個である場合、検出される画像に基づいて生成されるキーポイントヒートマップの数も１７個である。ここで、各カテゴリのキーポイントの数は、１つまたは複数であり得る。

【0038】

画像特徴マップの数は、１つであってもよいし、複数であってもよい。ここで、画像特徴マップの数は、１つである場合、当該画像特徴マップは、検出される画像内の各ターゲット対象の、各カテゴリのキーポイントに対応する部位間の相対位置関係を表すことができる。画像特徴マップの数が、複数である場合、画像特徴マップの数とキーポイントヒートマップの数は、同じであり得、即ち、各画像特徴マップは、検出される画像内の各ターゲット対象の１つのカテゴリのキーポイントに対応する部位間の相対位置関係を表すことができる。ここで、画像特徴マップのサイズと、キーポイントヒートマップのサイズは、一致する。

【0039】

実施プロセスでは、キーポイント検出ニューラルネットワークで異なる損失関数を設定することにより、画像特徴マップ及び複数のキーポイントヒートマップを取得することができる。

【0040】

Ｓ１０３について、
ここで、複数のキーポイントヒートマップおよび画像特徴マップから各キーポイントの情報を抽出し、情報を含む各キーポイントをノードとし、異なるカテゴリのキーポイント間のエッジを、接続エッジとして、キーポイントマップモデルを構成することができる。

【0041】

一代替実施形態において、キーポイントの情報は、位置情報、カテゴリ情報、およびピクセル特徴情報を含み得る。ここで、キーポイントヒートマップに基づいて、各キーポイントの位置情報を決定すること、各キーポイントの位置情報に基づいて、画像特徴マップからキーポイントのピクセル特徴情報を抽出し、キーポイントが属するキーポイントヒートマップのカテゴリラベルに基づいて、キーポイントに対応するカテゴリ情報を決定することに従って、キーポイントマップモデルの各キーポイントの情報を決定することができる。

【0042】

実施プロセスでは、キーポイントヒートマップの各ピクセルのピクセル値に基づいて、各キーポイントの位置情報を決定することができる。例示的に、各キーポイントヒートマップに対して、ピクセル値が最大値であるピクセルを選択して、１つのキーポイントとして決定し、選択された当該ピクセルの位置情報を、キーポイントの位置情報として決定することができる。ここで、キーポイントヒートマップにおける特定のピクセルのピクセル値が、周囲のピクセルのピクセル値より大きい場合、当該ピクセルのピクセル値が、最大値であり、当該ピクセルが、キーポイントであると見なす。

【0043】

各ピクセルの位置情報を取得した後、画像特徴マップから当該位置情報に対応するピクセルのピクセル値を抽出し、抽出されたピクセル値をキーポイントのピクセル特徴情報として決定することができる。

【0044】

同時に、各キーポイントが属するキーポイントヒートマップのカテゴリラベルに従って、キーポイントに対応するカテゴリ情報を決定することもできる。例えば、キーポイントヒートマップＡのカテゴリラベルが、頭である場合、キーポイントヒートマップＡに含まれる各キーポイントのカテゴリ情報は、頭のキーポイントであり、キーポイントヒートマップＢのカテゴリラベルが、首である場合、キーポイントヒートマップＢに含まれる各キーポイントのカテゴリ情報は、首のキーポイントである。

【0045】

一代替実施形態において、以下の２つの方式に従って、キーポイントマップモデル内の各接続エッジを生成することができる。

【0046】

方式１において、各キーポイントに対応するカテゴリ情報に基づいて、各キーポイントを、キーポイントが属するカテゴリとは異なる他のキーポイントと接続して、キーポイントマップモデル内の接続エッジを形成する。

【0047】

方式２において、各キーポイントに対応するカテゴリ情報、およびプリセットの異なるカテゴリ間のマッチング関係に基づいて、各キーポイントを、キーポイントが属するカテゴリとマッチングするターゲットカテゴリに対応するキーポイントと接続して、キーポイントマップモデル内の接続エッジを形成する。

【0048】

方式１には、各キーポイントに対応するカテゴリ情報に基づいて、カテゴリ情報が同じであるキーポイントを接続しなく、カテゴリ情報が、異なるキーポイントを接続して、キーポイントマップモデル内の接続エッジを形成することができる。

【0049】

ここで、各キーポイントに対応するカテゴリ情報に基づいて、各キーポイントを、キーポイントが属するカテゴリとは異なる他のキーポイントと接続して、キーポイントマップモデル内の接続エッジを形成することにより、キーポイントマップモデルを取得し、後続の各ターゲット対象の各キーポイントを決定することにデータサポートを提供する。

【0050】

方式２には、人体構造に基づいて、異なるカテゴリ間のマッチング関係を事前にプリセットすることができ、例えば、プリセットの異なるカテゴリ間のマッチング関係は、頭カテゴリと首カテゴリをマッチングし、首カテゴリのポイントをそれぞれ左肩カテゴリ、右肩カテゴリ、および頭カテゴリとマッチングし、足カテゴリと膝カテゴリをマッチングすることなどであり得る。ここで、異なるカテゴリ間のマッチング関係は、実際のニーズに従って設定することができる。

【0051】

さらに、各キーポイントに対して、当該キーポイントのカテゴリとマッチングするターゲットカテゴリを決定し、当該キーポイントをターゲットカテゴリに対応するキーポイントと接続して、キーポイントマップモデル内の接続エッジを形成することができる。

【0052】

上記の実施形態において、異なるカテゴリ間のマッチング関係をプリセットすることができ、例えば、頭のキーポイントと首のキーポイントをマッチングするようにプリセットし、足のキーポイントと膝のキーポイントをマッチングするようにプリセットするなどができ、各キーポイントを、キーポイントが属するカテゴリとマッチングするターゲットカテゴリに対応するキーポイントと接続して、各キーポイントを、マッチングしないキーポイントと接続しないよいにして、相関性を計算する計算量を減少し、さらに、キーポイント検出の効率を向上させることができる。

【0053】

図２Ａに示されたキーポイントマップモデルの概略図を参照すると、当該図面には、方式１に基づいて生成されたキーポイントマップモデル２１と、方式２に基づいて生成されたキーポイントマップモデル２２が含まれる。ここで、図面には、第１カテゴリのキーポイント２０１、第２カテゴリのキーポイント２０２、および第３カテゴリのキーポイント２０３を含み、さらに、異なるキーポイント間の接続エッジ２０４を含む。図面から分かるように、キーポイントマップモデル２１は、異なるカテゴリの各キーポイント間の接続エッジを含み、キーポイントマップモデル２２は、マッチング関係を持つ異なるキーポイント間の接続エッジを含み、図面から分かるように、プリセットの異なるカテゴリ間のマッチング関係は、第１カテゴリと第２カテゴリがマッチングし、第２カテゴリと第３カテゴリがマッチングすることである。

【0054】

Ｓ１０４について、
ここで、キーポイントマップモデルに基づいて、キーポイントマップモデルに含まれる各キーポイントを分割し、同じターゲット対象に属する複数のキーポイントを分割することができ、それにより、検出される画像に含まれる各ターゲット対象に対応する複数のキーポイントを取得することができる。ここで、各ターゲット対象に対応するキーポイントの数は、同じである。

【0055】

一代替実施形態において、キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定することは、以下のステップを含み得る。

【0056】

Ａ１において、キーポイントマップモデルの各キーポイントの情報および接続エッジの情報に基づいて、キーポイントマップモデルにおける接続関係を持つ２つのキーポイント間の相関性を決定する。

【0057】

Ａ２において、決定される相関性に基づいて、同じターゲット対象に属する各キーポイントを決定する。

【0058】

上記の実施形態で、各キーポイントの情報および接続エッジの情報に基づいて、キーポイントマップモデルで接続関係を持つ２つのキーポイント間の相関性を決定することができ、当該相関性が、対応する２つのキーポイント間が同じターゲット対象に属する確率を表すことができるため、決定された相関性を介して、同じターゲット対象に属する各キーポイントをクラスタリングし、各ターゲット対象に対応する各キーポイントを取得することを実現することができる。

【0059】

ステップＡ１において、キーポイントマップモデルの各接続エッジに対して、当該接続エッジに対応する２つのキーポイント間の相関性を決定することができ、即ち、各接続エッジに対応する相関性を取得することができる。

【0060】

一代替実施形態として、キーポイントマップモデルの各キーポイントの情報および接続エッジの情報に基づいて、キーポイントマップモデルにおける接続関係を持つ２つのキーポイント間の相関性を決定することは、以下のステップを含む。

【0061】

１、各キーポイントに対して、キーポイントの情報、およびキーポイントマップモデル内の、キーポイントと接続関係を持つ他のキーポイントの情報に基づいて、キーポイントの融合特徴を決定する。

【0062】

２、各キーポイントにそれぞれ対応する融合特徴に基づいて、キーポイントマップモデルにおける接続関係を持つ２つのキーポイント間の相関性を決定する。

【0063】

各キーポイントの融合特徴を決定する場合に、当該キーポイントの情報、および当該キーポイントと接続関係持つキーポイントマップモデルにおける他のキーポイントの情報に基づいて、キーポイントの融合特徴を決定することができ、ここで、他のキーポイントは、当該キーポイント間に接続エッジがあるキーポイントマップモデルにおけるキーポイントであり得る。

【0064】

ここで、キーポイントマップモデルにおける各キーポイントに、対応する融合特徴を決定し、各キーポイントにそれぞれ対応する融合特徴に基づいて、キーポイントマップモデルの各接続エッジに対応する２つのキーポイント間の相関性を決定することができる。

【0065】

実施プロセスでは、融合特徴は、各キーポイントに対応する特徴ベクトルであり得る場合、各接続エッジに対応する２つのキーポイントの融合特徴（特徴ベクトル）間の類似度を計算し、計算して得た類似度を介してこの２つのキーポイント間の相関性を決定することができる。

【0066】

上記の実施形態で、各キーポイントに対して、当該キーポイントの情報と、当該キーポイントと接続関係を持つ他のキーポイントの情報に基づいて、当該キーポイントの融合特徴を決定し、このようにして、当該キーポイントの融合特徴は、当該キーポイントの特徴を表すことができるだけでなく、当該キーポイントと他のキーポイントとの関連付け関係を表すこともでき、さらに、各キーポイントにそれぞれ対応する融合特徴に基づいて、接続関係を持つ２つのキーポイント間の相関性を決定でき、当該相関性に基づいて、各ターゲット対象に対応する各キーポイントをより正しく決定することができる。

【0067】

ステップＡ２において、キーポイントマップモデルの各接続エッジに対応する２つのキーポイントの相関性を取得することを決定した後、決定された各相関性に基づいて、各キーポイントを分割し、同じターゲット対象に属する各キーポイントを決定することができる。

【0068】

一代替実施形態として、決定された相関性に基づいて、同じターゲット対象に属する各キーポイントを決定することは、対応する相関性が設定閾値より大きい各キーポイントを同じターゲット対象のキーポイントとして使用することを含み得る。

【0069】

実施プロセスでは、設定された相関性の閾値、およびプリセットの各カテゴリのキーポイントのターゲット数に基づいて、対応する相関性が設定された閾値より大きい各キーポイントを同じターゲット対象のキーポイントとして使用することができる。ここで、各ターゲット対象のキーポイントは、複数の異なるカテゴリのキーポイントを含み、各カテゴリのキーポイントの数は、プリセットのターゲット数と一致する。

【0070】

一代替実施形態において、キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定した後、各ターゲット対象に対応する各キーポイントの情報に基づいて、ターゲット対象の行動タイプを決定することをさらに含み得る。

【0071】

ここで、各ターゲット対象の各キーポイントの情報を取得した後、各ターゲット対象の各キーポイントの情報を行動検出ニューラルネットワークに入力して、当該ターゲット対象の行動タイプを決定することができ、例えば、当該行動タイプは、走る、歩く、腕を上げるなどであり得る。

【0072】

一代替実施形態において、キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定した後、各ターゲット対象に対応する各キーポイントの情報に基づいて、ターゲット対象に対する特殊効果情報を生成することをさらに含み得る。

【0073】

ここで、ターゲット対象の各キーポイントの情報に対して、ターゲット対象のターゲット部位の位置を決定し、プリセットのターゲット部位に対応する特殊効果情報に基づいて、ターゲット対象のターゲット部位の位置で対応する特殊効果情報を生成することができる。ここで、ターゲット部位は、腕、頭、手などであり得る。例えば、ターゲット対象の各キーポイントの情報に対して、ターゲット対象の腕の位置を決定し、プリセットの腕の特殊効果情報に基づいて、ターゲット対象の腕の位置で対応する特殊効果情報を生成することができる。

【0074】

ここで、各ターゲット対象に対応する各キーポイントの情報に対して、当該ターゲット対象の動きタイプを決定し、プリセットの動きタイプと特殊効果情報とのマッピング関係に基づいて、当該ターゲット対象に、対応する特殊効果情報を生成することもできる。例えば、ターゲット対象Ａに対応する各キーポイントの情報に基づいて、当該ターゲット対象の動きタイプが、ハートを作る動きであると決定した場合、当該ターゲット対象にハートの特殊効果情報を生成することができる。

【0075】

関連技術において、ターゲット対象に対するキーポイント検出は、ボトムアップの複数のターゲット対象キーポイントの検出方法を介して実現される。このような方法は、まず、写真内のすべての可能なターゲット対象のキーポイントを検出する同時に、キーポイントの嵌め込み特徴（Ｅｍｂｅｄｄｉｎｇ ｆｅａｔｕｒｅ）などの各キーポイントの情報を抽出し、その後、最適化方程式を解くことを介して、これらのキーポイントをクラスタリングし複数の異なるターゲット対象に割り当てる。これから分かるように、ボトムアップの方法の実行速度がよき速く、近くのターゲットまたはオクルージョン状況に対してより堅牢である。

【0076】

キーポイントを抽出する嵌め込み特徴は、以下の２つの方法がある。

【0077】

方法１において、キーポイント嵌め込み特徴（ＫＥ：Ｋｅｙｐｏｉｎｔ Ｅｍｂｅｄｄｉｎｇ）に基づいて実現する。

【0078】

方法２において、空間インスタンスの嵌め込み特徴（ＳＩＥ：Ｓｐａｔｉａｌ Ｉｎｓｔａｎｃｅ Ｅｍｂｅｄｄｉｎｇ）のキーポイントの検出方法に基づいて実現する。

【0079】

ここで、方法１のトレーニングプロセスでは、ＫＥが、主に、キーポイントの近くのピクセルの見かけの情報を含むため、同じターゲット対象の各キーポイントの嵌め込み値をズームインし、異なるターゲット対象のキーポイントの嵌め込み値をズームアウトすることにより、キーポイントの嵌め込み特徴を抽出することができる。

【0080】

ここで、方法２のトレーニングプロセスでは、ＳＩＥが、ターゲット対象の中心位置情報を含むため、各ピクセル値をターゲット対象中心のベクトルに戻ることにより、キーポイントの嵌め込み特徴を抽出することができる。

【0081】

これから分かるように、ＫＥは、主に、ピクセル特徴情報に関し、ここで、前記ピクセル特徴情報は、ピクセルのピクセル値などのピクセルの見かけの情報を含み得、空間位置情報に敏感ではなく、長い距離のキーポイント間の関係を構築することができ、しかしながら、空間の制限がないため、ＫＥのみを依存すると、遠くの異なるターゲット対象のキーポイントをまとめる問題が発生する可能性がある。

【0082】

これから分かるように、関連技術において、ボトムアップのキーポイントの検出方法では、キーポイントの検出と、キーポイントのクラスタリングは、２つの独立したステップである。キーポイントのクラスタリングは、微分できない後の処理動作である。以下のいくつかの問題がある。１）キーポイントのクラスタリングプロセスは、固定した後処理であり、データで最適化を学習できない。２）共同最適化がないため、キーポイントのクラスタリング精度は、高くなく、クラスタリングエラーを生成する可能性があり、例えば、異なるターゲット対象のキーポイントを、同じターゲット対象のキーポイントとしてクラスタリングする。３）クラスタリング後の処理プロセスには、追加のハイパーパラメータ設定が必要である。

【0083】

上記の問題を解決するために、本発明の実施例は、キーポイントの検出方法を提供し、前記方法のシステムブロック図は、２Ｂに示された通りである。

【0084】

関連技術において、キーポイントの検出Ｓ２１と、キーポイントのクラスタリングＳ２２の２つのステップを含む。キーポイントのクラスタリングステップは、キーポイント検出の後の後処理動作である。

【0085】

本発明の実施例は、キーポイントの検出方法を提供し、キーポイント候補抽出モジュールＧ１（Ｋｅｙｐｏｉｎｔ Ｃａｎｄｉｄａｔｅ Ｐｒｏｐｏｓａｌ）と、グラフのクラスタリングモジュールＧ２（Ｇｒａｐｈ Ｇｒｏｕｐｉｎｇ）の２つのサブモジュールを含む。

【0086】

キーポイント候補抽出モジュールＧ１は、各フレーム画像に対して、まず、マルチタスクのボトムアップのターゲット対象キーポイントモデルを介して、ターゲット対象キーポイントのキーポイントヒートマップ（Ｈｅａｔｍａｐｓ）、および画像特徴マップまたは空間インスタンスの画像特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐｓ）を直接に出力するように構成される。キーポイントヒートマップを介して最大値（ａｒｇｍａｘ）を取得して、キーポイントのピクセル座標位置Ｘを取得することができる。その同時に、画像特徴マップの対応する位置情報から、キーポイントの特徴情報Ｆを取得することができる。

【0087】

グラフクラスタリングモジュールＧ２は、２つのキーポイントが、同じターゲット対象に属するか否かを判断し、同じターゲット対象のキーポイントをクラスタリングするように構成される。

【0088】

例を挙げて説明すると、図２Ｃは、キーポイントヒートマップＰ１および画像特徴マップＰ２によって、グラフ畳み込みネットワークを入力するプロセスを示す。まず、キーポイントの情報を抽出し、キーポイントマップモデルＧ＝｛Ｖ，Ｅ｝を構築する。キーポイントマップモデルＧは、キーポイントＶと、エッジＥの２つの部分に分けられ、ここで、キーポイントＶは、各キーポイントの情報であり、即ち、「キーポイントのカテゴリＴ、キーポイントの座標Ｘ、キーポイントの特徴情報Ｆ」を含む。エッジＥは、キーポイント間の関係、即ち、同じターゲット対象に属するか否かを表す。キーポイントマップモデルを構築した後、キーポイント相関性を計算する。エッジ畳み込み（ＥｄｇｅＣｏｎｖ）を使用してグラフ畳み込みニューラルネットワークモデルを構築し、キーポイントマップモデルを畳み込み、キーポイントの特徴情報を更新し続ける。次に、１つのエッジ分類器をトレーニングして、各ペアのキーポイントを弁別し、このペアのキーポイントが、同じターゲット対象に属するか否かを判断する。キーポイント候補抽出モジュールＧ１、グラフクラスタリングモジュールＧ２、エッジ分類器を介して、エンドツーエンドにトレーニング最適化を実行することができる。

【0089】

一可能な実施形態において、本発明の実施例によるキーポイントの検出方法の一態様において、ターゲット対象のキーポイントの位置情報を発行予測することができ、一方、前記ターゲット対象の行動タイプを決定でき、もう一方では、ターゲット対象の異なる部位にリアルタイムの特殊効果情報を追加することができる。

【0090】

上記の方法を使用して、マルチターゲット対象姿勢を推定しグラフクラスタリング問題に変換することができ、ターゲット対象の位相構造情報を保留し、マルチターゲット対象姿勢図の特徴情報を抽出することができ、１つのディープニューラルネットワークモデルを介して、マルチターゲット対象姿勢のクラスタリング結果を取得することができ、関連技術における、キーポイントに対してクラスタリングなどの後処理動作を実行して、動作ステップを簡略化することができ、キーポイントの検出と、キーポイントのクラスタリングを統合し、キーポイントのクラスタリング精度を向上させることができる。

【0091】

当業者は、実施形態の上記の方法において、ステップの書き込み順序は、厳密な実行順序で、実装プロセスの制限となることではなく、各ステップの実行順序は、その機能と可能性に基づくべきであることを理解することができる。

【0092】

同じ概念に基づいて、本発明の実施例は、さらに、キーポイントの検出装置を提供し、本発明の実施例によりキーポイントの検出装置のアーキテクチャの概略図である、図３を参照すると、取得モジュール３０１、第１生成モジュール３０２、第２生成モジュール３０３、決定モジュール３０４、行動タイプ決定モジュール３０５、および特殊効果情報生成モジュール３０６を備え、ここで、
取得モジュール３０１は、検出される画像を取得するように構成され、
第１生成モジュール３０２は、前記検出される画像に基づいて、画像特徴マップと、複数のキーポイントヒートマップを生成するように構成され、前記画像特徴マップは、前記検出される画像の各ターゲット対象間の相対位置関係を表すために使用され、各前記キーポイントヒートマップには、前記検出される画像の１つのカテゴリのキーポイントが含まれ、異なるカテゴリのキーポイントは、前記ターゲット対象の異なる部位に対応し、
第２生成モジュール３０３は、前記画像特徴マップおよび複数の前記キーポイントヒートマップに基づいて、キーポイントマップモデルを生成するように構成され、前記キーポイントマップモデルには、前記検出される画像内の異なるカテゴリのキーポイントの情報および接続エッジの情報が含まれ、各接続エッジは、２つの異なるカテゴリのキーポイント間のエッジであり、
決定モジュール３０４は、前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定するように構成される。

【0093】

一可能な実施形態において、前記決定モジュール３０４は、前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定する場合に、
前記キーポイントマップモデルの各キーポイントの情報および前記接続エッジの情報に基づいて、前記キーポイントマップモデルにおける接続関係を持つ２つのキーポイント間の相関性を決定し、
決定された前記相関性に基づいて、同じターゲット対象に属する各キーポイントを決定するように構成される。

【0094】

一可能な実施形態において、前記決定モジュール３０４は、決定された前記相関性に基づいて、同じターゲット対象に属する各キーポイントを決定する場合に、
対応する前記相関性が設定閾値より大きい各キーポイントを同じターゲット対象のキーポイントとして使用するように構成される。

【0095】

一可能な実施形態において、前記決定モジュール３０４は、前記キーポイントマップモデルの各キーポイントの情報および前記接続エッジの情報に基づいて、前記キーポイントマップモデルにおける接続関係を持つ２つのキーポイント間の相関性を決定する場合に、
各キーポイントに対して、前記キーポイントの情報、および前記キーポイントと接続関係を持つ前記キーポイントマップモデル内の他のキーポイントの情報に基づいて、前記キーポイントの融合特徴を決定し、
各キーポイントにそれぞれ対応する融合特徴に基づいて、前記キーポイントマップモデルにおける接続関係を持つ２つのキーポイント間の相関性を決定するように構成される。

【0096】

一可能な実施形態において、前記キーポイントの情報は、位置情報、カテゴリ情報、およびピクセル特徴情報を含み、
前記第２生成モジュール３０３は、
前記キーポイントヒートマップに基づいて、各キーポイントの位置情報を決定し、
各前記キーポイントの位置情報に基づいて、前記画像特徴マップから前記キーポイントのピクセル特徴情報を抽出し、前記キーポイントが属するキーポイントヒートマップのカテゴリラベルに基づいて、前記キーポイントに対応するカテゴリ情報を決定することに従って、前記キーポイントマップモデルの各キーポイントの情報を決定するように構成される。

【0097】

一可能な実施形態において、前記第２生成モジュール３０３は、
各キーポイントに対応する前記カテゴリ情報に基づいて、各キーポイントを、前記キーポイントが属するカテゴリとは異なる他のキーポイントと接続して、前記キーポイントマップモデル内の接続エッジを形成することに従って、前記キーポイントマップモデル内の各接続エッジを生成する。

【0098】

一可能な実施形態において、前記第２生成モジュール３０３は、
各キーポイントに対応する前記カテゴリ情報、およびプリセットの異なるカテゴリ間のマッチング関係に基づいて、各キーポイントを、前記キーポイントが属するカテゴリとマッチングするターゲットカテゴリに対応するキーポイントと接続して、前記キーポイントマップモデル内の接続エッジを形成することに従って、前記キーポイントマップモデル内の各接続エッジを生成する。

【0099】

一可能な実施形態において、前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定した後、さらに、
各ターゲット対象に対応する各キーポイントの情報に基づいて、前記ターゲット対象の行動タイプを決定するように構成される、行動タイプ決定モジュール３０５を備える。

【0100】

一可能な実施形態において、前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定した後、さらに、
各ターゲット対象に対応する各キーポイントの情報に基づいて、前記ターゲット対象に対する特殊効果情報を生成するように構成される、特殊効果情報生成モジュール３０６を備える。

【0101】

いくつかの実施例において、本発明の実施例による装置が備える機能またはテンプレートは、上記の方法の実施例で説明される方法を実行するために使用され得、その実現は、上記の方法の実施例における説明を参照することができ、簡潔にするために、ここで再び説明しない。

【0102】

同じ技術的概念に基づいて、本発明の実施例は、さらに、電子機器を提供する。本発明の実施例提供の電子機器の例示的な構造図である図４を参照すると、プロセッサ４０１、メモリ４０２、およびバス４０３を含む。ここで、メモリ４０２は、実行命令を記憶するように構成され、ストレージ４０２１および外部メモリ４０２２を含み、ここでのストレージ４０２１は、内部メモリとも称し得、プロセッサ４０１内の演算データ、およびハードディスクなどの外部メモリ４０２２と交換するデータを一時的に格納するように構成され、プロセッサ４０１は、ストレージ４０２１を介して外部メモリ４０２２とデータを交換し、電子機器４００が実行される場合に、プロセッサ４０１とメモリ４０２は、バス４０３を介して通信して、プロセッサ４０１を、
検出される画像を取得し、
前記検出される画像に基づいて、画像特徴マップと、複数のキーポイントヒートマップを生成し、前記画像特徴マップは、前記検出される画像の各ターゲット対象間の相対位置関係を表すために使用され、各前記キーポイントヒートマップには、前記検出される画像の１つのカテゴリのキーポイントが含まれ、異なるカテゴリのキーポイントは、前記ターゲット対象の異なる部位に対応し、
前記画像特徴マップおよび複数の前記キーポイントヒートマップに基づいて、キーポイントマップモデルを生成し、前記キーポイントマップモデルには、前記検出される画像内の異なるカテゴリのキーポイントの情報および接続エッジの情報が含まれ、各接続エッジは、２つの異なるカテゴリのキーポイント間のエッジであり、
前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定する命令を実行させる。

【0103】

なお、本発明の実施例は、さらに、コンピュータプログラムを記憶する、コンピュータ可読記憶媒体を提供し、前記コンピュータプログラムが、プロセッサによって実行されるときに、上記の方法実施例に記載のキーポイントの検出方法のステップを実行する。

【0104】

本発明の実施例によるキーポイントの検出方法のコンピュータプログラム製品は、プログラムコードを記憶するコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれる命令は、上記の方法実施例に記載のキーポイントの検出方法のステップを実行するように構成されることができ、上記の方法実施例を参照でき、ここでは繰り返して説明しない。

【0105】

当業者なら理解できるが、説明の便宜および簡潔のために、上記に説明されるシステムおよび装置の作業プロセスは、上記の方法の実施例における対応するプロセスを参照することができ、ここでは繰り返して説明しない。本発明によるいくつかの実施例において、開示されたシステム、装置および方法は、他の方法で実現できることを理解されたい。上記で説明された装置実施例は、例示的なものに過ぎず、例えば、前記ユニットの分離は、論理機能の分離に過ぎず、実際の実現ときには別の分離方法があり、例えば、複数のユニットまたはコンポーネントを別のシステムに統合または集積したり、または一部の特徴を無視したり、または実行しないことができる。なお、表示または議論される相互結合、または直接結合、または通信接続は、いくつかの通信インターフェースを使用して実現することができ、装置またはユニット間の間接結合または通信接続は、電気的または機械的な形であってもよく、他の形であってもよい。

【0106】

前記分離部品として説明されるユニットは、物理的に分離されいてもされなくてもよく、ユニットとして表示される部品は、物理的ユニットであってもなくてもよい。つまり、１箇所に配置されてもよく、複数のネットワークユニットに分散されてもよい。実際のニーズに従って、その中の一部またはすべてのユニットを選択して、本実施例の技術案の目的を実現することができる。

【0107】

さらに、本発明の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、または各ユニットが、物理的に別々に存在してもよく、または２つまたは２つ以上のユニットが１つのユニットに統合されてもよい。

【0108】

前記機能が、ソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用される場合、プロセッサ実行可能な不揮発のコンピュータ可読記憶媒体に記憶されることができる。このような理解に基づいて、本発明の技術的解決策は、本質的にまたは先行技術に対して寄与する部分または前記技術的解決策の一部は、ソフトウェア製品の形で具現されることができ、前記コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、１台のコンピュータ機器（パーソナルコンピュータ、サーバ、またはネットワーク機器等であり得る）に本発明の各実施例に記載の方法のすべてまたは一部のステップを実行させるためのいくつかの命令を含む。前述した記憶媒体は、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスクまたは光ディスク等のプログラムコードを記憶することができる様々な媒体を含む。

【0109】

以上は、本発明の具体的な実施形態に過ぎないが、本発明の保護範囲はこれに限定されず、当業者は、本発明に開示された技術的範囲内で容易に想到し得る変更または置換は、すべて本発明の保護範囲内に含まれるべきである。したがって、本発明の保護範囲は、特許請求の保護範囲を基準とするべきである。

【産業上の利用可能性】

【0110】

本発明は、生成される画像特徴マップと、複数のキーポイントヒートマップに基づいて、検出される画像に対応するキーポイントマップモデルを生成し、キーポイントマップモデルには、画像特徴マップと、キーポイントヒートマップ内の情報が含まれ、画像特徴マップは、検出される画像内の異なるターゲット対象間の相対位置関係を表すことができるため、キーポイントマップモデルに基づいて、異なるターゲット対象のキーポイントを正しく区別して、キーポイントクラスタリングの精度を向上させることができるようにする。

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【手続補正書】

【提出日】2021-07-07

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

キーポイントの検出方法であって、
検出される画像を取得することと、
前記検出される画像に基づいて、画像特徴マップと、複数のキーポイントヒートマップを生成することであって、前記画像特徴マップは、前記検出される画像の各ターゲット対象間の相対位置関係を表すために使用され、各前記キーポイントヒートマップには、前記検出される画像の１つのカテゴリのキーポイントが含まれ、異なるカテゴリのキーポイントは、前記ターゲット対象の異なる部位に対応することと、
前記画像特徴マップおよび複数の前記キーポイントヒートマップに基づいて、キーポイントマップモデルを生成することであって、前記キーポイントマップモデルには、前記検出される画像内の異なるカテゴリのキーポイントの情報および接続エッジの情報が含まれ、各接続エッジは、２つの異なるカテゴリのキーポイント間のエッジであることと、
前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定することと、を含む、前記キーポイントの検出方法。

【請求項2】

前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定することは、
前記キーポイントマップモデルの各キーポイントの情報および前記接続エッジの情報に基づいて、前記キーポイントマップモデルにおける接続関係を持つ２つのキーポイント間の相関性を決定することと、
決定された前記相関性に基づいて、同じターゲット対象に属する各キーポイントを決定することと、を含む、
請求項１に記載のキーポイントの検出方法。

【請求項3】

決定された前記相関性に基づいて、同じターゲット対象に属する各キーポイントを決定することは、
対応する前記相関性が設定閾値より大きい各キーポイントを同じターゲット対象のキーポイントとして使用することを含む、
請求項２に記載のキーポイントの検出方法。

【請求項4】

前記キーポイントマップモデルの各キーポイントの情報および前記接続エッジの情報に基づいて、前記キーポイントマップモデルにおける接続関係を持つ２つのキーポイント間の相関性を決定することは、
各キーポイントに対して、前記キーポイントの情報、および前記キーポイントと接続関係を持つ前記キーポイントマップモデル内の他のキーポイントの情報に基づいて、前記キーポイントの融合特徴を決定することと、
各キーポイントにそれぞれ対応する融合特徴に基づいて、前記キーポイントマップモデルにおける接続関係を持つ２つのキーポイント間の相関性を決定することと、を含む、
請求項２または３に記載のキーポイントの検出方法。

【請求項5】

前記キーポイントの情報は、位置情報、カテゴリ情報、およびピクセル特徴情報を含み、
前記キーポイントヒートマップに基づいて、各キーポイントの位置情報を決定すること、
各前記キーポイントの位置情報に基づいて、前記画像特徴マップから前記キーポイントのピクセル特徴情報を抽出し、前記キーポイントが属するキーポイントヒートマップのカテゴリラベルに基づいて、前記キーポイントに対応するカテゴリ情報を決定することに従って、前記キーポイントマップモデルの各キーポイントの情報を決定する、
請求項１ないし４のいずれか一項に記載のキーポイントの検出方法。

【請求項6】

各キーポイントに対応する前記カテゴリ情報に基づいて、各キーポイントを、前記キーポイントが属するカテゴリとは異なる他のキーポイントと接続して、前記キーポイントマップモデル内の接続エッジを形成することに従って、前記キーポイントマップモデル内の各接続エッジを生成する、
請求項５に記載のキーポイントの検出方法。

【請求項7】

各キーポイントに対応する前記カテゴリ情報、およびプリセットの異なるカテゴリ間のマッチング関係に基づいて、各キーポイントを、前記キーポイントが属するカテゴリとマッチングするターゲットカテゴリに対応するキーポイントと接続して、前記キーポイントマップモデル内の接続エッジを形成することに従って、前記キーポイントマップモデル内の各接続エッジを生成する、
請求項５に記載のキーポイントの検出方法。

【請求項8】

前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定した後、
各ターゲット対象に対応する各キーポイントの情報に基づいて、前記ターゲット対象の行動タイプを決定することをさらに含む、
請求項１ないし７のいずれか一項に記載のキーポイントの検出方法。

【請求項9】

前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定した後、
各ターゲット対象に対応する各キーポイントの情報に基づいて、前記ターゲット対象に対する特殊効果情報を生成することをさらに含む、
請求項１ないし７のいずれか一項に記載のキーポイントの検出方法。

【請求項10】

キーポイントの検出装置であって、
検出される画像を取得するように構成される、取得モジュールと、
前記検出される画像に基づいて、画像特徴マップと、複数のキーポイントヒートマップを生成するように構成される第１生成モジュールであって、前記画像特徴マップは、前記検出される画像の各ターゲット対象間の相対位置関係を表すために使用され、各前記キーポイントヒートマップには、前記検出される画像の１つのカテゴリのキーポイントが含まれ、異なるカテゴリのキーポイントは、前記ターゲット対象の異なる部位に対応する、第１生成モジュールと、
前記画像特徴マップおよび複数の前記キーポイントヒートマップに基づいて、キーポイントマップモデルを生成するように構成される第２生成モジュールであって、前記キーポイントマップモデルには、前記検出される画像内の異なるカテゴリのキーポイントの情報および接続エッジの情報が含まれ、各接続エッジは、２つの異なるカテゴリのキーポイント間のエッジである、第２生成モジュールと、
前記キーポイントマップモデルに基づいて、同じターゲット対象に属する各キーポイントを決定するように構成される、決定モジュールと、を備える、前記キーポイントの検出装置。

【請求項11】

プロセッサ、メモリおよびバスを備える、電子機器であって、前記メモリは、前記プロセッサの実行可能な機械可読命令を記憶し、電子機器が実行されるとき、前記プロセッサと前記メモリとは、バスを介して通信し、前記機械可読命令は、前記プロセッサによって実行されるとき、請求項１ないし９のいずれか一項に記載のキーポイントの検出方法のステップを実行する、前記電子機器。

【請求項12】

コンピュータプログラムを記憶する、コンピュータ可読記憶媒体であって、前記コンピュータプログラムは、プロセッサによって実行されるときに、請求項１ないし９のいずれか一項に記載のキーポイントの検出方法のステップを実行する、前記コンピュータ可読記憶媒体。

【請求項13】

コンピュータ可読コードを含む、コンピュータプログラム製品であって、前記コンピュータ可読コードが、電子機器で実行されるとき、前記電子機器内のプロセッサは、請求項１ないし９のいずれか一項に記載のキーポイントの検出方法を実現するためのステップを実行する、前記コンピュータプログラム製品。

【国際調査報告】