知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024028183
(43)【公開日】2024-03-01
(54)【発明の名称】動作認識装置、方法及び電子機器
(51)【国際特許分類】
G06T 7/20 20170101AFI20240222BHJP
G06V 10/82 20220101ALI20240222BHJP
G06T 7/00 20170101ALI20240222BHJP
G06V 10/22 20220101ALI20240222BHJP
G06V 10/26 20220101ALI20240222BHJP
【ＦＩ】
G06T7/20 300Z
G06V10/82
G06T7/00 660B
G06V10/22
G06V10/26
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023131596
(22)【出願日】2023-08-10
(31)【優先権主張番号】202210998550.1
(32)【優先日】2022-08-19
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】ツァイ・ウェヌティン
(72)【発明者】
【氏名】朱 建清
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA13
5L096FA05
5L096FA77
5L096FA79
5L096HA11
5L096HA13
(57)【要約】
【課題】本発明の実施例は、動作認識装置、方法及び電子機器を提供する。
【解決手段】該方法は、第１のニューラルネットワークを使用してビデオフレームを処理し、部位アフィニティフィールド及び信頼度マップを出力するステップと、第２のニューラルネットワークにより該ビデオフレームにおけるオブジェクトを検出し、該オブジェクトのバウンディングボックスを出力するステップと、該部位アフィニティフィールド、該信頼度マップ及び該バウンディングボックスに基づいて該オブジェクトの動作認識を行うステップと、を含む。これによって、動作認識結果の正確性を向上させることができる。
【選択図】図１
【解決手段】該方法は、第１のニューラルネットワークを使用してビデオフレームを処理し、部位アフィニティフィールド及び信頼度マップを出力するステップと、第２のニューラルネットワークにより該ビデオフレームにおけるオブジェクトを検出し、該オブジェクトのバウンディングボックスを出力するステップと、該部位アフィニティフィールド、該信頼度マップ及び該バウンディングボックスに基づいて該オブジェクトの動作認識を行うステップと、を含む。これによって、動作認識結果の正確性を向上させることができる。
【選択図】図１
【特許請求の範囲】
【請求項1】
動作認識装置であって、
第１のニューラルネットワークを使用してビデオフレームを処理し、部位アフィニティフィールド及び信頼度マップを出力する第１の処理部と、
第２のニューラルネットワークにより前記ビデオフレームにおけるオブジェクトを検出し、前記オブジェクトのバウンディングボックスを出力する第２の処理部と、
前記部位アフィニティフィールド、前記信頼度マップ及び前記バウンディングボックスに基づいて前記オブジェクトの動作認識を行う動作認識部と、を含む、装置。
第１のニューラルネットワークを使用してビデオフレームを処理し、部位アフィニティフィールド及び信頼度マップを出力する第１の処理部と、
第２のニューラルネットワークにより前記ビデオフレームにおけるオブジェクトを検出し、前記オブジェクトのバウンディングボックスを出力する第２の処理部と、
前記部位アフィニティフィールド、前記信頼度マップ及び前記バウンディングボックスに基づいて前記オブジェクトの動作認識を行う動作認識部と、を含む、装置。
【請求項2】
前記動作認識部は、
前記信頼度マップに基づいて前記オブジェクトのキーポイント情報を生成する第１の生成部と、
前記部位アフィニティフィールド及び前記キーポイント情報に基づいて、隣接する２つのキーポイント間の部位アフィニティフィールドスコアを計算する第２の生成部と、
前記バウンディングボックスを調整して補正バウンディングボックスを生成する第３の生成部と、
前記キーポイント情報、前記部位アフィニティフィールドスコアに基づいて、前記補正バウンディングボックス内に第１の骨格マップを生成し、前記第１の骨格マップに基づいて前記オブジェクトの動作認識を行う第１の認識部、及び／又は、前記キーポイント情報、前記部位アフィニティフィールドスコアに基づいて、前記補正バウンディングボックス外に第２の骨格マップを生成し、前記第２の骨格マップに基づいて前記オブジェクトの動作認識を行う第２の認識部と、を含む、請求項１に記載の装置。
前記信頼度マップに基づいて前記オブジェクトのキーポイント情報を生成する第１の生成部と、
前記部位アフィニティフィールド及び前記キーポイント情報に基づいて、隣接する２つのキーポイント間の部位アフィニティフィールドスコアを計算する第２の生成部と、
前記バウンディングボックスを調整して補正バウンディングボックスを生成する第３の生成部と、
前記キーポイント情報、前記部位アフィニティフィールドスコアに基づいて、前記補正バウンディングボックス内に第１の骨格マップを生成し、前記第１の骨格マップに基づいて前記オブジェクトの動作認識を行う第１の認識部、及び／又は、前記キーポイント情報、前記部位アフィニティフィールドスコアに基づいて、前記補正バウンディングボックス外に第２の骨格マップを生成し、前記第２の骨格マップに基づいて前記オブジェクトの動作認識を行う第２の認識部と、を含む、請求項１に記載の装置。
【請求項3】
前記補正バウンディングボックスが重なっていない場合、前記第１の認識部は、各前記補正バウンディングボックス内に、前記第１の骨格マップをそれぞれ生成し、且つ／或いは、
前記補正バウンディングボックスのうちの少なくとも２つが重なっている場合、前記第１の認識部は、重なっている前記補正バウンディングボックス内のキーポイントを解析し、解析結果に基づいて、各前記補正バウンディングボックス内に、前記第１の骨格マップをそれぞれ生成する、請求項２に記載の装置。
前記補正バウンディングボックスのうちの少なくとも２つが重なっている場合、前記第１の認識部は、重なっている前記補正バウンディングボックス内のキーポイントを解析し、解析結果に基づいて、各前記補正バウンディングボックス内に、前記第１の骨格マップをそれぞれ生成する、請求項２に記載の装置。
【請求項4】
前記補正バウンディングボックスが重なっていない場合、前記第１の認識部は、前記補正バウンディングボックス内において、各部位タイプについて、信頼度マップのピーク値が最も高いキーポイントを前記部位タイプのキーポイントとして選択し、選択された全てのキーポイントを連結して第１の骨格マップを生成する、請求項３に記載の装置。
【請求項5】
前記補正バウンディングボックスが重なっていない場合、前記第１の認識部は、前記キーポイント情報、前記部位アフィニティフィールドスコア及び前記補正バウンディングボックスに基づいて、前記補正バウンディングボックス内の第３の骨格マップを決定し、
前記第３の骨格マップが１つあるとき、前記第３の骨格マップを前記第１の骨格マップとし、
前記第３の骨格マップが複数あるとき、キーポイントの数が最も多い前記第３の骨格マップを本体とし、キーポイントの数の多い順に、他の第３の骨格マップと前記本体とを融合し、前記第１の骨格マップを生成する、請求項３に記載の装置。
前記第３の骨格マップが１つあるとき、前記第３の骨格マップを前記第１の骨格マップとし、
前記第３の骨格マップが複数あるとき、キーポイントの数が最も多い前記第３の骨格マップを本体とし、キーポイントの数の多い順に、他の第３の骨格マップと前記本体とを融合し、前記第１の骨格マップを生成する、請求項３に記載の装置。
【請求項6】
前記補正バウンディングボックスが重なっている場合、前記第１の認識部は、前記キーポイント情報、前記部位アフィニティフィールドスコア及び重なっている複数の前記補正バウンディングボックスに基づいて、重なっている前記補正バウンディングボックスの範囲内の複数の第４の骨格マップを決定し、
重なっている複数の前記補正バウンディングボックスのうちの１つの補正バウンディングボックスについて、前記第４の骨格マップが利用可能であり、且つ前記第４の骨格マップの前記１つの補正バウンディングボックス内のキーポイントの数が前記第４の骨格マップの前記１つの補正バウンディングボックス外のキーポイントの数よりも多い場合、前記第４の骨格マップを前記１つの補正バウンディングボックスの候補リストにラベル付けし、
前記候補リストにおけるキーポイントの数が最も多い前記第４の骨格マップを本体とし、キーポイントの数の多い順に、前記候補リストにおける他の第４の骨格マップと前記本体とを融合し、前記１つの補正バウンディングボックスに対応する前記第１の骨格マップを生成し、前記第１の骨格マップにおける前記第４の骨格マップを利用不可としてラベル付けする、請求項３に記載の装置。
重なっている複数の前記補正バウンディングボックスのうちの１つの補正バウンディングボックスについて、前記第４の骨格マップが利用可能であり、且つ前記第４の骨格マップの前記１つの補正バウンディングボックス内のキーポイントの数が前記第４の骨格マップの前記１つの補正バウンディングボックス外のキーポイントの数よりも多い場合、前記第４の骨格マップを前記１つの補正バウンディングボックスの候補リストにラベル付けし、
前記候補リストにおけるキーポイントの数が最も多い前記第４の骨格マップを本体とし、キーポイントの数の多い順に、前記候補リストにおける他の第４の骨格マップと前記本体とを融合し、前記１つの補正バウンディングボックスに対応する前記第１の骨格マップを生成し、前記第１の骨格マップにおける前記第４の骨格マップを利用不可としてラベル付けする、請求項３に記載の装置。
【請求項7】
前記第２の認識部は、前記キーポイント情報、前記部位アフィニティフィールドスコア及び前記補正バウンディングボックスに基づいて、前記補正バウンディングボックスの範囲外の第５の骨格マップを決定し、第１の所定数以上のキーポイントを含む第５の骨格マップを前記第２の骨格マップとする、請求項２に記載の装置。
【請求項8】
前記第３の生成部は、前記バウンディングボックスを長さ方向及び／又は幅方向に拡大又は縮小して前記補正バウンディングボックスを取得する、請求項２に記載の装置。
【請求項9】
動作認識方法であって、
第１のニューラルネットワークを使用してビデオフレームを処理し、部位アフィニティフィールド及び信頼度マップを出力するステップと、
第２のニューラルネットワークにより前記ビデオフレームにおけるオブジェクトを検出し、前記オブジェクトのバウンディングボックスを出力するステップと、
前記部位アフィニティフィールド、前記信頼度マップ及び前記バウンディングボックスに基づいて前記オブジェクトの動作認識を行うステップと、を含む、方法。
第１のニューラルネットワークを使用してビデオフレームを処理し、部位アフィニティフィールド及び信頼度マップを出力するステップと、
第２のニューラルネットワークにより前記ビデオフレームにおけるオブジェクトを検出し、前記オブジェクトのバウンディングボックスを出力するステップと、
前記部位アフィニティフィールド、前記信頼度マップ及び前記バウンディングボックスに基づいて前記オブジェクトの動作認識を行うステップと、を含む、方法。
【請求項10】
コンピュータプログラムが記憶されたメモリと、プロセッサとを含む電子機器であって、前記プロセッサは、前記コンピュータプログラムを実行して請求項９に記載の動作認識方法を実現するように構成される、電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施例は、ビデオ検出の技術分野に関する。
【背景技術】
【0002】
現在、ビデオフレームにおける１つ又は複数のオブジェクトの動作認識（姿勢推定とも称される）には、トップダウンとボトムアップの２つのアプローチを採用してもよい。トップダウンのアプローチでは、まず、オブジェクト（例えば人体）を検出し、次に、検出された画像領域ごとに各オブジェクトの姿勢を独立して推定する。ボトムアップのアプローチでは、まず、複数のキーポイント（又はキーパーツ）情報を検出し、次に、これらのキーポイントを連結して連結候補を生成し、連結候補に基づいてオブジェクトの骨格マップを生成し、骨格マップに基づいて各オブジェクトの姿勢を推定する。
【0003】
なお、上述した技術背景の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、本発明の発明者の発見によると、現在のボトムアップのスキームでは、画像品質、遮蔽又はオブジェクトの姿勢角度などの要因により、オブジェクトの骨格マップを生成する際に、特にビデオフレームにおけるオブジェクトが多い場合、キーポイントのグループ分けが不正確になることなどの問題が発生しやすく、該骨格マップに基づいて動作推定を行う際に、動作認識結果の信頼性が低下しやすくなる。
【0005】
上記の技術的問題の少なくとも１つを鑑み、本発明の実施例は、動作認識結果の正確性を向上させることができる、動作認識装置、方法及び電子機器を提供する。
【課題を解決するための手段】
【0006】
本発明の実施例の１つの態様では、動作認識装置であって、第１のニューラルネットワークを使用してビデオフレームを処理し、部位アフィニティフィールド及び信頼度マップを出力する第１の処理部と、第２のニューラルネットワークにより前記ビデオフレームにおけるオブジェクトを検出し、前記オブジェクトのバウンディングボックスを出力する第２の処理部と、前記部位アフィニティフィールド、前記信頼度マップ及び前記バウンディングボックスに基づいて前記オブジェクトの動作認識を行う動作認識部と、を含む、装置を提供する。
【0007】
本発明の実施例のもう１つの態様では、動作認識方法であって、第１のニューラルネットワークを使用してビデオフレームを処理し、部位アフィニティフィールド及び信頼度マップを出力するステップと、第２のニューラルネットワークにより前記ビデオフレームにおけるオブジェクトを検出し、前記オブジェクトのバウンディングボックスを出力するステップと、前記部位アフィニティフィールド、前記信頼度マップ及び前記バウンディングボックスに基づいて前記オブジェクトの動作認識を行うステップと、を含む、方法を提供する。
【0008】
本発明の実施例のもう１つの態様では、コンピュータプログラムが記憶されたメモリと、プロセッサとを含む電子機器であって、前記プロセッサは、前記コンピュータプログラムを実行して上記の動作認識方法を実現するように構成される、電子機器を提供する。
【0009】
本発明の実施例の有利な効果の１つは以下の通りである。ビデオフレームについて、第１のニューラルネットワークを使用して部位アフィニティフィールド及び信頼度マップを出力し、第２のニューラルネットワークを使用してオブジェクトのバウンディングボックスを出力し、部位アフィニティフィールド、信頼度マップ及びバウンディングボックスに基づいてオブジェクトの動作認識を行う。ボトムアップのスキームでは、トップダウンのスキームにより生成されたバウンディングボックス情報も考慮されるため、キーポイントのグループ分けの正確性を向上させることができるため、オブジェクトの骨格マップに基づいて動作認識を行う際に、動作認識結果の正確性を向上させることができる。
【0010】
本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の変更、修正、及び均等的なものが含まれる。
【図面の簡単な説明】
【0011】
ここで含まれる図面は、本発明の実施例を理解させるためのものであり、本明細書の一部を構成し、本発明の実施例を例示するためのものであり、文言の記載と合わせて本発明の原理を説明する。なお、ここに説明される図面は、単なる本発明の実施例を説明するためのものであり、当業者にとって、これらの図面に基づいて他の図面を容易に得ることができる。
【図1】本発明の実施例に係る動作認識方法の１つの概略図である。
【図2】本発明の実施例に係るステップ１０３の１つの概略図である。
【図3A】本発明の実施例に係るバウンディングボックスの調整方式の１つの概略図である。
【図3B】本発明の実施例に係るバウンディングボックスの調整方式のもう１つの概略図である。
【図3C】本発明の実施例に係るバウンディングボックスの調整方式のさらにもう１つの概略図である。
【図4】本発明の実施例に係るステップ１０３４の１つの概略図である。
【図5】本発明の実施例に係るステップ１０３４のもう１つの概略図である。
【図6】本発明の実施例に係る動作認識プロセスの１つの概略図である。
【図7】本発明の実施例に係る動作認識プロセスのもう１つの概略図である。
【図8】本発明の実施例に係る動作認識装置の１つの概略図である。
【図9】本発明の実施例に係る動作認識部８０３の１つの概略図である。
【図10】本発明の実施例に係る電子機器の１つの概略図である。
【発明を実施するための形態】
【0012】
本発明の上記及びその他の特徴は、図面及び下記の説明により明確になる。明細書及び図面では、本発明の特定の実施形態、即ち本発明の原則に従う一部の実施形態を表すものを公開している。なお、本発明は説明される実施形態に限定されず、本発明は、特許請求の範囲内の全ての修正、変形されたもの、及び均等なものを含む。
【0013】
本発明の実施例では、用語「第１」、「第２」は異なる要素を名称で区分するためのものであり、これらの要素の空間的配列又は時間的順序などを意味するものではなく、これらの要素はこれらの用語に限定されない。用語「及び／又は」は列挙された用語の１つ又は複数のうち何れか及びその組み合わせを含む。用語「包括」、「含む」、「有する」は、説明された特徴、要素、素子又は部材の存在を意味するが、他の１つ又は複数の特徴、要素、素子又は部材の存在又は追加を排除するものではない。
【0014】
本発明の実施例では、単数形の「一」、「該」等は複数形を含み、「一種」又は「一類」を意味し、「１つ」に限定するものではない。また、用語「前記」は、文脈上明確に指示されない限り、単数形及び複数形両方を含む。また、文脈上明確に指示されない限り、用語「応じて」は「少なくとも部分的に応じて」を意味し、用語「に基づいて」は「少なくとも部分的に基づいて」を意味する。
【0015】
１つの実施形態について説明及び／又は示される特徴は、１つ又は複数の他の実施形態に同一又は同様な方式で使用され、他の実施形態における特徴と組み合わせ、或いは他の実施形態の特徴の代わりに使用してもよい。用語「包括」又は「含む」は、説明された特徴、要素、素子又は部材の存在を意味するが、他の１つ又は複数の特徴、要素、素子又は部材の存在又は追加を排除するものではない。
【0016】
本発明の実施例では、検出対象としてのオブジェクトは、様々な年齢の人、例えば高齢者であってもよいし、子供であってもよいし、高齢者及び／又は看護スタッフであってもよいし、子供及び／又は保護者であってもよい。本発明はこれらに限定されず、検出対象としてのオブジェクトは、生命徴候（バイタルサイン）を有する人間の体又は他の動物の体であってもよいし、生命徴候を有しないロボットなどであってもよい。
【0017】
【0018】
ステップ１０１：第１のニューラルネットワークを使用してビデオフレームを処理し、部位アフィニティフィールド（Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄ：ＰＡＦ）及び信頼度マップ（Ｃｏｎｆｉｄｅｎｃｅ Ｍａｐ：ＣＭＡＰ）を出力する。
【0019】
ステップ１０２：第２のニューラルネットワークによりビデオフレームにおけるオブジェクトを検出し、オブジェクトのバウンディングボックスを出力する。
【0020】
ステップ１０３：部位アフィニティフィールド、信頼度マップ及びバウンディングボックスに基づいてオブジェクトの動作認識を行う。
【0021】
本実施例によれば、ビデオフレームについて、第１のニューラルネットワークを使用して部位アフィニティフィールド及び信頼度マップを出力し、第２のニューラルネットワークを使用してオブジェクトのバウンディングボックスを出力し、部位アフィニティフィールド、信頼度マップ及びバウンディングボックスに基づいてオブジェクトの動作認識を行う。ボトムアップのスキームでは、トップダウンのスキームにより生成されたバウンディングボックス情報も考慮されるため、キーポイントのグループ分けの正確性を向上させることができるため、オブジェクトの骨格マップに基づいて動作認識を行う際に、動作認識結果の正確性を向上させることができる。
【0022】
なお、以上の図１は単なる本発明の実施例を例示的に説明するものであり、本発明はこれに限定されない。例えば、各ステップ間の実行順序を適宜調整してもよいし、他のステップを追加したり、その一部のステップを削除したりしてもよい。当業者は上記の内容に基づいて適宜変形を行ってもよく、上記の図１の記載に限定されない。
【0023】
幾つかの態様では、ステップ１０１において、様々なボトムアップのスキームを使用して、オブジェクトの部位アフィニティフィールド（ＰＡＦ）情報及び信頼度マップ（ＣＭＡＰ）情報を取得してもよい。例えば、ＲｅｓＮｅｔ又はＤｅｎｓｅＮｅｔなどに基づく第１のニューラルネットワークを使用してビデオフレーム又は画像におけるオブジェクトを処理し、オブジェクトのＰＡＦ情報及びＣＭＡＰ情報を取得してもよい。ここで、並列的なサブネットワークを使用してＰＡＦ情報及びＣＭＡＰ情報をそれぞれ取得してもよい。本発明はこれに限定されず、他のネットワークモデル又は他の形式のサブネットワークを使用してＰＡＦ情報及びＣＭＡＰ情報を生成してもよい。ボトムアップのスキーム、第１のニューラルネットワークなどの具体的な内容について、関連技術を参照してもよい。
【0024】
幾つかの態様では、ステップ１０１において生成された部位アフィニティフィールド（ＰＡＦ）は、手足と胴体に対応する領域における位置及び方向の情報を保存してもよい。例えば、手足と胴体に属する領域の各画素について、手足と胴体における一方の部分から他方の部分に向かう方向を２次元ベクトルで表してもよい。
【0025】
幾つかの態様では、ステップ１０２において、様々なトップダウンの認識スキームを使用してオブジェクトのバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ：ＢＢｏｘ）を取得してもよい。例えば、ＹＯＬＯなどに基づく第２のニューラルネットワークによりビデオフレームにおけるオブジェクトを検出し、オブジェクトのＢＢｏｘを出力する。該ＢＢｏｘはオブジェクトを含む矩形枠であってもよく、ＢＢｏｘの位置はオブジェクトの位置を表すために使用されてもよい。トップダウンの認識スキーム、第２のニューラルネットワークなどの具体的な内容について、関連技術を参照してもよい。
【0026】
幾つかの態様では、ステップ１０３において、バウンディングボックス内のオブジェクトに対して動作認識を行ってもよく、或いは、バウンディングボックス外のオブジェクトに対して動作認識を行ってもよく、或いは、バウンディングボックス内のオブジェクト及びバウンディングボックス外のオブジェクトに対して動作認識を行ってもよい。
【0027】
【0028】
ステップ１０３１：信頼度マップに基づいてオブジェクトのキーポイント情報を生成する。
【0029】
ステップ１０３２：部位アフィニティフィールド及びキーポイント情報に基づいて、隣接する２つのキーポイント間の部位アフィニティフィールドスコアを計算する。
【0030】
ステップ１０３３：バウンディングボックスを調整して補正バウンディングボックスを生成する。
【0031】
ステップ１０３４：生成されたキーポイント情報、部位アフィニティフィールドスコアに基づいて、補正バウンディングボックス内に第１の骨格マップを生成し、第１の骨格マップに基づいてオブジェクトの動作認識を行う。
【0032】
ステップ１０３５：生成されたキーポイント情報、部位アフィニティフィールドスコアに基づいて、補正バウンディングボックス外に第２の骨格マップを生成し、第２の骨格マップに基づいてオブジェクトの動作認識を行う。
【0033】
なお、以上の図２は単なる本発明の実施例を例示的に説明するものであり、本発明はこれに限定されない。例えば、各ステップ間の実行順序を適宜調整してもよいし、他のステップを追加したり、その一部のステップを削除したりしてもよい。例えば、図２に示すように、ステップ１０３は、ステップ１０３４及びステップ１０３５を含んでもよく、或いは、ステップ１０３は、ステップ１０３４又はステップ１０３５を含んでもよい。当業者は上記の内容に基づいて適宜変形を行ってもよく、上記の図２の記載に限定されない。
【0034】
幾つかの態様では、ステップ１０３１において信頼度マップに基づいてオブジェクトのキーポイント情報を生成する具体的な方式、ステップ１０３２において部位アフィニティフィールドスコアを生成する具体的な方式は、関連技術を参照してもよい。ここで、ステップ１０３２において生成されたＰＡＦスコアは、それに対応する連結線の２つの端点（キーポイント）が同一のオブジェクトに属する可能性を反映する値であってもよい。例えば、ＰＡＦスコアが高いほど、該２つのキーポイントが同一のオブジェクトに属する可能性が高くなる。
【0035】
【0036】
図３Ａに示すように、バウンディングボックスＡを長手方向に拡大又は縮小して補正バウンディングボックスＢを取得してもよい。
【0037】
図３Ｂに示すように、バウンディングボックスＡを幅方向に拡大又は縮小して補正バウンディングボックスＢを取得してもよい。
【0038】
図３Ｃに示すように、バウンディングボックスＡを長手方向及び幅方向に拡大又は縮小して補正バウンディングボックスＢを取得してもよい。
【0039】
幾つかの態様では、バウンディングボックスＡの拡大又は縮小の比率は、画像（ビデオフレーム）におけるオブジェクトのサイズ、適用シナリオ（仰向けに寝ること、座ること、横になること、立つことなど）に関係してもよい。例えば、オブジェクトのキーポイント間の距離に基づいて対応する拡大又は縮小の比率を設定してもよい。これによって、実際の情況に応じてバウンディングボックスの大きさを合理的に設定することができる。本発明はこれに限定されず、他の方式によりバウンディングボックスＡの寸法を調整してもよい。或いは、バウンディングボックスＡのサイズを調整しなくてもよい。バウンディングボックスＡのサイズを調整しない場合、ステップ１０３４及びステップ１０３５において、キーポイント情報、部位アフィニティフィールドスコアに基づいて、バウンディングボックスＡ内／外に第１の骨格マップ／第２の骨格マップを生成し、第１の骨格マップ／第２の骨格マップに基づいてオブジェクトの動作認識を行う。
【0040】
幾つかの態様では、ステップ１０３４において、画像における補正バウンディングボックスが１つある場合、該補正バウンディングボックス内にオブジェクトの第１の骨格マップを生成する。画像における補正バウンディングボックスが複数（２つ以上）ある場合、該複数の補正バウンディングボックスが重なっていないとき、各補正バウンディングボックス内に、オブジェクトの第１の骨格マップをそれぞれ生成する。
【0041】
幾つかの態様では、骨格マップは、首０、鼻１、左肩６、右肩７、左股関節１２、右股関節１３、左眼２、右眼３、左肘８、右肘９、左膝１４、右膝１５、左耳４、右耳５、左手首１０、右手首１１、左足首１６及び右足首１７のうちの１つ又は複数のキーポイントを含んでもよい。本発明はこれに限定されず、骨格マップは、上記の１８個のキーポイント以外のキーポイントをさらに含んでもよい。骨格マップにおけるキーポイントの数が多いほど、動作認識の正確性が向上し、より細かい動作認識が可能となる。
【0042】
幾つかの態様では、ステップ１０３１及びステップ１０３２において、画像の全範囲について、オブジェクトのキーポイント情報及び／又は隣接する２つのキーポイント間の部位アフィニティフィールドスコアを生成してもよく、ステップ１０３４において、補正バウンディングボックスの画像における位置に基づいて、補正バウンディングボックス内のキーポイントを決定し、補正バウンディングボックスにおいてキーポイントを処理して、該補正バウンディングボックスに対応するオブジェクトの第１の骨格マップを生成してもよい。本発明はこれに限らず、ステップ１０３１及びステップ１０３２において、画像の全範囲において、補正バウンディングボックス範囲内の部分画像を選択し、補正バウンディングボックス範囲内のこの部分画像についてオブジェクトのキーポイント情報及び／又は隣接する２つのキーポイント間の部位アフィニティフィールドスコアを生成し、ステップ１０３４において、補正バウンディングボックスにおいてキーポイントを処理して、該補正バウンディングボックスに対応するオブジェクトの第１の骨格マップを生成してもよい。
【0043】
幾つかの態様では、ステップ１０３４において、様々な方式でオブジェクトの第１の骨格マップを生成してもよい。
【0044】
例えば、補正バウンディングボックス内において、各部位タイプについて、信頼度マップのピーク値が最も高いキーポイントを部位タイプのキーポイントとして選択し、選択された全てのキーポイントを連結して第１の骨格マップを生成する。ここで、１つの部位タイプは１つのキーポイントに対応する。１つの補正バウンディングボックスは、１つのオブジェクトの画像内での位置を表すことができ、補正バウンディングボックスと他の補正バウンディングボックスとが重なっていない場合、１つの補正バウンディングボックスの範囲に基づいて１つのオブジェクトのキーポイントの画像内での分布範囲を決定することができるため、信頼度マップに基づいて各部位タイプのキーポイントを決定した後、これらのキーポイントを連結すれば、該オブジェクトの骨格マップを得ることができる。これによって、計算リソースを節約することができる。ここで、信頼度マップのピーク値が最も高いキーポイントを部位タイプのキーポイントとして選択する具体的な方式は、関連技術を参照してもよく、ここでその説明を省略する。
【0045】
【0046】
ステップ１０３４１：キーポイント情報、部位アフィニティフィールドスコア及び補正バウンディングボックスに基づいて、補正バウンディングボックス内の第３の骨格マップを決定する。
【0047】
ステップ１０３４２：第３の骨格マップが１つあるとき、第３の骨格マップを第１の骨格マップとする。
【0048】
ステップ１０３４３：第３の骨格マップが複数（２つ以上）あるとき、キーポイントの数が最も多い第３の骨格マップを本体とし、キーポイントの数の多い順に、他の第３の骨格マップと本体とを融合し、該補正バウンディングボックスに対応するオブジェクトの第１の骨格マップを生成する。
【0049】
幾つかの態様では、ステップ１０３４１において、様々な方式で第３の骨格マップを生成してもよい。例えば、画像の全範囲において、補正バウンディングボックス範囲内の部分画像を選択し、補正バウンディングボックス範囲内のこの部分画像について、キーポイント情報及び部位アフィニティフィールドスコアに基づいて、該補正バウンディングボックスに対応するオブジェクトの第３の骨格マップを生成してもよい。或いは、画像の全範囲について、キーポイント情報及び部位アフィニティフィールドスコアに基づいて、候補骨格マップを生成し、補正バウンディングボックスに基づいて候補骨格マップを検証する。全てのキーが該補正バウンディングボックス内に入り、或いは所定の比率／数を超えるキーポイントが該補正バウンディングボックス内に入る候補骨格マップを第３の骨格マップとする。
【0050】
幾つかの態様では、キーポイント情報及び部位アフィニティフィールドスコアに基づいて骨格マップを生成する具体的な方式は、関連技術を参照してもよい。例えば、キーポイント情報及び部位アフィニティフィールド（ＰＡＦ）スコアに基づいてキーポイント連結を行ってキーポイント連結候補を生成し、キーポイント連結候補に基づいて骨格マップを生成する。例えば、キーポイント情報及びＰＡＦスコアに基づいてキーポイント連結を行って、冗長な連結をフィルタリングにより除去し、キーポイント連結候補を生成してもよい。冗長な連結は、異なるオブジェクトのキーポイントが連結された連結であってもよい。その後、隣接する２つの手足と胴体の部位が共通のキーポイントを持つという原則に従って、キーポイント検索などの操作により、１つのオブジェクトに属するキーポイント連結候補を結合し、オブジェクトの骨格マップを取得してもよい。キーポイント連結候補の生成、骨格マップの生成などの具体的な内容について、関連技術を参照してもよい。
【0051】
幾つかの態様では、ステップ１０３４３において、本体に含まれるキーポイントの数が骨格マップに含まれ得るキーポイントの数の最大値である場合、該本体を該補正バウンディングボックスに対応するオブジェクトの第１の骨格マップとする。ここで、該キーポイント数の最大値は、例えば１８であってもよく、骨格マップの生成方法に応じて異なってもよい。
【0052】
本体に含まれるキーポイントの数が該最大値よりも小さい場合、本体と他の第３の骨格マップとを融合してもよい。複数の第３の骨格マップが何れも１つの補正バウンディングボックス内に入る場合、該複数の第３の骨格マップが同一のオブジェクトに属する確率が比較的に高い。従って、本体と他の第３の骨格マップとを融合することで、他の第３の骨格マップを用いて本体に欠けているキーポイントに対して補充することができる。
【0053】
幾つかの態様では、本体と他の第３の骨格マップとを融合する際に、他の第３の骨格マップに含まれるキーポイントの数の多い順に、該第３の骨格マップが本体と融合可能であるか否かを順次判断してもよい。これによって、生成された骨格マップの正確性をさらに向上させることができる。
【0054】
幾つかの態様では、様々な方式で本体と他の第３の骨格マップとを融合してもよい。例えば、第３の骨格マップ及び本体が所定の条件を満たす場合、第３の骨格マップのキーポイントを本体に補充する。ここで、該所定の条件とは、例えば、本体のキーポイントの数と現在の第３の骨格マップの数との合計がキーポイントの数の最大値以下であり、且つ現在の第３の骨格マップのキーポイントと本体のキーポイントに同一のタイプのキーポイントが存在せず（例えば、第３の骨格マップと本体の両方に鼻タイプのキーポイントが存在してはならない）、第３の骨格マップのキーポイントと本体に欠けているキーポイントとが隣接していないことである。本発明はこれに限定されず、該所定の条件は他の内容であってもよい。
【0055】
幾つかの態様では、ステップ１０３４において、画像における補正バウンディングボックスが複数あり、且つ該複数の補正バウンディングボックスのうちの少なくとも２つの補正バウンディングボックスが重なっている場合、重なっている補正バウンディングボックス内のキーポイントを解析し、解析結果に基づいて、各補正バウンディングボックス内に、第１の骨格マップをそれぞれ生成する。重なっている補正バウンディングボックス内のキーポイントを解析することによって、キーポイントがどの補正バウンディングボックスに属するかを決定することができるため、解析結果に基づいて第１の骨格マップを生成する際に、骨格マップの正確性を向上させることができる。
【0056】
幾つかの態様では、様々な方式でキーポイントの解析を行ってもよい。図５は、本発明の実施例に係るステップ１０３４のもう１つの概略図である。図５に示すように、ステップ１０３４は、以下のステップを含んでもよい。
【0057】
ステップ１０３４－１：キーポイント情報、部位アフィニティフィールドスコア及び重なっている複数の補正バウンディングボックスに基づいて、重なっている補正バウンディングボックスの範囲内の複数の第４の骨格マップを決定する。
【0058】
ステップ１０３４－２：重なっている複数の補正バウンディングボックスのうちの１つの補正バウンディングボックスについて、第４の骨格マップが利用可能であり、且つ第４の骨格マップの該１つの補正バウンディングボックス内のキーポイントの数が第４の骨格マップの該１つの補正バウンディングボックス外のキーポイントの数よりも多い場合、該第４の骨格マップを該１つの補正バウンディングボックスの候補リストにラベル付けする。
【0059】
ステップ１０３４－３：候補リストにおけるキーポイントの数が最も多い第４の骨格マップを本体とし、キーポイントの数の多い順に、候補リストにおける他の第４の骨格マップと本体とを融合し、補正バウンディングボックスに対応する第１の骨格マップを生成し、第１の骨格マップにおける第４の骨格マップを利用不可としてラベル付けする。
【0060】
幾つかの態様では、ステップ１０３４－１において、様々な方式で第４の骨格マップを生成してもよい。例えば、画像の全範囲において、重なっている補正バウンディングボックスが共同で規定する範囲内の部分画像を選択し、この部分画像について、キーポイント情報及び部位アフィニティフィールドスコアに基づいて、第４の骨格マップを生成してもよい。或いは、画像の全範囲について、キーポイント情報及び部位アフィニティフィールドスコアに基づいて、候補骨格マップを生成し、重なっている補正バウンディングボックスが共同で規定する範囲に基づいて候補骨格マップを検証する。全てのキーが該範囲内に入り、或いは所定の比率／数を超えるキーポイントが該範囲内に入る候補骨格マップを第４の骨格マップとする。
【0061】
幾つかの態様では、ステップ１０３４－２において、第４の骨格マップが利用可能であることとは、該第４の骨格マップが第１の骨格マップに含まれていないことを意味する。
【0062】
幾つかの態様では、ステップ１０３４－２において、補正バウンディングボックスの候補リストを決定する際に、補正バウンディングボックスのサイズの小さい順に、補正バウンディングボックスの候補リストを決定してもよい。該補正バウンディングボックスの候補リストは、該補正バウンディングボックスに対応するオブジェクトを構成する第１の骨格マップの候補を含み、即ち、候補リストにおける第４の骨格マップは、該補正バウンディングボックスに対応するオブジェクトの第１の骨格マップに含まれる可能性がある。
【0063】
幾つかの態様では、ステップ１０３４－３において、候補リストにおける本体と候補リストにおける他の第４の骨格マップとを融合する方式は、ステップ１０３４３において本体と他の第３の骨格マップとを融合する方法と同一又は類似であってもよい。
【0064】
幾つかの態様では、ステップ１０３４－２及びステップ１０３４－３は、全ての補正バウンディングボックスが処理されるまで、或いは、全ての第４の骨格マップが利用できなくなるまで、繰り返し実行されてもよい。
【0065】
幾つかの態様では、ステップ１０３５において、様々な方式で補正バウンディングボックス外に第２の骨格マップを生成してもよい。例えば、キーポイント情報、部位アフィニティフィールドスコア及び補正バウンディングボックスに基づいて、補正バウンディングボックスの範囲外の第５の骨格マップを決定し、第１の所定数以上のキーポイントを含む第５の骨格マップを第２の骨格マップとする。
【0066】
ここで、様々な方式で補正バウンディングボックスの範囲外の第５の骨格マップを決定してもよい。例えば、画像の全範囲にわたって、補正バウンディングボックスの範囲外の部分画像を選択し、この部分画像について、キーポイント情報及び部位アフィニティフィールドスコアに基づいて、第５の骨格マップを生成してもよい。或いは、画像の全範囲について、キーポイント情報及び部位アフィニティフィールドスコアに基づいて、候補骨格マップを生成し、補正バウンディングボックスの範囲に基づいて候補骨格マップを検証する。全てのキーポイントが補正バウンディングボックスの範囲外にあり、或いは所定の比率／数を超えるキーポイントが補正バウンディングボックスの範囲外にある骨格マップを第５の骨格マップとする。
【0067】
幾つかの態様では、第１の所定数は、様々な所定数であってもよい。例えば、キーポイントの数の最大値に関連する数であってもよい。例えば、骨格マップに含まれるキーポイントの数の最大値が１８である場合、該第１の所定数は６であってもよい。
【0068】
幾つかの態様では、ステップ１０３４及びステップ１０３５における第１の骨格マップ／第２の骨格マップに基づいてオブジェクトの動作認識を行う具体的な方式は、関連技術を参照してもよい。
【0069】
図６は、本発明の実施例に係る動作認識プロセスの１つの概略図である。図６に示すように、該動作認識プロセスでは、ボトムアップネットワーク（第１のニューラルネットワーク）によりビデオフレーム（画像）を処理し、ＰＡＦ及びＣＭＡＰを出力し、トップダウンネットワーク（第２のニューラルネットワーク）によりビデオフレーム（画像）を処理し、ビデオフレームにおけるオブジェクトのＢＢｏｘを出力し、ＰＡＦ及びＣＭＡＰ、並びにオブジェクトのＢＢｏｘに基づいて後処理を行い、ビデオフレームのオブジェクトに対して動作認識を行う。
【0070】
図７は、本発明の実施例に係る動作認識プロセスのもう１つの概略図である。図７に示すように、ビデオフレーム又は画像をＹＯＬＯターゲット検出モデル及びＯｐｅｎＰｏｓｅターゲット検出モデルにそれぞれ入力してもよい。ＯｐｅｎＰｏｓｅターゲット検出モデルによりＣＭＡＰ及びＰＡＦを生成し（具体的な手順は、ステップ１０１を参照してもよい）、ＹＯＬＯターゲット検出モデルによりＢＢｏｘを生成し（具体的な手順は、ステップ１０２を参照してもよい）、ＢＢｏｘに基づいて補正ＢＢｏｘ（補正バウンディングボックス）を生成し（具体的な手順は、ステップ１０３３を参照してもよい）、ＣＭＡＰに基づいてオブジェクトのキーポイント情報を生成し（具体的な手順は、ステップ１０３１を参照してもよい）、ＰＡＦ及びキーポイント情報に基づいて隣接する２つのキーポイント間のＰＡＦスコアを計算し（具体的な手順は、ステップ１０３２を参照してもよい）、補正バウンディングボックスに基づいてキーポイントを分類し、即ち、画像の全範囲にわたって、補正バウンディングボックスの範囲内の部分画像と補正バウンディングボックスの範囲外の部分画像をラベル付けし（具体的な手順は、ステップ１０３４１、１０３４－１、１０３５を参照してもよい）、部分画像が補正バウンディングボックス内にあるか否かを判断し、補正バウンディングボックスの範囲内の部分画像と補正バウンディングボックスの範囲外の部分画像のそれぞれについてキーポイントのグループ分けを行い（具体的な手順は、ステップ１０３４１、１０３４－１、１０３５を参照してもよい）、第１の骨格マップ／第２の骨格マップに基づいてオブジェクトの動作認識を行う（具体的な手順は、ステップ１０３４及び１０３５を参照してもよい）。
【0071】
以上は、単に本発明に関連するステップ又はプロセスを説明しており、本発明はこれに限定されない。動作検出方法は、他のステップ又はプロセスをさらに含んでもよく、これらのステップ又はプロセスの具体的な内容について、従来技術を参照してもよい。また、以上は、単に動作検出モデルの幾つかの構造を例として本発明の実施例を例示的に説明しており、本発明は、これらの構造に限定されず、これらの構造に適切な変形を行ってもよく、これらの変形は、本発明の実施例の範囲内に含まれるべきである。
【0072】
上記の各実施例は、単に本発明の実施例を例示的に説明するものであり、本発明はこれらに限定されず、上記の様々な実施例に基づいて適切な変形を行ってもよい。例えば、上記の各実施例を単独で使用してもよいし、上記の各実施例の１つ又は複数を組み合わせて使用してもよい。
【0073】
本実施例によれば、ビデオフレームについて、第１のニューラルネットワークを使用して部位アフィニティフィールド及び信頼度マップを出力し、第２のニューラルネットワークを使用してオブジェクトのバウンディングボックスを出力し、部位アフィニティフィールド、信頼度マップ及びバウンディングボックスに基づいてオブジェクトの動作認識を行う。ボトムアップのスキームでは、トップダウンのスキームにより生成されたバウンディングボックス情報も考慮されるため、キーポイントのグループ分けの正確性を向上させることができるため、オブジェクトの骨格マップに基づいて動作認識を行う際に、動作認識結果の正確性を向上させることができる。
【0074】
＜実施例２＞
本発明の実施例は動作認識装置を提供し、実施例１と同様な内容についてその説明を省略する。
本発明の実施例は動作認識装置を提供し、実施例１と同様な内容についてその説明を省略する。
【0075】
【0076】
第１の処理部８０１は、第１のニューラルネットワークを使用してビデオフレームを処理し、部位アフィニティフィールド及び信頼度マップを出力する。
【0077】
第２の処理部８０２は、第２のニューラルネットワークによりビデオフレームにおけるオブジェクトを検出し、オブジェクトのバウンディングボックスを出力する。
【0078】
動作認識部８０３は、部位アフィニティフィールド、信頼度マップ及びバウンディングボックスに基づいて前記オブジェクトの動作認識を行う。
【0079】
【0080】
第１の生成部８０３１は、信頼度マップに基づいてオブジェクトのキーポイント情報を生成する。
【0081】
第２の生成部８０３２は、部位アフィニティフィールド及びキーポイント情報に基づいて、隣接する２つのキーポイント間の部位アフィニティフィールドスコアを計算する。
【0082】
第３の生成部８０３３は、バウンディングボックスを調整して補正バウンディングボックスを生成する。
【0083】
第１の認識部８０３４は、キーポイント情報、部位アフィニティフィールドスコアに基づいて、補正バウンディングボックス内に第１の骨格マップを生成し、第１の骨格マップに基づいてオブジェクトの動作認識を行う。且つ／或いは、第２の認識部８０３５は、キーポイント情報、部位アフィニティフィールドスコアに基づいて、補正バウンディングボックス外に第２の骨格マップを生成し、第２の骨格マップに基づいてオブジェクトの動作認識を行う。
【0084】
幾つかの態様では、第１の認識部８０３４は、補正バウンディングボックスが重なっていない場合、各補正バウンディングボックス内に、第１の骨格マップをそれぞれ生成し、且つ／或いは、第１の認識部８０３４は、補正バウンディングボックスのうちの少なくとも２つが重なっている場合、重なっている前記補正バウンディングボックス内のキーポイントを解析し、解析結果に基づいて、各補正バウンディングボックス内に、第１の骨格マップをそれぞれ生成する。
【0085】
幾つかの態様では、補正バウンディングボックスが重なっていない場合、第１の認識部８０３４は、補正バウンディングボックス内において、各部位タイプについて、信頼度マップのピーク値が最も高いキーポイントを部位タイプのキーポイントとして選択し、選択された全てのキーポイントを連結して第１の骨格マップを生成する。
【0086】
幾つかの態様では、補正バウンディングボックスが重なっていない場合、第１の認識部８０３４は、キーポイント情報、部位アフィニティフィールドスコア及び補正バウンディングボックスに基づいて、補正バウンディングボックス内の第３の骨格マップを決定し、第３の骨格マップが１つあるとき、第３の骨格マップを第１の骨格マップとし、第３の骨格マップが複数あるとき、キーポイントの数が最も多い第３の骨格マップを本体とし、キーポイントの数の多い順に、他の第３の骨格マップと本体とを融合し、第１の骨格マップを生成する。
【0087】
幾つかの態様では、補正バウンディングボックスが重なっている場合、第１の認識部８０３４は、キーポイント情報、部位アフィニティフィールドスコア及び重なっている複数の補正バウンディングボックスに基づいて、重なっている補正バウンディングボックスの範囲内の複数の第４の骨格マップを決定し、重なっている複数の補正バウンディングボックスのうちの１つの補正バウンディングボックスについて、第４の骨格マップが利用可能であり、且つ第４の骨格マップの１つの補正バウンディングボックス内のキーポイントの数が第４の骨格マップの１つの補正バウンディングボックス外のキーポイントの数よりも多い場合、第４の骨格マップを１つの補正バウンディングボックスの候補リストにラベル付けし、候補リストにおけるキーポイントの数が最も多い第４の骨格マップを本体とし、キーポイントの数の多い順に、候補リストにおける他の第４の骨格マップと前記本体とを融合し、１つの補正バウンディングボックスに対応する第１の骨格マップを生成し、第１の骨格マップにおける第４の骨格マップを利用不可としてラベル付けする。
【0088】
幾つかの態様では、第２の認識部８０３５は、キーポイント情報、部位アフィニティフィールドスコア及び補正バウンディングボックスに基づいて、補正バウンディングボックスの範囲外の第５の骨格マップを決定し、第１の所定数以上のキーポイントを含む第５の骨格マップを第２の骨格マップとする。
【0089】
幾つかの態様では、第３の生成部８０３３は、バウンディングボックスを長さ方向及び／又は幅方向に拡大又は縮小して補正バウンディングボックスを取得する。
【0090】
なお、以上は、単に本発明に関連する各構成要素又はモジュールを説明しており、本発明はこれに限定されない。動作認識装置８００は、他の構成要素又はモジュールを含んでもよく、これらの構成要素又はモジュールの具体的な内容について、関連技術を参照してもよい。
【0091】
簡単にするために、図８は、単に各構成要素又はモジュール間の接続関係又は信号方向を例示的に示しており、バス接続などの様々な関連技術を使用できることは当業者にとって明らかである。上記の様々な構成要素又はモジュールは、プロセッサ及びメモリなどのハードウェア装置により実現されてもよく、本発明の実施例はこれに限定されない。
【0092】
上記の各実施例は、単に本発明の実施例を例示的に説明するものであり、本発明はこれらに限定されず、上記の様々な実施例に基づいて適切な変形を行ってもよい。例えば、上記の各実施例を単独で使用してもよいし、上記の各実施例の１つ又は複数を組み合わせて使用してもよい。
【0093】
本実施例によれば、ビデオフレームについて、第１のニューラルネットワークを使用して部位アフィニティフィールド及び信頼度マップを出力し、第２のニューラルネットワークを使用してオブジェクトのバウンディングボックスを出力し、部位アフィニティフィールド、信頼度マップ及びバウンディングボックスに基づいてオブジェクトの動作認識を行う。ボトムアップのスキームでは、トップダウンのスキームにより生成されたバウンディングボックス情報も考慮されるため、キーポイントのグループ分けの正確性を向上させることができるため、オブジェクトの骨格マップに基づいて動作認識を行う際に、動作認識結果の正確性を向上させることができる。
【0094】
＜実施例３＞
本発明の実施例は、実施例２に記載された動作認識装置８００を含む電子機器を提供し、ここでその内容を援用する。該電子機器は、例えばコンピュータ、サーバ、ワークステーション、ラップトップコンピュータ、スマートフォンなどであってもよいが、本発明の実施例はこれらに限定されない。
本発明の実施例は、実施例２に記載された動作認識装置８００を含む電子機器を提供し、ここでその内容を援用する。該電子機器は、例えばコンピュータ、サーバ、ワークステーション、ラップトップコンピュータ、スマートフォンなどであってもよいが、本発明の実施例はこれらに限定されない。
【0095】
図１０は、本発明の実施例に係る電子機器の概略図である。図１０に示すように、本発明の実施例に係る電子機器１０００は、プロセッサ（例えば、中央処理装置（ＣＰＵ））１０１０、及びメモリ１０２０を含む。メモリ１０２０は、プロセッサ１０１０に接続される。メモリ１０２０は、様々なデータを記憶してもよく、情報処理のプログラム１０２１をさらに記憶してもよい。プロセッサ１０１０の制御により該プログラム１０２１を実行する。
【0096】
幾つかの態様では、動作認識装置８００の機能はプロセッサ１０１０に統合されてもよい。ここで、プロセッサ１０１０は、実施例１に記載された動作認識方法を実現するように構成されてもよい。
【0097】
幾つかの態様では、動作認識装置８００はプロセッサ１０１０とそれぞれ配置されてもよく、例えば、動作認識装置８００はプロセッサ１０１０に接続されたチップであり、プロセッサ１０１０の制御により動作認識装置８００の機能を実現するように構成されてもよい。
【0098】
例えば、該プロセッサ１０１０は、第１のニューラルネットワークを使用してビデオフレームを処理し、部位アフィニティフィールド及び信頼度マップを出力し、第２のニューラルネットワークにより該ビデオフレームにおけるオブジェクトを検出し、該オブジェクトのバウンディングボックスを出力し、該部位アフィニティフィールド、該信頼度マップ及び該バウンディングボックスに基づいて該オブジェクトの動作認識を行うように構成されてもよい。
【0099】
また、図１０に示すように、電子機器１０００は、入力出力（Ｉ／Ｏ）装置１０３０及びディスプレイ１０４０などをさらに含んでもよい。ここで、該構成部の機能は従来技術と同様であり、ここでその説明を省略する。なお、電子機器１０００は、図１０に示す全ての構成部を含まなくてもよい。また、電子機器１０００は、図１０に示していない構成部を含んでもよく、従来技術を参考してもよい。
【0100】
本発明の実施例は、電子機器においてプログラムを実行する際に、コンピュータに該電子機器において実施例１に記載の動作認識方法を実行させる、コンピュータ読み取り可能なプログラムを提供する。
【0101】
本発明の実施例は、コンピュータに電子機器において実施例１に記載の動作認識方法を実行させるためのコンピュータ読み取り可能なプログラムが記憶されている、記憶媒体をさらに提供する。
【0102】
本発明の以上の装置及び方法は、ハードウェアにより実現されてもよく、ハードウェアとソフトウェアを結合して実現されてもよい。本発明はコンピュータが読み取り可能なプログラムに関し、該プログラムは論理部により実行される時に、該論理部に上述した装置又は構成要件を実現させる、或いは該論理部に上述した各種の方法又はステップを実現させることができる。本発明は上記のプログラムを記憶するための記憶媒体、例えばハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フラッシュメモリ等に関する。
【0103】
本発明の実施例を参照しながら説明した方法／装置は、ハードウェア、プロセッサにより実行されるソフトウェアモジュール、又は両者の組み合わせで実施されてもよい。例えば、図面に示す機能的ブロック図における１つ若しくは複数、又は機能的ブロック図の１つ若しくは複数の組み合わせは、コンピュータプログラムフローの各ソフトウェアモジュールに対応してもよいし、各ハードウェアモジュールに対応してもよい。これらのソフトウェアモジュールは、図面に示す各ステップにそれぞれ対応してもよい。これらのハードウェアモジュールは、例えばフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）を用いてこれらのソフトウェアモジュールをハードウェア化して実現されてもよい。
【0104】
ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、モバイルハードディスク、ＣＤ－ＲＯＭ又は当業者にとって既知の任意の他の形の記憶媒体に位置してもよい。プロセッサが記憶媒体から情報を読み取ったり、記憶媒体に情報を書き込んだりするように該記憶媒体をプロセッサに接続してもよいし、記憶媒体がプロセッサの構成部であってもよい。プロセッサ及び記憶媒体はＡＳＩＣに位置する。該ソフトウェアモジュールは移動端末のメモリに記憶されてもよいし、移動端末に挿入されたメモリカードに記憶されてもよい。例えば、機器（例えば移動端末）が比較的に大きい容量のＭＥＧＡ－ＳＩＭカード又は大容量のフラッシュメモリ装置を用いる場合、該ソフトウェアモジュールは該ＭＥＧＡ－ＳＩＭカード又は大容量のフラッシュメモリ装置に記憶されてもよい。
【0105】
図面に記載されている１つ以上の機能ブロック及び／又は機能ブロックの１つ以上の組合せは、本発明に記載されている機能を実行するための汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理装置、ディスクリートハードウェアコンポーネント、又はそれらの任意の適切な組み合わせで実現されてもよい。図面に記載されている１つ以上の機能ブロック及び／又は機能ブロックの１つ以上の組合せは、例えば、コンピューティング機器の組み合わせ、例えばＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰ通信と組み合わせた１つ又は複数のマイクロプロセッサ又は他の任意の構成で実現されてもよい。
【0106】
以上、具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び変更を行ってもよく、これらの変形及び変更も本発明の範囲に属する。
【0107】
また、上述の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
動作認識方法であって、
第１のニューラルネットワークを使用してビデオフレームを処理し、部位アフィニティフィールド及び信頼度マップを出力するステップと、
第２のニューラルネットワークにより前記ビデオフレームにおけるオブジェクトを検出し、前記オブジェクトのバウンディングボックスを出力するステップと、
前記部位アフィニティフィールド、前記信頼度マップ及び前記バウンディングボックスに基づいて前記オブジェクトの動作認識を行うステップと、を含む、方法。
（付記２）
前記部位アフィニティフィールド、前記信頼度マップ及び前記バウンディングボックスに基づいて前記オブジェクトの動作認識を行うステップは、
前記信頼度マップに基づいて前記オブジェクトのキーポイント情報を生成するステップと、
前記部位アフィニティフィールド及び前記キーポイント情報に基づいて、隣接する２つのキーポイント間の部位アフィニティフィールドスコアを計算するステップと、
前記バウンディングボックスを調整して補正バウンディングボックスを生成するステップと、
前記キーポイント情報、前記部位アフィニティフィールドスコアに基づいて、前記補正バウンディングボックス内に骨格マップを生成し、前記骨格マップに基づいて前記オブジェクトの動作認識を行うステップ、及び／又は、前記キーポイント情報、前記部位アフィニティフィールドスコアに基づいて、前記補正バウンディングボックス外に骨格マップを生成し、前記骨格マップに基づいて前記オブジェクトの動作認識を行うステップと、を含む、付記１に記載の方法。
（付記３）
前記キーポイント情報、前記部位アフィニティフィールドスコアに基づいて、前記補正バウンディングボックス内に骨格マップを生成するステップは、
前記補正バウンディングボックスが重なっていない場合、各前記補正バウンディングボックス内に、前記骨格マップをそれぞれ生成するステップ、及び／又は、
前記補正バウンディングボックスのうちの少なくとも２つが重なっている場合、重なっている前記補正バウンディングボックス内のキーポイントを解析し、解析結果に基づいて、各前記補正バウンディングボックス内に、前記骨格マップをそれぞれ生成するステップ、を含む、付記２に記載の方法。
（付記４）
前記補正バウンディングボックスが重なっていない場合、各前記補正バウンディングボックス内に、前記骨格マップをそれぞれ生成するステップは、
前記補正バウンディングボックス内において、各部位タイプについて、信頼度マップのピーク値が最も高いキーポイントを前記部位タイプのキーポイントとして選択し、選択された全てのキーポイントを連結して骨格マップを生成するステップ、を含む、付記３に記載の方法。
（付記５）
前記補正バウンディングボックスが重なっていない場合、各前記補正バウンディングボックス内に、前記骨格マップをそれぞれ生成するステップは、
前記キーポイント情報、前記部位アフィニティフィールドスコア及び前記補正バウンディングボックスに基づいて、前記補正バウンディングボックス内の第３の骨格マップを決定するステップと、
前記第３の骨格マップが１つあるとき、前記第３の骨格マップを前記骨格マップとするステップと、
前記第３の骨格マップが複数あるとき、キーポイントの数が最も多い前記第３の骨格マップを本体とし、キーポイントの数の多い順に、他の第３の骨格マップと前記本体とを融合し、前記骨格マップを生成するステップと、を含む、付記３に記載の方法。
（付記６）
前記補正バウンディングボックスのうちの少なくとも２つが重なっている場合、重なっている前記補正バウンディングボックス内のキーポイントを解析し、解析結果に基づいて、各前記補正バウンディングボックス内に、前記骨格マップをそれぞれ生成するステップは、
前記キーポイント情報、前記部位アフィニティフィールドスコア及び重なっている複数の前記補正バウンディングボックスに基づいて、重なっている前記補正バウンディングボックスの範囲内の複数の第４の骨格マップを決定するステップと、
重なっている複数の前記補正バウンディングボックスのうちの１つの補正バウンディングボックスについて、前記第４の骨格マップが利用可能であり、且つ前記第４の骨格マップの前記１つの補正バウンディングボックス内のキーポイントの数が前記第４の骨格マップの前記１つの補正バウンディングボックス外のキーポイントの数よりも多い場合、前記第４の骨格マップを前記１つの補正バウンディングボックスの候補リストにラベル付けするステップと、
前記候補リストにおけるキーポイントの数が最も多い前記第４の骨格マップを本体とし、キーポイントの数の多い順に、前記候補リストにおける他の第４の骨格マップと前記本体とを融合し、前記補正バウンディングボックスに対応する前記骨格マップを生成し、前記骨格マップにおける前記第４の骨格マップを利用不可としてラベル付けするステップと、を含む、付記３に記載の方法。
（付記７）
前記キーポイント情報、前記部位アフィニティフィールドスコアに基づいて、前記補正バウンディングボックス外に骨格マップを生成するステップは、
前記キーポイント情報、前記部位アフィニティフィールドスコア及び前記補正バウンディングボックスに基づいて、前記補正バウンディングボックスの範囲外の第５の骨格マップを決定するステップと、
第１の所定数以上のキーポイントを含む第５の骨格マップを前記骨格マップとするステップと、を含む、付記２に記載の方法。
（付記８）
前記バウンディングボックスを調整して補正バウンディングボックスを生成するステップは、
前記バウンディングボックスを長さ方向及び／又は幅方向に拡大又は縮小して前記補正バウンディングボックスを取得するステップ、を含む、付記２に記載の方法。
（付記９）
コンピュータ読み取り可能なプログラムが記憶された記憶媒体であって、前記コンピュータ読み取り可能なプログラムは、コンピュータに電子機器において付記１乃至７の何れかに記載の動作認識方法を実行させる、記憶媒体。
（付記１）
動作認識方法であって、
第１のニューラルネットワークを使用してビデオフレームを処理し、部位アフィニティフィールド及び信頼度マップを出力するステップと、
第２のニューラルネットワークにより前記ビデオフレームにおけるオブジェクトを検出し、前記オブジェクトのバウンディングボックスを出力するステップと、
前記部位アフィニティフィールド、前記信頼度マップ及び前記バウンディングボックスに基づいて前記オブジェクトの動作認識を行うステップと、を含む、方法。
（付記２）
前記部位アフィニティフィールド、前記信頼度マップ及び前記バウンディングボックスに基づいて前記オブジェクトの動作認識を行うステップは、
前記信頼度マップに基づいて前記オブジェクトのキーポイント情報を生成するステップと、
前記部位アフィニティフィールド及び前記キーポイント情報に基づいて、隣接する２つのキーポイント間の部位アフィニティフィールドスコアを計算するステップと、
前記バウンディングボックスを調整して補正バウンディングボックスを生成するステップと、
前記キーポイント情報、前記部位アフィニティフィールドスコアに基づいて、前記補正バウンディングボックス内に骨格マップを生成し、前記骨格マップに基づいて前記オブジェクトの動作認識を行うステップ、及び／又は、前記キーポイント情報、前記部位アフィニティフィールドスコアに基づいて、前記補正バウンディングボックス外に骨格マップを生成し、前記骨格マップに基づいて前記オブジェクトの動作認識を行うステップと、を含む、付記１に記載の方法。
（付記３）
前記キーポイント情報、前記部位アフィニティフィールドスコアに基づいて、前記補正バウンディングボックス内に骨格マップを生成するステップは、
前記補正バウンディングボックスが重なっていない場合、各前記補正バウンディングボックス内に、前記骨格マップをそれぞれ生成するステップ、及び／又は、
前記補正バウンディングボックスのうちの少なくとも２つが重なっている場合、重なっている前記補正バウンディングボックス内のキーポイントを解析し、解析結果に基づいて、各前記補正バウンディングボックス内に、前記骨格マップをそれぞれ生成するステップ、を含む、付記２に記載の方法。
（付記４）
前記補正バウンディングボックスが重なっていない場合、各前記補正バウンディングボックス内に、前記骨格マップをそれぞれ生成するステップは、
前記補正バウンディングボックス内において、各部位タイプについて、信頼度マップのピーク値が最も高いキーポイントを前記部位タイプのキーポイントとして選択し、選択された全てのキーポイントを連結して骨格マップを生成するステップ、を含む、付記３に記載の方法。
（付記５）
前記補正バウンディングボックスが重なっていない場合、各前記補正バウンディングボックス内に、前記骨格マップをそれぞれ生成するステップは、
前記キーポイント情報、前記部位アフィニティフィールドスコア及び前記補正バウンディングボックスに基づいて、前記補正バウンディングボックス内の第３の骨格マップを決定するステップと、
前記第３の骨格マップが１つあるとき、前記第３の骨格マップを前記骨格マップとするステップと、
前記第３の骨格マップが複数あるとき、キーポイントの数が最も多い前記第３の骨格マップを本体とし、キーポイントの数の多い順に、他の第３の骨格マップと前記本体とを融合し、前記骨格マップを生成するステップと、を含む、付記３に記載の方法。
（付記６）
前記補正バウンディングボックスのうちの少なくとも２つが重なっている場合、重なっている前記補正バウンディングボックス内のキーポイントを解析し、解析結果に基づいて、各前記補正バウンディングボックス内に、前記骨格マップをそれぞれ生成するステップは、
前記キーポイント情報、前記部位アフィニティフィールドスコア及び重なっている複数の前記補正バウンディングボックスに基づいて、重なっている前記補正バウンディングボックスの範囲内の複数の第４の骨格マップを決定するステップと、
重なっている複数の前記補正バウンディングボックスのうちの１つの補正バウンディングボックスについて、前記第４の骨格マップが利用可能であり、且つ前記第４の骨格マップの前記１つの補正バウンディングボックス内のキーポイントの数が前記第４の骨格マップの前記１つの補正バウンディングボックス外のキーポイントの数よりも多い場合、前記第４の骨格マップを前記１つの補正バウンディングボックスの候補リストにラベル付けするステップと、
前記候補リストにおけるキーポイントの数が最も多い前記第４の骨格マップを本体とし、キーポイントの数の多い順に、前記候補リストにおける他の第４の骨格マップと前記本体とを融合し、前記補正バウンディングボックスに対応する前記骨格マップを生成し、前記骨格マップにおける前記第４の骨格マップを利用不可としてラベル付けするステップと、を含む、付記３に記載の方法。
（付記７）
前記キーポイント情報、前記部位アフィニティフィールドスコアに基づいて、前記補正バウンディングボックス外に骨格マップを生成するステップは、
前記キーポイント情報、前記部位アフィニティフィールドスコア及び前記補正バウンディングボックスに基づいて、前記補正バウンディングボックスの範囲外の第５の骨格マップを決定するステップと、
第１の所定数以上のキーポイントを含む第５の骨格マップを前記骨格マップとするステップと、を含む、付記２に記載の方法。
（付記８）
前記バウンディングボックスを調整して補正バウンディングボックスを生成するステップは、
前記バウンディングボックスを長さ方向及び／又は幅方向に拡大又は縮小して前記補正バウンディングボックスを取得するステップ、を含む、付記２に記載の方法。
（付記９）
コンピュータ読み取り可能なプログラムが記憶された記憶媒体であって、前記コンピュータ読み取り可能なプログラムは、コンピュータに電子機器において付記１乃至７の何れかに記載の動作認識方法を実行させる、記憶媒体。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】