特開 2024-144287 動作認識装置と方法及び電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024144287

(43)【公開日】2024-10-11

(54)【発明の名称】動作認識装置と方法及び電子機器

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241003BHJP

【ＦＩ】

G06T7/00 660B

G06T7/00 350C

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024048169

(22)【出願日】2024-03-25

(31)【優先権主張番号】202310331449.5

(32)【優先日】2023-03-30

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】ツァイ・ウェヌティン

(72)【発明者】

【氏名】朱 建清

(72)【発明者】

【氏名】深町 侑加

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA08

5L096BA18

5L096CA01

5L096FA67

5L096FA69

5L096GA51

5L096HA11

5L096JA28

5L096KA04

5L096KA17

(57)【要約】

【課題】本発明は、動作認識装置と方法及び電子機器を提供する。
【解決手段】かかる方法は、ニューラルネットワークにより画像内の対象に対してキーポイントの認識を行い、前記対象のキーポイントを取得し；及び、取得された前記キーポイントのうち、左肩キーポイントと右肩キーポイントとの第一接続線と、肘部キーポイントと手首部キーポイントとの第二接続線との間の夾角に基づいて、前記対象の指す方向を確定することを含み、前記肘部キーポイント及び前記手首部キーポイントは同じ側に所在する。
【選択図】図１

【特許請求の範囲】

【請求項1】

動作を認識する装置であって、
ニューラルネットワークにより画像内の対象に対してキーポイントの認識を行い、前記対象のキーポイントを取得する取得ユニット；及び
取得された前記キーポイントのうち、左肩キーポイントと右肩キーポイントとの第一接続線と、肘部キーポイントと手首部キーポイントとの第二接続線との間の夾角に基づいて、前記対象の指す方向を確定する確定ユニットであって、前記肘部キーポイント及び前記手首部キーポイントは同じ側に所在する、確定ユニットを含む、装置。

【請求項2】

請求項１に記載の装置であって、
前記夾角は、
前記対象の正面を面し、かつ右手首キーポイントが右肘キーポイントよりも低い位置にある場合に、右肘キーポイントと右手首キーポイントとの間の前記第二接続線と、前記第一接続線との間の時計回り方向の第一夾角；及び／又は
前記対象の正面を面し、かつ左手首キーポイントが左肘キーポイント低い位置にある位置にある場合に、左肘キーポイントと左手首キーポイントとの間の前記第二接続線と、前記第一接続線との間の反時計回り方向の第二夾角；及び／又は
前記対象の正面を面し、かつ右手首キーポイントが右肘キーポイントよりも高い位置にある場合に、右肘キーポイントと右手首キーポイントとの間の前記第二接続線と、前記第一接続線との間の反時計回り方向の第一夾角；及び／又は
前記対象の正面を面し、かつ左手首キーポイントが左肘キーポイントよりも高い位置にある場合に、左肘キーポイントと左手首キーポイントとの間の前記第二接続線と、前記第一接続線との間の時計回り方向の第二夾角を含む、装置。

【請求項3】

請求項２に記載の装置であって、
前記確定ユニットは、前記第一夾角及び第一所定閾値に基づいて、及び／又は、前記第二夾角及び第二所定閾値に基づいて、前記対象の指す方向を確定する、装置。

【請求項4】

請求項３に記載の装置であって、
前記第一所定閾値及び／又は前記第二所定閾値は、前記画像を得る画像取得装置と、前記対象の左肩及び右肩との間の相対位置関係に基づいて確定される、装置。

【請求項5】

請求項４に記載の装置であって、
前記相対位置関係は、前記画像取得装置と、前記右肩及び前記左肩との間の距離、及び前記画像取得装置の、前記右肩及び前記左肩に対する上下方向の位置を含む、装置。

【請求項6】

請求項１に記載の装置であって、
前記確定ユニットは、前記第一接続線、前記第二接続線、及び、肩部キーポイントと前記肘部キーポイントとの間の第三接続線の間の夾角に基づいて、前記対象の指す方向を確定し、
前記肩部キーポイント、前記肘部キーポイント及び前記手首部キーポイントは同じ側に
所在する、装置。

【請求項7】

請求項１に記載の装置であって、
所定条件が満足された場合に、前記確定ユニットは前記対象の指す方向を確定し、
前記所定条件は、取得された前記対象のキーポイントの数は所定値よりも大きく、かつ、前記対象のキーポイントは２つの肩部及び少なくとも１つの腕のキーポイントを含むことを含む、装置。

【請求項8】

請求項１に記載の装置であって、
前記画像は変形画像であり、
前記装置はさら、前記変形画像の歪みを修正して修正画像を生成する修正ユニットを含み、
前記取得ユニットは前記修正画像内の対象に対してキーポイントの認識を行い、前記対象のキーポイントを取得する、装置。

【請求項9】

動作を認識する方法であって、
ニューラルネットワークにより画像内の対象に対してキーポイントの認識を行い、前記対象のキーポイントを取得し；及び
取得された前記キーポイントのうち、左肩キーポイントと右肩キーポイントとの第一接続線と、肘部キーポイントと手首部キーポイントとの第二接続線との間の夾角に基づいて、前記対象の指す方向を確定することを含み、
前記肘部キーポイント及び前記手首部キーポイントは同じ側に所在する、方法。

【請求項10】

記憶器と、前記記憶器に接続される処理器と、を含む電子機器であって、
前記記憶器にはコンピュータプログラムが記憶されており、
前記処理器は前記コンピュータプログラムを実行して請求項９に記載の方法を実現するように構成される、電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理の技術分野に関する。

【背景技術】

【0002】

コンピュータ技術の継続的な発展に伴い、キーポイントに基づく動作認識（識別）はインテリジェントな監視、動作分析、人間とコンピュータのインタラクションなどの分野で広く使用されている。例えば、画像取得装置により取得された交通手段（例えば、車両）の運転者の画像について、該画像内の運転者の人体キーポイントに基づいて運転者の指す方向を決定することで、この方向に基づいて、運転者の運転計画、又は運転者の動作が動作規範（仕様）に準拠しているかなどを確認することができる。これは安全な生産や運用保守などに有利である。

【0003】

なお、上述の背景技術についての紹介は、本発明の技術案を明確かつ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術に記述されているため、当業者にとって周知であると解釈してはならない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、発明者は、画像内の対象（オブジェクト）の指す方向を確定する従来の方法には一定の制限があることを発見した。例えば、対象の指す方向の認識結果の正確さ（精度）が低く、誤判定が起こりやすい。

【0005】

上述の問題点のうちの少なくとも１つに鑑み、本発明の実施例は、動作認識結果の正確さを向上させることができる動作認識装置と方法及び電子機器の提供を課題とする。

【課題を解決するための手段】

【0006】

本発明の実施例の１つの側面によれば、動作認識装置が提供され、それは、
取得ユニットであって、ニューラルネットワークにより画像内の対象に対してキーポイントの認識を行い、前記対象のキーポイントを取得する、もの；及び
取得された前記キーポイントのうち、左肩キーポイントと右肩キーポイントとの第一接続線と、肘部キーポイントと手首部キーポイントとの第二接続線との間の夾角に基づいて、前記対象の指す方向を確定する確定ユニットであって、前記肘部キーポイント及び前記手首部キーポイントは同じ側に所在する、ものを含む。

【0007】

本発明の実施例のもう１つの側面によれば、動作認識方法が提供され、それは、
ニューラルネットワークにより画像内の対象に対してキーポイントの認識を行い、前記対象のキーポイントを取得し；及び
取得された前記キーポイントのうち、左肩キーポイントと右肩キーポイントとの第一接続線と、肘部キーポイントと手首部キーポイントとの第二接続線との間の夾角に基づいて、前記対象の指す方向を確定し、そのうち、前記肘部キーポイント及び前記手首部キーポイントは同じ側に所在することを含む。

【0008】

本発明の実施例の他の側面によれば、記憶器及び処理器を含む電子機器が提供され、前記記憶器にはコンピュータプログラムが記憶されており、前記処理器は前記コンピュータプログラムを実行して前述の動作認識方法を実現するように構成される。

【発明の効果】

【0009】

対象の２つの肩部キーポイントの第一接続線と、肘部キーポイントと手首部キーポイントとの間の第二接続線との間の夾角を用いて対象の指す方向を確定することで、動作認識結果の正確さを向上させることができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施例における動作認識方法を示す図である。

【図2】本発明の実施例における変形画像を示す図である。

【図3】本発明の実施例における変形画像を示すもう１つの図である。

【図4】本発明の実施例におけるキーポイントを示す図である。

【図5】本発明の実施例における夾角を示す図である。

【図6】本発明の実施例における夾角を示すもう１つの図である。

【図7A】本発明の実施例における対象の指す方向を示す図である。

【図7B】本発明の実施例における対象の指す方向を示す図である。

【図7C】本発明の実施例における対象の指す方向を示す図である。

【図8A】本発明の実施例における対象の指す方向を示す図である。

【図8B】本発明の実施例における対象の指す方向を示す図である。

【図8C】本発明の実施例における対象の指す方向を示す図である。

【図9】本発明の実施例における夾角を示すもう１つの図である。

【図10】本発明の実施例における夾角を示すもう１つの図である。

【図11】本発明の実施例における動作認識装置を示す図である。

【図12】本発明の実施例における電子機器を示す図である。

【発明を実施するための形態】

【0011】

添付した図面及び以下の説明を参照することにより、本発明の前述及び他の特徴が明らかになる。なお、明細書及び図面では本発明の特定の実施例を開示するが、それらは本発明の原理を採用し得る一部のみの実施例を示し、理解すべきは、本発明は記載される実施例に限定されず、即ち、本発明は添付する特許請求の範囲に属するすべての変更、変形及び代替によるものをも含むということである。

【0012】

本発明の実施例において、動作認識の対象は様々な年齢の人体であっても良く、例えば、高齢者であっても良く、子供であっても良く、高齢者及び／又は介護者であっても良く、子供及び／又は保護者であっても良い。なお、本発明はこれらに限定されず、検出目標としての対象はバイタルサインを有する人体又は他の動物体であっても良く、又は、バイタルサインを有しないマシンなどであっても良い。

【0013】

以下、図面を参照しながら本発明の実施例について説明する。

【0014】

＜第一側面の実施例＞
本発明では動作認識方法が提供される。図１は本発明の実施例における動作認識方法を示す図である。図１に示すように、該方法は以下のステップを含む。

【0015】

ステップ１０１：ニューラルネットワークにより画像内の対象に対してキーポイントの認識を行い、対象のキーポイントを取得し；及び
ステップ１０２：取得されたキーポイントのうち、左肩キーポイントと右肩キーポイントとの第一接続線と、肘部キーポイントと手首部キーポイントとの第二接続線との間の夾角に基づいて、対象の指す方向を確定し、そのうち、肘部キーポイント及び手首部キーポイントは同じ側に位置する。

【0016】

上述の実施例により、対象の２つの肩部キーポイントの第一接続線と、同じ側に所在する肘部キーポイントと手首部キーポイントとの間の第二接続線との間の夾角を利用して対象の指す方向を確定することで、動作認識結果の正確さを向上させることができる。

【0017】

例えば、対象は、腕（アーム）（特に、前腕）の胴体（特に、肩部）に対しての異なる位置によって異なる方向を示し、対象の複数のキーポイントのうち、２つの肩部キーポイントは胴体の位置を表す（又は部分的に表す）ことができ、同じ側に位置する肘部キーポイント及び手首部キーポイントはこの側の前腕の位置を表すことができ、よって、これらのキーポイントに基づいて対象の指す方向を合理的かつ正確に確定可能である。複数のキーポイントのうち、２つの肩部キーポイント、及び同じ側の肘部キーポイント及び手首部キーポイントに基づいて対象の指す方向を確定するにより、簡単な方式で、対象の指す方向の確定を行うことができる。そのため、計算量を減少させ、計算効率を向上させることができる。また、２つの肩部キーポイントの第一接続線と、第二接続線との間の夾角により対象の指す方向を確定することで、画像取得角度（例えば、正面、側面など）及び／又は対象の姿勢（例えば、立ち、座りなどの姿勢）及び／又は画像に歪み（ｄｉｓｔｏｒｔｉｏｎ）が生じたか（例えば、正常な画像又は変形した画像など）などの、認識結果への影響を低減することができる。

【0018】

なお、上述の図１は本発明の実施例を説明するためのものであるが、本発明はこれに限られない。例えば、各操作（ステップ）間の実行順序を適切に調整したり、幾つかの操作を増減したりすることができる。当業者は、上述の図１の記載に限られず、上述の内容に基づいて適切な変形を行うことができる。

【0019】

幾つかの実施例において、画像は様々な形式の画像であっても良い。例えば、該画像は正常な画像（正常画像）又は変形した画像（変形画像）であっても良い。正常画像は例えば、歪み無しの画像、又は歪み量が所定値よりも小さい画像である。例えば、該正常画像内の任意の２つの画素点の間の距離と、該２つの画素点に対応する被写体の間の距離との比は同じであっても良く、又は、両者の差は所定の変形閾値よりも小さくても良い。

【0020】

変形画像は例えば、歪みがある画像、又は歪み量が所定値よりも大きい画像である。図２及び図３は本発明の実施例における変形画像を示す図であり、それぞれ、異なる角度（例えば、正面、側面など）から取得された、対象を含む変形画像を示している。図２及び図３に示すように、該変形画像内の、２つの画素点の間の距離と、該２つの画素点に対応する被写体の間の距離との第一の比と、他の２つの画素点の間の距離と、該他の２つの画素点に対応する被写体の間の距離との第二の比とは異なり、又は、両者の差は所定の変形閾値よりも大きい。

【0021】

幾つかの実施例において、図２及び図３に示すように、該変形画像は例えば、魚眼画像などである。例えば、該変形画像は例えば、フォークリフトに設けられる魚眼カメラを用いて取得されたフォークリフトの運転者の画像であり、該フォークリフトは例えば、様々な類型のフォークリフトであり、例えば、カウンター式フォークリフト（Ｃｏｕｎｔｅｒ ｆｏｒｋ ｔｒｕｃｋ）又はリーチ式フォークリフト（ｒｅａｃｈ ｆｏｒｋ ｔｒｕｃｋ）などである。なお、本発明はこれに限定されず、該変形画像は他の画像であっても良い。

【0022】

幾つかの実施例において、ステップ１０１では、ニューラルネットワークにより、直接、正常画像又は変形画像内の対象に対してキーポイントの認識を行い、対象のキーポイントを取得しても良い。認識された、肩部キーポイントの間の第一接続線と、同じ側に所在する肘部キーポイントと手首部キーポイントとの間の第二接続線の夾角を利用して対象の指す方向を確定することで、対象の形状に歪み（又は変形）がある変形画像であっても、対象の指す方向の認識結果の正確さを確保することができる。

【0023】

幾つかの実施例において、ステップ１０１では、ニューラルネットワークにより、様々な方式で画像内の対象のキーポイントを認識することができる。例えば、ニューラルネットワークにより、ｏｐｅｎｐｏｓｅ、ＤｅｅｐＣｕｔなどのアルゴリズムを用いてキーポイントの認識を行っても良い。なお、キーポイント認識の具体的な方法については関連技術を参照することができる。

【0024】

図４は本発明の実施例におけるキーポイントを示す図である。幾つかの実施例において、図４に示すように、対象は１つ又は複数のキーポイントを有しても良く、各キーポイントは対象の身体（人体）の部位に対応する。例えば、対象のキーポイントは次のようなものうちの１つ又は複数を含んでも良く、即ち、首０、鼻１、左肩６、右肩７、左腰１２、右腰１３、左目２、右目３、左肘８、右肘９、左膝１４、右膝１５、左耳４、右耳５、左手首１０、右手首１１、左足首１６及び右足首１７である。なお、本発明はこれらに限られず、対象のキーポイントは上述の１８個のキーポイント以外の他のキーポイントを含んでも良い。

【0025】

幾つかの実施例において、ステップ１０２では、対象の様々な指す方向に対して認識を行うことができる。例えば、上、下、左、右、前、後、胴体の一方側、胴体の他方側などである。以下、胴体の一方側及び胴体の他方側の対象の指す方向の認識を例にしてステップ１０２を例示的に説明する。なお、理解できるように、これらの内容は同様に他の方向の認識にも適用できる。

【0026】

図５は本発明の実施例における夾角を示す図である。幾つかの実施例において。図５に示すように、第一接続線Ｃ１は左肩キーポイント６と右肩キーポイント７との間の接続線である。第二接続線は左肘キーポイント８と左手首キーポイント１０との間の接続線Ｃ２＿Ｌであっても良く、及び／又は、右肘キーポイント９と右手首キーポイント１１との間の接続線Ｃ２＿Ｒであっても良い。

【0027】

幾つかの実施例において。図５に示すように、第一接続線と第二接続線との間の夾角は、第一接続線Ｃ１と第二接続線Ｃ２＿Ｒとの間の第一夾角であっても良く、及び／又は、第一接続線Ｃ１と第二接続線Ｃ２＿Ｌとの間の第二夾角であっても良い。

【0028】

図５に示すように、対象の正面を面することを例にとり、右手首キーポイント１１が右肘キーポイント９よりも低い位置にある場合に、第一接続線Ｃ１と第二接続線Ｃ２＿Ｒとの第一夾角は第二接続線Ｃ２＿Ｒと第一接続線Ｃ１との間の時計回り方向の夾角γ１であり、即ち、第二接続線Ｃ２＿Ｒが第二接続線Ｃ２＿Ｒと第一接続線Ｃ１との交点Ａ２を中心に、第一接続線Ｃ１と重なり合った（一致した）位置に時計回りに回転したときの角度である。

【0029】

図５に示すように、対象の正面を面することを例にとり、左手首キーポイント１０が左肘キーポイント８よりも低い位置にある場合に、第一接続線Ｃ１と第二接続線Ｃ２＿Ｌとの第二夾角は第二接続線Ｃ２＿Ｌと第一接続線Ｃ１との間の反時計回り方向の夾角γ２であり、即ち、第二接続線Ｃ２＿Ｌが第二接続線Ｃ２＿Ｌと第一接続線Ｃ１との交点Ａ１を中心に、第一接続線Ｃ１と重なり合った位置に反時計回りに回転したときの角度である。

【0030】

図６は本発明の実施例における夾角を示すもう１つの図である。図６に示すように、対象の正面を面することを例にとり、右手首キーポイント１１が右肘キーポイント９よりも高い位置にある場合に、第一接続線Ｃ１と第二接続線Ｃ２＿Ｒとの第一夾角は第二接続線Ｃ２＿Ｒと第一接続線Ｃ１との間の反時計回り方向の夾角γ１であり、即ち、第二接続線Ｃ２＿Ｒが第二接続線Ｃ２＿Ｒと第一接続線Ｃ１との交点Ａ２を中心に、第一接続線Ｃ１重なり合った位置に反時計回りに回転したときの角度である。

【0031】

図６に示すように、対象の正面を面することを例にとり、左手首キーポイント１０が左肘キーポイント８よりも高い位置にある場合に、第一接続線Ｃ１と第二接続線Ｃ２＿Ｌとの第二夾角は第二接続線Ｃ２＿Ｌと第一接続線Ｃ１との間の時計回り方向の夾角γ２であり、即ち、第二接続線Ｃ２＿Ｌが第二接続線Ｃ２＿Ｌと第一接続線Ｃ１との交点Ａ１を中心に、第一接続線Ｃ１と重なり合った位置に時計回りに回転したときの角度である。

【0032】

図５及び図６では、対象の右腕がほぼ右側（右外側）を指し又は左腕がほぼ左側（左外側）を指すことを例にして、第一夾角及び第二夾角の確定方式を例示的に説明している。理解できるように、図５及び図６に示す第一夾角及び第二夾角の確定方式は同様に、対象の右腕がほぼ左側（右内側）を指し又は左腕がほぼ右側（左内側）を指す場合に適用できる。

【0033】

上述の方式で第一夾角及び第二夾角を設定することで、手首部キーポイントが肘部キーポイントの上側又は下側にある場合に、同じ方式を用いて対象の指す方向を確定できる。これにより、確定の操作（処理）を簡素化できる。本発明はこれに限定されず、他の方式で該第一夾角及び第二夾角を設定しても良い。

【0034】

幾つかの実施例において、ステップ１０２では、第一夾角及び第一所定閾値に基づいて、及び／又は、第二夾角及び第二所定閾値に基づいて、対象の指す方向を確定しても良い。そのうち、該第一所定閾値は第二所定閾値と同じであっても良い。これにより、対象の指す方向の判断の処理を簡素化できる。本発明はこれに限られず、該第一所定閾値と第二所定閾値は異なっても良く、これによって、該第一所定閾値及び第二所定閾値を柔軟に設定することができる。

【0035】

幾つかの実施例において、該第一所定閾値及び第二所定閾値は第一夾角及び第二夾角の大きさに対応の閾値であっても良く、又は、第一夾角の三角関数及び第二夾角の三角関数に対応する閾値であっても良い。

【0036】

幾つかの実施例において、夾角の大きさ及び所定閾値に基づいて対象の指す方向を確定するときに、該第一所定閾値は第一閾値及び第二閾値を含み得る。例えば、第一接続線Ｃ１と第二接続線Ｃ２＿Ｒとの第一夾角γ１について、第一夾角γ１が第一閾値よりも小さいときに、対象の指す方向は右外側（胴体の右側からほぼ右側を指す）であり、第一夾角γ１が第二閾値よりも大きいときに、対象の指す方向は右内側（胴体の右側からほぼ左側を指す）である。そのうち、第一閾値は第二閾値に等しくても良く、又は、第一閾値は第二閾値よりも小さくても良い。例えば、第一閾値及び第二閾値はともに９０°であっても良く、又は、第一閾値は９０°よりも小さい値、第二閾値は９０°よりも大きい値であっても良い。

【0037】

図７Ａ、図７Ｂ及び図７Ｃは本発明の実施例における対象の指す方向を示す図であり、そのうち、図７Ａ、図７Ｂ及び図７Ｃはそれぞれ、右外側、右内側及び右外側の指す方向を示している。

【0038】

上述の実施例では、該第二閾値は第三閾値及び第四閾値を含み得る。例えば、第一接続線Ｃ１と第二接続線Ｃ２＿Ｌとの第二夾角γ２について、第二夾角γ２が第三閾値よりも小さいときに、対象の指す方向は左外側（胴体の左側からほぼ左側を指す）であり、第二夾角γ２が第四閾値よりも大きいときに、対象の指す方向は左内側（胴体の左側からほぼ右側を指す）である。そのうち、第三閾値は第四閾値と同じであっても良く、又は、第三閾値は第四閾値よりも小さくても良い。例えば、第三閾値及び第四閾値はともに９０°であっても良く、又は、第三閾値は９０°よりも小さい値、第四閾値は９０°よりも大きい値であっても良い。

【0039】

図８Ａ、図８Ｂ及び図８Ｃは本発明の実施例における対象の指す方向を示す図であり、そのうち、図８Ａ、図８Ｂ及び図８Ｃはそれぞれ、左外側、左内側及び左外側の指す方向を示している。

【0040】

幾つかの実施例において、認識結果の精度への要求に基づいて第一閾値及び／又は第三閾値及び／又は第二閾値及び／又は第四閾値を調整しても良い。例えば、精度への要求が高い場合に、第一閾値及び／又は第三閾値をより小さい値に、第二閾値及び／又は第四閾値をより大きい値に設定しても良い。

【0041】

幾つかの実施例において、第一閾値は第三閾値と同じであり又は異なって良く、第二閾値は第四閾値と同じであり又は異なっても良い。

【0042】

幾つかの実施例において、夾角の三角関数値及び所定閾値に基づいて対象の指す方向を確定するときに、該夾角の三角関数値は様々な三角関数値であっても良い。余弦（コサイン）関数を例にとり、該第一所定閾値は第五閾値及び第六閾値を含み得る。例えば、第一夾角γ１の余弦関数値が第五閾値よりも大きいときに、対象の指す方向は右外側（胴体の右側からほぼ右側を指す）であり、第一夾角γ１の余弦関数値が第六閾値よりも小さいときに、対象の指す方向は右内側（胴体の右側からほぼ左側を指す）である。そのうち、第五閾値は第六閾値に等しくても良く、又は、第五閾値は第六閾値よりも大きくても良い。例えば、第五閾値及び第六閾値はともに０であっても良く、又は、第五閾値は正の値、第六閾値は負の値であっても良い。

【0043】

上述の実施例では、該第二所定閾値は第七閾値及び第八閾値を含み得る。例えば、第二夾角γ２の余弦関数値が第七閾値よりも大きいときに、対象の指す方向は左外側（胴体の左側からほぼ左側を指す）であり、第二夾角γ２が第八閾値よりも小さいときに、対象の指す方向は左内側（胴体の左側からほぼ右側を指す）である。そのうち、第七閾値は第八閾値と同じであっても良く、又は、第七閾値は第八閾値よりも大きくても良い。例えば、第七閾値及び第八閾値はともに０であっても良く、又は、第七閾値は正の値、第八閾値は負の値であっても良い。

【0044】

幾つかの実施例において、認識結果の精度への要求に基づいて第五閾値及び／又は第六閾値及び／又は第七閾値及び／又は第八閾値を調整しても良く、例えば、精度へ要求が高い場合に、第五閾値及び／又は第七閾値をより大きい値に、第六閾値及び／又は第八閾値をより小さい値に設定しても良い。

【0045】

幾つかの実施例において、第五閾値は第七閾値と同じであり又は異なっても良く、第四閾値は第六閾値と同じであり又は異なっても良い。

【0046】

幾つかの実施例において、第一所定閾値及び／又は第二所定閾値は、該画像を得る画像取得装置と、対象の左肩及び右肩との間の相対位置関係に基づいて確定されても良い。そのうち、該相対位置関係は例えば、該画像取得装置と対象の左肩及び右肩との間の距離、及び画像取得装置の、対象の左肩及び右肩に対する上下方向の位置を含んでも良い。画像を得る画像取得装置と、対象の左肩及び右肩との間の相対位置関係に基づいて第一所定閾値及び／又は第二所定閾値を対応して調整することで、対象の指す方向の正確さをさらに向上させることができる。

【0047】

例えば、画像取得装置は次のような位置にあっても良く、即ち、該画像取得装置と対象の左肩との距離が該画像取得装置と対象の右肩との距離に等しく、かつ、該画像取得装置が上下方向において対象の左肩及び右肩とアラインした（即ち、高さが同じである）位置である。このような場合に、画像取得装置は対象の正面の第一画像を得ることができる。該第一画像内の対象に対してキーポイントの認識を行うことで、該対象の左肩キーポイント、右肩キーポイント、肘部キーポイント及び手首部キーポイントを得ることができる。さらに、左肩キーポイントと右肩キーポイントとの第一接続線と、肘部キーポイントと手首部キーポイントとの第二接続線との間の夾角（第一夾角及び第二夾角）、及び所定閾値（第一所定閾値及び第二所定閾値）に基づいて、対象の指す方向の確定を行うこともできる。該第一画像に対応する第一夾角及び第二夾角を第一基準角及び第二基準角と称し、該第一所定閾値及び該第二所定閾値を第一基準値及び第二基準値と称する。

【0048】

対象の姿勢が変わらないとし、画像取得装置を次のような位置に調整し、即ち、該画像取得装置と対象の左肩との距離が該画像取得装置と対象の右肩との距離に等しくなく、かつ、該画像取得装置が上下方向において対象の左肩及び右肩とアラインしない（即ち、高さが異なる）位置である。このような場合に、画像取得装置は対象の側面の第二画像を得ることができる。該第二画像に対応する第一夾角及び第二夾角は第一基準角及び第二基準角とは異なる値であっても良いので、該第二画像に対応する第一所定閾値及び第二所定閾値は第一基準値及び第二基準値とは異なる値に設定されも良い。

【0049】

図５に示す手首部キーポイントが肘部キーポイントよりも低いことを例にとり、画像取得装置が対象の左肩及び右肩の上側に位置する場合に、画像取得装置と右肩キーポイント７との距離が画像取得装置と左肩キーポイント６との距離よりも小さいときに、右肘キーポイント９と右手首キーポイント１１との第二接続線Ｃ２＿Ｒと、第一接続線Ｃ１との第一夾角は第一基準角よりも小さくなり、左肘キーポイント８と左手首キーポイント１０との第二接続線Ｃ２＿Ｌと、第一接続線Ｃ１との第二夾角は第二基準角よりも大きくなる。これにより、第一所定閾値及び第二所定閾値が夾角の大きさの閾値（例えば、第一所定閾値は前述の第一閾値及び第二閾値、第二所定閾値は前述の第三閾値及び第四閾値である）である場合に、該第一所定閾値は第一基準値よりも小さい値に、第二所定閾値は第二基準値よりも大きい値に設定されても良い。

【0050】

同様に、画像取得装置と右肩キーポイント７との距離が画像取得装置と左肩キーポイント６との距離よりも大きいときに、該第一所定閾値は第一基準値よりも大きい値に、該第二所定閾値は第二基準値よりも小さい値に設定されても良い。

【0051】

図５に示す手首部キーポイントが肘部キーポイントよりも低いことを例にとり、画像取得装置が対象の左肩及び右肩の下側に位置する場合に、画像取得装置と右肩キーポイント７の距離が画像取得装置と左肩キーポイント６との距離よりも小さいときに、右肘キーポイント９と右手首キーポイント１１との第二接続線Ｃ２＿Ｒと、第一接続線Ｃ１との第一夾角は第一基準角よりも大きくなり、左肘キーポイント８と左手首キーポイント１０との第二接続線Ｃ２＿Ｌ、第一接続線Ｃ１との第二夾角は第二基準角よりも小さくなる。これにより、第一所定閾値及び第二所定閾値が夾角の大きさの閾値（例えば、第一所定閾値は前述の第一閾値及び第二閾値、第二所定閾値は前述の第三閾値及び第四閾値である）である場合に、該第一所定閾値は第一基準値よりも大きい値に、該第二所定閾値は第二基準値よりも小さい値に設定されても良い。

【0052】

同様に、画像取得装置と右肩キーポイント７との距離が画像取得装置と左肩キーポイント６との距離よりも大きいときに、該第一所定閾値は第一基準値よりも小さい値に、該第二所定閾値は第二基準値よりも大きい値に設定されても良い。

【0053】

本発明はこれに限られず、他の方式で該第一所定閾値及び該第二所定閾値を調整しても良い。

【0054】

幾つかの実施例において、ステップ１０２では、第一接続線と第二接続線との間の夾角に基づいて対象の指す方向を確定できる以外に、さらに、該第一接続線、該第二接続線、及び、肩部キーポイントと肘部キーポイントとの間の第三接続線の間の夾角に基づいて、対象の指す方向を確定しても良く、そのうち、肩部キーポイント、肘部キーポイント及び手首部キーポイントは同じ側に所在する。対象の指す方向の確定プロセスで第三接続線をも考慮することで、対象の指す方向の正確さをより一層向上させることができる。

【0055】

幾つかの実施例において、第一接続線、第二接続線、及び第三接続線の間の夾角は次のような夾角のうちの少なくとも１つを含んでも良く、即ち、第一接続線と第二接続線との夾角、第一接続線と第三接続線との夾角、及び、第二接続線と第三接続線との夾角である。

【0056】

第一接続線と第二接続線との夾角及び第一接続線と第三接続線との夾角に基づいて、対象の指す方向の確定を行うことを例にして、確定方式を例示的に説明する。

【0057】

幾つかの実施例において、該第一接続線と該第三接続線との夾角の定義は第一接続線と第二接続線との夾角の定義と同様であっても良い。

【0058】

図９は本発明の実施例における夾角を示すもう１つの図である。図９に示すように、対象の正面を面することを例にとり、右肘キーポイント９が右肩キーポイント７よりも低い位置にある場合に、第一接続線Ｃ１と第三接続線Ｃ３＿Ｒとの第三夾角は第三接続線Ｃ３＿Ｒと第一接続線Ｃ１との間の時計回り方向の夾角γ３であり、左肘キーポイント８が左肩キーポイント６よりも低い位置にある場合に、第一接続線Ｃ１と第三接続線Ｃ３＿Ｌとの第四夾角は第三接続線Ｃ３＿Ｌと第一接続線Ｃ１との間の反時計回り方向の夾角γ４である。

【0059】

図１０は本発明の実施例における夾角を示すもう１つの図である。図１０に示すように、対象の正面を面することを例にとり、右肘キーポイント９が右肩キーポイント７よりも高い位置にある場合に、第一接続線Ｃ１と第三接続線Ｃ３＿Ｒとの第三夾角は第三接続線Ｃ３＿Ｒと第一接続線Ｃ１との間の反時計回り方向の夾角γ３であり、左肘キーポイント８が左肩キーポイント６よりも高い位置にある場合に、第一接続線Ｃ１と第三接続線Ｃ３＿Ｌの第四夾角は第三接続線Ｃ３＿Ｌと第一接続線Ｃ１との間の時計回り方向の夾角γ４である。

【0060】

図９及び図１０では、対象の右腕がほぼ右側（右外側）を指し又は左腕がほぼ左側（左外側）を指すことを例にして、第三夾角及び第四夾角の確定方式を例示的に説明している。理解できるように、図９及び図１０に示す第三夾角及び第四夾角の確定方式は同様に、対象の右腕がほぼ左側（右内側）を指し又は左腕がほぼ右側（左内側）を指す場合にも適用できる。

【0061】

幾つかの実施例において、第三夾角及び第三所定閾値、及び／又は、第四夾角及び第四所定閾値に基づいて、対象の指す方向を確定できる。夾角の大きさ及び所定閾値に基づいて対象の指す方向を確定するときに、該第三所定閾値は第九閾値及び第十閾値を含み得る。例えば、第一接続線Ｃ１と第二接続線Ｃ２＿Ｒとの第一夾角γ１及び第一接続線Ｃ１と第三接続線Ｃ３＿Ｒとの第三夾角γ３について、第一夾角γ１が第一閾値よりも小さく、かつ第三夾角γ３が第九閾値よりも小さいときに、対象の指す方向は右外側（胴体の右側からほぼ右側を指す）であり、第一夾角γ１が第二閾値よりも大きく、かつ第三夾角γ３が第十閾値よりも大きいときに、対象の指す方向は右内側（胴体右側からほぼ左側を指す）である。そのうち、第九閾値は第十閾値と同じであり又は異なっても良い。

【0062】

上述の実施例では、該第四所定閾値は第十一閾値及び第十二閾値を含み得る。例えば、第一接続線Ｃ１と第二接続線Ｃ２＿Ｌとの第二夾角γ２及び第一接続線Ｃ１と第三接続線Ｃ３＿Ｌとの第四夾角γ４について、第二夾角γ２が第三閾値よりも小さく、かつ第四夾角γ４が第十一閾値よりも小さいときに、対象の指す方向は左外側（胴体の左側からほぼ左側を指す）であり、第二夾角γ２が第四閾値よりも大きく、かつ第四夾角γ４が第十二閾値よりも大きいときに、対象の指す方向は左内側（胴体の左側からほぼ右側を指）である。そのうち、第十一閾値は第十二閾値と同じであり又は異なっても良い。

【0063】

幾つかの実施例において、ステップ１０２では、所定条件が満足された場合に、対象の指す方向を確定できる。そのうち、該所定条件は次のようなことを含んでも良く、即ち、ステップ１０１で取得された対象のキーポイントの数は所定値よりも大きく、かつ、取得された対象のキーポイントは２つの肩部及び少なくとも１つの腕のキーポイントを含む。取得された対象のキーポイントの数が所定値よりも大きいことは、比較的多いキーポイントを得ていることを意味するため、取得されたキーポイントの信頼性は比較的高い。よって、これらのキーポイントに基づいて対象の指す方向を確定するときに、認識結果の正確さを確保できる。

【0064】

幾つかの実施例において、該所定値は４以上であり、かつ対象のキーポイント数の最大値（例えば、１８）以下の整数であっても良い。例えば、キーポイントの数が１８のときに、該所定値は１０であっても良い。本発明はこれに限られず、該所定条件は取得されたキーポイント数について限定しなくても良い。

【0065】

幾つかの実施例において、画像が変形画像であるときに、変形画像の歪みを修正することができる。例えば、変形画像内の任意の２つの画素点の間の距離と、該２つの画素点に対応する被写体の間の距離との比が同じになり、又は両者の差が所定の変形閾値よりも小さくなるようにさせる。これにより、変形画像内の対象の指す方向の認識結果の正確さをより一層向上させることができる。

【0066】

図１に示すように、該方法はさらに以下のステップを含んでも良い。

【0067】

ステップ１０３：変形画像の歪みを修正して修正画像を生成する。

【0068】

ステップ１０１では、修正画像内の対象に対してキーポイントの認識を行うことで、対象のキーポイントを得ることができる。

【0069】

幾つかの実施例において、ステップ１０３では、様々な方式で変形画像の歪みを修正することができる。例えば、緯度経度マッピングの方式、双線形補間（バイリニア補間）の方式などで変形画像を修正することができる。なお、変形画像を修正する具体的な方法については関連技術を参照することができる。

【0070】

以上、本発明に係る各ステップ又はプロセスのみを説明しているが、本発明はこれらに限定されない。動作認識方法は他のステップ又はプロセスをさらに含んでも良く、これらのステップ又はプロセスの具体的な内容については従来技術を参照することができる。また、以上、動作認識モデルの幾つかの構成を例にして本発明の実施例を例示的に説明しているが、本発明はこれらの構成に限られず、さらに、これらの構成を適切に変形させても良く、これらの変形の実施方式はすべて、本発明の実施例の範囲内に属する。

【0071】

また、上述の各実施例は本発明の実施例を例示的に説明するものであるが、本発明はこれらに限られず、さらに、上述の各実施例をもとに適切な変形を行うことができる。例えば、上述の各実施例を単独で使用しても良く、上述の各実施例のうちの複数を組み合わせて使用しても良い。

【0072】

上述の実施例から分かるように、対象の２つの肩部キーポイントの第一接続線と、同じ側に所在する肘部キーポイントと手首部キーポイントとの間の第二接続線との間の夾角を利用して対象の指す方向を確定することで、動作認識結果の正確さを向上させることができる。

【0073】

例えば、対象は腕（特に、前腕）の胴体（特に、肩部）に対しての異なる位置により異なる方向を示し、対象の複数のキーポイントのうち、２つの肩部キーポイントは胴体の位置を表す（又は部分的に表す）ことができ、同じ側に位置する肘部キーポイント及び手首部キーポイントはこの側の前腕の位置を表すことができ、よって、これらのキーポイントに基づいて、対象の指す方向を合理的かつ正確に確定可能である。複数のキーポイントのうち、２つの肩部キーポイント、及び同じ側の肘部キーポイント及び手首部キーポイントに基づいて対象の指す方向を確定することにより、簡単な方式で、対象の指す方向の確定を行うことができる。そのため、計算量を減少させ、計算効率を向上させることができる。また、２つの肩部キーポイントの第一接続線と、第二接続線との間の夾角により対象の指す方向を確定することで、画像取得角度及び／又は対象の姿勢及び／又は画像に歪み（又は変形）が発生したかなどの、認識結果への影響を減少させることができる。

【0074】

＜第二側面の実施例＞
本発明は動作認識装置を提供し、ここでは第一側面の実施例と同じ内容の説明を省略する。

【0075】

図１１は本発明の実施例における動作認識装置を示す図である。図１１に示すように、動作認識装置１１００は以下のものを含む。

【0076】

取得ユニット１１０１：ニューラルネットワークにより画像内の対象に対してキーポイントの認識を行い、前記対象のキーポイントを取得し；及び
確定ユニット１１０２：取得された前記キーポイントのうち、左肩キーポイントと右肩キーポイントとの第一接続線と、肘部キーポイントと手首部キーポイントとの第二接続線との間の夾角に基づいて、前記対象の指す方向を確定する、そのうち、前記肘部キーポイント及び前記手首部キーポイントは同じ側に所在する。

【0077】

幾つかの実施例において、前記夾角は、
前記対象の正面を面し、かつ右手首キーポイントが右肘キーポイントよりも低い位置にある場合に、右肘キーポイントと右手首キーポイントとの間の前記第二接続線と前記第一接続線との間の時計回り方向の第一夾角；及び／又は
前記対象の正面を面し、かつ左手首キーポイントが左肘キーポイントよりも低い位置にある場合に、左肘キーポイントと左手首キーポイントとの間の前記第二接続線と、前記第一接続線との間の反時計回り方向の第二夾角；及び／又は
前記対象の正面を面し、かつ右手首キーポイントが右肘キーポイントよりも高い位置にある場合に、右肘キーポイントと右手首キーポイントとの間の前記第二接続線と、前記第一接続線との間の反時計回り方向の第一夾角；及び／又は
前記対象の正面を面し、かつ左手首キーポイントが左肘キーポイントより高い位置にある場合に、左肘キーポイントと左手首キーポイントとの間の前記第二接続線と、前記第一接続線との間の時計回り方向の第二夾角を含む。

【0078】

幾つかの実施例において、前記確定ユニットは前記第一夾角及び第一所定閾値に基づいて、及び／又は、前記第二夾角及び第二所定閾値に基づいて、前記対象の指す方向を確定する。

【0079】

幾つかの実施例において、前記第一所定閾値及び／又は前記第二所定閾値は、前記画像を得る画像取得装置と前記対象の左肩及び右肩との間の相対位置関係に基づいて確定される。

【0080】

幾つかの実施例において、前記相対位置関係は、前記画像取得装置と前記右肩及び前記左肩との間の距離、及び前記画像取得装置の前記右肩及び前記左肩に対する上下方向の位置を含む。

【0081】

幾つかの実施例において、前記確定ユニットは、前記第一接続線、前記第二接続線、及び、前記肩部キーポイントと前記肘部キーポイントとの間の第三接続線の間の夾角に基づいて、前記対象の指す方向を確定し、そのうち、前記肩部キーポイント、前記肘部キーポイント及び前記手首部キーポイントは同じ側に位置する。

【0082】

幾つかの実施例において、所定条件が満足された場合に、前記確定ユニットは前記対象の指す方向を確定し、そのうち、前記所定条件は、取得された前記対象のキーポイントの数は所定値よりも大きく、かつ、前記対象のキーポイントは２つの肩部及び少なくとも１つの腕のキーポイントを含むことを含む。

【0083】

幾つかの実施例において、前記画像は変形画像であり、前記装置はさらに以下のものを含む。

【0084】

修正ユニット１１０３：前記変形画像の歪みを修正して修正画像を生成する。

【0085】

前記取得ユニット１１０１は前記修正画像内の対象に対してキーポイントの認識を行い、前記対象のキーポイントを取得する。

【0086】

なお、以上、本発明に係る各部品又はモジュールのみを説明しているが、本発明はこれらに限定されない。動作認識装置１１００は他の部品又はモジュールをさらに含んでも良く、これらの部品又はモジュールの具体的な内容については関連技術を参照することができる。

【0087】

また、便宜のため、図１１には各部品又はモジュール間の接続関係又は信号方向のみが示されているが、当業者が理解できるように、バス接続などの様々な関連技術を採用しても良い。上述の各部品又はモジュールは例えば、処理器、記憶器などのハードウェアにより実現されても良く、本発明の実施例ではこれについて限定しない。

【0088】

上述の各実施例は本発明の実施例を例示的に説明するためのものであるが、本発明はこれらに限られず、上述の各実施例をもとに適切な変形を行っても良い。例えば、上述の各実施例を単独で使用しても良く、上述の各実施例のうちの複数を組み合わせて使用しても良い。

【0089】

上述の実施例から分かるように、対象の２つの肩部キーポイントの第一接続線と、同じ側に所在する肘部キーポイントと手首部キーポイントとの間の第二接続線との間の夾角を利用して対象の指す方向を確定することで、動作認識結果の正確さを向上させることができる。

【0090】

例えば、対象は腕（特に、前腕）の胴体（特に、肩部）に対しての異なる位置により異なる方向を示し、対象の複数のキーポイントのうち、２つの肩部キーポイントは胴体の位置を表す（又は部分的に表す）ことができ、同じ側に位置する肘部キーポイント及び手首部キーポイントはこの側の前腕の位置を表すことができ、よって、これらのキーポイントに基づいて、対象の指す方向を合理的かつ正確に確定可能である。複数のキーポイントのうち、２つの肩部キーポイント、及び同じ側の肘部キーポイント及び手首部キーポイントに基づいて対象の指す方向を確定することにより、簡単な方式で、対象の指す方向の確定を行うことができるため、計算量を減少させ、計算効率を向上させることができる。また、２つの肩部キーポイントの第一接続線と、第二接続線との間の夾角により対象の指す方向を確定することで、画像取得角度及び／又は対象の姿勢及び／又は画像に歪み（又は変形）が発生したかなどの、認識結果への影響を減少させることができる。

【0091】

＜第三側面の実施例＞
本発明は電子機器を提供し、それは第二側面の実施例に記載の動作認識装置１１００を含み、その内容はここに合併される。該電子機器は例えば、コンピュータ、サーバー、ワークステーション、ノートパソコン、スマートフォンなどであっても良いが、本発明の実施例はこれらに限定されない。

【0092】

図１２は本発明の実施例における電子機器を示す図である。図１２に示すように、電子機器１２００は処理器（例えば、中央処理器ＣＰＵ）１２１０及び記憶器１２２０を含んでも良く、記憶器１２２０は中央処理器１２１０に接続される。そのうち、該記憶器１２２０は様々なデータを記憶することができ、また、情報処理用のプログラムをさらに記憶することができ、かつ、処理器１２１０の制御下で該プログラムを実行することもできる。

【0093】

幾つかの実施例において、動作認識装置１２００の機能は処理器１２１０に統合することで実現される。そのうち、処理器１２１０は第一側面の実施例に記載の動作認識方法を実行するように構成される。

【0094】

幾つかの実施例において、動作認識装置１２００は処理器１２１０と別々に構成され、例えば、動作認識装置１２００は処理器１２１０に接続されるチップとして設置され、処理器１２１０の制御により、動作認識装置１２００の機能を実現するように構成されても良い。

【0095】

例えば、処理器１２１０次のような制御を行うように構成され、即ち、ニューラルネットワークにより画像内の対象に対してキーポイントの認識を行い、前記対象のキーポイントを取得し；及び、取得された前記キーポイントのうち、左肩キーポイントと右肩キーポイントとの第一接続線と、肘部キーポイントと手首部キーポイントとの第二接続線との間の夾角に基づいて、前記対象の指す方向を確定し、そのうち、前記肘部キーポイント及び前記手首部キーポイントは同じ側に所在する。

【0096】

また、図１２に示すように、電子機器１２００は入出（Ｉ／Ｏ）装置１２３０、表示器１２４０などをさらに含んでも良く、そのうち、これらの部品の機能は従来技術と同様であり、ここではその詳しい説明を省略する。なお、電子機器１２００は図１２に示す全ての部品を含む必要がない。また、電子機器１２００は図１２に示されていない部品をさらに含んでも良く、これについては関連技術を参照することができる。

【0097】

本発明の実施例ではコンピュータ可読プログラムがさらに提供され、そのうち、電子機器で前記プログラムを実行するときに、前記プログラムはコンピュータに、前記電子機器で第一側面の実施例に記載の動作認識方法を実行させる。

【0098】

本発明の実施例ではコンピュータ可読プログラムを記憶した記憶媒体がさらに提供され、そのうち、前記コンピュータ可読プログラムはコンピュータに、電子機器で第一側面の実施例に記載の動作認識方法を実行させる。

【0099】

また、上述の装置及び方法は、ソフトウェア又はハードウェアにより実現されても良く、ハードウェアとソフトウェアとの組み合わせにより実現されても良い。本発明はさらに、下記のようなコンピュータ読み取り可能なプログラムに関し、即ち、該プログラムは、ロジック部品により実行されるときに、該ロジック部品に上述の装置又は構成部品を実現させ、又は、該ロジック部品に上述の様々な方法又はステップを実現させる。ロジック部品は例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、マイクロプロセッサ、コンピュータに用いる処理器などであっても良い。本発明はさらに、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ハードディスク、ＤＶＤ、フラッシュメモリなどにも関する。

【0100】

さらに、図面に記載の機能ブロックのうちの１つ又は複数の組み合わせ及び／又は機能ブロックの１つ又は複数の組み合わせは、本明細書に記載の機能を実行するための汎用処理器、デジタル信号処理器（ＤＳＰ）、特定用途向け集積回パス（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は他のプログラム可能な論理部品、ディスクリートゲート又はトランジスタ論理部品、ディスクリートハードウェアアセンブリ又は他の任意の適切な組み合わせとして実現されても良い。また、図面に記載の機能ブロックのうちの１つ又は複数の組み合わせ及び／又は機能ブロックの１つ又は複数の組み合わせはさらに、計算装置の組み合わせ、例えば、ＤＳＰ及びマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰと通信により接続される１つ又は複数のマイクロプロセッサ又は他の任意の構成の組み合わせとして構成されても良い。

【0101】

また、上述の実施例などに関し、さらに以下のような付記を開示する。

【0102】

（付記１）
動作認識方法であって、
ニューラルネットワークにより画像内の対象に対してキーポイントの認識を行い、前記対象のキーポイントを取得し；及び
取得された前記キーポイントのうち、左肩キーポイントと右肩キーポイントとの第一接続線と、肘部キーポイントと手首部キーポイントとの第二接続線との間の夾角に基づいて、前記対象の指す方向を確定することを含み、
そのうち、前記肘部キーポイント及び前記手首部キーポイントは同じ側に所在する、方法。

【0103】

（付記２）
付記１に記載の方法であって、
前記夾角は、
前記対象の正面を面する場合に、
右肘キーポイントと右手首キーポイントとの間の前記第二接続線と前記第一接続線との間の時計回り方向の第一夾角；及び／又は
左肘キーポイント及び左手首キーポイントとの間の前記第二接続線と前記第一接続線との間の反時計回り方向の第二夾角を含む、方法。

【0104】

（付記３）
付記２に記載の方法であって、
取得された前記キーポイントのうち、左肩キーポイントと右肩キーポイントとの第一接続線と、肘部キーポイントと手首部キーポイントとの第二接続線との間の夾角に基づいて、前記対象の指す方向を確定することは、
前記第一夾角及び第一所定閾値に基づいて、及び／又は、前記第二夾角及び第二所定閾値に基づいて、前記対象の指す方向を確定することを含む、方法。

【0105】

（付記４）
付記３に記載の方法であって、
前記第一所定閾値及び／又は前記第二所定閾値は、前記画像を得る画像取得装置と、前記対象の左肩及び右肩との間の相対位置関係に基づいて確定される、方法。

【0106】

（付記５）
付記４に記載の方法であって、
前記相対位置関係は、
前記画像取得装置と前記右肩及び前記左肩との間の距離、及び前記画像取得装置の、前記右肩及び前記左肩に対する上下方向の位置を含む、方法。

【0107】

（付記６）
付記１に記載の方法であって、
取得された前記キーポイントのうち、左肩キーポイントと右肩キーポイントとの第一接続線と、肘部キーポイントと手首部キーポイントとの第二接続線との間の夾角に基づいて、前記対象の指す方向を確定することは、
前記第一接続線、前記第二接続線、及び、前記肩部キーポイントと前記肘部キーポイントとの間の第三接続線の間の夾角に基づいて、前記対象の指す方向を確定することを含み、
そのうち、前記肩部キーポイント、前記肘部キーポイント及び前記手首部キーポイントは同じ側に所在する、方法。

【0108】

（付記７）
付記１に記載の方法であって、
所定条件が満足された場合に、前記対象の指す方向を確定し、
そのうち、前記所定条件は、取得された前記対象のキーポイントの数は第三閾値よりも大きく、かつ、前記対象のキーポイントは２つの肩部及び少なくとも１つの腕のキーポイントを含むことを含む、方法。

【0109】

（付記８）
付記１に記載の方法であって、
前記画像は変形画像であり、
前記方法はさらに、前記変形画像の歪みを修正して修正画像を生成することを含む、方法。

【0110】

（付記９）
コンピュータ可読プログラムが記憶された記憶媒体であって、
前記コンピュータ可読プログラムはコンピュータに、電子機器で付記１乃至８のうちの任意の１つの記載の動作認識方法を実行させる、記憶媒体。

【0111】

以上、本発明の好ましい実施例を説明したが、本発明はこのような実施例に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図8A】

【図8B】

【図8C】

【図9】

【図10】

【図11】

【図12】

【外国語明細書】