知財求人 - 知財ポータルサイト「IP Force」
特表2024-521469画像処理装置、特徴マップ生成装置、学習モデル生成装置、画像処理方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-05-31
(54)【発明の名称】画像処理装置、特徴マップ生成装置、学習モデル生成装置、画像処理方法、及びプログラム
(51)【国際特許分類】
G06T 7/70 20170101AFI20240524BHJP
G06T 7/00 20170101ALI20240524BHJP
【ＦＩ】
G06T7/70 A
G06T7/00 660B
G06T7/00 350C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023576414
(86)(22)【出願日】2021-06-28
(85)【翻訳文提出日】2023-12-12
(86)【国際出願番号】 JP2021024380
(87)【国際公開番号】W WO2023275941
(87)【国際公開日】2023-01-05
(81)【指定国・地域】
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110002044
【氏名又は名称】弁理士法人ブライタス
(72)【発明者】
【氏名】潘 雅冬
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096DA02
5L096FA09
5L096FA54
5L096FA66
5L096FA67
5L096FA69
5L096FA78
5L096GA34
5L096HA08
5L096HA11
5L096KA04
(57)【要約】
画像処理装置１０は、画像中の人物の水平方向における位置を特定する第１の特徴マップと、画像中の人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成部１１と、画像から検出された関節それぞれの水平方向及び垂直方向における位置と、第１の特徴マップ及び第２の特徴マップと、を用いて、関節それぞれを、対応ずる人物にグルーピングする、グルーピング部１２とを備えている。
ことを特徴とする。
【選択図】図１
ことを特徴とする。
【選択図】図１
【特許請求の範囲】
【請求項1】
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成手段と、前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピング手段と、
を備えている、
ことを特徴とする画像処理装置。
【請求項2】
前記特徴マップ生成手段が、前記第１の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の水平方向における位置を示す数値を割り当てる、マップを生成し、
前記第２の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の垂直方向における位置を示す数値を割り当てる、マップを生成する、
請求項１に記載の画像処理装置。
【請求項3】
前記人物の水平方向における位置を示す数値が、前記第１の特徴マップの水平方向の長さに対する、前記第１の特徴マップの原点から前記人物の基準点までの水平方向における距離の比を示す値であり、前記人物の垂直方向における位置を示す数値が、前記第２の特徴マップの垂直方向の長さに対する、前記第２の特徴マップの原点から前記人物の基準点までの垂直方向における距離の比を示す値である、
請求項２に記載の画像処理装置。
【請求項4】
前記特徴マップ生成手段が、画像と第１の特徴マップ及び第２の特徴マップとの関係を機械学習した学習モデルを用いて、前記第１の特徴マップ及び前記第２の特徴マップを生成する、
請求項１～３のいずれかに記載の画像処理装置。
【請求項5】
前記グルーピング手段が、前記画像から検出された関節それぞれ毎に、前記画像中の人物それぞれについて、前記第１の特徴マップにおける当該関節に対応するピクセルの数値と前記第２の特徴マップにおける当該関節に対応するピクセルの数値とを特定し、
特定した２つの前記数値と、前記人物の水平方向における位置を示す数値及び垂直方向における位置を示す数値と、を用いて、当該関節と前記人物との間の距離を算出し、
算出した前記距離に基づいて、当該関節に対応する人物を決定し、決定結果に基づいてグルーピングする、
請求項２または３に記載の画像処理装置。
【請求項6】
前記グルーピング手段が、算出した前記距離が設定値以上とならないことと、同一種類の複数の関節が同一人物に対応しないこととを、条件として、前記関節に対応する人物を決定する、請求項５に記載の画像処理装置。
【請求項7】
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成手段を備えている、ことを特徴とする特徴マップ生成装置。
【請求項8】
人物を含む画像の画像データ、前記画像中の前記人物の水平方向における位置を特定する第１の特徴マップ、及び前記画像中の前記人物の垂直向における位置を特定する第２の特徴マップを訓練データとして用いて、前記画像と前記第１の特徴マップ及び前記第２の特徴マップとの関係を機械学習した学習モデルを生成する、学習モデル生成手段を備えている、ことを特徴とする学習モデル生成装置。
【請求項9】
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成ステップと、前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピングステップと、
を有する、
ことを特徴とする画像処理方法。
【請求項10】
前記特徴マップステップにおいて、前記第１の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の水平方向における位置を示す数値を割り当てる、マップを生成し、
前記第２の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の垂直方向における位置を示す数値を割り当てる、マップを生成する、
請求項９に記載の画像処理方法。
【請求項11】
前記人物の水平方向における位置を示す数値が、前記第１の特徴マップの水平方向の長さに対する、前記第１の特徴マップの原点から前記人物の基準点までの水平方向における距離の比を示す値であり、前記人物の垂直方向における位置を示す数値が、前記第２の特徴マップの垂直方向の長さに対する、前記第２の特徴マップの原点から前記人物の基準点までの垂直方向における距離の比を示す値である、
請求項１０に記載の画像処理方法。
【請求項12】
前記特徴マップ生成ステップにおいて、画像と第１の特徴マップ及び第２の特徴マップとの関係を機械学習した学習モデルを用いて、前記第１の特徴マップ及び前記第２の特徴マップを生成する、
請求項９～１１のいずれかに記載の画像処理方法。
【請求項13】
前記グルーピングステップにおいて、前記画像から検出された関節それぞれ毎に、前記画像中の人物それぞれについて、前記第１の特徴マップにおける当該関節に対応するピクセルの数値と前記第２の特徴マップにおける当該関節に対応するピクセルの数値とを特定し、特定した２つの前記数値と、前記人物の水平方向における位置を示す数値及び垂直方向における位置を示す数値と、を用いて、当該関節と前記人物との間の距離を算出し、算出した前記距離に基づいて、当該関節に対応する人物を決定し、決定結果に基づいてグルーピングする、
請求項１０または１１に記載の画像処理方法。
【請求項14】
前記グルーピングステップにおいて、算出した前記距離が設定値以上とならないことと、同一種類の複数の関節が同一人物に対応しないこととを、条件として、前記関節に対応する人物を決定する、請求項１３に記載の画像処理方法。
【請求項15】
コンピュータに、画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成ステップと、
前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピングステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【請求項16】
前記特徴マップステップにおいて、前記第１の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の水平方向における位置を示す数値を割り当てる、マップを生成し、
前記第２の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の垂直方向における位置を示す数値を割り当てる、マップを生成する、
請求項１５に記載のコンピュータ読み取り可能な記録媒体。
【請求項17】
前記人物の水平方向における位置を示す数値が、前記第１の特徴マップの水平方向の長さに対する、前記第１の特徴マップの原点から前記人物の基準点までの水平方向における距離の比を示す値であり、前記人物の垂直方向における位置を示す数値が、前記第２の特徴マップの垂直方向の長さに対する、前記第２の特徴マップの原点から前記人物の基準点までの垂直方向における距離の比を示す値である、
請求項１６に記載のコンピュータ読み取り可能な記録媒体。
【請求項18】
前記特徴マップ生成ステップにおいて、画像と第１の特徴マップ及び第２の特徴マップとの関係を機械学習した学習モデルを用いて、前記第１の特徴マップ及び前記第２の特徴マップを生成する、
請求項１５～１７のいずれかに記載のコンピュータ読み取り可能な記録媒体。
【請求項19】
前記グルーピングステップにおいて、前記画像から検出された関節それぞれ毎に、前記画像中の人物それぞれについて、前記第１の特徴マップにおける当該関節に対応するピクセルの数値と前記第２の特徴マップにおける当該関節に対応するピクセルの数値とを特定し、特定した２つの前記数値と、前記人物の水平方向における位置を示す数値及び垂直方向における位置を示す数値と、を用いて、当該関節と前記人物との間の距離を算出し、算出した前記距離に基づいて、当該関節に対応する人物を決定し、決定結果に基づいてグルーピングする、
請求項１６または１７に記載のコンピュータ読み取り可能な記録媒体。
【請求項20】
前記グルーピングステップにおいて、算出した前記距離が設定値以上とならないことと、同一種類の複数の関節が同一人物に対応しないこととを、条件として、前記関節に対応する人物を決定する、請求項１９に記載のコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人物を含む画像の画像データを処理するための、画像処理装置、及び画像処理方法に関し、更には、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。また、本発明は、画像処理装置及び画像処理方法に用いられる特徴マップを生成するための特徴マップ生成装置に関し、加えて、特徴マップの生成に用いられる学習モデルを生成するための学習モデル生成装置にも関する。
【背景技術】
【0002】
近年、画像から人物の姿勢を推定する研究が注目されている。このような研究は、画像監視システムの分野や、スポーツの分野などでの利用が期待されている。また、画像から人物の姿勢を推定することによって、例えば、店舗内での店員の動きを分析することができ、効率的な商品配置に貢献することもできると考えられる。
【0003】
そして、このような画像からの人物の姿勢推定においては、画像から検出された関節と画像中の人物とを正しく関連付けることが重要となる。これは、画像中に複数の人物が存在する場合に、検出された関節を、間違った人物に関連付けてしまうと、姿勢推定精度が大きく低下するからである。
【0004】
例えば、非特許文献１は、画像中の関節と人物とを関連付けるシステムを開示している。具体的には、非特許文献１に開示されたシステムは、人物を含む画像の画像データが入力されると、人物の関節の画像を学習した畳み込みニューラルネットワークを用いて、画像データから、全ての人物の関節を検出する。
【0005】
更に、非特許文献１に開示されたシステムは、人物毎に人物全体の画像を学習した畳み込みニューラルネットワークを用いて、画像データから、画像中の人物それぞれ毎に人物のインスタンスセグメンテーションを示す特徴マップを生成する。その後、非特許文献１に開示されたシステムは、特徴マップ毎に、特徴マップ内のインスタンスセグメンテーションと検出された関節との比較を行って、検出された関節を対応する人物に関連付ける。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】Kaiming He, et al., “Mask R-CNN.”, 2017 IEEE International Conference on Computer Vision (ICCV 2017)
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上述の非特許文献１に開示されたシステムには、画像中の人物毎に特徴マップを生成する必要があるため、画像中に存在する人物が多くなればなる程、システムにかかる処理負担が大きくなるという問題が生じてしまう。このため、上述の非特許文献１に開示されたシステムでは、適用できる分野が限定されてしまう。
【0008】
本発明の目的の一例は、画像中に存在する人物の数に影響されることなく、関節と人物との関連付けを実行し得る、画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。また、本発明の目的の他の一例は、画像処理装置に適用可能な特徴マップ生成装置及び学習モデル生成装置を提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するため、本発明の一側面における画像処理装置は、
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成手段と、
前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピング手段と、
を備えている、ことを特徴とする。
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成手段と、
前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピング手段と、
を備えている、ことを特徴とする。
【0010】
上記目的を達成するため、本発明の一側面における特徴マップ生成装置は、
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成手段を備えている、
ことを特徴とする。
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成手段を備えている、
ことを特徴とする。
【0011】
上記目的を達成するため、本発明の一側面における学習モデル生成装置は、
人物を含む画像の画像データ、前記画像中の前記人物の水平方向における位置を特定する第１の特徴マップ、及び前記画像中の前記人物の垂直向における位置を特定する第２の特徴マップを訓練データとして用いて、前記画像と前記第１の特徴マップ及び前記第２の特徴マップとの関係を機械学習した学習モデルを生成する、学習モデル生成手段を備えている、
ことを特徴とする。
人物を含む画像の画像データ、前記画像中の前記人物の水平方向における位置を特定する第１の特徴マップ、及び前記画像中の前記人物の垂直向における位置を特定する第２の特徴マップを訓練データとして用いて、前記画像と前記第１の特徴マップ及び前記第２の特徴マップとの関係を機械学習した学習モデルを生成する、学習モデル生成手段を備えている、
ことを特徴とする。
【0012】
また、上記目的を達成するため、本発明の一側面における画像処理方法は、
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成ステップと、
前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピングステップと、
を有する、
ことを特徴とする。
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成ステップと、
前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピングステップと、
を有する、
ことを特徴とする。
【0013】
更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、コンピュータに、
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成ステップと、
前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピングステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成ステップと、
前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピングステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
【発明の効果】
【0014】
以上のように、本発明によれば、画像中に存在する人物の数に影響されることなく、関節と人物との関連付けを実行する。
【図面の簡単な説明】
【0015】
【発明を実施するための形態】
【0016】
【0017】
【0018】
図１に示す、実施の形態１における画像処理装置１０は、人物を含む画像の画像データを処理するための装置である。図１に示すように、画像処理装置１０は、特徴マップ生成部１１と、グルーピング部１２とを備えている。
【0019】
特徴マップ生成部１１は、第１の特徴マップと第２の特徴マップとを生成する。第１の特徴マップは、画像中の人物の水平方向における位置を特定するためのマップである。第２の特徴マップは、画像中の人物の垂直方向における位置を特定するためのマップである。
【0020】
グルーピング部１２は、画像から検出された関節それぞれの水平方向及び垂直方向における位置と、第１の特徴マップ及び第２の特徴マップと、を用いて、関節それぞれを、対応ずる人物にグルーピングする。
【0021】
このように、画像処理装置１０では、第１の特徴マップと第２の特徴マップとが生成されるため、画像中に存在する人物の数に影響されることなく、関節と人物との関連付けを実行することができる。
【0022】
続いて、図２～図５を用いて、実施の形態１における画像処理装置１０の構成及び機能について具体的に説明する。図２は、実施の形態１における画像処理装置の構成の一例を具体的に示す構成図である。図３（ａ）は、実施の形態１で生成される第１の特徴マップの一例を示す図であり、図３（ｂ）は、実施の形態１で生成される第２の特徴マップの一例を示す図である。図４は、実施の形態１におけるグルーピング部における処理を説明するための図である。
【0023】
図２に示すように、実施の形態１では、画像処理装置１０は、上述した特徴マップ生成部１１及びグルーピング部１２に加えて、画像データ取得部１３と、記憶部１４と、関節検出部１５とを備えている。
【0024】
画像データ取得部１３は、撮像装置によって撮像された、人物を含む画像の画像データ１７を取得し、取得した画像データ１７を記憶部１４に格納する。なお、画像データの取得元は、撮像装置であっても良いし、画像データを格納している外部の記憶装置等であっても良い。記憶部１４は、更に、後述する学習モデル１６も格納している。
【0025】
特徴マップ生成部１１は、実施の形態１では、図３（ａ）に示すように、第１の特徴マップとして、画像を構成するピクセルと同数のピクセルで構成され、且つ、人物に対応する領域のピクセルそれぞれに、人物の水平方向における位置を示す数値を割り当てる、マップを生成する。また、特徴マップ生成部１１は、第２の特徴マップとして、図３（ｂ）に示すように、画像を構成するピクセルと同数のピクセルで構成され、且つ、人物に対応する領域のピクセルそれぞれに、人物の垂直方向における位置を示す数値を割り当てる、マップを生成する。
【0026】
具体的には、図３（ａ）に示すように、特徴マップ生成部１１は、第１の特徴マップにおいては、人物に対応する領域のピクセルに、「人物の水平方向における位置を示す数値」として、次の値を割り当てる。割り当てられる値は、第１の特徴マップの水平方向の長さＷに対する、第１の特徴マップの原点から人物の基準点までの水平方向における距離の比（０．１Ｗ等）を示す値である。
【0027】
また、図３（ｂ）に示すように、特徴マップ生成部１１は、第２の特徴マップにおいては、人物に対応する領域のピクセルに、「人物の垂直方向における位置を示す数値」として、次の値を割り当てる。割り当てられる値は、第２の特徴マップの垂直方向の長さＨに対する、第２の特徴マップの原点から人物の基準点までの垂直方向における距離の比（０．２５Ｈ等）を示す値を割り当てる。
【0028】
図３（ａ）及び（ｂ）においては、マップの原点は、左上の角の点に設定されているが、これに限定されるものではない。また、図３（ａ）及び（ｂ）においては、人物の基準点は、人物の首の付け根に設定されているが、これも限定されるものではない。
【0029】
また、特徴マップ生成部１１は、実施の形態１では、記憶部１４に格納されている学習モデル１６を用いて、第１の特徴マップ及び第２の特徴マップを生成することもできる。学習モデル１６は、予め、人物を含む画像と第１の特徴マップ及び第２の特徴マップとの関係を、機械学習することによって構築される。機械学習の手法としては、ディープラーニング等が挙げられる。構築された学習モデル１６は、記憶部１４に格納される。学習モデル１６の構築は、後述する学習モデル生成装置によって行われる。
【0030】
関節検出部１５は、画像データ取得部１３によって取得された画像データの画像から、人物の関節を検出する。具体的には、関節検出部１５は、画像データを、関節検出用学習モデルに適用することによって、画像データ中の人物の関節を検出することができる。機械学習モデルとしては、人物の画像と画像中の人物の各関節との関係を機械学習したモデルが挙げられる。機械学習モデルは、画像データが入力されると、例えば、画像中の関節毎に、その関節が存在する確率を示すヒートマップを出力する。この場合、関節検出部１５は、出力されたヒートマップに基づいて、各関節を検出する。
【0031】
実施の形態１において、画像からの関節の検出手法は、限定されるものではない。関節検出部１５は、例えば、予め用意された関節毎の特徴量を用いて、画像データから、各関節を検出することもできる。
【0032】
グルーピング部１２は、実施の形態１では、画像から検出された関節それぞれ毎に、第１の特徴マップにおける、その関節に対応するピクセルの数値と、第２の特徴マップにおける、その関節に対応するピクセルの数値とを特定する。
【0033】
次いで、グルーピング部１２は、画像から検出された関節それぞれ毎に、画像中の人物それぞれについて、特定した２つの数値と、人物の水平方向における位置を示す数値及び垂直方向における位置を示す数値と、を用いて、その関節と人物との間の距離を算出する。その後、グルーピング部１２は、関節毎に、各人物について算出した距離に基づいて、その関節に対応する人物を決定し、決定結果に基づいてグルーピングを実行する。
【0034】
具体的には、図４に示すように、グルーピング部１２は、関節検出部１５によって検出された各関節を、第１の特徴マップ及び第２の特徴マップに投影する。図４の例では、第１の特徴マップ及び第２の特徴マップには、関節Ｊのみが投影されている。
【0035】
そして、グルーピング部１２は、関節Ｊについて、第１の特徴マップでの対応するピクセルの数値ＬＸ（Ｊ）と、第２の特徴マップでの対応するピクセルの数値ＬＹ（Ｊ）とを特定する。また、グルーピング部１２は、人物Ｐ１及びＰ２それぞれについて、その人物の水平方向における位置を示す数値ＬＸ（Ｎｉ）及び垂直方向における位置を示す数値ＬＹ（Ｎｉ）を特定する。Ｎｉは、第１の特徴マップ及び第２の特徴マップの作成に用いられた各人物の基準点を示している。
【0036】
その後、グルーピング部１２は、特定した数値ＬＸ（Ｊ）及びＬＹ（Ｊ）と、人物の位置を示す数値ＬＸ（Ｎｉ）及びＬＹ（Ｎｉ）とを、下記の数１に代入して、関節Ｊと人物Ｐｉとの間の距離Ａｄ（Ｊ，Ｐｉ）を算出する。
【0037】
（数１）
Ad (J, Pi) = [LX (J) - LX (Ni)]2 + [LY (J) - LY (Ni)]2
Ad (J, Pi) = [LX (J) - LX (Ni)]2 + [LY (J) - LY (Ni)]2
【0038】
図４の例では、人物Ｐ１については、ＬＸ（Ｊ）＝０．３Ｗ、ＬＸ（Ｎ１）＝０．３Ｗ、ＬＹ（Ｊ）＝０．２Ｈ、ＬＹ（Ｎ１）＝０．２Ｈとなるので、Ａｄ（Ｊ，Ｐ１）＝０となる。一方、人物Ｐ２については、ＬＸ（Ｎ２）＝０．５Ｗ、ＬＹ（Ｎ２）＝０．４Ｈとなるので、Ａｄ（Ｊ，Ｐ２）＝０．０４（Ｗ＋Ｈ）２となる。従って、図５の例では、グルーピング部１２は、関節Ｊが対応する人物を、人物Ｐ１に決定する。
【0039】
また、グルーピング部１２は、明らかに不自然なグルーピングを避けるため、条件を設定して、関節に対応する人物を決定することができる。条件として、算出した距離が設定値以上とならないこと、同一種類の複数の関節が同一人物に対応しないこと、等が挙げられる。
【0040】
［装置動作］
次に、実施の形態１における画像処理装置１０の動作について図５を用いて説明する。図５は、実施の形態１における画像処理装置の動作を示すフロー図である。以下の説明においては、適宜図１～図４を参照する。また、実施の形態１では、画像処理装置１０を動作させることによって、画像処理方法が実施される。よって、実施の形態１における画像処理方法の説明は、以下の画像処理装置１０の動作説明に代える。
次に、実施の形態１における画像処理装置１０の動作について図５を用いて説明する。図５は、実施の形態１における画像処理装置の動作を示すフロー図である。以下の説明においては、適宜図１～図４を参照する。また、実施の形態１では、画像処理装置１０を動作させることによって、画像処理方法が実施される。よって、実施の形態１における画像処理方法の説明は、以下の画像処理装置１０の動作説明に代える。
【0041】
図５に示すように、最初に、画像データ取得部１３が、人物を含む画像の画像データ１７を取得し、取得した画像データ１７を記憶部１５に格納する（ステップＡ１）。
【0042】
次に、特徴マップ生成部１１は、記憶部１５に格納されている学習モデル１６に、ステップＡ１で取得された画像データを適用して、第１の特徴マップ及び第２の特徴マップを生成する（ステップＡ２）。
【0043】
次に、関節検出部１５は、ステップＡ１で取得された画像データの画像から、画像中の人物の関節を検出する（ステップＡ３）。また、ステップＡ３において、関節検出部１５は、検出された関節それぞれについて、その座標を特定する。
【0044】
次に、グルーピング部１２は、ステップＡ３で検出された各関節を、第１の特徴マップ及び第２の特徴マップに投影する（ステップＡ４）。
【0045】
次に、グルーピング部１２は、関節毎に、第１の特徴マップにおける、その関節に対応するピクセルの数値と、第２の特徴マップにおける、その関節に対応するピクセルの数値とを特定する。そして、グルーピング部１２は、特定した値と人物それぞれの位置を示す数値とを用いて、関節毎に、画像中の人物それぞれについて、その関節と人物との間の距離を算出する（ステップＡ５）。
【0046】
次に、グルーピング部１２は、関節毎に、各人物についてステップＡ５で算出した距離に基づいて、その関節に対応する人物を決定し、決定結果に基づいてグルーピングを実行する（ステップＡ６）。
【0047】
その後、グルーピング部１２は、ステップＡ６で得られたグルーピング結果を出力する（ステップＡ７）。グルーピング結果は、例えば、人物の姿勢を推定するシステムにおいて、人物の姿勢を推定するために用いられる。
【0048】
以上のように、実施の形態１によれば、検出された関節が、第１の特徴マップと第２の特徴マップとに投影されると、関節毎に各人物との距離が求められる。そして、距離が求められると、関節が対応する人物が簡単に特定される。つまり、実施の形態１によれば、画像中に存在する人物の数に影響されることなく、関節と人物との関連付けを実行することができる。
【0049】
［プログラム］
実施の形態１における画像処理のためのプログラムは、コンピュータに、図５に示すステップＡ１～Ａ７を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、実施の形態１における画像処理装置１０と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、特徴マップ生成部１１、グルーピング部１２、画像データ取得部１３、及び関節検出部１５として機能し、処理を行なう。
実施の形態１における画像処理のためのプログラムは、コンピュータに、図５に示すステップＡ１～Ａ７を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、実施の形態１における画像処理装置１０と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、特徴マップ生成部１１、グルーピング部１２、画像データ取得部１３、及び関節検出部１５として機能し、処理を行なう。
【0050】
また、実施の形態１では、記憶部１４は、コンピュータに備えられたハードディスク等の記憶装置に、データファイルを格納することによって実現されていても良いし、別のコンピュータの記憶装置によって実現されていても良い。コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。
【0051】
また、実施の形態１におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、特徴マップ生成部１１、グルーピング部１２、画像データ取得部１３、及び関節検出部１５のいずれかとして機能しても良い。
【0052】
（実施の形態２）
実施の形態２では、特徴マップ生成装置、特徴マップ生成方法、及び特徴マップ生成用のプログラムについて図６を用いて説明する。図６は、実施の形態２における特徴マップ生成装置の構成の一例を示す構成図である。
実施の形態２では、特徴マップ生成装置、特徴マップ生成方法、及び特徴マップ生成用のプログラムについて図６を用いて説明する。図６は、実施の形態２における特徴マップ生成装置の構成の一例を示す構成図である。
【0053】
図６に示すように、実施の形態２において、特徴マップ生成装置２０は、図３（ａ）及び（ｂ）に示した第１の特徴マップ及び第２の特徴マップを生成するための装置である。図６に示すように、特徴マップ生成装置２０は、画像データ取得部２１と、記憶部２２と、特徴マップ生成部２３と、を備えている。
【0054】
画像データ取得部２１、記憶部２２、及び特徴マップ生成部２３は、実施の形態１において図２に示された、画像データ取得部１３、記憶部１４、及び特徴マップ生成部１１と同様に構成されている。また、画像データ取得部２１、記憶部２２、及び特徴マップ生成部２３は、画像データ取得部１３、記憶部１４、及び特徴マップ生成部１１と同様の機能を有している。
【0055】
具体的には、画像データ取得部２１は、画像データ取得部１３と同様に、撮像装置によって撮像された、人物を含む画像の画像データ２５を取得し、取得した画像データ２５を記憶部２２に格納する。記憶部２２は、記憶部１５と同様に、学習モデル２４も格納している。
【0056】
特徴マップ生成部２３は、特徴マップ生成部１１と同様に、図３（ａ）に示す第１の特徴マップと、図３（ｂ）に示す第２の特徴マップとを生成する。実施の形態２においても、特徴マップ生成部２３は、記憶部２２に格納されている学習モデル２４を用いて、第１の特徴マップ及び第２の特徴マップを生成する。
【0057】
学習モデル２４は、学習モデル１６と同様に、予め、人物を含む画像と第１の特徴マップ及び第２の特徴マップとの関係を、ディープラーニング等によって機械学習することによって構築される。学習モデル２４は、記憶部２２に格納される。学習モデル２４の構築も、後述する学習モデル生成装置によって行われる。
【0058】
このように、特徴マップ生成装置２０によれば、第１の特徴マップ及び第２の特徴マップを生成することができる。なお、実施の形態２では、特徴マップ生成装置２０は、特徴マップ生成部２３のみを備えた構成であっても良い。
【0059】
また、実施の形態２では、特徴マップ生成装置２０において、図５に示したステップＡ１及びＡ２と同様のステップを実行することによって、特徴マップ生成方法が実現される。更に、コンピュータに図５に示すステップＡ１及びＡ２を実行させるプログラムを用いれば、実施の形態２における特徴マップ生成装置２０と特徴マップ生成方法とを実現することができる。
【0060】
【0061】
【0062】
実施の形態３における図７に示す学習モデル生成装置３０は、実施の形態１及び２において用いられる学習モデルを生成するための装置である。図７に示すように、実施の形態３における学習モデル生成装置３０は、訓練データ取得部３１と、記憶部３２と、学習モデル生成部３３とを備えている。
【0063】
訓練データ取得部３１は、訓練データ３５を取得する。訓練データ３５は、人物を含む画像の画像データ、画像中の人物の水平方向における位置を特定する第１の特徴マップ、及び画像中の人物の垂直向における位置を特定する第２の特徴マップで構成されている。取得された訓練データ３５は、記憶部３２に格納される。
【0064】
学習モデル生成部３３は、記憶部３２に格納されている訓練データ３５を用いて、画像と第１の特徴マップとの関係、及び画像と第２の特徴マップとの関係を、機械学習する。これにより、学習モデル３４が生成される。機械学習の手法としては、ディープラーニング等が挙げられる。
【0065】
具体的には、学習モデル生成部３３は、まず、画像の画像データを学習モデルに入力して、学習モデルから第１の特徴マップ及び第２の特徴マップを出力させる。そして、学習モデル生成部３３は、出力された第１の特徴マップ及び第２の特徴マップと、訓練データとして用いられた第１の特徴マップ及び第２の特徴マップとの差分を求める。更に、学習モデル生成部３３は、求めた差分が小さくなるように、学習モデルのパラメータを更新する。このように、訓練データによって、学習モデルのパラメータが更新されることにより、学習モデル３４が生成される。
【0066】
［装置動作］
次に、実施の形態３における学習モデル生成装置３０の動作について図８を用いて説明する。図８は、実施の形態３における学習モデル生成装置の動作を示すフロー図である。以下の説明においては、適宜図７を参照する。また、実施の形態３では、学習モデル生成装置３０を動作させることによって、学習モデル生成方法が実施される。よって、実施の形態３における学習モデル生成方法の説明は、以下の学習モデル生成装置３０の動作説明に代える。
次に、実施の形態３における学習モデル生成装置３０の動作について図８を用いて説明する。図８は、実施の形態３における学習モデル生成装置の動作を示すフロー図である。以下の説明においては、適宜図７を参照する。また、実施の形態３では、学習モデル生成装置３０を動作させることによって、学習モデル生成方法が実施される。よって、実施の形態３における学習モデル生成方法の説明は、以下の学習モデル生成装置３０の動作説明に代える。
【0067】
図８に示すように、最初に、訓練データ取得部３１が、訓練データ３５として、人物を含む画像の画像データと、画像データに対応する第１の特徴マップと、同じく画像データに対応する第２の特徴マップとを取得する（ステップＢ１）。また、訓練データ取得部３１は、取得した訓練データ３５を、記憶部３２に格納する。
【0068】
次に、学習モデル生成部３３は、記憶部３２に格納されている訓練データ３５を用いて、画像と第１の特徴マップとの関係、及び画像と第２の特徴マップとの関係を、機械学習によって学習する（ステップＢ２）。これにより、学習モデル３４が生成される。
【0069】
このように、実施の形態３によれば、学習モデル３４が生成される。学習モデル３４は、画像データと第１の特徴マップとの関係、及び画像データと第２の特徴マップとの関係を学習している。生成された学習モデル３４は、実施の形態１及び２において利用することができる。
【0070】
［プログラム］
実施の形態３におけるプログラムは、コンピュータに、図８に示すステップＢ１～Ｂ２を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、実施の形態３における学習モデル生成装置３０と学習モデル生成方法とを実現することができる。この場合、コンピュータのプロセッサは、訓練データ取得部３１及び学習モデル生成部３３として機能し、処理を行なう。
実施の形態３におけるプログラムは、コンピュータに、図８に示すステップＢ１～Ｂ２を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、実施の形態３における学習モデル生成装置３０と学習モデル生成方法とを実現することができる。この場合、コンピュータのプロセッサは、訓練データ取得部３１及び学習モデル生成部３３として機能し、処理を行なう。
【0071】
また、実施の形態３では、記憶部３２は、コンピュータに備えられたハードディスク等の記憶装置に、データファイルを格納することによって実現されていても良いし、別のコンピュータの記憶装置によって実現されていても良い。コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。
【0072】
また、実施の形態３におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、訓練データ取得部３１及び学習モデル生成部３３のいずれかとして機能しても良い。
【0073】
（物理構成）
ここで、プログラムを実行することによって、画像処理装置１０、特徴マップ生成装置２０、及び学習モデル生成装置３０を実現するコンピュータについて図９を用いて説明する。図９は、実施の形態１～３における画像処理装置、特徴マップ生成装置、及び学習モデル生成装置３０を実現するコンピュータの一例を示すブロック図である。
ここで、プログラムを実行することによって、画像処理装置１０、特徴マップ生成装置２０、及び学習モデル生成装置３０を実現するコンピュータについて図９を用いて説明する。図９は、実施の形態１～３における画像処理装置、特徴マップ生成装置、及び学習モデル生成装置３０を実現するコンピュータの一例を示すブロック図である。
【0074】
図９に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
【0075】
また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。この態様では、ＧＰＵ又はＦＰＧＡが、実施の形態におけるプログラムを実行することができる。
【0076】
ＣＰＵ１１１は、記憶装置１１３に格納された、コード群で構成された実施の形態におけるプログラムをメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。
【0077】
また、実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
【0078】
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
【0079】
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
【0080】
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
【0081】
実施の形態における画像処理装置１０、特徴マップ生成装置２０、及び学習モデル生成装置３０は、それぞれ、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、画像処理装置１０、特徴マップ生成装置２０、及び学習モデル生成装置３０は、それぞれ、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。ハードウェアとしては、電子回路が挙げられる。
【0082】
上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記２０）によって表現することができるが、以下の記載に限定されるものではない。
【0083】
（付記１）
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成部と、
前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピング部と、
を備えている、
ことを特徴とする画像処理装置。
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成部と、
前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピング部と、
を備えている、
ことを特徴とする画像処理装置。
【0084】
（付記２）
前記特徴マップ生成部が、
前記第１の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の水平方向における位置を示す数値を割り当てる、マップを生成し、
前記第２の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の垂直方向における位置を示す数値を割り当てる、マップを生成する、
付記１に記載の画像処理装置。
前記特徴マップ生成部が、
前記第１の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の水平方向における位置を示す数値を割り当てる、マップを生成し、
前記第２の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の垂直方向における位置を示す数値を割り当てる、マップを生成する、
付記１に記載の画像処理装置。
【0085】
（付記３）
前記人物の水平方向における位置を示す数値が、前記第１の特徴マップの水平方向の長さに対する、前記第１の特徴マップの原点から前記人物の基準点までの水平方向における距離の比を示す値であり、
前記人物の垂直方向における位置を示す数値が、前記第２の特徴マップの垂直方向の長さに対する、前記第２の特徴マップの原点から前記人物の基準点までの垂直方向における距離の比を示す値である、
付記２に記載の画像処理装置。
前記人物の水平方向における位置を示す数値が、前記第１の特徴マップの水平方向の長さに対する、前記第１の特徴マップの原点から前記人物の基準点までの水平方向における距離の比を示す値であり、
前記人物の垂直方向における位置を示す数値が、前記第２の特徴マップの垂直方向の長さに対する、前記第２の特徴マップの原点から前記人物の基準点までの垂直方向における距離の比を示す値である、
付記２に記載の画像処理装置。
【0086】
（付記４）
前記特徴マップ生成部が、
画像と第１の特徴マップ及び第２の特徴マップとの関係を機械学習した学習モデルを用いて、前記第１の特徴マップ及び前記第２の特徴マップを生成する、
付記１～３のいずれかに記載の画像処理装置。
前記特徴マップ生成部が、
画像と第１の特徴マップ及び第２の特徴マップとの関係を機械学習した学習モデルを用いて、前記第１の特徴マップ及び前記第２の特徴マップを生成する、
付記１～３のいずれかに記載の画像処理装置。
【0087】
（付記５）
前記グルーピング部が、
前記画像から検出された関節それぞれ毎に、前記画像中の人物それぞれについて、前記第１の特徴マップにおける当該関節に対応するピクセルの数値と前記第２の特徴マップにおける当該関節に対応するピクセルの数値とを特定し、
特定した２つの前記数値と、前記人物の水平方向における位置を示す数値及び垂直方向における位置を示す数値と、を用いて、当該関節と前記人物との間の距離を算出し、
算出した前記距離に基づいて、当該関節に対応する人物を決定し、決定結果に基づいてグルーピングする、
付記２または３に記載の画像処理装置。
前記グルーピング部が、
前記画像から検出された関節それぞれ毎に、前記画像中の人物それぞれについて、前記第１の特徴マップにおける当該関節に対応するピクセルの数値と前記第２の特徴マップにおける当該関節に対応するピクセルの数値とを特定し、
特定した２つの前記数値と、前記人物の水平方向における位置を示す数値及び垂直方向における位置を示す数値と、を用いて、当該関節と前記人物との間の距離を算出し、
算出した前記距離に基づいて、当該関節に対応する人物を決定し、決定結果に基づいてグルーピングする、
付記２または３に記載の画像処理装置。
【0088】
（付記６）
前記グルーピング部が、算出した前記距離が設定値以上とならないことと、同一種類の複数の関節が同一人物に対応しないこととを、条件として、前記関節に対応する人物を決定する、
付記５に記載の画像処理装置。
前記グルーピング部が、算出した前記距離が設定値以上とならないことと、同一種類の複数の関節が同一人物に対応しないこととを、条件として、前記関節に対応する人物を決定する、
付記５に記載の画像処理装置。
【0089】
（付記７）
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成部を備えている、
ことを特徴とする特徴マップ生成装置。
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成部を備えている、
ことを特徴とする特徴マップ生成装置。
【0090】
（付記８）
人物を含む画像、前記画像中の前記人物の水平方向における位置を特定する第１の特徴マップ、及び前記画像中の前記人物の垂直向における位置を特定する第２の特徴マップを訓練データとして用いて、前記画像と前記第１の特徴マップ及び前記第２の特徴マップとの関係を機械学習した学習モデルを生成する、学習モデル生成部を備えている、
ことを特徴とする学習モデル生成装置。
人物を含む画像、前記画像中の前記人物の水平方向における位置を特定する第１の特徴マップ、及び前記画像中の前記人物の垂直向における位置を特定する第２の特徴マップを訓練データとして用いて、前記画像と前記第１の特徴マップ及び前記第２の特徴マップとの関係を機械学習した学習モデルを生成する、学習モデル生成部を備えている、
ことを特徴とする学習モデル生成装置。
【0091】
（付記９）
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成ステップと、
前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピングステップと、
を有する、
ことを特徴とする画像処理方法。
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成ステップと、
前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピングステップと、
を有する、
ことを特徴とする画像処理方法。
【0092】
（付記１０）
前記特徴マップステップにおいて、
前記第１の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の水平方向における位置を示す数値を割り当てる、マップを生成し、
前記第２の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の垂直方向における位置を示す数値を割り当てる、マップを生成する、
付記９に記載の画像処理方法。
前記特徴マップステップにおいて、
前記第１の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の水平方向における位置を示す数値を割り当てる、マップを生成し、
前記第２の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の垂直方向における位置を示す数値を割り当てる、マップを生成する、
付記９に記載の画像処理方法。
【0093】
（付記１１）
前記人物の水平方向における位置を示す数値が、前記第１の特徴マップの水平方向の長さに対する、前記第１の特徴マップの原点から前記人物の基準点までの水平方向における距離の比を示す値であり、
前記人物の垂直方向における位置を示す数値が、前記第２の特徴マップの垂直方向の長さに対する、前記第２の特徴マップの原点から前記人物の基準点までの垂直方向における距離の比を示す値である、
付記１０に記載の画像処理方法。
前記人物の水平方向における位置を示す数値が、前記第１の特徴マップの水平方向の長さに対する、前記第１の特徴マップの原点から前記人物の基準点までの水平方向における距離の比を示す値であり、
前記人物の垂直方向における位置を示す数値が、前記第２の特徴マップの垂直方向の長さに対する、前記第２の特徴マップの原点から前記人物の基準点までの垂直方向における距離の比を示す値である、
付記１０に記載の画像処理方法。
【0094】
（付記１２）
前記特徴マップ生成ステップにおいて、
画像と第１の特徴マップ及び第２の特徴マップとの関係を機械学習した学習モデルを用いて、前記第１の特徴マップ及び前記第２の特徴マップを生成する、
付記９～１１のいずれかに記載の画像処理方法。
前記特徴マップ生成ステップにおいて、
画像と第１の特徴マップ及び第２の特徴マップとの関係を機械学習した学習モデルを用いて、前記第１の特徴マップ及び前記第２の特徴マップを生成する、
付記９～１１のいずれかに記載の画像処理方法。
【0095】
（付記１３）
前記グルーピングステップにおいて、
前記画像から検出された関節それぞれ毎に、前記画像中の人物それぞれについて、前記第１の特徴マップにおける当該関節に対応するピクセルの数値と前記第２の特徴マップにおける当該関節に対応するピクセルの数値とを特定し、特定した２つの前記数値と、前記人物の水平方向における位置を示す数値及び垂直方向における位置を示す数値と、を用いて、当該関節と前記人物との間の距離を算出し、算出した前記距離に基づいて、当該関節に対応する人物を決定し、決定結果に基づいてグルーピングする、
付記１０または１１に記載の画像処理方法。
前記グルーピングステップにおいて、
前記画像から検出された関節それぞれ毎に、前記画像中の人物それぞれについて、前記第１の特徴マップにおける当該関節に対応するピクセルの数値と前記第２の特徴マップにおける当該関節に対応するピクセルの数値とを特定し、特定した２つの前記数値と、前記人物の水平方向における位置を示す数値及び垂直方向における位置を示す数値と、を用いて、当該関節と前記人物との間の距離を算出し、算出した前記距離に基づいて、当該関節に対応する人物を決定し、決定結果に基づいてグルーピングする、
付記１０または１１に記載の画像処理方法。
【0096】
（付記１４）
前記グルーピングステップにおいて、算出した前記距離が設定値以上とならないことと、同一種類の複数の関節が同一人物に対応しないこととを、条件として、前記関節に対応する人物を決定する、
付記１３に記載の画像処理方法。
前記グルーピングステップにおいて、算出した前記距離が設定値以上とならないことと、同一種類の複数の関節が同一人物に対応しないこととを、条件として、前記関節に対応する人物を決定する、
付記１３に記載の画像処理方法。
【0097】
（付記１５）
コンピュータに、
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成ステップと、
前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピングステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
コンピュータに、
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成ステップと、
前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピングステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【0098】
（付記１６）
前記特徴マップステップにおいて、
前記第１の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の水平方向における位置を示す数値を割り当てる、マップを生成し、
前記第２の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の垂直方向における位置を示す数値を割り当てる、マップを生成する、
付記１５に記載のコンピュータ読み取り可能な記録媒体。
前記特徴マップステップにおいて、
前記第１の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の水平方向における位置を示す数値を割り当てる、マップを生成し、
前記第２の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の垂直方向における位置を示す数値を割り当てる、マップを生成する、
付記１５に記載のコンピュータ読み取り可能な記録媒体。
【0099】
（付記１７）
前記人物の水平方向における位置を示す数値が、前記第１の特徴マップの水平方向の長さに対する、前記第１の特徴マップの原点から前記人物の基準点までの水平方向における距離の比を示す値であり、
前記人物の垂直方向における位置を示す数値が、前記第２の特徴マップの垂直方向の長さに対する、前記第２の特徴マップの原点から前記人物の基準点までの垂直方向における距離の比を示す値である、
付記１６に記載のコンピュータ読み取り可能な記録媒体。
前記人物の水平方向における位置を示す数値が、前記第１の特徴マップの水平方向の長さに対する、前記第１の特徴マップの原点から前記人物の基準点までの水平方向における距離の比を示す値であり、
前記人物の垂直方向における位置を示す数値が、前記第２の特徴マップの垂直方向の長さに対する、前記第２の特徴マップの原点から前記人物の基準点までの垂直方向における距離の比を示す値である、
付記１６に記載のコンピュータ読み取り可能な記録媒体。
【0100】
（付記１８）
前記特徴マップ生成ステップにおいて、
画像と第１の特徴マップ及び第２の特徴マップとの関係を機械学習した学習モデルを用いて、前記第１の特徴マップ及び前記第２の特徴マップを生成する、
付記１５～１７のいずれかに記載のコンピュータ読み取り可能な記録媒体。
前記特徴マップ生成ステップにおいて、
画像と第１の特徴マップ及び第２の特徴マップとの関係を機械学習した学習モデルを用いて、前記第１の特徴マップ及び前記第２の特徴マップを生成する、
付記１５～１７のいずれかに記載のコンピュータ読み取り可能な記録媒体。
【0101】
（付記１９）
前記グルーピングステップにおいて、
前記画像から検出された関節それぞれ毎に、前記画像中の人物それぞれについて、前記第１の特徴マップにおける当該関節に対応するピクセルの数値と前記第２の特徴マップにおける当該関節に対応するピクセルの数値とを特定し、特定した２つの前記数値と、前記人物の水平方向における位置を示す数値及び垂直方向における位置を示す数値と、を用いて、当該関節と前記人物との間の距離を算出し、算出した前記距離に基づいて、当該関節に対応する人物を決定し、決定結果に基づいてグルーピングする、
付記１６または１７に記載のコンピュータ読み取り可能な記録媒体。
前記グルーピングステップにおいて、
前記画像から検出された関節それぞれ毎に、前記画像中の人物それぞれについて、前記第１の特徴マップにおける当該関節に対応するピクセルの数値と前記第２の特徴マップにおける当該関節に対応するピクセルの数値とを特定し、特定した２つの前記数値と、前記人物の水平方向における位置を示す数値及び垂直方向における位置を示す数値と、を用いて、当該関節と前記人物との間の距離を算出し、算出した前記距離に基づいて、当該関節に対応する人物を決定し、決定結果に基づいてグルーピングする、
付記１６または１７に記載のコンピュータ読み取り可能な記録媒体。
【0102】
（付記２０）
前記グルーピングステップにおいて、算出した前記距離が設定値以上とならないことと、同一種類の複数の関節が同一人物に対応しないこととを、条件として、前記関節に対応する人物を決定する、
付記１９に記載のコンピュータ読み取り可能な記録媒体。
前記グルーピングステップにおいて、算出した前記距離が設定値以上とならないことと、同一種類の複数の関節が同一人物に対応しないこととを、条件として、前記関節に対応する人物を決定する、
付記１９に記載のコンピュータ読み取り可能な記録媒体。
【0103】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【産業上の利用可能性】
【0104】
以上のように、本発明によれば、画像中に存在する人物の数に影響されることなく、関節と人物との関連付けを実行する。本発明は、画像から人物の姿勢の推定を行うシステムに有用である。
【符号の説明】
【0105】
１０ 画像処理装置
１１ 特徴マップ生成部
１２ グルーピング部
１３ 画像データ取得部
１４ 記憶部
１５ 関節検出部
１６ 学習モデル
１７ 画像データ
２０ 特徴マップ生成装置
２１ 画像データ取得部
２２ 記憶部
２３ 特徴マップ生成部
２４ 学習モデル
２５ 画像データ
３０ 学習モデル生成装置
３１ 訓練データ取得部
３２ 記憶部
３３ 学習モデル生成部
３４ 学習モデル
３５ 訓練データ
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
１１ 特徴マップ生成部
１２ グルーピング部
１３ 画像データ取得部
１４ 記憶部
１５ 関節検出部
１６ 学習モデル
１７ 画像データ
２０ 特徴マップ生成装置
２１ 画像データ取得部
２２ 記憶部
２３ 特徴マップ生成部
２４ 学習モデル
２５ 画像データ
３０ 学習モデル生成装置
３１ 訓練データ取得部
３２ 記憶部
３３ 学習モデル生成部
３４ 学習モデル
３５ 訓練データ
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【手続補正書】
【提出日】2023-12-12
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成部と、前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピング部と、
を備えている、
ことを特徴とする画像処理装置。
【請求項2】
前記特徴マップ生成部が、前記第１の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の水平方向における位置を示す数値を割り当てる、マップを生成し、
前記第２の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の垂直方向における位置を示す数値を割り当てる、マップを生成する、
請求項１に記載の画像処理装置。
【請求項3】
前記人物の水平方向における位置を示す数値が、前記第１の特徴マップの水平方向の長さに対する、前記第１の特徴マップの原点から前記人物の基準点までの水平方向における距離の比を示す値であり、前記人物の垂直方向における位置を示す数値が、前記第２の特徴マップの垂直方向の長さに対する、前記第２の特徴マップの原点から前記人物の基準点までの垂直方向における距離の比を示す値である、
請求項２に記載の画像処理装置。
【請求項4】
前記特徴マップ生成部が、画像と第１の特徴マップ及び第２の特徴マップとの関係を機械学習した学習モデルを用いて、前記第１の特徴マップ及び前記第２の特徴マップを生成する、
請求項１に記載の画像処理装置。
【請求項5】
前記グルーピング部が、前記画像から検出された関節それぞれ毎に、前記画像中の人物それぞれについて、前記第１の特徴マップにおける当該関節に対応するピクセルの数値と前記第２の特徴マップにおける当該関節に対応するピクセルの数値とを特定し、
特定した２つの前記数値と、前記人物の水平方向における位置を示す数値及び垂直方向における位置を示す数値と、を用いて、当該関節と前記人物との間の距離を算出し、
算出した前記距離に基づいて、当該関節に対応する人物を決定し、決定結果に基づいてグルーピングする、
請求項２に記載の画像処理装置。
【請求項6】
前記グルーピング部が、算出した前記距離が設定値以上とならないことと、同一種類の複数の関節が同一人物に対応しないこととを、条件として、前記関節に対応する人物を決定する、請求項５に記載の画像処理装置。
【請求項7】
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成部を備えている、ことを特徴とする特徴マップ生成装置。
【請求項8】
人物を含む画像の画像データ、前記画像中の前記人物の水平方向における位置を特定する第１の特徴マップ、及び前記画像中の前記人物の垂直向における位置を特定する第２の特徴マップを訓練データとして用いて、前記画像と前記第１の特徴マップ及び前記第２の特徴マップとの関係を機械学習した学習モデルを生成する、学習モデル生成部を備えている、ことを特徴とする学習モデル生成装置。
【請求項9】
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成ステップと、前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピングステップと、
を有する、
ことを特徴とする画像処理方法。
【請求項10】
コンピュータに、画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成ステップと、
前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピングステップと、
を実行させる、プログラム。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【0001】
本発明は、人物を含む画像の画像データを処理するための、画像処理装置、及び画像処理方法に関し、更には、これらを実現するためのプログラムに関する。また、本発明は、画像処理装置及び画像処理方法に用いられる特徴マップを生成するための特徴マップ生成装置に関し、加えて、特徴マップの生成に用いられる学習モデルを生成するための学習モデル生成装置にも関する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【0008】
本発明の目的の一例は、画像中に存在する人物の数に影響されることなく、関節と人物との関連付けを実行し得る、画像処理装置、画像処理方法、及びプログラムを提供することにある。また、本発明の目的の他の一例は、画像処理装置に適用可能な特徴マップ生成装置及び学習モデル生成装置を提供することにある。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【0013】
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータに、
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成ステップと、
前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピングステップと、
を実行させる、ことを特徴とする。
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成ステップと、
前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピングステップと、
を実行させる、ことを特徴とする。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【0097】
（付記１５）
コンピュータに、
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成ステップと、
前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピングステップと、
を実行させる、プログラム。
コンピュータに、
画像中の人物の水平方向における位置を特定する第１の特徴マップと、前記画像中の前記人物の垂直方向における位置を特定する第２の特徴マップとを生成する、特徴マップ生成ステップと、
前記画像から検出された関節それぞれの水平方向及び垂直方向における位置と、前記第１の特徴マップ及び前記第２の特徴マップと、を用いて、前記関節それぞれを、対応ずる人物にグルーピングする、グルーピングステップと、
を実行させる、プログラム。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【0098】
（付記１６）
前記特徴マップステップにおいて、
前記第１の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の水平方向における位置を示す数値を割り当てる、マップを生成し、
前記第２の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の垂直方向における位置を示す数値を割り当てる、マップを生成する、
付記１５に記載のプログラム。
前記特徴マップステップにおいて、
前記第１の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の水平方向における位置を示す数値を割り当てる、マップを生成し、
前記第２の特徴マップとして、前記画像を構成するピクセルと同数のピクセルで構成され、且つ、前記人物に対応する領域の前記ピクセルそれぞれに、前記人物の垂直方向における位置を示す数値を割り当てる、マップを生成する、
付記１５に記載のプログラム。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【0099】
（付記１７）
前記人物の水平方向における位置を示す数値が、前記第１の特徴マップの水平方向の長さに対する、前記第１の特徴マップの原点から前記人物の基準点までの水平方向における距離の比を示す値であり、
前記人物の垂直方向における位置を示す数値が、前記第２の特徴マップの垂直方向の長さに対する、前記第２の特徴マップの原点から前記人物の基準点までの垂直方向における距離の比を示す値である、
付記１６に記載のプログラム。
前記人物の水平方向における位置を示す数値が、前記第１の特徴マップの水平方向の長さに対する、前記第１の特徴マップの原点から前記人物の基準点までの水平方向における距離の比を示す値であり、
前記人物の垂直方向における位置を示す数値が、前記第２の特徴マップの垂直方向の長さに対する、前記第２の特徴マップの原点から前記人物の基準点までの垂直方向における距離の比を示す値である、
付記１６に記載のプログラム。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【0100】
（付記１８）
前記特徴マップ生成ステップにおいて、
画像と第１の特徴マップ及び第２の特徴マップとの関係を機械学習した学習モデルを用いて、前記第１の特徴マップ及び前記第２の特徴マップを生成する、
付記１５～１７のいずれかに記載のプログラム。
前記特徴マップ生成ステップにおいて、
画像と第１の特徴マップ及び第２の特徴マップとの関係を機械学習した学習モデルを用いて、前記第１の特徴マップ及び前記第２の特徴マップを生成する、
付記１５～１７のいずれかに記載のプログラム。
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】０１０１
【補正方法】変更
【補正の内容】
【0101】
（付記１９）
前記グルーピングステップにおいて、
前記画像から検出された関節それぞれ毎に、前記画像中の人物それぞれについて、前記第１の特徴マップにおける当該関節に対応するピクセルの数値と前記第２の特徴マップにおける当該関節に対応するピクセルの数値とを特定し、特定した２つの前記数値と、前記人物の水平方向における位置を示す数値及び垂直方向における位置を示す数値と、を用いて、当該関節と前記人物との間の距離を算出し、算出した前記距離に基づいて、当該関節に対応する人物を決定し、決定結果に基づいてグルーピングする、
付記１６または１７に記載のプログラム。
前記グルーピングステップにおいて、
前記画像から検出された関節それぞれ毎に、前記画像中の人物それぞれについて、前記第１の特徴マップにおける当該関節に対応するピクセルの数値と前記第２の特徴マップにおける当該関節に対応するピクセルの数値とを特定し、特定した２つの前記数値と、前記人物の水平方向における位置を示す数値及び垂直方向における位置を示す数値と、を用いて、当該関節と前記人物との間の距離を算出し、算出した前記距離に基づいて、当該関節に対応する人物を決定し、決定結果に基づいてグルーピングする、
付記１６または１７に記載のプログラム。
【手続補正11】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【0102】
（付記２０）
前記グルーピングステップにおいて、算出した前記距離が設定値以上とならないことと、同一種類の複数の関節が同一人物に対応しないこととを、条件として、前記関節に対応する人物を決定する、
付記１９に記載のプログラム。
前記グルーピングステップにおいて、算出した前記距離が設定値以上とならないことと、同一種類の複数の関節が同一人物に対応しないこととを、条件として、前記関節に対応する人物を決定する、
付記１９に記載のプログラム。
【国際調査報告】