知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-05-26
(45)【発行日】2025-06-03
(54)【発明の名称】関節点検出装置、関節点検出方法、及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20250527BHJP
G06V 10/82 20220101ALI20250527BHJP
【ＦＩ】
G06T7/00 660Z
G06V10/82
【請求項の数】
8
(21)【出願番号】P 2023502225
(86)(22)【出願日】2022-02-01
(86)【国際出願番号】 JP2022003766
(87)【国際公開番号】W WO2022181252
(87)【国際公開日】2022-09-01
【審査請求日】2023-07-27
(31)【優先権主張番号】P 2021029411
(32)【優先日】2021-02-26
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110002044
【氏名又は名称】弁理士法人ブライタス
(72)【発明者】
【氏名】石井 遊哉
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】特開２００７－００４７３２（ＪＰ，Ａ）
【文献】国際公開第２０２０／００００９６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ ー ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
(57)【特許請求の範囲】
【請求項1】
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す第１の特徴量を出力する、全特徴量出力手段と、前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルを用いて、前記特定の関節点が画像上で見えない場合における、前記対象の関節点それぞれを表す第２の特徴量を出力する、部分特徴量出力手段と、
を備え、
前記機械学習モデルは、
特定の対象の関節点それぞれ毎の特徴量から、複数の前記特定の関節点それぞれ毎に、当該特定の関節点の特徴量のみが存在しない場合の特徴量のセットを、訓練用特徴量セットとして生成し、複数の前記特定の関節点それぞれ毎に、対応する前記訓練用特徴量セットを含む訓練データを用いて、当該特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習する、ことによって、生成されている、
ことを特徴とする関節点検出装置。
【請求項2】
請求項１に記載の関節点検出装置であって、前記対象の関節点それぞれ毎の前記第２の特徴量を用いて、前記対象の関節点の座標を検出する、関節点検出手段を更に備えている、
ことを特徴とする関節点検出装置。
【請求項3】
請求項１に記載の関節点検出装置であって、前記部分特徴量出力手段が、前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、複数の前記特定の関節点それぞれについて当該特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している、機械学習モデルを用いて、前記特定の関節点が画像上で見えない場合における、前記対象の関節点それぞれを表す第２の特徴量を出力する、
ことを特徴とする関節点検出装置。
【請求項4】
請求項１に記載の関節点検出装置であって、前記機械学習モデルが、畳み込みニューラルネットワークによって構築されており、
前記第１の特徴量、及び前記第２の特徴量、それぞれが、画像上の関節点が存在する可能性を表現するヒートマップを含む、
ことを特徴とする関節点検出装置。
【請求項5】
コンピュータが実行する方法であって、対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す第１の特徴量を出力し、
前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルを用いて、前記特定の関節点が画像上で見えない場合における、前記対象の関節点それぞれを表す第２の特徴量を出力し、
前記機械学習モデルは、
特定の対象の関節点それぞれ毎の特徴量から、複数の前記特定の関節点それぞれ毎に、当該特定の関節点の特徴量のみが存在しない場合の特徴量のセットを、訓練用特徴量セットとして生成し、複数の前記特定の関節点それぞれ毎に、対応する前記訓練用特徴量セットを含む訓練データを用いて、当該特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習する、ことによって、生成されている、
ことを特徴とする関節点検出方法。
【請求項6】
請求項５に記載の関節点検出方法であって、前記対象の関節点それぞれ毎の前記第２の特徴量を用いて、前記対象の関節点の座標を検出する、
ことを特徴とする関節点検出方法。
【請求項7】
コンピュータに、対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す第１の特徴量を出力させ、
前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルを用いて、前記特定の関節点が画像上で見えない場合における、前記対象の関節点それぞれを表す第２の特徴量を出力させる、プログラムであって、
前記機械学習モデルは、
特定の対象の関節点それぞれ毎の特徴量から、複数の前記特定の関節点それぞれ毎に、当該特定の関節点の特徴量のみが存在しない場合の特徴量のセットを、訓練用特徴量セットとして生成し、複数の前記特定の関節点それぞれ毎に、対応する前記訓練用特徴量セットを含む訓練データを用いて、当該特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習する、ことによって、生成されている、ことを特徴とするプログラム。
【請求項8】
請求項７に記載のプログラムであって、前記コンピュータに、更に、
前記対象の関節点それぞれ毎の前記第２の特徴量を用いて、前記対象の関節点の座標を検出させる、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像から生体の関節点を検出するための、関節点検出装置、及び関節点検出方法に関し、更には、これらを実現するためのプログラムに関する。また、本発明は、画像からの生体の関節点の検出用の学習モデルを生成するための、学習モデル生成装置、及び学習モデル生成方法に関し、更には、これらを実現するためのプログラムに関する。
【背景技術】
【0002】
近年、画像から人の姿勢を推定するシステムが提案されている。このようなシステムは、映像監視、ユーザインタフェース等の分野での利用が期待されている。例えば、画像監視システムにおいて、人の姿勢を推定できれば、カメラに写った人物が何をしているかを推定できるので、監視精度の向上が図られる。また、ユーザインタフェースにおいて、人の姿勢を推定できれば、ジェスチャーによる入力が可能となる。
【0003】
例えば、非特許文献１は、画像から人の姿勢、とりわけ、人の手の姿勢を推定するシステムを開示している。非特許文献１に開示されたシステムは、まず、手の画像を含む画像データを取得すると、取得した画像データを、関節点毎の画像特徴量を機械学習したニューラルネットワークに入力して、関節点毎に、関節点の存在確率を色彩及び濃度によって表現するヒートマップを出力させる。
【0004】
続いて、非特許文献１に開示されたシステムは、関節点と対応するヒートマップとの関係を機械学習したニューラルネットワークに、出力されたヒートマップを入力する。また、このようなニューラルネットワークは複数個用意されており、あるニューラルネットワークからの出力結果は、別のニューラルネットワークに入力される。この結果、ヒートマップ上の関節点の位置がリファインされる。
【0005】
また、特許文献１も、画像から手の姿勢を推定するシステムを開示している。特許文献１に開示されたシステムも、非特許文献１に開示されたシステムと同様に、ニューラルネットワークを使用して、関節点の座標を推定する。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０１７－１９１５７６号公報
【非特許文献】
【0007】
【文献】Christian Zimmermann, Thomas Brox, ”Learning to Estimate 3D Hand Pose from Single RGB Images”, [online], University of Freiburg, [２０２１年２月８日検索],インターネット＜URL：https://openaccess.thecvf.com/content_ICCV_2017/papers/Zimmermann_Learning_to_Estimate_ICCV_2017_paper.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【0008】
非特許文献１又は特許文献１に開示されたシステムを用いれば、上述したように、画像から人の手の関節点の座標を推定することができるが、これらのシステムには、以下のように推定精度が低下するという問題点がある。
【0009】
まず、生体には多くの関節点があり、画像には、一部の関節点が映っていない場合がある。このような場合、非特許文献１及び特許文献１に開示されたシステムでは、画像に映っていない関節点のヒートマップでの位置が誤った位置となる可能性がある。そして、この結果、ニューラルネットワークによって各関節点の位置がリファインされる際に、画像に映っていない関節点の誤った位置に引きずられて、画像に写っている関節点の位置までも誤った位置となる。
【0010】
本発明の目的の一例は、関節点の位置の推定精度の向上を図り得る、関節点検出装置、学習モデル生成装置、関節点検出方法、学習モデル生成方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0011】
上記目的を達成するため、本発明の一側面における関節点検出装置は、
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す第１の特徴量を出力する、全特徴量出力部と、
前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、部分特徴量出力部と、
を備えていることを特徴とする。
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す第１の特徴量を出力する、全特徴量出力部と、
前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、部分特徴量出力部と、
を備えていることを特徴とする。
【0012】
上記目的を達成するため、本発明の一側面における学習モデル生成装置は、
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す特徴量を出力する、全特徴量出力部と、
前記対象の関節点それぞれ毎の前記特徴量から、特定の関節点の特徴量が存在しない場合の特徴量を訓練用特徴量として生成する、特徴量生成部と、
生成された前記訓練用特徴量を含む訓練データを用いて、前記特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する、学習モデル生成部と、
を備えていることを特徴とする。
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す特徴量を出力する、全特徴量出力部と、
前記対象の関節点それぞれ毎の前記特徴量から、特定の関節点の特徴量が存在しない場合の特徴量を訓練用特徴量として生成する、特徴量生成部と、
生成された前記訓練用特徴量を含む訓練データを用いて、前記特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する、学習モデル生成部と、
を備えていることを特徴とする。
【0013】
上記目的を達成するため、本発明の一側面における関節点検出方法は、
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す第１の特徴量を出力する、全特徴量出力ステップと、
前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、部分特徴量出力ステップと、
を有する、ことを特徴とする。
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す第１の特徴量を出力する、全特徴量出力ステップと、
前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、部分特徴量出力ステップと、
を有する、ことを特徴とする。
【0014】
上記目的を達成するため、本発明の一側面における学習モデル生成方法は、
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す特徴量を出力する、全特徴量出力ステップと、
前記対象の関節点それぞれ毎の前記特徴量から、特定の関節点の特徴量が存在しない場合の特徴量を訓練用特徴量として生成する、特徴量生成ステップと、
生成された前記訓練用特徴量を含む訓練データを用いて、前記特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する、学習モデル生成ステップと、
を有する、ことを特徴とする。
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す特徴量を出力する、全特徴量出力ステップと、
前記対象の関節点それぞれ毎の前記特徴量から、特定の関節点の特徴量が存在しない場合の特徴量を訓練用特徴量として生成する、特徴量生成ステップと、
生成された前記訓練用特徴量を含む訓練データを用いて、前記特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する、学習モデル生成ステップと、
を有する、ことを特徴とする。
【0015】
上記目的を達成するため、本発明の一側面における第１のプログラムは、
コンピュータに、
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す第１の特徴量を出力する、全特徴量出力ステップと、
前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、部分特徴量出力ステップと、
を実行させる、ことを特徴とする。
コンピュータに、
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す第１の特徴量を出力する、全特徴量出力ステップと、
前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、部分特徴量出力ステップと、
を実行させる、ことを特徴とする。
【0016】
上記目的を達成するため、本発明の一側面における第２のプログラムは、
コンピュータに、
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す特徴量を出力する、全特徴量出力ステップと、
前記対象の関節点それぞれ毎の前記特徴量から、特定の関節点の特徴量が存在しない場合の特徴量を訓練用特徴量として生成する、特徴量生成ステップと、
生成された前記訓練用特徴量を含む訓練データを用いて、前記特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する、学習モデル生成ステップと、
を実行させる、ことを特徴とする。
コンピュータに、
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す特徴量を出力する、全特徴量出力ステップと、
前記対象の関節点それぞれ毎の前記特徴量から、特定の関節点の特徴量が存在しない場合の特徴量を訓練用特徴量として生成する、特徴量生成ステップと、
生成された前記訓練用特徴量を含む訓練データを用いて、前記特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する、学習モデル生成ステップと、
を実行させる、ことを特徴とする。
【発明の効果】
【0017】
以上のように、本発明によれば、関節点の位置の推定精度の向上を図ることができる。
【図面の簡単な説明】
【0018】
【発明を実施するための形態】
【0019】
【0020】
【0021】
図１に示す実施の形態１における学習モデル生成装置１０は、関節点の検出ための機械学習モデルを生成する装置である。図１に示すように、学習モデル生成装置１０は、全特徴量出力部１１と、特徴量生成部１２と、学習モデル生成部１３とを備えている。
【0022】
全特徴量出力部１１は、対象の画像データから、対象の関節点それぞれ毎に、関節点を表す特徴量を出力する。特徴量生成部１２は、対象の関節点それぞれ毎の特徴量から、特定の関節点の特徴量が存在しない場合の特徴量を訓練用特徴量として生成する。
【0023】
学習モデル生成部１３は、生成された訓練用の特徴量を含む訓練データを用いて、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する。
【0024】
このように、実施の形態１では、訓練データとして用いられる訓練用特徴量は、特定の関節点の特徴量が存在しないことに設定された場合の特徴量である。このため、生成された機械学習モデルを用いて、関節点の検出を行えば、対象の特定の関節点が画像に写っていない場合でも、対象の関節点を精度良く推定することが可能となる。
【0025】
続いて、図２～図４を用いて、実施の形態１における学習モデル生成装置１０の構成及び機能について具体的に説明する。図２は、実施の形態１における学習モデル生成装置の構成を具体的に示すブロック図である。図３は、実施の形態１における全特徴量出力部の機能を説明する図である。図４は、実施の形態１における特徴量生成部及び学習モデル生成部の機能を説明する図である。
【0026】
図２に示すように、実施の形態では、学習モデル生成装置１０は、上述した全特徴量出力部１１、特徴量生成部１２、及び学習モデル生成部１３に加えて、乱数発生部１４と、記憶部１５とを備えている。
【0027】
乱数発生部１４は、設定された範囲内で乱数を発生させ、発生させた乱数を特徴量生成部１２に入力する。乱数を用いた特徴量生成部１２での処理については後述する。記憶部１５は、学習モデル生成部１３によって生成された機械学習モデル１６を格納している。
【0028】
また、実施の形態では、機械学習モデル１６は、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）によって構築されている。実施の形態においては、学習モデル生成部１３による機械学習モデルの生成は、ＣＮＮのパラメータの初期値を学習によって更新することで行われる。以降においては、機械学習モデルは、「ＣＮＮ」とも表記する。
【0029】
また、以降においては、対象が人の手である場合を例に挙げて説明する。なお、実施の形態１において、対象は、人の手に限定されず、人の体全体であっても良いし、他の部位であっても良い。対象は、関節点を有するものであれば良く、人以外のもの、例えば、ロボットであっても良い。更に、実施の形態１では、関節点に加え、関節点以外の部分、例えば、指先といった特徴的な部分も、検出の対象となっていても良い。
【0030】
加えて、実施の形態１では、特徴量として、ヒートマップが用いられているとする。ヒートマップは、画像上の関節点が存在する可能性を表現するマップであり、例えば、関節点の存在の可能性を色の濃淡で表現することができる。なお、特徴量として、ヒートマップ以外のもの、例えば、座標値が用いられても良い。
【0031】
全特徴量出力部１１は、実施の形態１では、まず、対象の画像データ２０を取得する。そして、全特徴量出力部１１は、図３に示すように、画像データ２０から、関節点を表す特徴量として、ヒートマップ２１を出力する。図３の例では、ヒートマップ２１は、画像データ２０上の関節点毎に複数出力されている。
【0032】
具体的には、全特徴量出力部１１は、例えば、画像上の関節点とヒートマップとの関係を学習している機械学習モデルを用い、この機械学習モデルに、画像データを入力することで、ヒートマップ２１を出力する。この場合の機械学習モデルとしても、ＣＮＮが挙げられる。また、このＣＮＮの機械学習では、関節点の画像データと、正解となるヒートマップとが訓練データとなる。そして、ＣＮＮの機械学習は、訓練データとなる画像データの出力結果（ヒートマップ）と正解となるヒートマップとの差分が小さくなるように、パラメータを更新することで行われる。
【0033】
特徴量生成部１２は、実施の形態では、対象の関節点それぞれ毎のヒートマップ２１から、複数の特定の関節点それぞれ毎に、特定の関節点の特徴量のみが存在しないことに設定された特徴量のセットを、訓練用特徴量セット２２として生成する。
【0034】
具体的には、図４に示すように、特徴量生成部１２は、まず、乱数発生部１４から乱数を受け取る。そして、特徴量生成部１２は、画像上の関節点毎に生成された複数のヒートマップ２１のうち、乱数が示すｊ番目の関節点のヒートマップ上のデータをゼロまたは１として、ｊ番目の関節点の特徴量を存在しないことに設定する。これにより、画像上の関節点毎に生成された複数のヒートマップ２１のうちｊ番目の関節点のヒートマップのみが存在しないことに設定された、特徴量のセット（訓練用特徴量セット）２２が生成される。なお、各関節点には予め番号が振られているとする。
【0035】
また、図４の例では、発生した乱数に応じて、複数の関節点それぞれの特徴量が存在しないことに設定されているが、これに限定されず、特徴量が存在しないことに設定される関節点は予め設定されていても良い。また、特徴量生成部１２は、全ての関節点それぞれについて、順に特徴量が存在しないことに設定し、関節点の数だけ、訓練用特徴量セット２２を生成しても良い。なお、図４の例では、訓練用の特徴量もヒートマップであるので、訓練用特徴量セット２２は、「訓練用ヒートマップセット２２」と表記する。
【0036】
学習モデル生成部１３が、実施の形態では、複数の特定の関節点それぞれ毎に、対応する訓練用ヒートマップセットを含む訓練データを用いて、特定の関節点のヒートマップが存在しない場合の他の関節点間の位置関係を機械学習して、機械学習モデルを生成する。
【0037】
具体的には、図４に示すように、学習モデル生成部１３は、記憶部１５からＣＮＮ１６を取得し、ＣＮＮ１６に、選択した訓練用ヒートマップセット２２を入力し、出力結果となる各ヒートマップセットと対応する正解のヒートマップとの差分を算出する。なお、正解のヒートマップは予め用意されている。また、特徴量が存在しないとされたヒートマップについては、差分は算出されないか、正解のヒートマップとして、特徴量が存在しないヒートマップが用いられるかするとする。
【0038】
そして、学習モデル生成部１３は、算出した差分が最小となるように、ＣＮＮ１６のパラメータを更新し、パラメータが更新されたＣＮＮ１６を記憶部１５に格納する。また、学習モデル生成部１３は、この処理を、未選択の訓練用ヒートマップセット２２がなくなるまで実行する。この結果、関節点の検出に用いることができるＣＮＮが生成されることになる。
【0039】
［装置動作］
次に、実施の形態１における学習モデル生成装置１０の動作について図５を用いて説明する。図５は、実施の形態１における学習モデル生成装置の動作を示すフロー図である。以下の説明においては、適宜図１～図４を参照する。また、実施の形態１では、学習モデル生成装置１０を動作させることによって、学習モデル生成方法が実施される。よって、実施の形態１における学習モデル生成方法の説明は、以下の学習モデル生成装置１０の動作説明に代える。
次に、実施の形態１における学習モデル生成装置１０の動作について図５を用いて説明する。図５は、実施の形態１における学習モデル生成装置の動作を示すフロー図である。以下の説明においては、適宜図１～図４を参照する。また、実施の形態１では、学習モデル生成装置１０を動作させることによって、学習モデル生成方法が実施される。よって、実施の形態１における学習モデル生成方法の説明は、以下の学習モデル生成装置１０の動作説明に代える。
【0040】
図５に示すように、最初に、全特徴量出力部１１は、対象の画像データ２０を取得し、取得した画像データ２０から、関節点を表す特徴量として、ヒートマップ２１を出力する（ステップＡ１）。
【0041】
次に、特徴量生成部１２は、乱数発生部１４で発生した乱数ｊを取得する（ステップＡ２）。続いて、特徴量生成部１２は、ステップＡ１で出力された関節点それぞれ毎のヒートマップ２１から、ｊ番目の関節点の特徴量のみが存在していないことに設定、即ち、ｊ番目の関節点のヒートマップのみがゼロ（または１）に設定されたヒートマップのセットを、訓練用ヒートマップセット２２として生成する（ステップＡ３）。
【0042】
次に、特徴量生成部１２は、所定数の訓練用ヒートマップセット２２が生成されているかどうかを判定する（ステップＡ４）。そして、ステップＡ４の判定の結果、所定数の訓練用ヒートマップセット２２が生成されていない場合（ステップＡ４：Ｎｏ）は、特徴量生成部１２は、再度ステップＡ２を実行する。
【0043】
一方、ステップＡ４の判定の結果、所定数の訓練用ヒートマップセット２２が生成されている場合（ステップＡ４：Ｙｅｓ）は、特徴量生成部１２は、学習モデル生成部１３に、訓練用ヒートマップセット２２の生成が終了したことを通知する。
【0044】
通知を受けると、学習モデル生成部１３は、ステップＡ３で生成された所定数の訓練用ヒートマップセット２２を用いて、ＣＮＮ１６のパラメータを更新する（ステップＡ５）。これにより、特定の関節点のヒートマップが存在しない場合の他の関節点間の位置関係が機械学習されて、機械学習モデルが生成される。ステップＡ５の実行後、学習モデルの生成のための処理は終了する。
【0045】
このように、実施の形態１では、訓練データとして用いられる訓練用ヒートマップセットは、特定の関節点の特徴量が存在しない場合の特徴量を表している。このため、生成されたＣＮＮ１６を用いて、後述のように、関節点の検出を行えば、対象の特定の関節点が画像に写っていない場合でも、対象の関節点を精度良く推定することが可能となる。
【0046】
［プログラム］
実施の形態１における学習モデル生成用のプログラムは、コンピュータに、図５に示すステップＡ１～Ａ５を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、実施の形態１における学習モデル生成装置と学習モデル生成方法とを実現することができる。この場合、コンピュータのプロセッサは、全特徴量出力部１１、特徴量生成部１２、学習モデル生成部１３、及び乱数発生部１４として機能し、処理を行なう。
実施の形態１における学習モデル生成用のプログラムは、コンピュータに、図５に示すステップＡ１～Ａ５を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、実施の形態１における学習モデル生成装置と学習モデル生成方法とを実現することができる。この場合、コンピュータのプロセッサは、全特徴量出力部１１、特徴量生成部１２、学習モデル生成部１３、及び乱数発生部１４として機能し、処理を行なう。
【0047】
また、実施の形態１では、記憶部１５は、コンピュータに備えられたハードディスク等の記憶装置に、これらを構成するデータファイルを格納することによって実現されていても良いし、別のコンピュータの記憶装置によって実現されていても良い。また、コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。
【0048】
実施の形態１における学習モデル生成用のプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、全特徴量出力部１１、特徴量生成部１２、学習モデル生成部１３、及び乱数発生部１４のいずれかとして機能しても良い。
【0049】
【0050】
【0051】
図６に示す実施の形態２における関節点検出装置３０は、対象、例えば、生体、ロボット等の関節点を検出するための装置である。図６に示すように、関節点検出装置３０は、全特徴量出力部３１と、部分特徴量出力部３２と、を備えている。
【0052】
全特徴量出力部３１は、対象の画像データから、対象の関節点それぞれ毎に、関節点を表す第１の特徴量を出力する。部分特徴量出力部３２は、対象の関節点それぞれ毎の第１の特徴量を入力として、機械学習モデルを用いて、対象の関節点それぞれ毎に、関節点を表す第２の特徴量を出力する。機械学習モデルは、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルである。
【0053】
このように、実施の形態２では、各関節点を表す第１の特徴量から、機械学習モデルを用いて、第２の特徴量が出力される。機械学習モデルは、特定の関節点以外の関節点間の位置関係を機械学習しているので、第２の特徴量は、特定の関節点が見えない場合における、それ以外の関節点の位置を適切に示すことができる。このため、実施の形態２によれば、各関節点の位置の推定精度を向上することが可能となる。
【0054】
続いて、図７及び図８を用いて、実施の形態２における関節点検出装置３０の構成及び機能について具体的に説明する。図７は、実施の形態２における関節点検出装置の構成をより具体的に示す図である。図８は、実施の形態２における全特徴量出力部及び部分特徴量出力部の機能を説明する図である。
【0055】
図７に示すように、実施の形態２では、関節点検出装置３０は、上述した全特徴量出力部３１及び部分特徴量出力部３２に加えて、関節点検出部３３と、記憶部３４とを備えている。記憶部３４は、実施の形態１において図２に示したＣＮＮ１６を格納している。
【0056】
実施の形態２においても、対象が人の手である場合を例に挙げて説明する。なお、実施の形態２においても、関節点の検出の対象は、人の手に限定されず、人の体全体であっても良いし、他の部位であっても良い。また、関節点の検出の対象は、関節点を有するものであれば良く、人以外のもの、例えば、ロボットであっても良い。更に、実施の形態２でも、関節点に加え、関節点以外の部分、例えば、指先といった特徴的な部分も、検出の対象となっていても良い。
【0057】
加えて、実施の形態２でも、特徴量として、ヒートマップが用いられているとする。なお、実施の形態２でも、特徴量として、ヒートマップ以外のもの、例えば、座標値が用いられても良い。
【0058】
全特徴量出力部３１は、実施の形態１と同様の機能を有しており、まず、対象の画像データ４０を取得する。そして、全特徴量出力部３１は、図８に示すように、画像データ４０から、関節点を表す第１の特徴量として、第１のヒートマップ４１を出力する。また、図８の例では、第１のヒートマップ４１は、画像データ４０上の関節点毎に複数出力されている。
【0059】
具体的には、全特徴量出力部３１も、実施の形態１に示した全特徴量出力部１１と同様に、例えば、画像上の関節点とヒートマップとの関係を学習している機械学習モデルを用い、この機械学習モデルに、画像データを入力することで、第１のヒートマップ４１を出力する。この場合の機械学習モデルとしても、ＣＮＮが挙げられる。
【0060】
部分特徴量出力部３２は、実施の形態２では、全特徴量出力部３１から出力された、対象の関節点それぞれ毎の第１のヒートマップ４１を、ＣＮＮ１６に入力し、ＣＮＮ１６から、対象の関節点それぞれ毎に第２のヒートマップ４２を出力させる。
【0061】
ＣＮＮ１６は、実施の形態１において述べたように、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルである。このため、第２のヒートマップ４２では、第２の特徴量として、特定の関節点が見えない場合における、それ以外の関節点の位置が適切に示されている。
【0062】
関節点検出部３３は、対象である手の関節点毎の第２のヒートマップ４２を取得する。そして、関節点検出部３３は、関節点毎の第２のヒートマップ４２を用いて、対象の関節点それぞれの座標を検出する。
【0063】
具体的には、関節点検出部３３は、関節点毎に、第２のヒートマップ４２の最も濃度の高い箇所を特定し、特定した箇所の画像上の２次元座標を検出する。また、関節点毎に、第２のヒートマップ４２が複数存在する場合は、関節点検出部３３は、第２のヒートマップ４２毎に最も濃度の高い箇所の２次元座標を特定し、更に、特定した各２次元座標の平均を求め、求めた平均の座標を最終的な座標とする。
【0064】
［装置動作］
次に、実施の形態２における関節点検出装置３０の動作について図９を用いて説明する。図９は、実施の形態２における関節点検出装置の動作を示すフロー図である。以下の説明においては、適宜図６～図８を参照する。また、実施の形態２では、関節点検出装置３０を動作させることによって、関節点検出方法が実施される。よって、実施の形態２における関節点検出方法の説明は、以下の関節点検出装置３０の動作説明に代える。
次に、実施の形態２における関節点検出装置３０の動作について図９を用いて説明する。図９は、実施の形態２における関節点検出装置の動作を示すフロー図である。以下の説明においては、適宜図６～図８を参照する。また、実施の形態２では、関節点検出装置３０を動作させることによって、関節点検出方法が実施される。よって、実施の形態２における関節点検出方法の説明は、以下の関節点検出装置３０の動作説明に代える。
【0065】
図９に示すように、最初に、全特徴量出力部３１は、対象の画像データ４０を取得し、取得した画像データ４０から、関節点を表す特徴量として、第１のヒートマップ４１を出力する（ステップＢ１）。
【0066】
次に、部分特徴量出力部３２は、ＣＮＮ１６に、ステップＢ１で出力された第１のヒートマップ４１を入力し、関節点を表す第２のヒートマップ４２を出力させる（ステップＢ２）。
【0067】
次に、関節点検出部３３は、ステップＢ２で出力された各関節点の第２のヒートマップ４２から、対象の各関節点の座標を検出する（ステップＢ３）。
【0068】
以上のように、実施の形態２では、画像データから取得された第１のヒートマップ４１が、ＣＮＮ１６に入力される。ＣＮＮ１６は、特定の関節点以外の関節点間の位置関係を機械学習しているので、第２のヒートマップ４２は、特定の関節点が見えない場合における、それ以外の関節点の位置を適切に示すことができる。このため、実施の形態２によれば、対象の関節点の位置の推定精度の向上が図られることになる。
【0069】
［プログラム］
実施の形態２における関節点検出用のプログラムは、コンピュータに、図９に示すステップＢ１～Ｂ３を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、実施の形態２における関節点検出装置と関節点検出方法とを実現することができる。この場合、コンピュータのプロセッサは、全特徴量出力部３１、部分特徴量出力部３２、及び関節点検出部３３として機能し、処理を行なう。
実施の形態２における関節点検出用のプログラムは、コンピュータに、図９に示すステップＢ１～Ｂ３を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、実施の形態２における関節点検出装置と関節点検出方法とを実現することができる。この場合、コンピュータのプロセッサは、全特徴量出力部３１、部分特徴量出力部３２、及び関節点検出部３３として機能し、処理を行なう。
【0070】
また、本実施の形態では、記憶部３４は、コンピュータに備えられたハードディスク等の記憶装置に、これらを構成するデータファイルを格納することによって実現されていても良いし、別のコンピュータの記憶装置によって実現されていても良い。また、コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。
【0071】
実施の形態２における関節点検出用のプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、全特徴量出力部３１、部分特徴量出力部３２、及び関節点検出部３３のいずれかとして機能しても良い。
【0072】
（物理構成）
ここで、実施の形態１におけるプログラムを実行することによって学習モデル生成装置１０を実現するコンピュータと、実施の形態２におけるプログラムを実行することによって関節点検出装置３０を実現するコンピュータとについて、図１０を用いて説明する。図１０は、実施の形態１における学習モデル生成装置と実施の形態２における関節点検出装置とを実現するコンピュータの一例を示すブロック図である。
ここで、実施の形態１におけるプログラムを実行することによって学習モデル生成装置１０を実現するコンピュータと、実施の形態２におけるプログラムを実行することによって関節点検出装置３０を実現するコンピュータとについて、図１０を用いて説明する。図１０は、実施の形態１における学習モデル生成装置と実施の形態２における関節点検出装置とを実現するコンピュータの一例を示すブロック図である。
【0073】
図１０に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
【0074】
また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。この態様では、ＧＰＵ又はＦＰＧＡが、実施の形態におけるプログラムを実行することができる。
【0075】
ＣＰＵ１１１は、記憶装置１１３に格納された、コード群で構成された実施の形態におけるプログラムをメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。
【0076】
また、実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
【0077】
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
【0078】
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
【0079】
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
【0080】
なお、学習モデル生成装置１０及び関節点検出装置３０は、それぞれ、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェア、例えば、回路を用いることによっても実現可能である。更に、学習モデル生成装置１０及び関節点検出装置３０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
【0081】
上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記２１）によって表現することができるが、以下の記載に限定されるものではない。
【0082】
（付記１）
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す第１の特徴量を出力する、全特徴量出力部と、
前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、部分特徴量出力部と、
を備えていることを特徴とする関節点検出装置。
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す第１の特徴量を出力する、全特徴量出力部と、
前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、部分特徴量出力部と、
を備えていることを特徴とする関節点検出装置。
【0083】
（付記２）
付記１に記載の関節点検出装置であって、
前記対象の関節点それぞれ毎の前記第２の特徴量を用いて、前記対象の関節点の座標を検出する、関節点検出部を更に備えている、
ことを特徴とする関節点検出装置。
付記１に記載の関節点検出装置であって、
前記対象の関節点それぞれ毎の前記第２の特徴量を用いて、前記対象の関節点の座標を検出する、関節点検出部を更に備えている、
ことを特徴とする関節点検出装置。
【0084】
（付記３）
付記１または２に記載の関節点検出装置であって、
前記部分特徴量出力部が、前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、複数の前記特定の関節点それぞれについて当該特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している、機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、
ことを特徴とする関節点検出装置。
付記１または２に記載の関節点検出装置であって、
前記部分特徴量出力部が、前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、複数の前記特定の関節点それぞれについて当該特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している、機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、
ことを特徴とする関節点検出装置。
【0085】
（付記４）
付記１から３のいずれかに記載の関節点検出装置であって、
前記機械学習モデルが、畳み込みニューラルネットワークによって構築されており、
前記第１の特徴量、及び前記第２の特徴量、それぞれが、画像上の関節点が存在する可能性を表現するヒートマップを含む、
ことを特徴とする関節点検出装置。
付記１から３のいずれかに記載の関節点検出装置であって、
前記機械学習モデルが、畳み込みニューラルネットワークによって構築されており、
前記第１の特徴量、及び前記第２の特徴量、それぞれが、画像上の関節点が存在する可能性を表現するヒートマップを含む、
ことを特徴とする関節点検出装置。
【0086】
（付記５）
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す特徴量を出力する、全特徴量出力部と、
前記対象の関節点それぞれ毎の前記特徴量から、特定の関節点の特徴量が存在しない場合の特徴量を訓練用特徴量として生成する、特徴量生成部と、
生成された前記訓練用特徴量を含む訓練データを用いて、前記特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する、学習モデル生成部と、
を備えていることを特徴とする学習モデル生成装置。
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す特徴量を出力する、全特徴量出力部と、
前記対象の関節点それぞれ毎の前記特徴量から、特定の関節点の特徴量が存在しない場合の特徴量を訓練用特徴量として生成する、特徴量生成部と、
生成された前記訓練用特徴量を含む訓練データを用いて、前記特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する、学習モデル生成部と、
を備えていることを特徴とする学習モデル生成装置。
【0087】
（付記６）
付記５に記載の学習モデル生成装置であって、
前記特徴量生成部が、前記対象の関節点それぞれ毎の前記特徴量から、複数の特定の関節点それぞれ毎に、当該特定の関節点の特徴量のみが存在しない場合の特徴量のセットを、訓練用特徴量セットとして生成し、
前記学習モデル生成部が、複数の特定の関節点それぞれ毎に、対応する前記訓練用特徴量セットを含む訓練データを用いて、当該特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する、
ことを特徴とする学習モデル生成装置。
付記５に記載の学習モデル生成装置であって、
前記特徴量生成部が、前記対象の関節点それぞれ毎の前記特徴量から、複数の特定の関節点それぞれ毎に、当該特定の関節点の特徴量のみが存在しない場合の特徴量のセットを、訓練用特徴量セットとして生成し、
前記学習モデル生成部が、複数の特定の関節点それぞれ毎に、対応する前記訓練用特徴量セットを含む訓練データを用いて、当該特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する、
ことを特徴とする学習モデル生成装置。
【0088】
（付記７）
付記５または６に記載の学習モデル生成装置であって、
前記機械学習モデルが、畳み込みニューラルネットワークによって構築されており、
前記特徴量が、画像上の関節点が存在する可能性を表現するヒートマップを含み、
前記特徴量生成部が、前記ヒートマップ上のデータをゼロまたは１とすることによって、特徴量を存在しないことに設定する、
ことを特徴とする学習モデル生成装置。
付記５または６に記載の学習モデル生成装置であって、
前記機械学習モデルが、畳み込みニューラルネットワークによって構築されており、
前記特徴量が、画像上の関節点が存在する可能性を表現するヒートマップを含み、
前記特徴量生成部が、前記ヒートマップ上のデータをゼロまたは１とすることによって、特徴量を存在しないことに設定する、
ことを特徴とする学習モデル生成装置。
【0089】
（付記８）
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す第１の特徴量を出力する、全特徴量出力ステップと、
前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、部分特徴量出力ステップと、
を有する、ことを特徴とする関節点検出方法。
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す第１の特徴量を出力する、全特徴量出力ステップと、
前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、部分特徴量出力ステップと、
を有する、ことを特徴とする関節点検出方法。
【0090】
（付記９）
付記８に記載の関節点検出方法であって、
前記対象の関節点それぞれ毎の前記第２の特徴量を用いて、前記対象の関節点の座標を検出する、関節点検出ステップを更に有する、
ことを特徴とする関節点検出方法。
付記８に記載の関節点検出方法であって、
前記対象の関節点それぞれ毎の前記第２の特徴量を用いて、前記対象の関節点の座標を検出する、関節点検出ステップを更に有する、
ことを特徴とする関節点検出方法。
【0091】
（付記１０）
付記８または９に記載の関節点検出方法であって、
前記部分特徴量出力ステップにおいて、前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、複数の前記特定の関節点それぞれについて当該特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している、機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、
ことを特徴とする関節点検出方法。
付記８または９に記載の関節点検出方法であって、
前記部分特徴量出力ステップにおいて、前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、複数の前記特定の関節点それぞれについて当該特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している、機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、
ことを特徴とする関節点検出方法。
【0092】
（付記１１）
付記８から１０のいずれかに記載の関節点検出方法であって、
前記機械学習モデルが、畳み込みニューラルネットワークによって構築されており、
前記第１の特徴量、及び前記第２の特徴量、それぞれが、画像上の関節点が存在する可能性を表現するヒートマップを含む、
ことを特徴とする関節点検出方法。
付記８から１０のいずれかに記載の関節点検出方法であって、
前記機械学習モデルが、畳み込みニューラルネットワークによって構築されており、
前記第１の特徴量、及び前記第２の特徴量、それぞれが、画像上の関節点が存在する可能性を表現するヒートマップを含む、
ことを特徴とする関節点検出方法。
【0093】
（付記１２）
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す特徴量を出力する、全特徴量出力ステップと、
前記対象の関節点それぞれ毎の前記特徴量から、特定の関節点の特徴量が存在しない場合の特徴量を訓練用特徴量として生成する、特徴量生成ステップと、
生成された前記訓練用特徴量を含む訓練データを用いて、前記特定の関節点の特徴量がゼロである場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する、学習モデル生成ステップと、
を有する、ことを特徴とする学習モデル生成方法。
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す特徴量を出力する、全特徴量出力ステップと、
前記対象の関節点それぞれ毎の前記特徴量から、特定の関節点の特徴量が存在しない場合の特徴量を訓練用特徴量として生成する、特徴量生成ステップと、
生成された前記訓練用特徴量を含む訓練データを用いて、前記特定の関節点の特徴量がゼロである場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する、学習モデル生成ステップと、
を有する、ことを特徴とする学習モデル生成方法。
【0094】
（付記１３）
付記１２に記載の学習モデル生成方法であって、
前記特徴量生成ステップにおいて、前記対象の関節点それぞれ毎の前記特徴量から、複数の特定の関節点それぞれ毎に、当該特定の関節点の特徴量のみが存在しない場合の特徴量のセットを、訓練用特徴量セットとして生成し、
前記学習モデル生成ステップにおいて、複数の特定の関節点それぞれ毎に、対応する前記訓練用特徴量セットを含む訓練データを用いて、当該特定の関節点の特徴量がゼロである場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する、
ことを特徴とする学習モデル生成方法。
付記１２に記載の学習モデル生成方法であって、
前記特徴量生成ステップにおいて、前記対象の関節点それぞれ毎の前記特徴量から、複数の特定の関節点それぞれ毎に、当該特定の関節点の特徴量のみが存在しない場合の特徴量のセットを、訓練用特徴量セットとして生成し、
前記学習モデル生成ステップにおいて、複数の特定の関節点それぞれ毎に、対応する前記訓練用特徴量セットを含む訓練データを用いて、当該特定の関節点の特徴量がゼロである場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する、
ことを特徴とする学習モデル生成方法。
【0095】
（付記１４）
付記１２または１３に記載の学習モデル生成方法であって、
前記機械学習モデルが、畳み込みニューラルネットワークによって構築されており、
前記特徴量が、画像上の関節点が存在する可能性を表現するヒートマップを含み、
前記特徴量生成ステップが、前記ヒートマップ上のデータをゼロまたは１とすることによって、特徴量を存在しないことに設定する、
ことを特徴とする学習モデル生成方法。
付記１２または１３に記載の学習モデル生成方法であって、
前記機械学習モデルが、畳み込みニューラルネットワークによって構築されており、
前記特徴量が、画像上の関節点が存在する可能性を表現するヒートマップを含み、
前記特徴量生成ステップが、前記ヒートマップ上のデータをゼロまたは１とすることによって、特徴量を存在しないことに設定する、
ことを特徴とする学習モデル生成方法。
【0096】
（付記１５）
コンピュータに、
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す第１の特徴量を出力する、全特徴量出力ステップと、
前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、部分特徴量出力ステップと、
を実行させる、プログラム。
コンピュータに、
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す第１の特徴量を出力する、全特徴量出力ステップと、
前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、部分特徴量出力ステップと、
を実行させる、プログラム。
【0097】
（付記１６）
付記１５に記載のプログラムであって、
前記コンピュータに、更に、
前記対象の関節点それぞれ毎の前記第２の特徴量を用いて、前記対象の関節点の座標を検出する、関節点検出ステップを実行させる、
ことを特徴とするプログラム。
付記１５に記載のプログラムであって、
前記コンピュータに、更に、
前記対象の関節点それぞれ毎の前記第２の特徴量を用いて、前記対象の関節点の座標を検出する、関節点検出ステップを実行させる、
ことを特徴とするプログラム。
【0098】
（付記１７）
付記１５または１６に記載のプログラムであって、
前記部分特徴量出力ステップにおいて、前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、複数の前記特定の関節点それぞれについて当該特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している、機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、
ことを特徴とするプログラム。
付記１５または１６に記載のプログラムであって、
前記部分特徴量出力ステップにおいて、前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、複数の前記特定の関節点それぞれについて当該特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している、機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、
ことを特徴とするプログラム。
【0099】
（付記１８）
付記１５から１７のいずれかに記載のプログラムであって、
前記機械学習モデルが、畳み込みニューラルネットワークによって構築されており、
前記第１の特徴量、及び前記第２の特徴量、それぞれが、画像上の関節点が存在する可能性を表現するヒートマップを含む、
ことを特徴とするプログラム。
付記１５から１７のいずれかに記載のプログラムであって、
前記機械学習モデルが、畳み込みニューラルネットワークによって構築されており、
前記第１の特徴量、及び前記第２の特徴量、それぞれが、画像上の関節点が存在する可能性を表現するヒートマップを含む、
ことを特徴とするプログラム。
【0100】
（付記１９）
コンピュータに、
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す特徴量を出力する、全特徴量出力ステップと、
前記対象の関節点それぞれ毎の前記特徴量から、特定の関節点の特徴量がゼロに設定された場合の特徴量を訓練用特徴量として生成する、特徴量生成ステップと、
生成された前記訓練用特徴量を含む訓練データを用いて、前記特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する、学習モデル生成ステップと、
を実行させる、プログラム。
コンピュータに、
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す特徴量を出力する、全特徴量出力ステップと、
前記対象の関節点それぞれ毎の前記特徴量から、特定の関節点の特徴量がゼロに設定された場合の特徴量を訓練用特徴量として生成する、特徴量生成ステップと、
生成された前記訓練用特徴量を含む訓練データを用いて、前記特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する、学習モデル生成ステップと、
を実行させる、プログラム。
【0101】
（付記２０）
付記１９に記載のプログラムであって、
前記特徴量生成ステップにおいて、前記対象の関節点それぞれ毎の前記特徴量から、複数の特定の関節点それぞれ毎に、当該特定の関節点の特徴量のみが存在しない場合の特徴量のセットを、訓練用特徴量セットとして生成し、
前記学習モデル生成ステップにおいて、複数の特定の関節点それぞれ毎に、対応する前記訓練用特徴量セットを含む訓練データを用いて、当該特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する、
ことを特徴とするプログラム。
付記１９に記載のプログラムであって、
前記特徴量生成ステップにおいて、前記対象の関節点それぞれ毎の前記特徴量から、複数の特定の関節点それぞれ毎に、当該特定の関節点の特徴量のみが存在しない場合の特徴量のセットを、訓練用特徴量セットとして生成し、
前記学習モデル生成ステップにおいて、複数の特定の関節点それぞれ毎に、対応する前記訓練用特徴量セットを含む訓練データを用いて、当該特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する、
ことを特徴とするプログラム。
【0102】
（付記２１）
付記１９または２０に記載のプログラムであって、
前記機械学習モデルが、畳み込みニューラルネットワークによって構築されており、
前記特徴量が、画像上の関節点が存在する可能性を表現するヒートマップを含み、
前記特徴量生成ステップにおいて、前記ヒートマップ上のデータをゼロまたは１とすることによって、特徴量を存在しないことに設定する、
ことを特徴とするプログラム。
付記１９または２０に記載のプログラムであって、
前記機械学習モデルが、畳み込みニューラルネットワークによって構築されており、
前記特徴量が、画像上の関節点が存在する可能性を表現するヒートマップを含み、
前記特徴量生成ステップにおいて、前記ヒートマップ上のデータをゼロまたは１とすることによって、特徴量を存在しないことに設定する、
ことを特徴とするプログラム。
【0103】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0104】
この出願は、２０２１年２月２６日に出願された日本出願特願２０２１－０２９４１１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【0105】
以上のように、本発明によれば、関節点の位置の推定精度の向上を図ることができる。本発明は、人、ロボットといった、関節点を有するものの姿勢検出が求められる分野に有用である。具体的な分野としては、映像監視、ユーザインタフェースなどが挙げられる。
【符号の説明】
【0106】
１０ 学習モデル生成装置（実施の形態１）
１１ 全特徴量出力部
１２ 特徴量生成部
１３ 学習モデル生成部
１４ 乱数発生部
１５ 記憶部
１６ 機械学習モデル（ＣＮＮ）
２０ 画像データ（学習用）
２１ ヒートマップ
２２ 訓練用ヒートマップセット
３０ 関節点検出装置（実施の形態２）
３１ 全特徴量出力部
３２ 部分特徴量出力部
３３ 関節点検出部
３４ 記憶部
４０ 画像データ（検出対象）
４１ 第１のヒートマップ
４２ 第２のヒートマップ
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
１１ 全特徴量出力部
１２ 特徴量生成部
１３ 学習モデル生成部
１４ 乱数発生部
１５ 記憶部
１６ 機械学習モデル（ＣＮＮ）
２０ 画像データ（学習用）
２１ ヒートマップ
２２ 訓練用ヒートマップセット
３０ 関節点検出装置（実施の形態２）
３１ 全特徴量出力部
３２ 部分特徴量出力部
３３ 関節点検出部
３４ 記憶部
４０ 画像データ（検出対象）
４１ 第１のヒートマップ
４２ 第２のヒートマップ
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】