知財求人 - 知財ポータルサイト「IP Force」
特許7432330姿勢補正ネットワーク学習装置およびそのプログラム、ならびに、姿勢推定装置およびそのプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-07
(45)【発行日】2024-02-16
(54)【発明の名称】姿勢補正ネットワーク学習装置およびそのプログラム、ならびに、姿勢推定装置およびそのプログラム
(51)【国際特許分類】
G06T 13/40 20110101AFI20240208BHJP
【ＦＩ】
G06T13/40
【請求項の数】
5
(21)【出願番号】P 2019169020
(22)【出願日】2019-09-18
(65)【公開番号】P2021047563
(43)【公開日】2021-03-25
【審査請求日】2022-08-08
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】盛岡 寛史
(72)【発明者】
【氏名】洗井 淳
【審査官】渡部 幸和
(56)【参考文献】
【文献】特表２０２０－５０５６６５（ＪＰ，Ａ）
【文献】特許第６５２５２２９（ＪＰ，Ｂ１）
【文献】韓国公開特許第２０１９－００２２１９８（ＫＲ，Ａ）
【文献】長谷川 大 他，アバタ媒介型見守りシステムの高齢者における受容性について，ヒューマンインタフェース学会 論文誌 ２０１８ Ｖｏｌ．２０ Ｎｏ．２ ［ＣＤ－ＲＯＭ］，日本，Human Interface Society，2018年12月31日，第20巻，pp.163-171
【文献】千葉 慎二，ＫＩＮＥＣＴテクノロジーとマイクロソフトが提案するＮＵＩの可能性，情報処理学会研究報告 ２０１１（平成２３）年度▲５▼ ［ＣＤ－ＲＯＭ］ ，日本，一般社団法人情報処理学会，2012年02月15日，pp.1-3
【文献】小田 俊平 他，アバタ媒介型見守りシステムにおけるモーションキャプチャ情報を用いた機械学習の利用 ，情報処理学会 研究報告 ヒューマンコンピュータインタラクション（ＨＣＩ） ２０１９－ＨＣＩ－１８１ ［ｏｎｌｉｎｅ］ ，日本，情報処理学会，2019年01月14日，pp.1-5
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １３／００
(57)【特許請求の範囲】
【請求項1】
３次元空間におけるＣＧモデルの関節の位置に対応付いた姿勢を補正するニューラルネットワークによって構成される姿勢補正ネットワークを学習する姿勢補正ネットワーク学習装置であって、前記姿勢補正ネットワークを用いて、前記姿勢が不定な学習データである姿勢不定学習データから補正学習データを演算する姿勢補正手段と、
前記姿勢が正しい学習データである正解学習データおよび前記補正学習データについて、ＣＧモデルの各部位に予め定めたパターンテキスチャを設定した３次元のダミーモデルをそれぞれレンダリングし、２次元のレンダリング画像を生成するレンダリング手段と、
前記正解学習データから生成したレンダリング画像を真値として識別し、前記補正学習データから生成したレンダリング画像を偽値として識別するニューラルネットワークによって構成される識別ネットワークを用いて、前記レンダリング画像から識別結果を演算する識別手段と、
前記正解学習データから生成したレンダリング画像の前記識別手段による識別結果と真値との交差エントロピーを小さくするとともに、前記補正学習データから生成したレンダリング画像の前記識別手段による識別結果と偽値との交差エントロピーを小さくするように前記識別ネットワークのパラメータを更新し、前記補正学習データから生成したレンダリング画像の前記識別手段による識別結果と偽値との交差エントロピーを大きくするように前記姿勢補正ネットワークのパラメータを更新するパラメータ更新手段と、
を備えることを特徴とする姿勢補正ネットワーク学習装置。
【請求項2】
前記３次元空間におけるＣＧモデルの関節の位置から、前記関節を制御する方法である逆運動学計算により、前記関節の姿勢を計算し、前記姿勢不定学習データを生成する姿勢計算手段をさらに備えることを特徴とする請求項１に記載の姿勢補正ネットワーク学習装置。
【請求項3】
コンピュータを、請求項１または請求項２に記載の姿勢補正ネットワーク学習装置として機能させるための姿勢補正ネットワーク学習プログラム。
【請求項4】
ＣＧモデルの姿勢を推定する姿勢推定装置であって、３次元空間におけるＣＧモデルの関節の位置に対応付いた姿勢を補正する請求項１に記載の姿勢補正ネットワーク学習装置で学習されたニューラルネットワークによって構成される姿勢補正ネットワークを用いて、前記関節の位置に対応付いた姿勢を補正する姿勢補正手段を備えることを特徴とする姿勢推定装置。
【請求項5】
コンピュータを、請求項４に記載の姿勢推定装置として機能させるための姿勢推定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ＣＧモデルの姿勢を補正するニューラルネットワークの姿勢補正ネットワークを学習する姿勢補正ネットワーク学習装置およびそのプログラム、ならびに、姿勢補正ネットワークを用いてＣＧモデルの姿勢を推定する姿勢推定装置およびそのプログラムに関する。
【背景技術】
【0002】
近年、映像から推定された人体の関節および骨組み（以下、人体ボーンという）をＣＧモデルに反映させて、リアルタイムでＣＧキャラクタを動作させたり、仮想現実上でヴァーチャルアバタを操作する機器が実用化されたりしている。
従来、映像から人体ボーンを認識する手法は種々存在する。
例えば、ニューラルネットワークを利用して、２次元画像上で人体ボーンの関節の位置と結合状態とを推定する手法が存在する（非特許文献１参照）。この手法に加えて、さらに、ステレオカメラを用いることで、三角測量の原理で関節の３次元位置まで推定する手法が存在する（非特許文献２参照）。この手法は、例えば、図８に示すように、予め定めた人体の関節ｐの３次元座標と、各関節ｐとの連結状態を推定する。
また、２次元画像上で人体ボーンの関節の姿勢を推定する手法としては、２次元画像上の関節座標から、直接観測できない関節の姿勢を潜在変数モデルとして学習する手法が存在する（特許文献１参照）。
従来、映像から人体ボーンを認識する手法は種々存在する。
例えば、ニューラルネットワークを利用して、２次元画像上で人体ボーンの関節の位置と結合状態とを推定する手法が存在する（非特許文献１参照）。この手法に加えて、さらに、ステレオカメラを用いることで、三角測量の原理で関節の３次元位置まで推定する手法が存在する（非特許文献２参照）。この手法は、例えば、図８に示すように、予め定めた人体の関節ｐの３次元座標と、各関節ｐとの連結状態を推定する。
また、２次元画像上で人体ボーンの関節の姿勢を推定する手法としては、２次元画像上の関節座標から、直接観測できない関節の姿勢を潜在変数モデルとして学習する手法が存在する（特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１０－２２９７８３号公報
【非特許文献】
【0004】
【文献】Zhe Cao, et.al,“Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields”, CVPR2017
【文献】“ＡＩ（人工知能）骨格検出システム”,［online］，［令和１年９月２日検索］, インターネット＜ＵＲＬ：https://www.next-system.com/visionpose＞
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の手法によれば、映像から人体ボーンの関節の位置（３次元位置）と、各関節の姿勢（３次元回転角）とを推定することは可能である。
しかし、従来の手法は、関節の３次元位置のみから、各関節の３次元回転角を推定しており、各関節をつなぐボーンを軸とした回転（ロール回転角）を考慮していない。なお、ロール回転角は、３次元位置のみから一意に推定することはできない。例えば、図９に示すように、関節ｐ１，ｐ２が連結している場合、関節ｐ１，ｐ２の３次元位置は従来の手法により推定可能であるが、関節ｐ１，ｐ２をつなぐボーンである軸Ａは、ロール回転角が不定である。
しかし、従来の手法は、関節の３次元位置のみから、各関節の３次元回転角を推定しており、各関節をつなぐボーンを軸とした回転（ロール回転角）を考慮していない。なお、ロール回転角は、３次元位置のみから一意に推定することはできない。例えば、図９に示すように、関節ｐ１，ｐ２が連結している場合、関節ｐ１，ｐ２の３次元位置は従来の手法により推定可能であるが、関節ｐ１，ｐ２をつなぐボーンである軸Ａは、ロール回転角が不定である。
【0006】
そのため、このように推定された関節の位置および姿勢を３次元のＣＧモデルに適用した場合、モデルの関節の回転角が不自然に表現されたり、接続関係が破綻してしまったり等の状態が発生することがある。例えば、図１０（ａ）に示すように、本来、肩の関節ｐに腕が連結した状態でＣＧモデルを生成する場合、関節ｐの姿勢のうち、点線の軸についてはロール回転角が不定であるため、図１０（ｂ）に示すように、関節ｐにおいて、腕と胴体とにねじれが発生してしまう場合がある。
【0007】
本発明は、このような問題に鑑みてなされたものであり、ＣＧモデルの関節の３次元位置情報から推定される姿勢を、より正しい姿勢に補正するニューラルネットワークによって構成される姿勢補正ネットワークを学習する姿勢補正ネットワーク学習装置およびそのプログラム、ならびに、姿勢補正ネットワークを用いてＣＧモデルの姿勢を推定する姿勢推定装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0008】
前記課題を解決するため、本発明に係る姿勢補正ネットワーク学習装置は、３次元空間におけるＣＧモデルの関節の位置に対応付いた姿勢を補正するニューラルネットワークによって構成される姿勢補正ネットワークを学習する姿勢補正ネットワーク学習装置であって、姿勢補正手段と、レンダリング手段と、識別手段と、パラメータ更新手段と、を備える構成とした。
【0009】
かかる構成において、姿勢補正ネットワーク学習装置は、姿勢補正手段によって、姿勢補正ネットワークを用いて、姿勢が不定な学習データである姿勢不定学習データから補正学習データを演算する。なお、姿勢補正ネットワークのパラメータの初期値は当初不定であるが、パラメータ更新手段によって順次更新されることになる。
【0010】
そして、姿勢補正ネットワーク学習装置は、レンダリング手段によって、姿勢が正しい学習データである正解学習データおよび補正学習データについて、ＣＧモデルの各部位に予め定めたパターンテキスチャを設定した３次元のダミーモデルをそれぞれレンダリングして２次元のレンダリング画像を生成する。これによって、ねじれ等の発生で姿勢が誤っている場合は、レンダリング画像上のパターンテキスチャの配置の違いとして表されることになる。
【0011】
また、姿勢補正ネットワーク学習装置は、識別手段によって、正解学習データから生成したレンダリング画像を真値として識別し、補正学習データから生成したレンダリング画像を偽値として識別するニューラルネットワークによって構成される識別ネットワークを用いて、レンダリング画像から識別結果を演算する。なお、識別ネットワークのパラメータの初期値は当初不定であるが、パラメータ更新手段によって順次更新されることになる。
【0012】
そして、姿勢補正ネットワーク学習装置は、パラメータ更新手段によって、正解学習データから生成したレンダリング画像の識別手段による識別結果と真値との交差エントロピーを小さくするとともに、補正学習データから生成したレンダリング画像の識別手段による識別結果と偽値との交差エントロピーを小さくするように識別ネットワークのパラメータを更新する。
また、姿勢補正ネットワーク学習装置は、パラメータ更新手段によって、補正学習データから生成したレンダリング画像の識別手段による識別結果と偽値との交差エントロピーを大きくするように姿勢補正ネットワークのパラメータを更新する。
また、姿勢補正ネットワーク学習装置は、パラメータ更新手段によって、補正学習データから生成したレンダリング画像の識別手段による識別結果と偽値との交差エントロピーを大きくするように姿勢補正ネットワークのパラメータを更新する。
【0013】
このように、識別ネットワークについては、レンダリング画像の真偽を正しく識別するように学習され、姿勢補正ネットワークについては、補正学習データを用いたレンダリング画像を識別ネットワークに真値と誤って識別させるように学習されることになる。
これによって、姿勢補正ネットワーク学習装置は、ＣＧモデルの姿勢を正しく補正するニューラルネットワークとして、姿勢補正ネットワークを学習する。
これによって、姿勢補正ネットワーク学習装置は、ＣＧモデルの姿勢を正しく補正するニューラルネットワークとして、姿勢補正ネットワークを学習する。
【0014】
なお、姿勢が不定なデータである姿勢不定学習データは、３次元空間におけるＣＧモデルの関節の位置から、関節を制御する方法である逆運動学計算により、関節の回転角が不定な姿勢を計算する姿勢計算手段によって生成してもよい。
また、本発明は、コンピュータを、前記姿勢補正ネットワーク学習装置として機能させるための姿勢補正ネットワーク学習プログラムで実現することもできる。
また、本発明は、コンピュータを、前記姿勢補正ネットワーク学習装置として機能させるための姿勢補正ネットワーク学習プログラムで実現することもできる。
【0015】
また、前記課題を解決するため、本発明に係る姿勢推定装置は、ＣＧモデルの姿勢を推定する姿勢推定装置であって、姿勢補正手段を備える構成とした。
【0016】
かかる構成において、姿勢推定装置は、姿勢補正手段によって、３次元空間におけるＣＧモデルの関節の位置に対応付いた姿勢を補正するニューラルネットワークによって構成される姿勢補正ネットワークを用いて、関節の位置に対応付いた姿勢を補正する。
なお、補正対象の姿勢は、３次元空間におけるＣＧモデルの関節の位置から、関節を制御する方法である逆運動学計算により、関節の回転角が不定な姿勢を計算する姿勢計算手段によって生成してもよい。
また、本発明は、コンピュータを、前記姿勢推定装置として機能させるための姿勢推定プログラムで実現することもできる。
なお、補正対象の姿勢は、３次元空間におけるＣＧモデルの関節の位置から、関節を制御する方法である逆運動学計算により、関節の回転角が不定な姿勢を計算する姿勢計算手段によって生成してもよい。
また、本発明は、コンピュータを、前記姿勢推定装置として機能させるための姿勢推定プログラムで実現することもできる。
【発明の効果】
【0017】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、３次元空間におけるＣＧモデルの関節の姿勢を精度よく補正するニューラルネットワークによって構成される姿勢補正ネットワークを学習することができる。
また、本発明によれば、学習済の姿勢補正ネットワークを用いて、ＣＧモデルの関節の位置のみでは不定な関節の姿勢を補正し、正しい姿勢を推定することができる。
本発明によれば、３次元空間におけるＣＧモデルの関節の姿勢を精度よく補正するニューラルネットワークによって構成される姿勢補正ネットワークを学習することができる。
また、本発明によれば、学習済の姿勢補正ネットワークを用いて、ＣＧモデルの関節の位置のみでは不定な関節の姿勢を補正し、正しい姿勢を推定することができる。
【図面の簡単な説明】
【0018】
【図1】本発明の実施形態に係る姿勢補正ネットワーク学習装置の処理内容を説明するための説明図である。
【図2】本発明の実施形態に係る姿勢補正ネットワーク学習装置の構成を示すブロック図である。
【図3】ダミーモデルの構造を説明するための説明図であって、（ａ）は各部位に設置したパターンテキスチャの例、（ｂ）はダミーモデルを正しいパターンの配列でレンダリングした画像例、（ｃ）はダミーモデルを誤ったパターンの配列でレンダリングした画像例を示す。
【図4】姿勢計算手段の処理内容を説明するための説明図である。
【図5】本発明の実施形態に係る姿勢補正ネットワーク学習装置の動作を示すフローチャートである。
【図6】本発明の実施形態に係る姿勢推定装置の処理内容を説明するための説明図である。
【図7】本発明の実施形態に係る姿勢推定装置の構成を示すブロック図である。
【図8】映像から推定される３次元空間におけるＣＧモデルの関節の位置を示す図である。
【図9】従来の手法で求められる関節の姿勢の不定性を説明するための説明図である。
【図10】従来の手法で求められる関節の姿勢で生成したＣＧの例であって、（ａ）は関節の姿勢が正しく連結された場合、（ｂ）は関節でねじれが発生した場合の状態を示す図である。
【発明を実施するための形態】
【0019】
【0020】
姿勢補正ネットワーク学習装置１は、３次元空間におけるＣＧモデルの関節の位置に対応付いた姿勢を補正するニューラルネットワークによって構成される姿勢補正ネットワークＮｇを学習するものである。
姿勢補正ネットワーク学習装置１は、学習データとして、複数の関節位置情報Ｐと、複数の関節位置姿勢情報Ｑとを用いる。
姿勢補正ネットワーク学習装置１は、学習データとして、複数の関節位置情報Ｐと、複数の関節位置姿勢情報Ｑとを用いる。
【0021】
関節位置情報Ｐは、関節の３次元位置座標（以下、単に位置という）ｐの関節数分の集合｛ｐ｝である。この関節位置情報Ｐは、例えば、従来の一般的な人体ボーンの認識手法を用いて、映像から推定された関節の位置であってもよいし、人体の関節位置にマーカを貼付し、マーカの位置を関節の位置として計測するモーションキャプチャによって取得したものであってもよい。
【0022】
関節位置姿勢情報Ｑは、関節の３次元位置座標（位置）ｑと、各関節の３次元の各軸を基準とした回転角（以下、単に姿勢という）φとの関節数分の集合｛ｑ，φ｝である。この関節位置姿勢情報Ｑは、関節において姿勢が既知（正しい）の情報である。この関節位置姿勢情報Ｑには、予め関節の位置と姿勢とを正しく生成したＣＧデータの人体ボーンの情報や、既存のＣＧデータで、関節の姿勢が正しく表現されているもののみを選択した情報を用いることができる。
なお、関節位置姿勢情報Ｑの関節の数は、関節位置情報Ｐの関節の数と同じとする。
なお、関節位置姿勢情報Ｑの関節の数は、関節位置情報Ｐの関節の数と同じとする。
【0023】
姿勢補正ネットワーク学習装置１は、学習データである関節位置情報Ｐおよび関節位置姿勢情報Ｑから、姿勢補正ネットワークＮｇおよび識別ネットワークＮｄの２つのニューラルネットワークを順次学習することで、精度のよい姿勢補正ネットワークＮｇを生成する。
なお、姿勢補正ネットワークＮｇおよび識別ネットワークＮｄは、深層学習の敵対的生成ネットワーク（ＧＡＮ：Generative Adversarial Network）における生成器（Generator）および識別器（Discriminator）に相当するものである。
なお、姿勢補正ネットワークＮｇおよび識別ネットワークＮｄは、深層学習の敵対的生成ネットワーク（ＧＡＮ：Generative Adversarial Network）における生成器（Generator）および識別器（Discriminator）に相当するものである。
【0024】
姿勢補正ネットワーク学習装置１は、関節位置情報Ｐである関節の位置の集合｛ｐ｝ごとに、逆運動学計算により姿勢θ＾の集合｛θ＾｝を計算し、姿勢パラメータの集合｛ｐ，θ＾｝を生成する。
そして、姿勢補正ネットワーク学習装置１は、姿勢補正ネットワークＮｇを用いて、関節の位置の集合｛ｐ｝に対応する姿勢の集合｛θ＾｝を｛θ～｝に補正する。そして、姿勢補正ネットワーク学習装置１は、補正後の姿勢パラメータの集合｛ｐ，θ～｝で３ＤモデルであるダミーモデルＤｍをレンダリングすることで、２次元の画像（レンダリング画像）Ｉｇを生成する。
また、姿勢補正ネットワーク学習装置１は、関節位置姿勢情報Ｑである姿勢パラメータの集合｛ｑ，φ｝でダミーモデルＤｍをレンダリングすることで、２次元の画像（レンダリング画像）Ｉｒを生成する。
そして、姿勢補正ネットワーク学習装置１は、姿勢補正ネットワークＮｇを用いて、関節の位置の集合｛ｐ｝に対応する姿勢の集合｛θ＾｝を｛θ～｝に補正する。そして、姿勢補正ネットワーク学習装置１は、補正後の姿勢パラメータの集合｛ｐ，θ～｝で３ＤモデルであるダミーモデルＤｍをレンダリングすることで、２次元の画像（レンダリング画像）Ｉｇを生成する。
また、姿勢補正ネットワーク学習装置１は、関節位置姿勢情報Ｑである姿勢パラメータの集合｛ｑ，φ｝でダミーモデルＤｍをレンダリングすることで、２次元の画像（レンダリング画像）Ｉｒを生成する。
【0025】
姿勢補正ネットワーク学習装置１は、画像Ｉｒを姿勢が正しい画像であるとして「真」と識別するように識別ネットワークＮｄを学習する。
また、姿勢補正ネットワーク学習装置１は、画像Ｉｇを姿勢が正しくない画像であるとして「偽」と識別するように識別ネットワークＮｄを学習する。また、姿勢補正ネットワーク学習装置１は、識別ネットワークＮｄが画像Ｉｇを「真」と識別するように姿勢補正ネットワークＮｇを学習する。
これによって、姿勢補正ネットワーク学習装置１は、精度の高い姿勢補正ネットワークＮｇを学習することができる。
また、姿勢補正ネットワーク学習装置１は、画像Ｉｇを姿勢が正しくない画像であるとして「偽」と識別するように識別ネットワークＮｄを学習する。また、姿勢補正ネットワーク学習装置１は、識別ネットワークＮｄが画像Ｉｇを「真」と識別するように姿勢補正ネットワークＮｇを学習する。
これによって、姿勢補正ネットワーク学習装置１は、精度の高い姿勢補正ネットワークＮｇを学習することができる。
【0026】
＜姿勢補正ネットワーク学習装置の構成＞
次に、図２を参照（適宜図１参照）して、本発明の実施形態に係る姿勢補正ネットワーク学習装置１の構成について説明する。
図２に示すように、姿勢補正ネットワーク学習装置１は、記憶手段１０と、姿勢計算手段１１と、学習データ選択手段１２と、姿勢補正手段１３と、レンダリング手段１４と、識別手段１５と、パラメータ更新手段１６と、を備える。
次に、図２を参照（適宜図１参照）して、本発明の実施形態に係る姿勢補正ネットワーク学習装置１の構成について説明する。
図２に示すように、姿勢補正ネットワーク学習装置１は、記憶手段１０と、姿勢計算手段１１と、学習データ選択手段１２と、姿勢補正手段１３と、レンダリング手段１４と、識別手段１５と、パラメータ更新手段１６と、を備える。
【0027】
記憶手段１０は、姿勢補正ネットワーク学習装置１で使用する各種のデータを記憶するものである。記憶手段１０は、ハードディスク、半導体メモリ等の一般的な記憶媒体で構成することができる。
ここでは、記憶手段１０を、ニューラルネットワーク記憶手段１０１と、学習データ記憶手段１０２と、ダミーモデル記憶手段１０３とで分離して構成するが、１つの記憶媒体で構成しても構わない。
ここでは、記憶手段１０を、ニューラルネットワーク記憶手段１０１と、学習データ記憶手段１０２と、ダミーモデル記憶手段１０３とで分離して構成するが、１つの記憶媒体で構成しても構わない。
【0028】
ニューラルネットワーク記憶手段１０１は、姿勢補正ネットワークＮｇと、識別ネットワークＮｄと、を記憶するものである。
姿勢補正ネットワークＮｇは、ＣＧモデルの予め定めた関節の姿勢を補正するニューラルネットワークである。
姿勢補正ネットワークＮｇは、関節の３次元の姿勢θ＾（＝（θｘ＾，θｙ＾，θｚ＾））を一組とした予め定めた関節の数（ｎ組）を入力データとする。また、姿勢補正ネットワークＮｇは、入力データと同じ数の補正後の関節の３次元の姿勢θ～（＝（θｘ～，θｙ～，θｚ～））のｎ組を出力データとする。なお、関節の数は、関節位置情報Ｐの関節の数と同じである。
姿勢補正ネットワークＮｇは、ＣＧモデルの予め定めた関節の姿勢を補正するニューラルネットワークである。
姿勢補正ネットワークＮｇは、関節の３次元の姿勢θ＾（＝（θｘ＾，θｙ＾，θｚ＾））を一組とした予め定めた関節の数（ｎ組）を入力データとする。また、姿勢補正ネットワークＮｇは、入力データと同じ数の補正後の関節の３次元の姿勢θ～（＝（θｘ～，θｙ～，θｚ～））のｎ組を出力データとする。なお、関節の数は、関節位置情報Ｐの関節の数と同じである。
【0029】
この姿勢補正ネットワークＮｇのモデル構造は特に限定するものではないが、一般的なニューラルネットワークの構成である重み付き総和演算を行うアフィンレイヤを複数接続し、レイヤ間に活性化関数を挿入した構造とすることができる。
なお、姿勢補正ネットワークＮｇの学習対象のパラメータであるレイヤ間の重み係数は、予め乱数等の初期値が設定され、パラメータ更新手段１６によって更新される。
なお、姿勢補正ネットワークＮｇの学習対象のパラメータであるレイヤ間の重み係数は、予め乱数等の初期値が設定され、パラメータ更新手段１６によって更新される。
【0030】
識別ネットワークＮｄは、レンダリング手段１４で生成された画像のＣＧモデルの関節の姿勢が正しいか、誤っているかを識別するニューラルネットワークである。
識別ネットワークＮｄは、２次元の画像を入力データとする。また、識別ネットワークＮｄは、「真値：１」と「偽値：０」を識別する０を超え１未満の確率値を出力データとする。
識別ネットワークＮｄは、２次元の画像を入力データとする。また、識別ネットワークＮｄは、「真値：１」と「偽値：０」を識別する０を超え１未満の確率値を出力データとする。
【0031】
この識別ネットワークＮｄのモデル構造は特に限定するものではないが、予め定めた大きさのカーネルを用いて畳み込み演算を行う畳み込みレイヤを複数接続し、最終段に出力を０を超えて１未満の値に正規化する活性化関数（シグモイド関数）を備えた構造とすることができる。
なお、識別ネットワークＮｄの学習対象のパラメータであるカーネルの重み係数は、予め乱数等の初期値が設定され、パラメータ更新手段１６によって更新される。
なお、識別ネットワークＮｄの学習対象のパラメータであるカーネルの重み係数は、予め乱数等の初期値が設定され、パラメータ更新手段１６によって更新される。
【0032】
学習データ記憶手段１０２は、姿勢補正ネットワークＮｇおよび識別ネットワークＮｄを学習するための学習データとして、姿勢不定学習データＳｉと、正解学習データＳｃと、を記憶するものである。
【0033】
姿勢不定学習データＳｉは、姿勢計算手段１１によって、関節位置情報Ｐから計算された、関節の位置（３次元位置座標）ｐと、各関節の姿勢（３次元の各軸を基準とした回転角）θ＾との集合｛ｐ，θ＾｝である。なお、姿勢不定学習データＳｉにおける姿勢は、図９で説明したように、ロール回転角が不定である。
【0034】
正解学習データＳｃは、関節の位置および姿勢が正しく表現されている関節位置姿勢情報Ｑである関節の位置（３次元位置座標）ｑと、各関節の姿勢（３次元の各軸を基準とした回転角）φとの集合｛ｑ，φ｝である。
【0035】
ダミーモデル記憶手段１０３は、３ＤモデルであるダミーモデルＤｍを予め記憶するものである。
ダミーモデルＤｍは、ＣＧモデルの形状を３Ｄモデル（ポリゴンデータ等）で表したデータである。このダミーモデルＤｍは、レンダリング手段１４において、関節の位置および姿勢から、２次元の画像を生成するために使用される。
ダミーモデルＤｍにおいて、ＣＧモデルの各部位には、各部位を識別するパターンテキスチャが設定されているものとする。なお、パターンテキスチャは、少なくとも関節間の軸（ボーン）に対して回転状態を識別できるように、軸の回転方向で異なるものとする。
ダミーモデルＤｍは、ＣＧモデルの形状を３Ｄモデル（ポリゴンデータ等）で表したデータである。このダミーモデルＤｍは、レンダリング手段１４において、関節の位置および姿勢から、２次元の画像を生成するために使用される。
ダミーモデルＤｍにおいて、ＣＧモデルの各部位には、各部位を識別するパターンテキスチャが設定されているものとする。なお、パターンテキスチャは、少なくとも関節間の軸（ボーン）に対して回転状態を識別できるように、軸の回転方向で異なるものとする。
【0036】
例えば、図３（ａ）に示すように、ダミーモデルＤｍの手首ｐ１、肘ｐ２、肩ｐ３を関節とした場合、腕の上腕二頭筋ＢＣ、上腕三頭筋ＴＣ、前腕屈筋ＦＦ、前腕伸筋ＦＥに対応する各部位に異なるパターンテキスチャを貼り付けておく。
これによって、ダミーモデルＤｍをレンダリングして、画像とした場合、関節の姿勢が正しければ、図３（ｂ）のようにパターンの配列が正しい画像となる。一方、肩ｐ３の姿勢が正しくなければ、図３（ｃ）のように、上腕二頭筋ＢＣおよび上腕三頭筋ＴＣの各部位がねじれ、誤った画像となる。
これによって、ダミーモデルＤｍをレンダリングして、画像とした場合、関節の姿勢が正しければ、図３（ｂ）のようにパターンの配列が正しい画像となる。一方、肩ｐ３の姿勢が正しくなければ、図３（ｃ）のように、上腕二頭筋ＢＣおよび上腕三頭筋ＴＣの各部位がねじれ、誤った画像となる。
【0037】
姿勢計算手段１１は、関節位置情報Ｐである関節の位置（３次元位置座標）から、各関節の姿勢として３次元空間の３軸を基準とした回転角を計算するものである。この３次元位置座標から、関節の姿勢を計算する手法は、一般的な逆運動学計算を用いればよい。
【0038】
例えば、図４に示すように、手首ｐ１、肘ｐ２、肩ｐ３を関節とした場合、姿勢計算手段１１は、予め定めた基準の関節（ここでは、手首ｐ１とする）において初期値として、任意の姿勢θ１を設定する。そして、姿勢計算手段１１は、手首ｐ１と肘ｐ２との３次元位置座標の変位量に応じて、逆運動学計算により、肘ｐ２における姿勢θ２を計算する。また、姿勢計算手段１１は、肘ｐ２と肩ｐ３の３次元位置座標の変位量に応じて、逆運動学計算により、肩ｐ３における姿勢θ３を計算する。なお、図４中、関節の位置ｐ１，ｐ２，ｐ３が拘束条件となって姿勢が順次決定されることになるが、姿勢θ１，θ２，θ３の点線の軸においては不定性を有していることになる。また、図４では、説明を簡略化するため、関節を減らして説明している。
このように、姿勢計算手段１１は、関節位置情報Ｐである関節の３次元位置座標から、各関節における姿勢を計算する。
姿勢計算手段１１は、ＣＧモデルの予め定めた関節数ごとに、姿勢不定学習データＳｉとして、位置ｐおよび姿勢θ＾を学習データ記憶手段１０２に記憶する。
このように、姿勢計算手段１１は、関節位置情報Ｐである関節の３次元位置座標から、各関節における姿勢を計算する。
姿勢計算手段１１は、ＣＧモデルの予め定めた関節数ごとに、姿勢不定学習データＳｉとして、位置ｐおよび姿勢θ＾を学習データ記憶手段１０２に記憶する。
【0039】
学習データ選択手段１２は、学習データ記憶手段１０２に記憶されている学習データを、選択して読み出すものである。
学習データ選択手段１２は、姿勢不定学習データＳｉまたは正解学習データＳｃを交互に選択することとしてもよいし、どちらか一方の学習データによる学習が完了した段階で、他方の学習データを選択することとしてもよい。なお、学習データ選択手段１２は、姿勢不定学習データＳｉおよび正解学習データＳｃのいずれを選択したかについては、パラメータ更新手段１６に通知する。また、学習データ選択手段１２は、次の学習データを選択するタイミングは、パラメータ更新手段１６から指示されたタイミングとする。
学習データ選択手段１２は、姿勢不定学習データＳｉまたは正解学習データＳｃを交互に選択することとしてもよいし、どちらか一方の学習データによる学習が完了した段階で、他方の学習データを選択することとしてもよい。なお、学習データ選択手段１２は、姿勢不定学習データＳｉおよび正解学習データＳｃのいずれを選択したかについては、パラメータ更新手段１６に通知する。また、学習データ選択手段１２は、次の学習データを選択するタイミングは、パラメータ更新手段１６から指示されたタイミングとする。
【0040】
学習データ選択手段１２は、姿勢不定学習データＳｉを選択した場合、当該学習データを姿勢補正手段１３に出力する。
また、学習データ選択手段１２は、正解学習データＳｃを選択した場合、当該学習データをレンダリング手段１４に出力する。
また、学習データ選択手段１２は、正解学習データＳｃを選択した場合、当該学習データをレンダリング手段１４に出力する。
【0041】
学習データ選択手段１２は、パラメータ更新手段１６から、次の学習データの入力を指示された段階で、新たに学習データを選択する。
なお、学習データ選択手段１２は、予め定めた学習終了条件に達した段階で、学習データの選択を終了する。例えば、学習データ選択手段１２は、予め定めた学習回数だけ、学習データ全体を選択した場合、パラメータ更新手段１６から、パラメータ更新の変化量が予め定めた閾値を下回ったことを通知された場合等である。
なお、学習データ選択手段１２は、予め定めた学習終了条件に達した段階で、学習データの選択を終了する。例えば、学習データ選択手段１２は、予め定めた学習回数だけ、学習データ全体を選択した場合、パラメータ更新手段１６から、パラメータ更新の変化量が予め定めた閾値を下回ったことを通知された場合等である。
【0042】
姿勢補正手段１３は、姿勢補正ネットワークＮｇを用いて、姿勢計算手段１１で計算された学習データである姿勢不定学習データＳｉの関節の姿勢を補正するものである。
姿勢補正手段１３は、ニューラルネットワーク記憶手段１０１に記憶されている姿勢補正ネットワークＮｇに、姿勢不定学習データＳｉの関節の数の姿勢を入力し、学習対象のパラメータであるレイヤ間の重み係数を用いて、ニューラルネットワークの演算を行う。
姿勢補正手段１３は、姿勢不定学習データＳｉの関節の位置と補正後の姿勢とを、補正学習データＳｉ２として、レンダリング手段１４に出力する。
姿勢補正手段１３は、ニューラルネットワーク記憶手段１０１に記憶されている姿勢補正ネットワークＮｇに、姿勢不定学習データＳｉの関節の数の姿勢を入力し、学習対象のパラメータであるレイヤ間の重み係数を用いて、ニューラルネットワークの演算を行う。
姿勢補正手段１３は、姿勢不定学習データＳｉの関節の位置と補正後の姿勢とを、補正学習データＳｉ２として、レンダリング手段１４に出力する。
【0043】
レンダリング手段１４は、ＣＧモデルの関節の位置および姿勢を用いて、ダミーモデル記憶手段１０３に記憶されているダミーモデルＤｍをレンダリングした２次元の画像（レンダリング画像）を生成するものである。
レンダリング手段１４は、姿勢補正手段１３から入力される姿勢が補正された関節の位置および姿勢（補正学習データＳｉ２）、または、学習データ選択手段１２から入力された関節の位置および姿勢（正解学習データＳｃ）を用いて、ダミーモデルＤｍをレンダリングした２次元の画像を生成する。
レンダリング手段１４は、例えば、予め定めた視点位置を基準として、ＣＧモデルの関節の位置および姿勢に応じて、ダミーモデルＤｍで各部位に予め対応付けられているパターンテキスチャをマッピングし、投影変換を行うことで、２次元の画像を生成する。
レンダリング手段１４は、生成した２次元の画像を識別手段１５に出力する。
レンダリング手段１４は、姿勢補正手段１３から入力される姿勢が補正された関節の位置および姿勢（補正学習データＳｉ２）、または、学習データ選択手段１２から入力された関節の位置および姿勢（正解学習データＳｃ）を用いて、ダミーモデルＤｍをレンダリングした２次元の画像を生成する。
レンダリング手段１４は、例えば、予め定めた視点位置を基準として、ＣＧモデルの関節の位置および姿勢に応じて、ダミーモデルＤｍで各部位に予め対応付けられているパターンテキスチャをマッピングし、投影変換を行うことで、２次元の画像を生成する。
レンダリング手段１４は、生成した２次元の画像を識別手段１５に出力する。
【0044】
識別手段１５は、識別ネットワークＮｄを用いて、レンダリング手段１４で生成された画像が、姿勢が正しい画像であるか否かを識別するものである。
識別手段１５は、ニューラルネットワーク記憶手段１０１に記憶されている識別ネットワークＮｄに、レンダリング手段１４で生成された画像を入力し、学習対象のパラメータであるカーネルの重み係数を用いて、ニューラルネットワークの演算を行う。
識別手段１５は、０を超えて１未満の範囲で出力される識別ネットワークＮｄの演算結果（識別結果）をパラメータ更新手段１６に出力する。
識別手段１５は、ニューラルネットワーク記憶手段１０１に記憶されている識別ネットワークＮｄに、レンダリング手段１４で生成された画像を入力し、学習対象のパラメータであるカーネルの重み係数を用いて、ニューラルネットワークの演算を行う。
識別手段１５は、０を超えて１未満の範囲で出力される識別ネットワークＮｄの演算結果（識別結果）をパラメータ更新手段１６に出力する。
【0045】
パラメータ更新手段１６は、正解学習データＳｃから生成した画像Ｉｒの識別結果と真値との交差エントロピーを小さくするとともに、補正学習データＳｉ２から生成した画像Ｉｇの識別結果と偽値との交差エントロピーを小さくするように識別ネットワークＮｄのパラメータを更新し、補正学習データＳｉ２から生成した画像Ｉｇの識別結果と偽値との交差エントロピーを大きくするように姿勢補正ネットワークＮｇのパラメータを更新するものである。
【0046】
ここでは、パラメータ更新手段１６は、予め定めた損失関数の損失値をそれぞれ最大化および最小化するように、姿勢補正ネットワークＮｇおよび識別ネットワークＮｄのパラメータを更新する。
損失関数として、識別ネットワークＮｄを学習するための損失関数（以下、識別用損失関数という）と、姿勢補正ネットワークＮｇを学習するための損失関数（以下、姿勢補正用損失関数という）とを用いる。
損失関数として、識別ネットワークＮｄを学習するための損失関数（以下、識別用損失関数という）と、姿勢補正ネットワークＮｇを学習するための損失関数（以下、姿勢補正用損失関数という）とを用いる。
【0047】
識別用損失関数は、学習データが正解学習データＳｃの場合の識別結果と真値との交差エントロピー、および、学習データが補正学習データＳｉ２の場合の識別結果と偽値との交差エントロピーの和（損失値）を演算する関数である。
姿勢補正用損失関数は、学習データが補正学習データＳｉ２の場合に、識別結果と偽値との交差エントロピー（損失値）を演算する関数である。
姿勢補正用損失関数は、学習データが補正学習データＳｉ２の場合に、識別結果と偽値との交差エントロピー（損失値）を演算する関数である。
【0048】
ここで、学習データが補正学習データＳｉ２の場合における識別手段１５から入力される画像Ｉｇに対する識別結果の値をＤ（Ｉｇ）、学習データが正解学習データＳｃの場合における識別手段１５から入力される画像Ｉｒに対する識別結果の値をＤ（Ｉｒ）とする。また、真値を“Ｒｅａｌ（＝１）”、偽値を“Ｆａｋｅ（＝０）”とする。そして、Ｌｂｃｅを、２値交差エントロピーを演算する関数とする。
なお、学習データが姿勢不定学習データＳｉを補正した補正学習データＳｉ２であるか、正解学習データＳｃであるかは、学習データ選択手段１２から通知されるものとする。
この場合、パラメータ更新手段１６は、以下の式（１）に示す識別用損失関数ＬＤを最小化するように、識別ネットワークＮｄのパラメータを更新する。
なお、学習データが姿勢不定学習データＳｉを補正した補正学習データＳｉ２であるか、正解学習データＳｃであるかは、学習データ選択手段１２から通知されるものとする。
この場合、パラメータ更新手段１６は、以下の式（１）に示す識別用損失関数ＬＤを最小化するように、識別ネットワークＮｄのパラメータを更新する。
【0049】
【数1】
【0050】
なお、ａは“０”，“１”を両端とする開区間の実数〔ａ∈（０，１）〕、ｂは“０”または“１”〔ｂ∈｛０，１｝〕を示す。
この式（１）の損失関数によって、パラメータ更新手段１６は、画像Ｉｒを「真」、画像Ｉｇを「偽」と識別するように、識別ネットワークＮｄを学習させる。
また、パラメータ更新手段１６は、以下の式（２）に示す姿勢補正用損失関数ＬＧを最大化するように、姿勢補正ネットワークＮｇのパラメータを更新する。
この式（１）の損失関数によって、パラメータ更新手段１６は、画像Ｉｒを「真」、画像Ｉｇを「偽」と識別するように、識別ネットワークＮｄを学習させる。
また、パラメータ更新手段１６は、以下の式（２）に示す姿勢補正用損失関数ＬＧを最大化するように、姿勢補正ネットワークＮｇのパラメータを更新する。
【0051】
【数2】
【0052】
この式（２）の損失関数によって、パラメータ更新手段１６は、識別ネットワークＮｄに画像Ｉｇを「偽」と識別させないように、姿勢補正ネットワークＮｇを学習させる。
パラメータ更新手段１６は、式（１）および式（２）の損失関数の値をそれぞれ最小化および最大化させるように誤差逆伝播法により、識別ネットワークＮｄおよび姿勢補正ネットワークＮｇのパラメータを更新する。
そして、パラメータ更新手段１６は、パラメータ更新後、次の学習データを選択することを学習データ選択手段１２に指示する。また、パラメータ更新手段１６は、パラメータ更新の変化量が予め定めた閾値を下回る場合、その旨を学習データ選択手段１２に通知する。
パラメータ更新手段１６は、式（１）および式（２）の損失関数の値をそれぞれ最小化および最大化させるように誤差逆伝播法により、識別ネットワークＮｄおよび姿勢補正ネットワークＮｇのパラメータを更新する。
そして、パラメータ更新手段１６は、パラメータ更新後、次の学習データを選択することを学習データ選択手段１２に指示する。また、パラメータ更新手段１６は、パラメータ更新の変化量が予め定めた閾値を下回る場合、その旨を学習データ選択手段１２に通知する。
【0053】
以上説明したように、姿勢補正ネットワーク学習装置１は、ＣＧモデルの関節の位置および姿勢のうち、姿勢が不定な位置姿勢情報であっても、識別ネットワークＮｄにおいて姿勢が正しい情報であると識別するように姿勢を補正することが可能な姿勢補正ネットワークＮｇを学習することができる。
なお、姿勢補正ネットワーク学習装置１は、コンピュータを、前記した各手段として機能させるための姿勢補正ネットワーク学習プログラムで動作させることができる。
なお、姿勢補正ネットワーク学習装置１は、コンピュータを、前記した各手段として機能させるための姿勢補正ネットワーク学習プログラムで動作させることができる。
【0054】
【0055】
ステップＳ１において、学習データ記憶手段１０２に、ＣＧモデルの関節の位置および姿勢が正しく表現されている関節位置姿勢情報Ｑを、正解学習データＳｃとして記憶しておく。
ステップＳ２において、姿勢計算手段１１は、関節位置情報ＰであるＣＧモデルの関節の位置から、３ＤのＣＧモデルの関節を制御する方法である逆運動学計算により各関節の姿勢を算出する。そして、姿勢計算手段１１は、算出した姿勢と関節の位置とを姿勢不定学習データＳｉとして、学習データ記憶手段１０２に記憶する。
ステップＳ２において、姿勢計算手段１１は、関節位置情報ＰであるＣＧモデルの関節の位置から、３ＤのＣＧモデルの関節を制御する方法である逆運動学計算により各関節の姿勢を算出する。そして、姿勢計算手段１１は、算出した姿勢と関節の位置とを姿勢不定学習データＳｉとして、学習データ記憶手段１０２に記憶する。
【0056】
ステップＳ３において、学習データ選択手段１２は、学習データ記憶手段１０２から、学習データ（姿勢不定学習データＳｉまたは正解学習データＳｃ）を選択して読み出す。
ステップＳ４において、学習データ選択手段１２は、学習データとして、姿勢不定学習データＳｉを選択した場合と、正解学習データＳｃを選択した場合とで、以降の処理を切り替える。
ステップＳ４において、学習データ選択手段１２は、学習データとして、姿勢不定学習データＳｉを選択した場合と、正解学習データＳｃを選択した場合とで、以降の処理を切り替える。
【0057】
このステップＳ３で選択した学習データが姿勢不定学習データＳｉである場合（ステップＳ４でＹｅｓ）、ステップＳ５において、姿勢補正手段１３は、姿勢補正ネットワークＮｇを用いてニューラルネットワークの演算を行うことで、姿勢不定学習データＳｉの関節の姿勢を補正し、補正学習データＳｉ２を生成する。そして、姿勢補正ネットワーク学習装置１は、ステップＳ６に動作を進める。
一方、ステップＳ３で選択した学習データが正解学習データＳｃである場合（ステップＳ４でＮｏ）、姿勢補正ネットワーク学習装置１は、そのまま、ステップＳ６に動作を進める。
一方、ステップＳ３で選択した学習データが正解学習データＳｃである場合（ステップＳ４でＮｏ）、姿勢補正ネットワーク学習装置１は、そのまま、ステップＳ６に動作を進める。
【0058】
ステップＳ６において、レンダリング手段１４は、ステップＳ３で選択された正解学習データＳｃ、または、ステップＳ３で選択され、ステップＳ５で補正された姿勢不定学習データＳｉを補正した補正学習データＳｉ２を用いて、ダミーモデルＤｍをレンダリングした２次元の画像を生成する。
【0059】
ステップＳ７において、識別手段１５は、識別ネットワークＮｄを用いてニューラルネットワークの演算を行うことで、ステップＳ６で生成された画像が、姿勢が正しい画像であるか否かを識別する。ここで、識別手段１５は、「偽」を“０”、「真」を“１”とする０を超え１未満の範囲で識別結果を算出する。
【0060】
ステップＳ８において、パラメータ更新手段１６は、予め定めた識別用損失関数を小さく、姿勢補正用損失関数を大きくするように識別ネットワークＮｄおよび姿勢補正ネットワークＮｇのパラメータを更新する。
具体的には、パラメータ更新手段１６は、式（１）に示すように、ステップＳ６で生成された画像が、正解学習データＳｃから生成された画像Ｉｒの場合、識別結果Ｄ（Ｉｒ）と真値を示す値“１”との交差エントロピーを小さくするように識別ネットワークＮｄのパラメータを更新する。また、パラメータ更新手段１６は、ステップＳ６で生成された画像が、姿勢不定学習データＳｉを補正した補正学習データＳｉ２から生成された画像Ｉｇの場合、識別結果Ｄ（Ｉｇ）と偽値を示す値“０”との交差エントロピーを小さくするように識別ネットワークＮｄのパラメータを更新する。
具体的には、パラメータ更新手段１６は、式（１）に示すように、ステップＳ６で生成された画像が、正解学習データＳｃから生成された画像Ｉｒの場合、識別結果Ｄ（Ｉｒ）と真値を示す値“１”との交差エントロピーを小さくするように識別ネットワークＮｄのパラメータを更新する。また、パラメータ更新手段１６は、ステップＳ６で生成された画像が、姿勢不定学習データＳｉを補正した補正学習データＳｉ２から生成された画像Ｉｇの場合、識別結果Ｄ（Ｉｇ）と偽値を示す値“０”との交差エントロピーを小さくするように識別ネットワークＮｄのパラメータを更新する。
【0061】
また、パラメータ更新手段１６は、式（２）に示すように、ステップＳ６で生成された画像が、姿勢不定学習データＳｉを補正した補正学習データＳｉ２から生成された画像Ｉｇの場合、識別結果Ｄ（Ｉｇ）と偽値を示す値“０”との交差エントロピーを大きくするように姿勢補正ネットワークＮｇのパラメータを更新する。
【0062】
ステップＳ９において、学習データ選択手段１２は、予め定めた学習完了の終了条件を満たしたか否かを判定する。例えば、ここでは、学習データ選択手段１２は、予め定めた学習回数だけ、学習データ全体を選択していない場合（ステップＳ９でＮｏ）、学習が完了していないと判定し、姿勢補正ネットワーク学習装置１は、ステップＳ２に戻って学習を継続する。
一方、学習データ選択手段１２は、予め定めた学習回数だけ、学習データ全体を選択した場合（ステップＳ９でＹｅｓ）、学習が完了したと判定し、姿勢補正ネットワーク学習装置１は、動作を終了する。
以上の動作によって、ＣＧモデルの関節の位置および姿勢のうち、姿勢が不定な位置姿勢情報であっても、姿勢を補正することが可能な姿勢補正ネットワークＮｇを学習することができる。
一方、学習データ選択手段１２は、予め定めた学習回数だけ、学習データ全体を選択した場合（ステップＳ９でＹｅｓ）、学習が完了したと判定し、姿勢補正ネットワーク学習装置１は、動作を終了する。
以上の動作によって、ＣＧモデルの関節の位置および姿勢のうち、姿勢が不定な位置姿勢情報であっても、姿勢を補正することが可能な姿勢補正ネットワークＮｇを学習することができる。
【0063】
＜姿勢推定装置の処理＞
次に、図６を参照して、本発明の実施形態に係る姿勢推定装置２（図７）の処理について説明する。
姿勢推定装置２は、ニューラルネットワークである姿勢補正ネットワークＮｇを用いて、３次元空間上の関節の位置から関節の姿勢を推定するものである。
ここでは、姿勢推定装置２は、関節位置情報Ｐを入力し、姿勢を補正する。
関節位置情報Ｐは、関節の位置（３次元位置座標）ｐの関節数分の集合｛ｐ｝であって、図１で説明した関節位置情報Ｐと同じである。
次に、図６を参照して、本発明の実施形態に係る姿勢推定装置２（図７）の処理について説明する。
姿勢推定装置２は、ニューラルネットワークである姿勢補正ネットワークＮｇを用いて、３次元空間上の関節の位置から関節の姿勢を推定するものである。
ここでは、姿勢推定装置２は、関節位置情報Ｐを入力し、姿勢を補正する。
関節位置情報Ｐは、関節の位置（３次元位置座標）ｐの関節数分の集合｛ｐ｝であって、図１で説明した関節位置情報Ｐと同じである。
【0064】
姿勢推定装置２は、関節位置情報Ｐである関節の位置の集合｛ｐ｝ごとに、逆運動学計算により姿勢θ＾の集合｛θ＾｝を計算し、姿勢パラメータの集合｛ｐ，θ＾｝を生成する。
そして、姿勢推定装置２は、姿勢補正ネットワークＮｇを用いて、関節の位置の集合｛ｐ｝に対応する姿勢の集合｛θ＾｝を｛θ～｝に補正する。
なお、姿勢補正ネットワークＮｇは、姿勢補正ネットワーク学習装置１（図２）で学習されたニューラルネットワークである。
このように補正した姿勢パラメータの集合｛ｐ，θ～｝で３ＤのモデルＣをレンダリングすることで、姿勢が自然に描画された２次元の画像Ｉｇを生成することが可能になる。
そして、姿勢推定装置２は、姿勢補正ネットワークＮｇを用いて、関節の位置の集合｛ｐ｝に対応する姿勢の集合｛θ＾｝を｛θ～｝に補正する。
なお、姿勢補正ネットワークＮｇは、姿勢補正ネットワーク学習装置１（図２）で学習されたニューラルネットワークである。
このように補正した姿勢パラメータの集合｛ｐ，θ～｝で３ＤのモデルＣをレンダリングすることで、姿勢が自然に描画された２次元の画像Ｉｇを生成することが可能になる。
【0065】
＜姿勢推定装置の構成＞
次に、図７を参照（適宜図６参照）して、本発明の実施形態に係る姿勢推定装置２の構成について説明する。
図７に示すように、姿勢推定装置２は、記憶手段２０と、姿勢計算手段２１と、姿勢補正手段２２と、備える。
次に、図７を参照（適宜図６参照）して、本発明の実施形態に係る姿勢推定装置２の構成について説明する。
図７に示すように、姿勢推定装置２は、記憶手段２０と、姿勢計算手段２１と、姿勢補正手段２２と、備える。
【0066】
記憶手段２０は、姿勢補正ネットワークＮｇを予め記憶するものである。記憶手段２０は、ハードディスク、半導体メモリ等の一般的な記憶媒体で構成することができる。
姿勢補正ネットワークＮｇは、ＣＧモデルの予め定めた関節の姿勢を補正するニューラルネットワークであって、予め姿勢補正ネットワーク学習装置１（図２）で学習したものである。
姿勢補正ネットワークＮｇは、ＣＧモデルの予め定めた関節の姿勢を補正するニューラルネットワークであって、予め姿勢補正ネットワーク学習装置１（図２）で学習したものである。
【0067】
姿勢計算手段２１は、関節位置情報Ｐである関節の位置（３次元位置座標）から、各関節の姿勢として３次元空間の３軸を基準とした回転角を計算するものである。この３次元位置座標から、関節の姿勢を計算する手法は、一般的な逆運動学計算を用いればよい。なお、姿勢計算手段２１は、姿勢補正ネットワーク学習装置１の姿勢計算手段１１と同じものを用いることができる。
姿勢計算手段２１は、ＣＧモデルの予め定めた関節数ごとに、位置ｐおよび姿勢θ＾を姿勢補正手段２２に出力する。
姿勢計算手段２１は、ＣＧモデルの予め定めた関節数ごとに、位置ｐおよび姿勢θ＾を姿勢補正手段２２に出力する。
【0068】
姿勢補正手段２３は、姿勢補正ネットワークＮｇを用いて、姿勢計算手段２１で計算された関節の姿勢を補正するものである。
姿勢補正手段２３は、記憶手段２０に記憶されている姿勢補正ネットワークＮｇに、姿勢計算手段２１で計算された関節の姿勢を入力し、姿勢補正ネットワークＮｇの学習済のレイヤ間の重み係数を用いて、ニューラルネットワークの演算を行う。
これによって、姿勢補正手段２３は、姿勢計算手段２１で計算された関節間の軸（ボーン）に対して不定な姿勢を、正しい姿勢に補正することができる。
姿勢補正手段２３は、関節の位置と推定した関節の姿勢とを対とした関節位置姿勢情報Ｑを、推定結果として出力する。
なお、姿勢推定装置２は、コンピュータを、前記した各手段として機能させるための姿勢推定プログラムで動作させることができる。
姿勢補正手段２３は、記憶手段２０に記憶されている姿勢補正ネットワークＮｇに、姿勢計算手段２１で計算された関節の姿勢を入力し、姿勢補正ネットワークＮｇの学習済のレイヤ間の重み係数を用いて、ニューラルネットワークの演算を行う。
これによって、姿勢補正手段２３は、姿勢計算手段２１で計算された関節間の軸（ボーン）に対して不定な姿勢を、正しい姿勢に補正することができる。
姿勢補正手段２３は、関節の位置と推定した関節の姿勢とを対とした関節位置姿勢情報Ｑを、推定結果として出力する。
なお、姿勢推定装置２は、コンピュータを、前記した各手段として機能させるための姿勢推定プログラムで動作させることができる。
【0069】
以上説明したように、姿勢推定装置２は、ＣＧモデルの関節の位置から、関節の正しい姿勢を推定することができる。
姿勢推定装置２の動作については、姿勢計算手段２１および姿勢補正手段２２を連続して動作させるだけであるため、詳細な説明は省略する。
姿勢推定装置２の動作については、姿勢計算手段２１および姿勢補正手段２２を連続して動作させるだけであるため、詳細な説明は省略する。
【0070】
以上、本発明の実施形態に係る姿勢補正ネットワーク学習装置１および姿勢推定装置２について説明したが、本発明は、この実施形態に限定されるものではない。
例えば、姿勢補正ネットワーク学習装置１は、関節位置情報Ｐを入力し、姿勢計算手段１１によって、関節に対応する姿勢を逆運動学計算により計算することとした。
しかし、この姿勢の計算は、予め外部で行ってもよい。
その場合、姿勢補正ネットワーク学習装置１に入力される関節位置情報Ｐは、関節ごとに姿勢が付加された情報とすればよい。そして、姿勢補正ネットワーク学習装置１は、姿勢計算手段１１を構成から省略すればよい。
これは、姿勢推定装置２についても同様である。
例えば、姿勢補正ネットワーク学習装置１は、関節位置情報Ｐを入力し、姿勢計算手段１１によって、関節に対応する姿勢を逆運動学計算により計算することとした。
しかし、この姿勢の計算は、予め外部で行ってもよい。
その場合、姿勢補正ネットワーク学習装置１に入力される関節位置情報Ｐは、関節ごとに姿勢が付加された情報とすればよい。そして、姿勢補正ネットワーク学習装置１は、姿勢計算手段１１を構成から省略すればよい。
これは、姿勢推定装置２についても同様である。
【0071】
また、ここでは、関節の位置および姿勢を、人体の関節の位置および姿勢を例として説明したが、関節を有すれば犬、猫等の動物の関節の位置および姿勢であっても構わない。
【符号の説明】
【0072】
１ 姿勢補正ネットワーク学習装置
１０ 記憶手段
１０１ ニューラルネットワーク記憶手段
１０２ 学習データ記憶手段
１０３ ダミーモデル記憶手段
１１ 姿勢計算手段
１２ 学習データ選択手段
１３ 姿勢補正手段
１４ レンダリング手段
１５ 識別手段
１６ パラメータ更新手段
２ 姿勢推定手段
２０ 記憶手段
２１ 姿勢計算手段
２２ 姿勢補正手段
Ｎｇ 姿勢補正ネットワーク
Ｎｄ 識別ネットワーク
Ｓｉ 姿勢不定学習データ
Ｓｉ２ 補正学習データ
Ｓｃ 正解学習データ
Ｄｍ ダミーモデル
１０ 記憶手段
１０１ ニューラルネットワーク記憶手段
１０２ 学習データ記憶手段
１０３ ダミーモデル記憶手段
１１ 姿勢計算手段
１２ 学習データ選択手段
１３ 姿勢補正手段
１４ レンダリング手段
１５ 識別手段
１６ パラメータ更新手段
２ 姿勢推定手段
２０ 記憶手段
２１ 姿勢計算手段
２２ 姿勢補正手段
Ｎｇ 姿勢補正ネットワーク
Ｎｄ 識別ネットワーク
Ｓｉ 姿勢不定学習データ
Ｓｉ２ 補正学習データ
Ｓｃ 正解学習データ
Ｄｍ ダミーモデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】