知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-01
(45)【発行日】2024-04-09
(54)【発明の名称】三次元人物姿勢推定装置、方法およびプログラム
(51)【国際特許分類】
G06T 7/70 20170101AFI20240402BHJP
G06T 7/00 20170101ALI20240402BHJP
【ＦＩ】
G06T7/70 Z
G06T7/00 660B
【請求項の数】
12
(21)【出願番号】P 2020205383
(22)【出願日】2020-12-10
(65)【公開番号】P2022092528
(43)【公開日】2022-06-22
【審査請求日】2023-03-07
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100092772
【弁理士】
【氏名又は名称】阪本 清孝
(74)【代理人】
【識別番号】100119688
【弁理士】
【氏名又は名称】田邉 壽二
(72)【発明者】
【氏名】中塚 智尋
(72)【発明者】
【氏名】田坂 和之
【審査官】片岡 利延
(56)【参考文献】
【文献】特開平０７－３０２３４１（ＪＰ，Ａ）
【文献】国際公開第２０２０／０４９８４７（ＷＯ，Ａ１）
【文献】特開平０９－１９８５０４（ＪＰ，Ａ）
【文献】特開２０１５－１６７００８（ＪＰ，Ａ）
【文献】国際公開第２０１９／０６９３５８（ＷＯ，Ａ１）
【文献】国際公開第２０１３／０１１６４４（ＷＯ，Ａ１）
【文献】特開２０２３－０５７４９８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／７０
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
被写体人物の三次元姿勢を推定する三次元人物姿勢推定装置において、被写体人物の画像に基づいて関節点ごとに三次元座標を推定する手段と、
被写体人物の画像に基づいて関節点ごとに四肢のひねり回転量を推定する手段と、
前記三次元座標およびひねり回転量の各推定結果に基づいて被写体人物の姿勢パラメータを推定する手段とを具備し、
前記姿勢パラメータを推定する手段は、任意の人物画像の各関節点の三次元座標および四肢のひねり回転量と姿勢パラメータとの関係を学習した回帰モデルに前記三次元座標およびひねり回転量の各推定結果を適用することで被写体人物の姿勢パラメータを推定することを特徴とする三次元人物姿勢推定装置。
【請求項2】
被写体人物の三次元姿勢を推定する三次元人物姿勢推定装置において、
被写体人物の画像に基づいて関節点ごとに三次元座標を推定する手段と、
被写体人物の画像に基づいて関節点ごとに四肢のひねり回転量を推定する手段と、
前記三次元座標およびひねり回転量の各推定結果に基づいて被写体人物の姿勢パラメータを推定する手段とを具備し、
前記ひねり回転量を推定する手段は、任意の人物画像とその四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像を適用して各四肢のひねり回転量を推定することを特徴とする三次元人物姿勢推定装置。
【請求項3】
被写体人物の三次元姿勢を推定する三次元人物姿勢推定装置において、
被写体人物の画像に基づいて関節点ごとに三次元座標を推定する手段と、
被写体人物の画像に基づいて関節点ごとに四肢のひねり回転量を推定する手段と、
前記三次元座標およびひねり回転量の各推定結果に基づいて被写体人物の姿勢パラメータを推定する手段とを具備し、
前記三次元座標を推定する手段が推定した三次元座標または当該三次元座標の推定過程で得られる二次元情報に基づいて関節点のヒートマップを生成する手段を具備し、
前記ひねり回転量を推定する手段は、任意の人物画像とその関節点ごとの四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像およびヒートマップを適用して各四肢のひねり回転量を推定することを特徴とする三次元人物姿勢推定装置。
【請求項4】
被写体人物の三次元姿勢を推定する三次元人物姿勢推定装置において、
被写体人物の画像に基づいて関節点ごとに三次元座標を推定する手段と、
被写体人物の画像に基づいて関節点ごとに四肢のひねり回転量を推定する手段と、
前記三次元座標およびひねり回転量の各推定結果に基づいて被写体人物の姿勢パラメータを推定する手段とを具備し、
前記ひねり回転量を推定する手段は、任意の人物画像とその関節点ごとの四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像および前記三次元座標の推定結果を適用して各四肢のひねり回転量を推定することを特徴とする三次元人物姿勢推定装置。
【請求項5】
前記姿勢パラメータを推定する手段は、身体モデルの各関節点の三次元座標および四肢のひねり回転量と前記三次元座標およびひねり回転量の各推定結果との差分が最小化するように身体モデルを変形させて被写体人物の姿勢パラメータを推定することを特徴とする請求項2ないし4のいずれかに記載の三次元人物姿勢推定装置。
【請求項6】
前記姿勢パラメータを推定する手段は、任意の人物画像の各関節点の三次元座標および四肢のひねり回転量と姿勢パラメータとの関係を学習した回帰モデルに前記三次元座標およびひねり回転量の各推定結果を適用することで被写体人物の姿勢パラメータを推定することを特徴とする請求項2ないし4のいずれかに記載の三次元人物姿勢推定装置。
【請求項7】
被写体人物の三次元姿勢をコンピュータが推定する三次元人物姿勢推定補方法において、被写体人物の画像に基づいて関節点ごとに三次元座標を推定し、
被写体人物の画像に基づいて関節点ごとに四肢のひねり回転量を推定し、
前記三次元座標およびひねり回転量の各推定結果に基づいて被写体人物の姿勢パラメータを推定し、
任意の人物画像とその四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像を適用して各四肢のひねり回転量を推定することを特徴とする三次元人物姿勢推定方法。
【請求項8】
被写体人物の三次元姿勢をコンピュータが推定する三次元人物姿勢推定補方法において、
被写体人物の画像に基づいて関節点ごとに三次元座標を推定し、
被写体人物の画像に基づいて関節点ごとに四肢のひねり回転量を推定し、
前記三次元座標およびひねり回転量の各推定結果に基づいて被写体人物の姿勢パラメータを推定し、
前記関節点の三次元座標の推定結果に基づいて関節点のヒートマップを生成し、
任意の人物画像とその関節点ごとの四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像およびヒートマップを適用して各四肢のひねり回転量を推定することを特徴とする三次元人物姿勢推定方法。
【請求項9】
被写体人物の三次元姿勢をコンピュータが推定する三次元人物姿勢推定補方法において、
被写体人物の画像に基づいて関節点ごとに三次元座標を推定し、
被写体人物の画像に基づいて関節点ごとに四肢のひねり回転量を推定し、
前記三次元座標およびひねり回転量の各推定結果に基づいて被写体人物の姿勢パラメータを推定し、
任意の人物画像とその関節点ごとの四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像および前記三次元座標の推定結果を適用して各四肢のひねり回転量を推定することを特徴とする三次元人物姿勢推定方法。
【請求項10】
被写体人物の三次元姿勢を推定する三次元人物姿勢推定プログラムにおいて、被写体人物の画像に基づいて関節点ごとに三次元座標を推定する手順と、
被写体人物の画像に基づいて関節点ごとに四肢のひねり回転量を推定する手順と、
前記三次元座標およびひねり回転量の各推定結果に基づいて被写体人物の姿勢パラメータを推定する手順と、をコンピュータに実行させ、
前記ひねり回転量を推定する手順では、任意の人物画像とその四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像を適用して各四肢のひねり回転量を推定することを特徴とする三次元人物姿勢推定プログラム。
【請求項11】
被写体人物の三次元姿勢を推定する三次元人物姿勢推定プログラムにおいて、
被写体人物の画像に基づいて関節点ごとに三次元座標を推定する手順と、
被写体人物の画像に基づいて関節点ごとに四肢のひねり回転量を推定する手順と、
前記三次元座標およびひねり回転量の各推定結果に基づいて被写体人物の姿勢パラメータを推定する手順と、をコンピュータに実行させ、
前記三次元座標を推定する手段が推定した三次元座標に基づいて関節点のヒートマップを生成する手順を含み、
前記ひねり回転量を推定する手順では、任意の人物画像とその関節点ごとの四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像およびヒートマップを適用して各四肢のひねり回転量を推定することを特徴とする三次元人物姿勢推定プログラム。
【請求項12】
被写体人物の三次元姿勢を推定する三次元人物姿勢推定プログラムにおいて、
被写体人物の画像に基づいて関節点ごとに三次元座標を推定する手順と、
被写体人物の画像に基づいて関節点ごとに四肢のひねり回転量を推定する手順と、
前記三次元座標およびひねり回転量の各推定結果に基づいて被写体人物の姿勢パラメータを推定する手順と、をコンピュータに実行させ、
前記ひねり回転量を推定する手順では、任意の人物画像とその関節点ごとの四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像および前記三次元座標の推定結果を適用して各四肢のひねり回転量を推定することを特徴とする三次元人物姿勢推定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、三次元人物姿勢推定装置、方法およびプログラムに係り、特に、関節点同士を繋ぐ四肢のひねり回転量を考慮して三次元人物の姿勢を推定する三次元人物姿勢推定装置、方法およびプログラムに関する。
【背景技術】
【0002】
三次元人物姿勢推定技術とは、人物の三次元空間における姿勢を推定する技術を言う。一般に、三次元空間における身体の姿勢は主要な関節それぞれについて、基準点に対する相対的な三次元座標、あるいは基準姿勢に対する相対的な三次元回転によって表現される。
【0003】
三次元座標ベースの姿勢表現では、例えば肘と手首の三次元座標だけでは腕のひねりが表現できないなど、詳細な姿勢を表現するには不向きな場合が多い。これに対して、三次元回転ベースの姿勢表現では、基準となる身体モデルが必要とはなるものの四肢のひねりを含めた詳細な姿勢の表現が可能になる。人物画像から姿勢パラメータを推定する先行技術は多数存在する。
【0004】
非特許文献1には、人物のRGB画像から各関節点の二次元座標を推定し、姿勢パラメータの初期値を適用した身体モデルの各関節点の三次元座標を画像上に投影することで各関節の初期の二次元座標を求め、各関節点についてこれら二つの二次元座標の差分が最小化されるようにカメラパラメータ及び姿勢パラメータの最適化を行うことで目的の姿勢パラメータを獲得する技術が開示されている。
【0005】
非特許文献2には、非特許文献1が考慮する関節点に加えて、目や鼻といった顔のキーポイントや手指の細かい関節点の二次元座標についても考慮することで全身の詳細な姿勢を推定する技術が開示されている。非特許文献2では更に、姿勢パラメータの最適化において不可能な姿勢や時間方向の急激な変化を避けるための制約を導入することで推定精度の向上を図っている。
【0006】
非特許文献3は、RGB画像中の人物周辺の矩形領域から直接、姿勢パラメータを求める回帰モデルを提案する。非特許文献3では、大量の人物画像と姿勢パラメータとの対から回帰モデルを学習するだけでなく、モーションセンサーなどから得た実際の人物の動きを表す大量の姿勢パラメータデータから、その分布を事前知識として獲得することで学習に活用している。
【0007】
非特許文献4には、RGB画像から人物の関節点の二次元座標を推定すると同時に、奥行などの三次元情報を効率よく抽出し、関節点の三次元座標を推定する技術が開示されている。非特許文献4では、関節点の三次元座標に対して身体モデルが合わさるように姿勢パラメータが最適化される。最適化には不可能な姿勢や時間方向の急激な変化を避ける制約が導入されている。
【0008】
特許文献1には、人物のRGBD画像と身体モデルから人物の姿勢パラメータを予測し、そのときの身体モデルの関節点の三次元座標を二次元画像上に投影した座標と時間方向の変化とについて整合性を評価し、評価値を反映して最終的な姿勢パラメータの推定結果を得る技術が開示されている。
【先行技術文献】
【特許文献】
【0009】
【文献】特開2007-333690号公報
【非特許文献】
【0010】
【文献】Bogo, F., Kanazawa, A., Lassner, C., Gehler, P., Romero, J., & Black, M. J. (2016). Keep It SMPL: Automatic Estimation of 3D Human Pose and Shape from a Single Image. ECCV, 561-578.
【文献】Pavlakos, G., Choutas, V., Ghorbani, N., Bolkart, T., Os-man, A. A., Tzionas, D., & Black, M. J. (2019). Ex-pressive Body Capture: 3D Hands, Face, and Body From a Single Image. CVPR, 10967-10977.
【文献】Kanazawa, A., Black, M. J., Jacobs, D. W., & Malik, J. (2018). End-to-end recovery of human shape and pose. CVPR, 7122-7131.
【文献】Mehta, D., Sotnychenko, O., Mueller, F., Xu, W., Elgha-rib, M., Fua, P., Seidel, H.-P., Rhodin, H., Pons-Moll, G., & Theobalt, C. (2020). XNect: Real-time Multi-Person 3D Motion Capture with a Single RGB Cam-era. TOG, 39(4), 82:1-82:17.
【発明の概要】
【発明が解決しようとする課題】
【0011】
非特許文献1では、RGB画像から関節点の二次元情報のみを抽出し、これと身体モデルが持つ人体形状に関する事前知識とを合わせることで奥行情報を補間して三次元姿勢を推定するため、奥行情報に曖昧さが残る上に四肢のひねりなどを含む詳細な姿勢を正しく推定することは難しい。
【0012】
非特許文献2では、より多くの関節点及び身体上のキーポイントの二次元情報と人体のとりうる姿勢に関する事前知識を使うことで奥行情報の曖昧さを軽減し、さらに四肢のひねりなどを含む詳細な姿勢をより正しく推定できるようにしている。しかしながら、参照情報が増えることで最適化処理にかかる計算量が増大してしまう。
【0013】
非特許文献3では、人物のRGB画像から姿勢パラメータを直接推定するが、姿勢パラメータは三次元回転によって構成されていることから非連続で複雑な値をとる。そのため、回帰の学習が難しく精度が比較的低くなる傾向がある。また、回帰の学習において主に関節点の三次元座標の誤差を最小化することを目的としていることから、四肢のひねりなどを含む詳細な姿勢を正しく推定することは難しい。
【0014】
非特許文献4では、RGB画像から推定した人物の関節点の三次元座標に対して身体モデルを適合させることで姿勢パラメータを求める際に、身体モデルが不可能な姿勢をとることのないよう関節の回転角について制約を設けているが、四肢のひねりを推定することは難しい。
【0015】
特許文献1では、RGBD画像から関節点の二次元および三次元座標とその時間変化に着目するものの四肢のひねりなど含む詳細な姿勢については考慮していない。
【0016】
このように、先行技術の多くは主要な関節点の位置を正しくかつ不可能な姿勢とならない制約下で推定するに留まっており、四肢のひねりも含めた姿勢を正しく推定することは難しい。そのため、ジェスチャーやスポーツフォームのように四肢のひねりも重要な意味を持つシーンでの姿勢推定では十分な精度を得られない。また、非特許文献2には計算量が大きいという問題もある。
【0017】
本発明の目的は、上記の技術課題を解決し、人物の四肢のひねりも含めた姿勢を少ない計算量で正しく推定できる三次元人物姿勢推定装置、方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0018】
上記の目的を達成するために、本発明は、被写体人物の三次元姿勢を推定する三次元人物姿勢推定装置において、以下の構成を具備した点に特徴がある。
【0019】
(1) 被写体人物の画像に基づいて関節点ごとに三次元座標を推定する手段と、被写体人物の画像に基づいて関節点ごとに四肢のひねり回転量を推定する手段と、前記三次元座標およびひねり回転量の各推定結果に基づいて被写体人物の姿勢パラメータを推定する手段とを具備した。
【0020】
(2) ひねり回転量を推定する手段は、任意の人物画像とその四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像を適用して各四肢のひねり回転量を推定するようにした。
【0021】
(3)ひねり回転量を推定する手段は、任意の人物画像とその関節点ごとの四肢のひねり回転量との関係を学習した回帰モデルに、被写体人物の画像および各関節点の三次元座標の推定結果または当該推定結果に基づいて生成した各関節点のヒートマップを適用して各四肢のひねり回転量を推定するようにした。
【発明の効果】
【0022】
(1) 姿勢推定の対象となる実際の人物の四肢にはひねりが生じ得るところ、本発明では四肢のひねり回転量を考慮して被写体人物の三次元姿勢を推定するので、特に四肢にひねりが生じている人物の姿勢を正確に推定できるようになる。
【0023】
(2) 任意の人物画像とその四肢のひねり回転量との関係を学習して構築した回帰モデルを予め用意し、当該回帰モデルに被写体画像を適用することで四肢のひねり回転量を推定するので、少ない計算量で四肢のひねり回転量を考慮した姿勢推定が可能になる。
【0024】
(3) 被写体画像に基づいて推定した各関節点の三次元座標または当該推定結果に基づいて生成した関節点のヒートマップを用いて各関節点のひねり回転量を推定するので、各関節点の探索範囲を制限できる。したがって、より少ない計算量でより精度の高い姿勢推定が可能になる。
【図面の簡単な説明】
【0025】
【図1】本発明の第1実施形態に係る三次元人物姿勢推定装置の主要部の構成を示した機能ブロック図である。
【図2】身体モデルの一例を示した図である。
【図3】関節点と四肢との関係を示した図である。
【図4】対象の関節点、振り回転、ひねり回転およびひねり回転の軸との関係を示した図である。
【図5】三次元人物姿勢推定の手順を示したフローチャートである。
【図6】本発明の第2実施形態に係る三次元人物姿勢推定装置の主要部の構成を示した機能ブロック図である。
【図7】本発明の第3実施形態に係る三次元人物姿勢推定装置の主要部の構成を示した機能ブロック図である。
【発明を実施するための形態】
【0026】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明の第1実施形態に係る三次元人物姿勢推定装置1の主要部の構成を示した機能ブロック図であり、ここでは本発明の説明に不要な構成は図示を省略している。本発明は三次元回転ベースでの姿勢推定を対象とする。
【0027】
このような三次元人物姿勢推定装置1は、CPU，ROM，RAM，バス，インタフェース等を備えた少なくとも一台の汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。
【0028】
画像入力部10は、被写体として姿勢推定対象の人物が映ったカメラ画像を取得する。カメラ画像はカメラから直接取得しても良いし、あるいは事前に撮影してHDDなどに保蔵されているカメラ画像ファイルを読み出すことで取得しても良い。本実施形態ではカメラ画像がRGB形式で取得される。
【0029】
【0030】
関節点三次元座標推定部20は、被写体のカメラ画像から被写体人物の各関節点の三次元座標を推定する。本実施形態では、各関節点の定義や拘束条件に従い、右手首や右肘などの区別をもって各関節点を検出し、更にその三次元座標を推定する。このような関節点の検出および座標推定には任意の手法を採用することが可能であり、例えば非特許文献4と同様の手法を採用できる。
【0031】
あるいは、CNNベースの学習済モデルによって画像上で特定の関節点が存在している可能性の高い箇所を検出し、更にその奥行に関する情報を抽出することで三次元座標を推定する手法を採用しても良い。推定した三次元座標の原点は、例えば腰の中心点とすることができる。三次元座標のスケールは、各関節点を連結する全てのリブの合計が一定の値となるように設定することができる。
【0032】
ひねり回転量推定部30は、前記三次元座標の推定と前後または並行して、被写体人物の画像領域から各リブのひねり回転量を推定する。ひねり回転量は、前記身体モデル上で定義される値であり、同じく身体モデル上で定義される姿勢パラメータ（各関節点の三次元回転Rj：jは関節点識別子）から算出できる。
【0033】
本実施形態では、多数の人物画像とその四肢のひねり回転量との関係を学習して構築した回帰モデルを用意し、当該回帰モデルに取得した被写体人物の画像を適用することで関節点ごとに各四肢のひねり回転量を推定する。
【0034】
各関節点の三次元回転Rjは、図4に示すように、前記身体モデルの各関節点のツリー構造に従い、対象の関節点を中心にその子関節点と間にあるリブを回転させる値である。ひねり回転Tjは、関節点の三次元回転のうちリブを回転軸とする要素であり、それ以外の回転要素は振り回転Sjと呼ばれる。ひねり回転Tj、振り回転Sjおよびひねり回転角は以下のように導出される。
【0035】
すなわち、各関節点Jjの三次元回転Rjは、これを分解して得られる振り回転Sjおよびひねり回転Tjに回転表現としてクオータニオン表現を用いれば次式(1)で表現できる。
【0036】
【数1】
【0037】
ある姿勢（通常は姿勢パラメータが全て0）をとる身体モデルの各関節点Jjからその子関節点への方向ベクトルをvjとすると、これを三次元回転Rjで回転させた結果wjは、次式(2)のように振り回転Sjで回転させた結果と等しい。
【0038】
【数2】
【0039】
このことから、次式(3)に示すように、方向ベクトルvjとwjとが成す平面の垂直方向ベクトルを軸とし、方向ベクトルvjとwjとが成す角を回転角とする回転を振り回転Sjとできる。ただし、Φは回転ベクトル表現からクオータニオン表現への変換式を表す。ひねり回転Tjは次式(4)から求まる。
【0040】
【数3】
【0041】
【数4】
【0042】
ここで、ひねり回転Tjを次式(5)でクオータニオン表現から回転ベクトル表現に変換（ψ）することでひねり回転角θjが求まる。
【0043】
【数5】
【0044】
また、ひねり回転角θjは人体の構造上ある一定の範囲内しかとり得ないことが期待されることから、例えばその範囲で正規化することで0から1の値域の連続する値として定義できる。これを本実施形態ではひねり回転量と呼ぶ。
【0045】
ひねり回転量は、そのリブや関節点の見えから推定できると期待でき、例えば人物の画像領域から直接、全てのリブのひねり回転量をCNNベースの学習済回帰モデルを用いて推定すれば良い。
【0046】
姿勢パラメータ推定部50は、関節点三次元座標推定部20が出力する各関節点の三次元座標の推定結果、ひねり回転量推定部30が出力する各リブのひねり回転量の推定結果および身体モデル記憶部40に記憶されている身体モデルを用いて、モデルフィッティングベースの最適化手法により、身体モデルと被写体人物との類似度が最大化するように身体モデルを変形させることで被写体人物の姿勢パラメータを推定する。
【0047】
本実施形態では、身体モデルの各関節点の三次元座標および四肢のひねり回転量と、前記関節点三次元座標推定部20が推定した三次元座標、およびひねり回転量推定部30が推定したひねり回転量との差分からなる損失関数が最小化するように身体モデルの姿勢パラメータを繰り返し更新することで被写体人物の姿勢パラメータを推定する。前記最適化には任意の非線形最適化手法を用いることができ、例えば勾配降下法やレーベンバーグ・マーカート法などを採用できる。
【0048】
前記画像入力から姿勢パラメータ推定までの各処理は画像の入力が止まるまで繰り返し行う。なお、画像中から複数の人物が抽出された場合、関節点三次元座標推定から姿勢パラメータ推定までの各処理は並行して行われる。得られた姿勢パラメータはファイル出力や身体モデルへ適用した姿を描画するなど任意の形式で出力する。
【0049】
図5は、本実施形態による三次元人物姿勢推定の手順を示したフローチャートである。ステップS1では、画像入力部10によりカメラ画像が所定の周期、例えばフレーム単位で取得される。ステップS2では、取得したカメラ画像から人物領域が抽出される。ステップS3では、前記関節点三次元座標推定部20において、人物領域ごとに各関節点が検出され、更に関節点ごとに三次元座標が推定される。
【0050】
これと前後または並行して、ステップS4では前記ひねり回転量推定部30において、予め構築されている回帰モデルに各人物領域の画像を適用することで被写体人物の各四肢のひねり回転量が推定される。本実施形態では、任意の人物画像とその四肢のひねり回転量との関係を大量に学習することで回帰モデルが予め構築される。
【0051】
ステップS5では、前記姿勢パラメータ推定部50において、身体モデルの現在の姿勢を反映した姿勢パラメータに基づいて当該身体モデルを構成する各関節点の三次元座標および各四肢のひねり回転量が計算される。
【0052】
ステップS6では、前記身体モデルの各関節点の三次元座標および各四肢のひねり回転量と、前記関節点三次元座標推定部20およびひねり回転量推定部30がそれぞれ推定した各関節点の三次元座標および各四肢のひねり回転量との差分Δdからなる損失関数f(Δd)が計算される。
【0053】
ステップS7では、損失関数f(Δd)が所定の収束条件を充足する十分に小さな値であるか否かが判断される。収束条件を充足する値でなければステップS8へ進み、身体モデルの姿勢パラメータを更新（姿勢変形）してステップS5へ戻る。その後、ステップS7で損失関数f(Δd)が所定の収束条件を充足すると判断されるまで上記の各処理が繰り返される。
【0054】
損失関数f(Δd)が所定の収束条件を充足するとステップS９へ進み、現時点での身体モデルの姿勢パラメータが被写体人物の姿勢パラメータと推定される。ステップS10では次画像の有無が判断され、全ての画像について姿勢推定が終了するまでは、ステップS1へ戻って上記の各処理が繰り返される。
【0055】
このように、姿勢推定の対象となる実際の人物の四肢にはひねりが生じ得るところ、本実施形態によれば四肢のひねり回転量を考慮して被写体人物の三次元姿勢を推定するので、特に四肢にひねりが生じている人物の姿勢を正確に推定できるようになる。
【0056】
また、本実施形態によれば、任意の人物画像とその四肢のひねり回転量との関係を学習して構築した回帰モデルを予め用意し、当該回帰モデルに被写体画像を適用することで四肢のひねり回転量を推定するので、少ない計算量で四肢のひねり回転量を考慮した姿勢推定が可能になる。
【0057】
図6は、本発明の第2実施形態に係る三次元人物姿勢推定装置1の主要部の構成を示した機能ブロック図であり、第1実施形態と同一の符号は同一または同等部分を表しているので、その説明は省略する。
【0058】
第1実施形態では、ひねり回転量推定部30がカメラ画像のみから被写体人物の各四肢のひねり回転量を直接推定するものとして説明した。しかしながら、人物の各関節点は相対的あるいは絶対的に所定の位置関係を有することから、カメラ画像上で各関節点の位置を予め限定できれば各四肢のひねり回転量の推定精度の向上が期待できる。
【0059】
そこで、本実施形態では関節点三次元座標推定部20に、各関節点の三次元座標の推定結果に基づいて関節点座標のヒートマップを生成するヒートマップ生成部21を設け、ひねり回転量推定部30へヒートマップを出力するようにした。ヒートマップでは各関節点の位置をその推定位置を中心とする二次元の正規分布で表現することができる。なお、ヒートマップは前記三次元座標の推定過程で得られる二次元情報に基づいて生成しても良い。
【0060】
また、本実施形態では回帰モデルを予め構築する際に、人物画像と関節ごとの四肢のひねり回転量との関係に各関節点の座標位置を追加して回帰モデルを構築する。そして、推定時には被写体画像およびヒートマップに基づく各関節点の推定位置を前記回帰モデルに適用することで関節点ごとに各四肢のひねり回転量を推定する。
【0061】
本実施形態によれば、被写体画像に基づいて生成した関節点のヒートマップを用いて各関節点のひねり回転量を推定するので、各関節点の探索範囲を制限できる。したがって、より少ない計算量でより精度の高い姿勢推定が可能になる。
【0062】
なお、上記の第２実施形態では各関節点の推定位置をヒートマップ形式でひねり回転量推定部30へ提供するものとして説明したが、本発明はこれのみに限定されるものではなく、図7に示したように、関節点三次元座標推定部20が出力する各関節点の三次元座標の推定結果を前記ヒートマップに代えて回転量推定部30へ提供するようにしても良い。
【0063】
さらに、上記の各実施形態では姿勢パラメータ推定部50がフィッティングベースの最適化手法により被写体人物の姿勢パラメータを推定するものとして説明した。しかしながら、本発明はこれのみに限定されるものではなく、予め各関節点の三次元座標およびひねり回転量と各姿勢パラメータとの関係を、例えばニューラルネットワークベースで学習させた任意の回帰モデルを使って、三次元座標およびひねり回転量の各推定結果から姿勢パラメータを推定するようにしても良い。
【符号の説明】
【0064】
10…画像入力部，20…関節点三次元座標推定部，30…ひねり回転量推定部，31…ヒートマップ生成部，40…身体モデル記憶部，50…姿勢パラメータ推定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】