ホーム > 特許ランキング > 株式会社ジェイテクト
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024141415
(43)【公開日】2024-10-10
(54)【発明の名称】姿勢推定システム、および姿勢推定方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20241003BHJP
A61B 5/107 20060101ALI20241003BHJP
A61B 5/11 20060101ALI20241003BHJP
【ＦＩ】
G06T7/00 660B
A61B5/107 300
A61B5/11 200
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023053042
(22)【出願日】2023-03-29
(71)【出願人】
【識別番号】000001247
【氏名又は名称】株式会社ジェイテクト
(74)【代理人】
【識別番号】110000280
【氏名又は名称】弁理士法人サンクレスト国際特許事務所
(72)【発明者】
【氏名】久保田 直樹
【テーマコード（参考）】
4C038
5L096
【Ｆターム（参考）】
4C038VA04
4C038VB01
4C038VC05
5L096AA06
5L096BA08
5L096CA02
5L096DA02
5L096FA67
5L096FA69
(57)【要約】
【課題】姿勢推定の精度の低下を抑制することができる技術を提供する。
【解決手段】姿勢推定システム１は、対象者Ｔを撮像した画像から得られる複数の関節点に基づいて、対象者Ｔの部位を示す複数の部位ベクトルを取得する処理と、複数の部位ベクトルのうちの基準部位を示す基準部位ベクトルと、複数の部位ベクトルのうちの可動部位を示す可動部位ベクトルと、がなすベクトル間角度を求める処理と、可動部位の可動範囲を平面視したときにおいて、基準部位ベクトルに直交する方向を有する方向基準ベクトルを複数の部位ベクトルのうちの参照部位ベクトルに基づいて求める処理と、ベクトル間角度、可動部位ベクトル、および方向基準ベクトルに基づいて、関節における可動部位と基準部位との間の関節角度を求める処理と、を実行する処理部６を備える。
【選択図】 図１
【解決手段】姿勢推定システム１は、対象者Ｔを撮像した画像から得られる複数の関節点に基づいて、対象者Ｔの部位を示す複数の部位ベクトルを取得する処理と、複数の部位ベクトルのうちの基準部位を示す基準部位ベクトルと、複数の部位ベクトルのうちの可動部位を示す可動部位ベクトルと、がなすベクトル間角度を求める処理と、可動部位の可動範囲を平面視したときにおいて、基準部位ベクトルに直交する方向を有する方向基準ベクトルを複数の部位ベクトルのうちの参照部位ベクトルに基づいて求める処理と、ベクトル間角度、可動部位ベクトル、および方向基準ベクトルに基づいて、関節における可動部位と基準部位との間の関節角度を求める処理と、を実行する処理部６を備える。
【選択図】 図１
【特許請求の範囲】
【請求項1】
基準部位、および関節を介して前記基準部位に繋がる可動部位を有する対象者の姿勢を推定する姿勢推定システムであって、
前記対象者を撮像した画像から得られる複数の関節点に基づいて、前記対象者の部位を示す複数の部位ベクトルを取得する処理と、
前記複数の部位ベクトルのうちの前記基準部位を示す基準部位ベクトルと、前記複数の部位ベクトルのうちの前記可動部位を示す可動部位ベクトルと、がなすベクトル間角度を求める処理と、
前記可動部位の可動範囲を平面視したときにおいて、前記基準部位ベクトルに直交する方向を有する方向基準ベクトルを前記複数の部位ベクトルのうちの参照部位ベクトルに基づいて求める処理と、
前記ベクトル間角度、前記可動部位ベクトル、および前記方向基準ベクトルに基づいて、前記関節における前記可動部位と前記基準部位との間の関節角度を求める処理と、を実行する処理部を備える
姿勢推定システム。
前記対象者を撮像した画像から得られる複数の関節点に基づいて、前記対象者の部位を示す複数の部位ベクトルを取得する処理と、
前記複数の部位ベクトルのうちの前記基準部位を示す基準部位ベクトルと、前記複数の部位ベクトルのうちの前記可動部位を示す可動部位ベクトルと、がなすベクトル間角度を求める処理と、
前記可動部位の可動範囲を平面視したときにおいて、前記基準部位ベクトルに直交する方向を有する方向基準ベクトルを前記複数の部位ベクトルのうちの参照部位ベクトルに基づいて求める処理と、
前記ベクトル間角度、前記可動部位ベクトル、および前記方向基準ベクトルに基づいて、前記関節における前記可動部位と前記基準部位との間の関節角度を求める処理と、を実行する処理部を備える
姿勢推定システム。
【請求項2】
前記参照部位ベクトルは、前記複数の部位ベクトルのうち、前記可動部位の可動範囲を平面視したときにおいて、前記基準部位の長手方向に対して交差する方向に延びる部位のベクトルである
請求項１に記載の姿勢推定システム。
請求項１に記載の姿勢推定システム。
【請求項3】
前記方向基準ベクトルを求める処理は、
前記基準部位ベクトルおよび前記可動部位ベクトルに基づいて、前記可動部位の可動範囲を平面視したときに前記基準部位ベクトルに垂直なベクトルを求める処理と、
前記基準部位ベクトルに垂直なベクトルと、前記参照部位ベクトルと、に基づいて前記方向基準ベクトルを求める処理と、
を含む
請求項２に記載の姿勢推定システム。
前記基準部位ベクトルおよび前記可動部位ベクトルに基づいて、前記可動部位の可動範囲を平面視したときに前記基準部位ベクトルに垂直なベクトルを求める処理と、
前記基準部位ベクトルに垂直なベクトルと、前記参照部位ベクトルと、に基づいて前記方向基準ベクトルを求める処理と、
を含む
請求項２に記載の姿勢推定システム。
【請求項4】
前記参照部位ベクトルが示す部位は足であり、
前記基準部位は体幹である
請求項１に記載の姿勢推定システム。
前記基準部位は体幹である
請求項１に記載の姿勢推定システム。
【請求項5】
前記可動部位は太腿である
請求項４に記載の姿勢推定システム。
請求項４に記載の姿勢推定システム。
【請求項6】
前記可動部位は上腕である
請求項４に記載の姿勢推定システム。
請求項４に記載の姿勢推定システム。
【請求項7】
前記参照部位ベクトルが示す部位は肩であり、
前記基準部位は体幹である
請求項１に記載の姿勢推定システム。
前記基準部位は体幹である
請求項１に記載の姿勢推定システム。
【請求項8】
前記可動部位は太腿である
請求項７に記載の姿勢推定システム。
請求項７に記載の姿勢推定システム。
【請求項9】
前記可動部位は上腕である
請求項７に記載の姿勢推定システム。
請求項７に記載の姿勢推定システム。
【請求項10】
基準部位、および関節を介して前記基準部位に繋がる可動部位を有する対象者の姿勢を姿勢推定する姿勢推定方法であって、
前記対象者を撮像した画像から得られる複数の関節点に基づいて、前記対象者の部位を示す複数の部位ベクトルを取得するステップと、
前記複数の部位ベクトルのうちの前記基準部位を示す基準部位ベクトルと、前記複数の部位ベクトルのうちの前記可動部位を示す可動部位ベクトルと、がなすベクトル間角度を求めるステップと、
前記可動部位の可動範囲を平面視したときにおいて、前記基準部位ベクトルに直交する方向を有する方向基準ベクトルを前記複数の部位ベクトルのうちの参照部位ベクトルに基づいて求めるステップと、
前記ベクトル間角度、前記可動部位ベクトル、および前記方向基準ベクトルに基づいて、前記関節における前記可動部位と前記基準部位との間の関節角度を求めるステップと、
を含む
姿勢推定方法。
前記対象者を撮像した画像から得られる複数の関節点に基づいて、前記対象者の部位を示す複数の部位ベクトルを取得するステップと、
前記複数の部位ベクトルのうちの前記基準部位を示す基準部位ベクトルと、前記複数の部位ベクトルのうちの前記可動部位を示す可動部位ベクトルと、がなすベクトル間角度を求めるステップと、
前記可動部位の可動範囲を平面視したときにおいて、前記基準部位ベクトルに直交する方向を有する方向基準ベクトルを前記複数の部位ベクトルのうちの参照部位ベクトルに基づいて求めるステップと、
前記ベクトル間角度、前記可動部位ベクトル、および前記方向基準ベクトルに基づいて、前記関節における前記可動部位と前記基準部位との間の関節角度を求めるステップと、
を含む
姿勢推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、姿勢推定システム、および姿勢推定方法に関する。
【背景技術】
【0002】
特許文献１には、機械学習を利用して、人物の画像データから前記人物における骨格モデルおよび各部の関節点を推定し、姿勢推定を行う技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２３－０１５５９８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
骨格モデルによって姿勢推定を行う場合、人物における複数の関節点および複数の関節点を繋ぐ部位を示すベクトルを求め、関節を介して互いに可動する２つの部位同士の間で両者のベクトルがなす角度を求め、関節角度を推定することがある。
例えば、図７に示すように、歩行中の人物の股関節の角度を求めようとすると、体幹部分を示すベクトル１００と、大腿部を示すベクトル１０２と、の角度を求めることになる。
例えば、図７に示すように、歩行中の人物の股関節の角度を求めようとすると、体幹部分を示すベクトル１００と、大腿部を示すベクトル１０２と、の角度を求めることになる。
【0005】
ここで、２つのベクトルがなす角度は、ベクトルの内積の関係を利用して求めるため、０度から１８０度の範囲の値を採る。
このため、２つのベクトルがなす角度に基づいて大腿部の関節角度を求めようとすると、大腿部が人物の前方側に位置しているのか、人物の後方側に位置しているのかを判定することができないおそれがあり、姿勢推定の精度を低下させる要因となっていた。
このため、２つのベクトルがなす角度に基づいて大腿部の関節角度を求めようとすると、大腿部が人物の前方側に位置しているのか、人物の後方側に位置しているのかを判定することができないおそれがあり、姿勢推定の精度を低下させる要因となっていた。
【課題を解決するための手段】
【0006】
実施形態である姿勢推定システムは、基準部位、および関節を介して前記基準部位に繋がる可動部位を有する対象者の姿勢を推定するシステムである。姿勢推定システムは、前記対象者を撮像した画像から得られる複数の関節点に基づいて、前記対象者の部位を示す複数の部位ベクトルを取得する処理と、前記複数の部位ベクトルのうちの前記基準部位を示す基準部位ベクトルと、前記複数の部位ベクトルのうちの前記可動部位を示す可動部位ベクトルと、がなすベクトル間角度を求める処理と、前記可動部位の可動範囲を平面視したときにおいて、前記基準部位ベクトルに直交する方向を有する方向基準ベクトルを前記複数の部位ベクトルのうちの参照部位ベクトルに基づいて求める処理と、前記ベクトル間角度、前記可動部位ベクトル、および前記方向基準ベクトルに基づいて、前記関節における前記可動部位と前記基準部位との間の関節角度を求める処理と、を実行する処理部を備える。
【0007】
また、他の観点から見た本実施形態は、姿勢推定方法である。この姿勢推定方法は、基準部位、および関節を介して前記基準部位に繋がる可動部位を有する対象者の姿勢を姿勢推定する。姿勢推定方法は、前記対象者を撮像した画像から得られる複数の関節点に基づいて、前記対象者の部位を示す複数の部位ベクトルを取得するステップと、前記複数の部位ベクトルのうちの前記基準部位を示す基準部位ベクトルと、前記複数の部位ベクトルのうちの前記可動部位を示す可動部位ベクトルと、がなすベクトル間角度を求めるステップと、前記可動部位の可動範囲を平面視したときにおいて、前記基準部位ベクトルに直交する方向を有する方向基準ベクトルを前記複数の部位ベクトルのうちの参照部位ベクトルに基づいて求めるステップと、前記ベクトル間角度、前記可動部位ベクトル、および前記方向基準ベクトルに基づいて、前記関節における前記可動部位と前記基準部位との間の関節角度を求めるステップと、を含む。
【発明の効果】
【0008】
本開示によれば、姿勢推定の精度の低下を抑制することができる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
最初に実施形態の内容を列記して説明する。
［実施形態の概要］
（１）実施形態である姿勢推定システムは、基準部位、および関節を介して前記基準部位に繋がる可動部位を有する対象者の姿勢を推定するシステムである。姿勢推定システムは、前記対象者を撮像した画像から得られる複数の関節点に基づいて、前記対象者の部位を示す複数の部位ベクトルを取得する処理と、前記複数の部位ベクトルのうちの前記基準部位を示す基準部位ベクトルと、前記複数の部位ベクトルのうちの前記可動部位を示す可動部位ベクトルと、がなすベクトル間角度を求める処理と、前記可動部位の可動範囲を平面視したときにおいて、前記基準部位ベクトルに直交する方向を有する方向基準ベクトルを前記複数の部位ベクトルのうちの参照部位ベクトルに基づいて求める処理と、前記ベクトル間角度、前記可動部位ベクトル、および前記方向基準ベクトルに基づいて、前記関節における前記可動部位と前記基準部位との間の関節角度を求める処理と、を実行する処理部を備える。
［実施形態の概要］
（１）実施形態である姿勢推定システムは、基準部位、および関節を介して前記基準部位に繋がる可動部位を有する対象者の姿勢を推定するシステムである。姿勢推定システムは、前記対象者を撮像した画像から得られる複数の関節点に基づいて、前記対象者の部位を示す複数の部位ベクトルを取得する処理と、前記複数の部位ベクトルのうちの前記基準部位を示す基準部位ベクトルと、前記複数の部位ベクトルのうちの前記可動部位を示す可動部位ベクトルと、がなすベクトル間角度を求める処理と、前記可動部位の可動範囲を平面視したときにおいて、前記基準部位ベクトルに直交する方向を有する方向基準ベクトルを前記複数の部位ベクトルのうちの参照部位ベクトルに基づいて求める処理と、前記ベクトル間角度、前記可動部位ベクトル、および前記方向基準ベクトルに基づいて、前記関節における前記可動部位と前記基準部位との間の関節角度を求める処理と、を実行する処理部を備える。
【0011】
上記システムによれば、基準部位ベクトルに直交する方向を有する方向基準ベクトルを求めるので、方向基準ベクトルと、可動部位ベクトルと、に基づいて、可動部位ベクトルの可動方向（可動位置）を特定することができる。
この結果、基準部位ベクトルおよび可動部位ベクトルから関節角度を求める際に、基準部位に対する可動部位の可動方向を加味することができ、関節角度を精度よく求めることができる。
この結果、姿勢推定の精度低下を抑制することができる。
この結果、基準部位ベクトルおよび可動部位ベクトルから関節角度を求める際に、基準部位に対する可動部位の可動方向を加味することができ、関節角度を精度よく求めることができる。
この結果、姿勢推定の精度低下を抑制することができる。
【0012】
（２）上記システムにおいて、前記参照部位ベクトルは、前記複数の部位ベクトルのうち、前記可動部位の可動範囲を平面視したときにおいて、前記基準部位の長手方向に対して交差する方向に延びる部位のベクトルであることが好ましい。
この場合、方向基準ベクトルを好適に求めることができる。
この場合、方向基準ベクトルを好適に求めることができる。
【0013】
（３）上記システムにおいて、前記方向基準ベクトルを求める処理は、前記基準部位ベクトルおよび前記可動部位ベクトルに基づいて、前記可動部位の可動範囲を平面視したときに前記基準部位ベクトルに垂直なベクトルを求める処理と、前記基準部位ベクトルに垂直なベクトルと、前記参照部位ベクトルと、に基づいて前記方向基準ベクトルを求める処理と、を含むことが好ましい。
この場合、参照部位ベクトルの他、基準部位ベクトルおよび可動部位ベクトルを用いて方向基準ベクトルを求めることができる。
この場合、参照部位ベクトルの他、基準部位ベクトルおよび可動部位ベクトルを用いて方向基準ベクトルを求めることができる。
【0014】
（４）上記システムにおいて、前記参照部位ベクトルが示す部位は足であり、前記基準部位は体幹であってもよい。
この場合、対象者の前後方向に可動する可動部位の角度について好適に求めることができる。
（５）この場合、前記可動部位は太腿であってもよい。
（６）また、前記可動部位は上腕であってもよい。
この場合、対象者の前後方向に可動する可動部位の角度について好適に求めることができる。
（５）この場合、前記可動部位は太腿であってもよい。
（６）また、前記可動部位は上腕であってもよい。
【0015】
（７）上記システムにおいて、前記参照部位ベクトルが示す部位は肩であり、前記基準部位は体幹であってもよい。
この場合、対象者の左右方向に可動する可動部位の角度について好適に求めることができる。
（８）この場合、前記可動部位は太腿であってもよい。
（９）また、前記可動部位は上腕であってもよい。
この場合、対象者の左右方向に可動する可動部位の角度について好適に求めることができる。
（８）この場合、前記可動部位は太腿であってもよい。
（９）また、前記可動部位は上腕であってもよい。
【0016】
（１０）また、他の観点から見た本実施形態は、姿勢推定方法である。この姿勢推定方法は、基準部位、および関節を介して前記基準部位に繋がる可動部位を有する対象者の姿勢を姿勢推定する。姿勢推定方法は、前記対象者を撮像した画像から得られる複数の関節点に基づいて、前記対象者の部位を示す複数の部位ベクトルを取得するステップと、前記複数の部位ベクトルのうちの前記基準部位を示す基準部位ベクトルと、前記複数の部位ベクトルのうちの前記可動部位を示す可動部位ベクトルと、がなすベクトル間角度を求めるステップと、前記可動部位の可動範囲を平面視したときにおいて、前記基準部位ベクトルに直交する方向を有する方向基準ベクトルを前記複数の部位ベクトルのうちの参照部位ベクトルに基づいて求めるステップと、前記ベクトル間角度、前記可動部位ベクトル、および前記方向基準ベクトルに基づいて、前記関節における前記可動部位と前記基準部位との間の関節角度を求めるステップと、を含む。
【0017】
［実施形態の詳細］
以下、好ましい実施形態について図面を参照しつつ説明する。
〔全体構成について〕
図１は、実施形態に係る姿勢推定システムの全体構成を示す図である。
実施形態に係る姿勢推定システム１は、対象者を撮像し、撮像した動画または静止画に基づいて対象者の姿勢推定を行うシステムである。
以下、好ましい実施形態について図面を参照しつつ説明する。
〔全体構成について〕
図１は、実施形態に係る姿勢推定システムの全体構成を示す図である。
実施形態に係る姿勢推定システム１は、対象者を撮像し、撮像した動画または静止画に基づいて対象者の姿勢推定を行うシステムである。
【0018】
姿勢推定システム１は、複数のカメラ２と、処理装置４と、を備える。
複数のカメラ２は、それぞれ、ＣＣＤ素子やＣＭＯＳ素子等の撮像素子およびレンズ等の光学機構を有しており、所定の撮像範囲を撮像し動画または静止画等の画像データを生成する機能を有する。カメラ２は、撮像範囲内の対象者Ｔを被写体とし、対象者Ｔが撮像された画像データを生成する。カメラ２は、脚３によって支持されており、対象者Ｔの身長の１／２程度の高さに設置される。これにより、対象者Ｔを撮像する際のカメラ２の撮像方向は、ほぼ水平となる。
カメラ２は、処理装置４に通信可能に接続されている。カメラ２が生成する画像データは、処理装置４へ与えられる。
複数のカメラ２は、それぞれ、ＣＣＤ素子やＣＭＯＳ素子等の撮像素子およびレンズ等の光学機構を有しており、所定の撮像範囲を撮像し動画または静止画等の画像データを生成する機能を有する。カメラ２は、撮像範囲内の対象者Ｔを被写体とし、対象者Ｔが撮像された画像データを生成する。カメラ２は、脚３によって支持されており、対象者Ｔの身長の１／２程度の高さに設置される。これにより、対象者Ｔを撮像する際のカメラ２の撮像方向は、ほぼ水平となる。
カメラ２は、処理装置４に通信可能に接続されている。カメラ２が生成する画像データは、処理装置４へ与えられる。
【0019】
処理装置４は、処理部６と、記憶部８と、入出力部１０と、を備えるコンピュータ等により構成される。
処理部６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等からなる。
処理部６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等からなる。
【0020】
記憶部８は、例えば、フラッシュメモリ、ハードディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等である。
記憶部８には、処理部６に実行させるためのコンピュータプログラムや、必要な情報が記憶されている。処理部６は、記憶部８のようなコンピュータ読み取り可能な非一過性の記録媒体に記憶されたコンピュータプログラムを実行することで、処理部６が有する各種処理機能を実現する。
記憶部８には、処理部６に実行させるためのコンピュータプログラムや、必要な情報が記憶されている。処理部６は、記憶部８のようなコンピュータ読み取り可能な非一過性の記録媒体に記憶されたコンピュータプログラムを実行することで、処理部６が有する各種処理機能を実現する。
【0021】
入出力部１０は、入力デバイスと、出力デバイスと、を含む。入力デバイスは処理装置４のオペレータによる操作を受け付ける機能を有する。入力デバイスには、キーボードやマウス、タッチパネル等が含まれる。出力デバイスは、処理装置４による処理に関する各種情報を外部へ向けて出力する機能を有する。出力デバイスには、モニタや、プリンタ、タッチパネル、スピーカ等が含まれる。
【0022】
〔姿勢推定システムを用いた姿勢推定について〕
図２は、姿勢推定システム１を用いた姿勢推定の手順を示すフローチャートである。
姿勢推定において、まず、オペレータは、複数のカメラ２を用いて対象者Ｔを撮像する（図２中、ステップＳ１）。
対象者Ｔを撮像することで複数のカメラ２が生成する画像データは、上述のように、処理装置４へ与えられる。
対象者Ｔが撮像された画像データが与えられると、処理装置４の処理部６は、画像データに含まれる画像から対象者Ｔの像を特定し、対象者Ｔの像に基づいて、対象者Ｔの骨格を推定し、さらに推定した骨格から複数の関節点を推定する（図２中、ステップＳ２）。
処理部６は、機械学習を利用した手法を用いて、対象者Ｔの骨格および関節点の推定を行う。骨格および関節点の推定手法としては、オープンポーズ等が挙げられる。
処理部６は、対象者Ｔの頭、首、肩、腕、腰、大腿、足等の部位を推定し、さらに各部位が繋がる関節点を推定する。
図２は、姿勢推定システム１を用いた姿勢推定の手順を示すフローチャートである。
姿勢推定において、まず、オペレータは、複数のカメラ２を用いて対象者Ｔを撮像する（図２中、ステップＳ１）。
対象者Ｔを撮像することで複数のカメラ２が生成する画像データは、上述のように、処理装置４へ与えられる。
対象者Ｔが撮像された画像データが与えられると、処理装置４の処理部６は、画像データに含まれる画像から対象者Ｔの像を特定し、対象者Ｔの像に基づいて、対象者Ｔの骨格を推定し、さらに推定した骨格から複数の関節点を推定する（図２中、ステップＳ２）。
処理部６は、機械学習を利用した手法を用いて、対象者Ｔの骨格および関節点の推定を行う。骨格および関節点の推定手法としては、オープンポーズ等が挙げられる。
処理部６は、対象者Ｔの頭、首、肩、腕、腰、大腿、足等の部位を推定し、さらに各部位が繋がる関節点を推定する。
【0023】
図３は、処理部６が推定する複数の関節点を示す図である。
処理部６により推定される関節点は、図３に示すように、頭部関節点２０、左肩関節点２１、右肩関節点２２、左肘関節点２３、右肘関節点２４、左手首関節点２５、右手首関節点２６、左股関節点（左臀部関節点）２７、右股関節点（右臀部関節点）２８、左膝関節点２９、右膝関節点３０、左足首関節点３１、右足首関節点３２、左爪先関節点３３、右爪先関節点３４、左踵関節点３５、および、右踵関節点３６を含む。
処理部６により推定される関節点は、図３に示すように、頭部関節点２０、左肩関節点２１、右肩関節点２２、左肘関節点２３、右肘関節点２４、左手首関節点２５、右手首関節点２６、左股関節点（左臀部関節点）２７、右股関節点（右臀部関節点）２８、左膝関節点２９、右膝関節点３０、左足首関節点３１、右足首関節点３２、左爪先関節点３３、右爪先関節点３４、左踵関節点３５、および、右踵関節点３６を含む。
【0024】
処理部６は、複数の関節点の位置情報として座標を得る。
さらに、処理部６は、複数の関節点に基づいて複数の部位ベクトルを取得する（図２中、ステップＳ３）。
複数の部位ベクトルは、対象者Ｔを構成する複数の部位を示す方向ベクトルである。
処理部６は、複数の関節点の座標に基づいて、対象者Ｔの部位によって繋がる関節点間のベクトルを部位ベクトルとして求める。
図３中の部位ベクトルは、図に示す矢印の方向に向くベクトルである。
さらに、処理部６は、複数の関節点に基づいて複数の部位ベクトルを取得する（図２中、ステップＳ３）。
複数の部位ベクトルは、対象者Ｔを構成する複数の部位を示す方向ベクトルである。
処理部６は、複数の関節点の座標に基づいて、対象者Ｔの部位によって繋がる関節点間のベクトルを部位ベクトルとして求める。
図３中の部位ベクトルは、図に示す矢印の方向に向くベクトルである。
【0025】
図３に示すように、処理部６によって取得される部位ベクトルは、左上腕ベクトル４１、右上腕ベクトル４２、左前腕ベクトル４３、右前腕ベクトル４４、左大腿ベクトル４５、右大腿ベクトル４６、左脛ベクトル４７、右脛ベクトル４８、左足ベクトル４９、および、右足ベクトル５０を含む。
【0026】
さらに、処理部６は、左肩関節点２１と、右肩関節点２２と、の第１中点５２を求める。また、処理部６は、左臀部関節点２７と、右臀部関節点２８と、の第２中点５４を求める。
処理部６は、第１中点５２と、第２中点５４と、とを繋ぐベクトルを体幹ベクトル５６として求める。体幹ベクトル５６は、対象者Ｔの体幹を示す部位ベクトルである。なお、体幹とは、対象者Ｔの頭、首、腕、脚以外の胴体部分をいう。
また、処理部６は、第１中点５２と、左肩関節点２１と、を繋ぐベクトルを左肩ベクトル５７として求める。左肩ベクトル５７は、対象者Ｔの左肩を示す部位ベクトルである。
処理部６は、第１中点５２と、右肩関節点２２と、を繋ぐベクトルを右肩ベクトル５８として求める。右肩ベクトル５８は、対象者Ｔの右肩を示す部位ベクトルである。
処理部６は、第１中点５２と、第２中点５４と、とを繋ぐベクトルを体幹ベクトル５６として求める。体幹ベクトル５６は、対象者Ｔの体幹を示す部位ベクトルである。なお、体幹とは、対象者Ｔの頭、首、腕、脚以外の胴体部分をいう。
また、処理部６は、第１中点５２と、左肩関節点２１と、を繋ぐベクトルを左肩ベクトル５７として求める。左肩ベクトル５７は、対象者Ｔの左肩を示す部位ベクトルである。
処理部６は、第１中点５２と、右肩関節点２２と、を繋ぐベクトルを右肩ベクトル５８として求める。右肩ベクトル５８は、対象者Ｔの右肩を示す部位ベクトルである。
【0027】
なお、以下の説明では、各図中、互いに直交する３方向をＸ方向、Ｙ方向、およびＺ方向とする。また、図３に示すように、Ｘ方向のうちの一方向をＸ１方向、Ｘ１方向の反対方向をＸ２方向とする。Ｙ方向のうちの一方向をＹ１方向、Ｙ１方向の反対方向をＹ２方向とする。Ｚ方向のうちの一方向をＺ１方向、Ｚ１方向の反対方向をＺ２方向とする。
また、以下の説明では、体幹ベクトル５６は、Ｙ方向に平行であるものとし、左肩ベクトル５７および右肩ベクトル５８はＺ方向に平行であるものとし、第２中点、左臀部関節点２７、および右臀部関節点２８は、Ｚ方向に沿って一直線上に並んでいるものとする。
つまり、Ｘ方向、Ｙ方向、およびＺ方向は、対象者Ｔを基準とした方向であり、対象者Ｔの体幹ベクトル５６、左肩ベクトル５７および右肩ベクトル５８に基づいて定まる。
例えば、Ｘ１方向は、対象者Ｔから見て前方向（アンテリア方向）である。Ｘ２方向は、対象者Ｔからにて後方向（ポステリア方向）である。
また、Ｘ－Ｙ平面は、サジタル面、Ｙ－Ｚ平面は、コロナル面である。
また、以下の説明では、体幹ベクトル５６は、Ｙ方向に平行であるものとし、左肩ベクトル５７および右肩ベクトル５８はＺ方向に平行であるものとし、第２中点、左臀部関節点２７、および右臀部関節点２８は、Ｚ方向に沿って一直線上に並んでいるものとする。
つまり、Ｘ方向、Ｙ方向、およびＺ方向は、対象者Ｔを基準とした方向であり、対象者Ｔの体幹ベクトル５６、左肩ベクトル５７および右肩ベクトル５８に基づいて定まる。
例えば、Ｘ１方向は、対象者Ｔから見て前方向（アンテリア方向）である。Ｘ２方向は、対象者Ｔからにて後方向（ポステリア方向）である。
また、Ｘ－Ｙ平面は、サジタル面、Ｙ－Ｚ平面は、コロナル面である。
【0028】
図２に示すように、複数の部位ベクトルを取得すると、処理部６は、姿勢推定処理を行う（図２中、ステップＳ４）。処理部６は、複数の部位ベクトルを用いて、対象者Ｔの姿勢を推定する。
処理部６は、関節を介して繋がる２つの部位の間の関節角度の推定値を求める処理（関節角度推定処理）を行い、対象者Ｔの姿勢を推定する。
処理部６は、関節を介して繋がる２つの部位の間の関節角度の推定値を求める処理（関節角度推定処理）を行い、対象者Ｔの姿勢を推定する。
【0029】
複数のカメラ２が生成する画像データが動画である場合、処理部６は、動画に含まれる複数の静止画像のうちの一部または全部について上述のステップＳ２～Ｓ４の処理を行い、対象者Ｔの姿勢を推定する。
【0030】
ステップＳ４にて対象者Ｔの姿勢を推定すると、処理部６は、姿勢の推定結果を、入出力部１０を介して、オペレータへ出力し（図２中、ステップＳ５）、処理を終える。
【0031】
〔関節角度推定処理について〕
上述のように、図２中の姿勢推定処理では、処理部６は、関節角度の推定値を求める関節角度推定処理を行う。
図４は、関節角度推定処理の一例を示すフローチャートである。
関節角度推定処理において、処理部６は、基準部位と、可動部位との間の関節角度の推定値を求める。
基準部位とは、可動部位の動作の基準となる部位である。可動部位とは、関節を介して基準部位に繋がる部位である。
処理部６は、可動部位ベクトルの先端の位置を特定し、可動部位ベクトルの先端の位置に基づいて関節角度の推定値を求める。なお以下の説明では、関節角度の推定値は、単に関節角度ともいうことがある。
上述のように、図２中の姿勢推定処理では、処理部６は、関節角度の推定値を求める関節角度推定処理を行う。
図４は、関節角度推定処理の一例を示すフローチャートである。
関節角度推定処理において、処理部６は、基準部位と、可動部位との間の関節角度の推定値を求める。
基準部位とは、可動部位の動作の基準となる部位である。可動部位とは、関節を介して基準部位に繋がる部位である。
処理部６は、可動部位ベクトルの先端の位置を特定し、可動部位ベクトルの先端の位置に基づいて関節角度の推定値を求める。なお以下の説明では、関節角度の推定値は、単に関節角度ともいうことがある。
【0032】
関節角度推定処理において、処理部６は、まず、基準部位ベクトルに垂直なベクトルを求める（図４中、ステップＳ１１）。
処理部６は、基準部位ベクトルと、可動部位ベクトルとに基づいて、可動部位の可動範囲を平面視したときに基準部位ベクトルに垂直なベクトルを求める。なお、基準部位ベクトルとは、基準部位を示すベクトルである。また、可動部位ベクトルとは、可動部位を示すベクトルである。
可動部位の可動範囲を平面視するとは、可動範囲を含む面の法線方向から前記面における部位およびベクトル等を見ることをいう。
処理部６は、基準部位ベクトルと、可動部位ベクトルとに基づいて、可動部位の可動範囲を平面視したときに基準部位ベクトルに垂直なベクトルを求める。なお、基準部位ベクトルとは、基準部位を示すベクトルである。また、可動部位ベクトルとは、可動部位を示すベクトルである。
可動部位の可動範囲を平面視するとは、可動範囲を含む面の法線方向から前記面における部位およびベクトル等を見ることをいう。
【0033】
基準部位ベクトルに垂直なベクトルを求めると、処理部６は、ステップＳ１２へ進み、方向基準ベクトルを求める。方向基準ベクトルは、基準部位ベクトルに直交する方向を有するベクトルであり、可動部位ベクトルの可動方向（可動位置）を特定するためのベクトルである。
処理部６は、基準部位ベクトルに垂直なベクトルと、参照部位ベクトルと、に基づいて方向基準ベクトルを求める。参照部位ベクトルは、複数の部位ベクトルのうち、可動部位の可動範囲を平面視したときにおいて、基準部位の長手方向に対して交差する方向に延びる部位のベクトルである。
処理部６は、基準部位ベクトルに垂直なベクトルと、参照部位ベクトルと、に基づいて方向基準ベクトルを求める。参照部位ベクトルは、複数の部位ベクトルのうち、可動部位の可動範囲を平面視したときにおいて、基準部位の長手方向に対して交差する方向に延びる部位のベクトルである。
【0034】
方向基準ベクトルを求めると、処理部６は、ステップＳ１３へ進み、ベクトル間角度を求める。ベクトル間角度とは、基準部位ベクトルと、可動部位ベクトルと、がなす角度である。
ベクトル間角度を求めた処理部６は、ステップＳ１４へ進み、ベクトル間角度、可動部位ベクトル、および方向基準ベクトルに基づいて、関節角度を求め、処理を終える。
ベクトル間角度を求めた処理部６は、ステップＳ１４へ進み、ベクトル間角度、可動部位ベクトル、および方向基準ベクトルに基づいて、関節角度を求め、処理を終える。
【0035】
〔Ｘ－Ｙ面上における股関節の関節角度推定処理〕
次に、上述の関節角度推定処理について、より具体的に説明する。
ここでは、まず、歩行中の対象者Ｔを側面（Ｚ１方向）から撮像した画像に基づいて関節角度を求める場合における関節角度推定処理について説明する。
次に、上述の関節角度推定処理について、より具体的に説明する。
ここでは、まず、歩行中の対象者Ｔを側面（Ｚ１方向）から撮像した画像に基づいて関節角度を求める場合における関節角度推定処理について説明する。
【0036】
図５は、対象者Ｔを側面から見たときの部位ベクトルの一部を示す図である。図５は、対象者ＴをＺ１方向から撮像したときの画像に基づいて、関節点および部位ベクトルを取得した場合を示している。つまり、図５では、Ｘ－Ｙ平面における関節点および部位ベクトルを示している。
【0037】
図５では、対象者ＴがＸ１方向（前方）へ歩行しているときの対象者Ｔの体幹ベクトル５６、左上腕ベクトル４１、左大腿ベクトル４５、左足ベクトル４９、および右足ベクトル５０を示している。
以下、処理部６が、関節角度推定処理によって、左股関節の関節角度θｈｉｐｌを求める場合について説明する。関節角度θｈｉｐｌは、図５に示すように、Ｘ－Ｙ平面における、対象者Ｔの体幹６０と、股関節６１を介して体幹６０に繋がる左大腿部６２と、の間の関節角度である。
つまり、ここでは、体幹６０を基準部位、左大腿部６２を可動部位としたときの、体幹６０と、左大腿部６２と、の間の股関節における関節角度の推定値を処理部６が求める場合について説明する。
なお、左大腿部６２はＸ－Ｙ平面に沿って可動範囲を有している。よって、図５は、左大腿部６２の可動範囲を平面視している。
以下、処理部６が、関節角度推定処理によって、左股関節の関節角度θｈｉｐｌを求める場合について説明する。関節角度θｈｉｐｌは、図５に示すように、Ｘ－Ｙ平面における、対象者Ｔの体幹６０と、股関節６１を介して体幹６０に繋がる左大腿部６２と、の間の関節角度である。
つまり、ここでは、体幹６０を基準部位、左大腿部６２を可動部位としたときの、体幹６０と、左大腿部６２と、の間の股関節における関節角度の推定値を処理部６が求める場合について説明する。
なお、左大腿部６２はＸ－Ｙ平面に沿って可動範囲を有している。よって、図５は、左大腿部６２の可動範囲を平面視している。
【0038】
まず、処理部６は、Ｘ－Ｙ平面上において、体幹ベクトル５６（基準部位ベクトル）に垂直なベクトルを求める（図４中、ステップＳ１１）。
処理部６は、下記式（１）に基づいて、体幹ベクトル５６に垂直なベクトルｎを求める。なお、本明細書では、ベクトルを表す文字上の矢印を省略し、ベクトルという文字によってベクトルであることを表すことがある。
処理部６は、下記式（１）に基づいて、体幹ベクトル５６に垂直なベクトルｎを求める。なお、本明細書では、ベクトルを表す文字上の矢印を省略し、ベクトルという文字によってベクトルであることを表すことがある。
【0039】
【数1】
・・・（１）
【0040】
式（１）中、ｄｓｐｉｎｅは体幹ベクトル５６、ｄｔｈｇｈｌは、左大腿ベクトル４５である。ベクトルｎは、体幹ベクトル５６に垂直であるが、Ｘ１方向を向いているのか、Ｘ２方向を向いているのかは不明である。
【0041】
次いで、処理部６は、方向基準ベクトルａを求める（図４中、ステップＳ１１）。
方向基準ベクトルａは、左大腿ベクトル４５（可動部位ベクトル）の先端の位置を特定するためのベクトルである。
処理部６は、ベクトルｎと、参照部位ベクトルとに基づいて、方向基準ベクトルａを求める。
関節角度θｈｉｐｌを求める場合、処理部６は、左足ベクトル４９および右足ベクトル５０から求められる足ベクトルｄｆｏｏｔを参照部位ベクトルとして用いる。足ベクトルｄｆｏｏｔは、下記式（２）のように表される。
方向基準ベクトルａは、左大腿ベクトル４５（可動部位ベクトル）の先端の位置を特定するためのベクトルである。
処理部６は、ベクトルｎと、参照部位ベクトルとに基づいて、方向基準ベクトルａを求める。
関節角度θｈｉｐｌを求める場合、処理部６は、左足ベクトル４９および右足ベクトル５０から求められる足ベクトルｄｆｏｏｔを参照部位ベクトルとして用いる。足ベクトルｄｆｏｏｔは、下記式（２）のように表される。
【0042】
【数2】
【0043】
式（２）中、ｄｌｆｏｏｔは左足ベクトル４９、ｄｒｆｏｏｔは右足ベクトル５０である。式（２）に示すように、左足ベクトル４９および右足ベクトル５０の平均が足ベクトルｄｆｏｏｔである。
左足ベクトル４９および右足ベクトル５０は、上記式（３）（４）のように表される。
式（３）中、ｐｌｔｏｅは、左爪先関節点３３の位置ベクトル、ｐｌｈｅｅｌは、左踵関節点３５の位置ベクトル、式（４）中、ｐｒｔｏｅは、右爪先関節点３４の位置ベクトル、ｐｒｈｅｅｌは、右踵関節点３６の位置ベクトルである。
図５に示すように、左足ベクトル４９および右足ベクトル５０は、対象者ＴのＸ１方向側（前側）を向くベクトルである。この場合、左足ベクトル４９および右足ベクトル５０は、対象者ＴのＸ２方向側（後側）を向くことはほぼない。このため、足ベクトルｄｆｏｏｔは、対象者ＴのＸ１方向側を示している。
このように、参照部位ベクトルである足ベクトルｄｆｏｏｔは、左大腿部６２の可動範囲を平面視したときにおいて、体幹６０の長手方向に対して交差する方向に延びる部位である左足６４および右足６６のベクトルである。
左足ベクトル４９および右足ベクトル５０は、上記式（３）（４）のように表される。
式（３）中、ｐｌｔｏｅは、左爪先関節点３３の位置ベクトル、ｐｌｈｅｅｌは、左踵関節点３５の位置ベクトル、式（４）中、ｐｒｔｏｅは、右爪先関節点３４の位置ベクトル、ｐｒｈｅｅｌは、右踵関節点３６の位置ベクトルである。
図５に示すように、左足ベクトル４９および右足ベクトル５０は、対象者ＴのＸ１方向側（前側）を向くベクトルである。この場合、左足ベクトル４９および右足ベクトル５０は、対象者ＴのＸ２方向側（後側）を向くことはほぼない。このため、足ベクトルｄｆｏｏｔは、対象者ＴのＸ１方向側を示している。
このように、参照部位ベクトルである足ベクトルｄｆｏｏｔは、左大腿部６２の可動範囲を平面視したときにおいて、体幹６０の長手方向に対して交差する方向に延びる部位である左足６４および右足６６のベクトルである。
【0044】
次いで、処理部６は、下記式（５）に示すように、ベクトルｎと、足ベクトルｄｆｏｏｔと、の内積αを求める。
【0045】
【数3】
・・・（５）
【0046】
ここで、足ベクトルｄｆｏｏｔは、対象者ＴのＸ１方向側を示している。また、ベクトルｎは、体幹ベクトル５６に垂直なベクトルである。
よって、内積αが０以上の場合、ベクトルｎと、足ベクトルｄｆｏｏｔとの角度は０度から９０度の範囲であることが判る。よって、この場合、処理部６は、ベクトルｎが対象者ＴのＸ１方向側を向いていると判定する。
逆に、内積αが０より小さい場合、ベクトルｎと、足ベクトルｄｆｏｏｔとの角度は９０度から１８０度の範囲とあることが判る。よって、この場合、処理部６は、ベクトルｎが対象者ＴのＸ２方向側を向いていると判定することができる。
つまり、内積αは、ベクトルｎの方向を示している。
よって、内積αが０以上の場合、ベクトルｎと、足ベクトルｄｆｏｏｔとの角度は０度から９０度の範囲であることが判る。よって、この場合、処理部６は、ベクトルｎが対象者ＴのＸ１方向側を向いていると判定する。
逆に、内積αが０より小さい場合、ベクトルｎと、足ベクトルｄｆｏｏｔとの角度は９０度から１８０度の範囲とあることが判る。よって、この場合、処理部６は、ベクトルｎが対象者ＴのＸ２方向側を向いていると判定することができる。
つまり、内積αは、ベクトルｎの方向を示している。
【0047】
次いで、処理部６は、下記式（６）に示すように、内積αと、ベクトルｎと、に基づいて、方向基準ベクトルａを求める（図４中、ステップＳ１２）。
【0048】
【数4】
・・・（６）
【0049】
内積αが０以上である場合（ベクトルｎが対象者ＴのＸ１方向側を向いている場合）、処理部６は、ベクトルｎをそのまま方向基準ベクトルａとする。
内積αが０より小さい場合（ベクトルｎが対象者ＴのＸ２方向側を向いている場合）、処理部６は、ベクトルｎを反転させて方向基準ベクトルａを得る。
これにより、方向基準ベクトルａは、左上腕部７２の可動範囲を平面視したときにおいて、体幹ベクトル５６に垂直かつ対象者ＴのＸ１方向側（前側）を向くベクトルとして得られる。
内積αが０より小さい場合（ベクトルｎが対象者ＴのＸ２方向側を向いている場合）、処理部６は、ベクトルｎを反転させて方向基準ベクトルａを得る。
これにより、方向基準ベクトルａは、左上腕部７２の可動範囲を平面視したときにおいて、体幹ベクトル５６に垂直かつ対象者ＴのＸ１方向側（前側）を向くベクトルとして得られる。
【0050】
次いで、処理部６は、ベクトル間角度を求める（図４中、ステップＳ１３）。
処理部６は、下記式（７）に基づいて、ベクトル間角度θｔｌを求める。
処理部６は、下記式（７）に基づいて、ベクトル間角度θｔｌを求める。
【0051】
【数5】
・・・（７）
【0052】
ベクトル間角度θｔｌを求めると、処理部６は、関節角度θｈｉｐｌを求める（図４中、ステップＳ１４）。
処理部６は、まず、下記式（８）に示すように、方向基準ベクトルａと、左大腿ベクトル４５と、の内積βｌを求める。
処理部６は、まず、下記式（８）に示すように、方向基準ベクトルａと、左大腿ベクトル４５と、の内積βｌを求める。
【0053】
【数6】
・・・（８）
【0054】
内積βｌが０以上の場合、方向基準ベクトルａと、左大腿ベクトル４５と、の角度は０度から９０度の範囲であることが判る。よって、この場合、処理部６は、左大腿ベクトル４５の向きがＸ１方向側（前側）であるか、または、左大腿ベクトル４５と体幹ベクトル５６とが同一直線上に位置していると特定することができる。
逆に、内積βｌが０より小さい場合、方向基準ベクトルａと、左大腿ベクトル４５と、の角度は９０度から１８０度の範囲であることが判る。よって、この場合、処理部６は、左大腿ベクトル４５の向きがＸ２方向側（後側）であると特定することができる。
逆に、内積βｌが０より小さい場合、方向基準ベクトルａと、左大腿ベクトル４５と、の角度は９０度から１８０度の範囲であることが判る。よって、この場合、処理部６は、左大腿ベクトル４５の向きがＸ２方向側（後側）であると特定することができる。
【0055】
なお、左大腿ベクトル４５の向きがＸ１方向側（前側）である場合とは、左大腿ベクトル４５の先端の位置が体幹ベクトル５６よりもＸ１方向側である場合をいう。また、左大腿ベクトル４５の向きがＸ２方向側（後側）である場合とは、左大腿ベクトル４５の先端の位置が体幹ベクトル５６よりもＸ２方向側である場合をいう。
【0056】
次いで、処理部６は、下記式（９）に基づいて、関節角度θｈｉｐｌを求める。
【0057】
【数7】
・・・（９）
【0058】
式（９）では、内積βｌが０以上の場合、処理部６は、ベクトル間角度θｔｌをそのまま、関節角度θｈｉｐｌとし、内積βｌが０より小さい場合、正負を反転させたベクトル間角度θｔｌを関節角度θｈｉｐｌとする。
つまり、処理部６は、左大腿部６２が体幹ベクトル５６を基準に対象者ＴのＸ１方向側（前側）に位置する場合、ベクトル間角度θｔｌを関節角度θｈｉｐｌとし、左大腿部６２が体幹ベクトル５６を基準に対象者ＴのＸ２方向側（後側）に位置する場合、正負を反転させたベクトル間角度θｔｌを関節角度θｈｉｐｌとする。
つまり、処理部６は、左大腿部６２が体幹ベクトル５６を基準に対象者ＴのＸ１方向側（前側）に位置する場合、ベクトル間角度θｔｌを関節角度θｈｉｐｌとし、左大腿部６２が体幹ベクトル５６を基準に対象者ＴのＸ２方向側（後側）に位置する場合、正負を反転させたベクトル間角度θｔｌを関節角度θｈｉｐｌとする。
【0059】
このように、処理部６は、対象者Ｔの左大腿部６２が対象者ＴのＸ１方向側（前側）に位置しているのか、Ｘ２方向側（後側）に位置しているのか、を把握することができ、関節角度θｈｉｐｌを精度良く求めることができる。
【0060】
本実施形態によれば、体幹ベクトル５６（基準部位ベクトル）に直交する方向を有する方向基準ベクトルａを求めるので、方向基準ベクトルａと、左大腿ベクトル４５（可動部位ベクトル）と、に基づいて、左大腿ベクトル４５の可動方向（可動位置）を特定することができる。
この結果、体幹ベクトル５６および左大腿ベクトル４５から関節角度θｈｉｐｌを求める際に、体幹６０に対する左大腿部６２の可動方向を加味することができ、関節角度θｈｉｐｌを精度よく求めることができる。
この結果、姿勢推定の精度低下を抑制することができる。
この結果、体幹ベクトル５６および左大腿ベクトル４５から関節角度θｈｉｐｌを求める際に、体幹６０に対する左大腿部６２の可動方向を加味することができ、関節角度θｈｉｐｌを精度よく求めることができる。
この結果、姿勢推定の精度低下を抑制することができる。
【0061】
また、上述の例では、参照部位ベクトルである足ベクトルｄｆｏｏｔが示す部位は足であり、基準部位は体幹６０であるので、対象者Ｔの前後方向に可動する可動部位の角度について好適に求めることができる。
【0062】
〔Ｘ－Ｙ面上における肩関節の関節角度推定処理〕
次に、処理部６が、関節角度推定処理によって、左肩関節の関節角度θｓｈｌｌを求める場合について説明する。関節角度θｓｈｌｌは、図５に示すように、Ｘ－Ｙ平面における、対象者Ｔの体幹６０と、左肩関節７０を介して体幹６０に繋がる左上腕部７２と、の間の関節角度である。
つまり、ここでは、体幹６０を基準部位、左上腕部７２を可動部位としたときの、体幹６０と、左上腕部７２と、の間の肩関節における関節角度の推定値を処理部６が求める場合について説明する。
次に、処理部６が、関節角度推定処理によって、左肩関節の関節角度θｓｈｌｌを求める場合について説明する。関節角度θｓｈｌｌは、図５に示すように、Ｘ－Ｙ平面における、対象者Ｔの体幹６０と、左肩関節７０を介して体幹６０に繋がる左上腕部７２と、の間の関節角度である。
つまり、ここでは、体幹６０を基準部位、左上腕部７２を可動部位としたときの、体幹６０と、左上腕部７２と、の間の肩関節における関節角度の推定値を処理部６が求める場合について説明する。
【0063】
関節角度θｓｈｌｌを求める場合、大腿部と同様、上腕部はＸ－Ｙ平面に沿って可動範囲を有している。よって、図５は、上腕部の可動範囲を平面視している。
よって、処理部６は、股関節の関節角度θｈｉｐｌを求めたときに用いた方向基準ベクトルａを、肩関節の関節角度θｓｈｌｌを求める場合にも用いることができる。
従って、関節角度θｓｈｌｌを求める場合、処理部６は、上述のステップＳ１１、Ｓ１２と同様の処理を行い、方向基準ベクトルａを求める。
よって、処理部６は、股関節の関節角度θｈｉｐｌを求めたときに用いた方向基準ベクトルａを、肩関節の関節角度θｓｈｌｌを求める場合にも用いることができる。
従って、関節角度θｓｈｌｌを求める場合、処理部６は、上述のステップＳ１１、Ｓ１２と同様の処理を行い、方向基準ベクトルａを求める。
【0064】
次いで、処理部６は、ベクトル間角度を求める（図４中、ステップＳ１３）。
処理部６は、下記式（１０）に基づいて、ベクトル間角度θｕｌを求める。
処理部６は、下記式（１０）に基づいて、ベクトル間角度θｕｌを求める。
【0065】
【数8】
・・・（１０）
【0066】
ベクトル間角度θｕｌを求めると、処理部６は、関節角度θｓｈｌｌを求める（図４中、ステップＳ１４）。
処理部６は、下記式（１１）に示すように、方向基準ベクトルａと、左上腕ベクトル４１と、の内積γｌを求める。
処理部６は、下記式（１１）に示すように、方向基準ベクトルａと、左上腕ベクトル４１と、の内積γｌを求める。
【0067】
【数9】
・・・（１１）
【0068】
式（１１）中、ｄｕａｒｍｌは、左上腕ベクトル４１である。
内積γｌが０以上の場合、方向基準ベクトルａと、左上腕ベクトル４１と、の角度は０度から９０度の範囲であることが判る。よって、この場合、処理部６は、左上腕ベクトル４１の向きがＸ１方向側（前側）であるか、または、左上腕ベクトル４１と体幹ベクトル５６とが同一直線上に位置していると特定することができる。
逆に、内積γｌが０より小さい場合、方向基準ベクトルａと、左上腕ベクトル４１と、の角度は９０度から１８０度の範囲であることが判る。よって、この場合、処理部６は、左上腕ベクトル４１の向きがＸ２方向側（後側）であると特定することができる。
内積γｌが０以上の場合、方向基準ベクトルａと、左上腕ベクトル４１と、の角度は０度から９０度の範囲であることが判る。よって、この場合、処理部６は、左上腕ベクトル４１の向きがＸ１方向側（前側）であるか、または、左上腕ベクトル４１と体幹ベクトル５６とが同一直線上に位置していると特定することができる。
逆に、内積γｌが０より小さい場合、方向基準ベクトルａと、左上腕ベクトル４１と、の角度は９０度から１８０度の範囲であることが判る。よって、この場合、処理部６は、左上腕ベクトル４１の向きがＸ２方向側（後側）であると特定することができる。
【0069】
次いで、処理部６は、下記式（１２）に基づいて、関節角度θｓｈｌｌを求める。
【0070】
【数10】
・・・（１２）
【0071】
式（１２）では、内積γｌが０以上の場合、処理部６は、ベクトル間角度θｕｌをそのまま、関節角度θｓｈｌｌとし、内積γｌが０より小さい場合、正負を反転させたベクトル間角度θｕｌを関節角度θｓｈｌｌとする。
つまり、処理部６は、左上腕部７２が体幹ベクトル５６を基準に対象者ＴのＸ１方向側（前側）に位置する場合、ベクトル間角度θｕｌを関節角度θｓｈｌｌとし、左上腕部７２が体幹ベクトル５６を基準に対象者ＴのＸ２方向側（後側）に位置する場合、正負を反転させたベクトル間角度θｕｌを関節角度θｓｈｌｌとする。
つまり、処理部６は、左上腕部７２が体幹ベクトル５６を基準に対象者ＴのＸ１方向側（前側）に位置する場合、ベクトル間角度θｕｌを関節角度θｓｈｌｌとし、左上腕部７２が体幹ベクトル５６を基準に対象者ＴのＸ２方向側（後側）に位置する場合、正負を反転させたベクトル間角度θｕｌを関節角度θｓｈｌｌとする。
【0072】
この場合も、処理部６は、対象者Ｔの左上腕部７２が対象者ＴのＸ１方向側（前側）に位置しているのか、Ｘ２方向側（後側）に位置しているのか、を把握することができ、関節角度θｓｈｌｌを精度良く求めることができる。
【0073】
また、上述の例では、参照部位ベクトルである左肩ベクトル５７が示す部位は肩であり、基準部位は体幹６０であるので、対象者Ｔの左右方向に可動する可動部位の角度について好適に求めることができる。
【0074】
〔Ｙ－Ｚ面上における股関節の関節角度推定処理〕
次に、対象者Ｔを正面（Ｘ１方向）から撮像した画像に基づいて関節角度を求める場合における関節角度推定処理について説明する。
次に、対象者Ｔを正面（Ｘ１方向）から撮像した画像に基づいて関節角度を求める場合における関節角度推定処理について説明する。
【0075】
図６は、対象者Ｔを正面から見たときの部位ベクトルの一部を示す図である。図６は、対象者ＴをＸ１方向から撮像したときの画像に基づいて、関節点および部位ベクトルを取得した場合を示している。つまり、図６では、Ｙ－Ｚ平面における関節点および部位ベクトルを示している。
【0076】
図６では、対象者Ｔが体幹６０を傾斜させて左上腕部７２および左大腿部６２を上方へ上げた状態で立っているときの体幹ベクトル５６、左上腕ベクトル４１、左大腿ベクトル４５、および左肩ベクトル５７を示している。
以下、処理部６が、関節角度推定処理によって、左股関節の関節角度ψｈｉｐｌを求める場合について説明する。関節角度ψｈｉｐｌは、図６に示すように、Ｙ－Ｚ平面における、対象者Ｔの体幹６０と、股関節６１を介して体幹６０に繋がる左大腿部６２と、の間の関節角度である。
つまり、ここでは、体幹６０を基準部位、左大腿部６２を可動部位としたときの、体幹６０と、左大腿部６２と、の間の股関節における関節角度を処理部６が求める場合について説明する。
なお、左大腿部６２はＹ－Ｚ平面に沿って可動範囲を有している。よって、図６は、左大腿部６２の可動範囲を平面視している。
以下、処理部６が、関節角度推定処理によって、左股関節の関節角度ψｈｉｐｌを求める場合について説明する。関節角度ψｈｉｐｌは、図６に示すように、Ｙ－Ｚ平面における、対象者Ｔの体幹６０と、股関節６１を介して体幹６０に繋がる左大腿部６２と、の間の関節角度である。
つまり、ここでは、体幹６０を基準部位、左大腿部６２を可動部位としたときの、体幹６０と、左大腿部６２と、の間の股関節における関節角度を処理部６が求める場合について説明する。
なお、左大腿部６２はＹ－Ｚ平面に沿って可動範囲を有している。よって、図６は、左大腿部６２の可動範囲を平面視している。
【0077】
まず、処理部６は、Ｙ－Ｚ平面上において、体幹ベクトル５６（基準部位ベクトル）に垂直なベクトルｎを求める（図４中、ステップＳ１１）。
ここでのベクトルｎは、Ｙ－Ｚ平面上のベクトルである。処理部６は、体幹ベクトル５６に垂直なベクトルｎを求める。処理部６は、ベクトルｎを上述の式（１）に準じて求める。つまり、処理部６は、体幹ベクトル５６および左大腿ベクトル４５を用いて、ベクトルｎを求める。
ベクトルｎは、体幹ベクトル５６に垂直であるが、Ｚ２方向を向いているのか、Ｚ１方向を向いているのかは不明である。
ここでのベクトルｎは、Ｙ－Ｚ平面上のベクトルである。処理部６は、体幹ベクトル５６に垂直なベクトルｎを求める。処理部６は、ベクトルｎを上述の式（１）に準じて求める。つまり、処理部６は、体幹ベクトル５６および左大腿ベクトル４５を用いて、ベクトルｎを求める。
ベクトルｎは、体幹ベクトル５６に垂直であるが、Ｚ２方向を向いているのか、Ｚ１方向を向いているのかは不明である。
【0078】
次いで、処理部６は、方向基準ベクトルａを求める（図４中、ステップＳ１１）。ここでの方向基準ベクトルａは、Ｙ－Ｚ平面上のベクトルである。
処理部６は、ベクトルｎと、参照部位ベクトルとに基づいて、方向基準ベクトルａを求める。
関節角度ψｈｉｐｌを求める場合、処理部６は、左肩ベクトル５７を参照部位ベクトルとして用いる。
処理部６は、ベクトルｎと、参照部位ベクトルとに基づいて、方向基準ベクトルａを求める。
関節角度ψｈｉｐｌを求める場合、処理部６は、左肩ベクトル５７を参照部位ベクトルとして用いる。
【0079】
左肩ベクトル５７は、第１中点５２から、左肩関節点２１へ向かうベクトルである。左肩ベクトル５７は、対象者ＴのＺ２方向側を示している。
このように、参照部位ベクトルである左肩ベクトル５７は、左上腕部７２の可動範囲を平面視したときにおいて、体幹６０の長手方向に対して交差する方向に延びる部位のベクトルである。
このように、参照部位ベクトルである左肩ベクトル５７は、左上腕部７２の可動範囲を平面視したときにおいて、体幹６０の長手方向に対して交差する方向に延びる部位のベクトルである。
【0080】
次いで、処理部６は、下記式（１３）に示すように、ベクトルｎと、左肩ベクトル５７と、の内積αを求める。
【0081】
【数11】
・・・（１３）
【0082】
ここで、ｄｓｈｌｌは、左肩ベクトル５７を示しており、対象者ＴのＺ２方向側を示している。また、ベクトルｎは、体幹ベクトル５６に垂直なベクトルである。
よって、内積αが０以上の場合、ベクトルｎと、左肩ベクトル５７との角度は０度から９０度の範囲であることが判る。よって、この場合、処理部６は、ベクトルｎが対象者ＴのＺ２方向側を向いていると判定する。
逆に、内積αが０より小さい場合、ベクトルｎと、左肩ベクトル５７との角度は９０度から１８０度の範囲とあることが判る。よって、この場合、処理部６は、ベクトルｎが対象者ＴのＺ１方向側を向いていると判定することができる。
よって、内積αが０以上の場合、ベクトルｎと、左肩ベクトル５７との角度は０度から９０度の範囲であることが判る。よって、この場合、処理部６は、ベクトルｎが対象者ＴのＺ２方向側を向いていると判定する。
逆に、内積αが０より小さい場合、ベクトルｎと、左肩ベクトル５７との角度は９０度から１８０度の範囲とあることが判る。よって、この場合、処理部６は、ベクトルｎが対象者ＴのＺ１方向側を向いていると判定することができる。
【0083】
次いで、処理部６は、下記式（１４）に示すように、内積αと、ベクトルｎと、に基づいて、方向基準ベクトルｌｌを求める（図４中、ステップＳ１２）。
【0084】
【数12】
・・・（１４）
【0085】
内積αが０以上である場合（ベクトルｎが対象者ＴのＺ２方向側を向いている場合）、処理部６は、ベクトルｎをそのまま方向基準ベクトルｌｌとする。
内積αが０より小さい場合（ベクトルｎが対象者ＴのＺ１方向側を向いている場合）、処理部６は、ベクトルｎを反転させて方向基準ベクトルｌｌを得る。
これにより、方向基準ベクトルｌｌは、左上腕部７２の可動範囲を平面視したときにおいて、体幹ベクトル５６に垂直かつ対象者ＴのＺ２方向側（左側）を向くベクトルとして得られる。
内積αが０より小さい場合（ベクトルｎが対象者ＴのＺ１方向側を向いている場合）、処理部６は、ベクトルｎを反転させて方向基準ベクトルｌｌを得る。
これにより、方向基準ベクトルｌｌは、左上腕部７２の可動範囲を平面視したときにおいて、体幹ベクトル５６に垂直かつ対象者ＴのＺ２方向側（左側）を向くベクトルとして得られる。
【0086】
次いで、処理部６は、ベクトル間角度を求める（図４中、ステップＳ１３）。
処理部６は、下記式（１５）に基づいて、ベクトル間角度ψｌを求める。
処理部６は、下記式（１５）に基づいて、ベクトル間角度ψｌを求める。
【0087】
【数13】
・・・（１５）
【0088】
ベクトル間角度ψｔｌを求めると、処理部６は、関節角度ψｈｉｐｌを求める（図４中、ステップＳ１４）。
処理部６は、まず、下記式（１６）に示すように、方向基準ベクトルｌｌと、左大腿ベクトル４５と、の内積βｌを求める。
処理部６は、まず、下記式（１６）に示すように、方向基準ベクトルｌｌと、左大腿ベクトル４５と、の内積βｌを求める。
【0089】
【数14】
・・・（１６）
【0090】
内積βｌが０以上の場合、方向基準ベクトルｌｌと、左大腿ベクトル４５と、の角度は０度から９０度の範囲であることが判る。よって、この場合、処理部６は、左大腿ベクトル４５の向きがＺ２方向側（左側）であるか、または、左大腿ベクトル４５と体幹ベクトル５６とが同一直線上に位置していると特定することができる。
逆に、内積βｌが０より小さい場合、方向基準ベクトルｌｌと、左大腿ベクトル４５と、の角度は９０度から１８０度の範囲であることが判る。よって、この場合、処理部６は、左大腿ベクトル４５の向きがＺ１方向側（右側）であると特定することができる。
逆に、内積βｌが０より小さい場合、方向基準ベクトルｌｌと、左大腿ベクトル４５と、の角度は９０度から１８０度の範囲であることが判る。よって、この場合、処理部６は、左大腿ベクトル４５の向きがＺ１方向側（右側）であると特定することができる。
【0091】
なお、左大腿ベクトル４５の向きがＺ２方向側（左側）である場合とは、左大腿ベクトル４５の先端の位置が、体幹ベクトル５６に平行かつ左臀部関節点２７を通過する仮想直線よりもＺ２方向側である場合をいう。また、左大腿ベクトル４５の向きがＺ１方向側（右側）である場合とは、左大腿ベクトル４５の先端の位置が前記仮想直線よりもＺ１方向側である場合をいう。
【0092】
次いで、処理部６は、下記式（１７）に基づいて、関節角度ψｈｉｐｌを求める。
【0093】
【数15】
・・・（１７）
【0094】
式（１７）では、内積βｌが０以上の場合、処理部６は、ベクトル間角度ψｔｌをそのまま、関節角度ψｈｉｐｌとし、内積βｌが０より小さい場合、正負を反転させたベクトル間角度ψｔｌを関節角度ψｈｉｐｌとする。
つまり、処理部６は、左大腿部６２が体幹ベクトル５６を基準に対象者ＴのＺ２方向側（左側）に位置する場合、ベクトル間角度ψｔｌを関節角度ψｈｉｐｌとし、左大腿部６２が体幹ベクトル５６を基準に対象者ＴのＺ１方向側（右側）に位置する場合、正負を反転させたベクトル間角度ψｔｌを関節角度ψｈｉｐｌとする。
つまり、処理部６は、左大腿部６２が体幹ベクトル５６を基準に対象者ＴのＺ２方向側（左側）に位置する場合、ベクトル間角度ψｔｌを関節角度ψｈｉｐｌとし、左大腿部６２が体幹ベクトル５６を基準に対象者ＴのＺ１方向側（右側）に位置する場合、正負を反転させたベクトル間角度ψｔｌを関節角度ψｈｉｐｌとする。
【0095】
このように、処理部６は、対象者Ｔの左大腿部６２が対象者ＴのＺ２方向側（左側）に位置しているのか、Ｚ１方向側（右側）に位置しているのか、を把握することができ、関節角度ψｈｉｐｌを精度良く求めることができる。
【0096】
〔Ｙ－Ｚ面上における肩関節の関節角度推定処理〕
次に、処理部６が、関節角度推定処理によって、左肩関節の関節角度ψｓｈｌｌを求める場合について説明する。関節角度ψｓｈｌｌは、図６に示すように、Ｙ－Ｚ平面における、対象者Ｔの体幹６０と、左肩関節７０を介して体幹６０に繋がる左上腕部７２と、の間の関節角度である。
つまり、ここでは、体幹６０を基準部位、左上腕部７２を可動部位としたときの、体幹６０と、左上腕部７２と、の間の肩関節における関節角度の推定値を処理部６が求める場合について説明する。
次に、処理部６が、関節角度推定処理によって、左肩関節の関節角度ψｓｈｌｌを求める場合について説明する。関節角度ψｓｈｌｌは、図６に示すように、Ｙ－Ｚ平面における、対象者Ｔの体幹６０と、左肩関節７０を介して体幹６０に繋がる左上腕部７２と、の間の関節角度である。
つまり、ここでは、体幹６０を基準部位、左上腕部７２を可動部位としたときの、体幹６０と、左上腕部７２と、の間の肩関節における関節角度の推定値を処理部６が求める場合について説明する。
【0097】
関節角度ψｓｈｌｌを求める場合、大腿部と同様、上腕部はＹ－Ｚ平面に沿って可動範囲を有している。よって、図６は、上腕部の可動範囲を平面視している。
よって、処理部６は、股関節の関節角度ψｈｉｐｌを求めたときに用いた方向基準ベクトルａを、肩関節の関節角度ψｓｈｌｌを求める場合にも用いることができる。
よって、処理部６は、股関節の関節角度ψｈｉｐｌを求めたときに用いた方向基準ベクトルａを、肩関節の関節角度ψｓｈｌｌを求める場合にも用いることができる。
【0098】
処理部６は、ベクトル間角度を求める（図４中、ステップＳ１３）。
処理部６は、下記式（１８）に基づいて、ベクトル間角度ψｕｌを求める。
処理部６は、下記式（１８）に基づいて、ベクトル間角度ψｕｌを求める。
【0099】
【数16】
・・・（１８）
【0100】
ベクトル間角度ψｕｌを求めると、処理部６は、関節角度ψｓｈｌｌを求める（図４中、ステップＳ１４）。
まず、処理部６は、下記式（１９）に示すように、方向基準ベクトルｌｌと、左上腕ベクトル４１と、の内積γｌを求める。
まず、処理部６は、下記式（１９）に示すように、方向基準ベクトルｌｌと、左上腕ベクトル４１と、の内積γｌを求める。
【0101】
【数17】
・・・（１９）
【0102】
式（１９）中、ｄｕａｒｍｌは、左上腕ベクトル４１である。
内積γｌが０以上の場合、方向基準ベクトルｌｌと、左上腕ベクトル４１と、の角度は０度から９０度の範囲であることが判る。よって、この場合、処理部６は、左上腕ベクトル４１の向きがＺ２方向側（左側）であるか、または、左上腕ベクトル４１と体幹ベクトル５６とが同一直線上に位置していると特定することができる。
逆に、内積γｌが０より小さい場合、方向基準ベクトルｌｌと、左上腕ベクトル４１と、の角度は９０度から１８０度の範囲であることが判る。よって、この場合、処理部６は、左上腕ベクトル４１の向きがＺ１方向側（右側）であると特定することができる。
内積γｌが０以上の場合、方向基準ベクトルｌｌと、左上腕ベクトル４１と、の角度は０度から９０度の範囲であることが判る。よって、この場合、処理部６は、左上腕ベクトル４１の向きがＺ２方向側（左側）であるか、または、左上腕ベクトル４１と体幹ベクトル５６とが同一直線上に位置していると特定することができる。
逆に、内積γｌが０より小さい場合、方向基準ベクトルｌｌと、左上腕ベクトル４１と、の角度は９０度から１８０度の範囲であることが判る。よって、この場合、処理部６は、左上腕ベクトル４１の向きがＺ１方向側（右側）であると特定することができる。
【0103】
次いで、処理部６は、下記式（２０）に基づいて、関節角度ψｓｈｌｌを求める。
【0104】
【数18】
・・・（２０）
【0105】
式（２０）では、内積γｌが０以上の場合、処理部６は、ベクトル間角度ψｕｌをそのまま、関節角度ψｓｈｌｌとし、内積γｌが０より小さい場合、正負を反転させたベクトル間角度ψｕｌを関節角度ψｓｈｌｌとする。
つまり、処理部６は、左上腕部７２が体幹ベクトル５６を基準に対象者ＴのＺ２方向側（左側）に位置する場合、ベクトル間角度ψｕｌを関節角度ψｓｈｌｌとし、左上腕部７２が体幹ベクトル５６を基準に対象者ＴのＺ１方向側（右側）に位置する場合、正負を反転させたベクトル間角度ψｕｌを関節角度ψｓｈｌｌとする。
つまり、処理部６は、左上腕部７２が体幹ベクトル５６を基準に対象者ＴのＺ２方向側（左側）に位置する場合、ベクトル間角度ψｕｌを関節角度ψｓｈｌｌとし、左上腕部７２が体幹ベクトル５６を基準に対象者ＴのＺ１方向側（右側）に位置する場合、正負を反転させたベクトル間角度ψｕｌを関節角度ψｓｈｌｌとする。
【0106】
この場合も、処理部６は、対象者Ｔの左上腕部７２が対象者ＴのＺ２方向側（左側）に位置しているのか、Ｚ１方向側（右側）に位置しているのか、を把握することができ、関節角度ψｓｈｌｌを精度良く求めることができる。
【0107】
なお、Ｙ－Ｚ平面における右股関節の関節角度および右肩関節の関節角度を求める場合、処理部６は、図６中、方向基準ベクトルｌｒを求める。処理部６は、方向基準ベクトルｌｒを用いることで、右股関節の関節角度および右肩関節の関節角度を求めることができる。
【0108】
〔その他〕
今回開示した実施形態はすべての点で例示であって制限的なものではない。
上記実施形態では、体幹６０に対する左大腿部６２および左上腕部７２の角度を求めた場合を例示したが、体幹６０に対する右大腿部および右上腕部の関節角度も、同様の処理によって求めることができる。
さらに、上腕部と前腕部との間の関節角度や、大腿部と脛部との間の関節角度も、同様の処理によって求めることができる。
今回開示した実施形態はすべての点で例示であって制限的なものではない。
上記実施形態では、体幹６０に対する左大腿部６２および左上腕部７２の角度を求めた場合を例示したが、体幹６０に対する右大腿部および右上腕部の関節角度も、同様の処理によって求めることができる。
さらに、上腕部と前腕部との間の関節角度や、大腿部と脛部との間の関節角度も、同様の処理によって求めることができる。
【0109】
本発明の権利範囲は、上述の実施形態に限定されるものではなく、特許請求の範囲に記載された構成と均等の範囲内でのすべての変更が含まれる。
【符号の説明】
【0110】
１ 姿勢推定システム
６ 処理部
Ｔ 対象者
６ 処理部
Ｔ 対象者
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】