(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023085658
(43)【公開日】2023-06-21
(54)【発明の名称】特徴点位置推定装置、特徴点位置推定方法及びプログラム
(51)【国際特許分類】
A61B 5/11 20060101AFI20230614BHJP
G01B 21/00 20060101ALI20230614BHJP
【ＦＩ】
A61B5/11 230
G01B21/00 E
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2021199806
(22)【出願日】2021-12-09
(71)【出願人】
【識別番号】000101558
【氏名又は名称】アニマ株式会社
(74)【代理人】
【識別番号】100103137
【弁理士】
【氏名又は名称】稲葉 滋
(74)【代理人】
【識別番号】100145838
【弁理士】
【氏名又は名称】畑添 隆人
(74)【代理人】
【識別番号】100216367
【弁理士】
【氏名又は名称】水谷 梨絵
(72)【発明者】
【氏名】牛久保 智宏
【テーマコード（参考）】
2F069
4C038
【Ｆターム（参考）】
2F069AA04
2F069AA71
2F069GG07
2F069NN16
4C038VA04
4C038VB02
4C038VB11
4C038VB12
4C038VB13
4C038VB14
4C038VB16
4C038VB35
4C038VC05
(57)【要約】 （修正有）
【課題】身体特徴点の位置を推定する。
【解決手段】対象物の対象の体節に位置する所定の身体特徴点の３次元座標値を推定する特徴点位置推定装置に、対象物の対象の体節の第一側の位置を特定する第一身体特徴点及び第二側の位置を特定する第二身体特徴点の３次元座標値と、対象物の複数の体表点の３次元座標値を入力する位置入力部と、第一身体特徴点を通る３次元空間での平面であって、第一身体特徴点と第二身体特徴点を結ぶ直線に垂直な平面を算出する平面算出部と、複数の体表点のうち平面からの距離が所定範囲内である複数の平面上体表点を抽出する抽出部と、複数の平面上体表点を３次元空間上の楕円である空間楕円に近似する近似部と、所定の身体特徴点が空間楕円上のどの位置に存在するかを示す条件を入力する条件入力部と、空間楕円と条件に基づき所定の身体特徴点の３次元座標値を推定する位置推定部とを備えた。
【選択図】図２
【解決手段】対象物の対象の体節に位置する所定の身体特徴点の３次元座標値を推定する特徴点位置推定装置に、対象物の対象の体節の第一側の位置を特定する第一身体特徴点及び第二側の位置を特定する第二身体特徴点の３次元座標値と、対象物の複数の体表点の３次元座標値を入力する位置入力部と、第一身体特徴点を通る３次元空間での平面であって、第一身体特徴点と第二身体特徴点を結ぶ直線に垂直な平面を算出する平面算出部と、複数の体表点のうち平面からの距離が所定範囲内である複数の平面上体表点を抽出する抽出部と、複数の平面上体表点を３次元空間上の楕円である空間楕円に近似する近似部と、所定の身体特徴点が空間楕円上のどの位置に存在するかを示す条件を入力する条件入力部と、空間楕円と条件に基づき所定の身体特徴点の３次元座標値を推定する位置推定部とを備えた。
【選択図】図２
【特許請求の範囲】
【請求項1】
対象物の対象の体節に位置する所定の身体特徴点の３次元座標値を推定する特徴点位置推定装置であって、
前記対象物の前記対象の体節の第一側の位置を特定する第一身体特徴点及び第二側の位置を特定する第二身体特徴点の３次元座標値と、該対象物の複数の体表点の３次元座標値を入力する位置入力手段と、
前記第一身体特徴点を通る３次元空間での平面であって、該第一身体特徴点と前記第二身体特徴点を結ぶ直線に垂直な平面を、前記第一身体特徴点及び前記第二身体特徴点の３次元座標値を用いて算出する平面算出手段と、
前記複数の体表点のうち前記平面からの距離が所定範囲内である複数の平面上体表点を抽出する抽出手段と、
前記複数の平面上体表点の３次元座標値を用いて、該複数の平面上体表点を、３次元空間上の楕円である空間楕円に近似する近似手段と、
前記所定の身体特徴点が前記空間楕円上のどの位置に存在するかを示す条件を入力する条件入力手段と、
前記空間楕円と前記条件に基づき、前記所定の身体特徴点の３次元座標値を推定する位置推定手段と、
を備える、特徴点位置推定装置。
前記対象物の前記対象の体節の第一側の位置を特定する第一身体特徴点及び第二側の位置を特定する第二身体特徴点の３次元座標値と、該対象物の複数の体表点の３次元座標値を入力する位置入力手段と、
前記第一身体特徴点を通る３次元空間での平面であって、該第一身体特徴点と前記第二身体特徴点を結ぶ直線に垂直な平面を、前記第一身体特徴点及び前記第二身体特徴点の３次元座標値を用いて算出する平面算出手段と、
前記複数の体表点のうち前記平面からの距離が所定範囲内である複数の平面上体表点を抽出する抽出手段と、
前記複数の平面上体表点の３次元座標値を用いて、該複数の平面上体表点を、３次元空間上の楕円である空間楕円に近似する近似手段と、
前記所定の身体特徴点が前記空間楕円上のどの位置に存在するかを示す条件を入力する条件入力手段と、
前記空間楕円と前記条件に基づき、前記所定の身体特徴点の３次元座標値を推定する位置推定手段と、
を備える、特徴点位置推定装置。
【請求項2】
前記近似手段は、前記空間楕円上の点の３次元座標値を取得可能な方程式を求める、
請求項１に記載の特徴点位置推定装置。
請求項１に記載の特徴点位置推定装置。
【請求項3】
前記条件は、前記第一身体特徴点を通り、該第一身体特徴点と前記第二身体特徴点を結ぶ直線に垂直な平面における対象の体節の体表の形状を楕円で近似すると想定した場合に、前記第三身体特徴点が該楕円のどの位置に存在するかに基づき決定された条件である、
請求項１又は２に記載の特徴点位置推定装置。
請求項１又は２に記載の特徴点位置推定装置。
【請求項4】
前記条件は、前記所定の身体特徴点が、前記空間楕円の頂点の何れかであることを示す条件である、
請求項１～３の何れか一項に記載の特徴点位置推定装置。
請求項１～３の何れか一項に記載の特徴点位置推定装置。
【請求項5】
前記第一身体特徴点及び前記第二身体特徴点の３次元座標値は、対象物の予め定められた身体特徴点の３次元座標値を測定する三次元計測装置において取得された座標値である、
請求項１～４の何れか一項に記載の特徴点位置推定装置。
請求項１～４の何れか一項に記載の特徴点位置推定装置。
【請求項6】
前記第一身体特徴点及び前記第二身体特徴点の３次元座標値と、推定された前記所定の身体特徴点の３次元座標値を用いて、前記対象の体節の直交座標系を生成する座標系生成手段を更に備える、
請求項１～５の何れか一項に記載の特徴点位置推定装置。
請求項１～５の何れか一項に記載の特徴点位置推定装置。
【請求項7】
前記対象の体節の直交座標系と他の直交座標系とのオイラー角を算出することで、前記対象の体節の運動に伴う関節角度を算出する角度算出手段を更に備える、
請求項６に記載の特徴点位置推定装置。
請求項６に記載の特徴点位置推定装置。
【請求項8】
前記対象の体節は、複数の対象の体節のうちの一つであり、
前記位置入力手段、前記平面算出手段、前記近似手段、前記条件入力手段、前記特徴点位置推定手段及び座標系生成手段は夫々、前記対象の体節に加え、複数の対象の体節のうちの該対象の体節とは異なる他の体節について処理を行い、
前記角度算出手段は、前記対象の体節の直交座標系と前記他の体節の直交座標系とのオイラー角を算出することで、該対象の体節の運動に伴う関節角度を算出する、
請求項７に記載の特徴点位置推定装置。
前記位置入力手段、前記平面算出手段、前記近似手段、前記条件入力手段、前記特徴点位置推定手段及び座標系生成手段は夫々、前記対象の体節に加え、複数の対象の体節のうちの該対象の体節とは異なる他の体節について処理を行い、
前記角度算出手段は、前記対象の体節の直交座標系と前記他の体節の直交座標系とのオイラー角を算出することで、該対象の体節の運動に伴う関節角度を算出する、
請求項７に記載の特徴点位置推定装置。
【請求項9】
前記近似手段は、前記空間楕円上の点の３次元座標値を取得可能な方程式として、３次元空間上に移動することで前記空間楕円と一致する２次元空間の楕円の方程式と、該２次元空間の楕円上の点を前記空間楕円上の点に変換する変換方程式を求める、
請求項２に記載の特徴点位置推定装置。
請求項２に記載の特徴点位置推定装置。
【請求項10】
前記位置推定手段は、入力された前記条件に対応する前記２次元空間の楕円上の座標値を前記変換方程式に入力することで、前記所定の身体特徴点の３次元座標値を推定する、
請求項９に記載の特徴点位置推定装置。
請求項９に記載の特徴点位置推定装置。
【請求項11】
前記体節は、足部であり、
前記第一身体特徴点は、つま先であり、
前記第二身体特徴点は、足関節であり、
前記所定の身体特徴点は、前記足部のつま先側の幅方向の端部である、
請求項１～１０の何れか一項に記載の特徴点位置推定装置。
前記第一身体特徴点は、つま先であり、
前記第二身体特徴点は、足関節であり、
前記所定の身体特徴点は、前記足部のつま先側の幅方向の端部である、
請求項１～１０の何れか一項に記載の特徴点位置推定装置。
【請求項12】
前記所定の身体特徴点は、第五中足骨であり、
前記条件は、前記所定の身体特徴点である第五中足骨が、前記空間楕円の長軸の外側方向の頂点であることを示す条件であり、
前記位置推定手段は、前記所定の身体特徴点である第五中足骨の３次元座標値を推定する、
請求項１１に記載の特徴点位置推定装置。
前記条件は、前記所定の身体特徴点である第五中足骨が、前記空間楕円の長軸の外側方向の頂点であることを示す条件であり、
前記位置推定手段は、前記所定の身体特徴点である第五中足骨の３次元座標値を推定する、
請求項１１に記載の特徴点位置推定装置。
【請求項13】
対象物の対象の体節に位置する所定の身体特徴点の３次元座標値を推定するコンピューターが、
前記対象物の前記対象の体節の第一側の位置を特定する第一身体特徴点及び第二側の位置を特定する第二身体特徴点の３次元座標値と、該対象物の複数の体表点の３次元座標値を入力する位置入力ステップと、
前記第一身体特徴点を通る３次元空間での平面であって、該第一身体特徴点と前記第二身体特徴点を結ぶ直線に垂直な平面を、前記第一身体特徴点及び前記第二身体特徴点の３次元座標値を用いて算出する平面算出ステップと、
前記複数の体表点のうち前記平面からの距離が所定範囲内である複数の平面上体表点を抽出する抽出ステップと、
前記複数の平面上体表点の３次元座標値を用いて、該複数の平面上体表点を、３次元空間上の楕円である空間楕円に近似する近似ステップと、
前記所定の身体特徴点が前記空間楕円上のどの位置に存在するかを示す条件を入力する条件入力ステップと、
前記空間楕円と前記条件に基づき、前記所定の身体特徴点の３次元座標値を推定する位置推定ステップと、
を実行する、特徴点位置推定方法。
前記対象物の前記対象の体節の第一側の位置を特定する第一身体特徴点及び第二側の位置を特定する第二身体特徴点の３次元座標値と、該対象物の複数の体表点の３次元座標値を入力する位置入力ステップと、
前記第一身体特徴点を通る３次元空間での平面であって、該第一身体特徴点と前記第二身体特徴点を結ぶ直線に垂直な平面を、前記第一身体特徴点及び前記第二身体特徴点の３次元座標値を用いて算出する平面算出ステップと、
前記複数の体表点のうち前記平面からの距離が所定範囲内である複数の平面上体表点を抽出する抽出ステップと、
前記複数の平面上体表点の３次元座標値を用いて、該複数の平面上体表点を、３次元空間上の楕円である空間楕円に近似する近似ステップと、
前記所定の身体特徴点が前記空間楕円上のどの位置に存在するかを示す条件を入力する条件入力ステップと、
前記空間楕円と前記条件に基づき、前記所定の身体特徴点の３次元座標値を推定する位置推定ステップと、
を実行する、特徴点位置推定方法。
【請求項14】
対象物の対象の体節に位置する所定の身体特徴点の３次元座標値を推定するコンピューターを、
前記対象物の前記対象の体節の第一側の位置を特定する第一身体特徴点及び第二側の位置を特定する第二身体特徴点の３次元座標値と、該対象物の複数の体表点の３次元座標値を入力する位置入力手段と、
前記第一身体特徴点を通る３次元空間での平面であって、該第一身体特徴点と前記第二身体特徴点を結ぶ直線に垂直な平面を、前記第一身体特徴点及び前記第二身体特徴点の３次元座標値を用いて算出する平面算出手段と、
前記複数の体表点のうち前記平面からの距離が所定範囲内である複数の平面上体表点を抽出する抽出手段と、
前記複数の平面上体表点の３次元座標値を用いて、該複数の平面上体表点を、３次元空間上の楕円である空間楕円に近似する近似手段と、
前記所定の身体特徴点が前記空間楕円上のどの位置に存在するかを示す条件を入力する条件入力手段と、
前記空間楕円と前記条件に基づき、前記所定の身体特徴点の３次元座標値を推定する位置推定手段と、
として機能させるためのプログラム。
前記対象物の前記対象の体節の第一側の位置を特定する第一身体特徴点及び第二側の位置を特定する第二身体特徴点の３次元座標値と、該対象物の複数の体表点の３次元座標値を入力する位置入力手段と、
前記第一身体特徴点を通る３次元空間での平面であって、該第一身体特徴点と前記第二身体特徴点を結ぶ直線に垂直な平面を、前記第一身体特徴点及び前記第二身体特徴点の３次元座標値を用いて算出する平面算出手段と、
前記複数の体表点のうち前記平面からの距離が所定範囲内である複数の平面上体表点を抽出する抽出手段と、
前記複数の平面上体表点の３次元座標値を用いて、該複数の平面上体表点を、３次元空間上の楕円である空間楕円に近似する近似手段と、
前記所定の身体特徴点が前記空間楕円上のどの位置に存在するかを示す条件を入力する条件入力手段と、
前記空間楕円と前記条件に基づき、前記所定の身体特徴点の３次元座標値を推定する位置推定手段と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、身体特徴点の位置を推定するための技術に関する。
【背景技術】
【0002】
従来、リハビリテーション医療や整形外科治療等において、被験者の運動を計測し解析するため、モーションキャプチャによる三次元動作解析が行われている。三次元動作解析において運動を評価する手法の一つとして、マーカーレスモーションキャプチャによる動作解析手法が知られている。マーカーレスモーションキャプチャとしては、例えば、距離画像センサ（深度センサ）により赤外線レーザーを対象に照射することで対象までの距離を測定するＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式を用いて、対象までの距離の情報を持つ深度画像（距離画像）を取得し、取得された深度画像から対象の関節位置等を導出（推定）する手法が知られている（非特許文献１）。また、Ｋｉｎｅｃｔ（登録商標）をモーションキャプチャ装置として用いて深度画像から対象の関節位置等を推定する手法は、非特許文献２にも記載されている。
【0003】
マーカーレスモーションキャプチャでは、光学式のモーションキャプチャや慣性式のモーションキャプチャとは異なり、人やモノ等の対象物に対してマーカーやセンサの貼付が不要である。そのため、煩雑な計測準備を行う必要がなく、また、被験者の自然な動きを計測することが可能となるため、マーカーレスモーションキャプチャは様々な場面で有用性の高い手法として用いられている。例えば、マーカーレスモーションキャプチャを用いることで、距離画像に基づき骨格情報を推定する方法が提案されており(特許文献１)、マーカーレスモーションキャプチャの臨床現場での活用も期待されている（非特許文献３）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第6617830号
【非特許文献】
【0005】
【非特許文献1】西林孝，“Kinectの仕組みとナチュラルユーザインタフェース”，映像情報メディア学会誌 Ｖоｌ．６６ Ｎｏ．９ ２０１２，ｐ．７５５－７５９
【非特許文献2】“Azure Kinect DKのドキュメント”，［online］，Microsoft，［令和3年10月27日検索］，インターネット＜URL：https://docs.microsoft.com/ja-jp/azure/Kinect-dk/＞
【非特許文献3】春名弘一，外３名，“マーカーレスモーションキャプチャによる三次元動作解析の応用例”，日本義肢装具学会誌 Ｖоｌ．３５ Ｎｏ．１ ２０１９，ｐ．１７－２３
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述の通り、マーカーレスモーションキャプチャによる動作解析手法では、距離画像センサにより深度画像が取得されることで、対象物（被験者）の関節等の身体特徴点の位置（３次元位置座標）を取得することが可能である。
【0007】
しかし、距離画像センサでは、距離画像センサ内で予め定められた関節や骨等の身体特徴点の位置座標を取得（出力）することが可能である一方、距離画像センサ内で予め定められていない身体特徴点についての位置を取得することは困難である。そのため、距離画像センサ内で定められた身体特徴点の３次元位置座標のみでは、所望する関節角度を算出できない場合があるという問題がある。
【0008】
例えば、下肢においては、通常、距離画像センサ内で予め定められた身体特徴点である膝関節、足関節及びつま先の３次元位置座標が距離画像センサから出力される。これらの身体特徴点の３次元位置座標によれば、投影角を用いて足関節の底屈・背屈の角度及び内転・外転の角度を算出することは可能である一方、足関節の内反・外反の角度を正しく算出することは困難である。足関節の内反・外反の角度を算出するためには、例えば、体節間（体節の座標系間）のオイラー角を用いることが可能である。しかし、足関節とつま先の３次元位置座標しか出力されない足部のように２つの身体特徴点の位置座標しか出力されない体節では、座標系を生成（特定）することができず、オイラー角（内反・外反の角度）を算出することは困難である。
【0009】
本開示は、上記した問題に鑑み、身体特徴点の位置を推定することを課題とする。
【課題を解決するための手段】
【0010】
本開示の一例は、
対象物の対象の体節に位置する所定の身体特徴点の３次元座標値を推定する特徴点位置推定装置であって、
前記対象物の前記対象の体節の第一側の位置を特定する第一身体特徴点及び第二側の位置を特定する第二身体特徴点の３次元座標値と、該対象物の複数の体表点の３次元座標値を入力する位置入力手段と、
前記第一身体特徴点を通る３次元空間での平面であって、該第一身体特徴点と前記第二身体特徴点を結ぶ直線に垂直な平面を、前記第一身体特徴点及び前記第二身体特徴点の３次元座標値を用いて算出する平面算出手段と、
前記複数の体表点のうち前記平面からの距離が所定範囲内である複数の平面上体表点を抽出する抽出手段と、
前記複数の平面上体表点の３次元座標値を用いて、該複数の平面上体表点を、３次元空間上の楕円である空間楕円に近似する近似手段と、
前記所定の身体特徴点が前記空間楕円上のどの位置に存在するかを示す条件を入力する条件入力手段と、
前記空間楕円と前記条件に基づき、前記所定の身体特徴点の３次元座標値を推定する位置推定手段と、
を備える特徴点位置推定装置である。人間の四肢等の体表面は楕円に近似可能であることから、本開示では、体表（体表点の集まり）を楕円により近似することとする。
対象物の対象の体節に位置する所定の身体特徴点の３次元座標値を推定する特徴点位置推定装置であって、
前記対象物の前記対象の体節の第一側の位置を特定する第一身体特徴点及び第二側の位置を特定する第二身体特徴点の３次元座標値と、該対象物の複数の体表点の３次元座標値を入力する位置入力手段と、
前記第一身体特徴点を通る３次元空間での平面であって、該第一身体特徴点と前記第二身体特徴点を結ぶ直線に垂直な平面を、前記第一身体特徴点及び前記第二身体特徴点の３次元座標値を用いて算出する平面算出手段と、
前記複数の体表点のうち前記平面からの距離が所定範囲内である複数の平面上体表点を抽出する抽出手段と、
前記複数の平面上体表点の３次元座標値を用いて、該複数の平面上体表点を、３次元空間上の楕円である空間楕円に近似する近似手段と、
前記所定の身体特徴点が前記空間楕円上のどの位置に存在するかを示す条件を入力する条件入力手段と、
前記空間楕円と前記条件に基づき、前記所定の身体特徴点の３次元座標値を推定する位置推定手段と、
を備える特徴点位置推定装置である。人間の四肢等の体表面は楕円に近似可能であることから、本開示では、体表（体表点の集まり）を楕円により近似することとする。
【0011】
１つの態様では、前記近似手段は、前記空間楕円上の点の３次元座標値を取得可能な方程式を求める。
【0012】
１つの態様では、前記近似手段は、前記空間楕円上の点の３次元座標値を取得可能な方程式として、３次元空間上に移動することで前記空間楕円と一致する２次元空間の楕円の方程式と、該２次元空間の楕円上の点を前記空間楕円上の点に変換する変換方程式を求める。
【0013】
１つの態様では、前記位置推定手段は、入力された前記条件に対応する前記２次元空間の楕円上の座標値を前記変換方程式に入力することで、前記所定の身体特徴点の３次元座標値を推定する。
【0014】
１つの態様では、前記条件は、前記第一身体特徴点を通り、該第一身体特徴点と前記第二身体特徴点を結ぶ直線に垂直な平面における対象の体節の体表の形状を楕円で近似すると想定した場合に、前記第三身体特徴点が該楕円のどの位置に存在するかに基づき決定された条件である。
【0015】
１つの態様では、前記条件は、前記所定の身体特徴点が、前記空間楕円の頂点の何れかであることを示す条件である。
【0016】
１つの態様では、前記第一身体特徴点及び前記第二身体特徴点の３次元座標値は、対象物の予め定められた身体特徴点の３次元座標値を測定する三次元計測装置において取得された座標値である。
【0017】
１つの態様では、前記第一身体特徴点及び前記第二身体特徴点の３次元座標値と、推定された前記所定の身体特徴点の３次元座標値を用いて、前記対象の体節の直交座標系を生成する座標系生成手段を更に備える。
【0018】
１つの態様では、前記対象の体節の直交座標系と他の直交座標系とのオイラー角を算出することで、前記対象の体節の運動に伴う関節角度を算出する角度算出手段を更に備える。
【0019】
１つの態様では、前記対象の体節は、複数の対象の体節のうちの一つであり、
前記位置入力手段、前記平面算出手段、前記近似手段、前記条件入力手段、前記特徴点位置推定手段及び座標系生成手段は夫々、前記対象の体節に加え、複数の対象の体節のうちの該対象の体節とは異なる他の体節について処理を行い、
前記角度算出手段は、前記対象の体節の直交座標系と前記他の体節の直交座標系とのオイラー角を算出することで、該対象の体節の運動に伴う関節角度を算出する。
前記位置入力手段、前記平面算出手段、前記近似手段、前記条件入力手段、前記特徴点位置推定手段及び座標系生成手段は夫々、前記対象の体節に加え、複数の対象の体節のうちの該対象の体節とは異なる他の体節について処理を行い、
前記角度算出手段は、前記対象の体節の直交座標系と前記他の体節の直交座標系とのオイラー角を算出することで、該対象の体節の運動に伴う関節角度を算出する。
【0020】
１つの態様では、前記体節は、足部であり、
前記第一身体特徴点は、つま先であり、
前記第二身体特徴点は、足関節であり、
前記所定の身体特徴点は、前記足部のつま先側の幅方向の端部である。
前記第一身体特徴点は、つま先であり、
前記第二身体特徴点は、足関節であり、
前記所定の身体特徴点は、前記足部のつま先側の幅方向の端部である。
【0021】
１つの態様では、前記所定の身体特徴点は、第五中足骨であり、
前記条件は、前記所定の身体特徴点である第五中足骨が、前記空間楕円の長軸の外側方向の頂点であることを示す条件であり、
前記位置推定手段は、前記所定の身体特徴点である第五中足骨の３次元座標値を推定する。
前記条件は、前記所定の身体特徴点である第五中足骨が、前記空間楕円の長軸の外側方向の頂点であることを示す条件であり、
前記位置推定手段は、前記所定の身体特徴点である第五中足骨の３次元座標値を推定する。
【0022】
本発明は、
対象物の対象の体節に位置する所定の身体特徴点の３次元座標値を推定するコンピューターが、
前記対象物の前記対象の体節の第一側の位置を特定する第一身体特徴点及び第二側の位置を特定する第二身体特徴点の３次元座標値と、該対象物の複数の体表点の３次元座標値を入力する位置入力ステップと、
前記第一身体特徴点を通る３次元空間での平面であって、該第一身体特徴点と前記第二身体特徴点を結ぶ直線に垂直な平面を、前記第一身体特徴点及び前記第二身体特徴点の３次元座標値を用いて算出する平面算出ステップと、
前記複数の体表点のうち前記平面からの距離が所定範囲内である複数の平面上体表点を抽出する抽出ステップと、
前記複数の平面上体表点の３次元座標値を用いて、該複数の平面上体表点を、３次元空間上の楕円である空間楕円に近似する近似ステップと、
前記所定の身体特徴点が前記空間楕円上のどの位置に存在するかを示す条件を入力する条件入力ステップと、
前記空間楕円と前記条件に基づき、前記所定の身体特徴点の３次元座標値を推定する位置推定ステップと、
を実行する特徴点位置推定方法、として規定され得る。
対象物の対象の体節に位置する所定の身体特徴点の３次元座標値を推定するコンピューターが、
前記対象物の前記対象の体節の第一側の位置を特定する第一身体特徴点及び第二側の位置を特定する第二身体特徴点の３次元座標値と、該対象物の複数の体表点の３次元座標値を入力する位置入力ステップと、
前記第一身体特徴点を通る３次元空間での平面であって、該第一身体特徴点と前記第二身体特徴点を結ぶ直線に垂直な平面を、前記第一身体特徴点及び前記第二身体特徴点の３次元座標値を用いて算出する平面算出ステップと、
前記複数の体表点のうち前記平面からの距離が所定範囲内である複数の平面上体表点を抽出する抽出ステップと、
前記複数の平面上体表点の３次元座標値を用いて、該複数の平面上体表点を、３次元空間上の楕円である空間楕円に近似する近似ステップと、
前記所定の身体特徴点が前記空間楕円上のどの位置に存在するかを示す条件を入力する条件入力ステップと、
前記空間楕円と前記条件に基づき、前記所定の身体特徴点の３次元座標値を推定する位置推定ステップと、
を実行する特徴点位置推定方法、として規定され得る。
【0023】
本発明は、
対象物の対象の体節に位置する所定の身体特徴点の３次元座標値を推定するコンピューターを、
前記対象物の前記対象の体節の第一側の位置を特定する第一身体特徴点及び第二側の位置を特定する第二身体特徴点の３次元座標値と、該対象物の複数の体表点の３次元座標値を入力する位置入力手段と、
前記第一身体特徴点を通る３次元空間での平面であって、該第一身体特徴点と前記第二身体特徴点を結ぶ直線に垂直な平面を、前記第一身体特徴点及び前記第二身体特徴点の３次元座標値を用いて算出する平面算出手段と、
前記複数の体表点のうち前記平面からの距離が所定範囲内である複数の平面上体表点を抽出する抽出手段と、
前記複数の平面上体表点の３次元座標値を用いて、該複数の平面上体表点を、３次元空間上の楕円である空間楕円に近似する近似手段と、
前記所定の身体特徴点が前記空間楕円上のどの位置に存在するかを示す条件を入力する条件入力手段と、
前記空間楕円と前記条件に基づき、前記所定の身体特徴点の３次元座標値を推定する位置推定手段と、
として機能させるためのプログラム、として規定され得る。
対象物の対象の体節に位置する所定の身体特徴点の３次元座標値を推定するコンピューターを、
前記対象物の前記対象の体節の第一側の位置を特定する第一身体特徴点及び第二側の位置を特定する第二身体特徴点の３次元座標値と、該対象物の複数の体表点の３次元座標値を入力する位置入力手段と、
前記第一身体特徴点を通る３次元空間での平面であって、該第一身体特徴点と前記第二身体特徴点を結ぶ直線に垂直な平面を、前記第一身体特徴点及び前記第二身体特徴点の３次元座標値を用いて算出する平面算出手段と、
前記複数の体表点のうち前記平面からの距離が所定範囲内である複数の平面上体表点を抽出する抽出手段と、
前記複数の平面上体表点の３次元座標値を用いて、該複数の平面上体表点を、３次元空間上の楕円である空間楕円に近似する近似手段と、
前記所定の身体特徴点が前記空間楕円上のどの位置に存在するかを示す条件を入力する条件入力手段と、
前記空間楕円と前記条件に基づき、前記所定の身体特徴点の３次元座標値を推定する位置推定手段と、
として機能させるためのプログラム、として規定され得る。
【0024】
本開示は、装置、システム、コンピューターによって実行される方法またはコンピューターに実行させるプログラムとして把握することが可能である。また、本開示は、そのようなプログラムをコンピューター、その他の装置、機械等が読み取り可能な記録媒体に記録したものとしても把握できる。ここで、コンピューター等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的または化学的作用によって蓄積し、コンピューター等から読み取ることができる記録媒体をいう。
【発明の効果】
【0025】
本開示によれば、身体特徴点の位置を推定することが可能となる。
【図面の簡単な説明】
【0026】
【図1】実施形態に係るシステムの構成を示す概略図である。
【図2】実施形態に係る特徴点位置推定装置の機能構成の概略を示す図である。
【図3】実施形態に係る足部の一例を示す図である。
【図4】実施形態に係る関節角度算出の一例を示す図である。
【図5】実施形態に係る特徴点位置推定処理の流れの概要を示すフローチャートである。
【図6】実施形態に係る角度算出処理の流れの概要を示すフローチャートである。
【発明を実施するための形態】
【0027】
以下、本開示に係る装置、方法及びプログラムの実施の形態を、図面に基づいて説明する。但し、以下に説明する実施の形態は、実施形態を例示するものであって、本開示に係る装置、方法及びプログラムを以下に説明する具体的構成に限定するものではない。実施にあたっては、実施の態様に応じた具体的構成が適宜採用され、また、種々の改良や変形が行われてよい。
【0028】
本実施形態では、本開示に係る装置、方法及びプログラムを、被験者の足部における身体特徴点の位置を推定する特徴点位置推定装置において実施した場合の実施の形態について説明する。但し、本開示に係る装置、方法及びプログラムは、対象物の任意の身体特徴点の位置を推定するための技術について広く用いることが可能であり、本開示の適用対象は、実施形態において示した例に限定されない。
【0029】
＜システムの構成＞
図１は、本実施形態に係るシステムの構成を示す概略図である。図１に示すように、本実施形態に係るシステム９は、対象物の体表点（観測点）の座標データ（２次元の画像座標と奥行き情報）や関節等の身体特徴点の位置の座標データ（３次元座標）を取得（計測）する三次元計測装置３と、三次元計測装置３により取得された座標データを記録し、当該座標データを用いることで、目的とする身体特徴点（標点）の位置を推定する特徴点位置推定装置１とからなる。ここで、対象物とは、被験者等の人に限定されるものではなく、骨や関節等の身体特徴点を有するものであれば、任意の動物やロボット等であってよい。本実施形態では、対象物を被験者（人）とする場合について例示する。なお、本実施形態における身体特徴点は、骨や関節等の対象物の骨格に関する特徴点を意味し、頭、肩、体幹、腰（骨盤）、手先、つま先、四肢の関節等に例示される。
図１は、本実施形態に係るシステムの構成を示す概略図である。図１に示すように、本実施形態に係るシステム９は、対象物の体表点（観測点）の座標データ（２次元の画像座標と奥行き情報）や関節等の身体特徴点の位置の座標データ（３次元座標）を取得（計測）する三次元計測装置３と、三次元計測装置３により取得された座標データを記録し、当該座標データを用いることで、目的とする身体特徴点（標点）の位置を推定する特徴点位置推定装置１とからなる。ここで、対象物とは、被験者等の人に限定されるものではなく、骨や関節等の身体特徴点を有するものであれば、任意の動物やロボット等であってよい。本実施形態では、対象物を被験者（人）とする場合について例示する。なお、本実施形態における身体特徴点は、骨や関節等の対象物の骨格に関する特徴点を意味し、頭、肩、体幹、腰（骨盤）、手先、つま先、四肢の関節等に例示される。
【0030】
三次元計測装置３は、対象物（被験者）までの距離の情報を持つ画像（画像中の各画素に奥行き方向の距離情報を持つ画像）である距離画像（深度画像）を取得する距離画像センサ（深度センサ）と、対象物（被験者）の予め定めされた身体特徴点（関節等）の位置（３次元座標値）を取得する位置取得部を備える。なお、三次元計測装置３は、対象物（被験者）の色画像（ＲＧＢ画像）を取得するビデオカメラ（カラーカメラ（ＲＧＢカメラ））を備えてもよい。例えば、三次元計測装置３は、距離画像センサ及びビデオカメラを備えるモーションキャプチャ装置であるＫｉｎｅｃｔ（登録商標）に例示される。但し、三次元計測装置３は、Ｋｉｎｅｃｔに限定されるものではなく、関節等の身体特徴点の位置を取得する装置であれば任意の装置であってよい。また、三次元計測装置３の具体的なハードウェア構成に関しては、実施の態様に応じて適宜省略や置換、追加が可能である。
【0031】
距離画像センサは、対象物上の観測点までの距離（奥行き）を測定することが可能なセンサであり、主に、赤外線を照射する投光器及び反射した赤外線を受光するカメラ（赤外線カメラ）を備える。なお、本実施形態における対象物の観測点とは、距離画像センサにより距離が測定される対象物の表面（体表）上の点であり、距離画像センサにより取得される距離画像の各画素に対応する点である。距離画像センサでは、主に、ＴＯＦ方式又はパターン照射方式により対象物（観測点）までの距離が測定される。ＴＯＦ方式は、照射（投射）した赤外線レーザーが対象物（観測点）まで往復するのにかかる時間（照射してから反射光を受信するまでの時間）に基づき、対象物（観測点）までの距離を測定する方式である。パターン照射方式は、特定のパターンを持つ赤外線レーザーを照射し、反射光のパターンの歪みを解析することで、対象物（観測点）までの距離を測定する方式である。本実施形態において、距離画像センサが対象物までの距離を測定する方式には、任意の方式が用いられてよい。
【0032】
距離画像センサは、対象物までの距離を測定することで、画像の各画素の画素値として、各画素に対応する点（観測点）の距離画像センサ（カメラ）からの距離の情報（デプス値）を持つ距離画像を取得（撮影）する。距離画像には、各観測点についての、uｖ直交座標系の２次元の画像座標値（距離画像内の位置座標）（ｕ，ｖ）と、当該２次元の画像座標値（ｕ，ｖ）に対応する距離画像センサからの距離（デプス値）ｄが含まれる。距離ｄは、距離画像センサと対象物との間の距離である。以下、（ｕ，ｖ，ｄ）を、各観測点（画素）についての「２次元座標値」と称する。
【0033】
位置取得部は、距離画像センサにより取得された距離画像に基づき、三次元計測装置（距離画像センサ）において予め定められた身体特徴点（関節や骨等）の位置（３次元座標値（Ｘｃ,Ｙｃ,Ｚｃ））を取得する。位置取得部は、例えば、予め定められた身体特徴点である、頭、肩、体幹、腰（骨盤）、手先、つま先、四肢の関節等の複数の身体特徴点（例えば、２５箇所の身体特徴点）の３次元座標値を取得する。本実施形態では、足部における身体特徴点を推定するため、位置取得部により、少なくとも足関節及びつま先（第二中足骨付近）の３次元座標値が取得されることとする。なお、本実施形態では、三次元計測装置３（位置取得部）において、第二中足骨の骨頭付近をつま先としてつま先の３次元座標値が取得される例を示すが、第二中足骨付近以外の部位（例えば、第三中足骨付近）をつま先とすることでつま先の３Ｄ座標値が取得されてもよい。
【0034】
なお、距離画像に基づき、三次元計測装置３において予め定められた身体特徴点の位置を取得する方法は、種々の任意の方法が用いられてよい。例えば、特許文献１に開示された方法や、学習済みモデル（識別器）に対象物の距離情報を入力することで推定する方法等が用いられてよい。また、位置取得部により取得される３次元座標値（Ｘｃ,Ｙｃ,Ｚｃ）は、距離画像センサ（赤外線カメラ）を原点とした３次元直交座標系（距離画像センサの３次元座標系）における座標値である。
【0035】
三次元計測装置３が対象物のＲＧＢ画像を取得するビデオカメラを備える場合、位置取得部により取得された身体特徴点の位置がＲＧＢ画像上に描画されるようにしてもよい。但し、距離画像センサ（赤外線カメラ）及びビデオカメラは、夫々、独立した２次元座標系に関連付けられている。換言すると、距離画像は、距離画像（距離画像センサ）の２次元座標系によって規定され、ＲＧＢ画像は、ＲＧＢ画像（ビデオカメラ）の２次元座標系によって規定される。また、３次元座標系についても同様である。そのため、位置取得部により取得された３次元座標値をＲＧＢ画像上に描画する場合は、座標系間で座標を変換可能な変換関数を用いることで、身体特徴点の位置の３次元座標値をＲＧＢ画像上の座標値に変換することが必要となる。なお、座標系の交換については、非特許文献２においても記載されており、任意の座標変換が行われてよい。
【0036】
これより、本実施形態に係るシステム９は、上述した三次元計測装置３を備えることで、対象物（被験者）の表面（体表）上の複数の観測点についての２次元座標値（ｕ，ｖ，ｄ）と、対象物（被験者）の予め定められた身体特徴点の位置についての３次元座標値（Ｘｃ,Ｙｃ,Ｚｃ）を取得する。
【0037】
なお、三次元計測装置３における各種計算は、プロセッサ及びメモリ等を備えるコンピューターによって実行される。例えば、三次元計測装置３は、カメラやセンサ等によって取得された情報を取り込む入力部、入力部により取り込まれた情報及び処理部で計算された情報を記憶する記憶部、入力部により取り込まれた情報に対して各種処理を施すための処理部等を備える。これらの機能部（入力部、記憶部、処理部）の各機能は、汎用プロセッサによって実行されるが、これらの機能の一部または全部は、１または複数の専用プロセッサによって実行されてもよい。また、これらの機能の一部または全部は、クラウド技術等を用いて、遠隔地に設置された装置や、分散設置された複数の装置によって実行されてもよい。
【0038】
特徴点位置推定装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置１４、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等の通信装置１５、キーボード等の入力装置１６及びディスプレイ等の出力装置１７等を備えるコンピューターである。但し、特徴点位置推定装置１の具体的なハードウェア構成に関しては、実施の態様に応じて適宜省略や置換、追加が可能である。また、特徴点位置推定装置１は、単一の筐体からなる装置に限定されない。特徴点位置推定装置１は、所謂クラウドや分散コンピューティングの技術等を用いた、複数の装置によって実現されてよい。
【0039】
特徴点位置推定装置１は、三次元計測装置３において取得された、対象物（被験者）の表面（体表）上の観測点の座標位置及び当該対象物の予め定められた身体特徴点の座標位置に基づき、所望の（所定の）身体特徴点の位置を推定する装置である。本実施形態では、特徴点位置推定装置１において、被験者の足関節及びつま先の座標位置と、足部の複数の体表点（観測点）の座標位置に基づき、足部にある第五中足骨の位置を推定する場合について例示する。なお、本実施形態では、別装置（別筐体）である特徴点位置推定装置１と三次元計測装置３を例示するが、この例に限定されず、システム９は、特徴点位置推定装置１が備える機能と三次元計測装置３が備える機能を備える一の装置（筐体）を備えるようにしてよい。
【0040】
図２は、本実施形態に係る特徴点位置推定装置の機能構成の概略を示す図である。特徴点位置推定装置１は、記憶装置１４に記録されているプログラムが、ＲＡＭ１３に読み出され、ＣＰＵ１１によって実行されて、特徴点位置推定装置１に備えられた各ハードウェアが制御されることで、位置入力部２１、記憶部２２、条件入力部２３、平面算出部２４、抽出部２５、近似部２６、位置推定部２７、座標系生成部２８及び角度算出部２９を備える装置として機能する。なお、本実施形態及び後述する他の実施形態では、特徴点位置推定装置１の備える各機能は、汎用プロセッサであるＣＰＵ１１によって実行されるが、これらの機能の一部又は全部は、１又は複数の専用プロセッサによって実行されてもよい。また、特徴点位置推定装置１が備える各機能部は、単一の筐体からなる装置（１の装置）に実装されるものに限定されず、遠隔に及び／又は分散して（例えば、クラウド上に）実装されてもよい。
【0041】
位置入力部２１は、被験者の体表上の複数の観測点及び当該被験者の三次元計測装置３（距離画像センサ）において予め定められている（設定されている）身体特徴点の座標データを入力する。具体的には、位置入力部２１は、被験者の複数の体表点（観測点）の３次元座標値と、三次元計測装置３において予め定められた身体特徴点のうち当該被験者の当該対象の体節の第一側の位置を特定する第一身体特徴点及び第二側の位置を特定する第二身体特徴点の３次元座標値を入力する。ここで、人体は、主に、頭部、体幹部（体幹上部、体幹中部、体幹下部）、上腕部、前腕部、手部、大腿部、下腿部、足部等の複数の体節（部位）に分類され、体節間には体節同士を連結する関節が存在する。以下、位置を推定したい（所望の）身体特徴点（以下、「第三身体特徴点」と称する）が位置する体節を「対象の体節」と称する。
【0042】
位置入力部２１は、まず、少なくとも対象の体節における被験者の複数の体表点についての２次元座標値（ｕ，ｖ，ｄ）を三次元計測装置３から取得する。本実施形態では、位置入力部２１は、第五中足骨（第三身体特徴点）が位置する足部（対象の体節）における被験者の複数の体表点についての２次元座標値を取得する。そして、位置入力部２１は、後述する記憶部２２に記憶された変換関数を用いることで、被験者の体表点についての２次元座標値（ｕ，ｖ，ｄ）を、距離画像センサの３次元座標系の座標値（３次元座標値（Ｘｃ，Ｙｃ，Ｚｃ））に変換する。これより、位置入力部２１は、被験者の体表点のうち少なくとも対象の体節における複数の体表点についての３次元座標値を取得（入力）する。なお、２次元座標値から３次元座標値に変換する方法には任意の方法が用いられてよく、例えば、ＤＬＴ法（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｍｅｔｈｏｄ）等が用いられてよい。
【0043】
また、位置入力部２１は、三次元計測装置３から、対象物（被験者）の対象の体節の第一側の位置を特定する第一身体特徴点及び第二側の位置を特定する第二身体特徴点の位置についての３次元座標値（Ｘｃ，Ｙｃ，Ｚｃ）を取得することで入力する。本実施形態では、位置取入力２１は、少なくとも、第五中足骨（第三身体特徴点）が位置する足部（対象の体節）の第一側の位置を特定するつま先と足部の第二側の位置を特定する足関節の３次元座標値を入力する場合について例示する。なお、第三身体特徴点により近接する身体特徴点を第一身体特徴点とし、近接しない身体特徴点を第二身体特徴点とする。そのため、本実施形態では、第一身体特徴点を第五中足骨に近接するつま先とし、第二身体特徴点を足関節とする。以下、位置入力部２１により入力される、第一身体特徴点の３次元座標値をＰ１（（Ｐ１＝（ｐ１ｘ，ｐ１ｙ，ｐ１ｚ））とし、第二身体特徴点の３次元座標値をＰ２（（Ｐ２＝（ｐ２ｘ，ｐ２ｙ，ｐ２ｚ））とする。
【0044】
なお、本実施形態では、位置入力部２１は、三次元計測装置３から座標データを取得することで、各点の３次元座標値を入力することとしたが、座標データを取得する方法は、上述した例に限定されるものではなく、予め計測（取得）された座標データを保存した記録装置１４や外部記録媒体（不図示）から、当該座標データを取得するようにしてもよい。また、位置入力部２１は、距離画像センサ内で予め定められている全ての身体特徴点についての３次元座標値を取得するのではなく、第一身体特徴点及び第二身体特徴点の３次元座標値のみを取得するようにしてもよい。
【0045】
記憶部２２は、変換関数を記憶する。変換関数は、距離画像センサにより取得された２次元座標値（ｕ，ｖ，ｄ）を、距離画像センサ（赤外線カメラ）を原点とした３次元直交座標系における座標値である３次元座標値（Ｘｃ，Ｙｃ，Ｚｃ）に変換するための関数である。記憶部２２は、例えば、三次元計測装置３（距離画像センサ）において、予め定められた関節等の身体特徴点の位置の３次元座標値を取得する際に使用される変換関数を記憶する。
【0046】
条件入力部２３は、第三身体特徴点の位置を推定（決定）するために用いられる特徴点決定条件を入力する。特徴点決定条件は、対象の体節に位置する第三身体特徴点が、当該対象の体節の体表点を近似した空間楕円（３次元空間での近似楕円）上のどの位置に存在するかを示す（指定する）条件である。例えば、特徴点決定条件は、第三身体特徴点が、空間楕円の４つの頂点（長軸側の２つの頂点及び短軸側の２つの頂点）のうちの何れかの頂点であることを指定した条件である。但し、特徴点決定条件において指定される空間楕円上の第三身体特徴点の位置は、空間楕円の頂点に限定されず、頂点以外の空間楕円上の点であってもよい。上述の通り、人間の四肢等の体表面は楕円に近似可能であることから、本実施形態では、体表点を楕円により近似することとする。なお、対象の体節の体表点を近似した空間楕円については、詳細を後述する。
【0047】
特徴点決定条件は、第三身体特徴点が位置する対象の体節の形状（体表面の形状）により決定される。例えば、特徴点決定条件は、第一身体特徴点を通り第一身体特徴点と第二身体特徴点を結ぶ直線に垂直な平面における対象の体節の体表の形状（断面形状）を楕円で近似すると想定した場合に、第三身体特徴点が当該楕円のどの位置に存在するかが、動作解析を行う作業者等のユーザにより判断されることで決定される。そして、決定された特徴点決定条件がユーザにより特徴点位置推定装置１に入力されることで、条件入力部２３が特徴点決定条件を取得することが可能となる。
【0048】
例えば、第三身体特徴点が第五中足骨である場合、第一身体特徴点（つま先）を通り第一身体特徴点（つま先）と第二身体特徴点（足関節）を結ぶ直線に垂直な平面における対象の体節（足部）の体表の形状は、足部を前方（つま先側）から見て横長楕円の形状（横アーチ形状）に近似していると判断（判別）することが可能である。そのため、第五中足骨の特徴点決定条件は、空間楕円の長軸の頂点（体の外側方向の頂点）と決定（設定）される。具体的には、右足の第五中足骨の特徴点決定条件には、空間楕円の長軸の頂点のうち、後述する対象の体節の３次元直交座標系（図４参照）における左右軸（Ｙ軸）の＋方向にある頂点が設定される。一方、左足の第五中足骨の特徴点決定条件には、当該左右軸の－方向にある頂点が設定される。
【0049】
なお、条件入力部２３が特徴点決定条件を取得する方法は、上述した例に限定されず、記録装置１４や外部記録媒体（不図示）から、予めユーザにより決定（設定）され保存された特徴点決定条件を取得するようにしてもよい。また、上述では、ユーザにより特徴点決定条件が決定される例を示したが、第三身体特徴点の名前や特徴等の属性に基づき、自動で、第三身体特徴点の楕円上における位置が判別され、特徴点決定条件が決定されるようにしてもよい。
【0050】
平面算出部２４は、第一身体特徴点を通る３次元空間での平面であって、第一身体特徴点と第二身体特徴点を結ぶ直線に垂直な平面（平面Ａ）を算出（生成）する。本実施形態では、まず、平面算出部２４は、第一身体特徴点の３次元座標値Ｐ１（（Ｐ１＝（ｐ１ｘ，ｐ１ｙ，ｐ１ｚ））と第二身体特徴点の３次元座標値Ｐ２（（Ｐ２＝（ｐ２ｘ，ｐ２ｙ，ｐ２ｚ））により、第二身体特徴点から第一身体特徴点に向かう単位方向ベクトルＶ（Ｖ＝（ｖｘ，ｖｙ，ｖｚ））を算出する。そして、平面算出部２４は、第一身体特徴点の３次元座標値Ｐ１を通り、単位方向ベクトルＶに垂直な平面Ａ（単位方向ベクトルＶを法線ベクトルとする平面）の方程式を、下記の式（１）により算出する。
【0051】
【数1】
【0052】
図３は、本実施形態に係る足部の一例を示す図である。図３に示すように、本実施形態では、式（１）を用いることで、つま先（第一身体特徴点）を通り、足関節（第二身体特徴点）からつま先（第一身体特徴点）に向かうベクトルＶに垂直な平面Ａの方程式が算出される。なお、平面Ａを求める際に用いられる法線ベクトルは、第二身体特徴点から第一身体特徴点（又は、第一身体特徴点から第二身体特徴点）に向かうベクトルであれば、単位ベクトルに限定されない。
【0053】
抽出部２５は、対象の体節における複数の体表点（観測点）のうち、平面算出部２４により算出（生成）された平面Ａからの距離が所定範囲内である体表点を、平面Ａ上の体表点（以下、「平面上体表点」）として抽出する。具体的には、抽出部２５は、平面Ａの方程式（式（１））と、位置入力部２１により入力された被験者の各体表点の３次元座標値（Ｘｃ，Ｙｃ，Ｚｃ）を用いることで、平面Ａと各体表点との間の距離を算出する。そして、抽出部２５は、算出された距離が所定範囲（例えば、数ミリ）以下である体表点（平面Ａに近い体表点）を平面Ａ上の体表点とみなし、平面上体表点として抽出する。このようにして抽出された平面上体表点の各点の座標値を（ｘｊ，ｙｊ，ｚｊ）（ｊは２からＮの自然数、Ｎは平面上体表点の数）とし、平面上体表点（ｘｊ，ｙｊ，ｚｊ）の集合を、以下、「点群Ａ」と称する。なお、（ｘｊ，ｙｊ，ｚｊ）は、平面Ａ上の体表点とみなされた体表点についての、位置入力部２１により取得された３次元座標値（Ｘｃ，Ｙｃ，Ｚｃ）である。
【0054】
近似部２６は、抽出部２５により抽出された複数の平面上体表点（点群Ａ）の３次元座標値（ｘｊ，ｙｊ，ｚｊ）を用いて、点群Ａ（点群Ａが位置する体表）を、３次元空間上の楕円である空間楕円に近似する。近似部２６は、点群Ａを空間楕円に近似することで、点群Ａを近似する空間楕円上の点の３次元座標値を取得可能とする。本実施形態では、近似部２６は、点群Ａを近似する空間楕円上の点の３次元座標値を取得可能な方程式を求める。
【0055】
ここで、３次元空間上の楕円（空間楕円）は、２次元空間（ＸＹ平面）上の、中心を原点とする傾きのない楕円（以下、「平面楕円」と称する）に対して回転移動と並進移動を行うことで得られる楕円として表現することが可能である。換言すると、平面楕円上の点に対して回転移動と並進移動を行うことで、平面楕円上の点を空間楕円上の点に移動（座標変換）することが可能である。そのため、本実施形態では、点群Ａを近似する空間楕円を、平面楕円が３次元空間上に移動したものとし、近似部２６は、空間楕円上の点の３次元座標値を取得可能な方程式として、３次元空間上に移動することで空間楕円と一致する平面楕円の方程式と、平面楕円上の点を空間楕円上の点に変換する方程式（以下、「変換方程式」と称する）を求める。
【0056】
なお、本実施形態では、平面楕円の方程式として、下記の式（２）に示された方程式を用いる。なお、式（２）において、ａ、ｂは夫々、楕円の長半径及び短半径の何れかであり、Ｓは面積が１の楕円を基準とした空間楕円の拡大倍率（１を含む）であり、aｂπ＝１、ｚ＝０とする。
【0057】
【数2】
【0058】
また、平面楕円上の点Ｑ’に対して回転行列Ｍによる回転移動及び並進ベクトルＴによる並進移動が行われた結果、点Ｑ’が空間楕円上の点Ｑに移動（変換）された場合、当該空間楕円上の点Ｑの３次元座標値（ｘ，ｙ，ｚ）は、点Ｑ’の座標値（ｘ’’，ｙ’’，ｚ’’）、回転行列Ｍ及び並進ベクトルＴ（Ｔ＝（ｘ’’’，ｙ’’’，ｚ’’’））を用いて、下記の式（３）により算出される。なお、式（３）は、上述した、平面楕円上の点を空間楕円上の点に変換（移動）するための方程式（変換方程式）である。
【0059】
【数3】
【0060】
本実施形態では、回転行列Ｍを、任意の軸（単位ベクトルｎ＝（ｎｘ，ｎｙ，ｎｚ））周りにαだけ回転させるための回転行列とし、下記の式（４）により示す。
【0061】
【数4】
【0062】
本実施形態では、上述した、３次元空間上に移動することで空間楕円と一致する平面楕円の方程式（式（２））と変換方程式（式（３））を求めるため、回転行列Ｍによる回転移動及び並進ベクトルＴによる並進移動を行うことで点群Ａに移動する点群Ａ’（回転移動及び並進移動前の点群）を平面楕円で近似するよう最適化する。つまり、点群Ａ’と平面楕円の方程式との誤差を最小化するよう最適化する。近似部２６は、まず、下記の式（５）に、点群Ａの各点の座標値（ｘｊ，ｙｊ，ｚｊ）を入力することで、点群Ａの各点の座標値を、点群Ａ’の各点の座標値（ｘｊ
’’，ｙｊ
’’，ｚｊ
’’）に変換する。なお、式（５）において、Ｍは点群Ａ’が点群Ａに移動するために回転した量を表す回転行列であり、（ｘ’’’，ｙ’’’，ｚ’’’）は点群Ａ’が点群Ａに移動するために並進移動（平行移動）した量を表す並進ベクトルである。
【0063】
【数5】
【0064】
そして、近似部２６は、式（５）により示される点群Ａ’の座標値（ｘｊ
’’，ｙｊ
’’，ｚｊ
’’）及び式（２）により示される平面楕円の方程式を用いて、点群Ａ’と平面楕円との誤差を最小にするよう最適化することで、平面楕円の方程式及び変換方程式を求める。本実施形態では、点群Ａ’と平面楕円との誤差（誤差関数）として、下記の式（６）に示された、点群Ａ’の各点と平面楕円との誤差の絶対値の和を用いる。近似部２６は、式（６）に示された誤差関数を最小にするよう最適化を行うことにより、各パラメーターを最適化する（最適パラメーターの決定）。なお、式（６）で示された誤差関数を最小にするために最適化されるパラメーターは、並進ベクトルの各成分（ｘ’’’，ｙ’’’，ｚ’’’）、単位ベクトルｎの各成分（ｎｘ，ｎｙ，ｎｚ）、α、a、ｂ、Ｓである。
【0065】
【数6】
【0066】
このように、近似部２６は、式（６）に示された誤差関数を最小化するよう最適化を行うことで、平面楕円が点群Ａ’を最もよく近似するよう最適化された各パラメーター(ｘ’’’、ｙ’’’、ｚ’’’、ｎｘ、ｎｙ、ｎｚ、α、a、ｂ、Ｓ)の値を算出（決定）することが可能となる。これより、平面楕円の方程式（式（２））及び変換方程式（式（３））を算出可能となり、点群Ａを空間楕円に近似することが可能となる。なお、式（６）に示された誤差関数を最小化する方法には、任意の最適化手法が用いられてよく、例えば、表計算ソフトの機能の一種であるソルバーを用いる方法が用いられてよい。また、最小化する対象である誤差関数は、式（６）に示された誤差関数に限定されず、点群Ａと空間楕円との誤差又は点群Ａ’と平面楕円との誤差を示す誤差であれば任意であり、例えば、点群Ａ’と平面楕円との誤差の二乗和（二乗和誤差）であってもよい。
【0067】
また、本実施形態では、平面楕円の方程式と変換方程式を求めることで、点群Ａを近似する空間楕円上の点の３次元座標値を取得可能とするが、当該空間楕円上の３次元座標値を取得可能な方法であれば、直接、空間楕円の方程式を求める等の任意の方法が用いられてよい。また、平面Ａ上に空間楕円が存在するという制約条件の下で点群Ａが空間楕円に近似されるようにしてもよい。
【0068】
位置推定部２７は、点群Ａを近似した空間楕円と特徴点決定条件に基づき、第三身体特徴点の位置（３次元座標値）を推定する（推定座標値の算出）。本実施形態では、位置推定部２７は、平面楕円上の点を空間楕円上の点に変換する変換方程式（式（３））に、特徴点決定条件に対応する平面楕円上の座標値を入力することで空間楕円上の座標値を算出し、算出された空間楕円上の座標値を第三身体特徴点の推定座標値（３次元座標値）として決定する。具体的には、位置推定部２７は、特徴点決定条件に対応する第三身体特徴点の平面楕円上の座標値（ｐ，ｑ，ｒ）を算出（決定）する。そして、位置推定部２７は、算出された（ｐ，ｑ，ｒ）を式（３）における平面楕円上の座標値（ｘ’’，ｙ’’，ｚ’’）に入力することで空間楕円上の座標値（ｘ，ｙ，ｚ）を算出し、算出された空間楕円上の座標値（ｘ，ｙ，ｚ）を第三身体特徴点の３次元座標値（推定座標値）として決定する。
【0069】
上述の通り、足部にある第五中足骨が第三身体特徴点である場合、特徴点決定条件として、足部の体表点を近似した空間楕円の「長軸の頂点（体の外側方向の頂点）」が設定される（図３参照）。そのため、例えば、２次元空間におけるｘ軸が平面楕円の長軸方向（ａ＞ｂ）であり、ｘ軸の＋方向が距離画像センサから見て右水平方向の場合、位置推定部２７は、右足の第五中足骨の平面楕円上の座標値（ｐ，ｑ，ｒ）を、（ｐ，ｑ，ｒ）＝（－aＳ，０，０）により算出（決定）し、左足の第五中足骨の平面楕円上の座標値（ｐ，ｑ，ｒ）を、（ｐ，ｑ，ｒ）＝（aＳ，０，０）により算出する。ここで、Ｓは、上述の通り、面積が１の楕円を基準にした拡大倍率である。そして、位置推定部２７は、式（３）における平面楕円上の座標（ｘ’’，ｙ’’，ｚ’’）に、第五中足骨の特徴点決定条件に対応する平面楕円上の座標値（aＳ，０，０）及び（－aＳ，０，０）夫々を入力することで、右足及び左足の第五中足骨夫々の３次元座標値（ｘ，ｙ，ｚ）を算出する。
【0070】
なお、例えば、特徴点決定条件が、第三身体特徴点が空間楕円の短軸の頂点であることを示す条件であり、２次元空間におけるｘ軸が平面楕円の長軸方向（ａ＞ｂ）である場合は、第三身体特徴点の平面楕円上の座標値（ｐ，ｑ，ｒ）は、（ｐ，ｑ，ｒ）＝（０，ｂＳ，０）又は（０，－ｂＳ，０）により算出（決定）される。また、近似部２６により空間楕円の方程式が直接算出された場合は、当該空間楕円方程式及び特徴点決定条件を用いて第三身体特徴点の３次元座標値が算出（推定）されてよい。このように、本実施形態では、空間楕円上の点の３次元座標値を取得可能な方程式として平面楕円の方程式と変換方程式を求めることにより、所望する第三身体特徴点の位置を平面楕円上の座標値（例えば、（aＳ，０，０））として指定することが可能となる。
【0071】
座標系生成部２８は、体節における３軸を決定することで当該体節の座標系（直交座標系）を生成する。座標系生成部２８は、第一身体特徴点及び第二身体特徴点の３次元座標値と、推定された第三身体特徴点の３次元座標値を用いて、対象の体節の座標系を生成する。例えば、座標系生成部２８は、第二身体特徴点から第一身体特徴点に向かう単位ベクトルを第一軸、第一身体特徴点、第二身体特徴点及び推定された第三身体特徴点を通る平面の単位法線ベクトルを第二軸、第一軸と第二軸に垂直な単位ベクトルを第三軸として決定する。例えば、第三身体特徴点が第五中足骨の場合、足関節からつま先に向かう単位ベクトルが第一軸、足関節、つま先及び推定された第五中足骨点を通る平面の単位法線ベクトルが第二軸、第一軸と第二軸に垂直な単位ベクトルが第三軸として決定される。
【0072】
これより、座標系生成部２８は、決定された第一軸、第二軸及び第三軸からなる座標系を、対象の体節の座標系として決定（生成）する。なお、対象の体節の座標系における３軸は、上記で示された３軸に限定されず、第一身体特徴点、第二身体特徴点及び第三身体特徴点に基づく任意の３軸であってよい。また、座標系生成部２８は、対象の体節に加え、当該対象の体節以外の他の体節についての座標系を生成するようにしてもよい。
【0073】
角度算出部２９は、座標系生成部２８により生成された対象の体節の座標系と、他の座標系（直交座標系）とのオイラー角を算出することで、当該対象の体節の運動に伴う関節角度を算出する。ここで、対象の体節の運動とは、内反、外反、内転、外転、屈曲、伸展、内旋、外旋、回内、回外、底屈、背屈等の体節の運動であり、当該運動に伴う関節角度は、内反角度、外反角度、内転角度、外転角度、屈曲角度、伸展角度、内旋角度、外旋角度、回内角度、回外角度、底屈角度、背屈角度等の角度である。所望の（所定の）関節角度を算出するために適切な他の座標系（基準の座標系）と、座標系生成部２８により生成された対象の体節の座標系とのオイラー角を算出することで、当該所望の関節角度を算出することが可能となる。なお、他の座標系は、例えば、対象の体節に隣接する体節等の他の体節の座標系やグローバル座標系等任意の座標系であってよい。また、他の座標系には、記憶装置１４に記憶されている他の座標系を用いてもよいし、座標系生成部２８により生成された、対象の体節以外の他の体節の座標系を用いてもよい。
【0074】
以下、第三身体特徴点が第五中足骨である場合に、推定された第五中足骨の３次元座標値を用いて足部（足関節）の内外反の角度を算出する場合について例示する。なお、本実施形態で、足関節の内外反の角度とは、踵から第二中足骨の軸回りの回転角を意味する。
【0075】
図４は、本実施形態に係る関節角度算出の一例を示す図である。図４には、対象の体節（足部）における座標系（Ｘ軸、Ｙ軸、Ｚ軸）と、他の座標系（基準の座標系）である、股関節、膝関節及び足関節の３点により決定される３軸からなる座標系（Ｘ’軸、Ｙ’軸、Ｚ’軸）を示す。なお、図４に示す通り、本実施形態では、対象の体節における座標系を、第一身体特徴点、第二身体特徴点及び第三身体特徴点を通る面を水平面とし、第二身体特徴点から第一身体特徴点に向かう軸を前後軸（Ｘ軸）とした座標系とする。また、本実施形態では、基準の座標系を、足部以外の下肢を一つの体節（剛体）として扱った仮想的な体節（剛体）の座標系とし、具体的には、股関節、膝関節及び足関節を通る面を矢状面とし、足関節から膝関節へ向かう方向を上下軸（Ｚ’軸）とした座標系とする。なお、膝関節は１軸関節であるため、股関節、膝関節、足関節が作る平面を、一つの仮想的な剛体として扱うことが可能である。
【0076】
角度算出部２９は、図４に示された、対象の体節（足部）の座標系と、基準の座標系との間のオイラー角（回転角）を算出する。具体的には、角度算出部２９は、対象の体節の座標系が自身の座標軸（Ｘ軸（前後軸）、Ｙ軸（左右軸）、Ｚ軸（上下軸））周りの回転を行うことで基準の体節の座標系と一致するためのオイラー角を算出する。本実施形態では、角度算出部２９は、対象の体節の座標系を基準の体節の座標系に一致させるための回転行列であり、Ｘ軸周りの回転角をφ、Ｙ軸周りの回転角をθ、Ｚ軸周りの回転角をΨとする３軸周りの回転行列Ｑを算出することで、基準の体節の座標系と一致するためのオイラー角を算出する。これより、角度算出部２９は、求められたＸ軸（前後軸）周りの回転角φを、足関節の内外反の角度として決定（算出）することが可能である。なお、今回のオイラー角は上記のような回転順序を採用したが、回転順序はこれに限らない。
【0077】
なお、本実施形態では、内外反の角度を算出するために対象の体節の座標系とのオイラー角を算出する基準の座標系を、股関節、膝関節及び足関節の３点により決定される座標系としたが、基準の座標系の求め方はこの方法に限定されない。例えば、上述した身体特徴点の位置を推定する方法を用いて、対象の体節とは異なる他の体節（以下、「基準の体節」と称する）の第一側の位置を特定する第一身体特徴点及び第二側の位置を特定する第二身体特徴点に基づき、基準の体節における第三身体特徴点の座標位置を推定する。そして、基準の体節についての第一身体特徴点、第二身体特徴点及び第三身体特徴点の３点により決定された座標系を、基準の座標系としてもよい。
【0078】
例えば、第一身体特徴点を膝関節、第二身体特徴点を足関節とし、特徴点決定条件を短軸の頂点（体の外側方向の頂点）とすることで、位置推定部２７により、膝関節外側上顆の３次元座標値が算出される。そして、座標系生成部２８は、対象の体節の座標系に加えて、膝関節、足関節及び膝関節外側上顆の３点により基準の座標系（基準の体節である下腿部の座標系）を生成する。具体的には、膝関節、足関節及び膝関節外側上顆を通る面を前額面とし、足関節から膝関節へ向かう方向を上下軸とする座標系が生成される。そして、角度算出部２９により、座標系生成部２８により生成された対象の体節の座標系と基準の体節の座標系との間のオイラー角を算出することで、足部の内外反の角度を算出することが可能となる。
【0079】
なお、角度算出部２９は、算出されたオイラー角自体を所望の関節角度として算出してもよいし、算出されたオイラー角の極性（プラスマイナスの符号）を反転し、反転された角度を所望の関節角度として算出してもよい。例えば、上述した方法により算出される足関節の内外反の角度は、足部の前後軸を足関節からつま先に向かう方向を＋、右ねじ方向の回転を＋として算出（出力）される。ここで、右足の場合は、外反する場合に、足部（足関節）の前後軸回りの回転方向が－方向となり、内反する場合に、足部の前後軸回りの回転方向が＋方向となる。一方、左足の場合は、外反する場合に、足部（足関節）の前後軸回りの回転方向が＋方向となり、内反する場合に、足部の前後軸回りの回転方向が－方向となる。そのため、外反方向を＋とする外反角を算出（出力）したい場合は、角度算出部２９は、算出された右足の前後軸回りのオイラー角に－１倍することで右足の外反角を算出し、算出された左足の前後軸回りのオイラー角に＋１倍することで、左足の外反角を算出する。このように、角度算出部２９は、所望の関節角度の極性を、座標系間のオイラー角の極性と一致させることで、所望の関節角度が算出されるよう種々の処理を行うようにして良い。
【0080】
上述した通り、本実施形態では、三次元計測装置３により取得された足関節及びつま先の３次元座標値を用いて、第五中足骨の位置（３次元座標値）を推定する方法を例示した。但し、推定する対象（第三身体特徴点）は、第五中足骨に限定されるものではなく、その他の任意の身体特徴点であってよい。例えば、本実施形態において、特徴点決定条件を長軸の頂点（体の外側方向の頂点）ではなく長軸の頂点（体の内側方向の頂点）とすることで、第一中足骨の位置を推定可能である。よって、例えば、右足の第五中足骨の特徴点決定条件に対応する平面楕円上の座標値（ｐ，ｑ，ｒ）が（ｐ，ｑ，ｒ）＝（－aＳ，０，０）である場合、右足の第一中足骨の特徴点決定条件に対応する平面楕円上の座標値（ｐ，ｑ，ｒ）は（ｐ，ｑ，ｒ）＝（aＳ，０，０）となる。このように、対象の体節を足部、第一身体特徴点をつま先、第二身体特徴点を足関節とすることで、足部のつま先側の幅方向の端部の位置（３次元座標値）を推定することが可能となる。
【0081】
また、第一身体特徴点を足関節とし、第二身体特徴点を膝関節とすることで、内果や外果の位置を推定可能である。また、第一身体特徴点を手首関節とし、第二身体特徴点を肘関節とすることで、橈骨茎状突起や尺骨茎状突起の位置を推定可能である。また、第一身体特徴点を膝関節とし、第二身体特徴点を股関節とすることで、大腿骨内側上顆や大腿骨外側上顆の位置を推定可能である。更に、第一身体特徴点を肘関節とし、第二身体特徴点を肩関節とすることで、上腕骨内側上顆や上腕骨外側上顆の位置を推定することが可能である。なお、各場合において、特徴点決定条件は当業者によって適宜設定され得る。
【0082】
＜処理の流れ＞
次に、本実施形態に係る特徴点位置推定装置１によって実行される特徴点位置推定処理の流れを説明する。なお、以下に説明する処理の具体的な内容及び処理順序は、本開示を実施するための一例である。具体的な処理内容及び処理順序は、本開示の実施の態様に応じて適宜選択されてよい。
次に、本実施形態に係る特徴点位置推定装置１によって実行される特徴点位置推定処理の流れを説明する。なお、以下に説明する処理の具体的な内容及び処理順序は、本開示を実施するための一例である。具体的な処理内容及び処理順序は、本開示の実施の態様に応じて適宜選択されてよい。
【0083】
図５は、本実施形態に係る特徴点位置推定処理の流れの概要を示すフローチャートである。本フローチャートに示された処理は、特徴点位置推定装置１において、ユーザ等による、対象物（被験者）の座標データを取得する指示や、身体特徴点を推定する指示等が受け付けられたことを契機として実行される。なお、以下では、第三身体特徴点を足部にある第五中足骨とし、第五中足骨の位置を推定するための処理を例示する。
【0084】
ステップＳ１０１では、三次元計測装置３において予め定められた身体特徴点（第一身体特徴点、第二身体特徴点）の３次元座標値が入力される。位置入力部２１は、被験者の第五中足骨が位置する足部（対象の体節）の第一側の位置を特定するつま先（第一身体特徴点）及び第二側の位置を特定する足関節（第二身体特徴点）の３次元座標値を三次元計測装置３から取得し、入力する。その後、処理はステップＳ１０２へ進む。
【0085】
ステップＳ１０２では、対象物（被験者）の体表点（観測点）の３次元座標値が入力される。位置入力部２１は、被験者の足部（対象の体節）における複数の体表点についての２次元座標値を三次元計測装置３から取得し、記憶部２２に記憶された変換関数を用いることで、当該体表点についての２次元座標値を３次元座標値に変換することで、被験者の足部における複数の体表点の３次元座標値を取得（入力）する。その後、処理はステップＳ１０３へ進む。
【0086】
ステップＳ１０３では、特徴点決定条件が入力される。条件入力部２３は、第五中足骨（第三身体特徴点）が足部の体表点を近似した空間楕円の長軸の頂点（体の外側方向の頂点）に位置することを示す第五中足骨の特徴点決定条件を入力する。その後、処理はステップＳ１０４へ進む。なお、ステップＳ１０１～ステップＳ１０３は、順不同である。
【0087】
ステップＳ１０４では、第一身体特徴点を通り、第一身体特徴点と第二身体特徴点を結ぶ直線に垂直な平面（平面Ａ）が算出される。平面算出部２４は、ステップＳ１０１で入力されたつま先（第一身体特徴点）及び足関節（第二身体特徴点）の３次元座標値を用いることで、つま先を通る平面であり、足関節からつま先に向かうベクトルＶに垂直な平面Ａの方程式を算出する。その後、処理はステップＳ１０５へ進む。
【0088】
ステップＳ１０５では、平面Ａからの距離が所定範囲内の体表点（点群Ａ）が抽出される。抽出部２５は、ステップＳ１０４で算出された平面Ａの方程式（式（１））と、ステップＳ１０２で入力された各体表点の３次元座標値を用いることで、平面Ａからの距離が所定範囲内である体表点を、平面Ａ上の体表点である平面上体表点（点群Ａ）として抽出する。その後、処理はステップＳ１０６へ進む。
【0089】
ステップＳ１０６では、点群Ａを空間楕円に近似する。近似部２６は、点群Ａを空間楕円で近似し、点群Ａを近似する当該空間楕円上の点の３次元座標値を取得可能な方程式として、３次元空間上に移動することで空間楕円と一致する平面楕円の方程式と、平面楕円上の点を空間楕円上の点に変換する変換方程式を求める。その後、処理はステップＳ１０７へ進む。
【0090】
ステップＳ１０７では、特徴点決定条件と空間楕円に基づき、第三身体特徴点の位置が推定される。位置推定部２７は、ステップＳ１０３で入力された第五中足骨の特徴点決定条件に対応する平面楕円上の座標値を求め、求められた座標値をステップＳ１０６で求められた変換方程式に入力することで、第五中足骨の３次元座標値を算出する。そして、位置推定部２７は、算出された３次元座標値を第五中足骨の推定位置として決定する。その後、本フローチャートに示された処理は終了する。
【0091】
図６は、本実施形態に係る角度算出処理の流れの概要を示すフローチャートである。本フローチャートに示された処理は、特徴点位置推定装置１において、対象の体節における第三身体特徴点の位置が推定されたこと等を契機として実行される。なお、以下では、第三身体特徴点を足部にある第五中足骨とし、足関節の内外反の角度を算出するための処理を例示する。
【0092】
ステップＳ２０１では、対象の体節の直交座標系が生成される。座標系生成部２７は、足関節からつま先に向かう単位ベクトルを第一軸、足関節、つま先及び推定された第五中足骨点を通る平面の単位法線ベクトルを第二軸、第一軸と第二軸に垂直な単位ベクトルを第三軸として決定し、第一軸、第二軸及び第三軸からなる座標系を、対象の体節の座標系として生成する。その後、処理はステップＳ２０２へ進む。
【0093】
ステップＳ２０２では、関節角度が算出される。角度算出部２９は、ステップＳ２０１で生成された対象の体節（足部）の座標系と基準の座標系（図４参照）との間のオイラー角を算出し、算出されたオイラー角のうちＸ軸（前後軸）周りの回転角φを、足関節の内外反の角度として決定（算出）する。その後、本フローチャートに示された処理は終了する。
【0094】
本実施形態に示されたシステムによれば、対象物の対象の体節の第一側の位置を特定する第一身体特徴点及び第二側の位置を特定する第二身体特徴点の３次元座標値と、当該対象の体節における複数の体表点の３次元座標値と、特徴点決定条件を用いることで、当該対象の体節に位置する第三身体特徴点の３次元座標位置を推定することが可能となる。
【0095】
上述の通り、距離画像センサ（三次元計測装置）では、距離画像センサで予め定められた身体特徴点の位置座標を取得することが可能である。例えば、下肢においては、通常、距離画像センサ内で設定された身体特徴点である膝関節、足関節及びつま先の３次元座標値が距離画像センサから出力される。これらの身体特徴点の３次元座標値によれば、投影角を用いて足関節の底屈・背屈の角度及び内転・外転の角度を算出することは可能であるが、足関節の内反・外反の角度を正しく算出することは困難である。この足関節の内反・外反の角度を算出するためには、上述の通り、体節間（体節の座標系間）のオイラー角を求めることが必要であるため、体節（足部）においてもう一点（身体特徴点）の３次元座標値を取得することが必要となる。このように、３軸周りの関節角度を算出するためには、２つの身体特徴点の座標値しか出力されない体節（例えば、足関節とつま先の座標値しか出力されない足部）においてもう一つの身体特徴点（仮想点）の位置を推定する必要がある。
【0096】
本実施形態に示されたシステムによれば、上述の通り、対象の体節の第一側の位置を特定する第一身体特徴点及び第二側の位置を特定する第二身体特徴点の３次元座標値から、当該対象の体節に位置する第三身体特徴点の３次元座標位置を推定することが可能である。そのため、距離画像センサから２つの身体特徴点の３次元座標値しか出力されない体節において、もう一つの身体特徴点（距離画像センサで予め定められていない身体特徴点）の位置を推定可能となる。これより、当該体節における座標系を生成することが可能となり、当該体節の座標系と他の座標系との間のオイラー角を算出することで、投影角では算出困難な関節角度を算出することが可能となる。このように、通常、算出することが困難な関節角度を算出可能とすることで、生体に対する理解を深めることが可能となり、リハビリテーション医療や整形外科治療等に貢献することが可能となる。
【符号の説明】
【0097】
１ 特徴点位置推定装置
３ 三次元計測装置
９ システム
３ 三次元計測装置
９ システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】