特許 7147848 処理装置、姿勢解析システム、処理方法、及び処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-27

(45)【発行日】2022-10-05

(54)【発明の名称】処理装置、姿勢解析システム、処理方法、及び処理プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220928BHJP

【ＦＩ】

G06T7/00 C

【請求項の数】 25

(21)【出願番号】P 2020533388

(86)(22)【出願日】2019-07-12

(86)【国際出願番号】 JP2019027710

(87)【国際公開番号】W WO2020026765

(87)【国際公開日】2020-02-06

【審査請求日】2021-01-07

(31)【優先権主張番号】P 2018143688

(32)【優先日】2018-07-31

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100107836

【弁理士】

【氏名又は名称】西 和哉

(72)【発明者】

【氏名】中川 源洋

(72)【発明者】

【氏名】田中 幹也

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１６－２０６０２６（ＪＰ，Ａ）

【文献】特表２００８－５１９３５７（ＪＰ，Ａ）

【文献】高田 智，ＬＩＤＡＲを用いた歩行者検出のための輪郭形状に基づく特徴記述，第２３回 画像センシングシンポジウム ＳＳＩＩ２０１７ ［ＵＳＢ］ The 23rd Symposium on Sensing via Image Information，日本，画像センシング技術研究会，2017年06月07日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

物体上の各点の位置情報による第１点群データを主成分分析した第１主成分の方向を求める算出部と、
前記第１点群データから前記第１主成分の方向に交差する領域内の点を抽出した第２点群データを生成する第１生成部と、
前記第２点群データから、前記第１主成分の方向の複数の位置において特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量の前記第１主成分の方向の変化に基づいて、前記第１点群データの範囲を再設定する再設定部と、
前記第２点群データにより前記物体の情報を生成する第２生成部と、を備え、
前記算出部は、前記再設定部が再設定した前記第１点群データの範囲に含まれる前記第１点群データにより前記第１主成分の方向を求める、処理装置。

【請求項2】

前記第１点群データは、前記物体上の各点の位置情報による点データを全て含む範囲より小さい範囲のデータであり、
前記第２点群データを含む前記領域の１つは、前記第１点群データの範囲より小さい、請求項１に記載の処理装置。

【請求項3】

前記領域は、前記第１主成分の方向と直交する面を有する部分領域である、請求項１又は請求項２に記載の処理装置。

【請求項4】

前記第２生成部は、前記物体のうち前記第２点群データに対応する部分の姿勢と形状の少なくとも一方に関する情報を生成する、請求項１から請求項３のいずれか一項に記載の処理装置。

【請求項5】

前記第１点群データの範囲を設定する第１設定部を含む、請求項１から請求項４のいずれか一項に記載の処理装置。

【請求項6】

前記物体の外形特徴を抽出する特徴抽出部を有し、
前記第１設定部は、前記外形特徴を含めて前記第１点群データの範囲を設定する、請求項５に記載の処理装置。

【請求項7】

前記領域を設定する第２設定部を含む、請求項１から請求項６のいずれか一項に記載の処理装置。

【請求項8】

前記第２設定部は、前記第１主成分の方向における前記領域の長さを設定する、請求項７に記載の処理装置。

【請求項9】

前記第２設定部は、前記第１主成分の方向の互いに異なる位置に複数の前記領域を設定し、
前記第１生成部は、複数の前記領域内の点を抽出して前記第２点群データを生成する、請求項７又は請求項８に記載の処理装置。

【請求項10】

前記第２生成部は、前記第２点群データに基づいて、前記物体の三次元モデルと前記物体の姿勢情報の少なくとも一方を生成する、請求項１から請求項９のいずれか一項に記載の処理装置。

【請求項11】

前記特徴量算出部は、前記特徴量として前記第２点群データの最短経路を算出する、請求項１から請求項１０のいずれか一項に記載の処理装置。

【請求項12】

物体上の各点の位置情報による第１点群データを主成分分析した第１主成分の方向を求める算出部と、
前記第１点群データから前記第１主成分の方向に交差する領域内の点を抽出した第２点群データを生成する第１生成部と、
前記第２点群データから特徴量を算出する特徴量算出部と、
前記第２点群データにより前記物体の情報を生成する第２生成部と、を備え、
前記特徴量算出部は、前記特徴量として前記第２点群データの最短経路を算出する、処理装置。

【請求項13】

前記特徴量算出部は、前記第２点群データに対して所定形状をあてはめることにより前記最短経路を算出する、請求項１２に記載の処理装置。

【請求項14】

前記所定形状は、楕円、長円、円、曲線形状のいずれかである、請求項１３に記載の処理装置。

【請求項15】

前記物体上の各点の前記位置情報を検出する位置検出部と、
前記位置情報による前記第１点群データの生成に用いられる点群データを生成する点群データ生成部と、を有する請求項１から請求項１４のいずれか一項に記載の処理装置。

【請求項16】

物体上の各点の位置情報による第１点群データを主成分分析した第１主成分の方向を求める算出部と、
前記第１点群データから前記第１主成分の方向に交差する領域内の点を抽出した第２点群データを生成する第１生成部と、
前記第２点群データにより前記物体の情報を生成する第２生成部と、を備え、
前記第２生成部は、前記物体の第１部位に関して設定される前記領域の前記第１主成分と、前記物体の前記第１部位と異なる第２部位に関して設定される前記領域の前記第１主成分とに基づいて、前記第１部位と前記第２部位との接続部分に関する情報を生成する、処理装置。

【請求項17】

前記第２生成部は、前記第１部位に関して設定される前記領域の前記第１主成分と、前記第２部位に関して設定される前記領域の前記第１主成分との距離が最短となる線分の中点を前記接続部分とする、請求項１６に記載の処理装置。

【請求項18】

物体上の各点の位置情報による第１点群データに基づく複数の因子から特徴因子を抽出し、前記特徴因子におけるベクトルの方向を求める算出部と、
前記方向に交差する領域内の点を抽出した第２点群データを生成する第１生成部と、
前記第２点群データにより前記物体の情報を生成する第２生成部と、を備え、
前記算出部は、主成分分析によって前記特徴因子を抽出した前記ベクトルの前記方向を求め、
前記第２生成部は、前記物体の第１部位に関して設定される前記領域の前記特徴因子と、前記物体の前記第１部位と異なる第２部位に関して設定される前記領域の前記特徴因子とに基づいて、前記第１部位と前記第２部位との接続部分に関する情報を生成する、処理装置。

【請求項19】

前記第２生成部は、前記第１部位に関して設定される前記領域の前記特徴因子と、前記第２部位に関して設定される前記領域の前記特徴因子との距離が最短となる線分の中点を前記接続部分とする、請求項１８に記載の処理装置。

【請求項20】

請求項１から請求項１９のいずれか一項に記載の処理装置と、
物体上の各点の位置情報による第１点群データの生成に用いられる点群データを取得する点群取得部と、を備える姿勢解析システム。

【請求項21】

物体上の各点の位置情報による第１点群データを主成分分析した第１主成分の方向を求めることと、
前記第１点群データから前記第１主成分の方向に交差する領域内の点を抽出した第２点群データを生成することと、
前記第２点群データから、前記第１主成分の方向の複数の位置において特徴量をそれぞれ算出することと、
前記特徴量の前記第１主成分の方向の変化に基づいて、前記第１点群データの範囲を再設定することと、
前記第２点群データにより前記物体の情報を生成することと、を含み、
前記第１主成分の方向の算出では、再設定された前記第１点群データの範囲に含まれる前記第１点群データにより前記第１主成分の方向を求める、処理方法。

【請求項22】

コンピュータに、
物体上の各点の位置情報による第１点群データを主成分分析した第１主成分の方向を求めることと、
前記第１点群データから前記第１主成分の方向に交差する領域内の点を抽出した第２点群データを生成することと、
前記第２点群データから、前記第１主成分の方向の複数の位置において特徴量をそれぞれ算出することと、
前記特徴量の前記第１主成分の方向の変化に基づいて、前記第１点群データの範囲を再設定することと、
前記第２点群データにより前記物体の情報を生成することと、を実行させ、
前記第１主成分の方向の算出では、再設定された前記第１点群データの範囲に含まれる前記第１点群データにより前記第１主成分の方向を求める、処理プログラム。

【請求項23】

コンピュータに、
物体上の各点の位置情報による第１点群データを主成分分析した第１主成分の方向を求めることと、
前記第１点群データから前記第１主成分の方向に交差する領域内の点を抽出した第２点群データを生成することと、
前記第２点群データから特徴量を算出することと、
前記第２点群データにより前記物体の情報を生成することと、を実行させ、
前記特徴量の算出では、前記特徴量として前記第２点群データの最短経路を算出する、処理プログラム。

【請求項24】

コンピュータに、
物体上の各点の位置情報による第１点群データを主成分分析した第１主成分の方向を求めることと、
前記第１点群データから前記第１主成分の方向に交差する領域内の点を抽出した第２点群データを生成することと、
前記第２点群データにより前記物体の情報を生成することと、を実行させ、
前記物体の情報の生成では、前記物体の第１部位に関して設定される前記領域の前記第１主成分と、前記物体の前記第１部位と異なる第２部位に関して設定される前記領域の前記第１主成分とに基づいて、前記第１部位と前記第２部位との接続部分に関する情報を生成する、処理プログラム。

【請求項25】

コンピュータに、
物体上の各点の位置情報による第１点群データに基づく複数の因子から特徴因子を抽出し、前記特徴因子におけるベクトルの方向を求めることと、
前記方向に交差する領域内の点を抽出した第２点群データを生成することと、
前記第２点群データにより前記物体の情報を生成することと、を実行させ、
前記ベクトルの前記方向の算出では、主成分分析によって前記特徴因子を抽出した前記ベクトルの前記方向を求め、
前記物体の情報の生成では、前記物体の第１部位に関して設定される前記領域の前記特徴因子と、前記物体の前記第１部位と異なる第２部位に関して設定される前記領域の前記特徴因子とに基づいて、前記第１部位と前記第２部位との接続部分に関する情報を生成する、処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、処理装置、姿勢解析システム、処理方法、及び処理プログラムに関する。

【背景技術】

【0002】

物体を検出する技術として、例えば、下記の特許文献１に記載された技術があるが、物体を検出する技術は、物体の全部又は一部の形状あるいは姿勢を高精度に検出することが望まれている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００７－２８８６８２号公報

【発明の概要】

【0004】

本発明の態様に従えば、物体上の各点の位置情報による第１点群データを主成分分析した第１主成分の方向を求める算出部と、第１点群データから第１主成分の方向に交差する領域内の点を抽出した第２点群データを生成する第１生成部と、第２点群データから、第１主成分の方向の複数の位置において特徴量をそれぞれ算出する特徴量算出部と、特徴量の第１主成分の方向の変化に基づいて、第１点群データの範囲を再設定する再設定部と、第２点群データにより物体の情報を生成する第２生成部と、を備え、算出部は、再設定部が再設定した第１点群データの範囲に含まれる第１点群データにより第１主成分の方向を求める、処理装置が提供される。
本発明の態様に従えば、物体上の各点の位置情報による第１点群データを主成分分析した第１主成分の方向を求める算出部と、第１点群データから第１主成分の方向に交差する領域内の点を抽出した第２点群データを生成する第１生成部と、第２点群データから特徴量を算出する特徴量算出部と、第２点群データにより物体の情報を生成する第２生成部と、を備え、特徴量算出部は、特徴量として第２点群データの最短経路を算出する、処理装置が提供される。
本発明の態様に従えば、物体上の各点の位置情報による第１点群データを主成分分析した第１主成分の方向を求める算出部と、第１点群データから第１主成分の方向に交差する領域内の点を抽出した第２点群データを生成する第１生成部と、第２点群データにより物体の情報を生成する第２生成部と、を備え、第２生成部は、物体の第１部位に関して設定される領域の第１主成分と、物体の第１部位と異なる第２部位に関して設定される領域の第１主成分とに基づいて、第１部位と第２部位との接続部分に関する情報を生成する、処理装置が提供される。
本発明の態様に従えば、物体上の各点の位置情報による第１点群データに基づく複数の因子から特徴因子を抽出し、特徴因子におけるベクトルの方向を求める算出部と、方向に交差する領域内の点を抽出した第２点群データを生成する第１生成部と、第２点群データにより物体の情報を生成する第２生成部と、を備え、算出部は、主成分分析によって特徴因子を抽出したベクトルの方向を求め、第２生成部は、物体の第１部位に関して設定される領域の特徴因子と、物体の第１部位と異なる第２部位に関して設定される領域の特徴因子とに基づいて、第１部位と第２部位との接続部分に関する情報を生成する、処理装置が提供される。
本発明の態様に従えば、物体上の各点の位置情報による第１点群データを主成分分析した第１主成分の方向を求める算出部と、第１点群データから第１主成分の方向に交差する領域内の点を抽出した第２点群データを生成する第１生成部と、第２点群データにより物体の情報を生成する第２生成部と、を備える処理装置が提供される。

【0005】

本発明の態様に従えば、物体上の各点の位置情報による第１点群データに基づく複数の因子から特徴因子を抽出し、特徴因子におけるベクトルの方向を求める算出部と、方向に交差する領域内の点を抽出した第２点群データを生成する第１生成部と、第２点群データにより物体の情報を生成する第２生成部と、を備える処理装置が提供される。

【0006】

本発明の態様に従えば、上記態様の処理装置と、物体上の各点の位置情報による第１点群データの生成に用いられる点群データを取得する点群取得部と、を備える姿勢解析システムが提供される。

【0007】

本発明の態様に従えば、物体上の各点の位置情報による第１点群データを主成分分析した第１主成分の方向を求めることと、第１点群データから第１主成分の方向に交差する領域内の点を抽出した第２点群データを生成することと、第２点群データから、第１主成分の方向の複数の位置において特徴量をそれぞれ算出することと、特徴量の第１主成分の方向の変化に基づいて、第１点群データの範囲を再設定することと、第２点群データにより物体の情報を生成することと、を含み、第１主成分の方向の算出では、再設定された第１点群データの範囲に含まれる第１点群データにより第１主成分の方向を求める、処理方法が提供される。
本発明の態様に従えば、物体上の各点の位置情報による第１点群データを主成分分析した第１主成分の方向を求めることと、第１点群データから第１主成分の方向に交差する領域内の点を抽出した第２点群データを生成することと、第２点群データにより物体の情報を生成することと、を含む処理方法が提供される。

【0008】

本発明の態様に従えば、コンピュータに、物体上の各点の位置情報による第１点群データを主成分分析した第１主成分の方向を求めることと、第１点群データから第１主成分の方向に交差する領域内の点を抽出した第２点群データを生成することと、第２点群データから、第１主成分の方向の複数の位置において特徴量をそれぞれ算出することと、特徴量の第１主成分の方向の変化に基づいて、第１点群データの範囲を再設定することと、第２点群データにより物体の情報を生成することと、を実行させ、第１主成分の方向の算出では、再設定された第１点群データの範囲に含まれる第１点群データにより第１主成分の方向を求める、処理プログラムが提供される。
本発明の態様に従えば、コンピュータに、物体上の各点の位置情報による第１点群データを主成分分析した第１主成分の方向を求めることと、第１点群データから第１主成分の方向に交差する領域内の点を抽出した第２点群データを生成することと、第２点群データから特徴量を算出することと、第２点群データにより物体の情報を生成することと、を実行させ、特徴量の算出では、特徴量として第２点群データの最短経路を算出する、処理プログラムが提供される。
本発明の態様に従えば、コンピュータに、物体上の各点の位置情報による第１点群データを主成分分析した第１主成分の方向を求めることと、第１点群データから第１主成分の方向に交差する領域内の点を抽出した第２点群データを生成することと、第２点群データにより物体の情報を生成することと、を実行させ、物体の情報の生成では、物体の第１部位に関して設定される領域の第１主成分と、物体の第１部位と異なる第２部位に関して設定される領域の第１主成分とに基づいて、第１部位と第２部位との接続部分に関する情報を生成する、処理プログラムが提供される。
本発明の態様に従えば、コンピュータに、物体上の各点の位置情報による第１点群データに基づく複数の因子から特徴因子を抽出し、特徴因子におけるベクトルの方向を求めることと、方向に交差する領域内の点を抽出した第２点群データを生成することと、第２点群データにより物体の情報を生成することと、を実行させ、ベクトルの方向の算出では、主成分分析によって特徴因子を抽出したベクトルの方向を求め、物体の情報の生成では、物体の第１部位に関して設定される領域の特徴因子と、物体の第１部位と異なる第２部位に関して設定される領域の特徴因子とに基づいて、第１部位と第２部位との接続部分に関する情報を生成する、処理プログラムが提供される。
本発明の態様に従えば、コンピュータに、物体上の各点の位置情報による第１点群データを主成分分析した第１主成分の方向を求めることと、第１点群データから第１主成分の方向に交差する領域内の点を抽出した第２点群データを生成することと、第２点群データにより物体の情報を生成することと、を実行させる処理プログラムが提供される。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係る処理装置（姿勢解析システム）の一例を示す図である。

【図2】本実施形態に係る位置検出部（点群取得部）の一例を示す図である。

【図3】図１に示す処理装置の一例を示す機能ブロック図である。

【図4】本実施形態に係る基準点群データに対して第１領域を設定した図である。

【図5】本実施形態に係る第１領域の第１点群データから第１主成分を算出し、第２領域を設定した図である。

【図6】本実施形態に係る第２点群データについて最短経路を算出した一例を示す図である。

【図7】本実施形態に係る第２点群データについて最短経路を算出した他の例を示す図である。

【図8】本実施形態に係る第１主成分の方向の位置と最短経路長との関係を示すグラフ図である。

【図9】本実施形態に係る新たな第１領域から第２領域を設定した図である。

【図10】本実施形態に係る新たな第２領域について第１主成分の方向の位置と最短経路長との関係を示すグラフ図である。

【図11】（Ａ）及び（Ｂ）は、本実施形態に係る第２生成部により物体の姿勢を推定する一例を示す図である。

【図12】本実施形態に係る処理方法の一例を示すフローチャートである。

【図13】本実施形態に係る処理方法の他の例を示すフローチャートである。

【図14】図１３に続いてに係る処理方法の他の例を示すフローチャートである。

【図15】第２実施形態に係る処理装置の一例を示す図である。

【図16】第３実施形態に係る処理装置の一例を示す図である。

【図17】本実施形態に係る表示部に表示される画面の一例を示す図である。

【図18】本実施形態に係る表示部に表示される画面の一例を示す図である。

【図19】本実施形態に係る表示部に表示される画面の一例を示す図である。

【図20】本実施形態に係る表示部に表示される画面の一例を示す図である。

【図21】本実施形態に係る表示部に表示される画面の一例を示す図である。

【図22】本実施形態に係る表示部に表示される画面の一例を示す図である。

【図23】本実施形態に係る表示部に表示される画面の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、実施形態について図面を参照しながら説明する。図面においては実施形態を説明するため、一部分を大きく又は強調して表すなど適宜縮尺を変更して表現している。図面においては、ＸＹＺ座標系を用いて図中の方向を説明する図がある。このＸＹＺ座標系においては、水平面に平行な平面をＸＺ平面とする。このＸＺ平面において人体Ｍの肩幅の方向をＸ方向と表記し、Ｘ方向に直交する方向をＺ方向と表記する。ＸＺ平面に垂直な方向はＹ方向と表記する。Ｘ方向、Ｙ方向及びＺ方向のそれぞれは、図中の矢印の指す方向が＋方向であり、矢印の指す方向とは反対の方向が－方向であるとして説明する。

【0011】

［第１実施形態］
第１実施形態について説明する。図１は、第１実施形態に係る処理装置１Ａの一例を示す図である。図１は、実施形態に係る姿勢解析システムＳＹＳの一例についても示している。処理装置１Ａ及び姿勢解析システムＳＹＳは、物体Ｍの姿勢情報及び形状情報の一方又は双方を生成する。本実施形態においては、物体Ｍとして人体を例に挙げて説明するが、物体Ｍが、例えば動物、人型又は人以外の動物型のロボット、若しくは動物型以外のロボットであってもよい。以下、物体Ｍを人体Ｍと称して説明する。

【0012】

人体Ｍは、後述する位置検出部２の検出の対象となる対象領域ＡＲ（例、位置検出部２の検出領域、視野）において、所定の静止姿勢（例、指定されたポーズ、起立した状態）の状態であってもよいし、移動（例、変化、動作）している状態であってもよい。人体Ｍは、例えば、移動に伴って姿勢と形状との一方又は双方が変化する。移動する人体Ｍは、例えば、バレエ、フェンシング、野球、サッカー、ゴルフ、剣道、アメリカンフットボール、アイスホッケー、又は体操などのスポーツ、ランニング、エクササイズ、ヨガ、ボディビル、ファッションショーなどのウォーキング又はポージング、ゲーム、トレーニング、ダンス、伝統芸能、人物認証、若しくは仕事において動作する人体である。人体Ｍには、人体Ｍに付帯する別の物体（例、衣類、装着物、運動器具、防具）を含んでもよい。

【0013】

処理装置１Ａ（又は姿勢解析システムＳＹＳ）は、例えば、形状評価装置、動作検出装置、運動評価装置、モーションキャプチャ装置、動作検出システム、運動支援システムなどである。姿勢解析システムＳＹＳは、処理装置１Ａと、位置検出部２とを含む。位置検出部２は、一例として点群取得部である。姿勢解析システムＳＹＳは、複数の処理装置１Ａあるいは複数の位置検出部２（例、点群取得部）を備えてもよい。本実施形態の処理装置１Ａ（又は姿勢解析システムＳＹＳ）は、２つの位置検出部２を備えている。なお、２つの位置検出部２は、互いに同一の構成を有しているが、互いに異なる構成を有していてもよい。２つの位置検出部２の一方は、人体Ｍの表面側（例、＋Ｚ側）に視点が設定され、他方は、人体Ｍの裏面側（例、－Ｚ側）に視点が設定される。２つの位置検出部２は、人体Ｍを中心として対称に配置されてもよいし、非対称に配置されてもよい。そして、処理装置１Ａ（又は姿勢解析システムＳＹＳ）は、人体Ｍの表面から得られた基準点群データＰＦに基づいて、人体Ｍの形状又は姿勢の情報である三次元データを生成する。基準点群データＰＦは、人体Ｍの形状（例、三次元形状）を表す情報である。

【0014】

処理装置１Ａは、図１に示すように、生成部１１と、第１生成部１２と、第２生成部１３と、算出部１４と、記憶部１５とを備える。処理装置１Ａの一部又は全体は、携帯可能な装置（例、情報端末、スマートフォン、タブレット、カメラ付き携帯電話、ウェアラブル端末）でもよい。また、処理装置１Ａの一部又は全体は、据え置き型の装置（例、デスクトップ型パソコン）でもよい。

【0015】

次に、処理装置１Ａを構成する各部について説明する。生成部１１は、人体Ｍ上の各点の位置情報である基準点群データＰＦ（例、図４参照）から、第１領域Ｒ１内（例、図５参照）の各点を抽出して第１点群データＰ１を生成する。算出部１４は、生成部１１が生成した第１点群データＰ１を主成分分析することにより第１点群データＰ１における第１主成分Ｄ１（例、図５参照）の方向を算出する。そして、第１生成部１２は、第１点群データＰ１から、算出部１４が算出した第１主成分Ｄ１の方向に交差する面である平面ＲＳ２Ａ（例、図５参照）を有する第２領域Ｒ２内（例、図５参照）の点を抽出して第２点群データＰ２を生成する。第２生成部１３は、第１生成部１２が生成した第２点群データＰ２により人体Ｍの情報を生成する。これら生成部１１、第１生成部１２、第２生成部１３、及び算出部１４の詳細については後述する。なお、図４に示す第１領域Ｒ１は、基準点群データＰＦで構成される基準領域より小さい領域である。

【0016】

記憶部１５は、例えば、揮発性又は不揮発性のメモリ、ハードディスク（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）などである。処理装置１Ａ（又は姿勢解析システムＳＹＳ）は、表示部３と、入力部４とを備える。表示部３は、処理装置１Ａから出力される画像のデータに基づいて、この画像を表示する。例えば、処理装置１Ａは、第２生成部１３が生成した人体Ｍに関するモデル画像又は人体Ｍに関する推定画像のデータを表示部３に出力する。そして、表示部３は、処理装置１Ａから出力された推定画像のデータに基づいて、推定画像を表示する。表示部３は、例えば、液晶ディスプレイ、有機ＥＬディスプレイを含む。

【0017】

入力部４は、処理装置１Ａに対する各種情報（例、データ、指令）の入力に利用される。ユーザは、入力部４を操作することによって、処理装置１Ａに対して各種情報を入力可能である。入力部４は、例えば、キーボード、マウス、トラックボール、タッチパッド、及び音声入力デバイス（例、マイク）の少なくとも一つを含む。なお、表示部３及び入力部４は、タッチパネルでもよい。処理装置１Ａ（又は姿勢解析システムＳＹＳ）は、表示部３を備えなくてもよい。例えば、処理装置１Ａは、画像等のデータを、通信を介して他の表示部又は表示装置へ出力し、この表示部等が画像を表示してもよい。また、処理装置１Ａ（姿勢解析システムＳＹＳ）は、入力部４を備えなくてもよい。例えば、処理装置１Ａは、各種の指令、情報が通信を介して入力される形態でもよい。

【0018】

位置検出部２は、人体Ｍの位置情報を検出する。位置検出部２は、人体Ｍの位置情報として、人体Ｍの表面上の各点の三次元座標を含む点群データを検出する。位置検出部２は、図１に示すように、検出部２１と、基準点群データ生成部２２と、記憶部２３とを備える。記憶部２３は、例えば、揮発性又は不揮発性のメモリ、ハードディスク（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）などである。なお、位置検出部２は、記憶部２３を備えなくてもよい。

【0019】

検出部２１は、例えば携帯型の装置（携帯機器）の少なくとも一部である。検出部２１は、据え置き型の装置の少なくとも一部でもよい。基準点群データ生成部２２は、処理装置１Ａの外部の装置に設けられてもよい（例、外部接続されてもよい）。例えば、位置検出部２は、処理装置１Ａの外部の装置であって、検出部２１と基準点群データ生成部２２と記憶部２３とを内蔵してもよい。位置検出部２の一部又は全体は、携帯可能な装置（例、情報端末、スマートフォン、タブレット、カメラ付き携帯電話、ウェアラブル端末）でもよい。また、位置検出部２の一部又は全体は、据え置き型の装置（例、定点カメラ）でもよい。

【0020】

図２は、位置検出部２（例、点群取得部）の検出部２１の一例を示す図である。検出部２１は、人体Ｍの位置情報としてデプスを検出する。検出部２１は、デプスセンサ（例、デプスカメラ）を含む。検出部２１は、所定の点から、対象領域ＡＲに配置される人体Ｍの表面における各点までのデプス（例、位置情報、距離、奥行き、深度）を検出する。所定の点は、例えば、検出部２１による検出の基準になる位置の点（例、視点、検出元の点、検出部２１の位置を表す点、後述する撮像素子２６の画素の位置）である。

【0021】

検出部２１は、照射部２４、光学系２５、及び撮像素子２６を備える。照射部２４は、対象領域ＡＲ（空間、検出領域）に光Ｌａ（例、パターン光、照射光、パルス光）を照射（例、投影）する。光学系２５は、例えば結像光学系（撮像光学系）を含む。撮像素子２６は、例えば、ＣＭＯＳイメージセンサあるいはＣＣＤイメージセンサを含む。撮像素子２６は、２次元的に配列された複数の画素を有する。撮像素子２６は、光学系２５を介して、人体Ｍを含む対象領域ＡＲを撮像する。撮像素子２６は、光Ｌａの照射によって対象領域ＡＲの人体Ｍから放射される光Ｌｂ（例、反射光、戻り光、透過光）を検出する。光Ｌｂは、例えば赤外光を含む。

【0022】

検出部２１は、照射部２４から照射される光Ｌａのパターン（例、強度分布）と、撮像素子２６によって検出された光Ｌｂのパターン（例、強度分布、撮像画像）とに基づいて、撮像素子２６の各画素に対応する対象領域ＡＲ上の点（この場合、人体Ｍ上の点）から、撮像素子２６の各画素までのデプスを検出する。検出部２１は、その検出結果として、対象領域ＡＲ（例、人体Ｍ）におけるデプスの分布を表したデプスマップ（例、デプス画像、奥行き情報、距離情報）を例えば基準点群データ生成部２２（図１参照）に出力する。

【0023】

なお、検出部２１は、ＴＯＦ（time of flight）法によってデプスを検出するデバイスでもよい。検出部２１は、ＴＯＦ法以外の手法でデプスを検出するデバイスでもよい。検出部２１は、例えば、レーザスキャナ（例、レーザ測距器）を含み、レーザスキャンによってデプスを検出してもよい。検出部２１は、例えば、位相差センサを含み、位相差法によってデプスを検出してもよい。検出部２１は、例えば、ＤＦＤ（depth from defocus）法によってデプスを検出してもよい。

【0024】

なお、検出部２１は、赤外光あるいは赤外光以外の光（例、可視光）を人体Ｍに照射し、人体Ｍから出射する光（人体Ｍで反射する光、例、可視光）を検出してもよい。検出部２１は、照射部２４から照射される光Ｌａに代えて、例えば音波（例、超音波）などのエネルギー波を用いてもよい。検出部２１は、例えばステレオカメラなどを含み、複数の視点から人体Ｍを検出（例、撮像）してもよい。検出部２１は、複数の視点から人体Ｍを撮像した撮像画像を用いて、三角測量によってデプスを検出してもよい。検出部２１は、光学的な手法以外の手法（例、超音波によるスキャン）でデプスを検出してもよい。

【0025】

図１に戻り、検出部２１の検出結果（例、デプスマップ）は、記憶部２３に記憶されてもよいし、記憶されなくてもよい。基準点群データ生成部２２は、検出部２１が検出したデプスに基づいて、人体Ｍの位置情報として基準点群データＰＦを生成する。基準点群データ生成部２２は、人体Ｍの位置情報として基準点群データＰＦを生成する点群処理を実行する。

【0026】

基準点群データＰＦは、対象領域ＡＲにおける人体Ｍ上の複数の点の３次元座標を含む。基準点群データＰＦは、人体Ｍの周囲の物体（例、壁、床）上の複数の点の３次元座標を含んでもよい。基準点群データ生成部２２は、検出部２１が検出した位置情報（例、デプス）に基づいて、人体Ｍに関する基準点群データＰＦを算出する。基準点群データ生成部２２は、記憶部２３に記憶されている検出部２１の検出結果を読み出して、基準点群データＰＦを算出する。なお、基準点群データ生成部２２は、人体Ｍのモデル情報（例、形状情報）として基準点群データＰＦを生成してもよい。

【0027】

検出部２１は、例えば、検出結果に相当するデプスマップ（例、デプス画像）を出力する。このデプスマップは、検出部２１によるデプスの測定値の空間分布を表す情報（例、画像）である。デプスマップは、対象領域ＡＲの各点におけるデプスを階調値で表したグレースケールの画像であってもよい。デプスマップがグレースケールの画像である場合には、階調値が相対的に高い部分（例、白い部分、明るい部分）は、デプスが相対的に小さい部分（位置検出部２から相対的に近い部分）である。デプスマップにおいて、階調値が相対的に低い部分（例、黒い部分、暗い部分）は、デプスが相対的に大きい部分（位置検出部２から相対的に遠い部分）である。なお、デプスマップは、例えばＲＧＢの画像であってもよい。

【0028】

ここで、基準点群データ生成部２２は、検出部２１からデプスマップのデータを受け取り、又は記憶部２３からデプスマップのデータを読み出し、基準点群データＰＦを算出する。記憶部２３がない場合、基準点群データ生成部２２は、検出部２１からデプスマップのデータを受け取ったタイミングで（例、リアルタイムで）基準点群データＰＦを算出する。

【0029】

例えば、基準点群データ生成部２２は、デプスマップの各画素の階調値（デプスの測定値）に基づいて、各画素に相当する実空間上の点の３次元座標を算出する。以下の説明において、適宜、１つの点の三次元座標を点データと称する。基準点群データＰＦは、複数の点データを一組にしたデータである。基準点群データ生成部２２は、例えば対象領域ＡＲの全体の点群データに対してセグメント化、パターン認識などを施して、人体Ｍの基準点群データＰＦを抽出する。

【0030】

また、基準点群データＰＦは、例えば、人体Ｍの少なくとも一部の輪郭（例、シルエット）を表す情報を含む。基準点群データＰＦは、例えば、人体Ｍの各関節の伸び又は曲がりが表れた情報を含む。基準点群データＰＦは、人体Ｍの各部の位置関係を特定可能な情報を含んでもよい。例えば、基準点群データＰＦは、人体Ｍの各部の位置情報（例、絶対位置、相対位置、座標）を含んでもよい。人体Ｍの各部の位置情報は、例えば、人体Ｍの末端部分（例、手先、足先、頭）の位置、及び、人体Ｍの関節（例、肩、肘、手首、膝）の位置の一方又は双方であってもよい。人体Ｍの各部の位置情報は、例えば、人体Ｍの末端部分と関節との間の部分（例、首、指）の位置、及び、人体Ｍの関節と関節との間の部分（例、前腕、上腕、大腿（上肢）、下腿（下肢））の位置の一方又は双方であってもよい。

【0031】

対象領域ＡＲにおける鉛直方向（Ｙ方向）及び水平面内で直交する２方向（Ｘ方向、Ｚ方向）は、既知の情報として例えば基準点群データ生成部２２に予め与えられている。基準点群データ生成部２２が生成した基準点群データＰＦにおいて、Ｘ、Ｙ、Ｚの各方向は上記既知の情報に基づいて設定される。なお、人体Ｍが移動している場合、人体Ｍの移動方向は、対象領域ＡＲ（例、位置検出部２の視野）に対して所定の方向（例、Ｘ方向）に予め定められていてもよい。

【0032】

図１において、位置検出部２は、処理装置１Ａの外部に設けられている。処理装置１Ａは、位置検出部２と無線又は有線により通信可能に接続される。位置検出部２は、基準点群データ生成部２２が生成した基準点群データＰＦを処理装置１Ａに出力する。処理装置１Ａは、位置検出部２が出力した基準点群データＰＦを受け取って（受信して）処理する。

【0033】

なお、処理装置１Ａは、位置検出部２からの基準点群データＰＦを、通信を介することなく取得してもよい。例えば、処理装置１Ａは、不揮発性メモリなどの記憶媒体を介して、位置検出部２の基準点群データＰＦを取得してもよい。例えば、位置検出部２の記憶部２３は、位置検出部２から取り外して携帯可能なカード型の補助記憶装置、又はＵＳＢメモリなどの記憶媒体でもよい。処理装置１Ａから取り外された記憶部１５を位置検出部２に接続させて基準点群データＰＦを記憶部１５に取り込み、この記憶部１５を処理装置１Ａに戻すことにより基準点群データＰＦを取得してもよい。

【0034】

図３は、処理装置１Ａの一例を示す機能ブロック図である。処理装置１Ａは、図１に示した生成部１１、第１生成部１２、第２生成部１３、算出部１４、及び記憶部１５の他に、第１設定部１１１と、特徴抽出部１１２と、第２設定部１１３と、特徴量算出部１１４と、判定部１１５と、再設定部１１６とを備える。記憶部１５は、処理装置１Ａで処理される元データ、及び処理装置１Ａで処理されたデータ（例、処理装置１Ａで生成されたデータ）を記憶する。記憶部１５は、位置検出部２から受け取った基準点群データＰＦを記憶する。記憶部１５は、基準点群データＰＦの元データとして、検出部２１から出力されるデプスマップを記憶してもよい。この場合、位置検出部２の基準点群データ生成部２２は、記憶部１５からデプスマップのデータを読み出して基準点群データＰＦを算出してもよい。

【0035】

生成部１１は、記憶部１５に記憶されている基準点群データＰＦから、第１領域Ｒ１内の点を抽出して第１点群データＰ１を生成する第１点群データ生成処理を実行する。第１設定部１１１は、生成部１１が第１点群データＰ１を生成するための第１領域Ｒ１を設定する第１領域設定処理を実行する。

【0036】

図４は、人体Ｍの基準点群データＰＦを示し、基準点群データＰＦに対して第１領域Ｒ１を設定した図である。図４に示すように、第１領域Ｒ１は、三次元の空間である。第１設定部１１１は、例えば、表示部３に基準点群データＰＦの画像を表示させておき、その画像に対してユーザが入力部４で所望の範囲を指定することにより第１領域Ｒ１を設定する。表示部３に表示する基準点群データＰＦの画像は、ユーザによる入力部４の操作によって三次元的に向きを変えられるようにしてもよい。

【0037】

また、第１設定部１１１は、基準点群データＰＦの画像のうちユーザが入力部４で指定したポイントを中心として、あらかじめ設定された範囲（例、Ｘ方向３００ｍｍ、Ｙ方向５００ｍｍ、Ｚ方向３００ｍｍ）を第１領域Ｒ１として設定してもよい。このポイントを中心として設定する範囲は、記憶部１５に記憶されていてもよい。また、記憶部１５には複数の範囲が記憶されている状態で、ユーザがいずれかの範囲を第１領域Ｒ１として入力部４により指定する構成であってもよい。

【0038】

また、第１設定部１１１は、基準点群データＰＦの画像のうちユーザが入力部４で指定したポイントを中心として、人体Ｍの身長に対してＹ方向（例、鉛直方向）に所定の割合（例、２０％）の範囲を第１領域Ｒ１として設定してもよい。所定の割合は、固定値として予め設定されていてもよいし、記憶部１５に記憶されている複数の割合からユーザが入力部４により選択してもよいし、ユーザが所定の割合を入力部４により入力してもよい。

【0039】

また、第１設定部１１１は、位置検出部２が取得している人体Ｍの画像データ（この場合、元データ）を用いて、この画像データに対してセグメンテーション（領域分割）を行い、ユーザが入力部４により複数の領域のうちいずれか１つ又は複数選択することで基準点群データＰＦに対応する部分が第１領域Ｒ１として設定されてもよい。複数の領域は、人体Ｍを構成する部分ごとに分割されてもよいし、規格化された領域ごとに分割されてもよい。

【0040】

また、人体Ｍの画像データから、画像内における同一又は似た特徴量（例、グレースケール画像の階調、ＲＧＢ画像の色、模様、柄）を持つグループごとに１つの領域としてセグメンテーションを行ってもよい。複数の領域は、例えば、人体Ｍの画像データから、人体Ｍを構成する部分をそれぞれパターンマッチング等により抽出して記憶部１５に記憶されてもよい。また、複数の領域は、基準点群データＰＦの画像に重ねて表示部３に表示され、ユーザが入力部４によりいずれかの領域を選択することで第１領域Ｒ１が設定されてもよい。

【0041】

また、第１設定部１１１は、入力部４により人体Ｍの外形特徴Ｑ（図４参照）を文字入力（例、腕、膝、太腿など）することにより、人体Ｍの外形特徴Ｑを含む範囲を第１領域Ｒ１として設定してもよい。外形特徴Ｑは、人体Ｍを構成する部分として、位置検出部２の検出部２１が撮像した人体Ｍの撮像データあるいは基準点群データ生成部２２が生成した基準点群データＰＦから抽出可能な人体Ｍの外形的な部分である。外形特徴Ｑは、人体Ｍにおいて、例えば、頭、首、肩、上腕、前腕、肘、手のひら、腰、臀部、股間、大腿、下腿、膝、かかとなどがある。外形特徴Ｑは、人体Ｍの表面において、例えば、所定方向に延びている、突出している、凹んでいる、くびれている、又は折れ曲がっているなど、形状上の特徴を有している。特徴抽出部１１２は、例えば、位置検出部２が取得している人体Ｍの画像データから、例えばパターンマッチング等により外形特徴Ｑを抽出してもよいし、基準点群データ生成部２２が生成した基準点群データＰＦから、例えば近接する点どうしを結んだ際における三次元上の方向の変化から抽出してもよい。第１設定部１１１は、特徴抽出部１１２が抽出した外形特徴Ｑに基づいて、基準点群データＰＦのうち予め決められた範囲を第１領域Ｒ１として設定する。第１設定部１１１は、外形特徴Ｑを含める範囲（例、外形特徴Ｑを含む大きな領域）を人体Ｍの撮像データから判断して第１領域Ｒ１として設定してもよいし、外形特徴Ｑを中心としてＸ方向、Ｙ方向、Ｚ方向に予め決められた範囲（例、Ｘ方向３００ｍｍ、Ｙ方向５００ｍｍ、Ｚ方向３００ｍｍ）を第１領域Ｒ１として設定してもよい。図４では、外形特徴Ｑとして「大腿」を抽出し、この「大腿」を含めて「臀部（股間）」の一部から「足首」までを含む範囲を第１領域Ｒ１として設定している。予め決められた範囲は、ユーザ等によって記憶部１５に記憶されている。第１設定部１１１が設定した第１領域Ｒ１に関する第１領域データＲＤ１は、記憶部１５に記憶される。

【0042】

生成部１１は、第１設定部１１１が設定した第１領域Ｒ１内に存在する各点を抽出して第１点群データＰ１を生成する。第１点群データＰ１は、記憶部１５に記憶されてもよい。なお、第１設定部１１１及び特徴抽出部１１２の一方又は双方は、生成部１１に含まれてもよい。また、第１設定部１１１及び特徴抽出部１１２の一方又は双方は、処理装置１Ａになくてもよい。この場合、生成部１１は、基準点群データＰＦから予め決められた１つ又は複数の範囲を自動的に第１領域Ｒ１として設定してもよい。なお、第１領域Ｒ１は、人体Ｍの一部を含む領域であってもよいし、人体Ｍの全部を含む領域であってもよい。第１領域Ｒ１は、例えば、人体Ｍを上下方向（例、Ｙ方向）に分割された領域であってもよいし、前後方向（例、Ｚ方向）に分割された領域であってもよい。

【0043】

図５は、上記した第１領域Ｒ１の第１点群データＰ１から第１主成分Ｄ１を算出し、第１主成分Ｄ１を用いて第２領域Ｒ２を設定した図である。算出部１４は、生成部１１が生成した第１点群データＰ１を主成分分析することにより第１主成分Ｄ１の方向を算出する第１主成分算出処理を実行する。主成分分析は、例えば、相関のある多数の変数から相関のない少数で全体のばらつきを最もよく表す主成分と呼ばれる変数を合成する多変量解析の一手法である。本実施形態では、第１領域Ｒ１における第１点群データＰ１の分散が最も大きくなる方向に軸をとり、これを第１主成分Ｄ１としている。

【0044】

第１主成分Ｄ１は、多変量解析により算出された特徴因子の一例である。算出部１４は、多変量解析により第１点群データＰ１に基づく複数の因子から特徴因子（例、第１主成分Ｄ１）を抽出し、この特徴因子におけるベクトルの方向（例、第１主成分Ｄ１の方向）を算出する。算出部１４は、主成分分析以外の多変量解析により第１点群データＰ１に基づく複数の因子（例、変数）から特徴因子を抽出し、この特徴因子におけるベクトルの方向を算出してもよい。本実施形態では、多変量解析として主成分分析により第１主成分Ｄ１の方向を算出する処理を例に挙げて説明する。

【0045】

第１生成部１２は、記憶部１５に記憶されている第１点群データＰ１から、算出部１４が算出した第１主成分Ｄ１の方向に交差する平面ＲＳ２Ａ（例、面、図５参照）を有する１つ又は複数の第２領域Ｒ２（Ｒ２Ａ、Ｒ２Ｂ、・・・、Ｒ２Ｍ）内の各点を抽出して第２点群データＰ２Ａ、Ｐ２Ｂ、・・・Ｐ２Ｍ（例、図６参照）を生成する処理を実行する。平面ＲＳ２Ａは、例えば、第１主成分Ｄ１の方向と直交する。平面（例、面）を有する第２領域Ｒ２は、第１主成分Ｄ１の方向に厚みを持つ領域（例、空間）である。第２領域Ｒ２は、例えば、略平面、直方体、円柱、楕円柱、多面体などである。

【0046】

なお、平面ＲＳ２Ａが用いられることに限定されず、第１主成分Ｄ１の方向に交差する面であれば任意な面に設定可能であり、例えば、第１主成分Ｄ１の方向に直交しない平面、又は曲面であってもよい。平面ＲＳ２Ａは、第１主成分Ｄ１の方向から見て平面ＲＳ２Ａ近傍の点群をカバーする広さに設定される。

【0047】

第２設定部１１３は、第１生成部１２が第２点群データＰ２を生成するための人体Ｍに対する第２領域Ｒ２を設定する第２領域設定処理を実行する。第２領域Ｒ２は、三次元の空間である。１つの第２領域Ｒ２は、第１領域Ｒ１より小さい。ただし、第２領域Ｒ２は、第１領域Ｒ１と同一であってもよい。第２設定部１１３は、第１主成分Ｄ１の方向における第２領域Ｒ２の長さ（この場合、厚さ）を設定する。第２領域Ｒ２は、平面ＲＳ２Ａから、第２設定部１１３が設定した第１主成分Ｄ１の方向の長さで区画される三次元の空間である。

【0048】

第２設定部１１３は、先に設定した第２領域Ｒ２Ａに対して第１主成分Ｄ１の方向の異なる位置に新たな第２領域Ｒ２Ｂを設定し、第１主成分Ｄ１の一端（一端側）から他端（他端側）に向けて順次新たな第２領域Ｒ２Ｂ、・・・、Ｒ２Ｍを設定する。すなわち、第２設定部１１３は、第１主成分Ｄ１の方向に沿って複数の第２領域Ｒ２Ａ、Ｒ２Ｂ、・・・、Ｒ２Ｍを設定する。複数の第２領域Ｒ２Ａ、Ｒ２Ｂ、・・・、Ｒ２Ｍは、それぞれ平面ＲＳ２Ａ、ＲＳ２Ｂ、・・・、ＲＳ２Ｍを有する領域である。平面ＲＳ２Ａ、ＲＳ２Ｂ、・・・、ＲＳ２Ｍは、それぞれが同一の広さであってもよいし、各平面ＲＳ２Ａ等の近傍に存在する点群に合わせて異なる広さであってもよい。このように、第２設定部１１３は、第１主成分Ｄ１の方向において先に設定した第２領域Ｒ２（例、第２領域Ｒ２Ａ）の位置とは異なる位置に新たな第２領域Ｒ２（例、第２領域Ｒ２Ｂ）を設定する。

【0049】

複数の第２領域Ｒ２Ａ、Ｒ２Ｂ、・・・、Ｒ２Ｍは、第１主成分Ｄ１の方向の長さが同一であってもよいし、互いに異なってもよい。第２設定部１１３は、複数の第２領域Ｒ２Ａ等の第１主成分Ｄ１の方向における長さを、予め決められた長さ（例、１０ｍｍ）に設定してもよいし、第１領域Ｒ１内の第１主成分Ｄ１の長さに基づいて所定の比率（例、第１主成分Ｄ１の長さの５％）で設定してもよい。所定の比率は、記憶部１５に記憶されていてもよいし、ユーザが入力部４により設定してもよい。第２設定部１１３は、複数の第２領域Ｒ２Ａ、Ｒ２Ｂ、・・・、Ｒ２Ｍを第１主成分Ｄ１の方向に沿って順次並べて設定する。第２設定部１１３は、複数の第２領域Ｒ２Ａ、Ｒ２Ｂ、・・・、Ｒ２Ｍが互いに接した状態で設定してもよいし、互いに隙間（例、間隔）を開けた状態で設定してもよい。また、第２設定部１１３は、複数の第２領域Ｒ２Ａ、Ｒ２Ｂ、・・・、Ｒ２Ｍを互いに一部重複させて設定してもよい。

【0050】

また、複数の第２領域Ｒ２の１つ又は全部は分析対象領域である。複数の第２領域Ｒ２の全部が分析対象領域である場合、第２領域Ｒ２Ａ、Ｒ２Ｂ、・・・、Ｒ２Ｍは、第１部分領域、第２部分領域、・・・、第Ｍ（Ｍは正の整数）部分領域である。また、これら第１から第Ｍ部分領域は、第１から第Ｍ分割領域、又は第１から第Ｍ小領域である。第２設定部１１３が設定した第２領域Ｒ２に関する第２領域データＲＤ２は、記憶部１５に記憶されてもよい。

【0051】

第１生成部１２は、第２設定部１１３が設定した第２領域Ｒ２Ａ、Ｒ２Ｂ、・・・、Ｒ２Ｍ内に存在する各点をそれぞれ抽出して第２点群データＰ２（Ｐ２Ａ、Ｐ２Ｂ、・・・、Ｐ２Ｍ）を生成する。第２点群データＰ２は、記憶部１５に記憶されてもよい。なお、第２設定部１１３は、第１生成部１２に含まれてもよい。また、第２設定部１１３は、処理装置１Ａになくてもよい。この場合、第１生成部１２は、第１点群データＰ１から予め決められた１つ又は複数の範囲を自動的に第２領域Ｒ２として設定してもよい。

【0052】

特徴量算出部１１４は、複数の第２点群データＰ２（Ｐ２Ａ、Ｐ２Ｂ、・・・、Ｐ２Ｍ）のそれぞれから特徴量を算出する特徴量算出処理を実行する。特徴量算出部１１４は、例えば、各第２点群データＰ２から特徴量として最短経路をそれぞれ算出する。

【0053】

図６は、第２点群データＰ２Ａについて最短経路を算出した一例を示す図である。特徴量算出部１１４は、例えば、第２点群データＰ２Ａ内に存在する点群（例、複数の点データ）を第１主成分Ｄ１の方向に写像して、第１主成分Ｄ１の方向に直交する仮想平面上の点群データとし、この仮想平面上に展開された点群に対して、所定形状をあてはめる手法（所定形状のフィッティング）、又は最小二乗法等の手法により最短経路を算出する（図７参照）。所定形状は、例えば連続的に変化する形状である。この所定形状としては、例えば、楕円、長円、円、曲線形状のいずれかであってもよいし、これらの形状が組み合わされた形状であってもよい。

【0054】

特徴量算出部１１４は、上記した手法により算出した最短経路の長さ（最短経路長）を算出する。特徴量算出部１１４が算出した最短経路長は、記憶部１５に記憶されてもよい。なお、特徴量算出部１１４は、特徴量として最短経路を算出することに限定されない。特徴量算出部１１４は、特徴量として、例えば、仮想平面上に展開された点群で囲まれた面積であってもよいし、第２点群データＰ２Ａで囲まれる空間の体積であってもよい。また、特徴量算出部１１４は、楕円推定（楕円形状をあてはめる手法）に代えて、変形例として以下の手法を適用可能である。例えば、特徴量算出部１１４は、第２点群データＰ２（例、Ｐ２Ａ）から凸包を求め、この凸包に含まれる点間をＢ－スプライン曲線により補完して第２点群データＰ２の特徴量（例、外周長）を算出してもよい。ここで、凸包は、第２点群データＰ２で与えられた各点を含む最小の凸集合である。第２点群データＰ２から求められた凸包は、第２点群データＰ２に含まれる点を含む全ての凸集合の交わり、あるいは第２点群データＰ２に含まれる点の凸結合全体の成す集合として定義可能である。凸集合とは、例えば、物体（本実施例では第２点群データＰ２）に含まれる任意の二点に対し、それら二点を結ぶ線分上の任意の点がまたその物体に含まれることをいう。凸結合とは、例えば、和が１となるような非負係数を持つ点（例、ベクトル、スカラー）の線型結合である。また、Ｂ－スプライン曲線とは、例えば、与えられた複数の点とノットベクトルから定義される滑らかな曲線である。

【0055】

ここで、特徴量算出部１１４は、仮想平面上における第１主成分Ｄ１の位置を算出してもよい。特徴量算出部１１４は、例えば、仮想平面上に展開された点群に対して、楕円形状を用いてフィッティング処理した場合、その楕円形状の中心を第１主成分Ｄ１の位置として算出してもよい。また、特徴量算出部１１４が算出した最短経路長は、人体Ｍにおけるその部位の外周の長さに相当すると推定可能である。

【0056】

また、第２点群データＰ２のデータ量が少ない場合がある。例えば、位置検出部２により人体Ｍの基準点群データＰＦを取得する際に、１方向から人体Ｍを撮像すると、その方向において影となる裏面側の画像が取得できず、その結果、基準点群データ生成部２２で、裏面側の点群がないまま基準点群データＰＦが生成されることがある。

【0057】

図７は、第２点群データＰ２について最短経路を算出した他の例を示す図である。図１に示す処理装置１Ａ（又は姿勢解析システムＳＹＳ）では、２つ（複数）の検出部２１を備える構成を示しているが、検出部２１が１つであってもよい。このような処理装置１Ａ（又は姿勢解析システムＳＹＳ）において、１つの検出部２１から－Ｚ方向（例、図１参照）を視点として人体Ｍを撮像すると、人体Ｍの表面側（例、＋Ｚ側）が撮像されるが、人体Ｍの裏面側（例、－Ｚ側）が撮像されない。そのため、基準点群データ生成部２２により基準点群データＰＦ（この場合、人体Ｍの裏面側の点群はない）が生成され、この基準点群データＰＦに基づいて第２点群データＰ２Ａ１（図７参照）が抽出されても裏面側の点群がないままとなる。しかしながら、人体Ｍの主要部分（例、頭、首、胴、脚、腕）は、長手方向と直交する平面上の外形がほぼ楕円形状であると仮定することが可能である。従って、特徴量算出部１１４は、第２点群データＰ２Ａ１に対して楕円形状でフィッティング処理を行うことにより最短経路を算出してもよい（図７参照）。また、特徴量算出部１１４は、楕円形状の中心を第１主成分Ｄ１Ａの位置として算出してもよい。また、図７に示すように裏面側の点群がない場合、先に点群データを取得した第１方向（例、－Ｚ方向）と異なる第２方向（例、＋Ｚ方向）から検出部２１により人体Ｍを撮像して、基準点群データ生成部２２により第２方向における点群データを生成させ、さらに、基準点群データ生成部２２により第１方向を視点とする点群データ（例、図７）と第２方向を視点とする点群データとを合成（例、マージ）して基準点群データＰＦを生成させてもよい。このように合成された基準点群データＰＦは、例えば、図６に示す第２点群データＰ２Ａのように、人体Ｍの表面側（例、－Ｚ側）と裏面側（例、＋Ｚ側）とに点群を有する。

【0058】

そして、判定部１１５は、隣り合う第２領域Ｒ２（例、Ｒ２ＡとＲ２Ｂ）の第２点群データＰ２（例、Ｐ２ＡとＰ２Ｂ）に基づいて特徴量算出部１１４によりそれぞれ算出された２つの特徴量（例、最短経路長）を比較して、変化量が所定値を超えるか否かを判定する判定処理を実行する。

【0059】

図８は、第１主成分Ｄ１の方向の位置と最短経路長との関係を示すグラフ図である。判定部１１５は、例えば、横軸が第１主成分Ｄ１、縦軸が最短経路長であるグラフを作成し（図８参照）、特徴量の変化量が所定値を超えるか否かを判定する。この所定値は、予め記憶部１５に記憶されていてもよい。判定部１１５は、変化量が所定値を超えるか否かを判定することに代えて、１次微分が変化するか否かを判定してもよい。

【0060】

判定部１１５は、変化量が所定値を超える、あるいは１次微分が変化すると判定したポイントＰＡ、ＰＢを特徴点（例、変化点）として抽出する（図８参照）。判定部１１５は、第１主成分Ｄ１の方向において、最短経路長が大きく変化する部位、あるいは最短経路長が増加から減少又は減少から増加に変わる部位をポイントＰＡ、ＰＢとして抽出する。判定部１１５が抽出したポイントＰＡ、ＰＢは、記憶部１５に記憶される。

【0061】

再設定部１１６は、判定部１１５により変化量が所定値を超える、あるいは１次微分が変化すると判定された場合に、その判定に用いた隣り合う第２領域Ｒ２の一方又は双方を、先に設定した第１領域Ｒ１から除外し、変化量が所定値を超えない範囲について、新たな第１領域Ｒ１１を設定する再設定処理を実行する。再設定部１１６は、この再設定処理によって先の第１領域Ｒ１より範囲が狭い新たな第１領域Ｒ１１を設定することができる。

【0062】

図９は、新たに設定された第１領域Ｒ１１に基づいて第２領域Ｒ２１を設定した図である。再設定部１１６は、例えば、複数の第２領域Ｒ２のうちポイントＰＡ、ＰＢより外側の第２領域Ｒ２を除外し、判定部１１５が抽出したポイントＰＡ、ＰＢに挟まれた第２領域Ｒ２における第１主成分Ｄ１の方向の範囲を新たな第１領域Ｒ１１として設定する（図８、図９参照）。

【0063】

そして、生成部１１は、再設定部１１６が新たな第１領域Ｒ１１を設定すると、基準点群データＰＦから第１領域Ｒ１１内の点を抽出して第１点群データＰ１１を生成する。算出部１４は、第１点群データＰ１１から主成分分析により第１主成分Ｄ１１を算出する（図９参照）。第２設定部１１３は、第１主成分Ｄ１１の方向に沿って１つ又は複数の第２領域Ｒ２１（Ｒ２１Ａ、・・・、Ｒ２１Ｅ）を設定する（図９参照）。

【0064】

第１生成部１２は、第２領域Ｒ２１Ａ、・・・、Ｒ２１Ｅ内に存在する各点をそれぞれ抽出して第２点群データＰ２１Ａ、・・・、Ｐ２１Ｅを生成する。特徴量算出部１１４は、第２点群データＰ２１Ａ等から特徴量である最短経路長を算出する。判定部１１５は、隣り合う第２領域Ｒ２１における特徴量の変化量が所定値を超えるか否かを判定する。判定部１１５により所定値を超えると判定された場合は、上記のように再設定部１１６が新たに第１領域を設定し、上記の処理が繰り返される。

【0065】

図１０は、新たな第２領域Ｒ２１について第１主成分Ｄ１１の方向の位置と最短経路長との関係を示すグラフ図である。なお、第１主成分Ｄ１１は、図１０に示す第１主成分Ｄ１に対して、ＰＡ、ＰＢに挟まれた範囲に相当する。判定部１１５により隣り合う第２領域Ｒ２１における特徴量の変化量が所定値を超えない場合（図１０参照）、そのときの第２点群データＰ２１Ａ、・・・、Ｐ２１Ｅ、及び第１主成分Ｄ１１の方向及び位置は、記憶部１５に記憶されてもよい。また、新たな第１領域Ｒ１１においては、第１主成分Ｄ１１に沿った最短経路長の変化が小さい、あるいは最短経路長が増加から減少又は減少から増加に変化しないことが推定されたことになる（図１０参照）。

【0066】

なお、上記した生成部１１から再設定部１１６までの繰り返しの処理において、判定部１１５は、特徴量の変化量を同一の所定値を用いて判定してもよいし、異なる所定値を用いて判定してもよい。例えば、判定部１１５は、１つ前に用いた所定値より小さい所定値を用いて判定してもよい。なお、特徴量算出部１１４及び判定部１１５の一方又は双方は、第２設定部１１３又は第１生成部１２に含まれてもよい。また、特徴量算出部１１４及び判定部１１５の一方又は双方は、処理装置１Ａになくてもよい。この場合、第１生成部１２は、１つ又は複数の第２領域Ｒ２から第２点群データＰ２を生成するだけでもよい。また、再設定部１１６は、第１設定部１１１又は生成部１１に含まれてもよい。判定部１１５が処理装置１Ａにない場合は、再設定部１１６は、処理装置１Ａになくてもよい。

【0067】

第２生成部１３は、第１生成部１２が生成した第２点群データＰ２に基づいて、人体Ｍの三次元モデル及び人体Ｍの姿勢情報の一方又は双方を生成する生成処理を実行する。第２生成部１３は、図３に示すように、姿勢推定部１１７と、モデル生成部１１８と、レンダリング処理部１１９とを備える。姿勢推定部１１７は、第１生成部１２が生成した第２点群データＰ２に基づいて、人体Ｍの姿勢を推定する姿勢推定処理を実行する。姿勢推定部１１７は、例えば、人体Ｍのうち第２領域Ｒ２（Ｒ２Ａ等）における対象部分（例、分析対象部分、対象部位）の位置情報を生成する。

【0068】

姿勢推定部１１７は、例えば、第２点群データＰ２から得られる人体Ｍの対象部分（対象部位）の形状に対して、認識処理（例、パターン認識、形状認識、骨格認識）を実行する。姿勢推定部１１７は、認識処理によって、上記の対象部分の位置情報を生成する。対象部分の位置情報は、例えば、対象部分を代表する点の座標（例、３次元座標）を含む。姿勢推定部１１７は、上記の認識処理によって、対象部分を表す点の座標を算出する。姿勢推定部１１７は、対象部分を表す点の座標を記憶部１５に記憶させる。姿勢推定部１１７は、主成分分析を行った後の第２点群データＰ２を用いるので、対象部分を高精度に推定可能である。

【0069】

姿勢推定部１１７は、上記認識処理の結果として、対象部分の位置と、対象部分の情報（例、属性情報、名称（例、大腿、上腕））と、２つの対象部分（例、大腿と下腿、下腿と足首から足先の部分、上腕と前腕）の接続関係を示す接続情報とを一組にした姿勢情報（例、骨格情報、スケルトンデータ）を生成する。姿勢推定部１１７は、上記姿勢情報を記憶部１５に記憶させる。

【0070】

姿勢推定部１１７は、上記姿勢情報に基づいて、人体Ｍの姿勢を推定する。姿勢推定部１１７は、接続関係がある一対の対象部分を結ぶ第１線と、第１線に接続され、接続関係がある一対の特徴部分を結ぶ第２線との相対位置（例、角度）に基づいて、第１線及び第２線を含む部分の姿勢を推定する。姿勢推定部１１７は、対象部分について上述のように姿勢を推定することで、人体Ｍの一部又は全体の姿勢を高精度に推定する。

【0071】

なお、姿勢推定部１１７は、人体Ｍなどの姿勢を定義した姿勢定義情報を参照して、姿勢を推定してもよい。上記の姿勢定義情報は、例えば、姿勢の種類を表す情報と、各対象部分の相対位置を定義する情報とを一組にした情報である。姿勢の種類を表す情報は、例えば、起立姿勢、座位姿勢など姿勢の名称である。姿勢推定部１１７は、上記姿勢情報と上記姿勢定義情報とを照合して、人体Ｍの姿勢を推定（識別）してもよい。

【0072】

また、姿勢推定部１１７は、物体における複数の対象領域（例、第２領域Ｒ２、分析対象領域）により推定された物体（本実施形態では人体Ｍ）の各部位の姿勢から接続部分（人体Ｍにおける関節位置）の推定を行ってもよい。物体における複数の対象領域は、関節を挟んで互いに接続された部位（例、頭と首、肩と上腕、上腕と前腕、臀部と大腿、大腿と下腿）である。

【0073】

図１１（Ａ）及び（Ｂ）は、本実施形態に係る第２生成部１３（例、姿勢推定部１１７）により物体（本実施形態では人体Ｍ）の姿勢を推定する一例を示す図である。図１１を参照して、姿勢推定部１１７が人体Ｍにおいて関節位置の推定を行う例について、関節Ｋとして「膝」を例に挙げて説明する。姿勢推定部１１７は、物体（本実施形態では人体Ｍ）の一部（例、対象領域）である第１部位Ｑ１（この場合、大腿）に関して第２領域Ｒ２１を設定する際の第１主成分Ｄ１１と、人体Ｍの他の一部であって第１部位Ｑ１とは異なる第２部位Ｑ２（この場合、下腿）に関して第２領域Ｒ１２１を設定する際の第１主成分Ｄ１１１とに基づいて、第１部位Ｑ１と第２部位Ｑ２との接続部分である関節Ｋに関する情報を生成する。上記実施形態のように人体Ｍの「大腿」を対象部位（第１部位Ｑ１）としてその姿勢（例、位置、方向、長さ）が高精度で推定された後、本実施形態の手法により他の対象部位（第２部位Ｑ２）である「下腿」を外形特徴として含むように第１領域を設定する。この第１領域は、「大腿」を対象とした際の第１領域Ｒ１（又は新たな第１領域Ｒ１１）の一部、あるいは第１領域Ｒ１のうち第１領域Ｒ１１を除いた領域の一部又は全部を含んでもよい。また、「下腿」を含む第１領域は、例えば、図４に示す第１領域Ｒ１であってもよい。そして、第１領域が設定されると、上記した実施形態と同様に、第１主成分の算出、第２領域の設定、第２点群データの生成及び特徴量の算出、といった処理が繰り返された後、図１１（Ａ）に示すように、「下腿」を対象部位（第２部位Ｑ２）とした第１領域Ｒ１１１から第１主成分Ｄ１１１が算出され、第２領域Ｒ１２１から生成された第２点群データを用いることにより、第２部位Ｑ２である「下腿」の姿勢（例、位置、方向、長さ）が姿勢推定部１１７によって高精度で推定される。

【0074】

続いて、姿勢推定部１１７は、図１１（Ｂ）に示すように、「大腿」（第１部位Ｑ１）を対象部位として第２領域Ｒ２１が設定された際の第１主成分Ｄ１１と、「下腿」（第２部位Ｑ２）を対象部位として第２領域Ｒ１２１が設定された際の第１主成分Ｄ１１１とを仮想的にそれぞれ延長させる。第１主成分Ｄ１１と第１主成分Ｄ１１１とは、互いに交差せず、平行かつ離間する平面にそれぞれ沿っている場合、又はねじれの位置関係にある場合のいずれであってもよい。そして、姿勢推定部１１７は、第１主成分Ｄ１１と第１主成分Ｄ１１１との距離が最短となるように線分ＬＸを算出し、その中点を「大腿」（第１部位Ｑ１）と「下腿」（第２部位Ｑ２）との接続部分である関節Ｋ（膝）として推定する。なお、姿勢推定部１１７は、第１主成分Ｄ１１と第１主成分Ｄ１１１とをそれぞれ延長した際、両者が交差する場合は、その交点を関節Ｋ（膝）として推定する。なお、姿勢推定部１１７は、線分ＬＸの中点を関節Ｋと推定することに限定されない。姿勢推定部１１７は、線分ＬＸの中点以外を関節Ｋと推定してもよく、例えば、関節Ｋを「大腿」（第１部位Ｑ１）又は「下腿」（第２部位Ｑ２）に近づけるように、線分ＬＸを所定の割合（例、３：７）で分割した点を関節Ｋとして推定してもよいし、第１主成分Ｄ１１上の点、又は第１主成分Ｄ１１１の点であってもよい。

【0075】

さらに、モデル生成部１１８は、上記姿勢情報に基づいて、人体Ｍのモデル情報を生成するモデル生成処理を実行する。モデル情報は、例えば３次元のＣＧモデルデータであり、人体Ｍの形状情報を含む。モデル生成部１１８は、第１生成部１２が生成した第２点群データＰ２に基づいて、人体Ｍのモデル情報を算出する。モデル生成部１１８は、形状情報としてサーフェス情報を算出するサーフェス処理を実行する。サーフェス情報は、例えばポリゴンデータ、ベクタデータ、及びドローデータの少なくとも１つを含む。サーフェス情報は、人体Ｍの表面上の複数の点の座標と、複数の点間の連結情報とを含む。連結情報（例、属性情報）は、例えば、人体Ｍ表面の稜線（例、エッジ）に相当する線の両端の点を互いに関連付ける情報を含む。また、連結情報は、例えば、人体Ｍ表面の輪郭に相当する複数の線を互いに関連付ける情報を含む。

【0076】

モデル生成部１１８は、サーフェス処理において、第２点群データＰ２に含まれる複数の点から選択される点とその近傍の点との間の面を推定する。モデル生成部１１８は、サーフェス処理において、第２点群データＰ２を点間の平面情報を持つポリゴンデータに変換する。モデル生成部１１８は、例えば、最小二乗法を用いたアルゴリズムにより、点群データをポリゴンデータへ変換する。モデル生成部１１８は、算出したサーフェス情報を記憶部１５に記憶させる。

【0077】

なお、モデル情報は、人体Ｍのテクスチャ情報を含んでもよい。モデル生成部１１８は、３次元の点座標及びその関連情報で規定された面のテクスチャ情報を生成してもよい。テクスチャ情報は、例えば、物体表面の文字や図形、模様、質感、パターン、凹凸を規定する情報、特定の画像、及び色彩（例、有彩色、無彩色）の少なくとも１つの情報を含む。モデル生成部１１８は、生成したテクスチャ情報を記憶部１５に記憶させてもよい。

【0078】

また、モデル情報は、画像の空間情報（例、照明条件、光源情報）を含んでもよい。光源情報は、人体Ｍに対して光（例、照明光）を照射する光源の位置、この光源から人体Ｍへ光が照射される方向（照射方向）、この光源から照射される光の波長、及びこの光源の種類のうち少なくとも１項目の情報を含む。モデル生成部１１８は、例えば、ランバート反射を仮定したモデル、アルベド（Albedo）推定を含むモデルなどを利用して、光源情報を算出してもよい。モデル生成部１１８は、生成した空間情報を記憶部１５に記憶させてもよい。モデル生成部１１８は、テクスチャ情報と空間情報との一方又は双方を生成しなくてもよい。

【0079】

レンダリング処理部１１９は、例えば、グラフィックス プロセッシング ユニット（GPU）を含む。なお、レンダリング処理部１１９は、ＣＰＵ及びメモリが画像処理プログラムに従って各処理を実行する態様でもよい。レンダリング処理部１１９は、例えば、描画処理、テクスチャマッピング処理、シェーディング処理の少なくとも一つの処理を行う。

【0080】

レンダリング処理部１１９は、描画処理において、例えば、生成されたモデル情報の形状情報に定められた形状を任意の視点から見た推定画像（例、再構築画像）を算出できる。レンダリング処理部１１９は、例えば、描画処理によって、モデル情報（例、形状情報）からモデル形状（例、推定画像）を再構成できる。レンダリング処理部１１９は、算出した推定画像のデータを記憶部１５に記憶させてもよい。

【0081】

レンダリング処理部１１９は、テクスチャマッピング処理において、例えば、推定画像上の物体の表面に、モデル情報のテクスチャ情報が示す画像を貼り付けた推定画像を算出できる。レンダリング処理部１１９は、推定画像上の物体の表面に、対象物と別のテクスチャを貼り付けた推定画像を算出することができる。レンダリング処理部１１９は、シェーディング処理において、例えば、モデル情報の光源情報が示す光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。レンダリング処理部１１９は、シェーディング処理において、例えば、任意の光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。

【0082】

なお、第２生成部１３は、姿勢推定部１１７、モデル生成部１１８、及びレンダリング処理部１１９を備えなくてもよい。また、姿勢推定部１１７、モデル生成部１１８、及びレンダリング処理部１１９の少なくとも１つは、第２生成部１３外の処理装置１Ａ内に備えてもよい。また、姿勢推定部１１７、モデル生成部１１８、及びレンダリング処理部１１９の少なくとも１つは、処理装置１Ａの外部に設けられて、処理装置１Ａと通信可能に接続されてもよい。

【0083】

処理装置１Ａ（又は姿勢解析システムＳＹＳ）は、上記した第２生成部１３が生成した人体Ｍの情報に基づいて、ユーザが入力部４を操作することにより、表示部３で表示する人体Ｍの三次元モデルあるいは姿勢情報について視点の切り替えを行うことができる。また、処理装置１Ａ（又は姿勢解析システムＳＹＳ）は、第２生成部１３が生成した人体Ｍの情報に基づいて体型計測などを行い、その計測結果に基づいて体型のスコア化も可能である。例えば、処理装置１Ａは、人体Ｍの情報（例、点群を含む姿勢情報など）に基づき計測した人体Ｍの体型の計測結果を絶対的又は相対的な数値で表したスコアを表示部３に表示させることが可能である。なお、このスコアは、表の形式又は時系列（例、横軸が時間又は日にち）のグラフの形式などを用いて表示部３に表示される。なお、処理装置１Ａは、ユーザの人体Ｍの情報に基づくスコアと、事前に記憶部１５に記憶されている教師となる人体Ｍの情報に基づくスコアとを比較した結果を表示部３に表示させてもよいし、記憶部１５に記憶されているユーザの過去のスコアと現在において計測したスコアとを比較した結果を表示部３に表示させてもよい。なお、ユーザの人体Ｍの情報と教師となる人体Ｍの情報とを重ねて表示部３に表示させてもよい。教師となる人体Ｍの情報は、ユーザの習熟度に基づいた教師の情報を用いることが可能なように複数あり、それらの情報は記憶部１５に記憶されている。処理装置１Ａは、ユーザの習熟度に基づいて教師となる人体Ｍの情報を変更することが可能である。また、人体Ｍの各部位（例、大腿、上腕）について外周の寸法（例、大腿周りの長さ）を表示部３に表示させることができる。なお、特徴量算出部１１４が算出した最短経路長を用いて、各部位の外周の寸法としてもよい。人体Ｍの各部位の寸法を表示させる場合、時系列に表示させてもよいし、時系列で人体Ｍの一部又は全体の三次元モデルを表示部３に表示させてもよい。

【0084】

次に、本実施形態に係る処理方法について説明する。図１２は、本実施形態に係る処理方法の一例を示すフローチャートである。図１２のフローチャートを説明するに際して、上記した図１から図１０等を適宜用いる。処理装置１Ａ（又は姿勢解析システムＳＹＳ）は、物体（この場合、人体Ｍ）の基準点群データＰＦを取得する（ステップＳ１）。ステップＳ１において、基準点群データＰＦは、位置検出部２からまとめて１つのファイルとして処理装置１Ａに送られてもよいし、複数のファイルとして分割されて順次処理装置１Ａに送られてもよい。

【0085】

続いて、処理装置１Ａの第１設定部１１１は、基準点群データＰＦから第１領域Ｒ１を設定し、生成部１１は、第１領域Ｒ１内の点を抽出して第１点群データＰ１を生成する（ステップＳ２）。ステップＳ２において、設定された第１領域Ｒ１の大きさ及び位置に関する画像が、基準点群データＰＦに重ねた状態で表示部３に表示されてもよい。また、ステップＳ２において、第１点群データＰ１を基準点群データＰＦから分離した状態で表示部３に表示させてもよいし、基準点群データＰＦのうち第１点群データＰ１の部分の色を他の部分から変えた状態で、あるいは第１点群データＰ１の部分を点滅させた状態で表示部３に表示させてもよい。なお、上記したように、第１領域Ｒ１は、基準点群データＰＦからラフに切り出した状態である。第１領域Ｒ１は、例えば、ユーザが分析を希望する部位を含んだ広い領域として設定される。

【0086】

続いて、算出部１４は、第１点群データＰ１に対して主成分分析により第１主成分Ｄ１の方向を算出する（ステップＳ３）。ステップＳ３において、算出部１４は、第１主成分Ｄ１の方向から見た第１主成分Ｄ１の位置、及び第１主成分Ｄ１の長さを算出してもよい。そして、第２設定部１１３は、第１主成分Ｄ１に直交する面（例、平面ＲＳ２Ａ）を有する第２領域Ｒ２（Ｒ２Ａ）を設定する（ステップＳ４）。ステップＳ４において、設定された第２領域Ｒ２の大きさ及び位置に関する画像が、第１点群データＰ１又は基準点群データＰＦに重ねた状態で表示部３に表示されてもよい。

【0087】

続いて、第１生成部１２は、第１点群データＰ１から第２領域Ｒ２内の点を抽出して第２点群データＰ２を生成する（ステップＳ５）。ステップＳ５において、第２点群データＰ２を第１点群データＰ１又は基準点群データＰＦから分離した状態で表示部３に表示させてもよいし、第１点群データＰ１又は基準点群データＰＦのうち第２点群データＰ２の部分の色を他の部分から変えた状態で、あるいは第２点群データＰ２の部分を点滅させた状態で表示部３に表示させてもよい。

【0088】

続いて、第２生成部１３は、第２点群データＰ２から人体Ｍの情報を生成する（ステップＳ６）。ステップＳ５において、第２生成部１３は、人体Ｍの三次元モデル及び姿勢情報の一方又は双方を人体Ｍの情報として表示部３に表示させてもよい。

【0089】

三次元モデル及び姿勢情報（例、骨格情報、スケルトンデータ）は、ユーザによる入力部４の操作によっていずれか一方を表示部３に表示させるように切り替え可能であってもよいし、三次元モデルと姿勢情報とを表示部３に並べて表示させてもよい。また、人体Ｍの各部位のそれぞれについて、外形寸法などの数値を三次元モデルと併せて表示部３に表示させてもよいし、特定の外形寸法について経時的な変化を併せて表示部３に表示させてもよい。

【0090】

図１３及び図１４は、本実施形態に係る処理方法の他の例を示すフローチャートである。このフローチャートにおいて、ステップＳ１からＳ５は上記した図１２に示す処理とほぼ同様であるので説明を省略又は簡略化する。なお、図１３のフローチャートのステップＳ４では、第２設定部１１３が複数の第２領域Ｒ２を設定する。例えば、ステップＳ４において、第２設定部１１３は、第１主成分Ｄ１の方向に沿って複数の第２領域Ｒ２を順次設定する。

【0091】

第２設定部１１３は、第１主成分Ｄ１の方向における第２領域Ｒ２の長さ（この場合、厚さ）を設定するが、この長さが短いと（この場合、厚さが薄いと）第２領域Ｒ２の数が増えるので、データ量の観点からその後の処理負担が増加する。従って、第２設定部１１３は、処理装置１Ａの処理能力に基づいて、第２領域Ｒ２の数、又は第１主成分Ｄ１の方向の長さを設定してもよい。

【0092】

ステップＳ５に続いて、特徴量算出部１１４は、第２点群データＰ２から特徴量として最短経路長を算出する（ステップＳ１１）。続いて、第１生成部１２又は特徴量算出部１１４は、最短経路長を算出した第２点群データＰ２の第２領域Ｒ２が最後の第２領域Ｒ２か否かを判断する（ステップＳ１２）。最後の第２領域Ｒ２でない場合（ステップＳ１２のＮＯ）、ステップＳ４に戻り、第２設定部１１３は、先に設定した第２領域Ｒ２に対して次の第２領域Ｒ２を設定する。最後の第２領域Ｒ２である場合（ステップＳ１２のＹＥＳ）、判定部１１５は、隣り合う第２領域Ｒ２において最短経路長を比較して変化量を抽出する（ステップＳ１３）。

【0093】

続いて、判定部１１５は、最短経路長の変化量が所定値を超えるか否かを判断する（ステップＳ１４）。変化量が所定値を超える場合（ステップＳ１４のＮＯ）、再設定部１１６は、その判定に用いた隣り合う第２領域Ｒ２の一方又は双方を、先に設定した第１領域Ｒ１から除外し、変化量が所定値を超えない範囲を新たな第１領域に設定する（ステップＳ１５）。そして、ステップＳ２からステップＳ１４までの処理が繰り返される。この一連の処理により、最短経路長の変化量が大きい部分が除外されて、ユーザが求める部位（分析対象領域）をロバスト性が高く高精度で形状又は姿勢を推定することが可能となる。

【0094】

また、変化量が所定値を超えない場合（ステップＳ１４のＹＥＳ）、第２生成部１３は、第２点群データＰ２から人体Ｍの情報を生成する（ステップＳ１６）。このステップＳ１６は、図１２に示すステップＳ６と同様であるため、説明を省略する。

【0095】

なお、図１３及び図１４に示すフローチャートでは、ステップＳ５からステップＳ１２の処理において、複数の第２領域Ｒ２を順次設定して最短経路長を算出しているが、この処理に限定されない。例えば、ステップＳ５において、第２設定部１１３により複数の第２領域Ｒ２を設定し、ステップＳ６において、第１生成部１２は、複数の第２領域Ｒ２のそれぞれから点群（点データ）を抽出して複数の第２点群データＰ２を生成し、ステップＳ１１において、特徴量算出部１１４は、複数の第２点群データＰ２のそれぞれから最短経路長を算出するといった、最短経路長の算出を複数の第２点群データＰ２に対して並行して行ってもよい。

【0096】

［第２実施形態］
次に、第２実施形態について説明する。図１５は、第２実施形態に係る処理装置の一例を示す図である。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１５に示す処理装置１Ｂは、位置検出部２（例、点群取得部）が処理装置１Ｂの内部に設けられる（内蔵される）。この処理装置１Ｂは、１つのユニット（パッケージ）内に基準点群データＰＦを取得する機能を含む。処理装置１Ｂは、例えば、ノート型パソコンが用いられ、検出部２１は、ノート型パソコンに搭載されているカメラが用いられる。

【0097】

処理装置１Ｂは、別に位置検出部２を用意する必要がなく、携帯時等において利便性を有する。なお、処理装置１Ｂにおいて、位置検出部２の記憶部２３は、処理装置１Ｂが備える記憶部１５と兼用されてもよい。すなわち、記憶部２３は、処理装置１Ｂになくてもよい。

【0098】

［第３実施形態］
次に、第３実施形態について説明する。図１６は、第３実施形態に係る処理装置の一例を示す図である。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１６に示す処理装置１Ｃは、位置検出部２（例、点群取得部）の基準点群データ生成部２２及び記憶部２３が処理装置１Ｃの内部に設けられる（内蔵される）。そして、検出部２１は、処理装置１Ｃの外部に設けられる態様である。検出部２１は、人体Ｍ（物体）を撮像可能な構成を有すればよく、例えば、カメラ、撮像機能を有する携帯端末（例、スマートフォン、タブレット）であってもよい。検出部２１は、人体Ｍの位置情報として、デプスマップを処理装置１Ｃ（基準点群データ生成部２２）に出力する。

【0099】

処理装置１Ｃは、物体（この場合、人体Ｍ）を撮像可能な検出部２１を用意するだけで、検出部２１から人体Ｍの画像を取得することにより容易に基準点群データＰＦを生成することができ、撮像機能を持たないノート型パソコン又はデスクトップ型パソコンを用いることができる。なお、処理装置１Ｃにおいて、位置検出部２の記憶部２３は、処理装置１Ｃが備える記憶部１５と兼用されてもよい。すなわち、記憶部２３は、処理装置１Ｃになくてもよい。

【0100】

次に、本実施形態における表示部３に表示される画面などについて説明する。図１７から図２３は、第１から第３実施形態において、表示部３に表示される画面の一例を示す図である。図１７から図２３は、例えば、上記した実施形態を人体Ｍの体型計測に応用した場合の体型計測アプリケーションの画面を例示している。図１７は、体型計測アプリケーションの開始画面ＳＡである。この開始画面ＳＡには、「Ｍｅｓｕｒｅｍｅｎｔ」、「Ｕｓｅｒ Ｉｎｆｏｍａｔｉｏｎ」、「Ｈｉｓｔｏｒｙ」、「Ｃｏｎｆｉｇｕｒａｔｉｏｎ」、「Ｃｌｏｓｅ」等のアイコンが表示され、ユーザが所望する操作が可能となっている。なお、この体型計測アプリケーションにおいて、ユーザ名は「ｔｅｓｔ」としている。

【0101】

ユーザが開始画面ＳＡの「Ｍｅｓｕｒｅｍｅｎｔ」のアイコンを選択すると、図１８に示すように、計測画面ＳＢが表示され、「ＤｅｖｉｃｅＳｔａｔｕｓ」がＯＫの場合には、上記した実施形態のように、位置検出部２の検出部２１による人体Ｍの撮像が可能な状態を示す。「ＤｅｖｉｃｅＳｔａｔｕｓ」がＯＫの場合、計測画面ＳＢにおける「Ｄｅｖｉｃｅ１」などのアイコンの下方に、上記した位置検出部２で撮像される画像が表示される。また、「ＤｅｖｉｃｅＳｔａｔｕｓ」がＮＧの場合、図１８の計測画面ＳＢが表示される。なお、位置検出部２あるいは検出部２１を複数用いる場合は、「Ｄｅｖｉｃｅ１」「Ｄｅｖｉｃｅ２」・・・のアイコンの下方に位置検出部２の位置、機種名等を表示させてもよい。なお、上記の処理装置は、「ＤｅｖｉｃｅＳｔａｔｕｓ」の状態に関係なく、「Ｄｅｖｉｃｅ１」「Ｄｅｖｉｃｅ２」・・・のアイコンの下方に、それぞれの位置検出部２で撮像した画像を表示部３に表示させてもよい。また、上記の処理装置は、計測画面ＳＢに、位置検出部２等により人体Ｍを撮像すべき方向を教示する教示画像を表示させてもよい。

【0102】

計測画面ＳＢには「ＰｏｓｅＭｏｄｅｌ」のアイコンの下方に、撮像時に人体Ｍに要求する姿勢の画像を表示している。ユーザは、この姿勢の画像を参酌することにより撮像時の姿勢を容易に把握することができる。また、ユーザが「ＰｏｓｅＭｏｄｅｌ」のアイコン又は姿勢の画像を操作することにより、計測画面ＳＢに表示される姿勢を変更できる。変更時には、「ＰｏｓｅＭｏｄｅｌ１」、「ＰｏｓｅＭｏｄｅｌ２」・・・といったアイコンと、アイコンに関連付けられている姿勢の画像とが表示される。

【0103】

図１８において、ユーザが計測画面ＳＢの「Ｃａｐｔｕｒｅ１」のアイコンを選択すると、例えば、「Ｄｅｖｉｃｅ１」に示される位置検出部２あるいは検出部２１により人体Ｍの撮像を行い、その撮像データから基準点群データ生成部２２が基準点群データＰＦを生成する。生成した基準点群データＰＦは、計測画面ＳＢにおいて「Ｄｅｖｉｃｅ１」のアイコンの下方に表示されてもよい。

【0104】

また、ユーザが開始画面ＳＡの「Ｕｓｅｒ Ｉｎｆｏｍａｔｉｏｎ」のアイコンを選択すると、図１９に示すように、ユーザ管理画面ＳＣが表示され、ユーザ情報の登録や編集、削除を行うことができる。例えば、ユーザ情報を登録する場合には、図２０に示すような新規ユーザ登録画面ＳＣ１のウインドウを表示させることができる。新規のユーザが、新規ユーザ登録画面ＳＣ１のウインドウに所定事項を入力することで、この体型計測アプリケーションの各種データを管理可能となる。

【0105】

ユーザが開始画面ＳＡの「Ｈｉｓｔｏｒｙ」のアイコンを選択すると、図２１に示すように、過去の計測結果リストを含むデータ履歴画面ＳＤが表示される。データ履歴画面ＳＤには、ユーザにおける人体Ｍの部位の外周寸法などが計測した日付に関連づけられて表示される。図２１に示すデータ履歴画面ＳＤでは、「ＬｅｆｔＵｐｐｅｒＡｒｍ」、「Ｗａｉｓｔ」の外周寸法が計測した日付に関連づけられて表示されている。「ＬｅｆｔＵｐｐｅｒＡｒｍ」、「Ｗａｉｓｔ」の外周寸法は、上記した実施形態の説明において、第２領域Ｒ２が「ＬｅｆｔＵｐｐｅｒＡｒｍ」（左上腕）、「Ｗａｉｓｔ」（ウェスト、胴）であるときの第２点群データＰ２から生成された三次元モデルから取得される。すなわち、本実施形態では、主成分分析された第２点群データＰ２から三次元モデルが生成されるので、「ＬｅｆｔＵｐｐｅｒＡｒｍ」、「Ｗａｉｓｔ」の外周寸法が精度よく計測されている。

【0106】

ユーザがデータ履歴画面ＳＤの「Ｗａｉｓｔ」のアイコンを選択すると、図２２に示すように、計測位置調整画面ＳＤ１が表示される。計測位置調整画面ＳＤ１は、データ履歴画面ＳＤに表示される数値を調整（変更）する画面である。計測位置調整画面ＳＤ１には、「Ｐｏｓｉｔｉｏｎ Ｒｅｓｕｌｔ」に基準位置（＋０）から＋方向（上方）及び－方向（下方）に複数の位置と、その位置での外周の寸法が並べて表示されている。図２２に示す計測位置調整画面ＳＤ１は、基準位置（＋０）が選択されている。ユーザは、他の位置（例、＋２、－３）のアイコンを選択することにより、データ履歴画面ＳＤに表示される数値を調整（変更）することができる。なお、計測位置調整画面ＳＤ１では、選択されている位置を画像上で示す水平方向の水平指示線Ｈが表示されている。水平指示線Ｈは、ユーザが選択した位置に応じて移動する。計測位置調整画面ＳＤ１では、人体Ｍの中心における鉛直方向を示す鉛直指示線Ｖが表示されている。

【0107】

続いて、ユーザが開始画面ＳＡの「Ｃｏｎｆｉｇｕｒａｔｉｏｎ」のアイコンを選択すると、図２３に示すように、カメラ位置調整画面ＳＥが表示される。カメラ位置調整画面ＳＥでは、例えば、データの保存場所の設定、カメラ位置の調整等のデバイス（例、位置検出部２）の諸設定を行うことができる。

【0108】

以上のように、本実施形態によれば、物体（例、人体Ｍ）の一部又は全部について高精度に三次元モデル又は姿勢情報を生成することができる。物体が人体Ｍである場合、人体Ｍの各部位の三次元形状が高精度で生成されるので、人体Ｍ各部位のサイズ（外周の寸法）を容易かつ精度よく取得できる。また、本実施形態によれば、人体Ｍの各部位の姿勢情報が高精度で生成されるので、運動時（例、バレエ、野球、ゴルフ）における人体Ｍの各部位の姿勢（例、大腿の向き、上腕の向き、バレエのフォーム、ピッチングフォーム、バッティングフォーム、ゴルフスイングのフォーム）を容易かつ精度よく取得できる。

【0109】

なお、上記した処理装置１Ａ（又は姿勢解析システムＳＹＳ）は、位置検出部２を２以上備えてもよい。また、姿勢解析システムＳＹＳは、２以上の処理装置１Ａ、１Ｂ、１Ｃを備えてもよい。

【0110】

上記した実施形態において、処理装置１Ａ、１Ｂ、１Ｃの生成部１１、第１生成部１２、第２生成部１３、算出部１４、第１設定部１１１、特徴抽出部１１２、第２設定部１１３、特徴量算出部１１４、判定部１１５、再設定部１１６、姿勢推定部１１７、モデル生成部１１８、レンダリング処理部１１９、及び位置検出部２の基準点群データ生成部２２は、プログラムがコンピュータに読み込まれることにより、ソフトウェアとハードウェア資源とが協働した具体的手段として実現されてもよい。

【0111】

また、上述の実施形態において、処理装置１Ａ、１Ｂ、１Ｃは、例えばコンピュータシステムを含む。処理装置１Ａ、１Ｂ、１Ｃは、記憶部１５に記憶されている処理プログラムを読み出し、この処理プログラムに従って各種の処理を実行する。この処理プログラムは、例えば、コンピュータに、物体上の各点の位置情報による第１点群データを主成分分析した第１主成分の方向を求めることと、第１点群データから第１主成分の方向に交差する領域内の点を抽出した第２点群データを生成することと、第２点群データにより物体の情報を生成することと、を実行させる。このプログラムは、コンピュータ読み取り可能な記憶媒体（例、非一時的な記録媒体、non-transitory tangible media）に記録されて提供されてもよい。

【0112】

なお、実施形態について説明したが、本発明の技術範囲は、上述の実施形態などで説明した内容に限定されない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、実施形態において示した各処理の実行順序は、前の処理の出力を後の処理で用いない限り、任意の順序で実現可能である。また、上記した実施形態における処理に関して、便宜上「まず」、「次に」、「続いて」、「そして」等を用いて説明したとしても、この順序で実施することが必須ではない。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。

【0113】

なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、日本特許出願である特願２０１８－１４３６８８、及び、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。

【符号の説明】

【0114】

Ｄ１、Ｄ１１・・・第１主成分 Ｍ・・・人体（物体） Ｋ・・・関節（接続部分） ＬＸ・・・線分 Ｐ１、Ｐ１１・・・第１点群データ Ｐ２、Ｐ２Ａ～Ｐ２Ｍ・・・第２点群データ ＰＦ・・・基準点群データ Ｑ・・・外形特徴 Ｑ１・・・第１部位 Ｑ２・・・第２部位 Ｒ１、Ｒ１１・・・第１領域 Ｒ２、Ｒ２Ａ、Ｒ２Ｂ～Ｒ２Ｍ、Ｒ２１Ａ～Ｒ２１Ｅ・・・第２領域 ＲＳ２Ａ・・・平面（面） ＳＹＳ・・・姿勢解析システム １Ａ、１Ｂ、１Ｃ・・・処理装置 ２・・・位置検出部（点群取得部） １１・・・生成部 １２・・・第１生成部 １３・・・第２生成部 １４・・・算出部 ２２・・・基準点群データ生成部 １１１・・・第１設定部 １１２・・・特徴抽出部 １１３・・・第２設定部 １１４・・・特徴量算出部 １１５・・・判定部 １１６・・・再設定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】