ホーム > 特許ランキング > 国立大学法人 東京大学
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-11
(45)【発行日】2024-07-22
(54)【発明の名称】皮膚情報を用いた運動特徴量の取得方法及び装置
(51)【国際特許分類】
G06T 7/20 20170101AFI20240712BHJP
A61B 5/117 20160101ALI20240712BHJP
A61B 5/11 20060101ALI20240712BHJP
【ＦＩ】
G06T7/20 300
A61B5/117 100
A61B5/11 120
【請求項の数】
17
(21)【出願番号】P 2020090047
(22)【出願日】2020-05-22
(65)【公開番号】P2021184215
(43)【公開日】2021-12-02
【審査請求日】2023-04-25
(73)【特許権者】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(74)【代理人】
【識別番号】100103137
【弁理士】
【氏名又は名称】稲葉 滋
(74)【代理人】
【識別番号】100145838
【弁理士】
【氏名又は名称】畑添 隆人
(72)【発明者】
【氏名】中村 仁彦
(72)【発明者】
【氏名】池上 洋介
(72)【発明者】
【氏名】張 添威
(72)【発明者】
【氏名】赤瀬 稔尚
【審査官】橋爪 正樹
(56)【参考文献】
【文献】特表２０１０－５０８６０９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００ －１９／２０
Ｇ０６Ｔ ７／２０ － ７／９０
Ａ６１Ｂ ５／１０３－ ５／１１７８
(57)【特許請求の範囲】
【請求項1】
記憶部とプロセッサを備えたコンピュータを用いた運動特徴量の取得方法であって、
対象の形状は、皮膚ポリゴンによって特定されており、
前記皮膚ポリゴンの各頂点は、対象の姿勢に依存した座標を備えており、
対象の形状は、皮膚ポリゴンから選択された１つあるいは複数の代表領域により代表されており、各代表領域は複数の頂点からなる頂点群であり、
前記記憶部には、対象の運動時の皮膚ポリゴンの時系列データが記憶されており、
前記プロセッサが、複数フレームにおいて、前記１つあるいは複数の代表領域を用いて、各フレームの対象の形状を代表する形状代表値を算出し、
前記プロセッサが、前記形状代表値の時系列データを用いて、対象の運動に伴う、前記１つあるいは複数の代表領域の時間的変化を代表する値を運動特徴量として取得する、
運動特徴量の取得方法。
【請求項2】
対象の形状は、複数の代表領域により代表されており、前記複数の代表領域の時間的変化には、対象の運動に伴う、代表領域間の空間的関係の時間的変化が含まれる、
請求項１に記載の運動特徴量の取得方法。
【請求項3】
代表領域間の空間的関係は、任意の２つの代表領域の頂点座標の関数により規定される、請求項２に記載の運動特徴量の取得方法。
【請求項4】
代表領域間の空間的関係は、任意の２つの代表領域間における頂点間距離により規定される、請求項２、３いずれか１項に記載の運動特徴量の取得方法。
【請求項5】
前記代表領域は、環状に並んだ環状頂点群である、請求項１～３いずれか１項に記載の運動特徴量の取得方法。
【請求項6】
前記環状頂点群は、全ての頂点について、HKS（Heat Kernel Signature）を用いてHK値を取得し、
全ての頂点を、閾値によって２つのグループに分け、
前記２つのグループの境界に位置して環状に並んだ頂点の集合からなる環状頂点群を取得し、
閾値を変化させることで、複数の環状頂点群を取得する、
請求項５に記載の運動特徴量の取得方法。
【請求項7】
対象の姿勢は、骨格モデルによって特定されており、皮膚ポリゴンモデルの各頂点と、骨格とを関連付ける関数が得られており、
対象の皮膚ポリゴンモデルの各頂点の初期座標が、特定の初期姿勢に依存して得られており、
任意の姿勢における各頂点の座標が、前記関数を用いて、前記初期座標、前記初期姿勢、前記任意の姿勢から取得可能となっている、
請求項１～６いずれか１項に記載の運動特徴量の取得方法。
【請求項8】
前記対象の姿勢は、１枚あるいは複数枚の画像を用いてマーカレスモーションキャプチャによって取得される、請求項１～７いずれか１項に記載の運動特徴量の取得方法。
【請求項9】
記憶部とプロセッサを備えたコンピュータを用いた形状代表情報の取得方法であって、
対象の形状は、皮膚ポリゴンによって特定されており、
前記皮膚ポリゴンの各頂点は、対象の姿勢に依存した座標を備えており、
前記記憶部には、対象の特定の姿勢に対応する皮膚ポリゴンの全ての頂点の座標が記憶されており、
前記プロセッサが、全ての頂点について、HKS（Heat Kernel Signature）を用いてHKS値を取得し、
前記プロセッサが、全ての頂点を、HKS値と閾値を用いて２つのグループに分け、
前記プロセッサが、前記２つのグループの境界に位置して環状に並んだ頂点の集合からなる環状頂点群を形状代表領域として取得する、
形状代表情報の取得方法。
【請求項10】
対象の形状は、複数の環状頂点群により代表されており、閾値を変化させることで、前記複数の環状頂点群を決定する、
請求項９に記載の形状代表情報の取得方法。
【請求項11】
対象の形状を代表する複数の環状頂点群を、２つの環状頂点群の頂点座標の関数で表す、請求項１０に記載の形状代表情報の取得方法。
【請求項12】
対象の形状を代表する複数の環状頂点群を、２つの環状頂点群間における頂点間距離として表す、請求項１０、１１いずれか１項に記載の形状代表情報の取得方法。
【請求項13】
対象の形状を代表する複数の環状頂点群を、各環状頂点群で囲まれた領域の面積、および／あるいは、周囲長によって表す、請求項９、１０いずれか１項に記載の形状代表情報の取得方法。
【請求項14】
記憶部と、形状代表値算出部と、運動特徴量算出部と、を備え、前記記憶部には、運動時の対象の形状を特定する皮膚ポリゴンの時系列データが記憶されており、前記皮膚ポリゴンの各頂点は、頂点ＩＤと対象の姿勢に依存した座標を備えており、
対象の形状は、皮膚ポリゴンから選択された１つあるいは複数の代表領域により代表されており、各代表領域は複数の頂点の頂点ＩＤ及び座標によって特定される頂点群であり、
前記形状代表値算出部は、前記１つあるいは複数の代表領域を用いて、姿勢に依存した対象の形状を代表する形状代表値を算出し、
前記運動特徴量算出部は、複数フレームにおいて取得した前記形状代表値の時系列データを用いて、対象の運動に伴う、前記１つあるいは複数の代表領域の時間的変化を代表する値を運動特徴量として算出する、
運動特徴量の取得装置。
【請求項15】
対象の形状は、複数の代表領域により代表されており、前記形状代表値算出部は、代表領域間の空間的関係から、姿勢に依存した対象の形状を代表する形状代表値を算出し、
前記運動特徴量算出部は、複数フレームにおいて取得した前記形状代表値の時系列データを用いて、対象の運動に伴う、代表領域間の空間的関係の変化を代表する値を運動特徴量として算出する、
請求項１４に記載の運動特徴量の取得装置。
【請求項16】
前記形状代表値は、任意の２つの代表領域の頂点座標の関数により規定される、請求項１５に記載の運動特徴量の取得装置。
【請求項17】
前記形状代表値は、任意の２つの代表領域間における頂点間距離により規定される、請求項１５、１６いずれか１項に記載の運動特徴量の取得装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、皮膚情報を用いた運動特徴量の取得装置及方法に関するものである。本発明により取得される運動特徴量は、運動における個性の情報化や個人認証技術として用いることができる。
【背景技術】
【0002】
対象の姿勢(pose)は骨格モデルによって表すことができ、各関節角度及び位置から対象の姿勢が決定される。モーションキャプチャを用いることで、対象の姿勢の時系列データから当該対象の運動データを取得することができる。
【0003】
対象の形状(shape)はポリゴンモデルないしポリゴンメッシュによって表すことができる。ポリゴンモデルでは、対象の体表を多数のポリゴン（典型的には三角形）の集合から構成し、全てのポリゴンの頂点の座標から対象の形状が決定される。ポリゴンモデルは、例えば、３Ｄボディスキャナを用いて、対象の体表のポリゴンの全頂の３次元座標を取得することで得ることができる。
【0004】
対象の形状（ポリゴンの頂点座標）は、当該対象の姿勢に依存して変化する。アニメーション分野では、3DCGモデルとスケルトンを関連付ける作業としてスキニングが知られている。スキニングでは、モデルのポリゴンの各頂点が、スケルトンに対してどのように追従するかを決定し、また、スケルトンから各頂点への影響を調整するウエイト調整が行われる。人体モデルも同様であり、人体の姿勢情報を用いた人体の表面（皮膚ポリゴン）の３次元座標の計算については、例えば、特許文献１～３、非特許文献１に記載されている。
【0005】
１枚あるいは複数のカメラ画像をもとに運動を３次元再構成して動作解析を行うモーションキャプチャ技術の進展がめざましい。例えば、カメラ画像から深層学習によって２次元関節位置を推定しそれらを総合して、運動を３次元再構成するビデオモーションキャプチャが実現されている（特許文献４、非特許文献２）。ビデオモーションキャプチャを用いることで、カメラ映像などから対象者に干渉せずに対象の骨格の3次元情報を取得することができる。カメラ画像から深層学習によって２次元関節位置の推定には、例えば、OpenPose（非特許文献３）を用いることができる。
【0006】
ビデオモーションキャプチャシステムは関節位置を基に骨格の3次元情報を推定するものであるが、骨格のほかにも、RGBカメラのみから3次元体表面情報(形状情報)を推定する技術も開発されている。RGBカメラのみから形状情報を推定する技術としては、衣服の詳細な形状まで再構成するもの（非特許文献４）や、衣服を着用していない状態のスキンモデルを構築するもの（非特許文献５、非特許文献６）が知られている。
【0007】
このように近年では、カメラ画像を用いて、より簡便に 姿勢情報や形状情報を取得できる技術が開発されているが、このとき骨格の運動だけでなく、皮膚で表される形状情報も一緒に３次元再構成することによって人の豊かな運動情報を表現することができる。この運動情報を元にして一般の運動における個性の情報化や、それを用いた個人認証技術を確立することを考える。
【0008】
個人認証技術について言うと、従来のパスワードや暗証暗号による認証の欠点を解決する認証方法として、生体認証が注目されている。顔認証、指紋認証、静脈認証、虹彩認証など多くの生体認証は同意を得た上で近距離での生体情報の取得が必要とされる。これに対して、対象者の協力がなくとも、遠距離から生体情報を取得できる手法として歩き方で個人を識別する歩容認証が注目を集めている。歩容認証では特徴量として歩行のシルエット画像や、関節の角度などを用いているものが多く、使われる情報量は未だ限られたものであり、また、特定の運動としての歩容を前提としており精度もまだ満足できるレベルではない。これに対して、姿勢を持った皮膚ポリゴンから得られる情報を用いることで、必ずしも歩行に限定する必要が無い個人認証が可能となる。
【0009】
また、3D Human Modelの形状検索についての研究も行われており、非特許文献７を参照することができる。また、形状記述子として、HKS(Heat Kernel Signature)やWKS(Wave Kernel Signature)が提案されている。HKS(Heat Kernel Signature)は非特許文献８に、WKSは特許文献５、非特許文献９に記載されている。これらの形状検索や形状記述子は、運動時の形状の変化に着目したものでない。
【先行技術文献】
【特許文献】
【0010】
【文献】ＷＯ２０１６／２０７３１１Ａ１（ＵＳ１０，３９５，５１１Ｂ２）
【文献】ＵＳ２０２０／００５８１３７Ａ１）
【文献】ＷＯ２０１９／２０７１７６Ａ１
【文献】特開２０２０－０４２４７６
【文献】ＥＰ２５３０６２３Ａ１
【非特許文献】
【0011】
【文献】Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J. Black. SMPL: A skinned multi-person linear model. ACM Trans. Graphics (Proc. SIG- GRAPH Asia), Vol. 34, No. 6, pp. 248:1-248:16, 2015.
【文献】T. Ohashi, Y. Ikegami, K. Yamamoto, W. Takano and Y. Nakamura, Video Motion Capture from the Part Confidence Maps of Multi-Camera Images by Spatiotemporal Filtering Using the Human Skeletal Model, 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018, pp. 4226-4231.
【文献】Openpose. https://github.com/CMU-Perceptual-Computing-Lab/openpose.
【文献】Shunsuke Saito, Zeng Huang, Ryota Natsume, Shigeo Morishima, Angjoo Kanazawa, and Hao Li. Pifu: Pixel-aligned implicit function for high-resolution clothed human digitization. ArXiv, Vol. abs/1905.05172, 2019.
【文献】Angjoo Kanazawa, Michael J. Black, David W. Jacobs, and Jitendra Malik. End-to-end recovery of human shape and pose. In Computer Vision and Pattern Recognition (CVPR), 2018.
【文献】Chao Zhang, Sergi Pujades, Michael Black, Gerard Pons-Moll. Detailed, Accurate, Human Shape Estimation from Clothed 3D Scan Sequences. CVPR 2017 - IEEE Conference on Computer Vision and Pattern Recognition, Jul 2017, Honolulu, United States. pp.5484-5493
【文献】D. Pickup, X. Sun, P. L. Rosin, R. R. Martin, Z. Cheng, Z. Lian, M. Aono, A. Ben Hamza, A. Bronstein, M. Bronstein, S. Bu, U. Castellani, S. Cheng, V. Garro, A. Giachetti, A. Godil, J. Han, H. Johan, L. Lai, B. Li, C. Li, H. Li, R. Litman, X. Liu, Z. Liu, Y. Lu, A. Tatsuma, and J. Ye. SHREC'14 track: Shape retrieval of non-rigid 3d human models. In Proceedings of the 7th Eurographics workshop on 3D Object Retrieval, EG 3DOR'14. Eurographics Association, 2014.
【文献】Jian Sun, Maks Ovsjanikov, and Leonidas Guibas. A concise and provably informative multi-scale signature based on heat diffusion. Computer Graphics Forum, Vol. 28, No. 5, pp. 1383-1392, 2009.
【文献】M. Aubry, U. Schlickewei, and D. Cremers. The wave kernel signature: A quantum me- chanical approach to shape analysis. In 2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops), pp. 1626-1633, 2011.
【発明の開示】
【発明が解決しようとする課題】
【0012】
本発明は、運動時に変形する皮膚ポリゴンの動態から運動特徴量を抽出することを目的とするものである。
【課題を解決するための手段】
【0013】
本発明が採用した技術手段は、
対象の形状は、皮膚ポリゴンによって特定されており、
前記皮膚ポリゴンの各頂点は、対象の姿勢に依存した座標を備えており、
対象の形状は、皮膚ポリゴンから選択された１つあるいは複数の代表領域により代表されており、各代表領域は複数の頂点からなる頂点群であり、
対象の運動時の皮膚ポリゴンの時系列データを用意し、
複数フレームにおいて、前記１つあるいは複数の代表領域を用いて、各フレームの対象の形状を代表する形状代表値を算出し、
前記形状代表値の時系列データを用いて、対象の運動に伴う、前記１つあるいは複数の代表領域の時間的変化を代表する値を運動特徴量として取得する、
運動特徴量の取得方法、である。
対象の形状は、皮膚ポリゴンによって特定されており、
前記皮膚ポリゴンの各頂点は、対象の姿勢に依存した座標を備えており、
対象の形状は、皮膚ポリゴンから選択された１つあるいは複数の代表領域により代表されており、各代表領域は複数の頂点からなる頂点群であり、
対象の運動時の皮膚ポリゴンの時系列データを用意し、
複数フレームにおいて、前記１つあるいは複数の代表領域を用いて、各フレームの対象の形状を代表する形状代表値を算出し、
前記形状代表値の時系列データを用いて、対象の運動に伴う、前記１つあるいは複数の代表領域の時間的変化を代表する値を運動特徴量として取得する、
運動特徴量の取得方法、である。
【0014】
１つの態様では、対象の形状は、複数の代表領域により代表されており、
前記複数の代表領域の時間的変化には、対象の運動に伴う、代表領域間の空間的関係の時間的変化が含まれる。
１つの態様では、代表領域間の空間的関係は、任意の２つの代表領域の頂点座標の関数（形状代表値ないし形状記述子）により規定される。
１つの態様では、代表領域間の空間的関係は、任意の２つの代表領域間における頂点間距離（形状代表値ないし形状記述子）により規定される。
前記複数の代表領域の時間的変化には、対象の運動に伴う、代表領域間の空間的関係の時間的変化が含まれる。
１つの態様では、代表領域間の空間的関係は、任意の２つの代表領域の頂点座標の関数（形状代表値ないし形状記述子）により規定される。
１つの態様では、代表領域間の空間的関係は、任意の２つの代表領域間における頂点間距離（形状代表値ないし形状記述子）により規定される。
【0015】
１つの態様では、前記代表領域は、環状に並んだ環状頂点群ないしリングである。
環状頂点群（リング）は、円環状の頂点群に限定されず、例えば、概ね方形状に並んだ頂点群であってもよい。
１つの態様では、前記環状頂点群は、人体の部位の周囲に沿って並んだ頂点群である。
１つの態様では、前記環状頂点群は、人体の部位の表面に配置される。
１つの態様では、前記環状頂点群は、
全ての頂点について、HKS（Heat Kernel Signature）を用いてHK値を取得し、
全ての頂点を、閾値によって２つのグループに分け、
前記２つのグループの境界に位置して環状に並んだ頂点の集合からなる環状頂点群を取得し、
閾値を変化させることで、複数の環状頂点群が取得される。
１つの態様では、前記代表領域は、面を形成するように並んだ複数の頂点からなる面状頂点群（環状頂点群は、いわば線状頂点群である）である。
また、前記代表領域は、対象の部分の形状を代表するものでもよい。
また、皮膚ポリゴン全体を選択して代表領域としてもよい。
環状頂点群（リング）は、円環状の頂点群に限定されず、例えば、概ね方形状に並んだ頂点群であってもよい。
１つの態様では、前記環状頂点群は、人体の部位の周囲に沿って並んだ頂点群である。
１つの態様では、前記環状頂点群は、人体の部位の表面に配置される。
１つの態様では、前記環状頂点群は、
全ての頂点について、HKS（Heat Kernel Signature）を用いてHK値を取得し、
全ての頂点を、閾値によって２つのグループに分け、
前記２つのグループの境界に位置して環状に並んだ頂点の集合からなる環状頂点群を取得し、
閾値を変化させることで、複数の環状頂点群が取得される。
１つの態様では、前記代表領域は、面を形成するように並んだ複数の頂点からなる面状頂点群（環状頂点群は、いわば線状頂点群である）である。
また、前記代表領域は、対象の部分の形状を代表するものでもよい。
また、皮膚ポリゴン全体を選択して代表領域としてもよい。
【0016】
対象の姿勢は、骨格モデルによって特定されており、
皮膚ポリゴンモデルの各頂点と、骨格とを関連付ける関数が得られており、
対象の皮膚ポリゴンモデルの各頂点の座標（初期座標）が、特定の姿勢（初期姿勢）に依存して得られており、
任意の姿勢における各頂点の座標が、前記関数を用いて、前記初期座標、前記初期姿勢、前記任意の姿勢から取得可能となっている。
皮膚ポリゴンモデルの各頂点と、骨格とを関連付ける関数が得られており、
対象の皮膚ポリゴンモデルの各頂点の座標（初期座標）が、特定の姿勢（初期姿勢）に依存して得られており、
任意の姿勢における各頂点の座標が、前記関数を用いて、前記初期座標、前記初期姿勢、前記任意の姿勢から取得可能となっている。
【0017】
１つの態様では、前記対象の姿勢は、１枚あるいは複数枚の画像を用いてマーカレスモーションキャプチャによって取得される。
【0018】
本発明が採用した他の技術手段は、
対象の形状は、皮膚ポリゴンによって特定されており、
前記皮膚ポリゴンモデルの各頂点は、対象の姿勢に依存した座標を備えており、
全ての頂点について、HKS（Heat Kernel Signature）を用いてHKS値を取得し、
全ての頂点を、閾値によって２つのグループに分け、
前記２つのグループの境界に位置して環状に並んだ頂点の集合からなる環状頂点群（リング）を形状代表領域として取得する、
形状代表情報の取得方法である。
１つの態様では、 対象の形状は、複数の環状頂点群により代表されており、
閾値を変化させることで、前記複数の環状頂点群を決定する。
対象の形状は、皮膚ポリゴンによって特定されており、
前記皮膚ポリゴンモデルの各頂点は、対象の姿勢に依存した座標を備えており、
全ての頂点について、HKS（Heat Kernel Signature）を用いてHKS値を取得し、
全ての頂点を、閾値によって２つのグループに分け、
前記２つのグループの境界に位置して環状に並んだ頂点の集合からなる環状頂点群（リング）を形状代表領域として取得する、
形状代表情報の取得方法である。
１つの態様では、 対象の形状は、複数の環状頂点群により代表されており、
閾値を変化させることで、前記複数の環状頂点群を決定する。
【0019】
１つの態様では、対象の形状を代表する複数の環状頂点群を、２つの環状頂点群の頂点座標の関数（形状代表値ないし形状記述子）で表す。
１つの態様では、対象の形状を代表する複数の環状頂点群を、２つの環状頂点群間における頂点間距離（形状代表値ないし形状記述子）として表す。
１つの態様では、対象の形状を代表する複数の環状頂点群を、２つの環状頂点群間における頂点間距離（形状代表値ないし形状記述子）として表す。
【0020】
１つの態様では、対象の形状を代表する複数の環状頂点群を、各環状頂点群で囲まれた領域の面積、および／あるいは、周囲長によって表す。
【0021】
上記運動特徴量の取得方法及び上記形状代表情報の取得方法はコンピュータによって実行されるものであり、本発明は、コンピュータに、これらを方法を実行させるためのコンピュータプログラムとしても提供される。
【0022】
本発明が採用した他の技術手段は、
記憶部と、形状代表値算出部と、運動特徴量算出部と、を備え、
前記記憶部には、運動時の対象の形状を特定する皮膚ポリゴンの時系列データが記憶されており、前記皮膚ポリゴンの各頂点は、頂点ＩＤと対象の姿勢に依存した座標を備えており、
対象の形状は、皮膚ポリゴンから選択された１つあるいは複数の代表領域により代表されており、各代表領域は複数の頂点の頂点ＩＤ及び座標によって特定される頂点群であり、
前記形状代表値算出部は、前記１つあるいは複数の代表領域を用いて、姿勢に依存した対象の形状を代表する形状代表値を算出し、
前記運動特徴量算出部は、複数フレームにおいて取得した前記形状代表値の時系列データを用いて、対象の運動に伴う、前記１つあるいは複数の代表領域の時間的変化を代表する値を運動特徴量として算出する、
運動特徴量の取得装置、である。
記憶部と、形状代表値算出部と、運動特徴量算出部と、を備え、
前記記憶部には、運動時の対象の形状を特定する皮膚ポリゴンの時系列データが記憶されており、前記皮膚ポリゴンの各頂点は、頂点ＩＤと対象の姿勢に依存した座標を備えており、
対象の形状は、皮膚ポリゴンから選択された１つあるいは複数の代表領域により代表されており、各代表領域は複数の頂点の頂点ＩＤ及び座標によって特定される頂点群であり、
前記形状代表値算出部は、前記１つあるいは複数の代表領域を用いて、姿勢に依存した対象の形状を代表する形状代表値を算出し、
前記運動特徴量算出部は、複数フレームにおいて取得した前記形状代表値の時系列データを用いて、対象の運動に伴う、前記１つあるいは複数の代表領域の時間的変化を代表する値を運動特徴量として算出する、
運動特徴量の取得装置、である。
【0023】
１つの態様では、対象の形状は、複数の代表領域により代表されており、
前記形状代表値算出部は、代表領域間の空間的関係から、姿勢に依存した対象の形状を代表する形状代表値を算出し、
前記運動特徴量算出部は、複数フレームにおいて取得した前記形状代表値の時系列データを用いて、対象の運動に伴う、代表領域間の空間的関係の変化を代表する値を運動特徴量として算出する。
１つの態様では、前記形状代表値は、任意の２つの代表領域の頂点座標の関数により規定される。
１つの態様では、前記形状代表値は、任意の２つの代表領域間における頂点間距離により規定される。
前記形状代表値算出部は、代表領域間の空間的関係から、姿勢に依存した対象の形状を代表する形状代表値を算出し、
前記運動特徴量算出部は、複数フレームにおいて取得した前記形状代表値の時系列データを用いて、対象の運動に伴う、代表領域間の空間的関係の変化を代表する値を運動特徴量として算出する。
１つの態様では、前記形状代表値は、任意の２つの代表領域の頂点座標の関数により規定される。
１つの態様では、前記形状代表値は、任意の２つの代表領域間における頂点間距離により規定される。
【発明の効果】
【0024】
本発明によって、運動時に変形する皮膚ポリゴンの動態から運動特徴量を抽出することができる。
【図面の簡単な説明】
【0025】
【図1】本実施形態に係る形状情報を用いた特徴量の取得装置の概要図である。
【図2】本実施形態に係る形状情報を用いた対象の特徴量の取得を流れを示す図である。
【図3】本実施形態に係る皮膚ポリゴンモデルを説明する図である。
【図4】本実施形態に係る皮膚ポリゴンの取得を説明する図である。
【図5】本実施形態に係る形状代表値の取得を説明する図である。
【図6】HKSを用いた形状代表値の取得を示すフロー図である。
【図7】姿勢の変化を反映させた特徴量の取得を示すフロー図である。
【図8】対象の姿勢の変化に伴う２つのリングの空間的関係の変化を示す概念図である。
【図9】頂点間距離によって２つのリングの空間的関係を規定することを示す概念図である。
【図10】他の実施形態に係る形状代表値の取得を説明する図である。
【図11】姿勢への依存度が小さい特徴量の取得を示すフロー図である。
【図12】人体モデルの全ポリゴン頂点をHKS値にしたがって色分けして示図である。実際には、カラー画像である。
【図13】２つのグループA,Bの境界に位置する頂点集合Sを検出する方法を示す図である。メッシュの3つの頂点にグループAに属する頂点とグループBに属する頂点が同時に存在する三角形を構成する頂点を集合Sとする。
【図14】頂点集合S3からクラスタリングによって抽出したリングを形成する座標集合、及び、主成分分析によって求めた平面を示す。
【図15】左から順にS3，S8，S38，S70，S80に対応して検出した境界に位置する頂点集合を示す図である。
【図16】異なる体型と姿勢のスキンモデルにおいて、集合S3, S8, S38, S70, S80の合計17個の境界全てを１つのスキンモデルにまとめて表示した図である。
【図17】SHRECモデル（非特許文献７）の１０の姿勢を示す図である。
【図18】S5，S15，S30，S80からなる境界の頂点集合のセットを示す。
【図19】HMRによって取得したスキンモデルにビデオモーションキャプチャで取得した関節位置を適用する図である。
【図20】ビデオモーションキャプチャで用いる骨格モデルを示し、数字は関節を表している。
【図21】ビデオモーションキャプチャで用いる骨格モデルを示し、数字は骨を表している。
【図23】人体の各部部位に設けた複数の形状代表領域を例示する概念図である。
【図24】人体の背中に設けた複数の形状代表領域を例示する概念図である。
【図25】人体の背中に設けた１つの形状代表領域を例示する概念図である。
【発明を実施するための形態】
【0026】
［Ａ］皮膚情報を用いた対象の特徴量の取得システム
［Ａ－１］システムの概要
図１に示すように、本実施形態に係る形状情報を用いた特徴量の取得システムは、対象の動画を取得する１台あるいは複数台のビデオカメラと、画像情報を入力して、所定の計算を実行することで、対象の運動特徴量を算出して出力する１台あるいは複数台のコンピュータと、から構成される。より具体的には、特徴量取得システムは、動画を構成する画像から対象の姿勢情報を取得する姿勢情報取得部と、画像ないし画像及び姿勢情報を用いて対象の形状情報（皮膚ポリゴン）を取得する形状情報取得部と、形状情報を用いて形状代表値を算出する形状代表値算出部と、形状代表値を用いて特徴量を算出する算出部と、を備えている。姿勢情報取得部、形状情報取得部、形状代表値算出部、特徴量算出部は、コンピュータのプロセッサによって実現され、姿勢情報、形状情報（皮膚ポリゴン）、形状代表値、特徴量はコンピュータのメモリ（記憶部）に記憶される。また、図１には図示していないが、コンピュータの記憶部には、骨格モデル、皮膚ポリゴンモデル、骨格モデルにポリゴン頂点座標を対応させる関数（スキニング関数等）等が格納されている。
［Ａ－１］システムの概要
図１に示すように、本実施形態に係る形状情報を用いた特徴量の取得システムは、対象の動画を取得する１台あるいは複数台のビデオカメラと、画像情報を入力して、所定の計算を実行することで、対象の運動特徴量を算出して出力する１台あるいは複数台のコンピュータと、から構成される。より具体的には、特徴量取得システムは、動画を構成する画像から対象の姿勢情報を取得する姿勢情報取得部と、画像ないし画像及び姿勢情報を用いて対象の形状情報（皮膚ポリゴン）を取得する形状情報取得部と、形状情報を用いて形状代表値を算出する形状代表値算出部と、形状代表値を用いて特徴量を算出する算出部と、を備えている。姿勢情報取得部、形状情報取得部、形状代表値算出部、特徴量算出部は、コンピュータのプロセッサによって実現され、姿勢情報、形状情報（皮膚ポリゴン）、形状代表値、特徴量はコンピュータのメモリ（記憶部）に記憶される。また、図１には図示していないが、コンピュータの記憶部には、骨格モデル、皮膚ポリゴンモデル、骨格モデルにポリゴン頂点座標を対応させる関数（スキニング関数等）等が格納されている。
【0027】
［Ａ－２］姿勢（pose）の取得
対象の姿勢は、対象の骨格モデルの関節位置によって特定される。本実施形態では、ビデオモーションキャプチャ技術を採用して姿勢情報を取得する。ビデオモーションキャプチャは複数台のカメラを用いて対象となる人間の運動を同期撮影し、その運動の３次元再構成を行う手法である（特許文献４、非特許文献２）。ビデオモーションキャプチャシステムは対象を囲むように配置された複数台のRGBカメラからの映像をそれぞれ OpenPose（非特許文献３）で処理することにより関節位置を推定し、推定した 3次元関節位置について骨格モデルを用いた逆動力学計算を行うことで、3次元関節推定精度を向上させている。ビデオモーションキャプチャシステムの詳細については、特許文献４、非特許文献２を参照することができる。
対象の姿勢は、対象の骨格モデルの関節位置によって特定される。本実施形態では、ビデオモーションキャプチャ技術を採用して姿勢情報を取得する。ビデオモーションキャプチャは複数台のカメラを用いて対象となる人間の運動を同期撮影し、その運動の３次元再構成を行う手法である（特許文献４、非特許文献２）。ビデオモーションキャプチャシステムは対象を囲むように配置された複数台のRGBカメラからの映像をそれぞれ OpenPose（非特許文献３）で処理することにより関節位置を推定し、推定した 3次元関節位置について骨格モデルを用いた逆動力学計算を行うことで、3次元関節推定精度を向上させている。ビデオモーションキャプチャシステムの詳細については、特許文献４、非特許文献２を参照することができる。
【0028】
図２０に示すように、本実施形態に係るビデオモーションキャプチャにおける計測点は18点であり、各関節にはラベル付けがされている（表１）。また、推定した関節位置を用いて、隣接する関節間を繋いだ線を骨として扱う（図２１参照）。骨の数は17本であり、各骨にラベル付けを行う（表１）。骨格モデル、対象の骨格情報（骨長）、モーションキャプチャで取得したフレーム毎の各関節位置座標が記憶部に記憶される。
【表1】
【0029】
本実施形態に係るビデオモーションキャプチャでは、OpenPose（非特許文献３）を用いているが、深層学習によるカメラ画像からの２次元関節位置の推定には他の手法を用いてもよい。また、対象の姿勢の取得手法としては色々な手法が当業者に知られており、対象の姿勢の取得手法は、ビデオモーションキャプチャ（特許文献４、非特許文献２）に限定されず、例えば、１視点からのRGB画像を解析してモーションデータを取得する手法を採用してもよく、あるいは、カメラと深度センサを用いたマーカレスモーションキャプチャを採用してもよい。
【0030】
［Ａ－３］形状(shape)の取得
対象の形状は、ポリゴンモデルないしポリゴンメッシュによって規定される。ポリゴンモデルは、頂点(vertex)、稜線(edge)、面(face)から構成される。例えば、三角形メッシュモデルの場合、３つの頂点を備え、三角形の面の３辺は稜線からなり、各稜線の始点と終点はそれぞれ３つの頂点のうちの２つの頂点からなる。各ポリゴンは、ポリゴンを構成する全頂点の３次元座標値で代表させることができ、ポリゴンモデルの最もシンプルなデータ構造は、ポリゴンモデルの全ての頂点のＩＤと３次元座標値とすることができる。なお、ポリゴンモデルのデータ構造には、色々なものが知られており、対象の形状が数値化されていればよく、具体的なデータ構造は限定されない。
対象の形状は、ポリゴンモデルないしポリゴンメッシュによって規定される。ポリゴンモデルは、頂点(vertex)、稜線(edge)、面(face)から構成される。例えば、三角形メッシュモデルの場合、３つの頂点を備え、三角形の面の３辺は稜線からなり、各稜線の始点と終点はそれぞれ３つの頂点のうちの２つの頂点からなる。各ポリゴンは、ポリゴンを構成する全頂点の３次元座標値で代表させることができ、ポリゴンモデルの最もシンプルなデータ構造は、ポリゴンモデルの全ての頂点のＩＤと３次元座標値とすることができる。なお、ポリゴンモデルのデータ構造には、色々なものが知られており、対象の形状が数値化されていればよく、具体的なデータ構造は限定されない。
【0031】
人体の形状の取得に関して、パラメータにより体型や姿勢を指定できるパラメトリックボディモデルを用いる手法が知られている。パラメトリックボディモデルの例として SMPL(A Skinned Multi-Person Linear Model)があげられる（特許文献１～２、非特許文献１）。SMPLは、72の姿勢と10の体型パラメータを持ち、3角メッシュを返す裸の人間のパラメータモデルである。モデルベース手法では、モデルのパラメータを画像の人間のシルエットに当てはまるように最適化することで、3次元の形状情報を取得する。SMPLモデルを用いた形状の取得方法には、衣服を着用していない状態のスキンモデルを構成するものがある（非特許文献５、６）。後述する実験では、非特許文献５に係る手法を用いて、対象のメッシュモデルを取得した。
【0032】
［Ａ－４］姿勢情報を持つ皮膚ポリゴンから取得する特徴量
ビデオモーションキャプチャ（特許文献４、非特許文献２）を用いることで、１台あるいは複数台のカメラとコンピュータを用意することで、対象の運動を３次元再構成することが可能であり、また、１台あるいは複数台のカメラの画像から衣服をまとっていても皮膚のおおよその外形を３次元再構成することも可能である（非特許文献５、６）。対象の運動を３次元再構成する時に、骨格の運動だけでなく皮膚で表される形状情報も一緒に３次元再構成することによって対象の豊かな運動情報を表現することができる。すなわち、姿勢の時系列データと形状の時系列データを組み合わせることによって、個人の形状の時間的な変化（変形する皮膚ポリゴン）から運動情報を求めることができる。運動に伴って変形する皮膚ポリゴンを、形状代表値ないし形状記述子を用いて数値化することによって、運動の特徴量を抽出する。
ビデオモーションキャプチャ（特許文献４、非特許文献２）を用いることで、１台あるいは複数台のカメラとコンピュータを用意することで、対象の運動を３次元再構成することが可能であり、また、１台あるいは複数台のカメラの画像から衣服をまとっていても皮膚のおおよその外形を３次元再構成することも可能である（非特許文献５、６）。対象の運動を３次元再構成する時に、骨格の運動だけでなく皮膚で表される形状情報も一緒に３次元再構成することによって対象の豊かな運動情報を表現することができる。すなわち、姿勢の時系列データと形状の時系列データを組み合わせることによって、個人の形状の時間的な変化（変形する皮膚ポリゴン）から運動情報を求めることができる。運動に伴って変形する皮膚ポリゴンを、形状代表値ないし形状記述子を用いて数値化することによって、運動の特徴量を抽出する。
【0033】
上記形状代表値ないし形状記述子を求める際に、既知の形状記述子を用いることができる。形状記述子としては多くの候補が考えられるが、本実施形態では、Heat Kernel Signature（非特許文献８）を用いた。本実施形態では、HKSによって、対象の体表面上での複数の代表領域（閉曲線群ないしリングセット）を特定した。代表領域の情報を用いて形状代表値ないし形状記述子を計算することで計算量を低減が可能になる。
【0034】
図８に示すように、運動に伴って対象の姿勢が姿勢１、姿勢２、姿勢３と変化した時に、姿勢に依存して、リング１の座標値、リング２の座標値、リング１とリング２の空間的関係も変化する。例えば、図９に示すように、任意の２つのリングにおいて、一方のリングの各頂点から、他方のリングの全頂点までの距離を計算し、この値を格納したベクトルを求める。対象の形状を代表するリングセットを構成する全てのリング間の距離、あるいは、特定のリング間の距離を用いたベクトルを形状代表値ないし形状記述子として用いる。姿勢１、姿勢２、姿勢３において、それぞれ、形状代表値ないし形状記述子を求め、形状代表値ないし形状記述子の時系列データを取得する。この時系列データの配列を運動特徴量としてもよく、あるいは、時系列データの配列を低次元化して運動特徴量とすることができる。この運動特徴量には、対象の運動に伴う（姿勢１→姿勢２→姿勢３）、対象の皮膚上の複数の代表部位が離れた、あるいは、近づいた等の情報が含まれており、姿勢情報を持つ皮膚ポリゴンから求めた運動特徴量には、対象の姿勢の時系列データからなる運動情報や骨格情報が反映されていると言える。
【0035】
姿勢情報を持つ皮膚ポリゴンから取得する運動特徴量は、運動における個人差や個性を反映するものであり、この運動特徴量を用いることで、運動における個性の情報化や、個人認証技術を確立することができる。この運動特徴量は、運動トレーニングやリハビリテーションにおける運動変化の指標として用いることができる。また、この運動特徴量を用いて、自己の運動と他者の運動との類似度を得ることができ、ある個人の運動と目標とする運動との距離を数値で表すことができる。人の歩行動作を、姿勢情報を備えた皮膚ポリゴンの時間変化で捉えることで、姿勢情報を持つ皮膚ポリゴンから取得する運動特徴量は個人の歩行動作の特徴量となり、この特徴量は個人を特定するための重要な情報として用いることができる。
【0036】
［Ａ－５］その他の特徴量
姿勢の時系列データから運動の特徴量を取得することができる。運動の特徴量については、例えば、NOSEを原点とした各関節の相対位置を計算し、各関節の相対位置が入った配列のRWRIST，LWRIST，RANKLE，LANKLEの部分を抽出し、その相対関節位置の配列を一定フレーム数集め、各関節について分散を計算した配列を運動情報から得た特徴量として定義することができる。低次元化された運動特徴量の取得については、様々なやり方があることが当業者に理解される。
姿勢の時系列データから運動の特徴量を取得することができる。運動の特徴量については、例えば、NOSEを原点とした各関節の相対位置を計算し、各関節の相対位置が入った配列のRWRIST，LWRIST，RANKLE，LANKLEの部分を抽出し、その相対関節位置の配列を一定フレーム数集め、各関節について分散を計算した配列を運動情報から得た特徴量として定義することができる。低次元化された運動特徴量の取得については、様々なやり方があることが当業者に理解される。
【0037】
ラベル付けを行った骨の長さを特徴量として用いることができる。この3次元の骨格情報から、骨格の特徴量と運動の特徴量を定義する。骨格の特徴量については、例えば、骨の長さの値が入った配列を作り、これを骨格の特徴量として定義することができる。配列にはラベルのi番目の骨の長さの値が入っており、配列の長さは骨の数と等しい17である。骨格特徴量を低次元化してもよい。
【0038】
人体の形状から、姿勢に依存しない形状特徴量を取得してもよい。例えば、人体のある部位の太さや体積、あるいは、複数数の部位間の太さの比や体積比を形状特徴量としてもよい。
【0039】
さらに、人体の皮膚ポリゴンから形状に応じて質量分布を推定し、運動で生じる関節や筋の力の推定値を運動特徴量の抽出に用いてもよい。人体の形状情報から当該人体の各部位の体積を計算することができる。身体ないし身体の部位の比重が知られており、体積と比重を用いて、質量分布の概略を計算することができる。人体の質量分布を用いることで、形状を持った個人の運動において、各関節や各筋にかかる力を推定することができる。これも個人認証のための有効な情報になる。
【0040】
［Ａ－６］皮膚ポリゴンモデル
図３を参照しつつ、本実施形態に係る皮膚ポリゴンモデルについて説明する。対象の姿勢は骨格モデルによって代表され、動画データ（画像の時系列データ）から姿勢の時系列データ（姿勢１～姿勢５）が取得される。姿勢１～姿勢５は、必ずしも連続するフレームである必要はなく、例えば、所定の運動における特徴的な時系列フレームであり、あるいは、連続するフレームから所定フレーム数毎に抽出した時系列フレームである。皮膚ポリゴンモデルは、各姿勢に対応した姿勢情報を持つ皮膚ポリゴンを提供する。姿勢１～姿勢５にそれぞれ対応する皮膚ポリゴン１～皮膚ポリゴン５は、姿勢１～姿勢５にそれぞれ対応した頂点座標を備えている。皮膚ポリゴンの頂点座標を用いて、当該皮膚ポリゴンによって規定される対象の形状を代表する形状代表値を求める。皮膚ポリゴン１～皮膚ポリゴン５のそれぞれから形状代表値１～形状代表値５を取得することで、形状代表値の時系列データが得られる。形状代表値の時系列データは対象の運動データを反映しており、形状代表値の時系列データを用いて対象の運動の特徴量を取得する。
図３を参照しつつ、本実施形態に係る皮膚ポリゴンモデルについて説明する。対象の姿勢は骨格モデルによって代表され、動画データ（画像の時系列データ）から姿勢の時系列データ（姿勢１～姿勢５）が取得される。姿勢１～姿勢５は、必ずしも連続するフレームである必要はなく、例えば、所定の運動における特徴的な時系列フレームであり、あるいは、連続するフレームから所定フレーム数毎に抽出した時系列フレームである。皮膚ポリゴンモデルは、各姿勢に対応した姿勢情報を持つ皮膚ポリゴンを提供する。姿勢１～姿勢５にそれぞれ対応する皮膚ポリゴン１～皮膚ポリゴン５は、姿勢１～姿勢５にそれぞれ対応した頂点座標を備えている。皮膚ポリゴンの頂点座標を用いて、当該皮膚ポリゴンによって規定される対象の形状を代表する形状代表値を求める。皮膚ポリゴン１～皮膚ポリゴン５のそれぞれから形状代表値１～形状代表値５を取得することで、形状代表値の時系列データが得られる。形状代表値の時系列データは対象の運動データを反映しており、形状代表値の時系列データを用いて対象の運動の特徴量を取得する。
【0041】
図４を参照しつつ、皮膚ポリゴンモデルの取得の１つの実施形態について説明する。対象の動画から、モーションキャプチャによって対象の姿勢情報が取得される。対象の一定の姿勢の画像に基づいて、初期姿勢を求め、同時に、初期姿勢に対応する皮膚ポリゴンを求める。画像から皮膚ポリゴンを取得することは、公知の手段を用いることができる。骨格モデルと皮膚ポリゴンモデルの座標系を一致させることで、姿勢（関節位置）とポリゴンの頂点座標とを対応させる。骨格モデル（姿勢）に皮膚ポリゴンの頂点座標を対応させる関数（例えば、スキニング関数）が得られており、対象の任意の姿勢における各頂点の座標が、前記関数を用いて、前記初期座標、前記初期姿勢、前記任意の姿勢から取得可能となっている。すなわち、姿勢１～姿勢６から、それぞれ、皮膚ポリゴン１～皮膚ポリゴン６が取得可能となっている。
【0042】
図５を参照しつつ、形状代表値の取得の１つの実施形態について説明する。皮膚ポリゴン１は、姿勢１に対応した頂点座標を備えており、全頂点座標を用いて形状記述子を算出し、算出結果を用いて複数の代表領域を抽出し、複数の代表領域からなるセットを用いて形状代表値を算出する。代表領域は頂点集合であり、頂点IDと座標によって特定される。形状代表値は、例えば、任意の２つの代表領域の全頂点座標の関数であり、例えば、任意の２つの代表領域の頂点間の距離である。
【0043】
例えば、形状記述子としてHKSを用いる場合、閾値とHKS値を用いて、複数の代表領域（リング）を抽出し、リングセットを形状代表領域とする。より具体的には、図６に示すように、HKS値と閾値を用いて、全頂点を２グループに分割し、２グループの境界に位置する頂点集合をリングとして検出する。リングは、頂点IDと座標によって特定される。閾値を変化させることで、複数のリングを検出することができ、複数のリングからなるリングセットを取得する。
【0044】
皮膚ポリゴン１の全頂点にHKSを適用することで、リングセットを抽出する。リングセットの各リングは頂点IDによって特定されている。皮膚ポリゴン２～皮膚ポリゴン５はそれぞれIDと座標を備えた頂点から構成されており、リングを構成する頂点のIDから、皮膚ポリゴン２～皮膚ポリゴン５におけるリングを特定し、頂点IDと座標によって特定されるリングセットを得ることができる。リングセットを用いて形状代表値を算出する。
【0045】
図７を参照して、形状代表値の時系列データを用いた特徴量の算出について説明する。姿勢１に対応するリングセットを取得する。リングセットを構成する全リングあるいは選択した一部のリングの全頂点座標の関数を設定する。この関数は、例えば、１つのリングの頂点座標と他の１つのリングの頂点座標との距離である（図９参照）。これらの距離を用いて形状代表値１とする。姿勢２に対応するリングセットを取得し、同様に、形状代表値２を算出する。形状代表値１と形状代表値２を用いて算出した特徴量は、対象の姿勢が姿勢１から姿勢２に変位した時に、あるリングが別のリングにどのように近づいた、もしくは離れたかという情報を反映する（図８参照）。したがって、姿勢１～姿勢６が、対象の特定の運動を代表している場合に、形状代表値１～形状代表値６は、運動時の対象の皮膚の動きを表していると考えられ、形状代表値１～形状代表値６から取得する特徴量は運動特徴量である。
【0046】
図５において、姿勢１～姿勢５が歩行動作に対応している場合に、皮膚ポリゴンは姿勢１～姿勢５に依存して変化する。すなわち、皮膚ポリゴンの動き（皮膚ポリゴン１～皮膚ポリゴン５）は、歩行動作に対応しており、皮膚ポリゴンの形状を代表する形状代表値の時系列データは歩行動作を表している。形状代表値の時系列データから取得される運動特徴量は、個人を特定するための重要な情報となり得る。また、図５において、姿勢１～姿勢５がゴルフのスイング動作に対応している場合には、皮膚ポリゴンの形状を代表する形状代表値の時系列データはスイング動作を表している。例えば、パフォーマンスが良い時のスイング動作を、形状代表値の時系列データから取得される運動特徴量で取得しておき、パフォーマンスが落ちた時に、スイング動作から運動特徴量を取得し、パフォーマンスの違いを運動特徴量の距離（差）として数値化することができる。
【0047】
図６、図７において、１つの態様では、形状代表領域としての環状頂点群ないしリングは、HKSを用いて取得されるが、形状代表領域の設定はHKSを用いるものに限定されず、他の既存の形状記述子を用いてもよい。また、図２３に示すように、人体の所定の複数部位、例えば、大腿、下腿、前腕、上腕、胸、腹ないし腰において、所定位置をそれぞれ選択して形状代表領域を設定し、形状代表領域を当該形状代表領域である頂点集合の頂点ＩＤによって決定してもよい。図２４に示す態様では、人体の背中の肩甲骨に対応する位置に２つの形状代表領域が設けてあり、形状代表領域の時間的変化から得られる情報によって肩甲骨の動きを分析してもよい。図２５に示す態様では、人体の背中に広範囲に亘って１つの形状代表領域が設けてあり、形状代表領域の時間的変化から得られる情報によって人体の動きを分析してもよい。図２４、図２５では、形状代表領域は環状頂点群であるが、形状代表領域は複数の頂点からなる面状頂点群でもよい。
【0048】
図１０に示す態様では、皮膚ポリゴン１～皮膚ポリゴン５のそれぞれにHKSを適用して、それぞれ、形状代表領域１（リングセット１）～形状代表領域５（リングセット５）を取得する。形状代表領域１（リングセット１）～形状代表領域５（リングセット５）から形状代表値１～形状代表値５を算出する。本実施形態では、形状代表値は、各リングの周囲長、あるいは／および、断面積であり、複数フレームで取得した形状代表値１～形状代表値５からなる配列を特徴量とする。
【0049】
図１１を参照しつつ、断面積からなる形状代表値の取得について説明する。姿勢１に対応するリングセットを取得する。リングセットを構成する各リングの頂点座標を用いて、各リング（代表領域）における断面積を算出し、断面積のセットから姿勢１における形状代表値１を取得する。姿勢２に対応するリングセットを取得する。リングセットを構成する各リングの頂点座標を用いて、各リング（代表領域）における断面積を算出し、断面積のセットから姿勢２における形状代表値２を取得する。断面積を用いた形状代表値は、対象の姿勢への依存度が小さい特徴量であり、個人認証に用いることができる（後述する実験参照）。
【0050】
［Ｂ］対象の体表情報の形状記述子
［Ｂ－１］HKS（Heat Kernel Signature）
3次元形状情報から特徴量を抽出する方法には形状記述子（Shape Descriptor）が知られている。形状記述子は、形状の照合や探索に用いられるものであり様々な手法が提案されている。人体の3次元体表面のような非剛体間のマッチングを行うための形状記述子としては、HKS(Heat Kernel Signature)やWKS(Wave Kernel Signature)が知られている。本実施形態では、体表面上における熱拡散方程式を利用したHKSを採用し、HKSを用いて対象の形状を代表する形状代表値を取得する。
［Ｂ－１］HKS（Heat Kernel Signature）
3次元形状情報から特徴量を抽出する方法には形状記述子（Shape Descriptor）が知られている。形状記述子は、形状の照合や探索に用いられるものであり様々な手法が提案されている。人体の3次元体表面のような非剛体間のマッチングを行うための形状記述子としては、HKS(Heat Kernel Signature)やWKS(Wave Kernel Signature)が知られている。本実施形態では、体表面上における熱拡散方程式を利用したHKSを採用し、HKSを用いて対象の形状を代表する形状代表値を取得する。
【0051】
形状記述子としてのHKS（Heat Kernel Signature）について説明する。体表面上の異なる2点の3次元座標をx，y，多様体表面の集合をM，熱拡散の時間をt，u(x，t)を熱分布としたときの3次元表面における熱拡散方程式
の基本解
におけるkt(x,y)を熱核(Heat Kernel)と呼ぶ。熱核の固有値分解は、
となる。ここでのλiとφiはそれぞれΔのi番目の固有値と固有関数である。ここで、y=xとしたときのH(x,t)=kt(x,x)をHKS(Heat Kernel Signature)と定義する。
におけるkt(x,y)を熱核(Heat Kernel)と呼ぶ。熱核の固有値分解は、
【0052】
上の式より、HKSは形状情報ごとの各集合Mにおいて定義され、3次元座標xと時間tに依存する関数である。ここでの時間tはモデルのモーションの時間ではなく、HKS内での経過時間である。実際にモデルの各頂点にHKS値に応じて色付けを行ったものを図１２に示す。実際には、図１２はカラー画像である。HKSの最大値と最小値をそれぞれカラーマップの最大値、最小値に対応させて色付けを行った。胴体付近でHKS値は最も小さく、身体の末端（手先足先）に向かうにつれてHKS値は大きくなっている。
【0053】
［Ｂ－２］形状を代表する代表領域
形状を代表する領域の抽出について述べる。HKSが近い値を示す体表面上の座標の集合をSとし、ポリゴンモデルの体表面上の全座標の集合をMとする。体表面上の全座標の集合Mや体表面上の一部分の集合Sは、メッシュの頂点の集合である。
形状を代表する領域の抽出について述べる。HKSが近い値を示す体表面上の座標の集合をSとし、ポリゴンモデルの体表面上の全座標の集合をMとする。体表面上の全座標の集合Mや体表面上の一部分の集合Sは、メッシュの頂点の集合である。
【0054】
集合Sの決め方について説明する。まず、各頂点のHKSの値によって、集合Mを所定の閾値（Hth）以上とそれ未満で２つの集合A，Bに分ける。すなわち、
となる。
【0055】
このとき、三角形ポリゴンの3つの頂点にグループAに属する点とグループBに属する点が同時にある三角形を構成する点を集合Sとする（図１３参照）。集合Sを構成する頂点集合は、閾値Hthの値を変えることで可変である。全頂点のHKSの値を小さい順に並び替えた時のkパーセント点のHKSの値を閾値Hthkとして用い、それに対応する頂点集合をSkとする（k = 1，・・・99）。
【0056】
99個の頂点集合Sを、小さい方から順にそれぞれS1, S2,・・・, S99とする。閾値Hthの値を変化させていったときの頂点集合Sを図１５に示す。頂点集合Sからなる境界領域は閉曲線状の領域ないしリングである。図１５は、左から順にS3，S8，S38，S70，S80に対応する境界領域を示している。図１５は、左から順にHthの値を大きくした場合を示しており、Hthの値が大きくなると、境界領域の位置は身体の末端部位（手先足先）に移動することがわかる。また、境界領域の数は、閾値Hthの値によって異なり得る。図１５の左側の２つの図では、境界領域の数は２であり、中央図では、境界領域の数は５であり、右側の２つの図では、境界領域の数は４である。
【0057】
図１７は、例として異なる体型と姿勢のスキンモデルにおいて、集合S3, S8, S38, S70, S80の合計17個の境界全てを１つのスキンモデルにまとめて表示したものである。この図から、体型や姿勢が異なっていたとしても境界領域の位置は略同じであることがわかる。
【0058】
境界領域を構成する頂点集合をさらに分類してもよい。例えば、各境界領域に含まれる頂点集合に対して、その頂点の座標を用いてk-meansクラスタリングを行って代表領域（リング）を抽出してもよい。集合Sの全ての17個の境界領域（リング）からなるリングセットを用いて形状代表値を算出する。
【0059】
［Ｂ－３］形状代表値（リングの断面積ないし周囲長）
本実施形態では、HKSによって形状情報から取得した特徴量を用いた個人認証を行う。HKSを用いることにより、人同士であれば形状が異なっていても同じ部位のマッチングを行うことができる。そこで、HKSを用いて同じ部位（リング）をみつけ、その部位を比較することで形状による識別を行う。
本実施形態では、HKSによって形状情報から取得した特徴量を用いた個人認証を行う。HKSを用いることにより、人同士であれば形状が異なっていても同じ部位のマッチングを行うことができる。そこで、HKSを用いて同じ部位（リング）をみつけ、その部位を比較することで形状による識別を行う。
【0060】
この様にして求めた境界集合Sの全ての17個の境界における断面積が入った配列を各モデルの特徴量として用いた。各境界の頂点に対して、主成分分析を用い最も頂点の座標間の分散が大きくなる平面を求め、各頂点をその平面に射影することで2次元化を行う。平面上の頂点から凸包を求め、その凸包の周囲長と面積を特徴量として用いる。
【0061】
境界集合Siから求めた凸包の周囲長、面積が入った配列を値が小さい順に並び替えた配列ic, iaをそれぞれ作る。次に、境界集合Siを複数組み合わせた境界集合S=Sa, Sb,・・ とする。人のラベルをmとし、ポーズのラベルをpとしたとき、この境界集合Sに含まれているSiごとに定義されたic, iaの配列を積み重ねることにより人とポーズと集合S(すなわち境界集合Siの組み合わせ)を変数に持つ配列c(m, p)=ac, bc,・・・, a(m, p) = aa, ba,・・・を作成する。このようにして求めたc(m, p), a(m, p) を形状情報からの特徴量とする。図１５の例では、集合SはS={S3, S8, S38, S70, S80}となり、境界集合の数から、3c, 8c, 38c, 70c, 80cの要素数kiはk3=2, k8=2, k38=5, k70=4, k80=4となり、c(m, p)の配列長は17となる。
【0062】
［Ｃ］実験
［Ｃ－１］使用したデータセット
本章では、提案した特徴量の配列を用いて、データセットの異なる人を識別し、提案手法による特徴量の有用性を確認した。実験にはSHREC'14（Shape Retrieval of Non-Rigid 3D Human Models）Human Dataset（非特許文献７）を利用した。40人が10種類のポーズをとった合計400のメッシュモデルで構成されている（図１７参照）。また、メッシュの頂点数は15000前後である。個人認証において同性間での比較の精度を優先すべきであるため、40人のモデルのうち男性20人のモデルを用いた。200種類のモデルの中には、メッシュの一部が欠損していたためHKSを計算できないものも含まれており、最終的にそれらを除いた20人9ポーズの合計163種類のスキンモデルを用いて識別を行った。これらの各モデルには時間（t=1000）におけるHKSを計算する処理を加え、それをデータとして用いた。
［Ｃ－１］使用したデータセット
本章では、提案した特徴量の配列を用いて、データセットの異なる人を識別し、提案手法による特徴量の有用性を確認した。実験にはSHREC'14（Shape Retrieval of Non-Rigid 3D Human Models）Human Dataset（非特許文献７）を利用した。40人が10種類のポーズをとった合計400のメッシュモデルで構成されている（図１７参照）。また、メッシュの頂点数は15000前後である。個人認証において同性間での比較の精度を優先すべきであるため、40人のモデルのうち男性20人のモデルを用いた。200種類のモデルの中には、メッシュの一部が欠損していたためHKSを計算できないものも含まれており、最終的にそれらを除いた20人9ポーズの合計163種類のスキンモデルを用いて識別を行った。これらの各モデルには時間（t=1000）におけるHKSを計算する処理を加え、それをデータとして用いた。
【0063】
［Ｃ－２］正規化
HKSの値はモデルのサイズに依存しないよう正規化されているものの、HKSから導いた境界領域の断面積に関しては、モデルのサイズに特徴量が依存しないようモデルのサイズを揃える正規化を行った。正規化の方法として、身長（大腿骨の長さ）を統一させる方法、首の断面積を統一させる方法、体積を統一させる方法などが考えられるが、実験では、体積で正規化を行う手法を採用した。なお、特徴量を用いる目的によって、正規化が必要な場合と必要ない場合があり、また、正規化手段については、上記に限定されるものではないことが当業者に理解される。
HKSの値はモデルのサイズに依存しないよう正規化されているものの、HKSから導いた境界領域の断面積に関しては、モデルのサイズに特徴量が依存しないようモデルのサイズを揃える正規化を行った。正規化の方法として、身長（大腿骨の長さ）を統一させる方法、首の断面積を統一させる方法、体積を統一させる方法などが考えられるが、実験では、体積で正規化を行う手法を採用した。なお、特徴量を用いる目的によって、正規化が必要な場合と必要ない場合があり、また、正規化手段については、上記に限定されるものではないことが当業者に理解される。
【0064】
［Ｃ－３］ポーズによる正答率の違い
ポーズと正答率との関係について調べた。各ポーズを図１７に示す。左上から右下にかけてそれぞれポーズ0から9となっている。ポーズ8においてメッシュが欠損していたため10種類あるポーズのうち9種類を実験に用いた。体積で正規化を行ったときの、n=1，2，3における正答率について検討した結果を表２に示す。横軸にはポーズの種類(p)を、縦軸にはnにおける正答率を示している。nは、あるテストデータから推測される体型の候補をn個あげたときの正答率である。
結果からは、腕の位置や関節の角度はあまり正答率に影響はせず、一方、膝の関節角度は正答率に影響を及ぼし得ると考えられる。p=3，4，6などの膝の関節角度が鈍角の場合は、識別に関して大きな影響がないが、鋭角となると影響が無視できなくなると推定できる。
ポーズと正答率との関係について調べた。各ポーズを図１７に示す。左上から右下にかけてそれぞれポーズ0から9となっている。ポーズ8においてメッシュが欠損していたため10種類あるポーズのうち9種類を実験に用いた。体積で正規化を行ったときの、n=1，2，3における正答率について検討した結果を表２に示す。横軸にはポーズの種類(p)を、縦軸にはnにおける正答率を示している。nは、あるテストデータから推測される体型の候補をn個あげたときの正答率である。
【表2】
【0065】
［Ｃ－４］最適な境界領域について
集合S3，S8，S38，S70，S80からなるリングセットを用いて検証を行ったが、これらは例示であって、境界領域のセットは、これに限定されるものではない。集合Shはh = 1，・・・，99 の合計99個あるが、そのうちhが5の倍数の境界であるh = 5，10，・・・，90，95の合計19個から、リングを形成していないS20と手先足先の部分S85，S90，S95を除いた合計15個のShについて調べた。15個のShの中から4つの集合を選び（15C4の約3000通り）、その中で最適な組み合わせを選んだ。約3000通りの組み合わせの中から正答率が高かった上位5つの正答率と組み合わせの結果を表３に示す。
このことから、最大の正答率はS5，S15，S30，S80の組み合わせの96.93%となった。上位５つの全てにS5が入っており、胴体付近の面積は重要な特徴量ということがわかる。S35をのぞき、上位の組み合わせにはS15以下の境界、すなわち胴体周りと、S65以上の境界、すなわち肘から手首にかけての部位が含まれている。このことから、体積を正規化させたときには胴体周りと肘から手首にかけての部位が主に大きく寄与していることが推測される。S5，S15，S30，S80からなるリングセットを図１８に示す。
集合S3，S8，S38，S70，S80からなるリングセットを用いて検証を行ったが、これらは例示であって、境界領域のセットは、これに限定されるものではない。集合Shはh = 1，・・・，99 の合計99個あるが、そのうちhが5の倍数の境界であるh = 5，10，・・・，90，95の合計19個から、リングを形成していないS20と手先足先の部分S85，S90，S95を除いた合計15個のShについて調べた。15個のShの中から4つの集合を選び（15C4の約3000通り）、その中で最適な組み合わせを選んだ。約3000通りの組み合わせの中から正答率が高かった上位5つの正答率と組み合わせの結果を表３に示す。
【表3】
【0066】
［Ｃ－５］歩行動作からの識別実験
本実験ではトレッドミル上での対象の歩行動作を計測した。トレッドミルの速度は人の平均的な歩行速度である時速4.0kmに設定した。4台のカメラをトレッドミルを取り囲む様に設置し、60fpsで20代男性3名と30代1名合計4名の約1分の歩行の計測を行った。
本実験ではトレッドミル上での対象の歩行動作を計測した。トレッドミルの速度は人の平均的な歩行速度である時速4.0kmに設定した。4台のカメラをトレッドミルを取り囲む様に設置し、60fpsで20代男性3名と30代1名合計4名の約1分の歩行の計測を行った。
【0067】
実験では衣服を着用していない状態のスキンモデルを入力として用いたいため、非特許文献５に開示されているHMR(Human Mesh Recovery)によりスキンモデルを作成した。非特許文献５の手法は、１枚の画像からスキンモデルの再構成を行うものである。なお、複数枚の画像に基づいてスキンモデルの再構成を行ってもよい。
【0068】
本実験では、所定の姿勢（例えば、直立姿勢やＴポーズ）で予め取得したスキンモデルにビデオモーションキャプチャ（特許文献４、非特許文献２）によって取得した関節位置を埋め込むことで歩いているポーズに変形したものを、カメラから取得した形状情報とみなして扱った。事前に取得したスキンモデルにビデオモーションキャプチャによって取得した関節位置を当てはめることで、姿勢を変形した結果を図２２に示す。これは、左から順に20フレーム（約0.3 秒）ごとの歩行のモデルを表したものとなっている。なお、トレッドミル上の映像から形状情報を３次元再構成してもよい。
【0069】
このスキンモデルに対して、境界はS8，S20，S30，S80を用いて特徴量を抽出し、4人の識別を行った。評価方法として、計測した歩行データの一部から形状の特徴量を取り出し、人ごとの特徴量の平均値を取り、各特徴ベースデータとした。次に、ベースデータの作成で用いたフレーム以外の歩行データから、各特徴量を抽出しこれらをテストデータとした。ベースデータの作成方法として、歩行の開始時と終了時は安定した歩行ではないため、該当部分を除外したフレームの中から連続した600フレームを選択する。選択した600フレームに関して、形状については、選択した600フレームの中から10フレームごとに1フレーム分を抜き出した合計60フレームに関して、1フレームごとにスキンモデルを生成し、そのスキンモデルに関して、代表領域S8，S20，S30，S80における断面積が入った配列を作り、この配列60個の各要素ごとに平均値を取ったものをベースデータとした。
【0070】
次に、テストデータの作成方法として、ベースデータで用いた部分を除いた歩行データの中から、形状の場合では、選択したフレームの中から、さらに200フレームを選びそこから10フレームおきにとった合計20フレーム1つ1つに関して、骨格に当てはまる様にスキンモデルを変形させ、そのスキンモデルから作成した断面積が入った合計20個の配列をテストデータとした。4人分のベースデータ4つと、一人あたり20個の合計80個のテストデータを作成した。これらを、それぞれのテストデータに関して、4人分のベースデータのL1ノルムを比較し、最も値が小さくなるベースデータを推定結果とし、推定結果とテストデータが同一人物である割合を計算すると88.75%となった。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
