(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-29
(45)【発行日】2023-06-06
(54)【発明の名称】関節位置取得装置及び方法
(51)【国際特許分類】
G06T 7/20 20170101AFI20230530BHJP
【ＦＩ】
G06T7/20 300Z
【請求項の数】
7
(21)【出願番号】P 2020170170
(22)【出願日】2020-10-07
(65)【公開番号】P2022061910
(43)【公開日】2022-04-19
【審査請求日】2022-02-15
(73)【特許権者】
【識別番号】000101558
【氏名又は名称】アニマ株式会社
(74)【代理人】
【識別番号】100103137
【弁理士】
【氏名又は名称】稲葉 滋
(74)【代理人】
【識別番号】100145838
【弁理士】
【氏名又は名称】畑添 隆人
(72)【発明者】
【氏名】牛久保 智宏
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開２０２０－１４０７１９（ＪＰ，Ａ）
【文献】特開２００７－０６１１２１（ＪＰ，Ａ）
【文献】SHU ZHANG et al.，“Combining Kinect and PnP for camera pose estimation”，2015 8th International Conference on Human System Interaction (HSI)，IEEE，2015年06月，DOI: 10.1109/HSI.2015.7170693
【文献】玉澤治夫他，動的現象の三次元画像解析，画像ラボ，日本，日本工業出版株式会社，2007年10月01日，第18巻 第10号，pp.62-65
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ３／００ － ３／６０
Ｇ０６Ｔ ５／００ － ５／５０
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
距離画像センサと、少なくとも１つのカメラと、
前記距離画像センサにより取得した対象の距離画像に基づいて、当該対象の３Ｄ関節位置を推定する３Ｄ関節位置推定手段と、
前記カメラにより取得した対象のＲＧＢ画像に基づいて、当該対象の２Ｄ関節位置を推定する２Ｄ関節位置推定手段と、
カメラパラメータ取得手段と、
関節位置補正手段と、
を備え、
前記距離画像と前記ＲＧＢ画像は同期して取得されており、
前記関節位置補正手段は、前記２Ｄ関節位置推定手段により推定された２Ｄ関節位置と前記カメラパラメータを用いて得られたカメラの光軸を用いて、前記３Ｄ関節位置推定手段により推定された３Ｄ関節位置を補正する、
関節位置取得装置。
【請求項2】
ある関節について、前記３Ｄ関節位置推定手段により３Ｄ関節位置が推定されており、同じ関節について、前記２Ｄ関節位置推定手段により２Ｄ関節位置が推定されており、
前記関節位置補正手段は、前記推定された２Ｄ関節位置と前記カメラパラメータを用いて得られたカメラの光軸と、前記推定された３Ｄ関節位置との距離が最小となるように、前記推定された３Ｄ関節位置を補正する、
請求項１に記載の関節位置取得装置。
【請求項3】
同一体節上の第１関節と第２関節間の関節間距離が得られており、第１関節の３Ｄ関節位置が得られており、
第２関節について、前記３Ｄ関節位置推定手段により３Ｄ関節位置が推定されており、
第２関節について、前記２Ｄ関節位置推定手段により２Ｄ関節位置が推定されており、
前記関節位置取得手段は、前記推定された第２関節の２Ｄ関節位置と前記カメラパラメータを用いてカメラの光軸を取得し、前記光軸と前記第１関節の３Ｄ関節位置との距離と、前記関節間距離との差が最小となるように、前記第２関節の複数の３Ｄ関節位置候補を取得し、前記複数の３Ｄ関節位置候補において、前記推定された第２関節の３Ｄ関節位置に近い候補を、前記第２関節の３Ｄ関節位置として採用する、
請求項１に記載の関節位置取得装置。
【請求項4】
前記３Ｄ関節位置推定手段により取得された各３Ｄ関節位置に対応するカメラ画像上の２Ｄ関節位置が得られており、前記カメラパラメータ取得手段は、前記３Ｄ関節位置推定手段により取得された複数の３Ｄ関節位置のセットと、前記３Ｄ関節位置のセットの各３Ｄ関節位置に対応するカメラ画像上の２Ｄ関節位置のセットと、を用いて、前記カメラのカメラパラメータを取得する、
請求項１～３いずれか１項に記載の関節位置取得装置。
【請求項5】
前記距離画像センサと前記カメラは、複合センサとして一体化されている、請求項１～４いずれか１項に記載の関節位置取得装置。
【請求項6】
距離画像センサにより取得した時刻ｔの距離画像に基づいて、ある関節の３Ｄ関節位置が推定されており、カメラにより取得した時刻ｔのＲＧＢ画像に基づいて、同じ関節の２Ｄ関節位置が推定されており、
３Ｄ関節位置の座標系と２Ｄ関節位置の座標系間のカメラパラメータが得られており、
前記推定された２Ｄ関節位置と前記カメラパラメータを用いてカメラの光軸を取得し、
前記光軸と前記推定された３Ｄ関節位置との距離が最小となるように、前記推定された３Ｄ関節位置を補正する、
関節位置取得方法。
【請求項7】
同一体節上の第１関節と第２関節において、時刻ｔの第１関節の３Ｄ関節位置が得られており、距離画像センサにより取得した時刻ｔの距離画像に基づいて、第２関節の３Ｄ関節位置が推定されており、
カメラにより取得した時刻ｔのＲＧＢ画像に基づいて、第２関節の２Ｄ関節位置が推定されており、
３Ｄ関節位置の座標系と２Ｄ関節位置の座標系間のカメラパラメータが得られており、
第１関節と第２関節間の関節間距離が得られており、
前記推定された第２関節の２Ｄ関節位置と前記カメラパラメータを用いてカメラの光軸を取得し、
前記光軸と前記第１関節の３Ｄ関節位置との距離と、前記関節間距離との差が最小となるように、第２関節の複数の３Ｄ関節位置候補を取得し、
第２関節の前記複数の３Ｄ関節位置候補において、前記推定された第２関節の３Ｄ関節位置に近い候補を、第２関節の３Ｄ関節位置として採用する、
関節位置取得方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、モーションキャプチャに係り、詳しくは、関節位置取得装置及び方法に関するものである。
【背景技術】
【0002】
スポーツやリハビリテーションの分野では、被験者の運動を記録・分析するために、モーションキャプチャを用いた３次元動作解析が行われる。モーションキャプチャ技術としては、光学式モーションキャプチャや慣性センサを用いたモーションキャプチャが知られている。光学式モーションキャプチャは、再帰性反射材が塗布された複数の光学式マーカを対象の身体に取り付け、赤外線カメラなどの複数のカメラで対象の動作を撮影することで、光学式マーカの移動軌跡から対象の動作を取得する。光学式モーションキャプチャでは、対象の身体に複数のマーカを装着する必要があるため、動作計測の準備に時間や人手がかかる、対象の動きが制限されて、自然な動きを妨げるおそれがある、という欠点がある。慣性センサを用いたモーションキャプチャにおいても、慣性センサを身体に取り付ける必要があることから、光学式モーションキャプチャと同様の欠点がある。特に、リハビリテーションにおいて、患者や高齢者の身体機能のモニタリングにモーションキャプチャを広く活用するためには、設備の簡略化、準備やキャプチャー後の後処理に関わる人手と時間の短縮、を通じてモーションキャプチャを低コスト化することが課題である。
【0003】
上記欠点を解決するためには、マーカや慣性センサを用いることがない、いわゆるマーカレス・モーションキャプチャが有利である。マーカレス・モーションキャプチャとしては、例えば、赤外線やLiDAR（Light Detection and Ranging）を用いて、TOF（Time Of Flight）方式で１枚の距離画像（深度画像）を取得し、取得した１枚の深度画像から関節位置を推定する手法が知られている（非特許文献１）。また、距離画像に基づいた骨格情報推定については、例えば、特許文献１～３にも記載されている。近年、距離画像方式を採用した比較的安価なモーションキャプチャが市場に登場しており（非特許文献２）、臨床現場での活用が期待されている（非特許文献３）。
【0004】
しかしながら、一般に、距離画像方式を用いたマーカレス・モーションキャプチャは、赤外線反射方式の光学式マーカを用いた三次元動作分析装置に比べて、関節位置の推定精度が落ちる傾向があり、リハビリテーションにおける三次元動作分析装置として利用するにはより高い精度が望ましいという課題がある。
【先行技術文献】
【特許文献】
【0005】
【文献】特許第6617830号
【文献】特許第5211069号
【文献】特許第6433149号
【文献】特開平10-149445
【非特許文献】
【0006】
【文献】J. Shotton et al., “Real-Time Human Pose Recognition in Parts from a Single Depth Image,”Proc. IEEE Conf. Computer Vision and Pattern Recognition (CVPR), IEEE CS Press, 2011, pp. 1297-1304.
【文献】Z. Zhang. Microsoft kinect sensor and its effect. IEEE MultiMedia, 19(2):4-10, Feb 2012.
【文献】マーカーレスモーションキャプチャによる三次元動作解析の応用例 春名 弘一, 昆 恵介, 稲垣 潤, 佐藤 洋一郎 日本義肢装具学会誌2019年 35 巻1号p.17-23
【発明の開示】
【発明が解決しようとする課題】
【0007】
本発明は、距離画像方式を用いて推定された関節位置の精度を高めることを目的とするものである。
【課題を解決するための手段】
【0008】
本発明が採用した第１の技術手段は、
距離画像センサと、
少なくとも１つのカメラと、
前記距離画像センサにより取得した対象の距離画像に基づいて、当該対象の３Ｄ関節位置を推定する３Ｄ関節位置推定手段と、
前記カメラにより取得した対象のＲＧＢ画像に基づいて、当該対象の２Ｄ関節位置を推定する２Ｄ関節位置推定手段と、
カメラパラメータ取得手段と、
関節位置補正手段と、
を備え、
前記距離画像と前記ＲＧＢ画像は同期して取得されており、
前記関節位置補正手段は、前記２Ｄ関節位置推定手段により推定された２Ｄ関節位置と前記カメラパラメータを用いて得られたカメラの光軸を用いて、前記３Ｄ関節位置推定手段により推定された３Ｄ関節位置を補正する、
関節位置取得装置、である。
１つの態様では、前記距離画像センサと前記カメラは、複合センサとして一体化されている。
距離画像センサと、
少なくとも１つのカメラと、
前記距離画像センサにより取得した対象の距離画像に基づいて、当該対象の３Ｄ関節位置を推定する３Ｄ関節位置推定手段と、
前記カメラにより取得した対象のＲＧＢ画像に基づいて、当該対象の２Ｄ関節位置を推定する２Ｄ関節位置推定手段と、
カメラパラメータ取得手段と、
関節位置補正手段と、
を備え、
前記距離画像と前記ＲＧＢ画像は同期して取得されており、
前記関節位置補正手段は、前記２Ｄ関節位置推定手段により推定された２Ｄ関節位置と前記カメラパラメータを用いて得られたカメラの光軸を用いて、前記３Ｄ関節位置推定手段により推定された３Ｄ関節位置を補正する、
関節位置取得装置、である。
１つの態様では、前記距離画像センサと前記カメラは、複合センサとして一体化されている。
【0009】
１つの態様では、ある関節について、前記３Ｄ関節位置推定手段により３Ｄ関節位置が推定されており、
同じ関節について、前記２Ｄ関節位置推定手段により２Ｄ関節位置が推定されており、
前記関節位置補正手段は、前記推定された２Ｄ関節位置と前記カメラパラメータを用いて得られたカメラの光軸と、前記推定された３Ｄ関節位置との距離が最小となるように、前記推定された３Ｄ関節位置を補正する。
同じ関節について、前記２Ｄ関節位置推定手段により２Ｄ関節位置が推定されており、
前記関節位置補正手段は、前記推定された２Ｄ関節位置と前記カメラパラメータを用いて得られたカメラの光軸と、前記推定された３Ｄ関節位置との距離が最小となるように、前記推定された３Ｄ関節位置を補正する。
【0010】
１つの態様では、同一体節上の第１関節と第２関節間の関節間距離が得られており、
第１関節の３Ｄ関節位置が得られており、
第２関節について、前記３Ｄ関節位置推定手段により３Ｄ関節位置が推定されており、
第２関節について、前記２Ｄ関節位置推定手段により２Ｄ関節位置が推定されており、
前記関節位置取得手段は、前記推定された第２関節の２Ｄ関節位置と前記カメラパラメータを用いてカメラの光軸を取得し、前記光軸と前記第１関節の３Ｄ関節位置との距離と、前記関節間距離との差が最小となるように、前記第２関節の複数の３Ｄ関節位置候補を取得し、前記複数の３Ｄ関節位置候補において、前記推定された第２関節の３Ｄ関節位置に近い候補を、前記第２関節の３Ｄ関節位置として採用する。
第１関節の３Ｄ関節位置を得る手法は限定されない。１つの態様では、第１関節の３Ｄ関節位置は、後述する第１実施形態に係る手法により取得され、他の態様では、第１関節の３Ｄ関節位置は、３Ｄ関節位置推定手段により得られている（推定されている）。
第１関節の３Ｄ関節位置が得られており、
第２関節について、前記３Ｄ関節位置推定手段により３Ｄ関節位置が推定されており、
第２関節について、前記２Ｄ関節位置推定手段により２Ｄ関節位置が推定されており、
前記関節位置取得手段は、前記推定された第２関節の２Ｄ関節位置と前記カメラパラメータを用いてカメラの光軸を取得し、前記光軸と前記第１関節の３Ｄ関節位置との距離と、前記関節間距離との差が最小となるように、前記第２関節の複数の３Ｄ関節位置候補を取得し、前記複数の３Ｄ関節位置候補において、前記推定された第２関節の３Ｄ関節位置に近い候補を、前記第２関節の３Ｄ関節位置として採用する。
第１関節の３Ｄ関節位置を得る手法は限定されない。１つの態様では、第１関節の３Ｄ関節位置は、後述する第１実施形態に係る手法により取得され、他の態様では、第１関節の３Ｄ関節位置は、３Ｄ関節位置推定手段により得られている（推定されている）。
【0011】
１つの態様では、前記３Ｄ関節位置推定手段により取得された各３Ｄ関節位置に対応するカメラ画像上の２Ｄ関節位置が得られており、
前記カメラパラメータ取得手段は、前記３Ｄ関節位置推定手段により取得された複数の３Ｄ関節位置のセットと、前記３Ｄ関節位置のセットの各３Ｄ関節位置に対応するカメラ画像上の２Ｄ関節位置のセットと、を用いて、前記カメラのカメラパラメータを取得する。
１つの態様では、前記カメラパラメータは記憶部に記憶されており、前記カメラパラメータ取得手段は、前記記憶部から前記カメラパラメータを取得する。
前記カメラパラメータ取得手段は、前記３Ｄ関節位置推定手段により取得された複数の３Ｄ関節位置のセットと、前記３Ｄ関節位置のセットの各３Ｄ関節位置に対応するカメラ画像上の２Ｄ関節位置のセットと、を用いて、前記カメラのカメラパラメータを取得する。
１つの態様では、前記カメラパラメータは記憶部に記憶されており、前記カメラパラメータ取得手段は、前記記憶部から前記カメラパラメータを取得する。
【0012】
本発明が採用した第２の技術手段は、関節位置取得方法であって、距離画像センサにより取得した時刻ｔの距離画像に基づいて、ある関節の３Ｄ関節位置が推定されており、
カメラにより取得した時刻ｔのＲＧＢ画像に基づいて、同じ関節の２Ｄ関節位置が推定されており、
３Ｄ関節位置の座標系と２Ｄ関節位置の座標系間のカメラパラメータが得られており、
前記推定された２Ｄ関節位置と前記カメラパラメータを用いてカメラの光軸を取得し、
前記光軸と前記推定された３Ｄ関節位置との距離が最小となるように、前記推定された３Ｄ関節位置を補正する。
カメラにより取得した時刻ｔのＲＧＢ画像に基づいて、同じ関節の２Ｄ関節位置が推定されており、
３Ｄ関節位置の座標系と２Ｄ関節位置の座標系間のカメラパラメータが得られており、
前記推定された２Ｄ関節位置と前記カメラパラメータを用いてカメラの光軸を取得し、
前記光軸と前記推定された３Ｄ関節位置との距離が最小となるように、前記推定された３Ｄ関節位置を補正する。
【0013】
本発明が採用した第３の技術手段は、関節位置取得方法であって、同一体節上の第１関節と第２関節において、時刻ｔの第１関節の３Ｄ関節位置が得られており、
距離画像センサにより取得した時刻ｔの距離画像に基づいて、第２関節の３Ｄ関節位置が推定されており、
カメラにより取得した時刻ｔのＲＧＢ画像に基づいて、第２関節の２Ｄ関節位置が推定されており、
３Ｄ関節位置の座標系と２Ｄ関節位置の座標系間のカメラパラメータが得られており、
第１関節と第２関節間の関節間距離が得られており、
前記推定された第２関節の２Ｄ関節位置と前記カメラパラメータを用いてカメラの光軸を取得し、
前記光軸と前記第１関節の３Ｄ関節位置との距離と、前記関節間距離との差が最小となるように、第２関節の複数の３Ｄ関節位置候補を取得し、
第２関節の前記複数の３Ｄ関節位置候補において、前記推定された第２関節の３Ｄ関節位置に近い候補を、第２関節の３Ｄ関節位置として採用する。
距離画像センサにより取得した時刻ｔの距離画像に基づいて、第２関節の３Ｄ関節位置が推定されており、
カメラにより取得した時刻ｔのＲＧＢ画像に基づいて、第２関節の２Ｄ関節位置が推定されており、
３Ｄ関節位置の座標系と２Ｄ関節位置の座標系間のカメラパラメータが得られており、
第１関節と第２関節間の関節間距離が得られており、
前記推定された第２関節の２Ｄ関節位置と前記カメラパラメータを用いてカメラの光軸を取得し、
前記光軸と前記第１関節の３Ｄ関節位置との距離と、前記関節間距離との差が最小となるように、第２関節の複数の３Ｄ関節位置候補を取得し、
第２関節の前記複数の３Ｄ関節位置候補において、前記推定された第２関節の３Ｄ関節位置に近い候補を、第２関節の３Ｄ関節位置として採用する。
【0014】
本発明が採用した第４の技術手段は、カメラパラメータの取得方法であって、
距離画像センサと、
少なくとも１つのカメラと、
前記距離画像センサにより取得した対象の距離画像に基づいて、当該対象の複数の３Ｄ関節位置を取得する関節位置推定手段と、
を備えたシステムにおいて、
前記距離画像と前記ＲＧＢ画像は同期して取得されており、
前記関節位置推定手段により取得された各３Ｄ関節位置に対応するカメラ画像上の２Ｄ関節位置が得られており、
前記関節位置推定手段により取得された複数の３Ｄ関節位置のセットと、前記３Ｄ関節位置のセットの各３Ｄ関節位置に対応するカメラ画像上の２Ｄ関節位置のセットと、を用いて、前記カメラのカメラパラメータを取得する。
本手法では、いわば人体を校正用の治具として用いることにより、従来の光学式モーションキャプチャで用いていた校正用の治具を必要としない。
１つの態様では、カメラパラメータは、DLT(Direct linear Transformation)法を用いて取得される。
距離画像センサと、
少なくとも１つのカメラと、
前記距離画像センサにより取得した対象の距離画像に基づいて、当該対象の複数の３Ｄ関節位置を取得する関節位置推定手段と、
を備えたシステムにおいて、
前記距離画像と前記ＲＧＢ画像は同期して取得されており、
前記関節位置推定手段により取得された各３Ｄ関節位置に対応するカメラ画像上の２Ｄ関節位置が得られており、
前記関節位置推定手段により取得された複数の３Ｄ関節位置のセットと、前記３Ｄ関節位置のセットの各３Ｄ関節位置に対応するカメラ画像上の２Ｄ関節位置のセットと、を用いて、前記カメラのカメラパラメータを取得する。
本手法では、いわば人体を校正用の治具として用いることにより、従来の光学式モーションキャプチャで用いていた校正用の治具を必要としない。
１つの態様では、カメラパラメータは、DLT(Direct linear Transformation)法を用いて取得される。
【発明の効果】
【0015】
本発明では、距離画像に基づいて推定された３Ｄ関節位置の精度を、カラー画像に基づいて推定された２Ｄ関節位置を用いて補正することで、距離画像方式を用いて推定された関節位置の精度を高める。
【図面の簡単な説明】
【0016】
【図1】本実施形態に係る関節位置取得装置の全体図である。
【図2】本実施形態に係る関節位置取得装置のハードウェア構成を示す図である。
【図3】本実施形態に係る複合センサの座標系の関係を示す図である。
【図4】本実施形態に係るカメラパラメータの取得を説明する図である。
【図5】本実施形態に係る関節３Ｄ位置の推定ステップを示す図である。
【図6】本実施形態に係る関節２Ｄ位置の推定ステップを示す図である。
【図7】他の実施形態に係る関節位置取得を説明する図である。
【発明を実施するための形態】
【0017】
［Ａ］関節位置取得装置の全体構成
図１に示すように、本実施形態に係る関節位置取得装置は、対象の深度画像（距離画像）を取得する距離画像センサと、対象のカラー画像（ＲＧＢ画像）を取得するビデオカメラ（ＲＧＢカメラ）と、距離画像センサにより取得した対象の深度画像に基づいて、対象の３Ｄ関節位置を取得する３Ｄ関節位置推定手段と、ビデオカメラにより取得した対象のカラー画像（ＲＧＢ画像）に基づいて、対象の２Ｄ関節位置を取得するポーズ推定手段（２Ｄ関節位置推定手段）と、を備えている。本実施形態では、距離画像センサとビデオカメラは一体型で複合センサを構成しているが、距離画像センサとビデオカメラが別体として提供されてもよい。
図１に示すように、本実施形態に係る関節位置取得装置は、対象の深度画像（距離画像）を取得する距離画像センサと、対象のカラー画像（ＲＧＢ画像）を取得するビデオカメラ（ＲＧＢカメラ）と、距離画像センサにより取得した対象の深度画像に基づいて、対象の３Ｄ関節位置を取得する３Ｄ関節位置推定手段と、ビデオカメラにより取得した対象のカラー画像（ＲＧＢ画像）に基づいて、対象の２Ｄ関節位置を取得するポーズ推定手段（２Ｄ関節位置推定手段）と、を備えている。本実施形態では、距離画像センサとビデオカメラは一体型で複合センサを構成しているが、距離画像センサとビデオカメラが別体として提供されてもよい。
【0018】
深度画像とＲＧＢ画像は同期して取得されており、したがって、３Ｄ関節位置推定手段により取得された３Ｄ関節位置と、ポーズ推定手段（２Ｄ関節位置推定手段）により取得された２Ｄ関節位置と、は同期している。本実施形態に係る関節位置取得手段は、３Ｄ関節位置推定手段、２Ｄ関節位置推定手段に加えて、さらに、２Ｄ関節位置推定手段により取得された２Ｄ関節位置を用いて、３Ｄ関節位置取得手段により取得された３Ｄ関節位置を補正する手段を備えており、３Ｄ関節位置補正手段によって、補正後の３Ｄ関節位置が取得されて出力される。
【0019】
図２に示すように、本実施形態に係る３Ｄ関節位置推定手段、２Ｄ関節位置推定手段、関節位置補正手段は、メモリとプロセッサを備えたコンピュータから構成することができる。コンピュータは、距離画像センサ及びビデオカメラと一体型であっても、あるいは、クラウドベースであってもよい。メモリには、深度カメラ（距離画像センサ）によって取得された深度画像（距離画像）、及び、ＲＧＢカメラによって取得されたＲＧＢ画像が記憶される。深度画像データ及びＲＧＢ画像データは時系列データであり、同期されて記憶されている。
【0020】
メモリには、深度画像に基づいて３Ｄ関節位置を推定する３Ｄ関節位置推定プログラムが格納されており、３Ｄ関節位置プログラムがプロセッサによって実行されることで、３Ｄ関節位置が推定される。推定された３Ｄ関節位置はメモリに記憶される。
【0021】
メモリには、ＲＧＢ画像に基づいて２Ｄ関節位置を推定する２Ｄ関節位置推定プログラムが格納されており、２Ｄ関節位置プログラムがプロセッサによって実行されることで、２Ｄ関節位置が推定される。推定された２Ｄ関節位置はメモリに記憶される。
【0022】
メモリには、ポーズ推定手段（２Ｄ関節位置推定手段）により取得された２Ｄ関節位置を用いて、３Ｄ関節位置取得手段により取得された３Ｄ関節位置を補正する関節位置補正プログラムが格納されており、関節位置補正プログラムがプロセッサに実行されることで、補正された３Ｄ関節位置が取得される。
【0023】
メモリには、骨格モデルが格納されており、取得された関節位置を骨格モデルで表現した対象のポーズがディスプレイに表示される。骨格モデルを用いた対象のポーズは、対象のＲＧＢ画像にオーバレイされて、ディスプレイに表示されてもよい。関節位置は時系列データとして取得され、骨格モデルを用いて、対象の運動データをディスプレイに表示してもよい。メモリには、所定の３次元動作解析プログラムが格納されており、運動データを用いて、プロセッサによって３次元動作解析プログラムを実行することで、３次元動作解析が実行される。解析結果を、所定の形式でディスプレイに表示してもよい。また、各関節の３Ｄ座標を取得した際に、プロセッサによって、各関節間の距離を算出し、算出した関節間距離をメモリに記憶してもよい。
【0024】
［Ｂ］複合センサ・システム
本実施形態における関節位置取得装置は、距離画像センサとＲＧＢカメラが一体となった複合センサを備えており、この複合センサと３Ｄ関節位置推定手段とから複合センサ・システムが構成されており、複合センサの距離画像センサを用いて取得した深度画像に基づいて対象の３Ｄ関節位置（骨格情報）が推定される。このような複合センサ・システムの代表例として、kinect（登録商標）を挙げることができる。Kinectは赤外線投光器、奥行カメラ、カラー画像カメラから複合センサが構成されており、赤外線投光器と赤外線カメラから距離画像センサ（深度センサ）が構成されている。
本実施形態における関節位置取得装置は、距離画像センサとＲＧＢカメラが一体となった複合センサを備えており、この複合センサと３Ｄ関節位置推定手段とから複合センサ・システムが構成されており、複合センサの距離画像センサを用いて取得した深度画像に基づいて対象の３Ｄ関節位置（骨格情報）が推定される。このような複合センサ・システムの代表例として、kinect（登録商標）を挙げることができる。Kinectは赤外線投光器、奥行カメラ、カラー画像カメラから複合センサが構成されており、赤外線投光器と赤外線カメラから距離画像センサ（深度センサ）が構成されている。
【0025】
Kinectにはビデオカメラ（ＲＧＢカメラ）が搭載されており、ＲＧＢカメラにより対象のカラー画像を取得できるようになっている。カラーカメラにより取得されるＲＧＢ画像は、２次元画像上の位置情報（ピクセル位置情報）と、各ピクセルが有する色情報（ＲＧＢ値）を備えている。
【0026】
Kinectには距離画像センサ（深度センサ）が搭載されており、距離情報（深度情報）を取得できる。Kinect v1では、Light Coding方式（US8493496B2参照）の深度センサを採用していた。Kinect v2では、Time of Flight（ToF）方式の深度センサを採用している。距離画像センサにより取得される深度画像は、２次元画像上の位置情報（ピクセル位置情報）と、各ピクセルに対応する深さ情報（奥行情報）を備えている。距離画像センサの距離画像データは、画像の二次元位置(u, v)を決めると、その光軸上の奥行きの値(L)を得られる画像(u, v, L)が得られる。
【0027】
Kinectは取得した距離画像に基づいて人物領域を取得し、人物領域の距離情報を識別器に入力することで関節位置を推定する３Ｄ関節位置推定手段を備えている。距離画像に基づいて、３Ｄ関節位置推定手段により取得された関節位置は、３次元座標を備えている。出力された関節情報は、関節の種類と関節の位置を表す３次元座標である。距離画像センサから出力される関節位置は、例えば、膝関節（X=20.00, Y=15.00, Z=800.20）というような関節と座標値の組み合わせデータである。
【0028】
複合センサにおいて、距離画像センサにより取得された距離画像とビデオカメラにより取得されたカラー画像は同期しており、同時刻ｔにおいて、距離画像、カラー画像、３Ｄ関節座標が得られる。カラー画像はカラー画像の座標系（ColorSapce）によって規定され、距離画像は距離画像の座標系（DepthSpace）によって規定され、３Ｄ関節位置は、距離画像センサを原点とする3次元座標系（CameraSpace）によって規定される。距離画像の２Ｄ座標と距離画像に基づいて推定された３Ｄ座標は対応しており、また、カラーカメラの２Ｄ画像（人物）と距離画像の２Ｄ画像（人物領域）の相互変換を行える関数が用意されている（図３参照）。Kinectでは、カラー画像（Color座標系）上に関節位置（Camera座標系）を描画する機能が搭載されており、距離画像に基づいて推定された３Ｄ関節位置をカラーカメラの２Ｄ関節位置に変換することが可能となっている。カラー画像上において、関節位置は、例えば、色付き丸で表示される。なお、カラー画像の任意の２Ｄの位置に対応する３Ｄの位置の関係を取得する変換関数が利用可能となっているわけではないことに留意されたい。
【0029】
［Ｃ］３Ｄ関節位置推定
図５を参照しつつ、本実施形態に係る３Ｄ関節位置の推定ステップについて説明する。距離画像センサによって深度画像を取得する。取得した深度画像に基づいて、３Ｄ関節位置推定手段によって、３Ｄ関節座標を推定する。３Ｄ関節位置推定手段は、深度データ（距離画像データ）に基づいて人物領域を取得し、学習済モデルからなる識別器に人物領域の距離情報を入力することで関節位置を推定する。コンピュータのメモリには、対象の深度データに基づいて当該対象の３Ｄ関節位置を推定するプログラムが格納されており、当該プログラムがプロセッサに実行されることで、対象の３Ｄ関節位置を推定して出力する。対象の深度画像に基づいて、対象の関節の３次元座標値を推定すること自体は公知であり、特許文献１～３や非特許文献１にも記載されている。
図５を参照しつつ、本実施形態に係る３Ｄ関節位置の推定ステップについて説明する。距離画像センサによって深度画像を取得する。取得した深度画像に基づいて、３Ｄ関節位置推定手段によって、３Ｄ関節座標を推定する。３Ｄ関節位置推定手段は、深度データ（距離画像データ）に基づいて人物領域を取得し、学習済モデルからなる識別器に人物領域の距離情報を入力することで関節位置を推定する。コンピュータのメモリには、対象の深度データに基づいて当該対象の３Ｄ関節位置を推定するプログラムが格納されており、当該プログラムがプロセッサに実行されることで、対象の３Ｄ関節位置を推定して出力する。対象の深度画像に基づいて、対象の関節の３次元座標値を推定すること自体は公知であり、特許文献１～３や非特許文献１にも記載されている。
【0030】
［Ｄ］２Ｄ関節位置推定
図６を参照しつつ、本実施形態に係る２Ｄ関節位置の推定ステップについて説明する。ＲＧＢカメラによってＲＧＢ画像を取得する。取得したＲＧＢ画像に基づいて、２Ｄ関節位置推定手段によって、２Ｄ関節座標を推定する。２Ｄ関節位置推定手段は、深層学習によって、単一のＲＧＢ画像から人間の姿を見つけ関節位置の確からしさを表すヒートマップを生成することで関節位置を推定する。コンピュータのメモリには、対象のＲＧＢ画像に基づいて当該対象のポーズ（２Ｄ関節位置）を推定するプログラムが格納されており、当該プログラムがプロセッサに実行されることで、対象の２Ｄ関節位置を推定して出力する。１枚のカラー画像に基づいて対象のポーズ（関節の２次元座標値）を推定すること自体は公知である。１つの代表的な研究がOpenPose（Openpose. https://github.com/CMU-Perceptual-Computing-Lab/open）である。OpenPoseでは１枚のRGB 画像から手首や肩といった複数人の特徴点(keypoints)の推定をリアルタイムに行うことができる。各関節位置（特徴点）のヒートマップ（OpenPoseにおけるPCM）を取得する手法としては様々な手法が提案されている。
図６を参照しつつ、本実施形態に係る２Ｄ関節位置の推定ステップについて説明する。ＲＧＢカメラによってＲＧＢ画像を取得する。取得したＲＧＢ画像に基づいて、２Ｄ関節位置推定手段によって、２Ｄ関節座標を推定する。２Ｄ関節位置推定手段は、深層学習によって、単一のＲＧＢ画像から人間の姿を見つけ関節位置の確からしさを表すヒートマップを生成することで関節位置を推定する。コンピュータのメモリには、対象のＲＧＢ画像に基づいて当該対象のポーズ（２Ｄ関節位置）を推定するプログラムが格納されており、当該プログラムがプロセッサに実行されることで、対象の２Ｄ関節位置を推定して出力する。１枚のカラー画像に基づいて対象のポーズ（関節の２次元座標値）を推定すること自体は公知である。１つの代表的な研究がOpenPose（Openpose. https://github.com/CMU-Perceptual-Computing-Lab/open）である。OpenPoseでは１枚のRGB 画像から手首や肩といった複数人の特徴点(keypoints)の推定をリアルタイムに行うことができる。各関節位置（特徴点）のヒートマップ（OpenPoseにおけるPCM）を取得する手法としては様々な手法が提案されている。
【0031】
１枚のＲＧＢ画像から関節位置を推定するポーズ推定は、商業ベースでも利用可能であるが（例えば、https://www.next-system.com/visionpose）、商業ベースでは、深度センサに依存した関節位置推定手段を搭載した製品と、カメラ画像からの関節位置推定手段を搭載した製品とは、どちらかというと競合製品として捉えられている。
【0032】
［Ｅ］関節位置補正手段
［Ｅ－１］
一般に、距離画像方式を用いたマーカレス・モーションキャプチャ（特に、低価格タイプのもの）は、赤外線反射方式の光学式マーカを用いた三次元動作分析装置に比べて、関節位置の推定精度が落ちる傾向があり、リハビリテーションにおける三次元動作分析装置として利用するためにはより高い精度が望ましい。本実施形態では、距離画像センサ（深度カメラ）とカラーカメラとを備えた複合センサを搭載した比較的低価格の製品が存在することに着目し、距離画像センサから推定された３Ｄ関節位置を、カメラ画像から推定された２Ｄ関節位置を用いて補正することを考えた。なお、距離画像センサとカラーカメラとを備えた複合センサは１つの実施態様であり、独立した距離画像センサとカラーカメラを用いてもよい。
［Ｅ－１］
一般に、距離画像方式を用いたマーカレス・モーションキャプチャ（特に、低価格タイプのもの）は、赤外線反射方式の光学式マーカを用いた三次元動作分析装置に比べて、関節位置の推定精度が落ちる傾向があり、リハビリテーションにおける三次元動作分析装置として利用するためにはより高い精度が望ましい。本実施形態では、距離画像センサ（深度カメラ）とカラーカメラとを備えた複合センサを搭載した比較的低価格の製品が存在することに着目し、距離画像センサから推定された３Ｄ関節位置を、カメラ画像から推定された２Ｄ関節位置を用いて補正することを考えた。なお、距離画像センサとカラーカメラとを備えた複合センサは１つの実施態様であり、独立した距離画像センサとカラーカメラを用いてもよい。
【0033】
本実施形態に係る複合センサ（距離画像センサ、ＲＧＢカメラ）には、距離画像センサを中心とした座標系と、ＲＧＢカメラを中心とした座標系がある。距離画像センサによって取得された距離画像は距離画像センサの２Ｄ座標系によって規定され、ＲＧＢカメラによって取得されたカラー画像は、ＲＧＢカメラの２Ｄ座標系によって規定される。距離画像に基づいて推定された３Ｄ関節位置は、距離画像センサの３Ｄ座標系によって規定される。距離画像センサの２Ｄ座標系とＲＧＢカメラの２Ｄ座標系の変換情報は予め得られており、変換可能となっている。すなわち、距離画像上の任意の点（x,y,奥行値）の座標(x,y)とカラー画像上の任意の点（u,v,RGB値）の座標(u,v)が変換可能となっている。また、距離画像センサの２Ｄ座標系と３Ｄ座標系は変換可能となっている。すなわち、距離画像から推定された関節位置の３Ｄ座標（x,y,z）に対応する距離画像上の座標(x,y)が取得可能となっている。
【0034】
この状況において、カラー画像上の任意の２Ｄ位置に対応する距離画像センサの３Ｄ座標系における３Ｄ位置を得ることができれば、２Ｄ関節位置推定手段で推定したカラー画像上の２関節位置を、距離画像センサの３Ｄ座標系における３Ｄ位置に変換することが可能となる。本実施形態では、DLT(Direct linear Transformation)法を用いて、変換行列を取得する。DLT法は当業者に良く知ら得ており、また、特許文献４にも記載されている。
【0035】
［Ｅ－２］カラーカメラのカメラパラメータの取得
距離画像センサとカラーカメラとを備えた複合センサにおいて、カラーカメラの2D座標系と3D座標系の対応関係は提供されていないが、対象の身体の複数の関節について、各フレームにおいて、距離画像に基づいて推定された関節の３Ｄ座標に対応するカラーカメラ画像上の関節の２Ｄ位置が得られるので、DLT(Direct linear Transformation)法を用いることで変換パラメータを得ることができる（図４）。具体的な手順は下の通りである。
距離画像センサとカラーカメラとを備えた複合センサにおいて、カラーカメラの2D座標系と3D座標系の対応関係は提供されていないが、対象の身体の複数の関節について、各フレームにおいて、距離画像に基づいて推定された関節の３Ｄ座標に対応するカラーカメラ画像上の関節の２Ｄ位置が得られるので、DLT(Direct linear Transformation)法を用いることで変換パラメータを得ることができる（図４）。具体的な手順は下の通りである。
【0036】
三次元空間における特徴点iの３次元座標値(Xi,Yi,Zi)とする。また、対応する特徴点の２次元座標値を(ui,vi)とするとき、カメラパラメータA1,A2,A3,A4,B1,B2,B3,B4,C1,C2,C3は下のように計算できる。
一番左の行列をＡとおき、二番目の列ベクトルをＢ、一番右の列ベクトルをＣおくと、A1,A2,A3,A4,B1,B2,B3,B4,C1,C2,C3を要素に含むベクトルＢは、
の式で計算される。この計算によって、以降ではこのカメラパラメータＢを利用することで、３次元座標系からカラーカメラ座標系への変換が可能となる。
【0037】
式（１）は、特徴点の２次元座標値を(u1,v１)について、
A1X1+A2Y1+A3Z1+A4+C1u1X1+C2u1Y1+C3u1Z1=u1
B1X1+B2Y1+B3Z1+B4+C1v1X1+C2v1Y1+C3v1Z1=v1
と書くことができ、さらに、
u1-A4=X1(A1+C1u1)+Y1(A2+C2u1)+Z1(A3+C3u1) (2)
v1-B4=X1(B1+C1v1)+Y1(B2+C2v1)+Z1(B3+C3v1) (3)
と書くことができる。
A1X1+A2Y1+A3Z1+A4+C1u1X1+C2u1Y1+C3u1Z1=u1
B1X1+B2Y1+B3Z1+B4+C1v1X1+C2v1Y1+C3v1Z1=v1
と書くことができ、さらに、
u1-A4=X1(A1+C1u1)+Y1(A2+C2u1)+Z1(A3+C3u1) (2)
v1-B4=X1(B1+C1v1)+Y1(B2+C2v1)+Z1(B3+C3v1) (3)
と書くことができる。
【0038】
関節位置取得システムにおいて、距離画像センサとカラーカメラが独立している場合には、距離画像センサに基づいて推定された３Ｄ関節座標値に対応するカラーカメラ画像上の２Ｄ関節位置は得られていない。そのため、距離画像センサとカラーカメラを同期させて対象の運動計測を行い、複数フレームにおける距離画像に基づいて推定された３Ｄ関節座標値と、カラー画像に基づいて推定された２Ｄ関節座標値の対応関係をそれぞれ（x, y, z）と(u, v)として用いて、カメラパラメータを取得する。
【0039】
一般的に、光学式モーションキャプチャではカメラパラメータを作成する際に校正用の治具（例えば、赤外線反射マーカ等の特徴点を備えたワンド）を用いる。それに対して、本手法におけるカメラパラメータの決定方法は、治具上の特徴点に代えて、人体の関節位置を特徴点とするものであり、校正用の治具を用いる必要がない。計測前に人体（動作計測の被験者あるいは校正用の人間）を用いてカメラパラメータの取得を行うことで、校正用の治具を必要とせず、また、動作計測時に人体を用いてカメラパラメータの取得を行えば、校正用の治具が必要ないことに加えて、校正の時間も必要なくなる。また、カラー画像から校正用の治具の２D位置（特徴点の位置）を取得するためには、校正用の治具の特徴点を検出するための手法（アルゴリズム）を別途用意する必要が生じるが、本手法では、追加の手法（アルゴリズム）が不要である。従って、このカメラパラメータ決定手法は、校正のためのコストを抑えることができるという有利な点を備えている。
【0040】
［Ｅ－３］関節位置補正手段（第１実施形態）
第１実施形態では、カラー画像に基づいて推定された２Ｄ関節位置を用いて計算される光軸と距離画像に基づいて推定された３Ｄ関節位置との最小距離を用いることにより、関節位置を補正する。
第１実施形態では、カラー画像に基づいて推定された２Ｄ関節位置を用いて計算される光軸と距離画像に基づいて推定された３Ｄ関節位置との最小距離を用いることにより、関節位置を補正する。
【0041】
目的とする関節の３Ｄ座標値をX,Y,Zとすると、
カラーカメラのカメラパラメータA1,A2,A3,A4,B1,B2,B3,B4,C1,C2,C3、
カラー画像に基づいて推定された２Ｄ関節位置U,V、
距離画像に基づいて推定された３Ｄ関節位置Xr,Yr,Zr、に対して、
とおくと、式（２）、（３）の光軸の式は、
となり、これらの式から、
が導出できる。
カラーカメラのカメラパラメータA1,A2,A3,A4,B1,B2,B3,B4,C1,C2,C3、
カラー画像に基づいて推定された２Ｄ関節位置U,V、
距離画像に基づいて推定された３Ｄ関節位置Xr,Yr,Zr、に対して、
【0042】
間接の補正後の３Ｄ座標値を(X,Y,Z)とすると、距離rに対して
となり、距離が最小という拘束条件として
として計算すると
となり、これらの値を補正後の関節座標値とする。
【0043】
［Ｅ－４］関節位置補正手段（第２実施形態）
第２実施形態では、同一体節上の２つの関節に着目し、第１関節の３Ｄ関節位置が得られており、かつ、関節間の距離が得られている場合に、カラー画像に基づいて推定された第２関節の２Ｄ関節位置とカメラパラメータから取得した光軸に対して、関節間の距離が一定という性質を利用して、距離画像に基づいて推定された第２関節の３Ｄ関節位置を補正して、第２関節の３Ｄ関節位置を取得する。
第２実施形態では、同一体節上の２つの関節に着目し、第１関節の３Ｄ関節位置が得られており、かつ、関節間の距離が得られている場合に、カラー画像に基づいて推定された第２関節の２Ｄ関節位置とカメラパラメータから取得した光軸に対して、関節間の距離が一定という性質を利用して、距離画像に基づいて推定された第２関節の３Ｄ関節位置を補正して、第２関節の３Ｄ関節位置を取得する。
【0044】
第２実施形態に係る関節位置補正手段が実行される前に、関節間距離が取得されている必要がある。関節間距離は、R1～RL（Lはリンク数）として記憶部に格納される。各関節の３Ｄ関節位置が得られれば、関節間距離を算出することができる。関節間距離は、例えば、初期設定として、立位（例えばＴポーズ）の対象の距離画像に基づいて３Ｄ関節位置推定手段により推定された３Ｄ関節位置を用いて、各関節間距離を計算してもよく、あるいは、第１実施形態に係る関節位置補正手段による補正後の３Ｄ関節位置を用いて、各関節間距離を計算してもよい。また、対象について算出された各関節間距離を記憶部に格納しておくことで、当該対象の次回の動作計測に用いてもよい。
【0045】
目的とする関節の３Ｄ座標値をX,Y,Zとすると、
カラーカメラのカメラパラメータA1,A2,A3,A4,B1,B2,B3,B4,C1,C2,C3、
カラー画像に基づいて推定された２Ｄ関節位置U,V、
距離画像に基づいて推定された３Ｄ関節位置Xr,Yr,Zr、に対して
とおき、
同一体節上の関節Ａ、関節Ｂについて考え、関節Ａ、関節Ｂに対応する添え字を、それぞれA、Bとすると、上記式において、P1A～Q4Bは、A1+UAC1=P1A、・・・VB-B4=Q4Bとなる）。
光軸の式は
となる。
カラーカメラのカメラパラメータA1,A2,A3,A4,B1,B2,B3,B4,C1,C2,C3、
カラー画像に基づいて推定された２Ｄ関節位置U,V、
距離画像に基づいて推定された３Ｄ関節位置Xr,Yr,Zr、に対して
同一体節上の関節Ａ、関節Ｂについて考え、関節Ａ、関節Ｂに対応する添え字を、それぞれA、Bとすると、上記式において、P1A～Q4Bは、A1+UAC1=P1A、・・・VB-B4=Q4Bとなる）。
光軸の式は
【0046】
関節Ａのカラー画像上の２Ｄ関節位置(UA,VA)と世界座標系における３Ｄ関節位置(XA,YA,ZA)、関節Ｂのカラー画像上の２Ｄ関節位置(UB,VB)と世界座標系における３Ｄ関節位置(XB,YB,ZB)について考える。
【0047】
関節Ａの座標値(UA,VA)、座標値(XA,YA,ZA)は得られているものとして扱う。１つの態様では、座標値(XA,YA,ZA)はkinectにより距離画像に基づいて推定された関節Ａの３Ｄ関節位置であり、座標値(UA,VA)はkinectにより推定された関節Ａの３Ｄ関節位置に対応するカメラ画像上の２Ｄ関節位置である。あるいは、座標値(UA,VA)は２Ｄ関節位置推定手段（例えば、VisionPose）によって推定された関節Ａの２Ｄ関節位置、座標値(XA,YA,ZA)は第１実施形態に係る手法により得られた関節Ａの補正後の３Ｄ関節位置である。
【0048】
関節Ｂの座標値(UB,VB)は得られているものして扱い、座標値(XB,YB,ZB)を求めるものとする。関節Ｂの座標値(UB,VB)は、２Ｄ関節位置推定手段（例えば、VisionPose）によって推定された関節Ｂの２Ｄ関節位置である。本実施形態では、関節Ｂの３Ｄ座標位置は、kinectにより距離画像に基づいて推定されているが、関節Ｂの推定された３Ｄ座標位置を補正する値として、座標値(XB,YB,ZB)を求める。より具体的には、第２実施形態では、関節Ａの３Ｄ関節位置(XA,YA,ZA)、関節Ａと関節Ｂの関節間距離、関節Ｂの２Ｄ関節位置(UB,VB)、カメラパラメータを用いて、関節Ｂの座標値(XB,YB,ZB)を求める。
【0049】
上記光軸を変形して、
とおくと、関節Ｂの座標値(XB,YB,ZB)について、以下の式が得られる。
【0050】
同一体節上の関節間距離をRiとおくと、座標値(XA,YA,ZA)と光軸の距離は次の式のようになる。
この式はZについての二次方程式なので解の公式を使って計算を実行し、
とすると、
となる。ここで、関節Ｂの３Ｄ関節位置候補が２つ得られるが、距離画像に基づいて推定された関節Ｂの３Ｄ関節位置からの距離が近い候補を、関節Ｂの３Ｄ関節位置(XB,YB,ZB)として決定する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】