特開2023-47580測距用治具、当該治具を用いた測距方法及び座標取得方法、距離画像センサーと他の計測システムの座標合わせシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023047580
(43)【公開日】2023-04-06
(54)【発明の名称】測距用治具、当該治具を用いた測距方法及び座標取得方法、距離画像センサーと他の計測システムの座標合わせシステム
(51)【国際特許分類】
G01C 15/06 20060101AFI20230330BHJP
G01C 15/00 20060101ALI20230330BHJP
G01C 3/06 20060101ALI20230330BHJP
【ＦＩ】
G01C15/06 T
G01C15/00 103Z
G01C3/06 120Z
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2021156560
(22)【出願日】2021-09-27
(71)【出願人】
【識別番号】000101558
【氏名又は名称】アニマ株式会社
(74)【代理人】
【識別番号】100103137
【弁理士】
【氏名又は名称】稲葉 滋
(74)【代理人】
【識別番号】100145838
【弁理士】
【氏名又は名称】畑添 隆人
(72)【発明者】
【氏名】牛久保 智宏
【テーマコード（参考）】
2F112
【Ｆターム（参考）】
2F112AD10
2F112BA07
2F112CA12
2F112FA35
(57)【要約】
【課題】
距離画像センサーを使用した動作分析システムと、他の計測システム（圧力分布シートが例示される）の座標合わせを実現する。
【解決手段】
中央の第１反射面６と、第１反射面６を囲むように設けた第２反射面７と、からなるターゲット面を備え、第２反射面７は、赤外線反射材料から形成されている、赤外線を利用した距離画像センサーと共に用いられる測距用治具。ターゲット面の中点が測距ターゲットである。
【選択図】図２
距離画像センサーを使用した動作分析システムと、他の計測システム（圧力分布シートが例示される）の座標合わせを実現する。
【解決手段】
中央の第１反射面６と、第１反射面６を囲むように設けた第２反射面７と、からなるターゲット面を備え、第２反射面７は、赤外線反射材料から形成されている、赤外線を利用した距離画像センサーと共に用いられる測距用治具。ターゲット面の中点が測距ターゲットである。
【選択図】図２
【特許請求の範囲】
【請求項1】
中央の第１反射面と、前記第１反射面を囲むように設けた第２反射面と、からなるターゲット面を備え、
前記第２反射面は、赤外線反射材料から形成されている、
赤外線を利用した距離画像センサーと共に用いられる測距用治具。
前記第２反射面は、赤外線反射材料から形成されている、
赤外線を利用した距離画像センサーと共に用いられる測距用治具。
【請求項2】
前記ターゲット面及び前記第１反射面は同心円であり、前記第２反射面はリング状である、
請求項１に記載の測距用治具。
請求項１に記載の測距用治具。
【請求項3】
前記ターゲット面の向きが可変である、
請求項１、２いずれか１項に記載の測距用治具。
請求項１、２いずれか１項に記載の測距用治具。
【請求項4】
カメラと、赤外線を利用した距離画像センサーと、測距用治具と、を用いた測距方法であって、
前記測距用治具は、
中央の第１反射面と、前記第１反射面を囲むように設けた第２反射面と、からなるターゲット面を備え、
前記第２反射面は、赤外線反射材料から形成されており、
前記カメラにより取得した画像に基づく画像処理によって、前記ターゲット面の領域を検出し、前記第１反射面上の特定点を検出すること、
前記距離画像センサーから照射された赤外線を用いて、前記第１反射面上の前記特定点までの距離を取得すること、
を含む測距方法。
前記測距用治具は、
中央の第１反射面と、前記第１反射面を囲むように設けた第２反射面と、からなるターゲット面を備え、
前記第２反射面は、赤外線反射材料から形成されており、
前記カメラにより取得した画像に基づく画像処理によって、前記ターゲット面の領域を検出し、前記第１反射面上の特定点を検出すること、
前記距離画像センサーから照射された赤外線を用いて、前記第１反射面上の前記特定点までの距離を取得すること、
を含む測距方法。
【請求項5】
前記画像処理は、
位置・姿勢が固定されたカメラで、所定位置に設置された測距用治具を含む第１画像を取得すること、
前記カメラで、前記測距用治具を設置しない状態で第２画像を取得すること、
前記第１画像と前記第２画像の輝度の差分に基づいて、前記ターゲット面の領域を検出し、前記第１反射面上の特定点を検出すること、
からなる、
請求項４に記載の測距方法。
位置・姿勢が固定されたカメラで、所定位置に設置された測距用治具を含む第１画像を取得すること、
前記カメラで、前記測距用治具を設置しない状態で第２画像を取得すること、
前記第１画像と前記第２画像の輝度の差分に基づいて、前記ターゲット面の領域を検出し、前記第１反射面上の特定点を検出すること、
からなる、
請求項４に記載の測距方法。
【請求項6】
前記特定点は、前記ターゲット面の中心である、
請求項４、５いずれか１項に記載の測距方法。
請求項４、５いずれか１項に記載の測距方法。
【請求項7】
前記カメラは、赤外線カメラである、
請求項４～６いずれか１項に記載の測距方法。
請求項４～６いずれか１項に記載の測距方法。
【請求項8】
前記距離画像センサーにより取得した深度画像の3D座標値(U,V,D)が３次元座標系の3D座標値(X,Y,Z)へ変換可能となっており、
前記距離画像センサー及び前記測距方法を用いて、前記ターゲット面上の前記特定点の深度画像上の3D座標値(U,V,D)を取得し、
前記3D座標値(U,V,D)に対応する３次元座標系の3D座標値(X,Y,Z)を取得する、
請求項４～７いずれか１項に記載の測距方法を用いたターゲット上の特定点の座標値の取得方法。
前記距離画像センサー及び前記測距方法を用いて、前記ターゲット面上の前記特定点の深度画像上の3D座標値(U,V,D)を取得し、
前記3D座標値(U,V,D)に対応する３次元座標系の3D座標値(X,Y,Z)を取得する、
請求項４～７いずれか１項に記載の測距方法を用いたターゲット上の特定点の座標値の取得方法。
【請求項9】
赤外線を利用した距離画像センサーを備えた第１計測システムと、第２計測システムと、を備えた複合計測システムにおける座標合わせシステムであって、
前記座標合わせシステムは、前記第２計測システムの所定位置に着脱可能に設置される３つの校正用治具と、カメラと、を備え、
各校正用治具は、
中央の第１反射面と、前記第１反射面を囲むように設けた第２反射面と、からなるターゲット面を備え、
前記第２反射面は、赤外線反射材料から形成されており、
前記第１反射面上の特定点がターゲットとなっており、
前前記３つの校正用治具は、前記第２計測システムにおいて、第１ターゲット、第２ターゲット、第３ターゲットが不等辺三角形の頂点となるような位置関係で設置されており、
前記第１計測システムにおいて、前記距離画像センサーにより取得した深度画像の3D座標値(U,V,D)が第１座標系の3D座標値(X,Y,Z)へ変換可能となっており、
前記座標合わせシステムは、処理部と、記憶部と、を備え、
前記記憶部には、第１計測システムの第１座標系と第２計測システムの第２座標系を座標合わせした時の距離画像センサーの第１座標系(X,Y,Z)における各ターゲットの参照座標値が格納されており、
前記処理部は、
前記カメラにより取得した画像に基づく画像処理によって、前記ターゲット面の領域を検出し、前記第１反射面上の特定点をターゲットとして検出し、
前記距離画像センサーを用いて、各ターゲットの第１座標系上の測定座標値(X,Y,Z)を取得し、
各ターゲットの測定座標値と参照座標値を対応させ、前記測定座標値を前記参照座標値と一致させるような変換式を取得するように、構成されている、
座標合わせシステム。
前記座標合わせシステムは、前記第２計測システムの所定位置に着脱可能に設置される３つの校正用治具と、カメラと、を備え、
各校正用治具は、
中央の第１反射面と、前記第１反射面を囲むように設けた第２反射面と、からなるターゲット面を備え、
前記第２反射面は、赤外線反射材料から形成されており、
前記第１反射面上の特定点がターゲットとなっており、
前前記３つの校正用治具は、前記第２計測システムにおいて、第１ターゲット、第２ターゲット、第３ターゲットが不等辺三角形の頂点となるような位置関係で設置されており、
前記第１計測システムにおいて、前記距離画像センサーにより取得した深度画像の3D座標値(U,V,D)が第１座標系の3D座標値(X,Y,Z)へ変換可能となっており、
前記座標合わせシステムは、処理部と、記憶部と、を備え、
前記記憶部には、第１計測システムの第１座標系と第２計測システムの第２座標系を座標合わせした時の距離画像センサーの第１座標系(X,Y,Z)における各ターゲットの参照座標値が格納されており、
前記処理部は、
前記カメラにより取得した画像に基づく画像処理によって、前記ターゲット面の領域を検出し、前記第１反射面上の特定点をターゲットとして検出し、
前記距離画像センサーを用いて、各ターゲットの第１座標系上の測定座標値(X,Y,Z)を取得し、
各ターゲットの測定座標値と参照座標値を対応させ、前記測定座標値を前記参照座標値と一致させるような変換式を取得するように、構成されている、
座標合わせシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、距離画像センサーを用いた動作計測システムと他の計測システムの座標合わせに関するものである。
【背景技術】
【0002】
スポーツやリハビリテーションの分野では、被験者の運動を記録・分析するために、モーションキャプチャを用いた３次元動作解析が行われる。モーションキャプチャ技術としては、従来より、光学式モーションキャプチャや慣性センサーを用いたモーションキャプチャが知られているが、近年、マーカーや慣性センサーを用いることがない、いわゆるマーカレス・モーションキャプチャが登場してきた。マーカレス・モーションキャプチャとしては、例えば、赤外線やLiDAR（Light Detection and Ranging）を用いて、TOF（Time Of Flight）方式で１枚の距離画像（深度画像）を取得し、取得した１枚の深度画像から関節位置を推定する手法が知られている（非特許文献１）。また、距離画像に基づいた骨格情報推定については、例えば、特許文献１～３にも記載されている。近年、距離画像方式を採用した比較的安価なモーションキャプチャが市場に登場しており（非特許文献２）、臨床現場での活用が期待されている（非特許文献３）。
【0003】
一方、被験者の歩行解析を行うための計測するシステムとして、床反力計を用いた計測システム、いわゆるフォースプレートや圧力分布センサーが知られている（特許文献４、特許文献５）。ここで、距離画像センサーを使用した動作分析システムと他のシステム（例えば、圧力分布センサーやフォースプレート）と同期計測を行い、相互の情報を利用して被験者の動作に対するより深い理解を行うことができれば有用である。例えば、リハビリテーションの場合では、距離画像センサーと他の機器で総合的に被験者の動作を理解することで、適切な治療方針決定のための有用な情報を得ることができる。
【0004】
しかしながら、通常の距離画像センサーは、他の機器との座標合わせ手段を有しておらず、同じ座標系での計測を行うことができない。動作分析装置と他の外部機器との位置合わせ機能の先行技術として、特許文献６が挙げられる。この手法は、フォースプレートのみならず、他の機器でも利用可能である。しかしながら、次の理由からこの手法を、赤外線を利用した距離画像センサーを用いた動作計測システムに適用することはできない。
【0005】
第１に、距離画像センサーにおいて、赤外線反射マーカーはセンサーからの距離取得が不可能となるため、マーカーの位置を特定できない。本発明者が実験したところ、赤外線反射素材に対して、距離画像センサーで距離を取得しようとした場合に適切な距離が計算できないという知見を得た。第２に、距離画像センサーでは、DLT法（特許文献６で採用されている）を使用しているわけではないので、特許文献６で用いた計算式を利用することができない。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第6617830号
【特許文献2】特許第5211069号
【特許文献3】特許第6433149号
【特許文献4】特開2001-29329
【特許文献5】特開2006-284404
【特許文献6】特開2013-162911
【非特許文献】
【0007】
【非特許文献1】J. Shotton et al., “Real-Time Human Pose Recognition in Parts from a Single Depth Image,”Proc. IEEE Conf. Computer Vision and Pattern Recognition (CVPR), IEEE CS Press, 2011, pp. 1297-1304.
【非特許文献2】Z. Zhang. Microsoft kinect sensor and its effect. IEEE MultiMedia, 19(2):4-10, Feb 2012.
【非特許文献3】マーカーレスモーションキャプチャによる三次元動作解析の応用例 春名 弘一, 昆 恵介, 稲垣 潤, 佐藤 洋一郎 日本義肢装具学会誌2019年 35 巻1号p.17-23
【発明の開示】
【発明が解決しようとする課題】
【0008】
本発明は、距離画像センサーを使用した動作分析システムと、他の計測システム（圧力分布シートが例示される）の座標合わせを実現するにあたり、上記課題を解決することを目的とするものである。
【課題を解決するための手段】
【0009】
本発明が採用した第１の技術手段は、
中央の第１反射面と、前記第１反射面を囲むように設けた第２反射面と、からなるターゲット面を備え、
前記第２反射面は、赤外線反射材料から形成されている、
赤外線を利用した距離画像センサーと共に用いられる測距用治具、である。
１つの態様では、前記ターゲット面及び前記第１反射面は同心円であり、前記第２反射面はリング状である。
１つの態様では、前記ターゲット面の向きが可変である。
中央の第１反射面と、前記第１反射面を囲むように設けた第２反射面と、からなるターゲット面を備え、
前記第２反射面は、赤外線反射材料から形成されている、
赤外線を利用した距離画像センサーと共に用いられる測距用治具、である。
１つの態様では、前記ターゲット面及び前記第１反射面は同心円であり、前記第２反射面はリング状である。
１つの態様では、前記ターゲット面の向きが可変である。
【0010】
本発明が採用した第２の技術手段は、
カメラと、赤外線を利用した距離画像センサーと、測距用治具と、を用いた測距方法であって、
前記測距用治具は、
中央の第１反射面と、前記第１反射面を囲むように設けた第２反射面と、からなるターゲット面を備え、
前記第２反射面は、赤外線反射材料から形成されており、
前記カメラにより取得した画像に基づく画像処理によって、前記ターゲット面の領域を検出し、前記第１反射面上の特定点を検出すること、
前記距離画像センサーから照射された赤外線を用いて、前記第１反射面上の前記特定点までの距離を取得すること、
を含む測距方法、である。
１つの態様では、前記画像処理は、
位置・姿勢が固定されたカメラで、所定位置に設置された測距用治具を含む第１画像を取得すること、
前記カメラで、前記測距用治具を設置しない状態で第２画像を取得すること、
前記第１画像と前記第２画像の輝度の差分に基づいて、前記ターゲット面の領域を検出し、前記第１反射面上の特定点を検出すること、
からなる。
１つの態様では、前記特定点は、前記ターゲット面の中心である。
１つの態様では、前記カメラは、赤外線カメラである。
カメラと、赤外線を利用した距離画像センサーと、測距用治具と、を用いた測距方法であって、
前記測距用治具は、
中央の第１反射面と、前記第１反射面を囲むように設けた第２反射面と、からなるターゲット面を備え、
前記第２反射面は、赤外線反射材料から形成されており、
前記カメラにより取得した画像に基づく画像処理によって、前記ターゲット面の領域を検出し、前記第１反射面上の特定点を検出すること、
前記距離画像センサーから照射された赤外線を用いて、前記第１反射面上の前記特定点までの距離を取得すること、
を含む測距方法、である。
１つの態様では、前記画像処理は、
位置・姿勢が固定されたカメラで、所定位置に設置された測距用治具を含む第１画像を取得すること、
前記カメラで、前記測距用治具を設置しない状態で第２画像を取得すること、
前記第１画像と前記第２画像の輝度の差分に基づいて、前記ターゲット面の領域を検出し、前記第１反射面上の特定点を検出すること、
からなる。
１つの態様では、前記特定点は、前記ターゲット面の中心である。
１つの態様では、前記カメラは、赤外線カメラである。
【0011】
本発明が採用した第３の技術手段は、測距方法を用いたターゲット上の特定点の座標値の取得であり、
前記距離画像センサーにより取得した深度画像の3D座標値(U,V,D)が３次元座標系の3D座標値(X,Y,Z)へ変換可能となっており、
前記距離画像センサー及び前記測距方法を用いて、前記ターゲット面上の前記特定点の深度画像上の3D座標値(U,V,D)を取得し、
前記3D座標値(U,V,D)に対応する３次元座標系の3D座標値(X,Y,Z)を取得する。
前記距離画像センサーにより取得した深度画像の3D座標値(U,V,D)が３次元座標系の3D座標値(X,Y,Z)へ変換可能となっており、
前記距離画像センサー及び前記測距方法を用いて、前記ターゲット面上の前記特定点の深度画像上の3D座標値(U,V,D)を取得し、
前記3D座標値(U,V,D)に対応する３次元座標系の3D座標値(X,Y,Z)を取得する。
【0012】
本発明が採用した第４の技術手段は、
赤外線を利用した距離画像センサーを備えた第１計測システムと、第２計測システムと、を備えた複合計測システムにおける座標合わせシステムであって、
前記座標合わせシステムは、前記第２計測システムの所定位置に着脱可能に設置される３つの校正用治具と、カメラと、を備え、
各校正用治具は、
中央の第１反射面と、前記第１反射面を囲むように設けた第２反射面と、からなるターゲット面を備え、
前記第２反射面は、赤外線反射材料から形成されており、
前記第１反射面上の特定点がターゲットとなっており、
前前記３つの校正用治具は、前記第２計測システムにおいて、第１ターゲット、第２ターゲット、第３ターゲットが不等辺三角形の頂点となるような位置関係で設置されており、
前記第１計測システムにおいて、前記距離画像センサーにより取得した深度画像の3D座標値(U,V,D)が第１座標系の3D座標値(X,Y,Z)へ変換可能となっており、
前記座標合わせシステムは、処理部と、記憶部と、を備え、
前記記憶部には、第１計測システムの第１座標系と第２計測システムの第２座標系を座標合わせした時の距離画像センサーの第１座標系(X,Y,Z)における各ターゲットの参照座標値が格納されており、
前記処理部は、
前記カメラにより取得した画像に基づく画像処理によって、前記ターゲット面の領域を検出し、前記第１反射面上の特定点をターゲットとして検出し、
前記距離画像センサーを用いて、各ターゲットの第１座標系上の測定座標値(X,Y,Z)を取得し、
各ターゲットの測定座標値と参照座標値を対応させ、前記測定座標値を前記参照座標値と一致させるような変換式を取得するように、構成されている。
赤外線を利用した距離画像センサーを備えた第１計測システムと、第２計測システムと、を備えた複合計測システムにおける座標合わせシステムであって、
前記座標合わせシステムは、前記第２計測システムの所定位置に着脱可能に設置される３つの校正用治具と、カメラと、を備え、
各校正用治具は、
中央の第１反射面と、前記第１反射面を囲むように設けた第２反射面と、からなるターゲット面を備え、
前記第２反射面は、赤外線反射材料から形成されており、
前記第１反射面上の特定点がターゲットとなっており、
前前記３つの校正用治具は、前記第２計測システムにおいて、第１ターゲット、第２ターゲット、第３ターゲットが不等辺三角形の頂点となるような位置関係で設置されており、
前記第１計測システムにおいて、前記距離画像センサーにより取得した深度画像の3D座標値(U,V,D)が第１座標系の3D座標値(X,Y,Z)へ変換可能となっており、
前記座標合わせシステムは、処理部と、記憶部と、を備え、
前記記憶部には、第１計測システムの第１座標系と第２計測システムの第２座標系を座標合わせした時の距離画像センサーの第１座標系(X,Y,Z)における各ターゲットの参照座標値が格納されており、
前記処理部は、
前記カメラにより取得した画像に基づく画像処理によって、前記ターゲット面の領域を検出し、前記第１反射面上の特定点をターゲットとして検出し、
前記距離画像センサーを用いて、各ターゲットの第１座標系上の測定座標値(X,Y,Z)を取得し、
各ターゲットの測定座標値と参照座標値を対応させ、前記測定座標値を前記参照座標値と一致させるような変換式を取得するように、構成されている。
【発明の効果】
【0013】
本発明は、距離画像センサーを使用した動作分析システムと、他の計測システム（圧力分布シートが例示される）の座標合わせの機能を実装したシステムを提供することを可能とする。距離画像センサーを使用した動作分析システムと、他の計測システム（圧力分布シートが例示される）の座標系を合わせることで、複合システムとしての有用性を高めることができる。例えば、リハビリテーションにおいて、複合システムによって歩行分析を行うことで、患者等への治療指針決定に有用な情報を取得することができる。
【図面の簡単な説明】
【0014】
【図1】距離画像センサーを用いた第１計測システムと第２計測システムとからなる複合計測システムの全体図である。
【図2】本実施形態に係る測距用治具の座標値取得用治具を示す図である。
【図3】本実施形態に係る測距用治具の設置用治具を示す図である。
【図4】本実施形態に係る測距用治具を示す図であり、上図は測距用治具の異なる斜視図、下図（左）は設置用治具を示し、下図（右）は設置用治具に座標値取得用治具が世知された状態を示す。
【図5】設置用治具の取付状態を示す図である。
【図6】本実施形態に係る測距用治具を用いたターゲットの座標値の取得ステップを示す図である。
【図7】本実施形態に係る座標合わせシステムの概要図である。
【発明を実施するための形態】
【0015】
[Ａ]複合計測システム
本実施形態に係る複合計測システムについて説明する。図１に示すように、本実施形態に係る計測システムは、第１計測システムと第２計測システムとからなる。第１計測システムは、距離画像センサーを用いた動作計測システムであり、第２計測システムは、圧力分布センサーを備えた圧力分布シートである。
本実施形態に係る複合計測システムについて説明する。図１に示すように、本実施形態に係る計測システムは、第１計測システムと第２計測システムとからなる。第１計測システムは、距離画像センサーを用いた動作計測システムであり、第２計測システムは、圧力分布センサーを備えた圧力分布シートである。
【0016】
第１計測システムは、対象の深度画像を取得する距離画像センサーと、距離画像センサーにより取得した対象の深度画像に基づいて、対象の３Ｄ関節位置を取得する３Ｄ関節位置推定手段と、を備えており、圧力分布シート上を歩行する対象の動作計測を行う。
【0017】
本実施形態に係る３Ｄ関節位置推定手段は、メモリとプロセッサを備えたコンピュータから構成することができる。第１計測システムに係る３Ｄ関節位置推定手段は、深度データ（距離画像データ）に基づいて人物領域を取得し、学習済モデルからなる識別器に人物領域の距離情報を入力することで関節位置を推定する。コンピュータのメモリには、対象の深度データに基づいて当該対象の３Ｄ関節位置を推定するプログラムが格納されており、当該プログラムがプロセッサに実行されることで、対象の３Ｄ関節位置を推定して出力する。対象の深度画像に基づいて、対象の関節の３次元座標値を推定すること自体は公知であり、特許文献１～３や非特許文献１にも記載されている。
【0018】
本明細書において、距離画像センサーの3D座標値を、距離画像センサー使って得られた座標値（Xc Yc, Zc）とする。距離画像センサーの2D座標値を、距離画像センサー使って得られた座標値を2Dで表示した際の座標値（U, V, D）とする。座標値(U, V)はモニター上の座標値であり、Dはセンサーからの奥行き方向距離である。第１計測システムの距離画像センサーにおいて、2D座標値（U, V, D）から3D座標値（Xc, Yc, Zc）への変換関数が実装されている。図１の第１計測システムの第１座標系は、距離画像センサーの3D座標値（Xc Yc, Zc）である。
【0019】
第１計測システムは、対象の深度画像（距離画像）を取得する距離画像センサーに加えて、対象のカラー画像（ＲＧＢ画像）を取得するビデオカメラ（ＲＧＢカメラ）を備えていてもよく、この場合、深度画像の座標値とビデオカメラの３次元座標値は相互に変換可能となっていることが望ましい。１つの態様では、ＲＧＢ画像に基づいて２Ｄ関節位置を推定する２Ｄ関節位置推定プログラムをコンピュータのメモリに格納しておき、ビデオカメラにより取得した対象のカラー画像（ＲＧＢ画像）に基づいて、対象の２Ｄ関節位置を取得するポーズ推定（２Ｄ関節位置推定）を実行し、距離画像センサーから推定された３Ｄ関節位置を、カメラ画像から推定された２Ｄ関節位置を用いて補正してもよい。この場合、距離画像センサーとビデオカメラは一体型で複合センサーを構成してもよく、あるいは、距離画像センサーとビデオカメラが別体として提供されてもよい。このような複合センサ・システムの代表例として、kinect（登録商標）を挙げることができる。Kinectは赤外線投光器、奥行カメラ、カラー画像カメラから複合センサーが構成されており、赤外線投光器と赤外線カメラから距離画像センサ（深度センサ）が構成されている（RGB画像に基づくポーズ推定手段は備えていない）。
【0020】
第２計測システムとしての圧力分布シートは、シート上を歩行する対象の足底荷重分布を取得する。足底荷重分布は、第２座標系（ｘｙ平面）にしたがって取得される。第２の計測システムの3D座標系について、本実施形態では、床の上に載置して使用するシステム（圧力分布シート）を想定しているため、（Xs, Ys, 0）とする。図１の第２計測システムの第２座標系は、圧力分布シートの3D座標値（Xs, Ys, 0）である。第２計測システムは、圧力分布シートの荷重センサーで取得されたデータを処理するプロセッサ、データを記憶するメモリを含むコンピュータを備えている。第２計測システムは、外部入力機能（１つの態様では、同期ケーブルの外部入力端子）を備えており、第１計測システム（マスター）からの同期信号が入力されるようになっている。なお、第２計測システムをマスターとして、同期信号を第１計測システムに出力するようにしてもよい。本実施形態に係る第２計測システムは圧力分布シートであるが、第２計測システムは圧力分布シートに限定されるものではなく、例えば、フォースプレートであってもよい。
【0021】
第１計測システムの第１座標系と第２計測システムの第２座標系は座標合わせされており、また、第１計測システムによって取得された計測データと、第２計測システムによって取得された計測データは同期している。第１計測システムによって取得された対象の歩行時の動作データ（ある時点の姿勢データを含む）と、第２計測システムによって取得された歩行時の時間因子・距離因子に基づいて、対象の歩行分析を行うようになっている。
【0022】
同期方法については、例えば、計測スタートの瞬間にLED発光と同時に同期信号を出力する治具を用意し、第１計測システムの距離画像センサーのカラーカメラ（距離画像センサーと予め同期されている）でLEDが光った瞬間と、第２計測システムが同期信号を受信した瞬間のタイミングでスタートを合わせる等の方法がある。本実施形態では、スピーカーでブザーを鳴らすことで同期をとっている。第１計測システムと第２計測システムを同期させる手段については、公知の様々な手段を適宜採用することができる。
【0023】
[Ｂ]座標合わせシステム
座標合わせシステムは、距離画像センサーを備えた第１計測システムと第２計測システムからなる複合計測システムに加えて、カメラ（赤外線カメラ）、３つの測距用治具（校正用治具）、メモリ及びプロセッサを備えたコンピュータを備えている。複合計測システムを構成するコンピュータと座標合わせシステムを構成するコンピュータは兼用されていてもよい。
座標合わせシステムは、距離画像センサーを備えた第１計測システムと第２計測システムからなる複合計測システムに加えて、カメラ（赤外線カメラ）、３つの測距用治具（校正用治具）、メモリ及びプロセッサを備えたコンピュータを備えている。複合計測システムを構成するコンピュータと座標合わせシステムを構成するコンピュータは兼用されていてもよい。
【0024】
[Ｂ－１]測距用治具（校正用治具）
本実施形態に係る測距用治具について説明する。本実施形態に係る測距用治具は、赤外線を利用した距離画像センサーと共に用いられる測距用治具である。本実施形態に係る距離画像センサーは、内蔵する赤外線LEDの光を対象物に照射し、反射して帰ってくるまでの時間を測定して距離を求める測距手段である。本実施形態に係る測距用治具は、座標値取得用治具１と、座標値取得用治具の設置用治具（以下、「設置用治具」と言う）２の組み合わせから構成されている。本実施形態に係る測距用治具は、第１計測システムの第１座標系と第２計測システムの第２座標系の座標合わせに用いる校正用治具である。
本実施形態に係る測距用治具について説明する。本実施形態に係る測距用治具は、赤外線を利用した距離画像センサーと共に用いられる測距用治具である。本実施形態に係る距離画像センサーは、内蔵する赤外線LEDの光を対象物に照射し、反射して帰ってくるまでの時間を測定して距離を求める測距手段である。本実施形態に係る測距用治具は、座標値取得用治具１と、座標値取得用治具の設置用治具（以下、「設置用治具」と言う）２の組み合わせから構成されている。本実施形態に係る測距用治具は、第１計測システムの第１座標系と第２計測システムの第２座標系の座標合わせに用いる校正用治具である。
【0025】
図２に示すように、座標値取得用治具１は、ターゲット面を含む本体３と、本体３の支持部４と、支持部４の下端に位置する台座５と、からなる。ターゲット面は、中央の第１反射面６と、第１反射面６を囲むように設けた第２反射面７と、からなり、第２反射面７は、赤外線反射材料から形成されている。本発明者の研究によって、赤外線反射素材に対して、距離画像センサーで距離を取得しようとした場合には、適切な距離が計算できないという知見を得た。そのため、特許文献６に開示された球体の赤外線反射マーカーを校正用治具として利用しようとしても、距離画像の座標値(U, V, D)の距離Dが取得できない）ことになる。この問題を解決するために、異なる物性の２つの反射面（第１反射面６と第２反射面７）からなるターゲット面を備えた測距用治具（校正用治具）を開発した。
【0026】
第２反射面７の赤外線反射素材は、赤外線の投光とカメラ（赤外線カメラ）によって輝度の高い領域が生成される素材（赤外線距離画像センサーによって、距離が計測できない素材）である。赤外線反射材料は公知であり、例えば、市販の赤外線反射テープをターゲット面の所定部位に貼ることで第２反射面７を形成することができる。
【0027】
第２反射面７に囲まれた第１反射面６の材質は、赤外線距離画像センサーによって、赤外線の反射で距離を取得できる素材（赤外線を吸収・乱反射する素材でない）であることが条件である。赤外線の性質上、日常生活における身の回りの多くの素材がこの条件を満たしていることが理解される。
【0028】
本実施形態に係る測距用治具において、ターゲット面及び第１反射面６は同心円であり、第２反射面７はリング状である。ターゲット面の中心、すなわち、第１反射面６の中心が測距ターゲットであり、測距用治具は、当該測距ターゲットまでの距離を測定するようになっている。本実施形態では、第２反射面７として帯状の赤外線反射テープが貼られており、ターゲット面において、第２反射面７（赤外線反射テープ部位）については、距離画像センサーによって距離を取得できない。ここで、ターゲット面の中央の領域（第１反射面６）には赤外線反射テープが貼られていないのが特徴である。ターゲット面は、赤外線反射カメラでハレーションが生じて全体が輝度の高い領域となるが、輝度の高い領域の中心は、赤外線反射テープが張られていないため、距離画像センサーによって中心までの距離を取得することができる。すなわち、距離画像センサーによって、ターゲットの座標値(U, V, D)を取得できるようになっている。
【0029】
１つの態様では、リング状の第２反射面７の幅は中心までの輝度が高くなるような幅に設定されている。具体的には、赤外線反射テープは距離画像センサーから出力される赤外線を反射し、赤外線反射カメラでハレーションが生じて、中心まで輝度が高くなるような赤外線反射テープの幅にしてある。後述するように、画像処理によってターゲット面の領域を検出する時に、この治具を置く前と置いた後で取得した画像における輝度の差をとり、大きな差のある領域をターゲット面として検出する。その際に、一定輝度領域の中心の位置を計算しているため、中心部までが光っていることが望ましい。なお、必ずしも、中心部まで光っていなくても、画像処理プログラムの設計によって、ターゲット面を検出し得ることは当業者に理解される。
【0030】
測距用治具の本体３は、垂直姿勢の円板状であり、台座５は、水平姿勢の円板状であり、支持部４は、立ち上がり部４０と、立ち上がり部４０の下端の方形プレート状の基部４１と、からなり、基部４１が台座５の上面に一体化されている。
【0031】
設置用治具２は、座標値取得用治具１と組み合わさることで、第１計測システム（距離画像センサ）の第１座標系と第２計測システム（圧力分布シート）の第２座標系を合わせるための治具でる。図３に示すように、設置用治具２は、平面視方形状の本体８と、本体８の中央に形成された円形状の開口８０と、方形状の本体８の１辺から延びる固定部９と、を備えており、固定部９を介して圧力分布シートの所定位置に取り付け可能となっている。
【0032】
本実施形態に係る設置用治具２の本体８は所定厚のシート状ないし板状体である。本体８の厚さに対して、固定部９の厚さは肉薄であり、圧力分布シートの端縁に本体８の端面を当接させ、本体８を床面に載置し、固定部９を圧力分布シートに重ね合わせた状態で、圧力分布シートに固定するようになっている。設置用治具２は、複合計測システムを構成する第２計測システムの構成や形状を利用して、所定位置に再現性良く固定されるようになっており、本実施形態に係る設置用治具２は、圧力分布シートの特定の位置に再現性良く固定できるような構成を備えている。本実施形態では、圧力分布センサー間の接続部に固定するための形状とすることで、圧力分布シートの特定の位置に精度良く取付可能となっている。本実施形態に係る設置用治具２の固定部９には、圧力分布シートの一対の突起要素を受け入れる平面視U形状の溝部９０が形成されており、溝部に突起要素を受け入れるようにして、圧力分布シートの端縁に本体８の端面を当接させることで、圧力分布シートに対する設置用治具（すなわち、測距用治具ないし校正用治具）の位置が決定されるようになっている。なお、図示の設置用治具２の構成（特に固定部９の構成）は一例に過ぎないものであり、例えば、固定部９は、複合計測システムを構成する第２計測システムの具体的な構成に対応するように設計し得ることが当業者に理解される。
【0033】
座標値取得用治具１の台座５を、設置用治具２の本体８の円形の開口８０に設置することで、座標値取得用治具１は圧力分布シートの所定位置に設置される。座標値取得用治具１の台座５の底面は、圧力分布シートが載置された床面に載置される。円板状の台座５が円形の開口８０内に位置するので、台座６は開口８０内で回転可能となっており、すなわち、測距用治具を圧力分布シートの所定位置に取り付けた状態で、座標値取得用治具１のターゲット面の向きが可変となっている。
【0034】
上述のように、座標値取得用治具１の台座５は、設置用治具２の本体８の開口８０内で回転可能であり、設置用治具２の本体８に対して座標値取得用治具１が回転可能となっている。すなわち、座標値取得用治具１のターゲット面が回転可能に支持されており、座標値取得用治具１を回転させることで、ターゲット面の向きが可変となっている。よって、距離画像センサーの向きに合わせて、ターゲット面の向きを変えることができる。なお、座標値取得治具と設置用治具を一体化（座標値取得用治具の台座が設置用治具を兼用する）して測距用治具を構成し、座標値取得用治具の支持部が台座に対して回動可能としてもよい。また、本実施形態では、ターゲット面は垂直面であるが、ターゲット面の傾きを、可変としてもよい。
【0035】
本実施形態では、同心円状のターゲット面及び第１反射面６を採用したが、ターゲット面や第１反射面６の形状は、円形に限定されない。ターゲット面は、中央の第１反射面６と、第１反射面６を囲むように設けた第２反射面７と、からなり、第２反射面７は、赤外線反射材料から形成されており、画像から抽出されたターゲット面の領域に基づいてターゲット面（第１反射面６）上の特定点（例えば、中心）が計算可能である形状であればよく、例えば、方形状のターゲット面、第１反射面６（同心状の四角形）であってもよい。
【0036】
本実施形態では、座標値取得用治具１の台座５が円板状であり、設置用治具２に対して座標値取得用治具１を回転させることで、ターゲット面をカメラのレンズ面と対向させることができ、カメラへの平面投影像に対して中点を計算した場合にも、中点の位置が変化しないような仕組みを有している。
【0037】
[Ｂ－２]カメラ
本実施形態では、赤外線カメラを用いて取得した画像に基づく画像処理によって、測距用治具のターゲート面を検出する。なお、通常のカメラでもターゲット面の輝度が他の領域に比べて強いので抽出可能であり、赤外線カメラは必須ではないものの、より良好にターゲット面の領域を検出するためには、赤外線カメラの画像を用いることが有利である。距離画像センサーの座標系と赤外線カメラ（カメラ）の座標系は予め一致させてある。距離画像センサーの２Ｄ座標系とカメラの２Ｄ座標系の変換情報は予め得られており、変換可能となっている。また、距離画像センサーの２Ｄ座標系（深度画像の座標系）と３Ｄ座標系は変換可能となっている。
本実施形態では、赤外線カメラを用いて取得した画像に基づく画像処理によって、測距用治具のターゲート面を検出する。なお、通常のカメラでもターゲット面の輝度が他の領域に比べて強いので抽出可能であり、赤外線カメラは必須ではないものの、より良好にターゲット面の領域を検出するためには、赤外線カメラの画像を用いることが有利である。距離画像センサーの座標系と赤外線カメラ（カメラ）の座標系は予め一致させてある。距離画像センサーの２Ｄ座標系とカメラの２Ｄ座標系の変換情報は予め得られており、変換可能となっている。また、距離画像センサーの２Ｄ座標系（深度画像の座標系）と３Ｄ座標系は変換可能となっている。
【0038】
[Ｂ－３]測距用治具（校正用治具）のターゲットの座標値の取得
図６を参照しつつ、測距用治具（校正用治具）のターゲットの座標値の取得ステップについて説明する。
（ア）赤外線カメラにより、圧力分布シート上の所定位置に設置された測距用治具を含む画像を第１画像として取得する。
（イ）赤外線カメラ（同じ位置・姿勢）により、測距用治具を設置しない状態の圧力分布シートの画像を第２画像として取得する。第１画像と第２画像の取得する順番は限定されない。
（ウ）画像処理によって、第１画像と第２画像の輝度の差分に基づいて、測距用治具のターゲット面の領域を検出する。
（エ）検出した領域に基づいて、ターゲット面の第１反射面６上の特定点（中心）の座標値（U, V）を取得する。
（オ）距離画像センサーを用いて、第１反射面６上の特定点（中心）までの距離Dを取得する。
（カ）ターゲット面上の特定点の座標値（U, V, D）を、座標値（Xc, Yc, Zc）へ変換する。
図６を参照しつつ、測距用治具（校正用治具）のターゲットの座標値の取得ステップについて説明する。
（ア）赤外線カメラにより、圧力分布シート上の所定位置に設置された測距用治具を含む画像を第１画像として取得する。
（イ）赤外線カメラ（同じ位置・姿勢）により、測距用治具を設置しない状態の圧力分布シートの画像を第２画像として取得する。第１画像と第２画像の取得する順番は限定されない。
（ウ）画像処理によって、第１画像と第２画像の輝度の差分に基づいて、測距用治具のターゲット面の領域を検出する。
（エ）検出した領域に基づいて、ターゲット面の第１反射面６上の特定点（中心）の座標値（U, V）を取得する。
（オ）距離画像センサーを用いて、第１反射面６上の特定点（中心）までの距離Dを取得する。
（カ）ターゲット面上の特定点の座標値（U, V, D）を、座標値（Xc, Yc, Zc）へ変換する。
【0039】
[Ｂ－４]座標合わせステップ
座標合わせステップについて説明する。事前に、３つの校正用治具を圧力分布シートの所定位置に設置し、座標合わせが行われた時の３点のターゲット（第１ターゲット、第２ターゲット、第３ターゲット）の３次元座標値が参照座標値として設定される。計測時に３点の校正用治具の３点のターゲット（第１ターゲット、第２ターゲット、第３ターゲット）の座標を測定し、３点のターゲットの測定座標値を取得する。ターゲットの測定座標値を設定された参照座標値と一致させるように平行移動・回転を行うことで座標合わせを行う。
座標合わせステップについて説明する。事前に、３つの校正用治具を圧力分布シートの所定位置に設置し、座標合わせが行われた時の３点のターゲット（第１ターゲット、第２ターゲット、第３ターゲット）の３次元座標値が参照座標値として設定される。計測時に３点の校正用治具の３点のターゲット（第１ターゲット、第２ターゲット、第３ターゲット）の座標を測定し、３点のターゲットの測定座標値を取得する。ターゲットの測定座標値を設定された参照座標値と一致させるように平行移動・回転を行うことで座標合わせを行う。
【0040】
次の内容を事前に設定し、コンピュータの記憶部に格納しておく。
(i) 圧力分布シートの原点位置が距離画像センサーのどこに当たるかについての情報
設定ファイルにおいて、X方向の平行移動量とY方向の平行移動量（例えば、mm単位）、回転量（deg)が設定される。
(ii) 圧力分布シートと距離画像センサーの座標系の位置合わせが行われた場合に、校正用治具の座標値がどこにあるかについての情報
設定ファイルに、３点のターゲットの距離画像センサーの3D座標系の座標値を参照座標値として設定しておく。
(i) 圧力分布シートの原点位置が距離画像センサーのどこに当たるかについての情報
設定ファイルにおいて、X方向の平行移動量とY方向の平行移動量（例えば、mm単位）、回転量（deg)が設定される。
(ii) 圧力分布シートと距離画像センサーの座標系の位置合わせが行われた場合に、校正用治具の座標値がどこにあるかについての情報
設定ファイルに、３点のターゲットの距離画像センサーの3D座標系の座標値を参照座標値として設定しておく。
【0041】
各座標系の設定で設定された3点をPs
c1=（Xs
c1, Ys
c1, Zs
c1）, Ps
c2=（Xs
c2, Ys
c2, Zs
c2）, Ps
c3= （Xs
c3, Ys
c3, Zs
c3）とする（移動後の座標値）。この時、この3点からなる三角形の各辺の長さを異なるようにしておく。3点、Ps
c1=（Xs
c1, Ys
c1, Zs
c1）, Ps
c2=（Xs
c2, Ys
c2, Zs
c2）, Ps
c3= （Xs
c3, Ys
c3, Zs
c3）は、シートに再現性があるように設置することができ、直線上ではない、任意の3点かなる。本実施形態では、Ps
c1はシート座標系のシートに固定可能な一点であり、Ps
c2はPs
c1とシート座標系において、Y座標値が同じ一点であり、Ps
c3はPs
c2とシート座標系において、X座標値が同じ一点を用いている。
【0042】
計測前に、３つの校正用治具の3D座標値を取得する。校正用治具を置かない状態で赤外線画像を第１画像として取得する。３つの校正用治具を所定位置に設置し、赤外線画像を第２画像として取得する。第１画像と第２画像の輝度の差分をとり、一定値以上の位置をターゲット面として特定し、各ターゲット面の中心の座標値(U, V)を取得する。距離画像センサーの2D画像を使用して(U, V, D)を取得し、変換を行って、座標値（Xc1, Yc1, Zc1）、座標値（Xc2, Yc2, Zc2）、座標値（Xc3, Yc3, Zc3）を取得する。これらの３つの座標値について、3点からなる三角形の辺の長さにより、第１ターゲット、第２ターゲット、第３ターゲットとの対応関係を取得する。このようにして、変換前の3点の座標値Pc1=（Xc1, Yc1, Zc1）, Pc2=（Xc2, Yc2, Zc2）, Pc3=（Xc3, Yc3, Zc3）を取得する（移動前の座標値）。
【0043】
３つのターゲットの計測座標値Pc1, Pc2 ,Pc3 が、３つのターゲットの設定ファイルの座標値Ps
c1, Ps
c1, Ps
c1になるように変換を行う。具体的には次のような計算を行う。
（１）移動前の座標値について、
Vs e1 = Vs 2→1 = ( Ps c2 － Ps c1 ) / | Ps c2 － Ps c1 |
Vs 3→1 = ( Ps c3 － Ps c1 ) / | Ps c3 － Ps c1 |とし、
Vs 2→1とVs 3→1への単位法線ベクトルをVs e2とする。
Vs e2とVs e1の法線ベクトルをVs e3とする。
行列MsをMs = ( Vs e1, Vs e2, Vs e3)とする。
（１）移動前の座標値について、
Vs e1 = Vs 2→1 = ( Ps c2 － Ps c1 ) / | Ps c2 － Ps c1 |
Vs 3→1 = ( Ps c3 － Ps c1 ) / | Ps c3 － Ps c1 |とし、
Vs 2→1とVs 3→1への単位法線ベクトルをVs e2とする。
Vs e2とVs e1の法線ベクトルをVs e3とする。
行列MsをMs = ( Vs e1, Vs e2, Vs e3)とする。
【0044】
（２）移動後の座標値について、
Vc e1 = V2→1 = ( Pc2 － Pc1 ) / | Pc2 － Pc1 |
V3→1 = ( Pc3 － Pc1 ) / | Pc3 － Pc1 |とし、
V2→1とV3→1への単位法線ベクトルをVc e2とする。
Vc e2とVc e1の法線ベクトルをVc e3とする。
行列McをMc = ( Vc e1, Vc e2, Vc e3)とする。
Vc e1 = V2→1 = ( Pc2 － Pc1 ) / | Pc2 － Pc1 |
V3→1 = ( Pc3 － Pc1 ) / | Pc3 － Pc1 |とし、
V2→1とV3→1への単位法線ベクトルをVc e2とする。
Vc e2とVc e1の法線ベクトルをVc e3とする。
行列McをMc = ( Vc e1, Vc e2, Vc e3)とする。
【0045】
（３）移動前の座標値P0 = (Xp, Yp, Zp)Tに対して、Pc1が原点にくるようにし、3点が床面に一致するような変換はP0’= (Ms)-1(P0-PC1)となる。
（４）（３）で変換した座標を変換後の座標値P0”に変換する式はP0”= Mc P0’+ PC1となる。
（３）と（４）を同時に処理するとP0” = Mc (Ms)-1(P0-PC1)+ PC1で計算できる。
この計算によって、任意の点に対して、圧力分布シートの座標系と距離画像センサーの座標系を合わせることができる。その後、設定ファイルにある「圧力分布シートの原点位置が距離画像センサーのどこに当たるかについての情報（設定ファイルの情報）」を用いて平行移動することによって、距離画像センサーの原点に対して圧力分布シートの原点を任意の場所置くことが可能となる。
（４）（３）で変換した座標を変換後の座標値P0”に変換する式はP0”= Mc P0’+ PC1となる。
（３）と（４）を同時に処理するとP0” = Mc (Ms)-1(P0-PC1)+ PC1で計算できる。
この計算によって、任意の点に対して、圧力分布シートの座標系と距離画像センサーの座標系を合わせることができる。その後、設定ファイルにある「圧力分布シートの原点位置が距離画像センサーのどこに当たるかについての情報（設定ファイルの情報）」を用いて平行移動することによって、距離画像センサーの原点に対して圧力分布シートの原点を任意の場所置くことが可能となる。
【符合の説明】
【0046】
１ 座標値取得治具
２ 座標値取得治具の設置治具
３ 座標値取得治具の本体
４ 支持部
５ 台座
６ 第１反射面
７ 第２反射面
８ 設置治具の本体
２ 座標値取得治具の設置治具
３ 座標値取得治具の本体
４ 支持部
５ 台座
６ 第１反射面
７ 第２反射面
８ 設置治具の本体
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】