特許第6934154号(P6934154)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 学校法人立命館の特許一覧

特許6934154評価用測定装置、コンピュータプログラム、及び、評価方法
<>
  • 特許6934154-評価用測定装置、コンピュータプログラム、及び、評価方法 図000003
  • 特許6934154-評価用測定装置、コンピュータプログラム、及び、評価方法 図000004
  • 特許6934154-評価用測定装置、コンピュータプログラム、及び、評価方法 図000005
  • 特許6934154-評価用測定装置、コンピュータプログラム、及び、評価方法 図000006
  • 特許6934154-評価用測定装置、コンピュータプログラム、及び、評価方法 図000007
  • 特許6934154-評価用測定装置、コンピュータプログラム、及び、評価方法 図000008
  • 特許6934154-評価用測定装置、コンピュータプログラム、及び、評価方法 図000009
  • 特許6934154-評価用測定装置、コンピュータプログラム、及び、評価方法 図000010
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6934154
(24)【登録日】2021年8月25日
(45)【発行日】2021年9月15日
(54)【発明の名称】評価用測定装置、コンピュータプログラム、及び、評価方法
(51)【国際特許分類】
   G01B 11/00 20060101AFI20210906BHJP
   G06T 7/20 20170101ALI20210906BHJP
【FI】
   G01B11/00 H
   G06T7/20
【請求項の数】11
【全頁数】18
(21)【出願番号】特願2017-8558(P2017-8558)
(22)【出願日】2017年1月20日
(65)【公開番号】特開2018-116019(P2018-116019A)
(43)【公開日】2018年7月26日
【審査請求日】2019年11月21日
【新規性喪失の例外の表示】特許法第30条第2項適用 平成28年8月3日、40th Annual Meeting of the American Society of Biomechanicsにて発表 〔刊行物等〕 平成28年9月15日、DOI:http://dx.doi.org/10.1016/j.gaitpost.2016.09.015 (Gait and Posture)
(73)【特許権者】
【識別番号】593006630
【氏名又は名称】学校法人立命館
(74)【代理人】
【識別番号】100111567
【弁理士】
【氏名又は名称】坂本 寛
(74)【代理人】
【識別番号】110000280
【氏名又は名称】特許業務法人サンクレスト国際特許事務所
(72)【発明者】
【氏名】長野 明紀
【審査官】 仲野 一秀
(56)【参考文献】
【文献】 特開2003−42760(JP,A)
【文献】 特開2004−28635(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00−11/30
(57)【特許請求の範囲】
【請求項1】
ヒトの運動能力の評価用測定装置であって、
移動経路に沿って移動するヒトの動きが撮像された画像から、画像座標における前記ヒトの第1位置変化を検出する処理と、
前記第1位置変化を、前記ヒトの運動能力を評価するためのパラメータを得るために用いられる、前記移動経路の実距離座標における第2位置変化に変換する処理と、
前記画像中の基準体に基づいて、前記第1位置変化を前記第2位置変化に変換するための変換データを生成する処理と、
を実行する処理部を備え、
前記基準体は、前記移動経路における実距離を示すために前記移動経路上又は前記移動経路近傍に設置されており、
前記第2位置変化は、前記変換データを用いて、前記第1位置変化から変換され
前記移動経路に沿って移動する前記ヒトの動きは、前記ヒトの歩行又は走行であって、前記歩行又は前記走行に応じて、前記移動経路に沿った向きの動きと、前記移動経路に沿った向き以外の動きと、が生じるものであり、
前記第1位置変化を検出する前記処理において、前記第1位置変化は、前記移動経路に沿った向きの成分を有し、前記移動経路に沿った向き以外の向きの成分を有しない位置変化として検出され、
前記第1位置変化から変換される前記第2位置変化は、前記移動経路に沿った向きの成分を有し、前記移動経路に沿った向き以外の向きの成分を有しない位置変化であり、
前記ヒトの運動能力を評価するためのパラメータは、前記第2位置変化から求まるものであり、前記移動経路に沿った向きにおける歩行又は走行の瞬時速度である
評価用測定装置。
【請求項2】
前記変換データは、前記画像中の前記基準体の位置と、前記基準体と前記移動経路との現実の位置関係と、に基づいて生成される
請求項1に記載の評価用測定装置。
【請求項3】
前記変換データは、前記画像中の前記基準体から決定される複数の基準点の前記画像における位置と、複数の前記基準点間の実距離間隔と、に基づいて生成される
請求項2に記載の評価用測定装置。
【請求項4】
前記位置関係は、複数の前記基準点に含まれる第1基準点の位置と、前記第1基準点に対応する移動経路上の第1経路位置と、の位置関係を含む
請求項3に記載の評価用測定装置。
【請求項5】
複数の前記基準点は、複数の前記基準点を結ぶ線が前記移動経路に並行するよう設定される
請求項3又は4に記載の評価用測定装置。
【請求項6】
複数の前記基準点の前記画像における前記位置は、前記画像中の前記基準体の画像認識により決定される
請求項3〜5のいずれか1項に記載の評価用測定装置。
【請求項7】
複数の前記基準点の前記画像における前記位置は、ユーザ入力によって決定される
請求項3〜5のいずれか1項に記載の評価用測定装置。
【請求項8】
前記基準体が示す実距離は、ユーザ入力によって決定される
請求項1〜7のいずれか1項に記載の評価用測定装置。
【請求項9】
前記第1位置変化は、前記画像における前記ヒトの領域のうち、前記ヒトの脚を除く領域から決定された重心位置の位置変化として求められる
請求項1〜のいずれか1項に記載の評価用測定装置。
【請求項10】
コンピュータにヒトの運動能力の評価用処理を実行させるためのコンピュータプログラムであって、
前記評価用処理は、
移動経路に沿って移動するヒトの動きが撮像された画像から、画像座標における前記ヒトの第1位置変化を検出する処理と、
前記第1位置変化を、前記ヒトの運動能力を評価するためのパラメータを得るために用いられる、前記移動経路の実距離座標における第2位置変化に変換する処理と、
前記画像中の基準体に基づいて、前記第1位置変化を前記第2位置変化に変換するための変換データを生成する処理と、
を含み、
前記基準体は、前記移動経路における実距離を示すために前記移動経路上又は前記移動経路近傍に設置されており、
前記第2位置変化は、前記変換データを用いて、前記第1位置変化から変換される
前記移動経路に沿って移動する前記ヒトの動きは、前記ヒトの歩行又は走行であって、前記歩行又は前記走行に応じて、前記移動経路に沿った向きの動きと、前記移動経路に沿った向き以外の動きと、が生じるものであり、
前記第1位置変化を検出する前記処理において、前記第1位置変化は、前記移動経路に沿った向きの成分を有し、前記移動経路に沿った向き以外の向きの成分を有しない位置変化として検出され、
前記第1位置変化から変換される前記第2位置変化は、前記移動経路に沿った向きの成分を有し、前記移動経路に沿った向き以外の向きの成分を有しない位置変化であり、
前記ヒトの運動能力を評価するためのパラメータは、前記第2位置変化から求まるものであり、前記移動経路に沿った向きにおける歩行又は走行の瞬時速度である
コンピュータプログラム。
【請求項11】
ヒトの運動能力を評価する評価方法であって、
移動経路に沿って移動するヒトの動きを撮像し、
撮像された画像から、画像座標における前記ヒトの第1位置変化を検出し、
前記移動経路における実距離を示すために前記移動経路上又は前記移動経路近傍に設置されていることによって前記画像に含まれる基準体に基づいて、前記第1位置変化を、前記移動経路の実距離座標における第2位置変化に変換するための変換データを生成し、
前記変換データを用いて、前記第1位置変化を前記第2位置変化に変換し、
前記移動経路に沿って移動する前記ヒトの動きは、前記ヒトの歩行又は走行であって、前記歩行又は前記走行に応じて、前記移動経路に沿った向きの動きと、前記移動経路に沿った向き以外の動きと、が生じるものであり、
前記第1位置変化は、前記移動経路に沿った向きの成分を有し、前記移動経路に沿った向き以外の向きの成分を有しない位置変化として検出され、
前記第1位置変化から変換される前記第2位置変化は、前記移動経路に沿った向きの成分を有し、前記移動経路に沿った向き以外の向きの成分を有しない位置変化であり、
前記第2位置変化を用いて前記ヒトの運動能力を評価するためのパラメータとして前記移動経路に沿った向きにおける歩行又は走行の瞬時速度を求める、ことを含む
評価方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、測定対象の移動を画像処理によって測定することに関する。
【背景技術】
【0002】
測定対象の移動を測定する技術として、例えば、モーションキャプチャが知られている。モーションキャプチャによる測定対象の動きの測定は、例えば、複数のマーカが取り付けられた測定対象を、測定対象空間の周囲に設置された複数のカメラで撮像することで行われる。
【0003】
モーションキャプチャでは、測定対象の動きを精度良く測定することができる。測定対象の移動速度等を精度良く測定することは、様々な分野において重要である。例えば、バイオメカニクス、リハビリテーション、高齢者の健康増進等においては、歩行速度又は走行速度が、ヒトの運動能力を評価するための基本的なパラメータとなる。特に、ヒトの移動速度は、一定ではなく、瞬間的に変化することがあるため、平均速度ではなく、瞬時速度の変化を精度良く測定することが求められる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平5−284501号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
モーションキャプチャを用いると、瞬時速度の変化等を精度良く測定することができる。しかし、上述のようなモーションキャプチャでは、測定対象空間の周囲に設置された複数のカメラが用いられるため、広い空間が必要となる。このため、モーションキャプチャを利用できる場所は制限される。また、モーションキャプチャでは、測定対象に多数のマーカを取り付けるなどの測定の準備作業負担が大きくなる。このため、モーションキャプチャによる測定は、必ずしも容易ではない。
【0006】
一方、特許文献1は、侵入者の検知のため、監視カメラにより得られた画像から、画像処理により、検知対象の移動速度を抽出することを開示している。特許文献1の技術では、画像処理によって容易に移動速度が得られるが、得られている速度は、画像において対象が移動した画素数に基づくものであって、単に画像上での速度にすぎず、現実の空間における対象の速度が精度良く測定されているとは限らない。
【0007】
したがって、測定対象の移動を、容易かつ精度良く測定することが望まれる。
【課題を解決するための手段】
【0008】
本発明の一の態様は、測定装置である。実施形態において測定装置は、移動経路に沿って移動する測定対象の動きが撮像された画像から、前記画像座標における前記測定対象の第1位置変化を検出する処理と、前記第1位置変化を、前記移動経路の実距離座標における第2位置変化に変換する処理と、前記画像中の基準体に基づいて、前記第1位置変化を前記第2位置変化に変換するための変換データを生成する処理と、を実行する。前記基準体は、前記移動経路における実距離を示すために前記移動経路上又は前記移動経路近傍に設置されており、前記第2位置変化は、前記変換データを用いて、前記第1位置変化から変換される。この測定装置は、測定対象の移動を、容易かつ精度良く測定することができる。
【図面の簡単な説明】
【0009】
図1】測定装置の構成図である。
図2】測定空間の説明図である。
図3】測定空間の説明図である。
図4】測定のための処理を示すフローチャートである。
図5】画像の説明図である。
図6】第1位置変化を検出するための画像処理結果を示す図である。
図7】測定結果を示すグラフである。
図8】測定装置の使用例を示す図である。
【発明を実施するための形態】
【0010】
[1.実施形態の概要]
【0011】
(1)実施形態に係る測定装置は、処理を実行する処理部を備える。処理部は、コンピュータプログラムの実行により処理を実行するものであってもよいし、ハードウェア回路の動作により処理を実行するものであってもよい。
【0012】
実施形態の処理部は、移動経路に沿って移動する測定対象の動きが撮像された画像から、前記画像座標における前記測定対象の第1位置変化を検出する処理を実行する。ここでの画像は、複数の画像フレームを有する動画である。移動経路は、測定対象が移動するために予め設定された経路である。測定対象は、例えば、ヒトであるが、ヒトには限られない。測定対象となるヒトは、例えば、運動能力の測定・評価等が必要な者であり、より具体的には、例えば、高齢者、運動選手である。ヒト以外の測定対象としては、例えばボールが挙げられる。
【0013】
移動経路は、画像に写っている必要はない。また、移動経路が画像に写っていても、どの部分が移動経路であるかを区別可能に移動経路が画像において現れている必要はない。
【0014】
移動経路は、例えば、歩行テストのために被験者が歩行する経路である。歩行テストは、例えば、高齢者の歩行能力評価のために行われる。歩行テストには、例えば、10m歩行テスト又は5m歩行テストがある。移動経路は、競走競技において、選手が走行する経路であってもよい。競走競技は、例えば、100m走等の短距離走、ハードル走である。移動経路は、例えば野球におけるピッチャーマウンドとホームベースの間でもよい。
【0015】
画像座標は、測定対象が撮像された画像における座標である。画像座標は、例えば、画像の水平方向における画素位置と、画像の垂直方向における画素位置とからなる2次元座標である。
【0016】
画像座標における測定対象の第1位置変化とは、測定対象が移動経路に沿って移動することに伴う位置変化であって、測定対象の位置が、画像座標で表されるものである。測定対象の位置は、例えば、測定対象の重心位置であるが、他の位置であってもよい。重心位置は、例えば、画像において測定対象が占める領域から計算されるが、重心位置の計算方法は特に限定されない。
【0017】
実施形態の処理部は、前記第1位置変化を、前記移動経路の実距離座標における第2位置変化に変換する処理を実行する。実距離とは、画像上の距離ではなく、現実空間における距離である。実距離座標とは、移動経路の現実の距離に応じた座標系である。実距離座標は、測定対象の移動を、画像上での移動距離ではなく、現実空間における実際の移動距離で示すことができるため、測定対象の移動を適切に示すことができる。
【0018】
実施形態の処理部は前記画像中の基準体に基づいて、前記第1位置変化を前記第2位置変化に変換するための変換データを生成する処理を実行する。前記基準体は、前記移動経路における実距離を示すために前記移動経路上又は前記移動経路近傍に設置される。移動経路近傍とは、移動経路に沿って移動する測定対象が写される画像視野内に基準体も現れる程度に移動経路に近いことをいう。前記第2位置変化は、前記変換データを用いて、前記第1位置変化から変換される。画像中に移動経路における実距離を示す基準体があることで、変換データを容易に生成できる。
【0019】
基準体によって示される移動経路実距離は、移動経路全体の実距離であってもよいし、移動経路の一部の実距離であってもよい。例えば、基準体によって示される実距離は、10m歩行テストにおける10m(移動経路全体の実距離)であってもよいし、10mの一部である5mであってもよい。基準体は、1つでもよいし、複数でもよい。1つの基準体で移動経路の実距離を示すには、例えば、基準体が移動経路の実距離に応じた長さを有していればよい。複数の基準体で移動経路の実距離を示すには、例えば、複数の基準体の実距離間隔を移動経路の実距離に合わせて設定すればよい。
【0020】
基準体は、移動経路上に設置されていてもよいし、測定対象の移動の妨げにならないように、移動経路外の移動経路近傍に設置されてもよい。基準体は、移動経路における実距離を示すことのみを目的として設置されている必要はなく、他の目的で設置された物体を、移動経路における実距離を示すために用いても良い。例えば、ハードル走のために移動経路上に設置されたハードルや、選手が走行するレーンを示す目印を、基準体として用いても良い。例えば、ピッチャーマウンドとホームベースを基準体として用いてもよい。
【0021】
なお、変換データを生成する際に用いられる画像フレームには、測定対象は写っていても良いし、写っていなくても良い。また、変換データを生成する処理は、測定対象の移動を撮像する前に行っても良いし、後に行っても良い。また、変換データを生成する処理は、第1位置変化を求める前に行っても良いし、第1位置変化を求めた後に行っても良い。
【0022】
(2)前記変換データは、前記画像中の前記基準体の位置と、前記基準体と前記移動経路との現実の位置関係と、に基づいて生成されてもよい。基準体と移動経路との現実の位置関係を考慮することで、変換データを容易に生成することができる。位置関係は、基準体が移動経路から離れて設置されている場合には、基準体が移動経路からどのように離れているかを表す情報によって示されても良いし、基準体が移動経路上に設置されている場合には、基準体が移動経路上のどの位置に設置されているかを表す情報によって示されても良い。
【0023】
(3)前記変換データは、前記画像中の前記基準体から決定される複数の基準点の前記画像における位置と、複数の前記基準点間の実距離間隔と、に基づいて生成されてもよい。複数基準点の画像における位置と基準点間の実距離間隔を用いることで、変換データを容易に生成することができる。
【0024】
(4)前記位置関係は、複数の前記基準点に含まれる第1基準点の位置と、前記第1基準点に対応する移動経路上の第1経路位置と、の位置関係を含むことができる。第1経路位置は、例えば、測定開始位置であり、第1基準点は、例えば、測定開始位置の基準となる位置である。
【0025】
(5)複数の前記基準点は、複数の前記基準点を結ぶ線が前記移動経路に並行するよう設定することができる。ここで、複数の前記基準点を結ぶ線は、仮想的な線で足りる。並行とは、移動経路が、直線的であれば、平行と同義であり、移動経路が曲線的であれば、移動経路と基準点を結ぶ線との間隔が一定であることをいう。
【0026】
(6)複数の前記基準点の前記画像における前記位置は、前記画像中の前記基準体の画像認識により決定されるのが好ましい。この場合、基準点の位置の決定にユーザ入力が不要となる。
【0027】
(7)複数の前記基準点の前記画像における前記位置は、ユーザ入力によって決定されてもよい。
【0028】
(8)前記基準体が示す実距離は、ユーザ入力によって決定されてもよいし、予め測定装置に設定されてもよい。ユーザ入力は、実距離の数値入力の操作であってもよいし、複数の実距離候補の中からの選択の操作であってもよい。
【0029】
(9)前記第1位置変化は、前記移動経路に沿った向きの成分を有し、前記移動経路に沿った向き以外の向きの成分を有しない位置変化であるのが好ましい。移動経路に沿った向き以外の向きの成分を有しないことで、測定対象における移動経路に沿った向き以外の動きを排除して、移動経路に沿った移動を精度良く測定することができる。移動経路に沿った向きとは、例えば、移動経路の向きが、画像の水平方向に沿っている場合、第1位置変化として求められる位置変化は、画像の水平方向成分の位置変化だけで、垂直方向成分の位置変化を含まないものとすることができる。
【0030】
(10)前記測定対象は、ヒトであり、前記第1位置変化は、前記画像における前記ヒトの領域のうち、前記ヒトの脚を除く領域から決定された重心位置の位置変化として求められてもよい。走行又は歩行時の脚は動きが大きくなり、重心位置を不必要に変動させる要因となる場合がある。また、画像におけるヒトの領域は、上半身が占める割合が多い。したがって、脚を除く、上半身の領域から決定された重心位置をヒトの位置として用いるのが好適である。
【0031】
(11)本発明の実施形態としては、コンピュータに処理を実行させるためのコンピュータプログラムであってもよい。コンピュータプログラムは、コンピュータ読み取り可能な記憶媒体に記憶され、コンピュータによって実行される。前記処理は、移動経路に沿って移動する測定対象の動きが撮像された画像から、前記画像座標における前記測定対象の第1位置変化を検出する処理と、前記第1位置変化を、前記移動経路の実距離座標における第2位置変化に変換する処理と、前記画像中の基準体に基づいて、前記第1位置変化を前記第2位置変化に変換するための変換データを生成する処理と、を含むことができる。前記基準体は、前記移動経路における実距離を示すために前記移動経路上又は前記移動経路近傍に設置されており、前記第2位置変化は、前記変換データを用いて、前記第1位置変化から変換される。
【0032】
[2.測定装置の例]
【0033】
以下、図面に基づいて、本発明における実施形態の一つを、より詳細に説明する。
【0034】
図1に示す測定装置10は、カメラ20とコンピュータ30を備えている。コンピュータは、コンピュータプログラムを実行することにより、測定のための情報処理を実行する。実施形態において、測定装置10は、例えば、カメラ20付きのコンピュータ30によって構成される。コンピュータ30は、例えば、スマートフォン、タブレット、パーソナルコンピュータである。コンピュータ30は、インターネット等のネットワーク上のサーバであってもよい。この場合、カメラ20によって取得された画像は、サーバに送信され、サーバによって測定のための情報処理が実行される。
【0035】
コンピュータ30は、処理部310及び記憶部320を備える。処理部310は、記憶部320にインストールされたコンピュータプログラム(アプリケーションプログラム)320aを実行し、測定装置10としての機能を発揮する。コンピュータプログラム320aは、例えば、インターネット等のネットワーク上のサーバにダウンロード可能に格納されていてもよい。この場合は、コンピュータ30は、ネットワークを介して、サーバからコンピュータプログラム320aをダウンロードし、記憶部320aに格納することができる。
【0036】
記憶部320には、プログラム320aの他、測定のための情報処理において用いられる各種の情報を記憶するための領域322a,322b,323,324,325,326,327が設けられている。これらの情報については後述する。
【0037】
コンピュータ30は、ディスプレイ330及び入力デバイス340を備える。入力デバイス340は、タッチパネルのように、ディスプレイ330と一体型のものでもよいし、キーボード、マウスのように、ディスプレイとは別体のものであってもよい。
【0038】
コンピュータ30は、通信インタフェース350を備える。通信インタフェース350は、例えば、他のコンピュータとの通信に用いられる。通信インタフェース350は、有線通信用であってもよいし、無線通信用であってもよい。無線通信は、例えば、無線LANのための無線通信であってもよいし、Bluetooth(登録商標)のような近距離無線通信であってもよい。
【0039】
図1に示す測定装置は、測定対象であるヒトHが、直線状の長さD1[m]の移動経路Pを、移動(歩行又は走行)する様子を測定する。図2に示すように、測定に先立って、現実の測定空間には基準体となる2つのスポーツコーン41,42が設置される。図2では、理解の容易のため、移動経路Pが図示されているが、現実の測定空間においては、移動経路Pが明示されていなくてもよい。
【0040】
なお、図2及び図3において、方向Xは、現実の測定空間の水平面内における一つの方向であって、移動経路Pに平行な方向であり、方向Zは、現実の測定空間の水平面内における他の方向であって、方向Xに直交する方向である。図3において、方向Yは、現実の測定空間の垂直方向である。
【0041】
2つのコーン41,42は、移動経路Pの全長に合わせて、それらの間隔(実距離間隔)がD1[m]になるように設置される。ここでは、例えば、コーン41,42の頂部41a,42a間の間隔が、D1[m]になるように設置される。これにより、2つのコーン41,42は、移動経路Pにおける実距離D1[m]を示す基準体として機能する。
【0042】
また、2つのコーン41,42は、それらを結ぶ仮想的な線L1が、直線的な移動経路Pに平行になるように、方向Xに沿って設置される。また、図3に示すように、コーン41,42は、移動経路PとのZ方向間隔が、所定の第2間隔(第2実距離間隔)D2[m]になる位置に設置される。なお、測定対象であるヒトは、コーン41,42を目印として、コーン41,42が並んでいる方向Xに沿って、コーン41,42から方向Z方向へおよそD2[m]離れた位置を移動することで、移動経路Pに沿った移動をすることができる。
【0043】
実施形態において、2つのコーン41,42は、それぞれ、移動経路P上の特定の位置(経路位置)S,Gに対応している。図3において、第1コーン41は、例えば、移動経路P上の測定開始位置Sを示すべく設置される。すなわち、第1コーン41によって示される第1基準点41aと、移動経路P上の測定開始位置Sとは、移動経路Pに沿った方向Xにおいて、同じ位置にある。なお、第1コーン41によって示される第1基準点41aは、例えば、第1コーン41の頂部を基準に定まる。
【0044】
図3において、第2コーン42は、例えば、移動経路P上の測定終了位置Gを示すべく設置される。すなわち、第2コーン42によって示される第2基準点42aと、移動経路P上の測定終了位置Gとは、移動経路Pに沿った方向Xにおいて、同じ位置にある。なお、第2コーン42によって示される第2基準点42aは、例えば、第2コーン42の頂部を基準に定まる。第2基準点42aは、測定終了位置Gを示す必要はなく、移動経路Pの中途位置を示すものであってもよい。移動経路Pの中途位置とは、例えば、10m歩行テストにおける測定開始位置Sから、5mの位置である。
【0045】
なお、図2及び図3においては、基準点41aと位置Sとを結ぶ仮想的な線L2と、基準点42aと位置Gとを結ぶ仮想的な線L3とが、理解の容易のために示されている。
【0046】
測定装置10のカメラ20は、移動経路P及びコーン41,42が同時に画像中に写る位置に設置される。カメラ20は、移動経路Pと線L1が平行に見えるように設置されるのが好ましい。すなわち、カメラ20によって撮像された画像の奥行方向が、方向Zと一致するように設置されるのが好ましい。また、カメラ20は、移動経路Pに沿った方向Xが、撮像された画像における水平方向となるように設置されるのが好ましい。ただし、移動経路Pに沿った方向Xが、撮像された画像における水平方向となっていなくても、画像処理によって、移動経路Pに沿った方向Xが、撮像された画像における水平方向となるように補正することができる。補正は、基準体を用いることで容易に行える。
【0047】
なお、図2において、コーン41,42は、カメラ20からみて、ヒトHよりも奥側に配置されているが、ヒトHよりも手前に配置されていてもよい。
【0048】
図4は、処理部310によって実行される測定のための情報処理の流れを示している。ステップS11において、処理部310は、前述のように設置されたカメラ20によって、移動経路Pに沿って移動するヒトHの動きを撮像し、ヒトHの動きが撮像された画像(動画)を取得する。取得された画像は、記憶部320の画像記憶領域321に保存される。なお、画像は、ヒトHの動きの他、基準体であるコーン41,42も写ったものとなる。
【0049】
撮像時において、カメラ20の位置及び向きは、固定されているのが好ましいが、カメラ20を手で持っている場合のように、カメラ20の位置及び向きに多少の変動が生じる場合には、手振れ補正処理をするのが好ましい。
【0050】
ステップS12からステップS14において、処理部310は、変換データを生成する処理を実行する。変換データは、画像座標系(Xc,Yc)における位置を、ヒトHが移動する現実空間の実距離座標系(X,Y)における位置に変換するためのデータである。
【0051】
処理部310は、画像記憶領域321に記憶された画像中の基準体41,42に基づいて、変換データを生成する。図5は、取得された画像に含まれる一つの画像フレーム100を示している。なお、変換データの生成に用いられる画像フレーム100においては、測定対象であるヒトHが写っている必要はなく、図5のように、基準体であるコーン41,42が写っていれば足りる。また、図5において、方向Xcは、画像の水平方向を示し、現実の測定空間における方向Xに対応する。方向Ycは、画像の垂直方向を示し、現実の測定空間における方向Yに対応する。
【0052】
ステップS12において、処理部310は、画像フレーム100中の基準体であるコーン41,42の位置を検出する。コーン41,42の位置は、例えば、パターンマッチング等の画像認識処理により、画像フレーム100中において、コーン41の形状に一致する領域を抽出することによって行われる。ステップS12において、処理部310は、コーン41における特定の位置(ここで、コーン頂部)を、画像中の基準点41a,42aとして検出する。コーン頂部の検出も、画像認識処理によって行える。基準点41a,42aの位置は、画像座標系(Xc,Yc)における座標値として求められる。求められた基準点41a,42aの座標値は、記憶部320の座標値記憶領域322aに保存される。
【0053】
なお、ステップS12においては、マウスなどのポインティングデバイスを用いたユーザ入力によって、画像中における基準点41a,41b位置が指定されることで、基準点が決定されてもよい。
【0054】
ステップS13において、変換データを生成するための、パラメータが設定される。実施形態において、設定されるパラメータには、2つの基準点41a,41b間の実距離間隔D1[m]が含まれる。実距離間隔D1[m]は、基準体41によって示される移動経路Pにおける実距離である。間隔D1は、例えば、間隔D1を示す数値のユーザ入力によって決定される。間隔D1は、複数の間隔候補の中からユーザ入力により一つの間隔候補を選択することによって決定されてもよい。決定された間隔D1は、記憶部320の間隔D1記憶領域322bに保存される。なお、間隔D1が予め決まっている場合には、ステップS13で間隔D1が設定されている必要はなく、間隔D1が、記憶領域322bに予め設定されていてもよい。
【0055】
実施形態において、設定されるパラメータには、基準体41,42と移動経路Pとの位置関係情報323が含まれる。基準体41,42と移動経路Pとの位置関係は、例えば、図3に示す間隔D2を含む。間隔D2は、例えば、第1基準点41aと、第1基準点41aに対応する移動経路上の位置Sとの間の位置関係を示す。間隔D2は、例えば、ユーザ入力により決定される。決定された間隔D2は、記憶部320の間隔D2記憶領域323aに位置関係情報として保存される。なお、間隔D2が予め決まっている場合には、間隔D2が、記憶領域323aに予め設定されていてもよい。
【0056】
ステップS13では、基準体41,42と移動経路Pとの位置関係を示す情報として、カメラ20の視野V範囲を示す画角A(図2参照)も設定される。画角Aは、基準体41,42と移動経路Pとの幾何学的関係を規定するために用いられる。処理部310は、撮像時のカメラ20の画角を、記憶部323bの画角A記憶領域323bに保存する。なお、画角Aが予め決まっている場合には、画角Aが記憶領域323bに予め設定されていてもよい。
【0057】
ここでは、変換データは、基準点座標値、間隔D1、間隔D2、及び画角Aを用いて生成される。ステップS14において、処理部310は、記憶部320に保存されたこれらの情報を用いて、変換データを生成する。
【0058】
図2,3では、基準体であるコーン41,42は、移動経路Pから、Z方向(画像奥行方向)に離れて配置されている。したがって、画像100中のコーン41,42の間隔が、所定の実距離D1に対応しているとしても、画像100中のコーン41,42の間隔そのものは、移動経路Pにおける実距離D1に対応させることができない。
【0059】
つまり、図3に示すように、現実の測定空間において、コーンの設置されているX−Y平面51は、移動経路Pが含まれるX−Y平面53とは、Z方向に、間隔D2をおいて、離れている。このため、Z方向が画像奥行方向となるように撮像された画像100においては、図5に示すように、基準点41aと基準点42aとの間のXc方向(水平方向)における間隔は、これら基準点41a,42aに対応する移動経路P上の位置Sc、Gc間のXc方向(水平方向)における間隔とは異なったものとなる。したがって、画像100においては、仮想線L2,L3は、画角Aに応じた角度を持って傾くものとなる。なお、画像100中の位置Scは、現実の測定空間における測定開始位置Sに対応し、画像100中の位置Gcは、現実の測定空間における測定終了位置Gに対応する。
【0060】
そこで、変換データの生成においては、処理部310は、例えば、検出された第1基準点41aから、間隔D2と画角Aで示される幾何学的関係に基づき、画像100における位置(第1経路位置)Scを決定する。実施形態においては、画像100における位置Scは、画像100の水平方向Xcの位置よって示されるもので足り、画像100の垂直方向Ycの位置は不要である。
【0061】
また、処理部310は、検出された第2基準点42aから、間隔D2と画角Aで示される幾何学的関係に基づき、画像100における位置(第2経路位置)Gcを決定する。実施形態においては、画像100における位置Scは、画像100の水平方向Xcの位置よって示されるもので足り、画像100の垂直方向Ycの位置は不要である。
【0062】
画像100において、決定された位置Sc,Gc間の水平方向Xcの間隔は、現実の測定空間において測定対象が移動する実距離間隔D1[m]に対応する。したがって、測定対象のヒトHが、画像100において、位置Scから位置Gcまで移動すれば、現実の測定空間においてD1[m]移動していることになる。
【0063】
処理部310は、決定された位置Sc,Gc間が、実距離間隔D1[m]に対応していることを利用して、画像座標系(Xc,Yc)における位置を、ヒトHが移動する現実空間の実距離座標系(X,Y)における位置に変換するための変換データを生成することができる。生成された変換データは、記憶部320の変換データ記憶領域324に保存される。
【0064】
なお、変換データを生成するための位置関係情報323は、間隔D2や画角Aに限られるものではなく、画像100における基準体41,42と移動経路Pとの幾何学的関係を規定するものであれば特に限定されない。例えば、基準体41,42それぞれとカメラとの相対的位置関係、及び、移動経路Pとカメラとの相対的位置関係に基づいて、三角法の演算を用いて変換データを生成してもよい。
【0065】
ステップS15からステップS19において、処理部310は、画像におけるヒトHの位置変化(第1位置変化)を求める処理を実行する。ステップS15からステップS19までの一連の処理は、画像に含まれる画像フレームのうち、測定対象であるヒトHが写っている個々の画像フレームそれぞれについて行われる。なお、ステップS15からステップS19の処理の繰り返しの終了条件は、例えば、ヒトHが測定終了位置Gcに到達したことであってもよいし、ヒトHが画像フレーム外に移動したことであってもよい。
【0066】
ステップS15において、処理部310は、図6(a)に示すような画像フレーム100から背景を除去する。背景除去の処理により、図6(b)に示すように、測定対象H以外の領域の画素は、ぼぼ黒色となり、測定対象Hの領域はハイライトされたものとなる。
【0067】
ステップS16において、処理部310は、フィルタリングをする。背景が除去された画像フレーム100におけるノイズが、フィルタリングにより除去される。フィルタリングには、例えば、2次元メディアンフィルタが用いられる。図6(c)はフィルタリングされた画像フレーム100を示す。
【0068】
ステップS17において、処理部310は、フィルタリングされた画像フレーム100を2値化する。図16(d)に示すように、2値化により、ヒトHの領域が、白色領域として抽出される。
【0069】
ステップS18において、処理部310は、ヒトHの領域における特定の位置を、画像フレーム100におけるヒトHの位置として決定する。実施形態においては、ヒトHの領域の幾何学的な重心Cを、ヒトHの位置とする。
【0070】
重心Cは、水平方向Xcの座標C及び垂直方向Ycの座標Cで規定される2次元位置であってもよいが、本実施形態では、移動経路Pに沿った水平方向Xcの位置変化(及び速度変化)を測定するため、重心は、水平方向Xcの座標で示される1次元位置Cある。水平方向Xcの座標で示される1次元位置としての重心(水平方向重心)Cは、例えば、ヒトHの領域において、水平方向Xcの幾何学的重心となる位置として求められる。
【0071】
重心C(例えば、水平方向重心C)を求める場合、画像100におけるヒトHの領域のうち、ヒトHの脚の領域を除去した上半身の領域を用いても良い。上半身の領域から決定された重心位置Cは、脚の動きによる重心位置の変動を排除でき、適切な水平方向位置変化を得るのに有用である。
【0072】
ステップS15からステップS19の繰り返し実行により各画像フレームにおける水平方向重心Cを求めることで、画像座標系(Xc,Yc)におけるヒトHの第1位置変化が得られる。第1位置変化は、水平方向重心Cの位置変化であるため、画像座標系(Xc,Yc)において、移動経路Pに沿った水平方向Xcの成分を有するが、他の方向Ycの成分は有しない。つまり、第1位置変化は、1次元の位置変化を示す。得られた第1位置変化は、記憶部320の第1位置変化記憶領域325に保存される。
【0073】
ステップS20において、処理部310は、画像座標系(Xc,Yc)における1次元Xcの第1位置変化を、現実の測定空間(X,Y,Z)での移動経路Pに沿った平面52内の実距離座標系(X,Y)における1次元Xの第2位置変化に変換する。変換は、変換データ記憶領域324に保存された変換データを用いた座標変換により行われる。座標変換により得られた第2位置変化は、現実の測定空間における実距離の位置変化を示すものとなる。第2位置変化は、記憶部320の第2位置変化記憶領域326に保存される。
【0074】
ステップS21において、処理部310は、移動経路Pに沿ったヒトHの瞬時速度(速度変化)を計算する。時々刻々変化する瞬時速度は、第2位置変化を時間微分することにより求まる。瞬時速度は、ヒトの運動能力を評価するためのパラメータとして有用である。なお、処理部310は、移動経路Pを移動する間の平均速度を求めても良い。求めた速度は、記憶部320の記憶領域327に保存される。
【0075】
なお、処理部310は、水平方向重心Cとは別に、垂直方向重心Cを求めても良い。垂直方向重心Cは、例えば、ヒトHの領域において、垂直方向Ycの幾何学的重心となる位置として求められる。垂直方向重心Cは、歩行又は走行に応じて変動するため、処理部310は、垂直方向重心Cの変動から、移動経路Pを移動するために要した歩数を求めることができる。また、処理部310は、移動経路Pの距離D1を歩数で除することで、歩幅を求めることができ、歩数を、移動経路Pの移動するために要した所要時間で除することで、歩行率を求めることができる。
【0076】
ステップS22において、処理部310は、第2位置変化や瞬時速度など、測定により得られた結果を、ディスプレイ330に出力する。出力は、測定により得られた結果をネットワークへ送信することであってもよい。
【0077】
[3.実験結果]
【0078】
図7は、実施形態に係る測定装置10による位置と速度の測定精度を評価するために行った実験結果を示す。実験では、比較のため、ヒトHの位置と速度をモーションキャプチャによっても測定した。モーションキャプチャとして、Motion Analysis Corporation社のMAC3D systemを用いた。モーションキャプチャによる測定のため、被験者となるヒトHには、29個の反射マーカを取り付けた。
【0079】
実験では、2つの移動態様それぞれについて位置と速度を測定した。第1移動態様では、移動経路Pに沿った移動において初期加速が生じるように、静止した起立状態から移動を開始した。第1移動態様による移動は、初期加速後に歩行する態様(Walking Initiation)と、初期加速後に走行する態様(Running Initiation)のそれぞれを行った。第2移動態様では、測定開始位置Sを超える前に快適移動速度に達するように、測定開始位置Sの約5m手前から移動を開始した。第2移動態様でも、快適移動が歩行である場合(Walking)と、快適移動が走行である場合(Running)のそれぞれを行った、
【0080】
図7において、実線は、実施形態に係る測定装置10による測定結果を示し、点線は、モーションキャプチャによる測定結果を示す。また、図7(a)(b)は、第1移動態様(Walking Initiation)の測定結果であり、図7(a)は、位置変化の測定結果であり、図7(b)は、速度変化の測定結果である。図7(c)(d)は、第2移動態様(Walking)の測定結果であり、図7(c)は、位置変化の測定結果であり、図7(d)は、速度変化の測定結果である。なお、図7において、横軸は、時間を示し、図7(a)(c)の縦軸は移動経路P上の位置を示し、図7(b)(d)の縦軸は、瞬時速度を示す。
【0081】
図7から明らかなように、実施形態に係る測定装置10による測定結果(実線)は、動きを高精度で測定できるモーションキャプチャによる測定結果(点線)と、ほぼ一致しており、実施形態に係る測定装置10による測定の精度が高いことを示している。しかも、実施形態に係る測定装置10による測定では、モーションキャプチャによる測定のようなマーカを用いる必要がないため、測定が容易となる。
【0082】
また、8人の被験者Hについての、実施形態に係る測定装置10による測定結果(位置及び速度))と、モーションキャプチャによる測定結果(位置及び速度)とのRMS誤差(二乗平均平方根誤差)を、表1に示した。表1は、8人の被験者Hについての両測定結果のRMSの平均(Average)と標準偏差(S.D.)を示している。
【0083】
表1に示すように、位置(Position)の時間的変化に関し、両測定結果の平均RMS誤差は、0.011m−0.033mの範囲内に収まっており、良好な結果が得られていることがわかる。また、速度(Speed)の時間的変化に関し、両測定の平均RMS誤差は、0.054m/s−0.076m/sの範囲内に収まっており、良好な結果が得られている。
【0084】
【表1】
【0085】
[4.測定装置の他の使用例]
【0086】
図8は、実施形態の測定装置10の他の使用例を示している。ここでは、100m走のような短距離走における運動選手Hの移動を測定する。比較的長い移動経路Pにおける移動の測定には、図8に示すように、複数のカメラ20が用いられる。移動経路Pには、基準体として、例えば、6個のコーン41−46が移動経路Pの近傍において、移動経路Pと平行に設置される。6個のコーン41−46それぞれの隣接間隔D1は、例えば、20[m]である。6個のコーン41−46により、100mの移動経路Pの距離を示すことができる。
【0087】
各カメラ20は、それぞれ、2つのコーンが写る範囲を分担して撮像する。ここでは、各カメラ20に接続されたコンピュータ30のうち、いずれか一つのコンピュータ30が、マスタとなり、他のコンピュータ30が、スレーブになるものとする。図8において、マスタは、Mで示され、スレーブは、Sで示されている。マスタは、スレーブから撮像された画像を、通信インタフェース350を介して、取得し、移動経路全体の測定結果(位置及び速度)を生成する。また、マスタは、各スレーブで生成された部分移動経路における測定結果(位置及び速度)を取得し、移動経路全体の測定結果(位置及び速度)を生成してもよい。また、マスタは、カメラ20に接続されたコンピュータである必要はなく、ネットワーク上のサーバであってもよい。
【0088】
[5.付記]
【0089】
本発明は上記実施形態に限定されるものではなく、様々な変形が可能である。
【符号の説明】
【0090】
10 測定装置
20 カメラ
30 コンピュータ
41 基準体(コーン)
41a 基準点
42 基準体(コーン)
42b 基準点
310 処理部
320 記憶部
330 ディスプレイ
340 入力デバイス
350 通信インタフェース
A 画角
C 重心
水平方向重心
垂直方向重心
D1 間隔
D2 間隔
H 測定対象
L1 仮想線
L2 仮想線
L3 仮想線
P 移動経路
測定空間における第1経路位置(測定開始位置)
測定空間における第2経路位置(測定終了位置)
Sc 画像における第1経路位置(測定開始位置)
Gc 画像における第2経路位置(測定終了位置)
図1
図2
図3
図4
図5
図6
図7
図8