ホーム > 特許ランキング > 株式会社Ｑｏｎｃｅｐｔ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022080907
(43)【公開日】2022-05-31
(54)【発明の名称】軌道算出装置、軌道算出方法、軌道算出プログラム
(51)【国際特許分類】
G01B 11/00 20060101AFI20220524BHJP
G06T 7/246 20170101ALI20220524BHJP
【ＦＩ】
G01B11/00 H
G06T7/246
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2020192118
(22)【出願日】2020-11-19
(11)【特許番号】
(45)【特許公報発行日】2021-04-14
(71)【出願人】
【識別番号】512206769
【氏名又は名称】株式会社Ｑｏｎｃｅｐｔ
(74)【代理人】
【識別番号】100183988
【弁理士】
【氏名又は名称】渡邉 泰帥
(72)【発明者】
【氏名】林 建一
(72)【発明者】
【氏名】南部 俊輔
【テーマコード（参考）】
2F065
5L096
【Ｆターム（参考）】
2F065AA04
2F065AA09
2F065BB15
2F065CC16
2F065DD03
2F065FF04
2F065JJ03
2F065QQ03
2F065QQ18
2F065QQ24
2F065QQ28
2F065QQ31
2F065RR09
2F065UU05
5L096CA04
5L096FA09
5L096FA66
5L096FA67
5L096FA69
5L096HA04
5L096JA11
(57)【要約】
【課題】
フィギュアスケートなど跳躍を伴う運動競技などにおいて、機材が簡易な単眼カメラで撮像した動画像から動体の軌道を精度高く算出することで跳躍の高さや飛距離を計測するとのニーズがある。
【解決手段】
本発明は、画像フレームの情報から目標とする動体の特定点を検出し、連続する複数の画像フレームの情報から特定点の三次元位置に関する変化量を算出し、離陸点と着陸点を通過する放物運動を記述できる曲線と、特定点が存在する直線の位置関係から特定点の三次元での軌道を算出することを特徴とする単眼カメラで撮像した複数の画像フレームの情報から跳躍する目標とする動体の三次元での軌道を算出する装置、方法、プログラムを提供する。
【選択図】図１
フィギュアスケートなど跳躍を伴う運動競技などにおいて、機材が簡易な単眼カメラで撮像した動画像から動体の軌道を精度高く算出することで跳躍の高さや飛距離を計測するとのニーズがある。
【解決手段】
本発明は、画像フレームの情報から目標とする動体の特定点を検出し、連続する複数の画像フレームの情報から特定点の三次元位置に関する変化量を算出し、離陸点と着陸点を通過する放物運動を記述できる曲線と、特定点が存在する直線の位置関係から特定点の三次元での軌道を算出することを特徴とする単眼カメラで撮像した複数の画像フレームの情報から跳躍する目標とする動体の三次元での軌道を算出する装置、方法、プログラムを提供する。
【選択図】図１
【特許請求の範囲】
【請求項1】
単眼カメラで撮像した複数の画像フレームの情報から跳躍する目標とする動体の三次元での軌道を算出する軌道算出装置であって、
前記画像フレームの情報から前記目標とする動体の特定点を検出する検出部と、
前記画像フレームに撮像された前記特定点の像についての三次元位置と、前記単眼カメラのレンズの光学中心の三次元位置と、を結んだ存在直線を算出する存在直線算出部と、
連続する複数の前記画像フレームの情報から前記特定点の三次元位置に関する変化量を算出して、算出した前記変化量から前記目標とする動体が離陸した離陸点を判定して、前記離陸点における前記特定点の三次元位置を算出する離陸点算出部と、
連続する複数の前記画像フレームの情報から前記特定点の三次元位置に関する変化量を算出して、算出した前記変化量から前記目標とする動体が着地した着地点を判定して、前記着地点における前記特定点の三次元位置を算出する着地点算出部と、
前記離陸点算出部が算出した前記離陸点における前記特定点の三次元位置と、前記着地点算出部が算出した前記着地点における前記特定点の三次元位置と、を通過する放物運動を記述できる曲線と、前記目標とする動体の離陸後であって着地前における１ないし複数の前記画像フレームに撮像された前記特定点の像についての前記存在直線と、の位置関係から前記特定点の三次元での軌道を算出する軌道算出部と、
を備えることを特徴とする軌道算出装置。
前記画像フレームの情報から前記目標とする動体の特定点を検出する検出部と、
前記画像フレームに撮像された前記特定点の像についての三次元位置と、前記単眼カメラのレンズの光学中心の三次元位置と、を結んだ存在直線を算出する存在直線算出部と、
連続する複数の前記画像フレームの情報から前記特定点の三次元位置に関する変化量を算出して、算出した前記変化量から前記目標とする動体が離陸した離陸点を判定して、前記離陸点における前記特定点の三次元位置を算出する離陸点算出部と、
連続する複数の前記画像フレームの情報から前記特定点の三次元位置に関する変化量を算出して、算出した前記変化量から前記目標とする動体が着地した着地点を判定して、前記着地点における前記特定点の三次元位置を算出する着地点算出部と、
前記離陸点算出部が算出した前記離陸点における前記特定点の三次元位置と、前記着地点算出部が算出した前記着地点における前記特定点の三次元位置と、を通過する放物運動を記述できる曲線と、前記目標とする動体の離陸後であって着地前における１ないし複数の前記画像フレームに撮像された前記特定点の像についての前記存在直線と、の位置関係から前記特定点の三次元での軌道を算出する軌道算出部と、
を備えることを特徴とする軌道算出装置。
【請求項2】
前記離陸点算出部は、
撮像された時刻の正順に連続する複数の前記画像フレームの情報から前記特定点の三次元位置に関する変化量を算出して、算出した変化量が閾値より大きい場合に前記目標とする動体が離陸したとして離陸点を判定して、離陸点における前記特定点の三次元位置を算出する手段、
を備えることを特徴とする請求項１に記載の軌道算出装置。
撮像された時刻の正順に連続する複数の前記画像フレームの情報から前記特定点の三次元位置に関する変化量を算出して、算出した変化量が閾値より大きい場合に前記目標とする動体が離陸したとして離陸点を判定して、離陸点における前記特定点の三次元位置を算出する手段、
を備えることを特徴とする請求項１に記載の軌道算出装置。
【請求項3】
前記着地点算出部は、
撮像された時刻の逆順に連続する複数の前記画像フレームの情報から前記特定点の三次元位置に関する変化量を算出して、算出した変化量が閾値より大きい場合に前記目標とする動体が着地したとして着地点を判定して、着地点における前記特定点の三次元位置を算出する手段、
を備えることを特徴とする請求項２に記載の軌道算出装置。
撮像された時刻の逆順に連続する複数の前記画像フレームの情報から前記特定点の三次元位置に関する変化量を算出して、算出した変化量が閾値より大きい場合に前記目標とする動体が着地したとして着地点を判定して、着地点における前記特定点の三次元位置を算出する手段、
を備えることを特徴とする請求項２に記載の軌道算出装置。
【請求項4】
前記着地点算出部は、
前記離陸点が撮像された時刻以降であって撮像された時刻の正順に連続する複数の前記画像フレームの情報から前記特定点の三次元位置に関する変化量を算出して、算出した変化量の正負が反転した場合に前記目標とする動体が跳躍の頂点に達したと判定して前記頂点が撮像された時刻を取得し、前記頂点が撮像された時刻から前記離陸点が撮像された時刻を減じた時間の２倍の時間に一定の時間を加算した時間が前記離陸点が撮像された時刻から経過した時刻から、撮像された時刻の逆順に連続する複数の前記画像フレームの情報から前記特定点の三次元位置に関する変化量を算出して、算出した変化量が閾値より大きい場合に前記目標とする動体が着地したとして着地点を判定して、着地点における前記特定点の三次元位置を算出する手段、
を備えることを特徴とする請求項２に記載の軌道算出装置。
前記離陸点が撮像された時刻以降であって撮像された時刻の正順に連続する複数の前記画像フレームの情報から前記特定点の三次元位置に関する変化量を算出して、算出した変化量の正負が反転した場合に前記目標とする動体が跳躍の頂点に達したと判定して前記頂点が撮像された時刻を取得し、前記頂点が撮像された時刻から前記離陸点が撮像された時刻を減じた時間の２倍の時間に一定の時間を加算した時間が前記離陸点が撮像された時刻から経過した時刻から、撮像された時刻の逆順に連続する複数の前記画像フレームの情報から前記特定点の三次元位置に関する変化量を算出して、算出した変化量が閾値より大きい場合に前記目標とする動体が着地したとして着地点を判定して、着地点における前記特定点の三次元位置を算出する手段、
を備えることを特徴とする請求項２に記載の軌道算出装置。
【請求項5】
前記軌道算出部は、
前記離陸点算出部が算出した前記離陸点における前記特定点の三次元位置と、前記着地点算出部が算出した前記着地点における前記特定点の三次元位置と、を通過する放物運動を記述できる曲線であって、
前記目標とする動体の離陸後であって着地前における１ないし複数の前記画像フレームに撮像された１ないし複数の前記特定点の像についての存在直線との距離の合計を最小とする前記曲線を、前記特定点の三次元での軌道として算出する手段、
を備えることを特徴とする請求項１から請求項４のいずれか１項に記載の軌道算出装置。
前記離陸点算出部が算出した前記離陸点における前記特定点の三次元位置と、前記着地点算出部が算出した前記着地点における前記特定点の三次元位置と、を通過する放物運動を記述できる曲線であって、
前記目標とする動体の離陸後であって着地前における１ないし複数の前記画像フレームに撮像された１ないし複数の前記特定点の像についての存在直線との距離の合計を最小とする前記曲線を、前記特定点の三次元での軌道として算出する手段、
を備えることを特徴とする請求項１から請求項４のいずれか１項に記載の軌道算出装置。
【請求項6】
前記軌道算出部は、
前記離陸点算出部が算出した前記離陸点における前記特定点の三次元位置と、前記着地点算出部が算出した前記着地点における前記特定点の三次元位置と、を通過する放物運動を記述できる曲線であって、
前記目標とする動体の離陸後であって着地前における１ないし複数の前記特定点について、撮像された時刻における前記画像フレームに撮像された前記特定点の像についての存在直線と、前記特定点の撮像された時刻における前記曲線上の予測位置と、の距離を算出し、算出された１ないし複数の前記予測位置との距離の合計を最小とする前記曲線を、前記特定点の三次元での軌道として算出する手段、
を備えることを特徴とする請求項１から請求項４のいずれか１項に記載の軌道算出装置。
前記離陸点算出部が算出した前記離陸点における前記特定点の三次元位置と、前記着地点算出部が算出した前記着地点における前記特定点の三次元位置と、を通過する放物運動を記述できる曲線であって、
前記目標とする動体の離陸後であって着地前における１ないし複数の前記特定点について、撮像された時刻における前記画像フレームに撮像された前記特定点の像についての存在直線と、前記特定点の撮像された時刻における前記曲線上の予測位置と、の距離を算出し、算出された１ないし複数の前記予測位置との距離の合計を最小とする前記曲線を、前記特定点の三次元での軌道として算出する手段、
を備えることを特徴とする請求項１から請求項４のいずれか１項に記載の軌道算出装置。
【請求項7】
単眼カメラで撮像した複数の画像フレームの情報から跳躍する目標とする動体の三次元での軌道を算出する軌道算出方法であって、
前記画像フレームの情報から前記目標とする動体の特定点を検出する検出ステップと、
前記画像フレームに撮像された前記特定点の像についての三次元位置と、前記単眼カメラのレンズの光学中心の三次元位置と、を結んだ存在直線を算出する存在直線算出ステップと、
連続する複数の前記画像フレームの情報から前記特定点の三次元位置に関する変化量を算出して、算出した前記変化量から前記目標とする動体が離陸した離陸点を判定して、前記離陸点における前記特定点の三次元位置を算出する離陸点算出ステップと、
連続する複数の前記画像フレームの情報から前記特定点の三次元位置に関する変化量を算出して、算出した前記変化量から前記目標とする動体が着地した着地点を判定して、前記着地点における前記特定点の三次元位置を算出する着地点算出ステップと、
前記離陸点算出ステップで算出した前記離陸点における前記特定点の三次元位置と、前記着地点算出ステップで算出した前記着地点における前記特定点の三次元位置と、を通過する放物運動を記述できる曲線と、前記目標とする動体の離陸後であって着地前における１ないし複数の前記画像フレームに撮像された前記特定点の像についての前記存在直線と、の位置関係から前記特定点の三次元での軌道を算出する軌道算出ステップと、
を備えることを特徴とする軌道算出方法。
前記画像フレームの情報から前記目標とする動体の特定点を検出する検出ステップと、
前記画像フレームに撮像された前記特定点の像についての三次元位置と、前記単眼カメラのレンズの光学中心の三次元位置と、を結んだ存在直線を算出する存在直線算出ステップと、
連続する複数の前記画像フレームの情報から前記特定点の三次元位置に関する変化量を算出して、算出した前記変化量から前記目標とする動体が離陸した離陸点を判定して、前記離陸点における前記特定点の三次元位置を算出する離陸点算出ステップと、
連続する複数の前記画像フレームの情報から前記特定点の三次元位置に関する変化量を算出して、算出した前記変化量から前記目標とする動体が着地した着地点を判定して、前記着地点における前記特定点の三次元位置を算出する着地点算出ステップと、
前記離陸点算出ステップで算出した前記離陸点における前記特定点の三次元位置と、前記着地点算出ステップで算出した前記着地点における前記特定点の三次元位置と、を通過する放物運動を記述できる曲線と、前記目標とする動体の離陸後であって着地前における１ないし複数の前記画像フレームに撮像された前記特定点の像についての前記存在直線と、の位置関係から前記特定点の三次元での軌道を算出する軌道算出ステップと、
を備えることを特徴とする軌道算出方法。
【請求項8】
単眼カメラで撮像した複数の画像フレームの情報から跳躍する目標とする動体の三次元での軌道をコンピュータに算出させる軌道算出プログラムであって、
前記画像フレームの情報から前記目標とする動体の特定点を検出する検出ステップと、
前記画像フレームに撮像された前記特定点の像についての三次元位置と、前記単眼カメラのレンズの光学中心の三次元位置と、を結んだ存在直線を算出する存在直線算出ステップと、
連続する複数の前記画像フレームの情報から前記特定点の三次元位置に関する変化量を算出して、算出した前記変化量から前記目標とする動体が離陸した離陸点を判定して、前記離陸点における前記特定点の三次元位置を算出する離陸点算出ステップと、
連続する複数の前記画像フレームの情報から前記特定点の三次元位置に関する変化量を算出して、算出した前記変化量から前記目標とする動体が着地した着地点を判定して、前記着地点における前記特定点の三次元位置を算出する着地点算出ステップと、
前記離陸点算出ステップで算出した前記離陸点における前記特定点の三次元位置と、前記着地点算出ステップで算出した前記着地点における前記特定点の三次元位置と、を通過する放物運動を記述できる曲線と、前記目標とする動体の離陸後であって着地前における１ないし複数の前記画像フレームに撮像された前記特定点の像についての前記存在直線と、の位置関係から前記特定点の三次元での軌道を算出する軌道算出ステップと、
をコンピュータに実行させることを特徴とする軌道算出プログラム。
前記画像フレームの情報から前記目標とする動体の特定点を検出する検出ステップと、
前記画像フレームに撮像された前記特定点の像についての三次元位置と、前記単眼カメラのレンズの光学中心の三次元位置と、を結んだ存在直線を算出する存在直線算出ステップと、
連続する複数の前記画像フレームの情報から前記特定点の三次元位置に関する変化量を算出して、算出した前記変化量から前記目標とする動体が離陸した離陸点を判定して、前記離陸点における前記特定点の三次元位置を算出する離陸点算出ステップと、
連続する複数の前記画像フレームの情報から前記特定点の三次元位置に関する変化量を算出して、算出した前記変化量から前記目標とする動体が着地した着地点を判定して、前記着地点における前記特定点の三次元位置を算出する着地点算出ステップと、
前記離陸点算出ステップで算出した前記離陸点における前記特定点の三次元位置と、前記着地点算出ステップで算出した前記着地点における前記特定点の三次元位置と、を通過する放物運動を記述できる曲線と、前記目標とする動体の離陸後であって着地前における１ないし複数の前記画像フレームに撮像された前記特定点の像についての前記存在直線と、の位置関係から前記特定点の三次元での軌道を算出する軌道算出ステップと、
をコンピュータに実行させることを特徴とする軌道算出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、軌道算出装置、軌道算出方法、軌道算出プログラムに関するものである。
【背景技術】
【0002】
フィギュアスケートなど跳躍を伴う運動競技において、撮像した動画像から動体の軌道を算出することで跳躍の高さや飛距離を計測するニーズがある。
【0003】
フィールドで行う運動競技では、跳躍の高さや飛距離の計測に適した競技場内の位置に設置したカメラで撮像した画像データに基づいて動体の三次元空間の位置を算出する技術が知られている。例えば、特許文献１に記載の技術などである。
【0004】
また、複数のカメラが同期をとって撮像したステレオ画像データから動体の連続した三次元位置を求めることで動体の軌道を算出することも一般的である。例えば、特許文献２に記載の技術などである。
【0005】
なお、非特許文献１には、画像データからの２次元での人間の姿勢推定についての技術が開示されている。非特許文献１については、発明を実施するための形態において触れる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２００１－３３６９１７号公報
【特許文献2】特開２００５－２３５１０４号公報
【非特許文献】
【0007】
【非特許文献1】Ｚｈｅ Ｃａｏ Ｊｅ， ｅｔ ａｌ．，‘Ｒｅａｌｔｉｍｅ Ｍｕｌｔｉ－Ｐｅｒｓｏｎ ２Ｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ’ ａｒＸｉｖ：１６１１．０８０５０ｖ２ ［ｃｓ．ＣＶ］ １４ Ａｐｒ ２０１７
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、フィギュアスケートのようにリンク内にカメラを設置できない運動競技では、特許文献１に記載の技術などは利用できない。また、特許文献２に記載のステレオマッチングでは、複数のカメラが同期をとって撮像することが必要となるが、単眼カメラで撮像した動画像から動体の軌道を精度高く算出できれば、跳躍の高さや飛距離を計測するための撮像機材も簡易にできる。
【0009】
そこで、本発明は、フィギュアスケートなど跳躍を伴う運動競技などにおいて、単眼カメラで撮像した動画像から動体の軌道を精度高く算出する装置、方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の一態様は、単眼カメラで撮像した複数の画像フレームの情報から跳躍する目標とする動体の三次元での軌道を算出する軌道算出装置であって、画像フレームの情報から目標とする動体の特定点を検出する検出部と、画像フレームに撮像された特定点の像についての三次元位置と、単眼カメラのレンズの光学中心の三次元位置と、を結んだ存在直線を算出する存在直線算出部と、連続する複数の画像フレームの情報から特定点の三次元位置に関する変化量を算出して、算出した変化量から目標とする動体が離陸した離陸点を判定して、離陸点における特定点の三次元位置を算出する離陸点算出部と、連続する複数の画像フレームの情報から特定点の三次元位置に関する変化量を算出して、算出した変化量から目標とする動体が着地した着地点を判定して、着地点における特定点の三次元位置を算出する着地点算出部と、離陸点算出部が算出した離陸点における特定点の三次元位置と、着地点算出部が算出した着地点における特定点の三次元位置と、を通過する放物運動を記述できる曲線と、目標とする動体の離陸後であって着地前における１ないし複数の画像フレームに撮像された特定点の像についての存在直線と、の位置関係から特定点の三次元での軌道を算出する軌道算出部と、を備えることを特徴とする。
【0011】
ここで、目標とする動体の特定点とは、画像フレームの情報から目標とする動体について軌道を算出するために特定する点をいう。例えば、後述する本発明の実施形態として説明するフィギュアスケート競技では、スケーターが装着したスケート靴のエッジの先端部を特定点としている。特定点については、本願書面において同様である。
【0012】
また、本願書面において、前述の通り、画像フレームに撮像された特定点の像についての三次元位置と単眼カメラのレンズの光学中心の三次元位置を結んだ直線を存在直線という。
【0013】
ここで、連続する画像フレームとは、２つの画像フレームの間に別の画像フレームが存在しない状態であって、必ずしも画像フレーム番号が連続である必要はない。例えば、２つの画像フレームが連続であっても、もともと間に存在した画像フレームがコマ落とし処理されたために画像フレーム番号が連続でない場合などがある。また、連続する複数の画像フレームは、同じ時間の流れに沿って時刻の順で複数の画像フレームが連続しているものとする。このため、本発明において、画像フレームの情報には、撮像された画像情報に加えて、画像フレームが撮像された時刻を情報として含む。いずれも、本願書面において同様である。
【0014】
本発明の一態様である軌道算出装置は、離陸点算出部は、撮像された時刻の正順に連続する複数の画像フレームの情報から特定点の三次元位置に関する変化量を算出して、算出した変化量が閾値より大きい場合に目標とする動体が離陸したとして離陸点を判定して、離陸点における特定点の三次元位置を算出する手段を備えることを特徴とする。
【0015】
本発明の一態様である軌道算出装置は、着地点算出部は、撮像された時刻の逆順に連続する複数の画像フレームの情報から特定点の三次元位置に関する変化量を算出して、算出した変化量が閾値より大きい場合に目標とする動体が着地したとして着地点を判定して、着地点における特定点の三次元位置を算出する手段を備えることを特徴とする。
【0016】
本発明の一態様である軌道算出装置は、着地点算出部は、離陸点が撮像された時刻以降であって撮像された時刻の正順に連続する複数の画像フレームの情報から特定点の三次元位置に関する変化量を算出して、算出した変化量の正負が反転した場合に目標とする動体が跳躍の頂点に達したと判定して頂点が撮像された時刻を取得し、頂点が撮像された時刻から離陸点が撮像された時刻を減じた時間の２倍の時間に一定の時間を加算した時間が離陸点が撮像された時刻から経過した時刻から、撮像された時刻の逆順に連続する複数の画像フレームの情報から特定点の三次元位置に関する変化量を算出して、算出した変化量が閾値より大きい場合に目標とする動体が着地したとして着地点を判定して、着地点における特定点の三次元位置を算出する手段を備えることを特徴とする。
【0017】
本発明の一態様である軌道算出装置は、軌道算出部は、離陸点算出部が算出した離陸点における特定点の三次元位置と、着地点算出部が算出した着地点における特定点の三次元位置と、を通過する放物運動を記述できる曲線であって、目標とする動体の離陸後であって着地前における１ないし複数の画像フレームに撮像された１ないし複数の特定点の像についての存在直線との距離の合計を最小とする曲線を、特定点の三次元での軌道として算出する手段を備えることを特徴とする。
【0018】
本発明の一態様である軌道算出装置は、軌道算出部は、離陸点算出部が算出した離陸点における特定点の三次元位置と、着地点算出部が算出した着地点における特定点の三次元位置と、を通過する放物運動を記述できる曲線であって、目標とする動体の離陸後であって着地前における１ないし複数の特定点について、撮像された時刻における画像フレームに撮像された特定点の像についての存在直線と、特定点の撮像された時刻における曲線上の予測位置と、の距離を算出し、算出された１ないし複数の予測位置との距離の合計を最小とする曲線を、特定点の三次元での軌道として算出する手段を備えることを特徴とする。
【0019】
本発明は、単眼カメラで撮像した複数の画像フレームの情報から跳躍する目標とする動体の三次元での軌道を算出する軌道算出方法であって、画像フレームの情報から目標とする動体の特定点を検出する検出ステップと、画像フレームに撮像された特定点の像についての三次元位置と、単眼カメラのレンズの光学中心の三次元位置と、を結んだ存在直線を算出する存在直線算出ステップと、連続する複数の画像フレームの情報から特定点の三次元位置に関する変化量を算出して、算出した変化量から目標とする動体が離陸した離陸点を判定して、離陸点における特定点の三次元位置を算出する離陸点算出ステップと、連続する複数の画像フレームの情報から特定点の三次元位置に関する変化量を算出して、算出した変化量から目標とする動体が着地した着地点を判定して、着地点における特定点の三次元位置を算出する着地点算出ステップと、離陸点算出ステップで算出した離陸点における特定点の三次元位置と、着地点算出ステップで算出した着地点における特定点の三次元位置と、を通過する放物運動を記述できる曲線と、目標とする動体の離陸後であって着地前における１ないし複数の画像フレームに撮像された特定点の像についての存在直線と、の位置関係から特定点の三次元での軌道を算出する軌道算出ステップと、を備えることを特徴とする。
【0020】
本発明は、単眼カメラで撮像した複数の画像フレームの情報から跳躍する目標とする動体の三次元での軌道をコンピュータに算出させる軌道算出プログラムであって、画像フレームの情報から目標とする動体の特定点を検出する検出ステップと、画像フレームに撮像された特定点の像についての三次元位置と、単眼カメラのレンズの光学中心の三次元位置と、を結んだ存在直線を算出する存在直線算出ステップと、連続する複数の画像フレームの情報から特定点の三次元位置に関する変化量を算出して、算出した変化量から目標とする動体が離陸した離陸点を判定して、離陸点における特定点の三次元位置を算出する離陸点算出ステップと、連続する複数の画像フレームの情報から特定点の三次元位置に関する変化量を算出して、算出した変化量から目標とする動体が着地した着地点を判定して、着地点における特定点の三次元位置を算出する着地点算出ステップと、離陸点算出ステップで算出した離陸点における特定点の三次元位置と、着地点算出ステップで算出した着地点における特定点の三次元位置と、を通過する放物運動を記述できる曲線と、目標とする動体の離陸後であって着地前における１ないし複数の画像フレームに撮像された特定点の像についての存在直線と、の位置関係から特定点の三次元での軌道を算出する軌道算出ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【0021】
本発明によれば、フィギュアスケートなど跳躍を伴う運動競技などにおいて、単眼カメラで撮像した動画像から動体の軌道を精度高く算出することができる。
【図面の簡単な説明】
【0022】
【図1】軌道算出装置のブロック図である。
【図2】軌道算出装置のハードウェア構成図である。
【図3】フィギュアスケート競技でスケーターがジャンプした様子を模式的に描いた図である。
【図4】実施例に係る軌道算出装置の動作を示すフローチャートである。
【図5】実施例の説明で使用する座標系を記述した図である。
【図7】離陸点算出処理と着地点算出処理について説明するための図である。
【図8】軌道算出処理の例を示す図である。
【図9】軌道算出処理の他の例を示す図である。
【発明を実施するための形態】
【0023】
本発明の実施形態について図面を参照して説明する。なお、重複する説明は省略し、各図面において同一又は相当部分には同一の符号を付す。
【0024】
本実施形態に係る軌道算出装置、方法、プログラムは、例えば、フィギュアスケートなど跳躍を伴う運動競技などにおいて、単眼カメラで撮像した動画像から動体の軌道を精度高く算出することができる。
【0025】
図１は、軌道算出装置のブロック図である。軌道算出装置１は、単独で装置として構成される形態のみならず、他の装置に組み込まれて使用される形態であってもよい。軌道算出装置１を組み込む他の装置は、例えば、スマートフォン、情報携帯端末、デジタルカメラ、ゲーム端末、テレビ等の電化製品であってもよい。軌道算出装置１は、図２に示すように、物理的には、中央演算装置（ＣＰＵ）２０１、入力装置２０２、出力装置２０３、主記憶装置（ＲＡＭ／ＲＯＭ）２０４、補助記憶装置２０５を含むコンピュータとして構成される。
【0026】
軌道算出装置１の各機能は、図２に示す中央演算装置（ＣＰＵ）２０１、主記憶装置（ＲＡＭ／ＲＯＭ）２０４等に、単眼カメラで撮像した動画像から目標とする動体の特定の点の位置変化を追跡して、追跡する目標とする動体の特定の点が遮蔽された場合にも見失うことなく三次元位置の軌道を算出するようにコンピュータを機能させるプログラムを読み込ませることにより、中央演算装置（ＣＰＵ）２０１の制御により入力装置２０２、出力装置２０３を動作させるとともに、主記憶装置（ＲＡＭ／ＲＯＭ）２０４、補助記憶装置２０５とデータの読み書きを行うことで実現される。
【0027】
図１に示すように、軌道算出装置１は、検出部１０１、存在直線算出部１０２、離陸点算出部１０３、着地点算出部１０４及び軌道算出部１０５を備える。軌道算出装置１には、外部から入力として、単眼カメラによって撮像された目標とする動体の動画についての画像フレームの情報が与えられる。画像フレームの情報には、撮像された画像情報に加えて、画像フレームが撮像された時刻を情報として含む。また、軌道算出装置１は、目標とする動体の特定点の軌道についての情報を外部へ出力する。
【0028】
図１のブロック図に従って、軌道算出装置１の各ブロックの機能を説明する。なお、各ブロックの詳細な動作については、実施例の中で後述する。
【0029】
検出部１０１は、画像フレームの情報から、目標とする動体の特定点を検出する。
【0030】
存在直線算出部１０２、は、画像フレームに撮像された特定点の像についての三次元位置と、単眼カメラのレンズの光学中心の三次元位置と、を結んだ存在直線を算出する。具体的な算出処理については、実施例の中で後述する。
【0031】
離陸点算出部１０３は、連続する複数の画像フレームの情報から特定点の三次元位置に関する変化量を算出して、算出した変化量から目標とする動体が離陸した離陸点を判定して、離陸点における特定点の三次元位置を算出する。具体的な算出処理については、実施例の中で後述する。
【0032】
着地点算出部１０４は、連続する複数の画像フレームの情報から特定点の三次元位置に関する変化量を算出して、算出した変化量から目標とする動体が着地した着地点を判定して、着地点における特定点の三次元位置を算出する。具体的な算出処理については、実施例の中で後述する。
【0033】
軌道算出部１０５は、離陸点算出部が算出した離陸点における特定点の三次元位置と、着地点算出部が算出した着地点における特定点の三次元位置と、を通過する放物運動を記述できる曲線と、目標とする動体の離陸後であって着地前における１ないし複数の画像フレームに撮像された特定点の像についての存在直線と、の位置関係から特定点の三次元での軌道を算出する。具体的な算出処理については、実施例の中で後述する。
【0034】
次に、本実施形態に係る軌道算出装置１の動作について説明する。説明理解の容易性を考慮して、単眼カメラで撮像したフィギュアスケート競技の画像からジャンプしたスケーターが装着したスケート靴のエッジの先端部の軌道を算出する場合の軌道算出装置１の動作を実施例として説明する。なお、これは例示であって、フィギュアスケート競技のみに本発明の適用を限るものではない。
【実施例0035】
図３は、本実施例において、好適な例として説明するフィギュアスケート競技でスケーターがジャンプした様子を模式的に描いた図である。図３では、３０１から３０５のそれぞれはジャンプしたスケーターが装着したスケート靴のエッジの先端部を示し、本実施例においては、スケート靴のエッジの先端部を特定点とする。３０１は離陸点における特定点、３０２は着地点における特定点を示し、３０３から３０５はジャンプ途中における空中での特定点を示している。特に、３０４はジャンプの軌道における頂点での特定点を示している。
【0036】
フィギュアスケート競技では、ジャンプの高さや飛距離が演技の優劣決定の大きな要素であって、フィギュアスケート競技を撮像した画像からスケーターのジャンプの軌道を得るニーズは大きい。一方、近年、いわゆるスマートフォンなどのデバイスに内蔵されたカメラの高性能化もあり、単眼カメラによって簡便に動画像を撮像することも一般的になっている。フィギュアスケートなど跳躍を伴う運動競技などにおいて単眼カメラで撮像した動画像から動体の軌道を精度高く算出することができれば、スマートフォンなどの簡易な機材でジャンプの高さや飛距離を計測するとのニーズに応えることができる。このため、本発明は、フィギュアスケート競技において好適に採用されるものである。これは、例示であって、フィギュアスケート競技のみに本発明の適用を限るものではない。
【0037】
【0038】
軌道算出装置１には、単眼カメラによって撮像された複数の画像フレームの情報が入力される。本実施例では、画像フレームの情報には、撮像された画像情報に加えて、画像フレームが撮像された時刻が情報として含まれる。軌道算出装置１は、処理する画像フレームの情報がすべて入力された後に動作を開始する。動作の開始は、画像フレームの情報の入力後に自動的であっても、明示的な命令によるものであってもよい。軌道算出装置１は、入力された画像フレームの情報について図４のフローチャートの処理を行う。
【0039】
軌道算出装置１は、動作を開始すると、検出部１０１が検出処理（Ｓ４０１）を実行する。検出処理（Ｓ４０１）では、入力された画像データから、撮像された目標とする動体の特定点を検出する。本実施例では、前述の通り、特定点としてスケーターが装着したスケート靴のエッジの先端部の点をとる。
【0040】
画像データからの特定点の検出については、画像データから特定点の画像フレームにおける二次元平面での座標が検出できれば方法は問わない。例えば、非特許文献１などで開示されている画像データからの２次元での人間の姿勢推定技術などによる。また、撮像対象のスケーターがあらかじめ特定点につけたマーカを画像データから検出する方法によってもよい。検出部１０１による検出処理（Ｓ４０１）が終了すると、存在直線算出部１０２が存在直線算出処理（Ｓ４０２）を開始する。
【0041】
ここで、存在直線算出部１０２が行う存在直線算出処理（Ｓ４０２）の説明に先立って、一旦、図４のフローチャートを離れ、本実施例の説明で使用する座標系について説明する。図５は、本実施例の説明で使用する座標系を記述した図である。
【0042】
座標系ΣＸＹＺは、実三次元空間での三次元直交座標系である。本実施例においては、座標系ΣＸＹＺは、フィギュアスケート競技を行うリンクの氷面５０９の形状が長軸方向、短軸方向の各々において対称である長円形であるとし、氷面５０９上であって長軸と短軸の交点を原点Ｏ（０，０，０）５０１とし、長軸方向にＸ軸を、短軸方向にＹ軸をとる三次元直交座標系とする。
【0043】
また、本実施例では、座標系ΣＸＹＺで三次元座標が既知である複数の点（以下、基準点）として、氷面５０９の外縁とＸ軸の２つ交点（５０５と５０６）と、氷面５０９の外縁とＹ軸の２つ交点（５０７と５０８）について三次元座標を次の通り設定する。ここでは、リンクの長軸方向の長さが２Ａ、短軸方向の長さが２Ｂとした例である。Ａ及びＢは定数である。
基準点５０５：（Ｘ，Ｙ，Ｚ）＝（Ａ，０，０）
基準点５０６：（Ｘ，Ｙ，Ｚ）＝（－Ａ，０，０）
基準点５０７：（Ｘ，Ｙ，Ｚ）＝（０，Ｂ，０）
基準点５０８：（Ｘ，Ｙ，Ｚ）＝（０，－Ｂ，０）
基準点５０５：（Ｘ，Ｙ，Ｚ）＝（Ａ，０，０）
基準点５０６：（Ｘ，Ｙ，Ｚ）＝（－Ａ，０，０）
基準点５０７：（Ｘ，Ｙ，Ｚ）＝（０，Ｂ，０）
基準点５０８：（Ｘ，Ｙ，Ｚ）＝（０，－Ｂ，０）
【0044】
なお、これは例示であって、三次元座標系と基準点の設定をこれに限るものではない。三次元座標系と基準点の設定は、目標とする動体の運動特性や環境条件などにあわせて適したものを設定することが望ましい。本実施例では、後述の通り、カメラのレンズの光学中心の三次元位置座標とレンズの外部パラメータを求めるために三次元位置座標が既知である基準点を利用する。
【0045】
座標系Σｘｙｚは、カメラのレンズの光学中心に原点５０２を持つ三次元直交座標系である。座標系Σｕｖは、画像フレーム（撮像素子面）５０４に固定された原点５０３を持つ二次元直交座標系である。座標系Σｕｖは、座標系Σｘｙｚを平行移動した座標系で、ｘｙ座標軸とｕｖ座標軸は平行である。また、座標系Σｘｙｚのｚ軸と画像フレーム５０４の交点が座標系Σｕｖの原点５０３となる。座標系Σｘｙｚのｚ軸は画像フレーム５０４と直交する。
【0046】
以上が、本実施例の説明で使用する座標系について説明である。
【0047】
図４に戻り、存在直線算出部１０２が行う存在直線算出処理の説明に戻る。図６を用いて、存在直線算出処理（Ｓ４０２）が行う画像フレームにおける目標とする特定点の像の三次元位置とカメラのレンズの光学中心とを結んで構成される三次元直線の算出について説明する。
【0048】
図６は、図５の座標系において三次元空間の目標とする特定点Ｐをカメラで撮像した様子を表した図である。三次元直交座標系ΣＸＹＺにおける目標とする特定点Ｐの三次元位置を、Ｐ（Ｘ，Ｙ，Ｚ）とする。目標とする特定点Ｐは、レンズの光学中心を三次元直交座標系Σｘｙｚの原点６０２にもつカメラで画像フレーム５０４に像Ｐ’として撮像される。画像フレーム５０４での二次元直交座標系Σｕｖにおける像Ｐ’の二次元位置をＰ’（ｕ，ｖ）とする。
【0049】
図６では、レンズの光学中心（三次元直交座標系Σｘｙｚの原点５０２）の三次元直交座標系ΣＸＹＺにおける位置をＰ０（Ｘ０，Ｙ０，Ｚ０）とする。レンズの光学中心を原点５０２とする三次元直交座標系Σｘｙｚのｚ軸が光軸にあたる。光軸は、画像フレーム５０４と直交し、その交点は画像フレームでの二次元直交座標系Σｕｖの原点５０３となる。原点５０３の二次元位置をＱ（ｕ０，ｖ０）とする。三次元直交座標系Σｘｙｚの原点５０２と二次元直交座標系Σｕｖの原点５０３の距離が焦点距離であって、長さをｄとする。
【0050】
図６において、レンズの光学中心を原点５０２とする三次元直交座標系Σｘｙｚからみた像Ｐ’の位置は、Ｐ’（ｕ－ｕ０，ｖ－ｖ０，ｄ）となる。ここで、比例定数をｋ、レンズの光学中心を原点５０２とする三次元直交座標系Σｘｙｚから三次元空間における三次元直交座標系ΣＸＹＺへの座標変換行列をＲとする。本実施例では三次元空間における三次元直交座標系ΣＸＹＺにおけるカメラの位置座標とローテーションが与えられれば、座標変換行列Ｒを決定することができる。
【0051】
ローテーションとは、いわゆるレンズの外部パラメータであって、図６において座標系Σｘｙｚから座標系ΣＸＹＺに座標変換する際の三軸の回転角度パラメータである。ローテーションの値が決定することで、レンズの光軸が定まる。図６において、座標系Σｘｙｚのｚ軸が光軸である。
【0052】
また、実施例においては、いわゆるレンズの内部パラメータ（焦点距離、レンズのひずみ）は既知とする。図６において、カメラのレンズの光学中心（座標系Σｘｙｚの原点５０２）と座標系Σｕｖの原点５０３の距離が焦点距離となる。なお、レンズのひずみが結果に影響を及ぼすような場合は、ひずみを除去した画像を生成し、以降の処理はひずみ除去後の画像に対して行うものとする。ひずみ除去には、例えば、ＯｐｅｎＣＶで公開されているひずみ補正用の関数を使用することができる。
【0053】
レンズの光学中心を原点５０２とする三次元直交座標系Σｘｙｚにおいて、レンズの光学中心（原点５０２）と像Ｐ’と目標とする特定点Ｐは同じ直線上にあることから次の式（数１）が成り立つ。
【0054】
【数1】
【0055】
なお、本実施例では、Ｐ’のＸ要素及びＹ要素であるｕ－ｕ０及びｖ－ｖ０は検出部１０１が存在直線算出部１０２に引き渡す二次元位置の座標から求めることができ、ｄは焦点距離であって既知である。
【0056】
前式（数１）は、レンズの光学中心と像Ｐ’と目標とする特定点Ｐを結ぶ三次元直交座標系ΣＸＹＺにおける直線の式である。三次元直交座標系Σｘｙｚの原点５０２にレンズの光学中心を備えたカメラで特定点Ｐを撮像したときに、画像フレーム５０４の像Ｐ’の二次元直交座標系Σｕｖでの二次元座標を決定できれば、前式（数１）が算出でき、三次元直交座標系ΣＸＹＺにおいて前式（数１）で示される直線上に目標とする特定点Ｐが存在する。
【0057】
カメラのレンズの光学中心の三次元位置座標とローテーションが事前に与えられていない場合には、三次元位置座標が既知である基準点を利用して、カメラのレンズの光学中心の三次元位置座標とレンズの外部パラメータを求めて座標変換行列Ｒを決定する。前述の通り、本実施例では、基準点５０５、５０６、５０７及び５０８の４点について三次元直交座標系ΣＸＹＺでの三次元座標が次の通り既知であり、二次元直交座標系Σｕｖにおける各基準点の像の二次元座標も計測することができる。
基準点５０５：（Ｘ，Ｙ，Ｚ）＝（Ａ，０，０）
基準点５０６：（Ｘ，Ｙ，Ｚ）＝（－Ａ，０，０）
基準点５０７：（Ｘ，Ｙ，Ｚ）＝（０，Ｂ，０）
基準点５０８：（Ｘ，Ｙ，Ｚ）＝（０，－Ｂ，０）
基準点５０５：（Ｘ，Ｙ，Ｚ）＝（Ａ，０，０）
基準点５０６：（Ｘ，Ｙ，Ｚ）＝（－Ａ，０，０）
基準点５０７：（Ｘ，Ｙ，Ｚ）＝（０，Ｂ，０）
基準点５０８：（Ｘ，Ｙ，Ｚ）＝（０，－Ｂ，０）
【0058】
前述、図６を用いて、レンズの光学中心を原点５０２とする三次元直交座標系Σｘｙｚにおいて、レンズの光学中心（原点５０２）と像Ｐ’と目標Ｐは同じ直線上にあることから、三次元直交座標系Σｘｙｚにおけるレンズの光学中心と像Ｐ’と目標とする特定点Ｐを結ぶ三次元直交座標系ΣＸＹＺにおける直線の式（数１）を求めた。直線の式（数１）において、Ｐ（Ｘ，Ｙ，Ｚ）をそれぞれの基準点とし、Ｐ’（ｕ，ｖ）をそれぞれの基準点に対応する画像フレームの像とし、ｄは既知であることから、三次元直交座標系ΣＸＹＺにおけるカメラのレンズの光学中心Ｐ０（Ｘ０，Ｙ０，Ｚ０）及び座標変換行列Ｒを構成するローテーションが算出される。
【0059】
三次元直交座標系ΣＸＹＺにおけるカメラのレンズの光学中心Ｐ０（Ｘ０，Ｙ０，Ｚ０）及び座標変換行列Ｒを構成するローテーション（座標系Σｘｙｚから座標系ΣＸＹＺに座標変換する際の三軸の回転角度パラメータ）の算出にあたっては、未知の要素の数が６であり、画像フレームの目標とする動体の像は二次元直交座標系Σｕｖの要素で与えられることから、基準点の数は３で足りる。しかしながら、基準点を増やすことによる算出精度の向上を考慮して、本実施例では、基準点の数を４としている。基準点の数は計測したい空間や利用可能な基準点の配置に合わせて適した数とすることが望ましく、基準点の数を４に限るものではない。
【0060】
本実施形態においては、非線形最小二乗法により、カメラの三次元座標系における位置座標とローテーションの算出処理を行う。なお、これは例示であって、処理の方法はこれに限るものではなく、カメラの三次元座標系における位置座標とローテーションが精度高く算出できれば他の処理の方法によってもよい。例えば、高い精度が期待できるＬＭ法（Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ Ｍｅｔｈｏｄ）による算出、基準点の数を増やしてＤＬＴ法（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｍｅｔｈｏｄ）による算出なども考えられる。
【0061】
以上が、存在直線算出部１０２による存在直線算出処理（Ｓ４０２）についての説明である。存在直線算出部１０２による存在直線算出処理（Ｓ４０２）が終了すると、離陸点算出部１０３が離陸点算出処理（Ｓ４０３）を開始する。
【0062】
離陸点算出処理（Ｓ４０３）では、連続する複数の画像フレームの情報から特定点の三次元位置に関する変化量を算出して、算出した変化量から目標とする動体が離陸した離陸点を判定して、離陸点における特定点の三次元位置を算出する。
【0063】
本実施例において、離陸点算出処理（Ｓ４０３）では、撮像された時刻の正順に連続する複数の画像フレームの情報から特定点の三次元位置に関する変化量を算出して、算出した変化量が閾値より大きい場合に目標とする動体が離陸したとして離陸点を判定して、離陸点における特定点の三次元位置を算出する。
【0064】
図７を用いて、離陸点算出部１０３による離陸点算出処理（Ｓ４０３）について説明する。離陸点算出処理（Ｓ４０３）では、スケーターがジャンプしていないものとして、特定点の位置の算出を行う。
【0065】
図７で、画像フレーム５０４におけるスケーターが装着したスケート靴のエッジの先端部の点７０１の像７０２の二次元直交座標系Σｕｖにおける二次元位置の座標が検出部１０１から存在直線算出部１０２に引き渡されるので、前述、図６を用いた説明の通り、存在直線算出処理（Ｓ４０２）で、図７におけるレンズの光学中心（５０２）と特定点７０１の像７０２を結ぶ存在直線が前述の直線の式（数１）により求められる。
【0066】
次に、離陸点算出処理（Ｓ４０３）は、スケーターがジャンプしていないものとして、特定点の位置の算出を行う。スケーターがジャンプしていない場合、特定点は、スケーターが装着したスケート靴のエッジの先端部とリンクの接点７０１である。スケーターが装着したスケート靴のエッジの先端部とリンクの接点７０１は、リンクの氷面５０９に存在する。この際、特定点（スケーターが装着したスケート靴のエッジとリンクの接点７０１）は、存在直線算出処理（Ｓ４０２）で算出された存在直線上に存在し、かつ、リンクの氷面５０９に存在することから、両者の交点を特定点として三次元位置の座標を算出する。なお、算出される特定点の三次元直交座標系ΣＸＹＺにおけるＺ座標の値は０となる。
【0067】
前述の通り、離陸点算出処理（Ｓ４０３）では、スケーターがジャンプしていないものとして、特定点の位置の算出を行うが、実際にはスケーターはジャンプしている。ジャンプの際、実際にはスケーターが装着したスケート靴のエッジの先端部はリンクの氷面５０９に接していないため、リンクの氷面５０９と存在直線算出処理（Ｓ４０２）で算出された直線の交点を特定点とすると、スケーターが離陸した瞬間に特定点の三次元座標のＸ要素、Ｙ要素の値がカメラのレンズの光学中心から遠ざかる向きに急激に変動する。
【0068】
このことから、離陸点算出処理（Ｓ４０３）は、一例として、次の処理をとる。特定点であるスケーターが装着したスケート靴のエッジ先端部とリンクの接点５０９の三次元座標のＸ要素、Ｙ要素の値が撮像された時刻が連続した過去５フレームから求めた特定点の三次元座標のＸ要素、Ｙ要素の値の多項式近似による予測値を算出する。撮像された時刻の正順に隣接する二つの特定点について、三次元座標のＸ要素、Ｙ要素の値の前述の予測値の差を求める。三次元座標のＸ要素、Ｙ要素の値の予測値の差からカメラのレンズの光学中心から遠ざかる向きの特定点の移動量を算出し、これを変化量とする。例えば、変化量がカメラのレンズの光学中心から遠ざかる向きに５０以上の変動である場合を、閾値を越えた変動として定めるなどと定める。離陸点算出処理（Ｓ４０３）は、撮像された時刻の正順に特定点について変化量を算出して、算出した変化量があらかじめ定めた閾値より大きい場合に目標とする動体が離陸したとして離陸点を判定して、離陸点における特定点の三次元位置を算出して次の処理に引き渡す。なお、これは例示であって、離陸点算出処理（Ｓ４０３）や閾値の取り方などは、これに限るものではない。
【0069】
離陸点算出処理（Ｓ４０３）が終了すると、着地点算出部１０４が着地点算出処理（Ｓ４０４）を開始する。本実施例において、着地点算出処理（Ｓ４０４）では、連続する複数の画像フレームの情報から特定点の三次元位置に関する変化量を算出して、算出した変化量から目標とする動体が離陸した離陸点を判定して、離陸点における特定点の三次元位置を算出する。
【0070】
着地点算出処理（Ｓ４０４）は、撮像された時刻の逆順に連続する複数の画像フレームの情報について、前述の離陸点算出処理（Ｓ４０３）と同様の処理を行うことで、着地点における特定点の三次元位置を算出する。離陸点算出処理（Ｓ４０３）と着地点算出処理（Ｓ４０４）とは、連続する複数の画像フレームが撮像された時刻が正順と逆順との違いがあるが、その他の処理においては共通するため、説明を割愛する。
【0071】
また、着地点算出処理（Ｓ４０４）について、次に説明する処理によってもよい。スケーターのジャンプは放物運動であるとの特性を利用して、着地点算出処理（Ｓ４０４）の処理を軽減するものである。離陸点が撮像された時刻以降であって撮像された時刻の正順に連続する複数の画像フレームの情報から特定点の三次元位置に関する変化量を算出する。ここで、変化量とは、前述の通り、三次元座標のＸ要素、Ｙ要素の値の予測値の差からカメラのレンズの光学中心から遠ざかる向きの特定点の移動量を算出し、これを変化量とする。次に、算出した変化量の正負が反転した際の画像フレームが撮像された時刻を取得する。この時刻を目標とする動体がジャンプの頂点が撮像された時刻と定める。頂点が撮像された時刻から離陸点が撮像された時刻を減じた時間の２倍の時間に一定の時間を加算した時間を離陸点が撮像された時刻に加算した時刻を算出する。算出された時刻から、撮像された時刻の逆順に連続する複数の画像フレームの情報から特定点の位置の三次元座標に関する変化量を算出する。算出した変化量があらかじめ定めた閾値より大きい場合に目標とする動体が着地したとして着地点を判定して、着地点における特定点の三次元位置を算出する。
【0072】
図３を参照して具体的に説明する。前述の通り、図３は、本実施例において、好適な例として説明するフィギュアスケート競技でスケーターがジャンプした様子を模式的に描いた図である。図３に模式的に示すように、スケーターのジャンプは放物運動であるとの特性もつ。図３では、３０１から３０５のそれぞれはジャンプしたスケーターが装着したスケート靴のエッジの先端部を示し、本実施例においては、スケート靴のエッジの先端部を特定点である。３０１は離陸点における特定点、３０２は着地点における特定点を示し、３０３から３０５はジャンプ途中における空中での特定点を示している。特に、３０４はジャンプの軌道における頂点での特定点を示している。着地点算出処理（Ｓ４０４）では、放物運動の特徴に基づいて離陸点における特定点３０１と着地点における特定点３０２が頂点での特定点３０４を中心としてほぼ対象に位置することを利用している。特定点が離陸点３０１から頂点での特定点３０４に至る時間と頂点３０４から着地点における特定点３０２に至る時間がほぼ同じと推測されることから、離陸点における特定点３０１が撮像された時刻に特定点が離陸点における特定点３０１から頂点での特定点３０４に至る時間の２倍を加算すれば、おおむね着地点における特定点３０２が撮像された時刻を求めることができる。この時刻に一定のバッファとしての時間（例えば１秒など）を加算した時刻から初めて、時刻の逆順に連続する複数の画像フレームの情報から着地点を算出する。これにより、着地点における特定点３０２の近傍から着地点における特定点３０２の探索を効率的に行うことができるため処理が軽減される。なお、頂点での特定点３０４は、特定点の三次元座標のＸ要素、Ｙ要素の値がカメラのレンズの光学中心から遠ざかる向きの変動から近づく向きの変動に変化したことで判定する。なお、これは例示であって、着地点算出処理（Ｓ４０４）や閾値の取り方などは、これに限るものではない。
【0073】
着地点算出処理（Ｓ４０４）が終了すると、軌道算出部１０５が軌道算出処理（Ｓ４０５）を開始する。軌道算出処理（Ｓ４０５）は、離陸点算出処理（Ｓ４０３）が算出した離陸点における特定点の三次元位置と、着地点算出処理（Ｓ４０４）が算出した着地点における特定点の三次元位置と、を通過する放物運動を記述できる曲線と、目標とする動体の離陸後であって着地前における１ないし複数の画像フレームに撮像された特定点の像についての存在直線との位置関係から特定点の三次元での軌道を算出する。
【0074】
図８は、軌道算出処理（Ｓ４０５）の例を示す図である。図８を用いて、軌道算出処理（Ｓ４０５）の一例について説明する。この例では、軌道算出処理（Ｓ４０５）は、離陸点算出処理（Ｓ４０３）が算出した離陸点における特定点の三次元位置と、着地点算出処理（Ｓ４０４）が算出した着地点における特定点の三次元位置と、を通過する放物運動を記述できる曲線であって、目標とする動体の離陸後であって着地前における１ないし複数の画像フレームに撮像された１ないし複数の特定点の像についての存在直線との距離の合計を最小とする曲線を、特定点の三次元での軌道として算出する。
【0075】
図８では、説明理解の容易性を考慮して、特定点を、離陸点３０１、着地点３０２、空中での特定点３０３及び３０４の４点とする。空中での特定点の数が増えても同様である。特定点３０３についての存在直線が８０１、特定点３０４についての存在直線が８０２で示される。また、一点鎖線で示される曲線８０５は、離陸点における特定点３０１と、着地点における特定点３０２を通過する放物運動を記述できる曲線である。
【0076】
曲線８０５は、例えば、次の式（数２）で示す３つの式で表すことができる。式（数２）は、ここでは三次元直交座標系ΣＸＹＺで表記されている。次の表記についての取り決めは、式（数２）の説明のみに適用する。ｔは時刻、ｍは質量、ｇは重力加速度、ｖは速度、ｋは粘性係数を示す。また、添字ｘ、ｙ、ｚによって三次元直交座標系ΣＸＹＺでのＸ要素、Ｙ要素、Ｚ要素を示す。
【0077】
式（数２）で示す三次元直交座標系ΣＸＹＺでのＸ要素、Ｙ要素、Ｚ要素のそれぞれを表す式は、各々３つのパラメータを有する。Ｘ要素を示す第１式では、ｘ０、ｖｘ０、ｋｘ／ｍの３つ、Ｙ要素を示す第２式では、ｙ０、ｖｙ０、ｋｙ／ｍの３つ、Ｚ要素を示す第２式では、ｚ０、ｖｚ０、ｋｚ／ｍの３つである。式（数２）に離陸点３０１の座標の値と離陸した時刻、着地点３０２の座標の値と着地した時刻を代入することで、各々の式の３つのパラメータのうち２つまでを決めることができる。
【0078】
【数2】
【0079】
軌道算出処理（Ｓ４０５）は、図８で示す、曲線８０５と存在直線８０１の距離８０３と、曲線８０５と存在直線８０２の距離８０４の合計が最小となるように上述の式（数２）で各々の式について残りひとつのパラメータの値を算出して、算出した曲線を特定点の三次元での軌道と決定する。
【0080】
また、図９は、軌道算出処理（Ｓ４０５）の別の例を示す図である。図９を用いて、軌道算出処理（Ｓ４０５）の別の例について説明する。この例では、軌道算出処理（Ｓ４０５）は、離陸点算出処理（Ｓ４０３）が算出した離陸点における特定点の三次元位置と、着地点算出処理（Ｓ４０４）が算出した着地点における特定点の三次元位置と、を通過する放物運動を記述できる曲線であって、目標とする動体の離陸後であって着地前における１ないし複数の特定点について、撮像された時刻における画像フレームに撮像された特定点の像についての存在直線と、特定点の撮像された時刻における曲線上の予測位置と、の距離を算出し、算出された１ないし複数の予測位置との距離の合計を最小とする曲線を、特定点の三次元での軌道として算出する。
【0081】
図９では、説明理解の容易性を考慮して、特定点を、離陸点３０１、着地点３０２、空中での特定点３０３及び３０４の４点とする。空中での特定点の数が増えても同様である。特定点３０３についての存在直線が８０１、特定点３０４についての存在直線が８０２で示される。また、一点鎖線で示される曲線９０５は、離陸点における特定点３０１と、着地点における特定点３０２を通過する放物運動を記述できる曲線である。曲線９０５は、図８での曲線８０５と同様に、例えば、上述の式（数２）で表すことができる。
【0082】
軌道算出処理（Ｓ４０５）は、空中での特定点３０３が撮像された時刻から上述の式（数２）によってその時刻における曲線９０５上の特定点の予測位置９０１を算出する。同様に、空中での特定点３０４が撮像された時刻から上述の式（数２）によってその時刻における曲線９０５上の特定点の予測位置９０２を算出する。
【0083】
軌道算出処理（Ｓ４０５）は、曲線９０５上の特定点の予測位置９０１と存在直線８０１の距離９０３と、曲線９０５上の特定点の予測位置９０２と存在直線８０２の距離９０４の合計が最小となるように上述の式（数２）で各々の式について残りひとつのパラメータの値を算出して、算出した曲線を特定点の三次元での軌道と決定する。
【0084】
以上が、実施例についての説明である。
【0085】
次に、コンピュータを軌道算出装置として機能させるための軌道算出プログラムについて説明する。コンピュータの構成は、図２に示す通りである。
【0086】
軌道算出プログラムは、メインモジュール、入出力モジュール及び演算処理モジュールを備える。メインモジュールは、処理を統括的に制御する部分である。入出力モジュールは、画像データなどの入力情報をコンピュータに取得させ、算出した軌道の情報を数値や画像でコンピュータに出力させる。演算処理モジュールは、検出モジュール、存在直線算出モジュール、離陸点算出モジュール、着地点算出モジュール及び軌道算出モジュールを備える。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、軌道算出装置１の検出部１０１、存在直線算出部１０２、離陸点算出部１０３、着地点算出部１０４及び軌道算出部１０５の機能とそれぞれ同様である。
【0087】
軌道算出プログラムは、例えば、ＲＯＭ等の記憶媒体又は半導体メモリによって提供される。また、軌道算出プログラムは、ネットワークを介して提供されてもよい。
【0088】
以上、本実施形態に係る軌道算出装置、軌道算出方法及び軌道算出プログラムによれば、フィギュアスケートなど跳躍を伴う運動競技などにおいて、単眼カメラで撮像した動画像から動体の軌道を精度高く算出することができる。
【符号の説明】
【0089】
１ 軌道算出装置
１０１ 検出部
１０２ 存在直線算出部
１０３ 離陸点算出部
１０４ 着地点算出部
１０５ 軌道算出部
２０１ 中央演算装置（ＣＰＵ）
２０２ 入力装置
２０３ 出力装置
２０４ 主記憶装置（ＲＡＭ／ＲＯＭ）
２０５ 補助記憶装置
３０１ ジャンプしたスケーターが装着したスケート靴のエッジの先端部（離陸点における特定点）
３０２ ジャンプしたスケーターが装着したスケート靴のエッジの先端部（着地点における特定点）
３０３ ジャンプしたスケーターが装着したスケート靴のエッジの先端部（空中での特定点）
３０４ ジャンプしたスケーターが装着したスケート靴のエッジの先端部（空中での特定点）
３０５ ジャンプしたスケーターが装着したスケート靴のエッジの先端部（空中での特定点）
５０１ 三次元直交座標系ΣＸＹＺの原点
５０２ カメラのレンズの光学中心
５０３ 二次元直交座標系Σｕｖの原点
５０４ 画像フレーム（撮像素子面）
５０５ 基準点
５０６ 基準点
５０７ 基準点
５０８ 基準点
５０９ リンクの氷面
７０１ スケーターが装着したスケート靴のエッジの先端部の点
７０２ スケーターが装着したスケート靴のエッジの先端部の点の像
８０１ 特定点３０３についての存在直線
８０２ 特定点３０４についての存在直線
８０３ 曲線８０５と存在直線８０１の距離
８０４ 曲線８０５と存在直線８０２の距離
８０５ 離陸点と着地点を通過する放物運動を記述できる曲線
９０１ 特定点３０３が撮像された時刻における曲線９０５上の特定点の予測位置
９０２ 特定点３０４が撮像された時刻における曲線９０５上の特定点の予測位置
９０３ 曲線９０５上の特定点の予測位置９０１と存在直線８０１の距離
９０４ 曲線９０５上の特定点の予測位置９０２と存在直線８０２の距離
９０５ 離陸点と着地点を通過する放物運動を記述できる曲線
１０１ 検出部
１０２ 存在直線算出部
１０３ 離陸点算出部
１０４ 着地点算出部
１０５ 軌道算出部
２０１ 中央演算装置（ＣＰＵ）
２０２ 入力装置
２０３ 出力装置
２０４ 主記憶装置（ＲＡＭ／ＲＯＭ）
２０５ 補助記憶装置
３０１ ジャンプしたスケーターが装着したスケート靴のエッジの先端部（離陸点における特定点）
３０２ ジャンプしたスケーターが装着したスケート靴のエッジの先端部（着地点における特定点）
３０３ ジャンプしたスケーターが装着したスケート靴のエッジの先端部（空中での特定点）
３０４ ジャンプしたスケーターが装着したスケート靴のエッジの先端部（空中での特定点）
３０５ ジャンプしたスケーターが装着したスケート靴のエッジの先端部（空中での特定点）
５０１ 三次元直交座標系ΣＸＹＺの原点
５０２ カメラのレンズの光学中心
５０３ 二次元直交座標系Σｕｖの原点
５０４ 画像フレーム（撮像素子面）
５０５ 基準点
５０６ 基準点
５０７ 基準点
５０８ 基準点
５０９ リンクの氷面
７０１ スケーターが装着したスケート靴のエッジの先端部の点
７０２ スケーターが装着したスケート靴のエッジの先端部の点の像
８０１ 特定点３０３についての存在直線
８０２ 特定点３０４についての存在直線
８０３ 曲線８０５と存在直線８０１の距離
８０４ 曲線８０５と存在直線８０２の距離
８０５ 離陸点と着地点を通過する放物運動を記述できる曲線
９０１ 特定点３０３が撮像された時刻における曲線９０５上の特定点の予測位置
９０２ 特定点３０４が撮像された時刻における曲線９０５上の特定点の予測位置
９０３ 曲線９０５上の特定点の予測位置９０１と存在直線８０１の距離
９０４ 曲線９０５上の特定点の予測位置９０２と存在直線８０２の距離
９０５ 離陸点と着地点を通過する放物運動を記述できる曲線
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】