(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-07
(45)【発行日】2024-10-16
(54)【発明の名称】情報処理プログラム、装置、及び方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20241008BHJP
G06T 7/73 20170101ALI20241008BHJP
【ＦＩ】
H04N7/18 K
G06T7/73
【請求項の数】
15
(21)【出願番号】P 2023512507
(86)(22)【出願日】2021-04-05
(86)【国際出願番号】 JP2021014499
(87)【国際公開番号】W WO2022215116
(87)【国際公開日】2022-10-13
【審査請求日】2023-10-02
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】中村 公治
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】国際公開第２０１６／０９２９３３（ＷＯ，Ａ１）
【文献】国際公開第２０１６／０９８４１５（ＷＯ，Ａ１）
【文献】特開２０２０－３０１９０（ＪＰ，Ａ）
【文献】特開２０２０－３１４０６（ＪＰ，Ａ）
【文献】国際公開第２０１９／２２９８１８（ＷＯ，Ａ１）
【文献】特開２０１８－１４２８１５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
Ｇ０６Ｔ ７／００－７／９０
(57)【特許請求の範囲】
【請求項1】
スケートリンク上の競技者を、交差する２方向から撮影する複数のカメラの各々で撮影された映像を取得し、前記映像に含まれる複数のフレームの各々における、前記競技者及び前記競技者が装着する装着物の少なくとも一部の部位の高さを特定し、
前記高さの変化に基づいて、前記競技者が行ったジャンプの離氷時に対応するフレーム及び着氷時に対応するフレームから、前記ジャンプの離氷時刻及び着氷時刻を推定する
ことを含む処理をコンピュータに実行させるための情報処理プログラム。
【請求項2】
前記映像を取得する処理は、撮影方向が前記スケートリンクの長軸方向と平行な複数の第１カメラ、及び撮影方向が前記スケートリンクの短軸方向と平行な複数の第２カメラのうち、前記第１カメラの撮影方向と前記第２カメラの撮影方向とが交差する位置が、前記競技者の位置に最も近い前記第１カメラ及び前記第２カメラの各々で撮影された映像を取得することを含む請求項１に記載の情報処理プログラム。
【請求項3】
前記離氷時刻及び前記着氷時刻を推定する処理は、前記部位の高さが、着氷時の高さを示す基準値を超えたフレーム又は前記基準値を超える１つ前のフレームの時刻情報を、前記離氷時刻として推定し、前記部位の高さが、前記基準値を超えた状態から前記基準値に戻ったフレーム又は前記基準値に戻る１つ前のフレームの時刻情報を、前記着氷時刻として推定することを含む請求項１又は請求項２に記載の情報処理プログラム。
【請求項4】
前記部位を、前記競技者が装着するスケートシューズのブレードとする請求項１～請求項３のいずれか１項に記載の情報処理プログラム。
【請求項5】
スケートリンク上の競技者を撮影するカメラで撮影された映像を取得し、前記映像に含まれる複数のフレームの各々における、前記競技者が装着するスケートシューズのブレードの高さを特定し、
前記高さの変化、及び前記複数のフレームの各々の時刻情報に基づいて、前記競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する
ことを含む処理をコンピュータに実行させるための情報処理プログラム。
【請求項6】
前記離氷時刻を推定する処理は、前記複数のフレームの各々の時刻情報に対する前記高さの変化の度合いが、所定値以内の状態から前記所定値を超える状態に変化した変化点に対応する時刻を離氷時刻として推定し、前記着氷時刻を推定する処理は、前記高さの変化の度合いが、前記所定値を超える状態から前記所定値以内の状態に変化した変化点に対応する時刻を着氷時刻として推定することを含む請求項５に記載の情報処理プログラム。
【請求項7】
前記映像を取得する処理は、前記競技者を、交差する２方向から撮影する複数のカメラの各々で撮影された映像を取得することを含む請求項５又は請求項６に記載の情報処理プログラム。
【請求項8】
前記映像を取得する処理は、撮影方向が前記スケートリンクの長軸方向と平行な複数の第１カメラ、及び撮影方向が前記スケートリンクの短軸方向と平行な複数の第２カメラのうち、前記第１カメラの撮影方向と前記第２カメラの撮影方向とが交差する位置が、前記競技者の位置に最も近い前記第１カメラ及び前記第２カメラの各々で撮影された映像を取得することを含む請求項７に記載の情報処理プログラム。
【請求項9】
前記離氷時刻及び前記着氷時刻の各々における、前記ブレードの向きに基づく基準線に対する前記ブレードの角度を算出することをさらに含む処理を前記コンピュータに実行させる請求項４～請求項８のいずれか１項に記載の情報処理プログラム。
【請求項10】
前記着氷時刻の前後のフレームから算出された前記角度に基づいて、前記着氷時刻における前記ブレードの角度を算出する請求項９に記載の情報処理プログラム。
【請求項11】
前記離氷時刻に対応するフレームの所定数前のフレームから、前記着氷時刻に対応するフレームの所定数後のフレームまでの各フレームにおける前記競技者及び前記競技者が装着する装着物の少なくとも一部の部位の３次元位置に基づいて、踏切速度、ジャンプの高さ、飛距離、及び回転速度の少なくとも１つを算出する請求項１～請求項１０のいずれか１項に記載の情報処理プログラム。
【請求項12】
スケートリンク上の競技者を、交差する２方向から撮影する複数のカメラの各々で撮影された映像を取得する取得部と、前記映像に含まれる複数のフレームの各々における、前記競技者及び前記競技者が装着する装着物の少なくとも一部の部位の高さを特定する特定部と、
前記高さの変化に基づいて、前記競技者が行ったジャンプの離氷時に対応するフレーム及び着氷時に対応するフレームから、前記ジャンプの離氷時刻及び着氷時刻を推定する推定部と、
を含む情報処理装置。
【請求項13】
スケートリンク上の競技者を撮影するカメラで撮影された映像を取得する取得部と、前記映像に含まれる複数のフレームの各々における、前記競技者が装着するスケートシューズのブレードの高さを特定する特定部と、
前記高さの変化、及び前記複数のフレームの各々の時刻情報に基づいて、前記競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する推定部と、
を含む情報処理装置。
【請求項14】
スケートリンク上の競技者を、交差する２方向から撮影する複数のカメラの各々で撮影された映像を取得し、前記映像に含まれる複数のフレームの各々における、前記競技者及び前記競技者が装着する装着物の少なくとも一部の部位の高さを特定し、
前記高さの変化に基づいて、前記競技者が行ったジャンプの離氷時に対応するフレーム及び着氷時に対応するフレームから、前記ジャンプの離氷時刻及び着氷時刻を推定する
ことを含む処理をコンピュータが実行する情報処理方法。
【請求項15】
スケートリンク上の競技者を撮影するカメラで撮影された映像を取得し、前記映像に含まれる複数のフレームの各々における、前記競技者が装着するスケートシューズのブレードの高さを特定し、
前記高さの変化、及び前記複数のフレームの各々の時刻情報に基づいて、前記競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する
ことを含む処理をコンピュータが実行する情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
開示の技術は、情報処理プログラム、情報処理装置、及び情報処理方法に関する。
【背景技術】
【0002】
従来、スポーツの競技中の映像から、所定のシーンを切り出すことが行われている。所定のシーンは、例えば、ゴルフ、野球、テニス等におけるボールに対するインパクトの瞬間を含むシーン、体操競技等における跳躍や着地を含むシーン等である。
【0003】
上記のようなシーン切り出しに関する技術として、例えば、被写体の連続するモーションの中から決定的瞬間を特定して画像として抽出する情報処理装置が提案されている。この装置は、ユーザ又はユーザに接触するオブジェクトに装着されたセンサからのセンサデータ、及びセンサデータに対応する時刻情報を受信する。また、この装置は、センサデータ及び時刻情報に基づいて、ユーザ又はオブジェクトに所定のモーションパターンが発生した時刻を特定する。そして、この装置は、特定した時刻に応じて、所定の時間間隔で撮影されたユーザ又はオブジェクトを含む一連の画像から１又は複数の画像を選択する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１５－８２８１７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
フィギュアスケートのジャンプのシーンについて、ジャンプの離氷時刻及び着氷時刻を推定することを考える。フィギュアスケートにおいては、競技者、又は競技者が装着するウェアやシューズにセンサを取り付ける等の少しの変化が、ジャンプ等の精度に影響を与えてしまう場合がある。そのため、従来技術を適用して、フィギュアスケートにおけるジャンプの離氷時刻及び着氷時刻を推定することは困難である。
【0006】
一つの側面として、開示の技術は、フィギュアスケートにおけるジャンプの離氷時刻及び着氷時刻を推定することを目的とする。
【課題を解決するための手段】
【0007】
一つの態様として、開示の技術は、スケートリンク上の競技者を、交差する２方向から撮影する複数のカメラの各々で撮影された映像を取得する。また、開示の技術は、前記映像に含まれる複数のフレームの各々における、前記競技者及び前記競技者が装着する装着物の少なくとも一部の部位の高さを特定する。そして、開示の技術は、前記高さの変化に基づいて、前記競技者が行ったジャンプの離氷時に対応するフレーム及び着氷時に対応するフレームから、前記ジャンプの離氷時刻及び着氷時刻を推定する。
【発明の効果】
【0008】
一つの側面として、フィギュアスケートにおけるジャンプの離氷時刻及び着氷時刻を推定することができる、という効果を有する。
【図面の簡単な説明】
【0009】
【図1】第１及び第３実施形態に係る情報処理システムの概略図である。
【図2】第１及び第３実施形態に係る情報処理装置の機能ブロック図である。
【図3】最適な特定用カメラの選択を説明するための図である。
【図4】所定部位としてブレードの先端及び終端の位置を算出することを説明するための図である。
【図5】第１実施形態における離氷時刻及び着氷時刻の推定を説明するための図である。
【図6】基準線の特定を説明するための図である。
【図7】情報処理装置として機能するコンピュータの概略構成を示すブロック図である。
【図8】第１実施形態における情報処理ルーチンの一例を示すフローチャートである。
【図9】第２実施形態に係る情報処理装置の機能ブロック図である。
【図10】第２実施形態における離氷時刻の推定を説明するための図である。
【図11】第２実施形態における着氷時刻の推定を説明するための図である。
【図12】離氷点及び着氷点の特定を説明するための図である。
【図13】離氷点の特定の詳細を説明するための図である。
【図14】ジャンプの区間に含まれるフレームの各々から算出された回転角度θを示す図である。
【図16】第２実施形態における情報処理ルーチンの一例を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。
【0011】
【0012】
トラッキング用カメラ２０は、スケートリンク３０上の競技者３２の位置を特定可能な映像を撮影する、例えばモーショントラッキング用の撮影装置である。例えば、トラッキング用カメラ２０は、会場の天井、側壁等に複数台（例えば、２台）設置される。
【0013】
特定用カメラ２２は、スケートリンク３０上の競技者３２を、交差する２方向から撮影する撮影装置である。例えば、特定用カメラ２２は、撮影方向がスケートリンク３０の長軸方向と平行になるように、スケートリンク３０の短辺側に沿って設置される複数の第１カメラ２２Ａを含む。また、特定用カメラ２２は、撮影方向がスケートリンクの短軸方向と平行になるように、スケートリンク３０の長辺側に沿って設置される複数の第２カメラ２２Ｂを含む。以下、第１カメラ２２Ａと第２カメラ２２Ｂとを区別なく説明する場合には、「特定用カメラ２２」という。特定用カメラ２２の各々の設置位置及び撮影方向に基づいて、スケートリンク３０を平面視したｘｙ平面における、第１カメラ２２Ａの撮影方向と第２カメラ２２Ｂの撮影方向とが交差する位置の位置座標がそれぞれ特定されている。以下では、ｉ番目の第１カメラ２２Ａの撮影方向と、ｊ番目の第２カメラ２２Ｂの撮影方向とが交差する位置の位置座標を（ｘｃ＿ｉｊ，ｙｃ＿ｉｊ）とする。
【0014】
トラッキング用カメラ２０及び特定用カメラ２２の各々は、所定のフレームレート（例えば、１２０ｆｐｓ）で撮影した映像を出力する。出力される映像は、複数のフレームを含んでおり、各フレームには時刻情報が対応付いている。時刻情報に基づいて、各映像は時間的に同期している。なお、トラッキング用カメラ２０及び特定用カメラ２２の各々の台数は、図１及び図２の例に限定されない
【0015】
情報処理装置１０は、機能的には、図２に示すように、取得部１２と、特定部１４と、推定部１６と、算出部１８とを含む。
【0016】
取得部１２は、トラッキング用カメラ２０から出力された映像を取得する。取得部１２は、取得した映像から、モーショントラッキングによりスケートリンク３０上での競技者３２の位置を取得する。例えば、取得部１２は、各トラッキング用カメラ２０で撮影された映像のフレーム毎に、モーショントラッキングの対象である競技者３２を認識する。例えば、取得部１２は、競技者３２又は競技者３２が装着する装着物の色、形状等の特徴に基づいて、各フレームから競技者３２を認識する。また、取得部１２は、フレーム間の差分が示す移動する物体を競技者３２として認識してもよい。そして、取得部１２は、各フレームにおいて認識された競技者３２の位置を、フレーム毎に算出する。そして、取得部１２は、各フレームにおける競技者３２の位置を追跡することで、軌跡情報を生成する。なお、競技者３２の位置は３次元で算出されてもよいし、２次元で算出されてもよい。本実施形態では、スケートリンク３０を平面視したｘｙ平面における、認識した競技者３２の位置座標（ｘｐ，ｙｐ）を算出する場合について説明する。
【0017】
取得部１２は、特定用カメラ２２のうち、競技者３２の位置に対して最適な特定用カメラ２２を選択し、選択した特定用カメラ２２で撮影された映像を取得する。具体的には、取得部１２は、第１カメラ２２Ａの撮影方向と第２カメラ２２Ｂの撮影方向とが交差する位置が、競技者の位置に最も近い第１カメラ２２Ａ及び第２カメラ２２Ｂの各々で撮影された映像を取得する。
【0018】
より具体的には、取得部１２は、予め特定されている位置座標（ｘｃ＿ｉｊ，ｙｃ＿ｉｊ）から、トラッキング用カメラ２０で撮影された映像のフレームｎから算出した競技者３２の位置座標（ｘｐ，ｙｐ）に最も近い位置座標（ｘｃ＿ｉｊ，ｙｃ＿ｉｊ）を特定する。そして、取得部１２は、特定した（ｘｃ＿ｉｊ，ｙｃ＿ｉｊ）に対応する、ｉ番目の第１カメラ２２Ａ及びｊ番目の第２カメラＢの各々で撮影された映像の、フレームｎと時刻情報が同期するフレームを取得する。例えば、図３に示すように、競技者３２の位置座標（ｘｐ，ｙｐ）に最も近い位置座標が（ｘｃ＿２４，ｙｃ＿２４）であるとする。この場合、取得部１２は、２番目の第１カメラ２２Ａ及び４番目の第２カメラ２２Ｂ（図３中の網掛で示すカメラ）の各々で撮影された映像のフレームを取得する。
【0019】
取得部１２は、取得したフレームを特定部１４へ受け渡し、生成した軌跡情報を算出部１８へ受け渡す。
【0020】
特定部１４は、取得部１２から受け渡されたフレームの各々における、競技者３２及び競技者３２が装着する装着物の少なくとも一部の所定部位の高さを特定する。具体的には、特定部１４は、取得部１２から受け渡されたフレームの各々を３次元解析し、競技者３２及び競技者３２が装着する装着物の所定部位の３次元位置（ｘ，ｙ，ｚ）を算出する。ｚが所定部位の高さである。所定部位は、図４に示すように、競技者３２が装着するスケートシューズのブレードの先端３４及び終端３６を含む。また、所定部位は、競技者３２の各関節、頭部、及び目、鼻、口等の顔の部位を含んでもよい。なお、各フレームから、これらの所定部位を認識する手法は、所定部位の形状を用いた認識方法や、人体骨格モデルを用いた認識方法等、既存の手法を用いてよい。特定部１４は、フレーム毎に算出した所定部位の高さｚを推定部１６へ受け渡すと共に、所定部位の３次元位置（ｘ，ｙ，ｚ）を算出部１８へ受け渡す。
【0021】
推定部１６は、フレーム毎に特定された所定部位の高さの変化に基づいて、競技者３２が行ったジャンプの離氷時に対応するフレーム及び着氷時に対応するフレームから、ジャンプの離氷時刻及び着氷時刻を推定する。具体的には、図５に示すように、推定部１６は、所定部位の高さが、着氷時の高さを示す基準値を超えたフレーム又は基準値を超える１つ前のフレームの時刻情報を、離氷時刻として推定する。また、推定部１６は、所定部位の高さが、基準値を超えた状態から基準値に戻ったフレーム又は基準値に戻る１つ前のフレームの時刻情報を、着氷時刻として推定する。基準値は、予め競技者３２が着氷中であることが既知の映像から特定された所定部位の高さの平均にマージンを加えた値等としてよい。
【0022】
図５の例では、フレームＦＴ１から特定された所定部位の高さｚが基準値以下で、次のフレームＦＴ２から特定された所定部位の高さｚが基準値を超えている。したがって、フレームＦＴ１の時刻情報ｔＴ１又はフレームＦＴ２の時刻情報ｔＴ２が離氷時刻として推定される。また、フレームＦＬ２から特定された所定部位の高さｚが基準値を超えており、次のフレームＦＬ１から特定された所定部位の高さｚが基準値以下となっている。したがって、フレームＦＬ１の時刻情報ｔＬ１又はフレームＦＬ２の時刻情報ｔＬ２が着氷時刻として推定される。推定部１６は、推定した離氷時刻及び着氷時刻を算出部１８へ受け渡す。
【0023】
算出部１８は、離氷時刻及び着氷時刻のフレームの各々から特定されたブレードの先端３４及び終端３６の位置を用いて、特定用カメラ２２の撮影方向を基準としたブレードの絶対角度を算出する。例えば、算出部１８は、特定用カメラ２２の撮影方向、又は撮影方向に垂直な線と、ブレードの先端３４と終端３６とを結ぶ線、すなわちブレードの向きとのなす角度を、ブレードの絶対角度として算出してよい。なお、ブレードの先端３４及び終端３６を特定するために、特定用カメラ２２として第１カメラ２２Ａ及び第２カメラ２２Ｂの各々で撮影されたフレームが用いられている。したがって、算出部１８は、第１カメラ２２Ａ及び第２カメラ２２Ｂのうち、いずれかをメインの特定用カメラ２２として定めておき、メインの特定用カメラ２２の撮影方向を基準に、ブレードの絶対角度を算出すればよい。
【0024】
また、算出部１８は、ブレードの絶対角度を、ジャンプの回転不足を判定するための基準線に対する角度（以下、「回転角度θ」という）に変換する。具体的には、算出部１８は、取得部１２から受け渡された軌跡情報と、推定部１６から受け渡された離氷時刻及び着氷時刻の各々とに基づいて、離氷点Ａ及び着氷点Ｂの各々の位置を特定する。より具体的には、算出部１８は、軌跡情報において、離氷時刻を時刻情報とするフレームから特定された競技者３２の位置座標を離氷点Ａとして特定し、着氷時刻を時刻情報とするフレームから特定された競技者３２の位置座標を着氷点Ｂとして特定する。
【0025】
そして、算出部１８は、図６に示すように、離氷点Ａと着氷点Ｂとを通る直線を、ジャンプの回転を判定するための基準線（Ａ－Ｂ）として特定する。算出部１８は、メインの特定用カメラ２２の撮影方向を基準とした線と、特定した基準線（Ａ－Ｂ）との角度差を、ブレードの絶対角度から差し引いて、ブレードの回転角度θを算出する。算出部１８は、着氷時刻のフレームから算出されたブレードの回転角度θを、着氷時のブレードの回転角度θとして出力する。
【0026】
また、算出部１８は、離氷時刻から着氷時刻までの区間（以下、「ジャンプの区間」ともいう）に含まれるフレームと、その区間の前後所定数分のフレームとの各々から特定された所定部位の３次元位置に基づいて、回転角度以外の情報を算出してもよい。例えば、算出部１８は、所定部位として腰の位置を算出し、ジャンプの区間に含まれる各フレームから算出された腰の位置の最小値と最大値との差をジャンプの高さとして算出してもよい。また、算出部１８は、特定した離氷点Ａから着氷点Ｂまでの距離をジャンプの飛距離として算出してもよい。また、算出部１８は、離氷時刻から着氷時刻までの時間と、ジャンプの区間における回転角度の変化とから、回転速度を算出してもよい。また、算出部１８は、離氷時刻に対応するフレームから所定フレーム前までの時間と、その間における所定部位の位置の変化量とから、踏切速度を算出してもよい。
【0027】
算出部１８は、算出した、着氷時の回転角度θ、及びその他算出した情報を含む算出結果を出力する。出力された着氷時の回転角度θは、ジャンプの回転不足等の判定に用いることができる。また、出力された算出結果を、テレビ放送等の画面に表示するスタッツとして用いてもよい。また、例えば、算出部１８は、軌跡情報が示す軌跡上にジャンプの区間を示す画像３８（図１参照）の画像データを生成し、出力してもよい。
【0028】
情報処理装置１０は、例えば図７に示すコンピュータ４０で実現することができる。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４１と、一時記憶領域としてのメモリ４２と、不揮発性の記憶部４３とを備える。また、コンピュータ４０は、入力部、表示部等の入出力装置４４と、記憶媒体４９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部４５とを備える。また、コンピュータ４０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）４６を備える。ＣＰＵ４１、メモリ４２、記憶部４３、入出力装置４４、Ｒ／Ｗ部４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。
【0029】
記憶部４３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部４３には、コンピュータ４０を、情報処理装置１０として機能させるための情報処理プログラム５０が記憶される。情報処理プログラム５０は、取得プロセス５２と、特定プロセス５４と、推定プロセス５６と、算出プロセス５８とを有する。
【0030】
ＣＰＵ４１は、情報処理プログラム５０を記憶部４３から読み出してメモリ４２に展開し、情報処理プログラム５０が有するプロセスを順次実行する。ＣＰＵ４１は、取得プロセス５２を実行することで、図２に示す取得部１２として動作する。また、ＣＰＵ４１は、特定プロセス５４を実行することで、図２に示す特定部１４として動作する。また、ＣＰＵ４１は、推定プロセス５６を実行することで、図２に示す推定部１６として動作する。また、ＣＰＵ４１は、算出プロセス５８を実行することで、図２に示す算出部１８として動作する。これにより、情報処理プログラム５０を実行したコンピュータ４０が、情報処理装置１０として機能することになる。なお、プログラムを実行するＣＰＵ４１はハードウェアである。
【0031】
なお、情報処理プログラム５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。
【0032】
次に、第１実施形態に係る情報処理システム１００の作用について説明する。情報処理装置１０に、トラッキング用カメラ２０及び特定用カメラ２２の各々で撮影された映像が入力されると、情報処理装置１０において、図８に示す情報処理ルーチンが実行される。なお、情報処理ルーチンは、開示の技術の情報処理方法の一例である。
【0033】
ステップＳ１０で、取得部１２が、トラッキング用カメラ２０から出力された映像を取得する。そして、取得部１２が、取得した映像から、モーショントラッキングにより、スケートリンク３０を平面視したｘｙ平面における競技者３２の位置座標を算出する。
【0034】
次に、ステップＳ１２で、取得部１２が、第１カメラ２２Ａの撮影方向と第２カメラ２２Ｂの撮影方向とが交差する位置が、競技者の位置に最も近い第１カメラ２２Ａ及び第２カメラ２２Ｂの各々で撮影された映像のフレームを取得する。
【0035】
次に、ステップＳ１４で、特定部１４が、上記ステップＳ１２で取得されたフレームの各々を３次元解析し、競技者３２及び競技者３２が装着する装着物の所定部位の３次元位置を算出する。これにより、所定部位の高さが特定される。
【0036】
次に、ステップＳ１６で、推定部１６が、上記ステップＳ１４で特定された所定部位の高さが、着氷時の高さを示す基準値を超えたフレーム又は基準値を超える１つ前のフレームの時刻情報を、離氷時刻として推定する。また、推定部１６が、所定部位の高さが、基準値を超えた状態から基準値に戻ったフレーム又は基準値に戻る１つ前のフレームの時刻情報を、着氷時刻として推定する。
【0037】
次に、ステップＳ１８で、算出部１８が、離氷時刻及び着氷時刻のフレームの各々から特定されたブレードの先端３４及び終端３６の位置を用いて、特定用カメラ２２の撮影方向を基準としたブレードの絶対角度を算出する。また、算出部１８が、取得部１２から受け渡された軌跡情報と、推定部１６から受け渡された離氷時刻及び着氷時刻の各々とに基づいて、離氷点Ａ及び着氷点Ｂの各々の位置を特定する。そして、算出部１８が、離氷点Ａと着氷点Ｂとを通る直線を基準線（Ａ－Ｂ）として特定し、メインの特定用カメラ２２の撮影方向を基準とした線と、特定した基準線（Ａ－Ｂ）との角度差を、ブレードの絶対角度から差し引いて、ブレードの回転角度θを算出する。さらに、算出部１８が、ジャンプの区間及びその区間の前後所定数分のフレームの各々から特定された所定部位の３次元位置に基づいて、ジャンプの高さ、飛距離、踏切速度等の情報を算出する。そして、算出部１８が、回転角度θ及び他の情報の算出結果を出力し、情報処理ルーチンは終了する。
【0038】
以上説明したように、第１実施形態に係る情報処理システムによれば、情報処理装置が、スケートリンク上の競技者を、交差する２方向から撮影する複数のカメラの各々で撮影された映像を取得する。また、情報処理装置が、取得した映像に含まれる複数のフレームの各々における、競技者及び競技者が装着する装着物の少なくとも一部の所定部位の高さを特定する。そして、情報処理装置が、所定部位の高さの変化に基づいて、競技者が行ったジャンプの離氷時に対応するフレーム及び着氷時に対応するフレームから、ジャンプの離氷時刻及び着氷時刻を推定する。これにより、競技者及び競技者が装着する装着物にセンサ等を取り付けることなく、フィギュアスケートにおけるジャンプの離氷時刻及び着氷時刻を推定することができる。
【0039】
また、情報処理装置は、競技者を、交差する２方向から撮影する複数のカメラの各々で撮影された映像に基づいて、ジャンプの離氷時刻及び着氷時刻を推定するため、精度良く離氷時刻及び着氷時刻を推定することができる。さらに、精度良く推定された離氷時刻及び着氷時刻に基づいて、ジャンプの着氷時の回転角度等の情報も精度良く算出することができる。
【0040】
＜第２実施形態＞
次に、第２実施形態について説明する。なお、第２実施形態に係る情報処理システムにおいて、第１実施形態に係る情報処理システム１００と同様の構成については、同一符号を付して詳細な説明を省略する。また、第２実施形態において、第１実施形態の機能部と符号の下２桁が共通する機能部について、第１実施形態の機能部と共通する機能については、詳細な説明を省略する。
次に、第２実施形態について説明する。なお、第２実施形態に係る情報処理システムにおいて、第１実施形態に係る情報処理システム１００と同様の構成については、同一符号を付して詳細な説明を省略する。また、第２実施形態において、第１実施形態の機能部と符号の下２桁が共通する機能部について、第１実施形態の機能部と共通する機能については、詳細な説明を省略する。
【0041】
図９に示すように、第２実施形態に係る情報処理システム２００は、情報処理装置２１０と、カメラ２２２とを含む。
【0042】
カメラ２２２は、第１実施形態における特定用カメラ２２と同様に、スケートリンク３０上の競技者３２及び競技者３２が装着する装着物の所定部位の３次元位置を特定可能に撮影する撮影装置でもある。カメラ２２２は、上記の所定部位の３次元位置をステレオカメラ方式により計測可能な位置に複数台（例えば、２台）設置される。カメラ２２２は、所定のフレームレート（例えば、１２０ｆｐｓ）で撮影した映像を出力する。出力される映像は、複数のフレームを含んでおり、各フレームには時刻情報が対応付いている。なお、カメラ２２２として、ＴｏＦ（Time-of-Flight）方式の１台のカメラを用いてもよい。また、カメラ２２２は、第１実施形態におけるトラッキング用カメラ２０と同様に、スケートリンク３０上の競技者３２の位置を特定可能な映像を撮影する、例えばモーショントラッキング用の撮影装置としても機能する。
【0043】
情報処理装置２１０は、機能的には、図９に示すように、取得部２１２と、特定部２１４と、推定部２１６と、算出部２１８とを含む。
【0044】
取得部２１２は、カメラ２２２から出力された映像を取得する。取得部２１２は、取得した映像を特定部２１４へ受け渡す。
【0045】
特定部２１４は、取得部２１２から受け渡された映像に含まれる複数のフレームの各々における、競技者３２が装着するスケートシューズのブレードの高さを特定する。具体的には、特定部２１４は、第１実施形態における特定部１４と同様に、図４に示すような、ブレードの先端３４及び終端３６の３次元位置（ｘ，ｙ，ｚ）を算出する。３次元位置の（ｘ，ｙ）により、第１実施形態の取得部１２により算出した競技者３２の軌跡情報と同様の軌跡情報が算出される。また、３次元位置のｚが、ブレードの先端３４又は終端３６（以下、単に「ブレード」ともいう）の高さに相当する。また、特定部２１４は、第１実施形態における特定部１４と同様に、ブレード以外の他の所定部位についても、３次元位置（ｘ，ｙ，ｚ）を算出してよい。特定部２１４は、ブレードの高さｚを推定部２１６に受け渡すと共に、ブレード、他の所定部位の３次元位置（ｘ，ｙ，ｚ）、及び軌跡情報を算出部２１８へ受け渡す。
【0046】
推定部２１６は、特定部２１４から受け渡された、ブレードの高さの変化、及び複数のフレームの各々の時刻情報に基づいて、ジャンプの離氷時刻及び着氷時刻を推定する。具体的には、図１０に示すように、推定部２１６は、複数のフレームの各々の時刻情報に対するブレードの高さの変化の度合いが、所定値以内の状態から所定値を超える状態に変化した変化点に対応する時刻を離氷時刻として推定する。所定値は、ブレードの高さにほぼ変化がないことを表す値、すなわち、競技者３２が着氷状態であると判定可能な値を予め定めておけばよい。
【0047】
図１０の例を用いて、より具体的に説明する。図１０の例では、時刻情報ｔＴ１までは、ブレードの高さｚの変化が所定値以内の状態、時刻情報ｔＴ２以降は、高さｚの変化が所定値を超えた状態である。推定部２１６は、ブレードの高さｚの変化が所定値以内である時刻情報ｔＴ１まで高さｚを直線近似した直線と、高さｚの変化が所定値を超えている時刻情報ｔＴ２以降の高さｚを曲線近似した上に凸の曲線との交点を変化点として検出する。そして、推定部２１６は、変化点に対応する時刻情報ｔＴを、離氷時刻として推定する。
【0048】
また、推定部２１６は、図１１に示すように、着氷時刻についても同様に、ブレードの高さの変化の度合いが、所定値を超える状態から所定値以内の状態に変化した変化点に対応する時刻を着氷時刻として推定する。
【0049】
図１１の例を用いて、より具体的に説明する。図１１の例では、時刻情報ｔＬ２までは、ブレードの高さｚの変化が所定値を超えている状態、時刻情報ｔＬ１以降は、高さｚの変化が所定値以内の状態である。推定部２１６は、ブレードの高さｚの変化が所定値を超えている時刻情報ｔＬ２までの高さｚを曲線近似した上に凸の曲線と、高さｚの変化が所定値以内である時刻情報ｔＬ１以降の高さｚを直線近似した直線との交点を変化点として検出する。そして、推定部２１６は、変化点に対応する時刻情報ｔＬを、着氷時刻として推定する。
【0050】
第１実施形態のように、フレームの時刻情報を離氷時刻として推定する場合には、実際の離氷のタイミングがフレーム間にあったとしても、そのタイミングの前又は後のフレームの時刻情報が離氷時刻として推定されてしまう。着氷時刻についても同様である。上記のように、ブレードの高さの変化の変化点を検出することで、フレーム間の時間間隔よりも詳細な離氷時刻及び着氷時刻を推定することができる。推定部２１６は、推定した離氷時刻及び着氷時刻を算出部２１８へ受け渡す。
【0051】
算出部２１８は、第１実施形態における算出部１８と同様に、フレーム毎に回転角度θを算出する。この際、算出部２１８は、図１２に示すように、特定部２１４により生成された競技者３２の軌跡情報に基づいて、推定部２１６により推定された離氷時刻ｔＴの直前及び直後の時刻情報に対応するフレームの各々から算出された競技者３２の位置を特定する。そして、算出部２１８は、特定した両位置の間で、離氷時刻ｔＴに対応する位置を、離氷点Ａとして特定する。なお、図１２では、説明の都合上、競技者３２の位置の軌跡を時間軸に対応させた直線で表している。
【0052】
より具体的には、算出部２１８は、図１３に示すように、離氷時刻ｔＴの直前の時刻情報ｔＴ１に対応するフレームをＦＴ１、離氷時刻ｔＴの直後の時刻情報ｔＴ２に対応するフレームをＦＴ２とする。また、算出部２１８は、フレームＦＴ１から算出された競技者３２の位置をＰＴ１、フレームＦＴ２から算出された競技者３２の位置をＰＴ２とし、ＰＴ１とＰＴ２との間では、競技者３２の位置は直線的に変化するものと仮定する。この場合、算出部２１８は、ＰＴ１とＰＴ２との間の位置であって、１フレーム分の時間（ｔＴ２－ｔＴ１）に対するｔＴの割合に対応する位置を、離氷点Ａと特定する。すなわち、算出部２１８は、Ａ＝ＰＴ１＋（ＰＴ２－ＰＴ１）×（ｔＴ－ｔＴ１）／（ｔＴ２－ｔＴ１）により、離氷点Ａを特定する。算出部２１８は、着氷時刻ｔＬに対応する位置である着氷点Ｂについても、上記の離氷点Ａと同様に特定する。これにより、第１実施形態の場合よりも、精度良く離氷点Ａ及び着氷点Ｂを特定することができる。
【0053】
算出部２１８は、特定した離氷点Ａと着氷点Ｂとを通る直線を、ジャンプの回転を判定するための基準線（Ａ－Ｂ）として特定し、第１実施形態と同様に、ジャンプの区間に含まれるフレームの各々から回転角度θを算出する。図１４に、ジャンプの区間に含まれるフレームの各々から算出された回転角度θの一例を示す。さらに、算出部２１８は、推定部２１６により推定された着氷時刻の前後のフレームから算出された回転角度θに基づいて、着氷時刻における回転角度θを算出する。
【0054】
図１５を参照して、具体的に説明する。図１５は、図１４の破線枠で示す部分の拡大図である。推定部２１６により推定された着氷時刻ｔＬの直前の時刻情報ｔＬ２に対応するフレームをＦＬ２、着氷時刻ｔＬの直後の時刻情報ｔＬ１に対応するフレームをＦＬ１とする。また、算出部２１８は、フレームＦＬ１から算出されたブレードの回転角度をθＬ１、フレームＦＬ２から算出された回転角度をθＬ２とし、ジャンプ中の回転速度はほぼ一定であると仮定する。そして、算出部２１８は、θＬ１とθＬ２との間の回転角度であって、１フレーム分の時間（ｔＬ１－ｔＬ２）に対するｔＬの割合に対応する回転角度を、着氷時刻ｔＬにおける回転角度θＬとして算出する。すなわち、算出部２１８は、θＬ＝θＬ２＋（θＬ１－θＬ２）×（ｔＬ－ｔＬ２）／（ｔＬ１－ｔＬ２）により、回転角度θＬを算出する。これにより、第１実施形態の場合よりも、精度良く回転角度を算出することができる。
【0055】
算出部２１８は、第１実施形態における算出部１８と同様に、回転角度以外の情報も算出し、算出結果を出力する。
【0056】
情報処理装置２１０は、例えば図７に示すコンピュータ４０で実現することができる。コンピュータ４０の記憶部４３には、コンピュータ４０を、情報処理装置２１０として機能させるための情報処理プログラム２５０が記憶される。情報処理プログラム２５０は、取得プロセス２５２と、特定プロセス２５４と、推定プロセス２５６と、算出プロセス２５８とを有する。
【0057】
ＣＰＵ４１は、情報処理プログラム２５０を記憶部４３から読み出してメモリ４２に展開し、情報処理プログラム２５０が有するプロセスを順次実行する。ＣＰＵ４１は、取得プロセス２５２を実行することで、図９に示す取得部２１２として動作する。また、ＣＰＵ４１は、特定プロセス２５４を実行することで、図９に示す特定部２１４として動作する。また、ＣＰＵ４１は、推定プロセス２５６を実行することで、図９に示す推定部２１６として動作する。また、ＣＰＵ４１は、算出プロセス２５８を実行することで、図９に示す算出部２１８として動作する。これにより、情報処理プログラム２５０を実行したコンピュータ４０が、情報処理装置２１０として機能することになる。
【0058】
なお、情報処理プログラム２５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。
【0059】
次に、第２実施形態に係る情報処理システム２００の作用について説明する。第２実施形態では、情報処理装置２１０において、図１６に示す情報処理ルーチンが実行される。なお、情報処理ルーチンは、開示の技術の情報処理方法の一例である。
【0060】
ステップＳ２１０で、取得部２１２が、カメラ２２２から出力された映像を取得し、特定部２１４へ受け渡す。そして、特定部２１４が、取得部２１２から受け渡された映像に含まれる複数のフレームの各々における、競技者３２が装着するスケートシューズのブレードを含む所定部位の３次元位置（ｘ，ｙ，ｚ）を算出する。この３次元位置（ｘ，ｙ，ｚ）には、競技者３２の軌跡情報及びブレードの高さが含まれる。
【0061】
次に、ステップＳ２１２で、推定部２１６が、複数のフレームの各々の時刻情報に対するブレードの高さの変化の度合いが、所定値以内の状態から所定値を超える状態に変化した変化点に対応する時刻を離氷時刻として推定する。また、推定部２１６が、着氷時刻についても同様に、ブレードの高さｚの変化の度合いが、所定値を超える状態から所定値以内の状態に変化した変化点に対応する時刻を着氷時刻として推定する。
【0062】
次に、ステップＳ２１４で、算出部２１８が、競技者３２の軌跡情報に基づいて、推定された離氷時刻の直前及び直後の時刻情報に対応するフレームの各々から算出された競技者３２の位置を特定する。そして、算出部２１８が、特定した両位置の間で、離氷時刻に対応する位置を、離氷点Ａとして特定する。同様に、算出部２１８が、推定された着氷時刻の直前及び直後の時刻情報に対応するフレームの各々から算出された競技者３２の位置を特定する。そして、算出部２１８が、特定した両位置の間で、着氷時刻に対応する位置を、着氷点Ｂとして特定する。さらに、算出部２１８が、特定した離氷点Ａと着氷点Ｂとを通る直線を、ジャンプの回転を判定するための基準線（Ａ－Ｂ）として特定する。
【0063】
次に、ステップＳ２１６で、算出部２１８が、特定した基準線（Ａ－Ｂ）を用いて、ジャンプの区間に含まれるフレームの各々から回転角度θを算出する。そして、算出部２１８が、推定された着氷時刻の直前及び直後の時刻情報に対応するフレームの各々から算出された回転角度の間で、着氷時刻に対応する回転角度を算出する。
【0064】
次に、ステップＳ２１８で、算出部２１８が、回転角度以外の情報も算出し、上記ステップＳ２１６で算出した回転角度も合わせ、算出結果を出力し、情報処理ルーチンは終了する。
【0065】
以上説明したように、第２実施形態に係る情報処理システムによれば、情報処理装置が、スケートリンク上の競技者を撮影するカメラで撮影された映像を取得する。また、情報処理装置が、取得した映像に含まれる複数のフレームの各々における、競技者が装着するスケートシューズのブレードの高さを特定する。そして、情報処理装置が、ブレードの高さの変化、及び複数のフレームの各々の時刻情報に基づいて、ジャンプの離氷時刻及び着氷時刻を推定する。これにより、競技者及び競技者が装着する装着物にセンサ等を取り付けることなく、フィギュアスケートにおけるジャンプの離氷時刻及び着氷時刻を推定することができる。
【0066】
また、情報処理装置は、ブレードの高さの変化の変化点を検出し、その変化点に対応する時刻情報を離氷時刻及び着氷時刻として推定することで、フレーム間の時間間隔よりも詳細な離氷時刻及び着氷時刻を推定することができる。さらに、詳細に推定された離氷時刻及び着氷時刻に基づいて、ジャンプの着氷時の回転角度等の情報を精度良く算出することができる。
【0067】
＜第３実施形態＞
次に、第３実施形態について説明する。なお、第３実施形態に係る情報処理システムにおいて、第１実施形態に係る情報処理システム１００、及び第２実施形態に係る情報処理システム１００と同様の構成については、同一符号を付して詳細な説明を省略する。
次に、第３実施形態について説明する。なお、第３実施形態に係る情報処理システムにおいて、第１実施形態に係る情報処理システム１００、及び第２実施形態に係る情報処理システム１００と同様の構成については、同一符号を付して詳細な説明を省略する。
【0068】
図１及び図２に示すように、第３実施形態に係る情報処理システム３００は、情報処理装置３１０と、トラッキング用カメラ２０と、特定用カメラ２２とを含む。情報処理装置３１０は、機能的には、図２に示すように、取得部１２と、特定部１４と、推定部２１６と、算出部２１８とを含む。すなわち、第３実施形態に係る情報処理装置３１０は、第１実施形態に係る情報処理装置１０と、第２実施形態に係る情報処理装置２１０とを組み合わせた構成である。
【0069】
具体的には、情報処理装置３１０は、第１実施形態と同様に、トラッキング用カメラ２０で撮影された映像から取得した競技者３２の位置に基づいて、複数の特定用カメラ２２から最適な特定用カメラ２２を選択する。そして、情報処理装置３１０は、選択した特定用カメラ２２で撮影された映像から、ブレードを含む所定部位の３次元位置を算出する。これにより、ブレードの高さも特定される。さらに、情報処理装置３１０は、ブレードの高さの変化の変化点を検出し、変化点に対応する時刻情報を離氷時刻及び着氷時刻として推定する。
【0070】
情報処理装置３１０は、例えば図７に示すコンピュータ４０で実現することができる。コンピュータ４０の記憶部４３には、コンピュータ４０を、情報処理装置３１０として機能させるための情報処理プログラム３５０が記憶される。情報処理プログラム３５０は、取得プロセス５２と、特定プロセス５４と、推定プロセス２５６と、算出プロセス２５８とを有する。
【0071】
ＣＰＵ４１は、情報処理プログラム３５０を記憶部４３から読み出してメモリ４２に展開し、情報処理プログラム３５０が有するプロセスを順次実行する。ＣＰＵ４１は、取得プロセス５２を実行することで、図２に示す取得部１２として動作する。また、ＣＰＵ４１は、特定プロセス５４を実行することで、図２に示す特定部１４として動作する。また、ＣＰＵ４１は、推定プロセス２５６を実行することで、図２に示す推定部２１６として動作する。また、ＣＰＵ４１は、算出プロセス２５８を実行することで、図２に示す算出部２１８として動作する。これにより、情報処理プログラム３５０を実行したコンピュータ４０が、情報処理装置３１０として機能することになる。
【0072】
なお、情報処理プログラム３５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。
【0073】
次に、第３実施形態に係る情報処理システム２００の作用について説明する。第３実施形態では、情報処理装置２１０において、図８に示す情報処理ルーチンのステップＳ１０～Ｓ１４、及び図１６に示す情報処理ルーチンのステップＳ２１２～Ｓ２１８が実行される。
【0074】
以上説明したように、第３実施形態に係る情報処理システムによれば、第１実施形態と第２実施形態値を組み合わせた構成により、フィギュアスケートにおけるジャンプの離氷時刻及び着氷時刻を、より精度良く推定することができる。
【0075】
なお、第１及び第３実施形態では、フレーム毎に、トラッキング用カメラ２０で撮影された映像から取得した競技者３２の位置に基づいて、複数の特定用カメラ２２から最適な特定用カメラ２２を選択する場合について説明したが、これに限定されない。トラッキング用カメラ２０で撮影された映像から、大まかな離氷時刻及び着氷時刻を取得し、その離氷時刻及び着氷時刻に対応するフレームについて、最適な特定用カメラ２２を選択するようにしてもよい。
【0076】
具体的には、情報処理装置は、トラッキング用カメラ２０で撮影された映像の各フレームから、競技者３２の所定部位の高さ方向の位置も含む３次元位置を取得する。そして、情報処理装置は、所定部位の高さが、着氷時の高さを示す基準値を超えたフレーム又は基準値を超える１つ前のフレームの時刻情報を、大まかな離氷時刻として取得する。また、情報処理装置は、所定部位の高さが、基準値を超えた状態から基準値に戻ったフレーム又は基準値に戻る１つ前のフレームの時刻情報を、大まかな着氷時刻として取得する。そして、情報処理装置は、大まかな離氷時刻に対応するフレームの所定数前のフレームから、大まかな着氷時刻に対応するフレームの所定数後のフレームまでの区間を特定する。そして、情報処理装置は、特定した区間に含まれる各フレームから取得されている競技者３２のスケートリンク３０上での位置に基づいて、その区間に含まれる各フレームについて、図３を用いて説明したように、適切な特定用カメラ２２を選択する。これにより、最適な特定用カメラ２２の選択、及び特定用カメラ２２で撮影された映像に対する処理の実行を、ジャンプの区間に限定することができ、処理量を削減することができる。
【0077】
また、上記各実施形態では、情報処理プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。
【符号の説明】
【0078】
１００、２００ 情報処理システム
１０、２１０、３１０ 情報処理装置
１２、２１２ 取得部
１４、２１４ 特定部
１６、２１６ 推定部
１８、２１８ 算出部
２０ トラッキング用カメラ
２２ 特定用カメラ
２２Ａ 第１カメラ
２２Ｂ 第２カメラ
２２２ カメラ
３０ スケートリンク
３２ 競技者
３４ ブレードの先端
３６ ブレードの終端
４０ コンピュータ
４１ ＣＰＵ
４２ メモリ
４３ 記憶部
４９ 記憶媒体
５０、２５０、３５０ 情報処理プログラム
１０、２１０、３１０ 情報処理装置
１２、２１２ 取得部
１４、２１４ 特定部
１６、２１６ 推定部
１８、２１８ 算出部
２０ トラッキング用カメラ
２２ 特定用カメラ
２２Ａ 第１カメラ
２２Ｂ 第２カメラ
２２２ カメラ
３０ スケートリンク
３２ 競技者
３４ ブレードの先端
３６ ブレードの終端
４０ コンピュータ
４１ ＣＰＵ
４２ メモリ
４３ 記憶部
４９ 記憶媒体
５０、２５０、３５０ 情報処理プログラム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
