知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024127371
(43)【公開日】2024-09-20
(54)【発明の名称】動画再生装置、プログラム、及び動画再生方法
(51)【国際特許分類】
H04N 5/93 20060101AFI20240912BHJP
A63B 69/00 20060101ALI20240912BHJP
A63B 69/36 20060101ALI20240912BHJP
G06T 7/00 20170101ALI20240912BHJP
G06T 7/20 20170101ALI20240912BHJP
【ＦＩ】
H04N5/93
A63B69/00 A
A63B69/36 541W
G06T7/00 660B
G06T7/20 300Z
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023036493
(22)【出願日】2023-03-09
(71)【出願人】
【識別番号】000004075
【氏名又は名称】ヤマハ株式会社
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】田嶋 良平
(72)【発明者】
【氏名】伊藤 栄美
(72)【発明者】
【氏名】山本 和彦
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096CA04
5L096EA03
5L096FA54
5L096FA64
5L096FA66
5L096FA69
(57)【要約】 （修正有）
【課題】スポーツにおける動作を撮影してられる２つの動画をユーザの指定したタイミングで同期して再生する動画再生装置、方法及びプログラムを提供する。
【解決手段】処理装置、撮影装置、操作入力装置、表示装置、記憶装置及び通信装置を有し、例えばスマートフォンである情報処理装置において、処理装置１０は、取得部１０１、第１特定部１０２、第２特定部１０３及び表示制御部１０４を有する。取得部は、ユーザの第１動作及び比較対象の第２動作に含まれ、ユーザが指定する所定の姿勢を示す指定情報を取得する。第１特定部及び第２特定部はそれぞれ、動作を撮影して得られた複数のフレームのうち、指定情報に対応するフレームを特定する。表示制御部は、特定した各フレームの再生タイミングが一致するように、各動作のそれぞれに対応する動画データを並列に再生する。
【選択図】図６
【解決手段】処理装置、撮影装置、操作入力装置、表示装置、記憶装置及び通信装置を有し、例えばスマートフォンである情報処理装置において、処理装置１０は、取得部１０１、第１特定部１０２、第２特定部１０３及び表示制御部１０４を有する。取得部は、ユーザの第１動作及び比較対象の第２動作に含まれ、ユーザが指定する所定の姿勢を示す指定情報を取得する。第１特定部及び第２特定部はそれぞれ、動作を撮影して得られた複数のフレームのうち、指定情報に対応するフレームを特定する。表示制御部は、特定した各フレームの再生タイミングが一致するように、各動作のそれぞれに対応する動画データを並列に再生する。
【選択図】図６
【特許請求の範囲】
【請求項1】
ユーザの第１動作及び前記第１動作との比較対象となる第２動作に含まれ、前記ユーザが指定する所定の姿勢を示す指定情報を取得する取得部と、
前記第１動作を撮影することにより得られる第１動画データが表す複数のフレームのうち、前記指定情報に対応する第１フレームを特定する第１特定部と、
前記第２動作を撮影することにより得られる第２動画データが表す複数のフレームのうち、前記指定情報に対応する第２フレームを特定する第２特定部と、
前記第１動画データ及び前記第２動画データを、前記第１フレームの再生タイミングと前記第２フレームの再生タイミングとが一致するように並列に再生することによって、前記第１動作に対応する動画及び前記第２動作に対応する動画を表示装置に表示する表示制御部と、
を有する動画再生装置。
前記第１動作を撮影することにより得られる第１動画データが表す複数のフレームのうち、前記指定情報に対応する第１フレームを特定する第１特定部と、
前記第２動作を撮影することにより得られる第２動画データが表す複数のフレームのうち、前記指定情報に対応する第２フレームを特定する第２特定部と、
前記第１動画データ及び前記第２動画データを、前記第１フレームの再生タイミングと前記第２フレームの再生タイミングとが一致するように並列に再生することによって、前記第１動作に対応する動画及び前記第２動作に対応する動画を表示装置に表示する表示制御部と、
を有する動画再生装置。
【請求項2】
前記第１動画データ及び前記第２動画データは記憶装置に記憶されており、
前記表示制御部は、前記第１動画データ及び前記第２動画データのうちの一方の動画データについての前記記憶装置からの読み出しを開始するタイミングに対して、他方の動画データについての前記記憶装置からの読み出しを開始するタイミングを遅らせる、
請求項１に記載の動画再生装置。
前記表示制御部は、前記第１動画データ及び前記第２動画データのうちの一方の動画データについての前記記憶装置からの読み出しを開始するタイミングに対して、他方の動画データについての前記記憶装置からの読み出しを開始するタイミングを遅らせる、
請求項１に記載の動画再生装置。
【請求項3】
前記第１動画データ及び前記第２動画データは記憶装置に記憶されており、
前記表示制御部は、前記第１動画データ及び前記第２動画データのうちの一方の動画データについての前記記憶装置からの読み出しを開始する位置と他方の動画データについての前記記憶装置からの読み出しを開始する位置とを異ならせる、
請求項１に記載の動画再生装置。
前記表示制御部は、前記第１動画データ及び前記第２動画データのうちの一方の動画データについての前記記憶装置からの読み出しを開始する位置と他方の動画データについての前記記憶装置からの読み出しを開始する位置とを異ならせる、
請求項１に記載の動画再生装置。
【請求項4】
前記取得部は、前記第１動作及び前記第２動作の特徴を表す複数の姿勢のうちの何れかの姿勢を指定する前記ユーザの指示を受け付け、受け付けた指示に応じて前記指定情報を取得する、
請求項１に記載の動画再生装置。
請求項１に記載の動画再生装置。
【請求項5】
前記第１特定部は、前記第１動画データの表す複数のフレームと前記第１動作に含まれる前記複数の姿勢との対応を示す第１情報を前記第１動画データに基づいて生成し、生成した第１情報に基づいて前記第１フレームを特定し、
前記第２特定部は、前記第２動画データの表す複数のフレームと前記第２動作に含まれる前記複数の姿勢との対応を示す第２情報を前記第２動画データに基づいて生成し、生成した第２情報に基づいて前記第２フレームを特定する、
請求項１に記載の動画再生装置。
前記第２特定部は、前記第２動画データの表す複数のフレームと前記第２動作に含まれる前記複数の姿勢との対応を示す第２情報を前記第２動画データに基づいて生成し、生成した第２情報に基づいて前記第２フレームを特定する、
請求項１に記載の動画再生装置。
【請求項6】
前記第１動作及び前記第２動作は、所定のスポーツにおける一連の動作であり、
前記第１特定部は、前記第１動画データが表す複数のフレームの各々から推定される前記ユーザの骨格に基づいて前記第１情報を生成し、
前記第２特定部は、前記第２動画データが表す複数のフレームの各々から推定される前記スポーツの競技者の骨格に基づいて前記第２情報を生成する、
請求項５に記載の動画再生装置。
前記第１特定部は、前記第１動画データが表す複数のフレームの各々から推定される前記ユーザの骨格に基づいて前記第１情報を生成し、
前記第２特定部は、前記第２動画データが表す複数のフレームの各々から推定される前記スポーツの競技者の骨格に基づいて前記第２情報を生成する、
請求項５に記載の動画再生装置。
【請求項7】
前記所定のスポーツでは、前記所定の姿勢となったタイミングにおいて所定の音が発生し、
前記第１動画データ及び前記第２動画データは、前記所定の音を含み、
前記第１特定部は、前記ユーザの骨格と前記第１動画データにおける前記所定の音とに基づいて前記第１フレームを特定し、
前記第２特定部は、前記競技者の骨格と前記第２動画データにおける前記所定の音とに基づいて前記第２フレームを特定する、
請求項６に記載の動画再生装置。
前記第１動画データ及び前記第２動画データは、前記所定の音を含み、
前記第１特定部は、前記ユーザの骨格と前記第１動画データにおける前記所定の音とに基づいて前記第１フレームを特定し、
前記第２特定部は、前記競技者の骨格と前記第２動画データにおける前記所定の音とに基づいて前記第２フレームを特定する、
請求項６に記載の動画再生装置。
【請求項8】
前記第１動画データにおける前記第１フレームに基づいて所定のエフェクトを前記第１動画データに付与することにより第３動画データを生成する生成部と、
前記第３動画データを外部装置へ出力する出力部と、を備える請求項１に記載の動画再生装置。
前記第３動画データを外部装置へ出力する出力部と、を備える請求項１に記載の動画再生装置。
【請求項9】
コンピュータを、
ユーザの第１動作及び前記第１動作との比較対象となる第２動作に含まれ、前記ユーザが指定する所定の姿勢を示す指定情報を取得する取得部と、
前記第１動作を撮影することにより得られる第１動画データが表す複数のフレームのうち、前記指定情報に対応する第１フレームを特定する第１特定部と、
前記第２動作を撮影することにより得られる第２動画データが表す複数のフレームのうち、前記指定情報に対応する第２フレームを特定する第２特定部と、
前記第１動画データ及び前記第２動画データを、前記第１フレームの再生タイミングと前記第２フレームの再生タイミングとが一致するように並列に再生することによって、前記第１動作に対応する動画及び前記第２動作に対応する動画を表示装置に表示する表示制御部と、
して機能させるプログラム。
ユーザの第１動作及び前記第１動作との比較対象となる第２動作に含まれ、前記ユーザが指定する所定の姿勢を示す指定情報を取得する取得部と、
前記第１動作を撮影することにより得られる第１動画データが表す複数のフレームのうち、前記指定情報に対応する第１フレームを特定する第１特定部と、
前記第２動作を撮影することにより得られる第２動画データが表す複数のフレームのうち、前記指定情報に対応する第２フレームを特定する第２特定部と、
前記第１動画データ及び前記第２動画データを、前記第１フレームの再生タイミングと前記第２フレームの再生タイミングとが一致するように並列に再生することによって、前記第１動作に対応する動画及び前記第２動作に対応する動画を表示装置に表示する表示制御部と、
して機能させるプログラム。
【請求項10】
ユーザの第１動作及び前記第１動作との比較対象となる第２動作に含まれ、前記ユーザが指定する所定の姿勢を示す指定情報を取得すること、
前記第１動作を撮影することにより得られる第１動画データが表す複数のフレームのうち、前記指定情報に対応する第１フレームを特定すること、
前記第２動作を撮影することにより得られる第２動画データが表す複数のフレームのうち、前記指定情報に対応する第２フレームを特定すること、及び、
前記第１動画データ及び前記第２動画データを、前記第１フレームの再生タイミングと前記第２フレームの再生タイミングとが一致するように並列に再生することによって、前記第１動作に対応する動画及び前記第２動作に対応する動画を表示装置に表示すること、
を含む動画再生方法。
前記第１動作を撮影することにより得られる第１動画データが表す複数のフレームのうち、前記指定情報に対応する第１フレームを特定すること、
前記第２動作を撮影することにより得られる第２動画データが表す複数のフレームのうち、前記指定情報に対応する第２フレームを特定すること、及び、
前記第１動画データ及び前記第２動画データを、前記第１フレームの再生タイミングと前記第２フレームの再生タイミングとが一致するように並列に再生することによって、前記第１動作に対応する動画及び前記第２動作に対応する動画を表示装置に表示すること、
を含む動画再生方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、動画再生装置、プログラム、及び動画再生方法、に関する。
【背景技術】
【0002】
スポーツでは、一連の動作を正確に行うことが成績の向上につながる場合がある。スポーツにおける一連の動作の一例としては、ゴルフにおけるゴルフクラブのスイング、野球におけるバットのスイング、又は野球における投球が挙げられる。近年では、スポーツにおける一連の動作を撮影し、撮影された動画を当該動作の改善に利用する技術が種々提案されている。動作改善に利用する技術の一例としては非特許文献１に開示の技術が挙げられる。非特許文献１には、ユーザが、自己のスイングの動画と、理想的なスイングの動画とを見比べられるようにするスマートフォン向けアプリが開示されている。このアプリでは、ユーザのスイングの動画の再生を開始するタイミングと理想的なスイングの動画の再生を開始するタイングを揃えることができる。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】“Golf Vision｜プロ監修 - AIゴルフスイング解析アプリ”，［online］，［令和５年３月３日検索］，インターネット＜URL：https://www.golf-vision.com/ja/＞
【発明の概要】
【発明が解決しようとする課題】
【0004】
ゴルフのスイングでは、始動からトップ及びインパクトを経てフィニッシュに至るまでに競技者の姿勢が連続的に変化する。始動とは、ゴルフクラブの振り上げを開始したタイミングのことをいう。トップとは、振り上げたゴルフクラブの振り降ろしを開始したタイミングのことをいう。インパクトとは、振り下ろしたゴルフクラブのヘッドがゴルフボールを打撃するタイミングのことをいう。フィニッシュとは、ゴルフクラブを振り切り、スイングが終了したタイミングのことをいう。ゴルフのスイングの改善を試みる場合、始動、トップ、インパクト及びフィニッシュのうちからユーザが改善を所望するタイミングにおける姿勢を、プロゴルファーのスイング等の理想的なスイングにおける姿勢と見比べることができると便利である。しかし、スイングにおけるトップからフィニッシュまでの時間、トップからインパクトまでの時間、及びインパクトからフィニッシュまでの時間の各々は競技者毎に異なることが一般的である。このため、従来の技術では、ユーザのスイングの動画と理想的なスイングの動画とを並列に再生したとしても、ユーザが改善を所望するタイミングの前後におけるユーザの姿勢と理想的なスイングにおける姿勢とを見比べることは困難である。
【0005】
このような事情を考慮して、本開示のひとつの態様は、一連の動作に含まれる姿勢のうちユーザが指定する姿勢と、比較対象となる動作に含まれる姿勢とを比較できるようする技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の一態様に係る動画再生装置は、取得部と、第１特定部と、第２特定部と、表示制御部と、を有する。取得部は、ユーザの第１動作及び前記第１動作との比較対象となる第２動作に含まれ、前記ユーザが指定する所定の姿勢を示す指定情報を取得する。第１特定部は、前記第１動作を撮影することにより得られる第１動画データが表す複数のフレームのうち、前記指定情報に対応する第１フレームを特定する。第２特定部は、前記第２動作を撮影することにより得られる第２動画データが表す複数のフレームのうち、前記指定情報に対応する第２フレームを特定する。再生制御部は、前記第１動画データ及び前記第２動画データを、前記第１フレームの再生タイミングと前記第２フレームの再生タイミングとが一致するように並列に再生することによって、前記第１動作に対応する動画及び前記第２動作に対応する動画を表示装置に表示する。
【0007】
また、本開示の一態様に係るプログラムは、コンピュータを、取得部と、第１特定部と、第２特定部と、表示制御部と、して機能させる。取得部は、ユーザの第１動作及び前記第１動作との比較対象となる第２動作に含まれ、前記ユーザが指定する所定の姿勢を示す指定情報を取得する。第１特定部は、前記第１動作を撮影することにより得られる第１動画データが表す複数のフレームのうち、前記指定情報に対応する第１フレームを特定する。第２特定部は、前記第２動作を撮影することにより得られる第２動画データが表す複数のフレームのうち、前記指定情報に対応する第２フレームを特定する。再生制御部は、前記第１動画データ及び前記第２動画データを、前記第１フレームの再生タイミングと前記第２フレームの再生タイミングとが一致するように並列に再生することによって、前記第１動作に対応する動画及び前記第２動作に対応する動画を表示装置に表示する。
【0008】
本開示の一態様に係る動画再生方法は、ユーザの第１動作及び前記第１動作との比較対象となる第２動作に含まれ、前記ユーザが指定する所定の姿勢を示す指定情報を取得すること、前記第１動作を撮影することにより得られる第１動画データが表す複数のフレームのうち、前記指定情報に対応する第１フレームを特定すること、前記第２動作を撮影することにより得られる第２動画データが表す複数のフレームのうち、前記指定情報に対応する第２フレームを特定すること、及び、前記第１動画データ及び前記第２動画データを、前記第１フレームの再生タイミングと前記第２フレームの再生タイミングとが一致するように並列に再生することによって、前記第１動作に対応する動画及び前記第２動作に対応する動画を表示装置に表示すること、を含む。
【図面の簡単な説明】
【0009】
【図1】実施形態に係る情報処理装置の使用状況の一例を示す図である。
【図2】情報処理装置のハードウェアの構成を示す図である。
【図3】ユーザデータの一例を示す図である。
【図4】目標データの一例を示す図である。
【図5】姿勢テーブルの一例を示す図である。
【図6】情報処理装置の機能ブロック図である。
【図7】情報処理装置の表示装置に表示されるＵＩ画面の一例を示す図である。
【図8】動画再生の進捗状況を示す画像一例を示す図である。
【図9】第１関係情報の一例を示す図である。
【図10】第２関係情報の一例を示す図である。
【図11】表示制御部の動作を説明するための図である。
【図12】情報処理装置の表示装置に表示されるＵＩ画面の一例を示す図である。
【図13】動画再生装置の処理装置１０が制御プログラムＰＲ１に従って実行する動画再生方法における処理の流れを示すフローチャートである。
【図14】変形例（２）における表示制御部の動作を説明するための図である。
【発明を実施するための形態】
【0010】
以下、本開示の実施形態に係る動画再生装置について図面を参照して説明する。
なお、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施形態は、好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
なお、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施形態は、好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
【0011】
（Ａ：実施形態）
図１は、本開示の一実施形態による情報処理装置１の使用状況の一例を示す図である。情報処理装置１は、撮影機能を備える。情報処理装置１は、例えばスマートフォンである。情報処理装置１は、ユーザＵによるゴルフのスイングを撮影し、当該撮影した動画をユーザの指示に応じて再生する機能を備える。なお、情報処理装置１は、スマートフォンには限定されず、撮影機能及び動画再生機能を備えた情報処理装置であれば、タブレット端末、又はパーソナルコンピュータであってもよい。
図１は、本開示の一実施形態による情報処理装置１の使用状況の一例を示す図である。情報処理装置１は、撮影機能を備える。情報処理装置１は、例えばスマートフォンである。情報処理装置１は、ユーザＵによるゴルフのスイングを撮影し、当該撮影した動画をユーザの指示に応じて再生する機能を備える。なお、情報処理装置１は、スマートフォンには限定されず、撮影機能及び動画再生機能を備えた情報処理装置であれば、タブレット端末、又はパーソナルコンピュータであってもよい。
【0012】
図２は、情報処理装置１におけるハードウェアの構成を示す図である。図２に示されるように、情報処理装置１は、処理装置１０と、撮影装置１１と、操作入力装置１２と、表示装置１３と、記憶装置１４と、通信装置１５と、を有する。
【0013】
処理装置１０は、例えばＣＰＵ（Central Processing Unit）等の単数又は複数の演算処理回路で構成され、情報処理装置１の各要素を統括的に制御する。なお、処理装置１０は、ＣＰＵのほか、ＤＳＰ（Digital Signal Processor）やＡＳＩＣ（Application Specific Integrated Circuit）等の回路によって構成されてもよい。
【0014】
撮影装置１１は、レンズ、撮像素子、マイクロフォン及び処理回路を備えるビデオカメラである。撮像素子は、レンズを介して入射する光を電気信号に変換して画像信号を処理回路に出力する。マイクロフォンは、音を電気信号に変換して音信号を処理回路に出力する。処理回路は画像信号と音信号に基づいて動画データを生成する。動画データは映像データと音データとを含む。撮影装置１１を用いて、ユーザＵのスイングを撮影した場合、動画データは、スイングの映像データとスイングの音データを含む。以下の説明では、ユーザＵのスイングを撮影することにより得られる動画データは、ユーザデータＤ１と称される。ユーザＵのスイングは本開示における第１動作の一例である。ユーザデータＤ１は本開示における第１動画データの一例である。
【0015】
図３は、ユーザデータＤ１の一例を示す図である。ユーザデータは、複数のフレームＦｒで構成される映像データと、図３では省略されているが、映像データに同期した音データと、を含む。映像データは、ユーザＵのスイングの画像がフレームＦｒ毎に記録される。音データは、スイングの際に収音される音が記録される。なお、ユーザデータの各フレームＦｒには、開始フレームからの通し番号としてフレーム番号が関連付けられる。
【0016】
本実施形態におけるフレーム番号は開始フレームのフレーム番号を１とする連番である。図３における（Ａ）、（Ｂ）、（Ｃ）及び（Ｄ）は、ゴルフのスイングの特徴を表す複数の姿勢のうち、始動、トップ、インパクト及びフィニッシュの各タイミングにおける姿勢を示す。図３に示されるユーザデータＤ１において始動のタイミング（Ａ）に対応するフレームのフレーム番号は３０である。フレーム番号が３０のフレームには、ユーザＵのスイングにおける始動の時点の姿勢が写っている。図３に示されるユーザデータＤ１においてトップのタイミング（Ｂ）に対応するフレームのフレーム番号は５０である。フレーム番号が５０のフレームには、ユーザＵのスイングにおけるトップの時点の姿勢が写っている。図３に示されるユーザデータＤ１においてインパクトのタイミング（Ｃ）に対応するフレームのフレーム番号は７０である。フレーム番号が７０のフレームには、ユーザＵのスイングにおけるインパクトの時点の姿勢が写っている。図３に示されるユーザデータＤ１においてフィニッシュのタイミング（Ｄ）に対応するフレームのフレーム番号は９０である。フレーム番号が９０のフレームには、ユーザＵのスイングにおけるフィニッシュの時点の姿勢が写っている。
【0017】
スイングの際に収音される音には、インパクトの際に発生する打撃音、即ちゴルフクラブのヘッドがゴルフボールを打撃した際に発生する音が含まれる。本実施形態におけるユーザデータＤ１の形式は、非圧縮形式であるが、圧縮形式でもよい。圧縮形式は、例えばＭＰＥＧ方式でもよい。ユーザデータＤ１の形式は、複数のフレームで連続する映像データと、当該映像データに同期した音データとを含むのであれば、どのような形式でもよい。
【0018】
操作入力装置１２は、ユーザによる操作を受け付ける。操作入力装置１２は、例えばユーザが押下する複数の操作子、又はユーザによる接触を検知するタッチパネルである。タッチパネルは、表示装置１３による画像表示面に重ねられる。なお、操作入力装置１２を操作するユーザは、スイングをしたユーザ本人でもよいし、他のユーザでもよい。表示装置１３は、例えば液晶パネル又は有機ＥＬパネルを含む。表示装置１３には、撮影されたスイングの動画、ユーザＵの目標となる理想的なスイングの動画、及び両者を同期再生する動画が表示される。
【0019】
通信装置１５は、処理装置１０による制御のもとで、ネットワークを介してサーバ等と通信する。
【0020】
記憶装置１４は、例えば磁気記録媒体又は半導体記録媒体等の公知の記録媒体で構成された単数又は複数のメモリである。なお、複数種の記録媒体の組合せにより記憶装置１４が構成されてもよい。また、情報処理装置１に対して着脱可能な可搬型の記録媒体、又は、情報処理装置１がネットワークを介して通信可能な外部記録媒体（例えばオンラインストレージ）が、記憶装置１４の一部として利用されてもよい。
【0021】
記憶装置１４には、処理装置１０が実行する制御プログラムＰＲ１、処理装置１０が使用する各種データ、ユーザデータＤ１、目標データＤ２、及び姿勢テーブルＴＢＬが記憶される。目標データＤ２は、理想のスイングを示す動画データである。理想のスイングは、ユーザＵの目標となるスイングである。理想のスイングは、例えば、プロゴルファーのスイングである。目標データＤ２は、ユーザデータＤ１と同様に、複数のフレームで構成される映像データと、映像データに同期した音データと、を含む。映像データは、理想のスイングの画像がフレーム毎に記録される。音データは、スイングの際に収音される音が記録される。目標データＤ２における各フレームには、開始フレームからの通し番号としてフレーム番号が関連付けられる。目標データＤ２においても開始フレームのフレーム番号は１である。
【0022】
図４は、目標データＤ２の一例を示す図である。図３と同様に、図４における（Ａ）、（Ｂ）、（Ｃ）及び（Ｄ）は、始動、トップ、インパクト及びフィニッシュの各タイミングにおける姿勢を示す。図４に示される目標データＤ２において始動のタイミング（Ａ）に対応するフレームのフレーム番号は２５である。フレーム番号が２５のフレームには、理想のスイングにおける始動の時点の当該スイングの動作主体（以下、競技者）の姿勢が写っている。図４に示される目標データＤ２においてトップのタイミング（Ｂ）に対応するフレームのフレーム番号は４５である。フレーム番号が４５のフレームには、理想のスイングにおけるトップの時点の競技者の姿勢が写っている。図４に示される目標データＤ２においてインパクトのタイミング（Ｃ）に対応するフレームのフレーム番号は４５である。フレーム番号が４５のフレームには、理想のスイングにおけるインパクトの時点の競技者の姿勢が写っている。図４に示される目標データＤ２においてフィニッシュのタイミング（Ｄ）に対応するフレームのフレーム番号は５５である。フレーム番号が５５のフレームには、理想のスイングにおけるフィニッシュの時点の競技者の姿勢が写っている。
【0023】
目標データＤ２は、ネットワークに接続されたサーバ等からのダウンロードにより取得されてもよく、また、撮影装置１１を用いてプロゴルファーのスイングを撮影することにより取得されてもよい。理想のスイングは第１動作との比較対象となる第２動作の一例であり、目標データＤ２は本開示における第２動画データの一例である。
【0024】
図５は、姿勢テーブルＴＢＬの一例を示す図である。図５に示されるように、姿勢テーブルＴＢＬには、ゴルフのスイングの特徴を表す複数の姿勢の各々を一意に示す識別子に対応付けて、当該識別子の示す姿勢における動作主体Ｍの骨格の特徴を示す特徴データが予め記憶されている。図５に示す例では、始動、テイクバック、トップ、ダウンスイング、インパクト、フォロースルー及びフィニッシュの各タイミングのうち、始動、トップ、インパクト、及びフィニッシュの４つのタイミングにおける姿勢について、識別子と特徴データとの組が姿勢テーブルＴＢＬに記憶されている。
【0025】
識別子に対応づけて姿勢テーブルＴＢＬに記憶される特徴データは、対応する識別子の示す姿勢における、動作主体Ｍの各関節Ｊの三次元座標を表すデータである。本実施形態における三次元座標系は、動作主体Ｍにおける両足の中間の位置を原点とし、且つ両足の間の距離を１とする座標系である。関節Ｊの例としては、左膝、右膝、左股関節、右股関節、左肩関節、右肩関節、左肘及び右肘の合計８個の関節が挙げられる。図６では、右利きの動作主体Ｍを正面（打球方向を北とした場合に、東）から見た際の各関節Ｊが黒丸で示されている。図５には、始動、テイクバック、トップ、ダウンスイング、インパクト、フォロースルー及びフィニッシュの各タイミングの姿勢における各関節Ｊの位置が、順に（１）～（７）として例示されている。
【0026】
図５における特徴データＡは、始動の時点の動作主体Ｍの姿勢における各関節Ｊの三次元座標を表すデータ、即ち８個の座標データの集合体である。図５における特徴データＴは、トップの時点の動作主体Ｍの姿勢における各関節Ｊの三次元座標を表すデータである。図５における特徴データＩは、インパクトの時点の動作主体Ｍの姿勢における各関節Ｊの三次元座標を表すデータである。図５における特徴データＦは、フィニッシュの時点の動作主体Ｍの姿勢における各関節Ｊの三次元座標を表すデータである。
【0027】
スイングは、一般的に言えば、ユーザＵの性別、利き手、世代（年齢）、ゴルフの巧拙（プロ、セミプロ、アマ）等の属性によって異なる。姿勢テーブルＴＢＬに格納される特徴データは、属性が異なり且つ同じ姿勢を表す複数種類の特徴データに平均化等の統計処理を施すことで生成されてもよい。また、姿勢テーブルＴＢＬは、これらの属性に応じて複数の種類が用意されてもよい。本実施形態では、姿勢テーブルＴＢＬが記憶装置１４に記憶されている。しかし、姿勢テーブルＴＢＬは、インターネット等の電気通信回線経由の通信により情報処理装置１がアクセス可能なクラウド上のサーバに記憶されてもよい。
【0028】
図６は、処理装置１０の機能的な構成を例示するブロック図である。処理装置１０は、操作入力装置１２に対するユーザの操作により制御プログラムＰＲ１の実行を指示されると、記憶装置１４から制御プログラムＰＲ１を読み出す。処理装置１０は、読み出した制御プログラムＰＲ１を実行することによって、取得部１０１、第１特定部１０２、第２特定部１０３、及び表示制御部１０４として機能する。処理装置１０は、制御プログラムＰＲ１を実行することにより、ユーザデータＤ１の表す動画と目標データＤ２の表す動画とを、ユーザの指定したタイミングにおいて同期させて再生する。
【0029】
取得部１０１は、ユーザＵのスイングと比較対象となるスイング（本実施形態では理想のスイングの動作）とに共通して含まれる複数の姿勢のうちユーザＵが指定する所定の姿勢を示す指定情報を取得する。本実施形態における複数の姿勢は、始動、トップ、インパクト、及びフィニッシュの各タイミングにおける動作主体の姿勢である。本実施形態では、取得部１０１は、ユーザデータＤ１の表す動画と目標データＤ２の表す動画とを並列に再生するためのＵＩ画面を表示装置１３に表示する。
【0030】
図７は、このＵＩ画面の一例を示す図である。図７に示されるように、このＵＩ画面には、領域Ａ１～Ａ４、及び仮想操作子Ｂ１～Ｂ９が配置される。領域Ａ１は、ユーザデータＤ１の表す動画を表示する表示領域である。領域Ａ２は、目標データＤ２の表す動画を表示する表示領域である。領域Ａ３は、ユーザデータＤ１の表す動画の再生の進捗状況を表す画像が表示される。領域Ａ４は、目標データＤ２の表す動画の再生の進捗状況を表す画像が表示される。
【0031】
図８は、動画の再生の進捗状況を表す画像Ｇ１の一例を表す図である。図８における線分Ｌ１は、動画の開始フレームＳから終端フレームＥまでの時間長を表す。図８における線分Ｌ２は、動画のフレームが再生される毎に線分の右端部が右側へ伸張し、動画における現在の再生位置を表す。図１１では、ユーザデータＤ１において、始動、トップ、インパクト、及びフィニッシュの各タイミングに対応するフレームが、Ａ、Ｔ、Ｉ、及びＦの各文字により表わされている。図８における４個の黒丸印は、左から右へ向かう順に、始動、トップ、インパクト、及びフィニッシュの各タイミングに対応する。始動に対応する黒丸とトップに対応する黒丸の間には、始動からトップまでの時間Ｔａｔが表示される。トップに対応する黒丸とインパクトに対応する黒丸の間には、トップからインパクトまでの時間Ｔｔｉが表示される。インパクトに対応する黒丸とフィニッシュに対応する黒丸の間には、インパクトからフィニッシュまでの時間Ｔｉｆが表示される。これらの時間Ｔａｔ、Ｔｔｉ、及びＴｉｆは、始動とトップとの間のフレーム数、トップとインパクトとの間のフレーム数、及びインパクトとフィニッシュとの間のフレーム数に基づいて算出される。目標データＤ２についても同様である。これら４個の黒丸印のうち、ユーザＵにより指定された姿勢のタイミングに対応する黒丸印は、他の３個の黒丸印よりも大きく表示される。図８には、インパクトにおける姿勢がユーザＵにより指定された場合について例示されている。
【0032】
図７に示される仮想操作子Ｂ１～Ｂ４は、始動、トップ、インパクト、及びフィニッシュの各タイミングにおける姿勢のうち、所望の姿勢をユーザＵに指定させるための仮想ボタンである。仮想操作子Ｂ６は、動画の再生開始をユーザに指示させるための仮想ボタンである。仮想操作子Ｂ５は、動画の巻き戻し再生をユーザに指示させるための仮想ボタンである。仮想操作子Ｂ７は、動画の早送り再生をユーザに指示させるための仮想ボタンである。仮想操作子Ｂ８は、動画を標準速度で再生することをユーザに指示させるための仮想ボタンであり、仮想操作子Ｂ９は、動画のスロー再生をユーザに指示させるための仮想ボタンである。動画を標準速度で再生するとは、例えばフレーム間隔が１／６０秒の動画データであれば、各フレームを１／６０秒の間隔で再生するこという。フレーム間隔が１／６０秒の動画データである場合、スロー再生とは、各フレームを１／１０秒の間隔で再生することをいう。
【0033】
例えば、ユーザＵの所望の姿勢がインパクトの時点の姿勢である場合、ユーザＵは、操作入力装置１２に対して仮想操作子Ｂ３をタップする入力操作を行うことにより、インパクトの時点の姿勢を指定できる。取得部１０１は、操作入力装置１２に対してなされた操作に応じて指定情報を取得する。仮想操作子Ｂ３をタップする入力操作が操作入力装置１２に対してなされた場合、取得部１０１は、インパクトを示す指定情報を取得する。
【0034】
第１特定部１０２は、ユーザデータＤ１が表す複数のフレームのうち、指定情報に対応する第１フレームを特定する。より詳細に説明すると、第１特定部１０２は、まず、ユーザデータＤ１が表す複数のフレームの各々に対して、被写体（本実施形態では、ユーザＵ）の骨格推定処理を施すことにより、被写体の８個の関節Ｊの各々の三次元座標を、フレーム毎に特定する。骨格推定処理については、既存技術が適宜採用されればよい。
【0035】
次いで、第１特定部１０２は、ユーザデータＤ１が表す複数のフレームの各々について、被写体の８個の関節Ｊの三次元座標と姿勢テーブルＴＢＬに格納されている各特徴データの表す８個の関節Ｊの三次元座標とを関節Ｊ毎に比較することにより、始動、トップ、インパクト及びフィニッシュの各タイミングに対応するフレームを特定する。例えば、特定対象がインパクトに対応するフレームである場合、第１特定部１０２は、８個の関節Ｊの各々について、特徴データＩの表す三次元座標と骨格推定処理により特定された三次元座標との間の距離を算出し、８個の関節Ｊについての当該距離の和が最小となるフレームを、インパクトに対応するフレームとして特定する。
【0036】
そして、第１特定部１０２は、図９に示されるように、始動、トップ、インパクト、及びフィニッシュの各々を示す識別子と、対応するフレームのフレーム番号とを対応づけることにより、第１関係情報Ｄ３を生成する。第１関係情報Ｄ３は第１情報の一例である。第１特定部１０２は、指定情報と第１関係情報Ｄ３とに基づいて、第１フレームを特定する。例えば、指定情報がインパクトを示す場合、図９に示す例では、フレーム番号が７０のフレームが第１フレームとして特定される。
【0037】
第２特定部１０３は、目標データＤ２が表す複数のフレームのうち、指定情報に対応する第２フレームを特定する。第２特定部１０３は、第１特定部１０２と同様に、目標データＤ２が表す複数のフレームの各フレームに写っている被写体の各関節Ｊの三次元座標と姿勢テーブルＴＢＬに格納されている各特徴データの表す各関節Ｊの三次元位置と比較することにより、図１０に示されるように、第２関係情報Ｄ４を生成する。第２関係情報Ｄ４は、始動、トップ、インパクト、及びフィニッシュの各々を示す識別子と対応する目標データＤ２のフレームのフレーム番号とを対応づけるデータである。そして、第２特定部１０３は、指定情報と第２関係情報Ｄ４とに基づいて、第２フレームを特定する。例えば、指定情報がインパクトを示す場合、図１０に示す例では、フレーム番号が４５のフレームが第２フレームとして特定される。第２関係情報Ｄ４は第２情報の一例である。
【0038】
表示制御部１０４は、ＵＩ画面における仮想操作子Ｂ６に対する入力操作がなされた場合に、ユーザデータＤ１及び目標データＤ２を、第１フレームの再生タイミングと第２フレームの再生タイミングとが一致するように並列に再生することによって、ユーザＵのスイングの動画及び理想のスイングの動画を表示装置１３に表示する。本実施形態では、表示制御部１０４は、ユーザデータＤ１及び目標データＤ２のうちの一方の動画データについての記憶装置１４からの読み出しを開始するタイミングに対して、他方の動画データについての記憶装置１４からの読み出しを開始するタイミングを遅らせることによって、第１フレームの再生タイミングと第２フレームの再生タイミングとを揃える。
【0039】
図１１は、表示制御部１０４の動作の一例を示す図である。図１１では、図８と同様に、始動、トップ、インパクト、及びフィニッシュの各タイミングに対応するフレームが、Ａ、Ｔ、Ｉ、及びＦの各文字により表わされている。例えば、ユーザＵによりインパクトにおける姿勢が指定され、第１フレームのフレーム番号が「７０」であり、第２フレームのフレーム番号が「４５」であったとする。この場合、表示制御部１０４は、図１１に示されるように、ユーザデータＤ１の再生を開始するタイミングに対して、目標データＤ２の再生を開始するタイミングを、フレーム番号の差（７０－４５）に応じた時間ΔＴだけ遅らせて、両データを並列に再生する。この結果、図１２に示されるように、領域Ａ１に表示されるユーザＵのスイングの動画と、領域Ａ２に表示される理想のスイングの動画とで、インパクトのタイミングとが揃うことになる。
また、領域Ａ１には、始動からトップまでの時間Ｔａｔとして0.7秒、トップからインパクトまでの時間Ｔｔｉとして0.6秒、インパクトからフィニッシュまでの時間Ｔｉｆとして0.5秒が表示される。一方、領域Ａ２には、始動からトップまでの時間Ｔａｔとして0.6秒、トップからインパクトまでの時間Ｔｔｉとして0.5秒、インパクトからフィニッシュまでの時間Ｔｉｆとして0.7秒が表示される。このようにユーザＵのスイングにおける各時間と、理想のスイングにおける各時間とが並べて表示されるので、ユーザＵは自己スイングが理想のスイングと比較して、どの部分が短く、どの部分が長いかを一見して認識できる。
また、領域Ａ１には、始動からトップまでの時間Ｔａｔとして0.7秒、トップからインパクトまでの時間Ｔｔｉとして0.6秒、インパクトからフィニッシュまでの時間Ｔｉｆとして0.5秒が表示される。一方、領域Ａ２には、始動からトップまでの時間Ｔａｔとして0.6秒、トップからインパクトまでの時間Ｔｔｉとして0.5秒、インパクトからフィニッシュまでの時間Ｔｉｆとして0.7秒が表示される。このようにユーザＵのスイングにおける各時間と、理想のスイングにおける各時間とが並べて表示されるので、ユーザＵは自己スイングが理想のスイングと比較して、どの部分が短く、どの部分が長いかを一見して認識できる。
【0040】
また、制御プログラムＰＲ１に従って作動している処理装置１０は、本開示の特徴を顕著に示す動画再生方法を実行する。図１３は、この動画再生方法における処理の流れを示すフローチャートである。図１３に示されるように、この動画再生方法には、取得処理ＳＡ１１０、第１特定処理ＳＡ１２０、第２特定処理ＳＡ１３０、及び表示制御処理ＳＡ１４０が含まれる。取得処理ＳＡ１１０、第１特定処理ＳＡ１２０、第２特定処理ＳＡ１３０、及び表示制御処理ＳＡ１４０の各処理の処理内容は次の通りである。
【0041】
取得処理ＳＡ１１０では、処理装置１０は取得部１０１として機能する。取得処理ＳＡ１１０では、処理装置１０は、ユーザＵのスイングの動作と理想のスイングの動作とに共通して含まれる複数の姿勢のうちユーザＵが指定する所定の姿勢を示す指定情報を取得する。
【0042】
第１特定処理ＳＡ１２０では、処理装置１０は第１特定部１０２として機能する。第１特定処理ＳＡ１２０では、処理装置１０は、ユーザデータＤ１が表す複数のフレームのうち、指定情報に対応する第１フレームを、当該複数のフレームに写っているユーザＵの骨格に基づいて特定する。第１フレームは、指定情報の示す所定の姿勢に対応するユーザデータＤ１のフレームである。
【0043】
第２特定処理ＳＡ１３０では、処理装置１０は第２特定部１０３として機能する。第２特定処理ＳＡ１３０では、処理装置１０は、目標データＤ２が表す複数のフレームのうち、指定情報に対応する第２フレームを、当該複数のフレームに写っている競技者の骨格に基づいて特定する。第２フレームは、指定情報の示す所定の姿勢に対応する目標データＤ２のフレームである。本実施形態では、第２特定処理ＳＡ１３０の実行に先立って第１特定処理ＳＡ１２０が実行されるが、第１特定処理ＳＡ１２０と第２特定処理ＳＡ１３０の実行順序が入れ替わってもよい。
【0044】
表示制御処理ＳＡ１４０では、処理装置１０は表示制御部１０４として機能する。表示制御処理ＳＡ１４０では、処理装置１０は、ユーザデータＤ１及び目標データＤ２を、第１フレームの再生タイミングと第２フレームの再生タイミングとが一致するように並列に再生することによって、ユーザＵのスイングの動画及び理想のスイングの動画を表示装置１３に表示する。
【0045】
以上説明したように、本実施形態によれば、始動、トップ、インパクト、及びフィニッシュのうちからユーザＵが指定したタイミングにおいて同期させて、自身のスイングの動画と理想のスイングの動画とを並列に再生される。このため、ユーザＵは、指定したタイミングの前後において、自身の姿勢と理想のスイングにおける姿勢と見比べて自身の姿勢を修正し、スイングを改善できる。
なお、本実施形態における表示制御部１４０は、ユーザデータＤ１及び目標データＤ２の各々について開始フレーム（即ち、フレーム番号が１のフレーム）から再生を開始した。しかし、ユーザデータＤ１及び目標データＤ２の各々の再生を開始するフレームは、指定情報の示す姿勢に対応するフレームよりも前の任意のフレームであればよく、開始フレームには限定されない。また、ユーザデータＤ１及び目標データＤ２の各々の再生を開始するフレームをユーザＵに指定させてもよい。例えば、指定情報がインパクトを示す場合に、ユーザデータＤ１及び目標データＤ２の各々の再生を開始するフレームとしてトップのタイミングに対応するフレームがユーザＵによって指定されたとする。この場合、表示制御部１４０は、ユーザデータＤ１の表す動画におけるトップとインパクトとの時間差（以下、第１の時間差）と、目標データＤ２の表す動画におけるトップとインパクトとの時間差（以下、第２の時間差）と、の差分を算出する。そして、表示制御部１４０は、算出した差分（第１の時間差－第２の時間差）に応じて、ユーザデータＤ１と目標データＤ２のうちの一方の動画データについての記憶装置１４からの読み出しを開始するタイミングに対して、他方の動画データについての記憶装置１４からの読み出しを開始するタイミングを遅らせる。例えば、算出した差分が正の値であれば、表示制御部１４０は、ユーザデータＤ１についての記憶装置１４からの読み出しを開始するタイミングに対して目標データＤ２についての記憶装置１４からの読み出しを開始するタイミングを当該差分の示す時間だけ遅らせる。算出した差分が負の値であれば、表示制御部１４０は、目標データＤ１についての記憶装置１４からの読み出しを開始するタイミングに対して、ユーザデータＤ２についての記憶装置１４からの読み出しを開始するタイミングを当該差分の絶対値の示す時間だけ遅らせる。
なお、本実施形態における表示制御部１４０は、ユーザデータＤ１及び目標データＤ２の各々について開始フレーム（即ち、フレーム番号が１のフレーム）から再生を開始した。しかし、ユーザデータＤ１及び目標データＤ２の各々の再生を開始するフレームは、指定情報の示す姿勢に対応するフレームよりも前の任意のフレームであればよく、開始フレームには限定されない。また、ユーザデータＤ１及び目標データＤ２の各々の再生を開始するフレームをユーザＵに指定させてもよい。例えば、指定情報がインパクトを示す場合に、ユーザデータＤ１及び目標データＤ２の各々の再生を開始するフレームとしてトップのタイミングに対応するフレームがユーザＵによって指定されたとする。この場合、表示制御部１４０は、ユーザデータＤ１の表す動画におけるトップとインパクトとの時間差（以下、第１の時間差）と、目標データＤ２の表す動画におけるトップとインパクトとの時間差（以下、第２の時間差）と、の差分を算出する。そして、表示制御部１４０は、算出した差分（第１の時間差－第２の時間差）に応じて、ユーザデータＤ１と目標データＤ２のうちの一方の動画データについての記憶装置１４からの読み出しを開始するタイミングに対して、他方の動画データについての記憶装置１４からの読み出しを開始するタイミングを遅らせる。例えば、算出した差分が正の値であれば、表示制御部１４０は、ユーザデータＤ１についての記憶装置１４からの読み出しを開始するタイミングに対して目標データＤ２についての記憶装置１４からの読み出しを開始するタイミングを当該差分の示す時間だけ遅らせる。算出した差分が負の値であれば、表示制御部１４０は、目標データＤ１についての記憶装置１４からの読み出しを開始するタイミングに対して、ユーザデータＤ２についての記憶装置１４からの読み出しを開始するタイミングを当該差分の絶対値の示す時間だけ遅らせる。
【0046】
（Ｂ：変形）
本開示は、以上に例示した実施形態には限定されない。具体的な変形の態様は以下の通りである。以下の例示から任意に指定された２以上の態様が併合されてもよい。
（Ｂ－１：変形例１）
上記実施形態における第１動画データの表す動画における動作主体と第２動画データの表す動画における動作主体とが互いに異なっていたが、両者が同一であってもよい。例えば、第１動画データは、スイングの改善前のユーザＵのスイングを撮影することにより得られる動画データであり、第２動画データは、スイングの改善後のユーザＵのスイングを撮影することにより得られる動画データであってもよい。本態様によれば、ユーザＵは、スイングの改善結果を視覚的に認識できる。
本開示は、以上に例示した実施形態には限定されない。具体的な変形の態様は以下の通りである。以下の例示から任意に指定された２以上の態様が併合されてもよい。
（Ｂ－１：変形例１）
上記実施形態における第１動画データの表す動画における動作主体と第２動画データの表す動画における動作主体とが互いに異なっていたが、両者が同一であってもよい。例えば、第１動画データは、スイングの改善前のユーザＵのスイングを撮影することにより得られる動画データであり、第２動画データは、スイングの改善後のユーザＵのスイングを撮影することにより得られる動画データであってもよい。本態様によれば、ユーザＵは、スイングの改善結果を視覚的に認識できる。
【0047】
（Ｂ－２：変形例２）
上記実施形態におけるユーザデータＤ１及び目標データＤ２は、何れもゴルフのスイングを撮影することにより得られる動画データであった。しかし、ユーザデータＤ１及び目標データＤ２は、野球におけるバットのスイングを撮影することにより得られる動画データ、又は野球における投球を撮影することにより得られる動画データ、即ちゴルフ以外のスポーツにおける一連の動作を撮影することにより得られる動画データであってもよい。また、ユーザデータＤ１及び目標データＤ２は、スポーツにおける一連の動作を撮影することにより得られる動画データには限定されず、ヨガ、ダンス又はパントマイムのように複数の姿勢を含む動作を撮影することにより得られる動画データであればよい。さらに、本開示はスポーツに限定されない。例えば、工場における組立作業、及び調理における包丁の作業に、適用されてもよい。
上記実施形態におけるユーザデータＤ１及び目標データＤ２は、何れもゴルフのスイングを撮影することにより得られる動画データであった。しかし、ユーザデータＤ１及び目標データＤ２は、野球におけるバットのスイングを撮影することにより得られる動画データ、又は野球における投球を撮影することにより得られる動画データ、即ちゴルフ以外のスポーツにおける一連の動作を撮影することにより得られる動画データであってもよい。また、ユーザデータＤ１及び目標データＤ２は、スポーツにおける一連の動作を撮影することにより得られる動画データには限定されず、ヨガ、ダンス又はパントマイムのように複数の姿勢を含む動作を撮影することにより得られる動画データであればよい。さらに、本開示はスポーツに限定されない。例えば、工場における組立作業、及び調理における包丁の作業に、適用されてもよい。
【0048】
（Ｂ－３：変形例３）
上記実施形態における情報処理装置１は、ユーザデータＤ１を生成するための撮影機能を有していた。しかし、ユーザデータＤ１は通信回線経由のダウンロード等により取得されてもよく、この場合、情報処理装置１が撮影機能を有する必要はない。つまり、上記実施形態における撮影装置１１は、本開示の動画再生装置の必須構成要素ではなく、省略可能である。
上記実施形態における情報処理装置１は、ユーザデータＤ１を生成するための撮影機能を有していた。しかし、ユーザデータＤ１は通信回線経由のダウンロード等により取得されてもよく、この場合、情報処理装置１が撮影機能を有する必要はない。つまり、上記実施形態における撮影装置１１は、本開示の動画再生装置の必須構成要素ではなく、省略可能である。
【0049】
（Ｂ－４：変形例４）
表示制御部１０４は、ユーザデータＤ１及び目標データＤ２のうちの一方の動画データについての記憶装置１４からの読み出しを開始する位置と他方の動画データについての記憶装置１４からの読み出しを開始する位置とを異ならせることによって、ユーザの指定したタイミングにおいてユーザデータＤ１の表す動画と目標データＤ２の表す動画とが同期するように、ユーザデータＤ１の表す動画と目標データＤ２の表す動画とを再生してもよい。例えば、ユーザデータＤ１と目標データＤ２とが共にゴルフのスイングを撮影することにより得られた動画データであり、ユーザがインパクトのタイミングを指定したとする。そして、ユーザデータＤ１の表す動画においてインパクトに対応するフレームのフレーム番号が７０であり、目標データＤ２の表す動画においてインパクトに対応するフレームのフレーム番号が４５であったとする。この場合、表示制御部１０４は、図１４に示されるように、目標データＤ２の表す動画については開始フレームＳから再生を開始し、ユーザデータＤ１の表す動画については、開始フレームＳからΔＴに応じた時間が経過した時点のフレームＳ１から再生を開始すればよい。
表示制御部１０４は、ユーザデータＤ１及び目標データＤ２のうちの一方の動画データについての記憶装置１４からの読み出しを開始する位置と他方の動画データについての記憶装置１４からの読み出しを開始する位置とを異ならせることによって、ユーザの指定したタイミングにおいてユーザデータＤ１の表す動画と目標データＤ２の表す動画とが同期するように、ユーザデータＤ１の表す動画と目標データＤ２の表す動画とを再生してもよい。例えば、ユーザデータＤ１と目標データＤ２とが共にゴルフのスイングを撮影することにより得られた動画データであり、ユーザがインパクトのタイミングを指定したとする。そして、ユーザデータＤ１の表す動画においてインパクトに対応するフレームのフレーム番号が７０であり、目標データＤ２の表す動画においてインパクトに対応するフレームのフレーム番号が４５であったとする。この場合、表示制御部１０４は、図１４に示されるように、目標データＤ２の表す動画については開始フレームＳから再生を開始し、ユーザデータＤ１の表す動画については、開始フレームＳからΔＴに応じた時間が経過した時点のフレームＳ１から再生を開始すればよい。
【0050】
（Ｂ－５：変形例５）
上記実施形態では、動画の被写体の骨格の特徴に基づいて、始動、トップ、インパクト、及びフィニッシュの各タイミングに対応するフレームが特定された。しかし、スイングの動作主体は、始動の時点では「１」を、トップの時点では「２」を、インパクト時点では「３」を、フィニッシュの時点では「４」を発音してスイングを行う場合には、動作主体の音声に基づいて各タイミングに対応するフレームが特定されてもよい。
上記実施形態では、動画の被写体の骨格の特徴に基づいて、始動、トップ、インパクト、及びフィニッシュの各タイミングに対応するフレームが特定された。しかし、スイングの動作主体は、始動の時点では「１」を、トップの時点では「２」を、インパクト時点では「３」を、フィニッシュの時点では「４」を発音してスイングを行う場合には、動作主体の音声に基づいて各タイミングに対応するフレームが特定されてもよい。
【0051】
また、ゴルフのスイングでは、インパクトの瞬間に打撃音が発生する。このように、ユーザデータＤ１及び目標データＤ２が、所定の姿勢となったタイミングにおいて所定の音が発生するスポーツにおける一連の動作を撮影することにより得られた動画データであり、所定の姿勢として当該音が発生するタイミングにおける姿勢が指定された場合には、当該音を利用して第１フレーム及び第２フレームが特定されてもよい。
【0052】
例えば、ユーザデータＤ１がユーザＵのゴルフのスイングを撮影することにより得られた動画データであり、ユーザＵによってインパクトのタイミングが指定されたとする。この場合、ユーザＵの身長が情報処理装置１に予め入力されていれば、インパクトにおいて発生する打撃音を利用することで、上記実施形態に比較してさらに正確に第１フレームを特定することができる。
【0053】
具体的には、第１特定部１０２は、ユーザＵにより入力された身長と、ユーザデータＤ１の表す各フレームに写っているユーザＵの身長のピクセル数と、撮影装置１１の内部パラメータ（焦点距離及び拡大倍率）に基づいて、撮影装置１１とユーザＵとの間の距離ＤＬを算出する。なお、内部パラメータに代えて、被写体と撮影装置１１との間の距離毎に、当該被写体の身長と撮影装置１１により撮影された画像における被写体の身長（ピクセル数）とを対応付けるテーブルが用いられてもよい。
【0054】
そして、第１特定部１０２は、打撃音が収録された時刻に対応するフレームから、時間ＤＬ／ＶＣだけ遡った時刻に対応するフレームを第１フレームとして特定する。なお、ＶＣは音速である。同様に、第２特定部１０３は、ユーザＵにより入力された理想のスイングの競技者の身長と目標データＤ２の表す動画に写っている競技者の身長のピクセル数と目標データＤ２における打撃音に基づいて第２フレームを特定する。本態様によれば、ユーザＵが指定する姿勢となったタイミングで発生する音を併用することで、第１フレーム及び第２フレームを正確に特定することができる。
なお、変形例５では、ユーザＵの身長を入力したが、一般的なユーザの身長を予め記憶装置１４に記憶しておき、一般的な身長を用いて情報処理装置１からゴルフゴールまでの距離を算出してもよい。さらに、情報処理装置１は、内部パラメータとユーザデータＤ１に基づいて関節間の距離を推定し、推定された関節間の距離に基づいてユーザＵの身長を算出してもよい。
なお、変形例５では、ユーザＵの身長を入力したが、一般的なユーザの身長を予め記憶装置１４に記憶しておき、一般的な身長を用いて情報処理装置１からゴルフゴールまでの距離を算出してもよい。さらに、情報処理装置１は、内部パラメータとユーザデータＤ１に基づいて関節間の距離を推定し、推定された関節間の距離に基づいてユーザＵの身長を算出してもよい。
【0055】
（Ｂ－６：変形例６）
本開示の動画再生装置は、ユーザデータＤ１における第１フレームに基づいて所定のエフェクトをユーザデータＤ１に付与することにより新たな動画データを生成する生成部と、当該新たな動画データを外部装置へ出力する出力部と、を備えてもよい。ユーザデータＤ１がユーザＵによるゴルフのスイングを撮影して得られる動画データであり、ユーザによりインパクトのタイミングが指定された場合における所定のエフェクトの一例としては、打撃音を銃声等に差し替えることが挙げられる。また、第１フレームに基づいて付与するエフェクトの他の例としては、第１フレームよりも数フレームだけ後ろのフレームに、観客による歓声を付与すること、又は、打ち上げ花火の画像、打球の弾道を模した曲線の画像、或いは想定される飛距離を表す数値等の画像を重ね書きすること等が挙げられる。外部装置の具体例としては、動画配信サービスを提供するサーバ装置が挙げられる。本態様によれば、ユーザは、指定した姿勢となったタイミングに基づいて所定のエフェクトを付与した新たな動画を生成し、当該新たな動画を表す動画データを外部装置へ出力できる。なお、生成部は、エフェクトの付与により生成した新たな動画の一部の画像を切り出し、出力部は、当該画像をＳＮＳのサーバ装置に出力（アップロード）してもよい。
本開示の動画再生装置は、ユーザデータＤ１における第１フレームに基づいて所定のエフェクトをユーザデータＤ１に付与することにより新たな動画データを生成する生成部と、当該新たな動画データを外部装置へ出力する出力部と、を備えてもよい。ユーザデータＤ１がユーザＵによるゴルフのスイングを撮影して得られる動画データであり、ユーザによりインパクトのタイミングが指定された場合における所定のエフェクトの一例としては、打撃音を銃声等に差し替えることが挙げられる。また、第１フレームに基づいて付与するエフェクトの他の例としては、第１フレームよりも数フレームだけ後ろのフレームに、観客による歓声を付与すること、又は、打ち上げ花火の画像、打球の弾道を模した曲線の画像、或いは想定される飛距離を表す数値等の画像を重ね書きすること等が挙げられる。外部装置の具体例としては、動画配信サービスを提供するサーバ装置が挙げられる。本態様によれば、ユーザは、指定した姿勢となったタイミングに基づいて所定のエフェクトを付与した新たな動画を生成し、当該新たな動画を表す動画データを外部装置へ出力できる。なお、生成部は、エフェクトの付与により生成した新たな動画の一部の画像を切り出し、出力部は、当該画像をＳＮＳのサーバ装置に出力（アップロード）してもよい。
【0056】
なお、第１フレームに基づくエフェクトの付与には限定されず、ユーザデータＤ１における動作主体の容姿を変更する編集をユーザデータＤ１に対して手動で施すことにより新たな動画データが生成されてもよい。また、生成部は、目標データＤ２における各フレームから抽出される骨格に対応する人体の３Ｄモデルの各部位に、ユーザの身体の各部の画像を拡大又は縮小等の変形を施しつつテクスチャとして貼り付けることにより、新たな動画データを生成してもよい。所定のエフェクトの付与等により生成される新たな動画データは本開示における第３動画データの一例である。
【0057】
（Ｂ－７：変形例７）
上記実施形態における取得部１０１、第１特定部１０２、第２特定部１０３、及び表示制御部１０４は、スマートフォンに設けられていた。しかし、第１特定部１０２、第２特定部１０３、及び表示制御部１０４のうちの任意の一つ、任意の二つ、任意の三つ、又は全部が、インターネット等の電気通信回線を介してスマートフォンと通信するサーバ装置に設けられてもよい。
上記実施形態における取得部１０１、第１特定部１０２、第２特定部１０３、及び表示制御部１０４は、スマートフォンに設けられていた。しかし、第１特定部１０２、第２特定部１０３、及び表示制御部１０４のうちの任意の一つ、任意の二つ、任意の三つ、又は全部が、インターネット等の電気通信回線を介してスマートフォンと通信するサーバ装置に設けられてもよい。
【0058】
（Ｂ－８：変形例８）
上記実施形態における取得部１０１、第１特定部１０２、第２特定部１０３、及び表示制御部１０４は何れもソフトウェアモジュールであった。しかし、取得部１０１、第１特定部１０２、第２特定部１０３、及び表示制御部１０４のうちの任意の一つ、任意の二つ、任意の三つ、任意の四つ、又は全部が、ハードウェアモジュールであってもよい。ハードウェアモジュールの具体例としては、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等が挙げられる。取得部１０１、第１特定部１０２、第２特定部１０３、及び表示制御部１０４のうちの少なくとも一つハードウェアモジュールであっても、上記実施形態と同一の効果が奏される。
上記実施形態における取得部１０１、第１特定部１０２、第２特定部１０３、及び表示制御部１０４は何れもソフトウェアモジュールであった。しかし、取得部１０１、第１特定部１０２、第２特定部１０３、及び表示制御部１０４のうちの任意の一つ、任意の二つ、任意の三つ、任意の四つ、又は全部が、ハードウェアモジュールであってもよい。ハードウェアモジュールの具体例としては、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等が挙げられる。取得部１０１、第１特定部１０２、第２特定部１０３、及び表示制御部１０４のうちの少なくとも一つハードウェアモジュールであっても、上記実施形態と同一の効果が奏される。
【0059】
（Ｂ－９：変形例９）
制御プログラムＰＲ１が単体で製造又は販売されてもよい。制御プログラムＰＲ１を販売する際の購入先への制御プログラムＰＲ１の提供態様としては、フラッシュＲＯＭ等のコンピュータ読み取り可能な記録媒体に制御プログラムＰＲ１を書き込んで配布する態様、又は電気通信回線経由のダウンロードにより配布する態様が挙げられる。
制御プログラムＰＲ１が単体で製造又は販売されてもよい。制御プログラムＰＲ１を販売する際の購入先への制御プログラムＰＲ１の提供態様としては、フラッシュＲＯＭ等のコンピュータ読み取り可能な記録媒体に制御プログラムＰＲ１を書き込んで配布する態様、又は電気通信回線経由のダウンロードにより配布する態様が挙げられる。
【0060】
（Ｃ：上述の形態又は変形例から把握される態様）
以上の記載から、例えば以下のように本開示の好適な態様が把握される。
本開示のひとつの態様（第１態様）に係る動画再生装置は、取得部と、第１特定部と、第２特定部と、表示制御部と、を有する。取得部は、ユーザの第１動作及び前記第１動作との比較対象となる第２動作に含まれ、前記ユーザが指定する所定の姿勢を示す指定情報を取得する。第１特定部は、前記第１動作を撮影することにより得られる第１動画データが表す複数のフレームのうち、前記指定情報に対応する第１フレームを特定する。第２特定部は、前記第２動作を撮影することにより得られる第２動画データが表す複数のフレームのうち、前記指定情報に対応する第２フレームを特定する。表示制御部は、前記第１動画データ及び前記第２動画データを、前記第１フレームの再生タイミングと前記第２フレームの再生タイミングとが一致するように並列に再生することによって、前記第１動作に対応する動画及び前記第２動作に対応する動画を表示装置に表示する。第１態様によれば、ユーザが指定する姿勢の再生タイミングを同期させて第１動作の動画と第２動作の動画とを再生することができる。
以上の記載から、例えば以下のように本開示の好適な態様が把握される。
本開示のひとつの態様（第１態様）に係る動画再生装置は、取得部と、第１特定部と、第２特定部と、表示制御部と、を有する。取得部は、ユーザの第１動作及び前記第１動作との比較対象となる第２動作に含まれ、前記ユーザが指定する所定の姿勢を示す指定情報を取得する。第１特定部は、前記第１動作を撮影することにより得られる第１動画データが表す複数のフレームのうち、前記指定情報に対応する第１フレームを特定する。第２特定部は、前記第２動作を撮影することにより得られる第２動画データが表す複数のフレームのうち、前記指定情報に対応する第２フレームを特定する。表示制御部は、前記第１動画データ及び前記第２動画データを、前記第１フレームの再生タイミングと前記第２フレームの再生タイミングとが一致するように並列に再生することによって、前記第１動作に対応する動画及び前記第２動作に対応する動画を表示装置に表示する。第１態様によれば、ユーザが指定する姿勢の再生タイミングを同期させて第１動作の動画と第２動作の動画とを再生することができる。
【0061】
第１態様の具体的な第２態様に係る動画再生装置では、前記第１動画データ及び前記第２動画データは記憶装置に記憶されている。第２態様に係る動画再生装置における表示制御部は、前記第１動画データ及び前記第２動画データのうちの一方の動画データについての前記記憶装置からの読み出しを開始するタイミングに対して、他方の動画データについての前記記憶装置からの読み出しを開始するタイミングを遅らせる。第２態様によれば、第１動画データの再生を開始するタイミングと第２動画データの再生を開始するタイミングとをずらすことにより、ユーザが指定する姿勢の再生タイミングを同期させて第１動作の動画と第２動作の動画とを再生することができる。
【0062】
第１態様の具体的な第３態様に係る動画再生装置では、前記第１動画データ及び前記第２動画データは記憶装置に記憶されている。第２態様に係る動画再生装置における表示制御部は、前記第１動画データ及び前記第２動画データのうちの一方の動画データについての前記記憶装置からの読み出しを開始する位置と他方の動画データについての前記記憶装置からの読み出しを開始する位置とを異ならせる。第３態様によれば、第１動画データの再生を開始する位置と第２動画データの再生を開始する位置とをずらすことにより、ユーザが指定する姿勢の再生タイミングを同期させて第１動作の動画と第２動作の動画とを再生することができる。
【0063】
第１態様の具体的な第４態様に係る動画再生装置における取得部は、前記第１動作及び前記第２動作の特徴を表す複数の姿勢のうちの何れかの姿勢を指定する前記ユーザの指示を受け付け、受け付けた指示に応じて前記指定情報を取得する。第４態様によれば、第１動作及び第２動作に含まれる複数の姿勢のうちからユーザが指定した姿勢の再生タイミングを同期させて第１動作の動画と第２動作の動画とを再生することができる。
【0064】
第１態様の具体的な第５態様に係る動画再生装置における第１特定部は、前記第１動画データの表す複数のフレームと前記第１動作に含まれる複数の姿勢との対応を示す第１情報を前記第１動画データに基づいて生成し、生成した第１情報に基づいて前記第１フレームを特定する。第５態様に係る動画再生装置における第２特定部は、前記第２動画データの表す複数のフレームと前記第２動作に含まれる複数の姿勢との対応を示す第２情報を前記第２動画データに基づいて生成し、生成した第２情報に基づいて前記第２フレームを特定する。第５態様によれば、フレームと姿勢の対応関係を示す情報に基づいて、第１フレーム及び第２フレームを特定することができる。
【0065】
第５態様の具体的な第６態様では、前記第１動作及び前記第２動作は、所定のスポーツにおける一連の動作である。第６態様に係る動画再生装置における第１特定部は、前記第１動画データが表す複数のフレームの各々から推定される前記ユーザの骨格に基づいて前記第１情報を生成する。第６態様に係る動画再生装置における第２特定部は、前記第２動画データが表す複数のフレームの各々から推定される前記スポーツの競技者の骨格に基づいて前記第２情報を生成する。第６態様によれば、ユーザが指定する姿勢の再生タイミングを同期させて、所定のスポーツにおけるユーザの一連の動作を表す動画と比較対象となる競技者の一連の動作を表す動画とを再生することができる。
【0066】
第６態様の具体的な第７態様における所定のスポーツでは、前記所定の姿勢となったタイミングにおいて所定の音が発生する。第７態様における第１動画データ及び第２動画データは、前記所定の音を含む。第７態様に係る動画再生装置における第１特定部は、前記ユーザの骨格と前記第１動画データにおける前記所定の音とに基づいて前記第１フレームを特定する。第７態様に係る動画再生装置における第２特定部は、前記競技者の骨格と前記第２動画データにおける前記所定の音とに基づいて前記第２フレームを特定する。第７態様によれば、ユーザが指定する姿勢となったタイミングで発生する音を併用することで、第１フレーム及び第２フレームを正確に特定することができる。
【0067】
第１態様の具体的な第８態様に係る動画再生装置は、生成部と、出力部と、をさらに有する。生成部は、前記第１動画データにおける前記第１フレームに基づいて所定のエフェクトを前記第１動画データに付与することにより第３動画データを生成する。出力部は、前記第３動画データを外部装置へ出力する。第８態様によれば、ユーザが指定する姿勢となったタイミングに所定のエフェクトを付与した動画を生成することができる。
【0068】
本開示のひとつの態様（第９態様）に係るプログラムは、コンピュータを、取得部と、第１特定部と、第２特定部と、表示制御部と、して機能させる。取得部は、ユーザの第１動作及び前記第１動作との比較対象となる第２動作に含まれ、前記ユーザが指定する所定の姿勢を示す指定情報を取得する。第１特定部は、前記第１動作を撮影することにより得られる第１動画データが表す複数のフレームのうち、前記指定情報に対応する第１フレームを特定する。第２特定部は、前記第２動作を撮影することにより得られる第２動画データが表す複数のフレームのうち、前記指定情報に対応する第２フレームを特定する。表示制御部は、前記第１動画データ及び前記第２動画データを、前記第１フレームの再生タイミングと前記第２フレームの再生タイミングとが一致するように並列に再生することによって、前記第１動作に対応する動画及び前記第２動作に対応する動画を表示装置に表示する。第９態様によれば、第１態様と同様に、ユーザが指定する姿勢の再生タイミングを同期させて第１動作の動画と第２動作の動画とを再生することができる。
【0069】
本開示のひとつの態様（第１０態様）に係る動画再生方法は、ユーザの第１動作及び前記第１動作との比較対象となる第２動作に含まれ、前記ユーザが指定する所定の姿勢を示す指定情報を取得すること、前記第１動作を撮影することにより得られる第１動画データが表す複数のフレームのうち、前記指定情報に対応する第１フレームを特定すること、前記第２動作を撮影することにより得られる第２動画データが表す複数のフレームのうち、前記指定情報に対応する第２フレームを特定すること、及び、前記第１動画データ及び前記第２動画データを、前記第１フレームの再生タイミングと前記第２フレームの再生タイミングとが一致するように並列に再生することによって、前記第１動作に対応する動画及び前記第２動作に対応する動画を表示装置に表示すること、を含む。第１０態様によれば、第１態様及び第９態様と同様に、ユーザが指定する姿勢の再生タイミングを同期させて第１動作の動画と第２動作の動画とを再生することができる。
【符号の説明】
【0070】
１…情報処理装置、１０…処理装置、１１…撮影装置、１２…操作入力装置、１３…表示装置、１４…記憶装置、１５…通信装置、１０１…取得部、１０２…第１特定部、１０３…第２特定部、１０４…表示制御部、ＰＲ１…制御プログラム、Ｄ１…ユーザデータ、Ｄ２…目標データ、Ｄ３…第１関係情報、Ｄ４…第２関係情報、ＴＢＬ…姿勢テーブル。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】