IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社チャレンジWORLDの特許一覧

特開2024-75428動作練習支援装置および動作練習支援方法
<>
  • 特開-動作練習支援装置および動作練習支援方法 図1
  • 特開-動作練習支援装置および動作練習支援方法 図2
  • 特開-動作練習支援装置および動作練習支援方法 図3
  • 特開-動作練習支援装置および動作練習支援方法 図4
  • 特開-動作練習支援装置および動作練習支援方法 図5
  • 特開-動作練習支援装置および動作練習支援方法 図6
  • 特開-動作練習支援装置および動作練習支援方法 図7
  • 特開-動作練習支援装置および動作練習支援方法 図8
  • 特開-動作練習支援装置および動作練習支援方法 図9
  • 特開-動作練習支援装置および動作練習支援方法 図10
  • 特開-動作練習支援装置および動作練習支援方法 図11
  • 特開-動作練習支援装置および動作練習支援方法 図12
  • 特開-動作練習支援装置および動作練習支援方法 図13
  • 特開-動作練習支援装置および動作練習支援方法 図14
  • 特開-動作練習支援装置および動作練習支援方法 図15
  • 特開-動作練習支援装置および動作練習支援方法 図16
  • 特開-動作練習支援装置および動作練習支援方法 図17
  • 特開-動作練習支援装置および動作練習支援方法 図18
  • 特開-動作練習支援装置および動作練習支援方法 図19
  • 特開-動作練習支援装置および動作練習支援方法 図20
  • 特開-動作練習支援装置および動作練習支援方法 図21
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024075428
(43)【公開日】2024-06-03
(54)【発明の名称】動作練習支援装置および動作練習支援方法
(51)【国際特許分類】
   A63B 69/00 20060101AFI20240527BHJP
   A63B 71/06 20060101ALI20240527BHJP
【FI】
A63B69/00 A
A63B71/06 T
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2022186905
(22)【出願日】2022-11-22
(71)【出願人】
【識別番号】520041954
【氏名又は名称】株式会社チャレンジWORLD
(74)【代理人】
【識別番号】100149711
【弁理士】
【氏名又は名称】服部 耕市
(72)【発明者】
【氏名】齋藤 正明
(57)【要約】
【課題】模範演技者等の動作と今の自分の動作とを比較しながら動作練習する。ユーザの使い勝手を向上させる。
【解決手段】記憶装置2に保存されている第1の比較動画と第2の比較動画をユーザ端末20の表示画面21に比較可能に一画面表示させる比較表示部を備え、第1の比較動画及び第2の比較動画は、動作中の人物を撮影した第1の元動画と、動作と同じ動作を行う人物を撮影した第2の元動画とに基づき作成されたものであり、第1の比較動画は、第1の元動画に人物の骨格線を重ねて表示した第1の骨格線有り動画と、第2の元動画に人物の骨格線を重ねて表示した第2の骨格線有り動画とを比較可能に並べて表示する動画であり、第2の比較動画は、第1の元動画の人物の骨格の動きを再現した第1の骨格動作再現動画と、第2の元動画の人物の骨格の動きを再現した第2の骨格動作再現動画とを比較可能に並べて表示する動画である。
【選択図】図1
【特許請求の範囲】
【請求項1】
記憶装置に保存されている動画をユーザ端末の表示画面に表示させる動作練習支援装置であって、
前記記憶装置に保存されている第1の比較動画と第2の比較動画を前記ユーザ端末の表示画面に比較可能に一画面表示させる比較表示部を備え、
前記第1の比較動画及び前記第2の比較動画は、動作中の人物を撮影した第1の元動画と、前記動作と同じ動作を行う人物を撮影した第2の元動画とに基づき作成されたものであり、
前記第1の比較動画は、前記第1の元動画に人物の骨格線を重ねて表示した第1の骨格線有り動画と、前記第2の元動画に人物の骨格線を重ねて表示した第2の骨格線有り動画とを比較可能に並べて表示する動画であり、
前記第2の比較動画は、前記第1の元動画の人物の骨格の動きを再現した第1の骨格動作再現動画と、前記第2の元動画の人物の骨格の動きを再現した第2の骨格動作再現動画とを比較可能に並べて表示する動画である、
ことを特徴とする動作練習支援装置。
【請求項2】
前記第1の元動画は手本となる模範演技者の動作を撮影したものであり、前記第2の元動画は練習を行うユーザの動作を撮影したものであることを特徴とする請求項1記載の動作練習支援装置。
【請求項3】
前記第1の元動画は練習を行うユーザの練習前の動作を撮影したものであり、前記第2の元動画は前記ユーザの練習後の動作を撮影したものであることを特徴とする請求項1記載の動作練習支援装置。
【請求項4】
前記第1の元動画と前記第2の元動画の少なくとも一方は、前記ユーザ端末からアップロードされることを特徴とする請求項1記載の動作練習支援装置。
【請求項5】
前記記憶装置に予め保存されている練習ポイントを前記第1の比較動画および第2の比較動画と一緒に一画面表示させる練習ポイント表示部を更に備えていることを特徴とする請求項1記載の動作練習支援装置。
【請求項6】
記憶装置に保存されている動画をユーザ端末の表示画面に表示させる動作練習支援方法であって、
前記記憶装置に保存されている第1の比較動画と第2の比較動画を取得し、前記ユーザ端末の表示画面に比較可能に一画面表示させるステップを備え、
前記第1の比較動画及び前記第2の比較動画は、動作中の人物を撮影した第1の元動画と、前記動作と同じ動作を行う人物を撮影した第2の元動画とに基づき予め作成されたものであり、
前記第1の比較動画は、前記第1の元動画に人物の骨格線を重ねて表示した第1の骨格線有り動画と、前記第2の元動画に人物の骨格線を重ねて表示した第2の骨格線有り動画とを比較可能に並べて表示する動画であり、
前記第2の比較動画は、前記第1の元動画の人物の骨格の動きを再現した第1の骨格動作再現動画と、前記第2の元動画の人物の骨格の動きを再現した第2の骨格動作再現動画とを比較可能に並べて表示する動画である、
ことを特徴とする動作練習支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザにオンラインで例えばスポーツ等の指導動画の視聴機会を提供し、ユーザの動作練習の支援を行う動作練習支援装置および動作練習支援方法に関する。
【背景技術】
【0002】
ゴルフスクールの生徒にオンラインで動画視聴機会を提供し、生徒の練習をアシストするシステムがある(特許文献1)。このアシストシステムでは、レッスン中にコーチが生徒を直接指導する様子を撮影しておき、この撮影動画を生徒がオンラインで視聴できるようにすることで、レッスン終了後に生徒が自宅で練習を振り返ることができるようにしている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2017―131327号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、このアシストシステムでは、生徒のタブレット端末に一度に表示される動画が指導を受けている自分の動画のみであり、レッスンで指摘された自分の動作の修正点を確認することは可能であるが、そもそも模範となる動作を動画で確認することができず、練習により目指す動作と今の自分の動作との差をイメージできない。また、練習を繰り返すうちに自分の動作がどれだけ上手くなったかをイメージすることもできない。
【0005】
本発明は、かかる課題を解決するためになされたもので、模範演技者の動作や過去の自分の動作と今の自分の動作とを比較することができる動作練習支援装置および動作練習支援方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の動作練習支援装置は、記憶装置に保存されている動画をユーザ端末の表示画面に表示させるものであって、前記記憶装置に保存されている第1の比較動画と第2の比較動画を前記ユーザ端末の表示画面に比較可能に一画面表示させる比較表示部を備えている。前記第1の比較動画及び前記第2の比較動画は、動作中の人物を撮影した第1の元動画と、前記動作と同じ動作を行う人物を撮影した第2の元動画とに基づき作成されたものであり、前記第1の比較動画は、前記第1の元動画に人物の骨格線を重ねて表示した第1の骨格線有り動画と、前記第2の元動画に人物の骨格線を重ねて表示した第2の骨格線有り動画とを比較可能に並べて表示する動画であり、前記第2の比較動画は、前記第1の元動画の人物の骨格の動きを再現した第1の骨格動作再現動画と、前記第2の元動画の人物の骨格の動きを再現した第2の骨格動作再現動画とを比較可能に並べて表示する動画である。
【0007】
また、本発明の動作練習支援装置は、前記第1の元動画は手本となる模範演技者の動作を撮影したものであり、前記第2の元動画は練習を行うユーザの動作を撮影したものとしても良い。
【0008】
また、本発明の動作練習支援装置は、前記第1の元動画は練習を行うユーザの練習前の動作を撮影したものであり、前記第2の元動画は前記ユーザの練習後の動作を撮影したものとしても良い。
【0009】
また、前記第1の元動画と前記第2の元動画の少なくとも一方は、前記ユーザ端末からアップロードされるものでも良い。
【0010】
また、前記記憶装置に予め保存されている練習ポイントを前記第1の比較動画および第2の比較動画と一緒に一画面表示させる練習ポイント表示部を更に備えても良い。
【0011】
さらに、本発明の動作練習支援方法は、記憶装置に保存されている動画をユーザ端末の表示画面に表示させるものであって、前記記憶装置に保存されている第1の比較動画と第2の比較動画を取得し、前記ユーザ端末の表示画面に比較可能に一画面表示させるステップを備えている。前記第1の比較動画及び前記第2の比較動画は、動作中の人物を撮影した第1の元動画と、前記動作と同じ動作を行う人物を撮影した第2の元動画とに基づき予め作成されたものであり、前記第1の比較動画は、前記第1の元動画に人物の骨格線を重ねて表示した第1の骨格線有り動画と、前記第2の元動画に人物の骨格線を重ねて表示した第2の骨格線有り動画とを比較可能に並べて表示する動画であり、前記第2の比較動画は、前記第1の元動画の人物の骨格の動きを再現した第1の骨格動作再現動画と、前記第2の元動画の人物の骨格の動きを再現した第2の骨格動作再現動画とを比較可能に並べて表示する動画である。
【発明の効果】
【0012】
本発明によれば、模範演技者の動作や過去の自分の動作と今の自分の動作とを比較しながら動作練習をすることができる。また、2種類の比較動画を一画面に表示させるので、ユーザが画面表示を切り換える手間を省くことができて使い勝手が向上する。さらに、2種類の比較動画を一画面に表示させるので、ユーザが2種類の比較動画を比較しながら動作練習することができるので、練習効率が向上する。
【図面の簡単な説明】
【0013】
図1】本発明の動作練習支援装置の実施形態の一例を示す概略図である。
図2】元動画の概念図である。
図3】第1の骨格線有り動画の概念図である。
図4】第2の骨格線有り動画の概念図である。
図5】第1の骨格動作再現動画の概念図である。
図6】第2の骨格動作再現動画の概念図である。
図7】第1の比較動画の概念図である。
図8】第2の比較動画の概念図である。
図9】本発明の動作練習支援方法の実施形態の一例を示すフローチャートである。
図10】ユーザ端末の表示画面の表示の第1の例を示す概念図である。
図11】ユーザ端末の表示画面の表示の第2の例を示す概念図である。
図12】ユーザ端末の表示画面の表示の第3の例を示す概念図である。
図13】ユーザ端末の表示画面の表示の第4の例を示す概念図である。
図14】動作練習支援装置の詳細を示す概念図である。
図15】動画処理装置の概念図である。
図16】動画処理装置の別の実施形態を示す概念図である。
図17】ユーザ端末の表示画面の表示の第5の例を示す概念図である。
図18】ユーザ端末の表示画面の表示の第6の例を示す概念図である。
図19】ユーザ端末の表示画面の表示の第7の例を示す概念図である。
図20】ユーザ端末の表示画面の表示の第8の例を示す概念図である。
図21】ユーザ端末の表示画面の表示の第9の例を示す概念図である。
【発明を実施するための形態】
【0014】
次に、本発明に係る動作練習支援装置10の実施形態の一例について、図面を参照しながら説明する。なお、図中同一または相当の部材については同一の符号を付してそれらの説明は省略する。
【0015】
先ず、それぞれの動画について説明する。図2に、元動画1を示す。元動画1は動作を行っている人物を撮影した動画であり、例えば30フレームレート(fps、frames per second)の画像(フレーム)から構成されている。記憶装置2には多数の元動画1が保存されており、これらの中から動作練習支援装置10の比較表示部11によって選択された2本元動画1が第1の元動画1aおよび第2の元動画1bである。第1の元動画1aと第2の元動画1bは動作比較の対象となる動画であり、同じ動作が行われている。例えば、手本となる模範演技者の動作を撮影した第1の元動画1aと練習を行うユーザの動作を撮影した第2の元動画1bとの組み合わせや、練習を行うユーザの練習前の動作を撮影した第1の元動画1aと同じユーザの練習後の動作を撮影した第2の元動画1bとの組み合わせがある。元動画1として、ユーザによってユーザ端末20からアップロードされたものとサービス提供者によって準備されたものとがある。
【0016】
図3および図4に、第1の骨格線有り動画3aおよび第2の骨格線有り動画3bを示す。第1の骨格線有り動画3aは第1の元動画1aにその動画中の人物の骨格線を重ねて表示した動画である。第2の骨格線有り動画3bは第2の元動画1bにその動画中の人物の骨格線を重ねて表示した動画である。第1の骨格線有り動画3aおよび第2の骨格線有り動画3bも、例えば30フレームレートの画像から構成されている。記憶装置2には多数の骨格線有り動画3a,3bが保存されている。
【0017】
図5および図6に、第1の骨格動作再現動画4aおよび第2の骨格動作再現動画4bを示す。第1の骨格動作再現動画4aは第1の元動画1aの人物の骨格の動きを再現したアニメーション動画である。第2の骨格動作再現動画4bは第2の元動画1bの人物の骨格の動きを再現したアニメーション動画である。第1の骨格動作再現動画4aおよび第2の骨格動作再現動画4bも、例えば30フレームレートの画像から構成されている。記憶装置2には多数の骨格動作再現動画4a,4bが保存されている。
【0018】
図7に、第1の比較動画5を示す。第1の比較動画5は第1の骨格線有り動画3aと第2の骨格線有り動画3bとを比較可能に並べて表示する動画である。また、図8に、第2の比較動画6を示す。第2の比較動画6は第1の骨格動作再現動画4aと第2の骨格動作再現動画4bとを比較可能に並べて表示する動画である。第1の比較動画5および第2の比較動画6も、例えば30フレームレートの画像から構成されている。記憶装置2には、多数の第1の比較動画5および多数の第2の比較動画6が保存されており、これらの中から動作練習支援装置10の比較表示部11によって選択されたものがユーザ端末20の表示画面21に表示される。なお、図7では第1の骨格線有り動画3aを左に、第2の骨格線有り動画3bを右に並べているが、左右を逆にしても良い。また、図8では第1の骨格動作再現動画4aを左に、第2の骨格動作再現動画4bを右に並べているが、左右を逆にしても良い。
【0019】
図1および図14に、本実施形態に係る動作練習支援装置10を示す。動作練習支援装置10は、記憶装置2に保存されている第1の比較動画5と第2の比較動画6をユーザ端末20の表示画面21に表示させるものであり、記憶装置2に保存されている第1の比較動画5と第2の比較動画6をユーザ端末20の表示画面21に比較可能に一画面表示させる比較表示部11を備えている。
【0020】
比較表示部11はコンピュータ30に所定のプログラムを実行させることで構成され、例えばWebサイトを通じてユーザ端末20の表示画面21に第1の比較動画5と第2の比較動画6を一画面表示させる。ユーザはユーザ端末20を操作して、例えばインターネット等のネットワーク31を介してWebサイトにアクセスし、例えば会員ページにログインすることで、第1の比較動画5および第2の比較動画6を視聴可能になる。また、ユーザは会員ページにログインすることで、自己の撮影動画(元動画1)をアップロードできる。Webサイトはコンピュータ30に所定のプログラムを実行させることで構築される。
【0021】
会員ページには例えばサービスメニューのアイコンが設けられており、ユーザはユーザ端末20を操作してサービスメニューを選択し、元動画1のアップロードや第1の比較動画5および第2の比較動画6の視聴を行う。
【0022】
記憶装置2には多数の第1の比較動画5と第2の比較動画6が保存されている。比較表示部11は記憶装置2に保存されている動画の中から所望の第1の比較動画5および第2の比較動画6を選択し、Webページ上にアップロードする。ユーザ端末20がこのWebページにアクセスすることで、ユーザ端末20の表示画面21には第1の比較動画5および第2の比較動画6が一画面表示される。
【0023】
記憶装置2として、例えばインターネットを介して利用可能なオンラインストレージやクラウドストレージ等の採用が適しているが、コンピュータ30に内蔵あるいは外付けされた補助記憶装置等を採用しても良い。
【0024】
ユーザ端末20は、Webサイトにアクセス可能なスマートフォン、タブレット端末、パーソナルコンピュータ(PC)30等であり、表示画面21を有している。
【0025】
ユーザ端末20からWebサイトの会員ページにアップロード(投稿)された元動画1は記憶装置2に保存される。動作練習支援装置10は、会員ページにアップロードされた元動画1を記憶装置2に送信して保存させる元動画保存処理部12を有している。元動画保存処理部12はコンピュータ30に所定のプログラムを実行させることで構成される。
【0026】
また、動作練習支援装置10は、記憶装置2に新たに保存された元動画1(以下、新しい元動画1という)を利用した第1の比較動画5および第2の比較動画6の作成を動画処理装置40に依頼する動画処理依頼部13を有している。動画処理依頼部13はコンピュータ30に所定のプログラムを実行させることで構成される。
【0027】
動画処理依頼部13は、新しい元動画1と比較させる元動画1を既に記憶装置2に保存されている元動画1の中から選択し、選択された元動画1と新しい元動画1を指定して動画処理装置40に動画処理を依頼する。動画処理の依頼を受けた動画処理装置40は、新しい元動画1を利用した第1の比較動画5と第2の比較動画6、すなわち選択された元動画1(第1の元動画1a)に基づく第1の骨格線有り動画3aと新しい元動画1(第2の元動画1b)に基づく第2の骨格線有り動画3bとを並べた第1の比較動画5と、選択された元動画1(第1の元動画1a)に基づく第1の骨格動作再現動画4aと新しい元動画1(第2の元動画1b)に基づく第2の骨格動作再現動画4bとを並べた第2の比較動画6の作成を動画処理装置40に依頼する。
【0028】
さらに、動作練習支援装置10は、新しい元動画1を利用した第1の比較動画5および第2の比較動画6が作成された旨をユーザ端末20に通知する通知制御部14を有している。通知制御部14はコンピュータ30に所定のプログラムを実行させることで構成される。通知制御部14は、動画処理装置40から新しい元動画1を利用した第1の比較動画5および第2の比較動画6を記憶装置2に保存した旨の通知を受けると、ユーザ端末20に対して通知を行う。
【0029】
図1および図15に、第1の比較動画5および第2の比較動画6を作成する動画処理装置40を示す。動画処理装置40は、動作練習支援装置10の動画処理依頼部13が指定した新しい元動画(第2の元動画)1bを記憶装置2から取得し、その動画中の人物の動作を分析して予め決められた部位の位置座標を求める動作分析部41と、新しい元動画1bから求められた位置座標に基づき動画中の人物の骨格線を作成し、当該骨格線と新しい元動画1bに基づいて第2の骨格線有り動画3bを作成する骨格線有り動画作成部42と、第1の骨格線有り動画3aと第2の骨格線有り動画3bとを並べた第1の比較動画5を作成する第1の比較動画作成部43と、新しい元動画1bから求められた位置座標に基づき第2の骨格動作再現動画4bを作成する骨格動作再現動画作成部44と、第1の骨格動作再現動画4aと第2の骨格動作再現動画4bとを並べた第2の比較動画6を作成する第2の比較動画作成部45と、第1の比較動画5と第2の比較動画6を記憶装置2に保存する動画送信部46と、を備えている。動作分析部41、骨格線有り動画作成部42、第1の比較動画作成部43、骨格動作再現動画作成部44、第2の比較動画作成部45および動画送信部46は、コンピュータ30に所定のプログラムを実行させることで構成される。
【0030】
なお、動作練習支援装置10の動画処理依頼部13は記憶装置2に既に保存されている多数の元動画1の中から第1の元動画(選択された元動画)1aを選択しているので、動画処理依頼部13によって指定された第1の元動画(選択された元動画)1aやこの元動画1aに基づき作成される第1の骨格線有り動画3aおよび第1の骨格動作再現動画4aは、この段階では既に記憶装置2に保存されている。第1の比較動画作成部43は記憶装置2から第1の骨格線有り動画3aを取得して第1の比較動画5を作成する。また、第2の比較動画作成部45は記憶装置2から第1の骨格動作再現動画4aを取得して第2の比較動画6を作成する。
【0031】
動作分析部41は、動作練習支援装置10の動画処理依頼部13の求めに応じて記憶装置2に保存されている元動画1の中から新しい元動画(第2の元動画)1bを取得し、その動画中の人物の動作分析を行う。動作分析には、例えば既存の機械学習モデルを使用する。既存の機械学習モデルとしては、例えば3次元座標を取得可能な骨格検出モデルである「Blaze Pose」(Google)の利用が可能である。新しい元動画1bを骨格検出モデルに入力すると、その動画中の人物の特定の部位の3次元座標が出力される。例えば「Blaze Pose」では、人物の鼻、左右の耳、左右の目、左右の肩、左右の肘、左右の膝など、33箇所の部位の3次元座標が出力される。出力された33箇所の3次元座標のうち、全ての箇所の3次元座標を位置座標として採用しても良いし、一部の箇所の3次元座標を位置座標として採用しても良い。
【0032】
骨格線有り動画作成部42は、得られた位置座標に基づき新しい元動画1b中の人物の骨格線を作成し、当該骨格線をその元となった元動画1bの人物に重ねて第2の骨格線有り動画3bを作成する。作成された第2の骨格線有り動画3bは、動画送信部46によって記憶装置2にアップロードされ保存される。なお、記憶装置2に保存された第2の骨格線有り動画3bが次回以降の処理で選択された場合に第1の骨格線有り動画3aとして利用される。
【0033】
第1の比較動画作成部43は、動画処理依頼部13によって指定された第1の元動画(選択された元動画)1aに基づく第1の骨格線有り動画3aを記憶装置2から取得すると共に、当該第1の骨格線有り動画3aと骨格線有り動画作成部42によって作成された第2の骨格線有り動画3bとを並べて表示する1本の第1の比較動画5を作成する。本実施形態では、第1の骨格線有り動画3aと第2の骨格線有り動画3bを左右に並べているが、例えば上下に並べても良い。作成された第1の比較動画5は、動画送信部46によって記憶装置2にアップロードされ保存される。
【0034】
骨格動作再現動画作成部44は、動作分析部41によって得られた位置座標に基づき新しい元動画1b中の人物の骨格の動きを再現した3Dアニメーションの第2の骨格動作再現動画4bを作成する。作成された第2の骨格動作再現動画4bは、動画送信部46によって記憶装置2にアップロードされ保存される。なお、記憶装置2に保存された第2の骨格動作再現動画4bが次回以降の処理で選択された場合に第1の骨格動作再現動画4aとして利用される。
【0035】
第2の比較動画作成部45は、動画処理依頼部13によって指定された第1の元動画(選択された元動画)1aに基づく第1の骨格動作再現動画4aを記憶装置2から取得すると共に、当該第1の骨格動作再現動画4aと骨格動作再現動画作成部44によって作成された第2の骨格動作再現動画4bを並べて表示する1本の第2の比較動画6を作成する。本実施形態では、第1の骨格動作再現動画4aと第2の骨格動作再現動画4bを左右に並べているが、例えば上下に並べても良い。作成された第2の比較動画6は、動画送信部46によって記憶装置2にアップロードされ保存される。
【0036】
第2の比較動画作成部45は、第1の骨格動作再現動画4a中の骨格で再現される人体と第2の骨格動作再現動画4b中の骨格で再現される人体の身長や体格が同じ又は近似するように各骨格の大きさを調整する。したがって、第2の比較動画6の左右の骨格は同じ又はほぼ同じ大きさとなり、比較が容易になる。
【0037】
各元動画1は例えば30fpsのフレームから構成されており、フレーム毎に動作分析が行われて骨格線有り動画3a,3bや骨格動作再現動画4a,4bが作成され、比較動画5,6が作成される。
【0038】
なお、模範演技者の動作を撮影した元動画(以下、コーチ元動画という)1は事業者によって予め記憶装置2にアップロードされ保存されている。また、予め、動画処理装置40によってコーチ元動画1についての骨格線有り動画と骨格動作再現動画が作成されている。コーチ元動画1についての骨格線有り動画と骨格動作再現動画は、予め記憶装置2に保存されている。
【0039】
次に、動作練習支援方法について説明する。動作練習支援方法は、記憶装置2に保存されている第1の比較動画5と第2の比較動画6をユーザ端末20の表示画面21に表示させるもので、記憶装置2に保存されている第1の比較動画5と第2の比較動画6を取得し、ユーザ端末20の表示画面21に比較可能に一画面表示させるステップ(図9のステップS71)を備えている。
【0040】
例えば、図9に示すように、ユーザがユーザ端末20を操作してWebサイトの会員ページに元動画1をアップロードすると(ステップS61)、動作練習支援装置10の元動画保存処理部12がアップロードされた元動画(新しい元動画)1を記憶装置2に送信する。これにより、新しい元動画1は記憶装置2に保存される(ステップS62)。
【0041】
その後、動作練習支援装置10の動画処理依頼部13が新しい元動画1と比較させる元動画1を既に記憶装置2に保存されている元動画1の中から選択し、選択された元動画(第1の元動画)1aと新しい元動画(第2の元動画)1bを指定して、第1の比較動画5と第2の比較動画6の作成を動画処理装置40に依頼する(ステップS63)。
【0042】
この状態では、第1の元動画(選択された元動画)1aを基にした第1の骨格線有り動画3aと第1の骨格動作再現動画4aは既に作成済みであり記憶装置2に保存されている。したがって、動画処理装置40は第2の元動画(新しい元動画)1bを基にした第2の骨格線有り動画3bと第2の骨格動作再現動画4bを新たに作成する。
【0043】
動画処理装置40の動作分析部41は、記憶装置2から第2の元動画1bを取得し、その動画中の人物の動作を分析して予め決められた部位の位置座標を求める(ステップS64)。
【0044】
次のステップS65では、骨格線有り動画作成部42が、第2の元動画1bから求められた位置座標に基づき動画中の人物の骨格線を作成し、当該骨格線と第2の元動画1bに基づいて第2の骨格線有り動画3bを作成する。作成された第2の骨格線有り動画3bは動画送信部46によって記憶装置2に送信され保存される。
【0045】
続くステップS66では、第1の比較動画作成部43が動画処理依頼部13によって指定された第1の元動画(選択された元動画)1aに基づく第1の骨格線有り動画3aを記憶装置2から取得すると共に、当該第1の骨格線有り動画3aと骨格線有り動画作成部42によって新たに作成された第2の骨格線有り動画3bとを並べた第1の比較動画5を作成する。作成された第1の比較動画5は、動画送信部46によって記憶装置2に送信され保存される。
【0046】
続くステップS67では、骨格動作再現動画作成部44が、第2の元動画1bから求められた位置座標に基づき第2の骨格動作再現動画4bを作成する。作成された第2の骨格動作再現動画4bは動画送信部46によって記憶装置2に送信され保存される。
【0047】
続くステップS68では、第2の比較動画作成部45が動画処理依頼部13によって指定された第1の元動画(選択された元動画)1aに基づく第1の骨格動作再現動画4aを記憶装置2から取得すると共に、当該第1の骨格動作再現動画4aと、骨格動作再現動画作成部44によって新たに作成された第2の骨格動作再現動画4bとを並べた第2の比較動画6を作成する。作成された第2の比較動画6は、動画送信部46によって記憶装置2に送信され保存される。その後、動画送信部46は第1の比較動画5と第2の比較動画6を記憶装置2に保存した旨を動作練習支援装置10に通知する(ステップS69)。
【0048】
動作練習支援装置10の通知制御部14は第1の比較動画5および第2の比較動画6を記憶装置2に保存した旨の通知を受けると、新しい元動画1に関する第1の比較動画5および第2の比較動画6(以下、新しい第1の比較動画5および第2の比較動画6という)の視聴が可能になった旨をユーザ端末20に対して通知する(ステップS70)。
【0049】
また、動作練習支援装置10の比較表示部11は記憶装置2に保存された新しい第1の比較動画5および第2の比較動画6を選択し、Webページ上にアップロードする。通知制御部14からの通知(新しい第1の比較動画5および第2の比較動画6が視聴可能になった旨の通知)を確認したユーザがユーザ端末20を操作してWebサイトの会員ページにアクセスし、サービスメニューの動画視聴を選択すると、ユーザ端末20の表示画面21に第1の比較動画5および第2の比較動画6が一画面表示される(ステップS71)。本実施形態では、第1の比較動画5および第2の比較動画6は2本の動画を左右に並べて1本の動画にされたものであり、いわゆる横長の動画であることから、図10に示すように、第1の比較動画5と第2の比較動画6は上下2段に並べられて一画面表示される。
【0050】
ユーザは、第1の比較動画5と第2の比較動画6を、それぞれ別々に再生することができる。すなわち、第1の比較動画5の下と第2の比較動画6の下にはそれぞれ動画の再生ボタン22が設けられており、ユーザ端末20がスマートフォンやタブレット端末等である場合は、第1の比較動画5の下に表示された再生ボタン22をタップすることで第1の比較動画5が再生され、第2の比較動画6の下に表示された再生ボタン22をタップすることで第2の比較動画6が再生される。また、ユーザ端末20がパーソナルコンピュータ等である場合は、第1の比較動画5の下に表示された再生ボタン22を例えばマウスやポインティングデバイス等を操作してクリックすることで第1の比較動画5が再生され、第2の比較動画6の下に表示された再生ボタン22を例えばマウスやポインティングデバイス等を操作してクリックすることで第2の比較動画6が再生される。なお、動画再生中は再生ボタン22が停止ボタンに変わり、動画の再生中に停止ボタンを操作することで動画再生を停止させることができる。
【0051】
第1の比較動画5は実質的に第1の骨格線有り動画3aと第2の骨格線有り動画3bとを同時に再生するものである。また、第1の比較動画5の映像は実際の人物の映像にその人物の骨格線を重ねて表示したものであり、映像中の人物の動きを自分の身体に置き換えてイメージするのが容易である。したがって、第1の元動画1aが手本となる模範演技者の動作を撮影したものであり、第2の元動画1bがユーザの動作を撮影したものである場合には、ユーザが模範演技者の模範演技と自己の現状とを把握するのが容易であり、両者の比較により、模範演技者の動作と自分の動作とのずれ等の確認・認識が容易になり、正しい動作の習得が容易になる。
【0052】
一方、第1の元動画1aがユーザの練習前の動作を撮影したものであり、第2の元動画1bが同じユーザの練習後の動作を撮影したものである場合には、ユーザが練習の前後の動作の違いを容易に把握することができ、その練習の成果をより実感できるようになる。そのため、ユーザの練習意欲をより向上させることができ、練習継続による更なる練習成果を期待できるようになる。
【0053】
第2の比較動画6は実質的に第1の骨格動作再現動画4aと第2の骨格動作再現動画4bとを同時に再生するものである。また、第2の比較動画6の映像は骨格の動きを3Dアニメーション化したものであり、且つ、左右の骨格の大きさが揃えられているので、左右の骨格の動きの比較が容易である。したがって、第1の元動画1aが手本となる模範演技者の動作を撮影したものであり、第2の元動画1bがユーザの動作を撮影したものである場合には、ユーザが模範演技者の模範演技と自己の現状とのギャップを把握するのが容易になる。そのため、模範演技者の動作と自分の動作とのずれを確認し易くなり、正しい動作の習得が容易になる。
【0054】
一方、第1の元動画1aがユーザの練習前の動作を撮影したものであり、第2の元動画1bが同じユーザの練習後の動作を撮影したものである場合には、ユーザが練習前の動作と練習後の動作との差を把握するのが容易になる。そのため、練習成果の確認が容易になり、練習計画の立案・見直しが容易なると共に、練習意欲の向上により更なる練習成果を期待できるようになる。
【0055】
さらに、ユーザ端末20の表示画面21には第1の比較動画5と第2の比較動画6が比較可能な状態で同時に表示されており、表示画面21をスクロールしたりページ送りしたりすることなく、再生する比較動画5,6を適宜変えながら動作確認することができる。第1の比較動画5の映像は人物の映像にその骨格線を重ねて表示する映像であり、映像中の人物の動きを自分の身体に置き換えてイメージするのに適している。一方、第2の比較動画6の映像は人物の動作を骨格で再現した3Dアニメーションであり、左右の骨格の大きさが揃えられているので、左右の骨格の動作を細部まで比較するのに適している。
【0056】
このように、比較のポイントが異なる2種類の比較動画5,6をユーザ端末20の表示画面21に一画面表示させることができるので、ユーザが画面表示を切り換える手間を省くことができ、ユーザにとって大変使いやすいものとなる。
また、比較ポイントが異なる2種類の比較動画5,6を比較しながら練習することができるので、練習が効率化される。
【0057】
ある動作に関して、ユーザからの元動画1即ちユーザの動作を撮影した元動画1の投稿(アップロード)が第1回目の場合には、予め記憶装置2に保存されている模範演技者の動作を撮影した元動画1が第1の元動画1aとして選択され、ユーザが投稿した元動画1は第2の元動画1bとして指定される。
【0058】
すなわち、ユーザ端末20の表示画面21には、模範演技者の動作を撮影した元動画を第1の元動画1aとし、ユーザが投稿した元動画を第2の元動画1bとする第1の比較動画5と第2の比較動画6が上下2段に並べられて一画面表示される(図10)。
【0059】
そして、ユーザが動作練習を行った後に撮影した元動画1を第2回目の投稿として行った場合には、2段階表示が行われる。すなわち、1段階目の表示では、模範演技者の動作を撮影した元動画1が第1の元動画1aとして選択され、ユーザが第2回目に投稿した元動画1が第2の元動画1bとして指定される(図11)。そして、2段階目の表示では、第1回目の投稿の元動画1が第1の元動画1aとして選択され、ユーザが第2回目に投稿した元動画1が第2の元動画1bとして指定される(図12)。
【0060】
すなわち、1段階目の表示として、ユーザ端末20の表示画面21には、模範演技者の動作を撮影した元動画を第1の元動画1aとし、ユーザが第2回目に投稿した元動画を第2の元動画1bとする第1の比較動画5と第2の比較動画6が上下二段に並べられて一画面表示される。そして、2段階目の表示として、ユーザ端末20の表示画面21には、ユーザが第1回目の投稿の元動画を第1の元動画1aとし、ユーザが第2回目に投稿した元動画を第2の元動画1bとする第1の比較動画5と第2の比較動画6が上下二段に並べられて一画面表示される。
【0061】
さらに、ユーザが再度動作練習を行った後に撮影した元動画1を第3回目の投稿として行った場合にも2段階表示が行われる。すなわち、1段階目の表示では、模範演技者の動作を撮影した元動画1が第1の元動画1aとして選択され、ユーザが第3回目に投稿した元動画1が第2の元動画1bとして指定される。2段階目の表示では、前回即ち第2回目の投稿の元動画1が第1の元動画1aとして選択され、ユーザが第3回目に投稿した元動画1が第2の元動画1bとして指定される。
【0062】
第4回目以降の投稿でも同様に処理される。
動作練習支援装置10はユーザが投稿した元動画1を会員情報と紐づけて管理しており、同一のユーザから投稿された元動画1を同一のユーザのものであると認識することができる。
【0063】
また、動作練習支援装置10には、練習の対象となる動作として多数の動作が練習課題として予め設定されている。ユーザは練習課題を選択し、その練習課題に即した動作の元動画1を投稿する。動作練習支援装置10は元動画1を練習課題と紐づけて管理しており、同じユーザから複数回の元動画1の投稿があったとしても、投稿された元動画1の練習課題が異なる場合にはそれぞれを第1回目の投稿であると判断する。
【0064】
練習課題として、例えばバレーボールであれば、例えば、スパイク、トス、レシーブ、サーブ等の動作がある。これらは例示であって、これらに限るものではない。また、バレーボール以外のスポーツ等に関する動作でも良く、スポーツ以外の動作に関する動作でも良い。
【0065】
なお、上述の実施形態は本発明を実施する際の好適な一例であるがこれに限るものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。
【0066】
例えば、図13に示すように、ユーザ端末20の表示画面21への表示において、練習課題に紐づいた練習ポイントを表示するようにしても良い。本実施形態では、例えば上段の第1の比較動画5の上のスペースに練習ポイントを表示するエリア24を設けている。
【0067】
この場合の動作練習支援装置10を図16に示す。動作練習支援装置10は、記憶装置20に予め保存されている練習ポイントを第1の比較動画5および第2の比較動画6と一緒に一画面表示させる練習ポイント表示部15を更に備えている。練習ポイント表示部15はコンピュータ30に所定のプログラムを実行させることで構成される。練習ポイント表示部15は、ユーザが投稿した元動画1の動作(練習課題)に対応した練習ポイントを記憶装置2から取得し、表示エリア24に表示する。練習ポイントは、第1の比較動画5および第2の比較動画6の視聴する際に注意や注目すべき事項や、動作の練習を行う際に注意する事項等であり、動作(練習課題)に紐付けられて管理されている。ユーザは第1の比較動画5および第2の比較動画6と一緒に練習ポイントを確認することができ、より効率良く練習を行うことができる。
【0068】
また、図13に示すように、ユーザ端末20の表示画面21への表示において、例えば下段の第2の比較動画6の下のスペースに練習メモの入力ボタン23を設けても良い。入力ボタン23を操作すると、図示しないモーダルウィンドウが開いてメモ入力欄とキーボードが現れる。ユーザは練習や動画視聴での気付きや感想などを記入することができる。モーダルウィンドウを開くことで、書き込んだメモを随時確認することができる。ユーザによって書き込まれたメモは第1の比較動画5および第2の比較動画6と紐付けられて管理される。
【実施例0069】
例えばバレーボールについては、練習課題がとして例えば以下が挙げられる。
(スパイク1)
体の回転を使う
最初は体が横に向いている(投げる方向に対して)
投げる方向の足をあげて投げる
(スパイク2)
手首の力を抜く
手のひらを下に
右ひじは弓を引くように(左利きの人は左肘)
左手を美しく上げる(左利きの人は右手)
体(腰)の回転
(スパイク3)
手首の力を抜く
右利きの人は左目でボールを見る(左利きの人は右目で)
右ひじは弓を引くように(左利きの人は左肘)
左手を美しく上げる(左利きの人は右手)
体(腰)を回転
(スパイク4)
手首の力を抜く
手のひらを下に
右ひじは弓を引くように(左利きの人は左肘)
左手を美しく上げる(左利きの人は右手)
体(腰)を回転
(トス3)
手をハートの形
肘と手首を固定して
ボールが手に入ったらすぐに出すイメージ
お腹に力を入れて体をまっすぐに
(レシーブ1)
頭の高さ(目の高さ)をかえない
進行方向の足からうごく
同じ歩幅でうごく
姿勢はまっすぐ
(レシーブ2)
最後までボールをよく見て、腕ではさむ
ボールの下を見る
(レシーブ3)
ボールが落ちてくるのを待つ(取りにいかない)
(サーブ1)
左足前右足後ろで片膝立ち(左利きの人は反対)
お腹をまっすぐのまま投げる
目と鼻のTをまっすぐに
(サーブ2)
左足前右足後ろで片膝立ち(左利きの人は反対)
お腹をまっすぐのまま投げる
目と鼻のTをまっすぐに
(サーブ3)
手の根っこでサーブを打つ
手首を固める
手の根っこを打ちたい方向に見せる
左足前右足後ろで片膝立ち(左利きの人は反対)
お腹をまっすぐのまま投げる
目と鼻のTをまっすぐに
(サーブ4)
トスをあげる手に集中する
手の根っこでサーブを打つ
手首を固める
手の根っこを打ちたい方向に見せる
左足前右足後ろで片膝立ち(左利きの人は反対)
お腹をまっすぐのまま投げる
目と鼻のTをまっすぐに
【実施例0070】
オンラインスクールの流れを示す。
(1)まず最初に、ユーザがWebサイトの会員ページにアクセスし、コーチユーザ端末20から指導動画(コーチ元動画1)を視聴する。
(2)ユーザが指導動画の練習に取り組み、ユーザの動作を撮影する。
(3)撮影した動画(元動画1)を投稿する(図17)。
(4)元動画1を投稿すると、自動でAI動画分析が行われ、第1の比較動画5と第2の比較動画6が作成される。第1の比較動画5と第2の比較動画6が準備できたら、ユーザにメールとシステムのお知らせ機能に通知が来る(図18)。
(5)AI動画分析では、骨格線が入ったムービー(第1の比較動画5)と3Dアニメーション(第2の比較動画6)の2種類の比較動画が作成される。コーチの動きの比較ができる(図19)。
(6)同じ練習を2回目以降取り組んだ場合は、前回練習時のビフォーアフター動画も自動で分析される(図20)。
(7)取り組んだ練習を練習ノートに記録を残し、練習成果の蓄積&成長の見える化を行う。カレンダー機能を利用し、練習の振り返りをしやすい仕組みにも対応(図21)。
【符号の説明】
【0071】
1 元動画
1a 第1の元動画
1b 第2の元動画
2 記憶装置
3a 第1の骨格線有り動画
3b 第2の骨格線有り動画
4a 第1の骨格動作再現動画
4b 第2の骨格動作再現動画
5 第1の比較動画
6 第2の比較動画
10 動作練習支援装置
11 比較表示部
20 ユーザ端末
21 表示画面
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21