ホーム > 特許ランキング > 株式会社アイアイビー
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022093079
(43)【公開日】2022-06-23
(54)【発明の名称】インストラクションシステム、プログラム
(51)【国際特許分類】
G06F 3/04815 20220101AFI20220616BHJP
G06Q 50/10 20120101ALI20220616BHJP
H04N 5/93 20060101ALI20220616BHJP
G06T 19/00 20110101ALI20220616BHJP
A63B 69/00 20060101ALI20220616BHJP
A63B 71/06 20060101ALI20220616BHJP
【ＦＩ】
G06F3/0481 150
G06Q50/10
H04N5/93
G06T19/00 A
A63B69/00 A
A63B71/06 T
【審査請求】有
【請求項の数】3
【出願形態】ＯＬ
(21)【出願番号】P 2020206176
(22)【出願日】2020-12-11
(71)【出願人】
【識別番号】305040558
【氏名又は名称】株式会社アイアイビー
(74)【代理人】
【識別番号】100085338
【弁理士】
【氏名又は名称】赤澤 一博
(74)【代理人】
【識別番号】100148910
【弁理士】
【氏名又は名称】宮澤 岳志
(72)【発明者】
【氏名】▲高▼松 邦明
【テーマコード（参考）】
5B050
5C053
5E555
5L049
【Ｆターム（参考）】
5B050BA09
5B050BA12
5B050CA07
5B050CA08
5B050DA01
5B050DA10
5B050EA07
5B050EA13
5B050EA18
5B050EA19
5B050EA24
5B050EA27
5B050FA02
5B050FA09
5C053GB38
5C053LA04
5C053LA06
5C053LA11
5C053LA14
5E555AA26
5E555AA64
5E555AA76
5E555BA02
5E555BA05
5E555BA06
5E555BA20
5E555BB02
5E555BB05
5E555BB06
5E555BB20
5E555CA02
5E555CA12
5E555CA42
5E555CB02
5E555CB07
5E555CB16
5E555CB33
5E555CB34
5E555CB40
5E555CC05
5E555CC24
5E555CC25
5E555CC26
5E555CC27
5E555DB18
5E555DB20
5E555DB22
5E555DB57
5E555DC19
5E555DC26
5E555DC27
5E555DC43
5E555DC84
5E555DD06
5E555DD07
5E555EA07
5E555EA08
5E555EA09
5E555FA00
5L049CC11
(57)【要約】 （修正有）
【課題】インストラクタの動きを視認して運動の方法等を学ぼうとするユーザの要望に応え得る効果的なシステムを提供する。
【解決手段】運動する人又は物を撮影した動画像と当該人または物を模した三次元オブジェクトとを同期させて表示するインストラクションシステムであって、動画像データ格納部１０１と、オブジェクトの運動を規定するモーションデータ格納部１０２と、動画像におけるこれから表示させるべき時点を指定する操作を受け付ける再生操作受付部１０６と、オブジェクトを表示させる際の視点を指定する操作を受け付ける視点操作受付部１０７と、動画像データ及びモーションデータを基に動画像及びオブジェクトを同一の表示デバイスに、指定を受け付けた時点から動画像とオブジェクトの運動とを同期させて表示させ、かつ、そのオブジェクトを指定を受け付けた視点から見た状態で投影する出力制御部１０５と、を備える。
【選択図】図４
【解決手段】運動する人又は物を撮影した動画像と当該人または物を模した三次元オブジェクトとを同期させて表示するインストラクションシステムであって、動画像データ格納部１０１と、オブジェクトの運動を規定するモーションデータ格納部１０２と、動画像におけるこれから表示させるべき時点を指定する操作を受け付ける再生操作受付部１０６と、オブジェクトを表示させる際の視点を指定する操作を受け付ける視点操作受付部１０７と、動画像データ及びモーションデータを基に動画像及びオブジェクトを同一の表示デバイスに、指定を受け付けた時点から動画像とオブジェクトの運動とを同期させて表示させ、かつ、そのオブジェクトを指定を受け付けた視点から見た状態で投影する出力制御部１０５と、を備える。
【選択図】図４
【特許請求の範囲】
【請求項1】
運動する人または物を撮影した動画像と、運動する当該人または当該物を模した三次元オブジェクトとを同期させて表示し、ユーザに提示するためのシステムであって、
前記動画像のデータを格納する動画像データ格納部と、
前記三次元オブジェクトの運動を規定するデータを格納するモーションデータ格納部と、
ユーザの手による、前記動画像におけるこれから表示させるべき時点を指定する操作を受け付ける再生操作受付部と、
ユーザの手による、前記三次元オブジェクトを表示させる際の視点を指定する操作を受け付ける視点操作受付部と、
前記動画像データ格納部に格納している動画像データ及び前記モーションデータ格納部に格納しているモーションデータを基に、前記動画像及び前記三次元オブジェクトを、同一の表示デバイスに、前記再生操作受付部で指定を受け付けた時点から、動画像と動画像中の人または物を模した三次元オブジェクトの運動とを同期させて表示させ、かつその三次元オブジェクトを前記視点操作受付部で指定を受け付けた視点から見た状態で投影する出力制御部と
を具備するインストラクションシステム。
前記動画像のデータを格納する動画像データ格納部と、
前記三次元オブジェクトの運動を規定するデータを格納するモーションデータ格納部と、
ユーザの手による、前記動画像におけるこれから表示させるべき時点を指定する操作を受け付ける再生操作受付部と、
ユーザの手による、前記三次元オブジェクトを表示させる際の視点を指定する操作を受け付ける視点操作受付部と、
前記動画像データ格納部に格納している動画像データ及び前記モーションデータ格納部に格納しているモーションデータを基に、前記動画像及び前記三次元オブジェクトを、同一の表示デバイスに、前記再生操作受付部で指定を受け付けた時点から、動画像と動画像中の人または物を模した三次元オブジェクトの運動とを同期させて表示させ、かつその三次元オブジェクトを前記視点操作受付部で指定を受け付けた視点から見た状態で投影する出力制御部と
を具備するインストラクションシステム。
【請求項2】
前記モーションデータ格納部に格納しているモーションデータは、前記動画像データ格納部に格納している動画像データを得るために撮影した人または物と同一人または同一物の同じ運動をモーションキャプチャして得たものである請求項１記載のインストラクションシステム。
【請求項3】
前記動画像に関連する付随データを格納する付随データ格納部を具備し、
前記出力制御部が、前記動画像及び前記三次元オブジェクトを前記表示デバイスに表示させるとともに、前記付随データ格納部に格納している付随データを基に、当該動画像に関連する付随データを当該表示デバイスに表示させる請求項１または２記載のインストラクションシステム。
前記出力制御部が、前記動画像及び前記三次元オブジェクトを前記表示デバイスに表示させるとともに、前記付随データ格納部に格納している付随データを基に、当該動画像に関連する付随データを当該表示デバイスに表示させる請求項１または２記載のインストラクションシステム。
【請求項4】
請求項１、２または３記載のインストラクションシステムを構築するために用いられるものであって、コンピュータを、
運動する人または物を撮影した動画像のデータを格納する動画像データ格納部、
運動する人または物を模した三次元オブジェクトの運動を規定するデータを格納するモーションデータ格納部、
ユーザの手による、前記動画像におけるこれから表示させるべき時点を指定する操作を受け付ける再生操作受付部、
ユーザの手による、前記三次元オブジェクトを表示させる際の視点を指定する操作を受け付ける視点操作受付部、並びに、
前記動画像データ格納部に格納している動画像データ及び前記モーションデータ格納部に格納しているモーションデータを基に、前記動画像及び前記三次元オブジェクトを、同一の表示デバイスに、前記再生操作受付部で指定を受け付けた時点から、動画像と動画像中の人または物を模した三次元オブジェクトの運動とを同期させて表示させ、かつその三次元オブジェクトを前記視点操作受付部で指定を受け付けた視点から見た状態で投影する出力制御部
として機能させるプログラム。
運動する人または物を撮影した動画像のデータを格納する動画像データ格納部、
運動する人または物を模した三次元オブジェクトの運動を規定するデータを格納するモーションデータ格納部、
ユーザの手による、前記動画像におけるこれから表示させるべき時点を指定する操作を受け付ける再生操作受付部、
ユーザの手による、前記三次元オブジェクトを表示させる際の視点を指定する操作を受け付ける視点操作受付部、並びに、
前記動画像データ格納部に格納している動画像データ及び前記モーションデータ格納部に格納しているモーションデータを基に、前記動画像及び前記三次元オブジェクトを、同一の表示デバイスに、前記再生操作受付部で指定を受け付けた時点から、動画像と動画像中の人または物を模した三次元オブジェクトの運動とを同期させて表示させ、かつその三次元オブジェクトを前記視点操作受付部で指定を受け付けた視点から見た状態で投影する出力制御部
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運動する人及び／または物を撮影した動画像を表示してユーザに提示するインストラクションシステムに関する。
【背景技術】
【0002】
自身で運動を行いまたは機械類を操作するインストラクタ（トレーナ）を撮影し、その動画像（映像）をユーザに提示して運動や機械の操作方法等を教示するオンラインインストラクションシステムが公知である（例えば、下記特許文献を参照）。この種のシステムは、体操、ヨガやストレッチ、ボディビル、武道、格闘技等といった人のフィジカルトレーニングに利用される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１７－１９９３１８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
いわゆるＶＲ（Ｖｉｒａｕｔａｌ Ｒｅａｌｉｔｙ）動画や３６０°動画のようなものを除き、動画像の視点は、それを撮影したときのカメラの位置及び向きによって予め規定されている。即ち、動画像を閲覧または視聴するユーザが、所望の方向から対象の人または物を視認することは不可能である。要するに、動画像は二次元の情報であり、それが伝えることのできる内容に限りがある。
【0005】
ＶＲ動画または３６０°動画にしても、撮影したカメラの位置を中心として視線の方向を回動させることはできるものの、対象の人または物を前から見たり、後ろから見たり、横から見たり、上から見たり、あるいは対象の人または物に接近したりすることはできない。
【0006】
一方で、教示を受けるユーザの立場からは、インストラクタの動きを様々な方向から視認したり、特定の部位に近寄り拡大して見たりしたいという要望が存在している。とりわけ、複雑な体の動作を含む運動は、動画像を見ながら真似るだけでは学修することが困難である。
【0007】
以上に鑑みてなされた本発明は、インストラクタの動きを視認して運動の方法等を学ぼうとするユーザの要望に応え得る、より効果的なインストラクションシステムを実現しようとするものである。
【課題を解決するための手段】
【0008】
上述した課題を解決するべく、本発明では、運動する人及び／または物を撮影した動画像と、運動する当該人及び／または当該物を模した三次元オブジェクトとを同期させて表示し、ユーザに提示するためのシステムであって、前記動画像のデータを格納する動画像データ格納部と、前記三次元オブジェクトの運動を規定するデータを格納するモーションデータ格納部と、ユーザの手による、前記動画像におけるこれから表示させるべき時点を指定する操作を受け付ける再生操作受付部と、ユーザの手による、前記三次元オブジェクトを表示させる際の視点（三次元オブジェクトを見る視点の仮想空間内での位置、視線の方向、三次元オブジェクトまでの距離またはズーム倍率等のうち少なくとも一つ）を指定する操作を受け付ける視点操作受付部と、前記動画像データ格納部に格納している動画像データ及び前記モーションデータ格納部に格納しているモーションデータを基に、前記動画像及び前記三次元オブジェクトを、同一の表示デバイスに、前記再生操作受付部で指定を受け付けた時点から、動画像及び動画像中の人及び／または物を模した三次元オブジェクトの運動を同期させて表示させ、かつその三次元オブジェクトを前記視点操作受付部で指定を受け付けた視点から見た状態で投影する出力制御部とを具備するインストラクションシステムを構成した。
【0009】
前記モーションデータ格納部に格納しているモーションデータは、例えば、前記動画像データ格納部に格納している動画像データを得るために撮影した人及び／または物と同一人及び／または同一物の同じ運動をモーションキャプチャして得たものである。
【0010】
加えて、前記動画像に関連する付随データを格納する付随データ格納部を具備し、前記出力制御部が、前記動画像及び前記三次元オブジェクトを前記表示デバイスに表示させるとともに、前記付随データ格納部に格納している付随データを基に、当該動画像に関連する付随データを当該表示デバイスに表示させるシステムとすることが好ましい。
【発明の効果】
【0011】
本発明によれば、インストラクタの動きを視認して運動の方法等を学ぼうとするユーザの要望に応え得る、より効果的なインストラクションシステムを実現できる。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施形態のインストラクションシステムの全体概要を示す図。
【図2】同実施形態においてクライアントコンピュータが備えるハードウェア資源を示す図。
【図3】同実施形態においてサーバコンピュータが備えるハードウェア資源を示す図。
【図4】同実施形態のインストラクションシステムの機能ブロック図。
【図5】同実施形態のインストラクションシステムが保有する付随データを例示する図。
【図6】同実施形態のインストラクションシステムが表示デバイスに表示させる動画像及び三次元オブジェクトを含む画面を例示する図。
【図7】同実施形態のインストラクションシステムが表示デバイスに表示させる動画像及び三次元オブジェクトを例示する図。
【図8】同実施形態のインストラクションシステムが表示デバイスに表示させる動画像及び三次元オブジェクトを例示する図。
【図9】同実施形態のインストラクションシステムが表示デバイスに表示させる動画像及び三次元オブジェクトを例示する図。
【図10】同実施形態のインストラクションシステムが表示デバイスに表示させる動画像及び三次元オブジェクトを例示する図。
【発明を実施するための形態】
【0013】
本発明の一実施形態を、図面を参照して説明する。本実施形態のインストラクションシステムは、体操、ヨガやストレッチ、ボディビル、武道、格闘技等の運動や機械の操作方法等を学ぼうとするユーザに対して、運動や機械操作等を行うインストラクタを撮影した動画像Ｍ、及びそのモーションキャプチャに基づいた三次元オブジェクトＯを提示し、ユーザの学習及び実践に寄与せんとするものである。
【0014】
図１に示すように、本インストラクションシステムは、ユーザが使用するクライアントコンピュータ１と、各クライアントコンピュータ１と電気通信回線３を介して通信可能に接続するサーバコンピュータ２とを要素として構築される。本インストラクションシステムのユーザは、複数人存在し得る。各ユーザが使用するコンピュータ１もまた、複数存在し得る。電気通信回線３は、ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット等を含む。
【0015】
ユーザが使用するコンピュータ１は、例えば既知の汎用的なパーソナルコンピュータ、携帯電話端末またはタブレット型コンピュータ等の情報処理端末、またはビデオゲーム機である。図２に示すように、コンピュータ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｉｎｇ Ｕｎｉｔ）１ａ、メインメモリ１ｂ、補助記憶デバイス１ｃ、ＧＰＵ１ｄ、オーディオコーデック１ｅ、通信インタフェース１ｆ、操作入力デバイス１ｇ、表示デバイス１ｈ、音声出力デバイス１ｉ等のハードウェア資源を備え、これらがコントローラ（システムコントローラ、Ｉ／Ｏコントローラ等）１ｊにより制御されて連携動作するものである。
【0016】
補助記憶デバイス１ｃは、フラッシュメモリやハードディスクドライブ、光学ディスクドライブ、その他である。
【0017】
ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１ｄは、ＣＰＵ１ａより受けた描画指示をもとに表示させるべき画面を生成しその画面信号を表示デバイス１ｈに向けて送出する。ＧＰＵ１ｄには、画面や画像のデータを一時的に格納しておくビデオメモリ等が付帯する。表示デバイス１ｈは、通常はディスプレイであるが、プロジェクタ等であっても構わない。因みに、ＣＰＵ１ａ、ＧＰＵ１ｄ及びメモリ１ｂ等は、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）化、即ち一個の集積回路に統合されていることがある。
【0018】
オーディオコーデック１ｅは、符号化されている音声データを復号化して音声出力デバイス１ｉであるスピーカ等から音声出力する。オーディオコーデック１ｅは、ハードウェアとして実装してもよく、ソフトウェアとして実装してもよい。
【0019】
通信インタフェース１ｆは、電気通信回線３を通じて外部の他のコンピュータ２との間で情報通信を行うためのデバイスである。通信インタフェース１ｆは、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮ、携帯電話網、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）網等を介した無線通信を実施するための無線トランシーバ、有線ＬＡＮ等を介した有線通信を実施するためのＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ）、その他である。
【0020】
操作入力デバイス１ｇは、コンピュータ１を使用する者が手指で操作するタッチパネル（ディスプレイ１ｈに重ね合わされたものであることがある）やマウス、トラックパッドといったポインティングデバイス、押下ボタン、キーボード等、またはコンピュータ１を使用する者が肉声により指令を入力する音声入力デバイスとしてのマイクである。コンピュータ１が携行可能なものである場合、当該コンピュータ１に加速度センサが実装されていることがあり、この加速度センサを操作入力デバイス１ｇに含めることもできる。
【0021】
コンピュータ１にあって、本システムの実現のためにＣＰＵ１ａにより実行されるべきプログラムは補助記憶デバイス１ｃに格納され、プログラムの実行の際には補助記憶デバイス１ｃからメインメモリ１ｂに読み込まれ、ＣＰＵ１ａによって解読される。コンピュータ１は、プログラムに従って上記ハードウェア資源を作動させる。
【0022】
サーバコンピュータ２は、例えば既知の汎用的なサーバ、パーソナルコンピュータ、ワークステーション等である。サーバコンピュータ２が、クラウドコンピューティングにより構成されることもあり得る。図３に示すように、コンピュータ２は、ＣＰＵ２ａ、メインメモリ２ｂ、補助記憶デバイス２ｃ、ＧＰＵ２ｄ、通信インタフェース２ｅ等のハードウェア資源を備え、これらがコントローラ２ｆにより制御されて連携動作するものである。
【0023】
コンピュータ２にあって、本システムの実現のためにＣＰＵ２ａにより実行されるべきプログラムは補助記憶デバイス２ｃに格納され、プログラムの実行の際には補助記憶デバイス２ｃからメインメモリ２ｂに読み込まれ、ＣＰＵ２ａによって解読される。コンピュータ２は、プログラムに従って上記ハードウェア資源を作動させる。
【0024】
図４に示すように、本インストラクションシステムは、動画像データ格納部１０１、モーションデータ格納部１０２、オブジェクトデータ格納部１０３、付随データ格納部１０４、出力制御部１０５、再生操作受付部１０６及び視点操作受付部１０７を具備する。なお、後述するが、これら各部１０１、１０２、１０３、１０４、１０５、１０６、１０７の機能はそれぞれ、クライアントコンピュータ１側で具現してもよく、サーバコンピュータ２側で具現してもよく、両コンピュータ１、２の協働によって具現してもよい。
【0025】
本インストラクションシステムの各部１０１、１０２、１０３、１０４、１０５、１０６、１０７の機能を詳説する。動画像データ格納部１０１は、コンピュータ１及び／またはコンピュータ２のメインメモリ１ｂ、２ｂ若しくは補助記憶デバイス１ｃ、２ｃの所要の記憶領域を用いて、運動するインストラクタ及び／または操作される機械等を撮影して得た動画像データを格納する。動画像Ｍは、運動や機械操作等を行うインストラクタ及び／または機械等の動きを実写でユーザに提示し、その運動や機械操作等の内容を視覚的にユーザに教示するものである。
【0026】
動画像データは、既知のフォーマット（例えば、ＭＰＥＧ－２やＭＰＥＧ－４（ＭＰ４）等）に則ったデータファイルであり、動画像Ｍを構成する一連のフレーム群の各々毎に、表示デバイス１ｈに表示させるべき画像の内容を規定する。周知の通り、動画像データは、それ単独で動画像Ｍ中のある時点の画像を構成するキーフレームのデータと、ある時点の直前及び／直後の時点の画像からの差分のみの情報を含むキーフレーム以外のフレームデータとを包含する。このような動画像データを基に、動画像Ｍを構成する各フレームの画像を順次表示、即ち実写映像を再生することが可能である。また、動画像データファイルは、インストラクタが教示する運動や機械操作等の内容を映像Ｍとともに音声出力するためのデータである音声トラックを包有することが当然にある。
【0027】
モーションデータ格納部１０２は、コンピュータ１及び／またはコンピュータ２のメインメモリ１ｂ、２ｂ若しくは補助記憶デバイス１ｃ、２ｃの所要の記憶領域を用いて、運動するインストラクタ及び／または操作される機械等の動きをモーションキャプチャして得たモーションデータを格納する。モーションキャプチャの具体的な手法としては、既知の任意の技術を採用することができる。モーションデータは、三次元コンピュータグラフィクスにより、運動や機械操作等を行うインストラクタ及び／または機械等を模した三次元オブジェクトＯを描画し、その三次元オブジェクトＯの動きをユーザに提示することで、運動や機械操作等の内容を視覚的にユーザに教示するためのものである。即ち、モーションデータは、インストラクタ及び／または機械等を模した三次元オブジェクトＯの運動を規定する。そして、本インストラクションシステムにおいて、モーションデータが規定する三次元オブジェクトＯの動きは、上記の動画像データを基に再生される動画像Ｍによって表されるインストラクタ及び／または機械等の動きと同等である。
【0028】
モーションデータは、既知のフォーマット（例えば、ＢＶＨ（ＢｉｏＶｉｓｉｏｎ Ｈｉｅｒａｒｃｈｙ）等）に則ったデータファイルであり、三次元オブジェクトＯの一連の動きの各時点のフレーム毎に、表示デバイス１ｈに表示させるべき三次元オブジェクトＯの姿勢や形状等を規定する。モーションデータは、三次元オブジェクトＯの骨格（スケルトン）を構成する複数の骨（ボーン）同士を繋ぐ各関節（ジョイント）の、時系列に沿った各フレームにおける三次元仮想空間内での位置座標を含む。なお、モーションデータを得るためのモーションキャプチャ作業は、インストラクタや機械の動きを撮影して動画像データを得るときに同時に行ってもよく、動画像Ｍの撮影とは別個に行ってもよい。但し、既に述べた通り、動画像Ｍ内のインストラクタ及び／または機械等の動きと、モーションデータが示す三次元オブジェクトＯの動きとは、合致している必要がある。モーションデータの時間軸方向の解像度即ちフレームレートは、当該モーションデータに対応する動画像データのフレームレートと一致させることが好ましい。
【0029】
オブジェクトデータ格納部１０３は、コンピュータ１及び／またはコンピュータ２のメインメモリ１ｂ、２ｂ若しくは補助記憶デバイス１ｃ、２ｃの所要の記憶領域を用いて、運動するインストラクタ及び／または操作される機械等を模した三次元オブジェクトＯの形状を記述するオブジェクトデータを格納する。オブジェクトデータは、三次元コンピュータグラフィクスにより、運動や機械操作等を行うインストラクタ及び／または機械等を模した三次元オブジェクトＯを描画して表現するために参照される。
【0030】
オブジェクトデータは、既知のフォーマット（例えば、ＣＯＬＬＡＤＡ（ＣＯＬＬＡｂｏｒａｔｉｖｅ Ｄｅｓｉｇｎ Ａｃｔｉｖｉｔｙ）やＦＢＸ（ＦｉｌｍＢｏＸ）等）に則ったデータファイルであり、インストラクタ及び／または機械等を模した三次元オブジェクトＯの外形を規定するポリゴンメッシュやスキン、当該三次元オブジェクトＯに内挿される骨格の関節の配置の情報を含む。モーションデータが有する各関節のフレーム毎の位置座標は、オブジェクトデータが有する三次元オブジェクトＯ内の各関節に対応している。つまり、これらモーションデータ及びオブジェクトデータを基に、三次元仮想空間内で運動する三次元オブジェクトＯの各フレームにおける姿形を順次描画して表示、即ち実写でない仮想的な三次元オブジェクトＯの映像を再生することが可能である。
【0031】
付随データ格納部１０４は、コンピュータ１及び／またはコンピュータ２のメインメモリ１ｂ、２ｂ若しくは補助記憶デバイス１ｃ、２ｃの所要の記憶領域を用いて、動画像データ格納部１０１に格納している動画像Ｍに関連する付随データを格納する。付随データは、少なくとも、動画像データ格納部１０１に格納している動画像データと、モーションデータ格納部１０２に格納しているモーションデータとを対応付け（紐付け、関連付け）る情報を含む。動画像データに対応するモーションデータは、その動画像Ｍ中に写っているインストラクタや機械等の動きと同等の動きを三次元オブジェクトＯにより表現するためのデータである。例えば、図５に示すように、付随データにおいて、少なくとも、動画像データ格納部１０１に格納している動画像データのうちのあるものを識別する識別子（動画像データのファイル名や当該ファイルの格納場所のディレクトリを指し示すＵＲＩ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）等）と、モーションデータ格納部１０２に格納してモーションデータのうちの当該動画像Ｍに対応付けられるモーションデータを識別する識別子（モーションデータのファイル名やＵＲＩ等）とを組として記述する。また、それら動画像データ及びモーションデータの組と、オブジェクトデータ格納部１０３に格納しているオブジェクトデータとを対応付けるべく、当該モーションデータを用いて動きを表現する三次元オブジェクトに係るオブジェクトデータを識別する識別子（オブジェクトデータのファイル名やＵＲＩ等）を付記することがある。
【0032】
加えて、付随データは、動画像データ及びモーションデータの組毎に、当該動画像Ｍ（及び、モーションデータ）の内容を示唆するタイトルや単元名、その内容の解説や運動、機械操作の手順、方法、助言その他を説明するテキスト情報Ｉを含んでいる。
【0033】
出力制御部１０５は、ユーザが使用するコンピュータ１の表示デバイス１ｈに、運動や機械操作等を行うインストラクタを撮影した動画像Ｍ、及びそのモーションキャプチャに基づいた三次元オブジェクトＯを表示出力する制御を実行する。図６ないし図１０に、動画像Ｍ及び三次元オブジェクトＯの表示デバイス１ｈの画面への表示例を示している。本インストラクションシステムでは、インストラクタ及び／またはインストラクタが操作する機械等を撮影した実写の動画像Ｍと、インストラクタ及び／または機械等を模した仮想的な三次元オブジェクトＯのグラフィクスとを、同一の表示デバイス１ｈの画面内に表示させる。
【0034】
その上で、出力制御部１０５は、実写の動画像Ｍと、当該動画像Ｍ中の人及び／または物を模した三次元オブジェクトＯの運動とを同期させて表示出力する。つまり、ユーザが閲覧または視聴しようとする所望の時点で、動画像Ｍ内の実写の人及び／または物と、それを模した三次元オブジェクトＯとが、同じ姿勢をとることになる。出力制御部１０５が描画する動画像Ｍは、動画像データに基づいている。出力制御部１０５が描画する三次元オブジェクトＯは、その動画像データに対応付けられたモーションデータ及びオブジェクトデータに基づいている。動画像データに含まれる任意の時点のフレームに写っている人や物の姿形と、モーションデータに含まれる同時点のフレームのデータにより規定される三次元オブジェクトＯの姿形とは、互いに合致する。即ち、最初のフレームでも、最後のフレームでも、それらの中間のフレームでも、実写の姿形とモーションデータが表現する姿形とが同等になっている。
【0035】
また、出力制御部１０５は、動画像データが音声トラックを有している場合、実写の映像Ｍの表示出力とともに、音声出力デバイス１ｉを介してその音声トラックに基づく音声を出力する制御を実行する。一般に、動画像データを基に再生する映像Ｍと音声とは同期する。
【0036】
加えて、出力制御部１０５は、ユーザが使用するコンピュータ１の表示デバイス１ｈに、動画像Ｍに関連する付随データ、例えば当該動画像Ｍの内容を示唆するタイトルや単元名、その内容の解説や運動、機械操作の手順、方法、助言その他を説明するテキストＩを表示出力する制御を実行する。出力制御部１０５が表示させるそれは、その動画像データに対応付けられた付随データに基づいている。なお、付随データとして記述されている動画像Ｍのタイトルや単元名、その内容の解説等Ｉを、音声出力デバイス１ｉを介して音声出力しても構わない。
【0037】
再生操作受付部１０６は、ユーザによる、動画像Ｍにおけるこれから表示させるべき時点を指定する操作を受け付ける。図６に例示しているように、出力制御部１０５は、動画像Ｍ及び三次元オブジェクトＯを表示させる画面内に、動画像Ｍ及びこれに対応する三次元オブジェクトＯの動きの再生／停止を操作するためのボタン６１、６２、６３、６４やスライダ（または、シークバー）６５を併せて表示させる。具体的に述べると、動画像Ｍ及び三次元オブジェクトＯの動きの再生を開始するためのボタン６１、再生を一時停止するためのボタン６２、再生を終了するためのボタン６３、再生を最初のフレームから反復するためのボタン６４、再生を開始または再開するフレームを選択するいわゆる頭出し用のスライダ６５等である。
【0038】
ユーザは、操作入力デバイス１ｇ、特にタッチパネルやマウス等のポインティングデバイスを介して、任意のボタン６１、６２、６３、６４をタップまたはクリックしたり、スライダ６５をタップ、クリック、スワイプまたはドラッグして移動させたりする操作を行う。再生操作受付部１０６は、そのようなユーザによる入力を通じて、ユーザの要求である動画像Ｍ及び三次元オブジェクトＯの動きの再生、一時停止、終了、反復、再生を開始または再開するフレーム（総じて、今から表示デバイス１ｈに表示させる動画像Ｍ及び三次元オブジェクトＯの動きの時点即ちフレーム）を指定する操作を受け付ける。
【0039】
そして、出力制御部１０５は、再生操作受付部１０６で指定を受け付けた時点のフレームから動画像Ｍ及び三次元オブジェクトＯの動きを再生、表示デバイス１ｈの画面に表示させる。当該時点のフレームにおける三次元オブジェクトＯの姿勢は、同フレームにおける動画像Ｍ中の人や物の姿勢と同様である。当該時点から時間が経過した後の時点のフレームでも、三次元オブジェクトＯの姿勢は動画像Ｍ中の人や物の姿勢と同様になる。図７は、ある時点での動画像Ｍ及び三次元オブジェクトＯの表示例であり、図８は、それとは別の時点での動画像Ｍ及び三次元オブジェクトＯの表示例である。動画像Ｍの再生／停止、頭出しのための操作インタフェース６１、６２、６３、６４、６５が、そのまま三次元オブジェクトＯの動きの再生／停止、頭出しのための操作インタフェースとなっている点が、本インストラクションシステムの一つの特徴である。
【0040】
視点操作受付部１０７は、ユーザによる、三次元オブジェクトＯを表示させる際の視点を指定する操作を受け付ける。図６に例示しているように、出力制御部１０５は、動画像Ｍ及び三次元オブジェクトＯを表示させる画面内に、三次元オブジェクトＯを見る視点の仮想空間内での位置、視線の方向、三次元オブジェクトＯまでの距離またはズーム倍率等を操作するためのボタン７１、７２、７３、７４、７５、７６やギズモ７７を併せて表示させる。具体的に述べると、画面内で三次元オブジェクトＯを上下左右に移動させる（三次元オブジェクトＯを見る視点の仮想空間内での位置を移動させる）ためのボタン７１、７２、７３、７４、画面内で三次元オブジェクトＯを拡大する（視点の仮想空間内での位置を三次元オブジェクトＯに近づける）ズームイン用のボタン７５、逆に三次元オブジェクトＯを縮小する（視点の仮想空間内での位置を三次元オブジェクトＯから遠ざける）ズームアウト用のボタン７６、画面内で三次元オブジェクトＯを回転させるかまたは三次元オブジェクトＯを見る視線の方向をパン、チルトその他変位させる（三次元オブジェクトＯの仮想空間内での向きまたは視線の仮想空間内での方向を変化させる）ためのギズモ７７等である。
【0041】
ユーザは、操作入力デバイス１ｇ、特にタッチパネルやマウス等のポインティングデバイスを介して、任意のボタン７１、７２、７３、７４、７５、７６をタップまたはクリックしたり、ギズモ７７をスワイプまたはドラッグしたりする操作を行う。視点操作受付部１０７は、そのようなユーザによる入力を通じて、ユーザが要求する三次元オブジェクトＯに対する視点の位置、距離（拡大／縮小倍率）や視線の方向（総じて、表示デバイス１ｈに三次元オブジェクトＯを描画する際の視点）を指定する操作を受け付ける。
【0042】
そして、出力制御部１０５は、視点操作受付部１０７で指定を受け付けた視点及び視線の方向から三次元オブジェクトＯを見た状態を描画し、表示デバイス１ｈの画面に表示させる。なお、視点操作受付部１０７で受け付けた操作に応じて変化させるのはあくまでも、三次元オブジェクトＯの画面内での位置、大きさや三次元オブジェクトＯを見る方向である。動画像Ｍと三次元オブジェクトＯの動きとは、三次元オブジェクトＯに対する視点がユーザの意思で変位したとしても、常に同期している。繰り返しになるが、各時点のフレームにおいて、動画像Ｍ中に写っている人及び／または物を模した三次元オブジェクトＯの姿形は、動画像Ｍ中の当該人及び／または物の姿形に合致している。図８は、ある時点での動画像Ｍ及びある視点から見た三次元オブジェクトＯの表示例であり、図９は、同時点での動画像Ｍ及び他の視点から見た三次元オブジェクトＯの表示例である。図１０は、同時点での動画像Ｍ及びさらに別の視点から見た三次元オブジェクトＯの表示例である。図８、図９及び図１０の動画像Ｍ中の人や物の姿勢と、図８の三次元オブジェクトＯの姿勢と、図９の三次元オブジェクトＯの姿勢と、図１０の三次元オブジェクトＯの姿勢とは、共通である。このように、動画像Ｍ中に写っている人や物を模した三次元オブジェクトＯを様々な角度から見たり、特定の部位を拡大して見たり、縮小して全体を見たりすることができる点が、本インストラクションシステムのもう一つの特徴である。
【0043】
本インストラクションシステムは、クライアントコンピュータ１を主体として構成することもできるし、クライアントコンピュータ１とサーバコンピュータ２との協働として構成することもできる。後者の場合において、クライアントコンピュータ１がシンクライアント化し、サーバコンピュータ２が主体となる可能性がある。以下、システムの態様を列挙する。
【0044】
［Ｉ］クライアントコンピュータ１を主体とする態様：
ユーザが使用するクライアントコンピュータ１を動画像データ格納部１０１、モーションデータ格納部１０２、オブジェクトデータ格納部１０３、付随データ格納部１０４、出力制御部１０５、再生操作受付部１０６及び視点操作受付部１０７として機能させるプログラム（クライアントコンピュータ１側のウェブブラウザ上で動作するもの、例えばＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）５、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＷｅｂＡｓｓｅｍｂｌｙ等を用いたものであることがある）が、クライアントコンピュータ１のメインメモリ１ｂ若しくは補助記憶デバイス１ｃに格納される。
さらに、動画像データ並びにこれに対応付けられたモーションデータ及びオブジェクトデータ、付随データが、動画像データ格納部１０１、モーションデータ格納部１０２、オブジェクトデータ格納部１０３及び付随データ格納部１０４となるメインメモリ１ｂ若しくは補助記憶デバイス１ｃに格納される。
この態様では、クライアントコンピュータ１が、必ずしもサーバコンピュータ２と通信を行うことなく、動画像Ｍ及び三次元オブジェクトＯの動きを表示デバイス１ｈの画面に表示出力することができる。換言すれば、クライアントコンピュータ１単体で本インストラクションシステムを構築することが可能ということである。
勿論、上記のプログラムや動画像データ、モーションデータ、オブジェクトデータ、付随データをサーバコンピュータ２の補助記憶デバイス２ｃに格納しており、サーバコンピュータ２からクライアントコンピュータ１に電気通信回線３を介してダウンロード送信することはある。
ユーザが使用するクライアントコンピュータ１を動画像データ格納部１０１、モーションデータ格納部１０２、オブジェクトデータ格納部１０３、付随データ格納部１０４、出力制御部１０５、再生操作受付部１０６及び視点操作受付部１０７として機能させるプログラム（クライアントコンピュータ１側のウェブブラウザ上で動作するもの、例えばＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）５、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＷｅｂＡｓｓｅｍｂｌｙ等を用いたものであることがある）が、クライアントコンピュータ１のメインメモリ１ｂ若しくは補助記憶デバイス１ｃに格納される。
さらに、動画像データ並びにこれに対応付けられたモーションデータ及びオブジェクトデータ、付随データが、動画像データ格納部１０１、モーションデータ格納部１０２、オブジェクトデータ格納部１０３及び付随データ格納部１０４となるメインメモリ１ｂ若しくは補助記憶デバイス１ｃに格納される。
この態様では、クライアントコンピュータ１が、必ずしもサーバコンピュータ２と通信を行うことなく、動画像Ｍ及び三次元オブジェクトＯの動きを表示デバイス１ｈの画面に表示出力することができる。換言すれば、クライアントコンピュータ１単体で本インストラクションシステムを構築することが可能ということである。
勿論、上記のプログラムや動画像データ、モーションデータ、オブジェクトデータ、付随データをサーバコンピュータ２の補助記憶デバイス２ｃに格納しており、サーバコンピュータ２からクライアントコンピュータ１に電気通信回線３を介してダウンロード送信することはある。
【0045】
［II］クライアントコンピュータ１を主体とするが、サーバコンピュータ２から適時必要なデータ及び／またはプログラムの提供を受ける態様：
クライアントコンピュータ１が本インストラクションシステムの各部１０１、１０２、１０３、１０４、１０５、１０６、１０７の役割を担う点は、［Ｉ］の態様と同じである。クライアントコンピュータ１を本システムの各部１０１、１０２、１０３、１０４、１０５、１０６、１０７として機能させるプログラム（クライアントコンピュータ１側のウェブブラウザ上で動作するものであることがある）は、予めクライアントコンピュータ１にアプリケーションプログラムとしてインストールされていてもよいし、動画像Ｍ及び三次元オブジェクトＯを表示デバイス１ｈの画面に表示出力する際にサーバコンピュータ２から受信し、メインメモリ１ｂ若しくは補助記憶デバイス１ｃに格納されてもよい。
クライアントコンピュータ１は、動画像Ｍ及び三次元オブジェクトＯを表示デバイス１ｈの画面に表示出力する際に、必要な動画像データ及びこれに対応付けられたモーションデータ、付随データをサーバコンピュータ２から受信する。そして、それらデータが、動画像データ格納部１０１、モーションデータ格納部１０２及び付随データ格納部１０４となるメインメモリ１ｂ若しくは補助記憶デバイス１ｃに格納される。
このとき、クライアントコンピュータ１が、サーバコンピュータ２から動画像データ及び／またはモーションデータを、ストリーミングまたはプログレッシブダウンロード等の形態で受信することがある。その場合、クライアントコンピュータ１のメインメモリ１ｂ若しくは補助記憶デバイス１ｃには、再生対象となる動画像データの全体（一つの動画像Ｍの最初のフレームから最後のフレームまで）が格納されず、当該動画像データの一部（のフレーム群）のみが格納される。同じように、メインメモリ１ｂ若しくは補助記憶デバイス１ｃに、再生対象のモーションデータの全体（一つの動画像Ｍに対応するモーションデータの最初のフレームから最後のフレームまで）が格納されず、当該モーションデータの一部（一つの動画像Ｍの一部のフレーム群に対応しているモーションデータ）のみが格納されることもあり得る。メインメモリ１ｂ若しくは補助記憶デバイス１ｃに格納される動画像データ及び／またはモーションデータは、再生操作受付部１０６で指定を受け付けた再生開始時点からある程度の時間の範囲のフレーム群のデータに限られる。
三次元オブジェクトデータもまた、サーバコンピュータ２から電気通信回線を介して受信し、オブジェクトデータ格納部１０３となるクライアントコンピュータ１のメインメモリ１ｂ若しくは補助記憶デバイス１ｃに格納される。三次元オブジェクトデータは、動画像データ及びモーションデータとは別に、動画像Ｍ及びモーションの再生に先んじてメインメモリ１ｂ若しくは補助記憶デバイス１ｃに格納されていてもよいし、動画像Ｍ及びモーションの再生または動画像データ及びモーションデータの受信と同時期にサーバコンピュータ２から受信してメインメモリ１ｂ若しくは補助記憶デバイス１ｃに格納されてもよい。
クライアントコンピュータ１が本インストラクションシステムの各部１０１、１０２、１０３、１０４、１０５、１０６、１０７の役割を担う点は、［Ｉ］の態様と同じである。クライアントコンピュータ１を本システムの各部１０１、１０２、１０３、１０４、１０５、１０６、１０７として機能させるプログラム（クライアントコンピュータ１側のウェブブラウザ上で動作するものであることがある）は、予めクライアントコンピュータ１にアプリケーションプログラムとしてインストールされていてもよいし、動画像Ｍ及び三次元オブジェクトＯを表示デバイス１ｈの画面に表示出力する際にサーバコンピュータ２から受信し、メインメモリ１ｂ若しくは補助記憶デバイス１ｃに格納されてもよい。
クライアントコンピュータ１は、動画像Ｍ及び三次元オブジェクトＯを表示デバイス１ｈの画面に表示出力する際に、必要な動画像データ及びこれに対応付けられたモーションデータ、付随データをサーバコンピュータ２から受信する。そして、それらデータが、動画像データ格納部１０１、モーションデータ格納部１０２及び付随データ格納部１０４となるメインメモリ１ｂ若しくは補助記憶デバイス１ｃに格納される。
このとき、クライアントコンピュータ１が、サーバコンピュータ２から動画像データ及び／またはモーションデータを、ストリーミングまたはプログレッシブダウンロード等の形態で受信することがある。その場合、クライアントコンピュータ１のメインメモリ１ｂ若しくは補助記憶デバイス１ｃには、再生対象となる動画像データの全体（一つの動画像Ｍの最初のフレームから最後のフレームまで）が格納されず、当該動画像データの一部（のフレーム群）のみが格納される。同じように、メインメモリ１ｂ若しくは補助記憶デバイス１ｃに、再生対象のモーションデータの全体（一つの動画像Ｍに対応するモーションデータの最初のフレームから最後のフレームまで）が格納されず、当該モーションデータの一部（一つの動画像Ｍの一部のフレーム群に対応しているモーションデータ）のみが格納されることもあり得る。メインメモリ１ｂ若しくは補助記憶デバイス１ｃに格納される動画像データ及び／またはモーションデータは、再生操作受付部１０６で指定を受け付けた再生開始時点からある程度の時間の範囲のフレーム群のデータに限られる。
三次元オブジェクトデータもまた、サーバコンピュータ２から電気通信回線を介して受信し、オブジェクトデータ格納部１０３となるクライアントコンピュータ１のメインメモリ１ｂ若しくは補助記憶デバイス１ｃに格納される。三次元オブジェクトデータは、動画像データ及びモーションデータとは別に、動画像Ｍ及びモーションの再生に先んじてメインメモリ１ｂ若しくは補助記憶デバイス１ｃに格納されていてもよいし、動画像Ｍ及びモーションの再生または動画像データ及びモーションデータの受信と同時期にサーバコンピュータ２から受信してメインメモリ１ｂ若しくは補助記憶デバイス１ｃに格納されてもよい。
【0046】
［III］サーバコンピュータ２を主体とする態様：
サーバコンピュータ２を動画像データ格納部１０１、モーションデータ格納部１０２、オブジェクトデータ格納部１０３、付随データ格納部１０４、出力制御部１０５、再生操作受付部１０６及び視点操作受付部１０７として機能させるプログラムが、サーバコンピュータ２のメインメモリ２ｂ若しくは補助記憶デバイス２ｃに格納される。
さらに、動画像データ並びにこれに対応付けられたモーションデータ及びオブジェクトデータ、付随データが、動画像データ格納部１０１、モーションデータ格納部１０２、オブジェクトデータ格納部１０３及び付随データ格納部１０４となるメインメモリ２ｂ若しくは補助記憶デバイス２ｃに格納される。
この態様では、ユーザが使用するクライアントコンピュータ１がシンクライアントとなる。最終的にクライアントコンピュータ１側の表示デバイス１ｈに動画像Ｍ及び三次元オブジェクトＯが表示されることに違いはないが、その表示画面はサーバコンピュータ２において演算、生成され、その表示画面を構成し（クライアントコンピュータ１側のウェブブラウザによりレンダリングされるものであることがある）またはその表示画面をクライアントコンピュータ１において表示デバイス１ｈに表示出力するために必要となるデータが、サーバコンピュータ２からクライアントコンピュータ１に電気通信回線３を介して送信される。
ユーザは、クライアントコンピュータ１において、これから動画像Ｍ及び三次元オブジェクトＯの動きを表示させるべき時点を指定する操作を行う。例えば、画面内の任意のボタン６１、６２、６３、６４をタップまたはクリックしたり、スライダ６５をタップ、クリック、スワイプまたはドラッグしたりする。操作入力デバイス１ｇを介してそのような操作を受け付けたクライアントコンピュータ１は、プログラム（または、スクリプト）に従い、ユーザによる操作の内容を示すデータ（即ち、画面内のどの箇所をタップまたはクリックしたか、どの箇所からどの箇所までをスワイプまたはドラッグしたか、どのボタン６１、６２、６３、６４をタップまたはクリックしたか、スライダ６５をどこまで移動させたか等）をサーバコンピュータ２に向けて電気通信回線３を介して送信する。サーバコンピュータ２の再生操作受付部１０６は、このクライアントコンピュータ１からもたらされるデータを受信する形で、これよりクライアントコンピュータ１の表示デバイス１ｈに表示させる動画像Ｍ及び三次元オブジェクトＯの動きの時点即ちフレームを指定する操作を受け付ける。
また、ユーザは、クライアントコンピュータ１において、三次元オブジェクトＯを表示させる際の視点を指定する操作を行う。例えば、任意のボタン７１、７２、７３、７４、７５、７６をタップまたはクリックしたり、ギズモ７７をスワイプまたはドラッグしたりする。操作入力デバイス１ｇを介してそのような操作を受け付けたクライアントコンピュータ１は、プログラム（または、スクリプト）に従い、ユーザによる操作の内容を示すデータ（即ち、画面内のどの箇所をタップまたはクリックしたか、どの箇所からどの箇所までをスワイプまたはドラッグしたか、どのボタン７１、７２、７３、７４、７５、７６をタップまたはクリックしたか、ギズモ７７をどのように変位させたか等）をサーバコンピュータ２に向けて電気通信回線３を介して送信する。サーバコンピュータ２の視点操作受付部１０７は、このクライアントコンピュータ１からもたらされるデータを受信する形で、クライアントコンピュータ１の表示デバイス１ｈに三次元オブジェクトＯを描画する際の視点を指定する操作を受け付ける。
しかして、サーバコンピュータ２の出力制御部１０５は、再生操作受付部１０６で指定を受け付けた時点のフレームから動画像Ｍ及び三次元オブジェクトＯの動きを再生した表示画面、さらに三次元オブジェクトＯについては視点操作受付部１０７で指定を受け付けた視点及び視線の方向から三次元オブジェクトＯを見た状態を描画した表示画面を演算して生成する。そして、その表示画面を構成しまたはその表示画面をクライアントコンピュータ１において表示デバイス１ｈに表示出力するために必要となるデータを、クライアントコンピュータ１に向けて電気通信回線３を介して送信する。クライアントコンピュータ１は、このサーバコンピュータ２からもたらされるデータを受信し、これを基に動画像Ｍ及び三次元オブジェクトＯを含む画面を表示デバイス１ｈに表示させる。
サーバコンピュータ２を動画像データ格納部１０１、モーションデータ格納部１０２、オブジェクトデータ格納部１０３、付随データ格納部１０４、出力制御部１０５、再生操作受付部１０６及び視点操作受付部１０７として機能させるプログラムが、サーバコンピュータ２のメインメモリ２ｂ若しくは補助記憶デバイス２ｃに格納される。
さらに、動画像データ並びにこれに対応付けられたモーションデータ及びオブジェクトデータ、付随データが、動画像データ格納部１０１、モーションデータ格納部１０２、オブジェクトデータ格納部１０３及び付随データ格納部１０４となるメインメモリ２ｂ若しくは補助記憶デバイス２ｃに格納される。
この態様では、ユーザが使用するクライアントコンピュータ１がシンクライアントとなる。最終的にクライアントコンピュータ１側の表示デバイス１ｈに動画像Ｍ及び三次元オブジェクトＯが表示されることに違いはないが、その表示画面はサーバコンピュータ２において演算、生成され、その表示画面を構成し（クライアントコンピュータ１側のウェブブラウザによりレンダリングされるものであることがある）またはその表示画面をクライアントコンピュータ１において表示デバイス１ｈに表示出力するために必要となるデータが、サーバコンピュータ２からクライアントコンピュータ１に電気通信回線３を介して送信される。
ユーザは、クライアントコンピュータ１において、これから動画像Ｍ及び三次元オブジェクトＯの動きを表示させるべき時点を指定する操作を行う。例えば、画面内の任意のボタン６１、６２、６３、６４をタップまたはクリックしたり、スライダ６５をタップ、クリック、スワイプまたはドラッグしたりする。操作入力デバイス１ｇを介してそのような操作を受け付けたクライアントコンピュータ１は、プログラム（または、スクリプト）に従い、ユーザによる操作の内容を示すデータ（即ち、画面内のどの箇所をタップまたはクリックしたか、どの箇所からどの箇所までをスワイプまたはドラッグしたか、どのボタン６１、６２、６３、６４をタップまたはクリックしたか、スライダ６５をどこまで移動させたか等）をサーバコンピュータ２に向けて電気通信回線３を介して送信する。サーバコンピュータ２の再生操作受付部１０６は、このクライアントコンピュータ１からもたらされるデータを受信する形で、これよりクライアントコンピュータ１の表示デバイス１ｈに表示させる動画像Ｍ及び三次元オブジェクトＯの動きの時点即ちフレームを指定する操作を受け付ける。
また、ユーザは、クライアントコンピュータ１において、三次元オブジェクトＯを表示させる際の視点を指定する操作を行う。例えば、任意のボタン７１、７２、７３、７４、７５、７６をタップまたはクリックしたり、ギズモ７７をスワイプまたはドラッグしたりする。操作入力デバイス１ｇを介してそのような操作を受け付けたクライアントコンピュータ１は、プログラム（または、スクリプト）に従い、ユーザによる操作の内容を示すデータ（即ち、画面内のどの箇所をタップまたはクリックしたか、どの箇所からどの箇所までをスワイプまたはドラッグしたか、どのボタン７１、７２、７３、７４、７５、７６をタップまたはクリックしたか、ギズモ７７をどのように変位させたか等）をサーバコンピュータ２に向けて電気通信回線３を介して送信する。サーバコンピュータ２の視点操作受付部１０７は、このクライアントコンピュータ１からもたらされるデータを受信する形で、クライアントコンピュータ１の表示デバイス１ｈに三次元オブジェクトＯを描画する際の視点を指定する操作を受け付ける。
しかして、サーバコンピュータ２の出力制御部１０５は、再生操作受付部１０６で指定を受け付けた時点のフレームから動画像Ｍ及び三次元オブジェクトＯの動きを再生した表示画面、さらに三次元オブジェクトＯについては視点操作受付部１０７で指定を受け付けた視点及び視線の方向から三次元オブジェクトＯを見た状態を描画した表示画面を演算して生成する。そして、その表示画面を構成しまたはその表示画面をクライアントコンピュータ１において表示デバイス１ｈに表示出力するために必要となるデータを、クライアントコンピュータ１に向けて電気通信回線３を介して送信する。クライアントコンピュータ１は、このサーバコンピュータ２からもたらされるデータを受信し、これを基に動画像Ｍ及び三次元オブジェクトＯを含む画面を表示デバイス１ｈに表示させる。
【0047】
なお、上述した態様［Ｉ］、［II］、［III］の何れにおいても、あるユーザが作成した動画像データとモーションデータとの組（付随データがさらに付加されることがある）または動画像データ、モーションデータ及びオブジェクトデータの組（付随データがさらに付加されることがある）を、当該ユーザの使用するクライアントコンピュータ１からサーバコンピュータ２にアップロード送信し、それらデータをサーバコンピュータ２の補助記憶デバイス２ｃに格納、蓄積しておくことができる。サーバコンピュータ２に蓄積したデータは、随時サーバコンピュータ２から他のユーザの使用するクライアントコンピュータ１にダウンロードまたはストリーミング等により送信して提供することができる。三次元オブジェクトデータ単独についても、同様である。
【0048】
本実施形態では、運動する人及び／または物を撮影した動画像Ｍと、運動する当該人及び／または当該物を模した三次元オブジェクトＯとを同期させて表示し、ユーザに提示するためのシステムであって、前記動画像Ｍのデータを格納する動画像データ格納部１０１と、前記三次元オブジェクトＯの運動を規定するデータを格納するモーションデータ格納部１０２と、ユーザの手による、前記動画像Ｍにおけるこれから表示させるべき時点を指定する操作を受け付ける再生操作受付部１０６と、ユーザの手による、前記三次元オブジェクトＯを表示させる際の視点を指定する操作を受け付ける視点操作受付部１０７と、前記動画像データ格納部１０１に格納している動画像データ及び前記モーションデータ格納部１０２に格納しているモーションデータを基に、前記動画像Ｍ及び前記三次元オブジェクトＯを、同一の表示デバイス１ｈに、前記再生操作受付部１０６で指定を受け付けた時点から、動画像Ｍ及び動画像Ｍ中の人及び／または物を模した三次元オブジェクトＯの運動を同期させて表示させ、かつその三次元オブジェクトＯを前記視点操作受付部１０７で指定を受け付けた視点から見た状態で投影する出力制御部１０５とを具備するインストラクションシステムを構成した。
【0049】
本実施形態によれば、ユーザが、インストラクタとなる人及び／または物を撮影した実写の動画像Ｍとともに、これと同期した三次元オブジェクトＯの動きを看視できる。しかも、運動するインストラクタを模した三次元オブジェクトＯを、様々な方向または角度から視認したり、特定の部位を拡大して視認したり、縮小して全体を視認したりする操作が可能である。このことから、二次元情報である動画像Ｍのみを看視する場合と比較して、ユーザがインストラクタの動きの詳細、特徴を調査、解析または応用することや、自身の動きとインストラクタの動きとの相違点を発見することがより容易になる。例えば、体操、ヨガ、ストレッチ、ボディビル、武道、格闘技や機械操作等のトレーニングにおいて、ユーザがインストラクタの動きを効果的に学ぶことができるようになる。
【0050】
なお、本発明は以上に詳述した実施形態に限られるものではない。各部の具体的な構成や処理の手順等は、本発明の趣旨を逸脱しない範囲で種々変形が可能である。
【符号の説明】
【0051】
１…クライアントコンピュータ
２…サーバコンピュータ
３…電気通信回線
１０１…動画像データ格納部
１０２…モーションデータ格納部
１０３…オブジェクトデータ格納部
１０４…付随データ格納部
１０５…出力制御部
１０６…再生操作受付部
１０７…視点操作受付部
Ｉ…表示させる付随データ
Ｍ…動画像
Ｏ…三次元オブジェクト
２…サーバコンピュータ
３…電気通信回線
１０１…動画像データ格納部
１０２…モーションデータ格納部
１０３…オブジェクトデータ格納部
１０４…付随データ格納部
１０５…出力制御部
１０６…再生操作受付部
１０７…視点操作受付部
Ｉ…表示させる付随データ
Ｍ…動画像
Ｏ…三次元オブジェクト
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2021-12-16
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
運動する人または物を撮影した動画像と、運動する当該人または当該物を模した三次元オブジェクトとを同期させて表示し、ユーザに提示するためのシステムであって、
前記動画像のデータを格納する動画像データ格納部と、
前記動画像に関連する付随データを格納する付随データ格納部と、
前記三次元オブジェクトの運動を規定するデータを格納するモーションデータ格納部と、ユーザの手による、前記動画像におけるこれから表示させるべき時点を指定する操作を受け付ける再生操作受付部と、
ユーザの手による、前記三次元オブジェクトを表示させる際の視点を指定する操作を受け付ける視点操作受付部と、
前記動画像データ格納部に格納している動画像データ及び前記モーションデータ格納部に格納しているモーションデータを基に、前記動画像及び前記三次元オブジェクトを、同一の表示デバイスに、前記再生操作受付部で指定を受け付けた時点から、動画像と動画像中の人または物を模した三次元オブジェクトの運動とを同期させて表示させ、かつその三次元オブジェクトを前記視点操作受付部で指定を受け付けた視点から見た状態で投影するとともに、前記付随データ格納部に格納している付随データを基に、当該動画像に関連する付随データを当該表示デバイスに表示させる出力制御部とを具備し、
前記出力制御部は、
前記表示デバイスに、一つの前記動画像の表示領域と、一つの前記三次元オブジェクトの表示領域とを表示させ、
前記一つの三次元オブジェクトの表示領域内で、前記視点操作受付部で受け付けた操作に応じて、三次元オブジェクトを見る視点の位置、視点から見る視線の方向、並びに視点から三次元オブジェクトまでの距離若しくはズーム倍率をユーザの任意に変化させるインストラクションシステム。
前記動画像のデータを格納する動画像データ格納部と、
前記動画像に関連する付随データを格納する付随データ格納部と、
前記三次元オブジェクトの運動を規定するデータを格納するモーションデータ格納部と、ユーザの手による、前記動画像におけるこれから表示させるべき時点を指定する操作を受け付ける再生操作受付部と、
ユーザの手による、前記三次元オブジェクトを表示させる際の視点を指定する操作を受け付ける視点操作受付部と、
前記動画像データ格納部に格納している動画像データ及び前記モーションデータ格納部に格納しているモーションデータを基に、前記動画像及び前記三次元オブジェクトを、同一の表示デバイスに、前記再生操作受付部で指定を受け付けた時点から、動画像と動画像中の人または物を模した三次元オブジェクトの運動とを同期させて表示させ、かつその三次元オブジェクトを前記視点操作受付部で指定を受け付けた視点から見た状態で投影するとともに、前記付随データ格納部に格納している付随データを基に、当該動画像に関連する付随データを当該表示デバイスに表示させる出力制御部とを具備し、
前記出力制御部は、
前記表示デバイスに、一つの前記動画像の表示領域と、一つの前記三次元オブジェクトの表示領域とを表示させ、
前記一つの三次元オブジェクトの表示領域内で、前記視点操作受付部で受け付けた操作に応じて、三次元オブジェクトを見る視点の位置、視点から見る視線の方向、並びに視点から三次元オブジェクトまでの距離若しくはズーム倍率をユーザの任意に変化させるインストラクションシステム。
【請求項2】
前記モーションデータ格納部に格納しているモーションデータは、前記動画像データ格納部に格納している動画像データを得るために撮影した人または物と同一人または同一物の同じ運動をモーションキャプチャして得たものである請求項１記載のインストラクションシステム。
【請求項3】
請求項１または２記載のインストラクションシステムを構築するために用いられるものであって、コンピュータを、
運動する人または物を撮影した動画像のデータを格納する動画像データ格納部、
前記動画像に関連する付随データを格納する付随データ格納部、
運動する人または物を模した三次元オブジェクトの運動を規定するデータを格納するモーションデータ格納部、
ユーザの手による、前記動画像におけるこれから表示させるべき時点を指定する操作を受け付ける再生操作受付部、
ユーザの手による、前記三次元オブジェクトを表示させる際の視点を指定する操作を受け付ける視点操作受付部、並びに、
前記動画像データ格納部に格納している動画像データ及び前記モーションデータ格納部に格納しているモーションデータを基に、前記動画像及び前記三次元オブジェクトを、同一の表示デバイスに、前記再生操作受付部で指定を受け付けた時点から、動画像と動画像中の人または物を模した三次元オブジェクトの運動とを同期させて表示させ、かつその三次元オブジェクトを前記視点操作受付部で指定を受け付けた視点から見た状態で投影するともに、前記付随データ格納部に格納している付随データを基に、当該動画像に関連する付随データを当該表示デバイスに表示させる出力制御部として機能させ、
前記出力制御部は、
前記表示デバイスに、一つの前記動画像の表示領域と、一つの前記三次元オブジェクトの表示領域とを表示させ、
前記一つの三次元オブジェクトの表示領域内で、前記視点操作受付部で受け付けた操作に応じて、三次元オブジェクトを見る視点の位置、視点から見る視線の方向、並びに視点から三次元オブジェクトまでの距離若しくはズーム倍率をユーザの任意に変化させるプログラム。
運動する人または物を撮影した動画像のデータを格納する動画像データ格納部、
前記動画像に関連する付随データを格納する付随データ格納部、
運動する人または物を模した三次元オブジェクトの運動を規定するデータを格納するモーションデータ格納部、
ユーザの手による、前記動画像におけるこれから表示させるべき時点を指定する操作を受け付ける再生操作受付部、
ユーザの手による、前記三次元オブジェクトを表示させる際の視点を指定する操作を受け付ける視点操作受付部、並びに、
前記動画像データ格納部に格納している動画像データ及び前記モーションデータ格納部に格納しているモーションデータを基に、前記動画像及び前記三次元オブジェクトを、同一の表示デバイスに、前記再生操作受付部で指定を受け付けた時点から、動画像と動画像中の人または物を模した三次元オブジェクトの運動とを同期させて表示させ、かつその三次元オブジェクトを前記視点操作受付部で指定を受け付けた視点から見た状態で投影するともに、前記付随データ格納部に格納している付随データを基に、当該動画像に関連する付随データを当該表示デバイスに表示させる出力制御部として機能させ、
前記出力制御部は、
前記表示デバイスに、一つの前記動画像の表示領域と、一つの前記三次元オブジェクトの表示領域とを表示させ、
前記一つの三次元オブジェクトの表示領域内で、前記視点操作受付部で受け付けた操作に応じて、三次元オブジェクトを見る視点の位置、視点から見る視線の方向、並びに視点から三次元オブジェクトまでの距離若しくはズーム倍率をユーザの任意に変化させるプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【0008】
上述した課題を解決するべく、本発明では、運動する人及び／または物を撮影した動画像と、運動する当該人及び／または当該物を模した三次元オブジェクトとを同期させて表示し、ユーザに提示するためのシステムであって、前記動画像のデータを格納する動画像データ格納部と、前記三次元オブジェクトの運動を規定するデータを格納するモーションデータ格納部と、ユーザの手による、前記動画像におけるこれから表示させるべき時点を指定する操作を受け付ける再生操作受付部と、ユーザの手による、前記三次元オブジェクトを表示させる際の視点（三次元オブジェクトを見る視点の仮想空間内での位置、視線の方向、並びに三次元オブジェクトまでの距離若しくはズーム倍率）を指定する操作を受け付ける視点操作受付部と、前記動画像データ格納部に格納している動画像データ及び前記モーションデータ格納部に格納しているモーションデータを基に、前記動画像及び前記三次元オブジェクトを、同一の表示デバイスに、前記再生操作受付部で指定を受け付けた時点から、動画像及び動画像中の人及び／または物を模した三次元オブジェクトの運動を同期させて表示させ、かつその三次元オブジェクトを前記視点操作受付部で指定を受け付けた視点から見た状態で投影する出力制御部とを具備するインストラクションシステムを構成した。前記出力制御部は、前記表示デバイスに、一つの前記動画像の表示領域と、一つの前記三次元オブジェクトの表示領域とを表示させ、前記一つの三次元オブジェクトの表示領域内で、前記視点操作受付部で受け付けた操作に応じて、三次元オブジェクトを見る視点の位置、視点から見る視線の方向、並びに視点から三次元オブジェクトまでの距離若しくはズーム倍率をユーザの任意に変化させる。