知財求人 - 知財ポータルサイト「IP Force」
▶ 地方独立行政法人東京都立産業技術研究センターの特許一覧 ▶ 株式会社ケイズデザインラボの特許一覧
特許7066116人体形状モデル可視化システム、人体形状モデル可視化方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-02
(45)【発行日】2022-05-13
(54)【発明の名称】人体形状モデル可視化システム、人体形状モデル可視化方法およびプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20220506BHJP
G06F 3/01 20060101ALI20220506BHJP
G06F 3/0481 20220101ALI20220506BHJP
G06T 13/40 20110101ALI20220506BHJP
【ＦＩ】
G06T19/00 A
G06F3/01 570
G06F3/0481
G06T13/40
【請求項の数】
10
(21)【出願番号】P 2017227159
(22)【出願日】2017-11-27
(65)【公開番号】P2019096228
(43)【公開日】2019-06-20
【審査請求日】2020-10-28
(73)【特許権者】
【識別番号】506209422
【氏名又は名称】地方独立行政法人東京都立産業技術研究センター
(73)【特許権者】
【識別番号】510061221
【氏名又は名称】株式会社ケイズデザインラボ
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100134359
【弁理士】
【氏名又は名称】勝俣 智夫
(74)【代理人】
【識別番号】100192773
【弁理士】
【氏名又は名称】土屋 亮
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(72)【発明者】
【氏名】後濱 龍太
(72)【発明者】
【氏名】岸本 慎也
(72)【発明者】
【氏名】加藤 健太郎
(72)【発明者】
【氏名】横山 圭
(72)【発明者】
【氏名】島田 茂伸
【審査官】橘 高志
(56)【参考文献】
【文献】国際公開第２０１７／０９６４３６（ＷＯ，Ａ１）
【文献】国際公開第２０１６／０８００６６（ＷＯ，Ａ１）
【文献】自由行動下における連続血圧・姿勢の無拘束同時計測による血圧調節機序の解析，電子情報通信学会技術研究報告 Ｖｏｌ．９６ Ｎｏ．７５，1996年05月04日
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８１
Ｇ０６Ｔ １３／４０
(57)【特許請求の範囲】
【請求項1】
人体全身形状モデルデータと人体動作データと時間変化データとを取得するデータ登録部と、前記データ登録部が取得した時間変化データに基づいて、仮想空間における時間変化データの初期配置を決定する時間変化データ初期配置決定部と、
前記データ登録部が取得した人体全身形状モデルデータに基づいて、前記仮想空間における人体全身形状モデルの初期配置を決定する人体全身形状モデル初期配置決定部と、
前記データ登録部が取得した人体全身形状モデルデータと人体動作データとに基づいて生成されるストップモーションモデルの生成時点を決定するストップモーションモデル生成時点決定部と、
再生操作命令を送出する再生操作命令部と、
前記再生操作命令部が送出した再生操作命令に応じて、前記人体全身形状モデル初期配置決定部が決定した人体全身形状モデルの初期配置に、前記データ登録部が取得した人体動作データを適用することによって、アニメーションされた人体全身形状モデルを生成すると共に、再生開始からの時間経過を示すタイムラインを生成するアニメーション人体全身形状モデル生成部と、
前記ストップモーションモデル生成時点決定部が決定した生成時点に基づいて、ストップモーションモデル群を生成するストップモーションモデル群生成部と、
前記再生操作命令部が送出した再生操作命令と、前記時間変化データ初期配置決定部が決定した前記仮想空間における時間変化データの初期配置と、前記アニメーション人体全身形状モデル生成部が生成したアニメーションされた人体全身形状モデルおよびタイムラインと、前記ストップモーションモデル群生成部が生成したストップモーションモデル群とに基づいて、前記仮想空間における時間変化データの位置を示す時間変化データ位置情報と、前記仮想空間におけるアニメーションされた人体全身形状モデルの位置を示す人体全身形状モデル位置情報と、前記仮想空間におけるストップモーションモデル群の位置を示すストップモーションモデル群位置情報とを生成する配置移動部と、
前記配置移動部が生成する時間変化データ位置情報、人体全身形状モデル位置情報およびストップモーションモデル群位置情報と、利用者に映像を提示する映像提示部の位置および姿勢とに基づいて、前記映像提示部が利用者に提示する映像を生成する映像生成部とを備え、
時間変化データは、生理計測装置によって得られた筋電の時系列データを含み、
前記映像生成部は、再生開始からの時間経過を示すタイムライン上に、その時点における筋電の値と、その時点におけるアニメーションされた人体全身形状モデルとを配置し、
タイムライン上に配置されるアニメーションされた人体全身形状モデルは、その時点における人体の姿勢を示し、
前記映像提示部によって利用者に提示される映像には、時間の経過に伴って位置が変化するタイムライン上に配置されたアニメーションされた動作する人体全身形状モデルの動く像が含まれ、
スポーツコーチングに用いられる、
人体形状モデル可視化システム。
【請求項2】
前記ストップモーションモデル生成時点決定部は、設定ファイル、外部プログラムおよび前記映像提示部の利用者との対話的な操作の少なくともいずれかに基づいて、前記仮想空間におけるストップモーションモデルの生成間隔を決定する、
請求項１に記載の人体形状モデル可視化システム。
【請求項3】
前記ストップモーションモデル生成時点決定部は、人体動作データからルールベースに抽出された時点を、前記仮想空間におけるストップモーションモデルの生成時点として決定する、
請求項１または請求項２に記載の人体形状モデル可視化システム。
【請求項4】
前記再生操作命令部が順方向の再生操作命令を送出した場合に、前記配置移動部は、アニメーションされた人体全身形状モデルと再生開始からの時間経過を示すタイムラインとを右向きに移動させる、もしくは、時間変化データの波形と前記ストップモーションモデル群生成部が生成したストップモーションモデル群とを左向きに移動させる、
請求項１から請求項３のいずれか一項に記載の人体形状モデル可視化システム。
【請求項5】
前記データ登録部が取得する人体全身形状モデルデータは、人物を模して作成された形状モデルデータ、あるいは、形状計測機によって得られた点群データを変換することにより得られた形状モデルデータである、
請求項１から請求項４のいずれか一項に記載の人体形状モデル可視化システム。
【請求項6】
前記データ登録部が取得する人体動作データは、人体動作計測装置によって得られた時系列データである、
請求項１から請求項５のいずれか一項に記載の人体形状モデル可視化システム。
【請求項7】
前記データ登録部が取得する時間変化データは、外部プログラムによって得られた時系列データである、
請求項１に記載の人体形状モデル可視化システム。
【請求項8】
前記再生操作命令部は、前記映像提示部の利用者の操作に応じて、および／または、外部プログラムからのコマンドに応じて再生操作命令を送出し、
前記再生操作命令部が送出する再生操作命令には、順方向の再生操作命令、逆方向の再生操作命令、順方向の微速度再生操作命令、逆方向の微速度再生操作命令、順方向の増速再生操作命令、逆方向の増速再生操作命令、一時停止命令、停止命令およびループ再生命令の少なくともいずれかが含まれる、
請求項１に記載の人体形状モデル可視化システム。
【請求項9】
人体全身形状モデルデータと人体動作データと時間変化データとを取得するデータ登録ステップと、
前記データ登録ステップにおいて取得された時間変化データに基づいて、仮想空間における時間変化データの初期配置を決定する時間変化データ初期配置決定ステップと、
前記データ登録ステップにおいて取得された人体全身形状モデルデータに基づいて、前記仮想空間における人体全身形状モデルの初期配置を決定する人体全身形状モデル初期配置決定ステップと、
前記データ登録ステップにおいて取得された人体全身形状モデルデータと人体動作データとに基づいて生成されるストップモーションモデルの生成時点を決定するストップモーションモデル生成時点決定ステップと、
再生操作命令を送出する再生操作命令ステップと、
前記再生操作命令ステップにおいて送出された再生操作命令に応じて、前記人体全身形状モデル初期配置決定ステップにおいて決定された人体全身形状モデルの初期配置に、前記データ登録ステップにおいて取得された人体動作データを適用することによって、アニメーションされた人体全身形状モデルを生成すると共に、再生開始からの時間経過を示すタイムラインを生成するアニメーション人体全身形状モデル生成ステップと、
前記ストップモーションモデル生成時点決定ステップにおいて決定された生成時点に基づいて、ストップモーションモデル群を生成するストップモーションモデル群生成ステップと、
前記再生操作命令ステップにおいて送出された再生操作命令と、前記時間変化データ初期配置決定ステップにおいて決定された前記仮想空間における時間変化データの初期配置と、前記アニメーション人体全身形状モデル生成ステップにおいて生成されたアニメーションされた人体全身形状モデルおよびタイムラインと、前記ストップモーションモデル群生成ステップにおいて生成されたストップモーションモデル群とに基づいて、前記仮想空間における時間変化データの位置を示す時間変化データ位置情報と、前記仮想空間におけるアニメーションされた人体全身形状モデルの位置を示す人体全身形状モデル位置情報と、前記仮想空間におけるストップモーションモデル群の位置を示すストップモーションモデル群位置情報とを生成する配置移動ステップと、
前記配置移動ステップにおいて生成される時間変化データ位置情報、人体全身形状モデル位置情報およびストップモーションモデル群位置情報と、利用者に映像を提示する映像提示部の位置および姿勢とに基づいて、前記映像提示部が利用者に提示する映像を生成する映像生成ステップとを備え、
時間変化データは、生理計測装置によって得られた筋電の時系列データを含み、
前記映像生成ステップでは、再生開始からの時間経過を示すタイムライン上に、その時点における筋電の値と、その時点におけるアニメーションされた人体全身形状モデルとが配置され、
タイムライン上に配置されるアニメーションされた人体全身形状モデルは、その時点における人体の姿勢を示し、
前記映像提示部によって利用者に提示される映像には、時間の経過に伴って位置が変化するタイムライン上に配置されたアニメーションされた動作する人体全身形状モデルの動く像が含まれ、
スポーツコーチングに用いられる、
人体形状モデル可視化方法。
【請求項10】
コンピュータに、
人体全身形状モデルデータと人体動作データと時間変化データとを取得するデータ登録ステップと、
前記データ登録ステップにおいて取得された時間変化データに基づいて、仮想空間における時間変化データの初期配置を決定する時間変化データ初期配置決定ステップと、
前記データ登録ステップにおいて取得された人体全身形状モデルデータに基づいて、前記仮想空間における人体全身形状モデルの初期配置を決定する人体全身形状モデル初期配置決定ステップと、
前記データ登録ステップにおいて取得された人体全身形状モデルデータと人体動作データとに基づいて生成されるストップモーションモデルの生成時点を決定するストップモーションモデル生成時点決定ステップと、
再生操作命令を送出する再生操作命令ステップと、
前記再生操作命令ステップにおいて送出された再生操作命令に応じて、前記人体全身形状モデル初期配置決定ステップにおいて決定された人体全身形状モデルの初期配置に、前記データ登録ステップにおいて取得された人体動作データを適用することによって、アニメーションされた人体全身形状モデルを生成すると共に、再生開始からの時間経過を示すタイムラインを生成するアニメーション人体全身形状モデル生成ステップと、
前記ストップモーションモデル生成時点決定ステップにおいて決定された生成時点に基づいて、ストップモーションモデル群を生成するストップモーションモデル群生成ステップと、
前記再生操作命令ステップにおいて送出された再生操作命令と、前記時間変化データ初期配置決定ステップにおいて決定された前記仮想空間における時間変化データの初期配置と、前記アニメーション人体全身形状モデル生成ステップにおいて生成されたアニメーションされた人体全身形状モデルおよびタイムラインと、前記ストップモーションモデル群生成ステップにおいて生成されたストップモーションモデル群とに基づいて、前記仮想空間における時間変化データの位置を示す時間変化データ位置情報と、前記仮想空間におけるアニメーションされた人体全身形状モデルの位置を示す人体全身形状モデル位置情報と、前記仮想空間におけるストップモーションモデル群の位置を示すストップモーションモデル群位置情報とを生成する配置移動ステップと、
前記配置移動ステップにおいて生成される時間変化データ位置情報、人体全身形状モデル位置情報およびストップモーションモデル群位置情報と、利用者に映像を提示する映像提示部の位置および姿勢とに基づいて、前記映像提示部が利用者に提示する映像を生成する映像生成ステップと
を実行させるためのプログラムであって、
時間変化データは、生理計測装置によって得られた筋電の時系列データを含み、
前記映像生成ステップでは、再生開始からの時間経過を示すタイムライン上に、その時点における筋電の値と、その時点におけるアニメーションされた人体全身形状モデルとが配置され、
タイムライン上に配置されるアニメーションされた人体全身形状モデルは、その時点における人体の姿勢を示し、
前記映像提示部によって利用者に提示される映像には、時間の経過に伴って位置が変化するタイムライン上に配置されたアニメーションされた動作する人体全身形状モデルの動く像が含まれ、
スポーツコーチングに用いられる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人体形状モデル可視化システム、人体形状モデル可視化方法およびプログラムに関する。
【背景技術】
【0002】
仮想現実感技術の産業応用に関する研究開発は２０年以上の歴史がある。２０００年代前半までは、ヘッドマウントディスプレイ（ＨＭＤ）などの提示機器が高価だったこともあり、発電所や石油化学プラントのメンテナンスといったミッションクリティカルな状況に習熟するための訓練シミュレータとしての研究が行われた。
近年、ＨＭＤの低価格化（数百ドル～一千ドル）とコンシューマ向けＰＣのグラフィックス処理能力の向上を背景に、ＸＲ技術（ＸＲ技術とは、仮想現実感技術の流れに位置づけられるVirtual Reality（ＶＲ）、Augmented Reality（ＡＲ）、Mixed Reality（ＭＲ）などの技術の総称である。）の応用範囲が前述のミッションクリティカルな状況から、より広い産業へ拡大し「２０１６年はＶＲ元年」という報道もなされた。例えば米国ではＸＲ技術の応用がスポーツ観戦（３６０度動画の配信）、メディア、報道、建築ビジュアライゼーション、ゲームエンターテイメントの分野へ拡大している。日本では住宅展示場や結婚式場がＨＭＤを用いて３６０度動画で下見を行うサービスを提供している。調査によればＸＲ関連ソフトウェア市場は２０１６年度８６億円であり、２０２１年度には１０６５億円への成長が予測されており、適用範囲は今後も拡大するものと思われる。
近年、ＨＭＤの低価格化（数百ドル～一千ドル）とコンシューマ向けＰＣのグラフィックス処理能力の向上を背景に、ＸＲ技術（ＸＲ技術とは、仮想現実感技術の流れに位置づけられるVirtual Reality（ＶＲ）、Augmented Reality（ＡＲ）、Mixed Reality（ＭＲ）などの技術の総称である。）の応用範囲が前述のミッションクリティカルな状況から、より広い産業へ拡大し「２０１６年はＶＲ元年」という報道もなされた。例えば米国ではＸＲ技術の応用がスポーツ観戦（３６０度動画の配信）、メディア、報道、建築ビジュアライゼーション、ゲームエンターテイメントの分野へ拡大している。日本では住宅展示場や結婚式場がＨＭＤを用いて３６０度動画で下見を行うサービスを提供している。調査によればＸＲ関連ソフトウェア市場は２０１６年度８６億円であり、２０２１年度には１０６５億円への成長が予測されており、適用範囲は今後も拡大するものと思われる。
【0003】
ところでスポーツコーチング理論では、総論としてのコーチング学と、各論としてのスポーツ専門科目の両者を体系的に理解し実践することが重要であるとされている。例えば陸上トラック競技における「スタート動作」、バスケットボール競技における「リバウンド動作」、跳び箱における「踏切動作」といった具合に、科目ごとの着目すべき動作をコーチ（＝研究者）が抽出し、当該動作の質を測る定量的な指標を作成または選定し、介入前後での指標値の変化を評価することが行なわれている。
スポーツコーチング学は「運動学」「形態学」「運動生理学」「統計学」の研究領域に分けることができ、運動計測はモーションキャプチャや高速度カメラ、形態計測はマルチン計測器や非接触寸法計測装置、生理情報には生理計測が対応する。
日本コーチング学会がインターネットで公開している学会誌「コーチング学研究」の過去５年分を調査したところ、特徴的な動作はコーチ（＝研究者）が科目ごとや選手ごとにいわば職人的な観察力で見出しており、標準動作といったものは定義されていなかった。
従ってコーチングの場面では、職人的な観察力で抽出した動作に着目して各種データを計測し、そのデータを選手との共通言語とすべく可視化する必要がある。
スポーツコーチング学は「運動学」「形態学」「運動生理学」「統計学」の研究領域に分けることができ、運動計測はモーションキャプチャや高速度カメラ、形態計測はマルチン計測器や非接触寸法計測装置、生理情報には生理計測が対応する。
日本コーチング学会がインターネットで公開している学会誌「コーチング学研究」の過去５年分を調査したところ、特徴的な動作はコーチ（＝研究者）が科目ごとや選手ごとにいわば職人的な観察力で見出しており、標準動作といったものは定義されていなかった。
従ってコーチングの場面では、職人的な観察力で抽出した動作に着目して各種データを計測し、そのデータを選手との共通言語とすべく可視化する必要がある。
【0004】
運動の可視化は、古くは写真銃を発明して連続写真を作成したマレー（仏、１８３０－１９０４）に遡ることができる。
図９はマレーの写真銃によって撮影された連続写真を説明するための図である。図９に示す例では、可視化の視点を後から変更することができない。
図９はマレーの写真銃によって撮影された連続写真を説明するための図である。図９に示す例では、可視化の視点を後から変更することができない。
【0005】
そして今日に至るまで、運動や計測情報の可視化手法は２次元ディスプレイを前提に設計されている。製品としてはADInstruments社による映像・生理計測データの可視化ソフトウェアLabChartが公知であり、広く使われている。このソフトウェアを用いることによって、映像と生理計測データを同期して再生できる。しかし、このソフトウェアを用いた場合には、映像と生理情報とが別々のウインドウで描画されるため、利用者が動作と生理情報を同時に注視するには大変な努力を要し、分かりやすい表示とは言い難い。
【0006】
また従来、コンピュータ生成された３次元オブジェクトとフィルムカメラからの映像フィードとをリアルタイムに混合または合成する方法が知られている（例えば特許文献１参照）。特許文献１に記載された方法では、フィルムカメラのボディが、３次元に移動可能である。また、カメラ内またはカメラに取り付けられたセンサが、カメラの３次元位置または３次元向きを定義する、または３次元位置を算出可能にするリアルタイム位置データを提供する。一方、特許文献１には、運動分析や生理計測データの可視化を効率的に行うための手段について記載されていない。
【先行技術文献】
【特許文献】
【0007】
【文献】特表２０１５－５２１４１９号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は上記事情に鑑みてなされたものであり、運動および運動に関係する時間変化データをわかりやすく提示することができる人体形状モデル可視化システム、人体形状モデル可視化方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明は、上記課題を解決するため、以下の手段を提供する。
【0010】
（１）本発明の一態様に係る人体形状モデル可視化システムは、人体全身形状モデルデータと人体動作データと時間変化データとを取得するデータ登録部と、前記データ登録部が取得した時間変化データに基づいて、仮想空間における時間変化データの初期配置を決定する時間変化データ初期配置決定部と、前記データ登録部が取得した人体全身形状モデルデータに基づいて、前記仮想空間における人体全身形状モデルの初期配置を決定する人体全身形状モデル初期配置決定部と、前記データ登録部が取得した人体全身形状モデルデータと人体動作データとに基づいて生成されるストップモーションモデルの生成時点を決定するストップモーションモデル生成時点決定部と、再生操作命令を送出する再生操作命令部と、前記再生操作命令部が送出した再生操作命令に応じて、前記人体全身形状モデル初期配置決定部が決定した人体全身形状モデルの初期配置に、前記データ登録部が取得した人体動作データを適用することによって、アニメーションされた人体全身形状モデルを生成すると共に、再生開始からの時間経過を示すタイムラインを生成するアニメーション人体全身形状モデル生成部と、前記ストップモーションモデル生成時点決定部が決定した生成時点に基づいて、ストップモーションモデル群を生成するストップモーションモデル群生成部と、前記再生操作命令部が送出した再生操作命令と、前記時間変化データ初期配置決定部が決定した前記仮想空間における時間変化データの初期配置と、前記アニメーション人体全身形状モデル生成部が生成したアニメーションされた人体全身形状モデルおよびタイムラインと、前記ストップモーションモデル群生成部が生成したストップモーションモデル群とに基づいて、前記仮想空間における時間変化データの位置を示す時間変化データ位置情報と、前記仮想空間におけるアニメーションされた人体全身形状モデルの位置を示す人体全身形状モデル位置情報と、前記仮想空間におけるストップモーションモデル群の位置を示すストップモーションモデル群位置情報とを生成する配置移動部と、前記配置移動部が生成する時間変化データ位置情報、人体全身形状モデル位置情報およびストップモーションモデル群位置情報と、利用者に映像を提示する映像提示部の位置および姿勢とに基づいて、前記映像提示部が利用者に提示する映像を生成する映像生成部とを備える。
【0011】
（２）上記（１）に記載の人体形状モデル可視化システムにおいて、時間変化データは、生理計測装置によって得られた時系列の生理計測データであり、前記映像生成部は、再生開始からの時間経過を示すタイムライン上に、その時点における生理計測データの値（グラフ）と、その時点におけるアニメーションされた人体全身形状モデルとを配置し、タイムライン上に配置されるアニメーションされた人体全身形状モデルは、その時点における人体の姿勢を示してもよい。
【0012】
（３）上記（１）または（２）に記載の人体形状モデル可視化システムにおいて、前記ストップモーションモデル生成時点決定部は、設定ファイル、外部プログラムおよび前記映像提示部の利用者との対話的な操作の少なくともいずれかに基づいて、前記仮想空間におけるストップモーションモデルの生成間隔を決定してもよい。
【0013】
（４）上記（１）から（３）のいずれか一つに記載の人体形状モデル可視化システムにおいて、前記ストップモーションモデル生成時点決定部は、人体動作データからルールベースに抽出された時点を、前記仮想空間におけるストップモーションモデルの生成時点として決定してもよい。
【0014】
（５）上記（１）から（４）のいずれか一つに記載の人体形状モデル可視化システムにおいて、前記再生操作命令部が順方向の再生操作命令を送出した場合に、前記配置移動部は、アニメーションされた人体全身形状モデルと再生開始からの時間経過を示すタイムラインとを右向きに移動させる、もしくは、時間変化データの波形と前記ストップモーションモデル群生成部が生成したストップモーションモデル群とを左向きに移動させてもよい。
【0015】
（６）上記（１）から（５）のいずれか一つに記載の人体形状モデル可視化システムにおいて、前記データ登録部が取得する人体全身形状モデルデータは、人物を模して作成された形状モデルデータ、あるいは、形状計測機によって得られた点群データを変換することにより得られた形状モデルデータであってもよい。
【0016】
（７）上記（１）から（６）のいずれか一つに記載の人体形状モデル可視化システムにおいて、前記データ登録部が取得する人体動作データは、人体動作計測装置によって得られた時系列データであってもよい。
【0017】
（８）上記（１）に記載の人体形状モデル可視化システムにおいて、前記データ登録部が取得する時間変化データは、外部プログラムによって得られた時系列データであってもよい。
【0018】
（９）上記（１）に記載の人体形状モデル可視化システムにおいて、前記再生操作命令部は、前記映像提示部の利用者の操作に応じて、および／または、外部プログラムからのコマンドに応じて再生操作命令を送出し、前記再生操作命令部が送出する再生操作命令には、順方向の再生操作命令、逆方向の再生操作命令、順方向の微速度再生操作命令、逆方向の微速度再生操作命令、順方向の増速再生操作命令、逆方向の増速再生操作命令、一時停止命令、停止命令およびループ再生命令の少なくともいずれかが含まれてもよい。
【0019】
（１０）本発明の一態様に係る人体形状モデル可視化方法は、人体全身形状モデルデータと人体動作データと時間変化データとを取得するデータ登録ステップと、前記データ登録ステップにおいて取得された時間変化データに基づいて、仮想空間における時間変化データの初期配置を決定する時間変化データ初期配置決定ステップと、前記データ登録ステップにおいて取得された人体全身形状モデルデータに基づいて、前記仮想空間における人体全身形状モデルの初期配置を決定する人体全身形状モデル初期配置決定ステップと、前記データ登録ステップにおいて取得された人体全身形状モデルデータと人体動作データとに基づいて生成されるストップモーションモデルの生成時点を決定するストップモーションモデル生成時点決定ステップと、再生操作命令を送出する再生操作命令ステップと、前記再生操作命令ステップにおいて送出された再生操作命令に応じて、前記人体全身形状モデル初期配置決定ステップにおいて決定された人体全身形状モデルの初期配置に、前記データ登録ステップにおいて取得された人体動作データを適用することによって、アニメーションされた人体全身形状モデルを生成すると共に、再生開始からの時間経過を示すタイムラインを生成するアニメーション人体全身形状モデル生成ステップと、前記ストップモーションモデル生成時点決定ステップにおいて決定された生成時点に基づいて、ストップモーションモデル群を生成するストップモーションモデル群生成ステップと、前記再生操作命令ステップにおいて送出された再生操作命令と、前記時間変化データ初期配置決定ステップにおいて決定された前記仮想空間における時間変化データの初期配置と、前記アニメーション人体全身形状モデル生成ステップにおいて生成されたアニメーションされた人体全身形状モデルおよびタイムラインと、前記ストップモーションモデル群生成ステップにおいて生成されたストップモーションモデル群とに基づいて、前記仮想空間における時間変化データの位置を示す時間変化データ位置情報と、前記仮想空間におけるアニメーションされた人体全身形状モデルの位置を示す人体全身形状モデル位置情報と、前記仮想空間におけるストップモーションモデル群の位置を示すストップモーションモデル群位置情報とを生成する配置移動ステップと、前記配置移動ステップにおいて生成される時間変化データ位置情報、人体全身形状モデル位置情報およびストップモーションモデル群位置情報と、利用者に映像を提示する映像提示部の位置および姿勢とに基づいて、前記映像提示部が利用者に提示する映像を生成する映像生成ステップとを備える。
【0020】
（１１）本発明の一態様に係るプログラムは、コンピュータに、人体全身形状モデルデータと人体動作データと時間変化データとを取得するデータ登録ステップと、前記データ登録ステップにおいて取得された時間変化データに基づいて、仮想空間における時間変化データの初期配置を決定する時間変化データ初期配置決定ステップと、前記データ登録ステップにおいて取得された人体全身形状モデルデータに基づいて、前記仮想空間における人体全身形状モデルの初期配置を決定する人体全身形状モデル初期配置決定ステップと、前記データ登録ステップにおいて取得された人体全身形状モデルデータと人体動作データとに基づいて生成されるストップモーションモデルの生成時点を決定するストップモーションモデル生成時点決定ステップと、再生操作命令を送出する再生操作命令ステップと、前記再生操作命令ステップにおいて送出された再生操作命令に応じて、前記人体全身形状モデル初期配置決定ステップにおいて決定された人体全身形状モデルの初期配置に、前記データ登録ステップにおいて取得された人体動作データを適用することによって、アニメーションされた人体全身形状モデルを生成すると共に、再生開始からの時間経過を示すタイムラインを生成するアニメーション人体全身形状モデル生成ステップと、前記ストップモーションモデル生成時点決定ステップにおいて決定された生成時点に基づいて、ストップモーションモデル群を生成するストップモーションモデル群生成ステップと、前記再生操作命令ステップにおいて送出された再生操作命令と、前記時間変化データ初期配置決定ステップにおいて決定された前記仮想空間における時間変化データの初期配置と、前記アニメーション人体全身形状モデル生成ステップにおいて生成されたアニメーションされた人体全身形状モデルおよびタイムラインと、前記ストップモーションモデル群生成ステップにおいて生成されたストップモーションモデル群とに基づいて、前記仮想空間における時間変化データの位置を示す時間変化データ位置情報と、前記仮想空間におけるアニメーションされた人体全身形状モデルの位置を示す人体全身形状モデル位置情報と、前記仮想空間におけるストップモーションモデル群の位置を示すストップモーションモデル群位置情報とを生成する配置移動ステップと、前記配置移動ステップにおいて生成される時間変化データ位置情報、人体全身形状モデル位置情報およびストップモーションモデル群位置情報と、利用者に映像を提示する映像提示部の位置および姿勢とに基づいて、前記映像提示部が利用者に提示する映像を生成する映像生成ステップとを実行させるためのものである。
【発明の効果】
【0021】
本発明によれば、運動および運動に関係する時間変化データをわかりやすく提示することができる人体形状モデル可視化システム、人体形状モデル可視化方法およびプログラムを提供することができる。
【図面の簡単な説明】
【0022】
【図1】実施形態の人体形状モデル可視化システムの構成などの一例を示す図である。
【図2】映像生成部が生成した映像を説明するための図である。
【図3】映像生成部が生成した時刻ｔ５の時点の映像を説明するための図である。
【図4】映像生成部が生成した再生完了時点の映像を説明するための図である。
【図5】映像提示部が利用者に提示する再生開始直前の映像を説明するための図である。
【図6】映像提示部が利用者に提示する再生開始直前の他の映像を説明するための図である。
【図7】映像提示部が利用者に提示する他の映像を説明するための図である。
【図8】人体形状モデル可視化システムによって実行される処理を説明するためのフローチャートである。
【図9】マレーの写真銃によって撮影された連続写真を説明するための図である。
【発明を実施するための形態】
【0023】
以下、本発明の人体形状モデル可視化システム、人体形状モデル可視化方法およびプログラムの実施形態を、図を適宜参照しながら詳細に説明する。以下の説明で用いる図面は、本発明の特徴を分かりやすくするために、便宜上特徴となる部分を拡大して示している場合があり、各構成要素の寸法比率等は実際とは異なっていることがある。以下の説明において例示される材料、寸法等は一例であって、本発明はそれらに限定されるものではなく、本発明の効果を奏する範囲で適宜変更して実施することが可能である。
【0024】
図１は実施形態の人体形状モデル可視化システム１の構成などの一例を示す図である。
図１に示す例では、人体全身形状モデルデータ１１０と、人体動作データ１２０と、時間変化データ１３０とが、ＡＮＤ演算部１５０を介して人体形状モデル可視化システム１に入力可能に構成されている。
人体形状モデル可視化システム１に入力される人体全身形状モデルデータ１１０は、例えば、人物を模して作成された形状モデルデータである。
他の例では、人体形状モデル可視化システム１に入力される人体全身形状モデルデータ１１０が、デジタイザなどの形状計測機（図示せず）によって得られた点群データを変換することにより得られた形状モデルデータであってもよい。
図１に示す例では、人体全身形状モデルデータ１１０と、人体動作データ１２０と、時間変化データ１３０とが、ＡＮＤ演算部１５０を介して人体形状モデル可視化システム１に入力可能に構成されている。
人体形状モデル可視化システム１に入力される人体全身形状モデルデータ１１０は、例えば、人物を模して作成された形状モデルデータである。
他の例では、人体形状モデル可視化システム１に入力される人体全身形状モデルデータ１１０が、デジタイザなどの形状計測機（図示せず）によって得られた点群データを変換することにより得られた形状モデルデータであってもよい。
【0025】
図１に示す例では、人体形状モデル可視化システム１に入力される人体動作データ１２０は、例えば、人体動作計測装置（図示せず）によって得られた各関節角度などの時系列データである。
人体形状モデル可視化システム１に入力される時間変化データ１３０は、例えば、外部プログラムによって得られた時系列データである。外部プログラムによって得られた時系列データは、例えば、生理計測装置によって得られた時系列の生理計測データである。生理計測装置によって得られた時系列の生理計測データとしては、例えば、筋電、心拍、呼吸代謝、消費カロリーなどの時系列データがある。
他の例では、時間変化データ１３０として、人体動作データおよび時間変化データの被計測者が、その計測最中において、携帯型端末（図示せず）を用いて記録した運動中の気分の状態などを示すデータを人体形状モデル可視化システム１に入力してもよい。
人体形状モデル可視化システム１に入力される時間変化データ１３０は、例えば、外部プログラムによって得られた時系列データである。外部プログラムによって得られた時系列データは、例えば、生理計測装置によって得られた時系列の生理計測データである。生理計測装置によって得られた時系列の生理計測データとしては、例えば、筋電、心拍、呼吸代謝、消費カロリーなどの時系列データがある。
他の例では、時間変化データ１３０として、人体動作データおよび時間変化データの被計測者が、その計測最中において、携帯型端末（図示せず）を用いて記録した運動中の気分の状態などを示すデータを人体形状モデル可視化システム１に入力してもよい。
【0026】
図１に示す例では、映像提示部２００が、人体全身形状モデルデータ１１０と、人体動作データ１２０とに基づいて、人体形状モデル可視化システム１によって生成されたアニメーションされた人体全身形状モデル（動作する人体全身形状モデルの動く像）の映像を、人体形状モデル可視化システム１および映像提示部２００の利用者に提示する。
また、映像提示部２００は、人体全身形状モデルデータ１１０と、人体動作データ１２０とに基づいて、人体形状モデル可視化システム１によって生成されたストップモーションモデル（動作する人体全身形状モデルを所定のタイミングで静止させたもの）の映像を利用者に提示する。
また、映像提示部２００は、時間変化データ１３０に基づいて人体形状モデル可視化システム１によって生成された時間変化データの波形の映像を利用者に提示する。
映像提示部２００は、例えば公知のＶＲ（Virtual Reality）デバイスまたはＡＲ（Augmented Reality）デバイスである。人体形状モデル可視化システム１には、映像提示部２００の位置および姿勢の情報が入力される。映像提示部２００を着用する利用者の位置または姿勢の変化に伴って、映像提示部２００の位置または姿勢が変化すると、映像提示部２００が利用者に提示する映像のアングルなどが変化する。
映像提示部２００の位置および姿勢を検出するためには、例えば、外部センサを利用するＶＲ用トラッキング技術「Lighthouse」、内蔵カメラを利用するＳＬＡＭ（Simultaneous Localization and Mapping）などの技術が用いられる。
また、映像提示部２００は、人体全身形状モデルデータ１１０と、人体動作データ１２０とに基づいて、人体形状モデル可視化システム１によって生成されたストップモーションモデル（動作する人体全身形状モデルを所定のタイミングで静止させたもの）の映像を利用者に提示する。
また、映像提示部２００は、時間変化データ１３０に基づいて人体形状モデル可視化システム１によって生成された時間変化データの波形の映像を利用者に提示する。
映像提示部２００は、例えば公知のＶＲ（Virtual Reality）デバイスまたはＡＲ（Augmented Reality）デバイスである。人体形状モデル可視化システム１には、映像提示部２００の位置および姿勢の情報が入力される。映像提示部２００を着用する利用者の位置または姿勢の変化に伴って、映像提示部２００の位置または姿勢が変化すると、映像提示部２００が利用者に提示する映像のアングルなどが変化する。
映像提示部２００の位置および姿勢を検出するためには、例えば、外部センサを利用するＶＲ用トラッキング技術「Lighthouse」、内蔵カメラを利用するＳＬＡＭ（Simultaneous Localization and Mapping）などの技術が用いられる。
【0027】
図１に示す例では、人体形状モデル可視化システム１が、データ登録部１Ａと、時間変化データ初期配置決定部１Ｂと、人体全身形状モデル初期配置決定部１Ｃと、ストップモーションモデル生成時点決定部１Ｄと、再生操作命令部１Ｅと、アニメーション人体全身形状モデル生成部１Ｆと、ストップモーションモデル群生成部１Ｇと、配置移動部１Ｈと、映像生成部１Ｉとを備える。
データ登録部１Ａは、人体形状モデル可視化システム１に入力された人体全身形状モデルデータ１１０と人体動作データ１２０と時間変化データ１３０とを取得する。
データ登録部１Ａは、人体形状モデル可視化システム１に入力された人体全身形状モデルデータ１１０と人体動作データ１２０と時間変化データ１３０とを取得する。
【0028】
時間変化データ初期配置決定部１Ｂは、データ登録部１Ａに接続されている。時間変化データ初期配置決定部１Ｂは、データ登録部１Ａが取得した時間変化データ１３０に基づいて、仮想空間における時間変化データの初期配置を決定する。仮想空間とは、ＶＲデバイスまたはＡＲデバイスのディスプレイに表示される空間である。
つまり、時間変化データ初期配置決定部１Ｂは、ＶＲデバイスまたはＡＲデバイスのディスプレイに表示される空間における時間変化データの波形の初期位置（詳細には、例えば時刻ｔ０の時間変化データの波形の値の表示位置）を決定する。
つまり、時間変化データ初期配置決定部１Ｂは、ＶＲデバイスまたはＡＲデバイスのディスプレイに表示される空間における時間変化データの波形の初期位置（詳細には、例えば時刻ｔ０の時間変化データの波形の値の表示位置）を決定する。
【0029】
人体全身形状モデル初期配置決定部１Ｃは、データ登録部１Ａに接続されている。人体全身形状モデル初期配置決定部１Ｃは、データ登録部１Ａが取得した人体全身形状モデルデータ１１０に基づいて、仮想空間における人体全身形状モデルの初期配置を決定する。
つまり、人体全身形状モデル初期配置決定部１Ｃは、ＶＲデバイスまたはＡＲデバイスのディスプレイに表示される空間における人体全身形状モデルの初期位置（詳細には、例えば時刻ｔ０の人体全身形状モデルの表示位置）を決定する。
つまり、人体全身形状モデル初期配置決定部１Ｃは、ＶＲデバイスまたはＡＲデバイスのディスプレイに表示される空間における人体全身形状モデルの初期位置（詳細には、例えば時刻ｔ０の人体全身形状モデルの表示位置）を決定する。
【0030】
ストップモーションモデル生成時点決定部１Ｄは、データ登録部１Ａに接続されている。ストップモーションモデル生成時点決定部１Ｄは、データ登録部１Ａが取得した人体全身形状モデルデータ１１０と人体動作データ１２０とに基づいて生成されるストップモーションモデルの生成時点（例えば時刻ｔ０、ｔ１、ｔ２など）を決定する。
ストップモーションモデル生成時点決定部１Ｄは、例えば設定ファイルに基づいてストップモーションモデルの生成間隔（例えば生成間隔ｔ１－ｔ０、ｔ２－ｔ１など）を決定する。
他の例では、ストップモーションモデル生成時点決定部１Ｄが、外部プログラムに基づいてストップモーションモデルの生成間隔を決定してもよく、利用者との対話（例えば利用者のリクエスト）的な操作に基づいてストップモーションモデルの生成間隔を決定してもよい。
あるいは、ストップモーションモデル生成時点決定部１Ｄが、人体動作データ１２０からルールベースに抽出された時点を、ストップモーションモデルの生成時点として決定してもよい。
ストップモーションモデル生成時点決定部１Ｄが、それらを組み合わせて、ストップモーションモデルの生成間隔を決定してもよい。
ストップモーションモデル生成時点決定部１Ｄは、例えば設定ファイルに基づいてストップモーションモデルの生成間隔（例えば生成間隔ｔ１－ｔ０、ｔ２－ｔ１など）を決定する。
他の例では、ストップモーションモデル生成時点決定部１Ｄが、外部プログラムに基づいてストップモーションモデルの生成間隔を決定してもよく、利用者との対話（例えば利用者のリクエスト）的な操作に基づいてストップモーションモデルの生成間隔を決定してもよい。
あるいは、ストップモーションモデル生成時点決定部１Ｄが、人体動作データ１２０からルールベースに抽出された時点を、ストップモーションモデルの生成時点として決定してもよい。
ストップモーションモデル生成時点決定部１Ｄが、それらを組み合わせて、ストップモーションモデルの生成間隔を決定してもよい。
【0031】
図１に示す例では、再生操作命令部１Ｅが、再生操作命令を送出する。再生操作命令とは、上述したアニメーションされた人体全身形状モデル（動作する人体全身形状モデルの動く像）などの再生操作を指示する命令である。
再生操作命令部１Ｅは、人体形状モデル可視化システム１および映像提示部２００の利用者の操作に応じて再生操作命令を送出する。
他の例（例えば人体形状モデル可視化システム１がアーカイブ鑑賞システムに組み込まれる場合）では、再生操作命令部１Ｅが、外部プログラムからのコマンドに応じて再生操作命令を送出してもよい。再生操作命令部１Ｅが、利用者の操作および外部プログラムからのコマンドの両方に応じて再生操作命令を送出してもよい。
再生操作命令部１Ｅは、人体形状モデル可視化システム１および映像提示部２００の利用者の操作に応じて再生操作命令を送出する。
他の例（例えば人体形状モデル可視化システム１がアーカイブ鑑賞システムに組み込まれる場合）では、再生操作命令部１Ｅが、外部プログラムからのコマンドに応じて再生操作命令を送出してもよい。再生操作命令部１Ｅが、利用者の操作および外部プログラムからのコマンドの両方に応じて再生操作命令を送出してもよい。
【0032】
図１に示す例では、再生操作命令部１Ｅが送出する再生操作命令に、例えば、順方向の再生操作命令と、逆方向の再生操作命令と、順方向の微速度再生操作命令と、逆方向の微速度再生操作命令と、順方向の増速再生操作命令と、逆方向の増速再生操作命令と、一時停止命令と、停止命令と、ループ再生命令とが含まれる。
他の例では、再生操作命令部１Ｅが送出する再生操作命令に、上述した命令の少なくともいずれかが含まれる。
他の例では、再生操作命令部１Ｅが送出する再生操作命令に、上述した命令の少なくともいずれかが含まれる。
【0033】
図１に示す例では、アニメーション人体全身形状モデル生成部１Ｆが、人体全身形状モデル初期配置決定部１Ｃと、再生操作命令部１Ｅとに接続されている。
アニメーション人体全身形状モデル生成部１Ｆは、再生操作命令部１Ｅが送出した再生操作命令に応じて、人体全身形状モデルの初期配置に人体動作データ１２０を適用することによって、アニメーションされた人体全身形状モデル（動作する人体全身形状モデルの動く像）を生成する。アニメーションされた人体全身形状モデルは、後述するように、ＶＲデバイスまたはＡＲデバイスのディスプレイに表示される。
また、アニメーション人体全身形状モデル生成部１Ｆは、再生開始からの時間経過を示すタイムラインを生成する。タイムラインは、後述するように、ＶＲデバイスまたはＡＲデバイスのディスプレイに表示される。また、ＶＲデバイスまたはＡＲデバイスのディスプレイに表示される仮想空間におけるタイムラインの位置は、再生開始後の時間の経過に伴って変化する。
アニメーション人体全身形状モデル生成部１Ｆは、再生操作命令部１Ｅが送出した再生操作命令に応じて、人体全身形状モデルの初期配置に人体動作データ１２０を適用することによって、アニメーションされた人体全身形状モデル（動作する人体全身形状モデルの動く像）を生成する。アニメーションされた人体全身形状モデルは、後述するように、ＶＲデバイスまたはＡＲデバイスのディスプレイに表示される。
また、アニメーション人体全身形状モデル生成部１Ｆは、再生開始からの時間経過を示すタイムラインを生成する。タイムラインは、後述するように、ＶＲデバイスまたはＡＲデバイスのディスプレイに表示される。また、ＶＲデバイスまたはＡＲデバイスのディスプレイに表示される仮想空間におけるタイムラインの位置は、再生開始後の時間の経過に伴って変化する。
【0034】
ストップモーションモデル群生成部１Ｇは、ストップモーションモデル生成時点決定部１Ｄに接続されている。ストップモーションモデル群生成部１Ｇは、ストップモーションモデル生成時点決定部１Ｄが決定した生成時点に基づいて、ストップモーションモデル群を生成する。
例えば、ストップモーションモデル生成時点決定部１Ｄが、ストップモーションモデルの生成時点として、時刻ｔ０と、時刻ｔ１と、時刻ｔ２とを決定した場合、ストップモーションモデル群生成部１Ｇは、アニメーションされた人体全身形状モデル（動作する人体全身形状モデルの動く像（statue））を時刻ｔ０に停止させたもの（人体全身形状モデルの静止像）を、時刻ｔ０のストップモーションモデルとして生成する。また、ストップモーションモデル群生成部１Ｇは、アニメーションされた人体全身形状モデルを時刻ｔ１に停止させたものを時刻ｔ１のストップモーションモデルとして生成し、アニメーションされた人体全身形状モデルを時刻ｔ２に停止させたものを時刻ｔ２のストップモーションモデルとして生成する。
また、ストップモーションモデル生成時点決定部１Ｄが、ストップモーションモデルの生成時点として、時刻ｔ０と、時刻ｔ１と、時刻ｔ２とを決定した場合には、ストップモーションモデル群生成部１Ｇが生成するストップモーションモデル群は、時刻ｔ０のストップモーションモデルと、時刻ｔ１のストップモーションモデルと、時刻ｔ２のストップモーションモデルとによって構成される。
例えば、ストップモーションモデル生成時点決定部１Ｄが、ストップモーションモデルの生成時点として、時刻ｔ０と、時刻ｔ１と、時刻ｔ２とを決定した場合、ストップモーションモデル群生成部１Ｇは、アニメーションされた人体全身形状モデル（動作する人体全身形状モデルの動く像（statue））を時刻ｔ０に停止させたもの（人体全身形状モデルの静止像）を、時刻ｔ０のストップモーションモデルとして生成する。また、ストップモーションモデル群生成部１Ｇは、アニメーションされた人体全身形状モデルを時刻ｔ１に停止させたものを時刻ｔ１のストップモーションモデルとして生成し、アニメーションされた人体全身形状モデルを時刻ｔ２に停止させたものを時刻ｔ２のストップモーションモデルとして生成する。
また、ストップモーションモデル生成時点決定部１Ｄが、ストップモーションモデルの生成時点として、時刻ｔ０と、時刻ｔ１と、時刻ｔ２とを決定した場合には、ストップモーションモデル群生成部１Ｇが生成するストップモーションモデル群は、時刻ｔ０のストップモーションモデルと、時刻ｔ１のストップモーションモデルと、時刻ｔ２のストップモーションモデルとによって構成される。
【0035】
配置移動部１Ｈは、時間変化データ初期配置決定部１Ｂと、再生操作命令部１Ｅと、アニメーション人体全身形状モデル生成部１Ｆと、ストップモーションモデル群生成部１Ｇとに接続されている。
つまり、配置移動部１Ｈには、再生操作命令部１Ｅが送出した再生操作命令と、時間変化データ初期配置決定部１Ｂが決定した仮想空間における時間変化データの初期配置と、アニメーション人体全身形状モデル生成部１Ｆが生成したアニメーションされた人体全身形状モデルおよびタイムラインと、ストップモーションモデル群生成部１Ｇが生成したストップモーションモデル群とが入力される。
配置移動部１Ｈは、入力されたそれらに基づいて、仮想空間における時間変化データの位置を示す時間変化データ位置情報と、仮想空間におけるアニメーションされた人体全身形状モデルの位置を示す人体全身形状モデル位置情報と、仮想空間におけるストップモーションモデル群の位置を示すストップモーションモデル群位置情報とを生成する。
時間変化データ位置情報とは、例えば、ＶＲデバイスまたはＡＲデバイスのディスプレイに表示される仮想空間のどこに時間変化データの波形を配置すべきかの情報である。
人体全身形状モデル位置情報とは、例えば、ＶＲデバイスまたはＡＲデバイスのディスプレイに表示される仮想空間のどこに、例えば時刻ｔ３のアニメーションされた人体全身形状モデル（人体全身形状モデルの動く像）を配置すべきかの情報である。
ストップモーションモデル群位置情報とは、例えば、ＶＲデバイスまたはＡＲデバイスのディスプレイに表示される仮想空間のどこに、時刻ｔ０のストップモーションモデルと、時刻ｔ１のストップモーションモデルと、時刻ｔ２のストップモーションモデルとを配置すべきかの情報である。
つまり、配置移動部１Ｈには、再生操作命令部１Ｅが送出した再生操作命令と、時間変化データ初期配置決定部１Ｂが決定した仮想空間における時間変化データの初期配置と、アニメーション人体全身形状モデル生成部１Ｆが生成したアニメーションされた人体全身形状モデルおよびタイムラインと、ストップモーションモデル群生成部１Ｇが生成したストップモーションモデル群とが入力される。
配置移動部１Ｈは、入力されたそれらに基づいて、仮想空間における時間変化データの位置を示す時間変化データ位置情報と、仮想空間におけるアニメーションされた人体全身形状モデルの位置を示す人体全身形状モデル位置情報と、仮想空間におけるストップモーションモデル群の位置を示すストップモーションモデル群位置情報とを生成する。
時間変化データ位置情報とは、例えば、ＶＲデバイスまたはＡＲデバイスのディスプレイに表示される仮想空間のどこに時間変化データの波形を配置すべきかの情報である。
人体全身形状モデル位置情報とは、例えば、ＶＲデバイスまたはＡＲデバイスのディスプレイに表示される仮想空間のどこに、例えば時刻ｔ３のアニメーションされた人体全身形状モデル（人体全身形状モデルの動く像）を配置すべきかの情報である。
ストップモーションモデル群位置情報とは、例えば、ＶＲデバイスまたはＡＲデバイスのディスプレイに表示される仮想空間のどこに、時刻ｔ０のストップモーションモデルと、時刻ｔ１のストップモーションモデルと、時刻ｔ２のストップモーションモデルとを配置すべきかの情報である。
【0036】
図１に示す例では、再生操作命令部１Ｅが順方向の再生操作命令を送出した場合に、配置移動部１Ｈは、アニメーションされた人体全身形状モデルと再生開始からの時間経過を示すタイムラインとを右向きに移動させる。
他の例では、再生操作命令部１Ｅが順方向の再生操作命令を送出した場合に、配置移動部１Ｈは、時間変化データの波形とストップモーションモデル群生成部１Ｇが生成したストップモーションモデル群とを左向きに移動させてもよい。
他の例では、再生操作命令部１Ｅが順方向の再生操作命令を送出した場合に、配置移動部１Ｈは、時間変化データの波形とストップモーションモデル群生成部１Ｇが生成したストップモーションモデル群とを左向きに移動させてもよい。
【0037】
図１に示す例では、映像生成部１Ｉが、配置移動部１Ｈに接続されている。
つまり、映像生成部１Ｉには、配置移動部１Ｈが生成した時間変化データ位置情報と、人体全身形状モデル位置情報と、ストップモーションモデル群位置情報とが入力される。また、映像生成部１Ｉには、映像提示部２００の位置および姿勢の情報が入力される。
映像生成部１Ｉは、時間変化データ位置情報と、人体全身形状モデル位置情報と、ストップモーションモデル群位置情報と、映像提示部２００の位置および姿勢とに基づいて、映像提示部２００が利用者に提示する映像を生成する。
つまり、映像生成部１Ｉには、配置移動部１Ｈが生成した時間変化データ位置情報と、人体全身形状モデル位置情報と、ストップモーションモデル群位置情報とが入力される。また、映像生成部１Ｉには、映像提示部２００の位置および姿勢の情報が入力される。
映像生成部１Ｉは、時間変化データ位置情報と、人体全身形状モデル位置情報と、ストップモーションモデル群位置情報と、映像提示部２００の位置および姿勢とに基づいて、映像提示部２００が利用者に提示する映像を生成する。
【0038】
図２は映像生成部１Ｉが生成した映像を説明するための図である。詳細には、図２は、映像生成部１Ｉが生成した時刻ｔ３の時点の映像を示している。
図２に示す例では、映像生成部１Ｉが生成した映像に、時間変化データの波形ＴＤ１と、時間変化データの波形ＴＤ２と、時間変化データの波形ＴＤ３と、時間変化データの波形ＴＤ４とが含まれている。時間変化データの波形ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４は、生理計測装置によって得られた時系列の生理計測データの波形である。詳細には、時間変化データの波形ＴＤ１乃至ＴＤ４は、例えば筋電図波形を示している。時間変化データの波形ＴＤ１は、例えば大殿筋の筋電波形を示している。時間変化データの波形ＴＤ２は、例えば大腿四頭筋の筋電波形を示している。時間変化データの波形ＴＤ３は、例えばハムストリングスの筋電波形を示している。時間変化データの波形ＴＤ４は、例えば前脛骨筋の筋電波形を示している。
また、映像生成部１Ｉが生成した映像には、再生開始時（時刻ｔ０）からの時間経過を示すタイムラインＴＬが含まれている。図２中のタイムラインＴＬは、再生開始時（時刻ｔ０）から、時間（ｔ３－ｔ０）が経過したことを示している。
時間変化データの波形ＴＤ１とタイムラインＴＬとの交点は、時刻ｔ３の時点の大殿筋の筋電の値を示している。時間変化データの波形ＴＤ２とタイムラインＴＬとの交点は、時刻ｔ３の時点の大腿四頭筋の筋電の値を示している。時間変化データの波形ＴＤ３とタイムラインＴＬとの交点は、時刻ｔ３の時点のハムストリングスの筋電の値を示している。時間変化データの波形ＴＤ４とタイムラインＴＬとの交点は、時刻ｔ３の時点の前脛骨筋の筋電の値を示している。
また、タイムラインＴＬ上には、時刻ｔ３の時点におけるアニメーションされた人体全身形状モデルＡＭが配置されている。アニメーションされた人体全身形状モデルＡＭは、時刻ｔ３の時点における人体の姿勢を示している。
図２に示す例では、映像生成部１Ｉが生成した映像に、時間変化データの波形ＴＤ１と、時間変化データの波形ＴＤ２と、時間変化データの波形ＴＤ３と、時間変化データの波形ＴＤ４とが含まれている。時間変化データの波形ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４は、生理計測装置によって得られた時系列の生理計測データの波形である。詳細には、時間変化データの波形ＴＤ１乃至ＴＤ４は、例えば筋電図波形を示している。時間変化データの波形ＴＤ１は、例えば大殿筋の筋電波形を示している。時間変化データの波形ＴＤ２は、例えば大腿四頭筋の筋電波形を示している。時間変化データの波形ＴＤ３は、例えばハムストリングスの筋電波形を示している。時間変化データの波形ＴＤ４は、例えば前脛骨筋の筋電波形を示している。
また、映像生成部１Ｉが生成した映像には、再生開始時（時刻ｔ０）からの時間経過を示すタイムラインＴＬが含まれている。図２中のタイムラインＴＬは、再生開始時（時刻ｔ０）から、時間（ｔ３－ｔ０）が経過したことを示している。
時間変化データの波形ＴＤ１とタイムラインＴＬとの交点は、時刻ｔ３の時点の大殿筋の筋電の値を示している。時間変化データの波形ＴＤ２とタイムラインＴＬとの交点は、時刻ｔ３の時点の大腿四頭筋の筋電の値を示している。時間変化データの波形ＴＤ３とタイムラインＴＬとの交点は、時刻ｔ３の時点のハムストリングスの筋電の値を示している。時間変化データの波形ＴＤ４とタイムラインＴＬとの交点は、時刻ｔ３の時点の前脛骨筋の筋電の値を示している。
また、タイムラインＴＬ上には、時刻ｔ３の時点におけるアニメーションされた人体全身形状モデルＡＭが配置されている。アニメーションされた人体全身形状モデルＡＭは、時刻ｔ３の時点における人体の姿勢を示している。
【0039】
また、図２に示す例では、映像生成部１Ｉが生成した映像に、時刻ｔ０のストップモーションモデルＳＭｔ０と、時刻ｔ１のストップモーションモデルＳＭｔ１と、時刻ｔ２のストップモーションモデルＳＭｔ２とが含まれている。
上述したように、ストップモーションモデルＳＭｔ０は、アニメーションされた人体全身形状モデル（動作する人体全身形状モデルの動く像）ＡＭを時刻ｔ０に停止させたものに相当する。ストップモーションモデルＳＭｔ１は、アニメーションされた人体全身形状モデルＡＭを時刻ｔ１に停止させたものに相当し、ストップモーションモデルＳＭｔ２は、アニメーションされた人体全身形状モデルＡＭを時刻ｔ２に停止させたものに相当する。
図２に示す例では、仮想空間におけるストップモーションモデルＳＭｔ０、ＳＭｔ１、ＳＭｔ２の生成間隔（生成間隔ｔ１－ｔ０、ｔ２－ｔ１）が、設定ファイルまたは外部プログラムに基づいて、一定時間間隔（例えば０．３秒）に決定されている。
上述したように、ストップモーションモデルＳＭｔ０は、アニメーションされた人体全身形状モデル（動作する人体全身形状モデルの動く像）ＡＭを時刻ｔ０に停止させたものに相当する。ストップモーションモデルＳＭｔ１は、アニメーションされた人体全身形状モデルＡＭを時刻ｔ１に停止させたものに相当し、ストップモーションモデルＳＭｔ２は、アニメーションされた人体全身形状モデルＡＭを時刻ｔ２に停止させたものに相当する。
図２に示す例では、仮想空間におけるストップモーションモデルＳＭｔ０、ＳＭｔ１、ＳＭｔ２の生成間隔（生成間隔ｔ１－ｔ０、ｔ２－ｔ１）が、設定ファイルまたは外部プログラムに基づいて、一定時間間隔（例えば０．３秒）に決定されている。
【0040】
図３は、映像生成部１Ｉが生成した時刻ｔ５の時点の映像を説明するための図である。
図３に示す例では、図２に示す例と比較して、映像提示部２００の位置が異なっている。また、図３に示す例では、ストップモーションモデル生成時点決定部１Ｄが、人体動作データ１２０からルールベースに抽出された時点（例えば、踵の座標を利用し、着地の瞬間のみ抽出された時点（時刻ｔ２、ｔ３、ｔ４））を、仮想空間におけるストップモーションモデルＳＭｔ２、ＳＭｔ３、ＳＭｔ４の生成時点として決定している。
このように構成することにより、例えば、利用者（コーチや選手）のニーズに基づいたストップモーションモデルを（半）自動で生成可能になり、その観察をより効率的にすることができる。
利用者の注目したい動作局面が運動の科目によって、あるいは研究者によって変わりうること、すなわち同じランニングという科目であっても踵接地の瞬間を観察したい場合と蹴り出しの瞬間を観察したい場合とが存在しうる。
ストップモーションモデルを生成する瞬間は、パラメータとして指定した一定時刻間隔だけでなく、ルールに基づいて指定した瞬間（例えば足関節の鉛直方向軸の座標に基づいてランニング動作における踵接地の瞬間）などを抽出して採用することができる。
これにより運動中における特徴的な動作、例えば疾走動作の踵接地のストップモーションモデルを（半）自動的に生成することができ、かつ、その生成間隔は計測の事後に任意に変更することができる。
図３に示す例では、図２に示す例と比較して、映像提示部２００の位置が異なっている。また、図３に示す例では、ストップモーションモデル生成時点決定部１Ｄが、人体動作データ１２０からルールベースに抽出された時点（例えば、踵の座標を利用し、着地の瞬間のみ抽出された時点（時刻ｔ２、ｔ３、ｔ４））を、仮想空間におけるストップモーションモデルＳＭｔ２、ＳＭｔ３、ＳＭｔ４の生成時点として決定している。
このように構成することにより、例えば、利用者（コーチや選手）のニーズに基づいたストップモーションモデルを（半）自動で生成可能になり、その観察をより効率的にすることができる。
利用者の注目したい動作局面が運動の科目によって、あるいは研究者によって変わりうること、すなわち同じランニングという科目であっても踵接地の瞬間を観察したい場合と蹴り出しの瞬間を観察したい場合とが存在しうる。
ストップモーションモデルを生成する瞬間は、パラメータとして指定した一定時刻間隔だけでなく、ルールに基づいて指定した瞬間（例えば足関節の鉛直方向軸の座標に基づいてランニング動作における踵接地の瞬間）などを抽出して採用することができる。
これにより運動中における特徴的な動作、例えば疾走動作の踵接地のストップモーションモデルを（半）自動的に生成することができ、かつ、その生成間隔は計測の事後に任意に変更することができる。
【0041】
図４は、映像生成部１Ｉが生成した再生完了時点の映像を説明するための図である。
図４に示す例では、図２および図３に示す例と比較して、映像提示部２００の位置が異なっている。また、図４に示す例では、動画の再生が完了しているため、映像中に、アニメーションされた人体全身形状モデルＡＭ、つまり、動いている人体全身形状モデルが存在しない。その結果、映像中にタイムラインＴＬも存在しない。
図４に示す例では、図２および図３に示す例と比較して、映像提示部２００の位置が異なっている。また、図４に示す例では、動画の再生が完了しているため、映像中に、アニメーションされた人体全身形状モデルＡＭ、つまり、動いている人体全身形状モデルが存在しない。その結果、映像中にタイムラインＴＬも存在しない。
【0042】
図５は、映像提示部２００が利用者に提示する再生開始直前の映像を説明するための図である。詳細には、図５は、ヘッドマウントディスプレイ着用者の視界を示している。
図５に示す例では、図２～図４に示す例と比較して、映像提示部２００の位置が異なっている。また、図５に示す例では、動画の再生がまだ開始していないため、映像中に、アニメーションされた人体全身形状モデルＡＭ、つまり、動いている人体全身形状モデルが存在しない。その結果、映像中にタイムラインＴＬも存在しない。
上述したように、図５に示す映像は、映像生成部１Ｉが生成した映像ではなく、映像提示部２００が利用者に提示する映像である。従って、図５には、利用者の左眼用の映像（図５の左側の円内の映像）と、利用者の右眼用の映像（図５の右側の円内の映像）とが含まれる。
図５に示す例では、図２～図４に示す例と比較して、映像提示部２００の位置が異なっている。また、図５に示す例では、動画の再生がまだ開始していないため、映像中に、アニメーションされた人体全身形状モデルＡＭ、つまり、動いている人体全身形状モデルが存在しない。その結果、映像中にタイムラインＴＬも存在しない。
上述したように、図５に示す映像は、映像生成部１Ｉが生成した映像ではなく、映像提示部２００が利用者に提示する映像である。従って、図５には、利用者の左眼用の映像（図５の左側の円内の映像）と、利用者の右眼用の映像（図５の右側の円内の映像）とが含まれる。
【0043】
図６は、映像提示部２００が利用者に提示する再生開始直前（つまり、図５に示す映像と同一時点）の他の映像を説明するための図である。
図６に示す例では、図５に示す例と比較して、映像提示部２００の位置が異なっている。また、図６に示す例では、図５に示す例と同様に、映像中に、アニメーションされた人体全身形状モデルＡＭが存在せず、タイムラインＴＬも存在しない。
また、図６には、図５と同様に、利用者の左眼用の映像（図６の左側の円内の映像）と、利用者の右眼用の映像（図６の右側の円内の映像）とが含まれる。
図６に示す例では、図５に示す例と比較して、映像提示部２００の位置が異なっている。また、図６に示す例では、図５に示す例と同様に、映像中に、アニメーションされた人体全身形状モデルＡＭが存在せず、タイムラインＴＬも存在しない。
また、図６には、図５と同様に、利用者の左眼用の映像（図６の左側の円内の映像）と、利用者の右眼用の映像（図６の右側の円内の映像）とが含まれる。
【0044】
図７は、映像提示部２００が利用者に提示する他の映像を説明するための図である。
図７に示す映像には、図３に示す映像に含まれるストップモーションモデルＳＭｔ３が含まれている。図７に示す例では、例えば着地している踵を確認するために、映像提示部２００が、ストップモーションモデルＳＭｔ３に近づいている。
図５～図７に示す例では、利用者の頭部の位置姿勢に応じた映像を提示する映像提示部２００（ＨＭＤ）を組み合わせた事で、今まさに目の前で行っている運動を観察するがごとく、利用者は、直感的に、かつ自由な視点を選択しながら観察することができる。これにより利用者は、例えばランニングでは着地の瞬間の膝関節の伸展角度や足首の角度といった、注目したい箇所を自由な視点で観察することができる。
図７に示す映像には、図３に示す映像に含まれるストップモーションモデルＳＭｔ３が含まれている。図７に示す例では、例えば着地している踵を確認するために、映像提示部２００が、ストップモーションモデルＳＭｔ３に近づいている。
図５～図７に示す例では、利用者の頭部の位置姿勢に応じた映像を提示する映像提示部２００（ＨＭＤ）を組み合わせた事で、今まさに目の前で行っている運動を観察するがごとく、利用者は、直感的に、かつ自由な視点を選択しながら観察することができる。これにより利用者は、例えばランニングでは着地の瞬間の膝関節の伸展角度や足首の角度といった、注目したい箇所を自由な視点で観察することができる。
【0045】
図８は人体形状モデル可視化システム１によって実行される処理を説明するためのフローチャートである。
図８に示す例では、ステップＳ１１において、データ登録部１Ａが、人体全身形状モデルデータ１１０と人体動作データ１２０と時間変化データ１３０とを取得する。
次いで、ステップＳ１２では、時間変化データ初期配置決定部１Ｂが、時間変化データ１３０に基づいて、仮想空間における時間変化データの波形ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４の初期配置（つまり、時間変化データの波形ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４の左端の位置）を決定する。
次いで、ステップＳ１３では、人体全身形状モデル初期配置決定部１Ｃが、人体全身形状モデルデータ１１０に基づいて、仮想空間における人体全身形状モデルの初期配置（つまり、アニメーションされた人体全身形状モデルＡＭが動き始める位置）を決定する。
次いで、ステップＳ１４では、ストップモーションモデル生成時点決定部１Ｄが、人体全身形状モデルデータ１１０と人体動作データ１２０とに基づいて生成されるストップモーションモデルＳＭｔ０、ＳＭｔ１、ＳＭｔ２の生成時点（時刻ｔ０、ｔ１、ｔ２）を決定する。
図８に示す例では、ステップＳ１１において、データ登録部１Ａが、人体全身形状モデルデータ１１０と人体動作データ１２０と時間変化データ１３０とを取得する。
次いで、ステップＳ１２では、時間変化データ初期配置決定部１Ｂが、時間変化データ１３０に基づいて、仮想空間における時間変化データの波形ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４の初期配置（つまり、時間変化データの波形ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４の左端の位置）を決定する。
次いで、ステップＳ１３では、人体全身形状モデル初期配置決定部１Ｃが、人体全身形状モデルデータ１１０に基づいて、仮想空間における人体全身形状モデルの初期配置（つまり、アニメーションされた人体全身形状モデルＡＭが動き始める位置）を決定する。
次いで、ステップＳ１４では、ストップモーションモデル生成時点決定部１Ｄが、人体全身形状モデルデータ１１０と人体動作データ１２０とに基づいて生成されるストップモーションモデルＳＭｔ０、ＳＭｔ１、ＳＭｔ２の生成時点（時刻ｔ０、ｔ１、ｔ２）を決定する。
【0046】
次いで、ステップＳ１５－１において、再生操作命令部１Ｅは、利用者の操作または外部プログラムからのコマンドがあったか否かを判定する。利用者の操作または外部プログラムからのコマンドがあった場合には、ステップＳ１５－２に進む。利用者の操作も、外部プログラムからのコマンドもない場合には、利用者の操作または外部プログラムからのコマンドがあるまで、ステップＳ１５－１が繰り返し実行される。
ステップＳ１５－２では、再生操作命令部１Ｅが、再生操作命令を送出する。
次いで、ステップＳ１６では、アニメーション人体全身形状モデル生成部１Ｆが、再生操作命令に応じて、人体全身形状モデル初期配置決定部１Ｃが決定した人体全身形状モデルの初期配置に、データ登録部１Ａが取得した人体動作データ１２０を適用することによって、アニメーションされた人体全身形状モデルＡＭを生成すると共に、再生開始からの時間経過を示すタイムラインＴＬを生成する。
次いで、ステップＳ１７では、ストップモーションモデル群生成部１Ｇが、ストップモーションモデル生成時点決定部１Ｄが決定した生成時点（時刻ｔ０、ｔ１、ｔ２）に基づいて、ストップモーションモデル群（ストップモーションモデルＳＭｔ０、ＳＭｔ１、ＳＭｔ２の群）を生成する。
ステップＳ１５－２では、再生操作命令部１Ｅが、再生操作命令を送出する。
次いで、ステップＳ１６では、アニメーション人体全身形状モデル生成部１Ｆが、再生操作命令に応じて、人体全身形状モデル初期配置決定部１Ｃが決定した人体全身形状モデルの初期配置に、データ登録部１Ａが取得した人体動作データ１２０を適用することによって、アニメーションされた人体全身形状モデルＡＭを生成すると共に、再生開始からの時間経過を示すタイムラインＴＬを生成する。
次いで、ステップＳ１７では、ストップモーションモデル群生成部１Ｇが、ストップモーションモデル生成時点決定部１Ｄが決定した生成時点（時刻ｔ０、ｔ１、ｔ２）に基づいて、ストップモーションモデル群（ストップモーションモデルＳＭｔ０、ＳＭｔ１、ＳＭｔ２の群）を生成する。
【0047】
次いで、ステップＳ１８では、配置移動部１Ｈが、再生操作命令と、仮想空間における時間変化データの波形ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４の初期配置と、アニメーションされた人体全身形状モデルＡＭおよびタイムラインＴＬと、ストップモーションモデル群（ストップモーションモデルＳＭｔ０、ＳＭｔ１、ＳＭｔ２の群）とに基づいて、仮想空間における時間変化データの波形ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４の位置を示す時間変化データ位置情報と、仮想空間におけるアニメーションされた人体全身形状モデルＡＭの位置を示す人体全身形状モデル位置情報と、仮想空間におけるストップモーションモデル群（ストップモーションモデルＳＭｔ０、ＳＭｔ１、ＳＭｔ２の群）の位置を示すストップモーションモデル群位置情報とを生成する。
次いで、ステップＳ１９では、映像生成部１Ｉが、配置移動部１Ｈが生成する時間変化データ位置情報、人体全身形状モデル位置情報およびストップモーションモデル群位置情報と、利用者に映像を提示する映像提示部２００の位置および姿勢とに基づいて、映像提示部２００が利用者に提示する映像を生成する。
次いで、ステップＳ１９では、映像生成部１Ｉが、配置移動部１Ｈが生成する時間変化データ位置情報、人体全身形状モデル位置情報およびストップモーションモデル群位置情報と、利用者に映像を提示する映像提示部２００の位置および姿勢とに基づいて、映像提示部２００が利用者に提示する映像を生成する。
【0048】
詳細には、例えば図２に示すように、映像生成部１Ｉは、再生開始からの時間経過を示すタイムラインＴＬ上に、その時点（図２に示す例では、時刻ｔ３）における時間変化データ（生理計測データ）の波形ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４の値と、その時点におけるアニメーションされた人体全身形状モデルＡＭとを配置する。また、タイムラインＴＬ上に配置されるアニメーションされた人体全身形状モデルＡＭは、その時点（時刻ｔ３）における人体の姿勢を示す。
つまり、図２に示す例は、仮想空間における生理計測データと、再生開始からの経過時間を示すタイムラインＴＬと、アニメーションされた人体全身形状モデルＡＭとの特有の配置方法を特定している。
そのため、映像提示部２００は、利用者に対して、運動および運動に関係する時間変化データをわかりやすく提示することができる。利用者は、運動および運動に関係する時間変化データを容易に把握することができる。
時間変化データの波形ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４として生理計測データを提示することにより、利用者は、タイムラインＴＬに注目してさえいれば、人体動作と生理情報を同時に容易に注視できるようになる。
つまり、図２に示す例は、仮想空間における生理計測データと、再生開始からの経過時間を示すタイムラインＴＬと、アニメーションされた人体全身形状モデルＡＭとの特有の配置方法を特定している。
そのため、映像提示部２００は、利用者に対して、運動および運動に関係する時間変化データをわかりやすく提示することができる。利用者は、運動および運動に関係する時間変化データを容易に把握することができる。
時間変化データの波形ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４として生理計測データを提示することにより、利用者は、タイムラインＴＬに注目してさえいれば、人体動作と生理情報を同時に容易に注視できるようになる。
【0049】
図２に示す例では、アニメーションされた人体全身形状モデルＡＭが図２の左側から図２の右側に移動する。そのため、図２に示す例では、再生操作命令部１Ｅが順方向の再生操作命令を送出した場合に、配置移動部１Ｈは、アニメーションされた人体全身形状モデルＡＭと再生開始からの時間経過を示すタイムラインＴＬとを図２の右向きに移動させる。また、配置移動部１Ｈは、アニメーションされた人体全身形状モデルＡＭが通過した後で、その位置にストップモーションモデルＳＭｔ０、ＳＭｔ１、ＳＭｔ２を配置する。つまり、ストップモーションモデルＳＭｔ０、ＳＭｔ１、ＳＭｔ２は、再生開始直後には配置（表示）されておらず、アニメーションされた人体全身形状モデルＡＭが通過するやいなや配置（表示）される。
一方、例えば、アニメーションされた人体全身形状モデルＡＭが「垂直跳び」を行う場合には、仮に、配置移動部１Ｈが、アニメーションされた人体全身形状モデルＡＭおよびストップモーションモデルＳＭｔ０、ＳＭｔ１、ＳＭｔ２を同じ位置に配置すると、それらが重なってしまい、見づらい映像になってしまう。
そこで、例えば、アニメーションされた人体全身形状モデルＡＭが垂直跳びを行う場合には、配置移動部１Ｈは、時間変化データの波形ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４と、ストップモーションモデル群（ストップモーションモデルＳＭｔ０、ＳＭｔ１、ＳＭｔ２の群）とを左向きに移動させる。そのため、アニメーションされた人体全身形状モデルＡＭの位置が変化しなくても、アニメーションされた人体全身形状モデルＡＭとストップモーションモデルＳＭｔ０、ＳＭｔ１、ＳＭｔ２とが重ならない。その結果、見やすい映像にすることができる。
一方、例えば、アニメーションされた人体全身形状モデルＡＭが「垂直跳び」を行う場合には、仮に、配置移動部１Ｈが、アニメーションされた人体全身形状モデルＡＭおよびストップモーションモデルＳＭｔ０、ＳＭｔ１、ＳＭｔ２を同じ位置に配置すると、それらが重なってしまい、見づらい映像になってしまう。
そこで、例えば、アニメーションされた人体全身形状モデルＡＭが垂直跳びを行う場合には、配置移動部１Ｈは、時間変化データの波形ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４と、ストップモーションモデル群（ストップモーションモデルＳＭｔ０、ＳＭｔ１、ＳＭｔ２の群）とを左向きに移動させる。そのため、アニメーションされた人体全身形状モデルＡＭの位置が変化しなくても、アニメーションされた人体全身形状モデルＡＭとストップモーションモデルＳＭｔ０、ＳＭｔ１、ＳＭｔ２とが重ならない。その結果、見やすい映像にすることができる。
【0050】
上述したように、実施形態の人体形状モデル可視化システム１は、運動・生理計測データをわかりやすく可視化すべくＸＲ技術を応用するものである。
【産業上の利用可能性】
【0051】
本発明の人体形状モデル可視化システム、人体形状モデル可視化方法およびプログラムは、生活・福祉・ヘルスケア分野、スポーツ・健康支援分野などにおいて広く利用することができる。
【符号の説明】
【0052】
１…人体形状モデル可視化システム
１Ａ…データ登録部
１Ｂ…時間変化データ初期配置決定部
１Ｃ…人体全身形状モデル初期配置決定部
１Ｄ…ストップモーションモデル生成時点決定部
１Ｅ…再生操作命令部
１Ｆ…アニメーション人体全身形状モデル生成部
１Ｇ…ストップモーションモデル群生成部
１Ｈ…配置移動部
１Ｉ…映像生成部
１１０…人体全身形状モデルデータ
１２０…人体動作データ
１３０…時間変化データ
１５０…ＡＮＤ演算部
２００…映像提示部
１Ａ…データ登録部
１Ｂ…時間変化データ初期配置決定部
１Ｃ…人体全身形状モデル初期配置決定部
１Ｄ…ストップモーションモデル生成時点決定部
１Ｅ…再生操作命令部
１Ｆ…アニメーション人体全身形状モデル生成部
１Ｇ…ストップモーションモデル群生成部
１Ｈ…配置移動部
１Ｉ…映像生成部
１１０…人体全身形状モデルデータ
１２０…人体動作データ
１３０…時間変化データ
１５０…ＡＮＤ演算部
２００…映像提示部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】