特開 2024-128440 動画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024128440

(43)【公開日】2024-09-24

(54)【発明の名称】動画像処理システム

(51)【国際特許分類】

   A63B 69/00 20060101AFI20240913BHJP

   G10L 25/57 20130101ALI20240913BHJP

【ＦＩ】

A63B69/00 A

A63B69/00 514

G10L25/57

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2023037417

(22)【出願日】2023-03-10

(71)【出願人】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100121980

【弁理士】

【氏名又は名称】沖山 隆

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(72)【発明者】

【氏名】▲高▼橋 夏葵

(57)【要約】

【課題】 動画像間で動作を容易かつ適切に比較する。
【解決手段】 動画像処理システム１０は、それぞれ音声データが対応付けられた、手本の動作の手本動画像、及び比較対象の動作の比較動画像を取得する動画像取得部１１と、動画像取得部１１によって取得された手本動画像及び比較動画像それぞれに対応付けられた音声データに基づいて、当該手本動画像に係る動作と当該比較動画像に係る動作とを比較するための動画像中のタイミングを設定するタイミング設定部１２と、タイミング設定部１２によって設定されたタイミングに基づいて、手本動画像に係る動作と比較動画像に係る動作とを比較する比較部１３とを備える。
【選択図】 図１

【特許請求の範囲】

【請求項1】

それぞれ音声データが対応付けられた、手本の動作の手本動画像、及び比較対象の動作の比較動画像を取得する動画像取得部と、
前記動画像取得部によって取得された手本動画像及び比較動画像それぞれに対応付けられた音声データに基づいて、当該手本動画像に係る動作と当該比較動画像に係る動作とを比較するための動画像中のタイミングを設定するタイミング設定部と、
前記タイミング設定部によって設定されたタイミングに基づいて、前記手本動画像に係る動作と前記比較動画像に係る動作とを比較する比較部と、
を備える動画像処理システム。

【請求項2】

前記手本動画像及び前記比較動画像に係る動作は、ダンスであり、
前記手本動画像及び前記比較動画像に対応付けられる音声データは、ダンスのための楽曲に係るものである請求項１に記載の動画像処理システム。

【請求項3】

前記タイミング設定部は、前記手本動画像及び前記比較動画像それぞれに対応付けられた音声データの波形から類似している波形を抽出し、抽出した波形から前記タイミングを設定する請求項１に記載の動画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像処理システムに関する。

【背景技術】

【0002】

特許文献１には、学習者の動作をビデオカメラで撮像した動画像に、手本となるスケルトン画像を重ね合わせて表示することが示されている。これによって、スポーツ、運動、ダンス等におけるフォームを学習することができるとされている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５－２３７４９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ダンスの練習のため、自身のダンスを撮像した動画像とコーチのダンスを撮像した手本の動画像とを比較することが考えられる。これらのダンスの動画像を比較するためには、それらの動画像に写ったダンスのタイミングを同期させる必要がある。例えば、動画像間で踊りだしのタイミングをあわせて動作を比較する必要がある。

【0005】

しかしながら、上述した特許文献１に示される方法をはじめとした従来の方法には、動画像の動作の比較を行うためのタイミングを、容易かつ適切に同期する方法がなかった。そのため、上述した動画像間でダンスを比較することを、容易かつ適切に行うことができなかった。

【0006】

本発明は、上記に鑑みてなされたものであり、動画像間で動作を容易かつ適切に比較することができる画像処理システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の目的を達成するために、本発明に係る画像処理システムは、それぞれ音声データが対応付けられた、手本の動作の手本動画像、及び比較対象の動作の比較動画像を取得する動画像取得部と、動画像取得部によって取得された手本動画像及び比較動画像それぞれに対応付けられた音声データに基づいて、当該手本動画像に係る動作と当該比較動画像に係る動作とを比較するための動画像中のタイミングを設定するタイミング設定部と、タイミング設定部によって設定されたタイミングに基づいて、手本動画像に係る動作と比較動画像に係る動作とを比較する比較部と、を備える。

【0008】

本発明に係る画像処理システムでは、手本動画像及び比較動画像それぞれに対応付けられた音声データに基づいて、動作を比較するための動画像中のタイミングが設定されて、動作の比較が行われる。従って、本発明に係る画像処理システムによれば、動画像間で音声にあわせた動作を容易かつ適切に比較することができる。

【発明の効果】

【0009】

本発明によれば、動画像間で動作を容易かつ適切に比較することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る動画像処理システムの構成を示す図である。

【図2】動画像処理システムによる表示の例を示す図である。

【図3】動画像処理システムにおいて用いられる音声データの波形の例のグラフである。

【図4】本発明の実施形態に係る動画像処理システムで実行される処理を示すフローチャートである。

【図5】本発明の実施形態に係る動画像処理システムのハードウェア構成を示す図である。

【発明を実施するための形態】

【0011】

以下、図面と共に本発明に係る動画像処理システムの実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

【0012】

図１に本実施形態に係る動画像処理システム１０を示す。動画像処理システム１０は、動画像に対する処理を行うシステム（装置）である。動画像処理システム１０の処理対象となる動画像は、人の動作の動画像である。本実施形態では、動画像に係る人の動作は、ダンスである。動画像処理システム１０は、手本（見本）の動作の手本動画像と、比較対象の動作の比較動画像とを比較する。

【0013】

例えば、動画像処理システム１０は、手本動画像に係るコーチのダンスと、比較動画像に係るユーザ自身のダンスとを比較して、それらの動作が一致している度合いである一致度を算出する。動画像処理システム１０によって算出された一致度は、例えば、比較に用いられた動画像に重畳して表示される。図２に表示の例を示す。図２における上の動画像が比較対象のユーザ自身のダンスの動画像であり、下の動画像が手本であるコーチのダンスの動画像である。図２に示す例では、動画像処理システム１０は、上半身及び下半身それぞれについて、ユーザ自身のダンスとコーチのダンスとの一致度を算出する。

【0014】

動画像処理システム１０によれば、ユーザが、コーチのダンスを手本としながらダンスの練習をすることができる。また、一致度を数値化して表示することで、ダンスの完成度を客観的に判断することができる。これによって、例えば、チームで行うダンスについて、自主練習を行うことができる。このような自主練習によって、コーチのダンスと自身のダンスとの比較によって振りを覚えるまでの時間を短縮することができる。また、一人一人の自主練習の質と、チーム全体のダンスの完成度とを効率的に向上させることができる。

【0015】

動画像処理システム１０は、比較結果をコーチ又はチームのユーザ間で共有する機能を有していてもよい。また、互いにダンスについてのフィードバック等のコメントを送受信できるようにしてもよい。この共有によって、ユーザのモチベーションを向上することができる。このように動画像処理システム１０は、ダンス練習のサポート用の機能を有する。

【0016】

本実施形態では、比較に用いられる動画像には、音声データが対応付けられている。音声データは、例えば、ダンスのための楽曲に係るもの、即ち、ダンスのＢＧＭ（バックグラウンドミュージック）が含まれるものである。音声データは、例えば、動画像が撮像される際にあわせて録音されるものである。即ち、音声データに係る音声は、動画像の動作と連動する音声（音楽）である。動画像処理システム１０は、後述するように動画像の比較の際に音声データを用いる。

【0017】

動画像処理システム１０は、例えば、ユーザによって用いられる動画像が処理可能な装置であり、具体的には、スマートフォン又はＰＣ（パーソナルコンピュータ）等の装置（コンピュータ）である。この場合、動画像処理システム１０は、上記の装置にインストールされる専用のアプリケーションソフトウェアによって実現されてもよい。あるいは、動画像処理システム１０は、ユーザによって用いられる装置との間で通信網を介して情報（例えば、動画像及び比較結果）を送受信するサーバ装置等の装置（コンピュータ）であってもよい。この場合、ユーザによって用いられる装置にインストールされる専用のアプリケーションソフトウェアによって、サーバ装置等との情報の送受信及びユーザインタフェースが実現されてもよい。また、動画像処理システム１０は、複数のコンピュータを含むコンピュータシステムによって実現されてもよい。また、動画像処理システム１０は、ユーザに用いられる装置と、サーバ装置との組み合わせによって実現されてもよい。

【0018】

引き続いて、本実施形態に係る動画像処理システム１０の機能を説明する。図１に示すように、動画像処理システム１０は、動画像取得部１１と、タイミング設定部１２と、比較部１３とを備えて構成される。

【0019】

動画像取得部１１は、それぞれ音声データが対応付けられた、手本の動作の手本動画像、及び比較対象の動作の比較動画像を取得する機能部である。手本動画像及び比較動画像に係る動作は、ダンスであり、手本動画像及び比較動画像に対応付けられる音声データは、ダンスのための楽曲に係るものであってもよい。

【0020】

手本動画像及び比較動画像は、音声データが対応付けられた（例えば、音声データを含む）従来の形式の動画像でよい。手本動画像は、例えば、ダンス用の音声（楽曲）が鳴っている状態で行われているコーチのダンスが撮像及び録音させることで生成される。比較動画像は、例えば、ダンス用の音声（楽曲）が鳴っている状態で行われているユーザのダンスが撮像及び録音させることで生成される。手本動画像若しくは比較動画像、又はそれら両方の生成のための撮像及び録音は、動画像処理システム１０において行われてもよい。

【0021】

通常、手本動画像に係るダンス用の楽曲と、比較動画像に係るダンス用の楽曲とは同じものとされる。なお、手本動画像及び比較動画像は、動作の動画像であり、互いに比較可能なものであれば上記以外のものであってもよい。また、手本動画像及び比較動画像は、上記以外の方法によって生成されてもよい。

【0022】

動画像取得部１１は、例えば、ユーザの入力操作（動画像生成のための撮像及び録音を含む）を受け付けることで、又は別のシステム（装置）から受信することで手本動画像及び比較動画像を取得する。また、動画像取得部１１は、上記以外の任意の方法で手本動画像及び比較動画像を取得してもよい。また、手本動画像と比較動画像とは互いに異なる方法で取得されてもよい。動画像取得部１１は、取得した手本動画像及び比較動画像をタイミング設定部１２及び比較部１３に出力する。

【0023】

タイミング設定部１２は、動画像取得部１１によって取得された手本動画像及び比較動画像それぞれに対応付けられた音声データに基づいて、当該手本動画像に係る動作と当該比較動画像に係る動作とを比較するための動画像中のタイミングを設定する機能部である。タイミング設定部１２は、手本動画像及び比較動画像それぞれに対応付けられた音声データの波形から類似している波形を抽出し、抽出した波形からタイミングを設定してもよい。

【0024】

手本動画像に係る動作（ダンス）と、比較動画像に係る動作（ダンス）とを比較するためには、動画像中の比較のタイミングをあわせる必要がある。タイミング設定部１２によって設定される動画像中のタイミングは、動作同士を比較するためのものである。例えば、当該タイミングは、手本動画像及び比較動画像に対応付けられた音声データの楽曲の開始のタイミングである。ダンスは、楽曲にあわせて行われるため、楽曲の開始のタイミングを動作の比較のタイミングの基準とすることで、同一のタイミングでのダンス同士を比較することができる。なお、当該タイミングは、上記以外のものであってもよい。

【0025】

タイミング設定部１２は、例えば、以下のように動画像中の当該タイミングを設定する。タイミング設定部１２は、動画像取得部１１から手本動画像及び比較動画像を入力する。タイミング設定部１２は、手本動画像及び比較動画像に対応付けられた音声データを取り出す。図３に、手本動画像に対応付けられた音声データ（音源Ａ）の波形の例のグラフ２１Ａ、及び比較動画像に対応付けられた音声データ（音源Ｂ）の波形の例のグラフ２１Ｂを示す。図３に示すグラフにおいて、横軸は時刻（時間）を示し、縦軸は振幅を示している。また、当該グラフには、タイミング設定部１２が設定すべきタイミングＴもあわせて示している。

【0026】

タイミング設定部１２は、タイミングを設定するため、２つの音声データの余分を排除し、タイミングの設定に用いる部分のみを抽出する。音声データの余分は、例えば、ダンス用の楽曲以外の人物の声等の雑音の部分である。そのために、タイミング設定部１２は、これら２つの音声データの波形を比較して、波形の類似部分（類似している波形）を抽出し、類似部分以外を音声データの余分として排除する。図２に、グラフ２１Ａ及びグラフ２１Ｂにおける、類似部分Ｓを示すグラフ２２Ａ及びグラフ２２Ｂ、並びに類似部分Ｓ以外を排除したグラフ２３Ａ及びグラフ２３Ｂを示す。なお、上記の処理は、Y．Luo，Z．Chen，J．R．Hershey，J．Le Roux and N．Mesgarani，“Deep Clustering and Conventional Networks for Music Separation：Stronger together，”in 2017 IEEE Int．Conf．on Acoustics，Speech and Signal Processing （ICASSPNew Orleans），LA，USA，pp．61－65，2017に示されている方法によって行うことができる。

【0027】

タイミング設定部１２は、２つの音声データの抽出した類似部分Ｓから、タイミングを設定する。タイミングの設定は、従来の技術が用いられて行われればよい。例えば、２つの音声データの抽出した類似部分Ｓを比較してタイミングを設定する。

【0028】

なお、タイミング設定部１２によるタイミングの設定は、必ずしも上記のように行われる必要はない。例えば、タイミングの設定は、２つの音声データの比較によって行われる必要はなく、それぞれに音声データに対して個別に行われてもよい。タイミング設定部１２は、設定した手本動画像及び比較動画像それぞれの動画像中のタイミングを示す情報を比較部１３に出力する。

【0029】

比較部１３は、タイミング設定部１２によって設定されたタイミングに基づいて、手本動画像に係る動作と比較動画像に係る動作とを比較する機能部である。

【0030】

比較部１３は、例えば、以下のように手本動画像に係る動作と比較動画像に係る動作とを比較する。比較部１３は、手本動画像に係る動作と比較動画像に係る動作との比較によって、手本動画像に係る動作と比較動画像に係る動作とがどの程度一致しているか否か判断する。即ち、比較部１３は、コーチのダンスとユーザのダンスとがどの程度一致しているか否か判断する。具体的には比較部１３は、それらの動作が一致している度合いであるスコアの一致度を算出する。但し、比較部１３による比較は、上記以外の目的で行われてもよい。また、比較部１３は、比較の目的に応じて比較結果として、一致度以外を算出してもよい。

【0031】

比較部１３は、動画像取得部１１から手本動画像及び比較動画像を入力する。比較部１３は、タイミング設定部１２から、手本動画像及び比較動画像それぞれの動画像中のタイミングを示す情報を入力する。比較部１３は、タイミング設定部１２から入力された情報を参照して、手本動画像及び比較動画像のタイミングをあわせて動画像中の動作を比較する。具体的には、比較部１３は、タイミング設定部１２によって設定された手本動画像及び比較動画像中のそれぞれのタイミングが、同一のタイミングとして動画像中の動作を比較する。即ち、比較部１３は、タイミング設定部１２によって設定されたタイミングを基準として、動画像中の時刻を同期させて動画像中の動作を比較する。

【0032】

比較部１３による動作の比較及び一致度の算出は、従来の方法で行われればよい。例えば、比較部１３は、図２の表示例に示すように動画像から動作をしている人の骨格を分析して、骨格同士を比較して一致度を算出する。動作の比較及び一致度の算出は、上半身及び下半身の別毎に行われてもよい。また、動作の比較及び一致度の算出は、時刻毎、例えば、ダンスの部分毎に行われてもよい。また、動作の比較には、従来のＡＩ（人工知能）解析技術が用いられてもよい。また、上記以外の任意の方法で動作の比較が行われてもよい。

【0033】

比較部１３は、比較結果である算出した一致度を示す情報を出力する。例えば、動画像処理システム１０がユーザによって用いられる装置である場合、動画像処理システム１０のユーザが一致度を参照できるように、比較部１３は、動画像処理システム１０が備える表示装置に一致度を表示させる。この際、ユーザがダンスを確認しながら一致度を参照できるように、比較部１３は、図２に示すように比較動画像（ユーザのダンス）及び手本動画像（コーチのダンス）とあわせて一致度を表示させてもよい。

【0034】

また、動画像処理システム１０がユーザによって用いられる装置との間で情報を送受信する態様である場合、比較部１３は、ユーザによってユーザによって用いられる装置に算出した一致度を送信してもよい。また、比較部１３は、上記以外の方法で比較結果を示す情報を出力してもよい。以上が、本実施形態に係る動画像処理システム１０の機能である。

【0035】

引き続いて、図４のフローチャートを用いて、本実施形態に係る動画像処理システム１０で実行される処理（動画像処理システム１０が行う動作方法）を説明する。本処理では、まず、動画像取得部１１によって、それぞれ音声データが対応付けられた手本動画像及び比較動画像が取得される（Ｓ０１）。続いて、タイミング設定部１２によって、手本動画像及び比較動画像それぞれに対応付けられた音声データに基づいて、当該手本動画像に係る動作と当該比較動画像に係る動作とを比較するための動画像中のタイミングが設定される（Ｓ０２）。

【0036】

続いて、タイミング設定部１２によって設定されたタイミングに基づいて、比較部１３によって、手本動画像に係る動作と比較動画像に係る動作とが比較される（Ｓ０３）。続いて、比較部１３による比較結果を示す情報が出力される（Ｓ０４）。以上が、本実施形態に係る動画像処理システム１０で実行される処理である。

【0037】

本実施形態では、手本動画像及び比較動画像それぞれに対応付けられた音声データに基づいて、動作を比較するための動画像中のタイミングが設定されて、動作の比較が行われる。従って、本実施形態によれば、動画像間で音声にあわせた動作を容易かつ適切に比較することができる。

【0038】

また、本実施形態のように、手本動画像及び比較動画像に係る動作は、ダンスであり、手本動画像及び比較動画像に対応付けられる音声データは、ダンスのための楽曲に係るものであってもよい。この構成によれば、楽曲にあわせたダンスを容易かつ適切に比較することができる。

【0039】

但し、動画像処理システム１０の処理対象の動画像は、必ずしもダンスの動画像である必要はなく、任意の動作の動画像であってもよい。即ち、動画像処理システム１０の比較対象の動作は、ダンスである必要はなく、音声にあわせた任意の動作であってもよい。また、動画像処理システム１０による動画像の比較の目的は、上述したダンス（動作）の練習以外の任意の目的であってもよい。

【0040】

また、本実施形態のように、タイミング設定部１２は、手本動画像及び比較動画像それぞれに対応付けられた音声データの波形から類似している波形を抽出し、抽出した波形からタイミングを設定してもよい。この構成によれば、適切かつ確実にタイミングを設定することができ、その結果、適切かつ確実に動画像間で動作を比較することができる。

【0041】

なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

【0042】

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。

【0043】

例えば、本開示の一実施の形態における動画像処理システム１０は、本開示の情報処理を行うコンピュータとして機能してもよい。図５は、本開示の一実施の形態に係る動画像処理システム１０のハードウェア構成の一例を示す図である。上述の動画像処理システム１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

【0044】

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。動画像処理システム１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0045】

動画像処理システム１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

【0046】

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。例えば、上述の動画像処理システム１０における各機能は、プロセッサ１００１によって実現されてもよい。

【0047】

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、動画像処理システム１０における各機能は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

【0048】

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る情報処理を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0049】

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。動画像処理システム１０が備える記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

【0050】

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

【0051】

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0052】

また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

【0053】

また、動画像処理システム１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

【0054】

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0055】

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0056】

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0057】

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

【0058】

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

【0059】

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0060】

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

【0061】

本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

【0062】

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。

【0063】

本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。

【0064】

「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。

【0065】

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0066】

本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

【0067】

本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

【0068】

本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

【0069】

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

【0070】

本開示の動画像処理システムは、以下の構成を有する。
［１］ それぞれ音声データが対応付けられた、手本の動作の手本動画像、及び比較対象の動作の比較動画像を取得する動画像取得部と、
前記動画像取得部によって取得された手本動画像及び比較動画像それぞれに対応付けられた音声データに基づいて、当該手本動画像に係る動作と当該比較動画像に係る動作とを比較するための動画像中のタイミングを設定するタイミング設定部と、
前記タイミング設定部によって設定されたタイミングに基づいて、前記手本動画像に係る動作と前記比較動画像に係る動作とを比較する比較部と、
を備える動画像処理システム。
［２］ 前記手本動画像及び前記比較動画像に係る動作は、ダンスであり、
前記手本動画像及び前記比較動画像に対応付けられる音声データは、ダンスのための楽曲に係るものである［１］に記載の動画像処理システム。
［３］ 前記タイミング設定部は、前記手本動画像及び前記比較動画像それぞれに対応付けられた音声データの波形から類似している波形を抽出し、抽出した波形から前記タイミングを設定する［１］又は［２］に記載の動画像処理システム。

【符号の説明】

【0071】

１０…動画像処理システム、１１…動画像取得部、１２…タイミング設定部、１３…比較部、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…バス。

【図1】

【図2】

【図3】

【図4】

【図5】