特許 7120656 動作分析装置、動作分析方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-08

(45)【発行日】2022-08-17

(54)【発明の名称】動作分析装置、動作分析方法及びプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20220809BHJP

   A63B 69/00 20060101ALI20220809BHJP

   A63B 69/36 20060101ALI20220809BHJP

   A63B 71/06 20060101ALI20220809BHJP

【ＦＩ】

G06T7/20 300Z

A63B69/00 A

A63B69/36 541W

A63B71/06 U

【請求項の数】 5

(21)【出願番号】P 2020074643

(22)【出願日】2020-04-20

(65)【公開番号】P2021174048

(43)【公開日】2021-11-01

【審査請求日】2021-04-20

(73)【特許権者】

【識別番号】520141036

【氏名又は名称】原（佐藤） 知子

(74)【代理人】

【識別番号】100180921

【弁理士】

【氏名又は名称】峰 雅紀

(72)【発明者】

【氏名】佐藤 知子

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１３－０３９３５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０

Ａ６３Ｂ ６９／００

Ａ６３Ｂ ６９／３６

Ａ６３Ｂ ７１／０６

(57)【特許請求の範囲】

【請求項1】

出力の瞬間である出力瞬間を伴う連続した動作のデータに音を付与する動作分析装置であって、
前記データの一部又は全部を、早い方から順に、第１状態、第２状態、第３状態、及び、前記出力瞬間に区別する動作区別部と、
前記第１状態の開始のタイミングに第１音を付与する第１音付与部と、
前記第１状態から前記第２状態に変化するタイミングに第２音を付与する第２音付与部と、
前記第２状態から前記第３状態に変化するタイミングに第３音を付与する第３音付与部と、
前記出力瞬間に第４音を付与する第４音付与部とを備え、
前記第１状態は、前記動作が始まる直前の静止した状態である、動作分析装置。

【請求項2】

前記出力瞬間は、前記動作が引き起こす衝突を伴う瞬間であり、
前記第１状態、前記第２状態、及び、前記第３状態は、前記出力瞬間の予備動作であり、
前記第２状態は、前記動作の起点から離れる動作の状態であり、
前記第３状態は、前記衝突に向けて近づいていく動作の状態である、請求項１記載の動作分析装置。

【請求項3】

前記データのうち、少なくとも前記第１状態から前記出力瞬間に至るまでの時間の一部に対して、前記第３状態の時間の長さを整数で割った商である単位時間ごとの区切りを付与するBTB付与部をさらに備え、
前記第１音付与部、前記第２音付与部、前記第３音付与部、前記第４音付与部は、いずれかの前記単位時間に対して、それぞれ前記第１音、前記第２音、前記第３音、前記第４音を付与する、請求項２記載の動作分析装置。

【請求項4】

出力の瞬間である出力瞬間を伴う連続した動作のデータに音を付与する動作分析方法であって、
前記データの一部又は全部を、早い方から順に、第１状態、第２状態、第３状態、及び、前記出力瞬間に区別する動作区別ステップと、
前記第１状態の開始のタイミングに第１音を付与する第１音付与ステップと、
前記第１状態から前記第２状態に変化するタイミングに第２音を付与する第２音付与ステップと、
前記第２状態から前記第３状態に変化するタイミングに第３音を付与する第３音付与ステップと、
前記出力瞬間に第４音を付与する第４音付与ステップとを含み、
前記第１状態は、前記動作が始まる直前の静止した状態である、動作分析方法。

【請求項5】

コンピュータに、請求項４記載の動作分析方法を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えばスポーツや発話における、出力の瞬間である出力瞬間を伴う連続した動作又は音声のデータを分析する動作分析装置等に関する。

【背景技術】

【0002】

近年、高精度な動作を必要とするスポーツ分野においてＩＴ技術を活用しようとする動きが高まっている。例えば、見本の運動画像データと利用者の運動画像データを比較し、動きのずれや誤りを利用者に音で知らせることにより、正確で効果的な運動を行えるようにした運動支援システムが提案されている（特許文献1）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００６－３０２１２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、運動画像データを比較すると多種多様なずれが生じるため、どの部位のずれをどのように修正することが効果的であるかを分析するためには高度な知識を要求される。

【0005】

そこで、本発明は、動作の出力を高める上で特に効果的な動作分析装置等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の観点は、出力の瞬間である出力瞬間を伴う連続した動作又は音声のデータに音を付与する動作分析装置であって、前記データの一部又は全部を、早い方から順に、第１状態、第２状態、第３状態、及び、前記出力瞬間に区別する動作区別部と、前記第１状態の開始のタイミングに第１音を付与する第１音付与部と、前記第１状態から前記第２状態に変化するタイミングに第２音を付与する第２音付与部と、前記第２状態から前記第３状態に変化するタイミングに第３音を付与する第３音付与部と、前記出力瞬間に第４音を付与する第４音付与部とを備える、動作分析装置である。

【0007】

本発明の第２の観点は、第１の観点の動作分析装置であって、前記出力瞬間は、前記動作が引き起こす衝突を伴う瞬間であり、前記第１状態、前記第２状態、及び、前記第３状態は、前記出力瞬間の予備動作であり、前記第１状態は、前記動作が始まる直前の静止した状態又は周期的な前記動作における直前の前記出力瞬間であり、前記第２状態は、前記動作の起点から離れる動作の状態であり、前記第３状態は、前記衝突に向けて近づいていく動作の状態である。

【0008】

本発明の第３の観点は、第２の観点の動作分析装置であって、前記データのうち、少なくとも前記第１状態から前記出力瞬間に至るまでの時間の一部に対して、前記第３状態の時間の長さを整数で割った商である単位時間ごとの区切りを付与するBTB付与部をさらに備え、前記第１音付与部、前記第２音付与部、前記第３音付与部、前記第４音付与部は、いずれかの前記単位時間に対して、それぞれ前記第１音、前記第２音、前記第３音、前記第４音を付与する。

【0009】

本発明の第４の観点は、出力の瞬間である出力瞬間を伴う連続した動作又は音声のデータに音を付与する動作分析方法であって、前記データの一部又は全部を、早い方から順に、第１状態、第２状態、第３状態、及び、前記出力瞬間に区別する動作区別ステップと、前記第１状態の開始のタイミングに第１音を付与する第１音付与ステップと、前記第１状態から前記第２状態に変化するタイミングに第２音を付与する第２音付与ステップと、前記第２状態から前記第３状態に変化するタイミングに第３音を付与する第３音付与ステップと、前記出力瞬間に第４音を付与する第４音付与ステップとを含む、動作分析方法である。

【0010】

本発明の第５の観点は、コンピュータに、第４の観点の動作分析方法を実行させるプログラムである。

【0011】

本発明の第６の観点は、第３の観点の動作分析装置であって、前記第２状態における時間の長さである第２時間をカウントする第２時間計時部と、前記第３状態における時間の長さである第３時間をカウントする第３時間計時部と、前記第２時間と前記第３時間との長さの比を算出する時間比算出部とをさらに備える。

【発明の効果】

【0012】

本発明者は、超一流のスポーツ選手の動作は、毎回の動作の特徴点が同じリズムで行われている点に独自に着目した。本発明の各観点によれば、連続した動作又は音声のリズムを明確化することが可能となる。そのため、複数の動作又は音声に付与された音を特徴点として比較することが容易となる。結果として、動作やそのパフォーマンスの再現性が高まる。また、初めての動作でもコツをつかむことが容易となる。さらに、従来は指導者が言語化しにくかった技術の感覚的な詳細を客観的に他人に伝えることが可能となる。

【0013】

本発明の第２の観点によれば、分析対象となる動作の出力瞬間に至るまでの予備動作の時間を単位時間の集合として捉えることが可能となる。そのため、出力に大きな影響を与える予備動作を分析することが容易となる。結果として、良い出力を出せる動作であるか否かをリズムから客観的に判定することが容易となる。

【0014】

本発明の第３の観点によれば、出力瞬間を伴う動作を本発明者が独自に着眼した４つの重要な段階に分けてそのリズムを可聴化させる。そのため、動作を分析し、大きな出力をもたらす動作とそうでない動作を区別することが容易となる。さらに、無理無駄のない効率的な動きへの修正が容易となり、疲れやけがのリスクを抑制することが可能となる。

【0015】

本発明者は、動作がもたらす出力の大小には、第２時間と第３時間の長さの比が特に関係あることを見出した。そこで、本発明の第６の観点によれば、大きな出力をもたらす動作であるか否かを分析することがさらに容易となる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施形態の(a)動作分析装置の概要を示す構成図と(b)分析フローの処理の概要を示すフローチャート。

【図2】ゴルフのスイング動作の各状態を例示する図。

【図3】本実施例の動作分析方法を用いて作成したゴルフの動作ナビゲート音楽の楽譜を例示する図。

【発明を実施するための形態】

【0017】

以下、本発明の実施形態について、図面を参照しつつ説明する。但し、本発明はこの実施形態に限定されるものではない。

【実施例1】

【0018】

図１は、本発明の一実施形態である(a)動作分析装置１（本願請求項における「動作分析装置」の一例）の概要を示す構成図と(b)分析フローの処理の概要を示すフローチャートである。図１(a)の動作分析装置１は、動作区別部３（本願請求項における「動作区別部」の一例）と、プ付与部５（本願請求項における「第１音付与部」の一例）と、リ付与部７（本願請求項における「第２音付与部」の一例）と、ク付与部９（本願請求項における「第３音付与部」の一例）と、タ付与部１１（本願請求項における「第４音付与部」の一例）と、BTB付与部１３（本願請求項における「BTB付与部」の一例）とを備える。

【0019】

動作分析装置１は、出力の瞬間である出力瞬間を伴う連続した動作又は音声のデータ（本願請求項における「データ」の一例。以下「データ」と記載する。）に音を付与する。本発明者は、出力の瞬間を伴う動作が、予備動作を含めて特に４つの重要な段階に分けられることに独自に着眼した。すなわち、動作区別部３は、データの一部又は全部を、早い方から順に、動作が始まる前の静止状態であるプット（本願請求項における「第１状態」の一例）、動き始めて動作の起点から離れていくリリース（本願請求項における「第２状態」の一例）、リリースから一転して出力に近づくクローズ（本願請求項における「第３状態」の一例）、及び、出力瞬間であるタッチ（本願請求項における「出力瞬間」の一例）に区別する。

【0020】

これらの４つの段階における動作者の力の入れ方に注目すると、各段階は以下のようにも説明できる。プットは、体を静止させるために支える力を入れている状態である。リリースは、力みが開放されて目的の動作の前に体がゆるむ状態である。クローズは、目的の動作に転じて力が加えられている状態である。そして、タッチの瞬間に望ましくはピークに達したエネルギーが放出される。本発明は、リズムを分析して体がゆるむタイミングと力むタイミングの再現性を高めることを可能とする。

【0021】

プ付与部５は、プットの開始のタイミングに第１音を付与する。リ付与部７は、プットからリリースに変化するタイミングに第２音を付与する。ク付与部９は、リリースからクローズに変化するタイミングに第３音を付与する。タ付与部１１は、タッチの瞬間に第４音を付与する。BTB付与部１３は、データのうち、少なくともプットからタッチに至るまでの時間の一部に対して、クローズの時間の長さを整数で割った商である単位時間ごとの区切りを付与する。また、プ付与部５、リ付与部７、ク付与部９、タ付与部１１は、いずれかの単位時間に対して、それぞれ第１音、第２音、第３音、第４音を付与する。

【0022】

ここで、BTBはBehind The Beatの省略であり、タッチの瞬間であるBeatのバックグラウンドに存在する単位時間ごとの区切りの細かさを意味する。例えば、BTB=3は、周期的なタッチから次のタッチまでの時間（１拍）ごとに、タッチに対応する単位時間を含めて３つの単位時間が存在することを意味する。BTBが細かいほど時間の目盛りが細かく、様々なバリエーションで動作のリズムを設定することや動作のリズムを区別することが可能であることを意味する。

【0023】

以下、図１(b)及び図２を参照して、本実施例に係るリズム明確化方法について説明する。図２は、ゴルフのスイング動作の映像データに音を付与する動作分析方法（本願請求項における「動作分析方法」の一例）の概要を示すフローチャートである。図２は、ゴルフのスイング動作の各状態を示す図である。

【0024】

まず、スイングの映像データを動作分析装置１に読み込む（ステップS01）。次に、スイング動作の一部又は全部を、早い方から順に、プット（図３(a)）、リリース（図３(b)）、クローズ（図３(c)）、タッチ（図３(d)）に区別する（ステップS02、本願請求項における「動作区別ステップ」の一例）。続いて、スイング直前の構えの開始のタイミングに第１音を付与し（ステップS03、本願請求項における「第１音付与ステップ」の一例）、構えからスイング開始のタイミングに第２音を付与し（ステップS04、本願請求項における「第２音付与ステップ」の一例）、クラブを振り上げたところから振り下ろしに変化するタイミングに第３音を付与し（ステップS05、本願請求項における「第３音付与ステップ」の一例）、インパクトの瞬間に第４音を付与する（ステップS06、本願請求項における「第４音付与ステップ」の一例）。さらに、スイング映像のうち少なくとも構えからインパクトの瞬間までの一部に対して、クローズの時間を等分した単位時間ごとの区切りを付与する（ステップS07）。

【0025】

図３は、上記フローにより作成したゴルフの動作ナビゲート音楽の楽譜の一例である。図３に示す楽譜は、スイング動作だけでなく構えに入る前の準備動作からインパクトに至るまでの時間における、顔や手足の各動作についてプット、リリース、クローズ、タッチを分析して音を付与したものである。本発明をこのような楽譜を生成する動作ナビゲート音楽の生産装置や生産方法と捉えることも可能である。

【0026】

なお、図３の上部に示された「プリクタ」３１に対応する４つの音符は、素振りのスイング動作に対応している。図３の下部に示された「プリクタ」３３に対応する４つの音符は、本番のスイング動作に対応している。音符３５、３７、３９及び４１は、それぞれ本番のスイング動作のプットの開始、リリースの開始、クローズの開始、及び、タッチのタイミングに対応している。図３内のＲ及びＬは、それぞれ右足ワックルの接地及び左足ワックルの接地のタイミング、Ｈは、頭を向けて目標確認のタイミングを指している。

【0027】

本発明者は、拍の最初にリリースの開始である第２音、又は、クローズの開始である第３音がくるようにリズムを捉える（フレージング）と動作及び出力の再現性が高まることを見出した。通常は出力瞬間であるタッチに意識が向いてしまうが、力みをコントロールする重要な瞬間であるリリースの開始又はクローズの開始を拍の最初とすることにより、それらの延長線上にあるタッチとその出力の再現性を高めることが可能となるためである。人の感覚は日々変わるが、このように、準備動作からリズムに音を付与して可聴化や可視化を行うことで、仮にプレイヤーがスランプに陥った場合であっても好調なときの自分のリズムを確認して、早期にスランプを脱却することが可能となる。

【0028】

なお、本発明の動作分析装置等は、インパクトを伴うあらゆる動作に適用可能である。また、発声やスピーチや歌唱のように必ずしもインパクトではないが出力の瞬間を伴う動作にも適用可能である。発声や歌唱の場合、映像データではなく音声データのリズムを明確化することとしてもよい。

【0029】

また、周期的な動作においては、タッチが次の動作のプットと重なってもよい。

【0030】

さらに、プット、リリース、クローズが複数の単位時間にわたる場合は、音の長さ（音符の長さ）により表現してもよいし、各単位時間に第１音、第２音、第３音をそれぞれ付与してもよい。例えば、プットが３単位時間、リリースが６単位時間、リリースが２単位時間、クローズが１単位時間の場合には、「プププリリリリリリククタ」のように音を付与してもよい。

【0031】

さらに、本発明者は、超一流選手であれば単位時間は予備動作からタッチの瞬間まで一定であることを見出した。しかし、初心者をはじめとして多くの人々は、単位時間の幅が変動し得る。そのような場合は、ステップS07において、動作の途中で単位時間の長さを変更して単位時間の区切りを付与してもよい。例えば、リリースとクローズで異なる単位時間の長さを採用して区切りを付与してもよい。

【0032】

さらに、動作分析装置は、第２状態にある時間である第２時間の長さをカウントする第２時間計時部と、第３状態にある時間である第３時間の長さをカウントする第３時間計時部と、第２時間の長さと第３時間の長さとの比を算出する時間比算出部とをさらに備えるものであってもよい。また、動作分析方法は、これらに対応する第２時間計時ステップと、第３時間計時ステップと、時間比算出ステップとを含むものであってもよい。さらに、本発明者が見出した望ましい時間比、例えば、第２時間：第３時間＝３：１にどれだけ近いかを表示する表示部や表示ステップを有してもよい。

【0033】

さらに、BTB付与部は、BTB=3、BTB=6、9、12、24等、１拍に対して３の倍数のBTBを設定することが望ましい。

【0034】

さらに、第１音付与ステップの前に映像や音声データの再生速度を変化させる再生速度変化部や再生速度変化ステップをさらに有するものであってもよい。これにより、音を適切なタイミングで付与することが容易となる。

【0035】

さらに、本発明により、競技相手のリズムを分析して相手のタイミングを外すことを容易化することや、チームスポーツにおいてチームメイトとタイミングを合わせることを容易化することも可能である。タイミングを外すためには、あえてプットやタッチのタイミングに拍の最初を合わせるリズムの捉え方をすることも可能である。あえてそのような楽譜を生産する動作ナビゲート音楽の生産装置や生産方法であってもよい。

【符号の説明】

【0036】

１ 動作分析装置、３ 動作区別部、５ 第１音付与部、７ 第２音付与部、９ 第３音付与部、１１ 第４音付与部、１３ BTB付与部

【図1】

【図2】

【図3】