特開 2023-22702 運動分析装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023022702

(43)【公開日】2023-02-15

(54)【発明の名称】運動分析装置及びプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20230208BHJP

   G06T 7/00 20170101ALI20230208BHJP

【ＦＩ】

G06T7/20 300Z

G06T7/00 350B

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021127718

(22)【出願日】2021-08-03

(71)【出願人】

【識別番号】517354629

【氏名又は名称】株式会社Ｑｕｅｕｅ

(71)【出願人】

【識別番号】503231125

【氏名又は名称】株式会社インソース

(71)【出願人】

【識別番号】514265441

【氏名又は名称】株式会社みらい開発研究所

(71)【出願人】

【識別番号】521343367

【氏名又は名称】吉田 伊津美

(74)【代理人】

【識別番号】100122275

【弁理士】

【氏名又は名称】竹居 信利

(74)【代理人】

【識別番号】100102716

【弁理士】

【氏名又は名称】在原 元司

(72)【発明者】

【氏名】柴田 直人

(72)【発明者】

【氏名】吉田 伊津美

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA04

5L096DA02

5L096FA60

5L096GA30

5L096HA11

5L096JA22

5L096KA04

(57)【要約】

【課題】スマートフォンなどで撮影された動画像データを用いて、幼児等、対象者の運動の分析を行うことができる運動分析装置及びプログラムを提供する。
【解決手段】運動中の対象者を撮像した、一連のフレームを含む動画像データの入力を受け入れ、動画像データ中に撮像された対象者が、予め定めた基本運動パターンのいずれの運動を行っているかを表す情報を、当該動画像データに含まれるフレームごとに出力するよう機械学習された状態にある機械学習モデルを用い、上記受け入れた動画像データを入力して、当該動画像データに含まれるフレームごとの対象者の基本運動パターンを表す情報を得て出力情報を生成する運動分析装置１である。
【選択図】図１

【特許請求の範囲】

【請求項1】

運動中の対象者を撮像した、一連のフレームを含む動画像データの入力を受け入れる受入手段と、
動画像データを入力とし、入力された動画像データ中に撮像された対象者が、予め定めた基本運動パターンのいずれの運動を行っているかを表す情報を、当該動画像データに含まれるフレームごとに出力するよう機械学習された状態にある機械学習モデルを用い、前記受入手段が受け入れた動画像データを入力して、当該動画像データに含まれるフレームごとの対象者の基本運動パターンを表す情報を得る分析手段と、
前記分析手段が得た情報に基づいて出力情報を生成する情報生成手段と、
前記情報生成手段が生成した情報を出力する出力手段と、
を含み、
前記基本運動パターンは、姿勢の変化・安定性を伴う動作である平衡系動作と、重心移動を伴う動作である移動系動作と、人や物を操作する動作である操作系動作とのそれぞれについて複数の予め定められた基本運動パターンを含む運動分析装置。

【請求項2】

請求項１に記載の運動分析装置であって、
前記情報生成手段は、対象者の基本運動パターンごとの継続時間を集計した情報を生成する運動分析装置。

【請求項3】

請求項１または２に記載の運動分析装置であって、
前記基本運動パターンは、２つの互いに異なる前記基本運動パターンの組み合わせを含む運動分析装置。

【請求項4】

請求項１から３のいずれか一項に記載の運動分析装置であって、
前記情報生成手段は、一つの動画像データに撮像された対象者が、２つの互いに異なる基本運動パターンに係る運動を連続して行ったことを表す情報を出力する運動分析装置。

【請求項5】

コンピュータを、
運動中の対象者を撮像した、一連のフレームを含む動画像データの入力を受け入れる受入手段と、
動画像データを入力とし、入力された動画像データ中に撮像された対象者が、予め定めた基本運動パターンのいずれの運動を行っているかを表す情報を、当該動画像データに含まれるフレームごとに出力するよう機械学習された状態にある機械学習モデルを用い、前記受入手段が受け入れた動画像データを入力して、当該動画像データに含まれるフレームごとの対象者の基本運動パターンを表す情報を得る分析手段と、
前記分析手段が得た情報に基づいて出力情報を生成する情報生成手段と、
前記情報生成手段が生成した情報を出力する出力手段と、
として機能させるプログラムであって、
前記基本運動パターンは、姿勢の変化・安定性を伴う動作である平衡系動作と、重心移動を伴う動作である移動系動作と、人や物を操作する動作である操作系動作とのそれぞれについて複数の予め定められた基本運動パターンを含むプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、幼児等の対象者の運動を分析する運動分析装置及びプログラムに関する。

【背景技術】

【0002】

近年、幼児の運動能力の低下が指摘されており、幼児期に多様な運動の経験を行わせることで、運動能力の向上を図ることが考えられている（非特許文献１）。多様な運動経験を得させるためには、例えば幼稚園のクラスごとにどのような運動が行われているかをカウントし、不足している運動を行うよう遊びを促すことが一つの案として考えられる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１４８９２５号公報

【非特許文献】

【0004】

【非特許文献1】吉田伊津美，「動作の理解，指導内容の理解」、体育の科学、Vol.55, No.7, 2006, 507-511

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、幼児教育の現場では、行うべき業務が多数あるため、通常の業務に加え、運動の種類をカウントすることは容易ではない。そこで例えば特許文献１に開示された技術によれば、被験者の行動を把握することが可能になる。

【0006】

しかし、この特許文献１の技術では、被験者にカメラや心拍計等、多くの機器を取り付ける必要があり、簡便に導入できるものではない。また幼児は縦横に移動することも多いため、定点カメラなど固定設置型のカメラでは、幼児の運動を把握することが困難となる。

【0007】

本発明は上記実情に鑑みて為されたもので、例えばスマートフォンなどで撮影された動画像データを用いて、幼児等、対象者の運動の分析を行うことのできる運動分析装置、及びプログラムを提供することを、その目的の一つとする。

【課題を解決するための手段】

【0008】

上記従来例の問題点を解決するための本発明の一態様は、運動分析装置であって、運動中の対象者を撮像した、一連のフレームを含む動画像データの入力を受け入れる受入手段と、動画像データを入力とし、入力された動画像データ中に撮像された対象者が、予め定めた基本運動パターンのいずれの運動を行っているかを表す情報を、当該動画像データに含まれるフレームごとに出力するよう機械学習された状態にある機械学習モデルを用い、前記受入手段が受け入れた動画像データを入力して、当該動画像データに含まれるフレームごとの対象者の基本運動パターンを表す情報を得る分析手段と、前記分析手段が得た情報に基づいて出力情報を生成する情報生成手段と、前記情報生成手段が生成した情報を出力する出力手段と、を含み、前記基本運動パターンは、姿勢の変化・安定性を伴う動作である平衡系動作と、重心移動を伴う動作である移動系動作と、人や物を操作する動作である操作系動作とのそれぞれについて複数の予め定められた基本運動パターンを含むこととしたものである。

【発明の効果】

【0009】

本発明によると、例えばスマートフォンなどで撮影された動画像データを用いて、幼児等、対象者の運動の分析を行うことが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施の形態に係る運動分析装置の構成例を表すブロック図である。

【図2】本発明の実施の形態に係る運動分析装置の例を表す機能ブロック図である。

【図3】本発明の実施の形態に係る運動分析装置の処理例を表すフローチャート図である。

【図4】本発明の実施の形態に係る運動分析装置の変形例の動作を表す説明図である。

【発明を実施するための形態】

【0011】

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る運動分析装置１は、一般的なコンピュータ装置により実現され、図１に例示するように、制御部１１と、記憶部１２と、インタフェース部１３と、出力部１４とを少なくとも含んで構成されている。

【0012】

ここで制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態ではこの制御部１１は、運動中の対象者を撮像した、一連のフレーム（静止画像データ）を含む動画像データを入力とし、入力された動画像データ中に撮像された対象者が、予め定めた基本運動パターンのいずれの運動を行っているかを表す情報を、当該動画像データに含まれるフレームごとに出力するよう機械学習された状態にある機械学習モデルを用いた演算を行う。

【0013】

ここで、基本運動パターンは、
（１）姿勢の変化・安定性を伴う動作である平衡系動作と、
（２）重心移動を伴う動作である移動系動作と、
（３）人や物を操作する動作である操作系動作と、
のそれぞれについて複数の予め定められた基本運動パターンを含む。

【0014】

一例として基本運動パターンは、
（１）平衡系動作として
・まわる，ころがる
・おきる，ねる
・立つ
…
（２）移動系動作として
・這う
・歩く
・登る
・はねる
…
（３）操作系動作として、
・つかむ
・投げる
・蹴る
・当てる
…
といった動作となる。

【0015】

制御部１１は、所定の運動を行っている対象者を撮像した、一連のフレームを含む動画像データファイルの入力を受け入れる。ここでの動画像データファイルに含まれる動画像データは、対象者が一連の運動を行っている間だけ撮像したものであるとする。

【0016】

制御部１１は、上記機械学習モデルに、当該入力された動画像データファイルに含まれる動画像データを入力して、当該動画像データに含まれるフレームごとに、当該フレームに撮像された対象者が行っている運動の種類が、予め定めた基本運動パターンのいずれに該当するかを表す情報を得る。制御部１１は、ここで機械学習モデルを用いて得た情報に基づいて分析処理を行い、出力情報を生成し、当該出力情報を出力部１４等に対して出力する。この制御部１１の動作の内容については後に詳しく述べる。

【0017】

記憶部１２は、メモリデバイスやディスクデバイス等であり、制御部１１によって実行されるプログラムを格納する。このプログラムは、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部１２に複写されたものであってもよい。また、この記憶部１２には機械学習モデルを特定する情報と、その機械学習結果であるパラメータとが格納される。さらにこの記憶部１２は、制御部１１のワークメモリとしても動作する。

【0018】

インタフェース部１３は、例えばＵＳＢインタフェースやネットワークインタフェース等であり、動画像データを撮像したスマートフォンやカメラ等から動画像データを受け入れて、制御部１１に出力する。

【0019】

出力部１４は、ディスプレイ等であり、制御部１１から入力される指示に従って出力情報等を表示出力する。

【0020】

次に、本実施の形態の制御部１１の動作について説明する。本実施の形態の制御部１１は、既に述べたように、対象者が一連の運動を行っているシーンを撮像した、一連のフレーム（静止画像データ）を含む動画像データファイルを受け入れる。制御部１１は、当該入力された動画像データファイルに含まれる動画像データ中に撮像された対象者が、予め定めた基本運動パターンのいずれの運動を行っているかを表す情報を、当該動画像データに含まれるフレームごとに出力するよう機械学習された状態にある機械学習モデルを用いる。

【0021】

すなわち、この制御部１１は、機械学習モデルのパラメータ等に係る情報を記憶部１２に保持して、当該機械学習モデルを利用した処理を行う。一例として、本実施の形態の制御部１１が利用する機械学習モデルは、動画像認識のためのニューラルネットワークであり、既知の運動を行っている対象者を撮影した複数の動画像データを入力して次のように機械学習を行ったものである。

【0022】

ここで当該動画像データに撮像された対象者が行っている運動は、（１）姿勢の変化・安定性を伴う動作である平衡系動作と、（２）重心移動を伴う動作である移動系動作と、（３）人や物を操作する動作である操作系動作とのいずれかに類別可能な、Ｎ種類の予め定められた基本運動パターンのいずれかであるとする。

【0023】

この例では、上記機械学習モデルであるニューラルネットワークの入力層は動画像データに含まれるフレームを逐次的に受け入れ可能なものであるとし、出力層は分類の対象となる各基本運動パターンに対応するＮ個のノードを有するものとする。

【0024】

また各動画像データには、当該動画像データに撮像された対象者が行っている運動の種類を表す情報を、教師データとして関連付けて記録しておく。この教師データとなる運動の種類を表す情報は、予め人為的に付しておく。この、動画像データと対応する教師データとを関連付けたデータを、以下学習用データと呼ぶ。

【0025】

具体的に機械学習を行う際には、用意された学習用データに含まれる、複数の動画像データをニューラルネットワークに逐次的に入力し、出力層の各ノードに現れる値と、教師データが示す正解（教師データが表す基本運動パターンに対応するノードを「１」、それ以外のノードを「０」とする）との差に基づいて、ＢＰＴＴ（Back Propagation Through Time）などの方法によりニューラルネットワークのパラメータを更新していく。この処理は広く知られた機械学習の処理であるので、ここでの詳しい説明は省略する。

【0026】

制御部１１は、このように機械学習された状態にある機械学習モデルとして、そのニューラルネットワークの（機械学習後の更新された）パラメータを記憶部１２に保持して、当該保持したパラメータを参照して推論を行うものである。この制御部１１は、図２に例示するように、受入部２１と、運動特定部２２と、情報生成部２３と、分析処理部２４と、出力処理部２５とを機能的に含んで構成される。

【0027】

ここで受入部２１は、運動中の対象者を撮像した、一連のフレームを含む動画像データファイルの入力を受け入れる。そして受入部２１は、当該受け入れた動画像データファイルに含まれる動画像データを、運動特定部２２に出力する。なお、ここで入力される動画像データは、対象者が複数の種類の運動を続けて行っている状態を撮像したものであってもよいが、撮像された対象者は、少なくとも一種類の運動を行っているものとする。

【0028】

運動特定部２２は、受入部２１から入力される動画像データを、上記機械学習モデルへの入力データとして、機械学習モデルに対して入力する。運動特定部２２は、機械学習モデルの出力として、当該動画像データに含まれるフレームごとに、対象者の基本運動パターンを特定する情報を得る。

【0029】

本実施の形態の例では、運動特定部２２は、ｍ個のフレームからなる動画像データに基づいて、分類の対象となるＮ個の基本運動パターンに対応する、機械学習モデルの出力層のＮ個のノードの値（Ｎ次元のベクトル値）を、フレームの数だけ取り出す。ここで取り出した各フレームに対応するＮ個のノードのそれぞれの値は、当該フレームに撮像されている対象者が各ノードに対応する基本運動パターンの運動を行っていると推測される確率を表す情報となる。

【0030】

情報生成部２３は、運動特定部２２が得た値（Ｎ次元のベクトル値）に基づいて、入力した動画像データに撮像されている対象者が行っている運動に対応する基本運動パターンを特定する情報（以下、運動特定情報と呼ぶ）を生成する。一例として情報生成部２３は、運動特定部２２から入力された、各フレームに対応するＮ次元のベクトル値を総和する。そして情報生成部２３は、総和して得たベクトル値の成分のうち、最大の値となっている成分に対応する運動特定情報を、運動を表す情報として出力する。

【0031】

あるいはこの情報生成部２３は、フレームごとのベクトル値について、その成分のうち、最大の値となっている成分に対応する、基本運動パターンを特定する情報（運動特定情報）を得てもよい。この例では、情報生成部２３は、入力された動画像データのフレームごとに運動特定情報を得て、当該フレームごとの運動特定情報を、運動を表す情報として出力する。

【0032】

分析処理部２４は、入力した動画像データごと、または、動画像データのフレームごとに情報生成部２３が出力する、運動特定情報を集計し、どの基本運動パターンの運動がどれだけの割合で行われたかを表す情報を出力する。

【0033】

一例として情報生成部２３が、動画像データごとに、当該動画像データに撮像されている対象者の運動の種類を表す、運動特定情報を出力している場合、この分析処理部２４は、当該動画像データごとの運動特定情報に基づき、各種類の基本運動パターンの出現頻度を集計する。

【0034】

また別の例として、情報生成部２３が、動画像データに含まれるフレームごとに、当該フレームに撮像されている対象者の運動の種類を表す、運動特定情報を出力する場合、この分析処理部２４は、動画像データごとに、当該動画像データに含まれるフレームに関連して出力される運動特定情報の出現頻度を求め、各出現頻度の値を、当該動画像データのフレーム速度（毎秒何フレームの動画像データであったかを表す情報）で除した値を求める。

【0035】

この後者の例では動画像データごとに、各種類の基本運動パターンの運動がどれだけの時間だけ行われたかを表す情報（運動継続時間情報）が得られることとなる。分析処理部２４は、動画像データごとに得られる、各種類の基本運動パターンの運動継続時間情報を、さらに基本運動パターンの種類ごとに総和し、各種類の基本運動パターンに係る運動が行われた時間の総和を集計する。

【0036】

出力処理部２５は、分析処理部２４が集計して得た情報（以下、集計情報と呼ぶ）を、出力部１４に対して出力する。また、この出力処理部２５は、集計情報を参照し、分類の対象となるＮ種類の基本運動パターンごとの、出現頻度あるいは時間（運動継続時間情報）の総和を比較する。そして不足している種類の基本運動パターンを表す情報を提示するなどの処理を実行してもよい。

【0037】

［動作］
本実施の形態の運動分析装置１は、基本的には、以上の構成を備えており、次のように動作する。以下の例では、幼児の運動に関する情報を分析する例について説明する。

【0038】

本実施の形態の運動分析装置１を利用する際には、その利用前に予め、例えば種々の運動活動中の対象者である幼児を撮影した複数の動画像データを用意して、機械学習を行う。もっともこの機械学習は、この運動分析装置１のメーカーにおいて行っておくこととしてもよい。

【0039】

機械学習を行う際には、上記用意された動画像データごとに、当該動画像データ中に撮像された幼児が行っている運動に係るＮ種類（Ｎは２以上の整数）の基本運動パターンのいずれかを表す情報（教師データ）を関連付けて記録して学習用データとする。既に述べたように、ここでは基本運動パターンは、平衡系動作として「まわる，ころがる」、「おきる，ねる」、「立つ」…、あるいは移動系動作として「這う」、「歩く」、「登る」、「はねる」…、さらには操作系動作として、「つかむ」、「投げる」、「蹴る」、「（ボールなどを的などに）当てる」…といったように予めＮ種類に分類して定めておく。

【0040】

ここでは上記用意された動画像データごとに、当該動画像データ中に撮像された幼児が行っている運動に係る上記基本運動パターンを表す情報（「歩く」、「蹴る」など）を関連付けて記録する処理は、人為的に、動画像データを確認しつつ行うこととする。

【0041】

またここで、機械学習の対象とするモデルは、例えば浅谷学嗣et.al.,「動画像認識のための３次元畳み込みＲＮＮの提案」，情報処理学会研究報告，Vol.2016-CVIM-201, No.6,p.1-4などにあるような動画像認識のためのニューラルネットワークであり、動画像データを入力とし、Ｎ種類の予め定められた基本運動パターンのいずれかの分類結果を出力するものとする。この出力である分類結果は、既に説明したように、例えばＮ次元のベクトル値であり、各種類の基本運動パターンの運動が入力された動画像データに含まれる確率を表すものとなる。

【0042】

機械学習の処理を行う作業者は、学習用データに含まれる、複数の動画像データを、このニューラルネットワークに逐次的に入力する。そして各動画像データを入力したときに出力層の各ノードに現れる値と、当該動画像データに対応する教師データが示す正解（教師データが表す基本運動パターンに対応するノードを「１」、それ以外のノードを「０」とする）との差に基づいて、ＢＰＴＴ（Back Propagation Through Time）などの方法によりニューラルネットワークのパラメータを更新する。作業者はこの処理を動画像データごとに繰り返して行い、機械学習モデル（機械学習の処理により得られた、上記ニューラルネットワークのパラメータ）を得る。

【0043】

このニューラルネットワークのモデルを規定する情報と機械学習の処理により得られたパラメータとは、記憶部１２に格納されて、運動分析装置１の運動分析の処理に利用される。すなわち、ここで記憶部１２に格納された、ニューラルネットワークのモデルを規定する情報と、そのパラメータとにより、動画像データを入力とし、入力された動画像データ中に撮像された対象者が、予め定めた基本運動パターンのいずれの運動を行っているかを表す情報を、当該動画像データに含まれるフレームごとに出力するよう機械学習された状態にある機械学習モデルが実現される。

【0044】

ここまでの準備が完了した後、運動分析装置１は、図３に例示する処理を開始し、分析の対象となる動画像データとして、所定の期間内に、運動中の幼児を撮像した、一連のフレームを含む動画像データの入力を受け入れる（Ｓ１）。ここで所定の期間は、例えばある特定の日や、予め定めた時間範囲（例えばある日の１０時から１１時までの１時間の間、など）であるものとする。

【0045】

運動分析装置１は、入力された動画像データのそれぞれを、記憶部１２に格納した、機械学習モデルへの入力データとして、機械学習モデルの出力を得る（Ｓ２）。本実施の形態の一例では、運動分析装置１は、機械学習モデルの出力として、各動画像データに含まれるフレーム（静止画像データ）ごとに、対象者の行っている運動を表す基本運動パターンを特定する運動特定情報を得る。

【0046】

すなわち、運動分析装置１は、ある動画像データにｍ個のフレームが含まれるとき、予め定めたＮ個の基本運動パターンに対応する、機械学習モデルの出力層のＮ個のノードの値（Ｎ次元のベクトル値）を、当該動画像データのフレームの数ｍだけ出力することとなる。

【0047】

運動分析装置１は、得られたｍ個のＮ次元のベクトル値に基づいて、入力した動画像データに撮像されている幼児が行っている運動を表す情報を生成する（Ｓ３）。例えば運動分析装置１は、得られたｍ個のＮ次元のベクトル値を総和し、総和して得られたＮ次元のベクトル値の各成分のうち、最大の値となっている成分に対応する基本運動パターンを特定する運動特定情報を出力する。

【0048】

具体的な例として、運動分析装置１は、入力された動画像データと、当該動画像データに基づいて得た、基礎運動パターンの種類を特定する運動特定情報とを関連付けて記憶部１２に格納する。また運動分析装置１は、動画像データごとに格納された運動特定情報を用いて、集計処理を行う（Ｓ４）。

【0049】

そしてこの運動分析装置１は、当該集計処理の結果を、運動を表す情報として出力する（Ｓ５）。本実施の形態のこの例によると、運動分析装置１は、入力された動画像データが撮像された期間における幼児の基礎運動パターンの度数分布を提示するとともに、この度数分布の情報をさらに（１）姿勢の変化・安定性を伴う動作である平衡系動作と、（２）重心移動を伴う動作である移動系動作と、（３）人や物を操作する動作である操作系動作に分類して集計し、これら（１）から（３）の運動のそれぞれが行われた頻度の情報を生成して提示する。

【0050】

運動分析装置１の利用者は、例えばある幼稚園などにおける幼児たちの一日の行動をスマートフォンなどで撮影して動画像データファイルとして記録し、この運動分析装置１に入力することにより、一日のうちに幼児が行う基礎運動パターンの分布や、（１）姿勢の変化・安定性を伴う動作である平衡系動作と、（２）重心移動を伴う動作である移動系動作と、（３）人や物を操作する動作である操作系動作といった分類ごとの頻度の情報を得ることができる。

【0051】

そしてこれより、幼児の運動の分析を行い、不足している基礎運動パターンを特定したり、あるいは過剰な基礎運動パターンを特定したりすることが可能となる。

【0052】

［運動継続時間情報の利用例］
またこの運動分析装置１は、基本運動パターンの情報を、動画像データごとだけではなく、既に述べたようにフレームごとに取得してもよい。この場合、フレームごとに得られるＮ次元のベクトル値について、その成分のうち、最大の値となっている成分に対応する基本運動パターンを表す情報を得ることとすればよい。

【0053】

そしてこのときには、運動分析装置１は、集計の処理として、各動画像データについて、それに含まれるフレームごとに得られた運動特定情報の出現頻度を求め、各出現頻度の値を、当該動画像データのフレーム速度で除した値を求める。

【0054】

これにより運動分析装置１は、各動画像データにおいて、各種類の基本運動パターンの運動がどれだけの時間だけ行われたかを表す情報（運動継続時間情報）を得る。そして運動分析装置１は、動画像データごとに得られた各種類の基本運動パターンの運動継続時間情報を、さらに基本運動パターンの種類ごとに総和し、すべての動画像データにおいて各種類の基本運動パターンに係る運動が行われた時間の総和を集計する。

【0055】

そして運動分析装置１は、当該集計処理の結果を出力する。本実施の形態のこの例によると、運動分析装置１は、入力された動画像データが撮像された期間において、幼児が各種類の基礎運動パターンの運動をそれぞれどのくらいの時間だけ行ったかを表す各合計時間を提示するとともに、この合計時間の情報に基づいてさらに、（１）姿勢の変化・安定性を伴う動作である平衡系動作と、（２）重心移動を伴う動作である移動系動作と、（３）人や物を操作する動作である操作系動作のそれぞれの運動を行った時間の合計を生成して提示する。

【0056】

［２以上の運動の連続］
この後者の例によると、対象者である幼児などが、２以上の互いに異なる基本運動パターンの運動を続けて行う場合、例えば、動画像データの冒頭の２４フレームでは「歩く」の基本運動パターンに属する運動が行われているが、次の６フレームで「投げる」の基本運動パターンに属する運動が行われる場合（歩いてきてボールを投げる動作を行った場合）、フレームごとに、当該フレームに撮像されている対象者が行っている運動の基本運動パターンの種類を特定しているので、連続して行われたそれぞれの運動を集計できる。

【0057】

さらに、基本運動パターンを特定する情報をフレームごとに取得する本実施の形態の例では、運動分析装置１は、動画像データのうち、２以上の運動が連続して行われていると判断される動画像データについては、当該動画像データについて、２以上の運動が連続して行われている旨の情報を出力してもよい。

【0058】

具体的に運動分析装置１は、動画像データごとに、それに含まれるフレームごとに取得した運動特定情報を参照し、複数の種類の基本運動パターンを特定する運動特定情報があるか否かを調べる。そして一つの動画像データに含まれるフレームについて、複数の種類の基本運動パターンを特定する運動特定情報が得られている場合、２以上の運動が連続して行われていると判断する。運動分析装置１は、２以上の運動が連続して行われていると判断した動画像データに関して、２以上の運動が連続して行われている旨の情報を関連付けて記録してもよい。

【0059】

また、運動分析装置１は、動画像データごとに、それに含まれるフレームごとに取得した運動特定情報をフレームの時系列順に参照して、最初のフレームについて得られた運動特定情報で特定される基本運動パターンを初期運動として、
・初期運動を特定する運動特定情報が最初のフレームから少なくとも複数フレームに亘って得られていること、かつ、
・初期運動とは異なる基本運動パターンを特定する情報が少なくとも複数フレームに亘って得られていること
を条件として、この条件が満足される場合に、２以上の運動が連続して行われていると判断してもよい。この場合も、当該２以上の運動が連続して行われているとの判断が行われた動画像データに関して、２以上の運動が連続して行われている旨の情報を関連付けて記録してもよい。

【0060】

運動分析装置１は、２以上の運動が連続して行われている旨の情報が関連付けて記録されている動画像データの数を出力する。あるいはこの運動分析装置１は、２以上の運動が連続して行われている旨の情報が関連付けて記録されている動画像データの数を、入力された全ての動画像データの数（所定の期間内に対象者を撮像して得た動画像データの数）で除して、動画像データが撮像された所定の期間内に、２以上の運動が連続して行われた割合を出力してもよい。

【0061】

この例によると、対象者が２以上の運動を連続して行ったケースの有無、あるいはその比率を分析できる。このような分析は例えば幼児教育などの現場で有用である。

【0062】

［２以上の運動の組み合わせ］
さらに、本実施の形態の一例では、一つの動画像データまたは一つのフレームについて、当該動画像データまたはフレームに撮像された対象者が行っている運動を表す、２以上の基本運動パターンを特定する運動特定情報が生成されてもよい。

【0063】

具体的に、運動分析装置１は、ｍ個のフレームを含む動画像データの入力を受けると、既に述べたように、フレームごとに、予め定めたＮ個の基本運動パターンに対応する、機械学習モデルの出力層のＮ個のノードの値（Ｎ次元のベクトル値）を得る。

【0064】

そして動画像データごとに基本運動パターンを表す情報を生成する場合には、運動分析装置１は、ここで得られたｍ個のＮ次元のベクトル値を総和し、総和して得られたＮ次元のベクトル値Ｖの各成分Ｖ1，Ｖ2,…ＶNのうち、最大の値Ｖmaxを見出す。

【0065】

そして運動分析装置１は、このＶmaxとの差が所定のしきい値を下回る成分Ｖi（ｉ＝１，２，…Ｎ）を、上記総和後のベクトル値Ｖから抽出する。ここでしきい値は予め定めた固定の値であってもよいし、ベクトル値Ｖの各成分Ｖ1，Ｖ2,…ＶNに基づく所定の演算（例えばベクトルＶの各成分の最大値と最小値との差を予め定めた定数により除した値とする、あるいは例えばベクトルＶの各成分のうちその値が大きい方から２つをとり、２番目に大きい値以上とするなど）により定められてもよい。

【0066】

運動分析装置１は、そして、抽出した各成分に対応する基本運動パターンを特定する運動特定情報を出力する。

【0067】

この処理の例によると、運動分析装置１は、動画像データごとに少なくとも１つの基本運動パターンを特定する運動特定情報を得ることとなり、場合によっては複数の種類の基本運動パターンのそれぞれに対応する運動特定情報の組み合わせを得ることとなる。運動分析装置１は、動画像データごとに得た運動特定情報を、対応する動画像データを特定する情報に関連付けて保持し、集計処理を行う。この集計処理は既に述べた例と同様のもので、入力された動画像データについて得られた、対象者の基礎運動パターンの度数分布を提示するものでよい。また、運動分析装置１は、この度数分布の情報をさらに（１）姿勢の変化・安定性を伴う動作である平衡系動作と、（２）重心移動を伴う動作である移動系動作と、（３）人や物を操作する動作である操作系動作に分類して集計し、これら（１）から（３）の運動のそれぞれが行われた頻度の情報を生成して提示することとしてもよい。

【0068】

あるいはこの例の運動分析装置１は、集計処理として、入力された動画像データについて得られた、対象者の基礎運動パターンの組み合わせの度数分布を求めて提示してもよい。つまり、「歩く」運動に係る運動特定情報と、「歩く」と「投げる」との組み合わせの運動に係る２つの運動特定情報の組み合わせとを区別して集計してもよい（この例では組み合わせを集計するので、「歩く」と「投げる」との順序は問わないで集計するものとする）。

【0069】

このように基本運動パターンの組み合わせを含めて集計することにより、２以上の基本運動パターンを組み合わせた、より複雑な運動がどの程度行われているかを分析可能となる。

【0070】

また、運動分析装置１は、上述の処理に代えて、ｍ個のフレームを含む動画像データの入力を受けると、既に述べたように、フレームごとに、予め定めたＮ個の基本運動パターンに対応する、機械学習モデルの出力層のＮ個のノードの値（Ｎ次元のベクトル値）を得た後、ここで得られたｍ個のＮ次元のベクトル値ｖ1，ｖ2，…，ｖmのそれぞれについて、最大の値ｖj_max（ｊ＝１，２，…，ｍ）を見出す。

【0071】

そして運動分析装置１は、フレームごとに得られたベクトル値ｖjごとに、対応するベクトル値から得られた最大の成分の値ｖj_maxとの差が所定のしきい値を下回る成分ｖj_i（ｉ＝１，２，…Ｎ）を、上記各ベクトル値ｖjから抽出する。ここでしきい値は予め定めた固定の値であってもよいし、ベクトル値ｖjの各成分vj_1，vj_2,…ｖj_Nに基づく所定の演算（例えばベクトルｖjの各成分の最大値と最小値との差を予め定めた定数により除した値とする、あるいは例えばベクトルｖjの各成分のうちその値が大きい方から２つをとり、２番目に大きい値以上とするなど）により定められてもよい。

【0072】

運動分析装置１は、そして、フレームごとのベクトル値ｖjごとに、上記抽出した各成分に対応する基本運動パターンを特定する運動特定情報を出力する。この処理の例によると、運動分析装置１は、動画像データごと、かつフレームごとに少なくとも１つの基本運動パターンを特定する運動特定情報を得ることとなり、場合によってはフレームごとに複数の種類の基本運動パターンのそれぞれに対応する運動特定情報の組み合わせを得ることとなる。

【0073】

そして運動分析装置１は、集計の処理として、各動画像データについて、それに含まれるフレームごとに得られた運動特定情報の出現頻度を求める。なお、一つのフレームについて複数の運動特定情報が得られている場合は、運動分析装置１は、当該組み合わせの出現頻度をカウントする。そして運動分析装置１は、各出現頻度の値を、当該動画像データのフレーム速度で除した値を求める。

【0074】

これにより運動分析装置１は、各動画像データにおいて、各種類の基本運動パターンの運動、並びに、複数種類の基本運動パターンを組み合わせた運動がどれだけの時間だけ行われたかを表す運動継続時間情報を得る。

【0075】

そして運動分析装置１は、動画像データごとに得られた各種類の基本運動パターンの組み合わせに係る運動継続時間情報を、さらに基本運動パターンの組み合わせごとに総和し、すべての動画像データにおいて各種類の基本運動パターンの組み合わせに係る運動が行われた時間の総和を集計して出力する。

【0076】

この例によっても、基本運動パターンの組み合わせを含めて集計することにより、２以上の基本運動パターンを組み合わせた、より複雑な運動がどの程度行われているかをフレームごとに分析可能となる。

【0077】

［変形例］
ここまでの説明において制御部１１が利用する機械学習モデルについては、その一例として動画像データに含まれるフレームを逐次的に受け入れるものとして、ＲＮＮを用いるものを例示したが、本実施の形態の機械学習モデルはＲＮＮを用いたものに限られない。

【0078】

本実施の形態の別の例では、制御部１１が用いる機械学習モデルは、入力される動画像データに含まれるフレーム（静止画像データ）の数Ｋよりも小さいｋ個の連続して撮像されたフレームを入力とし、当該フレームに撮像された対象者の運動が、分類の対象となる各基本運動パターンのいずれであるかを表す確率に係る情報を出力するよう機械学習された機械学習モデルであってもよい。

【0079】

この例では、制御部１１は、入力された動画像データに含まれるフレームを、第１番目から第ｋ番目までの群と、第ｐ＋１番目（ｐは１＜ｐ＜ｋの整数とする）から第ｐ＋ｋ番目までの群と、第ｐ＋ｋ＋１番目から第ｐ＋２ｋ番目までの群と…というように、重複を許しながら連続したｋ個のフレームを含むフレーム群を抽出し、当該抽出した各フレーム群を、上記機械学習された機械学習モデルの入力として、群ごとに、当該群に含まれるフレームに撮像された対象者の運動が、基本運動パターンのいずれであるかを表す確率を得る。

【0080】

そして制御部１１は、フレームごとに、当該フレームが属する群について得られた、各基本運動パターンの運動が撮像された確率に係る情報を用いて、アンサンブル（統計的処理）により、当該フレームに撮像された対象者が行う運動が、いずれの基本運動パターンの運動であるかを判断する。

【0081】

なお、既に述べたように、上位２つ以上の確率の差に有意な差がない場合は、制御部１１は、２以上の基本運動パターンの運動が並行して行われていると判断してもよい。

【0082】

具体的に、図４に例示するように、ｋ＝４、ｐ＝ｋ／２＝２とした場合、最初のｋ個のフレームから、上記機械学習モデルを用いて各基本運動パターンの運動が撮像されている確率を表すＮ次元のベクトルＶ1が得られ、次に続く第３番目から第６番目までのｋ個のフレームから上記機械学習モデルを用いてＮ次元のベクトルＶ2が得られ…というように、各群ごとにＮ次元のベクトルが得られているとする。

【0083】

このとき制御部１１は、第１、第２番目のフレームについては第１番目のフレーム群に基づくベクトルＶ1のみが得られているので、例えばこのベクトルＶ1の各成分のうち最大の成分に対応する基本運動パターンの運動が行われているとして、当該基本運動パターンを特定する運動特定情報を得る。

【0084】

また第３，第４番目のフレームについては第１番目のフレーム群に基づくベクトルＶ1と第２番目のフレーム群に基づくベクトルＶ2とが得られているので、例えばこれらのベクトルの和Ｖ1＋Ｖ2の各成分のうち最大の成分に対応する基本運動パターンの運動が行われているとして、当該基本運動パターンを特定する運動特定情報を得る。そして制御部１１は、以下同様に、フレームごとに運動特定情報を得る。

【0085】

本実施の形態のこの例によると、ｐ個のフレームごとに、フレームによっては複数の群に係る情報を用いて運動特定情報が得られることとなる。これにより、行われている運動の判別の精度向上が期待され、また、２以上の運動が連続して行われているときに当該運動の検出が可能となる。

【0086】

なお、ここではｐ＝ｋ／２（群のサイズの１／２ずつずらして群を抽出する）こととしたが、これは一例でありｐ＝ｋ／４としてもよいし、ｋの大きさに関わらずに決定しても構わない。

【0087】

［実施形態の効果］
本実施の形態の運動分析装置１によると、スマートフォンなどで撮影された動画像データを用いて、幼児等、対象者の運動の分析を行うことが可能となる。

【符号の説明】

【0088】

１ 運動分析装置、１１ 制御部、１２ 記憶部、１３ インタフェース部、１４ 出力部、２１ 受入部、２２ 運動特定部、２３ 情報生成部、２４ 分析処理部、２５ 出力処理部。

【図1】

【図2】

【図3】

【図4】