特開 2023-68571 被写体の動作を解析する動作解析システム、動作解析装置、動作解析方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023068571

(43)【公開日】2023-05-17

(54)【発明の名称】被写体の動作を解析する動作解析システム、動作解析装置、動作解析方法、およびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20230510BHJP

【ＦＩ】

G06T7/20 300Z

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021179824

(22)【出願日】2021-11-02

(71)【出願人】

【識別番号】521481522

【氏名又は名称】藤田 旭洋

(71)【出願人】

【識別番号】521481533

【氏名又は名称】大熊 拓海

(71)【出願人】

【識別番号】521481544

【氏名又は名称】村井 輝

(74)【代理人】

【識別番号】100104880

【弁理士】

【氏名又は名称】古部 次郎

(74)【代理人】

【識別番号】100185317

【弁理士】

【氏名又は名称】石井 琢哉

(72)【発明者】

【氏名】藤田 旭洋

(72)【発明者】

【氏名】大熊 拓海

(72)【発明者】

【氏名】村井 輝

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA21

5L096DA01

5L096DA04

5L096FA09

5L096FA16

5L096FA66

5L096FA67

5L096FA69

5L096GA30

5L096HA04

5L096HA11

(57)【要約】

【課題】解析対象となる特定の被写体だけを撮影した動画データを必要とする解析に比べ、より簡易に動作評価の分析結果を得る。
【解決手段】
複数の被写体が撮影された動画データを取得する取得手段と、前記動画データに撮影されている前記複数の被写体から、動作を解析する被写体を選定する手段と、選定された被写体を他と区別して前記動画データに表示する表示手段と、前記表示手段に前記他と区別して表示された前記一または複数の被写体についての動作の解析結果を出力する出力手段と、を有することを特徴とする動作解析システム。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の被写体が撮影された動画データを取得する取得手段と、
前記動画データに撮影されている前記複数の被写体から、動作を解析する一または複数の被写体を選定し、または指定された一または複数の被写体の情報を取得する手段と、
選定または指定された前記一または複数の被写体を他と区別して前記動画データまたは他の動画データに表示する表示手段と、
前記表示手段に前記他と区別して表示された前記一または複数の被写体についての動作の解析結果を出力する出力手段と、
を有することを特徴とする動作解析システム。

【請求項2】

前記出力手段は、選定された前記複数の被写体の中から特定された特定被写体についての動作の解析結果を出力する
ことを特徴とする請求項１記載の動作解析システム。

【請求項3】

前記出力手段は、選定された前記複数の被写体の各々の動作の解析結果を、各々を他と区別した状態で出力する
ことを特徴とする請求項１記載の動作解析システム。

【請求項4】

前記一または複数の被写体の選定は、同種の動作を行っている被写体から選定する
ことを特徴とする請求項１記載の動作解析システム。

【請求項5】

コンピュータに、
動画データに撮影されている複数の被写体から一または複数の被写体を選定するための選定情報を取得する機能と、
取得した前記選定情報を用いて前記一または複数の被写体を他と区別して前記動画データに表示する機能と、
前記他と区別して表示された前記一または複数の被写体から、動作の解析結果を出力すべき特定被写体の指定を受ける機能と、
指定された前記特定被写体についての動作の解析結果を出力する機能と、
を実現するプログラム。

【請求項6】

プロセッサを備えた動作解析装置であって、
前記プロセッサは、
複数の被写体が撮影された動画データを取得し、
前記動画データに含まれる前記複数の被写体から、動作を解析する一または複数の被写体を検出し、
検出された前記一または複数の被写体について動作を解析し、
動作を解析した前記一または複数の被写体を他と区別して表示するための表示情報と、動作を解析した解析情報とを出力すること
を特徴とする動作解析装置。

【請求項7】

前記プロセッサは、
前記一または複数の被写体の情報を取得し、
前記動画データから検出された一または複数の被写体と、取得した一または複数の被写体の情報とを関連付け、
前記一または複数の被写体の情報と関連付けられた前記一または複数の被写体について動作を解析し、
動作を解析した前記一または複数の被写体を他と区別して表示するための表示情報と、動作を解析した解析情報とを出力すること
を特徴とする請求項６記載の動作解析装置。

【請求項8】

複数の被写体が撮影された動画データを取得し、
前記動画データに撮影されている前記複数の被写体から、動作を解析する一または複数の被写体を選定し、または指定された一または複数の被写体の情報を取得し、
選定または指定された前記一または複数の被写体を他と区別して前記動画データまたは他の動画データに表示し、
前記他と区別して表示された前記一または複数の被写体についての動作の解析結果を出力する
ことを特徴とする動作解析方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体の動作を解析する動作解析システム、動作解析装置、動作解析方法、およびプログラムに関する。

【背景技術】

【0002】

特許文献１には、被検者の関節間距離と基準長さとの比に基づいて、被検者の動作状態を評価する動作状態評価システムが提案されている。動作状態評価システムでは、情報端末から送信された動画像および身長の情報を受信して記憶する。そして、走行する被検者の動画像から複数の身体特徴点を推定し、推定された複数の身体特徴点から定まる基準部位に相当する画像上の特徴点距離（画素単位の距離）と基準長さ（メートル単位系の長さ）との比に基づき、被検者の動作の評価に用いる値として、複数の身体特徴点の間の画像上の距離から被検者の動作状態を示す値を求める。そして、ユーザが解析評価一覧ボタンを押下すると、解析と評価の履歴が一覧表示され、過去の解析や評価を表示させることができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１９－０８２３７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、一般に被写体を分析するためには、分析のための被写体だけを予め特定して撮影する必要がある。しかしながら、例えば多数の子供たちが存在しているような環境では被写体を特定して撮影することが難しく、被写体の分析結果を得ることが容易ではなかった。

【0005】

本発明は、解析対象となる特定の被写体だけを撮影した動画データを必要とする解析に比べ、より簡易に分析結果を得ることを目的とする。

【課題を解決するための手段】

【0006】

請求項１に記載された発明は、複数の被写体が撮影された動画データを取得する取得手段と、前記動画データに撮影されている前記複数の被写体から、動作を解析する一または複数の被写体を選定し、または指定された一または複数の被写体の情報を取得する手段と、選定または指定された前記一または複数の被写体を他と区別して前記動画データまたは他の動画データに表示する表示手段と、前記表示手段に前記他と区別して表示された前記一または複数の被写体についての動作の解析結果を出力する出力手段と、を有することを特徴とする動作解析システムである。
請求項２に記載された発明は、前記出力手段は、選定された前記複数の被写体の中から特定された特定被写体についての動作の解析結果を出力することを特徴とする請求項１記載の動作解析システムである。
請求項３に記載された発明は、前記出力手段は、選定された前記複数の被写体の各々の動作の解析結果を、各々を他と区別した状態で出力することを特徴とする請求項１記載の動作解析システムである。
請求項４に記載された発明は、前記一または複数の被写体の選定は、同種の動作を行っている被写体から選定することを特徴とする請求項１記載の動作解析システムである。
請求項５に記載された発明は、コンピュータに、動画データに撮影されている複数の被写体から一または複数の被写体を選定するための選定情報を取得する機能と、取得した前記選定情報を用いて前記一または複数の被写体を他と区別して前記動画データに表示する機能と、前記他と区別して表示された前記一または複数の被写体から、動作の解析結果を出力すべき特定被写体の指定を受ける機能と、指定された前記特定被写体についての動作の解析結果を出力する機能と、を実現するプログラムである。
請求項６に記載された発明は、プロセッサを備えた動作解析装置であって、前記プロセッサは、複数の被写体が撮影された動画データを取得し、前記動画データに含まれる前記複数の被写体から、動作を解析する一または複数の被写体を検出し、検出された前記一または複数の被写体について動作を解析し、動作を解析した前記一または複数の被写体を他と区別して表示するための表示情報と、動作を解析した解析情報とを出力することを特徴とする動作解析装置である。
請求項７に記載された発明は、前記プロセッサは、前記一または複数の被写体の情報を取得し、前記動画データから検出された一または複数の被写体と、取得した一または複数の被写体の情報とを関連付け、前記一または複数の被写体の情報と関連付けられた前記一または複数の被写体について動作を解析し、動作を解析した前記一または複数の被写体を他と区別して表示するための表示情報と、動作を解析した解析情報とを出力することを特徴とする請求項６記載の動作解析装置である。
請求項８に記載された発明は、複数の被写体が撮影された動画データを取得し、前記動画データに撮影されている前記複数の被写体から、動作を解析する一または複数の被写体を選定し、または指定された一または複数の被写体の情報を取得し、選定または指定された前記一または複数の被写体を他と区別して前記動画データまたは他の動画データに表示し、前記他と区別して表示された前記一または複数の被写体についての動作の解析結果を出力することを特徴とする動作解析方法である。

【発明の効果】

【0007】

本発明は、解析対象となる特定の被写体だけを撮影した動画データを必要とする解析に比べ、複数の被写体を撮影した動画データからより簡易に分析結果を得ることができる。

【図面の簡単な説明】

【0008】

【図1】本実施の形態が適用される動画解析システムの全体構成を示す図である。

【図2】端末装置の機能構成を示す図である。

【図3】サーバの機能構成を示す図である。

【図4】動作解析システムの端末装置側の入力画面を示す図である。

【図5】（Ａ）、（Ｂ）、（Ｃ）は、動作解析システムの表示画面を示す図である。

【図6】動作評価結果の基本情報を表示した表示画面を示す図である。

【図7】動作評価結果のポイントを表示した表示画面を示す図である。

【図8】動作評価結果のおすすめ情報を表示した表示画面を示す図である。

【図9】複数の被写体の動作評価結果を表示した表示画面を示す図である。

【図10】複数の生徒の動作評価の結果を表示した表示画面を示す図である。

【図11】端末装置の処理の流れを示すフローチャートである。

【図12】サーバの処理の流れを示すフローチャートである。

【図13】端末装置の処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0009】

〔動作解析システムの全体構成〕
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本実施の形態が適用される動作解析システムのハードウェア構成を示す図である。
動作解析システム１は、被写体の動作を解析するサーバ１０と、被写体の動作の評価を確認するために使われる端末装置３０とがネットワーク５０を介して繋がったシステムである。本実施の形態にて例示している動作解析システム１は、例えば、複数の被写体が撮影された動画データについて、その複数の被写体の一または複数の被写体を解析評価してユーザに提供するシステムである。その一例として、学校の先生であるユーザが撮影した生徒の動画像データを解析評価し、生徒の走行の改善を図る情報を提供するシステムである。

【0010】

サーバ１０は、例えばデスクトップＰＣやノートＰＣなどであるコンピュータ装置で構成される。サーバ１０は、装置全体を制御するプロセッサ（ＣＰＵ（Central Processing Unit））である制御部１１と、演算に際して作業エリアとして用いられるＲＡＭ（Random Access Memory）などのメモリ１２と、プログラムや各種設定データなどの記憶に用いられるＨＤＤ（Hard Disk Drive）や半導体メモリ等の記憶装置である記憶部１３と、を有している。また、ネットワーク５０を介してデータの送受信を行う通信部１４を有している。更に、サーバ１０側のユーザからの入力操作を受け付けるキーボード、ポインティングデバイス、タッチパネルなどの操作部１５と、ユーザに対して画像やテキスト情報などを表示する液晶ディスプレイなどからなる表示部１６と、表示部１６を制御する表示制御部１７とを有している。

【0011】

端末装置３０は、例えばスマートフォンやタブレットなどであるコンピュータ端末装置で構成される。端末装置３０は、装置全体を制御するプロセッサ（ＣＰＵ（Central Processing Unit））である制御部３１と、演算に際して作業エリアとして用いられるＲＡＭ（Random Access Memory）などのメモリ３２と、プログラムや各種設定データなどの記憶に用いられるＨＤＤ（Hard Disk Drive）や半導体メモリ等の記憶装置である記憶部３３と、を有している。
また、端末装置３０は、被写体の動きを動画像データとして撮影できる撮像部３８を有している。さらに、ネットワーク５０を介して動画像などのデータの送受信を行う通信部３４を有している。更に、端末装置３０側のユーザからの入力操作を受け付けるタッチパネル、キーボード、ポインティングデバイスなどの操作部３５と、ユーザに対して画像やテキスト情報などを表示する液晶ディスプレイなどからなる表示部３６と、表示部３６を制御する表示制御部３７とを有している。

【0012】

図２は、端末装置３０の機能構成を示す図である。端末装置３０は、生徒の動画像を撮影する撮像部３８と、撮影された動画像などを表示する表示部３６とを有している。この表示部３６は、選定または指定された一または複数の被写体を他と区別して動画データまたは他の動画データに表示する表示手段の一つとして機能する。また、端末装置３０は、生徒情報の入力を受け付ける入力部４０と、入力された情報や動画像のデータなどを記憶する記憶部３３と、描画や機能制御のためのデータの処理を行うデータ処理部３９とを有している。また更に、記憶された情報を出力する出力部４１とデータの送受信のために行う通信部３４とを有している。
記憶部３３は、ユーザの入力したテキスト等の情報を記憶する情報記憶部４２と、撮像部３８で撮影した動画データ又は外部から取得した動画データなどを記憶する画像記憶部４３と被写体の解析結果などを記憶する結果記憶部４４を有している。
データ処理部３９は、表示部３６に表示するために画像データを動画像として表示させる画面描画部４５と、端末装置３０の機能を制御する機能制御部４６とを有している。

【0013】

図３は、サーバ１０の機能構成を示す図である。サーバ１０は、動画像データなどを記憶する記憶部１３、動画像などのデータの送受信を行う通信部１４、各種の入力データを受け付ける入力部１９、取得した動画像データを解析するデータ処理部２０を有する。本明細書においては、「解析」とは、情報を分析するだけでなく、分析した結果から判明した状態を改善するための対応策などを検討することも含む。さらに、複数の被写体が撮影された動画像データを、通信部１４を介して取得する動画データ取得部２８を有する。また、ユーザの端末装置３０の表示部３６に、他と区別して表示された一または複数の被写体についての動作の解析結果を出力する解析結果出力部２９を有する。「解析結果」とは、情報を分析した結果の他、分析した結果から判明した状態を改善するためのアドバイス、対応策、訓練メニューなどをも含みうる。

【0014】

記憶部１３は、通信部１４を介して端末装置３０からユーザ情報を記憶するユーザ情報記憶部２５、解析結果を記憶する解析結果記憶部２６、動画像データを記憶する動画像記憶部２７を有する。
ユーザ情報記憶部２５に記憶されるユーザ情報は、解析の都度、端末装置３０から取得して記憶する態様の他、予めユーザを識別する識別情報とともに記憶しておく態様がある。このユーザ情報とは、解析対象となる生徒の識別情報、身長や体重などの身体情報、年齢、性別などユーザに関係する解析対象の情報である。
動画像記憶部２７は、端末装置３０から受信した撮像動画データそのものを記憶するだけでなく、解析用途中の動画像データ、端末に送信するためにフレーム（動画を構成する個々の静止画像）を間引いた動画像や圧縮された動画像データも記憶する記憶部であってもよい。
解析結果記憶部２６は、データ処理部２０が解析した結果のデータをユーザ情報記憶部２５に記憶されるユーザ情報に対応付けて記憶する。

【0015】

データ処理部２０は、動画像データの被写体の姿勢を推定する姿勢推定部２１と、フレーム間の同一人物を特定する同一人物特定部２２と、特定された人物の動作を特定する対象動作特定部２３と、特定された動作を評価する動作評価部２４とを有する。

【0016】

姿勢推定部２１は、動画像データを構成するフレームに写っている人物などの被写体の全てを、深層ニューラルネットワークを用いた物体検出のアルゴリズムを用いて検出し、フレーム内の被写体の位置の特定も行う。フレーム内の人物の位置は、バウンディングボックス（Ｂｏｕｎｄｉｎｇ ｂｏｘ）と呼ばれる長方形で囲まれた領域で特定される。次に、姿勢推定部２１は、バウンディングボックス内の人物の人体の部位をキーポイントとして検出し、それらの座標を推定する。各キーポイント座標の推定方法は、深層ニューラルネットワークが推定した、画像中の各点における各キーポイントの存在確率の最も高くなる点を採用することによる。これらの処理により、各フレーム中の各人物の各キーポイントの二次元座標が得られる。

【0017】

上記説明では、フレーム内の人物の位置は、バウンディングボックスで特定することを示したが、本発明は、バウンディングボックスに限定されることはなく、対象とする被写体と他とを区別して表示できる態様の特定方法を含む。例えば、赤などの目立つ色など、色を変えて表示することや、影で示すなどが挙げられる。また、姿勢推定部２１は、人物の姿勢推定に限定される必要はなく、動物などを検出し、動物の姿勢を推定することもできる。

【0018】

同一人物特定部２２は、一般にポーズトラック（Ｐｏｓｅ Ｔｒａｃｋ）と呼ばれる手法で、フレーム間における同一人物を同定して関連付けることにより、同一人物を特定する処理を行う。上述の姿勢推定部２１の処理は、フレーム毎に独立した処理を行うが、前後フレームの被写体を同一人物と認識することが出来ない。しかし、同一人物特定部２２のポーズトラックの処理により、同一人物を時間方向に追跡することが可能になる。ポーズトラックは、前後１フレームの短い時間では人は大きく移動できないことを前提として、連続する２フレームにおいて、近い座標を持つ姿勢推定結果を同一人物によるものとしてグルーピングする。これを全フレームに渡って行うことで、姿勢推定結果が同一人物のデータのグループとしてカテゴライズされる。なお、ポーズトラック以外の手法で同一人物を特定しても構わない。

【0019】

対象動作特定部２３は、同一人物特定部２２により、フレーム間における同一人物が関連付けられたデータに基づき、各人物の各キーポイントの時間経過による動きを特定する。例えば、対象動作特定部２３は、一定方向にある速度以上で動いている人物を走っているもの、と動作を特定し、同じ位置に留まっている人物は立ち止まっているもの、として動作を特定する。対象動作特定部２３は、走っている動作と立ち止まっている動作以外にも、歩いている動作、ダンスをしている動作など、予め定めた判断基準を用いて動作を特定することができる。

【0020】

対象動作特定部２３は、解析対象である生徒の生徒情報を使わなくても動画像内のピクセル速度などの特徴量を計算することにより、人物の走者らしさをスコア化して走者を特定することができる。対象動作特定部２３は、端末装置から受信した解析対象である生徒の生徒情報を用いて実際の関節間などの距離を求め、実際の速度を特徴量として計算してもよい。身長、体重以外にも、学年、年齢、性別などの情報も特徴量の計算に使われてもよい。
解析対象である生徒の生徒情報は、ユーザが端末装置３０に入力した情報をサーバ１０が受信することにより、参照することとしてもよく、サーバ１０の記憶部１３に予め記憶された生徒情報を利用することとしてもよい。

【0021】

動作評価部２４は、対象動作特定部２３で特定された動作のうち、動作評価すべき動作をしている被写体を選定して動作評価を行う。動作評価すべき動作とは、走っている被写体のうち、一定以上の速度で走っている動作としてもよい。この場合、動作評価部２４は、走っているという同種の動作を行っている被写体から動作評価を行うべき一定速度以上の被写体を選定することになる。さらに、動作評価部２４は、被写体の情報である生徒情報に基づいて、選定をしてもよい。この場合、動作評価部２４は、動画データから検出された一または複数の被写体と取得した一または複数の被写体の情報である生徒情報とを関連付け、関連付けられた複数の被写体について動作を解析する。

【0022】

動作評価部２４は、選定した走っている被写体であるランナーの平均速度、平均ピッチ、平均スライドなど動作の基本的な定量情報を計算する。さらに、動作評価部２４は、腰が落ちていないか、体を前傾させているか、足を戻しているか、足を上げて走っているか、あごの位置が適切か等の定性的な評価情報を作成する。当然ながら、定性的な評価情報は、腰の位置情報、体の傾斜角、足の運び速度、あごの位置情報などの定量的な情報に基づいて作成されてもよい。

【0023】

さらに、動作評価部２４は、ランナーの動作状態の評価を行うだけでなく、動作状態を解説する説明情報、より早く走るための走り方のアドバイス、お奨めの訓練メニューなどの情報を作成する。動作評価部２４は、予め記憶された情報に基づいて走り方のアドバイスや訓練メニューを生成してもよい。さらには、インターネットなどのネットワークを介してサーバ外部の情報をユーザに対する提示情報として作成してもよい。

【0024】

動作評価部２４が選定した一又は複数の被写体に対応するバウンディングボックスは表示し、選定されていない被写体にはバウンディングボックスを表示しない、とする表示制御情報を動作評価部２４は生成する。この表示制御情報は、複数の被写体から一または複数の被写体を選定するための選定情報であり、どの被写体にバウンディングボックスを付与するかを表す情報である。

【0025】

上述の例では、動作評価部２４が動作を解析する一または複数の被写体を選定したが、動作評価部２４は、動画像データの解析前に、ユーザが指定した一又は複数の被写体について動作評価をしてもよい。かかる場合、動作評価部２４は、ユーザに指定された一又は複数の被写体についてのみバウンディングボックスを表示するとする選定情報を生成し、他の被写体にはバウンディングボックスを表示しないという態様であってもよい。ユーザの指定した指定情報は、端末装置３０から生徒情報などの入力情報とともにサーバ１０に送信されてもよく、別途送信されてもよい。端末装置３０からのユーザの指定は、撮影した動画像の一又は複数の被写体からタッチをして指定する態様であってもよく、指定した被写体の情報は、サーバ１０に送信される。

【0026】

図４は、動作解析システムの端末装置側の入力画面を示す図である。端末装置３０の表示部３６に表示された解析対象入力画面から、ユーザは、被写体の情報の一つとして、解析対象である生徒の識別番号、生徒の氏名、身長、体重、性別、年齢などの生徒情報を入力することができる。生徒の識別番号は、生徒を識別できる情報であればよく、学年、クラス、出席番号などの情報やそれらを組み合わせた記号であってもよい。ここで、生徒情報とは、生徒に関する属性、身体情報など生徒に関する情報、生徒を識別する識別情報などを含むことができる。但し、識別情報が存在せず、入力画面からは性別および／または年齢が入力されてサーバに送信される、という態様もある。かかる態様では、識別情報による識別なしで、性別および／または年齢で他と区別される。入力された生徒情報は、送信ボタンをタッチ又はクリックすることにより、サーバ１０に送信される。

【0027】

生徒情報は、サーバ１０の動作評価部２４が動作を評価する際に用いられる。例えば、動作評価部２４は、生徒の身長データと生徒のフレーム内ピクセル距離とを比較することにより、実際の距離や速度を計算することができる。
また、生徒情報は、上述のように端末装置３０の入力画面から入力されてサーバ１０に送信されるだけでなく、予めサーバ１０の記憶部１３に格納されていて動作評価部２４が随時取得して用いることとしてもよい。

【0028】

図５（Ａ）、（Ｂ）、（Ｃ）は、動作解析システムの表示画面を示す図である。図５（Ａ）では、動画像の１コマであるフレーム内に４人の生徒Ｈ１、Ｈ２、Ｈ３、Ｈ４が表示されている。動作評価部２４が走りの動作（ランナー）であると特定した生徒Ｈ１とＨ２は、バウンディングボックスＢ１とＢ２にそれぞれ囲まれて表示されている。一方、動作評価部２４がランナーとは特定しなかった生徒Ｈ３、Ｈ４については、バウンディングボックスは表示されていない。
図５（Ａ）では、生徒Ｈ１が選択されており、選択された生徒Ｈ１のバウンディングボックスＢ１は実線で、もう一方の非選択の生徒Ｈ２のバウンディングボックスＢ２は破線として表示されている。表示画面の下段には、選択されて特定された生徒Ｈ１の動作評価結果である定性評価結果が表示されている。
なお、サーバ１０で動作解析を行う前に、ユーザが端末装置３０から動作評価結果を表示する被写体を指定していた場合は、指定された被写体であるランナーに実線のバウンディングボックスのみが表示される態様でもよい。さらに、それ以外の動作結果の表示候補であるランナーに対応する破線のバウンディングボックスが表示される態様でもよい。

【0029】

ここで、複数の被写体の中から特定された特定被写体である、選択された生徒Ｈ１について、端末装置３０の画面描画部４５は、生徒Ｈ１の動作評価結果を表示する。表示画面上で、選択の有無を表す表示方法は、選択されたランナーが認識できる表示方法であれば、特に限定されない。上記のように選択するランナーのバウンディングボックスは実線で、非選択のランナーは破線で表示するような識別形態でもよく、選択されたランナーと他のランナーの色調を異なるように配色したり、選択されたことを示すマークを選択されたランナーの近くに表示することとしてもよい。

【0030】

図５（Ｂ）では、特定被写体として生徒Ｈ２が選択されており、選択された生徒Ｈ２のバウンディングボックスＢ２が実線で、他方の非選択の生徒Ｈ１のバウンディングボックスＢ１が破線として表示されている。表示画面の下段には、選択された生徒Ｈ２の動作評価結果である定性評価結果が表示されている。図５（Ａ）の状態から図５（Ｂ）の状態に切り替えるには、ユーザは解析対象である生徒Ｈ２のバウンディングボックスＢ２で囲まれた領域をタッチすることで選択が切り替わる。

【0031】

図５（Ｃ）は、特定被写体として生徒Ｈ２を選択した後に、動画像データを再生している様子を示している。このようにユーザは、動作評価を見たい対象である生徒を選択した後に、動画を再生して選択された生徒の走りを見ながら、選択された生徒の動作評価結果を確認することができる。
図５（Ｃ）で表示されている動作評価結果は、走りの通信簿として、「腰が落ちていないか」「体を前に傾けられているか」「足が戻ってきているか」「足が上がっているか」「あごの位置」の評価項目が、「◎」「〇」「△」「？」の４段階で評価されている。ユーザである先生は、この動作評価結果を確認しながら、生徒に対し走り方の指導を適切にすることができる。
上述の動作評価の結果は、切り替えボタンなどにより、表示される動作評価の項目を切り替えることとしてもよい。

【0032】

図６は、図５とは動作評価結果の別の基本情報を表示した表示画面を示す図である。図６の例では、選択された生徒Ｈ２の平均速度、平均ピッチ、平均スライドなどの定量的な情報が表示されている。図６には図示していないが、例えば、最大瞬間速度、速度変化、速度変化率、重心の振動などの情報を表示するようにしてもよい。
図５と図６で示した表示画面は、「基本情報」のタブが選択された状態を示している。「基本情報」以外のタブとして、「ポイント」や「おすすめ情報」のタブが用意されている。ユーザは、いずれかのタブを選択することで、情報を切り替えて表示させることができる。

【0033】

図７は、動作評価結果のポイントを表示した表示画面である。図７に示す表示画面では、「ポイント」のタブが選択されており、走りを改善するためのアドバイスを要約したポイントの説明が表示されている。「腰が落ちていないか」、「体を前に傾けられているか」、「足がすぐに戻ってきているか」、「膝が十分に上がっているか」などの項目のバーをクリックするとプルダウン式にポイントとなる解説情報が表示される。
図７に示す表示画面では、「腰が落ちていないか」という項目に関するポイント情報として、「地面に足をつくときに少し膝が曲がっています」という解説情報が表示されている。こうした、走る動作に関する情報は、例えば、動作評価部２４が、関節位置であるキーポイントの位置情報から膝の曲がり具合を求め、曲がり過ぎているか否かを判断することにより動作の解説情報を生成する。

【0034】

図８は、動作評価結果のおすすめ情報を表示した表示画面を示す図である。図８に示す表示画面では、「おすすめ情報」のタブが選択されており、走りを改善するためのお奨めの情報が表示されている。図８に表示された「おすすめの情報」の内容は、訓練メニューに関する動画である。この訓練メニューは、膝が落ちているという動作評価結果に基づき、膝が落ちないようにするための訓練メニューとして記憶部に予め記憶されている情報から抽出されたものであるが、インターネットを介して外部の情報源から取得したものであってもよい。

【0035】

図５から図８の表示例では、選択中のランナーはＨ１やＨ２の記号で表示されているが、これらの記号の代わりに、ユーザが入力した生徒情報である生徒の名前や識別番号などを表示してもよい。
さらに、図８で示した「おすすめの情報」については、生徒情報に基づいて、それぞれの生徒に最適なおすすめの情報であれば、さらに個々の生徒に適したアドバイスを提示することが可能になる。例えば、身長が低く体重が少ない生徒や低学年の生徒に適した訓練メニューと高学年の生徒に対する訓練メニューは異なるように設定されてもよい。生徒情報を用いれば、個々の生徒に対して最適なメニューやアドバイスを提供できる。

【0036】

次に、複数のランナーを選択して同時に表示する事例について説明する。図９は、複数の生徒の動作評価の結果を表示した表示画面を示す図である。図９では、実線のバウンディングボックスＢ１内の生徒Ｈ１と一点鎖線のバウンディングボックスＢ２内の生徒Ｈ２が選択されている。一方、破線のバウンディングボックスＢ３内の生徒Ｈ５は、選択されていない。動作評価の結果として、表示画面の下段には、選択された生徒Ｈ１と生徒Ｈ２の評価項目の点数がレーダーチャート形式で表示されている。このように複数の生徒を選択して、同時に複数の生徒の動作評価の結果が表示されるので、生徒の走り方を容易に比較することが可能になる。レーダーチャートのような可視化された表示方法であれば、どの評価項目が弱点であるか、また他の生徒に比べてどの評価項目が優れているかなどの比較が容易にできる。

【0037】

図１０は、複数の生徒の動作評価の結果を表示した図９とは別の表示画面を示す図である。図９の状態から、図示しない切り替えボタン等の押下又はタッチにより基本情報の内容を図１０のように切り替えることができる。図１０の動作評価の結果は、表示画面の下段に示す通り、生徒Ｈ１とＨ２の走行距離に対する速度のグラフである。本グラフからは、生徒Ｈ１はスタート地点から次第に速度が増していき１０ｍ付近でピークに達しほぼ速度を維持しているが、生徒Ｈ２はスタート地点から５ｍ付近で速度のピークに達した後、次第に速度が低下していく様子が読み取れる。このように、２人のランナーを選択することにより、２人の走り方を比較することができる。

【0038】

図１０は、２人のランナーを選択した場合の表示画面例であるが、選択されるランナーは２人に限られず、３人以上を同時に選択し、３人以上の動作評価の結果を表示することもできる。１人のみしか表示できない表示システムに比べると、多数のランナーを選択して多数のランナーの動作評価結果を同時に見ることができるので、多数の生徒を指導する先生は、効率的に指導を行うことができる。

【0039】

〔動作解析システムの処理〕
次に、動作解析システム１の処理について説明する。
図１１、１３は端末装置３０の処理の流れを示すフローチャートであり、図１２は、サーバ１０の処理の流れを示すフローチャートである。図１１は端末装置３０で撮影した動画像データおよび入力された生徒情報をサーバに送信するまでの処理を示している。図１２は、端末装置３０から送信された動画像データおよび入力された生徒情報に基づいて、動作解析を行う処理の流れを示している。図１３は、サーバで動作解析・評価をした結果を受信してから動作評価結果を表示するまでの処理を示している。

【0040】

〔サーバに動画像データを送信するまでの端末装置の処理〕
図１１に示すように、図２に示す機能制御部４６は、ユーザからの開始の指定を受けて動作解析システムのアプリケーションを開始させる（ステップ１０１）。次に、画面描画部４５は図４に示す解析対象の入力画面を出力する（ステップ１０２）。ユーザは、図４に示す解析対象の入力画面に、生徒の身体情報、生徒の名前、性別、年齢などの生徒情報を入力する。情報記憶部４２は、入力された生徒情報を記憶する（ステップ１０３）。次にユーザは、生徒の走る様子を撮影すると、画像記憶部４３は、撮影された生徒が走者となる動画像データを記憶する（ステップ１０４）。ユーザからの指示を受けて、通信部３４は、情報記憶部４２に記憶された生徒情報と画像記憶部４３に記憶された動画像データを、ネットワーク５０を介してサーバ１０に送信して（ステップ１０５）、第１の処理が終了する。

【0041】

〔サーバにおける解析処理〕
次に、サーバ１０の処理について説明する。
図１２はサーバ１０の処理の流れを示すフローチャートである。サーバ１０は、動画像データおよび生徒情報を端末装置から受信する（ステップ２０１）。記憶部１３の動画像記憶部２７は受信した動画像データを、ユーザ情報記憶部２５は生徒情報を記憶する（ステップ２０２）。姿勢推定部２１は、受信した動画像データおよび生徒情報を用いて、生徒を検出し、生徒の姿勢推定を行い、同一人物特定部２２は、複数のフレーム間における人物データについて同一人物を特定する（ステップ２０３）。対象動作特定部２３は、走者と判断される生徒を特定する（ステップ２０４）。動作評価部２４は、特定された生徒について動作評価を行う（ステップ２０５）。記憶部３３の結果記憶部４４は、上記動作評価の結果を記憶する（ステップ２０６）。さらに、動作評価部２４は、特定された生徒のバウンディングボックス情報を生成する（ステップ２０７）。そして、動作評価部２４は、走者らしさの指数の高い生徒に対応するバウンディングボックスの表示制御情報を生成する（ステップ２０８）。通信部１４は、動画像データ、バウンディングボックスに関する情報、動作評価結果を端末装置に送信する（ステップ２０９）。

【0042】

〔サーバから動作評価結果を受信した端末装置の処理〕
図１３に示すように、端末装置３０は、サーバ１０から動画像データ、バウンディングボックスに関する情報、及び動作評価結果を受信する（ステップ３０１）。ここでいうサーバ１０から受信する動画像データは、端末装置で撮像された動画像データと同じであってもよいが、通信回線のデータ送信量の負荷を考慮して、再生時にスムーズに動画を閲覧できる程度内においてフレームレートを下げた動画像データ又は圧縮処理された動画像データであることが望ましい。また、「バウンディングボックスに関する情報」とは、バウンディングボックスを表示すべき各フレームの表示範囲と対応する人物の情報や、バウンディングボックスを表示する枠の線種の情報、バウンディングボックスを表示すべきか否かに関する表示制御情報などを含む。「動作評価結果」とは、動作評価を行ったランナーの走りの状態に関する基本情報、走りの状態に関するポイントを説明する解説情報、走りを改善するためのアドバイスや訓練メニューに関する情報などを含む。

【0043】

端末装置３０の画面描画部４５は、サーバ１０から受信した上記動画像データとバウンディングボックスに関する情報を用いて、バウンディングボックスが表示された動画像データを表示させる（ステップ３０２）。次にステップ３０３において、ユーザが解析を欲する生徒に対応するバウンディングボックスを指定した場合、画面描画部４５は、選定された信号を受け取ると（ＹＥＳ）、選定された生徒でよいか指定確定の承認画面を表示してユーザからの承認を受け付ける（ステップ３０６）。ユーザがステップ３０３において、表示されたバウンディングボックスを指定せず（ＮＯ）、表示されていない人物を指定した場合は、画面描画部４５は、バウンディングボックスが表示されていない生徒が選定されたという情報を取得し（ステップ３０４）、選定された生徒のバウンディングボックスを表示する（ステップ３０５）。画面描画部４５は、指定された生徒の特定が確定された後は、特定被写体である生徒の動作評価結果及び生徒情報を表示する（ステップ３０７）。
なお、画面描画部４５は、ユーザによる選定を受け付けた後の確定の承認を行うステップ３０６は、省略していきなりユーザが選定した特定被写体を表示する態様であってもよい。

【0044】

以上のように、本実施の形態が適用される動作解析システム１は、複数の生徒が走る環境下において撮影された動画像を動作解析することにより、動作評価の結果を簡易に得ることができる。動画像中に複数の生徒が映り込んでいても、複数の生徒について解析された動作評価結果が生成されるため、ユーザはバウンディングボックス等で動作評価結果を表示させたい生徒を選定するだけで、対象生徒の走りを確認することができる。

【0045】

本実施の形態は、ユーザと被写体の例として、学校の先生と走る生徒で説明をしたが、本発明の動作解析対象となる被写体は、特に走っている生徒以外に、ダンス、歩行、クライミングなどの他の動作を行う人物であってもよい。さらに、被写体は、人でなくてもよく、動物であっても構わない。例えば、複数のペットの監視目的や、家畜の管理のために、動作解析するシステムも本発明は含む。

【符号の説明】

【0046】

１…動作解析システム、１０…サーバ、１１…制御部、１２…メモリ、１３…記憶部、
１４…通信部、１５…操作部、１６…表示部、１７…表示制御部、１９…入力部、２０…データ処理部、２１…姿勢推定部、２２…同一人物特定部、２３…対象動作特定部、２４…動作評価部、２５…ユーザ情報記憶部、２６…解析結果記憶部、２７…動画像記憶部、２８…動画データ取得部、２９…解析結果出力部、３０…端末装置、３１…制御部、３２…メモリ、３３…記憶部、３４…通信部、３５…操作部、３６…表示部、３７…表示制御部、３８…撮像部、３９…データ処理部、４０…入力部、４１…出力部、４２…情報記憶部、４３…画像記憶部、４４…結果記憶部、４５…画面描画部、４６…機能制御部、５０…ネットワーク、Ｈ１～５…生徒、Ｂ１～Ｂ３…バウンディングボックス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】