ホーム > 特許ランキング > 日本電信電話株式会社
▶ 日本電信電話株式会社の特許一覧 ▶ 学校法人慶應義塾の特許一覧
特開2023-13010モデル学習装置、動作パターン推定装置、モデル学習方法、動作パターン推定方法、プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023013010
(43)【公開日】2023-01-26
(54)【発明の名称】モデル学習装置、動作パターン推定装置、モデル学習方法、動作パターン推定方法、プログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20230119BHJP
G06T 7/00 20170101ALI20230119BHJP
【ＦＩ】
G06T7/20 300Z
G06T7/00 350B
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2021116870
(22)【出願日】2021-07-15
(71)【出願人】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(71)【出願人】
【識別番号】899000079
【氏名又は名称】慶應義塾
(74)【代理人】
【識別番号】100121706
【弁理士】
【氏名又は名称】中尾 直樹
(74)【代理人】
【識別番号】100128705
【弁理士】
【氏名又は名称】中村 幸雄
(74)【代理人】
【識別番号】100147773
【弁理士】
【氏名又は名称】義村 宗洋
(72)【発明者】
【氏名】三上 弾
(72)【発明者】
【氏名】山本 奏
(72)【発明者】
【氏名】青木 義満
(72)【発明者】
【氏名】小森 英人
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA04
5L096JA11
5L096KA04
(57)【要約】
【課題】動作パターンが類似するものであっても、動画像に含まれる対象の動きから動作パターンを推定することができる技術を提供する。
【解決手段】動作の開始から終了までの対象の動きを含む動画像I(t)（ただし、tは動画像を構成するt番目のフレームであることを表すパラメータ）から、動画像I(t)の特徴を表す第１特徴情報f(t)を生成する第１特徴情報生成部と、第１特徴情報f(t)と、対象の動きが示す動作パターンを推定するための、t番目のフレームの相対的な重要度を示す時系列データである重要度情報w(t)とから、第２特徴情報(f(t), w(t))を生成する第２特徴情報生成部と、対象の動きが示す動作パターンを推定するためのモデルを用いて、第２特徴情報(f(t), w(t))から、動画像I(t)に含まれる対象の動きが示す動作パターンを推定する推定部とを含む。
【選択図】図７
【解決手段】動作の開始から終了までの対象の動きを含む動画像I(t)（ただし、tは動画像を構成するt番目のフレームであることを表すパラメータ）から、動画像I(t)の特徴を表す第１特徴情報f(t)を生成する第１特徴情報生成部と、第１特徴情報f(t)と、対象の動きが示す動作パターンを推定するための、t番目のフレームの相対的な重要度を示す時系列データである重要度情報w(t)とから、第２特徴情報(f(t), w(t))を生成する第２特徴情報生成部と、対象の動きが示す動作パターンを推定するためのモデルを用いて、第２特徴情報(f(t), w(t))から、動画像I(t)に含まれる対象の動きが示す動作パターンを推定する推定部とを含む。
【選択図】図７
【特許請求の範囲】
【請求項1】
動作の開始から終了までの対象の動きを含む動画像の集合Sから、学習データの集合S’を生成する学習データ生成部と、
集合S’を用いて、対象の動きが示す動作パターンを推定するためのモデルを生成する学習部を含むモデル学習装置であって、
前記学習データ生成部は、
集合Sの要素である動画像I(t)（ただし、tは動画像を構成するt番目のフレームであることを表すパラメータ）から、動画像I(t)の特徴を表す第１特徴情報f(t)を生成する第１特徴情報生成部と、
第１特徴情報f(t)と、対象の動きが示す動作パターンを推定するための、t番目のフレームの相対的な重要度を示す時系列データである重要度情報w(t)とから、集合S’の要素である第２特徴情報(f(t), w(t))を生成する第２特徴情報生成部を含む
モデル学習装置。
集合S’を用いて、対象の動きが示す動作パターンを推定するためのモデルを生成する学習部を含むモデル学習装置であって、
前記学習データ生成部は、
集合Sの要素である動画像I(t)（ただし、tは動画像を構成するt番目のフレームであることを表すパラメータ）から、動画像I(t)の特徴を表す第１特徴情報f(t)を生成する第１特徴情報生成部と、
第１特徴情報f(t)と、対象の動きが示す動作パターンを推定するための、t番目のフレームの相対的な重要度を示す時系列データである重要度情報w(t)とから、集合S’の要素である第２特徴情報(f(t), w(t))を生成する第２特徴情報生成部を含む
モデル学習装置。
【請求項2】
請求項１に記載のモデル学習装置であって、
重要度情報w(t)は、対象の特定部分の動きに関する時系列データを含むものである
ことを特徴とするモデル学習装置。
重要度情報w(t)は、対象の特定部分の動きに関する時系列データを含むものである
ことを特徴とするモデル学習装置。
【請求項3】
動作の開始から終了までの対象の動きを含む動画像I(t)（ただし、tは動画像を構成するt番目のフレームであることを表すパラメータ）から、動画像I(t)の特徴を表す第１特徴情報f(t)を生成する第１特徴情報生成部と、
第１特徴情報f(t)と、対象の動きが示す動作パターンを推定するための、t番目のフレームの相対的な重要度を示す時系列データである重要度情報w(t)とから、第２特徴情報(f(t), w(t))を生成する第２特徴情報生成部と、
対象の動きが示す動作パターンを推定するためのモデルを用いて、第２特徴情報(f(t), w(t))から、動画像I(t)に含まれる対象の動きが示す動作パターンを推定する推定部と
を含む動作パターン推定装置。
第１特徴情報f(t)と、対象の動きが示す動作パターンを推定するための、t番目のフレームの相対的な重要度を示す時系列データである重要度情報w(t)とから、第２特徴情報(f(t), w(t))を生成する第２特徴情報生成部と、
対象の動きが示す動作パターンを推定するためのモデルを用いて、第２特徴情報(f(t), w(t))から、動画像I(t)に含まれる対象の動きが示す動作パターンを推定する推定部と
を含む動作パターン推定装置。
【請求項4】
請求項３に記載の動作パターン推定装置であって、
重要度情報w(t)は、対象の特定部分の動きに関する時系列データを含むものである
ことを特徴とする動作パターン推定装置。
重要度情報w(t)は、対象の特定部分の動きに関する時系列データを含むものである
ことを特徴とする動作パターン推定装置。
【請求項5】
モデル学習装置が、動作の開始から終了までの対象の動きを含む動画像の集合Sから、学習データの集合S’を生成する学習データ生成ステップと、
前記モデル学習装置が、集合S’を用いて、対象の動きが示す動作パターンを推定するためのモデルを生成する学習ステップを含むモデル学習方法であって、
前記学習データ生成ステップは、
集合Sの要素である動画像I(t)（ただし、tは動画像を構成するt番目のフレームであることを表すパラメータ）から、動画像I(t)の特徴を表す第１特徴情報f(t)を生成する第１特徴情報生成ステップと、
第１特徴情報f(t)と、対象の動きが示す動作パターンを推定するための、t番目のフレームの相対的な重要度を示す時系列データである重要度情報w(t)とから、集合S’の要素である第２特徴情報(f(t), w(t))を生成する第２特徴情報生成ステップを含む
モデル学習方法。
前記モデル学習装置が、集合S’を用いて、対象の動きが示す動作パターンを推定するためのモデルを生成する学習ステップを含むモデル学習方法であって、
前記学習データ生成ステップは、
集合Sの要素である動画像I(t)（ただし、tは動画像を構成するt番目のフレームであることを表すパラメータ）から、動画像I(t)の特徴を表す第１特徴情報f(t)を生成する第１特徴情報生成ステップと、
第１特徴情報f(t)と、対象の動きが示す動作パターンを推定するための、t番目のフレームの相対的な重要度を示す時系列データである重要度情報w(t)とから、集合S’の要素である第２特徴情報(f(t), w(t))を生成する第２特徴情報生成ステップを含む
モデル学習方法。
【請求項6】
動作パターン推定装置が、動作の開始から終了までの対象の動きを含む動画像I(t)（ただし、tは動画像を構成するt番目のフレームであることを表すパラメータ）から、動画像I(t)の特徴を表す第１特徴情報f(t)を生成する第１特徴情報生成ステップと、
前記動作パターン推定装置が、第１特徴情報f(t)と、対象の動きが示す動作パターンを推定するための、t番目のフレームの相対的な重要度を示す時系列データである重要度情報w(t)とから、第２特徴情報(f(t), w(t))を生成する第２特徴情報生成ステップと、
前記動作パターン推定装置が、対象の動きが示す動作パターンを推定するためのモデルを用いて、第２特徴情報(f(t), w(t))から、動画像I(t)に含まれる対象の動きが示す動作パターンを推定する推定ステップと
を含む動作パターン推定方法。
前記動作パターン推定装置が、第１特徴情報f(t)と、対象の動きが示す動作パターンを推定するための、t番目のフレームの相対的な重要度を示す時系列データである重要度情報w(t)とから、第２特徴情報(f(t), w(t))を生成する第２特徴情報生成ステップと、
前記動作パターン推定装置が、対象の動きが示す動作パターンを推定するためのモデルを用いて、第２特徴情報(f(t), w(t))から、動画像I(t)に含まれる対象の動きが示す動作パターンを推定する推定ステップと
を含む動作パターン推定方法。
【請求項7】
請求項１または２に記載のモデル学習装置、請求項３または４に記載の動作パターン推定装置のいずれかとしてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画像に含まれる対象の動きが示す動作パターンを推定する技術に関する。
【背景技術】
【0002】
近年、動画像に含まれる対象の動きが示す動作パターンの推定に、機械学習を用いた技術開発が行われている。この場合、動画像そのもののデータ量が多いことから、学習に必要なデータ量が膨大になり、学習に時間がかかってしまうという問題がある。この問題を解決するため、例えば、非特許文献１のように、動画像を構成するフレームに所定の情報を付与した時系列データを用いて、学習することが考えられる。フレームに付与される所定の情報は、変化が大きいほど、また、最終フレームに近いほど、動作パターンの推定に重要なフレームであることを示す情報である。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】A. Bobick, J. Davis, “The recognition of human movement using temporal templates,” IEEE Transactions on Pattern Analysis and Machine Intelligence, VOL.23, NO.3, 2001.
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、動作パターンの推定において、必ずしも大きな変化がある箇所が重要なわけでもないし、最終フレームに近いフレームが重要なわけでもない。そのため、例えばテニスのストロークにおけるストレートショット、クロスショットのように、類似する動作パターンの細かな違いを見分け、動作パターンを推定する必要がある場合には、非特許文献１のような、画一的な情報の与え方では、真に重要な対象の動きやそのタイミングを見逃してしまう可能性がある。
【0005】
そこで本発明では、動作パターンが類似するものであっても、動画像に含まれる対象の動きから動作パターンを推定することができる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様は、動作の開始から終了までの対象の動きを含む動画像の集合Sから、学習データの集合S’を生成する学習データ生成部と、集合S’を用いて、対象の動きが示す動作パターンを推定するためのモデルを生成する学習部を含むモデル学習装置であって、前記学習データ生成部は、集合Sの要素である動画像I(t)（ただし、tは動画像を構成するt番目のフレームであることを表すパラメータ）から、動画像I(t)の特徴を表す第１特徴情報f(t)を生成する第１特徴情報生成部と、第１特徴情報f(t)と、対象の動きが示す動作パターンを推定するための、t番目のフレームの相対的な重要度を示す時系列データである重要度情報w(t)とから、集合S’の要素である第２特徴情報(f(t), w(t))を生成する第２特徴情報生成部を含む。
【0007】
本発明の一態様は、動作の開始から終了までの対象の動きを含む動画像I(t)（ただし、tは動画像を構成するt番目のフレームであることを表すパラメータ）から、動画像I(t)の特徴を表す第１特徴情報f(t)を生成する第１特徴情報生成部と、第１特徴情報f(t)と、対象の動きが示す動作パターンを推定するための、t番目のフレームの相対的な重要度を示す時系列データである重要度情報w(t)とから、第２特徴情報(f(t), w(t))を生成する第２特徴情報生成部と、対象の動きが示す動作パターンを推定するためのモデルを用いて、第２特徴情報(f(t), w(t))から、動画像I(t)に含まれる対象の動きが示す動作パターンを推定する推定部とを含む。
【発明の効果】
【0008】
本発明によれば、推定対象である動作パターンの特徴を考慮した情報を用いて、動画像に含まれる対象の動きが示す動作パターンを推定するモデルを学習することが可能となる。また、このようにして学習したモデルを用いることにより、類似する動作パターンであっても正確に推定することが可能となる。
【図面の簡単な説明】
【0009】
【図1】モデル学習装置１００の構成を示すブロック図である。
【図2】モデル学習装置１００の動作を示すフローチャートである。
【図3】学習データ生成部１１０の構成を示すブロック図である。
【図4】学習データ生成部１１０の動作を示すフローチャートである。
【図5】重要度情報w(t)の時間変化の一例を示す図である。
【図6】重要度情報w(t)の時間変化の一例を示す図である。
【図7】動作パターン推定装置２００の構成を示すブロック図である。
【図8】動作パターン推定装置２００の動作を示すフローチャートである。
【図9】本発明の実施形態における各装置を実現するコンピュータの機能構成の一例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【0011】
各実施形態の説明に先立って、この明細書における表記方法について説明する。
【0012】
^（キャレット）は上付き添字を表す。例えば、xy^zはyzがxに対する上付き添字であり、xy^zはyzがxに対する下付き添字であることを表す。また、_（アンダースコア）は下付き添字を表す。例えば、xy_zはyzがxに対する上付き添字であり、xy_zはyzがxに対する下付き添字であることを表す。
【0013】
また、ある文字xに対する^xや~xのような上付き添え字の”^”や”~”は、本来”x”の真上に記載されるべきであるが、明細書の記載表記の制約上、^xや~xと記載しているものである。
【0014】
＜第１実施形態＞
以下、図１～図２を参照してモデル学習装置１００について説明する。図１は、モデル学習装置１００の構成を示すブロック図である。図２は、モデル学習装置１００の動作を示すフローチャートである。図１に示すようにモデル学習装置１００は、学習データ生成部１１０と、学習部１２０と、記録部１９０を含む。記録部１９０は、モデル学習装置１００の処理に必要な情報を適宜記録する構成部である。記録部１９０には、動作の開始から終了までの対象の動きを撮影した動画像の集合Sを予め記録しておいてもよい。
以下、図１～図２を参照してモデル学習装置１００について説明する。図１は、モデル学習装置１００の構成を示すブロック図である。図２は、モデル学習装置１００の動作を示すフローチャートである。図１に示すようにモデル学習装置１００は、学習データ生成部１１０と、学習部１２０と、記録部１９０を含む。記録部１９０は、モデル学習装置１００の処理に必要な情報を適宜記録する構成部である。記録部１９０には、動作の開始から終了までの対象の動きを撮影した動画像の集合Sを予め記録しておいてもよい。
【0015】
図２に従いモデル学習装置１００の動作について説明する。
【0016】
Ｓ１１０において、学習データ生成部１１０は、集合Sから、学習データの集合S’を生成する。
【0017】
以下、図３～図４を参照して学習データ生成部１１０について説明する。図３は、学習データ生成部１１０の構成を示すブロック図である。図４は、学習データ生成部１１０の動作を示すフローチャートである。図３に示すように学習データ生成部１１０は、第１特徴情報生成部１１１と、第２特徴情報生成部１１２と、終了条件判定部１１３を含む。
【0018】
図４に従い学習データ生成部１１０の動作について説明する。
【0019】
Ｓ１１１において、第１特徴情報生成部１１１は、Ｓ１１０での入力である集合Sの要素である動画像I(t)（ただし、tは動画像を構成するt番目のフレームであることを表すパラメータ）から、動画像I(t)の特徴を表す第１特徴情報f(t)を生成する。第１特徴情報生成部１１１は、例えば、隣接するt番目のフレームとt+1番目のフレームの差分二値化画像を第１特徴情報f(t)として生成する。動画像I(t)を構成する各フレームがグレースケール画像である場合、t番目のフレームとt+1番目のフレームの対応する画素を比較し、その輝度値が予め設定した閾値（例えば、20）以上変化する画素については255、それ以外の画素については0として二値化し、差分二値化画像を生成すればよい。
【0020】
また、第１特徴情報生成部１１１は、例えば、隣接するt番目のフレームとt+1番目のフレームからそれぞれ対象の領域を抽出した画像を生成したうえで、それらの画像の差分二値化画像を第１特徴情報f(t)として生成する。より詳しく説明すると、以下のようになる。
【0021】
（１）t番目のフレームI(t)から対象の領域を抽出し、それ以外の領域以外の画素については0とする。このようにして得られる画像をD(I(t))とする。
【0022】
（２）同様に、t+1番目のフレームI(t+1)から対象の領域を抽出し、それ以外の領域以外の画素については0とする。このようにして得られる画像をD(I(t+1))とする。
【0023】
（３）画像D(I(t))と画像D(I(t+1))から差分二値化画像を得る。
【0024】
（１）～（３）の処理により、変化があった対象の領域の画素のみが0以外の値を持つこととなる。このようにして得られる差分二値化画像を第１特徴情報f(t)とすることにより、背景におけるノイズの影響を低減させた第１特徴情報f(t)を生成することができる。なお、対象の領域抽出には、例えば、参考非特許文献１の技術を用いることができる。
【0025】
（参考非特許文献１：Kaiming He, Georgia Gkioxari, Piotr Dollar, Ross Girshick, “Mask R-CNN,” arXiv:1703.06870, 2017.）
また、第１特徴情報生成部１１１は、例えば、t番目のフレームにおける対象の関節位置を第１特徴情報f(t)として生成する。画像における対象の関節位置を推定する技術として、例えば、参考非特許文献２の技術を用いることができる。
また、第１特徴情報生成部１１１は、例えば、t番目のフレームにおける対象の関節位置を第１特徴情報f(t)として生成する。画像における対象の関節位置を推定する技術として、例えば、参考非特許文献２の技術を用いることができる。
【0026】
（参考非特許文献２：Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, Yaser Sheikh, “OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields”, IEEE Transactions on Pattern Analysis and Machine Intelligence Vol.43, Issue 1, pp.172-186, 2021）
さらに、第１特徴情報生成部１１１は、例えば、t番目のフレームにおける対象の関節位置の時間変化量に基づいた情報を第１特徴情報f(t)として生成する。この場合、所定の値以上の変化がある関節位置の情報のみを第１特徴情報f(t)としてもよいし、変化量に基づいて重みづけをした関節位置の情報を第１特徴情報f(t)としてもよい。
さらに、第１特徴情報生成部１１１は、例えば、t番目のフレームにおける対象の関節位置の時間変化量に基づいた情報を第１特徴情報f(t)として生成する。この場合、所定の値以上の変化がある関節位置の情報のみを第１特徴情報f(t)としてもよいし、変化量に基づいて重みづけをした関節位置の情報を第１特徴情報f(t)としてもよい。
【0027】
Ｓ１１２において、第２特徴情報生成部１１２は、Ｓ１１１で生成した第１特徴情報f(t)と、対象の動きが示す動作パターンを推定するための、t番目のフレームの相対的な重要度を示す時系列データである重要度情報w(t)とから、集合S’の要素である第２特徴情報(f(t), w(t))を生成する。第２特徴情報(f(t), w(t))は、時間軸上に重みづけをした第１特徴情報f(t)であるといえる。図５は、重要度情報w(t)の時間変化の一例を示す図である。具体的には、テニスのストロークにおけるストレートショット、クロスショットの２つの動作パターンを推定するためのt番目のフレームの相対的な重要度を示す時系列データである重要度情報w(t)を示す。図５を見るとわかるように、重要度情報w(t)は、徐々に高くなり、最終フレームより少し前のフレームでピークを迎え、その後徐々に下がるように変化している。このように重要度情報w(t)が時間変化するのは、ショットの瞬間よりも少し前の対象の動きに動作パターンを推定するための重要な情報が多く含まれるという知見に基づくためである。一般に、重要度情報w(t)の時間変化は推定対象となる動作パターンにより異なるため、重要度情報w(t)はあらかじめ記録部１９０に記録しておくことになる。
【0028】
なお、重要度情報w(t)は、対象の特定部分の動きに関する時系列データを含むものであってもよい。図６は、第１特徴情報f(t)がt番目のフレームにおける対象の関節位置である場合における重要度情報w(t)の時間変化の一例を示す図である。具体的には、テニスのストロークにおけるストレートショット、クロスショットの２つの動作パターンを推定するためのt番目のフレームの相対的な重要度を示す時系列データである重要度情報w(t)が右ひざ、腰、右肩という３つの関節に関するものである場合を示す。右ひざ、腰、右肩という３つの関節に対する重要度情報w(t)は、いずれも徐々に高くなり、最終フレームより少し前のフレームでピークを迎え、その後徐々に下がるように変化しているが、それぞれのピークは、右ひざ、腰、右肩の順にくるようになっている。この重要度情報w(t)の時間変化は、テニスのストロークでは、下半身が主導し、腰そして肩と末端が連動して動いていくという知見に基づいている。
【0029】
Ｓ１１３において、終了条件判定部１１３は、所定の終了条件が満たされる場合には、集合S’を出力して処理を終了し、それ以外の場合には、Ｓ１１１の処理に戻る。終了条件には、例えば、集合Sに含まれるすべての動画像に対して、Ｓ１１１～Ｓ１１２の処理が行われたか否かという条件を用いることができる。
【0030】
Ｓ１２０において、学習部１２０は、集合S’を用いて、対象の動きが示す動作パターンを推定するためのモデルを生成する。
【0031】
本発明の実施形態によれば、推定対象である動作パターンの特徴を考慮した情報を用いて、動画像に含まれる対象の動きが示す動作パターンを推定するモデルを学習することが可能となる。
【0032】
＜第２実施形態＞
以下、図７～図８を参照して動作パターン推定装置２００について説明する。図７は、動作パターン推定装置２００の構成を示すブロック図である。図８は、動作パターン推定装置２００の動作を示すフローチャートである。図７に示すように動作パターン推定装置２００は、第１特徴情報生成部１１１と、第２特徴情報生成部１１２と、推定部２３０と、記録部２９０を含む。記録部２９０は、動作パターン推定装置２００の処理に必要な情報を適宜記録する構成部である。記録部２９０には、モデル学習装置１００を用いて学習したモデルを記録しておく。
以下、図７～図８を参照して動作パターン推定装置２００について説明する。図７は、動作パターン推定装置２００の構成を示すブロック図である。図８は、動作パターン推定装置２００の動作を示すフローチャートである。図７に示すように動作パターン推定装置２００は、第１特徴情報生成部１１１と、第２特徴情報生成部１１２と、推定部２３０と、記録部２９０を含む。記録部２９０は、動作パターン推定装置２００の処理に必要な情報を適宜記録する構成部である。記録部２９０には、モデル学習装置１００を用いて学習したモデルを記録しておく。
【0033】
図８に従い動作パターン推定装置２００の動作について説明する。
【0034】
Ｓ１１１において、第１特徴情報生成部１１１は、動作の開始から終了までの対象の動きを含む動画像I(t)（ただし、tは動画像を構成するt番目のフレームであることを表すパラメータ）から、動画像I(t)の特徴を表す第１特徴情報f(t)を生成する。
【0035】
Ｓ１１２において、第２特徴情報生成部１１２は、Ｓ１１１で生成した第１特徴情報f(t)と、対象の動きが示す動作パターンを推定するための、t番目のフレームの相対的な重要度を示す時系列データである重要度情報w(t)とから、第２特徴情報(f(t), w(t))を生成する。重要度情報w(t)は、あらかじめ記録部２９０に記録しておく。
【0036】
Ｓ２３０において、推定部２３０は、記録部２９０に記録している対象の動きが示す動作パターンを推定するためのモデルを用いて、第２特徴情報(f(t), w(t))から、動画像I(t)に含まれる対象の動きが示す動作パターンを推定し、推定結果として出力する。
【0037】
本発明の実施形態によれば、モデル学習装置１００が学習したモデルを用いることにより、類似する動作パターンであっても正確に推定することが可能となる。
【0038】
＜実験結果＞
上述のテニスのショットに対する推定問題に対して、２つの方法で生成したモデルを用いた比較実験を行った。１つ目のモデルは、本発明の第２特徴情報を学習用データとしてCNN（VGG16）を用いて学習したモデルである。２つ目のモデルは、第２特徴情報の生成元である動画像を学習データとしてLSTMを用いて学習したモデルである。その結果、推定精度が、後者の場合は81.8％であったが、前者は85.2％となった。つまり、本発明の第２特徴情報を学習用データとして学習したモデルの方が推定精度が高くなっており、本発明の第２特徴情報を用いた学習に効果があることが示された。
上述のテニスのショットに対する推定問題に対して、２つの方法で生成したモデルを用いた比較実験を行った。１つ目のモデルは、本発明の第２特徴情報を学習用データとしてCNN（VGG16）を用いて学習したモデルである。２つ目のモデルは、第２特徴情報の生成元である動画像を学習データとしてLSTMを用いて学習したモデルである。その結果、推定精度が、後者の場合は81.8％であったが、前者は85.2％となった。つまり、本発明の第２特徴情報を学習用データとして学習したモデルの方が推定精度が高くなっており、本発明の第２特徴情報を用いた学習に効果があることが示された。
【0039】
＜補記＞
図９は、上述の各装置を実現するコンピュータの機能構成の一例を示す図である。上述の各装置における処理は、記録部２０２０に、コンピュータを上述の各装置として機能させるためのプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０などに動作させることで実施できる。
図９は、上述の各装置を実現するコンピュータの機能構成の一例を示す図である。上述の各装置における処理は、記録部２０２０に、コンピュータを上述の各装置として機能させるためのプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０などに動作させることで実施できる。
【0040】
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【0041】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【0042】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成部）を実現する。
【0043】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【0044】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【0045】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【0046】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【0047】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【0048】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【0049】
上述の本発明の実施形態の記載は、例証と記載の目的で提示されたものである。網羅的であるという意思はなく、開示された厳密な形式に発明を限定する意思もない。変形やバリエーションは上述の教示から可能である。実施形態は、本発明の原理の最も良い例証を提供するために、そして、この分野の当業者が、熟考された実際の使用に適するように本発明を色々な実施形態で、また、色々な変形を付加して利用できるようにするために、選ばれて表現されたものである。すべてのそのような変形やバリエーションは、公正に合法的に公平に与えられる幅にしたがって解釈された添付の請求項によって定められた本発明のスコープ内である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】