ホーム > 特許ランキング > 国立大学法人 筑波大学
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-02
(45)【発行日】2023-11-13
(54)【発明の名称】動き学習装置、制御装置及びプログラム
(51)【国際特許分類】
A63B 69/00 20060101AFI20231106BHJP
A63B 69/02 20060101ALI20231106BHJP
G06T 7/00 20170101ALI20231106BHJP
G06T 7/20 20170101ALI20231106BHJP
【ＦＩ】
A63B69/00 A
A63B69/02 K
G06T7/00 350B
G06T7/20 300Z
【請求項の数】
6
(21)【出願番号】P 2019172100
(22)【出願日】2019-09-20
(65)【公開番号】P2021048917
(43)【公開日】2021-04-01
【審査請求日】2022-08-31
【新規性喪失の例外の表示】特許法第３０条第２項適用 ▲１▼発行日：令和１年６月１５日 刊行物：電子情報通信学会技術研究報告、ｖｏｌ．１１９、ｎｏ．９９、ＤＥ２０１９－４、ｐｐ．１５－１８、電子情報通信学会 ▲２▼発行日：令和１年７月２６日 刊行物：情報処理学会コンピュータビジョンとイメージメディア（ＣＶＩＭ）研究会、第２２回 画像の認識・理解シンポジウム（ＭＩＲＵ２０１９）予稿集 ＰＳ１－５９、ｐｐ．１－４ ▲２▼開催日：令和１年７月３０日 集会名、開催場所：情報処理学会コンピュータビジョンとイメージメディア（ＣＶＩＭ）研究会、第２２回 画像の認識・理解シンポジウム（ＭＩＲＵ２０１９）グランキューブ大阪（大阪府大阪市北区中之島５丁目３－５１） ▲４▼開催日：令和１年７月３０日 集会名、開催場所：情報処理学会コンピュータビジョンとイメージメディア（ＣＶＩＭ）研究会、第２２回 画像の認識・理解シンポジウム（ＭＩＲＵ２０１９）グランキューブ大阪（大阪府大阪市北区中之島５丁目３－５１）
(73)【特許権者】
【識別番号】504171134
【氏名又は名称】国立大学法人 筑波大学
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100188558
【弁理士】
【氏名又は名称】飯田 雅人
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(72)【発明者】
【氏名】星野 聖
(72)【発明者】
【氏名】野口 勇気
【審査官】井上 香緒梨
(56)【参考文献】
【文献】特開２０１１－０１３７３１（ＪＰ，Ａ）
【文献】特開２０１９－０８３９６８（ＪＰ，Ａ）
【文献】特開２０１７－１０７５０３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／０３７８２８１（ＵＳ，Ａ１）
【文献】田中 一敏，ガウス過程回帰を用いた卓球ロボットと対戦する人間の打撃結果 予測，第３７回日本ロボット学会学術講演会，2019年09月03日，第1頁-第2頁
【文献】高橋 史泰，高速ビジョンを用いたチャンバラロボットの開発，ロボティク ス・メカトロニクス 講演会２０１４ 講演論文集，2014年05月24日，第109頁-第112頁
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６３Ｂ６９／００－７１／１６
Ｇ０６Ｔ７／００－７／９０
Ｇ０６Ｎ３／００－３／１２
Ｇ０６Ｎ７／０８－９９／００
Ｂ２５Ｊ１／００－２１／０２
ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）
(57)【特許請求の範囲】
【請求項1】
動きの学習対象である対戦相手の正面方向から前記対戦相手が撮像された動画像のコマ毎に、前記対戦相手の技の種類および技の段階に関するアノテーション情報が紐づけられたアノテーション済みコマ画像を取得する画像取得部と、前記画像取得部が取得する前記アノテーション済みコマ画像のコマ間の差分に基づいて、前記対戦相手の動き情報を算出する動き情報算出部と、
前記動き情報算出部がコマ毎に算出した複数の前記動き情報に基づいて、複数の前記動き情報どうしの前記動画像における時系列を示す情報と、前記アノテーション情報とを含む動き情報画像を生成する動き情報画像生成部と、
前記動き情報画像生成部が生成する前記動き情報画像を学習器に供給することにより、前記対戦相手の技の種類および技の段階と前記アノテーション情報との対応関係を学習させる学習制御部と、
を備える動き学習装置。
【請求項2】
請求項１に記載の動き学習装置によって学習された前記対戦相手の技の種類および技の段階と前記アノテーション情報との対応関係を示す学習結果が記憶される記憶部から、前記学習結果を取得する学習結果取得部と、前記対戦相手の正面方向から前記対戦相手を撮像する撮像部と、
前記学習結果取得部が取得する前記学習結果と、前記撮像部が撮像する前記対戦相手の画像とに基づいて、複数種類の前記アノテーション情報のうち前記対戦相手の技の種類および技の段階に対応する種類の前記アノテーション情報を判定する判定部と、
前記判定部の判定結果に基づいて、対戦機器の前記対戦相手に対する動作を制御する制御部と、
を備える制御装置。
【請求項3】
前記アノテーション情報の種類と、前記対戦機器の前記対戦相手に対する動作とが対応付けられた対応動作情報が記憶される記憶部から、前記対応動作情報を取得する対応動作情報取得部と、前記対応動作情報取得部が取得する前記対応動作情報と、前記判定部の判定結果とに基づいて、複数種類の前記対戦相手に対する動作のうちから、前記判定結果が示す前記アノテーション情報の種類が示す前記対戦相手に対する動作を選択する動作選択部と、
をさらに備え、
前記制御部は、前記動作選択部が選択する動作に基づいて、前記対戦機器の前記対戦相手に対する動作を制御する
請求項２に記載の制御装置。
【請求項4】
前記対戦機器は、関節を有する可動部材を備え、前記アノテーション情報には、前記対戦相手の技の種類および技の段階に対する前記対戦機器の前記可動部材の関節角度を示す情報が含まれ、
前記学習結果には、前記対戦相手の技の種類および技の段階と、前記アノテーション情報が示す前記対戦機器の前記可動部材の関節角度との対応関係が学習された結果が含まれ、
前記判定部は、
前記アノテーション情報が示す複数種類の関節角度のうち、前記対戦相手の技の種類および技の段階に対応する種類の関節角度を判定し、
前記制御部は、
前記判定部の判定結果に基づいて、前記対戦機器の前記可動部材の関節角度を制御することにより、前記対戦相手に対する動作を制御する
請求項２に記載の制御装置。
【請求項5】
動き学習装置が備えるコンピュータに、動きの学習対象である対戦相手の正面方向から前記対戦相手が撮像された動画像のコマ毎に、前記対戦相手の技の種類および技の段階を含む動きに関するアノテーション情報が紐づけられたアノテーション済みコマ画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得される前記アノテーション済みコマ画像のコマ間の差分に基づいて、前記対戦相手の動き情報を算出する動き情報算出ステップと、
前記動き情報算出ステップにおいてコマ毎に算出された複数の前記動き情報に基づいて、複数の前記動き情報どうしの前記動画像における時系列を示す情報と、前記アノテーション情報とを含む動き情報画像を生成する動き情報画像生成ステップと、
前記動き情報画像生成ステップにおいて生成される前記動き情報画像を学習器に供給することにより、前記対戦相手の技の種類および技の段階と前記アノテーション情報との対応関係を学習させる学習制御ステップと、
を実行させるためのプログラム。
【請求項6】
制御装置が備えるコンピュータに、請求項１に記載の動き学習装置によって学習された前記対戦相手の技の種類および技の段階と前記アノテーション情報との対応関係を示す学習結果が記憶される記憶部から、前記学習結果を取得する学習結果取得ステップと、
対戦相手の正面方向から前記対戦相手を撮像する撮像ステップと、
前記学習結果取得ステップにおいて取得される前記学習結果と、前記撮像ステップにおいて撮像される前記対戦相手の画像とに基づいて、複数種類の前記アノテーション情報のうち前記対戦相手の技の種類および技の段階に対応する種類の前記アノテーション情報を判定する判定ステップと、
前記判定ステップにおける判定結果に基づいて、対戦機器の前記対戦相手に対する動作を制御する制御ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動き学習装置、制御装置及びプログラムに関する。
【背景技術】
【0002】
剣道や短剣道などの対人競技において、１人でも対戦が可能な練習装置の開発が望まれている。このような練習装置においては、対戦相手が繰り出す技に応じて動作することが好ましいことから、対戦相手の動きをオフラインで判定したり、リアルタイムで予測したりする機能が求められる。相手の動きを判定する技術として、従来、モーションキャプチャなどの技術が開示されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００５－４０５５６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した従来技術によると、例えば、相手の動きの軌跡の判定は比較的容易であるものの、近い未来において、その動きの軌跡がどのような技に繋がるのかまでは予測ができなかった。つまり、従来技術によると、相手の技の種類を、技が完了する前に判定することまではできず、対戦相手が繰り出す技に応じて、あるいは前もって、練習装置等が動作することができないという課題があった。
【課題を解決するための手段】
【0005】
本発明の一実施形態は、動きの学習対象である対戦相手の正面方向から前記対戦相手が撮像された動画像のコマ毎に、前記対戦相手の技の種類および技の段階に関するアノテーション情報が紐づけられたアノテーション済みコマ画像を取得する画像取得部と、前記画像取得部が取得する前記アノテーション済みコマ画像のコマ間の差分に基づいて、前記対戦相手の動き情報を算出する動き情報算出部と、前記動き情報算出部がコマ毎に算出した複数の前記動き情報に基づいて、複数の前記動き情報どうしの前記動画像における時系列を示す情報と、前記アノテーション情報とを含む動き情報画像を生成する動き情報画像生成部と、前記動き情報画像生成部が生成する前記動き情報画像を学習器に供給することにより、前記対戦相手の技の種類および技の段階と前記アノテーション情報との対応関係を学習させる学習制御部と、を備える動き学習装置である。
【0006】
本発明の一実施形態は、上述の動き学習装置によって学習された前記対戦相手の技の種類および技の段階と前記アノテーション情報との対応関係を示す学習結果が記憶される記憶部から、前記学習結果を取得する学習結果取得部と、前記対戦相手の正面方向から前記対戦相手を撮像する撮像部と、前記学習結果取得部が取得する前記学習結果と、前記撮像部が撮像する前記対戦相手の画像とに基づいて、複数種類の前記アノテーション情報のうち前記対戦相手の技の種類および技の段階に対応する種類の前記アノテーション情報を判定する判定部と、前記判定部の判定結果に基づいて、対戦機器の前記対戦相手に対する動作を制御する制御部と、を備える制御装置である。
【0007】
本発明の一実施形態は、上述の制御装置において、前記アノテーション情報の種類と、前記対戦機器の前記対戦相手に対する動作とが対応付けられた対応動作情報が記憶される記憶部から、前記対応動作情報を取得する対応動作情報取得部と、前記対応動作情報取得部が取得する前記対応動作情報と、前記判定部の判定結果とに基づいて、複数種類の前記対戦相手に対する動作のうちから、前記判定結果が示す前記アノテーション情報の種類が示す前記対戦相手に対する動作を選択する動作選択部とをさらに備え、前記制御部は、前記動作選択部が選択する動作に基づいて、前記対戦機器の前記対戦相手に対する動作を制御する。
【0008】
本発明の一実施形態は、上述の制御装置において、前記対戦機器は、関節を有する可動部材を備え、前記アノテーション情報には、前記対戦相手の技の種類および技の段階に対する前記対戦機器の前記可動部材の関節角度を示す情報が含まれ、前記学習結果には、前記対戦相手の技の種類および技の段階と、前記アノテーション情報が示す前記対戦機器の前記可動部材の関節角度との対応関係が学習された結果が含まれ、前記判定部は、前記アノテーション情報が示す複数種類の関節角度のうち、前記対戦相手の技の種類および技の段階に対応する種類の関節角度を判定し、前記制御部は、前記判定部の判定結果に基づいて、前記対戦機器の前記可動部材の関節角度を制御することにより、前記対戦相手に対する動作を制御する。
【0009】
本発明の一実施形態は、動き学習装置が備えるコンピュータに、動きの学習対象である対戦相手の正面方向から前記対戦相手が撮像された動画像のコマ毎に、前記対戦相手の技の種類および技の段階を含む動きに関するアノテーション情報が紐づけられたアノテーション済みコマ画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得される前記アノテーション済みコマ画像のコマ間の差分に基づいて、前記対戦相手の動き情報を算出する動き情報算出ステップと、前記動き情報算出ステップにおいてコマ毎に算出された複数の前記動き情報に基づいて、複数の前記動き情報どうしの前記動画像における時系列を示す情報と、前記アノテーション情報とを含む動き情報画像を生成する動き情報画像生成ステップと、前記動き情報画像生成ステップにおいて生成される前記動き情報画像を学習器に供給することにより、前記対戦相手の技の種類および技の段階と前記アノテーション情報との対応関係を学習させる学習制御ステップと、
を実行させるためのプログラムである。
を実行させるためのプログラムである。
【0010】
本発明の一実施形態は、制御装置が備えるコンピュータに、請求項１に記載の動き学習装置によって学習された前記対戦相手の技の種類および技の段階と前記アノテーション情報との対応関係を示す学習結果が記憶される記憶部から、前記学習結果を取得する学習結果取得ステップと、対戦相手の正面方向から前記対戦相手を撮像する撮像ステップと、前記学習結果取得ステップにおいて取得される前記学習結果と、前記撮像ステップにおいて撮像される前記対戦相手の画像とに基づいて、複数種類の前記アノテーション情報のうち前記対戦相手の技の種類および技の段階に対応する種類の前記アノテーション情報を判定する判定ステップと、前記判定ステップにおける判定結果に基づいて、対戦機器の前記対戦相手に対する動作を制御する制御ステップと、を実行させるためのプログラムである。
【発明の効果】
【0011】
本発明によれば、相手の技の種類を判定および予測することができる動き学習装置、制御装置及びプログラムを提供することができる。
【図面の簡単な説明】
【0012】
【図1】本実施形態の動き学習装置の構成の一例を示す図である。
【図2】本実施形態の対戦相手の撮像方法の一例を示す図である。
【図3】本実施形態のコマ画像の一例を示す図である。
【図4】本実施形態の時刻と竹刀の高さとの関係の一例を示す図である。
【図5】本実施形態のアノテーション済みコマ画像の一例を示す図である。
【図6】本実施形態の動き情報画像の一例を示す図である。
【図7】本実施形態の動き学習装置の動作の流れの一例を示す図である。
【図8】本実施形態の制御装置の構成の一例を示す図である。
【図9】本実施形態の対戦ロボットと対戦相手との対戦状況の一例を示す図である。
【図10】本実施形態の対応動作情報の一例を示す図である。
【図11】本実施形態の制御装置の動作の一例を示す図である。
【図12】本実施形態の判定部による判定結果の一例を示す図である。
【図13】本変形例の制御装置の構成の一例を示す図である。
【図14】本変形例のアノテーション済みコマ画像の一例を示す図である。
【図15】本変形例の対戦ロボットと対戦相手との対戦状況の一例を示す図である。
【発明を実施するための形態】
【0013】
［概要］
本発明の実施形態は、例えば、剣道、銃剣道、短剣道、なぎなた、日本拳法、逮捕術、空手、ボクシングなどの対人競技において、対戦相手である人間の動作の起こり（初動動作のこと。以下、単に起こりとも記載する。）の検出と、技の種類の予測とを行い、対戦相手の攻撃に対して防御や攻撃（反撃）行動を行う装置である。
第１実施形態において対戦相手の動きの学習段階について説明する。第２実施形態において学習された対戦相手の動きに基づいて技の種類を予測し、防御や攻撃行動を行う推論段階について説明する。
本発明の実施形態は、例えば、剣道、銃剣道、短剣道、なぎなた、日本拳法、逮捕術、空手、ボクシングなどの対人競技において、対戦相手である人間の動作の起こり（初動動作のこと。以下、単に起こりとも記載する。）の検出と、技の種類の予測とを行い、対戦相手の攻撃に対して防御や攻撃（反撃）行動を行う装置である。
第１実施形態において対戦相手の動きの学習段階について説明する。第２実施形態において学習された対戦相手の動きに基づいて技の種類を予測し、防御や攻撃行動を行う推論段階について説明する。
【0014】
［第１実施形態（学習段階）］
図１は、本実施形態の動き学習装置３０の構成の一例を示す図である。動き学習装置３０は、画像取得部３１０と、動き情報算出部３２０と、動き情報画像生成部３３０と、学習制御部３４０とを備える。
図１は、本実施形態の動き学習装置３０の構成の一例を示す図である。動き学習装置３０は、画像取得部３１０と、動き情報算出部３２０と、動き情報画像生成部３３０と、学習制御部３４０とを備える。
【0015】
画像取得部３１０は、コマ画像記憶部２０からアノテーション済みコマ画像ＦＩＡを取得する。アノテーション済みコマ画像ＦＩＡとは、動きの学習対象である対戦相手ＯＰの正面方向から対戦相手ＯＰが撮像された動画像のコマ（コマ画像ＦＩ）毎に、対戦相手ＯＰの動きに関するアノテーション情報ＡＴが紐づけられた画像である。アノテーション済みコマ画像ＦＩＡの一例について、図２から図５を参照して説明する。
【0016】
[アノテーション済みコマ画像ＦＩＡの一例]
図２は、本実施形態の対戦相手ＯＰの撮像方法の一例を示す図である。この一例において、対戦相手ＯＰは、対戦ロボット１に対して技を繰り出す。一例として、短剣道の技の種類には、面打ち、喉突き、胴突きなどがある。対戦相手ＯＰは竹刀ＳＤを所持して対戦ロボット１に正対する。対戦ロボット１は、動画像を撮像可能な撮像部１２０を備えており、対戦相手ＯＰの正面方向から対戦相手ＯＰを撮像する。撮像された動画は、１コマごとにコマ画像ＦＩとしてコマ画像記憶部２０に記憶される。
ここで、コマとは、動画像を構成するフレームのことである。撮像部１２０は、所定のフレームレート（例えば、１秒間に３０コマ（３０ｆｐｓ））で撮像する。
図２は、本実施形態の対戦相手ＯＰの撮像方法の一例を示す図である。この一例において、対戦相手ＯＰは、対戦ロボット１に対して技を繰り出す。一例として、短剣道の技の種類には、面打ち、喉突き、胴突きなどがある。対戦相手ＯＰは竹刀ＳＤを所持して対戦ロボット１に正対する。対戦ロボット１は、動画像を撮像可能な撮像部１２０を備えており、対戦相手ＯＰの正面方向から対戦相手ＯＰを撮像する。撮像された動画は、１コマごとにコマ画像ＦＩとしてコマ画像記憶部２０に記憶される。
ここで、コマとは、動画像を構成するフレームのことである。撮像部１２０は、所定のフレームレート（例えば、１秒間に３０コマ（３０ｆｐｓ））で撮像する。
【0017】
図３は、本実施形態のコマ画像ＦＩの一例を示す図である。図３（Ａ）～（Ｃ）は、時刻ｔ１～時刻ｔ３におけるコマ画像ＦＩをそれぞれ示す。以下の説明において、時刻ｔｎ（ｎは自然数。）におけるコマ画像ＦＩのことを、第ｎ時刻のコマ画像ＦＩ（ｔｎ）とも記載する。
第１時刻のコマ画像ＦＩ（ｔ１）には、対戦相手ＯＰが竹刀ＳＤを下方向に構えている様子が撮像されている。第２時刻のコマ画像ＦＩ（ｔ２）には、対戦相手ＯＰが竹刀ＳＤをやや上方に動かした様子が撮像されている。第３時刻のコマ画像ＦＩ（ｔ３）には、対戦相手ＯＰが竹刀ＳＤをさらに上方に動かした様子が撮像されている。
第１時刻のコマ画像ＦＩ（ｔ１）には、対戦相手ＯＰが竹刀ＳＤを下方向に構えている様子が撮像されている。第２時刻のコマ画像ＦＩ（ｔ２）には、対戦相手ＯＰが竹刀ＳＤをやや上方に動かした様子が撮像されている。第３時刻のコマ画像ＦＩ（ｔ３）には、対戦相手ＯＰが竹刀ＳＤをさらに上方に動かした様子が撮像されている。
【0018】
図４は、本実施形態の時刻ｔと竹刀の高さＨとの関係の一例を示す図である。この一例では、短剣道の熟練者は、対戦相手ＯＰが所持する竹刀ＳＤを観察し、竹刀の高さＨの時間変化に基づいて、対戦相手ＯＰの動作を判断することができる。
時刻ｔ１以前においては、竹刀の高さＨが小刻みに上下している。短剣道の熟練者に対して時刻ｔ１以前の時間帯の画像を示した場合、短剣道の熟練者は、対戦相手ＯＰの動作が「陽動」であると判断する。
時刻ｔ１から時刻ｔ２においては、時刻ｔ１以前に比べ、竹刀の高さＨの変化が少なくなる。短剣道の熟練者に対して時刻ｔ１から時刻ｔ２までの画像を示した場合、短剣道の熟練者は、対戦相手ＯＰの動作が「起こり」であると判断する。ここで「起こり」とは、技の発生の予兆動作をいう。
時刻ｔ２から時刻ｔ３においては、竹刀の高さＨがやや上方に移動する。短剣道の熟練者に対してこの時刻ｔ２から時刻ｔ３までの画像を示した場合、短剣道の熟練者は、対戦相手ＯＰの動作が「面打ちの可能性あり」であると判断する。なお、以下の説明において「面打ちの可能性あり」のことを「面打ちか？」とも表現する。
時刻ｔ３以降においては、竹刀の高さＨがさらに上方に移動する。短剣道の熟練者に対してこの時刻ｔ３以降の画像を示した場合、短剣道の熟練者は、対戦相手ＯＰの動作が「面打ち」（すなわち、「面打ちが来るに違いない！」）であると判断する。
時刻ｔ１以前においては、竹刀の高さＨが小刻みに上下している。短剣道の熟練者に対して時刻ｔ１以前の時間帯の画像を示した場合、短剣道の熟練者は、対戦相手ＯＰの動作が「陽動」であると判断する。
時刻ｔ１から時刻ｔ２においては、時刻ｔ１以前に比べ、竹刀の高さＨの変化が少なくなる。短剣道の熟練者に対して時刻ｔ１から時刻ｔ２までの画像を示した場合、短剣道の熟練者は、対戦相手ＯＰの動作が「起こり」であると判断する。ここで「起こり」とは、技の発生の予兆動作をいう。
時刻ｔ２から時刻ｔ３においては、竹刀の高さＨがやや上方に移動する。短剣道の熟練者に対してこの時刻ｔ２から時刻ｔ３までの画像を示した場合、短剣道の熟練者は、対戦相手ＯＰの動作が「面打ちの可能性あり」であると判断する。なお、以下の説明において「面打ちの可能性あり」のことを「面打ちか？」とも表現する。
時刻ｔ３以降においては、竹刀の高さＨがさらに上方に移動する。短剣道の熟練者に対してこの時刻ｔ３以降の画像を示した場合、短剣道の熟練者は、対戦相手ＯＰの動作が「面打ち」（すなわち、「面打ちが来るに違いない！」）であると判断する。
【0019】
図５は、本実施形態のアノテーション済みコマ画像ＦＩＡの一例を示す図である。コマ画像記憶部２０には、アノテーション済みコマ画像ＦＩＡが記憶されている。アノテーション済みコマ画像ＦＩＡとは、対戦相手ＯＰの正面方向から対戦相手ＯＰが撮像された動画像のコマ（コマ画像ＦＩ）毎に、対戦相手ＯＰの動きに関するアノテーション情報ＡＴが紐づけられた画像である。
本実施形態の場合、アノテーション情報ＡＴの種類には、「残心」「起こり」「胴突き？」「胴突き」「喉突き？」「喉突き」「面打ち？」「面打ち」が含まれる。
本実施形態の場合、アノテーション情報ＡＴの種類には、「残心」「起こり」「胴突き？」「胴突き」「喉突き？」「喉突き」「面打ち？」「面打ち」が含まれる。
【0020】
例えば、第１時刻のコマ画像ＦＩ（ｔ１）には、対戦相手ＯＰが竹刀ＳＤを下方向に構えている様子が撮像されている。短剣道の熟練者によって、第１時刻のコマ画像ＦＩ（ｔ１）に撮像された動作が「起こり」であると判断されている。この場合、第１時刻のコマ画像ＦＩ（ｔ１）には、アノテーション情報ＡＴ「起こり」が紐づけられる。
第２時刻のコマ画像ＦＩ（ｔ２）には、対戦相手ＯＰが竹刀ＳＤをやや上方に動かした様子が撮像されている。短剣道の熟練者によって、第２時刻のコマ画像ＦＩ（ｔ２）に撮像された動作が「面打ちか？」であると判断されている。この場合、第２時刻のコマ画像ＦＩ（ｔ２）には、アノテーション情報ＡＴ「面打ちか？」が紐づけられる。
第３時刻のコマ画像ＦＩ（ｔ３）には、対戦相手ＯＰが竹刀ＳＤをさらに上方に動かした様子が撮像されている。短剣道の熟練者によって、第３時刻のコマ画像ＦＩ（ｔ３）に撮像された動作が「面打ち」であると判断されている。この場合、第３時刻のコマ画像ＦＩ（ｔ３）には、アノテーション情報ＡＴ「面打ち」が紐づけられる。
なお、コマ画像ＦＩに対してアノテーション情報ＡＴを紐づける作業には、既存の手法を用いれば足りる。
第２時刻のコマ画像ＦＩ（ｔ２）には、対戦相手ＯＰが竹刀ＳＤをやや上方に動かした様子が撮像されている。短剣道の熟練者によって、第２時刻のコマ画像ＦＩ（ｔ２）に撮像された動作が「面打ちか？」であると判断されている。この場合、第２時刻のコマ画像ＦＩ（ｔ２）には、アノテーション情報ＡＴ「面打ちか？」が紐づけられる。
第３時刻のコマ画像ＦＩ（ｔ３）には、対戦相手ＯＰが竹刀ＳＤをさらに上方に動かした様子が撮像されている。短剣道の熟練者によって、第３時刻のコマ画像ＦＩ（ｔ３）に撮像された動作が「面打ち」であると判断されている。この場合、第３時刻のコマ画像ＦＩ（ｔ３）には、アノテーション情報ＡＴ「面打ち」が紐づけられる。
なお、コマ画像ＦＩに対してアノテーション情報ＡＴを紐づける作業には、既存の手法を用いれば足りる。
【0021】
図１に戻り、画像取得部３１０は、取得したアノテーション済みコマ画像ＦＩＡを動き情報算出部３２０に供給する。
動き情報算出部３２０は、画像取得部３１０から供給されるアノテーション済みコマ画像ＦＩＡを取得する。動き情報算出部３２０は、画像取得部３１０が取得するアノテーション済みコマ画像ＦＩＡのコマ間の差分に基づいて、対戦相手ＯＰの動き情報ＭＶを算出する。
動き情報算出部３２０は、画像取得部３１０から供給されるアノテーション済みコマ画像ＦＩＡを取得する。動き情報算出部３２０は、画像取得部３１０が取得するアノテーション済みコマ画像ＦＩＡのコマ間の差分に基づいて、対戦相手ＯＰの動き情報ＭＶを算出する。
【0022】
具体的には、動き情報算出部３２０は、アノテーション済みコマ画像ＦＩＡのうち、撮像された時刻ｔが互いに異なる複数のコマどうしを比較し、動き情報ＭＶを算出する。この場合、動き情報算出部３２０は、２枚のコマを互いに比較することにより動き情報ＭＶを算出してもよいし、３枚以上のコマを互いに比較して動き情報ＭＶを算出してもよい。
【0023】
例えば、動き情報算出部３２０は、３枚のコマを互いに比較する場合、次のようにして動き情報ＭＶを算出する。
まず、動き情報算出部３２０は、基準時刻ｔ０のコマ画像ＦＩと、基準時刻ｔ０の１コマ前のコマ画像ＦＩとの間において、互いに対応する位置の画素の画素値の差分を算出する。動き情報算出部３２０は、算出した差分が負になる画素については、その差分値を切り捨てる（例えば、画素値を０（ゼロ）にする）。
動き情報算出部３２０は、基準時刻ｔ０の１コマ前のコマ画像ＦＩと、基準時刻ｔ０の２コマ前のコマ画像ＦＩとの間において、互いに対応する位置の画素の画素値の差分を算出する。動き情報算出部３２０は、算出した差分が負になる画素については、その差分値の符号を反転させる。
まず、動き情報算出部３２０は、基準時刻ｔ０のコマ画像ＦＩと、基準時刻ｔ０の１コマ前のコマ画像ＦＩとの間において、互いに対応する位置の画素の画素値の差分を算出する。動き情報算出部３２０は、算出した差分が負になる画素については、その差分値を切り捨てる（例えば、画素値を０（ゼロ）にする）。
動き情報算出部３２０は、基準時刻ｔ０の１コマ前のコマ画像ＦＩと、基準時刻ｔ０の２コマ前のコマ画像ＦＩとの間において、互いに対応する位置の画素の画素値の差分を算出する。動き情報算出部３２０は、算出した差分が負になる画素については、その差分値の符号を反転させる。
【0024】
一般に、対人競技においては、対戦相手ＯＰの動きの特徴がコマ画像ＦＩの一部に強く表れる場合がある。例えば、短剣道においては、竹刀ＳＤの動きが技の種類の特徴を強く表す。したがって、竹刀ＳＤの位置の時間変化を抽出することにより、対戦相手ＯＰが繰り出す技の種類を判定することができる。つまり、竹刀ＳＤの画像は、対戦相手ＯＰが繰り出す技の種類の判定に寄与する画像である。
また、撮像部１２０が対戦相手ＯＰを撮像した動画に、床・壁・天井などの背景が撮像されることがある。背景の画像は、対戦相手ＯＰが繰り出す技の種類の判定に寄与しない画像である。
また、撮像部１２０が対戦相手ＯＰを撮像した動画に、床・壁・天井などの背景が撮像されることがある。背景の画像は、対戦相手ＯＰが繰り出す技の種類の判定に寄与しない画像である。
【0025】
短剣道などの対人競技において、対戦相手ＯＰが技を繰り出す動作を、対戦相手ＯＰの正面方向から見た場合、背景の位置の変化に比べて竹刀ＳＤの位置の変化が大きい。このため、コマ画像ＦＩどうしの差分には、竹刀ＳＤの位置の変化が抽出される。
【0026】
また、短剣道などの対人競技において、対戦相手ＯＰが技を繰り出す場合、対戦相手ＯＰの体幹や足先が大きく動くことがあるが、この動きの方向は対戦相手ＯＰの前後方向（図２に示すｘ軸方向）である。一方、対戦相手ＯＰが技を繰り出す場合、竹刀ＳＤの動きの方向は鉛直方向（図２に示すｚ軸方向）である。
技を繰り出す対戦相手ＯＰの動きを、対戦相手ＯＰの正面方向から見た場合（すなわち、図２に示すｙｚ平面視の場合）、対戦相手ＯＰの体幹や足先は奥行方向（ｘ軸方向）に動き、竹刀ＳＤは上下方向（ｚ軸方向）に動く。動画中の画面奥行方向の動きは、画面上下方向（及び画面左右方向）の動きに比べて、画面内の座標移動が少ない。したがって、コマ画像ＦＩどうしの差分には、画面奥行方向の動きよりも画面上下方向（及び画面左右方向）の動きのほうが抽出されやすい。
つまり、技を繰り出す対戦相手ＯＰの動きを、対戦相手ＯＰの正面方向から撮像された動画について、コマ画像ＦＩどうしの差分を算出すると、対戦相手ＯＰの体幹や足先の位置変化に比べて、竹刀ＳＤの位置の変化が抽出されやすい。
技を繰り出す対戦相手ＯＰの動きを、対戦相手ＯＰの正面方向から見た場合（すなわち、図２に示すｙｚ平面視の場合）、対戦相手ＯＰの体幹や足先は奥行方向（ｘ軸方向）に動き、竹刀ＳＤは上下方向（ｚ軸方向）に動く。動画中の画面奥行方向の動きは、画面上下方向（及び画面左右方向）の動きに比べて、画面内の座標移動が少ない。したがって、コマ画像ＦＩどうしの差分には、画面奥行方向の動きよりも画面上下方向（及び画面左右方向）の動きのほうが抽出されやすい。
つまり、技を繰り出す対戦相手ＯＰの動きを、対戦相手ＯＰの正面方向から撮像された動画について、コマ画像ＦＩどうしの差分を算出すると、対戦相手ＯＰの体幹や足先の位置変化に比べて、竹刀ＳＤの位置の変化が抽出されやすい。
【0027】
上述したように、動き情報算出部３２０は、対戦相手ＯＰの正面方向から撮像された動画について、時間軸上で隣接する（又は近接する）複数のコマ画像ＦＩの差分（例えば、画像を構成する画素値の差分）を算出する。
このように算出された差分は、対戦相手ＯＰが所持する竹刀ＳＤの部分の差分が大きくなり、背景や対戦相手ＯＰの体幹部分の差分が小さくなる。動き情報算出部３２０は、コマ画像ＦＩの差分を算出することにより、画像認識などの手段によらず、竹刀ＳＤの画像を抽出することができる。すなわち、動き情報算出部３２０は、コマ画像ＦＩの差分を算出することにより、画像認識などの手段によらず、対戦相手ＯＰが繰り出す技の種類の判定に寄与する情報（つまり、動き情報ＭＶ）を算出することができる。
このように算出された差分は、対戦相手ＯＰが所持する竹刀ＳＤの部分の差分が大きくなり、背景や対戦相手ＯＰの体幹部分の差分が小さくなる。動き情報算出部３２０は、コマ画像ＦＩの差分を算出することにより、画像認識などの手段によらず、竹刀ＳＤの画像を抽出することができる。すなわち、動き情報算出部３２０は、コマ画像ＦＩの差分を算出することにより、画像認識などの手段によらず、対戦相手ＯＰが繰り出す技の種類の判定に寄与する情報（つまり、動き情報ＭＶ）を算出することができる。
【0028】
動き情報算出部３２０は、動き情報ＭＶをアノテーション済みコマ画像ＦＩＡに含まれるコマ画像ＦＩのそれぞれについて、前後のコマ画像ＦＩと比較することにより動き情報ＭＶを算出する。動き情報算出部３２０は、算出した動き情報ＭＶ（つまり、コマ画像ＦＩどうしの差分）を動き情報画像生成部３３０に供給する。
【0029】
動き情報画像生成部３３０は、動き情報算出部３２０がコマ毎に算出した複数の動き情報ＭＶに基づいて、複数の動き情報ＭＶどうしの動画像における時系列情報ＴＳ（時系列を示す情報）と、アノテーション情報ＡＴとを含む動き情報画像ＭＩを生成する。
【0030】
図６は、本実施形態の動き情報画像ＭＩの一例を示す図である。この一例において、動き情報画像生成部３３０は、３つの時刻ｔのコマ画像ＦＩからそれぞれ算出された動き情報ＭＶどうしを合成して、動き情報画像ＭＩを生成する。
この一例において、動き情報画像ＭＩには、３つの動き情報ＭＶのうち、最も古い第１時刻の動き情報ＭＶ１、次に古い第２時刻の動き情報ＭＶ２、及び最も新しい第３時刻の動き情報ＭＶ３が含まれている。
また、動き情報画像生成部３３０は、生成した動き情報画像ＭＩに、アノテーション情報ＡＴを紐づける。例えば「面打ち」の動作を示す動き情報画像ＭＩを生成する場合、動き情報画像生成部３３０は、動き情報画像ＭＩにアノテーション情報ＡＴ「面打ち」を紐づける。
この一例において、動き情報画像ＭＩには、３つの動き情報ＭＶのうち、最も古い第１時刻の動き情報ＭＶ１、次に古い第２時刻の動き情報ＭＶ２、及び最も新しい第３時刻の動き情報ＭＶ３が含まれている。
また、動き情報画像生成部３３０は、生成した動き情報画像ＭＩに、アノテーション情報ＡＴを紐づける。例えば「面打ち」の動作を示す動き情報画像ＭＩを生成する場合、動き情報画像生成部３３０は、動き情報画像ＭＩにアノテーション情報ＡＴ「面打ち」を紐づける。
【0031】
動き情報画像ＭＩには、これら複数の動き情報ＭＶの順序を示す情報（時系列情報ＴＳ）が含まれている。ここでいう動き情報ＭＶの順序とは、撮像部１２０が撮像した動画のタイムライン上における、動き情報ＭＶどうしの時系列のことである。
時系列情報ＴＳは、動き情報ＭＶどうしの時系列が、学習器４０によって学習可能な形式で表現されていれば、どのような形式であってもよい。例えば、時系列情報ＴＳは、第１時刻の動き情報ＭＶ１は「青」、第２時刻の動き情報ＭＶ２は「緑」、第３時刻の動き情報ＭＶ３は「赤」などの色によって表現されたものであってもよい。また、時系列情報ＴＳは、第１時刻の動き情報ＭＶ１は「１」、第２時刻の動き情報ＭＶ２は「２」、第３時刻の動き情報ＭＶ３は「３」などの数値情報（例えば、数値メタデータ）によって表現されたものであってもよい。
時系列情報ＴＳは、動き情報ＭＶどうしの時系列が、学習器４０によって学習可能な形式で表現されていれば、どのような形式であってもよい。例えば、時系列情報ＴＳは、第１時刻の動き情報ＭＶ１は「青」、第２時刻の動き情報ＭＶ２は「緑」、第３時刻の動き情報ＭＶ３は「赤」などの色によって表現されたものであってもよい。また、時系列情報ＴＳは、第１時刻の動き情報ＭＶ１は「１」、第２時刻の動き情報ＭＶ２は「２」、第３時刻の動き情報ＭＶ３は「３」などの数値情報（例えば、数値メタデータ）によって表現されたものであってもよい。
【0032】
図１に戻り、動き情報画像生成部３３０は、生成した動き情報画像ＭＩを学習制御部３４０に供給する。
学習制御部３４０は、動き情報画像生成部３３０から取得した動き情報画像ＭＩを学習器４０に供給する。学習制御部３４０は、動き情報画像ＭＩを学習器４０に供給することにより、対戦相手ＯＰの動きとアノテーション情報ＡＴとの対応関係を学習させる。
学習器４０は、動き情報画像ＭＩに含まれる動き情報ＭＶとアノテーション情報ＡＴとの対応関係を教師データとして、既知の学習手法によって、対戦相手ＯＰの動きとアノテーション情報ＡＴとの対応関係を学習する。
学習器４０は、学習結果記憶部４１０を備えている。学習器４０は、学習結果ＬＲを学習結果記憶部４１０に記憶させる。
学習制御部３４０は、動き情報画像生成部３３０から取得した動き情報画像ＭＩを学習器４０に供給する。学習制御部３４０は、動き情報画像ＭＩを学習器４０に供給することにより、対戦相手ＯＰの動きとアノテーション情報ＡＴとの対応関係を学習させる。
学習器４０は、動き情報画像ＭＩに含まれる動き情報ＭＶとアノテーション情報ＡＴとの対応関係を教師データとして、既知の学習手法によって、対戦相手ＯＰの動きとアノテーション情報ＡＴとの対応関係を学習する。
学習器４０は、学習結果記憶部４１０を備えている。学習器４０は、学習結果ＬＲを学習結果記憶部４１０に記憶させる。
【0033】
［動き学習装置３０の動作］
図７は、本実施形態の動き学習装置３０の動作の流れの一例を示す図である。
（ステップＳ１０）画像取得部３１０は、コマ画像記憶部２０から、アノテーション済みコマ画像ＦＩＡを取得する。このアノテーション済みコマ画像ＦＩＡには、動きの学習対象である対戦相手ＯＰの正面方向から対戦相手ＯＰが撮像された動画像のコマ（すなわち、コマ画像ＦＩ）が含まれている。また、コマ画像ＦＩには、対戦相手ＯＰの動きに関するアノテーション情報ＡＴが予め紐づけられている。
図７は、本実施形態の動き学習装置３０の動作の流れの一例を示す図である。
（ステップＳ１０）画像取得部３１０は、コマ画像記憶部２０から、アノテーション済みコマ画像ＦＩＡを取得する。このアノテーション済みコマ画像ＦＩＡには、動きの学習対象である対戦相手ＯＰの正面方向から対戦相手ＯＰが撮像された動画像のコマ（すなわち、コマ画像ＦＩ）が含まれている。また、コマ画像ＦＩには、対戦相手ＯＰの動きに関するアノテーション情報ＡＴが予め紐づけられている。
【0034】
（ステップＳ２０）動き情報算出部３２０は、ステップＳ１０において取得されたアノテーション済みコマ画像ＦＩＡのコマ間の差分に基づいて、対戦相手ＯＰの動き情報ＭＶを算出する。
【0035】
（ステップＳ３０）動き情報画像生成部３３０は、ステップＳ２０において算出された複数の動き情報ＭＶに基づいて、複数の動き情報ＭＶどうしの時系列情報ＴＳ（例えば、赤・緑・青）と、アノテーション情報ＡＴとを含む動き情報画像ＭＩを生成する。
【0036】
（ステップＳ４０）学習制御部３４０は、ステップＳ３０において生成された動き情報画像ＭＩを学習器４０に供給することにより、対戦相手ＯＰの動きとアノテーション情報ＡＴとの対応関係を学習させる。
【0037】
このように構成された動き学習装置３０によれば、アノテーション済みコマ画像ＦＩＡについて、例えば、竹刀ＳＤの位置を抽出する画像認識などを行わなくても、対戦相手ＯＰの動作の特徴を学習させることができる。
【0038】
［第２実施形態（推論段階）］
図８及び図９を参照して、本実施形態の対戦ロボット１ａの構成について説明する。
図８は、本実施形態の制御装置１０の構成の一例を示す図である。
図９は、本実施形態の対戦ロボット１ａと対戦相手ＯＰとの対戦状況の一例を示す図である。
図８及び図９を参照して、本実施形態の対戦ロボット１ａの構成について説明する。
図８は、本実施形態の制御装置１０の構成の一例を示す図である。
図９は、本実施形態の対戦ロボット１ａと対戦相手ＯＰとの対戦状況の一例を示す図である。
【0039】
対戦ロボット１ａは、制御装置１０と、アクチュエータ５０と、可動部材７０とを備えている。可動部材７０は、例えば、上腕部７１と、下腕部７２と、手部７３とを備える。対戦ロボット１ａの肩部と、上腕部７１とは肩関節によって回転可能に接合されている。上腕部７１と、下腕部７２とは肘関節によって回転可能に接合されている。下腕部７２と、手部７３とは手首関節によって回転可能に接合されている。手部７３には、竹刀ＳＤが装着される。これら可動部材７０は、制御装置１０の制御に基づいて動作するアクチュエータ５０（例えば、電動機）によって駆動される。
すなわち、対戦ロボット１（対戦機器）は、関節を有する可動部材７０を備えている。
すなわち、対戦ロボット１（対戦機器）は、関節を有する可動部材７０を備えている。
【0040】
制御装置１０は、学習結果取得部１１０と、撮像部１２０と、判定部１３０と、対応動作情報取得部１４０と、動作選択部１５０と、制御部１６０とを備える。
【0041】
学習結果取得部１１０は、学習結果記憶部４１０から、学習結果ＬＲを取得する。学習結果ＬＲとは、動き学習装置３０によって学習された対戦相手ＯＰの動きとアノテーション情報ＡＴとの対応関係が学習器４０によって学習された情報である。
【0042】
撮像部１２０は、対戦ロボット１ａの一部（例えば、頭部）に備えられ、対戦相手ＯＰの正面方向から対戦相手ＯＰを撮像する。
判定部１３０は、学習結果取得部１１０が取得する学習結果ＬＲと、撮像部１２０が撮像する対戦相手ＯＰの画像ＩＭＧとに基づいて、複数種類のアノテーション情報ＡＴのうち対戦相手ＯＰの動きに対応する種類のアノテーション情報ＡＴを判定する。
判定部１３０は、学習結果取得部１１０が取得する学習結果ＬＲと、撮像部１２０が撮像する対戦相手ＯＰの画像ＩＭＧとに基づいて、複数種類のアノテーション情報ＡＴのうち対戦相手ＯＰの動きに対応する種類のアノテーション情報ＡＴを判定する。
【0043】
対応動作情報取得部１４０は、対応動作情報記憶部６０から、対応動作情報ＲＡを取得する。
【0044】
図１０は、本実施形態の対応動作情報ＲＡの一例を示す図である。対応動作情報記憶部６０には、アノテーション情報ＡＴの種類と、対戦ロボット１（対戦機器）の対戦相手ＯＰに対する動作とが対応付けられた対応動作情報ＲＡが記憶されている。
例えば、対応動作情報ＲＡにおいて、判定結果ＤＲ「陽動」と、対応する動作「何もしない」とが対応付けられている。また、対応動作情報ＲＡにおいて、判定結果ＤＲ「起こり」と対応する動作「何もしない」とが、判定結果ＤＲ「面打ちかな？」と、対応する動作「腕を少し上げる」とが、判定結果ＤＲ「面打ち」と、対応する動作「腕を大きく上げる」とが、それぞれ対応付けられている。
例えば、対応動作情報ＲＡにおいて、判定結果ＤＲ「陽動」と、対応する動作「何もしない」とが対応付けられている。また、対応動作情報ＲＡにおいて、判定結果ＤＲ「起こり」と対応する動作「何もしない」とが、判定結果ＤＲ「面打ちかな？」と、対応する動作「腕を少し上げる」とが、判定結果ＤＲ「面打ち」と、対応する動作「腕を大きく上げる」とが、それぞれ対応付けられている。
【0045】
図８に戻り、動作選択部１５０は、対応動作情報取得部１４０が取得する対応動作情報ＲＡと、判定部１３０の判定結果ＤＲとに基づいて、複数種類の対戦相手ＯＰに対する動作のうちから、判定結果ＤＲが示すアノテーション情報ＡＴの種類が示す対戦相手ＯＰに対する動作を選択する。
【0046】
制御部１６０は、判定部１３０の判定結果ＤＲに基づいて、対戦ロボット１（対戦機器）の対戦相手ＯＰに対する動作を制御する。
なお、上述した一例では、動作選択部１５０は、判定部１３０の判定結果ＤＲに基づいて動作を選択する。つまり、制御部１６０は、動作選択部１５０が選択する動作に基づいて、対戦ロボット１（対戦機器）の対戦相手ＯＰに対する動作を制御する。
次に、図１１を参照して、制御装置１０の動作について説明する。
なお、上述した一例では、動作選択部１５０は、判定部１３０の判定結果ＤＲに基づいて動作を選択する。つまり、制御部１６０は、動作選択部１５０が選択する動作に基づいて、対戦ロボット１（対戦機器）の対戦相手ＯＰに対する動作を制御する。
次に、図１１を参照して、制御装置１０の動作について説明する。
【0047】
［制御装置１０の動作］
図１１は、本実施形態の制御装置１０の動作の一例を示す図である。
（ステップＳ１１０）学習結果取得部１１０は、学習結果記憶部４１０から、学習結果ＬＲを取得する。
（ステップＳ１２０）撮像部１２０は、対戦相手ＯＰの正面方向から対戦相手ＯＰを撮像する。
（ステップＳ１３０）判定部１３０は、ステップＳ１１０において取得される学習結果ＬＲと、ステップＳ１２０において撮像される対戦相手ＯＰの画像ＩＭＧとに基づいて、複数種類のアノテーション情報ＡＴのうち対戦相手ＯＰの動きに対応する種類のアノテーション情報ＡＴを判定する。図１１を参照して、判定部１３０によるアノテーション情報ＡＴの判定結果ＤＲの一例について説明する。
図１１は、本実施形態の制御装置１０の動作の一例を示す図である。
（ステップＳ１１０）学習結果取得部１１０は、学習結果記憶部４１０から、学習結果ＬＲを取得する。
（ステップＳ１２０）撮像部１２０は、対戦相手ＯＰの正面方向から対戦相手ＯＰを撮像する。
（ステップＳ１３０）判定部１３０は、ステップＳ１１０において取得される学習結果ＬＲと、ステップＳ１２０において撮像される対戦相手ＯＰの画像ＩＭＧとに基づいて、複数種類のアノテーション情報ＡＴのうち対戦相手ＯＰの動きに対応する種類のアノテーション情報ＡＴを判定する。図１１を参照して、判定部１３０によるアノテーション情報ＡＴの判定結果ＤＲの一例について説明する。
【0048】
図１２は、本実施形態の判定部１３０による判定結果ＤＲの一例を示す図である。この一例において、アノテーション情報ＡＴの種類には「残心」「陽動」「起こり」「胴突きか？」「胴突き」「喉突きか？」「喉突き」「面打ちか？」「面打ち」が含まれる。
判定部１３０は、時刻ｔにおいて撮像された対戦相手ＯＰの画像ＩＭＧと、学習結果ＬＲとに基づいて、これら複数種類のアノテーション情報ＡＴのうちから、時刻ｔにおける対戦相手ＯＰの動作の種類を判定する。この一例において、判定部１３０は、時刻ｔ１１以前の対戦相手ＯＰの動作の種類が「陽動」であると判定する。判定部１３０は、時刻ｔ１１から時刻ｔ１２までの対戦相手ＯＰの動作の種類が「起こり」であると判定する。判定部１３０は、時刻ｔ１２から時刻ｔ１３までの対戦相手ＯＰの動作の種類が「面打ちか？」であると判定する。判定部１３０は、時刻ｔ１３以降の対戦相手ＯＰの動作の種類が「面打ち」であると判定する。
判定部１３０は、時刻ｔにおいて撮像された対戦相手ＯＰの画像ＩＭＧと、学習結果ＬＲとに基づいて、これら複数種類のアノテーション情報ＡＴのうちから、時刻ｔにおける対戦相手ＯＰの動作の種類を判定する。この一例において、判定部１３０は、時刻ｔ１１以前の対戦相手ＯＰの動作の種類が「陽動」であると判定する。判定部１３０は、時刻ｔ１１から時刻ｔ１２までの対戦相手ＯＰの動作の種類が「起こり」であると判定する。判定部１３０は、時刻ｔ１２から時刻ｔ１３までの対戦相手ＯＰの動作の種類が「面打ちか？」であると判定する。判定部１３０は、時刻ｔ１３以降の対戦相手ＯＰの動作の種類が「面打ち」であると判定する。
【0049】
（ステップＳ１４０）図１１に戻り、制御部１６０は、判定部１３０の判定結果ＤＲに基づいて、対戦ロボット１（対戦機器）の対戦相手ＯＰに対する動作を制御する。この一例において、制御部１６０は、動作選択部１５０が選択する動作に基づいて、アクチュエータ５０を駆動する。動作選択部１５０が動作を選択する手順について説明する。
【0050】
対応動作情報取得部１４０は、対応動作情報記憶部６０から対応動作情報ＲＡを取得する。対応動作情報取得部１４０は、取得した対応動作情報ＲＡを動作選択部１５０に供給する。
【0051】
動作選択部１５０は、対応動作情報ＲＡに基づいて、ステップＳ１３０において判定部１３０が判定した判定結果ＤＲに対応する動作を選択する。例えば、判定結果ＤＲが「面打ちかな？」である場合には、動作選択部１５０は、対応動作情報ＲＡにおいて「面打ちかな？」に対応する動作「腕を少し上げる」を選択する。
動作選択部１５０は、選択した動作を動作選択結果ＳＲとして制御部１６０に供給する。
動作選択部１５０は、選択した動作を動作選択結果ＳＲとして制御部１６０に供給する。
【0052】
制御部１６０は、動作選択部１５０による動作選択結果ＳＲに応じた駆動信号ＤＳをアクチュエータ５０に対して出力する。例えば、動作選択結果ＳＲが「腕を少し上げる」である場合、制御部１６０は、予めプログラムされている各種動作に応じた駆動信号ＤＳのうち、腕上げ動作を行うための駆動信号ＤＳを生成し、アクチュエータ５０に対して出力する。
【0053】
［推論段階の変形例］
図１３から図１５を参照して、対戦ロボット１の変形例（対戦ロボット１ｂ）の構成について説明する。
図１３は、本変形例の制御装置１０ｂの構成の一例を示す図である。
図１４は、本変形例のアノテーション済みコマ画像ＦＩＡａの一例を示す図である。
図１５は、本変形例の対戦ロボット１ｂと対戦相手ＯＰとの対戦状況の一例を示す図である。
本変形例の制御装置１０ｂは、対応動作情報取得部１４０及び動作選択部１５０を備えない点で、上述した第２実施形態の制御装置１０と異なる。
図１３から図１５を参照して、対戦ロボット１の変形例（対戦ロボット１ｂ）の構成について説明する。
図１３は、本変形例の制御装置１０ｂの構成の一例を示す図である。
図１４は、本変形例のアノテーション済みコマ画像ＦＩＡａの一例を示す図である。
図１５は、本変形例の対戦ロボット１ｂと対戦相手ＯＰとの対戦状況の一例を示す図である。
本変形例の制御装置１０ｂは、対応動作情報取得部１４０及び動作選択部１５０を備えない点で、上述した第２実施形態の制御装置１０と異なる。
【0054】
学習結果記憶部４１０には、アノテーション済みコマ画像ＦＩＡａについての学習結果ＬＲが記憶されている。
本変形例のアノテーション済みコマ画像ＦＩＡａにおけるアノテーション情報ＡＴには、対戦相手ＯＰの動きに対する対戦ロボット１ｂ（対戦機器）の可動部材７０の関節角度θを示す情報が含まれる。可動部材７０の関節角度θには、肩関節角度θｓと、肘関節角度θｅと、手首関節角度θｗとが含まれる。
本変形例のアノテーション済みコマ画像ＦＩＡａにおけるアノテーション情報ＡＴには、対戦相手ＯＰの動きに対する対戦ロボット１ｂ（対戦機器）の可動部材７０の関節角度θを示す情報が含まれる。可動部材７０の関節角度θには、肩関節角度θｓと、肘関節角度θｅと、手首関節角度θｗとが含まれる。
【0055】
上述した第１実施形態において、アノテーション済みコマ画像ＦＩＡは、コマ画像ＦＩと、このコマ画像ＦＩを見た短剣道の熟練者が判定した、対戦相手ＯＰの動作とが対応付けられていた。
本変形例では、アノテーション済みコマ画像ＦＩＡａは、コマ画像ＦＩと、そのコマ画像ＦＩが示す対戦相手ＯＰの動作を見た短剣道の熟練者の挙動とが対応付けられている。ここで、短剣道の熟練者の挙動は、短剣道の熟練者に着けられたマーカーを撮像し、撮像されたマーカーの座標や軌跡を算出することにより得られる。例えば、短剣道の熟練者の肩、肘、手首等にマーカーが付けられている場合には、短剣道の熟練者の腕の関節角度が得られる。一例として、対戦相手ＯＰの等身大の動画を表示可能なディスプレイ装置を用意し、短剣道の熟練者と相対する位置に対戦相手ＯＰの等身大の動画を表示させる。ディスプレイ装置に表示される対戦相手ＯＰの動作に対する、短剣道の熟練者の挙動を撮像し、短剣道の熟練者の腕の関節角度を算出する。このようにして得られた対戦相手ＯＰの動作と、短剣道の熟練者の挙動（腕の関節角度）との対応関係に基づいて、アノテーション済みコマ画像ＦＩＡａが生成される。
上述した学習器４０は、アノテーション済みコマ画像ＦＩＡａについて、動き情報画像ＭＩに含まれる動き情報ＭＶとアノテーション情報ＡＴとの対応関係を教師データとして、既知の学習手法によって、対戦相手ＯＰの動きとアノテーション情報ＡＴとの対応関係を学習する。
対戦ロボット１ｂの可動部材７０の関節角度θは、短剣道の熟練者の腕の関節角度に対応している。
本変形例では、アノテーション済みコマ画像ＦＩＡａは、コマ画像ＦＩと、そのコマ画像ＦＩが示す対戦相手ＯＰの動作を見た短剣道の熟練者の挙動とが対応付けられている。ここで、短剣道の熟練者の挙動は、短剣道の熟練者に着けられたマーカーを撮像し、撮像されたマーカーの座標や軌跡を算出することにより得られる。例えば、短剣道の熟練者の肩、肘、手首等にマーカーが付けられている場合には、短剣道の熟練者の腕の関節角度が得られる。一例として、対戦相手ＯＰの等身大の動画を表示可能なディスプレイ装置を用意し、短剣道の熟練者と相対する位置に対戦相手ＯＰの等身大の動画を表示させる。ディスプレイ装置に表示される対戦相手ＯＰの動作に対する、短剣道の熟練者の挙動を撮像し、短剣道の熟練者の腕の関節角度を算出する。このようにして得られた対戦相手ＯＰの動作と、短剣道の熟練者の挙動（腕の関節角度）との対応関係に基づいて、アノテーション済みコマ画像ＦＩＡａが生成される。
上述した学習器４０は、アノテーション済みコマ画像ＦＩＡａについて、動き情報画像ＭＩに含まれる動き情報ＭＶとアノテーション情報ＡＴとの対応関係を教師データとして、既知の学習手法によって、対戦相手ＯＰの動きとアノテーション情報ＡＴとの対応関係を学習する。
対戦ロボット１ｂの可動部材７０の関節角度θは、短剣道の熟練者の腕の関節角度に対応している。
【0056】
すなわち、学習結果ＬＲには、対戦相手ＯＰの動きと、アノテーション情報ＡＴが示す対戦ロボット１ｂ（対戦機器）の可動部材７０の関節角度θとの対応関係が学習された結果が含まれている。
本変形例の判定部１３０ｂは、アノテーション情報ＡＴが示す複数種類の関節角度θのうち、対戦相手ＯＰの動きに対応する種類の関節角度θを判定する。
本変形例の判定部１３０ｂは、アノテーション情報ＡＴが示す複数種類の関節角度θのうち、対戦相手ＯＰの動きに対応する種類の関節角度θを判定する。
【0057】
制御部１６０ｂは、判定部１３０の判定結果ＤＲに基づいて、対戦ロボット１（対戦機器）の可動部材７０の関節角度θを制御することにより、対戦相手ＯＰに対する動作を制御する。
【0058】
以上説明したように、本変形例の制御装置１０ｂは、対戦相手ＯＰの動きに対する熟練者の腕の関節角度の学習結果に基づいて動作する。例えば、短剣道の熟練者は、対戦相手ＯＰの動作に応じて、「竹刀で払う」「竹刀でかわす」あるいは「体を捌く」などの動作を行う。制御装置１０ｂによれば、対戦相手ＯＰの動きに応じて、熟練者と同様に動作する対戦ロボット１ｂを、比較的簡易なアノテーション作業によって提供することができる。
【0059】
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。
【0060】
なお、上述の各装置は内部にコンピュータを有している。そして、上述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
【0061】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【0062】
１,１ａ,１ｂ…対戦ロボット、１０,１０ｂ…制御装置、１１０…学習結果取得部、１２０…撮像部、１３０,１３０ｂ…判定部、１４０…対応動作情報取得部、１５０…動作選択部、１６０…制御部、３０…動き学習装置、３１０…画像取得部、３２０…動き情報算出部、３３０…動き情報画像生成部、３４０…学習制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】