特開 2022-178356 技認識方法、技認識プログラム及び体操採点支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022178356

(43)【公開日】2022-12-02

(54)【発明の名称】技認識方法、技認識プログラム及び体操採点支援システム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20221125BHJP

   A63B 71/06 20060101ALI20221125BHJP

【ＦＩ】

G06T7/20 300Z

A63B71/06 M

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021085106

(22)【出願日】2021-05-20

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100094525

【弁理士】

【氏名又は名称】土井 健二

(74)【代理人】

【識別番号】100094514

【弁理士】

【氏名又は名称】林 恒徳

(72)【発明者】

【氏名】井谷 宣子

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096FA69

5L096FA74

5L096JA11

(57)【要約】

【課題】選手が行った技の認識を精度良く行うことを可能とする技認識方法、技認識プログラム及び体操採点支援システムを提供する。
【解決手段】人間の姿勢をそれぞれ含む時系列に並んだ複数フレームを取得し、複数フレームのうち、第１条件を満たす分節フレームを特定し、複数フレームのうち、第２条件を連続して満たす分節フレーム群を特定し、特定した複数フレームを分節フレームと分節フレーム群とを分節点とすることにより、複数フレームを複数グループに分節し、分節された複数グループごとに、人間が行った基本運動を特定し、特定した複数グループごとの基本運動の組合せ及び順序に基づいて、人間が行った技の種別を識別する。
【選択図】図２１

【特許請求の範囲】

【請求項1】

人間の姿勢をそれぞれ含む時系列に並んだ複数フレームを取得し、
前記複数フレームのうち、第１条件を満たす分節フレームを特定し、
前記複数フレームのうち、第２条件を連続して満たす分節フレーム群を特定し、
特定した前記複数フレームを前記分節フレームと前記分節フレーム群とを分節点とすることにより、前記複数フレームを複数グループに分節し、
分節された前記複数グループごとに、前記人間が行った基本運動を特定し、
特定した前記複数グループごとの前記基本運動の組合せ及び順序に基づいて、前記人間が行った技の種別を識別する、
処理をコンピュータが実行することを特徴とする技認識方法。

【請求項2】

請求項１において、
前記複数フレームのそれぞれは、前記人間の体における複数の部位のそれぞれに対応する複数の特徴点の位置情報を含む、
ことを特徴とする技認識方法。

【請求項3】

請求項１において、
前記分節フレームを特定する処理では、前記複数フレームのうち、記憶部に記憶した複数の第１姿勢のいずれかと対応するフレームを前記分節フレームとして特定する、
ことを特徴とする技認識方法。

【請求項4】

請求項１において、
前記分節フレーム群を特定する処理では、前記複数フレームのうち、記憶部に記憶した複数の第２姿勢のいずれかと連続して対応する複数フレームを前記分節フレーム群として特定する、
ことを特徴とする技認識方法。

【請求項5】

請求項１において、
前記基本運動を特定する処理では、前記複数グループごとに、各グループに含まれる１以上のフレームにおける前記人間の姿勢に応じて、各グループに対応する前記基本運動を特定する、
ことを特徴とする技認識方法。

【請求項6】

請求項１において、
前記技の種別を認識する処理では、前記複数グループごとの前記基本運動の組合せ及び順序から、前記複数グループに対応する１以上の技候補を特定し、
特定した前記１以上の技候補ごとに、各技候補に対応する前記基本運動における前記人間の姿勢が満たす第３条件を特定し、
特定した前記１以上の技候補ごとに、各技候補と各技候補の直前または直後に実施された他の技候補との順序が前記第３条件に対応する第４条件を満たす場合、各技候補の種別を前記人間が行った前記技の種別として識別する、
ことを特徴とする技認識方法。

【請求項7】

請求項１において、さらに、
前記技を示す情報を出力装置に出力する、処理をコンピュータが実行することを特徴とする技認識方法。

【請求項8】

請求項７において、
前記出力する処理では、前記技のそれぞれの開始時間と終了時間とを出力する、
ことを特徴とする技認識方法。

【請求項9】

請求項８において、
前記出力する処理では、
前記技に対応する前記複数グループと前記技の直前に実施された第１技に対応する前記複数グループとの間が前記分節フレーム群によって分節されている場合、前記技の前記開始時間を、前記技と前記第１技との間における前記分節フレーム群の開始時間とし、
前記技に対応する前記複数グループと前記技の直後に実施された第２技に対応する前記複数グループとの間が前記分節フレーム群によって分節されている場合、前記技の前記終了時間を、前記技と前記第２技との間における前記分節フレーム群の終了時間とする、
ことを特徴とする技認識方法。

【請求項10】

人間の姿勢をそれぞれ含む時系列に並んだ複数フレームを取得し、
前記複数フレームのうち、第１条件を満たす分節フレームを特定し、
前記複数フレームのうち、第２条件を連続して満たす分節フレーム群を特定し、
特定した前記複数フレームを前記分節フレームと前記分節フレーム群とを分節点とすることにより、前記複数フレームを複数グループに分節し、
分節された前記複数グループごとに、前記人間が行った基本運動を特定し、
特定した前記複数グループごとの前記基本運動の組合せ及び順序に基づいて、前記人間が行った技の種別を識別する、
処理をコンピュータに実行させることを特徴とする技認識プログラム。

【請求項11】

センサと情報処理装置とを含む体操採点支援システムであって、
前記センサは、人間の姿勢を認識し、
前記情報処理装置は、
前記センサによって認識された前記人間の姿勢をそれぞれ含む時系列に並んだ複数フレームを取得し、
前記複数フレームのうち、第１条件を満たす分節フレームを特定し、
前記複数フレームのうち、第２条件を連続して満たす分節フレーム群を特定し、
特定した前記複数フレームを前記分節フレームと前記分節フレーム群とを分節点とすることにより、前記複数フレームを複数グループに分節し、
分節された前記複数グループごとに、前記人間が行った基本運動を特定し、
特定した前記複数グループごとの前記基本運動の組合せ及び順序に基づいて、前記人間が行った技の種別を識別する、
ことを特徴とする体操採点支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、技認識方法、技認識プログラム及び体操採点支援システムに関する。

【背景技術】

【0002】

各種スポーツの分野では、競技の技術進歩に伴い、選手の演技を目視によって公平かつ正確に評価することの困難性が高まっている。そのため、近年では、選手の演技を自動的に評価することが可能な技術の開発が行われている。

【0003】

具体的に、上記のような技術では、例えば、選手の演技を撮影した時系列データから基本運動の開始ポーズや終了ポーズを特定することによって、選手が行った各基本運動の認識を行う。そして、上記のような技術では、例えば、認識を行った各基本運動の順序に基づいて、選手が行った技の種類についての認識を行う（例えば、特許文献１及び２参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１９／１１６４９５号

【特許文献2】特開２０２０－０３８４４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、例えば、選手が複数の技を連続して行う場合、各技の開始ポーズや終了ポーズは、各技が単独で行われたときの開始ポーズや終了ポーズと異なる場合がある。そのため、上記のような技術では、選手が行った各基本運動の認識を精度良く行うことができず、選手が行った技の種類についての認識を精度良く行うことができない場合がある。

【0006】

そこで、一つの側面では、本発明は、選手が行った技の認識を精度良く行うことを可能とする技認識方法、技認識プログラム及び体操採点支援システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

実施の形態の一態様では、人間の姿勢をそれぞれ含む時系列に並んだ複数フレームを取得し、前記複数フレームのうち、第１条件を満たす分節フレームを特定し、前記複数フレームのうち、第２条件を連続して満たす分節フレーム群を特定し、特定した前記複数フレームを前記分節フレームと前記分節フレーム群とを分節点とすることにより、前記複数フレームを複数グループに分節し、分節された前記複数グループごとに、前記人間が行った基本運動を特定し、特定した前記複数グループごとの前記基本運動の組合せ及び順序に基づいて、前記人間が行った技の種別を識別する、処理をコンピュータが実行する。

【発明の効果】

【0008】

一つの側面によれば、選手が行った技の認識を精度良く行うことを可能とする。

【図面の簡単な説明】

【0009】

【図1】図１は、情報処理システム１０の構成について説明する図である。

【図2】図２は、情報処理装置１のハードウエア構成を説明する図である。

【図3】図３は、情報処理装置１の機能のブロック図である。

【図4】図４は、第１の実施の形態における技認識処理の概略を説明するフローチャート図である。

【図5】図５は、第１の実施の形態における概略の具体例を説明する図である。

【図6】図６は、第１の実施の形態における概略の具体例を説明する図である。

【図7】図７は、第１の実施の形態における技認識処理の詳細を説明するフローチャート図である。

【図8】図８は、第１の実施の形態における技認識処理の詳細を説明するフローチャート図である。

【図9】図９は、第１の実施の形態における技認識処理の詳細を説明するフローチャート図である。

【図10】図１０は、第１の実施の形態における技認識処理の詳細を説明するフローチャート図である。

【図11】図１１は、時系列データ１３１の具体例について説明する図である。

【図12】図１２は、第１分節条件情報１３２の具体例について説明する図である。

【図13】図１３は、第２分節条件情報１３３の具体例について説明する図である。

【図14】図１４は、基本運動条件情報１３４の具体例について説明する図である。

【図15】図１５は、技動作順序情報１３５の具体例について説明する図である。

【図16】図１６は、第１認定条件情報１３６の具体例について説明する図である。

【図17】図１７は、第２認定条件情報１３７の具体例について説明する図である。

【図18】図１８は、技認識結果情報１３８の具体例について説明する図である。

【図19】図１９は、第１の実施の形態における具体例を説明する図である。

【図20】図２０は、第１の実施の形態における具体例を説明する図である。

【図21】図２１は、第１の実施の形態における具体例を説明する図である。

【図22】図２２は、技時間情報１３９の具体例について説明する図である。

【発明を実施するための形態】

【0010】

［第１の実施の形態における情報処理システムの構成］
初めに、情報処理システム１０の構成について説明を行う。図１は、情報処理システム１０の構成について説明する図である。

【0011】

情報処理システム１０は、例えば、選手Ｐ（以下、人間Ｐとも呼ぶ）の動作を撮影するセンサ２と、選手Ｐが行った技を認識する情報処理装置１と、情報処理装置１による技の認識結果を出力するモニター等の出力装置５とを有する。

【0012】

センサ２は、例えば、３Ｄ（ｄｉｍｅｎｓｉｏｎ）センサであり、演技中における選手Ｐの各動作を認識可能な位置に配置される。

【0013】

具体的に、センサ２は、例えば、選手Ｐの各観測点までの距離を計測するセンサであり、各観測点の３次元座標を示すデータ（以下、３次元データとも呼ぶ）を連続的に生成して情報処理装置１に送信する。

【0014】

情報処理装置１は、例えば、１台以上の物理マシンによって構成され、センサ２から送信された３次元データを用いることによって、選手Ｐが行った技の認識を行う。

【0015】

具体的に、情報処理装置１は、例えば、センサ２から連続的に送信された３次元データから、選手Ｐの骨格を構成する複数の特徴点を示す骨格データを時系列に並べたデータ（以下、単に時系列データとも呼ぶ）を生成する。

【0016】

そして、情報処理装置１は、例えば、生成した時系列データから基本運動の開始ポーズや終了ポーズを特定することによって、選手Ｐが行った各基本運動の認識を行う。さらに、情報処理装置１は、例えば、認識を行った各基本運動の順序に基づいて、選手Ｐが行った技の種類についての認識を行う。

【0017】

ここで、例えば、選手Ｐが複数の技を連続して行う場合、各技の開始ポーズや終了ポーズは、各技が単独で行われたときの開始ポーズや終了ポーズと異なる場合がある。そのため、情報処理装置１は、選手Ｐが行った各基本運動の認識を精度良く行うことができず、選手Ｐが行った技の種類についての認識を精度良く行うことができない場合がある。

【0018】

そこで、本実施の形態における情報処理装置１は、時系列データに含まれる複数フレームのうち、第１条件を満たすフレーム（以下、分節フレームとも呼ぶ）を特定する。具体的に、情報処理装置１は、例えば、時系列データに含まれる複数フレームのうち、記憶部（図示せず）に予め記憶された複数の第１姿勢のいずれかと対応するフレームを分節フレームとして特定する。複数の第１姿勢は、例えば、各基本動作の開始ポーズ及び終了ポーズに対応する姿勢である。

【0019】

また、情報処理装置１は、時系列データに含まれる複数フレームのうち、第２条件を連続して満たす複数フレーム（以下、分節フレーム群とも呼ぶ）を特定する。具体的に、情報処理装置１は、例えば、時系列データに含まれる複数フレームのうち、記憶部（図示せず）に予め記憶された複数の第２姿勢のいずれかと連続して対応する複数フレームを分節フレーム群として特定する。複数の第２姿勢は、例えば、複数の技が連続で行われる場合における各技の終了ポーズと各技の次に行われる技の開始ポーズとの間の各ポーズ（以下、中間ポーズとも呼ぶ）に対応する姿勢である。

【0020】

続いて、情報処理装置１は、特定した分節フレームと分節フレーム群とに基づいて、複数フレームを複数グループに分節する。具体的に、情報処理装置１は、例えば、複数フレームを分節フレーム及び分節フレーム群のそれぞれを分節点とすることによって、複数フレームを複数グループに分節する。そして、情報処理装置１は、分節された複数グループごとに、選手Ｐが行った基本運動を特定する。

【0021】

その後、情報処理装置１は、特定した複数グループごとの基本運動の組合せ及び順序に基づいて、選手Ｐが行った演技に含まれる技の種別を識別する。

【0022】

すなわち、本実施の形態における情報処理装置１は、各技を構成する各基本運動の開始ポーズまたは終了ポーズに該当すると判断できるフレームを分節フレームとして特定する。また、情報処理装置１は、複数の技が連続して行われている場合、例えば、１番目の技を構成する最後の基本運動の終了ポーズから２番目の技を構成する最初の基本運動の開始ポーズまでの間に該当すると判断できる１以上のフレームを分節フレーム群として特定する。そして、情報処理装置１は、分節フレームだけでなく、分節フレーム群についても基本運動の分節点として用いることによって、複数フレームに含まれる複数の基本運動をそれぞれ特定する。

【0023】

これにより、本実施の形態における情報処理装置１は、複数の技が連続して行われる場合であっても、複数フレームの分節を各基本運動に対応するフレームごとに行うことが可能になり、選手Ｐが行った基本運動のそれぞれを精度良く認識することが可能になる。そのため、情報処理装置１は、選手Ｐが行った技の種類についての認識を精度良く行うことが可能になる。

【0024】

［情報処理システムのハードウエア構成］
次に、情報処理システム１０のハードウエア構成について説明する。図２は、情報処理装置１のハードウエア構成を説明する図である。

【0025】

情報処理装置１は、図２に示すように、プロセッサであるＣＰＵ１０１と、メモリ１０２と、Ｉ／Ｏインタフェース１０３と、記憶媒体１０４とを有する。各部は、バス１０５を介して互いに接続される。

【0026】

記憶媒体１０４は、例えば、選手Ｐが行った技の認識を行う処理（以下、技認識処理とも呼ぶ）を行うためのプログラム１１０を記憶するプログラム格納領域（図示せず）を有する。また、記憶媒体１０４は、例えば、技認識処理を行う際に用いられる情報を記憶する記憶部１３０（以下、情報格納領域１３０とも呼ぶ）を有する。なお、記憶媒体１０４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）であってよい。

【0027】

ＣＰＵ１０１は、記憶媒体１０４からメモリ１０２にロードされたプログラム１１０を実行して技認識処理を行う。

【0028】

Ｉ／Ｏインタフェース１０３は、例えば、ネットワークインターフェースカード等のインタフェース機器であり、センサ２及び出力装置５とアクセスが可能である。

【0029】

［情報処理システムの機能］
次に、情報処理システム１０の機能について説明を行う。図３は、情報処理装置１の機能のブロック図である。

【0030】

情報処理装置１は、図３に示すように、例えば、ＣＰＵ１０１やメモリ１０２等のハードウエアとプログラム１１０とが有機的に協働することにより、データ入力部１１１と、第１分節特定部１１２と、第２分節特定部１１３と、運動認識部１１４と、技認識部１１５と、第１技認定部１１６と、第２技認定部１１７と、データ出力部１１８と、時間判定部１１９とを含む各種機能を実現する。

【0031】

また、情報処理装置１は、例えば、時系列データ１３１と、第１分節条件情報１３２と、第２分節条件情報１３３と、基本運動条件情報１３４と、技動作順序情報１３５と、第１認定条件情報１３６と、第２認定条件情報１３７と、技認識結果情報１３８と、技時間情報１３９とを情報格納領域１３０に記憶する。

【0032】

データ入力部１１１は、例えば、センサ２から送信された３次元データ（図示せず）を連続的に受信する。そして、データ入力部１１１は、例えば、センサ２から送信された３次元のデータのそれぞれから時系列データ１３１を生成する。時系列データ１３１は、選手Ｐの体における複数の部位のそれぞれに対応する複数の特徴点の位置情報をそれぞれ含む複数のフレームからなる時系列データである。その後、データ入力部１１１は、生成した時系列データ１３１を情報格納領域１３０に記憶する。

【0033】

第１分節特定部１１２は、例えば、情報格納領域１３０に記憶された時系列データ１３１を構成する複数フレームのうち、第１条件を満たすフレームを満たす分節フレームを特定する。具体的に、第１分節特定部１１２は、例えば、時系列データ１３１に含まれる複数フレームのうち、情報格納領域１３０に記憶した第１分節条件情報１３２に含まれる条件のいずれかに対応するフレームを分節フレームとして特定する。第１分節状態情報１３２は、分節フレームに該当するフレームの条件を含む情報である。

【0034】

第２分節特定部１１３は、例えば、情報格納領域１３０に記憶された時系列データ１３１を構成する複数フレームのうち、第２条件を連続して満たす複数フレームからなる分節フレーム群を特定する。具体的に、第２分節特定部１１３は、例えば、時系列データ１３１に含まれる複数フレームのうち、情報格納領域１３０に記憶した第２分節条件情報１３３に含まれる条件のいずれかに連続して対応する複数フレームを分節フレーム群として特定する。第２分節状態情報１３３は、分節フレーム群に該当するフレームの条件を含む情報である。

【0035】

運動認識部１１４は、例えば、第１分節特定部１１２が特定した分節フレームと第２分節特定部１１３が特定した分節フレーム群とに基づいて、時系列データ１３１を構成する複数フレームを複数グループに分節する。具体的に、運動認識部１１４は、例えば、複数フレームを分節フレーム及び分節フレーム群のそれぞれを分節点とすることによって、時系列データ１３１を構成する複数フレームを複数グループに分節する。

【0036】

そして、運動認識部１１４は、分節された複数グループごとに、選手Ｐが行った基本運動を認識（特定）する。具体的に、運動認識部１１４は、例えば、情報格納領域１３０に記憶した基本運動条件情報１３４を参照し、複数のグループのそれぞれに対応する基本運動を認識する。基本運動条件情報１３４は、基本運動に該当するグループの条件を含む情報である。

【0037】

なお、運動認識部１１４は、例えば、分節フレームがその分節フレームによって分節される２つのグループのいずれにも含まれないように分節を行うものであってもよいし、分節フレームがその分節フレームによって分節される２つのグループのうちのいずれかに含まれるように分節を行うものであってもよい。また、運動認識部１１４は、分節フレーム群がその分節フレーム群によって分節される２つのグループのいずれにも含まれないように分節を行うものであってもよいし、分節フレーム群がその分節フレーム群によって分節される２つのグループのうちのいずれかに含まれるように分節を行うものであってもよい。

【0038】

技認識部１１５は、例えば、運動認識部１１４が認識した複数グループごとの基本運動の組合せ及び順序から、選手Ｐが行った技の候補（以下、技候補とも呼ぶ）を認識（特定）する。具体的に、技認識部１１５は、例えば、情報格納領域１３０に記憶した技動作順序情報１３５を参照し、複数グループに対応する技候補を認識する。技動作順序情報１３５は、技候補に該当する基本運動の組合せ及び順序の条件を含む情報である。

【0039】

第１技認定部１１６は、例えば、技認識部１１５が認識した技候補ごとに、各技候補に対応する基本運動における選手Ｐの姿勢が満たす第１認定技の認定条件（以下、第３条件とも呼ぶ）を特定する。具体的に、第１技認定部１１６は、例えば、情報格納領域１３０に記憶した第１認定条件情報１３６を参照し、各技候補に対応する第１認定技と認定条件との組合せを特定する。第１認定条件情報１３６は、第１認定技のそれぞれに対応する認定条件を含む情報である。

【0040】

第２技認定部１１７は、例えば、技認識部１１５が認識した技候補ごとに、各技候補と各技候補の直前または直後に実施された他の技候補との順序が、各技候補について第１技認定部１１６が特定した認定条件に対応する条件（以下、第４条件とも呼ぶ）を満たすか否かを判定する。そして、例えば、各候補に対応する順序が条件を満たすと判定した場合、各技候補の種別を選手Ｐが実際に行った技（以下、第２認定技とも呼ぶ）の種別として識別する。具体的に、第２技認定部１１７は、例えば、情報格納領域１３０に記憶した第２認定条件情報１３７を参照し、各技候補を第２認定技として認定するか否かの判定を行う。第２認定条件情報１３７は、第２認定技に該当する第１認定技の認定条件を含む情報である。

【0041】

データ出力部１１８は、例えば、第２技認定部１１７が識別した技の種別を示す情報を出力装置５に出力する。

【0042】

時間判定部１１９は、例えば、第２技認定部１１７が識別した技の開始時間及び終了時間を判定する。具体的に、時間判定部１１９は、例えば、各技の開始ポーズに対応するフレームのセンサ２による認識時間や各技の開始ポーズに対応するフレームのフレーム番号に対応する時間を技の開始時間として判定する。また、時間判定部１１９は、例えば、各技の終了ポーズに対応するフレームのセンサ２による認識時間や各技の終了ポーズに対応するフレームのフレーム番号に対応する時間を技の終了時間として判定する。そして、データ出力部１１８は、例えば、時間判定部１１９が判定した技の開始時間及び終了時間を、第２技認定部１１７が特定した技を示す情報とともに出力装置５に出力する。

【0043】

［第１の実施の形態の概略］
次に、第１の実施の形態の概略について説明する。図４は、第１の実施の形態における技認識処理の概略を説明するフローチャート図である。

【0044】

情報処理装置１は、図４に示すように、例えば、技認識タイミングになるまで待機する（Ｓ１１のＮＯ）。技認識タイミングは、例えば、作業者が操作端末（図示せず）を介して技認識処理を行う旨の情報を入力したタイミングであってよい。

【0045】

そして、技認識タイミングになった場合（Ｓ１１のＹＥＳ）、情報処理装置１は、例えば、情報格納領域１３０に記憶された時系列データ１３１を取得する（Ｓ１２）。

【0046】

続いて、情報処理装置１は、例えば、Ｓ１２の処理で取得した時系列データ１３１に含まれる複数フレームのうち、第１条件を満たす分節フレームを特定する（Ｓ１３）。

【0047】

また、情報処理装置１は、例えば、Ｓ１２の処理で取得した時系列データ１３１に含まれる複数フレームのうち、第２条件を連続して満たす複数フレームからなる分節フレーム群を特定する（Ｓ１４）。

【0048】

さらに、情報処理装置１は、例えば、Ｓ１３の処理で特定した分節フレームとＳ１４の処理で特定した分節フレーム群とに基づいて、Ｓ１２の処理で取得した時系列データ１３１に含まれる複数フレームを複数グループに分節する（Ｓ１５）。具体的に、情報処理装置１は、Ｓ１３の処理で特定した分節フレームとＳ１４の処理で特定した分節フレーム群とのそれぞれを分節点とすることによって、Ｓ１２の処理で取得した時系列データ１３１に含まれる複数フレームを複数グループに分節する。

【0049】

そして、情報処理装置１は、例えば、Ｓ１５の処理で分節された複数グループごとに、選手Ｐが行った基本運動を特定する（Ｓ１６）。

【0050】

その後、情報処理装置１は、Ｓ１５の処理で特定した複数グループごとの基本運動の組合せ及び順序に基づいて、選手Ｐが行った技の種別を識別する（Ｓ１７）。

【0051】

これにより、本実施の形態における情報処理装置１は、複数の技が連続して行われる場合であっても、複数フレームの分節を各基本運動に対応するフレームごとに行うことが可能になり、選手Ｐが行った基本運動のそれぞれを精度良く認識することが可能になる。そのため、情報処理装置１は、選手Ｐが行った技の種類についての認識を精度良く行うことが可能になる。

【0052】

［第１の実施の形態における概略の具体例］
次に、第１の実施の形態における概略の具体例について説明を行う。図５及び図６は、第１の実施の形態における概略の具体例を説明する図である。

【0053】

具体的に、図５に示す例は、時間ｔ１、ｔ２、ｔ３、ｔ４、ｔ５、ｔ６及びｔ７のそれぞれに対応するフレームが分節フレームとして特定された場合を示している。

【0054】

この場合、情報処理装置１は、Ｓ１５の処理において、例えば、時間ｔ０（選手Ｐによる演技の開始時間）から時間ｔ７までの間に認識された時系列データ１３１を、時間ｔ０から時間ｔ１まで、時間ｔ１から時間ｔ２まで、時間ｔ２から時間ｔ３まで、時間ｔ３から時間ｔ４まで、時間ｔ４から時間ｔ５まで、時間ｔ５から時間ｔ６まで及び時間ｔ６から時間ｔ７までの時間帯のそれぞれに分節する。

【0055】

続いて、情報処理装置１は、Ｓ１６及びＳ１７の処理において、例えば、時間ｔ０から時間ｔ１まで、時間ｔ１から時間ｔ２まで及び時間ｔ２から時間ｔ３までのそれぞれにおいて、基本運動（１）、（２）及び（３）が行われていたものと認識し、さらに、基本運動（１）、（２）及び（３）がこの順序で行われる技（１）が行われていたものと認識する。また、情報処理装置１は、例えば、時間ｔ４から時間ｔ５まで、時間ｔ５から時間ｔ６まで及び時間ｔ６から時間ｔ７までの時間帯のそれぞれにおいて、基本運動（４）、（５）及び（６）が行われていたものと認識し、さらに、基本運動（４）、（５）及び（６）がこの順序で行われる技（２）が行われていたものと認識する。

【0056】

すなわち、情報処理装置１は、図５に示すように、各技が独立して行われる場合、分節フレームを分節点として時系列データ１３１を分節することによって、各技の種類のついての認識を行う。

【0057】

一方、図６に示す例は、時間ｔ１１、ｔ１２、ｔ１４、ｔ１５及びｔ１６のそれぞれに対応するフレームが分節フレームとして特定されるとともに、時間帯Ｔ１３に対応する複数フレームが分節フレーム群として特定された場合を示している。具体的に、図６に示す例は、図５で説明した技（１）及び技（２）が連続して行われた場合を示している。

【0058】

この場合、情報処理装置１は、Ｓ１５の処理において、例えば、時間ｔ１０（選手Ｐによる演技の開始時間）から時間ｔ１６までの間に認識された時系列データ１３１を、時間ｔ１０から時間ｔ１１まで、時間ｔ１１から時間ｔ１２まで、時間ｔ１２から時間帯Ｔ１３の開始時間まで、時間帯Ｔ１３の終了時間から時間ｔ１４まで、時間ｔ１４から時間ｔ１５及び時間ｔ１５から時間ｔ１６までの時間帯のそれぞれに分節する。

【0059】

続いて、情報処理装置１は、Ｓ１６及びＳ１７の処理において、例えば、時間ｔ１０から時間ｔ１１まで、時間ｔ１１から時間ｔ１２まで及び時間ｔ１２から時間帯Ｔ１３の開始時間までのそれぞれにおいて、基本運動（１）、（２）及び（３）が行われていたものと認識し、さらに、基本運動（１）、（２）及び（３）がこの順序で行われる技（１）が行われていたものと認識する。また、情報処理装置１は、例えば、時間帯Ｔ１３から時間ｔ１４まで、時間ｔ１４から時間ｔ１５また及び時間ｔ１５から時間ｔ１６までのそれぞれにおいて、基本運動（４）、（５）及び（６）が行われていたものと認識し、さらに、基本運動（４）、（５）及び（６）がこの順序で行われる技（２）が行われていたものと認識する。

【0060】

すなわち、情報処理装置１は、図６に示すように、複数の技が連続して行われる場合、１つのフレームからなる分節フレームだけでなく、複数フレームからなる分節フレーム群についても用いることによって時系列データ１３１の分節を行う。

【0061】

これにより、情報処理装置１は、複数の技が連続して行われる場合における各技の開始ポーズや終了ポーズと、各技が独立して行われる場合における各技の開始ポーズや終了ポーズとが異なる場合であっても、選手Ｐが行った基本運動のそれぞれを精度良く認識することが可能になり、選手Ｐが行った技の種類についての認識を精度良く行うことが可能になる。

【0062】

［第１の実施の形態の詳細］
次に、第１の実施の形態の詳細について説明を行う。図７から図１０は、第１の実施の形態における技認識処理の詳細を説明するフローチャート図である。また、図１１から図２２は、第１の実施の形態における技認識処理の詳細を説明する図である。なお、以下、選手Ｐが前方車輪及び前方浮支持回転倒立を連続して行う場合について説明を行うが、これに限られるものではない。具体的に、本実施の形態では、選手Ｐが前方伸身宙返り２回ひねりや前方屈伸宙返り等の他の体操競技を行うものであってもよく、また、選手Ｐが他の採点競技等を行うものであってもよい。

【0063】

データ入力部１１１は、図５に示すように、例えば、技認識タイミングになるまで待機する（Ｓ２１のＮＯ）。

【0064】

そして、技認識タイミングになった場合（Ｓ２１のＹＥＳ）、データ入力部１１１は、例えば、情報格納領域１３０に記憶された時系列データ１３１に含まれるフレームを時系列順に１つ取得する（Ｓ２２）。具体的に、時系列データ１３１は、例えば、図１１に示すように、選手Ｐの骨格データＳＫをそれぞれ含む複数のフレームからなる時系列データである。

【0065】

続いて、第１分節特定部１１２は、例えば、情報格納領域１３０に記憶された第１分節条件情報１３２を参照し、Ｓ２２の処理で取得したフレームが分節フレームの条件に合致するか否かを判定する（Ｓ２３）。以下、第１分節条件情報１３２の具体例について説明を行う。

【0066】

［第１分節条件情報の具体例］
図１２は、第１分節条件情報１３２の具体例について説明する図である。

【0067】

図１２に示す第１分節条件情報１３２は、各分節点を識別する「分節ＩＤ」と、各分節点に対応する条件が設定される「分節条件」とを有する。

【0068】

具体的に、図１２に示す第１分節条件情報１３２において、１行目の情報は、「分節ＩＤ」として「１１」が設定され、「分節条件」として「頭が下、体の中心が地面に対して最も垂直に近い、腕と体中心のなす角度＞１７０度」が設定されている。

【0069】

また、図１２に示す第１分節条件情報１３２において、２行目の情報は、「分節ＩＤ」として「１２」が設定され、「分節条件」として「頭が上、体の中心が地面に対して最も垂直に近い、腕と体中心のなす角度＞１７０度」が設定されている。図１２に含まれる他の情報についての説明は省略する。

【0070】

すなわち、例えば、Ｓ２２の処理で取得したフレームに含まれる骨格データＳＫが示す選手Ｐの姿勢が、図１２に示す第１分節条件情報１３２における「分節条件」に設定された条件のいずれかに合致する場合、第１分節特定部１１２は、Ｓ２２の処理で取得したフレームが分節フレームであると判定する。

【0071】

なお、図１２における第１分節条件情報１３２の含まれる各情報における「分節条件」には、「体の中心が地面に対して最も垂直に近い」が設定されている。そして、この「体の中心が地面に対して最も垂直に近い」を満たすフレームは、フレームごとに特定が可能なものではなく、例えば、「体の中心が地面に対して最も垂直に近い」以外の条件（例えば、「頭が下」や「腕と体中心のなす角度＞１７０度」）を満たす複数のフレームの相互間の比較によって特定が可能になるものである。そのため、第１分節特定部１１２は、例えば、Ｓ２３の処理において、Ｓ２２の処理で取得したフレームが図１２における第１分節条件情報１３２における「分節条件」に設定された条件のうちの「体の中心が地面に対して最も垂直に近い」以外の条件を満たすか否かについての判定を行う。

【0072】

図７に戻り、Ｓ２２の処理で取得したフレームが分節フレームの条件に合致すると判定した場合（Ｓ２３のＹＥＳ）、第１分節特定部１１２は、例えば、情報格納領域１３０に記憶された時系列データ１３１に含まれるフレームを時系列順にさらに１つ取得する（Ｓ２４）。

【0073】

そして、第１分節特定部１１２は、例えば、情報格納領域１３０に記憶された第１分節条件情報１３２を参照し、Ｓ２４の処理で取得したフレームが分節フレームの条件に合致するか否かを判定する（Ｓ２５）。

【0074】

その結果、Ｓ２２の処理で取得したフレームが分節フレームの条件に合致すると判定した場合（Ｓ２５のＹＥＳ）、第１分節特定部１１２は、Ｓ２４以降の処理を再度行う。

【0075】

すなわち、第１分節特定部１１２は、Ｓ２５の処理において、例えば、図１２における第１分節条件情報１３２に含まれる各情報おける「分節条件」に設定された「体の中心が地面に対して最も垂直に近い」以外の条件を連続して満たす１以上のフレームの特定を行う。

【0076】

一方、Ｓ２２の処理で取得したフレームが分節フレームの条件に合致しないと判定した場合（Ｓ２５のＮＯ）、第１分節特定部１１２は、例えば、直前のＳ２２の処理で取得したフレームから直前のＳ２４の処理で取得したフレームまでの中から分節フレームを特定する（Ｓ２６）。

【0077】

具体的に、例えば、図１２で説明した第１分節条件情報１３２を参照し、直前のＳ２２の処理で取得したフレームから直前のＳ２４の処理で取得したフレームまでの中から、図１２で説明した第１分節条件情報１３２における「分節条件」に設定された「体の中心が地面に対して最も垂直に近い」を満たすフレームを分節フレームとして特定する。

【0078】

すなわち、第１分節特定部１１２は、Ｓ２６の処理において、例えば、図１２における第１分節条件情報１３２に含まれる各情報における「分節条件」に設定された「体の中心が地面に対して最も垂直に近い」以外の条件を連続して満たす１以上のフレームのうち、「体の中心が地面に対して最も垂直に近い」をさらに満たすフレームを分節フレームとして特定する。

【0079】

また、Ｓ２３の処理において、Ｓ２２の処理で取得したフレームが分節フレームの条件に合致しないと判定した場合（Ｓ２３のＮＯ）、第２分節特定部１１３は、図８に示すように、例えば、情報格納領域１３０に記憶された第２分節条件情報１３３を参照し、Ｓ２２の処理で取得したフレームが分節フレーム群に含まれるフレームの条件に合致するか否かを判定する（Ｓ３１）。以下、第２分節条件情報１３３の具体例について説明を行う。

【0080】

［第２分節条件情報の具体例］
図１３は、第２分節条件情報１３３の具体例について説明する図である。

【0081】

図１３に示す第２分節条件情報１３３は、各分節点を識別する「分節ＩＤ」と、各分節点に対応する条件が設定される「分節条件」とを有する。

【0082】

具体的に、図１３に示す第２分節条件情報１３３において、１行目の情報は、「分節ＩＤ」として「２１」が設定され、「分節条件」として「頭が上、体の中心が地面に対して垂直前後４５度、腕と体中心のなす角度＞９０度」が設定されている。図１３に含まれる他の情報についての説明は省略する。

【0083】

すなわち、例えば、Ｓ２２の処理で取得したフレームに含まれる骨格データＳＫが示す選手Ｐの姿勢が、図１３に示す第２分節条件情報１３３における「分節条件」に設定された情報のいずれかに合致する場合、第２分節特定部１１３は、Ｓ２２の処理で取得したフレームが分節フレーム群に含まれるフレームであると判定する。

【0084】

図７に戻り、Ｓ２２の処理で取得したフレームが分節フレーム群の条件に合致しないと判定した場合（Ｓ３１のＮＯ）、第１分節特定部１１２は、Ｓ２２以降の処理を再度行う。

【0085】

一方、Ｓ２２の処理で取得したフレームが分節フレームの条件に合致すると判定した場合（Ｓ３１のＹＥＳ）、第２分節特定部１１３は、例えば、情報格納領域１３０に記憶された時系列データ１３１に含まれるフレームを時系列順にさらに１つ取得する（Ｓ３２）。

【0086】

そして、第２分節特定部１１３は、例えば、情報格納領域１３０に記憶された第２分節条件情報１３３を参照し、Ｓ３２の処理で取得したフレームが分節フレーム群の条件に合致するか否かを判定する（Ｓ３３）。

【0087】

その結果、Ｓ３２の処理で取得したフレームが分節フレーム群の条件に合致すると判定した場合（Ｓ３３のＹＥＳ）、第２分節特定部１１３は、Ｓ３２以降の処理を再度行う。

【0088】

一方、Ｓ３２の処理で取得したフレームが分節フレームの条件に合致しないと判定した場合（Ｓ３３のＮＯ）、第２分節特定部１１３は、例えば、直前のＳ２２の処理で取得したフレームから直前のＳ３２の処理で取得したフレームまでのフレーム群を分節フレーム群として特定する（Ｓ３４）。

【0089】

そして、Ｓ２６の処理またはＳ３４の処理の後、運動認識部１１４は、例えば、直前のＳ２６またはＳ３４の処理で特定した分節フレームまたは分節フレーム群と、直前のＳ２６またはＳ３４の１つ前に行われたＳ２６またはＳ３４の処理で特定した分節フレームまたは分節フレーム群とによって分節されるフレーム群（グループ）における選手Ｐの動きを、基本運動の候補（以下、基本運動候補とも呼ぶ）として特定する（Ｓ３５）。

【0090】

そして、運動認識部１１４は、例えば、情報格納領域１３０に記憶された基本運動条件情報１３４を参照し、Ｓ３５の処理で特定した基本運動候補が基本運動の条件に合致するか否かを判定する（Ｓ３６）。以下、基本運動条件情報１３４の具体例について説明を行う。

【0091】

［基本運動条件情報の具体例］
図１４は、基本運動条件情報１３４の具体例について説明する図である。

【0092】

図１４に示す基本運動条件情報１３４は、各基本運動を識別する「基本運動ＩＤ」と、各基本運動の開始ポーズに対応する分節ＩＤが設定される「開始ポーズ」と、各基本運動の終了ポーズに対応する分節ＩＤが設定される「終了ポーズ」と、各基本運動に対応する条件が設定される「基本運動条件」とを有する。

【0093】

具体的に、図１４に示す基本運動条件情報１３４において、１行目の情報は、「基本運動ＩＤ」として「１」が設定され、「開始ポーズ」として「１１」が設定され、「終了ポーズ」として「１２」が設定され、「基本運動条件」として「０度＜前方への回転量＜１８０度、最小腰の角度＞１７０度、最小肘の角度＞１７０度」が設定されている。

【0094】

また、図１４に示す基本運動条件情報１３４において、２行目の情報は、「基本運動ＩＤ」として「２」が設定され、「開始ポーズ」として「１２」が設定され、「終了ポーズ」として「１１」及び「２１」が設定され、「基本運動条件」として「０度＜前方への回転量＜１８０度、最小腰の角度＞１７０度、最小肘の角度＞１７０度」が設定されている。図１４に含まれる他の情報についての説明は省略する。

【0095】

すなわち、例えば、Ｓ２５の処理で特定した基本運動候補における開始ポーズ、終了ポーズ及び選手Ｐの状態の組合せが、図１４に示す基本運動条件情報１３４における「開始ポーズ」、「終了ポーズ」及び「基本運動条件」に設定された情報の組合せのいずれかに合致する場合、運動認識部１１４は、Ｓ２５の処理で特定した基本運動候補が基本運動の条件に合致すると判定する。

【0096】

図７に戻り、Ｓ２５の処理で特定した基本運動候補が基本運動の条件に合致しないと判定した場合（Ｓ３６のＮＯ）、第１分節特定部１１２は、Ｓ２２以降の処理を再度行う。

【0097】

一方、Ｓ２５の処理で特定した基本運動候補が基本運動の条件に合致すると判定した場合（Ｓ３６のＹＥＳ）、運動認識部１１４は、例えば、Ｓ２５の処理で特定した基本運動候補を基本運動として基本運動リスト（図示せず）に記憶する（Ｓ３７）。

【0098】

すなわち、運動認識部１１４は、この場合、Ｓ２５の処理で特定した基本運動候補を選手Ｐが行った基本運動のうちの１つとして特定する。

【0099】

そして、技認識部１１５は、例えば、情報格納領域１３０に記憶された技動作順序情報１３５を参照し、基本運動リストに記憶された基本運動の組合せ及び順序が技の候補（以下、技候補とも呼ぶ）の条件に合致するか否かを判定する（Ｓ３８）。以下、技動作順序情報１３５の具体例について説明を行う。

【0100】

［技動作順序情報の具体例］
図１５は、技動作順序情報１３５の具体例について説明する図である。

【0101】

図１５に示す技動作順序情報１３５は、各技を識別する「技ＩＤ」と、各技に対応する動作順序についての条件（各技に対応する基本運動の「ＩＤ」についての組合せ及び順序）が設定される「動作順序条件」とを有する。

【0102】

具体的に、図１５に示す技動作順序情報１３５において、１行目の情報は、「技ＩＤ」として「１」が設定され、「動作順序条件」として「１，２」が設定されている。

【0103】

また、図１５に示す技動作順序情報１３５において、２行目の情報は、「技ＩＤ」として「２」が設定され、「動作順序条件」として「３，４，５」が設定されている。図１５に含まれる他の情報についての説明は省略する。

【0104】

すなわち、例えば、「基本運動ＩＤ」が「１」である基本運動と「基本運動ＩＤ」が「２」である基本運動とがこの順で基本運動リストに格納されている場合、技認識部１１５は、基本運動リストに記憶された基本運動の組合せ及び順序が技候補の条件（図１５に示す技動作順序情報１３５における「技ＩＤ」が「１」である情報）に合致すると判定する。

【0105】

図７に戻り、基本運動リストに記憶された基本運動の組合せ及び順序が技候補の条件に合致しないと判定した場合（Ｓ３８のＮＯ）、第１分節特定部１１２は、Ｓ２２以降の処理を再度行う。

【0106】

一方、基本運動リストに記憶された基本運動の組合せ及び順序が技候補の条件に合致すると判定した場合（Ｓ３８のＹＥＳ）、第１技認定部１１６は、図９に示すように、例えば、情報格納領域１３０に記憶された第１認定条件情報１３６を参照し、Ｓ３８の処理で条件に合致すると判定された技候補とその技候補の認定条件との組合せを、第１認定技と認定条件との組合せとして特定する（Ｓ４１）。以下、第１認定条件情報１３６の具体例について説明を行う。

【0107】

［第１認定条件情報の具体例］
図１６は、第１認定条件情報１３６の具体例について説明する図である。

【0108】

図１６に示す第１認定条件情報１３６は、各技を識別する「技ＩＤ」と、各技の実施状態を示す「実施状態」と、第１認定技の認定条件が設定される「認定条件」とを有する。「実施状態」には、各技が単独で実施されることを示す「単独」、または、各技が他の技と連続して実施されることを示す「連続」が設定される。

【0109】

具体的に、図１６に示す第１認定条件情報１３６において、１行目の情報は、「技ＩＤ」として「１」が設定され、「実施状態」として「単独」が設定され、「認定条件」として「終了ポーズ：倒立姿勢」が設定されている。

【0110】

また、図１６に示す第１認定条件情報１３６において、２行目の情報は、「技ＩＤ」として「１」が設定され、「実施状態」として「連続」が設定され、「認定条件」として「終了ポーズ：腰の角度＞１７０度、かつ、肘の角度＞１７０度」が設定されている。

【0111】

また、図１６に示す第１認定条件情報１３６において、３行目の情報は、「技ＩＤ」として「２」が設定され、「実施状態」として「単独」が設定され、「認定条件」として「終了ポーズ：倒立姿勢」が設定されている。

【0112】

また、図１６に示す第１認定条件情報１３６において、４行目の情報は、「技ＩＤ」として「２」が設定され、「実施状態」として「連続」が設定され、「認定条件」として「なし」が設定されている。図１６に含まれる他の情報についての説明は省略する。

【0113】

すなわち、第１技認定部１１６は、例えば、図１６に示す第１認定条件情報１３６に含まれる情報のうち、「認定条件」に設定された情報がＳ３８の処理で条件に合致すると判定した技候補における選手Ｐの姿勢と一致する情報を特定する。

【0114】

図９に戻り、第１技認定部１１６は、Ｓ４１の処理で特定した技候補と認定条件との組合せを、第１認定技と認定条件との組合せとして第１認定技リスト（図示せず）に記憶する（Ｓ４２）。

【0115】

その後、第２技認定部１１７は、Ｓ２２の処理において全てのフレームを取得したか否かを判定する（Ｓ４３）。

【0116】

その結果、Ｓ２２の処理において全てのフレームを取得していないと判定した場合（Ｓ４３のＮＯ）、第１分節特定部１１２は、Ｓ２２以降の処理を再度行う。

【0117】

一方、Ｓ２２の処理において全てのフレームを取得したと判定した場合（Ｓ４３のＹＥＳ）、第２認定技１１７は、第１認定技リストに記憶された第１認定技と認定条件との組合せを１つ取得する（Ｓ４４）。

【0118】

そして、第２技認定部１１７は、例えば、情報格納領域１３０に記憶された第２認定条件情報１３７を参照し、Ｓ４４の処理で取得した組合せに含まれる第１認定技と認定条件とが第２認定技の条件に合致するか否かを判定する（Ｓ４５）。

【0119】

具体的に、第２技認定部１１７は、例えば、図１６で説明した第１認定条件情報１３６を参照し、Ｓ４４の処理で取得した組合せに含まれる第１認定技に対応する「実施状態」が「連続」であるか否かを判定する。そして、第２技認定部１１７は、例えば、Ｓ４４の処理で取得した組合せに含まれる第１認定技に対応する「実施状態」が「連続」である場合に、Ｓ４４の処理で取得した組合せに含まれる第１認定技と認定条件とが第２認定技の条件に合致するか否かについての判定を行う。

【0120】

これにより、第２技認定部１１７は、技が連続して行われていた場合における技の認識精度を向上させることが可能になる。以下、第２認定条件情報１３７の具体例について説明を行う。

【0121】

［第２認定条件情報の具体例］
図１７は、第２認定条件情報１３７の具体例について説明する図である。

【0122】

図１７に示す第２認定条件情報１３７は、各技を識別する「技ＩＤ」と、各技の実施状態を示す「実施状態」と、第１認定技の認定条件が設定される「認定条件（１）」と、第２認定技の条件が設定される「認定条件（２）」とを有する。

【0123】

具体的に、図１７に示す第２認定条件情報１３７において、１行目の情報は、「技ＩＤ」として「１」が設定され、「実施状態」として「単独」が設定され、「認定条件（１）」として「終了ポーズ：倒立姿勢」が設定され、「認定条件（２）」として「なし」が設定されている。

【0124】

また、図１７に示す第２認定条件情報１３７において、２行目の情報は、「技ＩＤ」として「２」が設定され、「実施状態」として「連続」が設定され、「認定条件（１）」として「終了ポーズ：腰の角度＞１７０度、肘の角度＞１７０度」が設定され、「認定条件（２）」として、次に行われる技の「技ＩＤ」が「２」であることを示す「次の技：２」が設定されている。図１７に含まれる他の情報についての説明は省略する。

【0125】

すなわち、第２技認定部１１７は、例えば、Ｓ４４の処理で取得した組合せに含まれる第１認定技及び認定条件が、図１７に示す第２認定条件情報１３７における「技ＩＤ」及び「認定条件（１）」に設定された情報の組合せのいずれかに合致するか否かを判定する。そして、合致すると判定した場合、第２技認定部１１７は、さらに、Ｓ４４の処理で取得した組合せに含まれる第１認定技の前後の第１認定技（第１認定技リストにおいて前後に記憶された第１認定技）が、「認定条件（２）」に設定された情報に合致するか否かを判定する。

【0126】

図９に戻り、Ｓ４４の処理で取得した組合せに含まれる第１認定技と認定条件とが第２認定技の条件に合致すると判定する場合（Ｓ４５のＹＥＳ）、第２技認定部１１７は、例えば、Ｓ４４の処理で取得した組合せに含まれる第１認定技を第２認定技として認定する（Ｓ４６）。

【0127】

一方、Ｓ４４の処理で取得した組合せに含まれる第１認定技と認定条件とが第２認定技の条件に合致しないと判定する場合（Ｓ４５のＹＥＳ）、第２技認定部１１７は、Ｓ４５の処理を行わない。

【0128】

なお、第１技認定部１１６は、Ｓ４２の処理において、Ｓ４１の処理で特定した技候補の実施状態を組合せに含めて第１認定技リストに記憶するものであってもよい。そして、第２技認定部１１７は、Ｓ４５の処理において、Ｓ４４の処理で取得した組合せに含まれる実施状態が「連続」であるか否かを判定するものであってもよい。

【0129】

そして、Ｓ４４の処理において全ての組合せを取得したか否かを判定する（Ｓ４７）。

【0130】

その結果、Ｓ４４の処理において全ての組合せを取得していないと判定した場合（Ｓ４７のＮＯ）、第２技認定部１１７は、Ｓ４４以降の処理を再度行う。

【0131】

一方、Ｓ４４の処理において全ての組合せを取得したと判定した場合（Ｓ４７のＹＥＳ）、データ出力部１１８は、例えば、Ｓ４５の処理で特定した第２認定技の種別を示す情報を技認識結果情報１３８として出力装置５に出力する（Ｓ４８）。以下、技認識結果情報１３８の具体例について説明を行う。

【0132】

［技認識結果情報の具体例］
図１８は、技認識結果情報１３８の具体例について説明する図である。

【0133】

図１８に示す技認識結果情報１３８は、各技の実施順序を示す「順序」と、各技の名称が設定される「認識結果」とを有する。

【0134】

具体的に、図１８に示す技認識結果情報１３８において、１行目の情報は、「順序」として「１」が設定され、「認識結果」として「前方車輪」が設定されている。

【0135】

また、図１８に示す技認識結果情報１３８において、２行目の情報は、「順序」として「２」が設定され、「認識結果」として「前方浮支持回転倒立」が設定されている。

【0136】

すなわち、データ出力部１１８は、例えば、Ｓ４６の処理で第２認定技として認定された技の名称（Ｓ４６の処理で認定した第２認定技の「技ＩＤ」に対応する名称）を出力する。

【0137】

なお、データ出力部１１８は、例えば、Ｓ４６の処理において第２認定技として認定されなかった第１認定技についての情報を併せて出力するものであってもよい。

【0138】

［第１の実施の形態における詳細の具体例（１）］
次に、第１の実施の形態における詳細の具体例について説明を行う。図１９から図２１は、第１の実施の形態における具体例を説明する図である。

【0139】

初めに、選手Ｐが前方車輪を単独で行っている場合の具体例について説明を行う。図１９は、選手Ｐが演技を行っている間における状態を時系列に並べた状態ＳＴ１１、ＳＴ１２、ＳＴ１３、ＳＴ１４、ＳＴ１５、ＳＴ１６及びＳＴ１７のそれぞれを示す図である。

【0140】

図１９に示す例において、状態ＳＴ１１は、「頭が下」の状態であり、「体の中心が地面に対して最も垂直に近い」の状態であり、「腕と体中心のなす角度＞１７０度」の状態である。そして、図１２で説明した第１分節条件情報１３２における１行目には、「分節条件」として「頭が下、体の中心が地面に対して最も垂直に近い、腕と体中心のなす角度＞１７０度」が設定されている。そのため、第１分節特定部１１２は、例えば、Ｓ２３の処理において、図１２で説明した第１分節条件情報１３２における１行目の情報（「分節ＩＤ」が「１１」である情報）と、状態ＳＴ１１に対応するフレームとが合致すると判定する。

【0141】

同様に、第１分節特定部１１２は、Ｓ２３の処理において、図１２で説明した第１分節条件情報１３２における２行目の情報（「分節ＩＤ」が「１２」である情報）と、状態ＳＴ１４に対応するフレームとが合致すると判定する。

【0142】

そして、図１４で説明した基本運動条件情報１３４における１行目には、「開始ポーズ」として「１１」が設定され、「終了ポーズ」として「１２」が設定され、「基本運動条件」として「０度＜前方への回転量＜１８０度、最小腰の角度＞１７０度、最小肘の角度＞１７０度」が設定されている。そのため、運動認識部１１４は、Ｓ３６の処理において、図１４で説明した基本運動条件情報１３４における１行目の情報（「基本運動ＩＤ」が「１」である情報）と、状態ＳＴ１１から状態ＳＴ１４までの各フレームとが合致すると判定する。

【0143】

同様に、運動認識部１１４は、Ｓ３６の処理において、図１４で説明した基本運動条件情報１３４における２行目の情報（「基本運動ＩＤ」が「２」である情報）と、状態ＳＴ１４から状態ＳＴ１７までの各フレームとが合致すると判定する。

【0144】

続いて、図１５で説明した技動作順序情報１３５の１行目には、「動作順序条件」として「１，２」が設定されている。そのため、技認識部１１５は、Ｓ３８の処理において、図１５で説明した技動作順序情報１３５における１行目の情報（「技ＩＤ」が「１」である情報）と、状態ＳＴ１１から状態ＳＴ１７までの各フレームとが合致すると判定する。

【0145】

さらに、図１６で説明した第１認定条件情報１３６の１行目には、「認定条件」として「終了ポーズ：倒立姿勢」が設定されている。そして、状態ＳＴ１７における選手Ｐの姿勢は、倒立姿勢に対応している。また、図１７で説明した第２認定条件情報１３７の１行目には、「認定条件（２）」として「なし」が設定されている。そのため、第２技認定部１１７は、Ｓ４６の処理において、状態ＳＴ１１から状態ＳＴ１７までの各フレームに対応する「技ＩＤ」が「１」であり、名称が「前方車輪」であると認定する。

【0146】

［第１の実施の形態における詳細の具体例（２）］
次に、選手Ｐが前方浮支持回転倒立を単独で行っている場合の具体例について説明を行う。図２０は、選手Ｐが演技を行っている間における状態を時系列に並べた状態ＳＴ２１、ＳＴ２２、ＳＴ２３、ＳＴ２４、ＳＴ２５及びＳＴ２６のそれぞれを示す図である。

【0147】

図２０に示す例において、状態ＳＴ２１は、「頭が下」の状態であり、「体の中心が地面に対して最も垂直に近い」の状態であり、「腕と体中心のなす角度＞１７０度」の状態である。そして、図１２で説明した第１分節条件情報１３２における１行目には、「分節条件」として「頭が下、体の中心が地面に対して最も垂直に近い、腕と体中心のなす角度＞１７０度」が設定されている。そのため、第１分節特定部１１２は、Ｓ２３の処理において、図１２で説明した第１分節条件情報１３２における１行目の情報（「分節ＩＤ」が「１１」である情報）と、状態ＳＴ２１に対応するフレームとが合致すると判定する。

【0148】

同様に、第１分節特定部１１２は、Ｓ２３の処理において、図１２で説明した第１分節条件情報１３２における３行目の情報（「分節ＩＤ」が「１３」である情報）と、状態ＳＴ２４に対応するフレームとが合致すると判定する。

【0149】

そして、図１４で説明した基本運動条件情報１３４における３行目には、「開始ポーズ」として「１１」が設定され、「終了ポーズ」として「１３」が設定され、「基本運動条件」として「０度＜前方への回転量」が設定されている。そのため、運動認識部１１４は、Ｓ３６の処理において、図１４で説明した基本運動条件情報１３４における３行目の情報（「基本運動ＩＤ」が「３」である情報）と、状態ＳＴ２１から状態ＳＴ２４までの各フレームとが合致すると判定する。

【0150】

同様に、運動認識部１１４は、Ｓ３６の処理において、図１４で説明した基本運動条件情報１３４における４行目の情報（「基本運動ＩＤ」が「４」である情報）と、状態ＳＴ２４から状態ＳＴ２５までの各フレームとが合致すると判定する。また、運動認識部１１４は、Ｓ３６の処理において、図１４で説明した基本運動条件情報１３４における５行目の情報（「基本運動ＩＤ」が「５」である情報）と、状態ＳＴ２５から状態ＳＴ２６までの各フレームとが合致すると判定する。

【0151】

ここで、図１５で説明した技動作順序情報１３５の２行目には、「動作順序条件」として「３，４，５」が設定されている。そのため、技認識部１１５は、Ｓ３８の処理において、図１５で説明した技動作順序情報１３５における２行目の情報（「技ＩＤ」が「２」である情報）と、状態ＳＴ２１から状態ＳＴ２６までの各フレームとが合致すると判定する。

【0152】

さらに、図１６で説明した第１認定条件情報１３６の３行目には、「認定条件」として「終了ポーズ：倒立姿勢」が設定されている。そして、状態ＳＴ２６における選手Ｐの姿勢は、倒立姿勢に対応している。また、図１７で説明した第２認定条件情報１３７の３行目には、「認定条件（２）」として「なし」が設定されている。そのため、第２技認定部１１７は、Ｓ４６の処理において、状態ＳＴ２１から状態ＳＴ２７までの各フレームに対応する「技ＩＤ」が「２」であり、名称が「前方浮支持回転倒立」であると認定する。

【0153】

［第１の実施の形態における詳細の具体例（３）］
次に、選手Ｐが前方車輪と前方浮支持回転倒立とを連続で行っている場合の具体例について説明を行う。図２１は、選手Ｐが演技を行っている間における状態を時系列に並べた状態ＳＴ３１、ＳＴ３２、ＳＴ３３、ＳＴ３４、ＳＴ３５、ＳＴ３６、ＳＴ３７、ＳＴ３８、ＳＴ３９、ＳＴ４０及びＳＴ４１のそれぞれを示す図である。

【0154】

図２１に示す状態ＳＴ３１から状態ＳＴ３６のそれぞれは、図１９で説明した状態ＳＴ１１から状態ＳＴ１６のそれぞれに対応しているが、図２１に示す状態ＳＴ３７は、図１９で説明した状態ＳＴ１７と対応していない。また、図２１に示す状態ＳＴ３８から状態ＳＴ４１のそれぞれは、図２０で説明した状態ＳＴ２３から状態ＳＴ２６のそれぞれに対応しているが、図２１に示す状態ＳＴ３７は、図１１で説明した状態ＳＴ１１及びＳＴＳＴ１２と対応していない。

【0155】

すなわち、選手Ｐは、前方車輪と前方浮支持回転倒立とを連続で行う場合、前方車輪を単独で行う場合における終了ポーズ（状態ＳＴ１７）や前方浮支持回転倒立を単独で行う場合における開始ポーズ（状態ＳＴ２１）を経過せずに演技を行う。そのため、図２１に示す例では、前方車輪の終了ポーズが状態ＳＴ３７に対応し、前方浮支持回転倒立の開始ポーズが状態ＳＴ３８に対応する。

【0156】

そして、図２１に示す例において、状態ＳＴ３７及び状態ＳＴ３８のそれぞれは、「頭が下」の状態であり、「体の中心が地面に対して垂直前後４５度」の状態であり、「腕と体中心のなす角度＞９０度」の状態である。そして、図１３で説明した第２分節条件情報１３３における１行目には、「分節条件」として「頭が下、体の中心が地面に対して垂直前後４５度、腕と体中心のなす角度＞９０度」が設定されている。そのため、第２分節特定部１１３は、Ｓ２４の処理において、図１３で説明した第２分節条件情報１３３における１行目の情報（「分節ＩＤ」が「２１」である情報）と、状態ＳＴ３７及び状態ＳＴ３８のそれぞれに対応するフレームとが合致すると判定する。

【0157】

続いて、図１４で説明した基本運動条件情報１３４における１行目には、「開始ポーズ」として「１１」が設定され、「終了ポーズ」として「１２」が設定され、「基本運動条件」として「０度＜前方への回転量＜１８０度、最小腰の角度＞１７０度、最小肘の角度＞１７０度」が設定されている。そのため、運動認識部１１４は、Ｓ３６の処理において、図１４で説明した基本運動条件情報１３４における１行目の情報（「基本運動ＩＤ」が「１」である情報）と、状態ＳＴ３１から状態ＳＴ３４までの各フレームとが合致すると判定する。

【0158】

同様に、図１４で説明した基本運動条件情報１３４における２行目には、「開始ポーズ」として「１２」が設定され、「終了ポーズ」として「１１」または「２１」が設定され、「基本運動条件」として「０度＜前方への回転量＜１８０度、最小腰の角度＞１７０度、最小肘の角度＞１７０度」が設定されている。そのため、運動認識部１１４は、Ｓ３６の処理において、図１４で説明した基本運動条件情報１３４における２行目の情報（「基本運動ＩＤ」が「２」である情報）と、状態ＳＴ３４から状態ＳＴ３７までの各フレームとが合致すると判定する。

【0159】

したがって、第２技認定部１１７は、Ｓ４６の処理において、状態ＳＴ３１から状態ＳＴ３７までの各フレームに対応する「技ＩＤ」が「１」であり、名称が「前方車輪」であると認定する。

【0160】

続いて、図１４で説明した基本運動条件情報１３４における３行目には、「開始ポーズ」として「１１」または「２１」が設定され、「終了ポーズ」として「１３」が設定され、「基本運動条件」として「０度＜前方への回転量」が設定されている。そのため、運動認識部１１４は、Ｓ３６の処理において、図１４で説明した基本運動条件情報１３４における３行目の情報（「基本運動ＩＤ」が「１」である情報）と、状態ＳＴ３８から状態ＳＴ３９までの各フレームとが合致すると判定する。

【0161】

同様に、図１４で説明した基本運動条件情報１３４における４行目には、「開始ポーズ」として「１３」が設定され、「終了ポーズ」として「１４」が設定され、「基本運動条件」として「０度＜前方への回転量＜１８０度」が設定されている。そのため、運動認識部１１４は、Ｓ３６の処理において、図１４で説明した基本運動条件情報１３４における４行目の情報（「基本運動ＩＤ」が「４」である情報）と、状態ＳＴ３９から状態ＳＴ４０までの各フレームとが合致すると判定する。また、図１４で説明した基本運動条件情報１３４における５行目には、「開始ポーズ」として「１４」が設定され、「終了ポーズ」として「１１」が設定され、「基本運動条件」として「０度＜前方への回転量＜１８０度」が設定されている。そのため、運動認識部１１４は、Ｓ３６の処理において、図１４で説明した基本運動条件情報１３４における５行目の情報（「基本運動ＩＤ」が「５」である情報）と、状態ＳＴ４０から状態ＳＴ４１までの各フレームとが合致すると判定する。

【0162】

したがって、第２技認定部１１７は、Ｓ４６の処理において、状態ＳＴ３８から状態ＳＴ４１までの各フレームに対応する「技ＩＤ」が「２」であり、名称が「前方浮支持回転倒立」であると認定する。

【0163】

このように、本実施の形態における情報処理装置１は、時系列データ１３１に含まれる複数フレームのうち、第１条件を満たす分節フレームを特定する。また、情報処理装置１は、時系列データ１３１に含まれる複数フレームのうち、第２条件を連続して満たす分節フレーム群を特定する。

【0164】

そして、情報処理装置１は、特定した分節フレームと分節フレーム群とに基づいて、複数フレームを複数グループに分節する。具体的に、情報処理装置１は、例えば、複数フレームを分節フレーム及び分節フレーム群のそれぞれを分節点とすることによって、複数フレームを複数グループに分節する。そして、情報処理装置１は、分節された複数グループごとに、選手Ｐが行った基本運動を特定する。

【0165】

その後、情報処理装置１は、特定した複数グループごとの基本運動の組合せ及び順序に基づいて、選手Ｐが行った演技に含まれる技を認識する。

【0166】

すなわち、本実施の形態における情報処理装置１は、各技を構成する各基本運動の開始ポーズまたは終了ポーズに該当すると判断できるフレームを分節フレームとして特定する。また、情報処理装置１は、複数の技が連続して行われている場合、例えば、１番目の技を構成する最後の基本運動の終了ポーズから２番目の技を構成する最初の基本運動の開始ポーズまでの間に該当すると判断できる複数フレームを分節フレーム群として特定する。そして、情報処理装置１は、分節フレームだけでなく、分節フレーム群についても基本運動の分節点として用いることによって、複数フレームに含まれる複数の基本運動をそれぞれ特定する。

【0167】

これにより、本実施の形態における情報処理装置１は、複数の技が連続して行われる場合であっても、複数フレームの分節を各基本運動に対応するフレームごとに行うことが可能になり、選手Ｐが行った基本運動のそれぞれを精度良く認識することが可能になる。そのため、情報処理装置１は、選手Ｐが行った技の種類についての認識を精度良く行うことが可能になる。

【0168】

なお、情報処理装置１は、Ｓ４８の処理において、技認識結果情報１３８に加えて、各技の開始時間と各技の終了時間とを含む情報（以下、技時間情報１３９とも呼ぶ）を出力するものであってもよい。以下、技時間情報１３９の出力を行う場合におけるＳ４８の処理について説明を行う。

【0169】

［Ｓ４８の処理の詳細］
図１０は、Ｓ４８の処理の詳細について説明するフローチャート図である。

【0170】

時間判定部１１９は、図１０に示すように、Ｓ４６の処理で特定した第２認定技のうちの１つを取得する（Ｓ５１）。

【0171】

そして、時間判定部１１９は、Ｓ５１の処理で取得した第２認定技の開始時間と終了時間とを特定する（Ｓ５２）。

【0172】

具体的に、時間判定部１１９は、例えば、Ｓ５１の処理で取得した第２認定技に対応する最初のフレームのセンサ２による認識時間を、Ｓ５１の処理で取得した第２認定技の開始時間として特定する。また、時間判定部１１９は、例えば、Ｓ５１の処理で取得した第２認定技に対応する最後のフレームのセンサ２による認識時間を、Ｓ５１の処理で取得した第２認定技の終了時間として特定する。

【0173】

なお、第２技認定部１１７は、例えば、Ｓ４６の処理において、第２認定技の開始時間と終了時間との組合せを時間リスト（図示せず）に記憶するものであってもよい。そして、時間判定部１１９は、例えば、Ｓ５１及びＳ５２の処理において、第２認定技の開始時間と終了時間との組合せを時間リストから１つ取得するものであってもよい。

【0174】

続いて、時間判定部１１９は、Ｓ５１の処理で取得した第２認定技に対応する最初のフレームが分節フレーム群（以下、第１分節フレーム群とも呼ぶ）によって分節されているか否かを判定する（Ｓ５３）。

【0175】

その結果、Ｓ５１の処理で取得した第２認定技に対応する最初のフレームが第１分節フレーム群によって分節されていると判定した場合（Ｓ５３のＹＥＳ）、時間判定部１１９は、Ｓ５１の処理で取得した第２認定技の開始時間を第１分節フレーム群の開始時間とする（Ｓ５４）。

【0176】

一方、Ｓ５１の処理で取得した第２認定技に対応する最初のフレームが第１分節フレーム群によって分節されていないと判定した場合（Ｓ５３のＮＯ）、時間判定部１１９は、Ｓ５４の処理を行わない。

【0177】

続いて、時間判定部１１９は、Ｓ５１の処理で取得した第２認定技に対応する最後のフレームが分節フレーム群（以下、第２分節フレーム群とも呼ぶ）によって分節されているか否かを判定する（Ｓ５５）。

【0178】

その結果、Ｓ５１の処理で取得した第２認定技に対応する最後のフレームが第２分節フレーム群によって分節されていると判定した場合（Ｓ５５のＹＥＳ）、時間判定部１１９は、Ｓ５１の処理で取得した第２認定技の終了時間を第２分節フレーム群の終了時間とする（Ｓ５６）。

【0179】

一方、Ｓ５１の処理で取得した第２認定技に対応する最初のフレームが第２分節フレーム群によって分節されていないと判定した場合（Ｓ５５のＮＯ）、時間判定部１１９は、Ｓ５６の処理を行わない。

【0180】

その後、データ出力部１１８は、例えば、Ｓ５２の処理で特定した開始時間（Ｓ５４の処理で変更した開始時間）と、Ｓ５２の処理で特定した終了時間（Ｓ５６の処理で変更した終了時間）とを含む技時間情報１３９を、技認識結果情報１３８とともに出力装置５に出力する（Ｓ５７）。以下、技時間情報１３９の具体例について説明を行う。

【0181】

［技時間情報の具体例］
図２２は、技時間情報１３９の具体例について説明する図である。具体的に、図２２は、技認識結果情報１３８と技時間情報１３９とが含まれる情報の具体例を説明する図である。

【0182】

図２２に示す情報は、各技の実施順序を示す「順序」と、各技の名称が設定される「認識結果」と、各技の開始時間が設定される「開始時間」と、各技の終了時間が設定される「終了時間」とを有する。

【0183】

具体的に、図２２に示す情報において、１行目の情報は、「順序」として「１」が設定され、「認識結果」として「前方車輪」が設定され、「開始時間」として「ＡＡ：ＡＡ：ＡＡ．ＡＡＡ」が設定され、「終了時間」として「ＢＢ：ＢＢ：ＢＢ．ＢＢＢ」が設定されている。

【0184】

また、図２２に示す情報において、２行目の情報は、「順序」として「２」が設定され、「認識結果」として「前方浮支持回転倒立」が設定され、「開始時間」として「ＣＣ：ＣＣ：ＣＣ．ＣＣＣ」が設定され、「終了時間」として「ＤＤ：ＤＤ：ＤＤ．ＤＤＤ」が設定されている。

【0185】

これにより、情報処理装置１は、選手Ｐが技を連続して行った場合であっても、各技の開始時間及び終了時間を精度良く特定して出力することが可能になる。

【0186】

なお、本実施の形態における技認識処理は、選手Ｐが行った演技の採点に用いられるだけでなく、例えば、アニメーション等の映像作成分野において、人間が行った動作の種別認識を行う際に用いられるものであってもよい。

【0187】

以上の実施の形態をまとめると、以下の付記のとおりである。

【0188】

（付記１）
人間の姿勢をそれぞれ含む時系列に並んだ複数フレームを取得し、
前記複数フレームのうち、第１条件を満たす分節フレームを特定し、
前記複数フレームのうち、第２条件を連続して満たす分節フレーム群を特定し、
特定した前記複数フレームを前記分節フレームと前記分節フレーム群とを分節点とすることにより、前記複数フレームを複数グループに分節し、
分節された前記複数グループごとに、前記人間が行った基本運動を特定し、
特定した前記複数グループごとの前記基本運動の組合せ及び順序に基づいて、前記人間が行った技の種別を識別する、
処理をコンピュータが実行することを特徴とする技認識方法。

【0189】

（付記２）
付記１において、
前記複数フレームのそれぞれは、前記人間の体における複数の部位のそれぞれに対応する複数の特徴点の位置情報を含む、
ことを特徴とする技認識方法。

【0190】

（付記３）
付記１において、
前記分節フレームを特定する処理では、前記複数フレームのうち、記憶部に記憶した複数の第１姿勢のいずれかと対応するフレームを前記分節フレームとして特定する、
ことを特徴とする技認識方法。

【0191】

（付記４）
付記１において、
前記分節フレーム群を特定する処理では、前記複数フレームのうち、記憶部に記憶した複数の第２姿勢のいずれかと連続して対応する複数フレームを前記分節フレーム群として特定する、
ことを特徴とする技認識方法。

【0192】

（付記５）
付記１において、
前記基本運動を特定する処理では、前記複数グループごとに、各グループに含まれる１以上のフレームにおける前記人間の姿勢に応じて、各グループに対応する前記基本運動を特定する、
ことを特徴とする技認識方法。

【0193】

（付記６）
付記１において、
前記技の種別を認識する処理では、前記複数グループごとの前記基本運動の組合せ及び順序から、前記複数グループに対応する１以上の技候補を特定し、
特定した前記１以上の技候補ごとに、各技候補に対応する前記基本運動における前記人間の姿勢が満たす第３条件を特定し、
特定した前記１以上の技候補ごとに、各技候補と各技候補の直前または直後に実施された他の技候補との順序が前記第３条件に対応する第４条件を満たす場合、各技候補の種別を前記人間が行った前記技の種別として識別する、
ことを特徴とする技認識方法。

【0194】

（付記７）
付記１において、さらに、
前記技を示す情報を出力装置に出力する、処理をコンピュータが実行することを特徴とする技認識方法。

【0195】

（付記８）
付記７において、
前記出力する処理では、前記技のそれぞれの開始時間と終了時間とを出力する、
ことを特徴とする技認識方法。

【0196】

（付記９）
付記８において、
前記出力する処理では、
前記技に対応する前記複数グループと前記技の直前に実施された第１技に対応する前記複数グループとの間が前記分節フレーム群によって分節されている場合、前記技の前記開始時間を、前記技と前記第１技との間における前記分節フレーム群の開始時間とし、
前記技に対応する前記複数グループと前記技の直後に実施された第２技に対応する前記複数グループとの間が前記分節フレーム群によって分節されている場合、前記技の前記終了時間を、前記技と前記第２技との間における前記分節フレーム群の終了時間とする、
ことを特徴とする技認識方法。

【0197】

（付記１０）
人間の姿勢をそれぞれ含む時系列に並んだ複数フレームを取得し、
前記複数フレームのうち、第１条件を満たす分節フレームを特定し、
前記複数フレームのうち、第２条件を連続して満たす分節フレーム群を特定し、
特定した前記複数フレームを前記分節フレームと前記分節フレーム群とを分節点とすることにより、前記複数フレームを複数グループに分節し、
分節された前記複数グループごとに、前記人間が行った基本運動を特定し、
特定した前記複数グループごとの前記基本運動の組合せ及び順序に基づいて、前記人間が行った技の種別を識別する、
処理をコンピュータに実行させることを特徴とする技認識プログラム。

【0198】

（付記１１）
付記１０において、
前記技の種別を認識する処理では、前記複数グループごとの前記基本運動の組合せ及び順序から、前記複数グループに対応する１以上の技候補を特定し、
特定した前記１以上の技候補ごとに、各技候補に対応する前記基本運動における前記人間の姿勢が満たす第３条件を特定し、
特定した前記１以上の技候補ごとに、各技候補と各技候補の直前または直後に実施された他の技候補との順序が前記第３条件に対応する第４条件を満たす場合、各技候補の種別を前記人間が行った前記技の種別として識別する、
ことを特徴とする技認識プログラム。

【0199】

（付記１２）
センサと情報処理装置とを含む体操採点支援システムであって、
前記センサは、人間の姿勢を認識し、
前記情報処理装置は、
前記センサによって認識された前記人間の姿勢をそれぞれ含む時系列に並んだ複数フレームを取得し、
前記複数フレームのうち、第１条件を満たす分節フレームを特定し、
前記複数フレームのうち、第２条件を連続して満たす分節フレーム群を特定し、
特定した前記複数フレームを前記分節フレームと前記分節フレーム群とを分節点とすることにより、前記複数フレームを複数グループに分節し、
分節された前記複数グループごとに、前記人間が行った基本運動を特定し、
特定した前記複数グループごとの前記基本運動の組合せ及び順序に基づいて、前記人間が行った技の種別を識別する、
ことを特徴とする体操採点支援システム。

【0200】

（付記１３）
付記１２において、
前記情報処理装置は、
前記複数グループごとの前記基本運動の組合せ及び順序から、前記複数グループに対応する１以上の技候補を特定し、
特定した前記１以上の技候補ごとに、各技候補に対応する前記基本運動における前記人間の姿勢が満たす第３条件を特定し、
特定した前記１以上の技候補ごとに、各技候補と各技候補の直前または直後に実施された他の技候補との順序が前記第３条件に対応する第４条件を満たす場合、各技候補の種別を前記人間が行った前記技の種別として識別する、
ことを特徴とする体操採点支援システム。

【符号の説明】

【0201】

１：情報処理装置 ２：センサ
５：操作端末 １０：情報システム
Ｐ：選手

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】