ホーム > 特許ランキング > 住友ゴム工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
▶ 住友ゴム工業株式会社の特許一覧 ▶ 学校法人立命館の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024063332
(43)【公開日】2024-05-13
(54)【発明の名称】動作解析装置
(51)【国際特許分類】
G06V 10/82 20220101AFI20240502BHJP
G06T 7/00 20170101ALI20240502BHJP
【ＦＩ】
G06V10/82
G06T7/00 350C
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022171177
(22)【出願日】2022-10-26
(71)【出願人】
【識別番号】000183233
【氏名又は名称】住友ゴム工業株式会社
(71)【出願人】
【識別番号】593006630
【氏名又は名称】学校法人立命館
(74)【代理人】
【識別番号】100104134
【弁理士】
【氏名又は名称】住友 慎太郎
(74)【代理人】
【識別番号】100156225
【弁理士】
【氏名又は名称】浦 重剛
(74)【代理人】
【識別番号】100168549
【弁理士】
【氏名又は名称】苗村 潤
(74)【代理人】
【識別番号】100200403
【弁理士】
【氏名又は名称】石原 幸信
(74)【代理人】
【識別番号】100206586
【弁理士】
【氏名又は名称】市田 哲
(72)【発明者】
【氏名】永野 祐樹
(72)【発明者】
【氏名】植田 勝彦
(72)【発明者】
【氏名】島田 伸敬
(72)【発明者】
【氏名】白井 良明
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA09
5L096CA04
5L096FA64
5L096FA66
5L096FA69
5L096HA02
5L096HA11
5L096KA04
5L096KA15
(57)【要約】
【課題】 物体の動作を定量的に表す動作値を、高い精度で出力することが可能な動作解析装置を提供する。
【解決手段】 物体の動作を解析するための動作解析装置などである。この動作解析装置は、物体の動作が距離画像センサによって撮影された少なくとも１枚の深度画像２１を取得する取得部と、深度画像２１を入力することにより、物体の動作を定量的に表す動作値を出力可能な導出部とを含む。導出部は、物体の位置データについての第１損失関数、及び、物体の部位の長さデータについての第２損失関数を含む損失関数の値が小さくなるように機械学習されたニューラルネットワーク３１を含む。
【選択図】図７
【解決手段】 物体の動作を解析するための動作解析装置などである。この動作解析装置は、物体の動作が距離画像センサによって撮影された少なくとも１枚の深度画像２１を取得する取得部と、深度画像２１を入力することにより、物体の動作を定量的に表す動作値を出力可能な導出部とを含む。導出部は、物体の位置データについての第１損失関数、及び、物体の部位の長さデータについての第２損失関数を含む損失関数の値が小さくなるように機械学習されたニューラルネットワーク３１を含む。
【選択図】図７
【特許請求の範囲】
【請求項1】
物体の動作を解析するための動作解析装置であって、
前記物体の動作が距離画像センサによって撮影された少なくとも１枚の深度画像を取得する取得部と、
前記深度画像を入力することにより、前記物体の動作を定量的に表す動作値を出力可能な導出部とを含み、
前記導出部は、前記物体の位置データについての第１損失関数、及び、前記物体の部位の長さデータについての第２損失関数を含む損失関数の値が小さくなるように機械学習されたニューラルネットワークを含む、
動作解析装置。
前記物体の動作が距離画像センサによって撮影された少なくとも１枚の深度画像を取得する取得部と、
前記深度画像を入力することにより、前記物体の動作を定量的に表す動作値を出力可能な導出部とを含み、
前記導出部は、前記物体の位置データについての第１損失関数、及び、前記物体の部位の長さデータについての第２損失関数を含む損失関数の値が小さくなるように機械学習されたニューラルネットワークを含む、
動作解析装置。
【請求項2】
前記ニューラルネットワークは、前記物体の動作を撮影又は再現した複数の画像と、前記複数の画像それぞれの前記位置データ及び前記長さデータとを含む教師データに基づいて学習されている、請求項１に記載の動作解析装置。
【請求項3】
前記物体は、一対のリンクと、これを繋ぐ関節を有する移動体であり、
前記位置データは、前記関節の位置データを含み、
前記第１損失関数は、前記複数の画像から選択される少なくとも１枚の画像について、前記ニューラルネットワークから出力された前記関節の位置データの導出値と、前記教師データの前記関節の位置データの真値との差分に基づいて定義される、請求項２に記載の動作解析装置。
前記位置データは、前記関節の位置データを含み、
前記第１損失関数は、前記複数の画像から選択される少なくとも１枚の画像について、前記ニューラルネットワークから出力された前記関節の位置データの導出値と、前記教師データの前記関節の位置データの真値との差分に基づいて定義される、請求項２に記載の動作解析装置。
【請求項4】
前記移動体は、人体である、請求項３に記載の動作解析装置。
【請求項5】
前記第１損失関数は、下記の式（１）で定義される、請求項３又は４に記載の動作解析装置。
ここで、
Ｌcoordinate：第１損失関数
ｅkx：関節のＸ座標の導出値
ｅky：関節のＹ座標の導出値
ｅkz：関節のＺ座標の導出値
ｔkx：関節のＸ座標の真値
ｔky：関節のＹ座標の真値
ｔkz：関節のＺ座標の真値
ｋ：関節を特定するための添字
ｎc：関節の合計数
【数1】
Ｌcoordinate：第１損失関数
ｅkx：関節のＸ座標の導出値
ｅky：関節のＹ座標の導出値
ｅkz：関節のＺ座標の導出値
ｔkx：関節のＸ座標の真値
ｔky：関節のＹ座標の真値
ｔkz：関節のＺ座標の真値
ｋ：関節を特定するための添字
ｎc：関節の合計数
【請求項6】
前記物体は、一対のリンクと、これを繋ぐ関節を有する移動体であり、
前記長さデータは、前記一対のリンクの少なくとも一方のリンクの長さデータを含み、
前記第２損失関数は、前記複数の画像から選択された第１画像及び第２画像について、前記ニューラルネットワークから出力された前記第１画像の前記少なくとも一方のリンクの長さの導出値、及び、前記第２画像の前記少なくとも一方のリンクの長さの導出値との差分に基づいて定義される、請求項２又は３に記載の動作解析装置。
前記長さデータは、前記一対のリンクの少なくとも一方のリンクの長さデータを含み、
前記第２損失関数は、前記複数の画像から選択された第１画像及び第２画像について、前記ニューラルネットワークから出力された前記第１画像の前記少なくとも一方のリンクの長さの導出値、及び、前記第２画像の前記少なくとも一方のリンクの長さの導出値との差分に基づいて定義される、請求項２又は３に記載の動作解析装置。
【請求項7】
前記第２損失関数は、下記の式（２）で定義される、請求項６に記載の動作解析装置。
ここで、
Ｌconstraint：第２損失関数
ｌj1：第１画像のリンクの長さの導出値
ｌj2：第２画像のリンクの長さの導出値
ｊ：リンクを特定するための添字
μ：許容率
ｎb：リンクの合計数
【数2】
Ｌconstraint：第２損失関数
ｌj1：第１画像のリンクの長さの導出値
ｌj2：第２画像のリンクの長さの導出値
ｊ：リンクを特定するための添字
μ：許容率
ｎb：リンクの合計数
【請求項8】
前記物体は、一対のリンクと、これを繋ぐ関節を有する移動体であり、
前記長さデータは、前記一対のリンクの少なくとも一方のリンクの長さデータを含み、
前記第２損失関数は、前記複数の画像から選択された第１画像について、前記ニューラルネットワークから出力された前記少なくとも一方のリンクの長さの導出値、及び、前記第１画像の前記少なくとも一方のリンクの長さの真値との差分に基づいて定義される、請求項２又は３に記載の動作解析装置。
前記長さデータは、前記一対のリンクの少なくとも一方のリンクの長さデータを含み、
前記第２損失関数は、前記複数の画像から選択された第１画像について、前記ニューラルネットワークから出力された前記少なくとも一方のリンクの長さの導出値、及び、前記第１画像の前記少なくとも一方のリンクの長さの真値との差分に基づいて定義される、請求項２又は３に記載の動作解析装置。
【請求項9】
前記第２損失関数は、下記の式（３）で定義される、請求項８に記載の動作解析装置。
ここで、
Ｌconstraint：第２損失関数
ｌj1：第１画像のリンクの長さの導出値
ｌj3：第１画像のリンクの長さの真値
ｊ：リンクを特定するための添字
μ：許容率
ｎb：リンクの合計数
【数3】
Ｌconstraint：第２損失関数
ｌj1：第１画像のリンクの長さの導出値
ｌj3：第１画像のリンクの長さの真値
ｊ：リンクを特定するための添字
μ：許容率
ｎb：リンクの合計数
【請求項10】
前記ニューラルネットワークを機械学習させる学習部をさらに備える、請求項１又は２に記載の動作解析装置。
【請求項11】
前記物体は、ゴルフクラブを把持したゴルファである、請求項１又は２に記載の動作解析装置。
【請求項12】
前記動作は、ゴルフスイングである、請求項１１に記載の動作解析装置。
【請求項13】
物体の動作を解析するための学習モデルの生成方法であって、
教師データを用いてニューラルネットワークを学習させる工程を含み、
前記工程は、前記物体の動作を撮影又は再現した複数の画像と、前記複数の画像それぞれの前記物体の位置データ及び前記物体の部位の長さデータとを含む前記教師データを準備する工程と、
前記教師データに基づいて、前記物体の位置データについての第１損失関数、及び、前記物体の部位の長さデータについての第２損失関数を含む損失関数の値が小さくなるように、前記ニューラルネットワークを機械学習させる工程とを含む、
学習モデルの生成方法。
教師データを用いてニューラルネットワークを学習させる工程を含み、
前記工程は、前記物体の動作を撮影又は再現した複数の画像と、前記複数の画像それぞれの前記物体の位置データ及び前記物体の部位の長さデータとを含む前記教師データを準備する工程と、
前記教師データに基づいて、前記物体の位置データについての第１損失関数、及び、前記物体の部位の長さデータについての第２損失関数を含む損失関数の値が小さくなるように、前記ニューラルネットワークを機械学習させる工程とを含む、
学習モデルの生成方法。
【請求項14】
物体の動作を解析するための方法であって、
前記物体の動作が距離画像センサによって撮影された少なくとも１枚の深度画像を取得する工程と、
前記深度画像をニューラルネットワークに入力することにより、前記物体の動作を定量的に表す動作値を出力する工程とを含み、
前記ニューラルネットワークは、前記物体の位置データについての第１損失関数、及び、前記物体の部位の長さデータについての第２損失関数を含む損失関数の値が小さくなるように機械学習されている、
動作解析方法。
前記物体の動作が距離画像センサによって撮影された少なくとも１枚の深度画像を取得する工程と、
前記深度画像をニューラルネットワークに入力することにより、前記物体の動作を定量的に表す動作値を出力する工程とを含み、
前記ニューラルネットワークは、前記物体の位置データについての第１損失関数、及び、前記物体の部位の長さデータについての第２損失関数を含む損失関数の値が小さくなるように機械学習されている、
動作解析方法。
【請求項15】
物体の動作を解析するためのコンピュータプログラムであって、
コンピュータを、
前記物体の動作が距離画像センサによって撮影された少なくとも１枚の深度画像を取得する手段と、
前記深度画像をニューラルネットワークに入力することにより、前記物体の動作を定量的に表す動作値を出力する手段として機能させ、
前記ニューラルネットワークは、前記物体の位置データについての第１損失関数、及び、前記物体の部位の長さデータについての第２損失関数を含む損失関数の値が小さくなるように機械学習されている、
コンピュータプログラム。
コンピュータを、
前記物体の動作が距離画像センサによって撮影された少なくとも１枚の深度画像を取得する手段と、
前記深度画像をニューラルネットワークに入力することにより、前記物体の動作を定量的に表す動作値を出力する手段として機能させ、
前記ニューラルネットワークは、前記物体の位置データについての第１損失関数、及び、前記物体の部位の長さデータについての第２損失関数を含む損失関数の値が小さくなるように機械学習されている、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動作解析装置などに関する。
【背景技術】
【0002】
下記特許文献１には、動作解析装置が記載されている。この装置は、物体の動作を距離画像センサにより撮影した深度画像を取得する取得部と、物体の動作を定量的に表す動作値を出力とするニューラルネットワークに、取得部により取得された深度画像を入力することにより、動作値を導出する導出部とを備えている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１８－０２６１３１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記の装置は、物体の動作を撮影した深度画像から、その物体の動作値を出力するにあたり、出力精度のさらなる向上が求められている。
【0005】
本発明は、以上のような実状に鑑み案出されたもので、物体の動作を定量的に表す動作値を、高い精度で出力することが可能な動作解析装置を提供することを主たる目的としている。
【課題を解決するための手段】
【0006】
本発明は、物体の動作を解析するための動作解析装置であって、前記物体の動作が距離画像センサによって撮影された少なくとも１枚の深度画像を取得する取得部と、前記深度画像を入力することにより、前記物体の動作を定量的に表す動作値を出力可能な導出部とを含み、前記導出部は、前記物体の位置データについての第１損失関数、及び、前記物体の部位の長さデータについての第２損失関数を含む損失関数の値が小さくなるように機械学習されたニューラルネットワークを含む、動作解析装置である。
【発明の効果】
【0007】
本発明の動作解析装置は、上記の構成を採用することにより、物体の動作を定量的に表す動作値を、高い精度で出力することが可能となる。
【図面の簡単な説明】
【0008】
【図1】本実施形態の動作解析装置を含む動作解析システムを概念的に示す構成図である。
【図2】本実施形態の動作解析装置を示すブロック図である。
【図3】本実施形態の動作解析方法の処理手順を示すフローチャートである。
【図4】複数の深度画像を含む深度画像群を示す図である。
【図5】（ａ）は正規化される前の深度画像、（ｂ）は正規化された深度画像である。
【図6】人体の関節及び部位等の位置データの説明図である。
【図7】学習モデルの概念図である。
【図8】深度画像の動作値を示す図である。
【図9】左手の位置データと時間との関係を示すグラフである。（ａ）は、奥行方向（Ｘ軸方向）の位置データ、（ｂ）は、飛球線方向（Ｙ軸方向）の位置データ、及び、（ｃ）は、高さ方向（Ｚ軸方向）の位置データを示している。
【図10】本実施形態の学習モデルの生成方法の処理手順の一例を示すフローチャートである。
【図11】本実施形態の学習工程の処理手順を示すフローチャートである。
【図12】複数の画像からなる画像群を示す図である。
【図13】位置データ群（ボーンデータ群）を示す図である。
【図14】物体モデルを示す図である。
【図15】ニューラルネットワークに入力される画像と、ニューラルネットワークから導出された関節の位置データの導出値とを示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態が図面に基づき説明される。図面は、発明の内容の理解を助けるために、誇張表現や、実際の構造の寸法比とは異なる表現が含まれることが理解されなければならない。また、各実施形態を通して、同一又は共通する要素については同一の符号が付されており、重複する説明が省略される。さらに、実施形態及び図面に表された具体的な構成は、本発明の内容理解のためのものであって、本発明は、図示されている具体的な構成に限定されるものではない。
【0010】
［動作解析システム］
本実施形態の動作解析装置（動作解析システム）は、物体の動作の解析に用いられる。図１は、本実施形態の動作解析装置２を含む動作解析システム１を概念的に示す構成図である。
本実施形態の動作解析装置（動作解析システム）は、物体の動作の解析に用いられる。図１は、本実施形態の動作解析装置２を含む動作解析システム１を概念的に示す構成図である。
【0011】
物体３は、動作するものであれば、特に限定されない。本実施形態の物体３は、一対のリンク（図示省略）と、これを繋ぐ関節（図示省略）を有する移動体４である場合が例示される。移動体４は、リンクと関節とを有するものであれば、特に限定されない。移動体４の一例には、人体、生体（人体を除く）、及び、機械等が挙げられる。生体には、例えば、哺乳類、鳥類、爬虫類、両生類、魚類、及び、昆虫等の生体が含まれる。機械には、例えば、ロボット等が含まれる。本実施形態の移動体４は、人体である場合が例示される。したがって、本実施形態のリンクは、関節に繋がる骨によって構成される。
【0012】
動作は、物体３による動きであれば、特に限定されない。動作の一例には、スポーツや作業等をしている人体の動き等が挙げられる。スポーツの一例には、ゴルフ、テニス、バドミントン、卓球、野球、バレーボール及び剣道等が挙げられる。
【0013】
本実施形態では、物体３（移動体４）がゴルフクラブを把持したゴルファ５であり、動作がゴルファ５によるゴルフスイング（例えば、ゴルフクラブを用いたボールの打撃等）である場合が例示される。したがって、本実施形態の動作解析装置２は、ゴルファ５によるゴルフスイングの解析に好適に用いられ得る。解析結果は、例えば、ゴルフクラブのフィッティング、ゴルフスイングの改善、及び、ゴルフ用品の開発等に利用され得る。なお、物体がゴルファ５に限定されるわけではなく、また、動作がゴルファ５によるゴルフスイングに限定されるわけではない。物体及び動作は、上述の態様に変更ないし適用可能なことはいうまでもない。
【0014】
本実施形態の動作解析システム１は、動作解析装置２と、距離画像センサ６とを含んで構成される。動作解析システム１（動作解析装置２）は、後述の動作解析方法や、学習モデルの生成方法の実行に用いられる。
【0015】
［距離画像センサ］
距離画像センサ６は、ゴルファ５の動作を撮影するためのものである。本実施形態の距離画像センサ６は、ゴルファ５の前方に設置されている。これにより、距離画像センサ６は、ゴルファ５によるゴルフスイングを正面側から撮影することができる。
距離画像センサ６は、ゴルファ５の動作を撮影するためのものである。本実施形態の距離画像センサ６は、ゴルファ５の前方に設置されている。これにより、距離画像センサ６は、ゴルファ５によるゴルフスイングを正面側から撮影することができる。
【0016】
本実施形態の距離画像センサ６は、三次元計測カメラである。このような距離画像センサ６は、ゴルファ５がゴルフスイングする様子を二次元画像として撮影し、ゴルファ５を含む被写体までの距離を測定する測距機能を有している。したがって、本実施形態の距離画像センサ６は、二次元画像と、深度画像とを出力することができる。
【0017】
二次元画像とは、撮影空間の像をカメラの光軸に直交する平面内へ投影した画像である。深度画像とは、二次元画像と略同じ撮像範囲内の画素に、カメラの光軸方向の被写体の奥行きのデータ（深度データ）を割り当てた画像である。
【0018】
本実施形態の距離画像センサ６では、二次元画像が、赤外線画像として撮影される。深度画像は、赤外線を用いたタイムオブフライト方式やドットパターン投影方式等により取得される。このような距離画像センサ６には、例えば、特許文献１の距離画像センサと同一のものが用いられうる。本実施形態の距離画像センサ６には、例えば、マイクロソフト社製のＫｉｎｅｃｔ（登録商標）が用いられうる。
【0019】
本実施形態の距離画像センサ６は、通信線（有線又は無線）７を介して、動作解析装置２と通信可能に接続されている。これにより、距離画像センサ６で撮影された深度画像が、動作解析装置２に送信されうる。なお、深度画像の送信は、このような通信線７に限定されるわけではなく、例えば、通信ネットワーク（ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）等）を介して、距離画像センサ６と、動作解析装置２とが接続されてもよい。また、距離画像センサ６と動作解析装置２とが接続されない場合には、例えば、フラッシュメモリ等の記憶メディア（図示省略）等を介して、距離画像センサ６で撮影された深度画像が、動作解析装置２に入力されてもよい。
【0020】
［動作解析装置］
動作解析装置２は、例えば、コンピュータ８によって構成される。コンピュータ８の一例には、デスクトップ型コンピュータ、ノート型コンピュータ、タブレットコンピュータ、スマートフォン、及び、クラウドサーバ等が挙げられる。本実施形態のコンピュータ８には、デスクトップ型コンピュータが採用される。図２は、本実施形態の動作解析装置２を示すブロック図である。
動作解析装置２は、例えば、コンピュータ８によって構成される。コンピュータ８の一例には、デスクトップ型コンピュータ、ノート型コンピュータ、タブレットコンピュータ、スマートフォン、及び、クラウドサーバ等が挙げられる。本実施形態のコンピュータ８には、デスクトップ型コンピュータが採用される。図２は、本実施形態の動作解析装置２を示すブロック図である。
【0021】
本実施形態の動作解析装置２は、例えば、入力装置１１と、出力装置１２と、通信装置１３と、演算処理装置１４とを含んで構成されている。
【0022】
［入力装置・出力装置］
入力装置１１には、例えば、図１に示したキーボード１１ａやマウス１１ｂ等が用いられる。出力装置１２には、例えば、図１に示したディスプレイ１２ａやプリンタ（図示省略）等が用いられる。
入力装置１１には、例えば、図１に示したキーボード１１ａやマウス１１ｂ等が用いられる。出力装置１２には、例えば、図１に示したディスプレイ１２ａやプリンタ（図示省略）等が用いられる。
【0023】
［通信装置］
本実施形態の通信装置１３には、通信線７（図１に示す）が接続される。これにより、通信装置１３（動作解析装置２）は、距離画像センサ６（図１に示す）によって撮影された深度画像を、通信線７を介して取得（受信）することが可能となる。また、本実施形態の通信装置１３（動作解析装置２）は、例えば、距離画像センサ６を制御するための信号を、通信線７を介して距離画像センサ６に送信しうる。
本実施形態の通信装置１３には、通信線７（図１に示す）が接続される。これにより、通信装置１３（動作解析装置２）は、距離画像センサ６（図１に示す）によって撮影された深度画像を、通信線７を介して取得（受信）することが可能となる。また、本実施形態の通信装置１３（動作解析装置２）は、例えば、距離画像センサ６を制御するための信号を、通信線７を介して距離画像センサ６に送信しうる。
【0024】
［演算処理装置］
本実施形態の演算処理装置１４は、例えば、各種の演算を行う演算部（ＣＰＵ）１５、データやプログラム等が記憶される記憶部１６、及び、作業用メモリ１７を含んで構成されている。
本実施形態の演算処理装置１４は、例えば、各種の演算を行う演算部（ＣＰＵ）１５、データやプログラム等が記憶される記憶部１６、及び、作業用メモリ１７を含んで構成されている。
【0025】
［記憶部］
記憶部１６は、例えば、磁気ディスク、光ディスク又はＳＳＤ等からなる不揮発性の情報記憶装置である。本実施形態の記憶部１６には、データ部１８及びプログラム部１９が含まれる。
記憶部１６は、例えば、磁気ディスク、光ディスク又はＳＳＤ等からなる不揮発性の情報記憶装置である。本実施形態の記憶部１６には、データ部１８及びプログラム部１９が含まれる。
【0026】
［データ部］
データ部１８は、物体の動作の解析に必要なデータ（情報）や、解析結果等を記憶するためのものである。本実施形態のデータ部１８には、深度画像入力部１８ａ、動作値入力部１８ｂ、及び、教師データ入力部１８ｃが含まれる。なお、データ部１８は、このような態様に限定されるわけではなく、これらの一部が省略されてもよいし、その他のデータが記憶されるデータ部が含まれてもよい。これらのデータ部１８に入力されるデータの詳細は、後述される。
データ部１８は、物体の動作の解析に必要なデータ（情報）や、解析結果等を記憶するためのものである。本実施形態のデータ部１８には、深度画像入力部１８ａ、動作値入力部１８ｂ、及び、教師データ入力部１８ｃが含まれる。なお、データ部１８は、このような態様に限定されるわけではなく、これらの一部が省略されてもよいし、その他のデータが記憶されるデータ部が含まれてもよい。これらのデータ部１８に入力されるデータの詳細は、後述される。
【0027】
［プログラム部］
プログラム部１９は、物体の動作の解析に必要なプログラム（コンピュータプログラム）である。プログラム部（プログラム）１９は、演算部１５によって実行されることにより、コンピュータ８を、特定の手段として機能させることができる。
プログラム部１９は、物体の動作の解析に必要なプログラム（コンピュータプログラム）である。プログラム部（プログラム）１９は、演算部１５によって実行されることにより、コンピュータ８を、特定の手段として機能させることができる。
【0028】
本実施形態のプログラム部１９には、取得部１９ａ、導出部１９ｂ、出力部１９ｃ及び学習部１９ｄが含まれる。なお、プログラム部１９は、このような態様に限定されるわけではなく、これらの一部が省略されてもよいし、その他の機能を有するプログラム部が含まれてもよい。例えば、導出部１９ｂに、学習済みのニューラルネットワークが含まれている場合には、ニューラルネットワークを機械学習する必要がないため、学習部１９ｄが省略されてもよい。これらのプログラム部１９の機能の詳細は、後述される。
【0029】
［動作解析方法］
次に、物体の動作を解析するための動作解析方法が説明される。本実施形態の動作解析方法では、図１に示したゴルファ５によるゴルフスイングが解析される。図３は、本実施形態の動作解析方法の処理手順を示すフローチャートである。本実施形態の動作解析方法の各工程は、図１及び図２に示した動作解析装置２（コンピュータ８）によって実行される。
次に、物体の動作を解析するための動作解析方法が説明される。本実施形態の動作解析方法では、図１に示したゴルファ５によるゴルフスイングが解析される。図３は、本実施形態の動作解析方法の処理手順を示すフローチャートである。本実施形態の動作解析方法の各工程は、図１及び図２に示した動作解析装置２（コンピュータ８）によって実行される。
【0030】
［複数の深度画像を取得］
本実施形態の動作解析方法は、先ず、少なくとも１枚の深度画像を取得する（工程Ｓ１）。深度画像は、図１に示したゴルファ５によるゴルフスイングを、距離画像センサ６によって撮影することで取得されうる。
本実施形態の動作解析方法は、先ず、少なくとも１枚の深度画像を取得する（工程Ｓ１）。深度画像は、図１に示したゴルファ５によるゴルフスイングを、距離画像センサ６によって撮影することで取得されうる。
【0031】
本実施形態の工程Ｓ１では、先ず、図２に示したプログラム部１９に含まれる取得部１９ａが、作業用メモリ１７に読み込まれる。取得部１９ａは、ゴルファ５によるゴルフスイングが距離画像センサ６によって撮影された少なくとも１枚の深度画像を取得するためのプログラムである。この取得部１９ａが、演算部１５によって実行されることで、コンピュータ８を、少なくとも１枚の深度画像を取得する手段として機能させることができる。
【0032】
本実施形態の工程Ｓ１では、先ず、図１に示されるように、ゴルファ５にゴルフスイングさせて、そのゴルフスイングが、距離画像センサ６によって撮影される。撮影は、オペレータ等が行ってもよいし、動作解析装置２（コンピュータ８）が行ってもよい。
【0033】
本実施形態では、ゴルファ５によるゴルフスイングが、動画として撮影される。これにより、ゴルフスイングが、時系列で連続的に撮影された複数の深度画像を含む深度画像群として取得されうる。図４は、複数の深度画像２１を含む深度画像群２２を示す図である。図４では、深度画像群２２に含まれる複数の深度画像２１のうち、一部の深度画像２１のみが示されており、他の深度画像が省略（「…」で表示）されている。
【0034】
本実施形態の深度画像群２２には、ゴルファ５によるゴルフスイングの開始から終了までを、時系列で連続的に撮影された複数の深度画像２１が含まれる。より具体的には、本実施形態の深度画像群２２は、ゴルファ５のアドレスからインパクトを経てフィニッシュまでの動作が記録された複数の深度画像２１を含む。これらの深度画像２１は、予め定められた第１時間間隔Ｔ１で撮影される。第１時間間隔Ｔ１は、特に限定されるわけではなく、例えば、図１に示した距離画像センサ６の仕様等に基づいて設定される。本実施形態の第１時間間隔Ｔ１は、３３msである。
【0035】
距離画像センサ６は、一般的なカメラとは異なり、ゴルファ５によるゴルフスイングが左右反転した状態で撮影（ミラー処理）される場合がある。この場合、複数の深度画像２１に、左右を反転（再反転）させる画像処理がそれぞれ行われるのが好ましい。
【0036】
複数の深度画像２１は、それぞれ正規化されているのが好ましい。ここで、正規化とは、ゴルファ５を含む被写体の深度に合わせて、深度フレームの階調のスケール変換を行う処理である。このような正規化は、上記特許文献１の段落「００５３」～「００５５」に記載の手順に基づいて行われる。正規化の一例として、図５（ａ）は、正規化される前の深度画像２１を示し、図５（ｂ）は、図５（ａ）の深度画像２１を正規化した深度画像２１を示す。
【0037】
本実施形態では、図５（ａ）に示した深度画像２１が正規化されることで、図５（ｂ）に示されるように、主としてゴルファ５以外を捉えた領域（背景領域）に、画素値「０」（黒色）が与えられる。これにより、解析対象のゴルファ５が鮮明化され、ゴルファ５を容易に特定（抽出）することが可能となる。
【0038】
正規化された複数の深度画像２１において、ゴルファ５の近傍が、それぞれトリミング（切り抜き）されるのが好ましい。本実施形態では、正規化された各深度画像２１について、例えば、ゴルファ５が全て含まれるようにトリミングされる。より具体的には、ゴルファ５の代表点（例えば、ゴルファ５の重心）を中心として、飛球線方向、及び、高さ方向に予め定められた大きさの領域が切り取られる。これにより、ゴルファ５の近傍がトリミングされた深度画像２１が取得される。図４には、トリミングされた複数の深度画像２１が示されている。
【0039】
本実施形態では、正規化された深度画像２１がトリミングされることにより、深度画像２１中のゴルファ５が占める領域（割合）が大きくなる。このような深度画像２１は、後述のニューラルネットワークに入力されることで、ゴルファ５によるゴルフスイングを定量的に表す動作値を、高い精度で導出（出力）するのに役立つ。なお、トリミングされる領域の大きさは、例えば、ニューラルネットワークの学習に用いられる教師データ（教師データに用いられる画像の大きさ）に基づいて設定されうる。本実施形態の領域の大きさは、例えば、３００pixel×３００pixelに設定される。図４に示した複数の深度画像２１（深度画像群２２）は、深度画像入力部１８ａ（図２に示す）に記憶される。
【0040】
［物体の動作を表す動作値の導出］
次に、本実施形態の動作解析方法は、深度画像２１をニューラルネットワークに入力することにより、物体３の動作を定量的に表す動作値を出力する（工程Ｓ２）。本実施形態の動作値は、ゴルファ５によるゴルフスイングを定量的に表す値である。
次に、本実施形態の動作解析方法は、深度画像２１をニューラルネットワークに入力することにより、物体３の動作を定量的に表す動作値を出力する（工程Ｓ２）。本実施形態の動作値は、ゴルファ５によるゴルフスイングを定量的に表す値である。
【0041】
本実施形態の工程Ｓ２では、先ず、図２に示されるように、深度画像入力部１８ａに入力された少なくとも１枚の深度画像２１（図４に示した深度画像群２２）が、作業用メモリ１７に読み込まれる。さらに、工程Ｓ２では、プログラム部１９に含まれる導出部１９ｂが、作業用メモリ１７に読み込まれる。導出部１９ｂは、深度画像２１が入力されることで、動作値を出力可能なプログラムであり、機械学習済みのニューラルネットワークが含まれている。この導出部１９ｂが、演算部１５によって実行されることで、深度画像２１をニューラルネットワークに入力して動作値を出力する手段として、コンピュータ８を機能させることができる。
【0042】
ニューラルネットワークに入力される深度画像２１は、図４に示した深度画像群２２から、適宜選択されうる。本実施形態では、深度画像群２２に含まれる全ての深度画像２１が、ニューラルネットワークにそれぞれ入力される。なお、解析の目的に応じて、一部の深度画像２１のみが、ニューラルネットワークに入力されてもよい。
【0043】
動作値は、図１に示したゴルファ５のゴルフスイングを定量的に表すことができれば、特に限定されない。本実施形態の動作値は、ゴルファ５の任意の位置を示す位置データが含まれる。本実施形態では、好ましい位置データとして、物体３の動きをより詳細に把握するために、物体３の少なくとも１枚の関節（図示省略）の位置データが採用される。動作値として、関節の位置に代えて、又は、関節の位置とともに、物体の特定の部位（例えば、リンク（図示省略））の位置データが採用されても良い。
【0044】
図６は、人体の関節２５及び部位等の位置データの説明図である。この図６では、複数の関節（ジョイント）２５と、これらの関節２５を繋ぐ骨（リンク）２６とを含むボーンデータ２７が示されている。本実施形態の関節２５や部位等の位置データは、人体の関節２５や部位等の位置を、三次元の座標値で表したものである。本実施形態の位置データは、図１に示した物体３の正面視において、奥行方向（Ｘ軸方向）、飛球線方向（Ｙ軸方向）及び高さ方向（Ｚ軸方向）の座標値で示される。本実施形態において、三次元の各方向（奥行方向、飛球線方向、及び、高さ方向）のゼロの位置（基準位置）は、例えば、図１に示したゴルフボール２８（図１に示す）の位置が設定される。
【0045】
関節２５及び部位等（以下、単に「関節２５等」ということがある。）は、例えば、図１に示したゴルファ５のゴルフスイングに応じて、適宜設定される。本実施形態の関節２５等は、頭２５ａ、喉２５ｂ、腹２５ｃ、右腰２５ｄ、左腰２５ｅ、右膝２５ｆ、左膝２５ｇ、右足首２５ｈ、左足首２５ｉ、右足先２５ｊ、左足先２５ｋ、右踵２５ｌ、左踵２５ｍ、右肩２５ｎ及び左肩２５ｏが含まれる。さらに、関節２５は、右肘外側２５ｐ、左肘外側２５ｑ、右肘内側２５ｒ、左肘内側２５ｓ、右手首外側２５ｔ、左手首外側２５ｕ、右手首内側２５ｖ、左手首内側２５ｗ、右手２５ｘ、及び、左手２５ｙが含まれる。なお、関節２５等は、このような態様に限定されるわけではなく、例えば、解析の目的に応じて、これらの一部が省略されてもよいし、他の関節や部位等がさらに含まれてもよい。また、リンク２６は、上記の関節２５、２５を繋ぐ複数のリンク２６ａ、２６ｂ、２６ｃ…が含まれる。
【0046】
図２に示したプログラム部１９の導出部１９ｂは、ニューラルネットワークを予め機械学習させた学習モデルを含む。図７は、学習モデル３０の概念図である。本実施形態の学習モデル３０は、ニューラルネットワーク３１を含んでいる。ニューラルネットワーク３１は、脳の神経回路網を模した数理モデルである。このようなニューラルネットワーク３１に、人工知能（ＡＩ：Artificial Intelligence）を用いたディープラーニング（深層学習）をさせることで、学習モデル３０が生成される。本実施形態のニューラルネットワーク３１には、特許文献（特開２０２１－０９９６６６号公報）に記載のニューラルネットワークと同様に、畳み込みニューラルネットワークであるＲｅｓＮｅｔ５０が採用される。なお、ニューラルネットワーク３１は、このような態様に限定されるわけではなく、他のモデルが採用されても良い。
【0047】
本実施形態の学習モデル３０は、動作解析方法の実施に先立って生成される。本実施形態の学習モデル３０は、図４に示した少なくとも１枚の深度画像２１から、図６に示したゴルファ５によるゴルフスイングを定量的に表す動作値（関節２５等の位置データ）を出力可能に生成される。
【0048】
本実施形態のニューラルネットワーク３１は、畳み込み層３２、バッチノーマライゼーション層３３、及び、プーリング層３４を経た後、３つの畳み込み層のセット３５を１６回繰り返す、計５０層（バッチノーマライゼーション層を除く）の層構成を有している。図７において、各畳み込み層（セット３５）に記載の「数値×数値」は、カーネルのサイズである。複数のユニットからなる結合層３６は、出力層３７（本例では、関節の個数（２５個）と座標軸の個数（３個）とを乗じた７５個の値を出力）に結合され、最終的に、動作値（図６に示した関節２５等の位置データ）が出力される。
【0049】
本実施形態のニューラルネットワーク３１は、適宜生成（学習）される。本実施形態のニューラルネットワーク３１は、第１損失関数及び第２損失関数を含む損失関数の値が小さくなるように機械学習されている。損失関数は、ニューラルネットワーク３１から導出された導出値と、正解値とのズレの大きさを計算するための関数である。正解値の一例には、教師データの真値等が挙げられる。
【0050】
第１損失関数は、ゴルファ５の位置データについての損失関数である。上述したように、本実施形態の位置データには、図６に示したゴルファ５の関節２５等の位置データが含まれる。
【0051】
第２損失関数は、ゴルファ５の部位の長さデータについての損失関数である。長さデータは、ゴルファ５の部位から特定可能な長さであれば、特に限定されない。本実施形態の長さデータは、関節２５を繋ぐ一対のリンク（骨）２６、２６の少なくとも一方のリンク（骨）２６の長さデータを含んでいる。
【0052】
リンク２６の長さは、その両端に繋がる一対の関節２５、２５間の距離として定まる。このため、第２損失関数に含まれるリンク２６の長さデータは、第１損失関数に含まれる関節２５等の位置データとの関連性が高い。一方、長さデータは、関節２５等の位置データとは異なり、ゴルファ５のゴルフスイングに応じて変化しない。このため、第２損失関数に含まれるリンク２６の長さデータは、第１損失関数に含まれる関節２５等の位置データの制約条件として扱われ得る。
【0053】
本実施形態のニューラルネットワーク３１（図７に示す）は、第２損失関数に含まれるリンク２６の長さデータの制約条件の下、第１損失関数に含まれる関節２５等の位置データが学習されている。したがって、ニューラルネットワーク３１（学習モデル３０）は、関節２５等の位置データを高い精度で導出しうる。このような学習モデル３０は、後述の学習モデルの生成方法に基づいて生成される。また、第１損失関数及び第２損失関数の具体例は、後述される。
【0054】
本実施形態の工程Ｓ２では、図７に示されるように、ニューラルネットワーク３１に、少なくとも１枚（本例では、１枚）の深度画像２１が入力される。これにより、工程Ｓ２では、深度画像２１に撮影されたゴルファ５によるゴルフスイングを定量的に表す動作値（関節２５等の位置データ）が導出される。図８は、深度画像２１ａの動作値を示す図である。本実施形態の動作値には、ゴルファ５の関節２５（頭２５ａ～左手２５ｙ）等の位置データが含まれる。
【0055】
このように、本実施形態の動作解析装置２及び動作解析方法では、第１損失関数及び第２損失関数を含む損失関数の値が小さくなるように機械学習されたニューラルネットワーク３１に、深度画像２１が入力される。上述したように、ニューラルネットワーク３１は、図６に示したリンク２６の長さデータの制約条件の下、関節２５等の位置データが学習されている。したがって、本実施形態の動作解析装置２及び動作解析方法では、図７及び図８に示されるように、ゴルファ５によるゴルフスイングを定量的に表す動作値（関節２５等の位置データ）が、高い精度で導出され得る。
【0056】
本実施形態では、図４に示した深度画像群２２に含まれる全ての深度画像２１が、ニューラルネットワーク３１にそれぞれ入力される。これにより、これらの全ての深度画像２１の動作値が、時系列で取得されうる。そして、これらの出力された動作値は、動作値入力部１８ｂ（図２に示す）に記憶される。
【0057】
なお、本実施形態の動作値として取得される関節２５等の位置データ（図８に示す）は、例えば、距離画像センサ（例えば、Ｋｉｎｅｃｔ（登録商標））によって、簡易的に取得ないし推定することができる。しかしながら、例えば、ゴルフスイング中において、手首などの体の一部が隠れた状態で撮影されると、その隠れた部分の関節２５等の位置データが取得されないことがある。本実施形態では、このような課題に対処すべく、ニューラルネットワーク３１として、図６及び図８に示した全ての動作値を含む教師データを用いて機械学習させたモデルが用いられている。これにより、図４に示した複数の深度画像２１の撮影時に隠れた部分が含まれていたとしても、全ての関節２５等の位置データを推論することができる。
【0058】
【0059】
本実施形態の工程Ｓ３では、先ず、図２に示した動作値入力部１８ｂに入力された動作値、及び、プログラム部１９に含まれる出力部１９ｃが、作業用メモリ１７に読み込まれる。出力部１９ｃは、学習モデル３０（ニューラルネットワーク３１）から導出された動作値を出力するためのプログラムである。この出力部１９ｃが、演算部１５によって実行されることで、コンピュータ８を、動作値を出力するための手段として機能させることができる。
【0060】
本実施形態の工程Ｓ３では、工程Ｓ２で導出されたゴルファ５の関節２５等の三次元座標値からなる位置データ（図８に示す）が、図１及び図２に示した出力装置１２に出力（表示）される。出力値は、数値データである。数値データは、図８に示されるようなボーンモデル（ボーンデータ２７）として加工されても良い。以上により、図１に示したゴルファ５によるゴルフスイングの動作が詳細に把握されうる。このような動作値は、例えば、ゴルフクラブのフィッティング、ゴルフスイングの改善、及び、ゴルフ用品の開発等に利用されうる。
【0061】
動作値としての図８に示した関節２５等の位置データは、時系列に出力されてもよい。これにより、動作中の関節２５等の位置の変化が、動画として出力されうる。
【0062】
工程Ｓ３では、関節２５等の位置データと、時間との関係を示すグラフが出力されてもよい。図９は、左手２５ｙ（図６に示す）の位置データと、時間との関係を示すグラフである。図９（ａ）は、奥行方向（Ｘ軸方向）の位置データを示している。図９（ｂ）は、飛球線方向（Ｙ軸方向）の位置データを示している。図９（ｃ）は、高さ方向（Ｚ軸方向）の位置データを示している。
【0063】
関節２５等の位置データは、例えば、移動平均等によって平滑化され、スプライン補間が行われるのが好ましい。本実施形態のスプライン補間では、図４に示した第１時間間隔Ｔ１（３３ms）の位置データが、第１時間間隔Ｔ１よりも小さい時間間隔（例えば１ms）の位置データに変換されている。これにより、図９（ａ）～（ｃ）に示されるように、平滑化及び補間された滑らかな時系列の位置データが取得されうる。このようなグラフは、全ての関節２５等の位置データについて出力されてもよい。
【0064】
［学習モデルの生成方法］
次に、本実施形態の学習モデルの生成方法（以下、単に「生成方法」ということがある。）が説明される。ここでも、図１に示したように、物体３がゴルファ５であり、物体３の動作がゴルファ５によるゴルフスイングである場合を例にとり説明する。すなわち、本実施形態の生成方法では、ゴルファ５のゴルフスイングを解析するための学習モデル３０（図７に示す）が生成される。
次に、本実施形態の学習モデルの生成方法（以下、単に「生成方法」ということがある。）が説明される。ここでも、図１に示したように、物体３がゴルファ５であり、物体３の動作がゴルファ５によるゴルフスイングである場合を例にとり説明する。すなわち、本実施形態の生成方法では、ゴルファ５のゴルフスイングを解析するための学習モデル３０（図７に示す）が生成される。
【0065】
本実施形態の生成方法では、図２に示されるように、先ず、プログラム部１９に含まれる学習部１９ｄが、作業用メモリ１７に読み込まれる。学習部１９ｄは、後述の教師データに基づいて、ニューラルネットワーク３１（図７に示す）を機械学習させるためのプログラムである。この学習部１９ｄが、演算部１５によって実行されることで、コンピュータ８を、ニューラルネットワーク３１を機械学習させるための手段として機能させることができる。図１０は、本実施形態の学習モデルの生成方法の処理手順の一例を示すフローチャートである。
【0066】
［ニューラルネットワークの学習（学習工程）］
本実施形態の生成方法は、先ず、教師データを用いて、ニューラルネットワーク３１を学習させる（学習工程Ｓ４）。図１１は、本実施形態の学習工程Ｓ４の処理手順を示すフローチャートである。
本実施形態の生成方法は、先ず、教師データを用いて、ニューラルネットワーク３１を学習させる（学習工程Ｓ４）。図１１は、本実施形態の学習工程Ｓ４の処理手順を示すフローチャートである。
【0067】
［教師データを準備］
本実施形態の学習工程Ｓ４は、先ず、教師データを準備する（工程Ｓ４１）。教師データは、図７に示したニューラルネットワーク３１を機械学習させることができれば、適宜準備され得る。本実施形態の教師データは、ゴルファ５によるゴルフスイングを撮影又は再現した複数の画像と、複数の画像それぞれのゴルファ５の関節２５等の位置データとを含んでいる。なお、ゴルファ５のリンク２６の長さデータは、教師データに含まれなくてもよい。これは、リンク２６の長さが、ゴルフスイングによって変化しないため、例えば、時間が異なる２つの画像についてリンク２６の長さデータをそれぞれ計算し、これらの差が小さくなるように機械学習することで、ニューラルネットワーク３１を精度よく生成できるためである。なお、機械学習の手順に応じて、リンク２６の長さデータが、教師データに含まれていてもよい。
本実施形態の学習工程Ｓ４は、先ず、教師データを準備する（工程Ｓ４１）。教師データは、図７に示したニューラルネットワーク３１を機械学習させることができれば、適宜準備され得る。本実施形態の教師データは、ゴルファ５によるゴルフスイングを撮影又は再現した複数の画像と、複数の画像それぞれのゴルファ５の関節２５等の位置データとを含んでいる。なお、ゴルファ５のリンク２６の長さデータは、教師データに含まれなくてもよい。これは、リンク２６の長さが、ゴルフスイングによって変化しないため、例えば、時間が異なる２つの画像についてリンク２６の長さデータをそれぞれ計算し、これらの差が小さくなるように機械学習することで、ニューラルネットワーク３１を精度よく生成できるためである。なお、機械学習の手順に応じて、リンク２６の長さデータが、教師データに含まれていてもよい。
【0068】
複数の画像は、ニューラルネットワーク３１の学習に用いることができれば、特に限定されない。複数の画像には、例えば、複数のゴルファ５によるゴルフスイングをそれぞれ撮影した複数の深度画像（例えば、図４に示す）が用いられてもよい。また、複数の画像には、複数のゴルファ５によるゴルフスイングをコンピュータグラフィックスで擬似的に再現した複数の画像（ＣＧ画像）が用いられてもよい。これらのＣＧ画像は、図４及び図５（ｂ）に示した複数の深度画像（正規化された深度画像）２１と近似させるのが好ましい。
【0069】
図１２には、教師データの一例として、複数の画像４１からなる画像群４２が示されている。図１２では、第１時間間隔Ｔ１（例えば、３３ms）で取得された一部の画像４１が代表して示されており、それらの間の画像４１が省略（「…」で表示）されている。
【0070】
個々の画像４１は、ゴルファ５（図１に示す）によるゴルフスイングの瞬間を模擬した画像データであり、例えば、コンピュータグラフィックス（ＣＧ）の画像である。画像群４２は、時系列かつ連続的に再現された複数の画像４１からなる。
【0071】
本実施形態の画像群４２は、例えば、ゴルフスイングのアドレスからインパクトを経てフィニッシュまでを、時系列で再現した複数の画像４１を含む。したがって、各画像４１は、ニューラルネットワーク３１に入力される深度画像２１（図４に示す）に対応している。
【0072】
本実施形態の教師データは、図１２に示した画像群４２に含まれる複数の画像４１から適宜選択される。本実施形態では、画像群４２に含まれる全ての画像４１が、教師データに用いられるが、必要に応じて、画像群４２に含まれる一部の画像４１が省略されてもよい。
【0073】
本実施形態では、コンピュータグラフィックスで再現した複数の画像４１を取得するために、様々なゴルファ５のゴルフスイングが、モーションキャプチャシステム（図示省略）で撮影される。モーションキャプチャシステムには、例えば、特許文献（特開２０２１－０９９６６６号公報）に記載のものが用いられる。
【0074】
本実施形態では、例えば、ハンディキャップ、年齢、性別及び／又は体型等が異なる複数のゴルファ５のゴルフスイングが撮影されるのが好ましい。また、各ゴルファ５について、ティーショットや、アプローチショットなどの様々なゴルフスイングが撮影されるのが好ましい。これにより、様々なゴルファ５や様々なゴルフスイングを再現した教師データが取得され、動作値を高い精度で導出可能な学習モデル３０（ニューラルネットワーク３１）の生成が可能となる。
【0075】
各ゴルファ５には、特許文献（特開２０２１－０９９６６６号公報）と同様に、光反射性の球体のマーカー（図示省略）が、複数取り付けられるのが好ましい。複数のマーカーは、ゴルファ５の各関節２５等（例えば、図６に示した頭２５ａ～左手２５ｙに対応する関節等）にそれぞれ取り付けられる。これらのマーカーが取り付けられたゴルファ５のゴルフスイングが、モーションキャプチャシステムで撮影されることにより、ゴルファ５の各関節２５等の位置データ（三次元座標値）が、時系列で連続的に取得され得る。
【0076】
本実施形態では、ゴルファ５のゴルフスイングについて、アドレスからインパクトを経てフィニッシュまでの関節２５等の時系列の位置データがそれぞれ取得される。これにより、ゴルファ５のゴルフスイングについて、関節２５等の時系列の位置データを含む位置データ群がそれぞれ取得される。
【0077】
図１３には、位置データ群４６がボーンデータ群４７として示されている。図１３では、第１時間間隔Ｔ１（例えば、３３ms）で取得された一部の位置データ（ボーンデータ２７）が代表して示されており、第１時間間隔Ｔ１内に取得された複数の位置データが省略（「…」で表示）されている。
【0078】
本実施形態において、位置データ群４６に含まれる複数の位置データは、図４に示した深度画像群２２が取得された第１時間間隔Ｔ１（例えば、３３ms）よりも小さい第２時間間隔（例えば、２ms）で、時系列に取得される。これにより、多くの教師データが取得され得る。
【0079】
次に、本実施形態の工程Ｓ４１では、各ゴルファ５によるゴルフスイングについて、位置データ群４６に含まれる各関節２５等の位置データから、ボーンデータ２７がそれぞれ取得される。ボーンデータ２７は、複数の関節（ジョイント）２５と、これらの関節２５を連結する骨（リンク）２６とを含んで構成される。これにより、複数のゴルファ５によるゴルフスイングについて、時系列に取得された複数のボーンデータ２７を含むボーンデータ群４７がそれぞれ取得されうる。
【0080】
次に、本実施形態の工程Ｓ４１では、ゴルファ５によるゴルフスイングについて、ボーンデータ群４７に含まれる各ボーンデータ２７から、図１２に示した複数の画像４１を含む画像群４２がそれぞれ取得される。図１２に示されるように、複数の画像４１は、ゴルファ５（図１に示す）をモデリングした物体モデル４８を含み、ゴルファ５によるゴルフスイングがコンピュータグラフィックスで再現される。図１４は、物体モデル４８を示す図である。
【0081】
本実施形態では、図１４に示されるように、予め定められた体型を規定する体型データに基づいて、図１３に示した各ボーンデータ２７が肉付けされる。肉付けは、特許文献（特開２０２１－０９９６６６号公報）と同様の手順によって行われる。これにより、図１４に示されるように、ゴルファ５（図１に示す）が再現された物体モデル４８がそれぞれ作成される。これらの物体モデル４８により、複数のゴルファ５によるゴルフスイングを、時系列で連続的に再現した複数の画像４１を含む画像群４２（図１２に示す）が、それぞれ取得されうる。
【0082】
本実施形態では、一人のゴルファ５から取得されたボーンデータ２７（図１３に示す）に対して、体型が異なる複数の物体モデル４８が作成されるのが好ましい。体型には、例えば、「普通体型」、「痩身体型」及び「肥満体型」等が挙げられる。図１２及び図１４には、普通体型の物体モデル４８が示されている。これにより、一人のゴルファ５から、体型が異なる複数のゴルファ５を模擬した物体モデル４８が作成され、画像群４２（図１２に示す）の種類数が増加する。したがって、少ない労力でより多くの教師データを用意することができる。これは、物体３の動作値を高い精度で導出しうる学習モデル３０（図７に示す）の生成に役立つ。
【0083】
本実施形態では、一人のゴルファ５から取得された物体モデル４８（図１４に示す）について、奥行方向（Ｘ軸方向）の立ち位置が異なる複数の物体モデル４８が作成されるのが好ましい。この場合、立ち位置は、例えば、奥行方向の基準位置を０cmとしたときに、そこから前後に＋３cmや－３cmで変化させることができる。
【0084】
さらに、本実施形態では、一人のゴルファ５から取得された物体モデル４８（図１４に示す）について、飛球線方向（Ｙ軸方向）の立ち位置が異なる複数の物体モデル４８が作成されるのが好ましい。この場合、立ち位置は、例えば、飛球線方向の基準位置を０cmとしたときに、そこから左右に＋１０cmや－１０cmで変化させることができる。
【0085】
このように、一人のゴルファ５から、立ち位置が異なる複数のゴルファ５をモデリングした物体モデル４８が作成されるため、画像群４２の種類数がさらに増加する。これは、物体３の動作値を高い精度で導出しうる学習モデル３０の生成に役立つ。
【0086】
図１２に示された本実施形態の画像群４２は、図１３に示されたボーンデータ群４７（位置データ群４６）から取得されるため、時間軸の前後で隣接する画像４１の時間間隔が、第２時間間隔（例えば、２ms）に設定されている。この第２時間間隔は、図４に示した深度画像群２２の第１時間間隔Ｔ１（例えば、３３ms）よりも小さい。これにより、画像群４２は、第１時間間隔Ｔ１内に、多くの画像４１を含むことから、スイング速度に左右されることなく、ゴルファ５によるスイングを詳細に捉えた教師データが取得され得る。複数の画像４１（画像群４２）は、教師データ入力部１８ｃ（図２に示す）に記憶される。
【0087】
本実施形態の教師データを構成する位置データは、ゴルファ５の関節２５等の位置データを含んでいる。このような関節２５等の位置データは、図１３及び図１４に示した位置データ群４６（ボーンデータ群４７）に含まれる複数の関節（ジョイント）２５等の位置データから容易に取得されうる。これらの位置データは、教師データの真値（正解値）５１として扱われる。
【0088】
本実施形態の教師データに長さデータが含まれる場合、その長さデータは、ゴルファ５の一対のリンク２６、２６の少なくとも一方のリンク２６の長さデータを含む。このようなリンク２６の長さデータは、例えば、図１３に示した位置データ群４６（ボーンデータ群４７）に含まれるリンク（骨）２６について、リンク２６の両端に繋がる関節２５等の位置データから容易に取得されうる。
【0089】
位置データ及び長さデータは、図１２に示した各画像群４２に含まれる複数の画像４１毎に取得される。位置データ及び長さデータは、教師データの真値として、教師データ入力部１８ｃ（図２に示す）に記憶される。なお、上述のように、時間が異なる２つの画像についてリンク２６の長さデータをそれぞれ計算し、これらの差が小さくなるように機械学習がされる場合、教師データには、長さデータが不要となる。この場合、教師データ入力部１８ｃへの長さデータの記憶が省略される。
【0090】
［ニューラルネットワークの機械学習］
次に、本実施形態の学習工程Ｓ４は、図１２～図１４に示した教師データに基づいて、ニューラルネットワーク３１（図７に示す）の機械学習させる（工程Ｓ４２）。本実施形態の工程Ｓ４２では、第１損失関数及び第２損失関数を含む損失関数の値が小さくなるように、ニューラルネットワーク３１の機械学習が行われる。図１５は、ニューラルネットワーク３１に入力される画像４１と、ニューラルネットワーク３１から導出された関節２５の位置データの導出値５０とが示されている。図１５では、図７に示したニューラルネットワーク３１（学習モデル３０）が省略されている。また、図１５では、複数の画像４１（図１２に示す）から選択された第１画像４１Ａ及び第２画像４１Ｂの画像セット４３について、これらの導出値５０Ａ、５０Ｂが示されている。
次に、本実施形態の学習工程Ｓ４は、図１２～図１４に示した教師データに基づいて、ニューラルネットワーク３１（図７に示す）の機械学習させる（工程Ｓ４２）。本実施形態の工程Ｓ４２では、第１損失関数及び第２損失関数を含む損失関数の値が小さくなるように、ニューラルネットワーク３１の機械学習が行われる。図１５は、ニューラルネットワーク３１に入力される画像４１と、ニューラルネットワーク３１から導出された関節２５の位置データの導出値５０とが示されている。図１５では、図７に示したニューラルネットワーク３１（学習モデル３０）が省略されている。また、図１５では、複数の画像４１（図１２に示す）から選択された第１画像４１Ａ及び第２画像４１Ｂの画像セット４３について、これらの導出値５０Ａ、５０Ｂが示されている。
【0091】
先ず、第１損失関数が説明される。上述したように、第１損失関数は、物体３の位置データについての損失関数である。この第１損失関数は、適宜定義されうる。本実施形態の第１損失関数は、複数の画像４１から選択される少なくとも１枚の画像４１について、ニューラルネットワーク３１から導出された関節２５の位置データの導出値５０と、図１３に示した教師データの関節２５の位置データの真値（正解値）５１との差分に基づいて定義される。画像４１は、図１２に示した画像群４２に含まれる複数の画像４１から適宜選択される。第１損失関数Ｌcoordinateは、例えば、下記の式（１）で定義される。
【0092】
【数1】
ここで、
Ｌcoordinate：第１損失関数
ｅkx：関節のＸ座標の導出値
ｅky：関節のＹ座標の導出値
ｅkz：関節のＺ座標の導出値
ｔkx：関節のＸ座標の真値
ｔky：関節のＹ座標の真値
ｔkz：関節のＺ座標の真値
ｋ：関節を特定するための添字
ｎc：関節の合計数
【0093】
上記の式（１）において、添字ｋは、関節２５等（頭２５ａ～左手２５ｙ）を一意に特定するためのものである。合計数ｎcは、関節２５等の合計数である。本実施形態の合計数ｎcは、２５である。
【0094】
上記の式（１）では、１枚の画像４１を対象とする第１損失関数Ｌcoordinateが示されている。この式（１）では、各関節２５等（頭２５ａ～左手２５ｙ）のＸ座標値、Ｙ座標値及びＺ座標値について、ニューラルネットワーク３１からの導出値５０（図１５に示す）と、教師データの真値５１（図１３に示す）との差分の二乗和がそれぞれ求められる。そして、これらの二乗和の合計値が求められ、この二乗和の合計値が、関節２５等の合計数ｎc（本例では、「２５」）と座標値の種類数（本例では、「３」）とを乗じた値で割られる。これにより、第１損失関数Ｌcoordinateは、全ての関節２５等の座標値（Ｘ座標値、Ｙ座標値及びＺ座標値）を対象とする平均二乗誤差として求められる。この平均二乗誤差が小さいほど、各関節２５等の位置データの導出値５０と、教師データの真値（正解値）５１とのズレが小さく、位置データを精度良く導出できている。
【0095】
次に、第２損失関数が説明される。上述したように、第２損失関数は、物体３の部位の長さデータについての損失関数である。この第２損失関数は、適宜定義されうる。本実施形態の第２損失関数は、複数の画像４１（図１２に示す）から選択された第１画像４１Ａ及び第２画像４１Ｂ（図１５に示す）について、ニューラルネットワーク３１から導出された第１画像４１Ａのリンク２６の長さの導出値ｌj1、及び、第２画像４１Ｂのリンク２６の長さの導出値ｌj2との差分に基づいて定義される。
【0096】
第１画像４１Ａ及び第２画像４１Ｂを含む画像セット４３は、互いに異なる画像４１であれば、図１２に示した画像群４２に含まれる複数の画像４１から適宜選択されうる。本実施形態において、第１画像４１Ａ及び第２画像４１Ｂは、画像群４２からランダムに選択される。なお、第１画像４１Ａ及び第２画像４１Ｂは、時系列で連続していてもよいし、連続していなくてもよい。第２損失関数は、例えば、下記の式（２）で定義される。
【0097】
【数2】
ここで、
Ｌconstraint：第２損失関数
ｌj1：第１画像のリンクの長さの導出値
ｌj2：第２画像のリンクの長さの導出値
ｊ：リンクを特定するための添字
μ：許容率
ｎb：リンクの合計数
【0098】
【0099】
上記の式（２）では、図１５に示した第１画像４１Ａ及び第２画像４１Ｂを含む画像セット４３を対象とする第２損失関数Ｌconstraintが示されている。この式（２）では、各リンク２６（２６ａ、２６ｂ、…）の長さについて、ニューラルネットワーク３１から導出された第１画像４１Ａの導出値ｌj1と、第２画像４１Ｂの導出値ｌj2との差の絶対値（｜ｌj1－ｌj2｜）がそれぞれ求められる。各リンク２６の長さは、ゴルファ５（図１に示す）によるゴルフスイングに応じて変化しない。このため、第１画像４１Ａの導出値ｌj1と第２画像４１Ｂの導出値ｌj2とは同一の値となるのが好ましく、絶対値（｜ｌj1－ｌj2｜）がゼロになるのが好ましい。
【0100】
次に、上記の式（２）では、各リンク２６（２６ａ、２６ｂ、…）について、第１画像４１Ａのリンク２６の長さの導出値ｌj1と、許容率μと乗じた許容値（μ・ｌj1）がそれぞれ求められる。この許容率μは、第１画像４１Ａのリンク２６の長さの導出値ｌj1を、第２画像４１Ｂのリンク２６の長さの導出値ｌj2に対する正解値としたときに、絶対値（｜ｌj1－ｌj2｜）を許容できる割合を示している。このような許容率μは、ニューラルネットワーク３１に求められる導出精度に応じて適宜設定される。本実施形態の許容率μには、例えば、０．１が設定される。
【0101】
各リンク２６（２６ａ、２６ｂ、…）について、各許容値（μ・ｌj1）は、絶対値（｜ｌj1－ｌj2｜）の許容範囲をそれぞれ示している。したがって、絶対値（｜ｌj1－ｌj2｜）が、許容値（μ・ｌj1）以下であれば、第２画像４１Ｂのリンク２６の長さの導出値ｌj2が、正解値である第１画像４１Ａのリンク２６の長さの導出値ｌj1とのズレが小さい。
【0102】
上記の式（２）では、各リンク２６（２６ａ、２６ｂ、…）の長さについて、第１画像４１Ａの導出値及び第２画像４１Ｂの導出値の差の絶対値（｜ｌj1－ｌj2｜）から、許容値（μ・ｌj1）を減じた値が、Ｒｅｌｕ関数（ランプ関数）にそれぞれ入力される。
【0103】
Ｒｅｌｕ関数は、ゼロ以下の値が入力されると、ゼロの値を出力する。したがって、絶対値（｜ｌj1－ｌj2｜）が、許容値（μ・ｌj1）以下となる場合、Ｒｅｌｕ関数からゼロが出力される。一方、Ｒｅｌｕ関数は、ゼロよりも大きい値が入力されると、その値を出力する。したがって、絶対値（｜ｌj1－ｌj2｜）が、許容値（μ・ｌj1）よりも大きくなる場合、Ｒｅｌｕ関数から、それらを減じた値が出力される。この出力値が大きくなるほど、絶対値（｜ｌj1－ｌj2｜）が、許容値（μ・ｌj1）から大きく乖離していることを示している。
【0104】
上記の式（２）では、各リンク２６（２６ａ、２６ｂ、…）のＲｅｌｕ関数の出力値を合計し、リンク２６の合計数ｎbで割られることで、全てのリンク２６を対象としたＲｅｌｕ関数の平均出力値が求められる。この平均出力値が小さいほど、全てのリンク２６について、第２画像４１Ｂの導出値と、正解値である第１画像４１Ａの導出値とのズレが小さくなり、各リンク２６の長さを精度良く導出することができている。上述したように、各リンク２６の長さは、各関節２５等の位置データに関連しているため、各リンク２６の長さが精度良く導出されることで、各関節２５等の位置データも、精度良く導出することができる。したがって、第２損失関数Ｌconstraintは、第１損失関数Ｌcoordinateの制約条件として扱われ得る。
【0105】
第１損失関数Ｌcoordinate及び第２損失関数Ｌconstraintを含む損失関数（以下、単に「第３損失関数」ということがある。）は、適宜設定されうる。本実施形態の第３損失関数は、例えば、下記の式（４）で定義される。
【0106】
【数4】
ここで、
Ｌsum：第３損失関数
Ｌcoordinate1：第１画像の第１損失関数
Ｌcoordinate2：第２画像の第１損失関数
Ｌconstraint：第２損失関数
λ：重み付けパラメータ
【0107】
上記の式（４）の第３損失関数Ｌsumは、第１画像４１Ａ及び第２画像４１Ｂの画像セット４３について、第１損失関数Ｌcoordinate及び第２損失関数Ｌconstraintの双方を考慮したものである。本実施形態では、第１損失関数Ｌcoordinate（第１画像４１Ａについての第１損失関数Ｌcoordinate1、第２画像４１Ｂについての第１損失関数Ｌcoordinate2）と、第２損失関数Ｌconstraint（第１画像４１Ａ及び第２画像４１Ｂについての第２損失関数Ｌconstraint）とを足し合わせることで、第３損失関数Ｌsumが定義される。なお、第３損失関数は、第１損失関数Ｌcoordinate1、Ｌcoordinate2と、第２損失関数Ｌconstraintとが乗じられることで定義されてもよい。
【0108】
上記の式（３）において、第２損失関数Ｌconstraintには、重み付けパラメータλが乗じられている。このような重み付けパラメータλにより、第３損失関数Ｌsumにおいて、第２損失関数Ｌconstraintの重みを調整することができ、過学習による導出精度の低下が抑制される。重み付けパラメータλの値は、ニューラルネットワーク３１に求められる導出精度等に応じて、適宜設定されうる。重み付けパラメータλは、例えば、１１．８に設定される。
【0109】
次に、第３損失関数Ｌsumに基づくニューラルネットワーク３１の機械学習が説明される。本実施形態の工程Ｓ４２では、教師データとして設定された画像群４２に含まれる全ての画像４１（図１２に示す）から、第１画像４１Ａ及び第２画像４１Ｂを含む画像セット４３（図１５に示す）が、ランダムに複数設定される。なお、画像セット４３のそれぞれは、同一の物体モデル４８（ゴルファ５）からなる第１画像４１Ａ及び第２画像４１Ｂで構成されている。これらの複数の画像セット４３が、図１５に示されるように、ニューラルネットワーク３１にそれぞれ入力されることで、第１画像４１Ａ及び第２画像４１Ｂ毎に、各関節２５等の位置データ（座標値）がそれぞれ導出される。さらに、第１画像４１Ａのリンク２６の長さの導出値ｌj1と、第２画像４１Ｂのリンク２６の長さの導出値ｌj2とがそれぞれ導出される。
【0110】
次に、上述の導出値に基づいて、第３損失関数Ｌsumでは、第１画像４１Ａ及び第２画像４１Ｂについて、各関節２５等の位置データの導出値５０と、教師データの位置データの真値５１（図１３に示す）との差分（第１損失関数Ｌcoordinate1、Ｌcoordinate2の値）がそれぞれ求められる。さらに、第３損失関数Ｌsumでは、第１画像４１Ａのリンク２６の長さの導出値ｌj1、及び、第２画像４１Ｂのリンク２６の長さの導出値ｌj2との差分（第２損失関数Ｌconstraintの値）が求められる。
【0111】
そして、本実施形態では、第１損失関数Ｌcoordinate1、Ｌcoordinate2の値と、第２損失関数Ｌconstraintの値とを足し合わせた第３損失関数Ｌsumの値が小さくなるように、ニューラルネットワーク３１（図７に示す）のパラメータが更新される。これにより、機械学習（誤差逆伝搬法（ Backpropagation ））が行われ、学習モデル３０が生成される。ニューラルネットワーク３１（学習モデル３０）は、ニューラルネットワーク入力部１８ｄ（図２に示す）に記憶される。
【0112】
このように、本実施形態の生成方法では、第３損失関数Ｌsumの値が小さくなるように、図７に示したニューラルネットワーク３１が機械学習されることで、第１画像４１Ａ及び第２画像４１Ｂの各リンク２６の長さデータの制約条件の下、これらの第１画像４１Ａ及び第２画像４１Ｂの関節２５等の位置データを関連付けて機械学習される。したがって、本実施形態の生成方法は、物体３の動作を定量的に表す動作値として、関節２５等の位置データを、高い精度で導出可能な学習モデル３０を生成しうる。
【0113】
［学習モデルの精度の評価］
次に、本実施形態の生成方法は、図７に示した学習モデル３０（ニューラルネットワーク３１）から出力される動作値（図８及び図１５に示す）の導出精度を評価する（工程Ｓ５）。導出精度の評価は、適宜実施することができ、例えば、公知のブラインドテストが実施されうる。この場合、例えば、深度画像２１（図４に示す）や画像４１（図１２に示す）の教師データを含むテストデータに基づいて、学習モデル３０から、テストデータの動作値が出力される。そして、出力されたテストデータの動作値と、実際の動作値（図示省略）との相関係数が許容範囲内である場合、導出精度が良好であると評価される。
次に、本実施形態の生成方法は、図７に示した学習モデル３０（ニューラルネットワーク３１）から出力される動作値（図８及び図１５に示す）の導出精度を評価する（工程Ｓ５）。導出精度の評価は、適宜実施することができ、例えば、公知のブラインドテストが実施されうる。この場合、例えば、深度画像２１（図４に示す）や画像４１（図１２に示す）の教師データを含むテストデータに基づいて、学習モデル３０から、テストデータの動作値が出力される。そして、出力されたテストデータの動作値と、実際の動作値（図示省略）との相関係数が許容範囲内である場合、導出精度が良好であると評価される。
【0114】
工程Ｓ５において、学習モデル３０の出力精度が良好であると判断された場合（工程Ｓ７で「Ｙｅｓ」）、生成方法の一連の処理が終了する。一方、学習モデル３０の導出精度が良好ではないと判断された場合（工程Ｓ５で「Ｎｏ」）、学習工程Ｓ４及び工程Ｓ５が再度実施される。再度実施される学習工程Ｓ４では、導出精度を高めるために、新たな教師データが追加されてもよい。第３損失関数Ｌsumの重み付けパラメータλが調整されてもよい。
【0115】
本実施形態の生成方法では、学習モデル３０の導出精度が良好となるまで、ニューラルネットワーク３１を繰り返し学習させるため、動作値を高い精度で導出可能な学習モデル３０（ニューラルネットワーク３１）を確実に生成することができる。
【0116】
［第３損失関数（第２実施形態）］
これまでの実施形態では、上記の式（４）に示されるように、第３損失関数の第１損失関数Ｌcoordinateとして、第１画像４１Ａについての第１損失関数Ｌcoordinate1、及び、第２画像４１Ｂについての第１損失関数Ｌcoordinate2が用いられたが、このような態様に限定されない。第１損失関数Ｌcoordinateには、第１画像４１Ａについての第１損失関数Ｌcoordinate1のみが用いられてもよい。この実施形態の第３損失関数は、例えば、下記の式（５）で定義される。
これまでの実施形態では、上記の式（４）に示されるように、第３損失関数の第１損失関数Ｌcoordinateとして、第１画像４１Ａについての第１損失関数Ｌcoordinate1、及び、第２画像４１Ｂについての第１損失関数Ｌcoordinate2が用いられたが、このような態様に限定されない。第１損失関数Ｌcoordinateには、第１画像４１Ａについての第１損失関数Ｌcoordinate1のみが用いられてもよい。この実施形態の第３損失関数は、例えば、下記の式（５）で定義される。
【0117】
【数5】
ここで、
Ｌsum：第３損失関数
Ｌcoordinate1：第１画像の第１損失関数
Ｌconstraint：第２損失関数
λ：重み付けパラメータ
【0118】
このように、この実施形態の第３損失関数Ｌsumでは、上記の式（４）とは異なり、第２画像４１Ｂについての第１損失関数Ｌcoordinate2が省略されている。このため、この実施形態では、図７に示したニューラルネットワーク３１の導出精度を維持しつつ、機械学習に要する時間を短縮することが可能となる。
【0119】
［第２損失関数（第３実施形態）］
これまでの実施形態では、図１５に示した第１画像４１Ａの少なくとも一方のリンクの長さの導出値ｌj1と、第２画像４１Ｂの少なくとも一方のリンクの長さの導出値ｌj2との差分に基づいて、第２損失関数Ｌconstraint（上記の式（２））が定義されたが、このような態様に限定されない。例えば、第２損失関数Ｌconstraintは、複数の画像４１（図１２に示す）から選択された第１画像４１Ａについて、ニューラルネットワーク３１から出力された少なくとも一方のリンク２６の長さの導出値ｌj1、及び、第１画像４１Ａの少なくとも一方のリンク２６の長さの真値（教師データ）ｌj3との差分に基づいて定義されてもよい。第１画像４１Ａは、画像群４２（図１２に示す）からランダムに選択されうる。この実施形態の第２損失関数は、下記の式（３）で定義される。
これまでの実施形態では、図１５に示した第１画像４１Ａの少なくとも一方のリンクの長さの導出値ｌj1と、第２画像４１Ｂの少なくとも一方のリンクの長さの導出値ｌj2との差分に基づいて、第２損失関数Ｌconstraint（上記の式（２））が定義されたが、このような態様に限定されない。例えば、第２損失関数Ｌconstraintは、複数の画像４１（図１２に示す）から選択された第１画像４１Ａについて、ニューラルネットワーク３１から出力された少なくとも一方のリンク２６の長さの導出値ｌj1、及び、第１画像４１Ａの少なくとも一方のリンク２６の長さの真値（教師データ）ｌj3との差分に基づいて定義されてもよい。第１画像４１Ａは、画像群４２（図１２に示す）からランダムに選択されうる。この実施形態の第２損失関数は、下記の式（３）で定義される。
【0120】
【数3】
ここで、
Ｌconstraint：第２損失関数
ｌj1：第１画像のリンクの長さの導出値
ｌj3：第１画像のリンクの長さの真値
ｊ：リンクを特定するための添字
μ：許容率
ｎb：リンクの合計数
【0121】
【0122】
上記の式（４）では、画像群４２（図１２に示す）から選択された１枚の第１画像４１Ａを対象とする第２損失関数Ｌconstraintが示されている。この式（４）では、各リンク２６（２６ａ、２６ｂ、…）の長さについて、ニューラルネットワーク３１から導出された第１画像４１Ａの真値ｌj3と、その第１画像４１Ａの導出値ｌj1との差の絶対値（｜ｌj3－ｌj1｜）がそれぞれ求められる。上述したように、各リンク２６の長さは、ゴルファ５（図１に示す）によるゴルフスイングに応じて変化しない。このため、第１画像４１Ａの真値ｌj3と導出値ｌj1とは同一の値となるのが好ましく、絶対値（｜ｌj3－ｌj1｜）がゼロになるのが好ましい。
【0123】
次に、上記の式（２）では、各リンク２６（２６ａ、２６ｂ、…）について、第１画像４１Ａのリンク２６の長さの真値ｌj3と、許容率μと乗じた許容値（μ・ｌj3）がそれぞれ求められる。この許容率μは、第１画像４１Ａのリンク２６の長さの真値ｌj3を、第１画像４１Ａのリンク２６の長さの導出値ｌj1に対する正解値としたときに、絶対値（｜ｌj3－ｌj1｜）を許容できる割合を示している。このような許容率μは、ニューラルネットワーク３１に求められる導出精度に応じて適宜設定される。本実施形態の許容率μには、例えば、０．１が設定される。
【0124】
各リンク２６（２６ａ、２６ｂ、…）について、各許容値（μ・ｌj3）は、絶対値（｜ｌj3－ｌj1｜）の許容範囲をそれぞれ示している。したがって、絶対値（｜ｌj3－ｌj1｜）が、許容値（μ・ｌj3）以下であれば、第１画像４１Ａのリンク２６の長さの導出値ｌj1と、真値ｌj3とのズレが小さい。
【0125】
上記の式（４）では、各リンク２６（２６ａ、２６ｂ、…）の長さについて、第１画像４１Ａの導出値と真値の差の絶対値（｜ｌj3－ｌj｜）から、許容値（μ・ｌj3）を減じた値が、Ｒｅｌｕ関数（ランプ関数）にそれぞれ入力される。そして、各リンク２６（２６ａ、２６ｂ、…）のＲｅｌｕ関数の出力値を合計し、リンク２６の合計数ｎbで割られることで、全てのリンク２６を対象としたＲｅｌｕ関数の平均出力値が求められる。
【0126】
Ｒｅｌｕ関数の平均出力値が小さいほど、全てのリンク２６について、第１画像４１Ａの導出値ｌj1と真値ｌj3とのズレが小さくなり、各リンク２６の長さを精度良く導出することができている。上述したように、各リンク２６の長さは、各関節２５等の位置データに関連しているため、各リンク２６の長さが精度良く導出されることで、各関節２５等の位置データも、精度良く導出することができる。したがって、第２損失関数Ｌconstraintは、第１損失関数Ｌcoordinateの制約条件として扱われ得る。
【0127】
この実施形態の第３損失関数には、上記の式（５）が用いられる。上記の式（５）において、第１画像の第１損失関数Ｌcoordinate1には、上記の式（１）が用いられ、第２損失関数Ｌconstraintには、上記の式（３）が用いられる。したがって、この実施形態では、第１画像４１Ａについての第１損失関数Ｌcoordinateと、第１画像４１Ａについての第２損失関数Ｌconstraintを足し合わせることで、第３損失関数Ｌsumが定義される。なお、この実施形態の第３損失関数は、第１損失関数Ｌcoordinateと、第２損失関数Ｌconstraintとが乗じられることで定義されてもよい。重み付けパラメータλの値は、ニューラルネットワーク３１に求められる導出精度等に応じて、適宜設定されうる。重み付けパラメータλは、例えば、１１．８に設定される。
【0128】
この実施形態の機械学習させる工程Ｓ４２（図１１に示す）では、教師データとして設定された画像群４２に含まれる全ての画像４１（図１２に示す）から、第１画像４１Ａが、ランダムに複数選択される。これらの第１画像４１Ａが、ニューラルネットワーク３１にそれぞれ入力されることで、第１画像４１Ａ毎に、各関節２５等の位置データ（座標値）がそれぞれ導出される。さらに、第１画像４１Ａのリンク２６の長さの導出値ｌj1がそれぞれ導出される。
【0129】
次に、上述の導出値に基づいて、第３損失関数Ｌsumでは、第１画像４１Ａについて、各関節２５等の位置データの導出値５０（図１５に示す）と、教師データの位置データの真値５１（図１３に示す）との差分（第１損失関数Ｌcoordinateの値）が求められる。さらに、第３損失関数Ｌsumでは、第１画像４１Ａのリンク２６の長さの導出値ｌj1と真値ｌj3との差分（第２損失関数Ｌconstraintの値）が求められる。
【0130】
そして、この実施形態では、第１損失関数Ｌcoordinateの値と、第２損失関数Ｌconstraintの値とを足し合わせた第３損失関数Ｌsumの値が小さくなるように、ニューラルネットワーク３１（図７に示す）のパラメータが更新される。これにより、機械学習（誤差逆伝搬法（ Backpropagation ））が行われ、学習モデル３０が生成される。ニューラルネットワーク３１（学習モデル３０）は、ニューラルネットワーク入力部１８ｄ（図２に示す）に記憶される。
【0131】
このように、この実施形態の生成方法では、第３損失関数Ｌsumの値が小さくなるように、図７に示したニューラルネットワーク３１が機械学習されることで、第１画像４１Ａの各リンク２６の長さデータの制約条件の下、これらの第１画像４１Ａの関節２５等の位置データを関連付けて機械学習される。したがって、この実施形態の生成方法は、これまでの実施形態と同様に、物体３の動作を定量的に表す動作値として、関節２５等の位置データを、高い精度で導出可能な学習モデル３０を生成しうる。さらに、この実施形態の第２損失関数Ｌconstraintでは、第１画像４１Ａのリンクの長さの真値ｌj3が用いられているため、より高い精度で導出可能な学習モデル３０を生成しうる。
【0132】
以上、本発明の特に好ましい実施形態について詳述したが、本発明は図示の実施形態に限定されることなく、種々の態様に変形して実施しうる。
【実施例0133】
図１及び図２動作解析装置を用いて、物体の動作（ゴルファによるゴルフスイング）が解析された（実施例）。実施例では、先ず、図３に示した処理手順に基づいて、物体の動作が距離画像センサによって撮影され、深度画像が取得された。そして、物体の動作を定量的に表す動作値を出力可能なニューラルネットワークに、１枚の深度画像が入力され、動作値が導出された。
【0134】
実施例で用いられたニューラルネットワークは、図１０及び図１１に示した処理手順に基づき、物体の動作をコンピュータグラフィックスで再現した複数の画像と、複数の画像のそれぞれの動作値とを含む教師データを用いて学習された。
【0135】
実施例では、複数のゴルファによるゴルフスイングを撮影して得られた物体モデルに基づいて、奥行方向の立ち位置、飛球線方向の立ち位置、及び、体型の種類を異ならせた複数の物体モデルからなる複数の画像（画像群）が設定された。そして、複数の画像と、複数の画像それぞれの位置データ及び長さデータとを含む教師データが準備され、第１損失関数及び第２損失関数を含む第３損失関数の値が小さくなるように、ニューラルネットワークの機械学習が行われた。
【0136】
比較のために、第１損失関数の値が小さくなるように機械学習されたニューラルネットワークに、１枚の深度画像が入力され、動作値が導出された（比較例）。比較例のニューラルネットワークは、第２損失関数が考慮されていない。
【0137】
そして、実施例及び比較例について、１枚の深度画像から導出された２５箇所の関節の座標値の二乗平均平方根誤差（ＲＭＳＥ）が求められた。共通仕様は、次のとおりである。
画像群の個数：８１０個
動作が撮影されたゴルファ：３０人
奥行方向の立ち位置の種類：３種類（０cm、＋３cm、－３cm）
飛球線方向の立ち位置の種類：３種類（０cm、＋１０cm、－１０cm）
体型の種類：３種類（普通体型、痩身体型及び肥満体型）
第１時間間隔：３３ms
第２時間間隔：２ms
重み付けパラメータλ：１１．８
画像群の個数：８１０個
動作が撮影されたゴルファ：３０人
奥行方向の立ち位置の種類：３種類（０cm、＋３cm、－３cm）
飛球線方向の立ち位置の種類：３種類（０cm、＋１０cm、－１０cm）
体型の種類：３種類（普通体型、痩身体型及び肥満体型）
第１時間間隔：３３ms
第２時間間隔：２ms
重み付けパラメータλ：１１．８
【0138】
テストの結果、比較例の二乗平均平方根誤差（ＲＭＳＥ）が４．１３cmであったのに対し、実施例の二乗平均平方根誤差（ＲＭＳＥ）が３．４０cmであった。したがって、実施例は、比較例に比べて誤差を小さくでき、物体の動作を定量的に表す動作値を、高い精度で導出することができた。
【0139】
［付記］
本発明は以下の態様を含む。
本発明は以下の態様を含む。
【0140】
［本発明１］
物体の動作を解析するための動作解析装置であって、
前記物体の動作が距離画像センサによって撮影された少なくとも１枚の深度画像を取得する取得部と、
前記深度画像を入力することにより、前記物体の動作を定量的に表す動作値を出力可能な導出部とを含み、
前記導出部は、前記物体の位置データについての第１損失関数、及び、前記物体の部位の長さデータについての第２損失関数を含む損失関数の値が小さくなるように機械学習されたニューラルネットワークを含む、
動作解析装置。
［本発明２］
前記ニューラルネットワークは、前記物体の動作を撮影又は再現した複数の画像と、前記複数の画像それぞれの前記位置データ及び前記長さデータとを含む教師データに基づいて学習されている、本発明１に記載の動作解析装置。
［本発明３］
前記物体は、一対のリンクと、これを繋ぐ関節を有する移動体であり、
前記位置データは、前記関節の位置データを含み、
前記第１損失関数は、前記複数の画像から選択される少なくとも１枚の画像について、前記ニューラルネットワークから出力された前記関節の位置データの導出値と、前記教師データの前記関節の位置データの真値との差分に基づいて定義される、本発明２に記載の動作解析装置。
［本発明４］
前記移動体は、人体である、本発明３に記載の動作解析装置。
［本発明５］
前記第１損失関数は、下記の式（１）で定義される、本発明３又は４に記載の動作解析装置。
ここで、
Ｌcoordinate：第１損失関数
ｅkx：関節のＸ座標の導出値
ｅky：関節のＹ座標の導出値
ｅkz：関節のＺ座標の導出値
ｔkx：関節のＸ座標の真値
ｔky：関節のＹ座標の真値
ｔkz：関節のＺ座標の真値
ｋ：関節を特定するための添字
ｎc：関節の合計数
［本発明６］
前記物体は、一対のリンクと、これを繋ぐ関節を有する移動体であり、
前記長さデータは、前記一対のリンクの少なくとも一方のリンクの長さデータを含み、
前記第２損失関数は、前記複数の画像から選択された第１画像及び第２画像について、前記ニューラルネットワークから出力された前記第１画像の前記少なくとも一方のリンクの長さの導出値、及び、前記第２画像の前記少なくとも一方のリンクの長さの導出値との差分に基づいて定義される、本発明２ないし５のいずれかに記載の動作解析装置。
［本発明７］
前記第２損失関数は、下記の式（２）で定義される、本発明６に記載の動作解析装置。
ここで、
Ｌconstraint：第２損失関数
ｌj1：第１画像のリンクの長さの導出値
ｌj2：第２画像のリンクの長さの導出値
ｊ：リンクを特定するための添字
μ：許容率
ｎb：リンクの合計数
［本発明８］
前記物体は、一対のリンクと、これを繋ぐ関節を有する移動体であり、
前記長さデータは、前記一対のリンクの少なくとも一方のリンクの長さデータを含み、
前記第２損失関数は、前記複数の画像から選択された第１画像について、前記ニューラルネットワークから出力された前記少なくとも一方のリンクの長さの導出値、及び、前記第１画像の前記少なくとも一方のリンクの長さの真値との差分に基づいて定義される、本発明２ないし５のいずれかに記載の動作解析装置。
［本発明９］
前記第２損失関数は、下記の式（３）で定義される、本発明８に記載の動作解析装置。
ここで、
Ｌconstraint：第２損失関数
ｌj1：第１画像のリンクの長さの導出値
ｌj3：第１画像のリンクの長さの真値
ｊ：リンクを特定するための添字
μ：許容率
ｎb：リンクの合計数
［本発明１０］
前記ニューラルネットワークを機械学習させる学習部をさらに備える、本発明１ないし９のいずれかに記載の動作解析装置。
［本発明１１］
前記物体は、ゴルフクラブを把持したゴルファである、本発明１ないし１０のいずれかに記載の動作解析装置。
［本発明１２］
前記動作は、ゴルフスイングである、本発明１１に記載の動作解析装置。
［本発明１３］
物体の動作を解析するための学習モデルの生成方法であって、
教師データを用いてニューラルネットワークを学習させる工程を含み、
前記工程は、前記物体の動作を撮影又は再現した複数の画像と、前記複数の画像それぞれの前記物体の位置データ及び前記物体の部位の長さデータとを含む前記教師データを準備する工程と、
前記教師データに基づいて、前記物体の位置データについての第１損失関数、及び、前記物体の部位の長さデータについての第２損失関数を含む損失関数の値が小さくなるように、前記ニューラルネットワークを機械学習させる工程とを含む、
学習モデルの生成方法。
［本発明１４］
物体の動作を解析するための方法であって、
前記物体の動作が距離画像センサによって撮影された少なくとも１枚の深度画像を取得する工程と、
前記深度画像をニューラルネットワークに入力することにより、前記物体の動作を定量的に表す動作値を出力する工程とを含み、
前記ニューラルネットワークは、前記物体の位置データについての第１損失関数、及び、前記物体の部位の長さデータについての第２損失関数を含む損失関数の値が小さくなるように機械学習されている、
動作解析方法。
［本発明１５］
物体の動作を解析するためのコンピュータプログラムであって、
コンピュータを、
前記物体の動作が距離画像センサによって撮影された少なくとも１枚の深度画像を取得する手段と、
前記深度画像をニューラルネットワークに入力することにより、前記物体の動作を定量的に表す動作値を出力する手段として機能させ、
前記ニューラルネットワークは、前記物体の位置データについての第１損失関数、及び、前記物体の部位の長さデータについての第２損失関数を含む損失関数の値が小さくなるように機械学習されている、
コンピュータプログラム。
物体の動作を解析するための動作解析装置であって、
前記物体の動作が距離画像センサによって撮影された少なくとも１枚の深度画像を取得する取得部と、
前記深度画像を入力することにより、前記物体の動作を定量的に表す動作値を出力可能な導出部とを含み、
前記導出部は、前記物体の位置データについての第１損失関数、及び、前記物体の部位の長さデータについての第２損失関数を含む損失関数の値が小さくなるように機械学習されたニューラルネットワークを含む、
動作解析装置。
［本発明２］
前記ニューラルネットワークは、前記物体の動作を撮影又は再現した複数の画像と、前記複数の画像それぞれの前記位置データ及び前記長さデータとを含む教師データに基づいて学習されている、本発明１に記載の動作解析装置。
［本発明３］
前記物体は、一対のリンクと、これを繋ぐ関節を有する移動体であり、
前記位置データは、前記関節の位置データを含み、
前記第１損失関数は、前記複数の画像から選択される少なくとも１枚の画像について、前記ニューラルネットワークから出力された前記関節の位置データの導出値と、前記教師データの前記関節の位置データの真値との差分に基づいて定義される、本発明２に記載の動作解析装置。
［本発明４］
前記移動体は、人体である、本発明３に記載の動作解析装置。
［本発明５］
前記第１損失関数は、下記の式（１）で定義される、本発明３又は４に記載の動作解析装置。
【数1】
ここで、
Ｌcoordinate：第１損失関数
ｅkx：関節のＸ座標の導出値
ｅky：関節のＹ座標の導出値
ｅkz：関節のＺ座標の導出値
ｔkx：関節のＸ座標の真値
ｔky：関節のＹ座標の真値
ｔkz：関節のＺ座標の真値
ｋ：関節を特定するための添字
ｎc：関節の合計数
［本発明６］
前記物体は、一対のリンクと、これを繋ぐ関節を有する移動体であり、
前記長さデータは、前記一対のリンクの少なくとも一方のリンクの長さデータを含み、
前記第２損失関数は、前記複数の画像から選択された第１画像及び第２画像について、前記ニューラルネットワークから出力された前記第１画像の前記少なくとも一方のリンクの長さの導出値、及び、前記第２画像の前記少なくとも一方のリンクの長さの導出値との差分に基づいて定義される、本発明２ないし５のいずれかに記載の動作解析装置。
［本発明７］
前記第２損失関数は、下記の式（２）で定義される、本発明６に記載の動作解析装置。
【数2】
ここで、
Ｌconstraint：第２損失関数
ｌj1：第１画像のリンクの長さの導出値
ｌj2：第２画像のリンクの長さの導出値
ｊ：リンクを特定するための添字
μ：許容率
ｎb：リンクの合計数
［本発明８］
前記物体は、一対のリンクと、これを繋ぐ関節を有する移動体であり、
前記長さデータは、前記一対のリンクの少なくとも一方のリンクの長さデータを含み、
前記第２損失関数は、前記複数の画像から選択された第１画像について、前記ニューラルネットワークから出力された前記少なくとも一方のリンクの長さの導出値、及び、前記第１画像の前記少なくとも一方のリンクの長さの真値との差分に基づいて定義される、本発明２ないし５のいずれかに記載の動作解析装置。
［本発明９］
前記第２損失関数は、下記の式（３）で定義される、本発明８に記載の動作解析装置。
【数3】
ここで、
Ｌconstraint：第２損失関数
ｌj1：第１画像のリンクの長さの導出値
ｌj3：第１画像のリンクの長さの真値
ｊ：リンクを特定するための添字
μ：許容率
ｎb：リンクの合計数
［本発明１０］
前記ニューラルネットワークを機械学習させる学習部をさらに備える、本発明１ないし９のいずれかに記載の動作解析装置。
［本発明１１］
前記物体は、ゴルフクラブを把持したゴルファである、本発明１ないし１０のいずれかに記載の動作解析装置。
［本発明１２］
前記動作は、ゴルフスイングである、本発明１１に記載の動作解析装置。
［本発明１３］
物体の動作を解析するための学習モデルの生成方法であって、
教師データを用いてニューラルネットワークを学習させる工程を含み、
前記工程は、前記物体の動作を撮影又は再現した複数の画像と、前記複数の画像それぞれの前記物体の位置データ及び前記物体の部位の長さデータとを含む前記教師データを準備する工程と、
前記教師データに基づいて、前記物体の位置データについての第１損失関数、及び、前記物体の部位の長さデータについての第２損失関数を含む損失関数の値が小さくなるように、前記ニューラルネットワークを機械学習させる工程とを含む、
学習モデルの生成方法。
［本発明１４］
物体の動作を解析するための方法であって、
前記物体の動作が距離画像センサによって撮影された少なくとも１枚の深度画像を取得する工程と、
前記深度画像をニューラルネットワークに入力することにより、前記物体の動作を定量的に表す動作値を出力する工程とを含み、
前記ニューラルネットワークは、前記物体の位置データについての第１損失関数、及び、前記物体の部位の長さデータについての第２損失関数を含む損失関数の値が小さくなるように機械学習されている、
動作解析方法。
［本発明１５］
物体の動作を解析するためのコンピュータプログラムであって、
コンピュータを、
前記物体の動作が距離画像センサによって撮影された少なくとも１枚の深度画像を取得する手段と、
前記深度画像をニューラルネットワークに入力することにより、前記物体の動作を定量的に表す動作値を出力する手段として機能させ、
前記ニューラルネットワークは、前記物体の位置データについての第１損失関数、及び、前記物体の部位の長さデータについての第２損失関数を含む損失関数の値が小さくなるように機械学習されている、
コンピュータプログラム。
【符号の説明】
【0141】
２１ 深度画像
３１ ニューラルネットワーク
３１ ニューラルネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
