特開 2024-128434 学習装置、データ拡張システム、推定装置、学習方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024128434

(43)【公開日】2024-09-24

(54)【発明の名称】学習装置、データ拡張システム、推定装置、学習方法、およびプログラム

(51)【国際特許分類】

   G06N 3/098 20230101AFI20240913BHJP

   G06N 3/0475 20230101ALI20240913BHJP

   G06N 3/094 20230101ALI20240913BHJP

【ＦＩ】

G06N3/098

G06N3/0475

G06N3/094

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023037407

(22)【出願日】2023-03-10

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】福司 謙一郎

(72)【発明者】

【氏名】野崎 善喬

(72)【発明者】

【氏名】西原 康介

(72)【発明者】

【氏名】中原 謙太郎

(57)【要約】

【課題】大規模な分散学習環境化において、ＧＡＮ（Generative Adversarial Network）の少数ショット学習を高速化できる学習装置等を提供する。
【解決手段】複数の教師データを含むデータセットを取得するデータ取得部と、擬似データを出力する生成モデルを有する生成部と、教師データおよび擬似データのいずれかのデータの入力に応じて、入力されたデータが教師データおよび擬似データのいずれであるかを判別する判別モデルを有する判別部と、予め設定されたハイパーパラメータに基づいて、判別モデルの更新に用いられる第１ハイパーパラメータと、生成モデルの更新に用いられる第２ハイパーパラメータとを設定する管理部と、第１ハイパーパラメータを用いて判別モデルを更新し、第２ハイパーパラメータを用いて生成モデルを更新する学習処理部と、を備える学習装置とする。
【選択図】 図１

【特許請求の範囲】

【請求項1】

複数の教師データを含むデータセットを取得し、複数の前記教師データを複数のサブセットに分割するデータ取得手段と、
擬似データを出力する生成モデルを有する生成手段と、
前記教師データおよび前記擬似データのいずれかのデータの入力に応じて、入力された前記データが前記教師データおよび前記擬似データのいずれであるかを判別する判別モデルを有する判別手段と、
予め設定されたハイパーパラメータに基づいて、前記判別モデルの更新に用いられる第１ハイパーパラメータを設定し、分散処理に使われるサーバごとのＧＰＵ（Graphics Processing Unit）の数に応じて前記生成モデルの更新に用いられる第２ハイパーパラメータを設定する管理手段と、
前記第１ハイパーパラメータを用いて前記判別モデルを更新し、前記第２ハイパーパラメータを用いて前記生成モデルを更新する学習処理手段と、を備える学習装置。

【請求項2】

前記判別手段は、
前記判別モデルによる判別の間違いの度合を示す判別ロスを計算し、
前記生成モデルによって生成された前記擬似データが前記判別モデルによって前記擬似データであると見抜かれた度合を示す生成ロスを計算し、
前記学習処理手段は、
前記判別ロスおよび前記第１ハイパーパラメータに基づいて前記判別モデルのパラメータを更新し、
前記生成ロスおよび前記第２ハイパーパラメータに基づいて前記生成モデルのパラメータを更新する請求項１に記載の学習装置。

【請求項3】

前記管理手段は、
予め設定された前記ハイパーパラメータの値を前記第１ハイパーパラメータに設定し、
予め設定された前記ハイパーパラメータと前記ＧＰＵの数との積を前記第２ハイパーパラメータに設定する請求項２に記載の学習装置。

【請求項4】

前記管理手段は、
前記判別モデルに対して予め設定された前記ハイパーパラメータの値を前記第１ハイパーパラメータに設定し、
前記生成モデルに対して予め設定された前記ハイパーパラメータと前記ＧＰＵの数との積を前記第２ハイパーパラメータに設定する請求項２に記載の学習装置。

【請求項5】

前記管理手段は、
予め設定された前記ハイパーパラメータと、前記ＧＰＵの数の入力に応じて単調増加関数から出力された値との積を前記第２ハイパーパラメータに設定する請求項２に記載の学習装置。

【請求項6】

前記ハイパーパラメータは、学習率であり、
前記第２ハイパーパラメータに相当する第２学習率は、前記第１ハイパーパラメータに相当する第１学習率よりも大きい請求項１に記載の学習装置。

【請求項7】

請求項１乃至６のいずれか一項に記載の学習装置によって学習された生成モデルを用いて動作データを拡張するデータ拡張システムであって、
人物の動作に応じて測定された時系列骨格データを取得し、前記時系列骨格データから、前記人物の属性要素に関する体格データ、前記人物が行った動作の時間要素に関するタイミングデータ、および前記人物が行った動作中の姿勢の変化に関する動作データを分離する情報分離装置と、
前記生成モデルを用いて、前記体格データ、前記タイミングデータ、および前記動作データの各々を拡張し、拡張された前記体格データ、前記タイミングデータ、および前記動作データを統合することで前記時系列骨格データを拡張し、拡張された前記時系列骨格データを出力する拡張装置と、を備えるデータ拡張システム。

【請求項8】

請求項７に記載のデータ拡張システムによって拡張された時系列骨格データを用いて学習された推定モデルを用いて、人物の動作を推定する推定装置であって、
前記人物の動作に応じて測定された実データを取得する取得手段と、
前記実データの入力に応じて前記推定モデルから出力される推定データを、前記人物の動作として推定する推定手段と、
推定された前記推定データを出力する出力手段と、を備える推定装置。

【請求項9】

コンピュータが、
複数の教師データを含むデータセットを取得し、
複数の前記教師データを複数のサブセットに分割し、
擬似データを出力する生成モデルを用いて、前記擬似データを生成し、
前記教師データおよび前記擬似データのいずれかのデータの入力に応じて、入力された前記データが前記教師データおよび前記擬似データのいずれであるかを判別する判別モデルを用いて、入力された前記データが前記教師データおよび前記擬似データのいずれであるかを判別し、
予め設定されたハイパーパラメータに基づいて、前記判別モデルの更新に用いられる第１ハイパーパラメータを設定し、
分散処理に使われるサーバごとのＧＰＵ（Graphics Processing Unit）の数に応じて、予め設定された前記ハイパーパラメータに基づいて、前記生成モデルの更新に用いられる第２ハイパーパラメータを設定し、
前記第１ハイパーパラメータを用いて前記判別モデルを更新し、
前記第２ハイパーパラメータを用いて前記生成モデルを更新する学習方法。

【請求項10】

複数の教師データを含むデータセットを取得する処理と、
複数の前記教師データを複数のサブセットに分割する処理と、
擬似データを出力する生成モデルを用いて、前記擬似データを生成する処理と、
前記教師データおよび前記擬似データのいずれかのデータの入力に応じて、入力された前記データが前記教師データおよび前記擬似データのいずれであるかを判別する判別モデルを用いて、入力された前記データが前記教師データおよび前記擬似データのいずれであるかを判別する処理と、
予め設定されたハイパーパラメータに基づいて、前記判別モデルの更新に用いられる第１ハイパーパラメータを設定する処理と、
分散処理に使われるサーバごとのＧＰＵ（Graphics Processing Unit）の数に応じて、予め設定された前記ハイパーパラメータに基づいて、前記生成モデルの更新に用いられる第２ハイパーパラメータを設定する処理と、
前記第１ハイパーパラメータを用いて前記判別モデルを更新する処理と、
前記第２ハイパーパラメータを用いて前記生成モデルを更新する処理と、をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、分散学習に用いられる学習装置等に関する。

【背景技術】

【0002】

映像やモーションキャプチャ、ウェアラブルセンサを用いて人物の動きをセンシングし、センシングされた動きに応じて動作や行動を認識する技術へのニーズが高まっている。例えば、機械学習等の手法によって動作データを学習した認識モデルを用いれば、人物の動作や行動を認識できる。より実用的な精度で認識を行うためには、大量の動作データを用いて、認識モデルを訓練する必要がある。例えば、様々な人物の動作に関して、体格や年齢、個人ごとの動きの癖などに関するバリエーションが含まれる訓練データを用いて、認識モデルを訓練する必要がある。動作データの計測には多くの時間と手間が掛かる。そのため、実際に計測された動作データの擬似データ（擬似動作データ）を大量に生成するデータ拡張技術が求められる。

【0003】

ＧＡＮを用いて高速にモデルを訓練する手法として、複数のＧＰＵや計算ノードで大規模並列処理を行う分散学習がある。分散学習では、複数のＧＰＵ（Graphics Processing Unit）で計算処理を分割することによって、計算処理を短縮する。ＧＰＵの数がｋ倍になると、一度に処理できるデータ量（バッチサイズ）がｋ倍になる（ｋは自然数）。しかし、実際には、バッチサイズが増えただけでは学習を高速化できない。

【0004】

非特許文献１には、分散学習における学習を効率化する技術が開示されている。非特許文献１の手法では、分散学習の規模に応じて、学習率を調整する技術が開示されている。非特許文献１の手法では、バッチサイズに比例して学習率を大きくする。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】P. Goyal. et al., “Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour,” arXiv:1706.02677, 2018.

【発明の概要】

【発明が解決しようとする課題】

【0006】

非特許文献１の手法によれば、データセットサイズと比べてバッチサイズが十分に小さければ、モデルの訓練を効率化できる。大規模分散学習環境ではバッチサイズがデータセットサイズを上回るため、線形スケーリング則の前提条件が満たされない。そのため、非特許文献１の手法は、大規模分散学習環境には適用できなかった。すなわち、非特許文献１の手法では、ＧＡＮの少数ショット学習（Few-shot学習）を、大規模並列処理に対応させることはできなかった。

【0007】

本開示の目的は、大規模な分散学習環境化において、ＧＡＮ（Generative Adversarial Network）の少数ショット学習を高速化できる学習装置等を提供することである。

【課題を解決するための手段】

【0008】

本開示の一態様の学習装置は、複数の教師データを含むデータセットを取得し、複数の教師データを複数のサブセットに分割するデータ取得部と、擬似データを出力する生成モデルを有する生成部と、教師データおよび擬似データのいずれかのデータの入力に応じて、入力されたデータが教師データおよび擬似データのいずれであるかを判別する判別モデルを有する判別部と、予め設定されたハイパーパラメータに基づいて、判別モデルの更新に用いられる第１ハイパーパラメータを設定し、分散処理に使われるサーバごとのＧＰＵの数に応じて生成モデルの更新に用いられる第２ハイパーパラメータを設定する管理部と、第１ハイパーパラメータを用いて判別モデルを更新し、第２ハイパーパラメータを用いて生成モデルを更新する学習処理部と、を備える。

【0009】

本開示の一態様の学習方法においては、複数の教師データを含むデータセットを取得し、複数の教師データを複数のサブセットに分割し、擬似データを出力する生成モデルを用いて、擬似データを生成し、教師データおよび擬似データのいずれかのデータの入力に応じて、入力されたデータが教師データおよび擬似データのいずれであるかを判別する判別モデルを用いて、入力されたデータが教師データおよび擬似データのいずれであるかを判別し、予め設定されたハイパーパラメータに基づいて、判別モデルの更新に用いられる第１ハイパーパラメータを設定し、分散処理に使われるサーバごとのＧＰＵの数に応じて、予め設定されたハイパーパラメータに基づいて、生成モデルの更新に用いられる第２ハイパーパラメータを設定し、第１ハイパーパラメータを用いて判別モデルを更新し、第２ハイパーパラメータを用いて生成モデルを更新する学習方法。

【0010】

本開示の一態様のプログラムは、複数の教師データを含むデータセットを取得する処理と、複数の教師データを複数のサブセットに分割する処理と、擬似データを出力する生成モデルを用いて、擬似データを生成する処理と、教師データおよび擬似データのいずれかのデータの入力に応じて、入力されたデータが教師データおよび擬似データのいずれであるかを判別する判別モデルを用いて、入力されたデータが教師データおよび擬似データのいずれであるかを判別する処理と、予め設定されたハイパーパラメータに基づいて、判別モデルの更新に用いられる第１ハイパーパラメータを設定する処理と、分散処理に使われるサーバごとのＧＰＵの数に応じて、予め設定されたハイパーパラメータに基づいて、生成モデルの更新に用いられる第２ハイパーパラメータを設定する処理と、第１ハイパーパラメータを用いて判別モデルを更新する処理と、第２ハイパーパラメータを用いて生成モデルを更新する処理と、をコンピュータに実行させる。

【発明の効果】

【0011】

本開示によれば、分散学習環境化において、ＧＡＮ（Generative Adversarial Network）の少数ショット学習を高速化できる学習装置等を提供することが可能になる。

【図面の簡単な説明】

【0012】

【図1】第１の実施形態に係る学習装置の構成の一例を示すブロック図である。

【図2】第１の実施形態に係る学習装置による学習処理の一例について説明するためのフローチャートである。

【図3】第１の実施形態に係る学習装置による第１更新処理の一例について説明するためのフローチャートである。

【図4】第１の実施形態に係る学習装置による第２更新処理の一例について説明するためのフローチャートである。

【図5】第２の実施形態に係るデータ拡張システムの構成の一例を示すブロック図である。

【図6】第２の実施形態に係るデータ拡張システムによる拡張対象である時系列骨格データに関するターゲット動作について説明するための概念図である。

【図7】第２の実施形態に係るデータ拡張システムによる拡張対象である時系列骨格データに含まれる骨格データについて説明するための概念図である。

【図8】第３の実施形態に係るデータ拡張システムによるデータ拡張処理の一例について説明するためのフローチャートである。

【図9】第３の実施形態に係るデータ拡張システムによる情報分離処理の一例について説明するためのフローチャートである。

【図10】第３の実施形態に係るデータ拡張システムによる拡張処理の一例について説明するためのフローチャートである。

【図11】第３の実施形態に係る推定装置の構成の一例を示すブロック図である。

【図12】第３の実施形態に係る推定装置によって推定された動作データの表示例を示す概念図である。

【図13】第４の実施形態に係る学習装置の構成の一例を示すブロック図である。

【図14】各実施形態の処理を実行するハードウェア構成の一例を示すブロック図である。

【発明を実施するための形態】

【0013】

以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。

【0014】

（第１の実施形態）
まず、第１の実施形態に係る学習装置について図面を参照しながら説明する。本実施形態の学習装置は、データ拡張に用いられるモデルの訓練に用いられる。例えば、本実施形態の学習装置は、実測された動作データを用いて拡張データを生成するモデル（生成モデル、推定モデル）を訓練する。動作データは、人物の動作に応じた姿勢の変化を示すデータである。動作データは、動画を構成する複数のフレームから抽出される。本実施形態の手法は、動作データのみならず、任意のデータの拡張に用いることができる。

【0015】

（構成）
図１は、本実施形態に係る学習装置１０の構成の一例を示すブロック図である。学習装置１０は、データ取得部１１、生成部１２、判別部１３、および学習処理部１７を備える。図１においては、構成要素間の接続を示す線を省略する。

【0016】

データ取得部１１（データ取得手段）は、複数のデータ（教師データ）によって構成されたデータセット１１０を取得する。データセット１１０を構成する複数のデータについては、特に限定を加えない。例えば、データセット１１０は、実際に計測された複数の実データによって構成される。例えば、データセット１１０は、実際に計測された被験者の動作から抽出された動作データである。例えば、データセット１１０は、１０名程度の少人数の被験者が行った特定の動作を、モーションキャプチャなどで実測することで得られた複数のデータによって構成される。データセット１１０を構成する複数のデータは、実測する必要がある。そのため、データセット１１０を構成する複数のデータを大量に準備することは難しい。

【0017】

データ取得部１１は、データセット１１０を構成する複数のデータをミニバッチに分割する。ミニバッチは、データセット１１０含まれる複数のデータからなるサブセットである。ミニバッチに含まれるデータの数をバッチサイズと呼ぶ。例えば、バッチサイズは、２のｎ乗に設定される（ｎは自然数）。ミニバッチに分割された複数のデータは、判別部１３の判別モデル１３０による判別に用いられる。データセット１１０を構成する複数のデータの分割は、管理部１５や学習処理部１７によって実行されてもよい。

【0018】

生成部１２（生成手段）は、生成モデル１２０を含む。本実施形態において、生成モデル１２０は、学習装置１０による学習の対象である。生成モデル１２０は、擬似データを生成するモデルである。例えば、生成モデル１２０は、乱数値に応じた擬似データを出力する。生成部１２は、生成モデル１２０を用いて、擬似データを生成する。生成モデル１２０による擬似データの生成方法については、特に限定を加えない。例えば、生成モデル１２０は、正規分布に従ったノイズを用いて、擬似データを生成してもよい。

【0019】

判別部１３（判別手段）は、判別モデル１３０を含む。本実施形態において、判別モデル１３０は、学習装置１０による学習の対象ではないが、副次的に訓練される。判別モデル１３０は、入力されたデータが、教師データおよび擬似データのいずれであるかを判別するモデルである。判別部１３は、生成部１２によって生成された擬似データを取得する。判別部１３は、判別モデル１３０を用いて、取得したデータが教師データおよび擬似データのいずれであるか判別する。判別部１３は、判別モデル１３０による判別結果を管理部１５に出力する。

【0020】

判別部１３は、判別結果に応じて、判別ロスを計算する。判別ロスは、判別モデル１３０による判別の間違いの度合を示す。すなわち、判別ロスは、判別モデル１３０による教師データと擬似データの判別結果が間違っていた度合を示す。判別ロスは、判別モデル１３０によって判別された全ての教師データおよび擬似データに関して、教師データが擬似データと判別され、擬似データが教師データと判別された割合を示す。判別モデル１３０による判別が全て正解の場合、判別ロスは０である。それに対し、判別モデル１３０による判別が全て不正解の場合、判別ロスは１である。

【0021】

また、判別部１３は、判別結果に応じて、生成ロスを計算する。生成ロスは、生成モデル１２０によって生成された擬似データが判別モデル１３０によって教師データであると見抜かれた度合を示す。すなわち、生成ロスは、生成モデル１２０によって生成された擬似データが、判別モデル１３０によって擬似データであると判別された度合を示す。生成ロスは、判別モデル１３０によって判別された全ての教師データおよび擬似データに関して、擬似データが擬似データであると判別された割合を示す。生成モデル１２０によって生成された擬似データが、判別モデル１３０によって全て教師データであると判別された場合、生成ロスは０である。それに対し、生成モデル１２０によって生成された擬似データが、判別モデル１３０によって全て擬似データであると判別された場合、生成ロスは１である。

【0022】

管理部１５（管理手段）は、判別モデル１３０および生成モデル１２０に異なる学習率を設定する。学習率は、機械学習の最適化において、調整可能なパラメータの１つである重みを一度にどの程度変化させるかを表すハイパーパラメータである。なお、調整可能なパラメータとして、バイアスやスケーリング係数が用いられてもよい。機械学習では、反復的に重みを変更させる。学習率の値が大きいほど、一度に変更される重みの大きさが大きくなるので、学習のスピードが上がる。それに対し、学習率の値が小さいほど、一度に変更する重みパラメータの大きさが小さくなるので、学習のスピードが下がる。管理部１５は、判別モデル１３０には、分散処理に使われるサーバごとのＧＰＵの数によらず、元の学習率（第１学習率）を設定する。それに対し、管理部１５は、生成モデル１２０には、分散処理に使われるサーバごとのＧＰＵの数に応じた学習率（第２学習率）を設定する。すなわち、管理部１５は、分散処理に使われるサーバごとのＧＰＵの数に応じて、第２ハイパーパラメータ（第２学習率）を設定する。

【0023】

管理部１５は、第１学習率η₁を用いて、判別ロスに基づいて判別モデル１３０のパラメータを計算する。例えば、第１学習率η₁は、下記の式１を用いて表される。

【0024】

【数1】

上記の式１において、ηは予め設定された学習率である。上記の式１の例において、管理部１５は、予め設定されたハイパーパラメータ（学習率η）の値を第１ハイパーパラメータ（第１学習率η₁）に設定する。

【0025】

管理部１５は、第２学習率η₂を用いて、生成ロスに基づいて生成モデル１２０のパラメータを計算する。例えば、第２学習率η₂は、下記の式２を用いて表される。

【0026】

【数2】

上記の式２において、Ｍは、分散処理に使用されるサーバごとのＧＰＵの数と、分散処理数の積である。分散処理数とは、分散処理に使用されるサーバの数を指す。判別モデル１３０または生成モデル１２０の調整可能なパラメータを１回更新するために用いるデータ数をバッチサイズと呼ぶ。バッチサイズは、Ｍに比例する。上記の式２の例において、管理部１５は、予め設定されたハイパーパラメータ（学習率η）とＭ（ＧＰＵの数と分散処理数の積）との積を、第２ハイパーパラメータ（第２学習率η₂）に設定する。

【0027】

上記のように、管理部１５は、判別モデル１３０の第１学習率η₁と、生成モデル１２０の第２学習率η₂とを計算する。ハイパーパラメータは、学習率以外であってもよい。例えば、ハイパーパラメータは、モーメントや減衰率、バッチサイズであってもよい。例えば、ハイパーパラメータは、ニューラルネットワークの層数や、ニューラルネットワークを構成する各層のニューロンの数であってもよい。すなわち、管理部１５は、判別モデル１３０のハイパーパラメータ（第１ハイパーパラメータ）と、生成モデル１２０のハイパーパラメータ（第２ハイパーパラメータ）とを計算する。

【0028】

判別モデル１３０および生成モデル１２０には、異なる学習率が設定されてもよい。例えば、管理部１５は、下記の式３～４を用いて、第１学習率η₁および第２学習率η₂を計算する。

【0029】

【数3】

【数4】

上記の式３～４において、η_dは、判別モデル１３０に対して予め設定された第１学習率である。η_gは、生成モデル１２０に対して予め設定された第２学習率である。

【0030】

上記の式３の例において、管理部１５は、判別モデル１３０に対して予め設定されたハイパーパラメータ（学習率η_d）の値を第１ハイパーパラメータ（第１学習率η₁）に設定する。一方、上記の式４の例において、管理部１５は、生成モデル１２０に対して予め設定されたハイパーパラメータ（学習率η_g）とＧＰＵの数Ｍとの積を、第２ハイパーパラメータ（第２学習率η₂）に設定する。

【0031】

例えば、動作データ生成においては、第２学習率η₂が第１学習率η₁の４倍程度に設定されるとよい。例えば、ＧＰＵの数が単独のＧＰＵ（Ｍ＝１）を用いた場合、バッチサイズが３２、η_dが０．０００２、η_gが０．０００８となる。同じ学習を８個のＧＰＵ（Ｍ＝８）で実行する場合、バッチサイズが２５６、η_dが０．０００２、ηgが０．００６４となる。

【0032】

例えば、管理部１５は、下記の式５を用いて、第２学習率η₂を計算してもよい。

【0033】

【数5】

上記の式５を用いた例は、本実施形態の手法が、線形スケーリングだけではなく、非線形スケーリングにも適用できることを示す。

【0034】

上記の式５の例において、管理部１５は、生成モデル１２０に対して予め設定されたハイパーパラメータ（学習率η_g）と、ＧＰＵの数Ｍの入力に応じて単調増加関数から出力された値との積を、第２ハイパーパラメータ（第２学習率η₂）に設定する。

【0035】

より一般的に表現すると、第１学習率η₁および第２学習率η₂は、下記の式６～７を用いて表現される。

【0036】

【数6】

【数7】

上記の式６～７において、ｆ（Ｍ）およびｇ（Ｍ）は、ＧＰＵの数Ｍに応じて変化する関数を示す。例えば、ｆ（Ｍ）およびｇ（Ｍ）は、指数関数や対数関数、無理関数などの単調増加関数である。すなわち、ｆ（Ｍ）およびｇ（Ｍ）は、ＧＰＵの数Ｍに応じて変化する単調増加関数である。

【0037】

学習処理部１７（学習処理手段）は、管理部１５によって算出されたハイパーパラメータを用いて、生成モデル１２０および判別モデル１３０を更新する。学習処理部１７は、判別モデル１３０に関して算出された第１学習率η₁を用いて、判別モデル１３０の重みやバイアスなどのパラメータを更新する。すなわち、学習処理部１７は、第１ハイパーパラメータを用いて、判別モデル１３０のパラメータを更新する。また、学習処理部１７は、生成モデル１２０に関して算出された第２学習率η₂を用いて、生成モデル１２０の重みやバイアスなどのパラメータを更新する。すなわち、学習処理部１７は、第２ハイパーパラメータを用いて、生成モデル１２０のパラメータを更新する。学習処理部１７は、パラメータが更新された判別モデル１３０および生成モデル１２０を訓練する。学習処理部１７によって訓練された生成モデル１２０は、データ拡張に用いられる。例えば、学習処理部１７は、算出されたロスの値に応じて、ロスの導関数を計算する。学習処理部１７は、算出された傾きに学習率をかけて、生成モデル１２０および判別モデル１３０を更新する。学習処理部１７は、ロスが最適解に向かうように、生成モデル１２０および判別モデル１３０を訓練する。

【0038】

（動作）
次に、学習装置１０の動作の一例について図面を参照しながら説明する。以下においては、学習装置１０による学習処理と、学習処理に含まれる更新処理とに分けて説明する。更新処理については、判別モデル１３０のパラメータを更新する第１更新処理と、生成モデル１２０のパラメータを更新する第２パラメータ更新処置とに分けて説明する。

【0039】

〔学習処理〕
図２は、学習装置１０による学習処理の一例について説明するためのフローチャートである。図２のフローチャートに沿った説明においては、学習装置１０を動作主体として説明する。

【0040】

図２において、まず、学習装置１０は、データセット１１０を取得する（ステップＳ１１）。データセット１１０を構成する複数のデータは、被験者に関して実際に測定された教師データである。なお、データセット１１０は、別途生成された擬似データを含んでもよい。

【0041】

次に、学習装置１０は、取得したデータセット１１０を構成する複数のデータをミニバッチに分割する（ステップＳ１２）。

【0042】

次に、学習装置１０は、ミニバッチを１つ選択する（ステップＳ１３）。

【0043】

次に、学習装置１０は、選択されたミニバッチに関して、第１更新処理を実行する（ステップＳ１４）。第１更新処理は、第１学習率に基づいて、判別モデル１３０のパラメータを更新する処理である。第１更新処理の詳細については後述する（図３）。

【0044】

次に、学習装置１０は、第２更新処理を実行する（ステップＳ１５）。第２更新処理は、第２学習率に基づいて、生成モデル１２０のパラメータを更新する処理である。第２更新処理の詳細については後述する（図４）。

【0045】

生成モデル１２０および判別モデル１３０の更新を継続する場合（ステップＳ１６でＹｅｓ）、ステップＳ１４にフローが戻る。更新の継続は、予め決められた基準で判定されてもよいし、管理者による意思決定による入力操作に応じて判定されてもよい。例えば、生成モデル１２０および判別モデル１３０の更新は、予め設定されたエポック数だけ繰り返される。例えば、エポック数は、１００００回に設定される。生成モデル１２０および判別モデル１３０の更新を継続しない場合（ステップＳ１６でＮｏ）、処理対象のミニバッチがあれば（ステップＳ１７でＹｅｓ）、ステップＳ１３にフローが戻る。処理対象のミニバッチがなければ（ステップＳ１７でＮｏ）、図２のフローチャートに沿った処理は終了である。

【0046】

〔第１更新処理〕
次に、第１更新処理（図２のフローチャートのステップＳ１４）の詳細について図面を参照しながら説明する。図３は、第１更新処理について説明するためのフローチャートである。図３のフローチャートに沿った説明においては、学習装置１０を動作主体として説明する。

【0047】

図３において、まず、学習装置１０は、判別モデル１３０を用いて、ミニバッチに含まれる教師データに対して判別を実行する（ステップＳ１４１）。

【0048】

次に、学習装置１０は、生成モデル１２０を用いて、擬似データを生成する（ステップＳ１４２）。ステップＳ１４１とステップＳ１４２は、順番が入れ替えられてもよいし、並行して実行されてもよい。

【0049】

次に、学習装置１０は、判別モデル１３０を用いて、生成された擬似データに対して判別を実行する（ステップＳ１４３）。

【0050】

次に、学習装置１０は、判別モデル１３０の実行結果に応じて、判別ロスを計算する（ステップＳ１４４）。

【0051】

次に、学習装置１０は、算出された判別ロスおよびハイパーパラメータに基づいて、判別モデル１３０のパラメータを更新する（ステップＳ１４５）。例えば、学習装置１０は、判別ロスおよび第１学習率に基づいて、判別モデルのパラメータを更新する。ステップＳ１４５の後は、第２更新処理（図２のフローチャートのステップＳ１５）にフローが進む。第２更新処理の詳細については、後述する（図４）。

【0052】

〔第２更新処理〕
次に、第２更新処理（図２のフローチャートのステップＳ１５）の詳細について図面を参照しながら説明する。図４は、第２更新処理について説明するためのフローチャートである。図４のフローチャートに沿った説明においては、学習装置１０を動作主体として説明する。

【0053】

図４において、まず、学習装置１０は、生成モデル１２０を用いて、擬似データを生成する（ステップＳ１５１）。

【0054】

次に、学習装置１０は、判別モデル１３０を用いて、生成された擬似データに対して判別を実行する（ステップＳ１５２）。

【0055】

次に、学習装置１０は、判別モデル１３０の実行結果に応じて、生成ロスを計算する（ステップＳ１５３）。

【0056】

次に、学習装置１０は、算出された生成ロスおよびハイパーパラメータに基づいて、判別モデルのパラメータを更新する（ステップＳ１４５）。例えば、学習装置１０は、判別ロスおよび第２学習率に基づいて、生成モデル１２０のパラメータを更新する。ステップＳ１５４の後は、図２のフローチャートのステップＳ１６）にフローが進む。

【0057】

以上のように、本実施形態の学習装置は、データ取得部、生成部、判別部、管理部、および学習処理部を備える。データ取得部は、複数の教師データを含むデータセットを取得する。データ取得部は、複数の教師データを複数のサブセットに分割する。生成部は、生成モデルを有する。生成モデルは、擬似データを出力する。判別部は、判別モデルを有する。判別モデルは、教師データおよび擬似データのいずれかのデータの入力に応じて、入力されたデータが教師データおよび擬似データのいずれであるかを判別する。判別部は、判別モデルによる判別の間違いの度合を示す判別ロスを計算する。判別部は、生成モデルによって生成された擬似データが判別モデルによって擬似データであると見抜かれた度合を示す生成ロスを計算する。管理部は、予め設定されたハイパーパラメータに基づいて、判別モデルの更新に用いられる第１ハイパーパラメータを設定する。管理部は、分散処理に使われるサーバごとのＧＰＵの数に応じて生成モデルの更新に用いられる第２ハイパーパラメータを設定する。学習処理部は、判別ロスおよび前記第１ハイパーパラメータに基づいて判別モデルのパラメータを更新する。学習処理部は、生成ロスおよび第２ハイパーパラメータに基づいて生成モデルのパラメータを更新する。

【0058】

本実施形態の学習装置は、判別モデルと生成モデルとを異なるハイパーパラメータを用いて更新する。本実施形態の学習装置は、ＧＰＵの数に応じて、第２ハイパーパラメータを設定する。本実施形態の学習装置は、第１ハイパーパラメータに関しては、ＧＰＵの数に応じて変更しない。すなわち、本実施形態の学習装置は、分散学習の規模に応じて、判別モデルの学習率は変更せずに、生成モデルの学習率を調整する。そのため、本実施形態によれば、バッチサイズがデータセットサイズを上回る場合であっても、生成モデル（推定モデル）を効率的に訓練できる。すなわち、本実施形態によれば、大規模な分散学習環境化において、ＧＡＮの少数ショット学習を高速化できる。

【0059】

大規模な分散学習環境においては、バッチサイズの大きさに応じて学習率を大きくする線形スケーリング則が前提としている、バッチサイズがデータセット全体のサイズより十分に小さい、という前提条件が満たされない。そのため、大規模な分散学習環境においては、非特許文献１（P. Goyal. et al., “Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour,” arXiv:1706.02677, 2018.）の手法を用いても、訓練を高速化することは難しい。それに対し、本実施形態の手法においては、バッチサイズの大きさに応じて、判別モデルの第１学習率を変更せずに、生成モデルの第２学習率を変更する。そのため、本実施形態によれば、分散学習のスケールメリットと、訓練の高速化とを両立できる。

【0060】

本実施形態の手法は、ＧＡＮに限らず、その他の機械学習に適用できる。本実施形態によれば、分散学習の規模に応じてハイパーパラメータを調整することによって、効率的にモデルを訓練できる。特に、本実施形態においては、ＧＰＵの数に比例して学習率を変化させることによって、モデルの訓練を効率化する。

【0061】

本実施形態の一態様において、管理部は、予め設定されたハイパーパラメータの値を第１ハイパーパラメータに設定する。管理部は、予め設定されたハイパーパラメータとＧＰＵの数との積を第２ハイパーパラメータに設定する。本態様によれば、予め設定されたハイパーパラメータとＧＰＵの数との積を第２ハイパーパラメータに設定することによって、大規模な分散学習環境化においてもＧＡＮの少数ショット学習を高速化できる。

【0062】

本実施形態の一態様において、管理部は、判別モデルに対して予め設定されたハイパーパラメータの値を第１ハイパーパラメータに設定する。管理部は、生成モデルに対して予め設定されたハイパーパラメータとＧＰＵの数との積を第２ハイパーパラメータに設定する。本態様では、予め設定されたハイパーパラメータと、ＧＰＵの数の入力に応じて単調増加関数から出力された値との積を第２ハイパーパラメータに設定する。すなわち、本態様によれば、非線形スケーリングによって第２ハイパーパラメータを調整することによって、大規模な分散学習環境化においてもＧＡＮの少数ショット学習を高速化できる。

【0063】

本実施形態の一態様において、ハイパーパラメータは、学習率である。第２ハイパーパラメータに相当する第２学習率は、第１ハイパーパラメータに相当する第１学習率よりも大きい。本態様によれば、学習率に基づいて、大規模な分散学習環境化においてもＧＡＮの少数ショット学習を高速化できる。

【0064】

（第２の実施形態）
次に、第２の実施形態に係るデータ拡張システムについて図面を参照しながら説明する。本実施形態のデータ拡張システムは、第１の実施形態の学習装置によって学習されたモデル（生成モデル）を用いて、実測されたターゲットデータを拡張する。本実施形態では、被験者のターゲット動作に応じて実測されたターゲットデータの時系列データ（時系列骨格データ）を拡張する例をあげる。例えば、ターゲット動作には、背伸びや跳躍、歩行、走行、ストレッチなどの特定の動作が含まれる。ターゲット動作の種類については、後述するソース動作データを用いて再構成できれば、特に限定を加えない。本実施形態のデータ拡張システムは、１０名程度の少人数の被験者が行ったターゲット動作に応じて実測されたターゲットデータを拡張する。

【0065】

（構成）
図５は、本実施形態に係るデータ拡張システム２０の構成の一例を示すブロック図である。データ拡張システム２０は、骨格データ取得部２１、体格データ分離部２２、タイミングデータ分離部２３、体格データ拡張部２５、タイミングデータ拡張部２６、動作データ拡張部２７、統合部２８、および出力部２９を備える。体格データ分離部２２およびタイミングデータ分離部２３は、情報分離装置２２０を構成する。体格データ拡張部２５、タイミングデータ拡張部２６、動作データ拡張部２７、および統合部２８は、拡張装置２５０を構成する。

【0066】

骨格データ取得部２１（骨格データ取得手段）は、拡張対象である時系列骨格データ２００を取得する。時系列骨格データ２００は、ターゲット動作を行う被験者（人物）に関して実測された動画データから抽出された骨格データの時系列データを含む。骨格データは、モーションキャプチャなどによって計測された被験者の関節の３次元的な位置を含む。時系列骨格データは、被験者の動作に応じた骨格データの時系列データを含む。また、時系列骨格データ２００は、被験者の体格データを含む。体格データは、被験者の体格に関する情報である。体格データは、被験者の属性要素に関する。例えば、体格データは、被験者の腕や脚、胴体、肩幅などのパーツの長さに関する情報を含む。

【0067】

図６は、時系列骨格データ２００に関するターゲット動作について説明するための概念図である。図６は、ターゲット動作を行う人物の動きを切り出した図である。図６には、動画を構成するフレームＦ_n-1、フレームＦ_n、およびフレームＦ_n+-1から抽出されたターゲット動作を示す（ｎは自然数）。フレームＦ_n-1、フレームＦ_n、フレームＦ_n+1は、連続したフレームである。各フレームにおいては、人物の代表的な部位の位置を示す円が、接続線で連結されている。例えば、肩や肘、手首、首、胸、腰、股、膝、足首などの関節が、人物の代表的な部位として選択される。例えば、頭や指先、足先などの末端が、人物の代表的な部位として選択される。関節や末端の間の部位が、人物の代表的な部位として選択されてもよい。以下においては、人物の代表的な部位の位置を関節と表現する。

【0068】

図７は、時系列骨格データ２００に含まれる骨格データについて説明するための概念図である。本実施形態においては、関節Ｊ_mによって連結された２つの接続線の成す３次元的関節角度（オイラー角θ_m）を、ターゲットデータとして用いる。時系列骨格データ２００は、複数の関節の各々に接続された２つの接続線の成す角が時系列でまとめられたデータセットである。ターゲット動作の推定に用いることができれば、時系列骨格データ２００として用いられるデータの形式については、特に限定を加えない。

【0069】

体格データ分離部２２（体格データ分離手段）は、時系列骨格データ２００から、被験者の体格データを分離する。

【0070】

タイミングデータ分離部２３（タイミングデータ分離手段）は、体格データが分離された残りの時系列骨格データから、タイミングデータを取得する。タイミングデータは、被験者が行った動作の時間に関する情報を含む。タイミングデータは、被験者が行う動作の時間要素に関する。例えば、タイミングデータは、被験者の歩行における歩行周期や、被験者がジャンプする際のためなどに関する情報を含む。

【0071】

タイミングデータが分離された時系列骨格データは、動作データに設定される。動作データは、被験者が行った動作中の姿勢の変化に関する。動作データに設定された時系列骨格データを構成する個々の骨格データは、姿勢データとも呼ばれる。姿勢データは、被験者が行った動作の空間的要素である。骨格データから抽出された３次元的関節角度（オイラー角）が、動作データに設定される。動作データは、３次元的関節角度（オイラー角）以外の動きを示すデータであってもよい。

【0072】

体格データ拡張部２５（体格データ拡張手段）は、被験者の属性要素を変化させて、体格データを拡張する。例えば、体格データ拡張部２５は、被験者の属性に応じて、腕や脚、胴体、肩幅などのパーツの長さに関するバリエーションを増やすことによって、体格データを拡張する。体格データ拡張部２５は、拡張された体格データのデータセット（拡張体格データセット）を統合部２８に出力する。

【0073】

例えば、被験者が男性の場合、体格データ拡張部２５は、男性に関するパーツの長さの平均値や分布に合わせて、体格データを拡張する。例えば、体格データ拡張部２５は、被験者の属性を変更して、パーツの長さのバリエーションを増やすことによって、体格データを拡張する。例えば、被験者が男性の場合、体格データ拡張部２５は、女性に関するパーツの長さの平均値や分布に合わせて、体格データを拡張する。例えば、被験者が成人の場合、体格データ拡張部２５は、子供に関するパーツの長さの平均値や分布に合わせて、体格データを拡張する。

【0074】

例えば、体格データ拡張部２５は、被験者の国籍を変更して、パーツの長さのバリエーションを増やすことによって、体格データを拡張してもよい。例えば、被験者の国籍が日本の場合、体格データ拡張部２５は、国籍がアメリカの人に関するパーツの長さの平均値や分布に合わせて、体格データを拡張する。

【0075】

タイミングデータ拡張部２６（タイミングデータ拡張手段）は、被験者が行った動作の時間要素を変化させて、タイミングデータを拡張する。例えば、タイミングデータ拡張部２６は、被験者が行った動作の時間要素に関するバリエーションを増やすことによって、タイミングデータを拡張する。タイミングデータ拡張部２６は、拡張されたタイミングデータのデータセット（拡張タイミングデータセット）を統合部２８に出力する。

【0076】

例えば、タイミングデータ拡張部２６は、被験者の歩行から検出される歩行周期における遊脚相や立脚相の割合を変動させて、タイミングデータを拡張する。例えば、タイミングデータ拡張部２６は、被験者の歩行から検出される踵接地や踵持ち上がり、爪先離地、足交差、脛骨垂直などの歩行イベントの間隔を変動させて、タイミングデータを拡張する。例えば、タイミングデータ拡張部２６は、被験者と同じ属性の人の平均値や分散に合わせて、タイミングデータを拡張する。例えば、タイミングデータ拡張部２６は、被験者とは異なる属性の人の平均値や分散に合わせて、タイミングデータを拡張する。

【0077】

動作データ拡張部２７（動作データ拡張手段）は、動作データを拡張する。動作データ拡張部２７は、動作データを構成する複数の姿勢データのバリエーションを増やすことによって、動作データを拡張する。動作データ拡張部２７は、拡張された動作データのデータセット（拡張動作データセット）を統合部２８に出力する。

【0078】

例えば、動作データ拡張部２７は、第１の実施形態に係る学習装置によって学習されたモデル（生成モデル）を用いて、動作データを拡張する。その場合、動作データは、３次元的関節角度（オイラー角）に関する動作データを拡張する。動作データ拡張部２７は、生成モデルではないモデルを用いて、動作データを拡張してもよい。

【0079】

統合部２８（統合手段）は、拡張体格データセット、拡張タイミングデータセット、および拡張動作データセットを取得する。統合部２８は、取得した拡張体格データセット、拡張タイミングデータセット、および拡張動作データセットの各々に含まれるデータを統合して、時系列骨格データを拡張する。統合部２８は、拡張体格データ、拡張タイミングデータ、および拡張動作データを組み合わせて、骨格データを拡張する。

【0080】

出力部２９（出力手段）は、拡張された時系列骨格データ２９０を出力する。例えば、拡張された時系列骨格データ２９０は、被験者の動作を予測するモデルの学習に用いられる。拡張された時系列骨格データ２９０の用途に関しては、特に限定を加えない。

【0081】

（動作）
次に、本実施形態に係るデータ拡張システム２０の動作の一例について図面を参照しながら説明する。以下においては、データ拡張システム２０によるデータ拡張処理、データ拡張処理に含まれる情報分離処理および拡張処理について説明する。

【0082】

図８は、データ拡張システム２０の動作（データ拡張処理）の一例について説明するためのフローチャートである。図８のフローチャートに沿った説明においては、データ拡張システム２０を動作主体として説明する。

【0083】

図８において、まず、データ拡張システム２０は、ターゲット動作を行った被験者に関して測定された時系列骨格データを取得する（ステップＳ２１）。

【0084】

次に、データ拡張システム２０は、情報分離処理を実行して、時系列骨格データを、体格データ、タイミングデータ、および動作データに分離する（ステップＳ２２）。

【0085】

次に、データ拡張システム２０は、拡張処理を実行して、体格データ、タイミングデータ、および動作データの各々を拡張する（ステップＳ２３）。

【0086】

次に、データ拡張システム２０は、拡張された時系列骨格データを出力する（ステップＳ２４）。拡張された時系列骨格データは、種々の用途に用いられる。例えば、拡張された時系列骨格データは、被験者の動作を予測するモデルの学習に用いられる。

【0087】

〔情報分離処理〕
図９は、データ拡張システム２０によるデータ拡張処理に含まれる情報分離処理（図８のステップＳ２２）の一例について説明するためのフローチャートである。図９のフローチャートに沿った説明においては、データ拡張システム２０に含まれる情報分離装置２２０を動作主体として説明する。

【0088】

図９において、まず、情報分離装置２２０は、取得した時系列骨格データから体格データを分離する（ステップＳ２２１）。分離された体格データは、データ拡張システム２０に含まれる拡張装置２５０によるデータ拡張に用いられる。

【0089】

次に、情報分離装置２２０は、体格データが分離された時系列骨格データからタイミングデータを分離する（ステップＳ２２２）。分離されたタイミングデータは、データ拡張システム２０に含まれる拡張装置２５０によるデータ拡張に用いられる。

【0090】

次に、情報分離装置２２０は、タイミングデータが分離された時系列骨格データを、動作データに設定する（ステップＳ２２３）。ステップＳ２２３の次は、図８のステップＳ２３の拡張処理に進む。設定された動作データは、データ拡張システム２０に含まれる拡張装置２５０によるデータ拡張に用いられる。

【0091】

〔データ拡張処理〕
図１０は、データ拡張システム２０によるデータ拡張処理に含まれる拡張処理（図８のステップＳ２３）の一例について説明するためのフローチャートである。図１０のフローチャートに沿った説明においては、データ拡張システム２０に含まれる拡張装置２５０を動作主体として説明する。

【0092】

図１０において、まず、拡張装置２５０は、体格データを拡張する（ステップＳ２３１）。拡張された体格データは、拡張体格データセットを構成する。

【0093】

次に、拡張装置２５０は、タイミングデータを拡張する（ステップＳ２３２）。拡張されたタイミングデータは、拡張タイミングデータセットを構成する。

【0094】

次に、拡張装置２５０は、動作データを拡張する（ステップＳ２３３）。拡張された動作データは、拡張動作データセットを構成する。

【0095】

次に、拡張装置２５０は、拡張体格データセット、拡張タイミングデータセット、および、動作データの各々に含まれるデータを統合して、時系列骨格データを拡張する（ステップＳ２３４）。ステップＳ２３４の次は、図８のステップＳ２４に進む。

【0096】

以上のように、本実施形態のデータ拡張システムは、第１の学習装置によって学習された生成モデルを用いて、動作データ（時系列骨格データ）を拡張する。本実施形態のデータ拡張システムは、情報分離装置および拡張装置を備える。情報分離装置は、人物の動作に応じて測定された時系列骨格データを取得する。情報分離装置は、時系列骨格データから、体格データ、タイミングデータ、および動作データを分離する。体格データは、人物の属性要素に関するデータである。タイミングデータは、人物が行った動作の時間要素に関するデータである。動作データは、人物が行った動作中の姿勢の変化に関するデータである。拡張装置は、体格データ、タイミングデータ、および動作データの各々を拡張する。拡張装置は、拡張された体格データ、タイミングデータ、および動作データを統合することで時系列骨格データを拡張する。拡張装置は、生成モデルを用いて、動作データを拡張する。データ拡張システム。拡張装置は、拡張された時系列骨格データを出力する。

【0097】

本実施形態のデータ拡張システムは、体格データ、タイミングデータ、および動作データの各々を個別に拡張する。本実施形態のデータ拡張システムは、個別に拡張された体格データ、タイミングデータ、および動作データを組み合わせて統合することによって、時系列骨格データを拡張する。本実施形態のデータ拡張システムは、人物の属性や、人物が行った動作の時間要素、および人物が行った動作中の姿勢の変化に関して、バリエーションに富んだ時系列骨格データを提供できる。そのため、本実施形態によれば、少量の動作データを用いて、多様な人物の動作の学習に適用可能な時系列骨格データを拡張できる。

【0098】

本実施形態の一態様において、情報分離装置は、体格データ分離部およびタイミングデータ分離部を有する。体格データ分離部は、時系列骨格データから体格データを分離する。タイミングデータ分離部は、体格データが分離された時系列骨格データからタイミングデータを分離する。体格データおよびタイミングデータが分離された時系列骨格データが、動作データである。拡張装置は、体格データ拡張部、タイミングデータ拡張部、動作データ拡張部、および統合部を有する。体格データ拡張部は、属性要素を変化させて、体格データを拡張する。タイミングデータ拡張部は、時間要素を変化させて、タイミングデータを拡張する。動作データ拡張部は、動作データの入力に応じて推定モデルから出力される擬似動作データを生成することによって、動作データを拡張する。統合部は、拡張された体格データ、タイミングデータ、および動作データを統合して、時系列骨格データを拡張する。本態様では、属性要素を変化させて体格データのバリエーションを増やし、時間要素を変化させてタイミングデータを増やす。また、本態様では、少量の動作データで訓練された推定モデルを用いて、擬似動作データを生成する。本態様によれば、少量の動作データを用いて、多様な人物の動作の学習に適用可能な時系列骨格データを拡張できる。

【0099】

（第３の実施形態）
次に、第３の実施形態に係る推定装置について図面を参照しながら説明する。本実施形態の推定装置は、第２の実施形態のデータ拡張システムによって拡張された時系列骨格データを用いて学習された推定モデルを用いる。実施形態の推定装置は、推定モデルを用いて、実際に計測された動作データに基づいて動作データ（推定データ）を生成する。本実施形態の推定装置は、第２の実施形態のデータ拡張システムによって拡張された動作データを用いて学習された推定モデルを用いるように構成されてもよい。本実施形態では、実際に被験者のターゲット動作に応じて計測された時系列骨格データ（実データ）を用いて、その被験者の動作に関する時系列骨格データ（推定データ）を推定する例をあげる。

【0100】

（構成）
図１１は、推定装置３０の構成の一例を示すブロック図である。推定装置３０は、取得部３１、推定部３３、および出力部３５を備える。

【0101】

取得部３１（取得手段）は、時系列骨格データ３１０を取得する。時系列骨格データ３１０は、拡張対象データである。例えば、時系列骨格データ３１０は、被験者の動作に関して測定された実データに基づく時系列の骨格データである。骨格データは、モーションキャプチャなどによって計測された被験者の関節の３次元的な位置を含む。

【0102】

推定部３３（推定手段）は、推定モデル３３０を含む。推定モデル３３０は、第２の実施形態のデータ拡張システムによって拡張された時系列骨格データを用いて学習されたモデルである。推定モデル３３０は、時系列骨格データ３１０（拡張対象データ）の入力に応じて、時系列骨格データ３５０（拡張データ）を出力する。推定部３３は、推定モデル３３０に時系列骨格データ３１０を入力し、その推定モデル３３０から出力される時系列骨格データ３５０に応じて、被験者の動作を推定する。

【0103】

出力部３５（出力手段）は、推定モデル３３０を用いて推定された時系列骨格データ３５０を出力する。時系列骨格データ３５０の出力先や用途は、特に限定されない。例えば、時系列骨格データ３５０は、被験者が視認できる画面に表示される。例えば、時系列骨格データ３５０は、被験者の運動状態を管理するトレーナーや、被験者の健康状態を管理するケアマネージャなどが利用する端末装置に出力される。

【0104】

図１２は、推定装置３０によって推定された時系列骨格データ３５０が、端末装置の画面３００に表示された例である。画面３００には、被験者の歩行に関して測定された時系列骨格データ３１０に続けて、時系列骨格データ３５０が表示される。図１２の例では、骨格の一部に肉付けされた画像が表示される。例えば、ソフトウェアを用いて、骨格に肉付けを施したり、服や履物を装着させたりしてもよい。本実施形態によれば、被験者が実際に歩行を継続しなくても、被験者に関して実測された歩行状態に応じて、その被験者の将来の歩行状態を推定できる。

【0105】

以上のように、本実施形態の推定装置は、第２の実施形態のデータ拡張システムによって拡張された時系列骨格データを用いて学習された推定モデルを用いて、人物の動作を推定する。本実施形態の推定装置は、取得部、推定部、および出力部を備える。取得部は、人物の動作に応じて測定された実データ（時系列骨格データ）を取得する。推定部は、実データの入力に応じて推定モデルから出力される推定データ（時系列骨格データ）を用いて、人物の動作を推定する。出力部は、推定された推定データ（時系列骨格データ）を出力する。

【0106】

本実施形態の推定装置は、第２の実施形態のデータ拡張システムによって拡張された時系列骨格データを用いて学習された推定モデルを用いる。推定モデルは、少量の時系列骨格データを用いて、多様な人物の動作を推定できるように訓練されたモデルである。そのため、本実施形態の推定装置は、多様な人物に関して、動作をシミュレートできる。

【0107】

本実施形態では、被験者のターゲット動作に応じて実際に計測された時系列骨格データ（実データ）を用いて、その被験者の時系列骨格データ（推定データ）を推定する例をあげた。本実施形態の推定装置が推定する情報は、時系列骨格データに限定されない。一例として、被験者がどのような動作をしているのかを認識する動作認識がある。例えば、第３の実施形態のデータ拡張システムによって拡張された時系列骨格データを用いれば、物をつかむ、運ぶ、置くという３動作に関する少量の時系列骨格データを用いて、推定モデルを学習できる。本実施形態の推定装置は、その推定モデルを使うことによって、物をつかむ、運ぶ、置くという動作を認識できる。例えば、認識結果は、物流における業務可視化などに活用できる。

【0108】

（第４の実施形態）
次に、第４の実施形態に係る学習装置について図面を参照しながら説明する。本実施形態の学習装置は、第１の実施形態の学習装置を簡略化した構成である。

【0109】

図１３は、本実施形態に係る学習装置４０の構成の一例を示すブロック図である。学習装置４０は、データ取得部４１、生成部４２、判別部４３、管理部４５、および学習処理部４７を備える。

【0110】

データ取得部４１は、複数の教師データを含むデータセット４１０を取得する。データ取得部４１は、複数の教師データを複数のサブセットに分割する。生成部４２は、生成モデル４２０を有する。生成モデル４２０は、擬似データを出力する。判別部４３は、判別モデル４３０を有する。判別モデル４３０は、教師データおよび擬似データのいずれかのデータの入力に応じて、入力されたデータが教師データおよび擬似データのいずれであるかを判別する。管理部４５は、予め設定されたハイパーパラメータに基づいて、判別モデルの更新に用いられる第１ハイパーパラメータを設定する。管理部４５は、分散処理に使われるサーバごとのＧＰＵの数に応じて、生成モデル４２０の更新に用いられる第２ハイパーパラメータを設定する。学習処理部４７は、第１ハイパーパラメータを用いて判別モデルを更新し、第２ハイパーパラメータを用いて生成モデル４２０を更新する。

【0111】

本実施形態の学習装置は、判別モデルと生成モデルとを異なるハイパーパラメータを用いて更新する。本実施形態の学習装置は、分散処理に使われるサーバごとのＧＰＵの数に応じて、第２ハイパーパラメータを設定する。本実施形態の学習装置は、第１ハイパーパラメータに関しては、ＧＰＵの数に応じて変更しない。すなわち、本実施形態の学習装置は、分散学習の規模に応じて、判別モデルの学習率は変更せずに、生成モデルの学習率を調整する。そのため、本実施形態によれば、バッチサイズがデータセットサイズを上回る場合であっても、生成モデル（推定モデル）を効率的に訓練できる。すなわち、本実施形態によれば、大規模な分散学習環境化において、ＧＡＮの少数ショット学習を高速化できる。

【0112】

（ハードウェア）
次に、本開示の各実施形態に係る制御や処理を実行するハードウェア構成について、図面を参照しながら説明する。ここでは、そのようなハードウェア構成の一例として、図１４の情報処理装置９０（コンピュータ）をあげる。図１４の情報処理装置９０は、各実施形態の制御や処理を実行するための構成例であって、本開示の範囲を限定するものではない。

【0113】

図１４のように、情報処理装置９０は、プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５、および通信インターフェース９６を備える。図１４においては、インターフェースをＩ／Ｆ（Interface）と略記する。プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５、および通信インターフェース９６は、バス９８を介して、互いにデータ通信可能に接続される。また、プロセッサ９１、主記憶装置９２、補助記憶装置９３、および入出力インターフェース９５は、通信インターフェース９６を介して、インターネットやイントラネットなどのネットワークに接続される。

【0114】

プロセッサ９１は、補助記憶装置９３等に格納されたプログラム（命令）を、主記憶装置９２に展開する。例えば、プログラムは、各実施形態の制御や処理を実行するためのソフトウェアプログラムである。プロセッサ９１は、主記憶装置９２に展開されたプログラムを実行する。プロセッサ９１は、プログラムを実行することによって、各実施形態に係る制御や処理を実行する。

【0115】

主記憶装置９２は、プログラムが展開される領域を有する。主記憶装置９２には、プロセッサ９１によって、補助記憶装置９３等に格納されたプログラムが展開される。主記憶装置９２は、例えばＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリによって実現される。また、主記憶装置９２として、ＭＲＡＭ（Magneto resistive Random Access Memory）などの不揮発性メモリが構成／追加されてもよい。

【0116】

補助記憶装置９３は、プログラムなどの種々のデータを記憶する。補助記憶装置９３は、ハードディスクやフラッシュメモリなどのローカルディスクによって実現される。なお、種々のデータを主記憶装置９２に記憶させる構成とし、補助記憶装置９３を省略することも可能である。

【0117】

入出力インターフェース９５は、規格や仕様に基づいて、情報処理装置９０と周辺機器とを接続するためのインターフェースである。通信インターフェース９６は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークを通じて、外部のシステムや装置に接続するためのインターフェースである。外部機器と接続されるインターフェースとして、入出力インターフェース９５と通信インターフェース９６とが共通化されてもよい。

【0118】

情報処理装置９０には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器が接続されてもよい。それらの入力機器は、情報や設定の入力に使用される。入力機器としてタッチパネルが用いられる場合、タッチパネルの機能を有する画面がインターフェースになる。プロセッサ９１と入力機器とは、入出力インターフェース９５を介して接続される。

【0119】

情報処理装置９０には、情報を表示するための表示機器が備え付けられてもよい。表示機器が備え付けられる場合、情報処理装置９０には、表示機器の表示を制御するための表示制御装置（図示しない）が備えられる。情報処理装置９０と表示機器は、入出力インターフェース９５を介して接続される。

【0120】

情報処理装置９０には、ドライブ装置が備え付けられてもよい。ドライブ装置は、プロセッサ９１と記録媒体（プログラム記録媒体）との間で、記録媒体に格納されたデータやプログラムの読み込みや、情報処理装置９０の処理結果の記録媒体への書き込みを仲介する。情報処理装置９０とドライブ装置は、入出力インターフェース９５を介して接続される。

【0121】

以上が、本開示の各実施形態に係る制御や処理を可能とするためのハードウェア構成の一例である。図１４のハードウェア構成は、各実施形態に係る制御や処理を実行するためのハードウェア構成の一例であって、本開示の範囲を限定するものではない。各実施形態に係る制御や処理をコンピュータに実行させるプログラムも、本開示の範囲に含まれる。

【0122】

各実施形態に係るプログラムを記録したプログラム記録媒体も、本開示の範囲に含まれる。記録媒体は、例えば、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光学記録媒体で実現できる。記録媒体は、ＵＳＢ（Universal Serial Bus）メモリやＳＤ（Secure Digital）カードなどの半導体記録媒体によって実現されてもよい。また、記録媒体は、フレキシブルディスクなどの磁気記録媒体、その他の記録媒体によって実現されてもよい。プロセッサが実行するプログラムが記録媒体に記録されている場合、その記録媒体はプログラム記録媒体に相当する。

【0123】

各実施形態の構成要素は、任意に組み合わせられてもよい。各実施形態の構成要素は、ソフトウェアによって実現されてもよい。各実施形態の構成要素は、回路によって実現されてもよい。

【0124】

以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【符号の説明】

【0125】

１０ 学習装置
１１ データ取得部
１２ 生成部
１３ 判別部
１５ 管理部
１７ 学習処理部
２０ データ拡張システム
２１ 骨格データ取得部
２２ 体格データ分離部
２３ タイミングデータ分離部
２５ 体格データ拡張部
２６ タイミングデータ拡張部
２７ 動作データ拡張部
２８ 統合部
２９ 出力部
２２０ 情報分離装置
２５０ 拡張装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】