特開 2024-66556 データ変換装置、学習装置、動作変換システム、データ変換方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024066556

(43)【公開日】2024-05-16

(54)【発明の名称】データ変換装置、学習装置、動作変換システム、データ変換方法、およびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240509BHJP

   G06T 7/00 20170101ALI20240509BHJP

   G06V 10/82 20220101ALI20240509BHJP

【ＦＩ】

G06T7/20 300Z

G06T7/00 350C

G06V10/82

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022175959

(22)【出願日】2022-11-02

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】野崎 善喬

(72)【発明者】

【氏名】福司 謙一郎

(72)【発明者】

【氏名】西原 康介

(72)【発明者】

【氏名】中原 謙太郎

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA09

5L096FA67

5L096FA69

5L096HA02

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】背景の影響を受けずに、複数の動画データの各々に含まれる同期対象動作を高精度で同期できるデータ変換装置を提供する。
【解決手段】グラフ畳み込みネットワークを含むエンコーダを有し、同期対象動作を含む動画データを構成するフレームごとに推定された姿勢データを角度表現に正規化し、角度表現に正規化された姿勢データをエンコーダに入力して埋め込み空間における特徴量を計算する特徴量計算部と、基準動画データを構成するフレームごとに算出された特徴量と、同期対象動画データを構成するフレームごとに算出された特徴量との距離を計算する距離計算部と、算出された距離に基づいてフレームごとの最適経路を計算し、最適経路で結ばれたフレームのタイミングを揃えることによって、同期対象動画データを基準動画データに同期させる同期処理部と、基準動画データに同期された同期対象動画データを出力する出力部と、を備えるデータ変換装置とする。
【選択図】 図１

【特許請求の範囲】

【請求項1】

グラフ畳み込みネットワークを含むエンコーダを有し、同期対象動作を含む動画データを構成するフレームごとに推定された姿勢データを角度表現に正規化し、角度表現に正規化された前記姿勢データを前記エンコーダに入力して埋め込み空間における特徴量を計算する特徴量計算手段と、
基準動画データを構成するフレームごとに算出された特徴量と、同期対象動画データを構成するフレームごとに算出された特徴量との距離を計算する距離計算手段と、
算出された距離に基づいてフレームごとの最適経路を計算し、前記最適経路で結ばれたフレームのタイミングを揃えることによって、前記同期対象動画データを前記基準動画データに同期させる同期処理手段と、
前記基準動画データに同期された前記同期対象動画データを出力する出力手段と、を備えるデータ変換装置。

【請求項2】

前記エンコーダは、
角度表現に正規化された前記姿勢データをグラフ畳み込みによって畳み込み、
埋め込み空間における埋め込みを特徴量として出力する請求項１に記載のデータ変換装置。

【請求項3】

前記距離計算手段は、
前記基準動画データを構成するフレームに関する特徴量と、前記同期対象動画データを構成するフレームに関する特徴量との間の距離を総当たりで計算し、
前記同期処理手段は、
算出された距離に基づいてフレームごとの前記最適経路を計算する請求項２に記載のデータ変換装置。

【請求項4】

前記同期対象動画データおよび前記基準動画データを取得する取得手段と、
前記同期対象動画データおよび前記基準動画データの各々を構成するフレームごとに前記姿勢データを推定する推定手段と、を備える請求項１に記載のデータ変換装置。

【請求項5】

前記取得手段は、
複数の前記同期対象動画データを取得し、
前記推定手段は、
複数の前記同期対象動画データを構成する複数のフレームごとに前記姿勢データを推定し、
前記特徴量計算手段は、
複数の前記同期対象動画データを構成する複数のフレームごとの前記姿勢データを角度表現に正規化し、
角度表現に正規化された前記姿勢データを前記エンコーダに入力して特徴量を計算し、
前記距離計算手段は、
複数の前記同期対象動画データを構成する複数のフレームごとに算出された特徴量の間の距離を計算し、
前記同期処理手段は、
算出された距離に基づいてフレームごとに前記最適経路を計算し、
前記最適経路で結ばれたフレームのタイミングを揃えることによって、複数の前記同期対象動画データを互いに同期させる請求項４に記載のデータ変換装置。

【請求項6】

前記同期対象動画データの同期に用いられた変換配列を記憶する変換配列記憶手段と、
前記変換配列を用いて、前記基準動画データとして用いられた前記同期対象動画データに逆変換を行う逆変換手段と、を備え、
前記同期処理手段は、
複数の前記同期対象動画データのうち１つを前記基準動画データに設定し、
算出された距離に基づいてフレームごとに前記最適経路を計算し、
前記最適経路で結ばれたフレームのタイミングを揃えることによって、前記同期対象動画データを前記基準動画データに同期させ、
前記同期対象動画データの同期に用いられた前記変換配列を、前記変換配列記憶手段に記憶させ、
前記逆変換手段は、
前記基準動画データとして用いられなかった他の前記同期対象動画データを基準として、前記基準動画データとして用いられた前記同期対象動画データを他の前記同期対象動画データに同期させる請求項５に記載のデータ変換装置。

【請求項7】

グラフ畳み込みネットワークを含むエンコーダを有し、同期対象動作を含む学習対象動画データを構成するフレームごとに推定された姿勢データを角度表現に正規化し、角度表現に正規化された前記姿勢データを前記エンコーダに入力して埋め込み空間における特徴量を計算する特徴量計算手段と、
前記エンコーダによって算出された特徴量に応じた損失を計算する損失計算手段と、
算出された前記損失の勾配に基づいて前記エンコーダを訓練する学習処理手段と、を備える学習装置。

【請求項8】

請求項７に記載の学習装置と、
請求項１乃至６のいずれか一項に記載のデータ変換装置と、を備え、
前記学習装置は、
学習対象動作を含む学習対象動画データをエンコーダに学習させ、学習結果に応じて前記エンコーダを更新し、
前記データ変換装置は、
前記学習装置によって更新された前記エンコーダを用いて、前記学習対象動作に相当する同期対象動作を含む同期対象動画データおよび基準動画データを取得し、前記エンコーダを用いて前記同期対象動画データを前記基準動画データに同期させる動画変換システム。

【請求項9】

コンピュータが、
同期対象動作を含む動画データを構成するフレームごとに推定された姿勢データを角度表現に正規化し、
グラフ畳み込みネットワークを含むエンコーダに、角度表現に正規化された前記姿勢データを入力して埋め込み空間における特徴量を計算し、
基準動画データを構成するフレームごとに算出された特徴量と、同期対象動画データを構成するフレームごとに算出された特徴量との距離を計算し、
算出された距離に基づいてフレームごとの最適経路を計算し、
前記最適経路で結ばれたフレームのタイミングを揃えることによって、前記同期対象動画データを前記基準動画データに同期させ、
前記基準動画データに同期された前記同期対象動画データを出力するデータ変換方法。

【請求項10】

同期対象動作を含む動画データを構成するフレームごとに推定された姿勢データを角度表現に正規化する処理と、
グラフ畳み込みネットワークを含むエンコーダに、角度表現に正規化された前記姿勢データを入力して埋め込み空間における特徴量を計算する処理と、
基準動画データを構成するフレームごとに算出された特徴量と、同期対象動画データを構成するフレームごとに算出された特徴量との距離を計算する処理と、
算出された距離に基づいてフレームごとの最適経路を計算する処理と、
前記最適経路で結ばれたフレームのタイミングを揃えることによって、前記同期対象動画データを前記基準動画データに同期させる処理と、
前記基準動画データに同期された前記同期対象動画データを出力する処理とをコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、動作データを同期させるデータ変換装置等に関する。

【背景技術】

【0002】

人間の動作に関するデジタルツインの技術を用いて動作データを拡張すれば、一般的な学習よりも少量の実測データで、大量のデータを用いた場合と同等以上の精度の動作認識モデルを構築できる。データ拡張で用いられる敵対的生成モデル（ＧＡＮ：Generative Adversarial Network）の学習を安定させるためには、データを効果的に正規化することが重要である。例えば、動作データに含まれる共通の動作を、異なる動作データとの間で正規化できれば、敵対的生成モデルの学習を安定化できる。すなわち、異なる動作データの間で、動作データに含まれる共通の動作を同期できれば、敵対的生成モデルの学習を安定化できる。

【0003】

非特許文献１には、映像間の時間的整合のタスクに基づく自己教師あり表現学習手法について開示されている。非特許文献１の手法では、時間的サイクル整合性（ＴＣＣ：Temporal Cycle-Consistency）を用いて、ネットワークを訓練する。非特許文献１の手法では、学習された埋め込み空間における最近傍のフレームを対応付けることによって、異なる動画に含まれる共通の動作を同期させる。

【0004】

特許文献１には、与えられた検索条件に基づいて、動きデータを検索する動きデータ検索装置について開示されている。特許文献１の装置は、物体の一連の動きを表す動きデータについて、一定時間の区間ごとに、動きの特徴を表す区間特徴量を計算する。特許文献１の装置は、検索条件動きデータについての区間特徴量と、検索対象動きデータについての区間特徴量との距離を計算する。特許文献１の装置は、算出された距離に基づいて、検索結果の提示データを作成する。

【0005】

特許文献２には、行動認識モデルのパラメータを学習する行動認識学習装置について開示されている。特許文献２の装置は、動作対象物の動作を含む動作データと、動作の行動種別に対応する行動ラベルとを、学習データとして受け付ける。特許文献２の装置は、動作に関する類似度に基づいて行動ラベルをクラスタリングし、行動ラベルの階層構造を生成する。特許文献２の装置は、動作データおよび階層構造を用いて算出された損失に基づいて、行動認識モデルのパラメータを学習する。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１０－０３３１６３号公報

【特許文献2】特開２０２２－０７２４４４号公報

【非特許文献】

【0007】

【非特許文献1】D. Dwibedi, et al., “Temporal Cycle-Consistency Learning”, IEEE Conf. on Computer Vision and Pattern Recognition (2019).

【発明の概要】

【発明が解決しようとする課題】

【0008】

非特許文献１の手法では、動画データに対してエンコーダモデルを学習し、埋め込み空間における最近傍のフレームを対応付けることによって、２つの動画データを同期する。非特許文献１の手法では、２つの動画データを同期する際に、動画に含まれる背景の影響が及ぶ。そのため、非特許文献１の手法では、異なる動画において背景が大きく異なる場合、同期の精度が低下することがあった。また、非特許文献１の手法は、動画形式ではないデータに対しては、適用できなかった。

【0009】

特許文献１の手法では、動きの多様性に対応して、データベースに予め格納された動きデータを検索する。特許文献１の手法では、動画データを用いて、動きデータを抽出することを想定していない。そのため、特許文献１の手法では、背景が異なる動画データから、同じ動作を同様に抽出できるとは限らなかった。

【0010】

特許文献２の手法では、動作データおよび行動ラベルを学習データとして用いて、行動認識モデルのパラメータを学習する。特許文献２には、動画データから動作データを抽出する具体的な方法が開示されていない。そのため、特許文献２の手法では、背景が異なる映像データから、同じ動作を同様に抽出できるとは限らなかった。

【0011】

本開示の目的は、背景の影響を受けずに、複数の動画データの各々に含まれる同期対象動作を高精度で同期できるデータ変換装置等を提供することにある。

【課題を解決するための手段】

【0012】

本開示の一態様のデータ変換装置は、グラフ畳み込みネットワークを含むエンコーダを有し、同期対象動作を含む動画データを構成するフレームごとに推定された姿勢データを角度表現に正規化し、角度表現に正規化された姿勢データをエンコーダに入力して埋め込み空間における特徴量を計算する特徴量計算部と、基準動画データを構成するフレームごとに算出された特徴量と、同期対象動画データを構成するフレームごとに算出された特徴量との距離を計算する距離計算部と、算出された距離に基づいてフレームごとの最適経路を計算し、最適経路で結ばれたフレームのタイミングを揃えることによって、同期対象動画データを基準動画データに同期させる同期処理部と、基準動画データに同期された同期対象動画データを出力する出力部と、を備える。

【0013】

本開示の一態様の学習装置は、グラフ畳み込みネットワークを含むエンコーダを有し、同期対象動作を含む動画データを構成するフレームごとに推定された姿勢データを角度表現に正規化し、角度表現に正規化された姿勢データをエンコーダに入力して埋め込み空間における特徴量を計算する特徴量計算部と、エンコーダによって算出された特徴量を用いて損失を計算する損失計算部と、算出された損失の勾配に基づいてエンコーダを訓練する学習処理部と、を備える学習装置。

【0014】

本開示の一態様のデータ変換方法においては、同期対象動作を含む動画データを構成するフレームごとに推定された姿勢データを角度表現に正規化し、グラフ畳み込みネットワークを含むエンコーダに、角度表現に正規化された姿勢データを入力して埋め込み空間における特徴量を計算し、基準動画データを構成するフレームごとに算出された特徴量と、同期対象動画データを構成するフレームごとに算出された特徴量との距離を計算し、算出された距離に基づいてフレームごとの最適経路を計算し、最適経路で結ばれたフレームのタイミングを揃えることによって同期対象動画データを基準動画データに同期させ、基準動画データに同期された同期対象動画データを出力する。

【0015】

本開示の一態様のプログラムは、同期対象動作を含む動画データを構成するフレームごとに推定された姿勢データを角度表現に正規化する処理と、グラフ畳み込みネットワークを含むエンコーダに、角度表現に正規化された姿勢データを入力して埋め込み空間における特徴量を計算する処理と、基準動画データを構成するフレームごとに算出された特徴量と、同期対象動画データを構成するフレームごとに算出された特徴量との距離を計算する処理と、算出された距離に基づいてフレームごとの最適経路を計算する処理と、最適経路で結ばれたフレームのタイミングを揃えることによって、同期対象動画データを基準動画データに同期させる処理と、基準動画データに同期された同期対象動画データを出力する処理とをコンピュータに実行させる。

【発明の効果】

【0016】

本開示によれば、背景の影響を受けずに、複数の動画データの各々に含まれる同期対象動作を高精度で同期できるデータ変換装置等を提供することが可能になる。

【図面の簡単な説明】

【0017】

【図1】第１の実施形態に係る学習装置の構成の一例を示すブロック図である。

【図2】第１の実施形態に係る学習装置による学習対象である動画データから姿勢データを抽出する一例を示す概念図である。

【図3】第１の実施形態に係る学習装置による学習対象である動画データから姿勢データを抽出する一例を示す概念図である。

【図4】第１の実施形態に係る学習装置による姿勢データの角度表現への正規化の一例について説明するための概念図である。

【図5】第１の実施形態に係る学習装置の動作の一例について説明するためのフローチャートである。

【図6】第２の実施形態に係るデータ変換装置の構成の一例を示すブロック図である。

【図7】第２の実施形態に係るデータ変換装置によって算出された基準動画データおよび同期対象動画データの各々を構成するフレームごとの特徴量の最適経路を対応付けたマップの一例を示す概念図である。

【図8】第２の実施形態に係るデータ変換装置によって算出された基準動画データおよび同期対象動画データの各々を構成するフレームの最適経路が対応付けられた状態を示すグラフである。

【図9】第２の実施形態に係るデータ変換装置によって算出された基準動画データおよび同期対象動画データの各々を構成するフレームの最適経路のタイミングが揃えられた状態を示すグラフである。

【図10】第２の実施形態に係るデータ変換装置の動作の一例について説明するためのフローチャートである。

【図11】第２の実施形態に係るデータ変換装置による同期処理の一例について説明するためのフローチャートである。

【図12】第３の実施形態に係るデータ変換装置の構成の一例を示すブロック図である。

【図13】第３の実施形態に係るデータ変換装置の動作の一例について説明するためのフローチャートである。

【図14】第３の実施形態に係るデータ変換装置による同期処理の一例について説明するためのフローチャートである。

【図15】第４の実施形態に係る動画変換システムの構成の一例を示すブロック図である。

【図16】第５の実施形態に係る学習装置の構成の一例を示すブロック図である。

【図17】第６の実施形態に係るデータ変換装置の構成の一例を示すブロック図である。

【図18】各実施形態に係る処理や制御を実行するハードウェア構成の一例を示すブロック図である。

【発明を実施するための形態】

【0018】

以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。

【0019】

（第１の実施形態）
まず、第１の実施形態に係る学習装置について図面を参照しながら説明する。本実施形態の学習装置は、異なる動画データに含まれる同じ動作を同期させるエンコーダを学習させる。動画データは、複数のフレームによって構成される。個々のフレームから抽出される人物の姿勢に関するデータを、姿勢データと呼ぶ。複数の姿勢データが時系列で連結されたデータを、動作データと呼ぶ。以下においては、異なる動画データに含まれる同じ動作を同期させることを、異なる動画データを同期させると表現することがある。

【0020】

本実施形態は、非特許文献１に開示された手法に基づいて説明する箇所を含む（非特許文献１：D. Dwibedi, et al., “Temporal Cycle-Consistency Learning”, IEEE Conf. on Computer Vision and Pattern Recognition (2019).）。

【0021】

（構成）
図１は、本実施形態に係る学習装置１０の構成の一例を示すブロック図である。学習装置１０は、取得部１１、推定部１２、特徴量計算部１３、損失計算部１５、および学習処理部１６を備える。

【0022】

取得部１１（取得手段）は、動画データ１１０を取得する。動画データ１１０は、学習対象動作を行う人物の像を含むデータである。例えば、学習対象動作には、背伸びや跳躍、歩行、走行、ストレッチなどの動作が含まれる。動画データを構成するフレームから抽出できれば、学習対象動作の種類については特に限定を加えない。

【0023】

例えば、取得部１１は、動画データから抽出された人物の姿勢データを取得してもよい。姿勢データは、人物の代表的な部位の位置に関する位置座標のデータセットである。例えば、人物の代表的な部位は、関節や末端などである。例えば、取得部１１は、モーションキャプチャを用いて計測された姿勢データを取得してもよい。取得部１１が姿勢データを直接取得する場合、推定部１２を省略できる。

【0024】

推定部１２（推定手段）は、動画データ１１０に含まれるフレームから、人物を抽出する。推定部１２は、抽出された人物の姿勢データを推定する。例えば、推定部１２は、深層学習モデルを用いて、動画データ１１０から抽出された人物の姿勢データを推定する。推定部１２は、動画データ１１０から抽出された人物に関して、代表的な部位の空間的な位置を姿勢データとして推定する。言い換えると、姿勢データは、動画データ１１０から抽出された人物の姿勢に関するデータである。

【0025】

図２は、動画データ１１０Ａから抽出された姿勢データの一例（姿勢データ１２０Ａ）を示す概念図である。図２は、学習対象動作を行う人物を含む動画データ１１０Ａの一例を示す。図２は、動画データ１１０Ａを構成するフレームの一部を示す。推定部１２は、動画データ１１０Ａを構成するフレームから、人物の代表的な部位（関節）の位置を、姿勢データ１２０Ａとして推定する。各フレームにおいては、人物の代表的な部位（関節）の位置を示す円が、接続線で連結されている。例えば、推定部１２は、肩や肘、手首、首、胸、腰、股、膝、足首などの関節の位置座標を、姿勢データとして推定する。例えば、推定部１２は、頭や指先、足先などの末端の位置座標を、姿勢データとして推定する。例えば、推定部１２は、関節や末端の間に相当する部位の位置座標を、姿勢データとして推定する。以下においては、人物の代表的な部位の位置を関節と表現する。

【0026】

図３は、動画データ１１０Ｂから抽出された姿勢データの一例（姿勢データ１２０Ｂ）を示す概念図である。図３は、学習対象動作を行う人物を含む動画データ１１０Ｂの一例を示す。図３は、動画データ１１０Ｂを構成するフレームの一部を示す。推定部１２は、動画データ１１０Ｂを構成するフレームから、人物の代表的な部位（関節）の位置を、姿勢データ１２０Ｂとして推定する。図２の例と同様に、各フレームにおいては、人物の代表的な部位（関節）の位置を示す円が、接続線で連結されている。

【0027】

図２～図３のように、動画データ１１０Ａと動画データ１１０Ｂには、同じ学習対象動作を行う人物が含まれる。動画データ１１０Ａと動画データ１１０Ｂの背景は、全く異なる。そのため、動画データ１１０Ａおよび動画データ１１０Ｂを構成するフレームについて特徴量を計算すると、背景の特徴が含まれる。推定部１２は、動画データ１１０Ａおよび動画データ１１０Ｂを構成するフレームごとに、人物の姿勢データを推定する。推定部１２によって推定された姿勢データからは、動画データ１１０Ａおよび動画データ１１０Ｂに含まれる背景の特徴が除かれている。そのため、姿勢データを用いれば、背景の特徴を除去できる。

【0028】

特徴量計算部１３（特徴量計算手段）は、正規化部１３１およびエンコーダ１３３を含む。特徴量計算部１３は、正規化部１３１を用いて、姿勢データを角度表現に正規化する。特徴量計算部１３は、エンコーダ１３３を用いて、角度表現に正規化された姿勢データから、学習対象動作に関する特徴量を抽出する。

【0029】

正規化部１３１（正規化手段）は、姿勢データを角度表現に正規化する。姿勢データには、その姿勢データの取得元である人物の腕や脚の長さなどの体格に関する属性が含まれる。それに対し、角度表現に正規化された姿勢データには、その姿勢データの取得元である人物の体格に関する属性が含まれない。正規化部１３１は、人物の関節を接続する接続線の成す角を、関節ごとに計算することによって、姿勢データを角度表現に正規化する。

【0030】

図４は、角度表現に正規化された姿勢データの一例について説明するための概念図である。正規化部１３１は、フレームごとに推定された姿勢データから、人物の姿勢を検証するための関節Ｊ_mを抽出する（ｍは自然数）。正規化部１３１は、複数の関節Ｊ_mに関して、それらの関節Ｊ_mによって連結された２つの接続線の成す３次元的関節角度（オイラー角θ_m）を計算する。すなわち、正規化部１３１は、各フレームから抽出された人物に関して、関節ごとのオイラー角のデータセット（関節角データセット）を計算する。

【0031】

エンコーダ１３３は、グラフ畳み込みネットワークＧＣＮ（Graph Convolutional Network）を含む。エンコーダ１３３は、動画データ１１０に含まれるフレームに対して、一意の埋め込み表現を学習する。例えば、エンコーダ１３３は、非特許文献１に開示された時間的サイクル整合性（ＴＣＣ：Temporal Cycle-Consistency）の手法を用いた学習によって、特徴抽出を行う。ＴＣＣ学習は、自己教師あり学習である。ＴＣＣ学習によれば、同じ動作を含む動画データ１１０が複数あれば、それらの対応関係を探す損失関数（Cycle-back Loss）を計算することによって、ラベル無しで特徴抽出器を訓練できる。

【0032】

エンコーダ１３３には、正規化部１３１によって算出された関節角データセットが入力される。エンコーダ１３３は、入力された関節角データセットに関して、グラフ畳み込みネットワークによって特徴量を計算する。エンコーダ１３３は、３次元空間の座標系で表現された関節角データセットを、埋め込み表現に変換する。このように、エンコーダ１３３は、スケルトン形式で表現された隣接する関節を、グラフ構造と見なしてグラフ畳み込みを実行する。エンコーダ１３３は、動画データ１１０の背景が含まれないスケルトン形式の関節角データセットに対して、グラフ畳み込みネットワークを用いる。そのため、エンコーダ１３３を用いて抽出された特徴量には、動画データ１１０の背景の影響が含まれない。

【0033】

例えば、エンコーダ１３３には、隣接した複数のフレームを結合させたコンテクストの入力に応じて、特徴量を出力するように構成されてもよい。その場合、エンコーダ１３３には、ＳＴ（Spatio-Temporal）－ＧＣＮが用いられる。例えば、フレーム番号が１～５の連続した５つのフレームに関して、フレーム番号１～３のフレーム、フレーム番号２～４のフレーム、フレーム番号３～５のフレームの各々が結合されて、コンテクストとして選択される。このように、互いに連続するコンテクストは、同じフレーム番号のフレームを共有することが好ましい。

【0034】

損失計算部１５（損失計算手段）は、エンコーダ１３３によって算出された特徴量を用いて、損失を計算する。例えば、損失計算部１５は、非特許文献１に開示されたCycle-back Loss法を用いて、損失を計算する。損失計算部１５による損出の計算方法については、限定を加えない。

【0035】

非特許文献１の手法を用いる場合、損失計算部１５は、同じ動作を含む２つの動画データ１１０（画像列）に対して、ＲｅｓＮｅｔ（Residual Network）をベースとしたエンコーダモデルを適用する。その結果、埋め込み表現のデータ列（埋め込みデータ列）が得られる。例えば、損失計算部１５は、動画データＳおよび動画データＴに対して、５０層のConvolutional Neural Network（ＣＮＮ）を含むＲｅｓＮｅｔ５０をベースとしたエンコーダモデルを適用して、埋め込みデータ列を得る。損失計算部１５は、動画データＳの埋め込みデータ列Ｕのｉフレーム目における埋め込みｕ_iに対して、動画データＴの埋め込みデータ列Ｖに含まれる埋め込みのうち最近傍の埋め込みｖを探索する（ｉは自然数）。損失計算部１５は、探索された埋め込みｖに対して、動画データＳの埋め込みデータ列Ｕの中で最近傍になる埋め込みｕ_kを探索する（ｋは自然数）。損失計算部１５は、埋め込みｕ_iおよび埋め込みｕ_kを用いて、損失を計算する。例えば、損失計算部１５は、ｉとｋの一致に関する交差エントロピー損失を、損失として計算する。例えば、損失計算部１５は、ｉとｋとの差に関する回帰ロスを、損失として計算する。

【0036】

学習処理部１６（学習処理手段）は、算出された損失の変化量（勾配）を計算する。例えば、学習処理部１６は、勾配降下法を用いて勾配を計算する。学習処理部１６は、算出された勾配に応じて、機械学習によってエンコーダ１３３を訓練する。学習処理部１６は、予め設定された基準よりも勾配が小さくなるまで、エンコーダ１３３を訓練する。例えば、学習処理部１６は、確率的勾配降下法ＳＧＤ（Stochastic Gradient Descent）を用いて、エンコーダ１３３を訓練する。学習処理部１６は、確率的勾配降下法ＳＧＤではない手法を用いて、エンコーダ１３３を訓練してもよい。

【0037】

（動作）
次に、学習装置１０の動作について図面を参照しながら説明する。図５は、学習装置１０の動作の一例について説明するためのフローチャートである。図５のフローチャートに沿った説明においては、学習装置１０を動作主体として説明する。

【0038】

図５において、まず、学習装置１０は、学習対象の動画データ１１０を取得する（ステップＳ１１）。

【0039】

次に、学習装置１０は、動画データ１１０を構成するフレームごとに姿勢データを推定する（ステップＳ１２）。

【0040】

次に、学習装置１０は、動画データ１１０に含まれるフレームごとに推定された姿勢データを角度表現に正規化する（ステップＳ１３）。

【0041】

次に、学習装置１０は、グラフ畳み込みネットワークによって、角度表現に正規化された姿勢データ（関節角データセット）から、学習対象動作に関する特徴量を計算する（ステップＳ１４）。

【0042】

次に、学習装置１０は、算出された特徴量を用いて、損失を計算する（ステップＳ１５）。

【0043】

次に、学習装置１０は、算出された損失を用いて勾配を計算して、機械学習によってエンコーダ１３３を訓練する（ステップＳ１６）。全ての動画データの訓練が完了していない場合（ステップＳ１７でＮｏ）、ステップＳ１１に戻る。全ての動画データの訓練が完了すると（ステップＳ１７でＹｅｓ）、図５のフローチャートに沿った処理は終了である。

【0044】

以上のように、本実施形態の学習装置は、取得部、推定部、特徴量計算部、損失計算部、および学習処理部を備える。取得部は、学習対象動画データを取得する。推定部は、学習対象動画データから姿勢データを推定する。特徴量計算部は、グラフ畳み込みネットワークを含むエンコーダを有する。特徴量計算部は、学習対象動作を含む動画データを構成するフレームごとに推定された姿勢データを角度表現に正規化する。特徴量計算部は、角度表現に正規化された姿勢データをエンコーダに入力して埋め込み空間における特徴量を計算する。損失計算部は、エンコーダによって算出された特徴量に応じた損失を計算する。学習処理部は、算出された損失の勾配に基づいてエンコーダを訓練する。

【0045】

本実施形態の学習装置は、学習対象動画データを構成するフレームごとに推定された姿勢データに関する特徴量に応じた損失に基づいて、エンコーダを訓練する。姿勢データは、角度表現に正規化されている。また、特徴量は、埋め込み空間において計算される。そのため、本実施形態によれば、背景の影響を受けずに、同期対象動画データに含まれる動作を高精度で同期できるようにエンコーダを訓練できる。本実施形態の学習装置によって訓練されたエンコーダを用いれば、タグやメタデータなどのアノテーションがなくても、動画データを拡張できる。このエンコーダを用いれば、多様な人間の動作データの動作タイミングや速さが揃った動作を含む動画データを拡張できる。本実施形態の学習装置によって訓練されたエンコーダは、複数の動画データの各々に含まれる同期対象動作を同期させるデータ変換に使用できる。

【0046】

（第２の実施形態）
次に、第２の実施形態に係るデータ変換装置について図面を参照しながら説明する。本実施形態のデータ変換装置は、第１の実施形態の手法によって訓練されたエンコーダを用いて、同期対象動画データを基準動画データに同期させる。

【0047】

（構成）
図６は、本実施形態に係るデータ変換装置２０の構成の一例を示すブロック図である。データ変換装置２０は、取得部２１、推定部２２、特徴量計算部２３、距離計算部２５、同期処理部２６、および出力部２９を備える。

【0048】

取得部２１（取得手段）は、基準動画データ２１１および同期対象動画データ２１２を取得する。基準動画データ２１１および同期対象動画データ２１２には、共通の同期対象動作が含まれる。基準動画データ２１１は、同期の基準となるデータである。同期対象動画データ２１２は、基準動画データ２１１に合わせて、同期させるデータである。動画データを構成するフレームから抽出できれば、同期対象動作の種類については特に限定を加えない。例えば、同期対象動作には、背伸びや跳躍、歩行、走行、ストレッチなどの動作が含まれる。

【0049】

推定部２２（推定手段）は、第１の実施形態の推定部１２と同様の構成である。推定部２２は、基準動画データ２１１および同期対象動画データ２１２の各々に含まれるフレームから、人物を抽出する。推定部２２は、抽出された人物の姿勢データを推定する。例えば、推定部２２は、深層学習モデルを用いて、基準動画データ２１１および同期対象動画データ２１２の各々から抽出された人物の姿勢データを推定する。推定部２２は、基準動画データ２１１および同期対象動画データ２１２の各々から抽出された人物に関して、代表的な部位の空間的な位置を姿勢データとして推定する。

【0050】

特徴量計算部２３（特徴量計算手段）は、第１の実施形態の特徴量計算部１３と同様の構成である。特徴量計算部２３は、正規化部２３１およびエンコーダ２３３を含む。正規化部２３１は、第１の実施形態の正規化部１３１と同様の構成である。エンコーダ２３３は、第１の実施形態のエンコーダ１３３と同様の構成である。特徴量計算部２３は、正規化部２３１を用いて、姿勢データを角度表現に正規化する。特徴量計算部２３は、エンコーダ２３３を用いて、角度表現に正規化された姿勢データから、同期対象動作に関する特徴量を抽出する。基準動画データ２１１を構成するフレームごとの関節角データセットを用いて算出された特徴量を、第１特徴量と呼ぶ。同期対象動画データ２１２構成するフレームごとの関節角データセットを用いて算出された特徴量を、第２特徴量と呼ぶ。

【0051】

距離計算部２５（距離計算手段）は、基準動画データ２１１に関する第１特徴量と、同期対象動画データ２１２に関する第２特徴量との距離を計算する。すなわち、距離計算部２５は、基準動画データ２１１を構成するフレームごとに算出された特徴量と、同期対象動画データ２１２を構成するフレームごとに算出された特徴量との距離を計算する。距離計算部２５は、埋め込み空間における距離を計算する。距離計算部２５は、基準動画データ２１１に関する第１特徴量と、同期対象動画データ２１２に関する第２特徴量との距離（誤差の絶対値）を総当たりで計算する。例えば、距離計算部２５は、Ｌ２ノルムなどの手法を用いて、特徴量間の距離を算出する。この手法によれば、時系列データの長さや周期が違っても、距離（類似度）を導出できる。

【0052】

例えば、距離計算部２５は、ＤＴＷ（Dynamic Time Warping）などの手法を用いて、最適経路を計算する。ＤＴＷでは、２つの時系列データを構成する各点の距離（誤差の絶対値）が総当たりで計算される。各特徴量に関して算出された全ての距離のうち、最も短い経路が最適経路に相当する。ＤＴＷによれば、基準動画データ２１１と同期対象動画データ２１２のフレーム長や周期が異なっても、それらを構成するフレームの類似度を計算できる。

【0053】

同期処理部２６（同期処理手段）は、距離計算部２５により算出された距離に基づいてフレームごとの最適経路を計算する。同期処理部２６は、最適経路で結ばれたフレームのタイミングを揃えることによって、同期対象動画データを基準動画データに同期させる。同期処理部２６は、基準動画データに含まれる同期対象動作を基準として、同期対象動画を基準動画データに同期させる。その結果、基準動画データ２１１および同期対象動画データ２１２に含まれる最も類似した動作が対応付けられる。そして、同期処理部２６は、対応付けられた動作を含むフレームのタイミングを揃えて、基準動画データ２１１および同期対象動画データ２１２に含まれる動作を同期させる。

【0054】

図７は、基準動画データ２１１および同期対象動画データ２１２を構成するフレームの最適経路を対応付けたマップの一例を示す概念図である。基準動画データ２１１を構成するフレームごとの特徴量の時系列データ（実線）をＦ１と表記する。同期対象動画データ２１２を構成するフレームごとの特徴量の時系列データ（破線）をＦ２と表記する。図７は、アレイ状に配列されたマス目に最適経路がドットで示される。基準動画データ２１１を構成するフレームと、同期対象動画データ２１２を構成するフレームとは、最適経路（ドット）のタイミングで対応付けられる。

【0055】

図８は、基準動画データ２１１および同期対象動画データ２１２を構成するフレームの最適経路を対応付けたグラフである。図８は、フレームごとの最適経路が線分で対応付けられた様子を示す。例えば、時系列データＦ２（破線）のと時刻ｉと、時系列データＦ１（実線）における時刻ｉ＋２とが、最適経路で結ばれる。

【0056】

図９は、基準動画データ２１１に基づく時系列データＦ１と、基準動画データ２１１に合わせて同期された同期済み動画データ２９０を構成するフレームごとの特徴量の時系列データＳ２（破線）とを対応付けたグラフである。図９のように、最適経路として対応付けられたフレームのタイミングを揃えることによって、同期対象動画データ２１２が基準動画データ２１１に同期される。

【0057】

出力部２９（出力手段）は、同期済み動画データ２９０を出力する。同期済み動画データ２９０は、同期対象動作（学習対象動作）の学習に用いられる。同期済み動画データ２９０は、処理される同期対象動画データ２１２の数に応じて増える。すなわち、データ変換装置２０は、同期対象動画データ２１２を用いて同期済み動画データ２９０を増やすことによって、学習対象動作を含む動画データを拡張する。

【0058】

出力部２９から出力された同期済み動画データ２９０の用途は、学習対象動作の拡張に限定されない。同期済み動画データ２９０は、同期対象動作を検証するユーザによって閲覧可能な端末装置の画面に表示されてもよい。例えば、同期済み動画データ２９０は、その同期済み動画データ２９０と同期されている基準動画データ２１１と並べて、端末装置の画面に表示されてもよい。例えば、同期済み動画データ２９０は、同期前の同期対象動画データ２１２と並べて、端末装置の画面に表示されてもよい。

【0059】

（動作）
次に、データ変換装置２０の動作について図面を参照しながら説明する。図１０は、データ変換装置２０の動作の一例について説明するためのフローチャートである。図１０のフローチャートに沿った説明においては、データ変換装置２０を動作主体として説明する。

【0060】

図１０において、まず、データ変換装置２０は、基準動画データ２１１と同期対象動画データ２１２を取得する（ステップＳ２１）。

【0061】

次に、データ変換装置２０は、基準動画データ２１１および同期対象動画データ２１２を構成するフレームごとに姿勢データを推定する（ステップＳ２２）。

【0062】

次に、データ変換装置２０は、基準動画データ２１１および同期対象動画データ２１２を構成するフレームごとに、姿勢データを角度表現に正規化する（ステップＳ２３）。

【0063】

次に、データ変換装置２０は、同期処理を実行する（ステップＳ２４）。ステップＳ２４の同期処理において、データ変換装置２０は、角度表現に正規化された姿勢データを用いて、同期対象動画データ２１２に含まれる動作を、基準動画データ２１１に含まれる動作と同期させる。ステップＳ２４の同期処理の詳細については、後述する。

【0064】

次に、データ変換装置２０は、同期処理によって同期された同期済み動画データ２９０を出力する（ステップＳ２５）。出力された同期済み動画データ２９０は、学習対象動作の学習に用いられる。出力された同期済み動画データ２９０は、画面に表示されてもよい。

【0065】

〔同期処理〕
次に、データ変換装置２０による同期処理（図１０のステップＳ２４）の一例について図面を参照しながら説明する。図１１は、同期処理（図１０のステップＳ２４）について説明するためのフローチャートである。図１１のフローチャートに沿った説明においては、データ変換装置２０を動作主体として説明する。

【0066】

図１１において、まず、データ変換装置２０は、同期対象動画データ２１２および基準動画データ２１１を構成するフレームごとの角度表現を用いて、グラフ畳み込みネットワークにより特徴量を計算する（ステップＳ２４１）。

【0067】

次に、データ変換装置２０は、同期対象動画データおよび基準動画データに関して、特徴量の距離を計算する（ステップＳ２４２）。

【0068】

次に、データ変換装置２０は、算出された距離を用いて、フレーム間の最適経路を計算する（ステップＳ２４３）。

【0069】

次に、データ変換装置２０は、算出された最適経路のタイミングを揃えて、同期対象動画データを基準動画データに同期させる（ステップＳ２４４）。ステップＳ２４４の次は、図１０のステップＳ２５に進む。

【0070】

以上のように、本実施形態のデータ変換装置は、取得部、推定部、特徴量計算部、距離計算部、同期処理部、および出力部を備える。取得部は、基準動画データおよび同期対象動画データを取得する。推定部は、基準動画データおよび同期対象動画データの各々を構成するフレームごとに姿勢データを推定する。特徴量計算部は、グラフ畳み込みネットワークを含むエンコーダを有する。例えば、エンコーダは、角度表現に正規化された姿勢データをグラフ畳み込みによって畳み込み、埋め込み空間における埋め込みを特徴量として出力する。特徴量計算部は、同期対象動作を含む動画データを構成するフレームごとに推定された姿勢データを角度表現に正規化する。特徴量計算部は、角度表現に正規化された姿勢データをエンコーダに入力して埋め込み空間における特徴量を計算する。距離計算部は、基準動画データを構成するフレームごとに算出された特徴量と、同期対象動画データを構成するフレームごとに算出された特徴量との距離を計算する。例えば、距離計算部は、基準動画データを構成するフレームに関する特徴量と、同期対象動画データを構成するフレームに関する特徴量との間の距離を総当たりで計算する。同期処理部は、算出された距離に基づいてフレームごとの最適経路を計算する。例えば、同期処理部は、算出された距離に基づいてフレームごとの最適経路を計算する。同期処理部は、最適経路で結ばれたフレームのタイミングを揃えることによって、同期対象動画データを基準動画データに同期させる。出力部は、基準動画データに同期された同期対象動画データを出力する。

【0071】

本実施形態のデータ変換装置は、動画データを構成するフレームごとに推定された姿勢データの特徴に基づいて、同期対象動画データを基準動画データに同期させる。そのため、同期対象動画データは、背景の影響を受けずに、基準動画データに含まれる同期対象動作を基準として同期される。また、本実施形態のデータ変換装置は、角度表現に正規化された姿勢データの特徴に基づいて、同期対象動画データを基準動画データに同期させる。そのため、同期対象動画データは、基準動画データに含まれる同期対象動作を基準として高精度に同期される。すなわち、本実施形態によれば、背景の影響を受けずに、複数の動画データの各々に含まれる同期対象動作を高精度で同期できる。

【0072】

一般に、動画データを構成するフレームに含まれる画像に基づいて、２つの動画データの各々に含まれる同期対象動作を同期させることは難しい。本実施形態では、動画データを構成するフレームを、埋め込みされた埋め込み空間に落とし込む。埋め込み空間では、特徴量の間の距離を計算できる。本実施形態では、埋め込み空間における距離を用いて、同じ動作を関連付ける。本実施形態では、フレーム単位で抽出された特徴量に基づき、ＤＴＷの手法を用いて同期を取る。そのため、本実施形態によれば、角度表現に変換された姿勢データを直接用いて同期を取るよりも、２つの動画データを高精度に同期させることができる。

【0073】

本実施形態の手法では、基準動画データに含まれる同期対象動作のタイミングに、同期対象動画データに含まれる同期対象動作のタイミングを合わせて、時間方向に伸縮・同期させる。そのため、基準動画データに含まれる同期対象動作と、同期対象動画データに含まれる同期対象動作とは、時間方向において正規化される。そのため、本実施形態によれば、タグやメタデータなどのアノテーションがなくても、動画データを拡張できる。本実施形態によれば、多様な人間の動作データの動作タイミングや速さが揃った動作を含む動画データを拡張できる。

【0074】

（第３の実施形態）
次に、第３の実施形態に係るデータ変換装置について図面を参照しながら説明する。本実施形態のデータ変換装置は、第１の実施形態の学習装置によって訓練されたエンコーダを用いて、複数の同期対象動画データを互いに同期させる。

【0075】

（構成）
図１２は、本実施形態に係るデータ変換装置３０の構成の一例を示すブロック図である。データ変換装置３０は、取得部３１、推定部３２、特徴量計算部３３、距離計算部３５、同期処理部３６、変換配列記憶部３７、逆変換部３８、および出力部３９を備える。

【0076】

取得部３１（取得手段）は、複数の同期対象動画データ３１０を取得する。図１２の例では、取得部３１は、同期対象動画データ３１０Ａ、同期対象動画データ３１０Ｂ、および同期対象動画データ３１０Ｃを取得する。取得部３１は、４つ以上の同期対象動画データ３１０を取得してもよい。同期対象動画データ３１０Ａ、同期対象動画データ３１０Ｂ、および同期対象動画データ３１０Ｃには、共通の同期対象動作が含まれる。動画データを構成するフレームから抽出できれば、同期対象動作の種類については特に限定を加えない。

【0077】

推定部３２（推定手段）は、第１の実施形態の推定部１２と同様の構成である。推定部３２は、複数の同期対象動画データ３１０の各々を構成するフレームごとに、人物を抽出する。推定部３２は、抽出された人物の姿勢データを推定する。例えば、推定部３２は、深層学習モデルを用いて、複数の同期対象動画データ３１０の各々から抽出された人物の姿勢データを推定する。推定部３２は、複数の同期対象動画データ３１０の各々から抽出された人物に関して、代表的な部位の空間的な位置を姿勢データとして推定する。

【0078】

特徴量計算部３３（特徴量計算手段）は、第１の実施形態の特徴量計算部１３と同様の構成である。特徴量計算部３３は、正規化部３３１およびエンコーダ３３３を含む。正規化部３３１は、第１の実施形態の正規化部１３１と同様の構成である。エンコーダ３３３は、第１の実施形態のエンコーダ１３３と同様の構成である。特徴量計算部３３は、正規化部３３１を用いて、姿勢データを角度表現に正規化する。特徴量計算部３３は、エンコーダ３３３を用いて、角度表現に正規化された姿勢データから、同期対象動作に関する特徴量を抽出する。

【0079】

距離計算部３５（距離計算手段）は、第２の実施形態の距離計算部２５と同様の構成である。距離計算部３５は、複数の同期対象動画データ３１０の各々に関して算出された特徴量の距離を計算する。すなわち、距離計算部３５は、複数の同期対象動画データ３１０の各々に関して算出された特徴量の距離を計算する。距離計算部３５は、埋め込み空間における距離を計算する。

【0080】

同期処理部３６（同期処理手段）は、第２の実施形態の同期処理部２６と同様の構成である。同期処理部３６は、複数の同期対象動画データ３１０のうち１つを基準動画データに設定する。例えば、同期処理部３６は、同期対象動画データ３１０Ａを基準動画データに設定する。例えば、同期処理部３６は、同期対象動画データ３１０Ａに含まれる同期対象動作を基準として、同期対象動画データ３１０Ｂまたは同期対象動画データ３１０Ｃを同期対象動画データ３１０Ａに同期させる。同期処理部３６は、同期対象動画データ３１０Ｂや同期対象動画データ３１０Ｃを基準動画データに設定してもよい。

【0081】

同期処理部３６は、距離計算部３５により算出された距離に基づいてフレームごとの最適経路を計算する。同期処理部３６は、最適経路で結ばれたフレームのタイミングを揃えることによって、同期対象動画データを基準動画データに同期させる。同期処理部３６は、基準動画データに含まれる同期対象動作を基準として、同期対象動画を基準動画データに同期させる。その結果、基準動画データおよび同期対象動画データに含まれる最も類似した動作が対応付けられる。そして、同期処理部３６は、互いに対応付けられた動作を含むフレームのタイミングを揃えて、基準動画データおよび同期対象動画データに含まれる動作を同期させる。

【0082】

同期処理部３６は、同期対象動画データ３１０の同期に用いられた変換配列を、変換配列記憶部３７に記憶させる。例えば、同期処理部３６は、同期対象動画データ３１０Ａを基準動画データとして、同期対象動画データ３１０Ｂまたは同期対象動画データ３１０Ｃを同期させた際に用いられた変換配列を、変換配列記憶部３７に記憶させる。また、同期処理部３６は、同期されていない同期対象動画データ３１０を逆変換部３８に出力する。逆変換部３８に出力された同期対象動画データ３１０は、基準動画データとして用いられた同期対象動画データ３１０の同期に用いられる。

【0083】

変換配列記憶部３７（変換配列記憶手段）は、同期対象動画データ３１０の同期に用いられた変換配列を記憶する。例えば、変換配列記憶部３７は、同期対象動画データ３１０Ａを基準動画データとして、同期対象動画データ３１０Ｂまたは同期対象動画データ３１０Ｃを同期させた際に用いられた変換配列を記憶する。変換配列記憶部３７に記憶された変換配列は、同期処理部３６で同期されなかった同期対象動画データ３１０の同期に用いられる。同期処理部３６で同期されなかった同期対象動画データ３１０は、基準動画データとして用いられた同期対象動画データ３１０に相当する。

【0084】

逆変換部３８（逆変換手段）は、同期されていない同期対象動画データ３１０を同期処理部３６から取得する。逆変換部３８は、取得した同期対象動画データ３１０の同期に用いられる変換配列を取得する。例えば、同期対象動画データ３１０Ｂに同期対象動画データ３１０Ａを同期させる場合、逆変換部３８は、同期対象動画データ３１０Ａに対して同期対象動画データ３１０Ｂを同期させた際に用いられた変換配列を取得する。例えば、同期対象動画データ３１０Ｃに同期対象動画データ３１０Ａを同期させる場合、逆変換部３８は、同期対象動画データ３１０Ａに対して同期対象動画データ３１０Ｃを同期する際に用いられた変換配列を取得する。

【0085】

逆変換部３８は、変換配列を用いて、基準動画データとして用いられた同期対象動画データ３１０に逆変換を行う。逆変換部３８は、基準動画データとして用いられなかった他の同期対象動画データ３１０を基準として、基準動画データとして用いられた同期対象動画データ３１０を他の同期対象動画データ３１０に同期させる。例えば、逆変換部３８は、同期対象動画データ３１０Ａに対して同期対象動画データ３１０Ｂを同期させた際に用いられた変換配列を用いて、同期対象動画データ３１０Ｂに同期対象動画データ３１０Ａを同期させる。例えば、逆変換部３８は、同期対象動画データ３１０Ａに対して同期対象動画データ３１０Ｃを同期させた際に用いられた変換配列を用いて、同期対象動画データ３１０Ｃに同期対象動画データ３１０Ａを同期させる。

【0086】

出力部３９（出力手段）は、同期済み動画データ３９０を出力する。同期済み動画データ３９０は、学習対象動作の学習に用いられる。同期済み動画データ３９０は、処理される同期対象動画データ３１０の数に応じて増える。すなわち、データ変換装置３０は、同期対象動画データ３１０を用いて同期済み動画データ３９０を増やすことによって、学習対象動作を含む動画データを拡張する。

【0087】

出力部３９から出力された同期済み動画データ３９０の用途は、学習対象動作の拡張に限定されない。同期済み動画データ３９０は、同期対象動作を検証するユーザによって閲覧可能な端末装置の画面に表示されてもよい。例えば、同期済み動画データ３９０は、その同期済み動画データ３９０と同期された他の同期済み動画データ３９０と並べて、端末装置の画面に表示されてもよい。例えば、同期済み動画データ３９０は、同期前の同期済み動画データ３９０と並べて、端末装置の画面に表示されてもよい。

【0088】

（動作）
次に、データ変換装置３０の動作について図面を参照しながら説明する。図１３は、データ変換装置３０の動作の一例について説明するためのフローチャートである。図１３のフローチャートに沿った説明においては、データ変換装置３０を動作主体として説明する。

【0089】

図１３において、まず、データ変換装置３０は、複数の同期対象動画データ３１０を取得する（ステップＳ３１）。

【0090】

次に、データ変換装置３０は、複数の同期対象動画データ３１０を構成するフレームごとに姿勢データを推定する（ステップＳ３２）。

【0091】

次に、データ変換装置３０は、複数の同期対象動画データ３１０を構成するフレームごとに、姿勢データを角度表現に正規化する（ステップＳ３３）。

【0092】

次に、データ変換装置３０は、同期処理を実行する（ステップＳ３４）。ステップＳ３４の同期処理において、データ変換装置３０は、角度表現に正規化された姿勢データを用いて、同期対象動画データ３１０に含まれる動作を、他の同期対象動画データ３１０に含まれる動作と同期させる。ステップＳ３４の同期処理の詳細については、後述する。

【0093】

次に、データ変換装置３０は、同期処理によって同期された同期済み動画データ３９０を出力する（ステップＳ３５）。出力された同期済み動画データ３９０は、学習対象動作の学習に用いられる。出力された同期済み動画データ３９０は、画面に表示されてもよい。

【0094】

〔同期処理〕
次に、データ変換装置３０による同期処理（図１３のステップＳ３４）の一例について図面を参照しながら説明する。図１４は、同期処理（図１３のステップＳ３４）について説明するためのフローチャートである。図１４のフローチャートに沿った説明においては、データ変換装置３０を動作主体として説明する。

【0095】

図１４において、まず、データ変換装置３０は、複数の同期対象動画データ３１０を構成するフレームごとの角度表現を用いて、グラフ畳み込みネットワークにより特徴量を計算する（ステップＳ３４１）。

【0096】

次に、データ変換装置３０は、複数の同期対象動画データ３１０のうち一つを基準動画データに設定する（ステップＳ３４２）。

【0097】

次に、データ変換装置３０は、基準動画データおよび同期対象動画データ３１０に関して、特徴量の距離に応じて、フレーム間の最適経路を計算する（ステップＳ３４３）。

【0098】

次に、データ変換装置３０は、算出された最適経路のタイミングを揃えて、同期対象動画データ３１０を基準動画データに同期させる（ステップＳ３４４）。

【0099】

次に、データ変換装置３０は、同期対象動画データ３１０を基準動画データに同期させるのに用いられた変換配列を、変換配列記憶部３７に記憶させる（ステップＳ３４５）。

【0100】

次に、データ変換装置３０は、変換配列を用いて、いずれかの同期対象動画データ３１０に基準動画データを同期させる（ステップＳ３４６）。ステップＳ３４６の次は、図１３のステップＳ３５に進む。

【0101】

以上のように、本実施形態のデータ変換装置は、取得部、推定部、特徴量計算部、距離計算部、同期処理部、および出力部を備える。取得部は、複数の同期対象動画データを取得する。推定部は、複数の同期対象動画データの各々を構成するフレームごとに姿勢データを推定する。特徴量計算部は、グラフ畳み込みネットワークを含むエンコーダを有する。例えば、エンコーダは、角度表現に正規化された姿勢データをグラフ畳み込みによって畳み込み、埋め込み空間における埋め込みを特徴量として出力する。特徴量計算部は、複数の同期対象動画データを構成するフレームごとに推定された姿勢データを角度表現に正規化する。特徴量計算部は、角度表現に正規化された姿勢データをエンコーダに入力して埋め込み空間における特徴量を計算する。距離計算部は、複数の同期対象動画データを構成するフレームごとに算出された特徴量との距離を計算する。例えば、距離計算部は、複数の同期対象動画データを構成するフレームに関する特徴量との間の距離を総当たりで計算する。同期処理部は、算出された距離に基づいてフレームごとの最適経路を計算する。例えば、同期処理部は、算出された距離に基づいてフレームごとの最適経路を計算する。同期処理部は、最適経路で結ばれたフレームのタイミングを揃えることによって複数の同期対象動画データを互いに同期させる。出力部は、同期された同期対象動画データを出力する。

【0102】

本実施形態のデータ変換装置は、複数の同期対象動画データのうち１つを基準動画データに設定する。本実施形態のデータ変換装置は、複数の同期対象動画データを基準動画データと同期させて、同期済みの動画データに変換する。そのため、本実施形態によれば、複数の同期対象動画データを互いに同期させることができる。

【0103】

本実施形態の一態様のデータ変換装置は、変換配列記憶部と逆変換部をさらに備える。変換配列記憶部は、同期対象動画データの同期に用いられた変換配列を記憶する。逆変換部は、変換配列を用いて、基準動画データとして用いられた同期対象動画データに逆変換を行う。同期処理部は、複数の同期対象動画データのうち１つを基準動画データに設定する。同期処理部は、算出された距離に基づいてフレームごとに最適経路を計算する。同期処理部は、最適経路で結ばれたフレームのタイミングを揃えることによって、同期対象動画データを基準動画データに同期させる。同期処理部は、同期対象動画データの同期に用いられた変換配列を、変換配列記憶部に記憶させる。逆変換部は、基準動画データとして用いられなかった他の同期対象動画データを基準として、基準動画データとして用いられた同期対象動画データを他の同期対象動画データに同期させる。

【0104】

本態様のデータ変換装置は、複数の同期対象動画データの同期に用いられた変換配列を記憶する。本実施形態のデータ変換装置は、変換配列を用いて、基準動画データを他の同期対象動画データに同期させる。変換配列は、任意の同期対象動画データに対して用いられてもよい。このように、本実施形態によれば、基準動画データを同期対象動画データと同期させる処理をせずに、変換配列を用いて同期させることができる。例えば、同期対象動画データが２Ｎ個ある場合、２（Ｎ－１）個の変換配列を用いて、Ｎ²通りの同期済み動画データを表現できる（Ｎは自然数）。本実施形態によれば、複数の同期対象動画データを互いに同期させる処理における計算量を軽減できる。

【0105】

（第４の実施形態）
次に、第４の実施形態に係る動画変換システム４０について図面を参照しながら説明する。本実施形態の動画変換システム４０は、第１の実施形態の学習装置と、第２～第３の実施形態のデータ変換装置とを組み合わせた構成である。

【0106】

（構成）
図１５は、本実施形態に係る動画変換システム４０の一例を示すブロック図である。動画変換システム４０は、学習装置４１およびデータ変換装置４５を備える。学習装置４１は、第１の実施形態の学習装置１０と同様の構成である。データ変換装置４５は、第２の実施形態のデータ変換装置２０または第３の実施形態のデータ変換装置３０と同様の構成である。

【0107】

学習装置４１およびデータ変換装置４５は、第１～第３の実施形態で提示された特徴量計算部（図示しない）を有する。特徴量計算部は、学習装置４１およびデータ変換装置４５のうち少なくともいずれかが有すればよい。例えば、データ変換装置４５は、学習装置４１が有する特徴量計算部に接続される。例えば、学習装置４１は、データ変換装置４５が有する特徴量計算部に接続される。例えば、学習装置４１およびデータ変換装置４５の各々は、同じ特徴量計算部を個別に有する。例えば、学習装置４１およびデータ変換装置４５は、動画変換システム４０の外部に配置されたクラウドやサーバに配置された特徴量計算部にアクセスするように構成されてもよい。

【0108】

学習装置４１は、学習対象の動画データ４１０を取得する。学習装置４１は、取得した動画データ４１０を用いて、特徴量計算部に含まれるエンコーダを学習させる。学習装置４１は、学習結果に応じてエンコーダを更新する。学習装置４１およびデータ変換装置４５が異なる特徴量計算部を用いる場合、データ変換装置４５が用いる特徴量計算部に含まれるエンコーダも、学習装置４１による学習結果に応じて更新される。本実施形態においては、データ変換装置４５が用いる特徴量計算部に含まれるエンコーダは、学習装置４１による学習結果に応じて適宜更新される。

【0109】

データ変換装置４５は、同期対象動画データ４５０を取得する。データ変換装置４５は、特徴量計算部に含まれるエンコーダを用いて、取得した同期対象動画データ４５０を同期済み動画データ４５５に変換する。データ変換装置４５は、同期された同期済み動画データ４５５を出力する。

【0110】

同期済み動画データ４５５は、同期対象動作（学習対象動作）の学習に用いられる。同期済み動画データ４５５は、処理される同期対象動画データ４５０の数に応じて増える。すなわち、動画変換システムは、同期対象動画データ４５０を用いて同期済み動画データ４５５を増やすことによって、学習対象動作を含む動画データを拡張する。同期済み動画データ４５５の用途は、学習対象動作の拡張に限定されない。例えば、同期済み動画データ４５５は、同期対象動作を検証するユーザによって閲覧可能な端末装置の画面に表示されてもよい。

【0111】

以上のように、本実施形態の動画変換システムは、学習装置およびデータ変換装置を備える。学習装置は、第１の実施形態の学習装置である。データ変換装置は、第２～第３の実施形態のデータ変換装置である。学習装置は、学習対象動作を含む学習対象動画データをエンコーダに学習させる。学習装置は、学習結果に応じてエンコーダを更新する。データ変換装置は、学習装置によって更新されたエンコーダを用いて、学習対象動作に相当する同期対象動作を含む同期対象動画データおよび基準動画データを取得する。データ変換装置は、エンコーダを用いて同期対象動画データを基準動画データに同期させる。

【0112】

本実施形態の動画変換システムは、拡張された動画データを含む学習対象動画データを用いて、エンコーダを更新する。学習対象動画データは、データ変換装置によって同期された同期済みの同期対象動画データを含んでもよい。本実施形態の動画変換システムは、高精度のエンコーダを用いて、同期対象動画データを基準動画データに同期させることができる。本実施形態の動画変換システムは、学習対象動作の同期が取れた学習対象動画データを用いて適宜更新されたエンコーダによって、学習対象動画データを高精度に拡張できる。そのため、本実施形態によれば、大量に準備することが難しい実測された動画データを基礎として、大量のデータを用いた場合と同等以上の精度のエンコーダを構築できる。

【0113】

（第５の実施形態）
次に、第５の実施形態に係る学習装置について図面を参照しながら説明する。本実施形態の学習装置は、第１の実施形態に係る学習装置１０を簡略化した構成である。図１６は、本実施形態に係る学習装置５０の構成の一例を示すブロック図である。学習装置５０は、特徴量計算部５３、損失計算部５５、および学習処理部５６を備える。

【0114】

特徴量計算部５３は、グラフ畳み込みネットワークを含むエンコーダを有する。特徴量計算部５３は、同期対象動作を含む学習対象動画データを構成するフレームごとに推定された姿勢データを角度表現に正規化する。特徴量計算部５３は、角度表現に正規化された姿勢データをエンコーダに入力して埋め込み空間における特徴量を計算する。

【0115】

損失計算部５５は、エンコーダによって算出された特徴量に応じた損失を計算する。学習処理部５６は、算出された損失の勾配に基づいてエンコーダを訓練する。

【0116】

本実施形態の学習装置は、学習対象動画データを構成するフレームごとに推定された姿勢データに関する特徴量に応じた損失に基づいて、エンコーダを訓練する。姿勢データは、角度表現に正規化されている。また、特徴量は、埋め込み空間において計算される。そのため、本実施形態によれば、背景の影響を受けずに、複数の同期対象動画データに含まれる同期対象動作を高精度で同期できるようにエンコーダを訓練できる。本実施形態の学習装置によって訓練されたエンコーダは、複数の動画データの各々に含まれる同期対象動作を同期させるデータ変換に使用できる。

【0117】

（第６の実施形態）
次に、第６の実施形態に係るデータ変換装置について図面を参照しながら説明する。本実施形態のデータ変換装置は、第２～第３の実施形態に係るデータ変換装置を簡略化した構成である。図１７は、本実施形態に係るデータ変換装置６０の構成の一例を示すブロック図である。データ変換装置６０は、特徴量計算部６３、距離計算部６５、同期処理部６６、および出力部６９を備える。

【0118】

特徴量計算部６３は、グラフ畳み込みネットワークを含むエンコーダを有する。特徴量計算部６３は、同期対象動作を含む動画データを構成するフレームごとに推定された姿勢データを角度表現に正規化する。特徴量計算部６３は、角度表現に正規化された姿勢データをエンコーダに入力して埋め込み空間における特徴量を計算する。

【0119】

距離計算部６５は、基準動画データを構成するフレームごとに算出された特徴量と、同期対象動画データを構成するフレームごとに算出された特徴量との距離を計算する。同期処理部６６は、算出された距離に基づいてフレームごとの最適経路を計算する。同期処理部６６は、最適経路で結ばれたフレームのタイミングを揃えることによって、同期対象動画データを基準動画データに同期させる。出力部６９は、基準動画データに同期された同期対象動画データを出力する。

【0120】

本実施形態のデータ変換装置は、動画データを構成するフレームごとに推定された姿勢データの特徴に基づいて、同期対象動画データを基準動画データに同期させる。そのため、同期対象動画データは、背景の影響を受けずに、基準動画データに含まれる同期対象動作を基準として同期される。また、本実施形態のデータ変換装置は、角度表現に正規化された姿勢データの特徴に基づいて、同期対象動画データを基準動画データに同期させる。そのため、同期対象動画データは、基準動画データに含まれる同期対象動作を基準として高精度に同期される。すなわち、本実施形態によれば、背景の影響を受けずに、複数の動画データの各々に含まれる同期対象動作を高精度で同期できる。

【0121】

（ハードウェア）
次に、本開示の各実施形態に係る制御や処理を実行するハードウェア構成について、図面を参照しながら説明する。ここでは、そのようなハードウェア構成の一例として、図１８の情報処理装置９０（コンピュータ）をあげる。図１８の情報処理装置９０は、各実施形態の制御や処理を実行するための構成例であって、本開示の範囲を限定するものではない。

【0122】

図１８のように、情報処理装置９０は、プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５、および通信インターフェース９６を備える。図１８においては、インターフェースをＩ／Ｆ（Interface）と略記する。プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５、および通信インターフェース９６は、バス９８を介して、互いにデータ通信可能に接続される。また、プロセッサ９１、主記憶装置９２、補助記憶装置９３、および入出力インターフェース９５は、通信インターフェース９６を介して、インターネットやイントラネットなどのネットワークに接続される。

【0123】

プロセッサ９１は、補助記憶装置９３等に格納されたプログラム（命令）を、主記憶装置９２に展開する。例えば、プログラムは、各実施形態の制御や処理を実行するためのソフトウェアプログラムである。プロセッサ９１は、主記憶装置９２に展開されたプログラムを実行する。プロセッサ９１は、プログラムを実行することによって、各実施形態に係る制御や処理を実行する。

【0124】

主記憶装置９２は、プログラムが展開される領域を有する。主記憶装置９２には、プロセッサ９１によって、補助記憶装置９３等に格納されたプログラムが展開される。主記憶装置９２は、例えばＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリによって実現される。また、主記憶装置９２として、ＭＲＡＭ（Magneto resistive Random Access Memory）などの不揮発性メモリが構成／追加されてもよい。

【0125】

補助記憶装置９３は、プログラムなどの種々のデータを記憶する。補助記憶装置９３は、ハードディスクやフラッシュメモリなどのローカルディスクによって実現される。なお、種々のデータを主記憶装置９２に記憶させる構成とし、補助記憶装置９３を省略することも可能である。

【0126】

入出力インターフェース９５は、規格や仕様に基づいて、情報処理装置９０と周辺機器とを接続するためのインターフェースである。通信インターフェース９６は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークを通じて、外部のシステムや装置に接続するためのインターフェースである。外部機器と接続されるインターフェースとして、入出力インターフェース９５と通信インターフェース９６とが共通化されてもよい。

【0127】

情報処理装置９０には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器が接続されてもよい。それらの入力機器は、情報や設定の入力に使用される。入力機器としてタッチパネルが用いられる場合、タッチパネルの機能を有する画面がインターフェースになる。プロセッサ９１と入力機器とは、入出力インターフェース９５を介して接続される。

【0128】

情報処理装置９０には、情報を表示するための表示機器が備え付けられてもよい。表示機器が備え付けられる場合、情報処理装置９０には、表示機器の表示を制御するための表示制御装置（図示しない）が備えられる。情報処理装置９０と表示機器は、入出力インターフェース９５を介して接続される。

【0129】

情報処理装置９０には、ドライブ装置が備え付けられてもよい。ドライブ装置は、プロセッサ９１と記録媒体（プログラム記録媒体）との間で、記録媒体に格納されたデータやプログラムの読み込みや、情報処理装置９０の処理結果の記録媒体への書き込みを仲介する。情報処理装置９０とドライブ装置は、入出力インターフェース９５を介して接続される。

【0130】

以上が、本開示の各実施形態に係る制御や処理を可能とするためのハードウェア構成の一例である。図１８のハードウェア構成は、各実施形態に係る制御や処理を実行するためのハードウェア構成の一例であって、本開示の範囲を限定するものではない。各実施形態に係る制御や処理をコンピュータに実行させるプログラムも、本開示の範囲に含まれる。

【0131】

各実施形態に係るプログラムを記録したプログラム記録媒体も、本開示の範囲に含まれる。記録媒体は、例えば、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光学記録媒体で実現できる。記録媒体は、ＵＳＢ（Universal Serial Bus）メモリやＳＤ（Secure Digital）カードなどの半導体記録媒体によって実現されてもよい。また、記録媒体は、フレキシブルディスクなどの磁気記録媒体、その他の記録媒体によって実現されてもよい。プロセッサが実行するプログラムが記録媒体に記録されている場合、その記録媒体はプログラム記録媒体に相当する。

【0132】

各実施形態の構成要素は、任意に組み合わせられてもよい。各実施形態の構成要素は、ソフトウェアによって実現されてもよい。各実施形態の構成要素は、回路によって実現されてもよい。

【0133】

以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【符号の説明】

【0134】

１０、４１、５０ 学習装置
１１、２１、３１ 取得部
１２、２２、３２ 推定部
１３、２３、３３、５３、６３ 特徴量計算部
１５、５５ 損失計算部
１６、５６ 学習処理部
２０、３０、４５ データ変換装置
２５、３５、６５ 距離計算部
２６、３６、６６ 同期処理部
２９、３９、６９ 出力部
３７ 変換配列記憶部
３８ 逆変換部
４０ 動画変換システム
１３１、２３１ 正規化部
１３３、２３３ エンコーダ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】