知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024013112
(43)【公開日】2024-01-31
(54)【発明の名称】情報処理装置及びモデル生成方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20240124BHJP
【ＦＩ】
G06N20/00
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2022115060
(22)【出願日】2022-07-19
(71)【出願人】
【識別番号】515130201
【氏名又は名称】株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100118876
【弁理士】
【氏名又は名称】鈴木 順生
(74)【代理人】
【識別番号】100202429
【弁理士】
【氏名又は名称】石原 信人
(72)【発明者】
【氏名】小山 雅典
(72)【発明者】
【氏名】宮戸 岳
(57)【要約】
【課題】データから不変な特徴を抽出する。
【解決手段】情報処理装置は、１又は複数のメモリと、１又は複数のプロセッサと、を備える。前記１又は複数のプロセッサは、時系列データにおける少なくとも３つの時点におけるデータのそれぞれを、第１モデルを用いて潜在表現に変換し、前記少なくとも３つの時点におけるデータの前記潜在表現に基づいて、前記潜在表現の時間変化が線形性を有するように前記第１モデルのパラメータを更新する。
【選択図】図1
【解決手段】情報処理装置は、１又は複数のメモリと、１又は複数のプロセッサと、を備える。前記１又は複数のプロセッサは、時系列データにおける少なくとも３つの時点におけるデータのそれぞれを、第１モデルを用いて潜在表現に変換し、前記少なくとも３つの時点におけるデータの前記潜在表現に基づいて、前記潜在表現の時間変化が線形性を有するように前記第１モデルのパラメータを更新する。
【選択図】図1
【特許請求の範囲】
【請求項1】
１又は複数のメモリと、
１又は複数のプロセッサと、
を備え、
前記１又は複数のプロセッサは、
時系列データにおける少なくとも３つの時点におけるデータのそれぞれを、第１モデルを用いて潜在表現に変換し、
前記少なくとも３つの時点におけるデータの前記潜在表現に基づいて、前記潜在表現の時間変化が線形性を有するように前記第１モデルのパラメータを更新する、
情報処理装置。
１又は複数のプロセッサと、
を備え、
前記１又は複数のプロセッサは、
時系列データにおける少なくとも３つの時点におけるデータのそれぞれを、第１モデルを用いて潜在表現に変換し、
前記少なくとも３つの時点におけるデータの前記潜在表現に基づいて、前記潜在表現の時間変化が線形性を有するように前記第１モデルのパラメータを更新する、
情報処理装置。
【請求項2】
１又は複数のメモリと、
１又は複数のプロセッサと、
を備え、
前記１又は複数のプロセッサは、
データセットに含まれる複数データのそれぞれを、第１モデルを用いて潜在表現に変換し、
前記複数データのそれぞれの前記潜在表現に基づいて、前記潜在表現の変化の線形性に対する第１損失を計算し、
前記第１損失に基づいて前記第１モデルのパラメータを更新する、
情報処理装置。
１又は複数のプロセッサと、
を備え、
前記１又は複数のプロセッサは、
データセットに含まれる複数データのそれぞれを、第１モデルを用いて潜在表現に変換し、
前記複数データのそれぞれの前記潜在表現に基づいて、前記潜在表現の変化の線形性に対する第１損失を計算し、
前記第１損失に基づいて前記第１モデルのパラメータを更新する、
情報処理装置。
【請求項3】
前記第１損失は、前記潜在表現の変化の線形性に基づく予測誤差である、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項4】
前記１又は複数のプロセッサは、前記潜在表現の線形変換を用いて前記第１損失を計算する、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項5】
前記データセットは、３フレーム以上の複数フレームのデータを有する時系列データであり、
前記１又は複数のプロセッサは、
前記複数フレームのデータのそれぞれを、前記第１モデルを用いて前記潜在表現に変換する、
請求項２に記載の情報処理装置。
前記１又は複数のプロセッサは、
前記複数フレームのデータのそれぞれを、前記第１モデルを用いて前記潜在表現に変換する、
請求項２に記載の情報処理装置。
【請求項6】
前記１又は複数のプロセッサは、
前記複数フレームのデータのうち第１データを、前記第１モデルを用いて第１潜在表現に変換し、前記複数フレームのうち前記第１データよりも後のフレームのデータである第２データを、前記第１モデルを用いて第２潜在表現に変換し、前記複数フレームのうち前記第２データよりも後のフレームのデータである第３データを、前記第１モデルを用いて第３潜在表現に変換し、
前記第１潜在表現を前記第２潜在表現へ変換する線形作用素を算出し、
前記線形作用素の ｍ / ｎ 乗（ｍ は前記第２データと前記第３データとの時間差、 ｎ は前記第１データと前記第２データとの時間差）を前記第２潜在表現に適用した結果と前記第３潜在表現との距離、又は、前記線形作用素の (ｍ / ｎ + 1) 乗を前記第１潜在表現に適用した結果と前記第３潜在表現との距離、の少なくとも１つに基づいて、前記線形作用素を最適化する第２損失を算出する、
請求項５に記載の情報処理装置。
前記複数フレームのデータのうち第１データを、前記第１モデルを用いて第１潜在表現に変換し、前記複数フレームのうち前記第１データよりも後のフレームのデータである第２データを、前記第１モデルを用いて第２潜在表現に変換し、前記複数フレームのうち前記第２データよりも後のフレームのデータである第３データを、前記第１モデルを用いて第３潜在表現に変換し、
前記第１潜在表現を前記第２潜在表現へ変換する線形作用素を算出し、
前記線形作用素の ｍ / ｎ 乗（ｍ は前記第２データと前記第３データとの時間差、 ｎ は前記第１データと前記第２データとの時間差）を前記第２潜在表現に適用した結果と前記第３潜在表現との距離、又は、前記線形作用素の (ｍ / ｎ + 1) 乗を前記第１潜在表現に適用した結果と前記第３潜在表現との距離、の少なくとも１つに基づいて、前記線形作用素を最適化する第２損失を算出する、
請求項５に記載の情報処理装置。
【請求項7】
前記第１データ、前記第２データ、前記第３データは、前記データセットにおける連続した３フレームのデータであり、
前記１又は複数のプロセッサは、
前記第２潜在表現に前記線形作用素を適用した結果と前記第３潜在表現との距離、又は、前記第１潜在表現に前記線形作用素を２回適用した結果と前記第３潜在表現との距離、の少なくとも１つに基づいて、前記第２損失を算出する、
請求項６に記載の情報処理装置。
前記１又は複数のプロセッサは、
前記第２潜在表現に前記線形作用素を適用した結果と前記第３潜在表現との距離、又は、前記第１潜在表現に前記線形作用素を２回適用した結果と前記第３潜在表現との距離、の少なくとも１つに基づいて、前記第２損失を算出する、
請求項６に記載の情報処理装置。
【請求項8】
前記１又は複数のプロセッサは、
前記複数フレームのデータから、時間的に等間隔な複数のデータを抽出し、
抽出した前記複数のデータを、前記第１モデルを用いて変換して複数の潜在表現を取得し、
前記複数の潜在表現に基づいて、前記複数の潜在表現の間における潜在表現の変化の線形性を示す線形作用素を取得する、
請求項５に記載の情報処理装置。
前記複数フレームのデータから、時間的に等間隔な複数のデータを抽出し、
抽出した前記複数のデータを、前記第１モデルを用いて変換して複数の潜在表現を取得し、
前記複数の潜在表現に基づいて、前記複数の潜在表現の間における潜在表現の変化の線形性を示す線形作用素を取得する、
請求項５に記載の情報処理装置。
【請求項9】
前記１又は複数のプロセッサは、
前記複数フレームのデータから、第１データから第Ｔデータ（Ｔ＞２）までの連続した複数フレームのデータを抽出し、
前記連続した複数フレームのデータのそれぞれについて、前記第１モデルを用いて第１潜在表現から第Ｔ潜在表現を取得し、
第２潜在表現から前記第Ｔ潜在表現までを示すテンソルを結合した第１テンソルと、前記第１潜在表現から第（Ｔ－１）潜在表現までを示すテンソルを結合した第２テンソルのムーアペンローズ擬似逆行列であるテンソルと、の積を、前記線形作用素として算出する、
請求項８に記載の情報処理装置。
前記複数フレームのデータから、第１データから第Ｔデータ（Ｔ＞２）までの連続した複数フレームのデータを抽出し、
前記連続した複数フレームのデータのそれぞれについて、前記第１モデルを用いて第１潜在表現から第Ｔ潜在表現を取得し、
第２潜在表現から前記第Ｔ潜在表現までを示すテンソルを結合した第１テンソルと、前記第１潜在表現から第（Ｔ－１）潜在表現までを示すテンソルを結合した第２テンソルのムーアペンローズ擬似逆行列であるテンソルと、の積を、前記線形作用素として算出する、
請求項８に記載の情報処理装置。
【請求項10】
前記１又は複数のプロセッサは、
算出した前記線形作用素を用いて、前記複数フレームのデータの前記複数の潜在表現を線形変換し、
線形変換した前記複数の潜在表現に基づいて、前記第１損失を算出し、
前記第１モデルのパラメータを更新する、
請求項８に記載の情報処理装置。
算出した前記線形作用素を用いて、前記複数フレームのデータの前記複数の潜在表現を線形変換し、
線形変換した前記複数の潜在表現に基づいて、前記第１損失を算出し、
前記第１モデルのパラメータを更新する、
請求項８に記載の情報処理装置。
【請求項11】
前記１又は複数のプロセッサは、
前記第１モデルと併せて、前記第１モデルにより変換された前記潜在表現を前記複数データに再変換する第２モデルを訓練する、
請求項２に記載の情報処理装置。
前記第１モデルと併せて、前記第１モデルにより変換された前記潜在表現を前記複数データに再変換する第２モデルを訓練する、
請求項２に記載の情報処理装置。
【請求項12】
前記１又は複数のプロセッサは、
任意のエンコーダ－デコーダアルゴリズムに基づいて、前記第１モデル及び前記第２モデルを訓練する、
請求項１１に記載の情報処理装置。
任意のエンコーダ－デコーダアルゴリズムに基づいて、前記第１モデル及び前記第２モデルを訓練する、
請求項１１に記載の情報処理装置。
【請求項13】
前記１又は複数のプロセッサは、
前記複数データと、前記複数データを前記第１モデルにより変換した前記潜在表現に線形作用素を適用したデータのそれぞれを前記第２モデルにより変換したデータと、に基づいて、前記第１損失を算出する、
請求項１２に記載の情報処理装置。
前記複数データと、前記複数データを前記第１モデルにより変換した前記潜在表現に線形作用素を適用したデータのそれぞれを前記第２モデルにより変換したデータと、に基づいて、前記第１損失を算出する、
請求項１２に記載の情報処理装置。
【請求項14】
前記１又は複数のプロセッサは、
複数の前記データセットそれぞれについて前記第１損失を計算し、各データセットの前記第１損失に基づいて前記第１モデルのパラメータを更新する、
請求項２から請求項１３のいずれかに記載の情報処理装置。
複数の前記データセットそれぞれについて前記第１損失を計算し、各データセットの前記第１損失に基づいて前記第１モデルのパラメータを更新する、
請求項２から請求項１３のいずれかに記載の情報処理装置。
【請求項15】
１又は複数のメモリと、
１又は複数のプロセッサと、
を備え、
前記１又は複数のプロセッサは、
データから当該データの潜在表現を取得する第１モデルを用いて潜在表現を取得し、
前記取得される潜在表現に線形作用素を適用することで新たな潜在表現を取得し、
前記新たな潜在表現を用いて所定の処理を実行する、
情報処理装置。
１又は複数のプロセッサと、
を備え、
前記１又は複数のプロセッサは、
データから当該データの潜在表現を取得する第１モデルを用いて潜在表現を取得し、
前記取得される潜在表現に線形作用素を適用することで新たな潜在表現を取得し、
前記新たな潜在表現を用いて所定の処理を実行する、
情報処理装置。
【請求項16】
前記所定の処理は、潜在表現を当該潜在表現に対応するデータに変換する第２モデルを用いて、前記新たな潜在表現を、対応するデータに変換することを含む、
請求項１５に記載の情報処理装置。
請求項１５に記載の情報処理装置。
【請求項17】
前記１又は複数のプロセッサは、
時系列データにおける２フレームである第１データ及び第２データを抽出し、
前記第１モデルを用いて、前記第１データ及び前記第２データそれぞれについての潜在表現である第１潜在表現及び第２潜在表現を取得し、
前記第１潜在表現及び前記第２潜在表現に基づいて、前記線形作用素を算出し、
第２モデルを用いて、前記第２データよりも後のフレームのデータとして、前記新たな潜在表現に対応するデータを推定する、
請求項１５に記載の情報処理装置。
時系列データにおける２フレームである第１データ及び第２データを抽出し、
前記第１モデルを用いて、前記第１データ及び前記第２データそれぞれについての潜在表現である第１潜在表現及び第２潜在表現を取得し、
前記第１潜在表現及び前記第２潜在表現に基づいて、前記線形作用素を算出し、
第２モデルを用いて、前記第２データよりも後のフレームのデータとして、前記新たな潜在表現に対応するデータを推定する、
請求項１５に記載の情報処理装置。
【請求項18】
前記１又は複数のプロセッサは、
前記時系列データから、前記第２データに連続する第３データを抽出し、
前記第１モデルを用いて、前記第３データから第３潜在表現を取得し、
前記線形作用素を、前記第１潜在表現を前記第２潜在表現に変換し、前記第２潜在表現を前記第３潜在表現に変換する作用素として算出する、
請求項１７に記載の情報処理装置。
前記時系列データから、前記第２データに連続する第３データを抽出し、
前記第１モデルを用いて、前記第３データから第３潜在表現を取得し、
前記線形作用素を、前記第１潜在表現を前記第２潜在表現に変換し、前記第２潜在表現を前記第３潜在表現に変換する作用素として算出する、
請求項１７に記載の情報処理装置。
【請求項19】
前記線形作用素は、対角ブロックのそれぞれが１以上の線形変換を表現する、ブロック対角行列である、
請求項１５から請求項１８のいずれかに記載の情報処理装置。
請求項１５から請求項１８のいずれかに記載の情報処理装置。
【請求項20】
１又は複数のプロセッサにより、
データセットに含まれる複数データのそれぞれを、第１モデルを用いて潜在表現に変換し、
前記複数データのそれぞれの前記潜在表現に基づいて、前記複数データのそれぞれの前記潜在表現の間における前記潜在表現の変化が線形性を有するように前記第１モデルのパラメータを更新する、
モデル生成方法。
データセットに含まれる複数データのそれぞれを、第１モデルを用いて潜在表現に変換し、
前記複数データのそれぞれの前記潜在表現に基づいて、前記複数データのそれぞれの前記潜在表現の間における前記潜在表現の変化が線形性を有するように前記第１モデルのパラメータを更新する、
モデル生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置及びモデル生成方法に関する。
【背景技術】
【0002】
機械学習により訓練されたモデルは、例えば、画像情報から、同じ向き、同じ色、同じ大きさ、同じ形状等に基づいて領域を抽出したり、対象を認識したりすることができる。これに対して、データセットの基礎となる単純な関係と対称性のデータドリブンな学習への関心が高くなってきている。
【0003】
しかしながら、このような対称性を抽出してモデルに組み込むには、データセット又はモデルのいずれかに関する構造的な仮定が必要となることが多い。例えば、モデルに入力するバイアスにより対称性の制御をすることがあるが、種々のケースにおいてこのようなバイアスを構築することは困難である。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Y. Han,W. Hao, and U. Vaidya. Deep learning of koopman representation for control. In 2020 59th IEEE Conference on Decision and Control (CDC) , pages 1890-1895. IEEE, 2020.
【非特許文献2】R. Quessard, T. Barrett, and W. Clements. Learning disentangled representations and group structure of dynamical environments. NeurIPS, pages 19727-19737, 2020.
【発明の概要】
【発明が解決しようとする課題】
【0005】
そこで、本開示においては、データから不変な特徴を抽出するモデルに関する情報処理について提案する。
【課題を解決するための手段】
【0006】
一実施形態によれば、情報処理装置は、１又は複数のメモリと、１又は複数のプロセッサと、を備える。前記１又は複数のプロセッサは、時系列データにおける少なくとも３つの時点におけるデータのそれぞれを、第１モデルを用いて潜在表現に変換し、前記少なくとも３つの時点におけるデータの前記潜在表現に基づいて、前記潜在表現の時間変化が線形性を有するように前記第１モデルのパラメータを更新する。
【図面の簡単な説明】
【0007】
【図1】一実施形態に係る情報処理装置の処理の一例を示す図。
【図2】一実施形態に係るデータ生成の一例を示す図。
【図3】一実施形態に係るモデル生成の一例を示す図。
【図4】一実施形態に係るブロック化された線形作用素の一例を示す図。
【図5】一実施形態に係る情報処理装置の実装の一例を示す図。
【発明を実施するための形態】
【0008】
以下、図面を参照して本発明の実施形態について説明する。図面及び実施形態の説明は一例として示すものであり、本発明を限定するものではない。
【0009】
(データ生成装置)
図1は、一実施形態に係る処理を、データの流れに着目して示す図である。本開示における情報処理装置は、現在あるデータから将来のデータを生成するデータ生成装置として動作することができる。
図1は、一実施形態に係る処理を、データの流れに着目して示す図である。本開示における情報処理装置は、現在あるデータから将来のデータを生成するデータ生成装置として動作することができる。
【0010】
データ生成装置は、現在取得できているデータをエンコードすることで、潜在表現を取得する。潜在表現はテンソル (例えば１階のテンソルであるベクトルや２階のテンソルなど) で表現されてよい。データ生成装置は、この潜在表現を線形変換することで、将来のデータに対応する潜在表現を取得する。そして、データ生成装置は、取得された潜在表現をデコードすることで、入力したデータに対する将来のデータを生成する。
【0011】
この処理の流れにおける各構成について、以下詳しく説明する。
【0012】
データ生成装置は、例えば、連続するフレームの時系列データから、将来の時系列のデータを生成する装置である。データ生成装置は、例えば、２以上の連続するフレームのデータ、望ましくは３以上の連続するフレームのデータから、将来のフレームのデータを生成する。
【0013】
なお、本実施形態では、各フレーム間の時間間隔が所定の時間間隔で一定である例を説明するが、各フレーム間の時間間隔は一定でなくてもよく、各フレーム間の時間間隔の大きさが取得できれば良い。また、フレーム間の時間間隔は、後述するようにデータの潜在表現間における潜在表現の変化の線形性が保たれる程度に小さいことが望ましい。
【0014】
時系列データにおける少なくとも３フレーム (すなわち、時系列データにおける少なくとも３つの時点のデータ) の場合を用いて説明するが、４フレーム以上の場合についても同様に処理をすることができる。４フレーム以上であれば、本開示における線形作用素の算出の精度を向上することもできる。一方で、種々のケースに対応したい場合には、モデル訓練（モデル生成）時には多くのフレームを使用しすぎることにより過学習をする可能性があるため、モデル訓練時における使用するフレーム数は、適宜適切に設定されることが望ましい。
【0015】
また、時系列データとして画像データ (動画におけるフレームデータ) を用いた限定されない例を挙げるが、 3D モデルデータを用いた態様、音声データを用いた態様等の他の態様についても同様に本開示の手法を適用することが可能である。
【0016】
図2は、一実施形態に係るデータを潜在表現に変換する一例を示す図である。データは、例えば、動画データであってもよい。データ生成装置は、例えば、動画データ中の連続する３フレームのデータを用いて処理を実行する。ここでは一例として、第１フレームのデータ x1 、第１フレームの次のフレームである第２フレームのデータ x2 、第２フレームの次のフレームである第３フレームのデータ x3 を用いて第４フレーム以降のフレームのデータを生成する例について説明する。なお、第 i フレームのデータである。フレーム間は、一例としての所定の時間間隔である。
【0017】
第１モデルは、データ生成装置と同一又は異なる情報処理装置であるモデル生成装置（後述）により生成（訓練）されたモデルである。第１モデルは、例えば、入力データよりも低い次元 (要素数) のテンソルを出力データとして出力する任意のニューラルネットワークモデルとして構築されて訓練されたモデルであってもよい。
【0018】
この第１モデルは、画像データを入力すると、潜在表現に変換するモデルであり、例えば、エンコーダである。第１モデルは、対象の不変 (invariant) な特徴に対して線形変換でその潜在表現を変換できるように訓練されたモデルである。すなわち、第１モデルは、入力データを潜在表現であるテンソルに変換することができる。以下、 φ は、第１モデルの変換を表す。
【0019】
ここで、対象の不変な特徴とは、例えば、対象の形状の情報である。動画においては、例えば、大きさが変化したり、並進移動したり、回転したり、又は、色が変化するといった変化があるが、不変な特徴量である形状情報が維持されている。
【0020】
例えば、図2に示すように、それぞれのフレームにおいては、 P の文字が対象 Obj である。この P の文字は、フレーム間において並進移動及び回転により変化しているが、 P という文字自体の特徴が変化していない。この P の文字のように、移動等しても変化しない特徴、例えば、人間が P と認識できる特徴を、本開示では不変な特徴と記載する。より上位概念として、不変の特徴を有する対象は、「同じようにまとまって動く」ものを指してもよい。
【0021】
適切に訓練された第１モデルによれば、第１フレームのデータの潜在表現は、 z1 = φ (x1) であり、第２フレームのデータの潜在表現は、 z2 = φ (x2) であり、第３フレームのデータの潜在表現は、 z3 = φ (x3) である。そして、これらの間には、 z2 = M z1 、 z3 = M z2 = M2 z1 が成り立つ M が存在する。例えば M は、第1フレームのデータの潜在表現 z1 を第2フレームのデータの潜在表現 z2 に線形変換する線形作用素を表現する行列である。以降でこの M を単に線形作用素 M と呼ぶ。
【0022】
以降のフレームについても同様に対象が変化すると仮定すると、例えば、第４フレームのデータ x4 の潜在表現 z4 は、 z4 = M z3 (= M2 z2 = M3 z1) と表すことができる。この潜在表現 z4 を、第２モデルによりデータ x4 に変換することで、第４フレームのデータ x4 を生成することができる。
【0023】
第２モデルは、第１モデルにより生成された潜在表現をデータに再構成するモデルである。第２モデルは、任意のニューラルネットワークモデルを用いて構築されていてもよい。第２モデルは、例えば、デコーダであり、第１モデルと併せて訓練されたモデルである。
【0024】
また、線形作用素 M についても訓練時に併せて取得することも可能である。この場合、データ生成装置は、取得した M に基づいて、入力データに後続するフレームのデータを生成することができる。
【0025】
図2のデータの流れをデータ生成装置の処理の流れとして説明する。
【0026】
まず、データ生成装置は、望ましくは３フレーム以上のデータを含む時系列データのデータセットを取得する。この時系列データは、時間経過に伴うデータ内容の変化 (つまり、データ内容の時間変化) が一定であるような時系列データであり、例えば、データ内容が一定速度で変化する時系列データや、データ内容が一定加速度で変化する時系列データである。例えば、データ生成装置は、第１フレームのデータ x1 、第２フレームのデータ x2 、第３フレームのデータ x3 を用いて第４フレームのデータ x4 を生成する。複数フレームの時系列データが存在する場合には、データ生成装置は、例えば、３つの連続するフレームデータを抽出することでこれらのデータを取得してもよい。
【0027】
データ生成装置は、第１モデルにより、 x1 、 x2 、 x3 を変換して z1 、 z2 、 z3 を取得する (S100) 。
【0028】
データ生成装置は、 z1 、 z2 及び z3 を用いて、線形作用素 M を算出する (S102) 。線形作用素 M は、複数の潜在表現z1 、 z2 及び zの3の間における潜在表現の変化の線形性を示す。本開示は、連続する第1フレームの潜在表現 z1 から第2フレームの潜在表現 z2 への線形な変化を示す線形作用素 M を説明するが、線形作用素 M はこれに限られず、潜在表現の単位時間当たりの線形な変化を示す線形作用素 M として表してフレーム間の時間差に基づいてこの単位時間当たりの線形作用素 M を作用させてもよい。
【0029】
データ生成装置は、例えば、 M z1 、 z2 の距離 (例えば、 Lp ノルム: ||M z1 - z2||p) が最小となるように M を最適化することで取得することができる。また、データ生成装置はさらに、 M z2 、 z3 の距離を考慮して線形作用素 M の算出をすることもできる。詳細については、以下のモデル生成装置の説明において記載する。
【0030】
なお、予め線形作用素 M が取得できている場合には、 S102 の処理は、線形作用素を読み込む処理、又は、後述する適切な線形作用素のブロックを選択する処理に置き換えることができる。また、線形作用素 M は、例えば、後述する式(4)等により算出することができる。
【0031】
データ生成装置は、第４フレームのデータ x4 の潜在表現 z4 として、 M z3 を取得する (S104) 。これに限定されず、データ生成装置は、 M2 z2 又は M3 z1 を z4 として算出してもよい。すなわち、データ生成装置は、第４フレームの潜在表現 z4 を、過去のフレームの潜在表現及び線形作用素 M を用いて推定する。
【0032】
データ生成装置は、取得した潜在表現 z4 を第２モデルに入力することで、第４フレームのデータ x4 を取得 (生成) する (S106) 。データ生成装置は、必要に応じて、この第４フレームに続くフレームのデータを任意の回数だけ繰り返し取得してもよい。
【0033】
以上のように、本実施形態によれば、連続するフレームのデータから、後続するデータを生成することが可能となる。本実施形態のデータ生成装置によれば、例えば、人間が不変であると認識できる対象の動き、変化等を線形性に基づいて推定することで、適切なデータを生成することが可能となる。
【0034】
なお、上記においては、連続する３フレームであるとしたが、これに限定されるものではない。例えば、第１フレームと第２フレームとの時間差が m (例えば m フレーム) であり、第２フレームと第３フレームとの時間差が n (例えば n フレーム) である場合、 z2 = M z1 、 z3 = Mn/m z2 と線形作用素を冪乗で表現することで同様の処理を実現することができる。換言すると、 M を有利数回適用することで、同様の処理を実現することができる。例えば、 S102 における M の算出の処理において、 M z と z2 の距離、 Mn/m z2 と z3 の距離を最小化する M を算出すればよい。
【0035】
また、 M の冪乗を考慮することで、フレーム間のデータを生成することも可能である。データ生成装置は、例えば、第１フレームのデータ x1 及び連続する第１フレームと第２フレームとの間における算出された線形作用素 M を用いて、 φ－1 (M1/2 φ (x1) ) として取得されたデータを、第１フレームと第２フレームとの中間のデータとして生成することもできる。すなわち、データ生成装置は、時系列データから、この時系列データにおける補間データを生成することもできる。
【0036】
また、データ生成装置は、モデル生成装置の説明において詳細を示すように線形作用素をブロック化 (ブロック対角化) したテンソルを用いてデータを生成することができる。例えば、データ生成装置又はモデル生成装置は、複数の時系列から求められた線形作用素 M の集まりに対して、 Simultaneous Block Diagonalization の手法を用いてブロック対角成分及び対角近傍の成分を有する作用素に変換することができる。ブロック化された線形作用素のそれぞれのブロックは、図2の例であれば、並進及び回転を表現するブロック、並進を表現するブロック、及び、回転を表現するブロック等に分解することができる。
【0037】
この他、ブロック化した線形作用素のそれぞれは、例えば、色の変換 (例えば、色相 hue の線形的な変換) 、３次元的な回転、周波数の変換、及び、それらの組み合わせ等の適切な線形作用素として抽出することができる。いずれのブロックがどのような線形変換を実現するかは、実際にデータを用いて実験することで判断することができる。
【0038】
ブロック化をすることで、不変の特徴を有する対象の遷移状態が複数の遷移の複合で表現される場合には、それぞれの遷移をディスエンタングルメントすることが可能となり、データ生成装置は、適切な遷移状態を選択して、データを生成することもできる。この結果、データ生成装置は、望ましいブロックをフレームのデータに適用することで、望ましいデータを生成することが可能となる。
【0039】
(モデル生成装置)
本開示における情報処理装置の一つであるモデル生成装置は、第１モデルと、第２モデルと、を訓練する。また、この経過段階として、線形作用素を予め取得しておくことも可能である。
本開示における情報処理装置の一つであるモデル生成装置は、第１モデルと、第２モデルと、を訓練する。また、この経過段階として、線形作用素を予め取得しておくことも可能である。
【0040】
モデル生成装置は、例えば時系列データであるデータセットを用いて、第１モデルと、第２モデルと、を訓練する。モデル生成装置は、複数のデータセットを用いてこれらの訓練を実行することもできる。複数のデータセットを用いる場合には、モデル生成装置は、例えば、これら複数のデータセットから取得できる誤差を集約し、この集約した誤差に基づいてモデルの訓練、最適化を実行することができる。
【0041】
図3は、一実施形態に係るモデル生成装置を用いたデータの変換例を示す図である。この図の流れを用いて、モデル生成装置の処理を説明する。
【0042】
モデル生成装置は、データセット、例えば、連続した時系列データを第１モデルに入力することで、それぞれのデータ (例えば、動画のフレームのデータ) に対する潜在表現のテンソルを取得する (S200) 。例えば、データセット X = {x1, x2, ... , xT, xT+1} について、１<= i <= T+1 として、以下のように潜在表現を取得する。
【0043】
【数1】
【0044】
次に、モデル生成装置は、取得した潜在表現について、潜在表現の変化の線形性そのものについての損失 (後述する式(9)、式(12)で示される第１損失に対する第２損失) を以下の式(2)により求めてもよい (S202) 。この損失が閾値より小さいか否かを基に、線形作用素 M における第 i フレームと第 i+1 フレームの潜在変数間の線形性の有無を評価してもよい。以下の各式において、 p は、任意の正数値、例えば、２であってもよい。
【0045】
【数2】
【0046】
次に、モデル生成装置は、取得した損失に基づいて線形作用素 M の最適化を実行して、線形作用素 M を取得してもよい (S204) 。この最適化は、式(3)に基づいて任意の手法を用いて実行されてもよい。
【0047】
【数3】
【0048】
上記に限定されず、連続する第１フレームから第３フレームについて、モデル生成装置は、例えば、第１フレームのデータに対応する潜在表現を線形変換した潜在表現と、第２フレームのデータに対応する潜在表現との差、及び、第１フレームのデータに対応する潜在表現を２回線形変換した潜在表現と、第３フレームのデータに対応する潜在表現との差、を用いて M* を推定することもできる。
【0049】
上記の S202 及び S204 の代わりに、同様の最適化を実行する処理の一例として、モデル生成装置は、以下のように線形作用素 M を求めることもできる (S202, S204) 。
【0050】
【数4】
【0051】
ただし、 Z0 、 Z1 は、以下に示すテンソルであり、†は、ムーアペンローズ擬似逆行列を示す。
【0052】
【数5】
【0053】
【数6】
【0054】
式(4)で取得した M* を線形作用素 M とし、モデル生成装置は、潜在表現間の線形変換に基づいた潜在表現を取得する (S206) 。なお、最初のフレームである第１フレームのデータについては、新たに潜在表現を取得する必要はない。
【0055】
【数7】
【0056】
次に、モデル生成装置は、式(7)で取得した潜在表現を、第２モデルを用いてフレームのデータに変換する (S208) 。第２モデルでの変換は、 ψ で表される。なお、第１フレームのデータについては、 S200 で取得した z1 を変換することで取得する。
【0057】
【数8】
【0058】
次に、モデル生成装置は、潜在表現の時間変化 (すなわち複数の潜在表現の間における潜在表現の変化) の線形性に対する損失として、フレームのデータと、式(8)で取得されたデータと、の距離を取得する (S210) 。
【0059】
なお、潜在表現の時間変化の線形性に対する損失 (第１損失) とは、フレーム経過による潜在表現の線形的な遷移に対する誤差を適切に反映した損失のことであり、この損失として、潜在表現の時間変化の線形性に基づいて潜在表現の予測誤差を計算してよい。より詳細には、フレーム経過による潜在表現の線形的な遷移として潜在表現を線形変換したものを計算し、この線形変換した潜在表現を用いてこの損失を計算してよい。すなわち、潜在表現の線形変換を用いて損失を計算してよい。
【0060】
この損失は、例えば、第 1 フレームのデータの潜在表現から線形的な遷移をした潜在表現と、第 2 フレームのデータの潜在表現と、を第 2 モデルにより再構成されたデータ間の誤差を含む損失である。このような誤差を含むことで、モデル生成装置は、データにおける不変な対象の線形的な遷移を、潜在空間における線形作用素により適切に表現した損失を取得することができる。
【0061】
【数9】
【0062】
なお、データセットのデータ量が十分にある場合には、式(5)、式(6)及び式(9)の代わりに以下の式を用いてもよい。但し、 Tc < T とする。
【0063】
【数10】
【0064】
【数11】
【0065】
【数12】
【0066】
モデル生成装置は、上記の式(9)又は式(12)に示される、潜在表現の時間変化の線形性に対する損失を用いて、第１モデル及び第２モデルのパラメータを更新することで、訓練する。モデル生成装置は、例えば、任意のエンコーダ－デコーダを最適化する手法により、これらのモデルを訓練することができる。すなわち、モデル生成装置は、上記の式に基づいて任意のエンコーダ－デコーダアルゴリズムを用いることで第 1 モデル及び第 2 モデルを最適化してもよい。
【0067】
例えば、モデル生成装置は、第１モデル及び第２モデルについて、上記の式を用いて取得した損失を任意のアルゴリズムを用いて逆伝播することで、モデルの訓練を実行する。上述したように、データセットが複数存在する場合 (すなわち、複数の時系列データを用いる場合) には、それぞれのデータセットにおける線形作用素及び損失を算出した上で、第１モデル及び第２モデルの訓練を実行することもできる。複数のデータセットは、それぞれの間に時間的な連続性がない独立したものであることが望ましいが、これに限られない。
【0068】
上述したように、モデル生成装置は、複数のデータセットにおいて取得した損失を集約して第１モデル及び第２モデルを訓練することができる。モデル生成装置は、複数のデータセットから取得した誤差を用いて逆伝播処理を実行することでそれぞれのモデルのパラメータを更新することができる。モデル生成装置は、このパラメータの更新を、例えば、ミニバッチ等の処理を用いて実行してもよいが、これに限定されるものではなく、種々の集約した誤差の逆伝播手法によりパラメータの更新をすることもできる。
【0069】
このように訓練することで、モデル生成装置は、複数のフレームのデータの潜在表現に基づいて、複数のフレーム (の潜在表現) 間において潜在表現の変化が線形性を有するように (すなわち、潜在表現の時間変化が線形性を有するように) 、第１モデル及び第２モデルのパラメータを更新することができる。
【0070】
上記の実装は、少なくとも２つのフレームを含む時系列データにより実装することができるが、少なくとも３つのフレームを含む時系列データを用いて、式(10)から式(12)の実装に基づいて算出されることがより望ましい。モデル生成装置に限定されず、上記に説明したデータ生成装置についても、３つ以上のフレームを用いることが望ましいが、例えば、式(3)から適切に線形作用素 M が算出できる状況であれば２つのフレームからその後のフレームに係るデータを生成することもできる。
【0071】
以上のように、本実施形態に係るモデル生成装置によれば、フレーム間のデータが線形変換で表現できるデータセットについて、潜在表現についても線形性を維持する第１モデル (例えば、エンコーダ) と、第２モデル (例えば、デコーダ) と、を訓練することが可能となる。このような第１モデル及び第２モデルを用いることで、データセットにない情報、例えば、将来の情報や補間した情報を生成することが可能となる。
【0072】
そして、データ生成装置は、タスクの実行において、本開示におけるモデル生成装置により生成された訓練済みモデル (第1モデル及び第2モデル) を用いることができる。データ生成装置は、例えば、動画における手ぶれ補正 (デブラー処理) 、モーションブラー補正、 P フレーム分離後の I フレームに対する動画の圧縮処理、推定された将来の対象と実際の対象との差異に基づいた異常検知、又は、あるデータ (例えば画像) において潜在表現に線形作用素を適用することによる不変の対象を有する新たなデータ (例えば画像) の生成 (例えば、データオーグメンテーション) 等の実装を実現することができる。
【0073】
データ生成装置は、第1モデルを用いて動画の各フレームの画像の潜在表現を取得し、複数フレームの潜在表現から線形作用素 M を算出し、その線形作用素 M における潜在表現間の線形性の有無を評価し、線形性が無いと評価されたフレームの画像を特定し、当該フレームについて線形性が保たれる潜在変数として、過去のフレームの潜在表現及び線形作用素 M を用いて式(7)のように潜在変数 z~ を推定し、その推定された潜在表現 z~ を、第2モデルを用いて画像に再構成することで、デブラー処理やモーションブラー補正を行ってもよい。
【0074】
データ生成装置は、第1モデルを用いて動画のＩフレームの時系列の潜在表現を取得し、複数フレームの潜在表現から線形作用素 M を算出し、その線形作用素 M における潜在表現間の線形性の有無を評価し、線形性が無いと評価されたフレームを境としたフレーム区間ごとに、そのフレーム区間のフレーム数 N 、そのフレーム区間の線形作用素 M 、そのフレーム区間の先頭のIフレームの潜在表現 z を、Ｉフレームの圧縮データとして保存する、Ｉフレームに対する動画の圧縮処理を行ってもよい。
【0075】
データ生成装置は、第1モデルを用いて動画や波形などの時系列データの各フレームの潜在表現を取得し、複数フレームの潜在表願から線形作用素 M を算出し、その線形作用素 M における潜在表現間の線形性の有無を評価し、線形性が無いと評価されたフレームを異常なフレームとして検知してもよいし、過去のフレームの潜在表現及び線形作用素 M を用いて色(7)のように潜在変数 z~ を推定し、その推定された潜在表現 z~ を第2モデルを用いて再構成したデータと実際のデータとの距離が閾値を超えるフレームを異常なフレームとして検知してもよい。
【0076】
データ生成装置は、第1モデルを用いてあるデータの潜在表現を取得し、その潜在表現に線形作用素 M を適用することで新たな潜在表現を取得(生成)し、その潜在表現を、第2モデルを用いて、対応するデータに変換(再構成)してもよい。ここで適用される線形作用素 M は、第1モデル及び第2モデルの訓練(生成)過程で算出した線形作用素 M であっても、時系列データの複数フレームの潜在表現から算出した線形作用素 M であっても、後述のように線形作用素 M を同時ブロック対角化することで得られる線形作用素 M^ であっても、その M^ の少なくとも一部のブロックを編集して得られる線形作用素であってもよい。
【0077】
以上のように、本実施形態に係るデータ生成装置は、タスクの実行において、訓練済みの第1モデルを用いてデータからその潜在表現を取得し、その潜在表現にタスクに応じた線形作用素を適用することで新たな潜在表現を取得し、その新たな潜在表現を用いてそのタスクに応じた所定の処理を実行することが可能である。
【0078】
また、３次元モデルに適用したモデルを訓練することで、データ生成装置は、３次元モデルの回転、移動、拡大、縮小、変形等の推定をすることも可能である。
【0079】
また、応用分野は、画像、動画に限定されるものではなく、線形性を有する時系列データの生成に本開示のモデル生成及びデータ生成の手法を適用することが可能である。
【0080】
＜付記＞
線形作用素のブロック化について付記する。モデル生成装置又はデータ生成装置の少なくとも一方は、以下を満たすテンソル U を取得することより、線形作用素をブロック対角化することができる。
線形作用素のブロック化について付記する。モデル生成装置又はデータ生成装置の少なくとも一方は、以下を満たすテンソル U を取得することより、線形作用素をブロック対角化することができる。
【0081】
情報処理装置は、以下の M^ のブロック性を判定する目的関数に基づいて、 U を最適化する。
【0082】
【数13】
【0083】
情報処理装置は、グラフの隣接行列 A が与えられた場合に、このグラフの連結された成分の数が、グラフラプラシアンのランクを取得することで特定できるという事実に基づいてブロックの個数を決定することもできる。 Ker は、核を表し、 Δ は、 A に対するグラフラプラシアン演算子を表す。
【0084】
【数14】
【0085】
式(13)で表される M^ をグラフに関連付けるために、情報処理装置は、この M^ を相互のグラフとし、隣接行列を以下のように算出する。但し、 abs () は、成分ごとの絶対値を表す。
【0086】
【数15】
【0087】
さらに、対称正規化されたグラフラプラシアンは、以下のように与えられる。但し、 D は、 A の対角成分である。
【0088】
【数16】
【0089】
これに基づき以下の式(17)を最適化することで、 Simultaneous Block Diagonalization における U を探索することができる。 σi (ΔA) は、 ΔA の i 番目の固有値である。
【0090】
【数17】
【0091】
式(16)及び式(17)より、以下の式(18)が得られる。
【0092】
【数18】
【0093】
この式(18)に基づいて U を取得することにより、情報処理装置は、 M を同時ブロック対角化された M^ を取得することができる。
【0094】
図4は、一実施形態に係るブロック化された線形作用素の一例を示す図である。例えば、データセットが回転と、色変化 (色相の変化) に対して線形性を有する遷移をする場合、線形作用素は、図に示すように、回転及び色変化を表現するブロック、色変化のみを表現するブロック、及び、回転のみを表現するブロック等にブロック対角化される。すなわち、線形作用素は、対角ブロックのそれぞれが１以上の線形変換を表現する、ブロック対角行列であってもよい。
【0095】
本開示におけるモデルを用いることで、潜在表現間の線形作用素をブロック化することもでき、このブロック化をすることで、種々の線形変換をディスエンタングルメントした線形作用素を取得することが可能となる。このことから、ブロック化された線形作用素の少なくとも一部のブロックを編集することにより、所望の遷移のみを与えることができる線形作用素を形成することが可能となる。
【0096】
前述の実施形態における訓練済モデルは、例えば、説明したように訓練した上で、さらに、一般的な手法により蒸留されたモデルを含む概念であってもよい。
【0097】
前述した実施形態における各装置 (情報処理装置、データ生成装置、モデル生成装置、以下では情報処理装置とする) の一部又は全部は、ハードウェアで構成されていてもよいし、 CPU (Central Processing Unit) 又は GPU (Graphics Processing Unit) 等が実行するソフトウェア (プログラム) の情報処理で構成されてもよい。ソフトウェアの情報処理で構成される場合には、前述した実施形態における各装置の少なくとも一部の機能を実現するソフトウェアを、 CD-ROM (Compact Disc-Read Only Memory) 、 USB (Universal Serial Bus) メモリ等の非一時的な記憶媒体 (非一時的なコンピュータ可読媒体) に収納し、コンピュータに読み込ませることにより、ソフトウェアの情報処理を実行してもよい。また、通信ネットワークを介して当該ソフトウェアがダウンロードされてもよい。さらに、ソフトウェアの処理の全部又は一部が ASIC (Application Specific Integrated Circuit) 又は FPGA (Field Programmable Gate Array) 等の回路に実装されることにより、当該ソフトウェアによる情報処理がハードウェアにより実行されてもよい。
【0098】
ソフトウェアを収納する記憶媒体は、光ディスク等の着脱可能なものでもよいし、ハードディスク又はメモリ等の固定型の記憶媒体であってもよい。また、記憶媒体は、コンピュータ内部に備えられてもよいし (主記憶装置または補助記憶装置等) 、コンピュータ外部に備えられてもよい。
【0099】
図5は、前述した実施形態における各装置 (情報処理装置) のハードウェア構成の一例を示すブロック図である。各装置は、一例として、プロセッサ71と、主記憶装置72 (メモリ) と、補助記憶装置73 (メモリ) と、ネットワークインタフェース74と、デバイスインタフェース75と、を備え、これらがバス76を介して接続されたコンピュータ7として実現されてもよい。
【0100】
図5のコンピュータ7は、各構成要素を一つ備えているが、同じ構成要素を複数備えていてもよい。また、図5では、1台のコンピュータ7が示されているが、ソフトウェアが複数台のコンピュータにインストールされて、当該複数台のコンピュータそれぞれがソフトウェアの同一の又は異なる一部の処理を実行してもよい。この場合、コンピュータそれぞれがネットワークインタフェース74等を介して通信して処理を実行する分散コンピューティングの形態であってもよい。つまり、前述した実施形態における各装置 (情報処理装置) は、1又は複数の記憶装置に記憶された命令を1台又は複数台のコンピュータが実行することで機能を実現するシステムとして構成されてもよい。また、端末から送信された情報をクラウド上に設けられた1台又は複数台のコンピュータで処理し、この処理結果を端末に送信するような構成であってもよい。
【0101】
前述した実施形態における各装置 (情報処理装置) の各種演算は、1又は複数のプロセッサを用いて、又は、ネットワークを介した複数台のコンピュータを用いて、並列処理で実行されてもよい。また、各種演算が、プロセッサ内に複数ある演算コアに振り分けられて、並列処理で実行されてもよい。また、本開示の処理、手段等の一部又は全部は、ネットワークを介してコンピュータ７と通信可能なクラウド上に設けられたプロセッサ及び記憶装置の少なくとも一方により実現されてもよい。このように、前述した実施形態における各装置は、１台又は複数台のコンピュータによる並列コンピューティングの形態であってもよい。
【0102】
プロセッサ71は、少なくともコンピュータの制御又は演算のいずれかを行う電子回路 (処理回路、 Processing circuit 、 Processing circuitry 、 CPU 、 GPU 、 FPGA 、 ASIC 等) であってもよい。また、プロセッサ71は、汎用プロセッサ、特定の演算を実行するために設計された専用の処理回路又は汎用プロセッサと専用の処理回路との両方を含む半導体装置等のいずれであってもよい。また、プロセッサ71は、光回路を含むものであってもよいし、量子コンピューティングに基づく演算機能を含むものであってもよい。
【0103】
プロセッサ71は、コンピュータ7の内部構成の各装置等から入力されたデータやソフトウェアに基づいて演算処理を行ってもよく、演算結果や制御信号を各装置等に出力してもよい。プロセッサ71は、コンピュータ7の OS (Operating System) や、アプリケーション等を実行することにより、コンピュータ７を構成する各構成要素を制御してもよい。
【0104】
前述した実施形態における各装置 (情報処理装置) は、1又は複数のプロセッサ71により実現されてもよい。ここで、プロセッサ71は、1チップ上に配置された1又は複数の電子回路を指してもよいし、2つ以上のチップあるいは2つ以上のデバイス上に配置された1又は複数の電子回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線又は無線により通信してもよい。
【0105】
主記憶装置72は、プロセッサ71が実行する命令及び各種データ等を記憶してもよく、主記憶装置72に記憶された情報がプロセッサ71により読み出されてもよい。補助記憶装置73は、主記憶装置72以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、半導体のメモリでもよい。半導体のメモリは、揮発性メモリ又は不揮発性メモリのいずれでもよい。前述した実施形態における各装置 (情報処理装置) において各種データ等を保存するための記憶装置は、主記憶装置72又は補助記憶装置73により実現されてもよく、プロセッサ71に内蔵される内蔵メモリにより実現されてもよい。例えば、前述した実施形態における記憶部102は、主記憶装置72又は補助記憶装置73により実現されてもよい。
【0106】
前述した実施形態における各装置 (情報処理装置) が、少なくとも1つの記憶装置 (メモリ) と、この少なくとも1つの記憶装置に接続 (結合) される少なくとも1つのプロセッサで構成される場合、記憶装置1つに対して、少なくとも1つのプロセッサが接続されてもよい。また、プロセッサ1つに対して、少なくとも1つの記憶装置が接続されてもよい。また、複数のプロセッサのうち少なくとも1つのプロセッサが、複数の記憶装置のうち少なくとも1つの記憶装置に接続される構成を含んでもよい。また、複数台のコンピュータに含まれる記憶装置とプロセッサによって、この構成が実現されてもよい。さらに、記憶装置がプロセッサと一体になっている構成 (例えば、 L1 キャッシュ、 L2 キャッシュを含むキャッシュメモリ) を含んでもよい。
【0107】
ネットワークインタフェース74は、無線又は有線により、通信ネットワーク8に接続するためのインタフェースである。ネットワークインタフェース74は、既存の通信規格に適合したもの等、適切なインタフェースを用いればよい。ネットワークインタフェース74により、通信ネットワーク8を介して接続された外部装置9Aと情報のやり取りが行われてもよい。なお、通信ネットワーク8は、 WAN (Wide Area Network) 、 LAN (Local Area Network) 、 PAN (Personal Area Network) 等のいずれか、又は、それらの組み合わせであってよく、コンピュータ7と外部装置9Aとの間で情報のやりとりが行われるものであればよい。 WAN の一例としてインターネット等があり、 LAN の一例として IEEE 802.11 やイーサネット (登録商標) 等があり、 PAN の一例として Bluetooth (登録商標) や NFC (Near Field Communication) 等がある。
【0108】
デバイスインタフェース75は、外部装置9Bと直接接続する USB 等のインタフェースである。
【0109】
外部装置9Aは、コンピュータ7とネットワークを介して接続されている装置である。外部装置9Bは、コンピュータ7と直接接続されている装置である。
【0110】
外部装置9A又は外部装置9Bは、一例として、入力装置であってもよい。入力装置は、例えば、カメラ、マイクロフォン、モーションキャプチャ、各種センサ等、キーボード、マウス又はタッチパネル等のデバイスであり、取得した情報をコンピュータ7に与える。また、パーソナルコンピュータ、タブレット端末又はスマートフォン等の入力部とメモリとプロセッサを備えるデバイスであってもよい。
【0111】
また、外部装置9A又は外部装置9Bは、一例として、出力装置でもよい。出力装置は、例えば、 LCD (Liquid Crystal Display) 、有機 EL (Electro Luminescence) パネル等の表示装置であってもよいし、音声等を出力するスピーカ等であってもよい。また、パーソナルコンピュータ、タブレット端末又はスマートフォン等の出力部とメモリとプロセッサを備えるデバイスであってもよい。
【0112】
また、外部装置9A又は外部装置9Bは、記憶装置 (メモリ) であってもよい。例えば、外部装置9Aは、ネットワークストレージ等であってもよく、外部装置9Bは、 HDD 等のストレージであってもよい。
【0113】
また、外部装置9A又は外部装置9Bは、前述した実施形態における各装置 (情報処理装置) の構成要素の一部の機能を有する装置でもよい。つまり、コンピュータ7は、外部装置9A又は外部装置9Bに処理結果の一部又は全部を送信してもよいし、外部装置9A又は外部装置9Bから処理結果の一部又は全部を受信してもよい。
【0114】
本明細書 (請求項を含む) において、「a 、b 及び c の少なくとも1つ (一方) 」又は「a 、b 又は c の少なくとも1つ (一方) 」の表現 (同様な表現を含む) が用いられる場合は、a、b、c、a - b、a - c、b - c 又は a - b - c のいずれかを含む。また、a - a、a - b - b、a - a - b - b - c - c 等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、a - b - c - d のように d を有する等、列挙された要素 (a 、b 及び c) 以外の他の要素を加えることも含む。
【0115】
本明細書 (請求項を含む) において、「データを入力として／を用いて／データに基づいて／に従って／に応じて」等の表現 (同様な表現を含む) が用いられる場合は、特に断りがない場合、データそのものを用いる場合や、データに何らかの処理を行ったもの (例えば、ノイズ加算したもの、正規化したもの、データから抽出した特徴量、データの中間表現等) を用いる場合を含む。また、「データを入力として／を用いて／データに基づいて／に従って／に応じて」何らかの結果が得られる旨が記載されている場合 (同様な表現を含む) 、特に断りが無い場合、当該データのみに基づいて当該結果が得られる場合や、当該データ以外の他のデータ、要因、条件及び／又は状態等にも影響を受けて当該結果が得られる場合を含む。また、「データを出力する」旨が記載されている場合 (同様な表現を含む) 、特に断りがない場合、データそのものを出力として用いる場合や、データに何らかの処理を行ったもの (例えば、ノイズ加算したもの、正規化したもの、データから抽出した特徴量、データの中間表現等) を出力として用いる場合を含む。
【0116】
本明細書 (請求項を含む) において、「接続される (connected) 」及び「結合される (coupled) 」との用語が用いられる場合は、直接的な接続／結合、間接的な接続／結合、電気的 (electrically) な接続／結合、通信的 (communicatively) な接続／結合、機能的 (operatively) な接続／結合、物理的 (physically) な接続／結合等のいずれをも含む非限定的な用語として意図される。当該用語は、当該用語が用いられた文脈に応じて適宜解釈されるべきであるが、意図的に或いは当然に排除されるのではない接続／結合形態は、当該用語に含まれるものして非限定的に解釈されるべきである。
【0117】
本明細書 (請求項を含む) において、「AがBするよう構成される (A configured to B) 」との表現が用いられる場合は、要素Aの物理的構造が、動作Bを実行可能な構成を有するとともに、要素Aの恒常的 (permanent) 又は一時的 (temporary) な設定 (setting / configuration) が、動作Bを実際に実行するように設定 (configured / set) されていることを含んでよい。例えば、要素Aが汎用プロセッサである場合、当該プロセッサが動作Bを実行可能なハードウェア構成を有するとともに、恒常的 (permanent) 又は一時的 (temporary) なプログラム (命令) の設定により、動作Bを実際に実行するように設定 (configured) されていればよい。また、要素Aが専用プロセッサ又は専用演算回路等である場合、制御用命令及びデータが実際に付属しているか否かとは無関係に、当該プロセッサの回路的構造等が動作Bを実際に実行するように構築 (implemented) されていればよい。
【0118】
本明細書 (請求項を含む) において、含有又は所有を意味する用語 (例えば、「含む (comprising / including) 」及び「有する (having) 」等) が用いられる場合は、当該用語の目的語により示される対象物以外の物を含有又は所有する場合を含む、 open-ended な用語として意図される。これらの含有又は所有を意味する用語の目的語が数量を指定しない又は単数を示唆する表現 (a 又は an を冠詞とする表現) である場合は、当該表現は特定の数に限定されないものとして解釈されるべきである。
【0119】
本明細書 (請求項を含む) において、ある箇所において「1つ又は複数 (one or more) 」又は「少なくとも1つ (at least one) 」等の表現が用いられ、他の箇所において数量を指定しない又は単数を示唆する表現 (a 又は an を冠詞とする表現) が用いられているとしても、後者の表現が「1つ」を意味することを意図しない。一般に、数量を指定しない又は単数を示唆する表現 (a 又は an を冠詞とする表現) は、必ずしも特定の数に限定されないものとして解釈されるべきである。
【0120】
本明細書において、ある実施形態の有する特定の構成について特定の効果 (advantage / result) が得られる旨が記載されている場合、別段の理由がない限り、当該構成を有する他の1つ又は複数の実施形態についても当該効果が得られると理解されるべきである。但し、当該効果の有無は、一般に種々の要因、条件及び／又は状態等に依存し、当該構成により必ず当該効果が得られるものではないと理解されるべきである。当該効果は、種々の要因、条件及び／又は状態等が満たされたときに実施形態に記載の当該構成により得られるものに過ぎず、当該構成又は類似の構成を規定したクレームに係る発明において、当該効果が必ずしも得られるものではない。
【0121】
本明細書 (請求項を含む) において、「最大化する (maximize) ／最大化 (maximization) 」等の用語が用いられる場合は、グローバルな最大値を求めること、グローバルな最大値の近似値を求めること、ローカルな最大値を求めること及びローカルな最大値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最大値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最小化する (minimize) ／最小化 (minimization) 」等の用語が用いられる場合は、グローバルな最小値を求めること、グローバルな最小値の近似値を求めること、ローカルな最小値を求めること及びローカルな最小値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最小値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最適化する (optimize) ／最適化 (optimization) 」等の用語が用いられる場合は、グローバルな最適値を求めること、グローバルな最適値の近似値を求めること、ローカルな最適値を求めること、及びローカルな最適値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最適値の近似値を確率的又はヒューリスティックに求めることを含む。
【0122】
本明細書 (請求項を含む) において、複数のハードウェアが所定の処理を行う場合、各ハードウェアが協働して所定の処理を行ってもよいし、一部のハードウェアが所定の処理の全てを行ってもよい。また、一部のハードウェアが所定の処理の一部を行い、別のハードウェアが所定の処理の残りを行ってもよい。本明細書 (請求項を含む) において、「1又は複数のハードウェアが第1処理を行い、前記1又は複数のハードウェアが第2処理を行う」等の表現 (同様な表現を含む) が用いられている場合、第1処理を行うハードウェアと第2処理を行うハードウェアは同じものであってもよいし、異なるものであってもよい。つまり、第1処理を行うハードウェア及び第2処理を行うハードウェアが、前記1又は複数のハードウェアに含まれていればよい。なお、ハードウェアは、電子回路、又は、電子回路を含む装置等を含んでもよい。
【0123】
本明細書 (請求項を含む) において、複数の記憶装置 (メモリ) がデータの記憶を行う場合、複数の記憶装置のうち個々の記憶装置は、データの一部のみを記憶してもよいし、データの全体を記憶してもよい。また、複数の記憶装置のうち一部の記憶装置がデータを記憶する構成を含んでもよい。
【0124】
以上、本開示の実施形態について詳述したが、本開示は上記した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲において、種々の追加、変更、置き換え及び部分的削除等が可能である。例えば、前述した実施形態において、数値又は数式を説明に用いている場合、これらは例示的な目的で示されたものであり、本開示の範囲を限定するものではない。また、実施形態で示した各動作の順序も、例示的なものであり、本開示の範囲を限定するものではない。
【図1】
【図2】
【図3】
【図4】
【図5】