特開 2022-175810 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022175810

(43)【公開日】2022-11-25

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   G06N 3/08 20060101AFI20221117BHJP

   G06N 3/04 20060101ALI20221117BHJP

   G06N 20/00 20190101ALI20221117BHJP

【ＦＩ】

G06N3/08 140

G06N3/04 190

G06N20/00 130

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2021082514

(22)【出願日】2021-05-14

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３１年度、国立研究開発法人科学技術振興機構、「戦略的創造研究推進事業」、「チーム型研究（ＣＲＥＳＴ）」、「イノベーション創発に資する人工知能基盤技術の創出と統合化」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(71)【出願人】

【識別番号】304021417

【氏名又は名称】国立大学法人東京工業大学

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(72)【発明者】

【氏名】佐藤 育郎

(72)【発明者】

【氏名】関川 雄介

(72)【発明者】

【氏名】篠田 浩一

(72)【発明者】

【氏名】パブロ セルバンテス

(57)【要約】      （修正有）

【課題】可変長の時系列データを適切に表現する特徴ベクトルを求める情報処理装置、情報処理方法及びプログラムを提供する。
【解決手段】可変長の時系列データを表現する特徴ベクトルを求める情報処理装置１であって、教師データとして複数の時系列データを用いて予め生成された学習済モデルを記憶した記憶部と、時系列データを入力する入力部と、固定長の特徴ベクトルと時間的変化に関するデータとを学習済モデルに適用して求まる時系列データと、入力部にて入力された時系列データとの誤差を表す損失関数を最小にする特徴ベクトルを求める演算部と、演算部にて求めた特徴ベクトルを出力する出力部とを備える。この構成により、可変長データの全体の意味的な情報を含む固定長の特徴ベクトルを求めることができる。
【選択図】図３

【特許請求の範囲】

【請求項1】

可変長の時系列データを表現する特徴ベクトルを求める情報処理装置であって、
教師データとして複数の時系列データを用いて予め生成された学習済モデルを記憶した記憶部と、
時系列データを入力する入力部と、
固定長の特徴ベクトルと時間的変化に関するデータとを前記学習済モデルに適用して求まる時系列データと、前記入力部にて入力された時系列データとの誤差を表す損失関数を最小にする特徴ベクトルを求める演算部と、
前記演算部にて求めた特徴ベクトルを出力する出力部と、
を備える情報処理装置。

【請求項2】

前記演算部は、経過時間を時間モデルに適用して前記時間的変化に関するデータを求め、求めた時間的変化に関するデータを前記学習済モデルに適用し、前記損失関数を最小にする特徴ベクトルと時間モデルを求める請求項１に記載の情報処理装置。

【請求項3】

時間モデルは線形の関数である請求項２に記載の情報処理装置。

【請求項4】

前記学習済モデルは、（ａ）教師データである複数の時系列データと、（ｂ）固定長の特徴ベクトルと時間的変化に関するデータを学習対象のモデルに適用して求まる時系列データとの誤差を表す損失関数を最小にするモデルである請求項１から３のいずれか１項に記載の情報処理装置。

【請求項5】

前記記憶部には、前記複数の時系列データが所属するそれぞれのクラスについて、学習済みのクラス特徴ベクトルが記憶されており、
前記演算部は、前記クラス特徴ベクトルを順次切り替えて前記学習済モデルに適用すると共に固定長の特徴ベクトルと時間的変化に関するデータとを前記学習済モデルに適用して求まる時系列データと、前記入力部にて入力された時系列データとの誤差を表す損失関数を最小にする特徴ベクトルとその特徴ベクトルが得られたときのクラスを求める請求項１から３のいずれか１項に記載の情報処理装置。

【請求項6】

前記学習済モデルは、（ａ）所属するクラスの情報を有する教師データである複数の時系列データと、（ｂ）クラスに共通するクラス特徴ベクトルと固定長の特徴ベクトルと時間的変化に関するデータを学習対象のモデルに適用して求まる時系列データとの誤差を表す損失関数を最小にするモデルである請求項５に記載の情報処理装置。

【請求項7】

可変長の時系列データを表現する特徴ベクトルを求めるために用いられる学習済モデルを生成する情報処理装置であって、
教師データとして複数の時系列データを入力する入力部と、
（ａ）教師データである複数の時系列データと、（ｂ）固定長の特徴ベクトルと時間的変化に関するデータとを学習対象のモデルに適用して求まる時系列データとの誤差を表す損失関数を最小にするモデルを学習済モデルとして求める演算部と、
前記学習済モデルを記憶する記憶部と、
を備える情報処理装置。

【請求項8】

可変長の時系列データを表現する特徴ベクトルを求めるために用いられる学習済モデルを生成する情報処理装置であって、
教師データとして所属するクラスの情報を有する複数の時系列データを入力する入力部と、
（ａ）教師データである複数の時系列データと、（ｂ）クラスに共通するクラス特徴ベクトルと固定長の特徴ベクトルと時間的変化に関するデータとを学習対象のモデルに適用して求まる時系列データとの誤差を表す損失関数を最小にするモデルを学習済モデルとして求める演算部と、
前記学習済モデルとクラス特徴ベクトルとを記憶する記憶部と、
を備える情報処理装置。

【請求項9】

前記時系列データは、映像データである請求項１から８のいずれか１項に記載の情報処理装置。

【請求項10】

情報処理装置によって、可変長の時系列データを表現する特徴ベクトルを求める情報処理方法であって、
前記情報処理装置に時系列データを入力するステップと、
前記情報処理装置が、教師データとして複数の時系列データを用いて予め生成された学習済モデルを記憶した記憶部から前記学習済モデルを読み出すステップと、
前記情報処理装置が固定長の特徴ベクトルと時間的変化に関するデータとを前記学習済モデルに適用して求まる時系列データと、入力された時系列データとの誤差を表す損失関数を最小にする特徴ベクトルを求めるステップと、
前記情報処理装置が求めた特徴ベクトルを出力するステップと、
を備える情報処理方法。

【請求項11】

情報処理装置によって、可変長の時系列データを表現する特徴ベクトルを求めるために用いられる学習済モデルを生成する情報処理方法であって、
前記情報処理装置に教師データとして複数の時系列データを入力するステップと、
前記情報処理装置が、（ａ）教師データである複数の時系列データと、（ｂ）固定長の特徴ベクトルと時間的変化に関するデータとを学習対象のモデルに適用して求まる時系列データとの誤差を表す損失関数を最小にするモデルを学習済モデルとして求めるステップと、
前記情報処理装置が前記学習済モデルを記憶部に記憶するステップと、
を備える情報処理方法。

【請求項12】

可変長の時系列データを表現する特徴ベクトルを求めるためのプログラムであって、コンピュータに、
時系列データを入力するステップと、
教師データとして複数の時系列データを用いて予め生成された学習済モデルを記憶した記憶部から前記学習済モデルを読み出すステップと、
固定長の特徴ベクトルと時間的変化に関するデータとを前記学習済モデルに適用して求まる時系列データと、入力された時系列データとの誤差を表す損失関数を最小にする特徴ベクトルを求めるステップと、
求めた特徴ベクトルを出力するステップと、
を実行させるプログラム。

【請求項13】

可変長の時系列データを表現する特徴ベクトルを求めるために用いられる学習済モデルを生成するためのプログラムであって、コンピュータに、
教師データとして複数の時系列データを入力するステップと、
（ａ）教師データである複数の時系列データと、（ｂ）固定長の特徴ベクトルと時間的変化に関するデータとを学習対象のモデルに適用して求まる時系列データとの誤差を表す損失関数を最小にするモデルを学習済モデルとして求めるステップと、
前記学習済モデルを記憶部に記憶するステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、可変長の時系列データを表現する特徴ベクトルを求める技術に関する。

【背景技術】

【0002】

時系列解析は、時間的に順序づけられたデータポイントのダイナミクスを分析し、意味のある情報を抽出したり、将来の行動について情報に基づいた予測を行うための重要な技術である。特に、現代社会で急速に増加しているセンサーからのデータを処理するために、時系列解析の重要性が高まっている。

【0003】

可変長の時系列データは、それぞれが異なる量の情報を含んでおり、また、異なる時系列データの間では同じ時刻であっても対応関係がない。時系列データを表す潜在コード（latent code）は、時間的な情報と意味的な情報が混ざっているため、適切に比較することが困難である。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Amir Markovitz 他「Graph embedded pose clustering for anomaly detection」IEEE CVFR2020, pp.10539-10547

【発明の概要】

【発明が解決しようとする課題】

【0005】

時系列解析において、時系列データを、その全体に関係する意味的な情報を含んだ固定長の特徴ベクトルで表現することができると、時系列データ全体の特徴を理解、解釈しやすく、視覚化も可能であり、便利である。また、距離学習法（Metric learning methods）を適用したり、データ拡張（Data Augmentation）などの操作が可能になるという利点がある。

【0006】

時系列解析の従来法の一つに非特許文献１がある。非特許文献１では、人間の動きを分析することで、ビデオ内の人間の異常な行動を検出する。まず、映像のフレームごとに人間の姿勢を推定し、推定された動きの表現を畳み込みネットワークで生成する。さらに、このモデルを最適化することで、映像から元の人間の動きを復元する。この文献では、可変長の動画を処理するために、入力をオーバーラップする固定長のセグメントに分割し、最もスコアの高いセグメントで動画全体を表現する。

【0007】

しかしながら、非特許文献１で提案されている方法は、時系列データの長さのばらつきがある場合には、微細な情報と長期的な依存関係の両方を維持することは困難であり、大幅な情報損失が発生する。

【0008】

そこで本発明は上記背景に鑑み、可変長の時系列データを適切に表現する特徴ベクトルを求める技術を提案する。

【課題を解決するための手段】

【0009】

本発明の情報処理装置は、可変長の時系列データを表現する特徴ベクトルを求める情報処理装置であって、教師データとして複数の時系列データを用いて予め生成された学習済モデルを記憶した記憶部と、時系列データを入力する入力部と、固定長の特徴ベクトルと時間的変化に関するデータとを前記学習済モデルに適用して求まる時系列データと、前記入力部にて入力された時系列データとの誤差を表す損失関数を最小にする特徴ベクトルを求める演算部と、前記演算部にて求めた特徴ベクトルを出力する出力部とを備える。この構成により、可変長データの全体の意味的な情報を含む固定長の特徴ベクトルを求めることができる。

【0010】

本発明の情報処理装置において、前記演算部は、経過時間を時間モデルに適用して前記時間的変化に関するデータを求め、求めた時間的変化に関するデータを前記学習済モデルに適用し、前記損失関数を最小にする特徴ベクトルと時間モデルを求めてもよい。このように特徴ベクトルと共に時間モデルを求めることにより、時系列データの時間的変化の傾向を把握できる。

【0011】

本発明の情報処理装置において、時間モデルは線形の関数であってもよい。時系列データは線形に変化することが多いので、時間モデルとして線形の関数を用いることで、多くの時系列データにおいて適切な学習済モデルを生成することができる。

【0012】

本発明の情報処理装置において、前記学習済モデルは、（ａ）教師データである複数の時系列データと、（ｂ）固定長の特徴ベクトルと時間的変化に関するデータを学習対象のモデルに適用して求まる時系列データとの誤差を表す損失関数を最小にするモデルであってもよい。なお、学習済モデルを生成するために用いる教師データは、解析対象となる時系列データと同種のデータを用いる。例えば、人の動きの映像を解析したいのであれば、人の動きを撮影した映像を用い、工場内の機器の監視を行いたいのであれば、工場内の機器を撮影した映像を用いて学習済モデルを生成する。

【0013】

本発明の情報処理装置は、前記記憶部には、前記複数の時系列データが所属するそれぞれのクラスについて、学習済みのクラス特徴ベクトルが記憶されており、前記演算部は、前記クラス特徴ベクトルを順次切り替えて前記学習済モデルに適用すると共に固定長の特徴ベクトルと時間的変化に関するデータとを前記学習済モデルに適用して求まる時系列データと、前記入力部にて入力された時系列データとの誤差を表す損失関数を最小にする特徴ベクトルとその特徴ベクトルが得られたときのクラスを求めてもよい。演算部では、特徴ベクトルの最適化を行うが、切り替えて適用される学習済みのクラス特徴ベクトルは固定値として適用され、最適化の対象ではない。この構成により、解析対象の時系列データの全体に共通する特徴ベクトルと共に時系列データが所属するクラスを求めることができる。

【0014】

本発明の情報処理装置において、前記学習済モデルは、（ａ）所属するクラスの情報を有する教師データである複数の時系列データと、（ｂ）クラスに共通するクラス特徴ベクトルと固定長の特徴ベクトルと時間的変化に関するデータを学習対象のモデルに適用して求まる時系列データとの誤差を表す損失関数を最小にするモデルであってもよい。

【0015】

本発明の別の態様の情報処理装置は、可変長の時系列データを表現する特徴ベクトルを求めるために用いられる学習済モデルを生成する情報処理装置であって、教師データとして複数の時系列データを入力する入力部と、（ａ）教師データである複数の時系列データと、（ｂ）固定長の特徴ベクトルと時間的変化に関するデータとを学習対象のモデルに適用して求まる時系列データとの誤差を表す損失関数を最小にするモデルを学習済モデルとして求める演算部と、前記学習済モデルを記憶する記憶部とを備える。この構成により、固定長の特徴ベクトルを求めるための学習済モデルを生成できる。

【0016】

本発明の別の態様の情報処理装置は、可変長の時系列データを表現する特徴ベクトルを求めるために用いられる学習済モデルを生成する情報処理装置であって、教師データとして所属するクラスの情報を有する複数の時系列データを入力する入力部と、（ａ）教師データである複数の時系列データと、（ｂ）クラスに共通するクラス特徴ベクトルと固定長の特徴ベクトルと時間的変化に関するデータとを学習対象のモデルに適用して求まる時系列データとの誤差を表す損失関数を最小にするモデルを学習済モデルとして求める演算部と、前記学習済モデルとクラス特徴ベクトルとを記憶する記憶部とを備える。この構成により、固定長の特徴ベクトルを求めるための学習済モデルと、複数のクラスのクラス特徴ベクトルを生成することができる。

【0017】

本発明の情報処理装置において、前記時系列データは、映像データであってもよい。映像データは時間的な情報と意味的な情報が混ざっているが、本発明の構成により、固定長の特徴ベクトルを求めることにより、適切に分析を行うことができる。

【0018】

本発明の情報処理方法は、情報処理装置によって、可変長の時系列データを表現する特徴ベクトルを求める方法であって、前記情報処理装置に時系列データを入力するステップと、前記情報処理装置が、教師データとして複数の時系列データを用いて予め生成された学習済モデルを記憶した記憶部から前記学習済モデルを読み出すステップと、前記情報処理装置が固定長の特徴ベクトルと時間的変化に関するデータとを前記学習済モデルに適用して求まる時系列データと、入力された時系列データとの誤差を表す損失関数を最小にする特徴ベクトルを求めるステップと、前記情報処理装置が求めた特徴ベクトルを出力するステップとを備える。

【0019】

本発明の別の態様に係る情報処理方法は、情報処理装置によって、可変長の時系列データを表現する特徴ベクトルを求めるために用いられる学習済モデルを生成する方法であって、前記情報処理装置に教師データとして複数の時系列データを入力するステップと、前記情報処理装置が、（ａ）教師データである複数の時系列データと、（ｂ）固定長の特徴ベクトルと時間的変化に関するデータとを学習対象のモデルに適用して求まる時系列データとの誤差を表す損失関数を最小にするモデルを学習済モデルとして求めるステップと、前記情報処理装置が前記学習済モデルを記憶部に記憶するステップとを備える。

【0020】

本発明のプログラムは、可変長の時系列データを表現する特徴ベクトルを求めるためのプログラムであって、コンピュータに、時系列データを入力するステップと、教師データとして複数の時系列データを用いて予め生成された学習済モデルを記憶した記憶部から前記学習済モデルを読み出すステップと、固定長の特徴ベクトルと時間的変化に関するデータとを前記学習済モデルに適用して求まる時系列データと、入力された時系列データとの誤差を表す損失関数を最小にする特徴ベクトルを求めるステップと、求めた特徴ベクトルを出力するステップとを実行させる。

【0021】

本発明の別の態様に係るプログラムは、可変長の時系列データを表現する特徴ベクトルを求めるために用いられる学習済モデルを生成するためのプログラムであって、コンピュータに、教師データとして複数の時系列データを入力するステップと、（ａ）教師データである複数の時系列データと、（ｂ）固定長の特徴ベクトルと時間的変化に関するデータとを学習対象のモデルに適用して求まる時系列データとの誤差を表す損失関数を最小にするモデルを学習済モデルとして求めるステップと、前記学習済モデルを記憶部に記憶するステップとを実行させる。

【発明の効果】

【0022】

本発明によれば、可変長データの全体の意味的な情報を含む固定長の特徴ベクトルを求めることができる。

【図面の簡単な説明】

【0023】

【図1】第１の実施の形態の情報処理装置による処理の基本となる考え方を説明する図である。

【図2】第１の実施の形態の情報処理装置による運用時と学習時の処理を説明する図である。

【図3】第１の実施の形態の情報処理装置の構成を示す図である。

【図4】第１の実施の形態の情報処理装置の学習時の動作を示す図である。

【図5】第１の実施の形態の情報処理装置の運用時の動作を示す図である。

【図6】第２実施の形態の情報処理装置による処理の基本となる考え方を説明する図である。

【図7】第２の実施の形態の情報処理装置の学習時の動作を示す図である。

【図8】第２の実施の形態の情報処理装置の運用時の動作を示す図である。

【発明を実施するための形態】

【0024】

以下、本発明の実施の形態の情報処理装置について図面を参照して説明する。情報処理装置は、可変長の時系列データを表現する固定長の特徴ベクトルを生成する。時系列データとしては、映像、音声、交通状況、降水量など様々なデータがあり、情報処理装置が扱う時系列データの種類は限定されない。以下では、映像データを例として説明する。

【0025】

図１及び図２は、第１の実施の形態の情報処理装置による処理の基本となる考え方を説明する図である。特徴ベクトルと時間的変化に関するデータを入力することで、時系列データを構築する多層パーセプトロン（MLP: Multilayer Perceptron）を用意する。

【0026】

時間的変化に関するデータは、時間の経過に伴う変化を表現するデータである。例えば、被写体が早く移動する場合には、ゆっくり移動する場合に比べて変化率の大きい関数で表されるデータとなる。図１に示す例では、経過時間を変数とする一次関数で表されている。なお、経過時間は、時系列データの先頭から経過した時間である。映像データであれば、再生時刻がこれに該当する。時間的変化に関するデータは、一次関数以外で表現してもよい。例えば、時系列データが周期的なデータであれば、周期関数によって表してもよい。また、必ずしも関数で表される必要もなく、別のＭＬＰで求められるデータでもよい。なお、経過時間を時間的変化に関するデータに変換する関数やＭＬＰ等が時間モデルである。

【0027】

多層パーセプトロンに入力される特徴ベクトルは、時系列データの全体に共通のデータである。これに対し、時間的変化に関するデータは、時系列データのうちのどの時点のデータか（映像データの場合には、どのフレームか）によって異なるデータである。本実施の形態では、特徴ベクトルと共に時間的変化に関するデータを用いることにより、時系列データの全体についての特徴を表した（すなわち、時間変化によらない）特徴ベクトルを求めることができる。

【0028】

図２を参照して、学習時と運用時の考え方について説明する。図２に示しているフローは、図１で示したフローと同じであるが、時刻１～時刻ｔに分けて記載している。複数記載した多層パーセプトロンは、上で説明したとおり、いずれの時刻においても同じモデルである。

【0029】

図２の上段は学習時の処理を示す図である。学習時には、多層パーセプトロンに特徴ベクトルと時間的変化に関するデータとを適用して構築された時系列データと、教師データとの誤差を表す損失関数が最小になるように、多層パーセプトロンと時間モデルと特徴ベクトルの最適化を行う。学習時に学習したいのは、多層パーセプトロンであり、以下の式（１）によって学習を行う。

【0030】

【数1】

【0031】

上式においてminの項は、教師データのうちの一つの時系列データｉ（１≦ｉ≦Ｎ）において誤差の最小値を表している。argminの項は教師データであるＮ個の全時系列データについて誤差を最小にする多層パーセプトロンθ^＊を表している。このようにして求めた多層パーセプトロンθ^＊が学習済モデルとなる。

【0032】

図２の下段は運用時の処理を示す図である。運用時には、情報処理装置は解析対象の時系列データの特徴ベクトルを求める。学習時に求めた学習済の多層パーセプトロンを用いるので、多層パーセプトロンθ^＊は固定されている。多層パーセプトロンに特徴ベクトルと時間的変化に関するデータを適用して構築された時系列データと、解析対象の時系列データとの誤差を表す損失関数が最小になるように、以下の式（２）により、時間モデルと特徴ベクトルの最適化を行う。

【数2】

【0033】

これにより、情報処理装置は、解析対象の時系列データの全体に共通する特徴ベクトルを求めることができる。合わせて、時間的変化に関する時間モデルを求めることができる。本実施の形態の情報処理装置は、時系列データの特徴ベクトルを求めるために、時系列データをエンコードするのではなく、解析対象の時系列データとの誤差が最小となるように特徴ベクトルの最適化をすることで特徴ベクトルを求める構成が、上述した非特許文献１のような方法とは根本的に異なる。

【0034】

（第１の実施の形態）
以下、本実施の形態の情報処理装置１の構成について説明する。情報処理装置１は時系列データである映像データを入力する入力部１０と、入力された時系列データを用いて学習済モデルの生成と特徴ベクトルの算出を行う演算部１１と、演算部１１にて求めた特徴ベクトルを出力する出力部１２と、学習済モデルを記憶する記憶部１３とを有している。図３に示す情報処理装置１は、学習済モデルの生成と、時系列データの解析の両方を行う装置である。なお、学習済モデルの生成と時系列データの解析を別々の装置で行うようにしてもよい。

【0035】

図４は、実施の形態の情報処理装置１の学習時の動作を示す図である。情報処理装置１は、特徴ベクトルと時間モデルと多層パーセプトロンの初期値を準備する（Ｓ１０）。特徴ベクトルは、例えば１００次元のベクトルである。多層パーセプトロンは、例えば、［１０００，１０００，１０００，１００］の４層からなるニューラルネットワークを用いる。時間モデルは、例えば、線形関数を用いる。映像においては、被写体が移動している場合が多いので、例えば、次式で示すような一次関数によって時系列データをうまく表現できる。

【数3】

【0036】

情報処理装置１は、教師データとして多数の映像の入力を受け付ける（Ｓ１１）。情報処理装置１は、次式（１）に示す損失関数を最小にするように多層パーセプトロン（の重みパラメータ）を学習し、学習済モデルθ^＊を生成する（Ｓ１２）。情報処理装置１は、生成した学習済モデルを記憶部１３に記憶する（Ｓ１３）。学習にはAdam等の公知の最適化手法を用いることができる。教師データを用いた学習の繰り返し回数（Epoch数）は、例えば２０００回とする。

【数4】

【0037】

図５は、実施の形態の情報処理装置１の運用時の動作を示す図である。情報処理装置１は、特徴ベクトルと時間モデルの初期値を準備する（Ｓ２０）。ここで準備する特徴ベクトルと時間モデルの初期値は学習時のものと同じである。

【0038】

情報処理装置１は、解析対象である映像の入力を受け付ける（Ｓ２１）。情報処理装置１は、次式（２）に示す損失関数を最小にするような特徴ベクトルＣと時間モデルσを求める。

【数5】

【0039】

具体的には、情報処理装置１は記憶部１３から学習済モデルを読み出し、学習済モデルに特徴ベクトルと時間的変化に関するデータを適用することで時系列データを構築し、構築された時系列データと解析対象の時系列データとの誤差が小さくなるように、特徴ベクトルと時間モデルの最適化を行う（Ｓ２２）。本実施の形態において、時間モデルσの最適化は、一次関数の傾きσ₂と切片σ₁を最適化することである。学習の繰り返し回数は、例えば、１０００回とする。情報処理装置１は、求めた特徴ベクトルＣと時間モデルσを出力する（Ｓ２３）。

【0040】

以上、本実施の形態の情報処理装置１の構成について説明したが、上記した情報処理装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した情報処理装置１が実現される。このようなプログラムも本発明の範囲に含まれる。

【0041】

本実施の形態の情報処理装置１は、可変長の映像の全体の意味的な情報を含む固定長の特徴ベクトルを求めることができる。これにより、映像全体の特徴を理解しやすくなり、可変長の映像どうしを比較することも可能になる。

【0042】

（第２の実施の形態）
次に、第２の実施の形態の情報処理装置について説明する。第２の実施の形態の情報処理装置の基本的な構成は、第１の実施の形態の情報処理装置１と同じである（図３参照）。第２の実施の形態の情報処理装置は、複数の映像にクラスを付与することができる情報処理装置である。クラスはアトリビュートともいう。以下の説明においては、クラスをａ、クラス数をＭ、クラスに所属する映像の個数をＮ_a、クラスａのｉ番目の映像の系列長をＴ_a,iとする。また、Ｃ_aを「クラスａに属する映像群を表現する最適な特徴ベクトル」と定義する。すなわち、Ｃ_aは、クラスａに所属するすべての映像に対して最適化される量である。

【0043】

図６は、第２の実施の形態の情報処理装置による処理の基本となる考え方を説明する図である。クラス特徴ベクトルと特徴ベクトルと時間的変化に関するデータを入力することで、時系列データを構築する多層パーセプトロン（MLP）を用意する。時間的変化に関するデータは、時間の経過に伴う変化を表現するデータである。多層パーセプトロンに入力される特徴ベクトルＣは、時系列データの全体に共通のデータである。クラス特徴ベクトルＣ_aは、クラスａに所属するすべての映像に対して共通のデータである。

【0044】

第２の実施の形態の情報処理装置は、学習時には、多層パーセプトロンにクラス特徴ベクトルと特徴ベクトルと時間的変化に関するデータとを適用して構築された時系列データと、教師データとの誤差を表す損失関数が最小になるように、多層パーセプトロンθとクラス特徴ベクトルＣ_aと時間モデルｆ_σ（ｔ）と特徴ベクトルＣの最適化を行う。学習時に学習したいのは、多層パーセプトロンであり、以下の式（３）によって学習を行う。

【数6】

【0045】

θは、第１の実施の形態の場合と同様に、全てのクラスのすべての映像に対して最適化される量である。学習済みの多層パーセプトロンθ^＊が求まると、次式（４）により、クラス特徴ベクトルが求まる。

【数7】

【0046】

以上のように、学習によって、多層パーセプトロンの学習済みモデルとクラス特徴ベクトルが得られる。なお、クラス特徴ベクトルは、クラスの数だけ存在する。

【0047】

運用時の解析対象である映像にはクラスラベルは付与されていない。情報処理装置は、運用時に、解析対象の映像の特徴ベクトルと共にクラスラベルも求める。情報処理装置は、次式（５）において解析対象のクラスを仮定して、解析対象の映像の特徴ベクトルの最適化を行い、最も良く最適化を行うことができたクラスが真のクラスであると特定する。すなわち、情報処理装置は、クラスａ（a＝1,2,…,M）のクラス特徴ベクトルを順次使って、特徴ベクトルC^(a)とσ^(a)の最適化を行い、最も良い最適化が行えたクラスａと特徴ベクトルC^(a)を解析対象の映像のクラス及び特徴ベクトルとする。

【数8】

【0048】

図７は、実施の形態の情報処理装置の学習時の動作を示す図である。情報処理装置１は、クラス特徴ベクトルと特徴ベクトルと時間モデルと多層パーセプトロンの初期値を準備する（Ｓ３０）。

【0049】

情報処理装置は、教師データとして多数の映像の入力を受け付ける（Ｓ３１）。教師データは映像がどのクラスに属するかの情報を有している。情報処理装置は、上述した式（３）の多層パーセプトロン（の重みパラメータ）を学習し、学習済モデルθ^＊を生成する（Ｓ３２）。続いて、情報処理装置は、生成した学習済モデルに対して再度教師データを適用し、式（４）によりクラス特徴ベクトルを学習する（Ｓ３３）。情報処理装置は、学習済みモデルとクラス特徴ベクトルを記憶部１３に記憶する（Ｓ３４）。

【0050】

図８は、実施の形態の情報処理装置の運用時の動作を示す図である。情報処理装置は、特徴ベクトルと時間モデルの初期値を準備する（Ｓ４０）。ここで準備する特徴ベクトルと時間モデルの初期値は学習時のものと同じである。

【0051】

情報処理装置は、解析対象である映像の入力を受け付ける（Ｓ４１）。情報処理装置は、式（５）に示す損失関数を用いて映像のクラスを特定すると共に、特徴ベクトルＣと時間モデルσを求める。

【0052】

具体的には、情報処理装置は記憶部１３からクラス特徴ベクトルと学習済モデルを読み出す。情報処理装置は、計算に用いるクラスのクラス特徴ベクトルを選択し（Ｓ４２）、学習済モデルに対して選択したクラス特徴ベクトルと特徴ベクトルと時間的変化に関するデータを適用することで時系列データを構築し、構築された時系列データと解析対象の時系列データとの誤差が小さくなるように、特徴ベクトルと時間モデルの最適化を行う（Ｓ４３）。情報処理装置は、最適化された特徴ベクトルと時間モデルを記憶し、全クラスについて計算を行ったか否かを判定する（Ｓ４４）。

【0053】

まだ、計算を行っていないクラスが残っている場合には（Ｓ４４でＮＯ）、次に計算に使うクラスのクラス特徴ベクトルを選択し（Ｓ４２）、上記と同様にして、選択したクラス特徴ベクトルを使って特徴ベクトルと時間モデルの最適化計算を行う（Ｓ４３）。この計算を全クラスのクラス特徴ベクトルについて行い、全クラスについて計算が完了すると（Ｓ４４でＹＥＳ）、情報処理装置は、最適化計算を行ったときの誤差が最小となったクラスを特定し、当該クラスに対応する特徴ベクトルと時間モデルを選択する（Ｓ４５）。情報処理装置は、選択されたクラスと特徴ベクトルと時間モデルを出力する（Ｓ４６）。

【0054】

第２の実施の形態の情報処理装置は、第１の実施の形態の情報処理装置１と同様に、可変長の映像の全体の意味的な情報を含む固定長の特徴ベクトルを求めることができる。また、第２の実施の形態の情報処理装置は、解析対象の映像が所属するクラスを求めることができ、解析対象の映像を分類できる。

【0055】

以上、本発明の情報処理装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。上記した実施の形態では、時間モデルを用いる例を挙げたが、経過時間そのものを時間的変化に関するデータとして用いることもできる。この場合には、多層パーセプトロンが時系列データの時間的変化の違いを吸収するように学習がなされる。

【符号の説明】

【0056】

１ 情報処理装置
１０ 入力部
１１ 演算部
１２ 出力部
１３ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】