(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023128509
(43)【公開日】2023-09-14
(54)【発明の名称】情報処理プログラム，情報処理装置及び情報処理方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230907BHJP
G06F 16/55 20190101ALI20230907BHJP
【ＦＩ】
G06T7/00 300F
G06F16/55
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022032885
(22)【出願日】2022-03-03
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100092978
【弁理士】
【氏名又は名称】真田 有
(74)【代理人】
【識別番号】100189201
【弁理士】
【氏名又は名称】横田 功
(72)【発明者】
【氏名】武本 健太郎
【テーマコード（参考）】
5B175
5L096
【Ｆターム（参考）】
5B175DA02
5B175FA01
5B175FA03
5L096AA02
5L096AA06
5L096BA02
5L096CA02
5L096FA72
5L096HA11
5L096JA11
5L096KA04
5L096MA07
(57)【要約】
【課題】画像データ中における複数の対象物と複数の対象物間の関係性とを反映して画像データを分類する。
【解決手段】画像データにおける複数の対象物と複数の対象物間の関係とを示すグラフに含まれる単語情報３４１それぞれに対して、単語情報３４１が属する関係性を示す情報３４２と、関係性における単語情報の役割を示す情報３４３と、を追加したデータ３４０を生成し、生成したデータ３４０を自己符号化器２０への入力データとする機械学習により、入力データに対する特徴量３０を取得し、取得した特徴量３０に基づいて、画像データの分類を実行する。
【選択図】図１０
【解決手段】画像データにおける複数の対象物と複数の対象物間の関係とを示すグラフに含まれる単語情報３４１それぞれに対して、単語情報３４１が属する関係性を示す情報３４２と、関係性における単語情報の役割を示す情報３４３と、を追加したデータ３４０を生成し、生成したデータ３４０を自己符号化器２０への入力データとする機械学習により、入力データに対する特徴量３０を取得し、取得した特徴量３０に基づいて、画像データの分類を実行する。
【選択図】図１０
【特許請求の範囲】
【請求項1】
画像データにおける複数の対象物と前記複数の対象物間の関係とを示すグラフに含まれる単語情報それぞれに対して、前記単語情報が属する関係性を示す情報と、前記関係性における前記単語情報の役割を示す情報と、を追加したデータを生成し、
生成した前記データを自己符号化器への入力データとする機械学習により、前記入力データに対する特徴量を取得し、
取得した前記特徴量に基づいて、前記画像データの分類を実行する、
処理をコンピュータに実行させる、情報処理プログラム。
生成した前記データを自己符号化器への入力データとする機械学習により、前記入力データに対する特徴量を取得し、
取得した前記特徴量に基づいて、前記画像データの分類を実行する、
処理をコンピュータに実行させる、情報処理プログラム。
【請求項2】
前記画像データは、動画データに含まれる複数のフレーム画像であり、
同じ場面に分類された複数のフレーム画像に対応する前記グラフのそれぞれに基づいて取得されるそれぞれの前記特徴量間の距離を小さくし、
異なる場面に分類された複数のフレーム画像に対応する前記グラフのそれぞれに基づいて取得される前記特徴量間の距離を大きくする、
請求項１に記載の情報処理プログラム。
同じ場面に分類された複数のフレーム画像に対応する前記グラフのそれぞれに基づいて取得されるそれぞれの前記特徴量間の距離を小さくし、
異なる場面に分類された複数のフレーム画像に対応する前記グラフのそれぞれに基づいて取得される前記特徴量間の距離を大きくする、
請求項１に記載の情報処理プログラム。
【請求項3】
前記データを生成する処理において、
前記複数の対象物のうちの一の対象物についての前記単語情報を取得する第１の符号化処理を実行し、
前記第１の符号化処理に基づいて、前記関係性を示す情報と前記役割を示す情報とを取得する第２の符号化処理を実行し、
前記特徴量を取得する処理において、
前記第１の符号化処理と前記第２の符号化処理とに基づいて生成した前記データを用いて、前記特徴量を取得する第３の符号化処理を実行する、
処理をコンピュータに実行させる、請求項１又は２に記載の情報処理プログラム。
前記複数の対象物のうちの一の対象物についての前記単語情報を取得する第１の符号化処理を実行し、
前記第１の符号化処理に基づいて、前記関係性を示す情報と前記役割を示す情報とを取得する第２の符号化処理を実行し、
前記特徴量を取得する処理において、
前記第１の符号化処理と前記第２の符号化処理とに基づいて生成した前記データを用いて、前記特徴量を取得する第３の符号化処理を実行する、
処理をコンピュータに実行させる、請求項１又は２に記載の情報処理プログラム。
【請求項4】
前記役割を示す情報は、前記単語情報が主体に対応することを示す主体情報と、前記単語情報が客体に対応することを示す客体情報と、前記主体から前記客体に対する動作を示す動作情報を含む、
請求項１～３のいずれか１項に記載の情報処理プログラム。
請求項１～３のいずれか１項に記載の情報処理プログラム。
【請求項5】
画像データにおける複数の対象物と前記複数の対象物間の関係とを示すグラフに含まれる単語情報それぞれに対して、前記単語情報が属する関係性を示す情報と、前記関係性における前記単語情報の役割を示す情報と、を追加したデータを生成し、
生成した前記データを自己符号化器への入力データとする機械学習により、前記入力データに対する特徴量を取得し、
取得した前記特徴量に基づいて、前記画像データの分類を実行する、
プロセッサを備える、情報処理装置。
生成した前記データを自己符号化器への入力データとする機械学習により、前記入力データに対する特徴量を取得し、
取得した前記特徴量に基づいて、前記画像データの分類を実行する、
プロセッサを備える、情報処理装置。
【請求項6】
画像データにおける複数の対象物と前記複数の対象物間の関係とを示すグラフに含まれる単語情報それぞれに対して、前記単語情報が属する関係性を示す情報と、前記関係性における前記単語情報の役割を示す情報と、を追加したデータを生成し、
生成した前記データを自己符号化器への入力データとする機械学習により、前記入力データに対する特徴量を取得し、
取得した前記特徴量に基づいて、前記画像データの分類を実行する、
処理をコンピュータが実行する、情報処理方法。
生成した前記データを自己符号化器への入力データとする機械学習により、前記入力データに対する特徴量を取得し、
取得した前記特徴量に基づいて、前記画像データの分類を実行する、
処理をコンピュータが実行する、情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理プログラム，情報処理装置及び情報処理方法に関する。
【背景技術】
【0002】
画像データから得られる知識グラフを用いて画像データに関連するトピックを識別する方法がある。トピックを識別するために、画像データとは別に教師データが用意される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－５７３６５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、用意される教師データの内容によっては、画像データ中の複数の対象物と複数の対象物間の関係性とを反映して画像データを分類できないおそれがある。
【0005】
１つの側面では、画像データ中における複数の対象物と複数の対象物間の関係性とを反映して画像データを分類することを目的とする。
【課題を解決するための手段】
【0006】
１つの側面では、情報処理プログラムは、画像データにおける複数の対象物と複数の対象物間の関係とを示すグラフに含まれる単語情報それぞれに対して、単語情報が属する関係性を示す情報と、関係性における単語情報の役割を示す情報と、を追加したデータを生成し、生成したデータを自己符号化器への入力データとする機械学習により、入力データに対する特徴量を取得し、取得した特徴量に基づいて、画像データの分類を実行する、処理をコンピュータに実行させる。
【発明の効果】
【0007】
１つの側面では、画像データ中における複数の対象物と複数の対象物間の関係性とを反映して画像データを分類することができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
〔Ａ〕関連例
図１は、関連技術におけるクラスタリング処理を説明する図である。
図１は、関連技術におけるクラスタリング処理を説明する図である。
【0010】
クラスタリングは、データ間の類似度に基づいて、データを分類することを意味する。図１に示される処理において、動画データ２００に含まれるフレーム画像２１０－１～２１０－３は、特徴量に基づいてクラスタリングされる。動画データ２００は、入力動画であり、一例において、監視映像であってよく、他の種類の動画であってもよい。
【0011】
一例において、動画データ２００に含まれる各フレーム画像２１０－１～２１０－３（総称してフレーム画像２１０と称する場合がある）が画像データである。入力される各フレーム画像２１０に対してConvolutional Neural Network（ＣＮＮ）等の画像処理が実行されることで、それぞれの特徴量＃１～＃３が得られる。ＣＮＮは、画像処理において広く用いられるニューラルネットワークである。
【0012】
特徴量＃１～＃３を得るために、ＣＮＮ等の画像処理に加えて、対象物についての物体検出結果（例えば、図１に示す物体検出結果＃１）が使用されてもよい。各フレーム画像２１０等の画像データそのものから得られる特徴量を「画像特徴量」と称する場合がある。対象物は、オブジェクトまたは物体と呼ばれる場合がある。
【0013】
しかしながら、各フレーム画像２１０そのものから特徴量を得る場合、画像の色味及び撮影角度等の影響を受けることがある。この結果、フレーム画像２１０中に登場する対象物や、対象物の動作、複数の対象物間の関係性等の場面内容が特徴量に正確に反映されないおそれがある。
【0014】
そこで、複数の対象物と複数の対象物間の関係性情報とを有するシーングラフを入力データに含めることが想定される。シーングラフは、主体となる対象物、客体となる対象物、及び対象物間の関係性の組が複数連なったデータ形式で表現される。そして、実施形態における処理においては、シーングラフに基づいて特徴量が取得される。
【0015】
〔Ｂ〕実施形態
以下、図面を参照して一実施の形態を説明する。但し、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
以下、図面を参照して一実施の形態を説明する。但し、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
【0016】
以下、図中において、同一の各符号は同様の部分を示しているので、その説明は省略する。
【0017】
〔Ｂ－１〕構成例
図２は、実施形態における情報処理装置１のハードウェア構成例を模式的に示すブロック図である。
図２は、実施形態における情報処理装置１のハードウェア構成例を模式的に示すブロック図である。
【0018】
情報処理装置１は、コンピュータである。図２に示すように、情報処理装置１は、Central Processing Unit（ＣＰＵ）１１，メモリ部１２，表示制御部１３，記憶装置１４，入力Interface（ＩＦ）１５，外部記録媒体処理部１６及び通信ＩＦ１７を備える。
【0019】
メモリ部１２は、記憶部の一例であり、例示的に、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）などである。メモリ部１２のＲＯＭには、Basic Input/Output System（ＢＩＯＳ）等のプログラムが書き込まれてよい。メモリ部１２のソフトウェアプログラムは、ＣＰＵ１１に適宜に読み込まれて実行されてよい。また、メモリ部１２のＲＡＭは、一時記録メモリあるいはワーキングメモリとして利用されてよい。
【0020】
表示制御部１３は、表示装置１３０と接続され、表示装置１３０を制御する。表示装置１３０は、液晶ディスプレイやOrganic Light-Emitting Diode（ＯＬＥＤ）ディスプレイ，Cathode Ray Tube（ＣＲＴ），電子ペーパーディスプレイ等であり、オペレータ等に対する各種情報を表示する。表示装置１３０は、入力装置と組み合わされたものでもよく、例えば、タッチパネルでもよい。
【0021】
記憶装置１４は、高ＩＯ性能の記憶装置であり、例えば、Dynamic Random Access Memory（ＤＲＡＭ）やSolid State Drive（ＳＳＤ），Storage Class Memory（ＳＣＭ），Hard Disk Drive（ＨＤＤ）が用いられてよい。
【0022】
入力ＩＦ１５は、マウス１５１やキーボード１５２等の入力装置と接続され、マウス１５１やキーボード１５２等の入力装置を制御してよい。マウス１５１やキーボード１５２は、入力装置の一例であり、これらの入力装置を介して、オペレータが各種の入力操作を行なう。
【0023】
外部記録媒体処理部１６は、記録媒体１６０が装着可能に構成される。外部記録媒体処理部１６は、記録媒体１６０が装着された状態において、記録媒体１６０に記録されている情報を読み取り可能に構成される。本例では、記録媒体１６０は、可搬性を有する。例えば、記録媒体１６０は、フレキシブルディスク、光ディスク、磁気ディスク、光磁気ディスク、又は、半導体メモリ等である。
【0024】
通信ＩＦ１７は、外部装置との通信を可能にするためのインタフェースである。
【0025】
ＣＰＵ１１は、プロセッサの一例であり、種々の制御や演算を行なう処理装置である。ＣＰＵ１１は、メモリ部１２に読み込まれたOperating System（ＯＳ）やプログラムを実行することにより、種々の機能を実現する。
【0026】
情報処理装置１全体の動作を制御するための装置は、ＣＰＵ１１に限定されず、例えば、ＭＰＵやＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのいずれか１つであってもよい。また、情報処理装置１全体の動作を制御するための装置は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ及びＦＰＧＡのうちの２種類以上の組み合わせであってもよい。なお、ＭＰＵはMicro Processing Unitの略称であり、ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific Integrated Circuitの略称である。また、ＰＬＤはProgrammable Logic Deviceの略称であり、ＦＰＧＡはField Programmable Gate Arrayの略称である。
【0027】
〔Ｂ－１－１〕学習時
図３は、図２に示した情報処理装置１による学習時における特徴量の取得処理の一例を説明する図である。図４は、図２に示した情報処理装置１におけるシーングラフ３００の一例を模式的に示す図である。
図３は、図２に示した情報処理装置１による学習時における特徴量の取得処理の一例を説明する図である。図４は、図２に示した情報処理装置１におけるシーングラフ３００の一例を模式的に示す図である。
【0028】
図３に示すように、情報処理装置１は、シーングラフ３００を、自己符号化器２０に入力して、シーングラフ３０２として復元して出力する。
【0029】
図４には、シーングラフ３００とシーングラフ３００の元になったフレーム画像２１０とが示されている。フレーム画像２１０中には、複数の対象物２１１－１～２１１－５（総称して対象物２１１と称する場合がある）が含まれる。本例では、対象物２１１は、人（対象物２１１－１）であってもよく、眼鏡（対象物２１１－２）、カップ（対象物２１１－３）及び携帯電話（対象物２１１－４）のように物であってもよく、手（対象物２１１－５）のように人または物の部分であってもよい。
【0030】
シーングラフ３００は、フレーム画像２１０内において認識された複数の対象物２１１と複数の対象物２１１間の関係とを含むグラフである。シーングラフ３００は、フレーム画像２１０内において認識された複数の対象物２１１と複数の対象物２１１間の関係をツリー構造で表したグラフであってよい。シーングラフは知識グラフの一種であってよい。グラフは、頂点（ノード）と、頂点同士の関係とを表したデータ構造である。
【0031】
シーングラフ３００は、対象物２１１の名称に対応する第１単語情報３２１－１～３２１－５（総称して、第１単語情報３２１と称する場合がある）を含んでよい。また、シーングラフ３００は、対象物２１１の動作を示す第２単語情報３２２－１～３２２－４（総称して、第２単語情報３２２と称する場合がある）を含んでよく、対象物２１１の動作以外の状態や様子を表す第３単語情報３２２－５を含んでよい。
【0032】
また、シーングラフ３００は、複数の対象物２１１間の関係を有向性エッジ３２３で示してよい。有向性エッジ３２３は、矢印のある線であってよい。図４においては、説明の簡便のために第１単語情報３２１－１と第１単語情報３２１－２との間の有向性エッジ３２３のみ符号を示す。有向性エッジ３２３の両端の連結関係は複数の第１単語情報３２１の属する関係を示し、有向性エッジ３２３の向きは複数の第１単語情報３２１の役割を示す。
【0033】
図３において、情報処理装置１は、シーングラフ３００に含まれる単語情報それぞれに対して、関係性を示す情報及び役割を示す情報を追加して変換データを生成する。生成された変換データは、シーングラフ３００のデータ形式を変換したデータであってよい。
【0034】
情報処理装置１は、生成した変換データを自己符号化器（オートエンコーダ）２０への入力データとする機械学習により、入力データに対する特徴量３０を取得する。機械学習は、自己教師あり機械学習であってよい。自己符号化器２０は、エンコーダネットワーク２１及びデコーダネットワーク２２を有する。エンコーダネットワーク２１及びデコーダネットワーク２２は、それぞれニューラルネットワークである。
【0035】
エンコーダネットワーク２１は、シーングラフ３００に対応する入力データを特徴量３０に変換する。デコーダネットワーク２２は、特徴量３０からシーングラフ３０２に対応する出力データを復元する。
【0036】
情報処理装置１は、出力データが、入力データに一致するように自己符号化器２０を調整する。具体的には、情報処理装置１は、出力データと入力データとを比較して復元誤差を算出する。復元誤差は、エンコーダネットワーク２１への入力データと、デコーダネットワーク２２からの出力データとの差分であってよい。情報処理装置１は、誤差逆伝搬によってエンコーダネットワーク２１及びデコーダネットワーク２２という２つのニューラルネットワークの重みを調整する。特徴量３０は、エンコーダネットワーク２１とデコーダネットワーク２２との間において符号化される特徴量であるので、中間特徴量と呼ばれる場合がある。
【0037】
自己符号化器２０は、対象物２１１と関係性とを復元できるように、エンコーダネットワーク２１及びデコーダネットワーク２２という２つのニューラルネットワークにおけるベクトル化モデルを学習する。
【0038】
【0039】
情報処理装置１（コンピュータ）のＣＰＵ１１等のプロセッサは、ＯＳやプログラムを実行することにより、シーングラフ生成部５１，シーングラフ変換部５２，特徴量算出部５３，シーングラフ復元部５４，クラスタリング部５５，クラスター教師データ計算部５６，及び誤差計算部５７として機能する。
【0040】
シーングラフ生成部５１は、入力された動画データ２００に含まれるフレーム画像２１０から、それぞれのシーングラフ３００を生成する。シーングラフ生成部５１は、フレーム画像２１０中に含まれる対象物２１１及び関係性をＣＮＮ等の画像処理技術によって認識する。各対象物２１１は、画像における各対象物２１１の座標と、ラベル（人、携帯電話等）とにより表示される。シーングラフ生成部５１の機能は、既存の技術を用いて実現することができるので、詳しい説明は省略する。情報処理装置１は、他の装置によって生成されたシーングラフ３００を取得してよい。この場合、シーングラフ生成部５１は省略することができる。
【0041】
シーングラフ変換部５２は、シーングラフ３００を自己符号化器２０に入出力することができる形式に変換する。特徴量算出部５３は、図３を用いて前述したエンコーダネットワーク２１に相当する。シーングラフ復元部５４は、図３を用いて前述したデコーダネットワーク２２に相当する。
【0042】
クラスタリング部５５は、同じ場面に分類された複数のフレーム画像２１０に対応するシーングラフ３００のそれぞれに基づいて取得される各特徴量３０間の距離を小さくする。また、クラスタリング部５５は、異なる場面に分類された複数のフレーム画像２１０に対応するシーングラフ３００のそれぞれに基づいて取得される各特徴量３０間の距離を大きくしてよい。一例において、クラスタリング方法として、K-mean法やexpectation-maximization（EM）アルゴリズム、敵対的生成ネットワーク（GAN）を利用する方法等が用いられてよい。K-mean法、EMアルゴリズム、及びGANについての詳しい説明は省略する。
【0043】
クラスター教師データ計算部５６は、クラスタリング部５５のための教師データを作成する。クラスター教師データ計算部５６は、一例において、特徴量３０間の距離を計算した場合に、それぞれの特徴量３０を計算したシーングラフ３００が同じ場面であれば“０”とし、それぞれの特徴量を計算したシーングラフ３００が異なる場面であれば“１”とする。但し、クラスタリング部５５及びクラスター教師データ計算部５６は省略されてもよい。
【0044】
誤差計算部５７は、シーングラフ変換部５２によって作成されて特徴量算出部５３に入力される入力データとシーングラフ復元部５４によって復元された出力データとを比較して、シーングラフ復元誤差を算出してよい。さらに、誤差計算部５７は、クラスタリング部５５による算出結果とクラスター教師データ計算部５６による教師データとの間の誤差であるクラスタリング誤差を算出してよい。誤差計算部５７は、シーングラフ復元誤差とクラスタリング誤差を足し合わせて誤差を計算してよい。誤差計算部５７によって計算された誤差は、誤差逆伝搬によって特徴量算出部５３及びシーングラフ復元部５４にフィードバックされる。誤差に基づいて誤差が小さくなるように特徴量算出部５３及びシーングラフ復元部５４が調整される。誤差計算部５７によって計算された誤差は、さらに、クラスタリング部５５にフィードバックされてよい。
【0045】
【0046】
シーングラフ生成部５１の処理と同様の方法によって、動画データ２００に含まれる各フレーム画像２１０－１～２１０－３からシーングラフ３００－１～３００－３が生成される。学習済みのエンコーダネットワーク２１－１～２１－３を用いて、各シーングラフ３００－１～３００－３からそれぞれに対応する特徴量３０－１～３０－３が計算される。
【0047】
図６に示される例では、情報処理装置１は、各フレームからのシーングラフ３００－１、３００－２、３００－３をそれぞれのエンコーダネットワーク２１－１、２１－２、２１－３に入力して特徴量３０－１～３０－３を算出する。
【0048】
情報処理装置１は、特徴量３０－１～３０－３を用いて、フレーム画像２１０－１～２１０－３についてクラスタリング（分類）を実行する。図６の例では、特徴量３０－１～３０－３に基づいて、フレーム＃２とフレーム＃３とが同じグループに分類され、フレーム＃１はフレーム＃２及びフレーム＃３と異なるグループに分類される。
【0049】
【0050】
図７に示される例では、情報処理装置１は、複数のフレーム画像２１０－１～２１０－３からのシーングラフ３００－１、３００－２、３００－３を単一のエンコーダネットワーク２１に入力して特徴量３０－１～３０－３を算出する。これにより動画としての情報が特徴量３０－１～３０－３に反映される。
【0051】
【0052】
情報処理装置１（コンピュータ）のＣＰＵ１１等のプロセッサは、ＯＳやプログラムを実行することにより、シーングラフ生成部５１，シーングラフ変換部５２，特徴量算出部５３，クラスタリング部５８，異常検知部６１及びサマリー生成部６２として機能する。
【0053】
シーングラフ生成部５１，シーングラフ変換部５２及び特徴量算出部５３は、図５に示した学習時と同様の処理を実行する。
【0054】
クラスタリング部５８は、取得した特徴量３０に基づいて、画像データのクラスタリングを実行する。特徴量は、特徴量算出部５３によって算出される。クラスタリング部５８は、特徴量３０の距離に応じて画像データをクラスタリングしてよい。クラスタリングは、既存のクラスタリング方法を使用して実行することができる。一例において、クラスタリング方法として、K-mean法やEMアルゴリズム、及びGANを利用する方法等が用いられてよい。K-mean法、EMアルゴリズム、及びGANについての詳しい説明は省略する。
【0055】
異常検知部６１は、異常が発生している時系列に対応するフレーム画像＃ｎを検出する。異常検知部６１は、既存の外れ値検出手法用いて異常検知してよい。外れ値とは、データ点が分布から大きく外れているもの、つまり他のデータと比べて極端に離れた値であってよい。
【0056】
サマリー生成部６２は、クラスタリング結果をもとに動画のサマリーを生成する。異常検知部６１及びサマリー生成部６２の内容については後述する。なお、異常検知部６１及びサマリー生成部６２は、省略されてもよい。
【0057】
【0058】
元データ３３０は、少なくともシーングラフ３００を含む。元データ３３０は、フレーム画像２１０とフレーム画像に対応するシーングラフ３００とを含むデータセットであってよい。データセットは、Visual Genome等により取得されてよい。シーングラフ３００は、フレーム画像に対して関連情報を付与する注釈（アノテーション）として記述されていてもよい。
【0059】
シーングラフ変換部５２は、シーングラフ３００に含まれる単語情報それぞれに対して、単語情報が属する関係性を示す情報と、関係性における単語情報の役割を示す情報と、を追加した変換データ３４０を生成する。変換データ３４０は、シーングラフ３００に含まれる単語情報に対応するラベルトークン３４１、ラベルトークンが属する関係性を示す関係性トークン３４２、及び関係性におけるラベルトークンの役割を示す種類トークン３４３を含む。
【0060】
ラベルトークン３４１は、シーングラフ３００に含まれる単語情報の一例である。ラベルトークン３４１は、インスタンスごとのクラスを示す。インスタンスは、対象物（物体）と関係性とを含む。
【0061】
関係性トークン３４２は、各インスタンスが属する関係性を示す。関係性トークン３４２は、単語情報が属する関係性を示す情報の一例である。
【0062】
種類トークン３４３は、各インスタンスが関係性の中で果たす役割を示す。種類トークン３４３は、主体情報（図中「２」で表示）、客体情報（図中「３」で表示）、動作情報（図中「１」で表示）を含む。種類トークン３４３は、関係性におけるラベルトークンの役割を示す情報の一例である。
【0063】
シーングラフ３００に含まれる単語情報、すなわち、インスタンスは、図４を用いて前述したように、対象物２１１の名称に対応する第１単語情報３２１－１～３２１－５、対象物２１１の動作を示す第２単語情報３２２－１～３２２－４、及び対象物２１１の動作以外の状態や様子を表す第３単語情報３２２－５を含んでよい。ラベルトークン３４１は、単語そのものであってもよく、学習済みエンベディングであってもよい。学習済みエンベディングは、汎用コンテキスト内等で事前に学習された単語または文の意味を示す特徴量であるベクトルであってよい。
【0064】
図９では、ラベルトークン３４１として、ラベルトークン３４１－１（「着用する(wearing)」）、ラベルトークン３４１－２（「人(man)」）、ラベルトークン３４１－３（「眼鏡(glasses)」）、ラベルトークン３４１－４（「持つ(holding)」）、ラベルトークン３４１－５（「人(man)」）、及びラベルトークン３４１－６（「電話(phone)」）がある。そして、関係性トークン３４２は、ラベルトークン３４１－１（「着用する」）、ラベルトークン３４１－２（「人」）及びラベルトークン３４１－３（「眼鏡」）が一つの関係性（「１」）に属することを示す。同様に、関係性トークン３４２は、ラベルトークン３４１－４（「持つ」）、ラベルトークン３４１－５（「人」）及びラベルトークン３４１－６（「電話」）が一つの関係性（「２」）に属することを示す。
【0065】
種類トークン３４３は、一つの関係性の中でラベルトークン３４１－２（「人」）が主体に対応することを示す主体情報（「２」）と、ラベルトークン３４１－３（「眼鏡」）が客体に対応することを示す客体情報（「３」）と、ラベルトークン３４１－１（「着用する」）が主体から客体に対する動作に対応することを示す動作情報（「１」）とを含んでよい。
【0066】
さらに、情報処理装置１は、画像データに対してＣＮＮ等の画像処理を実行することによって、それぞれの画像特徴量３４４を取得する処理を実行してよい。そして、変換データ３４０は、画像特徴量３４４をさらに含んでよい。
【0067】
本例では、画像特徴量３４４は、関係性トークン３４２及び種類トークン３４３がいずれも「０」に設定されていることによって、他のラベルトークン３４１とは区別可能になっている。図９に示されるように、シーングラフ３００から作成されたデータと画像特徴量３４４とが連結されて変換データ３４０とされてもよい。この場合、シーングラフ３００のデータ形式を変換した変換データ３４０のみならず、画像特徴量３４４についても、自己符号化部２０に入力される。但し、画像特徴量３４４を含まずにシーングラフ３００から作成されたデータを変換データ３４０としてもよい。
【0068】
【0069】
自己符号化器２０への入力データである変換データ３４０及び出力データ３５０は、それぞれラベルトークン３４１、関係性トークン３４２及び種類トークン３４３を含む。具体的には、エンコーダネットワーク２１に入力される変換データ３４０（入力データ）が正解ラベルとして与えられる。そして、デコーダネットワーク２２から出力される出力データが正解ラベルと一致するように、エンコーダネットワーク２１及びデコーダネットワーク２２が調整される。すなわち、情報処理装置１は、生成した変換データ３４０を自己符号化器２０への入力データとする自己教師あり機械学習を実行する。
【0070】
【0071】
図１１に示される例においては、自己符号化器２０のエンコーダネットワーク２１が単一のニューラルネットワークではなく、複数のモジュール４１，４２，４３を有している。各モジュール４１，４２，４３がニューラルネットワークである。
【0072】
第１符号化器４１－１～４１－４（総称して、第１符号化器４１と称する場合がある）は、複数の対象物２１１のうちの一の対象物についての単語情報を取得する第１の符号化処理を実行する。本例では、第１符号化器４１は、複数の対象物のうちの一の対象物についての単語情報と画像特徴量とが入力される。第１符号化器４１は、機械学習により単語情報と画像特徴量とを反映した第１特徴量を算出する。
【0073】
第２符号化器４２－１及び４２－２（総称して、第２符号化器４２と称する場合がある）は、第１の符号化処理の結果に基づいて、関係性を示す情報と役割を示す情報とを取得する第２の符号化処理を実行する。本例では、第２符号化器４２には、複数の第１符号化器４１によるそれぞれの第１の符号化処理の結果と、対象物２１１の動作または状態を示す単語情報とが入力される。第２符号化器４２は、機械学習により単語情報と、関係性を示す情報と、役割を示す情報とを反映した第２特徴量を算出する。
【0074】
第３符号化器４３は、第１の符号化処理と第２の符号化処理とに基づいて生成したデータを用いて、特徴量３０を取得する第３の符号化処理を実行する。本例では、第３符号化器４３には、第１の符号化処理と第２の符号化処理とに基づいて生成された複数の第２特徴量が入力される。
【0075】
本例によれば、第１符号化器４１及び第２符号化器４２による符号化処理によって、シーングラフ３００に含まれる単語情報それぞれに対して、単語情報が属する関係性を示す情報と、関係性における単語情報の役割を示す情報と、を追加したデータとして第２特徴量が生成される。
【0076】
情報処理装置１は、デコーダネットワーク２２によって特徴量３０から復元された出力データ３５０と、第１符号化器４１及び第２符号化器４２に入力される元データ３３０に含まれるデータとを比較して復元誤差を算出してよい。情報処理装置１は、誤差逆伝搬によって、少なくとも第３符号化器４３とデコーダネットワーク２２とを調整し、好ましくは、さらに第１符号化器４１及び第２符号化器４２を調整する。
【0077】
図１１の処理によれば、エンコーダネットワーク２１がモジュール化されている。したがって、入力データ３７０においては、関係性トークン及び種類トークンを加える必要がない。したがって、ニューラルネットワークへの入力が単純になり学習が容易になる。
【0078】
また、第１符号化器４１、第２符号化器４２、第３符号化器４３の入力長が限定されることからも、学習が容易になる。なお、図１１に示される処理においては、デコーダネットワーク２２は単一のニューラルネットワークであるが、デコーダネットワーク２２も、単一のニューラルネットワークに代えて、図１１のエンコーダネットワークのような階層的な複数のモジュールを有するようにしてもよい。
【0079】
【0080】
図１２において、動画データ２００には、複数のフレーム画像＃１，・・・＃ｍ，＃ｍ＋１・・・＃ｎが含まれる。動画データ２００は、場面ごとにセグメンテーション（グループ分け）される。図１２に示される例では、複数のフレーム画像は、場面Ａ及び場面Ｂに分類される。
【0081】
情報処理装置１は、同じ場面Ａに分類される複数のフレーム画像＃１～＃ｍに対応するシーングラフ３００のそれぞれに基づいて取得されるそれぞれの特徴量＃１～＃ｍの距離を小さくする。また、情報処理装置１は、同じ場面Ｂに分類される複数のフレーム画像＃ｍ＋１～＃ｎに対応するシーングラフ３００のそれぞれに基づいて取得されるそれぞれの特徴量＃ｍ＋１～＃ｎの距離を小さくする。一方、情報処理装置１は、場面Ａに対応する特徴量＃１～＃ｍと、異なる場面Ｂに対応する特徴量＃ｍ＋１～＃ｎとの距離を大きくする。
【0082】
図１２に示される処理では、特徴量＃１～＃ｎについて、シーングラフ３００に含まれる単語情報それぞれに対して、関係性を示す情報と、役割を示す情報と、を追加したデータが生成される。生成されたデータを入力データとする機械学習により、入力データに対する特徴量を取得する処理を除いて、既存の方法を適用することができる。既存の方法としては、例えば、K-mean法やEMアルゴリズム、GANがある。K-mean法、EMアルゴリズム、及びGANについての詳しい説明は省略する。
【0083】
【0084】
図１３において、動画データ２００は、複数の動画データ２００－１（動画Ａ）及び２００－２（動画Ｂ）を含む。情報処理装置１は、同じ動画Ａに含まれる複数のフレーム画像＃Ａ１～#Ａ３に対応するシーングラフ３００のそれぞれに基づいて取得される各特徴量＃Ａ１～＃Ａ３の距離を小さくする。情報処理装置１は、同じ動画Ｂに含まれる複数のフレーム画像＃Ｂ１～#Ｂ３に対応するシーングラフ３００のそれぞれに基づいて取得される各特徴量＃Ｂ１～＃Ｂ３の距離を小さくする。
【0085】
情報処理装置１は、動画Ａに含まれる複数のフレーム画像＃Ａ１～＃Ａ３に対応する特徴量＃Ａ１～＃Ａ３と、動画Ａと異なる動画Ｂに含まれる複数のフレーム画像＃Ｂ１～＃Ｂ３に対応する特徴量＃Ｂ１～＃Ｂ３との距離を大きくする。他の処理内容は、図１２に示される場合と同様である。このように動画データ２００がセグメンテーションされていない場合であっても、異なる動画の組み合わせがある場合には、疑似的なラベリングにより、クラスタリングの精度を向上することができる。
【0086】
【0087】
【0088】
情報処理装置１は、複数のフレーム画像＃１，＃２，・・・＃ｍ，・・・，＃ｎに対応するシーングラフ３００のそれぞれに基づいて取得される複数の特徴量＃１，＃２，・・・＃ｍ，・・・，＃ｎのそれぞれの間の距離に基づいて、異常が発生しているフレーム画像＃ｍに対応する時系列を検出する処理を実行する。具体的には、情報処理装置１は、動画データ２００において、異常が発生しているフレーム画像＃ｍを特定する。一例において、情報処理装置１は、フレーム画像＃ｍを示す時間情報を特定してよい。図１４の処理には、既存の外れ値検出手法を利用してよい。
【0089】
【0090】
サマリー生成処理は、画像データの分割処理を用いた応用例の一つである。図１５では、図８に示したサマリー生成部６２の処理内容を説明する。サマリー生成部６２は、動画データ２００のサマリーを生成する。サマリーは、動画要約とも呼ばれる。サマリーは、動画データ２００において、時系列に動画内容を分類したデータであってよい。一例において、サマリーは、もとの映像の中で根幹をなす内容を捉えつつ、映像の長さを短くしたものであってよい。
【0091】
情報処理装置１は、複数のフレーム画像＃１，＃２，・・・＃ｍ，・・・＃ｎ，・・・・＃ｐに対応するシーングラフ３００のそれぞれに基づいて取得される複数の特徴量＃１，＃２，・・・＃ｍ，・・・＃ｎ，・・・・＃ｐを得る。情報処理装置１は、複数の特徴量＃１，＃２，・・・＃ｍ，・・・＃ｎ，・・・・＃ｐに基づいて、複数のフレーム画像＃１，＃２，・・・＃ｍ，・・・＃ｎ，・・・・＃ｐに対してクラスタリング処理を実行する。この結果、複数のフレーム画像において、第１フレーム（＃１）から第ｍフレーム（＃ｍ）までが場面Ａにクラスタリングされる。第ｍ＋１フレームから第ｎフレーム（＃ｎ）までが場面Ｂにクラスタリングされる。第ｎ＋１フレームから第ｐフレーム（＃ｐ）までが場面Ｃにクラスタリングされる。情報処理装置１は、クラスタリング結果に基づいて得られる場面Ａ、Ｂ、Ｃの遷移についての時間情報を用いて、時系列に動画内容を要約した動画要約（サマリー）を作成する処理を実行する。
【0092】
【0093】
シーングラフ生成部５１は、入力された動画データ２００に含まれる各フレーム画像２１０からシーングラフ３００を生成する（ステップＳ１１）。
【0094】
シーングラフ変換部５２は、シーングラフ３００を自己符号化器２０に入出力することができる形式に変換する（ステップＳ１２）。ステップＳ１２の処理は、シーングラフ３００に含まれる単語情報それぞれに対して、関係性を示す情報と、役割を示す情報と、を追加したデータを生成する処理の一例である。
【0095】
エンコーダネットワーク２１は、最初のフレーム画像２１０について、シーングラフ３００から特徴量３０を計算する（ステップＳ１３）。一例において、エンコーダネットワーク２１は、シーングラフ３００に対応してステップＳ１２で生成されたデータを特徴量３０に変換する。
【0096】
デコーダネットワーク２２は、特徴量３０からシーングラフ３０２を復元する（ステップＳ１４）。一例において、デコーダネットワーク２２は、特徴量３０からシーングラフ３０２に対応する出力データを復元する。
【0097】
誤差計算部５７は、自己符号化器２０のエンコーダネットワーク２１に入力されるシーングラフ３００と、復元されたシーングラフ３０２との間のシーングラフ復元誤差を計算する（ステップＳ１５）。一例において、誤差計算部５７は、シーングラフ３００に対応してステップＳ１２で生成されたデータと、特徴量３０から復元された出力データとの差分を計算する。
【0098】
情報処理装置１は、誤差逆伝搬によってエンコーダネットワーク２１及びデコーダネットワーク２２という２つのニューラルネットワークを学習する（ステップＳ１６）。
【0099】
クラスタリング部５５は、各フレーム画像２１０に対応するシーングラフ３００のそれぞれに基づいて取得される各特徴量３０間の距離を計算する（ステップＳ１７）。
【0100】
クラスター教師データ計算部５６は、特徴量３０が属するクラスター情報から、クラスタリング部５５のための教師データを作成する。クラスタリング部５５は、特徴量３０が属するクラスター情報から距離の誤差であるクラスタリング誤差を計算する（ステップＳ１８）。一例において、クラスタリング部５５は、特徴量間の距離を計算した場合に、それぞれの特徴量を計算したシーングラフ３００が同じ場面（同じクラスター）に属するのであれば“０”とし、それぞれの特徴量を計算したシーングラフ３００が異なる場面（異なるクラスター）に属するのであれば“１”とする。誤差計算部５７は、シーングラフ復元誤差とクラスタリング誤差とを足し合わせて誤差を計算してよい。
【0101】
ステップＳ１７及びステップＳ１８の処理は省略してよい。この場合、情報処理装置１は、ステップＳ１７及びステップＳ１８の処理を実行しない。また、情報処理装置１自体がシーングラフ３００を生成する必要はなく、他の装置からシーングラフ３００を受信してもよい。この場合、ステップＳ１１は、省略される。
【0102】
全フレーム画像に対して処理が完了していない場合には（ステップＳ１９のＮＯルート参照）、処理はステップＳ１３に戻り、次のフレーム画像２１０に対して処理が実行される。
【0103】
一方、全フレーム画像に対して処理が完了した場合には（ステップＳ１９のＹＥＳルート参照）、学習処理が終了し、必要に応じて別の動画データ２００について学習処理が開始される。
【0104】
【0105】
ステップＳ２１及びステップＳ２２の処理は、図１６のステップＳ１１及びステップＳ１２の処理とそれぞれ同様である。
【0106】
情報処理装置１は、学習したモデルを用いて各シーングラフ３００から特徴量３０を計算する（ステップＳ２３）。具体的には、エンコーダネットワーク２１におけるベクトル化モデルが自己教師あり機械学習によって学習される。ステップＳ２３の処理は、生成したデータを自己符号化器２０への入力データとする機械学習により、入力データに対する特徴量を取得する処理の一例である。
【0107】
クラスタリング部５８は、取得した特徴量に基づいて、画像データのクラスタリング（分類）を実行する（ステップＳ２４）。クラスタリング結果は、種々の処理に用いることができる。
【0108】
異常検知部６１は、特徴量３０の外れ値に基づいて異常検知処理を実行してよい（ステップＳ２５）。そして、推論処理は終了する。
【0109】
サマリー生成部６２は、フレーム画像２１０の分類に基づいて、時系列に動画内容を要約した動画要約を作成する処理を実行してよい（ステップＳ２６）。そして、推論処理は終了する。サマリー生成部６２は、複数のフレーム画像２１０をクラスタリング結果に基づいて複数の場面に分類する。サマリー生成部６２は、場面の遷移に対応して画像データを間引くことによって、動画内容を要約した動画要約を作成してよい。
【0110】
ステップＳ２５及びステップＳ２６の処理は双方ともを省略してよく、どちらか一方を省略してもよい。また、情報処理装置１自体がシーングラフ３００を生成する必要はなく、他の装置からシーングラフ３００を受信してもよい。この場合、ステップＳ２１は、省略される。
【0111】
〔Ｃ〕効果
上述した実施形態の一例によれば、例えば、以下の作用効果を奏することができる。
上述した実施形態の一例によれば、例えば、以下の作用効果を奏することができる。
【0112】
シーングラフ変換部５２は、画像データにおける複数の対象物２１１と複数の対象物間の関係とを示すグラフ３００に含まれる単語情報それぞれに対して、単語情報が属する関係性を示す情報と、関係性における単語情報の役割を示す情報と、を追加したデータ３４０を生成する。特徴量算出部５３は、生成したデータ３４０を自己符号化器２０への入力データとする機械学習により、入力データに対する特徴量３０を取得する。クラスタリング部５５は、取得した特徴量３０に基づいて、画像データの分類を実行する。
【0113】
これにより、シーングラフ３００に基づいて特徴量を取得し、特徴量に基づいて画像データを分類することができる。したがって、画像データ中に登場する対象物のみならず関係性に基づいて画像データを分類することができる。また、各フレーム画像２１０そのものから得られる特徴量に依拠して、各フレーム画像２１０を分類する場合と比べて、各フレーム画像２１０の色味及び撮影条件の影響を軽減することができる。したがって、各フレーム画像２１０中に登場する対象物や対象物の動作、対象物間の関係性等を含む場面の内容を特徴量３０に正確に反映することができる。
【0114】
画像データは、動画データに含まれる複数のフレーム画像２１０である。クラスタリング部５５は、同じ場面に分類された複数のフレーム画像２１０に対応するグラフ３００のそれぞれに基づいて取得されるそれぞれの特徴量３０間の距離を小さくする。クラスタリング部５５は、異なる場面に分類された複数のフレーム画像２１０に対応するグラフ３００のそれぞれに基づいて取得される特徴量３０間の距離を大きくする、
【0115】
これにより、各特徴量３０間の距離を最適化するように学習できる。したがって、特徴量３０の精度を高めることができる。
【0116】
第１符号化器４１は、複数の対象物２１１のうちの一の対象物についての単語情報を取得する第１の符号化処理を実行する。第２符号化器４２は、第１の符号化処理に基づいて、関係性を示す情報と役割を示す情報とを取得する第２の符号化処理を実行する。第３符号化器４３は、第１の符号化処理と第２の符号化処理とに基づいて生成したデータを用いて、特徴量３０を取得する第３の符号化処理を実行する、
【0117】
これにより、シーングラフ３００に含まれる情報を階層的に入力することによって、自己符号化器２０に伝えることができる。
【0118】
単語情報の役割を示す情報は、単語情報３４１が主体に対応することを示す主体情報と、単語情報が客体に対応することを示す客体情報と、主体から客体に対する動作を示す動作情報を含む。
【0119】
これにより、各単語情報間の関係性を特徴量３０に反映させることができる。
【0120】
２つのフレーム画像２１０を比較して同じ場面であるかを判定する場合と異なり、本実施形態の処理によれば、動画データ２００のすべてのフレーム画像２１０について同時にクラスタリングを実行することもできる。
【0121】
主体となる対象物、客体となる対象物及び主体と客体間の関連性という複数のデータが連なった形式を持つシーングラフ３００をラベルトークン３４１、関係性トークン３４２、種類トークン３４３を含むデータ形式に変換したデータが作成される。このため、シーングラフ３００に含まれる情報すべてを自己符号化器２０に伝えることができる。ラベルトークン３４１、関係性トークン３４２及び種類トークン３４３を含むデータ形式によれば、シーングラフ３００そのものを入力データとする場合と異なり、単一の特徴量３０を得やすくできる。
【0122】
生成したデータを自己符号化器２０への入力データとする自己教師あり機械学習により、入力データに対する特徴量が取得される。したがって、別途の教師データを予め算出する処理が不要となり、教師データを格納しておく記憶容量も削減できる。
【0123】
２つのフレーム画像２１０において、画像中の対象物及び関係性が同じであるかを個別に判別し、個別の判別結果を統合することで、２つのフレーム画像２１０の場面が同じであるかを判別する場合は、Ｏ（ｍ２）（但し、ｍは動画中の対象物数）の計算量が必要となる。全フレームについて判別するには、同じ処理をｋ２回（但し、ｋは全フレーム数）繰り返すので、Ｏ（ｍ２×ｋ２）の計算量が必要となる。一方、本実施形態の処理によれば、対象物及び関係性が単一のベクトルである特徴量に集約される。本実施形態によれば、Ｏ（ｍ＋ｎ）（但し、ｍは動画中の対象物数、ｎは動画中の関係性の数）の計算量でよい。なお、Ｏ（ｍ＋ｎ）の具体的な値は、エンコーダネットワーク２１による。またｋ個の特徴量クラスタリングの計算量はＯ（ｋ）であるので、全体の処理の計算量はＯ（ｍ＋ｎ）＋Ｏ（ｋ）となる。したがって、本実施形態の処理によれば、計算量を削減することができる。
【0124】
画像データ中に登場する対象物、対象物の動作、対象物間の関係性等を含む場面の内容を反映した正確なクラスタリング結果に基づいて、異常検知処理を実行することができるで、登場する対象物自体は変わらない場合であっても、関係性の変化から異常検知ができる。
【0125】
画像データ中に登場する対象物、対象物の動作、対象物間の関係性等を含む場面の内容を反映した正確なクラスタリング結果に基づいて、場面の遷移を判別できるため、より正確な状況を反映したサマリーを作成することができる。一例において、サマリー生成処理によれば、工場等の作業所の様子を撮影して得られる動画データから、時間帯ごとに行われていたそれぞれの作業をまとめて動画要約を作成することができる。特に、異なる作業であっても、画像データ中に登場する対象物は変化しない場合がある。本実施形態のサマリー作成処理によれば、登場する対象物が変化しない場合であっても、対象物間の関係性の変化が特徴量３０に反映されるので、場面の遷移を正確に捉えて、動画要約を作成することができる。
【0126】
〔Ｄ〕その他
開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
【0127】
〔Ｅ〕付記
以上の実施形態に関し、更に以下の付記を開示する。
以上の実施形態に関し、更に以下の付記を開示する。
【0128】
（付記１）
画像データにおける複数の対象物と前記複数の対象物間の関係とを示すグラフに含まれる単語情報それぞれに対して、前記単語情報が属する関係性を示す情報と、前記関係性における前記単語情報の役割を示す情報と、を追加したデータを生成し、
生成した前記データを自己符号化器への入力データとする機械学習により、前記入力データに対する特徴量を取得し、
取得した前記特徴量に基づいて、前記画像データの分類を実行する、
処理をコンピュータに実行させる、情報処理プログラム。
画像データにおける複数の対象物と前記複数の対象物間の関係とを示すグラフに含まれる単語情報それぞれに対して、前記単語情報が属する関係性を示す情報と、前記関係性における前記単語情報の役割を示す情報と、を追加したデータを生成し、
生成した前記データを自己符号化器への入力データとする機械学習により、前記入力データに対する特徴量を取得し、
取得した前記特徴量に基づいて、前記画像データの分類を実行する、
処理をコンピュータに実行させる、情報処理プログラム。
【0129】
（付記２）
前記画像データは、動画データに含まれる複数のフレーム画像であり、
同じ場面に分類された複数のフレーム画像に対応する前記グラフのそれぞれに基づいて取得されるそれぞれの前記特徴量間の距離を小さくし、
異なる場面に分類された複数のフレーム画像に対応する前記グラフのそれぞれに基づいて取得される前記特徴量間の距離を大きくする、
付記１に記載の情報処理プログラム。
前記画像データは、動画データに含まれる複数のフレーム画像であり、
同じ場面に分類された複数のフレーム画像に対応する前記グラフのそれぞれに基づいて取得されるそれぞれの前記特徴量間の距離を小さくし、
異なる場面に分類された複数のフレーム画像に対応する前記グラフのそれぞれに基づいて取得される前記特徴量間の距離を大きくする、
付記１に記載の情報処理プログラム。
【0130】
（付記３）
前記データを生成する処理において、
前記複数の対象物のうちの一の対象物についての前記単語情報を取得する第１の符号化処理を実行し、
前記第１の符号化処理に基づいて、前記関係性を示す情報と前記役割を示す情報とを取得する第２の符号化処理を実行し、
前記特徴量を取得する処理において、
前記第１の符号化処理と前記第２の符号化処理とに基づいて生成した前記データを用いて、前記特徴量を取得する第３の符号化処理を実行する、
処理をコンピュータに実行させる、付記１又は２に記載の情報処理プログラム
前記データを生成する処理において、
前記複数の対象物のうちの一の対象物についての前記単語情報を取得する第１の符号化処理を実行し、
前記第１の符号化処理に基づいて、前記関係性を示す情報と前記役割を示す情報とを取得する第２の符号化処理を実行し、
前記特徴量を取得する処理において、
前記第１の符号化処理と前記第２の符号化処理とに基づいて生成した前記データを用いて、前記特徴量を取得する第３の符号化処理を実行する、
処理をコンピュータに実行させる、付記１又は２に記載の情報処理プログラム
【0131】
（付記４）
前記役割を示す情報は、前記単語情報が主体に対応することを示す主体情報と、前記単語情報が客体に対応することを示す客体情報と、前記主体から前記客体に対する動作を示す動作情報を含む、
付記１～３のいずれか１項に記載の情報処理プログラム。
前記役割を示す情報は、前記単語情報が主体に対応することを示す主体情報と、前記単語情報が客体に対応することを示す客体情報と、前記主体から前記客体に対する動作を示す動作情報を含む、
付記１～３のいずれか１項に記載の情報処理プログラム。
【0132】
（付記５）
画像データにおける複数の対象物と前記複数の対象物間の関係とを示すグラフに含まれる単語情報それぞれに対して、前記単語情報が属する関係性を示す情報と、前記関係性における前記単語情報の役割を示す情報と、を追加したデータを生成し、
生成した前記データを自己符号化器への入力データとする機械学習により、前記入力データに対する特徴量を取得し、
取得した前記特徴量に基づいて、前記画像データの分類を実行する、
プロセッサを備える、情報処理装置。
画像データにおける複数の対象物と前記複数の対象物間の関係とを示すグラフに含まれる単語情報それぞれに対して、前記単語情報が属する関係性を示す情報と、前記関係性における前記単語情報の役割を示す情報と、を追加したデータを生成し、
生成した前記データを自己符号化器への入力データとする機械学習により、前記入力データに対する特徴量を取得し、
取得した前記特徴量に基づいて、前記画像データの分類を実行する、
プロセッサを備える、情報処理装置。
【0133】
（付記６）
前記画像データは、動画データに含まれる複数のフレーム画像であり、
前記プロセッサは、
同じ場面に分類された複数のフレーム画像に対応する前記グラフのそれぞれに基づいて取得されるそれぞれの前記特徴量間の距離を小さくし、
異なる場面に分類された複数のフレーム画像に対応する前記グラフのそれぞれに基づいて取得される前記特徴量間の距離を大きくする、
付記５に記載の情報処理装置。
前記画像データは、動画データに含まれる複数のフレーム画像であり、
前記プロセッサは、
同じ場面に分類された複数のフレーム画像に対応する前記グラフのそれぞれに基づいて取得されるそれぞれの前記特徴量間の距離を小さくし、
異なる場面に分類された複数のフレーム画像に対応する前記グラフのそれぞれに基づいて取得される前記特徴量間の距離を大きくする、
付記５に記載の情報処理装置。
【0134】
（付記７）
前記プロセッサは、
前記データを生成する処理において、
前記複数の対象物のうちの一の対象物についての前記単語情報を取得する第１の符号化処理を実行し、
前記第１の符号化処理に基づいて、前記関係性を示す情報と前記役割を示す情報とを取得する第２の符号化処理を実行し、
前記特徴量を取得する処理において、
前記第１の符号化処理と前記第２の符号化処理とに基づいて生成した前記データを用いて、前記特徴量を取得する第３の符号化処理を実行する、
付記５または６に記載の情報処理装置。
前記プロセッサは、
前記データを生成する処理において、
前記複数の対象物のうちの一の対象物についての前記単語情報を取得する第１の符号化処理を実行し、
前記第１の符号化処理に基づいて、前記関係性を示す情報と前記役割を示す情報とを取得する第２の符号化処理を実行し、
前記特徴量を取得する処理において、
前記第１の符号化処理と前記第２の符号化処理とに基づいて生成した前記データを用いて、前記特徴量を取得する第３の符号化処理を実行する、
付記５または６に記載の情報処理装置。
【0135】
（付記８）
前記役割を示す情報は、前記単語情報が主体に対応することを示す主体情報と、前記単語情報が客体に対応することを示す客体情報と、前記主体から前記客体に対する動作を示す動作情報を含む、
付記５～７のいずれか１項に記載の情報処理装置。
前記役割を示す情報は、前記単語情報が主体に対応することを示す主体情報と、前記単語情報が客体に対応することを示す客体情報と、前記主体から前記客体に対する動作を示す動作情報を含む、
付記５～７のいずれか１項に記載の情報処理装置。
【0136】
（付記９）
画像データにおける複数の対象物と前記複数の対象物間の関係とを示すグラフに含まれる単語情報それぞれに対して、前記単語情報が属する関係性を示す情報と、前記関係性における前記単語情報の役割を示す情報と、を追加したデータを生成し、
生成した前記データを自己符号化器への入力データとする機械学習により、前記入力データに対する特徴量を取得し、
取得した前記特徴量に基づいて、前記画像データの分類を実行する、
処理をコンピュータが実行する、情報処理方法。
画像データにおける複数の対象物と前記複数の対象物間の関係とを示すグラフに含まれる単語情報それぞれに対して、前記単語情報が属する関係性を示す情報と、前記関係性における前記単語情報の役割を示す情報と、を追加したデータを生成し、
生成した前記データを自己符号化器への入力データとする機械学習により、前記入力データに対する特徴量を取得し、
取得した前記特徴量に基づいて、前記画像データの分類を実行する、
処理をコンピュータが実行する、情報処理方法。
【0137】
（付記１０）
前記画像データは、動画データに含まれる複数のフレーム画像であり、
同じ場面に分類された複数のフレーム画像に対応する前記グラフのそれぞれに基づいて取得されるそれぞれの前記特徴量間の距離を小さくし、
異なる場面に分類された複数のフレーム画像に対応する前記グラフのそれぞれに基づいて取得される前記特徴量間の距離を大きくする、
処理をコンピュータが実行する、付記９に記載の情報処理方法。
前記画像データは、動画データに含まれる複数のフレーム画像であり、
同じ場面に分類された複数のフレーム画像に対応する前記グラフのそれぞれに基づいて取得されるそれぞれの前記特徴量間の距離を小さくし、
異なる場面に分類された複数のフレーム画像に対応する前記グラフのそれぞれに基づいて取得される前記特徴量間の距離を大きくする、
処理をコンピュータが実行する、付記９に記載の情報処理方法。
【0138】
（付記１１）
前記データを生成する処理において、
前記複数の対象物のうちの一の対象物についての前記単語情報を取得する第１の符号化処理を実行し、
前記第１の符号化処理に基づいて、前記関係性を示す情報と前記役割を示す情報とを取得する第２の符号化処理を実行し、
前記特徴量を取得する処理において、
前記第１の符号化処理と前記第２の符号化処理とに基づいて生成した前記データを用いて、前記特徴量を取得する第３の符号化処理を実行する、
処理をコンピュータが実行する、付記９又は１０に記載の情報処理方法。
前記データを生成する処理において、
前記複数の対象物のうちの一の対象物についての前記単語情報を取得する第１の符号化処理を実行し、
前記第１の符号化処理に基づいて、前記関係性を示す情報と前記役割を示す情報とを取得する第２の符号化処理を実行し、
前記特徴量を取得する処理において、
前記第１の符号化処理と前記第２の符号化処理とに基づいて生成した前記データを用いて、前記特徴量を取得する第３の符号化処理を実行する、
処理をコンピュータが実行する、付記９又は１０に記載の情報処理方法。
【0139】
（付記１２）
前記役割を示す情報は、前記単語情報が主体に対応することを示す主体情報と、前記単語情報が客体に対応することを示す客体情報と、前記主体から前記客体に対する動作を示す動作情報を含む、
付記９～１１のいずれか１項に記載の情報処理方法。
前記役割を示す情報は、前記単語情報が主体に対応することを示す主体情報と、前記単語情報が客体に対応することを示す客体情報と、前記主体から前記客体に対する動作を示す動作情報を含む、
付記９～１１のいずれか１項に記載の情報処理方法。
【符号の説明】
【0140】
１ ：情報処理装置
１１ ：ＣＰＵ
１２ ：メモリ部
１３ ：表示制御部
１３０ ：表示装置
１４ ：記憶装置
１５ ：入力ＩＦ
１５１ ：マウス
１５２ ：キーボード
１６ ：外部記録媒体処理部
１６０ ：記録媒体
１７ ：通信ＩＦ
２０ ：自己符号化器
５１ ：シーングラフ生成部
５２ ：シーングラフ変換部
５３ ：特徴量算出部
５４ ：シーングラフ復元部
５５ ：クラスタリング部
５６ ：クラスター教師データ算出部
５７ ：誤差計算部
５８ ：クラスタリング部
６１ ：異常検知部
６２ ：サマリー生成部
１１ ：ＣＰＵ
１２ ：メモリ部
１３ ：表示制御部
１３０ ：表示装置
１４ ：記憶装置
１５ ：入力ＩＦ
１５１ ：マウス
１５２ ：キーボード
１６ ：外部記録媒体処理部
１６０ ：記録媒体
１７ ：通信ＩＦ
２０ ：自己符号化器
５１ ：シーングラフ生成部
５２ ：シーングラフ変換部
５３ ：特徴量算出部
５４ ：シーングラフ復元部
５５ ：クラスタリング部
５６ ：クラスター教師データ算出部
５７ ：誤差計算部
５８ ：クラスタリング部
６１ ：異常検知部
６２ ：サマリー生成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】