(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-12
(45)【発行日】2022-12-20
(54)【発明の名称】処理装置、処理方法及びプログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20221213BHJP
【ＦＩ】
G06T7/20 300Z
【請求項の数】
13
(21)【出願番号】P 2020567329
(86)(22)【出願日】2019-01-25
(86)【国際出願番号】 JP2019002427
(87)【国際公開番号】W WO2020152843
(87)【国際公開日】2020-07-30
【審査請求日】2021-06-24
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】劉 健全
(72)【発明者】
【氏名】周 利亭
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】特開２０１７－０２８５６１（ＪＰ，Ａ）
【文献】特開２００８－２５２５１９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
(57)【特許請求の範囲】
【請求項1】
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段と、第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段と、
を有し、
前記事象情報生成手段は、
前記第１の人物、前記第１の物及び前記第１の関係各々が画像に含まれるか否かに応じて、各画像を複数の第１の事象関連状態のいずれかに分類し、前記第１の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記第２の人物、前記第２の物及び前記第２の関係各々が画像に含まれるか否かに応じて、各画像を複数の第２の事象関連状態のいずれかに分類し、前記第２の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記因果関係算出手段は、
複数の前記第１の事象関連状態の中の第１－１の事象関連状態と、複数の前記第２の事象関連状態の中の第２－１の事象関連状態とが同時に現れる確率に基づき、前記スコアを算出する処理装置。
【請求項2】
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段と、第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段と、
を有し、
前記事象情報生成手段は、
前記第１の人物、前記第１の物及び前記第１の関係各々が画像に含まれるか否かに応じて、各画像を複数の第１の事象関連状態のいずれかに分類し、前記第１の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記第２の人物、前記第２の物及び前記第２の関係各々が画像に含まれるか否かに応じて、各画像を複数の第２の事象関連状態のいずれかに分類し、前記第２の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記因果関係算出手段は、
複数の前記第１の事象関連状態の中の第１－１の事象関連状態と、複数の前記第２の事象関連状態の中の第２－１の事象関連状態とが同時に現れ、かつ、複数の前記第１の事象関連状態の中の第１－２の事象関連状態が直後の画像に現れる確率に基づき、前記スコアを算出する処理装置。
【請求項3】
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段と、第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段と、
を有し、
前記事象情報生成手段は、
前記第１の人物、前記第１の物及び前記第１の関係各々が画像に含まれるか否かに応じて、各画像を複数の第１の事象関連状態のいずれかに分類し、前記第１の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記第２の人物、前記第２の物及び前記第２の関係各々が画像に含まれるか否かに応じて、各画像を複数の第２の事象関連状態のいずれかに分類し、前記第２の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記因果関係算出手段は、
複数の前記第１の事象関連状態の中の第１－１の事象関連状態が現れる確率に基づき、前記スコアを算出する処理装置。
【請求項4】
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段と、第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段と、
を有し、
前記事象情報生成手段は、
前記第１の人物、前記第１の物及び前記第１の関係各々が画像に含まれるか否かに応じて、各画像を複数の第１の事象関連状態のいずれかに分類し、前記第１の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記第２の人物、前記第２の物及び前記第２の関係各々が画像に含まれるか否かに応じて、各画像を複数の第２の事象関連状態のいずれかに分類し、前記第２の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記因果関係算出手段は、
複数の前記第１の事象関連状態の中の第１－１の事象関連状態が現れた直後の画像に複数の前記第１の事象関連状態の中の第１－２の事象関連状態が現れる確率に基づき、前記スコアを算出する処理装置。
【請求項5】
請求項１から４のいずれか１項に記載の処理装置において、前記事象情報生成手段は、指定された検索条件に基づき、前記第１の人物、前記第１の物及び前記第１の関係を指定した前記第１の事象を決定するとともに、前記第２の人物、前記第２の物及び前記第２の関係を指定した前記第２の事象を決定する処理装置。
【請求項6】
コンピュータが、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出工程と、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成工程と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出工程と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力工程と、
を実行し、
前記事象情報生成工程では、
前記第１の人物、前記第１の物及び前記第１の関係各々が画像に含まれるか否かに応じて、各画像を複数の第１の事象関連状態のいずれかに分類し、前記第１の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記第２の人物、前記第２の物及び前記第２の関係各々が画像に含まれるか否かに応じて、各画像を複数の第２の事象関連状態のいずれかに分類し、前記第２の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記因果関係算出工程では、
複数の前記第１の事象関連状態の中の第１－１の事象関連状態と、複数の前記第２の事象関連状態の中の第２－１の事象関連状態とが同時に現れる確率に基づき、前記スコアを算出する処理方法。
【請求項7】
コンピュータが、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出工程と、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成工程と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出工程と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力工程と、
を実行し、
前記事象情報生成工程では、
前記第１の人物、前記第１の物及び前記第１の関係各々が画像に含まれるか否かに応じて、各画像を複数の第１の事象関連状態のいずれかに分類し、前記第１の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記第２の人物、前記第２の物及び前記第２の関係各々が画像に含まれるか否かに応じて、各画像を複数の第２の事象関連状態のいずれかに分類し、前記第２の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記因果関係算出工程では、
複数の前記第１の事象関連状態の中の第１－１の事象関連状態と、複数の前記第２の事象関連状態の中の第２－１の事象関連状態とが同時に現れ、かつ、複数の前記第１の事象関連状態の中の第１－２の事象関連状態が直後の画像に現れる確率に基づき、前記スコアを算出する処理方法。
【請求項8】
コンピュータが、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出工程と、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成工程と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出工程と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力工程と、
を実行し、
前記事象情報生成工程では、
前記第１の人物、前記第１の物及び前記第１の関係各々が画像に含まれるか否かに応じて、各画像を複数の第１の事象関連状態のいずれかに分類し、前記第１の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記第２の人物、前記第２の物及び前記第２の関係各々が画像に含まれるか否かに応じて、各画像を複数の第２の事象関連状態のいずれかに分類し、前記第２の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記因果関係算出工程では、
複数の前記第１の事象関連状態の中の第１－１の事象関連状態が現れる確率に基づき、前記スコアを算出する処理方法。
【請求項9】
コンピュータが、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出工程と、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成工程と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出工程と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力工程と、
を実行し、
前記事象情報生成工程では、
前記第１の人物、前記第１の物及び前記第１の関係各々が画像に含まれるか否かに応じて、各画像を複数の第１の事象関連状態のいずれかに分類し、前記第１の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記第２の人物、前記第２の物及び前記第２の関係各々が画像に含まれるか否かに応じて、各画像を複数の第２の事象関連状態のいずれかに分類し、前記第２の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記因果関係算出工程では、
複数の前記第１の事象関連状態の中の第１－１の事象関連状態が現れた直後の画像に複数の前記第１の事象関連状態の中の第１－２の事象関連状態が現れる確率に基づき、前記スコアを算出する処理方法。
【請求項10】
コンピュータを、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段、
として機能させ、
前記事象情報生成手段は、
前記第１の人物、前記第１の物及び前記第１の関係各々が画像に含まれるか否かに応じて、各画像を複数の第１の事象関連状態のいずれかに分類し、前記第１の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記第２の人物、前記第２の物及び前記第２の関係各々が画像に含まれるか否かに応じて、各画像を複数の第２の事象関連状態のいずれかに分類し、前記第２の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記因果関係算出手段は、
複数の前記第１の事象関連状態の中の第１－１の事象関連状態と、複数の前記第２の事象関連状態の中の第２－１の事象関連状態とが同時に現れる確率に基づき、前記スコアを算出するプログラム。
【請求項11】
コンピュータを、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段、
として機能させ、
前記事象情報生成手段は、
前記第１の人物、前記第１の物及び前記第１の関係各々が画像に含まれるか否かに応じて、各画像を複数の第１の事象関連状態のいずれかに分類し、前記第１の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記第２の人物、前記第２の物及び前記第２の関係各々が画像に含まれるか否かに応じて、各画像を複数の第２の事象関連状態のいずれかに分類し、前記第２の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記因果関係算出手段は、
複数の前記第１の事象関連状態の中の第１－１の事象関連状態と、複数の前記第２の事象関連状態の中の第２－１の事象関連状態とが同時に現れ、かつ、複数の前記第１の事象関連状態の中の第１－２の事象関連状態が直後の画像に現れる確率に基づき、前記スコアを算出するプログラム。
【請求項12】
コンピュータを、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段、
として機能させ、
前記事象情報生成手段は、
前記第１の人物、前記第１の物及び前記第１の関係各々が画像に含まれるか否かに応じて、各画像を複数の第１の事象関連状態のいずれかに分類し、前記第１の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記第２の人物、前記第２の物及び前記第２の関係各々が画像に含まれるか否かに応じて、各画像を複数の第２の事象関連状態のいずれかに分類し、前記第２の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記因果関係算出手段は、
複数の前記第１の事象関連状態の中の第１－１の事象関連状態が現れる確率に基づき、前記スコアを算出するプログラム。
【請求項13】
コンピュータを、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段、
として機能させ、
前記事象情報生成手段は、
前記第１の人物、前記第１の物及び前記第１の関係各々が画像に含まれるか否かに応じて、各画像を複数の第１の事象関連状態のいずれかに分類し、前記第１の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記第２の人物、前記第２の物及び前記第２の関係各々が画像に含まれるか否かに応じて、各画像を複数の第２の事象関連状態のいずれかに分類し、前記第２の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記因果関係算出手段は、
複数の前記第１の事象関連状態の中の第１－１の事象関連状態が現れた直後の画像に複数の前記第１の事象関連状態の中の第１－２の事象関連状態が現れる確率に基づき、前記スコアを算出するプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、処理装置、処理方法及びプログラムに関する。
【背景技術】
【0002】
非特許文献１は、手書き画像に基づいた動画検索技術を開示している。当該技術では、入力欄において手書き画像の入力を受付けると、手書き画像に類似するシーンを検索し、出力する。
【先行技術文献】
【非特許文献】
【0003】
【文献】Claudiu Tanase、他７名、”Semantic Sketch-Based Video Retrieval with Auto completion”、［Online］、［平成２９年９月５日検索］、インターネット＜URL: https://iui.ku.edu.tr/sezgin_publications/2016/Sezgin-IUI-2016.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【0004】
動画像を解析し、「第１の人物が第２の人物に第１の物を渡す」等のように、複数の物体（人物及び物）により定義される出来事の発生を検出する技術が望まれている。特に、検出対象の出来事に関わる物体（人物や物）が画像内に存在するが、その出来事が起きたシーン（例：物を渡すシーン）が画像内に存在しないような場合に、画像解析でその出来事の発生を検出する技術が望まれている。非特許文献１は、当該課題を解決する手段を開示しない。
【0005】
本発明は、検出対象の出来事が起きたシーンが画像内に存在しないような場合であっても、画像解析でその出来事の発生を検出できるようにすることを課題とする。
【課題を解決するための手段】
【0006】
本発明によれば、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段と、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段と、
を有する処理装置が提供される。
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段と、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段と、
を有する処理装置が提供される。
【0007】
また、本発明によれば、
コンピュータが、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出工程と、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成工程と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出工程と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力工程と、
を有する処理方法が提供される。
コンピュータが、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出工程と、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成工程と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出工程と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力工程と、
を有する処理方法が提供される。
【0008】
また、本発明によれば、
コンピュータを、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段、
として機能させるプログラムが提供される。
コンピュータを、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段、
として機能させるプログラムが提供される。
【発明の効果】
【0009】
本発明によれば、検出対象の出来事が起きたシーン（例：物を渡すシーン）が画像内に存在しないような場合であっても、画像解析でその出来事の発生を検出できるようになる。
【図面の簡単な説明】
【0010】
上述した目的、及び、その他の目的、特徴及び利点は、以下に述べる好適な実施の形態、及び、それに付随する以下の図面によって、さらに明らかになる。
【0011】
【図1】本実施形態の処理装置のハードウエア構成の一例を示す図である。
【図2】本実施形態の処理装置の機能ブロック図の一例である。
【図3】事象を抽出する処理の一例を説明するための図である。
【図4】第１の事象及び第２の事象を決定する処理の一例を説明するための図である。
【図5】複数の第１の事象関連状態の一例を説明するための図である。
【図6】複数の第２の事象関連状態の一例を説明するための図である。
【図7】事象情報の一例を示す図である。
【図8】具体的な値を用いて事象情報を例示する図である。
【図9】第１のカメラで生成された画像データから生成された事象情報を例示する図である。
【図10】第２のカメラで生成された画像データから生成された事象情報を例示する図である。
【図11】スコアの算出に用いる確率を具体的に算出した例を示す図である。
【図12】スコアの算出に用いる確率を具体的に算出した例を示す図である。
【図13】スコアの算出に用いる確率を具体的に算出した例を示す図である。
【図14】スコアの算出に用いる確率を具体的に算出した例を示す図である。
【図15】スコアの算出に用いる確率を具体的に算出した例を示す図である。
【図16】スコアの算出に用いる確率を具体的に算出した例を示す図である。
【図17】スコアの算出に用いる確率を具体的に算出した例を示す図である。
【図18】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。
【図19】複数の第１の事象関連状態の一例を説明するための図である。
【図20】複数の第２の事象関連状態の一例を説明するための図である。
【発明を実施するための形態】
【0012】
＜第１の実施形態＞
まず、本実施形態の処理装置の概要を説明する。まず、処理装置は、時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する。抽出する事象の例は、「男（成人）がカバン（黒）を所持している」、「女（成人）がカバン（黒）を所持している」、「男（子供）がボール（赤）を所持している」等であるが、これらに限定されない。
まず、本実施形態の処理装置の概要を説明する。まず、処理装置は、時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する。抽出する事象の例は、「男（成人）がカバン（黒）を所持している」、「女（成人）がカバン（黒）を所持している」、「男（子供）がボール（赤）を所持している」等であるが、これらに限定されない。
【0013】
次いで、処理装置は、抽出した事象の中から、検出対象の出来事に関わる複数の事象を抽出する。検出対象の出来事は、複数の物体（人物及び物）により定義される出来事であり、例えば、「男（成人）がカバン（黒）を女（成人）に渡す」等である。検出対象の出来事が当該例である場合、検出対象の出来事に関わる複数の事象は、「男（成人）がカバン（黒）を所持している」及び「女（成人）がカバン（黒）を所持している」等となる。
【0014】
次いで、処理装置は、抽出した「複数の事象」の間の因果関係を示すスコアを算出する。そして、処理装置は、画像から抽出した事象の内、当該スコアが所定条件を満たす複数の事象の組合せを出力する。
【0015】
このように、処理装置は、検出対象の出来事に関わる複数の事象であって、因果関係が基準レベルより大きい事象の組合せを検出できる。このため、検出対象の出来事が起きたシーンが画像内に存在しないような場合であっても、画像解析でその出来事の発生を検出できるようになる。
【0016】
次に、本実施形態の処理装置の構成を詳細に説明する。まず、処理装置のハードウエア構成の一例について説明する。本実施形態の処理装置が備える各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【0017】
図１は、本実施形態の処理装置のハードウエア構成を例示するブロック図である。図１に示すように、処理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置は周辺回路４Ａを有さなくてもよい。なお、処理装置は物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が上記ハードウエア構成を備えることができる。
【0018】
バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
【0019】
次に、処理装置の機能構成の一例について説明する。図２の機能ブロック図に示すように、処理装置１０は、事象抽出部１１と、事象情報生成部１２と、因果関係算出部１３と、出力部１４とを有する。
【0020】
事象抽出部１１は、時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する。処理対象とする時系列画像群は、カメラで生成された動画データに含まれる全てのフレーム画像であってもよいし、当該動画データから所定間隔おき（例：数秒おき、数フレームおき）にピックアップしたフレーム画像であってもよい。
【0021】
また、事象抽出部１１は、複数のカメラ各々で生成された複数の動画データに含まれる時系列画像群を処理対象として、上記事象を抽出する処理を実行することができる。
【0022】
抽出する事象の例は、「男（成人）がカバン（黒）を所持している」、「女（成人）がカバン（黒）を所持している」、「男（子供）がボール（赤）を所持している」等であるが、これらに限定されない。
【0023】
図３を用いて、事象抽出部１１が行う抽出処理の具体例を説明する。図示するＰは、時系列画像群に含まれる画像であり、図ではｍ個の画像が示されている。なお、ｍの数は設計的事項である。ｎは各画像を識別する通番である。
【0024】
例えば図示するように、抽出対象とする「人物」、「物」及び「人物と物との間の関係」が予め定義されていてもよい。図示するＳが抽出対象となる人物であり、Ｏが抽出対象となる物であり、Ｖが抽出対象となる人物と物との間の関係である。
【0025】
人物と物とが互いに関係する事象は、例えば図示するように、（Ｓ、Ｖ、Ｏ）の３つの値の組合せで表すことができる。（Ｓ、Ｖ、Ｏ）＝（男（成人）、所持、カバン（黒））は、「男（成人）がカバン（黒）を所持している」という事象を表す。
【0026】
事象抽出部１１は、あらゆる技術を利用して上記抽出を実現することができる。例えば、予め、抽出対象とする各人物、各物及び各人物と物との間の関係の外観の特徴が登録されており、事象抽出部１１は画像解析で当該特徴を画像内で検索することで上記抽出を実現してもよい。その他、事象抽出部１１は、resnet（residual network）やＬＳＴＭ（long short term memory）等の機械学習の技術を利用して上記抽出を実現してもよい。
【0027】
図２に戻り、事象情報生成部１２は、第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する。
【0028】
事象情報を生成するため、まず、事象情報生成部１２は、第１の事象（Ｓ１、Ｖ１、Ｏ１）及び第２の事象（Ｓ２、Ｖ２、Ｏ２）を決定する。
【0029】
１つの例として、オペレータが、Ｓ１、Ｖ１、Ｏ１、Ｓ２、Ｖ２及びＯ２を直接指定する入力を処理装置１０に対して行ってもよい。第１の事象を「男（成人）がカバン（黒）を所持している」としたい場合、オペレータは、Ｓ１として「男（成人）」を指定し、Ｖ１として「所持」を指定し、Ｏ１として「カバン（黒）」を指定する入力を行うこととなる。
【0030】
他の例として、オペレータは、検出したい出来事を指定する入力を処理装置１０に対して行ってもよい。例えば、オペレータは、「成人の男が黒いカバンを成人の女に渡す」等の文章を処理装置１０に入力してもよい。この例の場合、事象情報生成部１２は、当該文章を構文解析などして、当該文章からＳ１、Ｓ２、Ｏ１、Ｏ２とする名詞を抽出する。また、事象情報生成部１２は、当該文章から動詞を抽出し、抽出した動詞と、抽出した動詞をＶ１及びＶ２に変換する変換ルールとに基づき、Ｖ１及びＶ２を決定する。図４に、当該処理の概念図を示す。
【0031】
このように、事象情報生成部１２は、指定された検索条件に基づき、第１の人物（Ｓ１）、第１の物（Ｏ１）及び第１の関係（Ｖ１）を指定した第１の事象を決定するとともに、第２の人物（Ｓ２）、第２の物（Ｏ２）及び第２の関係（Ｖ２）を指定した第２の事象を決定することができる。指定された検索条件は、Ｓ１、Ｖ１、Ｏ１、Ｓ２、Ｖ２及びＯ２を直接指定したものや、検出したい出来事を指定したもの等である。
【0032】
例えば上述のようにして第１の事象及び第２の事象を決定した後、事象情報生成部１２は、第１の事象の時系列な変化を示すとともに、第２の事象の時系列な変化を示す事象情報を生成する。
【0033】
具体的には、事象情報生成部１２は、第１の人物、第１の物及び第１の関係各々が画像に含まれるか否かに応じて、第１の事象に関連する複数の第１の事象関連状態を定義する。そして、事象情報生成部１２は、各画像を複数の第１の事象関連状態のいずれかに分類し、第１の事象関連状態の時系列な変化を示す事象情報を生成する。
【0034】
図５を用いて、複数の第１の事象関連状態の定義の仕方の一例を説明する。図示する例では、３つの第１の事象関連状態を定義している。
【0035】
「第１の事象関連状態：３」は、第１の人物（Ｓ１：男（成人））、第１の物（Ｏ１：カバン（黒））及び第１の関係（Ｖ１：所持）の全てが画像に含まれる状態である。すなわち、Ｓ１、Ｖ１及びＯ１で定義される第１の事象が起きている状態である。
【0036】
「第１の事象関連状態：１」は、第１の人物（Ｓ１：男（成人））が画像に含まれるが、第１の物（Ｏ１：カバン（黒））及び第１の関係（Ｖ１：所持）が画像に含まれない状態である。すなわち、Ｓ１、Ｖ１及びＯ１で定義される第１の事象が起きていないが、第１の事象に関わる第１の人物が画像に存在する状態である。
【0037】
「第１の事象関連状態：０」は、第１の人物（Ｓ１：男（成人））、第１の物（Ｏ１：カバン（黒））及び第１の関係（Ｖ１：所持）の全てが画像に含まれない状態である。すなわち、Ｓ１、Ｖ１及びＯ１で定義される第１の事象が起きておらず、第１の事象に関わる第１の人物が画像に存在しない状態である。
【0038】
なお、「第１の事象関連状態：３」及び「第１の事象関連状態：１」のいずれにも該当しない画像すべてを「第１の事象関連状態：０」に分類することとしてもよい。
【0039】
同様に、事象情報生成部１２は、第２の人物、第２の物及び第２の関係各々が画像に含まれるか否かに応じて、第２の事象に関連する複数の第２の事象関連状態を定義する。そして、事象情報生成部１２は、各画像を複数の第２の事象関連状態のいずれかに分類し、第２の事象関連状態の時系列な変化を示す事象情報を生成する。
【0040】
図６を用いて、複数の第２の事象関連状態の定義の仕方の一例を説明する。図示する例では、３つの第２の事象関連状態を定義している。
【0041】
「第２の事象関連状態：３」は、第２の人物（Ｓ２：女（成人））、第２の物（Ｏ２：カバン（黒））及び第２の関係（Ｖ２：所持）の全てが画像に含まれる状態である。すなわち、Ｓ２、Ｖ２及びＯ２で定義される第２の事象が起きている状態である。
【0042】
「第２の事象関連状態：１」は、第２の人物（Ｓ２：女（成人））が画像に含まれるが、第２の物（Ｏ２：カバン（黒））及び第２の関係（Ｖ２：所持）が画像に含まれない状態である。すなわち、Ｓ２、Ｖ２及びＯ２で定義される第２の事象が起きていないが、第２の事象に関わる第２の人物が画像に存在する状態である。
【0043】
「第２の事象関連状態：０」は、第２の人物（Ｓ２：女（成人））、第２の物（Ｏ２：カバン（黒））及び第２の関係（Ｖ２：所持）の全てが画像に含まれない状態である。すなわち、Ｓ２、Ｖ２及びＯ２で定義される第２の事象が起きておらず、第２の事象に関わる第２の人物が画像に存在しない状態である。
【0044】
なお、「第２の事象関連状態：３」及び「第２の事象関連状態：１」のいずれにも該当しない画像すべてを「第２の事象関連状態：０」に分類することとしてもよい。
【0045】
第１の事象関連状態の時系列な変化及び第２の事象関連状態の時系列な変化を示す事象情報は、例えば図７のように表すことができる。
【0046】
ＨＯＩ（第１の事象）は、第１の事象関連状態の時系列な変化を示す事象情報である。図示する例では、ｍ個のｘｎの値が時系列順に並んでいる。ｘｎは、ｎ番目の画像が第１の事象関連状態のいずれに分類されたかを示す。図５を用いて説明した例の場合、ｘｎは０、１、３のいずれかの値をとる。
【0047】
ＨＯＪ（第２の事象）は、第２の事象関連状態の時系列な変化を示す事象情報である。図示する例では、ｍ個のｙｎの値が時系列順に並んでいる。ｙｎは、ｎ番目の画像が第２の事象関連状態のいずれに分類されたかを示す。図６を用いて説明した例の場合、ｙｎは０、１、３のいずれかの値をとる。
【0048】
図８に、ｘｎ及びｙｎに具体的な値をあてはめた事象情報の具体例を示す。図示する例の場合、１４個の時系列な画像における第１の事象及び第２の事象の時系列な変化を示す。図７及び図８を比較しながら参照すると、ｎ＝１の画像の第１の事象関連状態を示すｘ１は０であり、第２の事象関連状態を示すｙ１は０であることが分かる。また、ｎ＝２の画像の第１の事象関連状態を示すｘ２は１であり、第２の事象関連状態を示すｙ２は０であることが分かる。
【0049】
事象情報を何個の時系列な画像における第１の事象及び第２の事象の時系列な変化を示すものとするか、すなわちｍの値は設計的事項である。しかし、第１の事象が起きているタイミング（第１の事象関連状態が３であるタイミング）、及び、第２の事象が起きているタイミング（第２の事象関連状態が３であるタイミング）を含むようにｍ個の時系列な画像を定めるのが好ましい。事象情報生成部１２は、ｑ個の画像を含む時系列画像群から、ｍ個の時系列な画像における第１の事象及び第２の事象の時系列な変化を示す複数の事象情報を生成してもよい（ｍ≦ｑ）。複数の事象情報は、互いに異なるタイミングで切出されたｍ個の画像群における第１の事象及び第２の事象の時系列な変化を示すものであってもよい。また、複数の事象情報は、互いに異なる数の画像群（互いにｍの数が異なる画像群）における第１の事象及び第２の事象の時系列な変化を示すものであってもよい。
【0050】
なお、事象情報生成部１２は、複数のカメラ各々で生成された複数の動画データに含まれる時系列画像群毎に上記手法で事象情報を生成し、各カメラに対応して生成した事象情報を時間同期して統合したものを最終的な事象情報として生成してもよい。
【0051】
図９及び図１０を用いて当該処理を詳細に説明する。図９に示すＨＯＩＣ１（第１の事象）は、第１のカメラで生成された動画データに含まれる時系列画像群に基づき上記手法で生成した第１の事象に関する事象情報である。ＨＯＩＣ２（第１の事象）は、第２のカメラで生成された動画データに含まれる時系列画像群に基づき上記手法で生成した第１の事象に関する事象情報である。これら２つの事象情報を所定ルールで論理演算（統合）したものが図８に示すＨＯＩ（第１の事象）となる。
【0052】
同様に、図１０に示すＨＯＩＣ１（第２の事象）は、第１のカメラで生成された動画データに含まれる時系列画像群に基づき上記手法で生成した第２の事象に関する事象情報である。ＨＯＩＣ２（第２の事象）は、第２のカメラで生成された動画データに含まれる時系列画像群に基づき上記手法で生成した第２の事象に関する事象情報である。これら２つの事象情報を所定ルールで論理演算（統合）したものが図８に示すＨＯＩ（第２の事象）となる。
【0053】
所定ルールは、２つの入力値から１つの出力値を決定するものである。入力値は、「０」又は「０と異なる値」の２通りである。「０と異なる値」は複数の値をとることができる。出力値は、２つの入力値のいずれかの値となる。２つの入力値の少なくとも一方が「０と異なる値」である場合、出力値は「０と異なる値」となる。２つの入力値の両方が「０」である場合、出力値は「０」となる。
【0054】
図２に戻り、因果関係算出部１３は、事象情報生成部１２が生成した事象情報に基づき、第１の事象と第２の事象との間の因果関係を示すスコアを算出する。
【0055】
具体的には、因果関係算出部１３は、以下の式（１）に基づき、第１の事象が第２の事象に起因して起きた確率ＴＪ→Ｉを上記スコアとして算出する。
【0056】
【数1】
【0057】
また、因果関係算出部１３は、以下の式（２）に基づき、第２の事象が第１の事象に起因して起きた確率ＴＩ→Ｊを上記スコアとして算出する。
【0058】
【数2】
【0059】
ｐ（ｘｎ）は、事象情報により第１の事象関連状態及び第２の事象関連状態の時系列な変化を示される画像群において、ｘｎで示される第１の事象関連状態が現れる確率を示す。
【0060】
ｐ（ｙｎ）は、事象情報により第１の事象関連状態及び第２の事象関連状態の時系列な変化を示される画像群において、ｙｎで示される第２の事象関連状態が現れる確率を示す。
【0061】
ｐ（ｘｎ、ｙｎ）は、事象情報により第１の事象関連状態及び第２の事象関連状態の時系列な変化を示される画像群において、ｘｎで示される第１の事象関連状態とｙｎで示される第２の事象関連状態が同時に現れる確率を示す。
【0062】
ｐ（ｘｎ＋１、ｘｎ）は、事象情報により第１の事象関連状態及び第２の事象関連状態の時系列な変化を示される画像群において、ｘｎで示される第１の事象関連状態が起きた直後にｘｎ＋１で示される第１の事象関連状態が起きる確率を示す。
【0063】
ｐ（ｙｎ＋１、ｙｎ）は、事象情報により第１の事象関連状態及び第２の事象関連状態の時系列な変化を示される画像群において、ｙｎで示される第２の事象関連状態が起きた直後にｙｎ＋１で示される第２の事象関連状態が起きる確率を示す。
【0064】
ｐ（ｘｎ＋１、ｘｎ、ｙｎ）は、事象情報により第１の事象関連状態及び第２の事象関連状態の時系列な変化を示される画像群において、ｘｎで示される第１の事象関連状態とｙｎで示される第２の事象関連状態が同時に起きた直後にｘｎ＋１で示される第１の事象関連状態が起きる確率を示す。
【0065】
ｐ（ｙｎ＋１、ｘｎ、ｙｎ）は、事象情報により第１の事象関連状態及び第２の事象関連状態の時系列な変化を示される画像群において、ｘｎで示される第１の事象関連状態とｙｎで示される第２の事象関連状態が同時に起きた直後にｙｎ＋１で示される第２の事象関連状態が起きる確率を示す。
【0066】
事象情報生成部１２が生成した事象情報が図８で示される場合、上記確率各々は図１１乃至図１７のように算出される。ここで、図１１に示すｐ（ｘｎ）を例にとり、確率の算出方法を説明する。上述の通り、ｘｎは０、１及び３のいずれかの値をとる。図７及び図８より、０となるｘｎの数は７であり、１となるｘｎの数は４であり、３となるｘｎの数は３である。以上より、ｐ（０）＝７／（７＋４＋３）＝７／１４となる。同様に、ｐ（１）＝４／１４となり、ｐ（３）＝３／１４となる。
【0067】
【0068】
まず、ｎ＝１の場合にｐ（ｘｎ）に代入される値ｐ（ｘ１）を説明する。図７及び図８より、ｘ１＝０であるため、ｐ（ｘ１）＝ｐ（０）となる。そして、図１１より、ｐ（ｘｎ）の場合、ｐ（０）＝７／１４である。以上より、ｎ＝１の場合にｐ（ｘｎ）に代入される値ｐ（ｘ１）は７／１４となる。
【0069】
次に、ｎ＝１の場合にｐ（ｘｎ、ｙｎ）に代入される値ｐ（ｘ１、ｙ１）を説明する。図７及び図８より、ｘ１＝ｙ１＝０であるため、ｐ（ｘ１、ｙ１）＝ｐ（０、０）となる。そして、図１３より、ｐ（ｘｎ、ｙｎ）の場合、ｐ（０、０）は６／１４である。以上より、ｎ＝１の場合にｐ（ｘｎ、ｙｎ）に代入される値ｐ（ｘ１、ｙ１）は６／１４となる。
【0070】
次に、ｎ＝１の場合にｐ（ｘｎ＋１、ｘｎ）に代入される値ｐ（ｘ２、ｘ１）を説明する。図７及び図８より、ｘ１＝０、ｘ２＝１であるため、ｐ（ｘ２、ｘ１）＝ｐ（１、０）となる。そして、図１４より、ｐ（ｘｎ＋１、ｘｎ）の場合、ｐ（１、０）は２／１３である。以上より、ｎ＝１の場合にｐ（ｘｎ＋１、ｘｎ）に代入される値は２／１３となる。
【0071】
次に、ｎ＝１の場合にｐ（ｘｎ＋１、ｘｎ、ｙｎ）に代入される値ｐ（ｘ２、ｘ１、ｙ１）を説明する。図７及び図８より、ｘ１＝ｙ１＝０であり、ｘ２＝１であるため、ｐ（ｘ２、ｘ１、ｙ１）＝ｐ（１、０、０）となる。そして、図１６より、ｐ（ｘｎ＋１、ｘｎ、ｙｎ）の場合、ｐ（１、０、０）は２／１３である。以上より、ｎ＝１の場合にｐ（ｘｎ＋１、ｘｎ、ｙｎ）に代入される値は２／１３となる。
【0072】
ここで、式（１）及び式（２）を導き出す方法を説明する。まず、ｘｎとｙｎが発生したときにｘｎ＋１が発生した際のエントロピー値を示すｈ１は式（３）のように表すことができる。式（３）におけるｐ（ｘｎ＋１｜ｘｎ、ｙｎ）は、ｘｎとｙｎが発生したときにｘｎ＋１が発生した確率を示す。
【0073】
【数3】
【0074】
また、ｘｎが発生したときにｘｎ＋１が発生した際のエントロピー値を示すｈ２は式（４）のように表すことができる。式（４）におけるｐ（ｘｎ＋１｜ｘｎ）は、ｘｎが発生したときにｘｎ＋１が発生した確率を示す。
【0075】
【数4】
【0076】
式（４）から式（３）を引くと式（５）のようになる。
【0077】
【数5】
【0078】
ｈ２－ｈ１はｙｎが発生したときにｘｎ＋１が発生した際のエントロピー値を表すので、事象発生の前後順を入れ替える場合は、式（６）及び式（７）のように表すことができる。
【0079】
【数6】
【0080】
【数7】
【0081】
式（８）及び式（９）のように表すことができるので、式（６）及び式（７）は式（１）及び式（２）のように表すことができる。
【0082】
【数8】
【0083】
【数9】
【0084】
このように、因果関係算出部１３は、複数の第１の事象関連状態の中の第１－１の事象関連状態と、複数の第２の事象関連状態の中の第２－１の事象関連状態とが同時に現れる確率に基づき、上記スコアを算出することができる。
【0085】
また、因果関係算出部１３は、複数の第１の事象関連状態の中の第１－１の事象関連状態と、複数の第２の事象関連状態の中の第２－１の事象関連状態とが同時に現れ、かつ、複数の第１の事象関連状態の中の第１－２の事象関連状態が直後の画像に現れる確率に基づき、上記スコアを算出することができる。
【0086】
また、因果関係算出部１３は、複数の第１の事象関連状態の中の第１－１の事象関連状態が現れる確率に基づき、上記スコアを算出することができる。
【0087】
また、因果関係算出部１３は、複数の第１の事象関連状態の中の第１－１の事象関連状態が現れた直後の画像に複数の第１の事象関連状態の中の第１－２の事象関連状態が現れる確率に基づき、上記スコアを算出することができる。
【0088】
図２に戻り、出力部１４は、時系列画像群から抽出された第１の事象及び第２の事象の内、スコアが所定条件を満たす第１の事象及び第２の事象を示す情報を出力する。所定条件は、スコアが基準値以上である。
【0089】
出力部１４は、スコアが所定条件を満たす第１の事象及び第２の事象が起きているタイミング（事象情報生成部１２が生成した事象情報（図８参照）において３を示しているタイミング）の画像を出力してもよい。
【0090】
また、出力部１４は、因果関係算出部１３が算出したスコアを併せて出力してもよい。
【0091】
また、出力部１４は、事象抽出部１１が処理対象とした時系列画像群の中から、スコアが所定条件を満たす第１の事象と第２の事象とのペアが複数検出された場合、最もスコアの大きいペアを示す情報を出力してもよいし、スコアの大きい順に並べて複数のペアを示す情報を出力してもよい。
【0092】
次に、図１８のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。
【0093】
Ｓ１０では、事象抽出部１１は、第１のカメラで生成されたｑ１個の画像を含む時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する。また、事象抽出部１１は、第２のカメラで生成されたｑ２個の画像を含む時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する。
【0094】
Ｓ１１では、事象情報生成部１２は、第１の事象及び第２の事象を決定する。次いで、事象情報生成部１２は、第１のカメラで生成された時系列画像群の中のｍ個の画像群における第１の事象の時系列な変化、及び、第２の事象の時系列な変化を示す事象情報を生成する。同様に、事象情報生成部１２は、第２のカメラで生成された時系列画像群の中のｍ個の画像群における第１の事象の時系列な変化、及び、第２の事象の時系列な変化を示す事象情報を生成する。
【0095】
そして、事象情報生成部１２は、第１のカメラで生成された時系列画像群の中のｍ個の画像群における第１の事象の時系列な変化を示す事象情報と、第２のカメラで生成された時系列画像群の中のｍ個の画像群における第１の事象の時系列な変化を示す事象情報とを時間同期して統合することで、第１の事象の時系列な変化を示す事象情報（最終版）を生成する。
【0096】
同様に、事象情報生成部１２は、第１のカメラで生成された時系列画像群の中のｍ個の画像群における第２の事象の時系列な変化を示す事象情報と、第２のカメラで生成された時系列画像群の中のｍ個の画像群における第２の事象の時系列な変化を示す事象情報とを時間同期して統合することで、第２の事象の時系列な変化を示す事象情報（最終版）を生成する。
【0097】
Ｓ１２では、因果関係算出部１３は、Ｓ１１で生成された事象情報に基づき、第１の事象と第２の事象との間の因果関係を示すスコアを算出する。
【0098】
Ｓ１３では、出力部１４は、Ｓ１１で抽出された第１の事象及び第２の事象の内、Ｓ１２で算出されたスコアが所定条件を満たす第１の事象及び第２の事象を示す情報を出力する。
【0099】
以上説明した本実施形態の処理装置１０によれば、検出対象の出来事に関わる第１の事象及び第２の事象を画像から抽出し、それらの間の因果関係を示すスコアを算出することができる。検出対象の出来事は、例えば、「男（成人）がカバン（黒）を女（成人）に渡す」である。この場合の第１の事象は、例えば「男（成人）がカバン（黒）を所持している」であり、第２の事象は、例えば「女（成人）がカバン（黒）を所持している」である。
【0100】
そして、処理装置１０は、時系列画像群から抽出された第１の事象及び第２の事象の内、スコアが所定条件を満たす第１の事象及び第２の事象、すなわち互いの因果関係が基準レベルより大きい第１の事象及び第２の事象を示す情報を出力することができる。
【0101】
このような処理装置１０によれば、検出対象の出来事に関わる物体（人物や物）が画像内に存在するが、その出来事が起きたシーン（例：物を渡すシーン）が画像内に存在しないような場合であっても、画像解析でその出来事の発生を検出できるようになる。
【0102】
＜第２の実施形態＞
本実施形態の処理装置１０は、複数の第１の事象関連状態の定義の仕方及び複数の第２の事象関連状態の定義の仕方が第１の実施形態と異なる。処理装置１０のその他の構成は、第１の実施形態と同様である。
本実施形態の処理装置１０は、複数の第１の事象関連状態の定義の仕方及び複数の第２の事象関連状態の定義の仕方が第１の実施形態と異なる。処理装置１０のその他の構成は、第１の実施形態と同様である。
【0103】
図１９を用いて、複数の第１の事象関連状態の定義の仕方の一例を説明する。図示する例では、４つの第１の事象関連状態を定義している。
【0104】
「第１の事象関連状態：３」、「第１の事象関連状態：１」及び「第１の事象関連状態：０」は、第１の実施形態と同様である。「第１の事象関連状態：２」は、第１の人物（男（成人））が画像に含まれないが、第１の物（カバン（黒））及び第１の関係（所持）が画像に含まれる状態である。すなわち、Ｓ１、Ｖ１及びＯ１で定義される第１の事象が起きておらず、第１の事象に関わる第１の人物が画像に存在しないが、第１の事象に関わる第１の物体が画像に存在する状態である。
【0105】
図２０を用いて、複数の第２の事象関連状態の定義の仕方の一例を説明する。図示する例では、４つの第２の事象関連状態を定義している。
【0106】
「第２の事象関連状態：３」、「第２の事象関連状態：１」及び「第２の事象関連状態：０」は、第１の実施形態と同様である。「第２の事象関連状態：２」は、第２の人物（女（成人））が画像に含まれないが、第２の物（カバン（黒））及び第２の関係（所持）が画像に含まれる状態である。すなわち、Ｓ２、Ｖ２及びＯ２で定義される第２の事象が起きておらず、第２の事象に関わる第２の人物が画像に存在しないが、第２の事象に関わる第２の物体が画像に存在する状態である。
【0107】
本実施形態の処理装置１０によれば、第１の実施形態の処理装置１０と同様な作用効果を実現できる。
【0108】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１． 時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段と、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段と、
を有する処理装置。
２． １に記載の処理装置において、
前記事象情報生成手段は、指定された検索条件に基づき、前記第１の人物、前記第１の物及び前記第１の関係を指定した前記第１の事象を決定するとともに、前記第２の人物、前記第２の物及び前記第２の関係を指定した前記第２の事象を決定する処理装置。
３． １又は２に記載の処理装置において、
前記事象情報生成手段は、
前記第１の人物、前記第１の物及び前記第１の関係各々が画像に含まれるか否かに応じて、各画像を複数の第１の事象関連状態のいずれかに分類し、前記第１の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記第２の人物、前記第２の物及び前記第２の関係各々が画像に含まれるか否かに応じて、各画像を複数の第２の事象関連状態のいずれかに分類し、前記第２の事象関連状態の時系列な変化を示す前記事象情報を生成する処理装置。
４． ３に記載の処理装置において、
前記因果関係算出手段は、複数の前記第１の事象関連状態の中の第１－１の事象関連状態と、複数の前記第２の事象関連状態の中の第２－１の事象関連状態とが同時に現れる確率に基づき、前記スコアを算出する処理装置。
５． ３又は４に記載の処理装置において、
前記因果関係算出手段は、複数の前記第１の事象関連状態の中の第１－１の事象関連状態と、複数の前記第２の事象関連状態の中の第２－１の事象関連状態とが同時に現れ、かつ、複数の前記第１の事象関連状態の中の第１－２の事象関連状態が直後の画像に現れる確率に基づき、前記スコアを算出する処理装置。
６． ３から５のいずれかに記載の処理装置において、
前記因果関係算出手段は、複数の前記第１の事象関連状態の中の第１－１の事象関連状態が現れる確率に基づき、前記スコアを算出する処理装置。
７． ３から６のいずれかに記載の処理装置において、
前記因果関係算出手段は、複数の前記第１の事象関連状態の中の第１－１の事象関連状態が現れた直後の画像に複数の前記第１の事象関連状態の中の第１－２の事象関連状態が現れる確率に基づき、前記スコアを算出する処理装置。
８． コンピュータが、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出工程と、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成工程と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出工程と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力工程と、
を有する処理方法。
９． コンピュータを、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段、
として機能させるプログラム。
１． 時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段と、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段と、
を有する処理装置。
２． １に記載の処理装置において、
前記事象情報生成手段は、指定された検索条件に基づき、前記第１の人物、前記第１の物及び前記第１の関係を指定した前記第１の事象を決定するとともに、前記第２の人物、前記第２の物及び前記第２の関係を指定した前記第２の事象を決定する処理装置。
３． １又は２に記載の処理装置において、
前記事象情報生成手段は、
前記第１の人物、前記第１の物及び前記第１の関係各々が画像に含まれるか否かに応じて、各画像を複数の第１の事象関連状態のいずれかに分類し、前記第１の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記第２の人物、前記第２の物及び前記第２の関係各々が画像に含まれるか否かに応じて、各画像を複数の第２の事象関連状態のいずれかに分類し、前記第２の事象関連状態の時系列な変化を示す前記事象情報を生成する処理装置。
４． ３に記載の処理装置において、
前記因果関係算出手段は、複数の前記第１の事象関連状態の中の第１－１の事象関連状態と、複数の前記第２の事象関連状態の中の第２－１の事象関連状態とが同時に現れる確率に基づき、前記スコアを算出する処理装置。
５． ３又は４に記載の処理装置において、
前記因果関係算出手段は、複数の前記第１の事象関連状態の中の第１－１の事象関連状態と、複数の前記第２の事象関連状態の中の第２－１の事象関連状態とが同時に現れ、かつ、複数の前記第１の事象関連状態の中の第１－２の事象関連状態が直後の画像に現れる確率に基づき、前記スコアを算出する処理装置。
６． ３から５のいずれかに記載の処理装置において、
前記因果関係算出手段は、複数の前記第１の事象関連状態の中の第１－１の事象関連状態が現れる確率に基づき、前記スコアを算出する処理装置。
７． ３から６のいずれかに記載の処理装置において、
前記因果関係算出手段は、複数の前記第１の事象関連状態の中の第１－１の事象関連状態が現れた直後の画像に複数の前記第１の事象関連状態の中の第１－２の事象関連状態が現れる確率に基づき、前記スコアを算出する処理装置。
８． コンピュータが、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出工程と、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成工程と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出工程と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力工程と、
を有する処理方法。
９． コンピュータを、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段、
として機能させるプログラム。
【0109】
以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】