特許 7291907 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-08

(45)【発行日】2023-06-16

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G06F 16/583 20190101AFI20230609BHJP

【ＦＩ】

G06F16/583

【請求項の数】 13

(21)【出願番号】P 2022503068

(86)(22)【出願日】2020-08-17

(86)【国際出願番号】 JP2020030981

(87)【国際公開番号】W WO2021171652

(87)【国際公開日】2021-09-02

【審査請求日】2022-03-10

(31)【優先権主張番号】P 2020032403

(32)【優先日】2020-02-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】持永 和寛

(72)【発明者】

【氏名】上坂 靖

(72)【発明者】

【氏名】上田 功

(72)【発明者】

【氏名】杉本 隆

(72)【発明者】

【氏名】廣田 健

【審査官】早川 学

(56)【参考文献】

【文献】特表２０１１－５１７８１８（ＪＰ，Ａ）

【文献】国際公開第２０１３／００５２６６（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１２／０２５１０１１（ＵＳ，Ａ１）

【文献】特開２０１７－１７３９００（ＪＰ，Ａ）

【文献】国際公開第２０１１／００１５８７（ＷＯ，Ａ１）

【文献】特表２０１１－５２５０１２（ＪＰ，Ａ）

【文献】特表２００９－５００９８２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

画像処理装置であって、
１枚の画像を取得する取得部と、
取得された前記画像が示す出来事であるイベントを判定して出力する解析部とを備え、
前記解析部は、
取得された前記画像から、前記画像の全体が示す場面であるシーンを認識し、認識したシーンを示すシーン情報を出力するシーン認識部と、
取得された前記画像から、前記画像に含まれるオブジェクトを認識し、認識した前記オブジェクトを示すオブジェクト情報を出力するオブジェクト認識部と、
前記シーン認識部から出力される前記シーン情報に対応するイベント候補を示すイベント情報と、前記オブジェクト認識部で得られた前記オブジェクト情報の意味を解析し、解析によって得られた前記意味とを用いて前記画像が示す出来事であるイベントを判定して出力するイベント判定部とを有し、
前記画像処理装置は、さらに、オブジェクト情報と、前記オブジェクト情報に対応する意味との対応を複数、保持するデータベース部を備え、
前記イベント判定部は、前記データベース部を参照することで、前記オブジェクト認識部で得られた前記オブジェクト情報の意味を解析し、
前記イベント判定部は、
前記シーン認識部から出力される前記シーン情報に基づいて、少なくとも一つのイベント候補、及び、前記少なくとも一つのイベント候補のそれぞれについて前記画像が当該イベント候補を示していることの尤度である基準イベント尤度を特定するイベント候補判断部と、
前記オブジェクト情報の意味を用いて、前記基準イベント尤度に対して調整を行うことで、前記少なくとも一つのイベント候補のそれぞれについてのイベント尤度を算出する尤度調整部と、
前記尤度調整部によって算出された前記少なくとも一つのイベント候補のそれぞれについてのイベント尤度に基づいて、前記画像が示すイベント候補を前記画像が示す出来事であるイベントとして判定して出力するイベント出力部とを有し、
前記データベース部には、イベント情報と、前記イベント情報が示すイベントのときに用いられる特徴物を示す特徴物情報とが対応づけて格納されており、
前記尤度調整部は、前記オブジェクト認識部で得られた前記オブジェクト情報に対応する特徴物情報を前記データベース部から特定し、特定した前記特徴物情報に対応して前記データベース部に格納された前記イベント情報が、前記イベント候補判断部で特定された前記少なくとも一つのイベント候補のいずれかを示すか否かに応じて、前記イベント候補に対応する前記基準イベント尤度に対して所定値を加算又は減算する調整を行う
画像処理装置。

【請求項2】

画像処理装置であって、
１枚の画像及び前記画像の付加情報を示すメタ情報を取得する取得部と、
取得された前記画像及び前記メタ情報の意味を解析し、解析によって得られた前記意味を用いて前記画像が示す出来事であるイベントを判定して出力する解析部とを備え、
前記解析部は、
取得された前記画像から、前記画像の全体が示す場面であるシーンを認識し、認識したシーンを示すシーン情報を出力するシーン認識部と、
取得された前記メタ情報から、当該メタ情報に含まれる、前記画像が生成された日付を示す日付情報を抽出して出力する日付情報抽出部と、
前記シーン認識部から出力される前記シーン情報に対応するイベント候補を示すイベント情報と、前記日付情報抽出部で得られた前記日付情報の意味を解析し、解析によって得られた前記意味とを用いて前記画像が示す出来事であるイベントを判定して出力するイベント判定部とを有し、
前記画像処理装置は、さらに、日付情報と、前記日付情報に対応する意味との対応を複数、保持するデータベース部を備え、
前記イベント判定部は、前記データベース部を参照することで、前記日付情報抽出部で得られた前記日付情報の意味を解析し、
前記イベント判定部は、
前記シーン認識部から出力される前記シーン情報に基づいて、少なくとも一つのイベント候補、及び、前記少なくとも一つのイベント候補のそれぞれについて前記画像が当該イベント候補を示していることの尤度である基準イベント尤度を特定するイベント候補判断部と、
前記日付情報の意味を用いて、前記基準イベント尤度に対して調整を行うことで、前記少なくとも一つのイベント候補のそれぞれについてのイベント尤度を算出する尤度調整部と、
前記尤度調整部によって算出された前記少なくとも一つのイベント候補のそれぞれについてのイベント尤度に基づいて、前記画像が示すイベント候補を前記画像が示す出来事であるイベントとして判定して出力するイベント出力部とを有し、
前記データベース部には、イベント情報と、前記イベント情報が示すイベントが行われる時期を示すイベント時期情報とが対応づけて格納されており、
前記尤度調整部は、前記日付情報抽出部で得られた前記日付情報に対応するイベント時期情報を前記データベース部から特定し、特定した前記イベント時期情報に対応して前記データベース部に格納された前記イベント情報が、前記イベント候補判断部で特定された前記少なくとも一つのイベント候補のいずれかを示すか否かに応じて、前記イベント候補に対応する前記基準イベント尤度に対して所定値を加算又は減算する調整を行う
画像処理装置。

【請求項3】

画像処理装置であって、
１枚の画像及び前記画像の付加情報を示すメタ情報を取得する取得部と、
取得された前記画像及び前記メタ情報の意味を解析し、解析によって得られた前記意味を用いて前記画像が示す出来事であるイベントを判定して出力する解析部とを備え、
前記解析部は、
取得された前記画像から、前記画像の全体が示す場面であるシーンを認識し、認識したシーンを示すシーン情報を出力するシーン認識部と、
取得された前記画像から、前記画像に含まれるオブジェクトを認識し、認識した前記オブジェクトを示すオブジェクト情報を出力するオブジェクト認識部、取得された前記メタ情報から、当該メタ情報に含まれる、前記画像が生成された日付を示す日付情報を抽出して出力する日付情報抽出部、及び、取得された前記メタ情報から、当該メタ情報に含まれる、前記画像が生成された場所を示す場所情報を抽出して出力する場所情報抽出部の少なくとも二つと、
前記シーン認識部から出力される前記シーン情報に対応するイベント候補を示すイベント情報と、前記オブジェクト認識部、前記日付情報抽出部、及び、前記場所情報抽出部の少なくとも二つで得られた前記オブジェクト情報、前記日付情報、及び、前記場所情報の少なくとも二つの意味を解析し、解析によって得られた前記意味とを用いて前記画像が示す出来事であるイベントを判定して出力するイベント判定部とを有し、
前記画像処理装置は、さらに、オブジェクト情報、日付情報、及び、場所情報の少なくとも二つと、前記少なくとも二つのそれぞれに対応する意味との対応を複数、保持するデータベース部を備え、
前記イベント判定部は、前記データベース部を参照することで、前記オブジェクト認識部、前記日付情報抽出部、及び、前記場所情報抽出部の少なくとも二つで得られた前記オブジェクト情報、前記日付情報、及び、前記場所情報の少なくとも二つの意味を解析し、
前記イベント判定部は、
前記シーン認識部から出力される前記シーン情報に基づいて、少なくとも一つのイベント候補、及び、前記少なくとも一つのイベント候補のそれぞれについて前記画像が当該イベント候補を示していることの尤度である基準イベント尤度を特定するイベント候補判断部と、
前記オブジェクト情報、前記日付情報、及び、前記場所情報の少なくとも二つの意味を用いて、前記基準イベント尤度に対して調整を行うことで、前記少なくとも一つのイベント候補のそれぞれについてのイベント尤度を算出する尤度調整部と、
前記尤度調整部によって算出された前記少なくとも一つのイベント候補のそれぞれについてのイベント尤度に基づいて、前記画像が示すイベント候補を前記画像が示す出来事であるイベントとして判定して出力するイベント出力部とを有し、
前記データベース部には、関連性の高い日付情報及びオブジェクト情報、関連性の高い場所情報及びオブジェクト情報、並びに、関連性の高い場所情報及び日付情報の少なくとも一組が対応づけられて格納されており、
前記尤度調整部は、前記オブジェクト認識部、前記日付情報抽出部、及び、前記場所情報抽出部の少なくとも二つから得られた日付情報及びオブジェクト情報、場所情報及びオブジェクト情報、又は、場所情報及び日付情報の対応づけが前記データベース部に格納されているか否かを特定し、格納されている場合に、前記基準イベント尤度に対して所定値を加算する調整を行う
画像処理装置。

【請求項4】

前記イベント判定部は、前記オブジェクト認識部で得られた前記オブジェクト情報に対応する特徴物情報を前記データベース部から特定し、特定した前記特徴物情報に対応して前記データベース部に格納された前記イベント情報を、前記オブジェクト情報に対応する意味として、取得する
請求項１に記載の画像処理装置。

【請求項5】

前記イベント判定部は、前記日付情報抽出部で得られた前記日付情報に対応するイベント時期情報を前記データベース部から特定し、特定した前記イベント時期情報に対応して前記データベース部に格納された前記イベント情報を、前記日付情報に対応する意味として、取得する
請求項２に記載の画像処理装置。

【請求項6】

前記取得部は、前記画像の付加情報を示すメタ情報を取得し、
前記解析部は、取得された前記メタ情報から、当該メタ情報に含まれる、前記画像が生成された場所を示す場所情報を抽出して出力する場所情報抽出部を備え、
前記データベース部には、ランドマークを示すランドマーク情報と、前記ランドマーク情報が示すランドマークの位置を示すランドマーク位置情報とが対応づけて格納されており、
前記イベント判定部は、前記場所情報抽出部で得られた前記場所情報に対応するランドマーク位置情報を前記データベース部から特定し、特定した前記ランドマーク位置情報に対応して前記データベース部に格納された前記ランドマーク情報を、前記場所情報に対応する意味として、取得する
請求項１に記載の画像処理装置。

【請求項7】

前記解析部は、取得された前記メタ情報から、当該メタ情報に含まれる、前記画像が生成された場所を示す場所情報を抽出して出力する場所情報抽出部を備え、
前記データベース部には、ランドマークを示すランドマーク情報と、前記ランドマーク情報が示すランドマークの位置を示すランドマーク位置情報とが対応づけて格納されており、
前記イベント判定部は、前記場所情報抽出部で得られた前記場所情報に対応するランドマーク位置情報を前記データベース部から特定し、特定した前記ランドマーク位置情報に対応して前記データベース部に格納された前記ランドマーク情報を、前記場所情報に対応する意味として、取得する
請求項２に記載の画像処理装置。

【請求項8】

前記取得部は、前記画像の付加情報を示すメタ情報を取得し、
前記解析部は、取得された前記画像の付加情報を示すメタ情報から、当該メタ情報に含まれる、前記画像が生成された場所を示す場所情報を抽出して出力する場所情報抽出部を備え、
前記データベース部には、イベント情報と、前記イベント情報が示すイベントが行われる場所を示すイベント場所情報とが対応づけて格納されており、
前記尤度調整部は、前記場所情報抽出部で得られた前記場所情報に対応するイベント場所情報を前記データベース部から特定し、特定した前記イベント場所情報に対応して前記データベース部に格納された前記イベント情報が、前記イベント候補判断部で特定された前記少なくとも一つのイベント候補のいずれかを示すか否かに応じて、前記イベント候補に対応する前記基準イベント尤度に対して所定値を加算又は減算する調整を行う
請求項１に記載の画像処理装置。

【請求項9】

前記解析部は、取得された前記画像の付加情報を示すメタ情報から、当該メタ情報に含まれる、前記画像が生成された場所を示す場所情報を抽出して出力する場所情報抽出部を備え、
前記データベース部には、イベント情報と、前記イベント情報が示すイベントが行われる場所を示すイベント場所情報とが対応づけて格納されており、
前記尤度調整部は、前記場所情報抽出部で得られた前記場所情報に対応するイベント場所情報を前記データベース部から特定し、特定した前記イベント場所情報に対応して前記データベース部に格納された前記イベント情報が、前記イベント候補判断部で特定された前記少なくとも一つのイベント候補のいずれかを示すか否かに応じて、前記イベント候補に対応する前記基準イベント尤度に対して所定値を加算又は減算する調整を行う
請求項２に記載の画像処理装置。

【請求項10】

前記シーン情報には、前記シーン認識部で推定されたシーンを示すシーン推定結果、及び、前記推定における精度を示すシーン推定精度が含まれ、
前記イベント候補判断部は、前記シーン認識部から出力される前記シーン情報に含まれる前記シーン推定結果から、前記少なくとも一つのイベント候補を特定し、前記シーン認識部から出力される前記シーン情報に含まれる前記シーン推定精度から、前記基準イベント尤度を特定する
請求項１～３のいずれか１項に記載の画像処理装置。

【請求項11】

画像処理装置が実行する画像処理方法であって、
１枚の画像を取得する取得ステップと、
取得された前記画像が示す出来事であるイベントを判定して出力する解析ステップとを含み、
前記解析ステップは、
取得された前記画像から、前記画像の全体が示す場面であるシーンを認識し、認識したシーンを示すシーン情報を出力するシーン認識ステップと、
取得された前記画像から、前記画像に含まれるオブジェクトを認識し、認識した前記オブジェクトを示すオブジェクト情報を出力するオブジェクト認識ステップと、
前記シーン認識ステップから出力される前記シーン情報に対応するイベント候補を示すイベント情報と、前記オブジェクト認識ステップで得られた前記オブジェクト情報の意味を解析し、解析によって得られた前記意味とを用いて前記画像が示す出来事であるイベントを判定して出力するイベント判定ステップとを含み、
前記イベント判定ステップでは、オブジェクト情報と、前記オブジェクト情報に対応する意味との対応を複数、保持するデータベース部を参照することで、前記オブジェクト認識ステップで得られた前記オブジェクト情報の意味を解析し、
前記イベント判定ステップは、
前記シーン認識ステップから出力される前記シーン情報に基づいて、少なくとも一つのイベント候補、及び、前記少なくとも一つのイベント候補のそれぞれについて前記画像が当該イベント候補を示していることの尤度である基準イベント尤度を特定するイベント候補判断ステップと、
前記オブジェクト情報の意味を用いて、前記基準イベント尤度に対して調整を行うことで、前記少なくとも一つのイベント候補のそれぞれについてのイベント尤度を算出する尤度調整ステップと、
前記尤度調整ステップによって算出された前記少なくとも一つのイベント候補のそれぞれについてのイベント尤度に基づいて、前記画像が示すイベント候補を前記画像が示す出来事であるイベントとして判定して出力するイベント出力ステップとを含み、
前記データベース部には、イベント情報と、前記イベント情報が示すイベントのときに用いられる特徴物を示す特徴物情報とが対応づけて格納されており、
前記尤度調整ステップでは、前記オブジェクト認識ステップで得られた前記オブジェクト情報に対応する特徴物情報を前記データベース部から特定し、特定した前記特徴物情報に対応して前記データベース部に格納された前記イベント情報が、前記イベント候補判断ステップで特定された前記少なくとも一つのイベント候補のいずれかを示すか否かに応じて、前記イベント候補に対応する前記基準イベント尤度に対して所定値を加算又は減算する調整を行う
画像処理方法。

【請求項12】

画像処理装置が実行する画像処理方法であって、
１枚の画像及び前記画像の付加情報を示すメタ情報を取得する取得ステップと、
取得された前記画像及び前記メタ情報の意味を解析し、解析によって得られた前記意味を用いて前記画像が示す出来事であるイベントを判定して出力する解析ステップとを含み、
前記解析ステップは、
取得された前記画像から、前記画像の全体が示す場面であるシーンを認識し、認識したシーンを示すシーン情報を出力するシーン認識ステップと、
取得された前記メタ情報から、当該メタ情報に含まれる、前記画像が生成された日付を示す日付情報を抽出して出力する日付情報抽出ステップと、
前記シーン認識ステップから出力される前記シーン情報に対応するイベント候補を示すイベント情報と、前記日付情報抽出ステップで得られた前記日付情報の意味を解析し、解析によって得られた前記意味とを用いて前記画像が示す出来事であるイベントを判定して出力するイベント判定ステップとを含み、
前記イベント判定ステップでは、日付情報と、前記日付情報に対応する意味との対応を複数、保持するデータベース部を参照することで、前記日付情報抽出ステップで得られた前記日付情報の意味を解析し、
前記イベント判定ステップは、
前記シーン認識ステップから出力される前記シーン情報に基づいて、少なくとも一つのイベント候補、及び、前記少なくとも一つのイベント候補のそれぞれについて前記画像が当該イベント候補を示していることの尤度である基準イベント尤度を特定するイベント候補判断ステップと、
前記日付情報の意味を用いて、前記基準イベント尤度に対して調整を行うことで、前記少なくとも一つのイベント候補のそれぞれについてのイベント尤度を算出する尤度調整ステップと、
前記尤度調整ステップによって算出された前記少なくとも一つのイベント候補のそれぞれについてのイベント尤度に基づいて、前記画像が示すイベント候補を前記画像が示す出来事であるイベントとして判定して出力するイベント出力ステップとを含み、
前記データベース部には、イベント情報と、前記イベント情報が示すイベントが行われる時期を示すイベント時期情報とが対応づけて格納されており、
前記尤度調整ステップでは、前記日付情報抽出ステップで得られた前記日付情報に対応するイベント時期情報を前記データベース部から特定し、特定した前記イベント時期情報に対応して前記データベース部に格納された前記イベント情報が、前記イベント候補判断ステップで特定された前記少なくとも一つのイベント候補のいずれかを示すか否かに応じて、前記イベント候補に対応する前記基準イベント尤度に対して所定値を加算又は減算する調整を行う
画像処理方法。

【請求項13】

画像処理装置が実行する画像処理方法であって、
１枚の画像及び前記画像の付加情報を示すメタ情報を取得する取得ステップと、
取得された前記画像及び前記メタ情報の意味を解析し、解析によって得られた前記意味を用いて前記画像が示す出来事であるイベントを判定して出力する解析ステップとを含み、
前記解析ステップは、
取得された前記画像から、前記画像の全体が示す場面であるシーンを認識し、認識したシーンを示すシーン情報を出力するシーン認識ステップと、
取得された前記画像から、前記画像に含まれるオブジェクトを認識し、認識した前記オブジェクトを示すオブジェクト情報を出力するオブジェクト認識ステップ、取得された前記メタ情報から、当該メタ情報に含まれる、前記画像が生成された日付を示す日付情報を抽出して出力する日付情報抽出ステップ、及び、取得された前記メタ情報から、当該メタ情報に含まれる、前記画像が生成された場所を示す場所情報を抽出して出力する場所情報抽出ステップの少なくとも二つと、
前記シーン認識ステップから出力される前記シーン情報に対応するイベント候補を示すイベント情報と、前記オブジェクト認識ステップ、前記日付情報抽出ステップ、及び、前記場所情報抽出ステップの少なくとも二つで得られた前記オブジェクト情報、前記日付情報、及び、前記場所情報の少なくとも二つの意味を解析し、解析によって得られた前記意味とを用いて前記画像が示す出来事であるイベントを判定して出力するイベント判定ステップとを含み、
前記イベント判定ステップでは、オブジェクト情報、日付情報、及び、場所情報の少なくとも二つと、前記少なくとも二つのそれぞれに対応する意味との対応を複数、保持するデータベース部を参照することで、前記オブジェクト認識ステップ、前記日付情報抽出ステップ、及び、前記場所情報抽出ステップの少なくとも二つで得られた前記オブジェクト情報、前記日付情報、及び、前記場所情報の少なくとも二つの意味を解析し、
前記イベント判定ステップは、
前記シーン認識ステップから出力される前記シーン情報に基づいて、少なくとも一つのイベント候補、及び、前記少なくとも一つのイベント候補のそれぞれについて前記画像が当該イベント候補を示していることの尤度である基準イベント尤度を特定するイベント候補判断ステップと、
前記オブジェクト情報、前記日付情報、及び、前記場所情報の少なくとも二つの意味を用いて、前記基準イベント尤度に対して調整を行うことで、前記少なくとも一つのイベント候補のそれぞれについてのイベント尤度を算出する尤度調整ステップと、
前記尤度調整ステップによって算出された前記少なくとも一つのイベント候補のそれぞれについてのイベント尤度に基づいて、前記画像が示すイベント候補を前記画像が示す出来事であるイベントとして判定して出力するイベント出力ステップとを含み、
前記解析ステップは、前記オブジェクト認識ステップ、前記日付情報抽出ステップ、及び、前記場所情報抽出ステップの少なくとも二つを含み、
前記データベース部には、関連性の高い日付情報及びオブジェクト情報、関連性の高い場所情報及びオブジェクト情報、並びに、関連性の高い場所情報及び日付情報の少なくとも一組が対応づけられて格納されており、
前記尤度調整ステップでは、前記オブジェクト認識ステップ、前記日付情報抽出ステップ、及び、前記場所情報抽出ステップの少なくとも二つから得られた日付情報及びオブジェクト情報、場所情報及びオブジェクト情報、又は、場所情報及び日付情報の対応づけが前記データベース部に格納されているか否かを特定し、格納されている場合に、前記基準イベント尤度に対して所定値を加算する調整を行う
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置及び画像処理方法に関し、特に、画像が示す出来事であるイベントを判定する画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

従来、撮影装置によって得られた画像を分類する技術として、様々な手法が提案されている（例えば、特許文献１参照）。特許文献１では、定期的に撮影されたか否かの情報を用いて、画像が分類される。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６６３１６７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１で提案されている手法は、複数の画像をグループ化する技術であり、１枚の画像に対して、その画像が何のイベント（出来事）を撮影したものであるかを判定することができない。

【0005】

そこで、本開示は、１枚の画像に対してその画像が示すイベントを判定できる画像処理装置及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本開示の一形態に係る画像処理装置は、１枚の画像を取得する取得部と、取得された前記画像が示す出来事であるイベントを判定して出力する解析部とを備える。前記解析部は、取得された前記画像から、前記画像の全体が示す場面であるシーンを認識し、認識したシーンを示すシーン情報を出力するシーン認識部と、取得された前記画像から、前記画像に含まれるオブジェクトを認識し、認識した前記オブジェクトを示すオブジェクト情報を出力するオブジェクト認識部と、前記シーン認識部から出力される前記シーン情報に対応するイベント候補を示すイベント情報と、前記オブジェクト認識部で得られた前記オブジェクト情報の意味を解析し、解析によって得られた前記意味とを用いて前記画像が示す出来事であるイベントを判定して出力するイベント判定部とを有し、前記画像処理装置は、さらに、オブジェクト情報と、前記オブジェクト情報に対応する意味との対応を複数、保持するデータベース部を備え、前記イベント判定部は、前記データベース部を参照することで、前記オブジェクト認識部で得られた前記オブジェクト情報の意味を解析し、前記イベント判定部は、前記シーン認識部から出力される前記シーン情報に基づいて、少なくとも一つのイベント候補、及び、前記少なくとも一つのイベント候補のそれぞれについて前記画像が当該イベント候補を示していることの尤度である基準イベント尤度を特定するイベント候補判断部と、前記オブジェクト情報の意味を用いて、前記基準イベント尤度に対して調整を行うことで、前記少なくとも一つのイベント候補のそれぞれについてのイベント尤度を算出する尤度調整部と、前記尤度調整部によって算出された前記少なくとも一つのイベント候補のそれぞれについてのイベント尤度に基づいて、前記画像が示すイベント候補を前記画像が示す出来事であるイベントとして判定して出力するイベント出力部とを有し、前記データベース部には、イベント情報と、前記イベント情報が示すイベントのときに用いられる特徴物を示す特徴物情報とが対応づけて格納されており、前記尤度調整部は、前記オブジェクト認識部で得られた前記オブジェクト情報に対応する特徴物情報を前記データベース部から特定し、特定した前記特徴物情報に対応して前記データベース部に格納された前記イベント情報が、前記イベント候補判断部で特定された前記少なくとも一つのイベント候補のいずれかを示すか否かに応じて、前記イベント候補に対応する前記基準イベント尤度に対して所定値を加算又は減算する調整を行う。

【0007】

上記目的を達成するために、本開示の一形態に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、１枚の画像を取得する取得ステップと、取得された前記画像が示す出来事であるイベントを判定して出力する解析ステップとを含む。前記解析ステップは、取得された前記画像から、前記画像の全体が示す場面であるシーンを認識し、認識したシーンを示すシーン情報を出力するシーン認識ステップと、取得された前記画像から、前記画像に含まれるオブジェクトを認識し、認識した前記オブジェクトを示すオブジェクト情報を出力するオブジェクト認識ステップと、前記シーン認識ステップから出力される前記シーン情報に対応するイベント候補を示すイベント情報と、前記オブジェクト認識ステップで得られた前記オブジェクト情報の意味を解析し、解析によって得られた前記意味とを用いて前記画像が示す出来事であるイベントを判定して出力するイベント判定ステップとを含み、前記イベント判定ステップでは、オブジェクト情報と、前記オブジェクト情報に対応する意味との対応を複数、保持するデータベース部を参照することで、前記オブジェクト認識ステップで得られた前記オブジェクト情報の意味を解析し、前記イベント判定ステップは、前記シーン認識ステップから出力される前記シーン情報に基づいて、少なくとも一つのイベント候補、及び、前記少なくとも一つのイベント候補のそれぞれについて前記画像が当該イベント候補を示していることの尤度である基準イベント尤度を特定するイベント候補判断ステップと、前記オブジェクト情報の意味を用いて、前記基準イベント尤度に対して調整を行うことで、前記少なくとも一つのイベント候補のそれぞれについてのイベント尤度を算出する尤度調整ステップと、前記尤度調整ステップによって算出された前記少なくとも一つのイベント候補のそれぞれについてのイベント尤度に基づいて、前記画像が示すイベント候補を前記画像が示す出来事であるイベントとして判定して出力するイベント出力ステップとを含み、前記データベース部には、イベント情報と、前記イベント情報が示すイベントのときに用いられる特徴物を示す特徴物情報とが対応づけて格納されており、前記尤度調整ステップでは、前記オブジェクト認識ステップで得られた前記オブジェクト情報に対応する特徴物情報を前記データベース部から特定し、特定した前記特徴物情報に対応して前記データベース部に格納された前記イベント情報が、前記イベント候補判断ステップで特定された前記少なくとも一つのイベント候補のいずれかを示すか否かに応じて、前記イベント候補に対応する前記基準イベント尤度に対して所定値を加算又は減算する調整を行う。

【発明の効果】

【0008】

本開示における画像処理装置及び画像処理方法は、１枚の画像に対してその画像が示すイベントを判定するのに有効である。

【図面の簡単な説明】

【0009】

【図1A】図１Ａは、実施の形態に係る画像処理装置の構成を示すブロック図である。

【図1B】図１Ｂは、実施の形態に係る画像処理装置が備えるデータベース部に格納されているデータ例を示す図である。

【図2】図２は、実施の形態に係る画像処理装置が備えるシーン認識部の動作を示すフローチャートである。

【図3】図３は、実施の形態に係る画像処理装置が備えるオブジェクト認識部の動作を示すフローチャートである。

【図4】図４は、実施の形態に係る画像処理装置が備えるイベント判定部の第一の動作例を説明するための２つの画像例を示す図である。

【図5】図５は、実施の形態に係る画像処理装置が備えるイベント判定部の第一の動作例を説明する図である。

【図6】図６は、実施の形態に係る画像処理装置が備えるイベント判定部の第二の動作例を説明するための２つの画像例を示す図である。

【図7】図７は、実施の形態に係る画像処理装置が備えるイベント判定部の第二の動作例を説明する図である。

【図8】図８は、実施の形態に係る画像処理装置が備えるイベント判定部の第三の動作例を説明するための２つの画像例を示す図である。

【図9】図９は、実施の形態に係る画像処理装置が備えるイベント判定部の第三の動作例を説明する図である。

【図10】図１０は、実施の形態の変形例に係る画像処理装置が備えるイベント判定部の構成を示すブロック図である。

【図11】図１１は、実施の形態の変形例に係る画像処理装置が備えるデータベース部に格納されているデータ例を示す図である。

【図12】図１２は、実施の形態の変形例に係る画像処理装置が備えるイベント判定部の動作を示すフローチャートである。

【図13】図１３は、実施の形態の変形例に係るイベント情報と相反する特徴物情報との対応づけを示すテーブルの３態様を示す図である。

【発明を実施するための形態】

【0010】

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

【0011】

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

【0012】

（実施の形態）
以下、図１Ａ～図９を用いて、実施の形態を説明する。

【0013】

［１．構成］
図１Ａは、実施の形態に係る画像処理装置１０の構成を示すブロック図である。画像処理装置１０は、１枚の画像に対してその画像が示すイベントを判定する装置であり、取得部１１、解析部１２、及び、データベース部１３を備える。

【0014】

取得部１１は、１枚の画像及び画像の付加情報を示すメタ情報を取得するものであり、例えば、カメラ又はデータベース部１３から画像及びメタ情報を取得するＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）又は無線ＬＡＮ等の有線／無線の通信インタフェースである。なお、１枚の画像は、撮影によって得られた画像であってもよいし、コンピュータグラフィックスであってもよい。また、付加情報は、画像が生成された日付を示す日付情報、及び、画像が生成された場所を示す場所情報の少なくとも一つが含まれる情報であり、例えば、写真撮影された撮影日、写真撮影された撮影場所を示すＥｘｉｆにそったメタデータである。

【0015】

解析部１２は、取得部１１で取得された画像及びメタ情報の意味を解析し、解析によって得られた意味を用いて画像が示す出来事であるイベントを判定し、判定したイベントを特定するイベント情報を出力する処理部である。解析部１２は、シーン認識部１２ａ、オブジェクト認識部１２ｂ、日付情報抽出部１２ｃ、場所情報抽出部１２ｄ、及び、イベント判定部１２ｅを有する。解析部１２は、例えば、プロセッサ、プロセッサによって実行されるプログラム、メモリ、及び、入出力回路等を有するマイクロコンピュータによって、実現される。

【0016】

シーン認識部１２ａは、取得部１１で取得された画像から、画像の全体が示す場面であるシーンを認識し、認識したシーンを示すシーン情報をイベント判定部１２ｅに出力する。シーン情報は、画像処理装置１０によって最終的に判定されるイベントの候補を示すイベント情報でもある。なお、出力されるシーン情報は、異なるシーンを示す２以上のシーン情報であってもよい。

【0017】

オブジェクト認識部１２ｂは、取得部１１で取得された画像から、画像に含まれるオブジェクトを認識し、認識したオブジェクトを示すオブジェクト情報をイベント判定部１２ｅに出力する。

【0018】

日付情報抽出部１２ｃは、取得部１１で取得されたメタ情報から、当該メタ情報に含まれる日付情報を抽出してイベント判定部１２ｅに出力する。具体的には、日付情報抽出部１２ｃは、メタ情報から「撮影日」等の日付を示す項目名を文字検索で探し出し、その項目名に対応する情報を日付情報として抽出する。

【0019】

場所情報抽出部１２ｄは、取得部１１で取得されたメタ情報から、当該メタ情報に含まれる場所情報を抽出してイベント判定部１２ｅに出力する。具体的には、場所情報抽出部１２ｄは、メタ情報から「撮影場所」等の場所を示す項目名を文字検索で探し出し、その項目名に対応する情報（例えば、緯度及び経度）を場所情報として抽出する。

【0020】

イベント判定部１２ｅは、シーン認識部１２ａ、オブジェクト認識部１２ｂ、日付情報抽出部１２ｃ、及び、場所情報抽出部１２ｄの少なくとも一つで得られたシーン情報、オブジェクト情報、日付情報、及び、場所情報の少なくとも一つの意味を解析し、解析によって得られた意味を用いて、取得部１１で取得された画像が示すイベントを判定し、判定したイベントを示すイベント情報をディスプレイ等の外部機器（不図示）に出力する。

【0021】

より詳しくは、意味解析では、イベント判定部１２ｅは、データベース部１３を参照することで、シーン情報（つまり、候補となるイベント情報）、オブジェクト情報、日付情報、及び、場所情報の少なくとも一つの意味を解析する。具体的には、イベント判定部１２ｅは、オブジェクト認識部１２ｂで得られたオブジェクト情報に対応する特徴物情報をデータベース部１３から特定し、特定した特徴物情報に対応してデータベース部１３に格納されたイベント情報を、オブジェクト情報に対応する意味として、取得する。なお、特徴物情報とは、あるイベントのときに用いられる特徴物を示す情報である。また、イベント判定部１２ｅは、日付情報抽出部１２ｃで得られた日付情報に対応するイベント時期情報をデータベース部１３から特定し、特定したイベント時期情報に対応してデータベース部１３に格納されたイベント情報を、日付情報に対応する意味として、取得する。さらに、イベント判定部１２ｅは、場所情報抽出部１２ｄで得られた場所情報に対応するランドマーク位置情報をデータベース部１３から特定し、特定したランドマーク位置情報に対応してデータベース部１３に格納されたランドマーク情報を、場所情報に対応する意味として、取得する。

【0022】

データベース部１３は、シーン情報、オブジェクト情報、日付情報、及び、場所情報の少なくとも一つと、少なくとも一つのそれぞれに対応する意味との対応を複数、保持する記憶装置である。データベース部１３は、例えば、ＨＤＤ等のストレージ、あるいは、インターネット等の通信を介して取得部１１及び解析部１２と接続されたサーバ装置等である。

【0023】

図１Ｂは、実施の形態に係る画像処理装置１０が備えるデータベース部１３に格納されているデータ例を示す図である。本図に示されるように、データベース部１３には、各種イベントを示すイベント情報と、イベントのときに用いられる特徴物を示す特徴物情報とを対応づけたテーブル１３ａが格納されている（図１Ｂの（ａ）参照）。また、データベース部１３には、各種イベントを示すイベント情報と、イベントが行われる時期を示すイベント時期情報とを対応づけたテーブル１３ｂが格納されている（図１Ｂの（ｂ）参照）。また、データベース部１３には、各種イベントを示すイベント情報と、イベントが行われる場所を示すイベント場所情報とを対応づけたテーブル１３ｃが格納されている（図１Ｂの（ｃ）参照）。また、データベース部１３には、各種ランドマークを示すランドマーク情報と、ランドマークの位置を示すランドマーク位置情報（例えば、緯度及び経度）とを対応づけたテーブル１３ｄが格納されている（図１Ｂの（ｄ）参照）。

【0024】

なお、データベース部１３に、各種シーンを示すシーン情報と、各種イベントを示すイベント情報とを対応づけたテーブルが格納され、イベント判定部１２ｅが、そのテーブルを参照することで、シーン情報からイベント候補を示すイベント情報を特定してもよい。また、データベース部１３に、類似するイベントに関する情報等も格納されてもよい。なお、データベース部１３に格納された各種データ及びテーブルは、ユーザとの対話による編集ツールによって編集され得る。

【0025】

［２．動作］
以上のように構成された画像処理装置１０について、その動作を以下説明する。ここでは、特徴的な動作を行うシーン認識部１２ａ、オブジェクト認識部１２ｂ、及び、イベント判定部１２ｅの動作について、詳細に説明する。

【0026】

［２－１．シーン認識部の動作］
まず、シーン認識部１２ａの動作を説明する。

【0027】

図２は、実施の形態に係る画像処理装置１０が備えるシーン認識部１２ａの動作を示すフローチャートである。

【0028】

まず、シーン認識部１２ａは、取得部１１から、１枚の画像を受け取る（Ｓ１０）。

【0029】

そして、シーン認識部１２ａは、受け取った画像の特徴量を算出する（Ｓ１１）。具体的には、シーン認識部１２ａは、画像に対してエッジ検出、各種フィルタリング処理、輝度・色分布の分析等を行うことで、画像における輪郭を構成するエッジ及びコーナーに関する情報、輝度及び色の分布に関する情報等を複数の特徴量として算出する。あるいは、シーン認識部１２ａは、学習済みの畳み込みニューラルネットワークを用いて、画像から複数の特徴量を算出する。

【0030】

続いて、シーン認識部１２ａは、ステップＳ１１で算出された複数の特徴量を用いて、画像の全体が示すシーンを推定する（Ｓ１２）。具体的には、シーン認識部１２ａは、内部に保持する、複数の特徴量で構成される空間における各領域とシーンとを対応づけたテーブルを参照することで、ステップＳ１１で算出された複数の特徴量に対応する上記空間における点が属する領域に対応するシーンを推定結果として特定するとともに、その点とその領域の中心との距離を推定精度として算出する。あるいは、シーン認識部１２ａは、学習済みの畳み込みニューラルネットワークを用いて、ステップＳ１１で算出された複数の特徴量から、確率の最も高いシーンを推定結果として特定するとともに、その確率を推定精度として特定する。なお、推定されるシーン及び推定精度は、１組であっても、複数組であってもよい。

【0031】

最後に、シーン認識部１２ａは、ステップＳ１２で推定されたシーン（「シーン推定結果」）及び推定精度（「シーン推定精度」）をイベント判定部１２ｅに出力する（Ｓ１３）。

【0032】

このようにして、シーン認識部１２ａにより、取得部１１で取得された１枚の画像から、画像の全体が示すシーンが認識される。

【0033】

なお、シーン認識部１２ａは、取得部１１から受け取った画像を入力とし、複数のシーンのそれぞれであると推定される確率を出力する、一つの学習済みの畳み込みニューラルネットワークを用いて、上記ステップＳ１１とＳ１２とをまとめて処理してもよい。

【0034】

［２－２．オブジェクト認識部の動作］
次に、オブジェクト認識部１２ｂの動作を説明する。

【0035】

図３は、実施の形態に係る画像処理装置１０が備えるオブジェクト認識部１２ｂの動作を示すフローチャートである。

【0036】

まず、オブジェクト認識部１２ｂは、取得部１１から、１枚の画像を受け取る（Ｓ２０）。

【0037】

そして、オブジェクト認識部１２ｂは、受け取った画像について、オブジェクト枠を検出する（Ｓ２１）。具体的には、オブジェクト認識部１２ｂは、画像に対して輪郭抽出をすることにより、オブジェクト枠を検出する。いま、Ｎ（０を含む自然数）個のオブジェクト枠が検出されたとする。

【0038】

続いて、オブジェクト認識部１２ｂは、ステップＳ２１で検出されたＮ個のオブジェクト枠のそれぞれについて、特徴量の算出（Ｓ２４）及びオブジェクトの推定（Ｓ２５）を行う（Ｓ２３～Ｓ２６）。より詳しくは、特徴量の算出（Ｓ２４）では、オブジェクト認識部１２ｂは、オブジェクト枠で囲まれた画像に対して、特徴量を算出する。具体的には、オブジェクト認識部１２ｂは、オブジェクト枠で囲まれた画像に対して、エッジ検出、各種フィルタリング処理、輝度・色分布の分析等を行うことで、画像における輪郭を構成するエッジ及びコーナーに関する情報、輝度及び色の分布に関する情報等を複数の特徴量として算出する。あるいは、オブジェクト認識部１２ｂは、学習済みの畳み込みニューラルネットワークを用いて、オブジェクト枠で囲まれた画像から複数の特徴量を算出する。

【0039】

また、オブジェクトの推定（Ｓ２５）では、オブジェクト認識部１２ｂは、ステップＳ２４で算出された複数の特徴量を用いて、オブジェクト枠で囲まれた画像が示すオブジェクトを推定する。具体的には、オブジェクト認識部１２ｂは、内部に保持する、複数の特徴量で構成される空間における各領域とオブジェクトとを対応づけたテーブルを参照することで、ステップＳ２４で算出された複数の特徴量に対応する上記空間における点が属する領域に対応するオブジェクトを推定結果として特定するとともに、その点とその領域の中心との距離を推定精度として算出する。あるいは、オブジェクト認識部１２ｂは、学習済みの畳み込みニューラルネットワークを用いて、ステップＳ２４で算出された複数の特徴量から、確率の最も高いオブジェクトを推定結果として特定するとともに、その確率を推定精度として特定する。なお、一つのオブジェクト枠について、推定されるオブジェクト及び推定精度は、１組であっても、複数組であってもよい。

【0040】

最後に、オブジェクト認識部１２ｂは、ステップＳ２３～Ｓ２６で推定されたオブジェクト（「オブジェクト推定結果１～Ｎ」）及び推定精度（「オブジェクト推定精度１～Ｎ」）をイベント判定部１２ｅに出力する（Ｓ２７）。

【0041】

このようにして、オブジェクト認識部１２ｂにより、取得部１１で取得された１枚の画像から、画像に含まれるオブジェクトが認識される。

【0042】

［２－３．イベント判定部の動作］
次に、イベント判定部１２ｅの動作について、具体的な画像例を用いて説明する。

【0043】

［２－３－１．第一の動作例］
図４は、実施の形態に係る画像処理装置１０が備えるイベント判定部１２ｅの第一の動作例を説明するための２つの画像例を示す図である。より詳しくは、図４の（ａ）は、学校で行われた「発表会」というイベントでの撮影で得られた画像例を示し、図４の（ｂ）は、学校で行われた「入学式」というイベントでの撮影で得られた画像例を示す。なお、第一の動作例は、シーン認識部１２ａによるシーン推定結果が「発表会」となるケースに着目した画像処理装置１０の動作例である。

【0044】

図５は、実施の形態に係る画像処理装置１０が備えるイベント判定部１２ｅの第一の動作例を説明する図である。より詳しくは、図５の（ａ）は、イベント判定部１２ｅへの入力データの例を示し、図５の（ｂ）は、イベント判定部１２ｅの第一の動作例を示すフローチャートを示す。

【0045】

図４に示される２つの画像例から分かるように、いずれの画像も、学校における類似のイベントの様子を示している。本動作例では、イベント判定部１２ｅは、これらの類似のイベントを明確に判別する。以下、その処理手順を説明する。

【0046】

図５の（ｂ）のフローチャートに示されるように、まず、イベント判定部１２ｅは、シーン認識部１２ａから出力されてきたシーン推定結果を確認する（Ｓ３０）。その結果、シーン推定結果が「発表会」でないと確認した場合は（Ｓ３０で「その他」）、イベント判定部１２ｅは、対象の１枚の画像は「発表会」を除く「その他」のイベントを示すと判定する（Ｓ４０）。

【0047】

一方、シーン推定結果が「発表会」であると確認した場合は（Ｓ３０で「発表会」）、イベント判定部１２ｅは、続いて、シーン認識部１２ａから出力されてきたシーン推定精度を判定する（Ｓ３１）。その結果、シーン推定精度が「７０％」を超えないと判定した場合は（Ｓ３１でＮ）、イベント判定部１２ｅは、対象の１枚の画像は「発表会」を除く「その他」のイベントを示すと判定する（Ｓ４０）。

【0048】

一方、シーン推定精度が「７０％」を超えていると判定した場合は（Ｓ３１でＹ）、イベント判定部１２ｅは、続いて、オブジェクト認識部１２ｂから出力されてきたオブジェクト推定結果の中に、イベントに特有のオブジェクトが有るか否かを判定する（Ｓ３２）。具体的には、イベント判定部１２ｅは、各種イベントを示すイベント情報と、イベントのときに用いられる特徴物を示す特徴物情報とを対応づけたテーブル１３ａを参照することで、オブジェクト認識部１２ｂで得られたオブジェクト情報に対応する特徴物情報がデータベース部１３に格納されているか否かを判定する。

【0049】

その結果、イベントに特有のオブジェクトが無いと判定した場合は（Ｓ３２で無）、イベント判定部１２ｅは、シーン推定結果である「発表会」が最終の判定結果（イベント）である可能性があるか否かを再確認するために、日付情報抽出部１２ｃから出力されてきた日付情報（ここでは、撮影日）が「３月」又は「４月」を示し、かつ、場所情報抽出部１２ｄから出力されてきた場所情報（ここでは、撮影場所）が「学校」を示すか否かを判定する（Ｓ３４）。具体的には、イベント判定部１２ｅは、データベース部１３に格納された、各種イベントを示すイベント情報とイベントが行われる時期を示すイベント時期情報とを対応づけたテーブル１３ｂ及び各種イベントを示すイベント情報とイベントが行われる場所を示すイベント場所情報とを対応づけたテーブル１３ｃを参照することで、「発表会」と類似するイベントである「卒業式」及び「入学式」が、それぞれ、「３月」、「４月」に行われ、いずれも「学校」で行われることを知る。これにより、イベント判定部１２ｅは、日付情報抽出部１２ｃから出力されてきた日付情報（ここでは、撮影日）が「３月」又は「４月」を示し、かつ、場所情報抽出部１２ｄから出力されてきた場所情報（ここでは、撮影場所）が「学校」を示すか否かを判定する。

【0050】

その結果、イベント判定部１２ｅは、日付情報抽出部１２ｃから出力されてきた日付情報が「３月」及び「４月」のいずれでもなく、かつ、場所情報抽出部１２ｄから出力されてきた場所情報が「学校」を示すと判定した場合は（Ｓ３４でＹ）、対象の１枚の画像は「卒業式」及び「入学式」のいずれでもなく「発表会」というイベントを示すと判定し（Ｓ３９）、そうでない場合は（Ｓ３４でＮ）、対象の１枚の画像は「発表会」を除く「その他」のイベントを示すと判定する（Ｓ４０）。

【0051】

一方、イベントに特有のオブジェクトの有無の判定において（Ｓ３２）、イベントに特有のオブジェクトが有ると判定した場合は（Ｓ３２で有）、イベント判定部１２ｅは、続いて、オブジェクト認識部１２ｂから出力されてきたオブジェクト推定精度を判定する（Ｓ３３）。その結果、オブジェクト推定精度が「７０％」を超えていないと判定した場合は（Ｓ３３でＮ）、イベント判定部１２ｅは、シーン推定結果である「発表会」が最終の判定結果（イベント）である可能性があるか否かを再確認するために、上述したステップＳ３４以降の処理を行う。

【0052】

一方、オブジェクト推定精度が「７０％」を超えていると判定した場合は（Ｓ３３でＹ）、イベント判定部１２ｅは、ステップＳ３２で判定した特有のオブジェクトに関連するイベント（ここでは、「入学式」及び「卒業式」）を判定するために、まず、日付情報抽出部１２ｃから出力されてきた日付情報が「４月」を示し、かつ、場所情報抽出部１２ｄから出力されてきた場所情報が「学校」を示すか否かを判定する（Ｓ３５）。その結果、日付情報抽出部１２ｃから出力されてきた日付情報が「４月」を示し、かつ、場所情報抽出部１２ｄから出力されてきた場所情報が「学校」を示すと判定した場合は（Ｓ３５でＹ）、イベント判定部１２ｅは、対象の１枚の画像は「入学式」というイベントを示すと判定する（Ｓ３７）。

【0053】

一方、日付情報抽出部１２ｃから出力されてきた日付情報が「４月」を示し、かつ、場所情報抽出部１２ｄから出力されてきた場所情報が「学校」を示すのではないと判定した場合は（Ｓ３５でＮ）、イベント判定部１２ｅは、続いて、日付情報抽出部１２ｃから出力されてきた日付情報が「３月」を示し、かつ、場所情報抽出部１２ｄから出力されてきた場所情報が「学校」を示すか否かを判定する（Ｓ３６）。その結果、イベント判定部１２ｅは、日付情報抽出部１２ｃから出力されてきた日付情報が「３月」を示し、かつ、場所情報抽出部１２ｄから出力されてきた場所情報が「学校」を示すと判定した場合は（Ｓ３６でＹ）、対象の１枚の画像は「卒業式」というイベントを示すと判定し（Ｓ３８）、そうでない場合は（Ｓ３６でＮ）、対象の１枚の画像は「発表会」、「入学式」及び「卒業式」を除く「その他」のイベントを示すと判定する（Ｓ４０）。

【0054】

いま、具体的な処理例として、例えば、図４の（ｂ）に示される「入学式」で撮影された１枚の画像とその撮影日及び撮影場所の情報を含むメタ情報とが取得部１１によって取得されたとする。そして、図５の（ａ）に示されるデータ例のように、解析部１２において、シーン認識部１２ａによって「発表会」というシーン推定結果と「７５％」のシーン推定精度とが特定され、オブジェクト認識部１２ｂによって「国旗」というオブジェクト推定結果と「８０％」のオブジェクト推定精度とが特定され、日付情報抽出部１２ｃによって「２０１９／４／１」という日付情報（ここでは、撮影日）が抽出され、場所情報抽出部１２ｄによって「学校」に対応する場所情報（ここでは、撮影場所）が抽出されたとする。なお、「学校」に対応する場所情報については、より厳密には、イベント判定部１２ｅは、データベース部１３に格納された、各種ランドマークを示すランドマーク情報と、ランドマークの位置を示すランドマーク位置情報（例えば、緯度及び経度）とを対応づけたテーブル１３ｄを参照することで、場所情報抽出部１２ｄによって抽出された場所情報（緯度及び経度）から「学校」というランドマークに対応する場所情報であると判定する。

【0055】

このような図５の（ａ）に示されるデータ例の場合に、図５の（ｂ）に示されるフローチャートに従って、次のように、処理される。

【0056】

まず、イベント判定部１２ｅは、シーン認識部１２ａから出力されてきたシーン推定結果を確認する（Ｓ３０）。その結果、シーン推定結果が「発表会」であると確認するので（Ｓ３０で「発表会」）、イベント判定部１２ｅは、続いて、シーン認識部１２ａから出力されてきたシーン推定精度（「７５％」）を判定する（Ｓ３１）。

【0057】

その結果、シーン推定精度（「７５％」）が「７０％」を超えていると判定するので（Ｓ３１でＹ）、イベント判定部１２ｅは、続いて、オブジェクト認識部１２ｂから出力されてきたオブジェクト推定結果の中に、イベントに特有のオブジェクトが有るか否かを判定する（Ｓ３２）。図５の（ａ）に示される例では、データベース部１３に格納された、各種イベント（ここでは、「入学式」及び「卒業式」）を示すイベント情報と、イベントのときに用いられる特徴物を示す特徴物情報とを対応づけたテーブル１３ａに、特徴物情報（「国旗」）が格納されている。よって、イベント判定部１２ｅは、データベース部１３を参照することで、オブジェクト認識部１２ｂで得られたオブジェクト情報（ここでは、「国旗」）がイベントに特有のオブジェクトであると判定する（Ｓ３２で有）。

【0058】

続いて、イベント判定部１２ｅは、オブジェクト認識部１２ｂから出力されてきたオブジェクト推定精度（「８０％」）が「７０％」を超えていると判定するので（Ｓ３３でＹ）、ステップＳ３２で判定した「国旗」に関連するイベント（ここでは、「入学式」）を判定するために、まず、日付情報抽出部１２ｃから出力されてきた日付情報（ここでは、撮影日）が「４月」を示し、かつ、場所情報抽出部１２ｄから出力されてきた場所情報（ここでは、撮影場所）が「学校」を示すか否かを判定する（Ｓ３５）。

【0059】

図５の（ａ）に示される例では、日付情報抽出部１２ｃから出力されてきた日付情報（撮影日）が「２０１９／４／１」を示し、かつ、場所情報抽出部１２ｄから出力されてきた場所情報（撮影場所）が「学校」に対応する情報なので、イベント判定部１２ｅは、日付情報抽出部１２ｃから出力されてきた日付情報が「４月」を示し、かつ、場所情報抽出部１２ｄから出力されてきた場所情報（撮影場所）が「学校」を示すと判定し（Ｓ３５でＹ）、対象の１枚の画像は「入学式」というイベントを示すと判定する（Ｓ３７）。

【0060】

このように、図４の（ｂ）に示される「入学式」で撮影された１枚の画像について、シーン推定結果では「発表会」であったが、「入学式」に特有のオブジェクトである「国旗」が特定されたために、正しい「入学式」というイベントが判定される。

【0061】

［２－３－２．第二の動作例］
図６は、実施の形態に係る画像処理装置１０が備えるイベント判定部１２ｅの第二の動作例を説明するための２つの画像例を示す図である。より詳しくは、図６の（ａ）は、神社で行われた「七五三」というイベントでの撮影で得られた画像例を示し、図６の（ｂ）は、神社で行われた「初詣」というイベントでの撮影で得られた画像例を示す。なお、第二の動作例は、シーン認識部１２ａによるシーン推定結果が「七五三」となるケースに着目した画像処理装置１０の動作例である。

【0062】

図７は、実施の形態に係る画像処理装置１０が備えるイベント判定部１２ｅの第二の動作例を説明する図である。より詳しくは、図７の（ａ）は、イベント判定部１２ｅへの入力データの第一の例を示し、図７の（ｂ）は、イベント判定部１２ｅへの入力データの第二の例を示し、図７の（ｃ）は、イベント判定部１２ｅの第二の動作例を示すフローチャートを示す。

【0063】

図６に示される２つの画像例から分かるように、いずれの画像も、神社における類似のイベントの様子を示す。本動作例では、イベント判定部１２ｅは、これらの類似のイベントを明確に判別する。以下、その処理手順を説明する。

【0064】

図７の（ｃ）のフローチャートに示されるように、まず、イベント判定部１２ｅは、シーン認識部１２ａから出力されてきたシーン推定結果を確認する（Ｓ５０）。その結果、シーン推定結果が「七五三」でないと確認した場合は（Ｓ５０で「その他」）、イベント判定部１２ｅは、対象の１枚の画像は「七五三」を除く「その他」のイベントを示すと判定する（Ｓ５６）。

【0065】

一方、シーン推定結果が「七五三」であると確認した場合は（Ｓ５０で「七五三」）、イベント判定部１２ｅは、続いて、オブジェクト認識部１２ｂから出力されてきたオブジェクト推定結果の中に、「七五三」に特有のオブジェクトが有るか否かを判定する（Ｓ５１）。具体的には、イベント判定部１２ｅは、各種イベントを示すイベント情報（ここでは、「七五三」）と、イベントのときに用いられる特徴物を示す特徴物情報（ここでは、「千歳飴」）とを対応づけたテーブル１３ａを参照することで、オブジェクト認識部１２ｂで得られたオブジェクト情報に対応する特徴物情報がデータベース部１３に格納されているか否かを判定する。

【0066】

その結果、イベントに特有のオブジェクトが無いと判定した場合は（Ｓ５１で無）、イベント判定部１２ｅは、シーン認識部１２ａから出力されてきたシーン推定精度を判定する（Ｓ５３）。その結果、シーン推定精度が「７０％」を超えないと判定した場合は（Ｓ５３でＮ）、イベント判定部１２ｅは、対象の１枚の画像は「七五三」を除く「その他」のイベントを示すと判定する（Ｓ５６）。一方、シーン推定精度が「７０％」を超えていると判定した場合は（Ｓ５３でＹ）、イベント判定部１２ｅは、続いて、シーン推定結果である「七五三」が最終の判定結果（イベント）である可能性があるか否かを再確認するために、日付情報抽出部１２ｃから出力されてきた日付情報（ここでは、撮影日）が「１１月」を示し、かつ、場所情報抽出部１２ｄから出力されてきた場所情報（ここでは、撮影場所）が「神社」を示すか否かを判定する（Ｓ５４）。具体的には、イベント判定部１２ｅは、データベース部１３に格納された、各種イベントを示すイベント情報とイベントが行われる時期を示すイベント時期情報とを対応づけたテーブル１３ｂ及び各種イベントを示すイベント情報とイベントが行われる場所を示すイベント場所情報とを対応づけたテーブル１３ｃを参照することで、「七五三」が「１１月」に「神社」で行われることを知る。これにより、イベント判定部１２ｅは、日付情報抽出部１２ｃから出力されてきた日付情報（ここでは、撮影日）が「１１月」を示し、かつ、場所情報抽出部１２ｄから出力されてきた場所情報（ここでは、撮影場所）が「神社」を示すか否かを判定する。

【0067】

その結果、イベント判定部１２ｅは、日付情報抽出部１２ｃから出力されてきた日付情報（ここでは、撮影日）が「１１月」を示し、かつ、場所情報抽出部１２ｄから出力されてきた場所情報（ここでは、撮影場所）が「神社」を示す場合は（Ｓ５４でＹ）、対象の１枚の画像は「七五三」のイベントを示すと判定し（Ｓ５５）、そうでない場合は（Ｓ５４でＮ）、対象の１枚の画像は「七五三」を除く「その他」のイベントを示すと判定する（Ｓ５６）。

【0068】

一方、特有のオブジェクトの有無の判定において（Ｓ５１）、「七五三」に特有のオブジェクトが有ると判定した場合は（Ｓ５１で有）、イベント判定部１２ｅは、続いて、オブジェクト認識部１２ｂから出力されてきたオブジェクト推定精度を判定する（Ｓ５２）。その結果、イベント判定部１２ｅは、オブジェクト推定精度が「７０％」を超えていると判定した場合は（Ｓ５２でＹ）、対象の１枚の画像は「七五三」のイベントを示すと判定し（Ｓ５５）、そうでない場合は（Ｓ５２でＮ）、シーン推定結果である「七五三」が最終の判定結果（イベント）である可能性があるか否かを再確認するために、上述したステップＳ５３以降の処理を行う。

【0069】

いま、具体的な処理例として、例えば、「七五三」で撮影された１枚の画像とその撮影日及び撮影場所の情報を含むメタ情報とが取得部１１によって取得されたとする。そして、図７の（ａ）に示される第一のデータ例のように、解析部１２において、シーン認識部１２ａによって「七五三」というシーン推定結果と「６５％」のシーン推定精度とが特定され、オブジェクト認識部１２ｂによって「千歳飴」というオブジェクト推定結果と「８５％」のオブジェクト推定精度とが特定され、日付情報抽出部１２ｃによって「２０１９／１１／１５」という日付情報（ここでは、撮影日）が抽出され、場所情報抽出部１２ｄによって「公園」に対応する場所情報（ここでは、撮影場所）が抽出されたとする。なお、「公園」に対応する場所情報については、より厳密には、イベント判定部１２ｅは、データベース部１３に格納された、各種ランドマークを示すランドマーク情報と、ランドマークの位置を示すランドマーク位置情報（例えば、緯度及び経度）とを対応づけたテーブル１３ｄを参照することで、場所情報抽出部１２ｄによって抽出された場所情報（緯度及び経度）から「公園」というランドマークに対応する場所情報であると判定する。

【0070】

このような図７の（ａ）に示される第一のデータ例の場合に、図７の（ｃ）に示されるフローチャートに従って、次のように、処理される。

【0071】

まず、イベント判定部１２ｅは、シーン認識部１２ａから出力されてきたシーン推定結果を確認する（Ｓ５０）。その結果、シーン推定結果が「七五三」であると確認するので（Ｓ５０で「七五三」）、イベント判定部１２ｅは、続いて、オブジェクト認識部１２ｂから出力されてきたオブジェクト推定結果の中に、イベントに特有のオブジェクトが有るか否かを判定する（Ｓ５１）。図７の（ａ）に示される例では、データベース部１３に格納された、各種イベント（ここでは、「七五三」）を示すイベント情報と、イベントのときに用いられる特徴物を示す特徴物情報とを対応づけたテーブル１３ａに、特徴物情報（ここでは、「千歳飴」）が格納されている。よって、イベント判定部１２ｅは、データベース部１３を参照することで、オブジェクト認識部１２ｂで得られたオブジェクト情報（「千歳飴」）がイベントに特有のオブジェクトであると判定する（Ｓ５１で有）。

【0072】

続いて、イベント判定部１２ｅは、オブジェクト認識部１２ｂから出力されてきたオブジェクト推定精度を判定する（Ｓ５２）。その結果、オブジェクト認識部１２ｂから出力されてきたオブジェクト推定精度（「８５％」）が「７０％」を超えていると判定するので（Ｓ５２でＹ）、イベント判定部１２ｅは、対象の１枚の画像は「七五三」というイベントを示すと判定する（Ｓ５５）。

【0073】

このように、「七五三」で撮影された１枚の画像について、この例では、シーン推定精度を用いることなく、シーン推定結果、特有のオブジェクトの有無、及び、オブジェクト推定精度を用いて、正しい「七五三」というイベントが判定される。

【0074】

また、他の具体的な処理例として、例えば、図６の（ａ）に示される「七五三」で撮影された１枚の画像とその撮影日及び撮影場所の情報を含むメタ情報とが取得部１１によって取得されたとする。そして、図７の（ｂ）に示される第二のデータ例のように、解析部１２において、シーン認識部１２ａによって「七五三」というシーン推定結果と「８５％」のシーン推定精度とが特定され、オブジェクト認識部１２ｂによってはオブジェクトが推定されず、日付情報抽出部１２ｃによって「２０１９／１１／１５」という日付情報（ここでは、撮影日）が抽出され、場所情報抽出部１２ｄによって「神社」に対応する場所情報（ここでは、撮影場所）が抽出されたとする。なお、「神社」に対応する場所情報については、より厳密には、イベント判定部１２ｅは、データベース部１３に格納された、各種ランドマークを示すランドマーク情報と、ランドマークの位置を示すランドマーク位置情報（例えば、緯度及び経度）とを対応づけたテーブル１３ｄを参照することで、場所情報抽出部１２ｄによって抽出された場所情報（緯度及び経度）から「神社」というランドマークに対応する場所情報であると判定する。

【0075】

このような図７の（ｂ）に示される第二のデータ例の場合に、図７の（ｃ）に示されるフローチャートに従って、次のように、処理される。

【0076】

まず、イベント判定部１２ｅは、シーン認識部１２ａから出力されてきたシーン推定結果を確認する（Ｓ５０）。その結果、シーン推定結果が「七五三」であると確認するので（Ｓ５０で「七五三」）、イベント判定部１２ｅは、続いて、オブジェクト認識部１２ｂから出力されてきたオブジェクト推定結果の中に、イベントに特有のオブジェクトが有るか否かを判定する（Ｓ５１）。図７の（ｂ）に示される例では、オブジェクト認識部１２ｂによってオブジェクトは見つかっていないので、イベント判定部１２ｅは、イベントに特有のオブジェクトがないと判定する（Ｓ５１で無）。

【0077】

続いて、イベント判定部１２ｅは、シーン認識部１２ａから出力されてきたシーン推定精度を判定する（Ｓ５３）。その結果、シーン推定精度（「８５％」）が「７０％」を超えていると判定するので（Ｓ５３でＹ）、イベント判定部１２ｅは、続いて、日付情報抽出部１２ｃから出力されてきた日付情報（ここでは、撮影日）が「１１月」を示し、かつ、場所情報抽出部１２ｄから出力されてきた場所情報（ここでは、撮影場所）が「神社」を示すか否かを判定する（Ｓ５４）。

【0078】

ここでは、日付情報抽出部１２ｃから出力されてきた日付情報（ここでは、撮影日）が「１１月」を示し、かつ、場所情報抽出部１２ｄから出力されてきた場所情報（ここでは、撮影場所）が「神社」を示すので（Ｓ５４でＹ）、イベント判定部１２ｅは、対象の１枚の画像は「七五三」のイベントを示すと判定する（Ｓ５５）。

【0079】

このように、図６の（ａ）に示される「七五三」で撮影された１枚の画像について、この例では、イベントに特有のオブジェクトが見つからない場合であっても、シーン推定精度、日付情報（ここでは、撮影日）、及び、場所情報（ここでは、撮影場所）を用いて、正しい「七五三」というイベントが判定される。

【0080】

［２－３－３．第三の動作例］
図８は、実施の形態に係る画像処理装置１０が備えるイベント判定部１２ｅの第三の動作例を説明するための２つの画像例を示す図である。より詳しくは、図８の（ａ）は、ホテルで行われた「結婚式」というイベントでの撮影で得られた画像例を示し、図８の（ｂ）は、斎場で行われた「葬式」というイベントでの撮影で得られた画像例を示す。なお、第三の動作例は、シーン認識部１２ａによるシーン推定結果が「葬式」となるケースに着目した画像処理装置１０の動作例である。

【0081】

図９は、実施の形態に係る画像処理装置１０が備えるイベント判定部１２ｅの第三の動作例を説明する図である。より詳しくは、図９の（ａ）は、イベント判定部１２ｅへの入力データの例を示し、図９の（ｂ）は、イベント判定部１２ｅの第三の動作例を示すフローチャートを示す。

【0082】

図８に示される２つの画像例から分かるように、いずれの画像も、正装した人物が登場する類似のイベントの様子を示している。本動作例では、イベント判定部１２ｅは、これらの類似のイベントを明確に判別する。以下、その処理手順を説明する。

【0083】

図９の（ｂ）のフローチャートに示されるように、まず、イベント判定部１２ｅは、シーン認識部１２ａから出力されてきたシーン推定結果を確認する（Ｓ６０）。その結果、シーン推定結果が「葬式」でないと確認した場合は（Ｓ６０で「その他」）、イベント判定部１２ｅは、対象の１枚の画像は「葬式」を除く「その他」のイベントを示すと判定する（Ｓ６８）。

【0084】

一方、シーン推定結果が「葬式」であると確認した場合は（Ｓ６０で「葬式」）、イベント判定部１２ｅは、続いて、シーン認識部１２ａから出力されてきたシーン推定精度を判定する（Ｓ６１）。その結果、シーン推定精度が「７０％」を超えないと判定した場合は（Ｓ６１でＮ）、イベント判定部１２ｅは、対象の１枚の画像は「葬式」を除く「その他」のイベントを示すと判定する（Ｓ６８）。

【0085】

一方、シーン推定精度が「７０％」を超えていると判定した場合は（Ｓ６１でＹ）、イベント判定部１２ｅは、続いて、オブジェクト認識部１２ｂから出力されてきたオブジェクト推定結果の中に、「葬式」に類似するイベントである「結婚式」に特有のオブジェクトが有るか否かを判定する（Ｓ６２）。具体的には、イベント判定部１２ｅは、「結婚式」を示すイベント情報と、「結婚式」のときに用いられる特徴物を示す特徴物情報（ここでは、「白ネクタイ」）とを対応づけたテーブル１３ａを参照することで、オブジェクト認識部１２ｂで得られたオブジェクト情報に対応する特徴物情報がデータベース部１３に格納されているか否かを判定する。その結果、イベントに特有のオブジェクトが無いと判定した場合は（Ｓ６２で無）、イベント判定部１２ｅは、シーン推定結果である「葬式」が最終の判定結果（イベント）である可能性があるか否かを再確認するために、場所情報抽出部１２ｄから出力されてきた場所情報（ここでは、撮影場所）が「斎場」を示すか否かを判定する（Ｓ６５）。具体的には、イベント判定部１２ｅは、データベース部１３に格納された、各種イベントを示すイベント情報と、イベントが行われる場所を示すイベント場所情報とを対応づけたテーブル１３ｃを参照することで、「葬式」が「斎場」で行われることを知る。これにより、イベント判定部１２ｅは、場所情報抽出部１２ｄから出力されてきた場所情報（ここでは、撮影場所）が「斎場」を示すか否かを判定する。その結果、イベント判定部１２ｅは、場所情報抽出部１２ｄから出力されてきた場所情報（ここでは、撮影場所）が「斎場」を示すと判定した場合は（Ｓ６５でＹ）、対象の１枚の画像は「葬式」というイベントを示し（Ｓ６７）、そうでない場合は（Ｓ６５でＮ）、対象の１枚の画像は「葬式」を除く「その他」のイベントを示すと判定する（Ｓ６８）。

【0086】

一方、「結婚式」に特有のオブジェクトの有無の判定において（Ｓ６２）、「結婚式」に特有のオブジェクトが有ると判定した場合は（Ｓ６２で有）、イベント判定部１２ｅは、オブジェクト認識部１２ｂから出力されてきたオブジェクト推定精度を判定する（Ｓ６３）。その結果、オブジェクト推定精度が「７０％」を超えていないと判定した場合は（Ｓ６３でＮ）、イベント判定部１２ｅは、シーン推定結果である「葬式」が最終の判定結果（イベント）である可能性があるか否かを再確認するために、上述したステップＳ６５以降の処理を行う。

【0087】

一方、オブジェクト推定精度が「７０％」を超えていると判定した場合は（Ｓ６３でＹ）、イベント判定部１２ｅは、ステップＳ６２で判定した特有のオブジェクトに関連するイベントである「結婚式」を確認するために、場所情報抽出部１２ｄから出力されてきた場所情報（ここでは、撮影場所）が「ホテル」又は「式場」を示すか否かを判定する（Ｓ６４）。具体的には、イベント判定部１２ｅは、データベース部１３に格納された、各種イベントを示すイベント情報と、イベントが行われる場所を示すイベント場所情報とを対応づけたテーブル１３ｃを参照することで、「結婚式」が「ホテル」又は「式場」で行われることを知る。これにより、イベント判定部１２ｅは、場所情報抽出部１２ｄから出力されてきた場所情報（ここでは、撮影場所）が「ホテル」又は「式場」を示すか否かを判定する。

【0088】

その結果、イベント判定部１２ｅは、場所情報抽出部１２ｄから出力されてきた場所情報（ここでは、撮影場所）が「ホテル」又は「式場」を示すと判定した場合は（Ｓ６４でＹ）、対象の１枚の画像は「葬式」というイベントを示すと判定し（Ｓ６６）、そうでない場合は（Ｓ６４でＮ）、シーン推定結果である「葬式」が最終の判定結果（イベント）である可能性があるか否かを再確認するために、上述したステップＳ６５以降の処理を行う。

【0089】

いま、具体的な処理例として、例えば、図８の（ａ）に示される「結婚式」で撮影された１枚の画像とその撮影日及び撮影場所の情報を含むメタ情報とが取得部１１によって取得されたとする。そして、図９の（ａ）に示されるデータ例のように、解析部１２において、シーン認識部１２ａによって「葬式」というシーン推定結果と「８５％」のシーン推定精度とが特定され、オブジェクト認識部１２ｂによって「白ネクタイ」というオブジェクト推定結果と「７５％」のオブジェクト推定精度とが特定され、日付情報抽出部１２ｃによって「２０１９／６／１９」という日付情報（ここでは、撮影日）が抽出され、場所情報抽出部１２ｄによって「ホテル」に対応する場所情報（ここでは、撮影場所）が抽出されたとする。なお、「ホテル」に対応する場所情報については、より厳密には、イベント判定部１２ｅは、データベース部１３に格納された、各種ランドマークを示すランドマーク情報と、ランドマークの位置を示すランドマーク位置情報（例えば、緯度及び経度）とを対応づけたテーブル１３ｄを参照することで、場所情報抽出部１２ｄによって抽出された場所情報（緯度及び経度）から「ホテル」というランドマークに対応する場所情報であると判定する。

【0090】

このような図９の（ａ）に示されるデータ例の場合に、図９の（ｂ）に示されるフローチャートに従って、次のように、処理される。

【0091】

まず、イベント判定部１２ｅは、シーン認識部１２ａから出力されてきたシーン推定結果を確認する（Ｓ６０）。その結果、シーン推定結果が「葬式」であると確認するので（Ｓ６０で「葬式」）、イベント判定部１２ｅは、続いて、シーン認識部１２ａから出力されてきたシーン推定精度（「８５％」）を判定する（Ｓ６１）。

【0092】

その結果、シーン推定精度（「８５％」）が「７０％」を超えていると判定するので（Ｓ６１でＹ）、イベント判定部１２ｅは、続いて、オブジェクト認識部１２ｂから出力されてきたオブジェクト推定結果の中に、「葬式」と類似するイベントである「結婚式」に特有のオブジェクトが有るか否かを判定する（Ｓ６２）。図９の（ａ）に示される例では、データベース部１３に格納された、「結婚式」を示すイベント情報と、「結婚式」のときに用いられる特徴物を示す特徴物情報とを対応づけたテーブル１３ａに、特徴物情報（「白ネクタイ」）が格納されている。よって、イベント判定部１２ｅは、データベース部１３を参照することで、オブジェクト認識部１２ｂで得られたオブジェクト情報（「白ネクタイ」）が「結婚式」に特有のオブジェクトであると判定する（Ｓ６２でＹ）。

【0093】

続いて、イベント判定部１２ｅは、オブジェクト認識部１２ｂから出力されてきたオブジェクト推定精度（「７５％」）が「７０％」を超えていると判定するので（Ｓ６３でＹ）、ステップＳ６２で判定した「白ネクタイ」に関連するイベント（ここでは、「結婚式」）を判定するために、場所情報抽出部１２ｄから出力されてきた場所情報（ここでは、撮影場所）が「ホテル」又は「式場」を示すか否かを判定する（Ｓ６４）。

【0094】

図９の（ａ）に示される例では、場所情報抽出部１２ｄから出力されてきた場所情報（ここでは、撮影場所）が「ホテル」に対応するので、イベント判定部１２ｅは、場所情報抽出部１２ｄから出力されてきた場所情報（ここでは、撮影場所）が「ホテル」又は「式場」を示すと判定し（Ｓ６４でＹ）、対象の１枚の画像は「結婚式」というイベントを示すと判定する（Ｓ６６）。

【0095】

このように、図８の（ａ）に示される「結婚式」で撮影された１枚の画像について、シーン推定結果では「葬式」であったが、「結婚式」に特有のオブジェクトである「白ネクタイ」が特定されたために、正しい「結婚式」というイベントが判定される。

【0096】

以上、３つの動作例を説明したが、これらは、特定のシーン推定結果（「発表会」、「七五三」、「葬式」）に対応した動作例である。これらの特定のシーン推定結果以外のシーンについても、これらの動作例と同様のアルゴリズムで、イベント判定部１２ｅは、シーンを判定する。

【0097】

［３．効果等］
以上のように、本実施の形態に係る画像処理装置１０は、１枚の画像及び画像の付加情報を示すメタ情報を取得する取得部１１と、取得された画像及びメタ情報の意味を解析し、解析によって得られた意味を用いて画像が示す出来事であるイベントを判定し、判定したイベントを特定するイベント情報を出力する解析部１２とを備える。これにより、解析部１２により、１枚の画像及びメタ情報の意味が解析されるので、１枚の画像であっても、その画像が示すイベントが判定され得る。

【0098】

また、解析部１２は、取得された画像から、画像の全体が示す場面を示すシーンを認識し、認識したシーンを示すシーン情報を出力するシーン認識部１２ａ、取得された画像から、画像に含まれるオブジェクトを認識し、認識したオブジェクトを示すオブジェクト情報を出力するオブジェクト認識部１２ｂ、取得されたメタ情報から、当該メタ情報に含まれる、画像が生成された日付を示す日付情報を抽出して出力する日付情報抽出部１２ｃ、及び、取得されたメタ情報から、当該メタ情報に含まれる、画像が生成された場所を示す場所情報を抽出して出力する場所情報抽出部１２ｄの少なくとも一つと、シーン認識部１２ａ、オブジェクト認識部１２ｂ、日付情報抽出部１２ｃ、及び、場所情報抽出部１２ｄの少なくとも一つで得られたシーン情報、オブジェクト情報、日付情報、及び、場所情報の少なくとも一つの意味を解析し、解析によって得られた意味を用いて画像が示すイベントを判定するイベント判定部１２ｅとを有する。これにより、１枚の画像及びメタ情報から、シーン情報、オブジェクト情報、日付情報、及び、場所情報の少なくとも一つの意味が解析され、１枚の画像が示すイベントが判定される。

【0099】

また、画像処理装置１０は、さらに、シーン情報、オブジェクト情報、日付情報、及び、場所情報の少なくとも一つと、少なくとも一つのそれぞれに対応する意味との対応を複数、保持するデータベース部１３を備え、イベント判定部１２ｅは、データベース部１３を参照することで、シーン認識部１２ａ、オブジェクト認識部１２ｂ、日付情報抽出部１２ｃ、及び、場所情報抽出部１２ｄの少なくとも一つで得られたシーン情報、オブジェクト情報、日付情報、及び、場所情報の少なくとも一つの意味を解析する。これにより、データベース部１３を参照することで、シーン情報、オブジェクト情報、日付情報、及び、場所情報の少なくとも一つの意味が解析されるので、データベース部１３を編集することで、イベント判定のアルゴリズムを変更することが可能になる。

【0100】

また、解析部１２は、シーン認識部１２ａ、オブジェクト認識部１２ｂ、日付情報抽出部１２ｃ、及び、場所情報抽出部１２ｄの少なくとも一つとして、オブジェクト認識部１２ｂを備え、データベース部１３には、イベント情報と、イベント情報が示すイベントのときに用いられる特徴物を示す特徴物情報とを対応づけて格納されており、イベント判定部１２ｅは、オブジェクト認識部１２ｂで得られたオブジェクト情報と対応する特徴物情報をデータベース部１３から特定し、特定した特徴物情報に対応してデータベース部１３に格納されたイベント情報を、オブジェクト情報に対応する意味として、取得する。これにより、特定のイベントに用いられる特徴物情報を用いてオブジェクト情報の意味が解析されるので、複数の類似するイベントの中から正しいイベントが判定され得る。

【0101】

また、解析部１２は、シーン認識部１２ａ、オブジェクト認識部１２ｂ、日付情報抽出部１２ｃ、及び、場所情報抽出部１２ｄの少なくとも一つとして、日付情報抽出部１２ｃを備え、データベース部１３には、イベント情報と、イベント情報が示すイベントが行われる時期を示すイベント時期情報とを対応づけて格納されており、イベント判定部１２ｅは、日付情報抽出部１２ｃで得られた日付情報と対応するイベント時期情報をデータベース部１３から特定し、特定したイベント時期情報に対応してデータベース部１３に格納されたイベント情報を、日付情報に対応する意味として、取得する。これにより、日付情報抽出部１２ｃで得られた日付情報が、特定のイベントが行われる時期を示すイベント時期情報と照合されるので、複数の類似するイベントの中から正しいイベントが判定され得る。

【0102】

また、解析部１２は、シーン認識部１２ａ、オブジェクト認識部１２ｂ、日付情報抽出部１２ｃ、及び、場所情報抽出部１２ｄの少なくとも一つとして、場所情報抽出部１２ｄを備え、データベース部１３には、ランドマークを示すランドマーク情報と、ランドマーク情報が示すランドマークの位置を示すランドマーク位置情報とを対応づけて格納されており、イベント判定部１２ｅは、場所情報抽出部１２ｄで得られた場所情報と対応するランドマーク位置情報をデータベース部１３から特定し、特定したランドマーク位置情報に対応してデータベース部１３に格納されたランドマーク情報を、場所情報に対応する意味として、取得する。これにより、場所情報抽出部１２ｄで得られた場所情報からランドマーク情報が得られるので、特定のイベントが行われる場所を示すイベント場所情報と照合することで、複数の類似するイベントの中から正しいイベントが判定され得る。

【0103】

また、本実施の形態に係る画像処理方法は、取得部１１により、１枚の画像及び画像の付加情報を示すメタ情報を取得する取得ステップと、解析部１２により、取得された画像及びメタ情報の意味を解析し、解析によって得られた意味を用いて画像が示すイベントを判定し、判定したイベントを特定するイベント情報を出力する解析ステップとを含む。これにより、解析ステップにより、１枚の画像及びメタ情報の意味が解析されるので、１枚の画像であっても、その画像が示すイベントが判定され得る。

【0104】

（変形例）
次に、実施の形態の変形例に係る画像処理装置について説明する。

【0105】

変形例に係る画像処理装置は、基本的に実施の形態に係る画像処理装置１０と同じ構成を備える。つまり、変形例に係る画像処理装置は、１枚の画像に対してその画像が示すイベントを判定する装置であり、取得部１１、解析部１２（シーン認識部１２ａ、オブジェクト認識部１２ｂ、日付情報抽出部１２ｃ、場所情報抽出部１２ｄ、及び、イベント判定部）、及び、データベース部１３を備える。

【0106】

ただし、変形例に係る画像処理装置は、実施の形態に係る画像処理装置１０のイベント判定部１２ｅに代えて、後述する図１０に示される変形例に係るイベント判定部２０を備える。また、変形例に係る画像処理装置が備えるデータベース部１３には、実施の形態におけるデータに加えて、後述する図１１に示される関連性の高い日付情報及びオブジェクト情報を対応づけたテーブル１３ｅ（図１１の（ａ））、関連性の高い場所情報及びオブジェクト情報を対応づけたテーブル１３ｆ（図１１の（ｂ））、並びに、関連性の高い場所情報及び日付情報を対応づけたテーブル１３ｇ（図１１の（ｃ））が格納されている。以下、実施の形態に係る画像処理装置１０と異なる点を中心に説明する。

【0107】

図１０は、実施の形態の変形例に係る画像処理装置が備えるイベント判定部２０の構成を示すブロック図である。なお、本図には、イベント判定部２０の周辺の構成要素（シーン認識部１２ａ、オブジェクト認識部１２ｂ、日付情報抽出部１２ｃ、及び、場所情報抽出部１２ｄ）も合わせて図示されている。図１１は、本変形例に係る画像処理装置が備えるデータベース部１３に格納されているデータ例（実施の形態に比べて追加的に格納されているデータ例）を示す図である。

【0108】

図１０に示されるように、イベント判定部２０は、イベント候補判断部２１と、尤度調整部２２と、イベント出力部２３とを有する。

【0109】

イベント候補判断部２１は、シーン認識部１２ａから出力されるシーン情報に基づいて、少なくとも一つのイベント候補と、少なくとも一つのイベント候補のそれぞれについて取得部１１が取得した画像が当該イベント候補を示していることの尤度である基準イベント尤度を特定する。より詳しくは、イベント候補判断部２１は、シーン認識部１２ａから出力されるシーン情報に含まれるシーン推定結果から、少なくとも一つのイベント候補を特定し、シーン認識部１２ａから出力されるシーン情報に含まれるシーン推定精度から、基準イベント尤度を特定する。

【0110】

尤度調整部２２は、オブジェクト認識部１２ｂ、日付情報抽出部１２ｃ、及び、場所情報抽出部１２ｄで得られたオブジェクト情報、日付情報、及び、場所情報の意味を用いて、イベント候補判断部２１が特定した基準イベント尤度に対して調整を行うことで、少なくとも一つのイベント候補のそれぞれについてのイベント尤度を算出する。

【0111】

より詳しくは、尤度調整部２２は、各種イベントを示すイベント情報とイベントのときに用いられる特徴物を示す特徴物情報とを対応づけたテーブル１３ａを参照することで、オブジェクト認識部１２ｂで得られたオブジェクト情報に対応する特徴物情報をデータベース部１３から特定し、特定した特徴物情報に対応してデータベース部１３に格納されたイベント情報が、イベント候補判断部２１で特定された少なくとも一つのイベント候補のいずれかであるか否かに応じて、イベント候補に対応する基準イベント尤度に対して所定値を加算又は減算する調整を行う。

【0112】

また、尤度調整部２２は、各種イベントを示すイベント情報とイベントが行われる時期を示すイベント時期情報とを対応づけたテーブル１３ｂを参照することで、日付情報抽出部１２ｃで得られた日付情報に対応するイベント時期情報をデータベース部１３から特定し、特定したイベント時期情報に対応してデータベース部１３に格納されたイベント情報が、イベント候補判断部２１で特定された少なくとも一つのイベント候補のいずれかであるか否かに応じて、イベント候補に対応する基準イベント尤度に対して所定値を加算又は減算する調整を行う。

【0113】

さらに、尤度調整部２２は、各種イベントを示すイベント情報とイベントが行われる場所を示すイベント場所情報とを対応づけたテーブル１３ｃを参照することで、場所情報抽出部１２ｄで得られた場所情報に対応するイベント場所情報をデータベース部１３から特定し、特定したイベント場所情報に対応してデータベース部１３に格納されたイベント情報が、イベント候補判断部２１で特定された少なくとも一つのイベント候補のいずれかであるか否かに応じて、イベント候補に対応する基準イベント尤度に対して所定値を加算又は減算する調整を行う。

【0114】

イベント出力部２３は、尤度調整部２２によって算出された少なくとも一つのイベント候補のそれぞれについてのイベント尤度に基づいて、画像が示すイベント候補をイベント判定結果として出力する。

【0115】

本変形例に係る画像処理装置が備えるデータベース部１３には、図１１に示されるように、実施の形態におけるテーブル１３ａ～１３ｄに加えて、関連性の高い日付情報及びオブジェクト情報を対応づけた組が登録されたテーブル１３ｅ、関連性の高い場所情報及びオブジェクト情報を対応づけた組が登録されたテーブル１３ｆ、及び、関連性の高い場所情報及び日付情報を対応づけた組が登録されたテーブル１３ｇが格納されている。

【0116】

本変形例では、尤度調整部２２は、上述したオブジェクト情報、イベント時期情報、及びイベント場所情報に基づく基準イベント尤度に対する調整に加えて、さらに、テーブル１３ｅ～１３ｇを参照することで、日付情報とオブジェクト情報との関連性、場所情報とオブジェクト情報との関連性、及び、場所情報と日付情報との関連性に基づいて基準イベント尤度に対する調整も行う。

【0117】

次に、以上のように構成された変形例に係る画像処理装置について、その動作を以下説明する。ここでは、特徴的な動作を行うイベント判定部２０の動作について、詳細に説明する。

【0118】

図１２は、実施の形態の変形例に係る画像処理装置が備えるイベント判定部２０の動作を示すフローチャートである。まず、イベント候補判断部２１は、取得部１１が取得した画像について、シーン認識部１２ａから出力されるシーン情報に含まれるシーン推定結果から、少なくとも一つのイベント候補を特定するとともに、シーン認識部１２ａから出力されるシーン情報に含まれるシーン推定精度から、基準イベント尤度を特定する（Ｓ７０）。

【0119】

具体的には、イベント候補判断部２１は、基準イベント尤度として、例えば、シーン推定結果と対応付けて予め決められた所定値にシーン推定精度に応じた重み係数を乗算することで算出する。また、イベント候補判断部２１は、イベント候補として、シーン認識部１２ａが出力したシーン推定結果及びシーン推定精度に基づいて、最も確からしさの高いシーンを第一の対象として判断する。なお、２番目以降に確からしさが高いシーン推定結果について同様の判断を実施し、イベント候補に追加してもよい。

【0120】

次に、尤度調整部２２は、各種イベントを示すイベント情報とイベントのときに用いられる特徴物を示す特徴物情報とを対応づけたテーブル１３ａを参照することで、オブジェクト認識部１２ｂで得られたオブジェクト情報に対応する特徴物情報をデータベース部１３から特定し、特定した特徴物情報に対応してデータベース部１３に格納されたイベント情報が、イベント候補判断部２１で特定された少なくとも一つのイベント候補のいずれかであるか否かに応じて、イベント候補に対応する基準イベント尤度に対して所定値を加算又は減算する調整を行うことでイベント尤度を算出する（Ｓ７１）。

【0121】

具体的には、尤度調整部２２は、テーブル１３ａにおいて、オブジェクト認識部１２ｂで得られたオブジェクト情報に対応する特徴物情報がイベント候補に対応づけられている場合には、基準イベント尤度に対して所定値を加算し、一方、対応づけられていない場合、あるいは、イベント候補と相反するものとして登録されている場合には、それぞれ、基準イベント尤度に対して、加算も減算もしない、あるいは、所定値を減算する。

【0122】

続いて、尤度調整部２２は、各種イベントを示すイベント情報とイベントが行われる時期を示すイベント時期情報とを対応づけたテーブル１３ｂを参照することで、日付情報抽出部１２ｃで得られた日付情報に対応するイベント時期情報をデータベース部１３から特定し、特定したイベント時期情報に対応してデータベース部１３に格納されたイベント情報が、イベント候補判断部２１で特定された少なくとも一つのイベント候補のいずれかであるか否かに応じて、ステップＳ７１での調整後のイベント尤度に対して、さらに所定値を加算又は減算する調整を行う（Ｓ７２）。

【0123】

具体的には、尤度調整部２２は、テーブル１３ｂにおいて、日付情報抽出部１２ｃで得られた日付情報に対応するイベント時期情報がイベント候補に対応づけられている場合には、ステップＳ７１での調整後のイベント尤度に対して所定値を加算し、一方、対応づけられていない場合、あるいは、イベント候補と相反するものとして登録されている場合には、それぞれ、ステップＳ７１での調整後のイベント尤度に対して、加算も減算もしない、あるいは、所定値を減算する。なお、尤度調整部２２は、データベース部１３の参照等により、イベント候補が時期を問わず実施されるイベントであると判断した場合には、このステップＳ７２での調整を行わなくてもよい。

【0124】

さらに、尤度調整部２２は、各種イベントを示すイベント情報とイベントが行われる場所を示すイベント場所情報とを対応づけたテーブル１３ｃを参照することで、場所情報抽出部１２ｄで得られた場所情報に対応するイベント場所情報をデータベース部１３から特定し、特定したイベント場所情報に対応してデータベース部１３に格納されたイベント情報が、イベント候補判断部２１で特定された少なくとも一つのイベント候補のいずれかであるか否かに応じて、ステップＳ７２での調整後のイベント尤度に対して、さらに所定値を加算又は減算する調整を行う（Ｓ７３）。

【0125】

具体的には、尤度調整部２２は、テーブル１３ｃにおいて、場所情報抽出部１２ｄで得られた場所情報に対応するイベント場所情報がイベント候補に対応づけられている場合には、ステップＳ７２での調整後のイベント尤度に対して所定値を加算し、一方、対応づけられていない場合、あるいは、イベント候補と相反するものとして登録されている場合には、それぞれ、ステップＳ７２での調整後のイベント尤度に対して、加算も減算もしない、あるいは、所定値を減算する。

【0126】

なお、尤度調整部２２は、データベース部１３の参照等により、イベント候補が場所を問わず実施されるイベントであると判断した場合には、このステップＳ７３での調整を行わなくてもよい。例えば、テーブル１３ｃに、イベント候補に対応するイベント情報が登録されていない場合に、尤度調整部２２は、そのイベント候補が場所を問わず実施されるイベントであると判断し、ステップＳ７３での調整を行わない。

【0127】

次に、尤度調整部２２は、データベース部１３に格納された関連性の高い日付情報及びオブジェクト情報を対応づけた組が登録されたテーブル１３ｅを参照することで、日付情報抽出部１２ｃで得られた日付情報とオブジェクト認識部１２ｂで得られたオブジェクト情報との関連性に基づいて、ステップＳ７３での調整後のイベント尤度に対して、さらに所定値を加算又は減算する調整を行う（Ｓ７４）。

【0128】

例えば、イベント候補「ひなまつり」について、図１１の（ａ）のテーブル１３ｅに例示されているように、日付情報抽出部１２ｃで得られた日付情報「３月３日」とオブジェクト認識部１２ｂで得られたオブジェクト情報「ひな人形」とが関連性の高い情報としてテーブル１３ｅに登録されている場合には、図１Ｂの（ｂ）のテーブル１３ｂにおけるイベント情報「ひなまつり」とイベント時期情報「３月３日」との対応付けも参照することで、尤度調整部２２は、ステップＳ７３での調整後のイベント候補「ひなまつり」のイベント尤度に対して、さらに所定値を加算する。つまり、日付情報「３月３日」とオブジェクト情報「ひな人形」とが関連性の高い情報としてテーブル１３ｅに登録され、かつ、テーブル１３ｂにおいて、それらの少なくとも一方の情報（「３月３日」）がイベント候補「ひなまつり」と対応づけられているので、尤度調整部２２は、イベント候補「ひなまつり」のイベント尤度に対して、さらに所定値を加算する。なお、テーブル１３ｅにイベント情報の欄が設けられていてもよい。その場合には、テーブル１３ｅを参照するだけで、イベント候補「ひなまつり」のイベント尤度に対して、所定値を加算することができる。

【0129】

一方、オブジェクト認識部１２ｂで得られたオブジェクト情報が「ひな人形」であるが、日付情報抽出部１２ｃで得られた日付情報が「５月５日」である場合には、これらの関連性がテーブル１３ｅに登録されていないので、尤度調整部２２は、ステップＳ７３での調整後のイベント候補「ひなまつり」のイベント尤度に対して調整を行わない。

【0130】

続いて、尤度調整部２２は、データベース部１３に格納された関連性の高い場所情報及びオブジェクト情報を対応づけた組が登録されたテーブル１３ｆを参照することで、場所情報抽出部１２ｄで得られた場所情報とオブジェクト認識部１２ｂで得られたオブジェクト情報との関連性に基づいて、ステップＳ７４での調整後のイベント尤度に対して、さらに所定値を加算又は減算する調整を行う（Ｓ７５）。

【0131】

例えば、イベント候補「結婚式」について、図１１の（ｂ）のテーブル１３ｆに例示されているように、場所情報抽出部１２ｄで得られた場所情報「ホテル」とオブジェクト認識部１２ｂで得られたオブジェクト情報「ウェディングドレス」とが関連性の高い情報としてテーブル１３ｆに登録されている場合には、図１Ｂの（ｃ）のテーブル１３ｃにおけるイベント情報「結婚式」とイベント場所情報「ホテル」との対応付けも参照することで、尤度調整部２２は、ステップＳ７４での調整後のイベント候補「結婚式」のイベント尤度に対して、さらに所定値を加算する。つまり、場所情報「ホテル」とオブジェクト情報「ウェディングドレス」とが関連性の高い情報としてテーブル１３ｆに登録され、かつ、テーブル１３ｃにおいて、それらの少なくとも一方の情報（「ホテル」）がイベント候補「結婚式」と対応づけられているので、尤度調整部２２は、イベント候補「結婚式」のイベント尤度に対して、さらに所定値を加算する。なお、テーブル１３ｆにイベント情報の欄が設けられていてもよい。その場合には、テーブル１３ｆを参照するだけで、イベント候補「結婚式」のイベント尤度に対して、所定値を加算することができる。

【0132】

一方、イベント候補が「卒業式」であった場合には、イベント情報「卒業式」との一致性が見つからないために、尤度調整部２２は、ステップＳ７４での調整後のイベント候補「卒業式」のイベント尤度に対して所定値を減算する、あるいは、加算も減算もしない。また、場所情報抽出部１２ｄで得られた場所情報が「学校」であり、オブジェクト認識部１２ｂで得られたオブジェクト情報が「ウェディングドレス」である場合には、これらの関連性がテーブル１３ｆに登録されていないので、尤度調整部２２は、ステップＳ７４での調整後のイベント候補「結婚式」のイベント尤度に対して調整を行わない。

【0133】

さらに、尤度調整部２２は、データベース部１３に格納された関連性の高い場所情報及び日付情報を対応づけた組が登録されたテーブル１３ｇを参照することで、場所情報抽出部１２ｄで得られた場所情報と日付情報抽出部１２ｃで得られた日付情報との関連性に基づいて、ステップＳ７５での調整後のイベント尤度に対して、さらに所定値を加算又は減算する調整を行う（Ｓ７６）。

【0134】

例えば、イベント候補「七五三」について、図１１の（ｃ）のテーブル１３ｇに例示されているように、場所情報抽出部１２ｄで得られた場所情報「神社」と日付情報抽出部１２ｃで得られた日付情報「１１月１５日」とが関連性の高い情報としてテーブル１３ｇに登録されている場合には、図１Ｂの（ｂ）のテーブル１３ｂにおけるイベント情報「七五三」とイベント時期情報「１１月」との対応付けも参照することで、尤度調整部２２は、ステップＳ７５での調整後のイベント候補「七五三」のイベント尤度に対して、さらに所定値を加算する。つまり、場所情報「神社」と日付情報「１１月１５日」とが関連性の高い情報としてテーブル１３ｇに登録され、かつ、テーブル１３ｂにおいて、それらの少なくとも一方の情報（「１１月５日」）がイベント候補「七五三」と対応づけられているので、尤度調整部２２は、イベント候補「七五三」のイベント尤度に対して、さらに所定値を加算する。なお、テーブル１３ｇにイベント情報の欄が設けられていてもよい。その場合には、テーブル１３ｇを参照するだけで、イベント候補「七五三」のイベント尤度に対して、所定値を加算することができる。

【0135】

一方、イベント候補が「初詣」であった場合には、イベント情報「初詣」との一致性が見つからないために、尤度調整部２２は、ステップＳ７５での調整後のイベント候補「七五三」のイベント尤度に対して所定値を減算する、あるいは、加算も減算もしない。

【0136】

最後に、イベント出力部２３は、尤度調整部２２によって算出された少なくとも一つのイベント候補のそれぞれについてのイベント尤度に基づいて、画像が示すイベント候補をイベント判定結果として出力する（Ｓ７７）。例えば、イベント出力部２３は、尤度調整部２２によって算出されたイベント尤度が最も高く、かつ、所定の閾値を超えるイベント候補をイベント判定結果として出力する。

【0137】

なお、イベント候補（つまり、イベント情報）と相反する特徴物情報、イベント時期情報、及び、イベント場所情報の登録例として、図１３に示される例が挙げられる。図１３は、イベント情報と相反する特徴物情報との対応づけを示すテーブルの３態様を示す図である。より詳しくは、図１３の（ａ）は、イベント情報と相反する特徴物情報との対応だけを示すテーブル１３ｈを示す。図１３の（ｂ）は、イベント情報及び特徴物情報に加えて、イベント情報と特徴物情報とが符合するか（所定値が加算されるケース（フラグ＝１））、相反するか（所定値が減算されるケース（フラグ＝０））を示す情報「フラグ」が登録されたテーブル１３ｉを示す。図１３の（ｃ）は、イベント情報及び特徴物情報に加えて、調整に用いられる「所定値」（符号（＋／－）は加算／減算を意味する）が登録されたテーブル１３ｊを示す。これらの３態様は、イベント情報と相反するイベント時期情報、及び、イベント情報と相反するイベント場所情報についても、同様に適用される。さらに、これらの３態様は、図１１に示されるテーブル１３ｅ～１３ｇについても、同様に適用されてもよい。

【0138】

以上のように、本変形例に係る画像処理装置では、イベント判定部２０は、シーン認識部１２ａから出力されるシーン情報に基づいて、少なくとも一つのイベント候補、及び、少なくとも一つのイベント候補のそれぞれについて取得部１１が取得した画像が当該イベント候補を示していることの尤度である基準イベント尤度を特定するイベント候補判断部２１と、オブジェクト情報、日付情報、及び、場所情報の少なくとも一つの意味を用いて、基準イベント尤度に対して調整を行うことで、少なくとも一つのイベント候補のそれぞれについてのイベント尤度を算出する尤度調整部２２と、尤度調整部２２によって算出された少なくとも一つのイベント候補のそれぞれについてのイベント尤度に基づいて、１枚の画像が示すイベント候補をイベント判定結果として出力するイベント出力部２３とを有する。

【0139】

これにより、シーン認識部１２ａでの処理よってイベント候補と基準イベント尤度とが特定され、オブジェクト情報、日付情報、及び、場所情報の少なくとも一つの意味を用いて基準イベント尤度に対する調整が行われるので、実施の形態のような閾値を用いた判断と異なり、オブジェクト情報、日付情報、及び、場所情報の少なくとも一つによるアナログ的な調整が可能となり、１枚の画像が示すイベントが高い精度で判定され得る。

【0140】

具体的には、解析部１２は、オブジェクト認識部１２ｂ、日付情報抽出部１２ｃ、及び、場所情報抽出部１２ｄの少なくとも一つとして、オブジェクト認識部１２ｂを備え、データベース部１３には、イベント情報と、イベント情報が示すイベントのときに用いられる特徴物を示す特徴物情報とを対応づけて格納されており、尤度調整部２２は、オブジェクト認識部１２ｂで得られたオブジェクト情報に対応する特徴物情報をデータベース部１３から特定し、特定した特徴物情報に対応してデータベース部１３に格納されたイベント情報が、イベント候補判断部２１で特定された少なくとも一つのイベント候補のいずれかであるか否かに応じて、イベント候補に対応する基準イベント尤度に対して所定値を加算又は減算する調整を行う。これにより、オブジェクト情報を用いて基準イベント尤度に対するアナログ的な調整が行われ、１枚の画像が示すイベントが高い精度で判定され得る。

【0141】

また、解析部１２は、オブジェクト認識部１２ｂ、日付情報抽出部１２ｃ、及び、場所情報抽出部１２ｄの少なくとも一つとして、日付情報抽出部１２ｃを備え、データベース部１３には、イベント情報と、イベント情報が示すイベントが行われる時期を示すイベント時期情報とを対応づけて格納されており、尤度調整部２２は、日付情報抽出部１２ｃで得られた日付情報に対応するイベント時期情報をデータベース部１３から特定し、特定したイベント時期情報に対応してデータベース部１３に格納されたイベント情報が、イベント候補判断部２１で特定された少なくとも一つのイベント候補のいずれかであるか否かに応じて、イベント候補に対応する基準イベント尤度に対して所定値を加算又は減算する調整を行う。これにより、日付情報を用いて基準イベント尤度に対するアナログ的な調整が行われ、１枚の画像が示すイベントが高い精度で判定され得る。

【0142】

また、解析部１２は、オブジェクト認識部１２ｂ、日付情報抽出部１２ｃ、及び、場所情報抽出部１２ｄの少なくとも一つとして、場所情報抽出部１２ｄを備え、データベース部１３には、イベント情報と、イベント情報が示すイベントが行われる場所を示すイベント場所情報とを対応づけて格納されており、尤度調整部２２は、場所情報抽出部１２ｄで得られた場所情報に対応するイベント場所情報をデータベース部１３から特定し、特定したイベント場所情報に対応してデータベース部１３に格納されたイベント情報が、イベント候補判断部２１で特定された少なくとも一つのイベント候補のいずれかであるか否かに応じて、イベント候補に対応する基準イベント尤度に対して所定値を加算又は減算する調整を行う。これにより、場所情報を用いて基準イベント尤度に対するアナログ的な調整が行われ、１枚の画像が示すイベントが高い精度で判定され得る。

【0143】

また、解析部１２は、オブジェクト認識部１２ｂ、日付情報抽出部１２ｃ、及び、場所情報抽出部１２ｄの少なくとも二つを備え、データベース部１３には、関連性の高い日付情報及びオブジェクト情報、関連性の高い場所情報及びオブジェクト情報、並びに、関連性の高い場所情報及び日付情報の少なくとも一組が対応づけられて格納されており、尤度調整部２２は、オブジェクト認識部１２ｂ、日付情報抽出部１２ｃ、及び、場所情報抽出部１２ｄの少なくとも二つから得られた日付情報及びオブジェクト情報、場所情報及びオブジェクト情報、又は、場所情報及び日付情報の対応づけがデータベース部１３に格納されているか否かを特定し、格納されている場合に、基準イベント尤度に対して所定値を加算する調整を行う。これにより、日付情報とオブジェクト情報との関連性、場所情報とオブジェクト情報との関連性、又は、場所情報と日付情報場所情報との関連性を用いて基準イベント尤度に対するアナログ的な調整が行われ、１枚の画像が示すイベントがより高い精度で判定され得る。

【0144】

また、シーン情報には、シーン認識部１２ａで推定されたシーンを示すシーン推定結果、及び、推定における精度を示すシーン推定精度が含まれ、イベント候補判断部２１は、シーン認識部１２ａから出力されるシーン情報に含まれるシーン推定結果から、少なくとも一つのイベント候補を特定し、シーン認識部１２ａから出力されるシーン情報に含まれるシーン推定精度から、基準イベント尤度を特定する。これにより、基準イベント尤度は、シーン推定精度に依存した値となり、１枚の画像が示すイベントが高い精度で判定され得る。

【0145】

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態及び変形例を説明した。しかしながら、実施の形態及び変形例は、これに限定されず、適宜、変更、置き換え、付加、省略などを実施の形態及び変形例に適用可能である。また、上記実施の形態及び変形例で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

【0146】

そこで、以下、他の実施の形態をまとめて説明する。

【0147】

例えば、上記実施の形態では、オブジェクト認識部１２ｂで得られたオブジェクト情報の意味として、特徴物情報を用いて解釈されたが、オブジェクト情報の解釈は、これに限られない。例として、データベース部１３に、画像処理装置１０を使用する家族の構成員のそれぞれについて、画像処理装置１０のユーザの家族の一人を特定する家族情報と、家族情報に対応する人物の画像とを対応づけたテーブルが格納されていてもよい。そして、イベント判定部１２ｅは、オブジェクト認識部１２ｂで得られたオブジェクト情報に対応する画像をデータベース部１３から特定し、特定した画像に対応してデータベース部１３に格納された家族情報を、オブジェクト情報に対応する意味として、取得してもよい。これにより、１枚の画像に対して、家族に関連するイベントであるか否かの情報が得られる。

【0148】

また、上記実施の形態では、シーンの判定において、最初のステップで、シーン認識部１２ａから出力されてきたシーン推定結果を確認したが、この流れに限定されるものではない。例えば、オブジェクト認識部１２ｂで得られたオブジェクト情報に対応する特徴物情報がデータベース部１３に格納されているか否かを最初に判断し、格納されている場合に、その特徴物情報に対応するイベントを候補として、補足的に、シーン情報、日付情報、及び、場所情報を用いて、一つのイベントを判定してもよい。

【0149】

また、シーン情報、オブジェクト情報、日付情報、場所情報の判定基準がイベントごとに重みづけられていて、判定基準の重みに従って、判定の優先順位をイベントごとに変えて判定してもよい。

【0150】

また、上記実施の形態では、１枚の画像に対して一つのシーンが判定されたが、複数のシーンとそれぞれのシーンの確率とが判定されてもよい。シーンの確率については、シーン推定精度及びオブジェクト推定精度を用いて算出してもよい。

【0151】

また、上記変形例では、尤度調整部２２は、オブジェクト認識部１２ｂ、日付情報抽出部１２ｃ、及び、場所情報抽出部１２ｄで得られたオブジェクト情報、日付情報、及び、場所情報の意味を用いて基準イベント尤度に対して調整を行ったが、必ずしも、オブジェクト情報、日付情報、及び、場所情報の全てを用いる必要はなく、オブジェクト情報、日付情報、及び、場所情報の少なくとも一つを用いて基準イベント尤度に対して調整をしてもよい。

【0152】

また、上記変形例では、イベント出力部２３は、尤度調整部２２によって算出されたイベント尤度が最も高く、かつ、所定の閾値を超えるイベント候補をイベント判定結果として出力したが、これに限られず、所定の閾値を超える全てのイベント候補をイベント尤度を付帯させて出力してもよいし、イベント尤度が最も高いものから所定個数のイベント候補を出力してもよい。

【0153】

また、上記変形例では、データベース部１３には、日付情報、オブジェクト情報及び場所情報の関連性を示すテーブル１３ｅ～ｇが格納されたが、これらの各情報に代えて、各情報に対応するオブジェクト時期情報、特徴物情報及びオブジェクト場所情報の関連性を示すテーブルが格納されてもよい。

【0154】

また、上記変形例では、２つの情報の関連性を示すテーブル１３ｅ～ｇは、２つの情報が直接対応づけられたテーブルであったが、このような構造に限られず、複数のテーブルに分散されて間接的に対応付けが示されるテーブルであってもよい。例えば、尤度調整部２２は、テーブル１３ａにおけるイベント情報「入学式」と特徴物情報「国旗」との対応づけと、テーブル１３ｂにおけるイベント情報「入学式」とイベント時期情報「４月１日」との対応付けを参照することで、間接的に、特徴物情報（あるいは、オブジェクト情報）「国旗」とイベント時期情報（あるいは、日付情報）「４月１日」との関連性があると判断してもよい。

【0155】

また、上記実施の形態では、解析部１２の一例としてマイクロコンピュータを説明した。解析部１２として、プログラム可能なマイクロコンピュータを用いれば、プログラムの変更により処理内容を変更できるので、解析部１２の設計の自由度を高めることができる。また、解析部１２は、ハードロジックで実現してもよい。解析部１２をハードロジックで実現すれば、処理速度の向上に有効である。解析部１２は、１つの素子で構成してもよいし、物理的に複数の素子で構成してもよい。複数の素子で構成する場合、請求の範囲に記載の各制御（シーン認識部、オブジェクト認識部、日付情報抽出部、及び、場所情報抽出部）を別の素子で実現してもよい。この場合、それらの複数の素子で一つの解析部１２を構成すると考えることができる。また、解析部１２と別の機能を有する部材とを１つの素子で構成してもよい。要するに、解析部１２は、画像を処理するものであれば、物理的にどのように構成してもよい。

【0156】

また、本開示に係る技術は、画像処理装置及び画像処理方法として実現できるだけでなく、画像処理方法に含まれるステップをコンピュータに実行させるプログラムとして実現してもよいし、そのプログラムが記録されたＣＤ－ＲＯＭ等の非一時的なコンピュータ読み取り可能な記録媒体として実現してもよい。

【0157】

以上のように、本開示における技術の例示として、実施の形態及び変形例を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記実装を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

【0158】

また、上述の実施の形態及び変形例は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

【産業上の利用可能性】

【0159】

本開示は、１枚の画像に対してその画像が示すイベントを判定することができる画像処理装置に適用可能である。具体的には、デジタルカメラから画像を取得してイベントを判定するコンピュータ装置、スマートフォンなどに、本開示は適用可能である。

【符号の説明】

【0160】

１０ 画像処理装置
１１ 取得部
１２ 解析部
１２ａ シーン認識部
１２ｂ オブジェクト認識部
１２ｃ 日付情報抽出部
１２ｄ 場所情報抽出部
１２ｅ、２０ イベント判定部
１３ データベース部
１３ａ～１３ｊ テーブル
２１ イベント候補判断部
２２ 尤度調整部
２３ イベント出力部

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】