特許 7568107 映像処理システム、映像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-07

(45)【発行日】2024-10-16

(54)【発明の名称】映像処理システム、映像処理方法及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241008BHJP

   G06T 7/20 20170101ALI20241008BHJP

【ＦＩ】

H04N7/18 K

G06T7/20 300

【請求項の数】 10

(21)【出願番号】P 2023532917

(86)(22)【出願日】2021-07-06

(86)【国際出願番号】 JP2021025424

(87)【国際公開番号】W WO2023281620

(87)【国際公開日】2023-01-12

【審査請求日】2023-12-26

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】杉泊 大輔

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】国際公開第２０２１／０８４６７７（ＷＯ，Ａ１）

【文献】特開２０１８－８１６５４（ＪＰ，Ａ）

【文献】特開２０１４－１５５６９３（ＪＰ，Ａ）

【文献】特開２００３－８７７７１（ＪＰ，Ａ）

【文献】特開２０１８－１９８０５６（ＪＰ，Ａ）

【文献】特開２００７－６３２４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

映像データに含まれる、少なくとも１つのフレーム画像を取得する画像取得手段と、
前記少なくとも１つのフレーム画像に含まれる人物の身体領域に基づいて、骨格情報を生成する骨格情報生成手段と、
前記骨格情報を行動ＩＤに変換する行動変換手段と、
前記少なくとも１つのフレーム画像に含まれる前記人物の顔領域に基づいて、人物ＩＤであって、同一人物であると推定される人物の特徴を識別する人物ＩＤ、を特定する人物特定手段と、
前記行動ＩＤと、前記人物ＩＤと、前記少なくとも１つのフレーム画像に関連する場面関連情報とを対応付けてデータベースに登録する登録手段と
を備える映像処理システム。

【請求項2】

人物ＩＤ及び行動ＩＤを含む検索要求を受信した場合、前記検索要求に含まれる前記人物ＩＤ及び前記行動ＩＤに対応付けられた場面関連情報を出力する検索手段を備える
請求項１に記載の映像処理システム。

【請求項3】

前記検索手段は、前記検索要求に含まれる前記人物ＩＤ及び前記行動ＩＤに対応付けられた場面関連情報から、１又は複数の場面関連情報を選択し、選択された前記１又は複数の場面関連情報を出力する
請求項２に記載の映像処理システム。

【請求項4】

前記検索手段は、前記検索要求に含まれる前記人物ＩＤ及び前記行動ＩＤに対応付けられた場面関連情報から、前記１又は複数の場面関連情報を、その場面関連情報に対応する前記少なくとも１つのフレーム画像のメタデータであって、前記人物ＩＤ及び前記行動ＩＤを除くメタデータに基づいて選択する
請求項３に記載の映像処理システム。

【請求項5】

前記行動変換手段は、行動ウォッチリストに予め登録され、かつ各々が参照用行動ＩＤに対応付けられた参照用骨格情報の中から、生成した前記骨格情報との類似度が所定閾値以上である参照用骨格情報を特定し、特定した前記参照用骨格情報に対応付けられた参照用行動ＩＤを、前記行動ＩＤとして特定する
請求項１から４のいずれか一項に記載の映像処理システム。

【請求項6】

前記画像取得手段は、複数のフレーム画像を取得し、
前記人物特定手段は、前記複数のフレーム画像の各々に含まれる前記人物の顔領域から抽出した顔特徴情報に基づいて、前記複数のフレーム画像に含まれる人物をクラスタリングし、
前記複数のフレーム画像に含まれる人物について、前記クラスタリングされたクラスタの識別情報に基づいて人物ＩＤを特定する
請求項１から５のいずれか一項に記載の映像処理システム。

【請求項7】

前記人物特定手段は、前記複数のフレーム画像に含まれる前記顔領域と前記複数のフレーム画像に含まれる身体領域とに基づいて、前記人物ＩＤを特定する
請求項６に記載の映像処理システム。

【請求項8】

前記画像取得手段は、複数のフレーム画像を取得し、
前記人物特定手段は、前記複数のフレーム画像の各々に含まれる人物の身体領域から抽出した身体特徴情報と、前記複数のフレーム画像の各々に含まれる人物の顔領域から抽出した顔特徴情報と、に基づいて、前記複数のフレーム画像に含まれる人物をクラスタリングし、
前記クラスタリングされたクラスタの識別情報に基づいて人物ＩＤを特定する
請求項７に記載の映像処理システム。

【請求項9】

コンピュータが、
映像データに含まれる、少なくとも１つのフレーム画像を取得し、
前記少なくとも１つのフレーム画像に含まれる人物の身体領域に基づいて、骨格情報を生成し、
前記骨格情報を行動ＩＤに変換し、
前記少なくとも１つのフレーム画像に含まれる前記人物の顔領域に基づいて、人物ＩＤであって、同一人物であると推定される人物の特徴を識別する人物ＩＤ、を特定し、
前記行動ＩＤと、前記人物ＩＤと、前記少なくとも１つのフレーム画像に関連する場面関連情報とを対応付けてデータベースに登録する
映像処理方法。

【請求項10】

映像データに含まれる、少なくとも１つのフレーム画像を取得する画像取得処理と、
前記少なくとも１つのフレーム画像に含まれる人物の身体領域に基づいて、骨格情報を生成する骨格情報生成処理と、
前記骨格情報を行動ＩＤに変換する行動変換処理と、
前記少なくとも１つのフレーム画像に含まれる前記人物の顔領域に基づいて、人物ＩＤであって、同一人物であると推定される人物の特徴を識別する人物ＩＤ、を特定する人物特定処理と、
前記行動ＩＤと、前記人物ＩＤと、前記少なくとも１つのフレーム画像に関連する場面関連情報とを対応付けてデータベースに登録する登録処理と
を、コンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、映像処理システム、映像処理方法及び非一時的なコンピュータ可読媒体に関する。

【背景技術】

【0002】

放送事業の番組制作において、番組映像に含まれる特定の出演者が出演している場面に関する情報を、簡単なキーワード検索で検索したいという要求がある。このような要求は、放送事業だけでなく、特定の人物の情報を捜査する監視分野においても同様である。例えば特許文献１では、顔画像から抽出した顔特徴と、顔情報に基づいて判別した属性とを１つの人物情報として格納したデータベースから人物検索を行わせる顔画像検索システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１２－２５２６５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで放送事業及び監視分野等において、映像に含まれる特定の人物の「特定の行動」を示す場面に関する情報を、簡単なキーワード検索で検索したいという要求がある。しかし上述の特許文献１では、特定の行動を検索キーとして検索結果を絞りこむことができない。したがって、このような検索を実現するためには、特定の人物が特定の行動をした場合の情報を、簡単なキーワードに紐づけてデータベースに蓄積することが求められている。

【0005】

本開示の目的は、上述した課題に鑑み、特定の人物が特定の行動をした場面に関する情報を容易に蓄積できる映像処理システム、映像処理方法及び非一時的なコンピュータ可読媒体を提供することにある。

【課題を解決するための手段】

【0006】

本開示の一態様にかかる映像処理システムは、
映像データに含まれる、少なくとも１つのフレーム画像を取得する画像取得手段と、
前記少なくとも１つのフレーム画像に含まれる人物の身体領域に基づいて、骨格情報を生成する骨格情報生成手段と、
前記骨格情報を行動ＩＤに変換する行動変換手段と、
前記少なくとも１つのフレーム画像に含まれる前記人物の顔領域に基づいて、人物ＩＤであって、同一人物であると推定される人物の特徴を識別する人物ＩＤ、を特定する人物特定手段と、
前記行動ＩＤと、前記人物ＩＤと、前記少なくとも１つのフレーム画像に関連する場面関連情報とを対応付けてデータベースに登録する登録手段と
を備える。

【0007】

本開示の一態様にかかる映像処理方法は、
映像データに含まれる、少なくとも１つのフレーム画像を取得し、
前記少なくとも１つのフレーム画像に含まれる人物の身体領域に基づいて、骨格情報を生成し、
前記骨格情報を行動ＩＤに変換し、
前記少なくとも１つのフレーム画像に含まれる前記人物の顔領域に基づいて、人物ＩＤであって、同一人物であると推定される人物の特徴を識別する人物ＩＤ、を特定し、
前記行動ＩＤと、前記人物ＩＤと、前記少なくとも１つのフレーム画像に関連する場面関連情報とを対応付けてデータベースに登録する。

【0008】

本開示の一態様にかかる非一時的なコンピュータ可読媒体は、
映像データに含まれる、少なくとも１つのフレーム画像を取得する画像取得処理と、
前記少なくとも１つのフレーム画像に含まれる人物の身体領域に基づいて、骨格情報を生成する骨格情報生成処理と、
前記骨格情報を行動ＩＤに変換する行動変換処理と、
前記少なくとも１つのフレーム画像に含まれる前記人物の顔領域に基づいて、人物ＩＤであって、同一人物であると推定される人物の特徴を識別する人物ＩＤ、を特定する人物特定処理と、
前記行動ＩＤと、前記人物ＩＤと、前記少なくとも１つのフレーム画像に関連する場面関連情報とを対応付けてデータベースに登録する登録処理と
を、コンピュータに実行させるためのプログラムが格納される。

【発明の効果】

【0009】

本開示により、特定の人物が特定の行動をした場面に関する情報を容易に蓄積できる映像処理システム、映像処理方法及び非一時的なコンピュータ可読媒体を提供できる。

【図面の簡単な説明】

【0010】

【図1】実施形態１にかかる映像処理システムの構成を示すブロック図である。

【図2】実施形態１にかかる映像処理方法の流れを示すフローチャートである。

【図3】実施形態２にかかる映像処理システムの構成を示すブロック図である。

【図4】実施形態２にかかる映像処理方法の流れを示すフローチャートである。

【図5】実施形態２にかかる検索方法の流れを示すフローチャートである。

【図6】実施形態３にかかる映像処理システムの構成を示すブロック図である。

【図7】実施形態３にかかる映像処理方法の流れを示すフローチャートである。

【図8】実施形態３にかかる映像処理に含まれる人物特定処理を説明するための図である。

【図9】実施形態３にかかる映像処理方法により生成されるデータのデータ構造の一例を示す図である。

【図10】実施形態４にかかる映像処理方法の流れを示すフローチャートである。

【図11】実施形態４にかかる異なるフレーム画像を比較し、顔画像同士及び身体画像同士の関連付けを行う例を示す図である。

【図12】実施形態４にかかる異なるフレーム画像を比較し、顔画像同士及び身体画像同士の関連付けを行う例を示す図である。

【図13】実施形態５にかかる映像処理システムの構成を示すブロック図である。

【図14】実施形態５にかかる映像処理方法により生成されるデータのデータ構造の一例を示す図である。

【発明を実施するための形態】

【0011】

以下、実施形態を通じて本開示を説明するが、請求の範囲にかかる開示を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

【0012】

＜実施形態１＞
まず、本開示の実施形態１について説明する。図１は、実施形態１にかかる映像処理システム１０の構成を示すブロック図である。映像処理システム１０は、映像データから、映像データに登場する人物のＩＤ（人物ＩＤ）と、その人物の行動を示す行動ＩＤと、登場シーンに関連する情報とを対応付けた検索データベース（ＤＢ）を生成するコンピュータシステムである。人物ＩＤは、同一人物であると推定される人物の特徴を識別する情報であり、例えば人物名である。行動ＩＤは、行動を識別する情報であり、例えば行動名である。行動名は、一例として、「転倒」、「座り込み」、「野球をプレイする」及び「サッカーをプレイする」等であってよい。

【0013】

映像処理システム１０は、画像取得部１１と、骨格情報生成部１３と、行動変換部１４と、人物特定部１８と、登録部２０とを備える。

【0014】

画像取得部１１は、画像取得手段とも呼ばれる。画像取得部１１は、映像データに含まれる、少なくとも１つのフレーム画像を取得する。

【0015】

骨格情報生成部１３は、骨格情報生成手段とも呼ばれる。骨格情報生成部１３は、画像取得部１１で取得した少なくとも１つのフレーム画像に含まれる人物の身体領域に基づいて、骨格情報を生成する。人物の身体領域は、人物の身体の少なくとも一部を示す画像領域であり、身体画像と呼ばれることがある。骨格情報は、関節等の特徴的な点である「キーポイント」と、キーポイント間のリンクを示す「ボーン（ボーンリンク）」とから構成される情報である。以下では、特に限定されない限り、「キーポイント」は人物の「関節」に対応し、「ボーン」は人物の「骨」に対応している。

【0016】

行動変換部１４は、行動変換手段とも呼ばれる。行動変換部１４は、骨格情報生成部１３で生成した少なくとも１つの骨格情報を行動ＩＤに変換する。

【0017】

人物特定部１８は、人物特定手段とも呼ばれる。人物特定部１８は、画像取得部１１で取得した少なくとも１つのフレーム画像に含まれる人物の顔領域に基づいて、人物ＩＤを特定する。人物の顔領域は、人物の顔を示す画像領域であり、顔画像と呼ばれることがある。

【0018】

登録部２０は、登録手段とも呼ばれる。登録部２０は、行動変換部１４で変換した行動ＩＤと、人物特定部１８で特定した人物ＩＤと、少なくとも１つのフレーム画像に関連する場面関連情報とを対応付けて検索ＤＢ（不図示）に登録する。場面関連情報は、フレーム画像に対応した場面に関する情報である。例えば場面関連情報は、画像メタデータを含んでよいし、取得したフレーム画像そのものを含んでもよいし、フレーム画像を含む映像データそのものを含んでもよい。画像メタデータは、例えば、フレーム画像の撮影時間や放送時間、撮影場所、フレーム画像を含む映像データの番組名及びフレーム画像に対応する番組内のコーナー名等であってよい。

【0019】

図２は、実施形態１にかかる映像処理方法の流れを示すフローチャートである。まず映像処理システム１０の画像取得部１１は、映像データに含まれるフレーム画像を取得する（Ｓ１０）。次に、骨格情報生成部１３は、フレーム画像に含まれる人物の身体領域に基づいて、骨格情報を生成する（Ｓ１１）。次に、行動変換部１４は、骨格情報を行動ＩＤに変換する（Ｓ１２）。次に、人物特定部１８は、フレーム画像に含まれる人物の顔領域に基づいて、人物ＩＤを特定する（Ｓ１３）。次に、登録部２０は、行動ＩＤと、人物ＩＤと、フレーム画像に関連する場面関連情報とを対応付けて、検索ＤＢに登録する（Ｓ１４）。

【0020】

尚、Ｓ１３に示す処理は、Ｓ１１～Ｓ１２の前に実行されてもよいし、Ｓ１１～Ｓ１２と並行して実行されてもよい。

【0021】

このように実施形態１によれば、映像処理システム１０は、行動ＩＤ及び人物ＩＤという簡単なキーワードを、フレーム画像に関連する場面関連情報に対応付けた検索ＤＢを生成することができる。映像処理システム１０は、行動ＩＤを、骨格情報を用いて特定することで、映像から行動ＩＤを容易に特定できる。したがって、特定の人物が特定の行動をした場面に関する情報を、検索ＤＢに容易に蓄積することができる。

【0022】

＜実施形態２＞
次に、本開示の実施形態２について説明する。図３は、実施形態２にかかる映像処理システム１の構成を示すブロック図である。映像処理システム１は、人物ＩＤと、行動ＩＤと、場面関連情報とを対応付けた検索ＤＢを用いて、映像に関連する情報の検索を実現するコンピュータシステムである。映像処理システム１は、映像処理装置１００と、映像データサーバ２００と、ユーザ端末３００とを備える。

【0023】

映像データサーバ２００は、カメラユニット等を用いて撮影された映像データを蓄積するコンピュータ装置である。映像データサーバ２００は、映像処理装置１００に、有線又は無線のネットワークを介して通信可能に接続されている。映像データサーバ２００は、一連の映像データを映像処理装置１００に送信する。あるいは、映像データサーバ２００は、予め記録した映像データを、フレーム単位で映像処理装置１００に送信する。

【0024】

ユーザ端末３００は、検索を要求するユーザが使用する端末装置である。ユーザ端末３００は、有線又は無線のネットワーク（不図示）を介して、検索要求を映像処理装置１００に送信し、検索要求に応じた検索結果を映像処理装置１００から受信する。

【0025】

映像処理装置１００は、映像データサーバ２００から受信した映像データから、映像に登場する人物の人物ＩＤと、その人物の行動を示す行動ＩＤとを抽出する。そして、映像処理装置１００は、人物ＩＤと、行動ＩＤと、登場シーンであるフレーム画像の場面関連情報とを、検索ＤＢに対応付けて登録する。一方、映像処理装置１００は、ユーザ端末３００から検索キーワードを含む検索要求を受信した場合、検索ＤＢを参照し、検索キーワードに対応付けられた場面関連情報を、ユーザ端末３００に出力（送信）する。

【0026】

（映像処理装置１００）
次に、映像処理装置１００の具体的な構成について説明する。映像処理装置１００は、画像取得部１０１、身体画像抽出部１０２、骨格情報生成部１０３、行動変換部１０４、行動ウォッチリスト（ＷＬ）１０５、顔画像抽出部１０６、顔情報抽出部１０７、人物特定部１０８、人物ＷＬ１０９、登録部１１０、検索ＤＢ１１１及び検索部１１２を備える。各構成要素は、互いに接続されていてよい。

【0027】

画像取得部１０１は、上述した画像取得部１１の一例である。画像取得部１０１は、映像データサーバ２００から、映像データを取得する。そして画像取得部１０１は、映像データに含まれるフレーム画像を、身体画像抽出部１０２及び顔画像抽出部１０６に供給する。

【0028】

身体画像抽出部１０２は、フレーム画像において所定の条件に合致する身体の画像領域（身体領域）を、身体画像として抽出する（例えば、切り出す）。身体画像抽出部１０２は、所定の条件として、例えば所定の矩形画像領域における画像の特徴量が、予め設定された身体画像の特徴量と一致するか否かを照合する。身体画像抽出部１０２は、抽出した身体画像を、骨格情報生成部１０３に供給する。

【0029】

骨格情報生成部１０３は、機械学習を用いた骨格推定技術を用いて、身体画像において認識される人物の関節等の特徴に基づき人物の骨格情報を生成する。骨格情報生成部１０３は、例えばＯｐｅｎＰｏｓｅ等の骨格推定技術を用いてよい。骨格情報生成部１０３は、骨格情報を行動変換部１０４に供給する。

【0030】

行動変換部１０４は、行動ＷＬ１０５を用いて、骨格情報に対応付けられた行動ＩＤを特定する。尚、行動ＷＬ１０５は、参照用骨格情報１０５０と、参照用行動ＩＤ１０５１とを対応付けた情報を記憶する記憶装置である。参照用骨格情報１０５０及び参照用行動ＩＤ１０５１は、行動ＷＬ１０５に予め登録された参照用画像から抽出された骨格情報、及び参照用画像から特定された行動ＩＤである。
具体的には、まず行動変換部１０４は、行動ＷＬ１０５に登録される参照用骨格情報１０５０の中から、骨格情報生成部１０３で生成した骨格情報との類似度が所定閾値以上である参照用骨格情報１０５０を特定する。そして行動変換部１０４は、特定した参照用骨格情報１０５０に対応付けられた参照用行動ＩＤ１０５１を、取得したフレーム画像に含まれる人物に対応する行動ＩＤとして特定する。

【0031】

尚、行動変換部１０４は、１のフレーム画像に対応する骨格情報に基づいて１の行動ＩＤを特定してもよいし、複数のフレーム画像の各々に対応する骨格情報の時系列データに基づいて１の行動ＩＤを特定してもよい。行動変換部１０４は、複数のフレーム画像を用いて１の行動ＩＤを特定する場合、動きが大きい骨格情報だけを抽出し、抽出した骨格情報を並べて、行動ＷＬ１０５と照合するための時系列データを生成してよい。動きが大きい骨格情報だけを抽出するとは、隣接するフレーム画像の骨格情報の変化量が所定量以上の骨格情報を抽出することであってよい。これにより、計算負荷を軽減するとともに、行動検出にロバスト性を持たせることができる。

【0032】

ここで、行動ＩＤの特定には、上述した方法の他に、様々な方法が考えられる。例えば行動ＩＤで正解付けされたフレーム画像を学習データとして学習させた行動推定モデルを用いて、対象となるフレーム画像から行動ＩＤを推定する方法が挙げられる。しかしながら、この学習データを集めることが困難であり、コストも高い。また、例えば人物の体の一部が隠れていたりすると、人物の行動を検出できない場合もある。これに対して本実施形態２では、行動ＩＤの推定に骨格情報を用い、行動ＷＬ１０５を活用して予め登録された骨格情報と比較する。したがって本実施形態２では、映像処理装置１００は、容易に行動ＩＤを特定することができる。

【0033】

行動変換部１０４は、特定した行動ＩＤを、登録部１１０に供給する。

【0034】

顔画像抽出部１０６は、顔画像抽出手段とも呼ばれる。顔画像抽出部１０６は、フレーム画像に含まれる、所定の条件に合致する顔の画像領域（顔領域）を、顔画像として抽出する。顔画像抽出部１０６は、所定の条件として、例えば所定の矩形画像領域における画像の特徴量が、予め設定された顔画像の特徴量と一致するか否かを照合する。顔画像抽出部１０６は、身体画像抽出部１０２により人物画像を抽出した後に、抽出した人物画像に含まれる顔領域を、顔画像として抽出してもよい。この場合、例えば顔画像抽出部１０６は、フレーム画像内の人物領域の頭部位置に基づいて顔画像を抽出してもよい。顔画像抽出部１０６は、顔画像を顔情報抽出部１０７に供給する。

【0035】

顔情報抽出部１０７は、顔情報抽出手段とも呼ばれる。顔情報抽出部１０７は、顔画像から顔特徴情報を抽出する。顔特徴情報は、顔画像から抽出された特徴点の集合であり、顔情報とも呼ばれる。顔情報抽出部１０７は、抽出した顔情報を、人物特定部１０８に供給する。

【0036】

人物特定部１０８は、人物ＷＬ１０９を用いて、顔情報に対応付けられた人物ＩＤを特定する。尚、人物ＷＬ１０９は、参照用顔情報１０９０と、参照用人物ＩＤ１０９１とを対応付けた情報を記憶する記憶装置である。参照用顔情報１０９０及び参照用人物ＩＤ１０９１は、人物ＷＬ１０９に予め登録された参照用顔画像から抽出された顔情報、及び参照用顔画像から特定された人物ＩＤである。
具体的には、まず人物特定部１０８は、人物ＷＬ１０９に登録される参照用顔情報１０９０の中から、顔情報抽出部１０７で抽出した顔情報との類似度が所定閾値以上である参照用顔情報１０９０を特定する。そして人物ＷＬ１０９は、特定した参照用顔情報１０９０に対応付けられた参照用人物ＩＤ１０９１を、取得したフレーム画像に含まれる人物を識別する人物ＩＤとして特定する。

【0037】

人物特定部１０８は、特定した人物ＩＤを、登録部１１０に供給する。

【0038】

登録部１１０は、フレーム画像に関連する画像メタデータを取得する。例えば登録部１１０は、映像処理装置１００の管理者から入力装置（不図示）を介して入力された画像メタデータを取得する。画像メタデータは、フレーム画像とともに、場面関連情報と呼ばれることがある。登録部１１０は、人物ＩＤと、行動ＩＤと、フレーム画像と、画像メタデータとを対応付けて、検索ＤＢ１１１に登録する。

【0039】

検索ＤＢ１１１は、人物ＩＤ１１００と、行動ＩＤ１１０１と、フレーム画像１１０２と、画像メタデータ１１０３とを対応付けた情報を記憶する記憶装置である。

【0040】

検索部１１２は、検索手段と呼ばれる。検索部１１２は、検索要求をユーザ端末３００から受信し、検索要求に応じた検索結果をユーザ端末３００に送信する。例えば検索部１１２は、人物ＩＤ及び行動ＩＤを含む検索要求をユーザ端末３００から受信した場合、検索要求に含まれる人物ＩＤ及び行動ＩＤに対応付けられた場面関連情報を、検索ＤＢ１１１から取得する。そして検索部１１２は、ユーザ端末３００に、取得した場面関連情報を検索結果として送信する。このとき、検索部１１２は、ユーザ端末３００の表示部（不図示）に検索結果を表示させてよい。これにより、ユーザ端末３００を使用するユーザは、特定の人物が特定の行動をした場面に関する情報を容易に検索できる。

【0041】

尚、検索部１１２は、検索ＤＢ１１１から、同一人物の同様の行動を示す画像の、複数の場面関連情報を取得する場合がある。この場合、検索部１１２は、検索ＤＢ１１１から取得した複数の場面関連情報から、１又は複数の場面関連情報を選択し、選択された１又は複数の場面関連情報を、検索結果としてユーザ端末３００に送信してもよい。これにより、ユーザ端末３００の表示部上で同様の検索結果が多数表示されることで、ユーザが欲しい結果を得られ難くなる事態を回避することができる。場面関連情報を選択する方法としては、検索ＤＢ１１１から取得された複数の場面関連情報の各々に対応するフレーム画像のメタデータを用いる方法がある。例えば検索部１１２は、フレーム画像の画像メタデータ（例えば撮影時間、放映される番組名、コーナー名若しくは放映時間帯）に基づいて、場面関連情報を選択してよい。また検索部１１２は、フレーム画像の品質データ（例えば、輝度値若しくはブレの程度）に基づいて、場面関連情報を選択してもよい。これらの画像メタデータ及び品質データは、画像に関連するメタデータであって、人物ＩＤ及び行動ＩＤを除くデータである。一例として検索部１１２は、放映される番組名に基づいて場面関連情報を選択した場合、同一人物の同様の行動を示す複数のフレーム画像のうち、番組毎に１のフレーム画像のデータを、検索結果の場面関連情報として、ユーザ端末３００に送信してよい。また一例として検索部１１２は、番組名及びブレの程度に基づいて場面関連情報を選択した場合、番組ごとにブレが最も少ない１のフレーム画像のデータを、検索結果の場面関連情報として、ユーザ端末３００に送信してよい。これによりユーザは、検索要求に応じた、番組ごとの代表的な一枚の画像を取得することができる。

【0042】

図４は、実施形態２にかかる映像処理方法の流れを示すフローチャートである。まず画像取得部１０１は、映像データを取得し、映像データに含まれるフレーム画像を取得する（Ｓ２０）。次に、身体画像抽出部１０２は、フレーム画像から身体画像を抽出する（Ｓ２１）。次に、骨格情報生成部１０３は、身体画像に基づいて骨格情報を生成する（Ｓ２２）。次に、行動変換部１０４は、行動ＷＬ１０５を用いて骨格情報を行動ＩＤに変換する（Ｓ２３）。

【0043】

一方、顔画像抽出部１０６は、フレーム画像から顔画像を抽出する（Ｓ２４）。次に、顔情報抽出部１０７は、顔画像から顔情報を抽出する（Ｓ２５）。次に、人物特定部１０８は、人物ＷＬ１０９を用いて、顔情報に対応付けられた人物ＩＤを特定する（Ｓ２６）。

【0044】

そして登録部１１０は、画像メタデータを取得し（Ｓ２７）、行動ＩＤ、人物ＩＤ、フレーム画像及び画像メタデータを互いに対応付けて、検索ＤＢ１１１に登録する（Ｓ２８）。

【0045】

図５は、実施形態２にかかる検索方法の流れを示すフローチャートである。まず検索部１１２は、ユーザ端末３００から人物ＩＤ及び行動ＩＤを含む検索要求を受信した場合（Ｓ３０でＹｅｓ）、検索ＤＢ１１１を参照し、人物ＩＤ及び行動ＩＤに対応付けられた場面関連情報を抽出する（Ｓ３１）。次に、検索部１１２は、抽出した場面関連情報を、上述した画像メタデータに基づいて選択する（Ｓ３２）。次に、検索部１１２は、選択した場面関連情報を、ユーザ端末３００に送信し、ユーザ端末３００に出力させる（Ｓ３３）。

【0046】

このように実施形態２によれば、映像処理システム１は、行動ＩＤ及び人物ＩＤという簡単なキーワードを、フレーム画像に関連する場面関連情報に対応付けた検索ＤＢ１１１を生成することができる。これにより、ユーザが容易に所望の場面関連情報を検索することができる。

【0047】

また映像処理システム１は、行動ＩＤを、骨格情報と行動ＷＬ１０５とを用いて特定することで、映像データから行動ＩＤを容易に特定できる。映像処理装置１００の管理者は、参照用画像と参照用行動ＩＤとを登録することで行動ＷＬ１０５を作成するだけでよく、行動ＩＤの特定に、大量の学習データを要しない。したがって、特定の人物が特定の行動をした場面に関する情報を、検索ＤＢ１１１に容易に蓄積することができる。

【0048】

＜実施形態３＞
次に、本開示の実施形態３について説明する。実施形態３は、映像データに含まれる人物をクラスタリングすることで、人物ＩＤを効率よく特定することに特徴を有する。実施形態３は、映像データに複数の人物が登場する場合に、有効である。

【0049】

図６は、実施形態３にかかる映像処理システム１ａの構成を示すブロック図である。映像処理システム１ａは、映像処理システム１と基本的に同様の機能を有するが、映像処理装置１００に代えて映像処理装置１００ａを備える点で映像処理システム１と相違する。

【0050】

映像処理装置１００ａは、顔画像抽出部１０６、顔情報抽出部１０７及び人物特定部１０８に代えて、顔画像抽出部１０６ａ、顔情報抽出部１０７ａ及び人物特定部１０８ａを有する点で映像処理装置１００と相違する。

【0051】

顔画像抽出部１０６ａは、複数のフレーム画像の各々から身体画像抽出部１０２で抽出された各身体画像について、そのフレーム画像に含まれるその身体画像が示す人物の顔画像を抽出する。あるいは、顔画像抽出部１０６ａは、身体画像抽出部１０２で抽出された各身体画像から、骨格情報生成部１０３により生成された骨格情報に基づいて、そのフレーム画像に含まれるその身体画像が示す人物の顔画像を抽出する。この場合、顔画像抽出部１０６ａは、その身体画像が示す人物の頭部位置を基準として、その人物の顔画像を抽出してよい。

【0052】

顔情報抽出部１０７ａは、顔画像抽出部１０６ａが抽出した、人物の顔領域から、顔情報を抽出する。顔情報抽出部１０７ａは、本処理を複数のフレーム画像に含まれる複数の身体画像が示す人物の各々について繰り返す。

【0053】

人物特定部１０８ａは、顔情報抽出部１０７ａが抽出した顔情報に基づいて、複数のフレーム画像に含まれる人物をクラスタリングする。そして人物特定部１０８ａは、各クラスタに識別情報としてクラスタＩＤを付与する。そして人物特定部１０８ａは、複数のフレーム画像に含まれる各人物について、クラスタリングされたクラスタのクラスタＩＤに基づいて人物ＩＤを特定する。具体的には、まず人物特定部１０８ａは、クラスタ毎に、そのクラスタに属する少なくとも１つの顔情報を、そのクラスタを代表する顔情報として選択する。そして人物特定部１０８ａは、人物ＷＬ１０９に登録される参照用顔情報１０９０のうち、選択した顔情報との間の類似度が所定閾値以上である参照用顔情報１０９０を特定する。そして人物特定部１０８ａは、特定した参照用顔情報１０９０に対応付けられた参照用人物ＩＤ１０９１を、そのクラスタＩＤに対応する人物ＩＤとして特定する。

【0054】

尚、主に監視分野において、同一人物の行動を把握したい場合に、人物名の特定までは要しない場合がある。この場合は、人物特定部１０８ａは、複数のフレーム画像に含まれる各人物について、クラスタリングされたクラスタのクラスタＩＤを人物ＩＤとして特定してよい。そしてこの場合は、人物ＷＬ１０９は省略されてよい。

【0055】

次に、図７、図８及び図９を用いて、実施形態３にかかる映像処理方法の流れを説明する。図７は、実施形態３にかかる映像処理方法の流れを示すフローチャートである。また、図８は、実施形態３にかかる映像処理に含まれる人物特定処理を説明するための図である。また図９は、実施形態３にかかる映像処理方法により生成されるデータのデータ構造の一例を示す図である。

【0056】

まず映像処理装置１００ａの画像取得部１０１は、映像データを取得し、映像データに含まれる複数のフレーム画像を取得する（Ｓ４０）。図８には、画像取得部１０１が取得した映像データ（動画）４００と、映像データ４００に含まれるフレーム画像（静止画）４１０が示されている。また図９に示す映像データ５００は、画像取得部１０１が映像データサーバ２００から取得する映像データのデータ構造を示す。映像データ５００には複数のフレーム画像１，２，…が含まれている。

【0057】

図７に戻り説明を続ける。Ｓ４０を実行後、身体画像抽出部１０２は、Ｓ４１に示す、フレーム画像から人物領域として身体画像を抽出する処理を、フレーム画像毎に繰り返す。図８には、複数のフレーム画像から抽出された身体画像の集合体４２０を示している。

【0058】

図７に戻り説明を続ける。映像処理装置１００ａは、Ｓ４２～Ｓ４４に示す処理を、抽出された身体画像毎に繰り返す。まずＳ４２において、骨格情報生成部１０３は、身体画像から骨格情報を生成する。次にＳ４３において、顔画像抽出部１０６ａは、身体画像から顔画像を抽出する。そしてＳ４４において、顔情報抽出部１０７は、抽出された顔画像から顔情報を抽出する。尚、Ｓ４３～Ｓ４４は、Ｓ４２の前に実行されてもよいし、並行して実行されてもよい。

【0059】

このようにして、図９に示す生成データ５１０が生成される。例えば生成データ５１０のフレーム画像１内で検出された物体１（身体画像１）に関連付けられた情報として、顔情報、骨格情報及びその他のメタデータが含まれている。

【0060】

そして図７のＳ４５において、人物特定部１０８ａは、抽出した全ての身体画像を、顔情報に基づいてクラスタリングする。例えば、人物特定部１０８ａは、身体画像に関連付けられた顔情報の類似度が所定閾値以上の身体画像が、同一のクラスタに属するようにクラスタリングする。顔情報同士の類似度は、顔矩形領域から瞳中心、鼻翼及び口端などの特徴点を用いて算出してもよい。また、顔情報同士の類似度は、目鼻の凹凸や傾きなどの特徴点を用いて算出してもよいし、これらに限らず様々な特徴を用いてもよい。このとき人物特定部１０８ａは、各クラスタに、クラスタＩＤを付与する。図８には、人物特定部１０８ａによって、身体画像の集合体４２０が顔情報に基づいてクラスタリングされたことにより生成された、クラスタＡ～Ｍの集合体４３０が示されている。

【0061】

そして図７のＳ４６において、人物特定部１０８ａは、クラスタ毎に、そのクラスタに属する身体画像に対応する顔情報を少なくとも１つ選択し、人物ＷＬ１０９を用いて、選択した顔情報に対応する人物ＩＤを特定する。図８には、クラスタＡ～Ｍの各々について人物特定部１０８ａにより特定された人物ＩＤ（Ａ～Ｍ）４４０が示されている。

【0062】

そして図７のＳ４７において、行動変換部１０４は、身体画像毎に、行動ＷＬ１０５を用いて、骨格情報を行動ＩＤに変換する。Ｓ４７に示す処理は、Ｓ４２の直後に実行されてもよい。

【0063】

そして図７のＳ４８において、登録部１１０は、画像メタデータを取得し、Ｓ４９において、行動ＩＤ、人物ＩＤ、フレーム画像及び画像メタデータを対応付けて検索ＤＢ１１１に登録する。図９に示す登録データ５２０は、検索ＤＢ１１１に登録されるデータ群を示している。一例として登録データ５２０には、同じ人物ＩＤの人物毎に、顔画像と、シーン毎の時間情報、顔情報、行動ＩＤ及びその他の画像メタデータとが含まれている。

【0064】

このように実施形態３によれば、映像処理装置１００ａは、抽出した全ての顔情報を人物ＷＬ１０９の顔情報と照合するのではなく、同一人物と推定されるクラスタに属する人物の顔画像のうち、選択された顔画像を照合すればよい。したがって、計算負荷が軽減し、映像処理装置１００ａは、効率よく人物ＩＤを特定することができる。これにより、映像処理装置１００ａは、より容易に検索ＤＢ１１１に情報を蓄積できる。

【0065】

＜実施形態４＞
次に、本開示の実施形態４について説明する。実施形態４は、映像データに含まれる人物のクラスタリングにおいて、顔情報に加えて身体特徴情報を用いることに特徴を有する。身体特徴情報は、身体の特徴点の集合体であり、身体情報又は人型データと呼ばれてよい。これにより、フレーム画像内で、人物が後ろを向いている場合等、人物の顔が検出されず身体だけ検出された場合にも、その人物を特定することができる。

【0066】

図１０は、実施形態４にかかる映像処理方法の流れを示すフローチャートである。図１０に示すステップは、図７に示すステップと基本的に同様であるが、Ｓ４３～Ｓ４４及びＳ４５に代えて、Ｓ５０～Ｓ５１、Ｓ５２及びＳ５３を有する。図７と同様のステップについては、説明を適宜省略する。

【0067】

映像処理装置１００ａは、Ｓ４１に示す処理と、Ｓ５０～Ｓ５１に示す処理とを、フレーム画像毎に繰り返す。Ｓ４１において、身体画像抽出部１０２は、フレーム画像から人物領域として身体画像を抽出する。またＳ５０において、顔画像抽出部１０６ａは、フレーム画像から顔画像を抽出する。そしてＳ５１において、顔情報抽出部１０７は、抽出された顔画像から顔情報を抽出する。Ｓ５０～Ｓ５１は、Ｓ４１の前に行われてもよく、Ｓ４１と並行して行われてもよい。

【0068】

次に、映像処理装置１００ａは、Ｓ５２及びＳ４２に示す処理を、抽出された身体画像毎に繰り返す。Ｓ５２において、映像処理装置１００ａの人物特定部１０８ａは、身体画像から身体情報を抽出する。そしてＳ４２において、骨格情報生成部１０３は、身体画像から骨格情報を生成する。

【0069】

次に、Ｓ５３において、人物特定部１０８ａは、異なるフレーム画像同士で顔画像及び身体画像の比較を行い、抽出した全ての身体画像（人物に対応）を、顔情報及び身体情報に基づいてクラスタリングする。より具体的には、まず人物特定部１０８ａは、身体情報に基づいて、身体画像をクラスタリングする。各クラスタに属する身体画像同士は、身体情報の類似度が所定閾値以上である。一方、人物特定部１０８ａは、顔情報に基づいて、顔画像をクラスタリングする。各クラスタに属する顔画像同士は、顔情報の類似度が所定閾値以上である。そして人物特定部１０８ａは、顔画像と身体画像との関連付けを行う。具体的には、人物特定部１０８ａは、身体画像に顔画像が付随する場合、その顔画像と身体画像とを関連付ける。そして人物特定部１０８ａは、複数のフレーム画像のいずれかに含まれる身体画像に顔画像が関連付けられる場合は、その顔画像の顔情報に基づいてクラスタリングされたクラスタと、その身体画像の身体情報に基づいてクラスタリングされたクラスタとを、同一のクラスタとしてクラスタリングする。つまり、人物特定部１０８ａは、クラスタ同士を統合して、同一クラスタに属する身体画像及び顔画像が同一人物のものであると推定する。これにより、顔が見えていない、あるいは顔が検出されない場合でも、身体画像から人物を容易に特定できる。以降は、図７と同様である。

【0070】

図１１及び図１２は、実施形態４にかかる異なるフレーム画像を比較し、顔画像同士及び身体画像同士の関連付けを行う例を示す図である。図１１及び図１２において、フレーム画像１には人物Ａ、Ｂ及びＣが映っているものとする。フレーム画像２には人物Ａ及びＢが映っているものとする。フレーム画像３には人物Ａ及びＣが映っているものとする。フレーム画像４には人物Ｂが映っているものとする。

【0071】

図１１において、フレーム画像１、２、３、４の順に映像が流れているものとする。図１１において、人物特定部１０８ａは人物Ａの顔画像及び身体画像の関連付けを行うものとする。図１１において、フレーム画像１には人物Ａの顔及び身体が映っているものとする。フレーム画像２には人物Ａの顔が映っているものとする。フレーム画像３には人物Ａの顔及び身体が映っているものとする。

【0072】

図１１の例においてフレーム画像１の人物Ａの表情とフレーム画像２の人物Ａ’の表情が異なっている場合であってもフレーム画像１の人物Ａとフレーム画像２の人物Ａ’は同一人物としてクラスタリングが可能である。また、フレーム画像１の人物Ａの服装とフレーム画像３の人物Ａ’’の服装が異なっている場合であってもフレーム画像１の人物Ａとフレーム画像２の人物Ａ’は同一とされている。そのため、フレーム画像２の顔画像とフレーム画像３の顔画像とに基づいて、フレーム画像３の人物Ａ’’もフレーム画像１及びフレーム画像２の人物Ａと同一人物としてクラスタリングが可能である。

【0073】

図１２において、人物Ｂの顔画像及び身体画像の関連付けを行うものとする。フレーム画像１において、人物Ｂの顔のみが映り、フレーム画像２において、人物Ｂの身体のみが映っているものとする。また、フレーム画像４において、人物Ｂの顔及び身体が映っており、人物特定部１０８ａは人物Ｂの顔画像及び身体画像の関連付けを行う。このとき、人物特定部１０８ａは、フレーム画像４において関連付けられた人物Ｂの顔画像及び身体画像に基づいて、フレーム画像１の顔画像及びフレーム画像２の身体画像をそれぞれ人物Ｂのものとして照合できる。

【0074】

このように人物特定部１０８ａは、フレーム画像に含まれる顔画像とフレーム画像に含まれる身体画像とに基づいて、異なるフレーム画像同士で顔画像及び身体画像の比較を行うことで、人物ＩＤを特定する。骨格情報の生成に利用した身体画像を、人物の特定に流用することで、計算負荷を抑えつつ、人物の特定精度を向上させることができる。

【0075】

尚、人物特定部１０８ａは、骨格情報から生成された行動ＩＤに基づいて、人物ＩＤの特定処理に身体画像を用いるかを判定してもよい。例えば、人物特定部１０８ａは、行動ＩＤが予め定められた行動ＩＤである場合（例えば、行動ＩＤが「かがんでいる」や「後ろを向いている」である場合）、顔画像及び身体画像に基づいて、人物ＩＤを特定してよい。これにより、身体情報の抽出処理の実行を最小限に抑え、計算負荷軽減と人物特定精度向上との両立を図ることができる。

【0076】

＜実施形態５＞
次に、本開示の実施形態５について説明する。実施形態５は、映像処理装置が、人物ＩＤに対応付けて服装情報を検索ＤＢ１１１に登録することに特徴を有する。

【0077】

図１３は、実施形態５にかかる映像処理システム１ｂの構成を示すブロック図である。映像処理システム１ｂは、映像処理システム１ａと基本的に同様の機能を有するが、映像処理装置１００ａに代えて映像処理装置１００ｂを備える。

【0078】

映像処理装置１００ｂは、登録部１１０、検索ＤＢ１１１及び検索部１１２に代えて、登録部１１０ｂ、検索ＤＢ１１１ｂ及び検索部１１２ｂと、服装情報生成部１１３とを有する点で映像処理装置１００ａと相違する。

【0079】

服装情報生成部１１３は、服装情報生成手段とも呼ばれる。服装情報生成部１１３は、身体画像抽出部１０２で抽出した、フレーム画像に含まれる人物の身体画像から、画像処理により、人物の服装情報を生成する。服装情報は、服装の種別を示す情報、例えば、長袖、半袖、パンツ、短パン及びスカートの別を含む。服装は、カバン等の荷物の種別を示す情報や、スポーツチームのユニフォームの別を示す情報を含んでもよい。また服装情報は、服装の色を示す情報を含んでもよい。

【0080】

登録部１１０ｂは、人物ＩＤ１１００、行動ＩＤ１１０１、フレーム画像１１０２及び画像メタデータ１１０３に対応付けて、服装情報１１０４を、検索ＤＢ１１１ｂに登録する。

【0081】

検索ＤＢ１１１ｂは、人物ＩＤ１１００、行動ＩＤ１１０１、フレーム画像１１０２及び画像メタデータ１１０３に対応付けて、服装情報１１０４を記憶する。尚、実施形態５においては、行動ＩＤ１１０１は省略されてもよい。この場合、骨格情報生成部１０３、行動変換部１０４及び行動ＷＬ１０５は、映像処理装置１００ｂから省略されてよい。

【0082】

検索部１１２ｂは、人物ＩＤ、行動ＩＤ及び服装情報の少なくとも１つを含む検索要求をユーザ端末３００から受信した場合、検索要求に含まれる情報に対応付けられた場面関連情報を、検索ＤＢ１１１ｂから取得する。例えば、検索部１１２ｂは、人物ＩＤ、行動ＩＤ及び服装情報全てを含む検索要求をユーザ端末３００から受信した場合、これら全てに対応付けられた場面関連情報を、検索ＤＢ１１１ｂから取得する。また例えば、検索部１１２ｂは、人物ＩＤ及び服装情報を含む検索要求をユーザ端末３００から受信した場合、人物ＩＤ及び服装情報に対応付けられた場面関連情報を、検索ＤＢ１１１ｂから取得する。そして検索部１１２ｂは、ユーザ端末３００に、取得した場面関連情報を検索結果として送信する。

【0083】

図１４は、実施形態５にかかる映像処理方法により生成されるデータのデータ構造の一例を示す図である。ここで、服装情報生成部１１３による服装情報の生成処理は、例えば図１０のＳ４２と並行して実行されてよい。これにより、図１４に示す生成データ５１０ｂのフレーム画像内で検出された物体に関連付けられた情報として、顔情報、骨格情報及びその他のメタデータに加えて、服装情報が加えられる。そして登録データ５２０ｂには、同じ人物ＩＤの人物毎に、顔画像と、シーン毎の時間情報、顔情報、行動ＩＤ及びその他のメタデータに加えて、服装情報が含まれる。

【0084】

このように実施形態５によれば、映像処理システム１ｂは、服装情報及び人物ＩＤ等という簡単なキーワードを、フレーム画像に関連する場面関連情報に対応付けた検索ＤＢを生成することができる。したがって、特定の人物が特定の服装を着ている場面に関する情報を、検索ＤＢに容易に蓄積することができる。これにより、ユーザが容易に所望の場面関連情報を検索することができる。

【0085】

上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、プロセッサにコンピュータプログラムを実行させることにより実現することも可能である。

【0086】

上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【0087】

なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【0088】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
映像データに含まれる、少なくとも１つのフレーム画像を取得する画像取得手段と、
前記少なくとも１つのフレーム画像に含まれる人物の身体領域に基づいて、骨格情報を生成する骨格情報生成手段と、
前記骨格情報を行動ＩＤに変換する行動変換手段と、
前記少なくとも１つのフレーム画像に含まれる前記人物の顔領域に基づいて、人物ＩＤであって、同一人物であると推定される人物の特徴を識別する人物ＩＤ、を特定する人物特定手段と、
前記行動ＩＤと、前記人物ＩＤと、前記少なくとも１つのフレーム画像に関連する場面関連情報とを対応付けてデータベースに登録する登録手段と
を備える映像処理システム。
（付記２）
人物ＩＤ及び行動ＩＤを含む検索要求を受信した場合、前記検索要求に含まれる前記人物ＩＤ及び前記行動ＩＤに対応付けられた場面関連情報を出力する検索手段を備える
付記１に記載の映像処理システム。
（付記３）
前記検索手段は、前記検索要求に含まれる前記人物ＩＤ及び前記行動ＩＤに対応付けられた場面関連情報から、１又は複数の場面関連情報を選択し、選択された前記１又は複数の場面関連情報を出力する
付記２に記載の映像処理システム。
（付記４）
前記検索手段は、前記検索要求に含まれる前記人物ＩＤ及び前記行動ＩＤに対応付けられた場面関連情報から、前記１又は複数の場面関連情報を、その場面関連情報に対応する前記少なくとも１つのフレーム画像のメタデータであって、前記人物ＩＤ及び前記行動ＩＤを除くメタデータに基づいて選択する
付記３に記載の映像処理システム。
（付記５）
前記行動変換手段は、行動ウォッチリストに予め登録され、かつ各々が参照用行動ＩＤに対応付けられた参照用骨格情報の中から、生成した前記骨格情報との類似度が所定閾値以上である参照用骨格情報を特定し、特定した前記参照用骨格情報に対応付けられた参照用行動ＩＤを、前記行動ＩＤとして特定する
付記１から４のいずれか一項に記載の映像処理システム。
（付記６）
前記画像取得手段は、複数のフレーム画像を取得し、
前記人物特定手段は、前記複数のフレーム画像の各々に含まれる前記人物の顔領域から抽出した顔特徴情報に基づいて、前記複数のフレーム画像に含まれる人物をクラスタリングし、
前記複数のフレーム画像に含まれる人物について、前記クラスタリングされたクラスタの識別情報に基づいて人物ＩＤを特定する
付記１から５のいずれか一項に記載の映像処理システム。
（付記７）
前記人物特定手段は、前記複数のフレーム画像に含まれる前記顔領域と前記複数のフレーム画像に含まれる身体領域とに基づいて、前記人物ＩＤを特定する
付記６に記載の映像処理システム。
（付記８）
前記画像取得手段は、複数のフレーム画像を取得し、
前記人物特定手段は、前記複数のフレーム画像の各々に含まれる人物の身体領域から抽出した身体特徴情報と、前記複数のフレーム画像の各々に含まれる人物の顔領域から抽出した顔特徴情報と、に基づいて、前記複数のフレーム画像に含まれる人物をクラスタリングし、
前記クラスタリングされたクラスタの識別情報に基づいて人物ＩＤを特定する
付記７に記載の映像処理システム。
（付記９）
前記人物特定手段は、前記複数のフレーム画像のいずれかに含まれる前記身体領域に前記顔領域が付随する場合は、前記身体領域から抽出された身体特徴情報との類似度が所定閾値以上のクラスタと、前記顔領域から抽出された顔特徴情報との類似度が所定閾値以上のクラスタとを、同一のクラスタとしてクラスタリングする
付記８に記載の映像処理システム。
（付記１０）
前記少なくとも１つのフレーム画像に含まれる前記人物の前記身体領域から、前記人物の服装情報を生成する服装情報生成手段をさらに備え、
前記登録手段は、前記服装情報と、前記人物ＩＤと、前記少なくとも１つのフレーム画像に関連する場面関連情報とを対応付けて前記データベースに登録する
付記１から９のいずれか一項に記載の映像処理システム。
（付記１１）
映像データに含まれる、少なくとも１つのフレーム画像を取得し、
前記少なくとも１つのフレーム画像に含まれる人物の身体領域に基づいて、骨格情報を生成し、
前記骨格情報を行動ＩＤに変換し、
前記少なくとも１つのフレーム画像に含まれる前記人物の顔領域に基づいて、人物ＩＤであって、同一人物であると推定される人物の特徴を識別する人物ＩＤ、を特定し、
前記行動ＩＤと、前記人物ＩＤと、前記少なくとも１つのフレーム画像に関連する場面関連情報とを対応付けてデータベースに登録する
映像処理方法。
（付記１２）
映像データに含まれる、少なくとも１つのフレーム画像を取得する画像取得処理と、
前記少なくとも１つのフレーム画像に含まれる人物の身体領域に基づいて、骨格情報を生成する骨格情報生成処理と、
前記骨格情報を行動ＩＤに変換する行動変換処理と、
前記少なくとも１つのフレーム画像に含まれる前記人物の顔領域に基づいて、人物ＩＤであって、同一人物であると推定される人物の特徴を識別する人物ＩＤ、を特定する人物特定処理と、
前記行動ＩＤと、前記人物ＩＤと、前記少なくとも１つのフレーム画像に関連する場面関連情報とを対応付けてデータベースに登録する登録処理と
を、コンピュータに実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体。

【符号の説明】

【0089】

１，１ａ，１ｂ，１０ 映像処理システム
１１，１０１ 画像取得部
１３，１０３ 骨格情報生成部
１４，１０４ 行動変換部
１８，１０８，１０８ａ 人物特定部
２０ 登録部
１００，１００ａ，１００ｂ 映像処理装置
１０２ 身体画像抽出部
１０５ 行動ＷＬ
１０５０ 参照用骨格情報
１０５１ 参照用行動ＩＤ
１０６，１０６ａ 顔画像抽出部
１０７，１０７ａ 顔情報抽出部
１０９ 人物ＷＬ
１０９０ 参照用顔情報
１０９１ 参照用人物ＩＤ
１１０，１１０ｂ 登録部
１１１，１１１ｂ 検索ＤＢ
１１００ 人物ＩＤ
１１０１ 行動ＩＤ
１１０２ フレーム画像
１１０３ 画像メタデータ
１１０４ 服装情報
１１２，１１２ｂ 検索部
１１３ 服装情報生成部
２００ 映像データサーバ
３００ ユーザ端末
５００ 映像データ
５１０，５１０ｂ 生成データ
５２０，５２０ｂ 登録データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】