知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023176248
(43)【公開日】2023-12-13
(54)【発明の名称】情報処理装置および情報処理方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20231206BHJP
G06T 7/70 20170101ALI20231206BHJP
【ＦＩ】
H04N7/18 U
G06T7/70 Z
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2022088427
(22)【出願日】2022-05-31
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100109380
【弁理士】
【氏名又は名称】小西 恵
(74)【代理人】
【識別番号】100109036
【弁理士】
【氏名又は名称】永岡 重幸
(72)【発明者】
【氏名】安達 啓史
【テーマコード（参考）】
5C054
5L096
【Ｆターム（参考）】
5C054FC07
5C054FC13
5C054FE12
5C054FE24
5C054FE25
5C054FF03
5C054GB01
5C054GB05
5L096AA02
5L096AA06
5L096AA09
5L096BA02
5L096CA05
5L096FA60
5L096FA66
5L096FA69
5L096HA05
(57)【要約】
【課題】適切な要約映像を生成できる情報処理装置を提供すること。
【解決手段】映像を要約して要約映像を生成する情報処理装置であって、前記映像から抽出された対象物の画像および動作軌跡を取得する取得手段と、前記取得した対象物の動作軌跡の時間的な相対配置を決定する決定手段と、前記対象物に対して表示優先度を設定する設定手段と、前記設定手段により設定された表示優先度に基づいて、前記要約映像において前記対象物の画像が他の対象物と重なる部分の表示を制御する制御手段と、前記決定手段により決定された相対配置と、前記制御手段により制御された前記重なる部分の表示とを用いて、前記要約映像を生成する生成手段と、を備える。
【選択図】 図３
【解決手段】映像を要約して要約映像を生成する情報処理装置であって、前記映像から抽出された対象物の画像および動作軌跡を取得する取得手段と、前記取得した対象物の動作軌跡の時間的な相対配置を決定する決定手段と、前記対象物に対して表示優先度を設定する設定手段と、前記設定手段により設定された表示優先度に基づいて、前記要約映像において前記対象物の画像が他の対象物と重なる部分の表示を制御する制御手段と、前記決定手段により決定された相対配置と、前記制御手段により制御された前記重なる部分の表示とを用いて、前記要約映像を生成する生成手段と、を備える。
【選択図】 図３
【特許請求の範囲】
【請求項1】
映像を要約して要約映像を生成する情報処理装置であって、
前記映像から抽出された対象物の画像および動作軌跡を取得する取得手段と、
前記取得した対象物の動作軌跡の時間的な相対配置を決定する決定手段と、
前記対象物に対して表示優先度を設定する設定手段と、
前記設定手段により設定された表示優先度に基づいて、前記要約映像において前記対象物の画像が他の対象物と重なる部分の表示を制御する制御手段と、
前記決定手段により決定された相対配置と、前記制御手段により制御された前記重なる部分の表示とを用いて、前記要約映像を生成する生成手段と、
を備えることを特徴とする情報処理装置。
前記映像から抽出された対象物の画像および動作軌跡を取得する取得手段と、
前記取得した対象物の動作軌跡の時間的な相対配置を決定する決定手段と、
前記対象物に対して表示優先度を設定する設定手段と、
前記設定手段により設定された表示優先度に基づいて、前記要約映像において前記対象物の画像が他の対象物と重なる部分の表示を制御する制御手段と、
前記決定手段により決定された相対配置と、前記制御手段により制御された前記重なる部分の表示とを用いて、前記要約映像を生成する生成手段と、
を備えることを特徴とする情報処理装置。
【請求項2】
前記制御手段は、前記表示優先度に基づいて、前記他の対象物と重なる部分の透明度を制御することを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記設定手段は、前記要約映像における前記対象物の奥行き位置に基づき前記表示優先度を設定することを特徴とする請求項２に記載の情報処理装置。
【請求項4】
前記要約映像における前記対象物の奥行き位置が前記他の対象物より手前である場合、前記設定手段は、前記他の対象物より高い表示優先度を前記対象物に設定することを特徴とする請求項３に記載の情報処理装置。
【請求項5】
前記要約映像における前記対象物の奥行き位置が前記他の対象物より手前である場合、前記制御手段は、前記対象物が前記他の対象物と重なる部分の透明度を０に設定することを特徴とする請求項４に記載の情報処理装置。
【請求項6】
前記対象物の表示優先度と前記他の対象物の表示優先度が同じである場合、前記制御手段は、前記対象物が前記他の対象物と重なる部分を半透明で表示することを特徴とする請求項２に記載の情報処理装置。
【請求項7】
前記設定手段は、前記要約映像における前記対象物の奥行き位置にかかわらず、外部から入力された情報に基づき前記表示優先度を設定することを特徴とする請求項１または２に記載の情報処理装置。
【請求項8】
前記制御手段は、前記要約映像における前記対象物の表示範囲と前記他の対象物の表示範囲との包含関係に基づき前記表示を制御することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
【請求項9】
前記制御手段は、前記要約映像における前記対象物の表示範囲と前記他の対象物の表示範囲との包含関係に基づき前記表示を制御することを特徴とする請求項７に記載の情報処理装置。
【請求項10】
前記制御手段は、前記対象物の表示範囲が前記他の対象物の表示範囲の包含する場合、前記他の対象物の存在を示す情報を前記他の対象物の表示範囲内に示すことを特徴とする請求項８に記載の情報処理装置。
【請求項11】
前記制御手段は、前記対象物の表示範囲が前記他の対象物の表示範囲の包含する場合、前記他の対象物の存在を示す情報を前記他の対象物の表示範囲内に示すことを特徴とする請求項９に記載の情報処理装置。
【請求項12】
映像を要約して要約映像を生成する情報処理方法であって、
前記映像から抽出された対象物の画像および動作軌跡を取得するステップと、
前記取得した対象物の動作軌跡の時間的な相対配置を決定するステップと、
前記対象物に対して表示優先度を設定するステップと、
前記設定するステップにより設定された表示優先度に基づいて、前記要約映像において前記対象物の画像が他の対象物と重なる部分の表示を制御するステップと、
前記決定するステップにより決定された相対配置と、前記制御するステップにより制御された前記重なる部分の表示とを用いて、前記要約映像を生成するステップと、
を有することを特徴とする情報処理方法。
前記映像から抽出された対象物の画像および動作軌跡を取得するステップと、
前記取得した対象物の動作軌跡の時間的な相対配置を決定するステップと、
前記対象物に対して表示優先度を設定するステップと、
前記設定するステップにより設定された表示優先度に基づいて、前記要約映像において前記対象物の画像が他の対象物と重なる部分の表示を制御するステップと、
前記決定するステップにより決定された相対配置と、前記制御するステップにより制御された前記重なる部分の表示とを用いて、前記要約映像を生成するステップと、
を有することを特徴とする情報処理方法。
【請求項13】
コンピュータを請求項１から６のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【請求項14】
コンピュータを請求項７に記載の情報処理装置の各手段として機能させるためのプログラム。
【請求項15】
コンピュータを請求項８に記載の情報処理装置の各手段として機能させるためのプログラム。
【請求項16】
コンピュータを請求項９に記載の情報処理装置の各手段として機能させるためのプログラム。
【請求項17】
コンピュータを請求項１０に記載の情報処理装置の各手段として機能させるためのプログラム。
【請求項18】
コンピュータを請求項１１に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置および情報処理方法に関する。
【背景技術】
【0002】
長時間録画された映像を効率的に見る方法として特許文献１に開示された映像要約と呼ばれる技術がある。要約映像を作成する場合、使用するアルゴリズムによっては、要約映像において対象物間の重なりが発生する可能性がある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第５３５５４２２号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
要約映像において対象物の重なりが発生した場合、対象物の重なり部分を半透明にして表示しても、要約映像によっては個々の対象物を識別し難い場合がある。また、対象物の奥行き位置を考慮せず対象物間の重なり部分を半透明にして表示すると、手前に位置する対象物が半透明になるなど不自然に見えることがある。
上記した課題に鑑み、本発明は、適切な要約映像を生成できる情報処理装置を提供することを目的とする。
上記した課題に鑑み、本発明は、適切な要約映像を生成できる情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するために、本発明の一態様にかかる情報処理装置は、映像を要約して要約映像を生成する情報処理装置であって、前記映像から抽出された対象物の画像および動作軌跡を取得する取得手段と、前記取得した対象物の動作軌跡の時間的な相対配置を決定する決定手段と、前記対象物に対して表示優先度を設定する設定手段と、前記設定手段により設定された表示優先度に基づいて、前記要約映像において前記対象物の画像が他の対象物と重なる部分の表示を制御する制御手段と、前記決定手段により決定された相対配置と、前記制御手段により制御された前記重なる部分の表示とを用いて、前記要約映像を生成する生成手段と、を備える。
【発明の効果】
【0006】
本発明によれば、適切な要約映像を生成することができる。
【図面の簡単な説明】
【0007】
【図1】実施形態の映像要約システムの構成を示す図。
【図2】実施形態のネットワークカメラの構成を示すブロック図。
【図3】実施形態の映像要約装置の構成を示すブロック図。
【図4】実施形態の要約映像における対象物の動作軌跡の配置を示す図。
【図5】実施形態で要約映像のフレームが生成される様子を示す図。
【図6】実施形態の映像要約装置が使用する対象物情報を示すテーブル。
【図7】実施形態の映像要約装置が使用する動作軌跡を示すテーブル。
【図8】実施形態の映像要約装置が使用する開始時刻を示すテーブル。
【図9】実施形態で表示優先度設定を行う際に使用するＧＵＩを示す図。
【図10】実施形態の制御部が実行する処理を示すフローチャート。
【図11】実施形態の映像要約装置が実行する処理を示すフローチャート。
【図12】実施形態の映像要約装置が実行する他の処理を示すフローチャート。
【図13】背後の物体の存在を示す表示を含む要約映像のフレームの一例を示す図。
【図14】変形例で表示優先度設定を行う際に使用するＧＵＩの一例を示す図。
【図15】変形例の映像要約装置が生成する要約映像のフレームの一例を示す図。
【発明を実施するための形態】
【0008】
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されない。
【0009】
図１は、本実施形態におけるネットワークカメラシステム１０の構成の一例を示している。ネットワークカメラシステム１０は、映像要約システムの一例である。
ネットワークカメラシステム１０は、複数のネットワークカメラ（以下、単に「カメラ」ともいう）１０２、１０６と、複数の情報処理装置１０３、１０４、１０５を備える。本実施形態では、情報処理装置１０３は画像録画装置として機能し、情報処理装置１０４は映像要約装置として機能し、情報処理装置１０５は操作端末として機能する。情報処理装置１０３～１０５は図１では独立した装置として示されているが、一体的に構成してもよい。なお、画像録画装置１０３や映像要約装置１０４はサーバで構成してもよい。
ネットワークカメラシステム１０は、複数のネットワークカメラ（以下、単に「カメラ」ともいう）１０２、１０６と、複数の情報処理装置１０３、１０４、１０５を備える。本実施形態では、情報処理装置１０３は画像録画装置として機能し、情報処理装置１０４は映像要約装置として機能し、情報処理装置１０５は操作端末として機能する。情報処理装置１０３～１０５は図１では独立した装置として示されているが、一体的に構成してもよい。なお、画像録画装置１０３や映像要約装置１０４はサーバで構成してもよい。
【0010】
本実施形態では、例えば、カメラ１０２で撮影した映像から対象物を抽出し、物体（対象物）毎に決定された表示優先度に基づき対象物同士が重なる部分（重畳部分）の透明度を決定し、対象物同士を重ね合わせて表示する映像要約装置を説明する。
映像要約は長時間の録画映像中に映る動きのある物体（対象物）を全て抽出し、対象物同士が重ならないようにしつつ、時間方向にシフトすることで、短時間の映像に変換する方法である。録画映像の中で異なる時間に存在した対象物も要約映像では同時に表示することができるため、効率的な録画映像の閲覧を可能にする。
映像要約は長時間の録画映像中に映る動きのある物体（対象物）を全て抽出し、対象物同士が重ならないようにしつつ、時間方向にシフトすることで、短時間の映像に変換する方法である。録画映像の中で異なる時間に存在した対象物も要約映像では同時に表示することができるため、効率的な録画映像の閲覧を可能にする。
【0011】
カメラ１０２、１０６と情報処理装置１０３、１０４、１０５とは、ネットワーク回線１０１によって接続されている。ネットワーク回線１０１は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。なお、ネットワーク回線１０１はＬＡＮに限定されない。例えば、ネットワーク回線１０１は、インターネットやＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などでもよい。また、ネットワーク回線１０１への物理的な接続形態は、有線であってもよいし、無線であってもよい。図１において、２つのカメラ１０２、１０６と３つの情報処理装置１０３、１０４、１０５がネットワーク回線１０１に接続されているが、ネットワーク回線１０１へ接続されるカメラの台数および情報処理装置の台数は図１に示す数に限定されない。例えば、ネットワークカメラシステム１０に含まれるカメラは１台（カメラ１０２のみ）でもよい。
【0012】
カメラ１０２、１０６は、所定の画角で監視対象空間内に存在する所定の被写体を撮像する撮像装置である。カメラ１０２、１０６は、例えば、監視カメラである。カメラ１０２、１０６は、撮像画像（以下、単に「画像」ともいう。）を、ネットワーク回線１０１を介して各情報処理装置１０３、１０４、１０５へ送信する。
【0013】
画像録画装置１０３は、カメラ１０２から送信された撮像画像をネットワーク回線１０１経由で受信して保存、蓄積する。また、画像録画装置１０３は、映像要約装置１０４及び操作端末１０５から受け付けた要求に応じて保存している撮像画像を映像要約装置１０４及び操作端末１０５に送信する。画像録画装置１０３は、表示部（ディスプレイ）１０３ａと、マウス１０３ｂと、キーボード１０３ｃを備える。表示部１０３ａは、液晶ディスプレイ（ＬＣＤ）等のモニタで構成される。操作者は、マウス１０３ｂと、キーボード１０３ｃを使用して情報処理装置１０３に指示を与えることができる。ＬＣＤはＬｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略である。
【0014】
映像要約装置１０４は、画像録画装置１０３に記録されている撮像画像をネットワーク回線１０１経由で受信し、映像要約処理を行う。映像要約装置１０４は、映像要約処理により要約映像を生成するので、映像要約装置と称してもよい。
映像要約装置１０４は、表示部１０４ａと、マウス１０４ｂと、キーボード１０４ｃを備える。表示部１０４ａは、液晶ディスプレイ等のモニタで構成される。操作者は、マウス１０４ｂと、キーボード１０４ｃを使用して映像要約装置１０４に指示を与えることができる。
本実施形態では、映像要約装置１０４が解析結果や登録情報を保存するが、解析結果や登録情報はネットワーク回線１０１を介して他のデータベースや操作端末１０５に保存してもよい。
映像要約装置１０４は、表示部１０４ａと、マウス１０４ｂと、キーボード１０４ｃを備える。表示部１０４ａは、液晶ディスプレイ等のモニタで構成される。操作者は、マウス１０４ｂと、キーボード１０４ｃを使用して映像要約装置１０４に指示を与えることができる。
本実施形態では、映像要約装置１０４が解析結果や登録情報を保存するが、解析結果や登録情報はネットワーク回線１０１を介して他のデータベースや操作端末１０５に保存してもよい。
【0015】
操作端末１０５は、表示部１０５ａを備え、カメラ１０２から受信した撮像画像や、画像録画装置１０３に記録された画像データの再生・表示や、映像要約装置１０４から受信した要約映像を表示する機能を有する。また操作端末１０５は、映像要約処理の設定等を指示するためのユーザインタフェースと入力部（マウス１０５ｂ、キーボード１０５ｃ）を備える。操作者は、操作端末１０５のユーザインタフェースと入力部を使用して、要約映像を生成する際の表示優先度設定や、映像要約に関する抽出条件などの設定等を行うことができる。ユーザインタフェースは、例えば、表示部１０５ａを使用したＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）である。つまり、表示部１０５ａは、タッチパネルとしても機能することができる。なお、ＧＵＩとマウス１０５ｂ、キーボード１０５ｃをまとめて入力部と称してもよい。
【0016】
次に、ネットワークカメラシステム１０の各装置の構成について説明する。
図２は、カメラ１０２のハードウェア構成の一例を示す図である。カメラ１０２は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、外部メモリ２０４、撮像部２０５、入力部２０６、通信Ｉ／Ｆ２０７、システムバス２０８を含んで構成することができる。なお、カメラ１０２は、これ以外の構成（例えば、スピーカ、発光部など）をさらに含んでいてもよい。カメラ１０６はカメラ１０２と同様な構造を有するので、カメラ１０６の説明は省略する。
図２は、カメラ１０２のハードウェア構成の一例を示す図である。カメラ１０２は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、外部メモリ２０４、撮像部２０５、入力部２０６、通信Ｉ／Ｆ２０７、システムバス２０８を含んで構成することができる。なお、カメラ１０２は、これ以外の構成（例えば、スピーカ、発光部など）をさらに含んでいてもよい。カメラ１０６はカメラ１０２と同様な構造を有するので、カメラ１０６の説明は省略する。
【0017】
ＣＰＵ２０１は、カメラ１０２における動作を統括的に制御する制御部であって、システムバス２０８を介して、各構成要素（２０２～２０７）の動作を制御する。ＣＰＵ２０１に替えてＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いてもよい。ＲＯＭ２０２は、ＣＰＵ２０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ２０４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ２０１は、処理の実行に際してＲＯＭ２０２から必要なプログラム等をＲＡＭ２０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
【0018】
外部メモリ２０４は、例えば、ＣＰＵ２０１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ２０４は、例えば、ＣＰＵ２０１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等を記憶する。撮像部２０５は、被写体の撮像を行って撮像画像を生成する。撮像部２０５は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子、Ａ／Ｄ変換器、現像処理部等を含んで構成することができる。
【0019】
入力部２０６は電源ボタンや設定ボタンなどから構成され、カメラ１０２の操作者は、入力部２０６を介してカメラ１０２に指示を与えることができる。通信Ｉ／Ｆ２０７は、外部装置（情報処理装置１０３など）と通信するためのインターフェースである。通信Ｉ／Ｆ２０７は、例えばＬＡＮインターフェースである。システムバス２０８は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、外部メモリ２０４、撮像部２０５、入力部２０６および通信Ｉ／Ｆ２０７を通信可能に接続する。カメラ１０２の各部の機能は、ＣＰＵ２０１がＲＯＭ２０２もしくは外部メモリ２０４に記憶されたプログラムを実行することで実現される。Ｉ／ＦはＩｎｔｅｒｆａｃｅの略である。
【0020】
情報処理装置１０３～１０５のそれぞれのハードウェア構成は、図２に示すハードウェア構成に準ずることができる。その場合、撮像部２０５に代えて、表示部１０３ａ、１０４ａ、１０５ａ等のハードウェア構成を具備する。情報処理装置１０３～１０５は、入力部２０６として、マウス１０３ｂ、１０４ｂ、１０５ｂやキーボード１０３ｃ、１０４ｃ、１０５ｃ等のポインティングデバイスを具備し、操作者が情報処理装置１０３～１０５に対して指示を与えることができる。情報処理装置１０３～１０５の外部メモリ２０４は、種々の情報を記憶しておくためのデータベースを含んでよい。
【0021】
図３は、映像要約装置１０４の機能構成の一例を示すブロック図である。
映像要約装置１０４は、制御部３０１、受信部３０２、取得部３０３、配置決定部３０４、対象物表示制御部３０５および生成部３０６を備える。
映像要約装置１０４は、制御部３０１、受信部３０２、取得部３０３、配置決定部３０４、対象物表示制御部３０５および生成部３０６を備える。
【0022】
図３に示す各機能構成要素は、映像要約装置１０４のＣＰＵ２０１が対応する処理プログラムを実行することによって実現され得る。なお、図３に示す各機能構成要素の少なくとも一部を専用のハードウェアで実装してもよい。ハードウェアで実装する場合、例えば、所定のコンパイラを用いることで、各処理を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。この場合、ハードウェアは、ＣＰＵ２０１の制御に基づいて動作する。
【0023】
本実施形態では、図３の各機能を映像要約装置１０４内に搭載する場合を説明するが、機能の一部を他の機器に搭載してもよい。例えば、図３に示した機能の一部をカメラ１０２内に搭載してもよいし、画像録画装置１０３や操作端末１０５に搭載してもよい。また、本実施形態においては、映像要約装置１０４が被写体として人物または車両を検出する場合を説明するが、検出対象となる被写体（対象物）はこれらに限定されない。例えば、動物や不審物などの特定の被写体を検出対象とすることもできる。
【0024】
制御部３０１は、ＣＰＵ２０１等から構成され、ＲＯＭ２０２に記憶されたプログラムやデータをＲＡＭ２０３に読み出して映像生成などの処理を実行する。
受信部３０２は、解析対象となる映像を受信する。映像は外部メモリ２０４に保存されたものを取得してもよいし、通信Ｉ／Ｆ２０７を介してネットワーク回線１０１上にある映像を取得してもよい。
受信部３０２は、解析対象となる映像を受信する。映像は外部メモリ２０４に保存されたものを取得してもよいし、通信Ｉ／Ｆ２０７を介してネットワーク回線１０１上にある映像を取得してもよい。
【0025】
以下の説明では、受信部３０２が動画像を取得した場合であっても静止画像を取得した場合であっても、受信部３０２は、対象物表示制御部３０５等の後段へ１枚の画像を送出する場合について説明する。前者の場合は、上記１枚の画像が動画像を構成する各フレームに相当し、後者の場合は、上記１枚の画像が静止画像に相当する。動画像の場合は、各フレームについて同様の処理を繰り返せばよい。
【0026】
取得部３０３は、受信部３０２が取得した映像から対象物を抽出し対象物の情報（動作軌跡を含む対象物情報、画像）を取得する。
配置決定部３０４は、取得した対象物の動作軌跡の要約映像における時間方向の相対的な配置（時間的な相対配置）を決定する。
対象物表示制御部３０５は、入力部２０６の操作等によって設定された設定情報（表示制御情報）に基づいて各対象物の透明度などの表示状態を制御する。
生成部３０６は、配置決定部３０４で決定した動作軌跡の配置情報と対象物に設定された表示制御情報に基づき要約映像を生成する。生成した要約映像は外部メモリ２０４に保存され、ディスプレイ１０４ａで再生（表示）される。ディスプレイ１０４ａは出力部と称してもよい。なお、要約映像の再生表示は操作端末１０５のディスプレイ１０５ａで行ってもよい。その場合、ディスプレイ１０５ａを出力部と称してもよい。
配置決定部３０４は、取得した対象物の動作軌跡の要約映像における時間方向の相対的な配置（時間的な相対配置）を決定する。
対象物表示制御部３０５は、入力部２０６の操作等によって設定された設定情報（表示制御情報）に基づいて各対象物の透明度などの表示状態を制御する。
生成部３０６は、配置決定部３０４で決定した動作軌跡の配置情報と対象物に設定された表示制御情報に基づき要約映像を生成する。生成した要約映像は外部メモリ２０４に保存され、ディスプレイ１０４ａで再生（表示）される。ディスプレイ１０４ａは出力部と称してもよい。なお、要約映像の再生表示は操作端末１０５のディスプレイ１０５ａで行ってもよい。その場合、ディスプレイ１０５ａを出力部と称してもよい。
【0027】
図４（ａ）は録画映像の時空間における対象物の動作軌跡４０１、４０２、４０３、４０４の配置４００を表す。配置４００の横軸は空間ｘを表し、縦軸は時間ｔを表す。空間は通常ｘとｙの２軸で構成されるが、本実施形態では表現のわかりやすさを優先してｙ軸の値は省略し、あるｙ軸の値の時のｘ軸のみを用いて表現する。時間ｔは最下部が録画の開始時間、最上部が録画の終了時間となる。本実施形態では、動作軌跡４０１は車の動作（移動）を示し、動作軌跡４０２は人物の動作を示し、動作軌跡４０３も人物の動作を示し、動作軌跡４０４も人物の動作を示している。動作軌跡４０２～４０４は、それぞれ異なる人物の動作を示している。
【0028】
各動作軌跡４０１、４０２、４０３、４０４は映像から抽出された対象物の動作軌跡である。各動作軌跡４０１、４０２、４０３、４０４の中心に示されている太線４０１ａ、４０２ａ、４０３ａ、４０４ａは対象物の中心の軌跡を表す。各動作軌跡４０１、４０２、４０３、４０４の外縁を示す点線は対象物の範囲を表す。
対象物は複数の連続するフレームにそれぞれ現れる画素の集合として表現することができる。対象物の中心は対象物の画素集合の中心位置である。対象物の範囲は画素集合の面積を基に算出した半径を用いる。計算方法の詳細は後述する。
対象物は複数の連続するフレームにそれぞれ現れる画素の集合として表現することができる。対象物の中心は対象物の画素集合の中心位置である。対象物の範囲は画素集合の面積を基に算出した半径を用いる。計算方法の詳細は後述する。
【0029】
図４（ｂ）は録画映像の時空間における対象物の動作軌跡４０１’、４０２’、４０３’、４０４’の配置４００’を表す。
図４（ｂ）の対象物の動作軌跡４０１’、４０２’、４０３’、４０４’はそれぞれ、図４（ａ）の動作軌跡４０１、４０２、４０３、４０４の開始時刻をずらしたもの（縦軸下方向に移動したもの）である。
図４（ｂ）の配置４００’では、対象物の動作軌跡４０１’、４０２’、４０３’、４０４’を時間方向で重ならずできるだけ再生時間が短くなるように各動作軌跡の開始時刻を決定している。
図４（ｂ）の対象物の動作軌跡４０１’、４０２’、４０３’、４０４’はそれぞれ、図４（ａ）の動作軌跡４０１、４０２、４０３、４０４の開始時刻をずらしたもの（縦軸下方向に移動したもの）である。
図４（ｂ）の配置４００’では、対象物の動作軌跡４０１’、４０２’、４０３’、４０４’を時間方向で重ならずできるだけ再生時間が短くなるように各動作軌跡の開始時刻を決定している。
【0030】
ただし対象物の配置処理（複数の動作軌跡をどのように配置するか）は、現実的には有限の計算リソースの制約による所要計算時間等の観点から、作成される要約映像に対象物間で重なりが発生する可能性がある。
配置４００’においては、各対象物（動作軌跡）は概ね重なりがなく再生時間が短くなるように配置されているが、動作軌跡４０１’と４０２’の間では重なりが生じている。
配置４００’においては、各対象物（動作軌跡）は概ね重なりがなく再生時間が短くなるように配置されているが、動作軌跡４０１’と４０２’の間では重なりが生じている。
【0031】
図５（a）は受信部３０２が受信した映像のフレーム５００を表す。フレーム５００は、図４（a）の一点鎖線の時刻４０５のフレームである。車５０１の動作軌跡が、図４（ａ）の動作軌跡４０１である。図５（a）において車５０１は左側から右方向に走っているとする。
【0032】
図５（ｂ）は取得部３０３が取得した動作軌跡を用いて生成部３０６が出力した要約映像のフレーム５１０の一例を表す。フレーム５１０は、図４（ｂ）の動作軌跡の配置４００’に基づき構成された要約映像のフレームである。フレーム５１０は、図４（ｂ）の一点鎖線で示される時刻４０５’のフレームを表す。
【0033】
車５０１は動作軌跡４０１’に対応し、人物５０２は動作軌跡４０２’に対応し、人物５０４は動作軌跡４０４’に対応する。図５（ｂ）は、要約映像を生成する際に、動作軌跡の開始時刻をずらすことで、時刻４０５のフレームの状態のときに存在しなかった人物５０２と人物５０４が要約映像において車５０１と同時（同一フレーム）に表示されることを示している。なお、図４（ｂ）の動作軌跡４０３’は時刻４０５’には無いので、図５（ｂ）に示されていない。
【0034】
前述したように 映像によっては作成される要約映像において対象物間の重なりが発生する可能性があり、本実施形態では動作軌跡４０１’と動作軌跡４０２’の間で一部動作軌跡の重なりが生じている。よって、フレーム５１０では車５０１と人物５０２の間で重なりが生じ、重畳部分は半透明で表示されており、個々の対象物（車５０１、人物５０２）の重畳部分が認識し難くなっている。
【0035】
図５（ｃ）は、取得部３０３が取得した動作軌跡を用い、対象物表示制御部３０５で設定されている表示制御設定情報（表示優先度）に基づき各対象物の表示を制御し、生成部３０６が出力した要約映像のフレーム５２０の一例を表す。なお、図５（ｃ）では、対象物表示制御部３０５で、人物の表示を優先するように設定しているとする。
【0036】
フレーム５２０は、図５（ｂ）と同じ時刻４０５’のフレームを表す。人物５０２’は、動作軌跡４０２（４０２’）に対応する。図５（ｃ）の要約映像を生成する場合、対象物表示制御部３０５で、車５０１との重畳部分において人物５０２’を優先表示する表示制御処理が行われている。そのため、人物５０２’と車５０１が重畳部分では、人物５０２’が優先表示されて不透明で表示され、車５０１は人物５０２’に隠れたように表示されている。
【0037】
このように、図５（ｃ）では、優先表示する物体を予め人物に設定しておくことにより、注目する対象物である人物５０２’が他の対象物（車５０１）によって隠されることがなくなり視認しやすくなる。
【0038】
次に、取得部３０３が取得する対象物情報の一例について、図６の対象物情報テーブルを用いて説明する。
図６の対象物情報テーブル６００は取得部３０３により取得された対象物情報を表している。対象物情報は、識別子６０１、開始時刻６０２、動作軌跡６０３および種別６０４の情報で表される。
図６の対象物情報テーブル６００は取得部３０３により取得された対象物情報を表している。対象物情報は、識別子６０１、開始時刻６０２、動作軌跡６０３および種別６０４の情報で表される。
【0039】
本実施形態では対象物は４つ（１台の車と３人の人物）あり、それぞれにＯＢＪ＿００１～ＯＢＪ＿００４という識別子６０５～６０８が付与されている。
開始時刻６０２は、映像の開始時刻を０としたときに、対象物が現れる時刻を表す。動作軌跡６０３（Ｂ１～Ｂ４）は図７を用いて説明する。
対象物の種別６０４は、フレームに映る対象物の画像からオブジェクト認識により推定され、付与されたものである。本実施形態の対象物の種別６０４は、車（Ｃａｒ）、人物（Ｐｅｏｐｌｅ）、人物（Ｐｅｏｐｌｅ）、人物（Ｐｅｏｐｌｅ）である。なお、本実施形態では対象物の種別の認識にオブジェクト認識を用いるが、対象物の画像や移動軌跡から種別を求めるものであればどのような方法を用いてもよい。
動作軌跡Ｂ１～Ｂ４は、それぞれ図４（a）の動作軌跡４０１～４０４に対応している。
開始時刻６０２は、映像の開始時刻を０としたときに、対象物が現れる時刻を表す。動作軌跡６０３（Ｂ１～Ｂ４）は図７を用いて説明する。
対象物の種別６０４は、フレームに映る対象物の画像からオブジェクト認識により推定され、付与されたものである。本実施形態の対象物の種別６０４は、車（Ｃａｒ）、人物（Ｐｅｏｐｌｅ）、人物（Ｐｅｏｐｌｅ）、人物（Ｐｅｏｐｌｅ）である。なお、本実施形態では対象物の種別の認識にオブジェクト認識を用いるが、対象物の画像や移動軌跡から種別を求めるものであればどのような方法を用いてもよい。
動作軌跡Ｂ１～Ｂ４は、それぞれ図４（a）の動作軌跡４０１～４０４に対応している。
【0040】
図７は対象物の動作軌跡テーブル７００である。取得部３０３が取得する動作軌跡の一例について動作軌跡テーブル７００を用いて説明する。動作軌跡テーブル７００は、対象物情報テーブル６００と共に取得部３０３で生成される。図７の動作軌跡テーブル７００は、図６の対象物情報テーブル６００の動作軌跡Ｂ１の情報を示している。
動作軌跡テーブル７００は、相対時刻７０１、中心座標７０２、半径７０３および画素マスク７０４の情報で表され、各フレームの情報が時系列で格納される。
相対時刻７０１は対象物が映像に現れてからの時刻を表す。動作軌跡テーブル７００には識別子ＯＢＪ＿００１の対象物の時刻０（７０５）から時刻１００（７０６）までの動作軌跡が記録されている。中心座標７０２は対象物のフレームごとの画素集合の重心位置を表す。重心位置は画素全ての座標の平均を取ったものを使用する。半径７０３は対象物の範囲を表す。半径は対象物の画素の合計数をＳとしたときに、Ｓ／πの平方を求めることにより算出する。本実施形態では対象物の範囲を円に近似して表現している（半径を用いて表現している）が、対象物の範囲を指定できるものであればどのような形式であってもよい。画素マスク７０４はフレーム内の対象物の詳細な画素位置を表すマスク情報へのリンクを表す。本実施形態では、画素マスク７０４を対象物とそれ以外を区別する情報を持つ画像として記憶するが、対象物とそれ以外を区別できるものであれば画像以外の形式であってもよい。
動作軌跡テーブル７００は、相対時刻７０１、中心座標７０２、半径７０３および画素マスク７０４の情報で表され、各フレームの情報が時系列で格納される。
相対時刻７０１は対象物が映像に現れてからの時刻を表す。動作軌跡テーブル７００には識別子ＯＢＪ＿００１の対象物の時刻０（７０５）から時刻１００（７０６）までの動作軌跡が記録されている。中心座標７０２は対象物のフレームごとの画素集合の重心位置を表す。重心位置は画素全ての座標の平均を取ったものを使用する。半径７０３は対象物の範囲を表す。半径は対象物の画素の合計数をＳとしたときに、Ｓ／πの平方を求めることにより算出する。本実施形態では対象物の範囲を円に近似して表現している（半径を用いて表現している）が、対象物の範囲を指定できるものであればどのような形式であってもよい。画素マスク７０４はフレーム内の対象物の詳細な画素位置を表すマスク情報へのリンクを表す。本実施形態では、画素マスク７０４を対象物とそれ以外を区別する情報を持つ画像として記憶するが、対象物とそれ以外を区別できるものであれば画像以外の形式であってもよい。
【0041】
図８は、要約処理後の対象物の開始時刻テーブルである。より詳しくは、図８は、取得部３０３が取得した対象物情報に基づいて、配置決定部３０４で動作軌跡の配置を決定（変更）した後の対象物の開始時刻テーブルである。
開始時刻テーブル８００は、識別子８０１、要約映像中の開始時刻８０２、要約映像中の終了時刻８０３および動作軌跡８０４の情報で表される。
開始時刻テーブル８００は、図４（ｂ）の動作軌跡と対応し、ＯＢＪ＿００１’（８０５）～ＯＢＪ＿００４’（８０８）は、それぞれ動作軌跡４０１’～ ４０４’に対応する。
開始時刻テーブル８００は、識別子８０１、要約映像中の開始時刻８０２、要約映像中の終了時刻８０３および動作軌跡８０４の情報で表される。
開始時刻テーブル８００は、図４（ｂ）の動作軌跡と対応し、ＯＢＪ＿００１’（８０５）～ＯＢＪ＿００４’（８０８）は、それぞれ動作軌跡４０１’～ ４０４’に対応する。
【0042】
要約映像中の開始時刻８０２と終了時刻８０３は、要約映像の開始時刻を０としたときに、対象物が現れる時刻と消える時刻を表す。ＯＢＪ＿００１’(８０５)の動作軌跡Ｂ１は、図７の動作軌跡テーブル７００に示した動作軌跡と同じものである。
生成部３０６は開始時刻テーブル８００に基づき最終的な要約映像を生成する。
生成部３０６は開始時刻テーブル８００に基づき最終的な要約映像を生成する。
【0043】
次に図９～図１２を用いて図４（ｂ）の要約映像の配置４００’および図５（ｃ）の要約映像５２０を生成する方法について説明する。
図１０は、本実施形態において映像要約装置１０４の制御部３０１において実行される処理の一例を示すフローチャートである。図中、ＳはＳｔｅｐの略である。図１０のフローチャートは、映像要約装置１０４において、受信部３０２にカメラ１０２の録画映像が読み込まれたのに応じて実行される。
Ｓ１００１では、受信部３０２は、解析対象となる録画映像を監視カメラ１０２から受信し、取得部３０３で映像から対象物の抽出処理を行う。映像から動きのある対象物を切り出す（抽出する）方法はいくつかあるが、本実施形態では背景差分とフレーム間差分を組み合わせた方法を使用する。なお、映像から動きのある対象物を抽出する方法であれば他の方法を用いてもよい。
図１０は、本実施形態において映像要約装置１０４の制御部３０１において実行される処理の一例を示すフローチャートである。図中、ＳはＳｔｅｐの略である。図１０のフローチャートは、映像要約装置１０４において、受信部３０２にカメラ１０２の録画映像が読み込まれたのに応じて実行される。
Ｓ１００１では、受信部３０２は、解析対象となる録画映像を監視カメラ１０２から受信し、取得部３０３で映像から対象物の抽出処理を行う。映像から動きのある対象物を切り出す（抽出する）方法はいくつかあるが、本実施形態では背景差分とフレーム間差分を組み合わせた方法を使用する。なお、映像から動きのある対象物を抽出する方法であれば他の方法を用いてもよい。
【0044】
さらに、Ｓ１００１では、取得部３０３は対象物の情報を取得する。対象物の情報は、図６に示す対象物情報（６００）と、図７に示す動作軌跡（７００）とを含む。取得した対象物情報には識別子６０１が割り振られ、開始時刻６０２には録画映像中の対象物が現れた時刻が記録される。また、動作軌跡６０３（７００）には対象物の相対時刻７０１、中心座標７０２、半径７０３、画素マスク７０４が記録され、種別６０４には車／人物が記録される。図４の録画映像の動作軌跡４０１～４０４には、それぞれ識別子ＯＢＪ＿００１～ＯＢＪ＿００４が割り当てられる。
【0045】
Ｓ１００２では、対象物表示制御部３０５は、操作端末１０５の入力部２０６の操作等によってＧＵＩ９００（図９）から入力される各対象物の透明度などの表示優先度設定情報を取得する。本実施形態ではＧＵＩ９００から「手前のオブジェクトを優先」を選択して要約映像を生成した場合について説明する。「手前のオブジェクトを優先」を選択した場合、手前の対象物に高い表示優先度が設定されることになる。図９の詳細は後述する。なお、ＧＵＩ９００は映像要約装置１０４が備えていてもよい。
Ｓ１００３では、配置決定部３０４および生成部３０６は、要約映像生成処理（図１１）を行い、要約映像を生成する。
Ｓ１００３では、配置決定部３０４および生成部３０６は、要約映像生成処理（図１１）を行い、要約映像を生成する。
【0046】
図１１は、情報処理装置１０４で実行される要約映像生成処理の詳細の一例を示すフローチャートである。
Ｓ１１０１では、配置決定部３０４は、動作軌跡の時間方向の配置（図４（ｂ）の４００’）を決定する。決定した動作軌跡の配置の情報は、図８の開始時刻テーブル８００に示されている情報である。つまり、Ｓ１１０１では対象物ＯＢＪ＿００１’、ＯＢＪ＿００２’、ＯＢＪ＿００３’、ＯＢＪ＿００４’を対象とした要約映像における各対象物の開始時刻８０２と終了時刻８０３を求める。
Ｓ１１０１では、配置決定部３０４は、動作軌跡の時間方向の配置（図４（ｂ）の４００’）を決定する。決定した動作軌跡の配置の情報は、図８の開始時刻テーブル８００に示されている情報である。つまり、Ｓ１１０１では対象物ＯＢＪ＿００１’、ＯＢＪ＿００２’、ＯＢＪ＿００３’、ＯＢＪ＿００４’を対象とした要約映像における各対象物の開始時刻８０２と終了時刻８０３を求める。
【0047】
Ｓ１１０１では、すべての対象物の動作軌跡の衝突が最も少なく、総再生時間が短くなるようにエネルギー関数を定義し、シミュレーテッドアニーリング法（例えば、特許文献１に記載のもの）を用いて開始時刻８０２を決定する。これにより対象物間の衝突が少なく、総再生時間の少ない対象物の開始時刻テーブル８００が求められる。
【0048】
Ｓ１１０２では、対象物表示制御部３０５で設定されている表示制御設定情報に基づき各対象物の透明度などの表示状態を制御（調整）する。表示状態の制御（透明度決定処理）については図１２を用いて後述する。
Ｓ１１０３では、生成部３０６は、対象物情報テーブル８００に基づいて要約映像を生成する。要約映像は、背景画像の上に、元の録画映像から画素マスクを用いて切り出した対象物の画像を、算出した開始時刻を基に張り付けていくことによって生成する。
Ｓ１１０３では、生成部３０６は、対象物情報テーブル８００に基づいて要約映像を生成する。要約映像は、背景画像の上に、元の録画映像から画素マスクを用いて切り出した対象物の画像を、算出した開始時刻を基に張り付けていくことによって生成する。
【0049】
図１２は、映像要約装置１０４で実行される透明度決定処理の詳細の一例を示すフローチャートである。
Ｓ１２０１では、対象物表示制御部３０５は、開始時刻テーブル８００と動作軌跡テーブル７００から、動作軌跡間で重なる部分（重畳部分、重畳領域）を抽出する。
Ｓ１２０２では、対象物表示制御部３０５は、重畳部分を有する各対象物に設定されている表示優先度情報を取得する。本実施形態では、対象物表示制御部３０５は、「手前のオブジェクトを優先」という設定情報（表示優先度情報）を取得する。
Ｓ１２０１では、対象物表示制御部３０５は、開始時刻テーブル８００と動作軌跡テーブル７００から、動作軌跡間で重なる部分（重畳部分、重畳領域）を抽出する。
Ｓ１２０２では、対象物表示制御部３０５は、重畳部分を有する各対象物に設定されている表示優先度情報を取得する。本実施形態では、対象物表示制御部３０５は、「手前のオブジェクトを優先」という設定情報（表示優先度情報）を取得する。
【0050】
Ｓ１２０３では、対象物表示制御部３０５は、表示優先度情報に基づき対象物の重畳部分の透明度を決定する。本実施形態では手前のオブジェクト（対象物）の表示を優先するという設定であるため、最も手前に位置する対象物の画像の重畳部分の透明度を０％に決定し、これの背後に位置する対象物の画像の重畳部分の透明度を１００％と決定する。Ｓ１２０３で決定した各対象物の画像の透明度に基づきＳ１１０３で要約映像が生成される。また、重畳部分を有さない対象物の領域の透明度は対象物同士の重なりを考慮する必要がないため透明度を０％と決定する。
【0051】
Ｓ１２０３では、重畳部分を有する対象物において、どの対象物が最も手前に位置するかの判断（判別）処理を行う。例えば、各映像フレームにおいて、重畳している各対象物の動作軌跡テーブル７００の情報を用いて、オブジェクト領域（中心座標と半径で規定する対象物の範囲）の最も下部の位置（対象物の下端）が画面上で下に位置する対象物の方を手前に位置すると判断する。図５（ｂ）の場合、画面上で対象物５０２の下端が対象物５０１の下端より下に位置しているので、対象物５０２が対象物５０１より手前に位置すると判断する。対象物の範囲の下端は、動作軌跡テーブル７００の中心座標７０２と半径７０３から決定する。どの対象物が最も手前に位置するかの判断処理は、各対象物の奥行き位置の判断処理と称してもよい。
【0052】
本実施形態では手前の対象物の判別方法に画面上における対象物の下端の位置の情報を用いたが、対象物の前後方向の位置（位置関係）を判別できる方法であれば、どのような方法を採用してもよい。例えば、複数のカメラで同一の対象物を撮像し、三角測量などの方式を用いて各対象物の位置を検出し、その後、重畳部分を有する対象物の前後方向の位置関係を判別してもよい。あるいは、距離センサを用いて対象物の位置情報を常に取得し、動作軌跡テーブル７００（図７）に他の情報とともに記録してもよい。この場合、動作軌跡テーブル７００に記録された各対象物の位置情報を用いて、重畳部分を有する対象物の位置関係を判別する。
【0053】
次に、操作端末１０５のディスプレイ１０５ａに表示されるＧＵＩ９００の一例について、図９を用いて説明する。
図９のＧＵＩ９００は、映像要約装置１０４の生成部３０６が要約映像を生成する際に表示を優先する対象物を操作者が選択するためのＧＵＩである。操作者は、要約生成処理が行われる前に、表示優先度設定でどの対象物を優先表示させるかの選択（設定）を行う。なお、ＧＵＩ９００は、映像要約装置１０４のディスプレイ１０４ｂに表示されてもよい。
図９のＧＵＩ９００は、映像要約装置１０４の生成部３０６が要約映像を生成する際に表示を優先する対象物を操作者が選択するためのＧＵＩである。操作者は、要約生成処理が行われる前に、表示優先度設定でどの対象物を優先表示させるかの選択（設定）を行う。なお、ＧＵＩ９００は、映像要約装置１０４のディスプレイ１０４ｂに表示されてもよい。
【0054】
ＧＵＩ９００は、要約映像の生成を開始する前に、どの対象物を優先表示するか選択するためのラジオボタン９０１～９０３を備える。ラジオボタン９０１は標準設定用のボタンであり、ラジオボタン９０２は手前のオブジェクト（対象物）を優先表示するためのボタンであり、ラジオボタン９０３は優先表示する対象物を操作者が手動設定する場合に使用するボタンである。標準設定では、手前の対象物を優先表示せず、重なった対象物の重畳部分は半透明表示される。
デフォルト設定ではラジオボタン９０１が選択されており、この状態で操作者が開始ボタン９０４を押下すると、要約映像中で重畳している対象物の画像の重畳部分に対して一律に半透明処理を施して要約映像を生成する。生成後の要約映像は、図５（ｂ）のように対象物の画像の重畳部分は前後位置関係にかかわらず半透明で表示される。
デフォルト設定ではラジオボタン９０１が選択されており、この状態で操作者が開始ボタン９０４を押下すると、要約映像中で重畳している対象物の画像の重畳部分に対して一律に半透明処理を施して要約映像を生成する。生成後の要約映像は、図５（ｂ）のように対象物の画像の重畳部分は前後位置関係にかかわらず半透明で表示される。
【0055】
本実施形態では、操作者はラジオボタン９０２の「手前のオブジェクトを優先」を選択し、開始ボタン９０４を選択（押下）する。操作者が開始ボタン９０４を押下すると、対象物表示制御部３０５は、要約映像中で重畳している対象物の重畳部分に対してＳ１２０３で説明したように、各対象物の奥行き位置を動作軌跡テーブル７００から求める。そして対象物表示制御部３０５は、最も手前に位置する対象物の重畳部分の透明度を０％と決定し、これの背後に位置する対象物の重畳部分の透明度を１００％と決定する。その際、要約映像中で優先表示設定がされていない対象物同士が重畳した領域については、対象物表示制御部３０５は、標準の要約映像処理と同等に一律に半透明処理を施す表示処理を行う。
なお、対象物情報テーブル６００の種別６０４を付与する際のオブジェクト認識で判別可能な種別は、人物（男性、女性、子供）、二輪車（自転車、バイク）、二輪車以外（車、トラック、バス、電車）としてもよい。
なお、対象物情報テーブル６００の種別６０４を付与する際のオブジェクト認識で判別可能な種別は、人物（男性、女性、子供）、二輪車（自転車、バイク）、二輪車以外（車、トラック、バス、電車）としてもよい。
【0056】
本実施形態では手前に位置する対象物をそのまま表示し背後に重なって位置する対象物を隠す表示をしたが、手前の対象物によって背後の対象物が完全に隠れてしまう場合には、例えば、手前の対象物の表示範囲内に背後の対象物の存在を示す情報を表示してもよい。このような表示について図１３を参照して説明する。
図１３は、手前の対象物の表示範囲内に背後の対象物の全体が隠れてしまう場合に、生成部３０６が生成した要約映像のフレームの一例を示している。この要約映像のフレームでは、手前の対象物（車１３０１）によって背後の対象物（男性）が完全に隠れている。そして、背後の対象物の存在を示す補助情報（点線矩形１３０２）を、手前の対象物の表示範囲内に表示している。
図１３は、手前の対象物の表示範囲内に背後の対象物の全体が隠れてしまう場合に、生成部３０６が生成した要約映像のフレームの一例を示している。この要約映像のフレームでは、手前の対象物（車１３０１）によって背後の対象物（男性）が完全に隠れている。そして、背後の対象物の存在を示す補助情報（点線矩形１３０２）を、手前の対象物の表示範囲内に表示している。
【0057】
図１３の要約映像を生成する場合、種別「Ｃａｒ」のみが優先表示される設定であり、その他の種別（Ｍａｎ）は優先表示されない設定であるとする。この状態で車１３０１の背後に完全に隠れてしまう人物（男性）がいる場合、点線矩形１３０２のように男性の外接矩形を表示することで、車の背後に男性が存在していることが表示できる。さらに、点線矩形１３０２内に種別を文字１３０３（Ｍａｎ）で表示することで、対象物の詳細な情報を表示することも可能となる。つまり、図１３のように、２つの重なる対象物の領域（表示範囲）の包含関係に基づき表示（背後の対象物の表示）を変えてもよい。なお、図１３では車１３０１の後方の男性を点線矩形１３０２で表示したが、人物のシルエット（頭、胴体、２本足）で表示してもよい。
【0058】
以上述べたように、本実施形態によれば、要約映像を生成する際に対象物の奥行き位置を取得し対象物間で重畳部分の透明度を変更して手前の対象物を優先表示することで、要約映像中の対象物を自然な見え方にして視認しやすくすることができる。
【0059】
映像要約を行う場合、有限の計算リソースの制約による所要計算時間等の観点から、使用するアルゴリズムによっては、要約映像において、図５（ｂ）のように１つの対象物５０２が他の対象物５０１と重なる可能性がある。図５（ｂ）のように、対象物５０２の画像が対象物５０１の画像と重なる部分を半透明にして重ね合わせて表示すると、個々の対象物５０１、５０２を識別しづらい重畳部分が発生することがある。また、図５（ｂ）のように、対象物５０１、５０２を時間方向にシフトして表示する際に、対象物５０１、５０２の奥行き位置を考慮せず対象物間の重畳部分を半透明にして重ね合わせて表示すると、手前に位置する対象物５０２が半透明になり不自然に見える。本実施形態では、表示優先度に基づいて、図５（ｃ）のような表示をするので、手前に位置する対象物５０２が半透明にならず、不自然に見えることはない。
【0060】
変形例１
上記した実施形態では、対象物の位置関係に基づいて、手前の対象物を優先表示するとしたが、これは本発明の実施形態の一例に過ぎない。例えば、対象物の位置関係にかかわらず、優先表示する対象物をＧＵＩ９００から設定してもよい。操作端末１０５または映像要約装置１０４の操作者が優先表示対象物をＧＵＩ９００から設定する場合を、図９および図１４を用いて変形例１として以下に説明する。
上記した実施形態では、対象物の位置関係に基づいて、手前の対象物を優先表示するとしたが、これは本発明の実施形態の一例に過ぎない。例えば、対象物の位置関係にかかわらず、優先表示する対象物をＧＵＩ９００から設定してもよい。操作端末１０５または映像要約装置１０４の操作者が優先表示対象物をＧＵＩ９００から設定する場合を、図９および図１４を用いて変形例１として以下に説明する。
【0061】
変形例１では、図９のＧＵＩ９００で、操作者がラジオボタン９０３を押下（選択）したとする。操作者がさらにＧＵＩ９００の設定ボタン９０５を押下すると、図１４に示すＧＵＩ１０００がディスプレイ１０５ａ（１０４ａ）に表示される。操作者はＧＵＩ１０００を使用することにより、優先表示する対象物を個別に選択（設定）できる。
ＧＵＩ１０００は、優先表示を行う対象となる対象物の種別を選択するためのチェックボックスを備える。ＧＵＩ１０００で選択可能な種別は、対象物情報テーブル６００の種別６０４を付与する際のオブジェクト認識で判別可能な種別と同等である。変形例１では、オブジェクト認識で判別可能な種別としてＰｅｏｐｌｅ、Ｍａｎ、Ｗｏｍａｎ、Ｃｈｉｌｄ、２－Ｗｈｅｅｌｅｄ Ｖｅｈｉｃｌｅｓ、Ｏｔｈｅｒ Ｖｅｈｉｃｌｅｓ、Ｃａｒ、Ｔｒｕｃｋ、Ｂｕｓ、Ｔｒａｉｎ等があるとする。
ＧＵＩ１０００は、優先表示を行う対象となる対象物の種別を選択するためのチェックボックスを備える。ＧＵＩ１０００で選択可能な種別は、対象物情報テーブル６００の種別６０４を付与する際のオブジェクト認識で判別可能な種別と同等である。変形例１では、オブジェクト認識で判別可能な種別としてＰｅｏｐｌｅ、Ｍａｎ、Ｗｏｍａｎ、Ｃｈｉｌｄ、２－Ｗｈｅｅｌｅｄ Ｖｅｈｉｃｌｅｓ、Ｏｔｈｅｒ Ｖｅｈｉｃｌｅｓ、Ｃａｒ、Ｔｒｕｃｋ、Ｂｕｓ、Ｔｒａｉｎ等があるとする。
【0062】
変形例１のＧＵＩ１０００では、初期状態では種別「Ｐｅｏｐｌｅ」、「Ｍａｎ」、「Ｗｏｍａｎ」、「Ｃｈｉｌｄ」（チェックボックス１００１～１００４）が選択されているとする。そして、操作者が、この初期状態からＣａｒ（車）を優先表示する設定へと変更したとする。具体的には、操作者が、ＧＵＩ１０００で、初期状態で選択されている種別のチェックボックスのチェックをすべて外し、新たにチェックボックス１００５を選択することにより、種別「Ｃａｒ」のみを優先表示する設定としたとする。
【0063】
ＧＵＩ１０００で、操作者が表示優先度設定を行った後、適用ボタン１００６をクリックすると、ＧＵＩ１０００は閉じられ、ディスプレイ１０５ａ（１０４ａ）はＧＵＩ９００を表示する。ＧＵＩ１０００で選択した種別に対しては、表示優先度として透明度を０％に設定する。ＧＵＩ１０００で選択されなかった種別に対しては、表示優先度として透明度を１００％に設定する。
そして、操作者がＧＵＩ９００の開始ボタン９０４をクリックすると、種別「Ｃａｒ」を優先表示する要約映像の生成処理が開始される。
そして、操作者がＧＵＩ９００の開始ボタン９０４をクリックすると、種別「Ｃａｒ」を優先表示する要約映像の生成処理が開始される。
【0064】
変形例１では、種別「Ｃａｒ」が優先表示される対象物となるので、要約映像において対象物同士（例えば、車と人物）が重なる重畳部分が存在する場合には、対象物の位置関係にかかわらず、車（Ｃａｒ）が不透明で表示される。車の不透明表示は、車と人物の位置関係にかかわらず行われるので、車が人物の後方に存在しても、車の全体が表示され、車と人物の重畳部分において人物は表示されない。このように、変形例１では、優先表示設定されていない「他の対象物」の表示については、車との重畳部分においては、車が前面にきて、「他の対象物」は表示されない。
【0065】
なお、車同士が重なる場合は、両方の車の重畳部分を半透明で表示する。つまり、表示優先度の高い対象物とそうでない対象物が重なる場合は、表示優先度の高い対象物の表示は不透明で行うが、表示優先度の高い対象物同士が重なる場合は、対象物同士の重畳部分については半透明で表示する。あるいは、表示優先度の高い対象物同士の重畳部分は、より手前に位置する対象物の表示を優先（不透明で表示）するようにしてもよい。
【0066】
図１５は、変形例１において、取得部３０３が取得した動作軌跡を用い、対象物表示制御部３０５で設定されている表示制御設定情報に基づき各対象物の表示を制御し、生成部３０６が出力した要約映像のフレーム１５００の一例を表す。フレーム１５００は、表示優先度設定として、図１４のＧＵＩ１０００で種別「Ｃａｒ」を選択して生成した要約映像のフレームである。
図１５は、図５（ｂ）や図５（ｃ）と同様に、図４（ｂ）の動作軌跡の配置４００’に基づき構成された要約映像であり、図１５のフレーム１５００は、図４（ｂ）の一点鎖線で示される時刻４０５’のフレームを表す。
図１５は、図５（ｂ）や図５（ｃ）と同様に、図４（ｂ）の動作軌跡の配置４００’に基づき構成された要約映像であり、図１５のフレーム１５００は、図４（ｂ）の一点鎖線で示される時刻４０５’のフレームを表す。
【0067】
車１５０１（５０１）は動作軌跡４０１’に対応し、人物１５０２（５０２）は動作軌跡４０２’に対応し、人物５０４は動作軌跡４０４’に対応する。
変形例１では、対象物表示制御部３０５で、車１５０１と人物１５０２の重畳部分において車１５０１を優先表示する表示制御処理が行われている。そのため、人物１５０２と車１５０１が重なる重畳部分では、車１５０１が優先表示されて不透明で表示され、人物１５０２の重畳部分は車１５０１によって隠されたように表示される。
変形例１では、対象物表示制御部３０５で、車１５０１と人物１５０２の重畳部分において車１５０１を優先表示する表示制御処理が行われている。そのため、人物１５０２と車１５０１が重なる重畳部分では、車１５０１が優先表示されて不透明で表示され、人物１５０２の重畳部分は車１５０１によって隠されたように表示される。
【0068】
変形例２
変形例１では、優先表示選択可能な種別を、ＧＵＩ１０００で示したように、フレームに映る対象物の画像からオブジェクト認識により推定できる種別としたが、本発明はこのような形態に限定されない。オブジェクト認識により推定できる種別以外の種別を利用する例を変形例２として説明する。
変形例１では、優先表示選択可能な種別を、ＧＵＩ１０００で示したように、フレームに映る対象物の画像からオブジェクト認識により推定できる種別としたが、本発明はこのような形態に限定されない。オブジェクト認識により推定できる種別以外の種別を利用する例を変形例２として説明する。
【0069】
例えば、変形例２では、映像要約装置１０４の取得部３０３は、対象物の色を抽出する認識処理を行い、当該認識処理の結果を対象物情報テーブル６００に記録する。そしてＧＵＩ１０００で色を選択できるチェックボックス（Ｂｌａｃｋ、Ｗｈｉｔｅ，Ｂｌｕｅなど）を表示し、操作者に選択させることにより、特定の色の対象物のみを優先表示することが可能になる。例えば、操作者がＧＵＩ１０００で「Ｃａｒ」と「Ｂｌａｃｋ」のチェックボックスを選択すると、黒い車を優先表示する設定になり、当該設定に基づいて映像要約装置１０４の生成部３０３が要約映像を生成する。すると、対象物同士が重なる場合、要約映像では黒い車（Ｃａｒ＋Ｂｌａｃｋ）が優先表示されて、白い車や人などの優先表示設定されていない対象物の前面に黒い車が不透明表示される。よって、優先表示対象物（黒い車）は他の対象物に隠されることがなくなり視認しやすくなる。
【0070】
あるいは、映像要約装置１０４の取得部３０３は、フレームに映る対象物の画像に対して、表情推定や姿勢認識などの物体認識や、対象物の置かれている状況の判別を行うシーン認識、といった他の認識処理を行ってもよい。この場合、ＧＵＩ１０００に優先表示する対象物や対象物の状態（表情、姿勢、置かれている状況）を選択できるチェックボックスを設けることで任意の表示優先度の設定をすることが可能となる。
【0071】
以上述べたように、要約映像を生成する際に、注目する対象物を優先表示対象物として任意に設定できるようにすることで、要約映像中において注目する対象物が注目しない対象物によって隠されることがなくなり視認しやすくすることができる。
【0072】
（その他の実施形態）
以上、本発明の実施形態および変形例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施形態をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、一つの機器からなる装置に適用してもよい。
以上、本発明の実施形態および変形例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施形態をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、一つの機器からなる装置に適用してもよい。
【0073】
また、本発明の目的は、以下のようにすることによっても達成される。即ち、本発明は、上述の実施形態または変形例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体（または記録媒体）を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0074】
なお、本実施形態の開示は、以下の構成、方法およびプログラムを含む。
構成１
映像を要約して要約映像を生成する情報処理装置であって、
前記映像から抽出された対象物の画像および動作軌跡を取得する取得手段と、
前記取得した対象物の動作軌跡の時間的な相対配置を決定する決定手段と、
前記対象物に対して表示優先度を設定する設定手段と、
前記設定手段により設定された表示優先度に基づいて、前記要約映像において前記対象物の画像が他の対象物と重なる部分の表示を制御する制御手段と、
前記決定手段により決定された相対配置と、前記制御手段により制御された前記重なる部分の表示とを用いて、前記要約映像を生成する生成手段と、
を備えることを特徴とする情報処理装置。
構成１
映像を要約して要約映像を生成する情報処理装置であって、
前記映像から抽出された対象物の画像および動作軌跡を取得する取得手段と、
前記取得した対象物の動作軌跡の時間的な相対配置を決定する決定手段と、
前記対象物に対して表示優先度を設定する設定手段と、
前記設定手段により設定された表示優先度に基づいて、前記要約映像において前記対象物の画像が他の対象物と重なる部分の表示を制御する制御手段と、
前記決定手段により決定された相対配置と、前記制御手段により制御された前記重なる部分の表示とを用いて、前記要約映像を生成する生成手段と、
を備えることを特徴とする情報処理装置。
【0075】
構成２
前記制御手段は、前記表示優先度に基づいて、前記他の対象物と重なる部分の透明度を制御することを特徴とする構成１に記載の情報処理装置。
構成３
前記設定手段は、前記要約映像における前記対象物の奥行き位置に基づき前記表示優先度を設定することを特徴とする構成２に記載の情報処理装置。
構成４
前記要約映像における前記対象物の奥行き位置が前記他の対象物より手前である場合、前記設定手段は、前記他の対象物より高い表示優先度を前記対象物に設定することを特徴とする構成３に記載の情報処理装置。
構成５
前記要約映像における前記対象物の奥行き位置が前記他の対象物より手前である場合、前記制御手段は、前記対象物が前記他の対象物と重なる部分の透明度を０に設定することを特徴とする構成４に記載の情報処理装置。
構成６
前記対象物の表示優先度と前記他の対象物の表示優先度が同じである場合、前記制御手段は、前記対象物が前記他の対象物と重なる部分を半透明で表示することを特徴とする構成２に記載の情報処理装置。
前記制御手段は、前記表示優先度に基づいて、前記他の対象物と重なる部分の透明度を制御することを特徴とする構成１に記載の情報処理装置。
構成３
前記設定手段は、前記要約映像における前記対象物の奥行き位置に基づき前記表示優先度を設定することを特徴とする構成２に記載の情報処理装置。
構成４
前記要約映像における前記対象物の奥行き位置が前記他の対象物より手前である場合、前記設定手段は、前記他の対象物より高い表示優先度を前記対象物に設定することを特徴とする構成３に記載の情報処理装置。
構成５
前記要約映像における前記対象物の奥行き位置が前記他の対象物より手前である場合、前記制御手段は、前記対象物が前記他の対象物と重なる部分の透明度を０に設定することを特徴とする構成４に記載の情報処理装置。
構成６
前記対象物の表示優先度と前記他の対象物の表示優先度が同じである場合、前記制御手段は、前記対象物が前記他の対象物と重なる部分を半透明で表示することを特徴とする構成２に記載の情報処理装置。
【0076】
構成７
前記設定手段は、前記要約映像における前記対象物の奥行き位置にかかわらず、外部から入力された情報に基づき前記表示優先度を設定することを特徴とする構成１または２に記載の情報処理装置。
構成８
前記制御手段は、前記要約映像における前記対象物の表示範囲と前記他の対象物の表示範囲との包含関係に基づき前記表示を制御することを特徴とする構成１から７のいずれかに記載の情報処理装置。
構成９
前記制御手段は、前記対象物の表示範囲が前記他の対象物の表示範囲の包含する場合、前記他の対象物の存在を示す情報を前記他の対象物の表示範囲内に示すことを特徴とする構成８に記載の情報処理装置。
前記設定手段は、前記要約映像における前記対象物の奥行き位置にかかわらず、外部から入力された情報に基づき前記表示優先度を設定することを特徴とする構成１または２に記載の情報処理装置。
構成８
前記制御手段は、前記要約映像における前記対象物の表示範囲と前記他の対象物の表示範囲との包含関係に基づき前記表示を制御することを特徴とする構成１から７のいずれかに記載の情報処理装置。
構成９
前記制御手段は、前記対象物の表示範囲が前記他の対象物の表示範囲の包含する場合、前記他の対象物の存在を示す情報を前記他の対象物の表示範囲内に示すことを特徴とする構成８に記載の情報処理装置。
【0077】
方法１
映像を要約して要約映像を生成する情報処理方法であって、
前記映像から抽出された対象物の画像および動作軌跡を取得するステップと、
前記取得した対象物の動作軌跡の時間的な相対配置を決定するステップと、
前記対象物に対して表示優先度を設定するステップと、
前記設定するステップにより設定された表示優先度に基づいて、前記要約映像において前記対象物の画像が他の対象物と重なる部分の表示を制御するステップと、
前記決定するステップにより決定された相対配置と、前記制御するステップにより制御された前記重なる部分の表示とを用いて、前記要約映像を生成するステップと、
を有することを特徴とする情報処理方法。
プログラム１
コンピュータを構成１から９のいずれかに記載の情報処理装置の各手段として機能させるためのプログラム。
映像を要約して要約映像を生成する情報処理方法であって、
前記映像から抽出された対象物の画像および動作軌跡を取得するステップと、
前記取得した対象物の動作軌跡の時間的な相対配置を決定するステップと、
前記対象物に対して表示優先度を設定するステップと、
前記設定するステップにより設定された表示優先度に基づいて、前記要約映像において前記対象物の画像が他の対象物と重なる部分の表示を制御するステップと、
前記決定するステップにより決定された相対配置と、前記制御するステップにより制御された前記重なる部分の表示とを用いて、前記要約映像を生成するステップと、
を有することを特徴とする情報処理方法。
プログラム１
コンピュータを構成１から９のいずれかに記載の情報処理装置の各手段として機能させるためのプログラム。
【符号の説明】
【0078】
１０４…映像要約装置（情報処理装置）、３０１…制御部、３０３…取得部、３０４…配置決定部、３０５…対象物表示制御部、３０６…生成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】