特許 5960691 興味区間特定装置、興味区間特定方法、興味区間特定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5960691

(24)【登録日】2016年7月1日

(45)【発行日】2016年8月2日

(54)【発明の名称】興味区間特定装置、興味区間特定方法、興味区間特定プログラム

(51)【国際特許分類】

   H04N 5/91 20060101AFI20160719BHJP

   G06T 7/20 20060101ALI20160719BHJP

【ＦＩ】

   H04N5/91 N

   H04N5/91 Z

   G06T7/20 C

【請求項の数】16

【全頁数】33

(21)【出願番号】特願2013-514425(P2013-514425)

(86)(22)【出願日】2012年10月19日

(86)【国際出願番号】JP2012006717

(87)【国際公開番号】WO2013124923

(87)【国際公開日】20130829

【審査請求日】2015年6月30日

(31)【優先権主張番号】特願2012-37462(P2012-37462)

(32)【優先日】2012年2月23日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】110001900

【氏名又は名称】特許業務法人 ナカジマ知的財産綜合事務所

(72)【発明者】

【氏名】前田 和彦

【審査官】 松元 伸次

(56)【参考文献】

【文献】 特開２０１２−０１０１３３（ＪＰ，Ａ）

【文献】 特開２０１１−１７５５９９（ＪＰ，Ａ）

【文献】 特開２０１０−１２８９４７（ＪＰ，Ａ）

【文献】 特開２００４−２４６７２３（ＪＰ，Ａ）

【文献】 特開２００５−１１５６７２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ７／００−７／６０

Ｇ１１Ｂ２０／１０−２０／１６

２７／００−２７／３４

Ｈ０４Ｎ５／７６

５／７６５

５／８０−５／９１

５／９１５

５／９２

５／９２２

５／９２８−５／９３

５／９３７−５／９４

５／９５−５／９５６

(57)【特許請求の範囲】

【請求項1】

動画においてユーザが興味を覚えると推測される興味区間を特定する興味区間特定装置であって、
前記動画から抽出したフレームからオブジェクトを検出するオブジェクト検出手段と、
前記抽出したフレームに対する前記オブジェクトの動き特徴量を算出する動き特徴量抽出手段と、
前記オブジェクトの動き特徴量を用いて、前記抽出したフレームにおける前記オブジェクトの動きの特異度を算出する特異度算出手段と、
前記特異度を用いて、前記動画における前記興味区間を特定する興味区間特定手段とを備え、
前記オブジェクト検出手段は、前記動画に含まれる複数のフレームから前記オブジェクトを検出し、
前記動き特徴量抽出手段は、前記複数のフレーム各々における前記オブジェクトの動き特徴量を抽出し、
前記特異度算出手段は、前記複数のフレーム各々について、当該フレームにおける前記オブジェクトの動き特徴量の、他のフレームにおける前記オブジェクトの動き特徴量からの特異度を算出し、
前記特異度算出手段は、前記オブジェクトの特異度を算出する対象となる対象フレームについて、前記対象フレームにおけるオブジェクトの動き特徴量と、前記対象フレーム以外の複数のフレームにおける前記オブジェクトの動き特徴量の平均との内積に基づいて特異度を算出し、
前記特異度算出手段は、前記動画中の前記対象フレームを含む所定の第１区間に含まれるフレームの動き特徴量を用いて、前記対象フレームにおける前記オブジェクトの動きの特異度を算出し、
前記特異度算出手段は、前記対象フレームの前記オブジェクトの動き特徴量の、前記第１区間から前記対象フレームを含み前記第１区間よりも短い第２区間を除いた第３区間に含まれる各フレームにおける前記オブジェクトの動き特徴量の平均値からの、特異度を算出する
ことを特徴とする興味区間特定装置。

【請求項2】

前記特異度算出手段は、前記第２区間の区間長を、前記第１区間の区間長に応じて、定める
ことを特徴とする請求項１記載の興味区間特定装置。

【請求項3】

前記興味区間特定装置は、更に、
前記第２区間をユーザが設定するための設定手段を備える
ことを特徴とする請求項１記載の興味区間特定装置。

【請求項4】

前記特異度算出手段は、前記第１区間の区間長を、前記動画の動画長に基づいて定める
ことを特徴とする請求項１記載の興味区間特定装置。

【請求項5】

前記興味区間特定装置は、更に、
前記第１区間をユーザが設定するための設定手段を備える
ことを特徴とする請求項１記載の興味区間特定装置。

【請求項6】

前記興味区間特定装置は、各フレームに対して算出された前記オブジェクトの特異度を用いて、前記動画において、所定期間内に含まれる各フレームの特異度の合算値が、最大となる所定期間を前記興味区間として特定する
ことを特徴とする請求項１記載の興味区間特定装置。

【請求項7】

動画においてユーザが興味を覚えると推測される興味区間を特定する興味区間特定装置であって、
前記動画から抽出したフレームからオブジェクトを検出するオブジェクト検出手段と、
前記抽出したフレームに対する前記オブジェクトの動き特徴量を算出する動き特徴量抽出手段と、
前記オブジェクトの動き特徴量を用いて、前記抽出したフレームにおける前記オブジェクトの動きの特異度を算出する特異度算出手段と、
前記特異度を用いて、前記動画における前記興味区間を特定する興味区間特定手段とを備え、
前記特異度算出手段は、前記オブジェクトの動き特徴量の、前記フレームに含まれる他のオブジェクトの動き特徴量からの、特異度を算出する
ことを特徴とする興味区間特定装置。

【請求項8】

前記特異度算出手段は、前記オブジェクトの動き特徴量の、前記フレームに含まれる他のオブジェクトが複数ある場合に、他のオブジェクトの動き特徴量の平均値からの特異度を算出する
ことを特徴とする請求項７記載の興味区間特定装置。

【請求項9】

前記興味区間特定手段は、更に、特定した興味区間の始点と終点を示す情報を前記動画にインデキシングする
ことを特徴とする請求項１記載の興味区間特定装置。

【請求項10】

前記興味区間特定装置は、更に、
前記興味区間特定手段が特定した興味区間を前記動画から抽出する抽出手段と、
前記抽出手段が抽出した興味区間が複数ある場合に、複数の興味区間をつなぎ合わせたダイジェスト映像を作成するダイジェスト作成手段とを備える
ことを特徴とする請求項１記載の興味区間特定装置。

【請求項11】

前記興味区間特定装置は、更に、
前記オブジェクトを抽出したフレームにおける場所を検出するオブジェクト位置検出手段と、
前記オブジェクトの動きを評価するための各フレームにおける前記オブジェクトを含む領域を決定する領域決定手段とを備え、
前記動き特徴量抽出手段は、各フレームの前記領域内における特徴点各々の動き特徴量の平均値から各フレームにおける前記オブジェクトの動き特徴量を算出する
ことを特徴とする請求項１記載の興味区間特定装置。

【請求項12】

動画においてユーザが興味を覚えると推測される興味区間を特定する興味区間特定装置であって、
前記動画から抽出したフレームからオブジェクトを検出するオブジェクト検出手段と、
前記抽出したフレームに対する前記オブジェクトの動き特徴量を算出する動き特徴量抽出手段と、
前記オブジェクトの動き特徴量を用いて、前記抽出したフレームにおける前記オブジェクトの動きの特異度を算出する特異度算出手段と、
前記特異度を用いて、前記動画における前記興味区間を特定する興味区間特定手段とを備え、
前記特異度算出手段は、前記オブジェクト検出手段が複数のオブジェクトを検出した場合に、それぞれのオブジェクトに対して算出される動き特徴量に対して重み付けを行って、前記特異度を算出し、
前記興味区間特定装置は、更に、
フレームから検出された特定のオブジェクトの指定を受け付ける受付手段を備え、
前記特異度算出手段は、前記受付手段で受け付けた特定のオブジェクトに対して、他のオブジェクトよりも重い重み付けを行い、
前記興味区間特定装置は、更に、
前記動画以外の１以上の他の動画を保持する記憶手段を備え、
前記受付手段は、前記１以上の他の動画に多く含まれるオブジェクトを、前記特定のオブジェクトとして受け付ける
ことを特徴とする興味区間特定装置。

【請求項13】

前記特異度算出手段は、フレームの特定範囲内に存在するオブジェクトに対して、前記特定範囲外にあるオブジェクトよりも重い重み付けを行う
ことを特徴とする請求項１２記載の興味区間特定装置。

【請求項14】

前記動き特徴量は、オプティカルフローである
ことを特徴とする請求項１記載の興味区間特定装置。

【請求項15】

動画においてユーザが興味を覚えると推測される興味区間を特定する興味区間特定装置による興味区間特定方法であって、
前記動画から抽出したフレームからオブジェクトを検出するオブジェクト検出ステップと、
前記抽出したフレームに対する前記オブジェクトの動き特徴量を算出する動き特徴量抽出ステップと、
前記オブジェクトの動き特徴量を用いて、前記抽出したフレームにおける前記オブジェクトの動きの特異度を算出する特異度算出ステップと、
前記特異度を用いて、前記動画における前記興味区間を特定する興味区間特定ステップとを含み、
前記オブジェクト検出ステップは、前記動画に含まれる複数のフレームから前記オブジェクトを検出し、
前記動き特徴量抽出ステップは、前記複数のフレーム各々における前記オブジェクトの動き特徴量を抽出し、
前記特異度算出ステップは、前記複数のフレーム各々について、当該フレームにおける前記オブジェクトの動き特徴量の、他のフレームにおける前記オブジェクトの動き特徴量からの特異度を算出し、
前記特異度算出ステップは、前記オブジェクトの特異度を算出する対象となる対象フレームについて、前記対象フレームにおけるオブジェクトの動き特徴量と、前記対象フレーム以外の複数のフレームにおける前記オブジェクトの動き特徴量の平均との内積に基づいて特異度を算出し、
前記特異度算出ステップは、前記動画中の前記対象フレームを含む所定の第１区間に含まれるフレームの動き特徴量を用いて、前記対象フレームにおける前記オブジェクトの動きの特異度を算出し、
前記特異度算出ステップは、前記対象フレームの前記オブジェクトの動き特徴量の、前記第１区間から前記対象フレームを含み前記第１区間よりも短い第２区間を除いた第３区間に含まれる各フレームにおける前記オブジェクトの動き特徴量の平均値からの、特異度を算出する
ことを特徴とする興味区間特定方法。

【請求項16】

動画においてユーザが興味を覚えると推測される興味区間を特定する興味区間特定処理をコンピュータに実行させる興味区間特定プログラムであって、
前記興味区間特定処理は、
前記動画から抽出したフレームからオブジェクトを検出するオブジェクト検出ステップと、
前記抽出したフレームに対する前記オブジェクトの動き特徴量を算出する動き特徴量抽出ステップと、
前記オブジェクトの動き特徴量を用いて、前記抽出したフレームにおける前記オブジェクトの動きの特異度を算出する特異度算出ステップと、
前記特異度を用いて、前記動画における前記興味区間を特定する興味区間特定ステップとを含み、
前記オブジェクト検出ステップは、前記動画に含まれる複数のフレームから前記オブジェクトを検出し、
前記動き特徴量抽出ステップは、前記複数のフレーム各々における前記オブジェクトの動き特徴量を抽出し、
前記特異度算出ステップは、前記複数のフレーム各々について、当該フレームにおける前記オブジェクトの動き特徴量の、他のフレームにおける前記オブジェクトの動き特徴量からの特異度を算出し、
前記特異度算出ステップは、前記オブジェクトの特異度を算出する対象となる対象フレームについて、前記対象フレームにおけるオブジェクトの動き特徴量と、前記対象フレーム以外の複数のフレームにおける前記オブジェクトの動き特徴量の平均との内積に基づいて特異度を算出し、
前記特異度算出ステップは、前記動画中の前記対象フレームを含む所定の第１区間に含まれるフレームの動き特徴量を用いて、前記対象フレームにおける前記オブジェクトの動きの特異度を算出し、
前記特異度算出ステップは、前記対象フレームの前記オブジェクトの動き特徴量の、前記第１区間から前記対象フレームを含み前記第１区間よりも短い第２区間を除いた第３区間に含まれる各フレームにおける前記オブジェクトの動き特徴量の平均値からの、特異度を算出する
ことを特徴とする興味区間特定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画の中でユーザの興味を引く区間を特定する興味区間特定装置に関する。

【背景技術】

【0002】

近年、ユーザは、デジタルカメラやビデオカメラなどのデジタル画像撮影機器で撮影した動画や写真など数多くのコンテンツをＰＣなどに保存して蓄積している。蓄積されているコンテンツが膨大になると、これらのコンテンツの内容をユーザが容易に識別できるように、コンテンツを分類したり、あるいは、コンテンツが動画の場合にはそのダイジェスト映像を作成したりして、コンテンツの内容の把握の容易化が求められることになる。

【0003】

従来、動画のダイジェスト映像を作成する手法としては、ユーザ自身が、動画の中からダイジェスト映像として用いる区間を指定して、それらの区間をつなぎ合わせて、ダイジェスト映像としていた。しかしながら、この手法はユーザの負担が大きく、また、専門的な知識も必要になるため、ダイジェスト映像作成の簡略化、自動化が望まれている。

【0004】

そこで、ユーザが興味を引くダイジェストとは、動きのある映像であると考えられることから、ダイジェストを作成する対象の動画の中で、人物の動きを検出して（例えば、特許文献１参照）、人物に動きがある区間を抽出することが考えられる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００６−０１９３８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記特許文献１の場合、人物に動きがあることが検出できるだけで、ユーザにとって興味を引く区間（以下、興味区間という）を抽出できる保証がなく、適切なダイジェスト映像を作成できない可能性があるという問題がある。

【0007】

そこで、本発明は上記問題に鑑みてなされたものであり、ユーザにとって興味深いダイジェスト映像の作成に利する興味区間特定装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するため、本発明に係る興味区間特定装置は、動画においてユーザが興味を覚えると推測される興味区間を特定する興味区間特定装置であって、前記動画から抽出したフレームからオブジェクトを検出するオブジェクト検出手段と、前記抽出したフレームに対する前記オブジェクトの動き特徴量を算出する動き特徴量抽出手段と、前記オブジェクトの動き特徴量を用いて、前記抽出したフレームにおける前記オブジェクトの動きの特異度を算出する特異度算出手段と、前記特異度を用いて、前記動画における前記興味区間を特定する興味区間特定手段とを備えることを特徴としている。

【0009】

また、本発明に係る興味区間特定方法は、動画においてユーザが興味を覚えると推測される興味区間を特定する興味区間特定装置による興味区間特定方法であって、前記動画から抽出したフレームからオブジェクトを検出するオブジェクト検出ステップと、前記抽出したフレームに対する前記オブジェクトの動き特徴量を算出する動き特徴量抽出ステップと、前記オブジェクトの動き特徴量を用いて、前記抽出したフレームにおける前記オブジェクトの動きの特異度を算出する特異度算出ステップと、前記特異度を用いて、前記動画における前記興味区間を特定する興味区間特定ステップとを含むことを特徴としている。

【0010】

また、本発明に係る興味区間特定プログラムは、動画においてユーザが興味を覚えると推測される興味区間を特定する興味区間特定処理をコンピュータに実行させる興味区間特定プログラムであって、前記興味区間特定処理は、前記動画から抽出したフレームからオブジェクトを検出するオブジェクト検出ステップと、前記抽出したフレームに対する前記オブジェクトの動き特徴量を算出する動き特徴量抽出ステップと、前記オブジェクトの動き特徴量を用いて、前記抽出したフレームにおける前記オブジェクトの動きの特異度を算出する特異度算出ステップと、前記特異度を用いて、前記動画における前記興味区間を特定する興味区間特定ステップとを含むことを特徴としている。

【発明の効果】

【0011】

上述のような構成によって、興味区間特定装置は、抽出したフレームにおけるオブジェクトの動きの特異度に基づいて興味区間を特定するので、例えば、動画区間の中でも動きの大きい区間を興味区間として特定することができるので、ユーザにとって興味深いダイジェスト映像の作成の利便性を向上させることができる。

【図面の簡単な説明】

【0012】

【図1】興味区間特定装置の機能構成例を示すブロック図である。

【図2】動画のフレームと、各フレームから抽出されるオブジェクトの一例である。

【図3】フレームにおけるオブジェクトの動きを評価する領域の一例である。

【図4】フレームにおけるオブジェクトの算出されたオプティカルフローの一例である。

【図5】フレームにおけるオブジェクトの動き特徴量を決定するためのオブジェクトの動きを評価する画素の一例である。

【図6】オブジェクトの各フレームにおける動き特徴量の一例である。

【図7】興味区間の特定方法を示すための図である。

【図8】興味区間特定装置の動作を示すフローチャートである。

【図9】動き特徴量を算出する動作を示すフローチャートである。

【図10】特異度を算出する動作を示すフローチャートである。

【図11】フレームの特異度の算出を説明するための図である。

【図12】実施の形態２に係る興味区間特定装置の機能構成例を示すブロック図である。

【図13】実施の形態２に係る興味区間特定装置の動作を示すフローチャートである。

【図14】実施の形態２に係る興味区間特定装置の特異度算出の動作を示すフローチャートである。

【発明を実施するための形態】

【0013】

＜発明者らが得た知見＞
発明者は、ダイジェスト映像の作成のための動画においてユーザが興味を示すと思われる興味区間の装置による特定を行うにあたって、上記特許文献１に記載の技術のようにオブジェクトの動きを利用することを考慮した。しかし、単純にオブジェクトの動きだけを興味区間特定に用いた場合、単調な動き（例えば、ただ歩いているだけの動き）でさえも、興味区間として特定される虞があることを発見した。例えば、上記特許文献１に記載の技術を用いた場合、延々と同じことの繰り返し映像（例えば、被写体の人物が歩き続ける映像）などを抽出することになり、ユーザにとって面白味のないダイジェスト映像が作成されることになるという問題がある。

【0014】

そこで、発明者は、ダイジェスト映像としてどのようなものがユーザにとって興味深いかを思索したところ、撮影されているオブジェクトの動きが特異な部分（動きが激しかったり、ユニークであったりする部分）はユーザにとって興味深い内容になっていることが多いことを知見した。

【0015】

以下、発明者が創意工夫の下、発明するに至った興味区間特定装置について、どのように特異度を算出し、どのようにその特異度に基づいてダイジェスト映像の作成に利する興味区間を特定するのかを説明する。
＜実施の形態１＞
以下、本発明の一実施形態である興味区間特定装置について図面を用いて説明する。
＜構成＞
図１は、興味区間特定装置１００の機能構成を示すブロック図である。なお、図１には、興味区間特定装置１００の周辺機器も示している。

【0016】

図１に示すように、興味区間特定装置１００は、撮影装置１２０と、表示装置１３０とに接続されている。興味区間特定装置１００は、撮影装置１２０が撮影した動画から興味区間を抽出し、表示装置１３０に表示させる。なお、本実施の形態においては、興味区間は予め定められた固定時間長（例えば、３分）の動画である。

【0017】

撮影装置１２０は、例えば、ムービーカメラやデジタルカメラなどの動画を撮影し記録する機能を有する機器である。撮影装置１２０は、例えば、ＵＳＢ（Universal Serial Bus）ケーブルを介して興味区間特定装置１００に接続されている。

【0018】

表示装置１３０は、例えば、デジタルテレビやＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）などの画像を表示する機能を有するモニタである。表示装置１３０は、例えば、ＵＳＢケーブルを介して興味区間特定装置１００に接続されている。

【0019】

以下、本発明に係る興味区間特定装置１００の構成について述べる。

【0020】

図１に示すように、興味区間特定装置１００は、動画取得部１０１と、オブジェクト検出部１０２と、オブジェクト追跡部１０３と、領域決定部１０４と、動き特徴量算出部１０５と、特異度算出部１０６と、興味区間特定部１０７と、興味区間抽出部１０８とを含む。

【0021】

動画取得部１０１は、撮影装置１２０から、撮影装置１２０が撮影した動画を取得する機能を有する。動画取得部１０１は、例えば、ＵＳＢケーブルを接続するためのＵＳＢポート及びＵＳＢドライバなどのインターフェースを制御するソフトウェアから構成される。

【0022】

オブジェクト検出部１０２は、動画の各フレームから、オブジェクトを検出する機能を有する。オブジェクトとは、例えば、人物、人物の顔、動物、車などがあげられる。

【0023】

オブジェクト検出部１０２は、フレームに対してエッジ検出や、フレーム内で検索ウィンドウを移動させて、検索ウィンドウ内を、オブジェクトを識別するための分類器（人物の顔を検出する場合には、分類器は、顔学習辞書と呼称されることもある。）を用いて、各オブジェクトを判別することによって、例えば、図２に示すように、フレーム内の人物の顔を検出することができる。図２の場合、オブジェクト（顔）検出を行うことで、動画のｔ番目のフレーム２０１から、オブジェクト２０３が、ｔ＋１番目のフレーム２０２から、オブジェクト２０４が検出される。なお、ここで分類器は、人物の顔を検出するためのものとして説明するが、分類器は、動物や車など、人物以外を検出するためのものであってもよい。また、オブジェクト検出部１０２は、複数の異なる種別のものを検出するために、複数の分類器を保持していてもよく、フレームからオブジェクトを検出した場合に、そのオブジェクトの検出に用いた分類器が何を検出するためのものであるかの情報を検出したオブジェクトに対してメタデータとして付与する機能も有していてもよい。

【0024】

オブジェクト追跡部１０３は、オブジェクト検出部１０２が検出した１以上のオブジェクトそれぞれについて、次のフレームにおいてどの位置にあるかを追跡する。オブジェクト追跡部１０３は、当該追跡の結果、各フレームにおいて、同一であると推測されるオブジェクトについては、同じ識別子（オブジェクトＩＤ）を付与する機能を有する。オブジェクト追跡の手法の一例を、図２を用いて説明する。例えば、図２の場合であれば、連続するフレームであるフレーム２０１とフレーム２０２について、検出されたオブジェクト２０３とオブジェクト２０４の領域は、それぞれのフレームにおける位置がほぼ同じであるので、オブジェクト２０３とオブジェクト２０４とは同じオブジェクトであるとし、同一のオブジェクトＩＤを付与する。即ち、本実施の形態においては、フレームにおいて、各フレームにおける領域のそれぞれのフレームでの位置が近いオブジェクト同士を同一のオブジェクトであると特定する。このようにしてオブジェクト追跡部１０３は、複数のフレームに含まれるオブジェクトを同定することでオブジェクトを追跡する。

【0025】

領域決定部１０４は、動画の各フレームにおいて、オブジェクトの動きを評価するための領域を決定する機能を有する。オブジェクトの動きを検出するための領域は、追跡対象のオブジェクトを含む。図３を用いて領域決定部１０４による領域の決定について説明する。

【0026】

図３は、フレーム３０１内のオブジェクトに基づいて決定される領域を示す図である。領域決定部１０４は、本実施の形態においては、オブジェクト検出部１０２が検出した人物の顔と推定されるオブジェクトを含む領域３０２ａ（図３の左斜線部分）と、その人物の顔のサイズからその人物の体があると推定される領域３０２ｂ（図３の右斜線部分）とを、合わせた領域３０２を、オブジェクトの動きを検出する領域として決定する。領域３０２ｂは、検出された領域３０２ａの傾きとサイズに対してどの方向にどのようなサイズとなるかを予め定められている。なお、各フレームにおいて、対応する領域の存在する位置及び範囲はフレーム間で共通の場合もあれば、異なる場合もある。領域決定部１０４が決定する領域は、オブジェクト検出部１０２が検出するオブジェクトの内容によって、その形状及び領域として決定する範囲が定められており、オブジェクト検出部１０２が、検出したオブジェクトの内容から、領域の形状と範囲を決定する。

【0027】

動き特徴量算出部１０５は、動画に含まれる各フレームについて、そのフレームにおけるオブジェクトの動き特徴量を算出する機能を有する。動き特徴量算出部１０５は、動画に含まれるフレームについて、そのフレームに対して領域決定部１０４が決定した領域内の各画素を特定する（図４参照）。図４は、決定した領域３０２内の各画素を示している。そして、動き特徴量算出部１０５は、特定した各画素のオプティカルフローを算出する（図５参照）。なお、図５には、領域内の全画素のオプティカルフローではなく、一部のオプティカルフローの一例を示している。また、オプティカルフローの算出方法としては、一例として、勾配法を用いる。勾配法は、「物体上の点の明るさは移動後も変化しない」という仮定のもとに、時刻ｔにおけるフレームのある画素が、時刻ｔ＋１におけるフレームにおいてどこに移動しているかを推定し、その移動量を基にしてベクトルを求めるものである。

【0028】

そして、動き特徴量算出部１０５は、算出したオプティカルフローを用いて、領域決定部１０４が決定した領域の動き特徴量を決定する。図５を用いて、領域の動き特徴量の決定手法を説明する。

【0029】

図５に示すように、領域３０２の一段目左端の画素の座標（ｘ、ｙ）が、（ａ、ｂ）、その右隣が、（ａ＋１、ｂ）、・・・、領域３０２の一段目右端の画素の座標（ｘ、ｙ）が、（ａ＋ｗ、ｂ）、二段目左端の画素の座標が（ａ，ｂ＋１）であったとする。そして、座標（ａ、ｂ）のオプティカルフローが（ｘ_a、ｙ_b）、座標（ａ＋１、ｂ）のオプティカルフローが（ｘ_a+1、ｙ_b）、・・・、座標（ａ＋ｗ、ｂ）のオプティカルフローが（ｘ_a+w、ｙ_b）、座標（ａ、ｂ＋１）のオプティカルフローが（ｘ_a、ｙ_b+1）、・・・というように算出されたとする。このとき、領域３０２に対して、その動き特徴量（特徴量１、特徴量２、特徴量３、・・・、特徴量Ｋ、・・・）は、（ｘ_a、ｙ_b、ｘ_a+1、ｙ_b、・・・、ｘ_a+w、ｙ_b、ｘ_a、ｙ_b+1、・・・）と決定される。即ち、領域決定部１０４が決定した領域３０２の動き特徴量は、領域３０２に含まれる各画素のオプティカルフローの集合であり、領域３０２の一段目左端から右端、二段目左端から右端、・・・、Ｎ段目左端から右端、・・・、領域３０２の下端の左端から右端の順に並べたものである。このようにして、動き特徴量算出部１０５は、各フレームについて検出された各オブジェクトの動き特徴量を算出し、その情報をメモリ（図示せず）等に記憶する。

【0030】

図６は、記憶された動き特徴量の情報のデータ概念図である。図６に示すように、動き特徴量の情報は、各フレームを識別するためのフレーム番号に、各特徴量の種別にその特徴量の数値を対応づけた情報である。ここで、特徴量の種別とは、領域内のいずれかの画素の動きベクトルのｘ軸方向の動き量またはｙ軸方向の動き量のことである。例えば、フレーム番号３の動き特徴量として、特徴量１の数値は６に、特徴量２の数値は２となっている。

【0031】

特異度算出部１０６は、動画に含まれる各フレームの特異度を算出する機能を有する。各フレームの特異度とは、各フレームに含まれるオブジェクトの動きが、どれだけ、他のフレームにおけるオブジェクトの動きと異なるかを示す指標である。特異度の算出手法の詳細については、後述する。

【0032】

興味区間特定部１０７は、特異度算出部１０６が算出した各フレームの特異度を用いて、興味区間を特定する機能を有する。図７を用いて、興味区間の特定方法を説明する。図７は、横軸に時間軸を、縦軸に特異度をとった、動画の時間経過による特異度の変化を示すグラフである。興味区間特定部１０７は、固定長の興味区間について、興味区間長の窓７０１を動画の先頭から終わりに向けてずらしながら、その窓７０１に含まれるフレームの特異度を合算し、その合算値が最も高くなったところでの窓７０１を興味区間として特定する。そして、興味区間特定部１０７は、特定した興味区間の始点を示す情報と興味区間の終点を示す情報とを動画に対して付与する。これは、興味区間の始点を示すタグ（以降、始点タグと呼称する）と、興味区間の終点を示すタグ（以降、終点タグと呼称する）とを、動画に対して付与する（インデキシングする）ことで行われる。

【0033】

興味区間抽出部１０８は、興味区間特定部１０７が動画に対して付した始点タグと終点タグとに基づき、始点タグを開始点、終点タグを終了点とする動画である興味区間動画を動画から抽出する機能を有する。

【0034】

出力部１０９は、興味区間抽出部１０８が抽出した興味区間動画を、表示装置１３０に出力する機能を有する。

【0035】

表示装置１３０は、出力部１０９から出力された興味区間動画を再生し、ユーザはこれを見ることで、動画の内容を短時間で認識するとともに、興味区間動画を興味深く視聴することができる。

＜動作＞
次に、本実施の形態に係る興味区間特定装置１００の動作を図７に示すフローチャートを用いて説明する。

【0036】

まず、興味区間を特定するための基本動作を説明する。

【0037】

興味区間特定装置１００の動画取得部１０１は、動画を撮影装置１２０からＵＳＢケーブルを介して入力され、取得する（ステップＳ８０１）。動画取得部１０１は、取得した動画をオブジェクト検出部１０２に伝達する。

【0038】

オブジェクト検出部１０２は、伝達された動画から、各フレームについて、その表示されるべき画像に含まれているオブジェクトを検出する（ステップＳ８０２）。オブジェクト検出部１０２は、検出した１以上のオブジェクトについての情報をオブジェクト追跡部１０３に伝達する。

【0039】

オブジェクト追跡部１０３は、各フレームから検出されたオブジェクトについて、それぞれのオブジェクトが、どのフレームのどの位置に存在するかを追跡し、フレーム間で共通するオブジェクトを同じオブジェクトＩＤを付与して同定する（ステップＳ８０３）。

【0040】

領域決定部１０４は、オブジェクト追跡部１０３による追跡の結果、検出されているオブジェクト毎に、各フレームにおいてそれぞれのオブジェクトについて動きを検出する領域を決定する（ステップＳ８０４）。

【0041】

動き特徴量算出部１０５は、領域決定部１０４により決定された各オブジェクトの各領域について、その領域が動き特徴量を算出する対象の対象フレームから、次のフレームまでで、どの程度動いているかに基づき、各フレームの動き特徴量を算出する（ステップＳ８０５）。即ち、動き特徴量算出部１０５は、動画の各フレームについて、領域に含まれる各画素のオプティカルフローの集合から成るベクトルをそのフレームの動き特徴量として生成する。

【0042】

特異度算出部１０６は、動き特徴量算出部１０５が算出した各フレームの動き特徴量を用いて、各フレームの特異度を算出する（ステップＳ８０６）。フレームの特異度の算出の詳細は、図１０のフローチャートを用いて、後述する。

【0043】

興味区間特定部１０７は、算出された各フレームの特異度に基づき、動画において興味区間長分の連続するフレームの特異度の合算値が最高となる区間を、動画の興味区間として特定し、興味区間の始点と終点を示す情報を動画に対して付与（インデキシング）する（ステップＳ８０７）。

【0044】

興味区間抽出部１０８は、興味区間特定部１０７が特定した興味区間を動画から抽出し、抽出した興味区間動画を出力部１０９に伝達する。そして、出力部１０９は、伝達された興味区間動画を表示装置１３０に出力する（ステップＳ８０８）。表示装置１３０は、興味区間特定装置１００から伝達された興味区間動画を表示し、ユーザは動画全てを視聴せずとも、興味区間の内容を確認するだけで、動画の内容を認識することができる。

【0045】

次に、図８のステップＳ８０５における動き特徴量の算出についての詳細を説明する。

【0046】

図９は、動き特徴量算出部１０５による動き特徴量の算出動作を示すフローチャートである。

【0047】

動き特徴量算出部１０５は、各フレームにおける領域３０２内の各画素のオプティカルフローを算出する（ステップＳ９０１）。

【0048】

動き特徴量算出部１０５は、各フレームについて算出したオプティカルフローを各フレームにおけるオブジェクトの大きさに基づいて正規化する（ステップＳ９０２）。動き特徴量算出部１０５は、例えば、オブジェクトの顔の大きさ情報を基に、各画素におけるオプティカルフローを、拡大する場合には線形補間を、縮小する場合には縮小元領域の平均をとる方法がある。これは、同じオブジェクトを被写体とした場合でも撮影装置１２０と被写体のオブジェクトとの距離により、動画におけるオブジェクトの大きさが変わるものであり、オブジェクトの動き特徴量を決定する処理において、オブジェクトの大きさは一定であるとして決定しているためである。

【0049】

そして、動き特徴量算出部１０５は、各フレームについて、それぞれのフレームに含まれるオブジェクトに対して定められた領域に含まれる各画素のオプティカルフローの集合からなる動き特徴量を算出する（ステップＳ９０３）。

【0050】

これにより、図６に示すように、各フレームについて動き特徴量が算出される。

【0051】

次に、特異度の算出についての詳細を、図１０及び図１１を用いて説明する。

【0052】

図１０は、特異度算出部１０６による特異度の算出動作を示すフローチャートである。また、図１１は、特異度を算出する際に、用いるフレームを説明するための図である。図１１は、ｘ軸に時間を、ｙ軸に動き特徴量種別と、ｚ軸に特徴量をとった、３次元グラフであり、各時間における動画の各フレームにおけるあるオブジェクトの動き特徴量を示した概念図である。

【0053】

特異度の算出に用いられる動き特徴量について図１１を用いて説明する。特異度を算出する対象となっている対象フレームの特異度は、対象フレームの動き特徴量が、対象フレームの前後の定められた範囲のフレームの動き特徴量からどれだけ似ていないかを示すものである。図１１に示すように、特異度を算出する対象の対象フレームを中心に、その前Ｍ（Ｍは２以上の整数）フレーム及び後ろＭフレームを第１区間とする。また、対象フレームを中心に、その前Ｎ（Ｎは１以上Ｍ未満の整数）フレーム及び後ろＮフレームを第２区間とする。そして、対象フレームの特異度の算出には、対象フレームの動き特徴量と、第１区間から第２区間を除いた第３区間に含まれるフレームの動き特徴量の平均値とを用いる。なお、ここでは、Ｍは３００フレーム、Ｎは６０フレームとする。３００フレームは動画の１０秒、６０フレームは動画の２秒に相当する。

【0054】

以下、図１０のフローチャートを用いて詳細に説明する。

【0055】

特異度算出部１０６は、特異度を算出する対象の対象フレームを決定する（ステップＳ１００１）。これは、動画の全フレームについて特異度が算出されればよいので、動画の初めから終わりまで順番に決定してもよいし、終わりから初めまで逆順に決定してもよいし、ランダムに決定してもよい。ここでは、動画の初めから順に算出することとする。

【0056】

特異度算出部１０６は、対象フレームに含まれる１つのオブジェクトを選択する（ステップＳ１００２）。

【0057】

次に、特異度算出部１０６は、選択したオブジェクトの対象フレームを基準とする第３区間（２Ｍ―２Ｎ）分のフレームの動き特徴量から、平均動き特徴量を算出する（ステップＳ１００３）。

【0058】

具体的には、特異度算出部１０６は、対象フレームｋにおけるオブジェクトＡの動き特徴量を、以下の数１で表す。

【0059】

【数1】

【0060】

そして、対象フレームｋに対して、特異度の比較対象である第３区間のオブジェクトＡの平均動き特徴量を、以下の数２で表すとする。

【0061】

【数2】

【0062】

すると、第３区間のオブジェクトＡの平均動き特徴量は、以下の数３で表すことができる。

【0063】

【数3】

【0064】

なお、ｋ≦Ｎの場合には、対象フレームｋに対して、特異度の算出に用いる、第３区間のオブジェクトＡの平均動き特徴量は、以下の数４で表すことができる。

【0065】

【数4】

【0066】

また、動画における全フレーム数をｆ_maxとした場合、ｆ_max−Ｎ≦ｋのときの対象フレームkにおけるオブジェクトＡの平均動き特徴量は、以下の数５で表すことができる。

【0067】

【数5】

【0068】

そして、特異度算出部１０６は、上記数１に示す数式及び平均動き特徴量を用いて、対象フレームｋにおける選択したオブジェクトのスコアを算出する（ステップＳ１００４）。

【0069】

対象フレームｋにおけるオブジェクトＡのスコアは、以下の数６で表すことができる。

【0070】

【数6】

【0071】

即ち、フレームｋにおけるオブジェクトＡの動き特徴量の絶対値を、フレームｋにおけるオブジェクトＡの動き特徴量とフレームｋに対する第３区間のオブジェクトＡの平均動き特徴量の内積に１を足した値で、除算したものを、フレームｋにおけるオブジェクトＡのスコアとして用いる。

【0072】

特異度算出部１０６は、選択した対称フレームにおいて、全てのオブジェクトについてのスコアを算出したか否かを判定する（ステップＳ１００５）。全てのオブジェクトについてのスコアを算出していない場合には（ステップＳ１００５のＮＯ）、ステップＳ１００２に戻る。

【0073】

全てのオブジェクトについてのスコアを算出していた場合には（ステップＳ１００５のＹＥＳ）、算出した各オブジェクトのスコアを合算して、対象フレームの特異度を算出する（ステップＳ１００６）。

【0074】

次に特異度算出部１０６は、全てのフレームについての特異度を算出したか否かを判定する（ステップＳ１００７）。全てのフレームについての特異度を算出していない場合には（ステップＳ１００７のＮＯ）、ステップＳ１００１に戻る。

【0075】

全てのフレームについての特異度を算出している場合には（ステップＳ１００７のＹＥＳ）、特異度算出の処理を終了する。

【0076】

以上が、興味区間特定装置１００の動作である。

【0077】

興味区間特定装置１００は、上述の構成を備えることにより、動画の中でも、特にオブジェクトの動きの変化が富んでいる部分を興味区間として特定することになるので、ユーザに飽きさせない興味区間を提供することができるようになる。
＜実施の形態２＞
上記実施の形態１においては、オブジェクトの動きの特異性を検出するにあたって、他のフレームにおける同じオブジェクトの動きと比較することで検出することとした。しかし、オブジェクトの特異性を検出する方法はこれに限らない。本実施の形態２においては、上記実施の形態１とは異なる特異性の検出方法を説明する。なお、本実施の形態２においては、上記実施の形態１と共通する内容については、説明を省略し、異なる点について述べることとする。

【0078】

また、本実施の形態２においては、動画には複数のオブジェクトが撮影されていることを前提とする。
＜構成＞
実施の形態２に係る興味区間特定装置１２００は、図１２に示す通り、動画取得部１０１と、オブジェクト検出部１０２と、動き特徴量算出部１０５と、特異度算出部１２０６と、興味区間特定部１２０７と、興味区間抽出部１０８と、出力部１０９とを含む。図１２においては、図２に示す興味区間特定装置１００と同一の機能を果たす機能部については、同一の名称と付番を付し、説明を簡略化もしくは省略する。

【0079】

オブジェクト検出部１０２において、検出されたオブジェクトの情報は、オブジェクト追跡部１０３、領域決定部１０４を経て、動き特徴量算出部１０５に伝達される。

【0080】

動き特徴量算出部１０５は、各フレームについて、オブジェクト検出部１０２により検出された各オブジェクト毎の動き特徴量を算出する。そして、動き特徴量算出部１０５は、算出した動き特徴量を特異度算出部１２０６に伝達する。

【0081】

受付部１２０５は、ユーザからオブジェクト検出部１０２により検出されたオブジェクトの中から選択した特定のオブジェクトの指定を受け付け、当該特定のオブジェクトについての情報を特異度算出部１２０６に伝達する機能を有する。

【0082】

特異度算出部１２０６は、特定のオブジェクトについて、同じフレーム内に撮影されている他のオブジェクトからどれだけ特異であるかを算出する機能を有する。

【0083】

特異度算出部１２０６は、オブジェクト検出部１０２により検出された複数のオブジェクトの中から受付部１２０５から受け付けた特定のオブジェクトを選択する。そして、特定されたオブジェクトの動き特徴量が、他のオブジェクトの動き特徴量から、どれだけ特異であるかを算出する。

【0084】

興味区間特定部１２０７は、特異度算出部１２０６により算出された各フレームにおける特定のオブジェクトの特異度に基づき興味区間を特定する機能を有する。具体的には、興味区間特定部１２０７は、特異度算出部１２０６が算出した各フレームの特異度Ｐの合算値が最も大きい所定期間（興味区間として特定したい動画長であって、例えば、３分間あるいは同等のフレーム数）を興味区間として特定する。
＜動作＞
実施の形態２に係る興味区間特定装置１２００の興味区間を特定する動作について、図１３、図１４のフローチャートを用いて、説明する。なお、図１３、図１４のフローチャートにおいては、興味区間特定装置１２００の動作として、上記実施の形態１に示した興味区間特定装置１００と共通する内容については、図８や図１０などのフローチャートと同じ符号を付与し、説明を割愛する。

【0085】

興味区間特定装置１２００の動き特徴量算出部１０５は、各フレームについて、各オブジェクトの動き特徴量を算出する（ステップＳ８０５）。

【0086】

そして、興味区間特定装置１２００の特異度算出部１２０６は、動画の各フレームから抽出した各オブジェクトについて算出された動き特徴量を受け取り、オブジェクトの特異度を算出する。

【0087】

オブジェクトの特異度の算出方法の詳細は、図１４のフローチャートに示す通りである。

【0088】

対象フレームが決定された後、受付部１２０５は、特異度を算出する対象となる特定のオブジェクトの指定を、ユーザから受け付ける（ステップＳ１４０１）。

【0089】

そして、特異度算出部１２０６は、対象フレームについて、特定のオブジェクトの特異度を算出する（ステップＳ１４０４）。具体的には、特異度算出部１２０６は、指定された特定のオブジェクトについて、特異度を算出する対象の対象フレームに含まれる他のオブジェクトの動き特徴量の平均値からの特異度を算出する。具体的には以下のように算出する。

【0090】

まず、特異度を算出する対象の対象フレームについて、特定されたオブジェクトの動き特徴量を、以下の数７で表すとする。

【0091】

【数7】

【0092】

また、特定されたオブジェクト以外の他のオブジェクトの動き特徴量を、以下の数８で表すとする。

【0093】

【数8】

【0094】

なお、ｋは、他のオブジェクトを識別するためのインデックスである。ここでは、対象フレームにおいてインデックスｎまであるものとする。

【0095】

他のオブジェクトの動き特徴量の平均値ベクトルｂ_k,aveは、以下の数９のように表すことができる。

【0096】

【数9】

【0097】

この時、対象フレームにおける特定されたオブジェクトの特異度Ｐは、以下の数１０で表すことができる。

【0098】

【数10】

【0099】

特異度算出部１２０６は、この特異度Ｐを対象フレームの特異度として算出する（ステップＳ１４０６）。

【0100】

以上のようにして、特異度算出部１２０６は、各フレームにおける特異度を算出する。

【0101】

そして、興味区間特定部１２０７は、特異度算出部１２０６から、各フレームについての特異度を受け取り、所定期間（図７に示す窓７０１の期間）について、特異度の合算値が最も高くなる所定期間を興味区間として特定する。

【0102】

このような構成によって、興味区間特定装置１２００は、例えば、動画が子供たちの運動会での組体操のシーンを撮影したものであった場合に、一人だけ他の子どもとは異なった動きをしているＮＧシーンの抽出に役立つ。即ち、興味区間特定装置１２００は、複数のオブジェクトが同様の動作をしている中で、それら複数のオブジェクトとは異なる動作をしているオブジェクトがあるようなシーンを興味区間として特定することができる。
＜変形例＞
上記実施の形態に従って、本発明に係る興味区間特定装置について説明してきたが、本発明の実施の形態はこれに限られるものではない。以下、本発明の思想として含まれる各種変形例について説明する。

【0103】

（１）上記実施の形態においては、興味区間特定装置１００（１２００）が特定する興味区間の長さは予め定められていることとした。しかし、興味区間長は、固定でなくともよい。

【0104】

例えば、興味区間を抽出する対象となる動画の動画長に対して、所定の割合（例えば一割）の長さであってもよい。

【0105】

あるいは、興味区間特定装置１００（１２００）は、動画の種別に応じて、抽出する興味区間長を変更してもよい。動画の種別とは、バラエティ、スポーツ、ドラマ、ニュースなど、動画の内容のジャンルのことである。この場合、興味区間特定装置は、動画のジャンルに対応付けて、興味区間長を定めた興味区間長テーブルを保持し、動画取得部１０１は、取得した動画のメタデータなどを用いて、動画の種別を特定し、興味区間特定部１０７（１２００）は、保持している興味区間長テーブルにおいて、特定された動画の種別に対応する興味区間長を取得して、その長さの興味区間を特定する。このような構成をとることで、興味区間特定装置１００（１２００）は、動画の種別に応じて、興味区間の適切な長さを特定できれば、より適切な興味区間を特定できるようになる。動画のジャンルが特定できない場合には、ユーザがジャンルを入力して興味区間長を特定してもよいし、予め定めた長さを興味区間長としてもよい。

【0106】

あるいは、興味区間特定装置１００（１２００）は、ユーザが興味区間長を設定するための設定手段（インターフェース）を備えていてもよい。この場合、興味区間特定手段は、ユーザにより設定された興味区間長の興味区間を特定する。興味区間の設定は、直接、興味区間の秒数を入力することとしてもよいし、あるいは、長め、普通、短めというような興味区間長を定めるためのボタンを備えたインターフェースに対する入力で以て決定することとしてもよい。このように、ユーザが望ましい長さの興味区間を特定する構成としてもよい。

【0107】

（２）上記実施の形態においては、各フレームの特異度を算出するための、第１区間及び第２区間の長さは、予め定められていることとした。しかし、第１区間長及び第２区間長は固定でなくともよい。

【0108】

例えば、興味区間特定装置１００（１２００）は、動画の種別に応じて、第１区間長、第２区間長を定めることとしてもよい。動画の種別とは、バラエティ、スポーツ、ドラマ、ニュースなど、動画の内容のジャンルのことである。この場合、興味区間特定装置１００（１２００）は、動画のジャンルに対応付けて、第１区間長及び第２区間長を定めた区間長テーブルを保持し、動画取得部１０１は、取得した動画のメタデータなどを用いて、動画の種別を特定し、特異度算出部１０６（１２０６）は、保持している区間長テーブルにおいて、特定された動画の種別に対応する第１区間長及び第２区間長を取得して、特異度を算出する。このような構成をとることで、興味区間特定装置１００（１２００）は、動画の種別に応じて、第１区間及び第２区間の適切な長さを特定できれば、より的確な値の特異度を算出できるようになる。動画のジャンルが特定できない場合には、ユーザがジャンルを入力して第１区間長及び第２区間長を特定してもよいし、予め定めた長さを第１区間長及び第２区間長としてもよい。

【0109】

あるいは、興味区間特定装置１００（１２００）は、ユーザが第１区間長及び第２区間長を設定するための設定手段（インターフェース）を備えていてもよい。この場合、特異度算出部１０６（１２０６）は、ユーザにより設定された第１区間長の第１区間及び第２区間長の第２区間を用いて、特異度を算出する。

【0110】

（３）上記実施の形態に示した興味区間特定装置１００（１２００）による特異度の算出方法は一例であり、動画におけるオブジェクトの動きの特異さを算出できるのであれば、その他の手法を用いて算出することとしてもよい。

【0111】

例えば、上記実施の形態１においては、フレームの特異度を算出するにあたり、第２区間の動き特徴量を用いないこととしたが、第２区間長を０として、第１区間の対象フレームを除くすべてのフレームの動き特徴量を用いてもよい。

【0112】

あるいは、上記数６、数１０において、分子を１にしてもよい。

【0113】

あるいは、特異度を算出するために用いるフレームの動き特徴量について、特定のフレームの動き特徴量がより反映されるように、フレームに対して算出された特異度に対して重み付けを行ってもよい。

【0114】

更には、上記数６、数１０を変形する以外の手法を用いてもよい。例えば、単純に、対象フレームの動き特徴量と、第３区間の動き特徴量の平均値との内積のみを特異度として用いることとしてもよい。この内積は、０に近いほど、特異性（特異度）が高く、１に近いほど、特異性（特異度）が低いことになる。

【0115】

（４）上記実施の形態においては、興味区間特定装置１００（１２００）は、動画から複数のオブジェクトが検出されている場合には、各オブジェクトの動く特徴量から算出した特異度を合算することで対象フレームの特異度とした。しかし、対象フレームの特異度の算出には別の手法を用いてもよい。

【0116】

即ち、オブジェクト検出部１０２が複数のオブジェクトを検出している場合には、オブジェクトそれぞれに算出された特異度に対して、重み付けを行った上で、対象フレームの特異度として算出することとしてもよい。

【0117】

例えば、動画から３つのオブジェクトＡ、Ｂ、Ｃが検出されたとし、それぞれのオブジェクトの対処フレームにおける特異度がＰ_A、Ｐ_B、Ｐ_Cと算出されたとする。また、興味区間特定装置１００（１２００）は、オブジェクト検出部１０２が検出したオブジェクトが何であるかを特定するためのオブジェクト特定部を備えることとする。そして、オブジェクトの特定には、各種オブジェクトの特徴を示す分類器を用いる。興味区間特定装置１００（１２００）は、オブジェクトに対する重み付けを行うためのオブジェクト分類表を保持し、オブジェクト分類表には、オブジェクトの内容（人物、動物、建築物など）に応じて重み付け値が対応付けられている。オブジェクト分類表において、オブジェクトＡ、Ｂ、Ｃに対する重み付け値が、それぞれ、Ｗ_A、Ｗ_B、Ｗ_Cであるとする。すると、この場合、特異度算出部１０６は、対象フレームの特異度を、Ｐ_A×Ｗ_A＋Ｐ_B×Ｗ_B＋Ｐ_C×Ｗ_Cと算出する。興味区間特定装置１００（１２００）は、このような構成をとって、検出されるオブジェクトに応じた特異度を算出して、興味区間を抽出することとしてもよい。

【0118】

このとき、あるオブジェクトＡが、その動画において、中心に撮影されていたとする。つまり、オブジェクトＡに相当する人物を主人公としてその動画が撮影されているとする。そのような場合には、オブジェクトＡの動きの特異度が中心となるように興味区間が特定されるのが望ましい。

【0119】

そこで、興味区間特定装置１００（１２００）は、上記実施の形態２のように受付部１２０５を備え、受付部１２０５が、ユーザからオブジェクトＡが動画の中心であるとの指定を受けているとする。すると、興味区間特定装置１００（１２００）は、オブジェクトＡの重みが大きくなるよう、Ｗ_Aを例えば、１．５に設定し、その他の重みを０．５に設定する。このように、特定のオブジェクト優先の興味区間特定を実行することもできる。なお、ここでは、オブジェクトＡの重みを１．５、その他を０．５としているが、この数値は一例であり、オブジェクトＡの重みが、その他のオブジェクトの重みより重ければよい。

【0120】

また、興味区間特定装置１００（１２００）は、次のように重みを決定してもよい。上述では、オブジェクトＡの指定をユーザから受け付けることとしている。しかし、以下のようにして、興味区間特定装置１００（１２００）がオブジェクトＡを指定してもよい。

【0121】

興味区間特定装置１００（１２００）は、興味区間を抽出しようとする動画以外の動画を複数記憶する記録媒体を備えているものとする。あるいは、複数の動画を記憶する興味区間特定装置１００外部にある記録媒体（ネットワーク上のメモリであってもよい）にアクセスする機能を有するものとする。

【0122】

そして、記録媒体に記録されている複数の動画から１以上のオブジェクトを検出する。ここで、オブジェクトを検出するフレームは、各動画の任意のフレームから抽出する。即ち、全てのフレームから抽出してもよいし、ランダムに選択した１以上のフレームから抽出することとしてもよい。そして、検出された１以上のオブジェクトについて、同じオブジェクトであるか否かを判定するために、検出された各オブジェクトの特徴量に従って、クラスタリングする。

【0123】

そして、興味区間特定装置１００（１２００）は、そのようにクラスタリングされて得られる各クラスタを、１つの同一のオブジェクトであると認定する。

【0124】

そして、各クラスタについて、各クラスタに属するノード（オブジェクトの特徴量）の個数が最も多いものが、興味区間特定装置１００のユーザにとって重要なオブジェクト（被写体）であるとして、上述のオブジェクトＡを特定してもよい。

【0125】

なお、ここで、最も多いものをオブジェクトＡとして特定しているが、これは、予め所定のノードの個数を閾値として定めておき、この閾値を超えたクラスタに対応するオブジェクトについて、特異度の重み付けを行うこととしてもよい。このときの重み付けは、閾値を超えたクラスタに対応するオブジェクトの重みが、他のオブジェクトの重みよりも大きくなればよい。また、この場合には、閾値を超えたクラスタに対応するオブジェクト複数について重み付けを実行することもあるが、この重み付けは、均一の値であってもよいし、ノードの個数の多かったものから順に予め定めた重み値を乗じてもよいし、閾値を超えたものについて重み付け値の傾斜配分（重み値の総量を定めて、閾値を超えたオブジェクトについて、それぞれのクラスタに属するノードの個数に応じて、前述の総量を配分する）を行って、重み値を乗じてもよい。

【0126】

あるいは、動画の中心となるものは、フレームの中心部分に撮影されていることが多いため、検出されたオブジェクトそれぞれについて、中心部分に撮影されているかを判定して重みを決定することとしてもよい。

【0127】

例えば、フレーム内の（Ｘ１、Ｙ１）‐（Ｘ２（Ｘ２＞Ｘ１）、Ｙ２（Ｙ２＞Ｙ１））（Ｘ１、Ｘ２、Ｙ１、Ｙ２はフレームにおける画素の座標値）を対角線とする長方形の範囲内をフレームの中心部分と定め、各オブジェクトがその中心部分内にあるか否かを判定する。そして、中心部分内にあるオブジェクトの重みを１とし、中心部分外にあるオブジェクトの重みを０とする。ここで、中心部分内のオブジェクトの重みが中心部分外のオブジェクトの重みよりも大きければよく、１や０に限定するものではない。なお、オブジェクトが中心部分内と中心部分外とに跨る場合には、オブジェクトの占める面積の多い方に該当するものと定める。興味区間特定装置１００（１２００）は、このようにして重みを決定する構成を有してもよい。

【0128】

（５）上記実施の形態においては、興味区間特定部１０６（１２０６）による興味区間の特定手法として、所定期間に含まれるフレームそれぞれの特異度の合算値が最大となる所定期間を興味区間として特定することとした。しかし、興味区間の特定手法はこれに限るものではなく、動きの特異な区間を特定できるのであれば、その他の手法を用いることとしてもよい。

【0129】

例えば、連続するフレームについて、あるフレームとその次のフレームとの動き特徴量の差分が、所定の閾値を超える箇所を特定し、その箇所を最も多く含む所定期間を興味区間として特定してもよい。

【0130】

あるいは、動画における連続するフレーム間の動き特徴量の差分値を全て求め、その差分値の合算が最大となる所定期間を特定し、その所定期間を特定するために用いられた差分値を算出するのに用いた動き特徴量に対応するフレーム全てを含む期間を興味区間として特定してもよい。

【0131】

（６）上記実施の形態においては、興味区間特定装置１００（１２００）は、動画から一つの興味区間を特定することとなる。しかしながら、動画から特定される興味区間は、一つでなくともよい。

【0132】

例えば、興味区間特定装置１００（１２００）は、特異度の合算値が所定の閾値を超える所定期間を特定し、これらを全て興味区間としてもよい。このとき、特異度の合算値ではなく、平均値を所定の閾値と比較することとしてもよい。このような構成によって、複数の興味区間を抽出できるようになる。なお、この条件を満たす２つの所定期間が互いに重複しあう場合には、早い方の所定期間の始点を興味区間の始点とし、遅い方の所定期間の終点を興味区間の終点とする予め定められている長さを超える興味区間を特定することとしてもよい。

【0133】

また、複数の興味区間を特定する場合には、出力部１０９は、これらの複数の興味区間をつなぎ合わせたダイジェスト映像を出力することとしてもよい。ダイジェスト映像の作成は、興味区間抽出部１０８が実行すればよい。

【0134】

これにより、興味区間特定装置１００（１２００）の利便性を向上させることができる。

【0135】

（７）上記実施の形態においては、特異度算出部１０６（１２０６）は、全てのフレームの特異度を算出し、興味区間特定部１０７（１２０７）は、全てのフレームの特異度に基づき興味区間を特定することとした。しかし、これは一例であり、ある程度、興味区間を特定できるのであれば、全てのフレームの特異度を算出せずともよい。

【0136】

例えば、特異度算出部１０６（１２０６）は、動画の各フレームについて、偶数番あるいは奇数番のフレームの特異度のみを算出することとしてもよいし、特定数のフレーム毎にそのフレームの特異度のみを算出することとしてもよい。即ち、特異度算出部１０６（１２０６）は、動画のフレームを間引いて、特異度を算出してもよい。そして、興味区間特定部１０７（１２０７）は、特異度が算出されたフレームのみを用いて、興味区間を特定することとしてもよい。

【0137】

このような構成をとることで、興味区間特定装置は、特定する興味区間の精度は、全てのフレームの特異度を算出した場合に比して落ちるものの、興味区間特定装置１００（１２００）の算出処理の負担を低減するとともに、興味区間を特定するに至るまでの時間を短縮することができる。

【0138】

（８）上記実施の形態１においては、対象フレームの動き特徴量が、第３区間の各フレームの動き特徴量からみて、どれほど特異であるかを算出することとしたが、これは、第３区間の各フレームではなく、対象フレームを除く動画全体の各フレームの動き特徴量からみた特異性であってもよい。

【0139】

（９）上記実施の形態においては、オブジェクト追跡部１０３によるオブジェクトの追跡は、あるフレームにおけるオブジェクトと次のフレームにおけるオブジェクトとの位置（フレームにおけるオブジェクトの座標位置）の近いものを同一のオブジェクトとして追跡することとした。しかし、オブジェクトの追跡には、これ以外の手法を用いてよく、オブジェクトの追跡は、オブジェクト検出部１０２が検出した各フレームについて、あるフレームとその次のフレームにおいて検出されたオブジェクト間の類似性を算出することで行われてもよい。当該類似性は、検出された各オブジェクトについて、例えば、ガボールフィルタなどを用いることにより得られる画像特徴量の類似性を算出することで得られる。

【0140】

このような手法によっても、フレーム間のオブジェクトの同定を実行できる。

【0141】

（１０）上記実施の形態においては、領域決定部１０４が決定する領域３０２は、オブジェクト検出部１０２が検出したオブジェクト（顔）と、それに付随するはずの体とを含むこととした。しかし、この領域３０２は、これ以外の範囲であってもよく、例えば、検出するオブジェクトを人物の顔とした場合、動きを評価すべき領域も同様に顔の領域（図３で言えば領域３０２ａのみ）にしてもよい。つまり、オブジェクト検出部１０２で検出されたオブジェクトの領域の一部を含むような領域でも良いし、上記実施の形態のように、検出されたオブジェクトの領域を包含するような領域としても良い。

【0142】

（１１）上記実施の形態においては、興味区間特定部１０７（１２０７）は、窓７０１に含まれるフレームの特異度を合算し、その合算値が最も高くなるところを興味区間として特定することとした。しかし、これは単純な合算ではなく、その他の計算を行ってもよい。

【0143】

例えば、窓７０１に含まれるフレームのうち、後方のフレームの特異度に対して重み付けを行ってから合算してもよい。このような構成にすると、オブジェクトの動きについて変化に富んだ区間が前半よりも後半に存在するような興味区間を抽出しやすくなる。

【0144】

（１２）上記実施の形態においては、動き特徴量算出部１０５が、オブジェクトの動きを評価するための領域を基にオブジェクトの動き特徴量を算出する方法として、動きを評価すべき領域内における各画素のオプティカルフローを算出し、それらの情報を並べたものを動き特徴量とする方法を例として説明したが、これ以外の手法を用いてもよい。

【0145】

例えば、画像全体のオプティカルフローを算出し、それらの平均値を領域内の各画素から減算してもよい。こうすることで、例えば、オブジェクト自体が動いているわけではないが映像が左右にパンすることで算出されてしまうオプティカルフローの影響を軽減することができる。また、動きを評価すべき領域内における各画素の輝度の前後フレームにおける差分値を算出し、それらの情報を並べたものを動き特徴量としても良い。また、各フレームにおける動きを評価すべき領域の大きさをもとに撮影装置１２０とオブジェクトとの距離を推定し、その情報を動き特徴量として加えても良い。

【0146】

また、動き特徴量として、オプティカルフローではなく、輝度変化量を用いることとしてもよい。

【0147】

（１３）上記実施の形態においては、領域の動き特徴量は、領域３０２の一段目左端から右端、二段目左端から右端、・・・、Ｎ段目左端から右端、・・・、領域３０２の下端の左端から右端の順に並べた各画素のオプティカルフローの集合であるとしたが、オプティカルフローの順序は、この限りではない。各フレームのオブジェクトについて、その動き特徴量の画素の並び順が共通であれば、その他の順序であってもよい。例えば、領域３０２の一段目右端から左端、二段目右端から左端、・・・、Ｎ段目右端から左端、・・・、領域３０２の下端の右端から左端の順に並べたものであってもよいし、下端から上端方向への並びであってもよい。

【0148】

（１４）上記実施の形態において、興味区間特定部１０７（１２０７）は、動画に対して特定した興味区間の始点及び終点を示す始点タグと終点タグとを付与することとした。しかし、興味区間の区間長が固定である場合には、いずれか一方のみを付与する構成をとってもよい。一方のタグが付されることでそこから興味区間長だけ離れたところ（始点タグが付与されている場合は、そこから興味区間長だけ後、終点タグが付与されている場合は、そこから興味区間長だけ前）が興味区間の端点になる。

【0149】

（１５）上記実施の形態には示していないが、興味区間特定装置１００（１２００）は、動画取得部１０１が取得した動画、興味区間特定部１０７（１２０７）が興味区間の始点と終点を示す情報のインデキシングを実行した動画、興味区間抽出部１０８が抽出した動画等を記憶する記憶部を備えていてもよい。記憶部は、例えば、ＨＤＤ（Hard Disc Drive）やＳＳＤ（Solid State Drive）フラッシュメモリなどにより実現される。

【0150】

（１６）上記実施の形態においては、興味区間特定装置１００（１２００）は、撮影装置１２０から動画を取得することとしたが、これは、撮影装置１２０以外から取得することとしてもよい。

【0151】

例えば、興味区間特定装置１００にＵＳＢフラッシュメモリドライブを搭載して、ＵＳＢフラッシュメモリに記憶されている動画を取得することとしてもよいし、あるいは、興味区間特定装置１００（１２００）にネットワーク通信機能を搭載して、インターネットから動画をダウンロードして取得することとしてもよい。

【0152】

（１７）上記実施の形態においては、出力部１０９は、表示装置１３０に抽出した興味区間の動画を出力することとしたが、出力先は、表示装置１３０に限るものではない。

【0153】

例えば、興味区間特定装置１００（１２００）に接続されたＵＳＢフラッシュメモリに出力して記憶させることとしてもよいし、インターネットにアップロードすることとしてもよい。

【0154】

また、出力部１０９は、興味区間部分の動画のみを出力するのではなく、興味区間の始点と終点を示す情報をインデキシングした動画全体を出力することとしてもよい。

【0155】

（１８）上記実施の形態においては、興味区間特定装置１００（１２００）は、オブジェクトの動きの大きい区間を興味区間として抽出することになっているが、この場合、動画において場面が転換してしまったために、大きな動きが検出されてしまっている場合も考えられる。

【0156】

そこで、興味区間特定装置１００（１２００）は、動き特徴量の変化が所定の閾値以上に大きい場合に、場面転換が発生したものと判断し、興味区間を抽出する対象の動画をその点で分割し、２つになった動画から興味区間を抽出することとしてもよい。この場面転換の検出は動き特徴量の変化ではなく、特異度の変化が所定の閾値以上に大きい場合を判断基準としてもよい。

【0157】

（１９）上記実施の形態２においては、特定のオブジェクトの指定をユーザから受け付けて、この特定のオブジェクトの特異度を算出し、対象フレームの特異度とする構成を示した。

【0158】

しかし、ユーザからの特定のオブジェクトの指定を受け付けないことも考えられる。このような場合には、特定のオブジェクトを興味区間特定装置１２００が選択する構成をとる。即ち、ユーザから特定のオブジェクトの指定を受け付ける受付部１２０５に換えて、予め定められたアルゴリズムに従ってオブジェクトを選択するオブジェクト選択部を備える構成としてもよい。

【0159】

具体的には、以下のような手法を採用するとよい。

【0160】

興味区間特定装置１２００のオブジェクト検出部１０２は、入力された動画について、各フレーム毎に、フレームに含まれる各オブジェクトを検出する。そして、動き特徴量算出部１０５は、検出された各オブジェクトの動き特徴量を算出する。

【0161】

そして、特異度算出部１２０６は、まず、各フレームに含まれる全オブジェクトの動き特徴量の平均値を算出する。そして、次に、各フレームに対して、そのフレームに含まれる各オブジェクトの動き特徴量と算出された平均値との距離を算出する。この距離が、所定の閾値以上に離れているオブジェクトをそのフレームにおいて、特異な動きをしているオブジェクトであるとして、そのオブジェクトを特定のオブジェクトとして選択する。

【0162】

そして、当該特定のオブジェクトに対して、上記実施の形態２で示した手法を用いて、特異度を算出しての興味区間の特定を行ってもよい。なお、ここで、興味区間の特定にあたっては、上記実施の形態２以外の手法を用いてもよく、特定のオブジェクトを選択するために算出した距離の合算値が最も大きい所定区間を興味区間として特定してもよい。なお、ここでは、距離の合算値としているが、興味区間の特定手法としては、例えば、距離が最も大きかったフレームを中心とする前後所定期間分の動画を興味区間として特定してもよい。

【0163】

また、オブジェクト選択部は、補足（４）に記載したオブジェクトＡの特定手法のように、興味区間を特定する動画以外の動画に多く含まれるオブジェクトを特定のオブジェクトとして、選択することとしてもよい。

【0164】

（２０）上記実施の形態に示した構成及び各種変形例に示した構成を組み合わせることとしてもよい。

【0165】

（２１）上述の実施形態で示した通信に係る動作、興味区間特定処理等（図８〜図１０、図１３〜図１４参照）を興味区間特定装置あるいは興味区間特定装置を搭載したＤＶＤプレーヤやＢＤプレーヤなどの録画再生装置等のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路等を介して流通させ頒布させることもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ等がある。流通、頒布された制御プログラムはプロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより、実施形態で示したような各種機能が実現されるようになる。

【0166】

（２２）上記実施の形態に示した興味区間特定装置１００（１２００）が実行した処理内容について、ネットワーク上のクラウドサーバ等の他のコンピュータや装置に処理を依頼して、上記実施の形態に示す興味区間の特定を実現してもよい。

【0167】

例えば、興味区間特定装置１００（１２００）が保持していたオブジェクト検出部１０２が有する動画からのオブジェクトの検出を、例えば、クラウドサーバが実行することとしてもよい。この場合、クラウドサーバは、検出したオブジェクトについての情報を動画に付与し、当該情報が付与された動画を興味区間特定装置１００（１２００）は受け取る。そして、興味区間特定装置１００（１２００）はオブジェクト追跡部１０３に検出されたオブジェクトの情報が付与された動画を入力して、以降の処理を実行させる。

【0168】

あるいは、特徴量検出を他の装置に依頼することとしてもよい。例えば、オブジェクト検出部１０２は、オブジェクトを検出した動画について、検出したオブジェクトの情報を動画に付与する。そして、興味区間特定装置１００（１２００）は、オブジェクトの情報を付与した動画を、例えば、クラウドサーバに送信する。クラウドサーバは、送信されてきたオブジェクトの情報が付与された動画を用いて、オブジェクト追跡部１０３、領域決定部１０４及び動き特徴量算出部１０５が有する機能を実行する。そして、クラウドサーバは、各フレームの各オブジェクトについて特徴量の情報を動画に付与し、興味区間特定装置１００（１２００）に送信する。そして、興味区間特定装置１００（１２００）は、特異度算出以降の処理を実行する。

【0169】

このように、興味区間の特定にあたって、必要な処理の一部を興味区間特定装置１００（１２００）外の外部装置に依頼することとしてもよい。その場合に、例示したように、興味区間特定装置１００（１２００）と外部装置間で、それぞれにおいて処理に必要なデータの送受信が実行される。

【0170】

（２３）上述の実施の形態で示した各機能構成要素は、その機能を実現する回路として実現されてもよいし、１又は複数のプロセッサによりプログラムを実行することで実現されてもよい。また、上述の実施の形態の興味区間特定装置１００（１２００）は、ＩＣ、ＬＳＩその他の集積回路のパッケージとして構成されるものとしてもよい。このパッケージは各種装置に組み込まれて利用に供され、これにより、各種装置は、各実施の形態で示したような各機能を実現するようになる。

【0171】

なお、各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることができる可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
＜補足＞
ここで、本実施の形態に係る興味区間特定装置の一実施形態の構成と、各構成により奏する効果について説明する。

【0172】

（ａ）本発明に係る興味区間特定装置は、動画においてユーザが興味を覚えると推測される興味区間を特定する興味区間特定装置であって、前記動画から抽出したフレームからオブジェクトを検出するオブジェクト検出手段と、前記抽出したフレームに対する前記オブジェクトの動き特徴量を算出する動き特徴量抽出手段と、前記オブジェクトの動き特徴量を用いて、前記抽出したフレームにおける前記オブジェクトの動きの特異度を算出する特異度算出手段と、前記特異度を用いて、前記動画における前記興味区間を特定する興味区間特定手段とを備えることを特徴としている。

【0173】

また、本発明に係る興味区間特定方法は、動画においてユーザが興味を覚えると推測される興味区間を特定する興味区間特定装置による興味区間特定方法であって、前記動画から抽出したフレームからオブジェクトを検出するオブジェクト検出ステップと、前記抽出したフレームに対する前記オブジェクトの動き特徴量を算出する動き特徴量抽出ステップと、前記オブジェクトの動き特徴量を用いて、前記抽出したフレームにおける前記オブジェクトの動きの特異度を算出する特異度算出ステップと、前記特異度を用いて、前記動画における前記興味区間を特定する興味区間特定ステップとを含むことを特徴としている。

【0174】

また、本発明に係る興味区間特定プログラムは、動画においてユーザが興味を覚えると推測される興味区間を特定する興味区間特定処理をコンピュータに実行させる興味区間特定プログラムであって、前記興味区間特定処理は、前記動画から抽出したフレームからオブジェクトを検出するオブジェクト検出ステップと、前記抽出したフレームに対する前記オブジェクトの動き特徴量を算出する動き特徴量抽出ステップと、前記オブジェクトの動き特徴量を用いて、前記抽出したフレームにおける前記オブジェクトの動きの特異度を算出する特異度算出ステップと、前記特異度を用いて、前記動画における前記興味区間を特定する興味区間特定ステップとを含むことを特徴としている。

【0175】

これにより、興味区間特定装置は、動画の中で、オブジェクトの動きが特異なフレームを特定できるので、ユーザにとって飽きさせない内容の興味区間を特定することができる。特定された興味区間は、ダイジェスト映像の作成や、モニタに表示させて動画の内容をユーザに認識させるための利用に供される。

【0176】

（ｂ）上記（ａ）の興味区間特定装置において、前記オブジェクト検出手段は、前記動画に含まれる複数のフレームから前記オブジェクトを検出し、前記動き特徴量抽出手段は、前記複数のフレーム各々における前記オブジェクトの動き特徴量を抽出し、前記特異度算出手段は、前記複数のフレーム各々について、当該フレームにおける前記オブジェクトの動き特徴量の、他のフレームにおける前記オブジェクトの動き特徴量からの特異度を算出することとしてもよい。

【0177】

これにより、興味区間特定装置は、時間軸方向でオブジェクトが特異な動きをしている場合に、そのシーンを含む興味区間を特定することができる。

【0178】

（ｃ）上記（ｂ）の興味区間特定装置において、前記特異度算出手段は、前記オブジェクトの特異度を算出する対象となる対象フレームについて、前記対象フレームにおけるオブジェクトの動き特徴量と、前記対象フレーム以外の複数のフレームにおける前記オブジェクトの動き特徴量の平均との内積に基づいて特異度を算出することとしてもよい。

【0179】

対象フレームの動き特徴量と、その他のフレームの動き特徴量の平均値との内積をとることで、対象フレームにおけるオブジェクトの動きが、その他のフレームにおけるオブジェクトの動きとどれだけ似ていないかの指標として用いることができ、特異度を算出するのに適した指標となる。対象フレームにおけるオブジェクトの動きは、内積が０に近いほど、その他のフレームにおけるオブジェクトの動きに似ていないことになる。

【0180】

（ｄ）上記（ｃ）の興味区間特定装置において、前記特異度算出手段は、前記動画中の前記対象フレームを含む所定の第１区間に含まれるフレームの動き特徴量を用いて、前記対象フレームにおける前記オブジェクトの動きの特異度を算出することとしてもよい。

【0181】

これにより、動画に含まれるフレームについて、そのフレームの他のフレームからの特異性を算出することができ、興味区間を特定するための指標に用いることができる。また、動画全体ではなく、第１区間の動き特徴量に限定することで、興味区間特定装置による算出処理の負荷を軽減することができる。

【0182】

（ｅ）上記（ｄ）の興味区間特定装置において、前記特異度算出手段は、前記対象フレームの前記オブジェクトの動き特徴量の、前記第１区間から前記対象フレームを含み前記第１区間よりも短い第２区間を除いた第３区間に含まれる各フレームにおける前記オブジェクトの動き特徴量の平均値からの、特異度を算出することとしてもよい。

【0183】

これにより、第２区間分のフレームの動き特徴量を算出対象から除外することで、興味区間特定装置は、興味区間に第２区間分の単調な動きが含まれることを許容することができる。単調な動きであっても、数秒程度であれば、ユーザはそれを見ることに苦痛を覚えないので、そのような区間が興味区間に含まれても良いようにすることができる。

【0184】

（ｆ）上記（ｅ）の興味区間特定装置において、前記特異度算出手段は、前記第２区間の区間長を、前記第１区間の区間長に応じて、定めることとしてもよい。

【0185】

興味区間が長ければ、その分だけ、多少単調な動きの部分が含まれていても、ユーザにとって苦痛ではなくなるため、この構成により、興味区間特定装置は、第１区間の長さに応じた適切な長さの第２区間を設定できるようになる。

【0186】

（ｇ）上記（ｅ）の興味区間特定装置において、前記興味区間特定装置は、更に、前記第２区間をユーザが設定するための設定手段を備えることとしてもよい。

【0187】

これにより、興味区間特定装置は、ユーザの嗜好に応じた興味区間を特定できるようになる。

【0188】

（ｈ）上記（ｄ）の興味区間特定装置において、前記特異度算出手段は、前記第１区間の区間長を、前記動画の動画長に基づいて定めることとしてもよい。

【0189】

これにより、興味区間特定装置は、動画の長さに応じて、特異度を算出するための第１区間を定めることができる。

【0190】

（ｉ）上記（ｄ）の興味区間特定装置において、前記興味区間特定装置は、更に、前記第１区間をユーザが設定するための設定手段を備えることとしてもよい。

【0191】

これにより、興味区間特定装置は、ユーザの嗜好に応じた興味区間を特定できるようになる。

【0192】

（ｊ）上記（ａ）の興味区間特定装置において、前記興味区間特定装置は、各フレームに対して算出された前記オブジェクトの特異度を用いて、前記動画において、所定期間内に含まれる各フレームの特異度の合算値が、最大となる所定期間を前記興味区間として特定することとしてもよい。

【0193】

これにより、興味区間特定装置は、オブジェクトが特異な動きを多くしている興味区間を特定できるようになる。

【0194】

（ｋ）上記（ａ）の興味区間特定装置において、前記特異度算出手段は、前記オブジェクトの動き特徴量の、前記フレームに含まれる他のオブジェクトの動き特徴量からの、特異度を算出することとしてもよい。

【0195】

これにより、興味区間特定装置は、フレーム内で他のオブジェクトから特異な動きをするオブジェクトがあるフレームを含む区間を興味区間として特定することができる。

【0196】

（ｌ）上記（ｋ）の興味区間特定装置において、前記特異度算出手段は、前記オブジェクトの動き特徴量の、前記フレームに含まれる他のオブジェクトが複数ある場合に、他のオブジェクトの動き特徴量の平均値からの特異度を算出することとしてもよい。

【0197】

これにより、興味区間特定装置は、他のオブジェクトが複数あっても、興味区間を特定するために用いる特異度を算出することができる。この構成をとると、興味区間特定装置は、特に同じシーン内で複数の人物が同じ動きをしている中で、一人だけ的外れな動きをしている場合などのＮＧシーンを興味区間として特定することができる。

【0198】

これにより、興味区間特定装置は、特に動きの激しく、特異性の高い区間を興味区間として特定することができる。

【0199】

（ｍ）上記（ａ）の興味区間特定装置において、前記興味区間特定手段は、更に、特定した興味区間の始点と終点を示す情報を前記動画にインデキシングすることとしてもよい。

【0200】

これにより、興味区間特定装置は、興味区間の情報を含む動画を提供することができる。興味区間に関する情報がインデキシングされていることにより、例えば、動画の再生時の再生位置指定（スキップの飛び先の指定）に用いることができる。

【0201】

（ｎ）上記（ａ）の興味区間特定装置において、前記興味区間特定装置は、更に、前記興味区間特定手段が特定した興味区間を前記動画から抽出する抽出手段と、前記抽出手段が抽出した興味区間が複数ある場合に、複数の興味区間をつなぎ合わせたダイジェスト映像を作成するダイジェスト作成手段とを備えることとしてもよい。

【0202】

これにより、興味区間特定装置は、動画からダイジェスト映像を作成できるようになるので、ユーザは動画の内容を、作成されたダイジェスト映像を視聴することで、容易に認識することができる。

【0203】

（ｏ）上記（ａ）の興味区間特定装置において、前記興味区間特定装置は、更に、前記オブジェクトを抽出したフレームにおける場所を検出するオブジェクト位置検出手段と、前記オブジェクトの動きを評価するための各フレームにおける前記オブジェクトを含む領域を決定する領域決定手段とを備え、前記動き特徴量抽出手段は、各フレームの前記領域内における特徴点各々の動き特徴量の平均値から各フレームにおける前記オブジェクトの動き特徴量を算出することとしてもよい。

【0204】

フレームの中でも、オブジェクトに基づく領域を特定して、その領域の動きを用いることで、興味区間特定装置は、フレーム全体の動きを用いるよりも、オブジェクトの動きの特異性を検出しやすくすることができる。

【0205】

（ｐ）上記（ａ）の興味区間特定装置において、前記特異度算出手段は、前記オブジェクト検出手段が複数のオブジェクトを検出した場合に、それぞれのオブジェクトに対して算出される動き特徴量に対して重み付けを行って、前記特異度を算出することとしてもよい。

【0206】

これにより、検出されるオブジェクトの内容に応じて、動き特徴量に重み付けを行って特異度を算出することから、ユーザが注目しているオブジェクトを重点的に追えるような興味区間を特定することができる。

【0207】

（ｑ）上記（ｐ）の興味区間特定装置において、前記特異度算出手段は、フレームの特定範囲内に存在するオブジェクトに対して、前記特定範囲外にあるオブジェクトよりも重い重み付けを行うこととしてもよい。

【0208】

これにより、通常中心となるオブジェクトが動画の中心部分に撮影されていることが多いことから、例えば、特定範囲をフレーム中心部分に設定することで、動画の中心となるオブジェクトに対する重み付けを容易に行って、興味区間を特定することができる。

【0209】

（ｒ）上記（ｐ）の興味区間特定装置において、前記興味区間特定装置は、更に、フレームから検出された特定のオブジェクトの指定を受け付ける受付手段を備え、前記特異度算出手段は、前記受付手段で受け付けた特定のオブジェクトに対して、他のオブジェクトよりも重い重み付けを行うこととしてもよい。

【0210】

これにより、指定されたオブジェクトに対する重み付けを行うことができる。例えば、ユーザが動画の中心であると想定しているオブジェクトを指定した場合に、このオブジェクトに対する重み付けを行って、当該オブジェクトの特異な動きがある興味区間を特定することができる。したがって、当該ユーザにとって興味深い興味区間を特定することができる。

【0211】

（ｓ）上記（ｒ）の興味区間特定装置において、前記興味区間特定装置は、更に、前記動画以外の１以上の他の動画を保持する記憶手段を備え、前記受付手段は、前記１以上の他の動画に多く含まれるオブジェクトを、前記特定のオブジェクトとして受け付けることとしてもよい。

【0212】

これにより、興味区間特定装置は、ユーザからの指定なしでも、特定のオブジェクトを選択して、当該オブジェクトに対する重み付けを実行できる。興味区間特定装置に、ユーザが複数の撮影した動画を保持していた場合、このユーザにとって興味をひく対象が多数撮影されている可能性が高い。そのため、他の複数の動画に多く撮影されているオブジェクトは、ユーザにとって興味深いオブジェクトであると特定することができる。

【0213】

（ｔ）上記（ａ）の興味区間特定装置において、前記動き特徴量は、オプティカルフローであることとしてもよい。

【0214】

これにより、動き特徴量として、広範に知られるオプティカルフロー（動きベクトル）を用いることで、興味区間特定装置の汎用性を高めることができる。

【産業上の利用可能性】

【0215】

本発明に係る興味区間特定装置は、動画からダイジェスト映像を作成するための装置として、例えば、ＤＶＤプレーヤ、ＢＤプレーヤなどの録画再生装置などに活用することができる。

【符号の説明】

【0216】

１００、１２００ 興味区間特定装置
１０１ 動画取得部
１０２ オブジェクト検出部
１０３ オブジェクト追跡部
１０４ 領域決定部
１０５ 動き特徴量算出部
１０６、１２０５ 特異度算出部
１０７、１２０７ 興味区間特定部
１０８ 興味区間抽出部
１０９ 出力部
１２０ 撮影装置
１３０ 表示装置
１２０５ 受付部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】