特許 5991488 相違領域検出システム及び相違領域検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5991488

(24)【登録日】2016年8月26日

(45)【発行日】2016年9月14日

(54)【発明の名称】相違領域検出システム及び相違領域検出方法

(51)【国際特許分類】

   G06T 7/20 20060101AFI20160901BHJP

   G06T 7/00 20060101ALI20160901BHJP

【ＦＩ】

   G06T7/20 C

   G06T7/00 300E

【請求項の数】14

【全頁数】20

(21)【出願番号】特願2012-556754(P2012-556754)

(86)(22)【出願日】2011年11月28日

(86)【国際出願番号】JP2011077376

(87)【国際公開番号】WO2012108088

(87)【国際公開日】20120816

【審査請求日】2014年10月9日

(31)【優先権主張番号】特願2011-27429(P2011-27429)

(32)【優先日】2011年2月10日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100109586

【弁理士】

【氏名又は名称】土屋 徹雄

(72)【発明者】

【氏名】野村 俊之

(72)【発明者】

【氏名】岩元 浩太

(72)【発明者】

【氏名】間瀬 亮太

(72)【発明者】

【氏名】藤田 直毅

(72)【発明者】

【氏名】高井 良輔

(72)【発明者】

【氏名】小澤 隆人

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２０００−２４２７９５（ＪＰ，Ａ）

【文献】 特開２００５−２０２９２１（ＪＰ，Ａ）

【文献】 特開２００７−２７９８１３（ＪＰ，Ａ）

【文献】 特開２００８−２８２３１６（ＪＰ，Ａ）

【文献】 国際公開第２０１０／０８４７１４（ＷＯ，Ａ１）

【文献】 特表平０８−５００４７１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−７／６０

(57)【特許請求の範囲】

【請求項1】

第１の画像内における複数の部分領域のそれぞれに対応する特徴量の集合である第１の特徴量ベクトルと、前記第１の画像と同一性があるとみなされた第２の画像内における前記複数の部分領域のそれぞれに対応する特徴量の集合である第２の特徴量ベクトルとに基づいて、前記第１及び第２の画像間における、前記特徴量の前記部分領域ごとの差分を示す画像間差分情報を生成する差分情報生成部と、
前記画像間差分情報によって示される、各部分領域における前記差分に基づいて、前記第１及び第２の画像間において相違のある画像領域である相違領域を検出し、検出結果を示す検出情報を出力する相違領域検出部と、
前記検出情報に基づいて、前記第１及び第２の画像間における前記相違領域の位置を識別可能に表示する検出結果出力部と、
を備える相違領域検出システム。

【請求項2】

請求項１に記載の相違領域検出システムであって、
前記部分領域は、少なくとも１つの分割領域を含み、
前記相違領域検出部は、前記画像間差分情報に基づいて、各部分領域の各分割領域に対して前記差分に応じた差分値を割り当てることにより、前記分割領域を単位として前記相違領域を検出する、
相違領域検出システム。

【請求項3】

請求項１に記載の相違領域検出システムであって、
前記第１の画像は、第１の映像を構成する第１のフレーム画像であり、
前記第２の画像は、第２の映像を構成する、前記第１のフレーム画像に対応する第２のフレーム画像であり、
前記差分情報生成部は、前記第１及び第２の画像の複数の対に対して前記画像間差分情報を生成し、
前記相違領域検出部は、前記第１及び第２の画像の複数の対に対する前記画像間差分情報に基づいて、前記第１及び第２の映像における前記相違領域を検出する、
相違領域検出システム。

【請求項4】

請求項３に記載の相違領域検出システムであって、
前記部分領域は、少なくとも１つの分割領域を含み、
前記相違領域検出部は、
前記画像間差分情報に基づいて、各部分領域内の各分割領域に対して前記差分に応じた差分値を割り当て、
前記第１及び第２の画像の複数の対における前記差分値をフレーム画像間で平滑化することにより、前記分割領域を単位として前記相違領域を検出する、
相違領域検出システム。

【請求項5】

請求項３または４に記載の相違領域検出システムであって、
前記相違領域検出部は、前記第１及び第２の画像の複数の対における前記差分に応じた差分値をフレーム画像内で平滑化することにより、前記相違領域を検出する、
相違領域検出システム。

【請求項6】

請求項３〜５の何れか一項に記載の相違領域検出システムであって、
前記差分情報生成部は、
複数の前記第１の特徴量ベクトルと、複数の前記第２の特徴量ベクトルとに基づいて、特徴量ベクトルの差分が所定の基準より小さい、前記第１及び第２の画像の複数の対を選択し、
前記選択された複数の対における前記画像間差分情報を出力する、
相違領域検出システム。

【請求項7】

請求項３〜６の何れか一項に記載の相違領域検出システムであって、
前記相違領域検出部は、前記部分領域ごとに設定された重みづけと、前記第１及び第２の画像の複数の対における前記差分に応じた差分値とに基づいて、前記相違領域を検出する、
相違領域検出システム。

【請求項8】

請求項３〜７の何れか一項に記載の相違領域検出システムであって、
前記差分情報生成部は、前記第１の映像における複数の前記第１の特徴量ベクトルと、複数の前記第２の映像のそれぞれにおける複数の前記第２の特徴量ベクトルとに基づいて、前記第１の映像と、前記複数の第２の映像のうちの１つの第２の映像とにおける、前記第１及び第２の画像の複数の対を選択する、
相違領域検出システム。

【請求項9】

請求項８に記載の相違領域検出システムであって、
前記差分情報生成部は、複数の前記第１の映像のそれぞれにおける複数の前記第１の特徴量ベクトルと、複数の前記第２の映像のそれぞれにおける複数の前記第２の特徴量ベクトルとに基づいて、前記複数の第１の映像のうちの１つの第１の映像と、前記複数の第２の映像のうちの１つの第２の映像とにおける、前記第１及び第２の画像の複数の対を選択する、
相違領域検出システム。

【請求項10】

請求項３〜９の何れか一項に記載の相違領域検出システムであって、
前記検出結果出力部は、前記検出情報に基づいて、前記第１及び第２の映像間における前記相違領域の位置を識別可能に表示する、
相違領域検出システム。

【請求項11】

請求項１０に記載の相違領域検出システムであって、
前記相違領域検出部は、前記第１及び第２の映像間において前記相違領域が検出された区間を示す情報を前記検出情報に含めて出力し、
前記検出結果出力部は、前記検出情報に基づいて、前記相違領域が検出された区間を識別可能に表示する、
相違領域検出システム。

【請求項12】

請求項１０または１１に記載の相違領域検出システムであって、
前記相違領域検出部は、前記相違領域における相違の度合い示す情報を前記検出情報に含めて出力し、
前記検出結果出力部は、前記検出情報に基づいて、前記相違領域における相違の度合いを識別可能に表示する、
相違領域検出システム。

【請求項13】

請求項１１に記載の相違領域検出システムであって、
前記検出結果出力部は、前記相違領域が検出された区間を選択するユーザ入力に応じて、該区間における前記第１及び第２の映像を表示する、
相違領域検出システム。

【請求項14】

第１の画像内における複数の部分領域のそれぞれに対応する特徴量の集合である第１の特徴量ベクトルと、前記第１の画像と同一性があるとみなされた第２の画像内における前記複数の部分領域のそれぞれに対応する特徴量の集合である第２の特徴量ベクトルとに基づいて、前記第１及び第２の画像間における、前記特徴量の前記部分領域ごとの差分を示す画像間差分情報を生成し、
前記画像間差分情報によって示される、各部分領域における前記差分に基づいて、前記第１及び第２の画像間において相違のある画像領域である相違領域を検出し、検出結果を示す検出情報を出力し、
前記検出情報に基づいて、前記第１及び第２の画像間における前記相違領域の位置を識別可能に表示する、
相違領域検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、相違領域検出システム及び相違領域検出方法に関する。

【背景技術】

【0002】

近年、インターネット上の動画サイトの普及に伴い、オリジナルの映像から生成された違法動画が氾濫し、社会的な問題となっている。違法動画としては、例えば、元の映像をそのままコピーしたものや、ハイライトシーン等の一部の映像を抜き出したものの他に、テロップの追加等によって元の映像から改変されたものがある。そこで、このように改変された映像も考慮したうえで、元の映像と同一性のある映像を検出することが求められている。

【0003】

例えば、特許文献１には、２つの画像の同一性を判定する手法が開示されている。具体的には、引用文献１に開示されている手法では、各画像について複数次元の特徴量ベクトルを生成し、画像間で特徴量ベクトルを比較することにより、画像の同一性が判定される。このような手法を、例えば、映像中の一部のフレーム画像に適用することにより、映像に改変が施されている場合であっても、映像間の同一性を判定することが可能となる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１０／０８４７１４号

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、上述したように、特許文献１に開示されている手法では、映像間の同一性を判定することができるものの、同一と判定された映像間において、テロップの有無やテロップの内容の差異等の局所的な相違がある場合に、相違領域がどこであるのかを判別することができない。例えば、上記手法によって、テロップが追加された映像を元の映像と同一性のある映像であると判定できたとしても、どこにテロップが追加されたのかを確認するためには、同一性があると判定された映像を再生する必要があり、作業負荷が非常に高くなってしまう。

【0006】

本発明はこのような事情に鑑みてなされたものであり、画像間における局所的な相違領域を検出することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一側面に係る相違領域検出システムは、第１の画像内における複数の部分領域のそれぞれに対応する特徴量の集合である第１の特徴量ベクトルと、第２の画像内における複数の部分領域のそれぞれに対応する特徴量の集合である第２の特徴量ベクトルとに基づいて、第１及び第２の画像間における、特徴量の部分領域ごとの差分を示す画像間差分情報を生成する差分情報生成部と、画像間差分情報によって示される、各部分領域における差分に基づいて、第１及び第２の画像間において相違のある画像領域である相違領域を検出し、検出結果を示す検出情報を出力する相違領域検出部と、を備える。

【0008】

なお、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や装置の機能が１つの物理的手段や装置により実現されても良い。

【発明の効果】

【0009】

本発明によれば、画像間における局所的な相違領域を検出することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態である相違領域検出システムの構成を示す図である。

【図2】相違領域検出システムにおいて検出される相違領域の一例を示す図である。

【図3】フレーム画像の領域分割の一例を示す図である。

【図4】第Ｍ次元における特徴量を抽出する際のイメージを示す図である。

【図5】特徴量記憶部に格納される特徴量ベクトルの一例を示す図である。

【図6】特徴量ＤＢに格納される特徴量ベクトルの一例を示す図である。

【図7】差分情報生成部の構成例を示す図である。

【図8】差分情報生成部における差分ベクトルの生成の一例を示す図である。

【図9】差分情報記憶部に格納される差分ベクトルの一例を示す図である。

【図10】相違領域検出部の構成例を示す図である。

【図11】差分値のマッピング及び相違領域の検出の一例を示す図である。

【図12】検出情報記憶部に格納される検出情報の一例を示す図である。

【図13】局所改変が検出された区間を識別可能に表示する画面の一例である。

【図14】相違領域の位置を識別可能に表示する画面の一例である。

【図15】相違領域の位置を三次元で識別可能に表示する画面の一例である。

【図16】改変元の候補となるオリジナル映像が複数存在する場合における相違領域の検出結果の出力画面の一例である。

【図17】改変元の候補となるオリジナル映像が複数存在する場合における相違領域の検出結果の出力画面の一例である。

【図18】局所改変を考慮したショット分割が行われた場合の出力画面の一例である。

【図19】相違領域検出処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、図面を参照して本発明の一実施形態について説明する。

【0012】

図１は、本発明の一実施形態である相違領域検出システムの構成を示す図である。相違領域検出システム１０は、同一性のある映像間において局所的な相違のある領域を検出するシステムであり、特徴量抽出部２０、特徴量記憶部２１、差分情報生成部２２、差分情報記憶部２３、相違領域検出部２４、検出情報記憶部２５、及び検出結果出力部２６を含んで構成される。なお、本実施形態では、局所的な相違のことを「局所改変」とも呼ぶ。また、相違領域検出システム１０は、特徴量データベース（ＤＢ）３０及び映像データベース（ＤＢ）３２を参照する。なお、相違領域検出システム１０は、１台または複数台の情報処理装置を用いて構成され、特徴量抽出部２０、差分情報生成部２２、相違領域検出部２４、及び検出結果出力部２６は、メモリに記憶されたプログラムをプロセッサが実行することにより実現することができる。また、特徴量記憶部２１及び差分情報記憶部２３は、メモリや記憶装置等の記憶領域を用いて実現することができる。

【0013】

図２は、相違領域検出システム１０において検出される相違領域の一例を示す図である。なお、相違領域とは、局所改変が発生している領域のことである。図２には、同一性のある映像４０，４２が示されている。映像４０は、例えば、新しく販売が開始される自動車のＣＭ映像であり、映像４０を構成するフレーム画像の下側の画像領域４４には、「３月１日デビュー！」という字幕が表示されている。一方、映像４２は、同じ自動車のＣＭ映像ではあるが、自動車の販売が開始された後に放送されるＣＭ映像である。そのため、映像４２を構成するフレーム画像の下側の画像領域４６に表示される字幕は、「好評発売中！」となっている。これら２つの映像４０，４２は、字幕の内容が異なるのみであるため、映像全体としては同一性があるとみなされる。そして、相違領域検出システム１０では、映像４０，４２間における相違領域４８を検出することができる。同様に、相違領域検出システム１０では、例えば、オリジナル映像から生成された違法動画について、オリジナル映像から改変が行われている領域である相違領域を検出することができる。

【0014】

図１に戻り、相違領域検出システム１０を構成する各部の詳細について説明する。

【0015】

特徴量抽出部２０は、入力映像を構成する複数のフレーム画像のそれぞれから、特徴量ベクトルを抽出し、特徴量記憶部２１に格納する。ここで、入力映像は、例えば、放送中の映像や動画サイトにアップロードされている映像である。特徴量ベクトルは、フレーム画像内で定義されたＮ個（Ｎ≧２）の部分領域に対応するＮ個の特徴量の集合であり、例えば、国際公開第２０１０／０８４７１４号に記載されている手法により生成することができる。特徴量ベクトルの各次元に対応する各部分領域は、例えば、フレーム画像内における複数の部分領域を含んでいる。そして、各次元の特徴量は、例えば、各次元に対応する複数の部分領域の特徴量の差分に基づいて生成することができる。

【0016】

図３は、フレーム画像の領域分割の一例を示す図である。図３に示すように、例えば、各フレーム画像は３２×３２の１０２４の領域（分割領域）に分割することができる。特徴量ベクトルにおける各次元に対応する部分領域は、１つ以上の分割領域の組み合わせにより構成される。

【0017】

図４は、第Ｍ次元における特徴量を抽出する際のイメージを示す図である。図４の例では、第Ｍ次元に対応する部分領域は、２つの部分領域６２，６４である。そして、特徴量抽出部２０は、部分領域６２の特徴量（領域特徴量）と部分領域６４の特徴量（領域特徴量）との差分に基づいて、第Ｍ次元の特徴量を生成することができる。ここで、各部分領域６２，６４の特徴量は、例えば、それぞれの部分領域における画素値の平均値やメディアン値等、任意の手法を用いて算出することができる。そして、特徴量抽出部２０は、部分領域６２，６４の領域特徴量の差分を例えば３値（−１，０，１）に量子化することにより、第Ｍ次元特徴量を生成することができる。特徴量抽出部２０は、各次元（第１次元〜第Ｎ次元）について特徴量を生成することにより、Ｎ次元の特徴量ベクトルを生成することができる。なお、ここで説明した各次元の特徴量の算出手法は一例であり、次元ごとに設定された部分領域の特徴量に基づいて生成されるものであればよい。

【0018】

図５は、特徴量記憶部２１に格納される特徴量ベクトルの一例を示す図である。図５に示すように、特徴量ベクトルは、入力映像を識別する映像識別子と、フレーム画像の時間的順序を示すシーケンス情報とに対応付けられて記憶されている。ここで、映像識別子とは、ひとまとまりの映像を識別するためのものであり、例えば、映像のタイトルや番組名、ファイル名、ＵＲＬ（Uniform Resource Locator）等を用いることができる。また、シーケンス情報は、特徴量ベクトルの順序を把握することができる情報であればよく、例えば、フレーム番号などを用いることができる。なお、入力される映像が１つの場合であれば映像識別子はなくてもよい。また、データの格納構造等によって特徴量ベクトルの時間的順序を識別可能であれば、シーケンス情報はなくてもよい。

【0019】

図１に戻り、差分情報生成部２２は、特徴量記憶部２１に格納されている入力映像の特徴量ベクトルと、特徴量ＤＢ３０に格納されている特徴量ベクトルとを比較し、同一性のある映像間の特徴量ベクトルから差分ベクトルを生成する。なお、差分情報生成部２２は、特徴量ＤＢ３０に格納されている特徴量ベクトル同士を比較して差分ベクトルを生成することもできる。つまり、相違領域検出システム１０では、特徴量ＤＢ３０に特徴量ベクトルが格納されている複数の映像間において相違領域を検出することも可能である。

【0020】

図６は、特徴量ＤＢ３０に格納される特徴量ベクトルの一例を示す図である。特徴量ＤＢ３０には、入力映像との比較対象となる複数の映像についての特徴量ベクトルが格納されている。本実施形態では、特徴量ＤＢ３０に特徴量ベクトルが格納されている映像をオリジナル映像と呼ぶこととする。図６に示すように、オリジナル映像の特徴量ベクトルは、オリジナル映像を識別する映像識別子、オリジナル映像の作成日時、及びフレーム画像の時間的順序を示すシーケンス情報と対応付けられて記憶されている。

【0021】

図７は、差分情報生成部２２の構成例を示す図である。図７に示すように、差分情報生成部２２は、特徴量比較部７０、フレーム選択部７２、及び差分情報出力部７４を含んで構成することができる。

【0022】

特徴量比較部７０は、入力映像の特徴量ベクトルと、特徴量ＤＢ３０の特徴量ベクトルとを例えばフレームごとに比較する。フレーム選択部７２は、特徴量比較部７０での比較結果に基づいて、入力映像とオリジナル映像との間で同一性があると判定されるフレーム画像を選択する。なお、フレーム画像間の同一性の判定については、例えば、２つの特徴量ベクトル間で特徴量が一致する次元の数や、特徴量が一致しない次元の数、特徴量ベクトルの大きさを比較することにより行うことができる。差分情報出力部７４は、特徴量の差分が所定の基準より大きい次元を示す差分領域情報を出力する。具体的には、差分情報出力部７４は、フレーム選択部７２によって選択されたフレーム画像の特徴量ベクトルから差分ベクトルを生成して差分情報記憶部２３に格納する。

【0023】

図８は、差分情報生成部２２における差分ベクトルの生成の一例を示す図である。図８に示す差分ベクトルの例では、入力映像の特徴量ベクトルとオリジナル映像の特徴量ベクトルとの間で、特徴量が同じ次元は「０」、特徴量が異なる次元は「１」となっている。つまり、差分ベクトルは、各次元の差分領域情報の集合となっている。なお、図７に示す差分ベクトルは一例であり、特徴量の差分の大きさに応じて異なる値が差分ベクトルの各次元に設定されることとしてもよい。

【0024】

図９は、差分情報記憶部２３に格納される差分ベクトルの一例を示す図である。図９に示すように、差分ベクトルは、入力映像及びオリジナル映像の映像識別子及びシーケンス情報とともに格納される。図９に示すように、入力映像及びオリジナル映像の間では、映像識別子やシーケンス情報は異なっていてもよい。また、入力映像またはオリジナル映像のシーケンス情報は連続でなくてもよい。

【0025】

なお、本実施形態では、入力映像及びオリジナル映像の特徴量ベクトルの差分情報として差分ベクトルを用いることとしたが、入力映像及びオリジナル映像のフレーム画像間における部分領域ごとの特徴量の差分を判別可能であればベクトルでなくてもよい。また、本実施形態では、差分ベクトルの各要素を「０」または「１」としたが、特徴量の差分に応じた値としてもよい。

【0026】

図１に戻り、相違領域検出部２４は、差分情報記憶部２３に格納されている差分ベクトルに基づいて、同一性があると判定された入力映像及びオリジナル映像における相違領域を検出し、検出結果を示す検出情報を検出情報記憶部２５に格納する。

【0027】

図１０は、相違領域検出部２４の構成例を示す図である。相違領域検出部２４は、領域マッピング部８０、平滑化部８２、及び領域検出部８４を含んで構成することができる。

【0028】

領域マッピング部８０は、差分ベクトルを参照し、入力映像及びオリジナル映像のフレーム画像間における特徴量の差分を、次元ごとに対応する部分領域にマッピングする。例えば、差分ベクトルにおいて値が「１」である次元は、この次元に対応する部分領域における特徴量が入力映像とオリジナル映像とで異なっていることとする。そして、この次元に対応する部分領域が、例えば、図１１の上段に示す部分領域９０，９２であるとすると、領域マッピング部８０（割当部）は、部分領域９０，９２内の各領域の差分値に例えば「１」を加算する。領域マッピング部８０は、このようなマッピング処理を、特徴量に差異がある全ての次元に対して行う。

【0029】

平滑化部８２は、領域マッピング部８０によるマッピングにより生成された各領域の差分値を、フレーム画像間及びフレーム画像内、すなわち、時間及び空間方向に平滑化する。図１１の下段には、平滑化された差分値の一例が示されている。

【0030】

領域検出部８４は、平滑化された差分値に基づいて、入力映像及びオリジナル映像の間における相違領域を検出し、検出結果を示す検出情報を検出情報記憶部２５に格納する。例えば、領域検出部８４は、図１１の下段に示されるように、時間及び空間方向に平滑化された差分値が突出している領域９４（以下、突出領域）を相違領域として検出することができる。ここで、突出領域は、例えば、全領域の差分値の平均値よりも大きな差分値を有する領域としてもよい。そして、領域検出部８４は、この突出領域の大きさがあらかじめ定めた値よりも大きい場合に、当該突出領域を相違領域として検出することとしてもよい。あるいは、領域検出部８４は、突出領域の重心位置があらかじめ定めた領域内にある場合に、当該突出領域を相違領域と検出してもよい。なお、相違領域を検出するためのあらかじめ定めた値や領域は固定である必要はなく、例えば、差分値の平均値に応じて可変としてもよい。

【0031】

なお、本実施形態では、映像を構成する各フレーム画像においてマッピングされた差分値を複数のフレーム間で平滑化することにより、映像間における相違領域を検出することとしているが、一対のフレーム画像における差分値を用いるだけでも、フレーム画像間の相違領域をある程度は検出することが可能である。

【0032】

また、本実施形態では、領域や次元によらず、特徴量に差異がある次元に対応する領域の差分値に加算する値を一律としたが、領域や次元によって差分値に加算する値が変更されることとしてもよい。例えば、特徴量抽出部２０によって抽出される特徴量ベクトルが、フレーム画像の周辺領域よりも中央領域に重みをおいて映像の同一性判定を行うための特性を有する場合であれば、相違領域を検出する際には、中央領域よりも周辺領域における差分が考慮されるように、領域や次元ごとに重みづけが設定されることとしてもよい。

【0033】

図１２は、検出情報記憶部２５に格納される検出情報の一例を示す図である。図１２に示すように、検出情報には、局所改変が検出された相違領域に関する情報が含まれている。具体的には、図１２に示す例では、入力映像及びオリジナル映像の映像識別子及び区間情報、相違領域情報、相違度情報、及び類似度情報が含まれている。ここで、区間情報は映像区間を示す情報であり、例えば、映像内における該区間の再生時間やフレーム番号等を用いることができる。また、相違領域情報は、検出された相違領域の位置を示す情報であり、例えば、図３に示した分割領域のうち相違領域に含まれる領域を示す情報とすることができる。また、相違度情報は、相違領域における映像間の相違度合いを示す情報である。なお、図１２には、各区間に対する相違情報として１つの数値のみを示しているが、各区間内における相違度の変化を示す情報を用いることもできる。また、類似度情報は、同一性があると判定された入力映像及びオリジナル映像の間における類似度を示す情報である。この類似度情報は、例えば、特徴量比較部７０が、特徴量ベクトルを比較する際に出力することができる。

【0034】

図１に戻り、検出結果出力部２６は、差分情報記憶部２３に格納されている差分ベクトルと、検出情報記憶部２５に格納されている検出情報とに基づいて、入力映像及びオリジナル映像の間における相違領域を示す情報を出力する。図１３〜図１８を参照して、相違領域の情報出力の一例を示す。

【0035】

検出結果出力部２６は、図１３に示すように、局所改変が検出された区間を表示することができる。画面１１０には、映像のタイムラインを表示する領域１１２と、映像間の相違度が表示される領域１１４とが含まれている。

【0036】

図１３の例では、領域１１２には、映像のタイムライン１２０が表示され、相違領域が検出された区間１２２がタイムライン１２０上に表示されている。さらに、相違領域が検出された区間１２２の下には、この区間１２２におけるサムネイル画像１２４が表示されている。ここで、検出結果出力部２６は、例えば、映像ＤＢ３２を参照することにより、サムネイル画像１２４を表示することができる。また、相違領域検出部２４が、相違領域が検出された区間における入力映像のサムネイル画像を検出情報に含ませておくこととしてもよい。この場合、検出結果出力部２６は、映像ＤＢ３２を参照することなく、検出情報に含まれるサムネイル画像を用いることも可能である。

【0037】

また、図１３の例では、領域１１４には、相違度のグラフ１３０が表示されている。このグラフ１３０の横軸である時間軸は、タイムライン１２０の時間軸に合わされている。したがって、図１３に示すように、グラフ１３０において相違度が高い区間１３２と、タイムライン１２０上に表示されている相違領域が検出された区間１２２とは同一の時間帯となっている。

【0038】

このように、タイムライン１２０や相違度のグラフ１３０を表示することにより、どの区間で相違領域が検出されたかを容易に確認することができる。また、サムネイル画像１２４が表示されることにより、映像中のどのような場面で相違が発生しているかを確認することができる。なお、図１３に示した画面１１０では、領域１１２，１１４が表示されているが、いずれか一方の領域のみが表示されることとしてもよい。

【0039】

図１３に示す画面において、相違領域が検出された区間を示す、区間１２２や区間１３２、もしくは、サムネイル画像１２４がクリック等によって選択されると、検出結果出力部２６は、図１４に示す画面１４０を出力する。

【0040】

画面１４０には、選択された区間におけるオリジナル映像及び入力映像が表示される領域１４２，１４３が含まれている。検出結果出力部２６は選択された区間の区間情報を検出情報から取得し、該区間におけるオリジナル映像を映像ＤＢ３２から再生して領域１４２に表示するとともに、該区間における入力映像を領域１４３に表示する。なお、入力映像は、相違領域検出システム１０の内部もしくは外部において、所定の記憶領域（入力映像記憶部）に格納されていることとする。

【0041】

そして、図１４に示すように、検出結果出力部２６は、領域１４２，１４３に表示される映像の上に、検出された相違領域の位置を示す枠１４４，１４５を表示することができる。なお、「枠」の表示は一例であり、相違領域の位置を識別しやすくするための任意の表示手法を採用することができる。例えば、検出結果出力部２６は、図１５に示すように、相違領域の位置を識別可能とするために、三次元映像を出力することとしてもよい。図１５には、図１４に示した領域１４２に表示される映像１４６−１，１４６−２が示されている。映像１４６−１は、左目用の映像であり、図１４では枠１４４で示されていた領域が右側にずらされて領域１４７−１に表示されている。また、映像１４６−２は、右目用の映像であり、図１４では枠１４４で示されていた領域が左側にずらされて領域１４７−２に表示されている。このような映像１４６−１，１４６−２が、それぞれ、図１４に示された領域１４２に左目用及び右目用の映像として表示されることにより、相違領域を立体表示することが可能となる。領域１４３に表示される映像についても同様に立体表示することが可能である。

【0042】

このように、相違領域の位置を識別可能に映像が表示されることにより、映像間の差異を確認する際に、領域１４２，１４３に表示される映像中の全領域を目視で比較する必要がなく、相違領域の位置を識別可能に表示された領域のみを比較すればよく、作業負荷を軽減することができる。

【0043】

また、ある入力映像に対する改変元の候補となるオリジナル映像が複数存在する場合がある。このような場合、検出結果出力部２６は、改変元のオリジナル映像を推定し、推定されたオリジナル映像と入力映像との間において局所改変が発生している区間を表示することができる。例えば、検出結果出力部２６は、図１６に示すような画面を表示することができる。

【0044】

図１６に示す画面１５０は、改変元の候補となるオリジナル映像に関する情報が表示される領域１５２と、入力映像に関する情報が表示される領域１５４とを含んでいる。図１６に示すように、領域１５４には、入力映像に関する情報が表示される領域１５６が設けられている。また、領域１５２には、この入力映像に対する改変元の候補となる２つのオリジナル映像に関する情報が表示される領域１５８−１，１５８−２が設けられている。

【0045】

このように改変元の候補となるオリジナル映像が複数存在する場合、検出結果出力部２６は、検出情報記憶部２５に格納されている検出情報や、特徴量ＤＢ３０に格納されている情報に基づいて、改変元のオリジナル映像を推定する。改変元のオリジナル映像の推定方法は、例えば、図１６に示すようにリストボックス１６０等を用いて選択することができる。検出結果出力部２６は、選択された方法に従って、複数のオリジナル映像の中から改変元となるオリジナル映像を推定する。改変元の推定方法としては、例えば、入力映像とマッチする時間、すなわち、同一性があると判定される時間が長い映像を優先する方法や、入力映像との類似度が高い映像を優先する方法、入力映像との間で作成日時の前後関係に矛盾が生じない映像を優先する方法等がある。なお、入力映像との類似度については、例えば、検出情報記憶部２５に格納されている類似度情報を用いることができる。

【0046】

図１６の例では、改変元の推定方法として入力映像とのマッチ時間が選択されている。ここで、領域１５８−１に示されるオリジナル映像と入力映像とのマッチ時間は５分であり、領域１５８−２に示されるオリジナル映像と入力映像とのマッチ時間は１２分である。そのため、検出結果出力部２６は、領域１５８−２に示されるオリジナル映像を改変元と推定し、例えば、領域１５８−２を強調表示する等により、推定された改変元のオリジナル映像を識別可能に表示している。

【0047】

そして、検出結果出力部２６は、入力映像において、推定された改変元のオリジナル映像から局所改変が行われた区間を識別可能に表示する。例えば、図１６に示すように、検出結果出力部２６は、オリジナル映像と入力映像とのタイムラインを時間軸を合わせて表示したうえで、入力映像のタイムライン上において、推定された改変元から局所改変が行われた区間を表示する。また、図１６に示すように、検出結果出力部２６は、局所改変が行われた区間とともに、改変が「局所改変」であることがわかるように表示することができる。

【0048】

さらに、検出結果出力部２６は、図１６に示された画面１５０において、局所改変が行われた区間がクリック等によって選択されると、図１４に示した画面１４０を出力し、選択された区間における入力映像及びオリジナル映像を表示する。

【0049】

また、検出結果出力部２６は、図１６に示された画面１５０において、例えばリストボックス１６０によって他の推定方法が選択されると、選択された推定方法によって推定される改変元のオリジナル映像と入力映像との間において局所改変が発生している区間を表示する。また、推定方法の変更ではなく、画面１５０において他のオリジナル映像がクリック等によって選択された場合においても、検出結果出力部２６は、選択されたオリジナル映像を改変元として局所改変が発生している区間を表示する。例えば、図１６に示された画面１５０において、領域１５８−１がクリック等によって選択されると、図１７に示すように、領域１５８−１に示されるオリジナル映像を改変元として、局所改変が発生している区間が表示される。

【0050】

このように、入力映像に対する改変元の候補となるオリジナル映像が複数存在する場合においては、改変元として推定されたオリジナル映像と入力映像との間において局所改変が発生している区間を表示することができる。そして、表示された区間を選択することにより、この区間における映像を確認することができる。したがって、入力映像に対する改変元の候補となるオリジナル映像が複数存在する場合に、改変内容を確認する際の作業負荷を軽減することが可能となる。

【0051】

また、検出結果出力部２６は、改変元として推定されたオリジナル映像と入力映像との間において局所改変が発生している区間を表示する際に、どのショットで改変が発生しているかをわかりやすくすることができる。例えば、検出結果出力部２６は、図１８に示すような画面を表示することができる。

【0052】

図１８に示す画面１８０は、オリジナル映像に関する情報が表示される領域１８２と、入力映像に関する情報が表示される領域１８４とを含んでいる。図１８に示すように、領域１８２には、オリジナル映像のサムネイル画像１９０が表示され、領域１８４には、入力映像のサムネイル画像１９２が表示されている。ここで、サムネイル画像は、例えば、対象となる映像をショット分割することによって生成することが一般的な手法である。このショット分割は、例えば、映像に含まれるフレーム画像において特徴量ベクトルが大きく変化するタイミングを検出することにより行うことができる。そして、各ショットにおける代表的なフレーム画像からサムネイル画像が生成される。

【0053】

ところが、このようなショット分割のタイミングと、映像内において局所改変が行われるタイミングとは異なることが多いため、単にショットごとのサムネイル画像が表示されても改変内容を把握することができない可能性がある。

【0054】

そこで、検出結果出力部２６は、一般的な手法で分割されたショットのうち、局所改変が検出されたショットについては、さらに、局所改変の有無によってショット分割を行い、サムネイル画像を生成することができる。

【0055】

例えば、図１８に示す画面において、一般的な手法によるショット分割により、例えば、３つのショット１９４，１９６，１９８に分割されるとする。図１８に示すように、各ショットにおいて局所改変が検出されているとすると、検出結果出力部２６は、各ショット内で局所改変の有無によってさらにショット分割を行うことにより、局所改変が行われたタイミングに合わせたショットを生成することができる。そして、検出結果出力部２６は、例えば、局所改変が行われたタイミングのショットのサムネイル画像２００を表示することができる。また、検出結果出力部２６は、局所改変が行われたタイミングのショットのサムネイル画像２００とともに、この区間において「局所改変」が発生していることを識別可能な情報２０２を表示することができる。他のショット１９６，１９８についても同様である。

【0056】

なお、一般的なショット分割の処理については、相違領域検出システム１０に入力される前に行われることとしてもよいし、相違領域検出システム１０内に設けられるショット分割部によって行われることとしてもよい。

【0057】

このように、局所改変が発生しているショット内をさらに局所改変の有無によってショット分割することにより、どのショットで改変が発生しているかをわかりやすくすることができる。これにより、改変内容を確認する際の作業負荷を軽減することが可能となる。

【0058】

図１９は、相違領域検出システム１０における相違領域検出処理の一例を示すフローチャートである。まず、特徴量抽出部２０は、入力映像のフレーム画像ごとに特徴量ベクトルを抽出し、特徴量記憶部２１に格納する（Ｓ１９０１）。

【0059】

特徴量比較部７０は、特徴量記憶部２１に格納されている入力映像の特徴量ベクトルと、特徴量ＤＢ３０に格納されているオリジナル映像の特徴量ベクトルとを比較する（Ｓ１９０２）。フレーム選択部７２は、特徴量比較部７０での比較結果に基づいて、同一性のあるフレーム画像を選択する（Ｓ１９０３）。そして、差分情報出力部７４は、選択されたフレーム画像についての差分ベクトルを差分情報記憶部２３に格納する（Ｓ１９０４）。

【0060】

領域マッピング部８０は、差分情報記憶部２３に格納されている差分ベクトルに基づいて、特徴量に差分が発生している次元に対応する領域に差分値をマッピングする（Ｓ１９０５）。平滑化部８２は、マッピングされた差分値を時間及び空間方向に平滑化する（Ｓ１９０６）。そして、領域検出部８４は、平滑化された差分値に基づいて、入力映像及びオリジナル映像の間における相違領域を検出し、検出情報を検出情報記憶部２５に格納する（Ｓ１９０７）。

【0061】

最後に、検出結果出力部２６は、検出情報記憶部２５に格納されている検出情報に基づいて、同一性のある入力映像及びオリジナル映像の間における、相違領域を示す情報を出力する（Ｓ１９０８）。

【0062】

以上、本実施形態の相違領域検出システム１０について説明した。相違領域検出システム１０によれば、単に特徴量ベクトル間の距離を比較するのではなく、特徴量ベクトルの次元ごとの特徴量の差分を、各次元に対応する部分領域にマッピングすることにより、同一性がある映像間における相違領域を検出することができる。

【0063】

また、相違領域検出システム１０によれば、比較される映像間において同一性のある区間を特定し、特定された区間において相違領域を検出することができる。

【0064】

また、相違領域検出システム１０によれば、差分ベクトルにおいて値が異なる次元に対応する領域にマッピングされた差分値が、空間及び時間方向で平滑化されるため、相違領域を精度良く検出することが可能となる。

【0065】

また、相違領域検出システム１０によれば、差分ベクトルの次元または領域ごとに設定された重みづけを考慮して相違領域を検出することができる。例えば、同一性を判定するために用いられる特徴量ベクトルが、画像領域の周辺部分と比べて中央部分の特徴量をより反映するものであれば、相違領域の検出の際には、周辺部分の領域の重みを高くすることとしてもよい。例えば、テロップは画像領域の下側部分に追加されることが多いため、下側部分の領域の重みを高くすることにより、テロップに差異がある映像間における相違領域を検出する際に有効である。また、例えば、映像間に同一性があり、局所的な相違がない場合であっても、画像領域の最外周部分の差分は大きくなる可能性がある。そのため、画像領域の最外周部分の重みを低くすることとしてもよい。

【0066】

また、相違領域検出システム１０によれば、検出された相違領域の位置を識別可能に表示することができる。これにより、ユーザは、同一性のある映像間における相違領域の位置を容易に確認することができる。

【0067】

また、相違領域検出システム１０によれば、映像内において相違領域が発生している区間を識別可能に表示することができる。したがって、ユーザは、映像間で相違する内容を確認する場合に、映像全体ではなく該区間の映像のみを確認すればよいため、作業負荷を軽減することができる。

【0068】

なお、本実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るととともに、本発明にはその等価物も含まれる。

【0069】

この出願は、２０１１年２月１０日に出願された日本出願特願２０１１−０２７４２９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【0070】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0071】

本実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）第１の画像内における複数の部分領域のそれぞれに対応する特徴量の集合である第１の特徴量ベクトルと、第２の画像内における前記複数の部分領域のそれぞれに対応する特徴量の集合である第２の特徴量ベクトルとに基づいて、前記第１及び第２の画像間における、前記特徴量の前記部分領域ごとの差分を示す画像間差分情報を生成する差分情報生成部と、前記画像間差分情報によって示される、各部分領域における前記差分に基づいて、前記第１及び第２の画像間において相違のある画像領域である相違領域を検出し、検出結果を示す検出情報を出力する相違領域検出部と、を備える相違領域検出システム。
（付記２）付記１に記載の相違領域検出システムであって、前記部分領域は、少なくとも１つの分割領域を含み、前記相違領域検出部は、前記画像間差分情報に基づいて、各部分領域の各分割領域に対して前記差分に応じた差分値を割り当てることにより、前記分割領域を単位として前記相違領域を検出する、相違領域検出システム。
（付記３）付記１に記載の相違領域検出システムであって、前記第１の画像は、第１の映像を構成する第１のフレーム画像であり、前記第２の画像は、第２の映像を構成する、前記第１のフレーム画像に対応する第２のフレーム画像であり、前記差分情報生成部は、前記第１及び第２の画像の複数の対に対して前記画像間差分情報を生成し、前記相違領域検出部は、前記第１及び第２の画像の複数の対に対する前記画像間差分情報に基づいて、前記第１及び第２の映像における前記相違領域を検出する、相違領域検出システム。
（付記４）付記３に記載の相違領域検出システムであって、前記部分領域は、少なくとも１つの分割領域を含み、前記相違領域検出部は、前記画像間差分情報に基づいて、各部分領域内の各分割領域に対して前記差分に応じた差分値を割り当て、前記第１及び第２の画像の複数の対における前記差分値をフレーム画像間で平滑化することにより、前記分割領域を単位として前記相違領域を検出する、相違領域検出システム。
（付記５）付記３または４に記載の相違領域検出システムであって、前記相違領域検出部は、前記第１及び第２の画像の複数の対における前記差分値をフレーム画像内で平滑化することにより、前記相違領域を検出する、相違領域検出システム。
（付記６）付記３〜５の何れか一項に記載の相違領域検出システムであって、前記差分情報生成部は、複数の前記第１の特徴量ベクトルと、複数の前記第２の特徴量ベクトルとに基づいて、特徴量ベクトルの差分が所定の基準より小さい、前記第１及び第２の画像の複数の対を選択し、前記選択された複数の対における前記画像間差分情報を出力する、相違領域検出システム。
（付記７）付記３〜６の何れか一項に記載の相違領域検出システムであって、前記相違領域検出部は、前記部分領域ごとに設定された重みづけと、前記第１及び第２の画像の複数の対における前記差分値とに基づいて、前記相違領域を検出する、相違領域検出システム。
（付記８）付記３〜７の何れか一項に記載の相違領域検出システムであって、前記差分情報生成部は、前記第１の映像における複数の前記第１の特徴量ベクトルと、複数の前記第２の映像のそれぞれにおける複数の前記第２の特徴量ベクトルとに基づいて、前記第１の映像と、前記複数の第２の映像のうちの１つの第２の映像とにおける、前記第１及び第２の画像の複数の対を選択する、相違領域検出システム。
（付記９）付記８に記載の相違領域検出システムであって、前記差分情報生成部は、複数の前記第１の映像のそれぞれにおける複数の前記第１の特徴量ベクトルと、複数の前記第２の映像のそれぞれにおける複数の前記第２の特徴量ベクトルとに基づいて、前記複数の第１の映像のうちの１つの第１の映像と、前記複数の第２の映像のうちの１つの第２の映像とにおける、前記第１及び第２の画像の複数の対を選択する、相違領域検出システム。
（付記１０）付記１〜９の何れか一項に記載の相違領域検出システムであって、前記検出情報に基づいて、前記第１及び第２の画像間における前記相違領域の位置を識別可能に表示する検出結果出力部をさらに備える、相違領域検出システム。
（付記１１）付記３〜９の何れか一項に記載の相違領域検出システムであって、前記検出情報に基づいて、前記第１及び第２の映像間における前記相違領域の位置を識別可能に表示する検出結果出力部をさらに備える、相違領域検出システム。
（付記１２）付記１１に記載の相違領域検出システムであって、前記相違領域検出部は、前記第１及び第２の映像間において前記相違領域が検出された区間を示す情報を前記検出情報に含めて出力し、前記検出結果出力部は、前記検出情報に基づいて、前記相違領域が検出された区間を識別可能に表示する、相違領域検出システム。
（付記１３）付記１１または１２に記載の相違領域検出システムであって、前記相違領域検出部は、前記相違領域における相違の度合い示す情報を前記検出情報に含めて出力し、前記検出結果出力部は、前記検出情報に基づいて、前記相違領域における相違の度合いを識別可能に表示する、相違領域検出システム。
（付記１４）付記１２に記載の相違領域検出システムであって、前記検出結果出力部は、前記相違領域が検出された区間を選択するユーザ入力に応じて、該区間における前記第１及び第２の映像を表示する、相違領域検出システム。
（付記１５）第１の画像内における複数の部分領域のそれぞれに対応する特徴量の集合である第１の特徴量ベクトルと、第２の画像内における前記複数の部分領域のそれぞれに対応する特徴量の集合である第２の特徴量ベクトルとに基づいて、前記第１及び第２の画像間における、前記特徴量の前記部分領域ごとの差分を示す画像間差分情報を生成し、前記画像間差分情報によって示される、各部分領域における前記差分に基づいて、前記第１及び第２の画像間において相違のある画像領域である相違領域を検出し、検出結果を示す検出情報を出力する、相違領域検出方法。

【符号の説明】

【0072】

１０ 相違領域検出システム
２０ 特徴量抽出部
２１ 特徴量記憶部
２２ 差分情報生成部
２３ 差分情報記憶部
２４ 相違領域検出部
２５ 検出情報記憶部
２６ 検出結果出力部
３０ 特徴量データベース
３２ 映像データベース
７０ 特徴量比較部
７２ フレーム選択部
７４ 差分情報出力部
８０ 領域マッピング部
８２ 平滑化部
８４ 領域検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】