特許 6032093 動画像データ比較方法、動画像データ比較プログラム、動画像データ比較装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6032093

(24)【登録日】2016年11月4日

(45)【発行日】2016年11月24日

(54)【発明の名称】動画像データ比較方法、動画像データ比較プログラム、動画像データ比較装置

(51)【国際特許分類】

   G06F 17/30 20060101AFI20161114BHJP

【ＦＩ】

   G06F17/30 170D

   G06F17/30 350C

【請求項の数】6

【全頁数】19

(21)【出願番号】特願2013-65049(P2013-65049)

(22)【出願日】2013年3月26日

(65)【公開番号】特開2014-191495(P2014-191495A)

(43)【公開日】2014年10月6日

【審査請求日】2015年11月6日

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100113608

【弁理士】

【氏名又は名称】平川 明

(74)【代理人】

【識別番号】100105407

【弁理士】

【氏名又は名称】高田 大輔

(72)【発明者】

【氏名】此島 真喜子

【審査官】 早川 学

(56)【参考文献】

【文献】 特開２００９−０４９６６６（ＪＰ，Ａ）

【文献】 特開平０９−３２２１７４（ＪＰ，Ａ）

【文献】 特開平０９−３２２１１９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １７／３０

(57)【特許請求の範囲】

【請求項1】

コンピュータが、
複数のピクチャを有する動画像が符号化された第１動画像データから、前記ピクチャ毎のピクチャ種別、前記ピクチャ毎のピクチャサイズを抽出し、
抽出された前記第１動画像データの前記ピクチャ毎のピクチャ種別、前記第１動画像データの前記ピクチャ毎のピクチャサイズに基づいて、前記第１動画像データの前記ピクチャ毎の第１特徴量及び前記第１特徴量の変化点を示す第１変化点を算出し、
複数のピクチャを有する動画像が符号化された第２動画像データから前記ピクチャ毎のピクチャ種別、前記ピクチャ毎のピクチャサイズを抽出し、
抽出された前記第２動画像データの前記ピクチャ毎のピクチャ種別、前記第２動画像データの前記ピクチャ毎のピクチャサイズに基づいて、前記第２動画像データの前記ピクチャ毎の第２特徴量及び前記第２特徴量の変化点を示す第２変化点を算出し、
前記第１特徴量及び前記第１変化点と、前記第２特徴量及び前記第２変化点とを比較することにより、前記第１動画像データの動画像と前記第２動画像データの動画像とが類似しているか否かを判定する、
ことを実行する動画像データ比較方法。

【請求項2】

前記第１特徴量は、前記第１動画像データの符号化方法に基づく第１変換行列を使用して算出され、
前記第２特徴量は、前記第２動画像データの符号化方法に基づく第２変換行列を使用して算出される
請求項１に記載の動画像データ比較方法。

【請求項3】

コンピュータに、
複数のピクチャを有する動画像が符号化された第１動画像データから、前記ピクチャ毎のピクチャ種別、前記ピクチャ毎のピクチャサイズを抽出し、
抽出された前記第１動画像データの前記ピクチャ毎のピクチャ種別、前記第１動画像データの前記ピクチャ毎のピクチャサイズに基づいて、前記第１動画像データの前記ピクチャ毎の第１特徴量及び前記第１特徴量の変化点を示す第１変化点を算出し、
複数のピクチャを有する動画像が符号化された第２動画像データから前記ピクチャ毎の
ピクチャ種別、前記ピクチャ毎のピクチャサイズを抽出し、
抽出された前記第２動画像データの前記ピクチャ毎のピクチャ種別、前記第２動画像データの前記ピクチャ毎のピクチャサイズに基づいて、前記第２動画像データの前記ピクチャ毎の第２特徴量及び前記第２特徴量の変化点を示す第２変化点を算出し、
前記第１特徴量及び前記第１変化点と、前記第２特徴量及び前記第２変化点とを比較することにより、前記第１動画像データの動画像と前記第２動画像データの動画像とが類似しているか否かを判定する、
ことを実行させる動画像データ比較プログラム。

【請求項4】

前記第１特徴量は、前記第１動画像データの符号化方法に基づく第１変換行列を使用して算出され、
前記第２特徴量は、前記第２動画像データの符号化方法に基づく第２変換行列を使用して算出される
請求項３に記載の動画像データ比較プログラム。

【請求項5】

複数のピクチャを有する動画像が符号化された第１動画像データから、前記ピクチャ毎のピクチャ種別、前記ピクチャ毎のピクチャサイズを抽出する第１抽出部と、
前記第１抽出部で抽出された前記第１動画像データの前記ピクチャ毎のピクチャ種別、前記第１動画像データの前記ピクチャ毎のピクチャサイズに基づいて、前記第１動画像データの前記ピクチャ毎の第１特徴量及び前記第１特徴量の変化点を示す第１変化点を算出する第１特徴量演算部と、
複数のピクチャを有する動画像が符号化された第２動画像データから前記ピクチャ毎のピクチャ種別、前記ピクチャ毎のピクチャサイズを抽出する第２抽出部と、
前記第２抽出部で抽出された前記第２動画像データの前記ピクチャ毎のピクチャ種別、前記第２動画像データの前記ピクチャ毎のピクチャサイズに基づいて、前記第２動画像データの前記ピクチャ毎の第２特徴量及び前記第２特徴量の変化点を示す第２変化点を算出する第２特徴量演算部と、
前記第１特徴量及び前記第１変化点と、前記第２特徴量及び前記第２変化点とを比較することにより、前記第１動画像データの動画像と前記第２動画像データの動画像とが類似しているか否かを判定する比較部と、
を備える動画像データ比較装置。

【請求項6】

前記第１特徴量は、前記第１動画像データの符号化方法に基づく第１変換行列を使用して算出され、
前記第２特徴量は、前記第２動画像データの符号化方法に基づく第２変換行列を使用して算出される
請求項５に記載の動画像データ比較装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像データ比較方法、動画像データ比較プログラム、動画像データ比較装置に関する。

【背景技術】

【0002】

情報漏えい防止等の観点から、ネットワーク上を流れる動画像データ等の内容（動画像）が、ゲートウェイ等で、所定の動画像データの内容と類似しているか否かを確認することが求められている。類似には、一致も含まれる。

【0003】

ほとんどのネットワーク上を流れる動画像データ（動画像ファイル）は、データ量を圧縮するために、符号化処理されている。また、ほとんどの記録媒体等によって提供される動画像データも、符号化処理されている。

【0004】

同一の動画像であっても、符号化方式や圧縮率等が異なれば、符号化処理された動画像データ同士は異なる。よって、符号化処理された動画像データ同士を比較することでは、動画像データの内容（動画像）が類似しているか否かを判断することは難しい。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００５−１４１７５８号公報

【特許文献2】国際公開第２００８／１３２７７４号

【発明の概要】

【発明が解決しようとする課題】

【0006】

符号化処理された２つの動画像データの内容（動画像ファイルに含まれる動画像）が類似しているか否かを判定するためには、２つの動画像データを復号化処理して比較することが求められる。復号化処理された動画像データ（符号化されていない動画像データ）から動画像の特徴量が抽出され、特徴量同士を比較することで類似しているか否かが判定される。しかし、復号化処理は、演算負荷が大きく、符号化処理された大量の動画像ファイルの比較処理をすることは難しい。

【0007】

１つの側面では、本発明は、復号化処理をすることなく動画像データを比較する動画像データ比較方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

第１の態様は、
コンピュータが、
複数のピクチャを有する動画像が符号化された第１動画像データから、前記ピクチャ毎のピクチャ種別、前記ピクチャ毎のピクチャサイズを抽出し、
抽出された前記第１動画像データの前記ピクチャ毎のピクチャ種別、前記第１動画像データの前記ピクチャ毎のピクチャサイズに基づいて、前記第１動画像データの前記ピクチャ毎の第１特徴量及び前記第１特徴量の変化点を示す第１変化点を算出し、
複数のピクチャを有する動画像が符号化された第２動画像データから前記ピクチャ毎のピクチャ種別、前記ピクチャ毎のピクチャサイズを抽出し、
前記第２抽出部で抽出された前記第２動画像データの前記ピクチャ毎のピクチャ種別、前記第２動画像データの前記ピクチャ毎のピクチャサイズに基づいて、前記第２動画像デ
ータの前記ピクチャ毎の第２特徴量及び前記第２特徴量の変化点を示す第２変化点を算出し、
前記第１特徴量及び前記第１変化点と、前記第２特徴量及び前記第２変化点とを比較することにより、前記第１動画像データの動画像と前記第２動画像データの動画像とが類似しているか否かを判定する、
ことを実行する動画像データ比較方法である。

【0009】

１つの態様は、プログラムが情報処理装置によって実行されることによって実現されてもよい。即ち、上記した態様における各ステップが実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録したコンピュータ読み取り可能な記録媒体として特定することができる。また、開示の構成は、上記した各ステップを実行する情報処理装置をもって特定されてもよい。

【発明の効果】

【0010】

復号化処理をすることなく動画像データを比較する動画像データ比較方法を提供することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、動画像データのストリーム構成の例（１）を示す図である。

【図2】図２は、動画像データのストリーム構成の例（２）を示す図である。

【図3】図３は、動画像データ比較装置の構成例を示す図である。

【図4】図４は、第１抽出部から第１特徴量演算部に送信される情報の例を示す図である。

【図5】図５は、動画像データ比較装置を実現する情報処理装置の例を示す図である。

【図6】図６は、第１抽出部の動作フローの例を示す図である。

【図7】図７は、第１特徴量演算部の動作フローの例を示す図である。

【図8】図８は、第２特徴量演算部の動作フローの例を示す図である。

【図9】図９は、比較部の動作フローの例を示す図である。

【図10】図１０は、第１動画像データと第２動画像データとフレームレートが異なる場合について説明する図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、開示の構成は、開示の実施形態の具体的構成に限定されない。開示の構成の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

【0013】

〔実施形態〕
（動画像の性質）
動画像の性質として、「動きの大きさ」、「模様の複雑度」、「動きの複雑度」が挙げられる。「動きの大きさ」、「模様の複雑度」、「動きの複雑度」は、それぞれ、スカラー量である。これらの動画像の性質は、ほとんど、動画像の符号化の規格に依存しない。即ち、動画像の性質は、どのような符号化の規格で符号化されても変化しにくい。２つの動画像において、「動きの大きさ」、「模様の複雑度」、「動きの複雑度」が互いに類似していれば、当該２つの動画像が類似していると判断される。

【0014】

動画像が符号化処理されて作成される動画像データ（動画像ファイル）の各ピクチャは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャに分けられる。符号化処理された動画像ファイルは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを有する。Ｉピクチャは、イントラ符号化画面である。イントラ符号化画面は、他の画面を参照せずに符号化される。Ｐピクチャは、予
測符号化画面である。予測符号化画面は、過去のイントラ符号化画面、または、予測符号化画面から動き補償予測を用いて、符号化される。予測符号化画面は、一般的に、さらなる予測の参照として使用される。Ｂピクチャは、双方向予測符号化画面である。双方向予測符号化画面は、過去と未来のイントラ符号化画面または予測符号化画面から動き補償予測を用いて、符号化される。双方向符号化予測画面は、予測のための参照画面として使用されることはない。

【0015】

符号化処理された動画像ファイルは、ピクチャ毎に符号化されている。従って、情報処理装置において、符号化処理された動画像ファイルに対して復号化処理をしなくても、符号化処理された動画像ファイルの各ピクチャのサイズ（各ピクチャの容量）が、取得され得る。

【0016】

動きの大きさが大きくなると、Ｂピクチャのサイズの比率が、より大きくなるという傾向がある。模様の複雑度が高くなると、Ｉピクチャのサイズの比率が、より大きくなるという傾向がある。動きの複雑度が高くなると、Ｐピクチャのサイズの比率が、より大きくなるという傾向がある。また、Ｉピクチャのサイズ、Ｐピクチャのサイズ、Ｂピクチャのサイズの比は、動画像の符号化の規格に依存する。

【0017】

よって、Ｉピクチャのサイズ、Ｐピクチャのサイズ、Ｂピクチャのサイズの比は、動画像の性質である「動きの大きさ」、「模様の複雑度」、「動きの複雑度」、符号化の規格に依存する。ここで、ある符号化された動画像の、Ｉピクチャのサイズ（Ｉ_size）、Ｐピクチャのサイズ（Ｐ_size）、Ｂピクチャのサイズ（Ｂ_size）を３成分とするベクトルは、ａ、ｂ、ｃを変数とする３つの関数を用いて次のように表されるとする。ここでは、符号化の規格は、規格ｐであるとする。３つの関数は、ｆ_I（ａ，ｂ，ｃ）、ｆ_P（ａ，ｂ，ｃ）、ｆ_B（ａ，ｂ，ｃ）である。Ｉ_size、Ｐ_size、Ｂ_sizeの３成分によるベクトルをサイ
ズベクトルと呼ぶ。ここで、ａ、ｂ、ｃは、それぞれ、「動きの大きさ」、「模様の複雑度」、「動きの複雑度」である。

【0018】

【数1】

Ｘｐは、符号化の規格ｐに依存する行列である。符号化の規格ｐに対して、Ｘｐが単位行列になるように、ｆ_I（ａ，ｂ，ｃ）、ｆ_P（ａ，ｂ，ｃ）、ｆ_B（ａ，ｂ，ｃ）が定義
されてもよい。サイズベクトルの大きさは、符号化の際の圧縮率に依存する。サイズベクトルの方向は、サイズベクトルが「動きの大きさ」、「模様の複雑度」、「動きの複雑度」の関数で表わされることから、動画像の性質に依存する。即ち、サイズベクトルの方向が類似する２つの動画像データは、同一の動画像から符号化されたものである可能性が高いと判断される。

【0019】

一方、符号化の規格ｑで符号化された動画像のＩピクチャのサイズをＩ_qsize、Ｐピク
チャのサイズをＰ_qsize、ＢピクチャのサイズをＢ_qsizeとすると、次のように表される。

【数2】

【0020】

Ｘｑは、符号化の規格ｑに依存する行列である。ここで、式（１）と式（２）において、ａ、ｂ、ｃが同一であるとすると、次の関係式が導き出される。

【数3】

【0021】

式（３）は、ａ、ｂ、ｃに依存しない。即ち、式（３）は、動画像の性質に依存しない。また、規格ｐと規格ｑとの間の関係は、行列ＸｐＸｑ^-1によって、表現できる。既知の動画像を規格ｐと規格ｑとで符号化して、それぞれの動画像データのＩピクチャ、Ｐピクチャ、Ｂピクチャのサイズを用いて、式（３）により、規格ｐと規格ｑとの間の関係が分かる。即ち、行列ＸｐＸｑ^-1があらかじめ求まる。ここで、行列ＸｐＸｑ^-1を、規格ｑから規格ｐへの変換行列と呼ぶ。行列Ｘｐや行列Ｘｑが求められなくても、既知の動画像を規格ｐと規格ｑとで符号化した動画像データを用いることで、変換行列ＸｐＸｑ^-1が求められる。即ち、任意の規格間で、変換行列が算出され得る。変換行列は、ユーザによってあらかじめ与えられてもよい。また、変換行列は、規格ごとに、所定の１つの規格へ変換される行列として、用意されてもよい。このようにすることにより、１つの規格に対して１つの変換行列が用意されればよいことになる。

【0022】

式（３）から、次のような関係が導かれる。

【数4】

規格ｐによる動画像データのサイズベクトルの方向と、規格ｑによる動画像データのサイズベクトルに規格ｑから規格ｐへの変換行列を掛けたものの方向とが、類似している場合、この２つの動画像データによる動画像は類似していると判断される。

【0023】

変換行列ＸｐＸｑ^-1は、対角成分以外が０である行列であってもよい。例えば、規格ｐ
がＭＰＥＧ２であり、規格ｑがＨ．２６４であるとき、変換行列ＸｐＸｑ^-1は、次のように表される。

【数5】

【0024】

また、このとき、規格ｐから規格ｑへの変換行列ＸｑＸｐ^-1は、次のように表される

【数6】

規格ｐと規格ｑとは、例えば、互いに符号化の規格が異なるものである。規格ｐと規格ｑとは、同一の符号化の規格であって、異なる圧縮率、解像度等を有するものであってもよい。規格ｐと規格ｑとは、同一の規格であってもよい。同一の規格間における変換行列は、単位行列になる。

【0025】

図１は、動画像データのストリーム構成の例（１）を示す図である。図１の例では、動画像データのストリーム構成は、シーケンスヘッダ、ピクチャヘッダ、ペイロード、ピクチャヘッダ、ペイロードの順である。シーケンスヘッダには、例えば、符号化方式、画像サイズ、アスペクト比、フレームレート、ビットレートなどの情報が含まれる。ピクチャヘッダには、後に続くペイロードに含まれるピクチャ（画像）データが、Ｉピクチャか、Ｐピクチャか、Ｂピクチャかの情報が含まれる。ペイロードには、画像データが含まれる。ペイロードの先頭の位置と次のピクチャヘッダの先頭の位置との差分により、ペイロードの大きさが分かる。即ち、１つの画像データの大きさが分かる。ペイロードのサイズは、可変長である。

【0026】

図２は、動画像データのストリーム構成の例（２）を示す図である。図２の例では、動画像データのストリーム構成は、シーケンスヘッダ、ピクチャヘッダ、ペイロード、ピクチャヘッダ、ペイロードの順である。図１の例と異なる点は、ペイロードが画像データと、スタッフビットとに区別できる点である。スタッフビットは、ペイロードの一部である。スタッフビット（スタッフコード）は、画像の情報を有さない。スタッフビットは、例えば、連続した０ｘｆｆである。このような場合、スタッフビットは、ペイロードから容易に特定され得る。スタッフビットのパターンは、符号化方式から推定可能である。スタッフビットが特定される場合、ペイロードのサイズからスタッフビットのサイズを除いたものを、画像データのサイズとする。

【0027】

図１、図２の例では、動画像データのストリーム構成の例を示したが、ストリーミング用ではない動画像ファイルであっても、同様にして、符号化方式、ピクチャの種類（Ｉ、Ｐ、Ｂ）、画像データの大きさ等が得られる。

【0028】

（構成例）
図３は、動画像データ比較装置の構成例を示す図である。図３の動画像データ比較装置１００は、第１抽出部１１２、第１特徴量演算部１１４、第２抽出部１２２、第２特徴量抽出部１２４、比較部１３０、記憶部１４０を有する。

【0029】

動画像データ比較装置１００は、参照元の動画像データから所定の情報を抽出し、抽出した情報に基づいて、特徴量等を算出する。また、動画像データ比較装置１００は、検査対象の動画像データから所定の情報を抽出し、抽出した情報に基づいて、特徴量等を算出する。さらに、動画像データ比較装置１００は、参照元の動画像データの特徴量等と検査対象の動画像データの特徴量等とを比較し、検査対象の動画像データの動画像が参照元の動画像データの動画像と類似しているか否かを判定する。ここで扱う動画像データは、符号化処理されており、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを有するものとする。

【0030】

第１抽出部１１２は、参照元の動画像データである第１動画像データを取得する。第１動画像データは、ネットワーク上を流れるストリーミングデータであってもよいし、記録媒体に記録された動画像ファイルであってもよい。第１抽出部１１２は、第１動画像データからシーケンスヘッダを抽出する。第１抽出部１１２は、シーケンスヘッダに含まれる情報から、第１動画像データの符号化方式（規格）を推定する。第１抽出部１１２は、第１動画像データのピクチャヘッダのビット位置（または時刻）を取得する。第１抽出部１１２は、第１動画像データ内の各ピクチャヘッダからピクチャ種別（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を抽出する。第１抽出部１１２は、各ピクチャに対応するペイロードのサイズを取得する。各ペイロードのサイズは、各ピクチャのサイズに相当する。また、ペイロードからスタッフビットが特定される場合、第１抽出部１１２は、ペイロードのサイズからスタッフビットのサイズを除いたものをピクチャのサイズとする。ピクチャ種別及びピクチャのサイズは、ピクチャ番号または時刻と対応付けられる。ピクチャ番号は、時間順に付けられたピクチャの通し番号である。第１抽出部１１２は、第１特徴量演算部１１４に、第１動画像データの符号化方式、ピクチャ番号、ピクチャ種別、ピクチャのサイズ等を、第１特徴量演算部１１４に送信する。１つのピクチャ番号は、１つのフレームに対応する。

【0031】

図４は、第１抽出部から第１特徴量演算部に送信される情報の例を示す図である。第１抽出部１１２は、図４のように、ピクチャ番号、ピクチャ種別、ピクチャのサイズを対応づけて、第１特徴量演算部１１４に送信する。ピクチャ番号の代わりに時刻が使用されてもよい。例えば、ピクチャ番号に１フレームあたりの時間（ビットレートの逆数）が乗算されることで、時刻が求まる。

【0032】

第１特徴量演算部１１４は、第１抽出部１１２から受信した情報に基づいて、第１動画像データの特徴量、変化点等を算出する。第１特徴量演算部１１４は、算出した特徴量、変化点等を、記憶部１４０に格納する。

【0033】

第２抽出部１２２は、検査対象の動画像データである第２動画像データを取得する。第２動画像データは、ネットワーク上を流れるストリーミングデータであってもよいし、記録媒体に記録された動画像ファイルであってもよい。第２抽出部１２２は、第１抽出部１１２と同様にして、第２動画像データから、符号化方式、ピクチャ番号、ピクチャ種別、ピクチャのサイズを取得し、第２特徴量演算部１２４に送信する。

【0034】

第２特徴量演算部１２４は、第２抽出部１２２から受信した情報に基づいて、第２動画像データの特徴量、変化点等を算出する。第２特徴量演算部１２４は、算出した特徴量、変化点等を、比較部１３０に送信する。第２特徴量演算部１２４は、算出した特徴量、変化点等を、記憶部１４０に格納してもよい。

【0035】

比較部１３０は、第１動画像データの特徴量、変化点等と、第２動画像データの特徴量、変化点等とを比較して、第２動画像データの動画像が第１動画像データの動画像と類似しているか否かを判定する。比較部１３０は、記憶部１４０から、第１動画像データの特徴量、変化点等を取得する。比較部１３０は、第２特徴量演算部１２４から、第２動画像データの特徴量、変化点等を取得する。比較部１３０は、記憶部１４０から、第２動画像データの特徴量、変化点等を取得してもよい。

【0036】

記憶部１４０は、第１動画像データの特徴量、変化点等、第２動画像データの特徴量、変化点等を格納する。

【0037】

動画像データ比較装置１００は、パーソナルコンピュータ（ＰＣ、Personal Computer
）のような汎用のコンピュータまたはサーバマシンのような専用のコンピュータを使用して実現できる。また、動画像データ比較装置１００は、スマートフォン、携帯電話、カーナビゲーション装置のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現できる。

【0038】

図５は、動画像データ比較装置を実現する情報処理装置の例を示す図である。コンピュータ、すなわち、情報処理装置１０００は、プロセッサ１００２、主記憶装置１００４、及び、二次記憶装置１００６や、通信インタフェース装置１０１２のような周辺装置とのインタフェース装置を含む。主記憶装置及び二次記憶装置は、コンピュータ読み取り可能な記録媒体である。情報処理装置１０００は、入力装置１００８、出力装置１０１０を含む。情報処理装置１０００の各構成要素は、バス１０２０を介して接続される。

【0039】

コンピュータは、プロセッサが記録媒体に記憶されたプログラムを主記憶装置の作業領域にロードして実行し、プログラムの実行を通じて情報処理装置、周辺装置が制御されることによって、所定の目的に合致した機能を実現できる。

【0040】

プロセッサ１００２は、例えば、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）である。主記憶装置１００４は、例えば、ＲＡＭ（Random Access
Memory）やＲＯＭ（Read Only Memory）を含む。

【0041】

二次記憶装置１００６は、例えば、ＥＰＲＯＭ（Erasable Programmable ROM）、ハー
ドディスクドライブ（ＨＤＤ、Hard Disk Drive）である。また、二次記憶装置１００６
は、リムーバブルメディア、即ち可搬記録媒体を含むことができる。リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、あるいは、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）のようなディスク記録媒体である。

【0042】

通信インタフェース装置１０１２は、例えば、ＬＡＮ（Local Area Network）インタフェースボードや、無線通信のための無線通信回路である。通信インタフェース装置は、ネットワークに接続される。通信インタフェース装置は、ネットワークを介して、他のコンピュータや他の通信機器との間でデータの送受信を行う。

【0043】

周辺装置は、上記の二次記憶装置や通信インタフェース装置の他、キーボードやポインティングデバイスのような入力装置や、ディスプレイ装置やプリンタのような出力装置を含む。ポインティングデバイスには、マウス、タッチパネル、タッチパッド、トラックボ
ールなどが含まれる。また、入力装置は、カメラのような映像や画像の入力装置や、マイクロフォンのような音声の入力装置を含むことができる。また、出力装置は、スピーカのような音声の出力装置を含むことができる。

【0044】

動画像データ比較装置１００を実現する情報処理装置１０００は、プロセッサが二次記憶装置に記憶されているプログラムを主記憶装置にロードして実行することによって、第１抽出部１１２、第１特徴量演算部１１４、第２抽出部１２２、第２特徴量演算部１２４、比較部１３０としての機能を実現する。一方、記憶部１４０は、主記憶装置または二次記憶装置の記憶領域に設けられる。

【0045】

一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。

【0046】

プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的または個別に実行される処理を含む。

【0047】

ハードウェアの構成要素は、ハードウェア回路であり、例えば、ＦＰＧＡ（Field Programmable Gate Array）、特定用途向け集積回路（ＡＳＩＣ）、ゲートアレイ、論理ゲー
トの組み合わせ、アナログ回路等がある。

【0048】

ソフトウェアの構成要素は、ソフトウェアとして所定の処理を実現する部品である。ソフトウェアの構成要素は、ソフトウェアを実現する言語、開発環境等を限定する概念ではない。

【0049】

（動作例）
〈第１抽出部の動作例〉
第１抽出部１１２の動作例について説明する。

【0050】

図６は、第１抽出部の動作フローの例を示す図である。図６の動作フローは、第１抽出部１１２に、参照元の動画像データ（第１動画像データ）が入力されることにより開始される。第１動画像データには、図２または図１のように、シーケンスヘッダ、ピクチャヘッダ、ペイロード等が含まれる。第１動画像データは、何らかの符号化方式により符号化処理された動画像データである。

【0051】

第１抽出部１１２は、入力される第１動画像データから、シーケンスヘッダを検出する（Ｓ１０１）。シーケンスヘッダには、例えば、符号化方式、画像サイズ、アスペクト比、フレームレート、ビットレートなどの情報が含まれる。

【0052】

第１抽出部１１２は、シーケンスヘッダに含まれる情報から、第１動画像データの符号化方式（規格種別）を確定する（Ｓ１０２）。シーケンスヘッダには、固有の規格番号が含まれるため、第１抽出部１１２は、符号化方式（規格種別）を確定することができる。

【0053】

第１抽出部１１２は、シーケンスヘッダに続くピクチャヘッダを検出する（Ｓ１０３）。第１抽出部１１２は、各ピクチャヘッダのピット位置を検出し、各ピクチャヘッダを取得する。

【0054】

第１抽出部１１２は、ピクチャヘッダに含まれる情報から、ピクチャヘッダに続くペイロードに含まれるピクチャのピクチャ種別を確定する（Ｓ１０４）。ピクチャ種別は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのうちいずれかを示す情報である。各ピクチャ種別は
、各ピクチャに固有のピクチャ番号によって識別される。各ピクチャ種別は、ピクチャの時刻情報によって識別されてもよい。

【0055】

第１抽出部１１２は、各ピクチャに対応するペイロードのサイズを取得する。ペイロードのサイズは、例えば、ピクチャヘッダと次のピクチャヘッダとの間のビット数により求められる。第１抽出部１１２は、ペイロードのサイズをピクチャのサイズとして取得する（Ｓ１０５）。また、第１抽出部１１２は、ペイロードのスタッフビットを取得できる場合、ペイロードのサイズからスタッフビットのサイズを除いたものを、ピクチャのサイズとする。ピクチャのサイズは、ピクチャ番号、ピクチャ種別と対応付けられる。

【0056】

第１抽出部１１２は、符号化方式、ピクチャ番号、ピクチャ種別、ピクチャのサイズ等を、第１特徴量演算部１１４に送信する。

【0057】

第２抽出部１２２の動作は、第１抽出部１１２の動作とほぼ同様である。

【0058】

〈第１特徴量演算部の動作例〉
第１特徴量演算部１１４の動作例について説明する。

【0059】

図７は、第１特徴量演算部１１４の動作フローの例を示す図である。図７の動作フローは、第１特徴量演算部１１４に、第１抽出部１１２から、符号化方式、ピクチャ番号、ピクチャ種別、ピクチャのサイズ等が入力されることにより、開始される。

【0060】

第１特徴量演算部１１４は、符号化方式、ピクチャ番号、ピクチャ種別、ピクチャのサイズ等を取得する。また、第１特徴量演算部１１４は、参照元の動画像データの観測範囲等の特徴量等算出の条件を取得する（Ｓ２０１）。観測範囲とは、他の動画像データと比較対象とする範囲である。観測範囲は、例えば、ピクチャ番号の範囲として与えられる。観測範囲として、動画像データの特徴的部分、動画像データの重要部分などが選択される。観測範囲等の特徴量等算出の条件は、例えば、ユーザによって、与えられる。観測範囲等の特徴量等算出の条件は、記憶部１４０に格納されていてもよい。観測範囲は、例えば、数分分である。

【0061】

第１特徴量演算部１１４は、観測範囲内の各ピクチャ番号に対して、Ｉピクチャのサイズの平均、Ｐピクチャのサイズの平均、Ｂピクチャのサイズの平均を算出する。ピクチャ番号ｎにおける、Ｉピクチャのサイズの平均、Ｐピクチャのサイズの平均、Ｂピクチャのサイズの平均を、３成分とするベクトルを、特徴量Ｆｏｎとする。ピクチャ番号ｎのＩピクチャのサイズの平均は、ピクチャ種別がＩピクチャのうちピクチャ番号ｎに近い方からｋ枚のＩピクチャのサイズの平均とする。ピクチャ番号ｎのＰピクチャのサイズの平均は、ピクチャ種別がＰピクチャのうちピクチャ番号ｎに近い方からｋ枚のＰピクチャのサイズの平均とする。ピクチャ番号ｎのＢピクチャのサイズの平均は、ピクチャ種別がＢピクチャのうちピクチャ番号ｎに近い方からｋ枚のＢピクチャのサイズの平均とする。ここで、「ｋ」は、特徴量等算出の条件の１つである。第１特徴量演算部１１４は、観測範囲内のすべてのピクチャ番号について、特徴量Ｆｏを算出する（Ｓ２０２）。特徴量Ｆｏ（ベクトル）は、大きさ１に正規化されてもよい。また、第１特徴量演算部１１４は、ピクチャ番号ｎのＩピクチャのサイズの平均を、ピクチャ番号ｎの周辺の範囲ｍに含まれるすべてのＩピクチャのサイズの平均としてもよい。Ｐピクチャ、Ｂピクチャについても同様である。１つの規格に対して、１つの変換行列が用意される場合、ここで求めた特徴量Ｆｏに第１動画像データの符号化方式に対応する変換行列が乗算されたものが、特徴量Ｆｏとなる。変換行列は、特徴量等算出の条件の１つである。

【0062】

第１特徴量演算部１１４は、特徴量Ｆの変換点Ｃｏを算出する（Ｓ２０３）。第１特徴
量演算部１１４は、ステップＳ２０２で算出したピクチャ番号ｎの特徴量Ｆｏｎとピクチャ番号ｎ＋１の特徴量Ｆｏｎ＋１との角度差を比較する。特徴量Ｆｏｎ及び特徴量Ｆｏｎ＋１は、共に、ベクトルであるので、次のようにして、角度差θｏｎが求められる。

【0063】

【数7】

第１特徴量演算部１１４は、角度差θｏｎが所定値以上である場合、ピクチャ番号ｎが変化点であると判断する。ピクチャ番号ｎが変化点であるとは、ピクチャ番号ｎとピクチャ番号ｎ＋１との間に変化点があることを意味する。特徴量Ｆｏの方向は画像の性質に対応し、特徴量Ｆｏの方向が変化することは、画像の性質が変化することを表す。特徴量演算部１１４は、変化点をピクチャ番号が小さい方から、Ｃｏ１、Ｃｏ２、・・・として算出する。角度差の代わりに、余弦が使用されてもよい。余弦が使用されることで、計算負荷が減少する。

【0064】

第１特徴量演算部１１４は、特徴点Ｆｏ、変化点Ｃｏを記憶部１４０に格納する。

【0065】

〈第２特徴量演算部の動作例〉
第２特徴量演算部１２４の動作例について説明する。

【0066】

図８は、第２特徴量演算部１２４の動作フローの例を示す図である。図８の動作フローは、第２特徴量演算部１２４に、第２抽出部１２２から、符号化方式、ピクチャ番号、ピクチャ種別、ピクチャのサイズ等が入力されることにより、開始される。

【0067】

第２特徴量演算部１２４は、符号化方式、ピクチャ番号、ピクチャ種別、ピクチャのサイズ等を取得する。また、第２特徴量演算部１２４は、検査対象の動画像データの特徴量等算出の条件を取得する（Ｓ３０１）。特徴量等算出の条件は、例えば、ユーザによって、与えられる。特徴量等算出の条件は、記憶部１４０に格納されていてもよい。

【0068】

第２特徴量演算部１２４は、観測範囲内の各ピクチャ番号に対して、Ｉピクチャのサイズの平均、Ｐピクチャのサイズの平均、Ｂピクチャのサイズの平均を算出する。ピクチャ番号ｎにおける、Ｉピクチャのサイズの平均、Ｐピクチャのサイズの平均、Ｂピクチャのサイズの平均を、３成分とするベクトルを算出する。第２特徴量演算部１２４は、算出したベクトルに、変換行列を乗算する。変換行列は、第２動画像データの符号化方式から第１動画像データの符号化方式に変換する変換行列である。変換行列は、記憶部１４０に格納される。変換行列は、第２動画像データの符号化方式と第１動画像データの符号化方式とに基づいて選択される。変換行列は、特徴量等算出の条件の１つである。第２特徴量演算部１２４は、算出したベクトルに変換行列を乗算したものを、特徴量Ｆｒｎ（ベクトル）とする。ピクチャ番号ｎのＩピクチャのサイズの平均は、ピクチャ種別がＩピクチャのうちピクチャ番号ｎに近い方からｋ枚のＩピクチャのサイズの平均とする。ピクチャ番号ｎのＰピクチャのサイズの平均は、ピクチャ種別がＰピクチャのうちピクチャ番号ｎに近い方からｋ枚のＰピクチャのサイズの平均とする。ピクチャ番号ｎのＢピクチャのサイズの平均は、ピクチャ種別がＢピクチャのうちピクチャ番号ｎに近い方からｋ枚のＢピクチャのサイズの平均とする。ここで、「ｋ」は、特徴量等算出の条件の１つである。第２特徴量演算部１２４は、観測範囲内のすべてのピクチャ番号について、特徴量Ｆｒを算出す
る（Ｓ３０２）。特徴量Ｆｒ（ベクトル）は、大きさ１に正規化されてもよい。また、第２特徴量演算部１２４は、ピクチャ番号ｎのＩピクチャのサイズの平均を、ピクチャ番号ｎの周辺の範囲ｍに含まれるすべてのＩピクチャのサイズの平均としてもよい。Ｐピクチャ、Ｂピクチャについても同様である。第２動画像データについては、第２動画像データ内のすべてのピクチャ番号について、特徴点Ｆｒが算出される。第２動画像データ内の所定の範囲内のピクチャ番号について、特徴点Ｆｒが算出されるようにしてもよい。１つの規格に対して１つの変換行列が用意される場合、第２動画像データの符号化方式に対応する変換行列がここでの変換行列となる。

【0069】

第２特徴量演算部１１４は、特徴量Ｆｒの変換点Ｃｒを算出する（Ｓ３０３）。第２特徴量演算部１２４は、ステップＳ３０２で算出したピクチャ番号ｎの特徴量Ｆｒｎとピクチャ番号ｎ＋１の特徴量Ｆｒｎ＋１との角度差を比較する。特徴量Ｆｒｎ及び特徴量Ｆｒｎ＋１は、共に、ベクトルであるので、次のようにして、角度差θｒｎが求められる。

【0070】

【数8】

第２特徴量演算部１２４は、角度差θｒｎが所定値以上である場合、ピクチャ番号ｎが変化点であると判断する。ピクチャ番号ｎが変化点であるとは、ピクチャ番号ｎとピクチャ番号ｎ＋１との間に変化点があることを意味する。特徴量Ｆｒの方向は画像の性質に対応し、特徴量Ｆｒの方向が変化することは、画像の性質が変化することを表す。特徴量演算部１１４は、変化点をピクチャ番号が小さい方から、Ｃｒ１、Ｃｒ２、・・・として算出する。角度差の代わりに、余弦が使用されてもよい。余弦が使用されることで、計算負荷が減少する。

【0071】

第２特徴量演算部１２４は、特徴点Ｆｒ、変化点Ｃｒを比較部１３０に出力する。第２特徴量演算部１２４は、特徴点Ｆｒ、変化点Ｃｒを、記憶部１４０に格納してもよい。

【0072】

〈比較部の動作例〉
比較部１３０の動作例について説明する。

【0073】

図９は、比較部の動作フローの例を示す図である。図９の動作フローは、比較部１３０に、第１動画像データの特徴量、変化点、第２動画像データの特徴量、変化点の上方が入力されることにより開始される。

【0074】

ステップＳ４０１では、比較部１３０は、参照元の動画像データである第１動画像データの特徴量、変化点を、記憶部１４０から取得する。比較部１３０は、検査対象の動画像データである第２動画像データの特徴量、変化点を、第２特徴量演算部１２４または記憶部１４０から取得する。

【0075】

ステップＳ４０２では、比較部１３０は、第１動画像データの変化点Ｃｏ１と、第２動画像データの変化点Ｃｒ１とを基準として、第１動画像データ内の変化点の位置（観測範囲内の変化点の位置）と一致する第２動画像データ内の変化点の位置を探索する。比較部１３０は、ステップＳ４０５から戻ってきたときは、第２動画像データの基準の変化点をＣｒ２、Ｃｒ３と順にずらしながら、変化点の位置を探索する。比較部１３０は、第２動
画像データの基準点を第２動画像データのピクチャ番号ごとに順にずらしてもよい。このとき、ステップS４０５では、第２動画像データのすべてのピクチャ番号について、探索
をしたか否かで判断される。

【0076】

ステップＳ４０３では、比較部１３０は、第１動画像データ内の変化点の数に対する、第１動画像データ内の変化点の位置と一致する第２動画像データ内の変化点の位置の数が、所定値以上であるか否かを判定する。第１動画像データ内の変化点の数に対する、第１動画像データ内の変化点の位置と一致する第２動画像データ内の変化点の位置の数の比が、所定値以上である場合（Ｓ４０３；ＹＥＳ）、処理がステップＳ４０４に進む。第１動画像データ内の変化点の数に対する、第１動画像データ内の変化点の位置と一致する第２動画像データ内の変化点の位置の数の比が、所定値未満である場合（Ｓ４０３；ＮＯ）、処理がステップＳ４０５に進む。

【0077】

ステップＳ４０４では、比較部１３０は、ステップＳ４０３で基準とした変化点を基準として、ピクチャ番号毎に第１動画像データ内の特徴量Ｆｏと第２動画像データ内の特徴量Ｆｒとを比較する。具体的には、比較部１３０は、ピクチャ番号毎に第１動画像データ内の特徴量Ｆｏと第２動画像データ内の特徴量Ｆｒとの角度差を算出し、当該角度差のうち最も小さいものが所定の閾値未満であるか否かを判定する。角度差のうち最も小さいものが所定の閾値未満である場合、比較部１３０は、第１動画像データの観測範囲の動画像と、これと変化点が類似した第２動画像データの範囲の動画像とが、類似していると判断する。角度差のうち最も小さいものが所定の閾値未満である場合、第１動画像データの観測範囲の動画像と、これと変化点が類似した第２動画像データの範囲の動画像とが、類似していないと判断する。

【0078】

ステップＳ４０５では、比較部１３０は、ステップＳ４０２での探索で、第２動画像データ内のすべての変化点を基準としたか否かを判定する。第２動画像データ内のすべての変化点を基準としていない場合（Ｓ４０５；ＮＯ）、処理がステップＳ４０２に戻る。第２動画像データ内のすべての変化点を基準とした場合（Ｓ４０５；ＹＥＳ）、処理がステップＳ４０６に進む。

【0079】

ステップＳ４０６では、比較部１３０は、ステップＳ４０４で、類似していると判断された、第２動画像データの範囲と、特徴量Ｆｏと特徴量Ｆｒとの角度差のうち最も小さいものとを出力する。ステップＳ４０４で、複数回、類似していると判断された場合、すべてについて、第２動画像データの範囲と、特徴量Ｆｏと特徴量Ｆｒとの角度差のうち最も小さいものとを出力する。

【0080】

以上により、比較部１３０は、第１動画像データの観測範囲と類似する第２動画像データ内の範囲を抽出することができる。

【0081】

抽出された第２動画像データの範囲についての動画像を、ユーザが、改めて目視で確認して、第１動画像データの観測範囲と抽出された第２動画像データの範囲とが類似しているか否かを判断してもよい。

【0082】

動画像データ比較装置１００が、例えば、ネットワーク上のゲートウェイ装置に設置されることで、ネットワーク上を流れるストリーミングデータから、第１動画像データの観測範囲と類似する動画像を抽出することができる。

【0083】

（変形例）
図１０は、第１動画像データと第２動画像データとフレームレートが異なる場合について説明する図である。

【0084】

先に説明した上記の例では、第１動画像データと第２動画像データとのフレームレート（一秒あたりのピクチャの数）が一致していることを前提としている。しかし、動画像データのフレームレートは、必ずしも一致するものではなく、異なる場合も考えられる。図１０の動画像データＭａ及び動画像データＮａのように、第１動画像データと第２動画像データとで、フレームレートが異なる場合について、説明する。

【0085】

図１０のように、動画像データＭａのフレームレートが３０フレーム／秒、動画像データＮａのフレームレートが２４フレーム／秒であるとする。ここで、３０と２４の最小公倍数を算出すると、１２０である。よって、そこで、動画像データＭａ及び動画像データＮａを、フレームレート１２０フレーム／秒の動画像データに変換する。動画像データＭａでは、各ピクチャを４回ずつ繰り返すことで、１２０フレーム／秒の動画像データ（動画像データＭｂ）とする。動画像データＮａでは、各ピクチャを５回ずつ繰り返すことで、１２０フレーム／秒の動画像データ（動画像データＮｂ）とする。動画像データ比較装置１００は、これらの１２０フレーム／秒の動画像データを、第１動画像データまたは第２動画像データとして扱う。このようにすることで、動画像データ比較装置１００は、特徴量Ｆや変化点Ｃを求めることにより、上記の例と同様にして、動画像データが類似する範囲を抽出することができる。

【0086】

（実施形態の作用、効果）
動画像データ比較装置１００は、参照元の動画像データからピクチャ種別、各ピクチャのサイズを抽出し、抽出した情報に基づいて、特徴量、変化点を算出する。また、動画像データ比較装置１００は、検査対象の動画像データからピクチャ種別、各ピクチャのサイズを抽出し、抽出した情報に基づいて、特徴量、変化点を算出する。さらに、動画像データ比較装置１００は、参照元の動画像データの変化点と検査対象の動画像データの変化点とを比較し、参照元の動画像データの変化点と類似する検査対象の動画像データの範囲を抽出する。動画像データ比較装置１００は、変化点が類似する範囲において、特徴量を比較し、検査対象の動画像データの動画像が参照元の動画像データの動画像と類似しているか否かを判定する。動画像データ比較装置１００は、変換行列を用いて特徴量を算出することで、異なる符号化方法で符号化された動画像データ同士を比較することができる。

【0087】

動画像データ比較装置１００は、動画像データの復号化処理をすることなく、２つの動画像データの内容（動画像）が類似しているか否かを判定することができる。動画像データ比較装置１００は、動画像データの復号化処理をすることなく動画像データの比較をするので、演算負荷が小さく、短時間で動画像データの動画像が類似しているか否かを判断することができる。

【0088】

以上の構成は、可能な限りこれらを組み合わせて実施され得る。

【符号の説明】

【0089】

１００ 動画像データ比較装置
１１２ 第１抽出部
１１４ 第１特徴量演算部
１２２ 第２抽出部
１２４ 第２特徴量演算部
１３０ 比較部
１４０ 記憶部
１０００ 情報処理装置
１００２ プロセッサ
１００４ 主記憶装置
１００６ 二次記憶装置
１００８ 入力装置
１０１０ 出力装置
１０１２ 通信インタフェース装置
１０２０ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】