特許 6588745 シーンチェンジ検出装置、及びそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6588745

(24)【登録日】2019年9月20日

(45)【発行日】2019年10月9日

(54)【発明の名称】シーンチェンジ検出装置、及びそのプログラム

(51)【国際特許分類】

   H04N 19/87 20140101AFI20191001BHJP

【ＦＩ】

   H04N19/87

【請求項の数】2

【全頁数】13

(21)【出願番号】特願2015-126987(P2015-126987)

(22)【出願日】2015年6月24日

(65)【公開番号】特開2017-11587(P2017-11587A)

(43)【公開日】2017年1月12日

【審査請求日】2018年5月1日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100143568

【弁理士】

【氏名又は名称】英 貢

(72)【発明者】

【氏名】千田 和博

(72)【発明者】

【氏名】井口 和久

(72)【発明者】

【氏名】境田 慎一

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 特開平１１−００８８５４（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０３９２９４（ＷＯ，Ａ１）

【文献】 特開２０１０−２５８５７６（ＪＰ，Ａ）

【文献】 特表２０００−５１６４３４（ＪＰ，Ａ）

【文献】 特開２０１１−６６６８２（ＪＰ，Ａ）

【文献】 三宅 正規, 他，MPEG映像データに対するカットシーンの高速検出手法，電気学会研究会資料 The Papers of Joint Technical Meeting on Information Processing and Information Oriented Indrstrial，社団法人電気学会，２００４年 ９月１７日，IP 04-11，pp. 7-12

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

Ｈ０４Ｎ ２１／００−２１／８５８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

動画像のシーンチェンジを検出するシーンチェンジ検出装置であって、
動画像における連続する同種フレーム間における符号化単位ブロックの数についてフレーム毎に集計した統計量の変化を、フレーム種別に応じた閾値と比較してシーンチェンジ区間を判定する同種フレーム間判定処理手段と、
全てのフレーム種別で判定した前記シーンチェンジ区間の重複区間によりシーンチェンジフレームを特定するシーンチェンジ検出手段と、を備え、
前記同種フレーム間判定処理手段は、
フレームを構成する全てのブロックサイズのうち最小サイズの符号化単位ブロックの数を前記統計量として、前記フレーム種別に応じた閾値と比較し、前記シーンチェンジ区間の有無を判定するよう構成され、
前記動画像がＧＯＰ構造として最上位のＩフレームに対しＰフレーム、Ｂフレーム、及び非参照Ｂフレームのうちいずれか１以上の下位のフレームを含む階層構造を有するときは、前記階層構造の最上位に位置するＩフレームから順に前記統計量の変化に基づくシーンチェンジ区間を判定し、上位のフレームで前記シーンチェンジ区間が有るとして判定された時のみ下位のフレームで前記シーンチェンジ区間の有無を判定する手段と、
前記動画像がＧＯＰ構造として全てがＩフレームからなるときは、連続するＩフレーム毎に前記統計量の変化に基づくシーンチェンジ区間を判定する手段と、
を有することを特徴とするシーンチェンジ検出装置。

【請求項2】

コンピュータを、請求項１に記載のシーンチェンジ検出装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像のシーンチェンジを検出するシーンチェンジ検出装置、シーンチェンジ検出方法及びそのプログラムに関する。

【背景技術】

【0002】

シーンチェンジ検出はシーンの転換点を検出する技術であり、動画像の符号化装置においては、符号化パラメータを制御するために用いられる。また民生用の映像レコーダでは、コマーシャルメッセージと番組プログラムの転換点の検出や、再符号化時の符号化パラメータ制御等で用いられる。

【0003】

シーンチェンジ検出の方法としては、フレーム間の画素値変化を利用したものがある。例えば、フレーム間の画素値変化を利用したものでは、隣接する２フレームで画素値を比較し、差が大きい場合にシーンチェンジとするものがある（例えば、非特許文献１参照）。

【0004】

符号化された映像信号についても一度復号することで、非特許文献１の技法を用いることができるが、一度復号するため計算量が大きいという課題がある。また、非特許文献１の技法では、動きの大きな映像で誤検出されやすいという課題がある。そこで、符号化された映像信号のシーンチェンジ検出に、符号化パラメータのうちＤＣＴ（離散コサイン変換）係数の相関を用いるものや動きベクトル方向を用いるものがある。例えば、例えばイントラ予測フレーム（Ｉｎｔｒａ：以下、「Iフレーム」と称し、画面内予測のみを用いて符号化するフレームを云う）のＤＣＴ係数の相関を用いる技法（例えば、非特許文献２参照）や、「Ｐフレーム」（Ｐｒｅｄｉｃｔｅｄ:片方向から予測符号化可能なフレームを云う)、或いは「Ｂフレーム」（Ｂｉ‐Ｄｉｒｅｃｔｉｏｎａｌ Ｐｒｅｄｉｃｔｅｄ：過去及び未来の双方向から予測符号化可能なフレームを云う）の動きベクトル方向を用いる技法がある（例えば、非特許文献３参照）。

【0005】

更には、Ｂフレームにおいて、フレーム内のマクロブロックごとに動きベクトルの参照フレームをカウントし、この統計量の変化を基にシーンチェンジ検出する技法（例えば、特許文献１参照）や、マクロブロックのタイプ別にマクロブロック数をカウントし、動き補償の予測方向に偏りがあることを用いてシーンチェンジ検出する技法がある（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開平６−５４３１５号公報

【特許文献2】特開２０１１−６６６８２号公報

【非特許文献】

【0007】

【非特許文献1】長坂晃朗、田中譲, “カラービデオ映像における自動索引付け法と物体探索法”, 一般社団法人情報処理学会，情報処理学会論文誌, Vol.33, No.4, pp.543-550，1992年4月15日発行

【非特許文献2】Boon-Lock Yeo, et al., “Rapid scene analysis on compressed video”, IEEE，Circuits and Systems for Video Technology, IEEE Transactions on Volume 5; Issue:6, pp.533-544, 1995年12月.

【非特許文献3】金子敏光、堀修、“動きベクトル符号量を用いたＭＰＥＧ動画像からの高速カット検出”，一般社団法人電子情報通信学会，電子情報通信学会技術研究報告，PRMU, パターン認識・メディア理解, Vol.96, No.385, pp.55-62, 1996年11月22日発行

【発明の概要】

【発明が解決しようとする課題】

【0008】

前述したように、非特許文献１の技法では、一度復号するため計算量が大きいという問題や、動きの大きな映像で誤検出されやすいという問題がある。

【0009】

また、非特許文献２，３、並びに特許文献１，２など、符号化パラメータのうちＤＣＴ係数の相関を用いる技法や動きベクトル方向を用いる技法では、いずれもＤＣＴ係数や動きベクトルなどを得るため、部分的に復号しなければならず、計算量が大きくなるという問題があり、また、検出可能なＧＯＰ（Group Of Pictures）構造が、ＧＯＰ長Ｍ＝３（Ｉ／Ｐ，Ｂ，Ｂ，Ｐ／Ｉ等）など一部の構造に限られており、ＧＯＰ構造が階層構造をとる場合には適用することができないという問題がある。

【0010】

従って、ＧＯＰ構造が階層構造を持つか否かに関わらず、符号化されたストリーム中の符号化パラメータから少ない計算量でシーンチェンジのフレームを特定する技法が望まれる。

【0011】

そこで、本発明は上述の問題に鑑みて為されたものであり、本発明の目的は、任意のＧＯＰ構造の動画像に対して、効率よくシーンチェンジを検出するシーンチェンジ検出装置、シーンチェンジ検出方法及びそのプログラムを提供することにある。

【課題を解決するための手段】

【0012】

本発明は、包括的には、任意のＧＯＰ構造の動画像における連続する同種フレーム間（例えば、Ｉフレーム間、Ｐフレーム間、Ｂフレーム間等）における符号化単位ブロック数に関する統計量の変化を基に、シーンチェンジを検出する。

【0013】

本発明のシーンチェンジ検出装置は、動画像のシーンチェンジを検出するシーンチェンジ検出装置であって、動画像における連続する同種フレーム間における符号化単位ブロックの数についてフレーム毎に集計した統計量の変化を、フレーム種別に応じた閾値と比較してシーンチェンジ区間を判定する同種フレーム間判定処理手段と、全てのフレーム種別で判定した前記シーンチェンジ区間の重複区間によりシーンチェンジフレームを特定するシーンチェンジ検出手段と、を備え、前記同種フレーム間判定処理手段は、フレームを構成する全てのブロックサイズのうち最小サイズの符号化単位ブロックの数を前記統計量として、前記フレーム種別に応じた閾値と比較し、前記シーンチェンジ区間の有無を判定するよう構成され、前記動画像がＧＯＰ構造として最上位のＩフレームに対しＰフレーム、Ｂフレーム、及び非参照Ｂフレームのうちいずれか１以上の下位のフレームを含む階層構造を有するときは、前記階層構造の最上位に位置するＩフレームから順に前記統計量の変化に基づくシーンチェンジ区間を判定し、上位のフレームで前記シーンチェンジ区間が有るとして判定された時のみ下位のフレームで前記シーンチェンジ区間の有無を判定する手段と、前記動画像がＧＯＰ構造として全てがＩフレームからなるときは、連続するＩフレーム毎に前記統計量の変化に基づくシーンチェンジ区間を判定する手段と、を有することを特徴とする。

【0018】

更に、本発明のプログラムは、コンピュータを、本発明のシーンチェンジ検出装置として機能させるためのプログラムである。

【発明の効果】

【0019】

本発明によれば、ＤＣＴ等の負荷の高い計算を必要とせず、符号化単位ブロック数の比較による負荷の軽い処理のみで、任意のＧＯＰ構造のシーンチェンジを検出することができる。

【図面の簡単な説明】

【0020】

【図1】本発明による一実施形態のシーンチェンジ検出装置の概略構成を示すブロック図である。

【図2】本発明による一実施形態のシーンチェンジ検出装置の動作例を示すメインルーチンのフローチャートである。

【図3】本発明による一実施形態のシーンチェンジ検出装置の動作例を示すサブルーチンのフローチャートである。

【図4】本発明による一実施形態のシーンチェンジ検出装置の動作例を示すサブルーチンのフローチャートである。

【図5】本発明による一実施形態のシーンチェンジ検出装置における一実施例の同種フレーム間判定処理の動作を示す図である。

【図6】本発明による一実施形態のシーンチェンジ検出装置における一実施例のシーンチェンジ検出結果を示す図である。

【発明を実施するための形態】

【0021】

以下、図面を参照して、本発明による一実施形態のシーンチェンジ検出装置１を説明する。図１は、本発明による一実施形態のシーンチェンジ検出装置１の概略構成を示すブロック図である。

【0022】

（装置構成）
シーンチェンジ検出装置１は、任意のＧＯＰ構造の動画像における連続する同種フレーム間における符号化単位ブロック（以下、「ＣＢ: Coding Block」とも称する）の数に関する統計量の変化を基に、シーンチェンジを検出する装置であり、連続する同種フレーム間で符号化パラメータの１つとすることができるＣＢ数が絵柄によって大きく異なることに着目している。

【0023】

そして、シーンチェンジ検出装置１は、連続する同種フレーム間でＣＢ数を比較し、ＣＢ数が大きく変化する区間を「シーンチェンジ区間」として判定する。また、本例では、フレーム種別として、Ｉフレーム、Ｐフレーム、Ｂフレーム、及び、非参照Ｂフレーム（以下、「ＮＲＢフレーム」: Ｂフレームであって、他のフレームから参照されないフレームを云う）を扱うことができる。即ち、シーンチェンジ検出装置１は、Ｉフレーム、Ｐフレーム、Ｂフレーム、及び、非参照Ｂフレーム間でシーンチェンジ区間を有するか否かの判定を行い、全てのフレーム種別において、シーンチェンジ区間と判定されたフレームをシーンチェンジフレームとして検出する。尚、ＣＢ数が大きく変化するとは、或るフレーム種別（Ｘフレーム）における比較する２フレーム間のＣＢ数の差がフレーム種別ごとに設定された閾値Ｔｈ（Ｘ）を超えることを云う。

【0024】

より具体的には、図１に示すように、本実施形態のシーンチェンジ検出装置１は、同種フレーム間判定処理部１１及びシーンチェンジ検出部１２を備える。同種フレーム間判定処理部１１は、同種フレーム抽出部１１１、ブロック数算出部１１２、及びシーンチェンジ区間検出部１１３を備える。

【0025】

同種フレーム間判定処理部１１は、任意のＧＯＰ構造を有する動画像の映像信号を入力し、シーンチェンジの判定を行う所定のフレーム数（例えば、３２フレーム）を「検出対象区間」として記憶し、この検出対象区間でフレーム種別ごとにシーンチェンジ区間の有無を逐次判定し、シーンチェンジ区間を有するか否かの旨、及びシーンチェンジ区間を有する際には、そのシーンチェンジ区間を示すフレーム番号をシーンチェンジ検出部１２に出力する機能部である。ここで、シーンチェンジの判定を行う検出対象区間は、Ｉフレームを跨って連続する、Ｉフレーム以外の他の同種フレーム間のＣＢ数の比較が可能であれば任意のフレーム数とすることができる。

【0026】

同種フレーム抽出部１１１は、或るフレーム種別（Ｘフレーム）におけるシーンチェンジ区間の有無を判定するために、検出対象区間に存する連続するＸフレームを順次抽出する機能部である。

【0027】

ブロック数算出部１１２は、同種フレーム抽出部１１１によって順次抽出された連続するＸフレームのＣＢ数をそれぞれカウントする機能部である。

【0028】

シーンチェンジ区間検出部１１３は、ブロック数算出部１１２によってカウントされた連続するＸフレームのＣＢ数を比較し、そのＣＢ数の差がフレーム種別ごとに設定された閾値Ｔｈ（Ｘ）を超える際に、シーンチェンジ区間として決定する機能部である。

【0029】

これら同種フレーム抽出部１１１、ブロック数算出部１１２、及びシーンチェンジ区間検出部１１３の機能により、検出対象区間でフレーム種別ごとにシーンチェンジ区間の有無を逐次判定し、シーンチェンジ区間を有する際には、そのシーンチェンジ区間を示すフレーム番号を判定することができる。

【0030】

同種フレーム間判定処理部１１は、入力される映像信号のＧＯＰ構造が予め分かっているときは、当該ＧＯＰ構造に関するフレーム種別のみを対象にシーンチェンジ区間を判定すればよいが、入力される映像信号のＧＯＰ構造が予め分かっていないときは、まず、フレーム種別を識別して、フレーム種別ごとにシーンチェンジ区間の有無を判定する。フレーム種別の識別は、例えば、各ＧＯＰの先頭のＧＯＰヘッダや各フレームの先頭のフレームヘッダを参照して識別すればよい。

【0031】

このため、同種フレーム間判定処理部１１は、或る検出対象区間のシーンチェンジ判定が終了すると、次の検出対象区間のシーンチェンジ判定へと移行する。これらの検出対象区間に跨って連続する同種フレーム間で、そのＣＢ数の比較を可能とするには、例えば連続する検出対象区間で、少なくとも１つのＧＯＰが重複して含まれるようにすればよい。

【0032】

シーンチェンジ検出部１２は、所定のフレーム数（例えば、３２フレーム）の検出対象区間内で、同種フレーム間判定処理部１１によってフレーム種別ごとにシーンチェンジ区間が有ると判定されたときのシーンチェンジ区間の重複区間を求め、全てのフレーム種別においてシーンチェンジ区間と判定されたフレームをシーンチェンジフレームとして検出し、そのフレーム番号を検出結果として出力する機能部である。ただし、シーンチェンジ検出部１２は、このシーンチェンジフレームを検出結果とするよう構成する以外にも、シーンチェンジの判定を行う検出対象区間ごとに、シーンチェンジフレームが検出されたか否かを示す検出結果を出力するよう構成することもできる。

【0033】

（装置動作）
以下、図２乃至図３を参照して、本実施形態のシーンチェンジ検出装置１の動作例を説明する。図２は、本実施形態のシーンチェンジ検出装置１の動作例を示すメインルーチンのフローチャートであり、図３及び図４は、そのサブルーチンのフローチャートである。

【0034】

ここで、シーンチェンジ判定区間に含まれるフレーム種別Ｘのフレームを、ｆＸ（ｎ）＝｛ｘ_０，ｘ_１，ｘ_２，…，ｘ_ｎ｝として説明する。つまり、Ｉフレームは、ｆＩ（ｎ）＝｛ｉ_０，ｉ_１，ｉ_２，…，ｉ_ｎ｝、Ｐフレームは、ｆＰ（ｎ）＝｛ｐ_０，ｐ_１，ｐ_２，…，ｐ_ｎ｝、Ｂフレームは、ｆＢ（ｎ）＝｛ｂ_０，ｂ_１，ｂ_２，…，ｂ_ｎ｝、ＮＲＢフレームは、ｆＮＲＢ（ｎ）＝｛ｎｒｂ_０，ｎｒｂ_１，ｎｒｂ_２，…，ｎｒｂ_ｎ｝とする。また、或るフレームｘ_ｍにおけるＣＢ数をＣＢとする。尚、ｎは０以上の整数でありフレーム種別ごとに検出対象区間内のフレーム順を示すものであり、動画像のフレーム番号を対応付けることができるものとする。ｍは、０〜ｎのうち判定対象の値を示す。

【0035】

また、シーンチェンジ判定区間を[ｘ_ｍ−１，ｘ_ｍ]としたとき、ＣＢ数の差分をｄｉｆｆＣＢ[ｘ_ｍ−１，ｘ_ｍ]と表し、式（１）によって算出することができる。

【0036】

ｄｉｆｆＣＢ[ｘ_ｍ−１，ｘ_ｍ]＝｜ＣＢ（ｘ_ｍ）−ＣＢ（ｘ_ｍ−１）｜ （１）

【0037】

また、シーンチェンジ区間が有るとして判定した旨及びそのフレーム番号を示すシーンチェンジ判定フラグは、ＣＣｆ[ｘ_ｍ−１，ｘ_ｍ]と表すこととする。

【0038】

そして、シーンチェンジ区間の判定に用いる閾値Ｔｈ（Ｘ）は、動画像の解像度や絵柄に応じた固定値とすることができ、もしくは予め定めた統計値、例えば式（２）で算出した値とすることができる。

【0039】

Ｔｈ（Ｘ）＝（ｄｉｆｆＣＢ[ｘ_ｍ−１，ｘ_ｍ]の平均値）
＋２×（ｄｉｆｆＣＢ[ｘ_ｍ−１，ｘ_ｍ]の標準偏差） （２）

【0040】

図２に示すシーンチェンジ検出におけるメインフローに対して、図３及び図４は、シーンチェンジ検出におけるサブフローを示しているが、図４におけるフレーム種別Ｗは、フレーム種別Ｘの一つ上位の符号化階層にあたるフレーム種別を示す。例えばＸがＰフレームを示す場合にはＷはＩフレームを、ＸがＢフレームを示す場合には、ＷはＰフレームを表し、ＸがＮＲＢフレームを示す場合には、ＷはＢフレームを示す。

【0041】

まず、図２を参照するに、シーンチェンジ検出装置１は、同種フレーム間判定処理部１１の同種フレーム抽出部１１１により、或る検出対象区間において、シーンチェンジの判定開始とともに、先ずは連続するＩフレームを抽出し、この連続するＩフレーム間でのシーンチェンジ判定、即ちフレーム間判定（Ｉ）を行う（ステップＳ１，Ｓ２）。フレーム間判定（Ｉ）は、図３に示したサブルーチンにより行う。

【0042】

図３を参照するに、同種フレーム間判定処理部１１は、ブロック数算出部１１２により、検出対象区間内の或る連続する２つのＩフレーム[ｉ_ｍ−１，ｉ_ｍ]のＣＢ数をそれぞれカウントして、シーンチェンジ区間検出部１１３により、ブロック数算出部１１２によってカウントされた連続するＩフレームのＣＢ数の差分絶対値ｄｉｆｆＣＢ[ｉ_ｍ−１，ｉ_ｍ]（式（１））を算出する（ステップＳ１１）。続いて、同種フレーム間判定処理部１１は、シーンチェンジ区間検出部１１３により、ｄｉｆｆＣＢ[ｉ_ｍ−１，ｉ_ｍ]とＴｈ（Ｉ）を比較して、シーンチェンジの有無を判定する（ステップＳ１２）。シーンチェンジが無いと判定すれば（ステップＳ１２：Ｎｏ）、シーンチェンジ判定フラグＣＣｆ[ｉ_ｍ−１，ｉ_ｍ]＝偽（Ｆａｌｓｅ）とし（ステップＳ１３）、シーンチェンジが有ると判定すれば（ステップＳ１２：Ｙｅｓ）、シーンチェンジ判定フラグＣＣｆ[ｉ_ｍ−１，ｉ_ｍ]＝真（Ｔｒｕｅ）とする（ステップＳ１４）。

【0043】

即ち、図２を参照するに、先ずは、シーンチェンジ判定区間［ｉ_０,ｉ_１］においてｄｉｆｆＣＢ[ｉ_０,ｉ_１]を求め、シーンチェンジが無かったと判定した場合は（ステップＳ２：Ｆａｌｓｅ）、次のシーンチェンジ判定区間［ｉ_１,ｉ_２］でフレーム間判定（Ｉ）を行う（ステップＳ３，Ｓ４を経てＳ１，Ｓ２）。つまり、シーンチェンジがあったと判定するか（ステップＳ２：Ｔｒｕｅ）、又は検出対象区間内に存する全てのＩフレームに関するシーンチェンジ判定が終了するまで（換言すれば、ｉ_ｍ＋１＞ｉ_ｎとなるまで）、フレーム間判定（Ｉ）を行う（ステップＳ３：Ｎｏ、及びＳ４を経てＳ１）。或るシーンチェンジ判定区間[ｉ_ｍ−１，ｉ_ｍ]でシーンチェンジがあったと判定した場合は（ステップＳ２：Ｔｒｕｅ）、シーンチェンジ判定フラグＣＣｆ[ｉ_ｍ−１，ｉ_ｍ]＝真（Ｔｒｕｅ）とし（即ち、図３に示すステップＳ１４）、Ｐフレーム間でのシーンチェンジ判定、即ちフレーム間判定（Ｐ）へ移行する（ステップＳ５，Ｓ６）。尚、フレーム間判定（Ｉ）において、検出対象区間内で最後までシーンチェンジが無かったと判定された場合（ステップＳ３：Ｙｅｓ）、判定区間内にシーンチェンジは無かったと判定し、処理を終了する（動画像の次の検出対象区間に移行する）。

【0044】

フレーム間判定（Ｐ）は、図４に示したサブルーチンにより行う。ここでは、図４に示すｘをｐと置き換え、ｗをｉと置き換えることができる。

【0045】

図４を参照するに、この時の判定開始フレームはＩフレームのシーンチェンジ判定区間[ｉ_ｍ−１，ｉ_ｍ]に含まれるＰフレームのうち、フレーム番号が最小となるものをフレームＰ_ｋとする（ステップＳ２１）。フレーム間判定（Ｐ）では、同種フレーム間判定処理部１１は、ブロック数算出部１１２により、検出対象区間内の或る連続する２つのＰフレーム［ｐ_ｋ−１，ｐ_ｋ］のＣＢ数をそれぞれカウントして、シーンチェンジ区間検出部１１３により、ブロック数算出部１１２によってカウントされた連続するＰフレームのＣＢ数の差分絶対値ｄｉｆｆＣＢ［ｐ_ｋ−１，ｐ_ｋ］（式（１））を算出する（ステップＳ２２）。続いて、同種フレーム間判定処理部１１は、シーンチェンジ区間検出部１１３により、ｄｉｆｆＣＢ［ｐ_ｋ−１，ｐ_ｋ］とＴｈ（Ｐ）を比較して、シーンチェンジの有無を判定する（ステップＳ２３）。シーンチェンジが無いと判定すれば（ステップＳ２３：Ｎｏ）、シーンチェンジ判定フラグＣＣｆ［ｐ_ｋ−１，ｐ_ｋ］＝偽（Ｆａｌｓｅ）とし（ステップＳ２４）、次のシーンチェンジ判定区間［ｐ_ｋ，ｐ_ｋ＋１］でフレーム間判定（Ｐ）を行う（ステップＳ２５，Ｓ２６を経てＳ２２，Ｓ２３）。

【0046】

つまり、シーンチェンジがあったと判定するか（ステップＳ２３：Ｙｅｓ）、又は検出対象区間内に存する全てのＰフレームに関するシーンチェンジ判定が終了するまで（換言すれば、ｐ_ｋ−１＞ｉ_ｍとなるまで）、フレーム間判定（Ｐ）を行う（ステップＳ２３：Ｎｏ、Ｓ２４、Ｓ２３：Ｎｏ及びＳ２６を経てＳ２２）。或るシーンチェンジ判定区間［ｐ_ｋ−１，ｐ_ｋ］でシーンチェンジがあったと判定した場合は（ステップＳ２３：Ｙｅｓ）、シーンチェンジ判定フラグＣＣｆ［ｐ_ｋ−１，ｐ_ｋ］＝真（Ｔｒｕｅ）とし（ステップＳ２７、即ち図２におけるステップＳ６：Ｔｒｕｅ）、Ｂフレーム間でのシーンチェンジ判定、即ちフレーム間判定（Ｂ）へ移行する（図２におけるステップＳ７，Ｓ８）。フレーム間判定（Ｐ）において、検出対象区間内で最後までシーンチェンジがなかったと判定された場合（ステップＳ２５：Ｙｅｓ）、フレーム間判定（Ｉ）でのシーンチェンジ検出が誤検出であったとしてサブフローを終了する（即ち図２におけるステップＳ６：Ｆａｌｓｅ）。

【0047】

連続するＢフレーム間でのシーンチェンジ判定であるフレーム間判定（Ｂ）は、図４に示すｘをｂと置き換え、ｗをｐと置き換えることで、フレーム間判定（Ｐ）と同様に処理を行う（ステップＳ７，Ｓ８）。従って、フレーム間判定（Ｂ）は、或るシーンチェンジ判定区間［ｂ_ｋ−１，ｂ_ｋ］でシーンチェンジがあったと判定した場合は、シーンチェンジ判定フラグＣＣｆ［ｂ_ｋ−１，ｂ_ｋ］＝真（Ｔｒｕｅ）とし（Ｓ８：Ｔｒｕｅ）、ＮＲＢフレーム間でのシーンチェンジ判定、即ちフレーム間判定（ＮＲＢ）へ移行する。フレーム間判定（Ｂ）において、検出対象区間内で最後までシーンチェンジがなかったと判定された場合、シーンチェンジ判定フラグＣＣｆ［ｂ_ｋ−１，ｂ_ｋ］＝偽（Ｆａｌｓｅ）とし、フレーム間判定（Ｉ）でのシーンチェンジ検出が誤検出であったとしてサブフローを終了する（Ｓ８：Ｆａｌｓｅ）。

【0048】

また、連続するＮＲＢフレーム間でのシーンチェンジ判定であるフレーム間判定（ＮＲＢ）は、図４に示すｘをｎｒｂと置き換え、ｗをｂと置き換えることで、フレーム間判定（Ｐ）と同様に処理を行う（ステップＳ９，Ｓ１０）。従って、フレーム間判定（ＮＲＢ）は、或るシーンチェンジ判定区間［ｎｒｂ_ｋ−１，ｎｒｂ_ｋ］でシーンチェンジがあったと判定した場合は、シーンチェンジ判定フラグＣＣｆ［ｎｒｂ_ｋ−１，ｎｒｂ_ｋ］＝真（Ｔｒｕｅ）とし（Ｓ１０：Ｔｒｕｅ）、ステップＳ１１へ移行する。フレーム間判定（ＮＲＢ）において、検出対象区間内で最後までシーンチェンジがなかったと判定された場合、シーンチェンジ判定フラグＣＣｆ［ｎｒｂ_ｋ−１，ｎｒｂ_ｋ］＝偽（Ｆａｌｓｅ）とし、フレーム間判定（Ｉ）でのシーンチェンジ検出が誤検出であったとしてサブフローを終了する（Ｓ１０：Ｆａｌｓｅ）。

【0049】

ここで、シーンチェンジ検出装置１は、同種フレーム間判定処理部１１により、フレーム間判定（ＮＲＢ）でシーンチェンジがあったと判定された場合、シーンチェンジ検出部１２により、それまでの判定、即ちフレーム間判定（Ｉ）、フレーム間判定（Ｐ）、フレーム間判定（Ｂ）、及びフレーム間判定（ＮＲＢ）でシーンチェンジがあったと判定された区間のうち、重複する区間を求め、全てのフレーム種別においてシーンチェンジ区間と判定されたフレームをシーンチェンジフレームとして検出する（ステップＳ１１）。この重複区間は、動画像における隣接した２フレームとなり、この間で動画像の特徴が大きく変化することが分かる。

【0050】

以上から、シーンチェンジフレームは、当該重複区間の隣接２フレームの後フレームとして特定することができる。このように、例えば図５に示すように、ＧＯＰ長Ｍ＝８でランダムアクセス形式のＧＯＰ構造を有する動画像に対して、フレーム間判定（Ｉ）、フレーム間判定（Ｐ）、フレーム間判定（Ｂ）、及びフレーム間判定（ＮＲＢ）の順にてシーンチェンジ区間を判定し、その重複区間でシーンチェンジフレームを特定することができることから、ＤＣＴ等の負荷の高い計算を必要とせず、ＣＢ数の比較による負荷の軽い処理のみで、任意のＧＯＰ構造のシーンチェンジを検出することができる。特に、階層構造の上位から順にシーンチェンジ区間を判定するため、例えばフレーム間判定（Ｉ）にて、シーンチェンジ区間がないと判定したときは、そのフレーム間のフレーム間判定（Ｐ）、フレーム間判定（Ｂ）、及びフレーム間判定（ＮＲＢ）を省略することができ、処理負担が軽減し、処理速度も向上する。

【0051】

（実施例）
図６に、本実施形態のシーンチェンジ検出装置１における一実施例のシーンチェンジ検出結果を示している。図６は、ＨＥＶＣ／Ｈ.２６５で符号化した場合におけるＣＢサイズ別ＣＢ数の具体例を示す。横軸はフレーム番号、縦軸はＣＢサイズ（６４×６４画素、３２×３２画素、１６×１６画素、及び８×８画素）別のカウント数を表す。

【0052】

尚、符号化に使用した条件は、次の通りである。
・量子化パラメータ（ＱＰ）：２２（固定）、
・ＧＯＰ構造：ランダムアクセス方式（ＧＯＰ長Ｍ＝８）
・シーンチェンジ発生フレーム：１４０フレーム目

【0053】

また、ｆＩ（ｎ），ｆＰ（ｎ），ｆＢ（ｎ），ｆＮＲＢ（ｎ）に含まれるフレームは次の通りである。
・ｆＩ（ｎ）＝｛0,32,…,128,160,…｝
・ｆＰ（ｎ）＝｛8,16,…,120,136,144,152,…｝
・ｆＢ（ｎ）＝｛2,4,6,10,12,…,134,138,140,142,146,148,…｝
・ｆＮＲＢ（ｎ）＝｛1,3,5,7,…,137,139,141,143,145,…｝

【0054】

まずシーンチェンジ判定（Ｉ）は、最初の検出対象区間となる区間［０，３２］から行う。区間［０，３２］でシーンチェンが検出されなければ続いて、区間［３２，６４］、区間［６４，９６］、区間［９６，１２８］、区間［１２８，１６０］の順にシーンチェンジ判定（Ｉ）を行う。シーンチェンジ判定（Ｉ）を進めていくと、区間［１２８，１６０］において、ｄｉｆｆＣＢ［１２８，１６０］が大きく、或る閾値Ｔｈ（Ｉ）を超えていた。このときＣＣｆ［１２８，１６０］＝Ｔｒｕｅとして、フレーム間判定（Ｐ）を行う。

【0055】

フレーム間判定（Ｐ）を行う最初のｐ_ｋは、区間［１２８，１６０］に含まれる最小のＰフレーム、つまり１３６フレームとなることから、シーンチェンジ判定（Ｐ）は、区間［１２０，１３６］から行い、区間［１２０，１３６］でシーンチェンジ検出されなければ次の区間［１３６，１４４］へ進む。区間［１３６，１４４］においては、ｄｉｆｆＣＢ［１３６，１４４］が大きく、或る閾値Ｔｈ（Ｐ）を超えていた。この時ＣＣｆ［１３６，１４４］＝Ｔｒｕｅとし、フレーム間判定（Ｂ）へ進む。

【0056】

フレーム間判定（Ｂ）を行う最初のｂ_ｋは、区間［１３６, １４４］に含まれる最小のＢフレーム、つまり１３８フレームとなる。よってシーンチェンジ判定（Ｂ）は、区間［１３４, １３８］から行い、区間［１３４, １３８］でシーンチェンジ検出されなければ次区間［１３８, １４０］へ進む。区間［１３８, １４０］においては、ｄｉｆｆＣＢ［１３８, １４０］が大きく、或る閾値Ｔｈ（Ｂ）を超えていた。この時ＣＣｆ［１３８, １４０］＝Ｔｒｕｅとし、フレーム間判定（ＮＲＢ）へ進む。

【0057】

フレーム間判定（ＮＲＢ）を行う最初のｎｒｂ_ｋは、区間［１３８, １４０］に含まれる最小のＮＲＢフレーム、つまり１３９フレームとなる。よってシーンチェンジ判定（ＮＲＢ）は、区間［１３７, １３９］から行い、区間［１３７, １３９］でシーンチェンジ検出されなければ次区間［１３９, １４１］へ進む。区間［１３９, １４１］においては、ｄｉｆｆＣＢ［１３９, １４１］が大きく、或る閾値Ｔｈ（ＮＲＢ）を超えていた。この時ＣＣｆ［１３９, １４１］＝Ｔｒｕｅとする。

【0058】

以上の処理により、フレーム判定（Ｉ）では区間［１２８, １６０］で、フレーム間判定（Ｐ）では区間［１３６, １４４］で、フレーム間判定（Ｂ）では区間［１３８, １４０］で、フレーム間判定（ＮＲＢ）では区間［１３９, １４１］でシーンチェンジ検出したことになる。以上の区間で全て含まれるフレームは、１３９，１４０フレームの隣接２フレームであり、この間で映像の特徴が大きく変化していることから、１４０フレームがシーンチェンジフレームであるとして特定できる。

【0059】

本実施例では、ＧＯＰ長Ｍ＝８のランダムアクセス方式におけるシーンチェンジ検出例を示したが、全てがＩフレームからなるオールイントラ（Ａｌｌ Ｉｎｔｒａ）方式におけるシーンチェンジ検出においても、フレーム間判定（Ｉ）の実施で対応できる。またＩフレームとＰフレームからなるローディレイ（Ｌｏｗ Ｄｅｌａｙ）方式についてもフレーム間判定（Ｉ）とフレーム間判定（Ｐ）の実施でシーンチェンジ検出が可能となる。

【0060】

以上、特定の実施形態の例及び実施例を挙げて本発明を説明したが、本発明は前述の実施例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

【0061】

例えば、上述した実施形態や実施例では、１フレームごとのＣＢ数を基に、シーンチェンジ検出を行う例を説明したが、より計算量を削減したい場合は、最小サイズのＣＢを基にシーンチェンジ検出を行ってもよい。例えば或るＣＢを最小サイズのＣＢとした場合、ＨＥＶＣ／Ｈ.２６５では、最小サイズのＣＢが８×８画素となることから、８×８画素のＣＢ数のみでシーンチェンジ検出してもよい。

【0062】

また、上述した実施形態や実施例では、１フレームごとのＣＢ数を基に、シーンチェンジ検出を行う例を説明したが、フレームを２以上の複数領域に分割し、その一部、もしくは全ての複数領域のそれぞれで、上述したシーンチェンジ検出を行うよう構成してもよい。複数領域に分割する場合、その分割形状はＨＥＶＣ／Ｈ.２６５におけるスライス（Ｓｌｉｃｅ）分割や、タイル（Ｔｉｌｅ）分割による分割領域と同一でもよい。分割した領域によってシーンチェンジ検出の結果が異なる場合は、シーンチェンジ検出を行った全ての領域、もしくは多数決判定により、より多くの領域でシーンチェンジと検出されたフレームをシーンチェンジフレームと特定してもよい。例えば、フレームの一部の領域を判定対象とすることで、より計算量を削減することができる。

【0063】

そして、本実施形態のシーンチェンジ検出装置１をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ（図示せず）に記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、本実施形態のシーンチェンジ検出装置１の各構成要素の機能をコンピュータに実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。

【産業上の利用可能性】

【0064】

本発明によれば、ＤＣＴ等の負荷の高い計算を必要とせず、符号化単位ブロック数の比較による負荷の軽い処理のみで、任意のＧＯＰ構造のシーンチェンジを検出することができるので、任意のＧＯＰ構造の動画像におけるシーンチェンジの検出を要する用途に有用である。

【符号の説明】

【0065】

１ シーンチェンジ検出装置
１１ 同種フレーム間判定処理部
１２ シーンチェンジ検出部
１１１ 同種フレーム抽出部
１１２ ブロック数算出部
１１３ シーンチェンジ区間検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】