特許第6588745号(P6588745)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧
特許6588745シーンチェンジ検出装置、及びそのプログラム
<>
  • 特許6588745-シーンチェンジ検出装置、及びそのプログラム 図000002
  • 特許6588745-シーンチェンジ検出装置、及びそのプログラム 図000003
  • 特許6588745-シーンチェンジ検出装置、及びそのプログラム 図000004
  • 特許6588745-シーンチェンジ検出装置、及びそのプログラム 図000005
  • 特許6588745-シーンチェンジ検出装置、及びそのプログラム 図000006
  • 特許6588745-シーンチェンジ検出装置、及びそのプログラム 図000007
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6588745
(24)【登録日】2019年9月20日
(45)【発行日】2019年10月9日
(54)【発明の名称】シーンチェンジ検出装置、及びそのプログラム
(51)【国際特許分類】
   H04N 19/87 20140101AFI20191001BHJP
【FI】
   H04N19/87
【請求項の数】2
【全頁数】13
(21)【出願番号】特願2015-126987(P2015-126987)
(22)【出願日】2015年6月24日
(65)【公開番号】特開2017-11587(P2017-11587A)
(43)【公開日】2017年1月12日
【審査請求日】2018年5月1日
【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100143568
【弁理士】
【氏名又は名称】英 貢
(72)【発明者】
【氏名】千田 和博
(72)【発明者】
【氏名】井口 和久
(72)【発明者】
【氏名】境田 慎一
【審査官】 山▲崎▼ 雄介
(56)【参考文献】
【文献】 特開平11−008854(JP,A)
【文献】 国際公開第2014/039294(WO,A1)
【文献】 特開2010−258576(JP,A)
【文献】 特表2000−516434(JP,A)
【文献】 特開2011−66682(JP,A)
【文献】 三宅 正規, 他,MPEG映像データに対するカットシーンの高速検出手法,電気学会研究会資料 The Papers of Joint Technical Meeting on Information Processing and Information Oriented Indrstrial,社団法人電気学会,2004年 9月17日,IP 04-11,pp. 7-12
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00−19/98
H04N 21/00−21/858
IEEE Xplore
(57)【特許請求の範囲】
【請求項1】
動画像のシーンチェンジを検出するシーンチェンジ検出装置であって、
動画像における連続する同種フレーム間におけ符号化単位ブロックの数についてフレーム毎に集計した統計量の変化を、フレーム種別に応じた閾値と比較してシーンチェンジ区間を判定する同種フレーム間判定処理手段と、
全てのフレーム種別で判定した前記シーンチェンジ区間の重複区間によりシーンチェンジフレームを特定するシーンチェンジ検出手段と、を備え
前記同種フレーム間判定処理手段は、
フレームを構成する全てのブロックサイズのうち最小サイズの符号化単位ブロックの数を前記統計量として、前記フレーム種別に応じた閾値と比較し、前記シーンチェンジ区間の有無を判定するよう構成され、
前記動画像がGOP構造として最上位のIフレームに対しPフレーム、Bフレーム、及び非参照Bフレームのうちいずれか1以上の下位のフレームを含む階層構造を有するときは、前記階層構造の最上位に位置するIフレームから順に前記統計量の変化に基づくシーンチェンジ区間を判定し、上位のフレームで前記シーンチェンジ区間が有るとして判定された時のみ下位のフレームで前記シーンチェンジ区間の有無を判定する手段と、
前記動画像がGOP構造として全てがIフレームからなるときは、連続するIフレーム毎に前記統計量の変化に基づくシーンチェンジ区間を判定する手段と、
を有することを特徴とするシーンチェンジ検出装置。
【請求項2】
コンピュータを、請求項1に記載のシーンチェンジ検出装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画像のシーンチェンジを検出するシーンチェンジ検出装置、シーンチェンジ検出方法及びそのプログラムに関する。
【背景技術】
【0002】
シーンチェンジ検出はシーンの転換点を検出する技術であり、動画像の符号化装置においては、符号化パラメータを制御するために用いられる。また民生用の映像レコーダでは、コマーシャルメッセージと番組プログラムの転換点の検出や、再符号化時の符号化パラメータ制御等で用いられる。
【0003】
シーンチェンジ検出の方法としては、フレーム間の画素値変化を利用したものがある。例えば、フレーム間の画素値変化を利用したものでは、隣接する2フレームで画素値を比較し、差が大きい場合にシーンチェンジとするものがある(例えば、非特許文献1参照)。
【0004】
符号化された映像信号についても一度復号することで、非特許文献1の技法を用いることができるが、一度復号するため計算量が大きいという課題がある。また、非特許文献1の技法では、動きの大きな映像で誤検出されやすいという課題がある。そこで、符号化された映像信号のシーンチェンジ検出に、符号化パラメータのうちDCT(離散コサイン変換)係数の相関を用いるものや動きベクトル方向を用いるものがある。例えば、例えばイントラ予測フレーム(Intra:以下、「Iフレーム」と称し、画面内予測のみを用いて符号化するフレームを云う)のDCT係数の相関を用いる技法(例えば、非特許文献2参照)や、「Pフレーム」(Predicted:片方向から予測符号化可能なフレームを云う)、或いは「Bフレーム」(Bi‐Directional Predicted:過去及び未来の双方向から予測符号化可能なフレームを云う)の動きベクトル方向を用いる技法がある(例えば、非特許文献3参照)。
【0005】
更には、Bフレームにおいて、フレーム内のマクロブロックごとに動きベクトルの参照フレームをカウントし、この統計量の変化を基にシーンチェンジ検出する技法(例えば、特許文献1参照)や、マクロブロックのタイプ別にマクロブロック数をカウントし、動き補償の予測方向に偏りがあることを用いてシーンチェンジ検出する技法がある(例えば、特許文献2参照)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平6−54315号公報
【特許文献2】特開2011−66682号公報
【非特許文献】
【0007】
【非特許文献1】長坂晃朗、田中譲, “カラービデオ映像における自動索引付け法と物体探索法”, 一般社団法人情報処理学会,情報処理学会論文誌, Vol.33, No.4, pp.543-550,1992年4月15日発行
【非特許文献2】Boon-Lock Yeo, et al., “Rapid scene analysis on compressed video”, IEEE,Circuits and Systems for Video Technology, IEEE Transactions on Volume 5; Issue:6, pp.533-544, 1995年12月.
【非特許文献3】金子敏光、堀修、“動きベクトル符号量を用いたMPEG動画像からの高速カット検出”,一般社団法人電子情報通信学会,電子情報通信学会技術研究報告,PRMU, パターン認識・メディア理解, Vol.96, No.385, pp.55-62, 1996年11月22日発行
【発明の概要】
【発明が解決しようとする課題】
【0008】
前述したように、非特許文献1の技法では、一度復号するため計算量が大きいという問題や、動きの大きな映像で誤検出されやすいという問題がある。
【0009】
また、非特許文献2,3、並びに特許文献1,2など、符号化パラメータのうちDCT係数の相関を用いる技法や動きベクトル方向を用いる技法では、いずれもDCT係数や動きベクトルなどを得るため、部分的に復号しなければならず、計算量が大きくなるという問題があり、また、検出可能なGOP(Group Of Pictures)構造が、GOP長M=3(I/P,B,B,P/I等)など一部の構造に限られており、GOP構造が階層構造をとる場合には適用することができないという問題がある。
【0010】
従って、GOP構造が階層構造を持つか否かに関わらず、符号化されたストリーム中の符号化パラメータから少ない計算量でシーンチェンジのフレームを特定する技法が望まれる。
【0011】
そこで、本発明は上述の問題に鑑みて為されたものであり、本発明の目的は、任意のGOP構造の動画像に対して、効率よくシーンチェンジを検出するシーンチェンジ検出装置、シーンチェンジ検出方法及びそのプログラムを提供することにある。
【課題を解決するための手段】
【0012】
本発明は、包括的には、任意のGOP構造の動画像における連続する同種フレーム間(例えば、Iフレーム間、Pフレーム間、Bフレーム間等)における符号化単位ブロック数に関する統計量の変化を基に、シーンチェンジを検出する。
【0013】
本発明のシーンチェンジ検出装置は、動画像のシーンチェンジを検出するシーンチェンジ検出装置であって、動画像における連続する同種フレーム間におけ符号化単位ブロックの数についてフレーム毎に集計した統計量の変化を、フレーム種別に応じた閾値と比較してシーンチェンジ区間を判定する同種フレーム間判定処理手段と、全てのフレーム種別で判定した前記シーンチェンジ区間の重複区間によりシーンチェンジフレームを特定するシーンチェンジ検出手段と、を備え、前記同種フレーム間判定処理手段は、フレームを構成する全てのブロックサイズのうち最小サイズの符号化単位ブロックの数を前記統計量として、前記フレーム種別に応じた閾値と比較し、前記シーンチェンジ区間の有無を判定するよう構成され、前記動画像がGOP構造として最上位のIフレームに対しPフレーム、Bフレーム、及び非参照Bフレームのうちいずれか1以上の下位のフレームを含む階層構造を有するときは、前記階層構造の最上位に位置するIフレームから順に前記統計量の変化に基づくシーンチェンジ区間を判定し、上位のフレームで前記シーンチェンジ区間が有るとして判定された時のみ下位のフレームで前記シーンチェンジ区間の有無を判定する手段と、前記動画像がGOP構造として全てがIフレームからなるときは、連続するIフレーム毎に前記統計量の変化に基づくシーンチェンジ区間を判定する手段と、を有することを特徴とする。
【0018】
更に、本発明のプログラムは、コンピュータを、本発明のシーンチェンジ検出装置として機能させるためのプログラムである。
【発明の効果】
【0019】
本発明によれば、DCT等の負荷の高い計算を必要とせず、符号化単位ブロック数の比較による負荷の軽い処理のみで、任意のGOP構造のシーンチェンジを検出することができる。
【図面の簡単な説明】
【0020】
図1】本発明による一実施形態のシーンチェンジ検出装置の概略構成を示すブロック図である。
図2】本発明による一実施形態のシーンチェンジ検出装置の動作例を示すメインルーチンのフローチャートである。
図3】本発明による一実施形態のシーンチェンジ検出装置の動作例を示すサブルーチンのフローチャートである。
図4】本発明による一実施形態のシーンチェンジ検出装置の動作例を示すサブルーチンのフローチャートである。
図5】本発明による一実施形態のシーンチェンジ検出装置における一実施例の同種フレーム間判定処理の動作を示す図である。
図6】本発明による一実施形態のシーンチェンジ検出装置における一実施例のシーンチェンジ検出結果を示す図である。
【発明を実施するための形態】
【0021】
以下、図面を参照して、本発明による一実施形態のシーンチェンジ検出装置1を説明する。図1は、本発明による一実施形態のシーンチェンジ検出装置1の概略構成を示すブロック図である。
【0022】
(装置構成)
シーンチェンジ検出装置1は、任意のGOP構造の動画像における連続する同種フレーム間における符号化単位ブロック(以下、「CB: Coding Block」とも称する)の数に関する統計量の変化を基に、シーンチェンジを検出する装置であり、連続する同種フレーム間で符号化パラメータの1つとすることができるCB数が絵柄によって大きく異なることに着目している。
【0023】
そして、シーンチェンジ検出装置1は、連続する同種フレーム間でCB数を比較し、CB数が大きく変化する区間を「シーンチェンジ区間」として判定する。また、本例では、フレーム種別として、Iフレーム、Pフレーム、Bフレーム、及び、非参照Bフレーム(以下、「NRBフレーム」: Bフレームであって、他のフレームから参照されないフレームを云う)を扱うことができる。即ち、シーンチェンジ検出装置1は、Iフレーム、Pフレーム、Bフレーム、及び、非参照Bフレーム間でシーンチェンジ区間を有するか否かの判定を行い、全てのフレーム種別において、シーンチェンジ区間と判定されたフレームをシーンチェンジフレームとして検出する。尚、CB数が大きく変化するとは、或るフレーム種別(Xフレーム)における比較する2フレーム間のCB数の差がフレーム種別ごとに設定された閾値Th(X)を超えることを云う。
【0024】
より具体的には、図1に示すように、本実施形態のシーンチェンジ検出装置1は、同種フレーム間判定処理部11及びシーンチェンジ検出部12を備える。同種フレーム間判定処理部11は、同種フレーム抽出部111、ブロック数算出部112、及びシーンチェンジ区間検出部113を備える。
【0025】
同種フレーム間判定処理部11は、任意のGOP構造を有する動画像の映像信号を入力し、シーンチェンジの判定を行う所定のフレーム数(例えば、32フレーム)を「検出対象区間」として記憶し、この検出対象区間でフレーム種別ごとにシーンチェンジ区間の有無を逐次判定し、シーンチェンジ区間を有するか否かの旨、及びシーンチェンジ区間を有する際には、そのシーンチェンジ区間を示すフレーム番号をシーンチェンジ検出部12に出力する機能部である。ここで、シーンチェンジの判定を行う検出対象区間は、Iフレームを跨って連続する、Iフレーム以外の他の同種フレーム間のCB数の比較が可能であれば任意のフレーム数とすることができる。
【0026】
同種フレーム抽出部111は、或るフレーム種別(Xフレーム)におけるシーンチェンジ区間の有無を判定するために、検出対象区間に存する連続するXフレームを順次抽出する機能部である。
【0027】
ブロック数算出部112は、同種フレーム抽出部111によって順次抽出された連続するXフレームのCB数をそれぞれカウントする機能部である。
【0028】
シーンチェンジ区間検出部113は、ブロック数算出部112によってカウントされた連続するXフレームのCB数を比較し、そのCB数の差がフレーム種別ごとに設定された閾値Th(X)を超える際に、シーンチェンジ区間として決定する機能部である。
【0029】
これら同種フレーム抽出部111、ブロック数算出部112、及びシーンチェンジ区間検出部113の機能により、検出対象区間でフレーム種別ごとにシーンチェンジ区間の有無を逐次判定し、シーンチェンジ区間を有する際には、そのシーンチェンジ区間を示すフレーム番号を判定することができる。
【0030】
同種フレーム間判定処理部11は、入力される映像信号のGOP構造が予め分かっているときは、当該GOP構造に関するフレーム種別のみを対象にシーンチェンジ区間を判定すればよいが、入力される映像信号のGOP構造が予め分かっていないときは、まず、フレーム種別を識別して、フレーム種別ごとにシーンチェンジ区間の有無を判定する。フレーム種別の識別は、例えば、各GOPの先頭のGOPヘッダや各フレームの先頭のフレームヘッダを参照して識別すればよい。
【0031】
このため、同種フレーム間判定処理部11は、或る検出対象区間のシーンチェンジ判定が終了すると、次の検出対象区間のシーンチェンジ判定へと移行する。これらの検出対象区間に跨って連続する同種フレーム間で、そのCB数の比較を可能とするには、例えば連続する検出対象区間で、少なくとも1つのGOPが重複して含まれるようにすればよい。
【0032】
シーンチェンジ検出部12は、所定のフレーム数(例えば、32フレーム)の検出対象区間内で、同種フレーム間判定処理部11によってフレーム種別ごとにシーンチェンジ区間が有ると判定されたときのシーンチェンジ区間の重複区間を求め、全てのフレーム種別においてシーンチェンジ区間と判定されたフレームをシーンチェンジフレームとして検出し、そのフレーム番号を検出結果として出力する機能部である。ただし、シーンチェンジ検出部12は、このシーンチェンジフレームを検出結果とするよう構成する以外にも、シーンチェンジの判定を行う検出対象区間ごとに、シーンチェンジフレームが検出されたか否かを示す検出結果を出力するよう構成することもできる。
【0033】
(装置動作)
以下、図2乃至図3を参照して、本実施形態のシーンチェンジ検出装置1の動作例を説明する。図2は、本実施形態のシーンチェンジ検出装置1の動作例を示すメインルーチンのフローチャートであり、図3及び図4は、そのサブルーチンのフローチャートである。
【0034】
ここで、シーンチェンジ判定区間に含まれるフレーム種別Xのフレームを、fX(n)={x,x,x,…,x}として説明する。つまり、Iフレームは、fI(n)={i,i,i,…,i}、Pフレームは、fP(n)={p,p,p,…,p}、Bフレームは、fB(n)={b,b,b,…,b}、NRBフレームは、fNRB(n)={nrb,nrb,nrb,…,nrb}とする。また、或るフレームxにおけるCB数をCBとする。尚、nは0以上の整数でありフレーム種別ごとに検出対象区間内のフレーム順を示すものであり、動画像のフレーム番号を対応付けることができるものとする。mは、0〜nのうち判定対象の値を示す。
【0035】
また、シーンチェンジ判定区間を[xm−1,x]としたとき、CB数の差分をdiffCB[xm−1,x]と表し、式(1)によって算出することができる。
【0036】
diffCB[xm−1,x]=|CB(x)−CB(xm−1)| (1)
【0037】
また、シーンチェンジ区間が有るとして判定した旨及びそのフレーム番号を示すシーンチェンジ判定フラグは、CCf[xm−1,x]と表すこととする。
【0038】
そして、シーンチェンジ区間の判定に用いる閾値Th(X)は、動画像の解像度や絵柄に応じた固定値とすることができ、もしくは予め定めた統計値、例えば式(2)で算出した値とすることができる。
【0039】
Th(X)=(diffCB[xm−1,x]の平均値)
+2×(diffCB[xm−1,x]の標準偏差) (2)
【0040】
図2に示すシーンチェンジ検出におけるメインフローに対して、図3及び図4は、シーンチェンジ検出におけるサブフローを示しているが、図4におけるフレーム種別Wは、フレーム種別Xの一つ上位の符号化階層にあたるフレーム種別を示す。例えばXがPフレームを示す場合にはWはIフレームを、XがBフレームを示す場合には、WはPフレームを表し、XがNRBフレームを示す場合には、WはBフレームを示す。
【0041】
まず、図2を参照するに、シーンチェンジ検出装置1は、同種フレーム間判定処理部11の同種フレーム抽出部111により、或る検出対象区間において、シーンチェンジの判定開始とともに、先ずは連続するIフレームを抽出し、この連続するIフレーム間でのシーンチェンジ判定、即ちフレーム間判定(I)を行う(ステップS1,S2)。フレーム間判定(I)は、図3に示したサブルーチンにより行う。
【0042】
図3を参照するに、同種フレーム間判定処理部11は、ブロック数算出部112により、検出対象区間内の或る連続する2つのIフレーム[im−1,i]のCB数をそれぞれカウントして、シーンチェンジ区間検出部113により、ブロック数算出部112によってカウントされた連続するIフレームのCB数の差分絶対値diffCB[im−1,i](式(1))を算出する(ステップS11)。続いて、同種フレーム間判定処理部11は、シーンチェンジ区間検出部113により、diffCB[im−1,i]とTh(I)を比較して、シーンチェンジの有無を判定する(ステップS12)。シーンチェンジが無いと判定すれば(ステップS12:No)、シーンチェンジ判定フラグCCf[im−1,i]=偽(False)とし(ステップS13)、シーンチェンジが有ると判定すれば(ステップS12:Yes)、シーンチェンジ判定フラグCCf[im−1,i]=真(True)とする(ステップS14)。
【0043】
即ち、図2を参照するに、先ずは、シーンチェンジ判定区間[i,i]においてdiffCB[i,i]を求め、シーンチェンジが無かったと判定した場合は(ステップS2:False)、次のシーンチェンジ判定区間[i,i]でフレーム間判定(I)を行う(ステップS3,S4を経てS1,S2)。つまり、シーンチェンジがあったと判定するか(ステップS2:True)、又は検出対象区間内に存する全てのIフレームに関するシーンチェンジ判定が終了するまで(換言すれば、im+1>iとなるまで)、フレーム間判定(I)を行う(ステップS3:No、及びS4を経てS1)。或るシーンチェンジ判定区間[im−1,i]でシーンチェンジがあったと判定した場合は(ステップS2:True)、シーンチェンジ判定フラグCCf[im−1,i]=真(True)とし(即ち、図3に示すステップS14)、Pフレーム間でのシーンチェンジ判定、即ちフレーム間判定(P)へ移行する(ステップS5,S6)。尚、フレーム間判定(I)において、検出対象区間内で最後までシーンチェンジが無かったと判定された場合(ステップS3:Yes)、判定区間内にシーンチェンジは無かったと判定し、処理を終了する(動画像の次の検出対象区間に移行する)。
【0044】
フレーム間判定(P)は、図4に示したサブルーチンにより行う。ここでは、図4に示すxをpと置き換え、wをiと置き換えることができる。
【0045】
図4を参照するに、この時の判定開始フレームはIフレームのシーンチェンジ判定区間[im−1,i]に含まれるPフレームのうち、フレーム番号が最小となるものをフレームPとする(ステップS21)。フレーム間判定(P)では、同種フレーム間判定処理部11は、ブロック数算出部112により、検出対象区間内の或る連続する2つのPフレーム[pk−1,p]のCB数をそれぞれカウントして、シーンチェンジ区間検出部113により、ブロック数算出部112によってカウントされた連続するPフレームのCB数の差分絶対値diffCB[pk−1,p](式(1))を算出する(ステップS22)。続いて、同種フレーム間判定処理部11は、シーンチェンジ区間検出部113により、diffCB[pk−1,p]とTh(P)を比較して、シーンチェンジの有無を判定する(ステップS23)。シーンチェンジが無いと判定すれば(ステップS23:No)、シーンチェンジ判定フラグCCf[pk−1,p]=偽(False)とし(ステップS24)、次のシーンチェンジ判定区間[p,pk+1]でフレーム間判定(P)を行う(ステップS25,S26を経てS22,S23)。
【0046】
つまり、シーンチェンジがあったと判定するか(ステップS23:Yes)、又は検出対象区間内に存する全てのPフレームに関するシーンチェンジ判定が終了するまで(換言すれば、pk−1>iとなるまで)、フレーム間判定(P)を行う(ステップS23:No、S24、S23:No及びS26を経てS22)。或るシーンチェンジ判定区間[pk−1,p]でシーンチェンジがあったと判定した場合は(ステップS23:Yes)、シーンチェンジ判定フラグCCf[pk−1,p]=真(True)とし(ステップS27、即ち図2におけるステップS6:True)、Bフレーム間でのシーンチェンジ判定、即ちフレーム間判定(B)へ移行する(図2におけるステップS7,S8)。フレーム間判定(P)において、検出対象区間内で最後までシーンチェンジがなかったと判定された場合(ステップS25:Yes)、フレーム間判定(I)でのシーンチェンジ検出が誤検出であったとしてサブフローを終了する(即ち図2におけるステップS6:False)。
【0047】
連続するBフレーム間でのシーンチェンジ判定であるフレーム間判定(B)は、図4に示すxをbと置き換え、wをpと置き換えることで、フレーム間判定(P)と同様に処理を行う(ステップS7,S8)。従って、フレーム間判定(B)は、或るシーンチェンジ判定区間[bk−1,b]でシーンチェンジがあったと判定した場合は、シーンチェンジ判定フラグCCf[bk−1,b]=真(True)とし(S8:True)、NRBフレーム間でのシーンチェンジ判定、即ちフレーム間判定(NRB)へ移行する。フレーム間判定(B)において、検出対象区間内で最後までシーンチェンジがなかったと判定された場合、シーンチェンジ判定フラグCCf[bk−1,b]=偽(False)とし、フレーム間判定(I)でのシーンチェンジ検出が誤検出であったとしてサブフローを終了する(S8:False)。
【0048】
また、連続するNRBフレーム間でのシーンチェンジ判定であるフレーム間判定(NRB)は、図4に示すxをnrbと置き換え、wをbと置き換えることで、フレーム間判定(P)と同様に処理を行う(ステップS9,S10)。従って、フレーム間判定(NRB)は、或るシーンチェンジ判定区間[nrbk−1,nrb]でシーンチェンジがあったと判定した場合は、シーンチェンジ判定フラグCCf[nrbk−1,nrb]=真(True)とし(S10:True)、ステップS11へ移行する。フレーム間判定(NRB)において、検出対象区間内で最後までシーンチェンジがなかったと判定された場合、シーンチェンジ判定フラグCCf[nrbk−1,nrb]=偽(False)とし、フレーム間判定(I)でのシーンチェンジ検出が誤検出であったとしてサブフローを終了する(S10:False)。
【0049】
ここで、シーンチェンジ検出装置1は、同種フレーム間判定処理部11により、フレーム間判定(NRB)でシーンチェンジがあったと判定された場合、シーンチェンジ検出部12により、それまでの判定、即ちフレーム間判定(I)、フレーム間判定(P)、フレーム間判定(B)、及びフレーム間判定(NRB)でシーンチェンジがあったと判定された区間のうち、重複する区間を求め、全てのフレーム種別においてシーンチェンジ区間と判定されたフレームをシーンチェンジフレームとして検出する(ステップS11)。この重複区間は、動画像における隣接した2フレームとなり、この間で動画像の特徴が大きく変化することが分かる。
【0050】
以上から、シーンチェンジフレームは、当該重複区間の隣接2フレームの後フレームとして特定することができる。このように、例えば図5に示すように、GOP長M=8でランダムアクセス形式のGOP構造を有する動画像に対して、フレーム間判定(I)、フレーム間判定(P)、フレーム間判定(B)、及びフレーム間判定(NRB)の順にてシーンチェンジ区間を判定し、その重複区間でシーンチェンジフレームを特定することができることから、DCT等の負荷の高い計算を必要とせず、CB数の比較による負荷の軽い処理のみで、任意のGOP構造のシーンチェンジを検出することができる。特に、階層構造の上位から順にシーンチェンジ区間を判定するため、例えばフレーム間判定(I)にて、シーンチェンジ区間がないと判定したときは、そのフレーム間のフレーム間判定(P)、フレーム間判定(B)、及びフレーム間判定(NRB)を省略することができ、処理負担が軽減し、処理速度も向上する。
【0051】
(実施例)
図6に、本実施形態のシーンチェンジ検出装置1における一実施例のシーンチェンジ検出結果を示している。図6は、HEVC/H.265で符号化した場合におけるCBサイズ別CB数の具体例を示す。横軸はフレーム番号、縦軸はCBサイズ(64×64画素、32×32画素、16×16画素、及び8×8画素)別のカウント数を表す。
【0052】
尚、符号化に使用した条件は、次の通りである。
・量子化パラメータ(QP):22(固定)、
・GOP構造:ランダムアクセス方式(GOP長M=8)
・シーンチェンジ発生フレーム:140フレーム目
【0053】
また、fI(n),fP(n),fB(n),fNRB(n)に含まれるフレームは次の通りである。
・fI(n)={0,32,…,128,160,…}
・fP(n)={8,16,…,120,136,144,152,…}
・fB(n)={2,4,6,10,12,…,134,138,140,142,146,148,…}
・fNRB(n)={1,3,5,7,…,137,139,141,143,145,…}
【0054】
まずシーンチェンジ判定(I)は、最初の検出対象区間となる区間[0,32]から行う。区間[0,32]でシーンチェンが検出されなければ続いて、区間[32,64]、区間[64,96]、区間[96,128]、区間[128,160]の順にシーンチェンジ判定(I)を行う。シーンチェンジ判定(I)を進めていくと、区間[128,160]において、diffCB[128,160]が大きく、或る閾値Th(I)を超えていた。このときCCf[128,160]=Trueとして、フレーム間判定(P)を行う。
【0055】
フレーム間判定(P)を行う最初のpは、区間[128,160]に含まれる最小のPフレーム、つまり136フレームとなることから、シーンチェンジ判定(P)は、区間[120,136]から行い、区間[120,136]でシーンチェンジ検出されなければ次の区間[136,144]へ進む。区間[136,144]においては、diffCB[136,144]が大きく、或る閾値Th(P)を超えていた。この時CCf[136,144]=Trueとし、フレーム間判定(B)へ進む。
【0056】
フレーム間判定(B)を行う最初のbは、区間[136, 144]に含まれる最小のBフレーム、つまり138フレームとなる。よってシーンチェンジ判定(B)は、区間[134, 138]から行い、区間[134, 138]でシーンチェンジ検出されなければ次区間[138, 140]へ進む。区間[138, 140]においては、diffCB[138, 140]が大きく、或る閾値Th(B)を超えていた。この時CCf[138, 140]=Trueとし、フレーム間判定(NRB)へ進む。
【0057】
フレーム間判定(NRB)を行う最初のnrbは、区間[138, 140]に含まれる最小のNRBフレーム、つまり139フレームとなる。よってシーンチェンジ判定(NRB)は、区間[137, 139]から行い、区間[137, 139]でシーンチェンジ検出されなければ次区間[139, 141]へ進む。区間[139, 141]においては、diffCB[139, 141]が大きく、或る閾値Th(NRB)を超えていた。この時CCf[139, 141]=Trueとする。
【0058】
以上の処理により、フレーム判定(I)では区間[128, 160]で、フレーム間判定(P)では区間[136, 144]で、フレーム間判定(B)では区間[138, 140]で、フレーム間判定(NRB)では区間[139, 141]でシーンチェンジ検出したことになる。以上の区間で全て含まれるフレームは、139,140フレームの隣接2フレームであり、この間で映像の特徴が大きく変化していることから、140フレームがシーンチェンジフレームであるとして特定できる。
【0059】
本実施例では、GOP長M=8のランダムアクセス方式におけるシーンチェンジ検出例を示したが、全てがIフレームからなるオールイントラ(All Intra)方式におけるシーンチェンジ検出においても、フレーム間判定(I)の実施で対応できる。またIフレームとPフレームからなるローディレイ(Low Delay)方式についてもフレーム間判定(I)とフレーム間判定(P)の実施でシーンチェンジ検出が可能となる。
【0060】
以上、特定の実施形態の例及び実施例を挙げて本発明を説明したが、本発明は前述の実施例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
【0061】
例えば、上述した実施形態や実施例では、1フレームごとのCB数を基に、シーンチェンジ検出を行う例を説明したが、より計算量を削減したい場合は、最小サイズのCBを基にシーンチェンジ検出を行ってもよい。例えば或るCBを最小サイズのCBとした場合、HEVC/H.265では、最小サイズのCBが8×8画素となることから、8×8画素のCB数のみでシーンチェンジ検出してもよい。
【0062】
また、上述した実施形態や実施例では、1フレームごとのCB数を基に、シーンチェンジ検出を行う例を説明したが、フレームを2以上の複数領域に分割し、その一部、もしくは全ての複数領域のそれぞれで、上述したシーンチェンジ検出を行うよう構成してもよい。複数領域に分割する場合、その分割形状はHEVC/H.265におけるスライス(Slice)分割や、タイル(Tile)分割による分割領域と同一でもよい。分割した領域によってシーンチェンジ検出の結果が異なる場合は、シーンチェンジ検出を行った全ての領域、もしくは多数決判定により、より多くの領域でシーンチェンジと検出されたフレームをシーンチェンジフレームと特定してもよい。例えば、フレームの一部の領域を判定対象とすることで、より計算量を削減することができる。
【0063】
そして、本実施形態のシーンチェンジ検出装置1をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ(図示せず)に記憶される。コンピュータに備えられる中央演算処理装置(CPU)などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、本実施形態のシーンチェンジ検出装置1の各構成要素の機能をコンピュータに実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。
【産業上の利用可能性】
【0064】
本発明によれば、DCT等の負荷の高い計算を必要とせず、符号化単位ブロック数の比較による負荷の軽い処理のみで、任意のGOP構造のシーンチェンジを検出することができるので、任意のGOP構造の動画像におけるシーンチェンジの検出を要する用途に有用である。
【符号の説明】
【0065】
1 シーンチェンジ検出装置
11 同種フレーム間判定処理部
12 シーンチェンジ検出部
111 同種フレーム抽出部
112 ブロック数算出部
113 シーンチェンジ区間検出部
図1
図2
図3
図4
図5
図6