特許 5979145 動画領域検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5979145

(24)【登録日】2016年8月5日

(45)【発行日】2016年8月24日

(54)【発明の名称】動画領域検出装置

(51)【国際特許分類】

   G06T 7/20 20060101AFI20160817BHJP

【ＦＩ】

   G06T7/20 C

【請求項の数】7

【全頁数】18

(21)【出願番号】特願2013-523773(P2013-523773)

(86)(22)【出願日】2012年5月10日

(86)【国際出願番号】JP2012003045

(87)【国際公開番号】WO2013008374

(87)【国際公開日】20130117

【審査請求日】2015年4月3日

(31)【優先権主張番号】特願2011-154389(P2011-154389)

(32)【優先日】2011年7月13日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100124811

【弁理士】

【氏名又は名称】馬場 資博

(74)【代理人】

【識別番号】100088959

【弁理士】

【氏名又は名称】境 廣巳

(72)【発明者】

【氏名】高田 巡

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開２００７−２５９３１４（ＪＰ，Ａ）

【文献】 特開２００２−２４７６１１（ＪＰ，Ａ）

【文献】 特開２００７−２８７００６（ＪＰ，Ａ）

【文献】 特開２００２−１４０７１１（ＪＰ，Ａ）

【文献】 特開２００４−１８０２３５（ＪＰ，Ａ）

【文献】 特開２００６−３２４９７９（ＪＰ，Ａ）

【文献】 特開２００９−００３５９８（ＪＰ，Ａ）

【文献】 特開平１０−３２２５９５（ＪＰ，Ａ）

【文献】 特開２０１０−２１３１８０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／６０

Ｇ０９Ｇ ３／２０

Ｇ０９Ｇ ５／３６

Ｈ０４Ｎ ７／０１

(57)【特許請求の範囲】

【請求項1】

入力映像のフレームについて、前記フレームの前フレームとの間で画素値を比較し、前記フレームをブロック状に分割した複数のブロックのうち、値が変化した画素を含む前記ブロックを更新ブロックとして検出する更新ブロック検出手段と、
前記フレームの前記更新ブロックについて、前記更新ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、該算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定する自然画更新ブロック判定手段と、
前記フレームについて、前記フレームを含めた直近の複数フレームにおいて一定回数以上、前記自然画の更新ブロックと判定されたブロックを自然画の動画ブロックとして抽出する動画ブロック抽出手段と、
前記フレームについて、空間的に近接する前記自然画の動画ブロック同士を連結し、連結された前記自然画の動画ブロックの外接矩形を自然画の動画領域シードとして求める動画領域シード生成手段と、
前記自然画の動画領域シードの上下左右の四辺について、自然画の動画領域の境界を画素単位で探索し決定する動画領域境界決定手段と、
を有し、
前記動画領域境界決定手段は、前記自然画の動画領域シードの上下左右の四辺それぞれについて、ブロック単位で拡大を試行するブロック単位領域拡大手段を備え、
前記ブロック単位領域拡大手段は、拡大によって新たに前記自然画の動画領域シードに加わると見込まれるブロックについて、直近の一定フレーム数内で自然画の更新ブロックと判定された平均的な回数を算出し、算出された値が一定値を超える場合に当該ブロックを前記自然画の動画領域シードに加える、
ことを特徴とする動画領域検出装置。

【請求項2】

前記動画領域境界決定手段は、前記自然画の動画領域シードの上下左右の四辺それぞれについて、画素単位で境界を決定する画素単位領域境界決定手段を備え、
前記画素単位領域境界決定手段は、与えられた領域境界の内外１ブロック分の複数のラインのうち、ラインの外側と内側とで時間および空間方向の画素値の変化の不連続性が最も高くなるラインを動画領域境界として選択する
請求項１に記載の動画領域検出装置。

【請求項3】

前記画素単位領域境界決定手段は、前記複数のラインについて、前記フレームの当該ラインの画素値と前記フレームの前フレームにおける当該ラインの画素値との差分D_Pを算出し、前記フレームの当該ラインの画素値と当該ラインより１ライン外側のラインの画素値との差分D_Nを算出し、前記フレームの当該ラインより１ライン外側のライン上での当該ラインと平行する方向での画素値の差分D_NLを算出し、前記フレームの当該ラインより１ライン外側のラインにおける、前記フレームの画素値と前記フレームの前フレームの画素値との差分D_PNを算出し、D_N-D_NL+D_P-D_PNによって計算される値が最大となるラインを前記動画領域境界として選択する
請求項２に記載の動画領域検出装置。

【請求項4】

前記自然画更新ブロック判定手段は、前記フレーム内での画素値の空間方向の変移を算出して、算出された変移の平均値が小さいブロックを自然画の更新ブロックとして判定する
請求項１乃至３の何れかに記載の動画領域検出装置。

【請求項5】

前記自然画更新ブロック判定手段は、前記フレーム内での画素値の空間方向の変移、および、前記フレームと前記フレームの前フレームの同一画素間の画素値の変移を算出して、算出された変移の平均値が小さいブロックを自然画の更新ブロックとして判定する
請求項１乃至３の何れかに記載の動画領域検出装置。

【請求項6】

入力映像のフレームについて、前記フレームの前フレームとの間で画素値を比較し、前記フレームをブロック状に分割した複数のブロックのうち、値が変化した画素を含む前記ブロックを更新ブロックとして検出し、
前記フレームの前記更新ブロックについて、前記更新ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、該算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定し、
前記フレームについて、前記フレームを含めた直近の複数フレームにおいて一定回数以上、自然画の更新ブロックと判定されたブロックを自然画の動画ブロックとして抽出し、
前記フレームについて、空間的に近接する前記自然画の動画ブロック同士を連結し、連結された前記自然画の動画ブロックの外接矩形を自然画の動画領域シードとして求め、
前記自然画の動画領域シードの上下左右の四辺それぞれについて、ブロック単位で拡大を試行した後、前記自然画の動画領域シードの上下左右の四辺について、自然画の動画領域の境界を画素単位で探索し決定し、
前記拡大の試行では、拡大によって新たに前記自然画の動画領域シードに加わると見込まれるブロックについて、直近の一定フレーム数内で自然画の更新ブロックと判定された平均的な回数を算出し、算出された値が一定値を超える場合に当該ブロックを前記自然画の動画領域シードに加える、
ことを特徴とする動画領域検出方法。

【請求項7】

コンピュータを、
入力映像のフレームについて、前記フレームの前フレームとの間で画素値を比較し、前記フレームをブロック状に分割した複数のブロックのうち、値が変化した画素を含む前記ブロックを更新ブロックとして検出する更新ブロック検出手段と、
前記フレームの前記更新ブロックについて、前記更新ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、該算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定する自然画更新ブロック判定手段と、
前記フレームについて、前記フレームを含めた直近の複数フレームにおいて一定回数以上、自然画の更新ブロックと判定されたブロックを自然画の動画ブロックとして抽出する動画ブロック抽出手段と、
前記フレームについて、空間的に近接する前記自然画の動画ブロック同士を連結し、連結された前記自然画の動画ブロックの外接矩形を自然画の動画領域シードとして求める動画領域シード生成手段と、
前記自然画の動画領域シードの上下左右の四辺について、自然画の動画領域の境界を画素単位で探索し決定する動画領域境界決定手段と、して機能させるためのプログラムであって、
前記動画領域境界決定手段は、前記自然画の動画領域シードの上下左右の四辺それぞれについて、ブロック単位で拡大を試行するブロック単位領域拡大手段を備え、
前記ブロック単位領域拡大手段は、拡大によって新たに前記自然画の動画領域シードに加わると見込まれるブロックについて、直近の一定フレーム数内で自然画の更新ブロックと判定された平均的な回数を算出し、算出された値が一定値を超える場合に当該ブロックを前記自然画の動画領域シードに加える、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は映像信号の領域分離技術に関し、特に、入力映像から自然画の動画領域を検出する装置と方法に関する。

【背景技術】

【0002】

映像信号から動画領域を検出する技術が種々考案されている。

【0003】

例えば特許文献１では、まず、入力映像の現フレームと前フレームとを画素毎に比較してフレーム間画素情報を生成する。次に、このフレーム間画素情報に基づいて現フレーム画像の前フレーム画像に対する移動方向及び移動量を求めて１つ又は複数の動きベクトルを検出する。そして、この動きベクトルおよび上記フレーム間画素情報に基づいて現フレーム中の１つ又は複数の動画像領域を検出している。

【0004】

他方、映像信号から自然画の領域を検出する技術が種々考案されている。

【0005】

例えば特許文献２では、まず、入力映像の各フレーム単位で、画像データの所定単位の全部または一部の画素の輝度レベルを検出する。次に、この検出結果に基づいて上記輝度レベルを検出された各画素間の輝度レベル変動量の累積値を算出する。そして、この算出した累積値、または累積値を画素数で割って求めた画素間の輝度レベル変動量の平均値、または各画素間の輝度レベル変動量が所定範囲にあるエッジの個数に基づいて、入力映像が自然画であるか否かを判別している。

【0006】

また特許文献３では、映像の現フレームと前フレームとを比較して１または複数の更新領域を検出し、各更新領域について、カラーエントロピーに基づいて自然画像か否かを判断している。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００４−３４１３５６号公報

【特許文献2】特開２００２−２４７６１１号公報

【特許文献3】特開２００５−２８７０３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１では、各領域で動きを伴うオブジェクトがあるかどうかに注目しているが、オブジェクトが自然画であるかどうかの判別は行っていない。このため、非自然画である文字や図形が移動している領域と自然画が移動している領域との区別が付かない。従って、入力映像から自然画かつ動画の領域を正しく検出することはできない。

【0009】

他方、特許文献２では、入力映像が自然画か否かを検出しているが、入力映像のフレーム間の関係を考慮していないため、自然画の静止画像か、自然画の動画像かの区別が付かない。従って、入力映像から自然画かつ動画の領域を正しく検出することはできない。また特許文献３では、入力映像のフレーム毎に更新領域を検出しているが、自然画の静止画が最初に表示されたときと、自然画の動画が最初に表示されたときとの区別が付かないため、入力映像から自然画かつ動画の領域を正しく検出することはできない。

【0010】

本発明の目的は、上述したような課題、すなわち入力映像から自然画かつ動画の領域を正しく検出するのは困難である、という課題を解決する動画領域検出装置を提供することにある。

【課題を解決するための手段】

【0011】

本発明の一形態にかかる動画領域検出装置は、
入力映像の現フレームと前フレームとの間で画素値を比較し、値が変化した画素を含むブロックを更新ブロックとして検出する更新ブロック検出手段と、
各更新ブロックについて、ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、該算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定する自然画更新ブロック判定手段と、
直近の複数フレームにおいて一定回数以上自然画の更新ブロックと判定された座標のブロックを自然画の動画ブロックとして抽出する動画ブロック抽出手段と
を有する、といった構成を採る。

【発明の効果】

【0012】

本発明は上述したような構成を有するため、入力映像から自然画かつ動画の領域を正しく検出することが可能である。

【図面の簡単な説明】

【0013】

【図1】本発明の第２の実施形態のブロック図である。

【図2】本発明の第２の実施形態における更新ブロック検出手段の動作の具体例を示す図である。

【図3】本発明の第２の実施形態における自然画更新ブロック判定手段の動作の具体例を示す図である。

【図4】本発明の第２の実施形態における動画ブロック判定手段の動作の第１の具体例を示す図である。

【図5】本発明の第２の実施形態における動画ブロック判定手段の動作の第２の具体例を示す図である。

【図6】本発明の第２の実施形態における動画領域シード生成手段の動作の具体例を示す図である。

【図7】本発明の第２の実施形態における動画領域境界決定手段の動作の具体例を示す図である。

【図8】本発明の第２の実施形態における動画領域境界決定手段の動作の具体例を示す図である。

【図9】本発明の第２の実施形態における動画領域境界決定手段の動作の具体例を示す図である。

【図10】本発明の第２の実施形態の動作を示すフローチャートである。

【図11】本発明の第２の実施形態における動画ブロック判定手段の動作の第１の具体例に対応する数式を示す図である。

【図12】本発明の第２の実施形態における動画ブロック判定手段の動作の第２の具体例に対応する数式を示す図である。

【図13】本発明の第２の実施形態における動画領域境界決定手段の動作の具体例に対応する数式を示す図である。

【図14】本発明の第１の実施形態のブロック図である。

【発明を実施するための形態】

【0014】

次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
図１４を参照すると、本発明の第１の実施形態にかかる動画領域検出装置１は、入力映像を入力し、入力映像中から自然画かつ動画の領域を検出し、検出結果を出力する機能を有する。この動画領域検出装置１は、更新ブロック検出手段２と、自然画更新ブロック判定手段３と、動画ブロック抽出手段４とを有する。

【0015】

更新ブロック検出手段２は、入力映像のフレームをブロック状の一定の大きさのブロックに分割する。また更新ブロック検出手段２は、入力映像のフレーム毎に、そのフレームを現フレーム、１つ前のフレームを前フレームとする。そして、更新ブロック検出手段２は、入力映像の現フレームと前フレームとの間で画素値を比較し、値が変化した画素を含む現フレームのブロックを更新ブロックとして検出する機能を有する。ブロックのサイズと個数は、全てのフレームで同一であれば任意でよい。

【0016】

自然画更新ブロック判定手段３は、更新ブロック検出手段２において更新ブロックとして検出された各ブロックについて、ブロック内での画素値の変化の連続性の程度を表す指標値を算出する。そして、自然画更新ブロック判定手段３は、この算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定する機能を有する。ブロック内での画素値の変化の連続性は、同じフレーム内での隣接する画素間の画素値の変化の連続性と、前後するフレームの同一画素間の画素値の変化の連続性との二種類存在する。自然画更新ブロック判定手段３は、前者の空間的な連続性の程度を表す指標値を算出してもよいし、後者の時間的な連続性の程度を表す指標値を算出してもよいし、前者と後者の２通りの指標値を算出してもよい。

【0017】

動画ブロック抽出手段４は、入力映像のフレーム毎に、直近の複数フレームにおいて一定回数以上自然画の更新ブロックと判定された座標のブロックを自然画の動画ブロックとして抽出する機能を有する。直近の複数フレームの数は２以上であれば任意でよい。また、一定回数は１また２以上であれば任意でよい。好ましくは、現フレームを少なくとも含む２以上のフレームにおいて自然画の更新ブロックと判定されていることが望ましい。

【0018】

次に本実施形態にかかる動画領域検出装置１の動作を説明する。

【0019】

入力映像が入力されると、更新ブロック検出手段２は、入力映像の現フレームと前回入力されたフレーム（前フレーム）との間で画素値を比較し、値が変化した画素を少なくとも１画素でも含むブロックを更新ブロックとして検出する。

【0020】

次に自然画更新ブロック判定手段３は、更新ブロック検出手段２において更新ブロックとして検出された各ブロックについて、ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、この算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定する。一般に、自然画の場合、非自然画に比べて、空間的にも時間的にも画素値の変化の連続性は高くなる傾向が有る。自然画更新ブロック判定手段３は、この特性を利用して更新ブロックが自然画の更新ブロックか否かを判定する。

【0021】

次に動画ブロック抽出手段４は、入力映像のフレーム毎に、直近の複数フレームにおいて一定回数以上自然画の更新ブロックと判定された座標のブロックを自然画の動画ブロックとして抽出する。一般に、動画の場合、静止画と異なり、各フレーム毎に内容が変化する傾向が強い。動画ブロック抽出手段４は、この特性を利用して動画ブロックか否かを判定する。

【0022】

このように本実施形態によれば、入力映像から自然画かつ動画の領域を正しく検出することが可能である。その理由は、更新ブロックのうち、自然画でないブロックは自然画更新ブロック判定手段３の段階で取り除かれ、動画でないブロックは動画ブロック抽出手段４の段階で取り除かれ、結果として、自然画かつ動画のブロックだけが検出されるためである。

【0023】

[第２の実施形態]
図１を参照すると、本発明の第２の実施の形態は、信号入力装置１１と、データ記憶装置１２と、プログラム制御により動作するデータ処理装置１３と、動画領域情報出力装置１４とから構成されている。

【0024】

信号入力装置１１は、２次元信号としての画像をフレーム単位で入力するための装置であり、例えばグラフィック描画ボードや通信装置などで構成される。

【0025】

データ記憶装置１２は、前フレームメモリ１２１と、現フレームメモリ１２２と、自然画更新ブロックメモリ１２３と、動画ブロックメモリ１２４と、動画領域座標メモリ１２５とを含む。

【0026】

前フレームメモリ１２１は、信号入力装置１１から前回入力されたフレームの画像を保持している。

【0027】

現フレームメモリ１２２は、信号入力装置１１から今回入力されたフレームの画像を保持する。

【0028】

自然画更新ブロックメモリ１２３は、連続するフレーム間で画素値の更新があり、かつ、自然画らしさの高いブロックの位置を、直近のＮフレーム（Ｎ：自然数）について記憶する。

【0029】

動画ブロックメモリ１２４は、自然画更新ブロックメモリ１２３に格納された直近Ｎフレームの状態から導出された、自然画の動画ブロックの位置を記憶する。

【0030】

動画領域座標メモリ１２５は、動画ブロックメモリ１２４に格納された動画ブロック、および、前フレームメモリ１２１と現フレームメモリ１２２に格納された各フレームの画素値に基づいて導出された、自然画の動画領域の座標を記憶する。

【0031】

データ処理装置１３は、更新ブロック検出手段１３１と、自然画更新ブロック判定手段１３２と、動画ブロック抽出手段１３３と、動画領域シード生成手段１３４と、動画領域境界決定手段１３５とを含む。

【0032】

更新ブロック検出手段１３１は、前フレームメモリ１２１に格納された前フレームの画像と、現フレームメモリ１２２に格納された現フレームの画像とを読み出して比較し、画面内の各部分領域（ブロック）について、画素値に変化があったかどうかを判定する。画素値に変化があったブロックは更新ブロックとして、その座標情報を自然画更新ブロック判定手段１３２に通知する。

【0033】

自然画更新ブロック判定手段１３２は、更新ブロック検出手段１３１から更新ブロックの座標情報が通知されると、前フレームメモリ１２１および現フレームメモリ１２２から各更新ブロックの画素値を読み出し、画素値の空間方向および時間方向の連続性を求める。連続性が一定以上であるブロックを自然画更新ブロックとして、その座標情報を自然画更新ブロックメモリ１２３へ出力する。

【0034】

動画ブロック抽出手段１３３は、自然画更新ブロックメモリ１２３から直近Ｎフレームの自然画更新ブロックの状態を読み出して、頻繁に自然画更新ブロックとして検出されているブロックを自然画の動画ブロックと判定し、その座標情報を動画ブロックメモリ１２４へ出力する。

【0035】

動画領域シード生成手段１３４は、動画ブロックメモリ１２４から自然画の動画ブロックの情報を読み出して、空間的に近接する自然画の動画ブロック同士を連結・統合する。統合によって得られた領域を自然画の動画領域シードとして、その座標情報を動画領域座標メモリ１２５へ出力する。

【0036】

動画領域境界決定手段１３５は、動画領域座標メモリ１２５から自然画の動画領域シードの座標を、自然画更新ブロックメモリ１２３から直近Ｎフレームの状態を、前フレームメモリ１２１および現フレームメモリ１２２から自然画の動画領域シードの周辺の画素値を、それぞれ読み出す。そして、動画領域境界決定手段１３５は、これらの読み出したデータに基づいて、自然画の動画領域の境界の座標を画素単位で決定する。また、得られた自然画の動画領域座標を動画境界座標メモリ１２５に格納するとともに、動画領域情報出力装置１４へ出力する。

【0037】

動画領域情報出力装置１４は、生成された自然画の動画領域の座標を記憶する記憶装置や、生成された自然画の動画領域の情報を参照して領域を符号化する映像符号化装置などで構成される。映像符号化に関しては、自然画の動画領域はMPEG、文字領域にはPNG、自然画の静止画領域にはJPEGを用いることで、文字のエッジを鮮明に保ちつつ、静止画や動画を良好な圧縮率で符号化することが期待される。

【0038】

図２に、更新ブロック検出手段１３１の動作の具体例を示す。

【0039】

図中のZ121は、前フレームメモリ１２１に格納された前フレームの画面であり、Z122は現フレームメモリ１２２に格納された現フレームの画面である。網掛けあるいはドットが付されている部分は自然画である。また、画面上部にテロップがスクロールしている様子が示されている。

【0040】

更新ブロック検出手段１３１は、フレームを一定の大きさのブロック（たとえば32画素×32画素）に分割し、そのブロックごとに、画素値に変化が生じているかどうかを判定し、なんらかの差分が存在するブロックを更新ブロック、まったく差分が発生していないブロックを非更新ブロックとする。こうして処理された結果、現フレームは、更新ブロックZ1311と非更新ブロックZ1312とに分離される。

【0041】

図３および図１１の数式１（数式１−１〜１−４）に、自然画更新ブロック判定手段１３２の動作の第１の具体例を示す。

【0042】

Z1221は、現フレームメモリのブロックの一つを示している。

【0043】

自然画更新ブロック判定手段１３２は、更新ブロック内の各座標(x,y)の画素について、水平方向に隣接する画素との差分の絶対値D_L(x,y)および垂直方向に隣接する画素との差分の絶対値D_U(x,y)を求め、そのうち小さくない方の値を選択する。次に、選択された値が非ゼロであるものについてブロック内で平均値を求め、結果を指標値Evalとする。最後に、この指標値が一定値未満であるブロックを、自然画の更新ブロックと判定する。

【0044】

図４および図１２の数式２（数式２−１〜２−６）に、自然画更新ブロック判定手段１３２の動作の第２の具体例を示す。

【0045】

Z1211は、前フレームメモリのブロックの一つ、Z1221は、現フレームメモリのZ1211に対応するブロックを、それぞれ示している。

【0046】

自然画更新ブロック判定手段１３２は、まず、更新ブロック内の各座標(x,y)の画素について、水平方向に隣接する画素との差分の絶対値D_L(x,y)、および、前フレームの同一座標の画素との差分の絶対値D_P(x,y)を求める。次に、D_L(x,y)およびD_P(x,y)について、直前の座標(x-1,y)で求めたD_L(x-1,y)およびD_P(x-1,y)との間で変移E_L(x,y),E_P(x,y)の絶対値を求め、E_L,E_Pのうち大きくない方の値を選択する。最後に、選択された値が非ゼロであるものについてブロック内で平均値を求め、指標値Evalとする。そして、この指標値が一定値未満であるブロックを、自然画の更新ブロックと判定する。

【0047】

図５に、動画ブロック判定手段１３３の動作の具体例を示す。

【0048】

Z1230,Z1231,Z1232,Z1233は、自然画更新ブロックメモリ１２３に格納された直近Nフレーム(図５の例ではN=4)の自然画更新ブロックの様子を示している。このうちZ1233が現フレームにおける自然画更新ブロックである。

【0049】

まず、動画ブロック判定手段１３３は、各ブロックにおける、直近４フレームの自然画更新ブロック判定回数をカウントし、各ブロック毎のカウント数のリストZ1240を得る。次に、カウント数がm以上（ここではm=2）となるブロックを自然画の更新ブロックの候補とする（Z1241）。次に、自然画の更新ブロックの候補のうち、現フレームで自然画更新領域と判定されているブロックを、自然画の更新ブロックに決定する（Z1242）。こうして得られたブロックが自然画の動画ブロックとして動画ブロックメモリ１２４に出力される。

【0050】

図６に、動画領域シード生成手段１３４の動作の具体例を示す。

【0051】

動画領域シード生成手段１３４は、動画ブロックメモリ１２４をスキャンして、動画ブロックの存在する行のまとまりを検出する。Z1243は、上から１行目と２行目、および、４，５，６行目に動画ブロックが存在する様子を示している。この場合、第１〜２行と第４〜６行が、行のまとまりとして検出される。さらに、動画領域シード生成手段１３４は、分割された行のまとまりをスキャンして、動画ブロックの存在する列のまとまりを検出する。これにより、第１〜２行については左から第１〜２列目、第４〜６行については左から第３〜６列目が動画ブロックの存在する列のまとまりとして検出される。動画領域シード生成手段１３４は、こうして検出されたまとまり（Z1250およびZ1251）を自然画の動画領域シードとして、その座標を動画領域座標メモリ１２５へ出力する。

【0052】

図７および図８、図９、図１３の数式３に、動画領域境界決定手段１３５の動作の具体例を示す。

【0053】

動画領域境界決定手段１３５は、自然画の動画領域シードのそれぞれについて、正確な領域の境界を確定し、動画領域情報出力装置１４へ出力する。

【0054】

動画領域境界決定手段１３５は、まず四辺それぞれについて、ブロック単位での拡大を試行する。ここでは上辺について、１ブロック分上へ境界を拡大する例をあげて説明する。

【0055】

図７のZ1252は、3×4ブロックの動画領域シードの上辺が拡大される様子を示している。この場合、動画領域境界決定手段１３５は、自然画更新ブロックメモリ１２３および動画領域座標メモリ１２５を参照して、動画領域シードの１行上のブロックのそれぞれについて、直近Ｎフレーム内で自然画更新ブロックとして検出された回数を算出する。図７は、シードの１行上のブロック４つについて、自然画ブロックとして検出された回数が２，３，２，１である様子を示している。

【0056】

さらに、この数を幅ブロック数で除して注目行での平均的な自然画更新ブロック数を求める。これがm以上（０＜ｍ≦Ｎ）であった場合、上辺を１ブロック分拡大する。以上の処理を、上辺方向への拡大ができなくなるまで継続する。図では、注目行での平均的な自然画更新ブロック数は(2+3+2+1)/4=2となるため、たとえばm=2の場合、2≧mとなることから、上辺が１ブロック分拡大され、引き続き上辺の拡大が試行される。

【0057】

さらに、動画領域境界決定手段１３５は、以上と同様の処理を下辺、左辺、右辺についても行ってブロック単位での境界を算出し、得られた境界座標を動画領域座標メモリ１２５に出力する。

【0058】

次に動画領域境界決定手段１３５は、画素単位での境界の探索を行う。図８および図９、数式３は、画素単位での探索の例を示している。

【0059】

動画領域境界決定手段１３５は、前フレームメモリ１２１、現フレームメモリ１２２、動画領域座標メモリ１２５を参照しながら、境界四辺の内外１ブロック分（計２ブロック分）について、画素単位での境界を探索する。各辺を1画素ずつ動かしながら評価指標Evalを求め、サーチ範囲のうち指標値が最大となるラインを動画領域の境界として確定する。動画領域境界決定手段１３５は、各辺の境界が確定するごとに、動画領域座標メモリ１２５を書き換える。

【0060】

図８は、境界四辺の内外１ブロック分（計２ブロック分）について、画素単位での境界が探索される様子を示している。Z12531では上辺の境界探索が行われ、Z12532では下辺、Z12533では左辺、Z12534では右辺について境界探索が行われている。それぞれ、すでに確定している辺の境界を保ちつつ、内外１ブロック分について評価指標が算出され、指標値が最大となるラインを探索される。

【0061】

図９および図１３の数式３（数式３−１〜３−５）は、下辺の境界探索における指標値の導出過程を示している。y行目における指標値Eval(y)は、動画領域のy行目の各座標におけるD_P,D_N,D_NL,D_PNの値から算出される。

【0062】

D_Pは、現フレームにおける注目座標の画素値と、前フレームにおける同一座標の画素値との差分である。

【0063】

D_Nは、現フレームにおける注目座標の画素値と、その１ライン外側の画素値との差分である。

【0064】

D_NLは、現フレームにおける、注目座標から１ライン外側での、サーチ方向と直交する方向（この場合水平方向）での画素値の差分である。

【0065】

D_PNは、注目座標から１ライン外側の座標での、現フレームの画素値と前フレームの画素値との差分である。

【0066】

以上のD_P,D_N,D_NL,D_PNを図１３の数式３−５に基づいて１行分累積して、y行目における指標値Eval(y)が算出される。

【0067】

最後に、内外２ブロック分の中で、Eval(y)が最大になるラインが境界として選択される。その理由は、図９において、領域内側(y行目)が自然画、領域外側が非自然画(例えば、空白行や黒帯など）の場合、D_NLとD_PNとが0になる確率が高くなるのに対してD_NとD_Pとは或る程度大きな値になる確率が高くなるので、Eval(y)はD_N＋D_Pの値になる。これに対して、領域内側(y行目)と領域外側とが共に自然画か、または共に非自然画の場合、D_P,D_N,D_NL,D_PNの全てが或る程度大きな値になる確率が高くなるので、Eval(y)は0に近い値になる確率が高くなるためである。

【0068】

以上の処理が上下左右の各辺に対して行われ、画素単位での境界が決定される。

【0069】

次に、図10のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。

【0070】

更新ブロック検出手段１３１は、前フレームメモリ１２１に格納された前フレームの画像と、現フレームメモリ１２２に格納された現フレームの画像とを読み出して比較し、画面内の各部分領域（ブロック）について、画素値に変化があったかどうかを判定する。画素値に変化があったブロックは更新ブロックとして、その座標情報を自然画更新ブロック判定手段１３２に通知する（ステップＳ１０１）。

【0071】

次に、自然画更新ブロック判定手段１３２は、更新ブロック検出手段１３１から更新ブロックの座標情報が通知されると、前フレームメモリ１２１および現フレームメモリ１２２から各更新ブロックの画素値を読み出し、画素値の空間連続性および時間連続性を求める。連続性が一定以上であるブロックを自然画更新ブロックとして、その座標情報を自然画更新ブロックメモリ１２３へ出力する（ステップＳ１０２）。

【0072】

次に、動画ブロック抽出手段１３３は、自然画更新ブロックメモリ１２３の内容を読み出し、現フレームにおいて自然画更新ブロックが検出されたかを判定する（ステップＳ１０３）。検出されていなければ（ステップＳ１０３のＮ）処理を終了する。検出されていれば（ステップＳ１０３のＹ）、自然画更新ブロックメモリ１２３から直近Ｎフレームの自然画更新ブロックの状態を読み出して、頻繁に自然画更新ブロックとして検出されているブロックを自然画の動画ブロックと判定し、その座標情報を動画ブロックメモリ１２４へ出力する（ステップＳ１０４）

【0073】

次に、動画領域シード生成手段１３４は、動画ブロックメモリ１２４の内容を読み出し、現フレームにおいて自然画の動画ブロックが検出されたかを判定する（ステップＳ１０５）検出されていなければ（ステップＳ１０５のＮ）処理を終了する。検出されていれば（ステップＳ１０５のＹ）、動画ブロックメモリ１２４から自然画の動画ブロックの情報を読み出して、空間的に近接する自然画の動画ブロック同士を連結・統合する。統合によって得られた領域を自然画の動画領域シードとして、その座標情報を動画領域座標メモリ１２５へ出力する（ステップＳ１０６）。

【0074】

次に、動画領域境界決定手段１３５は、動画領域シード生成手段１３４が生成した自然画の動画領域シードの座標情報を動画領域座標メモリ１２５からひとつずつ順次抽出し、注目動画領域シードとして設定する（ステップＳ１０７）。

【0075】

次に、動画領域境界決定手段１３５は、動画領域座標メモリ１２５から注目動画領域シードの座標を、自然画更新ブロックメモリ１２３から直近Ｎフレームの状態を、前フレームメモリ１２１および現フレームメモリ１２２から動画領域シードの周辺の画素値を読み出し、自然画の動画領域の境界の座標を画素単位で決定する。また、得られた自然画の動画領域の座標を動画境界座標メモリ１２５に格納するとともに、動画領域情報出力装置１４へ出力する。

【0076】

次に、動画領域境界決定手段１３５は、他の未処理の自然画の動画領域シードがあるかどうかを判定し（ステップＳ１０９）、もしあれば（ステップＳ１０９のＹ）、ステップＳ１０７に戻って処理を継続する。なければ（ステップＳ１０９のＮ）処理を終了する。

【0077】

なお、上記説明では、動画領域シード生成手段１３４の連結手法として、空行・空列を区切りとして列・行方向に領域を統合する方法を示したが、他の方法であってもよい。たとえば、空間的に隣接する自然画の動画ブロック同士を連結し、連結領域に対してラベリングを行った上で、各ラベル値を持つ領域に対して外接矩形を求めて自然画の動画領域シードとする方法であってもよい。連結およびラベリングの手法としては、全ブロックのラベルが確定するまで４近傍の隣接ブロックを逐次連結し続ける方法があるが、これに加えて、1/8,1/4,1/2といった解像度から再帰的に処理単位を細かくしてブロックを連結する方法を採ってもよい。

【0078】

またこのとき、動画領域シード生成手段１３４は、過度に小さい自然画の動画領域シードが多数発生しないようなフィルタ処理を加えてもよい。たとえば一定面積以下の自然画の動画領域シードは採択せず動画領域座標メモリ１２５へ出力しないようにしてもよい。また、フレーム内で最大面積の自然画の動画領域シードのみ採択するようにしてもよい。

【0079】

本実施の形態の効果について説明する。

【0080】

本実施の形態によれば、グラフィックと動画が混在するコンピュータ画面映像から、自然画の動画である領域を高精度に検出することができる。

【0081】

また、動画領域を検出するために動き検索処理が不要であり、検出の負荷を低く抑えることができる。

【0082】

その理由は、空間的および時間的に連続的に変化する領域をブロック単位で安定的に検出した後、周辺の画素状況に応じて細部の境界を探索しているためである。

【0083】

[その他の実施形態]
以上、本発明の実施の形態について説明したが、本発明は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における各手段として機能させる。

【0084】

なお、本発明は、日本国にて２０１１年７月１３日に特許出願された特願２０１１−１５４３８９の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。

【産業上の利用可能性】

【0085】

本発明は、入力映像から自然画の動画領域を検出し、自然画の動画領域をMPEGを用いて符号化する分野などに利用可能である。

【0086】

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
入力映像の現フレームと前フレームとの間で画素値を比較し、値が変化した画素を含むブロックを更新ブロックとして検出する更新ブロック検出手段と、
各更新ブロックについて、ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、該算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定する自然画更新ブロック判定手段と、
直近の複数フレームにおいて一定回数以上自然画の更新ブロックと判定された座標のブロックを自然画の動画ブロックとして抽出する動画ブロック抽出手段と
を有することを特徴とする動画領域検出装置。
（付記２）
空間的に近接する前記自然画の動画ブロック同士を連結し、連結された前記自然画の動画ブロックの外接矩形を動画領域シードとして求める動画領域シード生成手段、
を有する付記１に記載の動画領域検出装置。
（付記３）
前記動画領域シードの上下左右の四辺について、動画領域の境界を画素単位で探索し決定する動画領域境界決定手段
を有する付記２に記載の動画領域検出装置。
（付記４）
前記動画領域境界決定手段は、ブロック単位で与えられた動画領域の上下左右の四辺それぞれについて、ブロック単位で拡大を試行するブロック単位領域拡大手段を備え、
前記ブロック単位領域拡大手段は、拡大によって新たに領域に加わると見込まれる座標のブロックについて、直近の一定フレーム数内で自然画の更新ブロックと判定された平均的な回数を算出し、算出された値が一定値を超える場合に該辺を１ブロック分拡大する
付記３に記載の動画領域検出装置。
（付記５）
前記動画領域境界決定手段は、ブロック単位で与えられた動画領域の上下左右の四辺それぞれについて、画素単位で境界を決定する画素単位領域境界決定手段を備え、
前記画素単位領域境界決定手段は、与えられた領域境界の内外１ブロック分をライン単位でスキャンし、注目ラインの外側と内側とで時間および空間方向の画素値の変化の不連続性が最も高くなるラインを動画領域境界として選択する
付記３に記載の動画領域検出装置。
（付記６）
前記画素単位領域境界決定手段は、注目ラインの各座標について、現フレームにおける注目座標の画素値と前フレームにおける同一座標の画素値との差分としてD_Pを算出し、現フレームにおける注目座標の画素値とその１ライン外側の画素値との差分としてD_Nを算出し、現フレームにおける注目座標から１ライン外側でのサーチ方向と直交する方向での画素値の差分としてD_NLを算出し、注目座標から１ライン外側の座標での現フレームの画素値と前フレームの画素値との差分としてD_PNを算出し、注目ラインについて(D_N-D_NL+D_P-D_PN)の総和を算出し、算出された総和が最大となるラインを境界として選択する
付記５に記載の動画領域検出装置。
（付記７）
前記自然画更新ブロック判定手段は、現フレームにおける注目ブロック内の画素値の空間的な変移の大きさを算出して、算出された変移の平均値が小さいブロックを自然画更新ブロックとして判定する
付記１乃至６の何れかに記載の動画領域検出装置。
（付記８）
前記自然画更新ブロック判定手段は、非ゼロの変移のみを選択して平均値を算出する
付記７に記載の動画領域検出装置。
（付記９）
前記自然画更新ブロック判定手段は、更新ブロック内の各座標について、水平隣接画素との差分絶対値と垂直隣接画素との差分絶対値のうち小さくない方の値をエッジ値として算出し、非ゼロのエッジ値についてブロック内で平均値を求め、平均値が一定値未満となるブロックを自然画の更新ブロックと判定する
付記１乃至６の何れかに記載の動画領域検出装置。
（付記１０）
前記自然画更新ブロック判定手段は、現フレーム内での画素値の空間方向の変移、および、前フレームと現フレームの同一画素間の画素値の変移を算出して、算出された変移の平均値が小さいブロックを自然画の更新ブロックとして判定する
付記１乃至６の何れかに記載の動画領域検出装置。
（付記１１）
前記自然画更新ブロック判定手段は、現フレームの更新ブロック内の各画素について、現フレーム内での隣接画素の画素値との第１の差分と、前フレームの同一画素との第２の差分とを算出し、当該画素について算出した前記第１の差分と当該画素の直前の画素について算出した前記第１の差分との間の差分と、当該画素について算出した前記第２の差分と当該画素の直前の画素について算出した前記第２の差分との間の差分のうち、大きくない方の値を選択し、該選択された値が非ゼロとなるものについて、ブロック内で平均値を求め、平均値が一定値未満となるブロックを自然画の更新ブロックと判定する
付記１乃至６の何れかに記載の動画領域検出装置。
（付記１２）
入力映像の現フレームと前フレームとの間で画素値を比較し、値が変化した画素を含むブロックを更新ブロックとして検出し、
各更新ブロックについて、ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、該算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定し、
直近の複数フレームにおいて一定回数以上自然画の更新ブロックと判定された座標のブロックを自然画の動画ブロックとして抽出する
ことを特徴とする動画領域検出方法。
（付記１３）
コンピュータを、
入力映像の現フレームと前フレームとの間で画素値を比較し、値が変化した画素を含むブロックを更新ブロックとして検出する更新ブロック検出手段と、
各更新ブロックについて、ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、該算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定する自然画更新ブロック判定手段と、
直近の複数フレームにおいて一定回数以上自然画の更新ブロックと判定された座標のブロックを自然画の動画ブロックとして抽出する動画ブロック抽出手段と
して機能させるためのプログラム。

【符号の説明】

【0087】

１…動画領域検出装置
２…更新ブロック検出装置
３…自然画更新ブロック判定手段
４…動画ブロック抽出手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】