特許 6028701 動領域検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6028701

(24)【登録日】2016年10月28日

(45)【発行日】2016年11月16日

(54)【発明の名称】動領域検出装置

(51)【国際特許分類】

   G06T 7/20 20060101AFI20161107BHJP

   G03B 15/00 20060101ALI20161107BHJP

   H04N 5/232 20060101ALI20161107BHJP

【ＦＩ】

   G06T7/20 200Z

   G03B15/00 H

   H04N5/232 C

【請求項の数】4

【全頁数】14

(21)【出願番号】特願2013-203132(P2013-203132)

(22)【出願日】2013年9月30日

(65)【公開番号】特開2015-69412(P2015-69412A)

(43)【公開日】2015年4月13日

【審査請求日】2015年10月29日

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(72)【発明者】

【氏名】佐藤 真樹

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開昭６２−２６９９２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

画像信号における動物体の領域を検出する対象となっている対象フレームと、前記対象フレームより前の前フレームと、前記対象フレームより後の後フレームとのそれぞれを、前記画像信号の最低輝度から最高輝度までのそれぞれの輝度値を基準値とし、基準値である輝度値を有する領域をラベル１、基準値以外の輝度値を有する領域をラベル０として２値データに変換する２値化部と、
前記対象フレームと前記前フレームと前記後フレームとのそれぞれで、ラベル１の領域内の画素を、ラベル０の領域までの最短距離を示す距離値に変換する距離変換部と、
前記対象フレームと前記前フレームと前記後フレームとのそれぞれで、距離値に変換した領域内で、距離値の極大値を有する画素をスケルトン点として検出するスケルトン検出部と、
前記対象フレームにおけるスケルトン点の集合よりなるスケルトンと、前記前フレームにおけるスケルトン点の集合よりなるスケルトンとの差分を演算して第１の差分画像を生成する第１の差分演算部と、
前記対象フレームにおけるスケルトンと、前記後フレームにおけるスケルトン点の集合よりなるスケルトンとの差分を演算して第２の差分画像を生成する第２の差分演算部と、
前記第１の差分画像と前記第２の差分画像との論理積を演算して論理積画像を生成する論理積演算部と、
前記論理積画像の個々のスケルトン点に対して前記距離変換部で変換された距離値を半径とする円を配置することにより、前記対象フレームにおける動物体の領域を復元する動領域復元部と、
を備えることを特徴とする動領域検出装置。

【請求項2】

前記距離変換部は、４近傍距離または８近傍距離を用いてラベル１の領域内の画素を距離値に変換し、
前記スケルトン検出部は、前記距離変換部が４近傍距離を用いる場合には、注目画素と、前記注目画素の上下及び左右に位置する４近傍画素との５画素の中で、前記注目画素が最大値を有すれば、前記注目画素をスケルトン点とし、前記距離変換部が８近傍距離を用いる場合には、前記注目画素の周囲の８近傍画素との９画素の中で、前記注目画素が最大値を有すれば、前記注目画素をスケルトン点とする
ことを特徴とする請求項１記載の動領域検出装置。

【請求項3】

前記動領域復元部は、前記距離変換部で変換された距離値を半径とする円の輝度値を、前記２値化部における基準値である輝度値として前記動物体の領域を復元することを特徴とする請求項１または２に記載の動領域検出装置。

【請求項4】

前記対象フレームにおけるスケルトンと前記前フレームにおけるスケルトン、または、前記対象フレームにおけるスケルトンと前記後フレームにおけるスケルトンとが部分的に重なって、前記第１または第２の差分画像が分断した状態となるとき、分断した状態の前記第１または第２の差分画像を連結させる連結部をさらに備えることを特徴とする請求項１〜３のいずれか１項に記載の動領域検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像に含まれる動物体の領域を検出する動領域検出装置に関する。

【背景技術】

【0002】

複数枚の画像から多くの誤差情報を得て、高画質な高解像度画像を生成する複数枚超解像処理と称される画質改善方法がある。複数枚超解像処理以外でも、複数枚画像を重ね合わせることにより、ランダムなノイズ成分の低減処理や、ダイナミックレンジの拡大処理等が知られている。

【0003】

複数枚の画像を得るためには、互いの位置がわずかにずれた複数の撮影系を用いて同時に複数枚の画像を撮影する方法と、１つの撮影系を用い、位置を順次ずらしながら複数枚の画像を時系列で撮影する方法とがある。前者の方法は撮影系の規模が大きくなるので、撮影系の規模が小さい後者の方法が比較的多く用いられる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１０／０８４９０２号

【発明の概要】

【発明が解決しようとする課題】

【0005】

撮影系の位置を順次ずらしながら時系列で複数枚の画像を撮影する場合に問題となるのは、画像列中に存在する動物体である。動物体を含む画像列に対して超解像処理を施す場合、生成された高解像度画像上で動物体が多重化しないようにするためには、画像列中の動物体を抽出する必要がある。

【0006】

画像列中の動物体を抽出する一般的な方法は、画像間で画素単位の差分を取り、差分値が大きい領域を動物体が存在する動領域として抽出する方法である。この抽出方法は、各種の画像処理においてよく用いられている。

【0007】

しかしながら、上記の抽出方法は以下のような問題点を有する。モノトーン画像や色彩が単調なアニメーション画像では、一様な画素値を有する画素によって動物体の領域が形成されることがある。動物体の移動量が少なく画像列間で動物体が重なると、重なった部分の差分値は小さいため、動領域として抽出することができない場合がある。

【0008】

このように、従来の動領域検出装置においては、動物体の領域を的確に検出することができないことがある。

【0009】

本発明はこのような問題点に鑑み、動物体の領域が一様な画素値を有する場合でも、動物体の領域を的確に検出することができる動領域検出装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明は、上述した従来の技術の課題を解決するため、画像信号における動物体の領域を検出する対象となっている対象フレームと、前記対象フレームより前の前フレームと、前記対象フレームより後の後フレームとのそれぞれを、前記画像信号の最低輝度から最高輝度までのそれぞれの輝度値を基準値とし、基準値である輝度値を有する領域をラベル１、基準値以外の輝度値を有する領域をラベル０として２値データに変換する２値化部と、前記対象フレームと前記前フレームと前記後フレームとのそれぞれで、ラベル１の領域内の画素を、ラベル０の領域までの最短距離を示す距離値に変換する距離変換部と、前記対象フレームと前記前フレームと前記後フレームとのそれぞれで、距離値に変換した領域内で、距離値の極大値を有する画素をスケルトン点として検出するスケルトン検出部と、前記対象フレームにおけるスケルトン点の集合よりなるスケルトンと、前記前フレームにおけるスケルトン点の集合よりなるスケルトンとの差分を演算して第１の差分画像を生成する第１の差分演算部と、前記対象フレームにおけるスケルトンと、前記後フレームにおけるスケルトン点の集合よりなるスケルトンとの差分を演算して第２の差分画像を生成する第２の差分演算部と、前記第１の差分画像と前記第２の差分画像との論理積を演算して論理積画像を生成する論理積演算部と、前記論理積画像の個々のスケルトン点に対して前記距離変換部で変換された距離値を半径とする円を配置することにより、前記対象フレームにおける動物体の領域を復元する動領域復元部とを備えることを特徴とする動領域検出装置を提供する。

【発明の効果】

【0011】

本発明の動領域検出装置によれば、動物体の領域が一様な画素値を有する場合でも、動物体の領域を的確に検出することができる。

【図面の簡単な説明】

【0012】

【図1】一実施形態の動領域検出装置を示すブロック図である。

【図2】図１に示す動領域検出装置に入力される画像信号Ｓinにおける１フレームの画像の例を示す図である。

【図3】図１中の２値化部２０による２値化の動作を説明するための図である。

【図4】図１中の距離変換部３０による距離変換の概略を説明するための図である。

【図5】図１中の距離変換部３０によって距離変換した距離変換画像を示す図である。

【図6】図１中のスケルトン検出部４０によって検出したスケルトンを示す図である。

【図7A】一実施形態の動領域検出装置による動領域検出動作を説明するための図である。

【図7B】一実施形態の動領域検出装置による動領域検出動作を説明するための図である。

【図8A】一実施形態の動領域検出装置による動領域検出動作を説明するためのフローチャートである。

【図8B】一実施形態の動領域検出装置による動領域検出動作を説明するためのフローチャートである。

【図8C】一実施形態の動領域検出装置による動領域検出動作を説明するためのフローチャートである。

【図9】比較例による動領域検出動作を示す図である。

【発明を実施するための形態】

【0013】

以下、一実施形態の動領域検出装置について、添付図面を参照して説明する。図１において、記憶部１０には、動画像信号である画像信号Ｓinが入力される。画像信号Ｓinは、例えば８ビットのデジタルデータである。記憶部１０は、少なくとも３フレーム分の画像を記憶する。

【0014】

図２は、記憶部１０に記憶された画像信号Ｓinにおける所定の１フレームＦの画像を示している。フレームＦの画像は物体ＯＢを含む。便宜上、物体ＯＢと物体ＯＢ以外の背景ＢＧはそれぞれ一様な輝度値を有するものとする。物体ＯＢの輝度値をＬob、背景ＢＧの輝度値をＬbgとする。

【0015】

２値化部２０は、記憶部１０に記憶されたそれぞれのフレームの画像を次のように２値化する。２値化部２０における２値化の動作を図２に示す画像の場合を例にして説明する。

【0016】

２値化部２０は、輝度値０（最低輝度）から輝度値２５５（最高輝度）までのそれぞれの輝度値を基準値としてフレームＦの画像を２値データに変換する。基準値とする輝度値をＬとすると、２値化部２０は、輝度値Ｌの画素をラベル１、輝度値Ｌ以外の画素をラベル０とする。

【0017】

物体ＯＢの輝度値Ｌobを例えば１００、背景ＢＧの輝度値Ｌbgを例えば２００とする。基準値としての輝度値Ｌが０〜９９，１０１〜１９９，２０１〜２５５のとき、フレームＦの全体がラベル０の２値データに変換される。

【0018】

輝度値Ｌが１００のとき、図３の（ａ）に示すように、フレームＦは、物体ＯＢの部分がラベル１の領域Ｒ１、背景ＢＧの部分がラベル０の領域Ｒ０の２値データに変換される。輝度値Ｌが２００のとき、図３の（ｂ）に示すように、フレームＦは、物体ＯＢの部分がラベル０の領域Ｒ０、背景ＢＧの部分がラベル１の領域Ｒ１の２値データに変換される。図３の（ａ），（ｂ）では、便宜上、ラベル１を黒、ラベル０を白で示している。

【0019】

２値化部２０は、輝度値０から輝度値２５５までの２５６の輝度値Ｌをそれぞれ基準値としてフレームＦの画像を２値データに変換するから、２値化部２０からは２５６個の２値データが出力される。２５６個の２値データは、距離変換部３０に入力される。

【0020】

距離変換部３０は、２５６個の２値データそれぞれにおけるラベル１の領域Ｒ１を距離変換する。距離変換部３０で用いる距離とは、ユークリッド距離ではなく、例えば４近傍距離である。上記のように、図３の（ａ），（ｂ）に示す２値データ以外はラベル１の領域Ｒ１を有さないので、図２の画像の場合には、図３の（ａ），（ｂ）のそれぞれの領域Ｒ１のみが距離変換される。

【0021】

距離変換部３０は、図３の（ａ），（ｂ）におけるラベル１の領域Ｒ１を、４近傍距離を用いて距離変換する。図４の（ａ），（ｂ）を用いて、距離変換の概略について説明する。図４の（ａ）に示すように、ラベル０の領域Ｒ０を背景として、図示のような形状のラベル１の領域Ｒ１が存在している。距離変換とは、領域Ｒ１の各画素に対して領域Ｒ０の背景までの最短距離を与える変換処理である。

【0022】

図４の（ａ）の領域Ｒ１の各画素に対して背景までの最短距離を与えると、図２の（ｂ）に示す距離値となる。ここでは、背景と隣接する画素の距離値を０としている。なお、背景と隣接する画素の距離値を１とする距離変換の方法もある。

【0023】

距離変換部３０は、図４の（ａ），（ｂ）で説明した方法で図３の（ａ），（ｂ）における領域Ｒ１を距離変換する。図５は、図３の（ａ）の領域Ｒ１を距離変換した距離変換画像を示している。図５においては、距離値をグレーの濃淡にて表している。距離値０は白で表されている。

【0024】

図３の（ｂ）の領域Ｒ１を距離変換した距離変換画像については図示を省略するが、図３の（ａ）と同様に、背景ＢＧの部分がグレーの濃淡で表される。

【0025】

図１に戻り、距離変換画像は、スケルトン検出部４０に入力される。スケルトン検出部４０は、距離変換画像において、距離値の極大値を有する画素をスケルトン点とする。距離変換部３０において４近傍距離を用いて距離変換したので、スケルトン検出部４０は、注目画素と、注目画素の上下及び左右に隣接する４近傍画素との５画素の中で、注目画素が最大値を有すれば、注目画素をスケルトン点とする。

【0026】

なお、距離変換部３０において、４近傍画素の代わりに８近傍画素を用いてもよい。８近傍画素を用いる場合、スケルトン検出部４０は、注目画素と、注目画素の周囲の８近傍画素との９画素の中で、注目画素が最大値を有すれば、注目画素をスケルトン点とする。

【0027】

スケルトン検出部４０によって検出されるスケルトン点の集合をスケルトンと称する。図６の（ａ）は、物体ＯＢの領域に対応して生成されたスケルトンSKLobを示している。図６の（ｂ）は、背景ＢＧの領域に対応して生成されたスケルトンSKLbgを示している。スケルトンSKLob，SKLbgは、１画素の幅を有する線よりなる細線化画像である。

【0028】

図２に示すフレームＦの画像は、以上説明した２値化部２０による２値化、距離変換部３０による距離変換、スケルトン検出部４０によるスケルトン点の検出によって、スケルトンSKLob，SKLbgを有するフレームＦとなる。スケルトン検出部４０からは、図６の（ａ）と（ｂ）とを加算した（ｃ）に示すスケルトンSKLob，SKLbgを有するフレームＦが出力される。

【0029】

スケルトン検出部４０は、距離変換画像のそれぞれの画素に対して、スケルトンフラグとして、スケルトン点であればラベル１を、スケルトン点でなければラベル０を設定する。フレームＦ内のそれぞれの画素は、輝度値と、スケルトンフラグと、距離値とよりなる固有値を有する。

【0030】

ここでの固有値としての輝度値は、２値化部２０でフレームＦの画像を２値データに変換したときの基準値である。

【0031】

２値化部２０〜スケルトン検出部４０は、画像信号Ｓinにおけるそれぞれのフレームの画像に対して以上の各処理を実行する。記憶部５０は、フレーム内のそれぞれの領域がスケルトンに変換された３フレーム分のフレームを記憶する。

【0032】

図７Ａ，図７Ｂを参照しながら、図１における記憶部５０以降の処理について説明する。図７Ａ，図７Ｂでは、説明を簡略化するため、物体ＯＢに対する処理のみを説明し、背景ＢＧに対する処理の説明を省略することとする。

【0033】

図７Ａにおいて、フレームＦ０，Ｆ１，Ｆ２は、画像信号Ｓinにおける連続した３フレームである。フレームＦ０，Ｆ１，Ｆ２内の物体ＯＢは左側から右側へと移動している。フレームＦ１が動物体の領域を検出する対象のフレーム（対象フレーム）である。フレームＦ１内の物体ＯＢを検出するために、フレームＦ１の前後のフレームＦ０（前フレーム）とフレームＦ２（後フレーム）が用いられる。

【0034】

図７Ａに示すように、フレームＦ０，Ｆ１，Ｆ２それぞれに対して、前述のような２値化、距離変換、スケルトン点の検出の各処理が施されると、スケルトンSKLob0，SKLob1，SKLob2が生成される。スケルトンSKLob0，SKLob1，SKLob2を有するフレームＦ０，Ｆ１，Ｆ２は、記憶部５０に記憶される。

【0035】

演算部６０内の差分演算部（第１の差分演算部）６０１は、スケルトンSKLob1を有するフレームＦ１とスケルトンSKLob0を有するフレームＦ０との差分を演算する。フレームＦ１とフレームＦ０との差分を演算することにより、差分画像Diff_10_skl（第１の差分画像）を有するフレームＦ１０となる。

【0036】

演算部６０内の差分演算部（第２の差分演算部）６０２は、スケルトンSKLob1を有するフレームＦ１とスケルトンSKLob2を有するフレームＦ２との差分を演算する。フレームＦ１とフレームＦ２との差分を演算することにより、差分画像Diff_12_skl（第２の差分画像）を有するフレームＦ１２となる。

【0037】

図７Ａに示す例では、物体ＯＢが水平移動しているため、スケルトンSKLob0，SKLob1，SKLob2は、同じ水平ライン上で水平方向の位置が少しずつずれている。スケルトンSKLob0の右端部とスケルトンSKLob1の左端部は重なっている。スケルトンSKLob1の右端部とスケルトンSKLob2の左端部は重なっている。従って、差分画像Diff_10_skl，Diff_12_sklは、水平方向の中央部で差分が０となることにより、左右に分断した状態となる。

【0038】

同一の物体に基づいて生成したスケルトンは連結する性質を有する。差分画像Diff_10_skl，Diff_12_sklのように同じ水平ライン上で左右に分断している場合には、連結部６０４，６０５は、左右の画像を連結させ、差分画像Diff_10c_skl，Diff_12c_sklとする。

【0039】

本例では物体ＯＢのスケルトンが一本の水平線として抽出されたため、物体ＯＢが斜め方向に移動した場合には、スケルトンSKLob0，SKLob1は互いに重ならず、スケルトンSKLob1，SKLob2も互いに重ならない。図７Ａに示す例のように、スケルトンが同じ水平位置で位置がずれる場合には、スケルトンの差分画像が分断する。このような場合には、スケルトンの連結性に基づき、分断した差分画像を連結させればよい。

【0040】

差分画像Diff_10c_sklを有するフレームＦ１０と、差分画像Diff_12c_sklを有するフレームＦ１２は、演算部６０内の論理積演算部６０３に入力される。図７Ｂに示すように、論理積演算部６０３は、差分画像Diff_10c_sklを有するフレームＦ１０と、差分画像Diff_12c_sklを有するフレームＦ１２との論理積を演算する。

【0041】

フレームＦ１０とフレームＦ１２との論理積を演算したフレームをフレームＦ1012とする。差分画像Diff_10c_skl，Diff_12c_sklの論理積をとると、論理積画像A1012_sklとなる。フレームＦ1012内の論理積画像A1012_sklの位置は、スケルトンSKLob1の位置と一致する。フレームＦ1012は、フレームＦ１に相当する。

【0042】

動領域復元部７０は、論理積画像A1012_sklに基づいて、フレームＦ１内の動物体の領域である物体ＯＢを復元する。論理積画像A1012_sklを構成する個々のスケルトン点は、輝度値と距離値とを有する。動領域復元部７０は、論理積画像A1012_sklのそれぞれのスケルトン点に対して距離値を半径とする円Ｃｄを配置する。図７Ｂでは、簡略化のため、円Ｃｄを５つのみ示している。

【0043】

動領域復元部７０が全てのスケルトン点に対して距離値を半径とする円Ｃｄを配置すれば、フレームＦ１内の物体ＯＢの位置及び形状を復元することができる。

【0044】

動領域復元部７０は、全てのスケルトン点に配置した円Ｃｄを、スケルトン点が有する輝度値で塗りつぶす。これにより、物体ＯＢの輝度も復元することができる。

【0045】

背景ＢＧに対しても同様の処理が行われるので、動領域復元部７０は、画像Ｆ１の背景ＢＧも復元することができる。

【0046】

図８Ａ〜図８Ｃに示すフローチャートを用いて、図１に示す動領域検出装置の動作を改めて説明する。図８Ａにおいて、２値化部２０は、ステップＳ１にて、フレームＦｎにおけるｎを０とする。フレームＦｎは、図７ＡのフレームＦ０〜Ｆ２のいずれかであり、ｎを０とすることによりフレームＦ０が選択される。

【0047】

２値化部２０は、ステップＳ２にて、２値化の基準値である輝度値Ｌを０とする。２値化部２０は、ステップＳ３にて、フレームＦ０を輝度値Ｌ（輝度値０）で２値化する。

【0048】

距離変換部３０は、ステップＳ４にて、ステップＳ３で２値化した２値データのラベル１の領域Ｒ１を距離変換する。スケルトン検出部４０は、ステップＳ４で距離変換した距離変換画像のスケルトンを検出する。

【0049】

２値化部２０は、ステップＳ６にて、輝度値Ｌが２５５であるか否かを判定する。２値化部２０は、輝度値Ｌが２５５でなければ（NO）、処理をステップＳ７に移行させる。２値化部２０は、ステップＳ７にて輝度値Ｌを１インクリメントして、処理をステップＳ３に戻す。

【0050】

２値化部２０がステップＳ３〜Ｓ７の処理を繰り返し、ステップＳ６にて輝度値Ｌが２５５であれば（YES）、フレームＦ０を０〜２５５の全ての輝度値Ｌで２値化したことになる。

【0051】

２値化部２０は、ステップＳ８にて、ｎが２であるか否かを判定する。２値化部２０は、ｎが２でなければ（NO）、処理をステップＳ９に移行させる。

【0052】

２値化部２０は、ステップＳ９にて、ｎを１インクリメントして、処理をステップＳ２に戻す。ｎを１インクリメントすることにより、次にフレームＦ１が選択される。２値化部２０〜スケルトン検出部４０がフレームＦ１に対してもステップＳ２〜Ｓ７の処理を繰り返すと、フレームＦ１の２値化、距離変換、スケルトン検出が完了する。

【0053】

２値化部２０は、ステップＳ８にてｎが２でないと判定して、ステップＳ９にて、ｎを１インクリメントして、処理をステップＳ２に戻す。ｎを１インクリメントすることにより、さらに次にフレームＦ２が選択される。２値化部２０〜スケルトン検出部４０がフレームＦ２に対してもステップＳ２〜Ｓ７の処理を繰り返すと、フレームＦ２の２値化、距離変換、スケルトン検出が完了する。

【0054】

ステップＳ８にてｎが２であれば（YES）、２値化部２０は、フレームＦ０〜Ｆ２の全ての２値化、距離変換、スケルトン検出を完了したことになる。

【0055】

図８Ｂにおいて、演算部６０は、ステップＳ１０にてフレームＦｎにおけるｎを０とし、ステップＳ１１にて画素位置ｐを０とする。これにより、まずフレームＦ０の最初の画素である例えば左上端部の画素が選択される。

【0056】

演算部６０は、ステップＳ１２にて、フレームＦ１の画素位置ｐ（左上端部の画素）のスケルトンフラグがラベル１かラベル０であるかを確認して、フレームＦ１の画素位置ｐがスケルトン点であるか否かを判定する。

【0057】

スケルトン点であれば（YES）、演算部６０は、ステップＳ１３にて、フレームＦｎの画素位置ｐがスケルトン点であるか否かを判定する。スケルトン点でなければ（NO）、演算部６０は、ステップＳ１４にて、フレームＦｎの画素位置ｐがスケルトン点であるか否かを判定する。

【0058】

ステップＳ１３にてスケルトン点であれば（YES）、演算部６０は、ステップＳ１５にて、フレームＦ１の画素位置ｐとフレームＦｎの画素位置ｐとの輝度の差分が所定の閾値より大きいかを判定する。輝度の差分が所定の閾値より大きければ（YES）、演算部６０は、処理をステップＳ１８に移行させ、大きくなければ（NO）、演算部６０は、処理をステップＳ１９に移行させる。

【0059】

ステップＳ１３にてスケルトン点なければ（NO）、演算部６０は、処理をステップＳ１８に移行させる。

【0060】

ステップＳ１４にてスケルトン点であれば（YES）、演算部６０は、処理をステップＳ１７に移行させ、スケルトン点でなければ（NO）、演算部６０は、処理をステップＳ１６に移行させる。

【0061】

演算部６０は、ステップＳ１６にて、フレームＦ１ｎの画素位置ｐの差分点フラグをラベル０とする。ここでのフレームＦ１ｎは、フレームＦ１０である。演算部６０は、ステップＳ１７にて、フレームＦ１ｎの画素位置ｐの差分点フラグをラベル１とし、フレームＦｎの画素位置ｐの距離値を設定する。

【0062】

演算部６０は、ステップＳ１８にて、フレームＦ１ｎの画素位置ｐの差分点フラグをラベル１とし、フレームＦ１の画素位置ｐの距離値を設定する。演算部６０は、ステップＳ１９にて、フレームＦ１ｎの画素位置ｐの差分点フラグをラベル０とする。

【0063】

ステップＳ１６〜Ｓ１９の後、演算部６０は、ステップＳ２０にて、画素位置ｐは最終画素であるか否かを判定する。例えば右下端部の画素を最終画素とする。最終画素でなければ（NO）、演算部６０は、ステップＳ２１にて、画素位置ｐを１インクリメントして、処理をステップＳ１２に戻し、ステップＳ１２〜Ｓ２１を繰り返す。

【0064】

ステップＳ２０にて最終画素であれば（YES）、画像Ｆ１と画像Ｆ０との差分演算が終了したということである。演算部６０は、処理をステップＳ２２に移行させる。演算部６０は、ステップＳ２２にて、ｎが２でない（NO）と判定して、ステップＳ２３にて、ｎを１インクリメントして、処理をステップＳ１１に戻す。ｎを１インクリメントすることにより、次にフレームＦ１とフレームＦ２との差分演算が実行される。

【0065】

ｎ＝２として、ステップＳ１２〜Ｓ２１の処理を繰り返すと、フレームＦ１とフレームＦ２との差分演算が完了する。

【0066】

ステップＳ２２にてｎが２であれば（YES）、演算部６０は、フレームＦ１とフレームＦ０との差分演算とフレームＦ１とフレームＦ２との差分演算とを完了したことになる。

【0067】

図８Ｂに示す処理によって、図７Ａに示すフレームＦ１０の差分画像Diff_10_skl，Diff_12_sklが得られる。差分点フラグがラベル１の画素の集合が差分画像Diff_10_skl，Diff_12_sklとなる。図８Ｂでは特に図示していないが、前述のように、必要に応じて差分画像Diff_10_skl，Diff_12_sklは連結されて差分画像Diff_10c_skl，Diff_12c_sklとされる。

【0068】

次に、図８Ｃにおいて、動領域復元部７０は、ステップＳ２４にて、フレームの全体をラベル０で初期化する。動領域復元部７０は、ステップＳ２５にて、画素位置ｐを０とする。動領域復元部７０は、ステップＳ２６にて、フレームＦ１０，Ｆ１２の画素位置ｐの差分点フラグがどちらも１であるか否かを判定する。

【0069】

フレームＦ１０，Ｆ１２の画素位置ｐの差分点フラグがどちらも１であれば（YES）、動領域復元部７０は、ステップＳ２７にて、画素位置ｐを中心としてフレームＦ１０の画素位置ｐにおける距離値の円の範囲をラベル１として、処理をステップＳ２８に移行させる。フレームＦ１０の画素位置ｐにおける距離値の代わりに、フレームＦ１２の画素位置ｐにおける距離値を用いてもよい。

【0070】

フレームＦ１０，Ｆ１２の画素位置ｐの差分点フラグのいずれかが１でなければ（NO）、動領域復元部７０は、処理をステップＳ２８に移行させる。

【0071】

動領域復元部７０は、ステップＳ２８にて、画素位置ｐは最終画素であるか否かを判定する。最終画素でなければ（NO）、動領域復元部７０は、ステップＳ２９にて、画素位置ｐを１インクリメントして、処理をステップＳ２６に戻し、ステップＳ２６〜Ｓ２９を繰り返す。

【0072】

ステップＳ２８にて最終画素であれば（YES）、図７Ｂに示すように物体ＯＢが復元され、処理を終了する。

【0073】

比較のため、図９を用いて、２値化、距離変換、スケルトン変換を行わず、演算部６０がフレームＦ０〜Ｆ２をそのまま演算した場合について説明する。図９において、フレームＦ０〜Ｆ２における物体ＯＢは移動量が少なく、フレームＦ１，Ｆ０の物体ＯＢは重なり合う位置関係にあり、フレームＦ１，Ｆ２の物体ＯＢは重なり合う位置関係にあるとする。

【0074】

差分演算部６０１が、フレームＦ１とフレームＦ０との差分を演算すると、差分画像Diff_10を有するフレームＦ１０となる。差分演算部６０２がフレームＦ１とフレームＦ２との差分を演算すると、差分画像Diff_12を有するフレームＦ１２となる。

【0075】

論理積演算部６０３が、差分画像Diff_10を有するフレームＦ１０と、差分画像Diff_12を有するフレームＦ１２との論理積を演算すると、論理積画像A1012は、図９に示すように、物体ＯＢの左右の部分が欠落した画像となる。フレームＦ１，Ｆ０で物体ＯＢの重なった部分と、フレームＦ１，Ｆ２で物体ＯＢの重なった部分は検出できない領域となる。

【0076】

以上のように、本実施形態の動領域検出装置によれば、隣接するフレーム間で物体ＯＢが重なり合う位置関係であっても、物体ＯＢを細線化画像であるスケルトンに変換することにより、重なり合う可能性を大幅に低減させることができる。よって、物体ＯＢを検出しやすくすることができる。

【0077】

図７Ａで説明したように、スケルトンが重なってしまう場合が稀に発生する。しかしながら、スケルトンの連結性に基づいて分断した差分画像を連結することによって、物体ＯＢを的確に検出することが可能である。

【0078】

本実施形態の動領域検出装置によれば、動物体の領域が一様な画素値を有する場合でも、動物体の移動量にかかわらず、動物体の領域を的確に検出することができる。

【0079】

本実施形態の動領域検出装置による動領域検出方法を例えば複数枚超解像処理に用いれば、ランダムなノイズ成分を低減させることができ、ダイナミックレンジを拡大することができる。本実施形態の動領域検出装置による動領域検出方法は、複数枚超解像処理以外のノイズリダクションにも用いることができ、ノイズリダクションの性能を向上させることが可能である。

【0080】

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。本実施形態の動領域検出装置をハードウェアで構成してもよいし、ソフトウェア（コンピュータプログラム）で構成してもよい。動領域検出プログラムは、コンピュータに、図８Ａ〜図８Ｃに示す各ステップを実行させればよい。

【符号の説明】

【0081】

２０ ２値化部
３０ 距離変換部
４０ スケルトン検出部
６０ 演算部
７０ 動領域復元部
６０１，６０２ 差分演算部
６０３ 論理積演算部
６０４，６０５ 連結部

【図1】

【図2】

【図3】

【図4】

【図6】

【図7B】

【図8A】

【図8B】

【図8C】

【図9】

【図5】

【図7A】