特許 5994493 動画像前景切抜き装置、方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5994493

(24)【登録日】2016年9月2日

(45)【発行日】2016年9月21日

(54)【発明の名称】動画像前景切抜き装置、方法、およびプログラム

(51)【国際特許分類】

   G06T 7/00 20060101AFI20160908BHJP

【ＦＩ】

   G06T7/00 200Z

【請求項の数】9

【全頁数】23

(21)【出願番号】特願2012-192241(P2012-192241)

(22)【出願日】2012年8月31日

(65)【公開番号】特開2014-48949(P2014-48949A)

(43)【公開日】2014年3月17日

【審査請求日】2015年8月26日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(72)【発明者】

【氏名】田中 飛雄太

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開２００９−０８０６６０（ＪＰ，Ａ）

【文献】 特表２０１２−５１７６４７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／６０

(57)【特許請求の範囲】

【請求項1】

動画像を構成する各フレームの画像内で前景領域を切り抜いて背景領域と分割する装置であって、
現フレームの１つ前の前フレームで算出された前景領域と背景領域の境界を示す不定領域と、前記前景領域内で前記不定領域以外の領域を示す縮退前景領域と、前記背景領域内で前記不定領域以外の領域を示す縮退背景領域を算出する縮退処理手段と、
前記現フレームと前記前フレームとで対応する各画素ごとの差分を算出し、前記縮退背景領域のうち前記差分がない画素から構成される領域を不変背景領域として算出する差分処理手段と、
前記前フレームの各画素の前記現フレームへの移動情報を示す各速度場データを算出し、該各速度場データに基づき前記縮退前景領域および前記縮退背景領域を移動させた各領域を移動後前景領域および移動後背景領域として算出し、該移動後前景領域および該移動後背景領域以外の領域を移動後不定領域として算出するオプティカルフロー処理手段と、
前記不変背景領域または前記移動後背景領域からなる領域、前記移動後前景領域のみの領域、および前記移動後不定領域のみの領域をそれぞれ、背景指定領域、前景指定領域、および不定指定領域として抽出する合成処理手段と、
前記前景指定領域、前記背景指定領域、および前記不定指定領域を入力し、前記現フレームの画像内で前記前景領域を切り抜いて前記背景領域から分割する切抜き処理手段と、
を備えることを特徴とする動画像前景切抜き装置。

【請求項2】

前記オプティカルフロー処理手段は、移動前の領域と移動後の領域とで、該各領域内の各画素が示す色の差が所定の閾値と比較して大きい場合は、移動後の領域を前記移動後不定領域とする、
ことを特徴とする請求項１に記載の動画像前景切抜き装置。

【請求項3】

前記オプティカルフロー処理手段は、移動前の領域と移動後の領域とで、該各領域内の各画素ごとに、該画素と該画素の所定の近傍領域の各画素についての各色の差の和が所定の閾値と比較して大きい場合は、移動後の領域を前記移動後不定領域とする、
ことを特徴とする請求項２に記載の動画像前景切抜き装置。

【請求項4】

前記差分処理手段は、前記現フレームと前記前フレームとで対応する各画素ごとに、該画素と該画素の所定の近傍領域の各画素の各差分の和が所定の差分閾値と比較して大きい場合に該画素について差分があると判定する、
ことを特徴とする請求項１ないし３のいずれかに記載の動画像前景切抜き装置。

【請求項5】

前記前景指定領域を囲んでいない前記不定指定領域を前記背景指定領域に変換して前記切抜き処理手段に入力する不定指定領域孤立点除去処理手段をさらに備える、
ことを特徴とする請求項１ないし４のいずれかに記載の動画像前景切抜き装置。

【請求項6】

前記切抜き処理手段は、前記前景指定領域、前記背景指定領域、および前記不定指定領域を入力として、前記現フレームの画像内の各画素に付与する前記前景領域または前記背景領域を示す領域ラベル値を更新しながら、該領域ラベル値と該各画素の画素値とに基づいて、Ｇｒａｐｈ Ｃｕｔｓ法により、前記前景らしさまたは前記背景らしさと隣接画素間の前記画素値の変化を評価するエネルギー関数の最小化処理により、前記現フレームの画像内で前記前景領域を切り抜いて前記背景領域から分割する、
ことを特徴とする請求項１ないし５のいずれかに記載の動画像前景切抜き装置。

【請求項7】

前記切抜き処理手段によって切り抜かれた現フレームの前記前景領域をユーザに表示して確認させ、ユーザに該前景領域が適切であるか否かを入力させ、ユーザが適切である旨を入力した場合には、次のフレームに対して前記動画像前景切抜き装置の動作を実行させ、ユーザが不適切である旨を入力した場合には、ユーザに前記前景指定領域および前記背景指定領域を入力指定させて前記切抜き処理手段に入力し前記前景領域を切り抜いて前記背景領域から分割する処理を実行させるインタラクティブユーザインタフェース手段をさらに備える、
ことを特徴とする請求項１ないし６のいずれかに記載の動画像前景切抜き装置。

【請求項8】

動画像を構成する各フレームの画像内で前景領域を切り抜いて背景領域と分割する方法であって、
現フレームの１つ前の前フレームで算出された前景領域と背景領域の境界を示す不定領域と、前記前景領域内で前記不定領域以外の領域を示す縮退前景領域と、前記背景領域内で前記不定領域以外の領域を示す縮退背景領域を算出し、
前記現フレームと前記前フレームとで対応する各画素ごとの差分を算出し、前記縮退背景領域のうち前記差分がない画素から構成される領域を不変背景領域として算出し、
前記前フレームの各画素の前記現フレームへの移動情報を示す各速度場データを算出し、該各速度場データに基づき前記縮退前景領域および前記縮退背景領域を移動させた各領域を移動後前景領域および移動後背景領域として算出し、該移動後前景領域および該移動後背景領域以外の領域を移動後不定領域として算出し、
前記不変背景領域または前記移動後背景領域からなる領域、前記移動後前景領域のみの領域、および前記移動後不定領域のみの領域をそれぞれ、背景指定領域、前景指定領域、および不定指定領域として抽出し、
前記前景指定領域、前記背景指定領域、および前記不定指定領域を入力して、前記現フレームの画像内で前記前景領域を切り抜いて前記背景領域から分割する、
ことを備えることを特徴とする動画像前景切抜き方法。

【請求項9】

動画像を構成する各フレームの画像内で前景領域を切り抜いて背景領域と分割するコンピュータに、
現フレームの１つ前の前フレームで算出された前景領域と背景領域の境界を示す不定領域と、前記前景領域内で前記不定領域以外の領域を示す縮退前景領域と、前記背景領域内で前記不定領域以外の領域を示す縮退背景領域を算出する縮退処理と、
前記現フレームと前記前フレームとで対応する各画素ごとの差分を算出し、前記縮退背景領域のうち前記差分がない画素から構成される領域を不変背景領域として算出する差分処理と、
前記前フレームの各画素の前記現フレームへの移動情報を示す各速度場データを算出し、該各速度場データに基づき前記縮退前景領域および前記縮退背景領域を移動させた各領域を移動後前景領域および移動後背景領域として算出し、該移動後前景領域および該移動後背景領域以外の領域を移動後不定領域として算出するオプティカルフロー処理と、
前記不変背景領域または前記移動後背景領域からなる領域、前記移動後前景領域のみの領域、および前記移動後不定領域のみの領域をそれぞれ、背景指定領域、前景指定領域、および不定指定領域として抽出する合成処理と、
前記前景指定領域、前記背景指定領域、および前記不定指定領域を入力して、前記現フレームの画像内で前記前景領域を切り抜いて前記背景領域から分割する切抜き処理と、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像を構成する各フレームの画像内で前景領域を切り抜いて背景領域と分割する動画像前景切抜き装置、方法、およびプログラムに関する。

【背景技術】

【0002】

例えばデジタルカメラで撮影して得られる例えば図１１（ａ）に示されるような静止画像の原画上で、図１１（ｂ）のように、切抜き対象の領域の一部に前景領域を、それ以外の領域の一部に背景領域を、ユーザが指定する（指定された各領域をそれぞれ、「前景指定領域」および「背景指定領域」と呼ぶ）。これにより、図１１（ｃ）に示されるように、静止画像からある特定の前景領域を切り抜くための二値マスク（前景領域が「１」、背景領域が「０」となるマスク）を設定し、図１１（ｄ）に示されるように、前景領域を切り抜くことができる。

【0003】

この技術を用いることにより例えば、或る写真の被写体を前景領域として切り抜き、別の写真を背景領域とする新しい合成写真を作成することができる。デジタルカメラに限らず、例えばパーソナルコンピュータやいわゆるスマートフォン等の携帯端末上で、任意の静止画像を入力して、上述の切抜き処理を実行するアプリケーションソフトウェアを提供することも可能となる。

【0004】

上述の切抜き処理としては、Ｇｒａｐｈ Ｃｕｔｓ法を用いて、例えば被写体等の前景領域を切り抜いて背景領域と分割する従来技術が知られている（例えば非特許文献１、特許文献１に記載の技術）。領域分割を行う場合，前景と背景の関係によりその境界が不明確な部分が存在する可能性があり，最適な切抜き処理を行う必要がある。そこで、この従来技術では、切抜き処理をエネルギーの最小化問題としてとらえ、その最小化手法を提案している。この従来技術では，切抜き処理に適合するようにグラフを作成し、そのグラフの最小カットを求めることにより、エネルギー関数の最小化を行う。この最小カットは、最大フローアルゴリズムを用いることにより、効率的な切抜き処理演算を実現している。

【0005】

上述の切抜き技術は、さらに動画像に応用することもできる。動画像を構成する各フレームの画像内で前景領域を切り抜くことにより、動画上の各フレームの被写体を前景領域として切り抜き、別の静止画像の写真や動画像を背景領域とする新しい合成動画像を作成することができる。

【0006】

しかしながらこのままでは、動画像内の全フレームに対して前景領域と背景領域を指定する作業を行うことになり、作業量が莫大となってしまう。
そこでこの作業を軽減するために下記のような従来技術が知られている。

【0007】

１．オプティカルフロー処理による領域伝達手法
或るキーフレームに対してユーザが指定した前景領域及び背景領域を、オプティカルフロー処理によって次のフレームに伝達してゆくことで、それ以降のフレームに対する前景領域と背景領域の指定作業を軽減する技術である（例えば特許文献２に記載の技術）。

【0008】

２．フレーム間差分処理による手法
処理対象のキーフレームとその前後のフレームの差分をとり、差分がある領域を前景領域、差分がない領域を背景領域と推定することで、ユーザの前景領域及び背景領域の指定作業を軽減する技術である（例えば特許文献３に記載の技術）。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２０１１−３５６３６号公報

【特許文献2】特開２００９−８０６６０号公報

【特許文献3】特開２００５−４７９９号公報

【非特許文献】

【0010】

【非特許文献1】Ｙ．Ｂｏｙｋｏｖ ａｎｄ Ｇ．Ｆｕｎｋａ−Ｌｅａ：“Ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈ Ｃｕｔｓ ｆｏｒ Ｏｐｔｉｍａｌ Ｂｏｕｎｄａｒｙ ＆ Ｒｅｇｉｏｎ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｏｂｊｅｃｔｓ ｉｎ Ｎ−Ｄ Ｉｍａｇｅｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ “Ｉｎｔｅｒｎａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”，Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ，ｖｏｌ．Ｉ，ｐ．１０５−１１２，Ｊｕｌｙ ２００１．

【発明の概要】

【発明が解決しようとする課題】

【0011】

しかし、上述したオプティカルフロー処理を用いた従来技術は、キーフレームに対してユーザが指定した前景領域及び背景領域がフレーム間でそのまま伝達されてゆくため、フレームの進行に従って切抜き処理の精度が低下していってしまうという問題点を有していた。
また、オプティカルフロー処理では、移動前の複数の画素が移動後の１つの同じ画素に移動させられるような速度場データが生成される場合が多いため、一般的には、移動によって対象領域（例えば前景領域）の面積が小さくなってゆき、最終的には消えてしまうという問題点を有していた。

【0012】

さらに、差分処理を用いた従来技術では、差分の存在する領域が前景領域とは限らず、逆に差分の存在しない領域が背景領域とも限らないため、前景領域の切抜き処理の精度が低いという問題点を有していた。

【0013】

本発明は、フレームが進行しても切抜き処理の精度を低下させずに、ユーザが行う動画の各キーフレームに対する前景領域及び背景領域の指定作業を軽減可能とすることを目的とする。

【課題を解決するための手段】

【0014】

態様の一例では、動画像を構成する各フレームの画像内で前景領域を切り抜いて背景領域と分割する装置として実現され、現フレームの１つ前の前フレームで算出された前景領域と背景領域の境界を示す不定領域と、前景領域内で不定領域以外の領域を示す縮退前景領域と、背景領域内で不定領域以外の領域を示す縮退背景領域を算出する縮退処理手段と、現フレームと前フレームとで対応する各画素ごとの差分を算出し、縮退背景領域のうち差分がない画素から構成される領域を不変背景領域として算出する差分処理手段と、前フレームの各画素の現フレームへの移動情報を示す各速度場データを算出し、その各速度場データに基づき縮退前景領域および縮退背景領域を移動させた各領域を移動後前景領域および移動後背景領域として算出し、移動後前景領域および移動後背景領域以外の領域を移動後不定領域として算出するオプティカルフロー処理手段と、不変背景領域または移動後背景領域からなる領域、移動後前景領域のみの領域、および移動後不定領域のみの領域をそれぞれ、背景指定領域、前景指定領域、および不定指定領域として抽出する合成処理手段と、前景指定領域、背景指定領域、および不定指定領域を入力して、現フレームの画像内で前景領域を切り抜いて背景領域から分割する切抜き処理手段とを備える。

【発明の効果】

【0015】

本発明によれば、フレームが進行しても切抜き処理の精度を低下させずに、ユーザが行う動画の各キーフレームに対する前景領域及び背景領域の指定作業を軽減させることが可能となる。

【図面の簡単な説明】

【0016】

【図1】本発明の一実施形態に係る動画像前景切抜き装置のハードウェア構成例を示すブロック図である。

【図2】図１の動画像前景切抜き装置の機能的構成を示す機能ブロック図である。

【図3】図１のハードウェア構成を有する動画像前景切抜き装置が図２で説明した機能を実行するための制御処理を示すフローチャートである。

【図4】図３のフローチャートで示される制御処理の動作説明図である。

【図5】図３のステップＳ３０２のプロセスＡの詳細処理を示すフローチャートである。

【図6】図５のフローチャートで示されるプロセスＡの詳細処理の動作説明図である。

【図7】図３のステップＳ３０３のプロセスＢの詳細処理を示すフローチャートである。

【図8】図７のフローチャートで示されるプロセスＢの詳細処理の動作説明図である。

【図9】動画像を構成する連続するフレームに対する全体的な制御処理を示すフローチャートである。

【図10】図９のフローチャートで示される制御処理の動作説明図である。

【図11】静止画像における切抜き処理の説明図である。

【発明を実施するための形態】

【0017】

以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。

【0018】

図１は、本発明の一実施形態に係る動画像前景切抜き装置１０１のハードウェア構成例を示すブロック図である。

【0019】

この動画像前景切抜き装置１０１は例えば、いわゆるスマートフォンなどの携帯情報端末であるコンピュータシステムやパーソナルコンピュータシステム上に実現される。

【0020】

動画像前景切抜き装置１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算処理装置）１０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４を備える。また、動画像前景切抜き装置１０１は、ソリッド記憶装置またはハードディスク記憶装置等の外部記憶装置１０５と、通信インタフェース１０６と、タッチパネルディスプレイ装置やマウス入力装置またはキーボード入力装置などの入力装置１０７、および同じくタッチパネルディスプレイ装置や液晶ディスプレイ装置等の表示装置１０８を備える。さらに、動画像前景切抜き装置１０１は、マイクロＳＤメモリカードやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリカードなどの可搬記録媒体１１０をセット可能な可搬記録媒体駆動装置１０９を備える。撮像装置１１２は、静止画像やビデオ画像を撮像することのできるデジタルカメラ機構であり、レンズ、オートフォーカス駆動制御装置、露出制御装置、撮像センサ等を備える。上述の各機器１０２〜１０９および１１２は、バス１１１によって相互に接続される。

【0021】

ＲＯＭ１０３には、スマートフォン全体の一般的な動作を制御するプログラムのほか、後述する各フローチャートによって示される動画像前景切抜き処理の制御プログラムが記憶されている。ＣＰＵ１０２は、ＲＯＭ１０３から、この制御プログラムを読み出し、ＲＡＭ１０４をワークメモリとして実行する。これにより、後述する図２の機能ブロックで示される動画像前景切抜き処理機能が実現される。

【0022】

この結果、例えばユーザが、撮像装置１１２によって撮像して得た動画像データにおいて、動画像を構成する各フレームごとに前景領域を切り抜く動画像前景切抜き処理が実行される。
あるいは、外部記憶装置１０５や可搬記録媒体１１０、あるいはインターネット等から通信インタフェース１０６を介して読み込んだ動画像データにおいて、同様の動画像前景切抜き処理が実行される。

【0023】

図２は、図１の動画像前景切抜き装置１０１の機能的構成を示す機能ブロック図である。

【0024】

本実施形態による動画像前景切抜き装置１０１は、動画像を構成する各フレームの画像内で例えば被写体である前景領域を切り抜いて背景領域と分割する装置として実現される。

【0025】

縮退処理手段２０１は、現フレームの１つ前の前フレームで算出された前景領域２０７と背景領域２０８の境界を示す不定領域２０９と、前景領域２０７内で不定領域２０９以外の領域を示す縮退前景領域２１０と、背景領域２０８内で不定領域２０９以外の領域を示す縮退背景領域２１１を算出する。

【0026】

差分処理手段２０２は、現フレームのデータ２１２と前フレームのデータ２１３を読み込む。差分処理手段２０２は、これらのデータに基づき、現フレームと前フレームとで対応する各画素ごとの差分を算出し、縮退背景領域２１１のうち差分がない画素から構成される領域を不変背景領域２１４として算出する。
差分処理手段２０２は、現フレームと前フレームとで対応する各画素ごとに、その画素とその画素の所定の近傍領域の各画素の各差分の和が所定の差分閾値と比較して大きい場合にその画素について差分があると判定するように処理してもよい。

【0027】

オプティカルフロー処理手段２０３は、現フレームのデータ２１２と前フレームのデータ２１３を読み込む。オプティカルフロー処理手段２０３は、これらのデータに基づき、前フレームの各画素の現フレームへの移動情報を示す各速度場データを算出する。そして、オプティカルフロー処理手段２０３は、算出した各速度場データに基づき、縮退処理手段２０１にて得られた縮退前景領域２１０および縮退背景領域２１１を現フレームに移動させた各領域を、移動後前景領域２１５および移動後背景領域２１６として算出し、移動後前景領域２１５および移動後背景領域２１６以外の領域を移動後不定領域２１７として算出する。
オプティカルフロー処理手段２０３は、移動前の領域と移動後の領域とで、各領域内の各画素が示す色の差が所定の閾値と比較して大きい場合は、移動後の領域を移動後不定領域２１７とするように処理してもよい。さらにこの場合、オプティカルフロー処理手段２０３は、移動前の領域と移動後の領域とで、各領域内の各画素ごとに、その画素とその画素の所定の近傍領域の各画素についての各色の差の和が所定の閾値と比較して大きい場合は、移動後の領域を移動後不定領域２１７とするように処理してもよい。

【0028】

合成処理手段２０４は、差分処理手段２０２で得られる不変背景領域２１４と、オプティカルフロー処理手段２０３で得られる移動後前景領域２１５、移動後背景領域２１６、および移動後不定領域２１７とを、不変背景領域２１４が優先されるように合成する。
すなわち、合成処理手段２０４は、不変背景領域２１４または移動後背景領域２１６からなる領域を、背景指定領域２１９として抽出する。合成処理手段２０４は、不変背景領域２１４と重ならない移動後前景領域２１５のみの領域を、前景指定領域２１８として抽出する。合成処理手段２０４は、不変背景領域２１４と重ならない移動後不定領域２１７のみの領域を、不定指定領域２２０として抽出する。

【0029】

合成処理手段２０４にて抽出された前景指定領域２１８、背景指定領域２１９、および不定指定領域２２０は、そのまま切抜き処理手段２０６に入力されてもよいが、その入力の前に以下のような不定指定領域孤立点除去処理手段２０５で処理されてもよい。不定指定領域孤立点除去処理手段２０５は、前景指定領域２１８を囲んでいない不定指定領域２２０を、背景指定領域２１９に変換して切抜き処理手段２０６に入力する。

【0030】

切抜き処理手段２０６は、前景指定領域２１８、背景指定領域２１９、および不定指定領域２２０を入力して、現フレームのデータ２１２を読み込んで、現フレームの画像内で前景領域２０７を切り抜いて背景領域２０８と分割する。
切抜き処理手段２０６は、前景指定領域２１８、背景指定領域２１９、および不定指定領域２２０を入力として、現フレームの画像内の各画素に付与する前景領域２０７または背景領域２０８を示す領域ラベル値を更新しながら、その領域ラベル値とその各画素の画素値とに基づいて、Ｇｒａｐｈ Ｃｕｔｓ法により、前景らしさまたは背景らしさと隣接画素間の画素値の変化を評価するエネルギー関数の最小化処理により、現フレームの画像内で前景領域２０７を切り抜いて背景領域２０８と分割するように処理してもよい。

【0031】

本実施形態は、図２の構成に加えて、次のようなインタラクティブユーザインタフェース手段を備えることができる。インタラクティブユーザインタフェース手段は、切抜き処理手段２０６によって切り抜かれた現フレームの前景領域２０７をディスプレイ等を介してユーザに表示して確認させ、ユーザにその前景領域２０７が適切であるか否かをタッチパネルやマウス等を介して入力させる。ユーザが適切である旨を入力した場合には、インタラクティブユーザインタフェース手段は、次のフレームに対して図２の動画像前景切抜き装置１０１の動作を実行させる。一方、ユーザが不適切である旨を入力した場合には、インタラクティブユーザインタフェース手段は、ユーザに前景指定領域２１８および背景指定領域２１９を入力指定させて切抜き処理手段２０６に入力し切抜き処理を実行させる。

【0032】

図２に示される本実施形態における動画像前景切抜き装置１０１の機能構成では、次のような作用が実現される。

【0033】

まず縮退処理手段２０１による縮退処理で、前フレームで得られた前景領域２０７および背景領域２０８の情報から、確実な前景領域および背景領域と見なせる領域をそれぞれ縮退前景領域２１０および縮退背景領域２１１として抽出できる。そして、不確実な領域は不定領域２０９として抽出することができる。

【0034】

前フレームの情報を加工したこれらの確実な情報に基づいて、差分処理手段２０２が、前フレームと現フレームとで変化がなく現フレームにおいて確実な背景領域であると見なせる領域を、不変背景領域２１４として抽出することができる。

【0035】

これと並行して、前フレームの情報を加工した確実な情報に基づいて、オプティカルフロー処理手段２０３が、オプティカルフロー処理によって、移動後前景領域２１５、移動後背景領域２１６、および移動後不定領域２１７を抽出することができる。

【0036】

そして、合成処理手段２０４が、オプティカルフロー処理手段２０３において生じるであろう各領域の抽出誤差を、差分処理手段２０２で確実な情報として抽出された不変背景領域２１４によって補完することができる。

【0037】

このようにして補完された情報から、前景指定領域２１８、背景指定領域２１９、および不定指定領域２２０が抽出され、これらの指定領域情報に基づいて、切抜き処理手段２０６が、ＧｒａｐｈＣｕｔ処理等に基づく切抜き処理を実行する。オプティカルフロー処理手段２０３で抽出される移動後前景領域２１５は、オプティカルフロー処理の性質上、前フレームで得られている前景領域２０７より小さい領域になることが予想される。しかし、本実施形態では、この移動後前景領域２１５は、現フレームでの前景領域２０７として採用される訳ではなく、切抜き処理手段２０６で実行されるＧｒａｐｈＣｕｔ処理等の確実な領域目安情報である前景指定領域２１８として用いられるだけである。切抜き処理手段２０６は、確実な前景領域と見なせるこの前景指定領域２１８、および背景指定領域２１９を用いてＧｒａｐｈＣｕｔ処理等による切抜き処理を実行する。ＧｒａｐｈＣｕｔ処理等による切抜き処理では、前景指定領域２１８および背景指定領域２１９によって、確実に前景または背景と見なせる領域情報を与えれば、それを種領域としてその周囲の前景領域２０７や背景領域２０８を正確に抽出することができる特性を有する。これにより、前フレームで切り抜かれた前景領域２０７に対して小さくならない現フレームの前景領域２０７を抽出することができる。

【0038】

この場合、前フレームにおいて、前景領域２０７と背景領域２０８の境界領域の部分は、フレーム間での前景または背景の移動によってあいまいになりやすい。このため、この境界領域は、縮退処理手段２０１が不定領域２０９として抽出し、オプティカルフロー処理手段２０３が移動後不定領域２１７として現フレームに伝達し、合成処理手段２０４が不定指定領域２２０として出力する。切抜き処理手段２０６は、切抜きのための例えばエネルギー関数の計算において、前景であるか背景であるかを判定するときの重みを、上述の不定指定領域２２０の情報に基づいてコントロールする。これにより、フレーム間の前景や背景の移動を考慮した前景領域２０７の正確な切抜き処理をほぼ自動的に実行させることが可能となる。

【0039】

なお、不定指定領域２２０によって囲まれる領域の内部に前景指定領域２１８が存在しないような場合には、その領域の内部には前景領域２０７は存在しないと推定される。そこで、不定指定領域孤立点除去処理手段２０５がそのような不定指定領域２２０を背景指定領域２１９に変換して切抜き処理手段２０６に与えることにより、そのような不定指定領域２２０が切抜き処理に悪影響を及ぼすことを防止することが可能となる。

【0040】

インタラクティブユーザインタフェース手段は、切抜き処理手段２０６から出力される現フレームに対する前景領域２０７の切抜き結果をユーザに確認させながら、動画像の各フレームの切抜き処理を進めることができる。本実施形態では、フレームの進行に従って前景や背景が多少動いても、切抜き処理の精度を低下させずにほぼ自動的な前景領域指定および背景領域指定を行える。このため、動画の各キーフレームに対する前景領域及び背景領域のユーザによる再指定作業を、軽減させることが可能となる。

【0041】

図３は、図１のハードウェア構成を有する動画像前景切抜き装置が図２で説明した機能を実行するための制御処理を示すフローチャートである。また、図４は、図３のフローチャートで示される制御処理の動作説明図である。
この制御処理は例えば、図１において、ＣＰＵ１０２がＲＯＭ１０３に記憶された制御プログラムを実行する処理として実現される。
図３のフローチャートで示される制御処理は、動画像の各フレームデータが読み込まれたときの１フレームあたりの処理を示すものである。連続するフレームに対する全体的な制御動作は、図９および図１０の説明で後述する。
以下の説明において、２０１から２２０の参照番号で示される部分は、図２上の同じ参照番号の部分に対応する。

【0042】

図３のステップＳ３０１の縮退処理では、次の処理が実行される。

【0043】

まず、処理対象のフレームである現フレームの１つ前のフレームである前フレームにおいて算出されている前景領域２０７と背景領域２０８を示す二値マスクデータ３０１が、例えば図１のＲＡＭ１０４または外部記憶装置１０５から読み込まれる。
図４の前フレームの二値マスクデータ３０１の例では、例えば白色（値「１」）の領域ラベルが付与されている部分が前景領域２０７、例えば黒色（値「０」）の領域ラベルが付与されている部分が背景領域２０８である。

【0044】

次に、前フレームの二値マスクデータ３０１の前景領域２０７と背景領域２０８に対して次のような縮退処理が実行される。まず、背景領域２０８の領域ラベルが付与されている各処理対象画素について、その処理対象画素から所定半径内、例えば８近傍＋その周囲１画素程度の範囲内に、前景領域２０７の領域ラベルが付与されている画素が存在すれば、その処理対象画素の領域ラベルが不定領域２０９を示す領域ラベルに付け替えられる。逆に、前景領域２０７の領域ラベルが付与されている各処理対象画素について、その処理対象画素から上記所定半径内に、背景領域２０８の領域ラベルが付与されている画素が存在する場合も、その処理対象画素の領域ラベルが不定領域２０９を示す領域ラベルに付け替えられる。

【0045】

この縮退処理の結果、前景領域２０７（例えば値「１」）と背景領域２０８（例えば値「０」）を含む前フレームの二値マスクデータ３０１が、前景領域２０７と背景領域２０８の境界を示す不定領域２０９（例えば値「２」）と、前景領域２０７内で不定領域２０９以外の領域を示す縮退前景領域２１０（例えば値「１」）と、背景領域２０８内で不定領域２０９以外の領域を示す縮退背景領域２１１（例えば値「０」）とを含む縮退三値データ３０２に変換される。
この縮退三値データ３０２は、例えば図１のＲＡＭ１０４に記憶される。
図４の縮退三値データ３０２の例では、例えば灰色（値「２」）の部分が不定領域２０９、例えば白色（値「１」）の部分が縮退前景領域２１０、例えば黒色（値「０」）の部分が縮退背景領域２１１である。
縮退前景領域２１０は、前フレームで抽出された前景領域２０７において確実に前景領域であると見なされる領域である。縮退背景領域２１１は、前フレームで抽出された背景領域２０８において確実に背景領域であると見なされる領域である。

【0046】

以上の図３のステップＳ３０１の縮退処理は、図２の縮退処理手段２０１の機能を実現する。

【0047】

次に説明する差分処理を実行するプロセスＡとオプティカルフロー処理を実行するプロセスＢでは、例えば被写体である前景領域２０７とそれ以外の背景領域２０８の境界部分が、前景と背景の両方の成分を持っている場合があり、この結果処理結果が不安定になり精度が落ちてしまう可能性がある。そこで、このような境界部分では、不定状態のまま処理させることにより、差分処理とオプティカルフロー処理を組み合わせた場合の処理精度を向上させることが可能となる。

【0048】

次に、差分処理を実行するプロセスＡとオプティカルフロー処理を実行するプロセスＢの２種類の処理が実行される。

【0049】

まず、図３のステップＳ３０２のプロセスＡでは、現フレームのデータ２１２と前フレームのデータ２１３が、例えば図１のＲＡＭ１０４または外部記憶装置１０５から読み込まれる。これらのデータに基づき、現フレームと前フレームとで対応する各画素ごとの差分が算出される。
次に、図３のステップＳ３０１で算出され例えば図１のＲＡＭ１０４に記憶されている縮退三値データ３０２が読み込まれる。そして、縮退三値データ３０２中の縮退背景領域２１１のうち、上述の差分がない画素から構成される領域が、不変背景領域２１４として算出される。
この不変背景領域２１４は、例えば図１のＲＡＭ１０４に記憶される。

【0050】

図４の不変背景領域２１４の例では、黒色の部分が不変背景領域２１４であり、灰色の部分は差分が存在する領域である。

【0051】

以上の図３のステップＳ３０２のプロセスＡは、図２の差分処理手段２０２の機能を実現する。なお、このプロセスＡの詳細処理は、図５および図６を用いて後述する。

【0052】

一方、図３のステップＳ３０３のプロセスＢでは、まず、現フレームのデータ２１２と前フレームのデータ２１３が、例えば図１のＲＡＭ１０４または外部記憶装置１０５から読み込まれる。次に、これらのデータに基づき、前フレームの各画素の現フレームへの移動情報を示す各速度場データが算出され、例えば図１のＲＡＭ１０４に記憶される。
次に、図３のステップＳ３０１で算出され例えば図１のＲＡＭ１０４に記憶されている縮退三値データ３０２が読み込まれる。また、上述のように例えば図１のＲＡＭ１０４に記憶されている各速度場データが読み込まれる。そして、各速度場データに基づき、縮退三値データ３０２中の縮退前景領域２１０および縮退背景領域２１１を、それぞれ現フレームに移動させて得られる移動後前景領域２１５および移動後背景領域２１６と、それら以外の移動後不定領域２１７とを含む移動後三値データ３０３が算出される。
この移動後三値データ３０３は、例えば図１のＲＡＭ１０４に記憶される。

【0053】

図４の移動後三値データ３０３の例では、白色（値「１」）の部分が移動後前景領域２１５、黒色（値「０」）の部分が移動後背景領域２１６、灰色（値「２」）の部分が移動後不定領域２１７である。

【0054】

以上の図３のステップＳ３０３のプロセスＢは、図２のオプティカルフロー処理手段２０３の機能を実現する。なお、プロセスＢの詳細処理は、図７および図８を用いて後述する。

【0055】

次に、図３のステップＳ３０４の合成処理では、ステップＳ３０２のプロセスＡで得られ例えば図１のＲＡＭ１０４に記憶されている不変背景領域２１４と、ステップＳ３０３のプロセスＢで得られる例えば同じくＲＡＭ１０４に記憶されている移動後三値データ３０３が読み込まれる。そして、不変背景領域２１４と、移動後三値データ３０３中の移動後前景領域２１５、移動後背景領域２１６、および移動後不定領域２１７とが、不変背景領域２１４が優先されるように合成される。
すなわち、不変背景領域２１４または移動後背景領域２１６からなる領域が、背景指定領域２１９として抽出される。不変背景領域２１４と重ならない移動後前景領域２１５のみの領域が、前景指定領域２１８として抽出される。そして、不変背景領域２１４と重ならない移動後不定領域２１７のみの領域が、不定指定領域２２０として抽出される。
これらの前景指定領域２１８、背景指定領域２１９、および不定指定領域２２０は、例えば図１のＲＡＭ１０４に記憶される。

【0056】

図４の前景指定領域２１８、背景指定領域２１９、および不定指定領域２２０の例では、白色（値「１」）の部分が前景指定領域２１８、黒色（値「０」）の部分が背景指定領域２１９、灰色（値「２」）の部分が不定指定領域２２０である。

【0057】

以上の図３のステップＳ３０４の合成処理は、図２の合成処理手段２０４の機能を実現する。

【0058】

続いて、図３のステップＳ３０５の不定指定領域孤立点除去処理では、ステップＳ３０４の合成処理で得られ例えば図１のＲＡＭ１０４に記憶されている前景指定領域２１８、背景指定領域２１９、および不定指定領域２２０が読み込まれる。そして、前景指定領域２１８、背景指定領域２１９、および不定指定領域２２０において、前景指定領域２１８を囲んでいない不定指定領域２２０が、背景指定領域２１９に変換される。
不定指定領域孤立点除去処理後の図４の前景指定領域２１８、背景指定領域２１９、および不定指定領域２２０は、例えば図１のＲＡＭ１０４に再び記憶される。
不定指定領域孤立点除去処理後の図４の前景指定領域２１８、背景指定領域２１９、および不定指定領域２２０の例では、フレーム画像内右上にあった例えば雲を示す不定指定領域２２０が、前景指定領域２１８に関与していないとして除去されている。

【0059】

以上の図３のステップＳ３０５の不定指定領域孤立点除去処理は、図２の不定指定領域孤立点除去処理手段２０５の機能を実現する。

【0060】

最後に、図３のステップＳ３０６の切抜き処理では、ステップＳ３０５の不定指定領域孤立点除去処理の結果最終的に得られ例えばＲＡＭ１０４に記憶されている前景指定領域２１８、背景指定領域２１９、および不定指定領域２２０が読み込まれる。また、例えば図１のＲＡＭ１０４または外部記憶装置１０５から現フレームのデータ２１２が読み込まれる。そして、これらの情報に基づいて、現フレームの画像内で前景領域２０７を切り抜いて背景領域２０８と分割する切抜き処理が実行される。

【0061】

より具体的には、前景指定領域２１８、背景指定領域２１９、および不定指定領域２２０を入力として、現フレームの画像内の各画素に付与する前景領域２０７または背景領域２０８を示す領域ラベル値を更新しながら、その領域ラベル値とその各画素の画素値とに基づいて、Ｇｒａｐｈ Ｃｕｔｓ法により、前景らしさまたは背景らしさと隣接画素間の画素値の変化を評価するエネルギー関数の最小化処理が実行される。この結果、現フレームの画像内で、前景指定領域２１８、背景指定領域２１９、および不定指定領域２２０をそれぞれ種領域として、前景領域２０７が適切に切り抜かれる。

【0062】

このようにして算出された現フレームに対応する前景領域２０７および背景領域２０８は、現フレームの画像中で、前景領域２０７に属する画素には前景領域２０７の領域ラベル（例えば値「１」）が付与され、背景領域２０８に属する画素には背景領域２０８の領域ラベル（例えば値「０」）が付与された二値マスクデータ３０１として、例えば図１のＲＡＭ１０４または外部記憶装置１０５に記憶される。

【0063】

以上の図３のステップＳ３０６の切抜き処理は、図２の切抜き処理手段２０６の機能を実現する。

【0064】

図５は、図３のステップＳ３０２のプロセスＡの詳細処理を示すフローチャートである。また、図６は、図５のフローチャートで示されるプロセスＡの詳細処理の動作説明図である。

【0065】

まず、図５のステップＳ５０１の差分調査処理では、次の処理が実行される。例えば図１のＲＡＭ１０４または外部記憶装置１０５から、現フレームのデータ２１２と前フレームのデータ２１３が読み込まれる。これらのデータに基づき、現フレームと前フレームとで対応する各画素ごとの差分が計算される。そして、差分がない領域が、不変領域５０１として抽出される。
この場合に、図２の差分処理手段２０２の説明において前述したように、現フレームと前フレームとで対応する各画素ごとに、その画素とその画素の所定の近傍領域の各画素の各差分の和が所定の差分閾値と比較して大きい場合にその画素について差分があると判定するように処理されてもよい。
この不変領域５０１は、例えば図１のＲＡＭ１０４に記憶される。
図６において、現フレームのデータ２１２と前フレームのデータ２１３とから不変領域５０１が抽出される例では、黒色の部分が差分がない不変領域５０１として抽出される。

【0066】

次に、図５のステップＳ５０２の共通部分検出処理では、次の処理が実行される。図３のステップＳ３０１で抽出され例えば図１のＲＡＭ１０４に記憶されている縮退三値データ３０２（図６参照）が読み込まれる。また、図５のステップＳ５０１で算出され例えば図１のＲＡＭ１０４に記憶されている不変領域５０１（図６参照）が読み込まれる。そして、縮退三値データ３０２中の縮退背景領域２１１（図６参照）と不変領域５０１の共通部分が、不変背景領域２１４′として検出される。
この不変背景領域２１４′は、例えば図１のＲＡＭ１０４に記憶される。

【0067】

次に、図５のステップＳ５０３の背景領域孤立点除去処理では、次の処理が実行される。図５のステップＳ５０２で得られ例えばＲＡＭ１０４に記憶されている不変背景領域２１４′が読み込まれる。また、図３のステップＳ３０１の縮退処理において算出され例えばＲＡＭ１０４に記憶される不定領域２０９が読み込まれる。として、不変背景領域２１４′が不定領域２０９に囲まれて孤立して存在する場合には、その不変背景領域２１４′は不定領域２０９に置き換えられる。この結果、置き換えが行われなかった不変背景領域２１４′が不変背景領域２１４として出力され、例えば図１のＲＡＭ１０４に記憶される。
図６の不変背景領域２１４の例では、黒色の部分がフレーム間の移動によって変化がない不変の背景領域として抽出されている。

【0068】

図７は、図３のステップＳ３０３のプロセスＢの詳細処理を示すフローチャートである。また、図８は、図７のフローチャートで示されるプロセスＢの詳細処理の動作説明図である。

【0069】

まず、図７のステップＳ７０１のオプティカルフロー処理では、次の処理が実行される。例えば図１のＲＡＭ１０４または外部記憶装置１０５から、現フレームのデータ２１２と前フレームのデータ２１３が読み込まれる。これらのデータに基づき、前フレームの各画素の現フレームへの移動情報を示す例えば図８に示される各速度場データ７０１が算出され、例えば図１のＲＡＭ１０４に記憶される。

【0070】

次に、図７のステップＳ７０２の画素移動処理では、次の処理が実行される。図３のステップＳ３０１で算出され例えば図１のＲＡＭ１０４に記憶されている縮退三値データ３０２が読み込まれる。また、図７のステップＳ７０１で算出され例えば図１のＲＡＭ１０４に記憶されている各速度場データ７０１が読み込まれる。そして、各速度場データ７０１に基づき、縮退三値データ３０２中の縮退前景領域２１０および縮退背景領域２１１ごとに、各領域を構成する各画素が、その画素に対応する速度場データ７０１に基づいて移動させられる。この結果、移動後の各画素に付与されている二値の領域ラベルに基づいて、移動後前景領域２１５′および移動後背景領域２１６′が得られる。また、移動後前景領域２１５′および移動後背景領域２１６′以外の領域が移動後不定領域２１７′とされる。この結果、移動後前景領域２１５′、移動後背景領域２１６′、および移動後不定領域２１７′を含む移動後三値データ３０３′が算出される。
この移動後三値データ３０３′は、例えば図１のＲＡＭ１０４に記憶される。

【0071】

次に、図７のステップＳ７０３の移動先チェック処理では、次の処理が実行される。上記移動後前景領域２１５′および移動後背景領域２１６′のうち、移動前の領域と移動後の領域とで、各領域内の各画素（またはその近傍領域を含む領域）が示す色の差が所定の閾値と比較して大きい場合は、移動後の領域が移動後不定領域に置き換えられる。
ステップＳ７０３の移動先チェック処理により最終的に得られる移動後三値データが、移動後前景領域２１５、移動後背景領域２１６、および移動後不定領域２１７を含む移動後三値データ３０３として出力される。
この移動後三値データ３０３は、例えば図１のＲＡＭ１０４に記憶される。

【0072】

図８の移動後三値データ３０３の例では、白色（値「１」）の部分が移動後前景領域２１５、黒色（値「０」）の部分が移動後背景領域２１６、灰色（値「２」）の部分が移動後不定領域２１７である。例えば、縮退前景領域２１０と不定領域２０９の右部分の縮退背景領域２１１が速度場データ７０１の右向きのベクトルによって移動後前景領域２１５および移動後背景領域２１６に移動する。この一方、不定領域２０９の左部分の縮退背景領域２１１は、速度場データのベクトルが０で移動しない。これらの結果、元の不定領域２０９の部分は移動後前景領域２１５および移動後背景領域２１６のどちらの領域からも侵食されないため残っているような例になっている。

【0073】

図９は、動画像を構成する連続するフレームに対する全体的な制御処理を示すフローチャートである。この制御処理は例えば、図１において、ＣＰＵ１０２がＲＯＭ１０３に記憶された動画切抜きアプリケーションの制御プログラムを実行する処理として実現される。

【0074】

まず、図９のステップＳ９０１で、ユーザが、図１の撮像装置１１２によって撮像しＲＡＭ１０４等に記憶された動画像データ、外部記憶装置１０５や可搬記録媒体１１０に記憶してある動画像データ、あるいはインターネット等から通信インタフェース１０６を介してＲＡＭ１０４や外部記憶装置１０５等に取得した動画像データの読込みを指示する。

【0075】

これを受けて、図９のステップＳ９０２で、動画切抜きアプリケーションが、上記該当する記憶装置に記憶された動画データを例えば図１のＲＡＭ１０４上に取得する。

【0076】

次に、図９のステップＳ９０３で、動画切抜きアプリケーションが、例えば図１の表示装置１０８上の液晶等の表示デバイスに、先頭のフレーム（キーフレーム）を表示する。

【0077】

続いて、動画切抜きアプリケーションが、図９のステップＳ９０４のループ処理によって、各キーフレームを例えば図１のＲＡＭ１０４から順次読み込みながら、ステップＳ９０５からＳ９１７までの一連の処理を実行する。

【0078】

まず、図９のステップＳ９０４のループ処理によって決定される処理対象である現フレームにおいて、図９のステップＳ９０５で、ユーザが、切抜き結果が適切（ＯＫ）か否か（ＮＧ）かを判定する。

【0079】

最初は、前回の切抜きは行われていないため、切抜き結果はＮＧとされる。

【0080】

切抜き結果がＮＧの場合、図９のステップＳ９０６からＳ９０９の一連の処理が実行される。

【0081】

図９のステップＳ９０６で、ユーザが、表示デバイスに表示されている現フレームの画像上で、前景または背景の領域を指定する。指定方式としては、例えば図１１（ｂ）に示されるような方式を採用してよい。

【0082】

次に、図９のステップＳ９０７で、切抜き処理が実行される。この切抜き処理は、前述した図２の切抜き処理手段２０６の機能に対応する図３のステップＳ３０６の切抜き処理と同等の処理である。この場合、ユーザが指定した前景または背景の領域が、前景指定領域２１８または背景指定領域２１９として、切抜き処理に入力される。

【0083】

図９のステップＳ９０８で、ステップＳ９０７により得られる切抜き結果と現フレームの二値マスクデータ３０１が、例えば図１のＲＡＭ１０４に保存される。

【0084】

また、図９のステップＳ９０９で、表示デバイスに上記切抜き結果が表示され、ユーザがそれを確認する。

【0085】

これに対して、図９のステップＳ９０５で、ユーザが、切抜き結果が適切（ＯＫ）か否か（ＮＧ）かを判定する。

【0086】

ユーザが切抜き結果としてＮＧを応答すれば、再び上述のステップＳ９０６からＳ９０９の処理が繰り返される。

【0087】

ユーザが切抜き結果としてＯＫを応答した場合、図９のステップＳ９１０からＳ９１７の一連の処理が実行される。

【0088】

まず、図９のステップＳ９１０で、ユーザが切抜き結果がＯＫであることを応答することにより、動画切抜きアプリケーションは、処理対象である現フレームを１つ進める。

【0089】

次に、図９のステップＳ９１１で、動画切抜きアプリケーションが、例えば図１のＲＡＭ１０４に記憶されている現フレームのデータ２１２を取得する。

【0090】

同様に、図９のステップＳ９１２で、動画切抜きアプリケーションが、例えば図１のＲＡＭ１０４に記憶されている前フレームのデータ２１３を取得する。

【0091】

さらに、図９のステップＳ９１３で、動画切抜きアプリケーションが、例えば図１のＲＡＭ１０４に記憶されている前フレームの二値マスクデータ３０１を取得する。

【0092】

続いて、図９のステップＳ９１４で、動画切抜きアプリケーションが、前述した図２の縮退処理手段２０１、差分処理手段２０２、オプティカルフロー処理手段２０３、合成処理手段２０４、不定指定領域孤立点除去処理手段２０５の機能に対応する図３のステップＳ３０１からＳ３０５の一連の処理を実行する。この結果、動画切抜きアプリケーションが、前景指定領域２１８、背景指定領域２１９、および不定指定領域２２０を生成する。

【0093】

そして、図９のステップＳ９１５で、上述の前景指定領域２１８、背景指定領域２１９、および不定指定領域２２０を入力として、図２の切抜き処理手段２０６の機能に対応する図３のステップＳ３０６の切抜き処理を実行する。

【0094】

図９のステップＳ９１６で、ステップＳ９１５により得られる切抜き結果と現フレームの二値マスクデータ３０１が、例えば図１のＲＡＭ１０４に保存される。

【0095】

また、図９のステップＳ９１７で、表示デバイスに上記切抜き結果が表示され、ユーザがそれを確認する。

【0096】

これに対して、図９のステップＳ９０５で、ユーザが、切抜き結果が適切（ＯＫ）か否か（ＮＧ）かを判定する。

【0097】

ユーザが切抜き結果としてＮＧを応答すれば、前述したステップＳ９０６からＳ９０９の処理が再度実行される。

【0098】

ユーザが切抜き結果としてＯＫを応答した場合、図９のステップＳ９１０からＳ９１７の一連の処理が実行され、自動的に次のフレームの切抜き処理が実行される。

【0099】

図１０は、図９のフローチャートで示される制御処理の動作説明図である。

【0100】

図１０の１００１に示されるように、処理の開始時のみ、ユーザが手動で、前景と背景の領域を指定する。

【0101】

その後、動画切抜きアプリケーションが、１００１でのユーザ指定に基づいて、動画第１フレーム１００１（＃１）を読み込んで、切抜き処理１００３（＃１）を実行する。動画第１フレームの切抜き結果１００４（＃１）がユーザに表示される。

【0102】

ユーザが切抜き結果に対してＮＧを応答すれば、ユーザが前景と背景の領域を再度手動で指定して、動画第１フレーム１００１（＃１）に対する切抜き処理１００３（＃１）が再度実行される。

【0103】

ユーザが切抜き結果に対してＯＫを応答すれば、動画切抜きアプリケーションが、切抜き処理１００３（＃２）において、次の動画第２フレーム１００２（＃２）を現フレームのデータ２１２（図２参照）として読み込む。そして、前フレームである動画第１フレーム１００２（＃１）の切抜き結果１００４（＃１）である前フレームの二値マスクデータ３０１に基づいて、動画第２フレーム１００２（＃２）に対応する前景指定領域２１８、背景指定領域２１９、不定指定領域２２０（図２参照）が自動的に生成され、これらを入力として動画第２フレーム１００２（＃２）に対する切抜き処理１００３（＃２）が実行される。

【0104】

動画第３フレーム１００２（＃３）、動画第４フレーム１００２（＃４）等も同様である。

【0105】

本実施形態では、各動画フレームに対する切抜き処理１００３が実行されるときに、その前フレームの前景領域２０７の切抜き結果を含む二値マスクデータ３０１に基づいて、差分処理とオプティカルフロー処理を組み合わせた処理が実行される。これにより、現フレームの切抜き処理１００３のための前景指定領域２１８、背景指定領域２１９、および不定指定領域２２０を、高精度に算出することが可能となる。フレームの進行に従って前景や背景が多少動いても、切抜き処理の精度を低下させずにほぼ自動的な前景領域指定および背景領域指定を行える。このため、切抜き結果１００４に対してユーザがＮＧを応答する割合を減らすことができ、動画の各フレームに対する前景領域及び背景領域のユーザによる再指定作業を軽減させることが可能となる。

【0106】

以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
動画像を構成する各フレームの画像内で前景領域を切り抜いて背景領域と分割する装置であって、
現フレームの１つ前の前フレームで算出された前景領域と背景領域の境界を示す不定領域と、前記前景領域内で前記不定領域以外の領域を示す縮退前景領域と、前記背景領域内で前記不定領域以外の領域を示す縮退背景領域を算出する縮退処理手段と、
前記現フレームと前記前フレームとで対応する各画素ごとの差分を算出し、前記縮退背景領域のうち前記差分がない画素から構成される領域を不変背景領域として算出する差分処理手段と、
前記前フレームの各画素の前記現フレームへの移動情報を示す各速度場データを算出し、該各速度場データに基づき前記縮退前景領域および前記縮退背景領域を移動させた各領域を移動後前景領域および移動後背景領域として算出し、該移動後前景領域および該移動後背景領域以外の領域を移動後不定領域として算出するオプティカルフロー処理手段と、
前記不変背景領域または前記移動後背景領域からなる領域、前記移動後前景領域のみの領域、および前記移動後不定領域のみの領域をそれぞれ、背景指定領域、前景指定領域、および不定指定領域として抽出する合成処理手段と、
前記前景指定領域、前記背景指定領域、および前記不定指定領域を入力し、前記現フレームの画像内で前記前景領域を切り抜いて前記背景領域から分割する切抜き処理手段と、
を備えることを特徴とする動画像前景切抜き装置。
（付記２）
前記オプティカルフロー処理手段は、移動前の領域と移動後の領域とで、該各領域内の各画素が示す色の差が所定の閾値と比較して大きい場合は、移動後の領域を前記移動後不定領域とする、
ことを特徴とする付記１に記載の動画像前景切抜き装置。
（付記３）
前記オプティカルフロー処理手段は、移動前の領域と移動後の領域とで、該各領域内の各画素ごとに、該画素と該画素の所定の近傍領域の各画素についての各色の差の和が所定の閾値と比較して大きい場合は、移動後の領域を前記移動後不定領域とする、
ことを特徴とする付記２に記載の動画像前景切抜き装置。
（付記４）
前記差分処理手段は、前記現フレームと前記前フレームとで対応する各画素ごとに、該画素と該画素の所定の近傍領域の各画素の各差分の和が所定の差分閾値と比較して大きい場合に該画素について差分があると判定する、
ことを特徴とする付記１ないし３のいずれかに記載の動画像前景切抜き装置。
（付記５）
前記前景指定領域を囲んでいない前記不定指定領域を前記背景指定領域に変換して前記切抜き処理手段に入力する不定指定領域孤立点除去処理手段をさらに備える、
ことを特徴とする付記１ないし４のいずれかに記載の動画像前景切抜き装置。
（付記６）
前記切抜き処理手段は、前記前景指定領域、前記背景指定領域、および前記不定指定領域を入力として、前記現フレームの画像内の各画素に付与する前記前景領域または前記背景領域を示す領域ラベル値を更新しながら、該領域ラベル値と該各画素の画素値とに基づいて、Ｇｒａｐｈ Ｃｕｔｓ法により、前記前景らしさまたは前記背景らしさと隣接画素間の前記画素値の変化を評価するエネルギー関数の最小化処理により、前記現フレームの画像内で前記前景領域を切り抜いて前記背景領域から分割する、
ことを特徴とする付記１ないし５のいずれかに記載の動画像前景切抜き装置。
（付記７）
前記切抜き処理手段によって切り抜かれた現フレームの前記前景領域をユーザに表示して確認させ、ユーザに該前景領域が適切であるか否かを入力させ、ユーザが適切である旨を入力した場合には、次のフレームに対して前記動画像前景切抜き装置の動作を実行させ、ユーザが不適切である旨を入力した場合には、ユーザに前記前景指定領域および前記背景指定領域を入力指定させて前記切抜き処理手段に入力し前記前景領域を切り抜いて前記背景領域から分割する処理を実行させるインタラクティブユーザインタフェース手段をさらに備える、
ことを特徴とする付記１ないし６のいずれかに記載の動画像前景切抜き装置。
（付記８）
動画像を構成する各フレームの画像内で前景領域を切り抜いて背景領域と分割する方法であって、
現フレームの１つ前の前フレームで算出された前景領域と背景領域の境界を示す不定領域と、前記前景領域内で前記不定領域以外の領域を示す縮退前景領域と、前記背景領域内で前記不定領域以外の領域を示す縮退背景領域を算出し、
前記現フレームと前記前フレームとで対応する各画素ごとの差分を算出し、前記縮退背景領域のうち前記差分がない画素から構成される領域を不変背景領域として算出し、
前記前フレームの各画素の前記現フレームへの移動情報を示す各速度場データを算出し、該各速度場データに基づき前記縮退前景領域および前記縮退背景領域を移動させた各領域を移動後前景領域および移動後背景領域として算出し、該移動後前景領域および該移動後背景領域以外の領域を移動後不定領域として算出し、
前記不変背景領域または前記移動後背景領域からなる領域、前記移動後前景領域のみの領域、および前記移動後不定領域のみの領域をそれぞれ、背景指定領域、前景指定領域、および不定指定領域として抽出し、
前記前景指定領域、前記背景指定領域、および前記不定指定領域を入力して、前記現フレームの画像内で前記前景領域を切り抜いて前記背景領域から分割する、
ことを備えることを特徴とする動画像前景切抜き方法。
（付記９）
動画像を構成する各フレームの画像内で前景領域を切り抜いて背景領域と分割するコンピュータに、
現フレームの１つ前の前フレームで算出された前景領域と背景領域の境界を示す不定領域と、前記前景領域内で前記不定領域以外の領域を示す縮退前景領域と、前記背景領域内で前記不定領域以外の領域を示す縮退背景領域を算出する縮退処理と、
前記現フレームと前記前フレームとで対応する各画素ごとの差分を算出し、前記縮退背景領域のうち前記差分がない画素から構成される領域を不変背景領域として算出する差分処理と、
前記前フレームの各画素の前記現フレームへの移動情報を示す各速度場データを算出し、該各速度場データに基づき前記縮退前景領域および前記縮退背景領域を移動させた各領域を移動後前景領域および移動後背景領域として算出し、該移動後前景領域および該移動後背景領域以外の領域を移動後不定領域として算出するオプティカルフロー処理と、
前記不変背景領域または前記移動後背景領域からなる領域、前記移動後前景領域のみの領域、および前記移動後不定領域のみの領域をそれぞれ、背景指定領域、前景指定領域、および不定指定領域として抽出する合成処理と、
前記前景指定領域、前記背景指定領域、および前記不定指定領域を入力して、前記現フレームの画像内で前記前景領域を切り抜いて前記背景領域から分割する切抜き処理と、
を実行させるためのプログラム。

【符号の説明】

【0107】

１０１ 動画像前景切抜き装置
１０２ ＣＰＵ
１０３ ＲＯＭ
１０４ ＲＡＭ
１０５ 外部記憶装置
１０６ 通信インタフェース
１０７ 入力装置
１０８ 表示装置
１０９ 可搬記録媒体駆動装置
１１０ 可搬記録媒体
１１１ バス
１１２ 撮像装置
２０１ 縮退処理手段
２０２ 差分処理手段
２０３ オプティカルフロー処理手段
２０４ 合成処理手段
２０５ 不定指定領域孤立点除去処理手段
２０６ 切抜き処理手段
２０７ 前景領域
２０８ 背景領域
２０９ 不定領域
２１０ 縮退前景領域
２１１ 縮退背景領域
２１２ 現フレームのデータ
２１３ 前フレームのデータ
２１４、２１４′ 不変背景領域
２１５、２１５′ 移動後前景領域
２１６、２１６′ 移動後背景領域
２１７、２１７′ 移動後不定領域
２１８ 前景指定領域
２１９ 背景指定領域
２２０ 不定指定領域
３０１ 二値マスクデータ
３０２ 縮退三値データ
３０３、３０３′ 移動後三値データ
Ｓ３０１ 縮退処理
Ｓ３０２ プロセスＡ
Ｓ３０３ プロセスＢ
Ｓ３０４ 合成処理
Ｓ３０５ 不定指定領域孤立点除去処理
Ｓ３０６ 切抜き処理
５０１ 不変領域
Ｓ５０１ 差分調査処理
Ｓ５０２ 共通部分検出処理
Ｓ５０３ 背景領域孤立点除去処理
７０１ 速度場データ
Ｓ７０１ オプティカルフロー処理
Ｓ７０２ 画素移動処理
Ｓ７０３ 移動先チェック処理

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】