特許 7542978 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-23

(45)【発行日】2024-09-02

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   G06T 7/11 20170101AFI20240826BHJP

【ＦＩ】

G06T7/11

【請求項の数】 10

(21)【出願番号】P 2020065788

(22)【出願日】2020-04-01

(65)【公開番号】P2021163303

(43)【公開日】2021-10-11

【審査請求日】2023-03-29

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】伊藤 裕尚

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開平０２－０７１３８０（ＪＰ，Ａ）

【文献】特開２０１１－２５８２１４（ＪＰ，Ａ）

【文献】特開２０１９－０９１１２１（ＪＰ，Ａ）

【文献】特開２０１１－２１１６２８（ＪＰ，Ａ）

【文献】国際公開第２０１８／１６８５５２（ＷＯ，Ａ１）

【文献】野田 友輝、成瀬 正，“背景差分を用いた照明変化にロバストな侵入物体検出法”，情報処理学会研究報告，日本，社団法人情報処理学会，2008年03月10日，Vol.2008, No.27，pp.513-518

【文献】Aleksej Makarov，"Comparison of background extraction based intrusion detection algorithms"，Proceedings of 3rd IEEE International Conference on Image Processing，米国，IEEE，1996年09月20日，pp.521-524

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００，７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

(57)【特許請求の範囲】

【請求項1】

処理画像と前記処理画像に対応する背景画像とを比較して前記処理画像から前記処理画像に含まれるオブジェクトに対応する前景を抽出する抽出手段と、
ユーザ設定画面を介して、ユーザから、前記抽出手段により用いる前記背景画像の更新を行う設定を受け付ける受付手段と、
前記受付手段が前記設定を受け付けた後、前記設定に基づいて、前記背景画像の更新を開始する更新手段と、
を有し、
前記更新手段は、複数の処理画像それぞれと前記背景画像との比較結果に基づいて前記複数の処理画像すべてにおいて前記背景画像との差分が閾値以下である前記背景画像の画素であって前記背景画像において更新する画素を特定し、特定された画素の画素値を更新する
ことを特徴とする画像処理装置。

【請求項2】

前記受付手段が、前記背景画像の更新が不可である設定を受け付けた場合、前記更新手段は、前記背景画像の更新を行わない
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記設定は、前記背景画像を更新するタイミングの設定を含み、
前記更新手段は、前記タイミングに基づいて前記背景画像を更新する、ことを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記背景画像の更新の可否を判定する判定手段を有する、ことを特徴とする請求項１から３の何れか１項に記載の画像処理装置。

【請求項5】

前記判定手段は、
前記処理画像に対する前記前景の割合が所定の閾値より大きい場合、前記背景画像の更新が不可であると判定し、
前記処理画像に対する前記前景の割合が前記所定の閾値より小さい場合、前記背景画像の更新が可能であると判定する
ことを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記判定手段は、
前記処理画像において前記背景画像と判定される画素の比率が所定の比率より低い場合、前記背景画像の更新が不可であると判定し、
前記処理画像において前記背景画像と判定される画素の比率が前記所定の比率より高い場合、前記背景画像の更新が可能であると判定する
ことを特徴とする請求項４に記載の画像処理装置。

【請求項7】

前記判定手段は、
前記処理画像に対する前記前景の割合が所定の閾値より大きい場合、または、前記処理画像において前記背景画像と判定される画素の比率が所定の比率より低い場合、前記背景画像の更新が不可であると判定し、
前記処理画像に対する前記前景の割合が所定の閾値より小さい場合、かつ、前記処理画像において前記背景画像と判定される画素の比率が所定の比率より高い場合、前記背景画像の更新が可能であると判定する
ことを特徴とする請求項４に記載の画像処理装置。

【請求項8】

前記判定手段は、前記オブジェクトが停止している状態、または前記抽出手段によって前記オブジェクトを前景として抽出できない状態である場合、前記背景画像の更新が不可であると判定する、ことを特徴とする請求項４に記載の画像処理装置。

【請求項9】

コンピュータを請求項１から８の何れか一項に記載の画像処理装置として機能させるためのプログラム。

【請求項10】

画像処理装置が行う画像処理方法であって、
処理画像と前記処理画像に対応する背景画像とを比較して前記処理画像から前記処理画像に含まれるオブジェクトに対応する前景を抽出する抽出工程と、
ユーザ設定画面を介して、ユーザから、前記抽出工程にて用いる前記背景画像の更新を行う設定を受け付ける受付工程と、
前記受付工程にて前記設定を受け付けた後、前記設定に基づいて、前記背景画像の更新を開始する更新工程と、
を含み、
前記更新工程にて、複数の処理画像それぞれと前記背景画像との比較結果に基づいて前記複数の処理画像すべてにおいて前記背景画像との差分が閾値以下である前記背景画像の画素であって前記背景画像において更新する画素を特定し、特定された画素の画素値を更新することを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、処理画像から前景を抽出する技術に関する。

【背景技術】

【0002】

撮像装置で撮像して得た撮像画像（処理画像）を解析し、処理画像から前景を抽出する画像処理装置は様々ある。画像処理装置では、検出手段や撮像シーンの状況によっては、前景ではないものを検出する前景の誤検出や、前景があるにも関わらず検出できない前景の未検出を生じてしまうことがある。特許文献１は、画像に映る物体の変化を検出することによって、不動領域を抽出し、カメラの前に置かれた不動物体の誤検出を防ぐ方法を開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１８／０５６３５５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１では、例えば、人物や物体の動きが短時間でも止まっている場面では、人物や物体を前景として検出することが難しい。背景差分法では、一定時間動かない領域を背景領域として判定し、背景領域に対応する画像を、処理画像から前景を抽出する際に用いる背景画像として更新する。人物が一定時間停止したり、前景として抽出できない程度に動いたりする、オブジェクトの状態では、未検出や誤検出が起こり、処理画像から人物に対応する領域を前景として適切に抽出することができないという課題がある。

【0005】

本開示の技術は、画像から前景を適切に抽出する技術を提供する。

【課題を解決するための手段】

【0006】

本開示の技術の一態様に係る画像処理装置は、処理画像と前記処理画像に対応する背景画像とを比較して前記処理画像から前記処理画像に含まれるオブジェクトに対応する前景を抽出する抽出手段と、ユーザ設定画面を介して、ユーザから、前記抽出手段により用いる前記背景画像の更新を行う設定を受け付ける受付手段と、前記受付手段が前記設定を受け付けた後、前記設定に基づいて、前記背景画像の更新を開始する更新手段と、を有し、前記更新手段は、複数の処理画像それぞれと前記背景画像との比較結果に基づいて前記複数の処理画像すべてにおいて前記背景画像との差分が閾値以下である前記背景画像の画素であって前記背景画像において更新する画素を特定し、特定された画素の画素値を更新することを特徴とする。

【発明の効果】

【0007】

本開示の技術によれば、画像から前景を適切に抽出することができる。

【図面の簡単な説明】

【0008】

【図1】画像処理装置の機能構成例を示す図である。

【図2】背景生成部の内部構成を示す図である。

【図3】画像処理の流れを示すフローチャートである。

【図4】ＵＩ画面の例を示す図である。

【図5】画像処理装置の機能構成例を示す図である。

【図6】画像処理の流れを示すフローチャートである。

【図7】画像処理装置のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0009】

以下、本開示の実施形態について、図面を参照して説明する。なお、以下の実施形態は本開示を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせのすべてが本開示の解決手段に必須のものとは限らない。

【0010】

＜実施形態１＞
図１～図４を用いて、本実施形態に係る画像処理装置について説明する。本実施形態では、入力画像（処理画像）と背景画像（背景ともいう）を比較して入力画像から前景を抽出する形態であって、ユーザ操作で、背景画像の更新の実行の可否と、背景画像の更新タイミングとの設定を行える形態について説明する。

【0011】

（画像処理装置のソフトウェア構成）
図１は、本実施形態の画像処理装置の機能構成例を示す図である。本実施形態の画像処理装置１０は、入力画像から前景と背景画像を分離して生成する装置として機能することができる。画像処理装置１０は、画像受信部１００、前景抽出部１０１、背景生成部１０２、背景更新部１０３、設定受信部１０４を有する。

【0012】

画像受信部１００は、撮像装置で撮像された画像（入力画像）を受信する（取得する）。なお、画像受信部１００は、撮像装置から入力画像を直接取得してもよいし、画像処理装置や画像処理装置に接続する外部装置から装置に保存された入力画像を取得してもよい。画像受信部１００で受信した入力画像は、前景抽出部１０１と背景生成部１０２に出力される。

【0013】

前景抽出部１０１は、入力画像に基づいて生成された背景画像と、入力画像とを比較し、比較結果を基に、入力画像から前景を抽出する。背景画像は、背景生成部１０２にて生成された画像であって、背景更新部１０３を介して入力された画像である。入力画像は、画像受信部１００から入力された画像である。背景画像と入力画像との比較方法は様々ある。例えば、背景画像と入力画像とにおいて、ＲＧＢ値のそれぞれの値が閾値（前景抽出の閾値）以上に異なる画素を入力画像から前景として抽出してもよい。そのほか、画像比較の手法であれば、どのような手法を用いてもよい。

【0014】

背景生成部１０２は、複数フレームの入力画像に基づいて静止している画素を背景と判定することにより、静止している画素で構成される画像を背景画像として生成する。複数フレームは、同一画素の画素値を比較できればよく、例えば２以上であればよい。静止している画素は、例えば、複数フレームの入力画像において同一の画素の画素値が同一でもよいし閾値（背景生成の閾値）以内でもよい。なお、背景生成の閾値は、前景抽出の閾値より小さい。

【0015】

背景更新部１０３は、設定受信部１０４による設定に応じて、前景抽出部１０１の前景抽出処理に使用する背景画像を、背景生成部１０２で生成された背景画像に更新するかどうかを制御する。設定受信部１０４による設定は、ユーザ操作によって受け付けられる。本実施形態においては、背景更新部１０３は、背景画像の更新を有効（実行可能）にしたり無効（実行不可）にしたりする制御を行う機能と、背景画像の更新タイミングの制御を行う機能とを有する。背景更新部１０３は、後述するＵＩ画面４００の背景画像の更新制御ボタン４０５が有効に設定されるとき、背景画像の更新が実行可能であるとして、背景生成部１０２で生成し、背景生成部１０２から入力された背景画像を前景抽出部１０１に出力する。背景更新部１０３は、ＵＩ画面４００の背景画像の更新制御ボタン４０５が無効に設定されるとき、背景画像の更新が実行不可であるとして、背景生成部１０２で生成し、背景生成部１０２から入力された背景画像の前景抽出部１０１への出力を停止する。

【0016】

設定受信部１０４は、前景背景分離処理を行う画像処理装置１０の各種設定を受信し、受信した各種設定に応じて、前景抽出部１０１、背景生成部１０２、背景更新部１０３に対して設定を実行する。各種設定は、前景抽出の閾値、背景画像生成の閾値、背景画像更新のタイミング、背景画像の更新の可否などの設定を含む。設定受信部１０４は、例えば、ユーザ操作による画像処理装置１０の各種設定を後述のＵＩ画面４００を介して受信する。

【0017】

（背景生成部の内部構成）
図２は、背景生成部１０２の内部構成を示す図である。背景生成部１０２は、画像比較部１０２０、背景画像生成部１０２１、判定期間制御部１０２２を有する。

【0018】

画像比較部１０２０は、過去の入力画像と現在の入力画像とを比較し、比較結果を基に、各画素に動きがあったかどうかを判定する。比較方法は様々ある。例えば、過去の入力画像と現在の入力画像とにおいて、ＲＧＢ値のそれぞれの差が閾値以上であるかどうかによって判定してもよい。すなわち、画像比較部１０２０は、ＲＧＢ値のそれぞれの差が閾値以上である画素については動きがあったと判定し、ＲＧＢ値のそれぞれの差が閾値未満である画素については動きがなかったと判定する。そのほか画像差分に使用される方法であれば、どのような手法を用いてもよい。過去の入力画像は、画像比較部１０２０が保持する入力画像であって、比較時において現在の入力画像よりも以前のフレームの入力画像であればよく、１フレーム前の入力画像でもよいし、複数フレーム前の入力画像でもよい。画像比較部１０２０による判定結果は、背景画像生成部１０２１に出力される。

【0019】

背景画像生成部１０２１は、画像比較部１０２０の判定結果に基づいて、背景画像を生成して保持する。背景画像生成部１０２１は、画像比較部１０２０によって動きがないと判定された画素について、背景画像生成部１０２１が保持する背景画像の画素値を入力画像の画素値に更新する（置き換える）。また、背景画像の生成には、１フレームの入力画像の比較結果を用いてもよいし、複数フレームの入力画像の比較結果を用いてもよい。背景画像の生成に複数フレームの入力画像の比較結果を用いることで、安定的に背景を検出することが可能となる。背景画像を生成する際に比較する入力画像のフレームの個数は、判定期間制御部１０２２による設定によって制御可能とする。本実施形態では、判定期間制御部１０２２によって設定された個数のフレームの入力画像を比較した結果を用いて、すべてのフレームで画素値の差分が閾値以下であれば、その画素は動きがなかったと判定することとする。

【0020】

判定期間制御部１０２２は前述の通り、背景画像として判定するためのフレームの個数を制御する。

【0021】

（画像処理）
図３は、画像処理装置１０による画像処理（前景背景分離処理）の流れを示すフローチャートである。本フローチャートでは、１フレームの入力画像を受信し、設定に応じて背景画像の生成や更新を行い、前景の抽出を行う処理を示している。後述のＳ３０２の処理で用いる過去の入力画像、Ｓ３０７の処理で用いる背景画像は、画像処理装置１０で保持されているとする。すなわち、画像処理装置１０が既に背景画像を生成しており、画像比較部１０２０が比較時に用いる過去の入力画像を保持し、背景画像生成部１０２１が背景画像を保持し、前景抽出部１０１が背景画像を保持することとする。本実施形態では、ユーザ操作によって、背景画像の更新の実行の可否を設定可能であり、場面に応じて背景画像の更新の実行の可否が設定されることとする。人物が一定時間停止したり、前景として抽出できない程度に動いたりする、オブジェクトの状態では、背景画像の更新の実行が不可に設定されることとする。背景画像の更新の実行が不可に設定される場面は、スポーツでは様々ある。例えば、サッカーでは、フリーキックが行われるタイミングにおいて、人物が一定時間停止する場面である。またラグビーでは、スクラムを組むシーンにおいて、人物が一定時間停止する場面である。さらに、負傷した選手へ対応するシーンにおいて、突発的に人物が一定時間停止する場面である。その他、補足として、連続フレームの入力画像に対しても、フレーム毎に本処理を実行することにより前景を抽出してもよい。なお、フローチャートの説明における記号「Ｓ」は、ステップを表すものとする。この点、以下のフローチャートの説明においても同様とする。

【0022】

Ｓ３０１では、画像受信部１００は、入力画像を受信し、受信した入力画像を前景抽出部１０１と背景生成部１０２（背景生成部１０２の画像比較部１０２０）とに送信する。

【0023】

Ｓ３０２では、画像比較部１０２０は、画像受信部１００から背景生成部１０２に送信された入力画像（現在の入力画像）と、画像比較部１０２０で保持する過去の入力画像（保持画像）とを比較し、比較結果を基に、動きがない画素を判定する。比較は、例えば、入力画像と保持画像にて対応する画素において、画素値の差が閾値以上であるときに動きがあると判定し、画素値の差が閾値未満であるときに動きがないと判定する。画像比較部１０２０による判定結果は、背景生成部１０２の背景画像生成部１０２１に送信される。

【0024】

Ｓ３０３では、背景画像生成部１０２１は、判定期間制御部１０２２によって設定された、背景画像を生成するタイミングであるかどうかを判定する。背景画像を生成するタイミングの判定には、背景画像の更新タイミング指定ウィンドウに設定されたたタイミングが使用される。例えば、背景画像の更新タイミング指定ウィンドウの設定が１８００フレーム毎であるとする。Ｓ３０１で受信した入力画像が１８００番目のフレームなどの１８００の倍数のフレームである場合には、背景画像生成部１０２１は、背景画像の生成タイミングであるとの判定結果を得ることになる。他方、Ｓ３０１で受信した入力画像が１８０１番目のフレームなどの１８００の倍数以外のフレームである場合には、背景画像生成部１０２１は、背景画像の生成タイミングではないとの判定結果を得ることになる。背景画像を生成するタイミングであるとの判定結果を得た場合（Ｓ３０３のＹＥＳ）、背景画像生成部１０２１は、処理をＳ３０４に移行する。他方、背景画像を生成するタイミングではないとの判定結果を得た場合（Ｓ３０３のＮＯ）、背景画像生成部１０２１は、処理をＳ３０５に移行する。

【0025】

Ｓ３０４では、背景画像生成部１０２１は、複数フレームの入力画像の比較結果に基づいて、動きがないと判定される画素について、現在の背景画像の画素値を現在の入力画像の画素値に置き換えることで背景画像を生成する。何個分のフレームの入力画像の比較結果を用いて判定するかは、判定期間制御部１０２２によって設定された個数のフレームの入力画像である。そして、背景画像生成部１０２１は、生成した背景画像を背景更新部１０３に送信する。背景画像生成部１０２１は、背景画像を送信後、処理をＳ３０５に移行する。

【0026】

Ｓ３０５では、背景更新部１０３は、背景画像の更新の実行が可能かどうかを判定する。背景画像の更新の実行が可能かどうかは、例えば、後述のＵＩ画面４００にてユーザ操作によって設定される。背景画像の更新の実行が可能ではないとの判定結果を得た場合（Ｓ３０５のＮＯ）、背景更新部１０３は、S３０６をスキップし処理をＳ３０７に移行する。他方、背景画像の更新の実行が可能であるとの判定結果を得た場合（Ｓ３０５のＹＥＳ）、背景更新部１０３は、処理をＳ３０６に移行する。

【0027】

Ｓ３０６では、背景更新部１０３は、前景抽出部１０１に背景画像を送信する。前景抽出部１０１は、背景更新部１０３から送信された背景画像を受信し、受信した背景画像を基に、前景抽出に用いる背景画像を画素ごとに更新する。すなわち、背景更新部１０３は、前景抽出部１０１で前景抽出に用いる背景画像を背景更新部１０３から送信された背景画像に画素ごとに更新するともいえる。

【0028】

ここで、背景画像を更新の実行を可能にする、または不可能にする制御を行う機能と、背景画像を更新するタイミングを制御する機能とは、図３に示す処理を実行する前に予め設定受信部１０４によって設定されているものとする。また、図３に示す処理を実行中であって動作中に、前記機能の設定が変更された場合、変更された設定は、次フレームの入力画像に対する処理以降にて反映される。

【0029】

Ｓ３０７では、前景抽出部１０１は、入力画像と背景画像とを比較し、入力画像と背景画像との差分に基づいて、入力画像から前景を抽出する。

【0030】

なお、前景の抽出処理が実行された後、次フレームの入力画像がある場合、Ｓ３０１に戻り、Ｓ３０１からＳ３０７の処理が行われ、次のフレームの入力画像が無い場合、図３に示すフローが終了することとなる。

【0031】

（ＵＩ画面）
図４は、設定受信部１０４によって背景更新部１０３の機能の設定を行うＵＩ画面４００の例を示す図である。なお、ＵＩ画面４００は、詳細につき後述する表示部７０６に表示され、ユーザ操作を受け付ける。

【0032】

ＵＩ画面４００は、入力画像ウィンドウ４０１、抽出前景画像ウィンドウ４０２、操作ボタン４０３、処理フレームのタイムコード表示部４０４、背景画像の更新制御ボタン４０５、背景画像の更新タイミング指定ウィンドウ４０６を含む。なお、これらの配置、ボタンの形状等はこれに限定されない。

【0033】

入力画像ウィンドウ４０１は、画像受信部１００で受信した入力画像を表示するエリアである。入力画像ウィンドウ４０１には、シークバー４０３１のスライダーの位置、タイムコード表示部４０４に表示される時間に対応する処理フレームの入力画像が表示される。

【0034】

抽出前景画像ウィンドウ４０２は、入力画像ウィンドウ４０１に表示される処理フレームの入力画像に対応する前景であって、前景抽出部１０１によって処理フレームの入力画像から抽出された前景を表示するエリアである。

【0035】

操作ボタン４０３は、シークバー４０３１、再生ボタン４０３２、停止ボタン４０３３を有する。再生ボタン４０３２がユーザ操作で押下されると、前景抽出処理を開始し、それに応じてシークバー４０３１のスライダーがバー上を移動し、入力画像ウィンドウ４０１に表示される処理フレームも進むことになる。タイムコード表示部４０４の表示も進むことになる。停止ボタン４０３３がユーザ操作で押下されると、前景抽出処理を停止し、それに応じてシークバー４０３１のスライダーがバー上で停止し、入力画像ウィンドウ４０１に表示される処理フレームも停止することになる。タイムコード表示部４０４の表示も停止することになる。

【0036】

タイムコード表示部４０４には、処理中のフレームのタイムコードが表示される。

【0037】

背景画像の更新制御ボタン４０５では、背景画像の更新の実行を可能にする「有効」の設定、または、背景画像の更新の実行を不可能にする「無効」の設定を行うことができる。ここで、背景画像の更新を無効に設定した場合、図３のＳ３０５では、背景画像の更新が可能ではないと判定されることになる。背景画像の更新を有効に設定した場合、図３のＳ３０５では、背景画像の更新が可能であると判定されることになる。

【0038】

また、背景画像の更新タイミング指定ウィンドウ４０６で設定したタイミングが、Ｓ３０３の判定に使用される。例えば、１８００と指定すると、１８００フレームに１度（６０ｆｐｓの動画の処理の場合、３０秒に１度）背景画像が更新される。

【0039】

以上説明したように、本実施形態によれば、背景画像の更新の実行の可否と、背景画像の更新タイミングとを制御（設定）可能にすることで、オブジェクトの状態によらず、処理画像から前景を適切に抽出できる。すなわち、人物や物などのオブジェクトが一定時間停止したり、前景として抽出できない程度に動いたりした場合でも、オブジェクトを含む前景を背景画像に取り込んでしまう前景の誤検出や、オブジェクトを含む前景を検出しない未検出を防ぐことができる。

【0040】

なお、本実施形態では、背景画像の生成タイミングと、背景画像の更新の実行の可否とを個別に判定したが、これに限定されない。背景画像が生成されたときのみ背景画像を更新してもよい。

【0041】

また、本実施形態では、背景画像の更新タイミングを手動で入力（設定）したが、これに限定されない。背景画像の更新タイミングを示す初期値は、競技や撮像の対象ごとに自動で設定されたり、また、背景画像の更新タイミングを示す推奨値が時間で変化する照明条件や天候等で設定されたり、または表示されたりしてもよい。

【0042】

＜実施形態２＞
本実施形態では、前景の状態および生成された背景画像の状態に応じて、背景画像の更新の実行の可否の判定を行う形態について説明する。

【0043】

（画像処理装置のソフトウェア構成）
図５は、本実施形態の画像処理装置の機能構成例を示す図である。本実施形態の画像処理装置５０は、実施形態１と同様、入力画像（処理画像）から前景と背景画像を分離して生成する装置として機能することができる。なお、上述の実施形態１と同様の構成および処理については、同じ符号を付与しその説明を省略し、ここでは、主に異なる部分に着目して説明する。

【0044】

画像処理装置５０は、画像受信部１００、設定受信部１０４、前景抽出部５０１、背景生成部５０２、背景更新部５０３を有する。

【0045】

前景抽出部５０１は、実施形態１における前景抽出部１０１の動作に加えて、入力画像から抽出された前景の比率を導出し、導出した前景の比率を背景更新部５０３に出力する。すなわち、前景抽出部５０１は、入力画像から前景を抽出すると共に、前景の比率を導出して背景更新部５０３に出力する。前景の比率は、入力画像において前景が占める割合を表している。

【0046】

背景生成部５０２は、実施形態１における背景生成部１０２の動作に加えて、背景画像と判定された画素の比率（背景の比率ともいう）を背景更新部５０３に出力する。背景の比率は、入力画像において、過去の背景画像との対比で背景と判定された画素が占める割合を表している。

【0047】

背景更新部５０３は、前景の比率、背景画像（背景）と判定された画素の比率に基づき前景の状態や背景画像の状態が正常であるかどうかを判定し、判定結果に応じて背景画像の更新を実行する、または実行しない。本実施形態では、前景の比率が設定された、所定の第一閾値より高く前景の状態が異常であり正常ではないと判定した場合、背景画像の更新を実行しない。また、背景画像と判定された画素の比率が所定の第二閾値より低く（動きのある画素が多く）背景画像の状態が異常であり正常ではないと判定した場合、背景画像の更新を実行しない。第一閾値と第二閾値とは、予め設定されてもよいし、設定受信部１０４を介して設定されてもよい。これにより、入力画像（画面）内に動作する前景が多い状況（場面）では、背景画像としての確からしさを低いと判定し、背景画像の更新を実行しないように設定することができる。他方、前景の比率が第一閾値より低く前景の状態が正常であると判定し、かつ、背景画像と判定された画素の比率が第二閾値より高く（動きのある画素が少なく）背景画像の状態が正常であると判定した場合、背景画像の更新を実行する。これにより、入力画像（画面）内に動作する前景が少ない状況（場面）では、背景画像としての確からしさを高いと判定し、背景画像の更新を実行するように設定することができる。なお、第一閾値は、例えば、５０％としてもよい。第二閾値は、例えば、５０％としてもよい。

【0048】

ここでは、閾値を用いた比較法について記載したが、これに限定されない。その他、前景や背景画像の更新個所の状況に応じて判定してもよい。例えば、小さな前景が入力画像（画面）全体に多数存在する場合、ノイズが多いと判定して背景画像の更新を停止するように判定してもよい。また、背景画像の更新の個所がある一定サイズのかたまり領域であるときに、サッカーなどの芝ではなく、フィールド上に広げられた旗であると判定し、背景画像の更新を停止するように判定してもよい。また、閾値を用いた比較ではなく、一定時間の平均値を用いた比較でもよい。前景の比率や背景画像と判定された画素の比率に関し、一定時間の平均値と著しく異なる場合には背景画像の更新を行わないように判定してもよい。背景画像の更新を停止する場合の判定は、これに限定されない。前景や背景画像の状態に基づき、背景画像の更新を停止するような判定でもよい。

【0049】

（画像処理）
図６は、画像処理装置５０による画像処理（前景背景分離処理）の流れを示すフローチャートである。実施形態１との違いは、Ｓ６０１およびS６０２の判定処理である。Ｓ３０３にて背景の生成タイミングではないとの判定結果を得た場合（Ｓ３０３のＮＯ）、またはＳ３０４の背景画像の生成処理終了後に、処理がＳ６０１に移行される。Ｓ６０１の処理で用いる前景の比率、Ｓ６０２の処理で用いる背景画像と判定される画素の比率は、画像処理装置５０で保持されているとする。すなわち、画像処理装置５０が既に背景画像を生成しており、背景更新部５０３が前景の比率と、背景画像と判定された画素の比率とを保持することとする。

【0050】

Ｓ６０１では、背景更新部５０３は、前景の状態が正常であるかどうかを判定する。例えば、背景更新部５０３は、まず、前景抽出部５０１から入力された前景の比率と、第一閾値とを比較する。前景の比率は、以前の前景の抽出処理にて導出された前景の比率であればよい。そして、背景更新部５０３は、前景の比率が第一閾値より低いとの比較結果を得たときには前景の状態が正常であると判定し（Ｓ６０１のＹＥＳ）、処理をＳ６０２に移行する。他方、背景更新部５０３は、前景の比率が第一閾値より高いとの比較結果を得たときには前景の状態が異常であり正常ではないと判定し（Ｓ６０１のＮＯ）、Ｓ３０６をスキップし処理をＳ３０７に移行する。

【0051】

Ｓ６０２では、背景更新部５０３は、背景画像の状態が正常であるかどうかを判定する。例えば、背景更新部５０３は、まず、背景生成部５０２から入力された、背景画像と判定された画素の比率と、第二閾値とを比較する。背景画像と判定された画素の比率は、以前の背景の生成処理にて導出された背景画像と判定された画素の比率であればよい。そして、背景更新部５０３は、背景画像と判定された画素の比率が第二閾値より高いとの比較結果を得たときには背景の状態が正常であると判定し（Ｓ６０２のＹＥＳ）、処理をＳ３０６に移行する。他方、背景更新部５０３は、背景画像と判定された画素の比率が第二閾値より低いとの比較結果を得たときには背景の状態が異常であり正常ではないと判定し（Ｓ６０２のＮＯ）、処理をＳ３０７に移行する。

【0052】

本フローチャートでは、前景の状態と背景画像の状態との両方が正常であると判定した場合、背景画像を更新する処理について説明したが、これに限定されない。前景の状態もしくは背景画像の状態のどちらか一方のみが正常であると判定した場合、背景画像を更新してもよい。また、前景の状態と背景画像の状態のそれぞれに重みを付けた上で、その総合値を基に、背景画像を更新するかどうかを判定してもよい。すなわち、総合値がある値より大きい場合、前景となる割合が多いため背景画像の更新を行わず、総合値がある値より小さい場合、前景となる割合が少ないため背景の画像更新を行うように判定してもよい。

【0053】

以上説明したように、本実施形態によれば、ユーザ操作無しに、前景および背景画像の状態に応じて背景画像を更新するか否かを自動的に判定することができ、入力画像から前景を適切に抽出することが可能になる。すなわち、例えば、入力画像にて前景が多い場合に、背景画像としての確からしさが低いと判定して、背景画像の更新を行わないという処理が可能になる。

【0054】

（画像処理装置のハードウェア構成）
図７は、画像処理装置７０のハードウェア構成例を示す図である。図７に示す画像処理装置７０のハードウェア構成によって、図１や図５に示すソフトウェアの機能構成が実現される。画像処理装置７０は、コンピュータであり、ＣＰＵ７００、ＲＯＭ７０１、ＲＡＭ７０２、ハードディスクドライブ（ＨＤＤ）７０３、ネットワークインターフェースカード（NＩC）７０４、入力部７０５、表示部７０６を有する。

【0055】

ＣＰＵ７００は、ＲＯＭ７０１やＲＡＭ７０２に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。すなわち、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７００は、図１に示した各処理部として機能することになる。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７０１には、本コンピュータの設定データや、ブートプログラムなどが格納されている。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７０２は、ＨＤＤ７０３からロードされたコンピュータプログラムやデータ、ＮＩＣ７０４を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。さらに、ＲＡＭ７０２は、ＣＰＵ７００が各種の処理を実行する際に用いるワークエリアを有する。すなわち、ＲＡＭ７０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

【0056】

入力部７０５は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ７００に対して入力することができる。表示部７０６は、例えば、液晶ディスプレイで構成され、ＣＰＵ７００による処理結果を表示する。ＨＤＤ７０３は、大容量情報記憶装置である。ＨＤＤ７０３には、オペレーティングシステム（ＯＳ）や、図１や図５に示した各部の機能をＣＰＵ７００に実現させるためのコンピュータプログラムが保存されている。さらには、ＨＤＤ７０３には、処理対象としての各画像データが保存されていてもよい。ＨＤＤ７０３に保存されているコンピュータプログラムやデータは、ＣＰＵ７００による制御に従って適宜、ＲＡＭ７０２にロードされ、ＣＰＵ７００による処理対象となる。ＮＩＣ７０４には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＮＩＣ７０４を介して様々な情報を取得したり、送出したりすることができる。システムバス７０７は、データを相互に送受信可能に上述の各部を繋ぐバスである。

【0057】

上述の構成からなる作動は前述の実施形態で説明した作動をＣＰＵ７００が中心となってその制御を行う。

【0058】

本開示の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本開示を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

【0059】

さらに、以下の形態で実現してもよい。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

【0060】

本開示を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した処理に対応するコンピュータプログラムのコードが格納されることになる。

【0061】

［その他の実施形態］
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0062】

１０ 画像処理装置
１０１ 前景抽出部
１０２ 背景生成部
１０３ 背景更新部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】