特許 7475959 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-19

(45)【発行日】2024-04-30

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/194 20170101AFI20240422BHJP

【ＦＩ】

G06T7/194

【請求項の数】 9

(21)【出願番号】P 2020088126

(22)【出願日】2020-05-20

(65)【公開番号】P2021182320

(43)【公開日】2021-11-25

【審査請求日】2023-05-19

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】山内 翔平

【審査官】松浦 功

(56)【参考文献】

【文献】特開２０１７－００５４８５（ＪＰ，Ａ）

【文献】特開２０１８－１４７３２９（ＪＰ，Ａ）

【文献】特開２０１８－１９５１１９（ＪＰ，Ａ）

【文献】特開平０７－３２００３５（ＪＰ，Ａ）

【文献】特開２０２０－０２４６７５（ＪＰ，Ａ）

【文献】特開２０１９－１５３０５７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０３８５３１２（ＵＳ，Ａ１）

【文献】ZENG, Dongdong et al.，Background Subtraction With Real-Time Semantic Segmentation，IEEE Access [online]，IEEE，2019年02月20日，Vol. 7，pp. 153869 - 153884，[検索日 2024.03.08]，インターネット，ＵＲＬ：https://ieeexplore.ieee.org/document/8645635

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ５／２２２ － ５／２５７

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／４０ －２３／７６

ＩＥＥＥ Ｅｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

学習により撮像画像から前景領域を抽出して、前景の基準画像を生成する第１生成手段と、
前記撮像画像から前景領域を抽出することにより、前記基準画像と比較するための比較画像を生成する第２生成手段と、
前記基準画像及び前記比較画像に基づき、前記撮像画像と当該撮像画像に対応する背景画像との差分に基づく前景画像の生成に用いられる閾値を決定する決定手段と、
決定された前記閾値を用いて、前記撮像画像と前記背景画像との差に基づき、前景画像を生成する第３生成手段と、
を有し、
前記第２生成手段は、前記撮像画像と背景画像との差分及び閾値調整にて設定する可能性のある複数の閾値の中から選択的に設定される１つの閾値に基づいて、前記前景領域の抽出を行う、
ことを特徴とする画像処理装置。

【請求項2】

前記比較画像において適正な前景領域を抽出できているか評価するための評価値を、前記基準画像と前記比較画像とに基づいて算出する第１算出手段を更に有し、
前記決定手段は、算出された前記評価値に基づいて、前記閾値を決定する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第１算出手段は、前記複数の閾値それぞれに対して前記評価値を算出し、
前記第３生成手段は、前記第１算出手段によって算出された評価値のうち最も高いものに対応する閾値を用いた背景差分法により、前記前景画像を生成する
ことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記基準画像から、精度の高い前景領域を抽出するとともに、前記比較画像から、該抽出した精度の高い前景領域に対応する領域を抽出する抽出手段を更に有し、
前記第１算出手段は、前記基準画像から抽出された精度の高い前景領域と前記比較画像から抽出された精度の高い前景領域とに基づいて前記評価値を算出することを特徴とする請求項２または３に記載の画像処理装置。

【請求項5】

前記基準画像は、各画素値が前景領域である確率を表す多値の多値画像であり、
前記抽出手段は、前記基準画像に基づいてヒストグラムを取得し、当該取得したヒストグラムに基づき、確率の高い画素数が一定数を超えた前景領域のみを、前記精度の高い前景領域として抽出する、
ことを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記第３生成手段が前記前景画像の生成に用いる前記閾値、及び、前記第２生成手段が前記比較画像の生成に用いる前記閾値を更新する更新手段を更に有することを特徴とする請求項４乃至５の何れか１項に記載の画像処理装置。

【請求項7】

前記評価値に基づいて、前記第２生成手段が前記比較画像の生成に用いる前記閾値に対する変化量を算出する第２算出手段を更に有し、
前記更新手段は、前記第２算出手段によって算出された前記変化量に従って、前記第２生成手段が前記比較画像の生成に用いる前記閾値を更新する、
ことを特徴とする請求項６に記載の画像処理装置。

【請求項8】

学習により撮像画像から前景領域を抽出して、前景の基準画像を生成する第１生成ステップと、
前記撮像画像から前景領域を抽出することにより、前記基準画像と比較するための比較画像を生成する第２生成ステップと、
前記基準画像及び前記比較画像に基づき、前記撮像画像と当該撮像画像に対応する背景画像との差分に基づく前景画像の生成に用いられる閾値を決定する決定ステップと、
決定された前記閾値を用いて、前記撮像画像と前記背景画像との差に基づき、前景画像を生成する第３生成ステップと、
を含むことを特徴とする画像処理方法。

【請求項9】

コンピュータに請求項８に記載の方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理に関する。

【背景技術】

【0002】

カメラ等の撮像装置で撮像された画像から、注目する被写体画像を抽出する手法は様々な目的で使用されており、その手法も様々である。例えば、入力画像と背景画像とを比較し、画素値の差が所定の閾値以上の画素を前景領域として抽出する背景差分法がある。背景差分法では、複数フレームの各画素の画素値の変化を観測し、変化が所定の閾値以下の場合に背景画像に取り込む。そして、フレーム毎に入力画像と背景画像とを比較して、画素値の差が所定の閾値以上の画素を前景領域として抽出する。しかし、この閾値は撮像時の照明条件により適切な値が変動する。この課題を解決するために、特許文献１では、入力画像の輝度値と照度との少なくともどちらか一方を利用して、閾値を適宜変更する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１４７３２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１で開示される技術では、入力画像の輝度値と照度との少なくとも一方に基づいて変更した閾値が適切な値かを判定できない。そのため、変更した閾値と適切な閾値との間に誤差がある場合、前景領域の抽出精度が低下する。

【0005】

そこで本発明の一実施形態は、上記の課題に鑑み、前景領域を精度よく抽出することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一実施形態は、学習により撮像画像から前景領域が抽出された結果に基づいて、撮像画像と当該撮像画像に対応する背景画像との差分に基づく前景画像の生成に用いられる閾値を決定する決定手段と、前記決定手段によって決定された閾値を用いて、前記撮像画像と前記背景画像に基づいて、前景画像を生成する生成手段と、を有することを特徴とする画像処理装置である。

【発明の効果】

【0007】

本発明の一実施形態によれば、前景領域を精度よく抽出することが可能になる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態に係る画像処理装置１００のハードウェア構成を示すブロック図

【図2】第１の実施形態における画像処理装置１００の機能構成を示すブロック図

【図3】第１の実施形態における抽出部による前景領域抽出の説明図

【図4】第１の実施形態における画像処理装置１００が実行する各処理の流れを示すフローチャート

【図5】第１の実施形態における画像処理装置１００の適用例を示す図

【図6】第２の実施形態における画像処理装置１００が実行する各処理の流れを示すフローチャート

【図7】第３の実施形態における画像処理装置７００の機能構成を示すブロック図

【図8】第３の実施形態における画像処理装置７００が実行する各処理の流れを示すフローチャート

【発明を実施するための形態】

【0009】

以下、図面を参照しながら実施形態を説明する。尚、以下の実施形態において示す構成は例示に過ぎず、本発明は図示された構成に限定されるものではない。また、仮想視点画像とは、実カメラとは異なる仮想カメラの位置及び向き等に基づいて生成される画像であり、自由視点画像や任意視点画像とも呼ばれる。また、以下の説明において、画像とは、画像を表す画像データを指す場合もある。

【0010】

［第１の実施形態］
本実施形態では、背景差分法による前景領域抽出を行った前景シルエット画像を、機械学習による前景領域抽出を行った前景シルエット画像を用いて評価した結果に基づいて、背景差分法で使用する閾値を適切に決定する。これにより、照明変化が起きる撮像環境であっても、精度の高い前景シルエット画像を生成することができる。

【0011】

＜画像処理装置のハードウェア構成＞
図１は、本実施形態に係る画像処理装置１００のハードウェア概略構成を示すブロック図である。画像処理装置１００とは、具体的にはＰＣ等の情報処理装置であり、ＣＰＵ１１１と、ＲＯＭ１１２と、ＲＡＭ１１３と、補助記憶装置１１４と、表示部１１５と、操作部１１６と、通信Ｉ／Ｆ１１７と、バス１１８と、を有する。

【0012】

ＣＰＵ１１１は、ＲＯＭ１１２やＲＡＭ１１３に記憶されているコンピュータプログラムやデータを用いて画像処理装置１００の全体を制御することで、図２に示す画像処理装置１００の各機能を実現する。尚、画像処理装置１００がＣＰＵ１１１とは異なる１又は複数の専用ハードウェアを有し、ＣＰＵ１１１による処理の少なくとも一部をこの専用ハードウェアが実行してもよい。専用ハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）等がある。

【0013】

ＲＯＭ１１２には、変更を必要としないプログラム等が記憶される。ＲＡＭ１１３には、補助記憶装置１１４から供給されるプログラムおよびデータ、並びに通信Ｉ／Ｆ１１７を介して外部から供給されるデータ等が一時的に記憶される。補助記憶装置１１４は、例えばハードディスクドライブ等を有し、画像データや音声データ等の種々のデータが記憶される。

【0014】

表示部１１５は、例えば液晶ディスプレイやＬＥＤ等を有し、ユーザが画像処理装置１００を操作するためのＧＵＩ（グラフィカルユーザインターフェース）等を表示する。操作部１１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等を有し、ユーザによる操作を受けて各種の指示をＣＰＵ１１１に入力する。ＣＰＵ１１１は、表示部１１５を制御する表示制御部、及び操作部１１６を制御する操作制御部として動作する。

【0015】

通信Ｉ／Ｆ１１７は、画像処理装置１００の外部の装置との通信に用いられる。例えば、画像処理装置１００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ１１７に接続される。画像処理装置１００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ１１７はアンテナを備える。バス１１８は、画像処理装置１００の各部をつないで情報を伝達する。

【0016】

本実施形態では表示部１１５と操作部１１６が画像処理装置１００の内部に存在するものとするが、表示部１１５と操作部１１６との少なくとも一方が画像処理装置１００の外部に別の装置として存在していてもよい。

【0017】

＜画像処理装置の機能構成＞
図２は、本実施形態における画像処理装置１００の機能構成（ソフトウェア構成）を示すブロック図である。画像処理装置１００は、前景領域の抽出対象である入力画像２０３を入力として、前景領域の抽出結果である第１前景シルエット画像２０４を出力する画像処理装置である。

【0018】

画像処理装置１００は、入力部２０１と、第１抽出部２０２と、パラメータ調整部２１０と、を有する。パラメータ調整部２１０は、取得部２１１と、第２抽出部２１２と、第３抽出部２１３と、高精度抽出部２１４と、評価部２１５と、パラメータ更新部２１６と、を有する。

【0019】

入力部２０１は、撮像された前景領域を抽出する対象となる入力画像２０３を受信する機能を有する。入力部２０１は、カメラなどの撮像装置からの撮像画像をＳＤＩケーブルなどで入力されるものであってもよいし、画像データとしてＵＳＢやＰＣＩｅなどのインターフェース経由で入力されるものでもよい。

【0020】

第１抽出部２０２は、入力部２０１で受信した入力画像２０３と背景画像とを背景差分法により閾値に基づいて比較することで、前景領域を抽出、つまり、画像処理装置１００の出力となる前景領域を表す第１前景シルエット画像２０４を生成する。第１前景シルエット画像２０４とは例えば、入力画像２０３における前景領域と背景領域とを２値で表現した、入力画像２０３と同じ解像度の画像でもよいし、その画像内の各前景領域を外接矩形で切り出した画像でもよい。

【0021】

パラメータ調整部２１０は、第１抽出部２０２の背景差分法で使用される閾値を適切な値に調整する処理を行う。

【0022】

取得部２１１は、入力部２０１から入力画像を受け取り、パラメータ調整部２１０における第１抽出部２０２の背景差分法で使用される閾値を適切な値に調整する処理が終了するまで保持しておく機能を有する。適切な閾値に調整する処理が終了すると、入力部２０１がその時点で受信したフレームの入力画像を受け取り、また保持しておく。

【0023】

第２抽出部２１２は、第１抽出部２０２、第３抽出部２１３とは異なる手法により、前景領域を抽出、つまり、基準となる第２前景シルエット画像を生成する。本例では、第１抽出部２０２、第３抽出部２１３において前景領域として抽出したいオブジェクトの前景領域を、前景シルエット画像として出力するように学習した学習済みモデルによる前景領域の抽出手法を用いるものとする。このような手法としては、例えば、ＣｏｎｖｏｌｕｔｉｏｎネットワークとＤｅｃｏｎｖｏｌｕｔｉｏｎネットワークとを組み合わせて用い、意味的に異なる複数の前景候補領域の前景シルエット画像を出力することが出来る。意味的に異なるとは、例えば人間とボールなどの異なる種類の物体であることを指す。そしてこの手法によれば、背景差分法による前景領域抽出とは異なり、入力画像のみから前景領域を抽出できるため、閾値によらず撮像環境の変化に頑健な前景シルエット画像を生成できる。第２抽出部２１２は、前述した機械学習により、取得部２１１で保持してある入力画像に基づいて第２前景シルエット画像を生成する。ここで第２前景シルエット画像は、例えば前景領域と背景領域とを２値で表す２値画像であってもよいし、各画素値が前景領域である確率を表す多値の多値画像であってもよい。また、取得部２１１で保持してある入力画像に所定の加工を施してから第２前景シルエット画像を生成してもよい。例えば、第３抽出部２１３で各前景領域を外接矩形で切り出した画像を前景シルエット画像として生成した場合を検討する。この場合、まずその各外接矩形の座標情報等を受け取り、入力画像から各外接矩形に対応する領域のみを切り出すことで取得される複数の画像に基づいて、第２前景シルエット画像を生成することも可能である。尚、基準となる前景画像を生成する第２抽出部を、基準画像生成部と呼んでもよい。

【0024】

第３抽出部２１３は、第１抽出部２０２と同じ処理を行う。前述の通り、第１抽出部２０２が画像処理装置１００の出力である第１前景シルエット画像２０４を生成する。これに対し、第３抽出部２１３は、パラメータ調整部２１０内で算出したパラメータが適切な値であるかを確認するために、パラメータ更新部２１６で更新された閾値を使用して第３前景シルエット画像を生成する。尚、基準画像と比較する対象となる比較画像を生成する第３抽出部を、比較画像生成部と呼んでもよい。

【0025】

高精度抽出部２１４は、第２前景シルエット画像から、精度の高い前景領域のみを抽出する。例えば、機械学習により前景領域である確率を表す多値画像として第２前景シルエット画像を第２抽出部２１２が生成した場合、該生成した第２前景シルエット画像に前景領域であるか背景領域であるかが曖昧な確率を示す前景領域が含まれる可能性がある。従って、高精度抽出部２１４で抽出した精度の高い第２前景シルエット画像を評価部２１５に渡すことで、正しい評価値を算出することができる。また、第２前景シルエット画像を生成したフレームと同一フレームから生成された第３前景シルエット画像を受け取り、第２前景シルエット画像の精度の高い領域と対応するように、第３前景シルエット画像から前景領域を抽出する処理を行う。精度の高い前景領域を抽出する手法としては、例えば、各画素が前景領域である確率を表す第２前景シルエット画像に基づいてヒストグラムを算出し、確率の高い画素数が一定数を超えた前景領域のみを抽出する手法がある。尚、例えば高精度な前景シルエット画像を生成できる機械学習による前景領域の抽出手法を採用した場合等の、高精度な領域を抽出する必要のない場合、高精度抽出部２１４は省略可能である。

【0026】

評価部２１５は、まず高精度抽出部２１４で抽出した第２前景シルエット画像と、第３前景シルエット画像とを入力として取り込む。次に、評価部２１５は、取り込んだ第３前景シルエット画像と、第２前景シルエット画像とに基づいて評価値を算出し、第３抽出部２１３において、適正な前景領域を抽出できているか否かを評価する。この評価値は、第１抽出部２０２において背景差分法に使用する閾値を変更するための指標として使用する。評価値として例えば、領域分割の評価指標としてよく用いられるＦ１ｓｃｏｒｅ（いわゆるＦ値）やＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）等を用いることが出来る。

【0027】

パラメータ更新部２１６は、前述した評価値に基づいて、第１抽出部２０２または第３抽出部２１３に閾値を設定する機能を有する。

【0028】

図３は、第１抽出部２０２と第２抽出部２１２における前景領域の抽出結果としてのイメージ画像を示す。入力画像３０１には、前景シルエットとして抽出する被写体が映っている。入力画像３０１を入力として、第２抽出部２１２の処理により、第２前景シルエット画像３０２が生成される。同様に、第１抽出部２０２の処理により、第１前景シルエット画像が生成される。その際に、例えば設定されている閾値が大きすぎると、実際の前景領域を十分に抽出できず画像３０３のように前景領域が痩せていたり、欠けていたりするような前景シルエット画像が生成さる。一方、閾値が小さすぎると、前景領域を余分に抽出してしまい画像３０４のように前景領域が太っているような前景シルエット画像が生成される。本実施形態では、第３前景シルエット画像と第２前景シルエット画像とを比較することで、撮像環境の変化に頑健な第２前景シルエット画像に近づけるように第１抽出部２０２、第３抽出部２１３で用いられる閾値を更新する。閾値の更新により、画像３０３や、画像３０４のような前景シルエット画像より適切な前景シルエット画像を生成することが可能になる。

【0029】

画像処理装置１００は、フレーム毎に入力画像を受信し、第１抽出部２０２で前景シルエット画像２０４を生成する。一方で、並列処理としてパラメータ調整部２１０では、入力部２０１から任意のフレームで入力画像を取得し、該取得した入力画像を取得部２１１で保持する。その任意のフレームに対して適切な値となるようにパラメータを調整し、第１抽出部２０２で用いるパラメータを更新する。

【0030】

＜パラメータ調整部が実行する処理＞
図４は、本実施形態に係る画像処理装置１００におけるパラメータ調整部２１０が実行する各処理の流れを示したフローチャートである。本実施形態では、図４の処理を実行する前に、閾値調整用に設定する可能性のある代表的なＮ個の閾値からなる閾値リストを予め用意しておく。そして、取得部２１１で保持されている入力画像に対して、第３抽出部２１３において閾値リストに含まれる値をそれぞれ設定することで、各閾値に対応する第３前景シルエット画像を生成する。生成した第３前景シルエット画像と第２前景シルエット画像とを比較し、最も評価値の高い第３前景シルエット画像を生成した閾値を、パラメータ更新部２１６は、第１抽出部２０２に設定する。

【0031】

ステップＳ４０１において、取得部２１１は、前景領域の検出対象である入力画像を取得する。取得部２１１は、パラメータ調整部２１０の処理を行うたびに入力部２０１から入力画像を受け取り、処理が終わるまでその入力画像を保持しておく。尚、以下では、「ステップＳ～」を「Ｓ～」と略記する。

【0032】

Ｓ４０２において、第２抽出部２１２は、Ｓ４０１で取得した入力画像から前景領域を抽出することで、第２前景シルエット画像を生成する。

【0033】

Ｓ４０３において、高精度抽出部２１４は、Ｓ４０２で生成した第２前景シルエット画像から精度の高い前景領域のみを抽出する。

【0034】

Ｓ４０４において、ＣＰＵ１１１は、閾値リストに含まれる閾値の中で未処理の閾値を、第３抽出部２１３に設定する。

【0035】

Ｓ４０５において、第３抽出部２１３は、Ｓ４０４で選択的に設定された閾値を用いてＳ４０１で取得した入力画像から前景領域を抽出することで、第３前景シルエット画像を生成する。

【0036】

Ｓ４０６において、高精度抽出部２１４は、Ｓ４０５で生成した第３前景シルエット画像から、前景領域を抽出する。本ステップでは、高精度抽出部２１４は、Ｓ４０３で第２前景シルエット画像から抽出した精度の高い前景領域に合わせて、前景領域を抽出する。

【0037】

Ｓ４０７において、評価部２１５は、Ｓ４０６での抽出により取得された第３前景シルエット画像とＳ４０３での抽出により取得された第２前景シルエット画像とを比較することで、評価値を算出する。

【0038】

Ｓ４０８において、ＣＰＵ１１１は、閾値リストに含まれるＮ個の閾値を全て第３抽出部２１３に設定したか判定する。本ステップの判定結果が真の場合、Ｓ４０９に進む一方、該判定結果が偽の場合、Ｓ４０４に戻る。

【0039】

Ｓ４０９において、パラメータ更新部２１６は、Ｓ４０７で算出した評価値の中で最も高い値を得られた第３前景シルエット画像を生成した閾値を第１抽出部２０２に設定する。

【0040】

尚、Ｓ４０４からＳ４０５の処理は、１回目の処理においてはＳ４０２からＳ４０３の処理と並行して実施してもよい。

【0041】

図５に、本実施形態における画像処理装置１００の適用例５００を示す。適用例５００には、サッカーのフィールドである前景抽出対象フィールド５０１の周囲に複数台の撮像装置５０２が配置され、各撮像装置５０２に画像処理装置１００が接続されている。撮像装置５０２で撮像した画像は入力画像２０３として画像処理装置１００に入力され、前景シルエット画像２０４が出力される。本実施形態は例えば、生成された前景シルエット画像２０４に基づく、３次元モデルの生成や前景テクスチャの抽出を伴う、フィールド内の任意の視点からの仮想視点映像の生成に適用可能である。また、例えば、構内に設置された監視カメラや、遠隔地や屋外に設置された監視カメラなどにおける、危険予測等に使用するための動物体検出等にも、本実施形態を適用可能である。

【0042】

本実施形態によれば、フレーム毎に前景シルエット画像を生成しながら、任意のフレーム毎にパラメータ調整部１１０の処理により閾値を更新することで、撮像環境の変化に頑健な前景シルエット画像の生成が可能になる。

【0043】

［第２の実施形態］
第１の実施形態では、設定する予定のある閾値が保持された閾値リストを予め用意した。そして、この閾値リストに含まれる閾値を夫々第３抽出部に設定し、各閾値を用いて生成された前景シルエット画像の中から最も評価値の高い前景シルエット画像を生成した閾値を、第１抽出部に設定した。

【0044】

これに対し、本実施形態では、第３前景シルエット画像を、第２前景シルエット画像を基準に評価した結果取得される評価値を用いて、閾値の変化量を算出し、該算出した変化量に従って閾値を更新する。尚、以下では、前述の実施形態と共通する内容の説明は適宜省略し、前述の実施形態と異なる点について主に説明する。

【0045】

本実施形態における画像処理装置の構成は、第１の実施形態と同様である（図１及び図２参照）。

【0046】

＜パラメータ調整部が実行する処理＞
図６は、本実施形態に係る画像処理装置１００におけるパラメータ調整部２１０が実行する各処理の流れを示したフローチャートである。本実施形態では、同一フレームの入力画像において、第３前景シルエット画像の評価結果に基づいて、第１抽出部２０２の閾値を適切に更新する。

【0047】

Ｓ６０１において、取得部２１１は、前景領域の検出対象である入力画像を取得する。取得部２１１は、パラメータ調整部２１０の処理を行うたびに入力部２０１から入力画像を受け取り、処理が終わるまでその入力画像を保持しておく。

【0048】

Ｓ６０２において、第２抽出部２１２は、Ｓ６０１で取得した入力画像から前景領域を抽出することで、第２前景シルエット画像を生成する。

【0049】

Ｓ６０３において、高精度抽出部２１４は、Ｓ６０２で生成した第２前景シルエット画像から精度の高い前景領域のみを抽出する。

【0050】

Ｓ６０４において、第３抽出部２１３は、Ｓ６０１で取得した入力画像から前景領域を抽出することで、第３前景シルエット画像を生成する。第３前景シルエット画像の生成に用いる閾値の初期値として、例えば、Ｓ６０１で受け取るフレームにおける第１前景シルエット画像の生成に用いる閾値を使用してよい。

【0051】

Ｓ６０５において、高精度抽出部２１４は、Ｓ６０４で生成した第３前景シルエット画像から、Ｓ６０３で第２前景シルエット画像から抽出した精度の高い前景領域に合わせて、前景領域を抽出する。

【0052】

Ｓ６０６において、評価部２１５は、Ｓ６０５での抽出により取得された第３前景シルエット画像とＳ６０３での抽出により取得された第２前景シルエット画像とを比較することで、評価値を算出する。

【0053】

Ｓ６０７において、ＣＰＵ１１１は、Ｓ６０６で算出した評価値に基づいて、閾値の変化量を算出する。例えば、第３前景シルエット画像と第２前景シルエット画像との間の前景領域の差が大きければ大きいほど変化量を大きくし、差が少なければ少ないほど変化量を小さくする。また、閾値を変化させる方向は、第３前景シルエット画像において余分な前景領域を抽出していると判定した場合は閾値を上げる方向である。一方、第３前景シルエット画像において必要な前景領域であるのに抽出できていないと判定した場合は閾値を下げる方向である。

【0054】

Ｓ６０８において、ＣＰＵ１１１は、Ｓ６０６で算出した評価値と、基準となる評価値とを比較することで、該算出した値が良い値を示しているか（具体的には、Ｓ６０６で算出した評価値≧基準評価値か）判定する。本ステップの判定結果が真の場合、Ｓ６１１に進む一方、該判定結果が偽の場合、Ｓ６０９に進む。

【0055】

Ｓ６０９において、ＣＰＵ１１１は、Ｓ６０４からＳ６０７の繰り返し回数がＮ回以上か判定する。本ステップの判定結果が真の場合、Ｓ６１１に進む一方、該判定結果が偽の場合、Ｓ６１０に進む。Ｓ６０４からＳ６０７の処理を繰り返すことで、より適切な閾値を算出できる。しかし、繰り返し処理を重ねても基準評価値以上の適切な閾値を算出できない場合は、無限ループに陥る可能性がある。そこで、本ステップのように、繰り返し回数の上限を設定しておくことで、無限ループに陥ることなく繰り返し処理を終了することができる。

【0056】

Ｓ６１０において、パラメータ更新部２１６は、その時点において第３抽出部２１３で用いる閾値として設定されている閾値から、Ｓ６０７で算出した変化量だけ変化させた値を、第３抽出部２１３で新たに用いる閾値として第３抽出部２１３に設定する。

【0057】

Ｓ６１１において、パラメータ更新部２１６は、第１抽出部２０２で用いる閾値として設定されている閾値から、Ｓ６０７で算出した変化量だけ変化させた値を、第１抽出部２０２で新たに用いる閾値として第１抽出部２０２に設定する。

【0058】

尚、Ｓ６０４の処理は、１回目の処理においてはＳ６０２からＳ６０３の処理と並行して実施してもよい。

【0059】

本実施形態によれば、予め設定する閾値リストを準備せずとも、撮像環境の変化に頑健な前景シルエット画像の生成が可能になる。また、第１の実施形態と異なり閾値リスト全ての閾値を設定せずに済むため、第１の実施形態よりもパラメータ調整部２１０の処理負荷を低減することが可能になる。

【0060】

［第３の実施形態］
第１の実施形態および第２の実施形態では、第１抽出部２０２で用いる閾値を更新する前に、第３抽出部２１３によって第３前景シルエット画像を生成し、該生成された第３前景シルエット画像を用いて、適切な値かの評価を行った。これに対し、本実施形態では、フレーム毎に処理される第１抽出部によって生成された第１前景シルエット画像そのものを、評価に用いる。

【0061】

＜画像処理装置の機能構成＞
図７は、本実施形態における画像処理装置７００の機能構成（ソフトウェア構成）を示すブロック図である。尚、図２と同じ番号を付与しているモジュールは、第１の実施形態と同様の機能を有するため説明を省略する。

【0062】

画像処理装置７００は、入力部２０１と、第１抽出部２０２と、パラメータ調整部７１０と、を有する。パラメータ調整部７１０は、取得部７１１と、第２抽出部２１２と、高精度抽出部２１４と、評価部２１５と、パラメータ更新部２１６と、を有する。

【0063】

取得部７１１は、入力部２０１からの入力画像、及び、その入力画像に基づき第１抽出部２０２で生成された第１前景シルエット画像を受け取る機能を有する。

【0064】

画像処理装置７００は、フレーム毎に入力画像を受信し、第１抽出部２０２で前景シルエット画像２０４を生成する。一方で、パラメータ調整部７１０では、任意のフレーム毎に適切なパラメータとなるようにパラメータを調整し、第１抽出部２０２で用いるパラメータを更新する。

【0065】

＜パラメータ調整部が実行する処理＞
図８は、本実施形態に係る画像処理装置７００におけるパラメータ調整部７１０が実行する各処理の流れを示したフローチャートである。

【0066】

Ｓ８０１において、取得部７１１は、入力部２０１から渡された、前景領域の検出対象である入力画像を受け取る。

【0067】

Ｓ８０２において、取得部７１１は、Ｓ８０１で取得する入力画像に基づいて、第１抽出部２０２により生成された第１前景シルエット画像を受け取る。

【0068】

Ｓ８０３において、第２抽出部２１２は、Ｓ８０１で取得した入力画像から第２前景領域を抽出することで、第２前景シルエット画像を生成する。

【0069】

Ｓ８０４において、高精度抽出部２１４は、Ｓ８０３で生成した第２前景シルエット画像から精度の高い前景領域のみを抽出する。

【0070】

Ｓ８０５において、高精度抽出部２１４は、Ｓ８０２で取得した第１前景シルエット画像から、前景領域を抽出する。本ステップでは、高精度抽出部２１４は、Ｓ８０４で第２前景シルエット画像から抽出した精度の高い前景領域に合わせて、前景領域を抽出する。

【0071】

Ｓ８０６において、評価部２１５は、Ｓ８０５での抽出により取得された第１前景シルエット画像と、Ｓ８０４での抽出により取得された第２前景シルエット画像とを比較することで、閾値の変化量を算出するための評価値を算出する。

【0072】

Ｓ８０７において、ＣＰＵ１１１は、Ｓ８０６で算出した評価値と、予め設定されている基準となる評価値とを比較することで、該算出した評価値が良い値を示しているか（具体的には、Ｓ８０６で算出した評価値＞基準評価値か）判定する。本ステップの判定結果が真の場合、Ｓ８０８に進む一方、該判定結果が偽の場合、一連の処理は終了する。

【0073】

Ｓ８０８において、ＣＰＵ１１１は、Ｓ８０６で算出した評価値に基づいて、閾値の変化量を算出する。

【0074】

Ｓ８０９において、パラメータ更新部２１６は、その時点において第１抽出部２０２で用いる閾値として設定されている閾値から、Ｓ８０８で算出した変化量だけ変化させた値を、第１抽出部２０２で新たに用いる閾値として第１抽出部２０２に設定する。尚、図８のフローを１度実施するだけでは、ステップＳ８０９で最適な閾値を設定できるとは限らない。複数のフレームに対して実施することで、第１抽出部に対して最適な閾値を算出、設定することができる。

【0075】

尚、Ｓ８０２の処理は、Ｓ８０３からＳ８０４の処理と並行して実施してもよい。

【0076】

前述したように、第１の実施形態および第２の実施形態で存在していた第３抽出部における処理が、本実施形態ではなくなっている。従って、パラメータ調整部における処理負荷を低減することが可能になる。

【0077】

［その他の実施形態］
パラメータ調整部により調整できるものは背景差分法に使用する閾値のみとは限らない。例えば、パラメータ調整部は、生成された前景シルエット画像をさらに実際の前景領域画像に近づけるように加工する際に使用するパラメータも調整可能である。

【0078】

本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。尚、本発明は、前述の実施形態の要素を適宜組み合わせて構成してもよい。

【符号の説明】

【0079】

１００ 画像処理装置
２０３ 入力画像
２１２ 第２抽出部
２１６ パラメータ更新部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】