特許 6334967 画像処理方法、画像処理装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6334967

(24)【登録日】2018年5月11日

(45)【発行日】2018年5月30日

(54)【発明の名称】画像処理方法、画像処理装置、及びプログラム

(51)【国際特許分類】

   G06T 7/162 20170101AFI20180521BHJP

   G06T 7/90 20170101ALI20180521BHJP

【ＦＩ】

   G06T7/162

   G06T7/90 D

【請求項の数】14

【全頁数】20

(21)【出願番号】特願2014-49508(P2014-49508)

(22)【出願日】2014年3月12日

(65)【公開番号】特開2015-176163(P2015-176163A)

(43)【公開日】2015年10月5日

【審査請求日】2017年2月28日

(73)【特許権者】

【識別番号】591128453

【氏名又は名称】株式会社メガチップス

(74)【代理人】

【識別番号】100136353

【弁理士】

【氏名又は名称】高尾 建吾

(72)【発明者】

【氏名】野本 祥平

【審査官】 松浦 功

(56)【参考文献】

【文献】 特開２０１４−０１６８８５（ＪＰ，Ａ）

【文献】 特開２０１４−０１６６７６（ＪＰ，Ａ）

【文献】 ROTHER, C. et al，"GrabCut" - Interactive Foreground Extraction using Iterated Graph Cuts，ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2004 [online]，ACM，２００４年 ８月，Volume 23, Issue 3，Pages 309 - 314，[retrieved on 2018.04.09], インターネット，ＵＲＬ，https://dl.acm.org/citation.cfm?id=1015720

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０６Ｔ １／００

ＴＨＥ ＡＣＭ ＤＩＧＩＴＡＬ ＬＩＢＲＡＲＹ

(57)【特許請求の範囲】

【請求項1】

（Ａ）画像全体の中で指定された指定エリア内の画像に基づいて、複数の前景用色分布を混合した前景用特徴モデルを作成するステップと、
（Ｂ）指定エリア外の画像に基づいて、複数の背景用色分布を混合した第１の背景用特徴モデルを作成するステップと、
（Ｃ）各背景用色分布に関して、指定エリア内の画像に対する寄与度を算出するステップと、
（Ｄ）寄与度に応じた重み値を用いて各背景用色分布を修正することにより、第２の背景用特徴モデルを生成するステップと、
（Ｅ）前景用特徴モデルと第２の背景用特徴モデルとに基づいて、指定エリア内の画像を前景画像と背景画像とに分離するステップと、
を備える、画像処理方法。

【請求項2】

前記ステップ（Ｃ）は、
（Ｃ−１）指定エリア内の画像に含まれる各画素を、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類するステップと、
（Ｃ−２）各背景用色分布に分類された画素数の順位として、寄与度を算出するステップと、
を含む、請求項１に記載の画像処理方法。

【請求項3】

前記ステップ（Ｃ）は、
（Ｃ−１）指定エリア内の画像に含まれる各画素を、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類するステップと、
（Ｃ−２）指定エリア内の画像に含まれる総画素数に対する、各背景用色分布に分類された画素数の割合として、寄与度を算出するステップと、
を含む、請求項１に記載の画像処理方法。

【請求項4】

前記ステップ（Ｃ）は、
（Ｃ−１）指定エリア内の画像に含まれる各画素に関して、各背景用色分布との距離を算出するステップと、
（Ｃ−２）前記ステップ（Ｃ−１）で算出した距離を、指定エリア内の画像に含まれる全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離を算出するステップと、
（Ｃ−３）各背景用色分布に関する累積距離の順位として、寄与度を算出するステップと、
を含む、請求項１に記載の画像処理方法。

【請求項5】

前記ステップ（Ｃ）は、
（Ｃ−１）指定エリア内の画像に含まれる各画素に関して、各背景用色分布との距離を算出するステップと、
（Ｃ−２）前記ステップ（Ｃ−１）で算出した距離を、指定エリア内の画像に含まれる全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離を算出するステップと、
（Ｃ−３）全背景用色分布に関する累積距離の総和に対する、各背景用色分布に関する累積距離の割合として、寄与度を算出するステップと、
を含む、請求項１に記載の画像処理方法。

【請求項6】

前記ステップ（Ｃ）は、
（Ｃ−１）指定エリア内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類するステップと、
（Ｃ−２）推定背景画素に分類された各画素を、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類するステップと、
（Ｃ−３）各背景用色分布に分類された画素数の順位として、寄与度を算出するステップと、
を含む、請求項１に記載の画像処理方法。

【請求項7】

前記ステップ（Ｃ）は、
（Ｃ−１）指定エリア内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類するステップと、
（Ｃ−２）推定背景画素に分類された各画素を、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類するステップと、
（Ｃ−３）推定背景画素に分類された総画素数に対する、各背景用色分布に分類された画素数の割合として、寄与度を算出するステップと、
を含む、請求項１に記載の画像処理方法。

【請求項8】

前記ステップ（Ｃ）は、
（Ｃ−１）指定エリア内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類するステップと、
（Ｃ−２）推定背景画素に分類された各画素に関して、各背景用色分布との距離を算出するステップと、
（Ｃ−３）前記ステップ（Ｃ−２）で算出した距離を、推定背景画素に分類された全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離を算出するステップと、
（Ｃ−４）各背景用色分布に関する累積距離の順位として、寄与度を算出するステップと、
を含む、請求項１に記載の画像処理方法。

【請求項9】

前記ステップ（Ｃ）は、
（Ｃ−１）指定エリア内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類するステップと、
（Ｃ−２）推定背景画素に分類された各画素に関して、各背景用色分布との距離を算出するステップと、
（Ｃ−３）前記ステップ（Ｃ−２）で算出した距離を、推定背景画素に分類された全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離を算出するステップと、
（Ｃ−４）全背景用色分布に関する累積距離の総和に対する、各背景用色分布に関する累積距離の割合として、寄与度を算出するステップと、
を含む、請求項１に記載の画像処理方法。

【請求項10】

前記ステップ（Ｂ）は、各背景用色分布の中心座標を決定するステップを含み、
前記ステップ（Ｄ）では、前記ステップ（Ｃ）で算出された寄与度に応じた重み値に基づいて、新たな中心座標が決定される、請求項１〜９のいずれか一つに記載の画像処理方法。

【請求項11】

前記ステップ（Ｂ）は、各背景用色分布の中心座標を決定するステップを含み、
前記ステップ（Ｄ）では、前記ステップ（Ｂ）で決定された中心座標と共通の中心座標が使用される、請求項１〜９のいずれか一つに記載の画像処理方法。

【請求項12】

前記ステップ（Ｄ）では、前記ステップ（Ｃ）で算出された寄与度に応じた重み値に基づいて、各背景用色分布の重み付けを行うことにより、第２の背景用特徴モデルが生成される、請求項１〜１１のいずれか一つに記載の画像処理方法。

【請求項13】

画像全体の中で指定された指定エリア内の画像に基づいて、複数の前景用色分布を混合した前景用特徴モデルを作成する、前景用特徴モデル作成部と、
指定エリア外の画像に基づいて、複数の背景用色分布を混合した第１の背景用特徴モデルを作成する、背景用特徴モデル作成部と、
各背景用色分布に関して、指定エリア内の画像に対する寄与度を算出する寄与度演算部と、
寄与度に応じた重み値を用いて各背景用色分布を修正することにより、第２の背景用特徴モデルを生成する、背景用特徴モデル修正部と、
前景用特徴モデルと第２の背景用特徴モデルとに基づいて、指定エリア内の画像を前景画像と背景画像とに分離する画像分離部と、
を備える、画像処理装置。

【請求項14】

コンピュータに、
（Ａ）画像全体の中で指定された指定エリア内の画像に基づいて、複数の前景用色分布を混合した前景用特徴モデルを作成するステップと、
（Ｂ）指定エリア外の画像に基づいて、複数の背景用色分布を混合した第１の背景用特徴モデルを作成するステップと、
（Ｃ）各背景用色分布に関して、指定エリア内の画像に対する寄与度を算出するステップと、
（Ｄ）寄与度に応じた重み値を用いて各背景用色分布を修正することにより、第２の背景用特徴モデルを生成するステップと、
（Ｅ）前景用特徴モデルと第２の背景用特徴モデルとに基づいて、指定エリア内の画像を前景画像と背景画像とに分離するステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理方法、画像処理装置、及びプログラムに関し、特に、画像全体から前景画像と背景画像とを分離する画像分離方法に関する。

【背景技術】

【0002】

ディジタルカメラ等によって撮影された静止画像を対象として、グラフカットによって画像全体から前景画像と背景画像とを分離する画像分離方法が知られている（例えば下記特許文献１参照）。

【0003】

背景技術に係る画像分離方法によると、まず、画像全体の中で前景画像を含む矩形エリアが指定される。次に、矩形エリア内の画像に基づいて前景用のガウス混合分布が作成されるとともに、矩形エリア外の画像に基づいて背景用のガウス混合分布が作成される。次に、上記で作成した前景用及び背景用のガウス混合分布を用いたグラフカットによって、矩形エリア内の各画素が「前景」及び「背景」のいずれかに分類される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１−２３７９０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述した背景技術に係る画像分離方法によると、矩形エリア外の画像に基づいて作成された背景用のガウス混合分布を用いてグラフカットが行われる。

【0006】

例えば、人物が海と砂浜とをバックにし、顔が砂浜には重なっているが海には重なっていない構図のポートレート写真を想定する。この場合、背景用のガウス混合分布としては、砂浜の白と海の青とが大きな面積を占めるガウス混合分布が作成される。しかし、顔の周りに指定される矩形エリア内には海の青が含まれていないため、背景用のガウス混合分布のうち青成分に関するガウス分布は無駄となり、他の色成分に関する表現力が低下する。このように、背景技術に係る画像分離方法によると、画像全体と矩形エリア内とで背景の色分布が大きく異なる場合には、矩形エリア内での背景に関する表現力が低下し、その結果、前景画像と背景画像との分離精度が低下する。

【0007】

本発明はかかる問題を解決するために成されたものであり、画像全体と指定エリア内とで背景の色分布が大きく異なる場合であっても、指定エリア内における前景画像と背景画像との分離精度を向上することが可能な、画像処理方法、画像処理装置、及びプログラムを得ることを目的とする。

【課題を解決するための手段】

【0008】

本発明の第１の態様に係る画像処理方法は、（Ａ）画像全体の中で指定された指定エリア内の画像に基づいて、複数の前景用色分布を混合した前景用特徴モデルを作成するステップと、（Ｂ）指定エリア外の画像に基づいて、複数の背景用色分布を混合した第１の背景用特徴モデルを作成するステップと、（Ｃ）各背景用色分布に関して、指定エリア内の画像に対する寄与度を算出するステップと、（Ｄ）寄与度に応じた重み値を用いて各背景用色分布を修正することにより、第２の背景用特徴モデルを生成するステップと、（Ｅ）前景用特徴モデルと第２の背景用特徴モデルとに基づいて、指定エリア内の画像を前景画像と背景画像とに分離するステップと、を備えることを特徴とするものである。

【0009】

第１の態様に係る画像処理方法によれば、ステップ（Ｂ）では、指定エリア外の画像に基づいて、第１の背景用特徴モデルが作成され、ステップ（Ｃ）では、各背景用色分布に関して、指定エリア内の画像に対する寄与度が算出され、ステップ（Ｄ）では、寄与度に応じた重み値を用いて各背景用色分布を修正することにより、第２の背景用特徴モデルが生成される。このように、指定エリア外の画像に基づいて作成された第１の背景用特徴モデルが、指定エリア内の画像に対する寄与度に応じた重み値を用いて、第２の背景用特徴モデルに修正されるため、画像全体と指定エリア内とで背景の色分布が大きく異なる場合であっても、指定エリア内における前景画像と背景画像との分離精度を向上することが可能となる。

【0010】

本発明の第２の態様に係る画像処理方法は、第１の態様に係る画像処理方法において特に、前記ステップ（Ｃ）は、（Ｃ−１）指定エリア内の画像に含まれる各画素を、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類するステップと、（Ｃ−２）各背景用色分布に分類された画素数の順位として、寄与度を算出するステップと、を含むことを特徴とするものである。

【0011】

第２の態様に係る画像処理方法によれば、ステップ（Ｃ−１）では、指定エリア内の画像に含まれる各画素が、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類される。従って、簡易に分類を行うことが可能となる。また、ステップ（Ｃ−２）では、各背景用色分布に分類された画素数の順位として、寄与度が算出される。このように、順位として寄与度を算出することにより、重み値を恣意的に決定することが可能となる。

【0012】

本発明の第３の態様に係る画像処理方法は、第１の態様に係る画像処理方法において特に、前記ステップ（Ｃ）は、（Ｃ−１）指定エリア内の画像に含まれる各画素を、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類するステップと、（Ｃ−２）指定エリア内の画像に含まれる総画素数に対する、各背景用色分布に分類された画素数の割合として、寄与度を算出するステップと、を含むことを特徴とするものである。

【0013】

第３の態様に係る画像処理方法によれば、ステップ（Ｃ−１）では、指定エリア内の画像に含まれる各画素が、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類される。従って、簡易に分類を行うことが可能となる。また、ステップ（Ｃ−２）では、指定エリア内の画像に含まれる総画素数に対する、各背景用色分布に分類された画素数の割合として、寄与度が算出される。このように、割合として寄与度を算出することにより、重み値を簡易に決定することが可能となる。

【0014】

本発明の第４の態様に係る画像処理方法は、第１の態様に係る画像処理方法において特に、前記ステップ（Ｃ）は、（Ｃ−１）指定エリア内の画像に含まれる各画素に関して、各背景用色分布との距離を算出するステップと、（Ｃ−２）前記ステップ（Ｃ−１）で算出した距離を、指定エリア内の画像に含まれる全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離を算出するステップと、（Ｃ−３）各背景用色分布に関する累積距離の順位として、寄与度を算出するステップと、を含むことを特徴とするものである。

【0015】

第４の態様に係る画像処理方法によれば、ステップ（Ｃ−１）では、指定エリア内の画像に含まれる各画素に関して、各背景用色分布との距離が算出され、ステップ（Ｃ−２）では、ステップ（Ｃ−１）で算出した距離を、指定エリア内の画像に含まれる全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離が算出される。このように、距離が最も近い背景用色分布だけでなく、全ての背景用色分布との距離に基づいて寄与度を算出することにより、距離が最も近いわけではないが有用である背景用色分布の影響を、修正後の第２の背景用特徴モデルに反映させることが可能となる。また、ステップ（Ｃ−３）では、各背景用色分布に関する累積距離の順位として、寄与度が算出される。このように、順位として寄与度を算出することにより、重み値を恣意的に決定することが可能となる。

【0016】

本発明の第５の態様に係る画像処理方法は、第１の態様に係る画像処理方法において特に、前記ステップ（Ｃ）は、（Ｃ−１）指定エリア内の画像に含まれる各画素に関して、各背景用色分布との距離を算出するステップと、（Ｃ−２）前記ステップ（Ｃ−１）で算出した距離を、指定エリア内の画像に含まれる全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離を算出するステップと、（Ｃ−３）全背景用色分布に関する累積距離の総和に対する、各背景用色分布に関する累積距離の割合として、寄与度を算出するステップと、を含むことを特徴とするものである。

【0017】

第５の態様に係る画像処理方法によれば、ステップ（Ｃ−１）では、指定エリア内の画像に含まれる各画素に関して、各背景用色分布との距離が算出され、ステップ（Ｃ−２）では、ステップ（Ｃ−１）で算出した距離を、指定エリア内の画像に含まれる全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離が算出される。このように、距離が最も近い背景用色分布だけでなく、全ての背景用色分布との距離に基づいて寄与度を算出することにより、距離が最も近いわけではないが有用である背景用色分布の影響を、修正後の第２の背景用特徴モデルに反映させることが可能となる。また、ステップ（Ｃ−３）では、全背景用色分布に関する累積距離の総和に対する、各背景用色分布に関する累積距離の割合として、寄与度が算出される。このように、割合として寄与度を算出することにより、重み値を簡易に決定することが可能となる。

【0018】

本発明の第６の態様に係る画像処理方法は、第１の態様に係る画像処理方法において特に、前記ステップ（Ｃ）は、（Ｃ−１）指定エリア内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類するステップと、（Ｃ−２）推定背景画素に分類された各画素を、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類するステップと、（Ｃ−３）各背景用色分布に分類された画素数の順位として、寄与度を算出するステップと、を含むことを特徴とするものである。

【0019】

第６の態様に係る画像処理方法によれば、ステップ（Ｃ−１）では、指定エリア内の画像に含まれる各画素が、推定前景画素及び推定背景画素のいずれかに分類され、ステップ（Ｃ−２）では、推定背景画素に分類された各画素が、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類される。従って、推定前景画素の影響を排除して分離精度を向上できるとともに、簡易に分類を行うことが可能となる。また、ステップ（Ｃ−３）では、各背景用色分布に分類された画素数の順位として、寄与度が算出される。このように、順位として寄与度を算出することにより、重み値を恣意的に決定することが可能となる。

【0020】

本発明の第７の態様に係る画像処理方法は、第１の態様に係る画像処理方法において特に、前記ステップ（Ｃ）は、（Ｃ−１）指定エリア内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類するステップと、（Ｃ−２）推定背景画素に分類された各画素を、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類するステップと、（Ｃ−３）推定背景画素に分類された総画素数に対する、各背景用色分布に分類された画素数の割合として、寄与度を算出するステップと、を含むことを特徴とするものである。

【0021】

第７の態様に係る画像処理方法によれば、ステップ（Ｃ−１）では、指定エリア内の画像に含まれる各画素が、推定前景画素及び推定背景画素のいずれかに分類され、ステップ（Ｃ−２）では、推定背景画素に分類された各画素が、複数の背景用色分布の中で距離が最も近いいずれかの背景用色分布に分類される。従って、推定前景画素の影響を排除して分離精度を向上できるとともに、簡易に分類を行うことが可能となる。また、ステップ（Ｃ−３）では、推定背景画素に分類された総画素数に対する、各背景用色分布に分類された画素数の割合として、寄与度が算出される。このように、割合として寄与度を算出することにより、重み値を簡易に決定することが可能となる。

【0022】

本発明の第８の態様に係る画像処理方法は、第１の態様に係る画像処理方法において特に、前記ステップ（Ｃ）は、（Ｃ−１）指定エリア内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類するステップと、（Ｃ−２）推定背景画素に分類された各画素に関して、各背景用色分布との距離を算出するステップと、（Ｃ−３）前記ステップ（Ｃ−２）で算出した距離を、推定背景画素に分類された全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離を算出するステップと、（Ｃ−４）各背景用色分布に関する累積距離の順位として、寄与度を算出するステップと、を含むことを特徴とするものである。

【0023】

第８の態様に係る画像処理方法によれば、ステップ（Ｃ−１）では、指定エリア内の画像に含まれる各画素が、推定前景画素及び推定背景画素のいずれかに分類され、ステップ（Ｃ−２）では、推定背景画素に分類された各画素に関して、各背景用色分布との距離が算出され、ステップ（Ｃ−３）では、ステップ（Ｃ−２）で算出した距離を、推定背景画素に分類された全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離が算出される。従って、推定前景画素の影響を排除して分離精度を向上することが可能となる。また、距離が最も近い背景用色分布だけでなく、全ての背景用色分布との距離に基づいて寄与度を算出することにより、距離が最も近いわけではないが有用である背景用色分布の影響を、修正後の第２の背景用特徴モデルに反映させることが可能となる。また、ステップ（Ｃ−４）では、各背景用色分布に関する累積距離の順位として、寄与度が算出される。このように、順位として寄与度を算出することにより、重み値を恣意的に決定することが可能となる。

【0024】

本発明の第９の態様に係る画像処理方法は、第１の態様に係る画像処理方法において特に、前記ステップ（Ｃ）は、（Ｃ−１）指定エリア内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類するステップと、（Ｃ−２）推定背景画素に分類された各画素に関して、各背景用色分布との距離を算出するステップと、（Ｃ−３）前記ステップ（Ｃ−２）で算出した距離を、推定背景画素に分類された全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離を算出するステップと、（Ｃ−４）全背景用色分布に関する累積距離の総和に対する、各背景用色分布に関する累積距離の割合として、寄与度を算出するステップと、を含むことを特徴とするものである。

【0025】

第９の態様に係る画像処理方法によれば、ステップ（Ｃ−１）では、指定エリア内の画像に含まれる各画素が、推定前景画素及び推定背景画素のいずれかに分類され、ステップ（Ｃ−２）では、推定背景画素に分類された各画素に関して、各背景用色分布との距離が算出され、ステップ（Ｃ−３）では、ステップ（Ｃ−２）で算出した距離を、推定背景画素に分類された全画素に関して背景用色分布毎に積算することにより、各背景用色分布に関する累積距離が算出される。従って、推定前景画素の影響を排除して分離精度を向上することが可能となる。また、距離が最も近い背景用色分布だけでなく、全ての背景用色分布との距離に基づいて寄与度を算出することにより、距離が最も近いわけではないが有用である背景用色分布の影響を、修正後の第２の背景用特徴モデルに反映させることが可能となる。また、ステップ（Ｃ−４）では、全背景用色分布に関する累積距離の総和に対する、各背景用色分布に関する累積距離の割合として、寄与度が算出される。このように、割合として寄与度を算出することにより、重み値を簡易に決定することが可能となる。

【0026】

本発明の第１０の態様に係る画像処理方法は、第１〜第９のいずれか一つの態様に係る画像処理方法において特に、前記ステップ（Ｂ）は、各背景用色分布の中心座標を決定するステップを含み、前記ステップ（Ｄ）では、前記ステップ（Ｃ）で算出された寄与度に応じた重み値に基づいて、新たな中心座標が決定されることを特徴とするものである。

【0027】

第１０の態様に係る画像処理方法によれば、ステップ（Ｄ）では、ステップ（Ｃ）で算出された寄与度に応じた重み値に基づいて、新たな中心座標が決定される。従って、寄与度が反映された新たな中心座標が設定されることによって背景用特徴モデルの適正化を図ることができ、その結果、分離精度を向上することが可能となる。

【0028】

本発明の第１１の態様に係る画像処理方法は、第１〜第９のいずれか一つの態様に係る画像処理方法において特に、前記ステップ（Ｂ）は、各背景用色分布の中心座標を決定するステップを含み、前記ステップ（Ｄ）では、前記ステップ（Ｂ）で決定された中心座標と共通の中心座標が使用されることを特徴とするものである。

【0029】

第１１の態様に係る画像処理方法によれば、ステップ（Ｄ）では、ステップ（Ｂ）で決定された中心座標と共通の中心座標が使用される。従って、新たな中心座標を決定する処理が不要となるため、処理負荷を軽減することが可能となる。

【0030】

本発明の第１２の態様に係る画像処理方法は、第１〜第１１のいずれか一つの態様に係る画像処理方法において特に、前記ステップ（Ｄ）では、前記ステップ（Ｃ）で算出された寄与度に応じた重み値に基づいて、各背景用色分布の重み付けを行うことにより、第２の背景用特徴モデルが生成されることを特徴とするものである。

【0031】

第１２の態様に係る画像処理方法によれば、ステップ（Ｄ）では、ステップ（Ｃ）で算出された寄与度に応じた重み値に基づいて、各背景用色分布の重み付けを行うことによって、第２の背景用特徴モデルが生成される。従って、寄与度を反映させて各背景用色分布の重み付けを行うことによって背景用特徴モデルの適正化を図ることができ、その結果、分離精度を向上することが可能となる。

【0032】

本発明の第１３の態様に係る画像処理装置は、画像全体の中で指定された指定エリア内の画像に基づいて、複数の前景用色分布を混合した前景用特徴モデルを作成する、前景用特徴モデル作成部と、指定エリア外の画像に基づいて、複数の背景用色分布を混合した第１の背景用特徴モデルを作成する、背景用特徴モデル作成部と、各背景用色分布に関して、指定エリア内の画像に対する寄与度を算出する寄与度演算部と、寄与度に応じた重み値を用いて各背景用色分布を修正することにより、第２の背景用特徴モデルを生成する、背景用特徴モデル修正部と、前景用特徴モデルと第２の背景用特徴モデルとに基づいて、指定エリア内の画像を前景画像と背景画像とに分離する画像分離部と、
を備えることを特徴とするものである。

【0033】

第１３の態様に係る画像処理装置によれば、背景用特徴モデル作成部は、指定エリア外の画像に基づいて、第１の背景用特徴モデルを作成し、寄与度演算部は、各背景用色分布に関して、指定エリア内の画像に対する寄与度を算出し、背景用特徴モデル修正部は、寄与度に応じた重み値を用いて各背景用色分布を修正することにより、第２の背景用特徴モデルを生成する。このように、指定エリア外の画像に基づいて作成された第１の背景用特徴モデルが、指定エリア内の画像に対する寄与度に応じた重み値を用いて、第２の背景用特徴モデルに修正されるため、画像全体と指定エリア内とで背景の色分布が大きく異なる場合であっても、指定エリア内における前景画像と背景画像との分離精度を向上することが可能となる。

【0034】

本発明の第１４の態様に係るプログラムは、コンピュータに、（Ａ）画像全体の中で指定された指定エリア内の画像に基づいて、複数の前景用色分布を混合した前景用特徴モデルを作成するステップと、（Ｂ）指定エリア外の画像に基づいて、複数の背景用色分布を混合した第１の背景用特徴モデルを作成するステップと、（Ｃ）各背景用色分布に関して、指定エリア内の画像に対する寄与度を算出するステップと、（Ｄ）寄与度に応じた重み値を用いて各背景用色分布を修正することにより、第２の背景用特徴モデルを生成するステップと、（Ｅ）前景用特徴モデルと第２の背景用特徴モデルとに基づいて、指定エリア内の画像を前景画像と背景画像とに分離するステップと、を実行させるためのプログラムである。

【0035】

第１４の態様に係るプログラムによれば、ステップ（Ｂ）では、指定エリア外の画像に基づいて、第１の背景用特徴モデルが作成され、ステップ（Ｃ）では、各背景用色分布に関して、指定エリア内の画像に対する寄与度が算出され、ステップ（Ｄ）では、寄与度に応じた重み値を用いて各背景用色分布を修正することにより、第２の背景用特徴モデルが生成される。このように、指定エリア外の画像に基づいて作成された第１の背景用特徴モデルが、指定エリア内の画像に対する寄与度に応じた重み値を用いて、第２の背景用特徴モデルに修正されるため、画像全体と指定エリア内とで背景の色分布が大きく異なる場合であっても、指定エリア内における前景画像と背景画像との分離精度を向上することが可能となる。

【発明の効果】

【0036】

本発明によれば、画像全体と指定エリア内とで背景の色分布が大きく異なる場合であっても、指定エリア内における前景画像と背景画像との分離精度を向上することが可能となる。

【図面の簡単な説明】

【0037】

【図1】本発明の実施の形態に係る画像処理装置の構成を示す図である。

【図2】画像処理装置の機能を実現するコンピュータの構成を示す図である。

【図3】入力画像の一例を簡略化して示す図である。

【図4】画像処理装置が実行する処理の流れを示すフローチャートである。

【図5】寄与度の算出手法の第１の例を示すフローチャートである。

【図6】一つの背景用ガウス分布を示す図である。

【図7】寄与度の算出手法の第２の例を示すフローチャートである。

【図8】寄与度の算出手法の第３の例を示すフローチャートである。

【図9】寄与度の算出手法の第４の例を示すフローチャートである。

【図10】寄与度の算出手法の第５の例を示すフローチャートである。

【図11】寄与度の算出手法の第６の例を示すフローチャートである。

【図12】寄与度の算出手法の第７の例を示すフローチャートである。

【図13】寄与度の算出手法の第８の例を示すフローチャートである。

【図14】背景用ガウス混合モデル修正部によるモデル作成手法の第１の例を示すフローチャートである。

【図15】背景用ガウス混合モデル修正部によるモデル作成手法の第２の例を示すフローチャートである。

【図16】矩形エリアに関して画像分離を１回実行した時点での出力画像を示す図である。

【発明を実施するための形態】

【0038】

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。

【0039】

図１は、本発明の実施の形態に係る画像処理装置１の構成を示す図である。図１の接続関係で示すように、画像処理装置１は、前景用ガウス混合モデル作成部２、背景用ガウス混合モデル作成部３、寄与度演算部４、背景用ガウス混合モデル修正部５、及び画像分離部６を備えて構成されている。画像処理装置１は、専用ＬＳＩ等のハードウェアによって構成されている。

【0040】

画像処理装置１には、ディジタルカメラ等によって撮影された静止画像が、入力画像データＤ１として入力される。画像処理装置１は、グラフカットによって画像全体から前景画像と背景画像とを分離し、前景画像に関する出力画像データＤ６を出力する。

【0041】

なお、画像処理装置１は、ソフトウェアによって実現されても良い。図２は、画像処理装置１の機能を実現するコンピュータの構成を示す図である。ＣＰＵ１１、ＲＡＭ１２、及びＲＯＭ１３が、バス１０を介して相互に接続されている。ＲＯＭ１３内にはプログラム１４が格納されている。ＣＰＵ１１がＲＯＭ１３からＲＡＭ１２にプログラム１４を読み出して実行することにより、ＣＰＵ１１は図１に示した画像処理装置１として動作する。換言すれば、プログラム１４は、コンピュータを、前景用ガウス混合モデル作成部２、背景用ガウス混合モデル作成部３、寄与度演算部４、背景用ガウス混合モデル修正部５、及び画像分離部６として機能させるためのプログラムである。

【0042】

図３は、入力画像の一例を簡略化して示す図である。ユーザは、画像全体５０のうち前景画像として抽出したいオブジェクト５１を含む矩形エリア５２を、マウス操作等によって指定する。但し、ユーザによる手動指定に代えて、パターンマッチング等による自動指定によって矩形エリア５２の指定が行われても良い。

【0043】

図４は、画像処理装置１が実行する処理の流れを示すフローチャートである。まずステップＳＰ１０１において前景用ガウス混合モデル作成部２は、矩形エリア５２内の画像に基づいて、色分布が異なる複数の前景用ガウス分布を作成する。そして、それらの前景用ガウス分布を混合することによって前景用ガウス混合モデルを作成し、データＤ２として出力する。また、背景用ガウス混合モデル作成部３は、矩形エリア５２外の画像に基づいて、色分布が異なる複数Ｋ個（例えば５個）の背景用ガウス分布を作成する。そして、それらの背景用ガウス分布を混合することによって背景用ガウス混合モデルを作成し、データＤ３として出力する。

【0044】

次にステップＳＰ１０２において寄与度演算部４は、Ｋ個の背景用ガウス分布の各々に関して、矩形エリア５２内の画像に対する寄与度（詳細は後述する）を算出し、データＤ４として出力する。

【0045】

次にステップＳＰ１０３において背景用ガウス混合モデル修正部５は、寄与度に応じた重み値を用いて各背景用ガウス分布を修正することにより、背景用ガウス混合モデルを生成し、データＤ５として出力する。つまり、背景用ガウス混合モデル修正部５は、寄与度が高い背景用ガウス分布に属する画素には高い重み値を割り当て、寄与度が低い背景用ガウス分布に属する画素には低い重み値を割り当てて、矩形エリア５２外の画像に基づいてＫ個の背景用ガウス分布を再計算する。そして、再計算した背景用ガウス分布を混合することによって修正後の背景用ガウス混合モデルを作成し、データＤ５として出力する。なお、寄与度に応じた重み値としては、実験やシミュレーション等によって最適値が予め求められている。

【0046】

次にステップＳＰ１０４において画像分離部６は、前景用ガウス混合モデル（データＤ２）と背景用ガウス混合モデル（データＤ５）とに基づいて、グラフカットによって矩形エリア５２内の画像を前景画像と背景画像とに分離し、前景画像に関する出力画像データＤ６を出力する。

【0047】

図５は、寄与度の算出手法の第１の例を示すフローチャートである。まずステップＳＰ２０１において寄与度演算部４は、矩形エリア５２内の画像に含まれる各画素を、ステップＳＰ１０１で求めたＫ個の背景用ガウス分布の中で距離Ｌが最も近いいずれかの背景用ガウス分布に分類する。図６は、一つの背景用ガウス分布を示す図である。横軸はＲＧＢの色分布であり、縦軸は画素度数である。本明細書では、ある画素の画素値（ＲＧＢ値）に対応する画素度数を距離Ｌと定義し、画素値がガウス分布の中心座標に近いほど（つまり距離Ｌの値が大きいほど）、その画素とそのガウス分布との距離は「近い」と定義する。

【0048】

次にステップＳＰ２０２において寄与度演算部４は、各背景用ガウス分布に分類された画素数の順位として、寄与度を算出する。つまり、より多くの画素が属する背景用ガウス分布ほど順位は上位となり、より少ない画素が属する背景用ガウス分布ほど順位は下位となる。

【0049】

図７は、寄与度の算出手法の第２の例を示すフローチャートである。まずステップＳＰ３０１において寄与度演算部４は、矩形エリア５２内の画像に含まれる各画素を、ステップＳＰ１０１で求めたＫ個の背景用ガウス分布の中で距離Ｌが最も近いいずれかの背景用ガウス分布に分類する。

【0050】

次にステップＳＰ３０２において寄与度演算部４は、矩形エリア５２内の画像に含まれる総画素数に対する、各背景用ガウス分布に分類された画素数の割合として、寄与度を算出する。つまり、より多くの画素が属する背景用ガウス分布ほど割合は大きくなり、より少ない画素が属する背景用ガウス分布ほど割合は小さくなる。

【0051】

図８は、寄与度の算出手法の第３の例を示すフローチャートである。まずステップＳＰ４０１において寄与度演算部４は、矩形エリア５２内の画像に含まれる各画素に関して、Ｋ個の背景用ガウス分布の各々との距離Ｌを算出する。

【0052】

次にステップＳＰ４０２において寄与度演算部４は、ステップＳＰ４０１で算出した各画素−各背景用ガウス分布間の距離を、矩形エリア５２内の画像に含まれる全画素に関して背景用ガウス分布毎に積算することにより、Ｋ個の背景用ガウス分布の各々に関する累積距離を算出する。

【0053】

次にステップＳＰ４０３において寄与度演算部４は、各背景用ガウス分布に関する累積距離の順位として、寄与度を算出する。つまり、累積距離の値が大きい背景用ガウス分布ほど順位は上位となり、累積距離の値が小さい背景用ガウス分布ほど順位は下位となる。

【0054】

図９は、寄与度の算出手法の第４の例を示すフローチャートである。まずステップＳＰ５０１において寄与度演算部４は、矩形エリア５２内の画像に含まれる各画素に関して、Ｋ個の背景用ガウス分布の各々との距離Ｌを算出する。

【0055】

次にステップＳＰ５０２において寄与度演算部４は、ステップＳＰ５０１で算出した各画素−各背景用ガウス分布間の距離を、矩形エリア５２内の画像に含まれる全画素に関して背景用ガウス分布毎に積算することにより、Ｋ個の背景用ガウス分布の各々に関する累積距離を算出する。

【0056】

次にステップＳＰ５０３において寄与度演算部４は、全背景用ガウス分布に関する累積距離の総和に対する、各背景用ガウス分布に関する累積距離の割合として、寄与度を算出する。つまり、累積距離の値が大きい背景用ガウス分布ほど割合は大きくなり、累積距離の値が小さい背景用ガウス分布ほど割合は小さくなる。

【0057】

図１０は、寄与度の算出手法の第５の例を示すフローチャートである。まずステップＳＰ２００において寄与度演算部４は、矩形エリア５２内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類する。ある画素に関して、最も距離が近い前景用ガウス分布との間の距離Ｌ１と、最も距離が近い背景用ガウス分布との間の距離Ｌ２とを求め、両者を比較する。そして、距離Ｌ１の値よりも距離Ｌ２の値のほうが大きければ、その画素を推定背景画素に分類する。一方、距離Ｌ２の値よりも距離Ｌ１の値のほうが大きければ、その画素を推定前景画素に分類する。

【0058】

次にステップＳＰ２０１において寄与度演算部４は、推定背景画素に分類された各画素を、ステップＳＰ１０１で求めたＫ個の背景用ガウス分布の中で距離Ｌが最も近いいずれかの背景用ガウス分布に分類する。

【0059】

次にステップＳＰ２０２において寄与度演算部４は、各背景用ガウス分布に分類された画素数の順位として、寄与度を算出する。つまり、より多くの画素が属する背景用ガウス分布ほど順位は上位となり、より少ない画素が属する背景用ガウス分布ほど順位は下位となる。

【0060】

図１１は、寄与度の算出手法の第６の例を示すフローチャートである。まずステップＳＰ３００において寄与度演算部４は、矩形エリア５２内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類する。

【0061】

次にステップＳＰ３０１において寄与度演算部４は、推定背景画素に分類された各画素を、ステップＳＰ１０１で求めたＫ個の背景用ガウス分布の中で距離Ｌが最も近いいずれかの背景用ガウス分布に分類する。

【0062】

次にステップＳＰ３０２において寄与度演算部４は、推定背景画素に分類された総画素数に対する、各背景用ガウス分布に分類された画素数の割合として、寄与度を算出する。つまり、より多くの画素が属する背景用ガウス分布ほど割合は大きくなり、より少ない画素が属する背景用ガウス分布ほど割合は小さくなる。

【0063】

図１２は、寄与度の算出手法の第７の例を示すフローチャートである。まずステップＳＰ４００において寄与度演算部４は、矩形エリア５２内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類する。

【0064】

次にステップＳＰ４０１において寄与度演算部４は、推定背景画素に分類された各画素に関して、Ｋ個の背景用ガウス分布の各々との距離Ｌを算出する。

【0065】

次にステップＳＰ４０２において寄与度演算部４は、ステップＳＰ４０１で算出した各画素−各背景用ガウス分布間の距離を、矩形エリア５２内の画像に含まれる全画素に関して背景用ガウス分布毎に積算することにより、Ｋ個の背景用ガウス分布の各々に関する累積距離を算出する。

【0066】

次にステップＳＰ４０３において寄与度演算部４は、各背景用ガウス分布に関する累積距離の順位として、寄与度を算出する。つまり、累積距離の値が大きい背景用ガウス分布ほど順位は上位となり、累積距離の値が小さい背景用ガウス分布ほど順位は下位となる。

【0067】

図１３は、寄与度の算出手法の第８の例を示すフローチャートである。まずステップＳＰ５００において寄与度演算部４は、矩形エリア５２内の画像に含まれる各画素を、推定前景画素及び推定背景画素のいずれかに分類する。

【0068】

次にステップＳＰ５０１において寄与度演算部４は、推定背景画素に分類された各画素に関して、Ｋ個の背景用ガウス分布の各々との距離Ｌを算出する。

【0069】

次にステップＳＰ５０２において寄与度演算部４は、ステップＳＰ５０１で算出した各画素−各背景用ガウス分布間の距離を、矩形エリア５２内の画像に含まれる全画素に関して背景用ガウス分布毎に積算することにより、Ｋ個の背景用ガウス分布の各々に関する累積距離を算出する。

【0070】

次にステップＳＰ５０３において寄与度演算部４は、全背景用ガウス分布に関する累積距離の総和に対する、各背景用ガウス分布に関する累積距離の割合として、寄与度を算出する。つまり、累積距離の値が大きい背景用ガウス分布ほど割合は大きくなり、累積距離の値が小さい背景用ガウス分布ほど割合は小さくなる。

【0071】

図１４は、背景用ガウス混合モデル修正部５によるモデル作成手法（ステップＳＰ１０３）の第１の例を示すフローチャートである。まずステップＳＰ６０１Ａにおいて背景用ガウス混合モデル修正部５は、矩形エリア５２外の画像に基づいて、クラスタリングによってＫ個の中心座標（初期値）を決定する。このとき背景用ガウス混合モデル修正部５は、ステップＳＰ１０２で算出した寄与度に基づいて、Ｋ個の新たな中心座標を決定する。具体的には、矩形エリア５２外の各画素について、ステップＳＰ１０１で作成したＫ個の背景用ガウス分布のうち、その画素との距離が最も近いガウス分布（以下「最近ガウス分布」と称す）を、それぞれ特定する。そして、矩形エリア５２外の各画素について、その画素の最近ガウス分布の寄与度に応じた重み値によってその画素の画素値（ＲＧＢ値）を重み付け、重み付けがなされた後の画素値を用いて、Ｋ−ｍｅａｎｓ等のクラスタリングによってＫ個の新たな中心座標を設定する。但し、ステップＳＰ１０１で設定された中心座標がステップＳＰ６０１Ａで再び採用されることを禁止する意図ではなく、ステップＳＰ１０２で算出した寄与度が高い背景用ガウス分布に関しては、その中心座標がステップＳＰ６０１Ａにおいて再び採用されることもある。一方、ステップＳＰ１０２で算出した寄与度が低い背景用ガウス分布に関しては、その中心座標がステップＳＰ６０１Ａにおいて再び採用される可能性は低い。

【0072】

次にステップＳＰ６０２において背景用ガウス混合モデル修正部５は、矩形エリア５２外の画像に含まれる各画素に関して、Ｋ個の中心座標の中で最も距離が近いいずれかの中心座標を選択することにより、各画素をＫ個の画素群のいずれかに分類する。

【0073】

次にステップＳＰ６０３において背景用ガウス混合モデル修正部５は、Ｋ個の画素群の各々に関して、中心座標及び分散を算出することによって背景用ガウス分布を作成する。

【0074】

次にステップＳＰ６０４において背景用ガウス混合モデル修正部５は、ステップＳＰ６０３で作成した各背景用ガウス分布の重み付けを行うことにより、Ｋ個の背景用ガウス分布が混合された背景用ガウス混合モデルを作成する。このとき背景用ガウス混合モデル修正部５は、ステップＳＰ１０２で算出した寄与度に基づいて、各背景用ガウス分布の重み付けを行う。具体的には、ステップＳＰ６０３で作成したＫ個の背景用ガウス分布の各々について、そのガウス分布内に属する全ての画素の重み値（最近ガウス分布の寄与度に応じた上記重み値）を積算することによって、重み積算値を算出する。そして、各背景用ガウス分布に属する画素の画素度数（又はその割合）と、各背景用ガウス分布の重み積算値とに基づいて各背景用ガウス分布の重み付けを行うことにより、背景用ガウス混合モデルを作成する。

【0075】

なお、ステップＳＰ６０２〜ＳＰ６０４のアルゴリズムに代えて、ＥＭアルゴリズム（EM：Expectation-Maximization）によってガウス混合モデルを作成しても良い。

【0076】

図１５は、背景用ガウス混合モデル修正部５によるモデル作成手法（ステップＳＰ１０３）の第２の例を示すフローチャートである。まずステップＳＰ６０１Ｂにおいて背景用ガウス混合モデル修正部５は、Ｋ個の中心座標を決定する。このとき、中心座標としては、ステップＳＰ１０１において背景用ガウス混合モデルを作成する際に使用したＫ個の背景用ガウス分布の中心座標を、ステップＳＰ６０１Ｂでもそのまま使用する。

【0077】

次にステップＳＰ６０２において背景用ガウス混合モデル修正部５は、矩形エリア５２外の画像に含まれる各画素に関して、Ｋ個の中心座標の中で最も距離が近いいずれかの中心座標を選択することにより、各画素をＫ個の画素群のいずれかに分類する。

【0078】

次にステップＳＰ６０３において背景用ガウス混合モデル修正部５は、Ｋ個の画素群の各々に関して、中心座標及び分散を算出することによって背景用ガウス分布を作成する。

【0079】

次にステップＳＰ６０４において背景用ガウス混合モデル修正部５は、ステップＳＰ６０３で作成した各背景用ガウス分布の重み付けを行うことにより、Ｋ個の背景用ガウス分布が混合された背景用ガウス混合モデルを作成する。このとき、上記と同様に背景用ガウス混合モデル修正部５は、各背景用ガウス分布に属する画素の画素度数（又はその割合）と、各背景用ガウス分布の重み積算値とに基づいて各背景用ガウス分布の重み付けを行うことにより、背景用ガウス混合モデルを作成する。

【0080】

なお、ステップＳＰ６０２〜ＳＰ６０４のアルゴリズムに代えて、ＥＭアルゴリズムによってガウス混合モデルを作成しても良い。

【0081】

＜変形例＞
上記実施の形態では矩形エリア５２に関する画像分離を１回のみ実行したが、複数回繰り返して実行しても良い。

【0082】

図１６は、矩形エリア５２に関して画像分離を１回実行した時点での出力画像を示す図である。オブジェクト５１の周囲に不要な背景領域５３が残っている。

【0083】

そこで、矩形エリア５２全体ではなく、オブジェクト５１と残余の背景領域５３とを含む１回目の出力画像を入力画像として用いて、２回目の画像分離を実行する。２回目の画像分離でも背景領域が残っている場合には、２回目の出力画像を入力画像として用いて３回目の画像分離を実行する。このように画像分離を繰り返すことにより、残余の背景領域が次第に減少し、最終的にはオブジェクト５１のみを適切に抽出することができる。

【0084】

＜まとめ＞
本実施の形態に係る画像処理方法によれば、図４に示したように、ステップＳＰ１０１では、矩形エリア５２外の画像に基づいて、背景用ガウス混合モデル（第１の背景用特徴モデル）が作成され、ステップＳＰ１０２では、各背景用ガウス分布に関して、矩形エリア５２内の画像に対する寄与度が算出され、ステップＳＰ１０３では、寄与度に応じた重み値を用いて各背景用ガウス分布を修正することにより、修正後の背景用ガウス混合モデル（第２の背景用特徴モデル）が生成される。このように、矩形エリア５２外の画像に基づいて作成された第１の背景用特徴モデルが、矩形エリア５２内の画像に対する寄与度に応じた重み値を用いて、第２の背景用特徴モデルに修正されるため、画像全体と矩形エリア５２内とで背景の色分布が大きく異なる場合であっても、矩形エリア５２内における前景画像と背景画像との分離精度を向上することが可能となる。

【0085】

また、本実施の形態に係る画像処理方法によれば、図５に示したように、ステップＳＰ２０１では、矩形エリア５２内の画像に含まれる各画素が、複数の背景用ガウス分布の中で距離が最も近いいずれかの背景用ガウス分布に分類される。従って、簡易に分類を行うことが可能となる。また、ステップＳＰ２０２では、各背景用ガウス分布に分類された画素数の順位として、寄与度が算出される。このように、順位として寄与度を算出することにより、重み値を恣意的に決定することが可能となる。

【0086】

また、本実施の形態に係る画像処理方法によれば、図７に示したように、ステップＳＰ３０１では、矩形エリア５２内の画像に含まれる各画素が、複数の背景用ガウス分布の中で距離が最も近いいずれかの背景用ガウス分布に分類される。従って、簡易に分類を行うことが可能となる。また、ステップＳＰ３０２では、矩形エリア５２内の画像に含まれる総画素数に対する、各背景用ガウス分布に分類された画素数の割合として、寄与度が算出される。このように、割合として寄与度を算出することにより、重み値を簡易に決定することが可能となる。

【0087】

また、本実施の形態に係る画像処理方法によれば、図８に示したように、ステップＳＰ４０１では、矩形エリア５２内の画像に含まれる各画素に関して、各背景用ガウス分布との距離が算出され、ステップＳＰ４０２では、ステップＳＰ４０１で算出した距離を、矩形エリア５２内の画像に含まれる全画素に関して背景用ガウス分布毎に積算することにより、各背景用ガウス分布に関する累積距離が算出される。このように、距離が最も近い背景用ガウス分布だけでなく、全ての背景用ガウス分布との距離に基づいて寄与度を算出することにより、距離が最も近いわけではないが有用である背景用ガウス分布の影響を、修正後の第２の背景用特徴モデルに反映させることが可能となる。また、ステップＳＰ４０３では、各背景用ガウス分布に関する累積距離の順位として、寄与度が算出される。このように、順位として寄与度を算出することにより、重み値を恣意的に決定することが可能となる。

【0088】

また、本実施の形態に係る画像処理方法によれば、図９に示したように、ステップＳＰ５０１では、矩形エリア５２内の画像に含まれる各画素に関して、各背景用ガウス分布との距離が算出され、ステップＳＰ５０２では、ステップＳＰ５０１で算出した距離を、矩形エリア５２内の画像に含まれる全画素に関して背景用ガウス分布毎に積算することにより、各背景用ガウス分布に関する累積距離が算出される。このように、距離が最も近い背景用ガウス分布だけでなく、全ての背景用ガウス分布との距離に基づいて寄与度を算出することにより、距離が最も近いわけではないが有用である背景用ガウス分布の影響を、修正後の第２の背景用特徴モデルに反映させることが可能となる。また、ステップＳＰ５０３では、全背景用ガウス分布に関する累積距離の総和に対する、各背景用ガウス分布に関する累積距離の割合として、寄与度が算出される。このように、割合として寄与度を算出することにより、重み値を簡易に決定することが可能となる。

【0089】

また、本実施の形態に係る画像処理方法によれば、図１０に示したように、ステップＳＰ２００では、矩形エリア５２内の画像に含まれる各画素が、推定前景画素及び推定背景画素のいずれかに分類され、ステップＳＰ２０１では、推定背景画素に分類された各画素が、複数の背景用ガウス分布の中で距離が最も近いいずれかの背景用ガウス分布に分類される。従って、推定前景画素の影響を排除して分離精度を向上できるとともに、簡易に分類を行うことが可能となる。また、ステップＳＰ２０２では、各背景用ガウス分布に分類された画素数の順位として、寄与度が算出される。このように、順位として寄与度を算出することにより、重み値を恣意的に決定することが可能となる。

【0090】

また、本実施の形態に係る画像処理方法によれば、図１１に示したように、ステップＳＰ３００では、矩形エリア５２内の画像に含まれる各画素が、推定前景画素及び推定背景画素のいずれかに分類され、ステップＳＰ３０１では、推定背景画素に分類された各画素が、複数の背景用ガウス分布の中で距離が最も近いいずれかの背景用ガウス分布に分類される。従って、推定前景画素の影響を排除して分離精度を向上できるとともに、簡易に分類を行うことが可能となる。また、ステップＳＰ３０２では、推定背景画素に分類された総画素数に対する、各背景用ガウス分布に分類された画素数の割合として、寄与度が算出される。このように、割合として寄与度を算出することにより、重み値を簡易に決定することが可能となる。

【0091】

また、本実施の形態に係る画像処理方法によれば、図１２に示したように、ステップＳＰ４００では、矩形エリア５２内の画像に含まれる各画素が、推定前景画素及び推定背景画素のいずれかに分類され、ステップＳＰ４０１では、推定背景画素に分類された各画素に関して、各背景用ガウス分布との距離が算出され、ステップＳＰ４０２では、ステップＳＰ４０１で算出した距離を、推定背景画素に分類された全画素に関して背景用ガウス分布毎に積算することにより、各背景用ガウス分布に関する累積距離が算出される。従って、推定前景画素の影響を排除して分離精度を向上することが可能となる。また、距離が最も近い背景用ガウス分布だけでなく、全ての背景用ガウス分布との距離に基づいて寄与度を算出することにより、距離が最も近いわけではないが有用である背景用ガウス分布の影響を、修正後の第２の背景用特徴モデルに反映させることが可能となる。また、ステップＳＰ４０３では、各背景用ガウス分布に関する累積距離の順位として、寄与度が算出される。このように、順位として寄与度を算出することにより、重み値を恣意的に決定することが可能となる。

【0092】

また、本実施の形態に係る画像処理方法によれば、図１３に示したように、ステップＳＰ５００では、矩形エリア５２内の画像に含まれる各画素が、推定前景画素及び推定背景画素のいずれかに分類され、ステップＳＰ５０１では、推定背景画素に分類された各画素に関して、各背景用ガウス分布との距離が算出され、ステップＳＰ５０２では、ステップＳＰ５０１で算出した距離を、推定背景画素に分類された全画素に関して背景用ガウス分布毎に積算することにより、各背景用ガウス分布に関する累積距離が算出される。従って、推定前景画素の影響を排除して分離精度を向上することが可能となる。また、距離が最も近い背景用ガウス分布だけでなく、全ての背景用ガウス分布との距離に基づいて寄与度を算出することにより、距離が最も近いわけではないが有用である背景用ガウス分布の影響を、修正後の第２の背景用特徴モデルに反映させることが可能となる。また、ステップＳＰ５０３では、全背景用ガウス分布に関する累積距離の総和に対する、各背景用ガウス分布に関する累積距離の割合として、寄与度が算出される。このように、割合として寄与度を算出することにより、重み値を簡易に決定することが可能となる。

【0093】

また、本実施の形態に係る画像処理方法によれば、図４，１４に示したように、ステップＳＰ１０３（ＳＰ６０１Ａ）では、ステップＳＰ１０２で算出された寄与度に応じた重み値に基づいて、新たな中心座標が決定される。従って、寄与度が反映された新たな中心座標が設定されることによって背景用特徴モデルの適正化を図ることができ、その結果、分離精度を向上することが可能となる。

【0094】

また、本実施の形態に係る画像処理方法によれば、図４，１５に示したように、ステップＳＰ１０３（ＳＰ６０１Ｂ）では、ステップＳＰ１０１で決定された中心座標と共通の中心座標が使用される。従って、新たな中心座標を決定する処理が不要となるため、処理負荷を軽減することが可能となる。

【0095】

また、本実施の形態に係る画像処理方法によれば、図４，１４，１５に示したように、ステップＳＰ１０３（ＳＰ６０４）では、ステップＳＰ１０２で算出された寄与度に応じた重み値に基づいて、各背景用ガウス分布の重み付けを行うことによって、第２の背景用特徴モデルが生成される。従って、寄与度を反映させて各背景用ガウス分布の重み付けを行うことによって背景用特徴モデルの適正化を図ることができ、その結果、分離精度を向上することが可能となる。

【符号の説明】

【0096】

１ 画像処理装置
２ 前景用ガウス混合モデル作成部
３ 背景用ガウス混合モデル作成部
４ 寄与度演算部
５ 背景用ガウス混合モデル修正部
６ 画像分離部
１４ プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】