特許 7392488 遺留物誤検出の認識方法、装置及び画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-28

(45)【発行日】2023-12-06

(54)【発明の名称】遺留物誤検出の認識方法、装置及び画像処理装置

(51)【国際特許分類】

   G06T 7/254 20170101AFI20231129BHJP

   H04N 7/18 20060101ALI20231129BHJP

【ＦＩ】

G06T7/254 B

H04N7/18 D

【請求項の数】 9

(21)【出願番号】P 2020006672

(22)【出願日】2020-01-20

(65)【公開番号】P2020177648

(43)【公開日】2020-10-29

【審査請求日】2022-09-08

(31)【優先権主張番号】201910311887.9

(32)【優先日】2019-04-18

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】ジャン・ナヌ

【審査官】伊知地 和之

(56)【参考文献】

【文献】国際公開第２０１８／０５６３５５（ＷＯ，Ａ１）

【文献】特開２００３－３４６１５６（ＪＰ，Ａ）

【文献】特開２０１３－０３０１２９（ＪＰ，Ａ）

【文献】特開２０１１－２５８２１４（ＪＰ，Ａ）

【文献】特開２０１７－０７６３９９（ＪＰ，Ａ）

【文献】特開２０１２－１３０５１８（ＪＰ，Ａ）

【文献】特開２０１１－０３９５８４（ＪＰ，Ａ）

【文献】特開２０１７－０３３５５９（ＪＰ，Ａ）

【文献】天本直弘他，画像処理技術による障害物検出と移動物体追跡方法，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，1998年04月25日，第J81-A巻 第4号，pp.527-535

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｈ０４Ｎ ７／１８

ＣＳＤＢ（日本国特許庁）

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

遺留物の誤検出を認識する装置であって、
現在のフレームの画像に対して前景検出を行い、現在のフレームの画像の前景画像を取得する前景検出ユニットであって、前記前景画像には遺留前景画像が含まれる前景検出ユニット；
前記遺留前景画像中の輪郭をクラスタリングしてグループを形成し、遺留物の候補領域とするクラスタリングユニット；及び
前記遺留物の候補領域と参照背景画像との比較を行い、前記遺留物の候補領域が前記参照背景画像とマッチしたかを判断し、マッチした場合、遺留物の検出が誤検出であると確定する判断ユニットを含み、
前記装置は、
誤検出の情報を前景検出モジュールにフィードバックし、また、背景モデルを調整するフィードバックユニットをさらに含む、装置。

【請求項2】

請求項1に記載の装置であって、
前記現在のフレームの画像がビデオ監視画像である、装置。

【請求項3】

請求項1に記載の装置であって、
前記前景画像の占用率に基づいて前記参照背景画像を更新する更新ユニットをさらに含み、
前記前景画像の占用率とは、前記前景画像が前記現在のフレームの画像の関心領域に占める比率を指す、装置。

【請求項4】

請求項3に記載の装置であって、
前記更新ユニットは、前記前景画像の占用率が所定の第一閾値よりも小さい場合、現在のフレームの画像に遺留物が存在しないと判断し、現在のフレームの画像を参照背景画像とし、
前記更新ユニットは、前記前景画像の占用率が前記所定の第一閾値以上である場合、現在のフレームの画像に遺留物が存在すると判断し、参照背景画像の更新を行わない、装置。

【請求項5】

請求項3に記載の装置であって、
前記更新ユニットは、

【数1】

を用いて、前記前景画像の占用率を計算し、
ここで、Nyは、第y行の前景画素の画素数であり、

【数2】

であり、Lyは、第y行の関心領域の画素数であり、

【数3】

であり、Iyは、第y行の画素であり、fgmaskは、前景マスクであり、roimaskは、関心領域マスクである、装置。

【請求項6】

請求項1に記載の装置であって、
前記判断ユニットは、
前記参照背景画像中の、前記遺留物の候補領域に対応するマッチ範囲を確定する確定ユニット；
前記遺留物の候補領域と前記マッチ範囲とのマッチ度を計算する計算ユニット；及び
前記マッチ度が所定の第二閾値よりも大きい場合、前記遺留物の候補領域が前記マッチ範囲とマッチしており、前記遺留物の検出が誤検出であると判断し、そうでない場合、前記遺留物の検出が正確な検出であると判断する決定ユニットを含む、装置。

【請求項7】

請求項6に記載の装置であって、
前記マッチ範囲のサイズが前記遺留物の候補領域のサイズよりも大きい、装置。

【請求項8】

請求項1～7のうちの任意の1項に記載の装置を含む画像処理装置。

【請求項9】

遺留物の誤検出を認識する方法であって、
現在のフレームの画像に対して前景検出を行い、現在のフレームの画像の前景画像を取得し、前記前景画像には遺留前景画像が含まれ；
前記遺留前景画像中の輪郭をクラスタリングしてグループを形成し、遺留物の候補領域とし；及び
前記遺留物の候補領域と参照背景画像との比較を行い、前記遺留物の候補領域が前記参照背景画像とマッチしたかを判断し、マッチした場合、前記遺留物の検出が誤検出であると判定することを含み、
前記方法は、
誤検出の情報を前景検出モジュールにフィードバックし、また、背景モデルを調整することをさらに含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理技術分野に関し、特に、遺留物（置き忘れた物）誤検出の認識方法、装置及び画像処理装置に関する。

【背景技術】

【0002】

ビデオ監視分野では、遺留物検出（abandoned object detection）が違法駐車検出、落とし物検出、道路侵入検出などの応用の基礎である。多くの遺留物検出のアルゴリズムが異なる背景モジュールに基づいている。背景モジュールは、各画素の履歴情報に基づいて更新される。幾つかの画素が背景モジュールとは異なる場合、前景と判断され得る。前景が長く続ければ、遺留領域（abandoned region）と判断され得る。しかし、環境の変化により誤検出が生じることがあり、特に、複雑なシーンでは、例えば、光線が持続的に変化するときに、遺留物の誤検出をもたらすことができる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

発明者が次のようなことを発見した。即ち、上述のような問題を解決するために、従来技術では、分類器を用いる方法が提案されており、多くの物体検出システムでは、分類器により、検出した前景が目標物体であるか、それとも、誤検出によるものであるかを判断することができる。出来の良い分類器が誤検出を避けることができるが、それは、遺留物検出システムに適用することができない。何故なら、遺留物が特定の類型に限定されず、例えば、箱、貨物、危険な液体である可能性があるからである。

【0004】

上述のような問題のうちの少なくとも１つを解決するために、本発明の実施例は、遺留物誤検出の認識方法、装置及び画像処理装置を提供し、これにより、遺留物の誤検出を認識し、遺留物の誤検出による物体検出システムの検出精度への影響を無くすことができる。

【課題を解決するための手段】

【0005】

本発明の実施例の第一側面によれば、遺留物誤検出の認識方法が提供され、そのうち、前記方法は、
現在のフレームの画像に対して前景検出を行い、現在のフレームの画像の前景画像を取得し、前記前景画像には遺留前景画像が含まれ；
前記遺留前景画像中の輪郭をクラスタリングしてグループを形成し、遺留物の候補領域とし；及び
前記遺留物の候補領域と参照背景画像との比較を行い、前記遺留物の候補領域が前記参照背景画像とマッチしたかを判断し、マッチした場合、遺留物の検出が誤検出であると判定することを含む。

【0006】

本発明の実施例の第二側面によれば、遺留物誤検出の認識装置が提供され、そのうち、前記装置は、
現在のフレームの画像に対して前景検出を行い、現在のフレームの画像の前景画像を取得し、前記前景画像には遺留前景画像が含まれる前景検出ユニット；
前記遺留前景画像中の輪郭をクラスタリングしてグループを形成し、遺留物の候補領域とするクラスタリングユニット；及び
前記遺留物の候補領域と参照背景画像との比較を行い、前記遺留物の候補領域が前記参照背景画像とマッチしたかを判断し、マッチした場合、遺留物の検出が誤検出であると判定するマッチングユニットを含む。

【0007】

本発明の実施例の第三側面によれば、画像処理装置が提供され、そのうち、前記画像処理装置は、前述の第二側面に記載の装置を含む。

【0008】

本発明の実施例の第四側面によれば、コンピュータ可読プログラムが提供され、そのうち、認識装置又は画像処理装置中で前記プログラムを実行するときに、前記プログラムは、前記認識装置又は画像処理装置に、本発明の実施例の第一側面に記載の認識方法を実行させる。

【0009】

本発明の実施例の第五側面によれば、コンピュータ可読プログラムを記憶した記憶媒体が提供され、そのうち、前記コンピュータ可読プログラムは、認識装置又は画像処理装置に、本発明の実施例の第一側面に記載の認識方法を実行させる。

【0010】

本発明の実施例の有益な効果が次の通りであり、即ち、検出した、遺留物と見なされる候補領域（blob）と、キャッシング背景（参照背景画像）との比較を行い、マッチした場合、該候補領域（blob）が遺留物でないとし、誤検出であると判定し、そして、判定結果を前景検出モジュールにフィードバックし、前景検出モジュールに相応の処理を行ってもらうことで、遺留物の誤検出を避けることができる。

【図面の簡単な説明】

【0011】

【図1】実施例1における遺留物誤検出の認識方法の１つの実施方式を示す図である。

【図2】或るフレームの画像の入力画像、前景マスク及びROIマスクを示す図である。

【図3】参照背景画像を更新することを示す図である。

【図4】参照背景画像を更新しないことを示す図である。

【図5】図1に示す方法で遺留物の候補領域と参照背景画像とのマッチングを判断するプロセスを示す図である。

【図6】遺留物検出を示す図である。

【図7】遺留物検出を示す他の図である。

【図8】実施例2における遺留物誤検出の認識装置を示す図である。

【図9】実施例2に係る遺留物誤検出の認識装置における判断ユニットを示す図である。

【図10】実施例3における画像処理装置を示す図である。

【発明を実施するための形態】

【0012】

以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。

【実施例1】

【0013】

本実施例は、遺留物誤検出の認識方法を提供し、図1は、本発明の実施例1における遺留物誤検出の認識方法の１つの実施方式を示す図である。図1に示すように、該方法は、以下のステップを含む。

【0014】

ステップ101：現在のフレームの画像に対して前景検出を行い、現在のフレームの画像の前景画像を取得し、前記前景画像には遺留前景画像が含まれており；
ステップ102：前記遺留前景画像中の輪郭をクラスタリングしてグループを形成し、遺留物の候補領域とし；
ステップ103：前記遺留物の候補領域と参照背景画像との比較を行い、前記遺留物の候補領域が前記参照背景画像とマッチしたかを判断し、マッチした場合、遺留物の検出が誤検出であると判断する。

【0015】

本実施例では、検出した、遺留物と見なされる候補領域（blob）と、キャッシング背景（参照背景画像）との比較を行い、両者がマッチしたかを判断し、マッチした場合、該候補領域（blob）が遺留物でないとし、誤検出であると判定する。これにより、遺留物検出が正確な検出であるかを認識することができ、遺留物誤検出の場合、即ち、遺留物に対しての検出が誤った場合、該判定結果を前景検出モジュールにフィードバックし、前景検出モジュールに相応の処理を行ってもらうこと、遺留物の誤検出を避けることができる。

【0016】

本実施例のステップ101では、現在のフレームの画像は、ビデオ監視システムにより撮られたビデオ監視画像であっても良い。該現在のフレームの画像を前景検出モジュールに入力することにより、該現在のフレームの画像に対して前景検出を行うことができる。本実施例では、前景検出方法について限定せず、任意の前景検出方法、例えば、Gaussian Background Model方法、Vibeアルゴリズム、フレーム差分法などを採用しても良い。現在のフレームの画像に対して前景検出を行うことで、該現在のフレームの画像の前景画像を得ることができる。該前景画像には、移動前景及び遺留前景が含まれており、即ち、遺留物が検出されている。本実施例における方法により、該遺留物検出が正確な検出であるかを認識することができる。

【0017】

本実施例のステップ102では、遺留前景について、１つのバイナリ画像により該遺留前景を表し、そして、該バイナリ画像中の輪郭を見つけ、これらの輪郭をクラスタリングしてグループを形成し、遺留物の候補領域（blob）とする。各グループが１つの候補対象とされ、即ち、候補領域である。なお、本実施例では、具体的なクラスタリング方法及びバイナリ画像から輪郭を見つける方法について限定せず、従来技術を採用しても良い。

【0018】

本実施例のステップ103では、遺留物の候補領域と参照背景画像との比較を行い、該遺留物の候補領域が該参照背景画像とマッチしたかを判断し、マッチした場合、検出した該遺留物が本当の遺留物でなく、背景であることを意味し、即ち、該遺留物の検出が誤検出であると判定することができる。

【0019】

本実施例では、参照背景画像は、ビデオ監視システムにより撮られた画像から取得されても良い。例えば、ビデオ監視システムは、各フレームの画像を取得し、或るフレームの画像に目標（object）が無いときに、そのグレースケール画像を参照背景画像としても良く、参照背景画像は、キャッシング背景とも称される。なお、各フレーム画像の目標検出方法については、本実施例では限定せず、従来の任意の方法を採用して現在のフレームの画像に目標があるかを判断しても良い。

【0020】

本実施例では、現在のフレームの画像から検出した上述の前景画像の占用率に基づいて、該参照背景画像に対して更新を行うことができる。ここで、前景画像の占用率とは、該前景画像が現在のフレームの画像の関心領域（ROI）に占める比率を指す。

【0021】

本実施例の１つの実施方式では、先ず、１つのROIにおける各行の占用率を計算し、その後、平均占用率を現在のフレームの画像の前景画像の占用率とすることができる。図2は、或るフレームの画像の入力画像（a）、前景マスク（b）及びROIマスク（c）を示す図である。図2に示すように、前景画像の占用率は、以下の公式で計算することができる。

【数1】

【0022】

この公式では、Nyは、第y行の前景画素の画素数であり、

【0023】

【数2】

であり、Lyは、第y行のROIの画素数であり、

【数3】

であり、Iyは、第y行の画素であり、fgmaskは、前景マスクであり、移動前景及び遺留前景を含み、roimaskは、ROIマスクであり、y、y_u及びy_dは、行を表す。

【0024】

なお、上述の前景画像の占用率の計算公式は、例示に過ぎず、本実施例の原理及び上述の公式に基づいて、以下のような変形公式を得ることもできる。

【数4】

【0025】

また、本実施例のもう１つの実施方式では、ROI全体の前景画素数をROI全体の画素数で割ることにより得られた結果を前景画像の占用率としても良く、その公式は、以下の通りである。

【数5】

【0026】

なお、上述の実施方式は、例示に過ぎず、本実施例は、上述の３つの公式に限定されない。

【0027】

本実施例では、前景画像の占用率（occ）が所定の第一閾値よりも小さい場合、現在のフレームの画像に遺留物が存在しないと認定し、現在のフレームの画像を参照背景画像に更新し；前景画像の占用率が該所定の第一閾値以上である場合、現在のフレームの画像に遺留物が存在すると認定し、参照背景画像の更新を行わない。本実施例では、第一閾値の設定方式及び設定根拠について限定せず、経験に基づいて設定されても良く、環境を参照した上で設定されても良い。参照背景画像が遺留物とのマッチングを行うためのものであるから、該第一閾値を比較的小さい値に設定しても良い。言い換えると、occが非常に低いときに（第一閾値よりも小さい）、移動又は遺留物が無いことを意味し、現在のレームのグレースケール画像を参照背景画像に更新することができる。１つの実施方式では、第一閾値を0.03に設定しても良い。

【0028】

図3は、参照背景画像を更新することを示す図であり、図3に示すように、この例では、前景画像の占用率が0であり、0.03よりも小さく、言い換えると、左側の画像に示すように、該車両がROIに進入する前に、ROIの内部に目標が存在せず、このときに、右側の画像に示すように、参照背景画像を、現在のフレームの画像に対応するグレースケール画像に更新することができる。

【0029】

図4は、参照背景画像を更新しないことを示す図であり、図4に示すように、この例では、前景画像の占用率が0.21であり、0.03よりも高く、言い換えると、左側の画像に示すように、車両がROIに進入しており、ROIの内部に新しい目標が存在し、このときに、右側の画像に示すように、参照背景画像の更新を行わず、依然として、車両が来る前のグレースケール画像を参照背景画像とする。

【0030】

以上、グレースケール画像を参照背景画像の例として説明を行ったが、本実施例では、これについて限定せず、現在のフレームの画像の他の形式の画像を参照背景画像としても良く、遺留物の候補領域と比較することができれば良い。

【0031】

本実施例のステップ103では、遺留物の各候補領域と参照背景画像との比較を行っても良く、該候補領域が該参照背景画像とマッチした場合、該遺留物の検出が誤検出であると認定し、即ち、該遺留物は、本当の遺留物でなく、例えば、背景である可能性がある。

【0032】

図5は、本実施例のステップ103の１つの実施方式を示す図である。図5に示すように、該方法は、以下のステップを含む。

【0033】

ステップ501：前記参照背景画像中の、前記遺留物の候補領域に対応するマッチ範囲を確定し；
ステップ502：前記遺留物の候補領域と前記マッチ範囲とのマッチ度を計算し；
ステップ503：前記マッチ度が所定の第二閾値よりも大きい場合、前記遺留物の候補領域が前記マッチ範囲とマッチしており、前記遺留物の検出が誤検出であると判定し、そうでない場合、前記遺留物の検出が正確な検出であると判定する。

【0034】

実施方式のステップ501では、該遺留物の候補領域のサイズに基づいて、該参照背景画像中の対応するマッチ範囲を確定することができる。例えば、候補blobのサイズを窓サイズとして、マッチ関数を用いて参照背景画像中でスライドして対応するマッチ範囲を見つけることができる。また、上述のマッチ範囲のサイズは、遺留物の候補領域のサイズよりも大きくても良く、その理由は、参照背景画像から現在のフレームの画像まで、ビデオ監視システムのカメラが移動する可能性があり、遺留物の候補領域のサイズよりも大きいマッチ範囲を設定することで、カメラ移動による影響を低減し得ることにある。本実施方式では、該マッチ範囲は、候補領域の所定の倍数、例えば、0.2倍であっても良いが、本実施例では、これについて限定せず、経験に基づいて該所定の倍数を他の値に設定しても良い。

【0035】

図6は、遺留物検出を示す図であり、図6の（a）は、現在のフレームの画像を示しており、現在のフレームの画像から遺留物601が検出されており、図6の（b）は、遺留前景画像602を示しており、図6の（c）は、遺留前景画像602の候補領域603及び参照背景画像中のマッチ範囲604を示している。

【0036】

本実施方式のステップ502では、遺留物の候補領域及び対応する参照背景画像中のマッチ範囲を得た後に、両者間のマッチ度を計算することができる。本実施例では、マッチ度の計算方式について限定しない。以下、１つの例をもとに説明を行う。

【0037】

この例では、マッチ範囲がW×Hであり、候補領域がw×hであるとする。

【0038】

まず、各候補領域のグレースケール画像をテンプレートとし、マッチ関数を用いてW×Hの参照背景画像中でスライドし、w×hの重畳（overlap）ブロックを比較し、比較結果を１つのマトリックス（mat）に保存し、得られたmatのサイズが(W-w+1)×(H-h+1)である。

【0039】

その後、正規化相関係数法を用いて、テンプレートマッチングを、以下の公式に示すように行う。Iは、原画像（マッチ範囲内の参照背景画像）を表し、Tは、テンプレート画像（候補領域中のグレースケール画像）であり、Rは、マッチ結果、即ち、マッチ度である。

【数6】

【0040】

そのうち、T(x’，y’)は、テンプレート画像の(x’，y’)位置の画素値を示し、I(x+x’’，y+y’’)は、テンプレート画像の(x+x’’，y+y’’)位置の画素値を示し；T’(x’，y’)は、テンプレート画像の(x’，y’)位置における正規化相関性係数であり；I(x+x’，y+y’)は、原画像の(x+x’，y+y’)位置における正規化相関性係数であり、R(x，y)は、(x，y)位置のマッチ結果を表す。

【0041】

本実施方式では、原画像Iとテンプレート画像Tとの類似性（マッチ度）を計算する前に正規化処理を行うことができ、該操作は、光線の変化による誤差を避けることができる。結果マトリックスRの値が-1～1の範囲内にあり、1は、原画像Iがテンプレート画像Tと同じであることを示し、-1は、原画像Iがテンプレート画像Tと逆であることを示し、0は、原画像Iとテンプレート画像Tとの間に線形関係がないことを表す。

【0042】

本実施方式では、結果マトリックスR中で最大値をLookupする方式で、テンプレート画像Tの、原画像Iにおける最適マッチ位置を見つけることができ、例えば、結果マトリックスR中で各画素位置（x，y）に、マッチ範囲内で（x，y）を開始点として計算されたマッチ度が格納されているから、結果マトリックスR中のマッチ度最高の画素位置は、対応するマッチ範囲内の最適マッチ位置である。

【0043】

上述のマッチ度の計算方法は、例示に過ぎず、従来の任意のマッチ度計算方法が採用されても良い。

【0044】

本実施方式のステップ503では、マッチ閾値（第二閾値という）が設定され、マッチ度が該マッチ閾値よりも大きい場合、両者がマッチしていると判断し、即ち、該遺留物が本当の遺留物でなく、背景である可能性があり、現在の遺留物に対しての検出が誤検出に属し；逆に、マッチ度が該マッチ閾値よりも小さい場合、両者がマッチしないと判断し、即ち、該遺留物が本当の遺留物であり、現在の遺留物に対しての検出が正確なものである。

【0045】

上述のマッチ度の計算方法を例とする場合、上述のマッチ度の計算結果中の最大値を最終マッチ度（match_degree）とすることができる。match_degreeが高いほど、原画像Iとテンプレート画像Tとのマッチの程度が高い。上述の第二閾値により、本当の遺留物の検出と誤検出を区別することができる。言い換えると、match_degreeが第二閾値よりも大きい場合、該遺留物の候補領域が参照背景画像とマッチしており、誤検出であると判断する。

【0046】

本実施例では、第二閾値の設定方式及び設定根拠について限定せず、該第二閾値が上述の候補領域とマッチ範囲とのマッチングの判断のために用いられるので、該第二閾値は、ニーズに応じて設定されても良く、例えば、マッチ精度への要求が高いときに、それを比較的大きい値に設定しても良く、マッチ精度への要求が高くないときに、それを比較的小さい値に設定しても良い。１つの実施方式では、第二閾値は0.8に設定されても良い。

【0047】

図6の例では、マッチ度が0.1093であり、0.8よりも小さいため、原画像Iがテンプレート画像Tとマッチしないを判断し、このような場合、本実施例における方法により、誤検出であると判断せず、言い換えると、図6中の遺留物601は、本当の遺留物である。

【0048】

図7は、遺留物検出を示す他の図である。図7の（a）は、現在のフレームの画像を示しており、現在のフレームの画像から遺留物701が検出されており、図7の（b）は、遺留前景画像702を示しており、図7の（c）は、遺留前景画像702の候補領域703及び参照背景画像中のマッチ範囲704を示している。

【0049】

図7に示すように、この例では、マッチ度が0.969であり、0.8よりも大きい。これは、原画像Iがテンプレート画像Tとマッチしたこと意味する。このような場合、本実施例における方法により、誤検出であると判断し、言い換えると、図7中の遺留物701は、本当の遺留物でなく、背景の一部である。このような誤検出は、光線の変化に由来する可能性があり、他の原因による可能性もある。

【0050】

本実施例における方法により誤検出の判断結果を得た後に、誤検出の情報を前景検出モジュールにフィードバックし、また、背景モデルを調整することができ、これにより、遺留物の誤検出を避けることができる。本実施例では、前景検出モジュールの該情報受信後の処理方式について限定せず、前景検出モジュールは、該情報に基づいて任意の可能な処理を行っても良く、また、本実施例では、背景モデルの調整方式についても限定しない。

【0051】

本実施例では、検出した、遺留物と見なされる候補領域（blob）と、キャッシング背景（参照背景画像）との比較を行い、マッチした場合、該候補領域（blob）が遺留物でないとし、誤検出であると判定し、そして、判定結果を前景検出モジュールにフィードバックし、前景検出モジュールに相応の処理を行ってもらうことで、遺留物の誤検出を避けることができる。

【実施例2】

【0052】

本実施例は、遺留物誤検出の認識装置を提供し、該装置が問題を解決する原理が実施例1の方法と類似しているため、その具体的な実施は、実施例1の方法の実施を参照することができ、ここでは、内容が同じである重複説明が省略される。

【0053】

図8は、本実施例における遺留物誤検出の認識装置800を示す図である。図8に示すように、該遺留物誤検出の認識装置800は、前景検出ユニット801、クラスタリングユニット802及び判断ユニット803を含み、該前景検出ユニット801は、現在のフレームの画像に対して前景検出を行い、現在のフレームの画像の前景画像を取得し、前記前景画像には遺留前景画像が含まれ；該クラスタリングユニット802は、前記遺留前景画像中の輪郭をクラスタリングしてグループを形成し、遺留物の候補領域とし；該判断ユニット803は、前記遺留物の候補領域と参照背景画像との比較を行い、前記遺留物の候補領域が前記参照背景画像とマッチしたかを判断し、マッチした場合、遺留物の検出が誤検出であると判定する。

【0054】

本実施例では、現在のフレームの画像は、ビデオ監視画像であっても良いが、本実施例は、これに限定されない。

【0055】

本実施例では、図8に示すように、該遺留物誤検出の認識装置800は、さらに、以下のものを含んでも良い。

【0056】

更新ユニット804：前記前景画像の占用率に基づいて前記参照背景画像を更新し、前記前景画像の占用率とは、前記前景画像が前記現在のフレームの画像の関心領域（ROI）に占める比率を指す。

【0057】

本実施例では、更新ユニット804は、前景画像の占用率が所定の第一閾値よりも小さい場合、現在のフレームの画像に遺留物が存在しないと判定し、現在のフレームの画像を参照背景画像に更新する。更新ユニット804は、さらに、前景画像の占用率が所定の第一閾値以上である場合、現在のフレームの画像に遺留物があると判定し、参照背景画像の更新を行わない。

【0058】

１つの実施方式では、更新ユニット804は、以下の公式で前景画像の占用率を計算することができる。

【数7】

【0059】

そのうち、Nyは、第y行の前景画素の画素数であり、

【数8】

であり、Lyは、第y行のROIの画素数であり、

【数9】

であり、Iyは、第y行の画素であり、fgmaskは、前景マスクであり、roimaskは、ROIマスクである。

【0060】

図9は、本実施例における判断ユニット803の１つの実施方式を示す図である。図9に示すように、該判断ユニット803は、確定ユニット901、計算ユニット902及び決定ユニット903を含んでも良く、該確定ユニット901は、参照背景画像における、遺留物の候補領域に対応するマッチ範囲を確定し、該計算ユニット902は、遺留物の候補領域とマッチ範囲とのマッチ度を計算し、該決定ユニット903は、マッチ度が所定の第二閾値よりも大きい場合、遺留物の候補領域がマッチ範囲とマッチしたとし、遺留物の検出が誤検出であると判断し、そうでない場合、遺留物の検出が正確な検出であると確定することができる。

【0061】

本実施方式では、上述のマッチ範囲のサイズが遺留物の候補領域のサイズよりも大きくても良い。

【0062】

本実施例では、図8に示すように、該遺留物誤検出の認識装置800は、さらに、以下のものを含んでも良い。

【0063】

フィードバックユニット805：誤検出の情報を前景検出モジュールにフィードバックし、また、背景モデルを調整する。

【0064】

本実施例では、検出した、遺留物と見なされる候補領域（blob）と、キャッシング背景（参照背景画像）との比較を行い、マッチした場合、該候補領域（blob）が遺留物でなく、誤検出であると判定し、そして、判定結果を前景検出モジュールにフィードバックし、前景検出モジュールに相応の処理を行ってもらうことで、遺留物の誤検出を避けることができる。

【実施例3】

【0065】

本実施例は、画像処理装置を提供し、該画像処理装置は、実施例2に記載の遺留物誤検出の認識装置を含む。

【0066】

図10は、本実施例における画像処理装置を示す図である。図10に示すように画像処理装置1000は、中央処理器（CPU）1001及び記憶器1002を含んでも良く、記憶器1002は、中央処理器1001に接続される。そのうち、該記憶器1002は、各種のデータを記憶することができ、また、情報処理用のプログラムを記憶し、且つ中央処理器1001の制御下で該プログラムを実行することもできる。

【0067】

１つの実施方式では、遺留物誤検出の認識装置800の機能が中央処理器1001に集積されても良い。そのうち、中央処理器1001は、実施例1に記載の遺留物誤検出の認識方法を実現するように構成されても良い。

【0068】

もう１つの実施方式では、遺留物誤検出の認識装置800が中央処理器1001と別々で配置されても良く、例えば、遺留物誤検出の認識装置800は、中央処理器1001に接続されるチップとして構成され、中央処理器1001の制御により遺留物誤検出の認識装置800の機能を実現しても良い。

【0069】

本実施例では、中央処理器1001は、次のような制御を行うように構成されても良く、即ち、現在のフレームの画像に対して前景検出を行い、現在のフレームの画像の前景画像を取得し、前記前景画像には遺留前景画像が含まれ；前記遺留前景画像中の輪郭をクラスタリングしてグループを形成し、遺留物の候補領域とし；前記遺留物の候補領域と参照背景画像との比較を行い、前記遺留物の候補領域が前記参照背景画像とマッチしたかを判断し、マッチした場合、遺留物の検出が誤検出であると判断する。

【0070】

また、図10に示すように、画像処理装置1000は、さらに、入出力（I/O）装置1003、表示器1004などを含んでも良く、そのうち、これらの部品の機能が従来技術と同様であるため、ここでは、その詳しい説明を省略する。なお、画像処理装置1000は、図10中の全ての部品を含む必要がない。また、画像処理装置1000は、さらに、図10に無い部品を含んでも良く、これについては、従来技術を参照することができる。

【0071】

本発明の実施例は、コンピュータ可読プログラムを提供し、そのうち、遺留物誤検出の認識装置又は画像処理装置中で前記プログラムを実行するときに、前記プログラムは、前記遺留物誤検出の認識装置又は画像処理装置に、実施例1に記載の方法を実行させる。

【0072】

本発明の実施例は、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムは、遺留物誤検出の認識装置又は画像処理装置に、実施例1に記載の方法を実行させる。

【0073】

本発明の実施例で説明した前記方法、装置などは、ハードウェア、処理器により実行されるソフトウェアモジュール、又は両者の組み合わせにより実現することができる。例えば、図8に示す機能ブロック図における１つ又は複数の機能及びび／又は機能ブロック図における１つ又は複数の機能の組み合わせは、コンピュータプログラムにおける各ソフトウェアモジュールに対応しても良く、各ハードウェアモジュールに対応しても良い。また、これらのソフトウェアモジュールは、それぞれ、図1に示す各ステップに対応することができる。これらのハードウェアモジュールは、例えば、FPGA（field-programmable gate array）を用いてこれらのソフトウェアモジュールを固化して実現することができる。

【0074】

また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びびソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。

【0075】

以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】