特許 7399055 画像解析のための方法およびデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-07

(45)【発行日】2023-12-15

(54)【発明の名称】画像解析のための方法およびデバイス

(51)【国際特許分類】

   G06T 7/215 20170101AFI20231208BHJP

【ＦＩ】

G06T7/215

【請求項の数】 16

【外国語出願】

(21)【出願番号】P 2020160341

(22)【出願日】2020-09-25

(65)【公開番号】P2021077349

(43)【公開日】2021-05-20

【審査請求日】2023-01-27

(31)【優先権主張番号】19200756

(32)【優先日】2019-10-01

(33)【優先権主張国・地域又は機関】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】ルンドベリ， ステファン

(72)【発明者】

【氏名】ユアン， ソン

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０１６－１１５０９３（ＪＰ，Ａ）

【文献】特開２０１３－１５２６６９（ＪＰ，Ａ）

【文献】特開２０１３－１４３０６９（ＪＰ，Ａ）

【文献】特開２００３－１２３０７４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０１２５６２１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２１５

(57)【特許請求の範囲】

【請求項1】

ビデオシーケンスにおける画像フレーム（３０）の画像解析のための方法であって、方法（１００，２００）は、
複数の前記画像フレーム（３０）に回路上で実行される第１のアルゴリズムを適用する（２１５）ことによって、前記ビデオシーケンスの背景モデルを規定すること、ここで当該背景モデルは、前記画像フレーム（３０）内の複数の空間エリア（１０）の各空間エリア（１０）について、前記空間エリア（１０）が前記ビデオシーケンスにおいて背景（２２）に属するか前景（２４）に属するかを規定し、前記第１のアルゴリズムは複数のタイマー（１４）を備え、各タイマー（１４）は前記複数の空間エリア（１０）の１つの空間エリア（１０）に関連し、
前記規定された前景エリア（２４）のアイドル状態エリア（１２）が前記前景（２４）から前記背景（２２）に移行される（１５０）べきであると指示する（１２０）こと、ここで、所定の制限時間になる前に、画像フレーム（３０）の空間エリア（１０）の画像データにおいて、先行する画像フレーム（３０）の前記空間エリア（１０）の画像データに対する有意の変化が起こらなかった場合、当該空間エリアが前記背景モデル内のアイドル状態エリア（１２）として規定され、
前記ビデオシーケンスの画像フレーム（３０）の画像データに回路上で実行される第２のアルゴリズムを適用する（２３５）ことによって、前記アイドル状態エリア（１２）が移行される（１５０）べきか否か（１４０）を判定する（１３０）こと、ここで前記画像データは前記アイドル状態エリア（１２）に少なくとも部分的に対応し、
前記アイドル状態エリア（１２）が移行される（１５０）べきでないと判定すると、前記アイドル状態エリア（１２）を、前記背景モデル内の前景エリア（２４）として維持すること、および
前記アイドル状態エリア（１２）が移行される（１５０）べきでないと、前記第２のアルゴリズムが判定する（１３０）と、前記アイドル状態エリア（１２）に関連する前記タイマー（１４）をリセットまたは一時停止すること、あるいは、前記アイドル状態エリア（１２）に関連する前記タイマー（１４）の制限時間を増加させること
を含む、方法。

【請求項2】

前記第２のアルゴリズムは、アイドル状態エリア（１２）が前景（２４）から背景（２２）に移行される（１５０）べきであるという指示（１２０）後に、画像フレーム（３０）の画像データに適用されるだけである、請求項１に記載の方法。

【請求項3】

前記背景モデルにおける前景（２４）から背景（２２）への空間エリア（１０）の前記移行（１５０）は、前記画像フレーム（３０）の前記アイドル状態エリア（１２）が移行される（１５０）べきと、前記第２のアルゴリズムが判定した後に実施されるだけである、請求項１に記載の方法。

【請求項4】

アイドル状態エリア（１２）が前景（２４）から背景（２２）に移行される（１５０）べきであると指示する（１２０）ことは、前記アイドル状態エリア（１２）に関連する前記第１のアルゴリズムのタイマー（１４）が前記所定の制限時間より小さい指示閾値に達すると実施される、請求項１に記載の方法。

【請求項5】

前記第２のアルゴリズムを適用する（２３５）間に、画像フレーム（３０）内のアイドル状態エリア（１２）内の画像データにおける、先行する画像フレーム（３０）内の前記アイドル状態エリア（１２）内の画像データに対する有意の変化を判定する（１３０）と、前記第２のアルゴリズムを適用する（２３５）ことを中止し、前記アイドル状態エリア（１２）を前記背景モデル内の前景エリア（２４）として維持する（１４０）ことを含む、請求項４に記載の方法。

【請求項6】

前記第２のアルゴリズムは、より多くの計算資源が利用可能である時に後で適用される（２３５）、請求項１に記載の方法。

【請求項7】

前記第２のアルゴリズムを適用する（２３５）ことは、前記画像データ内で対象物を位置特定するための画像セグメント化アルゴリズムを適用することを含み、前記対象物は、前記アイドル状態エリア（１２）内に少なくとも部分的に延在し、前記位置特定された対象物に対応する画像データは、前記第２のアルゴリズムが適用される前記画像データを規定する、請求項１に記載の方法。

【請求項8】

前記第２のアルゴリズムは、以下：顔認識、頭部検出、身体検出、乗り物検出、ナンバープレート検出、動作解析、対象物追跡、および予め登録された他の重要な対象物の検出、のうちの少なくとも１つを実施するように適合される、請求項１に記載の方法。

【請求項9】

前記前景（２４）の一部である空間エリア（１０）をマスクする（２６０）ことをさらに含む、請求項１に記載の方法。

【請求項10】

前記ビデオシーケンスにおいて描写される対象物を、前記ビデオシーケンスにおける前記前景（２４）の一部である空間エリア（１０）内の対応する画像データを追跡することによって、追跡する（２７０）ことをさらに含む、請求項１に記載の方法。

【請求項11】

処理能力を有するデバイス上で実行されると請求項１に記載の方法（１００，２００）を実施するためのプログラムが記録されている、非一過性のコンピュータ可読記録媒体。

【請求項12】

ビデオシーケンスで画像フレーム（３０）を取り込むビデオカメラであって、回路を有する制御ユニットを備え、前記回路は、
複数の前記画像フレーム（３０）に第１のアルゴリズムを適用する（２１５）ことによって、前記ビデオシーケンスの背景モデルを規定するように構成され、ここで当該背景モデルは、前記画像フレーム（３０）内の複数の空間エリア（１０）の各空間エリア（１０）について、前記空間エリア（１０）が前記ビデオシーケンスにおいて背景（２２）に属するか前景（２４）に属するかを規定し、前記第１のアルゴリズムは複数のタイマー（１４）を備え、各タイマー（１４）は前記複数の空間エリア（１０）の１つの空間エリア（１０）に関連し、
前記規定された前景エリア（２４）のアイドル状態エリア（１２）が前記前景（２４）から前記背景（２２）に移行される（１５０）べきであると指示するように構成され、
前記ビデオシーケンスの画像フレーム（３０）の画像データに第２のアルゴリズムを適用する（２３５）ことによって、前記アイドル状態エリア（１２）が移行される（１５０）べきか否か（１４０）を判定する（１３０）ように構成され、前記画像データは前記アイドル状態エリア（１２）に少なくとも部分的に対応し、ここで、所定の制限時間になる前に、画像フレーム（３０）の空間エリア（１０）の画像データにおいて、先行する画像フレーム（３０）の前記空間エリア（１０）の画像データに対する有意の変化が起こらなかった場合、当該空間エリアが前記背景モデル内のアイドル状態エリア（１２）として規定され、
前記アイドル状態エリア（１２）が移行される（１５０）べきでないと判定すると、前記アイドル状態エリア（１２）を、前記背景モデル内の前景エリア（２４）として維持するように構成され、
前記アイドル状態エリア（１２）が移行される（１５０）べきでないと、前記第２のアルゴリズムが判定する（１３０）と、前記アイドル状態エリア（１２）に関連する前記タイマー（１４）をリセットまたは一時停止すること、あるいは、前記アイドル状態エリア（１２）に関連する前記タイマー（１４）の制限時間を増加させるように構成される、ビデオカメラ。

【請求項13】

前記制御ユニットの前記回路は、前記ビデオシーケンスにおける複数の前記画像フレーム（３０）に第１および第２のアルゴリズムをリアルタイムに適用する（２１５，２３５）ようにさらに構成される、請求項１２に記載のビデオカメラ。

【請求項14】

前記回路はさらに、アイドル状態エリア（１２）に関連する前記第１のアルゴリズムのタイマー（１４）が前記所定の制限時間より小さい指示閾値に達すると、前記アイドル状態エリア（１２）が前景（２４）から背景（２２）に移行される（１５０）べきであると指示するように構成される、請求項１２に記載のビデオカメラ。

【請求項15】

前記回路はさらに、前記第２のアルゴリズムを適用する（２３５）間に、画像フレーム（３０）内のアイドル状態エリア（１２）内の画像データにおける、先行する画像フレーム（３０）内の前記アイドル状態エリア（１２）内の画像データに対する有意の変化を判定する（１３０）と、前記第２のアルゴリズムを適用する（２３５）ことを中止し、前記アイドル状態エリア（１２）を前記背景モデル内の前景エリア（２４）として維持する（１４０）ように構成される、請求項１４に記載のビデオカメラ。

【請求項16】

前記第２のアルゴリズムを適用する（２３５）ことは、前記画像データ内で対象物を位置特定するための画像セグメント化アルゴリズムを適用することを含み、前記対象物は、前記アイドル状態エリア（１２）内に少なくとも部分的に延在し、前記位置特定された対象物に対応する画像データは、前記第２のアルゴリズムが適用される前記画像データを規定する、請求項１２に記載のビデオカメラ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はビデオ処理に関する。より詳細には、本発明は、画像解析のための方法および画像解析のための方法を実施するように構成される制御ユニットを備えるビデオカメラに関する。

【背景技術】

【0002】

ビデオ処理は、今日一般的である、しかしながら、多くの実装態様は、前処理ステップを必要とするまたはそこから利益を得る。１つの一般的なそのようなステップは、背景モデルを規定し、それをビデオシーケンスに適用することである。背景モデルは、ビデオシーケンスの画像フレームのどの部分が画像フレーム間で変化するかを規定する。その規定に基づいて、画像フレームは、アイドル状態（ｉｄｌｅ）背景および変化する前景に分割することができる。背景モデルの結果は、ビデオ処理が、適切である画像フレームの部分に、例えば、変化する前景内の部分のみに的を絞ることを可能にする。

【0003】

例えば、ビデオモニタリングは、益々一般的になってきている、しかしながら、記録されるときに人々のプライバシーを保護するために人々および他の慎重に扱うべき対象物をマスクする可能性を提供することが益々重要になってきている。画像フレーム内の前景／背景部分およびそれらの変化を解析する複雑でないアルゴリズムを使用して人々および他の慎重に扱うべき対象物をリアルタイムにマスクすることが知られている。そのアルゴリズムは、迅速でありかつ少量の処理を必要とする場合があるが、過度に単純化されかつそれほど正確でないと考えられる場合がある。

【0004】

知られているプライバシーマスキング法において、移動する対象物は、典型的には、前景として検出され、したがって、マスクされる。背景はプライバシーマスクによって処理されない。しかしながら、対象物が長時間静止しているときに問題が起こる。対象物は、最初、前景の一部であり、したがって、マスクされることになる、しかしながら、しばらくして、対象物がやはり存在し、やはりマスクされるべきであるのに、移動しない対象物が、背景と考えられ、したがって、マスクされなくなることになる。

【0005】

したがって、この文脈における改善についての必要性が存在する。

【0006】

上記を考慮すると、前景対象物が背景の一部になるという問題など、当技術分野における上記で特定された欠点または問題の１つまたは複数を削除するまたは少なくとも軽減することが本発明の概念の目的である。特に、背景対象物と、アイドル状態である前景対象物を区別する画像解析のための方法を提供することが本開示の目的である。本発明の概念のさらなるおよび／または代替の目的は、本開示の読者にとって明確になるであろう。

【発明の概要】

【0007】

本発明の第１の態様によれば、ビデオシーケンスにおける画像フレームの画像解析のための方法が提供される。方法は、複数の画像フレームに第１のアルゴリズムを適用することによって、ビデオシーケンスの背景モデルであって、ビデオシーケンス内の複数の空間エリアの各空間エリアについて、その空間エリアがビデオシーケンスにおいて背景に属するか、前景に属するかを規定する、背景モデルを規定することであって、先行する画像フレーム内の上記空間エリア内の画像データに対する画像フレーム内の空間エリア内の画像データにおける検出された有意の変化が、上記空間エリアが前景に属することを指示する、規定すること；規定された前景エリアのアイドル状態エリアが前景から背景に移行されるべきであると指示すること；および、ビデオシーケンスの画像フレームの画像データに第２のアルゴリズムを適用することによってアイドル状態エリアが移行されるべきか否かを判定することであって、画像データがアイドル状態エリアに少なくとも部分的に対応する、判定すること；なお、アイドル状態エリアが移行されるべきでないと判定すると、アイドル状態エリアを、背景モデル内の前景エリアとして維持することを含む。

【0008】

正確に規定された前景が、比較的適度なハードウェアによる比較的計算的に要求の厳しいビデオ処理法の適用を可能にするため、かなりの時間及び計算パワーを節約することができることを本発明者等は認識した。これは、要求の厳しいビデオ処理法によって処理される画像フレームのエリアが前景または背景のみになることができるからである。多くの用途について、前景または背景の一方のみが適切であり、したがって、背景モデルが、信頼性がある場合、他方をビデオ処理法によって問題なく無視することができる。

【0009】

「背景モデル（ｂａｃｋｇｒｏｕｎｄ ｍｏｄｅｌ）」という表現は、本出願の文脈内で、ビデオシーケンス内の複数の空間エリアの各空間エリアについて、その空間エリアがビデオシーケンスにおいて背景に属するか、前景に属するかを判定するデータモデルとして解釈されるべきである。データモデルは、任意の数の方法でさらにこの情報を記憶するまたはそれを処理することができる。

【0010】

「背景（ｂａｃｋｇｒｏｕｎｄ）」という表現は、本出願の文脈内で、直前の画像フレーム内の対応するエリアと十分に類似する画像フレーム内の任意エリアを含むと解釈されるべきである。典型的には、背景は、モニタリングの文脈において画像解析の観点から特に適切でない、モニターされるシーン内のエリアに対応することが意図される。実用的かつ単純化された文脈において、背景はモニターされるシーンに対応すべきである。

【0011】

「前景（ｆｏｒｅｇｒｏｕｎｄ）」という表現は、本出願の文脈内で、直前の画像フレーム内の対応するエリアと十分に不同である画像フレーム内の任意エリアを含むと解釈されるべきである。前景対象物は、典型的には、モニタリング継続期間にわたって動作中であるまたは動作の履歴を有する。実用的かつ単純化された文脈において、前景は、人々、車、品物などのような、モニターされる対象物に対応すべきである。

【0012】

「空間エリア（ｓｐａｔｉａｌ ａｒｅａ）」という表現は、本出願の文脈内で、例えば、形状に従ってさらにグループ化することができる、または、単一対象物に属する画像フレーム内の任意の数のピクセルまたはサブピクセルとして解釈されるべきである。形状が鋭利な縁を有する必要がなく、形状が、対象物の周囲の鋭利に見えるアーティファクトを回避するために、アルファマスク（ａｌｐｈａ ｍａｓｋ）であって、縁が、少数のピクセルにわたってフル視認性から低視認性まで徐々にフェージングする、アルファマスクに基づいてソフト縁またはいわゆるシースルー縁（ｓｅｅ－ｔｈｒｏｕｇｈ ｅｄｇｅ）を有することができることに留意されたい。

【0013】

「アルゴリズム（ａｌｇｏｒｉｔｈｍ）」という表現は、本出願の文脈内で、データ解析を予想通りに実施するように特別に適合される方法または回路として解釈されるべきである。

【0014】

幾つかの実施形態において、第２のアルゴリズムは、アイドル状態エリアが前景から背景に移行されるべきであるという指示後に、画像フレームの画像データに適用されるだけである。

【0015】

指示が存在するという規定の下で第２のアルゴリズムを適用することは、必要とされるときに第２のアルゴリズムが適用されるだけである点で有益である。第２のアルゴリズムが、例えば、第１のアルゴリズムと比較して、計算的に要求が厳しいおよび／または信頼性が低い場合、第１のアルゴリズムに主に頼ることが有益である。

【0016】

幾つかの実施形態において、背景モデルにおける前景から背景への空間エリアの移行は、画像フレームのアイドル状態エリアが移行されるべきと、第２のアルゴリズムが判定した後に実施されるだけである。

【0017】

アイドル状態エリアが移行されるべきと、第２のアルゴリズムが判定したという規定の下で移行を実施することは、第２のアルゴリズムによって検証されない限り、対象物が背景に移されない点で有益であり、それは、第１のアルゴリズムによる偽陽性の影響を低減する。これは、過度に単純化された第１のアルゴリズム（適度なハードウェア上でリアルタイムに実施されるように設計することができる）を可能にし、なぜならば、前景から背景へのアイドル状態エリアの移行が実施されるべきか否かを第２のアルゴリズムが検証するからである。

【0018】

幾つかの実施形態において、第１のアルゴリズムは複数のタイマーを備え、各タイマーは複数の空間エリアの１つの空間エリアに関連し；有意の変化が、所定の制限時間になる前に、先行する画像フレームの上記空間エリアの画像データに対して画像フレームの空間エリアの画像データにおいて起こらなかった場合、方法は、上記空間エリアを背景モデル内のアイドル状態エリアとして規定することを含む。

【0019】

タイマーは、単純でかつ計算効率的である点で有益である。類似のアルゴリズムと比較して、閾値を実装することおよび／または結果を操作することが容易である。

【0020】

幾つかの実施形態において、アイドル状態エリアが移行されるべきでないと、第２のアルゴリズムが判定すると、そのアイドル状態エリアに関連するタイマーはリセットまたは一時停止される、あるいは、そのアイドル状態エリアに関連するタイマーの制限時間が増加される。

【0021】

判定ステップに対する応答としてタイマーを操作することは、アイドル状態エリアを背景モデル内の前景エリアとして維持する単純かつ効率的な方法である点で有益である。それはまた、移行されるべきでないと、第２のアルゴリズムが直前に判定した空間エリアの特別な処置を、例えば、タイマーを、開始した数値と異なる数値にリセットすることによって可能にする。これは、例えば、前景の人々が休息することができる座席またはベッドに対応するような特別な空間エリアが、アイドル状態である傾向が強い場合に有益であるため、より長いタイマーが偽陽性を低減することができる。

【0022】

幾つかの実施形態において、アイドル状態エリアが前景から背景に移行されるべきであると指示するステップは、アイドル状態エリアに関連する第１のアルゴリズムのタイマーが所定の制限時間より小さい指示閾値に達すると実施される。

【0023】

指示閾値は、第２のアルゴリズムが、或る量の時間をかけることができるため、指示閾値を使用することによって、第１のアルゴリズムのタイマーが所定の制限時間に達する前に、判定ステップが終了することができる点で有益である。

【0024】

幾つかの実施形態において、第２のアルゴリズムを適用するステップ中に、先行する画像フレーム内の上記アイドル状態エリア内の画像データに対する画像フレーム内のアイドル状態エリア内の画像データにおける有意の変化を判定すると、第２のアルゴリズムを適用するステップは中止され、アイドル状態エリアは背景モデル内の前景エリアとして維持される。

【0025】

第２のアルゴリズムを適用するステップは中止することは、時間および計算パワーを節約することができる点で有益である。

【0026】

幾つかの実施形態において、第２のアルゴリズムは、第１のアルゴリズムに比べて計算的に要求が厳しい。

【0027】

第２のアルゴリズムが計算的により要求が厳しいことは、第２のアルゴリズムが第１のアルゴリズムより頻度少なく使用され、したがって、かなりの計算パワーを節約することができる点で有益である。計算的により要求が厳しいアルゴリズムは、さらに、複雑さが少ない第１のアルゴリズムによる偽陽性を低減するように特別に適合することができ、したがって、第２のレベルの実装により適する、すなわち、第１のアルゴリズム後に適用される。

【0028】

幾つかの実施形態において、第２のアルゴリズムは、より多くの計算資源が利用可能である後の時間に適用される。

【0029】

第２のアルゴリズムが、より多くの計算資源が利用可能である後の時間に 適用されることは、このチェックが、後で終了するためにスケジュールすることができ、より低いグレードのハードウェアを使用して第２のアルゴリズムが適用されることを可能にする点で有益である。例えば、第２のアルゴリズムは、方法を実装するデバイス内の利用可能な計算資源が、総計算資源の閾値パーセンテージより大きいときに、または、利用可能な計算資源が閾値量を超えるときに適用することができる。

【0030】

幾つかの実施形態において、第２のアルゴリズムを適用するステップは、画像データ内で対象物を位置特定するための画像セグメント化アルゴリズムを適用することを含み、上記対象物は、アイドル状態エリア内に少なくとも部分的に延在し、位置特定された対象物に対応する画像データは、第２のアルゴリズムが適用される先の画像データを規定する。

【0031】

画像セグメント化アルゴリズムは、第２のアルゴリズムの信頼性を増し、前景をより正確に決定することができる点で有益である。

【0032】

幾つかの実施形態において、第２のアルゴリズムは、以下：顔認識、頭部検出、身体検出、乗り物検出、ナンバープレート検出、動作解析、対象物追跡、予め登録された他の重要な対象物の検出、のうちの少なくとも１つを実施するように適合される。

【0033】

これらのタイプの画像解析は、これらのタイプの画像解析が、一般的に使用され、第２のレベルの実装であることから何らかの方法で全てが利益を得る点で有益である。幾つかの実施形態において、画像解析は、人識別子、すなわち、人を識別するために使用することができる人識別子を形成する対象物部分を識別するように適合される。人識別子の非制限的な例は、顔、目、指紋、スタッフユニフォーム、ｉｄカード、およびペイメントカードである。

【0034】

幾つかの実施形態において、方法は、前景の一部である空間エリアをマスクすることをさらに含む。

【0035】

マスキングは、単純化されたさらなる解析のためにプライバシーおよび／または示される情報の低減を可能にする点で有益である。マスキングはまた、例えば、対象物タイプを示す一般的なグラフィクスまたは情報を付加して、対象物のアイデンティティを開示することなくシーン理解を容易にすることができる。異なる対象物タイプは、異なるアイコンおよび／またはカラーを有するマスクを有することができる。

【0036】

幾つかの実施形態において、方法は、ビデオシーケンスにおいて描写される対象物を、ビデオシーケンスにおける前景の一部である空間エリア内の対応する画像データを追跡することによって、追跡することをさらに含む。

【0037】

追跡は、前景が正確に区別されると、対象物追跡が簡略化される点で有益である。対象物追跡は、前景が正確であることを保証するため第２のアルゴリズムを改良するためにさらに使用することができる。

【0038】

本発明の第２の態様によれば、非一過性のコンピュータ可読記録媒体が提供され、非一過性のコンピュータ可読記録媒体は、処理能力を有するデバイス上で実行されると、第１の態様による方法を実装するためのプログラムが、非一過性のコンピュータ可読記録媒体上に記録されている。

【0039】

本発明の第３の態様によれば、ビデオシーケンスで画像フレームを取り込むビデオカメラが提供される。ビデオカメラは、制御ユニットを備え、制御ユニットは、複数の画像フレームに第１のアルゴリズムを適用することによって、ビデオシーケンスの背景モデルであって、画像フレーム内の複数の空間エリアの各空間エリアについて、その空間エリアがビデオシーケンスにおいて背景に属するか、前景に属するかを規定する、背景モデルを規定するように構成され、先行する画像フレーム内の上記空間エリア内の画像データに対する画像フレーム内の空間エリア内の画像データにおける検出された有意の変化が、上記空間エリアが前景に属することを指示し；規定された前景エリアのアイドル状態エリアが前景から背景に移行されるべきであると指示するように構成され；ビデオシーケンスの画像フレームの画像データに第２のアルゴリズムを適用することによってアイドル状態エリアが移行されるべきか否かを判定するように構成され、画像データがアイドル状態エリアに少なくとも部分的に対応し；なお、アイドル状態エリアが移行されるべきでないと判定すると、アイドル状態エリアを、背景モデル内の前景エリアとして維持するように構成される。

【0040】

幾つかの実施形態において、制御ユニットは、ビデオシーケンスにおいて複数の画像フレームに第１および第２のアルゴリズムをリアルタイムに適用するようにさらに構成される。

【0041】

アルゴリズムのリアルタイム適用は、リアルタイムプライバシーマスキングおよび／または対象物追跡を可能にする点で有益である。アルゴリズムは、画像解析全体が非常に効率的であるように適用され、したがって、変更および／または損傷が全くない状態でほとんどのビデオカメラによってリアルタイムに適用することができる。

【0042】

第１の態様の上記で述べた特徴は、適用可能であるとき、この第３の態様にも適用され、また、その逆も同様である。過度の反復を回避するために、上記に対して参照が行われる。

【0043】

本発明の適用性のさらなる範囲は、以下で示す詳細な説明から明らかになるであろう。しかしながら、本発明の範囲内の種々の変更および修正がこの詳細な説明から当業者に明らかになるため、詳細な説明および特定の例が、本発明の好ましい実施形態を示しながら、例示としてのみ与えられることが理解されるべきである。

【0044】

したがって、本発明が、述べるデバイスの特定のコンポーネント部分または述べる方法のステップに限定されないことが理解され、なぜならば、そのようなデバイスおよび方法が変動する場合があるからである。本明細書で使用する用語が、特定の実施形態を述べるためのものに過ぎず、制限的であることを意図されないことも理解される。本明細書および添付特許請求の範囲で使用するとき、冠詞「１つの（ａ）」、「１つの（ａｎ）」、「その（ｔｈｅ）」、および「前記（ｓａｉｄ）」は、別段に文脈が明確に指示しない限り、要素の１つまたは複数が存在することを意味することを意図されることが留意されなければならない。そのため、例えば、「或るユニット（ａ ｕｎｉｔ）」または「そのユニット（ｔｈｅ ｕｎｉｔ）」に対する参照は、幾つかのデバイスおよび同様なものを含むことができる。さらに、語「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｃｏｎｔａｉｎｉｎｇ）」、および同様の表現は、他の要素またはステップを排除しない。

【0045】

本発明の上記のおよび他の態様は、ここで、本発明の実施形態を示す添付図面を参照して、より詳細に述べられる。図は、本発明を特定の実施形態に限定するものと理解されるべきでなく；代わりに、それらは、本発明を説明し理解するために使用される。

【0046】

図に示すように、層および領域のサイズは、例示のために誇張され、したがって、本発明の実施形態の一般的な構造を示すために提供される。同様の参照符号は全体を通して同様の要素を指す。

【図面の簡単な説明】

【0047】

【図1】ビデオシーケンスにおける画像フレームの画像解析のための方法のブロックスキームである。

【図2】ビデオシーケンスにおける画像フレームの画像解析のための方法のブロックスキームであり、第１および第２のアルゴリズム、前景をマスクする部分および／または追跡する部分、ならびにループをさらに含む。

【図3a】画像フレーム内の空間エリアが背景に属するか、前景に属するかを規定する背景モデルを有する、ビデオシーケンスにおける画像フレームの略図である。

【図3b】複数のタイマーを備える第１のアルゴリズムをさらに有する図３ａの画像フレームの略図である。

【図4a】前景対象物が背景に移行するビデオシーケンスにおける画像フレームの略図である。

【図4b】空間エリアがアイドル状態エリアになる、図４ａの画像フレームの略図である。

【発明を実施するための形態】

【0048】

本発明は、ここで、本発明の現在のところ好ましい実施形態が示される添付図面を参照して以降でより完全に述べられるであろう。しかしながら、本発明は、多くの異なる形態で具現化することができ、本明細書で述べる実施形態に限定されるものと解釈されるべきでない；むしろ、これらの実施形態は、徹底さおよび完全さ（ｔｈｏｒｏｕｇｈｎｅｓｓ ａｎｄ ｃｏｍｐｌｅｔｅｎｅｓｓ）のために提供され、本発明の範囲を当業者に完全に伝える。

【0049】

図１の方法は、ここで、図３～４に関連して述べられる。図１は、ビデオシーケンスにおける画像フレーム３０ａ～３０ｃの画像解析のための方法１００のブロックスキームである。図４ａ～４ｂの画像フレーム３０ａ～３０ｃは左から右に時間経過を示す。方法１００は、特定の順序で、例えば、図１に示す順序で、または、任意の他の適した順序で実施することができる多数のステップを含む。以下の例において、他に何かが指定されない限り、画像フレーム３０ｃが、現在処理中の（ｃｕｒｒｅｎｔｌｙ ｐｒｏｃｅｓｓｅｄ）／解析中の画像フレームであることが仮定される。

【0050】

規定するステップ１１０は、ビデオシーケンスの背景モデルを規定することを含む。背景モデルは、画像フレーム３０ａ～３０ｃ内の複数の空間エリア１０の各空間エリア１０について、その空間エリア１０がビデオシーケンスにおいて背景２２に属するか、前景２４に属するかを規定する。先行する画像フレーム３０ａ～３０ｂ内の上記空間エリア１０内の画像データに対する現在処理中の画像フレーム３０ｃ内の空間エリア１０内の画像データにおける検出された有意の変化は、上記空間エリア１０が前景２４に属することを指示する。

【0051】

背景モデルは、或る期間中に有意に変化せず、それにより、背景２２に属する空間エリア１０と、或る期間中に有意に変化し、それにより、前景２４に属する空間エリア１０を区別する異なるビデオ処理手段のためのツールである。

【0052】

この簡略化された形態で、背景モデルは、画像フレーム３０ａ～３０ｃの空間エリア１０内の各ピクセル位置についてピクセル値を含むことができる。現在の画像フレーム３０ｃ（すなわち、画像フレーム３０ｃは現在解析中である）内の対応する位置におけるピクセル値が、直前の画像フレーム３０ａ～３０ｂ（すなわち、現在の画像フレーム３０ｃに先行する画像フレーム３０ａ～３０ｂ）内の対応する位置におけるピクセル値と、閾値より大きい値だけ異なる（すなわち、大幅に異なる）場合、現在の画像フレーム３０ｃ内のピクセル位置は、前景２４に属するものと考えられるべきである。そうでなければ、それは、背景２２に属するものと考えられるべきである。背景モデルは、その後、現在の画像フレーム３０ｃ内のピクセル位置に基づいて更新される。

【0053】

空間エリア１０が幾つかのピクセルを含むことができることが留意されるべきである。例えば、１つのピクセル内のノイズが大き過ぎる場合、多くのピクセルにわたる平均が低いノイズを有することになるため、多数のピクセルが共に比較される。これは、画像センサからの均等に分散したノイズが、フレーム内の全てを前景に移行させる状況を回避する。共にグループ化されるピクセルの数は、例えば、光レベルに応じて、または、異なるノイズレベルに基づいて異なる場合がある。

【0054】

空間エリア１０が幾つかのピクセルを含むことができる実施形態において、空間エリア１０は、背景２２に属するピクセルおよび前景２４に属するピクセルを含むことができる。そのような場合、２つの群、すなわち、背景２２または前景２４の一方は、空間エリア１０が両方の群に属するピクセルを含む場合、デフォルトとして使用することができる。別の実施形態において、２つの群についての最も一般的な方法（ｍｏｓｔ ｐｒｅｖａｌｅｎｔ）は、空間エリア１０が背景２２に属するか、前景２４に属するかを判定することができる。さらなる実施形態において、両方の群に属するピクセルを含む空間エリア１０は、それぞれが一方の群に属するピクセルを含むだけである幾つかの空間エリア１０に分割される。

【0055】

別の実施形態において、背景モデルは、１つのピクセル位置について複数のピクセル値を含む、例えば、そのピクセル位置において画像フレーム３０ａ～３０ｃの最後のＸ個のピクセル値を規定する。現在の画像フレーム３０のピクセル位置におけるピクセル値が、背景モデルにおける対応するピクセル位置のピクセル値（例えば、ピクセル値の分散、閾値、または任意の他の統計的尺度に基づく代表的なピクセル値によって表される）と大幅に異なる場合、現在の画像フレーム３０ｃ内のピクセル位置は、前景２４に属するものとして、またそうでなければ背景２４に属するものとして考えられる。背景モデルは、その後、現在の画像フレーム内のピクセル値に基づいて更新される。本明細書で例示する方法と異なる、背景モデルを実装する多くの方法が存在することが留意されるべきである。

【0056】

ビデオシーケンスが、例えば、固定モニタリングカメラによって取り込まれる場合、ビデオシーケンスの画像フレーム３０ａ～３０ｃの背景２２は、モニターされるシーンの静止背景に対応する。モニタリングは、例えば、人々がモニターされるか、ストック(ｓｔｏｃｋ)がモニターされるかに応じて、背景２２または前景２４に関心があるだけとすることができる。

【0057】

前景２４は、幾つかの実施形態において、静止エリアを含むことができる。例えば、モニターされるシーンが駐車場を含む場合、アスファルトおよび壁は背景２２として規定することができ、駐車したアイドル状態の車は前景２４として規定することができる。これを達成するため、アイドル状態の車が背景２２に移行されることを防止するように特別に適合される第２のアルゴリズムを、本明細書で述べるように使用することができる。そのような第２のアルゴリズムの例は、ナンバープレート検出および／または画像セグメント化を含む。

【0058】

したがって、背景モデルは、無関係な情報を、フィルターを通して除去し、ビデオシーケンスに対して実施することができる任意のビデオ処理を改善するために使用することができる。

【0059】

指示するステップ１２０は、規定された前景２４のアイドル状態エリア１２が前景２４から背景２２に移行されるべきであるという指示を受信することを含む。

【0060】

指示は、例えば、アイドル状態エリア１２を見出した後に、規定するステップ１１０において提供することができる。背景２２と前景２４を区別するために、規定するステップ１１０においてどんな条件が使用されようとその条件に基づいて、空間エリア１０をアイドル状態エリア１２として規定することができる。例えば、空間エリア１０は、例えば、先行する画像フレーム３０ａ～３０ｂ内の空間エリア１０内の画像データと比べて、有意の変化が現在の画像フレーム３０ｃの空間エリア１０内の画像データにおいて全く検出されない場合、アイドル状態１２であるとして識別することができる。

【0061】

指示することは、例えば、メタデータまたは別個のルックアップテーブルを使用して空間エリア１０をアイドル状態エリア１２としてラベル付けすることを含むことができる。

【0062】

背景モデルを解析し、必要であるときに指示を提供するユニット／プロセス／アルゴリズムによって、指示を通信することができる。他の実施形態において、背景モデルそれ自体が、指示を提供するための手段を備える。

【0063】

規定された前景エリア２４の空間エリア１０の間でアイドル状態エリア１２を指示する１２０だけであることによって、計算パワーを節約することができる。これは、背景２２に属する空間エリアが、アイドル状態であると仮定され、既に背景２２の一部であるからである。

【0064】

判定するステップ１３０は、アイドル状態エリア１２が移行される１５０べきか否かを判定することを含む。

【0065】

判定するステップ１３０は、空間エリア１０がアイドル状態エリア１２に対応する画像フレームだけでなく、ビデオシーケンスの任意の画像フレーム３０ａ～３０ｃを解析することを含むことができる。これは、最も情報量が多い画像フレーム３０ａ～３０ｃが、必ずしも、最も最近の画像フレーム、または、現在解析中の画像フレーム３０ｃに最も類似する画像フレームでない点で有益である。１つの例として、空間エリア１０がアイドル状態エリア１２に対応しない画像フレーム３０ａ～３０ｃを解析することによって、かつて動作中であり、現在のところアイドル状態である前景対象物を見出すことがより容易である場合がある。

【0066】

維持するステップ１４０は、背景モデルにおいてアイドル状態エリア１２を前景エリア２４として維持することを含む。維持するステップ１４０は、好ましくは、アイドル状態エリア１２が移行される１５０べきでないと判定する１３０と起こる。

【0067】

維持するステップ１４０は、何もしないことによって、または、既に始動されている場合がある移行１５０を防止するために、背景モデルを備える回路要素（ｃｉｒｃｕｉｔｒｙ）または任意の他の適した処理手段と通信することによって達成することができる。

【0068】

維持するステップ１４０は、維持されたアイドル状態エリア１２が前景２４にあるままであることを保証するために、規定するステップ１１０を操作することをさらに含むことができる。

【0069】

移行させるステップ１５０は、すなわち、アイドル状態エリア１２が移行される１５０べきであると判定した後に、背景モデルにおいてアイドル状態エリア１２を背景２２に移行することを含む。

【0070】

移行させるステップ１５０は、例えば、メタデータまたは別個のルックアップテーブルを使用してアイドル状態エリア１２を背景２２としてラベル付けすることを含むことができる。移行を適用する回路要素は、背景モデルを備える回路要素、および／または、別個のプロセッサであって、例えば、方法１００の別のステップを実施するまたはビデオシーケンスを取り込む、別個のプロセッサと通信することができる。１つの実施形態において、背景モデルを備える回路要素は、移行を適用する同じ回路要素であり、それにより、通信は必要でない。

【0071】

移行させるステップ１５０は、背景モデル、および／または、別個のプロセッサであって、例えば、方法１００の別のステップを実施するまたはビデオシーケンスを取り込む、別個のプロセッサからの通信によって影響をさらに受ける場合がある。

【0072】

好ましい実施形態において、維持するステップ１４０および移行させるステップ１５０の一方のみが実施される。

【0073】

図２は、ビデオシーケンスにおける画像フレーム３０ａ～３０ｃの画像解析のための方法２００のブロックスキームであり、第１および第２のアルゴリズムを適用する２１５、２３５こと、前景２４の所定の部分をマスクする２６０ことおよび／または追跡する２７０こと、ならびにループをさらに含む。図２の方法は、ここで、図３～４に関連して述べられる。

【0074】

規定するステップ１１０は、第１のアルゴリズムを複数の画像フレーム３０ａ～３０ｃに適用する２１５ことを含む。第１のアルゴリズムは、各画像フレーム３０ａ～３０ｃの空間エリア１０が、背景モデルにおいて背景２２に属するか、前景２４に属するかを判定するために使用される。第１のアルゴリズムは、空間エリア１０がアイドル状態エリア１２になるときをさらに検出することができる。

【0075】

第１のアルゴリズムは、例えば、背景２４に属する任意の空間エリア１０が前景２２に移行されるべきか否かを規定するために、先行する画像フレーム３０ａ～３０ｂ内の空間エリア１０内の画像データに対する現在解析中の画像フレーム３０ｃ内の空間エリア１０内の画像データにおける有意の変化を検出するようにさらに構成することができる。

【0076】

第１のアルゴリズムは、例えば、前景２２に属する任意の空間エリア１０が背景２４に移行されるべきか否かを規定するために、先行する画像フレーム３０ａ～３０ｂ内の空間エリア１０内の画像データに対して現在の画像フレーム３０ｃ内の空間エリア１０内の画像データにおいて有意の変化が全く起こらなかったことを特に検出するようにさらに構成することができる。

【0077】

第１のアルゴリズムは、例えば、現在の画像フレーム３０ｃ内の空間エリア１０内の画像データを解析し、それを、直前の１つまたは複数の画像フレーム３０ａ～３０ｂ内の対応する空間エリアと比較することを含むことができる。上記画像データが空間エリア１０の間で大幅に異なる場合、その空間エリア１０は、第１のアルゴリズムに従って前景２４に属すると考えられる。

【0078】

判定するステップ１３０は、第２のアルゴリズムを、ビデオシーケンスの画像フレーム３０ａ～３０ｃの画像データに適用する２３５ことを含み、画像データは、アイドル状態エリア１２に少なくとも部分的に対応する。

【0079】

第２のアルゴリズムは、アイドル状態エリア１２（指示ステップ１２０において指示される）が、移行される１５０べきか否かを判定するように構成することができる。

【0080】

第２のアルゴリズムは、アイドル状態エリア１２を有する画像フレームだけでなく、ビデオシーケンスの画像フレーム３０ａ～３０ｃの任意の１つまたは幾つかの画像フレームに適用することができる。

【0081】

アイドル状態エリア１２に対応する画像データは、例えば、前景２４対象物が移動した場合、直前の画像フレーム３０ａ～３０ｂ内の異なる空間エリア１０に含まれる場合がある。したがって、第２のアルゴリズムは、異なる画像フレーム３０ａ～３０ｂ内の異なる空間エリア１０の画像データに適用することができる。

【0082】

第２のアルゴリズムは、アイドル状態エリア１２が前景２４から背景２２に移行されるべきという指示が存在するという規定の下で画像フレーム３０ａ～３０ｃの画像データに適用される２３５ように適合することができる。

【0083】

指示ステップ１２０後に第２のアルゴリズムを適用する２３５だけであることは、必要とされるときに第２のアルゴリズムが使用されるだけである点で有益である。第２のアルゴリズムが、例えば、第１のアルゴリズムと比較して、計算的に要求が厳しいおよび／または信頼性が低い場合、第１のアルゴリズムに主に頼ることが有益である。

【0084】

方法２００は、第２のアルゴリズムが使用されることをさらに可能にし、第２のアルゴリズムは、第１のアルゴリズムに比べて比較的時間がかかり、それにより、第１のアルゴリズムと同程度にしばしば第２のアルゴリズムを適用する２３５ことが、効率的でないまたは正当化されないことになる。

【0085】

第２のアルゴリズムは、十分な計算資源が利用可能である後の時間に適用する２３５ことができる。

【0086】

それは、低活動による、前景２４から背景２２への対象物の可能性のある移行についてであるため、このチェックは、後で終了するためにスケジュールされる場合がある。第２のアルゴリズムは、即座に終了する必要はなく、第２のアルゴリズムは、例えば、可能性のある移行がチェックされるためマーク付けされた全てのエリア、および、進行中のチェックのためにマーク付けされたエリアを追跡することができる。第２のアルゴリズムは、その後、十分な（例えば、閾値を超える）計算資源が利用可能であるときに適用することができる。

【0087】

背景モデルにおける前景２４から背景２２への空間エリア１０の移行１５０は、画像フレーム３０ｃのアイドル状態エリア１２が移行される１５０べきと、第２のアルゴリズムが判定した１３０という規定の下で実施することができる。

【0088】

判定ステップ１３０後に移行１５０を実施するだけであることは、第２のアルゴリズムによって検証されない限り、対象物が背景２２に移されず、それが、第１のアルゴリズムによる偽陽性の影響を低減する点で有益である。

【0089】

計算資源を保存するするためのスケジューリングによって、または、第２のアルゴリズムが、その複雑さのせいで長い時間を要することによって、判定するステップ１３０が、第２のアルゴリズムを後の時間に適用する２３５ことを含む実施形態において、移行ステップ１５０は、第２のアルゴリズムが適用された２３５後に実施されるだけである。

【0090】

偽陽性は、例えば、図３ａに関して論じたプライバシーマスキング２６０を用いる実施形態において、有害とすることができる。

【0091】

代替法として、第２のアルゴリズムの使用によって、画像フレーム３０ｃのアイドル状態エリア１２が移行される１５０べきでないと判定される１３０場合、判定ステップ１３０は、移行１５０が既に実施または始動されている場合、移行１５０を反転させることができる。

【0092】

第２のアルゴリズムは、第１のアルゴリズムに比べて計算的に要求が厳しいとすることができる。

【0093】

第２のアルゴリズムが、計算的に要求がより厳しいことは、第２のアルゴリズムが第１のアルゴリズムに比べて頻度少なく使用され、したがって、かなりの計算パワーを節約することができる点で有益である。

【0094】

第２のアルゴリズムは、第１のアルゴリズムに比べて少ない偽陰性の結果をさらに生成することができ、したがって、第１のアルゴリズムの結果を検証するのに適する。

【0095】

第２のアルゴリズムを適用する２３５ステップは、画像データ内で対象物を位置特定するための画像セグメント化アルゴリズムを適用することを含むことができ、上記対象物は、アイドル状態エリア１２内に少なくとも部分的に延在し、位置特定された対象物に対応する画像データは、第２のアルゴリズムが適用される２３５先の画像データを規定する。

【0096】

画像セグメント化アルゴリズムは、第２のアルゴリズムの信頼性を増し、前景２４をより正確に決定することができる点で有益である。

【0097】

画像セグメント化は、１つまたは複数の画像フレーム３０ａ～３０ｃの画像データ内で対象物および境界を位置特定することを含む。

【0098】

前景対象物が、例えば、大きい単色の正方形を含む場合、その正方形は、対象物および正方形が移動しても、空間エリア１０の画像データが大幅に変化しない（例えば、画像データ内の閾値より小さい数のピクセルが大幅に変化する、または、空間エリア１０の画像データのピクセルと背景モデルの画像データのピクセルとの間の要約された差が閾値差より小さい）ように配置することができる。したがって、画像セグメント化は、上記空間エリア１０がアイドル状態であるのに、対象物がアイドル状態でないことを見出すために対象物全体を位置特定することができる。対象物全体に適用されることによって、第２のアルゴリズムは、アイドル状態エリア１２が、前景対象物の一部であるように、維持される１４０べきであると、より容易に判定する１３０ことができる。

【0099】

第２のアルゴリズムは、以下：顔認識、頭部検出、身体検出、乗り物検出、ナンバープレート検出、動作解析、対象物追跡２７０、および予め登録された他の重要な対象物の検出、のうちの少なくとも１つを実施するように適合することができる。

【0100】

第２のアルゴリズムは顔認識を実施するように適合することができる。顔認識は、前景２４の空間エリア１０が顔を含むか否かを見出すために使用される。空間エリア１０が顔を含む場合、空間エリア１０は、活動しており、したがって、前景２４の一部であると仮定される。それにより、顔を含む任意のアイドル状態エリア１２は、前景２４として維持される１４０と、判定される１３０。

【0101】

顔認識は、顔が属する先の人または動物を見出すために、好ましくは、画像セグメント化および／または身体検出と組み合わされ、それにより、人または動物の画像エリア全体は、前景２４として維持される１４０と、判定される。

【0102】

第２のアルゴリズムは、頭部または身体検出を実施するように適合することができる。頭部または身体検出は、前景２４の空間エリア１０が人または動物の頭部または身体を含むか否かを見出すために使用される。空間エリア１０が頭部または身体を含む場合、空間エリア１０は、活動しており、したがって、前景２４の一部であると仮定される。それにより、頭部または身体を含む任意のアイドル状態エリア１２は、前景２４として維持される１４０と、判定される１３０。

【0103】

頭部または身体検出は、互いにおよび／または顔認識と組み合わされて、頭部または身体検出の精度を改善することができる。

【0104】

第２のアルゴリズムは、乗り物またはナンバープレート検出を実施するように適合することができる。乗り物またはナンバープレート検出は、前景２４の空間エリア１０が乗り物またはナンバープレートを含むか否かを見出すために使用される。空間エリア１０がそれらを含む場合、空間エリア１０は、乗り物であり、したがって、前景２４の一部であると仮定される。それにより、乗り物またはナンバープレートを含む任意のアイドル状態エリア１２は、前景２４として維持される１４０と、判定される１３０。

【0105】

第２のアルゴリズムは、動作解析を実施するように適合することができる。動作解析は、前景２４の空間エリア１０が任意の移動対象物を含むか否かを見出すために使用される。空間エリア１０がそれを含む場合、空間エリア１０は、前景２４の一部であると仮定される。それにより、動作を含む任意のアイドル状態エリア１２は、前景２４として維持される１４０と、判定される１３０。

【0106】

動作解析は、好ましくは、画像セグメント化と関連して使用されて、１つの空間エリア１０がアイドル状態であるときでも、動作中であるとすることができる同じ対象物を含む他の空間エリア１０を見出す。これは、第２のアルゴリズムが、同じ対象物を含む空間エリア１０において、動作検出に関連する、第１のアルゴリズムの結果をチェックすることによって実装することができる。この実施形態において、第２のアルゴリズムは、第１のアルゴリズムの動作検出を実装することによって動作解析を実施するように適合される。

【0107】

こうして、動作解析は、画像セグメント化および第１のアルゴリズムの結果をチェックする命令のみからなる第２のアルゴリズムとして実装することができる。

【0108】

動作解析は、さらに、より複雑であって、例えば、画像セグメント化および／または対象物追跡２７０に関連して使用されて、同じアイドル状態対象物が、ビデオシーケンスの直前の画像フレーム３０において動作中であったか否かを見出すことができる。これは、やはり、第１のアルゴリズムの結果を利用するおよび／または何らかの他の方法で動作を見出すために幾つかの画像フレーム３０を解析することができる。

【0109】

第２のアルゴリズムは、対象物追跡２７０を実施するように適合することができる。対象物追跡２７０は、モニターされる対象物を検出しそれに追従するために使用される。これは、前景２４のアイドル状態エリア１２内の対象物が直前にどこにいたかを見出すために使用することができる。対象物が異なる空間エリア１０内にいたときに、対象物が前景２４として維持される１４０と、判定された場合、対象物を前景２４としてもう一度維持する１４０ことが有益である場合がある、また、その逆も同様である。

【0110】

対象物追跡２７０は、例えばモニターされるエリアが列車の軌道またはコンベヤベルトを含む場合、動作解析と異なる判定１３０をもたらす場合がある。対象物追跡２７０は、追跡される対象物が、直前に追跡された対象物と定時性（ｒｅｇｕｌａｒｉｔｙ）または類似性を有するか否かを判定することを含むことができる。第２のアルゴリズムは、定時に通過する列車および連続して移動するコンベヤベルトが背景２２の一部であると、および／または、以前に見た猫が前景２４の一部であると、判定する１３０ように適合することができる。

【0111】

維持するステップ１４０および／または移行させるステップ１５０が実施された後、方法２００は、方法２００の始まりにループバックすることができる。

【0112】

ビデオシーケンスにおける画像フレーム３０ａ～３０ｃの画像解析のための方法２００を連続してループさせることによって、新しい画像フレーム３０が、解析されて、および／または、直前に解析された画像フレーム３０と比較されて、例えば、背景モデルを更新し続けることができるおよび／または直前の解析から学習し続けることができる。

【0113】

マスクするステップ２６０は、前景２４の一部である空間エリア１０をマスクすることを含む。

【0114】

マスキング２６０は、単純化されたさらなる解析のためにプライバシーおよび／または示される情報の低減を可能にする点で有益である。マスキング２６０は、特徴のないまたは単色である画像フレーム３０の空間エリア１０を完全にぼかす（ｂｌｕｒｒｉｎｇ ｏｕｔ）ことおよび／または置換することを含むことができる。

【0115】

マスキング２６０は、プライバシーマスキング、例えば、顔認識および／またはナンバープレート検出を使用して顔および／またはナンバープレートをマスクすることを含むことができる。これは、顔および／またはナンバープレートが属する先の人および／または車全体をマスクする２６０ことをさらに含むことができる。これは、例えば、画像セグメント化および／または対象物追跡を使用して達成することができる。

【0116】

プライバシーマスキングは、人々が、人々のプライバシーを損なうことなく、安全および／またはセキュリティのためにモニターされることを可能にする点で有益である。

【0117】

前景２４による妨害なしで、および／または、前景２４の人々のプライバシーを保ちながら、背景２２をモニターするために前景２４をマスクすることができる。

【0118】

例えば、前景２４のマスクされない部分が、モニターするのに関心がある場合、背景２２の所定の部分をさらにマスクする２６０ことができる。

【0119】

追跡するステップ２７０は、ビデオシーケンスにおいて前景２４の一部である空間エリア１０内の対応する画像データを追跡することによって、ビデオシーケンスにおいて描写される対象物を追跡することを含む。

【0120】

追跡２７０は、前景２４が正確に区別されると、対象物追跡が簡略化される点で有益である。これは、例えば、新しい画像フレーム３０内で対象物を見出すとき、前景２４の一部である空間エリア１０のみを考慮することができるからである。

【0121】

対象物追跡２７０は、前景２４が正確であることを保証するため第２のアルゴリズムを改良するためにさらに使用することができる。これは、追跡される対象物が、幾つかの実施形態において、常に前景２４の一部であるべきであるからである。

【0122】

非一過性のコンピュータ可読記録媒体は、処理能力を有するデバイス上で実行されると、図１または図２による方法１００、２００を実装するためのプログラムが、非一過性のコンピュータ可読記録媒体上に記録されているとすることができる。

【0123】

１つのそのようなデバイスはビデオカメラとすることができる。ビデオカメラは、それ自体、図１または図２による方法１００、２００を実施するように構成することができる。

【0124】

ビデオシーケンスにおける画像フレーム３０ａ～３０ｃを取り込むビデオカメラは、制御ユニットを備えることができ、制御ユニットは、複数の画像フレーム３０ａ～３０ｃに第１のアルゴリズムを適用する２１５ことによって、ビデオシーケンスの背景モデルであって、画像フレーム３０ａ～３０ｃ内の複数の空間エリア１０の各空間エリア１０について、その空間エリア１０がビデオシーケンスにおいて背景２２に属するか、前景２４に属するかを規定する、背景モデルを規定する１１０ように構成され、先行する画像フレーム３０ａ～３０ｂ内の上記空間エリア１０内の画像データに対する画像フレーム３０ｃ内の空間エリア１０内の画像データにおける検出された有意の変化が、上記空間エリア１０が前景２４に属することを指示し；規定された前景エリア２４のアイドル状態エリア１２が前景２４から背景２２に移行される１５０べきであると指示する１２０ように構成され；ビデオシーケンスの画像フレーム３０ｃの画像データに第２のアルゴリズムを適用する２３５ことによってアイドル状態エリア１２が移行される１５０べきか否か１４０を判定する１３０ように構成され、画像データがアイドル状態エリア１２に少なくとも部分的に対応し；なお、アイドル状態エリア１２が移行される１５０べきでないと判定すると、アイドル状態エリア１２を、背景モデルにおける前景エリア２４として維持するように構成される。

【0125】

制御ユニットは、ビデオシーケンスにおいて複数の画像フレーム３０ａ～３０ｃに第１および第２のアルゴリズムをリアルタイムに適用する２１５、２３５ようにさらに構成することができる。

【0126】

アルゴリズムのリアルタイム適用は、それが、リアルタイムプライバシーマスキング２６０および／または対象物追跡２７０を可能にする点で有益である。アルゴリズムは、画像解析全体が非常に効率的であるように適用され２１５、２３５、したがって、変更および／または損傷が全くない状態でほとんどのビデオカメラがリアルタイムに適用することができる。

【0127】

第１のアルゴリズムは、比較的効率的とすることができ、また、比較的適度なハードウェア上でもリアルタイムに適用する２１５ことができる。第２のアルゴリズムは、必要とされるときに適用される２３５だけであり、したがって、第２のアルゴリズムは、比較的計算的に要求が厳しくても、リアルタイムに適用することができる。

【0128】

リアルタイムビデオ処理は、例えば、プライバシーマスキング２６０が、ビデオシーケンスがアクセス可能である限りアクティブである点で高度に安全であり、したがって、悪意のあるスパイウェアは、ビデオシーケンスの非プライバシーマスク２６０バージョンにアクセスすることができない。

【0129】

図３ａはビデオシーケンスにおける画像フレーム３０を示す。ビデオシーケンスは、画像フレーム３０内の空間エリア１０が背景２２に属するか、前景２４に属するかを規定する背景モデルを備える。

【0130】

この実施形態において、背景２２における任意の有意の変化は、対応する空間エリア１０を前景２４に移行させる。十分に長い時間にわたって実質的に変化しない画像データを含む空間エリア１０、すなわちアイドル状態エリア１２を、図４ｂに示すように背景２２に移行することができる。しかしながら、最初に、アイドル状態エリア１２が維持される１４０べきか否かが判定される１３０。

【0131】

アイドル状態エリア１２を背景２２に移行する前のこの特別なレベルの判定１３０は、背景２２から前景２４への対応する移行について存在しない場合がある。

【0132】

これは、例えば、プライバシーに関する懸念から有益である。前景２４がプライバシーマスキングされ２６０および／または対象物追跡される２７０場合、例えば、第１のアルゴリズムの偽陽性結果として、空間エリア１０がアイドル状態であることを停止する前の短時間の間でも、対象物を背景２２に不正確に移すことは、有害とすることができる。プライバシーマスキング２６０の場合、プライバシーが喪失される場合があり、対象物追跡２７０場合、対象物が喪失される場合がある。

【0133】

そのような空間エリア１０を前景２４に移行させることなく、および／または、そのような空間エリア１０を背景２２に移行させるのではなく前景２４内に保つことなく、背景２２におけるわずかな変化を可能にするために、例えば、判定ステップ１３０の実装における十分な寛容性（ｌｅｎｉｅｎｃｙ）を可能にすることがさらに重要である場合がある。

【0134】

例えば、自然の光は、経時的に変化することになり、背景２２であると考えられるべきものに大幅に影響を及ぼすことなく、背景２２への変化をもたらす。この場合、光の変化によって影響を受ける空間エリア１０は、背景２２にあるままであるべきであるまたは比較的迅速に背景２２に移行する１５０べきである。

【0135】

代替の実施形態において、前景２４に移行することができる任意の非アイドル状態空間エリア１０について背景２２はチェックされず、何かが背景２２内に存在すると、それは背景２２に留まる。

【0136】

例えば、異なるビデオカメラによって取り込まれる幾つかのビデオシーケンスを有する実施形態において、方法１００、２００は、平行してビデオシーケンスに適用することができる。２つ以上のビデオシーケンスが、同じ物理的場所に対応する空間エリア１０を有する画像フレーム３０を含む場合、方法１００、２００は、これらの全ての空間エリア１０を解析し、それらの空間エリア１０が、１つの群として、維持される１４０べきか、移行される１５０べきかを判定する１３０ことができる。これは、例えば、角度の変化が、より信頼性のある判定１３０のために使用されることを可能にする。

【0137】

図３ｂは、複数のタイマー１４を含む第１のアルゴリズムの略図でオーバーラップされた図３ａの画像フレーム３０を示す。各タイマー１４は、画像フレーム３０内の複数の空間エリア１０の１つの空間エリア１０に関連する。

【0138】

有意の変化が、所定の制限時間になる前に、先行する画像フレーム３０の上記空間エリア１０の画像データに対して画像フレーム３０の空間エリア１０の画像データにおいて起こらなかった場合、上記空間エリア１０は背景モデル内のアイドル状態エリア１２として規定される。

【0139】

先行する画像フレーム３０の上記空間エリア１０の画像データに対して画像フレーム３０の空間エリア１０の画像データにおいて有意の変化が検出される場合、背景２２の空間エリア１０は前景２４に移行することができる。

【0140】

タイマー１４は、単純でかつ計算効率的である点で有益である。類似のアルゴリズムと比較して、閾値を実装することおよび／または結果を操作することが容易である。

【0141】

これは、一部には、タイマー１４が数値であり、数値が単純であるためであるからである。例えば、多数の秒をタイマー１４に単に付加することによって、タイマー１４は、閾値を変更する必要なしで、より高速にその閾値に達することになる。別の例として、タイマー１４は、予測可能な周期性でタイマー１４をリセットすることによってその閾値に絶えず達することを防止することができる。

【0142】

タイマー１４は、計算上の有意の複雑さなしで、さらにカウントアップおよび／またはカウントダウンすることができる。

【0143】

アイドル状態エリア１２が移行される１５０べきでないと第２のアルゴリズムが判定する１３０と、そのアイドル状態エリア１２に関連するタイマー１４をリセットまたは一時停止することができる、または、そのアイドル状態エリア１２に関連するタイマー１４の制限時間を増加することができる。

【0144】

判定ステップ１３０に対する応答としてタイマー１４を操作することは、アイドル状態エリア１２を背景モデル内の前景エリア２４として維持する単純かつ効率的な方法である点で有益である。それはまた、移行されるべきでないと、第２のアルゴリズムが直前に判定した空間エリア１０の特別な処置を、例えば、タイマー１４を、開始した数値と異なる数値にリセットすることによって可能にする。これは、例えば、前景の人々が休息することができる座席またはベッドに対応するような特別な空間エリア１０が、アイドル状態である傾向が強い場合に有益であるため、より長いタイマーが偽陽性結果を低減することができる。

【0145】

アイドル状態エリア１２は、アイドル状態エリア１２に関連する第１のアルゴリズムのタイマー１４が所定の制限時間より小さい指示閾値に達すると、前景２４から背景２２に移行する１５０ように指示される１２０ことができる。

【0146】

指示閾値は、第２のアルゴリズムを適用する２３５ことが、或る量の時間を要する場合があるため、指示閾値を使用することによって、第１のアルゴリズムのタイマー１４が所定の制限時間に達する前に、判定ステップ１３０が終了することができ、それにより、時間を節約できる点で有益である。

【0147】

幾つかの判定ステップ１３０が、異なる画像フレーム３０および／または同じ画像フレーム３０の異なる空間エリア１０について同時に起こる実施形態において、これは、画像フレーム３０がどれほど頻繁に解析されるかに応じて、かなりの時間量を節約することができる。

【0148】

第２のアルゴリズムを適用する２３５ステップ中に、先行する画像フレーム３０内の上記アイドル状態エリア１２内の画像データに対する画像フレーム３０内のアイドル状態エリア１２内の画像データにおける有意の変化を判定する１３０と、第２のアルゴリズムを適用するステップ２３５を中止することができ、アイドル状態エリア１２を、背景モデル内の前景エリア２４として維持する１４０ことができる。

【0149】

第２のアルゴリズムを適用する２３５ステップを中止することは、時間および計算パワーを節約することができる点で有益である。第２のアルゴリズムが適用されている２３５間、アイドル状態エリア１２を、もはやアイドル状態であると考えることができず、それは、第２のアルゴリズムを適用する２３５ステップを継続するポイントが存在しないことを意味することができる。

【0150】

第２のアルゴリズムを適用する２３５ステップが、アイドル状態エリア１２に関連する第１のアルゴリズムのタイマー１４が所定の制限時間より小さい指示閾値に達することによって、早期に開始した場合、所定の制限時間に達するまで、アイドル状態エリア１２がアイドル状態のままでないことが可能である。したがって、第２のアルゴリズムを適用する２３５ステップが中止されることを可能にすることによって、さらなる相乗効果を達成することができる。

【0151】

図４ａは、背景２２に移行する２つの前景対象物２４ａ、２４ｂのビデオシーケンスにおける画像フレーム３０ａ～３０ｃの略図である。画像フレーム３０ａ～３０ｃは、左から右に時間経過を示す。

【0152】

最も左の画像フレーム３０ａにおいて、前景対象物２４ａ、２４ｂは共に動作中である。中央の画像フレーム３０ｂにおいて、下側の前景対象物２４ａはアイドル状態にあり、一方、上側の前景対象物２４ｂは動作中のままである。最も右の画像フレーム３０ｃにおいて、下側の対象物２４ａは、アイドル状態であった後に背景２２に移行されており１５０、一方、上側の前景対象物２４ｂは動作中のままである。

【0153】

図４ｂは、アイドル状態エリア１２になる画像フレーム３０ａ～３０ｃの空間エリア１０の略図でオーバーラップされた図４ａの画像フレーム３０ａ～３０ｃの略図である。

【0154】

下側の前景対象物２４ａは、中央画像フレーム３０ｂにおいてアイドル状態になる。したがって、対象物２４ａを含む空間エリア１０はアイドル状態エリア１２になり、一方、アイドル状態エリア１２は、対象物２４ａが動作中であったときの最も左の画像フレーム３０ａには存在しなかった。

【0155】

中央画像フレーム３０ｂのアイドル状態エリア１２は、前景２４から背景２２に移行される１５０ように指示される１２０。アイドル状態エリア１２が移行される１５０べきと、第２のアルゴリズムが判定した１３０後、アイドル状態エリア１２は移行される１５０。最も右の画像フレーム３０ｃにおいて、対象物２２ａは、こうして、背景２２に移行された１５０。

【0156】

アイドル状態エリア１２が移行される１５０べきでないと、第２のアルゴリズムが判定する１３０ことになる場合、対象物２４ａは前景２４に維持される１４０ことになる。

【0157】

空間エリア１０は、１つの画像フレーム３０ａ～３０ｃについて９つのエリアであるとして描写される。示すよりも実質的に多いまたは少ないエリアが存在する場合がある。１つの例として、画像フレーム３０ａ～３０ｃの各ピクセルまたは４つのピクセルの各正方形は空間エリア１０とすることができる。別の実施形態において、各マクロブロック、コーディングユニット、またはコーディングツリーユニットを、空間エリア１０として考えることができる。

【0158】

本発明が、上述した好ましい実施形態に決して限定されないことを当業者は認識する。逆に、多くの修正および変形が、添付特許請求の範囲内で可能である。

【0159】

例えば、指示するステップ１２０をスキップすることができ、また、空間エリア１０は、図と比較してずっと小さいとすることができる。前景２４は、規定するステップ１１０と同時に、第２のアルゴリズムの任意の実施形態を使用して規定することができる。第２のアルゴリズムの、前景２４を規定する実施形態と異なる実施形態によって規定される、背景２２および前景２４を超える第３のレベルが存在する場合がある。

【0160】

さらに、開示される実施形態に対する変形を、図面、開示、および添付特許請求の範囲の調査から、特許請求される発明を実施するときに、当業者が理解し実施することができる。

【図1】

【図2】

【図3a】

【図3b】

【図4a】

【図4b】