特許 6804584 画像のプライバシー領域内の画像データに適用されるぼかし度のための方法、装置およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6804584

(24)【登録日】2020年12月4日

(45)【発行日】2020年12月23日

(54)【発明の名称】画像のプライバシー領域内の画像データに適用されるぼかし度のための方法、装置およびシステム

(51)【国際特許分類】

   G06T 5/00 20060101AFI20201214BHJP

   H04N 5/232 20060101ALI20201214BHJP

【ＦＩ】

   G06T5/00 735

   H04N5/232 290

【請求項の数】13

【外国語出願】

【全頁数】16

(21)【出願番号】特願2019-79099(P2019-79099)

(22)【出願日】2019年4月18日

(65)【公開番号】特開2019-220151(P2019-220151A)

(43)【公開日】2019年12月26日

【審査請求日】2020年6月15日

(31)【優先権主張番号】18170603.7

(32)【優先日】2018年5月3日

(33)【優先権主張国】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林特許業務法人

(72)【発明者】

【氏名】ニストレーム， ヨハン

(72)【発明者】

【氏名】ユアン， ソン

(72)【発明者】

【氏名】アルデ， ビョルン

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特表２０１２−５０３８１７（ＪＰ，Ａ）

【文献】 特開２００５−１０９７２４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − ５／５０

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

画像のプライバシー領域（１１０）内の画像データに適用するぼかし度（５０２）を決定するコンピュータ実装方法であって、前記画像は場面（１００）を表現し、画像取得装置（２００）によって取得され、前記方法は、
前記画像の前記プライバシー領域の座標に関する入力を受け取るステップ（Ｓ７０２）と、
前記場面内の前記画像取得装置からの閾値距離（２０４）を超える位置にある前記場面の内容に対応する画像データであって、前記画像の前記プライバシー領域内にある画像データの閾値空間分解能（３０２）に関する入力を受け取るステップ（Ｓ７０４）と、
前記画像取得装置からの前記閾値距離またはそれ以遠に位置する前記場面の内容に対応する前記画像の前記画像データの最大空間分解能を計算するステップ（Ｓ７０６）と、
前記最大空間分解能と前記閾値空間分解能との差（３０６ａ、３０６ｂ、３０６ｃ）を計算するステップ（Ｓ７０８）と、
第２の差よりも大きい第１の差については、前記第１の差に基づいて決定されるぼかし度が前記第２の差について決定されるぼかし度よりも大きくなるように、計算された前記差に基づいてぼかし度（５０２）を決定するステップ（Ｓ７１０）と、
前記ぼかし度を前記画像の前記プライバシー領域内の前記画像データに適用するステップ（Ｓ７１２）とを含む方法。

【請求項2】

計算された前記差がゼロまたは負である場合、前記ぼかし度がゼロに決定される、請求項１に記載の方法。

【請求項3】

前記差が閾値差（５０６）を上回る場合、前記ぼかし度を所定の値（５０４）に設定することと、
前記差がゼロと前記閾値差との間である場合、前記ぼかし度をゼロと前記所定の値との間の値に決定することとをさらに含み、前記値は前記差に関連する、請求項２に記載の方法。

【請求項4】

前記最大空間分解能を計算する前記ステップが、前記画像取得装置の光学系の焦点距離と、前記画像取得装置の前記光学系のＦ値と、前記画像取得装置の画像センサの画素ピッチとに基づいて行われる、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記ぼかし度を前記画像に適用する前記ステップが、ガウシアンフィルタを適用することと、平均化フィルタを適用することと、ピクセル化フィルタを適用することとのうちの１つを含み、前記ぼかし度が、適用される前記フィルタのサイズを決定する、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記プライバシー領域が前記画像の閾値部分を少なくともカバーすると判断するステップと、
前記画像取得装置の焦点限界を前記閾値距離以下に設定する（Ｓ８０８）ステップと、をさらに含む、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記焦点限界を設定する前記ステップが、前記画像取得装置のオートフォーカスアルゴリズムのフォーカス限界を前記閾値距離以下に設定することを含む、請求項６に記載の方法。

【請求項8】

焦点限界を設定する前記ステップが、
前記焦点限界（６０２）を前記閾値距離から決定値（６０４）を引いた値に設定することを含み、前記値は前記画像取得装置の光学系のその時点での焦点長さと、前記画像取得装置の前記光学系のＦ値と、前記閾値空間分解能とに基づいて決定される、請求項６または７に記載の方法。

【請求項9】

最大空間分解能を計算する前記ステップが、前記画像取得装置からの前記閾値距離に位置する前記場面の内容に対応する前記画像の画像データの空間分解能を計算することからなる、請求項６から８のいずれか一項に記載の方法。

【請求項10】

処理機能を有する装置によって実行されると、請求項１から９のいずれか一項に記載の方法を実施するようになされた命令を備えたコンピュータ可読記憶媒体を含むコンピュータプログラム製品。

【請求項11】

画像のプライバシー領域（１１０）内の画像データに適用するぼかし度（５０２）を決定するようになされた装置であって、前記画像は場面（１００）を表現し、画像取得装置（２００）によって取得され、前記装置は、
前記画像の前記プライバシー領域の座標に関する入力を受け取り（Ｓ７０２）、
前記場面内の前記画像取得装置からの閾値距離（２０４）を超える位置にある前記場面の内容に対応する画像データであって、前記画像の前記プライバシー領域内にある画像データの閾値空間分解能（３０２）に関する入力を受け取り（Ｓ７０４）、
前記画像取得装置からの前記閾値距離またはそれ以遠に位置する前記場面の内容に対応する前記画像の前記画像データの最大空間分解能を計算し（Ｓ７０６）、
前記最大空間分解能と前記閾値空間分解能との差（３０６ａ、３０６ｂ、３０６ｃ）を計算し（Ｓ７０８）、
第２の差よりも大きい第１の差については、前記第１の差に基づいて決定されるぼかし度が前記第２の差について決定されるぼかし度よりも大きくなるように、計算された前記差に基づいてぼかし度（５０２）を決定し（Ｓ７１０）、
前記ぼかし度を前記画像の前記プライバシー領域内の前記画像データに適用する（Ｓ７１２）ように設定されたプロセッサを含む装置。

【請求項12】

場面のデータを連続して取得し、取得した前記データに基づいて一連の画像を含むビデオストリームを生成する第１の装置と、
前記第１の装置から前記一連の画像を連続して受け取るようになされた請求項１１に記載の第２の装置とを含むシステム。

【請求項13】

前記第１および前記第２の装置が画像取得装置において実装された、請求項１２に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、取得した画像データにおける個人プライバシー保護の分野に関する。具体的には、本発明は、画像および／または映像の内容のプライバシーマスキングを制御する方法および装置に関する。

【背景技術】

【0002】

安全で保護されていると感じる権利は、社会において最も重要な基本原則の１つであり、これは、現行の法律に従って使用されている限り、監視システムが重要な機能を有する部分である。監視がプライバシーに与える影響に関する継続中の議論がある。ネットワークカメラ技術における最近の発達により、監視を制限し、それによってプライバシーを保護するために実装可能ないくつかの異なる応用技術が生まれている。そのような１つの成果は、場面の選択された領域を見たり記録したりされないようにブロックまたは隠すことができるようにするプライバシーマスキングである。プライバシーマスキングは、画像取得装置（例えばビデオカメラ）の座標系とともにマスキングが移動するにつれて、パン、チルト、およびズームにより画像取得装置の視野が変化するときでもマスキングを維持することができるようにする。プライバシーマスキングは、プライバシー領域内の特定の詳細（人物の顔など）がビデオストリームを見ているユーザによって判別または解読することができないように、取得した画像のプライバシー領域内の画素をぼかすことによって実現可能である。

【0003】

プライバシーマスキングを適用する場合、プライバシー領域における画像データを必要以上にぼかさないようにし、それでも取得した映像が監視目的のために可能な最良の仕方で使用することができるように、注意する必要がある。これは、画像取得装置のその時点の設定とハードウェアのためにすでに存在する画像中のぼやけ（例えば焦点が合っていないかまたは空間分解能が低い画像の部分）に基づいて、画像のプライバシー領域に適用するぼかし度を制限することによって実現可能である。

【0004】

米国特許出願公開第２０１５０８５１６３号（キヤノン）は、ぼかし度をいかにして制限するかについて１つの解決策を開示している。この文献は、プライバシー保護対象、すなわち検出された顔が存在するか否かを判断するために撮像データが解析される方法を開示している。その時点で使用されているＦ値に対応する焦点範囲が決定される。保護対象がその焦点範囲内にある場合は、比較的大きなぼかし量が付加される。保護対象がその焦点範囲外にある場合は、対象がすでにある程度までぼかされることになるため、より低いぼかし量が付加される（またはまったくぼかしが付加されない）。米国特許出願公開第２０１５０８５１６３号は、異なるＦ値設定および最適焦点位置からの距離に必要な付加ぼかし量を決定するために、所定のルックアップテーブルを使用することを教示している。米国特許出願公開第２０１５０８５１６３号の方法は、保護対象を判断する必要があり、その対象までの距離を計算してからでなければ保護対象が存在する画像の領域のぼかしを決定することができないため、複雑である。また、所定のルックアップテーブルは、方法の柔軟性を低下させ、カメラシステムごとに特定のルックアップテーブルを必要とする。さらに、異なる使用事例ごとに異なるぼかし量がプライバシー領域に存在する必要がある。例えば、自動車のナンバープレートのぼかしを必要とする使用事例は、判読不能にするのに、人物の顔のぼかしを必要とする使用事例と比較して異なるぼかし量を必要とすることがある。

【0005】

したがって、上記の状況において改善の必要がある。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】米国特許出願公開第２０１５０８５１６３号

【非特許文献】

【0007】

【非特許文献1】Ｗｉｋｉｐｅｄｉａ記事（ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｉｒｃｌｅ＿ｏｆ＿ｃｏｎｆｕｓｉｏｎ）

【発明の概要】

【0008】

上記に鑑みて、本発明の目的は、上述の問題を克服するかまたは少なくとも軽減することである。具体的には、本発明の目的は、画像のプライバシー領域における画像データに適用するぼかし度を決定するための改良された方法を提供することである。

【0009】

本発明の第１の態様によると、画像のプライバシー領域内の画像データに適用するぼかし度を決定する方法であって、画像は場面を表現し、画像取得装置によって取得され、方法は、
画像のプライバシー領域の座標に関する入力を受け取るステップと、
場面内の画像取得装置からの閾値距離を越える位置にある場面の内容に対応する画像データであって画像のプライバシー領域内にある画像データの閾値空間分解能に関する入力を受け取るステップと、
画像取得装置からの閾値距離またはそれ以遠に位置する場面の内容に対応する画像の画像データの最大空間分解能を計算するステップと、
最大空間分解能と閾値空間分解能との差を計算するステップと、
第２の差よりも大きい第１の差については、第１の差に基づいて決定されるぼかし度が第２の差について決定されるぼかし度よりも大きくなるように、計算された差に基づいてぼかし度を決定するステップと、
ぼかし度を画像のプライバシー領域内の画像データに適用するステップとを含む方法が提供される。

【0010】

本明細書で使用する、「画像のプライバシー領域の座標に関する入力」とは、画像のプライバシー領域を判断するために使用可能な任意の入力を一般に意味する。例えば、入力は、取得した場面の現実世界の座標、すなわち、ＧＰＳ座標などのグローバル座標、または角度範囲（例えば３５°から４５°）などの画像取得装置の位置を基準にした座標に基づくことができる。次に、この入力をプライバシー領域に対応する画像における座標に変換することができる。他の実施形態によると、入力は、取得した画像の領域（座標）、例えばＹ：４０から８０、Ｘ：１００から５００などの画素範囲を表してもよい。

【0011】

本明細書で使用する「ぼかし度」とは、画像データがどの程度ぼかされるかを一般に意味する。ぼかしは、画像データにおける輝度の急激な変化（すなわち詳細）を平均化する、「ぼかし」フィルタまたは「平滑化」フィルタとも呼ばれる、任意の適合する種類のローパスフィルタを使用して行うことができる。したがって決定されたぼかし度は、ローパスフィルタを通された画像データの空間分解能を低下させることになる。ぼかし度は、例えば、平均化フィルタにおけるカーネルサイズ、またはガウシアンフィルタにおけるガウス分布の半径を決定することができる。

【0012】

本明細書で使用する「閾値距離」とは、画像取得装置の位置を基準にした距離値、例えば７ｍ、３０ｍ、０．９ｍなど（使用事例に基づく）を一般に意味する。

【0013】

閾値空間分解能は、場面における閾値距離またはそれ以遠に位置する画像内のオブジェクトの詳細の許容鮮明度に対応する。閾値空間分解能は、錯乱円基準、閾値角度分解能、単位長当たりの独立画素値数の閾値などとも呼ばれることがある。空間分解能は、カメラなどの任意の画像形成装置の、オブジェクトの詳細を識別する能力を表す。閾値空間分解能を設定することにより、閾値距離またはそれ以遠における許容空間分解能は使用事例に基づくことができる。例えば、プライバシー領域（すなわち、場面内の特定のプライバシー領域における閾値距離またはそれ以遠）に位置する人物のプライバシーを保証するために、許容（閾値）空間分解能は、閾値距離において場面のデシメートル当たり１画素としてもよい。この空間分解能では、人物の顔を認識することが不可能であると考えられ、したがってその人物のプライバシーを保証することができる。当然ながら、デシメートル当たり２画素、３画素、１０画素など、他の閾値空間分解能も適用可能である。

【0014】

最大空間分解能を計算するステップは、当業者に知られている任意のアルゴリズムを使用して、すなわち、画像取得装置のその時点の焦点曲線によって与えられる場面内の閾値距離またはそれ以遠にある内容のその時点の最大空間分解能の決定することによって行うことができる。

【0015】

本発明は、プライバシー領域に適用されるぼかしが画像取得装置からの閾値距離と、その距離における場面の内容が画像においてどのような空間分解能を有するかにも依存する、本明細書に示す方法を使用してプライバシー領域の設定を実現可能とすることができるという認識に基づいている。これにより、プライバシー領域内にあるが閾値距離より画像取得装置に近い位置にある（したがってプライバシーの理由で認識不能になるまでぼかされる必要がない）前景のオブジェクトは、場合によってはぼかさなくてもよいか、またはより低いぼかし度にぼかすだけでよいことがある。その理由は、このような場合、場面内の画像取得装置からの閾値距離を越える位置にある場面の内容に対応する画像データが、例えば画像取得装置のその時点の焦点曲線または被写界深度のために、いずれにしてもある程度までぼけることになるためである。場合によっては、（例えば高いズームレベル、および／または、前景のオブジェクトに合わされた焦点のために）閾値空間分解能要件を満たすのに閾値距離を越える内容の固有のぼやけで十分なことがあり、付加的なぼやけ度を適用する必要がないことがある（ぼやけ度ゼロ）。他の場合には、閾値距離を越える画像内容の空間分解能要件を満たすのに、低いぼかし度を適用するだけで済むことがあり、その結果として前景のオブジェクトは認識可能なままとすることができる。

【0016】

画像取得装置からの閾値距離またはそれ以遠にある場面の内容に対応する画像の画像データの最大空間分解能と閾値空間分解能との差を計算し、その距離に基づいて画像のプライバシー領域内の画像内容に適用する追加のぼかし度を決定することにより、上記の利点を実現することができる。（ゼロより大きい）ぼかし度を適用することにより、場面における画像取得装置からの閾値距離を越える位置（および画像のプライバシー領域内）にある場面の内容に対応する画像データの空間分解能が、閾値空間分解能以下に低減される。

【0017】

また、閾値空間分解能に関する入力を必要とすることにより、この要件はその時点の使用事例に基づき得る。

【0018】

ある実施形態によると、計算された差がゼロまたは負の場合、ぼかし度はゼロに決定される。この場合、画像取得装置からの閾値距離またはそれ以遠にある場面の内容に対応する画像の画像データの鮮明度（焦点）は、閾値空間分解能を満たすのに、したがって（使用事例に基づく）プライバシー領域内のオブジェクトのプライバシーを保証するのに十分に低い。したがって、画像内容には付加的なぼかし度を適用する必要がない。これにより、この方法を実行するのに要する処理能力が低減されるとともに、閾値距離よりも画像取得装置に近くに位置するオブジェクトを認識する可能性が高くなり、したがって取得した画像の有用度が向上する。

【0019】

ある実施形態によると、この方法は、差が閾値差を上回る場合、ぼかし度を所定の値に決定するステップと、
差がゼロと閾値差との間である場合、ぼかし度をゼロと所定の値との間の値に決定するステップとをさらに含み、値は差に関連する。

【0020】

この実施形態では、最大ぼかし係数（所定の値）、例えば１２８＊１２８画素ぼかしを実装することができる。ゼロ差と閾値差との間では、ぼかし度はその差に基づいて決定され、例えば距離と相関のある段階的な階段関数、または差と相関のある連続関数である。本実施形態は、画像データに適用されるぼかし度を決定する柔軟性のある方法を提供することができる。

【0021】

いくつかの実施形態によると、最大空間分解能を計算するステップが、画像取得装置の光学系の焦点長さと、画像取得装置の光学系のＦ値と、画像取得装置の画像センサの画素ピッチとに基づいて行われる。

【0022】

本明細書で使用する「画像取得装置の光学系」とは、画像取得装置に含まれる光学レンズまたはレンズのアセンブリを一般に意味する。

【0023】

本明細書で使用する「画素ピッチ」とは、例えば、画像センサのアクティブ領域の幅をセンサの水平方向の画素数で割った値をとることによって計算された、画像取得装置の画像センサ上の１画素のおおよその幅を一般に意味する。したがって、画素ピッチは、個々の画素間の中心間距離と定義することができ、しばしばマイクロメートル単位で定義される。カメラのこれらの特性を使用して、画像取得装置からの距離に基づいて画像内の場面のすべての内容の空間分解能を規定する焦点曲線を計算することができる。次に、画像取得装置からの閾値距離またはそれ以遠に位置する場面の内容に対応する画像の画像データの最大空間分解能を計算するためにこの曲線を使用することができ、閾値空間分解能を満たすために、画像のプライバシー領域に適用する必要があるぼかし度をさらに決定することができる。

【0024】

いくつかの実施形態によると、ぼかし度を画像に適用するステップは、ガウシアンフィルタを適用することと、平均化フィルタ（平均フィルタ）を適用することと、ピクセル化フィルタを適用することとのうちの１つを含み、ぼかし度が、適用されるフィルタのサイズを決定する。

【0025】

したがって、ぼかし度は、これらのフィルタのカーネルサイズなどを規定し得る。他の種類のフィルタも適用可能である。フィルタの組み合わせも適用可能である。

【0026】

いくつかの実施形態によると、この方法は、プライバシー領域が画像の閾値部分を少なくともカバーすると決定することと、画像取得装置の焦点限界を閾値距離以下に設定することとを含む。この実施形態では、特にプライバシー領域が画像の４０％、５０％、７５％、９０％などの大きめの部分をカバーする場合に、閾値距離がわかっていること、すなわち、画像取得装置からのこの距離またはそれ以遠にあるオブジェクトが、プライバシーの理由により高すぎる空間分解能を有する画像データによって表されるべきではないということがわかっていることを使用して、画像取得装置の焦点限界を設定することができる。この距離にあるオブジェクトは、対応する画像データがいずれにしてもぼやけることになるため、焦点が合う理由がない。これは、プライバシーを保証するのに要する処理能力を低減することができるとともに、画像取得装置の焦点の設定を簡単にすることができるので有利である。いくつかの実施形態によると、この実施形態が適用されるためにはプライバシー領域は画像の中央画素をカバーする必要があるが、それはこの場合、取得した画像の閲覧者にとって最も関心のあるのがその場面のプライバシー領域であること、したがって、カメラの限られた合焦能力が取得した画像の（監視の観点からの）有用性に悪影響を与えないとみなすことができるためである。

【0027】

いくつかの実施形態によると、焦点限界を設定するステップは、画像取得装置のオートフォーカス（ＡＦ）アルゴリズムのフォーカス限界を閾値距離以下に設定することを含む。ＡＦが画像取得装置からのより短い距離範囲内で焦点を探すだけで済むため、ＡＦを行うのに要する処理能力を低減することができるので有利である。また、ＡＦの実行速度を増すこともできる。さらに、「関心のある」オブジェクト（すなわち閾値距離を越えるプライバシー領域内にないオブジェクト）にＡＦ合焦する可能性が増し、したがって監視機能が向上する。

【0028】

いくつかの実施形態によると、焦点限界を設定するステップは、焦点限界を閾値距離から決定値を引いた値に設定することを含み、値は画像取得装置の光学系のその時点での焦点長さ（ズーム値）と、画像取得装置のレンズのＦ値と、閾値空間分解能とに基づいて決定される。

【0029】

画像取得装置の光学系は、一度に１つの距離においてのみ正確に焦点を合わせることができるが、鮮明度の低下は合焦距離のそれぞれの側で緩やかであり、被写界深度（ＤＯＦ）内では不鮮明度が通常の観察条件下では感知できないほどである。これは、実際の焦点距離（焦点）を越えるある特定の距離における内容も、取得した画像データにおいて受容可能な鮮明度（例えば閾値空間分解能を上回る空間分解能を有して）で現れることを意味し、これを、焦点限界を設定する際に利用することができる。画像取得装置のその時点でのズームレベル（焦点長さ）と、画像取得装置のカメラのレンズのＦ値とに基づいて、閾値空間分解能を上回る空間分解能を有することになる実際の焦点距離からの距離を決定することができる。したがって、決定した距離は焦点限界を設定するために使用することができる。これによりプライバシーを保証するのに要する処理能力を低減することができると共に、画像取得装置の焦点の設定を簡単にすることができるため、有利である。この実施形態は、さらに、ＡＦの実行の速度を上げることができる。

【0030】

いくつかの実施形態によると、上述のように焦点限界が設定されると、最大空間分解能を計算するステップは、画像取得装置からの閾値距離に位置する場面の内容に対応する画像の画像データの空間分解能を計算することからなる。焦点限界を閾値距離よりも画像取得装置に近く設定することによって、画像取得装置からの閾値距離を越える位置にある場面の内容に対応する画像の画像データが、画像取得装置からの閾値距離に位置する場面の内容と比較してより高い空間分解能を有することがなくなることがわかるであろう。したがって、最大空間分解能を計算するステップは、画像取得装置からの閾値距離に位置する場面の内容に対応する画像の画像データの空間分解能を計算することに限定されてもよい。この実施形態は、方法を簡素にするとともに、画像のプライバシー領域における画像データに適用するぼかし度を決定するのに要する処理能力を低減することができる。

【0031】

本発明の第２の態様によると、前述の目的は、処理機能を有する装置によって実行されると、第１の態様の方法を実施するようになされた命令を備えたコンピュータ可読記憶媒体を含むコンピュータプログラム製品によって達成される。

【0032】

本発明の第３の態様によると、前述の目的は、画像のプライバシー領域内の画像データに適用するぼかし度を決定するようになされた装置であって、画像は場面を表現し、画像取得装置によって取得され記装置は、
画像のプライバシー領域の座標に関する入力を受け取り、
場面内の画像取得装置からの閾値距離を越える位置にある場面の内容に対応する画像データであって画像のプライバシー領域内にある画像データの閾値空間分解能に関する入力を受け取り、
画像取得装置からの閾値距離またはそれ以遠に位置する場面の内容に対応する画像の画像データの最大空間分解能を計算し、
最大空間分解能と閾値空間分解能との差を計算し、
第２の差よりも大きい第１の差については、第１の差に基づいて決定されるぼかし度が第２の差について決定されるぼかし度よりも大きくなるように、計算された差に基づいてぼかし度を決定し、
ぼかし度を画像のプライバシー領域内の画像データに適用するように設定されたプロセッサを含む装置によって達成される。

【0033】

本発明の第４の態様によると、前述の目的は、
場面のデータを連続して取得し、取得したデータに基づいて一連の画像を含むビデオストリームを生成する第１の装置と、
第１の装置から一連の画像を連続して受け取るようになされた第３の態様による第２の装置とを含むシステムによって達成される。

【0034】

いくつかの実施形態によると、第１および第２の装置は画像取得装置において実装される。

【0035】

第２、第３および第４の態様は、概ね第１の態様と同じ特徴および利点を有し得る。さらに、本発明は、明示的に別様に記載されていない限り、特徴のすべての可能な組み合わせに関するということを注記しておきたい。

【0036】

本発明の上記およびその他の目的、特徴および利点は、本発明の好ましい実施形態の以下の例示の非限定的な詳細な説明を、添付図面を参照しながら読めばよりよくわかるであろう。図面では、同様の要素には同一の参照番号が使用される。

【図面の簡単な説明】

【0037】

【図1】場面を表現し、プライバシー領域を含む画像を示す図である。

【図2】画像取得装置と、プライバシー領域と、プライバシー閾値距離とを含む、上記図１の場面を示す図である。

【図3】実施形態による、例示の焦点曲線と、最大空間分解能と閾値空間分解能との差の計算とを示す図である。

【図4】実施形態による、例示の焦点曲線と、最大空間分解能と閾値空間分解能との差の計算とを示す図である。

【図5a】図３および図４による算出した差と画像のプライバシー領域に適用されるぼかし度とのマッピング関数の一実施形態を示す図である。

【図5b】図３および図４による算出した差と画像のプライバシー領域に適用されるぼかし度とのマッピング関数の一実施形態を示す図である。

【図5c】図３および図４による算出した差と画像のプライバシー領域に適用されるぼかし度とのマッピング関数の一実施形態を示す図である。

【図5d】図３および図４による算出した差と画像のプライバシー領域に適用されるぼかし度とのマッピング関数の一実施形態を示す図である。

【図6】実施形態による、画像取得装置の焦点限界の設定方法を示す図である。

【図7】実施形態による、画像のプライバシー領域における画像データに適用されるぼかし度を決定する方法を示す図である。

【図8】実施形態による、画像取得装置の焦点限界の設定方法を示す図である。

【発明を実施するための形態】

【0038】

以下、本発明について、本発明の実施形態が示されている添付図面を参照しながらより詳細に説明する。本明細書で開示する動作時のシステムおよび装置について説明する。

【0039】

図１に、場面１００を表現する画像を示す。場面１００は、いくつかのオブジェクト１０２、１０４、１０６、１０８を含む。この例では、場面は、建物１０８と、樹木１０６と、２人の人物１０２、１０４とを含む。建物１０８にはプライバシー制限があり、したがって建物１０８示す画像データにはプライバシーマスキング（例えば、ぼかし）が必要であり、例えば建物を示す画像データは、（プライバシー制限による）詳細が場面１００を示す画像中で見えない程度までぼかす必要がある。例えば、プライバシー制限は、建物１０８に入っていく人物の身元が検出できないこと、または、建物１０８の窓を通して見える人物の身元が画像の閲覧者に対して秘密に保たれることを規定する場合がある。この理由から、建物１０８の周囲にプライバシー領域１１０が規定される。図１に見えるように、２人の人物１０２、１０４は少なくとも部分的にプライバシー領域１１０内に示されているが、明らかに建物１０８の前に位置している。ぼかしはプライバシー領域１１０内のすべての画素に適用されるため、これは、建物１０８に対応する画像データの詳細を除去する（空間分解能を低下させる）ために適用されるぼかしが、２人の人物１０２、１０４に対応する画像データにも影響を及ぼすことを意味している。

【0040】

本明細書に記載の本発明の概念を使用して、画像のプライバシー領域にぼかしを適用すべきか否か、および、どの程度適用すべきかを決定するために使用可能な閾値距離を規定することができる。図２に、この概念を示す。図２は、図１の画像に示すのと同じ場面１００であるが、上から見た場面１００を示している。図１に含まれるオブジェクト１０２から１０８に加えて、図２には、画像取得装置２００と、画像取得装置２００の画角（ＡＯＶ）２０２も示されている。画像取得装置２００は、例えばビデオカメラまたは静止画像カメラとすることができる。図２において、説明が簡単なように、プライバシー領域１１０は画像取得装置を起点とする角度範囲として規定されている。図２には、プライバシー領域１１０を画像取得装置２００からの距離で表してさらに規定するものとみなせる、閾値距離２０４も含まれている。ただし、当業者にはわかるように、後で決定されるぼかし係数を適用するときに、これは例えば図１に示すようなプライバシー領域１１０内の場面のすべての内容に影響することになる。図２は、図１の右端の人物１０４が閾値距離２０４からかなり離れて位置し、一方、左端の人物１０２は閾値距離２０４により近く位置しているが、それでも閾値距離２０４を基準にして画像取得得装置２００の側にいることを示している。プライバシーの観点からは、建物１０８を示す画像データの空間分解能が、プライバシー要件を満たすのに（使用事例に応じて）十分に低いことが重要である。しかし、監視の観点からは、建物１０８と映像取得装置２００との間のオブジェクト（例えば人物１０２、１０４）を可能な限り詳細に示すことができることが重要であることがある。本明細書に記載の本発明の概念は、この問題の解決策を提供する。

【0041】

図３に、例えば、画像取得装置２００の焦点およびズーム値（焦点長さ）に依存する、図１および図２の映像取得装置２００の２つの異なる焦点曲線３０８ａ、３０８ｂの概略グラフを示す。図３のグラフは、画像データが対応する場面の内容が位置する画像取得装置からの距離に基づく、画像データの空間分解能を示す。言い換えると、グラフは、空間分解能をカメラからの距離または画像における深度の関数として示している。図３の例では、第１の曲線３０８ａは、第１のズームレベルで、左端の人物１０２に画像取得装置２００の焦点が合っている場合の焦点曲線を示す。第２の曲線３０８ｂは、第１のズームレベルより低い第２のズームレベルで、右端の人物１０４に画像取得装置２００の焦点が合っている場合の焦点曲線を示す。

【0042】

図３のグラフには、閾値空間分解能３０２が示されている。閾値空間分解能３０２の値は、プライバシー領域１１０の内容に対応する画像データの空間分解能がどの程度の大きさとすることが許容されるかに対する制限を設定する。言い換えると、閾値空間分解能３０２の値は、場面中の画像取得装置からの閾値距離２０４を越えて位置する場面の内容に対応する画像データの許容空間分解能の制限を設定し（制限は画像のプライバシー領域１１０内にある画像データのために設定される）、それによって当該画像データのプライバシー要件が満たされるようにする。

【0043】

図３のグラフは、閾値距離２０４も示す。したがって、焦点曲線３０８ａ、３０８ｂは、画像取得装置の異なる設定値について、画像における深度（すなわち、画像取得装置からの距離）に応じて、画像の異なる内容がどのような空間分解能を有することになるかを示している。第１の焦点曲線３０８ａの場合、閾値距離２０４における内容の空間分解能は、正の値３０６ａにより閾値空間分解能３０２とは異なる。これは、プライバシー領域のプライバシー要件が満たされていないことを意味する。例えば、これは、図１および図２の建物１０８の窓内の人物達の顔が識別可能であることを意味し得る。最大空間分解能と閾値空間分解能との差３０６ａに基づいて、（図５ａから図５ｄに関して以下で詳述するように）ぼかし度が決定され、画像のプライバシー領域内１１０の画像データに適用されることになる。

【0044】

第２の焦点曲線３０８ｂの場合、閾値距離２０４における内容の空間分解能は、負の値３０６ｂにより閾値空間分解能３０２とは異なる。これは、プライバシー領域のプライバシー要件が実際に満たされていることを意味している。例えば、これは、建物１０８の窓内の人物達の顔が識別可能ではない（例えば、閾値距離およびそれ以遠において空間分解能が０．１ｍ当たり１画素未満であるか、または使用事例によっては２画素、５画素未満などである）ことを意味し得る。したがって、プライバシー領域１１０にぼかしを適用する必要はなく、これはオブジェクト１０２、１０４に対応する画像データを監視／モニタ目的により良く利用可能であることを意味し得る。

【0045】

図３において、グラフは、焦点曲線３０８ａ、３０８ｂのピーク３１０ａ、３１０ｂが閾値距離２０４よりも画像取得装置２００に近いことを示している。これは、カメラの焦点３１０ａ、３１０ｂが、閾値距離と画像取得装置２００との間、例えば閾値距離／１．５または閾値距離／２にあることを意味する。この場合、画像取得装置２００からの閾値距離２０４またはそれ以遠に位置する場面の内容に対応する画像の画像データの最大空間分解能は、常に、閾値距離２０４における空間分解能となる。しかし、これは常に当てはまるとは限らない。図４に、焦点３１０ｃが閾値距離２０４を超えている例を示す。この場合、最大空間分解能と閾値空間分解能３０２との間の差は、画像取得装置２００からの焦点３１０ｃ距離、すなわち画像を取得するときの画像取得装置２００の光学系の焦点長さにおける空間分解能との差３０６ｃとなる。この差３０６ｃは、次に、画像のプライバシー領域１１０の画像データに適用するぼかし度を決定するために使用される。

【0046】

画像取得装置からの閾値距離またはそれ以遠に位置する場面内のオブジェクトの最大空間分解能は、例えば本出願の出願日時点でこの主題に関するＷｉｋｉｐｅｄｉａ記事において定義されているような、「錯乱円」項の計算のために定義されたアルゴリズムを使用して計算することができる（ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｉｒｃｌｅ＿ｏｆ＿ｃｏｎｆｕｓｉｏｎ）。

【0047】

具体的には、焦点が合っていない被写体の画像面内の錯乱円の直径を計算するための１つの方法は、まず、オブジェクト面内の仮想画像におけるぼやけ円（錯乱円）の直径を計算し、次に、レンズ方程式を用いて計算されるシステムの倍率を乗じることである。錯乱円（ＣｏＣ）直径、すなわち、直径Ｃのぼやけ円（錯乱円）は、以下の式を使用して計算することができる。

ここで、Ｃ＝ＣｏＣの直径、Ｓ１＝画像取得装置の焦点（すなわち、焦点曲線がピークに達する距離、例えば図３の３１０ａ、３１０ｂ参照）、Ｓ２＝閾値距離（例えば図３の２０４参照）、Ｎ＝画像取得装置のレンズのＦ値、およびｆ＝画像取得装置の光学系の焦点長さである。

【0048】

ｔｈ＝角度分解能とし、
Ｃ＝ｆ＊ｔａｎ（ｔｈ） 式２
とすると、小さい角度についてｔａｎ（ｔｈ）＝ｔｈと近似することにより、

となる。

【0049】

閾値距離（Ｓ２）における式３の値を求め、閾値空間分解能（ｔｈ’）を引くと、ぼかし度（Ｂ）（画素数単位）は、以下によって計算することができる。

ここで、ｐ＝画像取得装置の画像センサの画素ピッチであり、Ｓ１は画像取得装置と（図３に記載されているような）閾値距離Ｓ２との間である。（図４に記載されているように）Ｓ１がＳ２を超える場合、Ｂは以下により計算することができる。

【0050】

式１から式５は、適用するぼかし度を計算する厳密な方法を示す。これを図５ａに概略的に示す。図５ａには、ぼかし度と、最大空間分解能と閾値空間分解能との算出した差との間の連続マッピング関数５０２が示されている。しかし、マッピング関数５０２は、図５ｂに示すように所定の最大ぼかし度を含んでもよい。この場合、差が閾値差５０６を上回る場合、ぼかし度は所定の値５０４（例えば、使用するローパスフィルタの１２８＊１２８画素のカーネルサイズ）に設定される。差がゼロと閾値差５０６の間の場合、ぼかし度は、ゼロと所定の値５０４との間の値に決定され、この値は差に関係する。図５ｂで、ゼロと閾値差５０６との間では、マッピング関数５０２は図５ａのように連続関数である。図５ａに示す例の場合と同様に、ゼロを下回る差の場合、ぼかし度はゼロと決定される。

【0051】

図５ｃでも、図５ｂのように最大ぼかし度５０４が適用される。しかし、図５ｃでは、ゼロと閾値差５０６との間で、マッピング関数５０２は距離と相関がある段階的な階段関数である。

【0052】

最も簡素な形態では、算出した差と決定したぼかし係数（ぼかし度）との間のマッピング関数は、図５ｄに示す通りである。ゼロを上回る差の場合、画像のプライバシー領域に所定のぼかし度５０４が適用される。ゼロを下回る差の場合、ぼかし度は適用されない。

【0053】

図５ａから図５ｄに示すすべての例において、第２の差より大きい第１の差の場合、第１の差に基づくぼかし度は、第２の差について決定したぼかし度よりも大きい。

【0054】

図７に、図１および図２に示すシナリオの例の、画像のプライバシー領域内の画像データに適用されるぼかし度を決定する方法を例示として示す。

【0055】

実施形態によると、この方法は、画像のプライバシー領域の座標に関する入力を受け取るステップ（Ｓ７０２）を含む。

【0056】

この方法は、場面における画像取得装置からの閾値距離を越える位置にある場面の内容に対応する画像データの閾値空間分解能に関する入力を受け取ること（Ｓ７０４）をさらに含む。

【0057】

閾値空間分解能は、例えば画像中の各画素の角度分解能（すなわち１°または０．５°）、または閾値距離において特定のサイズのオブジェクトをどれだけの画素数で表すかを表す値（例えば１＊１ｍの大きさのオブジェクトの場合に１５＊１５画素）、または任意のその他の適合する空間分解能の測度の形態で受け取ることができる。

【0058】

また、この方法は、例えば上記の式３、または受け取った閾値空間分解能の形式に基づく式３の改変を使用して、画像取得装置からの閾値距離またはそれ以遠に位置する場面の内容に対応する画像の画像データの最大空間分解能を計算すること（Ｓ７０６）を含む。

【0059】

次に、この２つの数量（閾値空間分解能と最大空間分解能）を使用して、最大空間分解能と閾値空間分解能との差を計算し（Ｓ７０８）、算出した差に基づいて、第２の差より大きい第１の差について、第１の差に基づいて決定したぼかし度が第２の差に基づいて決定したぼかし度よりも大きくなるように、ぼかし度を決定する（Ｓ７１０）。次に、例えばガウシアンフィルタ、平均化フィルタ、またはピクセル化フィルタを使用して、決定したぼかし度がプライバシー領域の画素に適用される。この際、ぼかし度が適用フィルタのサイズを決定する。

【0060】

次に、決定したぼかし度に応じたカーネルサイズのローパスフィルタを適用することによって、決定したぼかし度が画像のプライバシー領域に適用される（Ｓ７１２）。

【0061】

図３および図４に記載されているように、画像取得装置の焦点は、閾値距離と比較して画像取得装置により近い場合と、閾値距離を越える場合の両方があり得る。画像取得装置の焦点限界の文脈では、焦点限界を閾値距離以下に設定することができるという点で、閾値距離の存在を利用することができる。プライバシーの観点からは、焦点が閾値距離またはそれ以遠にある場合（上述のように画像取得装置からの閾値距離またはそれ以遠に位置する場面の内容に対応する画像の画像データの空間分解能を高めることになる）は有利ではない可能性があるため、焦点限界を閾値距離以下に設定することが有利となり得る。これはさらに、画像取得装置からの閾値距離またはそれ以遠に位置する場面の内容に対応する画像の画像データの空間分解能を低下させることになり、したがって、プライバシー領域に適用する必要がある要求される付加的なぼかしを低減する。また、焦点限界を設定することによって、画像取得装置のオートフォーカス（ＡＦ）の可能範囲が狭められるため、より高速かつより少ない必要処理能力でＡＦを実現することができる。

【0062】

いくつかの実施形態によると、焦点限界は閾値距離から決定値を引いた値に設定される。これを図６に示す。図６では、焦点限界６０２が閾値距離２０４からの距離６０４に設定される。上述のように、実際の焦点を越えるある特定の距離における内容も、取得した画像データにおいて受容可能な程度に鮮明に写り（例えば、被写界深度（ＤｏＦ）とも呼ばれる閾値空間分解能を上回る空間分解能を有する）、これを、焦点限界を設定する際に利用することができる。決定値６０４は、例えば、焦点距離と、Ｆ値と、閾値空間分解能とを使用して上述のようにして計算される。

【0063】

なお、焦点限界を設定する上述の手順は、上述のように画像のプライバシー領域における画像データに適用されるぼかし度を決定する方法とは独立して行われてもよい。そのような独立して行われる方法を図８に示す。

【0064】

最も簡素な形態では、画像取得装置の焦点限界を設定する方法は、画像取得装置によって取得した画像のプライバシー要件に関するプライバシー閾値距離に関する入力を受け取るステップ（Ｓ８０２）を含む。プライバシー閾値距離は、上述の距離と同様の距離、すなわち、その距離を越えるとプライバシー要件が適用されるカメラからの距離と定義することができる。

【0065】

方法は、画像取得装置の焦点限界を閾値距離以下に設定するステップ（Ｓ８０８）をさらに含む。

【0066】

実施形態によると、この方法はさらに、図６に関連して上述したように、ＤｏＦ概念を利用することができる。この実施形態では、この方法は、画像取得装置によって取得した場面における画像取得装置からの閾値距離２０４を越える位置にある場面の内容に対応する画像データの閾値空間分解能に関する入力を受け取ること（Ｓ８０４）をさらに含む。

【0067】

次に、この閾値空間分解能を、プライバシー閾値距離からいくつかの距離にある焦点について、画像取得装置（それのその時点での設定値、例えばＦ値とともに）のＤｏＦを計算するために使用することができる。上述のように、実際の焦点を越えるある特定の距離における内容も、取得した画像データにおいて受容可能な程度に鮮明に写り（例えば、被写界深度（ＤｏＦ）とも呼ばれる閾値空間分解能を上回る空間分解能を有する）、これを、焦点限界を設定する際に利用することができる。ＤｏＦを考慮に入れることによって、画像取得装置の焦点限界を、プライバシー閾値距離またはそれ以遠の空間分解能が常に閾値空間分解能よりも低くなるようなプライバシー閾値からの距離に設定することができる。焦点限界がプライバシー閾値距離からどの程度の距離にあるべきかを決定することは、反復的処理となることがあり、その際、カメラのＤｏＦの計算に複数の焦点が使用され（したがって錯乱円基準を規定するために閾値空間分解能が使用される）、受容可能な程度に鮮明な領域が閾値距離に最も近くで終わる焦点が、画像取得装置の焦点限界として設定される（Ｓ８０８）。

【0068】

他の実施形態では、閾値空間分解能および画像取得装置の設定に応じて、例えば焦点限界の所定のテーブルに基づいて焦点限界が設定される（Ｓ８０８）。

【0069】

上記では、限られた数の実施例を参照しながら、本発明の概念について主として説明した。しかし、当業者には容易にわかるように、上記で開示したもの以外の実施例も、添付の特許請求の範囲によって定義されている本発明の概念の範囲内で等しく可能である。

【図1】

【図2】

【図3】

【図4】

【図5a】

【図5b】

【図5c】

【図5d】

【図6】

【図7】

【図8】