特開 2024-144224 ビデオストリーム内の検出された物体のマスキング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024144224

(43)【公開日】2024-10-11

(54)【発明の名称】ビデオストリーム内の検出された物体のマスキング

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241003BHJP

   H04N 7/18 20060101ALI20241003BHJP

【ＦＩ】

G06T7/00 Z

H04N7/18 K

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024041861

(22)【出願日】2024-03-18

(31)【優先権主張番号】23165574

(32)【優先日】2023-03-30

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】ケスキカンガス， アクセル

(72)【発明者】

【氏名】ユアン， ソン

(72)【発明者】

【氏名】エドパルム， ヴィクトル

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA01

5C054CA04

5C054CA05

5C054CA08

5C054CA10

5C054FC12

5C054HA19

5L096BA02

5L096BA18

5L096CA02

5L096FA67

5L096FA69

5L096GA51

5L096HA13

5L096JA28

(57)【要約】      （修正有）

【課題】カメラが取り込むビデオストリーム内の物体をマスキングするための方法、非一時的コンピュータ可読記憶媒体及び該カメラを提供する。
【解決手段】カメラが配置され、かつ、少なくともさらなる装置を含むカメラシステムにおいて、さらなる装置とカメラの位置及び視野は既知であり、それらの視野は重複しない。方法は、カメラが、物体がカメラの視野に接近していることを示す情報を取得することを含む。前記情報は、物体の位置及び移動方向を示すさらなる装置からの情報並びにカメラ及びさらなる装置の既知の位置及び視野から決定される。方法はまた、取得した情報に応答して、カメラが取り込んだビデオストリーム内のマスキングするべき物体を検出するための閾値を下げ、その閾値を使用してビデオストリーム内のマスキングされるべき物体を検出することと、ビデオストリーム内に検出した物体のマスキングを挿入することと、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

カメラによって取り込まれたビデオストリーム内の検出された物体をマスキングするための方法であって、前記カメラが、前記カメラおよび少なくともさらなる装置を含むカメラシステム内に配置されており、前記さらなる装置について、位置および視野が既知であり、前記カメラについて、位置および視野が既知であり、前記さらなる装置の前記視野と前記カメラの前記視野とが、重複せず、前記方法が、
前記カメラにおいて、物体が前記カメラの前記視野に接近していることを示す情報を取得することであって、前記取得された情報が、前記物体の位置および移動方向を示す前記さらなる装置からの情報、ならびに前記カメラおよび前記さらなる装置の前記既知の位置および視野から決定されていることと、
前記取得された情報に応答して、前記カメラによって取り込まれた前記ビデオストリーム内のマスキングされるべき物体を検出するための閾値を低下させることであって、前記閾値が、物体が前記ビデオストリーム内のマスキングされるべき物体クラスに属すると決定される確信度を指定するか、または前記閾値が、前景として検出されるものおよび背景として検出されるものに対する閾値であり、かつ物体が前記前景に属すると決定される前の画像フレーム内の画像データに対する画像フレーム内の画像データの変化量を指定することと、
前記低下させられた閾値を使用して前記ビデオストリーム内のマスキングされるべき物体を検出することと、
前記検出された物体のマスキングを前記ビデオストリーム内に挿入することと
を含む、方法。

【請求項2】

前記取得された情報が、前記物体が最初に現れると予想された前記カメラの前記視野のサブ領域をさらに示し、低下させる動作において、前記閾値が、前記示されたサブ領域においてのみ低下させられる、請求項１に記載の方法。

【請求項3】

前記取得された情報が、前記物体がどの時点で前記カメラの前記視野に最初に現れることとなるかをさらに示し、前記閾値が、前記示された時点から低下させられる、請求項１に記載の方法。

【請求項4】

前記さらなる装置からの前記取得された情報が、前記物体が前記さらなる装置によってマスキングされていることをさらに示す、請求項１に記載の方法。

【請求項5】

前記さらなる装置からの前記取得された情報が、前記物体の物体クラスをさらに示す、請求項１に記載の方法。

【請求項6】

前記さらなる装置からの前記取得された情報が、前記物体クラスに関する確信度をさらに示す、請求項５に記載の方法。

【請求項7】

低下させる動作において、前記閾値が、前記視野の周囲に沿った領域内で低下させられる、請求項１に記載の方法。

【請求項8】

前記さらなる装置が、
さらなるカメラ、
ＩＲカメラ、
サーマルカメラ、
レーダ、
ソナー、および
ライダ
のうちの１つである、請求項１に記載の方法。

【請求項9】

前記カメラの視野内の前記物体を検出した後で、前記閾値を上昇させること、および
前記上昇させられた閾値を使用して前記物体が検出されたことを条件として、
前記ビデオストリーム内の前記検出された物体のマスキングを維持すること、
前記上昇させられた閾値を使用して前記物体が検出されないことを条件として、
前記ビデオストリーム内の前記検出された物体のマスキングを中断すること
をさらに含む、請求項１に記載の方法。

【請求項10】

前記閾値を上昇させる動作が、前記物体を検出した後の所定時間に実行される、請求項９に記載の方法。

【請求項11】

プロセッサを有するカメラ内で実行されたときに請求項１に記載の方法を実施するための命令を記憶した、非一時的コンピュータ可読記憶媒体。

【請求項12】

カメラであって、前記カメラが、前記カメラによって取り込まれたビデオストリーム内の検出された物体をマスキングするためのものであり、前記カメラが、
前記カメラが前記カメラおよび少なくともさらなる装置を含むカメラシステム内に配置されているときに実行するように構成された回路であって、前記さらなる装置について、位置および視野が既知であり、前記カメラについて、位置および視野が既知であり、前記さらなる装置の前記視野と前記カメラの前記視野とが、重複しない、回路と、
物体が前記カメラの前記視野に接近していることを示す情報を取得するように構成された取得機能であって、前記取得された情報が、前記物体の位置および移動方向を示す前記さらなる装置からの情報、ならびに前記カメラおよび前記さらなる装置の前記既知の位置および視野から決定されている、取得機能と、
前記取得された情報に応答して、前記カメラによって取り込まれた前記ビデオストリーム内のマスキングされるべき物体を検出するための閾値を低下させるように構成された低下機能であって、前記閾値が、物体が前記ビデオストリーム内のマスキングされるべき物体クラスに属すると決定される確信度を指定するか、または前記閾値が、前景として検出されるものおよび背景として検出されるものに対する閾値であり、かつ物体が前記前景に属すると決定される前の画像フレーム内の画像データに対する画像フレーム内の画像データの変化量を指定する、低下機能と、
前記低下させられた閾値を使用して、前記ビデオストリーム内のマスキングされるべき物体を検出するように構成された検出機能と、
前記ビデオストリーム内の前記検出された物体のマスキングを挿入するように構成された挿入機能と
を備える、カメラ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラによって取り込まれたビデオストリーム内の物体のマスキングに関し、具体的には、物体が最初にカメラの視野に入ったときの物体のマスキングに関する。

【背景技術】

【0002】

特定のシーンのビデオ監視は全体的なセキュリティを向上させ得るが、例えば、監視カメラなどのカメラからシーンを取り込み記録されたビデオ映像を見ている人によってシーン内の特定の物体を識別できないようにしておくことが望ましい場合がある。例えば、プライバシーの理由から、カメラによって取り込まれた人の身元、または例えば車両のナンバープレートの詳細は、単に記録されたビデオ映像を見るだけで直接推論できるべきではないことが望ましい場合がある。特定の物体のそのような保護は、ビデオストリームを例えばディスプレイまたは記憶装置に出力する前にビデオストリーム内の物体をマスキングすることによって達成され得る。そのようなマスキングは、例えば、出力ビデオストリームの各画像内で、物体を無地で覆うこと、物体をぼかすこと、物体をピクセル化すること、またはさらには物体を多かれ少なかれ透明にすることを含み得る。

【0003】

特定の物体のマスキングを挿入できるようにする前に、画像内の物体の位置を最初に推定しなければならない。これは、例えば、画像内の特定のクラスの物体（例えば、顔、人物、ナンバープレートなど）を検出するように訓練／構成された物体検出アルゴリズムを使用することによって達成され得る。物体の位置が検出されると、その後、マスキングを物体に適用することができる。

【0004】

しかしながら、物体の検出が困難であるような状況であっても、ビデオストリームのすべての画像において物体がマスキングされることが重要である。物体検出アルゴリズムは、例えば、物体が最初にカメラの視野に入ったときに、物体の一部のみが最初にカメラの視野内に位置付けされるため、物体を正確に検出できない場合がある。これにより、物体のマスキングが失敗する場合がある。

【発明の概要】

【0005】

物体が最初にカメラの視野に入ったときの、信用に足らない物体のマスキングである上記の特定された問題を少なくとも部分的に解決するために、本開示は、カメラによって取り込まれたビデオストリーム内の検出された物体をマスキングする改善された方法、対応するカメラ、および付随する独立請求項で定義された非一時的コンピュータ可読記憶媒体を提供する。

【0006】

第１の態様によれば、カメラによって取り込まれたビデオストリーム内の検出された物体をマスキングするための方法が提供される。カメラは、カメラおよび少なくともさらなる装置を含むカメラシステム内に配置されている。さらなる装置について、位置および視野は既知であり、カメラについて、位置および視野は既知であり、さらなる装置の視野とカメラの視野とは、重複しない。カメラにおいて、物体がカメラの視野に接近していることを示す情報が取得される。取得された情報は、物体の位置および移動方向を示すさらなる装置からの情報、ならびにカメラおよびさらなる装置の既知の位置および視野から決定されている。取得された情報に応答して、カメラによって取り込まれたビデオストリーム内のマスキングされるべき物体を検出するための閾値が低下させられる。次いで、ビデオストリーム内のマスキングされるべき物体が、低下させられた閾値を使用して検出され、検出された物体のマスキングがビデオストリーム内に挿入される。

【0007】

さらなる装置の位置および視野、ならびにカメラの位置および視野は既知であるため、物体の位置および移動方向を示すさらなる装置からの情報に基づいて、物体がカメラの視野に接近していることを示す情報をカメラにおいて受信することができる。受信した情報を使用して、カメラによって取り込まれたビデオストリーム内のマスキングされるべき物体を検出するための閾値を低下させることにより、物体が最初にカメラの視野に入ったときに物体が既に検出されている確率が高まる。

【0008】

さらなる装置は、例えばセンサであり得る。

【0009】

閾値は、前景として検出されるものおよび背景として検出されるものに対する閾値であり得る。これにより、物体の検出が前景の検出に基づくシナリオでは、物体が最初にカメラの視野に入ったときに物体が既に検出されている確率が高まる。

【0010】

閾値は、物体がビデオストリーム内のマスキングされるべき物体クラスに属すると決定される確信度を指定し得る。これにより、物体の検出がビデオストリーム内のマスキングされるべき物体クラスに物体が属するという確信度の決定に基づくシナリオでは、物体が最初にカメラの視野に入ったときに物体が既に検出されている確率が高まる。

【0011】

取得された情報は、物体が最初に現れると予想されたカメラの視野のサブ領域をさらに示し得る。低下させる動作において、その時閾値は、示されたサブ領域においてのみ低下させられる。これにより、物体が最初にカメラの視野に入ったときに物体が既に検出されている確率が高まると同時に、サブ領域以外の領域における物体の誤検出のリスクが低減される。

【0012】

取得された情報は、物体がカメラの視野内に最初に現れることとなる時点をさらに示し得る。物体がカメラの視野内に現れると推定される時間を知ることによって、閾値を下げるより良いタイミングとなる。したがって、物体がカメラの視野に入る前の物体の誤検出のリスクが低減される。

【0013】

さらなる装置からの取得された情報は、物体がさらなる装置によってマスキングされていることをさらに示し得る。

【0014】

さらなる装置からの取得された情報は、物体の物体クラスをさらに示し得る。

【0015】

さらなる装置からの取得された情報は、物体クラスに関する確信度をさらに示し得る。

【0016】

低下させる動作において、閾値は、視野の周囲に沿った領域内で低下させられる。これにより、物体が最初にカメラの視野に入ったときに物体が既に検出されている確率が高まると同時に、視野の周囲以外の領域における物体の誤検出のリスクが低減される。

【0017】

さらなる装置は、さらなるカメラ、ＩＲカメラ、サーマルカメラ、レーダ、ソナー、およびライダのうちの１つであり得る。

【0018】

方法は、物体がカメラの視野内で検出されたことを検出した後に閾値を上昇させることをさらに含み得る。その後、上昇させられた閾値を使用して物体が検出されたことを条件として、ビデオストリーム内の検出された物体のマスキングが維持される。上昇させられた閾値を使用して物体が検出されないことを条件として、ビデオストリーム内の検出された物体のマスキングが中断される。これにより、物体がカメラの視野に完全に入った後の物体の誤検出のリスクを低減することができる。

【0019】

閾値を上昇させる動作は、物体を検出した後の所定時間に実行され得る。これにより、物体がカメラの視野に完全に入った後の物体の誤検出のリスクを低減することができる。

【0020】

第２の態様によれば、少なくともプロセッサを有するカメラにおいて実行されたときに第１の態様による方法を実施するための命令を記憶した、非一時的コンピュータ可読記憶媒体が提供される。

【0021】

第３の態様によれば、カメラによって取り込まれたビデオストリーム内の検出された物体をマスキングするためのカメラが提供される。カメラは、カメラおよび少なくともさらなる装置を含むカメラシステム内に配置されているときに実行するように構成された回路であって、さらなる装置について、位置および視野が既知であり、カメラについて、位置および視野が既知であり、さらなる装置の視野とカメラの視野とが、重複しない、回路と、取得機能と、低下機能と、検出機能と、挿入機能と、を備える。取得機能は、物体がカメラの視野に接近していることを示す情報を取得するように構成されており、取得された情報は、物体の位置および移動方向を示すさらなる装置からの情報、ならびにカメラおよびさらなる装置の既知の位置および視野から決定されている。低下機能は、取得された情報に応答して、カメラによって取り込まれたビデオストリーム内のマスキングされるべき物体を検出するための閾値を低下させるように構成されている。検出機能は、低下させられた閾値を使用して、ビデオストリーム内のマスキングされるべき物体を検出するように構成されており、挿入機能は、ビデオストリーム内の検出された移動している物体のマスキングを挿入するように構成されている。

【0022】

第１の態様による方法の上述の任意選択の追加の特徴は、適用可能な場合、第３の態様によるカメラにも同様に適用される。必要以上の繰り返しを避けるために、上記が参照される。

【0023】

本発明のさらなる適用範囲は、以下に与えられる詳細な説明から明らかになるであろう。しかしながら、本発明の範囲内における様々な変更および修正がこの詳細な説明から当業者に明らかになるため、詳細な説明および具体例は、本発明の好ましい実施形態を示しているが、単なる例示として与えられていることを理解されたい。

【0024】

したがって、本発明は、記載された装置の特定の構成部品または記載された方法の動作に限定されず、よってそのような装置および方法は変化し得ることを理解されたい。本明細書で使用される用語は、単に特定の実施形態を説明するためのものであり、限定することを意図するものではないことも理解されたい。本明細書および添付の請求項で使用される場合、冠詞「ａ」、「ａｎ」、「ｔｈｅ」、および「ｓａｉｄ」は、文脈が明らかにそうでないことを指示しない限り、要素のうちの１つ以上が存在することを意味することを意図していることに留意されたい。したがって、例えば、「ユニット（ａ ｕｎｉｔ）」または「ユニット（ｔｈｅ ｕｎｉｔ）」への言及は、いくつかの装置などを含み得る。さらに、単語「を備える」、「を含む」、「を包有する」、および同様の言い回しは、他の要素またはステップを排除するものではない。

【0025】

次に、本発明の上記および他の態様が、添付の図を参照してより詳細に説明される。図は限定的であるとみなされるべきではなく、説明および理解のために使用される。

【図面の簡単な説明】

【0026】

【図1】カメラによって取り込まれたビデオストリーム内の検出された物体をマスキングするためのカメラの実施形態に関する概略図を示す。

【図2】カメラによって取り込まれたビデオストリーム内の検出された物体をマスキングするための方法の実施形態に関するフローチャートを示す。

【発明を実施するための形態】

【0027】

次に、本発明を、本発明の現在好ましい実施形態が示されている添付の図面を参照して以下に説明する。しかしながら、本発明は、多くの異なる形態で具現化されてもよく、本明細書に記載の実施形態に限定されると解釈されるべきではない。

【0028】

図１は、カメラ１００によって取り込まれたビデオストリーム内の検出された物体をマスキングするためのカメラ１００の実施形態の概略ブロック図を示している。カメラ１００は、監視カメラ、防犯カメラ、またはサーベイランスカメラなどの任意のタイプのカメラであり得、カメラ１００および少なくともさらなる装置を含むカメラシステム内に配置され得、カメラ１００について、位置および視野は既知であり、該さらなる装置について、位置および視野は既知である。該さらなる装置は、例えばさらなるカメラであり得る。カメラ１００は、例えばビデオの形態で一連の画像フレームを取り込み、各画像フレームは、カメラ１００の視野によって画定されたシーンを描写する。

【0029】

カメラ１００は回路１３０を備え、受信機１１０を備え得る。カメラ１００は、典型的には、エンコーダ（図示せず）、イメージセンサ（図示せず）、およびイメージプロセッサ（図示せず）も備える。

【0030】

回路１３０は、カメラ１００の機能を実行するように構成されている。回路１３０は、中央処理装置（ＣＰＵ）、マイクロコントローラ、またはマイクロプロセッサなどのプロセッサ１３２を含み得る。プロセッサ１３２は、プログラムコードを実行するように構成されている。プログラムコードは、例えば、カメラ１００の機能を実行するように構成され得る。

【0031】

カメラ１００は、メモリ１４０をさらに備え得る。メモリ１４０は、バッファ、フラッシュメモリ、ハードドライブ、リムーバブルメディア、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、または別の好適な装置のうちの１つ以上であり得る。典型的な構成では、メモリ１４０は、長期データ記憶用の不揮発性メモリ、および回路１３０用のシステムメモリとして機能する揮発性メモリを含み得る。メモリ１４０は、データバスを介して回路１３０とデータをやり取りし得る。メモリ１４０と回路１３０との間に付随する制御線およびアドレスバスも存在し得る。

【0032】

カメラ１００の機能は、カメラ１００の非一時的コンピュータ可読媒体（例えば、メモリ１４０）上に記憶されて、（例えば、プロセッサ１３２を使用して）回路１３０によって実行される、実行可能論理ルーチン（例えば、コード行、ソフトウェアプログラムなど）の形態で具現化され得る。さらに、カメラ１００の機能は、スタンドアロンのソフトウェアアプリケーションであってもよく、またはカメラ１００に関連する追加のタスクを実行するソフトウェアアプリケーションの一部を形成してもよい。記載された機能は、処理ユニット、例えば回路１３０のプロセッサ１３２が実行するように構成された方法とみなされ得る。また、記載された機能はソフトウェアで実装されてもよいが、そのような機能性は、専用のハードウェアもしくはファームウェア、またはハードウェア、ファームウェア、および／もしくはソフトウェアの何らかの組合せを介して同様に実行されてもよい。

【0033】

カメラ１００の回路１３０は、取得機能１４１、低下機能１４２、検出機能１４３、および挿入機能を実行するように構成されている。

【0034】

取得機能１４１は、物体がカメラの視野に接近していることを示す情報を取得するように構成されており、取得された情報は物体の位置および移動方向、ならびにさらなる装置およびカメラの既知の位置および視野を示すさらなる装置からの情報から決定されている。取得された情報は、受信機１１０において受信され得る。

【0035】

低下機能１４２は、取得された情報に応答して、カメラによって取り込まれたビデオストリーム内のマスキングされるべき物体を検出するための閾値を低下させるように構成されている；

【0036】

検出機能１４３は、低下させられた閾値を使用してビデオストリーム内のマスキングされるべき物体を検出するように構成されている。

【0037】

挿入機能１４４は、ビデオストリーム内の検出された移動している物体のマスキングを挿入するように構成されている。

【0038】

本明細書で想定されるマスキングは、例えば、無地／不透明色であり得、半透明であり得、物体がもはや容易に識別され得ないように物体にモーションブラーを適用すること、ならびに／または、例えば、物体がもはや容易に識別され得ないように、出力画像ストリーム内の物体の強制的な画素化および／もしくは難読化、または同様のものを含み得る。他の想定される実施形態では、マスキングは、背景が物体を通して見えるように、出力画像ストリームにおいて物体自体を少なくとも部分的に透明にすることを含み得る。これは、例えば、前方に物体がない背景の画像が（例えば前の時間インスタンスから）利用可能である場合に可能であり得る。

【0039】

本明細書では、検出は、例えば、コンピュータビジョンおよび／または画像処理などのコンピュータ技術の様々な分野で既に利用可能な物体検出のための１つ以上の一般的に利用可能なアルゴリズムを使用して実施され得る。そのようなアルゴリズムは、非ニューラルネットワークおよびニューラルネットワークの両方の手法を含み得る。しかしながら、最小要件は、使用されているアルゴリズム（またはアルゴリズムの組合せ）が、少なくとも理想的な条件で、マスキングされるはずの特定の物体（例えば、顔、身体、ナンバープレートなど）が画像内に存在するかどうかを決定できることである。使用されるアルゴリズムが、例えば、特徴ベース、テンプレートベース、および／または動きベースであるかどうかは、上記の要件が満たされる限り重要ではない。検出器は、例えば、その目的のために特別に訓練された１つ以上のニューラルネットワークを使用して実装され得る。本開示の目的のために、使用されるそのようなアルゴリズムは、物体が最初にカメラ１００の視野に入ったときに物体が最初にカメラ１００の視野内に部分的にのみ入るため、物体を正確に検出するのに苦労する可能性があることも想定される。

【0040】

カメラ１００は、カメラ１００および少なくともさらなる装置を含むカメラシステム内に配置されるように構成されている。具体的には、カメラ１００およびさらなる装置を含むカメラシステムは、さらなる装置の位置および視野ならびにカメラ１００の位置および視野が既知であり、物体の位置および移動方向を示す情報をさらなる装置から提供することができるように、配置および構成されるべきである。次いで、物体がカメラ１００の視野に接近してカメラ１００で受信されることを示す情報は、中央サーバを使用する集中型ソリューション、またはさらなる装置およびカメラ１００を使用する分散型ソリューションのいずれかで準備され得る。集中型ソリューションでは、中央サーバのみが、さらなる装置の位置および視野、ならびにカメラ１００の位置および視野を知る必要がある。物体の位置および移動方向を示す情報をさらなる装置から受信した後、中央サーバは、物体がカメラ１００の視野に接近していることを示す情報を準備し、この情報をカメラ１００に提供し得る。分散型ソリューションでは、さらなる装置は、物体の位置および移動方向を示す情報をカメラ１００に直接送信し得、次にカメラ１００は、カメラ１００自体の位置および視野を認識して、物体がカメラ１００の視野に接近しているかどうかを決定し、接近している場合、３つのアクションのうちの１つ以上をトリガし得る。後者の場合、物体がカメラ１００の視野に接近していることを示す情報は、さらなる装置から受信した物体の位置および移動方向を示す情報となり得る。

【0041】

物体の位置および移動方向を決定するためには、典型的には、さらなる装置が経時的に少なくとも二次元表現を提供することを必要とし得る。したがって、さらなる装置は、限定はしないが、さらなるカメラ、ＩＲカメラ、サーマルカメラ、レーダ、ライダ、およびソナーうちの１つであり得る。そのようなシナリオにおいて、集中型ソリューションでは、さらなる装置は、一連の画像フレームにわたって物体を検出することによって、その位置および視野に対する相対的な位置および相対的な移動方向を決定し得る。次いで、集中型サーバは、さらなる装置およびカメラ１００の両方の絶対または相対位置および視野を知り、物体がカメラ１００の視野に接近しているかどうかを決定し、接近している場合、そのような情報をカメラ１００に提供し得る。分散型ソリューションでは、共通の座標系に対するさらなる装置およびカメラ１００の位置および視野の知識は、さらなる装置およびカメラ１００内にそれぞれ位置付けされ得る。あるいは、さらなる装置およびカメラ１００の各々は、他方に対するその相対位置を認識し得る。次いで、物体の位置および移動方向は、さらなる装置において、一連の画像フレームにわたって物体を検出することによって決定され得、物体の位置および移動方向を示す情報は、カメラ１００に提供され得る。次いで、カメラ１００は、カメラ１００自体の位置および視野を認識して、物体がカメラ１００の視野に接近しているかどうかを決定し、接近している場合、３つのアクションのうちの１つ以上をトリガし得る。後者の場合、物体がカメラ１００の視野に接近していることを示す情報は、さらなる装置から受信した物体の位置および移動方向を示す情報となり得る。さらなる装置の一連の画像フレームにわたる物体の検出から、物体がカメラ１００の視野に入ることとなる推定時間を決定することができる。さらに、位置および移動方向から、物体が現れることとなるカメラ１００の視野のサブ領域を決定することができる。

【0042】

一般に、さらなる装置の位置および視野ならびにカメラ１００の位置および視野がどのように決定されるかは、物体がその視野に接近していることを示す情報をカメラ１００が受信することができるように、一元的または分散的のいずれかで決定され、その後知られる限り、本質的ではなく、情報は、物体の位置および移動方向ならびにさらなる装置の位置および視野ならびにカメラ１００の位置および視野を示すさらなる装置からの情報に基づく。例えば、さらなる装置の位置および視野ならびにカメラ１００の位置および視野は、カメラシステムのセットアップ時に、例えば、ｇｐｓおよび／または地図に基づくかもしくはカメラシステムに接続されたシステムに手動で入力された取付けの位置および方向を用いて決定され得る。あるいは、さらなる装置の位置および視野ならびにカメラ１００の位置および視野は、さらなる装置およびカメラ内の物体の検出および移動の情報を受信する自己学習システムを使用して決定されてもよく、経時的に、さらなる装置の位置および視野ならびに第２の装置の位置および視野、ならびに／またはさらなる装置による特定の位置および移動方向を有する物体がカメラ１００の視野に接近しているか否かを決定する。

【0043】

以下で図２に関連して説明する方法２００の任意選択の追加の特徴は、適用可能な場合、図１に関連して説明したカメラ１００にも適用される。

【0044】

図２は、カメラによって取り込まれたビデオストリーム内の検出された物体をマスキングするための方法２００の実施形態に関するフローチャートを示している。カメラは、図１に関連してより詳細に説明したように、カメラおよび少なくともさらなる装置を含むカメラシステム内に配置されている。さらなる装置について、位置および視野は既知であり、カメラについて、位置および視野は既知である。方法２００は、カメラにおいて、物体がカメラの視野に接近していることを示す情報を取得することＳ２１０を含み、取得された情報は、物体の位置および移動方向、ならびにカメラおよびさらなる装置の既知の位置および視野を示すさらなる装置からの情報から決定されている。これは、図１に関連してより詳細に説明されている。方法２００は、取得された情報に応答して、カメラによって取り込まれたビデオストリーム内のマスキングされるべき物体を検出するための閾値を低下させることＳ２２０と、低下させられた閾値を使用してビデオストリーム内のマスキングされるべき物体を検出することＳ２３０と、ビデオストリーム内の検出された物体のマスキングを挿入することＳ２４０と、をさらに含む。

【0045】

物体の位置および移動方向を示すさらなる装置からの情報、ならびにカメラおよびさらなる装置の既知の位置および視野を使用して、物体がカメラの視野に接近していることを示す情報を取得することにより、物体が実際にそうする前にその視野内に現れることがカメラにおいて知られることとなる。さらに、物体が最初にカメラの視野内に現れたとき、カメラによって取り込まれたビデオストリームの１つ以上の画像内には、典型的には物体の一部のみが見えることとなる。使用される検出のタイプに応じて、物体は、物体の全部または少なくともかなりの部分がカメラの視野内に入るまで検出されない場合がある。したがって、物体が視野内に最初に現れたときに物体の一部のみがカメラの視野内にあるときにも物体が検出される確率を高めるために、取得された情報に基づいて検出の感度が高められる。具体的には、これは、カメラによって取り込まれたビデオストリーム内のマスキングされるべき物体を検出するための閾値を低下させることＳ２２０によって行われる。

【0046】

カメラによって取り込まれたビデオストリーム内のマスキングされるべき物体を検出するための閾値を下げると、カメラの視野のすべての領域における感度が高まることとなるため、取得された情報は、物体が最初に現れると予想されたカメラの視野のサブ領域をさらに示し得る。その後、閾値は、示されたサブ領域においてのみ低下させられるＳ２２０。カメラの視野のすべての他の領域では、閾値は低下させられない。これにより、物体が最初に現れると予想された画像のサブ領域においてのみ検出の感度が高まり、したがって、視野の他の領域における物体の誤検出およびマスキングのリスクを低減することとなる。追加的または代替的に、閾値は、代わりに、視野の周囲に沿った領域において低下させられてもよいＳ２２０。これは、カメラの視野に接近している物体は最初に周囲に沿ったどこかに現れることとなるため、同様の効果を達成することとなる。

【0047】

物体がカメラの視野内に現れる前に、物体がカメラの視野に接近しているという情報がカメラにおいて取得されるＳ２１０。

【0048】

取得された情報は、物体がカメラの視野内に現れることとなるのがどの時点かをさらに示し得る。その後、閾値は、示された時点から低下させられるＳ２２０。これにより、示された時点から検出の感度が高まり、したがって、示された時点の前の物体の誤検出およびマスキングのリスクが低減することとなる。

【0049】

さらなる装置、例えばさらなるカメラからの取得された情報は、物体がさらなる装置によってマスキングされていることをさらに示し得る。物体がさらなる装置によってマスキングされているという指示は、物体がカメラによってマスキングされるべきである確率を高め得、したがって、マスキングされるべき物体を検出するための閾値がさらに低下させられ得る。

【0050】

さらなる装置カメラからの取得された情報は、物体の物体クラスをさらに示し得る。次いで、カメラは、この情報を使用して、物体がカメラによってもマスキングされるべきかどうかを決定し得る。マスキングされるべきではないと決定された場合、低下させる動作Ｓ２２０は無効にされ得る。

【0051】

さらなる装置カメラからの取得された情報は、物体クラスに関する確信度をさらに示し得る。さらなる装置による指示が物体クラスに対して高い確信度であり、クラスがカメラ内でマスキングされるべきものである場合、マスキングされるべき物体を検出するための閾値は、その物体クラスに対してさらに低下させられ得る。

【0052】

実施形態では、閾値は、前景として検出されるものおよび背景として検出されるものに対する閾値であり得る。例えば、背景モデルは、ビデオストリームの画像フレーム内の複数の空間領域の各空間領域に対して、その空間領域がビデオシーケンス内の背景または前景に属するかどうかを定義し得る。空間領域は、所定の制限時間前にビデオストリーム内の前の画像フレームの空間領域の画像データに対して画像フレームの空間領域の画像データに大きな変化が生じていないことを条件として背景に属すると決定され得、そうではない場合は前景に属すると決定され得る。前景として検出されたものおよび背景として検出されたものの閾値を低下させることは、その場合大きな変化であると考えられる変化量を低下させること、または背景に属すると考えられる空間領域に対して大きな変化が生じるべきではない制限時間を増加させることであり得る。

【0053】

他の実施形態では、閾値は、物体がビデオストリーム内のマスキングされるべき物体クラスに属すると決定される確信度を指定する。次いで、閾値は、マスキングされるべき物体クラスに属すると決定されるべき物体に対して必要な確信度レベルが低下させられるように低下させられるＳ２２０。例えば、すべての顔がマスキングされるべきである場合、顔を識別するための閾値は、３０％の確率で顔である物体に対してマスキングが実行されるように、例えば８０％から３０％に下げられる。

【0054】

方法は、低下させられた閾値を使用して物体を検出することＳ２３０の後に、閾値を再び上昇させることＳ２５０をさらに含み得る。上昇させられた閾値を使用して物体が検出されたことを条件として、ビデオストリーム内の検出された物体をマスキングすることが維持されるＳ２６０。上昇させられた閾値を使用して物体が検出されないことを条件として、ビデオストリーム内の検出された物体をマスキングすることが中断されるＳ２７０。例えば、閾値は、物体を検出したＳ２３０後の所定時間に上昇させられ得るＳ２５０。所定時間は、物体全体がカメラの視野内にある可能性が高くなるように選択され得る。

【0055】

図１に関連して説明したカメラ１００の上述の任意選択の追加の特徴は、適用可能な場合、図２に関連して説明した方法２００にも適用される。

【0056】

代替例では、図２に関連して上述した方法２００と同様に、カメラによって取り込まれたビデオストリーム内の検出された物体をマスキングするための方法が提供される。カメラは、カメラおよび図１に関連して説明したカメラシステムと同様の少なくともさらなる装置を含むカメラシステム内に配置されている。さらなる装置について、位置および視野は既知であり、カメラについて、位置および視野は既知である。この代替方法における違いは、カメラシステムのいくつかの特徴により、物体がカメラの視野に接近していることを決定するためには物体がさらなる装置によって検出されれば十分であるという点である。これは、例えば、カメラとさらなる装置とが互いに対して特定の様式で配置されているためであり得る。例えば、さらなる装置は、道路または廊下に沿って移動しているさらなる装置によって検出された物体がカメラの視野に接近しており、さらなる装置とカメラとの間の距離および検出された物体の速度に応じた期間内にカメラの視野に入る可能性が高くなるように、さらなる装置が、カメラの視野によってカバーされた部分の前にある廊下または道路の部分をカバーする視野を有するように、廊下または道路に沿って配置され得る。代替方法は、カメラにおいて、物体がカメラの視野に接近していることを示す情報を取得することＳ２１０を含み、取得された情報は、物体が検出されたことを示すさらなる装置からの情報、およびさらなる装置によって検出されている物体がカメラの視野に接近していることを示す知識から決定されている。代替方法は、取得された情報に応答して、カメラによって取り込まれたビデオストリーム内のマスキングされるべき物体を検出するための閾値を低下させることと、低下させられた閾値を使用してビデオストリーム内のマスキングされるべき物体を検出することＳ２３０と、ビデオストリーム内の検出された物体のマスキングを挿入することＳ２４０とをさらに含む。

【0057】

物体の検出を示すさらなる装置からの情報、およびさらなる装置によって検出されている物体が、物体がカメラの視野に接近していることを示す知識を用いることによって、物体が実際にそうする前にその視野内に現れようとしていることがカメラにおいて知られることとなる。さらに、物体が最初にカメラの視野内に現れたとき、カメラによって取り込まれたビデオストリームの１つ以上の画像内には、典型的には物体の一部のみが見えることとなる。使用される検出のタイプに応じて、物体は、物体の全部または少なくともかなりの部分がカメラの視野内に入るまで検出されない場合がある。したがって、物体が視野内に最初に現れたときに物体の一部のみがカメラの視野内にあるときにも物体が検出される確率を高めるために、取得された情報に基づいて検出の感度が高められる。具体的には、これは、カメラによって取り込まれたビデオストリーム内のマスキングされるべき物体を検出するための閾値を低下させることによって行われる。

【0058】

カメラによって取り込まれたビデオストリーム内のマスキングされるべき物体を検出するための閾値を下げると、カメラの視野のすべての領域における感度が高まることとなるため、取得された情報は、物体が最初に現れると予想されたカメラの視野のサブ領域をさらに示し得る。この情報は、さらなる装置によって検出された後に物体が最初に現れることとなる場所の事前知識に基づいて取得され得る。例えば、さらなる装置がカメラの前の道路または廊下に沿って位置付けされている場合、さらなる装置によって検出された物体は、さらなる装置の視野に最も近い道路または廊下の部分を含むカメラのサブ領域内に現れることとなる。その後、閾値は、示されたサブ領域においてのみ低下させられる。カメラの視野のすべての他の領域では、閾値は低下させられない。これにより、物体が最初に現れると予想された画像のサブ領域においてのみ検出の感度が高まり、したがって、視野の他の領域における物体の誤検出およびマスキングのリスクを低減することとなる。追加的または代替的に、閾値は、代わりに、視野の周囲に沿った領域において低下させられてもよい。これは、カメラの視野に接近している物体は最初に周囲に沿ったどこかに現れることとなるため、同様の効果を達成することとなる。

【0059】

物体がカメラの視野に接近しているという情報は、物体がカメラの視野内に現れる前にカメラにおいて取得される。

【0060】

取得された情報は、物体がカメラの視野内に現れることとなるのがどの時点かをさらに示し得る。その後、閾値は、示された時点から低下させられる。これにより、示された時点から検出の感度が高まり、したがって、示された時点の前の物体の誤検出およびマスキングのリスクが低減することとなる。

【0061】

図１に関連して説明したカメラ１００の上述の任意選択の追加の特徴は、適用可能な場合、図に関連して説明した代替方法にも適用される。

【0062】

当業者は、本発明が上記の実施形態に限定されないことを認識する。それどころか、添付の特許請求の範囲の範囲内において多くの修正および変形が可能である。そのような修正および変形は、図面、開示、および添付の特許請求の範囲の研究から、特許請求される発明を実践する当業者によって理解および達成され得る。

【図1】

【図2】

【外国語明細書】