(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-04-12
(54)【発明の名称】識別秘匿動き検出および描写装置
(51)【国際特許分類】
G06T 7/20 20170101AFI20230405BHJP
G06T 7/00 20170101ALI20230405BHJP
H04N 7/18 20060101ALI20230405BHJP
H04N 23/60 20230101ALI20230405BHJP
H04N 5/77 20060101ALI20230405BHJP
H04N 5/91 20060101ALI20230405BHJP
【FI】
G06T7/20 300
G06T7/00 660Z
H04N7/18 D
H04N23/60 500
H04N5/77
H04N5/91
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022576240
(86)(22)【出願日】2021-02-25
(85)【翻訳文提出日】2022-10-21
(86)【国際出願番号】 IL2021050214
(87)【国際公開番号】W WO2021171295
(87)【国際公開日】2021-09-02
(32)【優先日】2020-02-25
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】522337026
【氏名又は名称】ドゥヴィル,イラ
(71)【出願人】
【識別番号】522337037
【氏名又は名称】バカロフ,イリヤ
(74)【代理人】
【識別番号】100114775
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100208580
【氏名又は名称】三好 玲奈
(74)【代理人】
【識別番号】100191086
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】ドゥヴィル,イラ
(72)【発明者】
【氏名】バカロフ,イリヤ
【テーマコード(参考)】
5C053
5C054
5C122
5L096
【Fターム(参考)】
5C053FA14
5C053GB06
5C053JA21
5C053LA01
5C053LA11
5C053LA14
5C054EA01
5C054EA05
5C054FC01
5C054FC12
5C054FC13
5C054FC14
5C054FC15
5C054FE05
5C054FE28
5C054FF03
5C054GB01
5C054HA19
5C122DA11
5C122EA07
5C122FH03
5C122FH11
5C122FH12
5C122FH22
5C122FJ01
5C122FJ04
5C122GA28
5C122GA34
5C122GC38
5C122GC83
5L096AA02
5L096AA06
5L096BA02
5L096CA04
5L096DA01
5L096DA03
5L096FA16
5L096FA64
5L096FA67
5L096GA08
(57)【要約】
プライバシーを保護する監視または監督、検出された動いている被写体およびそれらの観察された位置の識別の秘匿、ならびに元のビデオフレームへのアクセスの拒否のための、識別秘匿動き検出および描写装置。本装置は、領域のビデオフレーム画像を収集するビデオカメラ、ビデオバッファを格納する揮発性メモリを含み、ビデオカメラはビデオフレームのストリームをバッファ内に格納する。プロセッサは、ビデオバッファ内の連続ビデオフレームの各ペアに対して、ペアの単純な差分フレームを計算し、ペアの第1のビデオフレームを揮発性メモリから消去して、差分フレームを描写された動きビデオとして出力する。本装置は、特定の事象を検出するための分析モジュールを、アラートを外部装置に発するアラートモジュールと共に含み得る。差分フレームおよびアラートは、装置内の一方向「ウォーターフォール」リンクを通過して、元のビデオフレームへのアクセスを防ぎ得る。
【選択図】
図7
【特許請求の範囲】
【請求項1】
検出された動いている被写体およびそれらの観察された位置の識別を秘匿して、元のビデオフレームへのアクセスを拒否することにより、プライバシーを保護する監視および/または監督のための、識別秘匿動き検出および描写装置であって、
a.領域のビデオフレーム画像を収集するように構成されたビデオカメラと、
b.その上にビデオバッファが格納される、揮発性メモリであって、前記ビデオカメラは、前記ビデオフレームのストリームを前記ビデオバッファ内に格納するように構成される、揮発性メモリと、
c.前記ビデオバッファ内の連続ビデオフレームの各ペアに対して、
i.前記ペアの差分フレームを計算すること、
ii.前記ペアの第1の前記ビデオフレームを前記揮発性メモリから消去すること、
iii.前記差分フレームを描写された動きビデオとして出力すること
を行うように構成された、プロセッサと
を備える、識別秘匿動き検出および描写装置。
【請求項2】
前記プロセッサは、前記差分フレーム内の前記描写された動きのエッジを滑らかにすること、動いている被写体のシンボルグラフィック絵図を提示すること、またはその組合せを行うように更に構成される、請求項1に記載の装置。
【請求項3】
a.検出された動いている物体または複数の物体のリアルタイムアラートと、
b.前記差分フレームと、
c.動いている被写体のシンボルグラフィック絵図と
の任意の組合せを送信するように構成された、無線通信モジュール(WiFiまたはセルラー3G/4G/5Gなど)を更に備える、請求項1に記載の装置。
【請求項4】
セットアップ中に前記位置の実際の画像を明らかにすることなく、前記装置を所望の視野に照準を定めるのを可能にする前記セットアップのために構成された、請求項1に記載の装置。
【請求項5】
短期および長期の時間間隔に亘るフレームのペアに同時に適用された同じビデオシーケンスの動き推定を常に比較して、同程度に速いか、または遅い動きが検出される場合、それに応じてフレームレートを調整することにより、分析されたビデオフレームの前記フレームレートを動的に変えるように更に構成された、請求項1に記載の装置。
【請求項6】
画素加速度動き検出を適用するように更に構成され、各画素値は、前のN個のフレームから取得された補間曲線の第2の導関数を取ることによって推定されるような、その適切な加速度測定によって置き換えられる、請求項1に記載の装置。
【請求項7】
前記ビデオカメラは、前記装置の残りから分離されて、有線または無線通信を介して接続される、請求項1に記載の装置。
【請求項8】
前記差分フレーム、前記ビデオフレーム、またはその組合せから計算された事象を検出するように構成されたビデオ分析モジュールを更に備える、請求項1に記載の装置。
【請求項9】
前記事象は、侵入者の存在、火災警報、顔認識、転倒、暴力行為、またはそれらの任意の組合せを含む、請求項8に記載の装置。
【請求項10】
前記事象のアラートを外部装置に送信するように構成されたアラートモジュールを更に含む、請求項8または請求項9に記載の装置。
【請求項11】
前記分析モジュール(複数可)と前記アラートモジュールとの間の通信経路は一方向ウォーターフォールデータリンクを含む、請求項10に記載の装置。
【請求項12】
a.マイクロホンと、
b.前記マイクロホンによって収集された音声信号を格納するように構成された音声バッファと、
c.事象音の音声スタンプを格納する、音声スタンプデータベースと、
d.前記音声スタンプとの比較によって前記音声バッファ内に格納された音声事象を識別するように構成された音声分析モジュールと
を含む、音声強化装置を更に備える、請求項8に記載の装置。
【請求項13】
前記音声分析モジュールの結果が前記ビデオ分析モジュールの結果と相関される、請求項12に記載の装置。
【請求項14】
検出された動いている被写体およびそれらの観察された位置の前記識別を秘匿して、元のビデオフレームへのアクセスを拒否することにより、プライバシーを保護する監視および/または監督のための、識別秘匿動き検出および描写装置であって、
a.領域のビデオフレーム画像を収集するように構成されたビデオカメラと、
b.第1のセクションであって
i.第1のビデオバッファであって、前記ビデオカメラは前記ビデオフレームのストリームを前記ビデオバッファ内に格納するように構成される、第1のビデオバッファ、
ii.前記ビデオバッファ内の連続ビデオフレームの各ペアに対して、
a)前記ペアの差分フレームを計算することと、
b)前記差分フレームを描写された動きビデオとして出力することと
を行うように構成された、プロセッサ、
を含む、第1のセクションと、
c.第2のセクションであって
i.前記差分フレームのストリームを格納するように構成された第2のビデオバッファ、
ii.ビデオエンコーダ、
iii.前記差分フレームを前記ビデオエンコーダに転送するように構成された第2のプロセッサであって、前記ビデオエンコーダは前記差分フレームを暗号化して外部ネットワークに出力するように構成される、第2のプロセッサ
を含む、第2のセクションと
を備え、
一方向ウォーターフォールデータリンクは前記第1のセクションから前記第2のセクションへ前記差分フレームを搬送する、
識別秘匿動き検出および描写装置。
【請求項15】
前記ウォーターフォールリンクは、
a.前記第1のセクションの送信機および前記第2のセクションの受信機、
b.一方向シリアル接続、
c.一方向光ファイバー、および
d.アナログビデオリンク
の1つ以上を含む、請求項14に記載の装置。
【請求項16】
前記第1のプロセッサは、前記第1のビデオバッファから前記ペアの第1の前記ビデオフレームを消去するように更に構成される、請求項14に記載の装置。
【請求項17】
a.前記第1のセクションは、前記ビデオフレームから計算された事象を検出するように構成された、第1の分析モジュールを更に含み;かつ/または
b.前記第2のセクションは、前記差分フレームから計算された事象を検出するように構成された、第2の分析モジュールを更に含み;かつ
c.前記第2のセクションは、前記事象のアラートを外部装置に送信するように構成された、アラートモジュールを更に含む、
請求項14に記載の装置。
【請求項18】
前記分析モジュール(複数可)と前記アラートモジュールとの間の前記通信経路は1つ以上の追加の一方向ウォーターフォールデータリンクを含む、請求項17に記載の装置。
【請求項19】
前記第1のセクションは、非無線接続を介してソフトウェアアップデートを受信する、請求項14に記載の装置。
【請求項20】
検出された動いている被写体およびそれらの観察された位置の前記識別を秘匿して、元のビデオフレームへのアクセスを拒否することにより、プライバシーを保護する監視および/または監督のための、識別秘匿動き検出および描写方法であって、
a.請求項1の前記装置を取得するステップと、
b.前記ビデオカメラが領域内のビデオフレーム画像を収集するステップと、
c.前記揮発性メモリの前記ビデオバッファ内の前記ビデオフレーム画像のストリームを格納するステップと、
d.前記ビデオバッファ内の連続ビデオフレームの各ペアに対して、
i.前記ペアの前記差分フレームを計算するステップと、
ii.前記ペアの第1の前記ビデオフレームを前記揮発性メモリから消去するステップと、
iii.前記差分フレームを描写された動きビデオとして出力するステップと
を含む、識別秘匿動き検出および描写方法。
【請求項21】
前記差分フレーム内の前記描写された動きのエッジを滑らかにすること、動いている被写体のシンボルグラフィック絵図を提示すること、またはその組合せの1つ以上のステップを更に含む、請求項20に記載の方法。
【請求項22】
無線通信モジュールが、
a.検出された動いている物体または複数の物体のリアルタイムアラートと、
b.前記差分フレームと、
c.動いている被写体のシンボルグラフィック絵図と
の任意の組合せを送信するステップを更に含む、請求項20に記載の方法。
【請求項23】
セットアップ中に前記位置の実際の画像を明らかにすることなく、前記装置を所望の視野に照準を定める前記セットアップを更に含む、請求項20に記載の方法。
【請求項24】
短期および長期の時間間隔に亘るフレームのペアに同時に適用された同じビデオシーケンスの動き推定を常に比較して、同程度に速いか、または遅い動きが検出される場合、それに応じてフレームレートを調整することにより、前記分析されたビデオフレームの前記フレームレートを動的に変えるステップを更に含む、請求項20に記載の方法。
【請求項25】
画素加速度動き検出を適用するステップを更に含み、各画素値は、前のN個のフレームから取得された補間曲線の第2の導関数を取ることによって推定されるような、その適切な加速度測定によって置き換えられる、請求項20に記載の方法。
【請求項26】
前記装置の残りから分離されて、有線または無線通信を介して接続される、前記ビデオカメラを提供するステップを更に含む、請求項20に記載の方法。
【請求項27】
ビデオ分析モジュールが、前記差分フレーム、前記ビデオフレーム、またはその組合せから計算された事象を検出するステップを更に含む、請求項20に記載の方法。
【請求項28】
前記事象は、侵入者の存在、火災警報、顔認識、転倒、暴力行為、またはそれらの任意の組合せを含む、請求項27に記載の方法。
【請求項29】
前記事象のアラートを外部装置に送信するステップを含む、請求項27または請求項28に記載の方法。
【請求項30】
一方向ウォーターフォールデータリンクを、前記分析モジュールと前記アラートモジュールとの間の前記通信経路に沿って提供するステップを更に含む、請求項29に記載の方法。
【請求項31】
a.マイクロホンと、
b.前記マイクロホンによって収集された音声信号を格納するように構成された音声バッファと、
c.事象音の音声スタンプを格納する、音声スタンプデータベースと、
d.前記音声スタンプとの比較によって前記音声バッファ内に格納された音声事象を識別するように構成された音声分析モジュールと
を含む、音声強化装置を提供するステップを更に含む、
請求項27に記載の方法。
【請求項32】
前記音声分析モジュールの結果を前記ビデオ分析モジュールの結果と相関させるステップを更に含む、請求項31に記載の方法。
【請求項33】
検出された動いている被写体およびそれらの観察された位置の前記識別を秘匿して、元のビデオフレームへのアクセスを拒否することにより、プライバシーを保護する監視および/または監督のための、識別秘匿動き検出および描写方法であって、
a.請求項14の前記装置を取得するステップと、
b.前記ビデオカメラが領域内のビデオフレーム画像を収集するステップと、
c.前記第1のセクションの前記第1のビデオバッファが前記ビデオフレームのストリームを格納するステップと、
d.前記第1のセクションの前記第1のプロセッサが、前記ビデオバッファ内の連続ビデオフレームの各ペアに対して、
i.前記ペアの差分フレームを計算するステップと、
ii.前記差分フレームを描写された動きビデオとして出力するステップと、
e.前記第2のセクションの前記第2のビデオバッファが前記差分フレームのストリームを格納するステップと、
f.前記第2のセクションの前記第2のプロセッサが、前記差分フレームを前記ビデオエンコーダに転送するステップと、
g.前記ビデオエンコーダが前記差分ストリームを暗号化して外部ネットワークに出力するステップと
を含み、
前記方法は、前記一方向ウォーターフォールリンクが前記差分フレームを前記第1のセクションから前記第2のセクションへ搬送することを更に含む、
識別秘匿動き検出および描写方法。
【請求項34】
前記ウォーターフォールリンクを、
a.前記第1のセクションの送信機および前記第2のセクションの受信機、
b.一方向シリアル接続、
c.一方向光ファイバー、および
d.アナログビデオリンク
の1つ以上として提供するステップを更に含む、請求項33に記載の方法。
【請求項35】
前記第1のビデオバッファから前記ペアの第1の前記ビデオフレームを消去するステップを更に含む、請求項33に記載の方法。
【請求項36】
a.前記第1のセクションの第1の分析モジュールが前記ビデオフレームから計算された事象を更に検出するステップ、および/または
b.前記第2のセクションの第2の分析モジュールが、前記差分フレームから計算された事象を検出することをさらに含むステップ、および
c.前記第2のセクションのアラートモジュールが前記事象のアラートを外部装置に送信するステップ
を更に含む、請求項33に記載の方法。
【請求項37】
1つ以上の追加の一方向ウォーターフォールデータリンクを、前記分析モジュール(複数可)と前記アラートモジュールとの間の前記通信経路に沿って提供するステップを更に含む、請求項36に記載の方法。
【請求項38】
前記第1のセクションが、非無線接続を介してソフトウェアアップデートを受信するステップを更に含む、請求項14に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、観察および監視のためのビデオ分析の分野であり、特に、画像内の被写体の識別を秘匿しながら、ビデオ画像フレームで捕捉された動きを検出して描写する装置に関する。
【背景技術】
【0002】
ビデオカメラを採用している、「スマート」動き検出装置は、公的な場所において、および個人宅において、不法侵入、許可されていない人の存在、および危険を警告するために使用される。検出装置は、形態学および他の周知の技術を使用した、動き分析および物体分類を含む。
【0003】
米国特許第5,969,755号は、物体の動きからの自動コンテンツベース映像インデクシングを提供する方法を開示する。監視カメラからの映像中の動いている物体が、動き分割方法を使用してビデオシーケンス内で検出される。物体は分割されたデータを通して追跡される。ビデオのシンボル表現が、物体およびそれらの動きを記述する注釈付きグラフィックスの形で生成される。動き分析装置は、物体追跡の結果を分析して、いくつかの事象を記述するインデックスと共にグラフの動きに注釈を付ける。グラフは次いで、物体の出現/消失、付着/除去、入場/退場、および動き/静止などの、関心のある事象を識別するために規則ベースの分類方法を使用してインデックス付けされる。時空間的、事象、および物体ベースのクエリーによって識別されたビデオクリップが再生されて所望のビデオを表示する。
【0004】
米国特許第6,049,363号は、同一の視点からの同じ場面から取得された2つの画像から抽出されたデータに適用される統計的検定によって実行される、場面変化分析のための物体検出を開示する。1つの画像内に存在するが、他には存在していない物体に対応する単一の変化領域が与えられると仮定される。TVデータの場合、検定は、変化領域の境界をもつ各画像内のエッジ画素の一致を測定することから構成される。IRデータの場合、検定は、各画像における変化領域内の画素強度変化を測定することから構成される。
【発明の概要】
【発明が解決しようとする課題】
【0005】
受動型赤外線(PIR)センサーを採用するものなど、所謂「愚かな(stupid)」動き検出装置は、検出された被写体(人および物体)の識別を明らかにしない。それらは従って、ほとんどどこでも使用することが認められる。しかし、既存の「スマート」動き検出装置および警告装置はカメラに基づいており、それらは撮影される被写体のプライバシーを侵害するので、多くの国において法的または規制の対立を提示する。
【0006】
かかるスマート装置の使用を阻むのは規制(ヘルシンキ人権委員会のような)だけではない。普通の人々は、内密に捕捉されて、ウェブおよびソーシャルネットワークに分散された、ビデオクリップを見つけたくないので、当然ながら、かかる装置を自分の家に設置したがらない。
【0007】
スマート動き検出装置は、ビデオフレーム内の動きの分析、その検出および検出された物体の分類に重点を置く。それらは自動で高速なアラートを(人間または機械によって)発する。しかし、既存のスマート検出装置は、写真で示された場所の開示が禁止されている、および/または望まれていない、プライバシーの問題によって、または制約で悩まされていない。
【0008】
効果的なアラートは誤認警報ゼロおよび実際の警報逃しゼロのアラートである。考えられる最良のアラートは恐らく、アラートを引き起こしている事象の写真をリアルタイムで転送するものであるので、写真で示された被写体および位置自体(ほとんどの人が共有して嬉しくないであろう詳細な写真)のプライバシーを侵害することなく最適な警告装置を持つ方法はないように思える。
【課題を解決するための手段】
【0009】
本発明は識別秘匿動き検出および描写装置に関する。本装置は、動きの描写だけを保存して送信しながら、データの処理中に本装置によって取得される、画像データを破棄することによって、詳細な画像またはビデオのいかなる漏洩も防ぎ-それによりプライバシー侵害を防ぐ。
【0010】
例示的な実施形態では、識別秘匿動き検出および描写装置は、ビデオ情報などの、いかなる画像の通過も許可しない。画像は動き検出の処理のために使用され、次いで装置のメモリからの削除または消去によって破棄される。画像は表示または伝送のためにアクセスすることはできない。本装置の視野によって監視される、動いている物体の動きの処理データだけが、装置によって格納されて共有できる。
【0011】
本発明は従って、検出された動いている被写体およびそれらの観察された位置の識別を秘匿して、元のビデオフレームへのアクセスを拒否することにより、プライバシーを保護する監視および/または監督のための、識別秘匿動き検出および描写装置を提供し、本装置は、
a.ビデオカメラ;
b.ビデオバッファがその上に格納された、揮発性メモリ、ビデオカメラはビデオフレームのストリームをビデオバッファ内に格納するように構成される;
c.ビデオバッファ内の連続ビデオフレームの各ペアに対して、
i.ペアの差分フレームを計算すること;
ii.ペアの第1のビデオフレームを揮発性メモリから消去すること;
iii.差分フレームを描写された動きビデオとして出力すること
を行うように構成された、プロセッサ
を含む。
【0012】
本発明は前述の装置を更に提供し、プロセッサは、差分フレーム内の描写された動きのエッジを滑らかにすること、動いている被写体のシンボルグラフィック絵図を提示すること、またはその組合せを行うように更に構成される。
【0013】
本発明は、
a.検出された動いている物体または複数の物体のリアルタイムアラート;
b.差分フレーム;および
c.動いている物体のシンボルグラフィック絵図
の任意の組合せを送信するように構成された、無線通信モジュール(WiFiまたはセルラー3G/4G/5Gなど)を更に含む、前述の装置の任意の1つを更に提供する。
【0014】
本発明は、セットアップ中に位置の実際の画像を明らかにすることなく、本装置を所望の視野に照準を定めるのを可能にするセットアップのために構成された、前述の装置の任意の1つを更に提供する。
【0015】
本発明は、短期および長期の時間間隔に亘るフレームのペアに同時に適用された同じビデオシーケンスの動き推定を常に比較して、同程度に速いか、または遅い動きが検出される場合、それに応じてフレームレートを調整することにより、分析されたビデオフレームのフレームレートを動的に変えるように更に構成された、前述の装置の任意の1つを更に提供する。
【0016】
本発明は、画素加速度動き検出を適用するように更に構成された、前述の装置の任意の1つを更に提供し、各画素値は、前のN個のフレームから取得された補間曲線の第2の導関数を取ることによって推定されるような、その適切な加速度測定によって置き換えられる。
【0017】
本発明は、前述の装置の任意の1つを更に提供し、ビデオカメラは、本装置の残りから分離され、USBまたはMIPIなどの、任意の有線または無線通信を介して接続される。
【0018】
本発明は、差分フレーム、ビデオフレーム、またはその組合せから計算された事象を検出するように構成されたビデオ分析モジュールを更に含む、前述の装置の任意の1つを更に提供する。
【0019】
本発明は、前述の装置の任意の1つを更に提供し、事象は、侵入者の存在、火災警報、顔認識、転倒、暴力行為、またはそれらの任意の組合せを含む。
【0020】
本発明は、事象のアラートを外部装置に送信するように更に構成された、前の2つの装置の任意の1つを更に提供する。
【0021】
本発明は、前の装置を更に提供し、前記分析モジュール(複数可)と前記アラートモジュールとの間の通信経路は一方向ウォーターフォールデータリンクを含む。
【0022】
本発明は、
a.マイクロホン;
b.マイクロホンによって収集された音声信号を格納するように構成された音声バッファ;
c.事象音の音声スタンプを格納する、音声スタンプデータベース;
d.音声スタンプとの比較によって音声バッファ内に格納された音声事象を識別するように構成された音声分析モジュール
を含む、音声強化装置を更に含む、前の4つの装置の任意の1つを更に提供する。
【0023】
本発明は、前の装置を更に提供し、音声分析モジュールの結果がビデオ分析モジュールの結果と相関される。
【0024】
本発明は、検出された動いている被写体およびそれらの観察された位置の識別を秘匿して、元のビデオフレームへのアクセスを拒否することにより、プライバシーを保護する監視および/または監督のための、識別秘匿動き検出および描写装置を更に提供し、本装置は、
a.領域のビデオフレーム画像を収集するように構成されたビデオカメラ;
b.以下を含む第1のセクション
i.第1のビデオバッファ、ビデオカメラはビデオフレームのストリームをビデオバッファ内に格納するように構成される;
ii.ビデオバッファ内の連続ビデオフレームの各ペアに対して、
a)ペアの差分フレームを計算すること;および
b)差分フレームを描写された動きビデオとして出力すること
を行うように構成された、プロセッサ、
c.以下を含む第2のセクション
i.差分フレームのストリームを格納するように構成された第2のビデオバッファ;
ii.差分フレームをビデオエンコーダに転送するように構成された第2のプロセッサ、ビデオエンコーダは差分フレームを暗号化して外部ネットワークに出力するように構成される;
を含み、
一方向ウォーターフォールデータリンクは差分フレームを第1のセクションから第2のセクションへ搬送する。
【0025】
本発明は、前の装置を更に提供し、ウォーターフォールリンクは、
a.第1のセクションの送信機および第2のセクションの受信機;
b.一方向シリアル接続;
c.一方向光ファイバー;および
d.アナログビデオリンク
の1つ以上を含む。
【0026】
本発明は、ウォーターフォールリンクを備えた前述の装置のいずれかを更に提供し、第1のプロセッサは、第1のビデオバッファからペアの第1のビデオフレームを消去するように更に構成される。
【0027】
本発明は、ウォーターフォールリンクを備えた前述の装置のいずれかを更に提供し、
a.第1のセクションは、ビデオフレームから計算された事象を検出するように構成された、第1の分析モジュールを更に含み;かつ/または
b.第2のセクションは、差分フレームから計算された事象を検出するように構成された、第2の分析モジュールを更に含み;かつ
c.第2のセクションは、事象のアラートを外部装置に送信するように構成された、アラートモジュールを更に含む。
【0028】
本発明は、前の装置を更に提供し、分析モジュール(複数可)とアラートモジュールとの間の通信経路は1つ以上の追加の一方向ウォーターフォールデータリンクを含む。
【0029】
本発明は、ウォーターフォールリンクを備えた前述の装置のいずれかを更に提供し、第1のセクションは非無線接続を介してソフトウェアアップデートを受信する。
【0030】
本発明は、検出された動いている被写体およびそれらの観察された位置の識別を秘匿して、元のビデオフレームへのアクセスを拒否することにより、プライバシーを保護する監視および/または監督のための、識別秘匿動き検出および描写方法を提供し、本方法は、
a.ビデオカメラが領域内のビデオフレーム画像を収集すること;
b.揮発性メモリのビデオバッファ内のビデオフレーム画像のストリームを格納すること;
c.ビデオバッファ内の連続ビデオフレームの各ペアに対して、
i.ペアの差分フレームを計算すること;
ii.ペアの第1のビデオフレームを揮発性メモリから消去すること;
iii.差分フレームを描写された動きビデオとして出力すること
のステップを含む。
【0031】
本発明は、差分フレーム内の描写された動きのエッジを滑らかにすること、動いている被写体のシンボルグラフィック絵図を提示すること、またはその組合せの1つ以上のステップを更に含む、前述の方法を提供する。
【0032】
本発明は、無線通信モジュールが、
a.検出された動いている物体または複数の物体のリアルタイムアラート;
b.差分フレーム;および
c.動いている被写体のシンボルグラフィック絵図
の任意の組合せを送信するステップを更に含む、前述の方法の任意の1つを更に提供する。
【0033】
本発明は、セットアップ中に位置の実際の画像を明らかにすることなく、本装置を所望の視野に照準を定めるセットアップを更に含む、前述の方法のいずれか1つを更に提供する。
【0034】
本発明は、短期および長期の時間間隔に亘るフレームのペアに同時に適用された同じビデオシーケンスの動き推定を常に比較して、同程度に速いか、または遅い動きが検出される場合、それに応じてフレームレートを調整することにより、分析されたビデオフレームのフレームレートを動的に変えるステップを更に含む、前述の方法のいずれか1つを更に提供する。
【0035】
本発明は、画素加速度動き検出を適用するステップを更に含む、前述の方法のいずれか1つを更に提供し、各画素値は、前のN個のフレームから取得された補間曲線の第2の導関数を取ることによって推定されるような、その適切な加速度測定によって置き換えられる。
【0036】
本発明は、本装置の残りから分離されて、有線または無線通信を介して接続されるビデオカメラを提供するステップを更に含む、前述の方法のいずれか1つを更に提供する。
【0037】
本発明は、差分フレーム、ビデオフレーム、またはその組合せから計算された事象をビデオ分析モジュールが検出するステップを更に含む、前述の方法のいずれか1つを更に提供する。
【0038】
本発明は、前の方法を更に提供し、事象は、侵入者の存在、火災警報、顔認識、転倒、暴力行為、またはそれらの任意の組合せを含む。
【0039】
本発明は、事象のアラートを外部装置に送信するステップを更に含む、前の2つの方法のいずれか1つを更に提供する。
【0040】
本発明は、
a.マイクロホン;
b.マイクロホンによって収集された音声信号を格納するように構成された音声バッファ;
c.事象音の音声スタンプを格納する、音声スタンプデータベース;
d.音声スタンプとの比較によって音声バッファ内に格納された音声事象を識別するように構成された音声分析モジュール
を含む、音声強化装置を提供するステップを更に含む、前の3つの方法のいずれか1つを更に提供する。
【0041】
本発明は、音声分析モジュールの結果をビデオ分析モジュールの結果と相関させるステップを更に含む、前の方法を提供する。
【図面の簡単な説明】
【0042】
【
図1】本発明のいくつかの実施形態に従って生成された、本装置の視野内の動いている被写体の輪郭の鮮明な描写である。
【
図2】認識された動いている被写体のセグメントがシンボルグラフィック絵図で置き換えられる描写である。
【
図3】本発明のいくつかの実施形態に従った、識別秘匿動き検出および描写装置の機能ブロック図である。
【
図4】差分フレームを生成する2つのビデオフレームのうちの早い方が、差分フレームが計算された後にRAMから消去されるプロセスを例示する。
【
図5】それぞれ、動いている被写体のない場所の画像および、本発明のいくつかの実施形態に従って生成された画像の非開示ビューを示す。
【
図6】それぞれ、動いている被写体のない場所の画像および、本発明のいくつかの実施形態に従って生成された画像の非開示ビューを示す。
【
図7】本発明のいくつかの実施形態に従った、AI分析を備えた識別秘匿動き検出および描写装置の機能ブロック図である。
【
図8】本発明のいくつかの実施形態に従った、特定の事象および特徴のAI分析が専ら差分画像だけに基づく識別秘匿動き検出および描写装置の機能ブロック図である。
【
図9】被写体が転倒している場面からの画像と、撮像時における場面の識別秘匿動き描写との間の比較を示す。
【
図10】識別秘匿動き描写内で動いている被写体のタイプを判断するために使用できる識別秘匿動き描写と比較できる、犬、女性、および男性の形態学的シグネチャを示す。
【
図11】特定の事象および特徴のAI分析がビデオフレームおよびシーケンスの完全な視覚データから行われる、本発明のいくつかの実施形態に従った、識別秘匿動き検出および描写装置の機能ブロック図である。
【
図12】本発明のいくつかの実施形態に従った、識別秘匿動き検出および描写装置と共に使用できる音声強化500の機能ブロック図である。
【
図13】本発明のいくつかの実施形態に従った、一方向「ウォーターフォール」データリンクを備えた識別秘匿動き検出および描写装置600の機能ブロック図である。
【発明を実施するための形態】
【0043】
本開示では、用語「動き描写(motion portrayal)」は、(人または機械による)動きの検出を容易にする画像を提供することを指す。例示的な実施形態では、提供される画像は動いている物体のエッジを強調する。
【0044】
用語「完全な視覚ビデオデータ(full visual video data)」または単に「完全な視覚データ(full visual data)」はビデオカメラまたは連続スチルカメラ(repetitive still camera)によって初めに取得されたとおりの未処理のビデオフレームを指す。
【0045】
「視覚データ(visual data)」は、本明細書で更に説明される、動いている被写体の輪郭だけを抽出するために処理されているビデオフレームも指し得る。
【0046】
「非視覚データ(Non-visual data)」は、ビデオフレームから抽出されたビデオ(完全な視覚または視覚)内の動きに関するデータを指す。
【0047】
例示的な実施形態では、本発明は、取得された視覚および/またはIRビデオデータを任意の外部的にアクセス可能なメモリ内に格納しない識別秘匿動き検出および描写装置を含む。取得されたビデオデータは処理のために装置のランダムアクセスメモリ(RAM)上に一時的に格納されて、それは処理された直後にRAMから消去される。
【0048】
本発明の1つの考えられる態様では、N個のビデオフレームが装置のRAMに格納されて、その間に、N番目のフレームが連続するフレーム(例えば、N+1番目、N+2番目、またはN+n番目のフレーム)と比較され、任意の存在する動いている物体のエッジを検出する、動き推定および画像比較技術を使用して比較される。
【0049】
ビデオカメラは自身の視野を秒あたり数回、典型的には秒あたり24~60フレーム(FPS)サンプリングする。いくつかの実施形態では、装置は連続するビデオフレーム間の単純な差を計算する。かかる差異を示すフレームは差分フレーム(または単に差分)と呼ばれる。かかる実施形態では、一旦、装置が静止されると(パン、傾斜、およびズームしていない)、それは連続フレーム間の-連続したフレームN+1またはN+2もしくはN+nまでスキップするかに関わらず-単純な差を計算して、
図1に示されるような、装置の視野内の動いている被写体の輪郭の鮮明な描写を作成する。動きの描写は、輪郭の厚さの観点から、画素において、動いている被写体がフレーム間を通過した距離に関連する。差分されたフレーム間の時間間隔が大きければそれだけ、動いている被写体の差分画像の輪郭線が太くなる。太さは、動きの速度によっても影響される。動きが速ければそれだけ、動いている物体の輪郭が太くなる。
【0050】
ビデオカメラは典型的には、24~60FPSを捕捉するが、本発明に対しては、1~12FPSの低いフレームレートで典型的には十分である。しかし、大きな時間間隔(例えば、100msを上回る)は、高速で動いている被写体の識別詳細を明らかにする差分画像を生成し得る。差分画像のコントラストを強調すること、および/または輝度を低減することは、動いている物体の識別を秘匿するためにかかる詳細を破棄する1つの方法であろう。別の方法は、色深度を8、4、または2色までにすら低減することであり得る。追加として(または代替として)、当技術分野で周知の多くのエッジ検出技術の1つによって、輪郭を滑らかにして線を細くし、かつ/または最適化された伝送のためにデータサイズ/レートを削減するために差分画像をベクトル化さえする。
【0051】
図2に示されるように、識別を秘匿する別の方法は、認識された動いている物体の部分を動いている被写体のシンボルグラフィック絵
図50で置き換えることによる。
【0052】
いくつかの例示的な実施形態では、識別秘匿動き検出および描写装置は、いかなる画像の通過も許可しない。ビデオ情報は動き検出の処理のために使用されて破棄され、装置のメモリから削除/消去されて、表示または伝送のためにアクセスできない。装置の視野によって監視される、動いている物体の動きの処理データだけが、格納されて装置によって共有できる。
【0053】
ここで
図3、本発明のいくつかの実施形態に従った、識別秘匿動き検出および描写装置100の機能ブロック図を参照する。装置100は、ビデオカメラ105、1つ以上の揮発性メモリ(RAM)110、1つ以上のプロセッサ115(総称して、「プロセッサ」)、ビデオエンコーダ130、通信手段135、および1つ以上の記憶媒体140を含む。
【0054】
ビデオカメラ105は、ビデオフレームを取得し、それらをRAM105内のビデオバッファ120に入れるために必要なハードウェアに取り付けられたカメラセンサーであり、典型的にはそれ以上のものではない。ビデオカメラ105は、監視される領域または観察下の領域の画像を捕捉するために配置される。典型的には、ビデオカメラ105は、1~12FPSのフレームレートで画像フレームを取得する。ビデオカメラ105は、本発明に従った装置100の一体式の構成要素であり得るが、市販のビデオカメラ(またはビデオを取得可能なスチルカメラ)を、本発明に従って設計された独立した装置に接続することによって本発明を実装することが可能である。
【0055】
典型的には、プロセッサ115および、差分ストリーム125を符号化して出力ストリーム132を生成する、ビデオエンコーダ130は、異なる装置の部分である。ビデオエンコーダ130は、元のビデオフレームにアクセスできない。ビデオエンコーダ130がアクセスできるデータは、差分ストリーム125からの差分画像のデータだけである。差分画像は、装置100の視野内の位置および物体のプライバシーを保つために十分に不明瞭である。代替実施形態では、プロセッサ115は、ビデオエンコーダ130を含む(例えば、差分ストリーム125を符号化して出力ストリーム132を生成する機能が、プロセッサによって行われる)。
図4を参照すると、かかる実施形態では、プロセッサ115は、差分フレームを生成する2つのビデオフレームのうちの早い方が、差分フレームが計算された後にRAM110から消去されるプロセスを実装する。このプロセスは、ビデオエンコーダ130が元のビデオフレームにアクセスするのを拒否する。
【0056】
一旦、差分画像が生成されると、元のビデオフレームはビデオバッファ120から消去される。差分ストリーム125が生成されると、元のビデオフレームデータは、もはや存在しないので、それにはもうアクセスできない。差分フレームは(それらの元の、または低減された解像度で)符号化されてビデオストリームとしてラップ(wrap)でき、それはその場所の遠隔監視のために有線または無線を通して送信できる。
【0057】
本発明は、あるレベルの動きが検出される時はいつでも単純で効果的なアラートを可能にする。いくつかの実施形態では、プロセッサ115は、ビデオバッファ120内の連続するビデオフレーム間の異なる光強度を測定する画素数を数える。いくつかの実施形態では、プロセッサは差分フレームを1ビットの色深度まで低減させて差分フレーム内の白または黒の画素の数を数える。
【0058】
当業者は、本開示の教示を学習した後、本発明に従って、装置の監視される視野内の異なる領域を指定し、定義された仕様に従って、指定された領域内の動きに対してアラートを発するか、またはかかる動きを無視することが可能であろう。
【0059】
動いている物体の輪郭は、単純な形態学に基づいて分類され、当技術分野で周知の任意の手段によって、ペット、鳥、人間などを区別する。
【0060】
本発明に従った装置は取得したビデオの画像を出力できないので、連続フレーム間の差だけ(または装置の視野内の動いている物体の輪郭の任意の他の描写)を出力する。本発明は、場所の識別可能な画像を明らかにすることなく、装置の視野を単に設定するのを可能にする。
【0061】
いくつかの実施形態では、装置はセットアップモードであり、そのため、取得されたフレームは、あたかも場面全体が動いているかのように、合成的に数画素(水平方向もしくは垂直、または両方のいずれかに)シフトされる。かかる合成の動きは、装置の視野内の物体の輪郭の差分画像または差分ビデオストリームを出力するのを可能にする。
【0062】
図5は、動いている被写体のない場所を示す。本発明に従った静的装置は、装置の視野の空白画像(黒、グレイ、白、または任意の他の色)を示して、いかなる画像も表示しない。結果として生じる参照特徴の欠如は、所望の視野を監視するために装置を設定するための問題を提示する。
【0063】
その問題に対して考えられるソリューションとして、いくつかの実施形態に従い、プロセッサは場面の非開示ビューを実装する。そのビューは、連続して取得されたフレームをフレームNからフレームN+1へ水平方向に数画素、および垂直方向に数画素シフトすることによって獲得され、同じシフトが再度適用されて、N+2からN+3へシフトする等(後続のフレームをシフトさせた、その元の位置内の1つのフレーム)、以後同様に続く。結果が
図6に示されている。
【0064】
ここで
図7、本発明のいくつかの実施形態に従った、ビデオ分析モジュール222を備えた識別秘匿動き検出および描写装置200の機能ブロック図を参照する。分析モジュール222は、図示されるように、人工知能(AI)を採用し得る。
【0065】
ビデオ分析モジュール222は、ビデオバッファ220と差分ストリーム225との間に導入されて、
図3に関連して説明されるシステムの要素および機能を維持する。ビデオカメラ205によって取得されたフレームは、ビデオバッファ220に入れられる。フレームが、プライバシー保護差分画像を作成するために比較される前に、ビデオ分析モジュール222は、顔認識、転倒検出、動き不足、および/または他の危険な状態のための最先端の方法を使用して、ビデオフレームおよび短いビデオシーケンスを分析する。
【0066】
ビデオ分析モジュール222は、非視覚データである、分析の結果を格納する。かかる非視覚データは、例えば、顔認識で対処する場合、分析される被写体の顔の特徴(目、鼻、鼻孔、額、眉、耳、顎、髪の生え際等)の2Dおよび/または3D公比ならびに相対角度だけを含み得る。
【0067】
ここで
図8、特定の事象および特徴のビデオ分析322が専ら差分画像だけに基づく、識別秘匿動き検出および描写装置300の機能ブロック図を参照する。
【0068】
ビデオ分析モジュール222による、差分画像からの事象検出は、当技術分野で周知の任意の手段によって実装できる。被写体は、それらが位置する静的場面から分離されるので、差分画像は、データを分析する努力を軽減し得る。例えば、物体および背景の色が類似している場合、静的背景はかかる事例では差分画像内に存在しないので、フレーム間の純粋な差分のエッジ検出に基づいて動きを分析するのはさらに容易であり得る(しかし、他の事例では、差分画像分析は詳細な視覚データの欠如に起因してもっと複雑であり得る。例えば、転倒および人の姿勢の検出は、例えば、
図11に関連して本明細書で説明されるように、完全な視覚データが利用可能な場合より正確に行われ得る)。
【0069】
被写体(侵入者)が場面に入るのを検出するために装置300を採用することは、単純なタスクである:それらが場面に入ると、差分画像からノイズをフィルタリングして、閾値画素数を上回る隣接した画素(ブロブ)のグループの数を合計するために、当技術分野で周知の任意の手段が採用され得る。
【0070】
フレームは、ビデオカメラ305から装置の揮発性メモリのビデオバッファ320に入れられる。フレームが比較されて、標準的な差分画像または強化された差分画像のフレームが差分ストリーム325内で作成される。それらの作成直後に、ビデオバッファ320内の元のビデオフレームが消去される(かつ上書きされる)。
【0071】
次のステップで、かかる差分フレームのシーケンスが処理されて、隣接した画素(ブロブ)のグループ内に含まれている、動いている画素の量、および、前のフレーム内の画素のかかるグループ(存在する場合)の動きと比較して、画素のかかるグループに関する動きのベクトルを分析する。
【0072】
例えば、転倒の検出は、垂直方向に動いている差分画素の加速度を計算することなどの、周知の技術によって実装され得、その間、かかる画素を囲んでいる矩形は、その水平寸法と垂直寸法との間の比が著しく変化する。
図9に示されるような、かなり大量の差分画素の突然の動きが、囲んでいる矩形のH:V比のV>HからV≦Hへの変化と組み合わされると、転倒を示す可能性が高い。
【0073】
本発明によれば、アラートは、
図10に例示されるような、場面内の動いている物体(男性、女性、子供、ペット、または何らかの事前に定義された物体)のシグネチャの形態比較によって検証され得る。比較の実行およびかかる形態学的スタンプのマッチングのための技術は、当技術分野で周知の任意の手段によって実装できる。
【0074】
ここで
図11を参照すると、差分フレームを作成して完全な視覚データを破棄する前に、本発明のいくつかの実施形態に従い、特定の事象および特徴の分析422が、ビデオフレームおよびシーケンスの完全な視覚データから、それらがビデオバッファ420内に格納されている間に、行われる、識別秘匿動き検出および描写装置400の機能ブロック図が示されている。
【0075】
完全なビデオ分析モジュール422は、装置400の単独の分析構成要素であり得るか、または、本明細書で説明されるように(例えば、
図8の差分フレーム分析モジュール322)、差分フレームの分析と組み合わせて使用される、意思決定支援構成要素として使用できる。完全な視覚フレームの分析を差分フレームの分析と相関させることによる、トリガー事象の確実な識別の検証は、より正確な結果をもたらして、偽陽性および偽陰性識別の割合を最小限にする。
【0076】
ここで
図12、識別秘匿動き検出および描写装置と共に使用できる音声強化装置500の機能ブロック図を参照する。
【0077】
ビデオと同様、本発明は装置からの音声のストリーミングを防ぐことによって監視される場所および人の識別を秘匿する。
【0078】
それでも、装置500は、外れ(outlying)音声信号を装置500内に格納された格納音声スタンプ565と比較することによって特定の事象を識別するように設計される。かかる格納音声スタンプ565は、他のスタンプの中でとりわけ、転倒の様々な音、ユーザー/複数のユーザーを録音することによっても追加できる、トリガー音および/または語を含み得る。
【0079】
一旦、音声トリガー事象が検出されると、それは、疑義がある場合には、同じ時間のビデオ分析結果と相関されて、偽陰性および偽陽性アラートを最小限にし得る。
【0080】
ここで
図13、本発明のいくつかの実施形態に従った、一方向「ウォーターフォール」データリンク670を備えた識別秘匿動き検出および描写装置600の機能ブロック図を参照する。
【0081】
装置600は、第1のセクション602および第2のセクション604に分割される。第1のセクション602は、ビデオフレームを取得する第1(最初)のフェーズを実行する。第1のセクションのプロセッサ615は、差分フレームを計算する。第1のセクションは、完全な視覚ビデオフレームに関して分析を実行する分析モジュール622を含み得る。差分フレームは、第2のセクション604のソースビデオフレームとして、第2のセクション604のフレームバッファ620′に供給される。差分フレームは、一方向「ウォーターフォール」リンク670を通して供給される。図示されている実施形態では、ウォーターフォールリンク670は、第1のセクション602の単一の送信機672および第2のセクション604の単一の受信機674によって実装される。代替実施形態では、ウォーターフォールリンクは、一方向シリアル接続により、一方向光ファイバーを通して、アナログビデオ(デジタルからアナログへ変換されて、ケーブルを通して送信され、次いで、必要な場合に、デジタル化され、符号化されてブロードキャストされる)として、および/または類似の一方向手段によって実装され得る。
【0082】
第2のセクション604のビデオエンコーダ630は、差分画像をビデオストリーム632として符号化し、要求に応じてそのストリーム632をブロードキャストする。第2のセクション604は更に、完全な視覚ビデオ分析(第1のセクション602の分析モジュール622により)および/または差分画像分析(第2のセクション604の分析モジュール622′により)に従ってアラートを発する。
【0083】
差分フレームは、第2のセクション604に対する第1のセクション602の唯一の視覚出力である。更に、ウォーターフォールリンク670は、一方向であり、外部ネットワーク635は第2のセクション604だけに接続されているので、第1のセクション602はネットワーク635から完全な視覚データに対する外部要求を受信することができない(装置600のウォーターフォールリンク670からの下流部分だけが外部からアクセスされ得る)。従って、ハッカーは完全な視覚データにアクセスして、盗むことはできず、サイバープライバシーがそれによって保護される。
【0084】
好ましい実施形態では、第1のセクション602および第2のセクション604の両方は各々、ビデオバッファ620、620′を含む、独立したメモリおよび独立したプロセッサ615、615′を保有する。
【0085】
いくつかの実施形態では、ビデオエンコーダ630は第2のセクション604の出力ビデオを暗号化し、それによりクライアントのエンドにおいて復号を必要とする。
【0086】
いくつかの実施形態では、第1のセクション602の分析モジュール622は第1の分析モジュール622に接続されて、SDカードまたはUSBなどの、非無線接続を介してソフトウェアアップデートを受信し、それによりネットワークに接続される必要性を除去する。好ましくは、第1のセクションの分析モジュール622は暗号化ファイルを使用する。
【0087】
図13の装置600では、ウォーターフォールリンク670は、差分フレームを搬送する接続に配置される。代替として、または追加として、一方向ウォーターフォールリンクは、ビデオストリーム632および/またはアラート645を外部ネットワーク635に送信する接続に配置され得る。例えば、ビデオエンコーダ630は、外部ネットワーク635に対するWiFi送信機のみを有し、受信機を有していない可能性がある。
【0088】
アラートモジュール645は、例えば、ウォーターフォールリンクを通して、各1つの色が特定の事象と関連付けられている、例えば、16または24色、の1つにおける8×8画素のマクロブロックなどの、着色画素などの埋込みビデオ信号を受信し得る。装置のアラートモジュールだけが恐らく外部装置650(またはそれらのネットワーク)からアクセスできる。アラートを搬送するウォーターフォールから上流の装置の部分は、外部アクセスから分離される。
【0089】
アラートを搬送するウォーターフォールリンクは、例えば、シリアル伝送ケーブルによって実装され得る。
【0090】
【0091】
共通の名前を有する、異なる参照番号で提示される特徴は必ずしも同一ではないことが理解される。
【国際調査報告】