特開 2022-134109 イベントビデオシーケンス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022134109

(43)【公開日】2022-09-14

(54)【発明の名称】イベントビデオシーケンス

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220907BHJP

   G11B 20/10 20060101ALI20220907BHJP

   G11B 27/00 20060101ALI20220907BHJP

【ＦＩ】

H04N5/232 220

H04N5/232 290

H04N5/232 300

G11B20/10 301Z

G11B27/00 A

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022025626

(22)【出願日】2022-02-22

(31)【優先権主張番号】21160211

(32)【優先日】2021-03-02

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】ケスキカンガス， アクセル

(72)【発明者】

【氏名】エドパルム， ヴィクトル

(72)【発明者】

【氏名】ペッターソン， マティアス

【テーマコード（参考）】

5C122

5D044

5D110

【Ｆターム（参考）】

5C122DA11

5C122EA52

5C122FG02

5C122FG13

5C122FG14

5C122FH23

5C122GA24

5C122HA75

5C122HA86

5C122HB01

5D044AB05

5D044AB07

5D044EF02

5D110AA27

5D110AA29

5D110DA01

5D110DA11

(57)【要約】      （修正有）

【課題】イベントトリガー式カメラにおいて電力節約を促進する。
【解決手段】モニタリングカメラ１００において、プレイベント画像フレームは、イベントが起こる時点まで未処理フォーマットで記憶される。プレイベントビデオシーケンスの画像処理を延期することによって、電力節約が達成される。ポストイベントビデオシーケンスでは、処理をより低いクロック周波数で行うことにより、必要とされる総電力を低減する。
【選択図】図２

【特許請求の範囲】

【請求項1】

イベントビデオシーケンスを記録する方法（３００）であって、前記イベントビデオシーケンスは、
－ イベント検出前の所定の期間の間の、モニターされたシーン（２００）を示すプレイベントビデオシーケンス、および、
－ イベント検出時点からの、前記モニターされたシーンを示すポストイベントビデオシーケンス
を含み、
前記方法は、
－ 画像フレームを連続的に取り込む（３０２）ステップと、
－ 新たに取り込まれた画像フレームを、前記新たに取り込まれた画像フレームを前記所定の期間に対応するプレイベント画像フレームのセットに付加することによって、プレイベントバッファ（１１２）内に連続的に記憶する（３０４）ステップと、
－ イベントが検出されることを示す第１の信号（１２０）を受信する（３０８）ステップと、
－ 前記第１の信号を受信すると、
〇新たに取り込まれた画像フレームを前記プレイベントバッファ内に記憶することを中断するステップと、
〇新たに取り込まれた画像フレームを画像処理ユニット（１０６）に給送するステップと、
〇前記画像処理ユニット内で前記新たに取り込まれた画像フレームの画像処理を実施するステップと、
〇処理された前記画像フレームを前記ポストイベントビデオシーケンスとしてメモリ（１０８）内に記憶する（３１０）ステップと、
－ 前記イベントが終了したことを示す第２の信号（１２４）を受信する（３１２）ステップと、
－ 前記第２の信号を受信すると、
〇新たに取り込まれた画像フレームを前記画像処理ユニットに給送することを中断するステップと、
〇画像フレームの前記セットを前記プレイベントバッファから前記画像処理ユニットに給送するステップと、
〇前記画像処理ユニット内で画像フレームの前記セットの画像処理を実施するステップと、
〇画像フレームの処理された前記セットを前記プレイベントビデオシーケンスとして前記メモリ内に記憶する（３１４）ステップと
を含み、
－ 画像処理を実施する前記ステップは、以下：欠陥ピクセル補正、ホワイトバランシング、デモザイシング、マトリクス化、ガンマ補正、鮮鋭化、ノイズフィルタリング、スケーリング、およびエンコーディングのうちの１つまたは複数を含む、方法（３００）。

【請求項2】

新たに取り込まれた画像フレームを記憶すると、前記プレイベントバッファから最も古い画像フレームを連続的に廃棄するステップをさらに含む、請求項１に記載の方法。

【請求項3】

前記第１の信号を受信する前に、前記新たに取り込まれた画像の画像データのサブセットを前記画像処理ユニットに給送することをさらに含む、請求項１に記載の方法。

【請求項4】

画像データの前記サブセットは、前記新たに取り込まれた画像を空間的にサブサンプリングすることによって生成され、それにより、前記新たに取り込まれた画像と比較して低減された解像度を有する画像フレームが前記画像処理ユニットに給送される、請求項３に記載の方法。

【請求項5】

画像データの前記サブセットは、前記新たに取り込まれた画像フレームを時間的にサブサンプリングすることによって生成され、それにより、前記新たに取り込まれた画像のフレームレートと比較して低減されたフレームレートを有する画像フレームのストリームが前記画像処理ユニットに給送される、請求項３または４に記載の方法。

【請求項6】

画像フレームの前記セットを前記プレイベントバッファから前記画像処理ユニットに給送した後、新たに取り込まれた画像フレームを前記プレイベントバッファ内に連続的に記憶することを再開することをさらに含む、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記第１の信号は、前記取り込まれた画像フレームに基づいて、前記モニターされたシーン内のイベントを検出するように配置される画像解析ユニット（１２２）から受信される、請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記第１の信号は、前記モニターされたシーン内のイベントを検出するように配置される外部イベント検出ユニットから受信される、請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記第２の信号は、前記第１の信号がもはや受信されないことに対する応答として生成される、請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記第２の信号は、タイマーが所定の値に達したことに応答して生成され、前記タイマーは前記第１の信号が受信されると開始する、請求項１から９のいずれか一項に記載の方法。

【請求項11】

イベントが検出されることを示す前記第１の信号を受信すると、前記ポストイベントビデオシーケンスの処理された前記画像フレームを受信者にストリーミング配信するステップをさらに含む、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

イベントビデオシーケンスを記録するように構成されるモニタリングカメラ（１００）であって、
前記イベントビデオシーケンスは、
－ イベント検出前の所定の期間の間の、モニターされたシーン（２００）を示すビデオを含むプレイベントビデオシーケンス、および、
－ イベント検出時点からの、前記モニターされたシーンを示すビデオを含むポストイベントビデオシーケンス
を含み、
前記カメラは、
－ 画像フレームを連続的に取り込むように構成されている画像取り込みユニット（１０４）と、
－ 新たに取り込まれた画像フレームを、前記新たに取り込まれた画像フレームを前記所定の期間に対応するプレイベント画像フレームのセットに付加することによって連続的に記憶するように構成されているプレイベントバッファ（１１２）と、
－ イベントが検出されることを示す第１の信号（１２０）および前記イベントが終了したことを示す第２の信号（１２３４）を受信するように構成されているイベントユニット（１１８）と、
－ 画像フレームを処理するように構成されている画像処理ユニット（１０６）と、
－ 処理された画像フレームを記憶するように構成されているメモリ（１０８）と
を備え、
前記第１の信号を受信すると、
－ 前記カメラは、新たに取り込まれた画像フレームを前記プレイベントバッファ内に記憶することを中断し、新たに取り込まれた画像を前記画像処理ユニットに給送するように構成され、
－ 前記画像処理ユニットは、前記新たに取り込まれた画像フレームの画像処理を実施し、前記処理された画像を前記ポストイベントビデオシーケンスとして前記メモリ内に記憶するように構成され、
前記第２の信号を受信すると、
－ 前記カメラは、新たに取り込まれた画像フレームを前記画像処理ユニットに給送することを中断するように構成され、
－ 前記カメラは、画像フレームの前記セットを前記プレイベントバッファから前記画像処理ユニットに給送するように構成され、
－ 前記画像処理ユニットは、画像フレームの前記セットの画像処理を実施するように構成され、
－ 前記カメラは、画像フレームの処理された前記セットを前記プレイベントビデオシーケンスとして前記メモリ内に記憶するように構成され、
画像処理は、以下：欠陥ピクセル補正、ホワイトバランシング、デモザイシング、マトリクス化、ガンマ補正、鮮鋭化、ノイズフィルタリング、スケーリング、およびエンコーディングのうちの１つまたは複数を含む、モニタリングカメラ（１００）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イベント始動式ビデオシーケンスを取り込み処理することに関する。

【背景技術】

【0002】

監視カメラまたはモニタリングカメラ等のビデオカメラは、多くの異なる用途（室内と室外の両方）で現在使用されている。より大きい画像センサおよび他の技術的進歩が、そのようなカメラからのビデオの画像品質を大幅に向上させたが、同時に、ビデオストリームサイズ、換言すれば、ビットレートも増加した。記憶容量およびネットワーク帯域幅は共に制限された資源であるため、全てのビデオではなく、イベントによって始動またはトリガーされるビデオのみを記憶またはストリーミング配信することが一般的な対策である。

【0003】

用語、イベントは、本明細書でその最も広い意味で使用され、したがって、イベントは、ビデオドキュメンテーションについての必要性を正当化することができる任意のものであるとすることができ、その用語は、ドアが強制的に開放されると、防犯警報（ｂｕｒｇｌａｒ ａｌａｒｍ）が鳴ることから、患者の家庭におけるケア専門家の訪問までの任意のものを包含することができる。

【0004】

しばしば、イベントが開始する時点からビデオを利用可能にするだけでなく、イベントが開始する直前の期間の間、モニターされたエリアまたはシーンを示すビデオを記録することもまた興味を引く。これは、最近の時間間隔のビデオが連続的に記録される、いわゆるプレイベントバッファの使用によって一般に解決される。イベントが開始すると、プレイベントバッファに記録されたビデオが取り出され、イベントを示すビデオクリップ内に含まれる。本出願の出願人による米国特許第８６７６０２７号は、カメラ内のそのようなプレイベントバッファに関連する方法を開示する。

【0005】

モニタリングカメラは、種々の場所に搭載することができ、しばしば、電力を供給する１つのケーブル接続および別のネットワークアクセスを有する、または、パワーオーバーイーサネット、ＰｏＥ（：ｐｏｗｅｒ ｏｖｅｒ ｅｔｈｅｒｎｅｔ）の場合、１つの接続によってこれらの両方を有する。しかしながら、最近、しばしば身体装着式カメラと呼ばれる装着可能カメラ、ＢＷＣ（：ｂｏｄｙ ｗｏｒｎ ｃａｍｅｒａ）が、人気の高まりを見てきた。装着可能カメラは、例えば、パトロールおよび事件の間にビデオおよび他のデータを取り込むために警察官または警備員によって使用される。そのようなカメラは、典型的には、電池駆動式である。これは、装着可能カメラの場合に入手可能な電力が、固定位置に搭載されるカメラの場合に比べてずっと大幅に制限されることを意味する。したがって、ケーブル接続式カメラ、例えば、建物に搭載されるカメラにおいて使用されるときに完全に有効である手段および対策は、ＢＷＣでは問題となる場合がある。なぜならば、電力消費に対するずっと大きい注目が必要とされるからである。１つの難題は、イベント始動式記録のエリアにあり、プレイベントバッファの使用は、カメラがビデオを絶えず記録することを必要とする。これは、電池を急速に消耗させる場合があり、したがって、このエリアにおける改善が重要である。

【発明の概要】

【0006】

本発明の目的は、イベントトリガー式ビデオに関連するカメラにおいて電力節約を促進することである。

【0007】

第１の態様によれば、イベントビデオシーケンスを記録する方法が提示され、イベントビデオシーケンスは、
－ イベント検出前の所定の期間の間の、モニターされたシーンを示すビデオを含むプレイベントビデオシーケンス、および、
－ イベント検出時点からの、モニターされたシーンを示すビデオを含むポストイベントビデオシーケンス
を含み、
方法は、
－ 画像フレームを連続的に取り込むステップと、
－ 新たに取り込まれた画像フレームを所定の期間に対応するプレイベント画像フレームのセットに付加することによって、新たに取り込まれた画像フレームを、プレイベントバッファ内に連続的に記憶するステップと、
－ イベントが検出されることを示す第１の信号を受信するステップと、
－ 第１の信号を受信すると、
〇新たに取り込まれた画像フレームをプレイベントバッファ内に記憶することを中断するステップと、
〇新たに取り込まれた画像フレームを画像処理ユニットに給送するステップと、
〇画像処理ユニット内で新たに取り込まれた画像フレームの画像処理を実施するステップと、
〇処理された画像フレームをポストイベントビデオシーケンスとしてメモリ内に記憶するステップと、
－ イベントが終了したことを示す第２の信号を受信するステップと、
－ 第２の信号を受信すると、
〇新たに取り込まれた画像フレームを画像処理ユニットに給送することを中断するステップと、
〇画像フレームのセットをプレイベントバッファから画像処理ユニットに給送するステップと、
〇画像処理ユニット内で画像フレームのセットの画像処理を実施するステップと、
〇画像フレームの処理されたセットをプレイベントビデオシーケンスとしてメモリ内に記憶するステップと
を含む。

【0008】

プレイベントバッファ内の画像フレームのセットを、画像処理ユニット内で予め処理することなくプレイベントバッファ内に記憶することによって、必要とされるときにプレイベントビデオシーケンスが作り出されることを依然として可能にしながら、イベントが起こらない期間中にカメラによって消費される電力の実質的な低減を達成することが可能であり、第１の信号が受信される時点に至る期間内で起こる操作に対する貴重な洞察を提供する。プレイベント画像フレームのセットの処理よりポストイベントビデオシーケンスの処理を優先することによって、リアルタイムにまたはほぼリアルタイムにユーザーによって閲覧される、カメラからのイベントビデオシーケンスのポストイベント部分をストリーミング配信することが可能である。第１の信号に至る制限された期間の間のシーンを示す、プレイベントビデオシーケンスは、その後、第２の信号が受信され、イベントが終了するとすぐに処理され、その直後に閲覧することができる。

【0009】

電池によって駆動されるカメラにおいて、プレイベントビデオシーケンスを形成する画像のセットの画像処理を、それが実際に必要とされる時点まで延期することは、電池電力を不必要に消耗させることを防止する。そのため、電池は、より長持ちすることになり、カメラは、再充電される必要なく、より長い期間の間、使用される可能性がある。方法はまた、カメラであって、総消費電力量（ｐｏｗｅｒ ｄｒａｗ）が、他の理由で、例えば、カメラがパワーオーバーイーサネットＰｏＥ接続から駆動されるとき、一定限度内に維持される必要があり、また、所定の電力クラス内に留まる必要がある、カメラにおいて有用であることになる。考えられる不利益は、画像フレームが、処理された、特に、エンコードされたフォーマットの場合に比べて、未処理の（生の）フォーマットの場合により多くの空間を占めるため、より大きいプレイベントバッファが必要とされることであるが、電力消費低減が非常に重要である状況において、この方法は魅力的な選択肢であることになる。

【0010】

処理およびメモリ内への画像の後続の記憶を延期する別の効果は、メモリに対して実施されるより少ない読み出し／書き込み操作が存在することになり、それが、次に、メモリの寿命を延ばすことになることである。

【0011】

さらに、処理を延期することは、プレイベントバッファからの画像フレームの処理をフルフレームレートで実施することが必要でない場合がある、すなわち、各画像フレームの処理が、より長くかかることを許容することができることを意味する。これは、より多くの処理パワーを付加することなく、より高度な画像処理およびエンコーディングアルゴリズムを利用することを可能にすることができる。処理がフルフレームレートより遅いレートで行われることを可能にすることはまた、処理をより低いクロック周波数で行うことができることを意味し、それは、必要とされる総電力を低減する。

【0012】

方法は、新たに取り込まれた画像フレームを記憶すると、プレイベントバッファから最も古い画像フレームを連続的に廃棄するステップをさらに含むことができる、または換言すれば、サーキュラーバッファ（先入れ先出し、ＦＩＦＯ（：ｆｉｒｓｔ－ｉｎ－ｆｉｒｓｔ－ｏｕｔ））メモリは、プレイベントバッファのために使用することができる。これは、考えられるプレイベントビデオシーケンスを構成する画像フレームの未処理セットを記憶するための効率的な選択肢を提供する。

【0013】

方法は、第１の信号を受信する前に、新たに取り込まれた画像の画像データのサブセットを画像処理ユニットに給送することをさらに含むことができる。画像データのこのサブセットは、例えば、カメラを保持する人によるシーンへの訪問全体の間、シーンの全体的外観を与えるために遠隔ユーザーにストリーミング配信するために使用することができる。画像データのサブセットは、付加的にまたは代替法として、後で使用されるためにメモリ内に記憶することができる。

【0014】

画像データのサブセットは、新たに取り込まれた画像を空間的にサブサンプリングすることによって生成することができ、それにより、新たに取り込まれた画像と比較して低減された解像度を有する画像フレームが画像処理ユニットに給送され、さらにまたは代替法として、画像データのサブセットは、新たに取り込まれた画像フレームを時間的にサブサンプリングすることによって生成することができ、それにより、新たに取り込まれた画像フレームのフレームレートと比較して低減されたフレームレートを有する画像フレームのストリームが画像処理ユニットに給送される。両方の代替法は、シーンの全体的外観を依然として可能にしながら、非常に制限された量の画像データのみを有するサブセットであって、主要な電力使用を引き起こすことなく画像処理において処理することができる、サブセットを作成する手段を提供する。

【0015】

新たに取り込まれた画像フレームをプレイベントバッファ内に記憶するステップは、画像フレームを圧縮することを含むことができる。こうして、画像フレームの未処理セットのより効率的な記憶が達成され、プレイベントバッファに記憶される同じ量の画像フレームのために、より小さいプレイベントバッファが使用されることを可能にする。このステップで使用される圧縮は、ランレングスエンコーディングまたはｊｐｇエンコーディング等の電力効率的な圧縮であることになり、画像フレームのサイズを実質的に低減しながら、カメラによって消費される電力を増加させないことになる。

【0016】

方法は、画像フレームのセットをプレイベントバッファから画像処理ユニットに給送した後、新たに取り込まれた画像フレームをプレイベントバッファ内に連続的に記憶することを再開することをさらに含むことができる。こうして、画像フレームの新しいセットが利用可能になることになり、それは、次に、新たなプレイベントビデオシーケンスの基礎を形成することができる。

【0017】

画像処理を実施するステップは、以下：欠陥ピクセル補正、ホワイトバランシング、デモザイシング、マトリクス化、ガンマ補正、鮮鋭化、ノイズフィルタリング、スケーリング、およびエンコーディングのうちの１つまたは複数を含むことができる。

【0018】

画像エンコーディングを、イベントが起こる時点まで延期することは、イントラコード化フレーム（Ｉフレーム）を用いてプレイベントビデオシーケンスおよびポストイベントビデオシーケンスを共に開始することが可能であることになり、それが、次に、イベントビデオシーケンスをデコードし閲覧することをずっと好都合にすることになることを意味する。プレイベントビデオシーケンスが連続的にエンコードされる従来技術の解決策において、イベントビデオシーケンスの開始時にＩフレームがエンコードされていることになることを保証するようにエンコーディングを制御する機会が少なく、従来技術のイベントビデオシーケンスを閲覧するとき、エンコードされたグループオブピクチャ（ＧＯＰ：ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）の開始まで戻る必要性が存在することになり、それは、イベントビデオをデコードし閲覧するときに、時として１分程度になる場合がある。本方法において、Ｉフレームを用いてプレイベントビデオシーケンスのエンコーディングを開始することが可能であるため、ちょうどイベントビデオシーケンスの開始時にデコードし閲覧することを開始することが可能であることになる。

【0019】

第１の信号は、取り込まれた画像フレームに基づいて、モニターされたシーン内のイベントを検出するように配置される画像解析ユニットから受信することができる。そのような画像解析ユニットによって使用されるプロセスの例は、ビデオ動き検出、オブジェクト識別、前景－背景区分化、および、何らかのタイプの関心イベントがシーン内で起こっていることをビデオ画像に基づいて判定するための他の方法である。

【0020】

さらにまたは代替法として、第１の信号は、モニターされたシーン内のイベントを検出するように配置される外部イベント検出ユニットから受信することができる。用語、外部は、カメラの外部にある、または、カメラと独立に働いている、または、カメラから物理的にまたは論理的に分離されている等、カメラから分離されているとして解釈されるべきである。そのような外部イベント検出ユニットは、武器がホルスターから抜かれたことを検出するためのセンサ、または、例えば、カメラを保持する人が、落ちた、押された、または走り始めたことを検知する動きセンサを含むことができる。外部イベント検出ユニットはまた、カメラがビデオを記録する必要があるエリアにカメラが入ったことを示すために、ｇｐｓ信号を受信するため等の、何らかの種類の位置測定センサを含むことができる。外部イベント検出ユニットによって検出されることができるイベントの他の例は、ｇｐｓ接続の変化あるいはｗｉｆｉネットワークまたはセルラーネットワークに対する接続等の通信ネットワークに対する接続の変化である。

【0021】

外部イベント検出ユニットはまた、ＰＩＲセンサ等のシーン内の動きまたはオブジェクトを検知することができるセンサ、レーダー、またはライダーを含むことができる。いくつかの場合には、外部イベント検出ユニットはまた、別のカメラであるとすることができる。他のカメラは、カメラ自体と同じタイプである、または、完全に別の構成を有することができる。一例として、本明細書で提示される方法を使用するカメラが身体装着式カメラである場合、他のカメラは別の同様の身体装着式カメラであるとすることができる、あるいは、他のカメラは、サーマルカメラまたは視覚カメラ等のシーンの監視のために搭載されたモニタリングカメラであるとすることができる。このカメラは、第１の信号を、近接している任意の身体装着式カメラに送信することができる。

【0022】

別の選択肢として、シーンからの音声または音、例えば、発砲の音または大きい悲鳴が解析されて、ビデオ記録を正当化するイベントが起こっているという指示を見出すことができる。

【0023】

第２の信号は、第１の信号がもはや受信されないことに対する応答として生成することができる。これは、例えば、カメラを装着する人が走っていることを示す動きセンサから第１の信号が受信されるときに当てはまる場合があり、センサは、人が走るのを止めたことを示す。

【0024】

さらにまたは代替法として、第２の信号は、タイマーが所定の値に達したことに応答して生成することができ、タイマーは第１の信号が受信されると開始する。これは、ビデオ上に記録される必要がある任意のイベントが、所定の値より短い継続時間を有することになることを確実に想定することができる状況で有用であるとすることができる。第２の信号は、第１の信号を生成するために使用されたセンサのうちの任意のセンサからの何らかの種類のデータまたはそのようなデータの欠如に基づいて外部イベント検出ユニットによって生成することができる。

【0025】

方法は、イベントが検出されることを示す第１の信号を受信すると、ポストイベントビデオシーケンスの処理された画像フレームを受信者にストリーミング配信するステップをさらに含むことができる。こうして、セキュリティオペレータ等の第三者は、シーン内でイベントが起こっていることを即座に通知されることができ、シーン内にいる要員にバックアップを送信すること等、適切な処置をとることができる。ビデオは、例えば、携帯電話ネットワークまたは他のタイプの無線ネットワークを介して遠隔サーバにストリーミング配信することができる。セキュリティオペレータは、遠隔サーバに接続されているビデオ管理システムによって、ストリーミング配信された画像を閲覧することができる。

【0026】

本発明の第２の態様によれば、イベントビデオシーケンスを記録するように構成されるモニタリングカメラが提供され、
イベントビデオシーケンスは、
－ イベント検出前の所定の期間の間の、モニターされたシーンを示すビデオを含むプレイベントビデオシーケンス、および、
－ イベント検出時点からの、モニターされたシーンを示すビデオを含むポストイベントビデオシーケンス
を含み、
カメラは、
－ 画像フレームを連続的に取り込むように構成される画像取り込みユニットと、
－ 新たに取り込まれた画像フレームを所定の期間に対応するプレイベント画像フレームのセットに付加することによって、新たに取り込まれた画像フレームを連続的に記憶するように構成されるプレイベントバッファと、
－ イベントが検出されることを示す第１の信号およびイベントが終了したことを示す第２の信号を受信するように構成されるイベントユニットと、
－ 画像フレームを処理するように構成される画像処理ユニットと、
－ 処理された画像フレームを記憶するように構成されるメモリと
を備え、
第１の信号を受信すると、
－ カメラは、新たに取り込まれた画像フレームをプレイベントバッファ内に記憶することを中断し、新たに取り込まれた画像を画像処理ユニットに給送するように構成され、
－ 画像処理ユニットは、新たに取り込まれた画像フレームの画像処理を実施し、処理された画像をポストイベントビデオシーケンスとしてメモリ内に記憶するように構成され、
第２の信号を受信すると、
－ カメラは、新たに取り込まれた画像フレームを画像処理ユニットに給送することを中断するように構成され、
－ カメラは、画像フレームのセットをプレイベントバッファから画像処理ユニットに給送するように構成され、
－ 画像処理ユニットは、画像フレームのセットの画像処理を実施するように構成され、
－ カメラは、画像フレームの処理されたセットをプレイベントビデオシーケンスとしてメモリ内に記憶するように構成される。

【0027】

第１の態様による方法の上記で述べた特徴は、適用可能であるとき、この第２の態様にも適用される。不当な反復を回避するため、上記に対して参照が行われる。

【0028】

本発明の適用性のさらなる範囲は、以下で示す詳細な説明から明らかになるであろう。しかしながら、本発明の範囲内の種々の変更および修正が、この詳細な説明から当業者に明らかになるため、詳細な説明および特定の例が、本発明の好ましい実施形態を示しながら、例証としてのみ示されることが理解されるべきである。

【0029】

したがって、本発明が、説明するデバイスの特定のコンポーネント部品または説明する方法の特定の作用に限定されず、なぜならば、そのようなデバイスおよび方法が変動する場合があるからであることが理解される。本明細書で使用される用語が特定の実施形態を説明するためのものに過ぎず、制限的であることを意図されないことも理解される。本明細書および添付特許請求の範囲で使用するとき、冠詞「１つの（ａ）」、「１つの（ａｎ）」、「その（ｔｈｅ）」、および「前記（ｓａｉｄ）」が、別段に文脈が明確に指示しない限り、要素の１つまたは複数が存在することを意味することを意図されることが留意されなければならない。そのため、例えば、「１つのユニット（ａ ｕｎｉｔ）」または「そのユニット（ｔｈｅ ｕｎｉｔ）」に対する参照は、幾つかのデバイスおよび同様なものを含むことができる。さらに、言い回し「備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｎｔａｉｎｉｎｇ）」、および同様の言い回しは、他の要素またはステップを排除しない。

【0030】

本発明は、ここで、現在のところ好ましい本発明の実施形態が示される添付図面を参照して以降でより完全に説明されるであろう。しかしながら、本発明は、多くの異なる形態で具現化することができ、本明細書で述べる実施形態に限定されるものと解釈されるべきでない；むしろ、これらの実施形態は、徹底さおよび完全さ（ｔｈｏｒｏｕｇｈｎｅｓｓ ａｎｄ ｃｏｍｐｌｅｔｅｎｅｓｓ）のために、また、本発明の範囲を当業者に完全に伝えるために提供される。

【図面の簡単な説明】

【0031】

【図1】カメラを示す図である。

【図2】図１のカメラが使用される状況を示す図である。

【図3】本発明の実施形態による方法を示すフローチャートである。

【発明を実施するための形態】

【0032】

図１は、装着可能または身体装着式カメラ、ＢＷＣ、１００等のカメラを示す。カメラ１００は、それ自体一般に知られているように、光学部品１０２および画像取り込みユニット１０４を有する。

【0033】

図１を参照すると、カメラ１００はまた、画像処理ユニット１０６および処理された画像を記憶するためのメモリ１０８を含む。メモリ１０８は、ＳＤカードまたはフラッシュメモリの形態で設けることができる。本出願の文脈において、用語、画像処理は、多種多様の操作を包含することができ、幾つかの例は、欠陥ピクセル補正、ホワイトバランシング、デモザイシング、マトリクス化、ガンマ補正、鮮鋭化、ノイズフィルタリング、スケーリング、およびエンコーディングである。

【0034】

カメラはまた、画像取り込みユニット１０４から受信されるプレイベント画像フレームのセットを記憶するように構成されるプレイベントバッファ１１２を含む。プレイベントバッファは、ＲＡＭ、ＤＲＡＭ、またはＳＲＡＭメモリ等の一次記憶のために適合されたメモリの形態で設けることができる。

【0035】

一般に、プレイベントバッファ１１２は、サーキュラーバッファまたは先入れ先出しＦＩＦＯバッファとして構成され、そこでは、画像取り込みユニット１０４からプレイベントバッファ１１２に給送された新たに取り込まれた画像は、プレイベントバッファ１１２内に既に記憶された最も古い画像を置換することになる。しかしながら、プレイベントバッファ１１２の他の構成も可能であるであろう。プレイベントバッファから廃棄すべきであるのがどの画像かの選択において、さらなる改良を行うこともできる。一例として、ＨＤＲ／ＷＤＲビデオが取り込まれる状況において、全ての長い露出または全ての短い露出の画像を廃棄することに決めることが可能であるであろう。プレイベントビデオシーケンスを作り出すときに、例えば、より低いフレームレートを伴うより長い期間が有用である考えられることになる場合、全ての第２の画像または全ての第３の画像等を廃棄することも可能であるであろう。

【0036】

プレイベントバッファ１１２は、画像処理ユニット１０６の上流に配置される。したがって、プレイベントバッファ１１２内に記憶されるプレイベント画像フレームのセットは、画像処理ユニット１０６によって処理されておらず、それは、そのセットが、プレイベントビデオシーケンスを作り出すための従来技術の解決策において当てはまるように、画像処理ユニット１０６によって処理された後にそうである大きさよりも典型的には大きいことを意味する。しかしながら、本発明者等が認識したように、電力を節約することが非常に重要である状況において、画像取り込みユニット１０４からの生のまたはほぼ生の画像フレームのセットの記憶を可能にするため、プレイベントバッファ１１２により多くの記憶空間を付加することは、プレイベントビデオシーケンスを必要とするイベントの欠如によって後で廃棄される場合がある画像データを不必要に処理することに電力を費やすことに比べて、よりよい。

【0037】

任意選択で、過剰量の電力を消費せずかつ取り込まれた画像フレームのサイズをほぼ１０倍だけ減少させることが依然としてできる、例えば、専用ハードウェアブロックを使用する損失なしランレングスエンコーディング、または、例えば４×４または８×８ブロックを用いるｊｐｅｇ圧縮の形態等の、圧縮ユニット１１４における単純な圧縮は、プレイベントバッファ１１２内に記憶する前に画像フレームに対して実施することができる。選択される圧縮法は、通常、画像間の時間依存性を回避するタイプである。同じ量の画像を記憶するためにより小さいプレイベントバッファを使用することができる。

【0038】

さらにまたは代替法として、画像フレームをプレイベントバッファ１１２内に記憶する前に、非常に少ない電力を消費する処理ステップを用いて、制限された画像処理を実施することが可能である。これは、そのようなステップを画像処理ユニット１０６から別個の初期画像処理ユニット１１６内に移動させることとして示され、プレイベントバッファ１１２内に記憶される前にプレイベント画像フレームが初期画像処理ユニット１１６で処理されることを可能にすることができる。別個のユニットとしてこれを示すことが、単に例証のためであり、また、以下で例示される処理ステップのみを実施した後に、プレイベントバッファ１１２に画像を給送する出力を有する画像処理ユニット１０６として示すこともできることが留意される場合がある。

【0039】

プレイベントバッファ１１２内に記憶する前に初期画像処理ユニット１１６によって実施することができるステップの例は、欠陥ピクセル補正およびデモザイシングであり、後者は、色補間または再構成とも呼ばれる、すなわち、画像をベイヤー値からＲＧＢ値に変換するプロセス。初期画像処理ユニット１１６内でこれらのステップを実施する理由は、これらのステップが制限された量の電力を消費すること、および、これらのステップが画像処理の開始時に実施されるからである。

【0040】

さらに、ベイヤーからＲＧＢへの変換は、平滑さの増加をもたらし、それは、次に、画像をより容易に圧縮可能にし、それにより、任意選択の圧縮ユニット１１４が、画像サイズの低減を増大させることを可能にし、それは、次に、プレイベント画像フレームのセットを記憶するためにより小さいプレイベントバッファ１１２の使用を可能にする、または、そのように所望される場合、多数のプレイベント画像フレームのプレイベントバッファ１１２内への記憶を可能にすることになる。

【0041】

しかしながら、おそらくは興味を引かなくなりかつ廃棄されることになる画像を処理することに対してできる限り少ない電力を消費するために、プレイベントバッファ１１２内に大部分が未処理のまたは生のフォーマットでプレイベント画像フレームが記憶されることに留意することが重要である。カメラ１００がシーンのビデオを連続的に取り込んでいるが、画像が画像処理ユニット１０６およびメモリ１０８に給送されないことが留意されるべきである。取り込まれた画像フレームは、上記で説明したように、通常、一時的にプレイベントバッファ１１２内に記憶されるだけである。

【0042】

したがって、画像フレームは、カメラ１００によるビデオの記録を必要とするイベントが起こる時点まで、画像処理ユニット１０６に送信されない。しかしながら、本テキストにおいて以下でさらに詳細に論じるように、画像取り込みユニット１０４からの画像データのサブセットが、イベントが起こっていない期間中にも画像処理ユニット１０６に給送される場合が存在する場合がある。

【0043】

図２において、カメラ１００が使用中である典型的な状況が示される。カメラ１００は、シーン２００をモニターするために使用され、人２０２によって装着される。シーン２００において、種々の活動が起こる場合があり、或る時点で、人２０２は、ビデオ記録が開始することを必要とするイベントが起こっていると判定することができる。

【0044】

人２０２は、その後、ビデオの記録が開始されることを可能にするため、カメラ１００上に設けられたスイッチを作動させるまたはボタン２０４を押すことになる。ボタン２０４が押されると、第１の信号１２０が、カメラ１００内に設けられたイベントユニット１１８に送信される。ボタン２０４を押すことは、幾つかの例のうちの１つであり、外部イベント検出ユニットは、カメラ１００に、またはより正確には、イベントユニット１１８に、ビデオ記録を必要とするイベントが、起こった、開始した、または起こっていることを合図する。

【0045】

そのような外部イベント検出ユニットおよび第１の信号１２０の原因となる場合がある検出されるイベントの他の例は、典型的には、カメラ１００が警察官によって保持される状況において、武器がホルスターから取り出されたことを合図する圧力センサまたは動きセンサ、あるいは、カメラ１００を保持する人が一定の方法で移動していることを示す一定のタイプの動きが起こっていることを合図する加速度計またはジャイロを備えるセンサを含む。これの一例は、落下が起こったこと、例えば、カメラ（および人）が垂直位置（起立）から水平位置（横たわる）まで動いたことを示す動きである。別の例は、カメラを保持する人が押される（ｐｕｓｈ）または押しやられる（ｓｈｏｖｅ）ことを示す動きをセンサが検出することである。

【0046】

第１の信号１２０をイベントユニット１１８に提供するために使用することができる外部イベント検出ユニットの別の例は、シーン内の動きを検出する動き検出器である。シーン内の動きを検出する動き検出器は、ＰＩＲセンサ、被写界深度センサ、レーザー、レーダー、またはシーン内の動きを検知することができる別のタイプのデバイスであるとすることができる。シーンのより高度な解析を実施することもでき、その解析は、閾値より小さい動き、反復する動き、または、例えば揺れる木を含むことがわかっている一定のシーンエリアからの動きを無視する可能性を与えることができる。これらの全ては、外部イベント検出ユニットが第１の信号１２０をイベントユニット１１８に送信するようにさせることができる例である。

【0047】

第１の信号を生成する外部イベント検出ユニットの別の例は、イベントが起こっていることを示す発砲音または悲鳴等の、シーン内の音または音声を取り込み解析し、その後、それに応答して第１の信号１２０を送信するように構成される音声解析ユニットであるであろう。

【0048】

外部イベント検出ユニットの別の例は、ＧＰＳ信号、または、カメラが、ビデオを記録する必要がある位置またはエリアに達したと判定する何らかの他の位置測定信号を使用する位置決定ユニットである。そのような判定に応答して、外部イベント検出ユニットは、第１の信号１２０をイベントユニット１１８に送信する。ｇｐｓネットワークまたは別のタイプの位置測定ネットワークに対する変更された接続状態はまた、第１の信号１２０を送信させることができる。

【0049】

外部イベント検出ユニットによって検出され、第１の信号１２０をイベントユニット１１８に送信させることができるイベントの他の例は、ｗｉｆｉネットワークまたは携帯電話ネットワークに対する接続等の通信ネットワークに対する接続の変更である。

【0050】

第１の信号がどのように達成されることができるかについてのさらに他の例は、取り込まれた画像フレームを解析する画像解析ユニット１２２を使用して、一定の特徴を有する動きまたは一定の所定の基準を満たすオブジェクト等のシーン内の特定のコンテンツを見出すことである。

【0051】

イベントユニット１１８が第１の信号１２０を受信すると、画像取り込みユニット１０４は、プレイベントバッファ１１２に対する画像フレームの給送を停止することになり、新たに取り込まれた画像フレームは、代わりに、画像取り込みユニットから、画像フレームの画像処理を実施する画像処理ユニット１０６に給送されることになる。画像処理ユニット１０６からの処理された画像フレームは、ポストイベントビデオシーケンスとしてメモリ１０８内に記憶される。

【0052】

第１の信号がイベントユニット１１８によって受信された後の或る時点で、第２の信号１２４がイベントユニット１１８によって受信されることになる。第２の信号１２４は、ビデオ記録を必要とするイベントが停止した、または、或る場合には、停止した可能性が高いことを示す。第２の信号は、ビデオ記録を停止することができることを示すために、人２０２がボタン２０４を再度押すことによって生成することができる。第２のボタンはまた、第２の信号を生成するためにカメラ１００上に設けることができる。

【0053】

第２の信号１２４を生成するための別の選択肢は、タイマーからのものであり、タイマーは、第１の信号１２０が受信されると開始し、予め規定された時間が経過した後にまたは外部イベント検出ユニットに含まれるセンサからの入力後にまたはその入力の喪失後に、第２の信号１２４を生成する。例えば、第２の信号１２４は、武器がホルスター内に再挿入されることを示すセンサまたは動きが停止したことを示すセンサによって生成することができる。さらに、第１の信号が生成されるときと同じように、画像フレームが、画像解析ユニット１２２によって解析されて、ビデオ記録をトリガーしたイベントが今や停止したと判定し、第２の信号の生成をトリガーすることができる。

【0054】

他のタイプの入力はまた、第２の信号を生成するために使用することができる。そのような入力は、例えば、カメラを保持する人が一定のエリアまたは位置を出たこと、音が止んだこと、あるいはシーン内の動きが停止したまたはオブジェクトがシーンを出たことを示すセンサからのものである。

【0055】

上記で論じたように、第１の信号１２０が生成される前でも、何が起こったかを理解する必要性がしばしば存在する、すなわち、プレイベントビデオシーケンスが必要とされる。したがって、第２の信号１２４の受信時に、画像取り込みユニット１０４から画像処理ユニット１０６への画像フレームの給送は停止されることになり、代わりに、画像処理ユニット１０６が画像取り込みユニット１０４からの画像フレームを受信していた間にプレイベントバッファ１１２で待機していた画像フレームのセットは、ここで画像処理ユニット１０６に給送されることになる。そこで、画像のセットは処理されることになり、その後、処理された画像のセットは、メモリ１０８内に前もって記憶されたポストイベントビデオシーケンスに対してプレイベントビデオシーケンスとしてメモリ１０８に付加されることになる。さらに、画像取り込みユニット１０４は、今や、画像を受信することを再び開始する準備ができているプレイベントバッファ１１２に対して、新たに取り込まれた画像の給送を再開することになる。

【0056】

プレイベントバッファからの画像フレームのセットをフルフレームレートより遅いレートで処理することができる、すなわち、ライブビデオを処理するときに許容されるよりも多くの時間が各画像フレームを処理するために使用することができることが留意される場合がある。こうして、より高度な画像処理を使用することができる、または、画像処理ユニット１０６は、例えば、より低いクロック周波数で実行するように設定されることによって、各画像フレームを処理するためにより少ない電力を使用するように設定することができる。画像フレームのセットをフルフレームレートより遅いレートで処理することは、好都合には、より大きいプレイベントバッファを使用することと組み合わされて、画像フレームのセットが処理されている間に、考えられる新たなプレイベント画像フレームの記憶を可能にする。

【0057】

図３において、イベントビデオシーケンスを記録する方法３００が示される。ステップ３０２にて、画像フレームは画像取り込みユニット１０４によって取り込まれる。任意選択のステップ３０４にて、画像フレームは、ステップ３０６にてプレイベントバッファ１１２内に記憶される前に圧縮される。或る時点で、イベントが起こることを示す第１の信号１２０は、ステップ３０８にて受信される。画像取り込みユニット１０４は、その後、記憶のためにプレイベントバッファ１１２に画像フレームを送信することを停止し、画像フレームは、代わりに、処理されるために画像処理ユニット１０６にそして記憶のためにメモリ１０８に送信されて、ステップ３１０にて、ポストイベントビデオシーケンスを作り出す。

【0058】

このステップにおける任意選択の対策として、処理された画像はまた、第１の信号１２０の受信後にカメラ１００が取り込むビデオに対する即座のアクセスを、ログインしたオペレータにサーバが提供する形態で、遠隔受信者にストリーミング配信されることができて、オペレータは、カメラ１００を保持する人２０２にヘルプを送信すること等の操作が必要とされるか否かを判定する。

【0059】

ステップ３１２にて、イベントの終了を示す第２の信号１２４が受信される。プレイベントビデオシーケンスは、その後、プレイベントバッファ１１２内に記憶された画像フレームのセットを、処理するために画像処理ユニット１０６に給送することによって、そして、処理された画像のセットを、プレイベントビデオシーケンスとして記憶するためにメモリ１０８に給送することによって、ステップ３１４にて作り出される。画像フレームが、プレイベントバッファ１１２内に記憶されることに関連して圧縮された場合、画像処理ユニット１０６における処理に先立って、適切な復元が実施される。ポストイベントビデオシーケンスおよびプレイベントビデオシーケンスは共に、ステップ３１６にてイベントビデオシーケンスを形成し、イベントビデオシーケンスはメモリ１０８内に記憶される。

【0060】

ステップ３０２が、カメラの動作中に連続的に起こり、例証のために第１のステップとして提示されるだけであることが留意されるべきである。同様に、第２の信号の受信時に、プレイベントバッファ１１２のコンテンツが画像処理ユニットに給送されると、画像取り込みユニット１０４は、画像フレームをプレイベントバッファ１１２にもう一度給送することになり、プレイベントバッファ１１２は、画像の任意選択の圧縮後に、次のイベントが起こることおよび新しいプレイベントビデオシーケンスが作り出されることに備えて画像フレームの新しいセットとして画像フレームを記憶することになる。

【0061】

上記で述べたように、本テキストで提示される解決策の変形において、画像データのサブセットは、画像フレームがプレイベントバッファ１１２に給送される期間、すなわち、イベントが起こることが示されなかった期間の間、画像取り込みユニット１０４から画像処理ユニット１０６に給送されることができる。画像データのこのサブセットは、例えば、カメラ１００からストリーミング配信するために使用することができる。画像データのサブセットは、より低い解像度の画像フレームを提供するため、取り込まれた画像フレームを空間的にサブサンプリングすることによって、または、低減されたフレームレートを提供するため、取り込まれた画像フレームを時間的にサブサンプリングすることによって、または両方によって提供される。画像データの処理されたサブセットはまた、メモリ１０８内に記憶され、イベントビデオシーケンスを作り出すときに使用することができる。

【0062】

画像データの処理されたサブセットの記憶は、画像がプレイベントバッファ１１２内にどのように記憶されるか、すなわち、一定期間が経過した後または一定量の新しい画像がメモリに付加された後に古い画像をどのように廃棄することができるかと同様の方式で行うことができる。カメラは、ストリーミング配信のために使用される時間的にまたは空間的にサブサンプリングされた画像データに含まれていなかった画像データのみを画像取り込みユニット１０４からプレイベントバッファ１１２に給送するようにセットアップすることができる。プレイベントビデオシーケンスが作り出されると、画像処理ユニット１０６は、その後、プレイベントバッファ１１２からの画像フレームのセットを画像データの前もって処理されたサブセットと組み合わせて、完全なプレイベントビデオシーケンスを提供することになる。

【0063】

上記テキストで提示される異なるユニット、例えば、画像処理ユニット１０６、圧縮ユニット１１４、初期画像処理ユニット１１６、イベントユニット１１８，および画像解析ユニット１２２がそれぞれ、ハードウェア、ソフトウェア、またはその任意の組み合わせで実装することができることが留意される場合がある。ユニットの１つまたは複数は、それぞれのユニットの機能を実施するように構成される専用回路部の形態で、または、標準的な処理ユニット上で実行され、それぞれのユニットの機能を実施するように実装されるソフトウェアプログラム命令のセットとして設けることができる。

【0064】

最後になるが、図面、開示、および添付特許請求の範囲の調査から、特許請求される本発明を実施するときに、開示される実施形態に対する他の変形を、当業者が理解し実施することができることが述べられるべきである。

【0065】

そのような変形の例は、本発明が、身体装着式カメラに関連して述べられたけれど、例えば、建物上にまたは乗り物内に搭載されるカメラ内で使用することもできることである。カメラが、入手可能な制限された量の電力を有する場合、または、プレイベントバッファ内でよりたっぷりの量のメモリ空間を提供することが可能である状況において、イベントビデオ記録に関連して電力を節約したい他の理由が存在する場合、本明細書で説明する解決策は、イベントが起こっていない期間中に、より低い電力消費を可能にするために利用することができる

【0066】

要約すると、プレイベントシーケンスおよびポストイベントシーケンスを含むイベント始動式ビデオシーケンスを提供する方法が提示される。プレイベント画像フレームは、イベントが起こる時点まで未処理フォーマットで記憶される。プレイベントビデオシーケンスの画像処理を延期することによって、電力節約が達成される。

【図1】

【図2】

【図3】

【外国語明細書】