特許 7589075 ビデオカメラおよびビデオストリームを解析するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-15

(45)【発行日】2024-11-25

(54)【発明の名称】ビデオカメラおよびビデオストリームを解析するための方法

(51)【国際特許分類】

   G06T 1/20 20060101AFI20241118BHJP

   H04N 19/85 20140101ALI20241118BHJP

   H04N 23/60 20230101ALI20241118BHJP

【ＦＩ】

G06T1/20 Z

H04N19/85

H04N23/60 500

【請求項の数】 13

【外国語出願】

(21)【出願番号】P 2021040903

(22)【出願日】2021-03-15

(65)【公開番号】P2021168120

(43)【公開日】2021-10-21

【審査請求日】2024-03-14

(31)【優先権主張番号】20165085

(32)【優先日】2020-03-24

(33)【優先権主張国・地域又は機関】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】ペンゼ， ミーケル

(72)【発明者】

【氏名】ヤルケモ， アダム

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２０１２－１０９７４６（ＪＰ，Ａ）

【文献】欧州特許出願公開第０２５２１０４６（ＥＰ，Ａ１）

【文献】中国特許出願公開第１０４５０６９３４（ＣＮ，Ａ）

【文献】特表２０１９－５３７７６０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０３３９４１７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００７／０１５０１３８（ＵＳ，Ａ１）

【文献】特開２００９－０１５６７２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／２０

Ｈ０４Ｎ １９／８５

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

ビデオストリームを解析するためのビデオカメラであって、
前記ビデオストリームの画像フレームの画像データを取り込むように構成される画像センサ（４０２）と、
画像フレームの画像データをバッファリングするように構成される画像バッファ（４１０）と、
回路（４２０）とを備え、前記回路（４２０）は、
前記ビデオストリーム内の画像フレームのサブセットを、画像フレームの前記サブセットに関連するデータを評価することによって、非周期的に又は周期的に評価し、評価された各画像フレームについて、対応する第１の評価結果を出力するように構成され、１つの画像フレームの前記評価は前記ビデオストリームについての１／ｆｐｓより長い評価時間を有する、第１の評価関数（４５２）、
前記第１の評価関数（４５２）によって評価される各画像フレームについて、評価中であるとして前記画像フレームにマーク付けし、前記マーク付けされた画像フレームの画像データをバッファリングするように前記画像バッファに指示するように構成されるバッファ関数（４５４）、および、
利用可能になると、前記対応する第１の評価結果に基づいて画像フレームの各前記サブセットの画像データを評価するために前記画像バッファ（４１０）にアクセスし、対応する第２の評価結果を出力するように構成される第２の評価関数（４５６）
を実行するように構成される、ビデオカメラ。

【請求項2】

前記バッファ関数（４５４）は、前記出力された第２の評価結果に対応する１つの画像フレームの画像データを削除するように前記画像バッファ（４１０）に指令するように構成される、請求項１に記載のビデオカメラ。

【請求項3】

画像フレームのサブセットに関連する前記データは、画像フレームの前記サブセットの画像データ、および画像フレームの前記サブセットに時間的に対応する他のセンサデータのうちの１つまたは複数を含む、請求項１または２に記載のビデオカメラ。

【請求項4】

前記他のセンサデータを受信するように構成される送受信機（４４０）をさらに備える、請求項３に記載のビデオカメラ。

【請求項5】

前記他のセンサデータを取り込むように構成される１つまたは複数のセンサ（４６０）をさらに備える、請求項３または４に記載のビデオカメラ。

【請求項6】

前記第１の評価関数（４５２）は、物体検出関数、動き検出関数、変化検出関数、および画像区分化関数のうちの１つまたは複数を含む、請求項１から５のいずれか一項に記載のビデオカメラ。

【請求項7】

前記第２の評価関数（４５６）は、物体識別関数および物体分類関数の一方または両方を含む、請求項１から６のいずれか一項に記載のビデオカメラ。

【請求項8】

前記第１の評価結果は、前記第２の評価関数（４５６）によって評価される前記対応する画像データの領域の識別情報を含む、請求項１から７のいずれか一項に記載のビデオカメラ。

【請求項9】

前記バッファ関数（４５４）は、画像フレームの前記サブセットの１つの画像フレームを、前記画像フレームのヘッダーにデータを付加することによって評価中であるとしてマーク付けするように構成される、請求項１から８のいずれか一項に記載のビデオカメラ。

【請求項10】

前記バッファ関数（４５４）は、画像フレームの前記サブセットの１つの画像フレームに、前記第１の評価関数によって評価中である画像フレームに対する記録を更新することによって、評価中であるとしてマーク付けするように構成される、請求項１から９のいずれか一項に記載のビデオカメラ。

【請求項11】

複数の画像フレームを含むビデオストリームを解析するための方法であって、
第１の評価関数（４５２）によって、前記ビデオストリーム内の画像フレームのサブセットを、画像フレームの前記サブセットに関連するデータを評価することによって、非周期的に又は周期的に評価し（Ｓ３０２）、評価された各画像フレームについて、対応する第１の評価結果を出力する（Ｓ３０６）こと、ここで、１つの画像フレームの前記評価は前記ビデオストリームについての１／ｆｐｓより長い評価時間を有し、
前記第１の評価関数（４５２）によって評価される各画像フレームについて、評価中であるとして前記画像フレームにマーク付けし、前記マーク付けされた画像フレームの画像データをバッファリングするように画像バッファ（４１０）に指示する（３０４）こと、
前記画像バッファ（４１０）にアクセスするように構成される第２の評価関数（４５４）によって、利用可能になると、前記対応する第１の評価結果に基づいて画像フレームの各前記サブセットの画像データを評価する（Ｓ３０８）こと、および、
画像フレームの各前記サブセットについて、対応する第２の評価結果を出力する（Ｓ３１０）こと
を含む、方法。

【請求項12】

画像フレームのサブセットに関連する前記データは、画像フレームの前記サブセットの画像データ、および画像フレームの前記サブセットに時間的に対応する他のセンサデータのうちの１つまたは複数を含む、請求項１１に記載の方法。

【請求項13】

非一時的コンピュータ可読記憶媒体であって、非一時的コンピュータ可読記憶媒体上に記憶された命令を有し、前記命令は、処理能力を有するデバイス上で実行されると、請求項１１または１２に記載の方法を実装するためのものである、非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオカメラおよび評価関数のカスケードを使用してビデオストリームを解析するための方法ならびに特に、そのような評価関数のカスケードを使用するビデオ解析の実行中における画像バッファ使用に関する。

【背景技術】

【0002】

ビデオ解析は評価関数のカスケードを使用して実施することができる。例えば、第１の評価関数Ａｌｇｏ１は、ビデオストリームにおいて第１の評価、例えば顔検出を行うために専用であり、第２の評価関数Ａｌｇｏ２は、Ａｌｇｏ１によって検出される顔に対して第２の評価、例えば顔認識を行うために専用である。典型的には、Ａｌｇｏ１からの出力は、メタデータ、例えば、顔が検出されたビデオストリーム内のビデオフレームのタイムスタンプおよびビデオフレーム内の顔の座標からなる。Ａｌｇｏ２は、その後、タイムスタンプを使用することによって、ビデオストリーム内のビデオフレームを識別し、メタデータで与えられる座標から顔領域（複数可）を切り抜き、さらなる解析、例えば、顔認識を行うことができる。したがって、Ａｌｇｏ１はビデオフレームの多くのフレームを評価する必要があるが、Ａｌｇｏ２は、Ａｌｇｏ１が重要であるとしえマーク付けした、この例では、検出される顔を含むものとしてマーク付けしたフレームのサブセットに関心があるだけである。

【0003】

Ａｌｇｏ１が重要であるとしてマーク付けした画像フレームをＡｌｇｏ２が評価することができることを保全するために、或る年齢までの画像フレームに関連する画像データがバッファリングされる必要がある。これは、Ａｌｇｏ１が重要であるとマーク付けした画像フレームに関連する画像データをＡｌｇｏ２が入手できることを保証する。典型的には、画像フレームに関連する画像データは、種々の性能上の理由で未処理画像データである必要がある。バッファリングされる必要がある画像データの量は、特に、Ａｌｇｏ１が、画像データの取り込みとメタデータ送出との間に何らかのレイテンシを有する場合、きわめて大きくなる可能性がある。１つの例によれば、画像データの取り込みとメタデータ送出との間のレイテンシは２５０ｍｓであり、画像データは、６０フレーム／秒、ｆｐｓのレートで取り込まれる。この例によれば、少なくとも１５（６０ｆｐｓ^＊０．２５ｓ）のフル解像度未処理画像がバッファリングされる必要がある。Ａｌｇｏ１のレイテンシが上がる場合、さらに多くの画像データがバッファリングされる必要がある。

【0004】

しかしながら、画像バッファのサイズは、特に、上記で述べたビデオ解析が典型的に実施されるビデオカメラについてしばしば制限される。したがって、評価関数のカスケードを含むビデオ解析を開発する必要性が存在する。

【発明の概要】

【0005】

当技術分野における上記で識別された欠点および不利益の１つまたは複数を単独でまたは任意の組み合わせで軽減し、緩和し、またはなくし、また、上記で述べた問題を少なくとも部分的に解決することが目的である。

【0006】

第１の態様によれば、ビデオカメラが提供される。ビデオカメラはビデオストリームを解析するように構成される。特に、ビデオカメラは、評価関数のカスケードを使用してビデオストリームを解析するように構成される。ビデオカメラは、画像センサと画像バッファと回路を備える。画像センサはビデオストリームの画像フレームの画像データを取り込むように構成される。画像バッファは画像フレームの画像データをバッファリングするように構成される。回路は、第１の評価関数、バッファ関数、および第２の評価関数を実行するように構成される。第１の評価関数は、ビデオストリーム内の画像フレームのサブセットを、画像フレームのサブセットに関連するデータを評価することによって評価するように構成される。第１の評価関数は、評価された各画像フレームについて、対応する第１の評価結果を出力するように構成される。１つの画像フレームの評価はビデオストリームについての１／ｆｐｓより長い評価時間を有する。バッファ関数は、第１の評価関数によって評価される各画像フレームについて、評価中であるとして画像フレームにマーク付けし、マーク付けされた画像フレームの画像データをバッファリングするように画像バッファに指示するように構成される。第２の評価関数は、利用可能になると、対応する第１の評価結果に基づいて画像フレームの各サブセットの画像データを評価するために画像バッファにアクセスするように構成される。第２の評価関数は、対応する第２の評価結果を出力するように構成される。

【0007】

評価関数のカスケードにおいて、第１の評価関数が、ビデオストリームについての１／ｆｐｓより長いレイテンシを有し、第２の評価関数が、その評価を実施するために第１の評価関数からの結果を必要とすることが留意される。ビデオ解析の実行中に、特に、評価関数のカスケードを使用するビデオ解析の実行中に画像データをバッファリングする方法に関して本発明者等が行った洞察によれば、画像バッファメモリ節約を行うことができる。第１の評価関数がビデオストリームのどの画像フレームを評価しているかを指示することは、評価中の画像フレームの画像データをバッファリングするだけであることを可能にする。したがって、画像バッファのメモリ使用を節約することができる。

【0008】

画像バッファは、取り込まれる全ての画像フレームの画像データを最初にバッファリングするように構成することができる。バッファ関数は、画像フレームのサブセットの特定の画像フレームの画像データをバッファリングするように画像バッファに指示するとき、画像フレームであって、特定の画像フレームに時間的に先行し、評価中であるとしてマーク付けされない、画像フレームの画像データを削除するように画像バッファに指令するように構成することができる。

【0009】

バッファ関数は、出力された第２の評価結果に対応する１つの画像フレームの画像データを削除するように画像バッファに指令するように構成することができる。

【0010】

画像フレームのサブセットに関連するデータは、画像フレームのサブセットの画像データ、および画像フレームのサブセットに時間的に対応する他のセンサデータのうちの１つまたは複数を含むことができる。

【0011】

ビデオカメラは、他のセンサデータを受信するように構成される送受信機を備えることができる。

【0012】

ビデオカメラは、他のセンサデータを取り込むように構成される１つまたは複数のセンサをさらに備えることができる。

【0013】

第１の評価関数は、物体検出関数、動き検出関数、変化検出関数、および画像区分化関数のうちの１つまたは複数を含むことができる。

【0014】

第２の評価関数は、物体識別関数および物体分類関数の一方または両方を含むことができる。

【0015】

第１の評価結果は、第２の評価関数によって評価される、対応する画像データの領域の識別情報（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を含むことができる。

【0016】

バッファ関数は、画像フレームのサブセットの１つの画像フレームに、画像フレームのヘッダーにデータを付加することによって評価中であるとしてマーク付けするように構成することができる。

【0017】

バッファ関数は、画像フレームのサブセットの１つの画像フレームに、第１の評価関数によって評価中である画像フレームに対する記録（ｒｅｇｉｓｔｅｒ）を更新することによって、評価中であるとしてマーク付けするように構成することができる。

【0018】

第２の態様によれば、複数の画像フレームを含むビデオストリームを解析するための方法が提供される。方法はビデオ解析法である。ビデオ解析は評価関数のカスケードを使用して行うことができる。方法は、
第１の評価関数によって、ビデオストリーム内の画像フレームのサブセットを、画像フレームのサブセットに関連するデータを評価することによって評価し、評価された各画像フレームについて、対応する第１の評価結果を出力することであって、１つの画像フレームの評価はビデオストリームについての１／ｆｐｓより長い評価時間を有する、評価し、出力すること、
第１の評価関数によって評価される各画像フレームについて、評価中であるとして画像フレームにマーク付けし、マーク付けされた画像フレームの画像データをバッファリングするように画像バッファに指示すること、
画像バッファにアクセスするように構成される第２の評価関数によって、利用可能になると、対応する第１の評価結果に基づいて画像フレームの各サブセットの画像データを評価すること、および、
画像フレームの各サブセットについて、対応する第２の評価結果を出力すること
を含む。

【0019】

方法は、画像バッファによって、ビデオストリーム内の全ての画像フレームの画像データを、それを取り込むと、最初にバッファリングすることを含むことができる。画像フレームのサブセットの特定の画像フレームの画像データをバッファリングするように画像バッファに指示するステップ／動作は、画像フレームであって、特定の画像フレームに時間的に先行し、評価中であるとしてマーク付けされない、画像フレームの画像データを削除するように画像バッファに指令することを含む。

【0020】

ビデオカメラの上記で述べた特徴は、適用可能である場合、この第２の態様の方法にも適用される。不当な反復を回避するために、参照が上記に対して行われる。

【0021】

第３の態様によれば、非一時的コンピュータ可読記憶媒体が提供される。非一時的コンピュータ可読記憶媒体は、その上に記憶された命令を有し、命令は、処理能力を有するデバイス上で実行されると、第２の態様による方法を実装するためのものであ。デバイスは、ビデオカメラ、例えば、第１の態様のビデオカメラであるとすることができる。デバイスはビデオ管理サーバーであるとすることができる。

【0022】

本開示の適用性のさらなる範囲は、以下で示す詳細な説明から明らかになるであろう。しかしながら、本発明の範囲内の種々の変更および修正が、この詳細な説明から当業者に明らかになるため、詳細な説明および特定の例が、本発明の好ましい実施形態を示しながら、例証としてのみ示されることが理解されるべきである。

【0023】

したがって、本発明が、述べるデバイスの特定のコンポーネント部品または述べる方法の特定の動作に限定されず、なぜならば、そのようなデバイスおよび方法が変動する場合があるからであることが理解される。本明細書で使用される用語が特定の実施形態を述べるためのものに過ぎず、制限的であることを意図されないことも理解される。本明細書および添付特許請求の範囲で使用するとき、冠詞「１つの（ａ）」、「１つの（ａｎ）」、「その（ｔｈｅ）」、および「（ｓａｉｄ）」が、別段に文脈が明確に指示しない限り、要素の１つまたは複数が存在することを意味することを意図されることが留意されなければならない。そのため、例えば、「１つのユニット（ａ ｕｎｉｔ）」または「そのユニット（ｔｈｅ ｕｎｉｔ）」に対する言及は、幾つかのデバイスおよび同様なものを含むことができる。さらに、語「備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｎｔａｉｎｉｎｇ）」、および同様な語は、他の要素またはステップを排除しない。

【0024】

本発明の上記のおよび他の態様は、ここで、添付図を参照してより詳細に述べられる。図は、制限的であると考えられるべきでない；代わりに、図は、説明し理解するために使用される。

【0025】

図に示すように、層および領域のサイズは、例証のために誇張することができ、したがって、全体的な構造を示すために提供される。同様の参照符号は全体と通して同様の要素を指す。

【図面の簡単な説明】

【0026】

【図1】従来技術による評価関数のカスケードを使用するビデオ解析のためのレイテンシおよび画像バッファ使用を概略的に示す図である。

【図2】本発明による評価関数のカスケードを使用するビデオ解析のためのレイテンシおよび画像バッファ使用を概略的に示す図である。

【図3】複数の画像フレームを含むビデオストリームを解析するための方法のブロックスキームである。

【図4】評価関数のカスケードを使用してビデオ解析を実施するように構成されるビデオカメラを概略的に示す図である。

【発明を実施するための形態】

【0027】

本発明は、ここで、現在のところ好ましい本発明の実施形態が示される添付図面を参照して以降でより完全に述べられるであろう。しかしながら、本発明は、多くの異なる形態で具現化することができ、本明細書で述べる実施形態に限定されるものと解釈されるべきでない；むしろ、これらの実施形態は、徹底さおよび完全さ（ｔｈｏｒｏｕｇｈｎｅｓｓ ａｎｄ ｃｏｍｐｌｅｔｅｎｅｓｓ）のために、また、本発明の範囲を当業者に完全に伝えるために提供される。

【0028】

図１に関連して、従来技術による評価関数のカスケードを使用するビデオ解析のための画像バッファ使用が論じられる。背景の節で述べたのと同じように、ビデオ解析は、評価関数のカスケードを使用して実施することができる。評価関数のカスケードが第１の評価関数および第２の評価関数を含むと仮定する。第２の評価関数は、第１の評価関数が準備できると、実施され始めることができるだけである。したがって、第２の評価関数は、第１の評価関数からの結果に依存する。図１に関連して論じられる例では、ビデオストリームの画像フレームα、β、およびｘは第１の評価関数によって評価される。画像フレームαの評価は時刻Ａで始まり、第１の評価関数による評価からの結果は時刻Ａ’で準備ができる。画像フレームβの評価は時刻Ｂで始まり、第１の評価関数による評価からの結果は時刻Ｂ’で準備ができる。画像フレームｘの評価は時刻Ｃで始まり、第１の評価関数による評価からの結果は時刻Ｃ’で準備ができる。これは、図１の上部分に示され、ビデオストリームは、タイムラインに沿って配置された複数の連続画像フレームによって示される。画像フレームα、β、およびｘはビデオストリーム内でマーク付けされる。さらに、異なる時刻Ａ、Ａ’、Ｂ、Ｂ’、Ｃ、およびＣ’はタイムライン上でマーク付けされる。図１では、第１の評価関数のレイテンシは、実施される各評価について等しく長い。したがって、レイテンシＡ－Ａ’、Ｂ－Ｂ’、およびＣ－Ｃ’は等しく長い。第１の評価関数によって実施される評価が、ビデオストリームについての１／ｆｐｓより長い評価時間を有することが留意される。

【0029】

実行されるために、第２の評価関数は、第１の評価関数によって評価される画像フレームに関連する画像データおよび第１の評価関数によって実施される評価からの結果を入手できる必要がある。典型的には、第２の評価関数は、第１の評価関数によって評価される画像フレームに関連する、未処理画像データまたは少なくとも非圧縮画像データを入手できる必要がある。そのため、第１の評価関数によって評価される画像フレームに関連する画像データを第２の評価関数が入手できることを保全するために、或る年齢までの画像フレームに関連する画像データが画像バッファ内にバッファリングされる必要がある。これは、図１の下部分で詳細に述べられる。画像フレームに関連する画像データは画像バッファ内に連続的にバッファリングされる。図１では、時刻Ａ’、Ｂ’、およびＣ’における画像バッファ使用が論じられる。

【0030】

時刻Ａ’までに、Ａ’以前の全ての画像フレームに関連する画像データが画像バッファ内に連続的にバッファリングされた。これは、図１の下部分において「Ａ’：」で示される。時刻Ａ’にて、画像フレームαの第１評価関数による評価が終了する。画像フレームα以前の画像フレームに関連する全ての画像データは、その後、廃棄することができる、すなわち、時刻Ａ以前の画像フレームに関連する画像データは、画像バッファから除去することができる。しかしながら、時刻Ａ後の画像フレームに関連する全ての画像データは、画像バッファ内に依然として維持されなければならない。これは、第２の評価関数が、時刻Ａ後のどの画像データを入手できる必要があるかが依然としてわかっていないからである。したがって、時刻Ａ後の画像フレームに関連する全ての画像データは、第１の評価関数からの新しい結果が準備できるまでバッファリングされる必要がある。

【0031】

時刻Ａ～時刻Ｂ’まで、これらの２つの時刻の間の画像フレームに関連する画像データはバッファリングされる必要があり、これは、図１の下部分において「Ｂ’：」で示される。時刻Ｂ’にて、画像フレームβの第１評価関数による評価が終了する。画像フレームβ以前の画像フレームに関連する全ての画像データは廃棄することができる、すなわち、時刻Ｂ以前の画像フレームに関連する画像データは、画像バッファから除去することができる。これは、画像フレームαに関連する画像データが画像バッファ内に依然として必要とされる場合があるという例外を有する。これは、第２の評価関数がαを評価することをまだ終えていない場合があるからである。しかしながら、第２の評価関数がαの評価を終えると、画像フレームαに関連する画像データは、画像バッファから除去することができる。さらに、時刻Ｂ後の画像フレームに関連する全ての画像データは、画像バッファ内に依然として維持されなければならない。これは、第２の評価関数が、時刻Ｂ後のどの画像データを入手できる必要があるかが依然としてわかっていないからである。したがって、時刻Ｂ後の画像フレームに関連する全ての画像データは、第１の評価関数からの新しい結果が準備できるまでバッファリングされる必要がある。

【0032】

時刻Ｂ～時刻Ｃ’まで、これらの２つの時刻の間の画像フレームに関連する画像データはバッファリングされる必要があり、これは、図１の下部分において「Ｃ’：」で示される。時刻Ｃ’にて、画像フレームｘの第１評価関数による評価が終了する。画像フレームｘ以前の画像フレームに関連する全ての画像データは廃棄することができる、すなわち、時刻Ｂ以前の画像フレームに関連する画像データは、画像バッファから除去することができる。これは、画像フレームαおよびβに関連する画像データが画像バッファ内に依然として必要とされる場合があるという例外を有する。これは、第２の評価関数がαおよび／またはβを評価することをまだ終えていない場合があるからである。しかしながら、第２の評価関数がαおよび／またはβの評価を終えると、画像フレームαおよび／またはβに関連する画像データは、画像バッファから除去することができる。さらに、時刻Ｃ後の画像フレームに関連する全ての画像データは、画像バッファ内に依然として維持されなければならない。これは、第２の評価関数が、時刻Ｃ後のどの画像データを入手できる必要があるかが依然としてわかっていないからである。したがって、時刻Ｃ後の画像フレームに関連する全ての画像データは、第１の評価関数からの新しい結果が準備できるまでバッファリングされる必要がある。

【0033】

ここで図２を参照すると、図２に関連して、本発明による評価関数のカスケードを使用するビデオ解析のための画像バッファ使用が論じられる。やはり、評価関数のカスケードが第１の評価関数および第２の評価関数を含むと仮定される。第２の評価関数は、第１の評価関数が準備できると、実施され始めることができるだけである。したがって、第２の評価関数は、第１の評価関数からの結果、すなわち、第１の評価関数から出力される第１の評価結果に依存する。ビデオストリームの画像フレームα、β、およびｘに関連するデータは、第１の評価関数によって評価される。ビデオストリームの画像フレームα、β、およびｘに関連するデータは、それぞれの画像フレームα、β、およびｘに関連する画像データであるとすることができる。そのような画像データは、未処理画像データまたは少なくとも非圧縮画像データであるとすることができる。代替的にまたは組み合わせて、画像フレームα、β、およびｘに関連するデータは、別のタイプのセンサからのデータであるとすることができる。そのようなデータは、今後、センサデータと呼ばれることになる。そのようなセンサデータを生成するために使用することができるセンサの例は、ＲＡＤＡＲセンサ、ＬＩＤＡＲセンサ、ＰＩＲセンサ、および／またはマイクロフォンである。第１の評価関数によって解析される画像フレームに関連するデータは、それぞれの画像フレームの画像データと同時に取り込まれる。したがって、第１の評価関数によって評価されるデータは、それぞれの画像フレームの画像データと時間的に相関する。したがって、第１の評価関数によって評価されるデータは、第２の評価関数によって評価されるのと同じ画像データであるとすることができる。代替的にまたは組み合わせて、第１の評価関数によって評価されるデータは別のセンサデータであるとすることができる。別のセンサデータは、典型的には、第２の評価関数によって評価される画像データと相関する。

【0034】

画像フレームαに関連するデータの第１の評価関数による評価は時刻Ａで始まり、評価からの結果は時刻Ａ’で準備できる。画像フレームβに関連するデータの第１の評価関数による評価は時刻Ｂで始まり、評価からの結果は時刻Ｂ’で準備できる。画像フレームｘに関連するデータの第１の評価関数による評価は時刻Ｃで始まり、評価からの結果は時刻Ｃ’で準備できる。これは、図２の上部分に示され、ビデオストリームは、タイムラインに沿って配置された複数の連続画像フレームによって示される。画像フレームα、β、およびｘはビデオストリーム内でマーク付けされる。さらに、異なる時刻Ａ、Ａ’、Ｂ、Ｂ’、Ｃ、およびＣ’はタイムライン上でマーク付けされる。

【0035】

図２では、第１の評価関数のレイテンシは、実施される各評価について等しく長い。したがって、レイテンシＡ－Ａ’、Ｂ－Ｂ’、およびＣ－Ｃ’は等しく長い。しかしながら、第１の評価関数のレイテンシが変動する場合があることが留意される。第１の評価関数についてのレイテンシの変動は、例えば、第１の評価関数に対する入力データの組成によって変動する場合がある。第１の評価関数によって実施される評価が、ビデオストリームについての１／ｆｐｓより長い評価時間を有することが留意される。

【0036】

図３を参照すると、複数の画像フレームを含むビデオストリームを解析するための方法３００のブロックスキームが最初に論じられる。方法は、ビデオストリーム内の画像フレームのサブセットを第１の評価関数によって評価するＳ３０２ことを含み、第１の評価関数は、ビデオストリーム内の画像フレームのサブセットを評価するように構成される。第１の評価関数によって行われる評価は、画像フレームのサブセットに関連するデータを評価することによって実施される。画像フレームのサブセットに関連するデータは、それぞれの画像フレームの画像データであるとすることができる。画像フレームのサブセットに関連するデータは、それぞれの画像フレームに時間的に相関するセンサデータであるとすることができる。センサデータは、例えば、ＲＡＤＡＲセンサ、ＬＩＤＡＲセンサ、ＰＩＲセンサ、および／またはマイクロフォンによって生成することができる。ビデオストリーム内の１つの画像フレームに関連するデータを評価するＳ３０２ことが終了すると、方法は、対応する第１の評価結果を出力するＳ３０６ことを含む。したがって、第１の評価関数は、評価された各画像フレームについて、対応する第１の評価結果を出力するように構成される。第１の評価関数によって実施される１つの画像フレームに関連するデータの評価は、ビデオストリームについての１／ｆｐｓより長い評価時間を有する。

【0037】

画像バッファ使用についての従来技術のスキームと同じように、本スキームによる第２の評価関数は、実行されるために、第１の評価関数によって評価される画像フレームに関連する画像データおよび第１の評価関数によって実施される評価からの第１の結果を入手できる必要がある。典型的には、第２の評価関数は、第１の評価関数によって評価される画像フレームに関連する、未処理画像データまたは少なくとも非圧縮画像データを入手できる必要がある。したがって、第１の評価関数によって評価される画像フレームに関連する画像データは、画像バッファ内にバッファリングされる必要がある。図３を参照すると、これは、第１の評価関数によって評価される各画像フレームについて、評価中であるとして画像フレームにマーク付けし、マーク付けされた画像フレームの画像データをバッファリングするように画像バッファに指示するＳ３０４ことによって行われる。

【0038】

さらに、画像バッファは、ビデオストリーム内の全ての画像フレームの画像データを、それを取り込むと、最初にバッファリングするように構成することができる。そうすると、画像フレームのサブセットの特定の画像フレームの画像データをバッファリングするように画像バッファに指示するＳ３０４ステップ／動作は、画像フレームであって、特定の画像フレームに時間的に先行し、評価中であるとしてマーク付けされない、画像フレームの画像データを削除するように画像バッファに指令することを含む。

【0039】

したがって、画像バッファは、第１の評価関数によって評価される画像フレームに対応する画像データをバッファリングする「だけ（ｏｎｌｙ）」であるように指令される。これは、図２の下部分に示される。第１の評価関数による評価の開始時に、画像バッファは、評価中である画像フレームに属する画像データをバッファリングするように指令される。したがって、時刻Ａにて、画像バッファは、画像フレームαに属する画像データをバッファリングするように指令される。時刻Ｂにて、画像バッファは、画像フレームβに属する画像データをバッファリングするように指令される。時刻Ｃにて、画像バッファは、画像フレームｘに属する画像データをバッファリングするように指令される。これは、図２の左下部分に示される。時刻Ａにて、画像フレームαの画像データがバッファリングされることが留意される。しかしながら、時刻Ｂにて、両方の画像フレームαおよびβの画像データがバッファリングされる。これは、第２の評価関数がαを評価することをまだ終えていない場合があるからである。さらに、時刻Ｃにて、画像フレームα、β、およびｘの画像データがバッファリングされる。これは、第２の評価関数がαおよび／またはβを評価することをまだ終えていない場合があるからである。しかしながら、第２の評価関数が、１つの画像フレームに関連する画像データの評価を終えると、そのような画像データは、画像バッファから除去することができる。

【0040】

図２の右下部分に示すように、時刻Ａ’にて、画像バッファは、１つのさらなる画像フレーム、すなわち、時刻Ａ’で取り込まれる画像フレームの画像データを保持することができる。これは、画像バッファが、ビデオストリーム内の全ての画像フレームの画像データを、それを取り込むと、最初にバッファリングするように構成することができるからである。しかしながら、そうすると、画像フレームのサブセットの特定の画像フレームの画像データをバッファリングするように画像バッファに指示するＳ３０４ステップ／動作は、画像フレームであって、特定の画像フレームに時間的に先行し、評価中であるとしてマーク付けされない、画像フレームの画像データを削除するように画像バッファに指令することを含む。その結果、時刻Ｂ’にて、画像バッファは、１つのさらなる画像フレーム、すなわち、時刻Ｂ’で取り込まれる画像フレームの画像データを保持することになり、時刻Ｃ’にて、画像バッファは、１つのさらなる画像フレーム、すなわち、時刻Ｃ’で取り込まれる画像フレームの画像データを保持することになる。バッファリングされるために必要とされる画像データの量が、図１に関連して示す従来技術のスキームと比較して実質的に減少することが留意される。

【0041】

再び、図３参照すると、第１の評価関数によって評価され、画像バッファ内にバッファリングされる画像フレームの各サブセットの画像データを評価するＳ３０８ことは、第２の評価関数によって行われる。したがって、第２の評価関数は、利用可能になると、対応する第１の評価結果に基づいて画像フレームの各サブセットの画像データを評価するために画像バッファにアクセスするように構成される。第２の評価関数は、１つの画像フレームの画像データを評価する準備ができると、結果を、対応する第２の評価結果として出力するＳ３１０ようにさらに構成することができる。

【0042】

方法３００は、第２の評価結果を出力するＳ３１０と、第２の評価関数によって評価される画像フレームの画像データを画像バッファから除去するＳ３１２ことをさらに含むことができる。

【0043】

図４に関連して、上記図２および図３に関連して論じたカスケードビデオ解析を実施するように構成されるビデオカメラ４００が論じられる。したがって、ビデオカメラ４００は、ビデオカメラ４００によって取り込まれるビデオストリームを解析するように構成される。ビデオカメラ４００はモニタリングカメラであるとすることができる。ビデオカメラ４００は固定であるとすることができる。ビデオカメラ４００は、乗り物などの移動物体上に取り付けられるビデオカメラであるとすることができる。ビデオカメラ４００は人が装着することができる。ビデオカメラ４００は、画像センサ４０２、画像バッファ４１０、および回路４２０を備える。

【0044】

画像センサ４０２は、ビデオストリームの画像フレームの画像データを取り込むように構成される。画像センサおよび画像データの取り込みは、当業者にとってよく知られており、本開示においてより詳細に論じられない。

【0045】

画像バッファ４１０は、画像フレームの画像データをバッファリングするように構成される。画像バッファ４１０は、典型的には、処理されている間に、画像データを一時的に記憶するために使用される物理的メモリ記憶域の或る領域または部分である。典型的には、画像データは、画像センサ４０２によって取り込まれると、画像バッファ４１０に記憶される。しかしながら、画像バッファ４１０は、関数間で画像データを移動させるときに使用することができる。画像バッファ４１０は、ハードウェアで固定メモリ場所において、または、物理的メモリ記憶域内の或る場所を指すソフトウェアで仮想データバッファを使用することによって実装することができる。全ての場合に、画像バッファ４１０に記憶される画像データは物理的記憶媒体上に記憶される。画像バッファ４１０は、ソフトウェアで実装することができ、典型的には、画像データを一時的に記憶するランダムアクセスメモリＲＡＭを使用する。ＲＡＭを使用することは、ハードディスクドライブと比較してアクセス時間がずっと速いため、有利であるとすることができる。画像バッファは、典型的には、画像データが受信されるレートと画像データを処理できるレートとの間に差が存在するときに使用される。

【0046】

ビデオカメラ４００は、ビデオエンコーダー４３０、送受信機４４０、およびメモリ４５０のうちの１つまたは複数をさらに備えることができる。

【0047】

ビデオエンコーダー４３０は、画像センサ４０２によって取り込まれる画像フレームの画像データをエンコードしてエンコード済みビデオストリームにするように構成される。ビデオエンコーダー４３０は、ビデオストリームの画像の一部をキーフレームとしてエンコードするように構成される。キーフレームは、他のエンコード済みビデオフレームからの情報がデコードされることを要求しないエンコード済みビデオフレームである。したがって、キーフレームは、キーフレームがそれに対応するように設定されるビデオデータの画像からの情報に基づいてエンコードされる。典型的には、画像をエンコードしてキーフレームにするために、画像内の類似性が使用される。ビデオエンコーディングにおいて、キーフレームは、しばしばＩフレームと呼ばれるイントラフレームとしても知られる。ビデオエンコーダー４３０は、２つのキーフレームの間のビデオストリームの画像をデルタフレームとしてエンコードするようにさらに構成される。典型的には、デルタフレームは、１つのフレームから次のフレームまでに起こる変化を含むだけである。したがって、デルタフレームは、典型的には、キーフレームより少ないデータを含む。ビデオエンコーディングにおいて、デルタフレームは、しばしばＰフレームまたはＢフレームと呼ばれるインターフレームとしても知られる。Ｐフレームは、データ参照用の先行フレームを指す。したがって、先行フレームのコンテンツは、Ｐフレームをデコードするためにわかっていなければならない。Ｂフレームは、データ参照用の先行フレームと前方フレームの両方を指すことができる。したがって、先行フレームと前方フレームの両方のコンテンツは、Ｂフレームをデコードするためにわかっていなければならない。

【0048】

送受信機４４０は、ビデオカメラ４００へおよび／またはから情報を受信および／または送信するように構成される。送受信機４４０は、ビデオストリームのエンコード済みバージョンを送出するように構成される。しかしながら、送受信機４４０は、他の情報／データも受信および／または送信するように構成することができる。例えば、送受信機４４０は、センサからのセンサデータを受信するように構成することができる。センサの例は、ＬＡＳＥＲセンサ、ＬＩＤＡＲセンサ、ＰＩＲセンサ、およびマイクロフォンである。

【0049】

メモリ４５０は、バッファ、フラッシュメモリ、ハードドライブ、取り外し可能媒体、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、または別の適切なデバイスのうちの１つまたは複数であるとすることができる。例えば、メモリ４５０は画像バッファ４１０を含むことができる。典型的な配置構成において、メモリ４５０は、長期データ記憶用の不揮発性メモリ、および、回路４２０用のシステムメモリとして機能する揮発性メモリを含むことができる。メモリ４５０は、データバスを通じて回路４２０とデータを交換することができる。メモリ４５０と回路４２０との間の付随する制御ラインおよびアドレスバスを同様に提示することができる。メモリ４５０は、ビデオストリームのエンコード済みバージョンおよび／またはビデオカメラ４００によって生成されるメタデータを記憶するようにさらに構成することができる。

【0050】

回路４２０は、ビデオカメラ４００の全体の関数を実施するように構成される。回路４２０は、中央処理ユニット（ＣＰＵ）、マイクロコントローラー、またはマイクロプロセッサなどのプロセッサ４２２を含むことができる。プロセッサ４２２は、ビデオカメラ４００の関数を実施するために、メモリ４５０内に記憶されたプログラムコードを実行するように構成される。

【0051】

ビデオカメラ４００の関数は、ビデオカメラ４００の非一時的コンピュータ可読媒体（例えば、メモリ４５０）上に記憶され、回路４２０によって（例えば、プロセッサ４２２を使用して）実行される実行可能論理ルーチン（例えば、コード行（ｌｉｎｅｓ ｏｆ ｃｏｄｅ）、ソフトウェアプログラムなど）の形態で具現化することができる。さらに、ビデオサーバー４００の関数は、独立型ソフトウェアアプリケーションであるかまたはビデオカメラ４００に関連するさらなるタスクを実施するソフトウェアアプリケーションの一部を形成することができる。述べる関数は、対応するデバイスがそれを実行するように構成される方法と考えることができる。同様に、述べる関数はソフトウェアで実装することができるが、そのような機能は、専用ハードウェアまたはファームウェア、あるいは、ハードウェア、ファームウェア、および／またはソフトウェアの何らかの組み合わせによって実施することもできる。

【0052】

回路４２０は、第１の評価関数４５２、バッファ関数４５４、および第２の評価関数４５６を実行するように構成される。

【0053】

第１の評価関数４５２は、ビデオストリーム内の画像フレームのサブセットを評価するように構成される。これは、画像フレームのサブセットに関連するデータを評価することによる。画像フレームのサブセット内の１つの画像フレームに関連するデータは特定の画像フレームの画像データであるとすることができる。しかしながら、代替的にまたは組み合わせて、画像フレームのサブセット内の１つの画像フレームに関連するデータはセンサデータであるとすることができる。センサデータは、任意のタイプのセンサが生成することができる。そのようなセンサデータを生成するために使用することができるセンサの例は、ＲＡＤＡＲセンサ、ＬＩＤＡＲセンサ、ＰＩＲセンサ、および／またはマイクロフォンである。センサは、ビデオカメラ４００の外部にあるとすることができる。そのような場合、送受信機４４０は、他のセンサデータを受信するように構成することができる。代替的にまたは組み合わせて、センサをビデオカメラ４００に含むことができ、ビデオカメラは１つまたは複数のセンサ４６０を備えることができる。そのような場合、ビデオカメラ４００のセンサ４６０はセンサデータを生成するように構成することができる。

【0054】

第１の評価関数４５２によって解析される１つの画像フレームに関連するデータは、それぞれの画像フレームの画像データと同時に取り込まれる。したがって、第１の評価関数４５２によって評価されるデータは、それぞれの画像フレームと時間的に相関する。したがって、第１の評価関数４５２によって評価されるデータは、第２の評価関数４５６によって後で評価されることになるものと同じ画像データであるとすることができる。代替的にまたは組み合わせて、第１の評価関数４５２によって評価されるデータは他のセンサデータであるとすることができる。他のセンサデータは、典型的には、第２の評価関数４５６によって評価される画像データと時間的に相関する。１つの画像フレームの評価は、ビデオストリームについての１／ｆｐｓより長い評価時間を有する。非制限的な例によれば、評価時間は２５０ｍｓであり、ビデオストリームは６０ｆｐｓで取り込まれる。この例によれば、第１の評価関数の評価が１回実行される間に、少なくとも１５（６０ｆｐｓ^＊０．２５ｓ）画像フレームが生成されることになる。

【0055】

第１の評価関数４５２は、評価された各画像フレームについて、対応する第１の評価結果を出力するようにさらに構成される。第１の評価結果は、第２の評価関数４５６によって評価される、対応する画像データの領域の識別情報を含むことができる。

【0056】

第１の評価関数４５２は、物体検出関数、動き検出関数、変化検出関数、および画像区分化関数のうちの１つまたは複数を含むことができる。

【0057】

バッファ関数４５４は、第１の評価関数４５２によって評価される各画像フレームについて、評価中であるとして画像フレームにマーク付けし、マーク付けされた画像フレームの画像データをバッファリングするように画像バッファ４１０に指示するように構成される。バッファ関数４５４は、取り込まれる全ての画像フレームの画像データを最初にバッファリングするように構成することができる。画像バッファ４１０は、取り込まれる全ての画像フレームの画像データを最初にバッファリングするように構成することができる。バッファ関数４５４は、画像フレームのサブセットの特定の画像フレームの画像データをバッファリングするように画像バッファ４１０に指示するとき、画像フレームであって、特定の画像フレームに時間的に先行し、評価中であるとしてマーク付けされない、画像フレームの画像データを削除するように画像バッファ４１０に指令するように構成することができる。バッファ関数４５４は、画像フレームのサブセットの１つの画像フレームに、画像フレームのヘッダーにデータを付加することによって評価中であるとしてマーク付けするように構成することができる。代替的にまたは組み合わせて、バッファ関数４５４は、画像フレームのサブセットの１つの画像フレームに、第１の評価関数４５２によって評価中である画像フレームに対する記録を更新することによって、評価中であるとしてマーク付けするように構成することができる。

【0058】

第２の評価関数４５６は、対応する第１の評価結果が利用可能になると、対応する第１の評価結果に基づいて、第１の評価関数４５２によって評価される１つの画像フレームの画像データを評価するために画像バッファ４１０にアクセスするように構成される。第２の評価関数４５６は、対応する第２の評価結果を出力するようにさらに構成される。第２の評価関数４５６は、物体識別関数および物体分類関数の一方または両方を含むことができる。

【0059】

バッファ関数４５４は、出力された第２の評価結果に対応する１つの画像フレームの画像データを削除するように画像バッファ４１０に指令するように構成することができる。

【0060】

当業者は、本発明が、上述した好ましい実施形態に決して限定されないことを認識する。逆に、多くの修正および変形が、添付特許請求項の範囲内で可能である。

【0061】

例えば、図２および図３に関連して論じた方法は、ビデオ管理サーバー内で実施することができる。ビデオ管理サーバーは単一サーバーデバイスとして実装することができる、または、ビデオ管理サーバーは、多くの異なるデバイスにわたって分配される分散型サーバーとして実装することができる。ビデオ管理サーバーは、画像バッファおよび画像バッファと同様の回路およびビデオカメラ４００に関連して論じた回路を備えることができる。

【0062】

図２では、第１の評価関数によって行われる評価が非周期的であることも留意される。しかしながら、幾つかの用途の場合、第１の評価関数によって行われる評価は周期的であるとすることができる。

【0063】

さらに、図面、本開示、および添付特許請求の範囲の調査によって、開示する実施形態に対する変形を、特許請求される本発明を実施するときに当業者が理解し実施することができる。

【図1】

【図2】

【図3】

【図4】