知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-07
(45)【発行日】2022-03-15
(54)【発明の名称】監視方法及び装置
(51)【国際特許分類】
G06T 7/11 20170101AFI20220308BHJP
G06T 7/00 20170101ALI20220308BHJP
G08B 13/196 20060101ALI20220308BHJP
G08B 25/00 20060101ALI20220308BHJP
G08B 25/04 20060101ALI20220308BHJP
H04N 7/18 20060101ALI20220308BHJP
H04N 21/234 20110101ALI20220308BHJP
H04N 21/24 20110101ALI20220308BHJP
【ＦＩ】
G06T7/11
G06T7/00 660A
G08B13/196
G08B25/00 510M
G08B25/04 E
H04N7/18 D
H04N21/234
H04N21/24
【請求項の数】
23
(21)【出願番号】P 2018563748
(86)(22)【出願日】2017-02-27
(65)【公表番号】
(43)【公表日】2019-05-23
(86)【国際出願番号】 AU2017050169
(87)【国際公開番号】W WO2017143407
(87)【国際公開日】2017-08-31
【審査請求日】2019-09-09
(31)【優先権主張番号】2016900711
(32)【優先日】2016-02-26
(33)【優先権主張国・地域又は機関】AU
(73)【特許権者】
【識別番号】518305406
【氏名又は名称】アイオムニセント ピーティーワイ リミテッド
(74)【代理人】
【識別番号】100079049
【弁理士】
【氏名又は名称】中島 淳
(74)【代理人】
【識別番号】100084995
【弁理士】
【氏名又は名称】加藤 和詳
(72)【発明者】
【氏名】カンガ、 ラスタム アディ
(72)【発明者】
【氏名】リ、 アイビー ライ チュン
【審査官】合田 幸裕
(56)【参考文献】
【文献】特開２００９－２４６９１７（ＪＰ，Ａ）
【文献】特開２００４－１２０３４１（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／００１９４２８（ＵＳ，Ａ１）
【文献】特開２００５－０９４７９９（ＪＰ，Ａ）
【文献】特開２００７－２３５１９１（ＪＰ，Ａ）
【文献】国際公開第２００７／１２６５２５（ＷＯ，Ａ２）
【文献】増山翔太, 洪志勲, 大槻知明，低解像度赤外線センサアレーを用いた非接触行動識別法の識別精度改善，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers，2016年02月22日，第115巻／第467号，pages 159-164
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／１１
Ｇ０６Ｔ ７／００
Ｇ０８Ｂ １３／１９６
Ｇ０８Ｂ ２５／００
Ｇ０８Ｂ ２５／０４
Ｈ０４Ｎ ７／１８
Ｈ０４Ｎ ２１／２３４
Ｈ０４Ｎ ２１／２４
ＩＥＥＥ Ｘｐｌｏｒｅ
ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）
(57)【特許請求の範囲】
【請求項1】
プロセッサと、メモリと、
オペレーティングシステムサポートコンピュータプロセスと、
を含む、計算処理装置、
を含む画像データ処理装置であって、
画像データプロセスが、カメラデバイスで生成されたシーンの画像データを受信するように、設定され、
検出プロセスが、前記シーンに生じるアイテムの特定のふるまいを検出する、ように設定され、
前記画像データプロセスは、アイテムの前記特定のふるまいの検出に応じて、アイテムの前記特定のふるまいが生じるシーンの部分の画像データに、前記シーンの他の部分に関連する画像データとは異なる処理を施し、
前記シーンの部分はアイテムの前記特定のふるまいについてフォーカスされている部分である、
画像データ処理装置。
【請求項2】
前記検出プロセスは、前記シーンに生じる複数のアイテムの前記特定のふるまいを検出するように設定され、前記画像データプロセスは、複数の前記複数のアイテムの前記特定のふるまいとは異なる処理を、前記複数のアイテムの前記特定のふるまいの画像データに施すように設定されている、
請求項１に記載の画像データ処理装置。
【請求項3】
前記画像データプロセスは、他の複数の前記複数のアイテムの前記特定のふるまいの画像データとは異なる処理を前記複数のアイテムの前記特定のふるまいの画像データに施すように設定されている、請求項２に記載の画像データ処理装置。
【請求項4】
前記検出プロセスは、アイテムの前記特定のふるまいの出現を判定するために、前記画像データを分析するように設定されている、請求項１～請求項３の何れか１項に記載の画像データ処理装置。
【請求項5】
ユーザ監視制御データを受信するように設定されている制御プロセスをさらに含み、前記検出プロセスは、前記制御プロセスに応答して、前記ユーザ監視制御データから取得される監視パラメータに従って、アイテムの前記特定のふるまいの検出を制御する、
請求項１～請求項４の何れか１項に記載の画像データ処理装置。
【請求項6】
前記画像データプロセスは、前記監視パラメータによって示される他の部分とは異なる解像度で前記検出プロセスによって検出されたアイテムの前記特定のふるまいを表すように、前記制御プロセスに応じて、前記ユーザ監視制御データから取得される監視パラメータに基づいて、前記画像データを選択的に処理し、前記監視パラメータは、少なくともアイテム、前記特定のふるまい及び解像度を表すパラメータを含む、
請求項５に記載の画像データ処理装置。
【請求項7】
前記ユーザ監視制御データはユーザによって入力される言語文を含む、請求項５または請求項６に記載の画像データ処理装置。
【請求項8】
ソフトウェアモジュールの指示によって動作する計算処理装置によって実行される検出及び識別エンジンによって、カメラデバイスで生成された画像データである、シーンの画像データを受信し、
前記シーンに生じるアイテムの特定のふるまいを検出し、
アイテムの前記特定のふるまいの検出に応じて、アイテムの前記特定のふるまいが生じるシーンの部分の画像データに、前記シーンの他の部分に関連する画像データとは異なる処理を施し、
前記シーンの部分は前記アイテムの前記特定のふるまいについてフォーカスされている部分である、
コンピュータが実行する画像データ処理方法。
【請求項9】
アイテムの前記特定のふるまいを検出することは、前記シーンに現れる複数のアイテムの前記特定のふるまいを検出することを含み、前記画像データに処理を施すことは、複数の前記複数のアイテムの前記特定のふるまいとは異なる処理を、前記複数のアイテムの前記特定のふるまいの画像データに施すことを含む、
請求項８に記載の画像データ処理方法。
【請求項10】
前記複数のアイテムの前記特定のふるまいの画像データに画像データ処理を施すことは、前記複数のアイテムの前記特定のふるまいの他の複数のアイテムの前記特定のふるまいの画像データとは異なる画像処理を、複数のアイテムの前記特定のふるまいの画像データに施すことを含む、請求項９に記載の画像データ処理方法。
【請求項11】
アイテムの前記特定のふるまいを検出することは、アイテムの前記特定のふるまいの出現を判定するために、前記画像データを分析することを含む、請求項８～請求項１０の何れか１項に記載の画像データ処理方法。
【請求項12】
ユーザ監視制御データを受信し、前記ユーザ監視制御データから取得される監視パラメータに従って、アイテムの前記特定のふるまいの検出を制御する、
ことをさらに含む、
請求項８～請求項１１の何れか１項に記載の画像データ処理方法。
【請求項13】
前記ユーザ監視制御データから取得されるパラメータに従って、前記画像データを選択的に処理することをさらに含む、請求項１２に記載の画像データ処理方法。
【請求項14】
前記ユーザ監視制御データは、ユーザによって入力される言語文を含む、請求項１２または請求項１３に記載の画像データ処理方法。
【請求項15】
請求項１～７の何れか１項に記載の画像データ処理装置を実装するようにコンピュータを制御する命令を含むコンピュータプログラム。
【請求項16】
請求項１５に記載のコンピュータプログラムを提供するコンピュータ可読媒体。
【請求項17】
プロセッサと、メモリと、
オペレーティングシステムサポートコンピュータプロセスと、
を含む、計算処理装置、
を含む画像データ処理装置であって、
制御プロセスが、
ユーザ監視制御データを受信し、
前記ユーザ監視制御データからユーザ監視パラメータを取得する、
ように設定され、
画像データプロセスが、カメラデバイスで生成された画像データを受信するように設定され、
前記画像データプロセスが、前記制御プロセスに応じて、前記ユーザ監視パラメータに従って前記画像データを選択的に処理し、
検出プロセスが、シーンに生じるアイテムの特定のふるまいを検出する、ように設定され、
前記検出プロセスが、前記制御プロセスに応じて、前記ユーザ監視パラメータに従って、アイテムの前記特定のふるまいの検出を制御する、
画像データ処理装置。
【請求項18】
前記ユーザ監視パラメータは、関心オブジェクト、
特定オブジェクト、
シーンの前景、
様々な解像度／フレームレート／セクション、
イベント、
顔、
の少なくとも１つを含む、
請求項１７に記載の画像データ処理装置。
【請求項19】
ユーザがユーザ監視制御データを入力することを可能とするユーザ制御インタフェースを含む、請求項１７または請求項１８に記載の画像データ処理装置。
【請求項20】
アイテムの前記特定のふるまいに関するデータを生成するために、前記画像データを処理するように設定されているメタデータプロセスを含む、請求項１７～請求項１９の何れか１項に記載の画像データ処理装置。
【請求項21】
ユーザ監視制御データは、メタデータを介した前記画像データプロセスの制御に影響するコマンドを含む、請求項２０に記載の画像データ処理装置。
【請求項22】
前記ユーザ監視制御データは、自然言語コマンドを含む、請求項１７～請求項２１の何れか１項に記載の画像データ処理装置。
【請求項23】
前記画像データプロセスは、前記画像データを前景画像データと背景画像データとに分割し、前記前景画像データと前記背景画像データとに異なる処理を施す、ように設定されている、請求項１７～請求項２２の何れか１項に記載の画像データ処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データを処理する装置及び方法に関し、詳細には、シーンに存在する、または、シーンで生じているイベントまたはアイテムに依存する、シーンのビデオ画像データを処理するためのシーンの監視に関連する。しかしながら、本発明は、これらに限定されるものではない。
【背景技術】
【0002】
現在のビデオ監視装置は、カメラ及び（計算処理装置などの）処理装置を含み、処理装置は、画像データを取得し、画像データを処理し、処理した画像データを、ビデオを表示するエンドユーザデバイスに送信する。代替的に、または、追加的に、計算処理装置は、ユーザデバイスによって後で見るために画像データを保存してもよい。
【0003】
高解像度画像データの処理は、大容量リソースを必要とする。高解像度カメラからの画像データストリーム全てが、保存され、及び／または送信されるべきであれば、広帯域であり大容量ストレージを有するシステムが必要とされる。これは、シーンを観察するＣＣＴＶカメラなどの、高解像度カメラが長時間にわたってシーンを監視する、カメラを使用するアプリケーションの全て、または、監視における大きな問題である。
【0004】
高解像度画像の画像データ全てを保存及び／または送信するためのコストは高額であり得る。
【0005】
リソースの負荷を低減するために、様々な画像処理技術を使用し得る。よく使用される画像データ処理技術では、シーンで生じた変化だけを決定し（動き検出）、シーンにおける動きもしくは変化だけを送信する。規則的な間隔で、背景を含む全フレームを送信してもよい。しかしながら、この既知の技術を使用する場合であっても、高解像度に必要とされるデータの全てを保存及び／または送信するために要求されるリソースは、法外であり得る。
【先行技術文献】
【特許文献】
【0006】
【文献】オーストラリア特許第２００９２４３９１６
【文献】国際公開２００９／１３５２５３
【文献】国際公開２００３／０４４７５２
【発明の概要】
【発明が解決しようとする課題】
【0007】
本出願では、シーンの高解像度画像ストリーム及び低解像度画像ストリームを取得する従来のシステムを改善している。低解像度ストリームは、オブジェクトまたはイベントを検出するために、監視される。低解像度画像ストリームにおいてオブジェクトまたはイベントを検出すると、対応する領域が高解像度画像ストリームから取得される。したがって、検出されたオブジェクトまたはイベントは、高解像度で取得される。この改善については、本出願人による特許文献１で説明されている。
【0008】
監視システムにおけるさらなる改善が必要とされている。
【課題を解決するための手段】
【0009】
第１の態様によれば、本発明は、プロセッサと、メモリと、オペレーティングシステムサポートコンピュータプロセスと、を含む画像データ処理装置であって、画像データプロセスが、シーンの画像データを受信する、ように設定され、検出プロセスが、前記シーンに現れる、もしくは生じる、アイテムもしくはイベントを検出する、ように設定され、前記画像データプロセスは、アイテムもしくはイベントの検出に応じて、アイテムもしくはイベントが現れるもしくは生じるシーンの部分の画像データに、前記シーンの他の部分に関連する画像データとは異なる処理を施し、前記シーンの部分は前記アイテムもしくはイベントについてフォーカスされている部分である、画像データ処理装置を提供する。
【0010】
実施例において、シーンの部分に関連する（シーンで生じたアイテムもしくはイベントに関連する）画像データは、シーンの他の部分と関連する画像データとは異なる処理を施されることができる。例えば、計算処理装置は、顔を識別するように設定されてもよい。シーンに生じる顔は識別され、顔に関連する画像データには他の画像データとは異なる処理が施される。例えば、異なる圧縮レートが、顔に関連する画像データに適用されてもよい。任意の他の処理が適用されてもよい。
【0011】
例えば、実施例において、顔に関連する画像データは、比較的高解像度となる圧縮レートで処理され、画像データの他の部分が比較的低解像度となる圧縮レートで処理されてもよい。これにより、画像全体が高解像度で保存され、及び／または伝送されなくてもよい。重要な必要とされる情報を含むシーンの部分（例えば、顔を含む部分）だけが、高解像度で伝送され、及び／または保存される。これにより、実質的に伝送及び／または保存の容量が節約される。
【0012】
シーンは、異なる手法で処理されてもよい、例えば、異なるレートで圧縮されてもよい、複数のアイテムまたはイベントを有していてもよい。これにより、重要であると看做されるアイテム及びイベントにシーンの残りの部分とは異なる処理を施すことが可能となり、伝送及び／または保存の容量を節約することができ、一方で、重要な詳細は、例えば、高解像度で提供することができる。
【0013】
実施例において、画像データプロセスは、圧縮レート、圧縮タイプ、解像度、フレームレートもしくは処理の任意の他のタイプを変更することで画像データを処理するように設定されてもよい。
【0014】
実施例において、「背景」シーンは、低解像度で記録されるように設定されてもよい。実施例において、「背景」は、経時的に変化が少ないシーンの部分、例えば、動かないアイテムである。この実施例において、前景（例えば、動くオブジェクト及びより急速に変化する他のアイテム）は、より高い解像度で処理されてもよい。加えて、指定された「重要な」アイテムもしくはイベント（例えば、顔）は、さらに高い解像度で処理されてもよい。システムは、データの処理を最適化するように設定されてもよく、一方で、「重要な」選択されたイベント及びアイテムに関する詳細な情報を提供してもよい。イベントは、転ぶ人、落書きをする人、もしくは任意の他のイベントなどの任意のイベントを含んでいてもよい。これらのイベントの付近のビデオデータは他のビデオデータとは異なる処理を施されてもよい。任意のイベントもしくはオブジェクトが取得され、異なる処理を施されてもよい。
【0015】
実施例において、装置は、選択された情報を改訂するために実装され得る改訂プロセスを含む。例えば、プロセスの間に、識別された人の顔が改訂され、識別されたアイテムが改訂されてもよい。顔は、別個の安全なデータベースに保存されてもよい。実施例において、承認された人が適切なキーでシステムにアクセスする場合、改訂プロセスを元に戻すことができる。元に戻すプロセスにおいて、システムは安全なデータベースから高解像度画像を取り出し、メタデータ情報に基づいて、画像の適切な部分に高解像度画像を挿入する。
【0016】
実施例において、装置は、アイテム、イベントなどのメタデータを生成するために、画像データを処理するように設定されているメタデータプロセスを含む。メタデータプロセスは、「メタオブジェクト」として知られている、アイテムもしくはオブジェクト全部のメタデータを生成してもよい。メタデータは処理された画像データと共に、伝送され、及び／または、保存されてもよい。実施例において、検出プロセスは、オブジェクト／アイテム及び／またはイベントを識別するように設定された識別プロセスを含んでいてもよい。メタデータは、オブジェクト／アイテムもしくはイベントを識別するために識別プロセスに従って、生成されてもよい。例えば、人が識別され、メタデータは人の名前を含んでいてもよい。メタデータは、例えば、セキュリティシステムにおいて、たいへん有用である。
【0017】
実施例において、オブジェクトもしくはアイテムは、画像内のオブジェクト／アイテムの外郭もしくは位置を画定し得るメタデータと共に、異なる処理によって（例えば、より高い解像度を与える圧縮レートで）保存され、もしくは、伝送されてもよい。この「メタオブジェクト」は、ビデオ監視システム（ＶＭＳ）がすでに低解像度で画像全体を記録している場合に、ＶＭＳを補強するために使用されてもよい。これは、低解像度で全てを記録するＶＭＳでよく見られる。メタオブジェクトが高解像度で表示されるように、システムは、低解像度画像の適切な部分の低解像度画像にメタオブジェクトを重畳することができる。装置は、例えば、高解像度で見たいオブジェクトをユーザが指定することを可能とし、メタデータ外郭を使用し、メタオブジェクトが高解像度でストレージから取得される。
【0018】
実施例において、複数の異なる処理が、シーンの部分に関連する画像データの複数の部分に適用されてもよい。異なる圧縮レートが、シーンの異なるアイテムもしくはイベントに関連する画像データに適用されてもよい。
【0019】
実施例において、装置は、識別プロセスのパラメータを設定するように設定されている制御プロセスを含み、パラメータに従って、アイテムもしくはイベントを識別する。例えば、パラメータは、アイテムが「顔」、「車」もしくは任意のオブジェクトであることを含んでいてもよい。パラメータは、イベントが「シーンを通って移動する赤い車」などの特定の事象であることを定義してもよい。赤い車は、識別プロセスによって識別され、シーンを通って移動する赤い車に関連する画像データに異なる画像処理が適用されてもよい。任意の制御パラメータが、識別プロセスに適用されてもよい。実施例において、制御プロセスも、異なるアイテム、異なるイベントに異なる圧縮レート、異なるフレームレート、異なる圧縮のタイプなど、画像データによって提供される処理を制御するように設定されてもよい。
【0020】
実施例において、制御データは、制御プロセスを動作させるために提供されてもよい。実施例において、制御データは、ユーザデバイスからのユーザ監視制御データとして提供されてもよい。本発明のこの態様は、ユーザによって提供される制御データに限定されるものではない。代替的には、装置に予め設定されていてもよい。管理者によって設定されてもよい。
【0021】
第２の態様によれば、本発明は、シーンの画像データを受信し、前記シーンに現れるもしくは生じる、アイテムもしくはイベントを検出し、アイテムもしくはイベントの検出に応じて、アイテムもしくはイベントが現れるもしくは生じるシーンの部分の画像データに、前記シーンの他の部分に関連する画像データとは異なる処理を施し、前記シーンの部分は前記アイテムもしくはイベントについてフォーカスされている部分である、画像データ処理方法を提供する。
【0022】
第３の態様によれば、本発明は、本発明の第１１の態様による装置を実装するようにコンピュータを制御する命令を含むコンピュータプログラムを提供する。
【0023】
第４の態様によれば、本発明は、本発明の第３の態様によるコンピュータプログラムを提供するコンピュータ可読媒体を提供する。
【0024】
第５の態様によれば、本発明は、本発明の第３の態様のコンピュータプログラムを含むデータ信号を提供する。
【0025】
第６の態様によれば、本発明は、プロセッサと、メモリと、オペレーティングシステムサポートコンピュータプロセスと、を含む、計算処理装置、を含む画像データ処理装置であって、制御プロセスが、ユーザ監視制御データを受信する、ように設定され、画像データプロセスが、画像データを受信するように設定され、前記画像データプロセスが、前記制御プロセスに応じて、前記制御データから取得される監視パラメータに従って前記画像データを選択的に処理する、画像データ処理装置を提供する。
【0026】
実施例において、シーンの画像データは、監視デバイスによって監視されていてもよい。実施例において、画像データは監視デバイスから受信される。
【0027】
実施例において、画像データはストレージデバイスから受信され、もしくは、ネットワークから受信される。
【0028】
実施例において、監視パラメータは、関心オブジェクト、特定オブジェクト、関心領域、シーンの前景、様々な解像度／フレームレート、重要度／優先度に基づくセクション、イベントに基づくセクションを含む。監視パラメータは、任意の他のパラメータを含んでいてもよい。
【0029】
実施例において、ユーザ監視制御データは、エンドユーザによって提供されてもよい。実施例において、ユーザ監視制御データは、ユーザデバイスから提供される。
【0030】
実施例において、装置は、画像データ処理パラメータを構成する入力をユーザが提供することができる。例えば、エンドユーザは、特定のシーンの顔を表示することを所望するかもしれないし、監視制御データは、ユーザが顔を識別することを所望することを示すように生成されてもよい。装置は、画像データを処理してもよい。例えば、顔であると看做されるオブジェクトを識別し、当該画像データを高解像度で提供し、他の画像データを比較的低い解像度で提供してもよい。実施例において、ユーザは、制御データを介して、任意の監視パラメータを実装するように、システムを構成することができる。
【0031】
実施例において、制御データは、監視デバイスによって監視されているシーンに存在するアイテムのアイテム識別子を含んでいてもよい。例えば、アイテムは、「乗り物」、「顔」、「車」、もしくは、何れか他のアイテムを含んでいてもよい。
【0032】
実施例において、制御データは、例えば、アイテムの色、アイテムのサイズ、もしくは、アイテムの任意の他の属性などのアイテムの属性を含んでいてもよい。
【0033】
実施例において、制御データは、例えば、アイテムの動き、アイテムの速度、もしくは、他の振る舞いなど、アイテムの振る舞いを含んでいてもよい。
【0034】
実施例において、制御データは、ユーザによって入力される言語文の形態であってもよいし、制御プロセスは、画像データプロセスに監視パラメータを提供するために言語文を解釈するように設定されていてもよい。例えば、制御データは、「シーンに入る［アイテムの振る舞い］任意の赤い［アイテム属性］乗り物［アイテム識別子］」などの言語文を含んでいてもよい。制御データは、任意の他の言語文を含んでいてもよい。
【0035】
実施例において、装置は、アイテム、アイテム属性及びアイテムの振る舞いに関するメタデータを生成するように画像データを処理するように設定されているメタデータプロセスを含む。このメタデータは、制御データ（例えば、アイテム識別子、アイテム属性、アイテムの振る舞い）を介してアクセスされ、制御データに基づくビデオの再生を可能とする。実施例において、上記したように、装置は、アイテム／オブジェクトもしくはイベントを識別するように設定されている識別プロセスを含む。実施例において、メタデータは、アイテム／オブジェクトもしくはイベントの識別に関連して生成される。例えば、メタデータは識別された人の名前を含み得る。
【0036】
実施例において、ユーザは、制御データから取得された監視パラメータに依存して異なる圧縮を実装するように、制御データを介してシステムを構成することができる。ユーザは、制御データを使用して画像データをサーチしてもよい。ビデオは、サーチパラメータ（例えば、アイテム識別子、アイテム属性、アイテムの振る舞いなどを含む）に基づいて再構成されてもよい。
【0037】
実施例において、画像データの選択的な処理は、異なる態様の画像データの異なる圧縮を実装することを含んでいてもよい。エンドユーザが顔を識別することを所望する場合、例えば、顔が検出されるか、もしくは、顔である可能性があると看做されるオブジェクトが検出され、これらのオブジェクトの画像データが、シーンの他の画像データとは異なるレートで圧縮されてもよい。画像データは、様々な圧縮レートで伝送され、及び／または保存されてもよい。
【0038】
異なる圧縮レートが適用されるだけでなく、異なる圧縮技術が画像データに適用されてもよい。
【0039】
実施例において、装置は、ユーザが、監視制御データを入力することを可能とするユーザ制御インタフェースを含む。ユーザ制御インタフェースは、制御端末などのユーザデバイスを介して実装されてもよいし、タブレット、スマートフォン、ＰＣ、ラップトップもしくは任意の他の計算処理装置を介して実装されてもよい。
【0040】
実施例において、画像データプロセスは、前景画像データ及び背景画像データに画像データを分離し、前景画像データと背景画像データとに異なる処理を施すように設定されている。例えば、前景データは、背景データより高いフレームレートで、及び／または、背景データとは異なる解像度で提供されてもよい。これは、監視制御データに従って、画像データの選択的な処理に加えて行われてもよい。複数の異なる形態の処理が適用可能である。
【0041】
実施例において、制御データは、画像データプロセスが画像データを前景と背景とに分離するか否か決定してもよい。前景及び背景処理は、予め構成されていてもよいし、ユーザに制御されてもよい。
【0042】
第７の態様によれば、本発明は、シーンの画像データを受信し、監視制御データを受信し、前記監視制御データに基づいて、前記制御データによって作用される監視パラメータに従って前記画像データを処理する、画像データ処理方法を提供する。
【0043】
実施例において、シーンの画像データは、監視デバイスによって監視されている。実施例において、画像データは監視デバイスから受信される。
【0044】
実施例において、画像データはストレージデバイスから受信されるか、もしくは、ネットワークから受信される。
【0045】
実施例において、監視パラメータは関心オブジェクト、特定オブジェクト、シーンの前景、様々な解像度／フレームレート、イベントに基づく重要度／優先度に基づくセクションを含む。監視パラメータは、任意の他のパラメータを含んでいてもよい。
【0046】
実施例において、方法は、メタデータを生成するために画像データを処理する。実施例において、メタデータは、シーンにおけるアイテムに関するデータ、アイテム属性及びアイテムの振る舞いを含む。実施例において、方法は、監視制御データに従って、異なる画像処理を実装するために、メタデータを利用する。制御データは、画像処理を制御するために、メタデータを参照するコマンドを含んでいてもよい。例えば、制御データは、特定のアイテム（例えば、顔）を特定し、高解像度で当該アイテムを提供するように要求してもよい。実施例において、方法は、制御データに従って、画像データをサーチするためにメタデータを利用する。実施例において、方法は、サーチプロセスによって検出されるビデオを再構成する。
【0047】
第８の態様によれば、本発明は、本発明の第６の態様による装置を実装するようにコンピュータを制御する命令を含む、コンピュータプログラムを提供する。
【0048】
第９の態様によれば、本発明は、本発明の第８の態様によるコンピュータプログラムを提供するコンピュータ可読媒体を提供する。
【0049】
第１０の態様によれば、本発明は、本発明の第８の態様によるコンピュータプログラムを含むデータ信号を提供する。
【0050】
第１１の態様によれば、本発明は、プロセッサと、メモリと、オペレーティングシステムサポートコンピュータプロセスと、を含む、計算処理装置、を含む画像データ処理装置であって、画像データプロセスが、画像データを受信する、ように設定され、メタデータプロセスが、エンドユーザが関心を有する可能性があるアイテムもしくはイベントに関するメタデータを生成するように前記画像データを処理する、ように設定されている、画像データ処理装置を提供する。
【0051】
実施例において、メタデータはオブジェクトの座標データもしくは他の位置データを含むことができる。メタデータは、オブジェクトの画像の外郭を含み得る。実施例において、メタデータは、画像データのアイテムもしくはイベントの任意の特性を含む。これらは、色、方向、速度及び他の特性であってよい。装置は、オブジェクトもしくはイベントを識別するように設定されている識別プロセスを含み得る。例えば、識別プロセスは、画像の顔と、保存されている顔とを比較するソフトウェア（例えば、顔識別プロセス）を含むことができ、人を識別する。人識別（例えば、名前）は、メタデータとして提供されてもよい。人以外の他のオブジェクト及び／またはイベントが、識別されてもよい。
【0052】
実施例において、メタデータは、画像の識別されたオブジェクト／イベントの外郭または座標を含み得る。これは、オブジェクト／イベントの高解像度画像をフェッチもしくは伝送するために利用されてもよく、高解像度画像は、予め収集された背景低解像度画像に重畳されてもよい。この「メタオブジェクト」もしくはイベントは、人が所望する詳細を表示するために取得されてもよい。
【0053】
第１２の態様によれば、本発明は、シーンの画像データを受信し、エンドユーザが関心を有する可能性があるアイテムもしくはイベントに関するメタデータを生成するように前記画像データを処理する、画像データ処理方法を提供する。
【0054】
第１３の態様によれば、本発明は、本発明の第１１の態様による装置を実装するためにコンピュータを制御する命令を含むコンピュータプログラムを提供する。
【0055】
第１４の態様によれば、本発明は、本発明の第１３の態様によるコンピュータプログラムを提供するコンピュータ可読媒体を提供する。
【0056】
第１５の態様によれば、本発明は、本発明の第１３の態様によるコンピュータプログラムを含むデータ信号を提供する。
【発明の効果】
【0057】
本発明の特徴及び効果は、図面を参照した以下の実施例の説明で明らかとなる。以下の実施例の説明は単なる例示である。
【図面の簡単な説明】
【0058】
【図1】本発明の実施例による監視を実施する装置のブロック図である。
【図3】本発明の実施例の動作を例示するフローチャートである。
【図4】本発明の実施例の動作を例示するフローチャートである。
【図5】本発明の実施例の動作を例示するフローチャートである。
【図6】本発明の実施例の動作を例示するフローチャートである。
【図7】本発明の実施例の動作を例示するフローチャートである。
【図8】本発明の実施例の動作を例示するビデオ画像である。
【図9】本発明の実施例の動作を例示するビデオ画像である。
【図10】本発明の実施例の動作を例示するビデオ画像である。
【図11】本発明の実施例によって利用され得る集中アーキテクチャのブロック図である。
【図12】本発明の実施例による装置の分散アーキテクチャのブロック図である。
【図13】本発明の実施例のより一般的な全体アーキテクチャを例示する。
【発明を実施するための形態】
【0059】
図１に、ビデオデータを処理する装置１００を例示する。本装置は、計算処理装置を含む。計算処理装置は、例えば、データ管理サーバ１１４及び検出及び識別エンジン１０９を含む。検出及び識別エンジン１０９は、監視デバイス１０２から受信した画像データを処理する画像データプロセスを実装するように、配置されている。監視デバイスは、例えば、シーン１０４に焦点をあて、シーンの画像を生成し、計算処理装置１００に画像データ１０７を提供する高解像度カメラであってよい。
【0060】
本実施例において、検出及び識別エンジン１０９は、また、シーンで生じるまたは現れるイベントまたはアイテムを検出する検出プロセスを実装する。画像データプロセスはイベントまたはアイテムの検出に応じ、イベントまたはアイテムが現れ、または、生じるシーンの部分の画像データを、シーンの他の部分と関連付けられている画像データとは異なるように処理する。例えば、監視が、詳細には、人の顔の検出に関するのであれば、検出プロセスは、シーンに現れる顔の検出を行う。顔に関連付けられた画像データは、他の画像とは異なる高解像度で（即ち、異なる圧縮レートで）生成されてもよい。システムは、送信及び／または保存に必要なデータ量を削減し、一方で、重要なデータ（顔）は高解像度で保持する。
【0061】
計算処理装置１００は、また、監視制御データを受信する制御プロセスを含む。画像データプロセスは監視制御データに応じ、制御データによって実装される監視パラメータにしたがって、画像データを選択的に処理する。
【0062】
装置１００は、制御処理を実装するデータ処理制御エンジンを含み、監視制御データを受信し、監視パラメータにしたがった画像データの選択的な処理を実装する。
【0063】
ユーザ制御データがクライアントデバイス１１６、１１８、１２０によって生成される。これらのクライアントデバイス１１６、１１８、１２０は、任意のユーザデバイス、例えば、端末、スマートフォン、ラップトップ、ＰＣ、または、他のユーザデバイスを含み得る。ネットワーク（例えば、インターネット）であってよい通信１３０が使用され、これにより、ユーザデバイス１１６、１１８、１２０は、計算処理装置１００にアクセスし、監視制御データを提供することができる。
【0064】
本実施例において、ユーザは、ユーザが関心をもつイベントまたはアイテムに集中できるように、監視パラメータを実装することができる。例えば、ユーザは、シーン１０４に入ってくる乗り物に集中することを所望する場合がある。制御監視データによって、ユーザは、装置１００に、ユーザが、シーン１０４に入ってくる任意の乗り物に焦点をあてることを所望していることを伝える。装置１００は、乗り物に焦点をあてるように、画像データを処理する。例えば、高解像度で乗り物に関連する画像を提供し、シーンの他の部分に関連する画像データの他の部分を低解像度で提供するようにしてもよい。画像データは、ユーザデバイス１１６、１１８、１２０に送信され、及び／または、装置１００のデータベース１３２に保存されてもよい。シーンに入ってくる乗り物は、検出識別エンジン１０９によって実装される、検出及び識別プロセスによって、検出され識別される。乗り物が現れるシーンの部分に関連付けられている画像データには、シーンの他の部分に関連付けられている画像データとは、異なる処理が行われる。任意の処理が適用されてよい。乗り物に関連付けられている画像データは、例えば、シーンの他の部分の画像データよりも高い解像度となるように処理される。例えば、高データ高解像度カメラ１０２が画像データを提供している場合、乗り物に関連付けられている画像データは、カメラ１０２の利用可能な最高解像度で保存され、及び／または送信される。シーンに関連する画像データの他の部分は、比較的低い解像度で保存され送信される。画像データは、データストレージに保存され、及び／または送信される。
【0065】
計算処理装置１００は、データ管理サーバ１１４及び検出及び識別エンジン１０９及びデータベース１３２を実装する単一のコンピュータを含んでいてもよいし、一方はデータ管理サーバ１１４を含み、他方は検出及び識別エンジン１０９を含む別個のコンピュータを含んでいてもよい。この場合、検出及び識別エンジン１０９とデータ管理サーバ１１４との間のネットワーク接続１１２が存在する。
【0066】
装置１００は、クライアントシステム１１６、１１８、１２０から離れて存在してもよいし、カメラ１０２から離れて存在していてもよい。代替的に、カメラ１０２の近くに存在してもよい。カメラ１０２と装置１００との接続１０７は、高解像度データの伝送が可能となるように、広帯域接続であってよい。
【0067】
他の実施例において、検出及び識別エンジン１０９、及びデータ処理制御エンジン１６０は、カメラ１０２の処理装置に実装されていてもよい。サーバ１１４と検出及び識別エンジン１０９との間のネットワーク接続は、この場合、ブロードバンドであってもよいし、低解像度接続であってもよい。低解像度である場合、検出及び識別エンジン１０９で処理が行われ、監視制御データにしたがって、サーバに送信される帯域情報を低減する。
【0068】
図２は、装置１００の実装に利用可能な例示的な計算処理装置の配置を示すブロック図である。検出及び識別エンジン１０９とデータ管理サーバ１１４とが別個である場合、図２にしたがって、２つのコンピュータが使用され得る。検出及び識別エンジン１０９とデータ管理サーバ１１４とが一体である場合、図２にしたがって、単一の計算処理デバイスが使用され得る。
【0069】
コンピュータ９００は、サーバコンピュータ、パーソナルコンピュータ、ポータブルコンピュータ、もしくは他の任意のタイプの計算処理デバイスであってよい。コンピュータ９００は、監視デバイス１０２と一体化された計算処理ハードウェアであってもよいし、監視デバイス１０２と別個のハードウェアであってもよい。
【0070】
コンピュータ９００は、本発明の本実施例の監視装置１００を実装するために、適切なオペレーティングシステム及び適切なコンピュータプロセスを含む。
【0071】
コンピュータ９００は、１つもしくは複数のデータ処理ユニット（ＣＰＵ）９０２、メモリ９０４、ユーザインタフェース９０６、他のコンピュータ及び他のデバイスと通信するためのネットワークもしくは他の通信インタフェース９０８、及び、システム９００の様々な部分と相互に接続するための１つもしくは複数の通信バス９１０を含む。メモリ９０４は、様々なタイプのＲＡＭメモリ、磁気ディスク、光ディスク、ソリッドステートメモリなどの、揮発性メモリまたは不揮発性メモリを含んでいてもよく、ユーザインタフェース９０６は、モニタ、キーボード、マウス及び／またはタッチスクリーンディスプレイを含んでいてもよい。
【0072】
コンピュータ９００は、通信インタフェース９０８を介して、データベース９１４に保存されているデータにアクセスしてもよい。データベース９１４は、分散データベースであってよい。データベースは、図１に参照符号１３２で示されている。
【0073】
コンピュータ装置の一部または全部は、「クラウド」で実装されていてもよい。
【0074】
本発明の実施例は、本実施例の装置及び方法を実装するために、計算処理装置のハードウェアを動作させる命令を提供する適切なソフトウェアによって実装される。本発明の実施例を促進するコンピュータプロセスは、ルーチン及びサブルーチンなどの共通基盤を共有することができる別個のモジュールとして実装されてもよい。コンピュータプロセスは、任意の適した方法で実装されることができ、別個のモジュールに限定されない。機能を実装する任意のソフトウェア／ハードウェアアーキテクチャを使用することができる。
【0075】
図１において、データ管理サーバ１１４は、クライアントデバイス１１６、１１８、１２０によってアクセスされ得る制御インタフェースを生成するように構成されている。制御インタフェースは、制御メニュー１５０を含み、制御メニュー１５０は、監視制御パラメータをユーザに入力させ、監視制御パラメータから、監視制御データが、画像データ処理を制御するためにシステム１００によって生成され得る。制御パラメータは、任意のパラメータを含むことができる。パラメータは、きわめて細かい制御を実装し得る。
【0076】
監視制御データは、本実施例において、ユーザが画像データの圧縮を制御することを可能としてもよい。例えば、画像のある部分は、高解像度で提供され、他の部分は低解像度で提供されてもよい。制御インタフェースは、圧縮などの画像制御パラメータを制御するために、ユーザから命令を受信するように設定された制御メニューを含んでいてもよい。命令は、シーンの特定されたエリアの圧縮を制御するだけのシンプルな命令であってよい。例えば、クライアントは、周囲の画像より、高い解像度で、シーンにおいて表されるように、玄関を指定してもよい。他の命令は、前景画像を高解像度で提供し、背景画像を低解像度、例えば、低フレームレート、低圧縮で提供するように、画像処理を制御してもよい。制御メニューは、画像データの圧縮の特定制御を可能とする他の命令を含んでいてもよい。
【0077】
異なる処理が、上記したように、シーンの異なる部分に関連付けられた画像データの異なる部分に適用されてもよい。異なる圧縮タイプ、例えば、異なる解像度、異なるフレームレートが、異なるシーンの要素に適用されてもよい。任意のタイプの処理が適用され得る。
【0078】
上記したように、本実施例において、制御データ及び制御プロセスは、パラメータにしたがってアイテムまたはイベントを識別し、アイテム及びイベントに関連付けられた画像処理に異なる画像処理を適用するために、（検出及び識別エンジン１０９によって実装される）識別プロセスのパラメータを設定してもよい。検出及び識別プロセスは、データベース１３２に保存されたデータと協働して、アイテムまたはイベントを識別するために、（例えば、顔、乗り物などの、保存されたアイテムまたはイベントとアイテムまたはイベントとを比較するために、）適切なアルゴリズムを含んでいてもよい。
【0079】
識別プロセスによって検出される複数のイベントまたはアイテムが存在していてもよい。これらの複数のアイテムまたはイベントに関連付けられている画像データは、画像データの他の部分とは異なるように処理されてもよいし、他のアイテムまたはイベントの画像データと異なるように処理されてもよい。
【0080】
検出及び識別は、動き及び非動き（静止）検出アルゴリズムを含んでいてもよい。特許文献２参照。
【0081】
特定のアイテム及び対象は、アイテムを識別するために、画像データとデータベース１３２に保存されているデータとを相互参照することで識別されてもよい。識別技術は、顔認識、乗り物のライセンスプレート認識、またはオブジェクト認識または他の識別の形態のいずれかであってよい。
【0082】
本実施例において、検出及び識別エンジンは、画像データからメタデータを取得するように設定されているソフトウェア及びアルゴリズムを含む、メタデータプロセスを含む。メタデータは、例えば、シーンに現れるオブジェクト、アイテム、イベントに関するデータである。メタデータは、アイテムの識別、アイテムの大きさ、動き、色、他の特性または振る舞いを含んでいてもよい。
【0083】
制御データは、画像処理に作用するように、メタデータを利用することができる命令を含む。例えば、制御データは、「赤いオブジェクトの全てを高解像度で提供する」ような、命令を含んでいてもよい。この命令は、オブジェクトを識別し、当該オブジェクトを高解像度で提供するように、画像処理に作用する。例えば、「シーンに入る赤い乗り物は全て」、高解像度で提供されている赤い乗り物の画像となるよう、より精密な制御が、他の命令で、適用されてもよい。
【0084】
制御メニュー１５０を介して、ユーザは、ユーザ監視パラメータに精密な制御ルールを提供してもよい。例えば、以下のような精密な制御指示がクライアント１１６、１１８、１２０からデータ管理サーバ１１４及びデータ処理制御エンジン１６０に送信され、観察するように検索及び識別エンジンを制御し、異なる圧縮（例えば、高解像度）で提供する。
●シーンに入る全ての乗り物
●シーンに入る全ての赤い乗り物
●トラックではない車または自転車
●全ての転ぶ人
●鞄を捨て、歩き去る人の顔
●シーンに入る全ての人の顔
●シーンに入る白いシャツを着た全ての人の顔
●シーンに入る全ての乗り物
●シーンに入る全ての赤い乗り物
●トラックではない車または自転車
●全ての転ぶ人
●鞄を捨て、歩き去る人の顔
●シーンに入る全ての人の顔
●シーンに入る白いシャツを着た全ての人の顔
【0085】
制御データを生成することができるより多くの制御パラメータが存在してもよい。ユーザは、制御インタフェース１５０を介して、複数の監視パラメータにわたる、極めて精密な制御を行うことができる。
【0086】
制御命令に依存して圧縮を変動させると共に、制御メニューは、特定の属性またはふるまいを有するアイテムをサーチするために使用されてもよい。例えば、ユーザは、特定のアイテムまたはイベントが起こった場合に、警告されることを望むかもしれない。例えば、人が転ぶと、警告を必要とするかもしれない。制御メニューは、警告を行うように、命令を設定することができる。また、人が転ぶ画像は、高解像度で（異なる圧縮で）提供されてもよい。
【0087】
制御インタフェースは、イベント後に、データベース１３２に保存されているビデオをサーチするために使用されてもよい。サーチ命令は、「特定の日付の間に、シーンに入ってくる全ての乗り物」をサーチするものであってよい。データ管理サーバは、処理されたビデオにアクセスし、命令にしたがってビデオをリターンする。乗り物は、高解像度で提供されてもよい。これにより、ユーザは、複数の態様の画像処理を制御することができる。精密な手法で、画像の圧縮を制御することができ、シーンに現れるアイテム、オブジェクト及びイベントについて異なる圧縮レートを決定することができる。発生するとビデオを見てもよいし、予め保存されたビデオをサーチしてもよい。代替的に、データ管理サーバは、制御指示にしたがうアラームを提供してもよいし、ユーザは、アラームと共に提供され得るビデオにアクセスしてもよい。
【0088】
より詳細には、監視カメラ１０２は、デジタルまたはアナログ画像ストリームを生成するように構成されている、任意のタイプの電子カメラであってよい。監視カメラ１０２がアナログ画像ストリームを出力する場合、画像ストリームは、アナログデジタルコンバータによってデジタル出力に変換される。カメラ１０２は、１メガ画素以上の画素解像度を有する任意のＩＰカメラであってよいが、他のタイプのカメラであってもよい。
【0089】
本実施例において、監視領域１０４の一般的なシーンは、一つもしくは複数の関心領域１０６を含んでいてもよい。アイテム、イベント、もしくは他の任意の特定の対象を特に監視するために、領域を決定してもよい。例えば、これらの領域は、交差点、駐車禁止ゾーン、廊下、カウンター、保安入り口または出口、もしくは監視を必要とする任意の他の領域であってよい。本実施例において、高解像度画像データストリーム１０７は、装置１００に送信される。他の実施例において、（例えば、上記した出願人の以前の出願において、）データストリーム１０７は、異なる圧縮レートを有し、異なる解像度を提供する、複数の画像ストリームを含んでいてもよい。
【0090】
検出識別エンジン１０９は、画像データ１０７を受信し、画像データプロセスにしたがって、画像データを処理する。検出及び識別エンジン１０９によって実装される、画像データプロセスは、変更、動き検出、非動き（静止）検出オブジェクト、顔、もしくは他の任意のアイテムの検出、または、任意の他の処理などを行う、機能を実装することができてもよい。
【0091】
実施例の一つにおいて、画像処理は、通常は行われない動き、イベントを検出し、もしくは、関心領域１０６内のオブジェクトを検出する検出及び識別プロセスを含む。動き、イベントまたはオブジェクトが何であるのかを識別するために、検出領域に関連付けられている画像データを処理する。
【0092】
上記出願人の以前の出願において、通常でない動作、イベントまたはオブジェクトを検出するために低解像度データストリームを使用し、領域が検出されると、当該領域の高解像度データストリームを識別に使用する。
【0093】
データ管理サーバ１１４は、検出及び識別エンジン１０９から受信されるデータを記憶し、照合する。例えば、サーバ１１４は、検出された通常でない動作のタイムスタンプと共に、識別された対象に関連する特定のデータの何れかにマッピングされた、データベース１３２に、検出された通常でない動作またはオブジェクトをもつとしてフラグ付けされた画像データを記憶してもよい。このデータは、次に、クライアントデバイス１１６、１１８、１２０によって、アクセスされてもよい。クライアントデバイス１１６、１１８、１２０はサーバ１１４から、通常でない動作、アイテムなどの検出に関する情報を受信し、当該情報にしたがって動作する。これは、単に、クライアントデバイスのユーザへのアラームのトリガであってもよいし、性質の伝達であってもよいし、デバイスの検出であってもよい。クライアントデバイスは、所望されるシーン及び関心領域及び他の情報を特定する管理サーバに要求を送信してもよい。
【0094】
この実施例において、クライアントデバイス１１６、１１８、１２０及び通信１３０を介して、ユーザは、監視制御データの形態で、データ管理サーバ１１４に、制御メニュー１５０を介して、ユーザ監視パラメータを提供することができる。監視制御データは、データ処理制御エンジン１６０によって実装され、データ検出及び識別エンジン１０９を介して画像データ処理を制御する。
【0095】
ユーザは、制御メニュー１５０を介して、画像データ処理を構成することができる。
【0096】
上記したように、ユーザは、画像データがどのように処理されるかについてかなり精細に制御することができる。例えば、ユーザは、関心を有するアイテム及び／またはイベントを強調するように、画像データを処理することを所望してもよい。例えば、ユーザが、「シーンに入る赤い乗り物」を見ることを所望する場合、検出及び識別エンジンは、まず、動きを検出してもよい。次に、乗り物を識別するために、動きがあるシーンの部分を処理し、画素によって提供される色を検証し、乗り物が赤いか否か判定する。動いている赤い乗り物の画像データは、次に、シーンの他の部分の画像データと異なるレートで圧縮されてもよい。これにより、動いている赤い乗り物は、高解像度で表示される。このデータは、次に、データベース１３２に保存されてもよいし、及び／または、検証用にクライアントデバイス１１６、１１８、１２０に送信されてもよい。アラームが報知されてもよく、これにより、ユーザは、赤い乗り物がシーンに入って来たことを知ることができる。
【0097】
このように、制御メニューを使用し、監視制御データを生成することで、ユーザは、検出及び識別エンジンがどのように動作し、画像データがどのように処理されるか、を制御することができる。ユーザは、アイテム及びオブジェクトを選択することができ、ユーザは、実装を所望する処理のタイプさえ決定することができる。例えば、ユーザは、動く全てのオブジェクトが高解像度で提供されることを所望することができる。ユーザは、非動き検出によって検出される静止している全てのオブジェクトが高解像度で提供されることを所望することができる。ユーザは、適用される処理のタイプを決定することができる。例えば、ユーザは、全体的に、フレームレートもしくは解像度を変更することができる。ユーザは、任意のタイプの処理または必要な重要ポイントを、本質的に選択することができる。
【0098】
処理は、異なる圧縮レートを含んでいてもよく、異なるタイプの圧縮を含んでいてもよい。処理は、任意のタイプの処理を含んでいてもよい。異なるタイプの処理とは異なるタイプの圧縮、異なる圧縮レートを、例えば、シーンで識別されるアイテムまたはイベントに応じて、シーンの異なる部分（シーンの異なる部分に関連する画像データ）に使用することができる。
【0099】
例えば、複数のレベルの圧縮が実装され得る。例えば、顔を極めて高い解像度とし、顔以外の身体を中間解像度とし、背景を低解像度としてもよい。
【0100】
画像処理は、タイムスケジュールによって変更されてもよい。例えば、９時～５時の間、あるタイプの圧縮が実装され、夜間は、異なる規則セットが適用されてもよい。
【0101】
本実施形態において、画像データ処理は、前景画像データ及び背景画像データに画像データを分離し、前景画像をより高いフレームレートで処理し、背景画像をより高い解像度で処理するようにしてもよい。他の実施例において、これは、ユーザの制御によって行われてもよい。
【0102】
背景分離処理は、出願人の以前の出願に記載されている（特許文献３）。この文献は、非動き検出処理及びシステムについても記載している。当業者であれば理解されるように、本発明の実施例は、任意のタイプの動きもしくは非動き検出アルゴリズムと共に実施されることができる。
【0103】
図３に、本発明の実施例による処理のフローチャートを例示する。上記したように、ユーザは、監視制御パラメータを入力するために、クライアントデバイス１１６、１１８、１２０を介して、アクセスする（ステップ１）。シーン１０４の画像は、カメラデバイス１０２によって取得される（ステップ２）。データ処理制御エンジン１６０は、監視制御パラメータを判定し（ステップ３）、検出及び識別エンジンによる画像データ処理を制御する（ステップ４及びステップ５）。画像データ及び／または画像データに関連するデータは、保存されるか、または、送信される（ステップ６）。アラームを報知することをユーザが要求する、イベントが生じた場所、もしくは、オブジェクトが識別された場所が実装されてもよい。
【0104】
本実施例において、画像データは、メタデータを生成するために処理される（ステップ８）。メタデータは、ｘｙ座標を含んでもよいし、もしくは、識別されたオブジェクトの各々の外郭を含んでいてもよい。これは、ビデオに重畳させるためにユーザに送信されてもよい。何れか他のメタデータ、例えば、オブジェクトの色、方向、速度などが、送信されてもよい。メタデータは、データベース１３２に保存されてもよい（ステップ９）。ユーザによって、データベースから何れのタイミングでアクセスされてもよい。
【0105】
クライアントデバイスを介して、ユーザは、画像処理を制御し、生成ビデオをサーチするためにメタデータを利用する制御データを入力してもよい。ユーザによる制御パラメータ入力は、上記したように、自然言語コマンドの形態であってもよい。例えば、「シーンに入る赤い乗り物」が処理され、乗り物の高解像度画像を生成してもよい。他の例は、上記されている。
【0106】
サーチメニューは、クライアントデバイス１１６、１１８、１３０を介して提供される。サーチメニュー１７０（図１）は、クライアントデバイスのアプリケーションとして提供されてもよいし、データ管理サーバ１１４によってウェブ上で提供されてもよい。
【0107】
図４に示すように、ユーザはサーチクエスチョンを入力し（ステップ１）、データベース１３２のメタデータをサーチする（ステップ２）。メタデータがユーザに戻されてもよいし（ステップ３）、ビデオがユーザに戻されてもよい（ステップ４）。
【0108】
サーチメニューは、メタデータ及び画像データをサーチするために複雑な問いを入力することを可能とする。例えば、システムに尋ねる問いは、「午前９時～午前10時に、左折する赤い乗り物を全部見つけて」のようなものであってよい。もしくは、「信号の表示が左折を許可していない場合に、午前９時～午前10時に、左折する赤い乗り物を全部見つけて」のようなものであってよい。
【0109】
他の複雑な問いが入力されてもよい。
【0110】
ビデオシステム（ＶＭＳ）のいくつかにおいて、全てのビデオが取得され、少なくとも比較的低解像度で保存される。本発明の実施例に従って、イベント／オブジェクトが高解像度で別個に保存される場合、装置は、低解像度で保存されたデータにアクセスしてもよいし、メタデータを使用して、低解像度画像に高解像度画像を重畳するようリクエストしてもよい。例えば、取得された低解像度データの低解像度の顔に、高解像度で顔を重畳してもよい。
【0111】
高解像度画像は、「メタデータオブジェクト」であると看做してもよい。ユーザは、すでに取得された低解像度の画像の上に、高解像度の画像を重畳するために、メタオブジェクトを取得してもよい。
【0112】
この実施例は、画像データを処理する場合の改訂処理を実装してもよい。画像の領域のいくつかは、改訂され、他のものが焦点とされてもよい。これは、ユーザの権限レベルに基づいていてもよい。ユーザの何人かは、改訂された画像を受信し、他のユーザは、受信しなくてもよい。改訂は、「フロントエンド」、即ち、写真で生じてもよいし、識別エンジン１０９は、画像の様々なオブジェクト／イベントを識別し、改訂するようにプログラムされてもよい。例えば、様々な既知の人が識別され、その人の顔が改訂されてもよい。他の実施例において、改訂は、処理後に続けて生じてもよい。
【0113】
検出及び識別エンジン１０９は、オブジェクトを識別するために、データベースによって、画像データを相互参照することで、特定のオブジェクトを識別するように設定される。識別エンジンは、この場合、顔、乗り物のライセンスプレートを識別するためのアルゴリズム、オブジェクト認識または他の形態の識別アルゴリズムを実装することができるようにプログラムされたソフトウェアである。
【0114】
上記実施例において、制御データ及び制御処理は、画像処理を制御するためのユーザによる入力を可能とするために利用されてもよい。他の実施例において、装置は、画像処理パラメータで予め設定されてもよく、エンドユーザ制御がなくてもよい。画像処理パラメータは複雑かもしれないが、複数のアイテム及びイベントの識別及び複数の画像処理応答を可能とし得る。
【0115】
本発明は、監視に限定されない。他の画像処理領域にも適用され得る。
【0116】
上記実施例において、単一のカメラ１０２及びシーン１０４が示されている。検出及び識別エンジン及びデータ管理サーバと共に多くのカメラが動作してもよい。また、クライアントがアクセス可能な検出及び識別エンジン及び多くのサーバが存在してもよい。
【0117】
図５は、本発明の実施例の動作を例示するフローチャートである。単一もしくは複数のカメラ１０２は、シーンのビデオデータを取得するために配置される。ステップ１において、カメラ１０２からのデータストリームは２つのストリームに分割される。第１のストリームは、高解像度ビデオストリームであり、第２のストリームは低解像度ビデオストリームである。ステップ２において、低解像度ビデオストリームは、関心オブジェクト／イベントを検出するために処理される。任意の検出分析が使用され、検出が実装される。例えば、非動き検出、動き検出、顔検出、もしくは、いずれか他のタイプの検出が実装されてもよい。ビデオを分析するために利用可能な多くの既知の検出分析が存在する。
【0118】
ステップ３において、関心オブジェクトまたはイベントの座標が決定される。これらの座標は、次に、関連する高解像度画像ストリームの処理のために送信される。
【0119】
ステップ４において、高解像度画像ストリームから、高解像度サブ画像が、判定された座標に基づいて抽出される。
【0120】
ステップ５において、高解像度サブ画像は低解像度ビデオストリームに挿入される。
【0121】
ステップ６において、低解像度の最終ビデオが、高解像度の関心オブジェクト／イベントと共に、保存されるか、及び／または、送信される。
【0122】
ステップ７において、高解像度画像／ビデオが削除されてもよい。即ち、処理を省くために、高解像度画像／ビデオを保存しなくてもよい。
【0123】
図６は、本発明の実施例に従った改訂処理がどのように実装されるかを例示するフローチャートである。
【0124】
いくつかの場合、ある画像は改訂されたほうがよい。これは、画像を見るエンドユーザの権限に依存してもよいし、見られるオブジェクト／イベントに依存した要件によってもよい。例えば、ある場合において、プライバシーを維持するために、人もしくは特定の人の顔を改訂し、識別できないようにしてもよい。
【0125】
高解像度カメラ１０２は、シーンの画像データを取得し、画像ストリームの処理のために画像データを提供する。
【0126】
ステップ１において、画像ストリームは高解像度ビデオストリームと低解像度ビデオストリームとに分割される。
【0127】
ステップ２において、関心オブジェクト／アイテムまたはイベントが検出される。この実施例では、関心をもたれたライセンスプレート及び人々の顔が検出される。しかしながら、本実施例において、任意のオブジェクトまたはイベントが、検出され得る。
【0128】
ステップ３において、検出された、関心をもたれたライセンスプレート及び顔の座標が決定され、高解像度画像の処理のために送信される。
【0129】
ステップ４において、高解像度サブ画像が、受信された座標に基づいて、高解像度ビデオストリームから抽出される。
【0130】
ステップ５において、これらの高解像度サブ画像が、座標と共にサブ画像を保存するデータベース１３２に保存される。
【0131】
ステップ６において、ユーザによって見られる画像が、改訂規則に依存して改訂され、サブ画像の座標の領域がぼやけさせられるか、当該領域に他の改訂が施される。
【0132】
ステップ７において、高解像度ビデオが削除される。
【0133】
図７は、本発明の実施例に従う逆改訂処理を例示するフローチャートである。
【0134】
ステップ１において、改訂されたビデオが低解像度で取得される。
【0135】
ステップ２において、逆改訂のためのユーザの権限が確認される。
【0136】
ステップ３において、改訂された画像の座標に基づいて、高解像度サブ画像がデータベース１３２から引き出される。
【0137】
ステップ４において、データベースからの高解像サブ画像がビデオに置き換えられてもよい。
【0138】
図８，９及び１０は、本発明の実施例の例示的な出力を示す。本実施例において、装置は、顔を検出し、シーンの画像データの残りと比較して、相対的に高解像度で、顔を提供するように設定される。
【0139】
図８は、高解像度カメラで取得される、シーンの高解像度画像を示す。上記したように、高解像度の画像全て及びビデオ全てを送信するための全ビデオの送信は、法外である。同様に、高解像度でのこのデータの保存は、過剰に費用がかかる。
【0140】
図９は、比較的低解像度で同じ画像を示す。このような低解像度画像は、送信及び保存の要件は満たすが、例えば、顔から、写真の人々を識別するためには、十分でないかもしれない。
【0141】
図１０は、画像が本発明の実施例に従って処理された場合の、同じ画像を示す。画像の大部分が低解像度であり、人の顔が検出され、高解像度で提供されている。これにより、送信及び／または保存されることを必要とされるデータが妥当となり、最適化される。
【0142】
図１１は、本発明の実施例に従った装置によって実装され得る集中構造の図を示す。この実施例において、カメラ１０２は、直接、ローカルな中央サーバ２００に接続されている。（上記したように、）ビデオデータの全てが保存される必要はないので、データストレージの節約がこの装置によってなされてもよい。
【0143】
図１２は、分散構造実施例を示す。カメラ側で、プロセッサ３００によって圧縮が行われる。データは送信され、例えば、クラウド４００に遠隔保存される。
【0144】
図１３は、実施例のより一般的な構造を示す。ＶＭＳ６００に記録されている情報は、連続的に表示され得る。キーイベントの情報は、所望される高解像度で、個別に表示されてもよい。図１３（６０１及び６０２）に示されるように、結果はデュアルモニタに表示されてもよい。デュアルモニタの利点は、第１のモニタ（６０２）を主ユーザインタフェースとして使用することができることである。第２のモニタは、複数のカメラにわたる計数のような詳細、もしくは、様々な認識システムを使用した人々もしくは乗り物のあり得る適合を提供することができる。
【0145】
高解像度画像は、通常、低解像度画像よりも広い領域をカバーする。各画像に含まれる画素は同じ密度を有する傾向があり、したがって、より多い画素を有する画像はより大きい領域をカバーする。
【0146】
これにより、低解像度画像に、例えば、顔などの高解像度サブ画像を重畳させる場合、問題を生じる。このタスクが通常の表示で行われる場合、顔は、解像度の差異に等しいファクタで、顔以外の身体よりも大きく、不適切な比率で示される。
【0147】
本発明の実施例において、この問題を補うために、低解像度画像は高解像度画像と同じ領域をカバーするように提示される。これは、通常の密度よりも低い密度で低解像度画像の画素の間隔を離すことで達成される。
【0148】
本発明の実施例は、様々なハードウェア及びソフトウェアアーキテクチャによって実装され得る。汎用コンピュータをプログラムすることで、暗号化処理の実施例を実装することができる。ハードウェアアーキテクチャは汎用コンピュータもしくはサーバに限定されないが、クライアントサーバアーキテクチャ、セントラルプロセッシングユニット／ターミナルアーキテクチャ、もしくは任意の他のアーキテクチャを含む、何れかのアーキテクチャを実装することができる。システムは、タブレットコンピュータなどのモバイルデバイス及びラップトップコンピュータ、もしくは専用アーキテクチャを使用して実装されてもよい。ソフトウェアは、本発明の実施例を実装するために、プロセッサをプログラムするために使用されてもよい。フィールドプログラマブルゲートアレイ、プログラマブルゲートアレイなどのプログラム可能なハードウェアを使用して実施例を実装してもよい。
【0149】
本発明を実装するためにソフトウェアを使用する場合、ソフトウェアは、ディスクなどのコンピュータ可読媒体に提供されてもよいし、インターネットなどのネットワーク上にデータ信号として提供されてもよいし、任意の他の方法で提供されてもよい。
【0150】
実施例において、本発明の実施例を実装するためにすでにプログラムされているハードウェアアーキテクチャが提供されてもよい。
【0151】
請求項及び上記本発明の説明において、文脈によって除外される場合を除いて、「含む」またはそのバリエーションは包含する意味で使用される。即ち、特徴の存在を特定するために使用されるが、本発明の様々な実施例において他の特徴の存在または追加を排除するものではない。
【0152】
当業者には、特定の実施例に示されるように、本発明の思想及び範囲から乖離することなく、様々なバリエーション及び／または変更が本発明に行われ得ることは明らかである。したがって、本実施例は単なる例示であり、限定を意図するものではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
