特開 2023-92502 メタデータを管理するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023092502

(43)【公開日】2023-07-03

(54)【発明の名称】メタデータを管理するためのシステムおよび方法

(51)【国際特許分類】

   H04N 5/92 20060101AFI20230626BHJP

【ＦＩ】

H04N5/92 010

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022201430

(22)【出願日】2022-12-16

(31)【優先権主張番号】21216361

(32)【優先日】2021-12-21

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】トゥルベリ， ヨアヒム

(72)【発明者】

【氏名】ザックセ， ティモ

(57)【要約】      （修正有）

【課題】画像において検出された物体に関連するメタデータ項目を削減または破棄することにより、メタデータの高度な管理を容易にする方法及びシステムを提供する。
【解決手段】方法は、物体に関連付けられたメタデータ項目を取得する。このメタデータ項目は領域の識別表示を含む。方法はまた、領域又は符号化された領域の画像データ特性の定量的レベルを決定する。画像データ特性の決定された定量的レベルに関連して条件を評価し、この条件が満たされるという条件で、メタデータ項目を削減または破棄する。その代わりに、符号化された領域の圧縮のレベルが決定され、この圧縮のレベルが圧縮の閾値よりも高いかどうかを判定し、この圧縮のレベルが圧縮の閾値よりも高いという条件で、メタデータ項目を削減または破棄する。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像内で検出された物体に関連付けられたメタデータを管理するための方法であって、前記物体が前記画像の領域に対応し、前記方法が、
前記物体に関連付けられたメタデータ項目を取得することであって、前記メタデータ項目が、前記領域の識別表示を含む、メタデータ項目を取得することと、
前記領域または符号化された前記領域の解像度のレベルを決定することと、
前記解像度のレベルが解像度の閾値よりも低いかどうかを判定することであって、判定された前記解像度のレベルが前記解像度の閾値よりも低いときに、前記検出された物体の１つまたは複数の意図された後続の分析が、いかなる有用な結果をもたらさないか、またはもたらす可能性が低くなるように、前記解像度の閾値が設定される、前記解像度のレベルが解像度の閾値よりも低いかどうかを判定することと、
前記解像度のレベルが前記解像度の閾値よりも低いという条件で、前記メタデータ項目を削減または破棄することと
を含む、方法。

【請求項2】

前記解像度のレベルが前記解像度の閾値以上であるという条件で、前記メタデータ項目を維持することをさらに含む、請求項１に記載の方法。

【請求項3】

画像内で検出された物体に関連付けられたメタデータを管理するための方法であって、前記物体が前記画像の領域に対応し、前記方法が、
前記物体に関連付けられたメタデータ項目を取得することであって、前記メタデータ項目が、前記領域の識別表示を含む、メタデータ項目を取得することと、
前記領域または符号化された前記領域のコントラストのレベルを決定することと、
前記コントラストのレベルがコントラストの閾値よりも低いかどうかを判定することであって、判定された前記コントラストのレベルが前記コントラストの閾値よりも低いときに、前記検出された物体の１つまたは複数の意図された後続の分析が、いかなる有用な結果をもたらさないか、またはもたらす可能性が低くなるように、前記コントラストの閾値が設定される、前記コントラストのレベルがコントラストの閾値よりも低いかどうかを判定することと、
前記コントラストのレベルが前記コントラストの閾値よりも低いという条件で、前記メタデータ項目を削減または破棄することと
を含む、方法。

【請求項4】

前記コントラストのレベルが前記コントラストの閾値以上であるという条件で、前記メタデータ項目を維持することをさらに含む、請求項３に記載の方法。

【請求項5】

画像内で検出された物体に関連付けられたメタデータを管理するための方法であって、前記物体が前記画像の領域に対応し、前記方法が、
前記物体に関連付けられたメタデータ項目を取得することであって、前記メタデータ項目が、前記領域の識別表示を含む、メタデータ項目を取得することと、
符号化された前記領域の圧縮のレベルを決定することと、
前記圧縮のレベルが圧縮の閾値よりも高いかどうかを判定することであって、前記圧縮のレベルが前記圧縮の閾値よりも高いときに、前記検出された物体の１つまたは複数の意図された後続の分析が、いかなる有用な結果をもたらさないか、またはもたらす可能性が低くなるように、前記圧縮の閾値が設定される、前記圧縮のレベルが圧縮の閾値よりも高いかどうかを判定することと、
前記圧縮のレベルが前記圧縮の閾値よりも高いという条件で、前記メタデータ項目を削減または破棄することと
を含む、方法。

【請求項6】

前記圧縮のレベルが前記圧縮の閾値以下であるという条件で、前記メタデータ項目を維持することをさらに含む、請求項５に記載の方法。

【請求項7】

前記圧縮のレベルを決定する動作が、
符号化された前記領域の１つまたは複数の圧縮値を取得することと、
前記１つまたは複数の取得された圧縮値に基づいて、符号化された前記領域の前記圧縮のレベルを決定することと
を含む、請求項５または６に記載の方法。

【請求項8】

ある１つの圧縮値が取得されるという条件で、前記圧縮のレベルが前記ある１つの圧縮値として決定され、２つ以上の圧縮値が取得されるという条件で、前記圧縮のレベルが、取得された前記２つ以上の圧縮のレベルのうちの最低値、取得された前記２つ以上の圧縮のレベルの平均値、前記取得された２つ以上の圧縮のレベルの中央値、および前記取得された２つ以上の圧縮のレベルのうちの最高値のうちの１つとして決定される、請求項７に記載の方法。

【請求項9】

画像内の領域に関連するメタデータを管理する方法であって、
それぞれの物体に関連する１組のメタデータ項目のそれぞれについて、請求項１から８のいずれか一項に記載の方法を実行することを含み、前記物体が前記画像内のそれぞれの領域に対応する、方法。

【請求項10】

処理能力を有する装置によって実行されるときに、請求項１から９のいずれか一項に記載の方法を実施するための命令を記憶した、持続的でコンピュータ読取り可能な記憶媒体。

【請求項11】

画像内で検出された物体に関連付けられたメタデータを管理するためのシステムであって、前記物体が前記画像の領域に対応し、前記システムが、
前記物体に関連付けられたメタデータ項目を取得するように構成されたメタデータ取得機能であって、前記メタデータ項目が、前記領域の識別表示を含む、メタデータ取得機能と、
前記領域または符号化された前記領域の解像度のレベルを決定するように構成されたレベル決定機能と、
前記解像度のレベルが解像度の閾値よりも低いかどうかを判定するように構成された評価機能であって、判定された前記解像度のレベルが前記解像度の閾値よりも低いときに、前記検出された物体の１つまたは複数の意図された後続の分析が、いかなる有用な結果をもたらさないか、またはもたらす可能性が低くなるように、前記解像度の閾値が設定される、評価機能と、
前記解像度のレベルが前記解像度の閾値よりも低いという条件で、前記メタデータ項目を削減または破棄するように構成されたメタデータ項目管理機能と
を実行するように構成された回路構成を備える、システム。

【請求項12】

画像内で検出された物体に関連付けられたメタデータを管理するためのシステムであって、前記物体が前記画像の領域に対応し、前記システムが、
前記物体に関連付けられたメタデータ項目を取得するように構成されたメタデータ取得機能であって、前記メタデータ項目が、前記領域の識別表示を含む、メタデータ取得機能と、
前記領域または符号化された前記領域のコントラストのレベルを決定するように構成されたレベル決定機能と、
前記コントラストのレベルがコントラストの閾値よりも低いかどうかを判定するように構成された評価機能であって、判定された前記コントラストのレベルが前記コントラストの閾値よりも低いときに、前記検出された物体の１つまたは複数の意図された後続の分析が、いかなる有用な結果をもたらさないか、またはもたらす可能性が低くなるように、前記コントラストの閾値が設定される、評価機能と、
前記コントラストのレベルが前記コントラストの閾値よりも低いという条件で、前記メタデータ項目を削減または破棄するように構成されたメタデータ項目管理機能と
を実行するように構成された回路構成を備える、システム。

【請求項13】

画像内で検出された物体に関連付けられたメタデータを管理するためのシステムであって、前記物体が前記画像の領域に対応し、前記システムが、
前記物体に関連付けられたメタデータ項目を取得するように構成されたメタデータ取得機能であって、前記メタデータ項目が、前記領域の識別表示を含む、メタデータ取得機能と、
符号化された前記領域の圧縮のレベルを決定するように構成されたレベル決定機能と、
前記圧縮のレベルが圧縮の閾値よりも高いかどうかを判定するように構成された評価機能であって、前記圧縮のレベルが前記圧縮の閾値よりも高いときに、前記検出された物体の１つまたは複数の意図された後続の分析が、いかなる有用な結果をもたらさないか、またはもたらす可能性が低くなるように、前記圧縮の閾値が設定される、評価機能と、
前記圧縮のレベルが前記圧縮の閾値よりも高いという条件で、前記メタデータ項目を削減または破棄するように構成されたメタデータ項目管理機能と
を実行するように構成された回路構成を備える、システム。

【請求項14】

前記レベル決定機能が、
符号化された前記領域の１つまたは複数の圧縮値を取得し、
取得された前記１つまたは複数の圧縮値に基づいて、前記領域の前記圧縮のレベルを決定する
ように構成されている、請求項１３に記載のシステム。

【請求項15】

前記レベル決定機能が、ある１つの圧縮値が取得されるという条件で、前記圧縮のレベルを前記ある１つの圧縮値として決定し、２つ以上の圧縮値が取得されるという条件で、前記圧縮のレベルを、取得された前記２つ以上の圧縮値の最低値、取得された前記２つ以上の圧縮値の平均値、前記取得された２つ以上の圧縮値の中央値、および前記取得された２つ以上の圧縮値の最高値のうちの１つとして決定するように構成されている、請求項１４に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオに関するメタデータを管理することに関し、詳細には、画像内で検出された物体に関連するメタデータ項目を削減または破棄することに関する。

【背景技術】

【0002】

メタデータは、他のデータを記述するデータであり、たとえば、ビデオデータにおいては、検出された物体に関する情報などの情報を提供することができる。メタデータは、たとえば、記憶された大量のデータの検索をより効率的にするために使用されてもよい。ビデオストリームを復号し、画像を分析することなどによって、このビデオストリームを検索する代わりに、メタデータによって検索することにより、検出された物体に関する情報など、このビデオストリームについての何らかの情報を、さらに容易にかつ迅速に見つけることができる。

【0003】

起こり得る問題は、ビデオデータに沿ってカメラまたは別のタイプの装置によって生成されるメタデータが、非常に複雑で「重く」なる場合があることであり、このことは、移送される必要があり、したがって帯域幅を必要とし、また記憶される必要があり、したがって記憶容量を必要とする多くのメタデータが作成されることを意味する。加えて、さらに大量のメタデータを処理するには、さらに時間がかかることになる場合がある。

【0004】

移送および／または記憶される、物体検出に関連するメタデータの量を削減する方法およびシステムが提供されてきた。しかし、移送および／または記憶されたメタデータには、後続の分析には役立たない場合がある問題が残る。したがって、メタデータを削減または破棄するための、さらなる判定基準が望ましい。

【発明の概要】

【0005】

本発明の一目的は、画像において検出された物体に関連するメタデータ項目を削減または破棄することによって、メタデータの高度な管理を容易にすることである。

【0006】

本開示は、メタデータ項目を削減または破棄するかどうかを判定するための基礎を形成することのできる、検出された物体のメタデータ項目の関連性または有用性が、検出されたこの物体に対応する領域もしくは符号化された領域の画像データから、またはその画像データの特徴から導出することができるという認識に基づいている。メタデータ項目の関連性または有用性は、検出された物体を示す画像領域の画像データの事後分析または後続の分析に関連する。たとえば、物体の識別情報を決定するための画像領域の科学捜査分析。要望通り事後分析を実行することができない場合、たとえば、物体を識別するための十分に高い解像度でこの物体が示されていない場合、事後分析については、検出された物体に関連するメタデータ項目を保存することには意味がない。本開示は、この認識に基づいて様々な実施形態を説明する。

【0007】

第１の態様によれば、画像内で検出された物体に関連付けられたメタデータを管理するための方法であって、この物体が、この画像の領域に対応する方法が提供される。この方法は、物体に関連付けられたメタデータ項目を取得することであって、このメタデータ項目が領域の識別表示を含む、メタデータ項目を取得することと、この領域または符号化された領域の画像データ特性の定量的レベルを決定することとを含む。この方法は、画像データ特性の決定された定量的レベルに関連して条件を評価することと、この条件が満たされるという条件で、メタデータ項目を削減または破棄することとをさらに含む。

【0008】

領域または符号化された領域の画像データ特性とは、この領域または符号化された領域の画像データの特性を意味する。この画像データ特性は、画像を符号化する準備ができるまでずっと、この画像の１つまたは複数の処理ステップを対象として含む画像処理パイプラインにおいて処理または設定される、画像データの特性でもよい。しかし、画像特性はまた、符号化した後の画像において検出可能でもよく、したがって、領域の画像データ特性の定量的レベルだけでなく、さらに、または別法として、符号化された領域の画像データ特性の定量的レベルを決定し、この方法において使用することができる。画像データ特性は、その定量的レベルが、メタデータ項目の関連性または有用性に影響を及ぼすものでもよい。たとえば、メタデータ項目の有用性または関連性が低いことまたはないことは、画像データ特性の決定された定量的レベルによって示されるような、領域または符号化された領域の特徴に起因する場合がある。具体的には、条件を満たす画像データ特性の決定された定量的レベルは、検出された物体の、１つまたは複数の意図された後続の分析が、いかなる有用な結果をもたらさないか、またはもたらす可能性が低いことを示す場合がある。画像データ特性、および定量的レベルについての条件は、１つまたは複数の意図された後続の分析に応じて選択されてもよく、その結果、条件が満たされるときは、検出された物体の後続の分析が、いかなる有用な結果をもたらさないか、またはもたらす可能性が低くなり、また好ましくは、条件が満たされないときには、検出された物体の後続の分析が、有用な結果をもたらす場合があるか、またはもたらす可能性が高くなる。

【0009】

決定された定量的レベルに関連して条件を評価することとは、決定されたこの定量的レベルが、この条件に関連して評価されることを意味する。この条件は、決定された定量的レベルが、その条件をその上または下で満たすべき閾値など、定量的な条件でもよい。

【0010】

領域または符号化された領域の画像データ特性の定量的レベルを決定することによって、画像データ特性のこのように決定された定量的レベルを使用して、メタデータ項目が、後続の分析において関連するのかどうか、または有用なのかどうかを判定することができる。具体的には、この判定は、メタデータ項目を削減または破棄するための条件に関連する評価によってなされる。検出された物体の領域の画像データに直接基づいて、メタデータ項目を削減するか破棄するかをこのように決定することは高速であり、普通なら識別されなかったはずの、削減または破棄できるメタデータ項目の識別表示を可能にすることになる。

【0011】

メタデータ項目を破棄することは、メタデータ項目が完全に削除されることを意味する。メタデータを削減することは、このメタデータ項目のあらゆるメタデータのサブセットを破棄することを含んでもよい。

【0012】

第１の態様による方法は、条件が満たされないという条件で、メタデータ項目を維持することをさらに含んでもよい。ここでの維持することとは、メタデータ項目の削減または破棄が実行されないことを単に意味してもよい。

【0013】

領域または符号化された領域の画像特性の定量的レベルを決定する動作は、この領域または符号化された領域の解像度のレベルを決定することを含んでもよく、画像特性の定量的レベルに関連して条件を評価する動作は、解像度のレベルが解像度の閾値よりも低いかどうかを判定することを含んでもよい。解像度の閾値は、解像度の決定されたレベルが解像度の閾値よりも低いときに、メタデータ項目が全くまたはほとんど、役立たなくなるかまたは関連性がなくなるように設定されてもよい。これは、たとえば、解像度のレベルが解像度の閾値よりも低いときに、検出された物体の１つまたは複数の意図された後続の分析が、有用な結果をもたらさないことになるか、またはもたらす可能性が低くなるからでもよい。この意図された後続の分析は、たとえば、人を識別または認識することでもよい。人を確実に識別するには、正当とみなされるために、識別表示用に使用される画像領域において最小解像度を必要とする場合がある。たとえば、要求条件は、物体が１ｃｍ当たり少なくとも５ピクセルで示されることでもよく、すなわち、物体の自然なサイズの１ｃｍに対応する画像内での物体の長さに沿って、少なくとも５ピクセルが存在しなければならない。

【0014】

領域または符号化された領域の画像特性の定量的レベルを決定する動作は、物体の領域または符号化された領域の細部のレベルを決定することをさらに含んでもよく、画像特性の定量的レベルに関連して条件を評価する動作は、この細部のレベルが細部の閾値よりも低いかどうかを判定することをさらに含んでもよい。この細部の閾値は、細部の決定されたレベルが細部の閾値よりも低いときに、メタデータ項目が全くまたはほとんど、役立たなくなるかまたは関連性がなくなるように設定されてもよい。これは、たとえば、細部のレベルが細部の閾値よりも低いときに、検出された物体の１つまたは複数の意図された後続の分析が、有用な結果をもたらさないことになるか、またはもたらす可能性が低くなるからでもよい。

【0015】

領域または符号化された領域の画像特性の定量的レベルを決定する動作は、物体の領域または符号化された領域の色のレベルを決定することをさらに含んでもよく、画像特性の定量的レベルに関連して条件を評価する動作は、この色のレベルが色の閾値よりも低いかどうかを判定することをさらに含んでもよい。この色の閾値は、細部の決定されたレベルが色の閾値よりも低いときに、メタデータ項目が全くまたはほとんど、役立たなくなるかまたは関連性がなくなるように設定されてもよい。これは、たとえば、色のレベルが色の閾値よりも低いときに、検出された物体の１つまたは複数の意図された後続の分析が、有用な結果をもたらさないことになるか、またはもたらす可能性が低くなるからでもよい。

【0016】

領域または符号化された領域の画像特性の定量的レベルを決定する動作は、領域または符号化された領域のコントラストのレベルを決定することをさらに含んでもよく、画像特性の定量的レベルに関連して条件を評価する動作は、このコントラストのレベルがコントラストの閾値よりも低いかどうかを判定することをさらに含んでもよい。この細部の閾値は、細部の決定されたレベルが細部の閾値よりも低いときに、メタデータ項目が全くまたはほとんど、役立たなくなるかまたは関連性がなくなるように設定されてもよい。これは、たとえば、コントラストのレベルがコントラストの閾値よりも低いときに、検出された物体の１つまたは複数の意図された後続の分析が、有用な結果をもたらさないことになるか、またはもたらす可能性が低くなるからでもよい。

【0017】

第２の態様によれば、画像内で検出された物体に関連付けられたメタデータを管理するための方法であって、この物体が、この画像の領域に対応する方法が提供される。この方法は、物体に関連付けられたメタデータ項目を取得することであって、このメタデータ項目が領域の識別表示を含む、メタデータ項目を取得することと、この符号化された領域の圧縮のレベルを決定することとを含む。この方法は、圧縮のレベルが圧縮の閾値よりも高いかどうかを判定することと、この圧縮のレベルが圧縮の閾値よりも高いという条件で、メタデータ項目を削減または破棄することとをさらに含む。

【0018】

第１の態様による方法とは異なり、第２の態様による方法は、領域または符号化された領域の画像データ特性の定量的レベルの代わりに、符号化された領域の圧縮のレベルを決定する。この圧縮は、画像データの直接の特性ではなく、むしろ画像データの処理の特性である。具体的には、圧縮のレベルは、領域の画像データを符号化するときに、その領域の画像データがどの程度まで圧縮されたのかを示す。さらに、画像処理パイプラインにおいて設定または処理される画像データ特性とは異なり、圧縮のレベルは、符号化部分、たとえばエンコーダにおいて決定される。

【0019】

圧縮の決定されたレベルは、検出された物体の１つまたは複数の意図された後続の分析が、いかなる有用な結果をもたらさないか、またはもたらす可能性が低いことを示す場合もある。圧縮の閾値は、１つまたは複数の意図された後続の分析に応じて選択されてもよく、その結果、検出された物体のタイプまたは特定の意図された後続の分析が、いかなる有用な結果をもたらさないか、またはもたらす可能性が低いときに条件が満たされ、好ましくはまた、検出された物体のタイプまたは特定の意図された後続の分析が、有用な結果をもたらすことができるか、またはもたらす可能性が高くなるときに条件が満たされない。

【0020】

この圧縮の閾値は、圧縮の決定されたレベルが圧縮の閾値よりも低いときに、メタデータ項目が全くまたはほとんど、役立たなくなるかまたは関連性がなくなるように設定されてもよい。これは、たとえば、圧縮の決定されたレベルが圧縮の閾値よりも高いときに、検出された物体の１つまたは複数の意図された後続の分析が、有用な結果をもたらさないことになるか、またはもたらす可能性が低くなるからでもよい。

【0021】

符号化された領域の圧縮のレベルを決定することによって、このように圧縮の決定されたレベルを使用して、メタデータ項目が、関連するのかどうか、または有用なのかどうかを判定することができる。具体的には、この判定は、圧縮の閾値の形での条件に関連した評価によって行われ、この圧縮の閾値を下回ると、メタデータ項目を削減または破棄しなければならない。符号化された領域の圧縮レベルに基づいて、すなわち画像データに対して間接的にメタデータ項目を削減または破棄するかどうかをこのように判定することは、高速であり、普通なら識別されなかったはずの、削減または破棄できるメタデータ項目の識別表示を可能にすることになる。

【0022】

第２の態様による方法は、圧縮のレベルが圧縮の閾値以下であるという条件で、メタデータ項目を維持することをさらに含んでもよい。ここでの維持することとは、メタデータ項目の削減または破棄が実行されないことを単に意味してもよい。

【0023】

この圧縮の閾値は、圧縮の決定されたレベルが圧縮の閾値よりも低いときに、検出された物体の１つまたは複数の意図された後続の分析が、有用な結果をもたらさないことになるか、またはもたらす可能性が低くなるように設定されてもよい。

【0024】

圧縮のレベルを決定する動作は、符号化された領域の１つまたは複数の圧縮値を取得することと、この１つまたは複数の取得された圧縮値に基づいて、符号化された領域の圧縮のレベルを決定することとを含んでもよい。ある１つの圧縮値が取得されるという条件で、圧縮のレベルは、この１つの圧縮値として決定されてもよい。２つ以上の圧縮値が取得されるという条件で、圧縮のレベルは、取得された２つ以上の圧縮のレベルのうちの最低値、取得された２つ以上の圧縮のレベルの平均値、取得された２つ以上の圧縮のレベルの中央値、および取得された２つ以上の圧縮のレベルのうちの最高値のうちの１つとして決定されてもよい。

【0025】

第３の態様によれば、画像内の領域に関連するメタデータを管理する方法が提供される。この方法は、それぞれの物体に関連する１組のメタデータ項目ごとに、第１の態様による方法または第２態様による方法を実行することを含み、この物体は、画像内のそれぞれの領域に対応する。

【0026】

第４の態様によれば、処理能力を有する装置によって実行されるときに、第１の態様による方法または第２の態様による方法を実施するための命令が記憶された、持続的でコンピュータ読取り可能な記憶媒体が提供される。

【0027】

第１の態様による方法および第２の態様による方法の前述の特徴は、適用可能な場合、この第３の態様にもまた適用される。必要以上の繰返しを避けるために、上記を参照する。

【0028】

第５の態様によれば、画像内で検出された物体に関連付けられたメタデータを管理するためのシステム装置であって、この物体が、この画像の領域に対応するシステム装置が提供される。このシステムは、物体に関連付けられたメタデータ項目を取得するように構成されたメタデータ取得機能を実行するように構成された回路構成を備え、このメタデータ項目は、領域の識別表示と、領域または符号化された領域の画像データ特性の定量的レベルを決定するように構成されたレベル決定機能とを含む。この回路構成は、画像データ特性の決定された定量的レベルに関連して、条件を評価するように構成された評価機能と、この条件が満たされるという条件で、メタデータ項目を削減または破棄するように構成されたメタデータ項目管理機能とを実行するようにさらに構成される。

【0029】

このメタデータ項目管理機能は、条件が満たされないという条件で、メタデータ項目を維持するようにさらに構成されてもよい。

【0030】

第１の態様による方法の前述の特徴は、適用可能な場合、この第５の態様にもまた適用される。必要以上の繰返しを避けるために、上記を参照する。

【0031】

第６の態様によれば、画像内で検出された物体に関連付けられたメタデータを管理するためのシステムであって、この物体が、この画像の領域に対応するシステムが提供される。このシステム装置は、物体に関連付けられたメタデータ項目を取得するように構成されたメタデータ取得機能を実行するように構成された回路構成を備え、このメタデータ項目は、領域の識別表示と、符号化された領域の圧縮のレベルを決定するように構成されたレベル決定機能とを含む。このシステムは、圧縮のレベルが圧縮の閾値よりも高いかどうかを判定するように構成された評価機能と、圧縮のレベルが圧縮の閾値よりも高いという条件で、メタデータ項目を削減または破棄するように構成されたメタデータ項目管理機能とをさらに含む。

【0032】

このメタデータ項目管理機能は、条件が満たされないという条件で、メタデータ項目を維持するようにさらに構成されてもよい。

【0033】

第２の態様による方法の前述の特徴は、適用可能な場合、この第６の態様にもまた適用される。必要以上の繰返しを避けるために、上記を参照する。

【0034】

本発明の適用可能性のさらなる範囲が、以下に示す詳細な説明から明白になろう。しかし、この詳細な説明からは、本発明の範囲内での様々な変更形態および修正形態が当業者に明らかとなるので、本発明の好ましい実施形態を示しながら、もっぱら例として詳細な説明および具体例を提示することを理解されたい。

【0035】

したがって、本発明は、記載された装置の特定の構成部品、または記載された各方法の動作に限定されるものではなく、したがって、このような装置および方法は変化してもよいことを理解されたい。本明細書において使用される専門用語は、もっぱら具体的な実施形態を説明するためのものであり、限定するものではないことも理解されたい。本明細書および添付の特許請求の範囲で使用されているように、冠詞「ａ」、「ａｎ」、「ｔｈｅ」、および「ｓａｉｄ」は、文脈から明らかにそうでないことが示されていなければ、各要素のうちの１つまたは複数の要素が存在することを意味するものであることを留意しなければならない。したがって、たとえば、「１つのユニット（ａ ｕｎｉｔ）」または「そのユニット（ｔｈｅ ｕｎｉｔ）」への言及は、いくつかの装置などを含んでもよい。さらに、「ｃｏｍｐｒｉｓｉｎｇ」、「ｉｎｃｌｕｄｉｎｇ」、「ｃｏｎｔａｉｎｉｎｇ」という用語、および同様の言い回しは、他の要素またはステップを排除するものではない。

【0036】

添付の各図を参照して、次に、本発明の上記その他の態様を、より詳細に説明する。各図は、限定的とみなすべきではなく、その代わりに、説明および理解するために使用される。

【図面の簡単な説明】

【0037】

【図1】画像内で検出された物体に関連付けられたメタデータを管理するための、本開示の第１の方法の実施形態に関連する流れ図である。

【図2】画像内で検出された物体に関連付けられたメタデータを管理するための、本開示の第２の方法の実施形態に関連する流れ図である。

【図3】画像内で検出された物体に関連付けられたメタデータを管理するための、本開示の第１のシステムの実施形態に関連する概略図である。

【図4】画像内で検出された物体に関連付けられたメタデータを管理するための、本開示のシステムの実施形態に関連する概略図である。

【発明を実施するための形態】

【0038】

次に、本発明の現時点で好ましい実施形態が例示してある添付図面を参照して、以下に本発明を説明する。しかし、本発明は、数多くの様々な形式で具現化されてもよく、また本明細書において説明される実施形態に限定されるものと解釈すべきではない。

【0039】

本発明は、画像の領域に対応する物体が検出され、この物体にメタデータが関連付けられた状況において適用可能である。このような状況は、たとえば、ビデオの一連の画像において物体を追跡するときに生じる。たとえば、動きに基づいて物体を検出することができ、また動きに基づいて物体を追跡することができる。このような検出および追跡は、たとえば、カメラでの物体検出器および物体追跡器によってそれぞれ実行されてもよい。次いで、たとえば、ビデオの一連の画像の各画像をキャプチャし、符号化し、記憶した後に実行すべき、１つまたは複数の意図された後続の分析に応じて、有用にならないか、または関連することにならないメタデータ項目を、削減または破棄できることが有益である。この後続の分析は、科学捜査の特徴をもつものでもよい。このようなメタデータ項目、すなわち後続の分析を支援しないメタデータ項目を削減または破棄しないと、有用にならないか、または関連することにならないメタデータ項目を、不必要に移送および／または記憶することになる。

【0040】

以下では、画像内で検出された物体に関連付けられたメタデータを管理するための第１の方法１００の実施形態を、図１を参照して考察する。この物体は、画像の領域に対応する。この領域は、通常、画像の全領域のサブ領域である。この領域は、検出された物体の境界によって画定されてもよく、または検出された物体を囲むバウンディングボックスによって画定されてもよい。この領域は、方法１００への入力として受け取られる。この方法は、物体に関連付けられたメタデータ項目を取得すること（Ｓ１１０）を含む。物体に関連付けられたメタデータ項目は、この物体に関連する１組のメタデータである。メタデータ項目は、少なくとも、領域の識別表示と、物体クラス、物体属性、時間、（たとえば、レーダからの）速度、（一連のフレームからの）移動の方向などの指標など、１つまたは複数のさらなるタイプのメタデータに関連するメタデータとを含む。カメラのファームウェアや、解像度、開口サイズなどの画像フレーム情報など、より全般的な情報を示すメタデータタイプもメタデータ項目に含まれてよい。メタデータは、通常、画像がキャプチャされるカメラにおいて生成されるが、他のソースからのデータを含むこともできる。領域は、通常、画像内の領域の座標によって識別される。メタデータは、たとえば、ＪＳＯＮ、ＸＭＬ、または同様の説明テキストフォーマットでパッケージ化されてもよい。

【0041】

次いで、領域または符号化された領域の画像データ特性の定量的レベルが決定される（Ｓ１２０）。領域および符号化された領域の画像データ特性とは、領域および符号化された領域の画像データの特性をそれぞれ意味する。この方法は、画像データ特性の決定された定量的レベルに関連して条件を評価すること（Ｓ１３０）と、この条件が満たされるという条件で、メタデータ項目を削減または破棄すること（Ｓ１４０）とをさらに含む。

【0042】

画像データ特性は、カメラのいわゆる画像処理パイプライン（ＩＰＰ）または画像パイプラインにおいて決定される特性でもよい。デジタル画像の取得および処理は、任意のカメラシステムの一体部分である画像パイプラインによって実行される。現代の多くのカメラシステムでは、画像パイプラインは、この画像パイプラインにおいて画像データを処理する際に使用される設定を調整する、自動化プロセスによって制御される。画像パイプラインは、パイプラインでの特定の部分をそれぞれが処理する様々な構成要素またはブロックを含むものとして理解することができる。このような構成要素またはブロックの非限定的な例は、画像データ取得用のセンサ構成要素、利得を適用するための利得構成要素、露光（シャッター）時間を制御するための露光時間構成要素、フィルタを適用するためのフィルタ構成要素、およびホワイトバランス（ＷＢ）を調整するためのホワイトバランス構成要素である。

【0043】

画像特性はまた、通常、符号化した後の画像において検出可能となり、したがって、領域の画像データ特性の定量的レベルだけでなく、さらに、または別法として、符号化された領域の画像データ特性の定量的レベルを決定し、方法１００において使用することができる。

【0044】

さらに、領域の画像データ特性の定量的レベルは、良好な指標でもよく、または符号化された領域の画像データ特性の定量的レベルに比例してもよい。したがって、後続の分析が、符号化された画像に、すなわち符号化された領域に実行される場合でも、方法１００において領域の画像データ特性を決定および使用することができる。

【0045】

メタデータ項目を削減することには、メタデータ項目に含まれるメタデータの一部を破棄するが、メタデータ項目に含まれる他のメタデータを破棄しないこと、たとえば、１つまたは複数のメタデータタイプのメタデータを破棄するが、１つまたは複数の他のメタデータタイプのメタデータを破棄しないことが含まれ得る。条件が満たされると、メタデータ項目においてどのメタデータを破棄すべきか、または全体としてメタデータ項目を破棄すべきかどうかを決定することは、メタデータ項目に含まれる様々なタイプのメタデータの優先度に基づいてもよい。

【0046】

１つの条件を有する代わりに、第１の条件および第２の条件を指定してもよく、その結果、第１の条件が満たされる場合にはメタデータ項目が削減され、第２の条件が満たされる場合にはメタデータ項目が破棄される。

【0047】

メタデータ項目を削減するか、それともメタデータ項目を破棄するかの選択はまた、検出された物体のタイプ、意図された後続の分析のタイプ、画像およびメタデータ項目を移送するのに利用可能な容量、画像およびメタデータ項目を記憶するのに利用可能な容量など、他のパラメータに依存する場合がある。

【0048】

画像データ特性は、通常、その定量的レベルが、メタデータ項目の関連性または有用性に影響を及ぼすものとして選択されてもよい。たとえば、条件を満たす画像データ特性の決定された定量的レベルは、検出された物体の、１つまたは複数の意図された後続の分析が、いかなる有用な結果をもたらさないか、またはもたらす可能性が低いことを示すこともできる。画像データ特性、および定量的レベルについての条件は、したがって、１つまたは複数の意図された後続の分析に応じて選択されてもよく、その結果、条件が満たされるときは、検出された物体の意図された後続の分析が、いかなる有用な結果をもたらさないか、またはもたらす可能性が低くなり、また好ましくは、条件が満たされないときには、検出された物体の後続の分析が、有用な結果をもたらすか、またはもたらす可能性が高くなる。この選択は、まず画像データ特性を選択することによって、特定の意図された後続の分析に関連して実行されてもよく、次いで、画像データ特性の定量的レベルに候補条件を設定し、次いで、条件が満たされると、特定の意図された後続の分析が何らかの有用な結果をもたらすかどうかを判定してもよい。次いで、この候補条件は、選択された条件が満たされると、検出された物体の意図された後続の分析が、いかなる有用な結果をもたらさないか、またはもたらす可能性が低くなるように、また好ましくは、条件が満たされないと、検出された物体の後続の分析が、有用な結果をもたらす場合があるか、またはもたらす可能性が高くなるように、選択された条件を識別するために繰り返し更新されてもよい。１つまたは複数の選択された意図された後続の分析、または１つまたは複数のタイプの意図された後続の分析について、選択が繰り返し実行されてもよい。

【0049】

第１の態様による方法は、条件が満たされないという条件で、メタデータ項目を維持すること（Ｓ１５０）をさらに含んでもよい。ここでの維持することとは、メタデータ項目の削減または破棄が実行されないことを単に意味してもよい。

【0050】

方法１００は、動作（ステップ）のうちの１つまたは複数が、ある１つの装置において実行され、１つまたは複数の他の動作が、別の装置において実行されるように、２つ以上の装置を備えるシステムで実行されてもよい。その代わりに、方法１００のあらゆる動作が、単一の装置において実行されてもよい。このような装置は、たとえば、監視カメラでもよい。さらに、方法１００の様々な動作が、短期間に実行されてもよく、または相対的に長い期間に実行されてもよい。

【0051】

たとえば、方法１００は、画像がネットワーク接続されたカメラによってキャプチャされると、記憶および分析するために、この画像がネットワークを介してリモートサイトに送信される前に、この方法が実行されるように、たとえばカメラにおいて短期間に実行されてもよい。このような状況では、メタデータ項目を削減または破棄すること（Ｓ１４０）を含む方法１００のあらゆる動作は、送信前に任意のメタデータ項目を削減するために、画像内で検出された物体に関連する画像およびメタデータ項目を送信する前に、カメラにおいて実行されることが好ましい。伝送容量が制限されている場合、これが特に有利である。

【0052】

その代わりに、方法１００は、相対的に長い期間で実行されてもよい。たとえば、ある期間において、検出された物体に関連付けられたメタデータ項目を取得してもよく、画像および関連するメタデータ項目を記憶してもよい。次いで、画像データ特性の定量的レベルを決定すること（Ｓ１２０）は、後続のどの分析を実行すべきかが決定された後の段階で実行されてもよい。具体的には、次いで、どの画像データ特性が関連するかの選択は、後続のどの分析を実行すべきかが決定されるまで延期されてもよい。後続のどの分析を実行すべきかが決定され、実行すべき後続の分析に応じて画像特性および条件が決定されると、方法１００の残りを実行することができ、その結果、条件が満たされる場合には、メタデータ項目が削減または破棄される。別の例では、ある期間において画像および関連するメタデータ項目を記憶する前に、実際の削減または破棄（Ｓ１４０）を除くあらゆる動作が実行されてもよい。条件が満たされた場合、対応するメタデータ項目は、削減もしくは破棄されるべきか、または削減もしくは破棄されてもよいという指標でタグ付けされてもよい。次いで、後の段階で、メタデータ項目は、記憶装置から削減または破棄される。後に削減または破棄するタイミングまたはその理由は、たとえば、画像をキャプチャしてから所定の期間が経過したことでもよい。メタデータ項目が、たとえば記憶またはキャプチャされてから第１の所定の期間の後にまず削減され、次いで、削減されてから第２の期間の後に破棄されるように、削減と破棄の両方が連続して実行されてもよい。削減または破棄はまた、メタデータ項目が、その目的、たとえば、ある期間全体にわたって統計を集計することを満たした後に実行されてもよく、したがって、後続のあらゆる分析などが実行され、その目的のために使用されると、もはや記憶される必要がない。

【0053】

画像データ特性は、たとえば、解像度、細部、色、コントラストなどでもよい。したがって、画像データ特性の定量的レベルを決定することは、解像度、細部、色、コントラストなどの定量的レベルを決定することを意味してもよい。画像データ特性は、この画像データに固有の特性であり、画像データ特性の定量的レベルは、この画像データから直接決定することができる。

【0054】

領域または符号化された領域の画像特性の定量的レベルを決定する動作（Ｓ１１０）は、この領域または符号化された領域の解像度（細部）のレベルを決定することを含んでもよく、画像特性の定量的レベルに関連して条件を評価する動作（Ｓ１３０）は、解像度（細部）のレベルが解像度の閾値よりも低いかどうかを判定することを含んでもよい。

【0055】

解像度の閾値は、解像度の決定されたレベルが解像度の閾値よりも低いときに、メタデータ項目が全くまたはほとんど、役立たなくなるかまたは関連性がなくなるように設定されてもよい。これは、たとえば、解像度のレベルが解像度の閾値よりも低いときに、検出された物体の１つまたは複数の意図された後続の分析が、有用な結果をもたらさないことになるか、またはもたらす可能性が低くなるからでもよい。

【0056】

一例として、意図された後続の分析は、検出された物体についての画像内での特定の特徴を認識することに依存する場合がある。検出された物体についての画像内での特定の特徴を認識することは、たとえば、特定のサイズの細部を認識することに関連する場合がある。次いで、このような認識が実現可能にならないか、または実現可能である可能性が低くなる解像度のレベルを識別することができ、したがって、意図された後続の分析は、いかなる有用な結果をもたらさないか、またはもたらす可能性が低くなる。その一方で、識別された解像度のレベルよりも上のレベルでは、このような認識が実現可能でもよく、したがって、意図された後続の分析は、任意の有用な結果をもたらすことがある。このような解像度のレベルは、反復試験に基づいて、また各試験からの実験結果を使用して識別されてもよく、次いで、解像度の閾値は、このように識別された解像度のレベルに設定されてもよい。

【0057】

より詳細に説明すると、有用な結果は、所定の標準によって正当な結果として決定されてもよい。たとえば、顔の正当な認識は、画像領域、および示してある顔の１ｃｍ当たり少なくとも２ピクセルで顔を示すことに基づいている必要があり得る。別の例では、画像領域内での最小数の水平ピクセルが必要となる。たとえば、様々な屋外条件において、人をその顔によって識別するには、その顔を示す画像領域において、８０個の水平ピクセルの最小レベルの解像度（細部）が必要となる。画像領域の解像度が、特定の物体検出の所与の分析において設定された最小要求条件を満たさない場合、その物体検出に関するメタデータ項目は、その分析には有用ではなく、このメタデータ項目を削減または破棄することができる。したがって、決定された解像度（細部）のレベルが、顔の形で検出された物体において８０個の水平ピクセルよりも低いと決定された場合、後続の分析が人の識別に関連する場合には、検出された物体に関連するメタデータ項目を削減または破棄することができる。

【0058】

たとえば、画像をキャプチャするカメラから検出された物体までの距離に起因して、解像度（細部）のレベルが低すぎる場合、結果として、検出された物体上のピクセルが少なくなる場合、マスク検出、安全帽検出、アクセサリ（バックパック、バッグ、武器など）のようなより詳細な分析は実現可能にならない。解像度（細部）のレベルは、たとえば、検出された物体の自然なサイズの近似によって近似することができる。たとえば、人が検出された場合、１．８ｍまでの人の高さおよび０．５ｍ（前）と０．３ｍ（横）の間の幅の近似を使用して、画像の高さおよび幅１ｃｍ当たりの既知のピクセル数に基づいて、画像内での長さ１ｃｍ当たりおよび幅１ｃｍ当たりの近似のピクセル数を決定することができる。その代わりに、自然なサイズが知られていない物体の場合、ピクセル密度は、これらの変数を考慮に入れるアルゴリズムを使用して、シーン内での特定の点とカメラの間の距離についての知識に基づいて、ある距離での所与の焦点距離および解像度について近似することができる。

【0059】

解像度、すなわちターゲット／物体上でのピクセルが少なくなると、たとえば人工知能（ＡＩ）を使用する後続の分析が、たとえば物体の分類について相対的に確実でなくなる。これは、ある特定のクラスに属するこの物体について低い尤度値をもたらし、かつ／または、潜在的に他のクラスにも属することにフラグを立て、分類する試みの結果を決定的でないものにする。

【0060】

領域または符号化された領域の画像特性の定量的レベルを決定する動作は、領域または符号化された領域の色のレベルを決定することをさらに含んでもよく、画像特性の定量的レベルに関連して条件を評価する動作は、この色のレベルが色の閾値よりも低いかどうかを判定することをさらに含んでもよい。

【0061】

この色の閾値は、細部の決定されたレベルが色の閾値よりも低いときに、メタデータ項目が全くまたはほとんど、役立たなくなるかまたは関連性がなくなるように設定されてもよい。これは、たとえば、色のレベルが色の閾値よりも低いときに、検出された物体の１つまたは複数の意図された後続の分析が、有用な結果をもたらさないことになるか、またはもたらす可能性が低くなるからでもよい。

【0062】

一例として、意図された後続の分析は、検出された物体についての画像内での特定の特徴を認識することに依存する場合がある。検出された物体についての画像内での特定の特徴を認識することは、たとえば、色を認識することに関連する場合がある。次いで、このような認識が実現可能にならないか、または実現可能である可能性が低くなる色のレベルを識別することができ、したがって、意図された後続の分析は、いかなる有用な結果をもたらさないか、またはもたらす可能性が低くなる。その一方で、識別された色のレベルよりも上のレベルでは、このような認識が実現可能でもよく、したがって、意図された後続の分析は、任意の有用な結果をもたらすことがある。このような色のレベルは、反復試験に基づいて、また各試験からの実験結果を使用して識別されてもよく、次いで、色の閾値は、このように識別された色のレベルに設定されてもよい。

【0063】

たとえば、具体的な色検索は、たとえば黄色のジャケットを着用している人々を分類し、または、たとえば衣服に高い視認性を要求する工事現場で、そのような色を着用していないあらゆる人間の対象についての逆検索は、色がない場合、または色のレベルが低い場合は不可能になることもある。

【0064】

画像内に色が存在しないことを識別する具体的な方式は、カメラにおいて赤外線（ＩＲ）フィルタのモードかどうかによるものであり、たとえば、昼夜モードに関連するものである。インジケータ「赤外線カットフィルタのオン／オフ（ｉｒ＿ｃｕｔ ｆｉｌｔｅｒ ｏｎ／ｏｆｆ）」がオフである場合、カメラはＩＲモードにあり、次いで、カメラは白黒に切り替えられ、色が検出されないことになる。

【0065】

領域または符号化された領域の画像特性の定量的レベルを決定する動作は、領域または符号化された領域のコントラストのレベルを決定することをさらに含んでもよく、画像特性の定量的レベルに関連して条件を評価する動作は、このコントラストのレベルがコントラストの閾値よりも低いかどうかを判定することをさらに含んでもよい。

【0066】

このコントラストの閾値は、コントラストの決定されたレベルがコントラストの閾値よりも低いときに、メタデータ項目が全くまたはほとんど、役立たなくなるかまたは関連性がなくなるように設定されてもよい。これは、たとえば、コントラストのレベルがコントラストの閾値よりも低いときに、検出された物体の１つまたは複数の意図された後続の分析が、有用な結果をもたらさないことになるか、またはもたらす可能性が低くなるからでもよい。

【0067】

一例として、意図された後続の分析は、検出された物体についての画像内での特定の特徴を認識することに依存する場合がある。検出された物体についての画像内での特定の特徴を認識することは、たとえば、特定のサイズの細部を認識することに関連する場合がある。次いで、このような認識が実現可能にならないか、または実現可能である可能性が低くなるコントラストのレベルを識別することができ、したがって、意図された後続の分析は、いかなる有用な結果をもたらさないか、またはもたらす可能性が低くなる。その一方で、識別されたコントラストのレベルよりも上のレベルでは、このような認識が実現可能でもよく、したがって、意図された後続の分析は、任意の有用な結果をもたらすことがある。このようなコントラストのレベルは、反復試験に基づいて、また各試験からの実験結果を使用して識別されてもよく、次いで、コントラストの閾値は、このように識別されたコントラストのレベルに設定されてもよい。

【0068】

コントラストのレベルは、既知のアルゴリズムに基づいて決定されてもよい。一例として、コントラストは、領域または符号化された領域における、ピクセル間の相対的な発光に基づいて計算されてもよい。

【0069】

コントラストが低くなると、たとえば人工知能（ＡＩ）を使用する後続の分析が、たとえば物体の分類について相対的に確実でなくなる。これは、ある特定のクラスに属するこの物体について低い尤度値をもたらし、かつ／または、潜在的に他のクラスにも属することにフラグを立て、分類する試みの結果を決定的でないものにするのいずれかである。コントラストがない／低い場合、後続の分析において、何らかを結論付けるためのアンカーポイントを見つけることは困難であり、または不可能である。

【0070】

以下では、画像内で検出された物体に関連付けられたメタデータを管理するための第２の方法２００の実施形態を、図２を参照して考察する。物体は、画像の領域に対応する。この領域は、通常、画像の全領域のサブ領域である。この領域は、検出された物体の境界によって画定されてもよく、または検出された物体を囲むバウンディングボックスによって画定されてもよい。この領域は、方法１００への入力として受け取られる。この方法は、物体に関連付けられたメタデータ項目を取得すること（Ｓ２１０）を含む。物体に関連付けられたメタデータ項目は、この物体に関連する１組のメタデータである。メタデータ項目は、少なくとも、領域の識別表示と、物体クラス、物体属性、時間、（たとえば、レーダからの）速度、（一連のフレームからの）移動の方向などの指標など、１つまたは複数のさらなるタイプのメタデータに関連するメタデータとを含む。カメラのファームウェアや、解像度、開口サイズなどの画像フレーム情報など、より全般的な情報を示すメタデータタイプもメタデータ項目に含まれてよい。メタデータは、通常、画像がキャプチャされるカメラにおいて生成されるが、他のソースからのデータを含むこともできる。領域は、通常、画像内の領域の座標によって識別される。メタデータは、たとえば、ＪＳＯＮ、ＸＭＬ、または同様の説明テキストフォーマットでパッケージ化されてもよい。

【0071】

符号化された領域の圧縮のレベルが決定される（Ｓ２２０）。符号化された領域の圧縮のレベルとは、符号化する前の領域の画像データに対する、符号化された領域の符号化された画像データの圧縮のレベルを意味する。この方法は、圧縮のレベルが圧縮の閾値よりも高いかどうかを判定すること（Ｓ２３０）と、この圧縮のレベルが圧縮の閾値よりも高いという条件で、メタデータ項目を削減または破棄すること（Ｓ２４０）とをさらに含む。

【0072】

圧縮レベル自体を使用する代わりに、圧縮値の決定につながる符号化分析の任意の結果を使用して、メタデータ項目を削減または破棄すべきかどうかを判定することもできる。符号化の分析によって、物体に対応する画像の領域での符号化において高い圧縮値を使用すべきであると結論付けられた場合、転送および記憶される画像がとにかくいかなる関連情報をも含まないように細部のレベルが削減される可能性が非常に高いので、メタデータ項目は、既にこのような結論に基づいて削減されるか、または破棄されなければならない。これに加えて、圧縮設定は、常に関連性が低く、したがって圧縮率が相対的に高いものとして定義された領域を含むこともできる。たとえば、ユーザは、空（もしくは、画像の上部）を関連性が低いと定義することもでき、または何らかのシーン分析（セマンティックセグメンテーション）によって、領域は関連性が低いと結論付けることもできた。このような高圧縮領域において検出された物体に関連するあらゆるメタデータ項目は、削減または破棄されてもよい。

【0073】

メタデータ項目を削減することには、メタデータ項目に含まれるメタデータの一部を破棄するが、メタデータ項目に含まれる他のメタデータを破棄しないこと、たとえば、１つまたは複数のメタデータタイプのメタデータを破棄するが、１つまたは複数の他のメタデータタイプのメタデータを破棄しないことが含まれ得る。条件が満たされると、メタデータ項目においてどのメタデータを破棄すべきか、または全体としてメタデータ項目を破棄すべきかどうかを決定することは、メタデータ項目に含まれる様々なタイプのメタデータの優先度に基づいてもよい。

【0074】

１つの条件を有する代わりに、第１の条件および第２の条件を指定してもよく、その結果、第１の条件が満たされる場合にはメタデータ項目が削減され、第２の条件が満たされる場合にはメタデータ項目が破棄される。

【0075】

メタデータ項目を削減するか、それともメタデータ項目を破棄するかの選択はまた、検出された物体のタイプ、意図された後続の分析のタイプ、画像およびメタデータ項目を移送するのに利用可能な容量、画像およびメタデータ項目を記憶するのに利用可能な容量など、他のパラメータに依存する場合がある。

【0076】

図１に関連して説明される方法１００とは異なり、方法２００は、領域または符号化された領域の画像データ特性の定量的レベルの代わりに、符号化された領域の圧縮のレベルを決定する。この圧縮のレベルは、画像データの直接の特性ではなく、むしろ画像データの処理の特性である。具体的には、圧縮のレベルは、領域の画像データを符号化するときに、その領域の画像データがどの程度まで圧縮されたのかを示す。さらに、画像処理パイプラインにおいて設定または処理される画像データ特性とは異なり、圧縮のレベルは、符号化部分、たとえばエンコーダにおいて決定される。エンコーダによる圧縮方式としては、Ｈ．２６４やＨ．２６５などの符号化規格を使用することができる。

【0077】

この圧縮の閾値は、圧縮の決定されたレベルが圧縮の閾値よりも高いときに、メタデータ項目が全くまたはほとんど、役立たなくなるかまたは関連性がなくなるように設定されてもよい。これは、たとえば、圧縮のレベルが圧縮の閾値よりも高いときに、検出された物体の１つまたは複数の意図された後続の分析が、有用な結果をもたらさないことになるか、またはもたらす可能性が低くなるからでもよい。

【0078】

一例として、意図された後続の分析は、検出された物体についての画像内での特定の特徴を認識することに依存する場合がある。検出された物体についての画像内での特定の特徴を認識することは、たとえば、特定のサイズの細部を認識することに関連する場合がある。次いで、このような認識が実現可能にならないか、または実現可能である可能性が低くなる圧縮のレベルを識別することができ、したがって、意図された後続の分析は、いかなる有用な結果をもたらさないか、またはもたらす可能性が低くなる。その一方で、識別された圧縮のレベルよりも上のレベルでは、このような認識が実現可能でもよく、したがって、意図された後続の分析は、任意の有用な結果をもたらすことがある。このような圧縮のレベルは、反復試験に基づいて、また各試験からの実験結果を使用して識別されてもよく、次いで、圧縮の閾値は、このように識別された圧縮のレベルに設定されてもよい。

【0079】

方法２００は、圧縮のレベルが圧縮の閾値以下であるという条件で、メタデータ項目を維持すること（Ｓ２５０）をさらに含んでもよい。ここでの維持することとは、メタデータ項目の削減または破棄が実行されないことを単に意味してもよい。

【0080】

圧縮のレベルを決定する動作（Ｓ２２０）は、符号化された領域の１つまたは複数の圧縮値を取得することと、この１つまたは複数の取得された圧縮値に基づいて、符号化された領域の圧縮のレベルを決定することとを含んでもよい。

【0081】

ある画像において、画像のピクセルのブロックの、ピクセルの各ブロック（たとえば、１６×１６ピクセルまたは６４×６４ピクセル）に、ある１つの圧縮値が提供されてもよい。このような場合には、検出された物体に対応する符号化された領域に含まれるピクセルの１つまたは複数のブロックが、符号化された領域での圧縮のレベルを決定するのに使用されることになる。符号化された領域が、ピクセルの１つのブロックに対応するという条件で、１つの圧縮値が取得され、圧縮のレベルが、取得されたこの１つの圧縮値として決定されてもよい。符号化された領域がピクセルの２つ以上のブロックに対応するという条件で、２つ以上の圧縮値、すなわち符号化された領域のピクセルのブロックの圧縮値が得られる。次いで、圧縮のレベルは、取得された２つ以上の圧縮値のうちの最低値、取得された２つ以上の圧縮値の平均値、取得された２つ以上の圧縮値の中央値、および取得された２つ以上の圧縮値のうちの最高値のうちの１つとして決定されてもよい。

【0082】

さらなる選択肢として、符号化された領域の少なくともある一定の割合が、圧縮の閾値よりも高い圧縮値に関連する場合に、メタデータ項目が削減または破棄されてもよい。

【0083】

圧縮値は、たとえば、量子化パラメータの形で取得されてもよい。画像の様々な部分についての量子化パラメータが、量子化パラメータマップの形で取得されてもよい。

【0084】

方法２００は、動作（ステップ）のうちの１つまたは複数が、ある１つの装置において実行され、１つまたは複数の他の動作が、別の装置において実行されるように、２つ以上の装置を備えるシステムで実行されてもよい。その代わりに、方法２００のあらゆる動作が、単一の装置において実行されてもよい。このような装置は、たとえば、ビデオカメラでもよい。さらに、方法２００の様々な動作が、短期間に実行されてもよく、または相対的に長い期間に実行されてもよい。

【0085】

たとえば、方法２００は、画像がネットワーク接続されたカメラによってキャプチャされると、記憶および分析するために、この画像がネットワークを介してリモートサイトに送信される前に、この方法が実行されるように、たとえばカメラにおいて短期間に実行されてもよい。このような状況では、メタデータ項目を削減または破棄すること（Ｓ２４０）を含む方法２００のあらゆる動作は、送信前に任意のメタデータ項目を削減するために、画像内で検出された物体に関連する画像およびメタデータ項目を送信する前に、カメラにおいて実行されることが好ましい。伝送容量が制限されている場合、これが特に有利である。

【0086】

その代わりに、方法２００は、相対的に長い期間で実行されてもよい。たとえば、ある期間において、検出された物体に関連付けられたメタデータ項目を取得してもよく、画像および関連するメタデータ項目を記憶してもよい。次いで、圧縮のレベルを決定すること（Ｓ２２０）は、後続のどの分析を実行すべきかが決定された後の段階で実行されてもよい。具体的には、次いで、圧縮の閾値の選択は、後続のどの分析を実行すべきかが決定されるまで延期されてもよい。後続のどの分析を実行すべきかが決定され、実行すべき後続の分析に応じて圧縮の閾値が決定されると、方法２００の残りを実行することができ、その結果、条件が満たされる場合には、メタデータ項目が削減または破棄される。別の例では、ある期間において画像および関連するメタデータ項目を記憶する前に、実際の削減または破棄（Ｓ２４０）を除くあらゆる動作が実行されてもよい。条件が満たされた場合、対応するメタデータ項目は、削減もしくは破棄されるべきか、または削減もしくは破棄されてもよいという指標でタグ付けされてもよい。次いで、後の段階で、メタデータ項目は、記憶装置から削減または破棄される。後に削減または破棄するタイミングまたはその理由は、たとえば、画像をキャプチャしてから所定の期間が経過したことでもよい。メタデータ項目が、たとえば記憶またはキャプチャされてから第１の所定の期間の後にまず削減され、次いで、削減されてから第２の期間の後に破棄されるように、削減と破棄の両方が連続して実行されてもよい。削減または破棄はまた、メタデータ項目が、その目的、たとえば、ある期間全体にわたって統計を集計することを満たした後に実行されてもよく、したがって、後続のあらゆる分析などが実行され、その目的のために使用されると、もはや記憶される必要がない。

【0087】

方法１００および方法２００はそれぞれ、画像内のそれぞれの領域に対応するそれぞれの物体に関連する１組のメタデータ項目のそれぞれに、繰り返し実行されてもよい。

【0088】

図３には、画像内で検出された物体に関連付けられたメタデータを管理するための、本開示の第１のシステム３００の実施形態に関連する概略図が示してあり、ここで、この物体は画像の領域に対応する。システム３００は、回路構成３１０を備える。この回路構成３１０は、システム３００の機能を実行するように構成される。回路構成３１０は、中央処理装置（ＣＰＵ）、マイクロコントローラ、またはマイクロプロセッサなどのプロセッサ３１２を備えてもよい。プロセッサ３１２は、プログラムコードを実行するように構成される。プログラムコードは、たとえば、システム３００の機能を実行するように構成されてもよい。

【0089】

システム３００は、メモリ３３０をさらに備えてもよい。メモリ３３０は、バッファ、フラッシュメモリ、ハードドライブ、取外し可能な媒体、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、または別の適切なデバイスのうちの１つまたは複数でもよい。典型的な構成では、メモリ３３０は、長期データ記憶用の不揮発性メモリと、回路構成３１０用のシステムメモリの役割を果たす揮発性メモリとを含んでもよい。メモリ３３０は、データバスを介して、回路構成３１０とデータを交換してもよい。メモリ３３０と回路構成３１０の間の、付随する制御線およびアドレスバスも存在してよい。

【0090】

システム３００の機能は、システム３００の持続的でコンピュータ読取り可能な媒体（たとえば、メモリ３３０）に記憶され、回路構成３１０によって（たとえば、プロセッサ３１２を使用して）実行される、実行可能な論理ルーチン（たとえば、コードのライン、ソフトウェアプログラムなど）の形で具現化されてもよい。さらに、システム３００の機能は、独立型ソフトウェアアプリケーションでもよく、またはシステム３００に関連する追加タスクを実行するソフトウェアアプリケーションの一部を形成してもよい。説明している各機能は、処理ユニット、たとえば回路構成３１０のプロセッサ３１２が実行するように構成された方法とみなしてもよい。また、説明している各機能は、ソフトウェアに実装されてもよいが、このような機能は同様に、専用のハードウェアもしくはファームウェア、またはハードウェア、ファームウェア、および／もしくはソフトウェアの何らかの組合せを用いて実行されてもよい。

【0091】

回路構成３１０は、物体に関連付けられたメタデータ項目を取得するように構成されたメタデータ取得機能３３１を実行するように構成され、このメタデータ項目は、領域の識別表示と、符号化された領域の圧縮のレベルを決定するように構成されたレベル決定機能３３２とを含む。

【0092】

回路構成３１０は、領域または符号化された領域の画像データ特性の定量的レベルを決定するように構成されたレベル決定機能３３２を実行するように、さらに構成される。

【0093】

回路構成３１０は、画像データ特性の決定された定量的レベルに関連して条件を評価するように構成された評価機能３３３を実行するように、さらに構成される。

【0094】

回路構成３１０は、条件が満たされるという条件でメタデータ項目を削減または破棄するように構成された、メタデータ項目管理機能３３４を実行するようにさらに構成される。

【0095】

このメタデータ項目管理機能３３４は、条件が満たされないという条件で、メタデータ項目を維持するようにさらに構成されてもよい。

【0096】

システム３００は、各機能のうちの１つまたは複数が、ある１つの装置に実装され、１つまたは複数の他の機能が、別の装置に実装されるように、２つ以上の装置で実現されてもよい。その代わりに、システム３００のあらゆる機能が、単一の装置に実装されてもよい。この単一の装置は、たとえば、監視カメラでもよい。この参照のさらなる説明については、図１を参照して方法１００の説明について述べる。

【0097】

回路構成３１０によって実行される各機能は、図１に関連して説明した方法の実施形態の対応するステップとして、さらに適合されてもよい。

【0098】

図４には、画像内で検出された物体に関連付けられたメタデータを管理するための、本開示の第２のシステム４００の実施形態に関連する概略図が示してあり、ここで、この物体は画像の領域に対応する。システム４００は、回路構成４１０を備える。この回路構成４１０は、システム４００の機能を実行するように構成される。回路構成４１０は、中央処理装置（ＣＰＵ）、マイクロコントローラ、またはマイクロプロセッサなどのプロセッサ４１２を備えてもよい。プロセッサ４１２は、プログラムコードを実行するように構成される。プログラムコードは、たとえば、システム４００の機能を実行するように構成されてもよい。

【0099】

システム４００は、メモリ４３０をさらに備えてもよい。メモリ４３０は、バッファ、フラッシュメモリ、ハードドライブ、取外し可能な媒体、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、または別の適切なデバイスのうちの１つまたは複数でもよい。典型的な構成では、メモリ４３０は、長期データ記憶用の不揮発性メモリと、回路構成４１０用のシステムメモリの役割を果たす揮発性メモリとを含んでもよい。メモリ４３０は、データバスを介して、回路構成４１０とデータを交換してもよい。メモリ４３０と回路構成４１０の間の、付随する制御線およびアドレスバスも存在してよい。

【0100】

システム４００の機能は、システム４００の持続的でコンピュータ読取り可能な媒体（たとえば、メモリ４３０）に記憶され、回路構成４１０によって（たとえば、プロセッサ４１２を使用して）実行される、実行可能な論理ルーチン（たとえば、コードのライン、ソフトウェアプログラムなど）の形で具現化されてもよい。さらに、システム４００の機能は、独立型ソフトウェアアプリケーションでもよく、またはシステム４００に関連する追加タスクを実行するソフトウェアアプリケーションの一部を形成してもよい。説明している各機能は、処理ユニット、たとえば回路構成４１０のプロセッサ４１２が実行するように構成された方法とみなしてもよい。また、説明している各機能は、ソフトウェアに実装されてもよいが、このような機能は同様に、専用のハードウェアもしくはファームウェア、またはハードウェア、ファームウェア、および／もしくはソフトウェアの何らかの組合せを用いて実行されてもよい。

【0101】

回路構成４１０は、物体に関連付けられたメタデータ項目を取得するように構成されたメタデータ取得機能４３１を実行するように構成され、このメタデータ項目は、領域の識別表示を含む。

【0102】

回路構成４１０は、符号化された領域の圧縮のレベルを決定するように構成されたレベル決定機能４３２を実行するように、さらに構成される。

【0103】

回路構成４１０は、圧縮のレベルが圧縮の閾値よりも高いかどうかを判定するように構成された評価機能４３３を実行するように、さらに構成される。

【0104】

回路構成４１０は、圧縮のレベルが圧縮の閾値よりも高いという条件でメタデータ項目を削減または破棄するように構成された、メタデータ項目管理機能４３４を実行するようにさらに構成される。

【0105】

メタデータ項目管理機能３３４は、圧縮のレベルが圧縮の閾値以下であるという条件で、メタデータ項目を維持するようにさらに構成されてもよい。

【0106】

システム４００は、各機能のうちの１つまたは複数が、ある１つの装置に実装され、１つまたは複数の他の機能が、別の装置に実装されるように、２つ以上の装置で実現されてもよい。その代わりに、システム４００のあらゆる機能が、単一の装置に実装されてもよい。この単一の装置は、たとえばカメラでもよい。この参照のさらなる説明については、図１を参照して方法１００の説明について述べる。

【0107】

回路構成４１０によって実行される各機能は、図２に関連して説明した方法の実施形態の対応するステップとして、さらに適合されてもよい。

【0108】

本発明は、前述の各実施形態に限定されるものではないことが、当業者には理解される。それどころか、添付の特許請求の範囲に記載の範囲において、数多くの修正形態および変形形態が実現可能である。各図面、本開示、および添付の特許請求の範囲を検討することから、特許請求される本発明を実践する際に、このような修正形態および変形形態を当業者が理解し、成し遂げることができる。

【図1】

【図2】

【図3】

【図4】

【外国語明細書】