特許 7441815 ビデオの真正性を判定するための方法およびデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-21

(45)【発行日】2024-03-01

(54)【発明の名称】ビデオの真正性を判定するための方法およびデバイス

(51)【国際特許分類】

   H04N 17/00 20060101AFI20240222BHJP

   G06T 7/00 20170101ALI20240222BHJP

【ＦＩ】

H04N17/00 L

G06T7/00 Q

【請求項の数】 11

【外国語出願】

(21)【出願番号】P 2021133304

(22)【出願日】2021-08-18

(65)【公開番号】P2022040012

(43)【公開日】2022-03-10

【審査請求日】2023-10-19

(31)【優先権主張番号】20193417

(32)【優先日】2020-08-28

(33)【優先権主張国・地域又は機関】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】エドパルム， ヴィクトル

(72)【発明者】

【氏名】ユアン， ソン

【審査官】佐野 潤一

(56)【参考文献】

【文献】米国特許出願公開第２００８／１９２９８０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／００８８１０８（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１１２１２２９１（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１５／０２２０７８２（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０７０２５６４７（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １７／００

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２１／００

Ｇ０８Ｂ １３／００－３１／００

(57)【特許請求の範囲】

【請求項1】

監視システムにおいてビデオの真正性を判定するための方法であって、
シーンの画像フレームのシーケンスを取り込むこと、
画像フレームの前記シーケンス内のオブジェクトを追跡すること、
前記オブジェクトが追跡される前記画像フレームの少なくとも第１の画像フレームおよび第２の画像フレーム内の前記追跡されるオブジェクトに対応する画像エリア内の、第１の現在画像品質尺度と、当該第１の現在画像品質尺度と異なる第２の現在画像品質尺度とを決定することであって、前記第１の画像フレームおよび前記第２の画像フレームは、前記第１の画像フレームと前記第２の画像フレームとの間で前記オブジェクトが所定の方向に少なくとも所定の距離だけ移動しているように選択される、決定すること、
前記第１の画像フレームおよび前記第２の画像フレーム内の決定された前記第１の現在画像品質尺度から前記オブジェクトについて第１の現在画像品質尺度変動を識別することと、前記第１の画像フレームおよび前記第２の画像フレーム内の決定された前記第２の現在画像品質尺度から第２の現在画像品質尺度変動を識別することであって、前記第１および第２の現在画像品質尺度変動は、前記第１の画像フレームおよび前記第２の画像フレーム内の前記オブジェクトの位置の関数として前記第１および第２の現在画像品質尺度を記述する、識別すること、
前記第１の現在画像品質尺度変動を第１の既知の画像品質尺度変動と比較することと、前記第２の現在画像品質尺度変動を第２の既知の画像品質尺度変動と比較すること、
第１の所定の量より小さい量だけ、前記第１の現在画像品質尺度変動が前記第１の既知の画像品質尺度変動から偏位し、かつ前記第２の現在画像品質尺度変動が前記第２の既知の画像品質尺度変動から偏位することに応答して、前記ビデオが真正であると判定すること、ならびに、
第２の所定の量より大きい量だけ、前記第１の現在画像品質尺度変動が前記第１の既知の画像品質尺度変動から偏位し、かつ前記第２の現在画像品質尺度変動が前記第２の既知の画像品質尺度変動から偏位することに応答して、リプレイビデオ攻撃の可能性を示す警報を発すること
を含み、
前記第１および第２の現在画像品質尺度は、ピクセルコントラスト、フォーカス、モーションブラー、ピクセルレンジフィル、およびノイズレベルからなる群からの少なくとも１つである、
方法。

【請求項2】

前記第１および第２の現在画像品質尺度変動は、前記第１の画像フレームおよび前記第２の画像フレームを含む３つ以上の画像フレーム内の決定された前記第１および第２の現在画像品質尺度から識別される、請求項１に記載の方法。

【請求項3】

前記ビデオシーケンス内の決定された前記第１および第２の現在画像品質尺度を記憶することをさらに含む、請求項１または２に記載の方法。

【請求項4】

決定された前記第１および第２の現在画像品質尺度は、それぞれの画像フレームのヘッダー内に記憶される、請求項３に記載の方法。

【請求項5】

前記ビデオシーケンスを記憶すること、
記憶された前記ビデオシーケンスを取り出すこと、および、
取り出された前記ビデオシーケンスに関して前記第１および第２の現在画像品質尺度変動を既知の画像品質尺度変動と比較するステップを実施すること
をさらに含む、請求項３または４に記載の方法。

【請求項6】

前記ビデオが真正であると判定することに応答して、第１の署名をビデオシーケンスに適用すること、および、
前記ビデオが真正であると判定しないことに応答して、前記第１の署名と異なる第２の署名を前記ビデオシーケンスに適用すること
をさらに含む、請求項１から５のいずれか一項に記載の方法。

【請求項7】

監視システムにおいてビデオの真正性を判定するための認証器システムであって、
シーンの画像フレームのシーケンスを取り込むように構成される取り込み機能、
画像フレームの前記シーケンス内のオブジェクトを追跡するように構成される追跡機能、
前記オブジェクトが追跡される画像フレームの少なくとも第１の画像フレームおよび第２の画像フレーム内の前記追跡されるオブジェクトに対応する画像エリア内の、第１の現在画像品質尺度と、当該第１の現在画像品質尺度と異なる第２の現在画像品質尺度とを決定するように構成される決定機能であって、前記第１の画像フレームおよび前記第２の画像フレームは、前記第１の画像フレームと前記第２の画像フレームとの間で前記オブジェクトが所定の方向に少なくとも所定の距離だけ移動しているように選択される、決定機能、
前記第１の画像フレームおよび前記第２の画像フレーム内の決定された前記第１の現在画像品質尺度から前記オブジェクトについて第１の現在画像品質尺度変動を識別し、前記第１の画像フレームおよび前記第２の画像フレーム内の決定された前記第２の現在画像品質尺度から第２の現在画像品質尺度変動を識別するように構成される識別機能、ならびに、
前記第１の現在画像品質尺度変動を第１の既知の画像品質尺度変動と比較し、前記第２の現在画像品質尺度変動を第２の既知の画像品質尺度変動と比較するように構成される比較機能
を実行するように構成される回路部を備え、そして、
第１の所定の量より小さい量だけ、前記第１の現在画像品質尺度変動が前記第１の既知の画像品質尺度変動から偏位し、かつ前記第２の現在画像品質尺度変動が前記第２の既知の画像品質尺度変動から偏位することに応答して、前記ビデオが真正であると判定し、
第２の所定の量より大きい量だけ、前記第１の現在画像品質尺度変動が前記第１の既知の画像品質尺度変動から偏位し、かつ前記第２の現在画像品質尺度変動が前記第２の既知の画像品質尺度変動から偏位することに応答して、リプレイビデオ攻撃の可能性を示す警報を発するように構成され、
前記第１および第２の現在画像品質尺度は、ピクセルコントラスト、フォーカス、モーションブラー、ピクセルレンジフィル、およびノイズレベルからなる群からの少なくとも１つである、認証器システム。

【請求項8】

前記識別機能は、前記第１の画像フレームおよび前記第２の画像フレームを含む３つ以上の画像フレーム内の決定された前記第１および第２の現在画像品質尺度から前記第１および第２の現在画像品質尺度変動を識別するように構成される、請求項７に記載の認証器システム。

【請求項9】

前記ビデオシーケンス内の決定された前記第１および第２の現在画像品質尺度を記憶するように構成される記憶機能をさらに備える、請求項７または８に記載の認証器システム。

【請求項10】

請求項８から９のいずれか一項に記載の認証器システムを備えるカメラ。

【請求項11】

非一時的コンピュータ可読記憶媒体であって、請求項７から１０のいずれか一項に記載のデバイス上で実行されると、請求項１から６のいずれか一項に記載の方法を実装するための命令を記憶している、非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、取り込まれるビデオの真正性を判定することに関する。特に、本発明は、監視システムおいてビデオの真正性を判定することに関する。

【背景技術】

【0002】

カメラは決して嘘をつかないとよく言われたものである。しかしながら、技術が進歩するにつれて、残念ながら、その技術によって作成される情報を捏造（ｆｏｒｇｅ）しようとする試みも進歩する。監視またはモニタリングの状況において、そのような捏造の試みを防止し、捏造の試みが行われるときを検出するための技法が開発されてきた。１つのそのような技法は、取り込まれるビデオに、それがカメラから送信される前に、デジタル署名を付加することである。受信端において、受信されるビデオが、カメラによって送信されたビデオと同じであるか否かを判定するために、署名を検証することができる。こうして、カメラと受信機との間のどこかで捏造する試みを発見することができる。署名を適用する多くの方法が存在する。例えば、署名は、電子透かし（ｗａｔｅｒｍａｒｋ）の形態をとることができ、通常、裸眼にとって改ざん（ａｌｔｅｒａｔｉｏｎ）が目に見えないように、特定のパターンに従って、ビデオの画像フレーム内のピクセル値を修正する。署名を適用する別の方法は、署名をメタデータとして画像フレームのヘッダー内に記憶することである。

【0003】

受信されるビデオが、カメラから送信された後に細工（ｔａｍｐｅｒ）されていないことを保証することを、デジタル署名が可能にする場合でも、これは、受信ビデオが、カメラによってモニターされたシーン内のイベントの真の表現であることを保証しない。ディスプレイからの画像品質が上がるにつれて、カメラ取り込みビデオを、実際のシーンからのものではなく、カメラの前に設置されたディスプレイからのものにすることによって、取り込まれるビデオの観察者をだますことが可能である場合がある。カメラによって適用されるデジタル署名は、そのようなシナリオにおいて、ビデオが、取り込まれ送信された後に細工されていないため、ビデオが真正であることを観察者に伝えることになり、したがって、真正であるという錯覚（ｆａｌｓｅ ｓｅｎｓｅ）をおそらくは与える。

【0004】

したがって、そのようなリプレイビデオ攻撃（ｒｅｐｌａｙｅｄ ｖｉｄｅｏ ａｔｔａｃｋ）の形態の捏造を防止または検出する問題に対する解決策についての必要性が残ったままである。

【発明の概要】

【0005】

本発明の目的は、特に、監視システムにおいてビデオの真正性を判定する方法を提供することである。

【0006】

別の目的は、ビデオに取り込まれるイベントが、カメラによってモニターされたシーン内で起こったイベントであることを判定する方法を提供することである。

【0007】

さらなる目的は、ビデオの真正性を判定することを可能にする認証器（ａｕｔｈｅｎｔｉｃａｔｏｒ）システムを提供することである。

【0008】

さらに別の目的は、ビデオの真正性の判定を可能にするカメラおよびコンピュータ可読記憶媒体を提供することである。

【0009】

第１の態様によれば、これらのおよび他の目的は、監視システムにおいてビデオの真正性（ａｕｔｈｅｎｔｉｃｉｔｙ）を判定するための方法によって、完全にまたは少なくとも部分的に達成され、方法は、シーンの画像フレームのシーケンスを取り込むこと、画像フレームのシーケンス内のオブジェクトを追跡すること、オブジェクトが追跡される画像フレームの少なくとも第１の画像フレームおよび第２の画像フレーム内の追跡されるオブジェクトに対応する画像エリア内の現在画像品質尺度を決定することであって、第１および第２の画像フレームは、第１の画像フレームと第２の画像フレームとの間でオブジェクトが少なくとも所定の距離だけ移動しているように選択される、決定すること、第１の画像フレームおよび第２の画像フレーム内の決定された画像品質尺度からオブジェクトについて現在画像品質尺度変動を識別することであって、画像品質尺度変動は、第１および第２の画像フレーム内のオブジェクトの位置の関数として画像品質尺度を記述する、識別すること、現在画像品質尺度変動を既知の画像品質尺度変動と比較すること、および、現在画像品質尺度変動が既知の画像品質尺度変動から第１の所定の量より小さい量だけ偏位することに応答して、ビデオが真正であると判定することを含む。そのような方法は、取り込まれるビデオが、シーン内に設置されたディスプレイ上で起こるイベントではなく、モニターされるシーン内で起こるイベントを描写する可能性があるか否かを判定することを可能にする。ディスプレイが平坦であるため、表示されるビデオ内で移動するオブジェクトは、シーン内で移動するオブジェクトと同じ画像品質変化を示さないことになる。例えば、シーン内であちこち移動する人は、時としてカメラのフォーカス距離（ｆｏｃｕｓ ｄｉｓｔａｎｃｅ）に近く、また時として、そのフォーカス距離から遠いことになり、それにより、人は、時としてフォーカスが合い（ｉｎ ｆｏｃｕｓ）、時としてフォーカスが外れる（ｏｕｔ ｏｆ ｆｏｃｕｓ）ことになる。しかしながら、表示されるビデオ内で移動する人は、常に、カメラから同じ距離、すなわち、カメラからディスプレイまでの距離にあることになる。したがって、表示されるビデオ内の人が、カメラに向かってまたはカメラから外方に移動するように見える場合でも、カメラのフォーカス距離に対する距離は一定のままであることになる。追跡されるオブジェクトが移動するときの画像品質尺度の変動を、その画像品質尺度の予想される変動と比較することによって、オブジェクトがシーン内で移動している可能性があるか否か、または、オブジェクトが、代わりにディスプレイ上で移動している可能性があるか否かを判定することができる。フォーカスの例に戻ると、カメラに非常に近い地点から、カメラのフォーカス距離を通過し、カメラからさらの外方に、シーン内で移動する人は、最初にフォーカスが外れ、その後、フォーカスが合い、その後、再びフォーカスから外れると予想されることになる。人が、代わりに、カメラの前のスクリーン上に表示されるビデオ内で移動する場合、カメラからのスクリーンの距離は、一定のままであることになり、したがって、人は、フォーカスが合っていようと、外れていようと、同じ相対フォーカスにあるままであることになる。さらに論じるように、フォーカスは、画像品質尺度の１つの例に過ぎず、その変動を、取り込まれるビデオの真正性を判定するために調査することができる。

【0010】

追跡されるオブジェクトに対応する画像エリア内の画像品質尺度の変動を調査することができるために、オブジェクトは、少なくとも所定の距離だけ移動する必要がある。これは、シーン内の距離に変換することができるが、オブジェクトが、画像内で十分に長い距離だけ移動していることがより重要である。距離は、任意の方向に、例えば、シーンにわたって、カメラから下方に、上方に、あるいは、カメラに向かってまたはカメラから外方に、であるとすることができる。移動距離は、カメラがズームするとき、または、可動カメラがパンまたはチルトするときに等、明らかな移動によって引き起こされることもできる。所定の距離は、異なる移動方向について異なるとすることができ、所定の距離は、異なる画像品質尺度について異なるとすることができる。さらに、所定の距離は、画像の異なるエリア内で異なるとすることができる。例えば、レンズ歪みの影響は線形である必要はなく、それにより、より短い移動距離が、画像の周辺部と比較して、画像の中心に近いところで十分である、または、その逆も同様である。別の例として、フォーカスは、カメラからさらに外方のところと比べて、カメラに近い様々な距離においてより迅速に変化する。

【0011】

各画像フレームについて、追跡されるオブジェクトに対応する画像エリア内の現在画像品質尺度は、オブジェクトが十分に長い距離を移動したか否かによらず、決定することができる。しかしながら、画像品質尺度の変動を識別するために、現在画像品質尺度がそれについて採取される画像フレームは、オブジェクトの十分に長い移動を示す必要がある。

【0012】

画像品質尺度は、ピクセルコントラスト、フォーカス、モーションブラー、ピクセルレンジフィル（ｐｉｘｅｌ ｒａｎｇｅ ｆｉｌｌ）、およびノイズレベルからなる群からの少なくとも１つである。

【0013】

方法の或る変形において、現在画像品質尺度変動は、第１および第２の画像フレームを含む３つ以上の画像フレーム内の決定された画像品質尺度から識別される。より多くの画像フレームを使用することは、たった２つを使用することと比べて、変動の明瞭な印象を一般に提供することができる。多くの場合に、ビデオの１秒または数秒に対応する約１００フレームを使用することが有用であるとすることができる。

【0014】

方法の幾つかの変形において、２つ以上の異なる画像品質尺度を調査することができる。そのため、追跡されるオブジェクトに対応する画像エリア内の現在画像品質尺度を決定するステップは、第１の画像品質尺度および第２の画像品質尺度を決定することを含むことができ、第２の現在画像品質尺度は第１の現在画像品質尺度と異なり、現在画像品質尺度変動を識別するステップは、第１の画像フレームおよび第２の画像フレーム内の第１の決定された画像品質尺度から第１の現在画像品質尺度変動を識別すること、および、第１の画像フレームおよび第２の画像フレーム内の第２の決定された画像品質尺度から第２の現在画像品質尺度変動を識別することを含み、現在画像品質尺度変動を既知の画像品質尺度変動と比較するステップは、第１の現在画像品質尺度変動を第１の既知の画像品質尺度変動と比較すること、および、第２の現在画像品質尺度変動を第２の既知の画像品質尺度変動と比較することを含む。これは、ビデオの真正性を判定するときのより高い確実性を提供することができる。なぜならば、表示されるビデオが、たった１つの画像品質尺度と比べて、２つ以上の異なる画像品質尺度の既知の変動に従って振る舞うことになる可能性が小さいからである。

【0015】

現在画像品質尺度変動が既知の画像品質尺度変動から第２の所定の量より大きい量だけ偏位することに応答して、方法は、考えられるリプレイビデオ攻撃を示す警報を発することを含むことができる。そのため、方法は、ビデオの真正性を判定する方法だけでなく、カメラがモニターすると思われる実際のシーンをビデオが描写することができないことをユーザーに警告する方法もまた提供する。第２の所定の量は、第１の所定の量と同じであるとすることができ、それにより、方法の結果は、ビデオが真正であるという指示またはビデオがおそらくは嘘であるという指示であることになる。代替的に、第２の所定の量は、第１の所定の量より大きいとすることができ、それにより、認証方法の成果は、ビデオが真正であるという指示、ビデオがおそらくは嘘であるという指示、または両者の間の曖昧な成果である場合がある。ユーザーは、ビデオが真正であるかまたはおそらくはプレイバック攻撃の結果であることを、ビデオの真正性を判定することができないという明示的な指示によって、または、ビデオが、真正であるかまたは捏造されていることを見出されたという指示の欠如によって、十分な信頼性を持って判定することが可能でなかったと、ユーザーに通知することができる。

【0016】

方法は、ビデオシーケンス内の決定された画像品質尺度を記憶することをさらに含むことができる。こうして、ビデオの真正性は、後で判定することができる。

【0017】

決定された画像品質尺度を、それぞれの画像フレームのヘッダー内に記憶することができる。

【0018】

方法の変形は、ビデオシーケンスを記憶すること、記憶されたビデオシーケンスを取り出すこと、および、取り出されたビデオシーケンスに関して現在画像品質尺度変動を既知の画像品質尺度変動と比較するステップを実施することをさらに含むことができる。そのため、ビデオの真正性は、取り込み時に判定されている必要はなく、後で、真正性が問題になる場合に判定することができる。それにより、計算リソースは、取り込み時に節約することができる。取り込み時に画像品質尺度を決定し記憶することは、画像品質尺度が、真正性が問題になるときに後で判定された場合に比べて、後での認証をより確実にする場合がある。なぜならば、ビデオの圧縮が画像品質尺度に別様に影響を及ぼす場合があるからである。

【0019】

幾つかの変形において、方法は、ビデオが真正であると判定することに応答して、第１の署名をビデオシーケンスに適用すること、および、ビデオが真正であると判定しないことに応答して、第２の署名をビデオシーケンスに適用することであって、第２の署名は第１の署名と異なる、適用することをさらに含むことができる。異なる署名の使用は、認証方法の成果をユーザーに通知する好都合な方法であるとすることができる。

【0020】

第２の態様によれば、上記で述べた目的は、監視システムにおいてビデオの真正性を判定するための認証器システムによって、完全にまたは少なくとも部分的に達成され、システムは、シーンの画像フレームのシーケンスを取り込むように構成される取り込み機能、画像フレームのシーケンス内のオブジェクトを追跡するように構成される追跡機能、オブジェクトが追跡される画像フレームの少なくとも第１の画像フレームおよび第２の画像フレーム内の追跡されるオブジェクトに対応する画像エリア内の現在画像品質尺度を決定するように構成される決定機能であって、第１および第２の画像フレームは、第１の画像フレームと第２の画像フレームとの間でオブジェクトが少なくとも所定の距離だけ移動しているように選択される、決定機能、第１の画像フレームおよび第２の画像フレーム内の決定された画像品質尺度からオブジェクトについて現在画像品質尺度変動を識別するように構成される識別機能、および、現在画像品質尺度変動を既知の画像品質尺度変動と比較するように構成される比較機能を実行するように構成される回路部（ｃｉｒｃｕｉｔｒｙ）を備え、そして、現在画像品質尺度変動が既知の画像品質尺度変動から所定の量より小さい量だけ偏位することに応答して、ビデオが真正であると判定するように構成される。この認証器システムによって、ビデオの真正性を効率的な方法で判定することが可能である。認証器システムは、ビデオが、モニターされるシーン内のイベントを描写する可能性が高いか否か、または、ビデオが、カメラの前に設置されたディスプレイ上に表示されたビデオを描写する可能性が高いか否かを判定することを可能にする。追跡されるオブジェクトの位置の関数として画像品質尺度がどのように変動するかを、画像品質尺度の既知の挙動と比較することによって、オブジェクトが、モニターされるシーン内で移動しているか否か、または、オブジェクトが、代わりに、表示されるビデオ内で移動しているか否かを評価することが可能である。上記の第１の態様の文脈で述べたように、表示されるビデオ内で移動するオブジェクトは、シーンをモニターするカメラにとって、カメラから一定距離、すなわち、カメラからディスプレイまでの距離にあるように見えることになる。そのため、オブジェクトがカメラに対して移動するために起こると予想されることになる画像品質尺度の変化は、起こらないことになる。当業者が認識するように、表示されるビデオ内の追跡されるオブジェクトについても画像品質尺度の変化が、実際には、存在する場合があるが、これらの変化は、そのビデオを表示するディスプレイを含むシーンを取り込むカメラではなく、表示されるビデオを取り込んだカメラに対するオブジェクトの移動によって引き起こされることになる。画像品質尺度は、ピクセルコントラスト、フォーカス、モーションブラー、ピクセルレンジフィル、およびノイズレベルからなる群からの少なくとも１つである。

【0021】

第２の態様の認証器システムは、付随する利点を持って、第１の態様の方法と本質的に同じ方法で具現化することができる。

【0022】

第３の態様によれば、上記で述べた目的は、第２の態様による認証器システムを備えるカメラによって、完全にまたは少なくとも部分的に達成される。

【0023】

第４の態様によれば、上記で述べた目的は、非一時的コンピュータ可読記憶媒体によって、完全にまたは少なくとも部分的に達成され、非一時的コンピュータ可読記憶媒体は、処理能力を有するデバイス上で実行されると、第１の態様による方法を実装するための命令を、非一時的コンピュータ可読記憶媒体上に記憶している。

【0024】

本開示の適用性のさらなる範囲は、以下で示す詳細な説明から明らかになるであろう。しかしながら、本発明の範囲内の種々の変更および修正が、この詳細な説明から当業者に明らかになるため、詳細な説明および特定の例が、本発明の好ましい実施形態を示しながら、例証としてのみ示されることが理解されるべきである。

【0025】

したがって、本発明が、説明するデバイスの特定のコンポーネント部品または説明する方法の特定のステップに限定されず、なぜならば、そのようなデバイスおよび方法が変動する場合があるからであることが理解される。本明細書で使用される用語が特定の実施形態を述べるためのものに過ぎず、制限的であることを意図されないことも理解される。本明細書および添付特許請求の範囲で使用するとき、冠詞「１つの（ａ）」、「１つの（ａｎ）」、「その（ｔｈｅ）」、および「前記（ｓａｉｄ）」が、別段に文脈が明確に指示しない限り、要素の１つまたは複数が存在することを意味することを意図されることが留意されなければならない。そのため、例えば、「１つのオブジェクト（ａ ｏｂｊｅｃｔ）」または「そのオブジェクト（ｔｈｅ ｏｂｊｅｃｔ）」に対する参照は、幾つかのデバイスおよび同様なものを含むことができる。さらに、語「備えている（ｃｏｍｐｒｉｓｉｎｇ）」は、他の要素またはステップを排除しない。

【0026】

本発明は、ここで、例によって、かつ、添付概略図面を参照して、より詳細に述べられる。

【図面の簡単な説明】

【0027】

【図1】カメラによってモニターされるシーンの斜視図である。

【図2】ディスプレイがカメラの前に設置された状態の、図１のシーンの斜視図である。

【図3a】図１または図２におけるカメラによって取り込まれる一連の画像を示す図である。

【図3b】図１または図２におけるカメラによって取り込まれる一連の画像を示す図である。

【図3c】図１または図２におけるカメラによって取り込まれる一連の画像を示す図である。

【図4】現在画像品質尺度変動および既知の画像品質尺度変動の例を示すグラフである。

【図5】本発明の方法の変形を示すフローチャートである。

【図6】本発明の方法の別の変形を示すフローチャートである。

【図7】本発明の認証器システムの一実施形態を示すブロックダイヤグラムである。

【図8】図７の認証器システム等の認証器システムを備えるカメラのブロックダイヤグラムである。

【発明を実施するための形態】

【0028】

図１において、カメラ２によってモニターされるシーン１が示される。カメラ２の助けを借りて、例えば、建物４への入口３のまわりのエリアをモニターすることが可能である。

【0029】

図２において、図１の場合と同じシーン１が示されるが、ここでは、ビデオディスプレイ５がシーン内に設置されている。ディスプレイ５は、カメラ２の前に設置され、それにより、建物４への入口３の画像を取り込む代わりに、カメラ１は、ここで、ディスプレイ５の画像を取り込むことになる。

【0030】

図３は、カメラ２によって取り込まれるビデオシーケンス内の３つの画像６を示す。画像６ａ、６ｂ、６ｃは、入口３に向かって歩く人７を描写する。ビデオが実際のシーンで起こったことを示すか否か、または、ビデオがディスプレイ５上に表示された何かを示すか否かは、画像６ａ～６ｃから即座に明らかでない。ビデオが真正であるか否かを判定する問題を解決するために、１つまたは複数の画像品質尺度の変動が、追跡されるオブジェクトの位置の関数として調査されるべきであることを本発明者等は認識した。以下において、ビデオを認証するための発明の方法およびシステムは、最初に図１～３を参照して例として説明される。

【0031】

カメラ２は、画像フレーム６のシーケンスを取り込むために可視光を使用するデジタルカメラである。オブジェクトは画像シーケンス内で追跡される。この例において、追跡されるオブジェクトは人７である。多くのオブジェクト追跡方法が、当業者に知られており、したがって、追跡それ自体は、本明細書で詳細に論じられない。

【0032】

人７がカメラ２に対して移動するにつれて、１つまたは複数の画像品質尺度は、人の位置の関数として変動する。例えば、図３ａにて、人７はカメラ２近い。この例では、カメラのフォーカスは、固定され、カメラ２からさらに外方に、カメラ２と入口３との間のどこかに設定される。したがって、人７は、最初に、フォーカスが外れているはずである。図３ｂにて、人は、カメラから外方に、入口に向かって移動しており、ここで、カメラ２のフォーカス距離に対応するシーン内の位置にいる。したがって、人７は、フォーカスが合っていると予想される。追跡される人７は、ドア（ｄｏｏｒ）に向かって引き続き進み、図３ｃにて、入口３にほぼ達している。この位置は、カメラ２のフォーカス距離を超えており、したがって、人は、再びフォーカスが外れているはずである。

【0033】

カメラ２のフォーカス設定、および、様々なフォーカス設定における被写界深度等のレンズの挙動の知識によって、フォーカスが、オブジェクトとカメラとの間の様々な距離と共にどのように変化すべきであるかを見出すことが可能である。この既知の変動を、その後、取り込まれる画像シーケンスにおいてフォーカスがどのように変動するかと比較することができる。各画像フレーム６ａ～６ｃにて、現在画像品質尺度が、追跡されるオブジェクトに対応する画像エリアにおいて決定される。そのため、この例では、フォーカス値は、各フレーム６ａ～６ｃ内で人７の画像エリアにおいて決定される。フォーカス値は、任意の知られている方法で決定することができる。決定されるフォーカス値に基づいて、現在フォーカス変動が識別される。この変動は、たった２つまたは数枚の画像フレームにおいて決定される画像品質尺度に基づく場合があるが、有利には、連続する画像フレームのより長いシーケンスに基づく場合がある。

【0034】

図４は、フォーカス等の画像品質尺度が、取り込まれる画像においてどのように変動するか、および、同じ画像品質尺度が、カメラおよびそのコンポーネントの知識に基づいてどのように変動すると予想されるかの例の簡略化した例証である。ｘ軸は、画像フレーム内の追跡されるオブジェクトの位置を示し、ｙ軸は、調査される画像品質尺度の値を示す。図４にプロットする値が、例証のためのものに過ぎず、実際の（ｒｅａｌ）画像品質尺度を必ずしも示さないことが留意されるべきである。

【0035】

取り込まれる画像フレーム内の追跡されるオブジェクトについてのフォーカス値の変動は、予想されるまたは既知の変動と比較される。この比較は、現在変動を記述する曲線、および、エッジの強度の局所和を計算するエッジ検出解析等の既知の変動を記述する曲線に対して画像解析を実施することによって行うことができる。比較は、代替的に、現在変動および既知の変動の複数のポイントについての絶対差の和を計算することによって行うことができる。比較の一部として、現在変動の較正または標準化を、既知の変動を参照して行うことができる、または、その逆も同様である。

【0036】

比較の成果が、現在画像品質尺度変動、またはこの例では、フォーカス値変動が、予想されるまたは既知の変動から、第１の所定の量より小さい量だけ異なるというものである場合、ビデオが真正であると判定される。

【0037】

一方、比較の成果が、現在画像品質尺度変動が、予想されるまたは既知の変動から、第１の所定の量より大きい量だけ異なるというものである場合、ビデオが真正であると判定されないことになる。方法は、そのような事例では、そのような決定的でない成果で終わる場合がある、または、ビデオが真正であると判定することが可能でなかった場合、ビデオが、おそらくは真正でないかまたは嘘であると判定する場合がある。代替的に、現在画像品質尺度変動と既知の変動との差を、第１の所定の量より大きい第２の所定の量に対してチェックすることができ、現在画像品質尺度変動が、既知の画像品質尺度変動からその第２の所定の量より大きい量だけ異なる場合、ビデオがおそらくは嘘であると判定することができる。もし、現在画像品質尺度変動が、既知の画像品質尺度変動から、第１の所定の量より大きいが第２の所定の量より小さい量だけ異なる場合、比較は、決定的でないことになり、ビデオが、真正であるか、おそらくは嘘であるかを判定することができない。

【0038】

ビデオが真正であると判定された場合、これを、種々の方法でユーザーに示すことができる。例えば、可視透かし（ｖｉｓｉｂｌｅ ｗａｔｅｒｍａｒｋ）を、ビデオがカメラ２から送信される前に、オーバーレイとしてビデオに付加することができる。しかしながら、ビデオ内のそのような可視指示（ｖｉｓｉｂｌｅ ｉｎｄｉｃａｔｉｏｎ）は、ビデオを観察する誰かにとって目障りである場合があり、したがって、ビデオが真正であることを見出したことを示す他の方法を使用することが好ましい場合がある。代替法として、デジタル署名（ｄｉｇｉｔａｌ ｓｉｇｎａｔｕｒｅ）は、指示を行うために使用することができる。デジタル署名は、画像フレームが、カメラ２から送信される前にエンコードされるときに、画像フレームのヘッダー内にメタデータとして記憶することができる。１つの署名は、ビデオが真正であると判定されたことを示すために使用することができ、別の署名は、ビデオが真正でないと判定されたことを示すために使用することができる。第３の署名または署名無しは、認証の成果が決定的でないときに使用することができる。

【0039】

発明の方法を要約するために、例が、ここで、図５のフローチャートを参照して説明される。ステップＳ１にて、画像フレームのシーケンスが取り込まれる。ステップＳ２にて、オブジェクトが、取り込まれた画像フレーム内で追跡される。ステップＳ３にて、追跡されるオブジェクトに対応する画像エリア内で、現在画像品質尺度が、少なくとも２つの画像フレーム内で決定される。これらの２つの画像フレームは、オブジェクトが、２つのフレーム間で少なくとも所定の距離だけ移動しているように選択される。ステップＳ４にて、現在画像品質尺度変動が識別される。換言すれば、現在画像品質尺度が、少なくとも２つの画像フレーム内でオブジェクトの位置の関数としてどのように変動するかが識別される。ステップＳ５にて、識別された画像品質尺度変動は、既知の画像品質尺度変動、すなわち、カメラの知識に基づきかつ少なくとも２つの画像フレーム内の追跡されるオブジェクトの位置に基づいて予想される変動と比較される。現在画像品質尺度変動が、既知の変動とほとんど異ならない、すなわち、第１の所定の量より小さい量だけ異なることが見出される場合、ステップＳ６にて、ビデオシーケンスが真正であると判定される。上記で論じたように、現在画像品質尺度変動が、既知の変動から第１の所定の量より大きい量だけ異なることが見出される場合に起こることは、異なる方法でセットアップすることができる。

【0040】

図５を参照すると、図４に関して説明する方法の修正形態が、ここで説明される。この修正形態は、方法を更に一層信頼性のあるものにすることができる。第１の２つのステップは、上記と同じであり、それにより、ステップＳ１にて、画像フレームのシーケンスが取り込まれ、ステップＳ２にて、オブジェクトが、画像フレーム内で追跡される。方法は、その後、２つの異なる画像品質尺度が決定される点で修正される。例えば、ピクセルコントラストおよびピクセルレンジフィルを共に決定することができる。そのため、ステップＳ３ａにて、第１の画像品質尺度が、追跡されるオブジェクトに対応する画像エリア内で決定され、ステップＳ３ｂにて、第２の画像品質尺度が、追跡されるオブジェクトに対応する画像エリア内で決定される。各画像品質尺度について、上記で説明した同じプロセスが続く。したがって、ステップＳ４ａにて、第１の画像品質尺度が、追跡されるオブジェクトの位置の関数としてどのように変動するかを記述する第１の画像品質尺度変動が識別され、ステップＳ４ｂにて、第２の画像品質尺度が、追跡されるオブジェクトの位置の関数としてどのように変動するかを記述する第２の画像品質尺度変動が識別される。ステップＳ５ａにて、第１の画像品質尺度変動は、この第１の画像品質尺度についての既知の変動と比較され、ステップＳ５ｂにて、第２の画像品質尺度変動は、第２の画像品質尺度の既知の変動と比較される。両方の現在画像品質尺度変動が、それぞれの既知の変動と十分に類似する場合、ステップＳ６にて、ビデオが真正であると判定される。一方、第１および第２の画像品質尺度のいずれかが、それぞれの既知の変動から所定の量より大きい量だけ異なる場合、ビデオが真正であると判定されない。例えば、もし、第１の現在画像品質尺度が、第１の既知の画像品質尺度から第１の所定の量より大きい量だけ異なり、第２の現在画像品質尺度が、第２の既知の画像品質尺度と十分に類似する場合、成果が決定的でないと判定することができる。もし、両方の現在画像品質尺度変動が、既知の画像品質尺度変動と著しく異なる場合、ビデオシーケンスが真正でないかまたは嘘である可能性があると判定することができる。１つの画像品質尺度の既知の変動によく対応する挙動を、偶然にまたは技量によって有するカメラの前でビデオが表示された場合でも、同様に別の画像品質尺度の既知の変動をエミュレートすることができる可能性は低い。したがって、２つ以上の画像品質尺度変動を調査することによって、認証をより柔軟性がありかつ信頼性があるものにすることができる。これの変形は、認証方法を実施するときに採取する画像品質尺度のセットを有することであるとすることができる。決定する画像品質尺度をランダムに採取することができる。それにより、計算リソースは、認証方法をだますことを依然としてより難しくしながら、１つの画像品質尺度のみが各ビデオシーケンスについて調査される必要がある点で節約することができる。なぜならば、だますことが、幾つかの画像品質尺度の挙動を真似ることを必要とすることになるからである。

【0041】

ビデオシーケンスの認証は、カメラ２がビデオを送信する前に、カメラ２内で行うことができる。しかしながら、ビデオシーケンスがカメラ２から送信された後に、後で認証を実施することが望ましい状況が存在する場合がある。これは、例えば、カメラが計算リソースを制限した場合に興味深いとすることができる。これは、認証が、カメラ２によって取り込まれる全てのビデオシーケンスについて必要とされるのではなく、少数のビデオシーケンスのみについて必要とされる、シナリオにおいて興味深いとすることもできる。ほとんどの時間、取り込まれるビデオは、特に興味深いとすることができるではなく、モニターされるシーン内で、犯罪が犯された場合、犯罪時に取り込まれるビデオは、犯罪科学的価値（ｏｆ ｆｏｒｅｎｓｉｃ ｖａｌｕｅ）があるとすることができ、そのビデオが信頼できるか否かを判定することが必要であるとすることができる。ビデオシーケンスの真正性を判定する可能性を依然として提供しながら、カメラ２内で計算のための時間およびリソースを節約する方法は、認証方法を異なるデバイス間で分割することである。そのため、方法の第１のステップは、カメラ２上で実施することができ、それにより、カメラは、画像を取り込み、画像内のオブジェクトを追跡し、追跡されるオブジェクトに対応する画像エリア内で現在画像品質尺度を決定する。各画像フレームについて、現在画像品質尺度を、ビデオシーケンス内に、例えば、画像フレームをエンコードするときに作成されるヘッダー内に記憶することができる。ビデオシーケンスは、その後、カメラ２からコントロールセンターまたは他の場所に送信することができ、そこで、ビデオシーケンスを、リアルタイムに観察するおよび／または記録することができる。方法は、ビデオシーケンスが受信されるときに直接、または、ビデオシーケンスが記録された後の或る後の時点で、ビデオシーケンスの受信場所で継続することができる。そのため、コントロールセンターまたは他のどこかにおいて、現在画像品質尺度に関するビデオシーケンスに記憶されたデータを取り出すことができる。現在画像品質尺度変動は、その後、取り出された画像品質尺度データに基づいて識別することができ、この変動は、上記で説明したのと同じ方法で既知の画像品質尺度変動と比較することができる。上記と全く同じように、現在画像品質尺度変動が、既知の画像品質尺度変動から第１の所定の量より小さい量だけ異なる場合、ビデオシーケンスが真正であると判定される。上記で論じたのと同じ方法で、比較の他の成果を示すこともできる。

【0042】

これまでの説明において、論じた画像品質尺度が、主に議論の中心であった。しかしながら、同じ手法は、ピクセルコントラスト、モーションブラー、ピクセルレンジフィル、およびノイズレベル等の他の画像品質尺度と共に使用することができる。これらの画像品質尺度を決定する方法は、当業者に知られており、したがって、簡潔に論じられるのみである。

【0043】

フォーカスは、画像内のエッジの局所的鮮鋭度（ｌｏｃａｌ ｓｈａｒｐｎｅｓｓ）として測定することができる。フォーカスは、フォーカス中心からの距離と共に変動する。

【0044】

ピクセルコントラストは、１つのピクセルの値と周囲のピクセルの値との差を計算する、一般的な局所コントラストとして測定することができる。この尺度は、画像内の角度分解能（ａｎｇｕｌａｒ ｒｅｓｏｌｕｔｉｏｎ）に密接に関連する。ピクセルコントラストは、カメラからオブジェクトまでの距離と共に、ならびに、カメラとオブジェクトとの間の角度と共に変動する。

【0045】

モーションブラーは、画像内の移動オブジェクトがどれほどぼけているかを測定する。モーションブラーを測定することは、ぼけの点広がり関数（ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ ｏｆ ｔｈｅ ｂｌｕｒｒｉｎｇ）を推定することによって行うことができる。モーションブラーは、オブジェクトの速度と共に変動するが、カメラからオブジェクトまでの距離によらず、同じであると予想される。

【0046】

ピクセルレンジフィルは、局所ピクセルが、ピクセル値の利用可能なレンジをどれほど十分に埋めているかの尺度である。これは、例えば、３２×３２ピクセルの近傍について測定することができる。ピクセル値のレンジは、例えば、８ビット表現において０～２５５であるとすることができる。ピクセルレンジは、カメラ内の画像処理で使用される局所トーンマッピングによって左右される。そのため、オブジェクトが特定の画像エリア内に移動するとき、ピクセルレンジフィルは、カメラからオブジェクトまでの距離によらず、同じであると予想される。

【0047】

ノイズレベルは、時間的または空間的ノイズの局所的量として測定することができる。ノイズレベルは、移動オブジェクトと静止オブジェクトとの間で、および、異なる光レベルの間で異なることになる。しかしながら、２つ以上のオブジェクトが同時に移動する場合、ノイズレベルは同じであると予想される。

【0048】

画像フレーム内のオブジェクト位置の関数としてのそれらの予想される変動を見出すことができる限り、調査することができるさらなる画像品質尺度が存在する場合があることを当業者は認識するであろう。それぞれの画像品質尺度の既知の変動は、カメラのパラメーターのおよびレンズ等のカメラのコンポーネントの知識に基づいて理論的にまたは数学的に決定することができる。代替的に、既知の変動は、オブジェクトをシーン内であちこち移動させ、オブジェクトの画像シーケンスを取り込み、オブジェクトの位置の関数として変動を識別することによって経験的に決定することができる。

【0049】

図７は、監視システムにおいてビデオの真正性を判定するための発明の認証器システム７０の一実施形態を概略的に示す。このシステムは、上記で既に説明したものと全体的に一致する幾つかの機能を実施するための回路部を備える。認証器システムは、シーンの画像フレームのシーケンスを取り込むように構成される取り込み機能７１を実行するように構成される回路部を有する。認証器システム回路部は、同様に、画像フレームのシーケンス内のオブジェクトを追跡するように構成される追跡機能７２を実行するように構成される。さらに、認証器システムの回路部は、オブジェクトが追跡される画像フレームの少なくとも第１の画像フレームおよび第２の画像フレーム内の追跡されるオブジェクトに対応する画像エリア内の現在画像品質尺度を決定するように構成される決定機能７３を実行するように構成され、第１および第２の画像フレームは、第１の画像フレームと第２の画像フレームとの間でオブジェクトが少なくとも所定の距離だけ移動しているように選択される。さらに、回路部は、第１の画像フレームおよび第２の画像フレーム内の決定された画像品質尺度からオブジェクトについて現在画像品質尺度変動を識別するように構成される識別機能７４、および、現在画像品質尺度変動を既知の画像品質尺度変動と比較するように構成される比較機能７５を実行するように構成される。現在画像品質尺度変動が既知の画像品質尺度変動から第１の所定の量より小さい量だけ偏位することに応答して、認証器システムは、ビデオが真正であると判定するように構成される。認証器システム７０は、上記で説明した方法に従って動作することができる。

【0050】

図８において、カメラ２の例が示される。カメラは、それ自体知られている幾つかのコンポーネントを有するが、本発明に特に関連するコンポーネントのみが本明細書で説明される。カメラ２は、レンズ８１、および、図１および図２に示すシーン１等の、カメラ２がモニターするシーンの画像を取り込むための画像センサ８２を有する。さらに、カメラ２は、画像プロセッサ８３、エンコーダー８４、およびネットワークインターフェース８５を含む。カメラ２には、図７に示すような認証システム７０が統合される。

【0051】

当業者が、上記で説明した実施形態を多くの方法で修正し、上記実施形態で示した本発明の利点を依然として使用することができることが理解されるであろう。一例として、発明の方法は、背景の節で論じたデジタル署名等の他の認証方法と非常にうまく組み合わすことができる。これは、シーンの取り込みから、送信済みビデオの受信時点までの認証のチェーンを確認することを可能にすることになる。

【0052】

画像フレーム内で移動する２つ以上のオブジェクトが存在する場合、特に、オブジェクトが異なる軌跡に沿って移動している場合、２つ以上の追跡されるオブジェクトについて画像品質尺度を評価することによって、認証の信頼性を上げることが可能になることになる。全てのそのような評価が、現在画像品質尺度と既知の画像品質尺度との差が第１の所定の量より小さいことを示す場合、ビデオシーケンスが真正であると判定することができるが、現在画像品質尺度変動のうちの少なくとも１つが、第１の所定の量より大きい量だけ変動する場合、ビデオシーケンスが真正である可能性がない、またはさらに、ビデオシーケンスが、おそらくは嘘であると判定することができる。

【0053】

上記例において、カメラは、画像を取り込むために可視光を使用する。可視光カメラは、ＣＣＤまたはＣＭＯＳ画像センサを備えることができる。しかしながら、同じ原理が、ＩＲカメラ等の他のタイプのカメラのために使用することができる。

【0054】

認証器システムは、カメラに統合されるものとして上記で説明された。やはり、認証器システムを、カメラに接続される別個のデバイスとして設けることが可能であることになる。認証方法が２つ以上のデバイス間で分割される実施形態において、認証器システムの所定の部分は、カメラに統合するまたはカメラに直接接続することができ、他の部分は、カメラから遠隔に、例えば、カメラから送信されるビデオが受信されるコントロールセンター内に配置することができる。

【0055】

上記例のカメラはデジタルカメラであるが、本発明は、デジタル化ユニットに接続されるアナログカメラと共に有利に使用することもできる。

【0056】

図７および図８で示され開示されるコンポーネントが、ハードウェア、ソフトウェア、またはその組み合わせとして実装することができることが理解される。

【0057】

コンポーネントのハードウェア実装において、コンポーネントは、部品の機能を提供するために専用でありかつ特別に設計される回路部に対応することができる。回路部は、１つまたは複数の特定用途向け集積回路あるいは１つまたは複数のフィールドプログラマブルゲートアレイ等の１つまたは複数の集積回路の形態であるとすることができる。

【0058】

コンポーネントのソフトウェア実装において、回路部は、代わりに、マイクロプロセッサ等のプロセッサの形態であるとすることができ、プロセッサは、不揮発性メモリ等の（非一時的）コンピュータ可読記憶媒体上に記憶されるコンピュータコード命令であって、本明細書で開示する任意の方法（の一部）をプロセッサに実施させる、コンピュータコード命令と共同する。不揮発性メモリの例は、読み出し専用メモリ、フラッシュメモリ、強誘電体ＲＡＭ、磁気コンピュータ記憶デバイス、光ディスク、および同様なものを含む。例えば、ソフトウェアの場合、認証器システムは、コンピュータ可読記憶媒体上に記憶されたコンピュータコード命令の一部分に対応することができ、コンピュータコード命令は、プロセッサによって実行されると、コンポーネントの機能を、カメラまたは他のところのプロセッサに実施させる。

【0059】

本発明がソフトウェアで具現化されると、プログラムコードは、任意の種類のプロセッサ、例えば、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、集積回路内に実装されるカスタムメード処理デバイス、ＡＳＩＣ、ＦＰＧＡ、ディスクリートコンポーネントを含むロジック回路部によって実行することができる。

【0060】

したがって、本発明は、示す実施形態に限定されるべきではなく、添付特許請求の範囲によって規定されるだけであるべきである。

【図1】

【図2】

【図3a】

【図3b】

【図3c】

【図4】

【図5】

【図6】

【図7】

【図8】