知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024086623
(43)【公開日】2024-06-27
(54)【発明の名称】非圧縮データ上で署名された編集可能なビデオデータ
(51)【国際特許分類】
H04N 19/467 20140101AFI20240620BHJP
【ＦＩ】
H04N19/467
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023205832
(22)【出願日】2023-12-06
(31)【優先権主張番号】22213745
(32)【優先日】2022-12-15
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】502208205
【氏名又は名称】アクシス アーベー
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】ボルカー， ビョルン
(72)【発明者】
【氏名】ルンドベリ， ステファン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159KK36
5C159KK43
5C159MA04
5C159MA05
5C159TA01
5C159TB07
5C159UA02
5C159UA05
(57)【要約】 （修正有）
【課題】非圧縮データ上で署名された編集可能なビデオデータを提供する。
【解決手段】データユニットおよび関連する署名ユニット並びにフィンガープリントから導出されたビット列のデジタル署名を含み、署名ユニットに関連付けられたデータユニットから再構築されたマクロブロックから算出されるビデオシーケンスの予測符号化によって取得された署名付きビデオビットストリームであって、領域を置換する要求を受信することと、該領域が含まれるマクロブロックの第１のセットと、それを参照するマクロブロックの第２のセットとを再構築することと、マクロブロックの第１のセットのフィンガープリントを含むアーカイブオブジェクトを追加することと、データユニットの第１のセットを編集しそれらを符号化することと、マクロブロックの第２のセットを再符号化し、署名付きビデオビットストリームに新しいデータユニットを追加することと、によって編集される。
【選択図】図６
【解決手段】データユニットおよび関連する署名ユニット並びにフィンガープリントから導出されたビット列のデジタル署名を含み、署名ユニットに関連付けられたデータユニットから再構築されたマクロブロックから算出されるビデオシーケンスの予測符号化によって取得された署名付きビデオビットストリームであって、領域を置換する要求を受信することと、該領域が含まれるマクロブロックの第１のセットと、それを参照するマクロブロックの第２のセットとを再構築することと、マクロブロックの第１のセットのフィンガープリントを含むアーカイブオブジェクトを追加することと、データユニットの第１のセットを編集しそれらを符号化することと、マクロブロックの第２のセットを再符号化し、署名付きビデオビットストリームに新しいデータユニットを追加することと、によって編集される。
【選択図】図６
【特許請求の範囲】
【請求項1】
ビデオシーケンスの予測符号化によって取得された署名付きビデオビットストリームを編集する方法であって、
前記署名付きビデオビットストリームが、データユニットおよび関連する署名ユニットを含み、
各データユニットが、前記予測符号化されたビデオシーケンスのビデオフレーム内の１つのマクロブロックを表し、
各署名ユニットが、複数のフィンガープリントから導出されたビット列のデジタル署名を含み、
各フィンガープリントが、前記署名ユニットに関連付けられた１つのデータユニットから再構築されたマクロブロックから算出され、
前記方法が、
少なくとも１つのビデオフレームの領域を置換する要求を受信することと、
前記領域が含まれるマクロブロックの第１のセットと、前記第１のセット内のマクロブロックを直接または間接的に参照するマクロブロックの第２のセットとを再構築することと、
アーカイブオブジェクトを前記署名付きビデオビットストリームに追加することであって、前記アーカイブオブジェクトが、再構築された前記マクロブロックの第１のセットから算出されたフィンガープリントを含む、追加することと、
前記少なくとも１つのビデオフレームの前記領域を置換する前記要求に従って前記マクロブロックの第１のセットを編集し、編集された前記マクロブロックの第１のセットを新しいデータユニットの第１のセットとして符号化することと、
前記マクロブロックの第２のセットを新しいデータユニットの第２のセットとして再符号化することと、
前記新しいデータユニットの第１のセットおよび第２のセットを前記署名付きビデオビットストリームに追加することと
を含む、方法。
前記署名付きビデオビットストリームが、データユニットおよび関連する署名ユニットを含み、
各データユニットが、前記予測符号化されたビデオシーケンスのビデオフレーム内の１つのマクロブロックを表し、
各署名ユニットが、複数のフィンガープリントから導出されたビット列のデジタル署名を含み、
各フィンガープリントが、前記署名ユニットに関連付けられた１つのデータユニットから再構築されたマクロブロックから算出され、
前記方法が、
少なくとも１つのビデオフレームの領域を置換する要求を受信することと、
前記領域が含まれるマクロブロックの第１のセットと、前記第１のセット内のマクロブロックを直接または間接的に参照するマクロブロックの第２のセットとを再構築することと、
アーカイブオブジェクトを前記署名付きビデオビットストリームに追加することであって、前記アーカイブオブジェクトが、再構築された前記マクロブロックの第１のセットから算出されたフィンガープリントを含む、追加することと、
前記少なくとも１つのビデオフレームの前記領域を置換する前記要求に従って前記マクロブロックの第１のセットを編集し、編集された前記マクロブロックの第１のセットを新しいデータユニットの第１のセットとして符号化することと、
前記マクロブロックの第２のセットを新しいデータユニットの第２のセットとして再符号化することと、
前記新しいデータユニットの第１のセットおよび第２のセットを前記署名付きビデオビットストリームに追加することと
を含む、方法。
【請求項2】
前記編集されたマクロブロックの第１のセットから算出されたフィンガープリントを前記ビットストリームに追加することをさらに含み、
前記マクロブロックの第１のセットを符号化するデータユニットに関連付けられた署名ユニットが、
少なくとも前記算出されたフィンガープリントから導出されたビット列のデジタル署名を含む代替署名ユニット、または
前記算出されたフィンガープリントのデジタル署名から導出されたビット列を含む少なくとも１つの新しい署名ユニット
と置き換えられる、請求項１に記載の方法。
前記マクロブロックの第１のセットを符号化するデータユニットに関連付けられた署名ユニットが、
少なくとも前記算出されたフィンガープリントから導出されたビット列のデジタル署名を含む代替署名ユニット、または
前記算出されたフィンガープリントのデジタル署名から導出されたビット列を含む少なくとも１つの新しい署名ユニット
と置き換えられる、請求項１に記載の方法。
【請求項3】
前記アーカイブオブジェクトが、前記マクロブロックの第１のセットの位置をさらに含む、請求項１に記載の方法。
【請求項4】
前記マクロブロックの第２のセットがロスレスで再符号化される、請求項１に記載の方法。
【請求項5】
前記マクロブロックの第２のセットが、低減されたデータ圧縮を使用して再符号化され、
前記署名付きビデオビットストリーム内の前記マクロブロックの第２のセットの前記フィンガープリントが、ロバストハッシュを含む、請求項１に記載の方法。
前記署名付きビデオビットストリーム内の前記マクロブロックの第２のセットの前記フィンガープリントが、ロバストハッシュを含む、請求項１に記載の方法。
【請求項6】
前記マクロブロックの第２のセットが非予測的に再符号化される、請求項１に記載の方法。
【請求項7】
前記マクロブロックの第２のセットが、前記編集されたマクロブロックの第１のセットを参照して予測的に再符号化される、請求項１に記載の方法。
【請求項8】
前記マクロブロックの第１のセットを編集することおよび符号化することが、
前記編集されたマクロブロックの第１のセットをロスレスで、および／または低減されたデータ圧縮を使用して、および／または非予測的に符号化すること
を含む、請求項１に記載の方法。
前記編集されたマクロブロックの第１のセットをロスレスで、および／または低減されたデータ圧縮を使用して、および／または非予測的に符号化すること
を含む、請求項１に記載の方法。
【請求項9】
署名ユニットを最初に提供することであって、
前記署名ユニットに関連付けられたそれぞれのデータユニットから複数のマクロブロックを再構築することと、
それぞれの再構築されたマクロブロックから複数のフィンガープリントを算出することと、
前記算出されたフィンガープリントからビット列を導出することと、
前記ビット列のデジタル署名を取得することと
を含む、署名ユニットを最初に提供すること
をさらに含む、請求項１に記載の方法。
前記署名ユニットに関連付けられたそれぞれのデータユニットから複数のマクロブロックを再構築することと、
それぞれの再構築されたマクロブロックから複数のフィンガープリントを算出することと、
前記算出されたフィンガープリントからビット列を導出することと、
前記ビット列のデジタル署名を取得することと
を含む、署名ユニットを最初に提供すること
をさらに含む、請求項１に記載の方法。
【請求項10】
前記ビット列が、前記複数のフィンガープリントの組み合わせまたは前記組み合わせのフィンガープリントである、請求項９に記載の方法。
【請求項11】
前記フィンガープリントを算出することが、参照デコーダバッファから前記再構築されたマクロブロックを取得することを含む、請求項１に記載の方法。
【請求項12】
ビデオシーケンスの予測符号化によって取得された署名付きメディアビットストリームを検証する方法であって、
前記署名付きビデオビットストリームが、データユニット、関連する署名ユニット、およびアーカイブオブジェクトを含み、
各データユニットが、前記予測符号化されたビデオシーケンスのビデオフレーム内の１つのマクロブロックを表し、
各署名ユニットが、複数のフィンガープリントから導出されたビット列のデジタル署名を含み、
各フィンガープリントが、前記署名ユニットに関連付けられた１つのデータユニットから再構築されたマクロブロックから算出され、
前記アーカイブオブジェクトが、少なくとも１つのアーカイブされたフィンガープリントを含み、
前記方法が、
署名ユニットに関連付けられたデータユニットからマクロブロックを再構築することと、
前記再構築されたマクロブロックの少なくともいくつかからそれぞれのフィンガープリントを算出することと、
前記アーカイブオブジェクトから少なくとも１つのアーカイブされたフィンガープリントを取得することと、
前記算出され取得されたフィンガープリントからビット列を導出することと、
前記署名ユニット内の前記デジタル署名を使用して、前記署名ユニットに関連付けられた前記データユニットを検証することと
を含む、方法。
前記署名付きビデオビットストリームが、データユニット、関連する署名ユニット、およびアーカイブオブジェクトを含み、
各データユニットが、前記予測符号化されたビデオシーケンスのビデオフレーム内の１つのマクロブロックを表し、
各署名ユニットが、複数のフィンガープリントから導出されたビット列のデジタル署名を含み、
各フィンガープリントが、前記署名ユニットに関連付けられた１つのデータユニットから再構築されたマクロブロックから算出され、
前記アーカイブオブジェクトが、少なくとも１つのアーカイブされたフィンガープリントを含み、
前記方法が、
署名ユニットに関連付けられたデータユニットからマクロブロックを再構築することと、
前記再構築されたマクロブロックの少なくともいくつかからそれぞれのフィンガープリントを算出することと、
前記アーカイブオブジェクトから少なくとも１つのアーカイブされたフィンガープリントを取得することと、
前記算出され取得されたフィンガープリントからビット列を導出することと、
前記署名ユニット内の前記デジタル署名を使用して、前記署名ユニットに関連付けられた前記データユニットを検証することと
を含む、方法。
【請求項13】
前記アーカイブオブジェクトがさらに、前記アーカイブされたフィンガープリントが関係するマクロブロックの位置を示し、
前記ビット列を導出することが、前記アーカイブオブジェクトによる前記位置に基づいて、前記署名ユニットに関連付けられた各データユニットについて、再構築されたマクロブロックからフィンガープリントを算出するか、または前記アーカイブオブジェクトから対応するアーカイブされたフィンガープリントを取得するかを決定することを含む、
請求項１２に記載の方法。
前記ビット列を導出することが、前記アーカイブオブジェクトによる前記位置に基づいて、前記署名ユニットに関連付けられた各データユニットについて、再構築されたマクロブロックからフィンガープリントを算出するか、または前記アーカイブオブジェクトから対応するアーカイブされたフィンガープリントを取得するかを決定することを含む、
請求項１２に記載の方法。
【請求項14】
請求項１に記載の方法を実行するように配置された処理回路を備えるデバイス。
【請求項15】
請求項１２に記載の方法を実行するように配置された処理回路を備えるデバイス。
【請求項16】
プログラムがコンピュータによって実行されると、請求項１に記載の方法を前記コンピュータに実行させる命令を含むコンピュータプログラムを含む、非一時的コンピュータ可読記録媒体。
【請求項17】
プログラムがコンピュータによって実行されると、請求項１２に記載の方法を前記コンピュータに実行させる命令を含むコンピュータプログラムを含む、非一時的コンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、特にデータの記憶および送信に関連して、ビデオデータを不正なアクティビティから保護するためのセキュリティ装置の分野に関する。本開示は、署名付きビデオビットストリームを編集し、そのような編集から生じ得る署名付きビデオビットストリームを検証するための方法およびデバイスを提案する。
【背景技術】
【0002】
デジタル署名は、安全でないチャネルを介して送信されるデジタルメッセージに検証および安全の層を提供するデジタル署名によって、メッセージの真正性または完全性を検証することができ、否認不可を保証することができる。特にビデオ符号化に関しては、先行技術で説明されている、予測符号化されたビデオシーケンスにデジタル署名するための安全で非常に効率的な方法がある。例えば、本発明者らによる公開された以前の特許出願である、欧州特許出願公開第４１６４１７３号明細書および欧州特許出願公開第４１６４２３０号明細書を参照されたい。ピクチャ群構造を有する予測符号化ビデオデータに特に適合された暗号ビデオ検証技術を提案する、米国特許出願公開第２０１４００１０３６６号明細書も参照されたい。
【0003】
ビデオシーケンスは、署名された後に編集される必要がある場合がある。視覚的改善に加えて、編集は、視覚的特徴を認識しにくくするトリミング、マスキング、ぼかし、または同様の画像処理によってプライバシー保護を保証することを目的にすることができる。ほとんどの利用可能な方法では、これは編集されたフレーム全体を再符号化および再署名する必要がある。再符号化および再署名は、隣接するフレームが編集の影響を直接受けない場合でも、存在し得る予測符号化の依存関係（フレーム間／フレーム内参照）を乱さないように、いくつかの隣接するフレームにも拡張されることが好ましい。これらのステップは、かなりの計算リソースを消費し、ユーザにとって厄介な遅延をもたらす可能性がある。
【0004】
米国特許第７４３７００７号明細書は、圧縮領域においてビデオストリームの関心領域編集を実行する方法を開示する。圧縮ビデオストリームは、不要部分および関心領域部分を有するビデオストリームフレームを表す圧縮ビデオストリームフレームを含む。本方法によれば、圧縮ビデオストリームフレームは、該ビデオストリームの元の構造を維持しながら、前述の不要部分を修正し、前述の関心領域部分を含む圧縮ビデオストリームフレームを取得するように編集される。これを達成するために、該編集は、予測符号化（Ｐ）フレームおよび双方向予測符号化（Ｂ）フレームの前述の関心領域部分の上、下、および右に位置するマクロブロックをスキップすることを含む。米国特許第７４３７００７明細書で検討中のビデオストリームは、署名付きビデオストリームではない。
【発明の概要】
【0005】
本開示の１つの目的は、いくつかの利用可能な方法の場合のように、編集によって影響を受ける部分の外側でビットストリームを再署名する必要性を大幅に回避する、ビデオシーケンスの予測符号化によって取得された署名付きビデオビットストリームを編集する方法を利用可能にすることである。特定の目的は、編集されたものを除くすべてのマクロブロックの署名を保存するそのようなビデオ編集方法を利用可能にすることである。さらなる目的は、元の署名付きビデオビットストリームのデータセキュリティを著しく損なうことなくビデオ編集を可能にすることである。さらなる目的は、ビデオシーケンスの予測符号化によって取得された署名付きビデオビットストリームを検証する方法を提供することである。これらの目的のためのデバイスおよびコンピュータプログラムを提供することは、なおさらなる目的である。
【0006】
これらの目的の少なくともいくつかは、独立請求項によって規定される本発明によって達成される。従属請求項は、本発明の有利な実施形態に関する。
【0007】
本開示の第１の態様では、ビデオシーケンスの予測符号化によって取得された署名付きビデオビットストリームを編集する方法が提供される。署名付きビデオビットストリームは、データユニットおよび関連する署名ユニットを含むものとする。各データユニットは、予測符号化されたビデオシーケンスのビデオフレーム内の最大でも１つのマクロブロックを表す（すなわち、符号化する）。各署名ユニットは、複数のフィンガープリントから導出されたビット列のデジタル署名を含み、各フィンガープリントは、署名ユニットに関連付けられた１つのデータユニットから再構築されたマクロブロックから算出される。署名ユニットは、任意選択的に、デジタル署名が関係するビット列を含むことができる（「文書アプローチ」）。これらの特性を有する署名付きビデオビットストリームの場合、本方法は、少なくとも１つのビデオフレームの領域を置換する要求を受信することと、該領域が含まれるマクロブロックの第１のセットと、第１のセット内のマクロブロックを直接的または間接的に参照するマクロブロックの第２のセットとを再構築することと、アーカイブオブジェクトを署名付きビデオビットストリームに追加することであって、アーカイブオブジェクトが、再構築されたマクロブロックの第１のセットから算出されたフィンガープリントを含む、追加することと、置換する要求に従ってマクロブロックの第１のセットを編集し、編集されたマクロブロックの第１のセットを新しいデータユニットの第１のセットとして符号化することと、マクロブロックの第２のセットを新しいデータユニットの第２のセットとして再符号化することと、新しいデータユニットの第１のセットおよび第２のセットを署名付きビデオビットストリームに追加することと、を含む。
【0008】
データユニットとマクロブロックとは１対１の関係にあるため、データユニットは複数のマクロブロック（複数のマクロブロックの部分も）を表さず、したがって、いくつかのマクロブロックを編集する直接の効果は、編集されたマクロブロックの１つまたは複数のデータユニット（第１のセット）に限定される。さらに、各フィンガープリントは、１つの関連するデータユニットから再構築されたマクロブロックから算出されるため、編集後にデータユニットを再署名する必要性が制限される。より正確には、第１の態様による方法は、マクロブロックの対または群を接続する任意の予測符号化依存性を、すなわち、編集されたマクロブロックを直接的または間接的に参照するマクロブロックを表すデータユニットのセット（第２のセット）を再符号化することによって、保存する。再符号化がデータユニットのこの第２のセットに制限される場合、本方法は利用可能な計算量を効率的に利用する。これにより、通常の処理装置の良好な性能で本方法を実行することができる。
【0009】
第１の態様による方法は、受信者側にさらなる利点を含む。データユニットの第１のセットに関連するフィンガープリントを取得することができるアーカイブオブジェクトのため、受信者は、編集の影響を受けていない署名付きビデオビットストリームのすべてのデータユニットを検証することができる。これにより、既存の署名のかなりの部分を保存することができ、この点において、第１の態様によるビデオ編集方法は、破壊が最小限であるといえる。受信者側での検証は、本開示の第２の態様内で詳細に説明される。重要なことに、再符号化はこれらのマクロブロックの視覚的外観を変更すべきではない演算であるため、マクロブロックの第２のセットに関連するフィンガープリントはアーカイブされる必要はない。
【0010】
いくつかの実施形態では、編集された署名付きビデオビットストリームのデータセキュリティは、ビットストリームに、編集されたマクロブロックの第１のセットに関連付けられた１つまたは複数の署名ユニットを追加することによって改善される。これにより、編集されたマクロブロックの第１のセットの不正な変更のシナリオが回避される。１つまたは複数の署名ユニットは、ビットストリームに追加された新しい署名ユニット、または編集前に署名付きビデオビットストリームに含まれた署名ユニットの編集された（代替）バージョンであってもよい。マクロブロックの第２のセットの完全性は、ビットストリーム内の署名ユニットに既に存在するデジタル署名によって保護される。実際、フィンガープリントは、再構築されたマクロブロックから算出され、再符号化演算は、視覚的外観を無視してよい程度に変更するか、またはまったく変更すべきではないため、受信者は、既存のデジタル署名を使用してマクロブロックの第２のセットの完全性を検証することができる。
【0011】
いくつかの実施形態では、アーカイブオブジェクトは、マクロブロックの第１のセットの位置をさらに含む。位置は、フレーム内の、例えばフレーム座標内のマクロブロックの位置を指すことができる。静的マクロブロック分割が使用される場合、マクロブロックの位置は、マクロブロックシーケンス番号または別の識別子として表すことができる。これは、編集されたビデオビットストリームの受信者が、特定のマクロブロックが変更されたかどうかを判定し、したがって、該マクロブロックを表すデータユニットのフィンガープリントを取得する適切な方法を選択するための支援の１つの方法を提供する。
【0012】
いくつかの実施形態では、マクロブロックの第２のセットはロスレスで再符号化され、それによって新しいデータユニットが取得される。可逆的符号化の使用は、これらの新しいデータユニットから後に再構築されるマクロブロックがマクロブロックの第２のセットと異ならないことを保証する。結果として、フィンガープリントは再構築されたピクセル／平文データから算出されるので、新しいデータユニットは、編集前にビデオビットストリームに既に存在していた署名ユニットと一致したままである。他の実施形態では、マクロブロックの第２のセットは、低減されたデータ圧縮を使用して再符号化され、署名付きビデオビットストリーム内のマクロブロックの第２のセットのフィンガープリントは、ロバストハッシュを含む。ロバストなハッシュは、たとえわずかな差を受けたとしても、アルゴリズムがデータセットを真正として受け入れるような、許容度を有するアルゴリズムのクラスを指す。アルゴリズムは、画像またはビデオデータをハッシュするために最適化され得る。アルゴリズムの許容度は、構成可能であってもよく許容度は、改ざんに対応するエラーが検出される一方で、データ圧縮から予想される通常のエラーは検出できない（それらは上記の意味でわずかな差分である）ように設定されてもよい。
【0013】
いくつかの実施形態では、マクロブロックの第２のセットは、非予測的に再符号化される。非予測符号化は、Ｉフレームのみを使用することに対応し得る。これは、マクロブロックの第２のセットを再符号化する簡単で堅牢な方法である。編集が比較的まれであると想定される場合、追加のメモリまたはビットレートのコストは重大である可能性は低い。他の実施形態では、マクロブロックの第２のセットは、編集されたマクロブロックの第１のセットを参照して予測的に再符号化される。例えば、連続性のために同じＧｏＰ構造を保存することができる。しかしながら、これらの実施形態は、編集によって導入される不連続部にわたって予測しようとする試みを含むため、データ圧縮の観点からあまり良好に機能しない可能性がある。不連続部が大きい場合、ＢまたはＰフレームは通常よりも大きくなる可能性があり、あるいは品質が局所的に低下する可能性がある。
【0014】
いくつかの実施形態では、編集されたマクロブロックの第１のセットは、ロスレスで、および／または低減されたデータ圧縮を使用して、および／または非予測的に符号化される。これらのデータの各々は、元の画像符号化演算によって生じるものに加えて、画質のさらなる損失を制限または回避する。編集されたマクロブロックはビデオシーケンスの残りの部分よりも慎重に使用または研究される可能性が高いため、この符号化のための追加の計算コストおよび／またはメモリコストは正当化される可能性が高い。さらに、ビデオ監視を含む重要なユースケースでは、編集された部分のサイズは、通常、連続監視によって生成されたデータの量と比較して無視できる。
【0015】
いくつかの実施形態では、マクロブロックの符号化に関連してフィンガープリントが算出されるたびに、エンコーダの参照バッファ内の画像データ（例えば、平文データ、画素データ）に対してフィンガープリンティング演算が実施される。これは、署名付きビデオビットストリームを準備したエンコーダデバイスで実践することができる。第１の態様による編集方法を実行する編集ツールにおいても実践することができる。参照バッファは、ほとんどのエンコーダ実装形態（すなわち、正しい予測符号化を保証するため）の必要な構成要素であるため、フィンガープリンティングに使用される再構築されたビデオデータは、追加の計算コストなしで取得することができる。
【0016】
いくつかの実施形態では、マクロブロックの第２のセットは、非予測的に再符号化される。他の実施形態では、マクロブロックの第２のセットは、編集されたマクロブロックの第１のセットを参照して予測的に再符号化される。
【0017】
第１の態様の一般化によれば、データユニットおよび関連する署名ユニットを含む署名付きビデオシーケンスに対して実施されるビデオ編集方法が提供される。予測符号化されたビデオシーケンスのビデオフレーム内の各マクロブロックは、最大でもＭ個のデータユニットによって符号化される。マクロブロック１１０に対して行われる編集は、最大でもＭ個のデータユニット１２０に直接影響を及ぼす。ここで、Ｍは、１、２、３、４、５、または最大でも１０などの小さい整数である。各署名ユニットは、複数のフィンガープリントから導出されたビット列のデジタル署名を含み、各フィンガープリントは、最大でもＭ個の関連するデータユニットそれぞれから再構築されたマクロブロックから算出され、それは任意選択的にビット列も含む。ビデオ編集方法は、少なくとも１つのビデオフレームの領域を置換する要求を受信することと、該領域が含まれるマクロブロックの第１のセットと、第１のセット内のマクロブロックを直接的または間接的に参照するマクロブロックの第２のセットとを再構築することと、再構築されたマクロブロックの第１のセットから算出されたフィンガープリントを含むアーカイブオブジェクトを署名付きビデオビットストリームに追加することと、置換する要求に従ってマクロブロックの第１のセットを編集することと、マクロブロックの第２のセットを再符号化することと、このようにして取得された新しいデータユニットの第１のセットおよび第２のセットを署名付きビデオビットストリームに追加することと、を含む。
【0018】
第１の態様のさらなる一般化によれば、データユニットおよび関連する署名ユニットを含む署名付きビデオシーケンスに対して実施されるビデオ編集方法が提供される。各データユニットは、予測符号化されたビデオシーケンスのビデオフレーム内の最大でもＮ個のマクロブロックを表す（符号化する）。これは、マクロブロックに対して行われる編集の効果がマクロブロック自体に限定されず、編集されたマクロブロックがさらなるマクロブロックと共有する１つまたは複数のデータユニットを再符号化および／または再署名することが必要になる場合があることを意味する。ここで、Ｎは、１、２、３、４、５、または最大でも１０などの小さい整数である。各署名ユニットは、それぞれ正確に１つの関連するデータユニットに関連する複数のフィンガープリントから導出されたビット列のデジタル署名、および任意選択的にビット列を含む。ビデオ編集方法は、少なくとも１つのビデオフレームの領域を置換する要求を受信することと、該領域が含まれるマクロブロックの第１のセットと、第１のセット内のマクロブロックを直接的または間接的に参照するマクロブロックの第２のセットとを再構築することと、再構築されたマクロブロックの第１のセットから算出されたフィンガープリントを含むアーカイブオブジェクトを署名付きビデオビットストリームに追加することと、置換する要求に従ってマクロブロックの第１のセットを編集することと、マクロブロックの第２のセットを再符号化することと、このようにして取得された新しいデータユニットの第１のセットおよび第２のセットを署名付きビデオビットストリームに追加することと、を含む。
【0019】
本開示の第２の態様では、ビデオシーケンスの予測符号化によって取得された署名付きビデオビットストリームを検証する方法が提供される。署名付きビデオビットストリームは、データユニットと、データユニットのいくつかにそれぞれ関連付けられた署名ユニットと、アーカイブオブジェクトとを含むことが理解される。各データユニットは、予測符号化されたビデオシーケンスのフレーム内の１つのマクロブロックを表す。各署名ユニットは、ビット列および任意選択的にビット列自体のデジタル署名を含む。ビット列が複数のフィンガープリントから導出されており、さらに、各フィンガープリントが、署名ユニットに関連付けられた１つのデータユニットから再構築されたマクロブロックから算出されていることが、検証方法を実行することによって少なくとも部分的に検証されると予想される。最後に、アーカイブオブジェクトは、少なくとも１つのアーカイブされたフィンガープリントを含む。署名付きビデオビットストリームを検証する方法は、署名ユニットに関連付けられたデータユニットからマクロブロックを再構築することと、再構築されたマクロブロックの少なくともいくつかからそれぞれのフィンガープリントを算出することと、アーカイブオブジェクトから少なくとも１つのアーカイブされたフィンガープリントを取得することと、算出されて取得されたフィンガープリントからビット列を導出することと、署名ユニット内のデジタル署名を使用して、署名ユニットに関連付けられたデータユニットを検証することとを含む。
【0020】
データユニットの検証は、デジタル署名を使用して、導出されたビット列を検証することを含んでもよい。あるいは（「文書アプローチ」）、検証ステップは、デジタル署名を使用して署名ユニット内のビット列を検証すること、および次いで導出されたビット列と検証されたビット列とを比較することを含む。
【0021】
アーカイブオブジェクトは、第１の態様による編集方法を実行することによって追加されていてもよいが、第２の態様による方法は、このような事前処理の信頼できる知識なしに実施することができる。したがって、第２の態様による方法は、署名ユニットで搬送されたデジタル署名（および任意のビット列）が実際に関連するデータユニットに関するフィンガープリントと一致することを検証するという点で、ビデオシーケンスの真正性の検証を達成する。したがって、これは対応する再構築されたマクロブロックが変更されたことを意味するので、データユニットも変更されていない可能性がある。
【0022】
第２の態様による方法は、再構築されたマクロブロックからの直接計算またはアーカイブオブジェクトからの回復によって、フィンガープリントを取得するための２つの選択肢を含む。これは、編集フェーズ（第１の態様）中の既存のフィンガープリントの破壊を最小限に抑える処理をサポートする。各データユニットが１つのマクロブロックを表すという事実は、所与の置換要求のためにアーカイブされる必要があるフィンガープリントの数を制限する傾向があり、したがって、アーカイブオブジェクトのサイズを制限する。
【0023】
いくつかの実施形態では、アーカイブオブジェクトは、アーカイブされたフィンガープリントが関係するデータユニットによって表されるマクロブロックの位置をさらに示す。言い換えれば、アーカイブされたフィンガープリントは、データユニットから再構築されたマクロブロックのフィンガープリントであり、マクロブロックの位置は、アーカイブオブジェクト内に示される。第２の態様による方法の実行中に、データユニットに関するフィンガープリントを取得するために、アーカイブオブジェクトによって示される位置に基づいて、フィンガープリントを算出するか、またはアーカイブオブジェクトからフィンガープリントを取得するかが判定される。
【0024】
本開示の第１の態様と同様に、第２の態様は、上記で検討した事例、すなわち、１：ＭまたはＮ：１の対応するデータユニットに対するマクロブロックの数値比に一般化することができる。
【0025】
本開示の第３の態様は、第１の態様および／または第２の態様の方法を実行するように構成されたデバイスに関する。これらのデバイスは、異なる主目的（例えば、ビデオ記録、ビデオコンテンツ管理、ビデオ再生）を有するシステムに組み込まれてもよく、またはそれぞれ前述の編集および検証専用であってもよい。本開示の第３の態様内のデバイスは、一般に、第１の態様および第２の態様の効果および利点を共有し、それらは同等の程度の技術的変形を伴って具現化することができる。
【0026】
第４の態様では、署名付きビデオビットストリームは、データユニットおよび関連する署名ユニットを含み、各データユニットは、予測符号化されたビデオシーケンスのビデオフレーム内の最大でも１つのマクロブロックを表し、各署名ユニットは、複数のフィンガープリントから導出されたビット列Ｈ１のデジタル署名ｓ（Ｈ１）を含み、各フィンガープリントｈ１、ｈ２、．．．は、署名ユニットに関連付けられた１つまたは複数のデータユニットから再構築されたマクロブロックから算出されている。特に、署名付きビデオビットストリームは、データユニットおよび関連する署名ユニットを含み、各データユニットは、予測符号化されたビデオシーケンスのビデオフレーム内の正確に１つのマクロブロックを表し、各署名ユニットは、複数のフィンガープリントから導出されたビット列Ｈ１のデジタル署名ｓ（Ｈ１）を含み、各フィンガープリントｈ１、ｈ２、．．．は、署名ユニットに関連付けられた正確に１つのデータユニットから再構築されたマクロブロックから算出されている。上述したように、ビデオビットストリームの一部分が後の時点で編集されることが予想される場合、このフォーマットを有するビデオビットストリームは、編集されていない部分を検証する目的で既存の署名ユニットを再利用する能力を含む、特定の利点をもたらすことができる。署名は復号された画像データに付与されるため、マクロブロック間の依存関係を処理する必要もない。さらに別の利点は、フィンガープリンティング（例えば、ハッシュ）を、単一画素のレベルなど、非常に細かい粒度で実装できることである。
【0027】
本発明はさらに、コンピュータに上記方法を実行させるための命令を含むコンピュータプログラムに関する。コンピュータプログラムは、データキャリアに格納または分配することができる。本明細書で使用される場合、「データキャリア」は、変調された電磁波もしくは光波などの一時的データキャリア、または非一時的データキャリアであってもよい。非一時的データキャリアは、磁気、光学、またはソリッドステートタイプの永続的および非永続的記憶媒体などの揮発性および不揮発性メモリを含む。依然として「データキャリア」の範囲内で、そのようなメモリは固定的に取り付けられてもよく、または移動式であってもよい。
【0028】
本開示のさらなる態様では、データユニットおよび関連する署名ユニットを含む署名付きビデオビットストリームが提供される。各データユニットは、予測符号化されたビデオシーケンスのビデオフレーム内の最大でもＮ個のマクロブロックを表す。ここで、Ｎは、１、２、３、４、５、または最大でも１０などの小さい整数である。各署名ユニットは、それぞれ正確に１つの関連するデータユニットに関連する複数のフィンガープリントから導出されたビット列のデジタル署名、および任意選択的にビット列自体を含む。署名付きビデオビットストリームは、１つのマクロブロックを編集する直接効果が編集されたマクロブロックの最大でもＮ個のデータユニットに制限され、各フィンガープリントが正確に１つの関連するデータユニットのフィンガープリントであるため、編集に適している。これは、編集の伝播を限られた数のデータユニットに制限し、その結果、編集後に再署名される必要があるデータユニットが少なくなる。
【0029】
本開示で使用される、「マクロブロック」は、有利には符号化マクロブロックであり得ることに留意されたい。しかしながら、本発明は、予測符号化されていないビデオにも適用可能であり、より一般化された場合、マクロブロックは、したがって、任意の近接する画素の群とすることができる。ビデオの署名は復号されたフレームに対して行われるため、画素のグループ化は、任意の符号化群の分割に限定される必要はない。
【0030】
一般に、特許請求の範囲で使用されるすべての用語は、本明細書で特に明示的に規定されない限り、技術分野におけるそれらの通常の意味に従って解釈されるべきである。「１つの（ａ）／１つの（ａｎ）／その（ｔｈｅ）要素（ｅｌｅｍｅｎｔ）、装置（ａｐｐａｒａｔｕｓ）、構成要素（ｃｏｍｐｏｎｅｎｔ）、手段（ｍｅａｎｓ）、ステップなどへのすべての言及は、特に明記しない限り、要素、装置、構成要素、手段、ステップなどの少なくとも１つの例を指すものとして非限定的に解釈されるべきである。本明細書に開示される任意の方法のステップは、明示的に述べられていない限り、記載された正確な順序で実施される必要はない。
【0031】
以下、添付の図面を参照して、態様および実施形態を例として説明する。
【図面の簡単な説明】
【0032】
【図1】ビデオフレーム内のマクロブロック内のフレーム内参照の２つの例示的なパターンを示す。
【図2】フレーム間参照の例示的なパターンを有する１つのピクチャ群（ＧｏＰ）を表すフレームのシーケンスを示す。
【図3】データユニットとそれらが表すマクロブロックとの間の４つの例示的な対応パターンを示す。
【図4】第１のフレーム（第１列）内のいくつかのマクロブロックに直接影響を及ぼし、ＧｏＰの終わりまでさらなるフレーム（第２および第３列）における結果的な変化をもたらす編集演算を示す。
【図5】署名付きビデオビットストリーム、ビットストリームから再構築されたマクロブロック、およびビデオビットストリームの一部分に対して実施される編集演算の影響を上から下に示す。
【図6】本明細書の実施形態による、署名付きビデオビットストリームを編集する方法のフローチャートである。
【図7】本明細書の実施形態による、署名付きビデオビットストリームを検証する方法のフローチャートである。
【図9】ローカルエリアおよび／または広域ネットワークを介して接続されるいくつかのそのようなデバイスを示す。
【発明を実施するための形態】
【0033】
本発明の態様は、本発明の特定の実施形態が示されている添付の図面を参照して、以下により完全に説明される。しかしながら、これらの態様は、多くの異なる形態で具現化されてもよく、限定するものとして解釈されるべきではなく、むしろ、これらの実施形態は、本開示が徹底的かつ完全であり、本発明のすべての態様の範囲を当業者に完全に伝えるように、例として提供される。説明全体を通して、同様の符号は同様の要素を指す。
【0034】
本開示の用語では、「ビデオビットストリーム」は、ビット値のシーケンスと同様であり得る任意の実質的に線形のデータ構造を含む。ビデオビットストリームは、いくつかのストリーミング使用事例のように、一時的媒体（例えば、変調された電磁波または光波）によって搬送することができ、またはビデオビットストリームは、揮発性または不揮発性メモリなどの非一時的媒体に格納することができる。
【0035】
ビデオビットストリームはビデオシーケンスを表し、これは公称時間間隔で順次再生されるビデオフレームのシーケンスであると理解することができる。各ビデオフレームは、マクロブロックに分割され得る。本開示ではさらに、「マクロブロック」は、ビデオシーケンスのフレーム内の変換ブロックもしくは予測ブロック、またはこれらの両方の用途を有するブロックとすることができる。本明細書における「フレーム」および「マクロブロック」の使用は、Ｈ．２６ｘビデオ符号化規格または同様の仕様と一致することを意図している。「マクロブロック」はさらに、符号化ブロックであり得る。上述したように、マクロブロックという用語が使用されるが、画素のグループ化は、符号化に使用される任意の分割に限定される必要はなく、むしろ、マクロブロックは、隣接する画素の任意の群であってもよい。予測ベースの符号化の場合に適用される場合、符号化に使用されるものと同じ分割を使用することが有利であり得る。
【0036】
図１Ａおよび図１Ｂは、マクロブロック１１０の４×４の均一な配置へのビデオフレーム１００の例示的なパーティションを示す。これは例示目的のための簡略化であることに留意されたい。実際には、ビデオフレーム１００は、一般に、はるかに多数のマクロブロックに分割され、例えば、マクロブロックは、８×８画素、１６×１６画素、または６４×６４画素とすることができる。本明細書では、予測符号化で使用されるフレーム内参照またはフレーム間参照を示すために、巻き矢印が一貫して使用される。本開示の範囲から逸脱することなく、図１Ａおよび図１Ｂに見られるマクロブロックへのパーティションは、非正方形配置および／またはビデオフレーム１００と同種ではないマクロブロック１１０の配置および／または異なるサイズもしくは形状を有する異なるマクロブロック１１０の混合配置を含むように、大幅に変更することができる。いくつかのビデオ符号化フォーマットは、動的マクロブロック分割をサポートする、すなわち、パーティションは、シーケンス内の異なるビデオフレームに対して異なり得ることが理解される。これは、例えば、Ｈ．２６５に当てはまる。
【0037】
図１Ａでは、フレーム内参照のパターンは、マクロブロック１１０の単一行に制限される。実際、各マクロブロック１１０は、マクロブロック内の画像データを予測的に表現するデータユニットによって表されるという意味で、（フレーム１００内に存在する場合）そのすぐ左のマクロブロックを指し、すなわち、このマクロブロック内の画像データは、左のマクロブロック内の画像データに対して表現される。概念的には、ある程度簡略化されているが、データユニットは、左マクロブロックに対する変化または移動に関してマクロブロック１１０を表現する。別の可能な理解は、データユニットが、左マクロブロックからマクロブロック１１０を導出する所定の予測演算の補正を表すことである。本開示の範囲内の代替例では、マクロブロック１１０は、その右、またはその上または下の別のマクロブロック１１０を指してもよい。
【0038】
図１Ｂでは、フレーム内参照のパターンはより密である。ここで、各マクロブロック１１０は、そのすぐ左のマクロブロック（フレーム１００に存在する場合）およびそのすぐ上のマクロブロック（フレーム１００に存在する場合）を指す。したがって、マクロブロック１１０は、左および上のマクロブロック内の画像データに作用する所定の補間演算（またはなんらかの他の所定の組み合わせ）に基づいて、例えば差分に関して、またはこの画像データの予測の補正に関して、マクロブロック内の画像データを予測的に表現するデータユニットによって表される。補間は、平滑化などの後処理操作を含むことができる。本開示の範囲内にあるさらなる代替案は、図１Ｂに示されている方向とは反対の方向、すなわち最下行から始まる方向を有するフレーム内参照を使用することである。
【0039】
フレーム内参照の所定のパターンを有する画像／ビデオフォーマットは、マクロブロックを復号するための実行可能なシーケンスを表す指定された走査順序と関連付けることができる。図１Ａでは、マクロブロック走査順序は一意ではない、すなわち、各行を独立して復号することができるためである。図１Ｂによるパターンの場合、マクロブロックは、上から行方向に、または左から列方向に復号することができ、この参照パターンを有するビデオフォーマットは、エンコーダ側で任意の再構築エラーが予期され得るように、列ごとまたは行ごとの走査順序を指定することができ、これは符号化効率に利益をもたらす。さらに、任意のマクロブロック順序またはいわゆるスライシングを有するビデオフォーマットが存在する。
【0040】
図２は、フレーム１００のシーケンスを含むビデオシーケンスＶを示す。ビデオシーケンスＶには、一方向予測フレーム（Ｐフレーム）および双方向予測フレーム（Ｂフレーム）を含む、独立して復号可能なフレーム（Ｉフレーム）および予測フレームがある。国際電気通信連合のＩＴＵ－Ｔ勧告Ｈ．２６４（０６／２０１９）「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」は、順方向予測フレームと双方向予測フレームの両方が使用されるビデオ符号化規格を指定している。図２に見られるように、独立して復号可能なフレームは、いずれの他のフレームも参照しない。図２の一方向予測フレーム（Ｐフレーム）は、少なくとも１つの他の先行フレームまたは直前フレームを直接参照するという点で、前方予測される。双方向予測フレーム（Ｂフレーム）は、ビデオシーケンスＶ内の後続または直後のフレームをさらに直接参照することができる。ビデオシーケンスが、第１のフレームが直接参照する第３のフレーム（またはフレームのサブシーケンス）を含み、第２のフレームを直接参照する場合、第１のフレームは間接的に第２のフレームを参照する。予測ビデオ符号化では、ピクチャ群（ＧｏＰ）は、サブシーケンスの外側のいかなるビデオフレームも参照しないビデオフレームのサブシーケンスとして定義され、それは、いずれの他のＩ、ＰまたはＢフレームも参照することなく復号されることができる。図２のビデオフレームは、ＧｏＰを形成する。図２のＧｏＰは、さらなるＧｏＰに細分することができないため、最小である。
【0041】
より単純な実装形態では、ビデオシーケンスＶは、独立して復号可能なフレーム（Ｉ）および一方向予測フレーム（Ｐ）のみからなることができる。そのようなビデオシーケンスは、ＩＰＰＩＰＰＰＰＩＰＰＰＩＰＰＰ、各Ｐフレームが直前のＩフレームまたはＰフレームを指す、外観を有することができる。この例では、ＩＰＰ、ＩＰＰＰＰ、ＩＰＰＰ、ＩＰＰＰ、などのＧｏＰを識別することができる。
【0042】
フレーム間およびフレーム内予測符号化を調整するためのいくつかの選択肢がある。例えば、静的な（固定された）マクロブロックパーティションがすべてのビデオフレームで使用される場合、例示されたもののようなフレーム間参照は、一度に１つのマクロブロック位置（例えば、図１Ａおよび図１Ｂの左上のマクロブロック）のレベルで定義され得る。いくつかのビデオフォーマットは、動的マクロブロックパーティションを可能にし、例えば、マクロブロックは、先行するビデオフレーム内の対応する画素から、または先行するフレーム内の空間的にシフトされた画素から予測することができる。あるいは、フレーム間参照は、ビデオフレーム全体に対して定義される。ＩフレームはＩブロックのみからなり、ＰフレームはＰブロックのみ、またはＩブロックとＰブロックの混合からなり得る。
【0043】
ここで、図３を参照すると、検討中のビデオシーケンスを符号化するビデオビットストリームに注意が向けられる。サブ図３Ａ、３Ｂ、３Ｃ、および３Ｄは、それらが表す（符号化する）データユニット１２０とマクロブロック１１０との間の異なる対応パターンを示す。本開示の目的のために、データユニットは、任意の適切なフォーマットおよび構造を有することができ、そのデータユニットまたは任意の周囲のデータユニットを復号する必要なしに、例えば処理を可能にするために、データユニットをビデオビットストリームから分離（または抽出）することができること以外は仮定されていない。署名付きビデオビットストリームは、データユニットに加えて、同じまたは同様の方法で署名付きビデオビットストリームから分離可能な署名ユニットをさらに含む。署名ユニットに関する詳細は、図５を参照して以下に提示される。
【0044】
一選択肢の下では、図３Ａに示すように、データユニット１２０は、マクロブロック１１０に一対一に対応する（破線）。この対応パターンにより、各マクロブロック１１０は、常に１つのデータユニット１２０から再構築される。さらに、マクロブロック１１０が編集される場合（確かに、署名ユニット、メタデータなどの変更が必要な場合があるが）、対応するデータユニット１２０以外の他のデータユニット１２０は修正される必要がない。
【0045】
あるいは、図３Ｂに示すように、各マクロブロック１１０は、複数のデータユニット１２０によって符号化される。なお、各データユニット１２０は、最大でも１つのマクロブロック１１０を表す。したがって、各マクロブロック１１０が最大でもＭ個のデータユニット１２０によって符号化される場合、その結果、最大でＭ個のデータユニット１２０から任意のマクロブロック１１０を再構築することができる。マクロブロック１１０に対して行われる編集は、最大でもＭ個のデータユニット１２０に直接影響を及ぼす。ここで、Ｍは、１、２、３、４、５、または最大でも１０などの小さい整数である。
【0046】
さらなる選択肢では、図３Ｃに示すように、各データユニット１２０は、複数のマクロブロック１１０を符号化する。これは、マクロブロック１１０に対して行われる編集の効果がマクロブロック１１０自体に限定されず、編集されたマクロブロック１１０がさらなるマクロブロック１１０と共有するデータユニット１２０を再符号化および／または再署名することが必要になる場合があることを意味する。不必要に大きなデータセットに対して再署名を実行することは計算上無駄である可能性があるため、この対応パターンは、実装することはかなり可能であるが、本開示における最高性能の実施形態では適用されない。データユニット１２０が最大でも所定の数Ｎのマクロブロック１１０によって共有されることが可能にされる場合、追加される総計算量は制限されたままであり得る。ここでも、Ｎは、１、２、３、４、５、または最大でも１０などの小さい整数であるように指定され得る。
【0047】
図３Ｂおよび図３Ｃに見られるパターンの組み合わせは、本開示の範囲内で可能である。結果として、本明細書で提案される技術は、データユニット１２０に対するマクロブロック１１０の比が、２：１、１：１、２：２、３：３、４：２、２：４、または４：４であり得るビデオビットストリームに適用されてもよい。
【0048】
さらに別の選択肢では、図３Ｄに示すように、各データユニット１２０は、ビデオシーケンス内の任意の数のマクロブロック１１０を表すことができ、各マクロブロック１１０は、任意の数のデータユニット１２０によって符号化することができる。この対応パターンは、破線によって示唆されるように、最悪の場合、マクロブロック１１０に対する限定された編集演算でさえ、ビデオシーケンスの完全な再符号化および再署名を必要とすることを意味する可能性がある。本明細書に開示される技術は、図３Ｄに示される構造を有するビデオシーケンス上で実施されるべきではない。
【0049】
図４は、後述する編集演算を示す。
【0050】
図５は、１つまたは複数のビデオフレームに属する一連のマクロブロック１１０を含むビデオシーケンスＶのセクションを示す。例えば、マクロブロック１１０は、連続するビデオフレーム内の固定位置（例えば、図１Ａおよび図１Ｂの左上のマクロブロック）を占有することができる。マクロブロック１１０は、巻き矢印で示す参照に従って予測符号化されているものとする。最初の５つのマクロブロック１１０はあるＧｏＰに属し、後続の５つのマクロブロック１１０は次のＧｏＰに属することが分かる。ビデオシーケンスＶは、データユニット１２０および署名ユニット１３０を含む署名付きビデオビットストリームＢとして符号化される。限定ではなく例示の目的のために、図５は、データユニット１２０が図３Ａに示す対応パターン、すなわち、マクロブロック１１０とデータユニット１２０との間の一対一の関係に従ってビデオマクロブロック１１０を符号化するように、データユニットを示す。言い換えれば、各データユニット１２０．ｎは、エンコーダＥｎｃを対応するマクロブロック１１０．ｎに適用することによって作成されている。データユニット１２０は、ＩＴＵ－Ｔ Ｈ．２６４、Ｈ．２６５、またはＡＶ１などの独自のまたは標準化されたビデオ符号化フォーマットに準拠することができる。ビットストリームＢは、本開示の範囲から逸脱することなく、追加の種類のユニット（例えば、専用メタデータユニット）をさらに含むことができる。
【0051】
署名ユニット１３０の各々は、複数のデータユニット１２０に関連付けることができる。図５では、２つの連続する署名ユニット１３０間のデータユニット１２０は、後の署名ユニット１３０に関連付けられていることが理解され、これは本発明の本質的な特徴ではなく、本開示の範囲から逸脱することなく他の取り決めが可能である。署名ユニット１３０は、すべてが１つのＧｏＰに含まれるデータユニット１２０のセットに関連付けることができるが、他の関連付けパターンも可能である。さらに、１つの署名ユニット１３０に対応付けられるデータユニット１２０のセットは、適用可能なマクロブロック走査順序を考慮して選択されることが好ましい。例えば、署名ユニット１３０に関連付けられたデータユニット１２０のセットは、復号中に順次走査されるべきマクロブロックの数を表すことができ、それによって、署名ユニット１３０が検証に失敗した場合に再参照される必要があるマクロブロックの数が最小化される。
【0052】
署名ユニット１３０は、少なくとも１つのビット列（例えば、Ｈ１）と、そのビット列のデジタル署名（例えば、ｓ（Ｈ１））とを含む。破線の使用によって示唆されるように、ビット列の存在は任意である。署名ユニット１３０が複数のビット列を含む場合、署名ユニット１３０は、これらのビット列のすべてに対して１つのデジタル署名、または各々が単一のビット列または各々がビット列のサブグループに対して複数のデジタル署名を有することができる。デジタル署名が形成されるビット列は、署名ユニット１３０に関連付けられたデータユニット１２０から再構築されたマクロブロック１１１に基づいて算出されたフィンガープリントの組み合わせであってもよく、またはビット列は、フィンガープリントの該組み合わせの一フィンガープリントであってもよい。より正確には、フィンガープリントは、エンコーダ内のいわゆる参照バッファを読み取ることによって、または独立した復号操作を実行することによって取得され得る、再構築されたマクロブロックのフィンガープリントである。フィンガープリント（または「文献」）の組み合わせは、フィンガープリントの文字列表現のリストまたは他の連結であってもよい。ＩＴＵ－Ｔ Ｈ．２６４およびＨ．２６５フォーマットでは、署名ユニットは、ビデオビットストリーム内の補足エンハンスメント情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（ＳＥＩ））メッセージとして含まれ得る。ＡＶ１規格では、署名はメタデータオープンビットストリームユニット（Ｍｅｔａｄａｔａ Ｏｐｅｎ Ｂｉｔｓｔｒｅａｍ Ｕｎｉｔ（ＯＢＵ））に含まれてもよい。
【0053】
フィンガープリントはそれぞれ、ハッシュであってもよいし、ソルト付きハッシュであってもよい。ソルト付きハッシュは、データユニット（またはデータユニットの一部分）と暗号ソルトとの組み合わせのハッシュであってもよく、ソルトの存在は、複数のハッシュにアクセスできる不正な者が、どのハッシュ関数が使用されているのかを推測することを阻止することができる。潜在的に有用な暗号ソルトには、アクティブ内部カウンタの値、乱数、ならびに署名の時間および場所が含まれる。ハッシュは、ハッシュ関数（または一方向関数）ｈによって生成することができ、これは、署名されるビデオデータの機密性を考慮して、および／またはビデオデータが不正な者によって操作された場合に危険にさらされる値を考慮して適切であると考えられる安全レベルを提供する暗号関数である。３つの例は、ＳＨＡ－２５６、ＳＨＡ３－５１２およびＲＳＡ－１２０４である。ハッシュ関数は、受信者がフィンガープリントを検証しようとしているときにフィンガープリントを再生成することができるように、事前定義されるものとする（例えば、再生可能であるものとする）。図５の例では、ビット列は以下によって与えられる。
Ｈ１＝ｈ（［ｈ１、ｈ２、ｈ３、ｈ４、ｈ５］）
および
Ｈ２＝ｈ（［ｈ６、ｈ７、ｈ８、ｈ９、ｈ１０］）、
ここで、ｈ１、ｈ２、．．．はマクロブロック１１１．１、１１１．２、．．．のハッシュであり、［・］は連結を表す。連結演算は、線形（並置）であってもよく、またはデータの互い違いの配置を提供してもよい。連続演算は、ビットごとのＯＲ、ＸＯＲ、乗算、除算、またはモジュロ演算などのデータに対する算術演算をさらに含むことができる。例示的なソルト付きハッシュは、以下のように定義することができる。
または
式中、σは暗号ソルトである。第１の例では、ハッシュ関数ｈは、ソルトσが割り当てられた第２の引数に対するパラメトリック依存性を有する。
Ｈ１＝ｈ（［ｈ１、ｈ２、ｈ３、ｈ４、ｈ５］）
および
Ｈ２＝ｈ（［ｈ６、ｈ７、ｈ８、ｈ９、ｈ１０］）、
ここで、ｈ１、ｈ２、．．．はマクロブロック１１１．１、１１１．２、．．．のハッシュであり、［・］は連結を表す。連結演算は、線形（並置）であってもよく、またはデータの互い違いの配置を提供してもよい。連続演算は、ビットごとのＯＲ、ＸＯＲ、乗算、除算、またはモジュロ演算などのデータに対する算術演算をさらに含むことができる。例示的なソルト付きハッシュは、以下のように定義することができる。
【0054】
いくつかの実施形態では、フィンガープリントｈ１、ｈ２．．．の各々は、データユニット１２０から再構築されたマクロブロック（例えば、画素値または他の平文データ）から算出されている。フィンガープリントは、ｈ１＝ｈ（Ｙ１１１．１）またはｈ１＝ｈ（［Ｙ１１１．１、σ］）またはｈ１＝ｈ（Ｙ１１１．１、σ）と書くことができ、式中、Ｙ１１１．１は、再構築されたマクロブロック１１１のうちの第１のマクロブロックからのデータを表し、σは、任意選択の暗号ソルトである。第３の選択肢では、ハッシュ関数ｈは、ソルトσが割り当てられた第２の引数に対するパラメトリック依存性を有する。フィンガープリントは、マクロブロック全体から、または予め合意された規則に従って抽出されたそのサブセットから算出することができる。これらの実施形態の変形では、フィンガープリントｈ１、ｈ２、．．．は、平文レベルではなく、データユニットから導出された中間再構築データから算出される。より正確には、周波数領域変換（例えば、ＤＣＴ、ＤＳＴ、ＤＦＴ、ウェーブレット変換）とそれに続く符号化プロセス（例えば、エントロピー、ハフマン、Ｌｅｍｐｅｌ－Ｚｉｖ、ランレングス、バイナリまたは非バイナリ算術符号化、例えば、コンテキスト適応型可変長符号化、ＣＡＶＬＣ、コンテキスト適応型バイナリ算術符号化、ＣＡＢＡＣ）とを含むエンコーダが使用される場合、変換係数は通常、デコーダ側で中間再構築データとして利用可能である。変換係数は、符号化表現から復元することができる。エンコーダが変換のすぐ下流に量子化プロセスをさらに含む場合、量子化された変換係数はデコーダ側で利用可能になる。より複雑なコーデックでは、より多数の連続処理段階で、さらなる種類の中間再構築データが存在する場合があり、これらはフィンガープリント計算に使用され得る。量子化変換係数と同様に、符号化プロセスにおいて同一に現れる中間再構築データの種類を使用することが特に便利である。この段落で検討されたすべての実施形態に共通して、フィンガープリントは、署名ユニット１３０に関連付けられたデータユニット１２０のうちの１つである正確に１つのデータユニット１２０に関係する。
【0055】
任意選択的に、データユニットの不正な取り外しまたは挿入を発見するために、フィンガープリントを順次互いにリンクすることができる。すなわち、各フィンガープリントは、次または前のフィンガープリントに依存し、例えば、ハッシュへの入力は、次または前のフィンガープリントのハッシュを含む。リンクは、例えば、ｈ１＝ｈ（Ｙ１１１．１）、ｈ２＝ｈ（［ｈ１、Ｙ１１１．２］）、ｈ３＝ｈ（［ｈ２、Ｙ１１１．３］）などのように実現することができ、Ｙ１１１．１、Ｙ１１１．２、Ｙ１１１．３は、再構築されたマクロブロック１１１のうちの第１、第２、および第３のマクロブロックからのデータを示す。フィンガープリントをリンクする別の方法は、ｈ１＝ｈ（Ｙ１１１．１）、ｈ１２＝ｈ（［Ｙ１１１．１、Ｙ１１１．２］）、ｈ１３＝ｈ（［Ｙ１１１．２、Ｙ１１１．３］）などである。
【0056】
さらに図５の署名ユニット１３０を参照すると、デジタル署名ｓ（Ｈ１）を生成するために、予め格納された秘密鍵を有する暗号要素（図示せず）を利用することができる。署名付きビデオビットストリームの受信者は、同じキーペアに属する公開鍵を保持すると予想でき（図１０も参照）、これにより、受信者は、暗号要素によって生成された署名が真正であるが新しい署名を生成しないことを検証することができる。公開鍵は、署名付きビデオビットストリームにメタデータとして含めることもでき、その場合、受信者側でそれを格納する必要はない。
【0057】
次に、図６を参照して、ビデオシーケンスＶの予測符号化によって取得された署名付きビデオビットストリームＢを編集する方法６００について説明する。方法６００の非任意選択のステップは、ビデオビットストリームの元の署名の後に実施されると仮定する。例えば、署名付きビデオビットストリームが元々記録デバイスで生成される場合、編集方法６００はビデオ管理システム（ＶＭＳ）で実施することができる。別の例示的なユースケースは、署名付きビデオビットストリームがデバイスで生成され、メモリに格納され、次いで同じデバイスを使用して編集のために再参照される場合である。編集は、後の時点、例えば、プライバシーマスキングを実行する必要性が知られた後に行われてもよい。
【0058】
上述したように、編集方法６００を実行するデバイスは、特定の目的専用のアプリケーションまたはシステムであってもよいが、図８に示す基本的な関数構造を有してもよい。図示のように、デバイス８００は、処理回路８１０と、メモリ８２０と、外部インターフェース８３０とを含む。メモリ８２０は、編集方法６００を実装する命令を有するコンピュータプログラム８２１を格納するのに適し得る。外部インターフェース８３０は、デバイス８００が受信者および／またはビデオコンテンツオーサー（例えば、記録デバイス）によって保持される類似のデバイス（図示せず）と通信することを可能にする通信インターフェースであってもよく、または、ビデオビットストリームを格納するのに適した外部メモリ８９０における読み出しおよび書き込み動作を可能にしてもよい。
【0059】
図９は、ビットストリームが複数のデバイス間で転送される場合を示す。編集方法６００を実行するデバイスは、ローカルエリアネットワーク（図９の下半分の接続線）または広域ネットワーク９９０を介して受信者デバイスに接続されてもよいことに留意されたい。ビットストリームＢに対する攻撃は、いずれの種類のネットワークでも発生する可能性があり、これは署名を正当化する。
【0060】
図６に戻ると、方法６００の一実施形態は、ビデオシーケンスＶ内の少なくとも１つのビデオフレーム１００の領域を置換する要求を受信するステップ６１２から始まる。要求は、ヒューマンマシンインターフェースを介して、または自動化された方法で、例えば、同じデバイス８００上でまたは遠隔で実行されている制御アプリケーションからのメッセージで受信されてもよい。置換されるべき領域は、ビデオシーケンスＶ内の同様に位置する画素を置換するためのプライバシーマスクなどの置換画素値のセットであってもよい。
【0061】
誤解を避けるために、編集されるビデオシーケンスＶは、データユニット１２０および関連する署名ユニット１３０を含む署名付きビデオビットストリームＢとして予測符号化によって符号化され、各データユニットは、予測符号化されたビデオシーケンスＶのビデオフレーム１００内の最大でも１つのマクロブロック１１０を表し、各署名ユニットは、それぞれ正確に１つの関連するデータユニットに関連する複数のフィンガープリントから導出されたビット列のデジタル署名を含むことに留意されたい。そのようなビットストリームフォーマットは、図５を参照して例示されている。
【0062】
方法６００の次のステップ６１４では、前述の領域が含まれるマクロブロックの第１のセット、および第１のセット内のマクロブロックを直接または間接的に参照するマクロブロックの第２のセットが決定され、再構築される。図５では、再構築は、復号演算Ｄｅｃを記号化する矢印に対応する。双方向予測フレーム（Ｂフレーム）がいくつかのビデオ符号化フォーマットにおいて定義され得ることを想起すると、マクロブロックの第２のセットは、マクロブロックの第１のセットの前または後に位置し得るか、またはこれらの位置の両方を占有してもよいことが理解される。第１のセットおよび第２のセットは、互いに素であるように定義されることが理解される。例えば、マクロブロックが第１のセットに属さない場合にのみ、すなわち、置換されるべき領域を含むマクロブロックのセットを形成するためにこのマクロブロックが必要でない場合にのみ、マクロブロックが第２のセットに属することが規定されてもよい。したがって、マクロブロックの第１のセットがＧｏＰの境界まで延在する場合、マクロブロックの第２のセットは通常空である。さらに、マクロブロックの第２のセットは、最初に使用されるビデオエンコーダに応じて、追加のフレームが置換される領域を基準として使用することができるため、２つ以上のＰフレームまたは３つ以上のＢフレームにマクロブロックを含むことができることが理解される。ステップ６１４において、マクロブロック間のフレーム間またはフレーム内予測参照の結果として、第１のセットおよび第２のセットだけよりも多くのマクロブロックを再構築することが必要な場合がある。より正確には、マクロブロックの第１のセットおよび第２のセットに至る予測参照のチェーンにおいてより早く位置する１つまたは複数のマクロブロックは、最初に再構築されなければならない場合がある。
【0063】
置換されるべき領域が単一のビデオフレームに限定される場合、マクロブロックの第１のセットは、フレームのマクロブロックパーティションのみを参照して決定することができる。より正確には、第１のセットは、領域が重複するすべてのマクロブロック（すなわち、領域がピクセル空間内に空でない交差部を有するマクロブロック）である。領域が複数のフレームに拡張される場合、この操作はフレームごとに繰り返される。領域がビデオフレームのすべてにおいて同一に繰り返され、さらにマクロブロックパーティションがすべての該フレームにわたって一定である特殊な場合、マクロブロックの第１のセットは、後続のフレームのそれぞれに対する初期フレームについて（オーバーラップ基準によって）決定されたもののコピーである。マクロブロックの第２のセットは、第１のセットと、署名付き予測符号化されたビデオシーケンス内のフレーム内およびフレーム間参照のパターンとに基づいて決定することができる。定義によるそのような参照は、ＧｏＰ境界を超えて拡張されないので、第２のセットに含まれるべきマクロブロックの探索は、マクロブロックの第１のセットが属するそのＧｏＰまたはそれらのＧｏＰに制限され得る。
【0064】
ステップ６１４の可能な結果が図４に示されており、各列はビデオシーケンスＶの１つのビデオフレームを表し、各行はフレーム内の特定の位置（例えば、左上のマクロブロック）にある１つのマクロブロックを表す。図４では、さらに、マクロブロック間の参照は、巻き矢印として示されており、２つの連続するＧｏＰ、ＧｏＰ１およびＧｏＰ２の間の境界は、破線の垂直線として示されている。フレーム間参照は、図４の１つのマクロブロック位置のレベルで定義されることに留意されたい。さらに、斜めにハッシュされたマクロブロックは、領域を置換する要求によって直接影響を受けるマクロブロックであり、それらはすべて第１のフレーム内に位置し、マクロブロックの第１のセット４０１を形成する。点線の陰を有するマクロブロックは、すべて、第１のセット内のマクロブロックを直接（第２のフレーム）または間接的に（第３のフレーム）参照するマクロブロックであり、これらは、マクロブロックの第２のセット４０２として識別される。予想に従って、マクロブロックの第２のセットは、ＧｏＰ境界を超えて延在しない。
【0065】
図４に見られるマクロブロックの第１のセットおよび第２のセットの構成は、フレーム内参照が導入される場合に変更され得るが、必ずしもそうである必要はないことに留意されたい。例えば、第１の行に対応するマクロブロック位置が第２の行に対応するマクロブロック位置を参照する場合、マクロブロック４０１、４０２の第１のセットおよび第２のセットは変化しないままである。
【0066】
図５では、第１のセットはマクロブロック１１１．２および１１１．３からなり、第２のセットはマクロブロック１１１．４および１１１．５からなる。
【0067】
次のステップ６１６では、アーカイブオブジェクト１４０が署名付きビデオビットストリームＢに追加される。アーカイブオブジェクト１４０は、再構築されたマクロブロックの第１のセットから算出されたフィンガープリントｈ２、ｈ３を含む。署名付きビデオビットストリームＢのレベルでは、アーカイブオブジェクト１４０が、復号することなくビデオビットストリームから分離され得るという点で、アーカイブオブジェクト１４０は、データユニット１２０および署名ユニット１３０と同様のフォーマットを有することができる。フィンガープリントｈ２、ｈ３は、方法６００を実行するエンティティによって必ずしも算出されない。実際、署名ユニット１３０がビット列を含む「文書アプローチ」によるビットストリームＢの場合、これらのフィンガープリントは、署名ユニット１３０のうちの１つから既に利用可能である。さらに、ビットストリームＢ内の署名ユニット１３０がそのようなビット列を含む場合、ステップ６１６は、マクロブロックの第１のセットが決定されるとすぐに、すなわち、ステップ６１４の完了前に実施され得ることに留意されたい。
【0068】
任意選択的に、各アーカイブオブジェクト１４０は、これらのフィンガープリントのデジタル署名、またはこのアーカイブオブジェクト１４０内のこれらのフィンガープリントの組み合わせのデジタル署名を含むことができ、または該組み合わせのフィンガープリントのデジタル署名を含むことができる。さらに任意選択的に、アーカイブオブジェクト１４０はまた、その署名がアーカイブされているマクロブロックの第１のセットおよび第２のセットの位置を含んでもよい。位置は、例えばフレーム座標におけるフレーム内のマクロブロックの位置を指すことができ、これはビット列内の位置に対応する。静的マクロブロックパーティションが使用される場合、マクロブロック１１１の位置は、マクロブロックシーケンス番号または別の識別子として表すことができる。例えば、フレーム内のマクロブロックシーケンスと同じ順序でフィンガープリントを連結することによってビット列を形成してもよい。
【0069】
方法６００のさらなるステップ６１８は、図５の左下部分を参照して示される。このステップでは、編集演算Ｅｄｉｔは、マクロブロック１１１．２、１１１．３の第１のセットをマクロブロック１１２．２、１１２．３の編集された第１のセットに変換する。マクロブロックの第１のセットの編集は、ビデオフレームの領域を置換する要求に従ったものである。次に、さらにステップ６１８内で、編集されたマクロブロック１１２．２、１１２．３の第１のセットは、新しいデータユニット１２１．２、１２１．３の第１のセットとして符号化される。
【0070】
編集されたマクロブロック１１２．２、１１２．３の第１のセットは、通常のエンコーダ設定、通常のＧｏＰパターンなどを使用して、すなわち、ビデオビットストリームＢが作成されたのと同じ方法で符号化することができる。任意選択で、置換後に結果として生じる編集されたマクロブロック１１２．２、１１２．３の第１のセットは、代わりに独立して復号可能なデータユニットとして符号化される。それぞれの独立して復号可能なデータユニットは、Ｈ．２６４またはＨ．２６５符号化仕様におけるＩフレーム、別のマクロブロックを参照しない符号化されたマクロブロック、またはこれらと等価なデータユニットに対応し得る。これは、置換がビデオシーケンス内に突然の時間変化を導入するという本発明者らの認識と一致している。具体的には、編集されたマクロブロック１１２．２は直前の編集前のマクロブロック１１１．１と大きく異なる可能性が高く、予測符号化の性能を低下させる可能性がある。さらなる選択肢は、編集されたマクロブロック１１２．２、１１２．３の第１のセットをロスレスでおよび／または低減されたデータ圧縮を使用して符号化することである。これは、ビデオシーケンスＶが所定の正規レベルのデータ圧縮で符号化されるという背景に対して理解されるべきである。より正確には、編集されたマクロブロック１１２．２、１１２．３の第１のセットは、通常のデータ圧縮と比較して低減されたデータ圧縮レベルで符号化されることが予想される。
【0071】
方法６００のステップ６２０は任意選択であり、別々に説明される。
【0072】
次の任意選択ではないステップ６２２では、マクロブロック１１２．４、１１２．５の第２のセットは、新しいデータユニット１２１．４、１２１．５の第２のセットとして再符号化される。再符号化は、好ましくは、マクロブロック１１２．４、１１２．５の第２のセットの視覚的外観を最小限に変更するものとする。理想的には、新しいデータユニット１２１．４、１２１．５の復号によって取得された画像データ（例えば、画素データまたは他の平文データ）は、マクロブロック１１２．４、１１２．５の第２のセットと同一であるか、または視覚的に分離不可能であるものとする。しかしながら、これを達成するために、ステップ６２２における再符号化演算は、予測符号化設定を修正し、および／または符号化プロセスを修正することができる。特に、符号化プロセスは、データ圧縮のレベルに関して修正されてもよく、非可逆符号化（通常のデータ圧縮時）は、低損失符号化（データ圧縮の低減）または可逆符号化に置き換えられる。可逆符号化は、マクロブロック１１２．４、１１２．５の第２のセットを、適切な色空間におけるマクロブロック内の各位置の元の値の一覧などの、符号化されていない「生」ブロックとして表すことを含んでもよい。なんらかのタイプの非可逆符号化がマクロブロック１１２．４、１１２．５の第２のセットに使用される場合、これをロバストなハッシュ、特にロバストなハッシュ検証と組み合わせることが有利であり得る。このようにして、新しいデータユニット１２１．４、１２１．５から再構築されるマクロブロックは、これらのマクロブロックの画質がわずかに低下しても、元の署名ユニット１３０に対して真正として受け入れられる。
【0073】
予測符号化設定の変更に関して、重要なユースケース（例えば、マスキング、ぼかし）では、非予測符号化を使用することが有利であり得る。ここでも、置換は、編集されたマクロブロック１１２．３が直後の編集されていないマクロブロック１１２．４と大きく異なる可能性が高く、予測符号化が適用される場合に符号化性能を低下させる可能性があるという点で、ビデオシーケンスに突然の時間変化を導入する。性能ごとの符号化が主要な関心事ではない場合、または編集演算がより目立たない性質（例えば、フィルタリング、エンハンスメント）の場合、予測符号化を使用することができる。予測参照（図５の巻き矢印）のために、ここで、マクロブロック１１２．４、１１２．５の第２のセット内の画像データは、通常は更新を必要とする編集されたマクロブロック１１２．２、１１２．３の第１のセット内の画像データに対して表現される。結果として、新しいデータユニット１２１．４、１２１．５の第２のセットの内容は、データユニット１２０．４、１２０．５とは異なる。
【0074】
次いで、ステップ６２４では、新しいデータユニット１２１．２、１２１．３、１２１．４、１２１．５の第１のセットおよび第２のセットが、署名付きビデオビットストリームＢに追加される。同時に、対応する元のデータユニット１２０．２、１２０．３、１２０．４、１２０．５は、ビデオビットストリームＢから削除され得る。いくつかの実施形態では、ステップ６２４は、編集方法６００内の最後の動作である。
【0075】
いくつかの実施形態では、方法６００は、編集されたマクロブロックの第１のセット１１２．２、１１２．３から算出されたフィンガープリント
をビデオビットストリームＢに追加するステップ６２０をさらに含む。フィンガープリントは、マクロブロックの第１のセットを符号化するデータユニット１２０．２、１２０．３に関連付けられる署名ユニット１３０を、少なくとも算出されたフィンガープリント
から導出されたビット列のデジタル署名を含む代替署名ユニット（図示せず）で置き換えることによって追加することができる。例えば、ビット列は、算出されたフィンガープリント
および１つまたは複数の編集されていないマクロブロックのフィンガープリントから導出することができ、したがって、完全なフレーム１００または部分は、単一の署名ユニットを使用して簡便に検証することができる。代替署名ユニットは、既存の署名ユニットを編集することによって、特にそれをさらなるデジタル署名で拡張することによって取得することができる。あるいは、算出されたフィンガープリント
のデジタル署名から導出されたビット列を含む少なくとも１つの新しい署名ユニット１３１がビデオビットストリームＢに追加される。新しい署名ユニット１３１は、上述した署名ユニット１３０と同じ構造を有してもよい。
【0076】
任意選択で（「文書アプローチ」）、代替署名ユニットおよび新しい署名ユニット１３１は、デジタル署名されたビット列自体をさらに含むことができる。
【0077】
これらは、ビデオビットストリームＢ内の既存の署名ユニット１３０のうちの適切なものを使用して検証の影響を受けやすいままであるため、通常、マクロブロックの第２のセットのフィンガープリントを算出して含める必要はないことに留意されたい。任意選択のステップ６２０は、マクロブロック１１２．２、１１２．３の編集された第１のセットが利用可能になった後、方法６００の任意の時点で実施することができる。
【0078】
さらに他の実施形態では、方法６００は、少なくとも１つの署名ユニット１３０を提供する最初のステップ６１０をさらに含む。主に関心があると考えられるユースケースでは、ステップ６１０は方法６００のステップ６１２、６１４、６１６、６１８、６２０、６２２および６２４とは異なるエンティティによって実施され、および／またはステップ６１０はより早い時点で実施されることが理解される。いずれの方法でも、ステップ６１０は、比較的安全でないデータ転送および／または所望のレベルのデータセキュリティを確保するために署名を正当化する保存期間によって後続のステップ６１２、６１４、６１６、６１８、６２０、６２２および６２４から分離される。
【0079】
任意選択のステップ６１０は、署名ユニットに関連付けられたそれぞれのデータユニット１２０から複数のマクロブロックを再構築するサブステップ６１０．１と、それぞれの再構築されたマクロブロックから複数のフィンガープリントを算出するサブステップ６１０．２と、算出されたフィンガープリントから、該複数のフィンガープリントの組み合わせまたは該組み合わせのフィンガープリントである、ビット列を導出するサブステップ６１０．３と、ビット列のデジタル署名を取得するサブステップ６１０．４と、を含むことができる。フィンガープリント計算６１０．２、ビット列導出６１０．３、およびデジタル署名６１０．４の適切な実装形態は、上記で詳細に説明されている。特に、署名ユニット１３０内のデジタル署名が関係するビット列は、関連するデータユニット１２０のフィンガープリントの組み合わせであってもよく、または関連するデータユニット１２０のフィンガープリントの該組み合わせのフィンガープリントであってもよい。組み合わせ（または「文書」）は、フィンガープリントのそれぞれの文字列表現のリストまたは別の連結であってもよい。
【0080】
以上、編集方法６００の説明を終えると、次に、受信者側に注目する。より正確には、図７のフローチャートを参照して、署名付きビデオビットストリームＢを検証する方法７００を説明する。ここでも、署名付きビデオビットストリームＢは、ビデオシーケンスＶの予測符号化によって、および任意選択的に後続の編集演算によって取得されたと仮定する。署名付きビデオビットストリームＢが編集方法６００に従って処理されていることは必須ではない。さらに署名付きビデオビットストリームは、データユニット１２０と、関連する署名ユニット１３０と、アーカイブオブジェクト１４０とを含むと仮定される。ここで、各データユニット１２０は、予測符号化されたビデオシーケンスＶのフレーム１００内の１つのマクロブロック１１０を表し、各署名ユニット１３０は、ビット列（例えば、Ｈ１、Ｈ２）のデジタル署名（例えば、ｓ（Ｈ１）、ｓ（Ｈ２））および任意選択的にビット列自体を含み、アーカイブオブジェクト１４０は、ビットストリームＢに現在存在しない、および／または編集を受けたデータユニットに関するアーカイブされたフィンガープリントであり得る、少なくとも１つのフィンガープリントを含む。検証方法７００には無関係であり、通常、受信者側では、特定の署名ユニット１３０が編集に関連して追加されたかどうか（例えば、編集方法６００によって）、または元の編集されていないビットストリームＢの一部であったかどうかを判定することはできない。
【0081】
方法７００の最初のステップ７１０では、マクロブロック１１３は、署名ユニット１３０に関連付けられるデータユニット１２０、１２１から再構築される。再構築は、図１０Ａおよび図１０Ｂにおいて下向き矢印の一番上の行によって記号化された復号プロセスを含む。
【0082】
方法７００の次のステップ７１２では、再構築されたマクロブロック１１３の少なくともいくつかからそれぞれのフィンガープリント
が算出される。方法６００内の編集のために、ビデオシーケンスＶ内の対応する元のマクロブロックとは異なる、第２および第３のマクロブロック１１３．２、１１３．３（第１のセット）からフィンガープリントは算出されない。第２および第３のマクロブロック１１３．２、１１３．３が第１のセットに属するという事実は、編集されたビデオビットストリームＢ内のメタデータで示されてもよく、または対応するデータユニット１２１．１、１２１．３上のエンコーダタイムスタンプから明らかであってもよい。さらに別の選択肢は、編集後のビデオビットストリームＢに元の編集要求（ビデオフレームの領域を置換する要求）を含めることであってよく、そこから受信者は、どのマクロブロックが変更されるかを判定することができる。
【0083】
原則としてステップ７１２の前またはそれと重複して実施され得る第３のステップ７１４では、少なくとも１つのアーカイブされたフィンガープリントがアーカイブオブジェクト１４０から取得される。図１０Ａおよび図１０Ｂに示す例では、第２および第３のマクロブロック１１３．２、１１３．３に対するフィンガープリントｈ２、ｈ３がこの方法で取得される。フィンガープリント
のみが、次の第４のステップ７１６における検証を失敗させる可能性があり、その場合、失敗は、ビットストリームＢの不正な操作が行われたことを示唆することに留意されたい。
【0084】
ステップ７１６では、ステップ７１２および７１４においてすべてのマクロブロックに対するフィンガープリントが取得された後、これらのフィンガープリントからビット列
が導出される。これは、予め合意された規則に従って、例えば、ステップ６１０．３内に記載されたものと同様の手順によって行うことができる。ビット列は、取得されたフィンガープリントの組み合わせであってもよく、またはフィンガープリントの該組み合わせのフィンガープリントであってもよいことが想起される。
【0085】
次のステップ７１８では、署名ユニット１３０に関連付けられたデータユニット１２０、１２１は、署名ユニット１３０内のデジタル署名ｓ（Ｈ１）を使用して検証される。誤解を避けるために、データユニットのステップ７１８における検証は、データユニット自体に作用する必要な処理なしに間接的であることに留意されたい。
【0086】
署名ユニット１３０がビット列Ｈ１を含まない実施形態では、ステップ７１８は、デジタル署名ｓ（Ｈ１）を使用して導出されたビット列
を検証することによって実行される。例えば、導出されたビット列
は、デジタル署名ｓ（Ｈ１）を生成するために使用された秘密鍵と同じキーペアに属する公開鍵を使用して検証することができる。図１０Ｂでは、これは、導出されたビット列
およびデジタル署名ｓ（Ｈ１）を、検証の結果を表すバイナリ結果Ｗ１を出力する公開鍵が格納されている暗号エンティティ１００１に供給することによって示される。
【0087】
あるいは、署名ユニット１３０がビット列Ｈ１を含む（「文書アプローチ」）実施形態では、ステップ７１８は、２つのサブステップで実施されてもよい。第１のサブステップでは、上述したように、例えば、デジタル署名ｓ（Ｈ１）を生成するために使用された秘密鍵と同じキーペアに属する公開鍵を使用して、ビット列Ｈ１が検証される。これは、関数ブロック１００１およびバイナリ結果Ｖ２によって図１０Ａに示されている。次に、第２のサブステップでは、検証されたビット列Ｈ１がステップ７１６で導出されたビット列
と比較される。比較は、図１０Ａの関数ブロック１００２によって示唆されるように、ビットごとの等価チェックであってもよく、真値または偽値の出力Ｖ２をもたらす。両方の結果Ｖ１、Ｖ２が真である場合、この署名ユニット１３０に関する限り、署名付きビデオビットストリーム１００は真正であると結論付けることができる。
【0088】
次いで、方法７００の実行は、署名付きビデオビットストリームＢ内の任意のさらなる署名ユニット１３０について上述のステップ７１０、７１２、７１４、７１６、７１８のうちの関連するものを繰り返すことを含むことができる。結果がすべての署名ユニット１３０について肯定的である場合、署名付きビデオビットストリームＢは有効であると結論付けられ、それはさらに消費または処理されてもよい。反対の場合、署名付きビデオビットストリームＢは、真正ではないと見なされるものとし、さらなる使用または処理から隔離され得る。
【0089】
既に述べたように、本明細書に開示される任意の方法のステップは、明示的に述べられていない限り、記載された正確な順序で実施される必要はない。これは、特に検証方法７００によって示され、所望に応じて、ステップ７１０と７１２との前、間、または後にステップ７１４を実行することが明らかに可能である。
【0090】
第１のセット内のデータユニットの検証は、第２のセット内のデータユニットの検証とは異なる信頼関係に基づくことに留意されたい。第１のセット内のデータユニットは、デジタル署名ｓ（Ｈ１）を作成したエンティティ、すなわち非対称鍵暗号が使用される場合の秘密鍵の所有者を信頼することによって検証される。第２のセット内のデータユニットは、署名付きビットストリームＢを編集し、アーカイブオブジェクトを作成したエンティティを信頼することによって検証される。
【0091】
検証方法７００のいくつかの実施形態では、ビット列の導出７１６は、再構築されたマクロブロック１１１から必要なフィンガープリントを算出するか、またはアーカイブオブジェクト１４０からそれを取得するかの決定７１６．１を含む。この決定は、アーカイブオブジェクト１４０内の位置情報によって案内されることができる。位置情報は、アーカイブされたフィンガープリントが関係するデータユニット１２０によって表されるマクロブロック１１０の位置を示す。これらのマクロブロック位置にアクセスを有することにより、署名付きビデオビットストリームＢ内のデータユニット１２０から再構築することができないビデオフレーム１００内の任意のマクロブロック１１０は、そのフィンガープリントをアーカイブオブジェクト１４０から必ず取得することができる別のデータユニットによって符号化されるという仮定に基づいて、受信者が信頼できる完全性チェックを実行することが可能になる。アーカイブオブジェクト１４０がこれらのマクロブロックの位置を示さない場合、受信者は、例えば、欠落したフィンガープリント、すなわち署名付きビデオビットストリームＢ内のデータユニット１２０から計算できないフィンガープリントを、試行錯誤の手法によって挿入することができる。試行錯誤の手法は、アーカイブオブジェクト１４０からアーカイブされたフィンガープリントを挿入する可能な方法のそれぞれに対してステップ７１４および７１６を実行すること（そのような挿入の各方法は、欠落するマクロブロックの位置の順列であると推測することができる）、およびこれらの実行のすべてが失敗した場合にのみ、署名付きビデオビットストリームＢが不正であると結論付けることを含むことができる。
【0092】
概要として、図１１は、図６に示す編集方法および図７の検証方法の実行中に生じる信号処理演算およびデータフロー、ならびに信号処理演算を実行するのに適した関数ユニットを示す。信号処理フローの時間展開は、一般に、左から右に向けられる。データおよび信号は単純なフレームとして描かれているが、関数ユニットは二重の縦線を有するフレームとして表されている。各関数ユニットは、ソフトウェアコードのセグメントを実行するプログラマブルプロセッサ、またはそのようなプロセッサのネットワークに対応することができる。また、各関数ユニットを、特定用途向け集積回路（ＡＳＩＣ）やフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの専用のハードウェア回路として実装することも可能である。別の観点から、関数ユニットは、共通のプロセッサまたはプロセッサネットワーク上で実行されるソフトウェアコード（例えば、モジュール、ルーチン）のそれぞれの部分を表すと考えることができる。
【0093】
最初に、平文形式の入力画像１００が予測ビデオ符号化フォーマット用に構成されたエンコーダ１１１０に供給されると仮定する。エンコーダ１１１０は、符号化された画像１１０Ａを出力する。符号化された画像１１０Ａは、とりわけ、フレーム間またはフレーム内予測参照によって結合されたマクロブロックに対応するデータユニットを含むように、図５を参照して説明したビデオビットストリームのようにフォーマットすることができる。正確な予測符号化を保証するために、エンコーダ１１１０は、データユニットがエンコーダ１１１０内の符号化プロセスによって、例えば準連続的に生成されるときに、データユニットから画像データを再構築するように構成される基準デコーダ１１１１を備える。復号された参照画像１００Ｃを形成すると見なされ得る再構築画像データは、エンコーダ１１１０に関連付けられた参照バッファ１１１２に一時的に記憶される。より正確には、第２のマクロブロック内の画像データに対して第１のマクロブロック内の画像データを表すために、エンコーダ１１１０は、元の第２のマクロブロック（すなわち、入力画像１００で提供されるように）からではなく、復号された参照画像１００Ｃ内の第２のマクロブロックからの増分を算出する。ハッシュ関数１１１３は、復号された参照画像１００Ｃのマクロブロックからフィンガープリントｈ１、ｈ２、ｈ３を算出し、それらを収集して（例えば、連結して）ハッシュリストＨ１とする。ハッシュリストＨ１は、ビット列であってもよい。上述したように、ハッシュリストＨ１はデジタル署名されてもよく、結果として得られるデジタル署名ｓ（Ｈ１）は、ビデオビットストリーム内の署名ユニットで搬送されてもよい。
【0094】
画像の領域をマスクする要求がユーザから受信されたと仮定する。ユーザの要求を実行するために、符号化された画像１００Ａは、デコーダ１１２１、任意選択の検証器１１２２、およびマスカー１１２３を備える編集ツール１１２０に入力される。デコーダ１１２１は、符号化された画像１００Ａから画像データ、特にマクロブロックを再構築するように構成される。名目上、符号化された画像１００Ａから再構築された画像は、復号された参照画像１００Ｃと同一である。編集ツール１１２０内の検証器１１２２の存在は、特に、符号化された画像１００Ａが信頼できない接続を介して転送された場合に正当化されることができ、その場合、マスキングが実施される前に検証を実行することができる。検証の予想される結果は、符号化された画像１００Ａは真正であることであり、その場合、マスキングを実施することは意味がある。マスカー１１２３は、画像の領域内の予め指定された色またはパターンを置換するように構成される。置換は、マスク付き復号された画像１００Ｂを生成し、これは（信頼できる接続を介して）第２のエンコーダ１１３０に転送される。マスク付き復号された画像１００Ｂは、少なくとも編集された部分（編集されたマクロブロック）が平文形式である。編集されていない部分の復号を実行可能な範囲で控えることが有利であり得る。第２のエンコーダ１１３０は、受信者に利用可能になされ得るさらなる符号化された画像１００Ｆを出力する。第１のエンコーダ１１１０と同様に、第２のエンコーダ１１３０は、第２のエンコーダ１１３０における符号化プロセスによって作成されたデータユニットから画像データを再構築するように構成された参照デコーダ１１３１を備える。再構築された画像データ、すなわち復号された参照画像１００Ｄは、第２のエンコーダ１１３０に関連付けられた参照バッファ１１３２に一時的に格納される。
【0095】
編集され、次いで符号化された画像が検証され得ることを保証するために、ハッシュ関数１１２４を使用してマスク付き復号された画像１００Ｂからハッシュリスト
が算出される。（これは、上述した編集方法６００の任意選択のステップ６２０に対応する。）なお、編集されたマクロブロック（ここでは
）に関するフィンガープリントは、マスキングの結果変化した可能性が高いが、残りのフィンガープリント（ここではｈ１、ｈ３）は、元の復号された参照画像１００Ｃから算出されたフィンガープリントと一致していてもよい。新しいハッシュリストには、デジタル署名
が付与されてもよい。あるいは、ハッシュリスト
は、エンコーダ１１３０に関連付けられた参照バッファ１１３２内の復号された参照画像１００Ｄから算出される。
【0096】
エンコーダ１１１０は、編集ツール１１２０および第２のデコーダ１１３０とは異なるエンティティ（例えば、著者）によって制御されてもよいことに留意されたい。マスク付き復号された画像１００Ｂは、エンコーダ１１３０に到達する前に改ざんされる可能性があるため、編集ツール１１２０および第２のデコーダ１１３０は、好ましくは、同じ場所に配置される、または信頼できるデータ接続によってリンクされる。
【0097】
受信側には、さらなる符号化された画像１００Ｆから復号された参照画像１００Ｅを再構築するように構成された復号プロセスを演算するデコーダ１１４０が設けられる。復号された参照画像１００Ｅから、さらなるハッシュ関数１１４２を使用してハッシュリスト
を算出することができる。デコーダ１１４０に関連付けられた検証器１１４３は、このハッシュリスト
が、マスク付き復号された画像１００Ｂまたは復号された参照画像１００Ｄから算出されたハッシュリスト
と一致する（例えば、同一である）ことを検証しようと試みる。上記で説明したように、これは、図１０Ａのように直接的に（「文書アプローチ」）、または図１０Ｂのように間接的に行うことができる。検証器１１４３が、２つのハッシュリストが実際に一致していると結論付ける場合、さらなる符号化された画像１００Ｆ（または同等に復号された画像１００Ｅ）は、再生またはさらなる処理のために解放されてもよい。
【0098】
さらなる符号化された画像１００Ｆの検証は、さらなるエンコーダ１１３０とデコーダ１１４０との間、またはこれらのデバイスを制御する人またはエンティティ間の信頼関係に基づくことに留意されたい。追加的または代替的に、第１のエンコーダ１１１０とデコーダ１１４０との間、またはこれらのデバイスを制御する人またはエンティティ（例えば、著者と消費者と）間の信頼関係に基づいて、さらなる符号化された画像１００Ｆを検証することが所望される場合、さらなる符号化された画像１００Ｆは、編集されたマクロブロックのフィンガープリントを含むアーカイブされたオブジェクトを付与されてもよい。編集のために、さらなる符号化された画像１００Ｆ全体は、その編集されていない部分のみを、この後者の信頼関係に基づいて検証することができないことに留意されたい。
【0099】
図１１に現れるハッシュ関数１１１３、１１２４、および１１４２は、それらが等しい入力に対して等しい出力を提供するという意味で同等であることが理解される。
【0100】
本開示の態様は、いくつかの実施形態を参照して主に上述されている。しかしながら、当業者によって容易に理解されるように、添付の特許請求の範囲によって規定される、上記で開示されたもの以外の他の実施形態も本発明の概念の範囲内で等しく可能である。特に、様々な実施形態の上記の説明は、予測符号化されたビデオに焦点を当てていることに留意されたい。これは、本開示の態様が、予測ベースの符号化において特定の利点を有することが期待されるからであり、エンコーダおよびデコーダは両方とも、エンコーダおよびデコーダの参照バッファ内の参照フレームの形態で、同一のフレームにアクセスすることができる。したがって、予測ベースの符号化では、署名および検証されるべき再構築または復号されたフレームを取得するために追加のステップは必要とされない。しかしながら、ビデオに署名するエンティティおよびビデオを検証するエンティティがビデオの再構築または復号されたフレームにアクセスできる限り、予測符号化されたビデオだけでなく、任意のビデオに同じ手法を使用することができる。予測ベースの符号化の場合、符号化においてマクロブロックとしても使用される画素の群のフィンガープリントを利用することが実用的に都合がよいことが分かる。しかしながら、一般に、フィンガープリントは、他の方法でグループ化された画素の群から算出されてもよい。フレームが復号されると、符号化のために画素がどのように分割されたかは問わない。例えば、予想される編集の種類に応じて、復号された画像を符号化に使用されたものよりも小さいまたは大きい画素の群に分割することが有用であり得る。例えば、マスキングが常に長方形の形態で行われる場合、符号化に使用されるよりも粗い画素の分割が署名プロセスに十分であってもよい。一方、マスキングすべきオブジェクトの輪郭により密接に追従してマスキングを行うことができると想定される場合、より細かい分割が署名プロセスに有用であり得る。
【図1A-B】
【図2】
【図3A-D】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【外国語明細書】