特許 6073258 圧縮ビデオの透かし処理用の透かしの選択

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6073258

(24)【登録日】2017年1月13日

(45)【発行日】2017年2月1日

(54)【発明の名称】圧縮ビデオの透かし処理用の透かしの選択

(51)【国際特許分類】

   H04N 19/467 20140101AFI20170123BHJP

【ＦＩ】

   H04N19/467

【請求項の数】18

【外国語出願】

【全頁数】16

(21)【出願番号】特願2014-7029(P2014-7029)

(22)【出願日】2014年1月17日

(62)【分割の表示】特願2011-523806(P2011-523806)の分割

【原出願日】2009年8月18日

(65)【公開番号】特開2014-99904(P2014-99904A)

(43)【公開日】2014年5月29日

【審査請求日】2014年2月17日

(31)【優先権主張番号】61/189,551

(32)【優先日】2008年8月20日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】ゾウ デクン

(72)【発明者】

【氏名】ジェフリー アダム ブルーム

(72)【発明者】

【氏名】ヘー シャン

【審査官】 堀井 啓明

(56)【参考文献】

【文献】 特開２００３−１７９８９２（ＪＰ，Ａ）

【文献】 特表２００９−５１８９４５（ＪＰ，Ａ）

【文献】 国際公開第２００７／０６７１６８（ＷＯ，Ａ１）

【文献】 特開２００６−３０３５８０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

符号化データのための透かしのリストにアクセスするステップであって、前記透かしは、構文要素、元の値及び１つ以上の候補代替値を有する、ステップと、
前記リストから準拠透かしのグループを決定するステップであって、前記準拠透かしは、符号化プロトコルに準拠している、ステップと、
前記準拠透かしのグループから、さらに少なくとも１つのパフォーマンス基準を満たす透かしのサブセットを選択するステップと、
選択された透かしの伝搬パスが前記サブセットにおいて以前に選択された透かしの伝搬パスと交差する場合、前記選択された透かしを前記サブセットから除去するステップであって、前記選択された透かしの伝搬パスは、前記符号化データにおいて選択された透かしにより影響を受けるすべてのブロックからなる、ステップと、
を含む、方法。

【請求項2】

前記符号化プロトコルはＣＡＢＡＣ符号化プロトコルであり、前記符号化データはビデオストリームである、請求項１記載の方法。

【請求項3】

前記透かしの忠実性、復元可能性、又はロバスト性を決定するステップと、
前記忠実性、復元可能性、又はロバスト性に応じて前記サブセットから透かしを除去するステップと、
を含み、
忠実性、復元可能性、又はロバスト性はパフォーマンス基準である、請求項２記載の方法。

【請求項4】

前記忠実性を決定するステップは、
前記透かしの前記伝搬パスにおける各ブロックについて輝度の絶対的な変化の合計を計算するステップであって、前記合計は前記ブロックの全てのピクセルに亘って計算される、ステップを含み、
前記透かしを除去するステップは、
前記伝搬パスにおける任意のブロックの合計が輝度閾値より大きい場合、前記サブセットから前記透かしを除去するステップ
を含む、請求項３記載の方法。

【請求項5】

前記忠実性を決定するステップは、
前記透かしの前記伝搬パスにおける各ブロックについてブロック歪み測定を計算するステップを含み、
前記透かしを除去するステップは、
前記伝搬パスにおける任意のブロックの前記ブロック歪みがブロック歪み閾値より大きい場合に前記サブセットから前記透かしを除去するステップ
を含む、請求項３記載の方法。

【請求項6】

前記忠実性を決定するステップは、
透かしの伝搬マップのサイズを決定するステップであって、前記サイズは前記透かしにより影響を受けるブロックの数である、ステップと、
前記伝搬マップのサイズをサイズ閾値と比較するステップと、
を含み、
前記透かしを除去するステップは、
前記伝搬マップのサイズが前記サイズ閾値より大きい場合に前記サブセットから前記透かしを除去するステップ
を含む、請求項３記載の方法。

【請求項7】

前記ロバスト性を決定するステップは、
前記透かしに関連する各ブロックについて輝度の変化を計算するステップと、
前記輝度の変化をロバスト性閾値と比較するステップと、
を含み、
前記透かしを除去するステップは、
前記輝度の変化が前記ロバスト性閾値より小さい場合に前記サブセットから前記透かしを除去するステップ
を含む、請求項３記載の方法。

【請求項8】

前記ロバスト性を決定するステップは、
前記透かしの伝搬パスにおける少なくとも１つのブロックの輝度の変化を計算するステップと、
前記輝度の少なくとも１つの変化をロバスト性閾値と比較するステップと、
を含み、
前記透かしを除去するステップは、
前記輝度の少なくとも１つの変化が前記ロバスト性閾値より小さい場合に前記サブセットから前記透かしを除去するステップ
を含む、請求項３記載の方法。

【請求項9】

前記ロバスト性を決定するステップは、
透かしの伝搬マップのサイズを決定するステップであって、前記サイズは前記透かしにより影響を受けるブロックの数である、ステップと、
前記伝搬マップのサイズをサイズ閾値と比較するステップと、
を含み、
前記透かしを除去するステップは、
前記伝搬マップのサイズが前記サイズ閾値より小さい場合に前記サブセットから前記透かしを除去するステップ
を含む、請求項３記載の方法。

【請求項10】

符号化データのための透かしのリストであって、前記透かしは構文要素、元の値及び１つ以上の候補代替値を有する、前記リストにアクセスし、
前記リストから、符号化プロトコルに準拠している準拠透かしのグループを決定し、
前記準拠透かしのグループから、少なくとも１つのパフォーマンス基準をさらに満たす透かしのサブセットを選択し、
前記符号化データにおいて選択された透かしにより影響を受けるすべてのブロックからなる、前記選択された透かしの伝搬パスが、前記サブセットにおいて以前に選択された透かしの伝搬パスと交差する場合、前記選択された透かしを前記サブセットから除去する
ように構成された処理装置を備える、装置。

【請求項11】

前記符号化プロトコルはＣＡＢＡＣ符号化プロトコルであり、前記符号化データはビデオストリームである、請求項１０記載の装置。

【請求項12】

前記処理装置は、
前記透かしの忠実性、復元可能性、又はロバスト性を決定し、
前記忠実性、復元可能性、又はロバスト性に応じて透かしを前記サブセットから除去する
ようにさらに構成され、
忠実性、復元可能性、又はロバスト性はパフォーマンス基準である、請求項１１記載の装置。

【請求項13】

前記処理装置は、
前記透かしの前記伝搬パスにおける各ブロックについて輝度の絶対的な変化の合計であって、前記ブロックの全てのピクセルに亘って計算される、前記合計を計算する
ようにさらに構成されることにより忠実性を決定し、
前記伝搬パスにおける任意のブロックの合計が輝度閾値より大きい場合、前記サブセットから前記透かしを除去する
ようにさらに構成されることにより前記透かしを除去する、請求項１２記載の装置。

【請求項14】

前記処理装置は、
前記透かしの前記伝搬パスにおける各ブロックについてブロック歪み測定を計算する
ようにさらに構成されることにより忠実性を決定し、
前記伝搬パスにおける任意のブロックの前記ブロック歪みがブロック歪み閾値より大きい場合に前記サブセットから前記透かしを除去する
ようにさらに構成されることにより前記透かしを除去する、請求項１２記載の装置。

【請求項15】

前記処理装置は、
透かしの伝搬マップのサイズであって、前記透かしにより影響を受けるブロックの数である、前記サイズを決定し、
前記伝搬マップのサイズをサイズ閾値と比較する
ようにさらに構成されることにより忠実性を決定し、
前記伝搬マップのサイズが前記サイズ閾値より大きい場合に前記サブセットから前記透かしを除去する
ようにさらに構成されることにより前記透かしを除去する、請求項１２記載の装置。

【請求項16】

前記処理装置は、
前記透かしに関連する各ブロックについて輝度の変化を計算し、
前記輝度の変化をロバスト性閾値と比較する
ようにさらに構成されることによりロバスト性を決定し、
前記輝度の変化が前記ロバスト性閾値より小さい場合に前記サブセットから前記透かしを除去する
ようにさらに構成されることにより前記透かしを除去する、請求項１２記載の装置。

【請求項17】

前記処理装置は、
前記透かしの前記伝搬パスにおける少なくとも１つのブロックの輝度の変化を計算し、
前記輝度の少なくとも１つの変化をロバスト性閾値と比較する
ようにさらに構成されることによりロバスト性を決定し、
前記輝度の少なくとも１つの変化が前記ロバスト性閾値より小さい場合に前記サブセットから前記透かしを除去する
ようにさらに構成されることにより前記透かしを除去する、請求項１２記載の装置。

【請求項18】

透かしの伝搬マップのサイズであって、前記透かしにより影響を受けるブロックの数である、前記サイズを決定し、
前記伝搬マップの前記サイズをサイズ閾値と比較する
ようにさらに構成されることによりロバスト性を決定し、
前記伝搬マップの前記サイズが前記サイズ閾値より小さい場合に前記サブセットから前記透かしを除去する
ようにさらに構成されることにより前記透かしを除去する、請求項１２記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はＣＡＢＡＣ（Context based Adaptive Binary Arithmetic Coding：コンテキストに基づく適応２進算術符号化）ビデオストリームに透かしを埋め込むことに関する。

【背景技術】

【0002】

本願は２００８年８月２０日に名称「変更可能なブロック選択(CHANGEABLE BLOCK SELECTION)」で出願された米国仮出願Ｎｏ．６１／１８９，５５１の利益及び優先権を主張する。当該仮出願は全ての目的のためにその全体を参照することにより本明細書に明白に組み込まれている。

【0003】

今日、著作権侵害防止技術として電子透かし処理に対する需要は強い。略奪者が透かしを見つけ出すことを非常に困難にするために多くの潜在的な透かしが提案され使用されることが重要である。しかしながら、透かしが所望の視聴者に対して所望の視覚体験を妨げないことが重要である。そのため、更に効率的な透かし技術の必要性がある。本発明の目的は、ＣＡＢＡＣ（Context based Adaptive Binary Arithmetic Coding)/ＡＶＣ(Advanced Video Coding：先進ビデオ符号化)に対応している透かしと一般に関連した可能な変更のリストを生成することであり、更に目に見える不自然な結果を生成することではなく、それにより、究極的にはＣＡＢＡＣビデオストリームに透かしを埋め込む効果的な方法を提供する。

【発明の概要】

【課題を解決するための手段】

【0004】

方法は、符号化ビデオストリーム等の符号化データストリーム内の変更可能な構文要素等の潜在的変更にアクセスするステップと、その変更を適用する前にオブザーバに対するその変更の検出可能性及び／又は可視性を決定するステップと、その変更を適用する前に透かし検出器に対するその変更の復元可能性を判断するステップと、その変更を適用する前に、基準又は様々な規則又は制約との適合性を含むことができる、符号化手段に対するその変更の埋め込みの可能性を判断するステップと、検出可能性及び復元可能性のための閾値基準を満たす変更のリストを生成するステップと、を備える。その方法は、変更可能な構文要素のための特徴ベクトルを決定するステップを備えることができ、特徴ベクトルは検出可能性、復元可能性及び埋め込み可能性の関数であり、制限を特徴ベクトルに対して設定することができ、その特徴ベクトルに対するその制限を満たす変更だけがリストに加えられる。その方法は、検出可能性、復元可能性及び埋め込み可能性の間のバランス基準を設定するステップと、そのバランス基準を満たすその変更だけを加えるステップと、を更に備えることができる。また、その方法は、ブロックに分割されているビデオデータにアクセスするステップと、変更を適用する前後の輝度、変更を適用する前後のビデオ間の平均平方誤差、変更を適用する前後のブロック画素分散、又はブロック歪みのうちの少なくとも１つによって少なくとも１ブロックを特徴付けるステップと、を含んでも良い。更に、その方法は変更を適用する前の変更についての伝搬マップ(propagation map)を作成することと、その伝搬マップをリストに加えるべき変更の選択のために用いることと、の組み合わせを含むことができる。その選択の基準は伝搬マップのサイズ、伝搬マップ内の全てのブロックの最大輝度変化、伝搬マップ内の全てのブロックの最大平均平方誤差、及び検出可能性の基準を満足する伝搬パスにおけるブロックの数を含むことができる。

【0005】

追加の方法は、符号化データのためのリスト内の、構文要素、元の値及び候補代替値を有する透かし等の変更にアクセスするステップと、その変更からＣＡＢＡＣ符号化プロトコル等の符号化プロトコルに準拠した準拠変更のグループをサブセットとして決定するステップと、構文要素群毎に１つの候補代替値だけを有するサブセットとなり、かつ少なくとも１つのパフォーマンス基準をさらに満たすこととなる準拠変更だけをサブセットのために選択するステップと、を備える。その方法は、透かしの忠実性、復元可能性、又はロバスト性を決定するステップと、忠実性、復元可能性、又はロバスト性に基づいて透かしをサブセットから除去するか又は透かしがサブセットに存在することを防止するステップと、を含むことができ、ここで、忠実性、復元可能性、及びロバスト性はパフォーマンス基準である。その方法は、透かしのための少なくとも２つのパフォーマンス値を決定するステップと、その少なくとも２つのパフォーマンス値のいくつかの集合的メトリック(metric)を決定するステップと、そのいくつかの集合的メトリックに基づいて透かしをサブセットから除去かるか又は透かしがサブセットに存在することを防止するステップと、を含むことができる。

【0006】

他の方法は、符号化データのためのリスト内の、構文要素、元の値及び候補代替値を有する変更又は透かしをアクセス、生成、又はコンパイルするステップと、その変更から、符号化プロトコルに準拠している準拠変更のグループをサブセットとして決定するステップと、符号化プロトコル以外の少なくとも１つのパフォーマンス基準を有する準拠変更だけをサブセットのために選択するステップと、を備える。その符号化データはトランスポートストリームに存在することができ、その変更はトランスポートストリームパケット境界を横断する構文要素を有するときサブセットから除去されるか又はサブセットに存在することが防止される。追加のステップは、変更を適用する前に変更についての伝搬マップを生成するステップと、前に選択した変更の伝搬パスにあるブロックを有する変更をサブセットから除去するか又は変更がサブセットに存在することを防止するステップと、を含むことができる。その方法は、変更の忠実性、復元可能性、又はロバスト性を決定するステップと、その忠実性、復元可能性、又はロバスト性に基づいてサブセットから変更を除去するか又は変更がサブセットに存在することを防止するステップと、を更に含むことができ、ここで、忠実性、復元可能性、及びロバスト性はパフォーマンス基準である。

【0007】

装置は、ビデオストリーム等の符号化データのためのリスト内の、構文要素、元の値及び候補代替値を有する透かし等の変更をアクセス又は生成する手段と、その変更から、符号化プロトコルに準拠している準拠変更のグループをサブセットとして決定する手段と、そのサブセットが構文要素群毎に１つ以上の候補代替値を有することとなり、かつ少なくとも１つのパフォーマンス基準をさらに満たすこととなる準拠変更だけをサブセットとして選択する手段と、を備える。符号化プロトコルはＣＡＢＡＣ符号化プロトコルとすることができる。その装置は、透かしの忠実性、復元可能性、又はロバスト性を決定する手段と、その忠実性、復元可能性、又はロバスト性に基づいてサブセットから透かしを除去するか又は透かしがサブセットに存在することを防止する手段と、を更に含むことができ、ここで、忠実性、復元可能性、及びロバスト性はパフォーマンス基準である。加えて、その装置は、その透かしのための少なくとも２つのパフォーマンス値を決定する手段と、その少なくとも２つのパフォーマンス値のいくつかの集合的メトリックを決定する手段と、そのいくつかの集合的メトリックに基づいて透かしをサブセットから除去するか又は透かしがサブセットに存在することを防止する手段と、を含むことができる。

【図面の簡単な説明】

【0008】

本発明は添付の図面を参照して例によって以下に説明される。

【図1】変更可能な構文要素を選択する処理の概要を示す図である。

【図2】伝搬マップの説明図である。

【図3】変更可能な構文要素の候補代替値毎の選択処理のブロック図である。

【図4】最終の選択ステップの実施例を示すフローチャートである。

【発明を実施するための形態】

【0009】

本発明の実施形態はＣＡＢＡＣ符号化Ｈ.２６４／ＡＶＣビデオストリームのコンテキスト内において一般に説明される。しかしながら、その実施形態はより広い適用を持つことができる。

【0010】

変更は透かしとすることができ、ＣＡＢＡＣ符号化ビデオストリーム内に変更データバイトを埋め込むことによってそれらの変更を適用することができる。この方法は、透かしの埋め込みのための変更の候補リストに修正されても良いＨ.２６４符号化ビデオストリーム内の変更可能な構文要素を識別することを含んでいる。変更可能な構文要素のサブセットは透かしの埋め込みのために用いられる。実施形態は少なくとも透かし処理のために使用されたサブセットに存在するリストのどの要素を選択するかという問題を処理するステップの実施を含んでいる。

【0011】

本明細書ではＣＡＢＡＣ符号化Ｈ.２６４／ＡＶＣストリームを修正する方法と、ＣＡＢＡＣ／ＡＶＣ準拠変更のリストを生成する方法とが説明される。その結果のリストにおける各エントリは特定の構文要素、その元の値、及び候補代替値を識別する。このリストに現れる構文要素は変更可能な構文要素とみなされ、毎回異なる候補代替値で２回以上リストに出現することができる。

【0012】

また、実施形態は透かし処理のために選択及び使用されているリストにおけるエントリのサブセットの特徴を含むことができる。サブセットの１つの選択は変更可能な構文要素毎に唯一の候補代替値を選択することである。サブセットの他の選択は変更可能な構文要素毎に２以上の候補代替値を選択することであり、ここで、各選択は異なる情報を表して透かしに埋め込んで良い。しかしながら、ＣＡＢＡＣ／ＡＶＣ準拠であるけれども、リストは特定のアプリケーションの目的を提供しない変更を含むことができる。

【0013】

更に、本開示はアプリケーションが透かし処理するときリストにおけるエントリのサブセットを選択する少なくとも１つの実施を示している。選択ステップは高忠実性、高ロバスト性、及び高容量を含む透かし処理目的の所定のセットにベストのサブセットを見つけ出すために実行される。本明細書では、選択処理又はステップはＣＢＳ(Changeable Block Selection：変更可能なブロック選択）と称される。

【0014】

透かし処理アルゴリズムについては、それらのプロパティ（特性）のいくつかを指摘することが重要である。１つのプロパティは透かし埋め込みの視覚的インパクト、すなわち忠実性である。多くの透かし処理アプリケーションにとってその視覚的インパクトはできるだけ小さくするべきである。他のプロパティは埋め込み後の透かしの有効性である。これは、埋め込み検出器が埋め込み直後に透かしを復元することができる可能性を記述する。大部分のアプリケーションにとって、非常に高い有効性が要求される。透かしが入ったコンテンツが埋め込みの時と検出との間に攻撃(attacks)されるならば、多くの透かし処理アプリケーションは、透かしデータがまだそのようなアタック後に復元可能であることを要求する。これは第３のプロパティであるロバスト性につながっている。最後に、透かし処理アルゴリズムは埋め込めることができるデータの量によって特徴付けられ得る。このプロパティは容量と呼ばれる。

【0015】

それらの４つのプロパティのパフォーマンスは度々アプリケーションに従って１つを別のものと交換される。本発明の実施形態では、特徴の交換又はバランス化を図１に示されたように２つのステップにおいて考慮することができる。可能性がある変更可能な構文要素１０５を識別した後、第１のステップは入力リストの変更可能な構文要素毎の特徴ベクトル１１０の生成である。その入力リストの各エントリと関連した忠実性、有効性、及びロバスト性を評価するために分析が行われる。第２のステップは出力のために変更のサブセット１１５を選択することである。サブセットの選択は忠実性、有効性、ロバスト性、及び容量間の所望のバランスに基づいており、選択した変更可能な構文要素１２０を生成する。

【0016】

リスト内の変更可能な各構文要素は候補代替値のセットを含んでいる。ビットストリームのＣＡＢＡＣ／ＡＶＣ準拠を妨げることなく、その構文要素値をセット内でいずれかの値に変更することができる。構文要素の値を候補代替値に置き換えることは、その構文要素が存在するブロック内の再構築した画素値を変更することである。よって、候補代替値毎に、いくつかのブロックの特徴が評価される。ブロックの特徴のいくつかの例は、
・埋め込み前後の平均輝度
・初期のブロックと埋め込みが入ったブロックとの間の平均平方誤差
・埋め込み前後のブロック画素分散
・その周辺に対するブロックのブロック歪み
を含む。

【0017】

変更可能な構文要素の候補代替値の置き換えは構文要素が存在する目的ブロック（Ｔ）で画像データを変更する。相互の従属性の全部が符号化ビデオストリームに存在するため、Ｔ以外のブロックもその置き換えによって影響されても良い。言い換えれば、ブロックＴに導入された変更は復号化シーケンスにおいて他のブロックに伝搬することができる。忠実性、ロバスト性、有効性、及び容量についての候補変更のインパクトに正確にアクセスするために、良好な選択処理がブロックＴへの直接的な変更と共に伝搬のために画素値変更とみなす。ブロックＴへの１つの変更によって影響されたブロックの全てを示す伝搬マップの作成は、置き換えの安定性を決定することにおいて極端に有益であり、最高でさえあることができる。

【0018】

伝搬マップ又はパス２００の例は図２に示されており、ここで、ビデオブロックの７×６のマトリックス２０５が表されている。本明細書では、用語の伝搬マップと伝搬パスとは互換的に用いられている。この例において、変更はブロックＴ２１０に対して直接なされる。近隣のブロックの予測モードに従って、この変更は右、下、下、及び右へ、及び／又は下、及び左へ伝搬することができる。この説明図において、変更は右のブロックＡ２１５に伝搬されたと仮定する。また、そのブロックＡにおける変更が伝搬することができる。この説明図においてこの変更はブロックＢ２２０及びＣ２２５に伝搬すると仮定する。更に、それらの変更の各々は参照符号２３０を有する他のブロックに伝搬することができる。伝搬マップ２００はブロックＴへの初期変更によって影響されるブロックの全てを示している。それらのブロックは直接変更したＴブロック、第１次の間接変更したブロックＡ２１５、第２次の間接変更したブロックＢ２２０及びＣ２２５、そして更に影響された２３０である。この例において他のブロック２３５は影響されない。

【0019】

変更が目的ブロック以外のブロックに影響するとき、考慮された特徴は単に目的ブロックでなく、全ての影響したブロックにおけるインパクトを評価すべきである。したがって、伝搬マップは、目的ブロックを単に考慮することとは対照的に、その変更の全部のインパクトを示すために生成され用いられる。ブロック特徴のいくつかの例は、
・伝搬マップのサイズ
・伝搬パスにおける全てのブロックの最大輝度変化
・伝搬パスにおける全てのブロックの最大平均平方誤差
・検出可能性テスト及び忠実性テスト両方を満たす伝搬パスにおけるブロックの数
を含む。

【0020】

なぜ伝搬マップの利用が重要であるかを理解するために、選択ステップにおいて伝搬マップ忠実性テストの考慮は、伝搬パスにおける全てのブロックがブロックに基づいた忠実性テストに合格するならば、どの変更が受け入れ可能かを示すことができる。言い換えれば、変更は、その伝搬パスのどこかに目に見える不自然な結果となっているならば、受け入れ不可能である。

【0021】

一般に、本発明の主要な特徴は候補代替のサブセットの選択である。選択処理は上記したように特徴のセットの評価に基づいている。一般処理３０５はそのサブセット選択をするために特徴値及びアプリケーション要件の観点から各候補代替を評価するツールである。

【0022】

透かしの３つのアプリケーションプロパティはその選択処理において考慮される。それらの３つは検出可能性、忠実性、及びロバスト性である。受け入れ可能である変更のために、変更はそれらのプロパティの各々におけるアプリケーション要件を一般に満足しなければならない。

【0023】

図３は各ブロックが対応する要件に基づいてテストに合格する候補代替だけを通過させるフィルタとして動作する変更可能な構文要素の候補代替値毎の選択処理３０５のブロック図を示している。上記したように、可能性がある変更可能な構文要素を識別した後、第１のステップは入力リスト内の変更可能な構文要素毎に特徴ベクトル３１０の生成である。ここで留意すべきは、「最終選択」３３０によって評価される候補代替だけが忠実性選択３１５、検出可能性選択３２０及びロバスト性選択３２５のテストに合格していることである。それらの３つのテストを任意の順序で実行することができる。

【0024】

図３のテストを各変更に１つずつ適用することができ、又は候補代替のリストに適用することができる。例えば、グローバル閾値を各変更に別々に適用することができ、又はベストパフォーマンスを有する変更のグループを選択するように選択処理を構成することができる。前者のアプローチは、いくつの変更がフィルタを通過するかの保証はなく、一方、後者のアプローチは最低限のパフォーマンスを保証しない。アプリケーションの要件はそれらの２つのアプローチのどちらが最も適切であるかを示す。また、ここで留意すべきは、異なるアプローチを図３のフィルタの各々に適用することができることである。好ましい実施形態においては、初期、忠実性、ロバスト性、及び検出可能性のフィルタリングは各代替に個々に適用される一方、最終選択は最初の３つのフィルタを通過した変更のリストについて動作する。

【0025】

忠実性選択は生成した１または複数の特徴に適用された簡単な閾値テストに基づくことができる。その閾値テストに合格する候補要素は高い忠実性を十分に持っていると思われる。１または複数の閾値テストで不合格となった候補要素はアプリケーションに対して極めて厳しい目に見える不自然な結果を招くと想定される。それらの候補は潜在的変更のリストから除去される。

【0026】

少なくとも１つの実施形態においては、特徴ベクトルが、変更の結果として生じる絶対的な輝度変化の合計（ブロックにおける全ての画素に亘る）の、伝搬パスにおける全てのブロックの、最悪の場合を含む。この特徴は、輝度閾値と比較される。閾値より大きい絶対的な輝度変化の合計を有するその伝搬パスにおけるどこかのブロックにて終わる候補はリストから除去される。

【0027】

また、特徴ベクトルの少なくとも１つの実施形態は変更によって生じたブロック歪みの量を示すブロック歪み測定の、伝搬パスにおける全てのブロックの、最悪の場合を含む。この特徴は、ブロック歪み閾値と比較される。ブロック歪み閾値より大きいブロック歪みスコアを有するその伝搬パスにおけるどこかのブロックにて終わる候補はリストから除去される。

【0028】

第３の可能性がある忠実性テストは伝搬マップのサイズに基づいている。ここで、より大きい伝搬マップは目に見える不自然な結果を招く可能性が高いと想定される。伝搬マップのサイズは、伝搬マップを含むデータ構造から直接容易に得られるので、特徴としてリストにする必要はない。閾値より大きい伝搬マップを有する候補はリストから除去される。

【0029】

少なくとも１つの実施形態において、復元又はロバスト性は、構文要素の変更が行われるブロックにおいて輝度の変化に基づいている。他の実施形態において、復元は伝搬パスにおける１または複数のブロックの輝度の変化に基づいても良い。

【0030】

したがって、ロバスト性の簡単な測定は候補変更によって生じた輝度変化の量である。この簡単なモデルでは、より高い輝度変化となる候補変更がよりロバストであると想定する。

【0031】

少なくとも１つの実施形態において、特徴ベクトルは候補変更から結果として生じる輝度変化を含む。この値はロバスト性閾値と比較される。輝度の変化がロバスト性閾値を下回った候補はリストから除去される。

【0032】

復元が全部の伝搬パスに基づいているとき、変更のロバスト性を評価するために伝搬マップのサイズを用いることができる。ここで、より大きい伝搬マップはマークしたビデオの処理まで残る可能性が高いと想定される。閾値より小さい伝搬マップを有する候補はリストから除去される。

【0033】

最終選択は多数の異なるアプリケーション要件に基づくことができる。アプリケーション要件の一例は、トランスポートストリームにおいて、変更が１つのトランスポートストリームパケット内に十分に存在しなければならないことである。トランスポートストリームパケット境界を横断する構文要素を修正することになる候補変更はリストから除去される。

【0034】

少なくとも１つの実施形態において、最終選択処理は、１つのスライス内でそれ以前の全てのテストに合格した全ての候補変更を調べる。所定の構文要素について、他のテストを満たす可能性がある多数の代替値があっても良いが、１つだけを最終出力として選択しても良い。この選択は特徴ベクトルにおける同一の忠実性特徴及びロバスト性特徴に基づいても良い（例えば、最も高い忠実性を有する値を選択する）。この選択の部分は他の２つの処理のいずれかにおいて行われても良い。

【0035】

少なくとも１つの実施形態において、前に選択した変更の伝搬パスにあるブロックに対しては変更が行われない。このルールは最終選択処理において実施されるが、それ以外で実施されても良い。

【0036】

少なくとも１つの実施形態において、その伝搬マップが前に選択した変更の伝搬マップと交わるならば、変更が行われない。このルールは最終選択処理において実施されるが、それ以外で実施されても良い。

【0037】

最終選択は図４に示されている。ここで、ステップ４０５は現スライスのためのデータをメモリにロードすることから開始し、それは、ステップ４１０の変更可能なマクロブロックの各々をアクセスし、決定ステップ４１５においてマクロブロック毎に現マクロブロックがアプリケーション、基準、特定の復号器、可視閾値、ビット長要件、ペイロード要件等によって定義された定義制約を満たしているか決定することに続けられる。マクロブロックがその定義制約を満たしていないならば、スライス内の次のマクロブロックがステップ４１０で処理され、マクロブロックがその定義制約を満たしているならば、処理は決定ステップ４２０に進む。ステップ４２０においては、現マクロブロックが前に選択した出力の伝搬パスにあるならば、スライス内の次のマクロブロックはステップ４１０で処理され、現マクロブロックが前に選択した出力の伝搬パスにないならば、処理は決定ステップ４３０に進み、そこにおいて現マクロブロックについての最良代替エントリが選択される。ステップ４３０において、スライス内に更にマクロブロックがないならば、処理は次のステップ４３５に進み、スライス内に更にマクロブロックがあるならば、ステップ４１０でそのスライス内の次のマクロブロックが処理される。処理するために更にマクロブロックがないとき、ステップ４３５において、最終選択がデータ出力に書き込まれる。評価するためにビデオフレーム内に更にスライスがあるならば、ステップ４０５で次のスライスがアクセスされ、更なるスライスがないならば４４０、最終選択はステップ４４５で完了する。このアプリケーションにおいて説明された実施及び特徴のいくつかはＨ.２６４／ＭＰＥＧ−４ ＡＶＣ（ＡＶＣ）規格のコンテキストにおいて用いられても良い。しかしながら、それらの実施及び特徴は存在する又は将来の他の規格のコンテキストにおいて、又は規格を含まないコンテキストにおいて用いられも良い。したがって、本明細書では特定の特徴及び態様を有する１または複数の実施例が提供されている。しかしながら、説明した実施例の特徴及び態様は他の実施例に対して適合されても良い。

【0038】

本明細書で説明された実施例は、例えば、方法又は処理、装置、ソフトウエアプログラム、データストリーム、又は信号において実施されても良い。方法としてだけ説明されている等、実施例の１つの形式のコンテキストにおいて説明されているとしても、説明された実施例及び特徴は装置又はプログラム等の他の形式で実施されても良い。装置は適切なハードウエア、ソフトウエア、及びファームウエアにおいて実施されても良い。方法は、コンピュータ又は他の処理装置等の装置において実施されても良い。加えて、方法は処理装置又は他の装置によって実行されている命令によって実行されても良く、そのような命令はＣＤ等のコンピュータ読み取り可能媒体、又は他のコンピュータ読み取り可能記憶装置、又は集積回路に保存されても良い。更に、コンピュータ読み取り可能媒体は実施例によって生成されたデータ値を保存しても良い。

【0039】

この技術分野の当業者には明白であるべきであるが、実施では保存又は送信され得る情報を担うために形式を整えた信号を生成しても良い。その情報は方法を実行する命令、又は説明した実施例のいずれか１つによって生成されるデータを含むことができる。例えば、信号は透かしが入ったストリーム、透かしが入っていないストリーム、忠実性測定、又は他の透かし処理情報を担うために形式を整えられても良い。

【0040】

加えて、多くの実施は符号化器、復号化器、復号化器からの出力を処理するポストプロセッサ、又は入力を符号化器に供給するプリプロセッサの１または複数に実施されても良い。更に、他の実施はこの開示によって予期されている。例えば、追加の実施は開示した実施例の様々な特徴を組み合わせ、削除、変更、又は補完することによって作り出しても良い。
本発明は以下の態様を含む。
（付記１）
符号化データストリームにおける潜在的変更にアクセスするステップと、
前記変更を適用する前に、オブザーバに対する前記変更の検出可能性を判断するステップと、
前記変更を適用する前に、復号化手段のために前記変更の復元可能性を判断するステップと、
前記変更を適用する前に、符号化手段のために前記変更の埋め込み可能性を判断するステップと、
検出可能性、復元可能性、及び埋め込み可能性のための閾値基準に合致する変更のリストを生成するステップと
を含むことを特徴とする方法。
（付記２）
前記潜在的変更は変更可能な構文要素であり、前記符号化データストリームは符号化ビデオストリームであることを特徴とする付記１記載の方法。
（付記３）
前記変更可能な構文要素のための特徴ベクトルを決定するステップを更に備え、前記特徴ベクトルは前記検出可能性、復元可能性、及び埋め込み可能性の関数であることを特徴とする付記２記載の方法。
（付記４）
前記特徴ベクトルのための制限を設定し、前記制限と合致する前記変更だけを前記リストに加えるステップと、
前記検出可能性、復元可能性、及び埋め込み可能性の間のバランス基準を設定し、前記バランス基準と合致する前記変更だけを加えるステップと
を更に含むことを特徴とする付記３記載の方法。
（付記５）
前記ビデオデータはブロックに分割され、
前記方法は、
変更を適用する前後の輝度、
変更を適用する前後間の平均平方誤差、
変更を適用する前後のブロック画素分散、又はブロック歪み、
のうちの少なくとも１つによって少なくとも１つのブロックを特徴付けるステップを更に含むことを特徴とする付記２記載の方法。
（付記６）
前記ビデオデータはブロックに分割され、
前記方法は、
前記変更を適用する前に前記変更のための伝搬マップを生成するステップと、
前記伝搬マップの特徴に応じて前記変更を選択して前記リストに加えるステップと
を更に含むことを特徴とする付記２記載の方法。
（付記７）
前記伝搬マップのサイズ、
前記伝搬マップにおける全てのブロックの最大輝度変化、
前記伝搬マップにおける全てのブロックの最大平均平方誤差、及び
検出可能性基準を満たす前記伝搬パスにおけるブロックの数
からなる前記伝搬マップの特徴のうちの少なくとも１をその選択基準として設定するステップを更に含むことを特徴とする付記６記載の方法。
（付記８）
符号化データ用のリストにおける、構文要素、元の値及び１または複数の候補代替値を有する変更にアクセスするステップと、
前記変更のリストから、符号化プロトコルに準拠している準拠変更のグループをサブセットとして決定するステップと、
構文要素毎に１つの候補代替値だけを有する前記サブセットとなり、かつ少なくとも１つのパフォーマンス基準と合致する準拠変更だけを前記サブセットのために選択するステップと
を含むことを特徴とする方法。
（付記９）
前記符号化プロトコルはＣＡＢＡＣ符号化プロトコルであり、前記変更は透かしであり、前記符号化データはビデオストリームであることを特徴とする付記８記載の方法。
（付記１０）
前記透かしの忠実性、復元可能性、又はロバスト性を決定するステップと、
前記忠実性、復元可能性、又はロバスト性に応じて前記サブセット内から透かしを除去するか又は透かしが前記サブセット内にあることを防止するステップと
を含み、
前記忠実性、復元可能性、及びロバスト性はパフォーマンス基準であることを特徴とする付記９記載の方法。
（付記１１）
前記透かしに対して少なくとも２つのパフォーマンス値を決定するステップと、
前記少なくとも２つのパフォーマンス値のいくつかの集合的メトリックを決定するステップと、
前記いくつかの集合的メトリックに応じて前記サブセット内から透かしを除去するか又は透かしが前記サブセット内にあることを防止するステップと
を含むことを特徴とする付記９記載の方法。
（付記１２）
符号化データのリスト内の、構文要素、元の値及び１または複数の候補代替値を有する変更又は透かしにアクセスするステップと、
前記変更又は透かしから、アプリケーション要件、符号化プロトコルに準拠している準拠変更のグループ又は準拠透かしのグループをサブセットとして決定するステップと、
前記符号化プロトコル以外の少なくとも１つのパフォーマンス基準を有する準拠変更又は準拠透かしだけを前記サブセットのために選択するステップと
を含むことを特徴とする方法。
（付記１３）
トランスポートストリームに前記符号化データを供給するステップと、
前記サブセット内から変更又は透かしを除去するか又は変更又は透かしが前記サブセット内にあることを防止するステップと
を含み、
前記サブセットはトランスポートストリームパケット境界を横断する構文要素を有することを特徴とする付記１２記載の方法。
（付記１４）
前記変更又は透かしを適用する前に前記変更又は透かしのための伝搬マップを生成するステップと、
前記サブセット内から変更又は透かしを除去するか又は変更又は透かしが前記サブセット内にあることを防止するステップと
を含み、
前記サブセットは前に選択した変更又は透かしの前記伝搬パスにあるブロックを有することを特徴とする付記１２記載の方法。
（付記１５）
前記変更又は透かしの忠実性、復元可能性、又はロバスト性を決定するステップと、
前記忠実性、復元可能性、又はロバスト性に応じて前記サブセット内から変更又は透かしを除去するか又は変更又は透かしが前記サブセット内にあることを防止するステップと、を備え、忠実性、復元可能性、及びロバスト性はパフォーマンス基準であることを特徴とする付記１２記載の方法。
（付記１６）
前記変更又は透かしの忠実性、復元可能性、又はロバスト性を決定するステップと、
前記忠実性、復元可能性、又はロバスト性に基づいて前記サブセット内から変更又は透かしを除去するか又は変更又は透かしが前記サブセット内にあることを防止するステップと、を含み、忠実性、復元可能性、及びロバスト性はパフォーマンス基準であることを特徴とする付記１３記載の方法。
（付記１７）
前記変更又は透かしの忠実性、復元可能性、又はロバスト性を決定するステップと、
前記忠実性、復元可能性、又はロバスト性に基づいて前記サブセット内から変更又は透かしを除去するか又は変更又は透かしが前記サブセット内にあることを防止するステップと、を含み、忠実性、復元可能性、及びロバスト性はパフォーマンス基準であることを特徴とする付記１４記載の方法。
（付記１８）
符号化データ用のリストにおける、構文要素、元の値及び１または複数の候補代替値を有する変更にアクセスするステップと、
前記変更から、符号化プロトコルに準拠している準拠変更のグループをサブセットとして決定するステップと、
構文要素毎に２または３以上の候補代替値を有する前記サブセットとなり、かつ少なくとも１つのパフォーマンス基準と合致する準拠変更だけを前記サブセットのために選択するステップと
を含むことを特徴とする方法。
（付記１９）
前記透かしの忠実性、復元可能性、又はロバスト性を決定するステップと、
前記忠実性、復元可能性、又はロバスト性に基づいて前記サブセット内から透かしを除去するか又は透かしが前記サブセット内にあることを防止するステップと、を備え、忠実性、復元可能性、及びロバスト性はパフォーマンス基準であることを特徴とする付記２４記載の方法。
（付記２０）
前記透かしに対して少なくとも２つのパフォーマンス値を決定するステップと、
前記少なくとも２つのパフォーマンス値のいくつかの集合的メトリックを決定するステップと、
前記いくつかの集合的メトリックに基づいて前記サブセット内から透かしを除去するか又は透かしが前記サブセット内にあることを防止するステップと
を含むことを特徴とする付記２４記載の方法。

【符号の説明】

【0041】

１１０ 特徴ベクトル生成
１１５ 変更可能なブロック選択

【図1】

【図2】

【図3】

【図4】