特許 6773302 方法、装置及びコンピュータ可読媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6773302

(24)【登録日】2020年10月5日

(45)【発行日】2020年10月21日

(54)【発明の名称】方法、装置及びコンピュータ可読媒体

(51)【国際特許分類】

   H04N 1/387 20060101AFI20201012BHJP

   H04N 19/467 20140101ALI20201012BHJP

   G06T 1/00 20060101ALI20201012BHJP

【ＦＩ】

   H04N1/387

   H04N19/467

   G06T1/00 500B

【請求項の数】3

【全頁数】51

(21)【出願番号】特願2017-537935(P2017-537935)

(86)(22)【出願日】2016年1月22日

(65)【公表番号】特表2018-510526(P2018-510526A)

(43)【公表日】2018年4月12日

(86)【国際出願番号】US2016014447

(87)【国際公開番号】WO2016118816

(87)【国際公開日】20160728

【審査請求日】2019年1月15日

(31)【優先権主張番号】14/724,729

(32)【優先日】2015年5月28日

(33)【優先権主張国】US

(31)【優先権主張番号】62/106,685

(32)【優先日】2015年1月22日

(33)【優先権主張国】US

【前置審査】

(73)【特許権者】

【識別番号】310021973

【氏名又は名称】ディジマーク コーポレイション

(74)【代理人】

【識別番号】100107456

【弁理士】

【氏名又は名称】池田 成人

(74)【代理人】

【識別番号】100162352

【弁理士】

【氏名又は名称】酒巻 順一郎

(74)【代理人】

【識別番号】100123995

【弁理士】

【氏名又は名称】野田 雅一

(74)【代理人】

【識別番号】100165526

【弁理士】

【氏名又は名称】阿部 寛

(72)【発明者】

【氏名】スタック， ジョン， エフ．

(72)【発明者】

【氏名】カマート， アジス， エム

【審査官】 豊田 好一

(56)【参考文献】

【文献】 米国特許出願公開第２０１２／０２８１８７１（ＵＳ，Ａ１）

【文献】 特開２０００−３５０００１（ＪＰ，Ａ）

【文献】 国際公開第２００７／０４０１１２（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２００７／００９２１０８（ＵＳ，Ａ１）

【文献】 特開２００４−０１５３９６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／０００７９３６（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００４／０１３３４２７（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／３８７

Ｇ０６Ｔ １／００

Ｈ０４Ｎ １９／４６７

(57)【特許請求の範囲】

【請求項1】

ホスト画像に埋め込まれた補助データ信号を復号するための装置において実施される方法であって、
前記ホスト画像内の複数のフィルタリング位置の各々に対して、フィルタリング位置周囲の隣接埋込み位置のブロック内の非隣接の埋込み位置でのホスト画像信号要素間の差分関係から補助データ信号要素を抽出する抽出フィルタを適用するステップであり、前記差分関係が前記ホスト画像内の前記補助データ信号の差分変調によって形成されている、ステップと、
前記補助データ信号内の複数の可変データ信号要素の各々のための複数のフィルタリング位置にわたってフィルタ出力を集約して、前記複数の可変データ信号要素の各々の推定値を得るステップと、
前記推定値から可変メッセージを誤り訂正復号するステップと、
前記ホスト画像を周波数領域に変換するステップであり、前記差分関係の繰返しパターンがテンプレートを形成している、ステップと、
前記変換されたホスト画像を所定のテンプレートと照合して前記ホスト画像内の前記補助データ信号の回転及びスケールの推定値を得るステップと、
前記回転及びスケールで幾何学歪みを補償し、前記抽出フィルタを適用して前記差分関係から近似補助信号を抽出するステップと、
前記近似補助信号を周波数領域に変換するステップと、
前記所定のテンプレートを前記変換された近似補助信号と照合することによって同期を精密化するステップと、
を含む、方法。

【請求項2】

ホスト画像に埋め込まれた補助データ信号を復号するための装置において実施される方法であって、
前記ホスト画像内の複数のフィルタリング位置の各々に対して、フィルタリング位置周囲の隣接埋込み位置のブロック内の非隣接の埋込み位置でのホスト画像信号要素間の差分関係から補助データ信号要素を抽出する抽出フィルタを適用するステップであり、前記差分関係が前記ホスト画像内の前記補助データ信号の差分変調によって形成されている、ステップと、
前記補助データ信号内の複数の可変データ信号要素の各々のための複数のフィルタリング位置にわたってフィルタ出力を集約して、前記複数の可変データ信号要素の各々の推定値を得るステップと、
前記推定値から可変メッセージを誤り訂正復号するステップと、
前記ホスト画像に前記抽出フィルタを適用した出力において形成されるヌルと前記補助データ信号を同期させるステップを含む、方法。

【請求項3】

ホスト画像に埋め込まれた補助データ信号を復号するための装置において実施される方法であって、
前記ホスト画像内の複数のフィルタリング位置の各々に対して、フィルタリング位置周囲の隣接埋込み位置のブロック内の非隣接の埋込み位置でのホスト画像信号要素間の差分関係から補助データ信号要素を抽出する抽出フィルタを適用するステップであり、前記差分関係が前記ホスト画像内の前記補助データ信号の差分変調によって形成されている、ステップと、
前記補助データ信号内の複数の可変データ信号要素の各々のための複数のフィルタリング位置にわたってフィルタ出力を集約して、前記複数の可変データ信号要素の各々の推定値を得るステップと、
前記推定値から可変メッセージを誤り訂正復号するステップと、
前記ホスト画像に前記抽出フィルタの幾何学的に歪められたバージョンを適用して特徴ベクトルを得るステップと、
前記特徴ベクトルから幾何学的歪みパラメータを得、前記幾何学的歪みパラメータに従って前記抽出フィルタの適用を適合させることによって前記幾何学的歪みを補償して、前記推定値を得るステップと、
を含む、方法。

【発明の詳細な説明】

【関連出願データ】

【0001】

米国において、本出願は、２０１５年１月２２日出願の米国特許仮出願第６２／１０６，６８５号の利益を主張する。第６２／１０６，６８５号出願は、ここで同出願の全体が引用によって本明細書に援用される。

【技術分野】

【0002】

本発明は、雑音の多い環境での信号通信に関し、特に電子透かしなどの、ホストメディア信号内での堅牢な信号通信に関する。

【背景及び概要】

【0003】

画像及び音声信号などのホストメディア信号を通じた信号通信の分野が十分に発達しているが、ホスト信号の知覚品質を損なわずに、十分なデータ容量を持って高信頼通信を提供することに課題が残る。この信号通信分野内で、ホスト信号での信号通信の手法は、「電子透かし」としばしば称される。電子透かしは、データチャネルがホスト又はカバー信号内に埋め込まれる一方で、例えば、そのホスト信号が人間によって知覚されるときにホストの知覚品質への埋込みの影響を最小限にする信号通信の形態を最もしばしば指す。関連して、ステガノグラフィ符号化は、データが通常の人間の観察から隠蔽されるようにデータをカバー信号（周囲背景信号を含む）で通信する方法を指す。ステガノグラフィ復号は、受信信号から隠蔽データを復元する相補的処理である。

【0004】

この種類の信号通信は同様の属性又は応用目的を持つ他の信号通信技法と重複するので、電子透かしの境界は曖昧になる。静止画像、映像及び音声の様なホスト信号での信号通信のために、様々な技法及び応用が存在する。多くの応用に関して、データチャネルはデジタル的に埋め込まれ、そして抽出されるが、アナログ領域への及びアナログ領域からの変換の他に歪みに耐え切らなければならない。一般的な例は、物理的対象に適用される画像にデジタルデータを符号化すること、又は雑音の多い現場でスピーカからモバイルデバイスに送信される音声信号でデジタルデータを送信することを含む。データ信号は、レンダリング形態への変換、他の信号及び背景雑音との混合、並びに受信器のセンサ内での信号の取込みから、信号経路に沿ったあらゆる段階で歪みに直面する。幾つかの通信チャネルでは、包装若しくは文書の画像内容が無い領域内で信号を送る、又は人間の聴覚の限界（例えば、約２０Ｈｚ）の若しくはその近くの周波数範囲で音声状データチャネルを通じて信号を送るときなど、無視できるホスト信号内容があることがある。他の場合では、ホスト内容内に埋め込まれるものとは意図されない１次元（１Ｄ）又は２次元（２Ｄ）バーコードの様なデータ搬送シンボルはそれでもなお、グラフィックデザインの他に機械可読データ要素を伝達するために変更される。追加的に、従来の２Ｄコード行列は、見えにくいインク又はニス層でコードを印刷し、そしてデータ信号を増幅するように調整される照明、センサ及び信号処理でコードを検出することによって、視覚的に目立ちにくくされている。別の例として、２Ｄコードは、より高解像度で印刷することによって見えにくいように構成され、そして対象に繰り返されてもよい。補助データチャネルのための追加ホストが容量、信頼性及び／又は知覚品質を上昇させるので、人間の視覚系の限界のちょうど内側又はちょうど外側の色及びより高次元マルチスペクトルバンドも活用されてもよい。冗長符号化及び誤り訂正技法の使用は、そのようなバーコード適合又はグリフコードが、知覚しにくい様に、又はコードが混合される他の視覚内容の判読性に干渉しない様に、包装、文書、ラベル及び他の種類の対象で他の画像内容と組み合わされることを可能にする。これらの種類の手法は、電子透かしであると考えられ得るものの境界を曖昧にする傾向があり、データチャネルを内部に埋め込むホスト内容が殆ど無い又は疎な応用領域に我々の堅牢な信号通信方法を拡大する。

【0005】

それでもやはり、本文書は、電子透かし又はデータ信号通信技法の特定の定義に限られることなく堅牢な補助データ信号通信に関係する。堅牢な信号通信の多くの応用に関して、課題は、歪みにもかかわらず信頼性を維持する、データ搬送容量を拡大する、及び十分な知覚品質を達成するという競合する目的を調和させることである。目的が対立するので、この調和は常に課題である。例えば、データ容量を増加させることは信頼性に影響を与える。信号強度を増加させて信頼性を向上させることは、ホスト信号の知覚品質を劣化させる及び／又は情報搬送容量を制限する、ホスト信号への変更をもたらすことがあり得る。

【0006】

ホスト媒体にデータチャネルを埋め込むことの追加課題は、ホストが雑音源又はデータチャネルへの干渉になることである。幾つかの手法は、情報理論的手法を利用してホストチャネル内に補助データチャネルを符号化することによって干渉を軽減しようと試みる。例えば、ホスト信号への変更を最小限にするデータコード化パターンが選択されてもよい。これらの技法は「情報に基づく埋込み」に時には分類され、その理由は、ホスト歪みを低減させ、容量を増加させ、及び／又は信頼性を増加させてデータを埋め込むために、エンコーダ演算がホストの特定の情報特性によって通知されるからである。これらの技法は、ホスト信号干渉を軽減するための追加方法と組み合わせて利用されてもよい。

【0007】

我々の先行の研究では、我々は、相補的信号検出又は復号演算と対にされる差分符号化を通じてホスト信号干渉を軽減するための方式を開発した。例えば、引用によって援用される、米国特許出願公開第２０１４０１４２９５８号（音声チャネルで適用される差分符号化に関する）及び第２０１００１５０４３４号（画像内容の色チャネルで符号化される信号に適用される差分符号化に関する）を参照されたい。差分符号化は、データ信号要素がホストチャネル内の位置で差分関係で符号化される方式を一般に指す。これらのデータ信号要素は、ホストチャネル内の対応する埋込み位置にマッピングされる。

【0008】

符号化のために信号要素を準備する方法が無数にあり、そしてそのため、差分符号化は多くの異なるデータ信号通信戦略に適用される。例示のため、非網羅的なリストは、コードシンボルを選択し、誤り訂正を適用し、信号要素を搬送するようにホストの信号特徴を選択することを含む。引用によって援用される米国特許第６，１０２，４０３号は、正及び負の信号要素を持つ搬送波に変調される補助データ信号の例を提供する。第２０１４０１４２９５８号及び第２０１００１５０４３４号は、差分符号化を利用する方法の異なる例を例示する。

【0009】

信号検出及びデータ抽出処理が差分配置を利用してホスト信号を抑制すると、ホスト信号干渉が軽減されることができる。復号処理でのこの演算を容易にするために、ホスト信号の値が相関されるホスト信号の埋込み位置に差分符号化が適用される。相関されたホスト信号成分を相殺しつつ、差分符号化された情報を建設的に組み合わせる受信信号への復号演算によってホストは抑制され、ホストに対するデータ信号の信号対雑音比を増加させる。これらの種類の演算の例が第２０１４０１４２９５８号及び第２０１００１５０４３４号に提供される。

【0010】

信号信頼性を向上させるためのこれらの技法は、埋め込まれたデータ信号が同期を難しくする方法で歪められるおそれがある応用で実装するのがより難しくなる。そのような歪みは、埋め込まれた信号の一部をトリミングする若しくは切り捨てる、又は埋め込まれた信号の構造を曲げる（例えば、射影変換を含む、幾何学的又は時間的歪み）ことがあり得る。応用要件は、例えば、データ信号がホスト信号の任意の位置での小さい部分及び幾何学変換（透視変換を含む）から確実に復元されるように要求してもよい。カメラ又はスキャナにおける２Ｄセンサでの対象又は文書の画像取込みは、対象の印刷、変形及び劣化でもたらされる歪みに加えて、信号の幾何学的歪み及びトリミングをもたらす。周囲音声の音声取込みは、音声を発生し、音声を圧縮し、そして音声を周囲雑音及びエコーと混合する際にもたらされる歪みに加えて、時間的歪みを持つ信号をトリミング及びサンプリングする。幾つかの応用は、ホスト信号の流れがデータの流れに信頼できるチャネルを提供するように、ホストの部分が異なるデータを伝達することを更に必要とする。

【0011】

この歪みは、データチャネルが歪みに堅牢であるように設計されることを要求する。この要求を満たす１つの方法は、幾何学的若しくは時間的歪みに堅牢であるホストの属性を利用する、又は歪みに堅牢であるホスト変調方式を利用する符号化戦略を使用することである。加えて、符号化信号の設計は、検出及び同期を容易にする信号構造を提供する必要がしばしばある。この信号構造は、そうでなければデータが符号化され得るチャネルの部分をその信号構造が占有する程度に、データ容量を制限する。信号通信方式内に同期成分を導入することの別の意味は、これらの成分が、例えば、人間が知覚できる不必要な要素を導入することによって知覚品質を劣化させることがあり得ることである。幾つかの方式では、同期信号は、チャネルでデータ搬送信号に干渉することもある。データ信号容量に実質的に干渉することなく、脱同期に堅牢でもあるデータ信号通信の必要がある。

【0012】

信号通信方式の応用は、他のものに加えて上述した考慮事項の何らかの組合せを強調する固有の設計制約条件を有する傾向がある。例示のため、我々は少数の例を提供するが、それらの例に我々の範囲を限定する意図はない。１つの応用領域は、物理的対象でデータ信号を伝達し、そしてモバイルデバイス又は他の民生用電子機器のセンサから感知される信号からそのデータ信号を読み取ることである。物理的対象で信号を伝達する領域では、堅牢性要件は、圧縮の様なデジタル処理、対象に信号を適用（例えば、２Ｄ又は更には３Ｄ湾曲又は不規則表面への２Ｄ及び３Ｄ印刷、打刻、エッチング）する際に及び対象から信号を感知する際に直面される劣化による歪みに耐え切ることができるデータの能力を含む。

【0013】

別の応用領域は、映像ディスプレイ又は音声スピーカ出力で信号を伝達し、そしてモバイルデバイス又は他の民生用電子製品のセンサから感知される信号からその伝達信号を読み取ることである。画像及び音声状の信号通信は、これらの信号種類に固有の課題を提示する。印刷技術は、利用されるインクの種類及び色による制限、版面間の位置合せ、並びにデータチャネル（線画、階調表現、スクリーン角度、ドットゲインなど）を保持する印刷基本要素の印刷品質及び解像度に対する制限を含む、基材へのインクの適用の制御に対する他の制限を引き起こす。表示技術は、画面解像度、色形式、画面形式（アスペクト比、キーストーニングなどを含む）、リフレッシュレートなどに関する制限を引き起こす。目標ホスト信号内容も制限を引き起こす。画像ベースの信号通信に関しては、像若しくはアートワークの性質、又はその欠如が利用できるデータ符号化チャネルを制限する。文書内容は包装又はラベル内容とは異なる。映像形式及びコーデック、並びに映像内容品質及びデータレートも変化する。音声信号通信は、特に雑音の多い環境では、異なる形態の雑音、歪み及び干渉に関して、他の課題を提示する。

【0014】

信号通信方式の設計は、符号化及び復号のためのデジタル回路、プロセッサ及びメモリへの制約によって引き起こされる実際的課題も考慮しなければならない。これらの課題は、計算効率、電力消費、メモリ消費、メモリ帯域幅、ネットワーク帯域幅の使用、ハードウェア回路網又はプログラマブルプロセッサ／回路網のコスト、信号送信器及び受信器、機器内でエンコーダ及びデコーダを設計及び集積化するコストなどを含む。例えば、幾つかの符号化方式は、最適化された符号化又は復号を提供するかもしれないが、例えば、ホスト信号が送信、受信、更新されている、又は複数の他の信号処理演算で同時に処理されているとき、それらの符号化方式はリアルタイムでの符号化又は復号には遅過ぎるので、適用できないかもしれない。

【0015】

本文書では、我々は、信号を発生し、そしてそれらの信号をデータチャネルで符号化及び復号するための方式を含む、様々な変調方式を詳述する。我々は、堅牢であり、知覚品質制約を達成するのに柔軟であり、且つ向上されたデータ容量を提供する様にホスト信号又は雑音の多い環境内でデータチャネルを符号化する差分変調方式を記載する。エンコーダによって適用される差分配置は、デコーダが、符号化データチャネルを検出、同期及び抽出するときにホスト信号又は他の背景信号干渉を抑制することを可能にする。差分配置は、データ信号から形成されるか又はデータ信号に相補的である黙示的又は明示的な同期成分の組込みも可能にする。

【0016】

本発明の一態様は、ホスト画像信号において補助データ（auxiliary data）を符号化する方法である。本方法は、可変データ要素から構成される補助データ信号を発生する。補助データ信号は、可変データ要素の各々をホスト画像信号内の複数のブロックにマッピングする。各ブロックは、ホスト画像信号内の隣接する埋込み位置を備える。各可変データ要素に関して、方法は、可変データ要素に従ってホスト画像信号を変調して可変データ要素を対応する複数のブロックに埋め込む。対応する複数のブロックの各々内で、変調処理は、各ブロック内の非隣接の埋込み位置における可変データ要素間の差分関係を確立することによってホスト画像を変調する。

【0017】

装置、デジタル論理モジュール及びプログラムプロセッサモジュールを含め、本技術の様々な代替形態が記載される。

【図面の簡単な説明】

【0018】

【図1】図１は、ホスト信号にデータ信号を符号化するための信号エンコーダのブロック図である。

【0019】

【図2】図２は、ホスト信号からデータ信号を抽出するための信号デコーダのブロック図である。

【0020】

【図3】図３は、信号発生器の演算を例示するフロー図である。

【0021】

【図4】図４は、タイルのサブブロックにおける４×４配置の埋込み位置を例示する。

【0022】

【図5】図５は、図４の４×４配置のビットセル内に各々差分符号化される４つの異なるデータ信号要素Ａ、Ｂ、Ｃ、Ｄの配置を例示する。

【0023】

【図6】図６は、疎な差分符号化配置の例を例示する。

【0024】

【図7】図７は、図６の疎な差分符号化方式を使用するインターリーブされたデータ要素の例を図示する。

【0025】

【図8】図８は、タイルにおける埋込み位置への疑似ランダムマッピングによるデータ信号の周波数スペクトルを描く。

【0026】

【図9】図９は、タイルにおける埋込み位置への密な差分マッピング（例えば、図５から）によるデータ信号の周波数スペクトルを描く。

【0027】

【図10】図１０は、タイルにおける埋込み位置への疎な差分マッピング（例えば、図７から）によるデータ信号の周波数スペクトルを図示する。

【0028】

【図11】図１１は、図６と同様であり、且つ要素「ａ」などのデータ要素を搬送するパターンの冗長性を拡張する、疎な差分パターンを描く。

【0029】

【図12】図１２は、埋込み位置にマッピングされる追加データ信号要素を図示するために拡張される、図１１の疎なパターンを描く。

【0030】

【図13】図１３は、図１１の配置にデータ信号要素「ａ」に関する８つの差分関係があることを例示する。

【0031】

【図14】図１４は、図１１〜１２の信号配置の信号スペクトルを例示する。

【0032】

【図15】図１５は、信号スペクトルへの閾値演算を描く。

【0033】

【図16】図１６は、埋込み後の図１４〜１５の配置のスペクトルを図示する。

【0034】

【図17】図１７は、図１１の配置を使用して符号化される信号を復号する方法を例示するフロー図である。

【0035】

【図18】図１８は、テンプレート（「信号」と標記される）及び被疑信号のフィルタ処理されたスペクトル（「測定」と標記される）がログ極（ＬＰ：log polar［ログポーラ］）座標系に変換され、そして互いと相関されてＬＰ相関を生成する１つの種別のパターン検出方法を例示する。

【0036】

【図19】図１９は、同期パラメータ（この場合、回転及び空間スケール）を精密化する処理を例示する、近似化データ信号（「近似ビット」）の例及びその信号のスペクトルを図示する。

【0037】

【図20】図２０は、データ信号通信を並進ずれに堅牢にする（例えば、被疑信号の任意のサンプルブロックでデータ系列の始まりを見つけ出す）ための方式である、２Ｄ配列の埋込み位置におけるデータ系列のスパイラル符号化を例示する。

【0038】

【図21】図２１は、データ信号タイル及び信号のスペクトルを例示する図である。

【0039】

【図22】図２２は、データ要素がより冗長に符号化されるデータ信号タイル及び信号のスペクトルを例示する別の図である。

【0040】

【図23】図２３は、信号タイル内のデータパターンの別の例である。

【0041】

【図24】図２４は、固定及び可変信号通信方式のＲＯＣ曲線を例示する図である。

【0042】

【図25】図２５は、抽出フィルタを適用することによって得られるフィルタ処理されたデータ信号の例を例示する。

【0043】

【図26】図２６は、符号化ホスト信号（「透かし入り画像」）の例に続いて、透かし入り画像に抽出フィルタを適用することによって生成される出力のサブプロットを提供する。

【0044】

【図27】図２７は、フィルタ処理された信号を図示し、最初の３つのサブプロットが、データが符号化されているビットセルに対応するフィルタリングを図示し、そして第４のサブプロットが、データが全く符号化されていないビットセルに対応するフィルタリングを図示して、フィルタ出力における極小値のパターンを強調する。

【0045】

【図28】図２８は、符号化及び復号が実装されることができる電子装置を例示する。

【詳細な説明】

【0046】

信号エンコーダ及びデコーダ
図１は、ホスト信号にデータ信号を符号化するための信号エンコーダのブロック図である。図２は、ホスト信号からデータ信号を抽出するための共存する信号デコーダのブロック図である。

【0047】

信号エンコーダ及びデコーダが多くの応用に関してデータチャネルを通信するために使用されてもよいのに対して、我々の特有の焦点はホスト画像又は音声型信号での堅牢な信号通信であった。符号化及び復号は典型的にデジタル的に適用されるが、信号は、デジタルアナログ変換及びアナログデジタル変換に耐え切るのを期待される。例えば、エンコーダは、印刷画像、表示画像若しくは映像、又は音声トランスデューサ若しくはスピーカの出力などのレンダリング形態に変換される変調画像又は音声状信号を発生する。復号前に、受信装置がカメラ又はマイクロホンなどのセンサを有して、変調信号を取り込み、取り込んだ信号を電気信号に変換し、この電気信号がデジタル化され、次いでデコーダによって処理される。

【0048】

信号エンコーダへの入力は、ホスト信号１５０及び補助データ１５２を含む。エンコーダの目的は、知覚品質を維持しつつ、ホスト信号の単位当たり所望の容量で堅牢な信号を符号化することを含む。幾つかの場合には、ホスト信号の変動性又は存在はほぼ無くてもよく、この場合、一方ではホスト干渉が殆ど無いが、データチャネルの存在をマスクするホスト内容が殆ど無い。幾つかの例は、それほど画像変動性が無い包装デザイン（例えば、単一の均等色）を含む。

【0049】

補助データ１５２は、場合により通信を容易にするために使用される他のプロトコルデータと共にデータチャネルで伝達されるべき可変データ情報を含む。

【0050】

プロトコルは、信号が堅牢性、知覚品質又はデータ容量のために構造化及び符号化される様式を定義する。何れの所与の応用に関しても、単一のプロトコル又は２つ以上のプロトコルがあってもよい。複数のプロトコルの例は、チャネルの異なるバージョン、異なるチャネル種類（例えば、ホスト内の数個の電子透かし層）がある場合を含む。異なるバージョンは異なる堅牢性符号化技法又は異なるデータ容量を利用してもよい。プロトコルセレクタモジュール１５４は、データ信号を発生するためのエンコーダによって使用されるべきプロトコルを決定する。プロトコルセレクタは、ユーザ制御、特定用途向けパラメータ、又はホスト信号の解析に基づく導出などの入力変数に応じて特定のプロトコルを利用するようにプログラムされてもよい。

【0051】

知覚解析器モジュール１５６は、入力ホスト信号を解析して、適宜、信号発生及び埋込みを制御するためのパラメータを決定する。知覚解析器はある種の応用では必要ではない一方で、他の応用では知覚解析器は、プロトコルを選択する並びに／又は信号発生及び埋込み演算を変更するために使用されてもよい。例えば、印刷又は表示されることになるホストカラー画像で符号化するとき、知覚解析器１５６は、ホスト画像の色内容及びマスキング能力を確認するために使用されてもよい。この解析の出力は、レンダリング方法（表示又は印刷装置）及びレンダリング出力形態（例えば、インク及び基材）と共に、符号化チャネル（例えば、１つ又は複数の色チャネル）、知覚モデル、及びそれらのチャネルと使用されるべき信号プロトコルを特定するために使用されてもよい。例えば、ここで引用によって援用される、我々の米国特許出願第１４／６１６，６８６号、第１４／５８８，６３６号及び第１３／９７５，９１９号、米国特許出願公開第２０１００１５０４３４号、並びに米国特許第７，３５２，８７８号における知覚解析に使用される可視性及び色モデルに関する我々の研究を参照されたい。

【0052】

ホストが音であるものと意図される（ホストデジタル音声信号である及び／又は周囲音環境内で符号化データを送信する）とき、知覚解析器は、ホスト音を解析し、そして次いでプロトコルを選択し、そしてホスト音に応じて知覚マスキングを行うために使用されてもよい。音声に対するそのような知覚解析に関する更なる情報については、上述の援用される我々の米国特許出願公開第２０１４０１４２９５８号を参照されたい。

【0053】

知覚解析器モジュール１５６は、適宜、下記するようにホストチャネルへのデータ信号の変調を制御する際に使用されるべき知覚モデルも計算する。

【0054】

信号発生器モジュール１５８は、プロトコルに従って補助データを演算し、そしてデータ信号を発生する。信号発生器は、知覚解析器モジュール１５６によって提供されるものなど、ホスト信号から導出される情報も利用して信号を発生してもよい。例えば、データコード信号及びパターンの選択、変調関数、並びに所与の埋込み位置で適用する信号の量は、知覚解析に、特に知覚モデル及び知覚モデルが発生する知覚マスクに応じて適合されてもよい。この処理の追加態様については以下及び援用される特許文献を参照されたい。

【0055】

埋込器モジュール１６０は、データ信号を取り入れ、そしてデータ信号をホスト信号と組み合わせることによってデータ信号をチャネルへ変調する。組合せの演算は、データ信号がホスト信号をデジタル的に変調するなど、完全にデジタル信号処理演算でもよく、混合デジタル及びアナログ処理でもよく、又は純粋にアナログ処理（例えば、一部の信号が変調データ、そして他がホスト内容となり、レンダリング出力画像又は音声が組み合わされる）でもよい。

【0056】

デジタル演算でデータ及びホストを組み合わせるための各種の異なる機能がある。１つの手法は、ホスト信号値を埋込み位置での対応するデータ信号値の関数として調整することであり、この調整は知覚モデル及びその埋込み位置に対する堅牢性モデルに従って制限又は制御される。調整は、知覚モデル、堅牢性モデル及び利用できるダイナミックレンジに従って調整の量に重み又は閾値が設定された状態で、スケーリングされたデータ信号を加算すること又は埋込み位置に対応するデータ信号値によって要求されるスケール因子を乗算することによって、ホストチャネルを変更していてもよい。調整はまた、変調ホスト信号を特定のレベル（例えば、量子化レベル）に設定すること又は知覚品質若しくは堅牢性制約を充足する許容値の範囲若しくはビン内で変調ホスト信号を移動させることによって変更していてもよい。

【0057】

更に以下に詳述するように、信号発生器は、データチャネルにおける埋込み位置にマッピングされるデータ要素を持つデータ信号を生成する。これらのデータ要素は埋込み位置でチャネルへ変調される。また、特定の種類のメディアに対する変形に関する更なる情報については本明細書に援用される文献を参照されたい。

【0058】

組合せの演算は、知覚品質又は堅牢性制約に関して変調ホストを最適化する１回又は複数回の調整の反復を含んでもよい。１つの手法は、例えば、ホストが信号全体にわたって埋込み位置に対して知覚モデル（例えば、可視性又は聴度モデル）によって決定されるような知覚品質メトリックを充足するように、ホストを変調することである。別の手法は、ホストが信号全体にわたって堅牢性メトリックを充足するように、ホストを変調することである。更に別の手法は、各埋込み位置に対して導出される堅牢性メトリック及び知覚品質メトリックの両方に従ってホストを変調することである。援用される文献はこれらの技法の例を提供する。以下に、我々は少数の例に注目する。

【0059】

カラー画像に対して、知覚解析器は、埋込器によるホストへの調整の可視性を評価する知覚モデルを発生し、そして制御のレベルを設定して調整（例えば、色方向当たりの、及びマスキング領域当たりの調整のレベル）を管理する。この管理は、埋込み位置（例えば、ＣＩＥ Ｌａｂ値に関する色方向の顕著な知覚差の単位）での色の調整の可視性、コントラスト感度関数（ＣＳＦ）、空間マスキングモデル（例えば、引用によって本明細書に援用される米国特許出願公開第２００６−０１６５３１１Ａ１号にＷａｔｓｏｎによって記載される技法を使用する）などを評価することを含んでもよい。埋込み位置当たりの制約に取り組む１つの方法は、埋込み位置でホストとデータを組み合わせ、次いで原物と符号化ホストとの間の差を解析することである。知覚モデルは、埋込み位置に対して計算される可視性閾値関数とその位置での埋込みによる変化との間の差に基づいて調整が顕著かどうかを次いで特定する。埋込器は次いで、埋込み位置当たりの調整の量を変化させ又は限定して可視性閾値関数を充足することができる。当然、異なる演算の系列で可視性閾値を充足する調整を計算する様々な方法がある。例えば、本明細書に既に援用した、我々の米国特許出願第１４／６１６，６８６号、第１４／５８８，６３６号及び第１３／９７５，９１９号、米国特許出願公開第２０１００１５０４３４号、並びに米国特許第７，３５２，８７８号を参照されたい。

【0060】

第２０１４０１４２９５８号に概説されるように、同様の手法が音声信号に対して使用されてもよい。

【0061】

埋込器は堅牢性モデルも計算する。堅牢性モデルの計算は、埋込み位置又は位置の領域に対して検出メトリックを計算することを含んでもよい。手法は、デコーダが位置又は領域でデータ信号をどれくらい十分に復元することができるであろうかをモデル化することである。この手法は、１つ又は複数の復号演算及び復号信号の測定を適用して抽出信号がどれくらい強い又は信頼できるかを判定することを含んでもよい。信頼性及び強度は、抽出信号を既知のデータ信号と比較することによって測定されてもよい。以下に、我々は埋込器内の検出メトリックの候補である数個の復号演算を詳述する。１つの例は、差分関係を利用して雑音及びホスト信号干渉の存在下でデータ信号を復元する抽出フィルタである。符号化のこの段階では、ホスト干渉は、変調ホストに抽出フィルタを適用することによって導出できる。抽出フィルタは、変調ホストからのデータ信号抽出をモデル化し、そしてデータ信号を確実に抽出するために必要とされる差分関係が維持されているかどうかを評価する。そうでなければ、そうであるようにホストの変調が調整される。

【0062】

検出メトリックは、変調ホストとホストの領域における可変若しくは固定データ成分との間の相関の測度として信号強度を測定すること、又は抽出フィルタの出力と可変若しくは固定データ成分との間の相関の測度として強度を測定することなどによって評価されてもよい。位置又は領域での強度測度に応じて、埋込器は、ホスト信号修正の量及び位置を変化させて相関測度を向上させる。これらの変化は、特定のタイル、タイルにおける領域又は変調ホストのビットセルパターン内のデータ信号の差分関係を確立するように特に調整されてもよい。そうするために、埋込器は、差分関係が充足され、そして知覚性のための閾値が充足されるように、差分関係を破るビットセルを調整する。堅牢性制約が優位な場合、埋込器は、必要に応じて知覚性閾値を超過して所望の堅牢性閾値を充足するであろう。

【0063】

堅牢性モデルはまた、変調ホストによって招かれるのを予想される歪みをモデル化し、歪みを変調ホストに適用し、そして検出メトリックを測定して、データ信号が歪みに耐えるであろうように修正の量を調整する上記処理を繰り返してもよい。例えば、画像関連処理については第１４／６１６，６８６号、第１４／５８８，６３６号及び第１３／９７５，９１９号、並びに音声関連処理については第２０１４０１４２９５８号を参照されたい。

【0064】

この変調ホストは次いで、埋込みデータチャネルと共に、出力信号１６２として出力される。組合せの演算は、データ信号がインクの層、グラフィックオーバーレイ又は音声信号などのレンダリング形態に変換され、そして次いで、データ信号が混合される、周囲信号環境を含む同様のホスト信号形態と組み合わされるアナログ領域でも生じてもよい。１つの例は、ディスプレイドライバによって映像ディスプレイの他の映像内容へのグラフィックオーバーレイとして組み合わせられるデータ信号である。別の例は、基材へ材料層として重ね刷りされ、打刻され又はエッチングされるデータ信号であり、基材ではデータ信号は、同様の又は他のマーキング方法によって基材に適用される他の信号と混合されてもよい。更に別の例は、音声信号（例えば、人間の聴覚範囲の境、下端で２０Ｈｚ又は上端で２０ｋＨｚでの）としてのデータ信号の出力であり、データ信号は、サウンドカードで電子的に又は再生されて他の音と混合されると周囲環境で、他の音声と混合される。これらの場合には、埋込器は、歪み及びホスト信号干渉の予測モデルを利用し、そしてデータ信号がより確実に復元されるであろうようにデータ信号強度を調整する。予測モデリングは、雑音源の種類又はホスト信号の種別を分類し、そして信号強度及びデータパターンの構成を雑音源及びホスト信号の種別に対してより信頼できるように適合させる分類器によって実行されることができる。

【0065】

埋込器信号からの出力１６２は、出力の分配又は使用を通じて様々な形態の歪みを典型的に招く。この歪みは、データを確実に復元するために堅牢な符号化及び相補的復号演算を必要とするものである。

【0066】

図２に着目すると、信号デコーダは、被疑ホスト信号２００を受信し、そして被疑ホスト信号を１つ又は複数の処理段階で演算して、データ信号を検出し、データ信号を同期させ、そしてデータを抽出する。検出器は、センサ又は他の形態の信号受信器が信号のアナログ形態を取り込む入力装置と対にされ、そしてアナログデジタル変換器が、デジタル信号処理のために信号をデジタル形態に変換する。検出器の態様が、例えばデータチャネルを雑音に対して絶縁又は増幅しようと試みる前処理フィルタなどのアナログ構成要素として実装されてもよいが、信号デコーダの多くはデジタル信号処理モジュールとして実装される。

【0067】

検出器２０２は、データチャネルの存在を検出するモジュールである。到着信号がデータチャネルを有しないかもしれず、又はデータチャネルを検出できないようにする程歪められているかもしれないので、到着信号は被疑ホストと称される。検出器はプロトコルセレクタ２０４と通信状態にあり、データチャネルを検出するために検出器が使用するプロトコルを受ける。検出器は、被疑信号でプロトコルを検出すること及び／又はホスト信号の属性若しくは他の感知される状況情報に基づいてプロトコルを推論することによって、複数のプロトコルを検出するように構成されてもよい。データ信号の一部分が、データ信号の別の部分のプロトコルを示す目的を有してもよい。そのため、検出器は、プロトコルセレクタ２０４にプロトコル指示信号を提供し返すとして図示される。

【0068】

同期化器モジュール２０６は、到着信号を同期させてデータ抽出を可能にする。同期化は、例えば、ホスト信号への歪みを測定し、そしてその歪みを補償することを含む。この処理は、ホスト信号内の符号化データ要素の位置及び配置を提供する。

【0069】

データ抽出器モジュール２０８は、この位置及び配置並びに対応するプロトコルを受け、そしてホストからデータ信号を復調する。位置及び配置は符号化データ要素の位置を提供する。抽出器は、符号化データ要素の推定値を得て、そして一連の信号復号演算を行う。

【0070】

以下の例で及び援用される文書で詳述されるように、検出器、同期化器及びデータ抽出器は共通演算を共有してもよく、そして幾つかの場合には組み合わされてもよい。例えば、同期のために使用されるデータ信号の一部分の初期検出が候補データ信号の存在を示すので、検出器及び同期化器は組み合わされてもよく、そしてその候補データ信号の同期の判定は、データ抽出器が正しい向き、スケール及び開始位置で抽出フィルタを適用することを可能にする同期パラメータを提供する。同様に、データ抽出器内で使用されるデータ抽出フィルタも、検出器又は同期化器モジュール内でデータ信号の部分を検出するために使用されてもよい。デコーダ構成は、共通演算が反復的に再使用されるデータフローを持って設計されてもよく、又はＲＡＭメモリなどの共有メモリに及びからホストデータの部分処理バージョンを移動させる必要が最小の状態で、ホストデータがデジタル信号演算のパイプラインを通じて効率的に流れるようにパイプラインデジタル論理回路における別々の段階に編成されてもよい。
信号発生器

【0071】

図３は、信号発生器の演算を例示するフロー図である。図におけるブロックの各々は、データ信号構造への入力補助データを変換する処理モジュールを描く。所与のプロトコルに対して、各ブロックは、プロトコルに従って選択される１つ又は複数の処理段階オプションを提供する。処理モジュール３００では、例えば巡回冗長検査、パリティ又は同様の誤り検出メッセージシンボルなどの誤り検出ビットを計算するために、補助データが処理される。同期信号などの、プロトコルを識別し且つ検出を容易にする際に使用される追加の固定及び可変メッセージが、この段階又は後続の段階で追加されてもよい。

【0072】

誤り訂正符号化モジュール３０２は、誤り訂正方法を使用してメッセージシンボルを符号化メッセージ要素（例えば、２値又はＭ値要素）の配列に変換する。例は、ブロック符号、畳込み符号、ターボ符号などを含む。

【0073】

反復符号化モジュール３０４は、先行段階からのシンボルの列を繰り返して堅牢性を向上させる。例えば、ある種のメッセージシンボルが、それらメッセージシンボルをデータチャネルの単位範囲（例えば、更に下記するように、１つの単位範囲がビットセルのタイルである）内の複数の位置にマッピングすることによって、同じ又は異なる率で繰り返されてもよい。

【0074】

次に、搬送波変調モジュール３０６は、前段階のメッセージ要素を取り入れ、そしてそれらメッセージ要素を対応する搬送波信号へ変調する。例えば、搬送波は、等しい数の正及び負の要素を持つ、擬似ランダム信号要素の配列、又は他の波形であり得る。我々は以下に信号構成を更に詳述する。

【0075】

マッピングモジュール３０８は、各変調搬送波信号の信号要素をチャネル内の位置にマッピングする。デジタルホスト信号が提供される場合には、位置はホスト信号内の埋込み位置に対応する。埋込み位置は、ホスト信号が信号エンコーダのメモリ内で表現される１つ又は複数の座標系領域にあってもよい。位置は、空間領域、時間領域、周波数領域又は何らかの他の変換領域での領域に対応してもよい。換言すると、位置はホスト信号特徴のベクトルに対応してもよく、その特徴は特徴内にデータ信号を符号化するために変調される。

【0076】

プロトコル及びこれらのプロトコルの処理段階の様々な詳細な例は、ここで引用によって援用される、我々の米国特許第６，６１４，９１４号、第５，８６２，２６０号及び第６，６７４，８７６号、並びに前に援用した、米国特許出願公開第２０１４０１４２９５８号及び第２０１００１５０４３４号などの、我々の先行の研究に提供される。信号通信プロトコルに関するより多くの背景及びプロトコル間の互換性を管理するための方式は、ここで引用によって援用される米国特許第７，４１２，０７２号に提供される。
信号発生器モジュールオプションの上記説明は、補助データを伝達するために使用される信号の形態が応用の必要性と共に変化することを実証する。本文書の始めに導入したように、信号設計は、必要とされる堅牢性、データ容量及び知覚品質の釣合せを伴う。我々はここで、信号発生方式、並びに特に差分変調を利用する方式、及びホストチャネルにおけるデータ信号の検出、同期及びデータ抽出を容易にするための方式を調査することに着手する。

【0077】

米国特許第６，６１４，９１４号及び第５，８６２，２６０号に詳述される１つの信号通信手法は、ホスト信号の領域によって定義されるチャネル内の疑似ランダム位置に要素をマッピングすることである。例えば、第６，６１４，９１４号の図９を参照されたい。特に、透かし信号の要素は、ブロック（「タイル」と称される）内のサブブロックの配置内の疑似ランダム埋込み位置に割り当てられる。この透かし信号の要素は、図３の段階３０４の実装から出力される誤り訂正符号化ビットに対応する。これらのビットは疑似ランダム搬送波へ変調されて透かし信号要素を生成し（図３のブロック３０６）、透かし信号要素は次いで、サブブロック内の擬似ランダム埋込み位置に割り当てられる（図３のブロック３０８）。埋込器モジュールは、各誤り訂正符号化ビットに対するこれらの擬似ランダム埋込み位置でのホスト信号値を、その誤り訂正符号化ビットに対する変調搬送波信号の対応する要素の値に従って増加又は減少させることによって、透かし信号をホスト信号へ変調する。信号デコーダは、被疑ホスト画像を非線形フィルタリングした後に得られる疑似ランダム位置にわたる証拠を累算することによって各符号化ビットを推定する。

【0078】

この疑似ランダム配置は、データ信号がタイル全体にわたって均一なスペクトルを有するようにデータ信号を拡散する。しかしながら、典型的なホスト画像のエネルギーはＤＣ周辺に集中されるので、この均一なスペクトルは信号通信観点からは最良の選択ではないかもしれない。同様に、高周波成分での補助データチャネルは、ぼやけ又は他の低域通過フィルタリング型歪みによって、他の周波数成分よりも乱される傾向がある。

【0079】

我々はここで、様々な重要な設計因子に関して向上した性能を提供する変調方式の設計に着目する。これらの設計因子は、堅牢性、ホスト信号干渉の軽減、向上した同期能力、最適なデータ容量及び知覚品質を含む。堅牢性については、例えば、我々は、ある種類の歪み（例えば、画像に対する印刷及びスキャン歪み）への堅牢性のために最適化されるパワー分布を持つ補助信号構造を考える。我々は、画像である又は画像に類似するホスト信号の場合に関する例を例示する。しかしながら、これらの方式は、画像内容のためのデータチャネルに限定されない。

【0080】

画像のための変調方式の我々の説明では、我々は、向上したスペクトル特性を持つ信号構造を例示する。実験証拠に基づくと、高低域周波数はカバー画像干渉及びぼやけにより影響されやすいので、高低域周波数より中域周波数が好ましい。印刷及びスキャン実験からの結果は、低信号対雑音状況内で印刷及びスキャン歪みに堅牢であるように構築される電子透かしシステムに対するこれらの変調方式の明らかな利点を示す。
密な差分変調

【0081】

密な差分変調方式では、データ信号の各補助データ信号要素は、接近してまとめられる一組の埋込み位置にマッピングされる。信号要素は、デコーダが復号処理の一部として推定しようと試みることになるデータ信号の基本単位に対応する。差分配置を活用して、デコーダは、これらの接近してまとめられる埋込み位置での差分符号化された一対の信号からこの基本単位の推定値を得る。この方式は、隣接埋込み位置でのホスト信号の値間の予期される相関を利用しようと試みる。基本単位の推定値は、例えば、ホスト信号の隣接する一群の埋込み位置における差分符号化された対のデータ信号間の差を合計することによって導出される。

【0082】

図４は、タイルのサブブロックにおける４×４配置の埋込み位置を例示する。我々は、幾つかの実施形態において、埋込み位置を「ビットセル」と称する。例えば、例として、第５，８６２，２６０号における図４１Ａ〜Ｂを参照されたい。図４の配置では、補助データ信号要素（例えば、変調搬送波信号のビット）は、隣接する一組の２×２埋込み位置（４０２、４０４、４０６、４０８）にマッピングされる。一組における各ビットセルはその水平及び垂直に隣接した近傍と差分関係を有し、その近傍はこの場合には異極性を有する。対角線に沿って、ビットセルは同極性を有する。

【0083】

図４の例を拡張して、図５は、図４の４×４配置のビットセル内に各々差分符号化される４つの異なるデータ信号要素Ａ、Ｂ、Ｃ、Ｄの配置を例示する。この配置は、当然、追加データ信号要素のために同じ配置を繰り返すことによって拡張されてもよい。ホスト画像の空間領域埋込み位置に適用されるこの特定の配置では、中から高周波数が埋込みのために活用されている。この配置は、デコーダが隣接するホスト信号値の相関を利用することを可能にするが、ぼやけに影響されやすいことがある。
疎な差分変調

【0084】

図６は、疎な差分符号化配置の例を例示する。図４と比較して、基本データ信号単位の埋込み位置（６０２、６０４、６０６、６０８）は離間されて、ぼやけ型歪みにより堅牢である信号を形成する。埋込み位置は、埋込み位置の範囲内のホスト信号値の相関を利用するために互いに近接して離間される。

【0085】

基本データユニットが疎な方式では隣接埋込み位置にマッピングされないという事実にもかかわらず、異なるデータ信号要素の埋込み位置をインターリーブすることによって、同じ範囲に対して同じデータ符号化容量が依然達成されることができる。図７は、図６の疎な差分符号化方式を使用するインターリーブされたデータ要素の例を図示する。

【0086】

図８〜１０は、３つの変調パターンの各々に対する周波数スペクトルを描く。図８は、タイルにおける埋込み位置への疑似ランダムマッピングによるデータ信号の周波数スペクトルを描く。図９は、タイルにおける埋込み位置への密な差分マッピング（例えば、図５から）によるデータ信号の周波数スペクトルを描く。最後に、図１０は、タイルにおける埋込み位置への疎な差分マッピング（例えば、図７から）によるデータ信号の周波数スペクトルを図示する。図４〜７のマッピングパターンは、異なるスペクトル特性を有するように拡張及び変更されることができる。

【0087】

信号パターンを設計する際に、追加の設計考慮事項は、幾何学的不変性の他に被疑信号の小さいブロックからデータを確実に復号することができる能力を含む。概して、補助データを小さいパターンに構成することは、幾何学変換により良い不変性を提供する。追加的に、小さい構成は第２の目的を支持する。
知覚品質のための信号設計

【0088】

堅牢性利益に加えて、以上の節で例示した信号パターンは、擬似ランダムマッピング方式などの他の方式を超える知覚品質利益を提供する。画像ベースの信号通信に関しては、人間の目は対角線方向の変調パターンに感応しにくい。したがって、差分変調パターンの対角線的に優位な向きは、人間に目立ちにくい信号通信方式を可能にする。追加的に、利用される信号パターン化は、データ信号が、ホスト画像におけるデータ信号の可視性を低減させるスペクトル特性を有することを可能にする。
同期を容易にする信号設計

【0089】

上記したように、多くの応用に関して、データチャネルは、データチャネルがその歪みに堅牢であるように設計されることを必要とすることになる歪みに直面するのを予想される。画像の場合、信号通信方式はしばしば、並進、回転及び拡大縮小（scale［スケール］）などの幾何学変換に堅牢でなければならない。画像の射影変換は、信号が対象で符号化され、そしてカメラ、スキャナなどで使用される２Ｄ画像センサで取り込まれる応用で課題を提示する。２Ｄセンサアレイが対象から信号を取り込む遠近感を制御することはできず、そのため信号通信方式はある範囲の遠近歪みを扱う必要がある。時間的成分を持つ信号の場合、方式は、音声信号の音高不変の時間スケーリング、並びに他の時間スケーリング及びサンプリング歪みなどの時間的歪みに堅牢でなければならない。

【0090】

同期の必要性は、歪みに本質的に堅牢であるデータ信号通信方式を選択することによって軽減されることができる。例えば、ホストの変調は、幾何学的又は時間的歪み（例えば、空間的又は時間的並進に堅牢なフーリエ振幅係数）に堅牢である領域で行われてもよい。この変調は同期を軽減又は単純化することがある一方で、その変調は、データ容量又は知覚品質の様な信号通信方式の他の能力を制限することがあり得る。結果として、信号通信方式は明示的な同期信号で強化される必要がしばしばあるか、又は黙示的な同期信号を有してもよい。

【0091】

明示的及び黙示的な同期信号の例は、我々の前に引用した特許第６，６１４，９１４号及び第５，８６２，２６０号に提供される。特に、明示的な同期信号の１つの例は、疑似ランダム位相を持ち、被疑信号のフーリエ領域にピークとして現れる一組の正弦波から構成される信号である。例えば、堅牢なデータ信号と併せて同期信号の使用を記載する、第６，６１４，９１４号及び第５，８６２，２６０号を参照されたい。ここで引用によって援用される米国特許第７，９８６，８０７号も参照されたい。

【0092】

ここで引用によって援用される我々の米国特許出願公開第２０１２００７８９８９号は、この種類の構造を持つ埋込み信号を検出し、そしてこれらの方法から回転、スケール及び並進を復元するための追加方法を提供する。

【0093】

黙示的な同期信号の例及びそれらの使用法は、第６，６１４，９１４号及び第５，８６２，２６０号の他に、ここで引用によって援用される、第６，６２５，２９７号及び第７，０７２，４９０号に提供される。

【0094】

我々はここで、同期を容易にするように信号を設計する方法の説明に着手する。小領域又は接近して配置される埋込み位置にデータ信号要素を符号化する手法は、我々が同期及びデータ抽出のために利用する利益を有する。デコーダは、被疑信号の小領域の各々からの検出メトリックを累算する。この手法は領域からの判別統計量を累算する。信号要素を符号化するために使用されるこれらの小領域は、幾何学的歪み、ホスト信号干渉及び雑音を含む、空間的に非定常である信号歪みに大領域より感応しにくい。しかしながら、小領域からの判別統計量は、他の領域からの統計量と比較して大きい分散を有する傾向がある。したがって、我々は、幾何学的歪み不変性を維持し且つ統計的精度を向上させるために、検出器が多くの小領域統計量を組み合わせることを可能にする信号構造を設計する。手法は、検出メトリックをサンプリングする柔軟な形状をサポートする。

【0095】

我々は、我々の同期手法の説明を信号設計の第１の実施形態で始める。図１１は、疎な差分パターンを描く。文字「ａ」は、符号化されている補助信号のデータ信号要素に対応する。より詳細に説明することになるように、同期手法は、黙示的な同期信号（自己同期とも称される）、明示的な同期信号、又は両方の組合せを利用することができる。黙示的な同期信号は、例えば、要素「ａ」などの可変データ搬送要素のパターンによって形成される信号である。明示的な同期信号は、要素の複合パターンの何らかの部分を固定信号専用にすることによって選択されてもよい。

【0096】

図６のパターンと比較して、図１１のパターンはより大きく、データ要素「ａ」の符号化を４×４領域にわたる８つの埋込み位置の配置に拡張している。我々は、より固有の且つ認識できるパターンを提供するためにこの構造を選んだ。

【0097】

図１２は、埋込み位置にマッピングされる追加データ信号要素を図示するために拡張される、図１１の疎なパターンを描く。データ信号要素が１つのメッセージシンボル又はビットに対応する場合には、例えば、図１２は、５×８領域の埋込み位置への８ビットのマッピングを例示する。このパターンは、異なるメッセージシンボルに割り当てられる埋込み位置をインターリーブすることによって全ての利用できる埋込み位置を使用する。

【0098】

パターンの差分配置を利用するために、デコーダは、パターンの差分関係からデータ要素の推定値を抽出するように構成されるフィルタを利用する。フィルタは、各データ要素を符号化している信号間の差分関係を活用することによって、雑音に対するデータ信号の信号対雑音比を増加させる。図１３は、この配置にデータ信号要素「ａ」に関する８つの差分関係があることを例示する。フィルタは、８つの比較を利用してデータ信号の推定値を予測又は再構築する。このフィルタは、同期処理の他にデータ抽出処理にも利用されてもよい。フィルタの形状は、フィルタが信号値をサンプリングする範囲、及び差分関係を活用するためにフィルタが評価する埋込み位置の位置関係に対応する。例えば、フィルタは、差分対における信号値の比較を組み合わせて、ホスト内容を低減させ且つデータ信号を増加させるように設計されてもよい。後に、我々は、様々なフィルタの形態並びにフィルタを表現及び実装する方法を更に詳述する。

【0099】

図１４は、図１１〜１２の信号配置の信号スペクトルを例示する。図１５は、信号スペクトルへの閾値演算を描き、そして図１６は、埋込み後のスペクトルを図示する。これらの図は、検出器が判別することができ、様々な検出方式を使用して同期を容易にする構造をスペクトルが有することを図示する。我々は、我々の特許文献から援用するものに加えて、幾つか注目することになる。

【0100】

図１７は、図１１の配置を使用して符号化される信号を復号する方法を例示するフロー図である。処理モジュール７００では、方法は、この場合には回転及びスケールを含む、初期変換パラメータを近似することによって開始する。このモジュールは、被疑信号を検出のために準備するために被疑信号への前処理演算を含む。これらの演算は、データ信号が符号化されている領域に信号を変換すること、並びに信号をフィルタリングしてホスト及び他の雑音との干渉を低減させることを含む。例えば、データチャネルが特定の解像度及び周波数範囲で１つ又は複数の特定の色チャネルに符号化されていれば、モジュール７００はそのチャネルに信号を変換する。この演算は、雑音及びチャネル外のホスト信号内容を除去するために１つ又は複数のフィルタリング段階を含んでもよい。

【0101】

モジュール７００は、パターン認識方法を活用して符号化信号構造の初期回転及びスケールパラメータを近似する。図１４〜１６に例示したように、符号化信号構造は、信号スペクトルのテンプレートを形成する配置を有する。被疑信号のこのテンプレートの回転及びスケールを近似するために利用されてもよい各種のパターンマッチング方法がある。図１８は、テンプレート（「信号」と標記される）及び被疑信号のフィルタ処理されたスペクトル（「測定」と標記される）がログポーラ（ＬＰ）座標系に変換され、そして相関される１つの種別のそのような方法を例示する。ＬＰ座標系内の相関の最大相関ピークが突き止められる。このピークの位置は、テンプレートの近似回転及びスケールに対応する。

【0102】

画像信号通信のための一実施形態において、モジュール７００は以下を利用する。

【0103】

１．符号化データ信号を保持しつつ画像内容を除去する双方向及びガウスフィルタ、

【0104】

２．空間周波数を推定するグレースケール変換、平均値減算及び２Ｄ ＦＦＴ、

【0105】

３．２Ｄずれを回転及びスケールと等しくする振幅及びログポーラ変換、並びに

【0106】

４．処理アーチファクト及び雑音を除去する振幅クリッピング及びガウスフィルタ。

【0107】

図１７に戻ると、信号抽出モジュール７０２は、回転及びスケールを補償する初期回転及びスケール推定値を使用して補助データ信号の近似値を抽出する。モジュール７０２は、演算子（例えば、補間器）をサンプリングして、初期の回転及びスケールによって修正される、被疑信号内の埋込み位置をサンプリングすることを含む。モジュール７０２は、上記したように信号要素を符号化するために使用される差分関係を利用してデータ信号の推定値を再構築する抽出フィルタも含む。図１９は、初期回転及びスケールで適用されるフィルタパターン（「回転抽出」）の例、再構築されるデータ信号、及びデータ信号のスペクトルを描く。以下に、我々は、特定の差分配置のために設計される抽出フィルタの動作をより詳細に説明する。

【0108】

モジュール７０４は、再構築されたデータ信号にアクセスし、そしてデータ信号をテンプレートに合わせる精密化回転及びスケールパラメータを決定する。モジュール７０４は、データ信号の再構築された推定値からスペクトルを計算する。例示のために、図１９は、近似化データ信号の例及びその信号のスペクトルを図示する。このスペクトルから、モジュール７０２は回転及びスケールのより正確な推定値を得る。特に、再構築されたデータ信号におけるスペクトルピークの位置は、スペクトルピークをテンプレートに合わせる幾何学変換を決定することによって回転及びスケールを決定するために使用される。この処理のために、上記のログポーラ方法、及び／又は前に引用した第２０１２００７８９８９号の最小２乗手法を含め、各種のパターンマッチング技法が使用されてもよい。

【0109】

データを抽出する前に、第２０１２００７８９８９号及び第６，６１４，９１４号に記載されるように、被疑信号におけるタイルの並進の推定値を決定するために、追加の精密化モジュールが含まれてもよい。並進は、被疑信号のタイル内の埋込み位置の座標（例えば、タイルの始まりに対してタイルの始まり及びビットセルの位置）を提供する。並進を復元するために、オーバーサンプリングも使用されてもよい。

【0110】

データ抽出モジュール７０６はここで、精密化幾何学変換パラメータ（精密化回転、スケール及び並進）に基づいてサンプリングされる、タイル内の埋込み位置からデータ系列を抽出する。データ系列抽出は抽出フィルタを適用し、前の通り差分符号化関係を再び利用するが、今回は埋込み位置のより正確な判定を伴う。

【0111】

図２０は、２Ｄ配列の埋込み位置におけるデータ系列のスパイラル符号化を例示する。この種類の符号化は、ＩＤ系列が任意の開始位置から抽出されることを可能にする。位置合わせモジュール７０８は次いで、系列の始まりを決定する。ＩＤ系列を位置合わせするための各種の技法がある。１つの手法は、データ系列の始まりを指定するＩＤ系列における固定ビットパターンを使用することである。別の手法は、系列に復号演算を適用し、そして桁送りして繰り返すことであり、毎回誤りのない系列が検出されるまで、記号列における誤り検出ビットを計算及び検査する。

【0112】

系列復号モジュール７１０は、データ符号化プロトコルに従って、図３のデータ発生器の逆演算を適用する。プロトコルに応じて、この逆演算は、搬送波信号（使用される場合）からビットを復調すること、及び／又はビットセルに対する反復符号化からの推定値を組み合わせて、誤り訂正符号化シンボルのソフト推定値を計算することを含んでもよい。これらのソフト推定値は次いで誤り訂正復号される（例えば、畳込み符号化メッセージのビタビ復号）。復号されたビットは次いで誤りに関して検査される（例えば、固定ビットが正しい系列を有することを確認する、及び／又は誤り検出ビットを計算し、そして誤り検出ビットを符号化誤り検出ビットと比較する）。

【0113】

図６から図１１への経過で最初に描いたように、データ要素を表現するビットセルのパターンを繰り返すことは時には有益である。図２１〜２３は、ビットセル配置の例及び相関性質を例示して反復の利点を強調する。我々はビットセルパターンの反復を「タイリング」と時には称し、その理由は、タイリングが、埋込み領域の座標系における少なくとも１つの次元に沿って互いに隣接した基本ブロックの反復を暗示するからである。タイリングの利益は、少なくとも２、３の方法で明らかにされている。１つの利益は、ビットセルパターンの反復が、様々なパターン検出方法を使用して検出されることができる黙示的な構造を作成することである。例えば、構造は、フーリエ領域、自己相関領域又は何らかの他の変換領域でテンプレートを形成してもよい。別の利益は、反復が相関検出器の効率を上昇させることができることであり、このことを我々は図２１〜２３に例示することになる。最後に、特定の応用内のタイリングの効用は、知覚品質、及び検出器の効率、ホスト信号干渉を軽減すること、及びデータ信号の判別を容易にすることを含め、前に概説した設計考慮事項によって要求される。

【0114】

図２１の左側は、各々４つのメッセージ要素を符号化する２つの４×４タイルを並べて例示する。第１の４×４タイルはメッセージ要素Ａ、Ｂ、Ｃ及びＤを符号化する。第２の４×４タイルはメッセージ要素Ｅ、Ｆ、Ｇ及びＨを符号化する。両４×４タイルとも図７の差分方式を利用する。図２１の右側は、信号のＦＦＴをとることによって計算される、タイルのスペクトルを描く。

【0115】

差分符号化をホスト抑制のために利用するために、デコーダは、各メッセージ要素に対する差分符号化されたビットセルを比較するフィルタを利用する。このフィルタは、検出、同期及びメッセージ抽出演算のために利用されてもよい。フィルタ演算は、図６の左上３×３ビットセルのパターンを有する信号が埋込み領域に変換された後に、その信号を被疑信号で畳み込むことによって実装されてもよい。このフィルタは、

【数1】

として表されてもよい。

【0116】

例示のためにデコーダがデータ信号と位置合わせされると仮定すると、このフィルタをこの信号で畳み込む処理は、３×３フィルタ中心が２つのタイル内の丸付き位置に位置付けられるときに有効な相関をもたらすことになる。有効な相関は、３×３フィルタパターンがデータ要素（タイル１内のＡ、Ｂ、Ｃ又はＤ、及びタイル２内のＥ、Ｆ、Ｇ又はＨ）のための３×３パターンのビットセルの位置と一致する場合である。フィルタが各４×４タイルの境界でビットセルに位置付けられると、フィルタは異なるメッセージ要素をサンプリングし、無効な相関をもたらす。したがって、図２１の配置では、タイル当たり１６のうち４つの有効な相関を持つ埋込み位置がある。このフィルタの出力は、検出及び同期を容易にするためにタイル全体にわたって、及び各メッセージ要素の値の証拠を集計するためにメッセージ要素の位置にわたって、集計されてもよい検出メトリック（例えば、相関の測度）を提供する。

【0117】

図２２は、４つのメッセージ要素Ａ、Ｂ、Ｃ及びＤが８×８タイルにわたって繰り返されること以外は、図２１と同様である。図２２における各要素の反復は、図２１と比較して２倍になった。ＦＦＴで計算される、対応するスペクトルは図２２の右側に図示される。この倍加は、堅牢性及び判別を上昇させるが、データ容量を減少させる。同じ３×３フィルタで畳み込まれると、６４のうちの３６の有効な相関を持つ埋込み位置がある。

【0118】

非相関タイル境界は、低相関線の格子の形成に基づいて同期のために使用されることができる。この格子の線は、本明細書に記載されるパターン検出方法を使用してタイルの位置合わせを判定するために使用されてもよいテンプレートを形成する。

【0119】

図２３は、タイル内のパターン配置の別の例を図示して、多くの他の可能なビットセルパターン及びタイリング配置があるという点を例示する。各メッセージ要素Ａ、Ｂ、Ｃ又はＤのためのビットセルパターンは、異なる配置でインターリーブ及び配向されてもよく、及び異なる率で繰り返されてもよい。メッセージ要素の幾つかは、メッセージ要素が非相関境界を生成しないようにタイル境界にわたって繰り返されてもよい。

【0120】

差分配置の数例及びデコーダにおいて差分配置を利用するフィルタを例示したが、我々はここで、デコーダ演算を更に探究する。図４及び６の信号パターンは差分信号カーネルに対応する。図４は密な差分カーネルを描き、そして図４と比較して、図６は疎な差分カーネルを描く。これらの２×２及び３×３信号カーネルは、データが専らタイル内の局所レベルで復元される場合、雑音及び偽陽性相関に影響されやすい。デコーダは、多くの小領域統計量からの情報を組み合わせて、タイルより大きい被疑信号のより大きい部分に対する合成信号メトリックを得ることによって、信号回復の堅牢性を向上させる。

【0121】

我々は、受信器動作特性（ＲＯＣ）を測定することによって我々の信号通信システムの効果を調査した。図２４は、固定及び可変ビット信号通信方式に対する二組のＲＯＣ曲線プロットを、一方を−１０ｄＢの信号対雑音比（ＳＮＲ）で且つ他方を−３０ｄＢのＳＮＲで例示する。ＲＯＣ曲線は、多様な信号通信システムの性能を比較するために頻繁に使用される。ＲＯＣ曲線は、信号と雑音との間を区別することができる能力を示す特定の受信器の真及び偽陽性検出トレードオフを図示する。ＲＯＣ曲線が左及び上軸に近い程、受信器は信号と雑音との間をより十分に区別することができる。対角ＲＯＣ曲線（線）は、受信器が信号と雑音を区別することができないことを示す。いかなるシステムでも、雑音の強度が増加するにつれて、我々はＲＯＣ曲線が対角線により近く移動するのを予期する。

【0122】

我々はここで、自己同期差分（ＳＳＤ）方法のＲＯＣ特性を固定信号同期方法と比較することに興味がある。我々は、全てのビットが独立して変化するようにされる場合、最高で４０９６／４＝１０２４ビットを搬送することができる６４×６４ビットセル範囲にわたるＳＳＤペイロードから始める。我々は、未知のビットを持つＳＳＤタイルを全てのビットが既知であるＳＳＤタイルと比較する。この比較は、既知のデータが受信器での信号回復にどれくらい影響を与えるかを我々に示すことになる。我々は実験ではカバー信号（例えば、カバー画像）を使用せず、そして受信器は雑音によって損なわれる純データタイルを処理する。

【0123】

可変ビットＳＳＤ透かしに対して、受信器は、雑音の多い信号ブロックを以下の差分カーネル

【数2】

で畳み込む。

【0124】

ここで、ｄ_１は、データを埋め込むために使用される差分カーネルである。受信器は次いで、以下の通り各埋込み可変ビットで２値相関ｃ_ｉを計算し、

【数3】

【0125】

ここで、ａ_ｉは２値ペイロードビットｂ_ｉに対応する被疑信号ブロックであり、そして我々は、

【数4】

シンボルを使用して畳込み演算を表現した。信号メトリックは、個々のビット相関を合計することによって得られる全体のブロック相関である。

【0126】

第２の差分カーネルｄ_２は、被疑信号をフィルタリングして、チャネルにおける雑音（カバー信号からの潜在的干渉を含む）に対する可変信号の抽出を向上させる追加手段を提供するためのただ１つのオプションを表現する。

【0127】

固定／既知データビットｂ_ｉの場合には、受信器は、以下の通り個々の相関を計算し、

【数5】

【0128】

そして信号メトリックは、これらの個々のビット相関を合計することによって得られる。

【0129】

図２４は、まさに記載した受信器実装のための可変及び固定ビットＳＳＤ方法に対するＲＯＣ曲線を、左に−１０ｄＢ及び右に−３０ｄＢの２つの異なるＳＮＲレベルで図示する。図２４は、両プロットにおいて信号と雑音との間の判別無しの限定する場合も対角線によって図示する。左プロットの固定ビットＳＳＤ ＲＯＣ曲線は、同曲線がｙ軸と一致するので見にくいが、−１０ｄＢで信号と雑音との間の完全な判別を示す。右プロットで、可変ビットＳＳＤ信号通信方法は対角ＲＯＣ線と略一致するが、−３０ｄＢで信号と雑音との間の判別無しを示す。左プロットの−１０ｄＢ ＳＮＲで、可変ビットＳＳＤ方法に対するＲＯＣ曲線は、右プロットに図示される−３０ｄＢでの固定ビットＳＳＤ方法に対するＲＯＣ曲線に一致する。この一致は、固定ビットＳＳＤが可変ビットＳＳＤ方法の２０ｄＢ下の雑音レベルで検出されることができることを示す。このレベル差は堅牢性の大きな差のように見えるかもしれないが、この比較は、デコーダがデータ信号と同期されている場合に限定される。

【0130】

実際には、デコーダは、まずデータ信号を同期させる、例えば、メッセージ信号抽出に加えて位置合わせパラメータ（例えば、画像のための幾何学変換パラメータ）を決定しなければならない。これらの追加要因が固定及び可変ＳＳＤ信号通信方法間の堅牢性差を低減させることがあることがあり得る。また、更なる調査がＳＳＤ信号のためのより良い信号回復方法を見出してもよく、そのような方法は信号のＲＯＣ特性を向上させる。

【0131】

以上、我々は、埋込み位置の変換を決定するための様々な同期方法を説明した。ここで、我々は追加種別の方法を説明する。埋込みＳＳＤパターンの回転バージョンである２値パターンを使用してホスト信号干渉を推定する方法は、同じパターンの更なる回転及びスケールバージョンを含むように拡張されることができる。そのような手法では、デコーダは、被疑画像にこれらのフィルタの対を適用してベクトル信号メトリック又は特徴ベクトルを生成することから、信号メトリックを計算する。これらの特徴ベクトルは、ランダムに選ばれる純データタイルの様々な回転及びスケールに対して計算される。特徴ベクトルはデータの統計的特性を追跡するので、特徴ベクトルは非常に安定しており且つ選ばれたデータタイルから独立している。

【0132】

この方法の改良は、ランダムデータタイルの複数のサンプルにわたる平均化特徴ベクトルを計算することである。次いで、未知の回転及びスケールを持つ埋込み画像に対して、デコーダは、特徴ベクトルを計算し、そしてその特徴ベクトルを予め計算された特徴ベクトルのリストに対して相関させる。最大相関を持つベクトルに対応する回転及びスケールが、画像変換のための推定値を提供する。

【0133】

特徴ベクトル計算に使用されるテンプレートの例は以下の通りである。

【数6】

【0134】

この例示では、１２の相関パターンがあり、メトリック計算でこれら相関パターンの対を選んだ結果は、

【数7】

の一対メトリックとなり、こうして特徴ベクトルは、画像のあらゆる回転及びスケールに対応する６６のパラメータを有する。回転及びスケールパラメータが変化するにつれて、特徴ベクトルパラメータが平滑に変化すると認められるので、パラメータ空間の離散サンプリングは、デコーダがサンプリング格子間にあるパラメータを推定することを可能にする。

【0135】

回転及びスケールパラメータを識別する際の特徴ベクトルの効果を測定するために、我々は特徴ベクトルの混同行列を計算するが、混同行列は異なる回転及びスケールでの特徴ベクトル間の相関である。混同行列が略対角であれば、このことは、特徴ベクトルが無相関であり、そして回転及びスケールパラメータを正確に推定するために使用されてもよいことを意味する。混同行列が略均等な値であれば、このことは、特徴ベクトルが高相関され、そして一対の回転及びスケールパラメータを別の対から区別することができないことを意味する。

【0136】

我々は、マトラボ（Ｍａｔｌａｂ）ベクトル表記法で、０：１０：９０度の回転ステップ及び０．５：０．１：１．５のスケールステップにわたってデータタイルを掃引した。各特徴ベクトルは、ゼロ平均及び単位分散を有するように正規化された。全部で、我々は各々長さ６６の１１０の特徴ベクトルを得た。混同行列は、正方配列に配置される全ての対の特徴ベクトルをたすき掛けすることによって得られる。この行列の対角線上の相関値は行列で最高値であり、且つ相関値自体との各特徴ベクトルの相関を表し、且つ正規化のため１に等しくなければならない。我々は、計算した特徴ベクトルを持つ混同行列が略対角であり、且つ埋込みパターンが９０度回転対称を有したために予想されるように、９０度間隔であった相関ベクトルが高相関されたことを見出した。

【0137】

我々は、純データ信号から得られる混同行列をホスト画像に埋め込まれたデータ信号に対して得られる混同行列と比較した。我々は、オクタクシス（ｏｃｔａｘｉｓ）と呼ばれる予測フィルタを適用してホスト信号干渉を抑制し、そして同じスケール及び回転を通じて掃引する前に特徴ベクトルを計算した。更に予測フィルタについては、ここで引用によって援用される、我々の米国特許第７，０７６，０８２号及び第８，６８７，８３９号を参照されたい。混同行列は、純データタイルで得られる行列と同様である。このことは、純データタイルに対して計算される特徴ベクトルが、画像などのカバー信号に埋め込まれるデータ信号の回転及びスケールパラメータを推定するために使用されてもよいことを示唆する。

【0138】

我々は、疎な差分メッセージペイロードが埋め込まれる画像のスキャンでこの方法を試験した。我々の試験は、特徴ベースの方法が疎な差分ペイロードのみに基づいて変換を復元することができ、且つ別個の同期信号を必要としないことを示した。
直交差分パターン

【0139】

以上に実証したように、透かし信号を埋め込みつつ、平滑度及び通例出現するカバー信号特徴（例えば、画像内容内の線及び縁又は音声の時間的に隣接したフレームの周波数スペクトルなどの）を利用することは有益である。我々の信号抽出フィルタは、この手法を使用してホスト信号変動を相殺／抑制する。１つのそのようなフィルタは、上記したように、オクタクシスフィルタである。オクタクシスは、ビットセルを８つの近傍と比較して比較値（例えば、正の差に対して＋１、−１又は負の差）を提供し、そして比較値を合計する。異なる近傍の配置及び重みが、異なる機能に従ってフィルタを成形するために適用されてもよい。別の１つは十字フィルタであり、本明細書に前に援用した米国特許第６，６１４，９１４号に記載されるように、着目したサンプルが水平近傍及び垂直近傍の平均と比較される。

【0140】

データ信号が差分埋め込みされると、フィルタ出力は更に強調される。

【0141】

差分変調のための基本カーネルは、図４で導入される２×２行列である。

【数8】

【0142】

しかしながら、このカーネルはぼやけ及びサンプリングオフセットに影響されやすい。図６で導入されるように、カーネルの拡張バージョンが実際にはより適することがある。

【数9】

【0143】

これらのカーネルは、文字の各々が各カーネルによって埋め込まれるデータを表す、図７に図示される非重複様式でタイルビットセルに使用されてもよい。エンコーダは、チャネルの埋込み領域における１６の埋込み位置毎に４つのメッセージ要素（Ａ、Ｂ、Ｃ、Ｄ）を埋め込む。この様式は、メッセージ要素をビットとして、４／１６＝．２５ビット／埋込み位置の埋込み効率を我々に与える。

【0144】

我々が差分埋込みパターン間の重複を許容すれば、埋込み効率は向上されることができる。例えば、２つのゼロ平均直交ベクトルの積によって生成される差分埋込みパターンを考える。

【数10】

我々は、

【数11】

を得ることになる。

【0145】

ｕｕ^Ｔのための行列が我々が先に導入したのと同じ差分カーネルであることに留意されたい。我々は次いで、以下の通り３×３配置の埋込み位置に４つのビットＡ、Ｂ、Ｃ、Ｄを埋め込んでもよい。
Ｘ＝Ａｕｕ^Ｔ＋Ｂｕｖ^Ｔ＋Ｃｖｕ^Ｔ＋Ｄｖｖ^Ｔ

【0146】

この埋込みは、９つの埋込み位置のうち４＝０．４４ビット／埋込み位置の埋込み効率をもたらす。個々のデータを抽出するために、デコーダは、２つの基底ベクトルｕ^Ｔｖ＝０の直交性質を使用する。例えば、ビットＢを抽出するために、デコーダは、そのビットを符号化するために使用される埋込みベクトルに基づいて抽出フィルタを適用する。フィルタ演算は、ｕ^ＴＸｖ＝Ｂｕ^Ｔｕｖ^Ｔｖ＝Ｂ｜｜ｕ｜｜^２｜｜ｖ｜｜^２、したがってＢ＝ｕ^ＴＸｖ／｜｜ｕ｜｜^２｜｜ｖ｜｜^２として表されてもよい。同様に、Ａ＝ｕ^ＴＸｕ／｜｜ｕ｜｜^４など。

【0147】

差分埋込みでは、エンコーダは、埋込み位置でのホスト信号値（例えば、画像の画素値、画像、音声又は映像の変換領域係数など）の一対差にデータ要素を埋め込む。ベクトルｕ及びｖがゼロ平均であるので、データを抽出することは、いかなる平滑なホスト信号変動もゼロにする。したがって、我々は、この埋込み処理を、一対差分埋込みの汎化として見てもよい。

【0148】

埋込みベクトルｕ及びｖの１つの欠点は、ベクトルｕがそのサポートにゼロを有することである。したがって、埋込みパターンは全ての潜在的埋込み位置を網羅するわけではなく、結果として堅牢性の損失になることがある。同じ性質を充足し且つ非ゼロサポートも有する代替ベクトルの１つの例は、一対

【数12】

である。我々は埋込み効率を向上させたので、我々はビットの一部を利用して同期のための基準パターンを埋め込んでもよい。

【0149】

図２５は、抽出フィルタを適用することによって得られるフィルタ処理されたデータ信号の例を例示する。我々が４つのビットのうちの１つのみ、即ちＸ＝Ａｕｕ^Ｔを埋め込めば、我々は抽出中に、図２５に図示されるパターンを得る。図２５は、いかなるホスト信号内容もない純データ信号Ｘ＝Ａｕｕ^Ｔに対するフィルタ処理された画像のサブプロットを図示する。図２５を調べると、埋込みデータに対応する抽出フィルタが、左上のサブプロットに見られるようにデータ位置でピーク（明るいセル）を生成する一方で、その他のフィルタは、干渉するホスト信号内容が全くないので、データ位置で純ヌル（黒いセル）を生成することに気づくであろう。特に、フィルタｖｖ^Ｔに対するヌル（右下のサブプロットに図示される）は、交点が埋込みデータに対応する正方格子を生成する。

【0150】

ヌルのパターンは、幾何学的に歪められたホスト信号におけるデータを読み取るためのガイドとして使用されてもよい位置合わせパターン又はテンプレートを形成する。そのため、前述したテンプレートマッチング方法の変形が、デコーダをデータ信号と同期させるために使用されてもよい。１つの方法は、

【0151】

１．被疑信号にフィルタを適用する（例えば、フィルタカーネルが以上詳述したように埋込みベクトルに基づくとして、フィルタカーネルを被疑信号で畳み込む）、

【0152】

２．ヌルを検出してヌルの検出パターンを得る、

【0153】

３．テンプレートとヌルの検出パターンとの間の最良適合を提供する回転及びスケールを決定することによって向きの粗候補を近似する、

【0154】

４．候補回転及びスケールでフィルタを再適用し、そして上記のように候補を精密化する、ことであろう。

【0155】

別の方法は、候補向きでフィルタカーネルを適用し、そして最強合成検出メトリック（例えば、タイル全体にわたって相関メトリックを合計することによって相関測度を集計する）を生成する候補向きを選択することである。

【0156】

データ信号が、画像などのホスト信号内容内に埋め込まれると、被疑信号へのこれらのフィルタの適用は、完全なヌルを持つフィルタ処理された出力信号をもはや提供しない。しかしながら、ヌルに対応する極小値が依然ある。図２６は、透かし入り画像の例に続いて、透かし入り画像に抽出フィルタを適用することによって生成される出力のサブプロットを提供する。また、埋込みデータ信号はＸ＝Ａｕｕ^Ｔである。ホスト及びデータ信号の混合は、図２５と比較してこれらのサブプロットに描かれる影響を有する。データ信号のためのビットセルはもはや明るくなく、そしてヌルの位置はここでは、純ヌルの代わりに、最小限である。先に導入したように、埋込器モジュールは、Ｂ、Ｃ及びＤチャネルのデータをホスト信号内容を相殺し且つ同期ヌルを強調するように更に適合させてもよい。差分関係は、差分対合の埋込み位置でのホスト信号への修正の量を調整することによって調整されてもよい。

【0157】

エンコーダがより多くのデータを埋め込む場合、我々は正方メッシュを見るのではなく、埋め込まれていない次元のヌルのみを見る。図２７は、Ｘ＝Ａｕｕ^Ｔ＋Ｂｕｖ^Ｔ＋Ｃｖｕ^Ｔに対応するフィルタ処理された透かし信号を図示し、Ｄチャネルのみ埋め込まれていない。フィルタ処理された画像は、Ａ、Ｂ及びＣチャネルの各々ではデータを及びＤチャネルではヌルのみを図示する。ここで、我々は円を重ねてデータ位置を図示したが、その理由は、データ位置がフィルタ処理されたデータにおける局所ピークに対応しないからである。

【0158】

いかなる大きさの差分埋込みパターンも作成するための一般的手順がある。ランダム行列の特異値分解（ＳＶＤ）を計算することはランダム直交行列を生成する。より良いホスト信号抑制を可能にする差分変調に関して、我々は、列がゼロ平均を有するという追加性質を望む。このことは、ベクトルが全て１ベクトル１^Ｔｕ＝０、ここで１^Ｔ＝［１，１，．．．，１］に直交であると言うことに同等である。したがって、第１の列が全て１ベクトル１であるいかなる直交行列でも十分であろう。我々は、ランダム直交行列を得て、そしてその行を各行における第１の要素で割って、そのような行列を得てもよい。

【数13】

【0159】

ランダム直交行列がゼロを有するであろうことは極めて可能性が低いので、ゼロ除算確率は無視できる。

【0160】

いかなる大きさの差分直交ベクトルも得るより系統的方法は、直交基底関数を使用することである。１つのそのような例はＤＣＴ基底である。最初の数ＤＣＴ基底は、

【数14】

である。

【0161】

ＤＣＴ（３）に対応する基底が我々が先に論じたパターンを発生するために使用されるものと同じであることに留意されたい。データ信号発生は、ＤＣＴ基底に任意の角度を持つ回転行列を適用して、同じ大きさの他の直交行列を発生してもよい。

【0162】

埋込み容量が優先事項であれば、直交差分変調手法は以下の通りに適合されてもよい。ゼロ平均に制限されてなければ、データ信号発生は、基底としていかなる直交行列から始めても、そしてＮ×Ｎサポートを持つＮ^２重複パターンを得てもよいので、埋込み効率は１ビット／埋込み位置である。

【0163】

信号発生は、１^Ｔ１パターン、即ち正方全て１パターンを除く全てのパターンを使用することができる。埋込み効率は（Ｎ^２−１）／Ｎ^２＝１−１／Ｎ^２であり、大きなＮの場合１ビット／画素に接近する。Ｎ＝２の場合、例えば、我々は、以下の重複埋込みパターンを使用して３／４＝０．７５ビット／埋込み位置を埋め込むことができる。

【数15】

【0164】

我々は、同期信号を透かし信号のヌルに限定する必要はない。我々はデータチャネルのサブセットを予約して、擬似ランダム位相を持つ正弦波の集合などの明示的な基準信号を搬送してもよく、そして他のデータチャネルはホスト抑制のために使用されてもよい。

【0165】

我々は埋込みパターンを発生する際の多くの自由を有するので、我々は特定の種別の画像に適切な基底を選んでもよい。ＤＣＴは最も一般的な種別の画像のための基底である。線画画像などの特殊な種別の画像に対しては、我々はより特定の基底の使用を見つけてもよい。

【0166】

例えば、一種別の画像のための特定の基底は、カルーネンレーベ定理及び変換（ＫＬＴ）の原理又は主成分解析（ＰＣＡ）の原理を適用することによって導出されてもよい。
例証的な実施形態
一般的な符号化方法

【0167】

１．０（Ａ）メディア要素の配列を表す電子ホストメディア信号内に透かし信号をステガノグラフィ符号化する方法であって、メディア要素の各々がメディア要素値によって特性化されており、

【0168】

各々変調値を割り当てられる一組の変調要素によって特性化される第１の変調カーネルを得るステップであり、第１の変調カーネルが、第１のベクトル並びに第１のベクトル及び第１のベクトルに直交する第２のベクトルから成る群から選択されるベクトルの第１の外積を得ることを含む処理によって得られる行列を表しているステップと、

【0169】

メディア要素の第１の組に対するメディア要素値が、第１の変調カーネルにおける対応する変調要素に割り当てられている変調値に従って変調されるように、ホストメディア信号の部分を第１の変調カーネルに基づいて変更するステップとを含む方法。

【0170】

例えば、第１のベクトルが

【数16】

且つ第２のベクトルが

【数17】

であれば、第１の外積は

【数18】

であり得る。そこで、埋込みカーネルは

【数19】

、

【数20】

又は

【数21】

によって得られることができ、ここでは各カーネル要素の値は変調値である。
１．１ 第１のベクトルがゼロ平均ベクトルである、実施形態１．０（Ａ）の方法。
１．２ 第１のベクトルが非ゼロ平均ベクトルである、実施形態１．０（Ａ）の方法。
１．３ 第１のベクトルが２値係数から成っている、実施形態１．０（Ａ）〜１．２のいずれか１つの方法。

【0171】

第１のベクトルの係数は２値（即ち、１、０又は−１）である必要はない。係数はいかなる実数も含むことができる。
１．４ 第１のベクトルが少なくとも１つの非ゼロ係数から成っている、実施形態１．０（Ａ）〜１．３のいずれか１つの方法。
１．５ 第１のベクトルが少なくとも１つのゼロ係数から成っている、実施形態１．０（Ａ）〜１．４のいずれか１つの方法。
１．６ 第１のベクトルが非ゼロ係数から成っている、実施形態１．０（Ａ）〜１．５のいずれか１つの方法。
１．７ 第１の外積を得ることが第１のベクトル及び第１のベクトルの外積を得ることを含んでいる、実施形態１．０（Ａ）〜１．６のいずれか１つの方法。
１．８ 第１の外積を得ることが第１のベクトル及び第２のベクトルの外積を得ることを含んでいる、実施形態１．０（Ａ）〜１．７のいずれか１つの方法。
１．９ 第２のベクトルがゼロ平均ベクトルである、実施形態１．８の方法。
１．９．１ 第２のベクトルが非ゼロ平均ベクトルである、実施形態１．８の方法。
１．１０ 第１の変調カーネルを得るステップが、
第１のベクトル及び第２のベクトルの、第１の外積と異なる第２の外積を得ることと、
得られた外積を集計することとを更に含んでいる、実施形態１．０（Ａ）〜１．９．１のいずれか１つの方法。

【0172】

追加は項目毎になされる。

【0173】

例えば、第１の外積（第１の「前駆カーネル」）＝Ａｕｕ^Ｔ、且つ第２の外積（第２の「前駆カーネル」）＝Ｂｕｖ^Ｔであれば、対応する埋込みカーネルはＸ＝Ａｕｕ^Ｔ＋Ｂｕｖ^Ｔである。
１．１１ 第１の変調カーネルを得るステップが、
第１のベクトル及び第２のベクトルの、第２の外積と異なる第３の外積を得ることと、
得られた外積を集計することとを更に含んでいる、実施形態１．１０の方法。

【0174】

例えば、第１の外積＝Ａｕｕ^Ｔ、且つ第２の外積＝Ｂｕｖ^Ｔ、且つ第３の外積＝Ｃｖｕ^Ｔであれば、対応する埋込みカーネルはＸ＝Ａｕｕ^Ｔ＋Ｂｕｖ^Ｔ＋Ｃｖｕ^Ｔである。
１．１２ 第１の変調カーネルを得るステップが、
第２のベクトル及び第２のベクトルの第４の外積を得ることと、
得られた外積を集計することとを更に含んでいる、実施形態１．０（Ａ）〜１．１１のいずれか１つの方法。

【0175】

例えば、第４の外積＝Ｄｖｖ^Ｔであれば、埋込みカーネルはＸ＝Ａｕｕ^Ｔ＋（任意選択で、Ｂｕｖ^Ｔ及び／又はＣｖｕ^Ｔ）＋Ｄｖｖ^Ｔである。
１．１３ 第１の変調カーネルを得るステップが、
第３のベクトル並びに第１のベクトル及び第２のベクトルから成る群から選択されるベクトルの第５の外積を得ることであり、第３のベクトルが第１のベクトルに直交していることと、
得られた外積を集計することとを更に含んでいる、実施形態１．０（Ａ）〜１．１２のいずれか１つの方法。
１．１４ 第３のベクトルが第２のベクトルに直交している、実施形態１．１３の方法。
１．９．２ 第１のベクトル、第２のベクトル及び第３のベクトルから成る群から選択される少なくとも１つのベクトルがＤＣＴ基底関数のための基底ベクトルである、実施形態１．８の方法。
１．０（Ｂ）メディア要素の配列を表す電子ホストメディア信号内に透かし信号をステガノグラフィ符号化する方法であって、メディア要素の各々がメディア要素値によって特性化されており、
一組の変調要素によって特性化される第１の変調カーネルを得るステップであり、第１の変調カーネルが直交行列を表すように各変調要素に変調値が割り当てられているステップと、
メディア要素の第１の組に対するメディア要素値が、第１の変調カーネルにおける対応する変調要素に割り当てられている変調値に従って変調されるように、ホストメディア信号の部分を第１の変調カーネルに基づいて変更するステップとを含む方法。
１．１ 第１の変調カーネルを得るステップが、

【0176】

初期行列を得ることと、

【0177】

初期行列の特異値分解（ＳＶＤ）を計算し、以て分解行列を得ることとを含んでいる、実施形態１．０（Ｂ）の方法。
１．２ 初期行列の要素がランダム又は疑似ランダム行列である、実施形態１．１の方法。
１．３ 初期行列の要素が非ゼロ値から成っている、実施形態１．１〜１．２のいずれか１つの方法。
１．４ 第１の変調カーネルを得るステップが、分解行列の各行に対して、行における各要素を行における第１の要素で割ることを更に含んでいる、実施形態１．３の方法。
１．０（Ｃ）メディア要素の配列を表す電子ホストメディア信号内に透かし信号をステガノグラフィ符号化する方法であって、メディア要素の各々がメディア要素値によって特性化されており、
一組の変調要素によって特性化される第１の変調カーネルを得るステップであり、第１の変調カーネルが、次数Ｎで、Ｎが３以上の正方ゼロ平均行列を表すように各変調要素に変調値が割り当てられているステップと、
メディア要素の第１の組に対するメディア要素値が、第１の変調カーネルにおける対応する変調要素に割り当てられている変調値に従って変調されるように、ホストメディア信号の部分を第１の変調カーネルに基づいて変更するステップとを含む方法。

【0178】

ゼロ平均行列は、ゼロの平均値を持つ行／列を有する行列を意味する。
１．１ 第１の変調カーネルが非直交行列を表している、実施形態１．０（Ａ）又は１．０（Ｃ）の方法。
１．２ 第１の変調カーネルが非ゼロ平均行列を表している、実施形態１．０（Ａ）又は１．０（Ｂ）の方法。
１．２．１ 第１の変調カーネルが少なくとも１つのゼロ平均列を有する行列を表している、実施形態１．２の方法。
１．２．２ 第１の変調カーネルが複数のゼロ平均列を有する行列を表している、実施形態１．２の方法。

【0179】

第１レベルデータカーネル−１ビット
２． 補助データを得るステップと、
補助データの少なくとも１つの第１のビットを第１の変調カーネルと関連付けることによって補助データをホストメディア信号に符号化するステップとを更に含んでいる、上記実施形態のいずれか１つの方法。
２．１．補助データの少なくとも１つの第１のビットを第１の変調カーネルと関連付ける行為が、
一組の変調要素によって特性化されるデータカーネルを得ることであり、データカーネルの変調要素に変調値が割り当てられていることと、
補助データの少なくとも１つの第１のビットを変調要素の第１のサブセットと関連付けることとを含んでおり、
第１の変調カーネルを得る行為が、補助データの少なくとも１つの第１のビットと関連付けられている変調要素の第１のサブセットを有するデータカーネルを第１の変調カーネルとして設定することを含んでいる、実施形態２の方法。
２．２ データカーネルが２値係数から成っている、実施形態２．１の方法。

【0180】

２値係数は−１、０又は１である。代替的に、データカーネルは非２値係数を含むことができる。

【0181】

第２レベルデータカーネル−マルチビット
３．補助データの少なくとも１つの第２のビットを第１の変調カーネルと関連付けることによって補助データをホストメディア信号に符号化するステップを更に含んでいる、実施形態２又は２．１の方法。
３．１．補助データの少なくとも１つの第２のビットを第１の変調カーネルと関連付ける行為が、補助データの少なくとも１つの第２のビットをデータカーネルの変調要素の第２のサブセットと関連付けることを含んでおり、
第１の変調カーネルを得る行為が、補助データの少なくとも１つの第１のビット及び補助データの少なくとも１つの第２のビットとそれぞれ関連付けられている第１及び第２のサブセットを有するデータカーネルを第１の変調カーネルとして設定することを含んでいる、実施形態３の方法。
３．２．第１のサブセットが第２のサブセットにも含まれている少なくとも１つの変調要素を含んでいる、実施形態３．１の方法。
３．３．第１のサブセットが第２のサブセットには含まれていない少なくとも１つの変調要素を含んでいる、実施形態３．１又は３．２の方法。
３．４．第１のサブセットが第２のサブセットに含まれている変調要素を全く含んでいない、実施形態３．３の方法。
３．５．第１のサブセットの変調要素に割り当てられている変調値が、第２のサブセットの変調要素に割り当てられている変調値によって形成される第２のデータ変調パターンに空間的に直交する第１のデータ変調パターンを形成している、実施形態３．１〜３．４のいずれか１つの方法。
３．７ データカーネルがゼロ平均行列を表している、実施形態２．１〜３．５のいずれか１つの方法。
３．８ データカーネルが非ゼロ平均行列を表している、実施形態２．１〜３．５のいずれか１つの方法。
３．８．１ データカーネルが少なくとも１つのゼロ平均列を有する行列を表している、実施形態３．８の方法。
３．８．２ データカーネルが複数のゼロ平均列を有する行列を表している、実施形態３．８の方法。

【0182】

第３レベルデータカーネル−多様なデータカーネル
４．一組の変調要素によって特性化される第２の変調カーネルを得るステップであり、一組における各変調要素が変調値を割り当てられているステップと、
メディア要素の第２の組に対するメディア要素値が、第２の変調カーネルにおける対応する変調要素に割り当てられている変調値に従って変調されるように、ホストメディア信号の部分を第２の変調信号に基づいて変更するステップとを更に含んでいる、実施形態１．０〜３．８．２のいずれか１つの方法。

【0183】

第１の変調カーネルと同様に、第２の変調カーネルは、複数の直交ベクトルの外積に対応する行列、直交行列、ゼロ平均行列等、又はそれらのいずれかの組合せを表すことができる。
５．第２の組のホストメディア要素が第１の組のホストメディア要素には含まれていない少なくとも１つのメディア要素を含んでいる、実施形態４の方法。
６．第２の組のホストメディア要素が第１の組のホストメディア要素に含まれているメディア要素を全く含んでいない、実施形態６の方法。
７．補助データの少なくとも１つの第３のビットを第２の変調カーネルと関連付けることによって補助データをホストメディア信号に符号化するステップを更に含んでいる、実施形態４〜６のいずれか１つの方法。
７．１ 補助データの少なくとも１つの第１のビットが補助データの第１のビットと関連付けられていない、実施形態７の方法。
７．２．補助データの少なくとも１つの第３のビットを第２の変調カーネルと関連付ける行為が、補助データの少なくとも１つの第３のビットをデータカーネルの変調要素の第３のサブセットと関連付けることを含んでおり、
第２の変調カーネルを得る行為が、補助データの少なくとも１つの第３のビットと関連付けられている第３のサブセットを有するデータカーネルを第２の変調カーネルとして設定することを含んでいる、実施形態７又は７．１の方法。
７．３．第３のサブセットの変調要素に割り当てられている変調値が、第１のサブセットの変調要素に割り当てられている変調値によって形成される第１のデータ変調パターンに空間的に直交する第３のデータ変調パターンを形成している、実施形態７．２の方法。

【0184】

同期カーネル
８．一組の変調要素によって特性化される同期カーネルを得るステップであり、同期カーネルが符号化補助データが従った変換の以降の識別を容易にするように一組における各変調要素が変調値を割り当てられているステップと、
同期カーネル及びデータカーネルを集約するステップとを更に含んでおり、
第１の変調カーネルを得る行為が、集約した同期及びデータカーネルを第１の変調カーネルとして設定することを含んでいる、実施形態２．０〜３．８．２のいずれか１つの方法。
８．１．同期カーネル及びデータカーネルを集約するステップが、同期カーネルの変調要素に割り当てられている変調値をデータカーネルの対応する変調要素に割り当てられている変調値に加算することを含んでいる、実施形態８の方法。
８．２．同期カーネルがデータカーネルに直交している、実施形態８又は８．１の方法。
８．２．０ 同期カーネルがデータカーネルに非直交している、実施形態８又は８．１の方法。
８．２．１ 同期カーネルの変調要素に割り当てられている変調値が、データカーネルの変調要素に割り当てられている変調値によって形成される変調パターンに空間的に直交する同期変調パターンを形成している、実施形態８．２の方法。
８．３．同期カーネルがデータカーネルに直交している、実施形態８〜８．２．１のいずれか１つの方法。
８．４ 同期カーネルが２値係数から成っている、実施形態８〜８．３のいずれか１つの方法。

【0185】

２値係数は−１、０又は１である。代替的に、データカーネルは非２値係数を含むことができる。
８．５ 同期カーネルがゼロ平均行列を表している、実施形態８〜８．４のいずれか１つの方法。
８．６ 同期カーネルが非ゼロ平均行列を表している、実施形態８〜８．５のいずれか１つの方法。
８．６．１ 同期カーネルが少なくとも１つのゼロ平均列を有する行列を表している、実施形態８．３の方法。
８．６．２ 同期カーネルが複数のゼロ平均列を有する行列を表している、実施形態８．３の方法。
変調カーネルの追加態様

【0186】

Ｘ．１ 第１の変調カーネルが、次数Ｎで、Ｎが２より大きい正方行列を表している、実施形態１．０（Ａ）若しくは（Ｂ）又は実施形態２から本実施形態までのいずれか１つの方法。
Ｘ．１．１．第１の変調カーネルが、次数Ｎで、Ｎが３００より小さい正方行列を表している、Ｘ．１の実施形態のいずれか１つの方法。
Ｘ．１．２．第１の変調カーネルが、次数Ｎで、Ｎが３、４、８、１６、３２、６４及び１２８から成る群から選択される正方行列を表している、Ｘ．１の実施形態のいずれか１つの方法。
Ｘ．２ 補助データが変調要素当たり１ビット未満の関連付け効率で第１の変調カーネルと関連付けられるように補助データの複数のビットを第１の変調カーネルと関連付けることを更に含んでいる、実施形態Ｘ．１〜Ｘ．１．２のいずれか１つの方法。
Ｘ．２．１ 関連付け効率が変調要素当たり０．７５ビット以上である、実施形態Ｘ．２の方法。
Ｘ．２．２ 関連付け効率が１−（１／Ｎ^２）以下である、実施形態Ｘ．２の方法。
メディア信号の追加態様

【0187】

１．１．ホストメディア信号が像を表している、実施形態１．０から本実施形態までのいずれか１つの方法。
１．２．像が静止画像を含んでいる、実施形態１．１の方法。
１．３．像が映像を含んでいる、実施形態１．１の方法。
１．４．ホストメディア信号が表面組織を表している、上記実施形態の方法。
１．５．ホストメディア信号が反射光の３次元パターンを表している、実施形態１．０（１．０のいずれかのバージョン）の方法。インフラストラクト（ＩｎｆｒａＳｔｒｕｃｔｓ）を参照されたい：ｈｔｔｐ：／／ｗｗｗ．ｋａｒｌｄｄｗｉｌｌｉｓ．ｃｏｍ／ｐｒｏｊｅｃｔｓ／ｉｎｆｒａｓｔｒｕｃｔｓ／

【0188】

ここで引用によって援用される、Ｋ．Ｗｉｌｌｉｓ、Ａ．Ｗｉｌｓｏｎ、ＩｎｆｒａＳｔｒｕｃｔｓ：Ｆａｂｒｉｃａｔｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｉｎｓｉｄｅ Ｐｈｙｓｉｃａｌ ｏｂｊｅｃｔｓ ｆｏｒ ｉｍａｇｉｎｇ ｉｎ ｔｈｅ Ｔｅｒａｈｅｒｔｚ Ｒｅｇｉｏｎ、 ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ、第３２巻、第４号、記事１３８、刊行日：２０１３年７月を参照されたい。
１．６．ホストメディア信号が反射音の３次元パターンを表している、実施形態１．０（１．０のいずれかのバージョン）の方法。
１．７．メディア要素の配列が２Ｄ又は３Ｄ配列などの画素の配列から成っている、符号化実施形態のいずれか１つの方法。
１．８．メディア要素の配列が２Ｄ又は３Ｄ配列などのボクセルの配列から成っている、符号化実施形態のいずれか１つの方法。
補助データの追加態様

【0189】

２．０ 第１の組のメディア要素における少なくとも２つのメディア要素が配列における少なくとも１つのメディア要素によって互いから分離されている、符号化実施形態のいずれか１つの方法。
２．０．１ 第１の組のメディア要素における少なくとも２つのメディア要素が互いに隣接している、符号化実施形態のいずれか１つの方法。
２．１．補助データが単一ビットデータ項目である、符号化実施形態のいずれか１つの方法。
２．２．補助データがマルチビットデータ項目である、符号化実施形態のいずれか１つの方法。
「変更」又は「変調」の追加態様

【0190】

３．１．第１の組のメディア要素が第１の組の画素を含んでおり、且つ第１の組のメディア要素に対するメディア要素値が輝度値を含んでいる、符号化実施形態のいずれか１つの方法。
３．２．第１の組のメディア要素が第１の組の画素を含んでおり、且つ第１の組のメディア要素に対するメディア要素値が色差値を含んでいる、符号化実施形態のいずれか１つの方法。
復号方法

【0191】

１．０（Ａ）方法であって、

【0192】

メディア要素の配列を表す電子メディア信号を得るステップと、

【0193】

得られたメディア信号のメディア要素と関連付けられているメディア要素値を比較するステップと、

【0194】

比較するステップに基づいて、メディア要素の配列を表すフィルタ処理されたメディア信号を発生するステップであって、フィルタ処理されたメディア信号におけるメディア要素の少なくとも幾つかがフィルタ処理されたメディア要素値によって特性化されているステップと、

【0195】

フィルタ処理されたホストメディア信号におけるメディア要素の組に対するフィルタ処理されたメディア値と第１のベクトル並びに第１のベクトル及び第１のベクトルに直交する第２のベクトルから成る群から選択されるベクトルの第１の外積を得ることを含む処理によって得られる行列を表す変調カーネルの対応する変調要素に割り当てられている変調値との間の相関を決定するステップとを含む方法。
１．０（Ｂ）方法であって、

【0196】

メディア要素の配列を表す電子メディア信号を得るステップと、

【0197】

得られたメディア信号のメディア要素と関連付けられているメディア要素値を比較するステップと、
比較するステップに基づいて、メディア要素の配列を表すフィルタ処理されたメディア信号を発生するステップであって、フィルタ処理されたメディア信号におけるメディア要素の少なくとも幾つかがフィルタ処理されたメディア要素値によって特性化されているステップと、

【0198】

フィルタ処理されたホストメディア信号におけるメディア要素の組に対するフィルタ処理されたメディア値と直交行列を表す変調カーネルの対応する変調要素に割り当てられている変調値との間の相関を決定するステップとを含む方法。
１．０（Ｃ）方法であって、

【0199】

メディア要素の配列を表す電子メディア信号を得るステップと、

【0200】

得られたメディア信号のメディア要素と関連付けられているメディア要素値を比較するステップと、
比較するステップに基づいて、メディア要素の配列を表すフィルタ処理されたメディア信号を発生するステップであって、フィルタ処理されたメディア信号におけるメディア要素の少なくとも幾つかがフィルタ処理されたメディア要素値によって特性化されているステップと、

【0201】

フィルタ処理されたホストメディア信号におけるメディア要素の組に対するフィルタ処理されたメディア値と次数Ｎで、Ｎが３以上の正方ゼロ平均行列を表す変調カーネルの対応する変調要素に割り当てられている変調値との間の相関を決定するステップとを含む方法。
２．変調カーネルが上記符号化方法実施形態のいずれかで説明した第１の変調カーネルである、実施形態１．０（Ａ）〜１．０（Ｃ）のいずれか１つの方法。
３．相関を決定する行為が、得られたメディア信号内の透かし信号の向きを推定することを含んでいる、実施形態１．０（Ａ）〜１．０（Ｃ）のいずれか１つの方法。
３．０．１ 向きが、得られたメディア信号内の透かし信号の回転を含んでいる、実施形態３の方法。
３．０．２ 向きが、得られたメディア信号内の透かし信号のスケールを含んでいる、実施形態３又は３．０．１の方法。
３．２ 決定した相関を参照することによって、得られたメディア信号がステガノグラフィ符号化透かし信号を含んでいるかどうかを決定することを更に含んでいる、実施形態３の方法。
４．透かし信号が、各々変調値を割り当てられている一組の変調要素によって特性化されるデータカーネルによって表される補助データ成分を含んでおり、
相関を決定する行為が、フィルタ処理されたホストメディア信号におけるメディア要素の組に対するフィルタ処理されたメディア値とデータカーネルの対応する変調要素に割り当てられている変調値との間の相関を決定することを含んでいる、実施形態３〜３．２のいずれか１つの方法。
５．透かし信号が、各々変調値を割り当てられている一組の変調要素によって特性化される同期カーネルによって表される同期成分を含んでおり、
相関を決定する行為が、フィルタ処理されたホストメディア信号におけるメディア要素の組に対するフィルタ処理されたメディア値と同期カーネルの対応する変調要素に割り当てられている変調値との間の相関を決定することを含んでいる、実施形態３〜３．２のいずれか１つの方法。
５．１ 同期カーネルがデータカーネルに直交している、実施形態５の方法。
５．２ 同期カーネルがデータカーネルに非直交している、実施形態５の方法。
６．１ 透かし信号が、各々変調値を割り当てられている一組の変調要素によって特性化されるデータカーネルによって表される補助データ成分を含んでおり、方法が、決定した相関及びデータカーネルを参照することによって、フィルタ処理されたメディア信号を処理して補助データ成分の少なくとも一部分を抽出するステップを更に含んでいる、実施形態４〜５．２のいずれか１つの方法。
６．１．１ フィルタ処理されたメディア信号を処理する行為が、第１の組のメディア要素に対するフィルタ処理されたメディア値を処理することを含んでいる、実施形態６．１の方法。
６．２ 透かし信号がマルチビット補助データ成分を含んでおり、且つ、
第１の組のフィルタ処理されたメディア信号を処理する行為が、第１の組内のメディア要素の第１のサブセットに対するフィルタ処理されたメディア値を処理してマルチビット補助データ成分の第１のビットを抽出することを含んでいる、実施形態６．１．１の方法。
６．２．１ 第１の組のフィルタ処理されたメディア信号値を処理する行為が、第１の組内のメディア要素の第２のサブセットに対するフィルタ処理されたメディア値を処理してマルチビット補助データ成分の第２のビットを抽出することを更に含んでいる、実施形態６．２の方法。
６．２．１．１．メディア要素の第１のサブセットがメディア要素の第２のサブセットにも含まれている少なくとも１つのメディア要素を含んでいる、実施形態６．２．１の方法。
６．２．１．２．メディア要素の第１のサブセットがメディア要素の第２のサブセットには含まれていない少なくとも１つのメディア要素を含んでいる、実施形態６．２．１又は６．２．１．１の方法。
６．２．１．３．メディア要素の第１のサブセットがメディア要素の第２のサブセットに含まれているメディア要素を全く含んでいない、実施形態６．２．１．２の方法。
６．３．フィルタ処理されたメディア信号を処理する行為が、メディア要素の第２の組に対するフィルタ処理されたメディア値を処理することを含んでいる、実施形態６．１．１〜６．２．１．３のいずれか１つの方法。
６．３．１．第１の組のメディア要素が第２の組のメディア要素にも含まれている少なくとも１つのメディア要素を含んでいる、実施形態６．３の方法。
６．３．２．第１の組のメディア要素が第２の組のメディア要素には含まれていない少なくとも１つのメディア要素を含んでいる、実施形態６．３又は６．３．１の方法。
６．３．３．第１の組のメディア要素が第２の組のメディア要素に含まれているメディア要素を全く含んでいない、実施形態６．３．２の方法。
６．４．メディア要素の第２の組に対するフィルタ処理されたメディア値を処理する行為が、メディア要素の第２の組に対するフィルタ処理されたメディア値を処理してマルチビット補助データ成分の第１のビットを抽出することを含んでいる、実施形態６．３〜６．３．３のいずれか１つの方法。
６．４．１ メディア要素の第２の組に対するフィルタ処理されたメディア値を処理する行為が、メディア要素の第２の組に対するフィルタ処理されたメディア値を処理してマルチビット補助データ成分の第３のビットを抽出することを含んでいる、実施形態６．３〜６．３．３のいずれか１つの方法。
動作環境

【0202】

エンコーダ及びデコーダの構成要素及び演算はモジュールで実装される。本明細書に述べた実施形態のいかなる具体的な論考にも関わらず、用語「モジュール」は、本明細書に記載される方法、処理、機能又は演算のいずれかを行うように構成されるソフトウェア、ファームウェア又は回路網を指す。ソフトウェアは、非一時的なコンピュータ可読記憶媒体に記録されるソフトウェアパッケージ、コード、命令、命令セット又はデータとして具象化されてもよい。詳細な機能性を実装するためのソフトウェア命令は、関連データと併せて、本明細書に提供される説明から、不当な実験なしで、熟練者によって著される、例えばマトラボ、Ｃ、Ｃ＋＋、ビジュアルベーシック（Ｖｉｓｕａｌ Ｂａｓｉｃ）、ジャバ（Ｊａｖａ［登録商標］）、パイソン（Ｐｙｔｈｏｎ）、テル（Ｔｅｌ）、パール（Ｐｅｒｌ）、スキーム（Ｓｃｈｅｍｅ）、ルビー（Ｒｕｂｙ）などで書かれることができる。ファームウェアは、メモリデバイスにハードコードされる（例えば、不揮発性）コード、命令若しくは命令セット又はデータとして具象化されてもよい。本明細書で使用する場合、用語「回路網」は、例えば、単独で又は何らかの組合せで、実配線の回路網、１つ若しくは複数の個々の命令処理コアを備えるコンピュータプロセッサなどのプログラマブル回路網、状態機械回路網、又はプログラマブル回路網によって実行される命令を記憶するファームウェアを含んでもよい。

【0203】

実装は、例えば特定用途向け集積回路（ＡＳＩＣ）として、構成要素行為の一部又は全部を行うように注文設計及び製造された専用電子回路網を追加的に又は代替的に利用することができる。そのような実装を実現するために、関連モジュール（複数可）（例えば、ホスト画像又は音声内容内の差分変調の符号化及び復号）は、マトラボ（Ｍａｔｈｗｏｒｋｓ，Ｉｎｃ．から）などのソフトウェアを使用する汎用コンピュータを使用してまず実装される。ＨＤＬＣｏｄｅｒ（同じくＭａｔｈＷｏｒｋｓから利用できる）などのツールが次に利用されてマトラボモデルをＶＨＤＬ（ＩＥＥＥ規格、且つおそらく最も一般的なハードウェア設計言語）に変換する。ＶＨＤＬ出力は次いで、シノプシス（Ｓｙｎｏｐｓｉｓ）によるＤｅｓｉｇｎ Ｃｏｍｐｉｌｅｒ、メンターグラフィックス（Ｍｅｎｔｏｒ Ｇｒａｐｈｉｃｓ）によるＨＤＬ Ｄｅｓｉｇｎｅｒ、又はケイデンスデザインシステムズ（Ｃａｄｅｎｃｅ Ｄｅｓｉｇｎ Ｓｙｓｔｅｍｓ）によるＥｎｃｏｕｎｔｅｒ ＲＴＬ Ｃｏｍｐｉｌｅｒなど、ハードウェア合成プログラムに適用される。ハードウェア合成プログラムは、そのような目的に専用の専用機械として、ハードウェア形態で技術を実現するであろう電子論理ゲートの特定の配列を指定する出力データを提供する。この出力データは次いで半導体製造請負業者に提供され、業者がそのデータを使用してカスタマイズされたシリコン部分を生成する。（適する請負業者はＴＳＭＣ、グローバルファウンドリーズ（Ｇｌｏｂａｌ Ｆｏｕｎｄｒｉｅｓ）及びオンセミコンダクター（ＯＮ Ｓｅｍｉｃｏｎｄｕｃｔｏｒｓ）を含む。）

【0204】

例示のために、図２８は、上記エンコーダ及びデコーダ実施形態の構成要素が実装されることができる電子装置の図である。実施形態が他の装置構成又は電子回路網で実装されてもよいので、同図は限定的なものとは意図されない。

【0205】

図２８を参照すると、電子装置のためのシステムはバス１００を含み、バスには多くのデバイス、モジュールなど（各々「構成要素」と一般に称される）が通信可能に結合される。バス１００は、ダイレクトメモリアクセス（ＤＭＡ）バス及びプログラム入出力（ＰＩＯ）バスの機能性を併用してもよい。言い換えると、バス１００は、ＤＭＡ転送もＣＰＵ直接読み書き命令も容易にすることができる。一実施形態において、バス１００は、アドバンスドマイクロコントローラバスアーキテクチャ（ＡＭＢＡ）対応データバスの１つである。図２８は全ての構成要素がバス１００に通信可能に結合される実施形態を例示するが、構成要素の１つ又は複数の部分集合がいずれかの適切又は有益な様式で別々のバスに通信可能に結合されてもよいこと、及びいずれかの構成要素がいずれかの適切又は有益な様式で２つ以上のバスに通信可能に結合されてもよいことが認識されるであろう。例示されないが、電子装置は１つ又は複数のバスコントローラ（例えば、ＤＭＡコントローラ、Ｉ２Ｃバスコントローラ等、又はそれらのいずれかの組合せ）を任意選択で含むことができ、それらコントローラを通じて、構成要素の幾つかの間でデータがルーティングされることができる。

【0206】

電子装置はＣＰＵ１０２も含む。ＣＰＵ１０２は、当該技術で既知である、いかなるマイクロプロセッサ、モバイルアプリケーションプロセッサなどでもよい（例えば、ＡＲＭ Ｌｉｍｉｔｅｄからの縮小命令セットコンピュータ（ＲＩＳＣ）、Ｋｒａｉｔ ＣＰＵ製品ファミリ、Ｐｅｎｔｉｕｍ［登録商標］、Ｘｅｏｎ、Ｉｔａｎｉｕｍ、Ｃｅｌｅｒｏｎ、Ａｔｏｍ、Ｃｏｒｅ ｉシリーズ製品ファミリにおけるものを含む、Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎから利用できるいずれかのＸ８６ベースのマイクロプロセッサなど）。ＣＰＵ１０２は、電子装置のオペレーティングシステムを走らせ、アプリケーションプログラムを走らせ（例えばＡｐｐｌｅ Ａｐｐ Ｓｔｏｒｅ、Ｇｏｏｇｌｅ Ｐｌａｙなどといったアプリケーション分配プラットフォームを通じて利用できるものなどのモバイルアプリ）、そして任意選択で電子装置の様々な機能を管理する。ＣＰＵ１０２はリードオンリメモリ（ＲＯＭ）（図示せず）を含んでも又はそれに結合されてもよく、メモリはオペレーティングシステム（例えば、「高レベル」オペレーティングシステム、「リアルタイム」オペレーティングシステム、モバイルオペレーティングシステム等、又はそれらのいずれかの組合せ）又は電子装置で走る他のデバイスファームウェアを保持してもよい。電子装置は、バス１００に電気的に結合される揮発性メモリ１０４も含んでもよい。揮発性メモリ１０４は、例えば、いずれかの種類のランダムアクセスメモリ（ＲＡＭ）を含んでもよい。図示されないが、電子装置は、揮発性メモリ１０４への及びからのデータの流れを制御するメモリコントローラを更に含んでもよい。電子装置は、バスに接続される記憶メモリ１０６も含んでもよい。記憶メモリ１０６は、ＲＯＭ、ＥＰＲＯＭ及びＥＥＰＲＯＭ、ＮＯＲ若しくはＮＡＮＤフラッシュメモリ等、又はそれらのいずれかの組合せなどの１つ又は複数の不揮発性半導体メモリデバイスを典型的に含み、そして例えば、磁気又は光学ディスクなど、いずれかの種類の電子記憶デバイスも含んでもよい。本発明の実施形態において、記憶メモリ１０６は、ソフトウェアの１つ又は複数の項目を記憶するために使用される。ソフトウェアは、システムソフトウェア、アプリケーションソフトウェア、ミドルウェア（例えば、リアルタイムシステムのためのデータ分配サービス（ＤＤＳ）、ＭＥＲなど）、１つ若しくは複数のコンピュータファイル（例えば、１つ又は複数のデータファイル、構成ファイル、ライブラリファイル、アーカイブファイルなど）、１つ若しくは複数のソフトウェア構成要素等、又はそれらのいずれかのスタック若しくは他の組合せを含むことができる。システムソフトウェアの例は、オペレーティングシステム（例えば、１つ又は複数の高レベルオペレーティングシステム、リアルタイムオペレーティングシステム、モバイルオペレーティングシステム等、又はそれらのいずれかの組合せを含む）、１つ又は複数のカーネル、１つ又は複数のデバイスドライバ、ファームウェア、１つ又は複数のユーティリティープログラム（例えば、電子装置の１つ又は複数の構成要素を解析、構成、最適化、保守などするのに役立つ）等を含む。アプリケーションソフトウェアは、ユーザが問題を解決する、タスクを行う、メディアコンテンツを再生する、ネットワーク（例えば、ワールドワイドウェブ）、ウェブサーバ、ファイルシステム、データベースの情報又は情報資源を検索（又はアクセス、提示、移動、質問、作成、編成など）する等に役立ついかなるアプリケーションプログラムも典型的に含む。ソフトウェア構成要素の例は、デバイスドライバ、ソフトウェアコーデック、メッセージキュー又はメールボックス、データベースなどを含む。ソフトウェア構成要素は、アプリケーションソフトウェア、ウェブアプリケーション等、又はそれらのいずれかの組合せに提供されるべきいかなる他のデータ又はパラメータも含むことができる。データファイルの例は、画像ファイル、テキストファイル、音声ファイル、映像ファイル、触覚署名ファイル等を含む。

【0207】

バス１００にはユーザインタフェースモジュール１０８も接続される。ユーザインタフェースモジュール１０８は、電子装置のユーザ制御を容易にするように構成される。したがって、ユーザインタフェースモジュール１０８は、１つ又は複数のユーザ入力デバイス１１０に通信可能に結合されてもよい。ユーザ入力デバイス１１０は、例えば、ボタン、ノブ、タッチスクリーン、トラックボール、マウス、マイクロホン（例えば、エレクトレットマイクロフォン、ＭＥＭＳマイクロホン等、又はそれらのいずれかの組合せ）、ＩＲ若しくは超音波放射スタイラス、超音波エミッタ（例えば、ユーザジェスチャを検出するためなど）、１つ若しくは複数の構造光エミッタ（例えば、構造ＩＲ光を投影してユーザジェスチャを検出するためなど）、１つ若しくは複数の超音波トランスデューサ等、又はそれらのいずれかの組合せを含むことができる。

【0208】

ユーザインタフェースモジュール１０８は、ユーザによる電子装置の制御の影響を、又は電子装置によって行われている演算若しくはそうでなければ電子装置によってサポートされる機能に関する何らかの他の情報を、ユーザに示すように構成されてもよい。したがって、ユーザインタフェースモジュール１０８は、１つ又は複数のユーザ出力デバイス１１２にも通信可能に結合されてもよい。ユーザ出力デバイス１１２は、例えば、ディスプレイ（例えば、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、アクティブマトリックス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイ、電子インクディスプレイなど）、ライト、ブザー、触覚アクチュエータ、スピーカ等、又はそれらのいずれかの組合せを含むことができる。

【0209】

一般に、ユーザ入力デバイス１１０及びユーザ出力デバイス１１２は電子装置の一体部分であるが、しかしながら代替実施形態において、いかなるユーザ入力デバイス１１０（例えば、マイクロホンなど）又はユーザ出力デバイス１１２（例えば、スピーカ、触覚アクチュエータ、ライト、ディスプレイ又はプリンタ）も電子装置に通信可能に結合される（例えば、通信モジュール１１４を介して）物理的に別々のデバイスでもよい。プリンタは、２Ｄ及び３Ｄプリンタ、エッチング、打刻、エンボス加工、レーザマーキングなどといった、対象に我々の符号化信号を適用するための多くの異なるデバイスを包含する。

【0210】

ユーザインタフェースモジュール１０８が個別部品として例示されるが、ユーザインタフェースモジュール１０８（又はその部分）が電子装置の１つ又は複数の他の構成要素（例えば、ＣＰＵ１０２、センサインタフェースモジュール１３０など）に機能的に統合されてもよいことが認識されるであろう。

【0211】

バス１００には画像信号プロセッサ１１６及びグラフィクス処理ユニット（ＧＰＵ）１１８も接続される。画像信号プロセッサ（ＩＳＰ）１１６は、１つ又は複数のカメラ１２０によって、又はいかなる他のイメージセンサによっても取り込まれる像（静止フレーム像、映像等、又はそれらのいずれかの組合せを含む）を処理し、以て画像データを発生するように構成される。ＩＳＰ１１６によって典型的に行われる一般的な機能は、ベイズ変換、デモザイク処理、雑音低減、画像鮮明化等、又はそれらのいずれかの組合せを含むことができる。ＧＰＵ１１８は、ＩＳＰ１１６によって発生される画像データを処理し、以て処理済み画像データを発生するように構成されることができる。ＧＰＵ１１８によって典型的に行われる一般的な機能は、画像データを圧縮すること（例えば、ＪＰＥＧ形式、ＭＰＥＧ形式等、又はそれらのいずれかの組合せに）、照明効果を作成すること、３Ｄグラフィクスをレンダリングすること、テクスチャマッピング、幾何学変換（例えば、回転、並進など）を異なる座標系に計算することなどを含み、そして圧縮ビデオデータをバス１００を介して電子装置の他の構成要素（例えば、揮発性メモリ１０４）に送る。ＧＰＵ１１８は、１つ又は複数の映像伸長又は復号処理を行うように構成されてもよい。ＩＳＰ１１６によって発生される画像データ又はＧＰＵ１１８によって発生される処理済み画像データはユーザインタフェースモジュール１０８によってアクセスされてもよく、インタフェースによりデータは、ディスプレイ、プリンタ又はスピーカなどのユーザ出力デバイス１１２に送られてもよい１つ又は複数の適切な信号に変換される。

【0212】

バス１００には音声Ｉ／Ｏモジュール１２２も結合され、音声Ｉ／Ｏモジュールは、１つ又は複数のマイクロホン（複数可）１２４（何れかがユーザ入力デバイス１１０と考えられてもよい）及びスピーカ（複数可）１２６（何れかがユーザ出力デバイス１１０と考えられてもよい）に及びからデータを符号化、復号及びルーティングするように構成される。例えば、電子装置を包囲する周囲の聴覚環境内に（例えば、１つ又は複数の伝搬する音波として）音は存在することができる。そのような包囲音のサンプルは、１つ又は複数のマイクロホン１２４を使用して伝搬する音波（複数可）を感知することによって得られることができ、そしてマイクロホン（複数可）１２４は次いで感知した音を１つ又は複数の対応するアナログ音声信号（典型的に、電気信号）に変換し、以て感知した音を取り込む。マイクロホン（複数可）１２４によって発生された信号（複数可）は次いで音声Ｉ／Ｏモジュール１２２によって処理されることができ（例えば、アナログ音声信号をデジタル音声信号に変換する）、そしてその後結果としてのデジタル音声信号が出力される（例えば、音声ＤＳＰ１２８などの音声デジタル信号プロセッサ（ＤＳＰ）に、歌認識モジュール、音声認識モジュール、声認識モジュールなどの別のモジュールに、揮発性メモリ１０４、記憶メモリ１０６等、又はそれらのいずれかの組合せに）。音声Ｉ／Ｏモジュール１２２は、音声ＤＳＰ１２８からデジタル音声信号を受け、各受信したデジタル音声信号を１つ又は複数の対応するアナログ音声信号に変換し、そしてアナログ音声信号を１つ又は複数のスピーカ１２６に送ることもできる。一実施形態において、音声Ｉ／Ｏモジュール１２２は２つの通信チャネルを含む（例えば、音声Ｉ／Ｏモジュール１２２が、発生された音声データを送り且つ同時に音声データを受けることができるように）。

【0213】

音声ＤＳＰ１２８は音声Ｉ／Ｏモジュール１２２によって発生されるデジタル音声信号の様々な処理、例えば圧縮、伸長、等化、異なるソースからの音声の混合などを行い、そしてその後処理済みデジタル音声信号を出力する（例えば、音声Ｉ／Ｏモジュール１２２に、歌認識モジュール、音声認識モジュール、声認識モジュールなどの別のモジュールに、揮発性メモリ１０４、記憶メモリ１０６等、又はそれらのいずれかの組合せに）。一般に、音声ＤＳＰ１２８は、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ若しくは他のマイクロコントローラ、プログラマブル論理デバイス等、又はそれらのいずれかの組合せを含んでもよい。音声ＤＳＰ１２８は、キャッシュ又は他のローカルメモリデバイス（例えば、揮発性メモリ、不揮発性メモリ又はその組合せ）、ＤＭＡチャネル、１つ又は複数の入力バッファ、１つ又は複数の出力バッファ、及びＤＳＰがサポートする機能（例えば、下記の）を容易にするいかなる他の構成要素も任意選択で含んでもよい。一実施形態において、音声ＤＳＰ１２８は、コアプロセッサ（例えば、ＡＲＭ（登録商標）ＡｕｄｉｏＤＥ（商標）プロセッサ、Ｈｅｘａｇｏｎプロセッサ（例えば、ＱＤＳＰ６Ｖ５Ａ））の他に、データメモリ、プログラムメモリ、ＤＭＡチャネル、１つ又は複数の入力バッファ、１つ又は複数の出力バッファなどを含む。音声Ｉ／Ｏモジュール１２２及び音声ＤＳＰ１２８が別々の構成要素として例示されるが、音声Ｉ／Ｏモジュール１２２及び音声ＤＳＰ１２８が共に機能的に統合されることができることが認識されるであろう。更に、音声ＤＳＰ１２８及びユーザインタフェースモジュール１０８などの他の構成要素が共に（少なくとも部分的に）機能的に統合されてもよいことが認識されるであろう。

【0214】

上述した通信モジュール１１４は、回路網、アンテナ、センサ、及び１つ若しくは複数の有線リンク（例えば、イーサネット［登録商標］、ＵＳＢ、Ｆｉｒｅｗｉｒｅ［登録商標］などを介して）若しくは１つ若しくは複数の無線リンク（例えば、ブルートゥース［登録商標］、ブルートゥースＬｏｗ Ｅｎｅｒｇｙ、ＷｉＦｉ、ＷｉＭＡＸ、ＧＳＭ［登録商標］、ＣＤＭＡ、ＥＤＧＥ、セルラ３Ｇ若しくはＬＴＥ、Ｌｉ−Ｆｉ（例えば、ＩＲ又は可視光通信のため）、音波若しくは超音波通信などといったいかなる規格若しくはそうでなければ所望又は適切な無線プロトコル若しくは技法に従って構成される）を通じてデータを送信若しくは受信する（例えば、ネットワーク内で）ことを容易にするいかなる他の適切な若しくは所望の技術等、又はそれらのいずれかの組合せも含む。一実施形態において、通信モジュール１１４は、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ若しくは他のマイクロコントローラ、プログラマブル論理デバイス等、又はそれらのいずれかの組合せを含んでもよい。任意選択で、通信モジュール１１４は、キャッシュ若しくは他のローカルメモリデバイス（例えば、揮発性メモリ、不揮発性メモリ又はその組合せ）、ＤＭＡチャネル、１つ若しくは複数の入力バッファ、１つ若しくは複数の出力バッファ等、又はそれらのいずれかの組合せを含む。一実施形態において、通信モジュール１１４は、ベースバンドプロセッサ（例えば、信号処理を行う、且つ電子装置のためのリアルタイム無線伝送演算を実装する）を含む。

【0215】

バス１００には、１つ又は複数のセンサ１３２に通信可能に結合するセンサインタフェースモジュール１３０も接続される。センサ１３２は、例えば、加速度計（例えば、加速度、向き、振動などを感知するため）、磁力計（例えば、磁場の方向を感知するため）、ジャイロ（例えば、回転又はねじれを追跡するため）、気圧計（例えば、高度を感知するため）、水分センサ、周辺光センサ、ＩＲ若しくはＵＶセンサ若しくは他の光検出器、圧力センサ、温度センサ、音響ベクトルセンサ（例えば、粒子速度を感知するため）、電気皮膚反応（ＧＳＲ）センサ、超音波センサ、位置センサ（例えば、ＧＰＳ受信器モジュールなど）、ガス若しくは他の化学センサ等、又はそれらのいずれかの組合せを含むことができる。図２８に別々に図示されるが、いかなるカメラ１２０又はマイクロホン１２４もセンサ１３２と考えられることができる。一般に、センサ１３２は、何らかの刺激（例えば、光、音、水分、重力場、磁場、電場など）の存在下で、印加される刺激等、又はそれらのいずれかの組合せの変化に応答して、１つ又は複数の信号（典型的に、電気信号）を発生する。一実施形態において、センサインタフェースモジュール１３０に結合される全てのセンサ１３２は電子装置の一体部分であるが、しかしながら代替実施形態において、センサの１つ又は複数は電子装置に通信可能に結合される（例えば、通信モジュール１１４を介して）物理的に別々のデバイスでもよい。いかなるセンサ１３２も機能してユーザ入力を感知することができる限り、そのようなセンサ１３２はユーザ入力デバイス１１０とも考えられることができる。センサインタフェースモジュール１３０は、１つ又は複数のセンサ１３２の動作（例えば、サンプリングレート、サンプリング範囲など）を起動、停止又はその他制御するように（例えば、ＣＰＵ１０２、ユーザインタフェースモジュール１０８、音声ＤＳＰ１２８、キュー検出モジュール１３４等、又はそれらのいずれかの組合せなどの１つ又は複数の構成要素によって発行される指令に従って、内部に又は揮発性メモリ１０４若しくは記憶メモリ１０６、ＲＯＭなど外部に記憶される命令通りに）構成される。一実施形態において、センサインタフェースモジュール１３０は、センサ１３２の１つ又は複数によって発生される信号を符号化、復号、サンプリング、フィルタリング、又はその他処理することができる。一例では、センサインタフェースモジュール１３０は、複数のセンサ１３２によって発生される信号を統合し、そして統合された信号（複数可）を任意選択で処理することができる。信号は、センサインタフェースモジュール１３０から電子装置の上述した構成要素の１つ又は複数にルーティングされることができる（例えば、バス１００を介して）。別の実施形態において、しかしながら、センサ１３２によって発生されるいかなる信号も、処理される前にルーティングされることができる（例えば、ＣＰＵ１０２に）。

【0216】

一般に、センサインタフェースモジュール１３０は、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ若しくは他のマイクロコントローラ、プログラマブル論理デバイス等、又はそれらのいずれかの組合せを含んでもよい。センサインタフェースモジュール１３０は、キャッシュ又は他のローカルメモリデバイス（例えば、揮発性メモリ、不揮発性メモリ又はその組合せ）、ＤＭＡチャネル、１つ又は複数の入力バッファ、１つ又は複数の出力バッファ、及びセンサインタフェースがサポートする機能（例えば、上記の）を容易にするいかなる他の構成要素も任意選択で含んでもよい。一実施形態において、センサインタフェースモジュール１３０は、Ｑｕａｌｃｏｍｍからの「Ｓｅｎｓｏｒ Ｃｏｒｅ」（センサプロセッササブシステム（ＳＰＳ））、Ｍｅｇａｃｈｉｐｓからの「ｆｒｉｚｚ」等、又はそれらのいずれかの組合せとして設けられていてもよい。センサインタフェースモジュール１３０が個別部品として例示されるが、センサインタフェースモジュール１３０（又はその部分）が１つ又は複数の他の構成要素（例えば、ＣＰＵ１０２、通信モジュール１１４、音声Ｉ／Ｏモジュール１２２、音声ＤＳＰ１２８、キュー検出モジュール１３４等、又はそれらのいずれかの組合せ）と機能的に統合されてもよいことが認識されるであろう。
結論

【0217】

本技術の原理を具体的な実装に関して説明及び例示したが、本技術が多くの他の異なる形態で実装されることができることが認識されるであろう。本明細書を過度に長くすることなく包括的な開示を提供するために、出願人は上記参照した特許及び特許出願を引用によって援用する。

【0218】

上記した方法、処理及びシステムは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組合せで実装されてもよい。例えば、上記した信号処理演算は、非一時的なメモリに記憶され、そして専用デジタル回路のデジタル論理回路網、又は１つ又は複数のプロセッサ及びデジタル論理回路モジュールで実行される命令の組合せとして実装されるプログラマブルコンピュータ（ソフトウェア及びファームウェア命令の両方を含む）で実行される命令として実装されてもよい。上記した方法及び処理は、システムのメモリ（電子、光又は磁気記憶デバイスなどのコンピュータ可読媒体）から実行されるプログラムで実装されてもよい。方法、命令及び回路網は、電子信号又は他の電磁形態の信号に機能する。これらの信号は、画像センサに取り込まれる画像信号、音声センサに取り込まれる音声の他にその種類のためのセンサに取り込まれる他の物理的信号種類の様な物理的信号を更に表す。これらの電磁信号表現は以上詳述した異なる状態に変換され、信号属性を検出し、パターン認識及びマッチングを行い、デジタルデータ信号を符号化及び復号し、異なるソースからのソース信号の相対属性計算などをする。

【0219】

上記方法、命令及びハードウェアは、基準及び被疑信号成分に機能する。信号を基底関数へ射影することによって形成される信号成分の和として信号が表されることができるので、上記方法は一般に各種の信号種類に適用される。フーリエ変換は、例えば、一組の基底関数への信号の射影の和として信号を表す。信号射影又は変換の他の例は、ウェーブレット変換及びサブバンド変換を含む。更なる他の例は、ＤＣＴ、ＰＣＡ、ＳＶＤ及びＫＬＴなど、上記した。

【0220】

以上詳述した実施形態における要素及び特徴の特定の組合せは例証であるのみであり、これらの教示の、本及び引用によって援用した特許／出願における他の教示との交換及び置換も企図される。
［発明の項目］
［項目１］
ホスト画像信号に補助データを符号化する方法であって、
可変データ要素から成る補助データ信号を発生するステップと、
前記可変データ要素の各々を前記ホスト画像信号内の複数のブロックにマッピングするステップであり、各ブロックが前記ホスト画像信号内の隣接埋込み位置を備えている、ステップと、
各可変データ要素に対して、前記可変データ要素に従って前記ホスト画像信号を変調して前記可変データ要素を対応する複数のブロックに埋め込むステップであり、前記対応する複数のブロックの各々内で、各ブロック内の非隣接の埋込み位置での前記可変データ要素間の差分関係を確立することによって前記ホスト画像を変調することを含む、ステップと、
を含む方法。
［項目２］
マッピングする前記ステップが、各可変データ要素に対応する前記複数のブロックを、前記ホスト画像信号の周波数領域変換のテンプレートを形成する繰返し構造でタイリングする、項目１に記載の方法。
［項目３］
前記可変データ要素の複数が前記ホスト画像内の同じ複数のブロックにマッピングされており、同じブロック内の複数の可変データ要素が同じブロック内のインターリーブされた埋込み位置間の差分関係で符号化されている、項目１に記載の方法。
［項目４］
同期信号要素を前記ホスト画像信号内の複数のブロックにマッピングするステップを更に含む、項目１に記載の方法。
［項目５］
同期信号要素及び可変データ要素の埋込み位置が同じ複数のブロック内でインターリーブされている、項目４に記載の方法。
［項目６］
前記可変データ要素及び同期信号要素を符号化するための差分関係が、前記可変データ要素及び同期要素に対する直交するベクトルを使用して確立されている、項目４に記載の方法。
［項目７］
ホスト画像信号に補助データを符号化するための装置であって、
可変データ要素から成る補助データ信号を発生するための手段と、
前記可変データ要素の各々を前記ホスト画像信号内の複数のブロックにマッピングするための手段であり、各ブロックが前記ホスト画像信号内の隣接埋込み位置を備えている、手段と、
前記可変データ要素に従って前記ホスト画像信号を変調して前記可変データ要素を対応する複数のブロックに埋め込むための手段であり、各可変データ要素がマッピングされている対応するブロック内の非隣接の埋込み位置での前記可変データ要素間の差分関係を確立することによって前記ホスト画像を変調するための手段を含む、手段とを含む装置。
［項目８］
命令が記憶されている非一時的なコンピュータ可読媒体であって、
前記命令はプロセッサによって実行されると方法を実行し、前記方法は、
可変データ要素から成る補助データ信号を発生するステップと、
前記可変データ要素の各々をホスト画像信号内の複数のブロックにマッピングするステップであり、各ブロックが前記ホスト画像信号内の隣接埋込み位置を備えている、ステップと、
各可変データ要素に対して、前記可変データ要素に従って前記ホスト画像信号を変調して前記可変データ要素を対応する複数のブロックに埋め込むステップであり、前記対応する複数のブロックの各々内で、各ブロック内の非隣接の埋込み位置での前記可変データ要素間の差分関係を確立することによって前記ホスト画像を変調することを含む、ステップと、
を含む、コンピュータ可読媒体。
［項目９］
ホスト画像に埋め込まれた補助データ信号を復号する方法であって、
前記ホスト画像内の複数のフィルタリング位置の各々に対して、フィルタリング位置周囲の隣接埋込み位置のブロック内の非隣接の埋込み位置でのホスト画像信号要素間の差分関係から補助データ信号要素を抽出する抽出フィルタを適用するステップであり、前記差分関係が前記ホスト画像内の前記補助データ信号の差分変調によって形成されている、ステップと、
前記補助データ信号内の複数の可変データ信号要素の各々のための複数のフィルタリング位置にわたってフィルタ出力を集約して、前記複数の可変データ信号要素の各々の推定値を得るステップと、
前記推定値から可変メッセージを誤り訂正復号するステップと、
を含む方法。
［項目１０］
前記ホスト画像を周波数領域に変換するステップであり、前記差分関係の繰返しパターンがテンプレートを形成している、ステップと、
前記変換されたホスト画像を所定のテンプレートと照合して前記ホスト画像内の前記補助データ信号の回転及びスケールの推定値を得るステップと、
を含む、項目９に記載の方法。
［項目１１］
前記回転及びスケールで幾何学歪みを補償し、前記抽出フィルタを適用して前記差分関係から近似補助信号を抽出するステップと、
前記近似補助信号を周波数領域に変換するステップと、
前記所定のテンプレートを前記変換された近似補助信号と照合することによって同期を精密化するステップと、
を含む、項目１０に記載の方法。
［項目１２］
前記ホスト画像を周波数領域に変換するステップであり、前記差分関係の繰返しパターンがテンプレートを形成しており、前記補助信号が、可変データ信号要素及び同期信号要素に対する直交ベクトルに従って前記ホスト画像内に差分符号化されている前記可変データ信号要素及び前記同期信号要素を備えている、ステップを含む、項目９に記載の方法。
［項目１３］
前記ホスト画像に前記抽出フィルタを適用した出力において形成されるヌルと前記補助データ信号を同期させるステップを含む、項目９に記載の方法。
［項目１４］
前記ホスト画像に前記抽出フィルタの幾何学的に歪められたバージョンを適用して特徴ベクトルを得るステップと、
前記特徴ベクトルから幾何学的歪みパラメータを得、前記幾何学的歪みパラメータに従って前記抽出フィルタの適用を適合させることによって前記幾何学的歪みを補償して、前記推定値を得るステップと、
を含む、項目９に記載の方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】