特開 2024-167906 ウォーターマークの埋め込みおよび抽出のための方法、装置、デバイス、及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024167906

(43)【公開日】2024-12-04

(54)【発明の名称】ウォーターマークの埋め込みおよび抽出のための方法、装置、デバイス、及び記憶媒体

(51)【国際特許分類】

   H04N 21/835 20110101AFI20241127BHJP

   H04N 5/222 20060101ALI20241127BHJP

   H04N 21/4627 20110101ALI20241127BHJP

   G06T 7/00 20170101ALI20241127BHJP

【ＦＩ】

H04N21/835

H04N5/222

H04N21/4627

G06T7/00 350B

【審査請求】有

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2024083679

(22)【出願日】2024-05-22

(31)【優先権主張番号】202310584038.7

(32)【優先日】2023-05-22

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】524195042

【氏名又は名称】ベイジン ヴォルケーノ エンジン テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｖｏｌｃａｎｏ Ｅｎｇｉｎｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】１３０９， １３ｔｈ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ ４， Ｚｉｊｉｎ Ｄｉｇｉｔａｌ Ｐａｒｋ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １００１９０， Ｐ． Ｒ． Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100229448

【弁理士】

【氏名又は名称】中槇 利明

(72)【発明者】

【氏名】ホンチャン，グオ

(72)【発明者】

【氏名】フォン，グオ

(72)【発明者】

【氏名】ジュンウェイ，ルオ

(72)【発明者】

【氏名】シアオドォン，スゥ

(72)【発明者】

【氏名】ミンレイ，リ

【テーマコード（参考）】

5C122

5C164

5L096

【Ｆターム（参考）】

5C122DA03

5C122DA04

5C122DA44

5C122EA61

5C122FH10

5C122FH11

5C122FH18

5C122GA01

5C122HA13

5C122HA31

5C122HA35

5C122HA46

5C122HA88

5C122HB01

5C164MB35P

5C164SB08S

5C164UB10S

5C164UC26P

5L096AA02

5L096AA03

5L096AA06

5L096FA09

5L096FA62

5L096GA30

5L096GA51

5L096HA11

5L096KA04

(57)【要約】      （修正有）

【課題】ウォーターマークの埋め込みおよびウォーターマークの抽出方法、装置、デバイス及びコンピュータ可読記憶媒体を提供する。
【解決手段】ウォーターマーク埋め込み方法は、処理すべき画像内で認識された１セットのキーポイントに基づいて、処理すべき画像内の少なくとも１つの処理すべき画像ブロックを決定することと、ウォーターマーク情報および少なくとも１つの処理すべき画像ブロックに基づいて、少なくとも１つの処理すべき画像ブロックにそれぞれ対応する少なくとも１つの目標画像ブロックを生成することと、処理すべき画像内で少なくとも１つの処理すべき画像ブロックをそれぞれ少なくとも１つの目標画像ブロックに置き換えることにより、処理すべき画像に対する目標画像を生成することと、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

処理すべき画像内で認識された１セットのキーポイントに基づいて、前記処理すべき画像内の少なくとも１つの処理すべき画像ブロックを決定することと、
ウォーターマーク情報および前記少なくとも１つの処理すべき画像ブロックに基づいて、前記少なくとも１つの処理すべき画像ブロックにそれぞれ対応する少なくとも１つの目標画像ブロックを生成することであって、各目標画像ブロックには前記ウォーターマーク情報の少なくとも一部が埋め込まれていることと、
前記処理すべき画像内で前記少なくとも１つの処理すべき画像ブロックをそれぞれ前記少なくとも１つの目標画像ブロックに置き換えることにより、前記処理すべき画像に対する目標画像を生成することと、を含む、
ウォーターマーク埋め込み方法。

【請求項2】

前記少なくとも１つの処理すべき画像ブロックを決定することは、
前記１セットのキーポイントの対応する特徴値および前記処理すべき画像内での対応する位置に基づいて、前記処理すべき画像内の１セットの候補画像ブロックを決定することであって、各候補画像ブロックは前記１セットのキーポイントのうちの少なくとも１つのキーポイントを含むことと、
前記１セットの候補画像ブロックのうちから前記少なくとも１つの処理すべき画像ブロックを決定することと、を含むことと、を含む、
請求項１に記載の方法。

【請求項3】

前記１セットの候補画像ブロックのうちの異なる候補画像ブロックは、互いに重畳されない、
請求項２に記載の方法。

【請求項4】

前記少なくとも１つの処理すべき画像ブロックを決定することは、
前記１セットの候補画像ブロックの対応するテクスチャ複雑度を決定することと、
前記対応するテクスチャ複雑度に基づいて、前記１セットの候補画像ブロックのうちから前記少なくとも１つの処理すべき画像ブロックを選択することと、を含む、
請求項２に記載の方法。

【請求項5】

前記少なくとも１つの目標画像ブロックを生成することは、
前記少なくとも１つの処理すべき画像ブロックのうちの処理すべき画像ブロックに対して、
前記ウォーターマーク情報の特徴と前記処理すべき画像ブロックの特徴とに基づいて、前記ウォーターマーク情報と前記処理すべき画像ブロックとの融合特徴を生成することと、
前記融合特徴、前記ウォーターマーク情報の特徴、および、前記処理すべき画像ブロックに基づいて、前記目標画像ブロックを生成することと、によって前記処理すべき画像ブロックに対応する目標画像ブロックを取得することを含む、
請求項１に記載の方法。

【請求項6】

前記目標画像ブロックを生成することは、
前記融合特徴および前記ウォーターマーク情報の特徴に基づいて、前記ウォーターマーク情報で強調された中間特徴を生成することと、
前記中間特徴および前記処理すべき画像ブロックに基づいて、前記目標画像ブロックを生成することと、を含む、
請求項５に記載の方法。

【請求項7】

前記処理すべき画像ブロックに対応する目標画像ブロックは、ウォーターマーク埋め込みモデルを利用して取得され、
前記ウォーターマーク埋め込みモデルのトレーニングは、
前記ウォーターマーク埋め込みモデルを利用して、参照ウォーターマーク情報を第１画像に埋め込んで、第２画像を取得することと、
前記第２画像に対して複数の変換操作を実行することにより、第３画像を生成することと、
前記第３画像から抽出されたウォーターマーク情報と前記参照ウォーターマーク情報との間の差分を決定することと、
前記差分に関連する目標関数に基づいて、前記ウォーターマーク埋め込みモデルをトレーニングすることと、によって行われる、
請求項１に記載の方法。

【請求項8】

前記複数の変換操作のうちの少なくとも１つの変換操作による前記第２画像の変化程度は、トレーニングラウンド数の増加するにつれて増加する、
請求項７に記載の方法。

【請求項9】

抽出すべき画像内で認識された１セットのキーポイントに基づいて、前記抽出すべき画像内の少なくとも１つの目標画像ブロックを決定することと、
それぞれ前記少なくとも１つの目標画像ブロックに基づいて、前記抽出すべき画像内に埋め込まれたウォーターマーク情報を決定することと、を含む、
ウォーターマーク抽出方法。

【請求項10】

前記少なくとも１つの目標画像ブロックを決定することは、
前記１セットのキーポイントの対応する特徴値および前記抽出すべき画像における前記１セットのキーポイントの対応する位置に基づいて、前記抽出すべき画像内の１セットの候補画像ブロックを決定することであって、各候補画像ブロックは前記１セットのキーポイントのうちの少なくとも１つのキーポイントを含むことと、
前記１セットの候補画像ブロックに基づいて前記少なくとも１つの目標画像ブロックを決定することと、を含む、
請求項９に記載のウォーターマーク抽出方法。

【請求項11】

前記ウォーターマーク情報は、ウォーターマーク抽出モデルを利用して決定され、
前記ウォーターマーク抽出モデルのトレーニングは、
参照ウォーターマーク情報を第１画像に埋め込むことにより、第２画像を取得することと、
前記第２画像に対して複数の変換操作を実行することにより、第３画像を生成することと、
前記ウォーターマーク抽出モデルを利用して前記第３画像から抽出されたウォーターマーク情報と前記参照ウォーターマーク情報との間の差分を決定することと、
前記差分に関連する目標関数に基づいて、前記ウォーターマーク抽出モデルをトレーニングすることと、によって行われる、
請求項９に記載のウォーターマーク抽出方法。

【請求項12】

処理すべき画像内で認識された１セットのキーポイントに基づいて、前記処理すべき画像内の少なくとも１つの処理すべき画像ブロックを決定するように構成された画像ブロック決定モジュールと、
ウォーターマーク情報および前記少なくとも１つの処理すべき画像ブロックに基づいて、前記少なくとも１つの処理すべき画像ブロックにそれぞれ対応する少なくとも１つの目標画像ブロックを生成するように構成された画像ブロック生成モジュールであって、各目標画像ブロックには前記ウォーターマーク情報の少なくとも一部が埋め込まれている画像ブロック生成モジュールと、
前記処理すべき画像内で前記少なくとも１つの処理すべき画像ブロックをそれぞれ前記少なくとも１つの目標画像ブロックに置き換えることにより、前記処理すべき画像に対する目標画像を生成するように構成された画像ブロック置換モジュールと、を備える、
ウォーターマーク埋め込み装置。

【請求項13】

抽出すべき画像内で認識された１セットのキーポイントに基づいて、前記抽出すべき画像内の少なくとも１つの目標画像ブロックを決定するように構成された目標画像ブロック決定モジュールと、
前記少なくとも１つの目標画像ブロックにそれぞれ基づいて、前記抽出すべき画像内に埋め込まれたウォーターマーク情報を決定するように構成されたウォーターマーク情報抽出モジュールと、を備える、
ウォーターマーク抽出装置。

【請求項14】

電子デバイスであって、
少なくとも１つの処理ユニットと、
前記少なくとも１つの処理ユニットに結合され、前記少なくとも１つの処理ユニットによって実行されるための命令を記憶し、前記命令が前記少なくとも１つの処理ユニットによって実行されると、請求項１～８または９～１１のいずれか１項に記載の方法を前記電子デバイスに実行させる少なくとも１つのメモリと、を備える、
電子デバイス。

【請求項15】

コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサによって実行されると、請求項１～８または９～１１のいずれか１項に記載の方法が実現される、
コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の例示的な実施例は、一般に画像処理分野に関し、特に、ウォーターマークの埋め込みおよびウォーターマークの抽出ための方法、装置、デバイス、及びコンピュータ可読記憶媒体に関する。

【背景技術】

【0002】

情報技術の普及および急速な発展に伴い、デジタルキャリア（例えば、画像、ビデオなど）の伝播速度はますます速くなっており、伝播範囲はますます広くなっている。デジタルキャリアをより良く保護するために、暗黒ウォーターマークまたは隠れたウォーターマークなどのデジタルウォーターマーク技術が出現した。人々は、元のキャリアの使用価値に影響を与えることなく、ウォーターマーク情報をデジタルキャリアに埋め込むことで、漏洩トレーサビリティおよび著作権保護の目的を達成することができる。これに鑑みて、信頼的でロバスト性が高いウォーターマークを実現するための解決策が期待される。

【発明の概要】

【0003】

本発明の第１の態様は、ウォーターマーク埋め込み方法を提供する。当該方法は、処理すべき画像内で認識された１セットのキーポイントに基づいて、処理すべき画像内の少なくとも１つの処理すべき画像ブロックを決定することと、ウォーターマーク情報および少なくとも１つの処理すべき画像ブロックに基づいて、少なくとも１つの処理すべき画像ブロックにそれぞれ対応する少なくとも１つの目標画像ブロックを生成することであって、各目標画像ブロックにはウォーターマーク情報の少なくとも一部が埋め込まれていることと、処理すべき画像内で少なくとも１つの処理すべき画像ブロックをそれぞれ少なくとも１つの目標画像ブロックに置き換えることにより、処理すべき画像に対する目標画像を生成することと、を含む。

【0004】

本発明の第２の態様は、ウォーターマーク抽出方法を提供する。当該方法は、抽出すべき画像内で認識された１セットのキーポイントに基づいて、抽出すべき画像内の少なくとも１つの目標画像ブロックを決定することと、それぞれ少なくとも１つの目標画像ブロックに基づいて、抽出すべき画像内に埋め込まれたウォーターマーク情報を決定することと、を含む。

【0005】

本発明の第３の態様は、ウォーターマークの埋め込みのための装置を提供する。当該装置は、処理すべき画像内で認識された１セットのキーポイントに基づいて、処理すべき画像内の少なくとも１つの処理すべき画像ブロックを決定するための画像ブロック決定モジュールと、ウォーターマーク情報および少なくとも１つの処理すべき画像ブロックに基づいて、少なくとも１つの処理すべき画像ブロックにそれぞれ対応する少なくとも１つの目標画像ブロックを生成するための画像ブロック生成モジュールであって、各目標画像ブロックにはウォーターマーク情報の少なくとも一部が埋め込まれている画像ブロック生成モジュールと、処理すべき画像内で少なくとも１つの処理すべき画像ブロックをそれぞれ少なくとも１つの目標画像ブロックに置き換えることにより、処理すべき画像に対する目標画像を生成するための画像ブロック置換モジュールと、を備える。

【0006】

本発明の第４の態様は、ウォーターマークの抽出のための装置を提供する。当該装置は、抽出すべき画像内で認識された１セットのキーポイントに基づいて、抽出すべき画像内の少なくとも１つの目標画像ブロックを決定するための目標画像ブロック決定モジュールと、それぞれ少なくとも１つの目標画像ブロックに基づいて、抽出すべき画像内に埋め込まれたウォーターマーク情報を決定するためのウォーターマーク情報抽出モジュールと、を備える。

【0007】

本発明の第５の態様は、電子デバイスを提供する。当該デバイスは、少なくとも１つの処理ユニットと、少なくとも１つのメモリとを備え、少なくとも１つのメモリは、少なくとも１つの処理ユニットに結合され、少なくとも１つの処理ユニットによって実行されるための命令を記憶する。命令が少なくとも１つの処理ユニットに実行される際に、第１の態様または第２の態様の方法をデバイスに実行させる。

【0008】

本発明の第６の態様は、コンピュータ可読記憶媒体を提供する。当該コンピュータ可読記憶媒体には、コンピュータプログラムが記憶されており、コンピュータプログラムがプロセッサによって実行されて、第１の態様または第２の態様の方法が実現される。

【0009】

本発明の概要の部分に説明される内容は、本発明の実施例の主要な特徴または重要な特徴を限定することを意図したものではなく、本発明の範囲を限制することを意図したものでもないことを理解されたい。本発明の他の特徴は、以下の説明によって容易に理解されるようになる。

【図面の簡単な説明】

【0010】

図面と併せて以下の詳細な説明を参照すると、本発明の各実施例の上述した特徴および他の特徴、利点、および態様がより明らかになる。図面において、同じまたは類似の符号は、同じまたは類似の要素を示し、ここで、

【図1A】本発明のいくつかの実施例のウォーターマークの埋め込みを実現できる例示的な環境の概略図であり、

【図1B】本発明のいくつかの実施例のウォーターマークの抽出を実現できる例示的な環境の概略図であり、

【図2】本発明に係るいくつかの実施例のウォーターマーク埋め込みのプロセスのフローチャートであり、

【図3】本発明に係るいくつかの実施例のウォーターマーク埋め込みモデルの概略的なブロック図であり、

【図4】本発明に係るいくつかの実施例のウォーターマーク抽出のプロセスのフローチャートであり、

【図5】本発明に係るいくつかの実施例のモデルトレーニングのアーキテクチャの概略図であり、

【図6】本発明に係るいくつかの実施例のウォーターマーク埋め込みの例示的なプロセスの概略図であり、

【図7】本発明に係るいくつかの実施例のウォーターマーク抽出の例示的なプロセスの概略図であり、

【図8】本発明に係る特定の実施例のウォーターマークの埋め込みのための装置の概略的な構造のブロック図であり、

【図9】本発明に係る特定の実施例のウォーターマークの抽出のための装置の概略的な構造のブロック図であり、

【図10】本発明の１つまたは複数の実施例を実施できる電子デバイスのブロック図である。

【発明を実施するための形態】

【0011】

以下では、図面を参照して本発明の実施例をより詳細に説明する。図面では本発明の特定の実施例が示されているが、本発明は様々な形態で実現され得、本明細書に記載された実施例に限定されると解釈されるべきではなく、むしろ、これらの実施例は本発明のより徹底的かつ完全な理解のために提供されることを理解されたい。本発明の図面および実施例は、例示的な目的のためのものであり、本発明の保護範囲を限定するために使用されないことを理解されたい。

【0012】

本発明の実施例の説明において、「含む」という用語および類似の用語は、「～を含むがこれらに限定されない」というオープンエンドの包含である。「に基づく」という用語は、「少なくとも一部に基づく」であることを理解されたい。「１実施例」または「当該実施例」という用語は、「少なくとも１つの実施例」であることを理解されたい。「いくつかの実施例」という用語は、「少なくともいくつかの実施例」であることを理解されたい。以下の明細書には、明示的、暗黙的な定義が以下に含まれる場合がある。本明細書で使用される「モデル」という用語は、各データ間の関連関係を表すことができる。例えば、上述した関連関係は、現在知られているおよび／または将来開発される様々な技術的解決策に基づいて取得することができる。

【0013】

本技術的解決策に関わるデータ（データ自身、データの取得、またはデータの使用を含むがこれらに限定されない）は、対応する法令および関連指定された要件を遵守すべきであることが理解される。

【0014】

本発明の各実施例に開示された技術的解決策を使用する前に、関連法令に従って適切な方法で本発明に関わる個人情報の種類、使用範囲、使用場面等を利用者に通知して利用者の許諾を得るべきであることが理解される。

【0015】

例えば、ユーザの未承諾の要求を受信したことに応答する際には、ユーザに提示情報を送信することによって、要求された操作がユーザの個人情報の取得および使用を必要とすることをユーザに明示的に提示する。これにより、ユーザは、提示情報に基づいて、本発明の技術的解決策の操作を実行する電子デバイス、アプリケーション、サーバまたは記憶媒体などのソフトウェアまたはハードウェアに個人情報を提供するか否かを独自に選択することができる。

【0016】

選択的であるが非限定的な実現形態として、ユーザの未承諾の要求を受信したことに応答して、ユーザに提示情報を送信する方法は、例えば、ポップアップウィンドウを利用する方法であってもよく、ポップアップウィンドウ内にテキストの形態で提示情報を表示することができる。なお、ポップアップウィンドウ内には、さらに、電子デバイスに個人情報を提供することに「同意」または「同意しない」をユーザが選択するための選択コントロールが含まれてもよい。

【0017】

上述した通知およびユーザ認可取得プロセスは、あくまでも概略的なものであり、本発明の実現形態を限定するものではなく、関連法令を満たす他の方法を本発明の実現形態に適用することもできることが理解される。

【0018】

本明細書で使用される「モデル」という用語は、トレーニングデータから対応する入力と出力との間の関連関係を学習し、トレーニングが完了した後に、所与の入力に対して対応する出力を生成することができる。モデルの生成は、機械学習技術に基づくことができる。ディープラーニングは、多層の処理ユニットを用いて入力を処理し、対応する出力を提供する機械学習アルゴリズムである。ニューラルネットワークモデルは、ディープラーニングに基づくモデルの１例である。本明細書において、「モデル」は、「機械学習モデル」、「学習モデル」、「機械学習ネットワーク」、または、「学習ネットワーク」とも呼ばれてもよく、これらの用語は、本明細書においては互換可能に使用される。

【0019】

「ニューラルネットワーク」は、ディープラーニングに基づく機械学習ネットワークである。ニューラルネットワークは、入力を処理し、対応する出力を提供することができ、一般的に、入力層、出力層、および、入力層と出力層との間の１つまたは複数の隠れ層を含む。ディープラーニングアプリケーションで使用されるニューラルネットワークは、一般的に多数の隠れ層を含み、それによりネットワークの深さが増加する。ニューラルネットワークの各層は、前の層の出力が後の層の入力として提供されるように順次接続され、入力層はニューラルネットワークの入力を受信し、出力層の出力はニューラルネットワークの最終出力として機能する。ニューラルネットワークの各層は、１つまたは複数のノード（処理ノードまたはニューロンとも呼ばれる）を含み、各ノードは前の層からの入力を処理する。

通常、機械学習は大きく分けて、トレーニング段階、テスト段階、および、応用段階（推論段階とも呼ばれる）のような３つの段階を含んでもよい。トレーニング段階においては、所与のモデルは、大量のトレーニングデータを用いてモデルをトレーニングし、モデルがトレーニングデータから所望の目標を満たす一貫性のある推論を得られるようになるまで、パラメータ値を繰り返し更新する。トレーニングを通じて、モデルは、トレーニングデータから入力から出力への関連付け（入力から出力へのマッピングとも呼ばれる）を学習できると考えることができる。トレーニング後のモデルのパラメータ値が決定される。テスト段階においては、テスト入力をトレーニング後のモデルに適用し、モデルが正しい出力を提供できるかどうかをテストすることで、モデルの性能が決定される。応用段階においては、モデルは、トレーニングで得られたパラメータ値に基づいて実際の入力を処理し、対応する出力を決定するために使用されることができる。

【0020】

図１Ａは、本発明のいくつかの実施例のウォーターマークの埋め込みを実現できる例示的な環境１００Ａを示す概略図である。図１Ａに示されたように、例示的な環境１００Ａは、電子デバイス１１０を含んでもよい。

【0021】

処理すべき画像１０２は、ウォーターマークを埋め込む画像であり、任意のフォーマット、任意のサイズ、任意の色（例えば、カラー画像、白黒画像、グレースケール画像）などの画像であってもよい。処理すべき画像１０２は、電子デバイス１１０が他のデバイスから取得した画像、ローカルに記憶された画像、または、電子デバイス１１０が自身の画像収集コンポーネント（例えば、カメラ）を利用してキャプチャした画像であってもよい。

【0022】

ウォーターマーク情報１０４は、一般的に、デジタルウォーターマーク（Ｄｉｇｉｔａｌ Ｗａｔｅｒｍａｒｋｉｎｇ）とも呼ばれてもよい。ウォーターマーク情報１０４は、任意の形態の情報であってもよく、例えば、ビット列であってもよい。電子デバイス１１０は、処理すべき画像１０２およびウォーターマーク情報１０４に基づいて、処理すべき画像１０２に対する目標画像１１２を生成することができる。すなわち、電子デバイス１１０は、ウォーターマーク情報１０４を処理すべき画像１０２に埋め込むことで、目標画像１１２を生成する。特に、目標画像１１２において、ウォーターマーク情報は、不可視、すなわち人間の目には知覚できない場合がある。

【0023】

環境１００Ａにおいて、電子デバイス１１０は、端末デバイスまたはサービス側デバイスを含む、コンピューティング能力を有する任意の種類のデバイスであってもよい。端末デバイスは、任意の種類の携帯端末、固定端末または携帯端末であってもよく、携帯電話、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、メディアコンピュータ、マルチメディアタブレット、個人通信システム（ＰＣＳ）デバイス、パーソナルナビゲーションデバイス、パーソナルデジタルアシスタント（ＰＤＡ）、オーディオ／ビデオプレーヤー、デジタルカメラ／ビデオカメラ、測位デバイス、テレビ受信機、ラジオ放送受信機、電子書籍デバイス、ゲームデバイスまたはこれらの任意の組み合わせを含み、これらのデバイスの付属品および周辺機器またはその任意の組み合わせを含む。

【0024】

サービス側デバイスは、独立した物理サーバであってもよいし、複数の物理サーバで構成されるサーバクラスタまたは分散システムであってもよいし、さらに、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウド記憶、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメインネームサービス、セキュリティサービス、コンテンツ配信ネットワーク、ビックデータや手作業知能プラットフォームなどの、基本的なクラウドコンピューティングサービスを提供するクラウドサーバであってもよい。サービス側デバイス例えば、メインフレーム、エッジコンピューティングノード、クラウド環境における電子デバイスなどの、コンピューティングシステム／サーバを含んでもよい。

【0025】

図１Ｂは、本発明のいくつかの実施例のウォーターマークの抽出を実現できる例示的な環境１００Ｂを示す概略図である。図１Ｂに示されたように、例示的な環境１００Ｂは、電子デバイス１２０を含んでもよい。

【0026】

抽出すべき画像１０６は、ウォーターマークが埋め込まれている可能性のある画像である。抽出すべき画像１０６は、例えば、任意のフォーマット、任意のサイズ、任意の色などの任意の画像であってもよい。抽出すべき画像１０６は、電子デバイス１２０が通信を介して他のデバイスから取得した画像、または、電子デバイス１２０のローカルに記憶された画像であってもよい。電子デバイス１２０は、抽出すべき画像１０６からウォーターマーク情報１２２を抽出することができる。抽出されたウォーターマーク情報１２２をさらに検証することで、抽出されたウォーターマークが正しいウォーターマークであるか否かを判定することができる。

【0027】

環境１００Ａにおける電子デバイス１１０と同様に、環境１００Ｂにおける電子デバイス１２０も、端末デバイスまたはサービス側デバイスを含む、コンピューティング能力を有する任意の種類のデバイスであってもよい。いくつかの実施例において、電子デバイス１１０と電子デバイス１２０は、同じデバイスであってもよい。例えば、処理すべき画像１０２の所有者は、同じデバイスを使用して処理すべき画像１０２に対するウォーターマーク埋め込みおよび取得された抽出すべき画像１０６に対するウォーターマーク抽出を実行することができる。いくつかの実施例において、電子デバイス１１０と電子デバイス１２０は、異なるデバイスであってもよい。例えば、画像の所有者は、電子デバイス１１０を使用して画像内にウォーターマークを埋め込むことができ、画像の使用者は、電子デバイス１２０を使用して画像内のウォーターマーク情報を抽出することで、画像の偽造を検証することができる。

【0028】

図１Ａおよび図１Ｂに示された環境１００Ａおよび環境１００Ｂにおける構成要素および配置は例示的なものに過ぎないことを理解されたい。本発明に説明される例示的な実施例を実現するのに適したコンピューティングシステムは、１つまたは複数の異なる構成要素、他の構成要素および／または異なる配置方式を含んでもよい。

【0029】

前述のように、画像に人間の目には知覚できないウォーターマーク情報を追加することができ、暗黒ウォーターマークとも呼ばれる。その結果、画像の通常の使用に影響を与えることなく、所望の目的を達成することができ、例えば、漏洩トレーサビリティおよび著作権保護の目的を達成することができる。暗黒ウォーターマーク技術の従来の解決策は、主に、画像処理に基づく解決策およびディープラーニングに基づく解決策を含む。画像処理に基づく解決策は、画像の異なる特徴情報に対して手作業で設計する必要があることが多い。したがって、このような解決策は、操作が複雑であり、様々な変化に対する画像のロバスト性を考慮することができない。ディープラーニングに基づく解決策は、エンコーダ・デコーダモデルをトレーニングしてウォーターマークの埋め込みおよび抽出を実現し、トレーニングプロセスに画像の変化を導入してさらにデータを強調することで、埋め込みウォーターマークのロバスト性を向上させる。しかしながら、従来のディープラーニングに基づく解決策は、モデル入力サイズと一貫性のある画像に対してしかウォーターマーク埋め込むことができないし、視覚的効果とロバスト性のバランスを取ることができない。

【0030】

本発明に係る例示的な実施例は、ウォーターマークの埋め込みおよびウォーターマークの抽出ための改善された解決策を提供する。当該解決策によると、ウォーターマーク埋め込み側においては、処理すべき画像から認識されたキーポイントに基づいて処理すべき画像ブロックを決定する。ウォーターマーク情報を処理すべき画像ブロックに埋め込むことで、目標画像ブロックを生成することができる。さらに、処理すべき画像内で処理すべき画像ブロックを目標画像ブロックに置き換えることで、ウォーターマーク情報が埋め込まれている目標画像を得ることができる。ウォーターマーク抽出側においては、処理すべき画像から認識されたキーポイントに基づいて目標画像ブロックを決定し、目標画像ブロックからウォーターマーク情報を抽出することができる。

【0031】

本発明の実施例において、キーポイントを利用してウォーターマークを埋め込むための画像ブロックを決定する。画像が変化（例えば、圧縮、ノイズ付加、回転など）される際にキーポイントは明らかな変化が発生しないため、ウォーターマーク埋め込みのロバスト性を向上させることができる。これに応じて、ウォーターマークを抽出する際には、キーポイントを利用してウォーターマークを抽出するための画像ブロックを決定する。これにより、ウォーターマークが含まれている可能性のある画像領域を信頼的に位置決めすることができる。なお、本発明の実施例において、ウォーターマークの埋め込みおよび抽出は、画像全体ではなく、画像ブロックを単位として実行する。当該方法によると、任意の解像度の画像を処理することができ、それにより、広範な適用性を有するウォーターマークの埋め込みおよび抽出の解決策を実現する。

【0032】

以下では、引き続き図面を参照して本発明のいくつかの例示的な実施例を説明する。

【0033】

図２は、を示す本発明に係るいくつかの実施例のウォーターマーク埋め込みのプロセス２００のフローチャートを示す。プロセス２００は、電子デバイス１１０において実現されてもよい。議論を容易にするために、図１Ａの環境１００Ａを参照して、プロセス２００を説明する。

【0034】

ボックス２１０において、電子デバイス１１０は、処理すべき画像１０２内で認識された１セットのキーポイントに基づいて、処理すべき画像１０２内の少なくとも１つの処理すべき画像ブロックを決定する。本発明の実施例において、キーポイントは、特徴点と呼ばれてもよく、視覚的な特徴性質を持つ１つまたは複数のピクセルを意味する。いくつかの実施例において、キーポイントは、コーナーポイントであってもよく、特定の属性上で特に強調される１つまたは複数のピクセルを表す。例えば、キーポイントは、特定の属性の極値ポイントであってもよい。処理すべき画像ブロックは、１２８*１２８などの所定のサイズを有することができる。

【0035】

いくつかの実施例において、これらのキーポイントは、電子デバイス１１０によって認識されてもよい。電子デバイス１１０は、キーポイント検出アルゴリズムを利用して処理すべき画像１０２のキーポイントを決定することができる。任意の適切なキーポイント検出アルゴリズムを採用することができ、例えば、加速セグメンテーション試験による特徴（ＦＡＳＴ）アルゴリズム、スケール不変特徴変換（ＳＩＦＴ）アルゴリズム、方向性ＦＡＳＴ、および、回転二値ロバスト基本特徴（ＯＲＢ）アルゴリズムを採用することができるがこれらに限定されない。いくつかの実施例において、電子デバイス１１０は、ＯＲＢキーポイント検出アルゴリズムを利用して処理すべき画像１０２のキーポイントを決定することができる。ＯＲＢキーポイント検出アルゴリズムは、より良いロバスト性を有し、例えば、処理すべき画像に圧縮、ノイズ付加、トリミング、パンニング、回転などの様々な画像処理操作が施されたとしても、ＯＲＢキーポイント検出アルゴリズムを利用して決定されたキーポイントは、明らかな変化が発生されない。したがって、このような実施例において、ＯＲＢアルゴリズムを利用すると、ウォーターマーク埋め込みのロバスト性のさらなる向上に役立つ。

【0036】

いくつかの実施例において、電子デバイス１１０は、さらに、トレーニングされたキーポイント検出モデルを利用して処理すべき画像１０２内のキーポイントを決定することができる。具体的な種類のモデル構造は、実際の応用ニーズに応じて選択することができる。いくつかの実施例において、処理すべき画像１０２内のキーポイントは、他のデバイスによって認識されてもよいし、また、電子デバイス１１０は、当該デバイスから、認識されたキーポイントに関する情報を取得することができる。

【0037】

様々な適切な形態でキーポイントに基づいて処理すべき画像ブロックを決定することができる。いくつかの実施例において、電子デバイス１１０は、直接、当該セットのキーポイントに基づいて処理すべき画像１０２内の対応する位置で、処理すべき画像１０２内の少なくとも１つの処理すべき画像ブロックを決定することができる。例示的に、電子デバイス１１０は、処理すべき画像１０２内で各キーポイントをそれぞれ中心とする１セットの画像ブロックを１セットの処理すべき画像ブロックとして決定することができる。

【0038】

いくつかの実施例において、処理すべき画像ブロックを決定するために、キーポイントの特徴値が考慮されてもよい。特徴値を利用して認識されたキーポイントを選別し、次いで、選別後のキーポイントに基づいて処理すべき画像ブロックを決定することができる。電子デバイス１１０は、さらに、１セットのキーポイントを決定する同時に、各キーポイントの特徴値を決定することができる。特徴値は、対応するキーポイントのロバスト性を表すことができ、すなわち画像が変化される際に当該点がキーポイントとして検出される確率を表す。例示的に、電子デバイス１１０は、ＯＲＢキーポイント検出アルゴリズムを利用して処理すべき画像１０２内の１セットのキーポイントおよび各キーポイントの対応する特徴値を決定することができる。

【0039】

電子デバイス１１０は、認識された当該セットのキーポイントの対応する特徴値および処理すべき画像１０２内の対応する位置に基づいて、処理すべき画像１０２内の１セットの候補画像ブロックを決定することができる。例えば、当該セットのキーポイントの対応する特徴値に基づいて当該セットのキーポイントをソートすることができる。選別して得られるキーポイントのロバスト性を確保するために、電子デバイス１１０は、当該セットのキーポイントの対応する特徴値の高低に基づいてこの１セットのキーポイントを降順にソートすることができる。すなわち、上位のキーポイントの対応する特徴値はより高く、下位のキーポイントの対応する特徴値はより低い。各キーポイントについて、電子デバイス１１０は、処理すべき画像１０２内で当該キーポイントを含む所定のサイズ（例えば、１２８*１２８）の画像ブロックを決定することができる。例えば、電子デバイス１１０は、処理すべき画像内で当該セットのキーポイントのうちの各キーポイントをそれぞれ中心とする１セットの画像ブロックを決定することができる。電子デバイス１１０は、さらに、キーポイントのソート結果に基づいて、キーポイントに対応する特徴値がより高い画像ブロックから順番に当該セットの画像ブロックを選別することができる。これに応じて、特徴値がより高いキーポイントに対応する画像ブロックは、候補画像ブロックとして決定されてもよい。

【0040】

上述した形態で決定された候補画像ブロックは、複数のキーポイントを含む場合があり、また、異なる候補画像ブロックは、重畳される場合がある。いくつかの実施例において、キーポイントの特徴値に基づいて選別する際に、画像ブロック間の重畳性を考慮することで、異なる候補画像ブロックが互いに重畳されない１セットの候補画像ブロックを得ることができる。例示的に、電子デバイス１１０は、交差・合併比率（ＩＯＵ）アルゴリズムを利用して画像ブロックが重畳されるか否かを判断することができる。

【0041】

さらに、電子デバイス１１０は、当該セットの候補画像ブロックから少なくとも１つの処理すべき画像ブロックを決定することができる。いくつかの実施例において、これらの候補画像ブロックを直接処理すべき画像ブロックとして決定することができる。いくつかの実施例において、キーポイントに対応する特徴値のソート結果に基づいて、当該セットの候補画像ブロックから処理すべき画像ブロックを決定することができ、例えば、所定の数の候補画像ブロックを処理すべき画像ブロックとして選択することができる。ウォーターマークを埋め込んで得られる最終的な目標画像の視覚的効果を確保するために、処理すべき画像ブロックの数はあまり多くすべきではないことに留意されたい。例示的に、電子デバイス１１０は、１セットの候補画像ブロックのうちの、キーポイントに対応する特徴値がトップ１０にソートされた候補画像ブロックをそれぞれ処理すべき画像ブロックとして決定することができる。

【0042】

視覚的効果を向上させるために、いくつかの実施例において、電子デバイス１１０は、さらに、当該セットの候補画像ブロックのうちの各候補画像ブロックのテクスチャ複雑度を決定することができる。テクスチャ複雑度が高いほど、人間の目が対応する画像ブロックの変化を知覚することがより困難になる。例えば、電子デバイス１１０は、任意の適切なテクスチャ計算アルゴリズムを利用して各候補画像ブロックのテクスチャ複雑度を決定することができる。テクスチャ計算アルゴリズムは、例えば、局所バイナリモード（ＬＢＰ）アルゴリズム、最小知覚可能誤差（ＪＮＤ）アルゴリズムなどを含んでもよい。例示的に、電子デバイス１１０は、ＪＮＤアルゴリズムを利用して各候補画像ブロックのテクスチャ複雑度を決定することができる。代替的または追加的に、いくつかの実施例において、電子デバイス１１０は、さらに、トレーニングされたテクスチャ計算モデルを利用して各候補画像ブロックのテクスチャ複雑度を決定することができる。具体的な種類のモデル構造は、実際の応用ニーズに応じて選択されてもよい。

【0043】

その後、電子デバイス１１０は、候補画像ブロックの対応するテクスチャ複雑度に基づいて、当該セットの候補画像ブロックから少なくとも１つの処理すべき画像ブロックを選択することができる。いくつかの実施例において、電子デバイス１１０は、対応するテクスチャ複雑度に基づいて当該セットの候補画像ブロックを降順にソートし、さらに、ソート結果に基づいて当該セットの候補画像ブロックから所定の数の候補画像ブロックを処理すべき画像ブロックとして選択することができる。例えば、電子デバイス１１０は、当該セットの候補画像ブロックから対応するテクスチャ複雑度がトップ１０にいる候補画像ブロックを選択いし、この１０個の候補画像ブロックを処理すべき画像ブロックとして決定することができる。いくつかの実施例において、電子デバイス１１０は、当該セットの候補画像ブロックの対応するテクスチャ複雑度を閾値と比較し、比較結果に基づいて１セットの候補画像ブロックから処理すべき画像ブロックを選択することができる。閾値は、ユーザによって事前に電子デバイス１１０に入力されてもよいし、電子デバイス１１０によって自ら決定されてもよい。電子デバイス１１０は、テクスチャ複雑度が閾値よりも高い候補画像ブロックを処理すべき画像ブロックとして決定することができる。

【0044】

テクスチャ複雑度が高いほど、人間の目が画像の変化を知覚することが困難になる。これに鑑みて、テクスチャ複雑度が高い画像ブロックを選択してウォーターマークに埋め込むと、人間の目が知覚することが困難である埋め込みウォーターマークを得ることに役立つ。このようにすると、得られる目標画像の視覚的効果の向上に役立つことができる。

【0045】

代替的または追加的に、いくつかの実施例において、テクスチャ複雑度に加えて、画像ブロックの他の属性に基づいて、候補画像ブロックから処理すべき画像ブロックを選択することができる。例示的に、各候補画像ブロックの色複雑度を決定することができ、例えば色が多いほど、複雑度が高くなり、および／または、色分布が乱雑になるほど、複雑度が高くなる。そして、色複雑度が高い所定の数の候補画像ブロックを処理すべき画像ブロックとして選択することができる。テクスチャ複雑度と同様に、色の複雑度が高いほど、人間の目が画像の変化を知覚することが困難になる。当該方法によると、得られる目標画像の視覚的効果の向上に役立つことができる。

【0046】

以上の説明に関わる画像ブロックの具体的な数およびサイズは、例示的なものに過ぎず、本発明の範囲を制限することを意図しないことを理解されたい。画像ブロックの他の適切な数およびサイズも可能である。

【0047】

プロセス２００を続ける。ボックス２２０において、電子デバイス１１０は、ウォーターマーク情報１０４および少なくとも１つの処理すべき画像ブロックに基づいて、少なくとも１つの処理すべき画像ブロックにそれぞれ対応する少なくとも１つの目標画像ブロックを生成する。各目標画像ブロックにはウォーターマーク情報１０４の少なくとも一部が埋め込まれている。例えば、各目標画像ブロックには、完全のウォーターマーク情報１０４が埋め込まれていてもよい。また例えば、ウォーターマーク情報１０４は、異なる部分に分割されてもよく、各目標画像ブロックにはこれらの部分のうちの１つまたは複数の部分が埋め込まれていてもよい。本発明の実施例は、この点において限定されない。

【0048】

電子デバイス１１０は、任意の適切なウォーターマーク埋め込み技術を採用して、ウォーターマーク情報および処理すべき画像ブロックに基づいて対応する目標画像ブロックを生成することができる。ウォーターマーク埋め込み技術例えば、オーバーレイ技術、最小有効ビット技術（ＬＳＢ）、量子化インデックス変調技術（ＱＩＭ）、ウェーブレット変換技術などを含んでもよいがこれらに限定されない。

【0049】

いくつかの実施例において、電子デバイス１１０は、トレーニングされた１つまたは複数の機械学習モデルを利用して、目標画像ブロックを生成することができる。機械学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）、フィードフォワードニューラルネットワーク（ＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）などを含んでもよい。トレーニングされたモデルは、電子デバイス１１０に配備されてもよいし、電子デバイス１１０によってアクセス可能な他のデバイスに配備されてもよい。

【0050】

いくつかの実施例において、ウォーターマーク情報と画像ブロックとの十分な融合をさらに確保してウォーターマーク埋め込みのロバスト性を向上させるために、電子デバイス１１０は、ウォーターマーク情報と画像ブロックとのマルチレベルのスティッチングを通じてウォーターマーク埋め込みを実現してもよい。例えば、ウォーターマーク情報１０４（例えば、バイナリストリングで表される）をベクトル化またはトークン化（ｔｏｋｅｎｉｚａｔｉｏｎ）することで、ウォーターマーク情報１０４の特徴を得ることができ、これは、ウォーターマーク情報１０４のベクトル化表現として見なすことができ、ウォーターマーク特徴と呼ばれてもよい。いくつかの実施例において、バイナリのウォーターマーク情報に対してボース・レイ・チャドフーリー・ホックホルム（ＢＣＨ）コード使用してエラー訂正ビットを追加することにより、ウォーターマークバイナリストリングを得ることができる。例示的に、限定するものではないが、２４ビットのエラー訂正ビットを含み得る、６４ビットのウォーターマークバイナリストリングを得ることができる。次いで、エラー訂正ビットが追加されたウォーターマークバイナリストリングの特徴を決定することができる。

【0051】

これに応じて、各処理すべき画像ブロックについて、処理すべき画像ブロックに対して特徴抽出を実行することにより、処理すべき画像ブロックの特徴を得る。任意の適切な特徴抽出アルゴリズムも可能である。さらに、電子デバイス１１０は、ウォーターマーク情報１０４の特徴と処理すべき画像ブロックの特徴とに基づいて、ウォーターマーク情報と処理すべき画像ブロックとの融合特徴を生成することができる。ことが理解される、ウォーターマーク情報１０４の特徴と処理すべき画像ブロックの特徴とを特徴融合する前に、電子デバイス１１０は、まず、ウォーターマーク特徴と処理すべき画像ブロックの特徴とを同じ次元を有するように調整することができる。

【0052】

電子デバイス１１０は、さらに、融合特徴、ウォーターマーク特徴、および、処理すべき画像ブロックに基づいて、目標画像ブロックを生成することができる。いくつかの実施例において、電子デバイス１１０は、融合特徴、ウォーターマーク特徴、および、処理すべき画像ブロックの特徴を複数回融合することにより、目標画像ブロックを得ることができる。いくつかの実施例において、電子デバイス１１０は、トレーニングされたウォーターマーク埋め込みモデルを利用してウォーターマーク情報の画像ブロックへの埋め込みを実現することができる。以下の図３を参照してこのような例示的な実施例を説明する。

【0053】

図３は、本発明に係るいくつかの実施例のウォーターマーク埋め込みモデル３００の概略的なブロック図を示す。図３に示されたように、ウォーターマーク埋め込みモデル３００は、線形層３１０、特徴抽出層３２０－１、特徴抽出層３２０－２（まとめて特徴抽出層３２０とも呼ばれる）、および、特徴融合層３３０－１、３３０－２、３３０－３、３３０－４、３３０－５（まとめて特徴融合層３３０とも呼ばれる）を含む。いくつかの実施例において、特徴抽出層３２０および特徴融合層３３０は、多層チャネル注目（ＳｅＮｅｔ）層、畳み込み層（Ｃｏｎｖ）、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、正規化（ＢＮ）層、活性化（Ｒｅｌｕ）層における少なくとも１つまたは複数を含んでもよい。全体として、ウォーターマーク埋め込みモデル３００は、ウォーターマーク情報特徴を抽出するための部分（当該例では線形層３１０および特徴抽出層３２０－１を含む）、画像ブロックの特徴を抽出するための部分（当該例では特徴抽出層３２０－２を含む）、ウォーターマーク情報と画像ブロックとをマルチレベルのスティッチングを実行するための部分（当該例では特徴融合層３３０－１、特徴融合層３３０－２、および、特徴融合層３３０－３を含む）を含んでもよい。

【0054】

図３に示されたウォーターマーク情報３０１は、ウォーターマーク情報１０４の例として見なすことができ、処理すべき画像ブロック３０３は、ボックス２０１で決定された処理すべき画像ブロックの例として見なすことができる。ウォーターマーク情報３０１および処理すべき画像ブロック３０３は、ウォーターマーク埋め込みモデル３００に入力される。ウォーターマーク埋め込みモデル３００は、線形層３１０および特徴抽出層３２０－１を通じてウォーターマーク情報３０１のウォーターマーク特徴３０２を得る。例示的に、線形層３１０は、簡単な完全連結ニューラルネットワークであってもよい。ウォーターマーク埋め込みモデル３００は、特徴抽出層３２０－２を通じて処理すべき画像ブロックの特徴３０４を得る。ウォーターマーク特徴３０２および処理すべき画像ブロックの特徴３０４は、融合特徴を得るために、特徴融合層３３０－１に一緒に提供されてもよい。

【0055】

最終的に得られる目標画像ブロック３０５におけるウォーターマーク情報３０１の表現能力を強調するために、いくつかの実施例において、ウォーターマーク埋め込みモデル３００は、融合特徴およびウォーターマーク特徴３０２に基づいて、ウォーターマーク情報３０１で強調された中間特徴を生成することができる。図３に示されたように、特徴融合層３３０－１によって出力された融合特徴とウォーターマーク特徴３０２は、ウォーターマーク情報３０１で強調された第１中間特徴を得るために、特徴融合層３３０－２に一緒に提供されてもよい。特徴融合層３３０－２によって出力された第１中間特徴とウォーターマーク特徴３０２は、ウォーターマーク情報３０１で強調された第２中間特徴を得るために、特徴融合層３３０－３に一緒に提供されてもよい。

【0056】

さらに、ウォーターマーク情報で強調された中間特徴と処理すべき画像ブロック３０３とを組み合わせて、目標画像ブロック３０５を生成することができる。いくつかの実施例において、目標画像ブロック３０５と処理すべき画像ブロック３０３との間の類似度がより高いことを確保するために、ウォーターマーク埋め込みモデル３００は、さらに、中間特徴と処理すべき画像ブロック３０３に基づいて目標画像ブロック３０５を生成することができ、このようにして生成された目標画像ブロック３０５は処理すべき画像ブロック３０３で強調されたものである。図３に示されたように、特徴融合層３３０－３によって出力された第２中間特徴と処理すべき画像ブロック３０３は、第１目標特徴を得るために、特徴融合層３３０－４に一緒に提供されてもよい。特徴融合層３３０－４によって出力された第１目標特徴と処理すべき画像ブロック３０３は、目標画像ブロック３０５を得るために、特徴融合層３３０－５に一緒に提供されてもよい。

【0057】

当該方法によると、ウォーターマーク情報と処理すべき画像ブロックとが十分に融合され得、ウォーターマーク埋め込みのロバスト性の向上に役立つ。図３に示されたウォーターマーク埋め込みモデルの層の種類、数、および、接続関係は、例示的なものに過ぎず、本発明の範囲を制限することを意図しないことを理解されたい。任意の適切な構造を採用してウォーターマーク埋め込みモデルを実現することができる。

【0058】

上記では、まずウォーターマーク情報で融合特徴を強調し、次いで処理すべき画像ブロックで強調する例を説明した。いくつかの別の実施例において、他の形態を採用して、融合特徴、ウォーターマーク情報の特徴、および、処理すべき画像ブロックの特徴に基づいて、目標画像ブロックを生成することも可能である。例えば、融合特徴、ウォーターマーク情報の特徴、および、処理すべき画像ブロックの特徴を一緒にスティッチングし、次いでスティッチング後の特徴を利用して目標画像ブロックを生成することができる。

【0059】

図２の参照に戻る。ボックス２１０で決定された少なくとも１つの処理すべき画像ブロックにおける各処理すべき画像ブロックについて、電子デバイス１１０は、いずれも上述したのウォーターマーク埋め込みモデル３００を利用して対応する目標画像ブロックを生成し、さらに少なくとも１つの目標画像ブロックを得ることができる。

【0060】

ボックス２３０において、電子デバイス１１０は、処理すべき画像１０２内で少なくとも１つの処理すべき画像ブロックをそれぞれ少なくとも１つの目標画像ブロックに置き換え、処理すべき画像１０２に対する目標画像１１２を生成する。各処理すべき画像ブロックについて、電子デバイス１１０は、当該処理すべき画像ブロックを生成された対応する目標画像ブロックに置き換えることにより、目標画像１１２を得ることができる。目標画像ブロックにウォーターマーク情報が埋め込まれているため、置き換えた後の、目標画像ブロックを含む目標画像１１２は、ウォーターマーク情報が埋め込まれている画像である。

【0061】

上記では、本発明のウォーターマーク埋め込みのいくつかの例示的な実施例を説明した。全体として、画像内のキーポイントを利用してウォーターマークの埋め込みのための画像ブロックを決定することができる。当該方法によると、ロバスト性が高く、適用範囲が広いウォーターマーク埋め込みを実現することができる。なお、ウォーターマークを画像全体に埋め込む場合と比較すると、本解決策は、ウォーターマークを人間の目には知覚できない一部の領域に埋め込むため、視覚的効果だけでなく、画像データ量の増大に対しても明らかな改善効果がある。以下では、引き続き図面と併せて本発明のウォーターマーク抽出のいくつかの例示的な実施例を説明する。

【0062】

図４は、本発明に係るいくつかの実施例のウォーターマーク抽出のプロセス４００のフローチャートを示す。プロセス４００は、電子デバイス１２０において実現されてもよい。議論を容易にするために、図１Ｂの環境１００Ｂを参照してプロセス２００を説明する。

【0063】

ボックス４１０において、電子デバイス１２０は、抽出すべき画像１０６内で認識された１セットのキーポイントに基づいて、抽出すべき画像１０６内の少なくとも１つの目標画像ブロックを決定する。処理すべき画像１０２内のキーポイントの認識と同様に、電子デバイス１２０は、任意の適切なキーポイント検出アルゴリズムまたはトレーニングされたキーポイント検出モデルを利用して、抽出すべき画像１０６内の１セットのキーポイントを決定することができる。ここでは、これ以上抽出すべき画像１０６内のキーポイントの認識に対して説明しない。

【0064】

様々な適切な形態でキーポイントに基づいて目標画像ブロックを決定することができる。いくつかの実施例において、電子デバイス１２０は、直接抽出すべき画像１０６における当該セットのキーポイントの対応する位置に基づいて、抽出すべき画像１０６内の少なくとも１つの目標画像ブロックを決定することができる。例示的に、電子デバイス１２０は、抽出すべき画像１０６内の各キーポイントをそれぞれ中心とする１セットの画像ブロックを１セットの目標画像ブロックとして決定することができる。

【0065】

いくつかの実施例において、目標画像ブロックを決定するために、キーポイントの特徴値が考慮されてもよい。特徴値を利用して認識されたキーポイントを選別し、次いで、選別後のキーポイントに基づいて目標画像ブロックを決定することができる。電子デバイス１２０は、さらに、１セットのキーポイントを決定する同時に、各キーポイントの特徴値を決定することができる。特徴値は、対応するキーポイントのロバスト性を表すことができ、すなわち画像が変化される際に当該点がキーポイントとして検出される確率を表す。例示的に、電子デバイス１２０は、ＯＲＢキーポイント検出アルゴリズムを利用して抽出すべき画像１０６内の１セットのキーポイントおよび各キーポイントの対応する特徴値を決定することができる。

【0066】

電子デバイス１２０は、認識された当該セットのキーポイントの対応する特徴値と抽出すべき画像１０６における対応する位置に基づいて、抽出すべき画像１０６内の１セットの候補画像ブロックを決定することができる。例えば、当該セットのキーポイントの対応する特徴値に基づいて当該セットのキーポイントをソートすることができる。選別して得られるキーポイントのロバスト性を確保するために、電子デバイス１２０は、当該セットのキーポイントの対応する特徴値の高低に基づいてこの１セットのキーポイントを降順にソートすることができる。すなわち、上位のキーポイントの対応する特徴値はより高く、下位のキーポイントの対応する特徴値はより低い。各キーポイントについて、電子デバイス１２０は、抽出すべき画像１０６内で当該キーポイントを含む第１サイズ（例えば、６４*６４）の画像ブロックを決定することができる。例えば、電子デバイス１２０は、抽出すべき画像１０６内の当該セットのキーポイントのうちの各キーポイントをそれぞれ中心とする１セットの画像ブロックを決定することができる。電子デバイス１２０は、さらに、キーポイントのソート結果に基づいて、キーポイントに対応する特徴値がより高い画像ブロックから順番に当該セットの画像ブロックを選別することができる。これに応じて、特徴値がより高いキーポイントに対応する画像ブロックは、候補画像ブロックとして決定されてもよい。

【0067】

上述した形態で決定された候補画像ブロックは、複数のキーポイントを含む場合があり、また、異なる候補画像ブロックは、重畳される場合がある。いくつかの実施例において、キーポイントの特徴値に基づいて選別する際に、画像ブロック間の重畳性を考慮することで、異なる候補画像ブロックが互いに重畳されない１セットの候補画像ブロックを得ることができる。例示的に、電子デバイス１１０は、ＩＯＵアルゴリズムを利用して画像ブロックが重畳するか否かを判断することができる。

【0068】

さらに、電子デバイス１２０は、当該セットの候補画像ブロックから少なくとも１つの目標画像ブロックを決定することができる。いくつかの実施例において、これらの候補画像ブロックを直接処理すべき画像ブロックとして決定することができる。いくつかの実施例において、キーポイントに対応する特徴値のソート結果に基づいて、当該セットの候補画像ブロックから目標画像ブロックを決定することができ、例えば、所定の数の候補画像ブロックを目標画像ブロックとして選択することができる。ウォーターマーク埋め込みプロセスにおいて選択する処理すべき画像ブロックの数と比較すると、ウォーターマーク抽出プロセスにおいて選択する目標画像ブロックの数がより大きいことに留意されたい。当該方法によると、埋め込む際に使用されるキーポイントにヒットする確率を向上させることができる。例示的に、電子デバイス１２０は、１セットの候補画像ブロック内でキーポイントに対応する特徴値をトップ５０をソートして５０個の候補画像ブロックを目標画像ブロックとして決定することができる。

【0069】

いくつかの実施例において、目標画像ブロックのサイズは、候補画像ブロックのサイズよりも大きくてもよい。候補画像ブロックが第１サイズを有し、目標画像ブロックが第２サイズを有すると、第２サイズは第１サイズよりも大きい。このような実施例において、各候補画像ブロックについて、電子デバイス１２０は、抽出すべき画像１０６における当該候補画像ブロックの位置に基づいて、抽出すべき画像１０６内で、当該候補画像ブロック内のキーポイントを含むとともに、第２サイズを有する画像ブロックを目標画像ブロックとして決定することができる。例えば、当該キーポイントを中心とするともに第２サイズを有する画像ブロックを目標画像ブロックとして決定することができる。例示的に、候補画像ブロックが６４*６４の第１サイズを有すると、目標画像ブロックは１２８*１２８の第２サイズを有してもよい。在このような例において、各キーポイントを中心とするともにサイズが１２８*１２８である画像領域を目標画像ブロックとして決定することができる。このような実施例において、候補画像ブロックと対応する目標画像ブロックは、同じ中心を有することができ、例えば、中心は対応するキーポイントであってもよい。なお、異なる候補画像ブロックは互いに重畳されないが、異なる目標画像ブロックは重畳されてもよい。

【0070】

プロセス４００を続ける。ボックス４２０において、電子デバイス１２０は、それぞれ少なくとも１つの目標画像ブロックに基づいて、抽出すべき画像１０６に埋め込まれたウォーターマーク情報１２２を決定する。すなわち、これらの目標画像ブロックからそれぞれウォーターマーク情報を抽出することができる。例えば、複数の目標画像ブロックが存在すると、複数のバイナリウォーターマーク列を得ることができる。その後、訂正アルゴリズム（例えば、ＢＣＨ訂正アルゴリズム）を利用して検証し、検証に成功したウォーターマーク列を正しいウォーターマーク列とすることができる。

【0071】

ボックス４２０において、電子デバイス１２０は、任意の適切なウォーターマーク抽出技術を採用して、目標画像ブロックからウォーターマーク情報を抽出することができる。ウォーターマーク抽出技術は、例えば、最小有効ビット技術（ＬＳＢ）、離散コサイン変換（ＤＣＴ）などを含んでもよいがこれらに限定されない。

【0072】

いくつかの実施例において、電子デバイス１２０は、トレーニングされた１つまたは複数の機械学習モデルを利用して、ウォーターマーク情報１２２を抽出することができる。ニューラルネットワークは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）、フィードフォワードニューラルネットワーク（ＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）などを含んでもよい。これらのトレーニングされたモデルは、電子デバイス１２０に配備されてもよいし、電子デバイス１２０によってアクセス可能な他のデバイスに配備されてもよい。特に、いくつかの実施例において、ウォーターマークの抽出のための機械学習モデルは、ウォーターマークの埋め込みのための機械学習モデルと一緒にトレーニングされてもよい。

【0073】

上記では、本発明のウォーターマーク抽出のいくつかの例示的な実施例を説明した。全体として、画像内のキーポイントを利用してウォーターマークの抽出のための画像ブロックを決定することができる。当該方法によると、ウォーターマーク抽出を便利かつ迅速に実現できる同時に、ウォーターマーク抽出の精度を確保することができる。

【0074】

上述したように、いくつかの実施例において、電子デバイス１１０は、トレーニングされたウォーターマーク埋め込みモデルを利用してウォーターマークを処理すべき画像ブロックに埋め込むことができ、また、電子デバイス１２０は、トレーニングされたウォーターマーク抽出モデルを利用して目標画像ブロックからウォーターマークを抽出することができる。いくつかの実施例において、ウォーターマーク埋め込みモデルとウォーターマーク抽出モデルは、一緒にトレーニングされてもよい。

【0075】

図５は、本発明に係るいくつかの実施例のモデルトレーニングのアーキテクチャ５００の概略図を示す。図５に示されたように、アーキテクチャ５００は、ウォーターマーク埋め込みモデル５１０（例えば、ウォーターマーク埋め込みモデル３００）と、変換モジュール５２０と、ウォーターマーク抽出モデル５３０と、を備える。

【0076】

参照ウォーターマーク情報５０２および第１画像５０４は、ウォーターマーク埋め込みモデル５１０に入力される。ウォーターマーク埋め込みモデル５１０は、参照ウォーターマーク情報を５０２第１画像５０４に埋め込んで、第２画像５１４を得る。

【0077】

変換モジュール５２０は、第２画像５１４に対して複数の変換操作を実行して第３画像５２４を生成することができる。すなわち、変換モジュール５２０を利用して第２画像５１４を第３画像５２４に変化する。実行する複数の変換操作は、候補変換操作のうちの２つまたは複数の任意の組み合わせであってもよい。候補変換操作の例は、圧縮、ノイズ付加（例えば、高斯ノイズ付加）、トリミング、色変換、回転、スケーリングなどを含んでもよいがこれらに限定されない。１回の順伝播で複数の変換操作のランダムな組み合わせを採用することができる。当該方法によると、モデルに画像変化に抵抗する能力を持たせることができ、モデルのロバスト性を効果的に向上させた。

【0078】

いくつかの実施例において、複数の変換操作における各変換操作による第２画像５１４の変化程度は、一定のままであってもよい。いくつかの別の実施例において、複数の変換操作のうちの少なくとも１つの変換操作による第２画像５１４の変化程度は、トレーニングラウンド数の増加するにつれて増加する。例えば、変化程度は、線形成長モードであってもよい。変換操作による第２画像５１４の変化程度は、変換操作の強度係数に関連付けられる。変化程度がトレーニングラウンド数の増加するにつれて増加することは、変換操作の強度がトレーニングラウンド数が増加するにつれて線形成長する可能性があることを意味する。例えば、変換操作がトリミングであると、トリミングの割合は、トレーニングラウンド数の増加するにつれて増加されてもよい。また例えば、変換操作がノイズ付加であると、追加される噪声の量または強度はトレーニングラウンド数の増加するにつれて増加されてもよい。１例として、各ラウンドのトレーニングにおいて複数の変換操作から１つまたは複数の変換操作を選択して、その変化程度を増加することができる。別の１例として、各ラウンドのトレーニングにおいていずれも各変換操作の変化程度が増加されてもよい。

【0079】

その結果、モデルトレーニングの初期段階では、より弱い変換操作を使用してトレーニングし、トレーニングラウンド数が増加するにつれて、変換操作の強度を増加させることにより、モデルを収束しやすくし、モデルのトレーニング効果を向上させることができる。これは漸進的なデータ強調ポリシーとして見なすことができ、異なる程度の画像変化に対するモデルのロバスト性を効果的に向上させることができる。

【0080】

アーキテクチャ５００を続ける。第３画像５２４は、ウォーターマーク抽出モデル５３０に提供される。ウォーターマーク抽出モデル５３０は、第３画像５２４からウォーターマーク情報５３２を抽出することができる。

【0081】

いくつかの実施例において、ウォーターマーク埋め込みモデル５１０およびウォーターマーク抽出モデル５３０は、ウォーターマーク情報５３２と参照ウォーターマーク情報５０２との間の差分に関連する目標関数に基づいてトレーニングされてもよい。当該目標関数は、抽出されたウォーターマーク情報と実際のウォーターマーク情報とできるだけ一致することを決定するものである。ここでの目標関数は、損失関数であってもよい。ウォーターマーク情報の差分に使用する損失関数は、例えば、平均二乗誤差（ＭＳＥ）損失関数を含んでもよいが、Ｌ１損失関数、Ｌ２損失関数の他の損失関数も可能である。図５の例において、参照ウォーターマーク情報５０２と抽出されたウォーターマーク情報５３２との間の差分に基づいて抽出損失５０８を決定することができる。抽出損失５０８の逆伝播は、ウォーターマーク埋め込みモデル５１０およびウォーターマーク抽出モデル５３０をトレーニングすることができる。

【0082】

抽出損失５０８に加えて、ウォーターマーク埋め込みモデル５１０および／またはウォーターマーク抽出モデル５３０のトレーニングは、他の目標関数または損失関数を使用してもよい。図５に示されたように、第１画像５０４と第２画像５１４との差分に基づいて、埋め込み損失５４１を決定することができる。埋め込み損失５４１は、ウォーターマークが埋め込まれた画像と元の画像とができるだけ類似していることを確保するためのものである。例示的に、埋め込み損失５４１は、ＭＳＥ損失関数を採用することができる。いくつかの実施例において、マルチスケール構造類似度（ＭＳ－ＳＳＩＭ）損失関数を追加的に採用することにより、ウォーターマーク画像の視覚的効果をさらに向上させることができる。

【0083】

平均二乗誤差（ＭＳＥ）損失関数、構造類似度（ＳＳＩＭ）損失関数、バイナリクロスエントロピー（ＢＣＥ）損失関数などのうちの少なくとも１つ。具体的には、ウォーターマーク埋め込みモデル５１０は、第１画像５０４と第２画像５１４との間の埋め込み損失５４１に基づいてトレーニングされてもよく、ウォーターマーク抽出モデル５３０は、参照ウォーターマーク情報５０２とウォーターマーク情報５３２との間の抽出損失５０８に基づいてトレーニングされてもよい。ウォーターマーク埋め込みモデル５１０のトレーニング目標は、少なくとも埋め込み損失５４１を第１閾値よりも小さくすることを含み、ウォーターマーク抽出モデル５３０のトレーニング目標は、少なくとも抽出損失５０８を第２閾値よりも小さくすることを含む。

【0084】

いくつかの実施例において、敵対的な方法でウォーターマーク埋め込みモデル５１０をトレーニングすることができる。このような実施例において、アーキテクチャ５００は、識別器５４０をさらに含んでもよい。識別器５４０のトレーニングは、２つの目標を含んでもよい。１つの目標は、識別器５４０に、第１画像５０４（すなわち、元の画像）を真と判断させ、第２画像５１４（すなわち、ウォーターマークが埋め込まれている画像）を偽と判断させることである。この目標は、敵対的損失５４２によって表される。もう１つの目標は、識別器５４０に、第２画像５１４を真と判断させることである。当該別の目標は、埋め込み損失５４３によって表される。例示的に、識別器５４０には、バイナリクロスエントロピー（ＢＣＥ）損失関数を使用することができる。

【0085】

モデルのトレーニングには、任意の適切なトレーニングセットと検証セットを採用することができる。トレーニングセットおよび検証セットにおける画像は、所定の画像ブロックサイズ（例えば、１２８*１２８）にスケーリングされ、ウォーターマーク情報も同じ長さ（例えば、６４ビット）を有する。その後、上述した様々な損失関数に合理的な重みを割り当てることができる。任意の適切な最適化器（例えば、Ａｄａｍ最適化器）和学習率減衰ポリシー（例えば、指数減衰ポリシー）を採用することができる。

【0086】

上記では、図２～図５を参照してウォーターマークの埋め込みおよびウォーターマークの抽出のいくつかの例示的な実施例をそれぞれ説明した。以下では、図６および図７と併せてウォーターマークの埋め込みおよびウォーターマークの抽出の例示的なプロセスをそれぞれ説明する。

【0087】

図６は、本発明に係るいくつかの実施例のウォーターマーク埋め込みのプロセス６００の概略図を示す。プロセス６００は、電子デバイス１１０において実現されえる。議論を容易にするために、図１Ａの環境１００Ａを参照してプロセス６００を説明する。

【0088】

ボックス６１０において、電子デバイス１１０は、処理すべき画像１０２およびウォーターマーク情報１０４を取得する。処理すべき画像１０２は、任意の解像度の画像であってもよい。

【0089】

ボックス６２０において、電子デバイス１１０は、処理すべき画像１０２内のキーポイントを決定し、キーポイントの対応する特徴値の高低に基づいてキーポイントを降順にソートする。例えば、ＯＲＢキーポイントアルゴリズムを採用してキーポイントを認識し、各キーポイントの特徴値を決定することができる。さらに、特徴値に基づいて高いものから低いものへソートすることができる。

【0090】

ボックス６３０において、電子デバイス１１０は、高い特徴値に対応するキーポイントから選別を開始することにより、各キーポイントを中心とする大きさがａ*ａである候補画像ブロックが互いに重畳されないように確保する。ａ*ａは、例えば、１２８*１２８であってもよい。ＩＯＵアルゴリズムを採用して画像ブロックが重畳されるか否かを判断することができる。

【0091】

ボックス６４０において、電子デバイス１１０は、大きさがａ*ａである各候補画像ブロックの対応するテクスチャ複雑度を決定し、複雑度の高低に基づいて降順にソートすることにより、その中から複雑度がもっと高いＮ個の候補画像ブロックを処理すべき画像ブロックとして選択する。Ｎは、例えば、１０であってもよい。例示的に、ＪＮＤアルゴリズムを使用してテクスチャ複雑度を計算することができる。

【0092】

ボックス６５０において、電子デバイス１１０は、処理すべき画像ブロックをトレーニングされたウォーターマーク埋め込みモデルに入力して、ウォーターマーク画像ブロックとも呼ばれる、ウォーターマーク情報が埋め込まれている目標画像ブロックを得る。例えば、バイナリのウォーターマーク情報に対してＢＣＨアルゴリズムを使用してエラー訂正ビットを追加し、得られた６４ビットのウォーターマークバイナリストリングは、２４ビットのエラー訂正ビットを含み得る。選択した画像ブロックに対して、まず、前処理を行い、次いで、ウォーターマーク情報と一緒にトレーニング好のウォーターマーク埋め込みモデルに入力する。

【0093】

ボックス６６０において、電子デバイス１１０は、対応する処理すべき画像ブロックを生成された目標画像ブロックに置き換えることにより、ウォーターマーク画像を生成する。すなわち、元の画像ブロックをウォーターマーク画像ブロックに置き換えて、ウォーターマーク画像を得る。

【0094】

図７は、本発明に係るいくつかの実施例のウォーターマーク抽出の例示的なプロセス７００の概略図を示す。プロセス７００は、電子デバイス１２０において実現され得る。議論を容易にするために、図１Ｂの環境１００Ｂを参照してプロセス７００を説明する。

【0095】

ボックス７１０において、電子デバイス１２０は、抽出すべき画像１０６を取得する。抽出すべき画像１０６は、ウォーターマークが含まれている可能性のある画像である。

【0096】

ボックス７２０において、電子デバイス１２０は、抽出すべき画像１０６内のキーポイントを決定し、キーポイントの対応する特徴値の高低に基づいてキーポイントを降順にソートする。

【0097】

ボックス７３０において、電子デバイス１２０は、高い特徴値に対応するキーポイントから選別を開始することにより、各キーポイントを中心とするとする大きさがｂ*ｂである候補画像ブロックが互いに重畳されないように確保する。ｂ*ｂは、例えば、６４*６４であってもよい。ＩＯＵアルゴリズムを採用して画像ブロックが重畳されるか否かを判断することができる。

【0098】

ボックス７４０において、電子デバイス１２０は、対応する候補画像ブロックが互いに重畳されない上位のＭ個のキーポイントを決定し、これらＭ個のキーポイントをそれぞれ中心とする大きさがｃ*ｃである目標画像ブロックを決定する。Ｍは、例えば、５０であり、ｃ*ｃは、例えば、１２８*１２８である。

【0099】

ボックス７５０において、電子デバイス１２０は、目標画像ブロックをトレーニングされたウォーターマーク抽出モデルに入力して、ウォーターマーク情報を得る。例えば、選択された画像ブロックに対して、前処理を行った後にトレーニングされたウォーターマーク抽出モデルに入力して、ウォーターマークの長さが同じである確率向量を得る。適切な閾値を設定することにより、複数のバイナリウォーターマーク列を得ることができる。その後、ＢＣＨ訂正アルゴリズムを利用して検証し、検証に成功したウォーターマーク列を正しいウォーターマーク列とすることができる。

【0100】

図８は、本発明に係る特定の実施例のウォーターマークの埋め込みのための装置８００の概略的な構造のブロック図を示す。装置８００は、電子デバイス１１０として実現されるか、端末デバイス１１０に含まれることができる。装置８００中の各モジュール／コンポーネントは、ハードウェア、ソフトウェア、ファームウェア、または、それらの任意の組み合わせによって実現され得る。

【0101】

図面に示されたように、装置８００は、処理すべき画像内で認識された１セットのキーポイントに基づいて、処理すべき画像内の少なくとも１つの処理すべき画像ブロックを決定するための画像ブロック決定モジュール８１０を備える。装置８００は、ウォーターマーク情報および少なくとも１つの処理すべき画像ブロックに基づいて、少なくとも１つの処理すべき画像ブロックにそれぞれ対応する少なくとも１つの目標画像ブロックを生成するための画像ブロック生成モジュール８２０をさらに備え、ここで、各目標画像ブロックには、ウォーターマーク情報の少なくとも一部が埋め込まれている。装置８００は、処理すべき画像内で少なくとも１つの処理すべき画像ブロックをそれぞれ少なくとも１つの目標画像ブロックに置き換えることにより、処理すべき画像に対する目標画像を生成するための画像ブロック置換モジュール８３０をさらに備える。

【0102】

いくつかの実施例において、画像ブロック決定モジュール８１０は、１セットのキーポイントの対応する特徴値および処理すべき画像内における当該１セットのキーポイントの対応する位置に基づいて、処理すべき画像内の１セットの候補画像ブロックを決定するための候補画像ブロック決定モジュールであって、各候補画像ブロックは、１セットのキーポイントのうちの少なくとも１つのキーポイントを含む候補画像ブロック決定モジュールと、１セットの候補画像ブロックから少なくとも１つの処理すべき画像ブロックを決定するための処理すべき画像ブロック決定モジュールと、を備える。

【0103】

いくつかの実施例において、１セットの候補画像ブロックのうちの異なる候補画像ブロックは、互いに重畳されない。

【0104】

いくつかの実施例において、処理すべき画像ブロック決定モジュールは、１セットの候補画像ブロックの対応するテクスチャ複雑度を決定するためのテクスチャ複雑度決定モジュールと、対応するテクスチャ複雑度に基づいて、１セットの候補画像ブロックから少なくとも１つの処理すべき画像ブロックを選択するための画像ブロック選択モジュールと、を備える。

【0105】

いくつかの実施例において、画像ブロック生成モジュール８２０は、さらに、少なくとも１つの処理すべき画像ブロックのうちの処理すべき画像ブロックに対して、ウォーターマーク情報の特徴と処理すべき画像ブロックの特徴とに基づいて、ウォーターマーク情報と処理すべき画像ブロックとの融合特徴を生成することと、融合特徴、ウォーターマーク情報の特徴、および、処理すべき画像ブロックに基づいて、目標画像ブロックを生成することと、によって、処理すべき画像ブロックに対応する目標画像ブロックを取得する。

【0106】

いくつかの実施例において、画像ブロック生成モジュール８２０は、融合特徴およびウォーターマーク情報の特徴に基づいて、ウォーターマーク情報で強調された中間特徴を生成するための中間特徴生成モジュールと、中間特徴および処理すべき画像ブロックに基づいて、目標画像ブロックを生成するための目標画像ブロック生成モジュールと、を備える。

【0107】

いくつかの実施例において、処理すべき画像ブロックに対応する目標画像ブロックは、ウォーターマーク埋め込みモデルを利用して取得され、ウォーターマーク埋め込みモデルのトレーニングは、ウォーターマーク埋め込みモデルを利用して参照ウォーターマーク情報を第１画像に埋め込んで、第２画像を取得することと、第２画像に対して複数の変換操作を実行することにより、第３画像を生成することと、第３画像から抽出されたウォーターマーク情報と参照ウォーターマーク情報との間の差分を決定することと、差分に関連する目標関数に基づいて、ウォーターマーク埋め込みモデルをトレーニングすることと、によって行われる。

【0108】

いくつかの実施例において、複数の変換操作のうちの少なくとも１つの変換操作による第２画像の変化程度は、トレーニングラウンド数の増加するにつれて増加する。

【0109】

図９は、本発明に係る特定の実施例のウォーターマークの抽出のための装置９００の概略的な構造のブロック図を示す。装置９００は、端末デバイス１２０として実現されるか、端末デバイス１２０に含まれることができる。装置９００中の各モジュール／コンポーネントは、ハードウェア、ソフトウェア、ファームウェア、または、それらの任意の組み合わせによって実現され得る。

【0110】

図面に示されたように、装置９００は、抽出すべき画像内で認識された１セットのキーポイントに基づいて、抽出すべき画像内の少なくとも１つの目標画像ブロックを決定するための目標画像ブロック決定モジュール９１０を備える。装置９００は、少なくとも１つの目標画像ブロックにそれぞれ基づいて、抽出すべき画像内に埋め込まれたウォーターマーク情報を決定するウォーターマーク情報抽出モジュール９２０をさらに備える。

【0111】

いくつかの実施例において、目標画像ブロック決定モジュール９１０は、１セットのキーポイントの対応する特徴値および抽出すべき画像における当該１セットのキーポイントの対応する位置に基づいて、抽出すべき画像内の１セットの候補画像ブロックを決定するための候補画像ブロック決定モジュールであって、各候補画像ブロックは１セットのキーポイントのうちの少なくとも１つのキーポイントを含む候補画像ブロック決定モジュールと、１セットの候補画像ブロックに基づいて少なくとも１つの目標画像ブロックを決定するための画像ブロック選択モジュールと、を備える。

【0112】

いくつかの実施例において、１セットの候補画像ブロックのうちの異なる候補画像ブロックは、互いに重畳されない。

【0113】

いくつかの実施例において、１セットの候補画像ブロックは、それぞれ第１サイズを有し、画像ブロック選択モジュールは、さらに、１セットの候補画像ブロックのうちの候補画像ブロックに対して、抽出すべき画像内の候補画像ブロックに含まれたキーポイントの位置に基づいて、キーポイントを含むとともに第２サイズを有する画像ブロックを少なくとも１つの目標画像ブロックの１つとして決定し、ここで、第２サイズは第１サイズよりも大きい。

【0114】

いくつかの実施例において、ウォーターマーク情報は、ウォーターマーク抽出モデルを利用して決定され、ウォーターマーク抽出モデルのトレーニングは、参照ウォーターマーク情報を第１画像に埋め込むことにより、第２画像を取得することと、第２画像に対して複数の変換操作を実行することにより、第３画像を生成することと、ウォーターマーク抽出モデルを利用して第３画像から抽出されたウォーターマーク情報と参照ウォーターマーク情報との間の差分を決定することと、差分に関連する目標関数に基づいてウォーターマーク抽出モデルをトレーニングすることと、によって行われる。

【0115】

いくつかの実施例において、複数の変換操作のうちの少なくとも１つの変換操作による第２画像の変化程度は、トレーニングラウンド数の増加するにつれて増加する。

【0116】

図１０は、本発明の１つまたは複数の実施例を実施できる電子デバイス１０００のブロック図を示す。図１０に示された電子デバイス１０００は、例示的なものに過ぎず、本明細書に説明される実施例の機能および範囲を制限するものであってはならないことを理解されたい。図１０に示された電子デバイス１０００は、図１の電子デバイス１１０および／または電子デバイス１２０を実現するために使用されてもよい。

【0117】

図１０に示されたように、電子デバイス１０００は、汎用電子デバイスの形態である。電子デバイス１０００のコンポーネントは、１つまたは複数のプロセッサまたは処理ユニット１０１０、メモリ１０２０、記憶デバイス１０３０、１つまたは複数の通信ユニット１０４０、１つまたは複数の入力デバイス１０５０、および、１つまたは複数の出力デバイス１０６０を備えてもよいがこれらに限定されない。処理ユニット１０１０は、実際または仮想プロセッサであってもよく、メモリ１０２０に記憶されたプログラムに基づいて様々な処理を実行することができる。マルチプロセッサシステムにおいて、複数の処理ユニットがコンピュータ実行可能命令を並行して実行することにより、電子デバイス１０００の並行処理能力を向上させる。

【0118】

電子デバイス１０００は、通常、複数のコンピュータ記憶媒体を含む。このような媒体は、揮発性媒体および不揮発性媒体、取外し可能媒体および取外し不可能媒体を含むがこれらに限定されない、電子デバイス１０００によりアクセスな能なの任意の取得可能な媒体であってもよい。メモリ１０２０は、揮発性メモリ（例えば、レジスタ、高速キャッシュ、ランダムアクセスメモリ（ＲＡＭ））、不揮発性メモリ（例えば、読み取り専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ）、または、それらの特定の組み合わせであってもよい。記憶デバイス１０３０は、取り外し可能または不取り外し不可能媒体であってもよく、フラッシュメモリドライブ、磁気ディスク、または、任意の他のメディアなどの、機械可読媒体を含んでもよく、情報および／またはデータ（例えば、トレーニングのためのトレーニングデータ）を記憶するために使用され得、電子デバイス１０００内でアクセス可能であり得る。

【0119】

電子デバイス１０００は、別の取り外し可能／取り外し不可能、揮発性／不揮発性記憶媒体をさらに含むことができる。図１０には示されていないが、取り外し可能な、不揮発性磁気ディスク（例えば、「フロッピーディスク」）から読取りまたは書込むための磁気ディスクドライブ、および、取り外し可能な、不揮発性光ディスクから読取りまたは書込むための光ディスクドライブを提供することができる。これらの場合には、各ドライブは、１つまたは複数のデータ媒体インターフェースによってパス（図示せず）に接続されてもよい。メモリ１０２０は、１つまたは複数のプログラムモジュールを有するコンピュータプログラム製品１０２５を含んでもよく、これらのプログラムモジュールは本発明の様々な実施例の様々な方法または動作を実行するように構成される。

【0120】

通信ユニット１０４０は、通信媒体を介した他のコンピューティングデバイスと通信を実現する。追加的に、電子デバイス１０００のコンポーネントの機能は、単一のコンピューティングクラスタまたは複数のコンピューティングマシンとして実現されてもよく、これらのコンピューティングマシンは通信接続を介して通信可能である。したがって、電子デバイス１０００は、１つまたは複数の他のサーバ、ネットワークパーソナルコンピュータ（ＰＣ）、または、別のネットワークノードの論理接続を使用して、ネットワーク化された環境で動作することができる。

【0121】

入力デバイス１０５０は、マウス、キーボード、トラックボールなどの１つまたは複数の入力デバイスであってもよい。出力デバイス１０６０は、ディスプレイ、スピーカー、プリンターなどの１つまたは複数の出力デバイスであってもよい。電子デバイス１０００は、さらに、必要に応じて、通信ユニット１０４０を介して記憶デバイス、表示デバイスなどの１つまたは複数の外部デバイス（図示せず）と通信することができ、ユーザが電子デバイス１０００と対話することを可能にする１つまたは複数のデバイスと通信することができ、または、電子デバイス１０００が１つまたは複数の他のコンピューティングデバイスと通信することを可能にする任意のデバイス（例えば、ネットブックカード、モデムなど）と通信することができる。このような通信は、入力／出力（Ｉ／Ｏ）インターフェース（図示せず）を介して実行することができる。

【0122】

本発明に係る例示的な実現形態は、コンピュータ実行可能命令が記憶されているコンピュータ可読記憶媒体を提供し、コンピュータ実行可能命令は、プロセッサに実行されて上記の方法を実現する。本発明に係る例示的な実現形態は、コンピュータプログラム製品をさらに提供し、コンピュータ実行可能命令を含むコンピュータプログラム製品は、非一時的なコンピュータ可読媒体に有形に記憶され、コンピュータ実行可能命令は、プロセッサによって実行されて上記の方法を実現する。

【0123】

ここでは、本発明によって実現される方法、装置、デバイス和コンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して、本発明の各態様を説明した。フローチャートおよび／またはブロック図の各ボックスおよびフローチャートおよび／またはブロック図における各ボックスの組み合わせは、いずれも、コンピュータ可読プログラム命令によって実現されてもよいことを理解されたい。

【0124】

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、特殊用途コンピュータ、または、他のプログラム可能なデータ処理装置の処理ユニットに提供されて、機械を生成することにより、これらの命令がコンピュータまたは他のプログラム可能なデータ処理装置の処理ユニットによって実行される際に、フローチャートおよび／またはブロック図における１つまたは複数のボックスで指定された機能／動作を実現するための装置を生成するようにすることができる。これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に記憶されてもよく、これらの命令がコンピュータ、プログラム可能なデータ処理装置および／または他のデバイスを特定の形態で動作させることによって、命令が記憶されているコンピュータ可読媒体が、フローチャートおよび／またはブロック図における１つまたは複数のボックスで指定された機能／動作の各態様を実現する命令を含む製造品を構成するようにする。

【0125】

コンピュータ可読プログラム命令をコンピュータ、他のプログラム可能なデータ処理装置、または、他のデバイスにロードすることによって、コンピュータ、他のプログラム可能なデータ処理装置、または、他のデバイス上で一連の操作ステップを実行させて、コンピュータによって実現されるプロセスを生成し、これにより、コンピュータ、他のプログラム可能なデータ処理装置、または、他のデバイス上で実行される命令が、フローチャートおよび／またはブロック図における１つまたは複数のボックスで指定された機能／動作を実現するようにする。

【0126】

図面の中のフローチャートおよびブロック図は、本発明に係る複数の実現のシステム、方法、および、コンピュータプログラム製品の実現可能なアーキテクチャ、機能、および、操作を示す。これに関して、フローチャートまたはブロック図における各ボックスは、１つのモジュール、プログラムセグメント、または、命令の一部を表すことができ、モジュール、プログラムセグメント、または、命令の一部は、指定された論理機能を実現するための１つまたは複数の実行可能命令を含む。置き換えとしてのいくつかの実現において、ボックスに表記された機能は、図面に表記されたものとは異なる順序で発生することもある。例えば、２つの連続するボックスは、実際には実質的に並行して実行されることがあり、関わる機能によっては逆の順序で実行されることもある。ブロック図および／またはフローチャートにおける各ボックス、および、ブロック図および／またはフローチャートにおけるボックスの組み合わせは、指定された機能または動作を実行する特殊用途のハードウェア基盤システムによって実現されてもよくし、特殊用途のハードウェアとコンピュータ命令の組み合わせによって実現されてもよいことにも留意されたい。

【0127】

以上、本発明の各実現について説明したが、上述した説明は例示的なものであり、網羅的なものではなく、開示された各実現に限定されるものではない。説明される各実現の範囲および精神から逸脱することなく、多くの修正および変更は当業者には明らかである。本明細書で使用される用語の選択は、各実現の原理、実際の適用、または、市場における技術に対する改良を最もよく解釈することを意図し、または、当業者が本明細書で開示される各実現形態を理解できるようにすることを意図している。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2024-06-13

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

処理すべき画像内で認識された１セットのキーポイントに基づいて、前記処理すべき画像内の少なくとも１つの処理すべき画像ブロックを決定することと、
ウォーターマーク情報および前記少なくとも１つの処理すべき画像ブロックに基づいて、前記少なくとも１つの処理すべき画像ブロックにそれぞれ対応する少なくとも１つの目標画像ブロックを生成することであって、各目標画像ブロックには前記ウォーターマーク情報の少なくとも一部が埋め込まれている、ことと、
前記処理すべき画像内で前記少なくとも１つの処理すべき画像ブロックをそれぞれ前記少なくとも１つの目標画像ブロックに置き換えることにより、前記処理すべき画像に対する目標画像を生成することと、を含む、
ウォーターマーク埋め込み方法。

【請求項2】

前記少なくとも１つの処理すべき画像ブロックを決定することは、
前記１セットのキーポイントの対応する特徴値および前記処理すべき画像内での対応する位置に基づいて、前記処理すべき画像内の１セットの候補画像ブロックを決定することであって、各候補画像ブロックは前記１セットのキーポイントのうちの少なくとも１つのキーポイントを含む、ことと、
前記１セットの候補画像ブロックのうちから前記少なくとも１つの処理すべき画像ブロックを決定することと、を含む、
請求項１に記載のウォーターマーク埋め込み方法。

【請求項3】

前記１セットの候補画像ブロックのうちの異なる候補画像ブロックは、互いに重畳されない、
請求項２に記載のウォーターマーク埋め込み方法。

【請求項4】

前記少なくとも１つの処理すべき画像ブロックを決定することは、
前記１セットの候補画像ブロックの対応するテクスチャ複雑度を決定することと、
前記対応するテクスチャ複雑度に基づいて、前記１セットの候補画像ブロックのうちから前記少なくとも１つの処理すべき画像ブロックを選択することと、を含む、
請求項２に記載のウォーターマーク埋め込み方法。

【請求項5】

前記少なくとも１つの目標画像ブロックを生成することは、
前記少なくとも１つの処理すべき画像ブロックのうちの処理すべき画像ブロックに対して、
前記ウォーターマーク情報の特徴と前記処理すべき画像ブロックの特徴とに基づいて、前記ウォーターマーク情報と前記処理すべき画像ブロックとの融合特徴を生成することと、
前記融合特徴、前記ウォーターマーク情報の特徴、および、前記処理すべき画像ブロックに基づいて、前記目標画像ブロックを生成することと、によって前記処理すべき画像ブロックに対応する目標画像ブロックを取得することを含む、
請求項１に記載のウォーターマーク埋め込み方法。

【請求項6】

前記目標画像ブロックを生成することは、
前記融合特徴および前記ウォーターマーク情報の特徴に基づいて、前記ウォーターマーク情報で強調された中間特徴を生成することと、
前記中間特徴および前記処理すべき画像ブロックに基づいて、前記目標画像ブロックを生成することと、を含む、
請求項５に記載のウォーターマーク埋め込み方法。

【請求項7】

前記処理すべき画像ブロックに対応する目標画像ブロックは、ウォーターマーク埋め込みモデルを利用して取得され、
前記ウォーターマーク埋め込みモデルのトレーニングは、
前記ウォーターマーク埋め込みモデルを利用して、参照ウォーターマーク情報を第１画像に埋め込んで、第２画像を取得することと、
前記第２画像に対して複数の変換操作を実行することにより、第３画像を生成することと、
前記第３画像から抽出されたウォーターマーク情報と前記参照ウォーターマーク情報との間の差分を決定することと、
前記差分に関連する目標関数に基づいて、前記ウォーターマーク埋め込みモデルをトレーニングすることと、によって行われる、
請求項１に記載のウォーターマーク埋め込み方法。

【請求項8】

前記複数の変換操作のうちの少なくとも１つの変換操作による前記第２画像の変化程度は、トレーニングラウンド数の増加するにつれて増加する、
請求項７に記載のウォーターマーク埋め込み方法。

【請求項9】

抽出すべき画像内で認識された１セットのキーポイントに基づいて、前記抽出すべき画像内の少なくとも１つの目標画像ブロックを決定することと、
それぞれ前記少なくとも１つの目標画像ブロックに基づいて、前記抽出すべき画像内に埋め込まれたウォーターマーク情報を決定することと、を含む、
ウォーターマーク抽出方法。

【請求項10】

前記少なくとも１つの目標画像ブロックを決定することは、
前記１セットのキーポイントの対応する特徴値および前記抽出すべき画像における前記１セットのキーポイントの対応する位置に基づいて、前記抽出すべき画像内の１セットの候補画像ブロックを決定することであって、各候補画像ブロックは前記１セットのキーポイントのうちの少なくとも１つのキーポイントを含むことと、
前記１セットの候補画像ブロックに基づいて前記少なくとも１つの目標画像ブロックを決定することと、を含む、
請求項９に記載のウォーターマーク抽出方法。

【請求項11】

前記ウォーターマーク情報は、ウォーターマーク抽出モデルを利用して決定され、
前記ウォーターマーク抽出モデルのトレーニングは、
参照ウォーターマーク情報を第１画像に埋め込むことにより、第２画像を取得することと、
前記第２画像に対して複数の変換操作を実行することにより、第３画像を生成することと、
前記ウォーターマーク抽出モデルを利用して前記第３画像から抽出されたウォーターマーク情報と前記参照ウォーターマーク情報との間の差分を決定することと、
前記差分に関連する目標関数に基づいて、前記ウォーターマーク抽出モデルをトレーニングすることと、によって行われる、
請求項９に記載のウォーターマーク抽出方法。

【請求項12】

処理すべき画像内で認識された１セットのキーポイントに基づいて、前記処理すべき画像内の少なくとも１つの処理すべき画像ブロックを決定するように構成された画像ブロック決定モジュールと、
ウォーターマーク情報および前記少なくとも１つの処理すべき画像ブロックに基づいて、前記少なくとも１つの処理すべき画像ブロックにそれぞれ対応する少なくとも１つの目標画像ブロックを生成するように構成された画像ブロック生成モジュールであって、各目標画像ブロックには前記ウォーターマーク情報の少なくとも一部が埋め込まれている画像ブロック生成モジュールと、
前記処理すべき画像内で前記少なくとも１つの処理すべき画像ブロックをそれぞれ前記少なくとも１つの目標画像ブロックに置き換えることにより、前記処理すべき画像に対する目標画像を生成するように構成された画像ブロック置換モジュールと、を備える、
ウォーターマーク埋め込み装置。

【請求項13】

抽出すべき画像内で認識された１セットのキーポイントに基づいて、前記抽出すべき画像内の少なくとも１つの目標画像ブロックを決定するように構成された目標画像ブロック決定モジュールと、
前記少なくとも１つの目標画像ブロックにそれぞれ基づいて、前記抽出すべき画像内に埋め込まれたウォーターマーク情報を決定するように構成されたウォーターマーク情報抽出モジュールと、を備える、
ウォーターマーク抽出装置。

【請求項14】

電子デバイスであって、
少なくとも１つの処理ユニットと、
前記少なくとも１つの処理ユニットに結合され、前記少なくとも１つの処理ユニットによって実行されるための命令を記憶し、前記命令が前記少なくとも１つの処理ユニットによって実行されると、請求項１～８のいずれか１項に記載のウォーターマーク埋め込み方法または９～１４のいずれか１項に記載のウォーターマーク抽出方法を前記電子デバイスに実行させる少なくとも１つのメモリと、を備える、
電子デバイス。

【請求項15】

コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサによって実行されると、請求項１～８のいずれか１項に記載のウォーターマーク埋め込み方法または９～１１のいずれか１項に記載のウォーターマーク抽出方法が実現される、
コンピュータ可読記憶媒体。

【手続補正書】

【提出日】2024-11-13

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

処理すべき画像内で認識された１セットのキーポイントに基づいて、前記処理すべき画像内の少なくとも１つの処理すべき画像ブロックを決定することと、
ウォーターマーク情報および前記少なくとも１つの処理すべき画像ブロックに基づいて、前記少なくとも１つの処理すべき画像ブロックにそれぞれ対応する少なくとも１つの目標画像ブロックを生成することであって、各目標画像ブロックには前記ウォーターマーク情報の少なくとも一部が埋め込まれている、ことと、
前記処理すべき画像内で前記少なくとも１つの処理すべき画像ブロックをそれぞれ前記少なくとも１つの目標画像ブロックに置き換えることにより、前記処理すべき画像に対する目標画像を生成することと、を含み、
前記処理すべき画像ブロックに対応する目標画像ブロックは、ウォーターマーク埋め込みモデルを利用して取得され、
前記ウォーターマーク埋め込みモデルのトレーニングは、
前記ウォーターマーク埋め込みモデルを利用して、参照ウォーターマーク情報を第１画像に埋め込んで、第２画像を取得することと、
前記第２画像に対して複数の変換操作を実行することにより、第３画像を生成することと、
前記第３画像から抽出されたウォーターマーク情報と前記参照ウォーターマーク情報との間の差分を決定することと、
前記差分に関連する目標関数に基づいて、前記ウォーターマーク埋め込みモデルをトレーニングすることと、によって行われる、
ウォーターマーク埋め込み方法。

【請求項2】

前記少なくとも１つの処理すべき画像ブロックを決定することは、
前記１セットのキーポイントの対応する特徴値および前記処理すべき画像内での対応する位置に基づいて、前記処理すべき画像内の１セットの候補画像ブロックを決定することであって、各候補画像ブロックは前記１セットのキーポイントのうちの少なくとも１つのキーポイントを含む、ことと、
前記１セットの候補画像ブロックのうちから前記少なくとも１つの処理すべき画像ブロックを決定することと、を含む、
請求項１に記載のウォーターマーク埋め込み方法。

【請求項3】

前記１セットの候補画像ブロックのうちの異なる候補画像ブロックは、互いに重畳されない、
請求項２に記載のウォーターマーク埋め込み方法。

【請求項4】

前記少なくとも１つの処理すべき画像ブロックを決定することは、
前記１セットの候補画像ブロックの対応するテクスチャ複雑度を決定することと、
前記対応するテクスチャ複雑度に基づいて、前記１セットの候補画像ブロックのうちから前記少なくとも１つの処理すべき画像ブロックを選択することと、を含む、
請求項２に記載のウォーターマーク埋め込み方法。

【請求項5】

前記少なくとも１つの目標画像ブロックを生成することは、
前記少なくとも１つの処理すべき画像ブロックのうちの処理すべき画像ブロックに対して、
前記ウォーターマーク情報の特徴と前記処理すべき画像ブロックの特徴とに基づいて、前記ウォーターマーク情報と前記処理すべき画像ブロックとの融合特徴を生成することと、
前記融合特徴、前記ウォーターマーク情報の特徴、および、前記処理すべき画像ブロックに基づいて、前記目標画像ブロックを生成することと、によって前記処理すべき画像ブロックに対応する目標画像ブロックを取得することを含む、
請求項１に記載のウォーターマーク埋め込み方法。

【請求項6】

前記目標画像ブロックを生成することは、
前記融合特徴および前記ウォーターマーク情報の特徴に基づいて、前記ウォーターマーク情報で強調された中間特徴を生成することと、
前記中間特徴および前記処理すべき画像ブロックに基づいて、前記目標画像ブロックを生成することと、を含む、
請求項５に記載のウォーターマーク埋め込み方法。

【請求項7】

前記複数の変換操作のうちの少なくとも１つの変換操作による前記第２画像の変化程度は、トレーニングラウンド数の増加するにつれて増加する、
請求項１に記載のウォーターマーク埋め込み方法。

【請求項8】

抽出すべき画像内で認識された１セットのキーポイントに基づいて、前記抽出すべき画像内の少なくとも１つの目標画像ブロックを決定することと、
それぞれ前記少なくとも１つの目標画像ブロックに基づいて、前記抽出すべき画像内に埋め込まれたウォーターマーク情報を決定することと、を含み、
前記ウォーターマーク情報は、ウォーターマーク抽出モデルを利用して決定され、
前記ウォーターマーク抽出モデルのトレーニングは、
参照ウォーターマーク情報を第１画像に埋め込むことにより、第２画像を取得することと、
前記第２画像に対して複数の変換操作を実行することにより、第３画像を生成することと、
前記ウォーターマーク抽出モデルを利用して前記第３画像から抽出されたウォーターマーク情報と前記参照ウォーターマーク情報との間の差分を決定することと、
前記差分に関連する目標関数に基づいて、前記ウォーターマーク抽出モデルをトレーニングすることと、によって行われる、
ウォーターマーク抽出方法。

【請求項9】

前記少なくとも１つの目標画像ブロックを決定することは、
前記１セットのキーポイントの対応する特徴値および前記抽出すべき画像における前記１セットのキーポイントの対応する位置に基づいて、前記抽出すべき画像内の１セットの候補画像ブロックを決定することであって、各候補画像ブロックは前記１セットのキーポイントのうちの少なくとも１つのキーポイントを含むことと、
前記１セットの候補画像ブロックに基づいて前記少なくとも１つの目標画像ブロックを決定することと、を含む、
請求項８に記載のウォーターマーク抽出方法。

【請求項10】

処理すべき画像内で認識された１セットのキーポイントに基づいて、前記処理すべき画像内の少なくとも１つの処理すべき画像ブロックを決定するように構成された画像ブロック決定モジュールと、
ウォーターマーク情報および前記少なくとも１つの処理すべき画像ブロックに基づいて、前記少なくとも１つの処理すべき画像ブロックにそれぞれ対応する少なくとも１つの目標画像ブロックを生成するように構成された画像ブロック生成モジュールであって、各目標画像ブロックには前記ウォーターマーク情報の少なくとも一部が埋め込まれている画像ブロック生成モジュールと、
前記処理すべき画像内で前記少なくとも１つの処理すべき画像ブロックをそれぞれ前記少なくとも１つの目標画像ブロックに置き換えることにより、前記処理すべき画像に対する目標画像を生成するように構成された画像ブロック置換モジュールと、を備え、
前記処理すべき画像ブロックに対応する目標画像ブロックは、ウォーターマーク埋め込みモデルを利用して取得され、
前記ウォーターマーク埋め込みモデルのトレーニングは、
前記ウォーターマーク埋め込みモデルを利用して、参照ウォーターマーク情報を第１画像に埋め込んで、第２画像を取得することと、
前記第２画像に対して複数の変換操作を実行することにより、第３画像を生成することと、
前記第３画像から抽出されたウォーターマーク情報と前記参照ウォーターマーク情報との間の差分を決定することと、
前記差分に関連する目標関数に基づいて、前記ウォーターマーク埋め込みモデルをトレーニングすることと、によって行われる、
ウォーターマーク埋め込み装置。

【請求項11】

抽出すべき画像内で認識された１セットのキーポイントに基づいて、前記抽出すべき画像内の少なくとも１つの目標画像ブロックを決定するように構成された目標画像ブロック決定モジュールと、
前記少なくとも１つの目標画像ブロックにそれぞれ基づいて、前記抽出すべき画像内に埋め込まれたウォーターマーク情報を決定するように構成されたウォーターマーク情報抽出モジュールと、を備え、
前記ウォーターマーク情報は、ウォーターマーク抽出モデルを利用して決定され、
前記ウォーターマーク抽出モデルのトレーニングは、
参照ウォーターマーク情報を第１画像に埋め込むことにより、第２画像を取得することと、
前記第２画像に対して複数の変換操作を実行することにより、第３画像を生成することと、
前記ウォーターマーク抽出モデルを利用して前記第３画像から抽出されたウォーターマーク情報と前記参照ウォーターマーク情報との間の差分を決定することと、
前記差分に関連する目標関数に基づいて、前記ウォーターマーク抽出モデルをトレーニングすることと、によって行われる、
ウォーターマーク抽出装置。

【請求項12】

電子デバイスであって、
少なくとも１つの処理ユニットと、
前記少なくとも１つの処理ユニットに結合され、前記少なくとも１つの処理ユニットによって実行されるための命令を記憶する少なくとも１つのメモリと、を備え、前記命令が前記少なくとも１つの処理ユニットによって実行されると、請求項１～７のいずれか１項に記載のウォーターマーク埋め込み方法または８～１０のいずれか１項に記載のウォーターマーク抽出方法を実行させる、
電子デバイス。

【請求項13】

コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されると、請求項１～７のいずれか１項に記載のウォーターマーク埋め込み方法または８～１０のいずれか１項に記載のウォーターマーク抽出方法が実現される、
コンピュータ可読記憶媒体。