知財求人 - 知財ポータルサイト「IP Force」
特表2024-526588Ｙ－Ｎｅｔに基づく電子透かしの方法、装置及びシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-19
(54)【発明の名称】Ｙ－Ｎｅｔに基づく電子透かしの方法、装置及びシステム
(51)【国際特許分類】
G06F 21/10 20130101AFI20240711BHJP
H04N 1/32 20060101ALI20240711BHJP
【ＦＩ】
G06F21/10
H04N1/32 144
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023579570
(86)(22)【出願日】2021-07-16
(85)【翻訳文提出日】2023-12-22
(86)【国際出願番号】 CN2021106681
(87)【国際公開番号】W WO2023283914
(87)【国際公開日】2023-01-19
(31)【優先権主張番号】202110786024.4
(32)【優先日】2021-07-12
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】523483913
【氏名又は名称】南京信息工程大学
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100132883
【弁理士】
【氏名又は名称】森川 泰司
(74)【代理人】
【識別番号】100148633
【弁理士】
【氏名又は名称】桜田 圭
(74)【代理人】
【識別番号】100147924
【弁理士】
【氏名又は名称】美恵 英樹
(72)【発明者】
【氏名】胡 欣▲ジュエ▼
(72)【発明者】
【氏名】梁 秀健
(72)【発明者】
【氏名】付 章杰
(57)【要約】
本発明は、Ｙ－Ｎｅｔに基づく電子透かしの方法、装置及びシステムを開示する。前記方法は、キャリア画像及び透かし画像をＹ－Ｎｅｔ生成ネットワークに入力し、透かし入り画像を生成するステップ、透かし入り画像を事前にトレーニングされたＪＰＥＧ圧縮損失模擬ネットワークに入力して、模擬圧縮透かし入り画像を得るステップ、事前にトレーニングされた判別ネットワークを用いて模擬圧縮透かし入り画像を判別し、透判別結果を得るステップ、模擬圧縮透かし入り画像を抽出ネットワークに入力して、透かし入りの再構成画像を得るステップ、前記透かし入り画像、透かし入りの再構成画像及び判別ネットワークの結果に基づいて、透かしネットワーク全体の総損失関数を計算し、損失関数を最小化することを目標として透かしネットワークを最適化し、損失が減少し、安定した状態が維持される時、トレーニングが終了したと見なされるステップを含む。トレーニングプロセス中、判別ネットワーク及び圧縮損失模擬ネットワークの重みが固定され、本発明は従来のアルゴリズムと比較して高い透かし容量、高い隠蔽性、高い安全性及び強い頑健性を有する。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
Ｙ－Ｎｅｔに基づく電子透かし方法であって、キャリア画像及び透かし画像をＹ－Ｎｅｔ生成ネットワークに入力し、前記透かし画像が埋め込まれた透かし入り画像を得るステップ、
前記透かし入り画像を事前にトレーニングされた圧縮損失模擬ネットワークに入力して、模擬圧縮透かし入り画像を得るステップ、
事前にトレーニングされた判別ネットワークを用いて前記模擬圧縮透かし入り画像を判別し、前記透かし入り画像を前記キャリア画像又は前記透かし入り画像として識別することを含む判別結果を得るステップ、
前記模擬圧縮透かし入り画像を抽出ネットワークに入力して、透かし入りの再構成画像を得るステップ、
前記透かし入り画像、前記透かし入りの再構成画像及び前記判別ネットワークの結果に基づいて、透かしネットワーク全体の総損失関数を計算し、損失関数を最小化することを目標として前記透かしネットワークを最適化し、損失が減少し、安定した状態が維持される時、トレーニングが終了したと見なされるステップであって、前記透かしネットワークには、前記Ｙ－Ｎｅｔ生成ネットワーク、前記圧縮損失模擬ネットワーク、前記判別ネットワーク及び前記抽出ネットワークが含まれ、最適化プロセス中、前記判別ネットワークと前記圧縮損失模擬ネットワークの重みは固定される、ステップ、及び
トレーニング済み透かしネットワークを使用して、前記キャリア画像及び前記透かし画像に基づいて前記透かし入り画像を生成し、前記透かし入り画像を圧縮し、圧縮後の前記透かし入り画像から前記透かし画像を再構築するステップ、
を含むことを特徴とする、Ｙ－Ｎｅｔに基づく電子透かし方法。
【請求項2】
前記Ｙ－Ｎｅｔ生成ネットワークは、スキップ接続構造であり、キャリアの第１畳み込み操作グループ、キャリアの第２畳み込み操作グループ、キャリアの第３畳み込み操作グループ、キャリアの第４畳み込み操作グループ、キャリアの第５畳み込み操作グループ、キャリアの第６畳み込み操作グループ、透かしの第１畳み込み操作グループ、透かしの第２畳み込み操作グループ、透かしの第３畳み込み操作グループ、透かしの第４畳み込み操作グループ、透かしの第５畳み込み操作グループ、透かしの第６畳み込み操作グループ、第７畳み込み操作グループ、第１逆畳み込み操作グループ、第２逆畳み込み操作グループ、第３逆畳み込み操作グループ、第４逆畳み込み操作グループ、第５逆畳み込み操作グループ、第６逆畳み込み操作グループ、第７逆畳み込み操作グループ、及び第８畳み込み操作グループを含み、前記キャリアの第６畳み込み操作グループ及び前記透かしの第６畳み込み操作グループの出力は、前記第１逆畳み込み操作グループの出力と融合され、
前記キャリアの第５畳み込み操作グループ及び前記透かしの第５畳み込み操作グループの出力は、前記第２逆畳み込み操作グループの出力と融合され、
前記キャリアの第４畳み込み操作グループ及び前記透かしの第４畳み込み操作グループの出力は、前記第３逆畳み込み操作グループの出力と融合され、
前記キャリアの第３畳み込み操作グループ及び前記透かしの第３畳み込み操作グループの出力は、前記第４逆畳み込み操作グループの出力と融合され、
前記キャリアの第２畳み込み操作グループ及び前記透かしの第２畳み込み操作グループの出力は、前記第５逆畳み込み操作グループの出力と融合され、
前記キャリアの第１畳み込み操作グループ及び前記透かしの第１畳み込み操作グループの出力は、前記第６逆畳み込み操作グループの出力と融合され、
前記キャリアの第６畳み込み操作グループと前記透かしの第６畳み込み操作グループは、チャンネルステッチングを行った後前記第７畳み込み操作グループに入力され、前記第７畳み込み操作グループの出力端は前記第１逆畳み込み操作グループに接続され、
前記第６逆畳み込み操作グループ、前記キャリアの第１畳み込み操作グループ、前記透かしの第１畳み込み操作グループのスキップ接続後の結果は、前記第７逆畳み込み操作グループに入力され、
前記第８畳み込み操作グループの入力端は、前記第７逆畳み込み操作グループに入力され、出力は前記透かし入り画像であり、
１つの畳み込み操作グループは、順次に設けられた畳み込み層、活性化層、及びバッチ正規化層を含み、１つの逆畳み込み操作グループは順次に設けられた逆畳み込み層、活性化層、及びバッチ正規化層を含む、
ことを特徴とする、請求項１に記載のＹ－Ｎｅｔに基づく電子透かし方法。
【請求項3】
前記判別ネットワークは、複数の画像サンプルを収集し、各前記サンプル画像のラベルを決定するステップであって、前記ラベルは対応する前記サンプル画像に含まれる前記透かし画像の確率を含む、ステップ、及び
各前記画像サンプルを入力として、各前記画像サンプルのラベルを出力としてＺｈｕ－Ｎｅｔをトレーニングし、前記判別ネットワークを得るステップ、
のトレーニングステップを通じて取得されることを特徴とする、請求項１に記載のＹ－Ｎｅｔに基づく電子透かし方法。
【請求項4】
前記圧縮損失模擬ネットワークは、Ｕ－Ｎｅｔネットワークであることを特徴とする、請求項１に記載のＹ－Ｎｅｔに基づく電子透かし方法。
【請求項5】
前記抽出ネットワークは、Ｕ－Ｎｅｔ＋＋ネットワークであることを特徴とする、請求項１に記載のＹ－Ｎｅｔに基づく電子透かし方法。
【請求項6】
前記判別ネットワークは、判別器であり、前記判別器にはｓｏｆｔｍａｘ関数が含まれることを特徴とする、請求項１に記載のＹ－Ｎｅｔに基づく電子透かし方法。
【請求項7】
前記透かしネットワークの総損失関数は、【数1】
【請求項8】
前記Ｙ－Ｎｅｔ生成ネットワーク損失の計算式：【数2】
【数3】
前記抽出ネットワーク損失Ｌｓの計算式：
【数4】
【数5】
前記判別ネットワーク損失Ｌｄの計算式：
【数6】
になることを特徴とする、請求項７に記載のＹ－Ｎｅｔに基づく電子透かし方法。
【請求項9】
Ｙ－Ｎｅｔに基づく強いロバストな電子透かし装置であって、キャリア画像及び透かし画像をＹ－Ｎｅｔ生成ネットワークに入力し、前記透かし画像が埋め込まれた透かし入り画像を得るための第１処理ユニットと、
前記透かし入り画像を事前にトレーニングされた圧縮損失模擬ネットワークに入力して、模擬圧縮透かし入り画像を得るための第２処理ユニットと、
事前にトレーニングされた判別ネットワークを用いて前記模擬圧縮透かし入り画像を判別し、前記透かし入り画像を前記キャリア画像又は前記透かし入り画像として識別することを含む判別結果を得るための判別ユニットと、
前記模擬圧縮透かし入り画像を抽出ネットワークに入力して、透かし入りの再構成画像を得るための再構成ユニットと、
前記透かし入り画像、前記透かし入りの再構成画像及び前記判別ネットワークの結果に基づいて、透かしネットワークの総損失関数を計算し、損失関数を最小化することを目標として前記透かしネットワークを最適化し、損失が減少し、安定した状態が維持される時、トレーニングが終了したと見なされる（前記透かしネットワークには、前記Ｙ－Ｎｅｔ生成ネットワーク、前記圧縮損失模擬ネットワーク、前記判別ネットワーク及び前記抽出ネットワークが含まれ、最適化プロセス中、前記判別ネットワークと前記圧縮損失模擬ネットワークの重みは固定される）ためのトレーニングユニットと、
トレーニング済み透かしネットワークを使用して、前記キャリア画像及び前記透かし画像に基づいて前記透かし入り画像を生成し、前記透かし入り画像を圧縮し、圧縮後の前記透かし入り画像から前記透かし画像を再構築するための透かしユニットと、
を含むことを特徴とする、Ｙ－Ｎｅｔに基づく強いロバストな電子透かし装置。
【請求項10】
Ｙ－Ｎｅｔに基づく強いロバストな電子透かしシステムであって、記憶媒体と、プロセッサとを備え、前記記憶媒体は、命令を保存するために用いられ、
前記プロセッサは、請求項１～８のいずれか一項に記載の方法を実行するため、前記命令に従い動作するために用いられる、
ことを特徴とする、Ｙ－Ｎｅｔに基づく強いロバストな電子透かしシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子透かしの技術分野に属し、特に、Ｙ－Ｎｅｔに基づく電子透かしの方法、装置及びシステムに関する。
【背景技術】
【0002】
インターネット技術の急速な発展により、より多くのデジタル作品がネットワーク上で流布されるようになっていた。交流を容易にする一方、作品のオリジナリティも試され、著作権保護は人々にとって非常に重要視される問題となっている。
【0003】
電子透かし技術は、作品自体の特性に応じて作品のオリジナリティを保護することができる。近年、深層学習に基づく各種電子透かしモデルが多数登場しており、透かし容量を拡張できるだけでなく、伝送の安全性を効果的に向上させることもできる。しかし、これらの方法では、透かし入り画像の画質及び耐解析セキュリティが十分ではないこと、JPEG圧縮攻撃に耐える頑健性が弱いなどの課題が残されていた。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、上記の問題点に着目して、高い透かし容量、高い隠蔽性、高い安全性、及び強い頑健性を有するＹ－Ｎｅｔに基づく電子透かしの方法、装置及びシステムを提案する。
【課題を解決するための手段】
【0005】
上記の技術的目的を達成し、上記の技術的効果を奏するため、本発明は以下の技術的手段を通じて実現される。
【0006】
第１の態様において、本発明は、
キャリア画像及び透かし画像をＹ－Ｎｅｔ生成ネットワークに入力し、透かし画像が埋め込まれた透かし入り画像を得るステップ、
前記透かし入り画像を事前にトレーニングされた圧縮損失模擬ネットワークに入力して、模擬圧縮透かし入り画像を得るステップ、
事前にトレーニングされた判別ネットワークを用いて前記模擬圧縮透かし入り画像を判別し、透かし入り画像をキャリア画像又は透かし入り画像として識別することを含む判別結果を得るステップ、
前記模擬圧縮透かし入り画像を抽出ネットワークに入力して、透かし入りの再構成画像を得るステップ、
前記透かし入り画像、透かし入りの再構成画像及び判別ネットワークの結果に基づいて、透かしネットワーク全体の総損失関数を計算し、損失関数を最小化することを目標として前記透かしネットワークを最適化し、損失が減少し、安定した状態が維持される時、トレーニングが終了したと見なされるステップであって、前記透かしネットワークには、Ｙ－Ｎｅｔ生成ネットワーク、圧縮損失模擬ネットワーク、判別ネットワーク及び抽出ネットワークが含まれ、最適化プロセス中、前記判別ネットワークと圧縮損失模擬ネットワークの重みは固定される、ステップ、及び
トレーニング済み透かしネットワークを使用して、キャリア画像及び透かし画像に基づいて透かし入り画像を生成し、透かし入り画像を圧縮し、圧縮後の透かし入り画像から透かし画像を再構築するステップ
を含むＹ－Ｎｅｔに基づく電子透かし方法を提案する。
キャリア画像及び透かし画像をＹ－Ｎｅｔ生成ネットワークに入力し、透かし画像が埋め込まれた透かし入り画像を得るステップ、
前記透かし入り画像を事前にトレーニングされた圧縮損失模擬ネットワークに入力して、模擬圧縮透かし入り画像を得るステップ、
事前にトレーニングされた判別ネットワークを用いて前記模擬圧縮透かし入り画像を判別し、透かし入り画像をキャリア画像又は透かし入り画像として識別することを含む判別結果を得るステップ、
前記模擬圧縮透かし入り画像を抽出ネットワークに入力して、透かし入りの再構成画像を得るステップ、
前記透かし入り画像、透かし入りの再構成画像及び判別ネットワークの結果に基づいて、透かしネットワーク全体の総損失関数を計算し、損失関数を最小化することを目標として前記透かしネットワークを最適化し、損失が減少し、安定した状態が維持される時、トレーニングが終了したと見なされるステップであって、前記透かしネットワークには、Ｙ－Ｎｅｔ生成ネットワーク、圧縮損失模擬ネットワーク、判別ネットワーク及び抽出ネットワークが含まれ、最適化プロセス中、前記判別ネットワークと圧縮損失模擬ネットワークの重みは固定される、ステップ、及び
トレーニング済み透かしネットワークを使用して、キャリア画像及び透かし画像に基づいて透かし入り画像を生成し、透かし入り画像を圧縮し、圧縮後の透かし入り画像から透かし画像を再構築するステップ
を含むＹ－Ｎｅｔに基づく電子透かし方法を提案する。
【0007】
代替的に、前記Ｙ－Ｎｅｔ生成ネットワークは、スキップ接続構造であり、キャリアの第１畳み込み操作グループ、キャリアの第２畳み込み操作グループ、キャリアの第３畳み込み操作グループ、キャリアの第４畳み込み操作グループ、キャリアの第５畳み込み操作グループ、キャリアの第６畳み込み操作グループ、透かしの第１畳み込み操作グループ、透かしの第２畳み込み操作グループ、透かしの第３畳み込み操作グループ、透かしの第４畳み込み操作グループ、透かしの第５畳み込み操作グループ、透かしの第６畳み込み操作グループ、第７畳み込み操作グループ、第１逆畳み込み操作グループ、第２逆畳み込み操作グループ、第３逆畳み込み操作グループ、第４逆畳み込み操作グループ、第５逆畳み込み操作グループ、第６逆畳み込み操作グループ、第７逆畳み込み操作グループ、及び第８畳み込み操作グループを含み、
前記キャリアの第６畳み込み操作グループ及び透かしの第６畳み込み操作グループの出力は、第１逆畳み込み操作グループの出力と融合され、
前記キャリアの第５畳み込み操作グループ及び透かしの第５畳み込み操作グループの出力は、第２逆畳み込み操作グループの出力と融合され、
前記キャリアの第４畳み込み操作グループ及び透かしの第４畳み込み操作グループの出力は、第３逆畳み込み操作グループの出力と融合され、
前記キャリアの第３畳み込み操作グループ及び透かしの第３畳み込み操作グループの出力は、第４逆畳み込み操作グループの出力と融合され、
前記キャリアの第２畳み込み操作グループ及び透かしの第２畳み込み操作グループの出力は、第５逆畳み込み操作グループの出力と融合され、
前記キャリアの第１畳み込み操作グループ及び透かしの第１畳み込み操作グループの出力は、第６逆畳み込み操作グループの出力と融合され、
前記キャリアの第６畳み込み操作グループと透かしの第６畳み込み操作グループは、チャンネルステッチングを行った後第７畳み込み操作グループに入力され、前記第７畳み込み操作グループの出力端は前記第１逆畳み込み操作グループに接続され、
前記第６逆畳み込み操作グループ、キャリアの第１畳み込み操作グループ、透かしの第１畳み込み操作グループのスキップ接続後の結果は、第７逆畳み込み操作グループに入力され、
前記第８畳み込み操作グループの入力端は、前記第７逆畳み込み操作グループに入力され、出力は透かし入り画像であり、
１つの畳み込み操作グループは、順次に設けられた畳み込み層、活性化層、及びバッチ正規化層を含み、１つの逆畳み込み操作グループは順次に設けられた逆畳み込み層、活性化層、及びバッチ正規化層を含む。
前記キャリアの第６畳み込み操作グループ及び透かしの第６畳み込み操作グループの出力は、第１逆畳み込み操作グループの出力と融合され、
前記キャリアの第５畳み込み操作グループ及び透かしの第５畳み込み操作グループの出力は、第２逆畳み込み操作グループの出力と融合され、
前記キャリアの第４畳み込み操作グループ及び透かしの第４畳み込み操作グループの出力は、第３逆畳み込み操作グループの出力と融合され、
前記キャリアの第３畳み込み操作グループ及び透かしの第３畳み込み操作グループの出力は、第４逆畳み込み操作グループの出力と融合され、
前記キャリアの第２畳み込み操作グループ及び透かしの第２畳み込み操作グループの出力は、第５逆畳み込み操作グループの出力と融合され、
前記キャリアの第１畳み込み操作グループ及び透かしの第１畳み込み操作グループの出力は、第６逆畳み込み操作グループの出力と融合され、
前記キャリアの第６畳み込み操作グループと透かしの第６畳み込み操作グループは、チャンネルステッチングを行った後第７畳み込み操作グループに入力され、前記第７畳み込み操作グループの出力端は前記第１逆畳み込み操作グループに接続され、
前記第６逆畳み込み操作グループ、キャリアの第１畳み込み操作グループ、透かしの第１畳み込み操作グループのスキップ接続後の結果は、第７逆畳み込み操作グループに入力され、
前記第８畳み込み操作グループの入力端は、前記第７逆畳み込み操作グループに入力され、出力は透かし入り画像であり、
１つの畳み込み操作グループは、順次に設けられた畳み込み層、活性化層、及びバッチ正規化層を含み、１つの逆畳み込み操作グループは順次に設けられた逆畳み込み層、活性化層、及びバッチ正規化層を含む。
【0008】
代替的に、前記判別ネットワークは、次のトレーニングステップを通じて取得される：
複数の画像サンプルを収集し、各サンプル画像のラベルを決定するステップであって、前記ラベルは対応するサンプル画像に含まれる透かし画像の確率を含む、ステップ、
各画像サンプルを入力として、各画像サンプルのラベルを出力としてＺｈｕ－Ｎｅｔをトレーニングし、判別ネットワークを得るステップ。
複数の画像サンプルを収集し、各サンプル画像のラベルを決定するステップであって、前記ラベルは対応するサンプル画像に含まれる透かし画像の確率を含む、ステップ、
各画像サンプルを入力として、各画像サンプルのラベルを出力としてＺｈｕ－Ｎｅｔをトレーニングし、判別ネットワークを得るステップ。
【0009】
代替的に、前記圧縮損失模擬ネットワークは、Ｕ－Ｎｅｔネットワークである。
【0010】
代替的に、前記抽出ネットワークは、Ｕ－Ｎｅｔ＋＋ネットワークである。
【0011】
代替的に、前記判別ネットワークは、判別器であり、前記判別器にはｓｏｆｔｍａｘ関数が含まれる。
【0012】
代替的に、前記透かしネットワークの総損失関数は、次のようになる。
【0013】
【数1】
【0014】
代替的に、前記Ｙ－Ｎｅｔ生成ネットワーク損失の計算式は、次のようになる。
【0015】
【数2】
【数3】
【0016】
前記抽出ネットワーク損失Ｌｓの計算式は、次のようになる。
【0017】
【数4】
【数5】
【0018】
前記判別ネットワーク損失Ｌｄの計算式は、次のようになる。
【0019】
【数6】
【0020】
第２の態様において、本発明は、
キャリア画像及び透かし画像をＹ－Ｎｅｔ生成ネットワークに入力し、透かし画像が埋め込まれた透かし入り画像を得るための第１処理ユニットと、
前記透かし入り画像を事前にトレーニングされた圧縮損失模擬ネットワークに入力して、模擬圧縮透かし入り画像を得るための第２処理ユニットと、
事前にトレーニングされた判別ネットワークを用いて前記模擬圧縮透かし入り画像を判別し、透かし入り画像をキャリア画像又は透かし入り画像として識別することを含む判別結果を得るための判別ユニットと、
前記模擬圧縮透かし入り画像を抽出ネットワークに入力して、透かし入りの再構成画像を得るための再構成ユニットと、
前記透かし入り画像、透かし入りの再構成画像及び判別ネットワークの結果に基づいて、透かしネットワークの総損失関数を計算し、損失関数を最小化することを目標として前記透かしネットワークを最適化し、損失が減少し、安定した状態が維持される時、トレーニングが終了したと見なされる（前記透かしネットワークには、Ｙ－Ｎｅｔ生成ネットワーク、圧縮損失模擬ネットワーク、判別ネットワーク及び抽出ネットワークが含まれ、最適化プロセス中、前記判別ネットワークと圧縮損失模擬ネットワークの重みは固定される）ためのトレーニングユニットと、
トレーニング済み透かしネットワークを使用して、キャリア画像及び透かし画像に基づいて透かし入り画像を生成し、透かし入り画像を圧縮し、圧縮後の透かし入り画像から透かし画像を再構築するための透かしユニットと
を備えたＹ－Ｎｅｔに基づく強いロバストな電子透かし装置を提供する。
キャリア画像及び透かし画像をＹ－Ｎｅｔ生成ネットワークに入力し、透かし画像が埋め込まれた透かし入り画像を得るための第１処理ユニットと、
前記透かし入り画像を事前にトレーニングされた圧縮損失模擬ネットワークに入力して、模擬圧縮透かし入り画像を得るための第２処理ユニットと、
事前にトレーニングされた判別ネットワークを用いて前記模擬圧縮透かし入り画像を判別し、透かし入り画像をキャリア画像又は透かし入り画像として識別することを含む判別結果を得るための判別ユニットと、
前記模擬圧縮透かし入り画像を抽出ネットワークに入力して、透かし入りの再構成画像を得るための再構成ユニットと、
前記透かし入り画像、透かし入りの再構成画像及び判別ネットワークの結果に基づいて、透かしネットワークの総損失関数を計算し、損失関数を最小化することを目標として前記透かしネットワークを最適化し、損失が減少し、安定した状態が維持される時、トレーニングが終了したと見なされる（前記透かしネットワークには、Ｙ－Ｎｅｔ生成ネットワーク、圧縮損失模擬ネットワーク、判別ネットワーク及び抽出ネットワークが含まれ、最適化プロセス中、前記判別ネットワークと圧縮損失模擬ネットワークの重みは固定される）ためのトレーニングユニットと、
トレーニング済み透かしネットワークを使用して、キャリア画像及び透かし画像に基づいて透かし入り画像を生成し、透かし入り画像を圧縮し、圧縮後の透かし入り画像から透かし画像を再構築するための透かしユニットと
を備えたＹ－Ｎｅｔに基づく強いロバストな電子透かし装置を提供する。
【0021】
第３の態様において、本発明は、記憶媒体と、プロセッサとを備えたＹ－Ｎｅｔに基づく強いロバストな電子透かしシステムを提供し、
前記記憶媒体は、命令を保存するために用いられ、
前記プロセッサは、第１態様のいずれか一項に記載の方法を実行するため、前記命令に従い動作するために用いられる。
前記記憶媒体は、命令を保存するために用いられ、
前記プロセッサは、第１態様のいずれか一項に記載の方法を実行するため、前記命令に従い動作するために用いられる。
【発明の効果】
【0022】
従来技術と比較して、本発明の有利な効果としては、
本発明は、特徴豊富なブランチ生成ネットワークであるＹ－Ｎｅｔを設計して、透かし入り画像の視覚的品質を向上させ、
初めてＵ－Ｎｅｔ＋＋構造を画像電子透かしの分野に引用し、抽出ネットワークとして透かしの再構成画像の視覚的品質を向上させ、
ネットワーク伝送時ＪＰＥＧ圧縮からもたらす画質損失を考慮し、Ｕ－Ｎｅｔ構造ネットワークを使用してＪＰＥＧ圧縮損失を模擬し、透かしネットワークのＪＰＥＧ圧縮に対する耐性を向上させ、
Ｚｈｕ－Ｎｅｔネットワーク構造を判別ネットワークとして使用し、透かし入り画像の安全性をリアルタイムで監視し、
透かしネットワークをトレーニングする際、判別ネットワーク及び圧縮損失模擬ネットワークの重みを固定し、一方向敵対的トレーニング方法を用い、透かしネットワークの収束速度を加速し、画質が向上するだけでなく、透かし入り画像の安全性も確保する。
本発明は、特徴豊富なブランチ生成ネットワークであるＹ－Ｎｅｔを設計して、透かし入り画像の視覚的品質を向上させ、
初めてＵ－Ｎｅｔ＋＋構造を画像電子透かしの分野に引用し、抽出ネットワークとして透かしの再構成画像の視覚的品質を向上させ、
ネットワーク伝送時ＪＰＥＧ圧縮からもたらす画質損失を考慮し、Ｕ－Ｎｅｔ構造ネットワークを使用してＪＰＥＧ圧縮損失を模擬し、透かしネットワークのＪＰＥＧ圧縮に対する耐性を向上させ、
Ｚｈｕ－Ｎｅｔネットワーク構造を判別ネットワークとして使用し、透かし入り画像の安全性をリアルタイムで監視し、
透かしネットワークをトレーニングする際、判別ネットワーク及び圧縮損失模擬ネットワークの重みを固定し、一方向敵対的トレーニング方法を用い、透かしネットワークの収束速度を加速し、画質が向上するだけでなく、透かし入り画像の安全性も確保する。
【0023】
以下、本発明の内容を明確に理解しやすくするため、具体的実施形態に基づいて、図面と併せて本発明をさらに詳細に説明する。
【図面の簡単な説明】
【0024】
【図1】一実施形態に係るＹ－Ｎｅｔに基づく電子透かし方法のフローチャートである。
【図2】一実施形態に係るＹ－Ｎｅｔ生成ネットワークの概略構成図である。
【図3】一実施形態に係る圧縮損失模擬ネットワークの概略構成図である。
【発明を実施するための形態】
【0025】
本出願の目的、技術的手段及び利点をより明確にするため、以下に図面及び実施形態を参照しつつ本出願をさらに詳細に説明する。ここで描写される具体的実施形態は、本出願を解釈することだけに使われており、本出願を限定するものではないことが理解され得る。
【0026】
本明細書で言及される「実施形態」は、実施形態で描写される特定の特徴、構造、又は特性を組み合わせて、本出願の少なくとも１つの実施形態に含まれ得ることを意味する。本明細書の様々な場所に語句「一実施形態において」が現れることは、必ずしもすべてが同じ実施形態に言及するとは限らず、また別個の又は代替の実施形態は、他の実施形態と必ずしも相互排他的であるとは限らない。当業者は、本明細書に描写されている実施形態が他の実施形態と組み合わせることができることを明示かつ暗黙的に理解している。
【0027】
以下、図面を参照しつつ本発明の使用原理を詳細に描写する。
【0028】
（第１の実施形態）
本発明の実施形態は、図１に示すように、Ｙ－Ｎｅｔに基づく電子透かし方法を提供し、具体的には次のステップを含む。
本発明の実施形態は、図１に示すように、Ｙ－Ｎｅｔに基づく電子透かし方法を提供し、具体的には次のステップを含む。
【0029】
Ｓ１０：キャリア画像及び透かし画像をＹ－Ｎｅｔ生成ネットワークに入力し、透かし画像が埋め込まれた透かし入り画像を得、すなわち、透かし画像をキャリア画像に埋め込み、透かし入り画像を生成するステップ；
本発明の実施形態の具体的な実施態様において、図３に示すように、前記Ｙ－Ｎｅｔ生成ネットワークは、スキップ接続構造であり、キャリアの第１畳み込み操作グループＣｏｎｖ１＿ｃ、キャリアの第２畳み込み操作グループＣｏｎｖ２＿ｃ、キャリアの第３畳み込み操作グループＣｏｎｖ３＿ｃ、キャリアの第４畳み込み操作グループＣｏｎｖ４＿ｃ、キャリアの第５畳み込み操作グループＣｏｎｖ５＿ｃ、キャリアの第６畳み込み操作グループＣｏｎｖ６＿ｃ、透かしの第１畳み込み操作グループＣｏｎｖ１＿ｓ、透かしの第２畳み込み操作グループＣｏｎｖ２＿ｓ、透かしの第３畳み込み操作グループＣｏｎｖ３＿ｓ、透かしの第４畳み込み操作グループＣｏｎｖ４＿ｓ、透かしの第５畳み込み操作グループＣｏｎｖ５＿ｓ、透かしの第６畳み込み操作グループＣｏｎｖ６＿ｓ、第７畳み込み操作グループＣｏｎｖ７、第１逆畳み込み操作グループＣｏｎｖＴ１、第２逆畳み込み操作グループＣｏｎｖＴ２、第３逆畳み込み操作グループＣｏｎｖＴ３、第４逆畳み込み操作グループＣｏｎｖＴ４、第５逆畳み込み操作グループＣｏｎｖＴ５、第６逆畳み込み操作グループＣｏｎｖＴ６、第７逆畳み込み操作グループＣｏｎｖＴ７、及び第８畳み込み操作グループＣｏｎｖ８を含み、
前記キャリアの第６畳み込み操作グループ及び透かしの第６畳み込み操作グループの出力は、第１逆畳み込み操作グループの出力と融合され、
前記キャリアの第５畳み込み操作グループ及び透かしの第５畳み込み操作グループの出力は、第２逆畳み込み操作グループの出力と融合され、
前記キャリアの第４畳み込み操作グループ及び透かしの第４畳み込み操作グループの出力は、第３逆畳み込み操作グループの出力と融合され、
前記キャリアの第３畳み込み操作グループ及び透かしの第３畳み込み操作グループの出力は、第４逆畳み込み操作グループの出力と融合され、
前記キャリアの第２畳み込み操作グループ及び透かしの第２畳み込み操作グループの出力は、第５逆畳み込み操作グループの出力と融合され、
前記キャリアの第１畳み込み操作グループ及び透かしの第１畳み込み操作グループの出力は、第６逆畳み込み操作グループの出力と融合され、
前記キャリアの第６畳み込み操作グループと透かしの第６畳み込み操作グループは、チャンネルステッチングを行った後第７畳み込み操作グループに入力され、前記第７畳み込み操作グループの出力端は前記第１逆畳み込み操作グループに接続され、
前記第６逆畳み込み操作グループ、キャリアの第１畳み込み操作グループ、透かしの第１畳み込み操作グループのスキップ接続後の結果は、第７逆畳み込み操作グループに入力され、
前記第８畳み込み操作グループの入力端は、前記第７逆畳み込み操作グループに入力され、出力は透かし入り画像であり、
１つの畳み込み操作グループは、順次に設けられた畳み込み層Ｃｏｎｖ、活性化層ＬｅａｋｙＲｅＬｕ、及びバッチ正規化層ＢＮを含み、１つの逆畳み込み操作グループは順次に設けられた逆畳み込み層ＣｏｎｖＴ、活性化層ＬｅａｋｙＲｅＬｕ、及びバッチ正規化層ＢＮを含む。
本発明の実施形態の具体的な実施態様において、図３に示すように、前記Ｙ－Ｎｅｔ生成ネットワークは、スキップ接続構造であり、キャリアの第１畳み込み操作グループＣｏｎｖ１＿ｃ、キャリアの第２畳み込み操作グループＣｏｎｖ２＿ｃ、キャリアの第３畳み込み操作グループＣｏｎｖ３＿ｃ、キャリアの第４畳み込み操作グループＣｏｎｖ４＿ｃ、キャリアの第５畳み込み操作グループＣｏｎｖ５＿ｃ、キャリアの第６畳み込み操作グループＣｏｎｖ６＿ｃ、透かしの第１畳み込み操作グループＣｏｎｖ１＿ｓ、透かしの第２畳み込み操作グループＣｏｎｖ２＿ｓ、透かしの第３畳み込み操作グループＣｏｎｖ３＿ｓ、透かしの第４畳み込み操作グループＣｏｎｖ４＿ｓ、透かしの第５畳み込み操作グループＣｏｎｖ５＿ｓ、透かしの第６畳み込み操作グループＣｏｎｖ６＿ｓ、第７畳み込み操作グループＣｏｎｖ７、第１逆畳み込み操作グループＣｏｎｖＴ１、第２逆畳み込み操作グループＣｏｎｖＴ２、第３逆畳み込み操作グループＣｏｎｖＴ３、第４逆畳み込み操作グループＣｏｎｖＴ４、第５逆畳み込み操作グループＣｏｎｖＴ５、第６逆畳み込み操作グループＣｏｎｖＴ６、第７逆畳み込み操作グループＣｏｎｖＴ７、及び第８畳み込み操作グループＣｏｎｖ８を含み、
前記キャリアの第６畳み込み操作グループ及び透かしの第６畳み込み操作グループの出力は、第１逆畳み込み操作グループの出力と融合され、
前記キャリアの第５畳み込み操作グループ及び透かしの第５畳み込み操作グループの出力は、第２逆畳み込み操作グループの出力と融合され、
前記キャリアの第４畳み込み操作グループ及び透かしの第４畳み込み操作グループの出力は、第３逆畳み込み操作グループの出力と融合され、
前記キャリアの第３畳み込み操作グループ及び透かしの第３畳み込み操作グループの出力は、第４逆畳み込み操作グループの出力と融合され、
前記キャリアの第２畳み込み操作グループ及び透かしの第２畳み込み操作グループの出力は、第５逆畳み込み操作グループの出力と融合され、
前記キャリアの第１畳み込み操作グループ及び透かしの第１畳み込み操作グループの出力は、第６逆畳み込み操作グループの出力と融合され、
前記キャリアの第６畳み込み操作グループと透かしの第６畳み込み操作グループは、チャンネルステッチングを行った後第７畳み込み操作グループに入力され、前記第７畳み込み操作グループの出力端は前記第１逆畳み込み操作グループに接続され、
前記第６逆畳み込み操作グループ、キャリアの第１畳み込み操作グループ、透かしの第１畳み込み操作グループのスキップ接続後の結果は、第７逆畳み込み操作グループに入力され、
前記第８畳み込み操作グループの入力端は、前記第７逆畳み込み操作グループに入力され、出力は透かし入り画像であり、
１つの畳み込み操作グループは、順次に設けられた畳み込み層Ｃｏｎｖ、活性化層ＬｅａｋｙＲｅＬｕ、及びバッチ正規化層ＢＮを含み、１つの逆畳み込み操作グループは順次に設けられた逆畳み込み層ＣｏｎｖＴ、活性化層ＬｅａｋｙＲｅＬｕ、及びバッチ正規化層ＢＮを含む。
【0030】
前記Ｙ－Ｎｅｔ生成ネットワークは、全てのキャリア畳み込み操作グループを使用してキャリア画像の特徴を抽出し、全ての透かし畳み込み操作グループを使用して透かし画像の特徴を抽出し、キャリア画像及び透かし画像の特徴をそれぞれ独立して抽出するための２つの分岐の操作により、２種類の画像の特徴の混同を効果的に防止できることが分かる。なお、その後の逆畳み込みプロセスにおいて、透かし入り画像ができるだけ多くの原画像情報を留保できるように、初期で抽出された多次元特徴を融合するためのスキップ接続構造を設け、その後の透かしの画像再構成作業に非常に便利である。
【0031】
Ｓ２０：前記透かし入り画像を事前にトレーニングされた圧縮損失模擬ネットワークに入力して、模擬圧縮透かし入り画像を得るステップ；
具体的実施プロセスにおいて、ネットワーク伝送中に伝送レートを向上させるため、通常、画像に対してＪＰＥＧ圧縮操作を行う。ＪＰＥＧ圧縮は、画像の高周波成分の情報を削ることで高周波成分に埋め込まれた透かし画像が深刻なダメージを受けて再構成できなくなる。このためＪＰＥＧ圧縮損失を透かしネットワークに導入する必要があるが、ＪＰＥＧ圧縮の量子化操作は不連続であり、ネットワークの逆伝播プロセスに参加できない。このため本発明の実施底における圧縮損失模擬ネットワークは、ＪＰＥＧ圧縮損失の模擬として使用し、透かしの再構成画像の画質を効果的に向上するためのＵ－Ｎｅｔネットワークを選択することができる。
具体的実施プロセスにおいて、ネットワーク伝送中に伝送レートを向上させるため、通常、画像に対してＪＰＥＧ圧縮操作を行う。ＪＰＥＧ圧縮は、画像の高周波成分の情報を削ることで高周波成分に埋め込まれた透かし画像が深刻なダメージを受けて再構成できなくなる。このためＪＰＥＧ圧縮損失を透かしネットワークに導入する必要があるが、ＪＰＥＧ圧縮の量子化操作は不連続であり、ネットワークの逆伝播プロセスに参加できない。このため本発明の実施底における圧縮損失模擬ネットワークは、ＪＰＥＧ圧縮損失の模擬として使用し、透かしの再構成画像の画質を効果的に向上するためのＵ－Ｎｅｔネットワークを選択することができる。
【0032】
本発明の実施形態の具体的な実施態様において、前記Ｕ－Ｎｅｔ圧縮損失模擬ネットワークは、スキップ接続構造であり、第１畳み込み操作グループ、第２畳み込み操作グループ、第３畳み込み操作グループ、第４畳み込み操作グループ、第１逆畳み込み操作グループ、第２逆畳み込み操作グループ、第３逆畳み込み操作グループ及び第５畳み込み操作グループを含み、
前記第３畳み込み操作グループの出力は、第１逆畳み込み操作グループの出力と融合され、
前記第２畳み込み操作グループの出力は、第２逆畳み込み操作グループの出力と融合され、
前記第１畳み込み操作グループの出力は、第３逆畳み込み操作グループの出力と融合され、
１つの畳み込み操作グループは、順次に設定された畳み込み層、活性化層、及びバッチ正規化層を含み、１つの逆畳み込み操作グループは順次に設定された逆畳み込み層、活性化層、及びバッチ正規化層を含む。
前記第３畳み込み操作グループの出力は、第１逆畳み込み操作グループの出力と融合され、
前記第２畳み込み操作グループの出力は、第２逆畳み込み操作グループの出力と融合され、
前記第１畳み込み操作グループの出力は、第３逆畳み込み操作グループの出力と融合され、
１つの畳み込み操作グループは、順次に設定された畳み込み層、活性化層、及びバッチ正規化層を含み、１つの逆畳み込み操作グループは順次に設定された逆畳み込み層、活性化層、及びバッチ正規化層を含む。
【0033】
前記Ｕ－Ｎｅｔ圧縮損失模擬ネットワークは、図３に示され、第１畳み込み操作グループ、第２畳み込み操作グループ、第３畳み込み操作グループ、第４畳み込み操作グループ、第１逆畳み込み操作グループ、第２逆畳み込み操作グループ、第３逆畳み込み操作グループ和第５畳み込み操作グループは、図３に示すＣｏｎｖ１、Ｃｏｎｖ２、Ｃｏｎｖ３、Ｃｏｎｖ４、ＣｏｎｖＴ１、ＣｏｎｖＴ２、ＣｏｎｖＴ３、Ｃｏｎｖ５に対応する。畳み込み層、活性化層、バッチ正規化層、逆畳み込み層は、図３のＣｏｎｖ、ＬｅａｋｙＲｅＬＵ、ＢＮ、ＣｏｎｖＴに順に対応する。
【0034】
前記透かし入り画像を前記圧縮損失模擬ネットワークに入力してＪＰＥＧ圧縮過程中の画質損失模擬を行い、模擬圧縮後の透かし入り画像、すなわち模擬圧縮透かし入り画像を出力する。
【0035】
Ｓ３０：事前にトレーニングされた判別ネットワークを用いて前記模擬圧縮透かし入り画像を判別し、透かし入り画像をキャリア画像又は透かし入り画像として識別することを含む判別結果を得るステップ；
模擬圧縮透かし入り画像を得た後、安全性を向上させ、透かし画像の埋め込み位置が妥当であるかどうかを判断するため、最適なステガナリシス装置であるＺｈｕ－Ｎｅｔを判別器として選択した場合、模擬圧縮透かし入り画像及びキャリア画像を効果的に区別できる。このため具体的実施プロセス中において、前記判別ネットワークは、Ｚｈｕ－Ｎｅｔネットワークを選択して、Ｓ－ＵＮＩＷＡＲＤ、ＨＵＧＯなどの異なる空間領域における透かしアルゴリズムにおり生成された透かし入り画像を学習でき、前記圧縮模擬透かし入り画像を判別ネットワークに入力して判別し、二項分類結果を出力し、すなわち透かし入り画像をキャリア画像又は透かし入り画像として識別する。
模擬圧縮透かし入り画像を得た後、安全性を向上させ、透かし画像の埋め込み位置が妥当であるかどうかを判断するため、最適なステガナリシス装置であるＺｈｕ－Ｎｅｔを判別器として選択した場合、模擬圧縮透かし入り画像及びキャリア画像を効果的に区別できる。このため具体的実施プロセス中において、前記判別ネットワークは、Ｚｈｕ－Ｎｅｔネットワークを選択して、Ｓ－ＵＮＩＷＡＲＤ、ＨＵＧＯなどの異なる空間領域における透かしアルゴリズムにおり生成された透かし入り画像を学習でき、前記圧縮模擬透かし入り画像を判別ネットワークに入力して判別し、二項分類結果を出力し、すなわち透かし入り画像をキャリア画像又は透かし入り画像として識別する。
【0036】
本発明の実施形態の具体的な実施態様において、前記判別ネットワークは、次のトレーニングステップを通じて取得される：
複数の画像サンプルを収集し、各サンプル画像のラベルを決定するステップ（前記ラベルは対応するサンプル画像に含まれる透かし画像の確率を含む）、
各画像サンプルを入力として、各画像サンプルのラベルを出力としてＺｈｕ－Ｎｅｔをトレーニングし、判別ネットワークを得るステップ。
複数の画像サンプルを収集し、各サンプル画像のラベルを決定するステップ（前記ラベルは対応するサンプル画像に含まれる透かし画像の確率を含む）、
各画像サンプルを入力として、各画像サンプルのラベルを出力としてＺｈｕ－Ｎｅｔをトレーニングし、判別ネットワークを得るステップ。
【0037】
Ｓ４０：前記模擬圧縮透かし入り画像を抽出ネットワークに入力して、透かし入りの再構成画像を得るステップ；
具体的な実施プロセスにおいて、前記抽出ネットワークは、Ｕ－Ｎｅｔ＋＋ネットワークを選択して、前記圧縮模擬透かし入り画像を抽出ネットワークに入力し、透かしの再構成画像を出力できる。Ｕ－Ｎｅｔ＋＋ネットワーク構造で構築された抽出ネットワークは、一連のネストされたジャンプ接続操作を通じて、特徴マップの異なるレベルの特徴を捕捉し、透かし画像抽出の高精度を確保できる。
具体的な実施プロセスにおいて、前記抽出ネットワークは、Ｕ－Ｎｅｔ＋＋ネットワークを選択して、前記圧縮模擬透かし入り画像を抽出ネットワークに入力し、透かしの再構成画像を出力できる。Ｕ－Ｎｅｔ＋＋ネットワーク構造で構築された抽出ネットワークは、一連のネストされたジャンプ接続操作を通じて、特徴マップの異なるレベルの特徴を捕捉し、透かし画像抽出の高精度を確保できる。
【0038】
Ｓ５０：前記透かし入り画像、透かし入りの再構成画像及び判別ネットワークの結果に基づき、透かしネットワークの総損失関数を計算し、損失関数を最小化することを目標として前記透かしネットワークを最適化し、損失が減少し、安定した状態が維持される時、トレーニングが終了したと見なされる（前記透かしネットワークには、Ｙ－Ｎｅｔ生成ネットワーク、圧縮損失模擬ネットワーク、判別ネットワーク及び抽出ネットワークが含まれ、最適化プロセス中、前記判別ネットワークと圧縮損失模擬ネットワークの重みは固定される）ステップ；
一方向敵対的トレーニング方法を用いて、事前にトレーニングされた圧縮損失模擬ネットワーク及び判別ネットワークを透かしネットワークに追加し、圧縮損失模擬ネットワーク、判別ネットワークの重みを固定し、ネットワークトレーニングプロセスでは、Ｙ－Ｎｅｔ生成ネットワーク、及び抽出ネットワークのみを継続的に変更することでネットワークの安定性が大幅に向上し、収束速度を加速し、画像透かしの安全性を確保しながら画質が向上する。
一方向敵対的トレーニング方法を用いて、事前にトレーニングされた圧縮損失模擬ネットワーク及び判別ネットワークを透かしネットワークに追加し、圧縮損失模擬ネットワーク、判別ネットワークの重みを固定し、ネットワークトレーニングプロセスでは、Ｙ－Ｎｅｔ生成ネットワーク、及び抽出ネットワークのみを継続的に変更することでネットワークの安定性が大幅に向上し、収束速度を加速し、画像透かしの安全性を確保しながら画質が向上する。
【0039】
本発明の実施形態の具体的な実施態様において、前記透かしネットワークの総損失関数は、次のようになった。
【0040】
【数7】
【0041】
前記Ｙ－Ｎｅｔ生成ネットワーク損失（すなわち、透かし入り画像の画質損失）の計算式は、次のようになった。
【0042】
【数8】
【数9】
【0043】
前記抽出ネットワーク損失（すなわち、透かしの再構成画像の画質損失）Ｌｓの計算式は、次のようになった。
【0044】
【数10】
【数11】
【0045】
前記判別ネットワーク損失Ｌｄの計算式は、次のようになった。
【0046】
【数12】
【0047】
透かしネットワークのトレーニングプロセス中、事前トレーニング済みの圧縮損失ネットワーク及び判別ネットワークの重みを固定し、生成ネットワーク、抽出ネットワークの重みクのみを継続的に変更することでネットワークトレーニングの安定性が効果的に向上する。
【0048】
Ｓ６０：トレーニング済み透かしネットワークを使用して、キャリア画像及び透かし画像に基づいて透かし入り画像を生成し、透かし入り画像をＪＰＥＧ圧縮し、圧縮後の透かし入り画像から透かし画像を再構築するステップ；
実際の応用において、キャリア画像及び透かし画像をトレーニング済みのＹ－Ｎｅｔ生成ネットワークに入力して高品質の透かし入り画像を得、透かし入り画像をトレーニング済みの圧縮損失模擬ネットワークに入力して模擬されたＪＰＥＧ圧縮透かし入り画像を得、圧縮後の透かし入り画像をトレーニング済みの抽出ネットワークに入力して透かし入り画像に隠された透かし画像を抽出する。
実際の応用において、キャリア画像及び透かし画像をトレーニング済みのＹ－Ｎｅｔ生成ネットワークに入力して高品質の透かし入り画像を得、透かし入り画像をトレーニング済みの圧縮損失模擬ネットワークに入力して模擬されたＪＰＥＧ圧縮透かし入り画像を得、圧縮後の透かし入り画像をトレーニング済みの抽出ネットワークに入力して透かし入り画像に隠された透かし画像を抽出する。
【0049】
要するに、本発明の実施形態におけるＹ－Ｎｅｔに基づく電子透かし方法は、キャリア画像及び透かし画像をＹ－Ｎｅｔ生成ネットワークに入力し、透かし入り画像を得、透かし入り画像を事前にトレーニングされた圧縮損失模擬ネットワークに入力して、模擬圧縮透かし入り画像を得、事前にトレーニングされた判別ネットワークを用いて前記模擬圧縮透かし入り画像に透かし画像を隠しているかどうかを判別し、同時に模擬圧縮透かし入り画像を抽出ネットワークに入力して透かし入りの再構成画像を得るため、高い隠蔽性、高い安全性及び強い頑健性を有する。
【0050】
本発明の効果を検証するため、まず公開データセットＰＡＳＣＡＬ－ＶＯＣ２００に基づいて提案された透かしモデルをトレーニングし、公開データセットＰＡＳＣＡＬ－ＶＯＣ２０１２上でテストした。画質に関する実驗結果を表１に示す。この中でＵ－Ｎｅｔ［Ｄｕａｎ Ｘ Ｔ，Ｊｉａ Ｋ，Ｌｉ Ｂ Ｘ，ｅｔ ａｌ．Ｒｅｖｅｒｓｉｂｌｅ ｉｍａｇｅ ｓｔｅｇａｎｏｇｒａｐｈｙ ｓｃｈｅｍｅｂａｓｅｄ ｏｎ ａ Ｕ－Ｎｅｔ ｓｔｒｕｃｔｕｒｅ［Ｊ］． ＩＥＥＥ Ａｃｃｅｓｓ， ２０１９，２０１９（７）： ９３１４－９３２３］モデルは、現在透透かし入り画像の生成及び透かし画像の再構成に最適なモデルである。ＩＳＧＡＮ［Ｚｈａｎｇ Ｒ，Ｄｏｎｇ ＳＱ，Ｌｉｕ ＪＹ． Ｉｎｖｉｓｉｂｌｅ ｓｔｅｇａｎｏｇｒａｐｈｙ ｖｉａ ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ． Ｍｕｌｔｉｍｅｄｉａ Ｔｏｏｌｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，２０１９，７８（７）： ８５５９－８５７５］は、グレースケール透かしの埋め込み面に関して透かし入り画像の生成及び透かし画像の再構成に最適なモデルである。安全性に関する実驗結果を表２に示す。ＳＲＮｅｔ［Ｂｏｒｏｕｍａｎｄ Ｍ，Ｃｈｅｎ Ｍ， Ｆｒｉｄｒｉｃｈ Ｊ．Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｎｅｔｗｏｒｋ ｆｏｒ ｓｔｅｇａｎａｌｙｓｉｓ ｏｆ ｄｉｇｉｔａｌ ｉｍａｇｅｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｆｏｒｅｎｓｉｃｓ ａｎｄ Ｓｅｃｕｒｉｔｙ，２０１８，１４（５）：１１８１－１１９３］及びＺｈｕ－Ｎｅｔ［Ｚｈａｎｇ Ｒ，Ｚｈｕ Ｆ， Ｌｉｕ Ｊ，ｅｔ ａｌ．Ｄｅｐｔｈ－ｗｉｓｅ ｓｅｐａｒａｂｌｅ ｃｏｎｖｏｌｕｔｉｏｎｓ ａｎｄ ｍｕｌｔｉ－ｌｅｖｅｌ ｐｏｏｌｉｎｇ ｆｏｒ ａｎ ｅｆｆｉｃｉｅｎｔ ｓｐａｔｉａｌ ＣＮＮ－ｂａｓｅｄ ｓｔｅｇａｎａｌｙｓｉｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｆｏｒｅｎｓｉｃｓ ａｎｄ Ｓｅｃｕｒｉｔｙ，２０１９，２０１９（１５）：１１３８－１１５０］は、現在効果がより良い２つのステガナリシスモデルである。
【0051】
表１
【表1】
【0052】
表２
【表2】
【0053】
（第２の実施形態）
第１の実施形態と同じ発明の技術的思想に基づいて、本発明の実施形態は、
キャリア画像及び透かし画像をＹ－Ｎｅｔ生成ネットワークに入力し、透かし画像が埋め込まれた透かし入り画像を得るための第１処理ユニットと、
前記透かし入り画像を事前にトレーニングされた圧縮損失模擬ネットワークに入力して、模擬圧縮透かし入り画像を得るための第２処理ユニットと、
事前にトレーニングされた判別ネットワークを用いて前記模擬圧縮透かし入り画像を判別し、透かし入り画像をキャリア画像又は透かし入り画像として識別することを含む判別結果を得るための判別ユニットと、
前記模擬圧縮透かし入り画像を抽出ネットワークに入力して、透かし入りの再構成画像を得るための再構成ユニットと、
前記透かし入り画像、透かし入りの再構成画像及び判別ネットワークの結果に基づいて、透かしネットワークの総損失関数を計算し、損失関数を最小化することを目標として前記透かしネットワークを最適化し、損失が減少し、安定した状態が維持される時、トレーニングが終了したと見なされる（前記透かしネットワークには、Ｙ－Ｎｅｔ生成ネットワーク、圧縮損失模擬ネットワーク、判別ネットワーク及び抽出ネットワークが含まれ、最適化プロセス中、前記判別ネットワークと圧縮損失模擬ネットワークの重みは固定される）ためのトレーニングユニットと、
トレーニング済み透かしネットワークを使用して、キャリア画像及び透かし画像に基づいて透かし入り画像を生成し、透かし入り画像を圧縮し、圧縮後の透かし入り画像から透かし画像を再構築するための透かしユニットと
を備えたＹ－Ｎｅｔに基づく強いロバストな電子透かし装置を提供した。
第１の実施形態と同じ発明の技術的思想に基づいて、本発明の実施形態は、
キャリア画像及び透かし画像をＹ－Ｎｅｔ生成ネットワークに入力し、透かし画像が埋め込まれた透かし入り画像を得るための第１処理ユニットと、
前記透かし入り画像を事前にトレーニングされた圧縮損失模擬ネットワークに入力して、模擬圧縮透かし入り画像を得るための第２処理ユニットと、
事前にトレーニングされた判別ネットワークを用いて前記模擬圧縮透かし入り画像を判別し、透かし入り画像をキャリア画像又は透かし入り画像として識別することを含む判別結果を得るための判別ユニットと、
前記模擬圧縮透かし入り画像を抽出ネットワークに入力して、透かし入りの再構成画像を得るための再構成ユニットと、
前記透かし入り画像、透かし入りの再構成画像及び判別ネットワークの結果に基づいて、透かしネットワークの総損失関数を計算し、損失関数を最小化することを目標として前記透かしネットワークを最適化し、損失が減少し、安定した状態が維持される時、トレーニングが終了したと見なされる（前記透かしネットワークには、Ｙ－Ｎｅｔ生成ネットワーク、圧縮損失模擬ネットワーク、判別ネットワーク及び抽出ネットワークが含まれ、最適化プロセス中、前記判別ネットワークと圧縮損失模擬ネットワークの重みは固定される）ためのトレーニングユニットと、
トレーニング済み透かしネットワークを使用して、キャリア画像及び透かし画像に基づいて透かし入り画像を生成し、透かし入り画像を圧縮し、圧縮後の透かし入り画像から透かし画像を再構築するための透かしユニットと
を備えたＹ－Ｎｅｔに基づく強いロバストな電子透かし装置を提供した。
【0054】
その他の部分は、第１の実施形態と同じである。
【0055】
（第３の実施形態）
第１の実施形態と同じ発明の技術的思想に基づいて、本発明の実施形態は、記憶媒体と、プロセッサとを備えたＹ－Ｎｅｔに基づく強いロバストな電子透かしシステムを提供し、
前記記憶媒体は、命令を保存するために用いられ、
前記プロセッサは、第１の実施形態のいずれか一項に記載の方法を実行するため、前記命令に従い動作するために用いられる。
第１の実施形態と同じ発明の技術的思想に基づいて、本発明の実施形態は、記憶媒体と、プロセッサとを備えたＹ－Ｎｅｔに基づく強いロバストな電子透かしシステムを提供し、
前記記憶媒体は、命令を保存するために用いられ、
前記プロセッサは、第１の実施形態のいずれか一項に記載の方法を実行するため、前記命令に従い動作するために用いられる。
【0056】
当業者によって理解されるように、本出願の実施形態は、システム、方法又はコンピュータプログラム製品として具現化されてもよい。故に本出願は、全体的にハードウェアである実施形態、全体的にソフトウェアである実施形態或いはソフトウェアとハードウェアの側面を組み合わせる実施形態の形態をとってもよい。さらに、本出願は、コンピュータ可読プログラムコードを有する１つ以上のコンピュータ可読記録媒体（磁気ディスク記憶装置、ＣＤ－ＲＯＭ、光メモリなどを含むが、これらに限定されない）内で具体化されるコンピュータプログラム製品の形態をとってもよい。
【0057】
本出願は、本出願の実施形態による方法、装置（システム）及びコンピュータプログラム製品のフローチャートならびに／もしくはブロック図を参照して説明される。フローチャート及び／又はブロック図における各フロー及び／又はブロックならびにフローチャート図及び／又はブロック図におけるフロー及び／又はブロックの組み合わせが、コンピュータプログラム命令によって実装されることができる。これらのコンピュータプログラム命令は、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャートのフロー又は複数のフローならびに／もしくはブロック図のブロック又は複数のブロックに規定された機能を実装するための手段を生成するように、マシンを生産するため汎用コンピュータ、専用コンピュータ、もしくは他のプログラマブルデータ処理装置のプロセッサに提供されてもよい。
【0058】
これらのコンピュータプログラム命令はまた、コンピュータ可読メモリ内に記憶される命令が、フローチャートのフロー又は複数のフローならびに／もしくはブロック図のブロック或いは複数のブロックに規定された機能を実装する命令を含む製造品を生産するように、特定の様式で機能するようにコンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスに指図し得る、コンピュータ可読メモリ内に記憶されてもよい。
【0059】
コンピュータプログラム命令はまた、コンピュータ又は他のプログラマブル装置上で実行される命令が、フローチャートのフロー又は複数のフローならびに／もしくはブロック図のブロック或いは複数のブロック内に規定された機能を実装するためのプロセスを提供するように、一連の動作ステップをコンピュータ又は他のプログラマブル装置上で実施させ、コンピュータ実装プロセスを生産するためコンピュータ、又は他のプログラマブルデータ処理装置上にロードされてもよい。
【0060】
最後に、上記実施形態は、あくまでも本発明の技術的手段を明らかにするものであって、本発明はこれら実施形態により何ら限定されるものではないに留意されたい。本発明は、前述の実施形態を参照して詳細に説明されたが、本発明の具体的実施態様を修正する又は均等物で置き換えることができ、本発明の精神及び範囲から逸脱しないあらゆる修正又は置換が本発明の特許請求の範囲に収まるべきであることは、当業者によって理解されるだろう。
【0061】
（付記）
（付記１）
Ｙ－Ｎｅｔに基づく電子透かし方法であって、
キャリア画像及び透かし画像をＹ－Ｎｅｔ生成ネットワークに入力し、前記透かし画像が埋め込まれた透かし入り画像を得るステップ、
前記透かし入り画像を事前にトレーニングされた圧縮損失模擬ネットワークに入力して、模擬圧縮透かし入り画像を得るステップ、
事前にトレーニングされた判別ネットワークを用いて前記模擬圧縮透かし入り画像を判別し、前記透かし入り画像を前記キャリア画像又は前記透かし入り画像として識別することを含む判別結果を得るステップ、
前記模擬圧縮透かし入り画像を抽出ネットワークに入力して、透かし入りの再構成画像を得るステップ、
前記透かし入り画像、前記透かし入りの再構成画像及び前記判別ネットワークの結果に基づいて、透かしネットワーク全体の総損失関数を計算し、損失関数を最小化することを目標として前記透かしネットワークを最適化し、損失が減少し、安定した状態が維持される時、トレーニングが終了したと見なされるステップであって、前記透かしネットワークには、前記Ｙ－Ｎｅｔ生成ネットワーク、前記圧縮損失模擬ネットワーク、前記判別ネットワーク及び前記抽出ネットワークが含まれ、最適化プロセス中、前記判別ネットワークと前記圧縮損失模擬ネットワークの重みは固定される、ステップ、及び
トレーニング済み透かしネットワークを使用して、前記キャリア画像及び前記透かし画像に基づいて前記透かし入り画像を生成し、前記透かし入り画像を圧縮し、圧縮後の前記透かし入り画像から前記透かし画像を再構築するステップ、
を含むことを特徴とする、Ｙ－Ｎｅｔに基づく電子透かし方法。
（付記１）
Ｙ－Ｎｅｔに基づく電子透かし方法であって、
キャリア画像及び透かし画像をＹ－Ｎｅｔ生成ネットワークに入力し、前記透かし画像が埋め込まれた透かし入り画像を得るステップ、
前記透かし入り画像を事前にトレーニングされた圧縮損失模擬ネットワークに入力して、模擬圧縮透かし入り画像を得るステップ、
事前にトレーニングされた判別ネットワークを用いて前記模擬圧縮透かし入り画像を判別し、前記透かし入り画像を前記キャリア画像又は前記透かし入り画像として識別することを含む判別結果を得るステップ、
前記模擬圧縮透かし入り画像を抽出ネットワークに入力して、透かし入りの再構成画像を得るステップ、
前記透かし入り画像、前記透かし入りの再構成画像及び前記判別ネットワークの結果に基づいて、透かしネットワーク全体の総損失関数を計算し、損失関数を最小化することを目標として前記透かしネットワークを最適化し、損失が減少し、安定した状態が維持される時、トレーニングが終了したと見なされるステップであって、前記透かしネットワークには、前記Ｙ－Ｎｅｔ生成ネットワーク、前記圧縮損失模擬ネットワーク、前記判別ネットワーク及び前記抽出ネットワークが含まれ、最適化プロセス中、前記判別ネットワークと前記圧縮損失模擬ネットワークの重みは固定される、ステップ、及び
トレーニング済み透かしネットワークを使用して、前記キャリア画像及び前記透かし画像に基づいて前記透かし入り画像を生成し、前記透かし入り画像を圧縮し、圧縮後の前記透かし入り画像から前記透かし画像を再構築するステップ、
を含むことを特徴とする、Ｙ－Ｎｅｔに基づく電子透かし方法。
【0062】
（付記２）
前記Ｙ－Ｎｅｔ生成ネットワークは、スキップ接続構造であり、キャリアの第１畳み込み操作グループ、キャリアの第２畳み込み操作グループ、キャリアの第３畳み込み操作グループ、キャリアの第４畳み込み操作グループ、キャリアの第５畳み込み操作グループ、キャリアの第６畳み込み操作グループ、透かしの第１畳み込み操作グループ、透かしの第２畳み込み操作グループ、透かしの第３畳み込み操作グループ、透かしの第４畳み込み操作グループ、透かしの第５畳み込み操作グループ、透かしの第６畳み込み操作グループ、第７畳み込み操作グループ、第１逆畳み込み操作グループ、第２逆畳み込み操作グループ、第３逆畳み込み操作グループ、第４逆畳み込み操作グループ、第５逆畳み込み操作グループ、第６逆畳み込み操作グループ、第７逆畳み込み操作グループ、及び第８畳み込み操作グループを含み、
前記キャリアの第６畳み込み操作グループ及び前記透かしの第６畳み込み操作グループの出力は、前記第１逆畳み込み操作グループの出力と融合され、
前記キャリアの第５畳み込み操作グループ及び前記透かしの第５畳み込み操作グループの出力は、前記第２逆畳み込み操作グループの出力と融合され、
前記キャリアの第４畳み込み操作グループ及び前記透かしの第４畳み込み操作グループの出力は、前記第３逆畳み込み操作グループの出力と融合され、
前記キャリアの第３畳み込み操作グループ及び前記透かしの第３畳み込み操作グループの出力は、前記第４逆畳み込み操作グループの出力と融合され、
前記キャリアの第２畳み込み操作グループ及び前記透かしの第２畳み込み操作グループの出力は、前記第５逆畳み込み操作グループの出力と融合され、
前記キャリアの第１畳み込み操作グループ及び前記透かしの第１畳み込み操作グループの出力は、前記第６逆畳み込み操作グループの出力と融合され、
前記キャリアの第６畳み込み操作グループと前記透かしの第６畳み込み操作グループは、チャンネルステッチングを行った後前記第７畳み込み操作グループに入力され、前記第７畳み込み操作グループの出力端は前記第１逆畳み込み操作グループに接続され、
前記第６逆畳み込み操作グループ、前記キャリアの第１畳み込み操作グループ、前記透かしの第１畳み込み操作グループのスキップ接続後の結果は、前記第７逆畳み込み操作グループに入力され、
前記第８畳み込み操作グループの入力端は、前記第７逆畳み込み操作グループに入力され、出力は前記透かし入り画像であり、
１つの畳み込み操作グループは、順次に設けられた畳み込み層、活性化層、及びバッチ正規化層を含み、１つの逆畳み込み操作グループは順次に設けられた逆畳み込み層、活性化層、及びバッチ正規化層を含む、
ことを特徴とする、付記１に記載のＹ－Ｎｅｔに基づく電子透かし方法。
前記Ｙ－Ｎｅｔ生成ネットワークは、スキップ接続構造であり、キャリアの第１畳み込み操作グループ、キャリアの第２畳み込み操作グループ、キャリアの第３畳み込み操作グループ、キャリアの第４畳み込み操作グループ、キャリアの第５畳み込み操作グループ、キャリアの第６畳み込み操作グループ、透かしの第１畳み込み操作グループ、透かしの第２畳み込み操作グループ、透かしの第３畳み込み操作グループ、透かしの第４畳み込み操作グループ、透かしの第５畳み込み操作グループ、透かしの第６畳み込み操作グループ、第７畳み込み操作グループ、第１逆畳み込み操作グループ、第２逆畳み込み操作グループ、第３逆畳み込み操作グループ、第４逆畳み込み操作グループ、第５逆畳み込み操作グループ、第６逆畳み込み操作グループ、第７逆畳み込み操作グループ、及び第８畳み込み操作グループを含み、
前記キャリアの第６畳み込み操作グループ及び前記透かしの第６畳み込み操作グループの出力は、前記第１逆畳み込み操作グループの出力と融合され、
前記キャリアの第５畳み込み操作グループ及び前記透かしの第５畳み込み操作グループの出力は、前記第２逆畳み込み操作グループの出力と融合され、
前記キャリアの第４畳み込み操作グループ及び前記透かしの第４畳み込み操作グループの出力は、前記第３逆畳み込み操作グループの出力と融合され、
前記キャリアの第３畳み込み操作グループ及び前記透かしの第３畳み込み操作グループの出力は、前記第４逆畳み込み操作グループの出力と融合され、
前記キャリアの第２畳み込み操作グループ及び前記透かしの第２畳み込み操作グループの出力は、前記第５逆畳み込み操作グループの出力と融合され、
前記キャリアの第１畳み込み操作グループ及び前記透かしの第１畳み込み操作グループの出力は、前記第６逆畳み込み操作グループの出力と融合され、
前記キャリアの第６畳み込み操作グループと前記透かしの第６畳み込み操作グループは、チャンネルステッチングを行った後前記第７畳み込み操作グループに入力され、前記第７畳み込み操作グループの出力端は前記第１逆畳み込み操作グループに接続され、
前記第６逆畳み込み操作グループ、前記キャリアの第１畳み込み操作グループ、前記透かしの第１畳み込み操作グループのスキップ接続後の結果は、前記第７逆畳み込み操作グループに入力され、
前記第８畳み込み操作グループの入力端は、前記第７逆畳み込み操作グループに入力され、出力は前記透かし入り画像であり、
１つの畳み込み操作グループは、順次に設けられた畳み込み層、活性化層、及びバッチ正規化層を含み、１つの逆畳み込み操作グループは順次に設けられた逆畳み込み層、活性化層、及びバッチ正規化層を含む、
ことを特徴とする、付記１に記載のＹ－Ｎｅｔに基づく電子透かし方法。
【0063】
（付記３）
前記判別ネットワークは、
複数の画像サンプルを収集し、各前記サンプル画像のラベルを決定するステップであって、前記ラベルは対応する前記サンプル画像に含まれる前記透かし画像の確率を含む、ステップ、及び
各前記画像サンプルを入力として、各前記画像サンプルのラベルを出力としてＺｈｕ－Ｎｅｔをトレーニングし、前記判別ネットワークを得るステップ、
のトレーニングステップを通じて取得されることを特徴とする、付記１に記載のＹ－Ｎｅｔに基づく電子透かし方法。
前記判別ネットワークは、
複数の画像サンプルを収集し、各前記サンプル画像のラベルを決定するステップであって、前記ラベルは対応する前記サンプル画像に含まれる前記透かし画像の確率を含む、ステップ、及び
各前記画像サンプルを入力として、各前記画像サンプルのラベルを出力としてＺｈｕ－Ｎｅｔをトレーニングし、前記判別ネットワークを得るステップ、
のトレーニングステップを通じて取得されることを特徴とする、付記１に記載のＹ－Ｎｅｔに基づく電子透かし方法。
【0064】
（付記４）
前記圧縮損失模擬ネットワークは、Ｕ－Ｎｅｔネットワークであることを特徴とする、付記１に記載のＹ－Ｎｅｔに基づく電子透かし方法。
前記圧縮損失模擬ネットワークは、Ｕ－Ｎｅｔネットワークであることを特徴とする、付記１に記載のＹ－Ｎｅｔに基づく電子透かし方法。
【0065】
（付記５）
前記抽出ネットワークは、Ｕ－Ｎｅｔ＋＋ネットワークであることを特徴とする、付記１に記載のＹ－Ｎｅｔに基づく電子透かし方法。
前記抽出ネットワークは、Ｕ－Ｎｅｔ＋＋ネットワークであることを特徴とする、付記１に記載のＹ－Ｎｅｔに基づく電子透かし方法。
【0066】
（付記６）
前記判別ネットワークは、判別器であり、前記判別器にはｓｏｆｔｍａｘ関数が含まれることを特徴とする、付記１に記載のＹ－Ｎｅｔに基づく電子透かし方法。
前記判別ネットワークは、判別器であり、前記判別器にはｓｏｆｔｍａｘ関数が含まれることを特徴とする、付記１に記載のＹ－Ｎｅｔに基づく電子透かし方法。
【0067】
（付記７）
前記透かしネットワークの総損失関数は、
［式中、Ｌｃは、Ｙ－Ｎｅｔ生成ネットワーク損失、Ｌｓは抽出ネットワーク損失、Ｌｄは判別ネットワーク損失、α、β、δはＹ－Ｎｅｔ生成ネットワーク損失、抽出ネットワーク損失及び判別ネットワーク損失を制御するための重みである。］のようになることを特徴とする、付記１に記載のＹ－Ｎｅｔに基づく電子透かし方法。
前記透かしネットワークの総損失関数は、
【数13】
【0068】
（付記８）
前記Ｙ－Ｎｅｔ生成ネットワーク損失の計算式：
［式中、ｎは、画像の総画素数、ｃｉは原キャリア画像、
は透かし入り画像を表す。］
前記抽出ネットワーク損失Ｌｓの計算式：
［式中、ｓｉは、原透かし画像、
は透かしの再構成画像を表す。］
前記判別ネットワーク損失Ｌｄの計算式：
［式中、ｙｉ′は、真実ラベル、すなわち判別ネットワークに入力された画像がキャリア画像であるか透かし入り画像であるかの真実の結果を表し、ｙｉは判別ネットワークの出力を表す。］
になることを特徴とする、付記７に記載のＹ－Ｎｅｔに基づく電子透かし方法。
前記Ｙ－Ｎｅｔ生成ネットワーク損失の計算式：
【数14】
【数15】
前記抽出ネットワーク損失Ｌｓの計算式：
【数16】
【数17】
前記判別ネットワーク損失Ｌｄの計算式：
【数18】
になることを特徴とする、付記７に記載のＹ－Ｎｅｔに基づく電子透かし方法。
【0069】
（付記９）
Ｙ－Ｎｅｔに基づく強いロバストな電子透かし装置であって、
キャリア画像及び透かし画像をＹ－Ｎｅｔ生成ネットワークに入力し、前記透かし画像が埋め込まれた透かし入り画像を得るための第１処理ユニットと、
前記透かし入り画像を事前にトレーニングされた圧縮損失模擬ネットワークに入力して、模擬圧縮透かし入り画像を得るための第２処理ユニットと、
事前にトレーニングされた判別ネットワークを用いて前記模擬圧縮透かし入り画像を判別し、前記透かし入り画像を前記キャリア画像又は前記透かし入り画像として識別することを含む判別結果を得るための判別ユニットと、
前記模擬圧縮透かし入り画像を抽出ネットワークに入力して、透かし入りの再構成画像を得るための再構成ユニットと、
前記透かし入り画像、前記透かし入りの再構成画像及び前記判別ネットワークの結果に基づいて、透かしネットワークの総損失関数を計算し、損失関数を最小化することを目標として前記透かしネットワークを最適化し、損失が減少し、安定した状態が維持される時、トレーニングが終了したと見なされる（前記透かしネットワークには、前記Ｙ－Ｎｅｔ生成ネットワーク、前記圧縮損失模擬ネットワーク、前記判別ネットワーク及び前記抽出ネットワークが含まれ、最適化プロセス中、前記判別ネットワークと前記圧縮損失模擬ネットワークの重みは固定される）ためのトレーニングユニットと、
トレーニング済み透かしネットワークを使用して、前記キャリア画像及び前記透かし画像に基づいて前記透かし入り画像を生成し、前記透かし入り画像を圧縮し、圧縮後の前記透かし入り画像から前記透かし画像を再構築するための透かしユニットと、
を含むことを特徴とする、Ｙ－Ｎｅｔに基づく強いロバストな電子透かし装置。
Ｙ－Ｎｅｔに基づく強いロバストな電子透かし装置であって、
キャリア画像及び透かし画像をＹ－Ｎｅｔ生成ネットワークに入力し、前記透かし画像が埋め込まれた透かし入り画像を得るための第１処理ユニットと、
前記透かし入り画像を事前にトレーニングされた圧縮損失模擬ネットワークに入力して、模擬圧縮透かし入り画像を得るための第２処理ユニットと、
事前にトレーニングされた判別ネットワークを用いて前記模擬圧縮透かし入り画像を判別し、前記透かし入り画像を前記キャリア画像又は前記透かし入り画像として識別することを含む判別結果を得るための判別ユニットと、
前記模擬圧縮透かし入り画像を抽出ネットワークに入力して、透かし入りの再構成画像を得るための再構成ユニットと、
前記透かし入り画像、前記透かし入りの再構成画像及び前記判別ネットワークの結果に基づいて、透かしネットワークの総損失関数を計算し、損失関数を最小化することを目標として前記透かしネットワークを最適化し、損失が減少し、安定した状態が維持される時、トレーニングが終了したと見なされる（前記透かしネットワークには、前記Ｙ－Ｎｅｔ生成ネットワーク、前記圧縮損失模擬ネットワーク、前記判別ネットワーク及び前記抽出ネットワークが含まれ、最適化プロセス中、前記判別ネットワークと前記圧縮損失模擬ネットワークの重みは固定される）ためのトレーニングユニットと、
トレーニング済み透かしネットワークを使用して、前記キャリア画像及び前記透かし画像に基づいて前記透かし入り画像を生成し、前記透かし入り画像を圧縮し、圧縮後の前記透かし入り画像から前記透かし画像を再構築するための透かしユニットと、
を含むことを特徴とする、Ｙ－Ｎｅｔに基づく強いロバストな電子透かし装置。
【0070】
（付記１０）
Ｙ－Ｎｅｔに基づく強いロバストな電子透かしシステムであって、記憶媒体と、プロセッサとを備え、
前記記憶媒体は、命令を保存するために用いられ、
前記プロセッサは、付記１～８のいずれか一つに記載の方法を実行するため、前記命令に従い動作するために用いられる、
ことを特徴とする、Ｙ－Ｎｅｔに基づく強いロバストな電子透かしシステム。
Ｙ－Ｎｅｔに基づく強いロバストな電子透かしシステムであって、記憶媒体と、プロセッサとを備え、
前記記憶媒体は、命令を保存するために用いられ、
前記プロセッサは、付記１～８のいずれか一つに記載の方法を実行するため、前記命令に従い動作するために用いられる、
ことを特徴とする、Ｙ－Ｎｅｔに基づく強いロバストな電子透かしシステム。
【図1】
【図2】
【図3】
【国際調査報告】