特許 7041823 データをコンシール処理する方法及びこれを利用したデータ変調装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-16

(45)【発行日】2022-03-25

(54)【発明の名称】データをコンシール処理する方法及びこれを利用したデータ変調装置

(51)【国際特許分類】

   G06N 3/08 20060101AFI20220317BHJP

   G06F 21/62 20130101ALI20220317BHJP

【ＦＩ】

G06N3/08 140

G06F21/62 345

【請求項の数】 28

(21)【出願番号】P 2020564388

(86)(22)【出願日】2019-07-19

(65)【公表番号】

(43)【公表日】2021-09-02

(86)【国際出願番号】 KR2019008937

(87)【国際公開番号】W WO2020022703

(87)【国際公開日】2020-01-30

【審査請求日】2020-11-16

(31)【優先権主張番号】10-2018-0086929

(32)【優先日】2018-07-26

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】520278996

【氏名又は名称】ディーピング ソース インコーポレイテッド．

(74)【代理人】

【識別番号】100079049

【弁理士】

【氏名又は名称】中島 淳

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(72)【発明者】

【氏名】キム、テ フン

【審査官】久保 光宏

(56)【参考文献】

【文献】米国特許第５６７１３３５（ＵＳ，Ａ）

【文献】特開平７－１０５１６５（ＪＰ，Ａ）

【文献】特開２００２－２０２８８９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ３／００－９９／００

Ｇ０６Ｆ２１／６２

ＣＳＤＢ（日本国特許庁）

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

個人情報保護のために原本データをコンシール（Ｃｏｎｃｅａｌｉｎｇ）処理する方法において、
（ａ）前記原本データが取得されると、データ変調装置（Ｄａｔａ Ｏｂｆｕｓｃａｔｉｏｎ Ｄｅｖｉｃｅ）が、前記原本データ又はこれに対応する変換データ（Ｍｏｄｉｆｉｅｄ Ｄａｔａ）をラーニングネットワーク（Ｌｅａｒｎｉｎｇ Ｎｅｔｗｏｒｋ）に入力して、前記ラーニングネットワークをもって（ｉ）前記ラーニングネットワークの少なくとも一つの学習済みパラメータを利用して、前記原本データ又は前記変換データに対してネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに関する特性情報（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）を出力させる段階、及び
（ｂ）前記データ変調装置が、（ｉ）前記特性情報とこれに対応する少なくとも一つの第１原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して算出された少なくとも一つの第１ロスと、（ｉｉ）（ｉｉ－１）前記特性情報を利用して生成された少なくとも一つのタスク特化出力（Ｔａｓｋ Ｓｐｅｃｉｆｉｃ Ｏｕｔｐｕｔ）及び（ｉｉ－２）これに対応する少なくとも一つの第２原本正解とを参照して算出された少なくとも一つの第２ロスとのうち少なくとも一部を利用したバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する変調済みデータ（Ｏｂｆｕｓｃａｔｅｄ Ｄａｔａ）を生成する段階を含む方法。

【請求項2】

前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータをそれぞれ有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数（ｉｎｔｅｇｅｒ）である場合、
前記（ａ）段階で、
前記データ変調装置は、前記原本データ又は前記変換データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉ）前記第１ラーニングネットワークの前記第１学習済みパラメータを利用して、前記原本データ又は前記変換データに対してネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに関する第１特性情報を出力させ、
前記（ｂ）段階で、
前記データ変調装置は、（ｉ）前記第１特性情報とこれに対応する少なくとも１つの第１＿１原本正解とを参照して算出された少なくとも１つの第１＿１ロスと、（ｉｉ）（ｉｉ－１）前記第１特性情報を利用して生成された少なくとも１つの第１タスク特化出力と、（ｉｉ－２）前記第１タスク特化出力に対応する少なくとも１つの第２＿１原本正解とを参照して算出された少なくとも一つの第２＿１ロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データ又は前記変換データに対応する第１変調済みデータを生成し、
前記データ変調装置が、整数であるｋを２からｎまで増加させて行き、（ｉ）第ｋ－１変調済みデータを第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉ－１）前記第ｋラーニングネットワークの少なくとも一つの第ｋ学習済みパラメータを利用して、前記第ｋ－１変調済みデータに対してネットワーク演算を適用させて（ｉ－２）前記第ｋ－１変調済みデータに対する第ｋ特性情報を出力させ、（ｉｉ）（ｉｉ－１）前記第ｋ特性情報と、これに対応する少なくとも一つの第１＿ｋ原本正解とを参照して生成された少なくとも一つの第１＿ｋロスと、（ｉｉ－２）前記第ｋ特性情報を利用して生成された少なくとも一つの第ｋタスク特定値及びこれに対応する少なくとも一つの第２＿ｋ原本正解とを参照して算出された少なくとも一つの第２＿ｋロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて前記第ｋ－１変調済みデータをアップデートして、前記第ｋ－１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返すことにより、前記原本データに対応する前記変調済みデータである第ｎ変調済みデータを生成する請求項１に記載の方法。

【請求項3】

前記データ変調装置は、（ｉ）前記第１＿１ロス乃至第１＿ｎロスを平均した第１平均ロス、（ｉｉ）前記第２＿１ロス乃至第２＿ｎロスを平均した第２平均ロス、及び（ｉｉｉ）前記第１＿１ロス乃至第１＿ｎロスと前記第１＿１ロス乃至第１＿ｎロスそれぞれに対応する前記第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素別に合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３平均ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記変調済みデータを生成する請求項２に記載の方法。

【請求項4】

前記（ｂ）段階で、
前記データ変調装置は、前記第１ロスと前記第２ロスとのうち少なくとも一部を利用したバックプロパゲーションの進行中に前記ラーニングネットワークの前記学習済みパラメータを固定された値に保持する請求項１に記載の方法。

【請求項5】

前記（ｂ）段階で、
前記データ変調装置は、前記第１ロスと前記第２ロスとのうち少なくとも一部を最小化するための少なくとも一つのロスグラディエント（Ｌｏｓｓ Ｇｒａｄｉｅｎｔ）を取得し、前記ロスグラディエントを前記原本データ又は前記変換データにバックプロパゲーションする請求項１に記載の方法。

【請求項6】

前記（ａ）段階で、
前記データ変調装置は、前記原本データに対するランダムノイズ生成ネットワークを通じて生成されたランダムノイズ追加プロセス、前記原本データに対するブラー（Ｂｌｕｒ）処理プロセス、及び前記原本データの解像度変更プロセスのうち少なくとも一つのプロセスを遂行して前記原本データに対応する前記変換データを生成する請求項１に記載の方法。

【請求項7】

前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、
前記（ａ）段階で、
前記データ変調装置は、前記原本データ又は前記変換データを前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれに入力して、それぞれの前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークをもって（ｉ）前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれの前記第１学習済みパラメータ乃至前記第ｎ学習済みパラメータを利用して、前記原本データ又は前記変換データに対して当該ラーニングネットワークに対応するネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに対するそれぞれの第１特性情報乃至第ｎ特性情報を出力させ、
前記（ｂ）段階で、
前記データ変調装置は、（ｉ）前記第１特性情報乃至前記第ｎ特性情報と、これにそれぞれ対応する少なくとも１つの第１＿１原本正解乃至少なくとも１つの第１＿ｎ原本正解とを参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である第１ロスのうち一つ、（ｉｉ）前記第１特性情報乃至前記第ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、これにそれぞれ対応する少なくとも１つの第２＿１原本正解乃至少なくとも１つの第２＿ｎ原本正解とを参照して生成された第２＿１ロス乃至第２＿ｎロスの平均である第２ロスのうち一つ、及び（ｉｉｉ）前記第１＿１ロス乃至前記第１＿ｎロスと、これにそれぞれ対応する前記第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する前記変調済みデータを生成する請求項１に記載の方法。

【請求項8】

個人情報保護のために原本データをコンシール処理する方法において、
（ａ）前記原本データが取得されると、データ変調装置が、前記原本データを変換して変換データを生成する段階と、
（ｂ）前記データ変調装置が、（ｉ）前記原本データをラーニングネットワークに入力して、前記ラーニングネットワークをもって（ｉ－１）前記ラーニングネットワークの少なくとも一つの学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ－２）前記原本データに対する第１特性情報を出力させ、（ｉｉ）前記変換データを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって（ｉｉ－１）前記学習済みパラメータを利用して、前記変換データに対してネットワーク演算を適用させて（ｉｉ－２）前記変換データに対する第２特性情報を出力させる段階と、
（ｃ）前記データ変調装置が、（ｉ）前記第１特性情報と前記第２特性情報とを参照して算出された少なくとも一つの第１ロスと、（ｉｉ）（ｉｉ－１）前記第２特性情報を利用して生成された少なくとも一つのタスク特化出力と、（ｉｉ－２）これに対応する少なくとも一つの原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して算出された少なくとも一つの第２ロスとのうち少なくとも一部を参照して生成された少なくとも一つのデータロスを利用したバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する変調済みデータを生成する段階と、
を含む方法。

【請求項9】

前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、
前記（ｂ）段階で、
前記データ変調装置は、（ｉ）前記原本データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉ－１）前記第１ラーニングネットワークの少なくとも１つの第１学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ－２）前記原本データに対する第１＿１特性情報を出力させ、（ｉｉ）前記変換データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉｉ－１）前記第１学習済みパラメータを利用して、前記変換データに対してネットワーク演算を適用させて（ｉｉ－２）前記変換データに対する第２＿１特性情報を出力させ、
前記（ｃ）段階で、
前記データ変調装置は、（ｉ）前記第１＿１特性情報と前記第２＿１特性情報とを参照して生成された少なくとも一つの第１＿１ロスと、（ｉｉ）（ｉｉ－１）前記第２＿１特性情報を利用して生成された少なくとも一つの第１タスク特化出力と、（ｉｉ－２）これに対応する少なくとも一つの第１原本正解とを参照して生成された少なくとも一つの第２＿１ロスとのうち少なくとも一部を参照して算出された少なくとも一つの第１データロスを利用したバックプロパゲーションを通じて前記変換データをアップデートして、前記変換データに対応する第１変調済みデータを生成し、
前記データ変調装置が、整数であるｋを２からｎまで増加させて行き、（ｉ）前記原本データを第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉ－１）前記第ｋラーニングネットワークの少なくとも一つの第ｋ学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ－２）前記原本データに対する第１＿ｋ特性情報を出力させるプロセス、（ｉｉ）第ｋ－１変調済みデータを前記第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉｉ－１）前記第ｋ学習済みパラメータを利用して、前記第ｋ－１変調済みデータに対してネットワーク演算を適用させて（ｉｉ－２）前記第ｋ－１変調済みデータに対する第２＿ｋ特性情報を出力させるプロセス、及び（ｉｉｉ）（ｉｉｉ－１）前記第１＿ｋ特性情報と前記第２＿ｋ特性情報とを参照して算出された少なくとも１つの第１＿ｋロスと、（ｉｉｉ－２）前記第２＿ｋ特性情報を利用して生成された少なくとも１つの第ｋタスク特化出力と、これに対応する少なくとも１つの第ｋ原本正解とを参照して算出された少なくとも一つの第２＿ｋロスとのうち少なくとも一部を参照して生成された少なくとも１つの第ｋデータロスを利用したバックプロパゲーションを通じて前記第ｋ－１変調済みデータをアップデートして、前記第ｋ－１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返すことにより、前記原本データに対応する前記変調済みデータである第ｎ変調済みデータを生成する請求項８に記載の方法。

【請求項10】

前記データ変調装置は、前記第１データロス乃至第ｎデータロスを平均した少なくとも一つの平均データロスを利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記変調済みデータを生成する請求項９に記載の方法。

【請求項11】

（ｉ）前記第１＿１ロス乃至前記第１＿ｎロスを平均した少なくとも一つの平均を第１サブロス（Ｓｕｂ Ｌｏｓｓ）として算出し、（ｉｉ）特定の特性情報と前記第２＿１ロス乃至前記第２＿ｎロスを平均した平均値とを参照して第２サブロスを算出する請求項１０に記載の方法。

【請求項12】

前記（ｃ）段階で、
前記データ変調装置は、前記データロスを利用したバックプロパゲーションの進行中に前記ラーニングネットワークの前記学習済みパラメータを固定された値に保持する請求項８に記載の方法。

【請求項13】

前記（ａ）段階で、
前記データ変調装置は、前記原本データに対するランダムノイズ生成ネットワークを通じて生成されたランダムノイズ追加プロセス、前記原本データに対するブラー（Ｂｌｕｒ）処理プロセス、及び前記原本データの解像度変更プロセスのうち少なくとも一つのプロセスを遂行して前記原本データに対応する前記変換データを生成する請求項８に記載の方法。

【請求項14】

前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、
前記（ｂ）段階で、
前記データ変調装置は、（ｉ）前記原本データ及び前記変換データを前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれに入力して、（ｉｉ）それぞれの前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークをもって（ｉｉ－１）前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれの前記第１学習済みパラメータ乃至前記第ｎ学習済みパラメータを利用して、前記原本データ及び前記変換データに対して当該ラーニングネットワークに対応するネットワーク演算を適用させて（ｉｉ－２）前記原本データに対するそれぞれの第１＿１特性情報乃至第１＿ｎ特性情報を出力させ、（ｉｉ－３）前記変換データに対するそれぞれの第２＿１特性情報乃至第２＿ｎ特性情報を出力させ、
前記（ｃ）段階で、
前記データ変調装置は、（ｉ）前記第１＿１特性情報乃至前記第１＿ｎ特性情報と、これにそれぞれ対応する前記第２＿１特性情報乃至第２＿ｎ特性情報を参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である前記第１ロスのうち一つ、（ｉｉ）前記第２＿１特性情報乃至前記第２＿ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、これにそれぞれ対応する少なくとも一つの第１原本正解乃至少なくとも一つの第ｎ原本正解とを参照して算出された第２＿１ロス乃至第２＿ｎロスの平均である第２ロスのうち一つ、及び（ｉｉｉ）前記第１＿１ロス乃至前記第１＿ｎロスと、これにそれぞれ対応する前記第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する前記変調済みデータを生成する請求項８に記載の方法。

【請求項15】

個人情報保護のために原本データをコンシール処理するデータ変調装置（Ｄａｔａ Ｏｂｆｕｓｃａｔｉｏｎ Ｄｅｖｉｃｅ）において、
インストラクションを格納する少なくとも１つのメモリと、
（Ｉ）前記原本データが取得されると、前記原本データ又はこれに対応する変換データ（Ｍｏｄｉｆｉｅｄ Ｄａｔａ）をラーニングネットワーク（Ｌｅａｒｎｉｎｇ Ｎｅｔｗｏｒｋ）に入力して、前記ラーニングネットワークをもって（ｉ）前記ラーニングネットワークの少なくとも一つの学習済みパラメータを利用して、前記原本データ又は前記変換データに対してネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに関する特性情報（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）を出力させるプロセス、及び（ＩＩ）（ｉ）前記特性情報と、これに対応する少なくとも一つの第１原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して算出された少なくとも一つの第１ロスと、（ｉｉ）（ｉｉ－１）前記特性情報を利用して生成された少なくとも１つのタスク特化出力（Ｔａｓｋ Ｓｐｅｃｉｆｉｃ Ｏｕｔｐｕｔ）及び（ｉｉ－２）これに対応する少なくとも１つの第２原本正解を参照して算出された少なくとも１つの第２ロスとのうち少なくとも一部を利用したバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する変調済みデータ（Ｏｂｆｕｓｃａｔｅｄ Ｄａｔａ）を生成するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むデータ変調装置。

【請求項16】

前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータをそれぞれ有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、
前記（Ｉ）プロセスで、
前記プロセッサは、前記原本データ又は前記変換データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉ）前記第１ラーニングネットワークの前記第１学習済みパラメータを利用して、前記原本データ又は前記変換データに対してネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに関する第１特性情報を出力させ、
前記（ＩＩ）プロセスで、
前記プロセッサは、（ｉ）前記第１特性情報と、これに対応する少なくとも１つの第１＿１原本正解とを参照して算出された少なくとも１つの第１＿１ロスと、（ｉｉ）（ｉｉ－１）前記第１特性情報を利用して生成された少なくとも１つの第１タスク特化出力と、（ｉｉ－２）これに対応する少なくとも１つの第２＿１原本正解とを参照して算出された少なくとも１つの第２＿１ロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データ又は前記変換データに対応する第１変調済みデータを生成し、
前記プロセッサが、整数であるｋを２からｎまで増加させて行き、（ｉ）第ｋ－１変調済みデータを第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉ－１）前記第ｋラーニングネットワークの少なくとも一つの第ｋ学習済みパラメータを利用して、前記第ｋ－１変調済みデータに対してネットワーク演算を適用させて（ｉ－２）前記第ｋ－１変調済みデータに対する第ｋ特性情報を出力させ、（ｉｉ）（ｉｉ－１）前記第ｋ特性情報とこれに対応する少なくとも一つの第１＿ｋ原本正解とを参照して生成された少なくとも一つの第１＿ｋロスと、（ｉｉ－２）前記第ｋ特性情報を利用して生成された少なくとも１つの第ｋタスク特定値及びこれに対応する少なくとも一つの第２＿ｋ原本正解とを参照して算出された少なくとも一つの第２＿ｋロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて前記第ｋ－１変調済みデータをアップデートして、前記第ｋ－１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返すことにより、前記原本データに対応する前記変調済みデータである第ｎ変調済みデータを生成する請求項１５に記載のデータ変調装置。

【請求項17】

前記プロセッサは、（ｉ）前記第１＿１ロス乃至第１＿ｎロスを平均した第１平均ロス、（ｉｉ）前記第２＿１ロス乃至第２＿ｎロスを平均した第２平均ロス、及び（ｉｉｉ）前記第１＿１ロス乃至第１＿ｎロスと前記第１＿１ロス乃至第１＿ｎロスそれぞれに対応する前記第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記変調済みデータを生成する請求項１６に記載のデータ変調装置。

【請求項18】

前記（ＩＩ）プロセスで、
前記プロセッサは、前記第１ロスと前記第２ロスとのうち少なくとも一部を利用したバックプロパゲーションの進行中に前記ラーニングネットワークの前記学習済みパラメータを固定された値に保持する請求項１５に記載のデータ変調装置。

【請求項19】

前記（ＩＩ）プロセスで、
前記プロセッサは、前記第１ロスと前記第２ロスとのうち少なくとも一部を最小化するための少なくとも一つのロスグラディエント（Ｌｏｓｓ Ｇｒａｄｉｅｎｔ）を取得し、前記ロスグラディエントを前記原本データ又は前記変換データにバックプロパゲーションする請求項１５に記載のデータ変調装置。

【請求項20】

前記（Ｉ）プロセスで、
前記プロセッサは、前記原本データに対するランダムノイズ生成ネットワークを通じて生成されたランダムノイズ追加プロセス、前記原本データに対するブラー（Ｂｌｕｒ）処理プロセス、及び前記原本データの解像度変更プロセスのうち少なくとも一つのプロセスを遂行して前記原本データに対応する前記変換データを生成する請求項１５に記載のデータ変調装置。

【請求項21】

前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、
前記（Ｉ）プロセスで、
前記プロセッサは、前記原本データ又は前記変換データを前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれに入力して、それぞれの前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークをもって（ｉ）前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれの前記第１学習済みパラメータ乃至第ｎ学習済みパラメータを利用して、前記原本データ又は前記変換データに対して当該ラーニングネットワークに対応するネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに対するそれぞれの第１特性情報乃至第ｎ特性情報を出力させ、
前記（ＩＩ）プロセスで、
前記プロセッサは、（ｉ）前記第１特性情報乃至前記第ｎ特性情報と、これにそれぞれ対応する少なくとも１つの第１＿１原本正解乃至少なくとも１つの第１＿ｎ原本正解とを参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である第１ロスのうちの１つ、（ｉｉ）前記第１特性情報乃至前記第ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、これにそれぞれ対応する少なくとも１つの第２＿１原本正解乃至少なくとも一つの第２＿ｎ原本正解とを参照して生成された第２＿１ロス乃至第２＿ｎロスの平均である第２ロスのうち一つ、及び（ｉｉｉ）前記第１＿１ロス乃至前記第１＿ｎロスと、これにそれぞれ対応する第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する前記変調済みデータを生成する請求項１５に記載のデータ変調装置。

【請求項22】

個人情報保護のために原本データをコンシール処理するデータ変調装置において、
インストラクションを格納する少なくとも１つのメモリと、
（Ｉ）前記原本データが取得されると、前記原本データを変換して変換データを生成するプロセス、（ＩＩ）（ｉ）前記原本データをラーニングネットワークに入力して、前記ラーニングネットワークをもって（ｉ－１）前記ラーニングネットワークの少なくとも一つの学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ－２）前記原本データに対する第１特性情報を出力させ、（ｉｉ）前記変換データを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって（ｉｉ－１）前記学習済みパラメータを利用して、前記変換データに対してネットワーク演算を適用させて（ｉｉ－２）前記変換データに対する第２特性情報を出力させるプロセス、及び（ＩＩＩ）（ｉ）前記第１特性情報と前記第２特性情報とを参照して算出された少なくとも１つの第１ロスと、（ｉｉ）（ｉｉ－１）前記第２特性情報を利用して生成された少なくとも１つのタスク特化出力と、（ｉｉ－２）これに対応する少なくとも１つの原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して算出された少なくとも１つの第２ロスとのうち少なくとも一部を参照して生成された少なくとも１つのデータロスを利用したバックプロパゲーション（Ｂａｃｋｐｒｏｐｒｏｐａｔｉｏｎ）を通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する変調済みデータを生成するプロセスを遂行するための前記インストラクションを実行するか、他の装置をもって実行するように構成された少なくとも１つのプロセッサと、
を含むデータ変調装置。

【請求項23】

前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、
前記（ＩＩ）プロセスで、
前記プロセッサは、（ｉ）前記原本データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉ－１）前記第１ラーニングネットワークの少なくとも１つの第１学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ－２）前記原本データに対する第１＿１特性情報を出力させ、（ｉｉ）前記変換データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉｉ－１）前記第１学習済みパラメータを利用して、前記変換データに対してネットワーク演算を適用させて（ｉｉ－２）前記変換データに対する第２＿１特性情報を出力させ、
前記（ＩＩＩ）プロセスで、
前記プロセッサは、（ｉ）前記第１＿１特性情報と前記第２＿１特性情報とを参照して生成された少なくとも一つの第１＿１ロスと、（ｉｉ）（ｉｉ－１）前記第２＿１特性情報を利用して生成された少なくとも一つの第１タスク特化出力と、（ｉｉ－２）これに対応する少なくとも一つの第１原本正解とを参照して生成された少なくとも一つの第２＿１ロスとのうち少なくとも一部を参照して算出された少なくとも一つの第１データロスを利用したバックプロパゲーションを通じて前記変換データをアップデートして、前記変換データに対応する第１変調済みデータを生成し、
前記プロセッサが、整数であるｋを２からｎまで増加させて行き、（ｉ）前記原本データを第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉ－１）前記第ｋラーニングネットワークの少なくとも一つの第ｋ学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ－２）前記原本データに対する第１＿ｋ特性情報を出力させるプロセス、（ｉｉ）第ｋ－１変調済みデータを前記第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉｉ－１）前記第ｋ学習済みパラメータを利用して、前記第ｋ－１変調済みデータに対してネットワーク演算を適用させて（ｉｉ－２）前記第ｋ－１変調済みデータに対する第２＿ｋ特性情報を出力させるプロセス、及び（ｉｉｉ）（ｉｉｉ－１）前記第１＿ｋ特性情報と、前記第２＿ｋ特性情報とを参照して算出された少なくとも１つの第１＿ｋロスと、（ｉｉｉ－２）前記第２＿ｋ特性情報を利用して生成された少なくとも１つの第ｋタスク特化出力と、これに対応する少なくとも１つの第ｋ原本正解とを参照して算出された少なくとも１つの第２＿ｋロスとのうち少なくとも一部を参照して生成された少なくとも一つの第ｋデータロスを利用したバックプロパゲーションを通じて前記第ｋ－１変調済みデータをアップデートして、前記第ｋ－１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返すことにより、前記原本データに対応する前記変調済みデータである第ｎ変調済みデータを生成する請求項２２に記載のデータ変調装置。

【請求項24】

前記データ変調装置は、前記第１データロス乃至第ｎデータロスを平均した少なくとも一つの平均データロスを利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記変調済みデータを生成する請求項２３に記載のデータ変調装置。

【請求項25】

（ｉ）前記第１＿１ロス乃至前記第１＿ｎロスを平均した少なくとも一つの平均を第１サブロス（Ｓｕｂ Ｌｏｓｓ）として算出し、（ｉｉ）特定の特性情報と前記第２＿１ロス乃至前記第２＿ｎロスを平均した平均値とを参照して第２サブロスを算出する請求項２４に記載のデータ変調装置。

【請求項26】

前記（ＩＩＩ）プロセスで、
前記プロセッサは、前記データロスを利用したバックプロパゲーションの進行中に前記ラーニングネットワークの前記学習済みパラメータを固定された値に保持する請求項２２に記載のデータ変調装置。

【請求項27】

前記（Ｉ）プロセスで、
前記プロセッサは、前記原本データに対するランダムノイズ生成ネットワークを通じて生成されたランダムノイズ追加プロセス、前記原本データに対するブラー（Ｂｌｕｒ）処理プロセス、及び前記原本データの解像度変更プロセスのうち少なくとも一つのプロセスを遂行して前記原本データに対応する前記変換データを生成する請求項２２に記載のデータ変調装置。

【請求項28】

前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、
前記（ＩＩ）プロセスで、
前記プロセッサは、（ｉ）前記原本データ及び前記変換データを前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれに入力して、（ｉｉ）それぞれの前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークをもって（ｉｉ－１）前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれの前記第１学習済みパラメータ乃至第ｎ学習済みパラメータを利用して、前記原本データ及び前記変換データに対して当該ラーニングネットワークに対応するネットワーク演算を適用させて（ｉｉ－２）前記原本データに対するそれぞれの第１＿１特性情報乃至第１＿ｎ特性情報を出力させ、（ｉｉ－３）前記変換データに対するそれぞれの第２＿１特性情報乃至第２＿ｎ特性情報を出力させ、
前記（ＩＩＩ）プロセスで、
前記プロセッサは、（ｉ）前記第１＿１特性情報乃至前記第１＿ｎ特性情報と、これにそれぞれ対応する前記第２＿１特性情報乃至第２＿ｎ特性情報を参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である前記第１ロスのうち一つ、（ｉｉ）前記第２＿１特性情報乃至前記第２＿ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、これにそれぞれ対応する少なくとも一つの第１原本正解乃至少なくとも一つの第ｎ原本正解とをさらに参照して算出された第２＿１ロス乃至第２＿ｎロスの平均である前記第２ロスのうち一つ、及び（ｉｉｉ）前記第１＿１ロス乃至前記第１＿ｎロスと、これにそれぞれ対応する第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する前記変調済みデータを生成する請求項２２に記載のデータ変調装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データをコンシール（Ｃｏｎｃｅａｌｉｎｇ）処理する方法、及びこれを利用したデータ変調装置に関し、より詳細には、ラーニングネットワーク（Ｌｅａｒｎｉｎｇ Ｎｅｔｗｏｒｋ）に入力されるデータに含まれる識別情報をコンシール処理する方法、及びこれを利用したデータ変調装置に関する。

【背景技術】

【0002】

ビッグデータ（Ｂｉｇ Ｄａｔａ）とは、既存の企業環境や公共機関で使用される定型化されたデータはもちろん、電子商取引データ、メタデータ、ウェブログデータ、ワイヤレス識別（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）データ、センサーネットワークデータ、ソーシャルネットワークデータ、インターネットテキストと文書に関するデータ、インターネット検索インデックスデータなど、従来活用できていなかった非定型化又は半定型化されたデータをすべて含むデータであって、このようなデータは一般的に通常のソフトウェアツール及びコンピュータシステムでは扱いにくいレベルのデータ量を有するようになるという意味でビッグデータと称されている。

【0003】

また、このようなビッグデータは、それ自体では意味がないことがあるが、パターン等に対する機械学習を通じて様々な分野で新しいデータを作り出したり、判断又は予測をするのに有用に使用され得る。

【0004】

近年、個人情報保護法の強化等により、このようなビッグデータを取引又は共有するためには、当該データの個人識別が可能な情報を削除するか、当該個人の同意を得ることが求められる。しかし、相当な量のビッグデータのうち、個人識別が可能な情報があるか否かを一つ一つ確認するのも困難であるだけでなく、個人の同意を一つ一つ得るのも不可能であったため、これを支援するための多様な技術が登場している。

【0005】

これに関する従来技術の一例として、韓国登録特許公報第１８６１５２０号に開示されている技術が例に挙げられるが、これによると、変形対象入力イメージにおいて人の顔領域を検出する検出段階、前記入力イメージにおいて人が識別されないように前記検出された顔領域を人の顔の形状ではなく歪曲した第１イメージに変形する第１コンシーリング化段階、及び前記第１イメージに基づいて予め設定されている顔の形状を有する第２イメージを生成し、前記入力イメージにおいて前記第１イメージを前記第２イメージに変形させ、前記第２イメージは、前記検出段階で検出された顔領域の形状と異なる顔の形状を有するように生成される第２コンシーリング化段階を含む顔－コンシーリング化方法が提供される。

【0006】

しかしながら、上記のような技術をはじめとして従来の技術によると、データ上に顔、テキストなどの識別情報を含むか否かを確認し、識別情報に該当する部分をマスキング（Ｍａｓｋｉｎｇ）又はブラー（Ｂｌｕｒ）処理して消したり隠す方式であったため、原本データの損傷により機械学習で使用するのが難しかったのであり、データ上に不測の識別情報が含まれるため、これをコンシーリング化（例えば、非識別）することができない場合もしばしば発生していた。特に、従来のセキュリティカメラ（Ｓｅｃｕｒｉｔｙ Ｃａｍｅｒａ）は、映像イメージ内にフレーム間の変化があるすべてのピクセルをブラー（Ｂｌｕｒ）処理する方式で非識別処理を遂行するようになるが、このような方法で非識別処理を遂行するようになると、非識別された顔の表情などの主要な情報が、原本映像イメージに収められている情報と異なるようになるだけでなく、顔の検出過程で漏れた個人識別情報が原本映像イメージ上にそのまま残るようになる問題があった。また、ブラー処理された映像イメージは、従来の映像デブラーリング（Ｄｅｂｌｕｒｒｉｎｇ）技術のうちの一つを利用して原状復帰することもあり得る。

【0007】

よって、本発明者らは、原本データと異なるように変調（０ｂｆｕｓｃａｔｉｏｎ）された変調データを生成し、機械学習モデルに原本データが入力されて出力される結果と、当該機械学習モデルに上記の変調データが入力されて出力される結果とが互いに同一又は類似するようになる技術を提案する。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、前述の従来技術の問題点をすべて解決することをその目的とする。

【0009】

また、本発明は、データ内で個人識別情報を探す作業が要求されないため、比較的簡単でありながらも正確に非識別（Ａｎｏｎｙｍｉｚａｔｉｏｎ）作業を遂行し得るようにすることをまた他の目的とする。

【0010】

そして、本発明は、原本データから非可逆的に変調（０ｂｆｕｓｃａｔｉｏｎ）して非識別（Ａｎｏｎｙｍｉｚａｔｉｏｎ）処理されたデータを生成することによって、原本データのセキュリティ及びプライバシーを守り得ることをまた他の目的とする。

【0011】

また、本発明は、人間にとっては全く異なるように見えるデータであるものの、コンピュータには互いに同一又は類似するように見えるデータを生成することをまた他の目的とする。

【0012】

さらに、本発明は、ビッグデータの取引市場をより活性化させることをまた他の目的とする。

【課題を解決するための手段】

【0013】

前記の目的を達成するための本発明の代表的な構成は、以下の通りである。

【0014】

本発明の一態様によると、個人情報保護のために原本データをコンシール（Ｃｏｎｃｅａｌｉｎｇ）処理する方法において、（ａ）前記原本データが取得されると、データ変調装置が、前記原本データ又はこれに対応する変換データ（Ｍｏｄｉｆｉｅｄ Ｄａｔａ）をラーニングネットワーク（Ｌｅａｒｎｉｎｇ Ｎｅｔｗｏｒｋ）に入力して、前記ラーニングネットワークをもって（ｉ）前記ラーニングネットワークの少なくとも一つの学習済みパラメータを利用して、前記原本データ又は前記変換データに対してネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに関する特性情報（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）を出力させる段階、及び（ｂ）前記データ変調装置が、（ｉ）前記特性情報とこれに対応する少なくとも一つの第１原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して算出された少なくとも一つの第１ロスと、（ｉｉ）（ｉｉ－１）前記特性情報を利用して生成された少なくとも一つのタスク特化出力（Ｔａｓｋ Ｓｐｅｃｉｆｉｃ Ｏｕｔｐｕｔ）及び（ｉｉ－２）これに対応する少なくとも一つの第２原本正解とを参照して算出された少なくとも一つの第２ロスとのうち少なくとも一部を利用したバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する変調済みデータ（Ｏｂｆｕｓｃａｔｅｄ Ｄａｔａ）を生成する段階を含む。

【0015】

一実施例において、前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータをそれぞれ有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数（ｉｎｔｅｇｅｒ）である場合、前記（ａ）段階で、前記データ変調装置は、前記原本データ又は前記変換データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉ）前記第１ラーニングネットワークの前記第１学習済みパラメータを利用して、前記原本データ又は前記変換データに対してネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに関する第１特性情報を出力させ、前記（ｂ）段階で、前記データ変調装置は、（ｉ）前記第１特性情報とこれに対応する少なくとも１つの第１＿１原本正解とを参照して算出された少なくとも１つの第１＿１ロスと、（ｉｉ）（ｉｉ－１）前記第１特性情報を利用して生成された少なくとも１つの第１タスク特化出力と、（ｉｉ－２）前記第１タスク特化出力に対応する少なくとも１つの第２＿１原本正解とを参照して算出された少なくとも一つの第２＿１ロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データ又は前記変換データに対応する第１変調済みデータを生成し、前記データ変調装置が、整数であるｋを２からｎまで増加させて行き、（ｉ）第ｋ－１変調済みデータを第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉ－１）前記第ｋラーニングネットワークの少なくとも一つの第ｋ学習済みパラメータを利用して、前記第ｋ－１変調済みデータに対してネットワーク演算を適用させて（ｉ－２）前記第ｋ－１変調済みデータに対する第ｋ特性情報を出力させ、（ｉｉ）（ｉｉ－１）前記第ｋ特性情報と、これに対応する少なくとも一つの第１＿ｋ原本正解とを参照して生成された少なくとも一つの第１＿ｋロスと、（ｉｉ－２）前記第ｋ特性情報を利用して生成された少なくとも一つの第ｋタスク特定値及びこれに対応する少なくとも一つの第２＿ｋ原本正解とを参照して算出された少なくとも一つの第２＿ｋロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて前記第ｋ－１変調済みデータをアップデートして、前記第ｋ－１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返すことにより、前記原本データに対応する前記変調済みデータである第ｎ変調済みデータを生成する。

【0016】

一実施例において、前記データ変調装置は、（ｉ）前記第１＿１ロス乃至第１＿ｎロスを平均した第１平均ロス、（ｉｉ）前記第２＿１ロス乃至第２＿ｎロスを平均した第２平均ロス、及び（ｉｉｉ）前記第１＿１ロス乃至第１＿ｎロスと前記第１＿１ロス乃至第１＿ｎロスそれぞれに対応する前記第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素別に合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３平均ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記変調済みデータを生成する。

【0017】

一実施例において、前記（ｂ）段階で、前記データ変調装置は、前記第１ロスと前記第２ロスとのうち少なくとも一部を利用したバックプロパゲーションの進行中に前記ラーニングネットワークの前記学習済みパラメータを固定された値に保持する。

【0018】

一実施例において、前記（ｂ）段階で、前記データ変調装置は、前記第１ロスと前記第２ロスとのうち少なくとも一部を最小化するための少なくとも一つのロスグラディエント（Ｌｏｓｓ Ｇｒａｄｉｅｎｔ）を取得し、前記ロスグラディエントを前記原本データ又は前記変換データにバックプロパゲーションする。

【0019】

一実施例において、前記（ａ）段階で、前記データ変調装置は、前記原本データに対するランダムノイズ生成ネットワークを通じて生成されたランダムノイズ追加プロセス、前記原本データに対するブラー（Ｂｌｕｒ）処理プロセス、及び前記原本データの解像度変更プロセスのうち少なくとも一つのプロセスを遂行して前記原本データに対応する前記変換データを生成する。

【0020】

一実施例において、前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、前記（ａ）段階で、前記データ変調装置は、前記原本データ又は前記変換データを前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれに入力して、それぞれの前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークをもって、（ｉ）前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれの前記第１学習済みパラメータ乃至前記第ｎ学習済みパラメータを利用して、前記原本データ又は前記変換データに対して当該ラーニングネットワークに対応するネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに対するそれぞれの第１特性情報乃至第ｎ特性情報を出力させ、前記（ｂ）段階で、前記データ変調装置は、（ｉ）前記第１特性情報乃至前記第ｎ特性情報と、これにそれぞれ対応する少なくとも１つの第１＿１原本正解乃至少なくとも１つの第１＿ｎ原本正解とを参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である第１ロスのうち一つ、（ｉｉ）前記第１特性情報乃至前記第ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、これにそれぞれ対応する少なくとも１つの第２＿１原本正解のうち一つ、及び（ｉｉｉ）前記第１＿１ロス乃至前記第１＿ｎロスと、これにそれぞれ対応する第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する前記変調済みデータを生成する。

【0021】

本発明の他の態様によると、個人情報保護のために原本データをコンシール処理する方法において、（ａ）前記原本データが取得されると、データ変調装置が、前記原本データを変換して変換データを生成する段階と、（ｂ）前記データ変調装置が、（ｉ）前記原本データをラーニングネットワークに入力して、前記ラーニングネットワークをもって（ｉ－１）前記ラーニングネットワークの少なくとも一つの学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ－２）前記原本データに対する第１特性情報を出力させ、（ｉｉ）前記変換データを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって（ｉｉ－１）前記学習済みパラメータを利用して、前記変換データに対してネットワーク演算を適用させて（ｉｉ－２）前記変換データに対する第２特性情報を出力させる段階と、（ｃ）前記データ変調装置が、（ｉ）前記第１特性情報と前記第２特性情報とを参照して算出された少なくとも一つの第１ロスと、（ｉｉ）（ｉｉ－１）前記第２特性情報を利用して生成された少なくとも一つのタスク特化出力と、（ｉｉ－２）これに対応する少なくとも一つの原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して算出された少なくとも一つの第２ロスとのうち少なくとも一部を参照して生成された少なくとも一つのデータロスを利用したバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する変調済みデータを生成する段階と、を含む。

【0022】

一実施例において、前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、前記（ｂ）段階で、前記データ変調装置は、（ｉ）前記原本データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉ－１）前記第１ラーニングネットワークの少なくとも１つの第１学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ－２）前記原本データに対する第１＿１特性情報を出力させ、（ｉｉ）前記変換データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉｉ－１）前記第１学習済みパラメータを利用して、前記変換データに対してネットワーク演算を適用させて（ｉｉ－２）前記変換データに対する第２＿１特性情報を出力させ、前記（ｃ）段階で、前記データ変調装置は、（ｉ）前記第１＿１特性情報と前記第２＿１特性情報とを参照して生成された少なくとも一つの第１＿１ロスと、（ｉｉ）（ｉｉ－１）前記第２＿１特性情報を利用して生成された少なくとも一つの第１タスク特化出力と、（ｉｉ－２）これに対応する少なくとも一つの第１原本正解とを参照して生成された少なくとも一つの第２＿１ロスとのうち少なくとも一部を参照して算出された少なくとも一つの第１データロスを利用したバックプロパゲーションを通じて前記変換データをアップデートして、前記変換データに対応する第１変調済みデータを生成し、前記データ変調装置が、整数であるｋを２からｎまで増加させて行き、（ｉ）前記原本データを第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉ－１）前記第ｋラーニングネットワークの少なくとも一つの第ｋ学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ－２）前記原本データに対する第１＿ｋ特性情報を出力させるプロセス、（ｉｉ）第ｋ－１変調済みデータを前記第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉｉ－１）前記第ｋ学習済みパラメータを利用して、前記第ｋ－１変調済みデータに対してネットワーク演算を適用させて（ｉｉ－２）前記第ｋ－１変調済みデータに対する第２＿ｋ特性情報を出力させるプロセス、及び（ｉｉｉ）（ｉｉｉ－１）前記第１＿ｋ特性情報と前記第２＿ｋ特性情報とを参照して算出された少なくとも１つの第１＿ｋロスと、（ｉｉｉ－２）前記第２＿ｋ特性情報を利用して生成された少なくとも１つの第ｋタスク特化出力と、これに対応する少なくとも１つの第ｋ原本正解とを参照して算出された少なくとも一つの第２＿ｋロスとのうち少なくとも一部を参照して生成された少なくとも１つの第ｋデータロスを利用したバックプロパゲーションを通じて前記第ｋ－１変調済みデータをアップデートして、前記第ｋ－１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返すことにより、前記原本データに対応する前記変調済みデータである第ｎ変調済みデータを生成する。

【0023】

一実施例において、前記データ変調装置は、前記第１データロス乃至第ｎデータロスを平均した少なくとも一つの平均データロスを利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記変調済みデータを生成する。

【0024】

一実施例において、（ｉ）前記第１＿１ロス乃至前記第１＿ｎロスを平均した少なくとも一つの平均を第１サブロス（Ｓｕｂ Ｌｏｓｓ）として算出し、（ｉｉ）前記特定の特性情報と前記第２＿１ロス乃至前記第２＿ｎロスを平均した平均値とを参照して第２サブロスを算出する。

【0025】

一実施例において、前記（ｃ）段階で、前記データ変調装置は、前記データロスを利用したバックプロパゲーションの進行中に前記ラーニングネットワークの前記学習済みパラメータを固定された値に保持する。

【0026】

一実施例において、前記（ａ）段階で、前記データ変調装置は、前記原本データに対するランダムノイズ生成ネットワークを通じて生成されたランダムノイズ追加プロセス、前記原本データに対するブラー（Ｂｌｕｒ）処理プロセス、及び前記原本データの解像度変更プロセスのうち少なくとも一つのプロセスを遂行して前記原本データに対応する前記変換データを生成する。

【0027】

一実施例において、前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、前記（ｂ）段階で、前記データ変調装置は、（ｉ）前記原本データ及び前記変換データを前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれに入力して、（ｉｉ）それぞれの前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークをもって（ｉｉ－１）前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれの前記第１学習済みパラメータ乃至前記第ｎ学習済みパラメータを利用して、前記原本データ及び前記変換データに対して当該ラーニングネットワークに対応するネットワーク演算を適用させて（ｉｉ－２）前記原本データに対するそれぞれの第１＿１特性情報乃至第１＿ｎ特性情報を出力させ、（ｉｉ－３）前記変換データに対するそれぞれの第２＿１特性情報乃至第２＿ｎ特性情報を出力させ、前記（ｃ）段階で、前記データ変調装置は、（ｉ）前記第１＿１特性情報乃至前記第１＿ｎ特性情報と、これにそれぞれ対応する前記第２＿１特性情報乃至第２＿ｎ特性情報を参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である前記第１ロスのうち一つ、（ｉｉ）前記第２＿１特性情報乃至前記第２＿ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、これにそれぞれ対応する少なくとも一つの第１原本正解乃至少なくとも一つの第ｎ原本正解とを参照して算出された第２＿１ロス乃至第２＿ｎロスの平均である第２ロスのうち一つ、及び（ｉｉｉ）前記第１＿１ロス乃至前記第１＿ｎロスと、これにそれぞれ対応する前記第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する前記変調済みデータを生成する。

【0028】

本発明のまた他の態様によると、個人情報保護のために原本データをコンシール処理するデータ変調装置（Ｄａｔａ Ｏｂｆｕｓｃａｔｉｏｎ Ｄｅｖｉｃｅ）において、インストラクションを格納する少なくとも１つのメモリと、（Ｉ）前記原本データが取得されると、前記原本データ又はこれに対応する変換データ（Ｍｏｄｉｆｉｅｄ Ｄａｔａ）をラーニングネットワーク（Ｌｅａｒｎｉｎｇ Ｎｅｔｗｏｒｋ）に入力して、前記ラーニングネットワークをもって（ｉ）前記ラーニングネットワークの少なくとも一つの学習済みパラメータを利用して、前記原本データ又は前記変換データに対してネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに関する特性情報（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）を出力させるプロセス、及び（ＩＩ）（ｉ）前記特性と、これに対応する少なくとも一つの第１原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して算出された少なくとも一つの第１ロスと、（ｉｉ）（ｉｉ－１）前記特性情報を利用して生成された少なくとも１つのタスク特化出力（Ｔａｓｋ Ｓｐｅｃｉｆｉｃ Ｏｕｔｐｕｔ）及び（ｉｉ－２）これに対応する少なくとも１つの第２原本正解を参照して算出された少なくとも１つの第２ロスとのうち少なくとも一部を利用したバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する変調済みデータ（Ｏｂｆｕｓｃａｔｅｄ Ｄａｔａ）を生成するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含む。

【0029】

一実施例において、前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータをそれぞれ有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、前記（Ｉ）プロセスで、前記プロセッサは、前記原本データ又は前記変換データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉ）前記第１ラーニングネットワークの前記第１学習済みパラメータを利用して、前記原本データ又は前記変換データに対してネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに関する第１特性情報を出力させ、前記（ＩＩ）プロセスで、前記プロセッサは、（ｉ）前記第１特性情報と、これに対応する少なくとも１つの第１＿１原本正解とを参照して算出された少なくとも１つの第１＿１ロスと、（ｉｉ）（ｉｉ－１）前記第１特性情報を利用して生成された少なくとも１つの第１タスク特化出力と、（ｉｉ－２）これに対応する少なくとも１つの第２＿１原本正解とを参照して算出された少なくとも１つの第２＿１ロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データ又は前記変換データに対応する第１変調済みデータを生成し、前記プロセッサが、整数であるｋを２からｎまで増加させて行き、（ｉ）第ｋ－１変調済みデータを第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉ－１）前記第ｋラーニングネットワークの少なくとも一つの第ｋ学習済みパラメータを利用して、前記第ｋ－１変調済みデータに対してネットワーク演算を適用させて（ｉ－２）前記第ｋ－１変調済みデータに対する第ｋ特性情報を出力させ、（ｉｉ）（ｉｉ－１）前記第ｋ特性情報とこれに対応する少なくとも一つの第１＿ｋ原本正解とを参照して生成された少なくとも一つの第１＿ｋロスと、（ｉｉ－２）前記第ｋ特性情報を利用して生成された少なくとも１つの第ｋタスク特定値及びこれに対応する少なくとも一つの第２＿ｋ原本正解とを参照して算出された少なくとも一つの第２＿ｋロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて前記第ｋ－１変調済みデータをアップデートして、前記第ｋ－１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返すことにより、前記原本データに対応する前記変調済みデータである第ｎ変調済みデータを生成する。

【0030】

一実施例において、前記プロセッサは、（ｉ）前記第１＿１ロス乃至第１＿ｎロスを平均した第１平均ロス、（ｉｉ）前記第２＿１ロス乃至第２＿ｎロスを平均した第２平均ロス、及び（ｉｉｉ）前記第１＿１ロス乃至第１＿ｎロスと前記第１＿１ロス乃至第１＿ｎロスそれぞれに対応する前記第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記変調済みデータを生成する。

【0031】

一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、前記第１ロスと前記第２ロスとのうち少なくとも一部を利用したバックプロパゲーションの進行中に前記ラーニングネットワークの前記学習済みパラメータを固定された値に保持する。

【0032】

一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、前記第１ロスと前記第２ロスとのうち少なくとも一部を最小化するための少なくとも一つのロスグラディエント（Ｌｏｓｓ Ｇｒａｄｉｅｎｔ）を取得し、前記ロスグラディエントを前記原本データ又は前記変換データにバックプロパゲーションする。

【0033】

一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、前記原本データに対するランダムノイズ生成ネットワークを通じて生成されたランダムノイズ追加プロセス、前記原本データに対するブラー（Ｂｌｕｒ）処理プロセス、及び前記原本データの解像度変更プロセスのうち少なくとも一つのプロセスを遂行して前記原本データに対応する前記変換データを生成する。

【0034】

一実施例において、前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、前記（Ｉ）プロセスで、前記プロセッサは、前記原本データ又は前記変換データを前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれに入力して、それぞれの前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークをもって（ｉ）前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれの前記第１学習済みパラメータ乃至第ｎ学習済みパラメータを利用して、前記原本データ又は前記変換データに対して当該ラーニングネットワークに対応するネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに対するそれぞれの第１特性情報乃至第ｎ特性情報を出力させ、前記（ＩＩ）プロセスで、前記プロセッサは、（ｉ）前記第１特性情報乃至前記第ｎ特性情報と、これにそれぞれ対応する少なくとも１つの第１＿１原本正解乃至少なくとも１つの第１＿ｎ原本正解とを参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である第１ロスのうちの１つ、（ｉｉ）前記第１特性情報乃至前記第ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、これにそれぞれ対応する少なくとも１つの第２＿１原本正解乃至少なくとも一つの第２＿ｎ原本正解とを参照して生成された第２＿１ロス乃至第２＿ｎロスの平均である第２ロスのうち一つ、及び（ｉｉｉ）前記第１＿１ロス乃至前記第１＿ｎロスと、これにそれぞれ対応する第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する前記変調済みデータを生成する。

【0035】

本発明のまた他の態様によると、個人情報保護のために原本データをコンシール処理するデータ変調装置において、インストラクションを格納する少なくとも１つのメモリと、（Ｉ）前記原本データが取得されると、前記原本データを変換して変換データを生成するプロセス、（ＩＩ）（ｉ）前記原本データをラーニングネットワークに入力して、前記ラーニングネットワークをもって（ｉ－１）前記ラーニングネットワークの少なくとも一つの学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ－２）前記原本データに対する第１特性情報を出力させ、（ｉｉ）前記変換データを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって（ｉｉ－１）前記学習済みパラメータを利用して、前記変換データに対してネットワーク演算を適用させて（ｉｉ－２）前記変換データに対する第２特性情報を出力させるプロセス、及び（ＩＩＩ）（ｉ）前記第１特性情報と前記第２特性情報とを参照して算出された少なくとも１つの第１ロスと、（ｉｉ）（ｉｉ－１）前記第２特性情報を利用して生成された少なくとも１つのタスク特化出力と、（ｉｉ－２）これに対応する少なくとも１つの原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して算出された少なくとも１つの第２ロスとのうち少なくとも一部を参照して生成された少なくとも１つのデータロスを利用したバックプロパゲーション（Ｂａｃｋｐｒｏｐｒｏｐａｔｉｏｎ）を通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する変調済みデータを生成するプロセスを遂行するための前記インストラクションを実行するか、他の装置をもって実行するように構成された少なくとも１つのプロセッサと、を含む。

【0036】

一実施例において、前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、前記（ＩＩ）プロセスで、前記プロセッサは、（ｉ）前記原本データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉ－１）前記第１ラーニングネットワークの少なくとも１つの第１学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ－２）前記原本データに対する第１＿１特性情報を出力させ、（ｉｉ）前記変換データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉｉ－１）前記第１学習済みパラメータを利用して、前記変換データに対してネットワーク演算を適用させて（ｉｉ－２）前記変換データに対する第２＿１特性情報を出力させ、前記（ＩＩＩ）プロセスで、前記プロセッサは、（ｉ）前記第１＿１特性情報と前記第２＿１特性情報とを参照して生成された少なくとも一つの第１＿１ロスと、（ｉｉ）（ｉｉ－１）前記第２＿１特性情報を利用して生成された少なくとも一つの第１タスク特化出力と、（ｉｉ－２）これに対応する少なくとも一つの第１原本正解とを参照して生成された少なくとも一つの第２＿１ロスとのうち少なくとも一部を参照して算出された少なくとも一つの第１データロスを利用したバックプロパゲーションを通じて前記変換データをアップデートして、前記変換データに対応する第１変調済みデータを生成し、前記プロセッサが、整数であるｋを２からｎまで増加させて行き、（ｉ）前記原本データを第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉ－１）前記第ｋラーニングネットワークの少なくとも一つの第ｋ学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ－２）前記原本データに対する第１＿ｋ特性情報を出力させるプロセス、（ｉｉ）第ｋ－１変調済みデータを前記第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉｉ－１）前記第ｋ学習済みパラメータを利用して、前記第ｋ－１変調済みデータに対してネットワーク演算を適用させて（ｉｉ－２）前記第ｋ－１変調済みデータに対する第２＿ｋ特性情報を出力させるプロセス、及び（ｉｉｉ）（ｉｉｉ－１）前記第１＿ｋ特性情報と、前記第２＿ｋ特性情報とを参照して算出された少なくとも１つの第１＿ｋロスと、（ｉｉｉ－２）前記第２＿ｋ特性情報を利用して生成された少なくとも１つの第ｋタスク特化出力と、これに対応する少なくとも１つの第ｋ原本正解とを参照して算出された少なくとも１つの第２＿ｋロスとのうち少なくとも一部を参照して生成された少なくとも一つの第ｋデータロスを利用したバックプロパゲーションを通じて前記第ｋ－１変調済みデータをアップデートして、前記第ｋ－１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返すことにより、前記原本データに対応する前記変調済みデータである第ｎ変調済みデータを生成する。

【0037】

一実施例において、前記データ変調装置は、前記第１データロス乃至第ｎデータロスを平均した少なくとも一つの平均データロスを利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記変調済みデータを生成する。

【0038】

一実施例において、（ｉ）前記第１＿１ロス乃至前記第１＿ｎロスを平均した少なくとも一つの平均を第１サブロス（Ｓｕｂ Ｌｏｓｓ）として算出し、（ｉｉ）前記特定の特性情報と前記第２＿１ロス乃至前記第２＿ｎロスを平均した平均値とを参照して第２サブロスを算出する。

【0039】

一実施例において、前記（ＩＩＩ）プロセスで、前記プロセッサは、前記データロスを利用したバックプロパゲーションの進行中に前記ラーニングネットワークの前記学習済みパラメータを固定された値に保持する。

【0040】

一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、前記原本データに対するランダムノイズ生成ネットワークを通じて生成されたランダムノイズ追加プロセス、前記原本データに対するブラー（Ｂｌｕｒ）処理プロセス、及び前記原本データの解像度変更プロセスのうち少なくとも一つのプロセスを遂行して前記原本データに対応する前記変換データを生成する。

【0041】

一実施例において、前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、前記（ＩＩ）プロセスで、前記プロセッサは、（ｉ）前記原本データ及び前記変換データを前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれに入力して、（ｉｉ）それぞれの前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークをもって（ｉｉ－１）前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれの前記第１学習済みパラメータ乃至第ｎ学習済みパラメータを利用して、前記原本データ及び前記変換データに対して当該ラーニングネットワークに対応するネットワーク演算を適用させて（ｉｉ－２）前記原本データに対するそれぞれの第１＿１特性情報乃至第１＿ｎ特性情報を出力させ、（ｉｉ－３）前記変換データに対するそれぞれの第２＿１特性情報乃至第２＿ｎ特性情報を出力させ、前記（ＩＩＩ）プロセスで、前記プロセッサは、（ｉ）前記第１＿１特性情報乃至前記第１＿ｎ特性情報と、これにそれぞれ対応する前記第２＿１特性情報乃至第２＿ｎ特性情報を参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である前記第１ロスのうち一つ、（ｉｉ）前記第２＿１特性情報乃至前記第２＿ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、これにそれぞれ対応する少なくとも一つの第１原本正解乃至少なくとも一つの第ｎ原本正解とをさらに参照して算出された第２＿１ロス乃至第２＿ｎロスの平均である前記第２ロスのうち一つ、及び（ｉｉｉ）前記第１＿１ロス乃至前記第１＿ｎロスと、これにそれぞれ対応する第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する前記変調済みデータを生成する。

【0042】

その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。

【発明の効果】

【0043】

本発明は、データ内で個人識別情報を探す作業が要求されないため、簡単かつ正確にコンシーリング（Ｃｏｎｃｅａｌｉｎｇ）作業を遂行することができる効果がある。

【0044】

また、本発明は、原本データから非可逆的に変調（０ｂｆｕｓｃａｔｉｏｎ）されてコンシール処理されたデータを生成することによって、原本データのセキュリティ及びプライバシーを守ることができる他の効果がある。

【0045】

また、本発明は、人間にとっては異なるように見えるデータであるものの、コンピュータには互いに同一又は類似するように見えるデータを生成し得るまた他の効果がある。

【0046】

さらに、本発明は、ビッグデータの取引市場をより活性化させることができるまた他の効果がある。

【図面の簡単な説明】

【0047】

【図1】本発明の一実施例において、データをコンシール（Ｃｏｎｃｅａｌｉｎｇ）処理するためのデータ変調装置を簡略に示したものである。

【図2】本発明の一実施例において、データをコンシール処理する方法を簡略に示したものである。

【図3】本発明の一実施例において、データをコンシール処理する他の方法を簡略に示したものである。

【図4】本発明の他の実施例において、データをコンシール処理する方法を簡略に示したものである。

【図5】本発明の他の実施例において、データをコンシール処理する他の方法を簡略に示したものである。

【図6】本発明のまた他の実施例において、データをコンシール処理する方法を簡略に示したものである。

【図7】本発明のまた他の実施例において、データをコンシール処理する他の方法を簡略に示したものである。

【図8A】本発明の実施例において、原本データとコンシール処理された原本データとを簡略に示したものである。

【図8B】本発明の実施例において、原本データとコンシール処理された原本データとを簡略に示したものである。

【発明を実施するための形態】

【0048】

本発明の実施例の説明に利用されるために添付された図面は、本発明の実施例のうち単に一部であるだけであり、本発明の属する技術分野において通常の知識を有する者（以下、「通常の技術者」）にとっては、発明的作業が行われることなく、これらの図面に基づいて他の図面が得られ得る。

【0049】

後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施し得るように十分詳細に説明される。本発明の多様な実施例は互いに異なるものの、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の機能、構造及び特性は、本発明の精神及び範囲を逸脱せず、かつ一つの実施例から他の実施例に変更されて具現され得る。また、それぞれの実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述する詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は、特許請求の範囲の請求項が請求する範囲及びそれに均等なすべての範囲を包括するものと受け取られるべきである。図面において類似の参照符号は、様々な側面にわたって同一であるか、類似した構成要素を示す。

【0050】

以下では、本発明の詳細な説明と請求項に含まれる「含む」とは、用語と当該用語の多様な表現は、他の技術的特徴、追加、構成要素又は段階を排除することを意味するものではない。本発明の他の目的、恩恵及び特徴は、部分的には明細書から、及び部分的には本発明の履行から、技術分野における通常の知識を有する者に明らかにされるであろう。以下の各例示と図面は例示として示されているが、本発明はこれに制限されるわけではない。

【0051】

本発明の属する技術分野において、通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の様々な好ましい実施例について添付された図面を参照して詳細に説明する。

【0052】

図１は、本発明の一実施例において、データをコンシール処理するためのデータ変調装置を簡略に示したものである。

【0053】

図１を参照すると、本発明の実施例によるデータ変調装置１００は、変調済みデータ（Ｏｂｆｕｓｃａｔｅｄ Ｄａｔａ）をコンシール処理されたデータ（例えば、非識別処理されたデータ）として生成するためのインストラクションを格納するメモリ１１０と、メモリ１１０に格納された各インストラクションにしたがって、原本データに対応する変調済みデータを生成するプロセスを遂行するプロセッサ１２０とを含むことができる。この場合、変調済みデータを利用して算出された出力結果は、原本データを利用して算出された出力結果と同一又は類似し得る。

【0054】

具体的に、データ変調装置１００は、少なくとも一つのコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置、出力装置、又は、その他既存のコンピューティング装置の構成要素；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、コンピューティング装置をもって特定の方式で機能させる各インストラクション）との組み合わせを利用して所望のシステム性能を一般的に達成するものであり得る。

【0055】

また、コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。

【0056】

しかし、コンピューティング装置が、本発明を実施するためのプロセッサ、メモリ、ミディアム又は他のコンピューティング要素の任意の組み合わせを含む統合装置を排除するものではない。

【0057】

一方、原本データが取得されると、メモリ１１０に格納されたインストラクションにしたがってデータ変調装置１００のプロセッサ１２０が、（ｉ）原本データ又はこれに対応する変換データ（Ｍｏｄｉｆｉｅｄ Ｄａｔａ）をラーニングネットワークに入力して、ラーニングネットワークをもって（ｉ－１）ラーニングネットワークの少なくとも一つの学習済みパラメータを利用して、原本データ又は変換データに対してネットワーク演算を適用させて（ｉ－２）原本データ又は変換データに関する特性情報（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）を出力させるプロセス、及び（ｉｉ）（ｉｉ－１）前記特性情報と、これに対応する少なくとも一つの第１原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して算出された少なくとも一つの第１ロスと、（ｉｉ－２）前記特性情報を利用して生成された少なくとも一つのタスク特化出力（Ｔａｓｋ Ｓｐｅｃｉｆｉｃ Ｏｕｔｐｕｔ）と、これに対応する少なくとも一つの第２原本正解とを参照して生成された少なくとも一つの第２ロスとのうち少なくとも一部を利用したバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて原本データ又は変換データをアップデートするプロセスを実行して原本データに対応する変調済みデータを生成することができる。この際、ラーニングネットワークは学習済みパラメータを有するネットワークであり得、当該学習は完了した状態であり得る。

【0058】

また、原本データが取得されると、メモリ１１０に格納されたインストラクションにしたがってデータ変調装置１００のプロセッサ１２０が、（ｉ）原本データを変換して変換データを生成するプロセス、（ｉｉ）原本データをラーニングネットワークに入力して、ラーニングネットワークをもって（ｉｉ－１）ラーニングネットワークの学習済みパラメータを利用して、原本データに対してネットワーク演算を適用させて（ｉｉ－２）原本データに対する第１特性情報を出力させるプロセス、及び（ｉｉｉ）変換データをラーニングネットワークに入力して、ラーニングネットワークをもって（ｉｉｉ－１）学習済みパラメータを利用して、変換データに対してネットワーク演算を適用させて（ｉｉｉ－２）変換データに対する第２特性情報を出力させるプロセスを遂行することができる。以後、（ｉ）第１特性情報と第２特性情報とを参照して生成された少なくとも１つの第１ロスと、（ｉｉ）（ｉｉ－１）第２特性情報を利用して生成されたタスク特化出力と、（ｉｉ－２）これに対応する原本正解とを参照して生成された第２ロスとのうち少なくとも一部を参照して算出された少なくとも１つのデータロスを利用したバックプロパゲーションを通じて原本データ又は変換データをアップデートするプロセスを遂行して、原本データに対応する変調済みデータを生成することができる。

【0059】

このように構成された本発明の一実施例によるデータ変調装置１００を利用して、個人情報保護のために原本データをコンシール処理する方法を図２乃至図８を参照して説明すると次のとおりである。

【0060】

図２は、コンシール処理されたデータ（例えば、非識別データ）として変調済みデータを生成する方法を簡略に示した図である。本発明の一実施例において、変調済みデータを利用して算出された出力結果が、学習済みパラメータを有するラーニングネットワーク１３０、すなわちパラメータが調整されたラーニングネットワーク１３０を利用して、原本データを利用して算出された出力結果と互いに同一又は類似し得るため、所望の結果がトレーニングデータから出力される。

【0061】

先ず、原本データｘが取得されると、データ変調装置１００が、原本データｘをラーニングネットワーク１３０に入力して、ラーニングネットワーク１３０をもって（ｉ）ラーニングネットワーク１３０の少なくとも一つの学習済みパラメータを利用して、原本データに対してネットワーク演算を適用させて（ｉｉ）原本データに関する特性情報ｙを出力させるプロセスを遂行することができる。

【0062】

すなわち、コンシール処理のための原本データｘが取得されると、データ変換装置１００のメモリ１１０に格納されたインストラクションにしたがってデータ変換装置１００、すなわちプロセッサ１２０が、原本データｘをラーニングネットワーク１３０に入力する。この際、ラーニングネットワーク１３０はマシンラーニングネットワークを含むことができるが、これに限定されず、学習済みパラメータを利用して入力される原本データｘに対してネットワーク演算を適用させて出力を生成させる全てのラーニングネットワークを含むことができる。そして、マシンラーニングネットワークは、Ｋ－近傍法（Ｋ－Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒｓ）、線形回帰（Ｌｉｎｅａｒ Ｒｅｇｒｅｓｓｉｏｎ）、ロジスティック回帰（Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎ）、サポートベクトルマシン（ＳＶＭ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、デシジョンツリー（Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ）とランダムフォレスト（Ｒａｎｄｏｍ Ｆｏｒｅｓｔ）、ニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、クラスタリング（Ｃｌｕｓｔｅｒｉｎｇ）、視覚化（Ｖｉｓｕａｌｉｚａｔｉｏｎ）と次元縮小（Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ Ｒｅｄｕｃｔｉｏｎ）、関連規則学習（Ａｓｓｏｃｉａｔｉｏｎ Ｒｕｌｅ Ｌｅａｒｎｉｎｇ）、深層信頼ネットワーク（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ）、強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ）、及びディープラーニングアルゴリズム（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｌｇｏｒｉｔｈｍ）のうち少なくとも一つを含むことができるが、マシンラーニングネットワークはこれに限定されず、多様なラーニングアルゴリズムを含むことができる。また、コンシール処理のための対象（例えば、非識別対象）は、原本データｘに含まれている個人情報であり得、この際、個人情報は個人識別情報、個人の医療情報、個人の生体情報、個人の行動情報など、個人に関わるすべての情報を含むことができる。他の例として、個人情報は、ハードウェア回路図、事業機密などのような敏感な情報や内密の情報を含むことができる。

【0063】

そうすると、ラーニングネットワーク１３０は、入力される原本データｘに対してラーニングネットワークの学習済みパラメータを利用して、ネットワーク演算を適用させて原本データｘに対する特性情報ｙを出力する。この際、特性情報ｙは、原本データｘに対する特徴（Ｆｅａｔｕｒｅ）又はロジット（Ｌｏｇｉｔ）であり得る。また、特性情報ｙは、原本データ内の所定の特徴と関連する特徴値、又は所定の特徴と関連するベクトル（Ｖｅｃｔｏｒ）、行列（Ｍａｔｒｉｘ）及び座標（Ｃｏｏｒｄｉｎａｔｅ）のうち少なくとも一つに関する値を含むロジットであり得る。例えば、原本データが顔イメージデータである場合に、上記の結果は顔認識のためのクラス、顔の特徴、一例として、笑顔の表情、顔の特徴点（Ｌａｎｄｍａｒｋ Ｐｏｉｎｔ、例えば、目の両端点）に関する座標であり得る。

【0064】

次に、データ変調装置１００は、（ｉ）特性情報ｙと、これに対応する第１原本正解とを参照して算出された少なくとも一つの第１ロスと、（ｉｉ）（ｉｉ－１）特性情報ｙを利用して生成された少なくとも一つのタスク特化出力と、（ｉｉ－２）これに対応する少なくとも一つの第２原本正解とを参照して算出された少なくとも一つの第２ロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて原本データをアップデートするプロセスを遂行して、原本データに対応する変調済みデータを生成することができる。

【0065】

この際、データ変調装置１００は、第１ロスと第２ロスとのうち少なくとも一つを利用したバックプロパゲーションの進行中にラーニングネットワーク１３０の学習済みパラメータは固定してアップデートせず、原本データに対してのみ第１ロスと第２ロスとのうち少なくとも一部を最小化するようにバックプロパゲーションを遂行することにより、原本データを変調するようになる。そうすると、変調済みデータは人にとっては原本データとは異なるデータとして認識されるが、ラーニングネットワークでは原本データと同一又は類似したデータとして認識され得る。

【0066】

また、データ変調装置１００は、第１ロスと第２ロスとのうち少なくとも一部を利用したバックプロパゲーションの進行中に、第１ロスと第２ロスとのうち少なくとも一部を最小化するための少なくとも１つのロスグラディエント（Ｌｏｓｓ Ｇｒａｄｉｅｎｔ）を取得し、ロスグラディエントを原本データにバックプロパゲーションすることができる。

【0067】

一方、タスク特化出力は、ラーニングネットワーク１３０が遂行しようとするタスク（Ｔａｓｋ）に対する出力であって、クラス分類のためのクラスに対する確率、位置検出のためのリグレッションによる座標値などのように、ラーニングネットワーク１３０によって学習済みのタスクによる様々な結果を有することができ、ラーニングネットワーク１３０から出力される特性情報に対して活性化ユニット（Ａｃｔｉｖａｔｉｏｎ Ｕｎｉｔ）の活性化関数（Ａｃｔｉｖａｔｉｏｎ Ｆｕｎｃｔｉｏｎ）が適用されて、ラーニングネットワーク１３０で遂行しようとするタスクによるタスク特化出力を生成することができる。この際、活性化関数としては、シグモイド（Ｓｉｇｍｏｉｄ）関数、線形（Ｌｉｎｅａｒ）関数、ソフトマックス（Ｓｏｆｔｍａｘ）関数、ＲｅＬＵ（Ｒｌｉｎｅａｒ）関数、二乗（Ｓｑｕａｒｅ）関数、ＳＱＲＴ関数、Ｓｒｌｉｎｅａｒ関数、ＡＢＳ関数、ＴＡＮＨ関数、Ｂｒｌｉｎｅａｒ関数などが使用され得るが、これに限定されない。

【0068】

一例として、ラーニングネットワーク１３０がクラス分類のためのタスクを遂行する場合、データ変調装置１００のプロセッサ１２０は、ラーニングネットワーク１３０から出力される特性情報をクラスごとにマッピングして、原本データに対してクラスごとに少なくとも一つの確率を生成することができる。この際、クラスごとの確率はクラスごとにラーニングネットワーク１３０から出力される特性情報が正解である確率を示すことができる。例えば、原本データが顔イメージデータである場合に、顔が笑顔の状態である確率は０．７５、笑顔でない状態である確率は０．２５等のように出力され得る。この際、ラーニングネットワーク１３０から出力される特性情報をクラスごとにマッピングするのにソフトマックスアルゴリズムを使用することができるが、これに限定されず、特性情報をクラスごとにマッピングするために様々なアルゴリズムが利用され得る。

【0069】

図３は、第１変調済みデータ乃至第ｎ変調済みデータをコンシール処理されたデータとして生成するための方法を簡略に示した図である。本発明の一実施例において第１変調済みデータ乃至第ｎ変調済みデータを利用して算出された出力結果は、学習済みパラメータを有する多数のラーニングネットワーク１３０＿１、１３０＿２、…、１３０＿ｎを利用して、原本データを利用して算出される結果と互いに同一又は類似し得る。この際，多数のラーニングネットワーク１３０＿１，１３０＿２，…、１３０＿ｎそれぞれは、少なくとも部分的に互いに異なるタスクを遂行するように学習済みの状態であり得る。下記の説明では、図２の説明で容易に理解可能な部分については詳細な説明を省略することにする。

【0070】

先ず、原本データｘが取得されると、データ変調装置１００が、原本データｘを第１ラーニングネットワーク１３０＿１に入力して、第１ラーニングネットワーク１３０＿１をもって（ｉ）第１ラーニングネットワーク１３０＿１の少なくとも１つの第１学習済みパラメータを利用して、原本データに対してネットワーク演算を適用させて（ｉｉ）原本データに対する第１特性情報ｙを出力させる。

【0071】

すなわち、コンシール処理のための原本データｘが取得されると、データ変換装置１００のメモリ１１０に格納されたインストラクションにしたがってデータ変換装置１００、すなわちプロセッサ１２０が、原本データｘを第１ラーニングネットワーク１３０＿１に入力する。

【0072】

そうすると、第１ラーニングネットワーク１３０＿１は、入力される原本データｘに対して第１ラーニングネットワークの第１学習済みパラメータを利用して、ネットワーク演算を適用させて原本データｘに対する第１特性情報ｙ１を出力する。

【0073】

次に、データ変調装置１００は、（ｉ）第１特性情報ｙと、これに対応する少なくとも一つの第１＿１原本正解とを参照して取得した少なくとも一つの第１＿１ロスと、（ｉｉ）（ｉｉ－１）第１特性情報ｙ１を利用して生成された少なくとも一つの第１タスク特化出力と、（ｉｉ－２）これに対応する少なくとも一つの第２＿１原本正解とを参照して算出された少なくとも一つの第２＿１ロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて原本データをアップデートして、原本データに対応する第１変調済みデータを生成することができる。

【0074】

以後、データ変調装置１００は、整数（ｉｎｔｅｇｅｒ）であるｋを２からｎまで増加させて行き、（ｉ）第ｋ－１変調済みデータを第ｋラーニングネットワークに入力して、第ｋラーニングネットワークをもって（ｉ－１）第ｋラーニングネットワークの少なくとも一つの第ｋ学習済みパラメータを利用して、第ｋ－１変調済みデータに対してネットワーク演算を適用させて（ｉ－２）第ｋ－１変調済みデータに対する第ｋ特性情報を出力させ、（ｉｉ）（ｉｉ－１）第ｋ特性情報と、これに対応する少なくとも一つの第１＿ｋ原本正解とを参照して算出された少なくとも一つの第１＿ｋロスと、（ｉｉ－２）（ｉｉ－２ａ）第ｋ特性情報を利用して生成された少なくとも一つの第ｋタスク特化出力と、（ｉｉ－２ｂ）これに対応する少なくとも一つの第２＿ｋ原本正解とを参照して算出された少なくとも一つの第２＿ｋロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて第ｋ－１変調済みデータをアップデートして、第ｋ－１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返す。

【0075】

このような方法により、データ変調装置１００は、第２ラーニングネットワーク１３０＿２乃至第ｎラーニングネットワーク１３０＿ｎをもって、それぞれ以前のラーニングネットワークを利用したバックプロパゲーションにより生成された以前の変調済みデータとして入力して、バックプロパゲーションを遂行させて第ｎ変調済みデータを生成するプロセスを繰り返した結果、原本データに対してコンシールされた変調済みデータとして第ｎ変調済みデータを生成することができる。

【0076】

また、前記では、原本データに対してコンシールされた変調済みデータとして第ｎ変調済みデータを生成したが、第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎをもって第１＿１ロス乃至第１＿ｎロスと、第２＿１乃至第２＿ｎロスとを利用させ、原本データをアップデートして原本データに対してコンシール処理された変調済みデータを生成することもできる。

【0077】

すなわち、前記のような過程を通じて、第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎを利用してデータ変調装置１００は、（ｉ）第１＿１ロス乃至第１＿ｎロスを平均した第１平均ロス、（ｉｉ）第２＿１ロス乃至第２＿ｎロスを平均した第２平均ロス、及び（ｉｉｉ）第１＿１ロス乃至第１＿ｎロスと、これにそれぞれ対応する第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第２合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて原本データをアップデートして、前記原本データに対するコンシール処理された変調済みデータを生成することができる。

【0078】

一方、前記に示したように、データ変調装置１００は、第２ラーニングネットワーク１３０＿２乃至第ｎラーニングネットワーク１３０＿ｎそれぞれをもって、以前のラーニングネットワークを利用したバックプロパゲーションにより生成された以前の変調済みデータとして入力してバックプロパゲーションを遂行させて変調済みデータを生成したが、原本データｘを第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれに入力して、一度のバックプロパゲーションを通じて変調済みデータを生成することもできる。

【0079】

すなわち、データ変調装置１００は、原本データｘを第１ラーニングネットワーク乃至第ｎラーニングネットワークそれぞれに入力して、それぞれの第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎをもって（ｉ）第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれの第１学習済みパラメータ乃至第ｎ学習済みパラメータをそれぞれ利用して、原本データｘに対してネットワーク演算を適用させて（ｉｉ）第１学習済みパラメータ乃至第ｎ学習済みパラメータをそれぞれ利用して原本データｘに対するそれぞれの第１特性情報乃至第ｎ特性情報を出力させる。そして、データ変調装置１００は、（ｉ）第１特性情報乃至第ｎ特性情報と、（ｉｉ）これにそれぞれ対応する第１＿１原本正解乃至第１＿ｎ原本正解とを参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である第１ロスを利用したバックプロパゲーションを通じて原本データをアップデートして、原本データに対応する変調済みデータを生成することができる。

【0080】

また、データ変調装置１００は、（ｉ）第１特性情報乃至第ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、（ｉｉ）これにそれぞれ対応する少なくとも１つの第２＿１原本正解乃至少なくとも１つの第２＿ｎ原本正解とを参照して算出された第２＿１ロス乃至第２＿ｎロスの平均である第２ロスを利用したバックプロパゲーションを通じて原本データをアップデートして、原本データに対応する変調済みデータを生成することができる。

【0081】

これに加えて、データ変調装置１００は、第１＿１ロス乃至第１＿ｎロスと、これにそれぞれ対応する第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスを利用したバックプロパゲーションを通じて原本データをアップデートして、原本データに対応する変調済みデータを生成することもできる。

【0082】

図４は、本発明の一実施例において、原本データを変換して生成された変換データを入力として、原本データに対応する変調済みデータをコンシール処理されたデータとして生成する方法を簡略に示したものである。下記の説明では、図２の説明で容易に理解可能な部分については詳細な説明を省略することにする。

【0083】

まず、原本データｘが取得されると、データ変調装置１００が、原本データｘを変換して変換データｘ’を生成する。

【0084】

この際、変換データｘ’は、原本データｘにランダムノイズ生成ネットワーク（図示せず）を通じて生成された少なくとも一つのランダムノイズを追加して生成することができる。一例として、ランダムノイズ生成ネットワークをもって正規分布Ｎ（０，σ）を有するランダムノイズを生成させ、生成されたノイズを原本データｘに追加して変換データｘ’を生成することができる。また、変換データｘ’はランダムノイズ以外にも、原本データｘをブラー（Ｂｌｕｒ）処理するか原本データｘの解像度を変更して生成することができるが、これに限定されず、原本データを変換する様々な方法が適用され得る。

【0085】

次に、データ変調装置１００は、変換データｘ’をラーニングネットワーク１３０に入力して、ラーニングネットワーク１３０をもって（ｉ）ラーニングネットワーク１３０の学習済みパラメータを利用して、変換データに対してネットワーク演算を適用させて（ｉｉ）変換データに関する特性情報ｙを出力させることができる。

【0086】

すなわち、コンシール処理のための原本データｘが取得されると、データ変換装置１００のメモリ１１０に格納されたインストラクションにしたがってデータ変換装置１００、すなわち、プロセッサ１２０が、原本データｘを変換データｘ’に変換した後、変換データｘ’をラーニングネットワーク１３０に入力する。

【0087】

そうすると、ラーニングネットワーク１３０は、入力される変換データｘ’に対してラーニングネットワークの学習済みパラメータを利用して、ネットワーク演算を適用させて変換データｘ’に対する特性情報ｙを出力する。

【0088】

次に、データ変調装置１００は、（ｉ）特性情報ｙと、これに対応する少なくとも一つの第１原本正解とを参照して算出された第１ロスと、（ｉｉ）（ｉｉ－１）特性情報ｙを利用して生成されたタスク特化出力と、（ｉｉ－２）これに対応する少なくとも一つの第２原本正解とを参照して算出された第２ロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて原本データ又は変換データをアップデートするプロセスを遂行して原本データに対応する変調済みデータを生成することができる。

【0089】

図５は、本発明の一実施例において、原本データを変換して生成された変換データを入力として、原本データに対応する第１変調済みデータ乃至第ｎ変調済みデータをコンシール処理されたデータとして生成する方法を簡略に示したものである。下記の説明では、図２乃至図４の説明で容易に理解可能な部分については詳細な説明を省略することにする。

【0090】

まず、原本データｘが取得されると、データ変調装置１００が、原本データｘを変換して変換データｘ’を生成する。

【0091】

次に、データ変調装置１００が、変換データｘ’を第１ラーニングネットワーク１３０＿１に入力して、第１ラーニングネットワーク１３０＿１をもって（ｉ）第１ラーニングネットワーク１３０＿１の第１学習済みパラメータを利用して、変換データに対してネットワーク演算を適用させて（ｉｉ）変換データに対する第１特性情報ｙを出力させる。

【0092】

すなわち、コンシール処理のための原本データｘが取得されると、データ変換装置１００のメモリ１１０に格納されたインストラクションにしたがってデータ変換装置１００、すなわち、プロセッサ１２０が、原本データｘを変換データｘ’に変換した後、変換データｘ’を第１ラーニングネットワーク１３０＿１に入力する。

【0093】

そうすると、第１ラーニングネットワーク１３０＿１は、入力される変換データｘ’に対して第１ラーニングネットワークの第１学習済みパラメータを利用して、ネットワーク演算を適用させて変換データｘ’に対する第１特性情報ｙ１を出力する。

【0094】

次に、データ変調装置１００は、（ｉ）第１特性情報ｙ１と、これに対応する少なくとも一つの第１＿１原本正解とを参照して算出された少なくとも一つの第１＿１ロスと、（ｉｉ）（ｉｉ－１）第１特性情報ｙ１を利用して生成された少なくとも一つの第１タスク特化出力と、（ｉｉ－２）これに対応する少なくとも一つの第２＿１原本正解とを参照して算出された少なくとも一つの第２＿１ロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて変換データをアップデートして変換データに対応する第１変調済みデータを生成することができる。

【0095】

以後、データ変調装置１００は、整数であるｋを２からｎまで増加させて行き、（ｉ）第ｋ－１変調済みデータを第ｋラーニングネットワークに入力して、第ｋラーニングネットワークをもって（ｉ－１）第ｋラーニングネットワークの少なくとも一つの第ｋ学習済みパラメータを利用して、第ｋ－１変調済みデータに対してネットワーク演算を適用させて（ｉ－２）第ｋ－１変調済みデータに対する第ｋ特性情報を出力させ、（ｉｉ）（ｉｉ－１）第ｋ特性情報と、これに対応する少なくとも一つの第１＿ｋ原本正解とを参照して算出された少なくとも一つの第１＿ｋロスと、（ｉｉ－２）（ｉｉ－２ａ）第ｋ特性情報を利用して生成された少なくとも一つの第ｋタスク特化出力と、（ｉｉ－２ｂ）これに対応する少なくとも一つの第２＿ｋ原本正解とを参照して算出された少なくとも一つの第２＿ｋロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて第ｋ－１変調済みデータをアップデートして第ｋ－１変調済みデータに対応する第ｋ変調済みデータを生成することができる。

【0096】

このような方法により、データ変調装置１００は、第２ラーニングネットワーク１３０＿２乃至第ｎラーニングネットワーク１３０＿ｎをもって、それぞれ以前のラーニングネットワークを利用したバックプロパゲーションにより生成された以前の変調済みデータとして入力して、バックプロパゲーションをそれぞれ遂行させて第ｎ変調済みデータを生成するプロセスを繰り返すことにより、原本データに対してコンシールされた第ｎ変調済みデータを生成することができる。

【0097】

また、前記では、原本データに対してコンシールされた変調済みデータとして第ｎ変調済みデータを生成したが、第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎをもって第１＿１ロス乃至第１＿ｎロスと、第２＿１ロス乃至第２＿ｎロスとを利用させて原本データ又は変換データをアップデートして、原本データに対してコンシール処理された変調済みデータを生成することもできる。

【0098】

すなわち、データ変調装置１００は、前記のような過程を通じて第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎを利用して、（ｉ）第１＿１ロス乃至第１＿ｎロスを平均した第１平均ロス、（ｉｉ）第２＿１ロス乃至第２＿ｎロスを平均した第２平均ロス、及び（ｉｉｉ）第１＿１ロス乃至第１＿ｎロスと、これに対応する第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第２合算ロスを平均した第３平均ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて原本データ又は変換データをアップデートして、原本データに対するコンシール処理された変調済みデータを生成することができる。

【0099】

一方、前記では、第２ラーニングネットワーク１３０＿２乃至第ｎラーニングネットワーク１３０＿ｎをもって、それぞれ以前のラーニングネットワークを利用したバックプロパゲーションにより生成された以前の変調済みデータとして入力して、バックプロパゲーションをそれぞれ遂行して変調済みデータを生成したが、変換データｘ’を第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれに入力して、一度のバックプロパゲーションを通じて変調済みデータを取得することもできる。

【0100】

すなわち、データ変調装置１００は、変換データｘ’を第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれに入力し、それぞれの第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎをもって（ｉ）第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれの第１学習済みパラメータ乃至第ｎ学習済みパラメータを利用して、変換データｘ’に対してネットワーク演算を適用させて（ｉｉ）変換データｘ’に対するそれぞれの第１特性情報乃至第ｎ特性情報を出力させる。そして、データ変調装置１００は、（ｉ）第１特性情報乃至第ｎ特性情報と、（ｉｉ）これにそれぞれ対応する第１＿１原本正解乃至第１＿ｎ原本正解とを参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である第１ロスを利用したバックプロパゲーションを通じて原本データ又は変換データをアップデートして、原本データに対応する変調済みデータを生成することができる。

【0101】

また、データ変調装置１００は、（ｉ）第１特性情報乃至第ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、（ｉｉ）これにそれぞれ対応する第２＿１原本正解乃至第２＿ｎ原本正解とを参照して算出された第２＿１ロス乃至第２＿ｎロスの平均である第２ロスを利用したバックプロパゲーションを通じて原本データ又は変換データをアップデートして、原本データに対応する変調済みデータを生成することができる。

【0102】

これに加えて、データ変調装置１００は、第１＿１ロス乃至第１＿ｎロスと、これにそれぞれ対応する第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスをそれぞれ平均した第３ロスを利用したバックプロパゲーションを通じて原本データ又は変換データをアップデートして、原本データに対応する変調済みデータを生成することもできる。

【0103】

図６は、本発明のまた他の実施例において、データをコンシール処理する方法を示したものである。以下の説明において、図２乃至図５の説明から容易に理解可能な部分については詳細な説明を省略することにする。

【0104】

まず、原本データｘが取得されると、データ変調装置１００が、原本データｘを変換して変換データｘ’を生成する。

【0105】

次に、データ変調装置１００は、原本データｘをラーニングネットワーク１３０に入力して、ラーニングネットワークをもって（ｉ）ラーニングネットワークの少なくとも一つの学習済みパラメータを利用して、原本データｘに対してネットワーク演算を適用させて（ｉｉ）原本データに対する第１特性情報ｙを出力させる。また、データ変調装置１００は、変換データｘ’をラーニングネットワーク１３０に入力して、ラーニングネットワーク１３０をもって（ｉ）学習済みパラメータを利用して、変換データｘ’に対してネットワーク演算を適用させて（ｉｉ）変換データｘに対する第２特性情報ｙ’を出力させる。

【0106】

次に、データ変調装置１００は、（ｉ）第１特性情報ｙと第２特性情報ｙ’とを参照して生成された少なくとも１つの第１ロスと、（ｉｉ）（ｉｉ－１）第２特性情報ｙ’を利用して生成された少なくとも１つのタスク特化出力と、（ｉｉ－２）これに対応する少なくとも１つの原本正解とを参照して生成された少なくとも１つの第２ロスとのうち少なくとも一部を参照して算出されたデータロスを利用したバックプロパゲーションを通じて原本データｘ又は変換データｘ’をアップデートして、原本データに対応する変調済みデータを生成することができる。

【0107】

この際、第１特性情報と第２特性情報とを参照して第１ロスを算出するにおいて、データ変調装置１００は、第１特性情報と第２特性情報との間の差異値、一例として、ノルム（Ｎｏｒｍ）｜｜ｙ－ｙ’｜｜を利用して第１ロスを算出するか、 第１特性情報と第２特性情報との間のコサイン類似度（Ｃｏｓｉｎｅ Ｓｉｍｉｌａｒｉｔｙ）を利用して第１ロスを算出することができるが、これに限定されない。

【0108】

また、データ変調装置１００は、データロスを利用したバックプロパゲーションの進行中にラーニングネットワーク１３０の学習済みパラメータは固定してアップデートせず、原本データ又は変換データに対してのみ、第１ロスと第２ロスとのうち少なくとも一部を最小化するようにバックプロパゲーションを遂行することにより、原本データを変調することができる。そうすると、変調済みデータは人にとっては原本データとは異なるデータとして認識されるが、ラーニングネットワークでは原本データと同一又は類似したデータとして認識され得る。

【0109】

また、データ変調装置１００は、データロスを利用したバックプロパゲーションの進行中に、データロスを利用して第１ロスと第２ロスとのうち少なくとも一部を最小化するためのロスグラディエントを取得し、ロスグラディエントを原本データにバックプロパゲーションすることができる。

【0110】

図７は、本発明のまた他の実施例において、第１変調済みデータ乃至第ｎ変調済みデータをコンシール処理されたデータとして生成する方法を簡略に示した図である。変調済みデータを利用して算出された出力結果は、本発明のまた他の実施例において、学習済みパラメータを有する多数のラーニングネットワーク１３０＿１、１３０＿２、…、１３０＿ｎを利用して、原本データを利用して算出された出力結果と同一であるか類似する。下記の説明では、図２乃至図６の説明で容易に理解可能な部分については詳細な説明を省略することにする。

【0111】

まず、原本データｘが取得されると、データ変調装置１００が、原本データｘを変換して変換データｘ’を生成する。

【0112】

次に、データ変調装置１００は、原本データｘを第１ラーニングネットワーク１３０＿１に入力して、第１ラーニングネットワーク１３０＿１をもって（ｉ）第１ラーニングネットワーク１３０＿１の第１学習済みパラメータを利用して、原本データｘに対してネットワーク演算を適用させて（ｉｉ）原本データに対する第１＿１特性情報ｙ１を出力させる。また、データ変調装置１００は、変換データｘ’を第１ラーニングネットワーク１３０＿１に入力して、第１ラーニングネットワーク１３０＿１をもって（ｉ）学習済みパラメータを利用して、変換データｘ’に対してネットワーク演算を適用させて（ｉｉ）変換データｘに対する第２＿１特性情報ｙ１’を出力させる。

【0113】

次に、データ変調装置１００は、（ｉ）第１＿１特性情報ｙ１と第２＿１特性情報ｙ１’とを参照して生成された少なくとも一つの第１＿１ロスと、（ｉｉ）（ｉｉ－１）第２＿１特性情報ｙ１’を利用して生成した第１タスク特化出力と、（ｉｉ－２）これに対応する少なくとも一つの第１原本正解とを参照して生成された少なくとも一つの第２＿１ロスとのうち少なくとも一部を参照して算出された第１データロスを利用したバックプロパゲーションを通じて変換データｘ’をアップデートして第１変調済みデータを生成することができる。

【0114】

以後、データ変調装置１００は、整数であるｋを２からｎまで増加させて行き、（ｉ）原本データｘを第ｋラーニングネットワークに入力して、第ｋラーニングネットワークをもって（ｉ－１）第ｋラーニングネットワークの第ｋ学習済みパラメータを利用して、原本データｘに対してネットワーク演算を適用させて（ｉ－２）原本データに対する第１＿ｋ特性情報ｙｋを出力させ、（ｉｉ）第ｋ－１変調済みデータを第ｋラーニングネットワークに入力して、第ｋラーニングネットワークをもって（ｉｉ－１）第ｋラーニングネットワークの第ｋ学習済みパラメータを利用して、第ｋ－１変調済みデータに対してネットワーク演算を適用させて（ｉｉ－２）第ｋ－１変調済みデータに対する第２＿ｋ特性情報ｙｋ’を出力させ、（ｉｉｉ）（ｉｉｉ－１）第１＿ｋ特性情報ｙｋと第２＿ｋ特性情報ｙｋ’とを参照して生成された少なくとも一つの第１＿ｋロスと、（ｉｉｉ－２）（ｉｉｉ－２ａ）第２＿ｋ特性情報ｙｋ’を利用して生成された少なくとも一つの第ｋタスク特化出力と、（ｉｉｉ－２ｂ）これに対応する少なくとも一つの第ｋ原本正解とを参照して生成された少なくとも一つの第２＿ｋロスとのうち少なくとも一部を参照して算出された少なくとも一つの第ｋデータロスを利用したバックプロパゲーションを通じて第ｋ－１変調済みデータをアップデートして、第ｋ－１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返すことにより、原本データに対応する変調済みデータである第ｎ変調済みデータを生成することができる。

【0115】

また、前記では、原本データに対してコンシールされた変調済みデータとして第ｎ変調済みデータを生成したが、第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎをもって第１データロス乃至第ｎデータロスを利用させて原本データ又は変換データをアップデートして、原本データに対してコンシール処理された変調済みデータを生成することもできる。

【0116】

すなわち、データ変調装置１００は、前記のような過程を通じて（ｉ）第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎを通じた第１データロス乃至第ｎデータロスを取得し、（ｉｉ）取得された第１データロス乃至第ｎデータロスを平均した少なくとも１つの平均データロスを利用したバックプロパゲーションを通じて原本データ又は変換データをアップデートして原本データに対するコンシール処理された変調済みデータを生成することができる。

【0117】

また、前記では、第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれに原本イメージを入力して原本イメージに対する特性情報を取得し、これを利用して第１＿１ロス乃至第１＿ｎロスを算出したが、原本データを第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎのうち少なくとも１つの特定のラーニングネットワークに入力して原本データに対する特定の特性情報を取得し、これを利用して原本データ又は変換データをアップデートすることもできる。

【0118】

一例として、データ変調装置１００は、原本データｘを第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎのうち少なくとも１つの特定のラーニングネットワークをもって（ｉ）特定のラーニングネットワークの少なくとも１つの特定の学習済みパラメータを利用して、原本データに対してネットワーク演算を適用させて（ｉｉ）原本データに対する特定の特性情報を出力させる。

【0119】

そして、データ変調装置１００は、（ｉ）変換データｘ’を第１ラーニングネットワーク１３０＿１に入力して、第１ラーニングネットワーク１３０＿１をもって（ｉ－１）第１学習済みパラメータを利用して、変換データに対してネットワーク演算を適用させて（ｉｉ）変換データに対する第２＿１特性情報を出力させ、（ｉｉ）第２＿１特性情報をクラスごとにマッピングして生成された変換データに対する少なくとも一つの第１確率と、原本データに対応する少なくとも一つの原本正解とを参照して第１＿１ロスを算出し、（ｉｉｉ）前記第１＿１ロスを利用したバックプロパゲーションを通じて変換データをアップデートして、これに対応する第１変調済みデータを生成する。そして、データ変調装置１００は、整数であるｋを２からｎまで増加させて行き、（ｉ）第ｋ－１変調済みデータを第ｋラーニングネットワークに入力して、第ｋラーニングネットワークをもって（ｉ－１）第ｋラーニングネットワークの第ｋ学習済みパラメータを利用して、第ｋ－１変調済みデータに対してネットワーク演算を適用させて（ｉ－２）第ｋ－１変調済みデータに関する第２＿ｋ特性情報を出力させ、（ｉｉ）第２＿ｋ特性情報をクラスごとにマッピングして生成された第ｋ－１変調済みデータに対する少なくとも１つの第ｋ確率と、原本データに対応する少なくとも一つの原本正解とを参照して第１＿ｋロスを算出し、（ｉｉｉ）第１＿ｋロスを利用したバックプロパゲーションを通じて第ｋ－１変調済みデータをアップデートして、第ｋ－１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返して第ｎ変調済みデータを生成する。

【0120】

以後、データ変調装置１００は、（ｉ）第１＿１ロス乃至第１＿ｎロスを参照して算出された少なくとも一つの第１サブロスと、（ｉｉ）（ｉｉ－１）特定の特性情報と（ｉｉ－２）第２＿１特性情報乃至第２＿ｎ特性情報とを参照して算出された少なくとも一つの第２サブロスとのうち少なくとも一部を利用して原本データ又は変換データをアップデートして、原本データに対応する変調済みデータを生成することができる。

【0121】

この際、データ変調装置１００は、（ｉ）第１＿１ロス乃至第１＿ｎロスの平均ロスを少なくとも一つの第１サブロスとして生成し、（ｉｉ）第２＿１特性情報乃至第２＿ｎ特性情報の平均と特定の特性情報とを参照して第２サブロスを生成することができる。

【0122】

一方、前記では、データ変調装置１００は、第２ラーニングネットワーク１３０＿２乃至第ｎラーニングネットワーク１３０＿ｎそれぞれをもって、以前のラーニングネットワークを利用したバックプロパゲーションにより生成された以前の変調済みデータを入力して、バックプロパゲーションをそれぞれ遂行して変調済みデータを生成したが、変換データｘ’を第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれに入力して、一度のバックプロパゲーションを通じて変調済みデータを生成することもできる。

【0123】

すなわち、データ変調装置１００は、原本データｘを第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれに入力して、それぞれの第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎをもって（ｉ）第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれの第１学習済みパラメータ乃至第ｎ学習済みパラメータをそれぞれ利用して、原本データｘに対してそれぞれのネットワークに対応するネットワーク演算を適用させて（ｉｉ）原本データｘに対するそれぞれの第１＿１特性情報ｙ１乃至第１＿ｎ特性情報ｙｎを出力させる。また、データ変換装置１００は、変換データｘ’を第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれに入力して、それぞれの第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎをもって（ｉ）第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれの第１学習済みパラメータ乃至第ｎ学習済みパラメータをそれぞれ利用して、変換データｘ’に対してそれぞれのネットワークに対応するネットワーク演算を適用させて（ｉｉ）第１学習済みパラメータ乃至第ｎ学習済みパラメータをそれぞれ利用して、変換データｘ’に対するそれぞれの第２＿１特性情報ｙ１’乃至第２＿ｎ特性情報（ｙｎ’）を出力させる。

【0124】

そして、データ変調装置１００は、（ｉ）第１＿１特性情報乃至第１＿ｎ特性情報と（ｉｉ）第１＿１特性情報乃至第１＿ｎ特性情報それぞれに対応する第２＿１特性情報乃至第２＿ｎ特性情報とを参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である第１ロスを利用したバックプロパゲーションを通じて原本データ又は変換データをアップデートして、原本データに対応する変調済みデータを生成することができる。

【0125】

また、データ変調装置１００は、（ｉ）第２＿１特性情報乃至第２＿ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、（ｉｉ）これにそれぞれ対応する第１原本正解乃至第ｎ原本正解とを参照して算出された第２＿１ロス乃至第２＿ｎロスの平均である第２ロスを利用したバックプロパゲーションを通じて原本データ又は変換データをアップデートして、原本データに対応する変調済みデータを生成することができる。

【0126】

これに加えて、データ変調装置１００は、第１＿１ロス乃至第１＿ｎロスと、これにそれぞれ対応する第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスを利用したバックプロパゲーションを通じて、原本データ又は変換データをアップデートして、原本データに対応する変調済みデータを生成することができる。

【0127】

図８Ａ及び図８Ｂは、本発明の実施例において、原本データとコンシール処理された原本データとを簡略に示したものである。

【0128】

図８Ａはカナダ高等研究所（ＣＩＦＡＲ：Ｃａｎａｄｉａｎ Ｉｎｓｔｉｔｕｔｅ ｆｏｒ Ａｄｖａｎｃｅｄ Ｒｅｓｅａｒｃｈ）においてイメージ分類の問題解決のために収集して整理したデータである、ＣＩＦＡＲ－１０データセットから選定された６４個のイメージサンプルを例示的に示す図面である。

【0129】

図８Ａのイメージサンプルを原本データとして、本発明の実施例においてコンシール処理した変調済みデータは、図８Ｂのように示される。

【0130】

図８Ａ及び図８Ｂを参照すると、本発明の実施例においてコンシール処理された図８Ｂの６４個の変調済みデータは、図８Ａの６４個の原本データとは視覚的に異なるが、ラーニングネットワークに入力する場合、ラーニングネットワークは原本データと同一であるか類似した結果を出力する。

【0131】

一方、本発明の実施例において、データ変調装置１００でコンシール処理された変調済みデータは、イメージビッグデータの購入者に提供又は販売され得る。

【0132】

また、本発明の一実施例によると、上記の購入者に対してコンシール処理されたイメージデータが提供又は販売されるとともに、データ変調装置１００における方法を多様なコンピュータ構成要素を通じて実行することができるプログラムインストラクションの形態で具現されて、コンピュータ読取り可能な記録媒体に格納されて提供され得る。本発明の一実施例によると、購入者は、記録媒体に格納されたプログラムインストラクションをコンピューティング装置を利用して実行することによって、自らが別途に保有しているか他の出処から取得された原本データからコンシール処理されたデータを生成することができ、コンシール処理されたデータを自らのラーニングネットワークで利用することが可能となる。また、購入者は、そのコンシール処理されたデータ、自らが保有しているか他の出処から取得された原本イメージデータ、及び自らに提供又は販売されたコンシール処理済みのイメージデータのうち少なくとも二つ以上を自らのラーニングネットワークで共に使用することも可能になる。

【0133】

一方、本発明の一実施例によると、データ変調装置１００の方法を多様なコンピュータ構成要素を通じて実行され得るプログラムインストラクションの形態で具現した場合、正確度が高く設定されることから購入者のコンピューティング装置においてはコンピューティングオーバーヘッド（Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｏｖｅｒｈｅａｄ）を発生させることがあり得るため、購入者が設定を通じて正確度を減少させることができるようにして、コンピューティングオーバーヘッドを防止し得るようにすることが可能になる。

【0134】

一方、本明細書に明示された「平均」は、加重平均（Ｗｅｉｇｈｔｅｄ Ａｖｅｒａｇｅ）を意味するが、これに限定されるわけではない。

【0135】

以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて実行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気－光メディア（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。

【0136】

以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。

【0137】

したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等又は等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】