IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ディーピング ソース インコーポレイテッド.の特許一覧

特許7297226個人情報を保護するために原本データをコンシーリング処理して生成された変造データを認識するために使われる使用者ラーニングネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置
<>
  • 特許-個人情報を保護するために原本データをコンシーリング処理して生成された変造データを認識するために使われる使用者ラーニングネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置 図1
  • 特許-個人情報を保護するために原本データをコンシーリング処理して生成された変造データを認識するために使われる使用者ラーニングネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置 図2
  • 特許-個人情報を保護するために原本データをコンシーリング処理して生成された変造データを認識するために使われる使用者ラーニングネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置 図3
  • 特許-個人情報を保護するために原本データをコンシーリング処理して生成された変造データを認識するために使われる使用者ラーニングネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置 図4
  • 特許-個人情報を保護するために原本データをコンシーリング処理して生成された変造データを認識するために使われる使用者ラーニングネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置 図5
  • 特許-個人情報を保護するために原本データをコンシーリング処理して生成された変造データを認識するために使われる使用者ラーニングネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置 図6
  • 特許-個人情報を保護するために原本データをコンシーリング処理して生成された変造データを認識するために使われる使用者ラーニングネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-16
(45)【発行日】2023-06-26
(54)【発明の名称】個人情報を保護するために原本データをコンシーリング処理して生成された変造データを認識するために使われる使用者ラーニングネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置
(51)【国際特許分類】
   G06N 20/00 20190101AFI20230619BHJP
   G06F 21/62 20130101ALI20230619BHJP
   G06N 3/02 20060101ALI20230619BHJP
【FI】
G06N20/00 130
G06F21/62 354
G06N3/02
【請求項の数】 16
(21)【出願番号】P 2022522654
(86)(22)【出願日】2020-04-28
(65)【公表番号】
(43)【公表日】2022-12-19
(86)【国際出願番号】 KR2020005583
(87)【国際公開番号】W WO2021080103
(87)【国際公開日】2021-04-29
【審査請求日】2022-04-14
(31)【優先権主張番号】16/662,084
(32)【優先日】2019-10-24
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520278996
【氏名又は名称】ディーピング ソース インコーポレイテッド.
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】キム、テ フン
【審査官】児玉 崇晶
(56)【参考文献】
【文献】特許第6352512(JP,B1)
【文献】国際公開第2018/011842(WO,A1)
【文献】米国特許出願公開第2019/0286850(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06N 20/00
G06F 21/62
G06N 3/02
(57)【特許請求の範囲】
【請求項1】
個人情報を保護するために原本データをコンシーリング(Concealing)処理して生成された変造データ(Obfuscated Data)を認識するために使われる使用者ラーニングネットワーク(User Learning Network)を学習する方法において、
(a)第1学習装置は、(i)変造ネットワーク(Obfuscation Network)にトレーニングデータが入力されると、前記変造ネットワークをもって前記トレーニングデータを変造するようにして変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つ学習用ラーニングネットワークに入力することで、前記学習用ラーニングネットワークをもって前記変造されたトレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第1特性(Characteristic)情報を生成するようにし、(ii‐2)前記トレーニングデータを前記学習用ラーニングネットワークに入力することで、前記学習用ラーニングネットワークをもって前記トレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第2特性情報を生成させるプロセス、及び(iii)前記学習用第1特性情報と前記学習用第2特性情報とを参照したり前記学習用第1特性情報を利用して生成された学習用タスク特定出力(Task Specific Output)を参照して算出された第1エラーが最小化され、前記トレーニングデータと前記変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行した状態で、第2学習装置が、(i)前記変造されたトレーニングデータと、前記トレーニングデータに対応されるトレーニングデータGT(Ground Truth)とを獲得したり、(ii)テストデータを学習された変造ネットワークに入力して生成された変造されたテストデータと、前記テストデータに対応されるテストデータGTとを獲得する段階;
(b)前記第2学習装置が、(i)前記変造されたトレーニングデータを前記使用者ラーニングネットワークに入力することで、前記使用者ラーニングネットワークをもって(i‐1)前記変造されたトレーニングデータに対してラーニング演算を適用して(i‐2)学習用第3特性情報を生成させるプロセス、または(ii)前記変造されたテストデータを前記使用者ラーニングネットワークに入力することで、前記使用者ラーニングネットワークをもって(ii‐1)前記変造されたテストデータに対してラーニング演算を適用して(ii‐2)学習用第4特性情報を生成させるプロセスを遂行する段階;及び
(c)前記第2学習装置が、(i)(i‐1)前記学習用第3特性情報を利用して生成された学習用第3タスク特定出力と(i‐2)前記トレーニングデータGTとを利用して生成された学習用データロスを参照して算出された第3エラーを最小化するように前記使用者ラーニングネットワークを学習するプロセス、または(ii)(ii‐1)前記学習用第4特性情報を利用して生成された学習用第4タスク特定出力と(ii‐2)前記テストデータGTとを利用して生成されたテスト用データロスを参照して算出された第4エラーを最小化するように前記使用者ラーニングネットワークを学習するプロセスを遂行する段階;
を含む方法。
【請求項2】
前記(b)段階において、
前記第2学習装置は、(i)前記学習用第1特性情報及び前記学習用第2特性情報の中で少なくとも一部を含む学習用第1ヒント(Hint)情報をさらに獲得したり、(ii)(ii‐1)前記変造されたテストデータを前記学習用ラーニングネットワークに入力して生成されたテスト用第1特性情報及び(ii‐2)前記テストデータを前記学習用ラーニングネットワークに入力して生成されたテスト用第2特性情報の中で少なくとも一部を含む学習用第2ヒント情報をさらに獲得し、
前記(c)段階において、
前記第2学習装置は、(i)(i‐1)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差、及び(i‐2)前記学習用データロスの中で少なくとも一つを参照して前記第3エラーを獲得したり、(ii)(ii‐1)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差、及び(ii‐2)前記テスト用データロスの中で少なくとも一つを参照して前記第4エラーを獲得する請求項1に記載の方法。
【請求項3】
(i)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差は、(i‐1)前記学習用第3特性情報と前記学習用第1特性情報との間の差、(i‐2)前記学習用第3特性情報と前記学習用第2特性情報との間の差、及び(i‐3)前記(i‐1)と前記(i‐2)との平均の中で少なくとも一つを含み、(ii)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差は、(ii‐1)前記学習用第4特性情報と前記テスト用第1特性情報との間の差、(ii‐2)前記学習用第4特性情報と前記テスト用第2特性情報との間の差、及び(ii‐3)前記(ii‐1)と前記(ii‐2)との平均の中で少なくとも一つを含む請求項2に記載の方法。
【請求項4】
前記学習用ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータをそれぞれ持つ学習用第1ラーニングネットワークないし学習用第nラーニングネットワークを含み、
前記第1学習装置は、(i)前記変造されたトレーニングデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力することで、前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれをもって前記第1学習されたパラメータないし前記第n学習されたパラメータを利用したラーニング演算を前記変造されたトレーニングデータに対して適用して、学習用第1_1特性情報ないし学習用第1_n特性情報を生成させるプロセス、(ii)前記トレーニングデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力することで、前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれをもって前記第1学習されたパラメータないし前記第n学習されたパラメータを利用したラーニング演算を前記トレーニングデータに対して適用して、学習用第2_1特性情報ないし学習用第2_n特性情報を生成させるプロセス、(iii)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーないし前記学習用第1_n特性情報と前記学習用第2_n特性情報とを参照して算出された第1_nエラーの加重合計(Weighted Sum)である前記第1エラーを生成するプロセス、及び(iv)前記第1エラーが最小化され、前記第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行した状態で、
前記(b)段階において、
前記第2学習装置は、(i)(i‐1)前記学習用第1_1特性情報ないし前記学習用第1_n特性情報の平均及び(i‐2)前記学習用第2_1特性情報ないし前記学習用第2_n特性情報の平均の中で少なくとも一つを含む学習用第1ヒント情報をさらに獲得したり、(ii)(ii‐1)前記変造されたテストデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力して生成されたテスト用第1_1特性情報ないしテスト用第1_n特性情報の平均及び(ii‐2)前記テストデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力して生成されたテスト用第2_1特性情報ないしテスト用第2_n特性情報の平均の中で少なくとも一つを含む学習用第2ヒント情報をさらに獲得し、
前記(c)段階において、
前記第2学習装置は、(i)(i‐1)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差、及び(i‐2)前記学習用データロスの中で少なくとも一つを参照して前記第3エラーを獲得したり、(ii)(ii‐1)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差、及び(ii‐2)前記テスト用データロスの中で少なくとも一つを参照して前記第4エラーを獲得する請求項1に記載の方法。
【請求項5】
(i)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差は、(i‐1)前記学習用第3特性情報と、前記学習用第1_1特性情報ないし前記学習用第1_n特性情報の平均との差、(i‐2)前記学習用第3特性情報と、前記学習用第2_1特性情報ないし前記学習用第2_n特性情報の平均との差、及び(i‐3)前記(i‐1)と前記(i‐2)との平均の中で少なくとも一つを含み、(ii)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差は、(ii‐1)前記学習用第4特性情報と、前記テスト用第1_1特性情報ないし前記テスト用第1_n特性情報の平均との差、(ii‐2)前記学習用第4特性情報と、前記テスト用第2_1特性情報ないし前記テスト用第2_n特性情報の平均との差、及び(ii‐3)前記(ii‐1)と前記(ii‐2)との平均の中で少なくとも一つを含む請求項4に記載の方法。
【請求項6】
前記学習用ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータをそれぞれ持つ学習用第1ラーニングネットワークないし学習用第nラーニングネットワークを含み、
前記第1学習装置は、(i)(i‐1)前記変造されたトレーニングデータである第1変造されたトレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1変造されたトレーニングデータに対して前記第1学習されたパラメータを利用したラーニング演算を適用して学習用第1_1特性情報を生成するようにし、(i‐2)前記トレーニングデータを前記第1ラーニングネットワークに入力することで、前記トレーニングデータに対して前記第1学習されたパラメータを利用したラーニング演算を適用して学習用第2_1特性情報を生成するようにし、(i‐3)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーが最小化され、前記トレーニングデータと前記第1変造されたトレーニングデータとを参照して算出された第2_1エラーが最大化されるように前記変造ネットワークを学習することで、前記変造ネットワークが第1学習された変造ネットワークになるようにするプロセス、及び(ii)定数である kを2からnまで増加させながら、(ii‐1)前記トレーニングデータを前記第(k‐1)学習された変造ネットワークに入力することで、 前記第(k‐1)学習された変造ネットワークをもって第k変造されたトレーニングデータを生成するようにし、(ii‐2)前記第k変造されたトレーニングデータを第kラーニングネットワークに入力することで前記第kラーニングネットワークをもって前記第k変造されたトレーニングデータに対して第k学習されたパラメータを利用したラーニング演算を適用して学習用第1_k特性情報を生成するようにし、前記トレーニングデータを前記第kラーニングネットワークに入力することで前記第kラーニングネットワークをもって前記トレーニングデータに対して前記第k学習されたパラメータを利用したラーニング演算を適用して学習用第2_k特性情報を生成するようにし、(ii‐3)前記学習用第1_k特性情報と前記学習用第2_k特性情報とを参照して算出された第1_kエラーが最小化され、前記トレーニングデータと前記第k変造されたトレーニングデータとを参照して算出された第2_kエラーが最大化されるように変造ネットワークを学習することで、前記第(k‐1)学習された変造ネットワークが第k学習された変造ネットワークになるようにするプロセスを遂行した状態で、
前記(b)段階において、
前記第2学習装置は、(i)(i‐1)前記学習用第1_1特性情報ないし前記学習用第1_n特性情報の平均及び(i‐2)前記学習用第2_1特性情報ないし前記学習用第2_n特性情報の平均の中で少なくとも一つを含む学習用第1ヒント情報をさらに獲得したり、(ii)(ii‐1)前記変造されたテストデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力して生成されたテスト用第1_1特性情報ないしテスト用第1_n特性情報の平均及び(ii‐2)前記テストデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力して生成されたテスト用第2_1特性情報ないしテスト用第2_n特性情報の平均の中で少なくとも一つを含む学習用第2ヒント情報をさらに獲得し、
前記(c)段階において、
前記第2学習装置は、(i)(i‐1)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差、及び(i‐2)前記学習用データロスの中で少なくとも一つを参照して前記第3エラーを獲得したり、(ii)(ii‐1)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差、及び(ii‐2)前記テスト用データロスの中で少なくとも一つを参照して前記第4エラーを獲得する請求項1に記載の方法。
【請求項7】
(i)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差は、(i‐1)前記学習用第3特性情報と前記学習用第1特性情報との間の差、(i‐2)前記学習用第3特性情報と前記学習用第2特性情報との間の差、及び(i‐3)前記(i‐1)と前記(i‐2)との平均の中で少なくとも一つを含み、(ii)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差は、(ii‐1)前記学習用第4特性情報と前記テスト用第1特性情報との間の差、(ii‐2)前記学習用第4特性情報と前記テスト用第2特性情報との間の差、及び(ii‐3)前記(ii‐1)と前記(ii‐2)との平均の中で少なくとも一つを含む請求項6に記載の方法。
【請求項8】
個人情報を保護するために原本データをコンシーリング(Concealing)処理して生成された変造データ(Obfuscated Data)を認識するように学習された使用者ラーニングネットワーク(User Learning Network)をテストする方法において、
(a)第1学習装置は、(i)変造ネットワークにトレーニングデータが入力されると、前記変造ネットワークをもって前記トレーニングデータを変造するようにし、変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つ学習用ラーニングネットワークに入力することで、前記学習用ラーニングネットワークをもって前記変造されたトレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第1特性(Characteristic)情報を生成するようにし、(ii‐2)前記トレーニングデータを前記学習用ラーニングネットワークに入力することで、前記学習用ラーニングネットワークをもって前記トレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第2特性情報を生成させるプロセス、及び(iii)前記学習用第1特性情報と前記学習用第2特性情報とを参照したり、前記学習用第1特性情報を利用して生成された学習用タスク特定出力(Task Specific Output)を参照して算出された第1エラーが最小化され、前記トレーニングデータと前記変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行した後、第2学習装置が、(i)(i‐1)前記変造されたトレーニングデータと、前記トレーニングデータに対応されるトレーニングデータGTとを獲得したり、(i‐2)第1テストデータを学習された変造ネットワークに入力して生成された第1変造されたテストデータと、前記第1テストデータに対応されるテストデータGTとを獲得するプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを使用者ラーニングネットワークに入力することで、前記使用者ラーニングネットワークをもって前記変造されたトレーニングデータに対してラーニング演算を適用して学習用第3特性情報を生成するようにしたり、(ii‐2)前記第1変造されたテストデータを前記使用者ラーニングネットワークに入力することで、前記使用者ラーニングネットワークをもって前記第1変造されたテストデータに対してラーニング演算を適用して学習用第4特性情報を生成させるプロセス、及び(iii)(iii‐1)(1)前記学習用第3特性情報を利用して生成された学習用第3タスク特定出力と(2)前記トレーニングデータGTとを利用して生成された学習用データロスを参照して算出された第3エラーを最小化するように、前記使用者ラーニングネットワークを学習したり、(iii‐2)(1)前記学習用第4特性情報を利用して生成された学習用第4タスク特定出力と(2)前記テストデータGTとを利用して生成されたテスト用データロスを参照して算出された第4エラーを最小化するように、前記使用者ラーニングネットワークを学習するプロセスを遂行した状態で、テスト装置が、第2テストデータを前記学習された変造ネットワークに入力して第2変造されたテストデータを獲得する段階;及び
(b)前記テスト装置が、前記第2変造されたテストデータを前記学習された使用者ラーニングネットワークに入力することで、前記学習された使用者ラーニングネットワークをもって前記第2変造されたテストデータに対してラーニング演算を適用してテスト用特性情報を生成させる段階;
を含む方法。
【請求項9】
個人情報を保護するために原本データをコンシーリング(Concealing)処理して生成された変造データ(Obfuscated Data)を認識するために使われる使用者ラーニングネットワーク(User Learning Network)を学習する第2学習装置において、
インストラクションを格納する少なくとも一つのメモリー;及び
(I)第1学習装置は、(i)変造ネットワーク(Obfuscation Network)にトレーニングデータが入力されると、前記変造ネットワークをもって前記トレーニングデータを変造するようにして変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つ学習用ラーニングネットワークに入力することで、前記学習用ラーニングネットワークをもって前記変造されたトレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第1特性(Characteristic)情報を生成するようにし、(ii‐2)前記トレーニングデータを前記学習用ラーニングネットワークに入力することで、前記学習用ラーニングネットワークをもって前記トレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第2特性情報を生成させるプロセス、及び(iii)前記学習用第1特性情報と前記学習用第2特性情報とを参照したり前記学習用第1特性情報を利用して生成された学習用タスク特定出力(Task Specific Output)を参照して算出された第1エラーが最小化され、前記トレーニングデータと前記変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行した状態で、(i)前記変造されたトレーニングデータと、前記トレーニングデータに対応されるトレーニングデータGT(Ground Truth)とを獲得したり、(ii)テストデータを学習された変造ネットワークに入力して生成された変造されたテストデータと、前記テストデータに対応されるテストデータGTとを獲得するプロセス;(II)(i)前記変造されたトレーニングデータを使用者ラーニングネットワークに入力することで、前記使用者ラーニングネットワークをもって(i‐1)前記変造されたトレーニングデータに対してラーニング演算を適用して(i‐2)学習用第3特性情報を生成させるプロセス、または(ii)前記変造されたテストデータを前記使用者ラーニングネットワークに入力することで、前記使用者ラーニングネットワークをもって(ii‐1)前記変造されたテストデータに対してラーニング演算を適用して(ii‐2)学習用第4特性情報を生成させるプロセスを遂行するプロセス;及び(III)(i)(i‐1)前記学習用第3特性情報を利用して生成された学習用第3タスク特定出力と(i‐2)前記トレーニングデータGTとを利用して生成された学習用データロスを参照して算出された第3エラーを最小化するように前記使用者ラーニングネットワークを学習するプロセス、または(ii)(ii‐1)前記学習用第4特性情報を利用して生成された学習用第4タスク特定出力と(ii‐2)前記テストデータGTとを利用して生成されたテスト用データロスを参照して算出された第4エラーを最小化するように前記使用者ラーニングネットワークを学習するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ;
を含む第2学習装置。
【請求項10】
前記(II)プロセスにおいて、
前記プロセッサは、(i)前記学習用第1特性情報及び前記学習用第2特性情報の中で少なくとも一部を含む学習用第1ヒント(Hint)情報をさらに獲得したり、(ii)(ii‐1)前記変造されたテストデータを前記学習用ラーニングネットワークに入力して生成されたテスト用第1特性情報及び(ii‐2)前記テストデータを前記学習用ラーニングネットワークに入力して生成されたテスト用第2特性情報の中で少なくとも一部を含む学習用第2ヒント情報をさらに獲得し、
前記(III)プロセスにおいて、
前記プロセッサは、(i)(i‐1)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差、及び(i‐2)前記学習用データロスの中で少なくとも一つを参照して前記第3エラーを獲得したり、(ii)(ii‐1)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差、及び(ii‐2)前記テスト用データロスの中で少なくとも一つを参照して前記第4エラーを獲得する請求項9に記載の第2学習装置。
【請求項11】
(i)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差は、(i‐1)前記学習用第3特性情報と前記学習用第1特性情報との間の差、(i‐2)前記学習用第3特性情報と前記学習用第2特性情報との間の差、及び(i‐3)前記(i‐1)と前記(i‐2)との平均の中で少なくとも一つを含み、(ii)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差は、(ii‐1)前記学習用第4特性情報と前記テスト用第1特性情報との間の差、(ii‐2)前記学習用第4特性情報と前記テスト用第2特性情報との間の差、及び(ii‐3)前記(ii‐1)と前記(ii‐2)との平均の中で少なくとも一つを含む請求項10に記載の第2学習装置。
【請求項12】
前記学習用ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータをそれぞれ持つ学習用第1ラーニングネットワークないし学習用第nラーニングネットワークを含み、
前記第1学習装置は、(i)前記変造されたトレーニングデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力することで、前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれをもって前記第1学習されたパラメータないし前記第n学習されたパラメータを利用したラーニング演算を前記変造されたトレーニングデータに対して適用し、学習用第1_1特性情報ないし学習用第1_n特性情報を生成させるプロセス、(ii)前記トレーニングデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力することで、前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれをもって前記第1学習されたパラメータないし前記第n学習されたパラメータを利用したラーニング演算を前記トレーニングデータに対して適用し、学習用第2_1特性情報ないし学習用第2_n特性情報を生成させるプロセス、(iii)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーないし前記学習用第1_n特性情報と前記学習用第2_n特性情報とを参照して算出された第1_nエラーの加重合計(Weighted Sum)である前記第1エラーを生成するプロセス、及び(iv)前記第1エラーが最小化され、前記第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行した状態で、
前記(II)プロセスにおいて、
前記プロセッサは、(i)(i‐1)前記学習用第1_1特性情報ないし前記学習用第1_n特性情報の平均及び(i‐2)前記学習用第2_1特性情報ないし前記学習用第2_n特性情報の平均の中で少なくとも一つを含む学習用第1ヒント情報をさらに獲得したり、(ii)(ii‐1)前記変造されたテストデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力して生成されたテスト用第1_1特性情報ないしテスト用第1_n特性情報の平均及び(ii‐2)前記テストデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力して生成されたテスト用第2_1特性情報ないしテスト用第2_n特性情報の平均の中で少なくとも一つを含む学習用第2ヒント情報をさらに獲得し、
前記(III)プロセスにおいて、
前記プロセッサは、(i)(i‐1)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差、及び(i‐2)前記学習用データロスの中で少なくとも一つを参照して前記第3エラーを獲得したり、(ii)(ii‐1)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差、及び(ii‐2)前記テスト用データロスの中で少なくとも一つを参照して前記第4エラーを獲得する請求項9に記載の第2学習装置。
【請求項13】
(i)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差は、(i‐1)前記学習用第3特性情報と、前記学習用第1_1特性情報ないし前記学習用第1_n特性情報の平均との差、(i‐2)前記学習用第3特性情報と、前記学習用第2_1特性情報ないし前記学習用第2_n特性情報の平均との差、及び(i‐3)前記(i‐1)と前記(i‐2)との平均の中で少なくとも一つを含み、(ii)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差は、(ii‐1)前記学習用第4特性情報と、前記テスト用第1_1特性情報ないし前記テスト用第1_n特性情報の平均との差、(ii‐2)前記学習用第4特性情報と、前記テスト用第2_1特性情報ないし前記テスト用第2_n特性情報の平均との差、及び(ii‐3)前記(ii‐1)と前記(ii‐2)との平均の中で少なくとも一つを含む請求項12に記載の第2学習装置。
【請求項14】
前記学習用ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータをそれぞれ持つ学習用第1ラーニングネットワークないし学習用第nラーニングネットワークを含み、
前記第1学習装置は、(i)(i‐1)前記変造されたトレーニングデータである第1変造されたトレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1変造されたトレーニングデータに対して前記第1学習されたパラメータを利用したラーニング演算を適用して学習用第1_1特性情報を生成するようにし、(i‐2)前記トレーニングデータを前記第1ラーニングネットワークに入力することで、前記トレーニングデータに対して前記第1学習されたパラメータを利用したラーニング演算を適用して学習用第2_1特性情報を生成するようにし、(i‐3)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーが最小化され、前記トレーニングデータと前記第1変造されたトレーニングデータとを参照して算出された第2_1エラーが最大化されるように、前記変造ネットワークを学習することで、前記変造ネットワークが第1学習された変造ネットワークになるようにするプロセス、及び(ii)定数であるkを2からnまで増加させながら、(ii‐1)前記トレーニングデータを前記第(k‐1)学習された変造ネットワークに入力することで、前記第(k‐1)学習された変造ネットワークをもって第k変造されたトレーニングデータを生成するようにし、(ii‐2)前記第k変造されたトレーニングデータを第kラーニングネットワークに入力することで前記第kラーニングネットワークをもって前記第k変造されたトレーニングデータに対して第k学習されたパラメータを利用したラーニング演算を適用して学習用第1_k特性情報を生成するようにし、前記トレーニングデータを前記第kラーニングネットワークに入力することで前記第kラーニングネットワークをもって前記トレーニングデータに対して前記第k学習されたパラメータを利用したラーニング演算を適用して学習用第2_k特性情報を生成するようにし、(ii‐3)前記学習用第1_k特性情報と前記学習用第2_k特性情報とを参照して算出された第1_kエラーが最小化され、前記トレーニングデータと前記第k変造されたトレーニングデータとを参照して算出された第2_kエラーが最大化されるように変造ネットワークを学習することで、前記第(k‐1)学習された変造ネットワークが第k学習された変造ネットワークになるようにするプロセスを遂行した状態で、
前記(II)プロセスにおいて、
前記プロセッサは、(i)(i‐1)前記学習用第1_1特性情報ないし前記学習用第1_n特性情報の平均及び(i‐2)前記学習用第2_1特性情報ないし前記学習用第2_n特性情報の平均の中で少なくとも一つを含む学習用第1ヒント情報をさらに獲得したり、(ii)(ii‐1)前記変造されたテストデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力して生成されたテスト用第1_1特性情報ないしテスト用第1_n特性情報の平均及び(ii‐2)前記テストデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力して生成されたテスト用第2_1特性情報ないしテスト用第2_n特性情報の平均の中で少なくとも一つを含む学習用第2ヒント情報をさらに獲得し、
前記(III)プロセスにおいて、
前記プロセッサは、(i)(i‐1)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差、及び(i‐2)前記学習用データロスの中で少なくとも一つを参照して前記第3エラーを獲得したり、(ii)(ii‐1)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差、及び(ii‐2)前記テスト用データロスの中で少なくとも一つを参照して前記第4エラーを獲得する請求項9に記載の第2学習装置。
【請求項15】
(i)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差は、(i‐1)前記学習用第3特性情報と前記学習用第1特性情報との間の差、(i‐2)前記学習用第3特性情報と前記学習用第2特性情報との間の差、及び(i‐3)前記(i‐1)と前記(i‐2)との平均の中で少なくとも一つを含み、(ii)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差は、(ii‐1)前記学習用第4特性情報と前記テスト用第1特性情報との間の差、(ii‐2)前記学習用第4特性情報と前記テスト用第2特性情報との間の差、及び(ii‐3)前記(ii‐1)と前記(ii‐2)との平均の中で少なくとも一つを含む請求項14に記載の第2学習装置。
【請求項16】
個人情報を保護するために原本データをコンシーリング(Concealing)処理して生成された変造データ(Obfuscated Data)を認識するように学習された使用者ラーニングネットワーク(User Learning Network)をテストするテスト装置において、
インストラクションを格納する少なくとも一つのメモリー;及び
(I)第1学習装置は、(i)変造ネットワークにトレーニングデータが入力されると、前記変造ネットワークをもって前記トレーニングデータを変造するようにして変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つ学習用ラーニングネットワークに入力することで、前記学習用ラーニングネットワークをもって前記変造されたトレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第1特性(Characteristic)情報を生成するようにし、(ii‐2)前記トレーニングデータを前記学習用ラーニングネットワークに入力することで、前記学習用ラーニングネットワークをもって前記トレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第2特性情報を生成させるプロセス、及び(iii)前記学習用第1特性情報と前記学習用第2特性情報とを参照したり、前記学習用第1特性情報を利用して生成された学習用タスク特定出力(Task Specific Output)を参照して算出された第1エラーが最小化され、前記トレーニングデータと前記変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行した後、第2学習装置が、(i)(i‐1)前記変造されたトレーニングデータと、前記トレーニングデータに対応されるトレーニングデータGTとを獲得したり、(i‐2)第1テストデータを学習された変造ネットワークに入力して生成された第1変造されたテストデータと、前記第1テストデータに対応されるテストデータGTとを獲得するプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを使用者ラーニングネットワークに入力することで、前記使用者ラーニングネットワークをもって前記変造されたトレーニングデータに対してラーニング演算を適用して学習用第3特性情報を生成するようにしたり、(ii‐2)前記第1変造されたテストデータを前記使用者ラーニングネットワークに入力することで、前記使用者ラーニングネットワークをもって前記第1変造されたテストデータに対してラーニング演算を適用して学習用第4特性情報を生成させるプロセス、及び(iii)(iii‐1)(1)前記学習用第3特性情報を利用して生成された学習用第3タスク特定出力と(2)前記トレーニングデータGTとを利用して生成された学習用データロスを参照して算出された第3エラーを最小化するように、前記使用者ラーニングネットワークを学習したり、(iii‐2)(1)前記学習用第4特性情報を利用して生成された学習用第4タスク特定出力と(2)前記テストデータGTとを利用して生成されたテスト用データロスを参照して算出された第4エラーを最小化するように、前記使用者ラーニングネットワークを学習するプロセスを遂行した状態で、第2テストデータを前記学習された変造ネットワークに入力して第2変造されたテストデータを獲得するプロセス、及び(II)前記第2変造されたテストデータを前記学習された使用者ラーニングネットワークに入力することで、前記学習された使用者ラーニングネットワークをもって前記第2変造されたテストデータに対してラーニング演算を適用してテスト用特性情報を生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ;
を含むテスト装置。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、使用者ラーニングネットワーク(User Learning Network)の学習方法に係り;より詳しくは、個人情報保護のために原本データをコンシーリング(Concealing)処理して生成された変造データ(Obfuscated Data)を認識するための使用者ラーニングネットワークを学習する方法及びこれを利用した学習装置、そして学習された使用者ラーニングネットワークをテストする方法及びこれを利用したテスト装置{METHOD FOR LEARNING AND TESTING USER LEARNING NETWORK TO BE USED FOR RECOGNIZING OBFUSCATED DATA CREATED BY CONCEALING ORIGINAL DATA TO PROTECT PERSONAL INFORMATION AND LEARNING DEVICE AND TESTING DEVICE USING THE SAME}に関する。
【背景技術】
【0002】
ビッグデータ(Big Data)とは、既存の企業環境や公共機関で使われる全ての定型化されたデータはもとより、電子商取引データ、メタデータ、ウェブログデータ、無線識別(RFID:Radio Frequency Identification)データ、センサーネットワークデータ、ソーシャルネットワークデータ、インターネットテキストと文書に関するデータ、インターネット検索インデックシングデータなど既存にまだ活用することができなかった非定型化または半定型化されたデータを全て含むデータを意味する。このようなデータは一般的に普通のソフトウェアツール及びコンピュータシステムでは取り扱いにくい水準の膨大なデータ量を持つという意味でビッグデータと称している。
【0003】
また、このようなビッグデータはそれ自体は意味ないことがあるが、パターンなどに対する機械学習を通じて様々な分野で新しいデータを作ったり、判断または予測するのに有用に使われることができる。
【0004】
近来になって、個人情報保護法強化などによってこのようなビッグデータを取り引きまたは共有するためには、該当データの個人識別が可能な情報を削除したり、該当個人の同意を得ることが要求される。しかし、相当な量のビッグデータの中で個人識別が可能な情報があるか否かをいちいち確認することも困難であり、なお、個人の同意をいちいち得ることも不可能であったため、これを支援するための多様な技術が登場している。
【0005】
これに関する従来技術の一例として、韓国登録特許公報第10‐1861520号に開示されている技術を例として挙げることができる。これによると、変形対象である入力イメージから人の顔領域を検出する検出段階、前記入力イメージから人が識別されることを防ぐために前記検出された顔領域を人の顔の形状ではない歪曲された第1イメージに変形する第1コンシーリング段階、及び前記第1イメージに基づいて所定の顔形成を持つ第2イメージを生成し、前記入力イメージで前記第1イメージを前記第2イメージに変形し、前記第2イメージは前記検出段階で検出された顔領域の形状と相違する顔形状を持つように生成される第2コンシーリング段階を含む顔‐コンシーリング方法を提供する。
【0006】
しかし、前記のような従来技術を始め、今まで紹介された技術はデータ上に顔、テキストなどの識別情報を含むか否かを確認し、識別情報にあたる部分をマスキング(Masking)またはブラー(Blur)処理して消したり隠す方式だったので、原本データが損傷されて機械学習で使われにくく、データ上に予測できなかった識別情報が含まれて、これをコンシーリング(例えば、非識別化)処理することができない場合もしばしば発生した。特に、従来のセキュリティカメラ(Security Camera)は映像イメージ内にフレームの間で変化のある全てのピクセルをブラー処理する方式で非識別処理を行うが、このような方式で非識別処理を遂行すると、非識別された顔の表情など主要情報が原本映像イメージに入っている情報と変わるようになるだけでなく、顔検出過程で漏れた個人識別情報が原本映像イメージ上にそのまま残る問題があった。また、ブラー処理された映像イメージは従来の映像デブラリング(Deblurring)技術の中で一つを利用して原状復帰されることもできる。
【0007】
ここで、本発明者(ら)は、原本データと相違するように変造(Obfuscation)された変造データを生成し、ラーニングモデル(Learning Model)に原本データが入力されて出力される結果と、前記変造データが入力されて出力されるそれぞれの結果と相互同一または類似になるようにする技術と、原本データをコンシーリング(例:非識別化)処理して生成された変造データを認識するために使われる使用者ラーニングネットワークを学習する技術を提案する。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、前述した従来技術の問題点を全て解決することをその目的とする。
【0009】
また、本発明は、データ内で個人識別情報を捜す作業が必要ではないため、簡便ながらも正確にコンシーリング(Concealing)、例えば、非識別化処理を遂行することを他の目的とする。
【0010】
また、本発明は、原本データから非可逆的に変造(Obfuscation)されてコンシーリング(例:非識別化)処理されたデータを生成することで、原本データのセキュリティ及びプライバシーを守ることをまた他の目的とする。
【0011】
また、本発明は、人間には全然違って見えるデータであるが、コンピュータには互いに同一または類似に見えるデータを生成することをまた他の目的とする。
【0012】
また、本発明は、ビッグデータの取り引き市場を活性化させることをまた他の目的とする。
【0013】
また、本発明は、使用者ラーニングネットワークをもって原本データをコンシーリング処理して生成された変造データを認識させることをまた他の目的とする。
【課題を解決するための手段】
【0014】
前記目的を達成するための本発明の代表的な構成は次のとおりである。
【0015】
本発明の一態様によると、個人情報を保護するために原本データをコンシーリング(Concealing)処理して生成された変造データ(Obfuscated Data)を認識するために使われる使用者ラーニングネットワーク(User Learning Network)を学習する方法において、(a)第1学習装置は、(i)変造ネットワーク(Obfuscation Network)にトレーニングデータが入力されると、前記変造ネットワークをもって前記トレーニングデータを変造するようにして変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つ学習用ラーニングネットワークに入力することで、前記学習用ラーニングネットワークをもって前記変造されたトレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第1特性(Characteristic)情報を生成するようにし、(ii‐2)前記トレーニングデータを前記学習用ラーニングネットワークに入力することで、前記学習用ラーニングネットワークをもって前記トレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第2特性情報を生成させるプロセス、及び(iii)前記学習用第1特性情報と前記学習用第2特性情報とを参照したり前記学習用第1特性情報を利用して生成された学習用タスク特定出力(Task Specific Output)を参照して算出された第1エラーが最小化され、前記トレーニングデータと前記変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行した状態で、第2学習装置が、(i)前記変造されたトレーニングデータと、前記トレーニングデータに対応されるトレーニングデータGT(Ground Truth)とを獲得したり、(ii)テストデータを学習された変造ネットワークに入力して生成された変造されたテストデータと、前記テストデータに対応されるテストデータGTとを獲得する段階;(b)前記第2学習装置が、(i)前記変造されたトレーニングデータを前記使用者ラーニングネットワークに入力することで、前記使用者ラーニングネットワークをもって(i‐1)前記変造されたトレーニングデータに対してラーニング演算を適用して(i‐2)学習用第3特性情報を生成させるプロセス、または(ii)前記変造されたテストデータを前記使用者ラーニングネットワークに入力することで、前記使用者ラーニングネットワークをもって(ii‐1)前記変造されたテストデータに対してラーニング演算を適用して(ii‐2)学習用第4特性情報を生成させるプロセスを遂行する段階;及び(c)前記第2学習装置が、(i)(i‐1)前記学習用第3特性情報を利用して生成された学習用第3タスク特定出力と(i‐2)前記トレーニングデータGTとを利用して生成された学習用データロスを参照して算出された第3エラーを最小化するように前記使用者ラーニングネットワークを学習するプロセス、または(ii)(ii‐1)前記学習用第4特性情報を利用して生成された学習用第4タスク特定出力と(ii‐2)前記テストデータGTとを利用して生成されたテスト用データロスを参照して算出された第4エラーを最小化するように前記使用者ラーニングネットワークを学習するプロセスを遂行する段階;を含む方法が提供される。
【0016】
一実施例において、前記(b)段階において、前記第2学習装置は、(i)前記学習用第1特性情報及び前記学習用第2特性情報の中で少なくとも一部を含む学習用第1ヒント(Hint)情報をさらに獲得したり、(ii)(ii‐1)前記変造されたテストデータを前記学習用ラーニングネットワークに入力して生成されたテスト用第1特性情報及び(ii‐2)前記テストデータを前記学習用ラーニングネットワークに入力して生成されたテスト用第2特性情報の中で少なくとも一部を含む学習用第2ヒント情報をさらに獲得し、前記(c)段階において、前記第2学習装置は、(i)(i‐1)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差、及び(i‐2)前記学習用データロスの中で少なくとも一つを参照して前記第3エラーを獲得したり、(ii)(ii‐1)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差、及び(ii‐2)前記テスト用データロスの中で少なくとも一つを参照して前記第4エラーを獲得する。
【0017】
一実施例において、(i)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差は、(i‐1)前記学習用第3特性情報と前記学習用第1特性情報との間の差、(i‐2)前記学習用第3特性情報と前記学習用第2特性情報との間の差、及び(i‐3)前記(i‐1)と前記(i‐2)との平均の中で少なくとも一つを含み、(ii)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差は、(ii‐1)前記学習用第4特性情報と前記テスト用第1特性情報との間の差、(ii‐2)前記学習用第4特性情報と前記テスト用第2特性情報との間の差、及び(ii‐3)前記(ii‐1)と前記(ii‐2)との平均の中で少なくとも一つを含む。
【0018】
一実施例において、前記学習用ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータをそれぞれ持つ学習用第1ラーニングネットワークないし学習用第nラーニングネットワークを含み、前記第1学習装置は、(i)前記変造されたトレーニングデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力することで、前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれをもって前記第1学習されたパラメータないし前記第n学習されたパラメータを利用したラーニング演算を前記変造されたトレーニングデータに対して適用して、学習用第1_1特性情報ないし学習用第1_n特性情報を生成させるプロセス、(ii)前記トレーニングデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力することで、前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれをもって前記第1学習されたパラメータないし前記第n学習されたパラメータを利用したラーニング演算を前記トレーニングデータに対して適用して、学習用第2_1特性情報ないし学習用第2_n特性情報を生成させるプロセス、(iii)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーないし前記学習用第1_n特性情報と前記学習用第2_n特性情報とを参照して算出された第1_nエラーの加重合計(Weighted Sum)である前記第1エラーを生成するプロセス、及び(iv)前記第1エラーが最小化され、前記第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行した状態で、前記(b)段階において、前記第2学習装置は、(i)(i‐1)前記学習用第1_1特性情報ないし前記学習用第1_n特性情報の平均及び(i‐2)前記学習用第2_1特性情報ないし前記学習用第2_n特性情報の平均の中で少なくとも一つを含む学習用第1ヒント情報をさらに獲得したり、(ii)(ii‐1)前記変造されたテストデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力して生成されたテスト用第1_1特性情報ないしテスト用第1_n特性情報の平均及び(ii‐2)前記テストデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力して生成されたテスト用第2_1特性情報ないしテスト用第2_n特性情報の平均の中で少なくとも一つを含む学習用第2ヒント情報をさらに獲得し、前記(c)段階において、前記第2学習装置は、(i)(i‐1)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差、及び(i‐2)前記学習用データロスの中で少なくとも一つを参照して前記第3エラーを獲得したり、(ii)(ii‐1)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差、及び(ii‐2)前記テスト用データロスの中で少なくとも一つを参照して前記第4エラーを獲得する。
【0019】
一実施例において、(i)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差は、(i‐1)前記学習用第3特性情報と、前記学習用第1_1特性情報ないし前記学習用第1_n特性情報の平均との差、(i‐2)前記学習用第3特性情報と、前記学習用第2_1特性情報ないし前記学習用第2_n特性情報の平均との差、及び(i‐3)前記(i‐1)と前記(i‐2)との平均の中で少なくとも一つを含み、(ii)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差は、(ii‐1)前記学習用第4特性情報と、前記テスト用第1_1特性情報ないし前記テスト用第1_n特性情報の平均との差、(ii‐2)前記学習用第4特性情報と、前記テスト用第2_1特性情報ないし前記テスト用第2_n特性情報の平均との差、及び(ii‐3)前記(ii‐1)と前記(ii‐2)との平均の中で少なくとも一つを含む。
【0020】
一実施例において、前記学習用ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータをそれぞれ持つ学習用第1ラーニングネットワークないし学習用第nラーニングネットワークを含み、前記第1学習装置は、(i)(i‐1)前記変造されたトレーニングデータである第1変造されたトレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1変造されたトレーニングデータに対して前記第1学習されたパラメータを利用したラーニング演算を適用して学習用第1_1特性情報を生成するようにし、(i‐2)前記トレーニングデータを前記第1ラーニングネットワークに入力することで、前記トレーニングデータに対して前記第1学習されたパラメータを利用したラーニング演算を適用して学習用第2_1特性情報を生成するようにし、(i‐3)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーが最小化され、前記トレーニングデータと前記第1変造されたトレーニングデータとを参照して算出された第2_1エラーが最大化されるように前記変造ネットワークを学習することで、前記変造ネットワークが第1学習された変造ネットワークになるようにするプロセス、及び(ii)定数である kを2からnまで増加させながら、(ii‐1)前記トレーニングデータを前記第(k‐1)学習された変造ネットワークに入力することで、 前記第(k‐1)学習された変造ネットワークをもって第k変造されたトレーニングデータを生成するようにし、(ii‐2)前記第k変造されたトレーニングデータを第kラーニングネットワークに入力することで前記第kラーニングネットワークをもって前記第k変造されたトレーニングデータに対して第k学習されたパラメータを利用したラーニング演算を適用して学習用第1_k特性情報を生成するようにし、前記トレーニングデータを前記第kラーニングネットワークに入力することで前記第kラーニングネットワークをもって前記トレーニングデータに対して前記第k学習されたパラメータを利用したラーニング演算を適用して学習用第2_k特性情報を生成するようにし、(ii‐3)前記学習用第1_k特性情報と前記学習用第2_k特性情報とを参照して算出された第1_kエラーが最小化され、前記トレーニングデータと前記第k変造されたトレーニングデータとを参照して算出された第2_kエラーが最大化されるように変造ネットワークを学習することで、前記第(k‐1)学習された変造ネットワークが第k学習された変造ネットワークになるようにするプロセスを遂行した状態で、前記(b)段階において、前記第2学習装置は、(i)(i‐1)前記学習用第1_1特性情報ないし前記学習用第1_n特性情報の平均及び(i‐2)前記学習用第2_1特性情報ないし前記学習用第2_n特性情報の平均の中で少なくとも一つを含む学習用第1ヒント情報をさらに獲得したり、(ii)(ii‐1)前記変造されたテストデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力して生成されたテスト用第1_1特性情報ないしテスト用第1_n特性情報の平均及び(ii‐2)前記テストデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力して生成されたテスト用第2_1特性情報ないしテスト用第2_n特性情報の平均の中で少なくとも一つを含む学習用第2ヒント情報をさらに獲得し、前記(c)段階において、前記第2学習装置は、(i)(i‐1)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差、及び(i‐2)前記学習用データロスの中で少なくとも一つを参照して前記第3エラーを獲得したり、(ii)(ii‐1)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差、及び(ii‐2)前記テスト用データロスの中で少なくとも一つを参照して前記第4エラーを獲得する。
【0021】
一実施例において、(i)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差は、(i‐1)前記学習用第3特性情報と前記学習用第1特性情報との間の差、(i‐2)前記学習用第3特性情報と前記学習用第2特性情報との間の差、及び(i‐3)前記(i‐1)と前記(i‐2)との平均の中で少なくとも一つを含み、(ii)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差は、(ii‐1)前記学習用第4特性情報と前記テスト用第1特性情報との間の差、(ii‐2)前記学習用第4特性情報と前記テスト用第2特性情報との間の差、及び(ii‐3)前記(ii‐1)と前記(ii‐2)との平均の中で少なくとも一つを含む。
【0022】
本発明の他の態様によると、個人情報を保護するために原本データをコンシーリング(Concealing)処理して生成された変造データ(Obfuscated Data)を認識するように学習された使用者ラーニングネットワーク(User Learning Network)をテストする方法において、(a)第1学習装置は、(i)変造ネットワークにトレーニングデータが入力されると、前記変造ネットワークをもって前記トレーニングデータを変造するようにし、変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つ学習用ラーニングネットワークに入力することで、前記学習用ラーニングネットワークをもって前記変造されたトレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第1特性(Characteristic)情報を生成するようにし、(ii‐2)前記トレーニングデータを前記学習用ラーニングネットワークに入力することで、前記学習用ラーニングネットワークをもって前記トレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第2特性情報を生成させるプロセス、及び(iii)前記学習用第1特性情報と前記学習用第2特性情報とを参照したり、前記学習用第1特性情報を利用して生成された学習用タスク特定出力(Task Specific Output)を参照して算出された第1エラーが最小化され、前記トレーニングデータと前記変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行した後、第2学習装置が、(i)(i‐1)前記変造されたトレーニングデータと、前記トレーニングデータに対応されるトレーニングデータGTとを獲得したり、(i‐2)第1テストデータを学習された変造ネットワークに入力して生成された第1変造されたテストデータと、前記第1テストデータに対応されるテストデータGTとを獲得するプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを使用者ラーニングネットワークに入力することで、前記使用者ラーニングネットワークをもって前記変造されたトレーニングデータに対してラーニング演算を適用して学習用第3特性情報を生成するようにしたり、(ii‐2)前記第1変造されたテストデータを前記使用者ラーニングネットワークに入力することで、前記使用者ラーニングネットワークをもって前記第1変造されたテストデータに対してラーニング演算を適用して学習用第4特性情報を生成させるプロセス、及び(iii)(iii‐1)(1)前記学習用第3特性情報を利用して生成された学習用第3タスク特定出力と(2)前記トレーニングデータGTとを利用して生成された学習用データロスを参照して算出された第3エラーを最小化するように、前記使用者ラーニングネットワークを学習したり、(iii‐2)(1)前記学習用第4特性情報を利用して生成された学習用第4タスク特定出力と(2)前記テストデータGTとを利用して生成されたテスト用データロスを参照して算出された第4エラーを最小化するように、前記使用者ラーニングネットワークを学習するプロセスを遂行した状態で、テスト装置が、第2テストデータを前記学習された変造ネットワークに入力して第2変造されたテストデータを獲得する段階;及び(b)前記テスト装置が、前記第2変造されたテストデータを前記学習された使用者ラーニングネットワークに入力することで、前記学習された使用者ラーニングネットワークをもって前記第2変造されたテストデータに対してラーニング演算を適用してテスト用特性情報を生成させる段階;を含む方法が提供される。
【0023】
本発明のまた他の態様によると、個人情報を保護するために原本データをコンシーリング(Concealing)処理して生成された変造データ(Obfuscated Data)を認識するために使われる使用者ラーニングネットワーク(User Learning Network)を学習する第2学習装置において、インストラクションを格納する少なくとも一つのメモリー;及び(I)第1学習装置は、(i)変造ネットワーク(Obfuscation Network)にトレーニングデータが入力されると、前記変造ネットワークをもって前記トレーニングデータを変造するようにして変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つ学習用ラーニングネットワークに入力することで、前記学習用ラーニングネットワークをもって前記変造されたトレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第1特性(Characteristic)情報を生成するようにし、(ii‐2)前記トレーニングデータを前記学習用ラーニングネットワークに入力することで、前記学習用ラーニングネットワークをもって前記トレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第2特性情報を生成させるプロセス、及び(iii)前記学習用第1特性情報と前記学習用第2特性情報とを参照したり前記学習用第1特性情報を利用して生成された学習用タスク特定出力(Task Specific Output)を参照して算出された第1エラーが最小化され、前記トレーニングデータと前記変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行した状態で、(i)前記変造されたトレーニングデータと、前記トレーニングデータに対応されるトレーニングデータGT(Ground Truth)とを獲得したり、(ii)テストデータを学習された変造ネットワークに入力して生成された変造されたテストデータと、前記テストデータに対応されるテストデータGTとを獲得するプロセス;(II)(i)前記変造されたトレーニングデータを使用者ラーニングネットワークに入力することで、前記使用者ラーニングネットワークをもって(i‐1)前記変造されたトレーニングデータに対してラーニング演算を適用して(i‐2)学習用第3特性情報を生成させるプロセス、または(ii)前記変造されたテストデータを前記使用者ラーニングネットワークに入力することで、前記使用者ラーニングネットワークをもって(ii‐1)前記変造されたテストデータに対してラーニング演算を適用して(ii‐2)学習用第4特性情報を生成させるプロセスを遂行するプロセス;及び(III)(i)(i‐1)前記学習用第3特性情報を利用して生成された学習用第3タスク特定出力と(i‐2)前記トレーニングデータGTとを利用して生成された学習用データロスを参照して算出された第3エラーを最小化するように前記使用者ラーニングネットワークを学習するプロセス、または(ii)(ii‐1)前記学習用第4特性情報を利用して生成された学習用第4タスク特定出力と(ii‐2)前記テストデータGTとを利用して生成されたテスト用データロスを参照して算出された第4エラーを最小化するように前記使用者ラーニングネットワークを学習するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ;を含む第2学習装置が提供される。
【0024】
一実施例において、前記(II)プロセスにおいて、前記プロセッサは、(i)前記学習用第1特性情報及び前記学習用第2特性情報の中で少なくとも一部を含む学習用第1ヒント(Hint)情報をさらに獲得したり、(ii)(ii‐1)前記変造されたテストデータを前記学習用ラーニングネットワークに入力して生成されたテスト用第1特性情報及び(ii‐2)前記テストデータを前記学習用ラーニングネットワークに入力して生成されたテスト用第2特性情報の中で少なくとも一部を含む学習用第2ヒント情報をさらに獲得し、前記(III)プロセスにおいて、前記プロセッサは、(i)(i‐1)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差、及び(i‐2)前記学習用データロスの中で少なくとも一つを参照して前記第3エラーを獲得したり、(ii)(ii‐1)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差、及び(ii‐2)前記テスト用データロスの中で少なくとも一つを参照して前記第4エラーを獲得する。
【0025】
一実施例において、(i)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差は、(i‐1)前記学習用第3特性情報と前記学習用第1特性情報との間の差、(i‐2)前記学習用第3特性情報と前記学習用第2特性情報との間の差、及び(i‐3)前記(i‐1)と前記(i‐2)との平均の中で少なくとも一つを含み、(ii)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差は、(ii‐1)前記学習用第4特性情報と前記テスト用第1特性情報との間の差、(ii‐2)前記学習用第4特性情報と前記テスト用第2特性情報との間の差、及び(ii‐3)前記(ii‐1)と前記(ii‐2)との平均の中で少なくとも一つを含む。
【0026】
一実施例において、前記学習用ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータをそれぞれ持つ学習用第1ラーニングネットワークないし学習用第nラーニングネットワークを含み、前記第1学習装置は、(i)前記変造されたトレーニングデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力することで、前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれをもって前記第1学習されたパラメータないし前記第n学習されたパラメータを利用したラーニング演算を前記変造されたトレーニングデータに対して適用し、学習用第1_1特性情報ないし学習用第1_n特性情報を生成させるプロセス、(ii)前記トレーニングデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力することで、前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれをもって前記第1学習されたパラメータないし前記第n学習されたパラメータを利用したラーニング演算を前記トレーニングデータに対して適用し、学習用第2_1特性情報ないし学習用第2_n特性情報を生成させるプロセス、(iii)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーないし前記学習用第1_n特性情報と前記学習用第2_n特性情報とを参照して算出された第1_nエラーの加重合計(Weighted Sum)である前記第1エラーを生成するプロセス、及び(iv)前記第1エラーが最小化され、前記第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行した状態で、前記(II)プロセスにおいて、前記プロセッサは、(i)(i‐1)前記学習用第1_1特性情報ないし前記学習用第1_n特性情報の平均及び(i‐2)前記学習用第2_1特性情報ないし前記学習用第2_n特性情報の平均の中で少なくとも一つを含む学習用第1ヒント情報をさらに獲得したり、(ii)(ii‐1)前記変造されたテストデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力して生成されたテスト用第1_1特性情報ないしテスト用第1_n特性情報の平均及び(ii‐2)前記テストデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力して生成されたテスト用第2_1特性情報ないしテスト用第2_n特性情報の平均の中で少なくとも一つを含む学習用第2ヒント情報をさらに獲得し、前記(III)プロセスにおいて、前記プロセッサは、(i)(i‐1)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差、及び(i‐2)前記学習用データロスの中で少なくとも一つを参照して前記第3エラーを獲得したり、(ii)(ii‐1)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差、及び(ii‐2)前記テスト用データロスの中で少なくとも一つを参照して前記第4エラーを獲得する。
【0027】
一実施例において、(i)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差は、(i‐1)前記学習用第3特性情報と、前記学習用第1_1特性情報ないし前記学習用第1_n特性情報の平均との差、(i‐2)前記学習用第3特性情報と、前記学習用第2_1特性情報ないし前記学習用第2_n特性情報の平均との差、及び(i‐3)前記(i‐1)と前記(i‐2)との平均の中で少なくとも一つを含み、(ii)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差は、(ii‐1)前記学習用第4特性情報と、前記テスト用第1_1特性情報ないし前記テスト用第1_n特性情報の平均との差、(ii‐2)前記学習用第4特性情報と、前記テスト用第2_1特性情報ないし前記テスト用第2_n特性情報の平均との差、及び(ii‐3)前記(ii‐1)と前記(ii‐2)との平均の中で少なくとも一つを含む。
【0028】
一実施例において、前記学習用ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータをそれぞれ持つ学習用第1ラーニングネットワークないし学習用第nラーニングネットワークを含み、前記第1学習装置は、(i)(i‐1)前記変造されたトレーニングデータである第1変造されたトレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1変造されたトレーニングデータに対して前記第1学習されたパラメータを利用したラーニング演算を適用して学習用第1_1特性情報を生成するようにし、(i‐2)前記トレーニングデータを前記第1ラーニングネットワークに入力することで、前記トレーニングデータに対して前記第1学習されたパラメータを利用したラーニング演算を適用して学習用第2_1特性情報を生成するようにし、(i‐3)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーが最小化され、前記トレーニングデータと前記第1変造されたトレーニングデータとを参照して算出された第2_1エラーが最大化されるように、前記変造ネットワークを学習することで、前記変造ネットワークが第1学習された変造ネットワークになるようにするプロセス、及び(ii)定数であるkを2からnまで増加させながら、(ii‐1)前記トレーニングデータを前記第(k‐1)学習された変造ネットワークに入力することで、前記第(k‐1)学習された変造ネットワークをもって第k変造されたトレーニングデータを生成するようにし、(ii‐2)前記第k変造されたトレーニングデータを第kラーニングネットワークに入力することで前記第kラーニングネットワークをもって前記第k変造されたトレーニングデータに対して第k学習されたパラメータを利用したラーニング演算を適用して学習用第1_k特性情報を生成するようにし、前記トレーニングデータを前記第kラーニングネットワークに入力することで前記第kラーニングネットワークをもって前記トレーニングデータに対して前記第k学習されたパラメータを利用したラーニング演算を適用して学習用第2_k特性情報を生成するようにし、(ii‐3)前記学習用第1_k特性情報と前記学習用第2_k特性情報とを参照して算出された第1_kエラーが最小化され、前記トレーニングデータと前記第k変造されたトレーニングデータとを参照して算出された第2_kエラーが最大化されるように変造ネットワークを学習することで、前記第(k‐1)学習された変造ネットワークが第k学習された変造ネットワークになるようにするプロセスを遂行した状態で、前記(II)プロセスにおいて、前記プロセッサは、(i)(i‐1)前記学習用第1_1特性情報ないし前記学習用第1_n特性情報の平均及び(i‐2)前記学習用第2_1特性情報ないし前記学習用第2_n特性情報の平均の中で少なくとも一つを含む学習用第1ヒント情報をさらに獲得したり、(ii)(ii‐1)前記変造されたテストデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力して生成されたテスト用第1_1特性情報ないしテスト用第1_n特性情報の平均及び(ii‐2)前記テストデータを前記学習用第1ラーニングネットワークないし前記学習用第nラーニングネットワークのそれぞれに入力して生成されたテスト用第2_1特性情報ないしテスト用第2_n特性情報の平均の中で少なくとも一つを含む学習用第2ヒント情報をさらに獲得し、前記(III)プロセスにおいて、前記プロセッサは、(i)(i‐1)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差、及び(i‐2)前記学習用データロスの中で少なくとも一つを参照して前記第3エラーを獲得したり、(ii)(ii‐1)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差、及び(ii‐2)前記テスト用データロスの中で少なくとも一つを参照して前記第4エラーを獲得する。
【0029】
一実施例において、(i)前記学習用第3特性情報と前記学習用第1ヒント情報との間の差は、(i‐1)前記学習用第3特性情報と前記学習用第1特性情報との間の差、(i‐2)前記学習用第3特性情報と前記学習用第2特性情報との間の差、及び(i‐3)前記(i‐1)と前記(i‐2)との平均の中で少なくとも一つを含み、(ii)前記学習用第4特性情報と前記学習用第2ヒント情報との間の差は、(ii‐1)前記学習用第4特性情報と前記テスト用第1特性情報との間の差、(ii‐2)前記学習用第4特性情報と前記テスト用第2特性情報との間の差、及び(ii‐3)前記(ii‐1)と前記(ii‐2)との平均の中で少なくとも一つを含む。
【0030】
本発明のまた他の態様によると、個人情報を保護するために原本データをコンシーリング(Concealing)処理して生成された変造データ(Obfuscated Data)を認識するように学習された使用者ラーニングネットワーク(User Learning Network)をテストするテスト装置において、インストラクションを格納する少なくとも一つのメモリー;及び(I)第1学習装置は、(i)変造ネットワークにトレーニングデータが入力されると、前記変造ネットワークをもって前記トレーニングデータを変造するようにして変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つ学習用ラーニングネットワークに入力することで、前記学習用ラーニングネットワークをもって前記変造されたトレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第1特性(Characteristic)情報を生成するようにし、(ii‐2)前記トレーニングデータを前記学習用ラーニングネットワークに入力することで、前記学習用ラーニングネットワークをもって前記トレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第2特性情報を生成させるプロセス、及び(iii)前記学習用第1特性情報と前記学習用第2特性情報とを参照したり、前記学習用第1特性情報を利用して生成された学習用タスク特定出力(Task Specific Output)を参照して算出された第1エラーが最小化され、前記トレーニングデータと前記変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行した後、第2学習装置が、(i)(i‐1)前記変造されたトレーニングデータと、前記トレーニングデータに対応されるトレーニングデータGTとを獲得したり、(i‐2)第1テストデータを学習された変造ネットワークに入力して生成された第1変造されたテストデータと、前記第1テストデータに対応されるテストデータGTとを獲得するプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを使用者ラーニングネットワークに入力することで、前記使用者ラーニングネットワークをもって前記変造されたトレーニングデータに対してラーニング演算を適用して学習用第3特性情報を生成するようにしたり、(ii‐2)前記第1変造されたテストデータを前記使用者ラーニングネットワークに入力することで、前記使用者ラーニングネットワークをもって前記第1変造されたテストデータに対してラーニング演算を適用して学習用第4特性情報を生成させるプロセス、及び(iii)(iii‐1)(1)前記学習用第3特性情報を利用して生成された学習用第3タスク特定出力と(2)前記トレーニングデータGTとを利用して生成された学習用データロスを参照して算出された第3エラーを最小化するように、前記使用者ラーニングネットワークを学習したり、(iii‐2)(1)前記学習用第4特性情報を利用して生成された学習用第4タスク特定出力と(2)前記テストデータGTとを利用して生成されたテスト用データロスを参照して算出された第4エラーを最小化するように、前記使用者ラーニングネットワークを学習するプロセスを遂行した状態で、第2テストデータを前記学習された変造ネットワークに入力して第2変造されたテストデータを獲得するプロセス、及び(II)前記第2変造されたテストデータを前記学習された使用者ラーニングネットワークに入力することで、前記学習された使用者ラーニングネットワークをもって前記第2変造されたテストデータに対してラーニング演算を適用してテスト用特性情報を生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ;を含むテスト装置が提供される。
【0031】
この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータの読み取り可能な記録媒体がさらに提供される。
【発明の効果】
【0032】
本発明はデータ内で個人識別情報を捜す作業が要求されないため、簡便ながらも正確にコンシーリング(Concealing)処理を遂行することができる効果がある。
【0033】
また、本発明は原本データから非可逆的に変造(Obfuscation)して生成され、原本データのセキュリティ及びプライバシーを守ることができる他の効果がある。
【0034】
また、本発明は人間には全然違って見えるデータであるが、コンピュータには互いに同一または類似に見えるデータを生成することができるまた他の効果がある。
【0035】
また、本発明はビッグデータの取り引き市場をより活性化させることができるまた他の効果がある。
【0036】
また、本発明は原本データをコンシーリング処理して生成された変造データを使用者ラーニングネットワークが認識することができるまた他の効果がある。
【図面の簡単な説明】
【0037】
図1図1は本発明の一実施例によって原本データをコンシーリング(Concealing)処理して生成された変造データ(Obfuscated Data)を認識するために使われる使用者ラーニングネットワーク(User Learning Network)を学習する学習装置を簡略に示したものである。
図2図2は本発明の一実施例によって原本データをコンシーリング処理して生成された変造データを認識するために使われる使用者ラーニングネットワークを学習する方法を簡略に示したものである。
図3図3は本発明の一実施例によって原本データをコンシーリング処理する変造ネットワーク(Obfuscation Network)を学習する方法を簡略に示したものである。
図4図4は本発明の一実施例によって原本データをコンシーリング処理する変造ネットワークを学習する他の方法を簡略に示したものである。
図5図5は本発明の他の実施例によって原本データをコンシーリング処理する変造ネットワークを学習する方法を簡略に示したものである。
図6図6は本発明の他の実施例によって原本データをコンシーリング処理する変造ネットワークを学習する他の方法を簡略に示したものである。
図7図7は本発明の一実施例によって学習された使用者ラーニングネットワークをテストするテスト装置を簡略に示したものである。
【発明を実施するための形態】
【0038】
本発明における実施例の説明に利用されるために添付された以下の図面は、本発明の実施例のうち、単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者(以下「通常の技術者」)にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
【0039】
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定機能、構造及び特性は、本発明の精神及び範囲を逸脱せず、かつ一実施例から他の実施例に変更されて具現され得る。また、それぞれの実施例内の個別構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は特許請求範囲の請求項が請求する範囲及びそれと均等な全ての範囲を包括するものとして受け入れられるべきである。図面において類似な参照符号は、様々な側面にわたって同一であるか、又は類似な構成要素を指す。以下では、本発明の詳細な説明と請求項に含まれた「含む」と言う用語と該当用語の多様な表現は他の技術的特徴、追加、構成要素又は段階を排除することを意味しない。本発明の他の目的、恵沢及び特徴は、部分的には明細書から、及び部分的には本発明の移行から技術分野において通常の知識を有する者に明らかに現われる。次の例示と図面は例示として示したが、本発明がこれに制限されるものではない。
【0040】
本発明が属する技術分野において通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の幾つかの好ましい実施例に関して添付の図面を参照して詳しく説明する。
【0041】
図1は、本発明の一実施例によって原本データをコンシーリング(Concealing)、例えば、非識別化処理して生成された変造データ(Obfuscated Data)を認識するために使われる使用者ラーニングネットワーク(User Learning Network)を学習する第2学習装置を簡略に示したものである。第1学習装置は以後説明する。
【0042】
図1を参照すれば、本発明の一実施例による第2学習装置100は、個人情報を保護するために原本データをコンシーリング処理して生成された変造データを認識するように使用者ラーニングネットワークを学習するインストラクション(Instruction)が格納されたメモリー110と、メモリー110に格納されたインストラクションによって変造ネットワークを学習する動作を遂行するプロセッサ120とを含むことができる。
【0043】
具体的に、第2学習装置100は、少なくとも一つのコンピューティング装置(例えば、コンピュータプロセッサ、メモリー、ストーレジ、入力装置、出力装置またはその他既存のコンピューティング装置の構成要素);ルーター、スイッチなどのような電子通信装置;ネットワーク付きストーレジ(NAS)及びストーレジ領域ネットワーク(SAN)のような電子情報ストーレジシステム)と少なくとも一つのコンピュータソフトウェア(すなわち、コンピューティング装置をもって特定方式で機能させるインストラクション)の組み合わせを利用して所望のシステム性能を一般的に達成することができる。
【0044】
また、このような装置のプロセッサは、MPU(Micro Processing Unit)またはCPU(Central Processing Unit)、キャッシュメモリー(Cache Memory)、データバス(Data Bus)などのハードウェア構成を含むことができる。また、コンピューティング装置は、運営体制、特定目的を達成するアプリケーションのソフトウェア構成をさらに含むこともできる。
【0045】
コンピューティング装置に対するこのような説明が本発明を実施するためのプロセッサ、メモリー、ミディアムまたは他のコンピューティング要素の任意の組み合わせを含む統合装置を排除することではない。
【0046】
このとき、原本データをコンシーリング(例:非識別化)処理して生成された変造データは、ラーニングネットワークが入力データに対してラーニング演算を適用した結果と同一または類似に変造された入力データに対してラーニング演算を適用した結果を出力するように学習された、変造ネットワーク(Obfuscation Network)によって生成されることができる。
【0047】
一方、第1学習装置は、(i)変造ネットワーク(Obfuscation Network)にトレーニングデータが入力されると、前記変造ネットワークをもってトレーニングデータを変造するようにして変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つ学習用ラーニングネットワークに入力することで、学習用ラーニングネットワークをもって変造されたトレーニングデータに対して学習されたパラメータを利用したラーニング演算を適用して学習用第1特性(Characteristic)情報を生成するようにし、(ii‐2)トレーニングデータを学習用ラーニングネットワークに入力することで、学習用ラーニングネットワークをもって前記トレーニングデータに対して学習されたパラメータを利用したラーニング演算を適用して学習用第2特性情報を生成させるプロセス、及び(iii)学習用第1特性情報と学習用第2特性情報とを参照したり学習用第1特性情報を利用して生成された学習用タスク特定出力(Task Specific Output)を参照して算出された第1エラーが最小化され、トレーニングデータと変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、変造ネットワークを学習するプロセスを遂行した状態で、第2学習装置が、(i)変造されたトレーニングデータと、トレーニングデータに対応されるトレーニングデータGT(Ground Truth)とを獲得したり、(ii)テストデータを学習された変造ネットワークに入力して生成された変造されたテストデータと、テストデータに対応されるテストデータGTとを獲得するプロセスを遂行したり、他の装置をもって遂行するように支援することができる。第2学習装置が、(i)変造されたトレーニングデータを使用者ラーニングネットワークに入力することで、使用者ラーニングネットワークをもって(i‐1)変造されたトレーニングデータに対してラーニング演算を適用して(i‐2)学習用第3特性情報を生成させるプロセス、または(ii)変造されたテストデータを使用者ラーニングネットワークに入力することで、使用者ラーニングネットワークをもって(ii‐1)変造されたテストデータに対してラーニング演算を適用して(ii‐2)学習用第4特性情報を生成させるプロセスを遂行したり、他の装置をもって遂行するように支援することができる。第2学習装置が、(i)(i‐1)学習用第3特性情報を利用して生成された学習用第3タスク特定出力と(i‐2)トレーニングデータGTとを利用して生成された学習用データロスを参照して算出された第3エラーを最小化するように使用者ラーニングネットワークを学習するプロセス、または(ii)(ii‐1)学習用第4特性情報を利用して生成された学習用第4タスク特定出力と(ii‐2)テストデータGTとを利用して生成されたテスト用データロスを参照して算出された第4エラーを最小化するように使用者ラーニングネットワークを学習するプロセスを遂行したり他の装置をもって遂行するように支援することができる。
【0048】
このとき、第1学習装置は、ラーニングネットワークが変造されたトレーニングデータを入力として利用して算出された結果をトレーニングデータを入力として利用して算出された結果と同一または類似に出力するようにトレーニングデータを変造(例:非識別化)する変造ネットワークを学習するためのインストラクションが格納されたメモリーと、メモリーに格納されたインストラクションによって変造ネットワークを学習する動作を遂行するプロセッサとを含むことができる。具体的に、第1学習装置は、少なくとも一つのコンピューティング装置(例えば、コンピュータプロセッサ、メモリー、ストーレジ、入力装置、出力装置又はその他既存のコンピューティング装置の構成要素);ルーター、スイッチなどのような電子通信装置;ネットワーク付きストーレジ(NAS)及びストーレジ領域ネットワーク(SAN)のような電子情報ストーレジシステム)と少なくとも一つのコンピュータソフトウェア(すなわち、コンピューティング装置をもって特定方式で機能させるインストラクション)の組み合わせを利用して所望のシステム性能を一般的に達成することができる。また、このような装置のプロセッサは、MPU(Micro Processing Unit)またはCPU(Central Processing Unit)、キャッシュメモリー(Cache Memory)、データバス(Data Bus)などのハードウェア構成を含むことができる。また、コンピューティング装置は、運営体制、特定目的を達成するアプリケーションのソフトウェア構成をさらに含むこともできる。
【0049】
また、第1学習装置と第2学習装置100とは同一装置であるか、または他の装置である。
【0050】
このように構成された本発明の一実施例による第2学習装置100を利用して個人情報を保護するために原本データをコンシーリング(例:非識別化)処理して生成された変造データを認識するために使われる使用者ラーニングネットワークを学習する方法を説明すれば次のとおりである。
【0051】
図2は本発明の一実施例によって原本データをコンシーリング処理して生成された変造データを認識するために使われる使用者ラーニングネットワークを学習する方法を簡略に示したものである。
【0052】
先ず、第2学習装置100は、原本データをコンシーリング(例:非識別化)処理して生成された変造データとともに、原本データGT及びヒント(Hint)情報の中で少なくとも一部を獲得することができる。これについては変造ネットワークの学習方法と連携して説明する。
【0053】
次に、第2学習装置100は変造データを使用者ラーニングネットワークGに入力することで、使用者ラーニングネットワークGをもって変造データに対してラーニング演算を適用して特性情報を出力させるプロセスを遂行することができる。
【0054】
以後、学習装置100は、(i)特性情報とヒント情報との間の差、及び(ii)特性情報を利用して生成されたタスク特定出力と原本データGTとの間の差の中で少なくとも一つを参照して算出された少なくとも一つのエラーが最小化されるように、使用者ラーニングネットワークGを学習することで、使用者ラーニングネットワークGをもって変造データを原本データとして認識させることができる。
【0055】
このとき、使用者ラーニングネットワークGはマシンラーニングネットワークを含むことができるが、 本発明の範囲がこれに限定されず、変造データに対してラーニング演算を適用して特性情報を生成することができるラーニングネットワークは何でも含むことができる。そして、マシンラーニングネットワークは、K‐近傍(K‐Nearest Neighbors)、線形回帰(Linear Regression)、ロジスティック回帰(Logistic Regression)、サポートベクターマシン(SVM、Support Vector Machine)、決定木(Decision Tree)とランダムフォレスト(Random Forest)、神経網(Neural Network)、群集(Clustering)、視覚化(Visualization)と次元縮小(Dimensionality Reduction)、相関規則学習(Association Rule Learning)、深層信念ネットワーク(Deep Belief Network)、強化学習(Reinforcement Learning)、及びディープラーニング(Deep learning)アルゴリズムの中で少なくとも一つを含むことができるが、マシンラーニングネットワークはこれに限定されず、多様な学習アルゴリズムを含むことができる。また、コンシーリング(例:非識別化)処理のための対象は原本データに含まれた個人情報である。ここで、個人情報は、個人識別情報、個人の医療情報、生体情報、行動情報など個人と係る如何なる情報も含むことができる。
【0056】
そして、特性情報は、変造データに対応する特徴(Feature)またはロジット(Logit)である。また、特性情報は変造データ内に含まれた所定の特徴と係る特徴値、または所定の特徴と係るベクター(Vector)、行列(Matrix)及び座標(Coordinate)の中で少なくとも一つに関する値を含むロジットである。例えば、原本データが顔イメージデータである場合、上記結果は顔認識のためのクラス、顔の特徴、一例として、笑う表情、顔の特徴点(Landmark Point、例えば、両目の端点)に関する座標である。
【0057】
一方、タスク特定出力は、使用者ラーニングネットワークGが遂行しようとするタスクに対する出力であり、クラス分類のためのクラスに対する確率、位置検出のためのリグレッション(Regression)による座標値など使用者ラーニングネットワークGの設計されたタスクによる多様な結果値を持つことができるし、活性化ユニット(Activation Unit)の活性化関数(Activation Function)が使用者ラーニングネットワークGから出力される特性情報に適用され、使用者ラーニングネットワークGで遂行しようとするタスクによるタスク特定出力を生成することができる。このとき、活性化関数では、シグモイド(Sigmoid)関数、線形(Linear)関数、ソフトマックス(Softmax)関数、ReLU(Rlinear)関数、二乗(Square)関数、SQRT関数、Srlinear関数、ABS関数、TANH関数、Brlinear関数などが使われることができるが、本発明の範囲はこれに限定されない。
【0058】
一例として、使用者ラーニングネットワークGがクラス分類のためのタスクを遂行する場合、第2学習装置100は使用者ラーニングネットワークGから出力される特性情報をクラス別にマッピング(Mapping)して、変造データに対してクラス別に少なくとも一つの確率を生成することができる。このとき、クラス別の確率はクラス別に使用者ラーニングネットワークGから出力される特性情報が正解である確率を示すことができる。例えば、原本データが顔イメージデータである場合、顔が笑っている状態である確率は0.75、笑わっていない状態である確率は0.25などのように出力されることができる。このとき、使用者ラーニングネットワークGから出力される特性情報をクラス別にマッピングするためにソフトマックスアルゴリズムを使用することができるが、本発明の範囲はこれに限定されず、特性情報をクラス別にマッピングするために多様なアルゴリズムが使われることができる。
【0059】
図3は本発明の一実施例によって原本データをコンシーリング処理する変造ネットワークを学習する方法を簡略に示したものである。変造学習方法に対応する使用者ラーニングネットワークの学習方法を説明すれば次のとおりである。
【0060】
先ず、第1学習装置200を利用して原本データをコンシーリング(例:非識別化)処理するために使われる変造ネットワークOを学習する方法を説明する。
【0061】
トレーニングデータが獲得されると、第1学習装置200は、トレーニングデータを変造ネットワークOに入力することで、変造ネットワークOをもってトレーニングデータを変造するようにして変造されたトレーニングデータを生成させることができる。
【0062】
このとき、トレーニングデータは学習に利用するための原本データである原本トレーニングデータまたは原本トレーニングデータを変換(Modify)して生成された変換(Modified)トレーニングデータであり、変換トレーニングデータは原本トレーニングデータに対してランダムノイズ生成ネットワーク(未図示)を通じて生成された少なくとも一つのランダムノイズを追加して生成されることができる。一例として、ランダムノイズ生成ネットワークは正規分布N(0、σ)によるランダムノイズを生成させ、生成されたノイズを原本トレーニングデータに追加して変換トレーニングデータを生成することができる。また、変換トレーニングデータは、ランダムノイズ以外にも原本トレーニングデータをブラー(Blur)処理したり、原本トレーニングデータの解像度を変更して生成されることができるが、これに限定されず、原本トレーニングデータを変換する多様な方法が適用されることができる。
【0063】
また、変造されたトレーニングデータは、人にはトレーニングデータと異なるものとして認識されるが、ラーニングネットワークではトレーニングデータと同一または類似なものとして認識されることができる。
【0064】
一方、変造ネットワークOは、一例として、トレーニングデータとしてのイメージに対してコンボリューション演算を少なくとも一回適用するための少なくとも一つのコンボリューションレイヤーを持つ少なくとも一つのエンコーダー(Encoder)と、エンコーダーから出力される少なくとも一つの特徴マップに対してデコンボリューション演算を少なくとも一回適用して変造されたトレーニングデータを生成するための少なくとも一つのデコンボリューションレイヤーを持つ少なくとも一つのデコーダー(Decoder)を含むことができるが、本発明の範囲がこれに限定されず、入力されるトレーニングデータを変造することができる構造を持つラーニングネットワークは何でも含むことができる。
【0065】
そして、第1学習装置200は、(i)変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つ学習用ラーニングネットワークFに入力することで、学習用ラーニングネットワークFをもって(i‐1)変造されたトレーニングデータに対して学習されたパラメータを利用したラーニング演算を適用して(i‐2)変造されたトレーニングデータに対応する学習用第1特性情報を生成させるプロセス、及び(ii)トレーニングデータを学習用ラーニングネットワークFに入力することで、学習用ラーニングネットワークFをもって(ii‐1)トレーニングデータに対して学習されたパラメータを利用したラーニング演算を適用して(ii‐2)トレーニングデータに対応する学習用第2特性情報を生成させるプロセスを遂行したり、他の装置をもって遂行するように支援することができる。
【0066】
このとき、学習用ラーニングネットワークFはマシンラーニングネットワークを含むことができるが、本発明の範囲がこれに限定されず、トレーニングデータに対して予め学習されたパラメータでネットワーク演算を適用して学習用第1特性情報を生成することにより、トレーニングデータに対してラーニング演算を適用して学習用第2特性情報を生成することができるラーニングネットワークは何でも含むことができる。そして、マシンラーニングネットワークはK‐近傍(K‐Nearest Neighbors)、線形回帰(Linear Regression)、ロジスティック回帰(Logistic Regression)、サポートベクターマシン(SVM、Support Vector Machine)、決定木(Decision Tree)とランダムフォレスト(Random Forest)、神経網(Neural Network)、群集(Clustering)、視覚化(Visualization)と次元縮小(Dimensionality Reduction)、相関規則学習(Association Rule Learning)、深層信念ネットワーク(Deep Belief Network)、強化学習(Reinforcement Learning)、及びディープラーニング(Deep learning)アルゴリズムの中で少なくとも一つを含むことができるが、マシンラーニングネットワークはこれに限定されず、多様な学習アルゴリズムを含むことができる。また、コンシーリング(例:非識別化)処理のための対象は原本データに含まれた個人情報である。ここで、個人情報は、個人識別情報、個人の医療情報、生体情報、行動情報など個人と係る如何なる情報も含むことができる。
【0067】
そして、学習用第1特性情報と学習用第2特性情報とは 、変造されたトレーニングデータとトレーニングデータとにそれぞれ対応する特徴(Feature)またはロジット(Logit)である。また、学習用第1特性情報と学習用第2特性情報とは、変造されたトレーニングデータとトレーニングデータ内にそれぞれ含まれた所定の特徴と係る特徴値、または所定の特徴と係るベクター(Vector)、行列(Matrix)及び座標(Coordinate)の中で少なくとも一つに関する値を含むロジットである。例えば、トレーニングデータが顔イメージデータである場合、上記結果は顔認識のためのクラス、顔の特徴、一例として、笑っている表情、顔の特徴点(Landmark Point、例えば、両目の端点)に関する座標である。
【0068】
以後、第1学習装置200は、(i)学習用第1特性情報を参照したり(ii)学習用第1特性情報を利用して生成された学習用タスク特定出力を参照して算出された第1エラーが最小化され、トレーニングデータと変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、変造ネットワークOを学習することができる。
【0069】
すなわち、第1学習装置200は、(i)(i‐1)学習用第1特性情報と学習用第2特性情報とを参照して獲得した少なくとも一つの第1_1エラーと、(i‐2)学習用第1特性情報を利用して生成された少なくとも一つの学習用タスク特定出力と、これに対応される少なくとも一つのトレーニングデータGTとを参照して獲得された変造ロスである少なくとも一つの第1_2エラーの中で少なくとも一部を参照して算出された、少なくとも一つの第1エラーを最小化するようにし、(ii)トレーニングデータと変造されたトレーニングデータとを参照して算出された少なくとも一つの第2エラーを最大化するように変造ネットワークOを学習することができる。これをより詳しく説明すると、第1学習装置200は変造ネットワークOを学習するにあたり、変造ネットワークOが第2エラーを利用してトレーニングデータと多くの差が出る変造されたトレーニングデータを出力するようにし、学習用ラーニングネットワークFでトレーニングデータと変造されたトレーニングデータとが同一または類似に認識されるように第1エラーを利用して変造ネットワークOがトレーニングデータを変造することで変造されたトレーニングデータを出力させることができる。
【0070】
このとき、第1学習装置200は、(i)学習用第1特性情報と学習用第2特性情報との間の差と、(ii)学習用タスク特定出力とこれに対応するトレーニングデータGTとの間の少なくとも一つの差の中で少なくとも一部を参照して第1エラーを獲得することができる。一例として、第1学習装置200は学習用第1特性情報と学習用第2特性情報との間のノルム(Norm)またはコサイン類似度(Cosine Similarity)を参照して第1エラーを獲得することができるが、本発明の範囲がこれに限定されず、学習用第1特性情報と学習用第2特性情報との間の差を算出することができる多様なアルゴリズムの中で何でも適用することができる。また、第1学習装置200はトレーニングデータと変造されたトレーニングデータとの間の少なくとも一つの差を参照して第2エラーを獲得することができる。
【0071】
また、第1学習装置200は変造されたトレーニングデータのエントロピーとノイズ程度の中で少なくとも一部を参照して少なくとも一つのクオリティ(Quality)を測定することができるし、測定されたクオリティをさらに参照して第1エラーを獲得することができる。すなわち、第1学習装置は、変造されたトレーニングデータのクオリティを最小化(例えば、変造されたトレーニングデータのエントロピー、ノイズなどの少なくとも一部を最大化)するように変造ネットワークOを学習することができる。
【0072】
そして、第1学習装置200が第1エラーを最小化して第2エラーを最大化するように変造ネットワークOを学習する場合、第1学習装置200は学習用ラーニングネットワークFの学習されたパラメータを固定してアップデートせず、変造ネットワークOのみを学習することができる。
【0073】
一方、学習用タスク特定出力は、学習用ラーニングネットワークFが遂行しようとするタスクに対する出力であり、クラス分類のためのクラスに対する確率、位置検出のためのリグレッション(Regression)による座標値など学習用ラーニングネットワークFの学習されたタスクによる多様な結果値を持つことができるし、活性化ユニット(Activation Unit)の活性化関数(Activation Function)が学習用ラーニングネットワークFから出力される学習用第1特性情報に適用され、学習用ラーニングネットワークFで遂行しようとするタスクによる学習用タスク特定出力を生成することができる。このとき、活性化関数では、シグモイド(Sigmoid)関数、線形(Linear)関数、ソフトマックス(Softmax)関数、ReLU(Rlinear)関数、二乗(Square)関数、SQRT関数、Srlinear関数、ABS関数、TANH関数、Brlinear関数などが使われることができるが、本発明の範囲がこれに限定されない。
【0074】
一例として、学習用ラーニングネットワークFがクラス分類のためのタスクを遂行する場合、第1学習装置200は学習用ラーニングネットワークFから出力される学習用第1特性情報をクラス別にマッピング(Mapping)して、変造されたトレーニングデータに対してクラス別に少なくとも一つの確率を生成することができる。このとき、クラス別の確率はクラス別に学習用ラーニングネットワークFから出力される学習用第1特性情報が正解である確率を示すことができる。例えば、トレーニングデータが顔イメージデータである場合、顔が笑っている状態である確率は0.75、笑わっていない状態である確率は0.25などのように出力されることができる。このとき、学習用ラーニングネットワークFから出力される学習用第1特性情報をクラス別にマッピングするためにソフトマックスアルゴリズムを使用することができるが、本発明の範囲はこれに限定されず、学習用第1特性情報をクラス別にマッピングするために多様なアルゴリズムが使われることができる。
【0075】
次に、前記プロセスを利用して第1学習装置200によって変造ネットワークOが学習された状態で、第2学習装置100は変造されたトレーニングデータとトレーニングデータGTとを獲得することができる。
【0076】
そして、第2学習装置100は、変造されたトレーニングデータを使用者ラーニングネットワークGに入力することで、使用者ラーニングネットワークGをもって変造されたトレーニングデータに対してラーニング演算を適用して学習用第3特性情報を生成させることができる。このとき、第1学習装置200と第2学習装置100とは同一装置であるか、または異なる装置である。
【0077】
以後、第2学習装置100は、学習用データロスを参照して算出された第3エラーを最小化するように使用者ラーニングネットワークGを学習することで、使用者ラーニングネットワークGをもって変造されたトレーニングデータを学習データとして認識させることができる。このとき、学習用データロスは(i)学習用第3特性情報を利用して生成された学習用第3タスク特定出力と(ii)トレーニングデータGTとを参照して獲得されることができる。
【0078】
一方、第2学習装置100は、学習用第1特性情報及び学習用第2特性情報の中で少なくとも一部を含む学習用第1ヒント情報をさらに獲得することができる。
【0079】
そして、第2学習装置100は、(i)学習用第3特性情報と学習用第1ヒント情報との間の差、及び(ii)学習用データロスの中で少なくとも一つを参照して第3エラーを獲得することができる。
【0080】
このとき、学習用第3特性情報と学習用第1ヒント情報との間の差は、(i)学習用第3特性情報と学習用第1特性情報との間の差、(ii)学習用第3特性情報と学習用第2特性情報との間の差、及び(iii)前記(i)と前記(ii)との平均の中で少なくとも一つを含むことができる。
【0081】
これとは違って、前記プロセスを利用して第1学習装置によって変造ネットワークOが学習された状態で、第2学習装置100はテストデータを学習された変造ネットワークOに入力することで、変造されたテストデータと、テストデータに対応されるテストデータGTとを獲得することができる。
【0082】
次に、第2学習装置100は変造されたテストデータを使用者ラーニングネットワークGに入力することで、使用者ラーニングネットワークGをもって変造されたテストデータに対してラーニング演算を適用して学習用第4特性情報を出力させるプロセスを遂行することができる。
【0083】
以後、第2学習装置100は、テスト用データロスを参照して算出されることができる第4エラーを最小化するように使用者ラーニングネットワークGを学習することで、使用者ラーニングネットワークGをもって変造されたテストデータをテストデータとして認識させることができる。このとき、テスト用データロスは(i)学習用第4特性情報を利用して生成された学習用第4タスク特定出力と(ii)テストデータGTとを参照して獲得されることができる。
【0084】
一方、第2学習装置100は、(i)変造されたテストデータを学習用ラーニングネットワークFに入力して生成されたテスト用第1特性情報及び(ii)テストデータを学習用ラーニングネットワークFに入力して生成されたテスト用第2特性情報の中で少なくとも一部を含む学習用第2ヒント情報をさらに獲得することができる。
【0085】
そして、第2学習装置100は、(i)学習用第4特性情報と学習用第2ヒント情報との間の差、及び(ii)テスト用データロスの中で少なくとも一つを参照して第4エラーを獲得することができる。
【0086】
このとき、学習用第4特性情報と学習用第2ヒント情報との間の差は、(i)学習用第4特性情報とテスト用第1特性情報との間の差、(ii)学習用第4特性情報とテスト用第2特性情報との間の差、及び(iii)前記(i)と前記(ii)との平均の中で少なくとも一つを含むことができる。
【0087】
図4は本発明の一実施例によって原本データをコンシーリング(例:非識別化)処理する変造ネットワークを学習する他の方法を簡略に示したものである。変造ネットワークOの学習方法に対応して使用者ラーニングネットワークを学習する方法を説明すれば次のとおりである。図4図3における学習用ラーニングネットワークFが学習されたパラメータを持つ多数の学習用ラーニングネットワークF1、F2、…、Fnで構成されたものである。このとき、多数の学習用ラーニングネットワークF1、F2、…、Fnのそれぞれは互いに異なるタスクの少なくとも一部を遂行するように学習された状態である。下記の説明では前記図3の説明で容易に理解可能な部分に対しては詳細な説明を省略する。
【0088】
先ず、第1学習装置200を利用して原本データをコンシーリング(例:非識別化)処理する変造ネットワークOを学習する方法を説明する。
【0089】
トレーニングデータが獲得されると、第1学習装置200は、トレーニングデータを変造ネットワークOに入力することで、変造ネットワークOをもってトレーニングデータを変造するようにして変造されたトレーニングデータを生成させることができる。
【0090】
このとき、トレーニングデータは学習に利用するための原本データである原本トレーニングデータまたは原本トレーニングデータを変換した変換トレーニングデータであって、変造されたトレーニングデータは、人にはトレーニングデータと異なるものとして認識されるが、ラーニングネットワークではトレーニングデータと同一または類似なものとして認識されることができる。
【0091】
そして、第1学習装置200は、変造されたトレーニングデータを学習用第1ラーニングネットワークF1ないし学習用第nラーニングネットワークFnのそれぞれに入力することで、学習用第1ラーニングネットワークF1ないし学習用第nラーニングネットワークFnそれぞれをもって(i)学習用第1ラーニングネットワークF1ないし学習用第nラーニングネットワークFnそれぞれの第1学習されたパラメータないし第n学習されたパラメータをそれぞれ利用したラーニング演算を変造されたトレーニングデータに対して適用し、(ii)変造されたトレーニングデータに対応する学習用第1_1特性情報ないし学習用第1_n特性情報のそれぞれを生成させることができる。また、第1学習装置200は、トレーニングデータを学習用第1ラーニングネットワークF1ないし学習用第nラーニングネットワークFnそれぞれに入力することで、学習用第1ラーニングネットワークF1ないし学習用第nラーニングネットワークFnそれぞれをもって(i)学習用第1ラーニングネットワークF1ないし学習用第nラーニングネットワークFnそれぞれの第1学習されたパラメータないし第n学習されたパラメータをそれぞれ利用したラーニング演算をトレーニングデータに対して適用し、(ii)トレーニングデータに対応する学習用第2_1特性情報ないし学習用第2_n特性情報それぞれを生成させることができる。
【0092】
以後、第1学習装置200は、学習用第1_1特性情報と学習用第2_1特性情報とを参照して算出された第1_1エラーないし学習用第1_n特性情報と学習用第2_n特性情報とを参照して算出された第1_nエラーの加重合計(Weighted Sum)である第1エラーを獲得してこの第1エラーを最小化するようにし、トレーニングデータと変造されたトレーニングデータとを参照して算出された第2エラーを最大化するように、変造ネットワークOを学習することができる。
【0093】
一例として、第1学習装置200は、(i)学習用第1_1特性情報と学習用第2_1特性情報との間の差、及び(ii)(ii‐1)学習用第1_1特性情報を利用して生成された学習用第1タスク特定出力と(ii‐2)トレーニングデータGTとを参照して算出された第1変造ロスの中で少なくとも一つを参照して算出された第1_1エラーを獲得し、(i)学習用第1_n特性情報と学習用第2_n特性情報との間の差、及び(ii)(ii‐1)学習用第1_n特性情報を利用して生成された学習用第nタスク特定出力と(ii‐2)トレーニングデータGTとを参照して算出された第n変造ロスの中で少なくとも一つを参照して算出された第1_nエラーを獲得することで、第1_1エラーないし第1_nエラーを獲得することができる。
【0094】
すなわち、第1_nエラーは、(i)学習用第1_n特性情報と学習用第2_n特性情報との間の差、(ii)(ii‐1)学習用第1_n特性情報を利用して生成された学習用第nタスク特定出力と(ii‐2)トレーニングデータGTとを参照して算出された第n変造ロス、及び(iii)前記(i)と前記(ii)の総和の中でいずれか一つであることができるが、本発明の範囲がこれに限定されない。
【0095】
また、第1学習装置200は変造されたトレーニングデータのエントロピーとノイズ度合いのうち、少なくとも一部を参照して少なくとも一つのクオリティを測定することができるし、測定されたクオリティをさらに参照して第1エラーを獲得することができる。すなわち、第1学習装置200は、変造されたトレーニングデータのクオリティを最小化(例えば、変造されたトレーニングデータのエントロピー、ノイズなどの少なくとも一部を最大化)するように変造ネットワークOを学習することができる。
【0096】
そして、第1学習装置が第1エラーを最小化するようにし、第2エラーを最大化するように変造ネットワークOを学習する場合、第1学習装置200は学習用ラーニングネットワークF、すなわち、学習用第1ラーニングネットワークF1ないし学習用第nラーニングネットワークFnの学習されたパラメータを固定してアップデートせず、変造ネットワークOに対してのみ学習を進めることができる。
【0097】
次に、前記プロセスを利用して第1学習装置200によって変造ネットワークOが学習された状態で、第2学習装置100は変造されたトレーニングデータとトレーニングデータGTとを獲得することができる。
【0098】
そして、第2学習装置100は、変造されたトレーニングデータを使用者ラーニングネットワークGに入力することで、使用者ラーニングネットワークGをもって変造されたトレーニングデータに対してラーニング演算を適用して学習用第3特性情報を出力させるプロセスを遂行することができる。このとき、第1学習装置200と第2学習装置100とは同一装置であるか、または異なる装置である。
【0099】
以後、第2学習装置100は、学習用データロスを参照して算出された第3エラーを最小化するように使用者ラーニングネットワークGを学習することで、使用者ラーニングネットワークGが変造されたトレーニングデータを学習データとして認識させることができる。このとき、学習用データロスは(i)学習用第3特性情報を利用して生成された学習用第3タスク特定出力と(ii)トレーニングデータGTとを参照して獲得されることができる。
【0100】
一方、第2学習装置100は、(i)学習用第1_1特性情報ないし学習用第1_n特性情報の平均及び(ii)学習用第2_1特性情報ないし学習用第2_n特性情報の平均の中で少なくとも一つを含む学習用第1ヒント情報をさらに獲得することができる。
【0101】
そして、第2学習装置100は、(i)学習用第3特性情報と学習用第1ヒント情報との間の差、及び(ii)学習用データロスの中で少なくとも一つを参照して第3エラーを獲得することができる。
【0102】
このとき、学習用第3特性情報と学習用第1ヒント情報との間の差は、(i)学習用第3特性情報と、学習用第1_1特性情報ないし学習用第1_n特性情報の平均との差、(ii)学習用第3特性情報と、学習用第2_1特性情報ないし学習用第2_n特性情報の平均との差、及び(iii)前記(i)と前記(ii)との平均の中で少なくとも一つを含むことができる。
【0103】
これとは違って、前記プロセスを利用して第1学習装置200によって変造ネットワークOが学習された状態で、第2学習装置100はテストデータを学習された変造ネットワークOに入力することで、変造されたテストデータと、テストデータに対応されるテストデータGTとを獲得することができる。
【0104】
次に、第2学習装置100は、変造されたテストデータを使用者ラーニングネットワークGに入力することで、使用者ラーニングネットワークGをもって変造されたテストデータに対してラーニング演算を適用して学習用第4特性情報を生成させるプロセスを遂行することができる。
【0105】
以後、第2学習装置100は、テスト用データロスを参照して算出された第4エラーを最小化するように使用者ラーニングネットワークGを学習することで、使用者ラーニングネットワークGをもって変造されたテストデータをテストデータとして認識させることができる。このとき、テスト用データロスは(i)学習用第4特性情報を利用して生成された学習用第4タスク特定出力と(ii)テストデータGTとを参照して獲得されることができる。
【0106】
一方、第2学習装置100は、(i)変造されたテストデータを学習用第1ラーニングネットワークF1ないし学習用第nラーニングネットワークFnのそれぞれに入力して生成されたテスト用第1_1特性情報ないしテスト用第1_n特性情報の平均及び(ii)テストデータを学習用第1ラーニングネットワークF1ないし学習用第nラーニングネットワークFnのそれぞれに入力して生成されたテスト用第2_1特性情報ないしテスト用第2_n特性情報の平均の中で少なくとも一つを含む学習用第2ヒント情報をさらに獲得することができる。
【0107】
そして、第2学習装置100は(i)学習用第4特性情報と学習用第2ヒント情報との間の差、及び(ii)テスト用データロスの中で少なくとも一つを参照して第4エラーを獲得することができる。
【0108】
このとき、学習用第4特性情報と学習用第2ヒント情報との間の差は、(i)学習用第4特性情報と、テスト用第1_1特性情報ないしテスト用第1_n特性情報の平均との差、(ii)学習用第4特性情報と、テスト用第2_1特性情報ないしテスト用第2_n特性情報の平均との差、及び前記(i)と前記(ii)との平均の中で少なくとも一つを含むことができる。
【0109】
一方、学習用第1_1特性情報と学習用第2_1特性情報とを参照して算出された第1_1エラーないし学習用第1_n特性情報と学習用第2_n特性情報とを参照して算出された第1_nエラーの加重合計である第1エラーを獲得してこの第1エラーを最小化し、トレーニングデータと変造されたトレーニングデータとを参照して算出された第2エラーを最大化するように、変造ネットワークOを学習することができる。しかし、これとは違って、第1_1エラーないし第1_nエラーのそれぞれを利用して変造ネットワークOを順次学習することもできる。
【0110】
すなわち、第1学習装置200は、トレーニングデータを変造ネットワークOに入力することで、変造ネットワークOをもってトレーニングデータを変造するようにして第1変造されたトレーニングデータを生成させることができる。そして、第1学習装置200は、(i)第1変造されたトレーニングデータを学習用第1ラーニングネットワークF1に入力することで、学習用第1ラーニングネットワークF1をもって(i‐1)学習用第1ラーニングネットワークF1の第1学習されたパラメータを利用したラーニング演算を第1変造されたトレーニングデータに対して適用し、(i‐2)第1変造されたトレーニングデータに対応する学習用第1_1特性情報を出力させるプロセス、及び(ii)トレーニングデータを学習用第1ラーニングネットワークF1に入力することで、(iii)学習用第1ラーニングネットワークF1をもって(iii‐1)第1学習されたパラメータを利用したラーニング演算をトレーニングデータに対して適用し、(iii‐2)トレーニングデータに対応する学習用第2_1特性情報を出力させるプロセスを遂行したり、他の装置をもって遂行するように支援することができる。以後、第1学習装置200は、学習用第1_1特性情報と学習用第2_1特性情報とを参照して算出されることができる第1_1エラーを最小化し、トレーニングデータと第1変造されたトレーニングデータとを参照して算出されることができる第2_1エラーを最大化するように、変造ネットワークOを学習することで、変造ネットワークOが第1学習された変造ネットワークOになるようにすることができる。
【0111】
そして、第1学習装置200は、定数であるkを2からnまで増加させながら前記動作を繰り返し、学習用第nラーニングネットワークFnまで遂行することで、第n学習された変造ネットワークOを獲得することができる。
【0112】
すなわち、第1学習装置200は、トレーニングデータを第(k‐1)学習された変造ネットワークOに入力することで、第(k‐1)学習された変造ネットワークOをもってトレーニングデータを変造するようにして第k変造されたトレーニングデータを生成させることができる。そして、第1学習装置200は、(i)第k変造されたトレーニングデータを学習用第kラーニングネットワークFkに入力することで、学習用第kラーニングネットワークFkをもって(i‐1)学習用第kラーニングネットワークFkの第k学習されたパラメータを利用したラーニング演算を第k変造されたトレーニングデータに対して適用し、(i‐2)第k変造されたトレーニングデータに対応する学習用第1_k特性情報を出力させるプロセス、及び(ii)トレーニングデータを学習用第kラーニングネットワークFkに入力することで、学習用第kラーニングネットワークFkをもって(ii‐1)学習用第kラーニングネットワークFkの第k学習されたパラメータを利用したラーニング演算をトレーニングデータに対して適用し、(ii‐2)トレーニングデータに対応する学習用第2_k特性情報を出力させるプロセスを遂行したり、他の装置をもって遂行するように支援することができる。以後、第1学習装置200は、学習用第1_k特性情報と学習用第2_k特性情報とを参照して算出された第1_kエラーを最小化するようにし、トレーニングデータと第k変造されたトレーニングデータを参照して算出された第2_kエラーを最大化するように、第(k‐1)学習された変造ネットワークOを学習することで、第(k‐1)学習された変造ネットワークOが第k学習された変造ネットワークOになるようにすることができる。
【0113】
このとき、第1_kエラーは、(i)学習用第1_k特性情報を利用して生成された、第k変造されたトレーニングデータに対する学習用第kタスク特定出力と(ii)トレーニングデータに対応されるトレーニングデータGTとを参照して獲得された第k変造ロスをさらに参照して算出されることができる。
【0114】
また、第1_kエラーは、(i)学習用第1_k特性情報と学習用第2_k特性情報との間の差、(ii)第k変造ロス、及び(iii)前記(i)と前記(ii)の総和の中でいずれか一つであってもよいが、本発明の範囲がこれに限定されない。
【0115】
次に、前記プロセスを利用して第1学習装置によって変造ネットワークOが学習された状態で、第2学習装置100は(i)第1変造されたトレーニングデータないし第n変造されたトレーニングデータの中で少なくとも一部の変造されたトレーニングデータと(ii)トレーニングデータGTとを獲得することができる。
【0116】
そして、第2学習装置100は、第1変造されたトレーニングデータないし第n変造されたトレーニングデータの中で少なくとも一部の変造されたトレーニングデータを使用者ラーニングネットワークGに入力することで、使用者ラーニングネットワークGをもって変造されたトレーニングデータに対してラーニング演算を適用して学習用第3特性情報を生成させるプロセスを遂行することができる。このとき、第1学習装置200と第2学習装置100とは同一装置であるか、または異なる装置である。
【0117】
以後、第2学習装置100は、学習用データロスを参照して算出された第3エラーを最小化するように使用者ラーニングネットワークGを学習することで、使用者ラーニングネットワークGが変造されたトレーニングデータを学習データとして認識させることができる。このとき、学習用データロスは(i)学習用第3特性情報を利用して生成された学習用第3タスク特定出力と(ii)トレーニングデータGTとを参照して獲得されることができる。
【0118】
一方、第2学習装置100は(i)学習用第1_1特性情報ないし学習用第1_n特性情報の平均及び(ii)学習用第2_1特性情報ないし学習用第2_n特性情報の平均の中で少なくとも一つを含む学習用第1ヒント情報をさらに獲得することができる。
【0119】
そして、第2学習装置100は(i)学習用第3特性情報と学習用第1ヒント情報との間の差、及び(ii)学習用データロスの中で少なくとも一つを参照して第3エラーを獲得することができる。
【0120】
このとき、学習用第3特性情報と学習用第1ヒント情報との間の差は、(i)学習用第3特性情報と、学習用第1_1特性情報ないし学習用第1_n特性情報の平均との差、(ii)学習用第3特性情報と、学習用第2_1特性情報ないし学習用第2_n特性情報の平均との差、及び(iii)前記(i)と前記(ii)との平均の中で少なくとも一つを含むことができる。
【0121】
これとは違って、前記プロセスを利用して第1学習装置200によって変造ネットワークOが学習された状態で、第2学習装置100はテストデータを学習された変造ネットワークOに入力することで、変造されたテストデータと、テストデータに対応されるテストデータGTとを獲得することができる。
【0122】
そして、第2学習装置100は、変造されたテストデータを使用者ラーニングネットワークGに入力することで、使用者ラーニングネットワークGをもって変造されたテストデータに対してラーニング演算を適用して学習用第4特性情報を生成させることができる。
【0123】
以後、第2学習装置100は、テスト用データロスを参照して算出された第4エラーを最小化するように使用者ラーニングネットワークGを学習することで、使用者ラーニングネットワークGをもって変造されたテストデータをテストデータとして認識させることができる。このとき、テスト用データロスは(i)学習用第4特性情報を利用して生成された学習用第4タスク特定出力と(ii)テストデータGTとを参照して獲得されることができる。
【0124】
一方、第2学習装置100は、(i)変造されたテストデータを学習用第1ラーニングネットワークF1ないし学習用第nラーニングネットワークFnのそれぞれに入力して生成されたテスト用第1_1特性情報ないしテスト用第1_n特性情報の平均及び(ii)テストデータを学習用第1ラーニングネットワークF1ないし学習用第nラーニングネットワークFnのそれぞれに入力して生成されたテスト用第2_1特性情報ないしテスト用第2_n特性情報の平均の中で少なくとも一つを含む学習用第2ヒント情報をさらに獲得することができる。
【0125】
そして、第2学習装置100は(i)学習用第4特性情報と学習用第2ヒント情報との間の差、及び(ii)テスト用データロスの中で少なくとも一つを参照して第4エラーを獲得することができる。
【0126】
このとき、学習用第4特性情報と学習用第2ヒント情報との間の差は、(i)学習用第4特性情報と、テスト用第1_1特性情報ないしテスト用第1_n特性情報の平均との差、(ii)学習用第4特性情報と、テスト用第2_1特性情報ないしテスト用第2_n特性情報の平均との差、及び(iii)前記(i)と前記(ii)との平均の中で少なくとも一つを含むことができる。
【0127】
図5は本発明の他の実施例によって原本データをコンシーリング(例:非識別化)処理する変造ネットワークを学習する方法を簡略に示したものである。変造ネットワークの学習方法に対応する使用者ラーニングネットワークを学習方法を説明すれば次のとおりである。以下の説明では、図2ないし図4の説明から容易に理解可能な部分については詳細な説明を省略する。
【0128】
先ず、第1学習装置200を利用して原本データをコンシーリング(例:非識別化)処理する変造ネットワークOを学習する方法を説明する。
【0129】
トレーニングデータが獲得されると、第1学習装置200は、トレーニングデータを変造ネットワークOに入力することで、変造ネットワークOをもってトレーニングデータを変造するようにして変造されたトレーニングデータを生成させることができる。
【0130】
そして、第1学習装置200は、(i)変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つ学習用ラーニングネットワークFに入力することで、学習用ラーニングネットワークFをもって(i‐1)学習されたパラメータを利用したラーニング演算を変造されたトレーニングデータに対して適用し、(i‐2)変造されたトレーニングデータに対応する学習用第1特性情報を生成させるプロセス、及び(ii)トレーニングデータを学習用ラーニングネットワークFに入力することで、学習用ラーニングネットワークFをもって(ii‐1)学習されたパラメータを利用したラーニング演算をトレーニングデータに対して適用し、(ii‐2)トレーニングデータに対応する学習用第2特性情報を生成させるプロセスを遂行したり、他の装置をもって遂行するように支援することができる。
【0131】
以後、入力されるデータが本物か否かを判別するために判別機(Discriminator、D)に入力された変造されたトレーニングデータに対応される少なくとも一つの変造されたトレーニングデータスコア(Obfuscated Training Data Score)を第2エラーで獲得した状態で、第1学習装置200は、(i)第1エラーを最小化するようにして第2エラーを最大化するように変造ネットワークOを学習するとともに、(ii)判別機Dに入力された変換トレーニングデータまたは変換変造されたトレーニングデータに対応される変換トレーニングデータスコアまたは変換変造されたトレーニングデータスコアの中で少なくとも一つを最大化し、変造されたトレーニングデータスコアを最小化するように、判別機Dを学習することができる。このとき、変換トレーニングデータまたは変換変造されたトレーニングデータは、トレーニングデータまたは変造されたトレーニングデータに対してランダムノイズ生成ネットワーク(未図示)を通じて生成された少なくとも一つのランダムノイズを追加してそれぞれ生成されることができる。一例として、ランダムノイズ生成ネットワークが正規分布N(0、σ)を持つランダムノイズを生成するようにし、生成されたノイズをトレーニングデータまたは変造されたトレーニングデータに追加して変換トレーニングデータを生成することができる。また、変換トレーニングデータまたは変換変造されたトレーニングデータは、ランダムノイズ以外にもトレーニングデータまたは変造されたトレーニングデータをブラー処理したり、トレーニングデータまたは変造されたトレーニングデータの解像度を変更してそれぞれ生成されることができるが、本発明の範囲がこれに限定されないし、トレーニングデータまたは変造されたトレーニングデータを変換する多様な方法が適用されることができる。
【0132】
すなわち、第1学習装置200は、変造ネットワークOを学習するにあたり、学習用ラーニングネットワークFが第1エラーを利用してトレーニングデータを変造して、変造されたトレーニングデータがトレーニングデータと同一または類似に認識されるように、変造されたトレーニングデータを出力するように変造ネットワークOを学習し、学習用ラーニングネットワークFが第2エラーを利用してトレーニングデータとは異なるが、トレーニングデータとの区別が難しくなるようにする変造されたトレーニングデータを出力させることができる。
【0133】
このとき、判別機Dに入力された変換トレーニングデータまたは変換変造されたトレーニングデータに対応される変換トレーニングデータスコアまたは変換変造されたトレーニングデータスコアの最大値は、変換トレーニングデータまたは変換変造されたトレーニングデータを本物のデータとして判別する1であり、判別機Dに入力された変造されたトレーニングデータに対応される変造されたトレーニングデータスコアの最小値は、変造されたトレーニングデータをにせ物のデータとして判別する0である。すなわち、判別機Dは変造されたトレーニングデータを変換トレーニングデータまたは変換変造されたトレーニングデータとして認識するように学習されることができる。
【0134】
次に、前記プロセスを利用して第1学習装置200によって変造ネットワークOが学習された状態で、第2学習装置100は変造されたトレーニングデータとトレーニングデータGTとを獲得することができる。
【0135】
そして、第2学習装置100は、変造されたトレーニングデータを使用者ラーニングネットワークGに入力することで、使用者ラーニングネットワークGをもって変造されたトレーニングデータに対してラーニング演算を適用して学習用第3特性情報を生成させることができる。このとき、第1学習装置200と第2学習装置100とは同一装置であるか、または異なる装置である。
【0136】
以後、第2学習装置100は、学習用データロスを参照して算出された第3エラーを最小化するように使用者ラーニングネットワークGを学習することで、使用者ラーニングネットワークGをもって変造されたトレーニングデータを学習データとして認識させることができる。このとき、学習用データロスは(i)学習用第3特性情報を利用して生成された学習用第3タスク特定出力と(ii)トレーニングデータGTとを参照して獲得されることができる。
【0137】
一方、第2学習装置100は、学習用第1特性情報及び学習用第2特性情報の中で少なくとも一部を含む学習用第1ヒント情報をさらに獲得することができる。
【0138】
そして、第2学習装置100は、(i)学習用第3特性情報と学習用第1ヒント情報との間の差、及び(ii)学習用データロスの中で少なくとも一つを参照して第3エラーを獲得することができる。
【0139】
このとき、学習用第3特性情報と学習用第1ヒント情報との間の差は、(i)学習用第3特性情報と学習用第1特性情報との間の差、(ii)学習用第3特性情報と学習用第2特性情報との間の差、及び(iii)前記(i)と前記(ii)との平均の中で少なくとも一つを含むことができる。
【0140】
これとは違って、前記プロセスを利用して第1学習装置によって変造ネットワークOが学習された状態で、第2学習装置100はテストデータを学習された変造ネットワークOに入力することで、変造されたテストデータと、テストデータに対応されるテストデータGTとを獲得することができる。
【0141】
そして、第2学習装置100は、変造されたテストデータを使用者ラーニングネットワークGに入力することで、使用者ラーニングネットワークGをもって変造されたテストデータに対してラーニング演算して学習用第4特性情報を生成させるプロセスを遂行することができる。
【0142】
以後、第2学習装置100は、テスト用データロスを参照して算出された第4エラーを最小化するように使用者ラーニングネットワークGを学習することで、使用者ラーニングネットワークGをもって変造されたテストデータをテストデータとして認識させることができる。このとき、テスト用データロスは(i)学習用第4特性情報を利用して生成された学習用第4タスク特定出力と(ii)テストデータGTとを参照して獲得されることができる。
【0143】
一方、第2学習装置100は、(i)変造されたテストデータを学習用ラーニングネットワークFに入力して生成されたテスト用第1特性情報及び(ii)テストデータを学習用ラーニングネットワークFに入力して生成されたテスト用第2特性情報の中で少なくとも一部を含む学習用第2ヒント情報をさらに獲得することができる。
【0144】
そして、第2学習装置100は(i)学習用第4特性情報と学習用第2ヒント情報との間の差、及び(ii)テスト用データロスの中で少なくとも一つを参照して第4エラーを獲得することができる。
【0145】
このとき、学習用第4特性情報と学習用第2ヒント情報との間の差は、(i)学習用第4特性情報とテスト用第1特性情報との間の差、(ii)学習用第4特性情報とテスト用第2特性情報との間の差、及び(iii)前記(i)と(ii)との平均の中で少なくとも一つを含むことができる。
【0146】
図6は本発明の他の実施例によって原本データをコンシーリング処理する変造ネットワークを学習する他の方法を簡略に示したものである。変造ネットワークの学習方法に対応する使用者ラーニングネットワークを学習する方法を説明すれば次のとおりである。図6図5における学習用ラーニングネットワークFが学習されたパラメータを持つ多数の学習用ラーニングネットワークF1、F2、…、Fnで構成されたものである。下記の説明では、前記図2ないし図5の説明で容易に理解可能な部分については詳細な説明を省略する。
【0147】
先ず、第1学習装置200を利用して原本データをコンシーリング(例:非識別化)処理する変造ネットワークOを学習する方法を説明する。
【0148】
トレーニングデータが獲得されると、第1学習装置200は、トレーニングデータを変造ネットワークOに入力することで、変造ネットワークOをもってトレーニングデータを変造して変造されたトレーニングデータを生成させることができる。
【0149】
そして、第1学習装置200は、変造されたトレーニングデータを学習用第1ラーニングネットワークF1ないし学習用第nラーニングネットワークFnのそれぞれに入力することで、学習用第1ラーニングネットワークF1ないし学習用第nラーニングネットワークFnをもって(i)学習用第1ラーニングネットワークF1ないし学習用第nラーニングネットワークFnそれぞれの第1学習されたパラメータないし第n学習されたパラメータをそれぞれ利用したラーニング演算を変造されたトレーニングデータに対して適用し、(ii)変造されたトレーニングデータに対応する学習用第1_1特性情報ないし学習用第1_n特性情報それぞれを生成させることができる。また、第1学習装置200は、トレーニングデータを学習用第1ラーニングネットワークF1ないし学習用第nラーニングネットワークFnのそれぞれに入力することで、学習用第1ラーニングネットワークF1ないし学習用第nラーニングネットワークFnのそれぞれをもって(i)学習用第1ラーニングネットワークF1ないし学習用第nラーニングネットワークFnそれぞれの第1学習されたパラメータないし第n学習されたパラメータをそれぞれ利用したラーニング演算をトレーニングデータに対して適用し、(ii)トレーニングデータに対応する学習用第2_1特性情報ないし学習用第2_n特性情報のそれぞれを生成させることができる。
【0150】
以後、第1学習装置200は、学習用第1_1特性情報と学習用第2_1特性情報とを参照して算出された第1_1エラーないし学習用第1_n特性情報と学習用第2_n特性情報とを参照して算出された第1_nエラーの加重合計である第1エラーを獲得してこの第1エラーを最小化するようにし、判別機Dに入力された変造されたトレーニングデータに対応される変造されたトレーニングデータスコアである第2エラーを最大化するように、変造ネットワークOを学習し、第1学習装置200は、判別機Dに入力された変換トレーニングデータまたは変換変造されたトレーニングデータに対応される変換トレーニングデータスコアまたは変換変造されたトレーニングデータスコアを最大化するようにし、変造されたトレーニングデータスコアを最小化するように判別機Dを学習することができる。
【0151】
一例として、第1学習装置200は、(i)学習用第1_1特性情報と学習用第2_1特性情報との間の差、及び(ii)(ii‐1)学習用第1_1特性情報を利用して生成された学習用第1タスク特定出力と(ii‐2)トレーニングデータGTとを参照して算出された第1変造ロスの中で少なくとも一つを参照して算出された、第1_1エラーを獲得し、(i)学習用第1_n特性情報と学習用第2_n特性情報との間の差、及び(ii)(ii‐1)学習用第1_n特性情報を利用して生成された学習用第nタスク特定出力と(ii‐2)トレーニングデータGTとを参照して算出された、第n変造ロスの中で少なくとも一つを参照して算出された第1_nエラーを獲得することで、第1_1エラーないし第1_nエラーを獲得することができる。
【0152】
すなわち、第1_nエラーは、(i)学習用第1_n特性情報と学習用第2_n特性情報との間の差、(ii)(ii‐1)学習用第1_n特性情報を利用して生成された学習用第nタスク特定出力と(ii‐2)トレーニングデータGTとを参照して算出された第n変造ロス、及び(iii)前記(i)と前記(ii)の総和の中でいずれか一つであってもよいが、本発明の範囲がこれに限定されない。
【0153】
次に、前記プロセスを利用して第1学習装置200によって変造ネットワークOが学習された状態で、第2学習装置100は変造されたトレーニングデータとトレーニングデータGTとを獲得することができる。
【0154】
そして、第2学習装置100は、変造されたトレーニングデータを使用者ラーニングネットワークGに入力することで、使用者ラーニングネットワークGをもって変造されたトレーニングデータに対してラーニング演算を適用して学習用第3特性情報を生成させることができる。このとき、第1学習装置200と第2学習装置100とは同一装置であるか、または異なる装置である。
【0155】
以後、第2学習装置100は、学習用データロスを参照して算出された第3エラーを最小化するように使用者ラーニングネットワークGを学習することで、使用者ラーニングネットワークGをもって変造されたトレーニングデータを学習データとして認識させることができる。このとき、学習用データロスは(i)学習用第3特性情報を利用して生成された学習用第3タスク特定出力と(ii)トレーニングデータGTを参照して獲得されることができる。
【0156】
一方、第2学習装置100は、(i)学習用第1_1特性情報ないし学習用第1_n特性情報の平均及び(ii)学習用第2_1特性情報ないし学習用第2_n特性情報の平均の中で少なくとも一つを含む学習用第1ヒント情報をさらに獲得することができる。
【0157】
そして、第2学習装置100は、(i)学習用第3特性情報と学習用第1ヒント情報との間の差、及び(ii)学習用データロスの中で少なくとも一つを参照して第3エラーを獲得することができる。
【0158】
このとき、学習用第3特性情報と学習用第1ヒント情報との間の差は、(i)学習用第3特性情報と、学習用第1_1特性情報ないし学習用第1_n特性情報の平均との差、(ii)学習用第3特性情報と、学習用第2_1特性情報ないし学習用第2_n特性情報の平均との差、及び(iii)前記(i)と前記(ii)との平均の中で少なくとも一つを含むことができる。
【0159】
これとは違って、前記プロセスを利用して第1学習装置200によって変造ネットワークOが学習された状態で、第2学習装置100はテストデータを学習された変造ネットワークOに入力することで、変造されたテストデータと、テストデータに対応されるテストデータGTとを獲得することができる。
【0160】
そして、第2学習装置100は、変造されたテストデータを使用者ラーニングネットワークGに入力することで、使用者ラーニングネットワークGをもって変造されたテストデータに対してラーニング演算を適用して学習用第4特性情報を生成させることができる。
【0161】
以後、第2学習装置100は、テスト用データロスを参照して算出された第4エラーを最小化するように使用者ラーニングネットワークGを学習することで、使用者ラーニングネットワークGをもって変造されたテストデータをテストデータとして認識させることができる。このとき、テスト用データロスは(i)学習用第4特性情報を利用して生成された学習用第4タスク特定出力と(ii)テストデータGTとを参照して獲得されることができる。
【0162】
一方、第2学習装置100は、(i)変造されたテストデータを学習用第1ラーニングネットワークF1ないし学習用第nラーニングネットワークFnのそれぞれに入力して生成されたテスト用第1_1特性情報ないしテスト用第1_n特性情報の平均及び(ii)テストデータを学習用第1ラーニングネットワークF1ないし学習用第nラーニングネットワークFnのそれぞれに入力して生成されたテスト用第2_1特性情報ないしテスト用第2_n特性情報の平均の中で少なくとも一つを含む学習用第2ヒント情報をさらに獲得することができる。
【0163】
そして、第2学習装置100は(i)学習用第4特性情報と学習用第2ヒント情報との間の差、及び(ii)テスト用データロスの中で少なくとも一つを参照して第4エラーを獲得することができる。
【0164】
このとき、学習用第4特性情報と学習用第2ヒント情報との間の差は、(i)学習用第4特性情報と、テスト用第1_1特性情報ないしテスト用第1_n特性情報の平均との差、(ii)学習用第4特性情報と、テスト用第2_1特性情報ないしテスト用第2_n特性情報の平均との差、及び(iii)前記(i)と前記(ii)との平均の中で少なくとも一つを含むことができる。
【0165】
一方、学習用第1_1特性情報と学習用第2_1特性情報とを参照して算出された第1_1エラーないし学習用第1_n特性情報と学習用第2_n特性情報とを参照して算出された第1_nエラーの加重合計である第1エラーを獲得してこの第1エラーを最小化するようにし、判別機に入力された変造されたトレーニングデータに対応される変造されたトレーニングデータスコアである第2エラーを最大化するように、変造ネットワークOを学習することができる。しかし、これとは違って、第1_1エラーないし第1_nエラーのそれぞれを利用して変造ネットワークOを順次学習することもできる。
【0166】
すなわち、第1学習装置200は、トレーニングデータを変造ネットワークOに入力することで、変造ネットワークOをもってトレーニングデータを変造して第1変造されたトレーニングデータを生成させることができる。そして、第1学習装置200は、(i)第1変造されたトレーニングデータを学習用第1ラーニングネットワークF1に入力することで、学習用第1ラーニングネットワークF1をもって(i‐1)学習用第1ラーニングネットワークF1の第1学習されたパラメータを利用したラーニング演算を第1変造されたトレーニングデータに対して適用し、(i‐2)第1変造されたトレーニングデータに対応する学習用第1_1特性情報を出力させるプロセス、及び(ii)トレーニングデータを学習用第1ラーニングネットワークF1に入力することで、(iii)学習用第1ラーニングネットワークF1をもって(iii‐1)第1学習されたパラメータを利用したラーニング演算をトレーニングデータに対して適用し、(iii‐2)トレーニングデータに対応する学習用第2_1特性情報を出力させるプロセスを遂行したり、他の装置をもって遂行するように支援することができる。以後、第1学習装置200は、第1_1特性情報と第2_1特性情報とを参照して算出された少なくとも一つの第1_1エラーを最小化するようにし、判別機Dに入力された第1変造されたトレーニングデータに対応される第1変造されたトレーニングデータスコアである第2_1エラーを最大化するように、変造ネットワークOを学習することで、変造ネットワークOが第1学習された変造ネットワークOになるようにすることができる。また、判別機Dに入力された変換トレーニングデータまたは変換変造されたトレーニングデータに対応される少なくとも一つの第1変換トレーニングデータスコアまたは少なくとも一つの第1変換変造されたトレーニングデータスコアを最大化するようにし、少なくとも一つの第1変造されたトレーニングデータスコアを最小化するように、判別機Dを学習することで、判別機Dが第1学習された判別機Dになるようにすることができる。
【0167】
そして、第1学習装置200は、定数であるkを2からnまで増加させながら、前記動作を繰り返して学習用第nラーニングネットワークFnまで遂行することで第n学習された変造ネットワークOを獲得することができる。
【0168】
すなわち、第1学習装置200は、トレーニングデータを第(k‐1)学習された変造ネットワークOに入力することで、第(k‐1)変造ネットワークOをもってトレーニングデータを変造して第k変造されたトレーニングデータを生成させることができる。そして、第1学習装置200は、(i)第k変造されたトレーニングデータを学習用第kラーニングネットワークFkに入力することで、学習用第kラーニングネットワークFkをもって(i‐1)学習用第kラーニングネットワークFkの第k学習されたパラメータを利用したラーニング演算を第k変造されたトレーニングデータに対して適用し、(i‐2)第k変造されたトレーニングデータに対応する学習用第1_k特性情報を出力させるプロセス、及び(ii)トレーニングデータを学習用第kラーニングネットワークFkに入力することで、学習用第kラーニングネットワークFkをもって(ii‐1)第k学習されたパラメータを利用したラーニング演算をトレーニングデータに対して適用し、(ii‐2)トレーニングデータに対応する学習用第2_k特性情報を出力させるプロセスを遂行したり、他の装置をもって遂行するように支援することができる。以後、第1学習装置200は、学習用第1_k特性情報と学習用第2_k特性情報とを参照して算出された少なくとも一つの第1_kエラーを最小化するようにし、第(k‐1)学習された判別機Dに入力された第k変造されたトレーニングデータに対応される少なくとも一つの第k変造されたトレーニングデータスコアである第2_kエラーを最大化するように、第(k‐1)学習された変造ネットワークOを学習することで、第(k‐1)学習された変造ネットワークOが第k学習された変造ネットワークOになるようにすることができる。そして、第(k‐1)学習された判別機Dに入力された変換トレーニングデータまたは変換変造されたトレーニングデータに対応される少なくとも一つの第k変換トレーニングデータスコアまたは少なくとも一つの第k変換変造されたトレーニングデータスコアを最大化するようにし、少なくとも一つの第k変造されたトレーニングデータスコアを最小化するように、第(k‐1)学習された判別機Dを学習することで、第(k‐1)学習された判別機Dが第k学習された判別機Dになるようにすることができる。
【0169】
このとき、第1_kエラーは、(i)学習用第1_k特性情報を利用して生成された、第k変造されたトレーニングデータに対する学習用第kタスク特定出力と(ii)トレーニングデータに対応されるトレーニングデータGTとを参照して獲得された第k変造ロスをさらに参照して算出されることができる。
【0170】
また、第1_kエラーは、(i)学習用第1_k特性情報と学習用第2_k特性情報との間の差、(ii)第k変造ロス、及び(iii)前記(i)と前記(ii)の総和の中でいずれか一つであってもよいが、本発明の範囲がこれに限定されない。
【0171】
次に、前記プロセスを利用して第1学習装置によって変造ネットワークOが学習された状態で、第2学習装置100は(i)第1変造されたトレーニングデータないし第n変造されたトレーニングデータの中で少なくとも一部の変造されたトレーニングデータと(ii)トレーニングデータGTとを獲得することができる。
【0172】
そして、第2学習装置100は、第1変造されたトレーニングデータないし第n変造されたトレーニングデータの中で少なくとも一部の変造されたトレーニングデータを使用者ラーニングネットワークGに入力することで、使用者ラーニングネットワークGをもって変造されたトレーニングデータに対してラーニング演算を適用して学習用第3特性情報を生成させるプロセスを遂行することができる。このとき、第1学習装置200と第2学習装置100とは同一装置であるか、または異なる装置である。
【0173】
以後、第2学習装置100は、学習用データロスを参照して算出された第3エラーを最小化するように使用者ラーニングネットワークGを学習することで、使用者ラーニングネットワークGをもって変造されたトレーニングデータを学習データとして認識させることができる。このとき、学習用データロスは(i)学習用第3特性情報を利用して生成された学習用第3タスク特定出力と(ii)トレーニングデータGTとを参照して獲得されることができる。
【0174】
一方、第2学習装置100は(i)学習用第1_1特性情報ないし学習用第1_n特性情報の平均及び(ii)学習用第2_1特性情報ないし学習用第2_n特性情報の平均の中で少なくとも一つを含む学習用第1ヒント情報をさらに獲得することができる。
【0175】
そして、第2学習装置100は(i)学習用第3特性情報と学習用第1ヒント情報との間の差、及び(ii)学習用データロスの中で少なくとも一つを参照して第3エラーを獲得することができる。
【0176】
このとき、学習用第3特性情報と学習用第1ヒント情報との間の差は、(i)学習用第3特性情報と、学習用第1_1特性情報ないし学習用第1_n特性情報の平均との差、(ii)学習用第3特性情報と、学習用第2_1特性情報ないし学習用第2_n特性情報の平均との差、及び(iii)前記(i)と前記(ii)との平均の中で少なくとも一つを含むことができる。
【0177】
これとは違って、前記プロセスを利用して第1学習装置200によって変造ネットワークOが学習された状態で、第2学習装置100はテストデータを学習された変造ネットワークOに入力することで、変造されたテストデータと、テストデータに対応されるテストデータGTとを獲得することができる。
【0178】
そして、第2学習装置100は、変造されたテストデータを使用者ラーニングネットワークGに入力することで、使用者ラーニングネットワークGに変造されたテストデータに対してラーニング演算を適用して学習用第4特性情報を生成させるプロセスを遂行することができる。
【0179】
以後、第2学習装置100は、テスト用データロスを参照して算出された第4エラーを最小化するように使用者ラーニングネットワークGを学習することで、使用者ラーニングネットワークGをもって変造されたテストデータをテストデータとして認識させることができる。このとき、テスト用データロスは(i)学習用第4特性情報を利用して生成された学習用第4タスク特定出力と(ii)テストデータGTとを参照して獲得されることができる。
【0180】
一方、第2学習装置100は、(i)変造されたテストデータを学習用第1ラーニングネットワークF1ないし学習用第nラーニングネットワークFnのそれぞれに入力して生成されたテスト用第1_1特性情報ないしテスト用第1_n特性情報の平均及び(ii)テストデータを学習用第1ラーニングネットワークF1ないし学習用第nラーニングネットワークFnのそれぞれに入力して生成されたテスト用第2_1特性情報ないしテスト用第2_n特性情報の平均の中で少なくとも一つを含む学習用第2ヒント情報をさらに獲得することができる。
【0181】
そして、第2学習装置100は(i)学習用第4特性情報と学習用第2ヒント情報との間の差、及び(ii)テスト用データロスの中で少なくとも一つを参照して第4エラーを獲得することができる。
【0182】
このとき、学習用第4特性情報と学習用第2ヒント情報との間の差は、(i)学習用第4特性情報と、テスト用第1_1特性情報ないしテスト用第1_n特性情報の平均との差、(ii)学習用第4特性情報と、テスト用第2_1特性情報ないしテスト用第2_n特性情報の平均との差、及び(iii)前記(i)と前記(ii)との平均の中で少なくとも一つを含むことができる。
【0183】
図7は本発明の一実施例によって学習された使用者ラーニングネットワークGをテストするテスト装置を簡略に示したものである。
【0184】
図7を参照すれば、本発明の一実施例によるテスト装置300は、個人情報を保護するために原本データをコンシーリング処理して生成された変造データを認識するように使用者ラーニングネットワークをテストするインストラクションが格納されたメモリー310と、メモリー310に格納されたインストラクションによって変造ネットワークをテストする動作を遂行するプロセッサ320を含むことができる。
【0185】
具体的に、テスト装置200は、少なくとも一つのコンピューティング装置(例えば、コンピュータプロセッサ、メモリー、ストーレジ、入力装置、出力装置またはその他既存のコンピューティング装置の構成要素);ルーター、スイッチなどのような電子通信装置;ネットワーク付きストーレジ(NAS)及びストーレジ領域ネットワーク(SAN)のような電子情報ストーレジシステム)と少なくとも一つのコンピュータソフトウェア(すなわち、コンピューティング装置をもって特定方式で機能させるインストラクション)の組み合わせを利用して所望のシステム性能を一般的に達成することができる。
【0186】
また、このような装置のプロセッサはMPU(Micro Processing Unit)またはCPU(Central Processing Unit)、キャッシュメモリー(Cache Memory)、データバス(Data Bus)などのハードウェア構成を含むことができる。また、コンピューティング装置は、運営体制、特定目的を達成するアプリケーションのソフトウェア構成をさらに含むこともできる。
【0187】
コンピューティング装置に対するこのような説明が本発明を実施するためのプロセッサ、メモリー、ミディアムまたは他のコンピューティング要素の任意の組み合わせを含む統合装置を排除することではない。
【0188】
一方、テスト装置300は次のような方法によって学習された使用者ラーニングネットワークをテストすることができる。
【0189】
先ず、使用者ラーニングネットワークは図2ないし図6を参照して説明したプロセスによって学習された状態である。
【0190】
すなわち、第1学習装置は、(i)変造ネットワークにトレーニングデータが入力されると、変造ネットワークをもってトレーニングデータを変造して変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つ学習用ラーニングネットワークに入力することで、学習用ラーニングネットワークをもって学習されたパラメータを利用したラーニング演算を変造されたトレーニングデータに対して適用して学習用第1特性情報を生成するようにし、(ii‐2)トレーニングデータを学習用ラーニングネットワークに入力することで、学習用ラーニングネットワークをもって学習されたパラメータを利用したラーニング演算をトレーニングデータに対して適用して学習用第2特性情報を生成させるプロセス、及び(iii)学習用第1特性情報と学習用第2特性情報とを参照したり、学習用第1特性情報を利用して生成された学習用タスク特定出力を参照して算出された第1エラーが最小化されるようにし、トレーニングデータと変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、変造ネットワークを学習するプロセスを遂行した後、第2学習装置100が、(i)変造されたトレーニングデータと、トレーニングデータに対応されるトレーニングデータGTとを獲得したり、(ii)第1テストデータを学習された変造ネットワークに入力して生成された第1変造されたテストデータと、前記第1テストデータに対応されるテストデータGTとを獲得するプロセスを遂行した状態である。第2学習装置100は、(i)変造されたトレーニングデータを使用者ラーニングネットワークに入力することで、使用者ラーニングネットワークをもって(i‐1)変造されたトレーニングデータに対してラーニング演算を適用し、(i‐2)学習用第3特性情報を生成させるプロセス、または(ii)第1変造されたテストデータを使用者ラーニングネットワークに入力することで、使用者ラーニングネットワークをもって(ii‐1)第1変造されたテストデータに対してラーニング演算を適用し、(ii‐2)学習用第4特性情報を生成させるプロセスを遂行した状態である。以後、第2学習装置は、(i)(i‐1)学習用第3特性情報を利用して生成された学習用第3タスク特定出力と(i‐2)トレーニングデータGTとを利用して生成された学習用データロスを参照して算出された第3エラーを最小化するように使用者ラーニングネットワークを学習するプロセス、または(ii)(ii‐1)学習用第4特性情報を利用して生成された学習用第4タスク特定出力と(ii‐2)テストデータGTとを利用して生成されたテスト用データロスを参照して算出された第4エラーを最小化するように前記使用者ラーニングネットワークを学習するプロセスを遂行した状態である。
【0191】
次に、第2テストデータを学習された変造ネットワークに入力して生成された第2変造されたテストデータが獲得されると、テスト装置300は、第2変造されたテストデータを学習された使用者ラーニングネットワークに入力して、学習された使用者ラーニングネットワークをもって第2変造されたテストデータに対してラーニング演算を適用してテスト用特性情報を生成させることで、第2テストデータがこれに対応される第2変造されたテストデータを利用して認識されることができる。
【0192】
このとき、第2テストデータは第1テストデータと同一であるか、または異なるデータである。すなわち、第1テストデータは学習された変造ネットワークをテストするために使われることができるし、第2テストデータは学習された使用者ラーニングネットワークをテストするために使われることができる。
【0193】
以上、説明された本発明による実施例は、多様なコンピュータ構成要素を通じて実行されることができるプログラム命令語の形態で具現され、コンピュータの読み取り可能な記録媒体に記録されることができる。前記コンピュータの読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータの読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、またはコンピュータソフトウェア分野の当業者に公知されて使用可能なものであってもよい。コンピュータの読み取り可能な記録媒体の例では、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD‐ROM、DVDのような光記録媒体、フロプティカルディスク(floptical disk)のような磁気‐光媒体(magneto‐optical media)、及びROM、RAM、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作われるもののような機械語コードのみならず、インタプリタなどを使用してコンピュータによって実行されることができる高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を行うために一つ以上のソフトウェアモジュールとして作動するように構成されることができるし、その逆も同様である。
【0194】
以上、本発明が具体的な構成要素などのような特定事項と、限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形を図ることができる。
【0195】
したがって、本発明の思想は前記説明された実施例に限って決まってはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等に、または等価的に変形された全てのものは本発明の思想の範疇に属するものとする。
図1
図2
図3
図4
図5
図6
図7