IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ディーピング ソース インコーポレイテッド.の特許一覧

特許7362165プライバシーのためにデータをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置{METHOD FOR TRAINING AND TESTING ADAPTION NETWORK CORRESPONDING TO OBFUSCATION NETWORK CAPABLE OF PROCESSING DATA TO BE CONCEALED FOR PRIVACY、AND TRAINING DEVICE AND TESTING DEVICE USING THE SAME}
<>
  • 特許-プライバシーのためにデータをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置{METHOD  FOR  TRAINING  AND  TESTING  ADAPTION  NETWORK  CORRESPONDING  TO  OBFUSCATION  NETWORK  CAPABLE  OF  PROCESSING  DATA  TO  BE  CONCEALED  FOR  PRIVACY、AND  TRAINING  DEVICE  AND  TESTING  DEVICE  USING  THE  SAME} 図1
  • 特許-プライバシーのためにデータをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置{METHOD  FOR  TRAINING  AND  TESTING  ADAPTION  NETWORK  CORRESPONDING  TO  OBFUSCATION  NETWORK  CAPABLE  OF  PROCESSING  DATA  TO  BE  CONCEALED  FOR  PRIVACY、AND  TRAINING  DEVICE  AND  TESTING  DEVICE  USING  THE  SAME} 図2
  • 特許-プライバシーのためにデータをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置{METHOD  FOR  TRAINING  AND  TESTING  ADAPTION  NETWORK  CORRESPONDING  TO  OBFUSCATION  NETWORK  CAPABLE  OF  PROCESSING  DATA  TO  BE  CONCEALED  FOR  PRIVACY、AND  TRAINING  DEVICE  AND  TESTING  DEVICE  USING  THE  SAME} 図3
  • 特許-プライバシーのためにデータをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置{METHOD  FOR  TRAINING  AND  TESTING  ADAPTION  NETWORK  CORRESPONDING  TO  OBFUSCATION  NETWORK  CAPABLE  OF  PROCESSING  DATA  TO  BE  CONCEALED  FOR  PRIVACY、AND  TRAINING  DEVICE  AND  TESTING  DEVICE  USING  THE  SAME} 図4
  • 特許-プライバシーのためにデータをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置{METHOD  FOR  TRAINING  AND  TESTING  ADAPTION  NETWORK  CORRESPONDING  TO  OBFUSCATION  NETWORK  CAPABLE  OF  PROCESSING  DATA  TO  BE  CONCEALED  FOR  PRIVACY、AND  TRAINING  DEVICE  AND  TESTING  DEVICE  USING  THE  SAME} 図5
  • 特許-プライバシーのためにデータをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置{METHOD  FOR  TRAINING  AND  TESTING  ADAPTION  NETWORK  CORRESPONDING  TO  OBFUSCATION  NETWORK  CAPABLE  OF  PROCESSING  DATA  TO  BE  CONCEALED  FOR  PRIVACY、AND  TRAINING  DEVICE  AND  TESTING  DEVICE  USING  THE  SAME} 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-06
(45)【発行日】2023-10-17
(54)【発明の名称】プライバシーのためにデータをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置{METHOD FOR TRAINING AND TESTING ADAPTION NETWORK CORRESPONDING TO OBFUSCATION NETWORK CAPABLE OF PROCESSING DATA TO BE CONCEALED FOR PRIVACY、AND TRAINING DEVICE AND TESTING DEVICE USING THE SAME}
(51)【国際特許分類】
   G06N 3/08 20230101AFI20231010BHJP
【FI】
G06N3/08
【請求項の数】 22
(21)【出願番号】P 2022520167
(86)(22)【出願日】2020-04-28
(65)【公表番号】
(43)【公表日】2022-12-14
(86)【国際出願番号】 KR2020005581
(87)【国際公開番号】W WO2021080102
(87)【国際公開日】2021-04-29
【審査請求日】2022-03-31
(31)【優先権主張番号】16/663,132
(32)【優先日】2019-10-24
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520278996
【氏名又は名称】ディーピング ソース インコーポレイテッド.
(74)【代理人】
【識別番号】100121728
【弁理士】
【氏名又は名称】井関 勝守
(74)【代理人】
【識別番号】100165803
【弁理士】
【氏名又は名称】金子 修平
(74)【代理人】
【識別番号】100170900
【弁理士】
【氏名又は名称】大西 渉
(72)【発明者】
【氏名】金泰勳
【審査官】北川 純次
(56)【参考文献】
【文献】米国特許出願公開第2018/0165597(US,A1)
【文献】米国特許出願公開第2019/0095629(US,A1)
【文献】米国特許出願公開第2018/0005626(US,A1)
【文献】特開2018-106216(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06N 3/02-3/10
G06N 20/00
(57)【特許請求の範囲】
【請求項1】
個人情報を保護するために原本データをコンシーリング(Concealing)処理するために使われる変造ネットワーク(Obfuscation Network)に対応される適応ネットワーク(Adaption Network)を学習する方法において、
(a)第1学習装置は、(i)前記変造ネットワークにトレーニングデータが入力されると、前記変造ネットワークをもって前記トレーニングデータを変造するようにして変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つラーニングネットワーク(Learning Network)に入力して、前記ラーニングネットワークをもって前記変造されたトレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用することで学習用第1特性(Characteristic)情報を生成させ、(ii‐2)前記トレーニングデータを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって前記トレーニングデータに対して前記学習されたパラメータを利用した前記ラーニング演算を適用することで学習用第2特性情報を生成させるプロセス、及び(iii)前記学習用第1特性情報と前記学習用第2特性情報とを参照して算出された第1エラーが最小化され、前記トレーニングデータと前記変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行したか、又は遂行している状態で、第2学習装置が前記トレーニングデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記トレーニングデータを適応するようにして第1特徴適応データ(Feature Adapted Data)を生成させるプロセス、及びテストデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記テストデータを適応するようにして第2特徴適応データを生成させるプロセスを遂行する段階;及び
(b)前記第2学習装置は、(i)前記変造ネットワークによって生成された前記変造されたトレーニングデータに対応される第1適応GT(Adaption Ground Truth)を獲得し、(1)前記第1適応GTと(2)前記第1特徴適応データに対応される第1適応レファレンス(Reference)とを参照して算出された、第1適応エラーが最小化されるように前記適応ネットワークを学習するプロセス、及び(ii)前記テストデータを学習された前記変造ネットワークに入力して生成された、変造されたテストデータに対応される第2適応GTと前記第2特徴適応データに対応される第2適応レファレンスとを参照して算出された第2適応エラーが最小化されるように前記適応ネットワークを学習するプロセスの中で一つを遂行する段階;
を含む方法。
【請求項2】
前記第2学習装置が(i)(i‐1)前記第1特徴適応データを前記ラーニングネットワークに入力することで、前記ラーニングネットワークをもって、前記第1特徴適応データに対して前記学習されたパラメータを利用した前記ラーニング演算を適用して前記第1特徴適応データに対応される第1適応特性情報を前記第1適応レファレンスとして出力させ、(i‐2)前記学習用第1特性情報と前記第1適応特性情報との間の差及び前記学習用第2特性情報と前記第1適応特性情報との間の差の中で一つを参照して前記第1適応エラーを獲得するプロセス、及び(ii)(ii‐1)前記第2特徴適応データを前記ラーニングネットワークに入力することで、前記ラーニングネットワークをもって前記第2特徴適応データに対して前記学習されたパラメータを利用した前記ラーニング演算を適用して前記第2特徴適応データに対応される第2適応特性情報を前記第2適応レファレンスとして出力させ、(ii‐2)(ii‐2a)前記変造されたテストデータを前記ラーニングネットワークに入力して生成されたテスト用第1特性情報と前記第2適応特性情報との間の差及び(ii‐2b)前記テストデータを前記ラーニングネットワークに入力して生成されたテスト用第2特性情報と前記第2適応特性情報との間の差の中で一つを参照して前記第2適応エラーを獲得するプロセスの中で一つを遂行する請求項1に記載の方法。
【請求項3】
前記第1エラーは、(i)前記学習用第1特性情報を利用して生成された、前記変造されたトレーニングデータに対する学習用タスク特定出力(Task Specific Output)と(ii)前記トレーニングデータに対応されるトレーニングデータGTとを参照して獲得された変造ロスを利用して算出され、
前記第1適応エラーは、(i)前記第1適応特性情報を利用して生成された、前記第1特徴適応データに対する第1適応タスク特定出力と(ii)前記トレーニングデータGTとを参照して算出され、
前記第2適応エラーは、(i)前記第2適応特性情報を利用して生成された、前記第2特徴適応データに対する第2適応タスク特定出力と(ii)前記テストデータに対応されるテストデータGTとを参照して獲得された第2適応ロス(Adaption Loss)を利用して算出される請求項2に記載の方法。
【請求項4】
前記第1エラーは、(i)前記学習用第1特性情報と前記学習用第2特性情報との間の差、及び(ii)(ii‐1)前記学習用第1特性情報を利用して生成された、前記変造されたトレーニングデータに対する学習用タスク特定出力と(ii‐2)前記トレーニングデータに対応されるトレーニングデータGTとを参照して獲得された変造ロスを参照して算出され、
前記第1適応エラーは、(i)前記学習用第1特性情報と前記第1適応特性情報との間の差または前記学習用第2特性情報と前記第1適応特性情報との間の差、及び(ii)(ii‐1)前記第1適応特性情報を利用して生成された、前記第1特徴適応データに対する第1適応タスク特定出力と(ii‐2)前記トレーニングデータGTとを参照して獲得された第1適応ロスを参照して算出され、
前記第2適応エラーは、(i)前記テスト用第1特性情報と前記第2適応特性情報との間の差または前記テスト用第2特性情報と前記第2適応特性情報との間の差、及び(ii)(ii‐1)前記第2適応特性情報を利用して生成された、前記第2特徴適応データに対する第2適応タスク特定出力と(ii‐2)前記テストデータに対応されるテストデータGTとを参照して獲得された第2適応ロスを参照して算出される請求項2に記載の方法。
【請求項5】
前記ラーニングネットワークはそれぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、
前記第1学習装置が、(i)前記変造されたトレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記変造されたトレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報ないし学習用第1_n特性情報を生成させるプロセス、(ii)前記トレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記トレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報ないし学習用第2_n特性情報を生成させるプロセス、(iii)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーないし前記学習用第1_n特性情報と前記学習用第2_n特性情報とを参照して算出された第1_nエラーの加重合計(Weighted Sum)である前記第1エラーを生成させるプロセス、及び(iv)前記第1エラーが最小化され、前記第2エラーが最大化されるように前記変造ネットワークを学習するプロセスを遂行したか、又は遂行している状態で、
前記第2学習装置は、(i)(i‐1)前記第1特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第1特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報ないし第1_n適応特性情報を生成させ、(i‐2)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第1_n特性情報と前記第1_n適応特性情報との間の差を加重和して前記第1適応エラーを獲得するプロセス、または前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第2_n特性情報と前記第1_n適応特性情報との間の差を加重和して前記第1適応エラーを獲得するプロセス、または(ii)(ii‐1)前記第2特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第2特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報ないし第2_n適応特性情報を生成させ、(ii‐2)(1)テスト用第1_1特性情報ないしテスト用第1_n特性情報が、前記変造されたテストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力してそれぞれ生成される場合は、前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第1_n特性情報と前記第2_n適応特性情報との間の差を加重和して前記第2適応エラーを獲得するプロセス、または(2)テスト用第2_1特性情報ないしテスト用第2_n特性情報が、前記テストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力することでそれぞれ生成される場合は、前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第2_n特性情報と前記第2_n適応特性情報との間の差を加重和して前記第2適応エラーを獲得するプロセスを遂行する請求項2に記載の方法。
【請求項6】
前記第1_1エラーないし前記第1_nエラーはそれぞれ(i)(i‐1)前記学習用第1_1特性情報を利用して生成された学習用第1タスク特定出力と(i‐2)前記トレーニングデータに対応するトレーニングデータGTとを参照して獲得された第1変造ロスないし(ii)(ii‐1)前記学習用第1_n特性情報を利用して生成された学習用第nタスク特定出力と(ii‐2)前記トレーニングデータGTとを参照して獲得された第n変造ロスをさらに参照してそれぞれ算出され、
(i)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第1_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して算出された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセス、または(ii)前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第2_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された前記第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された前記第1_1適応ロスないし前記第1_n適応特性情報を利用して算出された前記第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された前記第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセス
(i)前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第1_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータに対応するテストデータGTとを参照して算出された第2_1適応ロスないし前記第2_n適応特性情報を利用して算出された第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセス、または(ii)前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第2_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された前記第2_1適応タスク特定出力と前記テストデータGTとを参照して算出された前記第2_1適応ロスないし前記第2_n適応特性情報を利用して算出された前記第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された前記第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセスを遂行する請求項5に記載の方法。
【請求項7】
前記ラーニングネットワークは、それぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、
前記第1学習装置は、(i)前記変造されたトレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記変造されたトレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報ないし学習用第1_n特性情報を生成させるプロセス、(ii)前記トレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記トレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報ないし学習用第2_n特性情報を生成させるプロセス、(iii)前記学習用第1_1特性情報を利用して生成された学習用第1タスク特定出力と前記トレーニングデータに対応するトレーニングデータGTとを参照して算出された第1変造ロスないし前記学習用第1_n特性情報を利用して生成された学習用第nタスク特定出力と前記トレーニングデータGTとを参照して算出された第n変造ロスの加重合計である前記第1エラーを生成するプロセス、及び(iv)前記第1エラーが最小化されて前記第2エラーが最大化されるように前記変造ネットワークを学習するプロセスを遂行したか、又は遂行している状態で、
前記第2学習装置は、(i)(i‐1)前記第1特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第1特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報ないし第1_n適応特性情報を生成させ、(i‐2)前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスを加重和して前記第1適応エラーを獲得するプロセス、または(ii)(ii‐1)前記第2特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第2特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報ないし第2_n適応特性情報を生成させ、(ii‐2)前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータに対応するテストデータGTとを参照して算出された第2_1適応ロスないし前記第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスを加重和して前記第2適応エラーを獲得するプロセスを遂行する請求項2に記載の方法。
【請求項8】
前記ラーニングネットワークはそれぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、
前記第1学習装置は、(i)(i‐1)前記変造されたトレーニングデータである第1変造されたトレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1変造されたトレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報を生成させ、(i‐2)前記トレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記トレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報を生成させ、(i‐3)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーが最小化され、前記トレーニングデータと前記第1変造されたトレーニングデータとを参照して算出された第2_1エラーが最大化されるように、前記変造ネットワークを学習することで前記変造ネットワークが第1学習された変造ネットワークになるようにするプロセス、及び(ii)定数のkを2からnまで増加させながら、(ii‐1)前記トレーニングデータを第(k‐1)学習された変造ネットワークに入力することで、前記第(k‐1)学習された変造ネットワークをもって第k変造されたトレーニングデータを生成させ、(ii‐2)(1)前記第k変造されたトレーニングデータを第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記第k変造されたトレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_k特性情報を生成させ、(2)前記トレーニングデータを前記第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記トレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_k特性情報を生成させ、(ii‐3)前記学習用第1_k特性情報と前記学習用第2_k特性情報とを参照して算出された第1_kエラーが最小化され、前記トレーニングデータと前記第k変造されたトレーニングデータとを参照して算出された第2_kエラーが最大化されるように前記変造ネットワークを学習することで、前記第(k‐1)学習された変造ネットワークが第k学習された変造ネットワークになるようにするプロセスを遂行したか、又は遂行している状態で、
前記第2学習装置は、(i)(i‐1)前記第1特徴適応データである第1_1特徴適応データを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報を生成させ、(i‐2)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差または前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差を参照して算出された第1_1適応エラーが最小化されるように前記適応ネットワークを学習することで、前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記トレーニングデータを第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第1_k特徴適応データを生成させ、前記第1_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第1_k特徴適応データに対して前記ラーニング演算を適用して第1_k適応特性情報を生成させ、(i‐3)前記学習用第1_k特性情報と前記第1_k適応特性情報との間の差または前記学習用第2_k特性情報と前記第1_k適応特性情報との間の差を参照して算出された第1_k適応エラーが最小化されるように前記第(k‐1)学習された適応ネットワークを学習することで、前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセス、または(ii)(ii‐1)前記変造されたテストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力して前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記変造されたテストデータに対して前記ラーニング演算を適用してテスト用第1_1特性情報ないしテスト用第1_n特性情報を生成するプロセス、または前記テストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力して前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記テストデータに対して前記ラーニング演算を適用してテスト用第2_1特性情報ないしテスト用第2_n特性情報を生成するプロセスを遂行し、(ii‐2)前記第2特徴適応データである第2_1特徴適応データを前記第1ラーニングネットワークに入力して前記第1ラーニングネットワークをもって前記第2_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報を生成させ、(ii‐3)前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差または前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差を参照して算出された第2_1適応エラーが最小化されるように前記適応ネットワークを学習することで前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記テストデータを前記第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第2_k特徴適応データを生成させ、前記第2_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第2_k特徴適応データに対して前記ラーニング演算を適用して第2_k適応特性情報を生成させ、(ii‐4)前記テスト用第1_k特性情報と前記第2_k適応特性情報との間の差または前記テスト用第2_k特性情報と前記第2_k適応特性情報との間の差を参照して算出された第2_k適応エラーが最小化されるように前記第(k‐1)学習された適応ネットワークを学習することで前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセスを遂行する請求項2に記載の方法。
【請求項9】
前記第1_kエラーは、(i)前記学習用第1_k特性情報を利用して生成された、前記第k変造されたトレーニングデータに対する学習用第kタスク特定出力と(ii)前記トレーニングデータに対応されるトレーニングデータGTとを参照して獲得された第k変造ロスをさらに参照して算出され、
(i)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第1_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセス、または(ii)前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第2_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセス
(i)前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第1_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータに対応するテストデータGTとを参照して算出された第2_1適応ロスないし前記第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照して決定されるプロセス、または(ii)前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第2_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された前記第2_1適応タスク特定出力と前記テストデータGTとを参照して算出された前記第2_1適応ロスないし前記第2_n適応特性情報を利用して生成された前記第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセスを遂行する請求項8に記載の方法。
【請求項10】
前記ラーニングネットワークはそれぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、
前記第1学習装置は、(i)(i‐1)前記変造されたトレーニングデータである第1変造されたトレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1変造されたトレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報を生成させ、(i‐2)前記トレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記トレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報を生成させ、(i‐3)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーが最小化され、前記トレーニングデータと前記第1変造されたトレーニングデータとを参照して算出された第2_1エラーが最大化されるように前記変造ネットワークを学習することで、前記変造ネットワークをもって第1学習された変造ネットワークになるようにするプロセス、及び(ii)定数のkを2からnまで増加させながら、(ii‐1)前記トレーニングデータを第(k‐1)学習された変造ネットワークに入力することで、前記第(k‐1)学習された変造ネットワークをもって第k変造されたトレーニングデータを生成させ、(ii‐2)(1)前記第k変造されたトレーニングデータが第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記第k変造されたトレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_k特性情報を生成させ、(2)前記トレーニングデータを前記第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記トレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_k特性情報を生成し、(ii‐3)前記学習用第1_k特性情報と前記学習用第2_k特性情報とを参照して算出された第1_kエラーが最小化され、前記トレーニングデータと前記第k変造されたトレーニングデータとを参照して算出された第2_kエラーが最大化されるように前記変造ネットワークを学習することで、前記第(k‐1)学習された変造ネットワークをもって前記第k学習された変造ネットワークになるようにするプロセスを遂行したか、又は遂行している状態で、
前記第2学習装置は、(i)(i‐1)前記第1特徴適応データである第1_1特徴適応データを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報を生成させ、(i‐2)前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータに対応するトレーニングデータGTとを参照して算出された第1_1適応ロスが最小化されるように前記適応ネットワークを学習して前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記トレーニングデータを第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第1_k特徴適応データを生成させ、前記第1_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第1_k特徴適応データに対して前記ラーニング演算を適用して第1_k適応特性情報を生成させ、(i‐3)前記第1_k適応特性情報を利用して生成された第1_k適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_k適応ロスが最小化されるように第(k‐1)学習された適応ネットワークを学習して前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセス、または(ii)(ii‐1)前記第2特徴適応データである第2_1特徴適応データを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第2_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報を生成させ、(ii‐2)前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータに対応するテストデータGTとを参照して算出された第2_1適応ロスが最小化されるように前記適応ネットワークを学習して前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記テストデータを第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第2_k特徴適応データを生成させ、前記第2_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第2_k特徴適応データに対して前記ラーニング演算を適用して第2_k適応特性情報を生成させ、(ii‐3)前記第2_k適応特性情報を利用して生成された第2_k適応タスク特定出力と前記テストデータGTとを参照して算出された第2_k適応ロスが最小化されるように第(k‐1)学習された適応ネットワークを学習して前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセスを遂行する請求項2に記載の方法。
【請求項11】
個人情報を保護するために原本データをコンシーリング(Concealing)処理するために使われる変造ネットワーク(Obfuscation Network)に対応される適応ネットワーク(Adaption Network)をテストする方法において、
(a)第1学習装置は、(i)前記変造ネットワークをもって前記変造ネットワークに入力されたトレーニングデータを変造するようにし、変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つラーニングネットワーク(Learning Network)に入力して、前記ラーニングネットワークをもって前記変造されたトレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第1特性(Characteristic)情報を生成させ、(ii‐2)前記トレーニングデータを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって前記トレーニングデータに対して前記学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2特性情報を生成させるプロセス、及び(iii)前記学習用第1特性情報と前記学習用第2特性情報とを参照して算出された第1エラーが最小化され、前記トレーニングデータと前記変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行した後または遂行する間、
第2学習装置が(i)(i‐1)前記トレーニングデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記トレーニングデータを適応するようにして第1特徴適応トレーニングデータ(Feature Adapted Training Data)を生成させるプロセス、及び(i‐2)第1テストデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記テストデータを適応するようにして第2特徴適応トレーニングデータを生成させるプロセスの中で一つ及び(ii)(ii‐1)前記変造ネットワークによって生成された前記変造されたトレーニングデータに対応される第1適応GT(Adaption Ground Truth)を獲得し、(1)前記第1適応GTと(2)第1特徴適応データに対応される第1適応レファレンス(Reference)とを参照して算出された、第1適応エラーが最小化されるように前記適応ネットワークを学習するプロセス及び(ii‐2)前記テストデータを学習された前記変造ネットワークに入力して生成された、変造されたテストデータに対応される第2適応GTと前記第2特徴適応トレーニングデータに対応される第2適応レファレンスとを参照して算出された第2適応エラーが最小化されるように前記適応ネットワークを学習するプロセスの中で一つを遂行した状態で、テスト装置がコンシーリング処理するための第2テストデータを獲得する段階;及び
(b)前記テスト装置が、前記第2テストデータを前記適応ネットワークに入力することで、前記適応ネットワークをもって前記第2テストデータを適応するようにして特徴適応テストデータを生成させ、前記特徴適応テストデータを前記第2テストデータのコンシーリング処理されたデータとして獲得する段階;
を含む方法。
【請求項12】
個人情報を保護するために原本データをコンシーリング(Concealing)処理するために使われる変造ネットワーク(Obfuscation Network)に対応される適応ネットワーク(Adaption Network)を学習する第2学習装置において、
インストラクションを格納する少なくとも一つのメモリー;及び
(I)第1学習装置は、(i)前記変造ネットワークにトレーニングデータが入力されると、前記変造ネットワークをもって前記トレーニングデータを変造するようにして変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つラーニングネットワーク(Learning Network)に入力して、前記ラーニングネットワークをもって前記変造されたトレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用することで学習用第1特性(Characteristic)情報を生成させ、(ii‐2)前記トレーニングデータを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって前記トレーニングデータに対して前記学習されたパラメータを利用した前記ラーニング演算を適用することで学習用第2特性情報を生成させるプロセス、及び(iii)前記学習用第1特性情報と前記学習用第2特性情報とを参照して算出された第1エラーが最小化され、前記トレーニングデータと前記変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行したか、又は遂行している状態で、前記トレーニングデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記トレーニングデータを適応するようにして第1特徴適応データ(Feature Adapted Data)を生成させるプロセス、及びテストデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記テストデータを適応するようにして第2特徴適応データを生成させるプロセスを遂行するプロセス;及び(II)(i)前記変造ネットワークによって生成された前記変造されたトレーニングデータに対応される第1適応GT(Adaption Ground Truth)を獲得し、(1)前記第1適応GTと(2)前記第1特徴適応データに対応される第1適応レファレンス(Reference)とを参照して算出された、第1適応エラーが最小化されるように前記適応ネットワークを学習するプロセス、及び(ii)前記テストデータを学習された前記変造ネットワークに入力して生成された、変造されたテストデータに対応される第2適応GTと前記第2特徴適応データに対応される第2適応レファレンスとを参照して算出された第2適応エラーが最小化されるように前記適応ネットワークを学習するプロセスの中で一つを遂行するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ;
を含む装置。
【請求項13】
前記プロセッサが、(i)(i‐1)前記第1特徴適応データを前記ラーニングネットワークに入力することで、前記ラーニングネットワークをもって前記第1特徴適応データに対して前記学習されたパラメータを利用した前記ラーニング演算を適用して前記第1特徴適応データに対応される第1適応特性情報を前記第1適応レファレンスとして出力させ、(i‐2)前記学習用第1特性情報と前記第1適応特性情報との間の差及び前記学習用第2特性情報と前記第1適応特性情報との間の差の中で一つを参照して前記第1適応エラーを獲得するプロセス、及び(ii)(ii‐1)前記第2特徴適応データを前記ラーニングネットワークに入力することで、前記ラーニングネットワークをもって前記第2特徴適応データに対して前記学習されたパラメータを利用した前記ラーニング演算を適用して前記第2特徴適応データに対応される第2適応特性情報を前記第2適応レファレンスとして出力させ、(ii‐2)(ii‐2a)前記変造されたテストデータを前記ラーニングネットワークに入力して生成されたテスト用第1特性情報と前記第2適応特性情報との間の差及び(ii‐2b)前記テストデータを前記ラーニングネットワークに入力して生成されたテスト用第2特性情報と前記第2適応特性情報との間の差の中で一つを参照して前記第2適応エラーを獲得するプロセスの中で一つを遂行する請求項12に記載の装置。
【請求項14】
前記第1エラーは、(i)前記学習用第1特性情報を利用して生成された、前記変造されたトレーニングデータに対する学習用タスク特定出力(Task Specific Output)と(ii)前記トレーニングデータに対応されるトレーニングデータGTとを参照して獲得された変造ロスを利用して算出され、
前記第1適応エラーは(i)前記第1適応特性情報を利用して生成された、前記第1特徴適応データに対する第1適応タスク特定出力と(ii)前記トレーニングデータGTとを参照して算出され、
前記第2適応エラーは(i)前記第2適応特性情報を利用して生成された、前記第2特徴適応データに対する第2適応タスク特定出力と(ii)前記テストデータに対応されるテストデータGTとを参照して獲得された第2適応ロス(Adaption Loss)を利用して算出される請求項13に記載の装置。
【請求項15】
前記第1エラーは、(i)前記学習用第1特性情報と前記学習用第2特性情報との間の差、及び(ii)(ii‐1)前記学習用第1特性情報を利用して生成された、前記変造されたトレーニングデータに対する学習用タスク特定出力と(ii‐2)前記トレーニングデータに対応されるトレーニングデータGTとを参照して獲得された変造ロスを参照して算出され、
前記第1適応エラーは、(i)前記学習用第1特性情報と前記第1適応特性情報との間の差または前記学習用第2特性情報と前記第1適応特性情報との間の差、及び(ii)(ii‐1)前記第1適応特性情報を利用して生成された、前記第1特徴適応データに対する第1適応タスク特定出力と(ii‐2)前記トレーニングデータGTとを参照して獲得された第1適応ロスを参照して算出され、
前記第2適応エラーは、(i)前記テスト用第1特性情報と前記第2適応特性情報との間の差または前記テスト用第2特性情報と前記第2適応特性情報との間の差、及び(ii)(ii‐1)前記第2適応特性情報を利用して生成された、前記第2特徴適応データに対する第2適応タスク特定出力と(ii‐2)前記テストデータに対応されるテストデータGTとを参照して獲得された第2適応ロスを参照して算出される請求項13に記載の装置。
【請求項16】
前記ラーニングネットワークはそれぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、
前記第1学習装置が、(i)前記変造されたトレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記変造されたトレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報ないし学習用第1_n特性情報を生成させるプロセス、(ii)前記トレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記トレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報ないし学習用第2_n特性情報を生成させるプロセス、(iii)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーないし前記学習用第1_n特性情報と前記学習用第2_n特性情報とを参照して算出された第1_nエラーの加重合計(Weighted Sum)である前記第1エラーを生成させるプロセス、及び(iv)前記第1エラーが最小化され、前記第2エラーが最大化されるように前記変造ネットワークを学習するプロセスを遂行したか、又は遂行している状態で、
前記プロセッサは、(i)(i‐1)前記第1特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第1特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報ないし第1_n適応特性情報を生成させ、(i‐2)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第1_n特性情報と前記第1_n適応特性情報との間の差を加重和して前記第1適応エラーを獲得するプロセス、または前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第2_n特性情報と前記第1_n適応特性情報との間の差を加重和して前記第1適応エラーを獲得するプロセス、または(ii)(ii‐1)前記第2特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第2特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報ないし第2_n適応特性情報を生成させ、(ii‐2)(1)テスト用第1_1特性情報ないしテスト用第1_n特性情報が、前記変造されたテストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力してそれぞれ生成される場合は、前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第1_n特性情報と前記第2_n適応特性情報との間の差を加重和して前記第2適応エラーを獲得するプロセス、または(2)テスト用第2_1特性情報ないしテスト用第2_n特性情報が、前記テストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力することでそれぞれ生成される場合は、前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第2_n特性情報と前記第2_n適応特性情報との間の差を加重和して前記第2適応エラーを獲得するプロセスを遂行する請求項13に記載の装置。
【請求項17】
前記第1_1エラーないし前記第1_nエラーは、それぞれ(i)(i‐1)前記学習用第1_1特性情報を利用して生成された学習用第1タスク特定出力と(i‐2)前記トレーニングデータに対応するトレーニングデータGTとを参照して獲得された第1変造ロスないし(ii)(ii‐1)前記学習用第1_n特性情報を利用して生成された学習用第nタスク特定出力と(ii‐2)前記トレーニングデータGTとを参照して獲得された第n変造ロスをさらに参照してそれぞれ算出され、
(i)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第1_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して算出された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセス、または(ii)前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第2_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された前記第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された前記第1_1適応ロスないし前記第1_n適応特性情報を利用して算出された前記第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された前記第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセス
(i)前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第1_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータに対応するテストデータGTとを参照して算出された第2_1適応ロスないし前記第2_n適応特性情報を利用して算出された第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセス、または(ii)前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第2_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された前記第2_1適応タスク特定出力と前記テストデータGTとを参照して算出された前記第2_1適応ロスないし前記第2_n適応特性情報を利用して算出された前記第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された前記第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセスを遂行する請求項16に記載の装置。
【請求項18】
前記ラーニングネットワークは、それぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、
前記第1学習装置は、(i)前記変造されたトレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記変造されたトレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報ないし学習用第1_n特性情報を生成させるプロセス、(ii)前記トレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記トレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報ないし学習用第2_n特性情報を生成させるプロセス、(iii)前記学習用第1_1特性情報を利用して生成された学習用第1タスク特定出力と前記トレーニングデータに対応するトレーニングデータGTとを参照して算出された第1変造ロスないし前記学習用第1_n特性情報を利用して生成された学習用第nタスク特定出力と前記トレーニングデータGTとを参照して算出された第n変造ロスの加重合計である前記第1エラーを生成するプロセス、及び(iv)前記第1エラーが最小化されて前記第2エラーが最大化されるように前記変造ネットワークを学習するプロセスを遂行したか、又は遂行している状態で、
前記プロセッサは、(i)(i‐1)前記第1特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第1特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報ないし第1_n適応特性情報を生成させ、(i‐2)前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスを加重和して前記第1適応エラーを獲得するプロセス、または(ii)(ii‐1)前記第2特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第2特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報ないし第2_n適応特性情報を生成させ、(ii‐2)前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータに対応するテストデータGTとを参照して算出された第2_1適応ロスないし前記第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスを加重和して前記第2適応エラーを獲得するプロセスを遂行する請求項13に記載の装置。
【請求項19】
前記ラーニングネットワークは、それぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、
前記第1学習装置は、(i)(i‐1)前記変造されたトレーニングデータである第1変造されたトレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1変造されたトレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報を生成させ、(i‐2)前記トレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記トレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報を生成させ、(i‐3)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーが最小化され、前記トレーニングデータと前記第1変造されたトレーニングデータとを参照して算出された第2_1エラーが最大化されるように、前記変造ネットワークを学習することで前記変造ネットワークが第1学習された変造ネットワークになるようにするプロセス、及び(ii)定数のkを2からnまで増加させながら、(ii‐1)前記トレーニングデータを第(k‐1)学習された変造ネットワークに入力することで、前記第(k‐1)学習された変造ネットワークをもって第k変造されたトレーニングデータを生成させ、(ii‐2)(1)前記第k変造されたトレーニングデータを第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記第k変造されたトレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_k特性情報を生成させ、(2)前記トレーニングデータを前記第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記トレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_k特性情報を生成させ、(ii‐3)前記学習用第1_k特性情報と前記学習用第2_k特性情報とを参照して算出された第1_kエラーが最小化され、前記トレーニングデータと前記第k変造されたトレーニングデータとを参照して算出された第2_kエラーが最大化されるように前記変造ネットワークを学習することで、前記第(k‐1)学習された変造ネットワークが第k学習された変造ネットワークになるようにするプロセスを遂行したか、又は遂行している状態で、
前記プロセッサは、(i)(i‐1)前記第1特徴適応データである第1_1特徴適応データを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報を生成させ、(i‐2)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差または前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差を参照して算出された第1_1適応エラーが最小化されるように前記適応ネットワークを学習することで、前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記トレーニングデータを第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第1_k特徴適応データを生成させ、前記第1_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第1_k特徴適応データに対して前記ラーニング演算を適用して第1_k適応特性情報を生成させ、(i‐3)前記学習用第1_k特性情報と前記第1_k適応特性情報との間の差または前記学習用第2_k特性情報と前記第1_k適応特性情報との間の差を参照して算出された第1_k適応エラーが最小化されるように前記第(k‐1)学習された適応ネットワークを学習することで、前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセス、または(ii)(ii‐1)前記変造されたテストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力して前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記変造されたテストデータに対して前記ラーニング演算を適用してテスト用第1_1特性情報ないしテスト用第1_n特性情報を生成するプロセス、または前記テストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力して前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記テストデータに対して前記ラーニング演算を適用してテスト用第2_1特性情報ないしテスト用第2_n特性情報を生成するプロセスを遂行し、(ii‐2)前記第2特徴適応データである第2_1特徴適応データを前記第1ラーニングネットワークに入力して前記第1ラーニングネットワークをもって前記第2_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報を生成させ、(ii‐3)前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差または前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差を参照して算出された第2_1適応エラーが最小化されるように前記適応ネットワークを学習することで前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記テストデータを前記第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第2_k特徴適応データを生成させ、前記第2_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第2_k特徴適応データに対して前記ラーニング演算を適用して第2_k適応特性情報を生成させ、(ii‐4)前記テスト用第1_k特性情報と前記第2_k適応特性情報との間の差または前記テスト用第2_k特性情報と前記第2_k適応特性情報との間の差を参照して算出された第2_k適応エラーが最小化されるように前記第(k‐1)学習された適応ネットワークを学習することで前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセスを遂行する請求項13に記載の装置。
【請求項20】
前記第1_kエラーは、(i)前記学習用第1_k特性情報を利用して生成された、前記第k変造されたトレーニングデータに対する学習用第kタスク特定出力と(ii)前記トレーニングデータに対応されるトレーニングデータGTとを参照して獲得された第k変造ロスをさらに参照して算出され、
(i)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第1_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセス、または(ii)前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第2_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセス
(i)前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第1_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータに対応するテストデータGTとを参照して算出された第2_1適応ロスないし前記第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照して決定されるプロセス、または(ii)前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第2_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された前記第2_1適応タスク特定出力と前記テストデータGTとを参照して算出された前記第2_1適応ロスないし前記第2_n適応特性情報を利用して生成された前記第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセスを遂行する請求項19に記載の装置。
【請求項21】
前記ラーニングネットワークは、それぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、
前記第1学習装置は、(i)(i‐1)前記変造されたトレーニングデータである第1変造されたトレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1変造されたトレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報を生成させ、(i‐2)前記トレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記トレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報を生成させ、(i‐3)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーが最小化され、前記トレーニングデータと前記第1変造されたトレーニングデータとを参照して算出された第2_1エラーが最大化されるように前記変造ネットワークを学習することで、前記変造ネットワークをもって第1学習された変造ネットワークになるようにするプロセス、及び(ii)定数のkを2からnまで増加させながら、(ii‐1)前記トレーニングデータを第(k‐1)学習された変造ネットワークに入力することで、前記第(k‐1)学習された変造ネットワークをもって第k変造されたトレーニングデータを生成させ、(ii‐2)(1)前記第k変造されたトレーニングデータが第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記第k変造されたトレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_k特性情報を生成させ、(2)前記トレーニングデータを前記第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記トレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_k特性情報を生成し、(ii‐3)前記学習用第1_k特性情報と前記学習用第2_k特性情報とを参照して算出された第1_kエラーが最小化され、前記トレーニングデータと前記第k変造されたトレーニングデータとを参照して算出された第2_kエラーが最大化されるように前記変造ネットワークを学習することで、前記第(k‐1)学習された変造ネットワークをもって前記第k学習された変造ネットワークになるようにするプロセスを遂行したか、又は遂行している状態で、
前記プロセッサは、(i)(i‐1)前記第1特徴適応データである第1_1特徴適応データを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報を生成させ、(i‐2)前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータに対応するトレーニングデータGTとを参照して算出された第1_1適応ロスが最小化されるように前記適応ネットワークを学習して前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記トレーニングデータを第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第1_k特徴適応データを生成させ、前記第1_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第1_k特徴適応データに対して前記ラーニング演算を適用して第1_k適応特性情報を生成させ、(i‐3)前記第1_k適応特性情報を利用して生成された第1_k適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_k適応ロスが最小化されるように第(k‐1)学習された適応ネットワークを学習して前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセス、または(ii)(ii‐1)前記第2特徴適応データである第2_1特徴適応データを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第2_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報を生成させ、(ii‐2)前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータに対応するテストデータGTとを参照して算出された第2_1適応ロスが最小化されるように前記適応ネットワークを学習して前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記テストデータを第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第2_k特徴適応データを生成させ、前記第2_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第2_k特徴適応データに対して前記ラーニング演算を適用して第2_k適応特性情報を生成させ、(ii‐3)前記第2_k適応特性情報を利用して生成された第2_k適応タスク特定出力と前記テストデータGTとを参照して算出された第2_k適応ロスが最小化されるように第(k‐1)学習された適応ネットワークを学習して前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセスを遂行する請求項13に記載の装置。
【請求項22】
個人情報を保護するために原本データをコンシーリング(Concealing)処理するために使われる変造ネットワーク(Obfuscation Network)に対応される適応ネットワーク(Adaption Network)をテストするテスト装置において、
インストラクションを格納する少なくとも一つのメモリー;及び
(I)第1学習装置は、(i)前記変造ネットワークをもって前記変造ネットワークに入力されたトレーニングデータを変造するようにし、変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つラーニングネットワーク(Learning Network)に入力して、前記ラーニングネットワークをもって前記変造されたトレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第1特性(Characteristic)情報を生成させ、(ii‐2)前記トレーニングデータを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって前記トレーニングデータに対して前記学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2特性情報を生成させるプロセス、及び(iii)前記学習用第1特性情報と前記学習用第2特性情報とを参照して算出された第1エラーが最小化され、前記トレーニングデータと前記変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行した後または遂行する間、第2学習装置が(i)(i‐1)前記トレーニングデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記トレーニングデータを適応するようにして第1特徴適応トレーニングデータ(Feature Adapted Training Data)を生成させるプロセス、及び(i‐2)第1テストデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記テストデータを適応するようにして第2特徴適応トレーニングデータを生成させるプロセスの中で一つ及び、(ii)(ii‐1)前記変造ネットワークによって生成された前記変造されたトレーニングデータに対応される第1適応GT(Adaption Ground Truth)を獲得し、(1)前記第1適応GTと(2)第1特徴適応データに対応される第1適応レファレンス(Reference)とを参照して算出された、第1適応エラーが最小化されるように前記適応ネットワークを学習するプロセス及び(ii‐2)前記テストデータを学習された前記変造ネットワークに入力して生成された、変造されたテストデータに対応される第2適応GTと前記第2特徴適応トレーニングデータに対応される第2適応レファレンスとを参照して算出された第2適応エラーが最小化されるように前記適応ネットワークを学習するプロセスの中で一つを遂行した状態で、コンシーリング処理のための第2テストデータを獲得するプロセス;及び(II)前記第2テストデータを前記適応ネットワークに入力することで、前記適応ネットワークをもって前記第2テストデータを適応するようにして特徴適応テストデータを生成させ、前記特徴適応テストデータを前記第2テストデータのコンシーリング処理されたデータとして獲得するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサを含む装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は適応ネットワーク(Adaption Network)の学習方法に係りより詳しくは、個人情報を保護するために原本データをコンシーリング(Concealing)処理するための変造ネットワークに対応される適応ネットワークの学習方法及びこれを利用した学習装置、そして学習された適応ネットワークをテストする方法及びこれを利用したテスト装置に関する。
【背景技術】
【0002】
ビッグデータ(Big Data)とは、既存の企業環境や公共機関で使われる全ての定型化されたデータはもとより、電子商取引データ、メタデータ、ウェブログデータ、無線識別(RFID:Radio Frequency Identification)データ、センサーネットワークデータ、ソーシャルネットワークデータ、インターネットテキストと文書に関するデータ、インターネット検索インデックシングデータなど既存にまだ活用することができなかった非定型化または半定型化されたデータを全て含むデータを意味する。このようなデータは一般的に普通のソフトウェアツール及びコンピュータシステムでは取り扱いにくい水準の膨大なデータ量を持つという意味でビッグデータと称ている。
【0003】
また、このようなビッグデータそれ自体は意味ないことあるが、パターンなどに対する機械学習を通じて様々な分野で新しいデータを作ったり、判断または予測するのに有用に使われることができる。
【0004】
近来になって、個人情報保護法強化などによってこのようなビッグデータを取り引きまたは共有するためには該当データの個人識別が可能な情報を削除したり、該当個人の同意を得ることが要求される。しかし、相当な量のビッグデータの中で個人識別が可能な情報があるか否かをいちいち確認すること困難であり、なお、個人の同意をいちいち得ることも不可能であったため、これを支援するための多様な技術が登場している。
【0005】
これに関する従来技術の一例として、韓国登録特許公報第10‐1861520号に開示されている技術を例として挙げることができる。これによると、変形対象である入力イメージから人の顔領域を検出する検出段階、前記入力イメージから人が識別されることを防ぐために前記検出された顔領域を人の顔の形状ではない歪曲された第1イメージに変形する第1コンシーリング段階、及び前記第1イメージに基づいて所定の顔形成を持つ第2イメージを生成し、前記入力イメージ前記第1イメージを前記第2イメージに変形し、前記第2イメージは前記検出段階で検出された顔領域の形状と相違する顔形状を持つように生成される第2コンシーリング段階を含む顔‐コンシーリング方法を提供する。
【0006】
しかし、前記のような従来技術を始め、今まで紹介された技術はデータ上に顔、テキストなどの識別情報を含むか否かを確認し、識別情報にあたる部分をマスキング(Masking)またはブラー(Blur)処理して消したり隠す方式だったので、原本データが損傷されて機械学習で使われにくく、データ上に予測できなかった識別情報が含まれて、これをコンシーリング(例えば、非識別化)処理することができない場合もしばしば発生した。特に、従来のセキュリティカメラ(Security Camera)は映像イメージ内にフレームの間で変化のある全てのピクセルをブラー処理する方式で非識別処理を行うが、このような方式で非識別処理を遂行すると、非識別された顔の表情など主要情報が原本映像イメージに入っている情報と変わるようになるだけでなく、顔検出過程で漏れた個人識別情報が原本映像イメージ上にそのまま残る問題があった。また、ブラー処理された映像イメージは従来の映像デブラリング(Deblurring)技術の中一つを利用して原状復帰されることもできる。
【0007】
ここで、本発明者(ら)は、原本データと相違するように変造(Obfuscation)された変造データを生成し、ラーニングモデル(Learning Model)に原本データが入力されて出力される結果と、上記変造データが入力されて出力される結果とが互いに同一または類似にする技術と、このために学習されたモデルを提供する技術を提案する。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、前述した従来技術の問題点を全て解決することをその目的とする。
【0009】
また、本発明は、データ内で個人識別情報を捜す作業が必要ではないため、手軽く、なお正確にコンシーリング(Concealing)、例えば、非識別化(Anonymization)処理を遂行することをまた他の目的とする。
【0010】
また、本発明は、原本データから非可逆的に変造(Obfuscation)されてコンシーリング(例:非識別化)処理されたデータを生成することにより、原本データの保安及びプライバシーを守ることをまた他の目的とする。
【0011】
また、本発明は、人間には全然違く見えるデータであるが、コンピュータには互いに同一または類似に見えるデータを生成することをまた他の目的とする。
【0012】
また、本発明は、ビッグデータ取り引き市場を活性化させることをまた他の目的とする。
【0013】
また、本発明は、原本データをコンシーリング(例:非識別化)処理するように学習されたラーニングモデル(Learning Model)を提供することをまた他の目的とする。
【課題を解決するための手段】
【0014】
前記目的を達成するための本発明の代表的な構成は次のとおりである。
【0015】
本発明の一態様によると、 個人情報を保護するために原本データをコンシーリング(Concealing)処理するために使われる変造ネットワーク(Obfuscation Network)に対応される適応ネットワーク(Adaption Network)を学習する方法において、(a)第1学習装置は、(i)前記変造ネットワークにトレーニングデータが入力されると、前記変造ネットワークをもって前記トレーニングデータを変造するようにして変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つラーニングネットワーク(Learning Network)に入力して、前記ラーニングネットワークをもって前記変造されたトレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用することで学習用第1特性(Characteristic)情報を生成させ、(ii‐2)前記トレーニングデータを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって前記トレーニングデータに対して前記学習されたパラメータを利用した前記ラーニング演算を適用することで学習用第2特性情報を生成させるプロセス、及び(iii)前記学習用第1特性情報と前記学習用第2特性情報とを参照して算出された第1エラーが最小化され、前記トレーニングデータと前記変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行したか、又は遂行している状態で、第2学習装置が前記トレーニングデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記トレーニングデータ適応するようにして第1特徴適応データ(Feature Adapted Data)を生成させるプロセス、及びテストデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記テストデータ適応するようにして第2特徴適応データを生成させるプロセスを遂行する段階;及び(b)前記第2学習装置は、(i)前記変造ネットワークによって生成された前記変造されたトレーニングデータに対応される第1適応GT(Adaption Ground Truth)を獲得し、(1)前記第1適応GTと(2)前記第1特徴適応データに対応される第1適応レファレンス(Reference)とを参照して算出された、第1適応エラーが最小化されるように前記適応ネットワークを学習するプロセス、及び(ii)前記テストデータを学習された前記変造ネットワークに入力して生成された、変造されたテストデータに対応される第2適応GTと前記第2特徴適応データに対応される第2適応レファレンスとを参照して算出された第2適応エラーが最小化されるように前記適応ネットワークを学習するプロセスの中一つを遂行する段階;を含む方法が提供される。
【0016】
一実施例において、前記第2学習装置が(i)(i‐1)前記第1特徴適応データを前記ラーニングネットワークに入力することで、前記ラーニングネットワークをもって、前記第1特徴適応データに対して前記学習されたパラメータを利用した前記ラーニング演算を適用して前記第1特徴適応データに対応される第1適応特性情報を前記第1適応レファレンスとして出力させ、(i‐2)前記学習用第1特性情報と前記第1適応特性情報との間の差及び前記学習用第2特性情報と前記第1適応特性情報との間の差の中一つを参照して前記第1適応エラーを獲得するプロセス、及び(ii)(ii‐1)前記第2特徴適応データを前記ラーニングネットワークに入力することで、前記ラーニングネットワークをもって前記第2特徴適応データに対して前記学習されたパラメータを利用した前記ラーニング演算を適用して前記第2特徴適応データに対応される第2適応特性情報を前記第2適応レファレンスとして出力させ、(ii‐2)(ii‐2a)前記変造されたテストデータを前記ラーニングネットワークに入力して生成されたテスト用第1特性情報と前記第2適応特性情報との間の差及び(ii‐2b)前記テストデータを前記ラーニングネットワークに入力して生成されたテスト用第2特性情報と前記第2適応特性情報との間の差の中一つを参照して前記第2適応エラーを獲得するプロセスの中一つを遂行する。
【0017】
一実施例において、 前記第1エラーは、(i)前記学習用第1特性情報を利用して生成された、前記変造されたトレーニングデータに対する学習用タスク特定出力(Task Specific Output)と(ii)前記トレーニングデータに対応されるトレーニングデータGTとを参照して獲得された変造ロスを利用して算出され、前記第1適応エラーは、(i)前記第1適応特性情報を利用して生成された、前記第1特徴適応データに対する第1適応タスク特定出力と(ii)前記トレーニングデータGTとを参照して算出され、前記第2適応エラーは、(i)前記第2適応特性情報を利用して生成された、前記第2特徴適応データに対する第2適応タスク特定出力と(ii)前記テストデータに対応されるテストデータGTとを参照して獲得された第2適応ロス(Adaption Loss)を利用して算出される。
【0018】
一実施例において、前記第1エラーは、(i)前記学習用第1特性情報と前記学習用第2特性情報との間の差、及び(ii)(ii‐1)前記学習用第1特性情報を利用して生成された、前記変造されたトレーニングデータに対する学習用タスク特定出力と(ii‐2)前記トレーニングデータに対応されるトレーニングデータGTとを参照して獲得された変造ロスを参照して算出され、前記第1適応エラーは、(i)前記学習用第1特性情報と前記第1適応特性情報との間の差または前記学習用第2特性情報と前記第1適応特性情報との間の差、及び(ii)(ii‐1)前記第1適応特性情報を利用して生成された、前記第1特徴適応データに対する第1適応タスク特定出力と(ii‐2)前記トレーニングデータGTとを参照して獲得された第1適応ロスを参照して算出され、前記第2適応エラーは、(i)前記テスト用第1特性情報と前記第2適応特性情報との間の差または前記テスト用第2特性情報と前記第2適応特性情報との間の差、及び(ii)(ii‐1)前記第2適応特性情報を利用して生成された、前記第2特徴適応データに対する第2適応タスク特定出力と(ii‐2)前記テストデータに対応されるテストデータGTとを参照して獲得された第2適応ロスを参照して算出される。
【0019】
一実施例において、前記ラーニングネットワークはそれぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、前記第1学習装置が、(i)前記変造されたトレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記変造されたトレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報ないし学習用第1_n特性情報を生成させるプロセス、(ii)前記トレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記トレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報ないし学習用第2_n特性情報を生成させるプロセス、(iii)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーないし前記学習用第1_n特性情報と前記学習用第2_n特性情報とを参照して算出された第1_nエラーの加重合計(Weighted Sum)である前記第1エラーを生成させるプロセス、及び(iv)前記第1エラーが最小化され、前記第2エラーが最大化されるように前記変造ネットワークを学習するプロセスを遂行したか、又は遂行している状態で、前記第2学習装置は、(i)(i‐1)前記第1特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第1特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報ないし第1_n適応特性情報を生成させ、(i‐2)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第1_n特性情報と前記第1_n適応特性情報との間の差を加重和したり、前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第2_n特性情報と前記第1_n適応特性情報との間の差を加重和したりして、前記第1適応エラーを獲得するプロセス、または(ii)(ii‐1)前記第2特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第2特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報ないし第2_n適応特性情報を生成させ、(ii‐2)(1)テスト用第1_1特性情報ないしテスト用第1_n特性情報が、前記変造されたテストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力してそれぞれ生成される場合は、前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第1_n特性情報と前記第2_n適応特性情報との間の差を加重和したり、(2)テスト用第2_1特性情報ないしテスト用第2_n特性情報が、前記テストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力することでそれぞれ生成される場合は、前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第2_n特性情報と前記第2_n適応特性情報との間の差を加重和したりして、前記第2適応エラーを獲得するプロセスの中一つを遂行する。
【0020】
一実施例において、前記第1_1エラーないし前記第1_nエラーはそれぞれ(i)(i‐1)前記学習用第1_1特性情報を利用して生成された学習用第1タスク特定出力と(i‐2)前記トレーニングデータGTとを参照して獲得された第1変造ロスないし(ii)(ii‐1)前記学習用第1_n特性情報を利用して生成された学習用第nタスク特定出力と(ii‐2)前記トレーニングデータGTとを参照して獲得された第n変造ロスをさらに参照してそれぞれ算出され、(i)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第1_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して算出された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されたり、(ii)前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第2_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された前記第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された前記第1_1適応ロスないし前記第1_n適応特性情報を利用して算出された前記第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された前記第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるし、(i)前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第1_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータGTとを参照して算出された第2_1適応ロスないし前記第2_n適応特性情報を利用して算出された第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定されたり、(ii)前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第2_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された前記第2_1適応タスク特定出力と前記テストデータGTとを参照して算出された前記第2_1適応ロスないし前記第2_n適応特性情報を利用して算出された前記第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された前記第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定される。
【0021】
一実施例において、前記ラーニングネットワークは、それぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、前記第1学習装置は、(i)前記変造されたトレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記変造されたトレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報ないし学習用第1_n特性情報を生成させるプロセス、(ii)前記トレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記トレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報ないし学習用第2_n特性情報を生成させるプロセス、(iii)前記学習用第1_1特性情報を利用して生成された学習用第1タスク特定出力と前記トレーニングデータGTとを参照して算出された第1変造ロスないし前記学習用第1_n特性情報を利用して生成された学習用第nタスク特定出力と前記トレーニングデータGTとを参照して算出された第n変造ロスの加重合計である前記第1エラーを生成するプロセス、及び(iv)前記第1エラーが最小化されて前記第2エラーが最大化されるように前記変造ネットワークを学習するプロセスを遂行したか、又は遂行している状態で、前記第2学習装置は、(i)(i‐1)前記第1特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第1特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報ないし第1_n適応特性情報を生成させ、(i‐2)前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスを加重和して前記第1適応エラーを獲得するプロセス、または(ii)(ii‐1)前記第2特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第2特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報ないし第2_n適応特性情報を生成させ、(ii‐2)前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータGTとを参照して算出された第2_1適応ロスないし前記第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスを加重和して前記第2適応エラーを獲得するプロセスを遂行する。
【0022】
一実施例において、前記ラーニングネットワークはそれぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、前記第1学習装置は、(i)(i‐1)前記変造されたトレーニングデータである第1変造されたトレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1変造されたトレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報を生成させ、(i‐2)前記トレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記トレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報を生成させ、(i‐3)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーが最小化され、前記トレーニングデータと前記第1変造されたトレーニングデータとを参照して算出された第2_1エラーが最大化されるように、前記変造ネットワークを学習することで前記変造ネットワークが第1学習された変造ネットワークになるようにするプロセス、及び(ii)定数のkを2からnまで増加させながら、(ii‐1)前記トレーニングデータを第(k‐1)学習された変造ネットワークに入力することで、前記第(k‐1)学習された変造ネットワークをもって第k変造されたトレーニングデータを生成させ、(ii‐2)(1)前記第k変造されたトレーニングデータを第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記第k変造されたトレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_k特性情報を生成させ、(2)前記トレーニングデータを前記第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記トレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_k特性情報を生成させ、(ii‐3)前記学習用第1_k特性情報と前記学習用第2_k特性情報とを参照して算出された第1_kエラーが最小化され、前記トレーニングデータと前記第k変造されたトレーニングデータとを参照して算出された第2_kエラーが最大化されるように前記変造ネットワークを学習することで、前記第(k‐1)学習された変造ネットワークが第k学習された変造ネットワークになるようにするプロセスを遂行したか、又は遂行している状態で、前記第2学習装置は、(i)(i‐1)前記第1特徴適応データである第1_1特徴適応データを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報を生成させ、(i‐2)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差または前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差を参照して算出された第1_1適応エラーが最小化されるように前記適応ネットワークを学習することで、前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記トレーニングデータを第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第1_k特徴適応データを生成させ、前記第1_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第1_k特徴適応データに対して前記ラーニング演算を適用して第1_k適応特性情報を生成させ、(i‐3)前記学習用第1_k特性情報と前記第1_k適応特性情報との間の差または前記学習用第2_k特性情報と前記第1_k適応特性情報との間の差を参照して算出された第1_k適応エラーが最小化されるように前記第(k‐1)学習された適応ネットワークを学習することで、前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセス、または(ii)(ii‐1)前記変造されたテストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力して前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記変造されたテストデータに対して前記ラーニング演算を適用してテスト用第1_1特性情報ないしテスト用第1_n特性情報を生成させたり、前記テストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力して前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記テストデータに対して前記ラーニング演算を適用してテスト用第2_1特性情報ないしテスト用第2_n特性情報を生成させ、(ii‐2)前記第2特徴適応データである第2_1特徴適応データを前記第1ラーニングネットワークに入力して前記第1ラーニングネットワークをもって前記第2_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報を生成させ、(ii‐3)前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差または前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差を参照して算出された第2_1適応エラーが最小化されるように前記適応ネットワークを学習することで前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記テストデータを前記第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第2_k特徴適応データを生成させ、前記第2_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第2_k特徴適応データに対して前記ラーニング演算を適用して第2_k適応特性情報を生成させ、(ii‐4)前記テスト用第1_k特性情報と前記第2_k適応特性情報との間の差または前記テスト用第2_k特性情報と前記第2_k適応特性情報との間の差を参照して算出された第2_k適応エラーが最小化されるように前記第(k‐1)学習された適応ネットワークを学習することで前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセスを遂行する。
【0023】
一実施例において、前記第1_kエラーは、(i)前記学習用第1_k特性情報を利用して生成された、前記第k変造されたトレーニングデータに対する学習用第kタスク特定出力と(ii)前記トレーニングデータに対応されるトレーニングデータGTとを参照して獲得された第k変造ロスをさらに参照して算出され、(i)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第1_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されたり、(ii)前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第2_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるし、(i)前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第1_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータGTとを参照して算出された第2_1適応ロスないし前記第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照して決定されたり、(ii)前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第2_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された前記第2_1適応タスク特定出力と前記テストデータGTとを参照して算出された前記第2_1適応ロスないし前記第2_n適応特性情報を利用して生成された前記第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定される。
【0024】
一実施例において、前記ラーニングネットワークはそれぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、前記第1学習装置は、(i)(i‐1)前記変造されたトレーニングデータである第1変造されたトレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1変造されたトレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報を生成させ、(i‐2)前記トレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記トレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報を生成させ、(i‐3)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーが最小化され、前記トレーニングデータと前記第1変造されたトレーニングデータとを参照して算出された第2_1エラーが最大化されるように前記変造ネットワークを学習することで、前記変造ネットワークをもって第1学習された変造ネットワークになるようにするプロセス、及び(ii)定数のkを2からnまで増加させながら、(ii‐1)前記トレーニングデータを第(k‐1)学習された変造ネットワークに入力することで、前記第(k‐1)学習された変造ネットワークをもって第k変造されたトレーニングデータを生成させ、(ii‐2)(1)前記第k変造されたトレーニングデータが第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記第k変造されたトレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_k特性情報を生成させ、(2)前記トレーニングデータを前記第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記トレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_k特性情報を生成し、(ii‐3)前記学習用第1_k特性情報と前記学習用第2_k特性情報とを参照して算出された第1_kエラーが最小化され、前記トレーニングデータと前記第k変造されたトレーニングデータとを参照して算出された第2_kエラーが最大化されるように前記変造ネットワークを学習することで、前記第(k‐1)学習された変造ネットワークをもって前記第k学習された変造ネットワークになるようにするプロセスを遂行したか、又は遂行している状態で、前記第2学習装置は、(i)(i‐1)前記第1特徴適応データである第1_1特徴適応データを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報を生成させ、(i‐2)前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスが最小化されるように前記適応ネットワークを学習して前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記トレーニングデータを第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第1_k特徴適応データを生成させ、前記第1_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第1_k特徴適応データに対して前記ラーニング演算を適用して第1_k適応特性情報を生成させ、(i‐3)前記第1_k適応特性情報を利用して生成された第1_k適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_k適応ロスが最小化されるように第(k‐1)学習された適応ネットワークを学習して前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセス、または(ii)(ii‐1)前記第2特徴適応データである第2_1特徴適応データを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第2_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報を生成させ、(ii‐2)前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータGTとを参照して算出された第2_1適応ロスが最小化されるように前記適応ネットワークを学習して前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記テストデータを第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第2_k特徴適応データを生成させ、前記第2_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第2_k特徴適応データに対して前記ラーニング演算を適用して第2_k適応特性情報を生成させ、(ii‐3)前記第2_k適応特性情報を利用して生成された第2_k適応タスク特定出力と前記テストデータGTとを参照して算出された第2_k適応ロスが最小化されるように第(k‐1)学習された適応ネットワークを学習して前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセスを遂行する。
【0025】
本発明の他の態様によると、個人情報を保護するために原本データをコンシーリング(Concealing)処理するために使われる変造ネットワーク(Obfuscation Network)に対応される適応ネットワーク(Adaption Network)をテストする方法において、(a)第1学習装置は、(i)前記変造ネットワークをもって前記変造ネットワークに入力されたトレーニングデータを変造するようにし、変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つラーニングネットワーク(Learning Network)に入力して、前記ラーニングネットワークをもって前記変造されたトレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第1特性(Characteristic)情報を生成させ、(ii‐2)前記トレーニングデータを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって前記トレーニングデータに対して前記学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2特性情報を生成させるプロセス、及び(iii)前記学習用第1特性情報と前記学習用第2特性情報とを参照して算出された第1エラーが最小化され、前記トレーニングデータと前記変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行した後または遂行する間、第2学習装置が(i)(i‐1)前記トレーニングデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記トレーニングデータ適応するようにして第1特徴適応トレーニングデータ(Feature Adapted Training Data)を生成させるプロセス、及び(i‐2)第1テストデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記テストデータ適応するようにして第2特徴適応トレーニングデータを生成させるプロセスの中一つ及び(ii)(ii‐1)前記変造ネットワークによって生成された前記変造されたトレーニングデータに対応される第1適応GT(Adaption Ground Truth)を獲得し、(1)前記第1適応GTと(2)前記第1特徴適応データに対応される第1適応レファレンス(Reference)とを参照して算出された、第1適応エラーが最小化されるように前記適応ネットワークを学習するプロセス及び(ii‐2)前記テストデータを学習された前記変造ネットワークに入力して生成された、変造されたテストデータに対応される第2適応GTと前記第2特徴適応トレーニングデータに対応される第2適応レファレンスとを参照して算出された第2適応エラーが最小化されるように前記適応ネットワークを学習するプロセスの中一つを遂行した状態で、テスト装置がコンシーリング処理するための第2テストデータを獲得する段階;及び(b)前記テスト装置が、前記第2テストデータを前記適応ネットワークに入力することで、前記適応ネットワークをもって前記第2テストデータ適応するようにして特徴適応テストデータを生成させ、前記特徴適応テストデータを前記第2テストデータのコンシーリング処理されたデータとして獲得する段階を含む方法が提供される。
【0026】
本発明のまた他の態様によると、個人情報を保護するために原本データをコンシーリング(Concealing)処理するために使われる変造ネットワーク(Obfuscation Network)に対応される適応ネットワーク(Adaption Network)を学習する第2学習装置において、インストラクションを格納する少なくとも一つのメモリー;及び(I)第1学習装置は、(i)前記変造ネットワークにトレーニングデータが入力されると、前記変造ネットワークをもって前記トレーニングデータを変造するようにして変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つラーニングネットワーク(Learning Network)に入力して、前記ラーニングネットワークをもって前記変造されたトレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用することで学習用第1特性(Characteristic)情報を生成させ、(ii‐2)前記トレーニングデータを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって前記トレーニングデータに対して前記学習されたパラメータを利用した前記ラーニング演算を適用することで学習用第2特性情報を生成させるプロセス、及び(iii)前記学習用第1特性情報と前記学習用第2特性情報とを参照して算出された第1エラーが最小化され、前記トレーニングデータと前記変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行したか、又は遂行している状態で、前記トレーニングデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記トレーニングデータ適応するようにして第1特徴適応データ(Feature Adapted Data)を生成させるプロセス、及びテストデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記テストデータ適応するようにして第2特徴適応データを生成させるプロセスを遂行するプロセス及び(II)(i)前記変造ネットワークによって生成された前記変造されたトレーニングデータに対応される第1適応GT(Adaption Ground Truth)を獲得し、(1)前記第1適応GTと(2)前記第1特徴適応データに対応される第1適応レファレンス(Reference)とを参照して算出された、第1適応エラーが最小化されるように前記適応ネットワークを学習するプロセス、及び(ii)前記テストデータを学習された前記変造ネットワークに入力して生成された、変造されたテストデータに対応される第2適応GTと前記第2特徴適応データに対応される第2適応レファレンスとを参照して算出された第2適応エラーが最小化されるように前記適応ネットワークを学習するプロセスの中一つを遂行するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ;を含む装置が提供される。
【0027】
一実施例において、前記プロセッサが、(i)(i‐1)前記第1特徴適応データを前記ラーニングネットワークに入力することで、前記ラーニングネットワークをもって前記第1特徴適応データに対して前記学習されたパラメータを利用した前記ラーニング演算を適用して前記第1特徴適応データに対応される第1適応特性情報を前記第1適応レファレンスとして出力させ、(i‐2)前記学習用第1特性情報と前記第1適応特性情報との間の差及び前記学習用第2特性情報と前記第1適応特性情報との間の差の中一つを参照して前記第1適応エラーを獲得するプロセス、及び(ii)(ii‐1)前記第2特徴適応データを前記ラーニングネットワークに入力することで、前記ラーニングネットワークをもって前記第2特徴適応データに対して前記学習されたパラメータを利用した前記ラーニング演算を適用して前記第2特徴適応データに対応される第2適応特性情報を前記第2適応レファレンスとして出力させ、(ii‐2)(ii‐2a)前記変造されたテストデータを前記ラーニングネットワークに入力して生成されたテスト用第1特性情報と前記第2適応特性情報との間の差及び(ii‐2b)前記テストデータを前記ラーニングネットワークに入力して生成されたテスト用第2特性情報と前記第2適応特性情報との間の差の中一つを参照して前記第2適応エラーを獲得するプロセスの中一つを遂行する。
【0028】
一実施例において、前記第1エラーは、(i)前記学習用第1特性情報を利用して生成された、前記変造されたトレーニングデータに対する学習用タスク特定出力(Task Specific Output)と(ii)前記トレーニングデータに対応されるトレーニングデータGTとを参照して獲得された変造ロスを利用して算出され、前記第1適応エラーは(i)前記第1適応特性情報を利用して生成された、前記第1特徴適応データに対する第1適応タスク特定出力と(ii)前記トレーニングデータGTとを参照して算出され、前記第2適応エラーは(i)前記第2適応特性情報を利用して生成された、前記第2特徴適応データに対する第2適応タスク特定出力と(ii)前記テストデータに対応されるテストデータGTとを参照して獲得された第2適応ロス(Adaption Loss)を利用して算出される。
【0029】
一実施例において、前記第1エラーは、(i)前記学習用第1特性情報と前記学習用第2特性情報との間の差、及び(ii)(ii‐1)前記学習用第1特性情報を利用して生成された、前記変造されたトレーニングデータに対する学習用タスク特定出力と(ii‐2)前記トレーニングデータに対応されるトレーニングデータGTとを参照して獲得された変造ロスを参照して算出され、前記第1適応エラーは、(i)前記学習用第1特性情報と前記第1適応特性情報との間の差または前記学習用第2特性情報と前記第1適応特性情報との間の差、及び(ii)(ii‐1)前記第1適応特性情報を利用して生成された、前記第1特徴適応データに対する第1適応タスク特定出力と(ii‐2)前記トレーニングデータGTとを参照して獲得された第1適応ロスを参照して算出され、前記第2適応エラーは、(i)前記テスト用第1特性情報と前記第2適応特性情報との間の差または前記テスト用第2特性情報と前記第2適応特性情報との間の差、及び(ii)(ii‐1)前記第2適応特性情報を利用して生成された、前記第2特徴適応データに対する第2適応タスク特定出力と(ii‐2)前記テストデータに対応されるテストデータGTとを参照して獲得された第2適応ロスを参照して算出される。
【0030】
一実施例において、前記ラーニングネットワークはそれぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、前記第1学習装置が、(i)前記変造されたトレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記変造されたトレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報ないし学習用第1_n特性情報を生成させるプロセス、(ii)前記トレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記トレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報ないし学習用第2_n特性情報を生成させるプロセス、(iii)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーないし前記学習用第1_n特性情報と前記学習用第2_n特性情報とを参照して算出された第1_nエラーの加重合計(Weighted Sum)である前記第1エラーを生成させるプロセス、及び(iv)前記第1エラーが最小化され、前記第2エラーが最大化されるように前記変造ネットワークを学習するプロセスを遂行したか、又は遂行している状態で、前記プロセッサは、(i)(i‐1)前記第1特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第1特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報ないし第1_n適応特性情報を生成させ、(i‐2)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第1_n特性情報と前記第1_n適応特性情報との間の差を加重和したり、前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第2_n特性情報と前記第1_n適応特性情報との間の差を加重和したりして、前記第1適応エラーを獲得するプロセス、または(ii)(ii‐1)前記第2特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第2特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報ないし第2_n適応特性情報を生成させ、(ii‐2)(1)テスト用第1_1特性情報ないしテスト用第1_n特性情報が、前記変造されたテストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力してそれぞれ生成される場合は、前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第1_n特性情報と前記第2_n適応特性情報との間の差を加重和したり、(2)テスト用第2_1特性情報ないしテスト用第2_n特性情報が、前記テストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力することでそれぞれ生成される場合は、前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第2_n特性情報と前記第2_n適応特性情報との間の差を加重和したりして、前記第2適応エラーを獲得するプロセスの中一つを遂行する。
【0031】
一実施例において、前記第1_1エラーないし前記第1_nエラーは、それぞれ(i)(i‐1)前記学習用第1_1特性情報を利用して生成された学習用第1タスク特定出力と(i‐2)前記トレーニングデータGTとを参照して獲得された第1変造ロスないし(ii)(ii‐1)前記学習用第1_n特性情報を利用して生成された学習用第nタスク特定出力と(ii‐2)前記トレーニングデータGTとを参照して獲得された第n変造ロスをさらに参照してそれぞれ算出され、(i)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第1_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して算出された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されたり、(ii)前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第2_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された前記第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された前記第1_1適応ロスないし前記第1_n適応特性情報を利用して算出された前記第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された前記第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるし、(i)前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第1_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータGTとを参照して算出された第2_1適応ロスないし前記第2_n適応特性情報を利用して算出された第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定されたり、(ii)前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第2_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された前記第2_1適応タスク特定出力と前記テストデータGTとを参照して算出された前記第2_1適応ロスないし前記第2_n適応特性情報を利用して算出された前記第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された前記第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定される。
【0032】
一実施例において、前記ラーニングネットワークは、それぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、前記第1学習装置は、(i)前記変造されたトレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記変造されたトレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報ないし学習用第1_n特性情報を生成させるプロセス、(ii)前記トレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記トレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報ないし学習用第2_n特性情報を生成させるプロセス、(iii)前記学習用第1_1特性情報を利用して生成された学習用第1タスク特定出力と前記トレーニングデータGTとを参照して算出された第1変造ロスないし前記学習用第1_n特性情報を利用して生成された学習用第nタスク特定出力と前記トレーニングデータGTとを参照して算出された第n変造ロスの加重合計である前記第1エラーを生成するプロセス、及び(iv)前記第1エラーが最小化されて前記第2エラーが最大化されるように前記変造ネットワークを学習するプロセスを遂行したか、又は遂行している状態で、前記プロセッサは、(i)(i‐1)前記第1特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第1特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報ないし第1_n適応特性情報を生成させ、(i‐2)前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスを加重和して前記第1適応エラーを獲得するプロセス、または(ii)(ii‐1)前記第2特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第2特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報ないし第2_n適応特性情報を生成させ、(ii‐2)前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータGTとを参照して算出された第2_1適応ロスないし前記第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスを加重和して前記第2適応エラーを獲得するプロセスを遂行する。
【0033】
一実施例において、前記ラーニングネットワークは、それぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、前記第1学習装置は、(i)(i‐1)前記変造されたトレーニングデータである第1変造されたトレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1変造されたトレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報を生成させ、(i‐2)前記トレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記トレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報を生成させ、(i‐3)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーが最小化され、前記トレーニングデータと前記第1変造されたトレーニングデータとを参照して算出された第2_1エラーが最大化されるように、前記変造ネットワークを学習することで前記変造ネットワークが第1学習された変造ネットワークになるようにするプロセス、及び(ii)定数のkを2からnまで増加させながら、(ii‐1)前記トレーニングデータを第(k‐1)学習された変造ネットワークに入力することで、前記第(k‐1)学習された変造ネットワークをもって第k変造されたトレーニングデータを生成させ、(ii‐2)(1)前記第k変造されたトレーニングデータを第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記第k変造されたトレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_k特性情報を生成させ、(2)前記トレーニングデータを前記第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記トレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_k特性情報を生成させ、(ii‐3)前記学習用第1_k特性情報と前記学習用第2_k特性情報とを参照して算出された第1_kエラーが最小化され、前記トレーニングデータと前記第k変造されたトレーニングデータとを参照して算出された第2_kエラーが最大化されるように前記変造ネットワークを学習することで、前記第(k‐1)学習された変造ネットワークが第k学習された変造ネットワークになるようにするプロセスを遂行したか、又は遂行している状態で、前記プロセッサは、(i)(i‐1)前記第1特徴適応データである第1_1特徴適応データを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報を生成させ、(i‐2)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差または前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差を参照して算出された第1_1適応エラーが最小化されるように前記適応ネットワークを学習することで、前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記トレーニングデータを第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第1_k特徴適応データを生成させ、前記第1_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第1_k特徴適応データに対して前記ラーニング演算を適用して第1_k適応特性情報を生成させ、(i‐3)前記学習用第1_k特性情報と前記第1_k適応特性情報との間の差または前記学習用第2_k特性情報と前記第1_k適応特性情報との間の差を参照して算出された第1_k適応エラーが最小化されるように前記第(k‐1)学習された適応ネットワークを学習することで、前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセス、または(ii)(ii‐1)前記変造されたテストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力して前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記変造されたテストデータに対して前記ラーニング演算を適用してテスト用第1_1特性情報ないしテスト用第1_n特性情報を生成させたり、前記テストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力して前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記テストデータに対して前記ラーニング演算を適用してテスト用第2_1特性情報ないしテスト用第2_n特性情報を生成させ、(ii‐2)前記第2特徴適応データである第2_1特徴適応データを前記第1ラーニングネットワークに入力して前記第1ラーニングネットワークをもって前記第2_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報を生成させ、(ii‐3)前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差または前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差を参照して算出された第2_1適応エラーが最小化されるように前記適応ネットワークを学習することで前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記テストデータを前記第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第2_k特徴適応データを生成させ、前記第2_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第2_k特徴適応データに対して前記ラーニング演算を適用して第2_k適応特性情報を生成させ、(ii‐4)前記テスト用第1_k特性情報と前記第2_k適応特性情報との間の差または前記テスト用第2_k特性情報と前記第2_k適応特性情報との間の差を参照して算出された第2_k適応エラーが最小化されるように前記第(k‐1)学習された適応ネットワークを学習することで前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセスを遂行する。
【0034】
一実施例において、前記第1_kエラーは、(i)前記学習用第1_k特性情報を利用して生成された、前記第k変造されたトレーニングデータに対する学習用第kタスク特定出力と(ii)前記トレーニングデータに対応されるトレーニングデータGTとを参照して獲得された第k変造ロスをさらに参照して算出され、(i)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第1_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されたり、(ii)前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第2_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるし、(i)前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第1_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータGTとを参照して算出された第2_1適応ロスないし前記第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照して決定されたり、(ii)前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第2_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された前記第2_1適応タスク特定出力と前記テストデータGTとを参照して算出された前記第2_1適応ロスないし前記第2_n適応特性情報を利用して生成された前記第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定される。
【0035】
一実施例において、前記ラーニングネットワークは、それぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、前記第1学習装置は、(i)(i‐1)前記変造されたトレーニングデータである第1変造されたトレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1変造されたトレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報を生成させ、(i‐2)前記トレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記トレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報を生成させ、(i‐3)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーが最小化され、前記トレーニングデータと前記第1変造されたトレーニングデータとを参照して算出された第2_1エラーが最大化されるように前記変造ネットワークを学習することで、前記変造ネットワークをもって第1学習された変造ネットワークになるようにするプロセス、及び(ii)定数のkを2からnまで増加させながら、(ii‐1)前記トレーニングデータを第(k‐1)学習された変造ネットワークに入力することで、前記第(k‐1)学習された変造ネットワークをもって第k変造されたトレーニングデータを生成させ、(ii‐2)(1)前記第k変造されたトレーニングデータが第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記第k変造されたトレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_k特性情報を生成させ、(2)前記トレーニングデータを前記第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記トレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_k特性情報を生成し、(ii‐3)前記学習用第1_k特性情報と前記学習用第2_k特性情報とを参照して算出された第1_kエラーが最小化され、前記トレーニングデータと前記第k変造されたトレーニングデータとを参照して算出された第2_kエラーが最大化されるように前記変造ネットワークを学習することで、前記第(k‐1)学習された変造ネットワークをもって前記第k学習された変造ネットワークになるようにするプロセスを遂行したか、又は遂行している状態で、前記プロセッサは、(i)(i‐1)前記第1特徴適応データである第1_1特徴適応データを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報を生成させ、(i‐2)前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスが最小化されるように前記適応ネットワークを学習して前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記トレーニングデータを第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第1_k特徴適応データを生成させ、前記第1_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第1_k特徴適応データに対して前記ラーニング演算を適用して第1_k適応特性情報を生成させ、(i‐3)前記第1_k適応特性情報を利用して生成された第1_k適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_k適応ロスが最小化されるように第(k‐1)学習された適応ネットワークを学習して前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセス、または(ii)(ii‐1)前記第2特徴適応データである第2_1特徴適応データを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第2_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報を生成させ、(ii‐2)前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータGTとを参照して算出された第2_1適応ロスが最小化されるように前記適応ネットワークを学習して前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記テストデータを第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第2_k特徴適応データを生成させ、前記第2_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第2_k特徴適応データに対して前記ラーニング演算を適用して第2_k適応特性情報を生成させ、(ii‐3)前記第2_k適応特性情報を利用して生成された第2_k適応タスク特定出力と前記テストデータGTとを参照して算出された第2_k適応ロスが最小化されるように第(k‐1)学習された適応ネットワークを学習して前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセスを遂行する。
【0036】
本発明のまた他の態様によると、個人情報を保護するために原本データをコンシーリング(Concealing)処理するために使われる変造ネットワーク(Obfuscation Network)に対応される適応ネットワーク(Adaption Network)をテストするテスト装置において、インストラクションを格納する少なくとも一つのメモリー;及び(I)第1学習装置は、(i)前記変造ネットワークをもって前記変造ネットワークに入力されたトレーニングデータを変造するようにし、変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つラーニングネットワーク(Learning Network)に入力して、前記ラーニングネットワークをもって前記変造されたトレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第1特性(Characteristic)情報を生成させ、(ii‐2)前記トレーニングデータを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって前記トレーニングデータに対して前記学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2特性情報を生成させるプロセス、及び(iii)前記学習用第1特性情報と前記学習用第2特性情報とを参照して算出された第1エラーが最小化され、前記トレーニングデータと前記変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行した後または遂行する間、第2学習装置が(i)(i‐1)前記トレーニングデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記トレーニングデータ適応するようにして第1特徴適応トレーニングデータ(Feature Adapted Training Data)を生成させるプロセス、及び(i‐2)第1テストデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記テストデータ適応するようにして第2特徴適応トレーニングデータを生成させるプロセスの中一つ及び、(ii)(ii‐1)前記変造ネットワークによって生成された前記変造されたトレーニングデータに対応される第1適応GT(Adaption Ground Truth)を獲得し、(1)前記第1適応GTと(2)前記第1特徴適応データに対応される第1適応レファレンス(Reference)とを参照して算出された、第1適応エラーが最小化されるように前記適応ネットワークを学習するプロセス及び(ii‐2)前記テストデータを学習された前記変造ネットワークに入力して生成された、変造されたテストデータに対応される第2適応GTと前記第2特徴適応トレーニングデータに対応される第2適応レファレンスとを参照して算出された第2適応エラーが最小化されるように前記適応ネットワークを学習するプロセスの中一つを遂行した状態で、コンシーリング処理のための第2テストデータを獲得するプロセス;及び(II)前記第2テストデータを前記適応ネットワークに入力することで、前記適応ネットワークをもって前記第2テストデータ適応するようにして特徴適応テストデータを生成させ、前記特徴適応テストデータを前記第2テストデータのコンシーリング処理されたデータとして獲得するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ含む装置が提供される。
【0037】
その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
【発明の効果】
【0038】
本発明は、データ内で個人識別情報を捜す作業が必要ではないため、手軽く、なお正確コンシーリング(Concealing)処理を遂行できる効果がある。
【0039】
また、本発明は、原本データから非可逆的に変造(Obfuscation)されてコンシーリング処理されたデータを生成することにより、データの保安及びプライバシーを守ることができる他の効果がある。
【0040】
また、本発明は、人間には全然違く見えるデータであるが、コンピュータには互いに同一または類似に見えるデータを生成できるまた他の効果がある。
【0041】
また、本発明によると、ビッグデータ取り引き市場を活性化させることることができるまた他の効果がある。
【0042】
また、本発明は、原本データをコンシーリング処理するように学習されたモデルに比べてコンピュータリソースを少なく使用するラーニングモデル(Learning Model)を提供することで、ランタイム(Run‐time)でのオーバーヘッド(Overhead)を防ぐことができるまた他の効果がある。
【図面の簡単な説明】
【0043】
本発明における実施例の説明に利用されるために添付された以下の図面は、本発明の実施例のうち、単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者(以下「通常の技術者」)をもっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
図1図1は、本発明の一実施例によって原本データをコンシーリング(Concealing)処理することができる変造ネットワーク(Obfuscation Network)に対応される適応ネットワーク(Adaption Network)を学習する学習装置を簡略に示したもので
図2図2は、本発明の一実施例によって原本データをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する方法を簡略に示したもので
図3図3は、本発明の一実施例によって原本データをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する他の方法を簡略に示したもので
図4図4は、本発明の他の実施例によって原本データをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する方法を簡略に示したもので
図5図5は、本発明の他の実施例によって原本データをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する他の方法を簡略に示したもので
図6図6は、本発明の一実施例によって学習された適応ネットワークをテストするテスト装置を簡略に示したものである。
【発明を実施するための形態】
【0044】
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定機能、構造及び特性は、本発明の精神及び範囲を逸脱せず、かつ一実施例から他の実施例に変更されて具現され得る。また、それぞれの実施例内の個別構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は特許請求範囲の請求項が請求する範囲及びそれと均等な全ての範囲を包括するものとして受け入れられるべきである。図面において類似な参照符号は、様々な側面にわたって同一であるか、又は類似な構成要素を指す。以下では、本発明の詳細な説明と請求項に含まれた「含む」と言う用語と該当用語の多様な表現は他の技術的特徴、追加、構成要素又は段階を排除することを意味しない。本発明の他の目的、恵沢及び特徴は、部分的には明細書から、及び部分的には本発明の移行から技術分野において通常の知識を有する者に明らかに現われる。次の例示と図面は例示として示したが、本発明がこれに制限されるものではない。
【0045】
本発明が属する技術分野において通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の幾つかの好ましい実施例に関して添付の図面を参照して詳しく説明する。
【0046】
図1は、本発明の一実施例によって原本データをコンシーリング(Concealing)(例:非識別化)処理することができる変造ネットワーク(Obfuscation Network)に対応される適応ネットワーク(Adaption Network)を学習する第2学習装置を簡略に示したものである。第1学習装置は以後説明する。
【0047】
図1を参照すれば、本発明の一実施例による第2学習装置100は、ラーニングネットワーク(Learning Network)で変造データ(Obfuscated Data)を利用して算出された結果が入力データを利用して算出された結果と同一又は類似するように少なくとも一つの入力データを変造することができる変造ネットワークと相違するアーキテクチャ(Architecture)を持つが変造ネットワークの入力と出力のフォーマットは同一のマシンラーニングモデル(Machine Learning Model)である適応ネットワーク(Adaption Network)を学習するためのインストラクション(Instruction)が格納されたされたメモリー110と、メモリー110に格納されたインストラクションによって変造ネットワークを学習する動作を遂行するプロセッサ120とを含むことができる。
【0048】
具体的に、第2学習装置100は、少なくとも一つのコンピューティング装置(例えば、コンピュータプロセッサ、メモリー、ストーレジ、入力装置、出力装置又はその他既存のコンピューティング装置の構成要素)ルーター、スイッチなどのような電子通信装置ネットワーク付きストーレジ(NAS)及びストーレジ領域ネットワーク(SAN)のような電子情報ストーレジシステム)と少なくとも一つのコンピュータソフトウェア(すなわち、コンピューティング装置をもって特定方式で機能させるインストラクション)の組み合わせを利用して所望のシステム性能を一般的に達成することができる。
【0049】
また、このような装置のプロセッサは、MPU(Micro Processing Unit)またはCPU(Central Processing Unit)、キャッシュメモリー(Cache Memory)、データバス(Data Bus)などのハードウェア構成を含むことができる。また、コンピューティング装置は、運営体制、特定目的を達成するアプリケーションのソフトウェア構成をさらに含むこともできる。
【0050】
コンピューティング装置に対するこのような説明が本発明を実施するためのプロセッサ、メモリー、ミディアムまたは他のコンピューティング要素の任意の組み合わせを含む統合装置を排除することではない
【0051】
このとき、適応ネットワークは変造ネットワークに比べて少ないコンピューティングソースを使用するように設計されることができる。一例として、適応ネットワークは変造ネットワークに比べて演算に使われるパラメータの個数が少ないか、又は深度(Depth)が低いことがあって、変造ネットワークの一部レイヤーが取り除かれたラーニングモデルである。また、適応ネットワークは変造ネットワークとは相違する少なくとも一つのラーニングモデルを利用して変造ネットワークと類似する少なくとも一つの機能を遂行することができる。
【0052】
すなわち、変造データがラーニングネットワークに入力される際、ラーニングネットワークが入力データから出た結果と同一又は類似な結果を出力するよう、原本データを変造データ(例:非識別化処理されたデータ)に変造するように学習された変造ネットワークをコンピューティングリソースが低い装置に設置した場合は、これによって装置でオーバーヘッド(Overhead)が発生することがあるので、これを防ぐために変造ネットワークと類似な機能を遂行するが、コンピューティングリソースを少なく使用する適応ネットワークを使用させるようにする。また、変造ネットワークがパブリックアクセス(Public Access)に公開される場合、第3者が変造ネットワークを利用してビッグモデル(Big Model)を学習することができるし、変造ネットワークの学習されたビッグモデルを利用してコンシーリング処理された変造データからコンシーリング処理されていない原本データを獲得することができる問題点があるので、変造ネットワークの保安のために変造ネットワークの代わりに適応ネットワークをパブリックアクセスに公開することができる。
【0053】
一方、(a)第1学習装置は、(i)変造ネットワークにトレーニングデータが入力されると、変造ネットワークをもってトレーニングデータを変造するようにして変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つラーニングネットワークに入力して、ラーニングネットワークをもって変造されたトレーニングデータに対して学習されたパラメータを利用したラーニング演算を適用することで学習用第1特性(Characteristic)情報を生成させ、(ii‐2)トレーニングデータをラーニングネットワークに入力して、ラーニングネットワークをもってトレーニングデータに対して学習されたパラメータを利用したラーニング演算を適用することで学習用第2特性情報を生成させるプロセス、及び(iii)学習用第1特性情報と学習用第2特性情報とを参照して算出された第1エラーが最小化され、トレーニングデータと変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、変造ネットワークを学習するプロセスを遂行したか、又は遂行している状態で、第2学習装置100がトレーニングデータを適応ネットワークに入力することで、適応ネットワークをもってトレーニングデータ適応するようにして第1特徴適応データ(Feature Adapted Data)を生成させるプロセス、及びテストデータを適応ネットワークに入力することで適応ネットワークをもってテストデータ適応するようにして第2特徴適応データを生成させるプロセスを遂行することができる。そして、第2学習装置100は、(i)変造ネットワークによって生成された、変造されたトレーニングデータに対応される第1適応GT(Adaption Ground Truth)を獲得し、(1)第1適応GTと(2)第1特徴適応データに対応される第1適応レファレンス(Reference)とを参照して算出された、第1適応エラーが最小化されるように適応ネットワークを学習するプロセス、または(ii)テストデータを学習された変造ネットワークに入力して生成された、変造されたテストデータに対応される第2適応GTと第2特徴適応データに対応される第2適応レファレンスとを参照して算出された第2適応エラーが最小化されるように適応ネットワークを学習するプロセスを遂行することができる。ここに出た第1適応レファレンスと第2適応レファレンスは以後説明する。
【0054】
このとき、第1学習装置は、ラーニングネットワークが変造されたトレーニングデータを入力として利用して算出された結果がトレーニングデータを入力として利用して算出された結果と同一又は類似するようにトレーニングデータを変造(例:非識別化)できる変造ネットワークを学習するためのインストラクションが格納されたメモリーと、メモリーに格納されたインストラクションによって変造ネットワークを学習する動作を遂行するプロセッサとを含むことができる。具体的に、第1学習装置は、少なくとも一つのコンピューティング装置(例えば、コンピュータプロセッサ、メモリー、ストーレジ、入力装置、出力装置またはその他既存のコンピューティング装置の構成要素)ルーター、スイッチなどのような電子通信装置;ネットワーク付きストーレジ(NAS)及びストーレジ領域ネットワーク(SAN)のような電子情報ストーレジシステムと少なくとも一つのコンピュータソフトウェア(すなわち、コンピューティング装置をもって特定方式で機能させるインストラクション)の組み合わせを利用して所望システム性能を一般的に達成することができる。また、コンピューティング装置のプロセッサは、MPU(Micro Processing Unit)またはCPU(Central Processing Unit)、キャッシュメモリー(Cache Memory)、データバス(Data Bus)などのハードウェア構成を含むことができる。また、コンピューティング装置は、運営体制、特定目的を達成するアプリケーションのソフトウェア構成をさらに含むこともできる。
【0055】
また、第1学習装置と第2学習装置100は同一装置であるか、または異なる装置である。
【0056】
本発明の一実施例による第2学習装置100を利用して個人情報を保護するために原本データをコンシーリング(例:非識別化)処理することができる変造ネットワークに対応される適応ネットワークを学習する方法は、図2ないし図5を参照してのように説明することができる。
【0057】
図2は本発明の一実施例にしたがって原本データをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する方法を簡略に示したものである。
【0058】
先ず、第1学習装置を利用して原本データをコンシーリング(例:非識別化)処理するために使われる変造ネットワークOを学習する方法を説明する。
【0059】
トレーニングデータが獲得されると、第1学習装置はトレーニングデータを変造ネットワークOに入力して変造ネットワークOをもってトレーニングデータを変造し、変造されたトレーニングデータを生成させることができる。
【0060】
このとき、トレーニングデータは学習に利用される原本データの原本トレーニングデータであるか、又は原本トレーニングデータを変換(Modify)して生成された変換(Modified)トレーニングデータであり、変換トレーニングデータは原本トレーニングデータに対してランダムノイズ生成ネットワーク(未図示)を通じて生成された少なくとも一つのランダムノイズを追加して生成されることができる。一例として、ランダムノイズ生成ネットワークは正規分布 N(0、σ)を持つランダムノイズを生成させ、生成されたノイズを原本トレーニングデータに追加して変換トレーニングデータを生成することができる。また、変換トレーニングデータは、ランダムノイズ以外にも原本トレーニングデータをブラー(Blur)処理したり、原本トレーニングデータの解像度を変更して生成されることができるが、本発明の範囲これに限定されず、原本トレーニングデータを変換する多様な方法が適用されることができる。
【0061】
また、変造されたトレーニングデータは、にはトレーニングデータと違く認識されるが、ラーニングネットワークではトレーニングデータと同一または類似なものとして認識されることができる。
【0062】
一方、変造ネットワークOは、一例として、トレーニングデータとしてのイメージに対してコンボリューション演算を少なくとも一回適用するための少なくても一つのコンボリューションレイヤーを持つ少なくとも一つのエンコーダー(Encoder)と、エンコーダーから出力される少なくとも一つの特徴マップに対してデコンボリューション演算を少なくとも一回適用して変造されたトレーニングデータを生成するための少なくても一つのデコンボリューションレイヤーを含む少なくとも一つのデコーダー(Decoder)を含むことができるが、本発明の範囲これに限定されず、入力されるトレーニングデータを変造することができる多様な構造を持つラーニングネットワークは何でも含むことができる。
【0063】
そして、第1学習装置は、(i)変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つラーニングネットワークFに入力することで、ラーニングネットワークFをもって(i‐1)変造されたトレーニングデータに対して学習されたパラメータを利用したネットワーク演算を適用して(i‐2)変造されたトレーニングデータに対応する学習用第1特性情報を生成させるプロセス、及び(ii)トレーニングデータをラーニングネットワークFに入力することで、ラーニングネットワークFをもって(ii‐1)トレーニングデータに対して学習されたパラメータを利用したネットワーク演算を適用して(ii‐2)トレーニングデータに対応する学習用第2特性情報を生成させるプロセスを遂行したり、他の装置をもって遂行するように支援することができる。
【0064】
このとき、ラーニングネットワークFはマシンラーニングネットワークを含むことができるが、本発明の範囲これに限定されず、トレーニングデータに対して予め学習されたパラメータでネットワーク演算を適用して学習用第1特性情報を生成することにより、トレーニングデータに対してネットワーク演算を適用して学習用第2特性情報を生成することができるラーニングネットワークは何でも含むことができる。そして、マシンラーニングネットワークはK‐近傍(K‐Nearest Neighbors)、線形回帰(Linear Regression)、ロジスティック回帰(Logistic Regression)、サポートベクターマシン(SVMSupport Vector Machine)、決定木(Decision Tree)とランダムフォレスト(Random Forest)、神経網(Neural Network)、群集(Clustering)、視覚化(Visualization)と次元縮小(Dimensionality Reduction)、相関規則学習(Association Rule Learning)、深層信念ネットワーク(Deep Belief Network)、強化学習(Reinforcement Learning)、及びディープラーニング(Deep learning)アルゴリズムの中少なくとも一つを含むことができるが、マシンラーニングネットワークはこれに限定されず、多様な学習アルゴリズムを含むことができる。また、コンシーリング(例:非識別化)処理のための対象は原本データに含まれた個人情報である。ここで、個人情報は、個人識別情報、個人の医療情報、生体情報、行動情報など個人と係わる如何なる情報も含むことができる。
【0065】
そして、学習用第1特性情報と学習用第2特性情報とは、変造されたトレーニングデータとトレーニングデータとにそれぞれ対応する特徴(Feature)またはロジット(Logit)である。また、学習用第1特性情報と学習用第2特性情報は変造されたトレーニングデータとトレーニングデータ内にそれぞれ含まれた所定の特徴と係る特徴値、または所定の特徴と係るベクター(Vector)、行列(Matrix)及び座標(Coordinate)の中少なくとも一つに関する値を含むロジットである。例えば、トレーニングデータが顔イメージデータの場合、上記結果は顔認識のためのクラス、顔の特徴、一例として、笑う表情、顔の特徴点(Landmark Point、例えば、両目の端点)に関する座標である。
【0066】
以後、第1学習装置は、学習用第1特性情報を参照して算出された第1エラーが最小化され、トレーニングデータと変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるよう、変造ネットワークOを学習することができる。
【0067】
すなわち、第1学習装置は、(i)(i‐1)学習用第1特性情報と学習用第2特性情報とを参照して獲得された少なくとも一つの第1_1エラー、及び(i‐2)学習用第1特性情報を利用して生成された少なくとも一つの学習用タスク特定出力(Task Specific Output)とこれに対応する少なくとも一つのトレーニングデータGTとを参照して獲得された変造ロスの少なくとも一つの第1_2エラーの中少なくとも一部を参照して算出された少なくとも一つの第1エラーを最小化し、(ii)トレーニングデータと変造されたトレーニングデータとを参照して算出された少なくとも一つの第2エラーを最大化するよう、変造ネットワークOを学習することができる。これをもう少し詳しく説明すると、第1学習装置が変造ネットワークOを学習するにあたり、第2エラーを利用して変造ネットワークOをもってトレーニングデータと相当異なる変造されたトレーニングデータを出力させるようにし、ラーニングネットワークFでトレーニングデータと同一または類似に認識されるように第1エラーを利用して変造ネットワークOをもってトレーニングデータを変造して変造されたトレーニングデータを出力させるようにする。
【0068】
このとき、第1学習装置は、(i)学習用第1特性情報と学習用第2特性情報との間の差と、(ii)学習用タスク特定出力とこれに対応するトレーニングデータGTとの間の少なくとも一つの差の中少なくとも一部を参照して第1エラーを獲得することができる。一例として、第1学習装置は学習用第1特性情報と学習用第2特性情報との間のノルム(Norm)またはコサイン類似度(Cosine Similarity)を参照して第1エラーを獲得することができるが、本発明の範囲これに限定されず、学習用第1特性情報と学習用第2特性情報との間の差を算出することができる多様なアルゴリズムを使うことができる。また、第1学習装置はトレーニングデータと変造されたトレーニングデータとの間の少なくとも一つの差を参照して第2エラーを獲得することができる。
【0069】
また、第1学習装置は変造されたトレーニングデータのエントロピーとノイズ程度の中少なくとも一部を参照して少なくとも一つのクオリティ(Quality)を測定することができるし、測定されたクオリティをさらに参照して第1エラーを獲得することができる。すなわち、第1学習装置は、変造されたトレーニングデータのクオリティを最小化(例えば、変造されたトレーニングデータのエントロピー、ノイズなどの少なくとも一部を最大化)するように変造ネットワークOを学習することができる。
【0070】
そして、第1学習装置が第1エラーを最小化して第2エラーを最大化するように変造ネットワークOを学習する場合、第1学習装置はラーニングネットワークFの学習されたパラメータを固定してアップデートせず、変造ネットワークOのみを学習することができる。
【0071】
一方、学習用タスク特定出力は、ラーニングネットワークFが遂行しようとするタスクに対する出力として、クラス分類のためのクラスに対する確率、位置検出のためのリグレッション(Regression)による座標値などラーニングネットワークFの学習されたタスクによる多様な結果値を持つことができるし、活性化ユニット(Activation Unit)の活性化関数(Activation Function)がラーニングネットワークFから出力される学習用第1特性情報に適用され、ラーニングネットワークFで遂行しようとするタスクによる学習用タスク特定出力を生成することができる。このとき、活性化関数では、シグモイド(Sigmoid)関数、線形(Linear)関数、ソフトマックス(Softmax)関数、ReLU(Rlinear)関数、二乗(Square)関数、SQRT関数、Srlinear関数、ABS関数、TANH関数、Brlinear関数などが使われることができるが、本発明の範囲これに限定されない。
【0072】
一例として、ラーニングネットワークFがクラス分類のためのタスクを遂行する場合、第1学習装置はラーニングネットワークFから出力される学習用第1特性情報をクラス別にマッピング(Mapping)して、変造されたトレーニングデータに対してクラス別に少なくとも一つの確率を生成することができる。このとき、クラス別の確率はクラス別にラーニングネットワークFから出力される学習用第1特性情報が正解である確率を示すことができる。例えば、トレーニングデータが顔イメージデータの場合、顔が笑う状態である確率は0.75、笑わっていない状態である確率は0.25などのように出力されることができる。このとき、ラーニングネットワークFから出力される学習用第1特性情報をクラス別にマッピングするためにソフトマックスアルゴリズムを使用することができるが、本発明の範囲はこれに限定されず、学習用第1特性情報をクラス別にマッピングするために多様なアルゴリズムが使われることができる。
【0073】
次に、前記プロセスを利用して第1学習装置によって変造ネットワークOが学習されている状態で、第2学習装置100はトレーニングデータを適応ネットワークAに入力することにより、適応ネットワークAをもってトレーニングデータ適応するようにして第1特徴適応データを生成させるようにする。このとき、第1学習装置と第2学習装置100は同一な装置であるか、又は異なる装置である。
【0074】
そして、第2学習装置100は、変造ネットワークOによって生成された、変造されたトレーニングデータに対応される第1適応GTを獲得し、(1)第1適応GTと(2)第1特徴適応データに対応される第1適応レファレンスとを参照して算出された、第1適応エラーが最小化されるように適応ネットワークAを学習するプロセスを遂行することができる。
【0075】
このとき、第2学習装置100は、変造されたトレーニングデータを第1適応GTとして獲得することができるし、第1特徴適応データを第1適応レファレンスとして獲得することができるし、変造されたトレーニングデータと第1特徴適応データとの間の差を参照して第1適応エラーを獲得することができる。
【0076】
一方、第2学習装置100は、(i)第1特徴適応データをラーニングネットワークFに入力することで、ラーニングネットワークFをもって第1特徴適応データに対して学習されたパラメータを利用したラーニング演算を適用し、第1特徴適応データに対応される第1適応特性情報を第1適応レファレンスとして出力させるプロセス、及び(ii)(ii‐1)学習用第1特性情報と第1適応特性情報との間の差、または(ii‐2)学習用第2特性情報と第1適応特性情報との間の差を参照して第1適応エラーを獲得するプロセスを遂行することができる。
【0077】
また、第2学習装置100は、(i)第1適応特性情報を利用して生成された、第1特徴適応データに対する第1適応タスク特定出力と(ii)トレーニングデータGTとを参照して算出された第1適応ロスをさらに参照して第1適応エラーを獲得することができる。
【0078】
このとき、第1適応タスク特定出力は、ラーニングネットワークFが遂行しようとするタスクに対する出力であり、クラス分類のためのクラスに対する確率、位置検出のためのリグレッションによる座標値などラーニングネットワークFの学習されたタスクによる多様な結果値を持つことができるし、活性化ユニットの活性化関数がラーニングネットワークFから出力される第1適応特性情報に適用され、ラーニングネットワークFで遂行しようとするタスクによる第1適応タスク特定出力を生成することができる。
【0079】
これに加え、第2学習装置100は、(i)(i‐1)学習用第1特性情報と第1適応特性情報との間の差または(i‐2)学習用第2特性情報と第1適応特性情報との間の差、及び(ii)(ii‐1)第1適応特性情報を利用して生成された、第1特徴適応データに対する第1適応タスク特定出力と(ii‐2)トレーニングデータGTとを参照して算出された第1適応ロスを参照して算出された第1適応エラーを獲得することができる。
【0080】
他の例として、前記プロセスを利用して第1学習装置によって変造ネットワークOが学習された状態で、第2学習装置100は、テストデータを適応ネットワークAに入力することで、適応ネットワークAをもってテストデータ適応するようにして第2特徴適応データを生成させることができる。
【0081】
そして、第2学習装置100は、テストデータを学習された変造ネットワークOに入力して学習された変造ネットワークOをもって変造されたテストデータを生成させるプロセス、変造されたテストデータに対応される第2適応GTを獲得するプロセス、及び(1)第2適応GTと(2)第2特徴適応データに対応される第2適応レファレンスとを参照して算出されることができる、第2適応エラーが最小化されるように適応ネットワークAを学習するプロセスを遂行することができる。
【0082】
このとき、第2学習装置100は、変造されたテストデータを第2適応GTとして獲得することができるし、第2特徴適応データを第2適応レファレンスとして獲得することができるし、変造されたテストデータと第2特徴適応データとの間の差を参照して第2適応エラーを獲得することができる。
【0083】
一方、第2学習装置100は、第2特徴適応データをラーニングネットワークFに入力することで、ラーニングネットワークFをもって第2特徴適応データに対して学習されたパラメータを利用したラーニング演算を適用して第2特徴適応データに対応される第2適応特性情報を第2適応レファレンスとして出力させるプロセスを遂行することができる。そして、変造されたテストデータをラーニングネットワークFに入力してテスト用第1特性情報を生成した後、テスト用第1特性情報と第2適応特性情報との間の差を参照して第2適応エラーを算出したり、テストデータをラーニングネットワークFに入力してテスト用第2特性情報を生成した後、テスト用第2特性情報と第2適応特性情報との間の差を参照して第2適応エラーを算出することができる。
【0084】
また、第2学習装置100は、(i)第2適応特性情報を利用して生成された、第2特徴適応データに対する第2適応タスク特定出力と(ii)テストデータGTとを参照して算出された第2適応ロスをさらに参照して、第2適応エラーを獲得することができる。
【0085】
このとき、第2適応タスク特定出力はラーニングネットワークFが遂行しようとするタスクに対する出力であり、クラス分類のためのクラスに対する確率、位置検出のためのリグレッションによる座標値などラーニングネットワークFの学習されたタスクによる多様な結果値を持つことができるし、活性化ユニットの活性化関数がラーニングネットワークFから出力される第2適応特性情報に適用され、ラーニングネットワークFで遂行しようとするタスクによる第2適応タスク特定出力を生成することができる。
【0086】
これに加え、第2学習装置100は、(i)(i‐1)テスト用第1特性情報と第2適応特性情報との間の差または(i‐2)テスト用第2特性情報と第2適応特性情報との間の差、及び(ii)(ii‐1)第2適応特性情報を利用して生成された、第2特徴適応データに対する第2適応タスク特定出力と(ii‐2)テストデータに対応されるテストデータGTとを参照して算出された第2適応ロスを参照して、第2適応エラーを獲得することができる。
【0087】
図3は本発明の一実施例によって原本データをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する他の方法を簡略に示したもので、図2におけるラーニングネットワークFが予め学習されたパラメータを持つ多数のラーニングネットワーク(F1、F2、…、Fn)で構成されたものである。このとき、多数のラーニングネットワーク(F1、F2、…、Fn)のそれぞれは互いに異なるタスクを少なくとも一部遂行するように学習された状態である。下記の説明では、前記図2の説明から容易に理解できる部分に対しては詳細な説明を省略する。
【0088】
先ず、第1学習装置を利用して原本データをコンシーリング(例:非識別化)処理するために使われる変造ネットワークOを学習する方法について説明する。
【0089】
トレーニングデータが獲得されると、第1学習装置は、トレーニングデータを変造ネットワークOに入力することで、変造ネットワークOをもってトレーニングデータを変造し、変造されたトレーニングデータを生成させることができる。
【0090】
このとき、トレーニングデータは学習に利用される原本データの原本トレーニングデータであるか、又は原本トレーニングデータを変換して生成された変換トレーニングデータである。そして、変造されたトレーニングデータは、にはトレーニングデータと相違するように認識されることができるが、ラーニングネットワークではトレーニングデータと同一または類似なものとして認識されることができる。
【0091】
そして、第1学習装置は、変造されたトレーニングデータを第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれに入力することで、第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれをもって(i)第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれの第1学習されたパラメータないし第n学習されたパラメータをそれぞれ利用したこれに対応するネットワーク演算を変造されたトレーニングデータに対して適用し(ii)変造されたトレーニングデータに対応する学習用第1_1特性情報ないし学習用第1_n特性情報それぞれを生成させることができる。また、第1学習装置は、トレーニングデータを第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれに入力することで、第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれをもって(i)第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれの第1学習されたパラメータないし第n学習されたパラメータをそれぞれ利用した、これに対応するネットワーク演算をトレーニングデータに対して適用して(ii)トレーニングデータに対応する学習用第2_1特性情報ないし学習用第2_n特性情報のそれぞれを生成させることができる。
【0092】
以後、第1学習装置は、学習用第1_1特性情報と学習用第2_1特性情報とを参照して算出された第1_1エラーないし学習用第1_n特性情報と学習用第2_n特性情報とを参照して算出された第1_nエラーの加重合計(Weighted Sum)である第1エラーを獲得してこの第1エラーを最小化するようにして、トレーニングデータと変造されたトレーニングデータとを参照して算出された第2エラーを最大化するように、変造ネットワークOを学習することができる。
【0093】
一例として、第1学習装置は、(i)学習用第1_1特性情報と学習用第2_1特性情報との間の差、及び(ii)(ii‐1)学習用第1_1特性情報を利用して生成された学習用第1タスク特定出力と(ii‐2)トレーニングデータGTとを参照して生成された第1変造ロスの中少なくとも一つを参照して算出された第1_1エラーを獲得し、(i)学習用第1_n特性情報と学習用第2_n特性情報との間の差、(ii)(ii‐1)学習用第1_n特性情報を利用して生成された学習用第nタスク特定出力と(ii‐2)トレーニングデータGTとを参照して算出された第n変造ロスの中少なくとも一つを参照して算出された、第1_nエラーを獲得することができる。
【0094】
すなわち、第1_nエラーは、(i)学習用第1_n特性情報と学習用第2_n特性情報との間の差、(ii)(ii‐1)学習用第1_n特性情報を利用して生成された学習用第nタスク特定出力と(ii‐2)トレーニングデータGTとを参照して算出された第n変造ロス、及び(iii)前記(i)と前記(ii)との総和の中いずれか一つであることができるが、本発明の範囲がこれに限定されない。
【0095】
また、第1学習装置は、変造されたトレーニングデータのエントロピー、ノイズ程度の中少なくとも一部を参照して少なくとも一つのクオリティを測定することができるし、測定されたクオリティをさらに参照して第1エラーを獲得することができる。すなわち、第1学習装置は、変造されたトレーニングデータのクオリティを最小化(例えば、変造されたトレーニングデータのエントロピー、ノイズなどの少なくとも一部を最大化)するように変造ネットワークOを学習することができる。
【0096】
そして、第1学習装置が第1エラーを最小化して第2エラーを最大化するように変造ネットワークOを学習する場合、第1学習装置はラーニングネットワークFの学習されたパラメータを固定してアップデートせずに、変造ネットワークOのみを学習することができる。
【0097】
次に、前記プロセスを利用して第1学習装置によって変造ネットワークOが学習されている状態で、第2学習装置100は、トレーニングデータを適応ネットワークAに入力することで、適応ネットワークAをもってトレーニングデータ適応するようにして第1特徴適応データを生成させることができる。このとき、第1学習装置と第2学習装置100は同一な装置であるか、または異なる装置である。
【0098】
そして、第2学習装置100は、変造ネットワークOによって生成された、変造されたトレーニングデータに対応される第1適応GTを獲得し、(1)第1適応GTと(2)第1特徴適応データに対応される第1適応レファレンスとを参照して算出された、第1適応エラーが最小化されるように適応ネットワークAを学習するプロセスを遂行することができる。
【0099】
このとき、第2学習装置100は、変造されたトレーニングデータを第1適応GTとして獲得することができるし、第1特徴適応データを第1適応レファレンスとして獲得することができるし、変造されたトレーニングデータと第1特徴適応データとの間の差を参照して第1適応エラーを獲得することができる。
【0100】
また、第2学習装置100は、第1特徴適応データを第1ラーニングネットワークF1ないし第nラーニングネットワークFnのそれぞれに入力することで、第1ラーニングネットワークF1ないし第nラーニングネットワークFnのそれぞれをもって(i)第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれの第1学習されたパラメータないし第n学習されたパラメータのそれぞれを利用した、これに対応するラーニング演算を第1特徴適応データに対して適用して(ii)第1_1適応特性情報ないし第1_n適応特性情報のそれぞれを出力させることができる。そして、第2学習装置100は、(i)(i‐1)学習用第1_1特性情報と第1_1適応特性情報との間の差ないし(i‐2)学習用第1_n特性情報と第1_n適応特性情報との間の差のそれぞれを加重和したり、(ii)(ii‐1)学習用第2_1特性情報と第1_1適応特性情報との間の差ないし(ii‐2)学習用第2_n特性情報と第1_n適応特性情報との間の差のそれぞれを加重和して第1適応エラーを獲得することができる。
【0101】
このとき、(i)(i‐1)学習用第1_1特性情報と第1_1適応特性情報との間の差ないし(i‐2)学習用第1_n特性情報と第1_n適応特性情報との間の差のそれぞれは、(ii)(ii‐1)(ii‐1a)第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と(ii‐1b)トレーニングデータGTとを参照して算出された、第1_1適応ロスないし(ii‐2)(ii‐2a)第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と(ii‐2b)トレーニングデータGTとを参照して算出された、第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されることができる。または、(i)(i‐1)学習用第2_1特性情報と第1_1適応特性情報との間の差ないし(i‐2)学習用第2_n特性情報と第1_n適応特性情報との間の差のそれぞれは、(ii)(ii‐1)(ii‐1a)第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と(ii‐1b)トレーニングデータGTとを参照して算出された、第1_1適応ロスないし(ii‐2)(ii‐2a)第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と(ii‐2b)トレーニングデータGTとを参照して算出された、第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されることができる。
【0102】
これに加え、第2学習装置100は、第1特徴適応データを第1ラーニングネットワークF1ないし第nラーニングネットワークFnのそれぞれに入力することで、第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれをもって(i)第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれの第1学習されたパラメータないし第n学習されたパラメータをそれぞれ利用した、これに対応するラーニング演算を第1特徴適応データに対して適用して(ii)第1_1適応特性情報ないし第1_n適応特性情報のそれぞれを出力させることができる。また、(i)(i‐1)第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と(i‐2)トレーニングデータGTとを参照して算出された、第1_1適応ロスないし(ii)(ii‐1)第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と(ii‐2)トレーニングデータGTとを参照して算出された、第1_n適応ロスを加重和して第1適応エラーを算出することができる。
【0103】
これとは違って、前記方法を利用して第1学習装置によって変造ネットワークOが学習された状態で、第2学習装置100は、テストデータを適応ネットワークAに入力することで、適応ネットワークAをもってテストデータ適応するようにして第2特徴適応データを生成させるようにする。このとき、第1学習装置と第2学習装置100は同一な装置であるか、または異なる装置である。
【0104】
そして、第2学習装置100は、テストデータを学習された変造ネットワークOに入力することで、学習された変造ネットワークOをもって変造されたテストデータを生成させるプロセス、変造されたテストデータに対応される第2適応GTを獲得するプロセス、及び(1)第2適応GTと(2)第2特徴適応データに対応される第2適応レファレンスとを参照して算出された、第2適応エラーが最小化されるように適応ネットワークAを学習するプロセスを遂行することができる。
【0105】
このとき、第2学習装置100は、変造されたテストデータを第2適応GTとして獲得することができるし、第2特徴適応データを第2適応レファレンスとして獲得することができるし、変造されたテストデータと第2特徴適応データとの間の差を参照して第2適応エラーを獲得することができる。
【0106】
また、第2学習装置100は、第2特徴適応データを第1ラーニングネットワークF1ないし第nラーニングネットワークFnのそれぞれに入力することで、第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれをもって(i)第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれの第1学習されたパラメータないし第n学習されたパラメータをそれぞれ利用した、これに対応するラーニング演算を第2特徴適応データに対して適用して(ii)第2_1適応特性情報ないし第2_n適応特性情報のそれぞれを出力させることができる。そして、第2学習装置100は、(i)テスト用第1_1特性情報ないしテスト用第1_n特性情報が、変造されたテストデータを第1ラーニングネットワークF1ないし第nラーニングネットワークFnに入力してそれぞれ生成される場合は、(i‐1)テスト用第1_1特性情報と第2_1適応特性情報との間の差ないし(i‐2)テスト用第1_n特性情報と第2_n適応特性情報との間の差を加重和したり、(ii)テスト用第2_1特性情報ないしテスト用第2_n特性情報が、テストデータを第1ラーニングネットワークF1ないし第nラーニングネットワークFnに入力してそれぞれ生成される場合は、(ii‐1)テスト用第2_1特性情報と第2_1適応特性情報との間の差ないし(ii‐2)テスト用第2_n特性情報と第2_n適応特性情報との間の差を加重和して第2適応エラーを獲得することができる。
【0107】
このとき、(i)テスト用第1_1特性情報と第2_1適応特性情報との間の差ないしテスト用第1_n特性情報と第2_n適応特性情報との間の差のそれぞれは、第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力とテストデータGTとを参照して算出された、第2_1適応ロスないし第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力とテストデータGTとを参照して算出された、第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定されたり、(ii)テスト用第2_1特性情報と第2_1適応特性情報との間の差ないしテスト用第2_n特性情報と第2_n適応特性情報との間の差のそれぞれは、第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力とテストデータGTとを参照して算出された、第2_1適応ロスないし第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力とテストデータGTとを参照して算出された、第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定されることができる。
【0108】
これに加え、第2学習装置100は、第2特徴適応データを第1ラーニングネットワークF1ないし第nラーニングネットワークFnのそれぞれに入力することで、第1ラーニングネットワークF1ないし第nラーニングネットワークFnのそれぞれをもって(i)第1学習されたパラメータないし第n学習されたパラメータをそれぞれ利用した、これに対応するラーニング演算を第2特徴適応データに対して適用して(ii)第2_1適応特性情報ないし第2_n適応特性情報のそれぞれを出力させることができる。また、(i)(i‐1)第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と(i‐2)テストデータGTとを参照して算出された、第2_1適応ロスないし(ii)(ii‐1)第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力と(ii‐2)テストデータGTとを参照して算出された、第2_n適応ロスを加重和して第2適応エラーを算出することができる。
【0109】
一方、学習用第1_1特性情報と学習用第2_1特性情報とを参照して算出された第1_1エラーないし学習用第1_n特性情報と学習用第2_n特性情報とを参照して算出された第1_nエラーの加重合計である第1エラーを最小化し、トレーニングデータと変造されたトレーニングデータとを参照して算出された第2エラーを最大化するように変造ネットワークOを学習することができる。しかし、他の例として、第1_1エラーないし第1_nエラーのそれぞれを利用して変造ネットワークOを順次学習することもできる。
【0110】
すなわち、第1学習装置は、トレーニングデータを変造ネットワークOに入力することで、変造ネットワークOをもってトレーニングデータを変造して第1変造されたトレーニングデータを生成させることができる。そして、第1学習装置は、(i)第1変造されたトレーニングデータを第1ラーニングネットワークF1に入力することで、第1ラーニングネットワークF1をもって(i‐1)第1ラーニングネットワークF1の第1学習されたパラメータを利用したネットワーク演算を第1変造されたトレーニングデータに対して適用して(i‐2)第1変造されたトレーニングデータに対応される学習用第1_1特性情報を出力するようにして、(ii)トレーニングデータを第1ラーニングネットワークF1に入力することで、(iii)第1ラーニングネットワークF1をもって(iii‐1)第1学習されたパラメータを利用したネットワーク演算をトレーニングデータに対して適用して(iii‐2)トレーニングデータに対応される学習用第2_1特性情報を出力させるプロセスを遂行したり、他の装置をもって遂行するように支援することができる。以後、第1学習装置は、学習用第1_1特性情報と学習用第2_1特性情報とを参照して算出された第1_1エラーを最小化し、トレーニングデータと第1変造されたトレーニングデータとを参照して算出された第2_1エラーを最大化するように変造ネットワークOを学習することによって、変造ネットワークOが第1学習された変造ネットワークOになるようにする。
【0111】
そして、第1学習装置は、定数のkを2からnまで増加させながら前記プロセスを繰り返して、第nラーニングネットワークFnまで遂行することで第n学習された変造ネットワークOを獲得することができる。
【0112】
すなわち、第1学習装置は、トレーニングデータを第(k‐1)学習された変造ネットワークOに入力することで、第(k‐1)学習された変造ネットワークOをもってトレーニングデータを変造して第k変造されたトレーニングデータを生成させる。そして、第1学習装置は、(i)第k変造されたトレーニングデータを第kラーニングネットワークFkに入力することで、第kラーニングネットワークFkをもって(i‐1)第kラーニングネットワークFkの第k学習されたパラメータを利用したネットワーク演算を第k変造されたトレーニングデータに対して適用して(i‐2)第k変造されたトレーニングデータに対応される学習用第1_k特性情報を出力するようにし、(ii)トレーニングデータを第kラーニングネットワークFkに入力することで、第kラーニングネットワークFkに(ii‐1)第k学習されたパラメータを利用したネットワーク演算をトレーニングデータに対して適用して(ii‐2)トレーニングデータに対応される学習用第2_k特性情報を出力させるプロセスを遂行したり、他の装置をもって遂行するように支援することができる。以後、第1学習装置は、学習用第1_k特性情報と学習用第2_k特性情報とを参照して算出された第1_kエラーを最小化し、トレーニングデータと第k変造されたトレーニングデータとを参照して算出された第2_kエラーを最大化するように、第(k‐1)学習された変造ネットワークOを学習することで、第(k‐1)学習された変造ネットワークOが第k学習された変造ネットワークOになるようにすることができる。
【0113】
このとき、第1_kエラーは(i)学習用第1_k特性情報を利用して生成された、第k変造されたトレーニングデータに対する学習用第kタスク特定出力と(ii)トレーニングデータに対応されるトレーニングデータGTとを参照して獲得された第k変造ロスをさらに参照して算出されることができる。
【0114】
また、第1_kエラーは、(i)学習用第1_k特性情報と学習用第2_k特性情報との間の差、(ii)第k変造ロス、及び(iii)前記(i)と前記(ii)との総和の中いずれか一つであってもよいが、本発明の範囲これに限定されない。
【0115】
次に、前記プロセスを利用して第1学習装置によって変造ネットワークOが学習されている状態で、第2学習装置100はトレーニングデータを適応ネットワークAに入力することで、適応ネットワークAをもってトレーニングデータ適応するようにして第1特徴適応データを生成させるようにする。このとき、第1学習装置と第2学習装置100は同一な装置であるか、または異なる装置である。
【0116】
そして、第2学習装置100は、変造ネットワークOによって生成された、変造されたトレーニングデータに対応される第1適応GTを獲得し、(1)第1適応GTと(2)第1特徴適応データに対応される第1適応レファレンスとを参照して算出された、第1適応エラーが最小化されるように適応ネットワークAを学習するプロセスを遂行することができる。
【0117】
このとき、第2学習装置100は、変造されたトレーニングデータを第1適応GTとして獲得することができるし、第1特徴適応データを第1適応レファレンスとして獲得することができるし、変造されたトレーニングデータと第1特徴適応データとの間の差を参照して第1適応エラーを獲得することができる。
【0118】
また、第2学習装置100は、(i)第1特徴適応データである第1_1特徴適応データを第1ラーニングネットワークF1に入力することで、第1ラーニングネットワークF1をもって第1学習されたパラメータを利用したラーニング演算を第1_1特徴適応データに対して適用して第1_1適応特性情報を出力させるプロセス、及び(ii)学習用第1_1特性情報と第1_1適応特性情報との間の差または学習用第2_1特性情報と第1_1適応特性情報との間の差を参照して算出された、第1_1適応エラーが最小化されるように適応ネットワークAを学習することで、適応ネットワークAが第1学習された適応ネットワークAになるようにするプロセスを遂行することができる。そして、第2学習装置100は、トレーニングデータを第(k‐1)学習された適応ネットワークAに入力することで、第(k‐1)学習された適応ネットワークAをもって第1_k特徴適応データを生成させることができるし、第1_k特徴適応データを第kラーニングネットワークFkに入力することで、第kラーニングネットワークFkをもって第1_k特徴適応データに対してラーニング演算を適用して第1_k適応特性情報を生成させることができる。以後、第2学習装置100は、学習用第1_k特性情報と第1_k適応特性情報との間の差または学習用第2_k特性情報と第1_k適応特性情報との間の差を参照して算出された第1_k適応エラーが最小化されるように、第(k‐1)学習された適応ネットワークAを学習することで、第(k‐1)学習された適応ネットワークAが第k学習された適応ネットワークAになるようにするプロセスを遂行することができる。
【0119】
このとき、(i)(i‐1)学習用第1_1特性情報と第1_1適応特性情報との間の差ないし(i‐2)学習用第1_n特性情報と第1_n適応特性情報との間の差のそれぞれは、(ii)(ii‐1)(ii‐1a)第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と(ii‐1b)トレーニングデータGTを参照して算出された、第1_1適応ロスないし(ii‐2)(ii‐2a)第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と(ii‐2b)トレーニングデータGTとを参照して算出された、第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されることができる。または、(i)(i‐1)学習用第2_1特性情報と第1_1適応特性情報との間の差ないし(i‐2)学習用第2_n特性情報と第1_n適応特性情報との間の差のそれぞれは、(ii)(ii‐1)(ii‐1a)第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と(ii‐1b)トレーニングデータGTとを参照して算出された、第1_1適応ロスないし(ii‐2)(ii‐2a)第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と(ii‐2b)トレーニングデータGTとを参照して算出された、第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されることができる。
【0120】
これに加え、第2学習装置100は、(i)第1特徴適応データである第1_1特徴適応データを第1ラーニングネットワークF1に入力することで、第1ラーニングネットワークF1をもって第1学習されたパラメータを利用したラーニング演算を第1_1特徴適応データに対して適用して第1_1適応特性情報を出力させるプロセス、及び(ii)(ii‐1)第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と(ii‐2)トレーニングデータGTとを参照して算出された、第1_1適応ロスが最小化されるように適応ネットワークAを学習することで、適応ネットワークAが第1学習された適応ネットワークAになるようにするプロセスを遂行することができる。そして、第2学習装置100は、トレーニングデータを第(k‐1)学習された適応ネットワークAに入力することで、第(k‐1)学習された適応ネットワークAをもって第1_k特徴適応データを生成させることができるし、第1_k特徴適応データを第kラーニングネットワークFkに入力することで、第kラーニングネットワークFkをもって第1_k特徴適応データに対してラーニング演算を適用して第1_k適応特性情報を生成させることができるし、第1_k適応特性情報を参照して生成された第1_k適応タスク特定出力とトレーニングデータGTとを参照して算出された第1_k適応ロスが最小化されるように、第(k‐1)学習された適応ネットワークAを学習することで、第(k‐1)学習された適応ネットワークAが第k学習された適応ネットワークAになるようにすることができる。
【0121】
他の例として、前記プロセスを利用して第1学習装置によって変造ネットワークOが学習された状態で、第2学習装置100はテストデータを適応ネットワークAに入力することで、適応ネットワークAをもってテストデータ適応するようにして第2特徴適応データを生成させることができる。このとき、第1学習装置と第2学習装置100は同一な装置であるか、または他の装置である。
【0122】
そして、第2学習装置100は、テストデータを学習された変造ネットワークOに入力して学習された変造ネットワークOをもって変造されたテストデータを生成させるプロセス、変造されたテストデータに対応される第2適応GTを獲得するプロセス、及び(1)第2適応GTと(2)第2特徴適応データに対応される第2適応レファレンスとを参照して算出された、第2適応エラーが最小化されるように適応ネットワークAを学習するプロセスを遂行することができる。
【0123】
このとき、第2学習装置100は、変造されたテストデータを第2適応GTとして獲得することができるし、第2特徴適応データを第2適応レファレンスとして獲得することができるし、変造されたテストデータと第2特徴適応データとの間の差を参照して第2適応エラーを獲得することができる。
【0124】
また、第2学習装置100は、変造されたテストデータを第1ラーニングネットワークF1ないし第nラーニングネットワークFnのそれぞれに入力することで、第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれをもって(i)第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれの第1学習されたパラメータないし第n学習されたパラメータをそれぞれ利用した、これに対応するラーニング演算を変造されたテストデータに対して適用して(ii)テスト用第1_1特性情報ないしテスト用第1_n特性情報それぞれを出力するようにしたり、テストデータを第1ラーニングネットワークF1ないし第nラーニングネットワークFnに入力することで、第1ラーニングネットワークF1ないし第nラーニングネットワークFnのそれぞれをもってテストデータに対してラーニング演算を適用してテスト用第2_1特性情報ないしテスト用第2_n特性情報を出力させることができる。そして、第2学習装置100は、(i)第2特徴適応データである第2_1特徴適応データを第1ラーニングネットワークF1に入力することで、第1ラーニングネットワークF1をもって第1学習されたパラメータを利用したラーニング演算を第2_1特徴適応データに対して適用して第2_1適応特性情報を出力させるプロセス、及び(ii)テスト用第1_1特性情報と第2_1適応特性情報との間の差またはテスト用第2_1特性情報と第2_1適応特性情報との間の差を参照して算出された、第2_1適応エラーが最小化されるように適応ネットワークAを学習することで、適応ネットワークAが第1学習された適応ネットワークAになるようにするプロセスを遂行することができる。また、第2学習装置は、テストデータを第(k‐1)学習された適応ネットワークAに入力することで、第(k‐1)学習された適応ネットワークAをもって第2_k特徴適応データを生成させることができるし、第2_k特徴適応データを第kラーニングネットワークFkに入力することで、第kラーニングネットワークFkをもって第2_k特徴適応データに対してラーニング演算を適用して第2_k適応特性情報を生成させることができる。以後、第2学習装置100は、テスト用第1_k特性情報と第2_k適応特性情報との間の差またはテスト用第2_k特性情報と第2_k適応特性情報との間の差を参照して算出された、第2_k適応エラーが最小化されるように、第(k‐1)学習された適応ネットワークAを学習することで、第(k‐1)学習された適応ネットワークAが第k学習された適応ネットワークAになるように学習するプロセスを遂行することができる。
【0125】
このとき、(i)テスト用第1_1特性情報と第2_1適応特性情報との間の差ないしテスト用第1_n特性情報と第2_n適応特性情報との間の差のそれぞれは、第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力とテストデータGTとを参照して算出された第2_1適応ロスないし第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力とテストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定されたり、(ii)テスト用第2_1特性情報と第2_1適応特性情報との間の差ないしテスト用第2_n特性情報と第2_n適応特性情報との間の差のそれぞれは、第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力とテストデータGTとを参照して算出された第2_1適応ロスないし第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力とテストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定されることができる。
【0126】
これに加え、第2学習装置100は、(i)第2特徴適応データである第2_1特徴適応データを第1ラーニングネットワークF1に入力することで、第1ラーニングネットワークF1をもって第1学習されたパラメータを利用したラーニング演算を第2_1特徴適応データに対して適用して第2_1適応特性情報を出力させるプロセス、及び(ii)第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力とテストデータGTとを参照して算出された第2_1適応ロスが最小化されるように適応ネットワークAを学習することで、適応ネットワークAが第1学習された適応ネットワークAになるようにするプロセスを遂行することができる。また、第2学習装置は、テストデータを第(k‐1)学習された適応ネットワークAに入力することで、第(k‐1)学習された適応ネットワークAをもって第2_k特徴適応データを生成するようにし、第2_k特徴適応データを第kラーニングネットワークFkに入力することで、第kラーニングネットワークFkをもって第2_k特徴適応データに対してラーニング演算を適用して第2_k適応特性情報を生成させる。以後、第2学習装置100は、第2_k適応特性情報を利用して生成された第2_k適応タスク特定出力とテストデータGTとを参照して算出された第2_k適応ロスが最小化されるように第(k‐1)学習された適応ネットワークAを学習することで、第(k‐1)学習された適応ネットワークAが第k学習された適応ネットワークAになるように学習するプロセスを遂行することができる。
【0127】
図4は本発明の他の実施例によって原本データをコンシーリング(例:非識別化)処理することができる変造ネットワークに対応される適応ネットワークを学習する方法を簡略に示したものである。以下の説明では、前記図2図3の説明から容易に理解できる部分に対しては詳細な説明を省略する。
【0128】
先ず、第1学習装置を利用して原本データをコンシーリング処理する変造ネットワークOを学習する方法を説明する。
【0129】
トレーニングデータが獲得されると、第1学習装置は、トレーニングデータを変造ネットワークOに入力することで、変造ネットワークOをもってトレーニングデータを変造して、変造されたトレーニングデータを生成させるようにする。
【0130】
そして、第1学習装置は、(i)変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つラーニングネットワークFに入力することで、ラーニングネットワークFをもって(i‐1)変造されたトレーニングデータに対して学習されたパラメータを利用したネットワーク演算を適用して(i‐2)変造されたトレーニングデータに対応する学習用第1特性情報を生成させ、(ii)トレーニングデータをラーニングネットワークFに入力することで、ラーニングネットワークFをもって(ii‐1)トレーニングデータに対して学習されたパラメータを利用したネットワーク演算を適用して(ii‐2)トレーニングデータに対応する学習用第2特性情報を生成させるプロセスを遂行したり、他の装置をもって遂行するように支援することができる。
【0131】
以後、入力されるデータが本物か否かを判別する判別機(Discriminator)(D)に入力された、変造されたトレーニングデータに対応される少なくとも一つの変造されたトレーニングデータスコアを第2エラーとして獲得した状態で、第1学習装置は、(i)第1エラーを最小化して第2エラーを最大化するように変造ネットワークOを学習することができるし、(ii)判別機Dに入力された変換トレーニングデータまたは変換変造されたトレーニングデータに対応される変換トレーニングデータスコアまたは変換変造されたトレーニングデータスコアの中少なくとも一つを最大化して変造されたトレーニングデータスコアを最小化するように判別機Dを学習することができる。このとき、変換トレーニングデータまたは変換変造されたトレーニングデータは、トレーニングデータまたは変造されたトレーニングデータに対してランダムノイズ生成ネットワーク(未図示)を通じて生成された少なくとも一つのランダムノイズを追加してそれぞれ生成されることができる。一例として、ランダムノイズ生成ネットワークは正規分布N(0、σ)を持つランダムノイズを生成させることができるし、生成されたノイズをトレーニングデータまたは変造されたトレーニングデータに追加して変換トレーニングデータを生成することができる。また、変換トレーニングデータまたは変換変造されたトレーニングデータは、ランダムノイズ以外にもトレーニングデータまたは変造されたトレーニングデータをブラー(Blur)処理したり、トレーニングデータまたは変造されたトレーニングデータの解像度を変更してそれぞれ生成されることができるが、本発明の範囲はこれに限定されず、トレーニングデータまたは変造されたトレーニングデータを変換する多様な方法が適用されることができる。
【0132】
すなわち、第1学習装置は、変造ネットワークOを学習するにあたり、第1エラーを利用してラーニングネットワークFがトレーニングデータを変造してトレーニングデータと同一または類似に認識されるように変造されたトレーニングデータを出力するようにし、第2エラーを利用してラーニングネットワークFがトレーニングデータとは異なるが、トレーニングデータとの区別が難しい変造されたトレーニングデータを出力させることができる。
【0133】
このとき、判別機Dに入力された変換トレーニングデータまたは変換変造されたトレーニングデータに対応される変換トレーニングデータスコアまたは変換変造されたトレーニングデータスコアの最大値は、変換トレーニングデータまたは変換変造されたトレーニングデータを本物のデータとして判別する1であり、判別機Dに入力された変造されたトレーニングデータに対応される変造されたトレーニングデータスコアの最小値は、変造されたトレーニングデータをにせ物データとして判別する0である。すなわち、判別機Dは変造されたトレーニングデータを変換トレーニングデータまたは変換変造されたトレーニングデータとして認識するように学習されることができる。
【0134】
次に、前記プロセスを利用して第1学習装置によって変造ネットワークOが学習されている状態で、第2学習装置100は、トレーニングデータを適応ネットワークAに入力することで、適応ネットワークAをもってトレーニングデータ適応するようにして第1特徴適応データを生成させることができる。このとき、第1学習装置と第2学習装置100は同一な装置であるか、または異なる装置である。
【0135】
そして、第2学習装置100は、変造ネットワークOによって生成された、変造されたトレーニングデータに対応される第1適応GTを獲得し、(1)第1適応GTと(2)第1特徴適応データに対応される第1適応レファレンスとを参照して算出された、第1適応エラーが最小化されるように適応ネットワークAを学習するプロセスを遂行することができる。
【0136】
このとき、第2学習装置100は、変造されたトレーニングデータを第1適応GTとして獲得することができるし、第1特徴適応データを第1適応レファレンスとして獲得することができるし、変造されたトレーニングデータと第1特徴適応データとの間の差を参照して第1適応エラーを獲得することができる。
【0137】
一方、第2学習装置100は、(i)第1特徴適応データをラーニングネットワークFに入力することで、ラーニングネットワークFをもって第1特徴適応データに対して学習されたパラメータを利用したラーニング演算を適用して、第1特徴適応データに対応される第1適応特性情報を第1適応レファレンスとして出力させるプロセス、及び(ii)(ii‐1)学習用第1特性情報と第1適応特性情報との間の差を参照したり、(ii‐2)学習用第2特性情報と第1適応特性情報との間の差を参照して第1適応エラーを獲得するプロセスを遂行することができる。
【0138】
また、第2学習装置100は、(i)第1適応特性情報を利用して生成された、第1特徴適応データに対する第1適応タスク特定出力と(ii)トレーニングデータGTとを参照して算出された第1適応ロスをさらに参照して、第1適応エラーを獲得することができる。
【0139】
このとき、第1適応タスク特定出力は、ラーニングネットワークFが遂行しようとするタスクに対する出力であって、クラス分類のためのクラスに対する確率、位置検出のためのリグレッションによる座標値などラーニングネットワークFの学習されたタスクによる多様な結果値を持つことができるし、活性化ユニットの活性化関数がラーニングネットワークFから出力される第1適応特性情報に適用され、ラーニングネットワークFで遂行しようとするタスクによる第1適応タスク特定出力を生成することができる。
【0140】
これに加え、第2学習装置100は、(i)(i‐1)学習用第1特性情報と第1適応特性情報との間の差または(i‐2)学習用第2特性情報と第1適応特性情報との間の差、及び(ii)(ii‐1)第1適応特性情報を利用して生成された、第1特徴適応データに対応される第1適応タスク特定出力と(ii‐2)トレーニングデータGTとを参照して算出された第1適応ロスを参照して、第1適応エラーを獲得することができる。
【0141】
他の例として、前記プロセスを利用して第1学習装置によって変造ネットワークOが学習された状態で、第2学習装置100は、テストデータを適応ネットワークAに入力することで、適応ネットワークAをもってテストデータ適応するようにして第2特徴適応データを生成させることができる。
【0142】
そして、第2学習装置100は、テストデータを学習された変造ネットワークOに入力して学習された変造ネットワークOをもって変造されたテストデータを生成させるプロセス、変造されたテストデータに対応される第2適応GTを獲得するプロセス、及び(1)第2適応GTと(2)第2特徴適応データに対応される第2適応レファレンスとを参照して算出された、第2適応エラーが最小化されるように適応ネットワークAを学習するプロセスを遂行することができる。
【0143】
このとき、第2学習装置100は、変造されたテストデータを第2適応GTとして獲得することができるし、第2特徴適応データを第2適応レファレンスとして獲得することができるし、変造されたテストデータと第2特徴適応データとの間の差を参照して第2適応エラーを獲得することができる。
【0144】
一方、第2学習装置100は、第2特徴適応データをラーニングネットワークFに入力することで、ラーニングネットワークFをもって第2特徴適応データに対して学習されたパラメータを利用したラーニング演算を適用して第2特徴適応データに対応される第2適応特性情報を第2適応レファレンスとして出力させることができる。そして、変造されたテストデータをラーニングネットワークFに入力してテスト用第1特性情報を生成した後、テスト用第1特性情報と第2適応特性情報との間の差を参照して第2適応エラーを算出したり、テストデータをラーニングネットワークFに入力してテスト用第2特性情報を生成した後、テスト用第2特性情報と第2適応特性情報との間の差を参照して第2適応エラーを算出することができる。
【0145】
また、第2学習装置100は、(i)第2適応特性情報を利用して生成された、第2特徴適応データに対する第2適応タスク特定出力と(ii)テストデータGTとを参照して算出された第2適応ロスをさらに参照して、第2適応エラーを獲得することができる。
【0146】
このとき、第2適応タスク特定出力は、ラーニングネットワークFが遂行しようとするタスクに対する出力であって、クラス分類のためのクラスに対する確率、位置検出のためのリグレッションによる座標値などラーニングネットワークFの学習されたタスクによる多様な結果値を持つことができるし、活性化ユニットの活性化関数がラーニングネットワークFから出力される第2適応特性情報に適用され、ラーニングネットワークFで遂行しようとするタスクによる第2適応タスク特定出力を生成することができる。
【0147】
これに加え、第2学習装置100は、(i)(i‐1)テスト用第1特性情報と第2適応特性情報との間の差または(i‐2)テスト用第2特性情報と第2適応特性情報との間の差、及び(ii)(ii‐1)第2適応特性情報を利用して生成された、第2特徴適応データに対する第2適応タスク特定出力と(ii‐2)テストデータに対応されるテストデータGTとを参照して算出された第2適応ロスを参照して第2適応エラーを獲得することができる。
【0148】
図5は本発明の他の実施例によって原本データをコンシーリング(例:非識別化)処理することができる変造ネットワークに対応される適応ネットワークを学習する他の方法を簡略に示したもので、図4におけるラーニングネットワークFを予め学習されたパラメータを持つ多数のラーニングネットワーク(F1、F2、…、Fn)で構成したものである。下記説明では前記図2ないし図4の説明で容易に理解できる部分に対しては詳細な説明を省略する。
【0149】
先ず、第1学習装置を利用して原本データをコンシーリング(例:非識別化)処理する変造ネットワークOを学習させる方法を説明する。
【0150】
トレーニングデータが獲得されると、第1学習装置は、トレーニングデータを変造ネットワークOに入力することで、変造ネットワークOをもってトレーニングデータを変造して変造されたトレーニングデータを生成させることができる。
【0151】
そして、第1学習装置は、変造されたトレーニングデータを第1ラーニングネットワークF1ないし第nラーニングネットワークFnのそれぞれに入力することで、第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれをもって(i)第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれの第1学習されたパラメータないし第n学習されたパラメータをそれぞれ利用した、これに対応するネットワーク演算を変造されたトレーニングデータに対して適用して(ii)変造されたトレーニングデータに対応する学習用第1_1特性情報ないし学習用第1_n特性情報を生成させることができる。また、第1学習装置は、トレーニングデータを第1ラーニングネットワークF1ないし第nラーニングネットワークFnのそれぞれに入力することで、第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれをもって(i)第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれの第1学習されたパラメータないし第n学習されたパラメータをそれぞれ利用した、これに対応するネットワーク演算をトレーニングデータに対して適用して(ii)トレーニングデータに対応する学習用第2_1特性情報ないし学習用第2_n特性情報を生成させることができる。
【0152】
以後、第1学習装置は、学習用第1_1特性情報と学習用第2_1特性情報とを参照して算出された第1_1エラーないし学習用第1_n特性情報と学習用第2_n特性情報とを参照して算出された第1_nエラーの加重合計である第1エラーを獲得してこの第1エラーを最小化するようにし、判別機Dに入力された変造されたトレーニングデータに対応される変造されたトレーニングデータスコアである第2エラーを最大化するように変造ネットワークOを学習することができるし、判別機Dに入力された変換トレーニングデータまたは変換変造されたトレーニングデータに対応される変換トレーニングデータスコアまたは変換変造されたトレーニングデータスコアを最大化するようにし、変造されたトレーニングデータスコアを最小化するように判別機Dを学習することができる。
【0153】
一例として、第1学習装置は、(i)学習用第1_1特性情報と学習用第2_1特性情報との間の差、及び(ii)(ii‐1)学習用第1_1特性情報を利用して生成された学習用第1タスク特定出力と(ii‐2)トレーニングデータGTとを参照して生成された第1変造ロスの中少なくとも一つを参照して算出された第1_1エラーを獲得し、(i)学習用第1_n特性情報と学習用第2_n特性情報との間の差、及び(ii)(ii‐1)学習用第1_n特性情報を利用して生成された学習用第nタスク特定出力と(ii‐2)トレーニングデータGTとを参照して生成された第n変造ロスの中少なくとも一つを参照して算出された第1_nエラーを獲得することで、第1_1エラーないし第1_nエラーを獲得することができる。
【0154】
すなわち、第1_nエラーは、(i)学習用第1_n特性情報と学習用第2_n特性情報との間の差、(ii)(ii‐1)学習用第1_n特性情報を利用して生成された学習用第nタスク特定出力と(ii‐2)トレーニングデータGTとを参照して算出された第n変造ロス、及び(iii)前記(i)と前記(ii)との総和の中いずれか一つであることができるが、本発明の範囲これに限定されものではない。
【0155】
次に、前記プロセスを利用して第1学習装置によって変造ネットワークOが学習されている状態で、第2学習装置100は、トレーニングデータを適応ネットワークAに入力することで、適応ネットワークAをもってトレーニングデータ適応するようにして第1特徴適応データを生成させることができる。このとき、第1学習装置と第2学習装置100は同一な装置であるか、または異なる装置である。
【0156】
そして、第2学習装置100は、変造ネットワークOで生成された、変造されたトレーニングデータに対応される第1適応GTを獲得し、(1)第1適応GTと(2)第1特徴適応データに対応される第1適応レファレンスとを参照して算出された第1適応エラーが最小化されるように、適応ネットワークAを学習するプロセスを遂行することができる。
【0157】
このとき、第2学習装置100は、変造されたトレーニングデータを第1適応GTとして獲得することができるし、第1特徴適応データを第1適応レファレンスとして獲得することができるし、変造されたトレーニングデータと第1特徴適応データとの間の差を参照して第1適応エラーを獲得することができる。
【0158】
また、第2学習装置100は、第1特徴適応データを第1ラーニングネットワークF1ないし第nラーニングネットワークFnのそれぞれに入力することで、第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれをもって(i)第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれの第1学習されたパラメータないし第n学習されたパラメータをそれぞれ利用した、これに対応するラーニング演算を第1特徴適応データに対して適用して(ii)第1_1適応特性情報ないし第1_n適応特性情報のそれぞれを出力させることができる。そして、第2学習装置100は、(i)(i‐1)学習用第1_1特性情報と第1_1適応特性情報との間の差ないし(i‐2)学習用第1_n特性情報と第1_n適応特性情報との間の差のそれぞれを加重和したり、(ii)(ii‐1)学習用第2_1特性情報と第1_1適応特性情報との間の差ないし(ii‐2)学習用第2_n特性情報と第1_n適応特性情報との間の差を加重和したりして、第1適応エラーを獲得することができる。
【0159】
このとき、(i)(i‐1)学習用第1_1特性情報と第1_1適応特性情報との差ないし(i‐2)学習用第1_n特性情報と第1_n適応特性情報との差のそれぞれは、(ii)(ii‐1)(ii‐1a)第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と(ii‐1b)トレーニングデータGTとを参照して算出された、第1_1適応ロスないし(ii‐2)(ii‐2a)第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と(ii‐2b)トレーニングデータGTとを参照して算出された、第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されることができる。または(i)(i‐1)学習用第2_1特性情報と第1_1適応特性情報との間の差ないし(i‐2)学習用第2_n特性情報と第1_n適応特性情報との間の差のそれぞれは、(ii)(ii‐1)(ii‐1a)第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と(ii‐1b)トレーニングデータGTとを参照して算出された、第1_1適応ロスないし(ii‐2)(ii‐2a)第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と(ii‐2b)トレーニングデータGTとを参照して算出された、第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されることができる。
【0160】
これに加え、第2学習装置100は、第1特徴適応データを第1ラーニングネットワークF1ないし第nラーニングネットワークFnのそれぞれに入力することで、第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれをもって(i)第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれの第1学習されたパラメータないし第n学習されたパラメータを利用した、これに対応するラーニング演算を第1特徴適応データに対して適用して(ii)第1_1適応特性情報ないし第1_n適応特性情報のそれぞれを出力させることができる。そして、(i)(i‐1)第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と(i‐2)トレーニングデータGTとを参照して算出された、第1_1適応ロスないし(ii)(ii‐1)第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と(ii‐2)トレーニングデータGTとを参照して算出された、第1_n適応ロスを加重和して、第1適応エラーを算出することができる。
【0161】
これとは違って、前記プロセスを利用して第1学習装置によって変造ネットワークOが学習された状態で、第2学習装置100はテストデータを適応ネットワークAに入力することで、適応ネットワークAをもってテストデータ適応するようにして第2特徴適応データを生成させることができる。このとき、第1学習装置と第2学習装置100は同一な装置であるか、または異なる装置である。
【0162】
そして、第2学習装置100は、テストデータを学習された変造ネットワークOに入力して学習された変造ネットワークOをもって変造されたテストデータを生成させるプロセス、変造されたテストデータに対応される第2適応GTを獲得するプロセス、及び(1)第2適応GTと(2)第2特徴適応データに対応される第2適応レファレンスとを参照して算出された、第2適応エラーが最小化されるように適応ネットワークAを学習するプロセスを遂行することができる。
【0163】
このとき、第2学習装置100は、変造されたテストデータを第2適応GTとして獲得することができるし、第2特徴適応データを第2適応レファレンスとして獲得することができるし、変造されたテストデータと第2特徴適応データとの間の差を参照して第2適応エラーを獲得することができる。
【0164】
また、第2学習装置100は、第2特徴適応データを第1ラーニングネットワークF1ないし第nラーニングネットワークFnのそれぞれに入力することで、第1ラーニングネットワークF1ないし第nラーニングネットワークFnのそれぞれをもって(i)第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれの第1学習されたパラメータないし第n学習されたパラメータをそれぞれ利用した、これに対応するラーニング演算を第2特徴適応データに対して適用して(ii)第2_1適応特性情報ないし第2_n適応特性情報を出力させることができる。また、第2学習装置100は、(i)テスト用第1_1特性情報ないしテスト用第1_n特性情報が、変造されたテストデータを第1ラーニングネットワークF1ないし第nラーニングネットワークFnに入力してそれぞれ生成される場合は、(i‐1)テスト用第1_1特性情報と第2_1適応特性情報との間の差ないし(i‐2)テスト用第1_n特性情報と第2_n適応特性情報との間の差を加重和したり、(ii)テスト用第2_1特性情報ないしテスト用第2_n特性情報が、テストデータを第1ラーニングネットワークF1ないし第nラーニングネットワークFnに入力してそれぞれ生成される場合は、(ii‐1)テスト用第2_1特性情報と第2_1適応特性情報との間の差ないし(ii‐2)テスト用第2_n特性情報と第2_n適応特性情報との間の差を加重和して第2適応エラーを獲得することができる。
【0165】
このとき、(i)テスト用第1_1特性情報と第2_1適応特性情報との間の差ないしテスト用第1_n特性情報と第2_n適応特性情報との間の差のそれぞれは、第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力とテストデータGTとを参照して算出された第2_1適応ロスないし第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力とテストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定されることができたり、(ii)テスト用第2_1特性情報と第2_1適応特性情報との間の差ないしテスト用第2_n特性情報と第2_n適応特性情報との間の差のそれぞれは、第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力とテストデータGTとを参照して算出された第2_1適応ロスないし第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力とテストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定されることができる。
【0166】
これに加え、第2学習装置100は、第2特徴適応データを第1ラーニングネットワークF1ないし第nラーニングネットワークFnのそれぞれに入力することで、第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれをもって(i)第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれの第1学習されたパラメータないし第n学習されたパラメータをそれぞれ利用した、これに対応するラーニング演算を第2特徴適応データに対して適用して(ii)第2_1適応特性情報ないし第2_n適応特性情報のそれぞれを出力させることができる。また、(i)(i‐1)第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と(i‐2)テストデータGTとを参照して算出された、第2_1適応ロスないし(ii)(ii‐1)第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力と(ii‐2)テストデータGTとを参照して算出された、第2_n適応ロスを加重和して第2適応エラーを獲得することができる。
【0167】
一方、学習用第1_1特性情報と学習用第2_1特性情報とを参照して算出された第1_1エラーないし学習用第1_n特性情報と学習用第2_n特性情報とを参照して算出された第1_nエラーの加重合計である第1エラーを獲得してこの第1エラーを最小化するようにし、判別機に入力された変造されたトレーニングデータに対応される変造されたトレーニングデータスコアである第2エラーを最大化するように、変造ネットワークOを学習することができる。しかし、第1_1エラーないし第1_nエラーのそれぞれを利用して変造ネットワークOを順次学習することもできる。
【0168】
すなわち、第1学習装置は、トレーニングデータを変造ネットワークOに入力することで、変造ネットワークOをもってトレーニングデータを変造して第1変造されたトレーニングデータを生成させる。そして、第1学習装置は、(i)第1変造されたトレーニングデータを第1ラーニングネットワークF1に入力することで、第1ラーニングネットワークF1をもって(i‐1)第1ラーニングネットワークF1の第1学習されたパラメータを利用したネットワーク演算を第1変造されたトレーニングデータに対して適用して(i‐2)第1変造されたトレーニングデータに対応する学習用第1_1特性情報を出力させるプロセス、(ii)トレーニングデータを第1ラーニングネットワークF1に入力することで、(iii)第1ラーニングネットワークF1をもって(iii‐1)第1学習されたパラメータを利用したネットワーク演算をトレーニングデータに対して適用して(iii‐2)トレーニングデータに対応する学習用第2_1特性情報を出力させるプロセスを遂行したり、他の装置をもって遂行するように支援することができる。以後、第1学習装置は、第1_1特性情報と第2_1特性情報とを参照して算出された少なくとも一つの第1_1エラーを最小化するようにし、判別機Dに入力された第1変造されたトレーニングデータに対応される少なくとも一つの第1変造されたトレーニングデータスコアである少なくとも一つの第2_1エラーを最大化するように変造ネットワークOを学習することで、変造ネットワークOが第1学習された変造ネットワークOになるようにすることができる。また、第1学習装置は、判別機Dに入力された変換トレーニングデータまたは変換変造されたトレーニングデータに対応される少なくとも一つの第1変換トレーニングデータスコアまたは少なくとも一つの第1変換変造されたトレーニングデータスコアが最大化されるようにし、少なくとも一つの第1変造されたトレーニングデータスコアが最小化されるように判別機Dを学習することで、判別機Dが第1学習された判別機Dになるようにすることができる。
【0169】
そして定数のkを2からnまで増加させながら、第1学習装置は、前記プロセスを繰り返して第nラーニングネットワークFnまで遂行することで第n学習された変造ネットワークOを獲得することができる。
【0170】
すなわち、第1学習装置は、トレーニングデータを第(k‐1)学習された変造ネットワークOに入力することで、第(k‐1)変造ネットワークOをもってトレーニングデータを変造して第k変造されたトレーニングデータを生成させることができる。そして、第1学習装置は、(i)第k変造されたトレーニングデータを第kラーニングネットワークFkに入力することで、第kラーニングネットワークFkをもって(i‐1)第kラーニングネットワークFkの第k学習されたパラメータを利用したネットワーク演算を第k変造されたトレーニングデータに対して適用して(i‐2)第k変造されたトレーニングデータに対応する学習用第1_k特性情報を出力させるプロセス、及び(ii)トレーニングデータを第kラーニングネットワークFkに入力することで、第kラーニングネットワークFkをもって(ii‐1)第k学習されたパラメータを利用したネットワーク演算をトレーニングデータに対して適用して(ii‐2)トレーニングデータに対応する学習用第2_k特性情報を出力させるプロセスを遂行したり、他の装置をもって遂行するように支援することができる。以後、第1学習装置は、学習用第1_k特性情報と学習用第2_k特性情報とを参照して算出された少なくとも一つの第1_kエラーを最小化するようにし、第(k‐1)学習された判別機Dに入力された第k変造されたトレーニングデータに対応される少なくとも一つの第k変造されたトレーニングデータスコアである第2_kエラーを最大化するように、第(k‐1)学習された変造ネットワークOを学習することで、第(k‐1)学習された変造ネットワークOが第k学習された変造ネットワークOになるようにすることができる。また、第1学習装置は、第(k‐1)学習された判別機Dに入力された変換トレーニングデータまたは変換変造されたトレーニングデータに対応される少なくとも一つの第k変換トレーニングデータスコアまたは少なくとも一つの第k変換変造されたトレーニングデータスコアが最大化されるようにし、少なくとも一つの第k変造されたトレーニングデータスコアが最小化されるように第(k‐1)学習された判別機Dを学習することで、第(k‐1)学習された判別機Dが第k学習された判別機Dになるようにすることができる。
【0171】
このとき、第1_kエラーは、(i)学習用第1_k特性情報を利用して生成された、第k変造されたトレーニングデータに対する学習用第kタスク特定出力と(ii)トレーニングデータに対応されるトレーニングデータGTとを参照して獲得した、第k変造ロスをさらに参照して算出されることができる。
【0172】
また、第1_kエラーは、(i)学習用第1_k特性情報と学習用第2_k特性情報との間の差、(ii)第k変造ロス、及び(iii)前記(i)と前記(ii)との総和の中いずれか一つであるが、本発明の範囲これに限定されるものではない。
【0173】
次に、前記プロセスを利用して第1学習装置によって変造ネットワークOが学習されている状態で、第2学習装置100はトレーニングデータを適応ネットワークAに入力することで、適応ネットワークAをもってトレーニングデータ適応するようにして第1特徴適応データを生成させることができる。このとき、第1学習装置と第2学習装置100は同一な装置であるか、または異なる装置である。
【0174】
そして、第2学習装置100は、変造ネットワークOによって生成された、変造されたトレーニングデータに対応される第1適応GTを獲得し、(1)第1適応GTと(2)第1特徴適応データに対応される第1適応レファレンスとを参照して算出された、第1適応エラーが最小化されるように適応ネットワークAを学習するプロセスを遂行することができる。
【0175】
このとき、第2学習装置100は、第1適応GTに変造されたトレーニングデータを獲得することができるし、第1適応レファレンスとして第1特徴適応データを獲得することができるし、変造されたトレーニングデータと第1特徴適応データとの間の差を参照して第1適応エラーを獲得することができる。
【0176】
また、第2学習装置100は、(i)第1特徴適応データである第1_1特徴適応データを第1ラーニングネットワークF1に入力することで、第1ラーニングネットワークF1をもって第1学習されたパラメータを利用したラーニング演算を第1_1特徴適応データに対して適用して第1_1適応特性情報を出力させるプロセス、及び(ii)学習用第1_1特性情報と第1_1適応特性情報との間の差または学習用第2_1特性情報と第1_1適応特性情報との間の差を参照して算出された第1_1適応エラーが最小化されるように適応ネットワークAを学習することで、適応ネットワークAが第1学習された適応ネットワークAになるようにするプロセスを遂行することができる。そして、第2学習装置100は、トレーニングデータを第(k‐1)学習された適応ネットワークAに入力して第(k‐1)学習された適応ネットワークをもって第1_k特徴適応データを生成させ、第1_k特徴適応データを第kラーニングネットワークFkに入力して第kラーニングネットワークFkをもって第1_k特徴適応データに対してラーニング演算を適用して第1_k適応特性情報を生成させることができる。以後、第2学習装置100は、学習用第1_k特性情報と第1_k適応特性情報との間の差または学習用第2_k特性情報と第1_k適応特性情報との間の差を参照して算出された第1_k適応エラーが最小化されるように第(k‐1)学習された適応ネットワークAを学習することで、第(k‐1)学習された適応ネットワークAが第k学習された適応ネットワークAになるようにするプロセスを遂行することができる。
【0177】
このとき、(i)(i‐1)学習用第1_1特性情報と第1_1適応特性情報との間の差ないし(i‐2)学習用第1_n特性情報と第1_n適応特性情報との間の差のそれぞれは、(ii)(ii‐1)(ii‐1a)第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と(ii‐1b)トレーニングデータGTとを参照して算出された、第1_1適応ロスないし(ii‐2)(ii‐2a)第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と(ii‐2b)トレーニングデータGTとを参照して算出された、第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されることができる。または、(i)(i‐1)学習用第2_1特性情報と第1_1適応特性情報との間の差ないし(i‐2)学習用第2_n特性情報と第1_n適応特性情報との間の差のそれぞれは、(ii)(ii‐1)(ii‐1a)第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と(ii‐1b)トレーニングデータGTとを参照して算出された、第1_1適応ロスないし(ii‐2)(ii‐2a)第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と(ii‐2b)トレーニングデータGTとを参照して算出された、第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されることができる。
【0178】
これに加え、第2学習装置100は、(i)第1特徴適応データである第1_1特徴適応データを第1ラーニングネットワークF1に入力することで、第1ラーニングネットワークF1をもって第1学習されたパラメータを利用したラーニング演算を第1_1特徴適応データに対して適用して、第1_1適応特性情報を出力させるプロセス、及び(ii)(ii‐1)第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と(ii‐2)トレーニングデータGTとを参照して算出された、第1_1適応ロスが最小化されるように適応ネットワークAを学習することで、適応ネットワークAが第1学習された適応ネットワークAになるようにするプロセスを遂行することができる。そして、第2学習装置100は、トレーニングデータを第(k‐1)学習された適応ネットワークAに入力して第(k‐1)学習された適応ネットワークAをもって第1_k特徴適応データを生成させ、第1_k特徴適応データを第kラーニングネットワークFkに入力して第kラーニングネットワークFkをもって第1_k特徴適応データに対してラーニング演算を適用して第1_k適応特性情報を生成させ、第1_k適応特性情報を利用して生成された第1_k適応タスク特定出力とトレーニングデータGTとを参照して算出された、第1_k適応ロスが最小化されるように第(k‐1)学習された適応ネットワークAを学習することで第(k‐1)学習された適応ネットワークAが第k学習された適応ネットワークAになるようにすることができる。
【0179】
これとは違って、前記プロセスを利用して第1学習装置によって変造ネットワークOが学習された状態で、第2学習装置100は、テストデータを適応ネットワークAに入力して適応ネットワークAをもってテストデータ適応するようにして第2特徴適応データを生成させることができる。このとき、第1学習装置と第2学習装置100は同一な装置であるか、または異なる装置である。
【0180】
そして、第2学習装置100は、テストデータを学習された変造ネットワークOに入力して学習された変造ネットワークOをもって変造されたテストデータを生成させるプロセス、変造されたテストデータに対応される第2適応GTを獲得するプロセス、(1)第2適応GTと(2)第2特徴適応データに対応される第2適応レファレンスとを参照して算出された、第2適応エラーが最小化されるように適応ネットワークAを学習するプロセスを遂行することができる。
【0181】
このとき、第2学習装置100は、第2適応GTに変造されたテストデータを獲得することができるし、第2適応レファレンスで第2特徴適応データを獲得することができるし、変造されたテストデータと第2特徴適応データとの間の差を参照して第2適応エラーを獲得することができる。
【0182】
また、第2学習装置100は、変造されたテストデータを第1ラーニングネットワークF1ないし第nラーニングネットワークFnのそれぞれに入力することで、第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれをもって(i)第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれの第1学習されたパラメータないし第n学習されたパラメータをそれぞれ利用した、これに対応するラーニング演算を変造されたテストデータに対して適用して、(ii)テスト用第1_1特性情報ないしテスト用第1_n特性情報のそれぞれを出力するようにしたり、テストデータを第1ラーニングネットワークF1ないし第nラーニングネットワークFnに入力して第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれをもってテストデータに対してラーニング演算を適用してテスト用第2_1特性情報ないしテスト用第2_n特性情報を出力させることができる。そして、第2学習装置100は、(i)第2特徴適応データである第2_1特徴適応データを第1ラーニングネットワークF1に入力することで、第1ラーニングネットワークF1をもって第1学習されたパラメータを利用したラーニング演算を第2_1特徴適応データに対して適用して第2_1適応特性情報を出力させるプロセス、及び(ii)テスト用第1_1特性情報と第2_1適応特性情報との間の差またはテスト用第2_1特性情報と第2_1適応特性情報との間の差を参照して算出された第2_1適応エラーが最小化されるように適応ネットワークAを学習して、適応ネットワークAが第1学習された適応ネットワークAになるようにするプロセスを遂行することができる。また、第2学習装置は、テストデータを第(k‐1)学習された適応ネットワークAに入力して第(k‐1)学習された適応ネットワークAをもって第2_k特徴適応データを生成させ、第2_k特徴適応データを第kラーニングネットワークFkに入力して第kラーニングネットワークFkをもって第2_k特徴適応データに対してラーニング演算を適用して第2_k適応特性情報を生成させることができる。以後、第2学習装置100は、テスト用第1_k特性情報と第2_k適応特性情報との間の差またはテスト用第2_k特性情報と第2_k適応特性情報との間の差を参照して算出された第2_k適応エラーが最小化されるように、第(k‐1)学習された適応ネットワークAを学習して第(k‐1)学習された適応ネットワークAが第k学習された適応ネットワークAになるようにするプロセスを遂行することができる。
【0183】
このとき、(i)テスト用第1_1特性情報と第2_1適応特性情報との間の差ないしテスト用第1_n特性情報と第2_n適応特性情報との間の差のそれぞれは、第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力とテストデータGTとを参照して算出された、第2_1適応ロスないし第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力とテストデータGTとを参照して算出された、第2_n適応ロスのそれぞれをさらに参照して決定されることができるか、または(ii)テスト用第2_1特性情報と第2_1適応特性情報との間の差ないしテスト用第2_n特性情報と第2_n適応特性情報との間の差のそれぞれは、第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力とテストデータGTとを参照して算出された、第2_1適応ロスないし第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力とテストデータGTとを参照して算出された、第2_n適応ロスのそれぞれをさらに参照して決定されることができる。
【0184】
これに加え、第2学習装置100は、(i)第2特徴適応データである第2_1特徴適応データを第1ラーニングネットワークF1に入力することで、第1ラーニングネットワークF1をもって第1学習されたパラメータを利用したラーニング演算を第2_1特徴適応データに対して適用して第2_1適応特性情報を出力させるプロセス、及び(ii)第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力とテストデータGTとを参照して算出された、第2_1適応ロスが最小化されるように適応ネットワークAを学習して、適応ネットワークAが第1学習された適応ネットワークAになるようにするプロセスを遂行することができる。また、第2学習装置は、テストデータを第(k‐1)学習された適応ネットワークAに入力して第(k‐1)学習された適応ネットワークAをもって第2_k特徴適応データを生成させることができるし、第2_k特徴適応データを第kラーニングネットワークFkに入力して第kラーニングネットワークFkをもって第2_k特徴適応データに対してラーニング演算を適用して第2_k適応特性情報を生成させることができる。以後、第2学習装置100は、第2_k適応特性情報を利用して生成された第2_k適応タスク特定出力とテストデータGTとを参照して算出された、第2_k適応ロスが最小化されるように、第(k‐1)学習された適応ネットワークAを学習することで、第(k‐1)学習された適応ネットワークAが第k学習された適応ネットワークAになるようにするプロセスを遂行することができる。
【0185】
図6は本発明の一実施例によって学習された適応ネットワークAをテストするテスト装置を簡略に示したものである。
【0186】
図6を参照すれば、本発明の一実施例によるテスト装置200は、ラーニングネットワークで変造データを利用して算出された結果が入力データを利用して算出された結果と同一又は類似するように少なくとも一つの入力データを変造することができる変造ネットワークと他のアーキテクチャを持つが、変造ネットワークの入力と出力のフォーマットは同一のマシンラーニングモデルである適応ネットワークをテストするためのインストラクションが格納されたメモリー210と、メモリー210に格納されたインストラクションによって変造ネットワークを学習する動作を遂行するプロセッサ220を含むことができる。
【0187】
具体的に、テスト装置200は、少なくとも一つのコンピューティング装置(例えば、コンピュータプロセッサ、メモリー、ストーレジ、入力装置、出力装置またはその他既存のコンピューティング装置の構成要素)ルーター、スイッチなどのような電子通信装置ネットワーク付きストーレジ(NAS)及びストーレジ領域ネットワーク(SAN)のような電子情報ストーレジシステムと少なくとも一つのコンピュータソフトウェア(すなわち、コンピューティング装置をもって特定方式で機能させるインストラクション)の組み合わせを利用して所望のシステム性能を一般的に達成することができる。
【0188】
また、コンピューティング装置のプロセッサはMPU(Micro Processing Unit)またはCPU(Central Processing Unit)、キャッシュメモリー(Cache Memory)、データバス(Data Bus)などのハードウェア構成を含むことができる。また、コンピューティング装置は、運営体制、特定目的を達成するアプリケーションのソフトウェア構成をさらに含むこともできる。
【0189】
しかし、コンピューティング装置本発明を実施するためのプロセッサ、メモリー、ミディアムまたは他のコンピューティング要素の任意の組み合わせを含む統合装置を排除することではない。
【0190】
一方、テスト装置200はのような方法を利用して学習された適応ネットワークをテストすることができる。
【0191】
先ず、適応ネットワークは図2ないし図5で説明した方法によって学習された状態である。
【0192】
すなわち、第1学習装置は、(i)変造ネットワークにトレーニングデータが入力されると、変造ネットワークをもってトレーニングデータを変造するようにし、変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つラーニングネットワークに入力して、ラーニングネットワークをもって変造されたトレーニングデータに対して学習されたパラメータを利用したラーニング演算を適用して学習用第1特性情報を生成させ、(ii‐2)トレーニングデータをラーニングネットワークに入力して、ラーニングネットワークをもってトレーニングデータに対して学習されたパラメータを利用したラーニング演算を適用して学習用第2特性情報を生成させるプロセス、及び(iii)学習用第1特性情報と学習用第2特性情報を参照して算出された第1エラーが最小化され、トレーニングデータと変造されたトレーニングデータを参照して算出された第2エラーが最大化されるように、変造ネットワークを学習するプロセスを遂行したか、または遂行する状態である。
【0193】
以後、第2学習装置が(i)トレーニングデータを適応ネットワークに入力することで、適応ネットワークをもってトレーニングデータ適応するようにして第1特徴適応トレーニングデータを生成させるプロセス、または(ii)第1テストデータを適応ネットワークに入力することで適応ネットワークをもってテストデータ適応するようにして第2特徴適応トレーニングデータを生成させるプロセスを遂行することができるし、(iii)変造ネットワークによって生成された、変造されたトレーニングデータに対応される第1適応GTを獲得し、(1)第1適応GTと(2)第1特徴適応データに対応される第1適応レファレンスとを参照して算出された、第1適応エラーが最小化されるように適応ネットワークを学習するプロセス、または(iv)テストデータを学習された変造ネットワークに入力して生成された、変造されたテストデータに対応される第2適応GTと第2特徴適応トレーニングデータに対応される第2適応レファレンスとを参照して算出された第2適応エラーが最小化されるように適応ネットワークを学習するプロセスを遂行することができる。
【0194】
次に、第2テストデータが獲得されると、テスト装置200は、前記第2テストデータを前記学習された適応ネットワークに入力することで、前記学習された適応ネットワークをもって前記第2テストデータ適応するようにして特徴適応テストデータを生成させるプロセス、及び前記特徴適応テストデータを前記第2テストデータのコンシーリング処理されたデータとして獲得するプロセスを遂行することができる。
【0195】
このとき、第2テストデータは第1テストデータと同一であるか、または異なるデータである。すなわち、第1テストデータは学習された変造ネットワークをテストするために使われることができるし、第2テストデータは学習された適応ネットワークをテストするために使われることができる。
【0196】
一方、本発明の実施例によって学習された適応ネットワークは多様なコンピュータ構成要素を通じて実行されることができるプログラム命令語の形態で具現され、コンピュータ読み取り可能な記録媒体に記録されて提供されることができる。本発明の一実施例によると、購入者は記録媒体に記録されたプログラム命令語をコンピューティング装置を利用して実行することで、自分が別途保有したり、他の出処または経路から獲得された原本データからコンシーリング処理と類似にに適応処理されたデータを生成することができるし、適応処理されたデータを自分のラーニングネットワークで利用することができる。
【0197】
一方、本発明の一実施例によると、学習された適応ネットワークは多様なコンピュータ構成要素を通じて実行されることができるプログラム命令語の形態で具現した場合、正確度が高く設定されて購入者のコンピューティング装置でコンピューティングオーバーヘッド(Computational Overhead)を発生させる変造ネットワークとは違って、コンピューティングリソースを少なく使うように具現されてコンピューティングオーバーヘッドを防ぐことができる。
【0198】
以上、説明された本発明による実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現され、コンピュータの読み取り可能な記録媒体に記録されることができる。前記コンピュータの読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータの読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別設計されて構成されたものであるか、またはコンピュータソフトウェア分野の当業者に公知されて使用可能なものであってもよい。コンピュータの読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、CD‐ROM、DVDのような光記録媒体、フロプティカルディスク(floptical disk)のような磁気‐光媒体(magneto‐optical media)、及びROM、RAM、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作われるもののような機械語コードのみならず、インタプリタなどを使用してコンピュータによって実行されることができる高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を行うために一つ以上のソフトウェアモジュールとして作動するように構成されることができるし、その逆も同様である。
【0199】
以上、本発明が具体的な構成要素などのような特定事項と、限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形を図ることができる。
【0200】
したがって、本発明の思想は前記説明された実施例に限って決まってはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等に、または等価的に変形された全てのものは本発明の思想の範疇に属するものとする。
【符号の説明】
【0201】
100学習装置、
110メモリー、
120プロセッサ、
200テスト装置、
210メモリー、
220プロセッサ

図1
図2
図3
図4
図5
図6