(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-14
(45)【発行日】2022-03-23
(54)【発明の名称】個人情報保護のために原本データをコンシーリング処理する変調ネットワークを学習する方法及びテストする方法、そして、これを利用した学習装置及びテスト装置
(51)【国際特許分類】
G06N 3/08 20060101AFI20220315BHJP
G06N 3/04 20060101ALI20220315BHJP
G06F 21/62 20130101ALI20220315BHJP
【FI】
G06N3/08
G06N3/04 154
G06F21/62 345
(21)【出願番号】P 2020562066
(86)(22)【出願日】2019-07-19
(86)【国際出願番号】 KR2019008939
(87)【国際公開番号】W WO2020022704
(87)【国際公開日】2020-01-30
【審査請求日】2020-07-27
(31)【優先権主張番号】10-2018-0086929
(32)【優先日】2018-07-26
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】520278996
【氏名又は名称】ディーピング ソース インコーポレイテッド.
(74)【代理人】
【識別番号】100079049
【氏名又は名称】中島 淳
(74)【代理人】
【識別番号】100084995
【氏名又は名称】加藤 和詳
(72)【発明者】
【氏名】キム、テ フン
【審査官】川▲崎▼ 博章
(56)【参考文献】
【文献】米国特許出願公開第2017/0317983(US,A1)
【文献】米国特許出願公開第2018/0165597(US,A1)
【文献】特開2018-106216(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06N 3/00-99/00
G06F 21/62
(57)【特許請求の範囲】
【請求項1】
個人情報保護のために、原本データをコンシーリング(Concealing)処理する変調ネットワーク(0bfuscation Network)を学習する方法において、
(a)学習データが取得されると、学習装置が、前記学習データを変調ネットワークに入力して、前記変調ネットワークをもって前記学習データを変調させて変調済みの学習データを生成させる段階;
(b)前記学習装置が、(i)前記変調済みの学習データを少なくとも一つの学習されたパラメータを有するラーニングネットワークに入力して、前記ラーニングネットワークをもって(i-1)前記学習されたパラメータを利用して、前記変調済みの学習データに対してネットワーク演算を適用させて(i-2)前記変調済みの学習データに対応する第1特性情報(Characteristic Information)を生成させ、(ii)前記学習データを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって(ii-1)前記学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて(ii-2)前記学習データに対応する第2特性情報を生成させる段階;及び、
(c)前記学習装置が、(i)(i-1)前記第1特性情報と前記第2特性情報とを参照して取得された少なくとも一つの第1_1エラーと、(i-2)前記第1特性情報を利用して生成されたタスク特定出力(Task Specific Output)と、
前記タスク特定出力に対応する少なくとも一つの原本正解(Ground Truth)とを参照して取得された少なくとも一つの第1_2エラーとのうち少なくとも一部を参照して算出された少なくとも一つの第1エラーを最小化し、(ii)前記学習データと前記変調済みの学習データとを参照して算出された少なくとも一つの第2エラーを最大化するように、前記変調ネットワークを学習する段階;
を含む方法。
【請求項2】
前記ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、nは1以上の整数(integer)である場合、
前記(b)段階で、
前記学習装置は、(i)前記変調済みの学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれをもって(i-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記変調済みの学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(i-2)前記変調済みの学習データに対するそれぞれの第1_1特性情報ないし第1_n特性情報を出力させ、(ii)前記学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(ii-1)それぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(ii-2)前記学習データに対するそれぞれの第2_1特性情報ないし第2_n特性情報を出力させ、
前記(c)段階で、
前記学習装置は、(i)(i-1)前記第1_1特性情報と前記第2_1特性情報とを参照して取得された第(1_1)_1エラーないし前記第1_n特性情報と前記第2_n特性情報とを参照して取得された第(1_1)_nエラーの平均である前記第1_1エラーと、(i-2)(i-2a)前記
第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、(i-2b)
前記第1タスク特定出力に対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーないし(i-2a)前記第1_n特性情報を利用して生成された少なくとも一つの第nタスク特定出力と、(i-2b)
前記第nタスク特定出力に対応する少なくとも一つの第n原本正解とを参照して取得された第(1_2)_nエラーの平均である前記第1_2エラーとのうち少なくとも一部を参照して算出された前記第1エラーを最小化し、(ii)前記学習データと前記変調済みの学習データとを参照して算出された前記第2エラーを最大化するように、前記変調ネットワークを学習する請求項1に記載の方法。
【請求項3】
前記ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、nは1以上の整数である場合、
前記(a)段階で、
前記学習装置は、前記学習データを前記変調ネットワークに入力して、前記変調ネットワークをもって前記学習データを変調させて第1変調済みの学習データを生成させ、
前記(b)段階で、
前記学習装置は、(i)前記第1変調済みの学習データを前記第1ラーニングネットワークに入力して、前記第1ラーニングネットワークをもって(i-1)前記第1ラーニングネットワークの前記第1学習されたパラメータを利用して、前記第1変調済みの学習データに対してネットワーク演算を適用させて(i-2)前記第1変調済みの学習データに対する第1_1特性情報を出力させ、(ii)前記学習データを前記第1ラーニングネットワークに入力して、前記第1ラーニングネットワークをもって(ii-1)前記第1学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて(ii-2)前記学習データに対する第2_1特性情報を出力させ、
前記(c)段階で、
前記学習装置は、(i)(i-1)前記第1_1特性情報と前記第2_1特性情報とを参照して取得された少なくとも一つの第(1_1)_1エラーと、(i-2)前記第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、
前記第1タスク特定出力に対応する少なくとも一つの第1原本正解とを参照して取得された少なくとも一つの第(1_2)_1エラーとのうち少なくとも一部を参照して取得された少なくとも一つの第1_1エラーを最小化し、(ii)前記学習データと前記第1変調済みの学習データとを参照して算出された少なくとも一つの第2_1エラーを最大化するように、前記変調ネットワークを学習させて前記変調ネットワークが第1学習された変調ネットワークになるようにし、
前記学習装置は、整数であるkを2からnまで増加させていき、(i)前記学習データを第k-1学習された変調ネットワークに入力して、前記第k-1学習された変調ネットワークをもって前記学習データを変調させて第k変調済みの学習データを生成させ、(ii)(ii-1)前記第k変調済みの学習データを第kラーニングネットワークに入力して、前記第kラーニングネットワークをもって前記第kラーニングネットワークの少なくとも一つの第k学習されたパラメータを利用して、前記第k変調済みの学習データに対してネットワーク演算を適用させて前記第k変調済みの学習データに対する第1_k特性情報を出力させ、(ii-2)前記学習データを前記第kラーニングネットワークに入力して、前記第kラーニングネットワークをもって前記第k学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて前記学習データに対する第2_k特性情報を出力させ、(iii)(iii-1)(iii-1a)前記第1_k特性情報と前記第2_k特性情報とを参照して取得された少なくとも一つの第(1_1)_kエラーと、(iii-1b)前記第1_k特性情報を利用して生成された少なくとも一つの第kタスク特定出力と、
前記第kタスク特定出力に対応する少なくとも一つの第k原本正解とをさらに参照して取得された少なくとも一つの第(1_2)_kエラーとのうち少なくとも一部を参照して算出された少なくとも一つの第1_kエラーを最小化し、(iii-2)前記学習データと前記第k変調済みの学習データとを参照して算出された少なくとも一つの第2_kエラーを最大化するように、前記第k-1学習された変調ネットワークを学習して、前記k-1学習された変調ネットワークが第k学習された変調ネットワークになるようにする請求項1に記載の方法。
【請求項4】
前記(c)段階で、
入力されるデータが本物であるか偽物であるかを判別する判別器(Discriminator)に入力された前記変調済みの学習データに対応する少なくとも一つの変調済みの学習データスコア(0bfuscated Training Data Score)を前記第2エラーとして取得した状態で、前記学習装置は、(i)前記第1エラーを最小化し、前記第2エラーを最大化するように、前記変調ネットワークを学習するとともに、(ii)前記判別器に入力された変換学習データまたは変調済みの変換学習データに対応する少なくとも一つの変換学習データスコアまたは少なくとも一つの変調済みの変換学習データスコアを最大化し、前記変調済みの学習データスコアを最小化するように、前記判別器を学習し、前記変換学習データまたは前記変調済みの変換学習データは、それぞれ前記学習データまたは前記変調済みの学習データを変換したデータである請求項1に記載の方法。
【請求項5】
前記ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、nは1以上の整数である場合、
前記(b)段階で、
前記学習装置は、(i)前記変調済みの学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(i-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記変調済みの学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(i-2)前記変調済みの学習データに対するそれぞれの第1_1特性情報ないし第1_n特性情報を出力させ、(ii)前記学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(ii-1)それぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(ii-2)前記学習データに対するそれぞれの第2_1特性情報ないし第2_n特性情報を出力させ、
前記(c)段階で、
前記学習装置は、(i)(i-1)前記第1_1特性情報と前記第2_1特性情報とを参照して取得した第(1_1)_1エラーないし前記第1_n特性情報と前記第2_n特性情報とを参照して取得した第(1_1)_nエラーの平均である前記第1_1エラーと、(i-2)(i-2a)前記
第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、(i-2b)
前記第1タスク特定出力に対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーないし(i-2a)前記第1_n特性情報を利用して生成された少なくとも一つの第nタスク特定出力と、(i-2b)
前記第nタスク特定出力に対応する第n原本正解とを参照して取得された第(1_2)_nエラーの平均である前記第1_2エラーとのうち少なくとも一部を参照して算出された前記第1エラーを最小化し、前記判別器に入力された前記変調済みの学習データに対応する前記変調済みの学習データスコアである前記第2エラーを最大化するように、前記変調ネットワークを学習し、(ii)前記判別器に入力された前記変換学習データまたは前記変調済みの変換学習データに対応する前記変換学習データスコアまたは前記変調済みの変換学習データスコアを最大化し、前記変調済みの学習データスコアを最小化するように、前記判別器を学習する請求項4に記載の方法。
【請求項6】
前記ラーニングネットワークは、それぞれ第1学習されたパラメータないし第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、nは1以上の整数である場合、
前記(a)段階で、
前記学習装置は、前記学習データを前記変調ネットワークに入力して、前記変調ネットワークをもって前記学習データを変調させて第1変調済みの学習データを生成させ、
前記(b)段階で、
前記学習装置は、(i)前記第1変調済みの学習データを前記第1ラーニングネットワークに入力して、前記第1ラーニングネットワークをもって(i-1)前記第1ラーニングネットワークの前記第1学習されたパラメータを利用して、前記第1変調済みの学習データに対してネットワーク演算を適用させて(i-2)前記第1変調済みの学習データに対する第1_1特性情報を出力させ、(ii)前記学習データを前記第1ラーニングネットワークに入力して、前記第1ラーニングネットワークをもって(ii-1)前記第1学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて(ii-2)前記学習データに対する第2_1特性情報を出力させ、
前記(c)段階で、
前記学習装置は、(i)(i-1)前記第1_1特性情報と前記第2_1特性情報とを参照して取得された少なくとも一つの第(1_1)_1エラーと、(i-2)(i-2a)前記第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、
(i-2b)
前記第1タスク特定出力に対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーとのうち少なくとも一部を参照して取得された少なくとも一つの第1_1エラーを最小化し、(ii)前記判別器に入力された前記第1変調済みの学習データに対応する少なくとも一つの第1変調済みの学習データスコアである少なくとも一つの第2_1エラーを最大化するように、前記変調ネットワークを学習して、前記変調ネットワークが第1学習された変調ネットワークになるようにし、前記学習装置は、(i)前記判別器に入力された前記変換学習データまたは前記変調済みの変換学習データに対応する少なくとも一つの第1変換学習データスコアまたは少なくとも一つの第1変調済みの変換学習データスコアを最大化し、(ii)前記第1変調済みの学習データスコアを最小化するように、前記判別器を学習して前記判別器が第1学習された判別器になるようにし、
前記学習装置は、整数であるkを2からnまで増加させていき、(i)前記学習データを第k-1学習された変調ネットワークに入力して、前記第k-1学習された変調ネットワークをもって前記学習データを変調させて第k変調済みの学習データを生成させ、(ii)(ii-1)前記第k変調済みの学習データを第kラーニングネットワークに入力して、前記第kラーニングネットワークをもって前記第kラーニングネットワークの少なくとも一つの第k学習されたパラメータを利用して、前記第k変調済みの学習データに対してネットワーク演算を適用させて前記第k変調済みの学習データに対する第1_k特性情報を出力させ、(ii-2)前記学習データを前記第kラーニングネットワークに入力して、前記第kラーニングネットワークをもって前記第k学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて前記学習データに対する第2_k特性情報を出力させ、(iii)(iii-1)前記第1_k特性情報と前記第2_k特性情報とを参照して取得された少なくとも一つの第(1_1)_kエラーと、(iii-2)前記第1_k特性情報を利用して生成された少なくとも一つの第kタスク特定出力と、
前記第kタスク特定出力に対応する少なくとも一つの第k原本正解とを参照して取得された少なくとも一つの第(1_2)_kエラーとのうち少なくとも一部を参照して算出された少なくとも一つの第1_kエラーを最小化し、前記第
k-1学習された判別器に入力された前記第k変調済みの学習データに対応する少なくとも一つの第k変調済みの学習データスコアである少なくとも一つの第2_kエラーを最大化するように、第k-1学習された変調ネットワークを学習して、前記第k-1学習された変調ネットワークが第k学習された変調ネットワークになるようにし、(iv)前記第k-1学習された判別器に入力された前記変換学習データまたは前記変調済みの変換学習データに対応する少なくとも一つの第k変換学習データスコアまたは少なくとも一つの第k変調済みの変換学習データスコアを最大化し、
前記第k変調済みの学習データスコアを最小化するように、前記第k-1学習された判別器を学習して、前記第k-1学習された判別器が第k学習された判別器になるようにする請求項4に記載の方法。
【請求項7】
前記判別器に入力された前記変換学習データまたは前記変調済みの変換学習データに対応する前記変換学習データスコアまたは前記変調済みの変換学習データスコアの最大値は、それぞれ前記変換学習データまたは前記変調済みの変換学習データを本物であるものと判別する1であり、前記判別器に入力された前記変調済みの学習データに対応する前記変調済みの学習データスコアの最小値は、前記変調済みの学習データを偽物であるものと判別する0である請求項4に記載の方法。
【請求項8】
前記(c)段階で、
前記学習装置は、(i)前記第1特性情報と前記第2特性情報との間の差異と、(ii)前記タスク特定出力と前記原本正解との間の少なくとも一つの差異とのうち少なくとも一部を参照して前記第1エラーを取得し、前記学習データと前記変調済みの学習データとの間の少なくとも一つの差異により前記第2エラーを取得する請求項1に記載の方法。
【請求項9】
前記学習装置は、前記第1特性情報と前記第2特性情報との間のノルム(Norm)またはコサイン類似度(Cosine Similarity)を参照して前記第1エラーを取得する請求項8に記載の方法。
【請求項10】
前記(c)段階で、
前記学習装置は、前記変調済みの学習データのエントロピー、ノイズ程度のうち少なくとも一部を参照して少なくとも一つのクオリティ(Quality)を測定し、測定された前記クオリティを参照して前記第1エラーを取得する請求項1に記載の方法。
【請求項11】
個人情報保護のために、原本データをコンシーリング処理する変調ネットワーク(0bfuscation Network)を学習するテスト方法において、
(a)学習装置が、(i)学習データを取得し、
前記学習データを変調ネットワークに入力して、前記変調ネットワークをもって前記学習データを変調させて変調済みの学習データを生成させるプロセス、(ii)前記変調済みの学習データを少なくとも一つの学習されたパラメータを有するラーニングネットワークに入力して、前記ラーニングネットワークをもって(ii-1)前記学習されたパラメータを利用して、前記変調済みの学習データに対してネットワーク演算を適用させて(ii-2)前記変調済みの学習データに対応する第1特性情報を生成させるプロセス、(iii)前記学習データを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって(iii-1)前記学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて(iii-2)前記学習データに対応する第2特性情報を生成させるプロセス、及び(iv)(iv-1)(iv-1a)前記第1特性情報と前記第2特性情報とを参照して取得された少なくとも一つの第1_1エラーと、(iv-1b)前記第1特性情報を利用して生成された少なくとも一つのタスク特定出力と、
前記タスク特定出力に対応する少なくとも一つの原本正解(Ground Truth)とを参照して取得された少なくとも一つの第1_2エラーとのうち少なくとも一部を参照して算出された少なくとも一つの第1エラーを最小化し、(iv-2)前記学習データと前記変調済みの学習データとを参照して算出された少なくとも一つの第2エラーを最大化するように、前記変調ネットワークを学習するプロセスを遂行した状態で、テスト装置が、テストデータを取得するプロセスを遂行する段階;及び
(b)前記テスト装置が、前記テストデータを前記変調ネットワークに入力して、前記変調ネットワークをもって前記変調ネットワークの前記学習されたパラメータを利用して、前記テストデータを変調させて変調済みのテストデータをコンシーリング処理されたテストデータとして出力する方法。
【請求項12】
前記(a)段階で、
前記ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、nは1以上の整数である場合、
前記学習装置が、(i)前記変調済みの学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(i-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記変調済みの学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(i-2)前記変調済みの学習データに対するそれぞれの第1_1特性情報ないし第1_n特性情報を出力させるプロセス、(ii)前記学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(ii-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(ii-2)前記学習データに対するそれぞれの第2_1特性情報ないし第2_n特性情報を出力させるプロセス、(iii)(iii-1)(iii-1a)前記第1_1特性情報と前記第2_1特性情報とを参照して取得された第(1_1)_1エラーないし前記第1_n特性情報と前記第2_n特性情報とを参照して取得された第(1_1)_nエラーの平均である前記第1_1エラーと、(iii-1b)前記第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、
前記第1タスク特定出力に対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーないし前記第1_n特性情報を利用して生成された少なくとも一つの第nタスク特定出力と、
前記第nタスク特定出力に対応する少なくとも一つの第n原本正解とを参照して取得された第(1_2)_nエラーの平均である前記第1_2エラーとのうち少なくとも一部を参照して算出された前記第1エラーを最小化し、(iii-2)前記学習データと前記変調済みの学習データとを参照して算出された前記第2エラーを最大化するように、前記変調ネットワークを学習するプロセスを遂行する請求項11に記載の方法。
【請求項13】
前記(a)段階で、
前記学習装置が、(i)入力されるデータが本物であるか偽物であるかを判別する判別器に入力された前記変調済みの学習データに対応する少なくとも一つの変調済みの学習データスコアを前記第2エラーとして取得し、(ii)前記第1エラーを最小化し、前記第2エラーを最大化するように、前記変調ネットワークを学習させるとともに、(iii)前記判別器に入力された変換学習データまたは変調済みの変換学習データにそれぞれ対応する少なくとも一つの変換学習データスコアまたは少なくとも一つの変調済みの変換学習データスコアを最大化し、前記変調済みの学習データスコアを最小化するように、前記判別器を学習し、前記変換学習データまたは前記変調済みの変換学習データは、それぞれ前記学習データまたは前記変調済みの学習データを変換して生成されたデータである請求項11に記載の方法。
【請求項14】
前記(a)段階で、
前記ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、nは1以上の整数である場合、
前記学習装置が、(i)前記変調済みの学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(i-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記変調済みの学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(i-2)前記変調済みの学習データに対するそれぞれの第1_1特性情報ないし第1_n特性情報を出力させるプロセス、(ii)前記学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(ii-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(ii-2)前記学習データに対するそれぞれの第2_1特性情報ないし第2_n特性情報を出力させるプロセス、(iii)(iii-1)(iii-1a)前記第1_1特性情報と前記第2_1特性情報とを参照して取得された第(1_1)_1エラーないし前記第1_n特性情報と前記第2_n特性情報とを参照して取得された第(1_1)_nエラーの平均である前記第1_1エラーと、(iii-1b)前記第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、
前記第1タスク特定出力に対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーないし前記第1_n特性情報を利用して生成された少なくとも一つの第nタスク特定出力と、
前記第nタスク特定出力に対応する少なくとも一つの第n原本正解とを参照して取得された第(1_2)_nエラーの平均である前記第1_2エラーとのうち少なくとも一部を参照して算出された前記第1エラーを最小化し、(iii-2)前記判別器に入力された前記変調済みの学習データに対応する前記変換学習データスコアである前記第2エラーを最大化するように、前記変調ネットワークを学習するプロセス、及び(iv)前記判別器に入力された前記変換学習データまたは前記変調済みの変換学習データにそれぞれ対応する前記変換学習データスコアまたは前記変調済みの変換学習データスコアを最大化し、前記変換学習データスコアを最小化するように、前記判別器を学習するプロセスを遂行する請求項13に記載の方法。
【請求項15】
個人情報保護のために、原本データをコンシーリング処理する変調ネットワーク(0bfuscation Network)を学習する学習装置において、
インストラクションを格納する少なくとも一つのメモリと、
(I)学習データが取得されると、前記学習データを変調ネットワークに入力して、前記変調ネットワークをもって前記学習データを変調させて変調済みの学習データを生成させるプロセス;(II)(i)前記変調済みの学習データを少なくとも一つの学習されたパラメータを有するラーニングネットワークに入力して、前記ラーニングネットワークをもって(i-1)前記学習されたパラメータを利用して、前記変調済みの学習データに対してネットワーク演算を適用させて(i-2)前記変調済みの学習データに対応する第1特性情報(Characteristic Information)を生成させ、(ii)前記学習データを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって(ii-1)前記学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて(ii-2)前記学習データに対応する第2特性情報を生成させるプロセス;及び(III)(i)(i-1)前記第1特性情報と前記第2特性情報とを参照して取得された少なくとも一つの第1_1エラーと、(i-2)前記第1特性情報を利用して生成されたタスク特定出力(Task Specific Output)と、
前記タスク特定出力に対応する少なくとも一つの原本正解(Ground Truth)とを参照して取得された少なくとも一つの第1_2エラーとのうち少なくとも一部を参照して算出された少なくとも一つの第1エラーを最小化し、(ii)前記学習データと前記変調済みの学習データとを参照して算出された少なくとも一つの第2エラーを最大化するように、前記変調ネットワークを学習するプロセス;を遂行するための前記インストラクションを実行するか、他の装置をもって実行するように構成された少なくとも一つのプロセッサと、
を含む学習装置。
【請求項16】
前記ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、nは1以上の整数である場合、
前記(II)プロセスで、
前記プロセッサは、(i)前記変調済みの学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれをもって、(i-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記変調済みの学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(i-2)前記変調済みの学習データに対するそれぞれの第1_1特性情報ないし第1_n特性情報を出力させ、(ii)前記学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(ii-1)それぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(ii-2)前記学習データに対するそれぞれの第2_1特性情報ないし第2_n特性情報を出力させ、
前記(III)プロセスで、
前記プロセッサは、(i)(i-1)前記第1_1特性情報と前記第2_1特性情報とを参照して取得された第(1_1)_1エラーないし前記第1_n特性情報と前記第2_n特性情報とを参照して取得された第(1_1)_nエラーの平均である前記第1_1エラーと、(i-2)前記
第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、
前記第1タスク特定出力に対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーないし前記第1_n特性情報を利用して生成された少なくとも一つの第nタスク特定出力と、
前記第nタスク特定出力に対応する少なくとも一つの第n原本正解とを参照して取得された第(1_2)_nエラーの平均である前記第1_2エラーとのうち少なくとも一部を参照して算出された前記第1エラーを最小化し、(ii)前記学習データと前記変調済みの学習データとを参照して算出された前記第2エラーを最大化するように、前記変調ネットワークを学習する請求項15に記載の学習装置。
【請求項17】
前記ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、nは1以上の整数である場合、
前記(I)プロセスで、
前記プロセッサは、前記学習データを前記変調ネットワークに入力して、前記変調ネットワークをもって前記学習データを変調させて第1変調済みの学習データを生成させ、
前記(II)プロセスで、
前記プロセッサは、(i)前記第1変調済みの学習データを前記第1ラーニングネットワークに入力して、前記第1ラーニングネットワークをもって(i-1)前記第1ラーニングネットワークの前記第1学習されたパラメータを利用して、前記第1変調済みの学習データに対してネットワーク演算を適用させて(i-2)前記第1変調済みの学習データに対する第1_1特性情報を出力させ、(ii)前記学習データを前記第1ラーニングネットワークに入力して、前記第1ラーニングネットワークをもって(ii-1)前記第1学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて(ii-2)前記学習データに対する第2_1特性情報を出力させ、
前記(III)プロセスで、
前記プロセッサは、(i)(i-1)前記第1_1特性情報と前記第2_1特性情報とを参照して取得された少なくとも一つの第(1_1)_1エラーと、(i-2)前記第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、
前記第1タスク特定出力に対応する少なくとも一つの第1原本正解とを参照して取得された少なくとも一つの第(1_2)_1エラーとのうち少なくとも一部を参照して取得された少なくとも一つの第1_1エラーを最小化し、(ii)前記学習データと前記第1変調済みの学習データとを参照して算出された少なくとも一つの第2_1エラーを最大化するように、前記変調ネットワークを学習させて前記変調ネットワークが第1学習された変調ネットワークになるようにし、
前記プロセッサは、整数であるkを2からnまで増加させていき、(i)前記学習データを第k-1学習された変調ネットワークに入力して、前記第k-1学習された変調ネットワークをもって前記学習データを変調させて第k変調済みの学習データを生成させ、(ii)(ii-1)前記第k変調済みの学習データを第kラーニングネットワークに入力して、前記第kラーニングネットワークをもって前記第kラーニングネットワークの少なくとも一つの第k学習されたパラメータを利用して、前記第k変調済みの学習データに対してネットワーク演算を適用させて前記第k変調済みの学習データに対する第1_k特性情報を出力させ、(ii-2)前記学習データを前記第kラーニングネットワークに入力して、前記第kラーニングネットワークをもって前記第k学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて前記学習データに対する第2_k特性情報を出力させ、(iii)(iii-1)(iii-1a)前記第1_k特性情報と前記第2_k特性情報とを参照して取得された少なくとも一つの第(1_1)_kエラーと、(iii-1b)前記第1_k特性情報を利用して生成された少なくとも一つの第kタスク特定出力と、
前記第kタスク特定出力に対応する少なくとも一つの第k原本正解とをさらに参照して取得された少なくとも一つの第(1_2)_kエラーとのうち少なくとも一部を参照して算出された少なくとも一つの第1_kエラーを最小化し、(iii-2)前記学習データと前記第k変調済みの学習データとを参照して算出された少なくとも一つの第2_kエラーを最大化するように、前記第k-1学習された変調ネットワークを学習して、前記第k-1学習された変調ネットワークが第k学習された変調ネットワークになるようにする請求項15に記載の学習装置。
【請求項18】
前記(III)プロセスで、
入力されるデータが本物であるか偽物であるかを判別する判別器(Discrimin
ator)に入力された前記変調済みの学習データに対応する少なくとも一つの変調済み
の学習データスコア(0bfuscated Training Data Score
)を前記第2エラーとして取得した状態で、前記プロセッサは、(i)前記第1エラーを
最小化し、前記第2エラーを最大化するように、前記変調ネットワークを学習するととも
に、(ii)前記判別器に入力された変換学習データまたは変調済みの変換学習データに
対応する少なくとも一つの変換学習データスコアまたは少なくとも一つの変調済みの変換
学習データスコアを最大化し、前記変調済みの学習データスコアを最小化するように、前
記判別器を学習し、前記変換学習データまたは前記変調済みの変換学習データは、それぞ
れ前記学習データまたは前記変調済みの学習データを変換したデータである請求項15に
記載の学習装置。
【請求項19】
前記ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、nは1以上の整数である場合、
前記(II)プロセスで、
前記プロセッサは、(i)前記変調済みの学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(i-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記変調済みの学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(i-2)前記変調済みの学習データに対するそれぞれの第1_1特性情報ないし第1_n特性情報を出力させ、(ii)前記学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(ii-1)それぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(ii-2)前記学習データに対するそれぞれの第2_1特性情報ないし第2_n特性情報を出力させ、
前記(III)プロセスで、
前記プロセッサは、(i)(i-1)前記第1_1特性情報と前記第2_1特性情報とを参照して取得した第(1_1)_1エラーないし前記第1_n特性情報と前記第2_n特性情報とを参照して取得した第(1_1)_nエラーの平均である前記第1_1エラーと、(i-2)前記
第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、
前記第1タスク特定出力に対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーないし前記第1_n特性情報を利用して生成された少なくとも一つの第nタスク特定出力と、
第nタスク特定出力に対応する第n原本正解とを参照して取得された第(1_2)_nエラーの平均である前記第1_2エラーとのうち少なくとも一部を参照して算出された前記第1エラーを最小化し、前記判別器に入力された前記変調済みの学習データに対応する前記変調済みの学習データスコアである前記第2エラーを最大化するように、前記変調ネットワークを学習し、(ii)前記判別器に入力された前記変換学習データまたは前記変調済みの変換学習データに対応する前記変換学習データスコアまたは前記変調済みの変換学習データスコアを最大化し、前記変調済みの学習データスコアを最小化するように、前記判別器を学習する請求項18に記載の学習装置。
【請求項20】
前記ラーニングネットワークは、それぞれ第1学習されたパラメータないし第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、nは1以上の整数である場合、
前記(I)プロセスで、
前記プロセッサは、前記学習データを前記変調ネットワークに入力して、前記変調ネットワークをもって前記学習データを変調させて第1変調済みの学習データを生成させ、
前記(II)プロセスで、
前記プロセッサは、(i)前記第1変調済みの学習データを前記第1ラーニングネットワークに入力して、前記第1ラーニングネットワークをもって(i-1)前記第1ラーニングネットワークの前記第1学習されたパラメータを利用して、前記第1変調済みの学習データに対してネットワーク演算を適用させて(i-2)前記第1変調済みの学習データに対する第1_1特性情報を出力させ、(ii)前記学習データを前記第1ラーニングネットワークに入力して、前記第1ラーニングネットワークをもって(ii-1)前記第1学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて(ii-2)前記学習データに対する第2_1特性情報を出力させ、
前記(III)プロセスで、
前記プロセッサは、(i)(i-1)前記第1_1特性情報と前記第2_1特性情報とを参照して取得された少なくとも一つの第(1_1)_1エラーと、(i-2)(i-2a)前記第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、(i-2b)
前記第1タスク特定出力に対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーとのうち少なくとも一部を参照して取得された少なくとも一つの第1_1エラーを最小化し、(ii)前記判別器に入力された前記第1変調済みの学習データに対応する少なくとも一つの第1変調済みの学習データスコアである少なくとも一つの第2_1エラーを最大化するように、前記変調ネットワークを学習して、前記変調ネットワークが第1学習された変調ネットワークになるようにし、前記プロセスは、(i)前記判別器に入力された前記変換学習データまたは前記変調済みの変換学習データに対応する少なくとも一つの第1変換学習データスコアまたは少なくとも一つの第1変調済みの変換学習データスコアを最大化し、(ii)前記第1変調済みの学習データスコアを最小化するように、前記判別器を学習して前記判別器が第1学習された判別器になるようにし、
前記プロセッサは、整数であるkを2からnまで増加させていき、(i)前記学習データを第k-1学習された変調ネットワークに入力して、前記第k-1学習された変調ネットワークをもって前記学習データを変調させて第k変調済みの学習データを生成させ、(ii)(ii-1)前記第k変調済みの学習データを第kラーニングネットワークに入力して、前記第kラーニングネットワークをもって前記第kラーニングネットワークの少なくとも一つの第k学習されたパラメータを利用して、前記第k変調済みの学習データに対してネットワーク演算を適用させて前記第k変調済みの学習データに対する第1_k特性情報を出力させ、(ii-2)前記学習データを前記第kラーニングネットワークに入力して、前記第kラーニングネットワークをもって前記第k学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて前記学習データに対する第2_k特性情報を出力させ、(iii)(iii-1)前記第1_k特性情報と前記第2_k特性情報とを参照して取得された少なくとも一つの第(1_1)_kエラーと、(iii-2)前記第1_k特性情報を利用して生成された少なくとも一つの第kタスク特定出力と、
前記第kタスク特定出力に対応する少なくとも一つの第k原本正解とを参照して取得された少なくとも一つの第(1_2)_kエラーとのうち少なくとも一部を参照して算出された少なくとも一つの第1_kエラーを最小化し、前記第
k-1学習された判別器に入力された前記第k変調済みの学習データに対応する少なくとも一つの第k変調済みの学習データスコアである少なくとも一つの第2_kエラーを最大化するように、第k-1学習された変調ネットワークを学習して、前記第k-1学習された変調ネットワークが第k学習された変調ネットワークになるようにし、(iv)前記第k-1学習された判別器に入力された前記変換学習データまたは前記変調済みの変換学習データに対応する少なくとも一つの第k変換学習データスコアまたは少なくとも一つの第k変調済みの変換学習データスコアを最大化し、前記第k変調済みの学習データスコアを最小化するように、前記第k-1学習された判別器を学習して、前記第k-1学習された判別器が第k学習された判別器になるようにする請求項18に記載の学習装置。
【請求項21】
前記判別器に入力された前記変換学習データまたは前記変調済みの変換学習データに対応する前記変換学習データスコアまたは前記変調済みの変換学習データスコアの最大値は、それぞれ前記変換学習データまたは前記変調済みの変換学習データを本物であるものと判別する1であり、前記判別器に入力された前記変調済みの学習データに対応する前記変調済みの学習データスコアの最小値は、前記変調済みの学習データを偽物であるものと判別する0である請求項18に記載の学習装置。
【請求項22】
前記(III)プロセスで、
前記プロセッサは、(i)前記第1特性情報と前記第2特性情報との間の差異と、(ii)前記タスク特定出力と前記原本正解との間の少なくとも一つの差異とのうち少なくとも一部を参照して前記第1エラーを取得し、前記学習データと前記変調済みの学習データとの間の少なくとも一つの差異により前記第2エラーを取得する請求項15に記載の学習装置。
【請求項23】
前記プロセッサは、前記第1特性情報と前記第2特性情報との間のノルム(Norm)またはコサイン類似度(Cosine Similarity)を参照して前記第1エラーを取得する請求項22に記載の学習装置。
【請求項24】
前記(III)プロセスで、
前記プロセッサは、前記変調済みの学習データのエントロピー、ノイズ程度のうち少なくとも一部を参照して少なくとも一つのクオリティ(Quality)を測定し、測定された前記クオリティを参照して前記第1エラーを取得する請求項15に記載の学習装置。
【請求項25】
個人情報保護のために原本データをコンシーリング処理する変調ネットワーク(0bfuscation Network)を学習するテスト装置において、
インストラクションを格納する少なくとも一つのメモリと、
(I)学習装置が、(i)学習データを取得し、
前記学習データを変調ネットワークに入力して、前記変調ネットワークをもって前記学習データを変調させて変調済みの学習データを生成させるプロセス、(ii)前記変調済みの学習データを少なくとも一つの学習されたパラメータを有するラーニングネットワークに入力して、前記ラーニングネットワークをもって(ii-1)前記学習されたパラメータを利用して、前記変調済みの学習データに対してネットワーク演算を適用させて(ii-2)前記変調済みの学習データに対応する第1特性情報を生成させるプロセス、(iii)前記学習データを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって(iii-1)前記学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて(iii-2)前記学習データに対応する第2特性情報を生成させるプロセス、及び(iv)(iv-1)(iv-1a)前記第1特性情報と前記第2特性情報とを参照して取得された少なくとも一つの第1_1エラーと、(iv-1b)前記第1特性情報を利用して生成された少なくとも一つのタスク特定出力と、
前記タスク特定出力に対応する少なくとも一つの原本正解(Ground Truth)とを参照して取得された少なくとも一つの第1_2エラーとのうち少なくとも一部を参照して算出された少なくとも一つの第1エラーを最小化し、(iv-2)前記学習データと前記変調済みの学習データとを参照して算出された少なくとも一つの第2エラーを最大化するように、前記変調ネットワークを学習するプロセスを遂行した状態で、テストデータを取得するプロセスを遂行するプロセス;及び(II)前記テストデータを前記変調ネットワークに入力して、前記変調ネットワークをもって前記変調ネットワークの前記学習されたパラメータを利用して、前記テストデータを変調させて変調済みのテストデータをコンシーリング処理されたテストデータとして出力するプロセスを遂行するための前記インストラクションを実行するか、他の装置をもって実行するように構成された少なくとも一つのプロセッサと、
を含むテスト装置。
【請求項26】
前記(I)プロセスで、
前記ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、nは1以上の整数である場合、
前記学習装置が、(i)前記変調済みの学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(i-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記変調済みの学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(i-2)前記変調済みの学習データに対するそれぞれの第1_1特性情報ないし第1_n特性情報を出力させるプロセス、(ii)前記学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(ii-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(ii-2)前記学習データに対するそれぞれの第2_1特性情報ないし第2_n特性情報を出力させるプロセス、(iii)(iii-1)(iii-1a)前記第1_1特性情報と前記第2_1特性情報とを参照して取得された第(1_1)_1エラーないし前記第1_n特性情報と前記第2_n特性情報とを参照して取得された第(1_1)_nエラーの平均である前記第1_1エラーと、(iii-1b)前記第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、
前記第1タスク特定出力に対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーないし前記第1_n特性情報を利用して生成された少なくとも一つの第nタスク特定出力と、
第nタスク特定出力に対応する少なくとも一つの第n原本正解とを参照して取得された第(1_2)_nエラーの平均である前記第1_2エラーとのうち少なくとも一部を参照して算出された前記第1エラーを最小化し、(iii-2)前記学習データと前記変調済みの学習データとを参照して算出された前記第2エラーを最大化するように、前記変調ネットワークを学習するプロセスを遂行する請求項25に記載のテスト装置。
【請求項27】
前記(I)プロセスで、
前記学習装置が、(i)入力されるデータが本物であるか偽物であるかを判別する判別器に入力された前記変調済みの学習データに対応する少なくとも一つの変調済みの学習データスコアを前記第2エラーとして取得し、(ii)前記第1エラーを最小化し、前記第2エラーを最大化するように、前記変調ネットワークを学習させるとともに、(iii)前記判別器に入力された変換学習データまたは変調済みの変換学習データにそれぞれ対応する少なくとも一つの変換学習データスコアまたは少なくとも一つの変調済みの変換学習データスコアを最大化し、前記変調済みの学習データスコアを最小化するように、前記判別器を学習し、前記変換学習データまたは前記変調済みの変換学習データは、それぞれ前記学習データまたは前記変調済みの学習データを変換して生成されたデータである請求項25に記載のテスト装置。
【請求項28】
前記(I)プロセスで、
前記ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、nは1以上の整数である場合、
前記学習装置が、(i)前記変調済みの学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(i-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記変調済みの学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(i-2)前記変調済みの学習データに対するそれぞれの第1_1特性情報ないし第1_n特性情報を出力させるプロセス、(ii)前記学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(ii-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(ii-2)前記学習データに対するそれぞれの第2_1特性情報ないし第2_n特性情報を出力させるプロセス、(iii)(iii-1)(iii-1a)前記第1_1特性情報と前記第2_1特性情報とを参照して取得された第(1_1)_1エラーないし前記第1_n特性情報と前記第2_n特性情報とを参照して取得された第(1_1)_nエラーの平均である前記第1_1エラーと、(iii-1b)前記第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、
前記第1タスク特定出力に対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーないし前記第1_n特性情報を利用して生成された少なくとも一つの第nタスク特定出力と、
前記第nタスク特定出力に対応する少なくとも一つの第n原本正解とを参照して取得された第(1_2)_nエラーの平均である前記第1_2エラーとのうち少なくとも一部を参照して算出された前記第1エラーを最小化し、(iii-2)前記判別器に入力された前記変調済みの学習データに対応する前記変換学習データスコアである前記第2エラーを最大化するように、前記変調ネットワークを学習するプロセス、及び(iv)前記判別器に入力された前記変換学習データまたは前記変調済みの変換学習データにそれぞれ対応する前記変換学習データスコアまたは前記変調済みの変換学習データスコアを最大化し、前記変換学習データスコアを最小化するように、前記判別器を学習するプロセスを遂行する請求項27に記載のテスト装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、個人情報保護のために原本データをコンシーリング(Concealing)処理する変調ネットワークを学習する方法、及びこれを利用した学習装置、並びに個人情報保護のために原本データをコンシーリング処理するために学習された変調ネットワークをテストする方法、及びこれを利用したテスト装置に関する。
【背景技術】
【0002】
ビッグデータ(Big Data)とは、既存の企業環境や公共機関で使用される定型化されたデータはもちろん、電子商取引データ、メタデータ、ウェブログデータ、無線識別(RFID: Radio Frequency Identification)データ、センサーネットワークデータ、ソーシャルネットワークデータ、インターネットテキストと文書に関するデータ、インターネット検索インデックスデータなど、従来に未だ未活用であった非定型化または半定型化されたデータを全て含むデータであって、このようなデータは、一般的に通常のソフトウェアツール及びコンピュータシステムでは扱いにくい水準のデータ量を有するようになるという意味でビッグデータと称されている。
【0003】
また、このようなビッグデータは、それ自体のみでは意味がないことがあるが、パターンなどに対する機械学習を通じて多様な分野で新しいデータを作り出したり、判断または予測するのに有用に使用され得る。
【0004】
近年、個人情報保護法の強化等により、このようなビッグデータを取引または共有するためには、当該データの個人識別が可能な情報を削除したり当該個人の同意を得ることが要求される。しかし、相当な量のビッグデータのうち、個人識別が可能な情報があるか否かを一々確認することも難しいだけでなく、個人の同意を一々得ることも不可能であったため、これを支援するための多様な技術が登場している。
【0005】
これに関する従来技術の一例として、韓国登録特許公報第1861520号に開示されている技術が例に挙げられるが、これによると、変形対象入力イメージにおいて人の顔領域を検出する検出段階、前記入力イメージにおいて人がコンシーリングされるように前記検出された顔領域を人の顔の形状ではなく歪んだ第1イメージに変形する第1コンシーリング化段階、及び前記第1イメージに基づいて予め設定された顔の形状を有する第2イメージを生成し、前記入力イメージにおいて前記第1イメージを前記第2イメージに変形させ、前記第2イメージは、前記検出段階で検出された顔領域の形状と異なる顔の形状を有するように生成される第2コンシーリング段階を含む顔-コンシーリング化方法が提供される。
【0006】
しかしながら、上記のような技術をはじめとして、従来の技術によると、データ上に顔、テキストなどの識別情報を含むか否かを確認し、識別情報に該当する部分をマスキング(Masking)またはブラー(Blur)処理して消したり、隠す方式であったため、原本データの損傷により機械学習で使用するのが難しく、データ上に不測の識別情報が含まれるため、これをコンシーリング化(例えば、非識別)することができない場合もしばしば発生していた。特に、従来のセキュリティカメラ(Security Camera)は、映像イメージ内にフレーム間の変化のあるすべてのピクセルをブラー処理する方式で非識別処理を遂行するようになるが、このような方法で非識別処理を遂行するようになると、非識別された顔の表情などの主要な情報が、原本映像イメージに収められている情報と異なるようになるだけでなく、顔の検出過程で漏れた個人識別情報が原本映像イメージ上にそのまま残るようになる問題があった。また、ブラー処理された映像イメージは、従来の映像デブラーリング(Deblurring)技術のうちの一つを利用して原状復帰することもあり得る。
【0007】
よって、本発明者らは、原本データと異なるように変調(0bfuscation)されて変調済みのデータを生成し、機械学習モデルに原本データが入力されて出力される結果と、当該機械学習モデルに上記の変調済みのデータが入力されて出力される結果が互いに同一又は類似するようになる技術を提案する。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、前述の従来技術の問題点をすべて解決することをその目的とする。
【0009】
また、本発明は、データ内で個人識別情報を探し出す作業が要求されないため、簡単であり、かつ正確にコンシーリング(Concealing)作業を遂行することができるようにすることをまた他の目的とする。
【0010】
そして、本発明は、原本データから非可逆的に変調(0bfuscation)してコンシーリング処理済みのデータを生成することによって、原本データのセキュリティ及びプライバシーを守り得ることをまた他の目的とする。
【0011】
また、本発明は、人間にとっては異なるように見えるデータであるものの、コンピュータには互いに同一又は類似するように見えるデータを生成することをまた他の目的とする。
【0012】
さらに、本発明は、ビッグデータの取引市場をより活性化させることをまた他の目的とする。
【課題を解決するための手段】
【0013】
前記目的を達成するための本発明の代表的な構成は、以下のとおりである。
【0014】
本発明の一態様によると、個人情報保護のために、原本データをコンシーリング(Concealing)処理する変調ネットワーク(0bfuscation Network)を学習する方法において、(a)学習データが取得されると、学習装置が、前記学習データを変調ネットワークに入力して、前記変調ネットワークをもって前記学習データを変調させて変調済みの学習データを生成させる段階;(b)前記学習装置が、(i)前記変調済みの学習データを少なくとも一つの学習されたパラメータを有するラーニングネットワークに入力して、前記ラーニングネットワークをもって(i-1)前記学習されたパラメータを利用して、前記変調済みの学習データに対してネットワーク演算を適用させて(i-2)前記変調済みの学習データに対応する第1特性情報(Characteristic Information)を生成させ、(ii)前記学習データを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって(ii-1)前記学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて(ii-2)前記学習データに対応する第2特性情報を生成させる段階;及び、(c)前記学習装置が、(i)(i-1)前記第1特性情報と前記第2特性情報とを参照して取得された少なくとも一つの第1_1エラーと、(i-2)前記第1特性情報を利用して生成されたタスク特定出力(Task Specific Output)と、これに対応する少なくとも一つの原本正解(Ground Truth)とを参照して取得された少なくとも一つの第1_2エラーとのうち少なくとも一部を参照して算出された少なくとも一つの第1エラーを最小化し、(ii)前記学習データと前記変調済みの学習データとを参照して算出された少なくとも一つの第2エラーを最大化するように、前記変調ネットワークを学習する段階;を含む。
【0015】
一実施例において、前記ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、前記nは1以上の整数(integer)である場合、前記(b)段階で、前記学習装置は、(i)前記変調済みの学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれをもって、(i-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記変調済みの学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(i-2)前記変調済みの学習データに対するそれぞれの第1_1特性情報ないし第1_n特性情報を出力させ、(ii)前記学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(ii-1)それぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(ii-2)前記学習データに対するそれぞれの第2_1特性情報ないし第2_n特性情報を出力させ、前記(c)段階で、前記学習装置は、(i)(i-1)前記第1_1特性情報と前記第2_1特性情報とを参照して取得された第(1_1)_1エラーないし前記第1_n特性情報と前記第2_n特性情報とを参照して取得された第(1_1)_nエラーの平均である前記第1_1エラーと、(i-2)(i-2a)前記1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、(i-2b)これに対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーないし(i-2a)前記第1_n特性情報を利用して生成された少なくとも一つの第nタスク特定出力と、(i-2b)これに対応する少なくとも一つの第n原本正解とを参照して取得された第(1_2)_nエラーの平均である前記第1_2エラーとのうち少なくとも一部を参照して算出された前記第1エラーを最小化し、(ii)前記学習データと前記変調済みの学習データとを参照して算出された前記第2エラーを最大化するように、前記変調ネットワークを学習する。
【0016】
一実施例において、前記ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、前記nは1以上の整数である場合、前記(a)段階で、前記学習装置は、前記学習データを前記変調ネットワークに入力して、前記変調ネットワークをもって前記学習データを変調させて第1変調済みの学習データを生成させ、前記(b)段階で、前記学習装置は、(i)前記第1変調済みの学習データを前記第1ラーニングネットワークに入力して、前記第1ラーニングネットワークをもって(i-1)前記第1ラーニングネットワークの前記第1学習されたパラメータを利用して、前記第1変調済みの学習データに対してネットワーク演算を適用させて(i-2)前記第1変調済みの学習データに対する第1_1特性情報を出力させ、(ii)前記学習データを前記第1ラーニングネットワークに入力して、前記第1ラーニングネットワークをもって(ii-1)前記第1学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて(ii-2)前記学習データに対する第2_1特性情報を出力させ、前記(c)段階で、前記学習装置は、(i)(i-1)前記第1_1特性情報と前記第2_1特性情報とを参照して取得された少なくとも一つの第(1_1)_1エラーと、(i-2)前記第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、これに対応する少なくとも一つの第1原本正解とを参照して取得された少なくとも一つの第(1_2)_1エラーとのうち少なくとも一部を参照して取得された少なくとも一つの第1_1エラーを最小化し、(ii)前記学習データと前記第1変調済みの学習データとを参照して算出された少なくとも一つの第2_1エラーを最大化するように、前記変調ネットワークを学習させて前記変調ネットワークが第1学習された変調ネットワークになるようにし、前記学習装置は、整数であるkを2からnまで増加させていき、(i)前記学習データを前記第k-1学習された変調ネットワークに入力して、前記第k-1学習された変調ネットワークをもって前記学習データを変調させて第k変調済みの学習データを生成させ、(ii)(ii-1)前記第k変調済みの学習データを第kラーニングネットワークに入力して、前記第kラーニングネットワークをもって前記第kラーニングネットワークの少なくとも一つの第k学習されたパラメータを利用して、前記第k変調済みの学習データに対してネットワーク演算を適用させて前記第k変調済みの学習データに対する第1_k特性情報を出力させ、(ii-2)前記学習データを前記第kラーニングネットワークに入力して、前記第kラーニングネットワークをもって前記第k学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて前記学習データに対する第2_k特性情報を出力させ、(iii)(iii-1)(iii-1a)前記第1_k特性情報と前記第2_k特性情報とを参照して取得された少なくとも一つの第(1_1)_kエラーと、(iii-1b)前記第1_k特性情報を利用して生成された少なくとも一つの第kタスク特定出力と、これに対応する少なくとも一つの第k原本正解とをさらに参照して取得された少なくとも一つの第(1_2)_kエラーとのうち少なくとも一部を参照して算出された少なくとも一つの第1_kエラーを最小化し、(iii-2)前記学習データと前記第k変調済みの学習データとを参照して算出された少なくとも一つの第2_kエラーを最大化するように、前記第k-1学習された変調ネットワークを学習して、前記k-1学習された変調ネットワークが第k学習された変調ネットワークになるようにする。
【0017】
一実施例において、前記(c)段階で、入力されるデータが本物であるか偽物であるかを判別する判別器(Discriminator)に入力された前記変調済みの学習データに対応する少なくとも一つの変調済みの学習データスコア(0bfuscated Training Data Score)を前記第2エラーとして取得した状態で、前記学習装置は、(i)前記第1エラーを最小化し、前記第2エラーを最大化するように、前記変調ネットワークを学習するとともに、(ii)前記判別器に入力された変換学習データまたは変調済みの変換学習データに対応する少なくとも一つの変換学習データスコアまたは少なくとも一つの変調済みの変換学習データスコアを最大化し、前記変調済みの学習データスコアを最小化するように、前記判別器を学習し、前記変換学習データまたは前記変調済みの変換学習データは、それぞれ前記学習データまたは前記変調済みの学習データを変換したデータである。
【0018】
一実施例において、前記ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、前記nは1以上の整数である場合、前記(b)段階で、前記学習装置は、(i)前記変調済みの学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(i-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記変調済みの学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(i-2)前記変調済みの学習データに対するそれぞれの第1_1特性情報ないし第1_n特性情報を出力させ、(ii)前記学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(ii-1)それぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(ii-2)前記学習データに対するそれぞれの第2_1特性情報ないし第2_n特性情報を出力させ、前記(c)段階で、前記学習装置は、(i)(i-1)前記第1_1特性情報と前記第2_1特性情報とを参照して取得した第(1_1)_1エラーないし前記第1_n特性情報と前記第2_n特性情報とを参照して取得した第(1_1)_nエラーの平均である前記第1_1エラーと、(i-2)(i-2a)前記1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と(i-2b)これに対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーないし(i-2a)前記第1_n特性情報を利用して生成された少なくとも一つの第nタスク特定出力と、(i-2b)これに対応する第n原本正解とを参照して取得された第(1_2)_nエラーの平均である前記第1_2エラーとのうち少なくとも一部を参照して算出された前記第1エラーを最小化し、前記判別器に入力された前記変調済みの学習データに対応する前記変調済みの学習データスコアである前記第2エラーを最大化するように、前記変調ネットワークを学習し、(ii)前記判別器に入力された前記変換学習データまたは前記変調済みの変換学習データに対応する前記変換学習データスコアまたは前記変調済みの変換学習データスコアを最大化し、前記変調済みの学習データスコアを最小化するように、前記判別器を学習する。
【0019】
一実施例において、前記ラーニングネットワークは、それぞれ第1学習されたパラメータないし第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、前記nは1以上の整数である場合、前記(a)段階で、前記学習装置は、前記学習データを前記変調ネットワークに入力して、前記変調ネットワークをもって前記学習データを変調させて第1変調済みの学習データを生成させ、前記(b)段階で、前記学習装置は、(i)前記第1変調済みの学習データを前記第1ラーニングネットワークに入力して、前記第1ラーニングネットワークをもって(i-1)前記第1ラーニングネットワークの前記第1学習されたパラメータを利用して、前記第1変調済みの学習データに対してネットワーク演算を適用させて(i-2)前記第1変調済みの学習データに対する第1_1特性情報を出力させ、(ii)前記学習データを前記第1ラーニングネットワークに入力して、前記第1ラーニングネットワークをもって(ii-1)前記第1学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて(ii-2)前記学習データに対する第2_1特性情報を出力させ、前記(c)段階で、前記学習装置は、(i)(i-1)前記第1_1特性情報と前記第2_1特性情報とを参照して取得された少なくとも一つの第(1_1)_1エラーと、(i-2)(i-2a)前記第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、(i-2b)これに対応する少なくとも一つの第1原本正解とを参照して取得された少なくとも一つの第(1_2)_1エラーとのうち少なくとも一部を参照して取得された少なくとも一つの第1_1エラーを最小化し、(ii)前記判別器に入力された前記第1変調済みの学習データに対応する少なくとも一つの第1変調済みの学習データスコアである少なくとも一つの第2_1エラーを最大化するように、前記変調ネットワークを学習して、前記変調ネットワークが第1学習された変調ネットワークになるようにし、前記学習装置は、(i)前記判別器に入力された前記変換学習データまたは前記変調済みの変換学習データに対応する少なくとも一つの第1変換学習データスコアまたは少なくとも一つの第1変調済みの変換学習データスコアを最大化し、(ii)前記第1変調済みの学習データスコアを最小化するように、前記判別器を学習して前記判別器が第1学習された判別器になるようにし、前記学習装置は、整数であるkを2からnまで増加させていき、(i)前記学習データを前記第k-1学習された変調ネットワークに入力して、前記第k-1学習された変調ネットワークをもって前記学習データを変調させて第k変調済みの学習データを生成させ、(ii)(ii-1)前記第k変調済みの学習データを第kラーニングネットワークに入力して、前記第kラーニングネットワークをもって前記第kラーニングネットワークの少なくとも一つの第k学習されたパラメータを利用して、前記第k変調済みの学習データに対してネットワーク演算を適用させて前記第k変調済みの学習データに対する第1_k特性情報を出力させ、(ii-2)前記学習データを前記第kラーニングネットワークに入力して、前記第kラーニングネットワークをもって前記第k学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて前記学習データに対する第2_k特性情報を出力させ、(iii)(iii-1)前記第1_k特性情報と前記第2_k特性情報とを参照して取得された少なくとも一つの第(1_1)_kエラーと、(iii-2)前記第1_k特性情報を利用して生成された少なくとも一つの第kタスク特定出力と、これに対応する少なくとも一つの第k原本正解とを参照して取得された少なくとも一つの第(1_2)_kエラーとのうち少なくとも一部を参照して算出された少なくとも一つの第1_kエラーを最小化し、前記第k_1学習された判別器に入力された前記第k変調済みの学習データに対応する少なくとも一つの第k変調済みの学習データスコアである少なくとも一つの第2_kエラーを最大化するように、第k-1学習された変調ネットワークを学習して、前記第k-1学習された変調ネットワークが第k学習された変調ネットワークになるようにし、(iv)前記第k-1学習された判別器に入力された前記変換学習データまたは前記変調済みの変換学習データに対応する少なくとも一つの第k変換学習データスコアまたは少なくとも一つの第k変調済みの変換学習データスコアを最大化し、前記第k変調済みの学習データスコアを最小化するように、前記第k-1学習された判別器を学習して、前記第k-1学習された判別器が第k学習された判別器になるようにする。
【0020】
一実施例において、前記判別器に入力された前記変換学習データまたは前記変調済みの変換学習データに対応する前記変換学習データスコアまたは前記変調済みの変換学習データスコアの最大値は、それぞれ前記変換学習データまたは前記変調済みの変換学習データを本物であるものと判別する1であり、前記判別器に入力された前記変調済みの学習データに対応する前記変調済みの学習データスコアの最小値は、前記変調済みの学習データを偽物であるものと判別する0である。
【0021】
一実施例において、前記(c)段階で、前記学習装置は、(i)前記第1特性情報と前記第2特性情報との間の差異と、(ii)前記タスク特定出力と前記原本正解との間の少なくとも一つの差異とのうち少なくとも一部を参照して前記第1エラーを取得し、前記学習データと前記変調済みの学習データとの間の少なくとも一つの差異により前記第2エラーを取得する。
【0022】
一実施例において、前記学習装置は、前記第1特性情報と前記第2特性情報との間のノルム(Norm)またはコサイン類似度(Cosine Similarity)を参照して前記第1エラーを取得する。
【0023】
一実施例において、前記(c)段階で、前記学習装置は、前記変調済みの学習データのエントロピー、ノイズ程度のうち少なくとも一部を参照して少なくとも一つのクオリティ(Quality)を測定し、測定された前記クオリティを参照して前記第1エラーを取得する。
【0024】
本発明の他の態様によると、個人情報保護のために、原本データをコンシーリング処理する変調ネットワーク(0bfuscation Network)を学習するテスト方法において、(a)学習装置が、(i)学習データを取得し、これを変調ネットワークに入力して、前記変調ネットワークをもって前記学習データを変調させて変調済みの学習データを生成させるプロセス、(ii)前記変調済みの学習データを少なくとも一つの学習されたパラメータを有する前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって(ii-1)前記学習されたパラメータを利用して、前記変調済みの学習データに対してネットワーク演算を適用させて(ii-2)前記変調済みの学習データに対応する第1特性情報を生成させるプロセス、(iii)前記学習データを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって(iii-1)前記学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて(iii-2)前記学習データに対応する第2特性情報を生成させるプロセス、及び(iv)(iv-1)(iv-1a)前記第1特性情報と前記第2特性情報とを参照して取得された少なくとも一つの第1_1エラーと、(iv-1b)前記第1特性情報を利用して生成された少なくとも一つのタスク特定出力と、これに対応する少なくとも一つの原本正解(Ground Truth)とを参照して取得された少なくとも一つの第1_2エラーとのうち少なくとも一部を参照して算出された少なくとも一つの第1エラーを最小化し、(iv-2)前記学習データと前記変調済みの学習データとを参照して算出された少なくとも一つの第2エラーを最大化するように、前記変調ネットワークを学習するプロセスを遂行した状態で、テスト装置が、テストデータを取得するプロセスを遂行する段階;及び(b)前記テスト装置が、前記テストデータを前記変調ネットワークに入力して、前記変調ネットワークをもって前記変調ネットワークの前記学習されたパラメータを利用して、前記テストデータを変調させて変調済みのテストデータをコンシーリング処理されたテストデータとして出力する。
【0025】
一実施例において、前記(a)段階で、前記ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、前記nは1以上の整数である場合、前記学習装置が、(i)前記変調済みの学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(i-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記変調済みの学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(i-2)前記変調済みの学習データに対するそれぞれの第1_1特性情報ないし第1_n特性情報を出力させるプロセス、(ii)前記学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(ii-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(ii-2)前記学習データに対するそれぞれの第2_1特性情報ないし第2_n特性情報を出力させるプロセス、(iii)(iii-1)(iii-1a)前記第1_1特性情報と前記第2_1特性情報とを参照して取得された第(1_1)_1エラーないし前記第1_n特性情報と前記第2_n特性情報とを参照して取得された第(1_1)_nエラーの平均である前記第1_1エラーと、(iii-1b)前記第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、これに対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーないし前記第1_n特性情報を利用して生成された少なくとも一つの第nタスク特定出力と、これに対応する少なくとも一つの第n原本正解とを参照して取得された第(1_2)_nエラーの平均である前記第1_2エラーとのうち少なくとも一部を参照して算出された前記第1エラーを最小化し、(iii-2)前記学習データと前記変調済みの学習データとを参照して算出された前記第2エラーを最大化するように、前記変調ネットワークを学習するプロセスを遂行する。
【0026】
一実施例において、前記(a)段階で、前記学習装置が、(i)入力されるデータが本物であるか偽物であるかを判別する判別器に入力された前記変調済みの学習データに対応する少なくとも一つの変調済みの学習データスコアを前記第2エラーとして取得し、(ii)前記第1エラーを最小化し、前記第2エラーを最大化するように、前記変調ネットワークを学習させるとともに、(iii)前記判別器に入力された変換学習データまたは変調済みの変換学習データにそれぞれ対応する少なくとも一つの変換学習データスコアまたは少なくとも一つの変調済みの変換学習データスコアを最大化し、前記変調済みの学習データスコアを最小化するように、前記判別器を学習し、前記変換学習データまたは前記変調済みの変換学習データは、それぞれ前記学習データまたは前記変調済みの学習データを変換して生成されたデータである。
【0027】
一実施例において、前記(a)段階で、前記ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、前記nは1以上の整数である場合、前記学習装置が、(i)前記変調済みの学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(i-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記変調済みの学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(i-2)前記変調済みの学習データに対するそれぞれの第1_1特性情報ないし第1_n特性情報を出力させるプロセス、(ii)前記学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(ii-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(ii-2)前記学習データに対するそれぞれの第2_1特性情報ないし第2_n特性情報を出力させるプロセス、(iii)(iii-1)(iii-1a)前記第1_1特性情報と前記第2_1特性情報とを参照して取得された第(1_1)_1エラーないし前記第1_n特性情報と前記第2_n特性情報とを参照して取得された第(1_1)_nエラーの平均である前記第1_1エラーと、(iii-1b)前記第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、これに対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーないし前記第1_n特性情報を利用して生成された少なくとも一つの第nタスク特定出力と、これに対応する少なくとも一つの第n原本正解とを参照して取得された第(1_2)_nエラーの平均である前記第1_2エラーとのうち少なくとも一部を参照して算出された前記第1エラーを最小化し、(iii-2)前記判別器に入力された前記変調済みの学習データに対応する前記変換学習データスコアである前記第2エラーを最大化するように、前記変調ネットワークを学習するプロセス、及び(iv)前記判別器に入力された前記変換学習データまたは前記変調済みの変換学習データにそれぞれ対応する前記変換学習データスコアまたは前記変調済みの変換学習データスコアを最大化し、前記変換学習データスコアを最小化するように、前記判別器を学習するプロセスを遂行する。
【0028】
本発明のまた他の態様によると、個人情報保護のために、原本データをコンシーリング処理する変調ネットワーク(0bfuscation Network)を学習する学習装置において、インストラクションを格納する少なくとも一つのメモリと、(I)学習データが取得されると、前記学習データを変調ネットワークに入力して、前記変調ネットワークをもって前記学習データを変調させて変調済みの学習データを生成させるプロセス;(II)(i)前記変調済みの学習データを少なくとも一つの学習されたパラメータを有するラーニングネットワークに入力して、前記ラーニングネットワークをもって(i-1)前記学習されたパラメータを利用して、前記変調済みの学習データに対してネットワーク演算を適用させて(i-2)前記変調済みの学習データに対応する第1特性情報(Characteristic Information)を生成させ、(ii)前記学習データを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって(ii-1)前記学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて(ii-2)前記学習データに対応する第2特性情報を生成させるプロセス;及び(III)(i)(i-1)前記第1特性情報と前記第2特性情報とを参照して取得された少なくとも一つの第1_1エラーと、(i-2)前記第1特性情報を利用して生成されたタスク特定出力(Task Specific Output)と、少なくとも一つの原本正解(Ground Truth)とを参照して取得された少なくとも一つの第1_2エラーとのうち少なくとも一部を参照して算出された少なくとも一つの第1エラーを最小化し、(ii)前記学習データと前記変調済みの学習データとを参照して算出された少なくとも一つの第2エラーを最大化するように、前記変調ネットワークを学習するプロセス;を遂行するための前記インストラクションを実行するか、他の装置をもって実行するように構成された少なくとも一つのプロセッサと、を含む。
【0029】
一実施例において、前記ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、前記nは1以上の整数である場合、前記(II)プロセスで、前記プロセッサは、(i)前記変調済みの学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれをもって、(i-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記変調済みの学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(i-2)前記変調済みの学習データに対するそれぞれの第1_1特性情報ないし第1_n特性情報を出力させ、(ii)前記学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(ii-1)それぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(ii-2)前記学習データに対するそれぞれの第2_1特性情報ないし第2_n特性情報を出力させ、前記(III)プロセスで、前記プロセッサは、(i)(i-1)前記第1_1特性情報と前記第2_1特性情報とを参照して取得された第(1_1)_1エラーないし前記第1_n特性情報と前記第2_n特性情報とを参照して取得された第(1_1)_nエラーの平均である前記第1_1エラーと、(i-2)前記1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、これに対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーないし前記第1_n特性情報を利用して生成された少なくとも一つの第nタスク特定出力と、これに対応する少なくとも一つの第n原本正解とを参照して取得された第(1_2)_nエラーの平均である前記第1_2エラーとのうち少なくとも一部を参照して算出された前記第1エラーを最小化し、(ii)前記学習データと前記変調済みの学習データとを参照して算出された前記第2エラーを最大化するように、前記変調ネットワークを学習する。
【0030】
一実施例において、前記ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、前記nは1以上の整数である場合、前記(I)プロセスで、前記プロセッサは、前記学習データを前記変調ネットワークに入力して、前記変調ネットワークをもって前記学習データを変調させて第1変調済みの学習データを生成させ、前記(II)プロセスで、前記プロセッサは、(i)前記第1変調済みの学習データを前記第1ラーニングネットワークに入力して、前記第1ラーニングネットワークをもって(i-1)前記第1ラーニングネットワークの前記第1学習されたパラメータを利用して、前記第1変調済みの学習データに対してネットワーク演算を適用させて(i-2)前記第1変調済みの学習データに対する第1_1特性情報を出力させ、(ii)前記学習データを前記第1ラーニングネットワークに入力して、前記第1ラーニングネットワークをもって(ii-1)前記第1学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて(ii-2)前記学習データに対する第2_1特性情報を出力させ、前記(III)プロセスで、前記プロセッサは、(i)(i-1)前記第1_1特性情報と前記第2_1特性情報とを参照して取得された少なくとも一つの第(1_1)_1エラーと、(i-2)前記第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、これに対応する少なくとも一つの第1原本正解とを参照して取得された少なくとも一つの第(1_2)_1エラーとのうち少なくとも一部を参照して取得された少なくとも一つの第1_1エラーを最小化し、(ii)前記学習データと前記第1変調済みの学習データとを参照して算出された少なくとも一つの第2_1エラーを最大化するように、前記変調ネットワークを学習させて前記変調ネットワークが第1学習された変調ネットワークになるようにし、前記プロセッサは、整数であるkを2からnまで増加させていき、(i)前記学習データを前記第k-1学習された変調ネットワークに入力して、前記第k-1学習された変調ネットワークをもって前記学習データを変調させて第k変調済みの学習データを生成させ、(ii)(ii-1)前記第k変調済みの学習データを第kラーニングネットワークに入力して、前記第kラーニングネットワークをもって前記第kラーニングネットワークの少なくとも一つの第k学習されたパラメータを利用して、前記第k変調済みの学習データに対してネットワーク演算を適用させて前記第k変調済みの学習データに対する第1_k特性情報を出力させ、(ii-2)前記学習データを前記第kラーニングネットワークに入力して、前記第kラーニングネットワークをもって前記第k学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて前記学習データに対する第2_k特性情報を出力させ、(iii)(iii-1)(iii-1a)前記第1_k特性情報と前記第2_k特性情報とを参照して取得された少なくとも一つの第(1_1)_kエラーと、(iii-1b)前記第1_k特性情報を利用して生成された少なくとも一つの第kタスク特定出力と、これに対応する少なくとも一つの第k原本正解とをさらに参照して取得された少なくとも一つの第(1_2)_kエラーとのうち少なくとも一部を参照して算出された少なくとも一つの第1_kエラーを最小化し、(iii-2)前記学習データと前記第k変調済みの学習データとを参照して算出された少なくとも一つの第2_kエラーを最大化するように、前記第k-1学習された変調ネットワークを学習して、前記k-1学習された変調ネットワークが第k学習された変調ネットワークになるようにする。
【0031】
一実施例において、前記(III)プロセスで、入力されるデータが本物であるか偽物であるかを判別する判別器(Discriminator)に入力された前記変調済みの学習データに対応する少なくとも一つの変調済みの学習データスコア(0bfuscated Training Data Score)を前記第2エラーとして取得した状態で、前記プロセッサは、(i)前記第1エラーを最小化し、前記第2エラーを最大化するように、前記変調ネットワークを学習するとともに、(ii)前記判別器に入力された変換学習データまたは変調済みの変換学習データに対応する少なくとも一つの変換学習データスコアまたは少なくとも一つの変調済みの変換学習データスコアを最大化し、前記変調済みの学習データスコアを最小化するように、前記判別器を学習し、前記変換学習データまたは前記変調済みの変換学習データは、それぞれ前記学習データまたは前記変調済みの学習データを変換したデータである。
【0032】
一実施例において、前記ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、前記nは1以上の整数である場合、前記(II)プロセスで、前記プロセッサは、(i)前記変調済みの学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(i-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記変調済みの学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(i-2)前記変調済みの学習データに対するそれぞれの第1_1特性情報ないし第1_n特性情報を出力させ、(ii)前記学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(ii-1)それぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(ii-2)前記学習データに対するそれぞれの第2_1特性情報ないし第2_n特性情報を出力させ、前記(III)プロセスで、前記プロセスは、(i)(i-1)前記第1_1特性情報と前記第2_1特性情報とを参照して取得した第(1_1)_1エラーないし前記第1_n特性情報と前記第2_n特性情報とを参照して取得した第(1_1)_nエラーの平均である前記第1_1エラーと、(i-2)前記1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、これに対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーないし前記第1_n特性情報を利用して生成された少なくとも一つの第nタスク特定出力と、これに対応する第n原本正解とを参照して取得された第(1_2)_nエラーの平均である前記第1_2エラーとのうち少なくとも一部を参照して算出された前記第1エラーを最小化し、前記判別器に入力された前記変調済みの学習データに対応する前記変換学習データスコアである前記第2エラーを最大化するように、前記変調ネットワークを学習し、(ii)前記判別器に入力された前記変換学習データまたは前記変調済みの変換学習データに対応する前記変換学習データスコアまたは前記変調済みの変換学習データスコアを最大化し、前記変調済みの学習データスコアを最小化するように、前記判別器を学習する。
【0033】
一実施例において、前記ラーニングネットワークは、それぞれ第1学習されたパラメータないし第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、前記nは1以上の整数である場合、前記(I)プロセスで、前記プロセッサは、前記学習データを前記変調ネットワークに入力して、前記変調ネットワークをもって前記学習データを変調させて第1変調済みの学習データを生成させ、前記(II)プロセスで、前記プロセッサは、(i)前記第1変調済みの学習データを前記第1ラーニングネットワークに入力して、前記第1ラーニングネットワークをもって(i-1)前記第1ラーニングネットワークの前記第1学習されたパラメータを利用して、前記第1変調済みの学習データに対してネットワーク演算を適用させて(i-2)前記第1変調済みの学習データに対する第1_1特性情報を出力させ、(ii)前記学習データを前記第1ラーニングネットワークに入力して、前記第1ラーニングネットワークをもって(ii-1)前記第1学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて(ii-2)前記学習データに対する第2_1特性情報を出力させ、前記(III)プロセスで、前記プロセッサは、(i)(i-1)前記第1_1特性情報と前記第2_1特性情報とを参照して取得された少なくとも一つの第(1_1)_1エラーと、(i-2)(i-2a)前記第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、(i-2b)これに対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーとのうち少なくとも一部を参照して取得された少なくとも一つの第1_1エラーを最小化し、(ii)前記判別器に入力された前記第1変調済みの学習データに対応する少なくとも一つの第1変調済みの学習データスコアである少なくとも一つの第2_1エラーを最大化するように、前記変調ネットワークを学習して、前記変調ネットワークが第1学習された変調ネットワークになるようにし、前記プロセスは、(i)前記判別器に入力された前記変換学習データまたは前記変調済みの変換学習データに対応する少なくとも一つの第1変換学習データスコアまたは少なくとも一つの第1変調済みの変換学習データスコアを最大化し、(ii)前記第1変調済みの学習データスコアを最小化するように、前記判別器を学習して前記判別器が第1学習された判別器になるようにし、前記プロセッサは、整数であるkを2からnまで増加させていき、(i)前記学習データを前記第k-1学習された変調ネットワークに入力して、前記第k-1学習された変調ネットワークをもって前記学習データを変調させて第k変調済みの学習データを生成させ、(ii)(ii-1)前記第k変調済みの学習データを第kラーニングネットワークに入力して、前記第kラーニングネットワークをもって前記第kラーニングネットワークの少なくとも一つの第k学習されたパラメータを利用して、前記第k変調済みの学習データに対してネットワーク演算を適用させて前記第k変調済みの学習データに対する第1_k特性情報を出力させ、(ii-2)前記学習データを前記第kラーニングネットワークに入力して、前記第kラーニングネットワークをもって前記第k学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて前記学習データに対する第2_k特性情報を出力させ、(iii)(iii-1)前記第1_k特性情報と前記第2_k特性情報とを参照して取得された少なくとも一つの第(1_1)_kエラーと、(iii-2)前記第1_k特性情報を利用して生成された少なくとも一つの第kタスク特定出力と、これに対応する少なくとも一つの第k原本正解とを参照して取得された少なくとも一つの第(1_2)_kエラーとのうち少なくとも一部を参照して算出された少なくとも一つの第1_kエラーを最小化し、前記第k_1学習された判別器に入力された前記第k変調済みの学習データに対応する少なくとも一つの第k変調済みの学習データスコアである少なくとも一つの第2_kエラーを最大化するように、第k-1学習された変調ネットワークを学習して、前記第k-1学習された変調ネットワークが第k学習された変調ネットワークになるようにし、(iv)前記第k-1学習された判別器に入力された前記変換学習データまたは前記変調済みの変換学習データに対応する少なくとも一つの第k変換学習データスコアまたは少なくとも一つの第k変調済みの変換学習データスコアを最大化し、前記第k変調済みの学習データスコアを最小化するように、前記第k-1学習された判別器を学習して、前記第k-1学習された判別器が第k学習された判別器になるようにする。
【0034】
一実施例において、前記判別器に入力された前記変換学習データまたは前記変調済みの変換学習データに対応する前記変換学習データスコアまたは前記変調済みの変換学習データスコアの最大値は、それぞれ前記変換学習データまたは前記変調済みの変換学習データを本物であるものと判別する1であり、前記判別器に入力された前記変調済みの学習データに対応する前記変調済みの学習データスコアの最小値は、前記変調済みの学習データを偽物であるものと判別する0である。
【0035】
一実施例において、前記(III)プロセスで、前記プロセッサは、(i)前記第1特性情報と前記第2特性情報との間の差異と、(ii)前記タスク特定出力と前記原本正解との間の少なくとも一つの差異とのうち少なくとも一部を参照して前記第1エラーを取得し、前記学習データと前記変調済みの学習データとの間の少なくとも一つの差異により前記第2エラーを取得する。
【0036】
一実施例において、前記プロセッサは、前記第1特性情報と前記第2特性情報との間のノルム(Norm)またはコサイン類似度(Cosine Similarity)を参照して前記第1エラーを取得する。
【0037】
一実施例において、前記(III)プロセスで、前記プロセッサは、前記変調済みの学習データのエントロピー、ノイズ程度のうち少なくとも一部を参照して少なくとも一つのクオリティ(Quality)を測定し、測定された前記クオリティを参照して前記第1エラーを取得する。
【0038】
本発明のまた他の態様によると、個人情報保護のために原本データをコンシーリング処理する変調ネットワーク(0bfuscation Network)を学習するテスト装置において、インストラクションを格納する少なくとも一つのメモリと、(I)学習装置が、(i)学習データを取得し、これを変調ネットワークに入力して、前記変調ネットワークをもって前記学習データを変調させて変調済みの学習データを生成させるプロセス、(ii)前記変調済みの学習データを少なくとも一つの学習されたパラメータを有する前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって(ii-1)前記学習されたパラメータを利用して、前記変調済みの学習データに対してネットワーク演算を適用させて(ii-2)前記変調済みの学習データに対応する第1特性情報を生成させるプロセス、(iii)前記学習データを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって(iii-1)前記学習されたパラメータを利用して、前記学習データに対してネットワーク演算を適用させて(iii-2)前記学習データに対応する第2特性情報を生成させるプロセス、及び(iv)(iv-1)(iv-1a)前記第1特性情報と前記第2特性情報とを参照して取得された少なくとも一つの第1_1エラーと、(iv-1b)前記第1特性情報を利用して生成された少なくとも一つのタスク特定出力と、これに対応する少なくとも一つの原本正解(Ground Truth)とを参照して取得された少なくとも一つの第1_2エラーとのうち少なくとも一部を参照して算出された少なくとも一つの第1エラーを最小化し、(iv-2)前記学習データと前記変調済みの学習データとを参照して算出された少なくとも一つの第2エラーを最大化するように、前記変調ネットワークを学習するプロセスを遂行した状態で、テストデータを取得するプロセスを遂行するプロセス;及び(II)前記テストデータを前記変調ネットワークに入力して、前記変調ネットワークをもって前記変調ネットワークの前記学習されたパラメータを利用して、前記テストデータを変調させて変調済みのテストデータをコンシーリング処理されたテストデータとして出力するプロセスを遂行するための前記インストラクションを実行するか、他の装置をもって実行するように構成された少なくとも一つのプロセッサと、を含む。
【0039】
一実施例において、前記(I)プロセスで、前記ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、前記nは1以上の整数である場合、前記学習装置が、(i)前記変調済みの学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(i-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記変調済みの学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(i-2)前記変調済みの学習データに対するそれぞれの第1_1特性情報ないし第1_n特性情報を出力させるプロセス、(ii)前記学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(ii-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(ii-2)前記学習データに対するそれぞれの第2_1特性情報ないし第2_n特性情報を出力させるプロセス、(iii)(iii-1)(iii-1a)前記第1_1特性情報と前記第2_1特性情報とを参照して取得された第(1_1)_1エラーないし前記第1_n特性情報と前記第2_n特性情報とを参照して取得された第(1_1)_nエラーの平均である前記第1_1エラーと、(iii-1b)前記第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、これに対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーないし前記第1_n特性情報を利用して生成された少なくとも一つの第nタスク特定出力と、これに対応する少なくとも一つの第n原本正解とを参照して取得された第(1_2)_nエラーの平均である前記第1_2エラーとのうち少なくとも一部を参照して算出された前記第1エラーを最小化し、(iii-2)前記学習データと前記変調済みの学習データとを参照して算出された前記第2エラーを最大化するように、前記変調ネットワークを学習するプロセスを遂行する。
【0040】
一実施例において、前記(I)プロセスで、前記学習装置が、(i)入力されるデータが本物であるか偽物であるかを判別する判別器に入力された前記変調済みの学習データに対応する少なくとも一つの変調済みの学習データスコアを前記第2エラーとして取得し、(ii)前記第1エラーを最小化し、前記第2エラーを最大化するように、前記変調ネットワークを学習するとともに、(iii)前記判別器に入力された変換学習データまたは変調済みの変換学習データにそれぞれ対応する少なくとも一つの変換学習データスコアまたは少なくとも一つの変調済みの変換学習データスコアを最大化し、前記変調済みの学習データスコアを最小化するように、前記判別器を学習し、前記変換学習データまたは前記変調済みの変換学習データは、それぞれ前記学習データまたは前記変調済みの学習データを変換して生成されたデータである。
【0041】
一実施例において、前記(I)プロセスで、前記ラーニングネットワークは、少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、前記nは1以上の整数である場合、前記学習装置が、(i)前記変調済みの学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(i-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記変調済みの学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(i-2)前記変調済みの学習データに対するそれぞれの第1_1特性情報ないし第1_n特性情報を出力させるプロセス、(ii)前記学習データを前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれに入力して、それぞれの前記第1ラーニングネットワークないし前記第nラーニングネットワークをもって(ii-1)前記第1ラーニングネットワークないし前記第nラーニングネットワークそれぞれの前記第1学習されたパラメータないし前記第n学習されたパラメータを利用して、前記学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(ii-2)前記学習データに対するそれぞれの第2_1特性情報ないし第2_n特性情報を出力させるプロセス、(iii)(iii-1)(iii-1a)前記第1_1特性情報と前記第2_1特性情報とを参照して取得された第(1_1)_1エラーないし前記第1_n特性情報と前記第2_n特性情報とを参照して取得された第(1_1)_nエラーの平均である前記第1_1エラーと、(iii-1b)前記第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、これに対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーないし前記第1_n特性情報を利用して生成された少なくとも一つの第nタスク特定出力と、これに対応する少なくとも一つの第n原本正解とを参照して取得された第(1_2)_nエラーの平均である前記第1_2エラーとのうち少なくとも一部を参照して算出された前記第1エラーを最小化し、(iii-2)前記判別器に入力された前記変調済みの学習データに対応する前記変換学習データスコアである前記第2エラーを最大化するように、前記変調ネットワークを学習するプロセス、及び(iv)前記判別器に入力された前記変換学習データまたは前記変調済みの変換学習データにそれぞれ対応する前記変換学習データスコアまたは前記変調済みの変換学習データスコアを最大化し、前記変換学習データスコアを最小化するように、前記判別器を学習するプロセスを遂行する。
【0042】
その他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読み取り可能な記録媒体がさらに提供される。
【発明の効果】
【0043】
本発明は、データ内で個人識別情報を探し出す作業が要求されないため、簡単で、かつ正確にコンシーリング(Concealing)作業を遂行することができる効果がある。
【0044】
また、本発明は、原本データから非可逆的に変調(0bfuscation)されてコンシーリング処理済みのデータを生成することによって、データのセキュリティ及びプライバシーを守ることができる他の効果がある。
【0045】
また、本発明は、人間にとっては異なるように見えるデータであるものの、コンピュータには互いに同一又は類似するように見えるデータを生成することができるまた他の効果がある。
【0046】
さらに、本発明は、ビッグデータの取引市場をより活性化させることができるまた他の効果がある。
【図面の簡単な説明】
【0047】
【
図1】本発明の一実施例にしたがって、原本データをコンシーリング(Concealing)処理する変調ネットワークを学習する学習装置を簡略に示したものである。
【
図2】本発明の一実施例にしたがって、原本データをコンシーリング処理する変調ネットワークを学習する学習方法を簡略に示したものである。
【
図3】本発明の一実施例にしたがって、原本データをコンシーリング処理する変調ネットワークを学習する他の学習方法を簡略に示したものである。
【
図4】本発明の他の実施例にしたがって、原本データをコンシーリング処理する変調ネットワークを学習する学習方法を簡略に示したものである。
【
図5】本発明の他の実施例にしたがって、原本データをコンシーリング処理する変調ネットワークを学習する他の学習方法を簡略に示したものである。
【
図6】本発明の一実施例にしたがって学習された変調ネットワークをテストするテスト装置を簡略に示したものである。
【
図7】本発明の一実施例にしたがって学習された変調ネットワークをテストするテスト方法を簡略に示したものである。
【発明を実施するための形態】
【0048】
本発明の実施例の説明に利用されるために添付された以下の図面は、本発明の実施例のうち単に一部であるだけであり、本発明の属する技術分野において通常の知識を有する者(以下、「通常の技術者」)にとっては、発明的作業が行われることなく、これらの図面に基づいて他の図面が得られ得る。
【0049】
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるものの、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の機能、構造及び特性は、本発明の精神及び範囲を逸脱せず、かつ一つの実施例から他の実施例に変更されて具現され得る。また、それぞれの実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述する詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は、特許請求の範囲の請求項が請求する範囲及びそれに均等なすべての範囲を包括するものと受け取られるべきである。図面において類似の参照符号は、様々な側面にわたって同一であるか、類似した構成要素を示す。
【0050】
以下では、本発明の詳細な説明と請求項に含まれる「含む」とは、用語と当該用語の多様な表現は、他の技術的特徴、追加、構成要素又は段階を排除することを意味するものではない。本発明の他の目的、恩恵及び特徴は、部分的には明細書から、及び部分的には本発明の履行から、技術分野における通常の知識を有する者に明らかにされるであろう。以下の各例示と図面は例示として示されているが、本発明はこれに制限されるわけではない。
【0051】
本発明の属する技術分野において、通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の様々な好ましい実施例について添付された図面を参照して詳細に説明する。
【0052】
図1は、本発明の一実施例にしたがって、原本データをコンシーリング(Concealing)処理(例えば、非識別)する変調ネットワークを学習する学習装置を簡略に示したものである。
【0053】
図1を参照すると、本発明の一実施例による学習装置100は、ラーニングネットワークFが学習データを入力して算出された結果と同一又は類似した結果を、変調済みの学習データを入力して算出するように学習データを変調する変調ネットワークを学習させるためのインストラクションが格納されたメモリ110と、メモリ110に格納されたインストラクションにしたがって変調ネットワークを学習するプロセスを遂行するプロセッサ120を含むことができる。
【0054】
具体的に、学習装置100は、少なくとも一つのコンピューティング装置(例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置、出力装置、又は、その他既存のコンピューティング装置の構成要素;ルータ、スイッチなどのような電子通信装置;ネットワーク接続ストレージ(NAS)及びストレージ領域ネットワーク(SAN)のような電子情報ストレージシステム)と少なくとも一つのコンピュータソフトウェア(すなわち、コンピューティング装置をもって特定の方式で機能させるインストラクション)との組み合わせを利用して所望のシステム性能を達成するものであり得る。
【0055】
また、コンピューティング装置のプロセッサは、MPU(Micro Processing Unit)またはCPU(Central Processing Unit)、キャッシュメモリ(Cache Memory)、データバス(Data Bus)などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
【0056】
しかし、コンピューティング装置が、本発明を実施するためのプロセッサ、メモリ、ミディアム又は他のコンピューティング要素の任意の組み合わせを含む統合装置を排除するものではない。
【0057】
一方、学習データが取得されると、メモリ110に格納されたインストラクションにしたがって学習装置100のプロセッサ120が、学習データを変調ネットワーク(0bfuscation Network)に入力して、変調ネットワークをもって学習データを変調させて変調済みの学習データを生成させる。そして、学習装置100は、(i)変調済みの学習データを少なくとも一つの学習されたパラメータを有するラーニングネットワークに入力して、ラーニングネットワークをもって、(i-1)学習されたパラメータを利用して変調済みの学習データに対してネットワーク演算を適用させて、(i-2)変調済みの学習データに対応する第1特性情報(Characteristic Information)を生成させ、(ii)学習データをラーニングネットワークに入力して、ラーニングネットワークをもって(ii-1)学習されたパラメータを利用して、学習データに対してネットワーク演算を適用させて(ii-2)学習データに対応する第2特性情報を生成させる。以後、学習装置100は、(i)(i-1)第1特性情報と第2特性情報とを参照して取得された少なくとも一つの第1_1エラーと、(i-2)前記第1特性情報を利用して生成された少なくとも一つのタスク特定出力(Task Specific Output)と、これに対応する少なくとも一つの原本正解とを参照して取得された少なくとも一つの第1_2エラーとのうち少なくとも一部を参照して算出された少なくとも一つの第1エラーを最小化し、(ii)学習データと変調済みの学習データとを参照して算出された少なくとも一つの第2エラーを最大化するように、変調ネットワークを学習することができる。
【0058】
また、入力されるデータが本物であるか偽物であるかを判別する判別器に入力された変調済みの学習データに対応する少なくとも一つの変調済みの学習データスコアを第2エラーとして取得した状態で、学習装置100は、(i)第1エラーを最小化し、第2エラーを最大化するように、変調ネットワークを学習するとともに、(ii)判別器に入力された変換学習データまたは変調済みの変換学習データに対応する少なくとも一つの変換学習データスコアまたは少なくとも一つの変調済みの変換学習データスコアを最大化し、変調済みの学習データスコアを最小化するように、判別器を学習することができる。
【0059】
このように構成された本発明の一実施例による学習装置100を利用して、個人情報保護のために原本データをコンシーリング処理(例えば、非識別)する変調ネットワークを学習する方法を、
図2ないし
図5を参照して説明すると以下のとおりである。
【0060】
図2は、本発明の一実施例にしたがって、原本データをコンシーリング処理する変調ネットワークを学習する方法を簡略に示したものである。
【0061】
まず、学習データxが取得されると、学習装置100は、学習データxを変調ネットワークOに入力して、変調ネットワークOをもって学習データxを変調させて変調済みの学習データx’すなわち、O(x)を生成させる。
【0062】
この際、学習データxは、学習に利用するための原本学習データである原本学習データ又は原本学習データを変換(Modifying)して生成された変換学習データであり得、変換学習データは原本学習データにランダムノイズ生成ネットワーク(図示せず)を通じて生成された少なくとも一つのランダムノイズを追加して生成され得る。一例として、ランダムノイズ生成ネットワークをもって正規分布N(O、σ)を有するランダムノイズを生成させ、生成されたノイズを原本学習データに追加して変換学習データを生成することができる。また、変換学習データは、ランダムノイズ以外にも、原本学習データをブラー(Blur)処理するか原本学習データの解像度を変更して生成され得るが、これに限定されず、原本学習データを変換する多様な方法が適用され得る。
【0063】
また、変調済みの学習データx’は、人にとっては学習データxと異なるように認識されるが、ラーニングネットワークでは学習データxと同一又は類似するものと認識され得る。
【0064】
一方、変調ネットワークOは、一例として、入力される学習データxとしてイメージに対してコンボリューション演算を少なくとも1回適用して少なくとも一つのコンボリューションレイヤを含むエンコーダ(Encoder)と、エンコーダから出力される少なくとも一つの特徴マップに対してデコンボリューション演算を少なくとも1回適用して変調済みの学習データx’を出力する少なくとも一つのデコンボリューションレイヤを含むデコーダ(Decoder)とを含むことができるが、これに限定されず、入力される学習データを変調する多様な構造のラーニングネットワークを含むことができる。
【0065】
次に、学習装置100は、(i)変調済みの学習データx’を少なくとも一つの学習されたパラメータを有するラーニングネットワークFに入力して、ラーニングネットワークFをもって(i-1)学習されたパラメータを利用して、変調済みの学習データx’に対してネットワーク演算を適用させて(i-2)変調済みの学習データx’に対応する第1特性情報F(x’)を生成させ、(ii)学習データxをラーニングネットワークFに入力して、ラーニングネットワークFをもって、(ii-1)学習されたパラメータを利用して学習データxに対してネットワーク演算を適用させて(ii-2)学習データxに対応する第2特性情報F(x)を生成させることができる。
【0066】
この際、ラーニングネットワークFはマシンラーニングネットワークを含むことができるが、これに限定されず、学習されたパラメータを利用して変調済みの学習データx’に対してネットワーク演算を適用して、第1特性情報F(x’)を出力し、学習データxに対してネットワーク演算を適用して第2特性情報F(x)を出力させる全てのラーニングネットワークを含むことができる。そして、マシンラーニングネットワークは、K-近傍法(K-Nearest Neighbors)、線形回帰(Linear Regression)、ロジスティック回帰(Logistic Regression)、サポートベクトルマシン(SVM、Support Vector Machine)、デシジョンツリー(Decision Tree)とランダムフォレスト(Random Forest)、ニューラルネットワーク(Neural Network)、クラスタリング(Clustering)、視覚化(Visualization)と次元縮小(Dimensionality Reduction)、関連規則学習(Association Rule Learning)、深層信頼ネットワーク(Deep Belief Network)、強化学習(Reinforcement Learning)、及びディープラーニングアルゴリズム(Deep Learning Algorithm)のうち少なくとも一つを含むことができるが、マシンラーニングネットワークはこれに限定されず、多様なラーニングアルゴリズムを含むことができる。また、コンシーリング処理のための対象(例えば、非識別対象)は、原本データxに含まれている個人情報であり得、この際、個人情報は個人識別情報、個人の医療情報、生体情報、行動情報など、個人に関わるすべての情報を含むことができる。
【0067】
そして、第1特性情報F(x’)と第2特性情報F(x)とは、それぞれ変調済みの学習データx’と学習データxとに対応する特徴(Feature)またはロジット(Logit)であり得る。また、第1特性情報F(x’)と第2特性情報F(x)とは、それぞれ変調済みの学習データx’と学習データx内の所定の特徴と関連する特徴値、または所定の特徴と関連するベクトル(Vector)、行列(Matrix)及び座標(Coordinate)のうち少なくとも一つに関する値を含むロジットであり得る。例えば、学習データxが顔イメージデータである場合に、上記の結果は顔認識のためのクラス、顔の特徴、一例として、笑う表情、顔の特徴点(Landmark Point、例えば、目の両端点)に関する座標であり得る。
【0068】
次に、学習装置100は、(i)(i-1)第1特性情報F(x’)と第2特性情報F(x)とを参照して取得した少なくとも一つの第1_1エラーと、(i-2)第1特性情報F(x’)を利用して生成された少なくとも一つのタスク特定出力と、これに対応する少なくとも一つの原本正解とを参照して取得された少なくとも一つの第1_2エラーとのうち少なくとも一部を参照して算出された少なくとも一つの第1エラーを最小化し、(ii)学習データxと変調済みの学習データx’とを参照して算出された少なくとも一つの第2エラーを最大化するように、変調ネットワークOを学習することができる。すなわち、学習装置100は、変調ネットワークOを学習するにおいて、第2エラーを利用して変調ネットワークOが学習データxとは差が大きい変調済みの学習データx’を出力させ、第1エラーを利用してラーニングネットワークFが変調済みの学習データx’を学習データxと同一又は類似して認識されるように学習データxを変調して変調済みの学習データx’を出力させる。
【0069】
この際、学習装置100は、(i)第1特性情報F(x’)と第2特性情報F(x)との間の差異と、(ii)タスク特定出力とこれに対応する原本正解との間の少なくとも一つの差異とのうち少なくとも一部を参照して第1エラーを取得することができる。一例として、学習装置100は、第1特定情報F(x’)と第2特性情報F(x)との間のノルム(Norm)またはコサイン類似度(Cosine Similarity)を参照して第1エラーを取得することができるが、これに限定されず、第1特性情報F(x’)と第2特性情報F(x)との間の差異を算出することができる多様なアルゴリズムを適用することができる。また、学習装置100は、学習データxと変調済みの学習データx’との間の少なくとも一つの差異を参照して第2エラーを取得することができる。
【0070】
また、学習装置100は、変調済みの学習データx’のエントロピー、ノイズ程度のうち少なくとも一部を参照して少なくとも一つのクオリティ(Quality)を測定し、測定されたクオリティをさらに参照して第1エラーを取得することができる。すなわち、学習装置100は、変調済みの学習データx’のクオリティを最小化、一例として、変調済みの学習データx’のエントロピー、ノイズ等を最大化するように、変調ネットワークOを学習することができる。
【0071】
そして、学習装置100が第1エラーを最小化させ、第2エラーを最大化するように、変調ネットワークOを学習する場合、学習装置100はラーニングネットワークFの学習されたパラメータは固定してアップデートせずに、変調ネットワークOに対してのみ学習を進めることができる。
【0072】
一方、タスク特定出力は、ラーニングネットワークFが遂行しようとするタスクに対する出力として、クラス分類のためのクラスに対する確率、位置検出のためのリグレッションによる座標値など、ラーニングネットワークFの学習されたタスクによる多様な結果値を有することができ、ラーニングネットワークFから出力される特性情報を活性化ユニット(Activation Unit)の活性化関数(Activation Function)が適用されてラーニングネットワークFにおいて遂行しようとするタスクによるタスク特定出力を生成することができる。この際、活性化関数としては、シグモイド(Sigmoid)関数、線形(Linear)関数、ソフトマックス(Softmax)関数、ReLU(Rlinear)関数、二乗(Square)関数、SQRT関数、Srlinear関数、ABS関数、TANH関数、Brlinear関数などが使用され得るが、これに限定されない。
【0073】
一例として、ラーニングネットワークFがクラス分類のためのタスクを遂行する場合、学習装置100はラーニングネットワークFから出力される第1特性情報をクラスごとにマッピングして、変調済みの学習データに対するクラスごとの確率を生成することができる。
【0074】
この際、クラスごとの確率は、設定されたクラスごとにラーニングネットワークFから出力される第1特性情報F(x’)が正解である確率を示すことができる。例えば、学習データが顔イメージデータである場合に、顔が笑う状態である確率は0.75、笑わない状態である確率は0.25等のように出力され得る。この際、ラーニングネットワークFから出力される第1特性情報F(x’)をクラスごとにマッピングするのにソフトマックスアルゴリズムを使用することができるが、これに限定されず、第1特性情報F(x’)をクラスごとにマッピングする多様なアルゴリズムが利用され得る。
【0075】
図3は、本発明の一実施例にしたがって原本データをコンシーリング処理する変調ネットワークを学習する他の方法を簡略に示したものであって、すなわち、
図2におけるラーニングネットワークFは、学習されたパラメータを有する多数のラーニングネットワークF1、F2、…、Fnで構成されたものである。この際、多数のラーニングネットワークF1、F2、…、Fnそれぞれは、互いに異なる少なくとも一部のタスクを遂行するように学習された状態であり得る。下記の説明では、前記
図2の説明において容易に理解可能な部分については、詳細な説明を省略する。
【0076】
まず、学習データxが取得されると、学習装置100は、学習データxを変調ネットワークOに入力して、変調ネットワークOをもって学習データxを変調して変調済みの学習データx’すなわち、O(x)を生成させる。
【0077】
この際、学習データxは、学習に利用するための原本データである原本学習データ又は原本学習データを変換して生成された変換学習データx’であり得、変換学習データx’は、人にとっては学習データxと異なるように認識されるが、ラーニングネットワークでは学習データxと同一又は類似するものと認識され得る。
【0078】
次に、学習装置100は、変調済みの学習データx’を第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれに入力して、それぞれの第1ラーニングネットワークF1ないし第nラーニングネットワークFnをもって、(i)第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれの第1学習されたパラメータないし第n学習されたパラメータを利用して変調済みの学習データx’に対してそれぞれのネットワークに対応するネットワーク演算を適用させて、(ii)変調済みの学習データx’に対応する第1_1特性情報F1(x’)ないし第1_n特性情報Fn(x’)をそれぞれ生成させる。また、学習装置100は、学習データxを第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれに入力して、それぞれの第1ラーニングネットワークF1ないし第nラーニングネットワークFnをもって、(i)第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれの第1学習されたパラメータないし第n学習されたパラメータを利用して学習データxに対してそれぞれのネットワークに対応するネットワーク演算を適用させて、(ii)学習データxに対応するそれぞれの第2_1特性情報F1(x)ないし第2_n特性情報Fn(x)を生成させることができる。
【0079】
次に、学習装置100は、(i)(i-1)第1_1特性情報F1(x’)と第2_1特性情報F1(x)とを参照して取得された第(1_1)_1エラーないし第1_n特性情報Fn(x’)と第2_n特性情報Fn(x)とを参照して取得された第(1_1)_nエラーの平均である第1_1エラーと、(i-2)1_1特性情報F1(x’)を利用して生成された少なくとも一つの第1タスク特定出力と、これに対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーないし前記第1_n特性情報を利用して生成された少なくとも一つの第nタスク特定出力と、これに対応する少なくとも一つの第n原本正解とを参照して取得された第(1_2)_nエラーの平均である前記第1_2エラーとのうち少なくとも一部を参照して算出された前記第1エラーを最小化し、(ii)学習データxと変調済みの学習データx’とを参照して算出された第2エラーを最大化するように、変調ネットワークOを学習することができる。
【0080】
すなわち、学習装置100は、第1_1特性情報F1(x’)と第2_1特性情報F1(x)とを参照して算出された第(1_1)_1エラーを取得し、第1_2特性情報F2(x’)と第2_2特性情報F2(x)とを参照して算出された第(1_1)_2エラーを取得し、同様に第1_n特性情報Fn(x’)と第2_n特性情報Fn(x)とを参照して算出された第(1_1)_nエラーを算出して、取得された第(1_1)_1エラーないし取得された第(1_1)_nエラーの平均である第1_1エラーを取得する。そして、学習装置100は、第1_1特性情報F1(x’)を利用して生成された第1タスク特定出力と、これに対応する第1原本正解とを参照して算出された第(1_2)_1エラーないし前記第1_n特性情報Fn(x’)を利用して生成された第nタスク特定出力と、これに対応する第n原本正解とを参照して算出された第(1_2)_nエラーを取得して、算出された第(1_2)_1エラーないし第(1_2)_nエラーの平均である第1_2エラーを取得する。そして、学習装置100は、第1_1エラーと第1_2エラーとのうち少なくとも一部を参照して算出された第1エラーを最小化し、第2エラーを最大化するように、変調ネットワークOを学習することができる。すなわち、第1エラーは第1_1エラー、第1_2エラー、及び第1_1エラーと第1_2エラーとの和のうちいずれか一つであり得るが、本発明がこれに限定されるわけではない。
【0081】
また、学習装置100は、変調済みの学習データx’のエントロピー、ノイズ程度のうち少なくとも一部を参照して少なくとも一つのクオリティを測定し、測定されたクオリティをさらに参照して第1エラーを取得することができる。すなわち、学習装置100は、変調済みの学習データx’のクオリティを最小化、一例として、変調済みの学習データx’のエントロピー、ノイズ等を最大化するように、変調ネットワークOを学習することができる。
【0082】
そして、学習装置100は、第1ロスを最小化させ、第2ロスを最大化するように、変調ネットワークOを学習する場合、学習装置100はラーニングネットワークFの学習されたパラメータは固定してアップデートせずに、変調ネットワークOに対してのみ学習を進めることができる。
【0083】
一方、前記では学習装置100は、(i)(i-1)第1_1特性情報F1(x’)と第2_1特性情報F1(x)とを参照して取得された第(1_1)_1エラーないし第1_n特性情報Fn(x’)と第2_n特性情報Fn(x)とを参照して取得された第(1_1)_nエラーの平均である第1_1エラーと、(i-2)1_1特性情報F1(x’)を利用して生成された第1タスク特定出力と、これに対応する第1原本正解とを参照して取得された第(1_2)_1エラーないし第1_n特性情報Fn(x’)を利用して生成された第nタスク特定出力と、これに対応する第n原本正解とを参照して取得された第(1_2)_nエラーの平均である第1_2エラーとのうち少なくとも一部を参照して算出された第1エラーを最小化し、(ii)学習データと変調済みの学習データx’とを参照して算出された第2エラーを最大化するように、変調ネットワークOを学習することができる。一例として、第(1_1)_1エラーと第(1_2)_1エラーとのうち少なくとも一部を参照して算出された第1_1エラーないし第(1_1)_nエラーと第(1_2)_nエラーとのうち少なくとも一部を参照して算出された第1_nエラーを最小化するように、変調ネットワークOを順次学習することもできる。
【0084】
すなわち、学習装置100は、学習データxを変調ネットワークOに入力して、変調ネットワークOをもって学習データxを変調させて第1変調済みの学習データx1’を生成させる。そして、学習装置100は、(i)第1変調済みの学習データx1’を第1ラーニングネットワークF1に入力して、第1ラーニングネットワークF1をもって(i-1)第1ラーニングネットワークF1の第1学習されたパラメータを利用して、第1変調済みの学習データx1’に対してネットワーク演算を適用させて(i-2)第1変調済みの学習データx1’に対応する第1_1特性情報F1(x1’)を出力させるプロセス、及び(ii)学習データxを第1ラーニングネットワークF1に入力して、第1ラーニングネットワークF1をもって(ii-1)第1学習されたパラメータを利用して、学習データxに対してネットワーク演算を適用させて(ii-2)学習データxに対応する第2_1特性情報F1(x)を出力させるプロセスを遂行するか、他の装置をもって遂行させることができる。以後、学習装置100は、(i)(i-1)第1_1特性情報F1(x1’)と第2_1特性情報F1(x1)とを参照して取得された少なくとも一つの第(1_1)_1エラーと、(i-2)第1_1特性情報F1(x’)を利用して生成された少なくとも一つの第1タスク特定出力と、これに対応する少なくとも一つの第1原本正解とを参照して取得された少なくとも一つの第(1_2)_1エラーとのうち少なくとも一部を参照して算出された少なくとも一つの第1_1エラーを最小化し、(ii)学習データxと第1変調済みの学習データx1’とを参照して算出された少なくとも一つの第2_1エラーを最大化するように、変調ネットワークOを学習して、変調ネットワークOが第1学習された変調ネットワークO1となるようにする。
【0085】
そして、学習装置100は、整数(integer)であるkを2からnまで増加させていき、前記のプロセスを繰り返して第nラーニングネットワークFnまで遂行することによって、第n変調ネットワークOnを取得することができるようになる。
【0086】
すなわち、学習装置100は、学習データxを第(k-1)学習された変調ネットワークO(k-1)に入力して、第(k-1)学習された変調ネットワークO(k-1)をもって学習データxを変調させて、第k変調済みの学習データxk’を生成させることができる。そして、学習装置100は、(i)第k変調済みの学習データxk’を第kラーニングネットワークFkに入力して、第kラーニングネットワークFkをもって第kラーニングネットワークFkのうち少なくとも一つの第k学習されたパラメータを利用して第k変調済みの学習データxk’に対してネットワーク演算を適用させて、第k変調済みの学習データxk’に対応する第1_k特性情報Fk(xk’)を出力させ、(ii)学習データxを第kラーニングネットワークFkに入力して、第kラーニングネットワークFkをもって第k学習されたパラメータを利用して、学習データxに対してネットワーク演算を適用させて学習データxに対応する第2_k特性情報Fk(xk)を出力させる。以後、学習装置100は、(i)(i-1)第1_k特性情報Fk(xk’)と第2_k特性情報Fk(x)とを参照して取得された少なくとも一つの第(1_1)_kエラーと、(i-2)前記第1_k特性情報を利用して生成された少なくとも一つの第kタスク特定出力と、これに対応する少なくとも一つの第k原本正解とを参照して取得された少なくとも一つの第(1_2)_kエラーとのうち少なくとも一部を参照して取得された少なくとも一つの第1_kエラーを最小化し、(ii)学習データxと第k変調済みの学習データxk’とを参照して算出された少なくとも一つの第2_kエラーを最大化するように、第k-1学習された変調ネットワークO(k-1)を学習して、第k-1学習された変調ネットワークO(k-1)が第k学習された変調ネットワークOkになるようにすることができる。
【0087】
図4は、本発明の他の実施例にしたがって原本データをコンシーリング処理する変調ネットワークを学習する方法を簡略に示したものである。以下の説明では、前記
図2と
図3の説明から容易に理解可能な部分については、詳細な説明を省略する。
【0088】
まず、学習データxが取得されると、学習装置100は、学習データxを変調ネットワークOに入力して、変調ネットワークOをもって学習データxを変調させて変調済みの学習データx’すなわち、O(x)を生成させる。
【0089】
次に、学習装置100は、(i)変調済みの学習データx’を学習されたパラメータを有するラーニングネットワークFに入力して、ラーニングネットワークFをもって(i-1)学習されたパラメータを利用して、変調済みの学習データx’に対してネットワーク演算を適用させて(i-2)変調済みの学習データx’に対応する第1特性情報F(x’)を生成させるプロセス、及び(ii)学習データxをラーニングネットワークFに入力して、ラーニングネットワークFをもって(ii-1)学習されたパラメータを利用して、学習データxに対してネットワーク演算を適用させて(ii-2)学習データxに対応する第2特性情報F(x)を生成させるプロセスを遂行するか、他の装置をもって遂行するように支援することができる。
【0090】
次に、入力されるデータが本物であるか偽物であるかを判別する判別器Dに入力された変調済みの学習データx’に対応する少なくとも一つの変調済みの学習データスコアを第2エラーとして取得した状態で、学習装置100は、(i)第1エラーを最小化し、第2エラーを最大化するように、変調ネットワークOを学習するとともに、(ii)判別器Dに入力された変換学習データまたは変調済みの変換学習データに対応する少なくとも一つの変換学習データスコアまたは少なくとも一つの変調済みの変換学習データスコアを最大化し、変調済みの学習データスコアを最小化するように、判別器Dを学習することができる。この際、変換学習データまたは変調済みの変換学習データは、それぞれ学習データxまたは変調済みの学習データx’にランダムノイズ生成ネットワーク(図示せず)を通じて生成された少なくとも一つのランダムノイズを追加して生成され得る。一例として、ランダムノイズ生成ネットワークをもって正規分布N(O、σ)を有するランダムノイズを生成させ、生成されたノイズを学習データxまたは変調済みの学習データx’に追加して変換学習データまたは変調済みの変換学習データをそれぞれ生成することができる。また、変換学習データまたは変調済みの変換学習データは、それぞれ学習データxまたは変調済みの学習データx’をブラー(Blur)処理するか、学習データxまたは変調済みの学習データx’の解像度を変更して生成することができるが、これに限定されず、学習データxまたは変調済みの学習データx’を変換する多様な方法が適用され得る。
【0091】
すなわち、学習装置100は、変調ネットワークOを学習するにおいて、第1エラーを利用してラーニングネットワークFが学習データxを変調して学習データxと同一又は類似するように認識される変調済みの学習データx’を出力するように学習し、第2エラーを利用して学習データxとは異なるものの学習データx’との区別が難しい変調済みの学習データx’を出力するように学習することができる。
【0092】
この際、判別器Dに入力された変換学習データまたは変調済みの変換学習データに対応する変換学習データスコアまたは変調済みの変換学習データスコアの最大値は、変換学習データまたは変調済みの変換学習データを本物であるものと判別する1であり、判別器Dに入力された変調済みの学習データx’に対応する変調済みの学習データスコアの最小値は、変調済みの学習データx’を偽物であるものと判別する0であり得る。すなわち、判別器Dは、変調済みの学習データx’を変換学習データまたは変調済みの変換学習データとして認識するように学習され得る。
【0093】
図5は、本発明の他の実施例にしたがって原本データをコンシーリング処理する変調ネットワークを学習する他の方法を簡略に示したものであって、
図4におけるラーニングネットワークFは、学習されたパラメータを有する多数のラーニングネットワークF1、F2、…、Fnで構成されたものである。下記の説明では、前記
図2ないし
図4の説明で容易に理解が可能な部分については、詳細な説明を省略する。
【0094】
まず、学習データxが取得されると、学習装置100は、学習データxを変調ネットワークOに入力して、変調ネットワークOをもって学習データxを変調させて変調済みの学習データx’すなわち、O(x)を生成させる。
【0095】
次に、学習装置100は、変調済みの学習データx’を第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれに入力して、それぞれの第1ラーニングネットワークF1ないし第nラーニングネットワークFnをもって(i)第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれの第1学習されたパラメータないし第n学習されたパラメータを利用して、変調済みの学習データx’に対してそれぞれのネットワークに対応するネットワーク演算を適用させて、(ii)変調済みの学習データx’に対応する第1_1特性情報F1(x’)ないし第1_n特性情報Fn(x’)を生成させる。また、学習装置100は、学習データxを第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれに入力して、それぞれの第1ラーニングネットワークF1ないし第nラーニングネットワークFnをもって(i)第1ラーニングネットワークF1ないし第nラーニングネットワークFnそれぞれの第1学習されたパラメータないし第n学習されたパラメータを利用して、学習データxに対してそれぞれのネットワークに対応するネットワーク演算を適用させて、(ii)学習データxに対応するそれぞれの第2_1特性情報F1(x)ないし第2_n特性情報Fn(x)を生成させることができる。
【0096】
次に、学習装置100は、(i)(i-1)第1_1特性情報F1(x’)と第2_1特性情報F1(x)とを参照して取得された第(1_1)_1エラーないし第1_n特性情報Fn(x’)と第2_n特性情報Fn(x)とを参照して取得された第(1_1)_nエラーの平均である第1_1エラーと、(i-2)前記1_1特性情報F1(x’)を利用して生成された少なくとも一つの第1タスク特定出力と、これに対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーないし前記第1_n特性情報Fn(x’)を利用して生成された少なくとも一つの第nタスク特定出力と、これに対応する少なくとも一つの第n原本正解とを参照して取得された第(1_2)_nエラーの平均である第1_2エラーとのうち少なくとも一部を参照して算出された第1エラーを最小化し、(ii)判別器Dに入力された変調済みの学習データx’に対応する変調済みの学習データスコアである第2エラーを最大化するように、変調ネットワークOを学習することができる。そして、学習装置100は、判別器Dに入力された変換学習データまたは変調済みの変換学習データに対応する変換学習データスコアまたは変調済みの変換学習データスコアを最大化し、変調済みの学習データスコアを最小化するように、判別器Dを学習することができる。
【0097】
すなわち、学習装置100は、第1_1特性情報F1(x’)と第2_1特性情報F1(x)とを参照して算出された第(1_1)_1エラーを取得し、第1_2特性情報F2(x’)と第2_2特性情報F2(x)とを参照して算出された第(1_1)_2エラーを取得し、同様に第1_n特性情報Fn(x’)と第2_n特性情報Fn(x)とを参照した第(1_1)_nエラーを算出して、取得された第(1_1)_1エラーないし取得された第(1_1)_nエラーの平均である第1_1エラーを取得することができる。そして、学習装置100は、第1_1特性情報F1(x’)を利用して生成された第1タスク特定出力と、これに対応する第1原本正解とを参照して算出された第(1_2)_1エラーないし第1_n特性情報Fn(x’)を利用して生成された第nタスク特定出力と、これに対応する第n原本正解とを参照して算出された第(1_2)_nエラーを取得して、算出された第(1_2)_1エラーないし第(1_2)_nエラーの平均である第1_2エラーを取得することができる。そして、学習装置100は、第1_1エラーと第1_2エラーとのうち少なくとも一部を参照して算出された第1エラーを最小化し、第2エラーを最大化するように、変調ネットワークOを学習することができる。
【0098】
一方、前記において学習装置100は、(i)(i-1)第1_1特性情報F1(x’)と 第2_1特性情報F1(x)とを参照して取得された第(1_1)_1エラーないし第1_n特性情報Fn(x’)と第2_n特性情報とを参照して取得された第(1_1)_nエラーの平均である第1_1エラーと、(i-2)第1_1特性情報F1(x’)を利用して生成された第1タスク特定出力と、これに対応する第1原本正解とを参照して取得された第(1_2)_1エラーないし第1_n特性情報Fn(x’)を利用して生成された第nタスク特定出力と、これに対応する第n原本正解とを参照して取得された第(1_2)_nエラーの平均である前記第1_2エラーとのうち少なくとも一部を参照して算出された第1エラーを最小化し、(ii)判別器に入力された変調済みの学習データに対応する変調済みの学習データスコアである第2エラーを最大化するように、変調ネットワークOを学習した。他の例として、第(1_1)_1エラーと第(1_2)_1エラーとのうち少なくとも一部を参照して算出された第1_1エラーないし第(1_1)_nエラーと第(1_2)_nエラーとのうち少なくとも一部を参照して算出された第1_nエラーを最小化するように、変調ネットワークOを順次学習することもできる。
【0099】
すなわち、学習装置100は、学習データxを変調ネットワークOに入力して、変調ネットワークOをもって学習データxを変調して第1変調済みの学習データx1’を生成させる。そして、学習装置100は、(i)第1変調済みの学習データx1’を第1ラーニングネットワークF1に入力して、第1ラーニングネットワークF1をもって(i-1)第1ラーニングネットワークF1の第1学習されたパラメータを利用して、第1変調済みの学習データx1’に対してネットワーク演算を適用させて(i-2)第1変調済みの学習データx1’に対応する第1_1特性情報F1(x1’)を出力させるプロセス、及び(ii)学習データxを第1ラーニングネットワークF1に入力して、第1ラーニングネットワークF1をもって(ii-1)第1学習されたパラメータを利用して、学習データxに対してネットワーク演算を適用させて(ii-2)学習データxに対応する第2_1特性情報F1(x)を出力させるプロセスを遂行するか、他の装置をもって遂行するように支援することができる。以後、学習装置100は、(i)(i-1)第1_1特性情報F1(x1’)と第2_1特性情報F1(x)とを参照して取得された少なくとも一つの第(1_1)_1エラーと、(i-2)第1_1特性情報F1(x’)を利用して生成された少なくとも一つの第1タスク特定出力と、これに対応する少なくとも一つの第1原本正解とを参照して取得された少なくとも一つの第(1_2)_1エラーとのうち少なくとも一部を参照して算出された少なくとも一つの第1_1エラーを最小化し、(ii)判別器Dに入力された第1変調済みの学習データx1’に対応する少なくとも一つの第1変調済みの学習データスコアである少なくとも一つの第2_1エラーを最大化するように、変調ネットワークOを学習して、変調ネットワークOが第1学習された変調ネットワークO1になるようにすることができる。そして、学習装置100は、判別器Dに入力された変換学習データまたは変調済みの変換学習データに対応する少なくとも一つの第1変換学習データスコアまたは少なくとも一つの第1変調済みの変換学習データスコアを最大化し、少なくとも一つの第1変調済みの学習データスコアを最小化するように、判別器Dを学習して判別器Dが第1学習された判別器D1になるようにすることができる。
【0100】
そして、学習装置100は、整数であるkを2からnまで増加させていき、前記のプロセスを繰り返して第nラーニングネットワークFnまで遂行することによって、第n学習された変調ネットワークOnを取得することができるようになる。
【0101】
すなわち、学習装置100は、学習データxを第k-1学習された変調ネットワークO(k-1)に入力して、第k-1変調ネットワークO(k-1)をもって学習データxを変調して第k変調済みの学習データxk’を生成させる。そして、学習装置100は、(i)第k変調済みの学習データxk’を第kラーニングネットワークFkに入力して、第kラーニングネットワークFkをもって第kラーニングネットワークFkの少なくとも一つの第k学習されたパラメータを利用して、第k変調済みの学習データxk’に対してネットワーク演算を適用させて第k変調済みの学習データxk’に対応する第1_k特性情報Fk(xk’)を出力させ、(ii)学習データxを第kラーニングネットワークFkに入力して、第kラーニングネットワークFkをもって第k学習されたパラメータを利用して、学習データxに対してネットワーク演算を適用させて学習データxに対応する第2_k特性情報Fk(xk)を出力させることができる。以後、学習装置100は、(i)(i-1)第1_k特性情報Fk(xk’)と第2_k特性情報Fk(x)とを参照して取得された少なくとも一つの第(1_1)_kエラーと、(i-2)第1_k特性情報Fk(x’)を利用して生成された少なくとも一つの第kタスク特定出力と、これに対応する少なくとも一つの第k原本正解とを参照して取得された少なくとも一つの(1_2)kエラーとのうち少なくとも一部を参照して算出された少なくとも一つの第1_kエラーを最小化し、(ii)第k-1学習された判別器D(k-1)に入力された第k変調済みの学習データxk’に対応する少なくとも一つの第k変調済みの学習データスコアである少なくとも一つの第2_kエラーを最大化するように、第k-1学習された変調ネットワークO(k-1)を学習して、第k-1学習された変調ネットワークO(k-1)が第k学習された変調ネットワークOkになるようにすることができる。そして、学習装置100は、第k-1学習された判別器D(k-1)に入力された変換学習データまたは変調済みの変換学習データに対応する少なくとも一つの第k変換学習データスコアまたは少なくとも一つの第k変調済みの変換学習データスコアを最大化し、少なくとも一つの第k変調済みの学習データスコアを最小化するように、第k-1学習された判別器D(k-1)を学習して、第k-1学習された判別器D(k-1)が第k学習された判別器Dkになるようにすることができる。
【0102】
図6は、本発明の一実施例にしたがって学習された変調ネットワークOをテストするテスト装置を簡略に示したものである。
【0103】
図6を参照すると、本発明の一実施例によるテスト装置200は、ラーニングネットワークで変調済みのテストデータを利用して算出された結果がテストデータを利用して算出された結果と同一又は類似するように学習させた、学習された変調ネットワークをテストするためのインストラクションが格納されたメモリ210と、メモリ210に格納されたインストラクションにしたがって学習された変調ネットワークをテストするプロセスを遂行するプロセッサ220とを含むことができる。
【0104】
具体的に、テスト装置200は、少なくとも一つのコンピューティング装置(例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素;ルータ、スイッチなどのような電子通信装置;ネットワーク接続ストレージ(NAS)及びストレージ領域ネットワーク(SAN)のような電子情報ストレージシステム)とコンピュータソフトウェア(すなわち、コンピューティング装置をもって特定の方式で機能させるインストラクション)との組み合わせを利用して所望のシステム性能を一般的に達成するものであり得る。
【0105】
また、コンピューティング装置のプロセッサは、MPU(Micro Processing Unit)またはCPU(Central Processing Unit)、キャッシュメモリ(Cache Memory)、データバス(Data Bus)などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
【0106】
しかし、コンピューティング装置が、本発明を実施するためのプロセッサ、メモリ、ミディアム又は他のコンピューティング要素の任意の組み合わせを含む統合プロセッサを排除するものではない。
【0107】
一方、学習装置が(i)学習データを変調ネットワークに入力して、変調ネットワークをもって学習データを変調して変調済みの学習データを生成させ、(ii)変調済みの学習データを学習されたパラメータを有するラーニングネットワークに入力して、ラーニングネットワークをもって学習されたパラメータを利用して、変調済みの学習データに対してネットワーク演算を適用させて変調済みの学習データに対応する第1特性情報を生成させ、学習データをラーニングネットワークに入力して、ラーニングネットワークをもって学習されたパラメータを利用して、学習データに対してネットワーク演算を適用させて学習データに対応する第2特性情報を生成させ、(iii)(iii-1)第1特性情報と第2特性情報とを参照して取得された第1_1エラーと、(iii-2)第1特性情報を利用して生成されたタスク特定出力と、これに対応する原本正解とを参照して取得された第1_2エラーとのうち少なくとも一部を参照して算出された第1エラーを最小化し、学習データと変調済みの学習データとを参照して取得された第2エラーを最大化するように、変調ネットワークを学習した状態で、テストデータが取得されると、メモリ210に格納されたインストラクションにしたがってプロセッサ220が、テストデータを変調ネットワークに入力して変調ネットワークをもって変調ネットワークの学習されたパラメータを利用してテストデータを変調させて変調済みのテストデータを出力させ、変調済みのテストデータをテストデータのコンシーリング処理済みのデータとして取得することができる。
【0108】
また、学習装置が、(i)学習データを変調ネットワークに入力して、変調ネットワークをもって学習データを変調して変調済みの学習データを生成させ、(ii)変調済みの学習データを学習されたパラメータを有するラーニングネットワークに入力して、ラーニングネットワークをもって学習されたパラメータを利用して、変調済みの学習データに対してネットワーク演算を適用させて変調済みの学習データに対応する第1特性情報を生成させ、学習データをラーニングネットワークに入力して、ラーニングネットワークをもって学習されたパラメータを利用して、学習データに対してネットワーク演算を適用させて学習データに対応する第2特性情報を生成させ、(iii)(iii-1)第1特性情報と第2特性情報とを参照して取得した第1_1エラーと、(iii-2)第1特性情報を利用して生成されたタスク特定出力と、これに対応する原本正解とを参照して取得された第1_2エラーとのうち少なくとも一部を参照して算出された第1エラーを最小化し、入力されるデータが本物であるか偽物であるかを判別する判別器に入力された変調済みの学習データに対応する変調済みの学習データスコアである第2エラーを最大化するように、変調ネットワークを学習するとともに、(iv)判別器に入力された変換学習データまたは変調済みの変換学習データに対応する変換学習データスコアまたは変調済みの変換学習データスコアを最大化し、変調済みの学習データスコアを最小化するように、判別器を学習した状態で、テストデータが取得されると、メモリ210に格納されたインストラクションにしたがってプロセッサ220がテストデータを変調ネットワークに入力して、変調ネットワークをもって変調ネットワークの学習されたパラメータを利用してテストデータを変調して変調済みのテストデータを出力させて、変調済みのテストデータをテストデータのコンシーリング処理済みのデータとして取得することができる。
【0109】
図7は、本発明の一実施例にしたがって学習された変調ネットワークをテストする方法を簡略に示したものである。
【0110】
図7を参照すると、テスト装置200が、ラーニングネットワークにおいて原本データを利用して生成された結果と同一又は類似した変調済みのデータを出力するように、原本データを変調するように学習された変調ネットワークOにテストデータ(例えば、
図7の左側にある原本イメージ)を入力して、変調ネットワークOをもって学習されたパラメータにしたがってテストデータを変調させて、変調済みのテストデータ(例えば、
図7の右側にある変調済みのイメージ)を出力させる。
【0111】
参考までに、
図7は、カナダ高等研究所(CIFAR:Canadian Institute for Advanced Research)においてイメージ分類の問題解決のために収集して整理したデータである、CIFAR-10データセットから選定された64個のイメージサンプルを例示的に示す図面である。
【0112】
図7の左側にあるイメージサンプルを原本データとして、本発明の実施例にしたがってコンシーリング処理した変調済みのデータは
図7の右側のように示される。
【0113】
図7を参照すると、本発明の実施例にしたがってコンシーリング処理済みの
図7の右側にある64個の変調済みデータは、
図7の左側にある64個の原本データとは視覚的に異なるものの、ラーニングネットワークに入力する場合、ラーニングネットワークは原本データと同一又は類似した結果を出力する。
【0114】
一方、学習された変調ネットワークOは、
図2ないし
図5の説明のような方法により学習された状態であり得る。
【0115】
すなわち、学習装置は、(i)学習データを変調ネットワークに入力して、変調ネットワークをもって学習データを変調して変調済みの学習データを生成させ、(ii)変調済みの学習データを学習されたパラメータを有するラーニングネットワークに入力して、ラーニングネットワークをもって学習されたパラメータを利用して、変調済みの学習データに対してネットワーク演算を適用させて変調済みの学習データに対応する第1特性情報を生成させ、学習データをラーニングネットワークに入力して、ラーニングネットワークをもって学習されたパラメータを利用して、学習データに対してネットワーク演算を適用させて学習データに対応する第2特性情報を生成させ、(iii)(iii-1)第1特性情報と第2特性情報とを参照して取得された第1_1エラーと、(iii-2)第1特性情報を利用して生成されたタスク特定出力と、これに対応する原本正解とを参照して取得された第1_2エラーとのうち少なくとも一部を参照して算出された第1エラーを最小化し、学習データと変調済みの学習データとを参照して取得された第2エラーを最大化するように、変調ネットワークOを学習した状態であり得る。
【0116】
また、前記において、ラーニングネットワークはそれぞれ第1学習されたパラメータないし第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、学習装置は、(i)変調済みの学習データを第1ラーニングネットワークないし第nラーニングネットワークそれぞれに入力して、それぞれの第1ラーニングネットワークないし第nラーニングネットワークをもって(i-1)第1ラーニングネットワークないし第nラーニングネットワークそれぞれの第1学習されたパラメータないし第n学習されたパラメータを利用して、変調済みの学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(i-2)変調済みの学習データに対応するそれぞれの第1_1特性情報ないし第1_n特性情報を出力させ、(ii)学習データを第1ラーニングネットワークないし第nラーニングネットワークそれぞれに入力して、それぞれの第1ラーニングネットワークないし第nラーニングネットワークをもって(ii-1)第1ラーニングネットワークないし第nラーニングネットワークそれぞれの第1学習されたパラメータないし第n学習されたパラメータを利用して、学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(ii-2)学習データに対するそれぞれの第2_1特性情報ないし第2_n特性情報を出力させ、(iii)(iii-1)(iii-1a)第1_1特性情報と第2_1特性情報とを参照して取得された第(1_1)_1エラーないし第1_n特性情報と第2_n特性情報とを参照して取得された第(1_1)_nエラーの平均である第1_1エラーと、(iii-1b)第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、これに対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーないし前記第1_n特性情報を利用して生成された少なくとも一つの第nタスク特定出力と、これに対応する少なくとも一つの第n原本正解とを参照して取得された第(1_2)_nエラーの平均である第1_2エラーとのうち少なくとも一部を参照して算出された第1エラーを最小化し、(iii-2)学習データと変調済みの学習データとを参照して算出された第2エラーを最大化するように、変調ネットワークを学習させた状態であり得る。
【0117】
そして、学習装置は、(i)学習データを変調ネットワークに入力して、変調ネットワークをもって学習データを変調して変調済みの学習データを生成させ、(ii)変調済みの学習データを学習されたパラメータを有するラーニングネットワークに入力して、ラーニングネットワークをもって学習されたパラメータを利用して、変調済みの学習データに対してネットワーク演算を適用させて変調済みの学習データに対応する第1特性情報を生成させ、学習データをラーニングネットワークに入力して、ラーニングネットワークをもって学習されたパラメータを利用して、学習データに対してネットワーク演算を適用させて学習データに対応する第2特性情報を生成させ、(iii)(iii-1)第1_1特性情報と第2_1特性情報とを参照して取得された第(1_1)_1エラーないし第1_n特性情報と第2_n特性情報とを参照して取得された第(1_1)_nエラーの平均である第1_1エラーと、(iii-2)第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、これに対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーないし第1_n特性情報を利用して生成された少なくとも一つの第nタスク特定出力と、これに対応する少なくとも一つの第n原本正解とを参照して取得された第(1_2)_nエラーの平均である前記第1_2エラーとのうち少なくとも一部を参照して算出された第1エラーを最小化し、入力されるデータが本物であるか偽物であるかを判別する判別器に入力された変調済みの学習データに対応する変調済みの学習データスコアである第2エラーを最大化するように、変調ネットワークOを学習させるとともに、(iv)判別器に入力された変換学習データまたは変調済みの変換学習データに対応する変換学習データスコアまたは変調済みの変換学習データスコアを最大化し、変調済みの学習データスコアを最小化するように、判別器を学習した状態であり得る。
【0118】
また、前記において、ラーニングネットワークは、それぞれ第1学習されたパラメータないし第n学習されたパラメータを有する第1ラーニングネットワークないし第nラーニングネットワークを含み、学習装置は、(i)変調済みの学習データを第1ラーニングネットワークないし第nラーニングネットワークそれぞれに入力して、それぞれの第1ラーニングネットワークないし第nラーニングネットワークをもって(i-1)第1ラーニングネットワークないし第nラーニングネットワークそれぞれの第1学習されたパラメータないし第n学習されたパラメータを利用して、変調済みの学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(i-2)変調済みの学習データに対するそれぞれの第1_1特性情報ないし第1_n特性情報を出力させ、(ii)学習データを第1ラーニングネットワークないし第nラーニングネットワークそれぞれに入力して、それぞれの第1ラーニングネットワークないし第nラーニングネットワークをもって(ii-1)第1ラーニングネットワークないし第nラーニングネットワークそれぞれの第1学習されたパラメータないし第n学習されたパラメータを利用して、学習データに対してそれぞれのネットワークに対応するネットワーク演算を適用させて(ii-2)学習データに対するそれぞれの第2_1特性情報ないし第2_n特性情報を出力させ、(iii)(iii-1)(iii-1a)第1_1特性情報と第2_1特性情報とを参照して取得された第(1_1)_1エラーないし前記第1_n特性情報と前記第2_n特性情報とを参照して取得された第(1_1)_nエラーの平均である第1_1エラーと、(iii-1b)第1_1特性情報を利用して生成された少なくとも一つの第1タスク特定出力と、これに対応する少なくとも一つの第1原本正解とを参照して取得された第(1_2)_1エラーないし前記第1_n特性情報を利用して生成された少なくとも一つの第nタスク特定出力と、これに対応する少なくとも一つの第n原本正解とを参照して取得された第(1_2)_nエラーの平均である前記第1_2エラーとのうち少なくとも一部を参照して算出された第1エラーを最小化し、(iii-2)判別器に入力された変調済みの学習データに対応する変調済みの学習データスコアである第2エラーを最大化するように、変調ネットワークを学習し、(iv)判別器に入力された変換学習データまたは変調済みの変換学習データに対応する変換学習データスコア又は変調済みの変換学習データスコアを最大化し、変調済みの学習データスコアを最小化するように、判別器を学習した状態であり得る。
【0119】
一方、本発明の実施例にしたがって学習された変調ネットワークにおいて、コンシーリング処理された変換済みのデータは、イメージビッグデータの購入者に対して提供または販売され得る。
【0120】
また、本発明の一実施例によると、前記購入者に対してコンシーリング処理されたイメージデータが提供または販売されるとともに、学習された変調ネットワークをテストする方法が、多様なコンピュータ構成要素を通じて実行され得るプログラムインストラクションの形態で具現されて、コンピュータ読取り可能な記録媒体に格納されて提供され得る。本発明の一実施例によると、購入者は、記録媒体に格納されたプログラムインストラクションをコンピューティング装置を利用して実行することによって、自らが別途に保有しているか他の出処から取得された原本データからコンシーリング処理されたデータを生成することができ、コンシーリング処理されたデータを自らのラーニングネットワークで利用することが可能となる。また、購入者は、そのコンシーリング処理されたデータ、自らが保有しているか他の出処から取得された原本イメージデータ、及び自らに提供又は販売されたコンシーリング処理済みのイメージデータのうち少なくとも二つ以上を自らのラーニングネットワークにおいて共に使用することも可能になる。
【0121】
一方、本発明の一実施例によると、学習された変調ネットワークをテストする方法を多様なコンピュータ構成要素を通じて実行され得るプログラムインストラクションの形態で具現した場合、正確度が高く設定されて購入者のコンピューティング装置においてはコンピューティングオーバーヘッド(Computational Overhead)を発生させることができるため、購入者が設定を通じて正確度を低減させることができるようにして、コンピューティングオーバーヘッドを防止し得るようにすることが可能になる。
【0122】
一方、本明細書に明示された「平均」は、加重平均(Weighted Average)を意味するが、これに限定されるわけではない。
【0123】
以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて実行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD-ROM、DVDのような光記録媒体、フロプティカルディスク(Floptical Disk)のような磁気-光メディア(Magneto-Optical Media)、及びROM、RAM、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【0124】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
【0125】
したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【符号の説明】
【0126】
110:メモリ
120:プロセッサ
200:テスト装置
210:メモリ
220:プロセッサ