知財求人 - 知財ポータルサイト「IP Force」
特許7201847セレクティブディープジェネラティブリプレーモジュールを使用してディープニューラルネットワークモデルに対する調整可能な連続学習を遂行する方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-26
(45)【発行日】2023-01-10
(54)【発明の名称】セレクティブディープジェネラティブリプレーモジュールを使用してディープニューラルネットワークモデルに対する調整可能な連続学習を遂行する方法及び装置
(51)【国際特許分類】
G06N 3/08 20230101AFI20221227BHJP
【ＦＩ】
G06N3/08
【請求項の数】
20
(21)【出願番号】P 2021572691
(86)(22)【出願日】2021-04-14
(65)【公表番号】
(43)【公表日】2022-09-12
(86)【国際出願番号】 KR2021004696
(87)【国際公開番号】W WO2021235701
(87)【国際公開日】2021-11-25
【審査請求日】2021-12-09
(31)【優先権主張番号】63/028,779
(32)【優先日】2020-05-22
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/136,847
(32)【優先日】2020-12-29
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】517038176
【氏名又は名称】株式会社ストラドビジョン
【氏名又は名称原語表記】ＳＴＲＡＤＶＩＳＩＯＮ，ＩＮＣ．
【住所又は居所原語表記】Ｓｕｉｔｅ ３０４－３０８，５ｔｈ Ｖｅｎｔｕｒｅ－ｄｏｎｇ，３９４，Ｊｉｇｏｋ－ｒｏ，Ｎａｍ－ｇｕ，Ｐｏｈａｎｇ－ｓｉ，Ｇｙｅｏｎｇｓａｎｇｂｕｋ－ｄｏ ３７６６８ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100120628
【弁理士】
【氏名又は名称】岩田 慎一
(72)【発明者】
【氏名】夫 碩▲くん▼
(72)【発明者】
【氏名】權 成顔
(72)【発明者】
【氏名】金 鎔重
(72)【発明者】
【氏名】柳 宇宙
【審査官】千葉 久博
(56)【参考文献】
【文献】特開２０２０－６８０３５（ＪＰ，Ａ）
【文献】特開２０１９－３２８０８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／００３４７９８（ＵＳ，Ａ１）
【文献】熊谷亘，“汎用性の獲得に向けた機械学習フレームワーク”，人工知能，日本，（一社）人工知能学会，2019年09月01日，第34巻, 第5号，p.720-727
【文献】村田健悟, 外2名，“継続学習の安定性向上のためのＧｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙの改善”，研究報告バイオ情報学（ＢＩＯ），日本，情報処理学会，2019年06月10日，第2019-BIO-58巻, 第46号，p.1-8
【文献】Hanul Shin, 外1名，"Continual Learning with Deep Generative Replay"，arXiv:1705.08690v1，2017年05月24日，[検索日 令和4年12月5日], インターネット＜ＵＲＬ:https://arxiv.org/pdf/1705.08690v1.pdf＞
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０８
(57)【特許請求の範囲】
【請求項1】
セレクティブディープジェネラティブリプレーモジュール（Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）を使用してディープニューラルネットワークモデルに対する調整可能な連続学習（ａｄｊｕｓｔａｂｌｅ ｃｏｎｔｉｎｕａｌ ｌｅａｒｎｉｎｇ）を遂行する方法において、（ａ）全体データベースからの第１の学習用データと前記全体データベースのサブセット（ｓｕｂｓｅｔ）であるサブデータベースからの第２の学習用データとが獲得されると、学習装置が、前記第１の学習用データと前記第２の学習用データとをセレクティブディープジェネラティブリプレーモジュール（Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）に入力して前記セレクティブディープジェネラティブリプレーモジュールをもって（ｉ）前記セレクティブディープジェネラティブリプレーモジュールに位置した分布分析機（Ｄｉｓｔｒｉｂｕｔｉｏｎ Ａｎａｌｙｚｅｒ）を通じて前記第１の学習用データに対応する第１の学習用低次元分布フィーチャー（ｆｉｒｓｔ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｆｏｒ ｔｒａｉｎｉｎｇ）（前記第１の学習用低次元分布フィーチャーは、前記第１の学習用データより低い次元を持っている）と前記第２の学習用データに対応する第２の学習用低次元分布フィーチャー（ｓｅｃｏｎｄ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｆｏｒ ｔｒａｉｎｉｎｇ）（前記第２の学習用低次元分布フィーチャーは、前記第２の学習用データより低い次元を持っている）とを生成するようにし、（ｉｉ）前記セレクティブディープジェネラティブリプレーモジュールに位置したダイナミックバイナリ生成器（Ｄｙｎａｍｉｃ Ｂｉｎａｒｙ Ｇｅｎｅｒａｔｏｒ）から生成された学習用バイナリ、前記セレクティブディープジェネラティブリプレーモジュールに位置したランダムパラメータ生成器（Ｒａｎｄｏｍ Ｐａｒａｍｅｔｅｒ Ｇｅｎｅｒａｔｏｒ）から生成された学習用ランダムパラメータ、及び前記第２の学習用低次元分布フィーチャーを前記セレクティブディープジェネラティブリプレーモジュールに位置したデータ生成器（Ｄａｔａ Ｇｅｎｅｒａｔｏｒ）に入力して、前記データ生成器を通じて前記学習用バイナリ及び前記学習用ランダムパラメータによって前記第２の学習用低次元分布フィーチャーに対応する第３の学習用データを生成するようにし、（ｉｉｉ）前記第１の学習用データを前記セレクティブディープジェネラティブリプレーモジュールに位置したソルバー（Ｓｏｌｖｅｒ）に入力して、前記ソルバーを通じてディープラーニングによる前記第１の学習用データをラベリングした学習用ラベリングデータを出力させるプロセスを遂行したり、遂行するように支援する段階；
（ｂ）前記学習装置が前記第１の学習用データ、前記第２の学習用データ、前記第１の学習用低次元分布フィーチャー、前記第２の学習用低次元分布フィーチャー、前記第３の学習用データ及び前記学習用バイナリを弁別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）に入力して、前記弁別器をもって前記学習用バイナリに対応し、第１の学習用データスコア、第２の学習用データスコア、第１の分布フィーチャースコア（ｆｉｒｓｔ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、第２の分布フィーチャースコア（ｓｅｃｏｎｄ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、及び第３の学習用データスコアを出力させるプロセスを遂行したり、遂行するように支援する段階；及び
（ｃ）前記学習装置が、（ｉ）前記第２の学習用データスコア、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第１の弁別ロス、前記第１の学習用データスコア、前記第１の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第２の弁別ロス、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第１の生成ロス、及び前記第１の分布フィーチャースコア、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第２の生成ロスを生成して、前記データ生成器をもって前記学習用バイナリが第１バイナリ値である場合は、前記第２の学習用低次元分布フィーチャーの平均及び分散を基準にして決まる各学習用データしきい値の範囲内の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記第３の学習用データを生成するようにし、前記学習用バイナリが第２バイナリ値である場合は、前記第２の学習用低次元分布フィーチャーの前記平均及び前記分散を基準にして決まる前記各学習用データしきい値の範囲外の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記第３の学習用データを生成するように前記弁別器、前記データ生成器及び前記分布分析機を学習させ、（ｉｉ）前記学習用ラベリングデータとこれに対応される原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照してソルバーロス（Ｓｏｌｖｅｒ ｌｏｓｓ）をさらに生成し、前記ソルバーロスを利用して前記ソルバーをさらに学習させるプロセスを遂行したり、遂行するように支援する段階；
を含む方法。
【請求項2】
前記（ｃ）段階において、前記学習装置は前記学習用バイナリ値を参照して、（ｉ）前記学習用バイナリが第１バイナリ値である場合、前記第１の弁別ロスを利用して前記弁別器と前記分布分析機とを学習させ、前記第１の生成ロスを利用して前記データ生成器と前記分布分析機とを学習させ、（ｉｉ）前記学習用バイナリが第２バイナリ値である場合、前記第２の弁別ロスを利用して前記弁別器と前記分布分析機とを学習させ、前記第２の生成ロスを利用して前記データ生成器と前記分布分析機とを学習させるプロセスを遂行したり、遂行するように支援することを特徴とする請求項１に記載の方法。
【請求項3】
前記学習装置は（ｉ）前記第１の弁別ロスと前記第２の弁別ロスとをそれぞれ利用して前記弁別器と前記分布分析機とを学習させる時、前記データ生成器の第１パラメータを固定した状態で学習を進め、（ｉｉ）前記第１の生成ロスと前記第２の生成ロスとをそれぞれ利用して前記データ生成器と前記分布分析機とを学習させる時、前記弁別器の第２パラメータを固定した状態で学習を進めるプロセスを遂行したり、遂行するように支援することを特徴とする請求項２に記載の方法。
【請求項4】
前記データ生成器は少なくとも一つのエンコーディングレイヤー及び少なくとも一つのデコーディングレイヤーを含むことを特徴とする請求項１に記載の方法。
【請求項5】
セレクティブディープジェネラティブリプレーモジュール（Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）を使用してディープニューラルネットワークモデルに対する調整可能な連続学習（ａｄｊｕｓｔａｂｌｅ ｃｏｎｔｉｎｕａｌ ｌｅａｒｎｉｎｇ）を遂行する方法において、（ａ）学習装置によって、全体データベースからの第１の学習用データと前記全体データベースのサブセット（ｓｕｂｓｅｔ）であるサブデータベースからの第２の学習用データとが獲得されると、前記学習装置が、前記第１の学習用データと前記第２の学習用データとをセレクティブディープジェネラティブリプレーモジュール（Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）に入力して、前記セレクティブディープジェネラティブリプレーモジュールをもって（Ｉ）（ｉ）前記セレクティブディープジェネラティブリプレーモジュールに位置した分布分析機（Ｄｉｓｔｒｉｂｕｔｉｏｎ Ａｎａｌｙｚｅｒ）を通じて前記第１の学習用データに対応する第１の学習用低次元分布フィーチャー（ｆｉｒｓｔ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｆｏｒ ｔｒａｉｎｉｎｇ）（前記第１の学習用低次元分布フィーチャーは、前記第１の学習用データより低い次元を持っている）と前記第２の学習用データに対応する第２の学習用低次元分布フィーチャー（ｓｅｃｏｎｄ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｆｏｒ ｔｒａｉｎｉｎｇ）（前記第２の学習用低次元分布フィーチャーは、前記第２の学習用データより低い次元を持っている）とを生成するようにし、（ｉｉ）前記セレクティブディープジェネラティブリプレーモジュールに位置したダイナミックバイナリ生成器（Ｄｙｎａｍｉｃ Ｂｉｎａｒｙ Ｇｅｎｅｒａｔｏｒ）から生成された学習用バイナリ、前記セレクティブディープジェネラティブリプレーモジュールに位置したランダムパラメータ生成器（Ｒａｎｄｏｍ Ｐａｒａｍｅｔｅｒ Ｇｅｎｅｒａｔｏｒ）から生成された学習用ランダムパラメータ、及び前記第２の学習用低次元分布フィーチャーを前記セレクティブディープジェネラティブリプレーモジュールに位置したデータ生成器（Ｄａｔａ Ｇｅｎｅｒａｔｏｒ）に入力して、前記データ生成器を通じて前記学習用バイナリ及び前記学習用ランダムパラメータによって前記第２の学習用低次元分布フィーチャーに対応する第３の学習用データを生成するようにし、（ｉｉｉ）前記第１の学習用データを前記セレクティブディープジェネラティブリプレーモジュールに位置したソルバー（Ｓｏｌｖｅｒ）に入力して、前記ソルバーを通じてディープラーニングによる前記第１の学習用データをラベリングした学習用ラベリングデータを出力させるプロセスを遂行したり、遂行するように支援する段階；（ＩＩ）前記第１の学習用データ、前記第２の学習用データ、前記第１の学習用低次元分布フィーチャー、前記第２の学習用低次元分布フィーチャー、前記第３の学習用データ及び前記学習用バイナリを弁別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）に入力して、前記弁別器をもって前記学習用バイナリに対応し、第１の学習用データスコア、第２の学習用データスコア、第１の分布フィーチャースコア（ｆｉｒｓｔ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、第２の分布フィーチャースコア（ｓｅｃｏｎｄ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、及び第３の学習用データスコアを出力させるプロセスを遂行したり、遂行するように支援する段階；及び（ＩＩＩ）（ｉ）前記第２の学習用データスコア、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第１の弁別ロス、前記第１の学習用データスコア、前記第１の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第２の弁別ロス、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第１の生成ロス、及び前記第１の分布フィーチャースコア、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第２の生成ロスを生成して、前記データ生成器をもって前記学習用バイナリが第１バイナリ値である場合は、前記第２の学習用低次元分布フィーチャーの平均及び分散を基準にして決まる各学習用データしきい値の範囲内の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記第３の学習用データを生成するようにし、前記学習用バイナリが第２バイナリ値である場合は、前記第２の学習用低次元分布フィーチャーの前記平均及び前記分散を基準にして決まる前記各学習用データしきい値の範囲外の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記第３の学習用データを生成するように前記弁別器、前記データ生成器及び前記分布分析機を学習させ、（ｉｉ）前記学習用ラベリングデータとこれに対応される原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照してソルバーロス（Ｓｏｌｖｅｒ ｌｏｓｓ）をさらに生成し、前記ソルバーロスを利用して前記ソルバーをさらに学習させるプロセスを遂行したり、遂行するように支援した状態で、連続学習装置が新たに収集された新規データベースから新規データを獲得するプロセスを遂行したり、遂行するように支援する段階；及び
（ｂ）前記連続学習装置が前記新規データを前記セレクティブディープジェネラティブリプレーモジュールに入力して、前記セレクティブディープジェネラティブリプレーモジュールをもって（ｉ）前記分布分析機を通じて前記新規データに対応する新規低次元分布フィーチャー（ｎｅｗ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ）（前記新規低次元分布フィーチャーは、前記新規データより低い次元を持っている）を生成するようにし、（ｉｉ）前記ダイナミックバイナリ生成器から生成されたテスト用バイナリ、前記ランダムパラメータ生成器から生成されたテスト用ランダムパラメータ、及び前記新規低次元分布フィーチャーを前記データ生成器に入力して、前記データ生成器を通じて前記テスト用バイナリ及び前記テスト用ランダムパラメータによって前記新規低次元分布フィーチャーに対応するテスト用データ（前記テスト用データは前記テスト用バイナリが第１バイナリ値である場合、前記新規低次元分布フィーチャーの平均及び分散を基準にして決まる各テスト用データしきい値の範囲内の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む第１の再生成データ（ｆｉｒｓｔ ｒｅｇｅｎｅｒａｔｉｏｎ ｄａｔａ）、前記テスト用バイナリが第２バイナリ値である場合、前記新規低次元分布フィーチャーの前記平均及び前記分散を基準にして決まる前記各テスト用データしきい値の範囲外の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む第２の再生成データ（ｓｅｃｏｎｄ ｒｅｇｅｎｅｒａｔｉｏｎ ｄａｔａ）を含む）を生成するようにし、（ｉｉｉ）前記テスト用データを前記ソルバーに入力して、前記ソルバーを通じて前記テスト用データをラベリングしたテスト用ラベリングデータを出力させるプロセスを遂行したり、遂行するように支援する段階；
を含む方法。
【請求項6】
（ｃ）前記セレクティブディープジェネラティブリプレーモジュールを複製して旧セレクティブディープジェネラティブリプレーモジュール（ｏｌｄ ｓｅｌｅｃｔｉｖｅ ｄｅｅｐ ｇｅｎｅｒａｔｉｖｅ ｒｅｐｌａｙ ｍｏｄｕｌｅ）を生成し、前記第１の学習用低次元分布フィーチャーと前記第２の学習用低次元分布フィーチャーとの少なくとも一部を含む旧低次元分布フィーチャー（ｏｌｄ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ）を前記旧セレクティブディープジェネラティブリプレーモジュールに入力して、前記旧セレクティブディープジェネラティブリプレーモジュールをもって前記旧低次元分布フィーチャーに対応される旧データ及び前記旧データに対応される旧ラベリングデータを生成するようにした状態で、前記連続学習装置が、（ｉ）前記旧データ、前記新規データ、前記旧低次元分布フィーチャー、前記新規低次元分布フィーチャー、前記テスト用データ、及び前記テスト用バイナリを前記弁別器に入力して、前記弁別器をもって前記テスト用バイナリに対応して、旧データスコア、新規データスコア、旧分布フィーチャースコア（ｏｌｄ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、新規分布フィーチャースコア（ｎｅｗ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、及びテスト用データスコアを出力させるプロセスと（ｉｉ）前記旧データ及び前記新規データを前記ソルバーに入力して、前記ソルバーをもってディープラーニングによる前記旧データ及び前記新規データをラベリングした新規ラベリングデータを出力させるプロセスとを遂行したり、遂行するように支援する段階；及び（ｄ）前記連続学習装置が、（ｉ）前記新規データスコア、前記新規分布フィーチャースコア及び前記テスト用データスコアを参照した第１の新規弁別ロス、前記旧データスコア、前記旧分布フィーチャースコア及び前記テスト用データスコアを参照した第２の新規弁別ロス、前記新規分布フィーチャースコア及び前記テスト用データスコアを参照した第１の新規生成ロス、及び前記旧分布フィーチャースコア、前記新規分布フィーチャースコア及び前記テスト用データスコアを参照した第２の新規生成ロスを生成して、前記データ生成器をもって前記テスト用バイナリが第１バイナリ値である場合は、前記新規低次元分布フィーチャーの前記平均及び前記分散を基準にして決まる前記各テスト用データしきい値の範囲内の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記テスト用データを生成するようにし、前記テスト用バイナリが第２バイナリ値である場合は、前記新規低次元分布フィーチャーの前記平均及び前記分散を基準にして決まる前記各テスト用データしきい値の範囲外の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記テスト用データを生成するように前記弁別器、前記データ生成器及び前記分布分析機を学習させ、（ｉｉ）前記新規ラベリングデータと前記旧ラベリングデータとを参照して新規ソルバーロス（ｎｅｗ Ｓｏｌｖｅｒ ｌｏｓｓ）を生成して、前記新規ソルバーロスを利用して前記ソルバーを学習させるプロセスを遂行したり、遂行するように支援する段階；
をさらに含む請求項５に記載の方法。
【請求項7】
前記（ｂ）段階において、前記連続学習装置は前記ダイナミックバイナリ生成器をもって前記テスト用バイナリを生成するようにし、前記第１の再生成データと前記第２の再生成データとの生成の割合を設定したデータ生成の割合を前記ダイナミックバイナリ生成器に入力して、前記ダイナミックバイナリ生成器をもってデータ生成の割合によって前記第１の再生成データを生成するための第１バイナリ値及び、前記第２の再生成データを生成するための第２バイナリ値に対する前記テスト用バイナリを生成させるプロセスを遂行したり、遂行するように支援することを特徴とする請求項５に記載の方法。
【請求項8】
前記（ｄ）段階において、前記連続学習装置は前記テスト用バイナリ値を参照して、（ｉ）前記テスト用バイナリが第１バイナリ値である場合、前記第１の新規弁別ロスを利用して前記弁別器と前記分布分析機とを学習させ、前記第１の新規生成ロスを利用して前記データ生成器と前記分布分析機とを学習させ、（ｉｉ）前記テスト用バイナリが第２バイナリ値である場合、前記第２の新規弁別ロスを利用して前記弁別器と前記分布分析機とを学習させ、前記第２の新規生成ロスを利用して前記データ生成器と前記分布分析機とを学習させるプロセスを遂行したり、遂行するように支援することを特徴とする請求項６に記載の方法。
【請求項9】
前記連続学習装置は（ｉ）前記第１の新規弁別ロスと前記第２の新規弁別ロスとをそれぞれ利用して前記弁別器と前記分布分析機とを学習させる時、前記データ生成器の第１パラメータを固定した状態で学習を進め、（ｉｉ）前記第１の新規生成ロスと前記第２の新規生成ロスとをそれぞれ利用して前記データ生成器と前記分布分析機とを学習させる時、前記弁別器の第２パラメータを固定した状態で学習を進めるプロセスを遂行したり、遂行するように支援することを特徴とする請求項８に記載の方法。
【請求項10】
前記データ生成器は少なくとも一つのエンコーディングレイヤー及び少なくとも一つのデコーディングレイヤーを含むことを特徴とする請求項５に記載の方法。
【請求項11】
セレクティブディープジェネラティブリプレーモジュール（Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）を使用してディープニューラルネットワークモデルに対する調整可能な連続学習（ａｄｊｕｓｔａｂｌｅ ｃｏｎｔｉｎｕａｌ ｌｅａｒｎｉｎｇ）を遂行する学習装置であって、インストラクションを格納する少なくとも一つのメモリ；及び
前記インストラクションを行うために構成された少なくとも一つのプロセッサ；を含み、
前記プロセッサが、（Ｉ）全体データベースからの第１の学習用データと前記全体データベースのサブセット（ｓｕｂｓｅｔ）であるサブデータベースからの第２の学習用データとが獲得されると、前記第１の学習用データと前記第２の学習用データとをセレクティブディープジェネラティブリプレーモジュール（Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）に入力して、前記セレクティブディープジェネラティブリプレーモジュールをもって（ｉ）前記セレクティブディープジェネラティブリプレーモジュールに位置した分布分析機（Ｄｉｓｔｒｉｂｕｔｉｏｎ Ａｎａｌｙｚｅｒ）を通じて前記第１の学習用データに対応する第１の学習用低次元分布フィーチャー（ｆｉｒｓｔ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｆｏｒ ｔｒａｉｎｉｎｇ）（前記第１の学習用低次元分布フィーチャーは、前記第１の学習用データより低い次元を持っている）と前記第２の学習用データに対応する第２の学習用低次元分布フィーチャー（ｓｅｃｏｎｄ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｆｏｒ ｔｒａｉｎｉｎｇ）（前記第２の学習用低次元分布フィーチャーは、前記第２の学習用データより低い次元を持っている）とを生成するようにし、（ｉｉ）前記セレクティブディープジェネラティブリプレーモジュールに位置したダイナミックバイナリ生成器（Ｄｙｎａｍｉｃ Ｂｉｎａｒｙ Ｇｅｎｅｒａｔｏｒ）から生成された学習用バイナリ、前記セレクティブディープジェネラティブリプレーモジュールに位置したランダムパラメータ生成器（Ｒａｎｄｏｍ Ｐａｒａｍｅｔｅｒ Ｇｅｎｅｒａｔｏｒ）から生成された学習用ランダムパラメータ、及び前記第２の学習用低次元分布フィーチャーを前記セレクティブディープジェネラティブリプレーモジュールに位置したデータ生成器（Ｄａｔａ Ｇｅｎｅｒａｔｏｒ）に入力して、前記データ生成器を通じて前記学習用バイナリ及び前記学習用ランダムパラメータによって前記第２の学習用低次元分布フィーチャーに対応する第３の学習用データを生成するようにし、（ｉｉｉ）前記第１の学習用データを前記セレクティブディープジェネラティブリプレーモジュールに位置したソルバー（Ｓｏｌｖｅｒ）に入力して、前記ソルバーを通じてディープラーニングによる前記第１の学習用データをラベリングした学習用ラベリングデータを出力させるプロセスを遂行したり、遂行するように支援するプロセス；（ＩＩ）前記第１の学習用データ、前記第２の学習用データ、前記第１の学習用低次元分布フィーチャー、前記第２の学習用低次元分布フィーチャー、前記第３の学習用データ及び前記学習用バイナリを弁別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）に入力して、前記弁別器をもって前記学習用バイナリに対応し、第１の学習用データスコア、第２の学習用データスコア、第１の分布フィーチャースコア（ｆｉｒｓｔ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、第２の分布フィーチャースコア（ｓｅｃｏｎｄ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、及び第３の学習用データスコアを出力させるプロセスを遂行したり、遂行するように支援するプロセス；及び（ＩＩＩ）（ｉ）前記第２の学習用データスコア、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第１の弁別ロス、前記第１の学習用データスコア、前記第１の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第２の弁別ロス、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第１の生成ロス、及び前記第１の分布フィーチャースコア、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第２の生成ロスを生成して、前記データ生成器をもって前記学習用バイナリが第１バイナリ値である場合は、前記第２の学習用低次元分布フィーチャーの平均及び分散を基準にして決まる各学習用データしきい値の範囲内の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記第３の学習用データを生成するようにし、前記学習用バイナリが第２バイナリ値である場合は、前記第２の学習用低次元分布フィーチャーの前記平均及び前記分散を基準にして決まる前記各学習用データしきい値の範囲外の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記第３の学習用データを生成するように、前記弁別器、前記データ生成器及び前記分布分析機を学習させ、（ｉｉ）前記学習用ラベリングデータとこれに対応される原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照してソルバーロス（Ｓｏｌｖｅｒ ｌｏｓｓ）をさらに生成して、前記ソルバーロスを利用して前記ソルバーをさらに学習させるプロセスを遂行したり、遂行するように支援するプロセス；を含む学習装置。
【請求項12】
前記（ＩＩＩ）プロセスにおいて、前記プロセッサは前記学習用バイナリ値を参照して、（ｉ）前記学習用バイナリが第１バイナリ値である場合、前記第１の弁別ロスを利用して前記弁別器と前記分布分析機とを学習させ、前記第１の生成ロスを利用して前記データ生成器と前記分布分析機とを学習させ、（ｉｉ）前記学習用バイナリが第２バイナリ値である場合、前記第２の弁別ロスを利用して前記弁別器と前記分布分析機とを学習させ、前記第２の生成ロスを利用して前記データ生成器と前記分布分析機とを学習させるプロセスを遂行したり、遂行するように支援することを特徴とする請求項１１に記載の学習装置。
【請求項13】
前記プロセッサは、（ｉ）前記第１の弁別ロスと前記第２の弁別ロスとをそれぞれ利用して前記弁別器と前記分布分析機とを学習させる時、前記データ生成器の第１パラメータを固定した状態で学習を進め、（ｉｉ）前記第１の生成ロスと前記第２の生成ロスとをそれぞれ利用して前記データ生成器と前記分布分析機とを学習させる時、前記弁別器の第２パラメータを固定した状態で学習を進めるプロセスを遂行したり、遂行するように支援することを特徴とする請求項１２に記載の学習装置。
【請求項14】
前記データ生成器は、少なくとも一つのエンコーディングレイヤー及び少なくとも一つのデコーディングレイヤーを含むことを特徴とする請求項１１に記載の学習装置。
【請求項15】
セレクティブディープジェネラティブリプレーモジュール（Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）を使用してディープニューラルネットワークモデルに対する調整可能な連続学習（ａｄｊｕｓｔａｂｌｅ ｃｏｎｔｉｎｕａｌ ｌｅａｒｎｉｎｇ）を遂行する連続学習装置であって、インストラクションを格納する少なくとも一つのメモリ；及び
前記インストラクションを行うために構成された少なくとも一つのプロセッサ；を含み、
前記プロセッサが、（Ｉ）学習装置によって、全体データベースからの第１の学習用データと前記全体データベースのサブセット（ｓｕｂｓｅｔ）であるサブデータベースからの第２の学習用データとが獲得されると、前記学習装置が前記第１の学習用データと前記第２の学習用データとをセレクティブディープジェネラティブリプレーモジュール（Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）に入力して、前記セレクティブディープジェネラティブリプレーモジュールをもって（ｉ）（ｉ‐１）前記セレクティブディープジェネラティブリプレーモジュールに位置した分布分析機（Ｄｉｓｔｒｉｂｕｔｉｏｎ Ａｎａｌｙｚｅｒ）を通じて前記第１の学習用データに対応する第１の学習用低次元分布フィーチャー（ｆｉｒｓｔ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｆｏｒ ｔｒａｉｎｉｎｇ）（前記第１の学習用低次元分布フィーチャーは、前記第１の学習用データより低い次元を持っている）と前記第２の学習用データに対応する第２の学習用低次元分布フィーチャー（ｓｅｃｏｎｄ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｆｏｒ ｔｒａｉｎｉｎｇ）（前記第２の学習用低次元分布フィーチャーは、前記第２の学習用データより低い次元を持っている）とを生成するようにし、（ｉ‐２）前記セレクティブディープジェネラティブリプレーモジュールに位置したダイナミックバイナリ生成器（Ｄｙｎａｍｉｃ Ｂｉｎａｒｙ Ｇｅｎｅｒａｔｏｒ）から生成された学習用バイナリ、前記セレクティブディープジェネラティブリプレーモジュールに位置したランダムパラメータ生成器（Ｒａｎｄｏｍ Ｐａｒａｍｅｔｅｒ Ｇｅｎｅｒａｔｏｒ）から生成された学習用ランダムパラメータ、及び前記第２の学習用低次元分布フィーチャーを前記セレクティブディープジェネラティブリプレーモジュールに位置したデータ生成器（Ｄａｔａ Ｇｅｎｅｒａｔｏｒ）に入力して、前記データ生成器を通じて前記学習用バイナリ及び前記学習用ランダムパラメータによって前記第２の学習用低次元分布フィーチャーに対応する第３の学習用データを生成するようにし、（ｉ‐３）前記第１の学習用データを前記セレクティブディープジェネラティブリプレーモジュールに位置したソルバー（Ｓｏｌｖｅｒ）に入力して、前記ソルバーを通じてディープラーニングによる前記第１の学習用データをラベリングした学習用ラベリングデータを出力させるプロセスを遂行したり、遂行するように支援するプロセス；（ｉｉ）前記第１の学習用データ、前記第２の学習用データ、前記第１の学習用低次元分布フィーチャー、前記第２の学習用低次元分布フィーチャー、前記第３の学習用データ及び前記学習用バイナリを弁別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）に入力して、前記弁別器をもって前記学習用バイナリに対応し、第１の学習用データスコア、第２の学習用データスコア、第１の分布フィーチャースコア（ｆｉｒｓｔ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、第２の分布フィーチャースコア（ｓｅｃｏｎｄ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、及び第３の学習用データスコアを出力させるプロセスを遂行したり、遂行するように支援するプロセス；及び（ｉｉｉ）（ｉｉｉ‐１）前記第２の学習用データスコア、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第１の弁別ロス、前記第１の学習用データスコア、前記第１の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第２の弁別ロス、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第１の生成ロス、及び前記第１の分布フィーチャースコア、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第２の生成ロスを生成して、前記データ生成器をもって前記学習用バイナリが第１バイナリ値である場合は、前記第２の学習用低次元分布フィーチャーの平均及び分散を基準にして決まる各学習用データしきい値の範囲内の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記第３の学習用データを生成するようにし、前記学習用バイナリが第２バイナリ値である場合は、前記第２の学習用低次元分布フィーチャーの前記平均及び前記分散を基準にして決まる前記各学習用データしきい値の範囲外の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記第３の学習用データを生成するように前記弁別器、前記データ生成器及び前記分布分析機を学習させ、（ｉｉｉ‐２）前記学習用ラベリングデータとこれに対応される原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照してソルバーロス（Ｓｏｌｖｅｒ ｌｏｓｓ）をさらに生成して、前記ソルバーロスを利用して前記ソルバーをさらに学習させるプロセスを遂行したり、遂行するように支援した状態で、新たに収集された新規データベースから新規データを獲得するプロセスを遂行したり、遂行するように支援するプロセス；及び（ＩＩ）前記新規データを前記セレクティブディープジェネラティブリプレーモジュールに入力して、前記セレクティブディープジェネラティブリプレーモジュールをもって（ｉ）前記分布分析機を通じて前記新規データに対応する新規低次元分布フィーチャー（ｎｅｗ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ）（前記新規低次元分布フィーチャーは、前記新規データより低い次元を持っている）を生成するようにし、（ｉｉ）前記ダイナミックバイナリ生成器から生成されたテスト用バイナリ、前記ランダムパラメータ生成器から生成されたテスト用ランダムパラメータ、及び前記新規低次元分布フィーチャーを前記データ生成器に入力して、前記データ生成器を通じて前記テスト用バイナリ及び前記テスト用ランダムパラメータによって前記新規低次元分布フィーチャーに対応するテスト用データ（前記テスト用データは前記テスト用バイナリが第１バイナリ値である場合、前記新規低次元分布フィーチャーの平均及び分散を基準にして決まる各テスト用データしきい値の範囲内の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む第１の再生成データ（ｆｉｒｓｔ ｒｅｇｅｎｅｒａｔｉｏｎ ｄａｔａ）、前記テスト用バイナリが第２バイナリ値である場合、前記新規低次元分布フィーチャーの前記平均及び前記分散を基準にして決まる前記各テスト用データしきい値の範囲外の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む第２の再生成データ（ｓｅｃｏｎｄ ｒｅｇｅｎｅｒａｔｉｏｎ ｄａｔａ）を含む）を生成するようにし、（ｉｉｉ）前記テスト用データを前記ソルバーに入力して、前記ソルバーを通じて前記テスト用データをラベリングしたテスト用ラベリングデータを出力させるプロセスを遂行したり、遂行するように支援するプロセス；を含む連続学習装置。
【請求項16】
（ＩＩＩ）前記セレクティブディープジェネラティブリプレーモジュールを複製して旧セレクティブディープジェネラティブリプレーモジュール（ｏｌｄ ｓｅｌｅｃｔｉｖｅ ｄｅｅｐ ｇｅｎｅｒａｔｉｖｅ ｒｅｐｌａｙ ｍｏｄｕｌｅ）を生成し、前記第１の学習用低次元分布フィーチャーと前記第２の学習用低次元分布フィーチャーの少なくとも一部を含む旧低次元分布フィーチャー（ｏｌｄ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ）を前記旧セレクティブディープジェネラティブリプレーモジュールに入力して、前記旧セレクティブディープジェネラティブリプレーモジュールをもって前記旧低次元分布フィーチャーに対応される旧データ及び前記旧データに対応される旧ラベリングデータを生成させた状態で、前記プロセッサが、（ｉ）前記旧データ、前記新規データ、前記旧低次元分布フィーチャー、前記新規低次元分布フィーチャー、前記テスト用データ、及び前記テスト用バイナリを前記弁別器に入力して、前記弁別器をもって前記テスト用バイナリに対応し、旧データスコア、新規データスコア、旧分布フィーチャースコア（ｏｌｄ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、新規分布フィーチャースコア（ｎｅｗ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、及びテスト用データスコアを出力させるプロセスと（ｉｉ）前記旧データ及び前記新規データを前記ソルバーに入力して、前記ソルバーをもってディープラーニングによる前記旧データ及び前記新規データをラベリングした新規ラベリングデータを出力させるプロセスを遂行したり、遂行するように支援するプロセス；及び（ＩＶ）前記プロセッサが、（ｉ）前記新規データスコア、前記新規分布フィーチャースコア及び前記テスト用データスコアを参照した第１の新規弁別ロス、前記旧データスコア、前記旧分布フィーチャースコア及び前記テスト用データスコアを参照した第２の新規弁別ロス、前記新規分布フィーチャースコア及び前記テスト用データスコアを参照した第１の新規生成ロス、及び前記旧分布フィーチャースコア、前記新規分布フィーチャースコア及び前記テスト用データスコアを参照した第２の新規生成ロスを生成して、前記データ生成器をもって前記テスト用バイナリが第１バイナリ値である場合は、前記新規低次元分布フィーチャーの前記平均及び前記分散を基準にして決まる前記各テスト用データしきい値の範囲内の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記テスト用データを生成するようにし、前記テスト用バイナリが第２バイナリ値である場合は、前記新規低次元分布フィーチャーの前記平均及び前記分散を基準にして決まる前記各テスト用データしきい値の範囲外の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記テスト用データを生成するように前記弁別器、前記データ生成器及び前記分布分析機を学習させ、（ｉｉ）前記新規ラベリングデータと前記旧ラベリングデータとを参照して新規ソルバーロス（ｎｅｗ Ｓｏｌｖｅｒ ｌｏｓｓ）を生成して、前記新規ソルバーロスを利用して前記ソルバーを学習させるプロセスを遂行したり、遂行するように支援するプロセス；
さらに含む請求項１５に記載の連続学習装置。
【請求項17】
前記（ＩＩ）プロセスにおいて、前記プロセッサは前記ダイナミックバイナリ生成器をもって前記テスト用バイナリを生成させ、前記第１の再生成データと前記第２の再生成データの生成の割合を設定したデータ生成の割合を前記ダイナミックバイナリ生成器に入力して、前記ダイナミックバイナリ生成器がデータ生成の割合によって前記第１の再生成データを生成するための第１バイナリ値及び、前記第２の再生成データを生成するための第２バイナリ値に対する前記テスト用バイナリを生成させるプロセスを遂行したり、遂行するように支援することを特徴とする請求項１５に記載の連続学習装置。
【請求項18】
前記（ＩＶ）プロセスにおいて、前記プロセッサは前記テスト用バイナリ値を参照して、（ｉ）前記テスト用バイナリが第１バイナリ値である場合、前記第１の新規弁別ロスを利用して前記弁別器と前記分布分析機とを学習させ、前記第１の新規生成ロスを利用して前記データ生成器と前記分布分析機とを学習させ、（ｉｉ）前記テスト用バイナリが第２バイナリ値である場合、前記第２の新規弁別ロスを利用して前記弁別器と前記分布分析機とを学習させ、前記第２の新規生成ロスを利用して前記データ生成器と前記分布分析機とを学習させるプロセスを遂行したり、遂行するように支援することを特徴とする請求項１６に記載の連続学習装置。
【請求項19】
前記プロセッサは（ｉ）前記第１の新規弁別ロスと前記第２の新規弁別ロスとをそれぞれ利用して前記弁別器と前記分布分析機とを学習させる時、前記データ生成器の第１パラメータを固定した状態で学習を進め、（ｉｉ）前記第１の新規生成ロスと前記第２の新規生成ロスとをそれぞれ利用して前記データ生成器と前記分布分析機とを学習させる時、前記弁別器の第２パラメータを固定した状態で学習を進めるプロセスを遂行したり、遂行するように支援することを特徴とする請求項１８に記載の連続学習装置。
【請求項20】
前記データ生成器は、少なくとも一つのエンコーディングレイヤー及び少なくとも一つのデコーディングレイヤーを含むことを特徴とする請求項１５に記載の連続学習装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は２０２０年５月２２日出願された米国特許出願第６３／０２８，７７９号と２０２０年１２月２９日出願された米国特許出願第１７／１３６，８４７号に対する優先権を主張し、これは本願に参照として組み込まれる。
【0002】
本発明はディープニューラルネットワークモデルに対する連続学習（ｃｏｎｔｉｎｕａｌ ｌｅａｒｎｉｎｇ）を遂行する方法及び装置に係り、より詳細には、Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ（ＧＡＮ；敵対的生成ネットワーク）を活用したデータベースリプレーモジュール（Ｄａｔａｂａｓｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）であるセレクティブディープジェネラティブリプレーモジュール（Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）を通じてディープニューラルネットワークモデルに対する調整可能な連続学習（ａｄｊｕｓｔａｂｌｅ ｃｏｎｔｉｎｕａｌ ｌｅａｒｎｉｎｇ）を遂行する方法及び学習装置に関する。
【背景技術】
【0003】
ディープラーニングを適用したニューラルネットワークモデルでは、既存データベースと新規データベースとを反映したニューラルネットワークモデルの持続的な学習のために多様な連続学習（Ｃｏｎｔｉｎｕａｌ Ｌｅａｒｎｉｎｇ）技法が適用される。
【0004】
ここで、効果的な連続学習を遂行するためには、特定ドメインの問題に対してデータベースが蓄積され続ける状況で効率的にニューラルネットワークモデルを学習させるためのメカニズムが必要である。
【0005】
図１は、通常的な従来連続学習の方法に対する構成を簡略に示している。
【0006】
図１を参照すれば、従来の調整可能な連続学習方法では既存タスクに対して既存データベースを利用して学習させた既存モデルがある状況で、新しいタスクとこれに対応する新規データベースが与えられると、既存モデルを既存データベースと新規データベースとをいずれも利用して学習させることで既存タスクとともに新しいタスクも遂行することができる新規モデルを生成する。
【0007】
しかし、従来の調整可能な連続学習方法では、特定タスクに対する漸進的な学習を遂行するためにデータベースが持続的に増えるしかなく、これによってデータを格納するに必要な格納容量も増えるしかない問題がある。
【0008】
また、従来の調整可能な連続学習方法では、漸進的な学習を遂行するためにデータベースが持続的に増えることによって該当データベースに対するニューラルネットワークモデルの学習を遂行するに必要な時間もともに増加して、段々学習効率が落ちるという問題が存在する。
【0009】
なお、図１で示すように、新規データベースが入力されることによってニューラルネットワークモデルに要求されるタスクが変わる場合、与えられた新しいタスクに合うように学習を調節することができる方法も必要であるが、従来の調整可能な連続学習方法は柔軟に学習方式を調整することができない。例えば、ニューラルネットワークモデルが車両でイメージクラシフィケーション（ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ）するために利用されると、これに合うように既存ニューラルネットワークモデルはジェネラルロードマップ（ｇｅｎｅｒａｌ ｒｏａｄ ｍａｐ）に対するレーンディテクション（ｌａｎｅ ｄｅｔｅｃｔｉｏｎ）の正確度を高めるように学習される。以後、学習が持続的に進められることによって、例えば、ハイウェイ（ｈｉｇｈｗａｙ）での速いレーンディテクション（ｌａｎｅ ｄｅｔｅｃｔｉｏｎ）が学習の新しいタスクで与えられることがあるが、このような状況で従来の調整可能な連続学習方法は新しいタスクに合わせて既存データと新しいデータとの学習参加の割合を調整するなど、効率的に学習方式を調律することができる代案が不足している。
【0010】
したがって、前記問題点を解決するための改善方案が要求される実情である。
【発明の概要】
【発明が解決しようとする課題】
【0011】
本発明は上述した問題点を全て解決することをその目的とする。
【0012】
また、本発明はニューラルネットワークモデル（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｍｏｄｅｌ）の学習に利用された全体既存データベース（ｅｘｉｓｔｉｎｇ ｄａｔａｂａｓｅ）を格納する代わりにセレクティブディープジェネラティブリプレーモジュール（Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）のみを格納することで既存データベースを格納するに必要な格納空間を減らすことを目的とする。
【0013】
また、本発明は全体既存データベースと全体新規データベース（ｎｅｗ ｄａｔａｂａｓｅ）とを利用して学習する代わりにセレクティブディープジェネラティブリプレーモジュールを利用して一定量のデータを生成してニューラルネットワークモデルを学習させることで学習に要される時間を減らすことをまた他の目的とする。
【0014】
また、本発明は既存データベース全体を格納して全体既存データベースと全体新規データベースとを利用してニューラルネットワークモデルを学習させる代わりにＧｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ（ＧＡＮ；敵対的生成ネットワーク）を活用したセレクティブディープジェネラティブリプレーモジュールを利用して新規データベースの分布と類似するデータと類似しないデータとを選択的な割合で生成してニューラルネットワークモデルを学習させることで、与えられたタスクに最適化されたニューラルネットワークモデルを生成することをまた他の目的とする。
【課題を解決するための手段】
【0015】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は下記の通りである。
【0016】
本発明の一態様によると、セレクティブディープジェネラティブリプレーモジュール（Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）を使用してディープニューラルネットワークモデルに対する調整可能な連続学習（ａｄｊｕｓｔａｂｌｅ ｃｏｎｔｉｎｕａｌ ｌｅａｒｎｉｎｇ）を遂行する方法において、（ａ）全体データベースからの第１の学習用データと前記全体データベースのサブセット（ｓｕｂｓｅｔ）であるサブデータベースからの第２の学習用データとが獲得されると、学習装置が、前記第１の学習用データと前記第２の学習用データとをセレクティブディープジェネラティブリプレーモジュール（Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）に入力して前記セレクティブディープジェネラティブリプレーモジュールをもって（ｉ）前記セレクティブディープジェネラティブリプレーモジュールに位置した分布分析機（Ｄｉｓｔｒｉｂｕｔｉｏｎ Ａｎａｌｙｚｅｒ）を通じて前記第１の学習用データに対応する第１の学習用低次元分布フィーチャー（ｆｉｒｓｔ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｆｏｒ ｔｒａｉｎｉｎｇ）（前記第１の学習用低次元分布フィーチャーは、前記第１の学習用データより低い次元を持っている）と前記第２の学習用データに対応する第２の学習用低次元分布フィーチャー（ｓｅｃｏｎｄ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｆｏｒ ｔｒａｉｎｉｎｇ）（前記第２の学習用低次元分布フィーチャーは、前記第２の学習用データより低い次元を持っている）とを生成するようにし、（ｉｉ）前記セレクティブディープジェネラティブリプレーモジュールに位置したダイナミックバイナリ生成器（Ｄｙｎａｍｉｃ Ｂｉｎａｒｙ Ｇｅｎｅｒａｔｏｒ）から生成された学習用バイナリ、前記セレクティブディープジェネラティブリプレーモジュールに位置したランダムパラメータ生成器（Ｒａｎｄｏｍ Ｐａｒａｍｅｔｅｒ Ｇｅｎｅｒａｔｏｒ）から生成された学習用ランダムパラメータ、及び前記第２の学習用低次元分布フィーチャーを前記セレクティブディープジェネラティブリプレーモジュールに位置したデータ生成器（Ｄａｔａ Ｇｅｎｅｒａｔｏｒ）に入力して、前記データ生成器を通じて前記学習用バイナリ及び前記学習用ランダムパラメータによって前記第２の学習用低次元分布フィーチャーに対応する第３の学習用データを生成するようにし、（ｉｉｉ）前記第１の学習用データを前記セレクティブディープジェネラティブリプレーモジュールに位置したソルバー（Ｓｏｌｖｅｒ）に入力して、前記ソルバーを通じてディープラーニングによる前記第１の学習用データをラベリングした学習用ラベリングデータを出力させるプロセスを遂行したり、遂行するように支援する段階；（ｂ）前記学習装置が前記第１の学習用データ、前記第２の学習用データ、前記第１の学習用低次元分布フィーチャー、前記第２の学習用低次元分布フィーチャー、前記第３の学習用データ及び前記学習用バイナリを弁別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）に入力して、前記弁別器をもって前記学習用バイナリに対応し、第１の学習用データスコア、第２の学習用データスコア、第１の分布フィーチャースコア（ｆｉｒｓｔ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、第２の分布フィーチャースコア（ｓｅｃｏｎｄ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、及び第３の学習用データスコアを出力させるプロセスを遂行したり、遂行するように支援する段階；及び（ｃ）前記学習装置が、（ｉ）前記第２の学習用データスコア、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第１の弁別ロス、前記第１の学習用データスコア、前記第１の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第２の弁別ロス、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第１の生成ロス、及び前記第１の分布フィーチャースコア、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第２の生成ロスを生成して、前記データ生成器をもって前記学習用バイナリが第１バイナリ値である場合は、前記第２の学習用低次元分布フィーチャーの平均及び分散を基準にして決まる各学習用データしきい値の範囲内の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記第３の学習用データを生成するようにし、前記学習用バイナリが第２バイナリ値である場合は、前記第２の学習用低次元分布フィーチャーの前記平均及び前記分散を基準にして決まる前記各学習用データしきい値の範囲外の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記第３の学習用データを生成するように前記弁別器、前記データ生成器及び前記分布分析機を学習させ、（ｉｉ）前記学習用ラベリングデータとこれに対応される原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照してソルバーロス（Ｓｏｌｖｅｒ ｌｏｓｓ）をさらに生成し、前記ソルバーロスを利用して前記ソルバーをさらに学習させるプロセスを遂行したり、遂行するように支援する段階；を含む方法が開示される。
【0017】
一例として、前記（ｃ）段階において、前記学習装置は前記学習用バイナリ値を参照して、（ｉ）前記学習用バイナリが第１バイナリ値である場合、前記第１の弁別ロスを利用して前記弁別器と前記分布分析機とを学習させ、前記第１の生成ロスを利用して前記データ生成器と前記分布分析機とを学習させ、（ｉｉ）前記学習用バイナリが第２バイナリ値である場合、前記第２の弁別ロスを利用して前記弁別器と前記分布分析機とを学習させ、前記第２の生成ロスを利用して前記データ生成器と前記分布分析機とを学習させるプロセスを遂行したり、遂行するように支援することを特徴とする方法が開示される。
【0018】
一例として、前記学習装置は（ｉ）前記第１の弁別ロスと前記第２の弁別ロスとをそれぞれ利用して前記弁別器と前記分布分析機とを学習させる時、前記データ生成器の第１パラメータを固定した状態で学習を進め、（ｉｉ）前記第１の生成ロスと前記第２の生成ロスとをそれぞれ利用して前記データ生成器と前記分布分析機とを学習させる時、前記弁別器の第２パラメータを固定した状態で学習を進めるプロセスを遂行したり、遂行するように支援することを特徴とする方法が開示される。
【0019】
一例として、前記データ生成器は少なくとも一つのエンコーディングレイヤー及び少なくとも一つのデコーディングレイヤーを含むことを特徴とする方法が開示される。
【0020】
本発明の他の態様によると、セレクティブディープジェネラティブリプレーモジュール（Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）を使用してディープニューラルネットワークモデルに対する調整可能な連続学習（ａｄｊｕｓｔａｂｌｅ ｃｏｎｔｉｎｕａｌ ｌｅａｒｎｉｎｇ）を遂行する方法において、（ａ）学習装置によって、全体データベースからの第１の学習用データと前記全体データベースのサブセット（ｓｕｂｓｅｔ）であるサブデータベースからの第２の学習用データとが獲得されると、前記学習装置が、前記第１の学習用データと前記第２の学習用データとをセレクティブディープジェネラティブリプレーモジュール（Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）に入力して、前記セレクティブディープジェネラティブリプレーモジュールをもって（Ｉ）（ｉ）前記セレクティブディープジェネラティブリプレーモジュールに位置した分布分析機（Ｄｉｓｔｒｉｂｕｔｉｏｎ Ａｎａｌｙｚｅｒ）を通じて前記第１の学習用データに対応する第１の学習用低次元分布フィーチャー（ｆｉｒｓｔ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｆｏｒ ｔｒａｉｎｉｎｇ）（前記第１の学習用低次元分布フィーチャーは、前記第１の学習用データより低い次元を持っている）と前記第２の学習用データに対応する第２の学習用低次元分布フィーチャー（ｓｅｃｏｎｄ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｆｏｒ ｔｒａｉｎｉｎｇ）（前記第２の学習用低次元分布フィーチャーは、前記第２の学習用データより低い次元を持っている）とを生成するようにし、（ｉｉ）前記セレクティブディープジェネラティブリプレーモジュールに位置したダイナミックバイナリ生成器（Ｄｙｎａｍｉｃ Ｂｉｎａｒｙ Ｇｅｎｅｒａｔｏｒ）から生成された学習用バイナリ、前記セレクティブディープジェネラティブリプレーモジュールに位置したランダムパラメータ生成器（Ｒａｎｄｏｍ Ｐａｒａｍｅｔｅｒ Ｇｅｎｅｒａｔｏｒ）から生成された学習用ランダムパラメータ、及び前記第２の学習用低次元分布フィーチャーを前記セレクティブディープジェネラティブリプレーモジュールに位置したデータ生成器（Ｄａｔａ Ｇｅｎｅｒａｔｏｒ）に入力して、前記データ生成器を通じて前記学習用バイナリ及び前記学習用ランダムパラメータによって前記第２の学習用低次元分布フィーチャーに対応する第３の学習用データを生成するようにし、（ｉｉｉ）前記第１の学習用データを前記セレクティブディープジェネラティブリプレーモジュールに位置したソルバー（Ｓｏｌｖｅｒ）に入力して、前記ソルバーを通じてディープラーニングによる前記第１の学習用データをラベリングした学習用ラベリングデータを出力させるプロセスを遂行したり、遂行するように支援する段階；（ＩＩ）前記第１の学習用データ、前記第２の学習用データ、前記第１の学習用低次元分布フィーチャー、前記第２の学習用低次元分布フィーチャー、前記第３の学習用データ及び前記学習用バイナリを弁別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）に入力して、前記弁別器をもって前記学習用バイナリに対応し、第１の学習用データスコア、第２の学習用データスコア、第１の分布フィーチャースコア（ｆｉｒｓｔ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、第２の分布フィーチャースコア（ｓｅｃｏｎｄ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、及び第３の学習用データスコアを出力させるプロセスを遂行したり、遂行するように支援する段階；及び（ＩＩＩ）（ｉ）前記第２の学習用データスコア、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第１の弁別ロス、前記第１の学習用データスコア、前記第１の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第２の弁別ロス、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第１の生成ロス、及び前記第１の分布フィーチャースコア、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第２の生成ロスを生成して、前記データ生成器をもって前記学習用バイナリが第１バイナリ値である場合は、前記第２の学習用低次元分布フィーチャーの平均及び分散を基準にして決まる各学習用データしきい値の範囲内の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記第３の学習用データを生成するようにし、前記学習用バイナリが第２バイナリ値である場合は、前記第２の学習用低次元分布フィーチャーの前記平均及び前記分散を基準にして決まる前記各学習用データしきい値の範囲外の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記第３の学習用データを生成するように前記弁別器、前記データ生成器及び前記分布分析機を学習させ、（ｉｉ）前記学習用ラベリングデータとこれに対応される原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照してソルバーロス（Ｓｏｌｖｅｒ ｌｏｓｓ）をさらに生成し、前記ソルバーロスを利用して前記ソルバーをさらに学習させるプロセスを遂行したり、遂行するように支援した状態で、連続学習装置が新たに収集された新規データベースから新規データを獲得するプロセスを遂行したり、遂行するように支援する段階；及び（ｂ）前記連続学習装置が前記新規データを前記セレクティブディープジェネラティブリプレーモジュールに入力して、前記セレクティブディープジェネラティブリプレーモジュールをもって（ｉ）前記分布分析機を通じて前記新規データに対応する新規低次元分布フィーチャー（ｎｅｗ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ）（前記新規低次元分布フィーチャーは、前記新規データより低い次元を持っている）を生成するようにし、（ｉｉ）前記ダイナミックバイナリ生成器から生成されたテスト用バイナリ、前記ランダムパラメータ生成器から生成されたテスト用ランダムパラメータ、及び前記新規低次元分布フィーチャーを前記データ生成器に入力して、前記データ生成器を通じて前記テスト用バイナリ及び前記テスト用ランダムパラメータによって前記新規低次元分布フィーチャーに対応するテスト用データ（前記テスト用データは前記テスト用バイナリが第１バイナリ値である場合、前記新規低次元分布フィーチャーの平均及び分散を基準にして決まる各テスト用データしきい値の範囲内の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む第１の再生成データ（ｆｉｒｓｔ ｒｅｇｅｎｅｒａｔｉｏｎ ｄａｔａ）、前記テスト用バイナリが第２バイナリ値である場合、前記新規低次元分布フィーチャーの前記平均及び前記分散を基準にして決まる前記各テスト用データしきい値の範囲外の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む第２の再生成データ（ｓｅｃｏｎｄ ｒｅｇｅｎｅｒａｔｉｏｎ ｄａｔａ）を含む）を生成するようにし、（ｉｉｉ）前記テスト用データを前記ソルバーに入力して、前記ソルバーを通じて前記テスト用データをラベリングしたテスト用ラベリングデータを出力させるプロセスを遂行したり、遂行するように支援する段階；を含む方法が開示される。
【0021】
一例として、（ｃ）前記セレクティブディープジェネラティブリプレーモジュールを複製して旧セレクティブディープジェネラティブリプレーモジュール（ｏｌｄ ｓｅｌｅｃｔｉｖｅ ｄｅｅｐ ｇｅｎｅｒａｔｉｖｅ ｒｅｐｌａｙ ｍｏｄｕｌｅ）を生成し、前記第１の学習用低次元分布フィーチャーと前記第２の学習用低次元分布フィーチャーとの少なくとも一部を含む旧低次元分布フィーチャー（ｏｌｄ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ）を前記旧セレクティブディープジェネラティブリプレーモジュールに入力して、前記旧セレクティブディープジェネラティブリプレーモジュールをもって前記旧低次元分布フィーチャーに対応される旧データ及び前記旧データに対応される旧ラベリングデータを生成するようにした状態で、前記連続学習装置が、（ｉ）前記旧データ、前記新規データ、前記旧低次元分布フィーチャー、前記新規低次元分布フィーチャー、前記テスト用データ、及び前記テスト用バイナリを前記弁別器に入力して、前記弁別器をもって前記テスト用バイナリに対応して、旧データスコア、新規データスコア、旧分布フィーチャースコア（ｏｌｄ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、新規分布フィーチャースコア（ｎｅｗ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、及びテスト用データスコアを出力させるプロセスと（ｉｉ）前記旧データ及び前記新規データを前記ソルバーに入力して、前記ソルバーをもってディープラーニングによる前記旧データ及び前記新規データをラベリングした新規ラベリングデータを出力させるプロセスとを遂行したり、遂行するように支援する段階；及び（ｄ）前記連続学習装置が、（ｉ）前記新規データスコア、前記新規分布フィーチャースコア及び前記テスト用データスコアを参照した第１の新規弁別ロス、前記旧データスコア、前記旧分布フィーチャースコア及び前記テスト用データスコアを参照した第２の新規弁別ロス、前記新規分布フィーチャースコア及び前記テスト用データスコアを参照した第１の新規生成ロス、及び前記旧分布フィーチャースコア、前記新規分布フィーチャースコア及び前記テスト用データスコアを参照した第２の新規生成ロスを生成して、前記データ生成器をもって前記テスト用バイナリが第１バイナリ値である場合は、前記新規低次元分布フィーチャーの前記平均及び前記分散を基準にして決まる前記各テスト用データしきい値の範囲内の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記テスト用データを生成するようにし、前記テスト用バイナリが第２バイナリ値である場合は、前記新規低次元分布フィーチャーの前記平均及び前記分散を基準にして決まる前記各テスト用データしきい値の範囲外の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記テスト用データを生成するように前記弁別器、前記データ生成器及び前記分布分析機を学習させ、（ｉｉ）前記新規ラベリングデータと前記旧ラベリングデータとを参照して新規ソルバーロス（ｎｅｗ Ｓｏｌｖｅｒ ｌｏｓｓ）を生成して、前記新規ソルバーロスを利用して前記ソルバーを学習させるプロセスを遂行したり、遂行するように支援する段階；をさらに含む方法が開示される。
【0022】
一例として、前記（ｂ）段階において、前記連続学習装置は前記ダイナミックバイナリ生成器をもって前記テスト用バイナリを生成するようにし、前記第１の再生成データと前記第２の再生成データとの生成の割合を設定したデータ生成の割合を前記ダイナミックバイナリ生成器に入力して、前記ダイナミックバイナリ生成器をもってデータ生成の割合によって前記第１の再生成データを生成するための第１バイナリ値及び、前記第２の再生成データを生成するための第２バイナリ値に対する前記テスト用バイナリを生成させるプロセスを遂行したり、遂行するように支援することを特徴とする方法が開示される。
【0023】
一例として、前記（ｄ）段階において、前記連続学習装置は前記テスト用バイナリ値を参照して、（ｉ）前記テスト用バイナリが第１バイナリ値である場合、前記第１の新規弁別ロスを利用して前記弁別器と前記分布分析機とを学習させ、前記第１の新規生成ロスを利用して前記データ生成器と前記分布分析機とを学習させ、（ｉｉ）前記テスト用バイナリが第２バイナリ値である場合、前記第２の新規弁別ロスを利用して前記弁別器と前記分布分析機とを学習させ、前記第２の新規生成ロスを利用して前記データ生成器と前記分布分析機とを学習させるプロセスを遂行したり、遂行するように支援することを特徴とする方法が開示される。
【0024】
一例として、前記連続学習装置は（ｉ）前記第１の新規弁別ロスと前記第２の新規弁別ロスとをそれぞれ利用して前記弁別器と前記分布分析機とを学習させる時、前記データ生成器の第１パラメータを固定した状態で学習を進め、（ｉｉ）前記第１の新規生成ロスと前記第２の新規生成ロスとをそれぞれ利用して前記データ生成器と前記分布分析機とを学習させる時、前記弁別器の第２パラメータを固定した状態で学習を進めるプロセスを遂行したり、遂行するように支援することを特徴とする方法が開示される。
【0025】
一例として、前記データ生成器は少なくとも一つのエンコーディングレイヤー及び少なくとも一つのデコーディングレイヤーを含むことを特徴とする方法が開示される。
【0026】
本発明のまた他の態様によると、セレクティブディープジェネラティブリプレーモジュール（Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）を使用してディープニューラルネットワークモデルに対する調整可能な連続学習（ａｄｊｕｓｔａｂｌｅ ｃｏｎｔｉｎｕａｌ ｌｅａｒｎｉｎｇ）を遂行する学習装置であって、インストラクションを格納する少なくとも一つのメモリ；及び前記インストラクションを行うために構成された少なくとも一つのプロセッサ；を含み、前記プロセッサが、（Ｉ）全体データベースからの第１の学習用データと前記全体データベースのサブセット（ｓｕｂｓｅｔ）であるサブデータベースからの第２の学習用データとが獲得されると、前記第１の学習用データと前記第２の学習用データとをセレクティブディープジェネラティブリプレーモジュール（Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）に入力して、前記セレクティブディープジェネラティブリプレーモジュールをもって（ｉ）前記セレクティブディープジェネラティブリプレーモジュールに位置した分布分析機（Ｄｉｓｔｒｉｂｕｔｉｏｎ Ａｎａｌｙｚｅｒ）を通じて前記第１の学習用データに対応する第１の学習用低次元分布フィーチャー（ｆｉｒｓｔ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｆｏｒ ｔｒａｉｎｉｎｇ）（前記第１の学習用低次元分布フィーチャーは、前記第１の学習用データより低い次元を持っている）と前記第２の学習用データに対応する第２の学習用低次元分布フィーチャー（ｓｅｃｏｎｄ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｆｏｒ ｔｒａｉｎｉｎｇ）（前記第２の学習用低次元分布フィーチャーは、前記第２の学習用データより低い次元を持っている）とを生成するようにし、（ｉｉ）前記セレクティブディープジェネラティブリプレーモジュールに位置したダイナミックバイナリ生成器（Ｄｙｎａｍｉｃ Ｂｉｎａｒｙ Ｇｅｎｅｒａｔｏｒ）から生成された学習用バイナリ、前記セレクティブディープジェネラティブリプレーモジュールに位置したランダムパラメータ生成器（Ｒａｎｄｏｍ Ｐａｒａｍｅｔｅｒ Ｇｅｎｅｒａｔｏｒ）から生成された学習用ランダムパラメータ、及び前記第２の学習用低次元分布フィーチャーを前記セレクティブディープジェネラティブリプレーモジュールに位置したデータ生成器（Ｄａｔａ Ｇｅｎｅｒａｔｏｒ）に入力して、前記データ生成器を通じて前記学習用バイナリ及び前記学習用ランダムパラメータによって前記第２の学習用低次元分布フィーチャーに対応する第３の学習用データを生成するようにし、（ｉｉｉ）前記第１の学習用データを前記セレクティブディープジェネラティブリプレーモジュールに位置したソルバー（Ｓｏｌｖｅｒ）に入力して、前記ソルバーを通じてディープラーニングによる前記第１の学習用データをラベリングした学習用ラベリングデータを出力させるプロセスを遂行したり、遂行するように支援するプロセス；（ＩＩ）前記第１の学習用データ、前記第２の学習用データ、前記第１の学習用低次元分布フィーチャー、前記第２の学習用低次元分布フィーチャー、前記第３の学習用データ及び前記学習用バイナリを弁別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）に入力して、前記弁別器をもって前記学習用バイナリに対応し、第１の学習用データスコア、第２の学習用データスコア、第１の分布フィーチャースコア（ｆｉｒｓｔ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、第２の分布フィーチャースコア（ｓｅｃｏｎｄ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、及び第３の学習用データスコアを出力させるプロセスを遂行したり、遂行するように支援するプロセス；及び（ＩＩＩ）（ｉ）前記第２の学習用データスコア、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第１の弁別ロス、前記第１の学習用データスコア、前記第１の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第２の弁別ロス、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第１の生成ロス、及び前記第１の分布フィーチャースコア、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第２の生成ロスを生成して、前記データ生成器をもって前記学習用バイナリが第１バイナリ値である場合は、前記第２の学習用低次元分布フィーチャーの平均及び分散を基準にして決まる各学習用データしきい値の範囲内の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記第３の学習用データを生成するようにし、前記学習用バイナリが第２バイナリ値である場合は、前記第２の学習用低次元分布フィーチャーの前記平均及び前記分散を基準にして決まる前記各学習用データしきい値の範囲外の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記第３の学習用データを生成するように、前記弁別器、前記データ生成器及び前記分布分析機を学習させ、（ｉｉ）前記学習用ラベリングデータとこれに対応される原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照してソルバーロス（Ｓｏｌｖｅｒ ｌｏｓｓ）をさらに生成して、前記ソルバーロスを利用して前記ソルバーをさらに学習させるプロセスを遂行したり、遂行するように支援するプロセス；を含む学習装置が開示される。
【0027】
一例として、前記（ＩＩＩ）プロセスにおいて、前記プロセッサは前記学習用バイナリ値を参照して、（ｉ）前記学習用バイナリが第１バイナリ値である場合、前記第１の弁別ロスを利用して前記弁別器と前記分布分析機とを学習させ、前記第１の生成ロスを利用して前記データ生成器と前記分布分析機とを学習させ、（ｉｉ）前記学習用バイナリが第２バイナリ値である場合、前記第２の弁別ロスを利用して前記弁別器と前記分布分析機とを学習させ、前記第２の生成ロスを利用して前記データ生成器と前記分布分析機とを学習させるプロセスを遂行したり、遂行するように支援することを特徴とする学習装置が開示される。
【0028】
一例として、前記プロセッサは、（ｉ）前記第１の弁別ロスと前記第２の弁別ロスとをそれぞれ利用して前記弁別器と前記分布分析機とを学習させる時、前記データ生成器の第１パラメータを固定した状態で学習を進め、（ｉｉ）前記第１の生成ロスと前記第２の生成ロスとをそれぞれ利用して前記データ生成器と前記分布分析機とを学習させる時、前記弁別器の第２パラメータを固定した状態で学習を進めるプロセスを遂行したり、遂行するように支援することを特徴とする学習装置が開示される。
【0029】
一例として、前記データ生成器は、少なくとも一つのエンコーディングレイヤー及び少なくとも一つのデコーディングレイヤーを含むことを特徴とする学習装置が開示される。
【0030】
本発明のまた他の態様によると、セレクティブディープジェネラティブリプレーモジュール（Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）を使用してディープニューラルネットワークモデルに対する調整可能な連続学習（ａｄｊｕｓｔａｂｌｅ ｃｏｎｔｉｎｕａｌ ｌｅａｒｎｉｎｇ）を遂行する連続学習装置であって、インストラクションを格納する少なくとも一つのメモリ；及び前記インストラクションを行うために構成された少なくとも一つのプロセッサ；を含み、前記プロセッサが、（Ｉ）学習装置によって、全体データベースからの第１の学習用データと前記全体データベースのサブセット（ｓｕｂｓｅｔ）であるサブデータベースからの第２の学習用データとが獲得されると、前記学習装置が前記第１の学習用データと前記第２の学習用データとをセレクティブディープジェネラティブリプレーモジュール（Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）に入力して、前記セレクティブディープジェネラティブリプレーモジュールをもって（ｉ）（ｉ‐１）前記セレクティブディープジェネラティブリプレーモジュールに位置した分布分析機（Ｄｉｓｔｒｉｂｕｔｉｏｎ Ａｎａｌｙｚｅｒ）を通じて前記第１の学習用データに対応する第１の学習用低次元分布フィーチャー（ｆｉｒｓｔ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｆｏｒ ｔｒａｉｎｉｎｇ）（前記第１の学習用低次元分布フィーチャーは、前記第１の学習用データより低い次元を持っている）と前記第２の学習用データに対応する第２の学習用低次元分布フィーチャー（ｓｅｃｏｎｄ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｆｏｒ ｔｒａｉｎｉｎｇ）（前記第２の学習用低次元分布フィーチャーは、前記第２の学習用データより低い次元を持っている）とを生成するようにし、（ｉ‐２）前記セレクティブディープジェネラティブリプレーモジュールに位置したダイナミックバイナリ生成器（Ｄｙｎａｍｉｃ Ｂｉｎａｒｙ Ｇｅｎｅｒａｔｏｒ）から生成された学習用バイナリ、前記セレクティブディープジェネラティブリプレーモジュールに位置したランダムパラメータ生成器（Ｒａｎｄｏｍ Ｐａｒａｍｅｔｅｒ Ｇｅｎｅｒａｔｏｒ）から生成された学習用ランダムパラメータ、及び前記第２の学習用低次元分布フィーチャーを前記セレクティブディープジェネラティブリプレーモジュールに位置したデータ生成器（Ｄａｔａ Ｇｅｎｅｒａｔｏｒ）に入力して、前記データ生成器を通じて前記学習用バイナリ及び前記学習用ランダムパラメータによって前記第２の学習用低次元分布フィーチャーに対応する第３の学習用データを生成するようにし、（ｉ‐３）前記第１の学習用データを前記セレクティブディープジェネラティブリプレーモジュールに位置したソルバー（Ｓｏｌｖｅｒ）に入力して、前記ソルバーを通じてディープラーニングによる前記第１の学習用データをラベリングした学習用ラベリングデータを出力させるプロセスを遂行したり、遂行するように支援するプロセス；（ｉｉ）前記第１の学習用データ、前記第２の学習用データ、前記第１の学習用低次元分布フィーチャー、前記第２の学習用低次元分布フィーチャー、前記第３の学習用データ及び前記学習用バイナリを弁別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）に入力して、前記弁別器をもって前記学習用バイナリに対応し、第１の学習用データスコア、第２の学習用データスコア、第１の分布フィーチャースコア（ｆｉｒｓｔ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、第２の分布フィーチャースコア（ｓｅｃｏｎｄ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、及び第３の学習用データスコアを出力させるプロセスを遂行したり、遂行するように支援するプロセス；及び（ｉｉｉ）（ｉｉｉ‐１）前記第２の学習用データスコア、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第１の弁別ロス、前記第１の学習用データスコア、前記第１の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第２の弁別ロス、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第１の生成ロス、及び前記第１の分布フィーチャースコア、前記第２の分布フィーチャースコア及び前記第３の学習用データスコアを参照した第２の生成ロスを生成して、前記データ生成器をもって前記学習用バイナリが第１バイナリ値である場合は、前記第２の学習用低次元分布フィーチャーの平均及び分散を基準にして決まる各学習用データしきい値の範囲内の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記第３の学習用データを生成するようにし、前記学習用バイナリが第２バイナリ値である場合は、前記第２の学習用低次元分布フィーチャーの前記平均及び前記分散を基準にして決まる前記各学習用データしきい値の範囲外の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記第３の学習用データを生成するように前記弁別器、前記データ生成器及び前記分布分析機を学習させ、（ｉｉｉ‐２）前記学習用ラベリングデータとこれに対応される原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照してソルバーロス（Ｓｏｌｖｅｒ ｌｏｓｓ）をさらに生成して、前記ソルバーロスを利用して前記ソルバーをさらに学習させるプロセスを遂行したり、遂行するように支援した状態で、新たに収集された新規データベースから新規データを獲得するプロセスを遂行したり、遂行するように支援するプロセス；及び（ＩＩ）前記新規データを前記セレクティブディープジェネラティブリプレーモジュールに入力して、前記セレクティブディープジェネラティブリプレーモジュールをもって（ｉ）前記分布分析機を通じて前記新規データに対応する新規低次元分布フィーチャー（ｎｅｗ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ）（前記新規低次元分布フィーチャーは、前記新規データより低い次元を持っている）を生成するようにし、（ｉｉ）前記ダイナミックバイナリ生成器から生成されたテスト用バイナリ、前記ランダムパラメータ生成器から生成されたテスト用ランダムパラメータ、及び前記新規低次元分布フィーチャーを前記データ生成器に入力して、前記データ生成器を通じて前記テスト用バイナリ及び前記テスト用ランダムパラメータによって前記新規低次元分布フィーチャーに対応するテスト用データ（前記テスト用データは前記テスト用バイナリが第１バイナリ値である場合、前記新規低次元分布フィーチャーの平均及び分散を基準にして決まる各テスト用データしきい値の範囲内の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む第１の再生成データ（ｆｉｒｓｔ ｒｅｇｅｎｅｒａｔｉｏｎ ｄａｔａ）、前記テスト用バイナリが第２バイナリ値である場合、前記新規低次元分布フィーチャーの前記平均及び前記分散を基準にして決まる前記各テスト用データしきい値の範囲外の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む第２の再生成データ（ｓｅｃｏｎｄ ｒｅｇｅｎｅｒａｔｉｏｎ ｄａｔａ）を含む）を生成するようにし、（ｉｉｉ）前記テスト用データを前記ソルバーに入力して、前記ソルバーを通じて前記テスト用データをラベリングしたテスト用ラベリングデータを出力させるプロセスを遂行したり、遂行するように支援するプロセス；を含む連続学習装置が開示される。
【0031】
一例として、（ＩＩＩ）前記セレクティブディープジェネラティブリプレーモジュールを複製して旧セレクティブディープジェネラティブリプレーモジュール（ｏｌｄ ｓｅｌｅｃｔｉｖｅ ｄｅｅｐ ｇｅｎｅｒａｔｉｖｅ ｒｅｐｌａｙ ｍｏｄｕｌｅ）を生成し、前記第１の学習用低次元分布フィーチャーと前記第２の学習用低次元分布フィーチャーの少なくとも一部を含む旧低次元分布フィーチャー（ｏｌｄ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ）を前記旧セレクティブディープジェネラティブリプレーモジュールに入力して、前記旧セレクティブディープジェネラティブリプレーモジュールをもって前記旧低次元分布フィーチャーに対応される旧データ及び前記旧データに対応される旧ラベリングデータを生成させた状態で、前記プロセッサが、（ｉ）前記旧データ、前記新規データ、前記旧低次元分布フィーチャー、前記新規低次元分布フィーチャー、前記テスト用データ、及び前記テスト用バイナリを前記弁別器に入力して、前記弁別器をもって前記テスト用バイナリに対応し、旧データスコア、新規データスコア、旧分布フィーチャースコア（ｏｌｄ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、新規分布フィーチャースコア（ｎｅｗ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、及びテスト用データスコアを出力させるプロセスと（ｉｉ）前記旧データ及び前記新規データを前記ソルバーに入力して、前記ソルバーをもってディープラーニングによる前記旧データ及び前記新規データをラベリングした新規ラベリングデータを出力させるプロセスを遂行したり、遂行するように支援するプロセス；及び（ＩＶ）前記プロセッサが、（ｉ）前記新規データスコア、前記新規分布フィーチャースコア及び前記テスト用データスコアを参照した第１の新規弁別ロス、前記旧データスコア、前記旧分布フィーチャースコア及び前記テスト用データスコアを参照した第２の新規弁別ロス、前記新規分布フィーチャースコア及び前記テスト用データスコアを参照した第１の新規生成ロス、及び前記旧分布フィーチャースコア、前記新規分布フィーチャースコア及び前記テスト用データスコアを参照した第２の新規生成ロスを生成して、前記データ生成器をもって前記テスト用バイナリが第１バイナリ値である場合は、前記新規低次元分布フィーチャーの前記平均及び前記分散を基準にして決まる前記各テスト用データしきい値の範囲内の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記テスト用データを生成するようにし、前記テスト用バイナリが第２バイナリ値である場合は、前記新規低次元分布フィーチャーの前記平均及び前記分散を基準にして決まる前記各テスト用データしきい値の範囲外の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む前記テスト用データを生成するように前記弁別器、前記データ生成器及び前記分布分析機を学習させ、（ｉｉ）前記新規ラベリングデータと前記旧ラベリングデータとを参照して新規ソルバーロス（ｎｅｗ Ｓｏｌｖｅｒ ｌｏｓｓ）を生成して、前記新規ソルバーロスを利用して前記ソルバーを学習させるプロセスを遂行したり、遂行するように支援するプロセス；をさらに含む連続学習装置が開示される。
【0032】
一例として、前記（ＩＩ）プロセスにおいて、前記プロセッサは前記ダイナミックバイナリ生成器をもって前記テスト用バイナリを生成させ、前記第１の再生成データと前記第２の再生成データの生成の割合を設定したデータ生成の割合を前記ダイナミックバイナリ生成器に入力して、前記ダイナミックバイナリ生成器がデータ生成の割合によって前記第１の再生成データを生成するための第１バイナリ値及び、前記第２の再生成データを生成するための第２バイナリ値に対する前記テスト用バイナリを生成させるプロセスを遂行したり、遂行するように支援することを特徴とする連続学習装置が開示される。
【0033】
一例として、前記（ＩＶ）プロセスにおいて、前記プロセッサは前記テスト用バイナリ値を参照して、（ｉ）前記テスト用バイナリが第１バイナリ値である場合、前記第１の新規弁別ロスを利用して前記弁別器と前記分布分析機とを学習させ、前記第１の新規生成ロスを利用して前記データ生成器と前記分布分析機とを学習させ、（ｉｉ）前記テスト用バイナリが第２バイナリ値である場合、前記第２の新規弁別ロスを利用して前記弁別器と前記分布分析機とを学習させ、前記第２の新規生成ロスを利用して前記データ生成器と前記分布分析機とを学習させるプロセスを遂行したり、遂行するように支援することを特徴とする連続学習装置が開示される。
【0034】
一例として、前記プロセッサは（ｉ）前記第１の新規弁別ロスと前記第２の新規弁別ロスとをそれぞれ利用して前記弁別器と前記分布分析機とを学習させる時、前記データ生成器の第１パラメータを固定した状態で学習を進め、（ｉｉ）前記第１の新規生成ロスと前記第２の新規生成ロスとをそれぞれ利用して前記データ生成器と前記分布分析機とを学習させる時、前記弁別器の第２パラメータを固定した状態で学習を進めるプロセスを遂行したり、遂行するように支援することを特徴とする連続学習装置が開示される。
【0035】
一例として、前記データ生成器は、少なくとも一つのエンコーディングレイヤー及び少なくとも一つのデコーディングレイヤーを含むことを特徴とする連続学習装置が開示される。
【0036】
その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読み取り可能な記録媒体がさらに提供される。
【発明の効果】
【0037】
本発明はニューラルネットワークモデル（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｍｏｄｅｌ）の学習に利用された全体既存データベース（ｅｘｉｓｔｉｎｇ ｄａｔａｂａｓｅ）を格納する代わりにセレクティブディープジェネラティブリプレーモジュール（Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）のみを格納することで既存データベースを格納するに必要な格納空間を減らす効果がある。
【0038】
また、本発明は全体既存データベースと全体新規データベース（ｎｅｗ ｄａｔａｂａｓｅ）とを利用して学習する代わりにセレクティブディープジェネラティブリプレーモジュールを利用して一定量のデータを生成してニューラルネットワークモデルを学習させることで、学習に要される時間を減らす効果がある。
【0039】
また、本発明は既存データベース全体を格納して全体既存データベースと全体新規データベースとを利用してニューラルネットワークモデルを学習させる代わりに、Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ（ＧＡＮ；敵対的生成ネットワーク）を活用したセレクティブディープジェネラティブリプレーモジュールを利用して新規データベースの分布と類似するデータと類似しないデータとを選択的な割合で生成してニューラルネットワークモデルを学習させることで、与えられたタスクに最適化されたニューラルネットワークモデルを生成する効果がある。
【図面の簡単な説明】
【0040】
本発明の実施例の説明に利用されるために添付された下の図面は本発明の実施例の中でただ一部に過ぎず、本発明が属する技術分野における通常の知識を有する者（以下「通常の技術者」）にとっては発明的作業が成り立つことなく、この図面に基づいて他の図面が得られることができる。
【0041】
【発明を実施するための形態】
【0042】
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付の図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。
【0043】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びその変形は、他の技術的各特徴、付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の目的、長所及び特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【0044】
さらに、本発明は、本明細書に示された実施例のすべての可能な組み合わせを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【0045】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明する。
【0046】
図２は、本発明の一実施例によってセレクティブディープジェネラティブリプレーモジュール（Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）を使用してディープニューラルネットワークモデルに対する調整可能な連続学習（ａｄｊｕｓｔａｂｌｅ ｃｏｎｔｉｎｕａｌ ｌｅａｒｎｉｎｇ）を遂行する方法を従来の連続学習（ｃｏｎｔｉｎｕａｌ ｌｅａｒｎｉｎｇ）方法と対照されるように簡略に示したものである。
【0047】
図１と比べて図２で分かるように、セレクティブディープジェネラティブリプレーモジュールを適用した調整可能な連続学習方法では、セレクティブディープジェネラティブリプレーモジュールがＧｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ（ＧＡＮ；敵対的生成ネットワーク）を活用したデータベースリプレーモジュール（Ｄａｔａｂａｓｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ）としてデータベースの格納に代わる。また、セレクティブディープジェネラティブリプレーモジュールは第１タイプデータと第２タイプデータとの割合を調整することができる。ここで、第１タイプデータのフィーチャー分布はサブデータベース（ｓｕｂ‐ｄａｔａｂａｓｅ）や新たに入力された新規データベース（ｎｅｗ ｄａｔａｂａｓｅ）の各平均及び分散を基準にして決まる各しきい値の範囲内の平均及び分散を持つことができる。さらに、第２タイプデータのフィーチャー分布は、サブデータベースや新規データベースの各平均及び分散を基準にして決まる各しきい値の範囲外の平均及び分散を持つことができる。ここで、サブデータベースは全体データベース（ｔｏｔａｌ ｄａｔａｂａｓｅ）、すなわち、既存データベース（ｅｘｉｓｔｉｎｇ ｄａｔａｂａｓｅ）のサブセット（ｓｕｂｓｅｔ）であり得る。
【0048】
すなわち、セレクティブディープジェネラティブリプレーモジュールを適用した調整可能な連続学習方法では、全体データベースを格納する代わりにセレクティブディープジェネラティブリプレーモジュールのみを格納することで格納に必要な空間を減らすことができるし、既存データベース全体を利用する代わりに第１タイプデータと第２タイプデータとで構成されたデータセットを利用してニューラルネットワークモデル（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｍｏｄｅｌ）を学習させることで、与えられたタスクに最適化されたニューラルネットワークモデルを生成することができる。ここで、第１タイプデータと第２タイプデータとは与えられたタスクなどを予め参照して設定することができるが、本発明がこれに限定されるものではない。本発明において、第１タイプデータは入力されたデータとの類似度が既設定された類似度しきい値より高いデータを指すものであり、第２タイプデータは入力されたデータとの類似度がまた他の既設定された類似度しきい値より低いデータを指すものである。
【0049】
ここで、セレクティブディープジェネラティブリプレーモジュールはニューラルネットワークモデルが必要なデバイス（ｄｅｖｉｃｅ）、一例として、自律走行自動車、自律走行飛行体、ロボットなどに適用されてニューラルネットワークモデルに対する連続学習を進めるのに使われることができる。
【0050】
これによって、図３ないし図７はセレクティブディープジェネラティブリプレーモジュールに対する初期学習を進め、初期学習されたセレクティブディープジェネラティブリプレーモジュールに対するテスト（ｔｅｓｔｉｎｇ）を行い、ニューラルネットワークモデルに対する調整可能な連続学習を遂行するためにセレクティブディープジェネラティブリプレーモジュールに対する連続学習を遂行する方法を簡略に示している。
【0051】
先ず、図３は本発明の一実施例によってセレクティブディープジェネラティブリプレーモジュールの初期学習を遂行する学習装置１０００を簡略に示したものである。
【0052】
図３を参照すれば、学習装置１０００はセレクティブディープジェネラティブリプレーモジュールに対する初期学習を進めるためのインストラクションを格納するメモリ１００１とメモリ１００１に格納されたインストラクションに対応してセレクティブディープジェネラティブリプレーモジュールに対する初期学習を行うための動作を遂行するプロセッサ１００２とを含むことができる。
【0053】
具体的に、学習装置１０００は典型的にコンピュータ装置（例えば、コンピュータプロセッサ、メモリ、ストレージ（ｓｔｏｒａｇｅ）、入力装置及び出力装置、その他既存のコンピュータ装置の構成要素を含むことができる装置；ルーター、スイッチなどのような電子通信装置；ネットワーク付きストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）とコンピュータソフトウェア（すなわち、コンピュータ装置をもって特定方式で機能させるインストラクション）との組み合わせを利用して所望のシステム性能を達成するものである。
【0054】
また、コンピュータ装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピュータ装置は運営体制、特定目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
【0055】
しかし、コンピュータ装置が本発明を実施するためのミディアム、プロセッサ及びメモリが統合された形態であるインテグレイティド（ｉｎｔｅｇｒａｔｅｄ）プロセッサを含む場合を排除することではない。
【0056】
このように構成された学習装置１０００を利用して本発明の一実施例によってセレクティブディープジェネラティブリプレーモジュールの初期学習を遂行する方法を図４を参照して説明すれば次の通りである。
【0057】
先ず、学習装置１０００はセレクティブディープジェネラティブリプレーモジュール１００の初期学習のために全体データベース、すなわち、既存データベース（ｅｘｉｓｔｉｎｇ ｄａｔａｂａｓｅ）からの第１の学習用データと前記全体データベースのサブセット（ｓｕｂｓｅｔ）であるサブデータベース（ｓｕｂ‐ｄａｔａｂａｓｅ）からの第２の学習用データとを獲得することができる。
【0058】
次に、学習装置１０００は第１の学習用データと第２の学習用データとをセレクティブディープジェネラティブリプレーモジュール１００に入力することができる。
【0059】
そうすれば、セレクティブディープジェネラティブリプレーモジュール（Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ、１００）は第１の学習用データと第２の学習用データとをそれぞれセレクティブディープジェネラティブリプレーモジュール１００に位置した分布分析機（Ｄｉｓｔｒｉｂｕｔｉｏｎ Ａｎａｌｙｚｅｒ、１１０）に入力して、分布分析機１１０をもって第１の学習用データに対応する第１の学習用低次元分布フィーチャー（ｆｉｒｓｔ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｆｏｒ ｔｒａｉｎｉｎｇ）と第２の学習用データに対応する第２の学習用低次元分布フィーチャー（ｓｅｃｏｎｄ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｆｏｒ ｔｒａｉｎｉｎｇ）とを生成させることができる。ここで、分布フィーチャーはイメージ上の少なくとも一部ピクセルの特徴に対する分布、イメージ上の客体の位置に対する分布、イメージ上の客体のクラシフィケーションスコア（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｓｃｏｒｅ）に対する分布などを示すことができるが、本発明はこれに限定されないし、全てのデータから抽出することができる多様な情報に対する分布を示すことができる。また、低次元分布フィーチャーはセレクティブディープジェネラティブリプレーモジュール１００に入力された入力データが含むフィーチャー（ｆｅａｔｕｒｅｓ）の中でディープニューラルネットワークモデルの調整可能な連続学習に使われる有用なフィーチャーをキャプチャーしながら不要な（ｉｒｒｅｌｅｖａｎｔ／ｕｎｎｅｃｅｓｓａｒｙ）フィーチャーによって引き起こされる「ｃｕｒｓｅ ｏｆ ｄｉｍｅｎｓｉｏｎａｌｉｔｙ」の問題を防ぐために、入力データを低次元サブスペース（ｌｏｗｅｒ ｄｉｍｅｎｓｉｏｎａｌ ｓｕｂｓｐａｃｅ）に投映（ｐｒｏｊｅｃｔ）することで生成することができるし、次元減少（ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｒｅｄｕｃｔｉｏｎ）はフィーチャー抽出（ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ）やフィーチャーセレクション（ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ）などの方法を通じて行われる。
【0060】
次いで、セレクティブディープジェネラティブリプレーモジュール１００はセレクティブディープジェネラティブリプレーモジュール１００に位置したダイナミックバイナリ生成器（Ｄｙｎａｍｉｃ Ｂｉｎａｒｙ Ｇｅｎｅｒａｔｏｒ、１２０）から生成された学習用バイナリ、セレクティブディープジェネラティブリプレーモジュール１００に位置したランダムパラメータ生成器（Ｒａｎｄｏｍ Ｐａｒａｍｅｔｅｒ Ｇｅｎｅｒａｔｏｒ、１３０）から生成された学習用ランダムパラメータ、及び第２の学習用低次元分布フィーチャーをセレクティブディープジェネラティブリプレーモジュール１００に位置したデータ生成器（Ｄａｔａ Ｇｅｎｅｒａｔｏｒ、１４０）に入力して、データ生成器１４０をもって学習用バイナリ及び学習用ランダムパラメータによって第２の学習用低次元分布フィーチャーに対応する第３の学習用データを生成させることができる。ここで、データ生成器１４０は少なくとも一つのエンコーディングレイヤー及び少なくとも一つのデコーディングレイヤーを含むことができる。
【0061】
この時、データ生成器１４０は入力された学習用ランダムパラメータと第２の学習用低次元分布フィーチャーとを利用して第３の学習用データを生成し、第３の学習用データは学習用バイナリに対応して第２の学習用低次元分布フィーチャーの分布と類似な分布内のデータであるか類似な分布以外のデータである。一例として、学習用バイナリが第１バイナリ値である場合は、第３の学習用データのフィーチャー分布の平均及び分散が第２の学習用低次元分布フィーチャーの対応する平均及び分散を基準にして決まる各学習用データしきい値の範囲内にあり得るし、学習用バイナリが第２バイナリ値である場合は、第３の学習用データのフィーチャー分布の平均及び分散が第２の学習用低次元分布フィーチャーの平均及び分散を基準にして決まる各学習用データしきい値の範囲外にあり得る。ここで、学習用ランダムパラメータはランダムノイズ、イメージオリエンテーション、速成などのイメージ変形のためのベクトルやガウシアン（Ｇａｕｓｓｉａｎ）のような分布を示すことがあるし、これによって学習用ランダムパラメータによって学習に使用され得る多様な分布の第３の学習用データが生成される。
【0062】
そして、学習装置１０００は第１の学習用データをセレクティブディープジェネラティブリプレーモジュール１００に位置したソルバー（Ｓｏｌｖｅｒ、１５０）に入力し、ソルバー１５０をもってディープラーニングによる第１の学習用データをラベリングした学習用ラベリングデータを出力させることができる。
【0063】
次いで、学習装置１０００は第１の学習用データ、第２の学習用データ、第１の学習用低次元分布フィーチャー、第２の学習用低次元分布フィーチャー、第３の学習用データ及び学習用バイナリを弁別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ、２００）に入力し、弁別器２００をもって学習用バイナリに対応して、第１の学習用データスコア、第２の学習用データスコア、第１の分布フィーチャースコア（ｆｉｒｓｔ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、第２の分布フィーチャースコア（ｓｅｃｏｎｄ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、及び第３の学習用データスコアを出力させることができる。
【0064】
次に、学習装置１０００は分布分析機１１０、データ生成器１４０、及び弁別器２００の学習のために、第２の学習用データスコア、第２の分布フィーチャースコア及び第３の学習用データスコアを参照した第１の弁別ロス（ｆｉｒｓｔ ｄｉｓｃｒｉｍｉｎａｔｏｒ ｌｏｓｓ）；第１の学習用データスコア、第１の分布フィーチャースコア及び第３の学習用データスコアを参照した第２の弁別ロス（ｓｅｃｏｎｄ ｄｉｓｃｒｉｍｉｎａｔｏｒ ｌｏｓｓ）；第２の分布フィーチャースコア及び第３の学習用データスコアを参照した第１の生成ロス（ｆｉｒｓｔ ｇｅｎｅｒａｔｏｒ ｌｏｓｓ）；第１の分布フィーチャースコア、第２の分布フィーチャースコア及び第３の学習用データスコアを参照した第２の生成ロス（ｓｅｃｏｎｄ ｇｅｎｅｒａｔｏｒ ｌｏｓｓ）；を生成するか生成するように支援することができる。
【0065】
これによって、学習装置１０００はデータ生成器１４０をもって学習用バイナリが第１バイナリ値である場合は、第２の学習用低次元分布フィーチャーの平均及び分散を基準にして決まる各学習用データしきい値の範囲内の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む第３の学習用データを生成するようにし、学習用バイナリが第２バイナリ値である場合は、第２の学習用低次元分布フィーチャーの平均及び分散を基準にして決まる各学習用データしきい値の範囲外の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む第３の学習用データを生成するように弁別器２００、データ生成器１４０及び分布分析機１１０を学習させることができる。ここで、第１バイナリ値と第２バイナリ値の場合、「１」と「０」などの数字や「ａ」と「ｂ」などの文字のようなバイナリ入力値である。
【0066】
このために、学習装置１０００は学習用バイナリを参照して、（ｉ）学習用バイナリが第１バイナリ値である場合、第１の弁別ロスを利用して弁別器２００と分布分析機１１０とを学習させ、第１の生成ロスを利用してデータ生成器１４０と分布分析機１１０とを学習させ、（ｉｉ）学習用バイナリが第２バイナリ値である場合、第２の弁別ロスを利用して弁別器２００と分布分析機１１０とを学習させ、第２の生成ロスを利用してデータ生成器１４０と分布分析機１１０とを学習させるプロセスを遂行したり、遂行するように支援することができる。
【0067】
この時、学習装置１０００は前記のような学習を進めるために第１の弁別ロスと第２の弁別ロスとをそれぞれ利用して弁別器２００と分布分析機１１０とを学習させる時、データ生成器１４０の第１パラメータを固定した状態で学習を進め、（ｉｉ）第１の生成ロスと第２の生成ロスとをそれぞれ利用してデータ生成器１４０と分布分析機１１０とを学習させる時、弁別器２００の第２パラメータを固定した状態で学習を進めるプロセスを遂行したり、遂行するように支援することができる。
【0068】
ここで、各々がディープネットワークモデル（ｄｅｅｐ ｎｅｔｗｏｒｋ ｍｏｄｅｌ）で構成された分布分析機１１０、データ生成器１４０及び弁別器２００は全て繋がっていて、第１の弁別ロス、第２の弁別ロス、第１の生成ロスや第２の生成ロスを利用したバックプロパゲーション（ｂａｃｋ‐ｐｒｏｐａｇａｔｉｏｎ）を通じて学習可能である。したがって、上のロスを利用した分布分析機１１０、データ生成器１４０及び弁別器２００の学習は以下のようなターゲット関数（ｔａｒｇｅｔ ｆｕｎｃｔｉｏｎ）によって遂行され得る。
【0069】
【数1】
【0070】
前記でｘは第１の学習用データまたは第２の学習用データを示して、ｚは学習用ランダムパラメータ、ＤＦEDは第１の学習用低次元分布フィーチャー、ＤＦsubは第２の学習用低次元分布フィーチャー、Ｇ（ｚ）は第３の学習用データを示す。
【0071】
前記のような学習ルールは、基本的に従来のＧｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ（ＧＡＮ；敵対的生成ネットワーク）の学習方法と類似であるが、弁別器２００がいくつかのサブデータベース或いは既存データベースに対応するために第１の学習用低次元分布フィーチャーと第２の学習用低次元分布フィーチャーとがさらに入力されるという差がある。また、前記のような学習において、分布分析機１１０はデータ生成器１４０と弁別器２００との学習ターム（ｔｅｒｍ）に全て参加するが、該当タームに繋がる部分のみでバックプロパゲーション（ｂａｃｋ‐ｐｒｏｐａｇａｔｉｏｎ）を受ける。
【0072】
このような学習によってデータ生成器１４０は学習用バイナリが第１バイナリ値である場合は、入力データである第２の学習用低次元分布フィーチャーの平均及び分散を基準にして決まる各学習用データしきい値の範囲内の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む既存データベースに含まれた第１タイプデータを出力し、学習用バイナリが第２バイナリ値である場合は、入力データである第２の学習用低次元分布フィーチャーの平均及び分散を基準にして決まる各学習用データしきい値の範囲外の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む既存データベースに含まれた第２タイプデータを出力することができる。以後、連続学習による新規データが入力される場合、データ生成器１４０は入力データである新規データの平均及び分散を基準にして決まる各テスト用データしきい値の範囲内の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む既存データベースに含まれた第１タイプデータ及び入力データである新規データの平均及び分散を基準にして決まる各テスト用データしきい値の範囲外の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む既存データベースに含まれた第２タイプデータを出力することができるので、従来のように既存データベースを格納する必要がなくなる。
【0073】
また、学習装置１０００はソルバー１５０が生成する学習用ラベリングデータの正確度を向上させるために学習用ラベリングデータとこれに対応される原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照してソルバーロス（Ｓｏｌｖｅｒ ｌｏｓｓ）をさらに生成し、ソルバーロスを利用してソルバー１５０をさらに学習させるプロセスを遂行することができる。
【0074】
前記のようにセレクティブディープジェネラティブリプレーモジュール１００の初期学習を終了した後、本発明の一実施例によって連続学習装置２０００は初期学習されたセレクティブディープジェネラティブリプレーモジュールに対するテストを行い、ニューラルネットワークモデルに対する調整可能な連続学習を遂行するためにセレクティブディープジェネラティブリプレーモジュールに対する連続学習を遂行することができる。
【0075】
図５を参照すれば、連続学習装置２０００はセレクティブディープジェネラティブリプレーモジュール１００に対するテスト及び連続学習を遂行するためのインストラクションを格納するメモリ２００１とメモリ２００１に格納されたインストラクションに対応してセレクティブディープジェネラティブリプレーモジュール１００に対するテスト及び連続学習を遂行するための動作を遂行するプロセッサ２００２とを含むことができる。
【0076】
具体的に、連続学習装置２０００は典型的にコンピュータ装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピュータ装置の構成要素を含むことができる装置；ルーター、スイッチなどのような電子通信装置；ネットワーク付きストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）とコンピュータソフトウェア（すなわち、コンピュータ装置をもって特定方式で機能させるインストラクション）の組み合わせを利用して所望のシステム性能を達成することである。
【0077】
また、コンピュータ装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピュータ装置は運営体制、特定目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
【0078】
しかし、コンピュータ装置が本発明を実施するためのミディアム、プロセッサ及びメモリが統合された形態であるインテグレイティドプロセッサを含む場合を排除することではない。
【0079】
一方、学習装置１０００と連続学習装置２０００はセレクティブディープジェネラティブリプレーモジュールが適用されて調整可能な連続学習が遂行されるニューラルネットワークモデルの搭載された装置に一緒に取り付けられることができるが、これと違って共有サーバーや共有装置に位置して調整可能な連続学習のために生成された学習用データ及びラベリングされた学習用データをニューラルネットワークモデルの調整可能な連続学習が行われるサーバーや装置に遠隔で伝送することも可能であり、本発明がこれに限定されるものではない。
【0080】
このように構成された連続学習装置２０００を利用して本発明の一実施例によってセレクティブディープジェネラティブリプレーモジュール１００に対するテスト及び連続学習を遂行する方法を図６と図７を参照して説明すれば次の通りである。
【0081】
図６は、本発明の一実施例によって連続学習装置２０００がセレクティブディープジェネラティブリプレーモジュール１００に対するテストを遂行する方法を簡略に示したものである。以下の説明では図４を参照した説明から容易に理解できる部分に対しては詳細な説明を省略する。
【0082】
先ず、連続学習装置２０００は、学習装置１０００によるセレクティブディープジェネラティブリプレーモジュール１００の初期学習が図４を参照して説明したことのように行われた状態で、新たに収集された新規データベースから新規データを獲得することができる。
【0083】
以後、連続学習装置２０００は獲得した新規データをセレクティブディープジェネラティブリプレーモジュール１００に入力することができる。
【0084】
それでは、セレクティブディープジェネラティブリプレーモジュール１００は新規データを分布分析機１１０に入力して、分布分析機１１０をもって新規データに対応する新規低次元分布フィーチャー（ｎｅｗ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ）を生成させることができる。ここで、低次元分布フィーチャーはセレクティブディープジェネラティブリプレーモジュール１００に入力された入力データが含むフィーチャー（ｆｅａｔｕｒｅｓ）の中でディープニューラルネットワークモデルの調整可能な連続学習に使われる有用なフィーチャーをキャプチャーしながら不要な（ｉｒｒｅｌｅｖａｎｔ／ｕｎｎｅｃｅｓｓａｒｙ）フィーチャーによって引き起こされることがある「ｃｕｒｓｅ ｏｆ ｄｉｍｅｎｓｉｏｎａｌｉｔｙ」の問題を防ぐために入力データを低次元サブスペース（ｌｏｗｅｒ ｄｉｍｅｎｓｉｏｎａｌ ｓｕｂｓｐａｃｅ）に投映（ｐｒｏｊｅｃｔ）することで生成することができるし、次元減少（ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｒｅｄｕｃｔｉｏｎ）はフィーチャー抽出（ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ）やフィーチャーセレクション（ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ）などの方法を通じて行われることがある。
【0085】
そして、セレクティブディープジェネラティブリプレーモジュール１００はダイナミックバイナリ生成器１２０から生成されたテスト用バイナリ、ランダムパラメータ生成器１３０から生成されたテスト用ランダムパラメータ、及び新規低次元分布フィーチャーをデータ生成器１４０に入力して、データ生成器１４０をもって前記テスト用バイナリ及び前記テスト用ランダムパラメータによって前記新規低次元分布フィーチャーに対応するテスト用データを生成させることができる。この時、初期学習に使われた全体データベース及びサブデータベースは削除された状態で、データ生成器１４０が新規データの分布に対応するテスト用データを生成し、テスト用データは全体データベース及びサブデータベースに含まれたデータと同一または類似な分布を持つデータである。また、テスト用データはテスト用バイナリが第１バイナリ値である場合、新規低次元分布フィーチャーの平均及び分散を基準にして決まる各テスト用データしきい値の範囲内の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む第１の再生成データ（ｆｉｒｓｔ ｒｅｇｅｎｅｒａｔｉｏｎ ｄａｔａ）、テスト用バイナリが第２バイナリ値である場合、新規低次元分布フィーチャーの平均及び分散を基準にして決まる前記各テスト用データしきい値の範囲外の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含む第２の再生成データ（ｓｅｃｏｎｄ ｒｅｇｅｎｅｒａｔｉｏｎ ｄａｔａ）を含むことができる。ここで第１バイナリ値と第２バイナリ値の場合、「１」と「０」などの数字や「ａ」と「ｂ」などの文字のようなバイナリ入力値であり得る。
【0086】
次に、連続学習装置２０００はテスト用データをソルバー１５０に入力し、ソルバー１５０をもってテスト用データをラベリングしたテスト用ラベリングデータを出力させるプロセスを遂行することができる。
【0087】
この時、連続学習装置２０００はダイナミックバイナリ生成器１２０をもってテスト用バイナリを生成させ、第１の再生成データと第２の再生成データとの生成の割合を設定したデータ生成の割合をダイナミックバイナリ生成器１２０に入力して、ダイナミックバイナリ生成器１２０をもってデータ生成の割合によって第１の再生成データを生成するための第１バイナリ値及び、第２の再生成データを生成するための第２バイナリ値に対するテスト用バイナリを生成させたり生成するように支援することができる。
【0088】
次に、図７は、本発明の一実施例によって連続学習装置２０００がセレクティブディープジェネラティブリプレーモジュール１００に対する連続学習を遂行する方法を簡略に示したものである。
【0089】
先ず、連続学習装置２０００は初期学習されたセレクティブディープジェネラティブリプレーモジュール１００を複製して旧セレクティブディープジェネラティブリプレーモジュール（ｏｌｄ Ｓｅｌｅｃｔｉｖｅ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｒｅｐｌａｙ Ｍｏｄｕｌｅ、３００）を生成し、第１の学習用低次元分布フィーチャーと第２の学習用低次元分布フィーチャーの少なくとも一部を含む旧低次元分布フィーチャー（ｏｌｄ ｌｏｗ‐ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ）を旧セレクティブディープジェネラティブリプレーモジュール３００に入力して、旧セレクティブディープジェネラティブリプレーモジュール３００をもって前記旧低次元分布フィーチャーに対応される旧データ及び旧データに対応される旧ラベリングデータを生成させる。
【0090】
このように旧データと旧データに対応する旧ラベリングデータを生成した状態で、連続学習装置２０００は旧データ、新規データ、低次元分布フィーチャー、新規低次元分布フィーチャー、テスト用データ及びテスト用バイナリを弁別器２００に入力して弁別器２００をもってテスト用バイナリに対応し、旧データスコア、新規データスコア、旧分布フィーチャースコア（ｏｌｄ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、新規分布フィーチャースコア（ｎｅｗ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｓｃｏｒｅ）、及びテスト用データスコアを出力させる。
【0091】
また、連続学習装置２０００は旧データ及び新規データをソルバー１５０に入力して、ソルバー１５０をもってディープラーニングによる旧データ及び新規データをラベリングした新規ラベリングデータを出力させる。
【0092】
次に、連続学習装置２０００は分布分析機１１０、データ生成器１４０、及び弁別器２００の学習のために新規データスコア、新規分布フィーチャースコア及びテスト用データスコアを参照した第１の新規弁別ロス、旧データスコア、旧分布フィーチャースコア及びテスト用データスコアを参照した第２の新規弁別ロス、新規分布フィーチャースコア及びテスト用データスコアを参照した第１の新規生成ロス、及び旧分布フィーチャースコア、新規分布フィーチャースコア及びテスト用データスコアを参照した第２の新規生成ロスを生成することができる。
【0093】
これによって、連続学習装置２０００はデータ生成器１４０をもってテスト用バイナリが第１バイナリ値である場合は、新規低次元分布フィーチャーの平均及び分散を基準にして決まる各テスト用データしきい値の範囲内の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含むテスト用データを生成するようにし、テスト用バイナリが第２バイナリ値である場合は、新規低次元分布フィーチャーの平均及び分散を基準にして決まる前記各テスト用データしきい値の範囲外の平均及び分散の中で少なくとも一つを持つ分布のフィーチャーを含むテスト用データを生成するように弁別器２００、データ生成器１４０及び分布分析機１１０を学習させることができる。
【0094】
このために、連続学習装置２０００はテスト用バイナリ値を参照して、（ｉ）テスト用バイナリが第１バイナリ値である場合、第１の新規弁別ロスを利用して弁別器２００と分布分析機１１０とを学習させ、第１の新規生成ロスを利用してデータ生成器１４０と分布分析機１１０とを学習させ、（ｉｉ）テスト用バイナリが第２バイナリ値である場合、第２の新規弁別ロスを利用して弁別器２００と分布分析機１１０とを学習させ、第２の新規生成ロスを利用してデータ生成器１４０と分布分析機１１０とを学習させるプロセスを遂行したり、遂行するように支援することができる。
【0095】
この時、連続学習装置２０００は前記のような学習を進めるために第１の新規弁別ロスと第２の新規弁別ロスとをそれぞれ利用して弁別器２００と分布分析機１１０とを学習させる時、データ生成器１４０の第１パラメータを固定した状態で学習を進め、（ｉｉ）第１の新規生成ロスと第２の新規生成ロスとをそれぞれ利用してデータ生成器１４０と分布分析機１１０とを学習させる時、弁別器２００の第２パラメータを固定した状態で学習を進めるプロセスを遂行することができる。
【0096】
ここで、各々がディープニューラルネットワーク（ｄｅｅｐ ｎｅｔｗｏｒｋ ｍｏｄｅｌ）で構成された分布分析機１１０、データ生成器１４０及び弁別器２００は全て繋がっていて、第１の新規弁別ロス、第２の新規弁別ロス、第１の新規生成ロスや第２の新規生成ロスを利用したバックプロパゲーション（ｂａｃｋ‐ｐｒｏｐａｇａｔｉｏｎ）を通じて学習可能である。したがって、前記ロスを利用した分布分析機１１０、データ生成器１４０及び弁別器２００の学習は以下のようなターゲット関数（ｔａｒｇｅｔ ｆｕｎｃｔｉｏｎ）によって遂行され得る。
【0097】
【数2】
【0098】
前記でｘは旧データまたは新規データを示し、ｚはテスト用ランダムパラメータ、ＤＦEDは旧低次元分布フィーチャー、ＤＦsubは新規低次元分布フィーチャー、Ｇ（ｚ）はテスト用データを示す。
【0099】
前記のような学習ルールは基本的に初期学習のための学習方法と類似であるが、格納しておいた第１の学習用低次元分布フィーチャーと第２の学習用低次元分布フィーチャーの少なくとも一部を含む旧低次元分布フィーチャーを弁別器２００に入力するという差がある。また、連続学習では旧低次元分布フィーチャーを旧セレクティブディープジェネラティブリプレーモジュールに入力して旧セレクティブディープジェネラティブリプレーモジュールをもって前記旧低次元分布フィーチャーに対応される旧データを生成し、分布分析機１１０と弁別器２００の入力値で利用するという差がある。
【0100】
また、連続学習装置２０００はソルバー１５０が生成する新規ラベリングデータの正確度を向上させるために新規ラベリングデータと旧ラベリングデータを参照して新規ソルバーロス（ｎｅｗ ｓｏｌｖｅｒ ｌｏｓｓ）を生成し、新規ソルバーロスを利用してソルバー１５０を学習させるプロセスを遂行することができる。
【0101】
連続学習装置２０００は前記のように説明された方法を利用してセレクティブディープジェネラティブリプレーモジュール１００の連続学習を毎イテレーション（ｉｔｅｒａｔｉｏｎ）ごとに遂行することができるが、これに限定されないし、セレクティブディープジェネラティブリプレーモジュール１００の連続学習のために旧セレクティブディープジェネラティブリプレーモジュール３００を更新する周期は、ニューラルネットワークモデルの調整可能な連続学習の周期に相互補完的に影響を受けられる。一例として、ニューラルネットワークモデルに対する性能向上や新しいタスク遂行のためにニューラルネットワークモデルに対する連続学習に対する調整が必要な場合、これによって新しい割合の学習用データを生成するためのセレクティブディープジェネラティブリプレーモジュール１００の連続学習が行われる。
【0102】
一方、前記では連続学習方法を初期学習が進められた直後に進めるものとして説明したが、連続的な連続学習でも同様に適用される。
【0103】
すなわち、図６と図７を参照して説明した方法において、新規データベースが図４を参照した初期学習でのサブデータベース（ｓｕｂ ｄａｔａｂａｓｅ）を代替し、以後の連続学習のために獲得した後、データベース（ｎｅｘｔ ｄａｔａｂａｓｅ）を利用して連続学習を遂行することができる。
【0104】
以上説明された本発明による実施例は多様なコンピュータ構成要素を通じて遂行されるプログラム命令語の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。前記コンピュータ読み取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は本発明のために特別設計されて構成されたものであるか、またはコンピュータソフトウェア分野の当業者に公知されて使用可能なものである。コンピュータ読み取り可能な記録媒体の例では、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ‐ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気‐光媒体（ｍａｇｎｅｔｏ‐ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別構成されたハードウェア装置が含まれる。プログラム命令語の例では、コンパイラによって作われるもののような機械語コードのみならず、インタプリタなどを使用してコンピュータによって実行されることができる高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を行うために一つ以上のソフトウェアモジュールとして作動するように構成されることができるし、その逆も同様である。
【0105】
以上、本発明が具体的な構成要素などのような特定事項と、限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形を図ることができる。
【0106】
したがって、本発明の思想は前記説明された実施例に限って決まってはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等に、または等価的に変形された全てのものなどは本発明の思想の範疇に属するものとする。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】