ホーム > 特許ランキング > 株式会社ストラドビジョン
知財求人 - 知財ポータルサイト「IP Force」
特許6856957写真スタイル変換を使用してランタイム入力の変換によりリアル世界で使用されるバーチャル世界で学習されたＣＮＮを許容するための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6856957
(24)【登録日】2021年3月23日
(45)【発行日】2021年4月14日
(54)【発明の名称】写真スタイル変換を使用してランタイム入力の変換によりリアル世界で使用されるバーチャル世界で学習されたＣＮＮを許容するための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置
(51)【国際特許分類】
G06N 3/08 20060101AFI20210405BHJP
G06T 7/00 20170101ALI20210405BHJP
【ＦＩ】
G06N3/08
G06T7/00 350C
G06T7/00 650Z
【請求項の数】26
【全頁数】28
(21)【出願番号】特願2020-8618(P2020-8618)
(22)【出願日】2020年1月22日
(65)【公開番号】特開2020-123344(P2020-123344A)
(43)【公開日】2020年8月13日
【審査請求日】2020年1月22日
(31)【優先権主張番号】62/798,837
(32)【優先日】2019年1月30日
(33)【優先権主張国】US
(31)【優先権主張番号】16/731,080
(32)【優先日】2019年12月31日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】517038176
【氏名又は名称】株式会社ストラドビジョン
(74)【代理人】
【識別番号】100121728
【弁理士】
【氏名又は名称】井関 勝守
(74)【代理人】
【識別番号】100165803
【弁理士】
【氏名又は名称】金子 修平
(72)【発明者】
【氏名】キム ゲヒョン
(72)【発明者】
【氏名】キム ヨンジュン
(72)【発明者】
【氏名】キム ハクギョン
(72)【発明者】
【氏名】ナム ウンヒョン
(72)【発明者】
【氏名】ブ ソクフン
(72)【発明者】
【氏名】ソン ミョンチョル
(72)【発明者】
【氏名】シン ドンス
(72)【発明者】
【氏名】ヨ ドンフン
(72)【発明者】
【氏名】リュ ウジュ
(72)【発明者】
【氏名】イ ミョンチユン
(72)【発明者】
【氏名】イ ヒョンス
(72)【発明者】
【氏名】ジャン テウン
(72)【発明者】
【氏名】ジョン ギョンジュン
(72)【発明者】
【氏名】ジェ ホンモ
(72)【発明者】
【氏名】ジョ ホジン
【審査官】
久保 光宏
(56)【参考文献】
【文献】
Leon A. Gatys, et al.，"Image Style Transfer Using Convolutional Neural Networks"，Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)，２０１６年 ６月３０日，Pages 2414-2423，ISBN:978-1-4673-8851-1, <DOI: 10.1109/CVPR.2016.265>.
【文献】
Mengshi Zhang, et al.，"DeepRoad: GAN-Based Metamorphic Testing and Input Validation Framework for Autonomous Driving Systems"，Proceedings of the 2018 33rd IEEE/ACM International Conference on Automated Software Engineering (ASE)，２０１８年 ９月 ７日，Pages 132-142，ISBN: 978-1-4503-5937-5, <DOI: 10.1145/3238147.3238187>.
【文献】
松原 崇，「敵対的生成ネットワークとその応用」，映像情報メディア学会誌，日本，一般社団法人 映像情報メディア学会，２０１８年 ９月 １日，Vol.72, No.5，第７０９〜７１４頁，ISSN: 1342-6907.
【文献】
太田 満久（外３名），「現場で使える! TensorFlow開発入門」，日本，株式会社 翔泳社，２０１８年 ４月１９日，初版，第２１７〜２４６頁，ISBN: 978-4-7981-5412-1.
【文献】
Francois Chollet（外１名）著, 瀬戸山 雅人 監訳，「ＲとKerasによるディープラーニング」，日本，株式会社オライリー・ジャパン，２０１８年１０月１１日，初版，第２９７〜３０７頁，ISBN: 978-4-87311-857-4.
【文献】
丹野 良介（外２名），「複数スタイルの融合と部分的適用を可能とするMulti-style Feed-forward Networkの提案」，人工知能学会第３１回全国大会講演論文集, [DVD-ROM]，日本，一般社団法人 人工知能学会，２０１７年 ５月２３日，Session ID: 2L3-OS-09b-3in1，Pages 1-4.
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｎ３／００−９９／００
Ｇ０６Ｔ７／００
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）
(57)【特許請求の範囲】
【請求項1】
少なくとも一つの仮想イメージ及び少なくとも一つのスタイル変換リアルイメージ（前記スタイル変換リアルイメージは、少なくとも一つのリアルイメージを予め設定されたバーチャル世界のイメージスタイルに変換したものである）を使用して、自律走行を遂行するために使用されるメインＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を学習する方法において、
（ａ）学習装置が、予め設定されたバーチャル世界における仮想車両のバーチャル走行に対応する一つ以上の第１学習イメージの少なくとも一部を取得する段階；及び
（ｂ）前記学習装置が、（ｂ１）（ｉ）前記メインＣＮＮに含まれている、メインコンボリューションレイヤ及び出力レイヤをもって、前記第１学習イメージを参照して一つ以上の第１予測自律走行ソース情報を生成させ、（ｉｉ）前記メインＣＮＮに含まれているメインロスレイヤをもって、（ｉｉ−１）前記第１予測自律走行ソース情報及びこれに対応する第１原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）自律走行ソース情報を参照して、一つ以上の第１メインロスを生成させた後、（ｉｉ−２）前記第１メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第１学習プロセス；及び（ｂ２）（ｉ）支援ＣＮＮをもって、前記第１学習イメージに対応する少なくとも一つの第１ベースイメージ及びリアル世界における実際車両のリアル走行に対応する一つ以上の第２ベースイメージを参照して、一つ以上の第２学習イメージを生成させ、（ｉｉ）前記メインＣＮＮに含まれている、前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記第２学習イメージを参照して、一つ以上の第２予測自律走行ソース情報を生成させた後、（ｉｉｉ）前記メインＣＮＮに含まれている前記メインロスレイヤをもって、（ｉｉｉ−１）前記第２予測自律走行ソース情報及びこれに対応する第２原本正解自律走行ソース情報を参照して、一つ以上の第２メインロスを生成させた後、（ｉｉｉ−２）前記第２メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第２学習プロセスを遂行させる段階；
を含むことを特徴とする方法。
（ａ）学習装置が、予め設定されたバーチャル世界における仮想車両のバーチャル走行に対応する一つ以上の第１学習イメージの少なくとも一部を取得する段階；及び
（ｂ）前記学習装置が、（ｂ１）（ｉ）前記メインＣＮＮに含まれている、メインコンボリューションレイヤ及び出力レイヤをもって、前記第１学習イメージを参照して一つ以上の第１予測自律走行ソース情報を生成させ、（ｉｉ）前記メインＣＮＮに含まれているメインロスレイヤをもって、（ｉｉ−１）前記第１予測自律走行ソース情報及びこれに対応する第１原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）自律走行ソース情報を参照して、一つ以上の第１メインロスを生成させた後、（ｉｉ−２）前記第１メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第１学習プロセス；及び（ｂ２）（ｉ）支援ＣＮＮをもって、前記第１学習イメージに対応する少なくとも一つの第１ベースイメージ及びリアル世界における実際車両のリアル走行に対応する一つ以上の第２ベースイメージを参照して、一つ以上の第２学習イメージを生成させ、（ｉｉ）前記メインＣＮＮに含まれている、前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記第２学習イメージを参照して、一つ以上の第２予測自律走行ソース情報を生成させた後、（ｉｉｉ）前記メインＣＮＮに含まれている前記メインロスレイヤをもって、（ｉｉｉ−１）前記第２予測自律走行ソース情報及びこれに対応する第２原本正解自律走行ソース情報を参照して、一つ以上の第２メインロスを生成させた後、（ｉｉｉ−２）前記第２メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第２学習プロセスを遂行させる段階；
を含むことを特徴とする方法。
【請求項2】
前記（ｂ２）段階は、
（ｂ２１）前記学習装置が、前記支援ＣＮＮに含まれている支援コンボリューションレイヤをもって、（ｉ）前記第１ベースイメージに少なくとも一つの支援ＣＮＮ演算を適用することによって一つ以上の特定スタイル特徴マップを生成し、（ｉｉ）前記第２ベースイメージのうち特定の第２ベースイメージに前記支援ＣＮＮ演算を適用することによって一つ以上の特定コンテンツ特徴マップを生成する段階；
（ｂ２２）前記学習装置が、（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、ノイズイメージに前記支援ＣＮＮ演算を適用することによって一つ以上の第１アップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている支援ロスレイヤをもって、（ｉｉ−１）前記特定スタイル特徴マップ及び前記特定コンテンツ特徴マップとともに前記第１アップデート特徴マップを使用して、少なくとも一つの第１アップデートロスを生成させ、（ｉｉ−２）前記第１アップデートロスを通じて前記ノイズイメージをアップデートすることによって少なくとも一つの第１アップデートイメージを生成させる段階；
（ｂ２３）前記学習装置が、（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、第（Ｋ−１）アップデートイメージに前記支援ＣＮＮ演算を適用することによって一つ以上の第Ｋアップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている前記支援ロスレイヤをもって、（ｉｉ−１）前記特定スタイル特徴マップ及び前記特定コンテンツ特徴マップとともに前記第Ｋアップデート特徴マップを使用して、少なくとも一つの第Ｋアップデートロスを生成させ、（ｉｉ−２）前記第Ｋアップデートロスを通じて前記第（Ｋ−１）イメージをアップデートすることによって少なくとも一つの第Ｋアップデートイメージを生成させる段階；及び
（ｂ２４）前記学習装置が、前記（ｂ２２）段階及び前記（ｂ２３）段階を遂行して生成された第Ｎアップデートイメージを特定の第２学習イメージとして出力する段階；
を含み、ここでＫは１ないしＮの整数（ｉｎｔｅｇｅｒ）であることを特徴とする請求項１に記載の方法。
（ｂ２１）前記学習装置が、前記支援ＣＮＮに含まれている支援コンボリューションレイヤをもって、（ｉ）前記第１ベースイメージに少なくとも一つの支援ＣＮＮ演算を適用することによって一つ以上の特定スタイル特徴マップを生成し、（ｉｉ）前記第２ベースイメージのうち特定の第２ベースイメージに前記支援ＣＮＮ演算を適用することによって一つ以上の特定コンテンツ特徴マップを生成する段階；
（ｂ２２）前記学習装置が、（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、ノイズイメージに前記支援ＣＮＮ演算を適用することによって一つ以上の第１アップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている支援ロスレイヤをもって、（ｉｉ−１）前記特定スタイル特徴マップ及び前記特定コンテンツ特徴マップとともに前記第１アップデート特徴マップを使用して、少なくとも一つの第１アップデートロスを生成させ、（ｉｉ−２）前記第１アップデートロスを通じて前記ノイズイメージをアップデートすることによって少なくとも一つの第１アップデートイメージを生成させる段階；
（ｂ２３）前記学習装置が、（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、第（Ｋ−１）アップデートイメージに前記支援ＣＮＮ演算を適用することによって一つ以上の第Ｋアップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている前記支援ロスレイヤをもって、（ｉｉ−１）前記特定スタイル特徴マップ及び前記特定コンテンツ特徴マップとともに前記第Ｋアップデート特徴マップを使用して、少なくとも一つの第Ｋアップデートロスを生成させ、（ｉｉ−２）前記第Ｋアップデートロスを通じて前記第（Ｋ−１）イメージをアップデートすることによって少なくとも一つの第Ｋアップデートイメージを生成させる段階；及び
（ｂ２４）前記学習装置が、前記（ｂ２２）段階及び前記（ｂ２３）段階を遂行して生成された第Ｎアップデートイメージを特定の第２学習イメージとして出力する段階；
を含み、ここでＫは１ないしＮの整数（ｉｎｔｅｇｅｒ）であることを特徴とする請求項１に記載の方法。
【請求項3】
前記（ｂ２２）段階は、前記学習装置が、前記支援ロスレイヤをもって、（ｉ）前記第１アップデート特徴マップと前記特定スタイル特徴マップとを使用して一つ以上の第１スタイルロスを生成するプロセス、及び（ｉｉ）前記第１アップデート特徴マップと前記特定コンテンツ特徴マップとを使用して一つ以上の第１コンテンツロスを生成するプロセスを遂行させることによって、前記第１スタイルロス及び前記第１コンテンツロスを含む前記第１アップデートロスを生成させることを特徴とする請求項２に記載の方法。
【請求項4】
前記（ｂ２２）段階は、
前記学習装置が、前記支援ロスレイヤをもって、最急降下法（ｇｒａｄｉｅｎｔ−ｄｅｓｃｅｎｔ ｓｃｈｅｍｅ）で前記第１アップデートロスを使用して前記ノイズイメージをアップデートさせることによって、（ｉ）前記第１アップデートイメージのスタイル特性を前記ノイズイメージのスタイル特性より前記特定の第１ベースイメージのスタイル特性とさらに類似させ、（ｉｉ）前記第１アップデートイメージのコンテンツ特性を前記ノイズイメージのコンテンツ特性より前記特定の第２ベースイメージのコンテンツ特性とさらに類似させることを特徴とする請求項２に記載の方法。
前記学習装置が、前記支援ロスレイヤをもって、最急降下法（ｇｒａｄｉｅｎｔ−ｄｅｓｃｅｎｔ ｓｃｈｅｍｅ）で前記第１アップデートロスを使用して前記ノイズイメージをアップデートさせることによって、（ｉ）前記第１アップデートイメージのスタイル特性を前記ノイズイメージのスタイル特性より前記特定の第１ベースイメージのスタイル特性とさらに類似させ、（ｉｉ）前記第１アップデートイメージのコンテンツ特性を前記ノイズイメージのコンテンツ特性より前記特定の第２ベースイメージのコンテンツ特性とさらに類似させることを特徴とする請求項２に記載の方法。
【請求項5】
前記（ｂ）段階は、
前記学習装置が、（ｉ）前記メインＣＮＮをもって、前記第１学習イメージの特定の個数と、これに対応する前記第１原本正解自律走行ソース情報とを使用して前記パラメータを学習することによって前記第１学習プロセスを遂行し、（ｉｉ）前記メインＣＮＮをもって、前記第２学習イメージと、これに対応する前記第２原本正解自律走行ソース情報とを使用して前記パラメータを微調整することによって前記第２学習プロセスを遂行することを特徴とする請求項１に記載の方法。
前記学習装置が、（ｉ）前記メインＣＮＮをもって、前記第１学習イメージの特定の個数と、これに対応する前記第１原本正解自律走行ソース情報とを使用して前記パラメータを学習することによって前記第１学習プロセスを遂行し、（ｉｉ）前記メインＣＮＮをもって、前記第２学習イメージと、これに対応する前記第２原本正解自律走行ソース情報とを使用して前記パラメータを微調整することによって前記第２学習プロセスを遂行することを特徴とする請求項１に記載の方法。
【請求項6】
前記（ｂ）段階は、
前記学習装置が、（ｉ）前記メインＣＮＮをもって、（ｉ−１）管理者により予め設定された特定の数に対する特定の第１学習イメージの数の割合による前記第１学習イメージのうち一つ以上の特定の第１学習イメージ、及び（ｉ−２）これに対応する前記第１原本正解自律走行ソース情報の一部を使用して、前記パラメータを初期に学習することによって前記第１学習プロセスを遂行させた後、
前記学習装置が、（ｉｉ）前記メインＣＮＮをもって、前記第１学習イメージ及びこれに対応する前記第１原本正解自律走行ソース情報とともに前記第２学習イメージ及びこれに対応する前記第２原本正解自律走行ソース情報を共に使用して、前記パラメータを再学習することによって前記第２学習プロセスを遂行させることを特徴とする請求項１に記載の方法。
前記学習装置が、（ｉ）前記メインＣＮＮをもって、（ｉ−１）管理者により予め設定された特定の数に対する特定の第１学習イメージの数の割合による前記第１学習イメージのうち一つ以上の特定の第１学習イメージ、及び（ｉ−２）これに対応する前記第１原本正解自律走行ソース情報の一部を使用して、前記パラメータを初期に学習することによって前記第１学習プロセスを遂行させた後、
前記学習装置が、（ｉｉ）前記メインＣＮＮをもって、前記第１学習イメージ及びこれに対応する前記第１原本正解自律走行ソース情報とともに前記第２学習イメージ及びこれに対応する前記第２原本正解自律走行ソース情報を共に使用して、前記パラメータを再学習することによって前記第２学習プロセスを遂行させることを特徴とする請求項１に記載の方法。
【請求項7】
前記（ｂ２）段階は、
前記第１ベースイメージは、前記第１学習イメージの中から選択されたイメージであり、前記第２ベースイメージは、前記リアル車両に搭載されている少なくとも一つのカメラを介して前記リアル車両に対応するリアル走行状況を撮影したイメージであり、前記少なくとも一つの第１ベースイメージが一つである場合、前記第２学習イメージそれぞれは、前記第２ベースイメージそれぞれに対応するように生成されることを特徴とする請求項１に記載の方法。
前記第１ベースイメージは、前記第１学習イメージの中から選択されたイメージであり、前記第２ベースイメージは、前記リアル車両に搭載されている少なくとも一つのカメラを介して前記リアル車両に対応するリアル走行状況を撮影したイメージであり、前記少なくとも一つの第１ベースイメージが一つである場合、前記第２学習イメージそれぞれは、前記第２ベースイメージそれぞれに対応するように生成されることを特徴とする請求項１に記載の方法。
【請求項8】
前記（ｂ１）段階は、
前記学習装置が、（ｉ）前記メインＣＮＮに含まれている前記メインコンボリューションレイヤの一つ以上のメインコンボリューションニューロンをもって、（ｉ−１）それ自体のパラメータを使用して、入力された値に少なくとも一つのメインコンボリューションを適用し、（ｉ−２）この出力をそれ自体の次の自律走行ニューロンに伝達するプロセスを繰り返させることによって第１自律走行特徴マップを生成させた後、（ｉｉ）前記メインＣＮＮに含まれている前記出力レイヤをもって、前記第１自律走行特徴マップに少なくとも一つの出力演算を適用して前記第１予測自律走行ソース情報を生成させることによって、前記メインＣＮＮ演算を前記第１学習イメージに適用することを特徴とする請求項１に記載の方法。
前記学習装置が、（ｉ）前記メインＣＮＮに含まれている前記メインコンボリューションレイヤの一つ以上のメインコンボリューションニューロンをもって、（ｉ−１）それ自体のパラメータを使用して、入力された値に少なくとも一つのメインコンボリューションを適用し、（ｉ−２）この出力をそれ自体の次の自律走行ニューロンに伝達するプロセスを繰り返させることによって第１自律走行特徴マップを生成させた後、（ｉｉ）前記メインＣＮＮに含まれている前記出力レイヤをもって、前記第１自律走行特徴マップに少なくとも一つの出力演算を適用して前記第１予測自律走行ソース情報を生成させることによって、前記メインＣＮＮ演算を前記第１学習イメージに適用することを特徴とする請求項１に記載の方法。
【請求項9】
少なくとも一つの仮想イメージ及び少なくとも一つのスタイル変換リアルイメージ（前記スタイル変換リアルイメージは、少なくとも一つのリアルイメージを予め設定されたバーチャル世界のイメージスタイルに変換したものである）を使用して、自律走行を遂行するために使用されるメインＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をテストする方法において、
（ａ）（１）学習装置が、予め設定されたバーチャル世界における仮想車両のバーチャル走行に対応する一つ以上の第１学習イメージの少なくとも一部を取得し、（２）前記学習装置が、（２−１）（ｉ）前記メインＣＮＮに含まれている、メインコンボリューションレイヤ及び出力レイヤをもって、前記第１学習イメージを参照して一つ以上の第１予測自律走行ソース情報を生成させ、（ｉｉ）前記メインＣＮＮに含まれているメインロスレイヤをもって、（ｉｉ−１）前記第１予測自律走行ソース情報及びこれに対応する第１原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）自律走行ソース情報を参照して、一つ以上の第１メインロスを生成させた後、（ｉｉ−２）前記第１メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第１学習プロセス；及び（２−２）（ｉ）支援ＣＮＮをもって、前記第１学習イメージに対応する少なくとも一つの第１ベースイメージ及びリアル世界における実際車両のリアル走行に対応する一つ以上の第２ベースイメージを参照して、一つ以上の第２学習イメージを生成させ、（ｉｉ）前記メインＣＮＮに含まれている、前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記第２学習イメージを参照して、一つ以上の第２予測自律走行ソース情報を生成させた後、（ｉｉｉ）前記メインＣＮＮに含まれている前記メインロスレイヤをもって、（ｉｉｉ−１）前記第２予測自律走行ソース情報及びこれに対応する第２原本正解自律走行ソース情報を参照して、一つ以上の第２メインロスを生成させた後、（ｉｉｉ−２）前記第２メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第２学習プロセスを遂行して学習が完了した状態で、テスト装置が、前記支援ＣＮＮをもって、（ｉ）テスト用バーチャル世界におけるテスト用仮想車両のテスト用バーチャル走行に対応する少なくとも一つのテスト用第１ベースイメージ、及び（ｉｉ）前記テスト装置と連動して作動するテスト用リアル車両に搭載された少なくとも一つのテスト用カメラを介して取得された少なくとも一つのテスト用第２ベースイメージを参照してテストイメージを生成させる段階；及び
（ｂ）前記テスト装置が、前記メインＣＮＮに含まれている前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記テストイメージを参照してテスト用予測自律走行ソース情報を生成させる段階；
を含むことを特徴とする方法。
（ａ）（１）学習装置が、予め設定されたバーチャル世界における仮想車両のバーチャル走行に対応する一つ以上の第１学習イメージの少なくとも一部を取得し、（２）前記学習装置が、（２−１）（ｉ）前記メインＣＮＮに含まれている、メインコンボリューションレイヤ及び出力レイヤをもって、前記第１学習イメージを参照して一つ以上の第１予測自律走行ソース情報を生成させ、（ｉｉ）前記メインＣＮＮに含まれているメインロスレイヤをもって、（ｉｉ−１）前記第１予測自律走行ソース情報及びこれに対応する第１原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）自律走行ソース情報を参照して、一つ以上の第１メインロスを生成させた後、（ｉｉ−２）前記第１メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第１学習プロセス；及び（２−２）（ｉ）支援ＣＮＮをもって、前記第１学習イメージに対応する少なくとも一つの第１ベースイメージ及びリアル世界における実際車両のリアル走行に対応する一つ以上の第２ベースイメージを参照して、一つ以上の第２学習イメージを生成させ、（ｉｉ）前記メインＣＮＮに含まれている、前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記第２学習イメージを参照して、一つ以上の第２予測自律走行ソース情報を生成させた後、（ｉｉｉ）前記メインＣＮＮに含まれている前記メインロスレイヤをもって、（ｉｉｉ−１）前記第２予測自律走行ソース情報及びこれに対応する第２原本正解自律走行ソース情報を参照して、一つ以上の第２メインロスを生成させた後、（ｉｉｉ−２）前記第２メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第２学習プロセスを遂行して学習が完了した状態で、テスト装置が、前記支援ＣＮＮをもって、（ｉ）テスト用バーチャル世界におけるテスト用仮想車両のテスト用バーチャル走行に対応する少なくとも一つのテスト用第１ベースイメージ、及び（ｉｉ）前記テスト装置と連動して作動するテスト用リアル車両に搭載された少なくとも一つのテスト用カメラを介して取得された少なくとも一つのテスト用第２ベースイメージを参照してテストイメージを生成させる段階；及び
（ｂ）前記テスト装置が、前記メインＣＮＮに含まれている前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記テストイメージを参照してテスト用予測自律走行ソース情報を生成させる段階；
を含むことを特徴とする方法。
【請求項10】
（ｃ）前記テスト装置が、前記テスト用予測自律走行ソース情報を自律走行アプリケーションモジュールに伝達して、前記テスト用リアル車両の自律走行を支援する段階；
をさらに含むことを特徴とする請求項９に記載の方法。
をさらに含むことを特徴とする請求項９に記載の方法。
【請求項11】
前記（ａ）段階は、
（ａ１）前記テスト装置が、前記支援ＣＮＮに含まれている支援コンボリューションレイヤをもって、（ｉ）前記テスト用第１ベースイメージに少なくとも一つの支援ＣＮＮ演算を適用することによって一つ以上のテスト用特定スタイル特徴マップを生成するプロセス、及び（ｉｉ）前記テスト用第２ベースイメージのうち特定の第２ベースイメージに前記支援ＣＮＮ演算を適用することによって一つ以上のテスト用特定コンテンツ特徴マップを生成するプロセスを遂行させる段階；
（ａ２）前記テスト装置が、（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、テスト用ノイズイメージに前記支援ＣＮＮ演算を適用することによって一つ以上のテスト用第１アップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている支援ロスレイヤをもって、（ｉｉ−１）前記テスト用特定スタイル特徴マップ及び前記テスト用特定コンテンツ特徴マップとともに前記テスト用第１アップデート特徴マップを使用して、少なくとも一つのテスト用第１アップデートロスを生成させ、（ｉｉ−２）前記テスト用第１アップデートロスを通じて前記ノイズイメージをアップデートすることによって少なくとも一つのテスト用第１アップデートイメージを生成させる段階；
（ａ３）前記テスト装置が、（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、テスト用第（Ｋ−１）アップデートイメージに前記支援ＣＮＮ演算を適用することによって一つ以上のテスト用第Ｋアップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている前記支援ロスレイヤをもって、（ｉｉ−１）前記テスト用特定スタイル特徴マップ及び前記テスト用特定コンテンツ特徴マップとともに前記テスト用第Ｋアップデート特徴マップを使用して、少なくとも一つのテスト用第Ｋアップデートロスを生成させ、（ｉｉ−２）前記テスト用第Ｋアップデートロスを通じて前記テスト用第（Ｋ−１）イメージをアップデートすることによって少なくとも一つのテスト用第Ｋアップデートイメージを生成させる段階；
（ａ４）前記テスト装置が、前記（ａ２）段階及び前記（ａ３）段階を遂行して生成されたテスト用第Ｎアップデートイメージを前記テストイメージとして出力する段階；
を含み、ここでＫは１ないしＮの整数であることを特徴とする請求項９に記載の方法。
（ａ１）前記テスト装置が、前記支援ＣＮＮに含まれている支援コンボリューションレイヤをもって、（ｉ）前記テスト用第１ベースイメージに少なくとも一つの支援ＣＮＮ演算を適用することによって一つ以上のテスト用特定スタイル特徴マップを生成するプロセス、及び（ｉｉ）前記テスト用第２ベースイメージのうち特定の第２ベースイメージに前記支援ＣＮＮ演算を適用することによって一つ以上のテスト用特定コンテンツ特徴マップを生成するプロセスを遂行させる段階；
（ａ２）前記テスト装置が、（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、テスト用ノイズイメージに前記支援ＣＮＮ演算を適用することによって一つ以上のテスト用第１アップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている支援ロスレイヤをもって、（ｉｉ−１）前記テスト用特定スタイル特徴マップ及び前記テスト用特定コンテンツ特徴マップとともに前記テスト用第１アップデート特徴マップを使用して、少なくとも一つのテスト用第１アップデートロスを生成させ、（ｉｉ−２）前記テスト用第１アップデートロスを通じて前記ノイズイメージをアップデートすることによって少なくとも一つのテスト用第１アップデートイメージを生成させる段階；
（ａ３）前記テスト装置が、（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、テスト用第（Ｋ−１）アップデートイメージに前記支援ＣＮＮ演算を適用することによって一つ以上のテスト用第Ｋアップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている前記支援ロスレイヤをもって、（ｉｉ−１）前記テスト用特定スタイル特徴マップ及び前記テスト用特定コンテンツ特徴マップとともに前記テスト用第Ｋアップデート特徴マップを使用して、少なくとも一つのテスト用第Ｋアップデートロスを生成させ、（ｉｉ−２）前記テスト用第Ｋアップデートロスを通じて前記テスト用第（Ｋ−１）イメージをアップデートすることによって少なくとも一つのテスト用第Ｋアップデートイメージを生成させる段階；
（ａ４）前記テスト装置が、前記（ａ２）段階及び前記（ａ３）段階を遂行して生成されたテスト用第Ｎアップデートイメージを前記テストイメージとして出力する段階；
を含み、ここでＫは１ないしＮの整数であることを特徴とする請求項９に記載の方法。
【請求項12】
前記（ｂ）段階以後に、
（ｄ）前記テスト用第２ベースイメージが取得された際に第Ｔタイミング以後である第Ｔ＋１タイミングに前記テスト用カメラを介してテスト用追加第２ベースイメージが取得されると、前記テスト装置が、前記支援ＣＮＮをもって、（ｉ）前記テスト用第１ベースイメージ及び前記テスト用追加第２ベースイメージを参照して追加テストイメージを生成した後、（ｉｉ）前記追加テストイメージを使用してテスト用追加予測自律走行ソース情報を生成させる段階；
をさらに含むことを特徴とする請求項９に記載の方法。
（ｄ）前記テスト用第２ベースイメージが取得された際に第Ｔタイミング以後である第Ｔ＋１タイミングに前記テスト用カメラを介してテスト用追加第２ベースイメージが取得されると、前記テスト装置が、前記支援ＣＮＮをもって、（ｉ）前記テスト用第１ベースイメージ及び前記テスト用追加第２ベースイメージを参照して追加テストイメージを生成した後、（ｉｉ）前記追加テストイメージを使用してテスト用追加予測自律走行ソース情報を生成させる段階；
をさらに含むことを特徴とする請求項９に記載の方法。
【請求項13】
前記（ｂ）段階は、
前記テスト装置が、（ｉ）前記メインＣＮＮの前記メインコンボリューションレイヤに含まれている一つ以上のメインコンボリューションニューロンをもって、（ｉ−１）それ自体に入力された少なくとも一つの値にそれ自体のパラメータを利用して少なくとも一つのメインコンボリューション演算を適用した後、（ｉ−２）それ自体の次の自律走行コンボリューションニューロンに伝達するプロセスを繰り返させることによってテスト用自律走行特徴マップを生成させた後、（ｉｉ）前記メインＣＮＮの前記出力レイヤをもって、前記テスト用自律走行特徴マップに少なくとも一つの出力演算を適用させて前記テスト用予測自律走行ソース情報を生成させることによって前記メインＣＮＮ演算を前記テストイメージに適用させることを特徴とする請求項９に記載の方法。
前記テスト装置が、（ｉ）前記メインＣＮＮの前記メインコンボリューションレイヤに含まれている一つ以上のメインコンボリューションニューロンをもって、（ｉ−１）それ自体に入力された少なくとも一つの値にそれ自体のパラメータを利用して少なくとも一つのメインコンボリューション演算を適用した後、（ｉ−２）それ自体の次の自律走行コンボリューションニューロンに伝達するプロセスを繰り返させることによってテスト用自律走行特徴マップを生成させた後、（ｉｉ）前記メインＣＮＮの前記出力レイヤをもって、前記テスト用自律走行特徴マップに少なくとも一つの出力演算を適用させて前記テスト用予測自律走行ソース情報を生成させることによって前記メインＣＮＮ演算を前記テストイメージに適用させることを特徴とする請求項９に記載の方法。
【請求項14】
少なくとも一つの仮想イメージ及び少なくとも一つのスタイル変換リアルイメージ（前記スタイル変換リアルイメージは、少なくとも一つのリアルイメージを予め設定されたバーチャル世界のイメージスタイルに変換したものである）を使用して、自律走行を遂行するために使用されるメインＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を学習する装置において、
各インストラクションを格納する少なくとも一つのメモリと、
前記各インストラクションを遂行するように設定された少なくとも一つのプロセッサとを含み、前記プロセッサは、（Ｉ）予め設定されたバーチャル世界における仮想車両のバーチャル走行に対応する一つ以上の第１学習イメージの少なくとも一部を取得し、（ＩＩ）（ＩＩ−１）（ｉ）前記メインＣＮＮに含まれている、メインコンボリューションレイヤ及び出力レイヤをもって、前記第１学習イメージを参照して一つ以上の第１予測自律走行ソース情報を生成させ、（ｉｉ）前記メインＣＮＮに含まれているメインロスレイヤをもって、（ｉｉ−１）前記第１予測自律走行ソース情報及びこれに対応する第１原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）自律走行ソース情報を参照して、一つ以上の第１メインロスを生成させた後、（ｉｉ−２）前記第１メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第１学習プロセス；及び（ＩＩ−２）（ｉ）支援ＣＮＮをもって、前記第１学習イメージに対応する少なくとも一つの第１ベースイメージ及びリアル世界における実際車両のリアル走行に対応する一つ以上の第２ベースイメージを参照して、一つ以上の第２学習イメージを生成させ、（ｉｉ）前記メインＣＮＮに含まれている、前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記第２学習イメージを参照して、一つ以上の第２予測自律走行ソース情報を生成させた後、（ｉｉｉ）前記メインＣＮＮに含まれている前記メインロスレイヤをもって、（ｉｉｉ−１）前記第２予測自律走行ソース情報及びこれに対応する第２原本正解自律走行ソース情報を参照して、一つ以上の第２メインロスを生成させた後、（ｉｉｉ−２）前記第２メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第２学習プロセスを遂行することを特徴とする装置。
各インストラクションを格納する少なくとも一つのメモリと、
前記各インストラクションを遂行するように設定された少なくとも一つのプロセッサとを含み、前記プロセッサは、（Ｉ）予め設定されたバーチャル世界における仮想車両のバーチャル走行に対応する一つ以上の第１学習イメージの少なくとも一部を取得し、（ＩＩ）（ＩＩ−１）（ｉ）前記メインＣＮＮに含まれている、メインコンボリューションレイヤ及び出力レイヤをもって、前記第１学習イメージを参照して一つ以上の第１予測自律走行ソース情報を生成させ、（ｉｉ）前記メインＣＮＮに含まれているメインロスレイヤをもって、（ｉｉ−１）前記第１予測自律走行ソース情報及びこれに対応する第１原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）自律走行ソース情報を参照して、一つ以上の第１メインロスを生成させた後、（ｉｉ−２）前記第１メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第１学習プロセス；及び（ＩＩ−２）（ｉ）支援ＣＮＮをもって、前記第１学習イメージに対応する少なくとも一つの第１ベースイメージ及びリアル世界における実際車両のリアル走行に対応する一つ以上の第２ベースイメージを参照して、一つ以上の第２学習イメージを生成させ、（ｉｉ）前記メインＣＮＮに含まれている、前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記第２学習イメージを参照して、一つ以上の第２予測自律走行ソース情報を生成させた後、（ｉｉｉ）前記メインＣＮＮに含まれている前記メインロスレイヤをもって、（ｉｉｉ−１）前記第２予測自律走行ソース情報及びこれに対応する第２原本正解自律走行ソース情報を参照して、一つ以上の第２メインロスを生成させた後、（ｉｉｉ−２）前記第２メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第２学習プロセスを遂行することを特徴とする装置。
【請求項15】
前記（ＩＩ−２）プロセスは、
（ＩＩ−２−１）前記支援ＣＮＮに含まれている支援コンボリューションレイヤをもって、（ｉ）前記第１ベースイメージに少なくとも一つの支援ＣＮＮ演算を適用することによって一つ以上の特定スタイル特徴マップを生成し、（ｉｉ）前記第２ベースイメージのうち特定の第２ベースイメージに前記支援ＣＮＮ演算を適用することによって一つ以上の特定コンテンツ特徴マップを生成するプロセス；
（ＩＩ−２−２）（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、ノイズイメージに前記支援ＣＮＮ演算を適用することによって一つ以上の第１アップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている支援ロスレイヤをもって、（ｉｉ−１）前記特定スタイル特徴マップ及び前記特定コンテンツ特徴マップとともに前記第１アップデート特徴マップを使用して、少なくとも一つの第１アップデートロスを生成させ、（ｉｉ−２）前記第１アップデートロスを通じて前記ノイズイメージをアップデートすることによって少なくとも一つの第１アップデートイメージを生成させるプロセス；
（ＩＩ−２−３）（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、第（Ｋ−１）アップデートイメージに前記支援ＣＮＮ演算を適用することによって一つ以上の第Ｋアップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている前記支援ロスレイヤをもって、（ｉｉ−１）前記特定スタイル特徴マップ及び前記特定コンテンツ特徴マップとともに前記第Ｋアップデート特徴マップを使用して、少なくとも一つの第Ｋアップデートロスを生成させ、（ｉｉ−２）前記第Ｋアップデートロスを通じて前記第（Ｋ−１）イメージをアップデートすることによって少なくとも一つの第Ｋアップデートイメージを生成させるプロセス；及び
（ＩＩ−２−４）前記（ＩＩ−２−２）プロセス及び前記（ＩＩ−２−３）プロセスを遂行して生成された第Ｎアップデートイメージを特定の第２学習イメージとして出力するプロセス；
を含み、ここでＫは１ないしＮの整数であることを特徴とする請求項１４に記載の装置。
（ＩＩ−２−１）前記支援ＣＮＮに含まれている支援コンボリューションレイヤをもって、（ｉ）前記第１ベースイメージに少なくとも一つの支援ＣＮＮ演算を適用することによって一つ以上の特定スタイル特徴マップを生成し、（ｉｉ）前記第２ベースイメージのうち特定の第２ベースイメージに前記支援ＣＮＮ演算を適用することによって一つ以上の特定コンテンツ特徴マップを生成するプロセス；
（ＩＩ−２−２）（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、ノイズイメージに前記支援ＣＮＮ演算を適用することによって一つ以上の第１アップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている支援ロスレイヤをもって、（ｉｉ−１）前記特定スタイル特徴マップ及び前記特定コンテンツ特徴マップとともに前記第１アップデート特徴マップを使用して、少なくとも一つの第１アップデートロスを生成させ、（ｉｉ−２）前記第１アップデートロスを通じて前記ノイズイメージをアップデートすることによって少なくとも一つの第１アップデートイメージを生成させるプロセス；
（ＩＩ−２−３）（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、第（Ｋ−１）アップデートイメージに前記支援ＣＮＮ演算を適用することによって一つ以上の第Ｋアップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている前記支援ロスレイヤをもって、（ｉｉ−１）前記特定スタイル特徴マップ及び前記特定コンテンツ特徴マップとともに前記第Ｋアップデート特徴マップを使用して、少なくとも一つの第Ｋアップデートロスを生成させ、（ｉｉ−２）前記第Ｋアップデートロスを通じて前記第（Ｋ−１）イメージをアップデートすることによって少なくとも一つの第Ｋアップデートイメージを生成させるプロセス；及び
（ＩＩ−２−４）前記（ＩＩ−２−２）プロセス及び前記（ＩＩ−２−３）プロセスを遂行して生成された第Ｎアップデートイメージを特定の第２学習イメージとして出力するプロセス；
を含み、ここでＫは１ないしＮの整数であることを特徴とする請求項１４に記載の装置。
【請求項16】
前記（ＩＩ−２−２）プロセスは、
前記プロセッサが、前記支援ロスレイヤをもって、（ｉ）前記第１アップデート特徴マップと前記特定スタイル特徴マップとを使用して一つ以上の第１スタイルロスを生成するプロセス、及び（ｉｉ）前記第１アップデート特徴マップと前記特定コンテンツ特徴マップとを使用して一つ以上の第１コンテンツロスを生成するプロセスを遂行させることによって前記第１スタイルロス及び前記第１コンテンツロスを含む前記第１アップデートロスを生成させることを特徴とする請求項１５に記載の装置。
前記プロセッサが、前記支援ロスレイヤをもって、（ｉ）前記第１アップデート特徴マップと前記特定スタイル特徴マップとを使用して一つ以上の第１スタイルロスを生成するプロセス、及び（ｉｉ）前記第１アップデート特徴マップと前記特定コンテンツ特徴マップとを使用して一つ以上の第１コンテンツロスを生成するプロセスを遂行させることによって前記第１スタイルロス及び前記第１コンテンツロスを含む前記第１アップデートロスを生成させることを特徴とする請求項１５に記載の装置。
【請求項17】
前記（ＩＩ−２−２）プロセスは、
前記プロセッサが、前記支援ロスレイヤをもって、最急降下法（ｇｒａｄｉｅｎｔ−ｄｅｓｃｅｎｔ ｓｃｈｅｍｅ）で前記第１アップデートロスを使用して前記ノイズイメージをアップデートさせることによって、（ｉ）前記第１アップデートイメージのスタイル特性を前記ノイズイメージのスタイル特性より前記特定の第１ベースイメージのスタイル特性とさらに類似させ、（ｉｉ）前記第１アップデートイメージのコンテンツ特性を前記ノイズイメージのコンテンツ特性より前記特定の第２ベースイメージのコンテンツ特性とさらに類似させることを特徴とする請求項１５に記載の装置。
前記プロセッサが、前記支援ロスレイヤをもって、最急降下法（ｇｒａｄｉｅｎｔ−ｄｅｓｃｅｎｔ ｓｃｈｅｍｅ）で前記第１アップデートロスを使用して前記ノイズイメージをアップデートさせることによって、（ｉ）前記第１アップデートイメージのスタイル特性を前記ノイズイメージのスタイル特性より前記特定の第１ベースイメージのスタイル特性とさらに類似させ、（ｉｉ）前記第１アップデートイメージのコンテンツ特性を前記ノイズイメージのコンテンツ特性より前記特定の第２ベースイメージのコンテンツ特性とさらに類似させることを特徴とする請求項１５に記載の装置。
【請求項18】
前記（ＩＩ）プロセスは、
前記プロセッサが、（ｉ）前記メインＣＮＮをもって、前記第１学習イメージの特定の個数と、これに対応する前記第１原本正解自律走行ソース情報とを使用して前記パラメータを学習することによって前記第１学習プロセスを遂行し、（ｉｉ）前記メインＣＮＮをもって、前記第２学習イメージと、これに対応する前記第２原本正解自律走行ソース情報とを使用して前記パラメータを微調整することによって前記第２学習プロセスを遂行することを特徴とする請求項１４に記載の装置。
前記プロセッサが、（ｉ）前記メインＣＮＮをもって、前記第１学習イメージの特定の個数と、これに対応する前記第１原本正解自律走行ソース情報とを使用して前記パラメータを学習することによって前記第１学習プロセスを遂行し、（ｉｉ）前記メインＣＮＮをもって、前記第２学習イメージと、これに対応する前記第２原本正解自律走行ソース情報とを使用して前記パラメータを微調整することによって前記第２学習プロセスを遂行することを特徴とする請求項１４に記載の装置。
【請求項19】
前記（ＩＩ）プロセスは、
前記プロセッサが、（ｉ）前記メインＣＮＮをもって、（ｉ−１）管理者により予め設定された特定の数に対する特定の第１学習イメージの数の割合による前記第１学習イメージのうち一つ以上の特定の第１学習イメージ、及び（ｉ−２）これに対応する前記第１原本正解自律走行ソース情報の一部を使用して、前記パラメータを初期に学習することによって前記第１学習プロセスを遂行させた後、
前記プロセッサが、（ｉｉ）前記メインＣＮＮをもって、前記第１学習イメージ及びこれに対応する前記第１原本正解自律走行ソース情報とともに前記第２学習イメージ及びこれに対応する前記第２原本正解自律走行ソース情報を共に使用して、前記パラメータを再学習することによって前記第２学習プロセスを遂行させることを特徴とする請求項１４に記載の装置。
前記プロセッサが、（ｉ）前記メインＣＮＮをもって、（ｉ−１）管理者により予め設定された特定の数に対する特定の第１学習イメージの数の割合による前記第１学習イメージのうち一つ以上の特定の第１学習イメージ、及び（ｉ−２）これに対応する前記第１原本正解自律走行ソース情報の一部を使用して、前記パラメータを初期に学習することによって前記第１学習プロセスを遂行させた後、
前記プロセッサが、（ｉｉ）前記メインＣＮＮをもって、前記第１学習イメージ及びこれに対応する前記第１原本正解自律走行ソース情報とともに前記第２学習イメージ及びこれに対応する前記第２原本正解自律走行ソース情報を共に使用して、前記パラメータを再学習することによって前記第２学習プロセスを遂行させることを特徴とする請求項１４に記載の装置。
【請求項20】
前記（ＩＩ−２）プロセスは、
前記第１ベースイメージは、前記第１学習イメージの中から選択されたイメージであり、前記第２ベースイメージは、前記リアル車両に搭載された少なくとも一つのカメラを介して前記リアル車両に対応するリアル走行状況を撮影したイメージであり、前記少なくとも一つの第１ベースイメージが一つである場合、前記第２学習イメージそれぞれは、前記第２ベースイメージそれぞれに対応するように生成されることを特徴とする請求項１４に記載の装置。
前記第１ベースイメージは、前記第１学習イメージの中から選択されたイメージであり、前記第２ベースイメージは、前記リアル車両に搭載された少なくとも一つのカメラを介して前記リアル車両に対応するリアル走行状況を撮影したイメージであり、前記少なくとも一つの第１ベースイメージが一つである場合、前記第２学習イメージそれぞれは、前記第２ベースイメージそれぞれに対応するように生成されることを特徴とする請求項１４に記載の装置。
【請求項21】
前記（ＩＩ−１）プロセスは、
前記プロセッサが、（ｉ）前記メインＣＮＮに含まれている前記メインコンボリューションレイヤの一つ以上のメインコンボリューションニューロンをもって、（ｉ−１）それ自体のパラメータを使用して、入力された値に少なくとも一つのメインコンボリューションを適用し、（ｉ−２）この出力をそれ自体の次の自律走行ニューロンに伝達するプロセスを繰り返させることによって第１自律走行特徴マップを生成させた後、（ｉｉ）前記メインＣＮＮに含まれている前記出力レイヤをもって、前記第１自律走行特徴マップに少なくとも一つの出力演算を適用して前記第１予測自律走行ソース情報を生成させることによって、前記メインＣＮＮ演算を前記第１学習イメージに適用することを特徴とする請求項１４に記載の装置。
前記プロセッサが、（ｉ）前記メインＣＮＮに含まれている前記メインコンボリューションレイヤの一つ以上のメインコンボリューションニューロンをもって、（ｉ−１）それ自体のパラメータを使用して、入力された値に少なくとも一つのメインコンボリューションを適用し、（ｉ−２）この出力をそれ自体の次の自律走行ニューロンに伝達するプロセスを繰り返させることによって第１自律走行特徴マップを生成させた後、（ｉｉ）前記メインＣＮＮに含まれている前記出力レイヤをもって、前記第１自律走行特徴マップに少なくとも一つの出力演算を適用して前記第１予測自律走行ソース情報を生成させることによって、前記メインＣＮＮ演算を前記第１学習イメージに適用することを特徴とする請求項１４に記載の装置。
【請求項22】
少なくとも一つの仮想イメージ及び少なくとも一つのスタイル変換リアルイメージ（前記スタイル変換リアルイメージは、少なくとも一つのリアルイメージを予め設定されたバーチャル世界のイメージスタイルに変換したものである）を使用して、自律走行を遂行するために使用されるメインＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をテストする装置において、
各インストラクションを格納する少なくとも一つのメモリと、
前記各インストラクションを遂行するように設定された少なくとも一つのプロセッサとを含み、前記プロセッサは、（Ｉ）（１）予め設定されたバーチャル世界における仮想車両のバーチャル走行に対応する一つ以上の第１学習イメージの少なくとも一部を取得し、（２）（２−１）（ｉ）前記メインＣＮＮに含まれている、メインコンボリューションレイヤ及び出力レイヤをもって、前記第１学習イメージを参照して一つ以上の第１予測自律走行ソース情報を生成させ、（ｉｉ）前記メインＣＮＮに含まれているメインロスレイヤをもって、（ｉｉ−１）前記第１予測自律走行ソース情報及びこれに対応する第１原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）自律走行ソース情報を参照して、一つ以上の第１メインロスを生成させた後、（ｉｉ−２）前記第１メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第１学習プロセス；及び（２−２）（ｉ）支援ＣＮＮをもって、前記第１学習イメージに対応する少なくとも一つの第１ベースイメージ及びリアル世界における実際車両のリアル走行に対応する一つ以上の第２ベースイメージを参照して、一つ以上の第２学習イメージを生成させ、（ｉｉ）前記メインＣＮＮに含まれている、前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記第２学習イメージを参照して、一つ以上の第２予測自律走行ソース情報を生成させた後、（ｉｉｉ）前記メインＣＮＮに含まれている前記メインロスレイヤをもって、（ｉｉｉ−１）前記第２予測自律走行ソース情報及びこれに対応する第２原本正解自律走行ソース情報を参照して、一つ以上の第２メインロスを生成させた後、（ｉｉｉ−２）前記第２メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第２学習プロセスを遂行して学習が完了した状態で、テスト装置が、前記支援ＣＮＮをもって、（ｉ）テスト用バーチャル世界におけるテスト用仮想車両のテスト用バーチャル走行に対応する少なくとも一つのテスト用第１ベースイメージ、及び（ｉｉ）前記テスト装置と連動して作動するテスト用リアル車両に搭載された少なくとも一つのテスト用カメラを介して取得された少なくとも一つのテスト用第２ベースイメージを参照してテストイメージを生成させるプロセス；及び（ＩＩ）前記メインＣＮＮに含まれている前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記テストイメージを参照してテスト用予測自律走行ソース情報を生成させるプロセス；
を遂行することを特徴とする装置。
各インストラクションを格納する少なくとも一つのメモリと、
前記各インストラクションを遂行するように設定された少なくとも一つのプロセッサとを含み、前記プロセッサは、（Ｉ）（１）予め設定されたバーチャル世界における仮想車両のバーチャル走行に対応する一つ以上の第１学習イメージの少なくとも一部を取得し、（２）（２−１）（ｉ）前記メインＣＮＮに含まれている、メインコンボリューションレイヤ及び出力レイヤをもって、前記第１学習イメージを参照して一つ以上の第１予測自律走行ソース情報を生成させ、（ｉｉ）前記メインＣＮＮに含まれているメインロスレイヤをもって、（ｉｉ−１）前記第１予測自律走行ソース情報及びこれに対応する第１原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）自律走行ソース情報を参照して、一つ以上の第１メインロスを生成させた後、（ｉｉ−２）前記第１メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第１学習プロセス；及び（２−２）（ｉ）支援ＣＮＮをもって、前記第１学習イメージに対応する少なくとも一つの第１ベースイメージ及びリアル世界における実際車両のリアル走行に対応する一つ以上の第２ベースイメージを参照して、一つ以上の第２学習イメージを生成させ、（ｉｉ）前記メインＣＮＮに含まれている、前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記第２学習イメージを参照して、一つ以上の第２予測自律走行ソース情報を生成させた後、（ｉｉｉ）前記メインＣＮＮに含まれている前記メインロスレイヤをもって、（ｉｉｉ−１）前記第２予測自律走行ソース情報及びこれに対応する第２原本正解自律走行ソース情報を参照して、一つ以上の第２メインロスを生成させた後、（ｉｉｉ−２）前記第２メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第２学習プロセスを遂行して学習が完了した状態で、テスト装置が、前記支援ＣＮＮをもって、（ｉ）テスト用バーチャル世界におけるテスト用仮想車両のテスト用バーチャル走行に対応する少なくとも一つのテスト用第１ベースイメージ、及び（ｉｉ）前記テスト装置と連動して作動するテスト用リアル車両に搭載された少なくとも一つのテスト用カメラを介して取得された少なくとも一つのテスト用第２ベースイメージを参照してテストイメージを生成させるプロセス；及び（ＩＩ）前記メインＣＮＮに含まれている前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記テストイメージを参照してテスト用予測自律走行ソース情報を生成させるプロセス；
を遂行することを特徴とする装置。
【請求項23】
前記プロセッサが、（ＩＩＩ）前記テスト用予測自律走行ソース情報を自律走行アプリケーションモジュールに伝達して前記テスト用リアル車両の自律走行を支援するプロセス；
をさらに遂行することを特徴とする請求項２２に記載の装置。
をさらに遂行することを特徴とする請求項２２に記載の装置。
【請求項24】
前記（Ｉ）プロセスは、
（Ｉ−１）前記支援ＣＮＮに含まれている支援コンボリューションレイヤをもって、（ｉ）前記テスト用第１ベースイメージに少なくとも一つの支援ＣＮＮ演算を適用することによって一つ以上のテスト用特定スタイル特徴マップを生成するプロセス、及び（ｉｉ）前記テスト用第２ベースイメージのうち特定の第２ベースイメージに前記支援ＣＮＮ演算を適用することによって一つ以上のテスト用特定コンテンツ特徴マップを生成するプロセス；
（Ｉ−２）（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、テスト用ノイズイメージに前記支援ＣＮＮ演算を適用することによって一つ以上のテスト用第１アップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている支援ロスレイヤをもって、（ｉｉ−１）前記テスト用特定スタイル特徴マップ及び前記テスト用特定コンテンツ特徴マップとともに前記テスト用第１アップデート特徴マップを使用して、少なくとも一つのテスト用第１アップデートロスを生成させ、（ｉｉ−２）前記テスト用第１アップデートロスを通じて前記ノイズイメージをアップデートすることによって少なくとも一つのテスト用第１アップデートイメージを生成させるプロセス；
（Ｉ−３）（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、テスト用第（Ｋ−１）アップデートイメージに前記支援ＣＮＮ演算を適用することによって一つ以上のテスト用第Ｋアップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている前記支援ロスレイヤをもって、（ｉｉ−１）前記テスト用特定スタイル特徴マップ及び前記テスト用特定コンテンツ特徴マップとともに前記テスト用第Ｋアップデート特徴マップを使用して、少なくとも一つのテスト用第Ｋアップデートロスを生成させ、（ｉｉ−２）前記テスト用第Ｋアップデートロスを通じて前記テスト用第（Ｋ−１）イメージをアップデートすることによって少なくとも一つのテスト用第Ｋアップデートイメージを生成させるプロセス；
（Ｉ−４）前記（Ｉ−２）プロセス及び前記（Ｉ−３）プロセスを遂行して生成されたテスト用第Ｎアップデートイメージを前記テストイメージとして出力するプロセス；
を含み、ここでＫは１ないしＮの整数であることを特徴とする請求項２２に記載の装置。
（Ｉ−１）前記支援ＣＮＮに含まれている支援コンボリューションレイヤをもって、（ｉ）前記テスト用第１ベースイメージに少なくとも一つの支援ＣＮＮ演算を適用することによって一つ以上のテスト用特定スタイル特徴マップを生成するプロセス、及び（ｉｉ）前記テスト用第２ベースイメージのうち特定の第２ベースイメージに前記支援ＣＮＮ演算を適用することによって一つ以上のテスト用特定コンテンツ特徴マップを生成するプロセス；
（Ｉ−２）（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、テスト用ノイズイメージに前記支援ＣＮＮ演算を適用することによって一つ以上のテスト用第１アップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている支援ロスレイヤをもって、（ｉｉ−１）前記テスト用特定スタイル特徴マップ及び前記テスト用特定コンテンツ特徴マップとともに前記テスト用第１アップデート特徴マップを使用して、少なくとも一つのテスト用第１アップデートロスを生成させ、（ｉｉ−２）前記テスト用第１アップデートロスを通じて前記ノイズイメージをアップデートすることによって少なくとも一つのテスト用第１アップデートイメージを生成させるプロセス；
（Ｉ−３）（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、テスト用第（Ｋ−１）アップデートイメージに前記支援ＣＮＮ演算を適用することによって一つ以上のテスト用第Ｋアップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている前記支援ロスレイヤをもって、（ｉｉ−１）前記テスト用特定スタイル特徴マップ及び前記テスト用特定コンテンツ特徴マップとともに前記テスト用第Ｋアップデート特徴マップを使用して、少なくとも一つのテスト用第Ｋアップデートロスを生成させ、（ｉｉ−２）前記テスト用第Ｋアップデートロスを通じて前記テスト用第（Ｋ−１）イメージをアップデートすることによって少なくとも一つのテスト用第Ｋアップデートイメージを生成させるプロセス；
（Ｉ−４）前記（Ｉ−２）プロセス及び前記（Ｉ−３）プロセスを遂行して生成されたテスト用第Ｎアップデートイメージを前記テストイメージとして出力するプロセス；
を含み、ここでＫは１ないしＮの整数であることを特徴とする請求項２２に記載の装置。
【請求項25】
前記（ＩＩ）プロセス以後に、
前記プロセッサが、（ＩＶ）前記テスト用第２ベースイメージが取得された際に第Ｔタイミング以後である第Ｔ＋１タイミングに前記テスト用カメラを介してテスト用追加第２ベースイメージが取得されると、前記支援ＣＮＮをもって、（ｉ）前記テスト用第１ベースイメージ及び前記テスト用追加第２ベースイメージを参照して追加テストイメージを生成した後、（ｉｉ）前記追加テストイメージを使用してテスト用追加予測自律走行ソース情報を生成させるプロセスをさらに遂行することを特徴とする請求項２２に記載の装置。
前記プロセッサが、（ＩＶ）前記テスト用第２ベースイメージが取得された際に第Ｔタイミング以後である第Ｔ＋１タイミングに前記テスト用カメラを介してテスト用追加第２ベースイメージが取得されると、前記支援ＣＮＮをもって、（ｉ）前記テスト用第１ベースイメージ及び前記テスト用追加第２ベースイメージを参照して追加テストイメージを生成した後、（ｉｉ）前記追加テストイメージを使用してテスト用追加予測自律走行ソース情報を生成させるプロセスをさらに遂行することを特徴とする請求項２２に記載の装置。
【請求項26】
前記（ＩＩ）プロセスは、
前記プロセッサが、（ｉ）前記メインＣＮＮの前記メインコンボリューションレイヤに含まれている一つ以上のメインコンボリューションニューロンをもって、（ｉ−１）それ自体に入力された少なくとも一つの値にそれ自体のパラメータを利用して少なくとも一つのメインコンボリューション演算を適用した後、（ｉ−２）それ自体の次の自律走行コンボリューションニューロンに伝達するプロセスを繰り返させることによってテスト用自律走行特徴マップを生成させた後、（ｉｉ）前記メインＣＮＮの前記出力レイヤをもって、前記テスト用自律走行特徴マップに少なくとも一つの出力演算を適用させて前記テスト用予測自律走行ソース情報を生成させることによって前記メインＣＮＮ演算を前記テストイメージに適用させることを特徴とする請求項２２に記載の装置。
前記プロセッサが、（ｉ）前記メインＣＮＮの前記メインコンボリューションレイヤに含まれている一つ以上のメインコンボリューションニューロンをもって、（ｉ−１）それ自体に入力された少なくとも一つの値にそれ自体のパラメータを利用して少なくとも一つのメインコンボリューション演算を適用した後、（ｉ−２）それ自体の次の自律走行コンボリューションニューロンに伝達するプロセスを繰り返させることによってテスト用自律走行特徴マップを生成させた後、（ｉｉ）前記メインＣＮＮの前記出力レイヤをもって、前記テスト用自律走行特徴マップに少なくとも一つの出力演算を適用させて前記テスト用予測自律走行ソース情報を生成させることによって前記メインＣＮＮ演算を前記テストイメージに適用させることを特徴とする請求項２２に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自律走行車両とともに使用するための方法及び装置に関し、より具体的にバーチャル世界で学習されたＣＮＮがリアル世界で使用され得るようにする学習方法及び学習装置、そしてこれを利用したテスト装置に関する。
【背景技術】
【0002】
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｏｒ Ｄｅｅｐ ＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解決するために９０年代にも使用されていたが、近年になって機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）分野で広く使用されるようになった。例えば、ＣＮＮは、２０１２年にイメージ認識コンテスト（ＩｍａｇｅＮｅｔ Ｌａｒｇｅ Ｓｃａｌｅ Ｖｉｓｕａｌ Ｒｅｃｏｇｎｉｔｉｏｎ Ｃｈａｌｌｅｎｇｅ）で他の競争相手に勝って優勝を収めた。その後、ＣＮＮは、機械学習分野で非常に有用なツールとして使用されるようになった。
【0003】
最近、ＣＮＮは自律走行分野で多様に使用されている。ＣＮＮは、自律走行分野でそれ自体の入力イメージを処理することによって、物体検出、セマンティックセグメンテーション、余裕空間の検出などを遂行することができる。ここで、ＣＮＮがこのような機能を遂行するためには、莫大な量の学習セットが必要である。
【0004】
このような方式の問題点は、自律走行分野でＣＮＮを使用して前述した学習セットを作成するのに費用がかなりかかるということである。また、学習セットを生成するためには、学習イメージは自動的に取得され得るが、これに対応する原本正解は人によって手動で生成されなければならないため、費用がかなりかかるのである。
【0005】
このような問題点を克服するための代案が仮想運転である。プログラミングされたコンピュータを利用してバーチャル世界をシミュレーションし、学習イメージとそれに対応する原本正解とをいずれも自動的に取得することができるので、費用をかなり節減し得る長所がある。
【0006】
しかしながら、この方法もやはり、バーチャル世界で取得した学習イメージがリアル世界のイメージと異なるため、バーチャル世界で学習されたＣＮＮに対する信頼性が担保されない問題がある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、前述した問題点を解決することを目的とする。
【0008】
本発明は、写真スタイル変換を使用してランタイム入力変換のための学習方法を提供することによって、バーチャル世界で学習されたＣＮＮがリアル世界で使用され得るようにすることを他の目的とする。
【0009】
本発明は、バーチャル世界から取得した仮想イメージとテストに使用されるイメージとして同一のスタイルのリアルイメージとを学習イメージとして使用する学習方法を提供することをまた他の目的とする。
【課題を解決するための手段】
【0010】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。
【0011】
本発明の一態様によると、少なくとも一つの仮想イメージ及び少なくとも一つのスタイル変換リアルイメージ（前記スタイル変換リアルイメージは、少なくとも一つのリアルイメージを予め設定されたバーチャル世界のイメージスタイルに変換したものである）を使用して、自律走行を遂行するために使用されるメインＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を学習する方法において、（ａ）学習装置が、予め設定されたバーチャル世界における仮想車両のバーチャル走行に対応する一つ以上の第１学習イメージの少なくとも一部を取得する段階；及び（ｂ）前記学習装置が、（ｂ１）（ｉ）前記メインＣＮＮに含まれている、メインコンボリューションレイヤ及び出力レイヤをもって、前記第１学習イメージを参照して一つ以上の第１予測自律走行ソース情報を生成させ、（ｉｉ）前記メインＣＮＮに含まれているメインロスレイヤをもって、（ｉｉ−１）前記第１予測自律走行ソース情報及びこれに対応する第１原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）自律走行ソース情報を参照して、一つ以上の第１メインロスを生成させた後、（ｉｉ−２）前記第１メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第１学習プロセス；及び（ｂ２）（ｉ）支援ＣＮＮをもって、前記第１学習イメージに対応する少なくとも一つの第１ベースイメージ及びリアル世界における実際車両のリアル走行に対応する一つ以上の第２ベースイメージを参照して、一つ以上の第２学習イメージを生成させ、（ｉｉ）前記メインＣＮＮに含まれている、前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記第２学習イメージを参照して、一つ以上の第２予測自律走行ソース情報を生成させた後、（ｉｉｉ）前記メインＣＮＮに含まれている前記メインロスレイヤをもって、（ｉｉｉ−１）前記第２予測自律走行ソース情報及びこれに対応する第２原本正解自律走行ソース情報を参照して、一つ以上の第２メインロスを生成させた後、（ｉｉｉ−２）前記第２メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第２学習プロセスを遂行させる段階；を含むことを特徴とする方法が提供される。
【0012】
一実施例において、前記（ｂ２）段階は、（ｂ２１）前記学習装置が、前記支援ＣＮＮに含まれている支援コンボリューションレイヤをもって、（ｉ）前記第１ベースイメージに少なくとも一つの支援ＣＮＮ演算を適用することによって一つ以上の特定スタイル特徴マップを生成し、（ｉｉ）前記第２ベースイメージのうち特定の第２ベースイメージに前記支援ＣＮＮ演算を適用することによって一つ以上の特定コンテンツ特徴マップを生成する段階；（ｂ２２）前記学習装置が、（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、ノイズイメージに前記支援ＣＮＮ演算を適用することによって一つ以上の第１アップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている支援ロスレイヤをもって、（ｉｉ−１）前記特定スタイル特徴マップ及び前記特定コンテンツ特徴マップとともに前記第１アップデート特徴マップを使用して、少なくとも一つの第１アップデートロスを生成させ、（ｉｉ−２）前記第１アップデートロスを通じて前記ノイズイメージをアップデートすることによって少なくとも一つの第１アップデートイメージを生成させる段階；（ｂ２３）前記学習装置が、（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、第（Ｋ−１）アップデートイメージに前記支援ＣＮＮ演算を適用することによって一つ以上の第Ｋアップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている前記支援ロスレイヤをもって、（ｉｉ−１）前記特定スタイル特徴マップ及び前記特定コンテンツ特徴マップとともに前記第Ｋアップデート特徴マップを使用して、少なくとも一つの第Ｋアップデートロスを生成させ、（ｉｉ−２）前記第Ｋアップデートロスを通じて前記第（Ｋ−１）イメージをアップデートすることによって少なくとも一つの第Ｋアップデートイメージを生成させる段階；及び（ｂ２４）前記学習装置が、前記（ｂ２２）段階及び前記（ｂ２３）段階を遂行して生成された第Ｎアップデートイメージを特定の第２学習イメージとして出力する段階；を含み、ここでＫは１ないしＮの整数（ｉｎｔｅｇｅｒ）であることを特徴とする方法が提供される。
【0013】
一実施例において、前記（ｂ２２）段階は、前記学習装置が、前記支援ロスレイヤをもって、（ｉ）前記第１アップデート特徴マップと前記特定スタイル特徴マップとを使用して一つ以上の第１スタイルロスを生成するプロセス、及び（ｉｉ）前記第１アップデート特徴マップと前記特定コンテンツ特徴マップとを使用して一つ以上の第１コンテンツロスを生成するプロセスを遂行させることによって、前記第１スタイルロス及び前記第１コンテンツロスを含む前記第１アップデートロスを生成させることを特徴とする方法が提供される。
【0014】
一実施例において、前記（ｂ２２）段階は、前記学習装置が、前記支援ロスレイヤをもって、最急降下法（ｇｒａｄｉｅｎｔ−ｄｅｓｃｅｎｔ ｓｃｈｅｍｅ）で前記第１アップデートロスを使用して前記ノイズイメージをアップデートさせることによって、（ｉ）前記第１アップデートイメージのスタイル特性を前記ノイズイメージのスタイル特性より前記特定の第１ベースイメージのスタイル特性とさらに類似させ、（ｉｉ）前記第１アップデートイメージのコンテンツ特性を前記ノイズイメージのコンテンツ特性より前記特定の第２ベースイメージのコンテンツ特性とさらに類似させることを特徴とする方法が提供される。
【0015】
一実施例において、前記（ｂ）段階は、前記学習装置が、（ｉ）前記メインＣＮＮをもって、前記第１学習イメージの特定の個数と、これに対応する前記第１原本正解自律走行ソース情報とを使用して前記パラメータを学習することによって前記第１学習プロセスを遂行し、（ｉｉ）前記メインＣＮＮをもって、前記第２学習イメージと、これに対応する前記第２原本正解自律走行ソース情報とを使用して前記パラメータを微調整することによって前記第２学習プロセスを遂行することを特徴とする方法が提供される。
【0016】
一実施例において、前記（ｂ）段階は、前記学習装置が、（ｉ）前記メインＣＮＮをもって、（ｉ−１）管理者により予め設定された特定の数に対する特定の第１学習イメージの数の割合による前記第１学習イメージのうち一つ以上の特定の第１学習イメージ、及び（ｉ−２）これに対応する前記第１原本正解自律走行ソース情報の一部を使用して、前記パラメータを初期に学習することによって前記第１学習プロセスを遂行させた後、前記学習装置が、（ｉｉ）前記メインＣＮＮをもって、前記第１学習イメージ及びこれに対応する前記第１原本正解自律走行ソース情報とともに前記第２学習イメージ及びこれに対応する前記第２原本正解自律走行ソース情報を共に使用して、前記パラメータを再学習することによって前記第２学習プロセスを遂行させることを特徴とする方法が提供される。
【0017】
一実施例において 前記（ｂ２）段階は、前記第１ベースイメージは、前記第１学習イメージの中から選択されたイメージであり、前記第２ベースイメージは、前記リアル車両に搭載されている少なくとも一つのカメラを介して前記リアル車両に対応するリアル走行状況を撮影したイメージであり、前記少なくとも一つの第１ベースイメージが一つである場合、前記第２学習イメージそれぞれは、前記第２ベースイメージそれぞれに対応するように生成されることを特徴とする方法が提供される。
【0018】
一実施例において、前記（ｂ１）段階は、前記学習装置が、（ｉ）前記メインＣＮＮに含まれている前記メインコンボリューションレイヤの一つ以上のメインコンボリューションニューロンをもって、（ｉ−１）それ自体のパラメータを使用して、入力された値に少なくとも一つのメインコンボリューションを適用し、（ｉ−２）この出力をそれ自体の次の自律走行ニューロンに伝達するプロセスを繰り返させることによって第１自律走行特徴マップを生成させた後、（ｉｉ）前記メインＣＮＮに含まれている前記出力レイヤをもって、前記第１自律走行特徴マップに少なくとも一つの出力演算を適用して前記第１予測自律走行ソース情報を生成させることによって、前記メインＣＮＮ演算を前記第１学習イメージに適用することを特徴とする方法が提供される。
【0019】
本発明の他の態様によると、少なくとも一つの仮想イメージ及び少なくとも一つのスタイル変換リアルイメージ（前記スタイル変換リアルイメージは、少なくとも一つのリアルイメージを予め設定されたバーチャル世界のイメージスタイルに変換したものである）を使用して、自律走行を遂行するために使用されるメインＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をテストする方法において、（ａ）（１）学習装置が、予め設定されたバーチャル世界における仮想車両のバーチャル走行に対応する一つ以上の第１学習イメージの少なくとも一部を取得し、（２）前記学習装置が、（２−１）（ｉ）前記メインＣＮＮに含まれている、メインコンボリューションレイヤ及び出力レイヤをもって、前記第１学習イメージを参照して一つ以上の第１予測自律走行ソース情報を生成させ、（ｉｉ）前記メインＣＮＮに含まれているメインロスレイヤをもって、（ｉｉ−１）前記第１予測自律走行ソース情報及びこれに対応する第１原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）自律走行ソース情報を参照して、一つ以上の第１メインロスを生成させた後、（ｉｉ−２）前記第１メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第１学習プロセス；及び（２−２）（ｉ）支援ＣＮＮをもって、前記第１学習イメージに対応する少なくとも一つの第１ベースイメージ及びリアル世界における実際車両のリアル走行に対応する一つ以上の第２ベースイメージを参照して、一つ以上の第２学習イメージを生成させ、（ｉｉ）前記メインＣＮＮに含まれている、前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記第２学習イメージを参照して、一つ以上の第２予測自律走行ソース情報を生成させた後、（ｉｉｉ）前記メインＣＮＮに含まれている前記メインロスレイヤをもって、（ｉｉｉ−１）前記第２予測自律走行ソース情報及びこれに対応する第２原本正解自律走行ソース情報を参照して、一つ以上の第２メインロスを生成させた後、（ｉｉｉ−２）前記第２メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第２学習プロセスを遂行して学習が完了した状態で、テスト装置が、前記支援ＣＮＮをもって、（ｉ）テスト用バーチャル世界におけるテスト用仮想車両のテスト用バーチャル走行に対応する少なくとも一つのテスト用第１ベースイメージ、及び（ｉｉ）前記テスト装置と連動して作動するテスト用リアル車両に搭載された少なくとも一つのテスト用カメラを介して取得された少なくとも一つのテスト用第２ベースイメージを参照してテストイメージを生成させる段階；及び（ｂ）前記テスト装置が、前記メインＣＮＮに含まれている前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記テストイメージを参照してテスト用予測自律走行ソース情報を生成させる段階；を含むことを特徴とする方法が提供される。
【0020】
一実施例において、（ｃ）前記テスト装置が、前記テスト用予測自律走行ソース情報を自律走行アプリケーションモジュールに伝達して、前記テスト用リアル車両の自律走行を支援する段階；をさらに含むことを特徴とする方法が提供される。
【0021】
一実施例において、前記（ａ）段階は、（ａ１）前記テスト装置が、前記支援ＣＮＮに含まれている支援コンボリューションレイヤをもって、（ｉ）前記テスト用第１ベースイメージに少なくとも一つの支援ＣＮＮ演算を適用することによって一つ以上のテスト用特定スタイル特徴マップを生成するプロセス、及び（ｉｉ）前記テスト用第２ベースイメージのうち特定の第２ベースイメージに前記支援ＣＮＮ演算を適用することによって一つ以上のテスト用特定コンテンツ特徴マップを生成するプロセスを遂行させる段階；（ａ２）前記テスト装置が、（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、テスト用ノイズイメージに前記支援ＣＮＮ演算を適用することによって一つ以上のテスト用第１アップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている支援ロスレイヤをもって、（ｉｉ−１）前記テスト用特定スタイル特徴マップ及び前記テスト用特定コンテンツ特徴マップとともに前記テスト用第１アップデート特徴マップを使用して、少なくとも一つのテスト用第１アップデートロスを生成させ、（ｉｉ−２）前記テスト用第１アップデートロスを通じて前記ノイズイメージをアップデートすることによって少なくとも一つのテスト用第１アップデートイメージを生成させる段階；（ａ３）前記テスト装置が、（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、テスト用第（Ｋ−１）アップデートイメージに前記支援ＣＮＮ演算を適用することによって一つ以上のテスト用第Ｋアップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている前記支援ロスレイヤをもって、（ｉｉ−１）前記テスト用特定スタイル特徴マップ及び前記テスト用特定コンテンツ特徴マップとともに前記テスト用第Ｋアップデート特徴マップを使用して、少なくとも一つのテスト用第Ｋアップデートロスを生成させ、（ｉｉ−２）前記テスト用第Ｋアップデートロスを通じて前記テスト用第（Ｋ−１）イメージをアップデートすることによって少なくとも一つのテスト用第Ｋアップデートイメージを生成させる段階；（ａ４）前記テスト装置が、前記（ａ２）段階及び前記（ａ３）段階を遂行して生成されたテスト用第Ｎアップデートイメージを前記テストイメージとして出力する段階；を含み、ここでＫは１ないしＮの整数であることを特徴とする方法が提供される。
【0022】
一実施例において、前記（ｂ）段階以後に、（ｄ）前記テスト用第２ベースイメージが取得された際に第Ｔタイミング以後である第Ｔ＋１タイミングに前記テスト用カメラを介してテスト用追加第２ベースイメージが取得されると、前記テスト装置が、前記支援ＣＮＮをもって、（ｉ）前記テスト用第１ベースイメージ及び前記テスト用追加第２ベースイメージを参照して追加テストイメージを生成した後、（ｉｉ）前記追加テストイメージを使用してテスト用追加予測自律走行ソース情報を生成させる段階；をさらに含むことを特徴とする方法が提供される。
【0023】
一実施例において、前記（ｂ）段階は、前記テスト装置が、（ｉ）前記メインＣＮＮの前記メインコンボリューションレイヤに含まれている一つ以上のメインコンボリューションニューロンをもって、（ｉ−１）それ自体に入力された少なくとも一つの値にそれ自体のパラメータを利用して少なくとも一つのメインコンボリューション演算を適用した後、（ｉ−２）それ自体の次の自律走行コンボリューションニューロンに伝達するプロセスを繰り返させることによってテスト用自律走行特徴マップを生成させた後、（ｉｉ）前記メインＣＮＮの前記出力レイヤをもって、前記テスト用自律走行特徴マップに少なくとも一つの出力演算を適用させて前記テスト用予測自律走行ソース情報を生成させることによって前記メインＣＮＮ演算を前記テストイメージに適用させることを特徴とする方法が提供される。
【0024】
本発明のまた他の態様によると、少なくとも一つの仮想イメージ及び少なくとも一つのスタイル変換リアルイメージ（前記スタイル変換リアルイメージは、少なくとも一つのリアルイメージを予め設定されたバーチャル世界のイメージスタイルに変換したものである）を使用して、自律走行を遂行するために使用されるメインＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を学習する装置において、各インストラクションを格納する少なくとも一つのメモリと、前記各インストラクションを遂行するように設定された少なくとも一つのプロセッサとを含み、前記プロセッサは、（Ｉ）予め設定されたバーチャル世界における仮想車両のバーチャル走行に対応する一つ以上の第１学習イメージの少なくとも一部を取得し、（ＩＩ）（ＩＩ−１）（ｉ）前記メインＣＮＮに含まれている、メインコンボリューションレイヤ及び出力レイヤをもって、前記第１学習イメージを参照して一つ以上の第１予測自律走行ソース情報を生成させ、（ｉｉ）前記メインＣＮＮに含まれているメインロスレイヤをもって、（ｉｉ−１）前記第１予測自律走行ソース情報及びこれに対応する第１原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）自律走行ソース情報を参照して、一つ以上の第１メインロスを生成させた後、（ｉｉ−２）前記第１メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第１学習プロセス；及び（ＩＩ−２）（ｉ）支援ＣＮＮをもって、前記第１学習イメージに対応する少なくとも一つの第１ベースイメージ及びリアル世界における実際車両のリアル走行に対応する一つ以上の第２ベースイメージを参照して、一つ以上の第２学習イメージを生成させ、（ｉｉ）前記メインＣＮＮに含まれている、前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記第２学習イメージを参照して、一つ以上の第２予測自律走行ソース情報を生成させた後、（ｉｉｉ）前記メインＣＮＮに含まれている前記メインロスレイヤをもって、（ｉｉｉ−１）前記第２予測自律走行ソース情報及びこれに対応する第２原本正解自律走行ソース情報を参照して、一つ以上の第２メインロスを生成させた後、（ｉｉｉ−２）前記第２メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第２学習プロセスを遂行することを特徴とする装置が提供される。
【0025】
一実施例において、前記（ＩＩ−２）プロセスは、（ＩＩ−２−１）前記支援ＣＮＮに含まれている支援コンボリューションレイヤをもって、（ｉ）前記第１ベースイメージに少なくとも一つの支援ＣＮＮ演算を適用することによって一つ以上の特定スタイル特徴マップを生成し、（ｉｉ）前記第２ベースイメージのうち特定の第２ベースイメージに前記支援ＣＮＮ演算を適用することによって一つ以上の特定コンテンツ特徴マップを生成するプロセスと、（ＩＩ−２−２）（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、ノイズイメージに前記支援ＣＮＮ演算を適用することによって一つ以上の第１アップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている支援ロスレイヤをもって、（ｉｉ−１）前記特定スタイル特徴マップ及び前記特定コンテンツ特徴マップとともに前記第１アップデート特徴マップを使用して、少なくとも一つの第１アップデートロスを生成させ、（ｉｉ−２）前記第１アップデートロスを通じて前記ノイズイメージをアップデートすることによって少なくとも一つの第１アップデートイメージを生成させるプロセスと、（ＩＩ−２−３）（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、第（Ｋ−１）アップデートイメージに前記支援ＣＮＮ演算を適用することによって一つ以上の第Ｋアップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている前記支援ロスレイヤをもって、（ｉｉ−１）前記特定スタイル特徴マップ及び前記特定コンテンツ特徴マップとともに前記第Ｋアップデート特徴マップを使用して、少なくとも一つの第Ｋアップデートロスを生成させ、（ｉｉ−２）前記第Ｋアップデートロスを通じて前記第（Ｋ−１）イメージをアップデートすることによって少なくとも一つの第Ｋアップデートイメージを生成させるプロセスと、（ＩＩ−２−４）前記（ＩＩ−２−２）プロセス及び前記（ＩＩ−２−３）プロセスを遂行して生成された第Ｎアップデートイメージを特定の第２学習イメージとして出力するプロセスと、を含み、ここでＫは１ないしＮの整数であることを特徴とする装置が提供される。
【0026】
一実施例において、前記（ＩＩ−２−２）プロセスは、前記プロセッサが、前記支援ロスレイヤをもって、（ｉ）前記第１アップデート特徴マップと前記特定スタイル特徴マップとを使用して一つ以上の第１スタイルロスを生成するプロセス、及び（ｉｉ）前記第１アップデート特徴マップと前記特定コンテンツ特徴マップとを使用して一つ以上の第１コンテンツロスを生成するプロセスを遂行させることによって前記第１スタイルロス及び前記第１コンテンツロスを含む前記第１アップデートロスを生成させることを特徴とする装置が提供される。
【0027】
一実施例において、前記（ＩＩ−２−２）プロセスは、前記プロセッサが、前記支援ロスレイヤをもって、最急降下法（ｇｒａｄｉｅｎｔ−ｄｅｓｃｅｎｔ ｓｃｈｅｍｅ）で前記第１アップデートロスを使用して前記ノイズイメージをアップデートさせることによって、（ｉ）前記第１アップデートイメージのスタイル特性を前記ノイズイメージのスタイル特性より前記特定の第１ベースイメージのスタイル特性とさらに類似させ、（ｉｉ）前記第１アップデートイメージのコンテンツ特性を前記ノイズイメージのコンテンツ特性より前記特定の第２ベースイメージのコンテンツ特性とさらに類似させることを特徴とする装置が提供される。
【0028】
一実施例において、前記（ＩＩ）プロセスは、前記プロセッサが、（ｉ）前記メインＣＮＮをもって、前記第１学習イメージの特定の個数と、これに対応する前記第１原本正解自律走行ソース情報とを使用して前記パラメータを学習することによって前記第１学習プロセスを遂行し、（ｉｉ）前記メインＣＮＮをもって、前記第２学習イメージと、これに対応する前記第２原本正解自律走行ソース情報とを使用して前記パラメータを微調整することによって前記第２学習プロセスを遂行することを特徴とする装置が提供される。
【0029】
一実施例において、前記（ＩＩ）プロセスは、前記プロセッサが、（ｉ）前記メインＣＮＮをもって、（ｉ−１）管理者により予め設定された特定の数に対する特定の第１学習イメージの数の割合による前記第１学習イメージのうち一つ以上の特定の第１学習イメージ、及び（ｉ−２）これに対応する前記第１原本正解自律走行ソース情報の一部を使用して、前記パラメータを初期に学習することによって前記第１学習プロセスを遂行させた後、前記プロセッサが、（ｉｉ）前記メインＣＮＮをもって、前記第１学習イメージ及びこれに対応する前記第１原本正解自律走行ソース情報とともに前記第２学習イメージ及びこれに対応する前記第２原本正解自律走行ソース情報を共に使用して、前記パラメータを再学習することによって前記第２学習プロセスを遂行させることを特徴とする装置が提供される。
【0030】
一実施例において、前記（ＩＩ−２）プロセスは、前記第１ベースイメージは、前記第１学習イメージの中から選択されたイメージであり、前記第２ベースイメージは、前記リアル車両に搭載された少なくとも一つのカメラを介して前記リアル車両に対応するリアル走行状況を撮影したイメージであり、前記少なくとも一つの第１ベースイメージが一つである場合、前記第２学習イメージそれぞれは、前記第２ベースイメージそれぞれに対応するように生成されることを特徴とする装置が提供される。
【0031】
一実施例において、前記（ＩＩ−１）プロセスは、前記プロセッサが、（ｉ）前記メインＣＮＮに含まれている前記メインコンボリューションレイヤの一つ以上のメインコンボリューションニューロンをもって、（ｉ−１）それ自体のパラメータを使用して、入力された値に少なくとも一つのメインコンボリューションを適用し、（ｉ−２）この出力をそれ自体の次の自律走行ニューロンに伝達するプロセスを繰り返させることによって第１自律走行特徴マップを生成させた後、（ｉｉ）前記メインＣＮＮに含まれている前記出力レイヤをもって、前記第１自律走行特徴マップに少なくとも一つの出力演算を適用して前記第１予測自律走行ソース情報を生成させることによって、前記メインＣＮＮ演算を前記第１学習イメージに適用することを特徴とする装置が提供される。
【0032】
本発明のまた他の態様によると、少なくとも一つの仮想イメージ及び少なくとも一つのスタイル変換リアルイメージ（前記スタイル変換リアルイメージは、少なくとも一つのリアルイメージを予め設定されたバーチャル世界のイメージスタイルに変換したものである）を使用して、自律走行を遂行するために使用されるメインＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をテストする装置において、各インストラクションを格納する少なくとも一つのメモリと、前記各インストラクションを遂行するように設定された少なくとも一つのプロセッサとを含み、前記プロセッサは、（Ｉ）（１）予め設定されたバーチャル世界における仮想車両のバーチャル走行に対応する一つ以上の第１学習イメージの少なくとも一部を取得し、（２）（２−１）（ｉ）前記メインＣＮＮに含まれている、メインコンボリューションレイヤ及び出力レイヤをもって、前記第１学習イメージを参照して一つ以上の第１予測自律走行ソース情報を生成させ、（ｉｉ）前記メインＣＮＮに含まれているメインロスレイヤをもって、（ｉｉ−１）前記第１予測自律走行ソース情報及びこれに対応する第１原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）自律走行ソース情報を参照して、一つ以上の第１メインロスを生成させた後、（ｉｉ−２）前記第１メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第１学習プロセスと、（２−２）（ｉ）支援ＣＮＮをもって、前記第１学習イメージに対応する少なくとも一つの第１ベースイメージ及びリアル世界における実際車両のリアル走行に対応する一つ以上の第２ベースイメージを参照して、一つ以上の第２学習イメージを生成させ、（ｉｉ）前記メインＣＮＮに含まれている、前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記第２学習イメージを参照して、一つ以上の第２予測自律走行ソース情報を生成させた後、（ｉｉｉ）前記メインＣＮＮに含まれている前記メインロスレイヤをもって、（ｉｉｉ−１）前記第２予測自律走行ソース情報及びこれに対応する第２原本正解自律走行ソース情報を参照して、一つ以上の第２メインロスを生成させた後、（ｉｉｉ−２）前記第２メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第２学習プロセスを遂行して学習が完了した状態で、テスト装置が、前記支援ＣＮＮをもって、（ｉ）テスト用バーチャル世界におけるテスト用仮想車両のテスト用バーチャル走行に対応する少なくとも一つのテスト用第１ベースイメージ、及び（ｉｉ）前記テスト装置と連動して作動するテスト用リアル車両に搭載された少なくとも一つのテスト用カメラを介して取得された少なくとも一つのテスト用第２ベースイメージを参照してテストイメージを生成させるプロセスと、（ＩＩ）前記メインＣＮＮに含まれている前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記テストイメージを参照してテスト用予測自律走行ソース情報を生成させるプロセスと、を遂行することを特徴とする装置が提供される。
【0033】
一実施例において、前記プロセッサが、（ＩＩＩ）前記テスト用予測自律走行ソース情報を自律走行アプリケーションモジュールに伝達して前記テスト用リアル車両の自律走行を支援するプロセスをさらに遂行することを特徴とする装置が提供される。
【0034】
一実施例において、前記（Ｉ）プロセスは、（Ｉ−１）前記支援ＣＮＮに含まれている支援コンボリューションレイヤをもって、（ｉ）前記テスト用第１ベースイメージに少なくとも一つの支援ＣＮＮ演算を適用することによって一つ以上のテスト用特定スタイル特徴マップを生成するプロセス、及び（ｉｉ）前記テスト用第２ベースイメージのうち特定の第２ベースイメージに前記支援ＣＮＮ演算を適用することによって一つ以上のテスト用特定コンテンツ特徴マップを生成するプロセスと、（Ｉ−２）（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、テスト用ノイズイメージに前記支援ＣＮＮ演算を適用することによって一つ以上のテスト用第１アップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている支援ロスレイヤをもって、（ｉｉ−１）前記テスト用特定スタイル特徴マップ及び前記テスト用特定コンテンツ特徴マップとともに前記テスト用第１アップデート特徴マップを使用して、少なくとも一つのテスト用第１アップデートロスを生成させ、（ｉｉ−２）前記テスト用第１アップデートロスを通じて前記ノイズイメージをアップデートすることによって少なくとも一つのテスト用第１アップデートイメージを生成させるプロセスと、（Ｉ−３）（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、テスト用第（Ｋ−１）アップデートイメージに前記支援ＣＮＮ演算を適用することによって一つ以上のテスト用第Ｋアップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている前記支援ロスレイヤをもって、（ｉｉ−１）前記テスト用特定スタイル特徴マップ及び前記テスト用特定コンテンツ特徴マップとともに前記テスト用第Ｋアップデート特徴マップを使用して、少なくとも一つのテスト用第Ｋアップデートロスを生成させ、（ｉｉ−２）前記テスト用第Ｋアップデートロスを通じて前記テスト用第（Ｋ−１）イメージをアップデートすることによって少なくとも一つのテスト用第Ｋアップデートイメージを生成させるプロセスと、（Ｉ−４）前記（Ｉ−２）プロセス及び前記（Ｉ−３）プロセスを遂行して生成されたテスト用第Ｎアップデートイメージを前記テストイメージとして出力するプロセスと、を含み、ここでＫは１ないしＮの整数であることを特徴とする装置が提供される。
【0035】
一実施例において、前記（ＩＩ）プロセス以後に、前記プロセッサが、（ＩＶ）前記テスト用第２ベースイメージが取得された際に第Ｔタイミング以後である第Ｔ＋１タイミングに前記テスト用カメラを介してテスト用追加第２ベースイメージが取得されると、前記支援ＣＮＮをもって、（ｉ）前記テスト用第１ベースイメージ及び前記テスト用追加第２ベースイメージを参照して追加テストイメージを生成した後、（ｉｉ）前記追加テストイメージを使用してテスト用追加予測自律走行ソース情報を生成させるプロセスをさらに遂行することを特徴とする装置が提供される。
【0036】
一実施例において、前記（ＩＩ）プロセスは、前記プロセッサが、（ｉ）前記メインＣＮＮの前記メインコンボリューションレイヤに含まれている一つ以上のメインコンボリューションニューロンをもって、（ｉ−１）それ自体に入力された少なくとも一つの値にそれ自体のパラメータを利用して少なくとも一つのメインコンボリューション演算を適用した後、（ｉ−２）それ自体の次の自律走行コンボリューションニューロンに伝達するプロセスを繰り返させることによってテスト用自律走行特徴マップを生成させた後、（ｉｉ）前記メインＣＮＮの前記出力レイヤをもって、前記テスト用自律走行特徴マップに少なくとも一つの出力演算を適用させて前記テスト用予測自律走行ソース情報を生成させることによって前記メインＣＮＮ演算を前記テストイメージに適用させることを特徴とする装置が提供される。
【発明の効果】
【0037】
本発明は、写真スタイル変換を使用してランタイム入力変換のための学習方法を提供することによって、バーチャル世界で学習されたＣＮＮを実際の自律走行に使用され得るようにする効果がある。
【0038】
また、本発明は、バーチャル世界から取得された仮想イメージとテストに使用されるイメージとして同一のスタイルのリアルイメージとを学習イメージとして使用する学習方法を提供することができる効果がある。
【0039】
また、本発明は、リアル世界で自律走行を十分に遂行し得るＣＮＮを、少ない費用でも効率的に学習し得るようにする効果がある。
【図面の簡単な説明】
【0040】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。【図1】図１は、本発明の一実施例にしたがって、写真スタイル変換を使用してランタイム入力の変換によりリアル世界で使用されるバーチャル世界で学習された自律走行用ＣＮＮを許容するための学習方法を遂行する学習装置の構成を示した図面である。
【図2】図２は、本発明の一実施例にしたがって、写真スタイル変換を使用してランタイム入力の変換によりリアル世界で使用されるバーチャル世界で学習された自律走行用ＣＮＮを許容するための学習方法を示したチャート図である。
【発明を実施するための形態】
【0041】
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述する詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【0042】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【0043】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【0044】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について添付された図面を参照して詳細に説明することにする。
【0045】
図１は、本発明の一実施例にしたがって、写真スタイル変換を使用してランタイム入力の変換によりリアル世界で使用されるバーチャル世界で学習された自律走行用ＣＮＮを許容するための学習方法を遂行する学習装置の構成を示した図面である。
【0046】
図１を参照すると、学習装置１００は、追って詳細に説明する自律走行に使用されるメインＣＮＮ１３０及び支援ＣＮＮ１４０を含むことができる。メインＣＮＮ１３０及び支援ＣＮＮ１４０の入出力及び演算過程は、それぞれ少なくとも一つの通信部１１０及び少なくとも一つのプロセッサ１２０により行われ得る。ただし、図１では、通信部１１０及びプロセッサ１２０の具体的な連結関係を省略した。この場合、メモリ１１５は、後述する様々なインストラクションを格納した状態であり得、プロセッサ１２０は前記メモリ１１５に格納された各インストラクションを遂行するように設定され、プロセッサ１２０は、追って説明する各インストラクションを遂行することによって本発明を遂行することができる。このように、学習装置１００が描写されたからといって、学習装置１００が本発明を実施するためのミディアム、プロセッサ、及びメモリが統合された形態である統合プロセッサを含む場合を排除するわけではない。
【0047】
以上、本発明の一実施例によって遂行される学習装置１００の構成について考察してみたところ、以下では、学習装置１００が遂行する学習方法について説明する。
【0048】
図２は、本発明の一実施例にしたがって、写真スタイル変換を使用してランタイム入力の変換によりリアル世界で使用されるバーチャル世界で学習された自律走行用ＣＮＮを許容するための学習方法を示したチャート図である。
【0049】
図２を参照すると、学習装置１００は、一つ以上の第１学習イメージのうち少なくとも一部を取得することができる（Ｓ０１）。以後、学習装置１００は、二つのプロセスを並列して遂行することができる。
【0050】
まず、学習装置１００は、メインＣＮＮ１３０をもって、各第１学習イメージを参照して第１予測自律走行ソース情報を生成させることができる（Ｓ０２−１）。以後、学習装置１００は、メインＣＮＮ１３０をもって、第１予測自律走行ソース情報及びこれに対応する第１原本正解自律走行ソース情報を参照して第１自律走行ロスを生成させることができる（Ｓ０２−２）。そして、学習装置１００は、メインＣＮＮ１３０をもって、メインＣＮＮのパラメータの少なくとも一部を学習させる第１学習プロセスを遂行することができる（Ｓ０２−３）。
【0051】
第二に、学習装置１００は、支援ＣＮＮ１４０をもって、少なくとも一つの第１ベースイメージ及び一つ以上の第２ベースイメージを参照して一つ以上の第２学習イメージを生成させることができる（Ｓ０３−１）。そして、学習装置１００は、支援ＣＮＮ１４０をもって、各第２学習イメージを参照して第２予測自律走行ソース情報を生成させることができる（Ｓ０３−２）。以後、学習装置１００は、支援ＣＮＮ１４０をもって、第２予測自律走行ソース情報及びこれに対応する第２原本正解自律走行ソース情報を参照して第２自律走行ロスを生成させることができる（Ｓ０３−３）。そして、学習装置１００は、支援ＣＮＮ１４０をもって、第２自律走行ロスを使用してメインＣＮＮ１３０のパラメータのうち少なくとも一部を学習させる第２学習プロセスを遂行することができる（Ｓ０３−４）。
【0052】
以下、前述した第１学習プロセス及び第２学習プロセスについてさらに具体的に説明することにする。
【0053】
第１学習プロセスと関連して、学習装置１００は、メインＣＮＮ１３０に含まれている、メインコンボリューションレイヤ及び出力レイヤをもって、予め設定されたバーチャル世界における仮想車両のバーチャル走行に対応する各第１学習イメージを参照して一つ以上の第１予測自律走行ソース情報を生成させることができる。ここで、各第１学習イメージは、プログラミングされたコンピュータによりシミュレーションされたバーチャル世界をバーチャル走行中である仮想車両の観点から撮影することによって取得され得る。したがって、これらのイメージは、前記各リアルイメージに比べて彩度が高く、対比が大きく、物体のディテールが相対的に省略されており、光線の経路が多少非現実的である特性を有するイメージであり得る。第１予測自律走行ソース情報は、追って説明するテスト段階における自律走行アプリケーションモジュールに伝達される情報であって、自律走行を行うにおいて基本となるリファレンス情報を意味し得る。一例として、自律走行ソース情報は、第１学習イメージに対するセグメンテーション情報を含むことができ、また、その他の例として、第１学習イメージに対する物体検出情報を含むことができる。ただし、本発明は、これに限定されるわけではない。
【0054】
このような第１予測自律走行ソース情報を生成するために、学習装置１００は、メインＣＮＮ１３０のコンボリューションレイヤに含まれている一つ以上の自律走行コンボリューションニューロンをもって、（ｉ−１）それ自体のパラメータを使用して、入力された値に少なくとも一つのメインコンボリューションを適用し、（ｉ−２）この出力をそれ自体の次の自律走行ニューロンに伝達するプロセスを繰り返させることによって、第１自律走行特徴マップを生成させることができる。以後、学習装置１００は、前記メインＣＮＮに含まれている前記出力レイヤをもって、前記第１自律走行特徴マップに少なくとも一つの出力演算を適用して前記第１予測自律走行ソース情報を生成させることができる。ここで、前述した一例にしたがって、第１予測自律走行ソース情報がセグメンテーション情報を含む場合、出力レイヤは、デコンボリューションレイヤの形態をし、出力演算はデコンボリューション演算であり得る。前述したその他の例にしたがって、第１予測自律走行ソース情報が物体検出情報を含む場合、出力レイヤはプーリングレイヤ及びＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）レイヤを含むことができ、出力演算はプーリング演算及びＦＣ演算であり得る。
【0055】
以上、第１学習プロセスについて説明したところ、以下において第２学習プロセスについて説明することにする。
【0056】
第２学習プロセスは、第２学習イメージと関連がある。そして、第２学習イメージは、第１ベースイメージ及び第２ベースイメージを使用して支援ＣＮＮ１４０により生成されるようになる。ここで、第１ベースイメージとは、第１学習イメージに対応するもの、つまりバーチャル世界のイメージであり得、第２ベースイメージは、リアル世界における実際車両のリアル走行の間に取得されたイメージに対応し得る。一例として、第１ベースイメージは、第１学習イメージの中から選択されたものであり得、第２ベースイメージは、リアル車両に搭載されたカメラを介して取得した各リアル走行状況に対するイメージのうち一つが選択されたものであり得る。ここで、第１ベースイメージが一つのみ選択された場合、第２学習イメージそれぞれは第２ベースイメージそれぞれに対応し得る。
【0057】
このような第１ベースイメージ及び第２ベースイメージが取得された後、学習装置１００は、支援ＣＮＮ１４０に含まれている支援コンボリューションレイヤをもって、（ｉ）前記第１特定ベースイメージに少なくとも一つの支援ＣＮＮ演算を適用することによって一つ以上の特定スタイル特徴マップを生成し、（ｉｉ）前記第２ベースイメージのうち特定の第２ベースイメージに前記支援ＣＮＮ演算を適用することによって一つ以上の特定コンテンツ特徴マップを生成するプロセスを遂行させることができる。ここで、両プロセスは独立したものであって、並列して遂行され得る。特定スタイル特徴マップ及び特定コンテンツ特徴マップそれぞれは追って説明するが、それぞれ生成される特定の第２学習イメージのスタイル及びその内容に対するリファレンスとなる特徴マップであり得る。
【0058】
以後、学習装置１００は、支援ＣＮＮ１４０に含まれている支援コンボリューションレイヤをもって、ノイズイメージに前記支援ＣＮＮ演算を適用することによって一つ以上の第１アップデート特徴マップを生成させた後、前記支援ＣＮＮに含まれている支援ロスレイヤをもって、前記特定スタイル特徴マップ及び前記特定コンテンツ特徴マップとともに前記第１アップデート特徴マップを使用して、少なくとも一つの第１アップデートロスを生成させることができる。ここで、ノイズイメージは、特定の第２学習イメージを生成するために使用される背景イメージであり得る。つまり、絵を描く際に使用するキャンバスのようなイメージである。
【0059】
具体的に、学習装置１００は、支援ロスレイヤをもって、（ｉ）前記第１アップデート特徴マップと前記特定スタイル特徴マップとを使用して一つ以上の第１スタイルロスを生成するプロセス、及び（ｉｉ）前記第１アップデート特徴マップと前記特定コンテンツ特徴マップとを使用して一つ以上の第１コンテンツロスを生成するプロセスを遂行させることができる。以後、学習装置１００は、前記第１スタイルロス及び前記第１コンテンツロスを合わせて、前記第１アップデートロスを生成させることができる。ここで、第１スタイルロスを生成するために、支援ロスレイヤは、第１アップデート特徴マップにスタイル演算を適用して第１変形アップデート特徴マップを生成した後、第１変形アップデート特徴マップと特定スタイル特徴マップとの間の差を計算することができる。また、第１コンテンツロスを生成するために、支援ロスレイヤは、第１アップデート特徴マップと特定コンテンツ特徴マップとの間の差を計算することができる。
【0060】
以後、学習装置１００は、支援ロスレイヤをもって、第１アップデートロスを使用してノイズイメージをアップデートすることによって少なくとも一つの第１アップデートイメージを生成させることができる。具体的には、支援ロスレイヤをもって、最急降下法（ｇｒａｄｉｅｎｔ−ｄｅｓｃｅｎｔ ｓｃｈｅｍｅ）で前記第１アップデートロスを使用して前記ノイズイメージをアップデートすることができる。このようなアップデートプロセスを遂行することによって、前記第１アップデートイメージのスタイル特性は、前記ノイズイメージのスタイル特性より前記特定の第１ベースイメージのスタイル特性とさらに類似するようになり得る。また、前記第１アップデートイメージのコンテンツ特性は、前記ノイズイメージのコンテンツ特性より前記特定の第２ベースイメージのコンテンツ特性とさらに類似するようになり得る。
【0061】
支援ＣＮＮにより遂行される前記プロセスをより具体的に説明するために、図３を参照することにする。
【0062】
図３は、本発明の一実施例にしたがって、写真スタイル変換を使用してランタイム入力の変換によりリアル世界で使用されるバーチャル世界で学習された自律走行用ＣＮＮを許容するための学習方法に使用される第２学習イメージを生成する方式を示した図面である。
【0063】
図３を参照すると、第１アップデート特徴マップのうち一つ３０１と特定スタイル特徴マップのうち一つ３０２との間の差が計算されることによって、第１スタイルロスのうち一つが生成されたことが分かり、第１アップデート特徴マップのうち一つ３０１と特定コンテンツ特徴マップのうち一つ３０３との間の差が計算されることによって第１コンテンツロスのうちの一つが生成されたことが分かる。また、第１アップデートロスを利用してノイズイメージがアップデートされたことを確認することができる。
【0064】
以上と同一の過程を遂行して、第１アップデートイメージをアップデートして第２アップデートイメージが生成され得、第２アップデートイメージをアップデートして第３アップデートイメージが生成され得、さらには第Ｎアップデートイメージが生成され得、これを特定の第２学習イメージとして出力することができる。ここで、Ｎは予め設定された整数（ｉｎｔｅｇｅｒ）である。より具体的に、学習装置１００が、（ｉ）前記支援ＣＮＮに含まれている前記支援コンボリューションレイヤをもって、第（Ｋ−１）アップデートイメージに前記支援ＣＮＮ演算を適用することによって一つ以上の第Ｋアップデート特徴マップを生成させた後、（ｉｉ）前記支援ＣＮＮに含まれている前記支援ロスレイヤをもって、（ｉｉ−１）前記特定スタイル特徴マップ及び前記特定コンテンツ特徴マップとともに前記第Ｋアップデート特徴マップを使用して、少なくとも一つの第Ｋアップデートロスを生成させ、（ｉｉ−２）前記第Ｋアップデートロスを通じて前記第（Ｋ−１）イメージをアップデートすることによって少なくとも一つの第Ｋアップデートイメージを生成させることができる。ここで、Ｋは１ないしＮの整数である。
【0065】
このような特定の第２学習イメージの生成方式は、一般的である絵をゴッホの絵画スタイルに変えた実験結果として有名になったＧａｔｙｓ ｅｔ ａｌ．の２０１６年の論文「Ｉｍａｇｅ Ｓｔｙｌｅ Ｔｒａｎｓｆｅｒ Ｕｓｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」と類似しているところ、通常の技術者は、当該論文を参照して前記説明を容易に理解することができるであろう。
【0066】
このように特定の第２学習イメージを含む第２学習イメージが生成されると、第１学習イメージと同様にメインＣＮＮ１３０を学習するのに使用され得る。簡略に第２学習プロセスとして、学習装置１００は、（ｉ）前記メインＣＮＮに含まれている、前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記第２学習イメージを参照して、一つ以上の第２予測自律走行ソース情報を生成させた後、（ｉｉ）前記メインＣＮＮに含まれている前記メインロスレイヤをもって、（ｉｉ−１）前記第２予測自律走行ソース情報及びこれに対応する第２原本正解自律走行ソース情報を参照して、一つ以上の第２メインロスを生成させた後、（ｉｉ−２）前記第２メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる。このような第２学習プロセスは、第１学習プロセスと類似するため、さらに詳細な説明は省略することにする。
【0067】
以上、第１学習プロセス及び第２学習プロセスについて説明したところ、以下、第１学習プロセスと第２学習プロセスとがどのような方式で互いに連動して遂行され得るのかについて説明することにする。
【0068】
まず、一実施例によると、第１学習プロセス及び第２学習プロセスは同時に行われ得る。すなわち、第１学習イメージが取得された後、第２学習イメージが生成されると、この二種類の学習イメージはメインＣＮＮ１３０のパラメータのうち少なくとも一部を学習するのに使用され得る。
【0069】
その他の実施例によると、第１学習プロセスを先に遂行してメインＣＮＮ１３０のパラメータのうち少なくとも一部を学習した後、第２学習プロセスを遂行することによってパラメータを微調整することもできる。つまり、学習装置１００は、（ｉ）前記メインＣＮＮをもって、前記第１学習イメージの特定の個数と、これに対応する前記第１原本正解自律走行ソース情報とを使用して前記パラメータを学習することによって前記第１学習プロセスを遂行し、（ｉｉ）前記メインＣＮＮをもって、前記第２学習イメージと、これに対応する前記第２原本正解自律走行ソース情報とを使用して、前記パラメータを微調整することによって前記第２学習プロセスを遂行させることができる。
【0070】
または、さらに他の実施例によると、第１学習プロセスは、第１学習イメージを一部使用してパラメータのうち少なくとも一部を初期に学習した後、そして第２学習プロセスは、第１学習イメージ及び第２学習イメージをともに使用してパラメータのうち少なくとも一部を再学習することもできる。すなわち、学習装置１００が、メインＣＮＮ１３０をもって、前記第１学習イメージのうち一つ以上の特定の第１学習イメージ及びこれに対応する前記第１原本正解自律走行ソース情報の一部を使用して、前記パラメータを初期に学習することによって前記第１学習プロセスを遂行させた後、前記メインＣＮＮをもって、前記第１学習イメージ及びこれに対応する前記第１原本正解自律走行ソース情報とともに前記第２学習イメージ及びこれに対応する前記第２原本正解自律走行ソース情報を共に使用して、前記パラメータを再学習することによって前記第２学習プロセスを遂行させることができる。
【0071】
以上の過程を経て学習が完了したメインＣＮＮ１３０がどのようにテストされるのかについて、以下に図４を参照して説明することにする。
【0072】
図４は、本発明の一実施例にしたがって、写真スタイル変換を使用してランタイム入力の変換によりリアル世界で使用されるバーチャル世界で学習された自律走行用ＣＮＮを許容するためのテスト方法を示したチャート図である。
【0073】
図４を参照すると、本発明のテスト方法は、（ｉ）バーチャル走行に対応する少なくとも一つのテスト用第１ベースイメージ及びリアルタイムに取得された少なくとも一つのテスト用第２ベースイメージを参照してテストイメージを生成させる段階；及び（ｉｉ）テストイメージを学習されたメインＣＮＮ１３０に入力して、その出力、すなわちテスト用予測自律走行ソース情報を自律走行アプリケーションモジュールに伝達する構成であることを確認することができる。以下、これについてさらに具体的に説明することにする。
【0074】
すなわち、（１）学習装置が、予め設定されたバーチャル世界における仮想車両のバーチャル走行に対応する一つ以上の第１学習イメージの少なくとも一部を取得し、（２）前記学習装置が、（２−１）（ｉ）前記メインＣＮＮに含まれている、メインコンボリューションレイヤ及び出力レイヤをもって、前記第１学習イメージを参照して一つ以上の第１予測自律走行ソース情報を生成させ、（ｉｉ）前記メインＣＮＮに含まれているメインロスレイヤをもって、（ｉｉ−１）前記第１予測自律走行ソース情報及びこれに対応する第１原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）自律走行ソース情報を参照して、一つ以上の第１メインロスを生成させた後、（ｉｉ−２）前記第１メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第１学習プロセス；及び（２−２）（ｉ）支援ＣＮＮをもって、前記第１学習イメージに対応する少なくとも一つの第１ベースイメージ及びリアル世界における実際車両のリアル走行に対応する一つ以上の第２ベースイメージを参照して、一つ以上の第２学習イメージを生成させ、（ｉｉ）前記メインＣＮＮに含まれている、前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記第２学習イメージを参照して、一つ以上の第２予測自律走行ソース情報を生成させた後、（ｉｉｉ）前記メインＣＮＮに含まれている前記メインロスレイヤをもって、（ｉｉｉ−１）前記第２予測自律走行ソース情報及びこれに対応する第２原本正解自律走行ソース情報を参照して、一つ以上の第２メインロスを生成させた後、（ｉｉｉ−２）前記第２メインロスを使用してバックプロパゲーションを遂行することによって、前記メインＣＮＮのパラメータの少なくとも一部を学習させる第２学習プロセスを遂行して学習が完了した状態で、テスト装置が、前記支援ＣＮＮをもって、（ｉ）テスト用バーチャル世界におけるテスト用仮想車両のテスト用バーチャル走行に対応する少なくとも一つのテスト用第１ベースイメージ、及び（ｉｉ）前記テスト装置と連動して作動するテスト用リアル車両に搭載された少なくとも一つのテスト用カメラを介して取得された少なくとも一つのテスト用第２ベースイメージを参照してテストイメージを生成させることができる。
【0075】
以後、前記テスト装置が、前記メインＣＮＮに含まれている前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記テストイメージを参照してテスト用予測自律走行ソース情報を生成させることができる。
【0076】
そして、テスト装置が、テスト用予測自律走行ソース情報を自律走行アプリケーションモジュールに伝達することによって、前記テスト用リアル車両の自律走行を支援することができる。この際、自律走行アプリケーションモジュールは、テストイメージに対するイメージセグメンテーション情報または物体検出情報を使用して自律走行を使用するモジュールであり得るが、これは本発明の主たる範囲にあるものではないので、詳細な説明は省略することにする。
【0077】
テスト方法を遂行する場合は、学習方法を遂行する場合とは異なり、そのレイテンシ（ｌａｔｅｎｃｙ）が非常に重要である。したがって、単数であるテスト用第１ベースイメージは固定され得、リアルタイムでテスト用カメラを介してイメージが取得されるたびにこれをテスト用第２ベースイメージとして支援ＣＮＮ１４０に入力することができる。つまり、テスト装置は、前記テスト用第２ベースイメージが取得された際に第Ｔタイミング以後である第Ｔ＋１タイミングに前記テスト用カメラを介してテスト用追加第２ベースイメージが取得されると、前記テスト装置が、前記支援ＣＮＮをもって、（ｉ）前記テスト用第１ベースイメージ及び前記テスト用追加第２ベースイメージを参照して追加テストイメージを生成した後、（ｉｉ）前記追加テストイメージを使用してテスト用追加予測自律走行ソース情報を生成させることができる。
【0078】
以上の方法により、本発明は、ラベリング費用を節減しながらも、高い自律走行性能を示す自律走行車両を提供することが可能となる。
【0079】
以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【0080】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
【0081】
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。