知財求人 - 知財ポータルサイト「IP Force」
特許7291299走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための学習方法及び学習装置、並びにそれを利用したアップデート方法及びアップデート装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-06
(45)【発行日】2023-06-14
(54)【発明の名称】走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための学習方法及び学習装置、並びにそれを利用したアップデート方法及びアップデート装置
(51)【国際特許分類】
G06V 10/82 20220101AFI20230607BHJP
G06T 7/00 20170101ALI20230607BHJP
G06V 20/56 20220101ALI20230607BHJP
G08G 1/16 20060101ALI20230607BHJP
G16Y 10/40 20200101ALI20230607BHJP
G16Y 20/20 20200101ALI20230607BHJP
G16Y 40/10 20200101ALI20230607BHJP
【ＦＩ】
G06V10/82
G06T7/00 650Z
G06T7/00 350C
G06V20/56
G08G1/16 A
G16Y10/40
G16Y20/20
G16Y40/10
【請求項の数】
20
(21)【出願番号】P 2022549394
(86)(22)【出願日】2021-05-07
(65)【公表番号】
(43)【公表日】2023-04-05
(86)【国際出願番号】 KR2021005723
(87)【国際公開番号】W WO2021230574
(87)【国際公開日】2021-11-18
【審査請求日】2022-08-16
(31)【優先権主張番号】63/024,657
(32)【優先日】2020-05-14
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/229,264
(32)【優先日】2021-04-13
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】517038176
【氏名又は名称】株式会社ストラドビジョン
【氏名又は名称原語表記】ＳＴＲＡＤＶＩＳＩＯＮ，ＩＮＣ．
【住所又は居所原語表記】Ｓｕｉｔｅ ３０４－３０８，５ｔｈ Ｖｅｎｔｕｒｅ－ｄｏｎｇ，３９４，Ｊｉｇｏｋ－ｒｏ，Ｎａｍ－ｇｕ，Ｐｏｈａｎｇ－ｓｉ，Ｇｙｅｏｎｇｓａｎｇｂｕｋ－ｄｏ ３７６６８ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100121728
【弁理士】
【氏名又は名称】井関 勝守
(74)【代理人】
【識別番号】100165803
【弁理士】
【氏名又は名称】金子 修平
(74)【代理人】
【識別番号】100170900
【弁理士】
【氏名又は名称】大西 渉
(72)【発明者】
【氏名】柳宇宙
(72)【発明者】
【氏名】諸泓模
(72)【発明者】
【氏名】康鳳男
(72)【発明者】
【氏名】金鎔重
【審査官】伊知地 和之
(56)【参考文献】
【文献】米国特許出願公開第２０１８／０２１１１２８（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１９／０１７１２２３（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１９／００７２９７７（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０２０／０１３４８０４（ＵＳ，Ａ１）
【文献】Xinge ZHU et al.，Adapting Object Detectors via Selective Cross-Domain Alignment，2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR)，2019年06月，pp.687-696
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
Ｇ０８Ｇ １／００ － ９９／００
Ｇ１６Ｙ １０／４０
Ｇ１６Ｙ ２０／２０
Ｇ１６Ｙ ４０／１０
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための学習方法において、（ａ）第１走行環境に対応しており第１オブジェクトラベル及び第１セグメンテーションラベルを含む第１学習イメージ乃至第ｎ走行環境に対応しており第ｎオブジェクトラベル及び第ｎセグメンテーションラベルを含む第ｎ学習イメージのうち少なくとも一つの第ｋ学習イメージ（前記ｋは１以上ｎ以下の整数である）が獲得されると、学習装置が、（ｉ）前記第ｋ学習イメージを前記第１走行環境に対応する第１オブジェクト検出器乃至前記第ｎ走行環境に対応する第ｎオブジェクト検出器のうち第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器に入力することで、前記第ｋ環境特定オブジェクト検出器をもって、（ｉ－１）前記第ｋ環境特定オブジェクト検出器の少なくとも一つの第ｋ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに少なくとも一回のコンボリューション演算を適用することで第ｋ環境特定フィーチャーマップを生成させ、（ｉ－２）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定プーリングレイヤを通じて前記第ｋ環境特定フィーチャーマップにある少なくとも一つのオブジェクトを含むものとして予測された少なくとも一つの領域に対応する第ｋ環境特定ＲＯＩ情報を利用して前記第ｋ環境特定フィーチャーマップに少なくとも一回のＲＯＩプーリング演算を適用することによって第ｋ環境特定プーリングフィーチャーマップを生成させ、（ｉ－３）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＦＣレイヤを通じて前記第ｋ環境特定プーリングフィーチャーマップに少なくとも一回のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することで第ｋ環境特定オブジェクトディテクション情報を生成させ、（ｉｉ）前記第ｋ環境特定フィーチャーマップを前記第１オブジェクト検出器に対応する第１ランクネットワーク乃至前記第ｎオブジェクト検出器に対応する第ｎランクネットワークのうち前記第ｋ環境特定オブジェクト検出器に対応する第ｋ環境特定ランクネットワークに入力することで、前記第ｋ環境特定ランクネットワークをもって、（ｉｉ－１）前記第ｋ環境特定ランクネットワークの少なくとも一つの第ｋ環境特定デコンボリューションレイヤを通じて前記第ｋ環境特定フィーチャーマップに少なくとも一回のデコンボリューション演算を適用することで第ｋ環境特定セグメンテーションマップを生成させ、（ｉｉ－２）前記第ｋ環境特定ランクネットワークの第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上のメイン領域及びこれに対応する前記第ｋ環境特定セグメンテーションマップ上の第１サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ランクマップがリアル（ｒｅａｌ）であるのかフェーク（ｆａｋｅ）であるのかに関する情報を示す第ｋ環境特定ランクスコアを生成させる段階；及び
（ｂ）前記学習装置が、（ｉ）前記第ｋ環境特定オブジェクトディテクション情報とこれに対応する第ｋ環境特定オブジェクトラベルとが参照されることで生成された第ｋ環境特定オブジェクトディテクションロスを最小化するように前記第ｋ環境特定オブジェクト検出器を学習させ、前記第ｋ環境特定ランクスコアを最大化するように前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとを学習させるプロセス、及び（ｉｉ）前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する第ｋ環境特定セグメンテーションラベル上の第２サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ラベルランクマップに対する第ｋ環境特定ラベルランクスコア（前記第ｋ環境特定ラベルランクスコアは、前記第ｋ環境特定ディスクリミネータを通じて生成される）を最大化するように、また、前記第ｋ環境特定ランクスコアを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させるプロセスを遂行する段階；
を含む学習方法。
【請求項2】
前記（ａ）段階で、前記学習装置が、前記第ｋ環境特定ランクネットワークをもって、前記第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する少なくとも一つの第ｊ環境特定セグメンテーションマップ（前記第ｊ環境特定セグメンテーションマップは、前記第ｋ環境特定コンボリューションレイヤを除いた少なくとも一つの第ｊ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに前記コンボリューション演算が適用されることで少なくとも一つの第ｊ環境特定フィーチャーマップが生成された後、前記第ｊ環境特定コンボリューションレイヤに対応する少なくとも一つの第ｊ環境特定デコンボリューションレイヤを通じて前記第ｊ環境特定フィーチャーマップに前記デコンボリューション演算が適用されることによって生成され、前記ｊは１以上ｎ以下の整数である）上の少なくとも一つの第３サブ領域がクロップされてコンカチネートされることによって生成される少なくとも一つの第ｊ環境特定ランクマップがリアルであるのかフェークであるのかに関する情報を示す少なくとも一つの第ｊ環境特定ランクスコアをさらに生成させ、
前記（ｂ）段階で、
前記学習装置が、前記第ｋ環境特定ラベルランクスコアを最大化するように、また、前記第ｋ環境特定ランクスコアと前記第ｊ環境特定ランクスコアとのそれぞれを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させることを特徴とする、請求項１に記載の学習方法。
【請求項3】
前記（ｂ）段階で、前記学習装置が、前記第ｋ環境特定セグメンテーションマップとこれに対応する前記第ｋ環境特定セグメンテーションラベルとが参照されることで生成された第ｋ環境特定セグメンテーションロスを最小化するように、また、前記第ｋ環境特定ランクスコアを最大化するように、前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとのそれぞれを学習させることを特徴とする、請求項１に記載の学習方法。
【請求項4】
前記第ｋ環境特定ディスクリミネータは、コンボリューショナルＰａｔｃｈＧＡＮ分類器（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＰａｔｃｈＧＡＮ ｃｌａｓｓｉｆｉｅｒ）を含むことを特徴とする、請求項１に記載の学習方法。
【請求項5】
前記（ａ）段階で、前記学習装置が、前記第ｋ環境特定オブジェクト検出器をもって、前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）レイヤを通じて前記第ｋ環境特定ＲＯＩ情報を生成させ、
前記（ｂ）段階で、
前記学習装置が、前記第ｋ環境特定ＲＯＩ情報及びこれに対応する前記第ｋ環境特定オブジェクトラベルが参照されることで生成された第ｋ環境特定ＲＰＮロスを最小化するように前記第ｋ環境特定ＲＰＮレイヤをさらに学習させることを特徴とする、請求項１に記載の学習方法。
【請求項6】
走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための方法において、（ａ）第１走行環境に対応しており第１オブジェクトラベル及び第１セグメンテーションラベルを含む第１学習イメージ乃至第ｎ走行環境に対応しており第ｎオブジェクトラベル及び第ｎセグメンテーションラベルを含む第ｎ学習イメージのうち少なくとも一つの第ｋ学習イメージ（前記ｋは１以上ｎ以下の整数である）が獲得されると、学習装置が、（ｉ）前記第ｋ学習イメージを前記第１走行環境に対応する第１オブジェクト検出器乃至前記第ｎ走行環境に対応する第ｎオブジェクト検出器のうち第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器に入力することで、前記第ｋ環境特定オブジェクト検出器をもって、（ｉ－１）前記第ｋ環境特定オブジェクト検出器の少なくとも一つの第ｋ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに少なくとも一回のコンボリューション演算を適用することで第ｋ環境特定フィーチャーマップを生成させ、（ｉ－２）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定プーリングレイヤを通じて前記第ｋ環境特定フィーチャーマップにある少なくとも一つのオブジェクトを含むものとして予測された少なくとも一つの領域に対応する第ｋ環境特定ＲＯＩ情報を利用して前記第ｋ環境特定フィーチャーマップに少なくとも一回のＲＯＩプーリング演算を適用することによって第ｋ環境特定プーリングフィーチャーマップを生成させ、（ｉ－３）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＦＣレイヤを通じて前記第ｋ環境特定プーリングフィーチャーマップに少なくとも一回のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することで第ｋ環境特定オブジェクトディテクション情報を生成させ、（ｉｉ）前記第ｋ環境特定フィーチャーマップを前記第１オブジェクト検出器に対応する第１ランクネットワーク乃至前記第ｎオブジェクト検出器に対応する第ｎランクネットワークのうち前記第ｋ環境特定オブジェクト検出器に対応する第ｋ環境特定ランクネットワークに入力することで、前記第ｋ環境特定ランクネットワークをもって、（ｉｉ－１）前記第ｋ環境特定ランクネットワークの少なくとも一つの第ｋ環境特定デコンボリューションレイヤを通じて前記第ｋ環境特定フィーチャーマップに少なくとも一回のデコンボリューション演算を適用することで第ｋ環境特定セグメンテーションマップを生成させ、（ｉｉ－２）前記第ｋ環境特定ランクネットワークの第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上のメイン領域及びこれに対応する前記第ｋ環境特定セグメンテーションマップ上の第１サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ランクマップがリアル（ｒｅａｌ）であるのかフェーク（ｆａｋｅ）であるのかに関する情報を示す第ｋ環境特定ランクスコアを生成させ、（ｉｉｉ）前記第ｋ環境特定オブジェクトディテクション情報とこれに対応する第ｋ環境特定オブジェクトラベルとが参照されることで生成された第ｋ環境特定オブジェクトディテクションロスを最小化するように前記第ｋ環境特定オブジェクト検出器を学習させ、前記第ｋ環境特定ランクスコアを最大化するように前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとを学習させるプロセス、及び（ｉｖ）前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する第ｋ環境特定セグメンテーションラベル上の第２サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ラベルランクマップに対する第ｋ環境特定ラベルランクスコア（前記第ｋ環境特定ラベルランクスコアは、前記第ｋ環境特定ディスクリミネータを通じて生成される）を最大化するように、また、前記第ｋ環境特定ランクスコアを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させるプロセスを遂行した状態で、アップデート装置が、前記自律走行車両の走行環境を示す走行環境イメージを獲得する段階；
（ｂ）前記アップデート装置が、（ｉ）前記走行環境イメージを前記第１オブジェクト検出器乃至前記第ｎオブジェクト検出器のそれぞれに入力することで、前記第１オブジェクト検出器乃至前記第ｎオブジェクト検出器のそれぞれをもって、前記第１コンボリューションレイヤ乃至前記第ｎコンボリューションレイヤのそれぞれを通じて前記走行環境イメージに少なくとも一回のコンボリューション演算を適用することで第１走行環境フィーチャーマップ乃至第ｎ走行環境フィーチャーマップのそれぞれを生成させ、（ｉｉ）前記第１走行環境フィーチャーマップ乃至前記第ｎ走行環境フィーチャーマップのそれぞれを前記第１ランクネットワーク乃至前記第ｎランクネットワークのそれぞれに入力することで、前記第１ランクネットワーク乃至前記第ｎランクネットワークのそれぞれをもって、（ｉｉ－１）第１デコンボリューションレイヤ乃至第ｎデコンボリューションレイヤのそれぞれを通じて前記第１走行環境フィーチャーマップ乃至前記第ｎ走行環境フィーチャーマップのそれぞれに少なくとも一回のデコンボリューション演算を適用することで第１走行環境セグメンテーションマップ乃至第ｎ走行環境セグメンテーションマップのそれぞれを生成させ、（ｉｉ－２）前記第１ディスクリミネータ乃至前記第ｎディスクリミネータのそれぞれを通じて、前記走行環境イメージ上の第１走行メイン領域及びこれに対応する前記第１走行環境セグメンテーションマップ上の第１走行サブ領域がクロップされてコンカチネートされることによって生成される第１走行環境ランクマップ乃至前記走行環境イメージ上の第ｎ走行メイン領域及びこれに対応する前記第ｎ走行環境セグメンテーションマップ上の第ｎ走行サブ領域がクロップされてコンカチネートされることによって生成される第ｎ走行環境ランクマップのそれぞれがリアルであるのかフェークであるのかに関する情報をそれぞれ示す第１走行環境ランクスコア乃至第ｎ走行環境ランクスコアのそれぞれを生成させる段階；及び
（ｃ）前記アップデート装置が、（ｉ）前記第１走行環境ランクスコア乃至前記第ｎ走行環境ランクスコアのうち最も高い値を有する特定の走行環境ランクスコアを生成した特定のランクネットワークに対応する特定のオブジェクト検出器を選択し、（ｉｉ）前記自律走行車両の現在のオブジェクト検出器を前記特定のオブジェクト検出器にアップデートする段階；
を含む方法。
【請求項7】
前記（ａ）段階で、前記学習装置が、前記第ｋ環境特定ランクネットワークをもって、前記第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する少なくとも一つの第ｊ環境特定セグメンテーションマップ（前記第ｊ環境特定セグメンテーションマップは、前記第ｋ環境特定コンボリューションレイヤを除いた少なくとも一つの第ｊ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに前記コンボリューション演算が適用されることで少なくとも一つの第ｊ環境特定フィーチャーマップが生成された後、前記第ｊ環境特定コンボリューションレイヤに対応する少なくとも一つの第ｊ環境特定デコンボリューションレイヤを通じて前記第ｊ環境特定フィーチャーマップに前記デコンボリューション演算が適用されることによって生成され、前記ｊは１以上ｎ以下の整数である）上の少なくとも一つの第３サブ領域がクロップされてコンカチネートされることによって生成される少なくとも一つの第ｊ環境特定ランクマップがリアルであるのかフェークであるのかに関する情報を示す少なくとも一つの第ｊ環境特定ランクスコアをさらに生成させ、前記第ｋ環境特定ラベルランクスコアを最大化するように、また、前記第ｋ環境特定ランクスコアと前記第ｊ環境特定ランクスコアとのそれぞれを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させることを特徴とする、請求項６に記載の方法。
【請求項8】
前記（ａ）段階で、前記学習装置が、前記第ｋ環境特定セグメンテーションマップとこれに対応する前記第ｋ環境特定セグメンテーションラベルとが参照されることで生成された第ｋ環境特定セグメンテーションロスを最小化するように、また、前記第ｋ環境特定ランクスコアを最大化するように、前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとのそれぞれを学習させることを特徴とする、請求項６に記載の方法。
【請求項9】
前記第ｋ環境特定ディスクリミネータは、コンボリューショナルＰａｔｃｈＧＡＮ分類器（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＰａｔｃｈＧＡＮ ｃｌａｓｓｉｆｉｅｒ）を含むことを特徴とする、請求項６に記載の方法。
【請求項10】
前記（ａ）段階で、前記学習装置が、前記第ｋ環境特定オブジェクト検出器をもって、前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）レイヤを通じて前記第ｋ環境特定ＲＯＩ情報を生成させ、前記第ｋ環境特定ＲＯＩ情報及びこれに対応する前記第ｋ環境特定オブジェクトラベルが参照されることで生成された第ｋ環境特定ＲＰＮロスを最小化するように前記第ｋ環境特定ＲＰＮレイヤをさらに学習させることを特徴とする、請求項６に記載の方法。
【請求項11】
走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための学習装置において、インストラクションを格納する少なくとも一つのメモリ；及び
前記インストラクションを実行するために構成された少なくとも一つのプロセッサを含み、
前記プロセッサは、（Ｉ）第１走行環境に対応しており第１オブジェクトラベル及び第１セグメンテーションラベルを含む第１学習イメージ乃至第ｎ走行環境に対応しており第ｎオブジェクトラベル及び第ｎセグメンテーションラベルを含む第ｎ学習イメージのうち少なくとも一つの第ｋ学習イメージ（前記ｋは１以上ｎ以下の整数である）が獲得されると、（ｉ）前記第ｋ学習イメージを前記第１走行環境に対応する第１オブジェクト検出器乃至前記第ｎ走行環境に対応する第ｎオブジェクト検出器のうち第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器に入力することで、前記第ｋ環境特定オブジェクト検出器をもって、（ｉ－１）前記第ｋ環境特定オブジェクト検出器の少なくとも一つの第ｋ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに少なくとも一回のコンボリューション演算を適用することで第ｋ環境特定フィーチャーマップを生成させ、（ｉ－２）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定プーリングレイヤを通じて前記第ｋ環境特定フィーチャーマップにある少なくとも一つのオブジェクトを含むものとして予測された少なくとも一つの領域に対応する第ｋ環境特定ＲＯＩ情報を利用して前記第ｋ環境特定フィーチャーマップに少なくとも一回のＲＯＩプーリング演算を適用することによって第ｋ環境特定プーリングフィーチャーマップを生成させ、（ｉ－３）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＦＣレイヤを通じて前記第ｋ環境特定プーリングフィーチャーマップに少なくとも一回のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することで第ｋ環境特定オブジェクトディテクション情報を生成させ、（ｉｉ）前記第ｋ環境特定フィーチャーマップを前記第１オブジェクト検出器に対応する第１ランクネットワーク乃至前記第ｎオブジェクト検出器に対応する第ｎランクネットワークのうち前記第ｋ環境特定オブジェクト検出器に対応する第ｋ環境特定ランクネットワークに入力することで、前記第ｋ環境特定ランクネットワークをもって、（ｉｉ－１）前記第ｋ環境特定ランクネットワークの少なくとも一つの第ｋ環境特定デコンボリューションレイヤを通じて前記第ｋ環境特定フィーチャーマップに少なくとも一回のデコンボリューション演算を適用することで第ｋ環境特定セグメンテーションマップを生成させ、（ｉｉ－２）前記第ｋ環境特定ランクネットワークの第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上のメイン領域及びこれに対応する前記第ｋ環境特定セグメンテーションマップ上の第１サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ランクマップがリアル（ｒｅａｌ）であるのかフェーク（ｆａｋｅ）であるのかに関する情報を示す第ｋ環境特定ランクスコアを生成させるプロセス及び（ＩＩ）（ｉ）前記第ｋ環境特定オブジェクトディテクション情報とこれに対応する第ｋ環境特定オブジェクトラベルとが参照されることで生成された第ｋ環境特定オブジェクトディテクションロスを最小化するように前記第ｋ環境特定オブジェクト検出器を学習させ、前記第ｋ環境特定ランクスコアを最大化するように前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとを学習させ、（ｉｉ）前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する第ｋ環境特定セグメンテーションラベル上の第２サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ラベルランクマップに対する第ｋ環境特定ラベルランクスコア（前記第ｋ環境特定ラベルランクスコアは、前記第ｋ環境特定ディスクリミネータを通じて生成される）を最大化するように、また、前記第ｋ環境特定ランクスコアを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させるプロセスを遂行する学習装置。
【請求項12】
前記プロセッサは、前記（Ｉ）プロセスで、
前記第ｋ環境特定ランクネットワークをもって、前記第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する少なくとも一つの第ｊ環境特定セグメンテーションマップ（前記第ｊ環境特定セグメンテーションマップは、前記第ｋ環境特定コンボリューションレイヤを除いた少なくとも一つの第ｊ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに前記コンボリューション演算が適用されることで少なくとも一つの第ｊ環境特定フィーチャーマップが生成された後、前記第ｊ環境特定コンボリューションレイヤに対応する少なくとも一つの第ｊ環境特定デコンボリューションレイヤを通じて前記第ｊ環境特定フィーチャーマップに前記デコンボリューション演算が適用されることによって生成され、前記ｊは１以上ｎ以下の整数である）上の少なくとも一つの第３サブ領域がクロップされてコンカチネートされることによって生成される少なくとも一つの第ｊ環境特定ランクマップがリアルであるのかフェークであるのかに関する情報を示す少なくとも一つの第ｊ環境特定ランクスコアをさらに生成させ、
前記（ＩＩ）プロセスで、
前記第ｋ環境特定ラベルランクスコアを最大化するように、また、前記第ｋ環境特定ランクスコアと前記第ｊ環境特定ランクスコアとのそれぞれを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させることを特徴とする、請求項１１に記載の学習装置。
【請求項13】
前記プロセッサは、前記（ＩＩ）プロセスで、
前記第ｋ環境特定セグメンテーションマップとこれに対応する前記第ｋ環境特定セグメンテーションラベルとが参照されることで生成された第ｋ環境特定セグメンテーションロスを最小化するように、また、前記第ｋ環境特定ランクスコアを最大化するように、前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとのそれぞれを学習させることを特徴とする、請求項１１に記載の学習装置。
【請求項14】
前記第ｋ環境特定ディスクリミネータは、コンボリューショナルＰａｔｃｈＧＡＮ分類器（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＰａｔｃｈＧＡＮ ｃｌａｓｓｉｆｉｅｒ）を含むことを特徴とする、請求項１１に記載の学習装置。
【請求項15】
前記プロセッサは、前記（Ｉ）プロセスで、
前記第ｋ環境特定オブジェクト検出器をもって、前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）レイヤを通じて前記第ｋ環境特定ＲＯＩ情報を生成させ、
前記（ＩＩ）プロセスで、
前記第ｋ環境特定ＲＯＩ情報及びこれに対応する前記第ｋ環境特定オブジェクトラベルが参照されることで生成された第ｋ環境特定ＲＰＮロスを最小化するように前記第ｋ環境特定ＲＰＮレイヤをさらに学習させることを特徴とする、請求項１１に記載の学習装置。
【請求項16】
走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするためのアップデート装置において、インストラクションを格納する少なくとも一つのメモリ；及び
前記インストラクションを実行するために構成された少なくとも一つのプロセッサを含み、
前記プロセッサは、（Ｉ）第１走行環境に対応しており第１オブジェクトラベル及び第１セグメンテーションラベルを含む第１学習イメージ乃至第ｎ走行環境に対応しており第ｎオブジェクトラベル及び第ｎセグメンテーションラベルを含む第ｎ学習イメージのうち少なくとも一つの第ｋ学習イメージ（前記ｋは１以上ｎ以下の整数である）が獲得されると、学習装置が、（ｉ）前記第ｋ学習イメージを前記第１走行環境に対応する第１オブジェクト検出器乃至前記第ｎ走行環境に対応する第ｎオブジェクト検出器のうち第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器に入力することで、前記第ｋ環境特定オブジェクト検出器をもって、（ｉ－１）前記第ｋ環境特定オブジェクト検出器の少なくとも一つの第ｋ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに少なくとも一回のコンボリューション演算を適用することで第ｋ環境特定フィーチャーマップを生成させ、（ｉ－２）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定プーリングレイヤを通じて前記第ｋ環境特定フィーチャーマップにある少なくとも一つのオブジェクトを含むものとして予測された少なくとも一つの領域に対応する第ｋ環境特定ＲＯＩ情報を利用して前記第ｋ環境特定フィーチャーマップに少なくとも一回のＲＯＩプーリング演算を適用することによって第ｋ環境特定プーリングフィーチャーマップを生成させ、（ｉ－３）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＦＣレイヤを通じて前記第ｋ環境特定プーリングフィーチャーマップに少なくとも一回のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することで第ｋ環境特定オブジェクトディテクション情報を生成させ、（ｉｉ）前記第ｋ環境特定フィーチャーマップを前記第１オブジェクト検出器に対応する第１ランクネットワーク乃至前記第ｎオブジェクト検出器に対応する第ｎランクネットワークのうち前記第ｋ環境特定オブジェクト検出器に対応する第ｋ環境特定ランクネットワークに入力することで、前記第ｋ環境特定ランクネットワークをもって、（ｉｉ－１）前記第ｋ環境特定ランクネットワークの少なくとも一つの第ｋ環境特定デコンボリューションレイヤを通じて前記第ｋ環境特定フィーチャーマップに少なくとも一回のデコンボリューション演算を適用することで第ｋ環境特定セグメンテーションマップを生成させ、（ｉｉ－２）前記第ｋ環境特定ランクネットワークの第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上のメイン領域及びこれに対応する前記第ｋ環境特定セグメンテーションマップ上の第１サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ランクマップがリアル（ｒｅａｌ）であるのかフェーク（ｆａｋｅ）であるのかに関する情報を示す第ｋ環境特定ランクスコアを生成させ、（ｉｉｉ）前記第ｋ環境特定オブジェクトディテクション情報とこれに対応する第ｋ環境特定オブジェクトラベルとが参照されることで生成された第ｋ環境特定オブジェクトディテクションロスを最小化するように前記第ｋ環境特定オブジェクト検出器を学習させ、前記第ｋ環境特定ランクスコアを最大化するように前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとを学習させるプロセス、及び（ｉｖ）前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する第ｋ環境特定セグメンテーションラベル上の第２サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ラベルランクマップに対する第ｋ環境特定ラベルランクスコア（前記第ｋ環境特定ラベルランクスコアは、前記第ｋ環境特定ディスクリミネータを通じて生成される）を最大化するように、また、前記第ｋ環境特定ランクスコアを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させるプロセスを遂行した状態で、前記自律走行車両の走行環境を示す走行環境イメージを獲得するプロセス、（ＩＩ）（ｉ）前記走行環境イメージを前記第１オブジェクト検出器乃至前記第ｎオブジェクト検出器のそれぞれに入力することで、前記第１オブジェクト検出器乃至前記第ｎオブジェクト検出器のそれぞれをもって、前記第１コンボリューションレイヤ乃至前記第ｎコンボリューションレイヤのそれぞれを通じて前記走行環境イメージに少なくとも一回のコンボリューション演算を適用することで第１走行環境フィーチャーマップ乃至第ｎ走行環境フィーチャーマップのそれぞれを生成させ、（ｉｉ）前記第１走行環境フィーチャーマップ乃至前記第ｎ走行環境フィーチャーマップのそれぞれを前記第１ランクネットワーク乃至前記第ｎランクネットワークのそれぞれに入力することで、前記第１ランクネットワーク乃至前記第ｎランクネットワークのそれぞれをもって、（ｉｉ－１）第１デコンボリューションレイヤ乃至第ｎデコンボリューションレイヤのそれぞれを通じて前記第１走行環境フィーチャーマップ乃至前記第ｎ走行環境フィーチャーマップのそれぞれに少なくとも一回のデコンボリューション演算を適用することで第１走行環境セグメンテーションマップ乃至第ｎ走行環境セグメンテーションマップのそれぞれを生成させ、（ｉｉ－２）前記第１ディスクリミネータ乃至前記第ｎディスクリミネータのそれぞれを通じて、前記走行環境イメージ上の第１走行メイン領域及びこれに対応する前記第１走行環境セグメンテーションマップ上の第１走行サブ領域がクロップされてコンカチネートされることによって生成される第１走行環境ランクマップ乃至前記走行環境イメージ上の第ｎ走行メイン領域及びこれに対応する前記第ｎ走行環境セグメンテーションマップ上の第ｎ走行サブ領域がクロップされてコンカチネートされることによって生成される第ｎ走行環境ランクマップのそれぞれがリアルであるのかフェークであるのかに関する情報をそれぞれ示す第１走行環境ランクスコア乃至第ｎ走行環境ランクスコアのそれぞれを生成させるプロセス及び（ＩＩＩ）（ｉ）前記第１走行環境ランクスコア乃至前記第ｎ走行環境ランクスコアのうち最も高い値を有する特定の走行環境ランクスコアを生成した特定のランクネットワークに対応する特定のオブジェクト検出器を選択し、（ｉｉ）前記自律走行車両の現在のオブジェクト検出器を前記特定のオブジェクト検出器にアップデートするプロセスを遂行するアップデート装置。
【請求項17】
前記（Ｉ）プロセスで、前記学習装置が、前記第ｋ環境特定ランクネットワークをもって、前記第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する少なくとも一つの第ｊ環境特定セグメンテーションマップ（前記第ｊ環境特定セグメンテーションマップは、前記第ｋ環境特定コンボリューションレイヤを除いた少なくとも一つの第ｊ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに前記コンボリューション演算が適用されることで少なくとも一つの第ｊ環境特定フィーチャーマップが生成された後、前記第ｊ環境特定コンボリューションレイヤに対応する少なくとも一つの第ｊ環境特定デコンボリューションレイヤを通じて前記第ｊ環境特定フィーチャーマップに前記デコンボリューション演算が適用されることによって生成され、前記ｊは１以上ｎ以下の整数である）上の少なくとも一つの第３サブ領域がクロップされてコンカチネートされることによって生成される少なくとも一つの第ｊ環境特定ランクマップがリアルであるのかフェークであるのかに関する情報を示す少なくとも一つの第ｊ環境特定ランクスコアをさらに生成させ、前記第ｋ環境特定ラベルランクスコアを最大化するように、また、前記第ｋ環境特定ランクスコアと前記第ｊ環境特定ランクスコアとのそれぞれを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させることを特徴とする、請求項１６に記載のアップデート装置。
【請求項18】
前記（Ｉ）プロセスで、前記学習装置が、前記第ｋ環境特定セグメンテーションマップとこれに対応する前記第ｋ環境特定セグメンテーションラベルとが参照されることで生成された第ｋ環境特定セグメンテーションロスを最小化するように、また、前記第ｋ環境特定ランクスコアを最大化するように、前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとのそれぞれを学習させることを特徴とする、請求項１６に記載のアップデート装置。
【請求項19】
前記第ｋ環境特定ディスクリミネータは、コンボリューショナルＰａｔｃｈＧＡＮ分類器（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＰａｔｃｈＧＡＮ ｃｌａｓｓｉｆｉｅｒ）を含むことを特徴とする、請求項１６に記載のアップデート装置。
【請求項20】
前記（Ｉ）プロセスで、前記学習装置が、前記第ｋ環境特定オブジェクト検出器をもって、前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）レイヤを通じて前記第ｋ環境特定ＲＯＩ情報を生成させ、前記第ｋ環境特定ＲＯＩ情報及びこれに対応する前記第ｋ環境特定オブジェクトラベルが参照されることで生成された第ｋ環境特定ＲＰＮロスを最小化するように前記第ｋ環境特定ＲＰＮレイヤをさらに学習させることを特徴とする、請求項１６に記載のアップデート装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、２０２０年５月１４日出願された米国特許出願第６３／０２４，６５７号と２０２１年４月１３日出願された米国特許出願第１７／２２９，２６４号に対する優先権を主張し、これは、本願に参照として含まれる。
【0002】
本発明は、自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための発明であって、具体的には、様々な走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための学習方法及び学習装置、並びにそれを利用したアップデート方法及びアップデート装置に関する。
【背景技術】
【0003】
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ； Ｄｅｅｐ ＣＮＮ）は、ディープラーニングの分野で起きた驚くべき発展の核心である。ＣＮＮは、文字認識の問題を解決するために９０年代に既に使用されていたが、現在のように広く使用されるようになったのは、最近の研究結果のおかげである。このようなディープＣＮＮは、２０１２年ＩｍａｇｅＮｅｔイメージ分類大会で他の競争者に勝ち、優勝を取った。その後、コンボリューションニューラルネットワークは、機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）の分野において非常に有用なツールとなった。
【0004】
このようなコンボリューションニューラルネットワークは、現在様々な分野に応用されており、例えば、自律走行車両に搭載されるオブジェクト検出器を具現することに応用され得る。
【0005】
ところが、自律走行車両の走行環境は地域、時間、天気などによって多様に変化し、自律走行車両が直面する可能性のある全ての走行環境に対して最適化されたオブジェクト検出器を具現するためには、非常に高い仕様のコンピューティングリソースが必要である。
【0006】
しかし、一般的に自律走行車両には限定されたコンピューティングリソースが提供されるため、様々な走行環境に対して最適化された一つのオブジェクト検出器を自律走行車両に搭載することは、ほぼ不可能である。
【0007】
従って、前記問題点を解決するための改善方案が要求される実情である。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、上述した問題点を全て解決することをその目的とする。
【0009】
また、本発明は、自律走行車両が様々な走行環境でも円滑に走行することができるようにすることを他の目的とする。
【0010】
また、本発明は、自律走行車両のオブジェクト検出器がそれぞれの走行環境に適した最適のオブジェクト検出器にアップデートされるようにすることを他の目的とする。
【課題を解決するための手段】
【0011】
本発明の一実施例によると、走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための学習方法において、（ａ）第１走行環境に対応しており第１オブジェクトラベル及び第１セグメンテーションラベルを含む第１学習イメージ乃至第ｎ走行環境に対応しており第ｎオブジェクトラベル及び第ｎセグメンテーションラベルを含む第ｎ学習イメージのうち少なくとも一つの第ｋ学習イメージ（前記ｋは１以上ｎ以下の整数である）が獲得されると、学習装置が、（ｉ）前記第ｋ学習イメージを前記第１走行環境に対応する第１オブジェクト検出器乃至前記第ｎ走行環境に対応する第ｎオブジェクト検出器のうち第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器に入力することで、前記第ｋ環境特定オブジェクト検出器をもって、（ｉ－１）前記第ｋ環境特定オブジェクト検出器の少なくとも一つの第ｋ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに少なくとも一回のコンボリューション演算を適用することで第ｋ環境特定フィーチャーマップを生成させ、（ｉ－２）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定プーリングレイヤを通じて前記第ｋ環境特定フィーチャーマップにある少なくとも一つのオブジェクトを含むものとして予測された少なくとも一つの領域に対応する第ｋ環境特定ＲＯＩ情報を利用して前記第ｋ環境特定フィーチャーマップに少なくとも一回のＲＯＩプーリング演算を適用することによって第ｋ環境特定プーリングフィーチャーマップを生成させ、（ｉ－３）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＦＣレイヤを通じて前記第ｋ環境特定プーリングフィーチャーマップに少なくとも一回のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することで第ｋ環境特定オブジェクトディテクション情報を生成させ、（ｉｉ）前記第ｋ環境特定フィーチャーマップを前記第１オブジェクト検出器に対応する第１ランクネットワーク乃至前記第ｎオブジェクト検出器に対応する第ｎランクネットワークのうち前記第ｋ環境特定オブジェクト検出器に対応する第ｋ環境特定ランクネットワークに入力することで、前記第ｋ環境特定ランクネットワークをもって、（ｉｉ－１）前記第ｋ環境特定ランクネットワークの少なくとも一つの第ｋ環境特定デコンボリューションレイヤを通じて前記第ｋ環境特定フィーチャーマップに少なくとも一回のデコンボリューション演算を適用することで第ｋ環境特定セグメンテーションマップを生成させ、（ｉｉ－２）前記第ｋ環境特定ランクネットワークの第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上のメイン領域及びこれに対応する前記第ｋ環境特定セグメンテーションマップ上の第１サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ランクマップがリアル（ｒｅａｌ）であるのかフェーク（ｆａｋｅ）であるのかに関する情報を示す第ｋ環境特定ランクスコアを生成させる段階；及び（ｂ）前記学習装置が、（ｉ）前記第ｋ環境特定オブジェクトディテクション情報とこれに対応する第ｋ環境特定オブジェクトラベルとが参照されることで生成された第ｋ環境特定オブジェクトディテクションロスを最小化するように前記第ｋ環境特定オブジェクト検出器を学習させ、前記第ｋ環境特定ランクスコアを最大化するように前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとを学習させるプロセス、及び（ｉｉ）前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する第ｋ環境特定セグメンテーションラベル上の第２サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ラベルランクマップに対する第ｋ環境特定ラベルランクスコア（前記第ｋ環境特定ラベルランクスコアは、前記第ｋ環境特定ディスクリミネータを通じて生成される）を最大化するように、また、前記第ｋ環境特定ランクスコアを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させるプロセスを遂行する段階；を含む学習方法が提供される。
【0012】
前記（ａ）段階で、前記学習装置が、前記第ｋ環境特定ランクネットワークをもって、前記第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する少なくとも一つの第ｊ環境特定セグメンテーションマップ（前記第ｊ環境特定セグメンテーションマップは、前記第ｋ環境特定コンボリューションレイヤを除いた少なくとも一つの第ｊ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに前記コンボリューション演算が適用されることで少なくとも一つの第ｊ環境特定フィーチャーマップが生成された後、前記第ｊ環境特定コンボリューションレイヤに対応する少なくとも一つの第ｊ環境特定デコンボリューションレイヤを通じて前記第ｊ環境特定フィーチャーマップに前記デコンボリューション演算が適用されることによって生成され、前記ｊは１以上ｎ以下の整数である）上の少なくとも一つの第３サブ領域がクロップされてコンカチネートされることによって生成される少なくとも一つの第ｊ環境特定ランクマップがリアルであるのかフェークであるのかに関する情報を示す少なくとも一つの第ｊ環境特定ランクスコアをさらに生成させ、前記（ｂ）段階で、前記学習装置が、前記第ｋ環境特定ラベルランクスコアを最大化するように、また、前記第ｋ環境特定ランクスコアと前記第ｊ環境特定ランクスコアとのそれぞれを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させることを特徴とする。
【0013】
前記（ｂ）段階で、前記学習装置が、前記第ｋ環境特定セグメンテーションマップとこれに対応する前記第ｋ環境特定セグメンテーションラベルとが参照されることで生成された第ｋ環境特定セグメンテーションロスを最小化するように、また、前記第ｋ環境特定ランクスコアを最大化するように、前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとのそれぞれを学習させることを特徴とする。
【0014】
前記第ｋ環境特定ディスクリミネータは、コンボリューショナルＰａｔｃｈＧＡＮ分類器（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＰａｔｃｈＧＡＮ ｃｌａｓｓｉｆｉｅｒ）を含むことを特徴とする。
【0015】
前記（ａ）段階で、前記学習装置が、前記第ｋ環境特定オブジェクト検出器をもって、前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）レイヤを通じて前記第ｋ環境特定ＲＯＩ情報を生成させ、前記（ｂ）段階で、前記学習装置が、前記第ｋ環境特定ＲＯＩ情報及びこれに対応する前記第ｋ環境特定オブジェクトラベルが参照されることで生成された第ｋ環境特定ＲＰＮロスを最小化するように前記第ｋ環境特定ＲＰＮレイヤをさらに学習させることを特徴とする。
【0016】
また、本発明の他の実施例によると、走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための方法において、（ａ）第１走行環境に対応しており第１オブジェクトラベル及び第１セグメンテーションラベルを含む第１学習イメージ乃至第ｎ走行環境に対応しており第ｎオブジェクトラベル及び第ｎセグメンテーションラベルを含む第ｎ学習イメージのうち少なくとも一つの第ｋ学習イメージ（前記ｋは１以上ｎ以下の整数である）が獲得されると、学習装置が、（ｉ）前記第ｋ学習イメージを前記第１走行環境に対応する第１オブジェクト検出器乃至前記第ｎ走行環境に対応する第ｎオブジェクト検出器のうち第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器に入力することで、前記第ｋ環境特定オブジェクト検出器をもって、（ｉ－１）前記第ｋ環境特定オブジェクト検出器の少なくとも一つの第ｋ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに少なくとも一回のコンボリューション演算を適用することで第ｋ環境特定フィーチャーマップを生成させ、（ｉ－２）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定プーリングレイヤを通じて前記第ｋ環境特定フィーチャーマップにある少なくとも一つのオブジェクトを含むものとして予測された少なくとも一つの領域に対応する第ｋ環境特定ＲＯＩ情報を利用して前記第ｋ環境特定フィーチャーマップに少なくとも一回のＲＯＩプーリング演算を適用することによって第ｋ環境特定プーリングフィーチャーマップを生成させ、（ｉ－３）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＦＣレイヤを通じて前記第ｋ環境特定プーリングフィーチャーマップに少なくとも一回のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することで第ｋ環境特定オブジェクトディテクション情報を生成させ、（ｉｉ）前記第ｋ環境特定フィーチャーマップを前記第１オブジェクト検出器に対応する第１ランクネットワーク乃至前記第ｎオブジェクト検出器に対応する第ｎランクネットワークのうち前記第ｋ環境特定オブジェクト検出器に対応する第ｋ環境特定ランクネットワークに入力することで、前記第ｋ環境特定ランクネットワークをもって、（ｉｉ－１）前記第ｋ環境特定ランクネットワークの少なくとも一つの第ｋ環境特定デコンボリューションレイヤを通じて前記第ｋ環境特定フィーチャーマップに少なくとも一回のデコンボリューション演算を適用することで第ｋ環境特定セグメンテーションマップを生成させ、（ｉｉ－２）前記第ｋ環境特定ランクネットワークの第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上のメイン領域及びこれに対応する前記第ｋ環境特定セグメンテーションマップ上の第１サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ランクマップがリアル（ｒｅａｌ）であるのかフェーク（ｆａｋｅ）であるのかに関する情報を示す第ｋ環境特定ランクスコアを生成させ、（ｉｉｉ）前記第ｋ環境特定オブジェクトディテクション情報とこれに対応する第ｋ環境特定オブジェクトラベルとが参照されることで生成された第ｋ環境特定オブジェクトディテクションロスを最小化するように前記第ｋ環境特定オブジェクト検出器を学習させ、前記第ｋ環境特定ランクスコアを最大化するように前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとを学習させるプロセス、及び（ｉｖ）前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する第ｋ環境特定セグメンテーションラベル上の第２サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ラベルランクマップに対する第ｋ環境特定ラベルランクスコア（前記第ｋ環境特定ラベルランクスコアは、前記第ｋ環境特定ディスクリミネータを通じて生成される）を最大化するように、また、前記第ｋ環境特定ランクスコアを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させるプロセスを遂行した状態で、アップデート装置が、前記自律走行車両の走行環境を示す走行環境イメージを獲得する段階；（ｂ）前記アップデート装置が、（ｉ）前記走行環境イメージを前記第１オブジェクト検出器乃至前記第ｎオブジェクト検出器のそれぞれに入力することで、前記第１オブジェクト検出器乃至前記第ｎオブジェクト検出器のそれぞれをもって、前記第１コンボリューションレイヤ乃至前記第ｎコンボリューションレイヤのそれぞれを通じて前記走行環境イメージに少なくとも一回のコンボリューション演算を適用することで第１走行環境フィーチャーマップ乃至第ｎ走行環境フィーチャーマップのそれぞれを生成させ、（ｉｉ）前記第１走行環境フィーチャーマップ乃至前記第ｎ走行環境フィーチャーマップのそれぞれを前記第１ランクネットワーク乃至前記第ｎランクネットワークのそれぞれに入力することで、前記第１ランクネットワーク乃至前記第ｎランクネットワークのそれぞれをもって、（ｉｉ－１）第１デコンボリューションレイヤ乃至第ｎデコンボリューションレイヤのそれぞれを通じて前記第１走行環境フィーチャーマップ乃至前記第ｎ走行環境フィーチャーマップのそれぞれに少なくとも一回のデコンボリューション演算を適用することで第１走行環境セグメンテーションマップ乃至第ｎ走行環境セグメンテーションマップのそれぞれを生成させ、（ｉｉ－２）前記第１ディスクリミネータ乃至前記第ｎディスクリミネータのそれぞれを通じて、前記走行環境イメージ上の第１走行メイン領域及びこれに対応する前記第１走行環境セグメンテーションマップ上の第１走行サブ領域がクロップされてコンカチネートされることによって生成される第１走行環境ランクマップ乃至前記走行環境イメージ上の第ｎ走行メイン領域及びこれに対応する前記第ｎ走行環境セグメンテーションマップ上の第ｎ走行サブ領域がクロップされてコンカチネートされることによって生成される第ｎ走行環境ランクマップのそれぞれがリアルであるのかフェークであるのかに関する情報をそれぞれ示す第１走行環境ランクスコア乃至第ｎ走行環境ランクスコアのそれぞれを生成させる段階；及び（ｃ）前記アップデート装置が、（ｉ）前記第１走行環境ランクスコア乃至前記第ｎ走行環境ランクスコアのうち最も高い値を有する特定の走行環境ランクスコアを生成した特定のランクネットワークに対応する特定のオブジェクト検出器を選択し、（ｉｉ）前記自律走行車両の現在のオブジェクト検出器を前記特定のオブジェクト検出器にアップデートする段階；を含む方法が提供される。
【0017】
前記（ａ）段階で、前記学習装置が、前記第ｋ環境特定ランクネットワークをもって、前記第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する少なくとも一つの第ｊ環境特定セグメンテーションマップ（前記第ｊ環境特定セグメンテーションマップは、前記第ｋ環境特定コンボリューションレイヤを除いた少なくとも一つの第ｊ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに前記コンボリューション演算が適用されることで少なくとも一つの第ｊ環境特定フィーチャーマップが生成された後、前記第ｊ環境特定コンボリューションレイヤに対応する少なくとも一つの第ｊ環境特定デコンボリューションレイヤを通じて前記第ｊ環境特定フィーチャーマップに前記デコンボリューション演算が適用されることによって生成され、前記ｊは１以上ｎ以下の整数である）上の少なくとも一つの第３サブ領域がクロップされてコンカチネートされることによって生成される少なくとも一つの第ｊ環境特定ランクマップがリアルであるのかフェークであるのかに関する情報を示す少なくとも一つの第ｊ環境特定ランクスコアをさらに生成させ、前記第ｋ環境特定ラベルランクスコアを最大化するように、また、前記第ｋ環境特定ランクスコアと前記第ｊ環境特定ランクスコアとのそれぞれを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させることを特徴とする。
【0018】
前記（ａ）段階で、前記学習装置が、前記第ｋ環境特定セグメンテーションマップとこれに対応する前記第ｋ環境特定セグメンテーションラベルとが参照されることで生成された第ｋ環境特定セグメンテーションロスを最小化するように、また、前記第ｋ環境特定ランクスコアを最大化するように、前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとのそれぞれを学習させることを特徴とする。
【0019】
前記第ｋ環境特定ディスクリミネータは、コンボリューショナルＰａｔｃｈＧＡＮ分類器（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＰａｔｃｈＧＡＮ ｃｌａｓｓｉｆｉｅｒ）を含むことを特徴とする。
【0020】
前記（ａ）段階で、前記学習装置が、前記第ｋ環境特定オブジェクト検出器をもって、前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）レイヤを通じて前記第ｋ環境特定ＲＯＩ情報を生成させ、前記第ｋ環境特定ＲＯＩ情報及びこれに対応する前記第ｋ環境特定オブジェクトラベルが参照されることで生成された第ｋ環境特定ＲＰＮロスを最小化するように前記第ｋ環境特定ＲＰＮレイヤをさらに学習させることを特徴とする。
【0021】
また、本発明のまた他の実施例によると、走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための学習装置において、インストラクションを格納する少なくとも一つのメモリ；及び前記インストラクションを実行するために構成された少なくとも一つのプロセッサを含み、前記プロセッサは、（Ｉ）第１走行環境に対応しており第１オブジェクトラベル及び第１セグメンテーションラベルを含む第１学習イメージ乃至第ｎ走行環境に対応しており第ｎオブジェクトラベル及び第ｎセグメンテーションラベルを含む第ｎ学習イメージのうち少なくとも一つの第ｋ学習イメージ（前記ｋは１以上ｎ以下の整数である）が獲得されると、（ｉ）前記第ｋ学習イメージを前記第１走行環境に対応する第１オブジェクト検出器乃至前記第ｎ走行環境に対応する第ｎオブジェクト検出器のうち第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器に入力することで、前記第ｋ環境特定オブジェクト検出器をもって、（ｉ－１）前記第ｋ環境特定オブジェクト検出器の少なくとも一つの第ｋ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに少なくとも一回のコンボリューション演算を適用することで第ｋ環境特定フィーチャーマップを生成させ、（ｉ－２）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定プーリングレイヤを通じて前記第ｋ環境特定フィーチャーマップにある少なくとも一つのオブジェクトを含むものとして予測された少なくとも一つの領域に対応する第ｋ環境特定ＲＯＩ情報を利用して前記第ｋ環境特定フィーチャーマップに少なくとも一回のＲＯＩプーリング演算を適用することによって第ｋ環境特定プーリングフィーチャーマップを生成させ、（ｉ－３）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＦＣレイヤを通じて前記第ｋ環境特定プーリングフィーチャーマップに少なくとも一回のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することで第ｋ環境特定オブジェクトディテクション情報を生成させ、（ｉｉ）前記第ｋ環境特定フィーチャーマップを前記第１オブジェクト検出器に対応する第１ランクネットワーク乃至前記第ｎオブジェクト検出器に対応する第ｎランクネットワークのうち前記第ｋ環境特定オブジェクト検出器に対応する第ｋ環境特定ランクネットワークに入力することで、前記第ｋ環境特定ランクネットワークをもって、（ｉｉ－１）前記第ｋ環境特定ランクネットワークの少なくとも一つの第ｋ環境特定デコンボリューションレイヤを通じて前記第ｋ環境特定フィーチャーマップに少なくとも一回のデコンボリューション演算を適用することで第ｋ環境特定セグメンテーションマップを生成させ、（ｉｉ－２）前記第ｋ環境特定ランクネットワークの第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上のメイン領域及びこれに対応する前記第ｋ環境特定セグメンテーションマップ上の第１サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ランクマップがリアル（ｒｅａｌ）であるのかフェーク（ｆａｋｅ）であるのかに関する情報を示す第ｋ環境特定ランクスコアを生成させるプロセス及び（ＩＩ）（ｉ）前記第ｋ環境特定オブジェクトディテクション情報とこれに対応する第ｋ環境特定オブジェクトラベルとが参照されることで生成された第ｋ環境特定オブジェクトディテクションロスを最小化するように前記第ｋ環境特定オブジェクト検出器を学習させ、前記第ｋ環境特定ランクスコアを最大化するように前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとを学習させ、（ｉｉ）前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する第ｋ環境特定セグメンテーションラベル上の第２サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ラベルランクマップに対する第ｋ環境特定ラベルランクスコア（前記第ｋ環境特定ラベルランクスコアは、前記第ｋ環境特定ディスクリミネータを通じて生成される）を最大化するように、また、前記第ｋ環境特定ランクスコアを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させるプロセスを遂行する学習装置が提供される。
【0022】
前記プロセッサは、前記（Ｉ）プロセスで、前記第ｋ環境特定ランクネットワークをもって、前記第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する少なくとも一つの第ｊ環境特定セグメンテーションマップ（前記第ｊ環境特定セグメンテーションマップは、前記第ｋ環境特定コンボリューションレイヤを除いた少なくとも一つの第ｊ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに前記コンボリューション演算が適用されることで少なくとも一つの第ｊ環境特定フィーチャーマップが生成された後、前記第ｊ環境特定コンボリューションレイヤに対応する少なくとも一つの第ｊ環境特定デコンボリューションレイヤを通じて前記第ｊ環境特定フィーチャーマップに前記デコンボリューション演算が適用されることによって生成され、前記ｊは１以上ｎ以下の整数である）上の少なくとも一つの第３サブ領域がクロップされてコンカチネートされることによって生成される少なくとも一つの第ｊ環境特定ランクマップがリアルであるのかフェークであるのかに関する情報を示す少なくとも一つの第ｊ環境特定ランクスコアをさらに生成させ、前記（ＩＩ）プロセスで、前記第ｋ環境特定ラベルランクスコアを最大化するように、また、前記第ｋ環境特定ランクスコアと前記第ｊ環境特定ランクスコアとのそれぞれを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させることを特徴とする。
【0023】
前記プロセッサは、前記（ＩＩ）プロセスで、前記第ｋ環境特定セグメンテーションマップとこれに対応する前記第ｋ環境特定セグメンテーションラベルとが参照されることで生成された第ｋ環境特定セグメンテーションロスを最小化するように、また、前記第ｋ環境特定ランクスコアを最大化するように、前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとのそれぞれを学習させることを特徴とする。
【0024】
前記第ｋ環境特定ディスクリミネータは、コンボリューショナルＰａｔｃｈＧＡＮ分類器（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＰａｔｃｈＧＡＮ ｃｌａｓｓｉｆｉｅｒ）を含むことを特徴とする。
【0025】
前記プロセッサは、前記（Ｉ）プロセスで、前記第ｋ環境特定オブジェクト検出器をもって、前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）レイヤを通じて前記第ｋ環境特定ＲＯＩ情報を生成させ、前記（ＩＩ）プロセスで、前記第ｋ環境特定ＲＯＩ情報及びこれに対応する前記第ｋ環境特定オブジェクトラベルが参照されることで生成された第ｋ環境特定ＲＰＮロスを最小化するように前記第ｋ環境特定ＲＰＮレイヤをさらに学習させることを特徴とする。
【0026】
また、本発明のまた他の実施例によると、走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするためのアップデート装置において、インストラクションを格納する少なくとも一つのメモリ；及び前記インストラクションを実行するために構成された少なくとも一つのプロセッサを含み、前記プロセッサは、（Ｉ）第１走行環境に対応しており第１オブジェクトラベル及び第１セグメンテーションラベルを含む第１学習イメージ乃至第ｎ走行環境に対応しており第ｎオブジェクトラベル及び第ｎセグメンテーションラベルを含む第ｎ学習イメージのうち少なくとも一つの第ｋ学習イメージ（前記ｋは１以上ｎ以下の整数である）が獲得されると、学習装置が、（ｉ）前記第ｋ学習イメージを前記第１走行環境に対応する第１オブジェクト検出器乃至前記第ｎ走行環境に対応する第ｎオブジェクト検出器のうち第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器に入力することで、前記第ｋ環境特定オブジェクト検出器をもって、（ｉ－１）前記第ｋ環境特定オブジェクト検出器の少なくとも一つの第ｋ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに少なくとも一回のコンボリューション演算を適用することで第ｋ環境特定フィーチャーマップを生成させ、（ｉ－２）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定プーリングレイヤを通じて前記第ｋ環境特定フィーチャーマップにある少なくとも一つのオブジェクトを含むものとして予測された少なくとも一つの領域に対応する第ｋ環境特定ＲＯＩ情報を利用して前記第ｋ環境特定フィーチャーマップに少なくとも一回のＲＯＩプーリング演算を適用することによって第ｋ環境特定プーリングフィーチャーマップを生成させ、（ｉ－３）前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＦＣレイヤを通じて前記第ｋ環境特定プーリングフィーチャーマップに少なくとも一回のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することで第ｋ環境特定オブジェクトディテクション情報を生成させ、（ｉｉ）前記第ｋ環境特定フィーチャーマップを前記第１オブジェクト検出器に対応する第１ランクネットワーク乃至前記第ｎオブジェクト検出器に対応する第ｎランクネットワークのうち前記第ｋ環境特定オブジェクト検出器に対応する第ｋ環境特定ランクネットワークに入力することで、前記第ｋ環境特定ランクネットワークをもって、（ｉｉ－１）前記第ｋ環境特定ランクネットワークの少なくとも一つの第ｋ環境特定デコンボリューションレイヤを通じて前記第ｋ環境特定フィーチャーマップに少なくとも一回のデコンボリューション演算を適用することで第ｋ環境特定セグメンテーションマップを生成させ、（ｉｉ－２）前記第ｋ環境特定ランクネットワークの第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上のメイン領域及びこれに対応する前記第ｋ環境特定セグメンテーションマップ上の第１サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ランクマップがリアル（ｒｅａｌ）であるのかフェーク（ｆａｋｅ）であるのかに関する情報を示す第ｋ環境特定ランクスコアを生成させ、（ｉｉｉ）前記第ｋ環境特定オブジェクトディテクション情報とこれに対応する第ｋ環境特定オブジェクトラベルとが参照されることで生成された第ｋ環境特定オブジェクトディテクションロスを最小化するように前記第ｋ環境特定オブジェクト検出器を学習させ、前記第ｋ環境特定ランクスコアを最大化するように前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとを学習させるプロセス、及び（ｉｖ）前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する第ｋ環境特定セグメンテーションラベル上の第２サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ラベルランクマップに対する第ｋ環境特定ラベルランクスコア（前記第ｋ環境特定ラベルランクスコアは、前記第ｋ環境特定ディスクリミネータを通じて生成される）を最大化するように、また、前記第ｋ環境特定ランクスコアを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させるプロセスを遂行した状態で、前記自律走行車両の走行環境を示す走行環境イメージを獲得するプロセス、（ＩＩ）（ｉ）前記走行環境イメージを前記第１オブジェクト検出器乃至前記第ｎオブジェクト検出器のそれぞれに入力することで、前記第１オブジェクト検出器乃至前記第ｎオブジェクト検出器のそれぞれをもって、前記第１コンボリューションレイヤ乃至前記第ｎコンボリューションレイヤのそれぞれを通じて前記走行環境イメージに少なくとも一回のコンボリューション演算を適用することで第１走行環境フィーチャーマップ乃至第ｎ走行環境フィーチャーマップのそれぞれを生成させ、（ｉｉ）前記第１走行環境フィーチャーマップ乃至前記第ｎ走行環境フィーチャーマップのそれぞれを前記第１ランクネットワーク乃至前記第ｎランクネットワークのそれぞれに入力することで、前記第１ランクネットワーク乃至前記第ｎランクネットワークのそれぞれをもって、（ｉｉ－１）第１デコンボリューションレイヤ乃至第ｎデコンボリューションレイヤのそれぞれを通じて前記第１走行環境フィーチャーマップ乃至前記第ｎ走行環境フィーチャーマップのそれぞれに少なくとも一回のデコンボリューション演算を適用することで第１走行環境セグメンテーションマップ乃至第ｎ走行環境セグメンテーションマップのそれぞれを生成させ、（ｉｉ－２）前記第１ディスクリミネータ乃至前記第ｎディスクリミネータのそれぞれを通じて、前記走行環境イメージ上の第１走行メイン領域及びこれに対応する前記第１走行環境セグメンテーションマップ上の第１走行サブ領域がクロップされてコンカチネートされることによって生成される第１走行環境ランクマップ乃至前記走行環境イメージ上の第ｎ走行メイン領域及びこれに対応する前記第ｎ走行環境セグメンテーションマップ上の第ｎ走行サブ領域がクロップされてコンカチネートされることによって生成される第ｎ走行環境ランクマップのそれぞれがリアルであるのかフェークであるのかに関する情報をそれぞれ示す第１走行環境ランクスコア乃至第ｎ走行環境ランクスコアのそれぞれを生成させるプロセス及び（ＩＩＩ）（ｉ）前記第１走行環境ランクスコア乃至前記第ｎ走行環境ランクスコアのうち最も高い値を有する特定の走行環境ランクスコアを生成した特定のランクネットワークに対応する特定のオブジェクト検出器を選択し、（ｉｉ）前記自律走行車両の現在のオブジェクト検出器を前記特定のオブジェクト検出器にアップデートするプロセスを遂行するアップデート装置が提供される。
【0027】
前記（Ｉ）プロセスで、前記学習装置が、前記第ｋ環境特定ランクネットワークをもって、前記第ｋ環境特定ディスクリミネータを通じて、前記第ｋ学習イメージ上の前記メイン領域及びこれに対応する少なくとも一つの第ｊ環境特定セグメンテーションマップ（前記第ｊ環境特定セグメンテーションマップは、前記第ｋ環境特定コンボリューションレイヤを除いた少なくとも一つの第ｊ環境特定コンボリューションレイヤを通じて前記第ｋ学習イメージに前記コンボリューション演算が適用されることで少なくとも一つの第ｊ環境特定フィーチャーマップが生成された後、前記第ｊ環境特定コンボリューションレイヤに対応する少なくとも一つの第ｊ環境特定デコンボリューションレイヤを通じて前記第ｊ環境特定フィーチャーマップに前記デコンボリューション演算が適用されることによって生成され、前記ｊは１以上ｎ以下の整数である）上の少なくとも一つの第３サブ領域がクロップされてコンカチネートされることによって生成される少なくとも一つの第ｊ環境特定ランクマップがリアルであるのかフェークであるのかに関する情報を示す少なくとも一つの第ｊ環境特定ランクスコアをさらに生成させ、前記第ｋ環境特定ラベルランクスコアを最大化するように、また、前記第ｋ環境特定ランクスコアと前記第ｊ環境特定ランクスコアとのそれぞれを最小化するように、前記第ｋ環境特定ディスクリミネータを学習させることを特徴とする。
【0028】
前記（Ｉ）プロセスで、前記学習装置が、前記第ｋ環境特定セグメンテーションマップとこれに対応する前記第ｋ環境特定セグメンテーションラベルとが参照されることで生成された第ｋ環境特定セグメンテーションロスを最小化するように、また、前記第ｋ環境特定ランクスコアを最大化するように、前記第ｋ環境特定デコンボリューションレイヤと前記第ｋ環境特定コンボリューションレイヤとのそれぞれを学習させることを特徴とする。
【0029】
前記第ｋ環境特定ディスクリミネータは、コンボリューショナルＰａｔｃｈＧＡＮ分類器（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＰａｔｃｈＧＡＮ ｃｌａｓｓｉｆｉｅｒ）を含むことを特徴とする。
【0030】
前記（Ｉ）プロセスで、前記学習装置が、前記第ｋ環境特定オブジェクト検出器をもって、前記第ｋ環境特定オブジェクト検出器の第ｋ環境特定ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）レイヤを通じて前記第ｋ環境特定ＲＯＩ情報を生成させ、前記第ｋ環境特定ＲＯＩ情報及びこれに対応する前記第ｋ環境特定オブジェクトラベルが参照されることで生成された第ｋ環境特定ＲＰＮロスを最小化するように前記第ｋ環境特定ＲＰＮレイヤをさらに学習させることを特徴とする。
【発明の効果】
【0031】
本発明は、自律走行車両が様々な走行環境でも円滑に走行することができるようにする効果がある。
【0032】
また、本発明は、自律走行車両のオブジェクト検出器をそれぞれの走行環境に適した最適のオブジェクト検出器にアップデートすることができる効果がある。
【図面の簡単な説明】
【0033】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
【0034】
【図2】図２は、本発明の一実施例において、学習装置が走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするために、それぞれのオブジェクト検出器及びこれに対応するそれぞれのランクネットワークを学習させる過程を簡略に示した図面である。
【発明を実施するための形態】
【0035】
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように十分詳細に説明される。
【0036】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴若しくは各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は、本明細書から、また一部は、本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【0037】
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取られるものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な態様にわたって同一であるか、又は類似の機能を指す。
【0038】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【0039】
ここに提供される本発明の名称や概要は単に便宜のために提供されるもので、この実施形態の範囲または意味を制限し、または限定的に解釈されるものではない。
【0040】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
【0041】
以下の説明では、自動車を例に挙げて説明するが、本発明がこれに限定されるわけではなく、軍事、監視などの分野のように少なくとも一つのカメラが少なくとも一つの所定領域の少なくとも一つのオブジェクトを検出する分野にはどこでも適用され得る。
【0042】
図１は、本発明の一実施例において、それぞれの走行環境に対応するそれぞれのオブジェクト検出器及びこれに対応するそれぞれのランクネットワークを学習させる学習装置１０００を簡略に示した図面であり、学習装置１０００は、それぞれの走行環境に対応するそれぞれのオブジェクト検出器及びこれに対応するそれぞれのランクネットワークを学習させるためのインストラクションを格納するメモリ１００１と、メモリ１００１に格納されたインストラクションに対応してそれぞれの走行環境に対応するそれぞれのオブジェクト検出器及びこれに対応するそれぞれのランクネットワークを学習させる動作を遂行するプロセッサ１００２とを含むことができる。
【0043】
具体的に、学習装置１０００は、典型的にコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）及びコンピュータソフトウェア（即ち、コンピューティング装置をもって特定の方式で機能させる各インストラクション）の組合せを利用して所望のシステム性能を達成するものであり得る。
【0044】
また、コンピューティング装置のプロセッサはＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置はオペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むことができる。
【0045】
しかし、コンピューティング装置が本発明を実施するためのミディアム、プロセッサ及びメモリが統合された形態である統合プロセッサを含む場合を排除するわけではない。
【0046】
このように構成された学習装置１０００を利用して走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための学習方法について図２及び図３を参照して説明すると以下の通りである。
【0047】
参考として、下記でそれぞれの構成要素が単数で記載されたとしても、複数の可能性を排除するわけではない。
【0048】
一例として、本発明の学習装置は、複数のオブジェクト検出器（例えば、ｎ個のオブジェクト検出器）とこれに対応する複数のランクネットワーク（例えば、ｎ個のランクネットワーク）をそれぞれ学習させることができ、図２は、便宜上、第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器１１００－ｋ及びこれに対応する第ｋ環境特定ランクネットワーク１２００－ｋのみを代表的に示している。この際、ｎは１以上の整数であり得る。また、ｋは１以上であり、ｎ以下の整数であり得る。
【0049】
図２を参照すると、第ｋ環境特定オブジェクト検出器１１００－ｋは、第ｋ環境特定コンボリューションレイヤ、第ｋ環境特定プーリングレイヤ、第ｋ環境特定ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）及び第ｋ環境特定ＦＣレイヤ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）のうち少なくとも一部を含むことができる。
【0050】
また、第ｋ環境特定ランクネットワーク１２００－ｋは、第ｋ環境特定デコンボリューションレイヤ及び第ｋ環境特定ディスクリミネータ（ｄｉｓｃｒｉｍｉｎａｔｏｒ）を含むことができる。
【0051】
この際、第ｋ環境特定ディスクリミネータを含むそれぞれのディスクリミネータは、分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）演算を遂行する分類器（ｃｌａｓｓｉｆｉｅｒ）であり得、一例として、前記分類器は、コンボリューショナルＰａｔｃｈＧＡＮ分類器（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＰａｔｃｈＧＡＮ ｃｌａｓｓｉｆｉｅｒ）であり得る。
【0052】
参考として、前記ディスクリミネータは、ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ（ＧＡＮ）モデルのディスクリミネータであり得る。
【0053】
一般的に、ＧＡＮモデルは、ジェネレータ（ｇｅｎｅｒａｔｏｒ）及びディスクリミネータを含むことができるが、（ｉ）ジェネレータは、入力を変換してフェークイメージ（ｆａｋｅ ｉｍａｇｅ、例えば、セグメンテーションマップ）を生成することができ、（ｉｉ）ディスクリミネータは、獲得された入力（例えば、ジェネレータから出力されたセグメンテーションマップ）がフェークイメージ（ｆａｋｅ ｉｍａｇｅ）であるのかリアルイメージ（ｒｅａｌ ｉｍａｇｅ）であるのかに関する情報を示す確率値を出力することができる。
【0054】
この際、ジェネレータは、コンボリューションレイヤ及びデコンボリューションレイヤを含むことができる。従って、以下では、第ｋ環境特定ジェネレータが、第ｋ環境特定コンボリューションレイヤ及び第ｋ環境特定デコンボリューションレイヤを含むものとして説明する。
【0055】
まず、学習装置１０００の動作について具体的に説明すると、第ｋ走行環境に対応しており第ｋオブジェクトラベル及び第ｋセグメンテーションラベルを含む少なくとも一つの第ｋ学習イメージが全体の学習イメージの中から選択され得る。この際、全体の学習イメージは、第１学習イメージ乃至第ｎ学習イメージを含むことができる。また、第１学習イメージのそれぞれは、第１走行環境に対応しており第１オブジェクトラベル及び第１セグメンテーションラベルを含むことができ、第ｎ学習イメージのそれぞれは、第ｎ走行環境に対応しており第ｎオブジェクトラベル及び第ｎセグメンテーションラベルを含むことができる。この際、ｎは１以上の整数であり、ｋは１以上ｎ以下の整数であり得る。
【0056】
例えば、第１走行環境乃至第ｎ走行環境には、都心地における走行環境、郊外における走行環境、山岳地帯における走行環境、海岸における走行環境、雨が降っている走行環境及び雪が降っている走行環境のうち少なくとも一部が該当し得る。ただし、これは様々な走行環境に対する例示に過ぎず、第１走行環境乃至第ｎ走行環境には、自律走行車両が直面する可能性のある任意の走行環境のうち少なくとも一部が含まれ得る。
【0057】
そして、学習装置１０００は、第ｋ学習イメージを第１走行環境に対応する第１オブジェクト検出器乃至第ｎ走行環境に対応する第ｎオブジェクト検出器のうち第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器１１００－ｋに入力することで、第ｋ環境特定オブジェクト検出器１１００－ｋをもって、第ｋ学習イメージに含まれた少なくとも一つのオブジェクトに対してオブジェクト検出を遂行し、第ｋ環境特定オブジェクトディテクション情報を生成させることができる。
【0058】
一例として、学習装置１０００は、第ｋ学習イメージを第ｋ環境特定オブジェクト検出器１１００－ｋに入力することで、第ｋ環境特定オブジェクト検出器１１００－ｋをもって（ｉ）第ｋ環境特定オブジェクト検出器１１００－ｋの少なくとも一つの第ｋ環境特定コンボリューションレイヤを通じて第ｋ学習イメージに少なくとも一回のコンボリューション演算を適用することで第ｋ環境特定フィーチャーマップを生成させ、（ｉｉ）第ｋ環境特定オブジェクト検出器１１００－ｋの第ｋ環境特定プーリングレイヤを通じて第ｋ環境特定フィーチャーマップにある少なくとも一つのオブジェクトを含むものとして予測された少なくとも一つの領域に対応する第ｋ環境特定ＲＯＩ情報を利用して第ｋ環境特定フィーチャーマップにＲＯＩプーリング演算を適用することによって第ｋ環境特定プーリングフィーチャーマップを生成させ、（ｉｉｉ）第ｋ環境特定オブジェクト検出器１１００－ｋの第ｋ環境特定ＦＣレイヤを通じて第ｋ環境特定プーリングフィーチャーマップに少なくとも一回のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することで第ｋ環境特定オブジェクトディテクション情報を生成させることができる。
【0059】
この際、学習装置１０００は、第ｋ環境特定オブジェクト検出器１１００－ｋをもって、第ｋ環境特定オブジェクト検出器１１００－ｋの第ｋ環境特定ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）レイヤを通じて第ｋ環境特定ＲＯＩ情報を生成させることができる。
【0060】
また、学習装置１０００は、第ｋ環境特定フィーチャーマップを第１オブジェクト検出器に対応する第１ランクネットワーク乃至第ｎオブジェクト検出器に対応する第ｎランクネットワークのうち第ｋ環境特定オブジェクト検出器１１００－ｋに対応する第ｋ環境特定ランクネットワーク１２００－ｋに入力することで、第ｋ環境特定ランクネットワーク１２００－ｋをもって、第ｋ環境特定ランクネットワーク１２００－ｋの少なくとも一つの第ｋ環境特定デコンボリューションレイヤを通じて第ｋ環境特定フィーチャーマップに少なくとも一回のデコンボリューション演算を適用することで第ｋ環境特定セグメンテーションマップを生成させることができる。
【0061】
参考として、第ｋ環境特定ジェネレータは、第ｋ環境特定コンボリューションレイヤ及び第ｋ環境特定デコンボリューションレイヤを含むことができる。この際、第ｋ環境特定ディスクリミネータに対応する第ｋ環境特定ジェネレータは、第ｋ環境特定コンボリューションレイヤを第ｋ環境特定オブジェクト検出器１１００－ｋと共有することができる。
【0062】
即ち、第ｋ環境特定ジェネレータは、第ｋ学習イメージに対応する出力として第ｋ環境特定セグメンテーションマップを生成することができる。
【0063】
そして、学習装置１０００は、第ｋ環境特定ランクネットワーク１２００－ｋをもって、第ｋ環境特定ディスクリミネータを通じて、第ｋ学習イメージ上のメイン領域及びこれに対応する第ｋ環境特定セグメンテーションマップ上の少なくとも一つの第１サブ領域がクロップされてコンカチネートされることによって生成される第ｋ環境特定ランクマップがリアル（ｒｅａｌ）であるのかフェーク（ｆａｋｅ）であるのかに関する情報を示す第ｋ環境特定ランクスコアを生成させることができる。
【0064】
具体的に説明すると、第ｋ環境特定ディスクリミネータに入力される第ｋ環境特定ランクマップは、第ｋ環境特定ジェネレータから出力される第ｋ環境特定セグメンテーションマップに関する情報だけでなく、第ｋ学習イメージに関する情報も含むことができる。これは、第ｋ環境特定ディスクリミネータをもって、第ｋ環境特定ディスクリミネータに入力される第ｋ環境特定ランクマップがリアルであるのかフェークであるのかを判断させることにおいて、より豊富な情報に基づいて判断することができるようにするためである。参考として、（ｉ）第ｋ学習イメージ上のメイン領域、（ｉｉ）第ｋ環境特定セグメンテーションマップ上の第１サブ領域、（ｉｉｉ）後述する第ｋ環境特定セグメンテーションラベル上の第２サブ領域、（ｉｖ）後述する少なくとも一つの第ｊ環境特定セグメンテーションマップ上の第３サブ領域のそれぞれは、同一の領域に対応する領域であり得る。
【0065】
そして、学習装置１０００は、（ｉ）第ｋ環境特定オブジェクトディテクション情報とこれに対応する第ｋ環境特定オブジェクトラベルとが参照されることで生成された第ｋ環境特定オブジェクトディテクションロスを最小化するように第ｋ環境特定オブジェクト検出器１１００－ｋを学習させ、第ｋ環境特定ランクスコアを最大化するように第ｋ環境特定デコンボリューションレイヤと第ｋ環境特定コンボリューションレイヤとを学習させるプロセス、及び（ｉｉ）第ｋ環境特定ラベルランクマップに対する第ｋ環境特定ラベルランクスコアを最大化するように、また、第ｋ環境特定ランクスコアを最小化するように、第ｋ環境特定ディスクリミネータを学習させるプロセスを遂行することができる。この際、第ｋ環境特定ラベルランクマップは、第ｋ学習イメージ上のメイン領域及びこれに対応する第ｋ環境特定セグメンテーションラベル上の第２サブ領域がクロップされてコンカチネートされることによって生成され得る。また、第ｋ環境特定ラベルランクスコアは、第ｋ環境特定ディスクリミネータにより生成され得る。
【0066】
また、学習装置１０００は、第ｋ環境特定セグメンテーションマップとこれに対応する第ｋ環境特定セグメンテーションラベルとが参照されることで生成された第ｋ環境特定セグメンテーションロスを最小化するように、また、第ｋ環境特定ランクスコアを最大化するように、第ｋ環境特定デコンボリューションレイヤと第ｋ環境特定コンボリューションレイヤとのそれぞれを学習させることができる。
【0067】
また、学習装置１０００は、第ｋ環境特定ＲＯＩ情報及びこれに対応する第ｋ環境特定オブジェクトラベルが参照されることで生成された第ｋ環境特定ＲＰＮロスを最小化するように第ｋ環境特定ＲＰＮレイヤをさらに学習させることができる。
【0068】
以下では、ディスクリミネータの性能をさらに向上させるための学習方法を説明する。
【0069】
図３を参照すると、学習装置１０００は、第ｋ環境特定ディスクリミネータを通じて、第ｋ環境特定ランクマップがリアルであるのかフェークであるのかに関する情報を示す第ｋ環境特定ランクスコアを生成することができる。この際、第ｋ環境特定ランクマップは、第ｋ学習イメージ上のメイン領域及びこれに対応する第ｋ環境特定セグメンテーションマップ上の第１サブ領域がクロップされてコンカチネートされることによって生成され得る。
【0070】
また、学習装置１０００は、第ｋ環境特定ディスクリミネータを通じて、少なくとも一つの第ｊ環境特定ランクマップがリアルであるのかフェークであるのかに関する情報を示す少なくとも一つの第ｊ環境特定ランクスコアをさらに生成することができる。この際、第ｊ環境特定ランクマップは、第ｋ学習イメージ上のメイン領域及びこれに対応する第ｊ環境特定セグメンテーションマップ上の第３サブ領域がクロップされてコンカチネートされることによって生成され得る。また、ｊは、ｋ値とは異なる、１以上ｎ以下の整数であり得る。
【0071】
この際、第ｊ環境特定セグメンテーションマップは、第ｋ環境特定ディスクリミネータに対応する第ｋ環境特定ジェネレータを除いた、少なくとも一つの第ｊ環境特定ジェネレータにより生成され得る。
【0072】
参考として、第ｊ環境特定ジェネレータは、第ｋ環境特定ディスクリミネータに対応する第ｋ環境特定コンボリューションレイヤを除いた、第ｊ環境特定コンボリューションレイヤ及びこれに対応する第ｊ環境特定デコンボリューションレイヤを含むことができる。
【0073】
即ち、少なくとも一つの第ｊ環境特定セグメンテーションマップは、少なくとも一つの第ｊ環境特定コンボリューションレイヤを通じて第ｋ学習イメージにコンボリューション演算が適用されることによって第ｊ環境特定フィーチャーマップが生成された後、第ｊ環境特定コンボリューションレイヤに対応する第ｊ環境特定デコンボリューションレイヤを通じて第ｊ環境特定フィーチャーマップにデコンボリューション演算が適用されることによって生成され得る。
【0074】
一例として、学習装置１０００は、第１ディスクリミネータの性能をさらに向上させるために、（ｉ）第１ジェネレータを除いた第２ジェネレータ乃至第ｎジェネレータのうち第３ジェネレータを通じて第１学習イメージに対する第３環境特定セグメンテーションマップを出力し、（ｉｉ）第１ランクネットワークをもって第１ディスクリミネータを通じて第３環境特定ランクマップに対する第３環境特定ランクスコアをさらに生成させることができる。この際、第３環境特定セグメンテーションマップは、第１ディスクリミネータに対応する第１走行環境に対応する。また、第３環境特定ランクマップは、第１学習イメージ上の第１メイン領域及びこれに対応する第３環境特定セグメンテーションマップ上の第３サブ領域がクロップされてコンカチネートされることによって生成され得る。
【0075】
他の例として、学習装置１０００は、第１ディスクリミネータの性能をさらに向上させるために、（ｉ）（ｉ－１）第５ジェネレータを通じて第１学習イメージに対する第５環境特定セグメンテーションマップを出力し、（ｉ－２）第７ジェネレータを通じて第１学習イメージに対する第７環境特定セグメンテーションマップを出力し、（ｉｉ）第１ランクネットワークをもって第１ディスクリミネータを通じて第５環境特定ランクマップに対する第５環境特定ランクスコア及び第７環境特定ランクマップに対する第７環境特定ランクスコアのそれぞれをさらに生成させることができる。この際、第５環境特定セグメンテーションマップ及び第７環境特定セグメンテーションマップは、第１ディスクリミネータに対応する第１走行環境に対応する。また、第５環境特定ランクマップは、第１学習イメージ上の第１メイン領域及びこれに対応する第５環境特定セグメンテーションマップ上の第３サブ領域がクロップされてコンカチネートされることによって生成され得る。また、第７環境特定ランクマップは、第１学習イメージ上の第１メイン領域及びこれに対応する第７環境特定セグメンテーションマップ上の第３サブ領域がクロップされてコンカチネートされることによって生成され得る。
【0076】
そして、学習装置１０００は、第ｋ環境特定ラベルランクスコアを最大化するように、また、第ｋ環境特定ランクスコアと第ｊ環境特定ランクスコアのそれぞれを最小化するように、第ｋ環境特定ディスクリミネータを学習させることができる。
【0077】
以下では、オブジェクト検出器及びそれに対応するランクネットワークを学習させるために利用される目的関数（ｏｂｊｅｃｔｉｖｅ ｆｕｎｃｔｉｏｎ）について説明する。
【0078】
まず、（ｉ）ディスクリミネータと（ｉｉ）それに対応するコンボリューションレイヤ及びデコンボリューションレイヤとを含むジェネレータを学習させるために使用されるＧＡＮロスは、次の数式１を利用して計算され得る。
【数1】
【0079】
前記で、ｘは学習イメージ、ｙはセグメンテーションラベル、Ｇ（ｘ）はジェネレータから出力されるセグメンテーションマップ、Ｄ（ｘ，ｙ）は学習イメージ上のメイン領域及びこれに対応するセグメンテーションラベル上の第２サブ領域がクロップされてコンカチネートされることによって生成されるラベルランクマップに対するディスクリミネータの出力であるラベルランクスコア、Ｄ（ｘ，Ｇ（ｘ））は学習イメージ上のメイン領域及びこれに対応するセグメンテーションマップ上の第１サブ領域がクロップされてコンカチネートされることによって生成されたランクマップに対するディスクリミネータの出力であるランクスコアであり得る。
【0080】
そして、セグメンテーションロスは、次の数式２を利用して計算され得る。
【数2】
【0081】
前記で、Ｌｃｅは、クロスエントロピー（ｃｒｏｓｓ ｅｎｔｒｏｐｙ）ロスであり得る。
【0082】
次に、オブジェクトディテクションロスは、次の数式３を利用して計算され得る。
【数3】
【0083】
前記で、Ｒ（ｘ）はＲＰＮから出力されるＲＯＩ情報、Ｏ（ｘ）はオブジェクト検出器から出力されるオブジェクトディテクション情報、ｙｒｐｎはオブジェクトラベルに含まれてＲＰＮレイヤから出力されるターゲット（ｔａｒｇｅｔ）ラベル、ｙｄｅｔはオブジェクトラベルに含まれてオブジェクト検出器から出力されるターゲットラベルであり得る。
【0084】
そして、ディスクリミネータを学習するためのディスクリミネータロスは、次の数式４を利用して計算され得る。この際、ディスクリミネータロスは、学習対象である特定のディスクリミネータに対応する特定のジェネレータを除いた他のジェネレータに関する情報を参照することで計算され得る。
【数4】
【0085】
前記でＧｎ（ｘ）は特定のディスクリミネータに対応する特定のジェネレータを除いた少なくとも一つの他のジェネレータから出力される少なくとも一つの他のセグメンテーションマップ、Ｄ（ｘ，Ｇｎ（ｘ））は学習イメージ上のメイン領域及びこれに対応する少なくとも一つの他のセグメンテーションマップ上の第３サブ領域がクロップされてコンカチネートされることによって生成されるランクマップに対する特定のディスクリミネータの出力であるランクスコアであり得る。
【0086】
これを総合すると、数式１乃至数式４を参照した目的関数（ｏｂｊｅｃｔｉｖｅ ｆｕｎｃｔｉｏｎ）は、次の数式５のように表され得る。
【数5】
【0087】
参考として、前記でλはセグメンテーションロスを調節するために選択可能な任意の値であり得る。
【0088】
学習装置１０００は、数式５の目的関数（ｏｂｊｅｃｔｉｖｅ ｆｕｎｃｔｉｏｎ）を利用してオブジェクト検出器１１００及びそれに対応するランクネットワークを次のような方法により学習させることができる。
【0089】
【0090】
【0091】
【0092】
【0093】
【0094】
【0095】
参考として、上記で説明したように、学習装置１０００は、（ｉ）それぞれのジェネレータに含まれるコンボリューションレイヤ及びデコンボリューションレイヤ、（ｉｉ）それぞれのオブジェクト検出器、（ｉｉｉ）それぞれのＲＰＮレイヤを学習させた後、それぞれのジェネレータに対応するそれぞれのディスクリミネータを学習させることができるが、これに限定されるわけではない。例えば、学習装置１０００は、それぞれのジェネレータに対応するそれぞれのディスクリミネータを学習させた後、それぞれのディスクリミネータに対応する（ｉ）それぞれのジェネレータに含まれるコンボリューションレイヤ及びデコンボリューションレイヤ、（ｉｉ）それぞれのオブジェクト検出器、（ｉｉｉ）それぞれのＲＰＮレイヤを学習させることもできる。
【0096】
このように、それぞれのジェネレータ、それぞれのディスクリミネータ及びそれぞれのオブジェクト検出器が学習された状態で、走行環境イメージが獲得される場合のアップデート装置の動作について、図４乃至図７を参照して説明する。
【0097】
まず、図４を参照して、自律走行車両のオブジェクト検出器を特定の走行環境に適した特定のオブジェクト検出器にアップデートするアップデート装置について説明する。この際、特定の走行環境に適した特定のオブジェクト検出器は、特定の走行環境に最適化されたオブジェクト検出器であり得る。
【0098】
アップデート装置２０００は、自律走行車両のオブジェクト検出器を特定の走行環境に対応する特定のオブジェクト検出器にアップデートするためのインストラクションを格納するメモリ２００１と、メモリ２００１に格納されたインストラクションに対応して自律走行車両のオブジェクト検出器を特定の走行環境に対応する特定のオブジェクト検出器にアップデートする動作を遂行するプロセッサ２００２とを含むことができる。
【0099】
具体的に、アップデート装置２０００は、典型的にコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）及びコンピュータソフトウェア（即ち、コンピューティング装置をもって特定の方式で機能させる各インストラクション）の組合せを利用して所望のシステム性能を達成するものであり得る。
【0100】
また、コンピューティング装置のプロセッサはＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置はオペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むことができる。
【0101】
しかし、コンピューティング装置が本発明を実施するためのミディアム、プロセッサ及びメモリが統合された形態である統合プロセッサを含む場合を排除するわけではない。
【0102】
この際、アップデート装置２０００は、図１に示された学習装置１０００と同一の装置であるか、互いに別個の装置であり得る。
【0103】
図５を参照すると、自律走行車両のビジョンシステム（ｖｉｓｉｏｎ ｓｙｓｔｅｍ）３０００から自律走行車両の走行環境を示す走行環境イメージが獲得されると、アップデート装置２０００は、第１ランクネットワーク乃至第ｎランクネットワークのそれぞれをもって、走行環境イメージに対応する第１走行環境ランクスコア乃至第ｎ走行環境ランクスコアのそれぞれを生成させることができる。
【0104】
そして、アップデート装置２０００は、（ｉ）第１走行環境ランクスコア乃至第ｎ走行環境ランクスコアのうち最も高い値を有する特定の走行環境ランクスコアを生成した特定のランクネットワークに対応する特定のオブジェクト検出器を選択し、（ｉｉ）自律走行車両の現在のオブジェクト検出器を特定のオブジェクト検出器にアップデートすることができる。
【0105】
一例として、アップデート装置２０００は、自律走行車両のビジョンシステム３０００に最適のオブジェクト検出器を有線で伝送することによって自律走行車両の現在のオブジェクト検出器を特定のオブジェクト検出器にアップデートすることができる。
【0106】
他の例として、アップデート装置２０００は、自律走行車両のビジョンシステム３０００に最適のオブジェクト検出器を無線で伝送することによって自律走行車両の現在のオブジェクト検出器を特定のオブジェクト検出器にアップデートすることができる。
【0107】
即ち、アップデート装置２０００は、ｏｖｅｒ－ｔｈｅ－ａｉｒ（ＯＴＡ）方式を利用して自律走行車両のビジョンシステム３０００に最適のオブジェクト検出器を伝送することによって、自律走行車両の現在のオブジェクト検出器を特定のオブジェクト検出器にアップデートすることができる。
【0108】
以下では、図６を参照して自律走行車両の現在のオブジェクト検出器が特定のオブジェクト検出器にアップデートされる過程についてより具体的に説明する。
【0109】
まず、学習装置１０００により、データベースから獲得された第１学習イメージ乃至第ｎ学習イメージが利用されて第１ランクネットワーク乃至第ｎランクネットワーク、及び第１オブジェクト検出器乃至第ｎオブジェクト検出器が学習され、学習された第１ランクネットワーク乃至学習された第ｎランクネットワーク、及び学習された第１オブジェクト検出器乃至学習された第ｎオブジェクト検出器が所定の格納空間に格納された状態でＳ６０１、自律走行車両のビジョンシステム３０００から走行環境イメージが獲得されるとＳ６０２、アップデート装置２０００は、所定の格納空間に格納された第１ランクネットワーク乃至第ｎランクネットワークのそれぞれをもって走行環境イメージに対応する第１走行環境ランクスコア乃至第ｎ走行環境ランクスコアのそれぞれを生成させることができる。
【0110】
そして、アップデート装置２０００は、（ｉ）第１走行環境ランクスコア乃至第ｎ走行環境ランクスコアのうち最も高い値を有する特定の走行環境ランクスコアを生成した特定のランクネットワークに対応する特定のオブジェクト検出器を選択し、（ｉｉ）特定のオブジェクト検出器を自律走行車両のビジョンシステム３０００に伝送Ｓ６０３することで、自律走行車両の現在のオブジェクト検出器を特定のオブジェクト検出器にアップデートすることができる。
【0111】
以下では、アップデート装置が自律走行車両のオブジェクト検出器を特定のオブジェクト検出器にアップデートする方法について、図７を参照して説明する。
【0112】
参考として、本発明のアップデート装置２０００は、第１オブジェクト検出器乃至第ｎオブジェクト検出器のそれぞれとこれに対応するそれぞれの第１ランクネットワーク乃至第ｎランクネットワークとのうち少なくとも一部に対して動作を遂行することができ、図７は、便宜上、第ｋ走行環境に対応する第ｋ環境特定オブジェクト検出器１１００－ｋ及びこれに対応する第ｋ環境特定ランクネットワーク１２００－ｋのみを代表的に示している。
【0113】
まず、走行環境イメージが獲得されると、アップデート装置２０００は、（ｉ）走行環境イメージを第１オブジェクト検出器乃至第ｎオブジェクト検出器のそれぞれに入力することで、第１オブジェクト検出器乃至第ｎオブジェクト検出器のそれぞれをもって、第１コンボリューションレイヤ乃至第ｎコンボリューションレイヤのそれぞれを通じて走行環境イメージに少なくとも一回のコンボリューション演算を適用することで第１走行環境フィーチャーマップ乃至第ｎ走行環境フィーチャーマップのそれぞれを生成させ、（ｉｉ）第１走行環境フィーチャーマップ乃至第ｎ走行環境フィーチャーマップのそれぞれを第１ランクネットワーク乃至第ｎランクネットワークのそれぞれに入力することで、第１ランクネットワーク乃至第ｎランクネットワークのそれぞれをもって、（ｉｉ－１）第１デコンボリューションレイヤ乃至第ｎデコンボリューションレイヤのそれぞれを通じて第１走行環境フィーチャーマップ乃至第ｎ走行環境フィーチャーマップのそれぞれに少なくとも一回のデコンボリューション演算を適用することで第１走行環境セグメンテーションマップ乃至第ｎ走行環境セグメンテーションマップのそれぞれを生成させ、（ｉｉ－２）第１ディスクリミネータ乃至第ｎディスクリミネータのそれぞれを通じて、第１走行環境ランクスコア乃至第ｎ走行環境ランクスコアのそれぞれを生成させることができる。この際、第１走行環境ランクスコアは、第１走行環境ランクマップがリアルであるのかフェークであるのかに関する情報を示すことができる。また、第１走行環境ランクマップは、走行環境イメージ上の第１走行メイン領域及びこれに対応する第１走行環境セグメンテーションマップ上の第１走行サブ領域がクロップされてコンカチネートされることによって生成され得る。また、第ｎ走行環境ランクスコアは、第ｎ走行環境ランクマップがリアルであるのかフェークであるのかに関する情報を示すことができる。また、第ｎ走行環境ランクマップは、走行環境イメージ上の第ｎ走行メイン領域及びこれに対応する第ｎ走行環境セグメンテーションマップ上の第ｎ走行サブ領域がクロップされてコンカチネートされることによって生成され得る。
【0114】
そして、アップデート装置２０００は、（ｉ）第１走行環境ランクスコア乃至第ｎ走行環境ランクスコアのうち最も高い値を有する特定の走行環境ランクスコアを生成した特定のランクネットワークに対応する特定のオブジェクト検出器を選択し、（ｉｉ）自律走行車両の現在のオブジェクト検出器を特定のオブジェクト検出器にアップデートすることができる。この際、例えば、特定のオブジェクト検出器は、第ｋ環境特定オブジェクト検出器１１００－ｋであり得、特定のランクネットワークは、第ｋ環境特定ランクネットワーク１２００－ｋであり得、特定の走行環境ランクスコアは、第ｋ環境特定走行環境ランクスコアであり得る。
【0115】
これによって、アップデート装置２０００は、自律走行車両をもって様々な走行環境でも最適化されたオブジェクト検出器を利用して適切に走行することができるように支援することができる。
【0116】
一方、前記ではオブジェクト検出器が自律走行車両に利用される場合について説明したが、これとは異なり、オブジェクト検出器は、自律運航飛行体、自律動作ロボットなど、様々な装置に適用され得る。
【0117】
また、前記ではオブジェクト検出器をアップデートする方法を説明したが、本発明がこれに限定されるわけではなく、自律走行車両、自律運航飛行体、自律動作ロボットなどに利用される様々な種類のディープラーニングネットワークモデルをアップデートする場合にも同一の方法が適用され得る。
【0118】
また、以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フレキシブルディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカル・ディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気－光メディア（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【0119】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは、本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
【0120】
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
