特許 6892158 オンデバイス独立型予測に基づいて自律走行車両のモードを切り換えることによって自律走行の安全性を図る学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6892158

(24)【登録日】2021年5月31日

(45)【発行日】2021年6月23日

(54)【発明の名称】オンデバイス独立型予測に基づいて自律走行車両のモードを切り換えることによって自律走行の安全性を図る学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210614BHJP

   G06N 3/04 20060101ALI20210614BHJP

   G06N 3/08 20060101ALI20210614BHJP

   B60W 40/02 20060101ALI20210614BHJP

   B60W 50/14 20200101ALI20210614BHJP

【ＦＩ】

   G06T7/00 350C

   G06T7/00 650Z

   G06N3/04

   G06N3/08

   B60W40/02

   B60W50/14

【請求項の数】24

【全頁数】37

(21)【出願番号】特願2020-9528(P2020-9528)

(22)【出願日】2020年1月23日

(65)【公開番号】特開2020-123349(P2020-123349A)

(43)【公開日】2020年8月13日

【審査請求日】2020年1月23日

(31)【優先権主張番号】62/798,676

(32)【優先日】2019年1月30日

(33)【優先権主張国】US

(31)【優先権主張番号】16/725,064

(32)【優先日】2019年12月23日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】517038176

【氏名又は名称】株式会社ストラドビジョン

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】金 桂賢

(72)【発明者】

【氏名】金 鎔重

(72)【発明者】

【氏名】金 鶴京

(72)【発明者】

【氏名】南 雲鉉

(72)【発明者】

【氏名】夫 碩▲ふん▼

(72)【発明者】

【氏名】成 明哲

(72)【発明者】

【氏名】申 東洙

(72)【発明者】

【氏名】呂 東勳

(72)【発明者】

【氏名】柳 宇宙

(72)【発明者】

【氏名】李 明春

(72)【発明者】

【氏名】李 炯樹

(72)【発明者】

【氏名】張 泰雄

(72)【発明者】

【氏名】鄭 景中

(72)【発明者】

【氏名】諸 泓模

(72)【発明者】

【氏名】趙 浩辰

【審査官】 合田 幸裕

(56)【参考文献】

【文献】 米国特許出願公開第２０１７／０２０６４３１（ＵＳ，Ａ１）

【文献】 米国特許第１０１６９６７９（ＵＳ，Ｂ１）

【文献】 米国特許出願公開第２０１８／００９６４５７（ＵＳ，Ａ１）

【文献】 米国特許第１０００７８６５（ＵＳ，Ｂ１）

【文献】 中国特許出願公開第１０６５９９９３９（ＣＮ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｂ６０Ｗ ４０／０２

Ｂ６０Ｗ ５０／１４

Ｇ０６Ｎ ３／０４

Ｇ０６Ｎ ３／０８

ＩＥＥＥ Ｘｐｌｏｒｅ

ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

物体検出のプロセスの間、前記物体検出の信頼度を表すことができるパラメータを生成する学習方法において、
（ａ）学習装置が、トレーニングイメージが取得されると、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれている少なくとも一つのコンボリューションレイヤをもって、前記トレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのコンボリューション特徴マップを生成させる段階；
（ｂ）前記学習装置が、ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）に含まれている少なくとも一つのアンカーレイヤをもって、前記コンボリューション特徴マップに少なくとも一つのアンカー（ａｎｃｈｏｒ）演算を適用することによって前記トレーニングイメージ上の予測ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するプロセスの間、前記コンボリューション特徴マップ内各ピクセルごとの一つ以上のＲＰＮコンフィデンス（ｃｏｎｆｉｄｅｎｃｅ）スコアそれぞれ（前記ＲＰＮコンフィデンススコアそれぞれは、前記予測ＲＯＩが原本正解（ｇｒｏｕｎｄ−ｔｒｕｔｈ）ＲＯＩと同一である確率それぞれを表す）を生成することによって、前記ＲＰＮコンフィデンススコアを含むＲＰＮコンフィデンスマップを生成させる段階；
（ｃ）前記学習装置が、前記ＣＮＮに含まれているＲＯＩプーリングレイヤを通じて前記コンボリューション特徴マップ及び前記予測ＲＯＩを利用して生成された少なくとも一つのＲＯＩプーリング済み（ＲＯＩ−Ｐｏｏｌｅｄ）特徴マップが取得されると、前記ＣＮＮに含まれているＦＣレイヤをもって、前記ＲＯＩプーリング済み特徴マップを使用して予測物体検出結果を生成するプロセスの間、各前記予測ＲＯＩごとのＣＮＮコンフィデンススコアそれぞれ（前記ＣＮＮコンフィデンススコアそれぞれは、前記予測物体検出結果に含まれている一つ以上の予測ＣＮＮリグレッション結果それぞれ及び一つ以上の予測ＣＮＮ分類結果それぞれが、原本正解物体検出結果に含まれている一つ以上の原本正解ＣＮＮリグレッション結果それぞれ及び一つ以上の原本正解ＣＮＮ分類結果それぞれと同一である確率それぞれを表す）を生成することによって、前記ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップを生成させる段階；及び
（ｄ）前記学習装置が、ロスレイヤをもって、前記ＲＰＮコンフィデンスマップと、前記ＣＮＮコンフィデンスマップと、前記予測物体検出結果と、前記原本正解物体検出結果とを参照して少なくとも一つのＲＰＮロス及び少なくとも一つのＣＮＮロスを生成させ、前記ＲＰＮロス及び前記ＣＮＮロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することによって前記ＣＮＮ及び前記ＲＰＮのパラメータのうち少なくとも一部を学習する段階；
を含むことを特徴とする学習方法。

【請求項2】

前記（ｄ）段階で、
前記学習装置が、前記ロスレイヤをもって、下記数式によって前記ＲＰＮロスを生成させ、

【数27】

Ｎ_regは前記アンカー演算を遂行して生成された前記コンボリューション特徴マップのサイズに対応する定数（ｃｏｎｓｔａｎｔ）であり、Ｎ_clsは前記トレーニングイメージに対応する定数であり、c_iは前記ＲＰＮコンフィデンススコアのうち前記コンボリューション特徴マップの第ｉピクセルに対応する第ｉＲＰＮコンフィデンススコアを意味し、p_iは前記第ｉピクセルに対応する第ｉ予測ＲＰＮ分類結果を意味し、

【数28】

は前記第ｉ予測ＲＰＮ分類結果に対応する第ｉ原本正解ＲＰＮ分類結果を意味し、ｔ_iは前記第ｉピクセルに対応する第ｉ予測ＲＰＮリグレッション結果を意味し、

【数29】

は前記第ｉ予測ＲＰＮリグレッション結果に対応する第ｉ原本正解ＲＰＮリグレッション結果を意味し、
前記第ｉ原本正解ＲＰＮ分類結果及び前記第ｉ原本正解ＲＰＮリグレッション結果は、前記原本正解物体検出結果に対応することを特徴とする請求項１に記載の学習方法。

【請求項3】

前記（ｄ）段階で、
前記学習装置が、前記ロスレイヤをもって、下記数式によって前記ＣＮＮロスを生成させ、

【数30】

Ｎ_reg及びＮ_clsは前記予測ＲＯＩの個数であり、c_iは前記ＣＮＮコンフィデンススコアのうち前記予測ＲＯＩで選択された第ｉ予測ＲＯＩに対応する第ｉＣＮＮコンフィデンススコアを意味し、p_iは前記第ｉ予測ＲＯＩに対応する第ｉ予測ＣＮＮ分類結果を意味し、

【数31】

は前記第ｉ予測ＣＮＮ分類結果に対応する第ｉ原本正解ＣＮＮ分類結果を意味し、t_iは前記第ｉ予測ＲＯＩに対応する第ｉ予測ＣＮＮリグレッション結果を意味し、

【数32】

は前記第ｉ予測ＣＮＮリグレッション結果に対応する第ｉ原本正解ＣＮＮリグレッション結果を意味し、
前記第ｉ予測ＣＮＮ分類結果及び前記第ｉ予測ＣＮＮリグレッション結果は、前記予測物体検出結果に対応することを特徴とする請求項１に記載の学習方法。

【請求項4】

前記（ｃ）段階以後に、
前記学習装置が、コンフィデンスレイヤをもって、前記ＲＰＮコンフィデンスマップ及び前記ＣＮＮコンフィデンスマップを参照して、前記トレーニングイメージ内各ピクセルごとのそれぞれの統合コンフィデンススコアに関する情報を含む統合コンフィデンスマップを生成させることを特徴とする請求項１に記載の学習方法。

【請求項5】

前記学習装置が、前記コンフィデンスレイヤをもって、（ｉ−１）前記予測物体検出結果が生成されるプロセスの間に生成される、前記予測ＲＯＩに対するＮＭＳ（Ｎｏｎ−Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）結果を前記ＣＮＮから取得するプロセス、（ｉー２）前記ＲＰＮコンフィデンスマップに少なくとも一つのリサイズ（ｒｅｓｉｚｉｎｇ）演算を適用してリサイズ済みＲＰＮコンフィデンスマップを生成するプロセス、及び（ｉｉ）前記ＮＭＳ結果及び前記リサイズ済みＲＰＮコンフィデンスマップを参照して前記統合コンフィデンスマップを生成するプロセスを遂行させることを特徴とする請求項４に記載の学習方法。

【請求項6】

前記学習装置が、前記コンフィデンスレイヤをもって、前記統合コンフィデンススコアのうち前記トレーニングイメージ上の座標（ｘ、ｙ）に対応する第（Ｘ＿Ｙ）統合コンフィデンススコアを下記数式にしたがって生成させ、

【数33】

ｃ’_xyは前記第（Ｘ＿Ｙ）統合コンフィデンススコアを意味し、ｃ_xyは前記リサイズ済みＲＰＮコンフィデンスマップ上の座標（ｘ、ｙ）に対応する第（Ｘ＿Ｙ）リサイズ済みＲＰＮコンフィデンススコアを意味し、ｃ_riは前記ＮＭＳ（Ｎｏｎ−Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）結果で決定された、前記座標（ｘ、ｙ）を含む第ｉ予測ＲＯＩ（前記第ｉ予測ＲＯＩはr_iとして表す）に対する第ｉ予測ＣＮＮコンフィデンススコアを意味することを特徴とする請求項５に記載の学習方法。

【請求項7】

物体検出のプロセスの間、前記物体検出の信頼度を表すことができるパラメータを生成するテスティング方法において、
（ａ）（１）学習装置が、ＣＮＮに含まれている少なくとも一つのコンボリューションレイヤをもって、トレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用コンボリューション特徴マップを生成させ、（２）前記学習装置が、ＲＰＮに含まれている少なくとも一つのアンカーレイヤをもって、前記学習用コンボリューション特徴マップに少なくとも一つのアンカー（ａｎｃｈｏｒ）演算を適用することによって、前記トレーニングイメージ上の学習用予測ＲＯＩを生成するプロセスの間、前記学習用コンボリューション特徴マップ内各ピクセルごとの一つ以上の学習用ＲＰＮコンフィデンススコアそれぞれ（前記学習用ＲＰＮコンフィデンススコアそれぞれは、前記学習用予測ＲＯＩが原本正解ＲＯＩと同一である学習用確率それぞれを表す）を生成することによって、前記学習用ＲＰＮコンフィデンススコアを含む学習用ＲＰＮコンフィデンスマップを生成させ、（３）前記学習装置が、前記ＣＮＮに含まれているＲＯＩプーリングレイヤを通じて前記学習用コンボリューション特徴マップ及び前記学習用予測ＲＯＩを利用して生成された少なくとも一つの学習用ＲＯＩプーリング済み特徴マップが取得されると、前記ＣＮＮに含まれているＦＣレイヤをもって、前記学習用ＲＯＩプーリング済み特徴マップを使用して学習用予測物体検出結果を生成するプロセスの間、各前記学習用予測ＲＯＩごとの学習用ＣＮＮコンフィデンススコアそれぞれ（前記学習用ＣＮＮコンフィデンススコアそれぞれは、前記学習用予測物体検出結果に含まれている一つ以上の学習用予測ＣＮＮリグレッション結果それぞれ及び一つ以上の学習用予測ＣＮＮ分類結果それぞれが、原本正解物体検出結果に含まれている一つ以上の原本正解ＣＮＮリグレッション結果それぞれ及び一つ以上の原本正解ＣＮＮ分類結果それぞれと同一である学習用確率それぞれを表す）を生成することによって、前記学習用ＣＮＮコンフィデンススコアを含む学習用ＣＮＮコンフィデンスマップを生成させ、（４）前記学習装置が、ロスレイヤをもって、前記学習用ＲＰＮコンフィデンスマップと、前記学習用ＣＮＮコンフィデンスマップと、前記学習用予測物体検出結果と、前記原本正解物体検出結果とを参照して少なくとも一つのＲＰＮロス及び少なくとも一つのＣＮＮロスを生成させ、前記ＲＰＮロス及び前記ＣＮＮロスを利用してバックプロパーゲーションを遂行することによって、前記ＣＮＮ及び前記ＲＰＮのパラメータのうち少なくとも一部を学習した状態で、テスティング装置が、テスト用走行ビデオの第Ｎフレームに対応するテストイメージが取得されると、前記ＣＮＮに含まれている前記コンボリューションレイヤをもって、前記テストイメージに前記コンボリューション演算を適用して少なくとも一つのテスト用コンボリューション特徴マップを生成させる段階；
（ｂ）前記テスティング装置が、前記ＲＰＮに含まれている前記アンカーレイヤをもって、前記テスト用コンボリューション特徴マップに前記アンカー演算を適用することによって前記テストイメージ上のテスト用予測ＲＯＩを生成するプロセスの間、前記テスト用コンボリューション特徴マップ内各ピクセルごとの一つ以上のテスト用ＲＰＮコンフィデンススコアそれぞれ（前記テスト用ＲＰＮコンフィデンススコアそれぞれは、前記テスト用予測ＲＯＩが原本正解ＲＯＩと同一であるテスト用確率それぞれを表す）を生成することによって、前記テスト用ＲＰＮコンフィデンススコアを含むテスト用ＲＰＮコンフィデンスマップを生成させる段階；
（ｃ）前記テスティング装置が、前記ＣＮＮに含まれている前記ＲＯＩプーリングレイヤを通じて前記テスト用コンボリューション特徴マップ及び前記テスト用予測ＲＯＩを利用して生成された少なくとも一つのテスト用ＲＯＩプーリング済み特徴マップが取得されると、前記ＣＮＮに含まれている前記ＦＣレイヤをもって、前記テスト用ＲＯＩプーリング特徴マップを使用してテスト用予測物体検出結果を生成するプロセスの間、各前記テスト用予測ＲＯＩごとのテスト用ＣＮＮコンフィデンススコアそれぞれ（前記テスト用ＣＮＮコンフィデンススコアそれぞれは、前記テスト用予測物体検出結果に含まれている一つ以上のテスト用予測ＣＮＮリグレッション結果それぞれ及び一つ以上テスト用予測ＣＮＮ分類結果それぞれが、原本正解物体検出結果に含まれている一つ以上の原本正解ＣＮＮリグレッション結果それぞれ及び一つ以上の原本正解ＣＮＮ分類結果それぞれと同一のテスト用確率それぞれを表す）を生成することによって、前記テスト用ＣＮＮコンフィデンススコアを含むテスト用ＣＮＮコンフィデンスマップを生成させる段階；及び
（ｄ）前記テスティング装置が、コンフィデンスレイヤをもって、前記テスト用ＲＰＮコンフィデンスマップ及び前記テスト用ＣＮＮコンフィデンスマップを参照して、テスト用統合コンフィデンススコアを含むテスト用統合コンフィデンスマップを生成させる段階；
を含むことを特徴とするテスティング方法。

【請求項8】

前記テスティング装置が、前記コンフィデンスレイヤをもって、（ｉ−１）前記テスト用予測物体検出結果が生成されるプロセスの間に生成される、前記テスト用予測ＲＯＩに対するテスト用ＮＭＳ結果を前記ＣＮＮから取得するプロセス、（ｉー２）前記テスト用ＲＰＮコンフィデンスマップに少なくとも一つのリサイズ演算を適用してリサイズ済みテスト用ＲＰＮコンフィデンスマップを生成するプロセス、及び（ｉｉ）前記テスト用ＮＭＳ結果及び前記リサイズ済みテスト用ＲＰＮコンフィデンスマップを参照して、前記テスト用統合コンフィデンスマップを生成するプロセスを遂行させることを特徴とする請求項７に記載のテスティング方法。

【請求項9】

前記テスティング装置が、前記コンフィデンスレイヤをもって、前記テスト用統合コンフィデンススコアのうち前記テストイメージ上の座標（ｘ、ｙ）に対応する第（Ｘ＿Ｙ）テスト用統合コンフィデンススコアを下記数式にしたがって生成させ、

【数34】

ｃ’_xyは前記第（Ｘ＿Ｙ）テスト用統合コンフィデンススコアを意味し、ｃ_xyは前記リサイズ済みテスト用ＲＰＮコンフィデンスマップ上の座標（ｘ、ｙ）に対応する第（Ｘ＿Ｙ）リサイズ済みテスト用ＲＰＮコンフィデンススコアを意味し、ｃ_riは前記テスト用ＮＭＳ結果で決定された、前記座標（ｘ、ｙ）を含む第ｉテスト用予測ＲＯＩ（前記第ｉテスト用予測ＲＯＩはr_iとして表す）に対する第ｉテスト用ＣＮＮコンフィデンススコアを意味することを特徴とする請求項８に記載のテスティング方法。

【請求項10】

（ｅ）前記テスティング装置が、前記第Ｎフレームに対応する時点から予め設定された時間範囲の間、テスト用車両が走行する予定経路を示す経路情報（前記経路情報は、前記テスト用車両と連動する経路プランニングモジュールにより生成された状態である）が取得されると、モード切換えモジュールをもって、（ｉ）前記テスト用統合コンフィデンスマップ及び前記経路情報を参照して、前記テスト用統合コンフィデンススコアのうちで、前記予定経路に対応する前記第Ｎフレームに対する少なくとも一つの第Ｎターゲットコンフィデンススコアを選択し、（ｉｉ）前記第Ｎターゲットコンフィデンススコアが閾値超過であるか否かを判断させる段階；
をさらに含むことを特徴とする請求項７に記載のテスティング方法。

【請求項11】

前記テスティング装置が、前記モード切換えモジュールをもって、（ｉ）前記第Ｎターゲットコンフィデンススコアが前記閾値以下であり、（ｉｉ）第（Ｎ−Ｋ）フレーム（ＫはＮ未満の整数（ｉｎｔｅｇｅｒ）である）ないし第（Ｎ−１）フレームそれぞれに対応する第（Ｎ−Ｋ）ターゲットコンフィデンススコアないし第（Ｎ−１）ターゲットコンフィデンススコアのうち少なくとも一部が前記閾値以下である場合、前記テスト用車両の走行モードを自律走行モードからマニュアル走行モードに変更させることを特徴とする請求項１０に記載のテスティング方法。

【請求項12】

前記テスティング装置が、前記モード切換えモジュールをもって、（ｉ）前記第Ｎターゲットコンフィデンススコアが前記閾値以下であり、（ｉｉ）第（Ｎ−Ｋ）フレーム（ＫはＮ未満の整数である）ないし第（Ｎ−１）フレームそれぞれに対応する第（Ｎ−Ｋ）ターゲットコンフィデンススコアないし第（Ｎ−１）ターゲットコンフィデンススコアが順次に減少する場合、前記テスト用車両の走行モードを自律走行モードからマニュアル走行モードに変更させることを特徴とする請求項１０に記載のテスティング方法。

【請求項13】

物体検出のプロセスの間、前記物体検出の信頼度を表すことができるパラメータを生成する学習装置において、
インストラクションを格納する少なくとも一つのメモリと、
（Ｉ）トレーニングイメージが取得されると、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれている少なくとも一つのコンボリューションレイヤをもって、前記トレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのコンボリューション特徴マップを生成させるプロセス、（ＩＩ）ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）に含まれている少なくとも一つのアンカーレイヤをもって、前記コンボリューション特徴マップに少なくとも一つのアンカー（ａｎｃｈｏｒ）演算を適用することによって前記トレーニングイメージ上の予測ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するプロセスの間、前記コンボリューション特徴マップ内各ピクセルごとの一つ以上のＲＰＮコンフィデンス（ｃｏｎｆｉｄｅｎｃｅ）スコアそれぞれ（前記ＲＰＮコンフィデンススコアそれぞれは、前記予測ＲＯＩが原本正解（ｇｒｏｕｎｄ−ｔｒｕｔｈ）ＲＯＩと同一である確率それぞれを表す）を生成することによって、前記ＲＰＮコンフィデンススコアを含むＲＰＮコンフィデンスマップを生成させるプロセス、（ＩＩＩ）前記ＣＮＮに含まれているＲＯＩプーリングレイヤを通じて前記コンボリューション特徴マップ及び前記予測ＲＯＩを利用して生成された少なくとも一つのＲＯＩプーリング済み（ＲＯＩ−Ｐｏｏｌｅｄ）特徴マップが取得されると、前記ＣＮＮに含まれているＦＣレイヤをもって、前記ＲＯＩプーリング済み特徴マップを使用して予測物体検出結果を生成するプロセスの間、各前記予測ＲＯＩごとのＣＮＮコンフィデンススコアそれぞれ（前記ＣＮＮコンフィデンススコアそれぞれは、前記予測物体検出結果に含まれている一つ以上の予測ＣＮＮリグレッション結果それぞれ及び一つ以上の予測ＣＮＮ分類結果それぞれが、原本正解物体検出結果に含まれている一つ以上の原本正解ＣＮＮリグレッション結果それぞれ及び一つ以上の原本正解ＣＮＮ分類結果それぞれと同一である確率それぞれを表す）を生成することによって、前記ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップを生成させるプロセス、及び（ＩＶ）ロスレイヤをもって、前記ＲＰＮコンフィデンスマップと、前記ＣＮＮコンフィデンスマップと、前記予測物体検出結果と、前記原本正解物体検出結果とを参照して少なくとも一つのＲＰＮロス及び少なくとも一つのＣＮＮロスを生成させ、前記ＲＰＮロス及び前記ＣＮＮロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することによって前記ＣＮＮ及び前記ＲＰＮのパラメータのうち少なくとも一部を学習するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする学習装置。

【請求項14】

前記（ＩＶ）プロセスにおいて、
前記プロセッサが、前記ロスレイヤをもって、下記数式にしたがって前記ＲＰＮロスを生成させ、

【数35】

Ｎ_regは前記アンカー演算を遂行して生成された前記コンボリューション特徴マップのサイズに対応する定数であり、Ｎ_clsは前記トレーニングイメージに対応する定数であり、c_iは前記ＲＰＮコンフィデンススコアのうち前記コンボリューション特徴マップの第ｉピクセルに対応する第ｉＲＰＮコンフィデンススコアを意味し、p_iは前記第ｉピクセルに対応する第ｉ予測ＲＰＮ分類結果を意味し、

【数36】

は前記第ｉ予測ＲＰＮ分類結果に対応する第ｉ原本正解ＲＰＮ分類結果を意味し、t_iは前記第ｉピクセルに対応する第ｉ予測ＲＰＮリグレッション結果を意味し、

【数37】

は前記第ｉ予測ＲＰＮリグレッション結果に対応する第ｉ原本正解ＲＰＮリグレッション結果を意味し、
前記第ｉ原本正解ＲＰＮ分類結果及び前記第ｉ原本正解ＲＰＮリグレッション結果は、前記原本正解物体検出結果に対応することを特徴とする請求項１３に記載の学習装置。

【請求項15】

前記（ＩＶ）プロセスにおいて、
前記プロセッサが、前記ロスレイヤをもって、下記数式にしたがって前記ＣＮＮロスを生成させ、

【数38】

Ｎ_reg及びＮ_clsは前記予測ＲＯＩの個数であり、c_iは前記ＣＮＮコンフィデンススコアのうち前記予測ＲＯＩで選択された第ｉ予測ＲＯＩに対応する第ｉＣＮＮコンフィデンススコアを意味し、p_iは前記第ｉ予測ＲＯＩに対応する第ｉ予測ＣＮＮ分類結果を意味し、

【数39】

は前記第ｉ予測ＣＮＮ分類結果に対応する第ｉ原本正解ＣＮＮ分類結果を意味し、t_iは前記第ｉ予測ＲＯＩに対応する第ｉ予測ＣＮＮリグレッション結果を意味し、

【数40】

は前記第ｉ予測ＣＮＮリグレッション結果に対応する第ｉ原本正解ＣＮＮリグレッション結果を意味し、
前記第ｉ予測ＣＮＮ分類結果及び前記第ｉ予測ＣＮＮリグレッション結果は、前記予測物体検出結果に対応することを特徴とする請求項１３に記載の学習装置。

【請求項16】

前記（ＩＩＩ）プロセス以後に、
前記プロセッサが、コンフィデンスレイヤをもって、前記ＲＰＮコンフィデンスマップ及び前記ＣＮＮコンフィデンスマップを参照して、前記トレーニングイメージ内各ピクセルごとのそれぞれの統合コンフィデンススコアに関する情報を含む統合コンフィデンスマップを生成させることを特徴とする請求項１３に記載の学習装置。

【請求項17】

前記プロセッサが、前記コンフィデンスレイヤをもって、（ｉ−１）前記予測物体検出結果が生成されるプロセスの間に生成される、前記予測ＲＯＩに対するＮＭＳ（Ｎｏｎ−Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）結果を前記ＣＮＮから取得するプロセス、（ｉー２）前記ＲＰＮコンフィデンスマップに少なくとも一つのリサイズ（ｒｅｓｉｚｉｎｇ）演算を適用してリサイズ済みＲＰＮコンフィデンスマップを生成するプロセス、及び（ｉｉ）前記ＮＭＳ結果及び前記リサイズ済みＲＰＮコンフィデンスマップを参照して前記統合コンフィデンスマップを生成するプロセスを遂行させることを特徴とする請求項１６に記載の学習装置。

【請求項18】

前記プロセッサが、前記コンフィデンスレイヤをもって、前記統合コンフィデンススコアのうち前記トレーニングイメージ上の座標（ｘ、ｙ）に対応する第（Ｘ＿Ｙ）統合コンフィデンススコアを下記数式にしたがって生成させ、

【数41】

ｃ’_xyは前記第（Ｘ＿Ｙ）統合コンフィデンススコアを意味し、ｃ_xyは前記リサイズ済みＲＰＮコンフィデンスマップ上の座標（ｘ、ｙ）に対応する第（Ｘ＿Ｙ）リサイズ済みＲＰＮコンフィデンススコアを意味し、c_riは前記ＮＭＳ（Ｎｏｎ−Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）結果で決定された、前記座標（ｘ、ｙ）を含む第ｉ予測ＲＯＩ（前記第ｉ予測ＲＯＩはr_iとして表す）に対する第ｉＣＮＮコンフィデンススコアを意味することを特徴とする請求項１７に記載の学習装置。

【請求項19】

物体検出のプロセスの間、前記物体検出の信頼度を表すことができるパラメータを生成するテスティング装置において、
インストラクションを格納する少なくとも一つのメモリと、
（Ｉ）（１）学習装置が、ＣＮＮに含まれている少なくとも一つのコンボリューションレイヤをもって、トレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用コンボリューション特徴マップを生成させ、（２）前記学習装置が、ＲＰＮに含まれている少なくとも一つのアンカーレイヤをもって、前記学習用コンボリューション特徴マップに少なくとも一つのアンカー（ａｎｃｈｏｒ）演算を適用することによって、前記トレーニングイメージ上の学習用予測ＲＯＩを生成するプロセスの間、前記学習用コンボリューション特徴マップ内各ピクセルごとの一つ以上の学習用ＲＰＮコンフィデンススコアそれぞれ（前記学習用ＲＰＮコンフィデンススコアそれぞれは、前記学習用予測ＲＯＩが原本正解ＲＯＩと同一である学習用確率それぞれを表す）を生成することによって、前記学習用ＲＰＮコンフィデンススコアを含む学習用ＲＰＮコンフィデンスマップを生成させ、（３）前記学習装置が、前記ＣＮＮに含まれているＲＯＩプーリングレイヤを通じて前記学習用コンボリューション特徴マップ及び前記学習用予測ＲＯＩを利用して生成された少なくとも一つの学習用ＲＯＩプーリング済み特徴マップが取得されると、前記ＣＮＮに含まれているＦＣレイヤをもって、前記学習用ＲＯＩプーリング済み特徴マップを使用して学習用予測物体検出結果を生成するプロセスの間、各前記学習用予測ＲＯＩごとの学習用ＣＮＮコンフィデンススコアそれぞれ（前記学習用ＣＮＮコンフィデンススコアそれぞれは、前記学習用予測物体検出結果に含まれている一つ以上の学習用予測ＣＮＮリグレッション結果それぞれ及び一つ以上の学習用予測ＣＮＮ分類結果それぞれが、原本正解物体検出結果に含まれている一つ以上の原本正解ＣＮＮリグレッション結果それぞれ及び一つ以上の原本正解ＣＮＮ分類結果それぞれと同一である学習用確率それぞれを表す）を生成することによって、前記学習用ＣＮＮコンフィデンススコアを含む学習用ＣＮＮコンフィデンスマップを生成させ、（４）前記学習装置が、ロスレイヤをもって、前記学習用ＲＰＮコンフィデンスマップと、前記学習用ＣＮＮコンフィデンスマップと、前記学習用予測物体検出結果と、前記原本正解物体検出結果とを参照して少なくとも一つのＲＰＮロス及び少なくとも一つのＣＮＮロスを生成させ、前記ＲＰＮロス及び前記ＣＮＮロスを利用してバックプロパーゲーションを遂行することによって、前記ＣＮＮ及び前記ＲＰＮのパラメータのうち少なくとも一部を学習した状態で、テスト用走行ビデオの第Ｎフレームに対応するテストイメージが取得されると、前記ＣＮＮに含まれている前記コンボリューションレイヤをもって、前記テストイメージに前記コンボリューション演算を適用して少なくとも一つのテスト用コンボリューション特徴マップを生成させるプロセス、（ＩＩ）前記ＲＰＮに含まれている前記アンカーレイヤをもって、前記テスト用コンボリューション特徴マップに前記アンカー演算を適用することによって、前記テストイメージ上のテスト用予測ＲＯＩを生成するプロセスの間、前記テスト用コンボリューション特徴マップ内各ピクセルごとの一つ以上のテスト用ＲＰＮコンフィデンススコアそれぞれ（前記テスト用ＲＰＮコンフィデンススコアそれぞれは、前記テスト用予測ＲＯＩが原本正解ＲＯＩと同一のテスト用確率それぞれを表す）を生成することによって、前記テスト用ＲＰＮコンフィデンススコアを含むテスト用ＲＰＮコンフィデンスマップを生成させるプロセス、（ＩＩＩ）前記ＣＮＮに含まれている前記ＲＯＩプーリングレイヤを通じて前記テスト用コンボリューション特徴マップ及び前記テスト用予測ＲＯＩを利用して生成された少なくとも一つのテスト用ＲＯＩプーリング済み特徴マップが取得されると、前記ＣＮＮに含まれている前記ＦＣレイヤをもって、前記テスト用ＲＯＩプーリング済み特徴マップを使用してテスト用予測物体検出結果を生成するプロセスの間、各前記テスト用予測ＲＯＩごとのテスト用ＣＮＮコンフィデンススコアそれぞれ（前記テスト用ＣＮＮコンフィデンススコアそれぞれは、前記テスト用予測物体検出結果に含まれている一つ以上のテスト用予測ＣＮＮリグレッション結果それぞれ及び一つ以上テスト用予測ＣＮＮ分類結果それぞれが、原本正解物体検出結果に含まれている一つ以上の原本正解ＣＮＮリグレッション結果それぞれ及び一つ以上の原本正解ＣＮＮ分類結果それぞれと同一であるテスト用確率それぞれを表す）を生成することによって、前記テスト用ＣＮＮコンフィデンススコアを含むテスト用ＣＮＮコンフィデンスマップを生成させるプロセス；及び（ＩＶ）コンフィデンスレイヤをもって、前記テスト用ＲＰＮコンフィデンスマップと前記テスト用ＣＮＮコンフィデンスマップとを参照して、テスト用統合コンフィデンススコアを含むテスト用統合コンフィデンスマップを生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とするテスティング装置。

【請求項20】

前記プロセッサが、前記コンフィデンスレイヤをもって、（ｉ−１）前記テスト用予測物体検出結果が生成されるプロセスの間に生成される、前記テスト用予測ＲＯＩに対するテスト用ＮＭＳ結果を前記ＣＮＮから取得するプロセス、（ｉー２）前記テスト用ＲＰＮコンフィデンスマップに少なくとも一つのリサイズ演算を適用して、リサイズ済みテスト用ＲＰＮコンフィデンスマップを生成するプロセス、及び（ｉｉ）前記テスト用ＮＭＳ結果及び前記リサイズ済みテスト用ＲＰＮコンフィデンスマップを参照して前記テスト用統合コンフィデンスマップを生成するプロセスを遂行させることを特徴とする請求項１９に記載のテスティング装置。

【請求項21】

前記プロセッサが、前記コンフィデンスレイヤをもって、前記テスト用統合コンフィデンススコアのうち前記テストイメージ上の座標に対応する第（Ｘ＿Ｙ）テスト用統合コンフィデンススコアを下記数式にしたがって生成させ、

【数42】

ｃ’_xyは前記第（Ｘ＿Ｙ）テスト用統合コンフィデンススコアを意味し、ｃ_xyは前記リサイズ済みＲＰＮコンフィデンスマップ上の座標（ｘ、ｙ）に対応する第（Ｘ＿Ｙ）リサイズ済みテスト用ＲＰＮコンフィデンススコアを意味し、c_riは前記テスト用ＮＭＳ結果で決定された、前記座標（ｘ、ｙ）を含む第ｉテスト用予測ＲＯＩ（前記第ｉテスト用予測ＲＯＩはr_iとして表す）に対する第ｉテスト用ＣＮＮコンフィデンススコアを意味することを特徴とする請求項２０に記載のテスト装置。

【請求項22】

前記プロセッサが、（Ｖ）前記第Ｎフレームに対応する時点から予め設定された時間範囲の間にテスト用車両が走行する予定経路を示す経路情報（前記経路情報は、前記テスト用車両と連動する経路プランニングモジュールにより生成された状態である）が取得されると、モード切換えモジュールをもって、（ｉ）前記テスト用統合コンフィデンスマップ及び前記経路情報を参照して、前記テスト用統合コンフィデンススコアのうちで、前記予定経路に対応する前記第Ｎフレームに対する少なくとも一つの第Ｎターゲットコンフィデンススコアを選択し、（ｉｉ）前記第Ｎターゲットコンフィデンススコアが閾値超過であるか否かを判断させるプロセスをさらに遂行することを特徴とする請求項１９に記載のテスティング装置。

【請求項23】

前記プロセッサが、前記モード切換えモジュールをもって、（ｉ）前記第Ｎターゲットコンフィデンススコアが前記閾値以下であり、（ｉｉ）第（Ｎ−Ｋ）フレーム（ＫはＮ未満の整数である）ないし第（Ｎ−１）フレームそれぞれに対応する第（Ｎ−Ｋ）ターゲットコンフィデンススコアないし第（Ｎ−１）ターゲットコンフィデンススコアのうち少なくとも一部が前記閾値以下である場合、前記テスト用車両の走行モードを自律走行モードからマニュアル走行モードに変更させることを特徴とする請求項２２に記載のテスティング装置。

【請求項24】

前記プロセッサが、前記モード切換えモジュールをもって、（ｉ）前記第Ｎターゲットコンフィデンススコアが前記閾値以下であり、（ｉｉ）第（Ｎ−Ｋ）フレーム（ＫはＮ未満の整数である）ないし第（Ｎ−１）フレームそれぞれに対応する第（Ｎ−Ｋ）ターゲットコンフィデンススコアないし第（Ｎ−１）ターゲットコンフィデンススコアが順次に減少する場合、前記テスト用車両の走行モードを自律走行モードからマニュアル走行モードに変更させることを特徴とする請求項２２に記載のテスティング装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自律走行車両に利用するための学習方法及び学習装置に関し、より詳細には、オンデバイス（Ｏｎ−ｄｅｖｉｃｅ）独立型予測に基づいて自律走行車両のモードを切り換えることによって自律走行の安全性を図る学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置に関する。

【背景技術】

【0002】

自律走行技術は、最近かなり研究されており、運転者の介入なしに自律走行車両が非常に高い正確度で走行し得るようになった。しかし、このような自律走行技術も、特定の状況においては十分に作動し得ない場合がある。たとえば、カメラ基盤の自律走行車両の場合、自律走行車両に搭載されたカメラの視界が急に暗くなると、カメラにより取得されたイメージが自律走行に適切でないことがあり得、したがって、カメラ基盤の自律走行車両が十分に作動し難くなり得る。

【0003】

このような場合、安全のために自律走行がそれ以上行われてはならず、車両がマニュアル走行モードに切り換えられて運転者が車両を運転するようにしなければならない。そのための従来技術は、地理的エリアデータベース、すなわち、それぞれの区間が車両の自律走行に安全であるか否かに関する情報を含むデータベースを参照してユーザに知らせるものがある。

【0004】

このような従来技術の限界は、地理的エリアデータベースにおいて自律走行に安全であるとラベリングされた区間も、場合によってはマニュアル走行が必要であり得るということである。例えば、悪天候の状況であるとか、夜間に街灯が故障して真っ暗な場合などには、手動アップデートされるＤＢ基盤では自律走行の可否を適切に予測することができないであろう。すなわち、従来技術は、このような場合については予め知らせるのが難しいという問題がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、上述した問題点を解決することを目的とする。

【0006】

本発明は、オンデバイス（Ｏｎ−ｄｅｖｉｃｅ）独立型予測に基づいて、自律走行車両のモードを切り換えることによって自律走行の安全性を図る学習方法を提供することを目的とする。

【0007】

本発明は、物体検出のプロセスの間、前記物体検出の信頼度を表すことができるパラメータを生成する方法を提供することを他の目的とする。

【0008】

本発明は、前記物体検出を適切に遂行する間、前記パラメータを生成するために物体検出に使用されるネットワークを学習させるのに利用されるロスを提供することをまた他の目的とする。

【課題を解決するための手段】

【0009】

前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。

【0010】

本発明の一態様によると、物体検出のプロセスの間、前記物体検出の信頼度を表すことができるパラメータを生成する学習方法において、（ａ）学習装置が、トレーニングイメージが取得されると、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれている少なくとも一つのコンボリューションレイヤをもって、前記トレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのコンボリューション特徴マップを生成させる段階；（ｂ）前記学習装置が、ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）に含まれている少なくとも一つのアンカーレイヤをもって、前記コンボリューション特徴マップに少なくとも一つのアンカー（ａｎｃｈｏｒ）演算を適用することによって前記トレーニングイメージ上の予測ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するプロセスの間、前記コンボリューション特徴マップ内各ピクセルごとの一つ以上のＲＰＮコンフィデンス（ｃｏｎｆｉｄｅｎｃｅ）スコアそれぞれ（前記ＲＰＮコンフィデンススコアそれぞれは、前記予測ＲＯＩが原本正解（ｇｒｏｕｎｄ−ｔｒｕｔｈ）ＲＯＩと同一である確率それぞれを表す）を生成することによって、前記ＲＰＭコンフィデンススコアを含むＲＰＮコンフィデンスマップを生成させる段階；（ｃ）前記学習装置が、前記ＣＮＮに含まれているＲＯＩプーリングレイヤを通じて前記コンボリューション特徴マップ及び前記予測ＲＯＩを利用して生成された少なくとも一つのＲＯＩプーリング済み（ＲＯＩ−Ｐｏｏｌｅｄ）特徴マップが取得されると、前記ＣＮＮに含まれているＦＣレイヤをもって、前記ＲＯＩプーリング済み特徴マップを使用して予測物体検出結果を生成するプロセスの間、各前記予測ＲＯＩごとのＣＮＮコンフィデンススコアそれぞれ（前記ＣＮＮコンフィデンススコアそれぞれは、前記予測物体検出結果に含まれている一つ以上の予測ＣＮＮリグレッション結果それぞれ及び一つ以上の予測ＣＮＮ分類結果それぞれが、原本正解物体検出結果に含まれている一つ以上の原本正解ＣＮＮリグレッション結果それぞれ及び一つ以上の原本正解ＣＮＮ分類結果それぞれと同一である確率それぞれを表す）を生成することによって、前記ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップを生成させる段階；及び（ｄ）前記学習装置が、ロスレイヤをもって、前記ＲＰＮコンフィデンスマップと、前記ＣＮＮコンフィデンスマップと、前記予測物体検出結果と、前記原本正解物体検出結果とを参照して少なくとも一つのＲＰＮロス及び少なくとも一つのＣＮＮロスを生成させ、前記ＲＰＮロス及び前記ＣＮＮロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することによって前記ＣＮＮ及び前記ＲＰＮのパラメータのうち少なくとも一部を学習する段階；を含むことを特徴とする学習方法が提供される。

【0011】

一実施例において、前記（ｄ）段階で、前記学習装置が前記ロスレイヤをもって、下記数式によって前記ＲＰＮロスを生成させ、

【0012】

【数1】

Ｎ_regは前記アンカー演算を遂行して生成された前記コンボリューション特徴マップのサイズに対応する定数（ｃｏｎｓｔａｎｔ）であり、Ｎ_clsは前記トレーニングイメージに対応する定数であり、c_iは前記ＲＰＮコンフィデンススコアのうち前記コンボリューション特徴マップの第ｉピクセルに対応する第ｉＲＰＮコンフィデンススコアを意味し、p_iは前記第ｉピクセルに対応する第ｉ予測ＲＰＮ分類結果を意味し、

【0013】

【数2】

は前記第ｉ予測ＲＰＮ分類結果に対応する第ｉ原本正解ＲＰＮ分類結果を意味し、ｔ_iは前記第ｉピクセルに対応する第ｉ予測ＲＰＮリグレッション結果を意味し、

【0014】

【数3】

は前記第ｉ予測ＲＰＮリグレッション結果に対応する第ｉ原本正解ＲＰＮリグレッション結果を意味し、前記第ｉ原本正解ＲＰＮ分類結果及び前記第ｉ原本正解ＲＰＮリグレッション結果は、前記原本正解物体検出結果に対応する。

【0015】

一実施例において、前記（ｄ）段階で、前記学習装置が、前記ロスレイヤをもって、下記数式によって前記ＣＮＮロスを生成させ、

【0016】

【数4】

Ｎ_reg及びＮ_clsは前記予測ＲＯＩの個数であり、c_iは前記ＣＮＮコンフィデンススコアのうち前記予測ＲＯＩで選択された第ｉ予測ＲＯＩに対応する第ｉＣＮＮコンフィデンススコアを意味し、p_iは前記第ｉ予測ＲＯＩに対応する第ｉ予測ＣＮＮ分類結果を意味し、

【0017】

【数5】

は前記第ｉ予測ＣＮＮ分類結果に対応する第ｉ原本正解ＣＮＮ分類結果を意味し、ｔ_iは前記第ｉ予測ＲＯＩに対応する第ｉ予測ＣＮＮリグレッション結果を意味し、

【0018】

【数6】

は前記第ｉ予測ＣＮＮリグレッション結果に対応する第ｉ原本正解ＣＮＮリグレッション結果を意味し、前記第ｉ予測ＣＮＮ分類結果及び前記第ｉ予測ＣＮＮリグレッション結果は、前記予測物体検出結果に対応する。

【0019】

一実施例において、前記（ｃ）段階以後に、前記学習装置が、コンフィデンスマップをもって、前記ＲＰＮコンフィデンスマップ及び前記ＣＮＮコンフィデンスマップを参照して、前記トレーニングイメージ内各ピクセルごとのそれぞれの統合コンフィデンススコアに関する情報を含む統合コンフィデンスマップを生成させる。

【0020】

一実施例において、前記学習装置が、前記コンフィデンスレイヤをもって、（ｉ−１）前記予測物体検出結果が生成されるプロセスの間に生成される、前記予測ＲＯＩに対するＮＭＳ（Ｎｏｎ−Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）結果を前記ＣＮＮから取得するプロセス、（ｉー２）前記ＲＰＮコンフィデンスマップに少なくとも一つのリサイズ（ｒｅｓｉｚｉｎｇ）演算を適用してリサイズ済みＲＰＮコンフィデンスマップを生成するプロセス、及び（ｉｉ）前記ＮＭＳ結果及び前記リサイズ済みＲＰＮコンフィデンスマップを参照して前記統合コンフィデンスマップを生成するプロセスを遂行させる。

【0021】

一実施例において、前記学習装置が、前記コンフィデンスレイヤをもって、前記統合コンフィデンススコアのうち前記トレーニングイメージ上の座標（ｘ、ｙ）に対応する第（Ｘ＿Ｙ）統合コンフィデンススコアを下記数式にしたがって生成させ、

【0022】

【数7】

ｃ’_xyは前記第（Ｘ＿Ｙ）統合コンフィデンススコアを意味し、ｃ_xyは前記リサイズ済みＲＰＮコンフィデンスマップ上の座標（ｘ、ｙ）に対応する第（Ｘ＿Ｙ）リサイズ済みＲＰＮコンフィデンススコアを意味し、c_riは前記ＮＭＳ（Ｎｏｎ−Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）結果で決定された、前記座標（ｘ、ｙ）を含む第ｉ予測ＲＯＩ（前記第ｉ予測ＲＯＩはr_iとして表す）に対する第ｉ予測ＣＮＮコンフィデンススコアを意味する。

【0023】

本発明の他の態様によると、物体検出のプロセスの間、前記物体検出の信頼度を表すことができるパラメータを生成するテスティング方法において、（ａ）（１）学習装置が、ＣＮＮに含まれている少なくとも一つのコンボリューションレイヤをもって、トレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用コンボリューション特徴マップを生成させ、（２）前記学習装置が、ＲＰＮに含まれている少なくとも一つのアンカーレイヤをもって、前記学習用コンボリューション特徴マップに少なくとも一つのアンカー演算を適用することによって、前記トレーニングイメージ上の学習用予測ＲＯＩを生成するプロセスの間、前記学習用コンボリューション特徴マップ内各ピクセルごとの一つ以上の学習用ＲＰＮコンフィデンススコアそれぞれ（前記学習用ＲＰＮコンフィデンススコアそれぞれは、前記学習用予測ＲＯＩが原本正解ＲＯＩと同一である学習用確率それぞれを表す）を生成することによって、前記学習用ＲＰＮコンフィデンススコアを含む学習用ＲＰＮコンフィデンスマップを生成させ、（３）前記学習装置が、前記ＣＮＮに含まれているＲＯＩプーリングレイヤを通じて前記学習用コンボリューション特徴マップ及び前記学習用予測ＲＯＩを利用して生成された少なくとも一つの学習用ＲＯＩプーリング済み特徴マップが取得されると、前記ＣＮＮに含まれているＦＣレイヤをもって、前記学習用ＲＯＩプーリング済み特徴マップを使用して学習用予測物体検出結果を生成するプロセスの間、各前記学習用予測ＲＯＩごとの学習用ＣＮＮコンフィデンススコアそれぞれ（前記学習用ＣＮＮコンフィデンススコアそれぞれは、前記学習用予測物体検出結果に含まれている一つ以上の学習用予測ＣＮＮリグレッション結果それぞれ及び一つ以上の学習用予測ＣＮＮ分類結果それぞれが、原本正解物体検出結果に含まれている一つ以上の原本正解ＣＮＮリグレッション結果それぞれ及び一つ以上の原本正解ＣＮＮ分類結果それぞれと同一である学習用確率それぞれを表す）を生成することによって、前記学習用ＣＮＮコンフィデンススコアを含む学習用ＣＮＮコンフィデンスマップを生成させ、（４）前記学習装置が、ロスレイヤをもって、前記学習用ＲＰＮコンフィデンスマップと、前記学習用ＣＮＮコンフィデンスマップと、前記学習用予測物体検出結果と、前記原本正解物体検出結果とを参照して少なくとも一つのＲＰＮロス及び少なくとも一つのＣＮＮロスを生成させ、前記ＲＰＮロス及び前記ＣＮＮロスを利用してバックプロパーゲーションを遂行することによって、前記ＣＮＮ及び前記ＲＰＮのパラメータのうち少なくとも一部を学習した状態で、テスティング装置が、テスト用走行ビデオの第Ｎフレームに対応するテストイメージが取得されると、前記ＣＮＮに含まれている前記コンボリューションレイヤをもって、前記テストイメージに前記コンボリューション演算を適用して少なくとも一つのテスト用コンボリューション特徴マップを生成させる段階；（ｂ）前記テスティング装置が、前記ＲＰＮに含まれている前記アンカーレイヤをもって、前記テスト用コンボリューション特徴マップに前記アンカー演算を適用することによって前記テストイメージ上のテスト用予測ＲＯＩを生成するプロセスの間、前記テスト用コンボリューション特徴マップ内各ピクセルごとの一つ以上のテスト用ＲＰＮコンフィデンススコアそれぞれ（前記テスト用ＲＰＮコンフィデンススコアそれぞれは、前記テスト用予測ＲＯＩが原本正解ＲＯＩと同一であるテスト用確率それぞれを表す）を生成することによって、前記テスト用ＲＰＮコンフィデンススコアを含むテスト用ＲＰＮコンフィデンスマップを生成させる段階；（ｃ）前記テスティング装置が、前記ＣＮＮに含まれている前記ＲＯＩプーリングレイヤを通じて前記テスト用コンボリューション特徴マップ及び前記テスト用予測ＲＯＩを利用して生成された少なくとも一つのテスト用ＲＯＩプーリング済み特徴マップが取得されると、前記ＣＮＮに含まれている前記ＦＣレイヤをもって、前記テスト用ＲＯＩプーリング特徴マップを使用してテスト用予測物体検出結果を生成するプロセスの間、各前記テスト用予測ＲＯＩごとのテスト用ＣＮＮコンフィデンススコアそれぞれ（前記テスト用ＣＮＮコンフィデンススコアそれぞれは、前記テスト用予測物体検出結果に含まれている一つ以上のテスト用予測ＣＮＮリグレッション結果それぞれ及び一つ以上テスト用予測ＣＮＮ分類結果それぞれが、原本正解物体検出結果に含まれている一つ以上の原本正解ＣＮＮリグレッション結果それぞれ及び一つ以上の原本正解ＣＮＮ分類結果それぞれと同一のテスト用確率それぞれを表す）を生成することによって、前記テスト用ＣＮＮコンフィデンススコアを含むテスト用ＣＮＮコンフィデンスマップを生成させる段階；及び（ｄ）前記テスティング装置が、コンフィデンスレイヤをもって、前記テスト用ＲＰＮコンフィデンスマップ及び前記テスト用ＣＮＮコンフィデンスマップを参照して、テスト用統合コンフィデンススコアを含むテスト用統合コンフィデンスマップを生成させる段階；を含むことを特徴とするテスティング方法が提供される。

【0024】

一実施例において、前記テスティング装置が、前記コンフィデンスレイヤをもって、（ｉ−１）前記テスト用予測物体検出結果が生成されるプロセスの間に生成される、前記テスト用予測ＲＯＩに対するテスト用ＮＭＳ結果を前記ＣＮＮから取得するプロセス、（ｉー２）前記テスト用ＲＰＮコンフィデンスマップに少なくとも一つのリサイズ演算を適用してリサイズ済みテスト用ＲＰＮコンフィデンスマップを生成するプロセス、及び（ｉｉ）前記テスト用ＮＭＳ結果及び前記リサイズ済みテスト用ＲＰＮコンフィデンスマップを参照して、前記テスト用統合コンフィデンスマップを生成するプロセスを遂行させる。

【0025】

一実施例において、前記テスティング装置が、前記コンフィデンスレイヤをもって、前記テスト用統合コンフィデンススコアのうち前記テストイメージ上の座標（ｘ、ｙ）に対応する第（Ｘ＿Ｙ）テスト用統合コンフィデンススコアを下記数式にしたがって生成させ、

【0026】

【数8】

ｃ’_xyは前記第（Ｘ＿Ｙ）テスト用統合コンフィデンススコアを意味し、ｃ_xyは前記リサイズ済みテスト用ＲＰＮコンフィデンスマップ上の座標（ｘ、ｙ）に対応する第（Ｘ＿Ｙ）リサイズ済みテスト用ＲＰＮコンフィデンススコアを意味し、c_riは前記テスト用ＮＭＳ結果で決定された、前記座標（ｘ、ｙ）を含む第ｉテスト用予測ＲＯＩ（前記第ｉテスト用予測ＲＯＩはr_iとして表す）に対する第ｉテスト用ＣＮＮコンフィデンススコアを意味する。

【0027】

一実施例において、（ｅ）前記テスティング装置が、前記第Ｎフレームに対応する時点から予め設定された時間範囲の間、テスト用車両が走行する予定経路を示す経路情報（前記経路情報は、前記テスト用車両と連動する経路プランニングモジュールにより生成された状態である）が取得されると、モード切換えモジュールをもって、（ｉ）前記テスト用統合コンフィデンスマップ及び前記経路情報を参照して、前記テスト用統合コンフィデンススコアのうちで、前記予定経路に対応する前記第Ｎフレームに対する少なくとも一つの第Ｎターゲットコンフィデンススコアを選択し、（ｉｉ）前記第Ｎターゲットコンフィデンススコアが閾値超過であるか否かを判断させる段階；をさらに含む。

【0028】

一実施例において、前記テスティング装置が、前記モード切換えモジュールをもって、（ｉ）前記第Ｎターゲットコンフィデンススコアが前記閾値以下であり、（ｉｉ）第（Ｎ−Ｋ）フレーム（ＫはＮ未満の整数（ｉｎｔｅｇｅｒ）である）ないし第（Ｎ−１）フレームそれぞれに対応する第（Ｎ−Ｋ）ターゲットコンフィデンススコアないし第（Ｎ−１）ターゲットコンフィデンススコアのうち少なくとも一部が前記閾値以下である場合、前記テスト用車両の走行モードを自律走行モードからマニュアル走行モードに変更させる。

【0029】

一実施例において、前記テスティング装置が、前記モード切換えモジュールをもって、（ｉ）前記第Ｎターゲットコンフィデンススコアが前記閾値以下であり、（ｉｉ）第（Ｎ−Ｋ）フレーム（ＫはＮ未満の整数である）ないし第（Ｎ−１）フレームそれぞれに対応する第（Ｎ−Ｋ）ターゲットコンフィデンススコアないし第（Ｎ−１）ターゲットコンフィデンススコアが順次に減少する場合、前記テスト用車両の走行モードを自律走行モードからマニュアル走行モードに変更させる。

【0030】

本発明のまた他の態様によると、物体検出のプロセスの間、前記物体検出の信頼度を表すことができるパラメータを生成する学習装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）トレーニングイメージが取得されると、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれている少なくとも一つのコンボリューションレイヤをもって、前記トレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのコンボリューション特徴マップを生成させるプロセス、（ＩＩ）ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）に含まれている少なくとも一つのアンカーレイヤをもって、前記コンボリューション特徴マップに少なくとも一つのアンカー（ａｎｃｈｏｒ）演算を適用することによって前記トレーニングイメージ上の予測ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するプロセスの間、前記コンボリューション特徴マップ内各ピクセルごとの一つ以上のＲＰＮコンフィデンス（ｃｏｎｆｉｄｅｎｃｅ）スコアそれぞれ（前記ＲＰＮコンフィデンススコアそれぞれは、前記予測ＲＯＩが原本正解（ｇｒｏｕｎｄ−ｔｒｕｔｈ）ＲＯＩと同一である確率それぞれを表す）を生成することによって、前記ＲＰＮコンフィデンススコアを含むＲＰＮコンフィデンスマップを生成させるプロセス、（ＩＩＩ）前記ＣＮＮに含まれているＲＯＩプーリングレイヤを通じて前記コンボリューション特徴マップ及び前記予測ＲＯＩを利用して生成された少なくとも一つのＲＯＩプーリング済み（ＲＯＩ−Ｐｏｏｌｅｄ）特徴マップが取得されると、前記ＣＮＮに含まれているＦＣレイヤをもって、前記ＲＯＩプーリング済み特徴マップを使用して予測物体検出結果を生成するプロセスの間、各前記予測ＲＯＩごとのＣＮＮコンフィデンススコアそれぞれ（前記ＣＮＮコンフィデンススコアそれぞれは、前記予測物体検出結果に含まれている一つ以上の予測ＣＮＮリグレッション結果それぞれ及び一つ以上の予測ＣＮＮ分類結果それぞれが、原本正解物体検出結果に含まれている一つ以上の原本正解ＣＮＮリグレッション結果それぞれ及び一つ以上の原本正解ＣＮＮ分類結果それぞれと同一である確率それぞれを表す）を生成することによって、前記ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップを生成させるプロセス、及び（ＩＶ）ロスレイヤをもって、前記ＲＰＮコンフィデンスマップと、前記ＣＮＮコンフィデンスマップと、前記予測物体検出結果と、前記原本正解物体検出結果とを参照して少なくとも一つのＲＰＮロス及び少なくとも一つのＣＮＮロスを生成させ、前記ＲＰＮロス及び前記ＣＮＮロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することによって前記ＣＮＮ及び前記ＲＰＮのパラメータのうち少なくとも一部を学習するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする学習装置が提供される。

【0031】

一実施例において、前記（ＩＶ）プロセスにおいて、前記プロセッサが、前記ロスレイヤをもって、下記数式にしたがって前記ＲＰＮロスを生成させ、

【0032】

【数9】

Ｎ_regは前記アンカー演算を遂行して生成された前記コンボリューション特徴マップのサイズに対応する定数であり、Ｎ_clsは前記トレーニングイメージに対応する定数であり、c_iは前記ＲＰＮコンフィデンススコアのうち前記コンボリューション特徴マップの第ｉピクセルに対応する第ｉＲＰＮコンフィデンススコアを意味し、p_iは前記第ｉピクセルに対応する第ｉ予測ＲＰＮ分類結果を意味し、

【0033】

【数10】

は前記第ｉ予測ＲＰＮ分類結果に対応する第ｉ原本正解ＲＰＮ分類結果を意味し、ｔ_iは前記第ｉピクセルに対応する第ｉ予測ＲＰＮリグレッション結果を意味し、

【0034】

【数11】

は前記第ｉ予測ＲＰＮリグレッション結果に対応する第ｉ原本正解ＲＰＮリグレッション結果を意味し、前記第ｉ原本正解ＲＰＮ分類結果及び前記第ｉ原本正解ＲＰＮリグレッション結果は、前記原本正解物体検出結果に対応する。

【0035】

一実施例において、前記（ＩＶ）プロセスにおいて、前記プロセッサが、前記ロスレイヤをもって、下記数式にしたがって前記ＣＮＮロスを生成させ、

【0036】

【数12】

Ｎ_reg及びＮ_clsは前記予測ＲＯＩの個数であり、c_iは前記ＣＮＮコンフィデンススコアのうち前記予測ＲＯＩで選択された第ｉ予測ＲＯＩに対応する第ｉＣＮＮコンフィデンススコアを意味し、p_iは前記第ｉ予測ＲＯＩに対応する第ｉ予測ＣＮＮ分類結果を意味し、

【0037】

【数13】

は前記第ｉ予測ＣＮＮ分類結果に対応する第ｉ原本正解ＣＮＮ分類結果を意味し、ｔ_iは前記第ｉ予測ＲＯＩに対応する第ｉ予測ＣＮＮリグレッション結果を意味し、

【0038】

【数14】

は前記第ｉ予測ＣＮＮリグレッション結果に対応する第ｉ原本正解ＣＮＮリグレッション結果を意味し、前記第ｉ予測ＣＮＮ分類結果及び前記第ｉ予測ＣＮＮリグレッション結果は、前記予測物体検出結果に対応する。

【0039】

一実施例において、前記（ＩＩＩ）プロセス以後に、前記プロセッサが、コンフィデンスレイヤをもって、前記ＲＰＮコンフィデンスマップ及び前記ＣＮＮコンフィデンスマップを参照して、前記トレーニングイメージ内各ピクセルごとのそれぞれの統合コンフィデンススコアに関する情報を含む統合コンフィデンスマップを生成させる。

【0040】

一実施例において、前記プロセッサが、前記コンフィデンスレイヤをもって、（ｉ−１）前記予測物体検出結果が生成されるプロセスの間に生成される、前記予測ＲＯＩに対するＮＭＳ（Ｎｏｎ−Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）結果を前記ＣＮＮから取得するプロセス、（ｉー２）前記ＲＰＮコンフィデンスマップに少なくとも一つのリサイズ（ｒｅｓｉｚｉｎｇ）演算を適用してリサイズ済みＲＰＮコンフィデンスマップを生成するプロセス、及び（ｉｉ）前記ＮＭＳ結果及び前記リサイズ済みＲＰＮコンフィデンスマップを参照して前記統合コンフィデンスマップを生成するプロセスを遂行させる。

【0041】

一実施例において、前記プロセッサが、前記コンフィデンスレイヤをもって、前記統合コンフィデンススコアのうち前記トレーニングイメージ上の座標（ｘ、ｙ）に対応する第（Ｘ＿Ｙ）統合コンフィデンススコアを下記数式にしたがって生成させ、

【0042】

【数15】

ｃ’_xyは前記第（Ｘ＿Ｙ）統合コンフィデンススコアを意味し、ｃ_xyは前記リサイズ済みＲＰＮコンフィデンスマップ上の座標（ｘ、ｙ）に対応する第（Ｘ＿Ｙ）リサイズ済みＲＰＮコンフィデンススコアを意味し、ｃ_riは前記ＮＭＳ（Ｎｏｎ−Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）結果で決定された、前記座標（ｘ、ｙ）を含む第ｉ予測ＲＯＩ（前記第ｉ予測ＲＯＩはr_iとして表す）に対する第ｉＣＮＮコンフィデンススコアを意味する。

【0043】

本発明のまた他の態様によると、物体検出のプロセスの間、前記物体検出の信頼度を表すことができるパラメータを生成するテスティング装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）（１）学習装置が、ＣＮＮに含まれている少なくとも一つのコンボリューションレイヤをもって、トレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用コンボリューション特徴マップを生成させ、（２）前記学習装置が、ＲＰＮに含まれている少なくとも一つのアンカーレイヤをもって、前記学習用コンボリューション特徴マップに少なくとも一つのアンカー（ａｎｃｈｏｒ）演算を適用することによって、前記トレーニングイメージ上の学習用予測ＲＯＩを生成するプロセスの間、前記学習用コンボリューション特徴マップ内各ピクセルごとの一つ以上の学習用ＲＰＮコンフィデンススコアそれぞれ（前記学習用ＲＰＮコンフィデンススコアそれぞれは、前記学習用予測ＲＯＩが原本正解ＲＯＩと同一である学習用確率それぞれを表す）を生成することによって、前記学習用ＲＰＮコンフィデンススコアを含む学習用ＲＰＮコンフィデンスマップを生成させ、（３）前記学習装置が、前記ＣＮＮに含まれているＲＯＩプーリングレイヤを通じて前記学習用コンボリューション特徴マップ及び前記学習用予測ＲＯＩを利用して生成された少なくとも一つの学習用ＲＯＩプーリング済み特徴マップが取得されると、前記ＣＮＮに含まれているＦＣレイヤをもって、前記学習用ＲＯＩプーリング済み特徴マップを使用して学習用予測物体検出結果を生成するプロセスの間、各前記学習用予測ＲＯＩごとの学習用ＣＮＮコンフィデンススコアそれぞれ（前記学習用ＣＮＮコンフィデンススコアそれぞれは、前記学習用予測物体検出結果に含まれている一つ以上の学習用予測ＣＮＮリグレッション結果それぞれ及び一つ以上の学習用予測ＣＮＮ分類結果それぞれが、原本正解物体検出結果に含まれている一つ以上の原本正解ＣＮＮリグレッション結果それぞれ及び一つ以上の原本正解ＣＮＮ分類結果それぞれと同一である学習用確率それぞれを表す）を生成することによって、前記学習用ＣＮＮコンフィデンススコアを含む学習用ＣＮＮコンフィデンスマップを生成させ、（４）前記学習装置が、ロスレイヤをもって、前記学習用ＲＰＮコンフィデンスマップと、前記学習用ＣＮＮコンフィデンスマップと、前記学習用予測物体検出結果と、前記原本正解物体検出結果とを参照して少なくとも一つのＲＰＮロス及び少なくとも一つのＣＮＮロスを生成させ、前記ＲＰＮロス及び前記ＣＮＮロスを利用してバックプロパーゲーションを遂行することによって、前記ＣＮＮ及び前記ＲＰＮのパラメータのうち少なくとも一部を学習した状態で、テスト用走行ビデオの第Ｎフレームに対応するテストイメージが取得されると、前記ＣＮＮに含まれている前記コンボリューションレイヤをもって、前記テストイメージに前記コンボリューション演算を適用して少なくとも一つのテスト用コンボリューション特徴マップを生成させるプロセス、（ＩＩ）前記ＲＰＮに含まれている前記アンカーレイヤをもって、前記テスト用コンボリューション特徴マップに前記アンカー演算を適用することによって、前記テストイメージ上のテスト用予測ＲＯＩを生成するプロセスの間、前記テスト用コンボリューション特徴マップ内各ピクセルごとの一つ以上のテスト用ＲＰＮコンフィデンススコアそれぞれ（前記テスト用ＲＰＮコンフィデンススコアそれぞれは、前記テスト用予測ＲＯＩが原本正解ＲＯＩと同一のテスト用確率それぞれを表す）を生成することによって、前記テスト用ＲＰＮコンフィデンスコアを含むテスト用ＲＰＮコンフィデンスマップを生成させるプロセス、（ＩＩＩ）前記ＣＮＮに含まれている前記ＲＯＩプーリングレイヤを通じて前記テスト用コンボリューション特徴マップ及び前記テスト用予測ＲＯＩを利用して生成された少なくとも一つのテスト用ＲＯＩプーリング済み特徴マップが取得されると、前記ＣＮＮに含まれている前記ＦＣレイヤをもって、前記テスト用ＲＯＩプーリング済み特徴マップを使用してテスト用予測物体検出結果を生成するプロセスの間、各前記テスト用予測ＲＯＩごとのテスト用ＣＮＮコンフィデンススコアそれぞれ（前記テスト用ＣＮＮコンフィデンススコアそれぞれは、前記テスト用予測物体検出結果に含まれている一つ以上のテスト用予測ＣＮＮリグレッション結果それぞれ及び一つ以上テスト用予測ＣＮＮ分類結果それぞれが、原本正解物体検出結果に含まれている一つ以上の原本正解ＣＮＮリグレッション結果それぞれ及び一つ以上の原本正解ＣＮＮ分類結果それぞれと同一であるテスト用確率それぞれを表す）を生成することによって、前記テスト用ＣＮＮコンフィデンススコアを含むテスト用ＣＮＮコンフィデンスマップを生成させるプロセス；及び（ＩＶ）コンフィデンスレイヤをもって、前記テスト用ＲＰＮコンフィデンスマップと前記テスト用ＣＮＮコンフィデンスマップとを参照して、テスト用統合コンフィデンススコアを含むテスト用統合コンフィデンスマップを生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とするテスティング装置が提供される。

【0044】

一実施例において、前記プロセッサが、前記コンフィデンスレイヤをもって、（ｉ−１）前記テスト用予測物体検出結果が生成されるプロセスの間に生成される、前記テスト用予測ＲＯＩに対するテスト用ＮＭＳ結果を前記ＣＮＮから取得するプロセス、（ｉー２）前記テスト用ＲＰＮコンフィデンスマップに少なくとも一つのリサイズ演算を適用して、リサイズ済みテスト用ＲＰＮコンフィデンスマップを生成するプロセス、及び（ｉｉ）前記テスト用ＮＭＳ結果及び前記リサイズ済みテスト用ＲＰＮコンフィデンスマップを参照して前記テスト用統合コンフィデンスマップを生成するプロセスを遂行させる。

【0045】

一実施例において、前記プロセッサが、前記コンフィデンスレイヤをもって、前記テスト用統合コンフィデンススコアのうち前記テストイメージ上の座標に対応する第（Ｘ＿Ｙ）テスト用統合コンフィデンススコアを下記数式にしたがって生成させ、

【0046】

【数16】

ｃ’_xyは前記第（Ｘ＿Ｙ）テスト用統合コンフィデンススコアを意味し、ｃ_xyは前記リサイズ済みＲＰＮコンフィデンスマップ上の座標（ｘ、ｙ）に対応する第（Ｘ＿Ｙ）リサイズ済みテスト用ＲＰＮコンフィデンススコアを意味し、ｃ_riは前記テスト用ＮＭＳ結果で決定された、前記座標（ｘ、ｙ）を含む第ｉテスト用予測ＲＯＩ（前記第ｉテスト用予測ＲＯＩはr_iとして表す）に対する第ｉテスト用ＣＮＮコンフィデンススコアを意味する。

【0047】

一実施例において、前記プロセッサが、（Ｖ）前記第Ｎフレームに対応する時点から予め設定された時間範囲の間にテスト用車両が走行する予定経路を示す経路情報（前記経路情報は、前記テスト用車両と連動する経路プランニングモジュールにより生成された状態である）が取得されると、モード切換えモジュールをもって、（ｉ）前記テスト用統合コンフィデンスマップ及び前記経路情報を参照して、前記テスト用統合コンフィデンススコアのうちで、前記予定経路に対応する前記第Ｎフレームに対する少なくとも一つの第Ｎターゲットコンフィデンススコアを選択し、（ｉｉ）前記第Ｎターゲットコンフィデンススコアが閾値超過であるか否かを判断させるプロセスをさらに遂行する。

【0048】

一実施例において、前記プロセッサが、前記モード切換えモジュールをもって、（ｉ）前記第Ｎターゲットコンフィデンススコアが前記閾値以下であり、（ｉｉ）第（Ｎ−Ｋ）フレーム（ＫはＮ未満の整数である）ないし第（Ｎ−１）フレームそれぞれに対応する第（Ｎ−Ｋ）ターゲットコンフィデンススコアないし第（Ｎ−１）ターゲットコンフィデンススコアのうち少なくとも一部が前記閾値以下である場合、前記テスト用車両の走行モードを自律走行モードからマニュアル走行モードに変更させる。

【0049】

一実施例において、前記プロセッサが、前記モード切換えモジュールをもって、（ｉ）前記第Ｎターゲットコンフィデンススコアが前記閾値以下であり、（ｉｉ）第（Ｎ−Ｋ）フレーム（ＫはＮ未満の整数である）ないし第（Ｎ−１）フレームそれぞれに対応する第（Ｎ−Ｋ）ターゲットコンフィデンススコアないし第（Ｎ−１）ターゲットコンフィデンススコアが順次に減少する場合、前記テスト用車両の走行モードを自律走行モードからマニュアル走行モードに変更させる。

【発明の効果】

【0050】

本発明は、オンデバイス（Ｏｎ−ｄｅｖｉｃｅ）独立型予測に基づいて、自律走行車両のモードを切り換えることによって自律走行の安全性を図る学習方法を提供することができる効果がある。

【0051】

また、本発明は、物体検出のプロセスの間、前記物体検出の信頼度を表すことができるパラメータを生成する方法を提供することができる効果がある。

【0052】

また、本発明は、前記物体検出を適切に遂行する間、前記パラメータを生成するために物体検出に使用されるネットワークを学習させるのに利用されるロスを提供することができる効果がある。

【図面の簡単な説明】

【0053】

本発明の前記及び他の目的並びに特徴は、以下の添付図面とともに与えられた好ましい実施例の説明において明らかになるであろう。

【0054】

本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。

【図1】図１は、本発明の一実施例によるオンデバイス（Ｏｎ−ｄｅｖｉｃｅ）独立型予測に基づいて、自律走行車両のモードを切り換えることによって自律走行の安全性を図る学習方法を遂行する学習装置の構成を簡略に示した図面である。

【図2】図２は、本発明の一実施例による前記オンデバイス独立型予測に基づいて、前記自律走行車両の前記モードを切り換えることによって前記自律走行の前記安全性を図る学習方法を簡略に示したフローチャートである。

【図3】図３は、本発明の一実施例による前記オンデバイス独立型予測に基づいて、前記自律走行車両の前記モードを切り換えることによって前記自律走行の前記安全性を図るテスティング方法のチャートを簡略に示した図面である。

【図4】図４は、本発明の一実施例による前記オンデバイス独立型予測に基づいて、前記自律走行車両の前記モードを切り換えることによって前記自律走行の前記安全性を図る前記テスティング方法を遂行するために使用されるモード切換えモジュールの作動方式を簡略に示した図面である。

【図5】図５は、本発明の一実施例にしたがって、強化学習及びＶ２Ｘ通信を使用するアテンションドリブンリソース割り当てアルゴリズムを利用して、安全な自律走行を提供する方法を遂行するのに使用される、ＣＮＮと、ＲＰＮと、ロスレイヤと、コンフィデンスレイヤとを含む学習装置の構成を示したフローチャートである。

【発明を実施するための形態】

【0055】

後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。

【0056】

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。

【0057】

さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素である位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。

【0058】

本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。

【0059】

以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。

【0060】

図１は、本発明の一実施例によるオンデバイス（Ｏｎ−ｄｅｖｉｃｅ）独立型予測に基づいて自律走行車両のモードを切り換えることによって、自律走行の安全性を図る学習方法を遂行する学習装置１００の構成を示した図面である。

【0061】

図１を参照すると、前記学習装置１００は、追って詳細に説明する構成要素であるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）１３０と、ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）１４０と、ロスレイヤ１５０と、コンフィデンス（ｃｏｎｆｉｄｅｎｃｅ）レイヤ１６０とを含むことができる。前記ＣＮＮ１３０、前記ＲＰＮ１４０、前記ロスレイヤ１５０及び前記コンフィデンスレイヤ１６０の入出力及び演算プロセスは、少なくとも一つの通信部１１０及び少なくとも一つのプロセッサ１２０により行われ得る。ただし、図１では、前記通信部１１０及び前記プロセッサ１２０の具体的な連結関係を省略した。この場合、メモリ１１５は後述する様々なインストラクションを格納した状態であり得、前記プロセッサ１２０は、前記メモリ１１５に格納された前記各インストラクションを遂行するように設定され、前記プロセッサ１２０は、追って説明する各インストラクションを遂行して本発明の各プロセスを遂行することができる。このように前記学習装置１００が描写されたからといって、前記学習装置１００が本発明を実施するためのミディアム、プロセッサ、メモリまたはその他のコンピューティングの構成要素が統合された形態である統合プロセッサを含む場合を排除するわけではない。

【0062】

以上、本発明の一実施例にしたがって、前記オンデバイス独立型予測に基づいて、前記自律走行車両の前記モードを切り換えることによって前記自律走行の前記安全性を図る前記学習方法を遂行する前記学習装置１００の構成について説明したところ、以下、このような学習方法について図２を参照して説明することにする。

【0063】

図２は、本発明の一実施例にしたがって、前記オンデバイス独立型予測に基づいて、前記自律走行車両の前記モードを切り換えることによって前記自律走行の前記安全性を図る前記学習方法のチャートを簡略に示した図面である。

【0064】

図２を参照すると、物体検出のプロセスの間、前記物体検出の信頼度を表すパラメータであるコンフィデンススコアそれぞれを生成する学習方法を簡略に確認することができる。

【0065】

参考までに、以下の説明で混乱を避けるために、前記学習プロセスに関する用語に「学習用」または「トレーニング」という単語が追加されており、テスティングプロセスに関する用語に「テスト用」または「テスティング」という単語が追加されている。

【0066】

まず、トレーニングイメージが取得されると、前記学習装置１００は、前記ＣＮＮ１３０に含まれている少なくとも一つのコンボリューションレイヤをもって、前記トレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのコンボリューション特徴マップを生成させることができる（Ｓ０１）。この場合、前記学習用イメージの幾何学的サイズがＨ×Ｗであり、前記トレーニングイメージのフォーマットがＲＧＢであるので、チャンネルサイズが３になる場合、前記トレーニングイメージのデータサイズはＨ×Ｗ×３であるはずである。前記コンボリューション演算は、出力された特徴マップの幾何学的サイズを、入力されたイメージの幾何学的サイズよりさらに小さくし、出力された特徴マップのチャンネルサイズを入力されたイメージのチャンネルサイズよりさらに大きくするために、前記コンボリューション特徴マップのサイズがｈ×ｗ×ｃである場合、前記コンボリューション特徴マップの幾何学的サイズを表すｈとｗは、それぞれＨとＷよりさらに小さく、前記コンボリューション特徴マップのチャンネルサイズを表すｃは３より大きい。

【0067】

以後、前記学習装置１００は、前記ＲＰＮ１４０に含まれているアンカー（ａｎｃｈｏｒ）レイヤをもって、前記コンボリューション特徴マップに含まれている値にアンカー演算を適用することによって、前記トレーニングイメージ内の物体を含むものと予測される領域である予測ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成させることができる（Ｓ０２）。具体的に、前記ＲＰＮ１４０は、データサイズがｈ×ｗ×ｃである前記コンボリューション特徴マップに前記アンカー演算を加えることによって、前記トレーニングイメージ上の前記予測ＲＯＩを生成するために利用される、データサイズがｈ×ｗ×（５Ａ＋１）であるアンカー特徴マップを生成することができる。従来技術によると、前記のアンカー特徴マップのデータサイズは、ｈ×ｗ×５Ａでなければならないが 本発明による前記アンカー特徴マップは、追って説明するＲＰＮコンフィデンススコアを含むためのチャンネルをさらに一つ含むことができる。これについての具体的な説明は、以下で説明される。

【0068】

前記学習装置１００は、前記ＲＰＮ１４０の前記のアンカーレイヤをもって、アンカーの各セットにそれぞれ対応するスライディングウィンドウ（ｓｌｉｄｉｎｇ−ｗｉｎｄｏｗ）を利用する前記のアンカー演算を前記コンボリューション特徴マップに適用することによってデータサイズがｈ×ｗ×５Ａである前記アンカー特徴マップを生成させることができる。この際、前記アンカーは、前記物体に対応する前記コンボリューション特徴マップの値を選択するためのグリッド（ｇｒｉｄ）の一種類であり得、前記アンカー特徴マップのデータサイズを表すために利用される前記言及されたＡは、前記ＲＰＮ１４０により利用される前記アンカーの個数を表す。このようなプロセスを遂行して、前記コンボリューション特徴マップに含まれているそれぞれの値が前記物体に対応するか否かが決定され、このような プロセスの結果、例えば、前記予測ＲＯＩに関する情報は前記アンカー特徴マップに格納され得る。前記アンカー演算は、広く知られている従来技術であるため、さらに具体的な説明は省略することにする。

【0069】

前記アンカー特徴マップを生成するプロセスの間、前記学習装置１００が 前記ＲＰＮ１４０をもって、前記コンボリューション特徴マップ内の各ピクセル ごとの前記ＲＰＮコンフィデンススコアそれぞれを生成させることができ、ここで 前記ＲＰＮコンフィデンススコアそれぞれは、前記予測ＲＯＩが原本正解（ｇｒｏｕｎｄ−ｔｒｕｔｈ）ＲＯＩと同一である一つ以上の確率それぞれを表す。つまり、前記ＲＰＮコンフィデンススコアは、前記ＲＰＮ１４０により遂行される前記プロセスの結果、例えば、前記予測ＲＯＩに関する情報の信頼度を表すパラメータである。

【0070】

以上において、説明の便宜上、前記予測ＲＯＩを決定するプロセスと前記ＲＰＮコンフィデンススコアを生成するプロセスとを別々に述べたが、前記二つのプロセスは同時に遂行することができる。つまり、前記コンボリューション特徴マップが 前記ＲＰＮ１４０に入力されると、前記ＲＰＮ１４０内の各ＲＰＮニューロンはそれぞれ演算を遂行し、演算された値をそれぞれの次のＲＰＮニューロンに伝達することによって、前記ＲＰＮ１４０の最後のレイヤから前記アンカー特徴マップが出力され得る。よって、前記二つのプロセスは、互いに影響を与えながら遂行され得る。しかし、このような二つのプロセスは、同時に遂行されないこともある。例えば、前記予測ＲＯＩを決定するプロセスが先に遂行され得る。

【0071】

前記アンカー特徴マップが生成された後、前記学習装置１００は、前記アンカー特徴マップの５Ａ個チャンネルの値を前記ＣＮＮ１３０に伝達することができ、残りの１つのチャンネルの値を、追って説明する前記コンフィデンスレイヤ１６０に伝達することができる。まず、前記ＣＮＮ１３０に伝達された前記５Ａ個チャンネルの値について、以下にて説明することにする。

【0072】

前記５Ａ個チャンネルの値が伝達された後、前記学習装置１００が、前記ＣＮＮ１３０に含まれているＲＯＩプーリングレイヤをもって、前記予測ＲＯＩに関する情報を参照して、前記コンボリューション特徴マップに少なくとも一つのＲＯＩプーリング済み演算を適用してＲＯＩプーリング済み（ＲＯＩ−Ｐｏｏｌｅｄ）特徴マップを生成させ、前記ＣＮＮ１３０に含まれているＦＣレイヤをもって、前記ＲＯＩプーリング済み特徴マップに少なくとも一つのＦＣ演算を適用して初期物体検出結果及びＣＮＮコンフィデンススコアを生成させることができる（Ｓ０３）。

【0073】

この場合、前記初期物体検出結果は、それぞれの前記物体を含むそれぞれのバウンディングボックスそれぞれの予測座標に対する一つ以上の予測ＣＮＮリグレッション（ｒｅｇｒｅｓｓｉｏｎ）結果それぞれ、及びそれぞれの前記物体が各クラスに含まれる確率それぞれを表す、それぞれの前記物体のそれぞれのクラススコアに対する一つ以上の予測ＣＮＮ分類結果それぞれを含むことができる。前記初期物体検出結果を生成するこのようなプロセスは、広く知られている従来技術である。

【0074】

そして、前記ＣＮＮコンフィデンススコアは、追って説明する、原本正解物体検出結果と予測物体検出結果とが同一である程度に関する情報を含むことができる。この場合、前記予測物体検出結果は、前記初期物体検出結果にＮＭＳ（Ｎｏｎ−Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）演算を適用して生成されたものであり得る。具体的に、前記ＣＮＮコンフィデンススコアそれぞれは、前記予測物体検出結果に含まれている前記予測ＣＮＮ分類結果それぞれ及び前記予測ＣＮＮリグレッション結果それぞれが、前記原本正解物体検出結果に含まれている一つ以上の原本正解ＣＮＮ分類結果それぞれ及び一つ以上の原本正解ＣＮＮリグレッション結果それぞれと同一である確率それぞれを表すことができる。つまり、前記ＣＮＮコンフィデンススコアは、前記ＣＮＮ１３０の前記ＦＣレイヤにより生成された結果に対する信頼度を表すことができる。

【0075】

前記ＣＮＮコンフィデンススコアと前記ＲＰＮコンフィデンススコアとをいずれも使用する理由は、前記予測物体検出結果を生成するために、前記ＲＰＮ１４０により初期決定された予測ＲＯＩが、前記ＣＮＮ１３０により追って処理されるためである。前記二つのネットワークは、前記予測物体検出結果を生成するプロセスに関与し得るため、別途に評価されるべきである。

【0076】

例えば、特定の予測ＲＯＩが、前記ＲＰＮ１４０により不適切に決定された場合にも、前記ＣＮＮ１３０の前記ＦＣロスレイヤが、前記不適切に決定された特定の予測ＲＯＩをフィルタリングすることができる。あるいは、前記特定の予測ＲＯＩが前記ＲＰＮ１４０により適切に決定された場合にも、前記ＣＮＮ１３０の前記ＦＣロスレイヤは、前記特定の予測ＲＯＩが何らかの物体を含まないものと不適切に決定し得る。このような場合において見られるように、前記ＲＰＮ１４０及び前記ＣＮＮ１３０が不適切に、あるいは適切に遂行し得るので、前記物体検出プロセスを評価する間、上記のような場合が考慮されなければならない。

【0077】

前記ＲＰＮ１４０とほぼ同様に、説明の便宜上、（ｉ）前記初期物体検出結果及びこれに対応する予測物体検出結果を生成するプロセス、並びに（ｉｉ）前記ＣＮＮコンフィデンスマップを生成するプロセスが別々に説明されたが、このような二つのプロセスは互いに独立しておらず、前記ＦＣレイヤにより同時に遂行され得る。しかしながら、これらの二つのプロセスは、独立しても遂行され得る。

【0078】

このようなＣＮＮコンフィデンススコアが前記予測ＲＯＩに対して生成された後、前記ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップが生成され得る。

【0079】

以後、前記学習装置１００は 前記ＣＮＮ１３０をもって、前記初期物体検出結果に前記ＮＭＳ演算を適用することによって、重なった予測ＲＯＩに対応するバウンディングボックスを統合させて前記予測物体検出結果を生成することができる。前記重なった予測ＲＯＩが統合される場合、他の予測ＲＯＩに重ならない特定の予測ＲＯＩに対応する特定のＣＮＮコンフィデンススコアが選択され得る。この場合、前記ＮＭＳのこのような使用は、広く知られている従来技術であるので、これ以上の説明は省略することにする。

【0080】

一方、前記学習装置１００は、前記コンフィデンスレイヤ１６０をもって、前記ＲＰＮコンフィデンスマップを利用して、前記ＲＰＮコンフィデンスマップに対応する前記アンカー特徴マップの前記１つのチャンネルの値を取得させ、前記トレーニングイメージと同一に幾何学的サイズがＨ×Ｗであるリサイズ（ｒｅｓｉｚｉｎｇ）されたＲＰＮコンフィデンスマップを生成させることができる。前記リサイズ済みＲＰＮコンフィデンスマップを生成するために、ニアレストネイバ―サイズ（Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ Ｓｉｚｅ）、バイリニアリサイズ（Ｂｉｌｉｎｅａｒ Ｒｅｓｉｚｅ）、バイキュービックリサイズ（Ｂｉｃｕｂｉｃ Ｒｅｓｉｚｅ）あるいはランチョスリサイズ（Ｌａｎｃｚｏｓ Ｒｅｓｉｚｅ）などのリサイズ演算を前記ＲＰＮコンフィデンスマップに適用して、それぞれの前記ＲＰＮコンフィデンススコアが前記トレーニングイメージ内の各ピクセルに対応するようにできる。

【0081】

前記予測物体検出結果及び前記リサイズ済みＲＰＮコンフィデンスマップが取得されると、前記学習装置１００は、前記コンフィデンスレイヤ１６０をもって、これらを参照して統合コンフィデンスマップを生成させることができる。この場合、前記統合コンフィデンスマップに含まれている統合コンフィデンススコアは、下記の数式を利用して算出され得る。

【0082】

【数17】

ここで、ｃ’_xyは前記第（Ｘ＿Ｙ）統合コンフィデンススコアを意味し、ｃ_xyは前記リサイズ済みＲＰＮコンフィデンスマップ上の座標（ｘ、ｙ）に対応する第（Ｘ＿Ｙ）リサイズ済みＲＰＮコンフィデンススコアを意味する。また、c_riは前記ＮＭＳ結果内で決定された、前記座標（ｘ、ｙ）を含む第ｉ予測ＲＯＩ（前記第ｉ予測ＲＯＩはr_iとして表す）に対する第ｉ予測ＣＮＮコンフィデンススコアを意味する。前記学習装置１００は 前記コンフィデンスレイヤ１６０をもって、上述したように生成された前記統合コンフィデンススコアを利用して前記統合コンフィデンスマップを生成させることができる。

【0083】

適切に前記統合コンフィデンスマップを生成するためには、前記ＣＮＮ１３０及び前記ＲＰＮ１４０が学習される必要がある。具体的な学習過程について、以下で説明する。

【0084】

すなわち、前記学習装置１００が、前記ロスレイヤ１５０をもって、前記ＲＰＮコンフィデンスマップと、前記ＣＮＮコンフィデンスマップと、前記予測物体検出結果と、前記原本正解物体検出結果とを参照して少なくとも一つのＲＰＮロス及び少なくとも一つのＣＮＮロスを生成させ、前記ＲＰＮロス及び前記ＣＮＮロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することによって前記ＣＮＮ１３０及び前記ＲＰＮ１４０のパラメータのうち少なくとも一部を学習することができる（Ｓ０４）。前記ＲＰＮロス及び前記ＣＮＮロスを生成する方法について、以下に詳細に説明することにする。

【0085】

まず、前記ＲＰＮロスは、下記数式により生成され得る。

【0086】

【数18】

ここで、Ｎ_regは、前記アンカー演算を遂行して生成された前記コンボリューション特徴マップのサイズに対応する定数（ｃｏｎｓｔａｎｔ）であり、Ｎ_clsは前記トレーニングイメージに対応する定数である。また、c_iは前記ＲＰＮコンフィデンススコアのうち前記コンボリューション特徴マップの第ｉピクセルに対応する第ｉＲＰＮコンフィデンススコアを意味し、p_iは前記第ｉピクセルに対応する第ｉ予測ＲＰＮ分類結果を意味し、

【0087】

【数19】

は前記第ｉ予測ＲＰＮ分類結果に対応する第ｉ原本正解ＲＰＮ分類結果を意味する。そして、ｔ_iは前記第ｉピクセルに対応する第ｉ予測ＲＰＮリグレッション結果を意味し、

【0088】

【数20】

は前記第ｉ予測ＲＰＮリグレッション結果に対応する第ｉ原本正解ＲＰＮリグレッション結果を意味する。前記第ｉ原本正解ＲＰＮ分類結果及び前記第ｉ原本正解ＲＰＮリグレッション結果は、前記原本正解物体検出結果に対応する。また、Ｌ_cls及びＬ_regは、ｓｍｏｏｔｈ−Ｌ１ロスのようなロスを生成するための何らかの従来技術を利用して遂行され得る。

【0089】

前記数式で、前記数式の最初の項は分類ロスを意味し、二番目の項はリグレッションロスを意味する。前記リグレッションロス項、つまり前記二番目の項は、広く知られた従来技術であるので、さらに具体的な説明は省略することにする。以下、前記分類ロス項、すなわち、前記最初の項について説明することにする。

【0090】

前記分類ロス項は、上記で見られるように、括弧内に３つのサブ項を含む。最初のサブ項で、条件

【0091】

【数21】

は、前記アンカー特徴マップの前記第ｉピクセルに対応する、前記ＲＰＮ１４０により決定された前記第ｉ予測ＲＰＮ分類結果が前記第ｉ原本正解ＲＰＮ分類結果と同一である場合を示す。つまり、前記ＲＰＮ１４０が、前記コンボリューション特徴マップの前記第ｉピクセルに対して正確に分析した場合を表す。この際、前記ＲＰＮ１４０が、閾値確率（ここでは便宜上０．５）以上の確率で前記第ｉ予測ＲＰＮ分類結果が前記第ｉ原本正解ＲＰＮ分類結果と同一であるものと判断する場合、前記ＲＰＮ１４０が、前記第ｉピクセルを正確に分析した場合として想定した。前記最初のサブ項で（１．１−C_i）は、前記ＲＰＮ１４０のパラメータは前記ＲＰＮロスがさらに小さくなるように調整されるため、前記ＲＰＮ１４０が前記第ｉピクセルを正確に分析した場合、前記第ｉＲＰＮコンフィデンススコアがさらに大きくなるようにする。具体的に、このように生成された前記最初のサブ項を含む前記分類ロス項が、前記ＲＰＮ１４０の前記パラメータが調整されるようにするグラディエント（ｇｒａｄｉｅｎｔ）を生成するために参照されて、フューチャー（ｆｕｔｕｒｅ）ＲＰＮロスがさらに小さくなるようにできる。よって、前記最初のサブ項を含む前記分類ロス項を利用することによって、前記ＲＰＮ１４０が前記コンボリューション特徴マップの値を正確に分析する場合に、前記ＲＰＮ１４０がＲＰＮコンフィデンススコアをさらに大きく生成することができる。

【0092】

前記分類ロス項の二番目のサブ項で、条件

【0093】

【数22】

は、前記ＲＰＮ１４０が前記第ｉピクセルを不正確に分析した場合を表す。前記二番目のサブ項で、（０．１＋c_i）は、前記ＲＰＮ１４０が前記第ｉピクセルを不正確に分析した場合、前記第ｉＲＰＮコンフィデンススコアがさらに小さくなるようにする。このような学習プロセスのメカニズムは、前記最初のサブ項のメカニズムと同一である。

【0094】

第三のサブ項で、c_ilogc_iは、前記ＲＰＮコンフィデンススコアの分布が階段関数（ｓｔｅｐ ｆｕｎｃｔｉｏｎ）の分布に近づかないようにする。前記分類ロス項が前記最初のサブ項及び前記二番目のサブ項のみを含むとすると、前記ＲＰＮコンフィデンススコアはオーバーフィッテイング（ｏｖｅｒｆｉｔｔｉｎｇ）されて０または１に近い極端な値のみを含むであろう。ここで、c_iが０．５である場合、c_ilogc_iが最も小さい。よって、本発明による前記ＲＰＮコンフィデンススコアの分布は、０と１との間の様々な値を含んでさらに多様であるはずである。このように多様な値を含むＲＰＮコンフィデンススコアを使用することによって様々な状況に対応することができるため、このような項が必要である。

【0095】

以上、本発明による前記ＲＰＮロスについて考察してみたところ、以下、前記ＣＮＮロスについて考察することにする。

【0096】

【数23】

ここで、Ｎ_reg及びＮ_clsは前記予測ＲＯＩの個数であり、c_iは前記ＣＮＮコンフィデンススコアのうち前記予測ＲＯＩで選択された第ｉ予測ＲＯＩに対応する第ｉＣＮＮコンフィデンススコアを意味する。また、p_iは前記第ｉ予測ＲＯＩに対応する第ｉ予測ＣＮＮ分類結果を意味し、

【0097】

【数24】

は前記第ｉ予測ＣＮＮ分類結果に対応する第ｉ原本正解ＣＮＮ分類結果を意味する。そして、t_iは前記第ｉ予測ＲＯＩに対応する第ｉ予測ＣＮＮリグレッション結果を意味し、

【0098】

【数25】

は前記第ｉ予測ＣＮＮリグレッション結果に対応する第ｉ原本正解ＣＮＮリグレッション結果を意味する。前記第ｉ予測ＣＮＮ分類結果及び前記第ｉ予測ＣＮＮリグレッション結果は、前記予測物体検出結果に対応する。本数式の表記は、前記ＲＰＮロスを示したものと同一であるが、上記のようにその意味は異なり得る。

【0099】

前記数式で見られるように、前記ＣＮＮロスは、シグマ関数の条件を除いて前記ＲＰＮロスと類似している。この際、p_iに対する前記条件は、前記ＲＰＮロスのように

【0100】

【数26】

（クラススコアのうち最も大きなスコア）である。このような条件は、p_iが前記第ｉ予測ＲＯＩ内の特定の物体を含むものと予測される確率が最も大きい特定クラスに対する前記第ｉ予測ＣＮＮ分類結果に関するものであることを示す。前記ＲＰＮロスと同様に、前記ＣＮＮロスの分類ロス項の最初のサブ項は、前記ＣＮＮ１３０が前記第ｉ予測ＲＯＩを正確に分析した場合を意味し、二番目のサブ項は、前記ＣＮＮ１３０が前記第ｉ予測ＲＯＩを不正確に分析した他の場合を示す。前記ＣＮＮロスと前記ＲＰＮロスとは相互に類似しているので、以後の説明は省略することにする。

【0101】

このように前記ＣＮＮロス及び前記ＲＰＮロスが生成された後、前記学習装置１００が前記ロスレイヤ１５０をもって、前記ＣＮＮロス及び前記ＲＰＮロスを利用してバックプロパゲーションを遂行することによってそれぞれ前記ＣＮＮ及び前記ＲＰＮのパラメータのうち少なくとも一部を学習することができる。その後、前記ＣＮＮ１３０及び前記ＲＰＮ１４０が、入力されるイメージ内に含まれている物体を検出するプロセスを遂行する間、前記ＣＮＮ１３０及び前記ＲＰＮ１４０は、前記入力されるイメージに対応する、ＣＮＮコンフィデンススコア及びＲＰＮコンフィデンススコアをより正確に生成することができる。

【0102】

以上、本発明の前記学習プロセスについては説明したところ、以下、本発明のテスティングプロセスについて説明する。一例として、前記テスティングプロセスを遂行するテスティング装置は、自律走行車両に搭載され得る。

【0103】

図３は、本発明の一実施例による前記オンデバイス独立型予測に基づいて、前記自律走行車両の前記モードを切り換えることによって前記自律走行の前記安全性を図るテスティング方法のチャートを簡略に示した図面である。

【0104】

図３を参照すると、本発明のテスティング方法について簡略に考察することができる。具体的に、テスト用車両の外部センサあるいは外部カメラから取得されたテスト用走行映像の第Ｎフレームに対応するテストイメージが取得されると、テスティング装置が、学習が完了した前記ＣＮＮ１３０及び前記ＲＰＮ１４０をもって、テスト用予測物体検出結果及びテスト用統合コンフィデンスマップを生成させることができる（Ｓ１１）。そして、モード切換えモジュール１８０によるプロセスが遂行される（Ｓ１２、Ｓ１３）。これについて、以下に詳細に説明する。

【0105】

具体的には、（１）前記学習装置１００が、トレーニングイメージが取得されると、前記ＣＮＮ１３０に含まれている前記コンボリューションレイヤをもって、前記トレーニングイメージに前記コンボリューション演算を適用して少なくとも一つの学習用コンボリューション特徴マップを生成させ、（２）前記学習装置１００が、前記ＲＰＮ１４０に含まれている前記アンカーレイヤをもって、前記学習用コンボリューション特徴マップに前記アンカー演算を適用することによって、前記トレーニングイメージ上の学習用予測ＲＯＩを生成するプロセスの間、前記学習用コンボリューション特徴マップ内の各ピクセルごとの学習用ＲＰＮコンフィデンススコアそれぞれ（前記学習用ＲＰＮコンフィデンススコアそれぞれは、前記学習用予測ＲＯＩが原本正解ＲＯＩと同一である学習用確率それぞれを表す）を生成することによって、前記学習用ＲＰＮコンフィデンススコアを含む学習用ＲＰＮコンフィデンスマップを生成させ、（３）前記学習装置１００が、前記ＣＮＮ１３０に含まれている前記ＲＯＩプーリングレイヤを通じて前記学習用コンボリューション特徴マップ及び前記学習用予測ＲＯＩを利用して生成された少なくとも一つの学習用ＲＯＩプーリング済み特徴マップが取得されると、前記ＣＮＮ１３０に含まれている前記ＦＣレイヤをもって、前記学習用ＲＯＩプーリング済み特徴マップを使用して学習用予測物体検出結果を生成するプロセスの間、各前記学習用予測ＲＯＩごとの学習用ＣＮＮコンフィデンススコアそれぞれ（前記学習用ＣＮＮコンフィデンススコアそれぞれは、前記学習用予測物体検出結果に含まれている一つ以上の学習用予測ＣＮＮリグレッション結果それぞれ及び一つ以上の学習用予測ＣＮＮ分類結果それぞれが、原本正解物体検出結果に含まれている一つ以上の各原本正解ＣＮＮリグレッション結果それぞれ及び一つ以上の原本正解ＣＮＮ分類結果それぞれと同一である一つ以上の学習用確率それぞれを表す）を生成することによって、前記学習用ＣＮＮコンフィデンススコアを含む学習用ＣＮＮコンフィデンスマップを生成させ、（４）前記学習装置１００が、前記ロスレイヤ１５０をもって、前記学習用ＲＰＮコンフィデンスマップと、前記学習用ＣＮＮコンフィデンスマップと、前記学習用予測物体検出結果と、前記原本正解物体検出結果とを参照して少なくとも一つのＲＰＮロス及び少なくとも一つのＣＮＮロスを生成させ、前記ＲＰＮロス及び前記ＣＮＮロスを利用してバックプロパゲーションを遂行することによって前記ＣＮＮ１３０及び前記ＲＰＮ１４０のパラメータのうち少なくとも一部を学習した状態で、前記テスティング装置が、前記テスト用走行映像の前記第Ｎフレームに対応する前記テストイメージが取得されると、前記ＣＮＮ１３０に含まれている前記コンボリューションレイヤをもって、前記テストイメージに前記コンボリューション演算を適用して少なくとも一つのテスト用コンボリューション特徴マップを生成させることができる。

【0106】

以後、前記テスティング装置が、前記ＲＰＮ１４０に含まれている前記アンカーレイヤをもって、前記テスト用コンボリューション特徴マップに前記アンカー演算を適用することによって、前記テストイメージ上のテスト用予測ＲＯＩを生成するプロセスの間、前記テスト用コンボリューション特徴マップ内各ピクセルごとの一つ以上のテスト用ＲＰＮコンフィデンススコアそれぞれ（前記テスト用ＲＰＮコンフィデンススコアそれぞれは、前記テスト用予測ＲＯＩが原本正解ＲＯＩと同一である一つ以上のテスト用確率それぞれを表す）を生成することによって、前記テスト用ＲＰＮコンフィデンススコアを含むテスト用ＲＰＮコンフィデンスマップを生成させることができる。つまり、前記学習方法とほぼ同様に、前記テスト用ＲＰＮコンフィデンススコアは、前記ＲＰＮ１４０により生成された各ピクセルごとの判断結果の正確度を表すことができる。

【0107】

その後、前記テスティング装置が、前記ＣＮＮ１３０に含まれている前記ＲＯＩプーリングレイヤを通じて前記テスト用コンボリューション特徴マップ及び前記テスト用予測ＲＯＩを利用して生成された少なくとも一つのテスト用ＲＯＩプーリング済み特徴マップが取得されると、前記ＣＮＮ１３０に含まれている前記ＦＣレイヤをもって、前記テスト用ＲＯＩプーリング済み特徴マップを使用してテスト用予測物体検出結果を生成するプロセスの間、各前記テスト用予測ＲＯＩごとのテスト用ＣＮＮコンフィデンススコアそれぞれ（前記テスト用ＣＮＮコンフィデンススコアそれぞれは、前記テスト用予測物体検出結果に含まれている一つ以上のテスト用予測ＣＮＮリグレッション結果それぞれ及び一つ以上のテスト用予測ＣＮＮ分類結果それぞれが、原本正解物体検出結果に含まれている一つ以上の原本正解ＣＮＮリグレッション結果それぞれ及び一つ以上の原本正解ＣＮＮ分類結果それぞれと同一である一つ以上のテスト用確率それぞれを表す）を生成することによって、前記テスト用ＣＮＮコンフィデンススコアを含むテスト用ＣＮＮコンフィデンスマップを生成させることができる。

【0108】

最後に、前記テスティング装置が、前記コンフィデンスレイヤ１６０をもって、前記テスト用ＲＰＮコンフィデンスマップ及び前記テスト用ＣＮＮコンフィデンスマップを参照して、テスト用統合コンフィデンススコアを含むテスト用統合コンフィデンスマップを生成させることができる。

【0109】

前記テスト用統合コンフィデンスマップが生成された後、前記テスティング装置が、図４を参照して説明される経路プランニングモジュール１７０をもって、前記テストイメージを参照して、テスティング空間に対応する空間内で、前記第Ｎフレームに対応する時点から予め設定された時間範囲の間、前記テスト用車両が走行する予定経路に関する経路情報を生成させることができる。一例として、前記経路プランニングモジュール１７０は、前記予測物体検出結果をさらに参照して前記経路情報を生成することができる。その後、前記テスティング装置が、図４を参照して説明される前記モード切換えモジュール１８０をもって、前記テスト用統合コンフィデンスマップ及び前記経路情報を参照して、前記テスト用統合コンフィデンススコアのうち、前記予定経路に対応する前記第Ｎフレームに対する少なくとも一つの第Ｎターゲットコンフィデンススコアを選択させることができる。図４を参照して、前記第Ｎターゲットコンフィデンススコアがどのように選択され得るのかにつき、以下で説明する。

【0110】

図４は、本発明の一実施例による前記オンデバイス独立型予測に基づいて、前記自律走行車両の前記モードを切り換えることによって前記自律走行の前記安全性を図る前記テスティング方法を遂行するために使用されるモード切換えモジュールの作動方式を簡略に示した図面である。

【0111】

図４を参照すると、前記経路情報は、前記予定経路が右側への移動に対応することを示すことが確認できる。よって、前記第Ｎターゲットコンフィデンススコアは、前記テスト用車両の右側に位置した車線に対応する０．４５であることを確認することができる。このように、前記経路情報と前記テスト用統合コンフィデンスマップとを参照して、前記第Ｎターゲットコンフィデンススコアが選択され得る。

【0112】

このようなターゲットコンフィデンススコアが各フレームごとに選択され得る。このような状況において、前記テスティング装置は、前記モード切換えモジュール１８０をもって、（ｉ）前記第Ｎターゲットコンフィデンススコアが閾値以下であり、（ｉｉ）第（Ｎ−Ｋ）フレームないし第（Ｎ−１）フレームそれぞれに対応する第（Ｎ−Ｋ）ターゲットコンフィデンススコアないし第（Ｎ−１）ターゲットコンフィデンススコアのうち少なくとも一部が前記閾値以下である場合、前記テスト用車両の走行モードを自律走行モードからマニュアル走行モードに変更させることができる。すなわち、ターゲットコンフィデンススコアが持続的に小さい場合、自律走行が危険になるので、これをマニュアル走行モードに変更するのである。

【0113】

あるいは、前記第Ｎターゲットコンフィデンススコアが前記閾値以下であり、前記第（Ｎ−Ｋ）ターゲットコンフィデンススコアないし前記第（Ｎ−１）ターゲットコンフィデンススコアが順次に減少する場合、これもやはり自律走行が危険になり得るので、テスト用車両の走行モードがマニュアル走行モードに変更され得るであろう。

【0114】

ここで、参考説明として、ＣＮＮと１３０、ＲＰＮと１４０と、ロスレイヤ１５０と、コンフィデンスレイヤ１６０とがどのように互いに連動して動作することによって、物体検出を行う途中にコンフィデンススコアを生成することができるのかについて、図５を参照して説明される。

【0115】

図５は、本発明の一実施例にしたがって、強化学習及びＶ２Ｘ通信を使用するアテンションドリブンリソース割り当てアルゴリズムを利用して、安全な自律走行を提供する方法を遂行するのに使用される、ＣＮＮと、ＲＰＮと、ロスレイヤと、コンフィデンスレイヤとを含む学習装置の構成を示した図面である。

【0116】

図５を参照すると、学習イメージがＣＮＮ１３０に含まれているコンボリューションレイヤ１３１に入力され、コンボリューションレイヤ１３１からｈ×ｗ×ｃサイズのコンボリューション特徴マップが生成される構成を確認することができる。以後、コンボリューション特徴マップは、ＲＰＮ１４０により演算され、これによってＲＰＮ１４０は、各ＲＯＩの位置である（dx,dy,dw,dh）及びそれらのＲＰＮコンフィデンススコアが含まれたｈ×ｗ×（５Ａ＋１）サイズの特徴マップを出力することができる。このような各ＲＯＩは、ＣＮＮ１３０に含まれているＲＯＩプーリングレイヤ（図示せず）に伝達され、したがって、コンボリューション特徴マップは伝達されたＲＯＩにしたがってプーリングされ得る。以後、ＣＮＮ１３０に含まれているＦＣレイヤ１３２は、R×ｄサイズのＲＯＩプーリング済み特徴マップを演算して、物体の推定された位置（x1,y1,x2,y2）と、物体が各クラスに含まれる確率と、各物体に対応するピクセルのＣＮＮコンフィデンススコアとが含まれているR×（５C＋１）サイズの初期物体検出結果を生成することができる。最後に、ＣＮＮ１３０は、ＮＭＳ演算を初期物体検出結果に適用することによって、物体の推定された位置（x1,y1,x2,y2）と、各物体に対する推定されたクラスと、物体が各クラスに含まれる確率とに関する情報を含むR’×６サイズの予測物体検出結果を生成することができる。ここで、R’は、ＮＭＳ演算によって足し合わされた各ＲＯＩ、すなわち物体の位置を示すことができる。そして、予測物体検出結果とともに出力されたＣＮＮコンフィデンスマップは、ｈ×ｗ×１サイズのＲＰＮコンフィデンスマップから生成されたリサイズ済みＲＰＮコンフィデンスマップと統合されることによって、H×W×１サイズの統合コンフィデンスマップを生成するようになる。前記の過程は、前述した学習方法と合致するものである。

【0117】

以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。

【0118】

以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。

【0119】

したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

【図1】

【図2】

【図3】

【図4】

【図5】