特表 2022-539697 自律走行自動車のパーセプションネットワークを学習させるためのオン‐ビークルアクティブラーニング方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-09-13

(54)【発明の名称】自律走行自動車のパーセプションネットワークを学習させるためのオン‐ビークルアクティブラーニング方法及び装置

(51)【国際特許分類】

   G06V 10/774 20220101AFI20220906BHJP

   G06N 20/00 20190101ALI20220906BHJP

   G06T 7/00 20170101ALI20220906BHJP

   G06V 10/82 20220101ALI20220906BHJP

   G06V 20/56 20220101ALI20220906BHJP

   B60W 60/00 20200101ALI20220906BHJP

   B60W 40/02 20060101ALI20220906BHJP

【ＦＩ】

G06V10/774

G06N20/00 130

G06T7/00 350C

G06T7/00 650Z

G06V10/82

G06V20/56

B60W60/00

B60W40/02

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021576476

(86)(22)【出願日】2021-04-14

(85)【翻訳文提出日】2021-12-27

(86)【国際出願番号】 KR2021004714

(87)【国際公開番号】W WO2021215740

(87)【国際公開日】2021-10-28

(31)【優先権主張番号】63/014,877

(32)【優先日】2020-04-24

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/204,287

(32)【優先日】2021-03-17

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】517038176

【氏名又は名称】株式会社ストラドビジョン

【氏名又は名称原語表記】ＳＴＲＡＤＶＩＳＩＯＮ，ＩＮＣ．

【住所又は居所原語表記】Ｓｕｉｔｅ ３０４－３０８，５ｔｈ Ｖｅｎｔｕｒｅ－ｄｏｎｇ，３９４，Ｊｉｇｏｋ－ｒｏ，Ｎａｍ－ｇｕ，Ｐｏｈａｎｇ－ｓｉ，Ｇｙｅｏｎｇｓａｎｇｂｕｋ－ｄｏ ３７６６８ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100120628

【弁理士】

【氏名又は名称】岩田 慎一

(72)【発明者】

【氏名】諸 泓模

(72)【発明者】

【氏名】康 鳳男

(72)【発明者】

【氏名】金 鎔重

(72)【発明者】

【氏名】權 成顔

【テーマコード（参考）】

3D241

5L096

【Ｆターム（参考）】

3D241BA31

3D241CE05

3D241CE08

5L096AA06

5L096BA04

5L096CA04

5L096DA01

5L096DA02

5L096FA03

5L096HA11

5L096KA04

(57)【要約】

自律走行自動車のパーセプション（ｐｅｒｃｅｐｔｉｏｎ）ネットワークを学習させるためのオン‐ビークルアクティブラーニング（ｏｎ‐ｖｅｈｉｃｌｅ ａｃｔｉｖｅ ｌｅａｒｎｉｎｇ）方法が提供される。その方法は、オン‐ビークルアクティブラーニング装置が、（ａ）自律走行自動車のカメラとセンサーから走行映像とセンシング情報とが獲得されると、前記走行映像でのフレームと前記センシング情報とをシーンコード（ｓｃｅｎｅ ｃｏｄｅ）生成モジュールに入力して前記フレームでのシーンと走行イベントに対する情報とを含むシーンコードを生成する段階；及び（ｂ）前記フレームそれぞれの前記シーンコードとオブジェクトデテクション情報とを利用して、前記オブジェクトデテクション情報が既設定された条件を満たすフレームを特定フレームとして選定したり、前記シーンコードと前記オブジェクトデテクション情報とを利用して学習政策にマッチングされるフレームを前記特定フレームとして選定し、前記特定フレームと特定シーンコードをフレーム格納部に格納する段階を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

自律走行自動車のパーセプション（ｐｅｒｃｅｐｔｉｏｎ）ネットワークを学習させるためのオン‐ビークルアクティブラーニング（ｏｎ‐ｖｅｈｉｃｌｅ ａｃｔｉｖｅ ｌｅａｒｎｉｎｇ）方法において、
（ａ）自律走行自動車の走行中、カメラからの走行映像と自動車センサーからのセンシング情報とが獲得されると、オン‐ビークルアクティブラーニング装置が、前記走行映像での連続されたフレームと前記センシング情報とをシーンコード（ｓｃｅｎｅ ｃｏｄｅ）生成モジュールに入力して前記シーンコード生成モジュールをもって前記フレームと前記センシング情報とを参照して前記フレームそれぞれのシーンに対する情報と走行イベントに対する情報とを含むシーンコードを生成させる段階；及び
（ｂ）前記オン‐ビークルアクティブラーニング装置が、（ｉ）前記フレームそれぞれの前記シーンコードと、オブジェクトデテクターを通じて検出した前記フレームそれぞれにおけるオブジェクトデテクション情報とを利用して、前記フレームの中で前記走行イベントでの前記オブジェクトデテクション情報が既設定された条件を満たすフレームを前記自律走行自動車のパーセプションネットワークの学習に利用するための特定フレームとして選定し、前記特定フレームとこれに対応される特定シーンコードとをマッチングしてフレーム格納部に格納するプロセス、及び（ｉｉ）前記シーンコードと前記オブジェクトデテクション情報とを利用して前記自律走行自動車の前記パーセプションネットワークの学習政策にマッチングされるフレームを前記特定フレームとして選定し、前記特定フレームとこれに対応される前記特定シーンコードとをマッチングして前記フレーム格納部に格納するプロセスの中で少なくとも一つを遂行する段階；
を含む方法。

【請求項2】

（ｃ）前記オン‐ビークルアクティブラーニング装置が、前記特定シーンコードを利用して前記フレーム格納部に格納された前記特定フレームをサンプリングして学習データを生成し、前記学習データを利用して前記自律走行自動車の前記パーセプションネットワークをオン‐ビークル学習させる段階；
をさらに含む請求項１に記載の方法。

【請求項3】

前記（ｃ）段階において、
前記オン‐ビークルアクティブラーニング装置は、前記特定フレームをサンプリングする場合、前記シーンコードを参照して多数（ｍａｊｏｒｉｔｙ）クラスの一部のみを選択し、少数（ｍｉｎｏｒｉｔｙ）クラスはできる限り多くのデータを使ってアンダーサンプリング（ｕｎｄｅｒ ｓａｍｐｌｉｎｇ）したり、少数クラスの写本を多数クラスの数だけのデータを作るオーバーサンプリング（ｏｖｅｒ ｓａｍｐｌｉｎｇ）して、前記学習データを生成して前記パーセプションネットワークを学習させるプロセス、及び前記学習データを利用した前記パーセプションネットワークの学習の際にウェイトバランシング（ｗｅｉｇｈｔ ｂａｌａｎｃｉｎｇ）を通じて前記シーンコードに対応される前記学習データに対するウェイトバランスド（ｗｅｉｇｈｔ ｂａｌａｎｃｅｄ）ロスを生成し、前記ウェイトバランスドロスを利用したバックプロパゲーションを通じて前記パーセプションネットワークを学習させるプロセスの中で少なくとも一つのプロセスを遂行する請求項２に記載の方法。

【請求項4】

前記（ａ）段階において、
前記オン‐ビークルアクティブラーニング装置は、前記シーンコード生成モジュールをもってディープラーニングによるシーンクラシファイアー（ｃｌａｓｓｉｆｉｅｒ）を通じて前記フレームをそれぞれラーニング演算し、前記フレームそれぞれのシーンを走行環境と走行道路のクラスとに分類して前記フレームそれぞれのシーンクラスコードを生成するようにし、走行イベント検出モジュールを通じて前記フレーム及び前記フレームそれぞれにおける前記センシング情報から前記自律走行自動車の走行中に発生した走行イベントを検出して走行イベントコードを生成するようにし、前記フレームそれぞれにおける前記シーンクラスコードと前記走行イベントコードとを利用して前記フレームそれぞれに対するシーンコードを生成させる請求項１に記載の方法。

【請求項5】

前記オン‐ビークルアクティブラーニング装置は、前記シーンコード生成モジュールをもって前記走行イベント検出モジュールを通じて前記フレームでのシーン変化を検出してフレーム基盤のイベントコードを生成するようにし、前記センシング情報での前記自律走行自動車の動作状態を検出して自動車基盤のイベントコードを生成するようにして前記走行イベントコードを生成させる請求項４に記載の方法。

【請求項6】

前記（ｂ）段階において、
前記オン‐ビークルアクティブラーニング装置は、前記シーンコードを参照して、事故イベントで衝突領域（前記衝突領域は前記自律走行自動車がオブジェクトと衝突したり衝突すると予測される場合、前記フレームで前記オブジェクトが位置すると予測される領域）からオブジェクトが検出されないフレームを前記特定フレームとして選定する請求項１に記載の方法。

【請求項7】

前記（ｂ）段階において、
前記オン‐ビークルアクティブラーニング装置は、前記シーンコードを参照してノーマル（ｎｏｒｍａｌ）イベントで衝突領域（前記衝突領域は前記自律走行自動車がオブジェクトと衝突したり衝突すると予測される場合、前記フレームで前記オブジェクトが位置すると予測される領域）からオブジェクトが検出されたフレームを前記特定フレームとして選定する請求項１に記載の方法。

【請求項8】

前記（ｂ）段階において、
前記オン‐ビークルアクティブラーニング装置は、前記オブジェクトデテクション情報の中でオブジェクトに対するコンフィデンススコア（ｃｏｎｆｉｄｅｎｃｅ ｓｃｏｒｅ）が既設定された値以下のオブジェクトのあるフレームを前記特定フレームとして選定する請求項１に記載の方法。

【請求項9】

前記（ｂ）段階において、
前記オン‐ビークルアクティブラーニング装置は、前記シーンコードを参照してレアー（ｒａｒｅ）走行環境で歩行者が検出されたフレームを前記特定フレームとして選定する請求項１に記載の方法。

【請求項10】

自律走行自動車のパーセプション（ｐｅｒｃｅｐｔｉｏｎ）ネットワークを学習させるためのオン‐ビークルアクティブラーニング（ｏｎ‐ｖｅｈｉｃｌｅ ａｃｔｉｖｅ ｌｅａｒｎｉｎｇ）装置において、
自律走行自動車で獲得される映像での連続されたフレームに対してオン‐ビークルアクティブラーニングするためのインストラクションが格納されたメモリ；及び
前記メモリに格納されたインストラクションにしたがってオン‐ビークルアクティブラーニングのための動作を遂行するプロセッサ；
を含み、
前記プロセッサは、（Ｉ）自律走行自動車の走行中、カメラからの走行映像と自動車センサーからのセンシング情報とが獲得されると、前記走行映像での連続されたフレームと前記センシング情報とをシーンコード（ｓｃｅｎｅ ｃｏｄｅ）生成モジュールに入力して前記シーンコード生成モジュールをもって前記フレームと前記センシング情報とを参照して前記フレームそれぞれのシーンに対する情報と走行イベントに対する情報とを含むシーンコードを生成させるプロセス、及び（ＩＩ）（ｉ）前記フレームそれぞれの前記シーンコードと、オブジェクトデテクターを通じて検出した前記フレームそれぞれにおけるオブジェクトデテクション情報とを利用して、前記フレームの中で前記走行イベントでの前記オブジェクトデテクション情報が既設定された条件を満たすフレームを前記自律走行自動車のパーセプションネットワークの学習に利用するための特定フレームとして選定し、前記特定フレームとこれに対応される特定シーンコードとをマッチングしてフレーム格納部に格納するプロセス、及び（ｉｉ）前記シーンコードと前記オブジェクトデテクション情報とを利用して前記自律走行自動車の前記パーセプションネットワークの学習政策にマッチングされるフレームを前記特定フレームとして選定し、前記特定フレームとこれに対応される前記特定シーンコードとをマッチングして前記フレーム格納部に格納するプロセスの中で少なくとも一つを遂行するプロセスを実行するオン‐ビークルアクティブラーニング装置。

【請求項11】

前記プロセッサは、（ＩＩＩ）前記特定シーンコードを利用して前記フレーム格納部に格納された前記特定フレームをサンプリングして学習データを生成し、前記学習データを利用して前記自律走行自動車の前記パーセプションネットワークをオン‐ビークル学習させるプロセスをさらに遂行する請求項１０に記載のオン‐ビークルアクティブラーニング装置。

【請求項12】

前記プロセッサは、前記（ＩＩＩ）プロセスにおいて、前記特定フレームをサンプリングする場合、前記シーンコードを参照して多数（ｍａｊｏｒｉｔｙ）クラスの一部のみを選択し、少数（ｍｉｎｏｒｉｔｙ）クラスはできる限り多くのデータを使ってアンダーサンプリング（ｕｎｄｅｒ ｓａｍｐｌｉｎｇ）したり、少数クラスの写本を多数クラスの数だけのデータを作るオーバーサンプリング（ｏｖｅｒ ｓａｍｐｌｉｎｇ）して、前記学習データを生成して前記パーセプションネットワークを学習させるプロセス、及び前記学習データを利用した前記パーセプションネットワークの学習の際にウェイトバランシング（ｗｅｉｇｈｔ ｂａｌａｎｃｉｎｇ）を通じて前記シーンコードに対応される前記学習データに対するウェイトバランスド（ｗｅｉｇｈｔ ｂａｌａｎｃｅｄ）ロスを生成し、前記ウェイトバランスドロスを利用したバックプロパゲーションを通じて前記パーセプションネットワークを学習させるプロセスの中で少なくとも一つのプロセスを遂行する請求項１１に記載のオン‐ビークルアクティブラーニング装置。

【請求項13】

前記プロセッサは、前記（Ｉ）プロセスにおいて、前記シーンコード生成モジュールをもってディープラーニングによるシーンクラシファイアー（ｃｌａｓｓｉｆｉｅｒ）を通じて前記フレームをそれぞれラーニング演算し、前記フレームそれぞれのシーンを走行環境と走行道路のクラスとに分類して前記フレームそれぞれのシーンクラスコードを生成するようにし、走行イベント検出モジュールを通じて前記フレーム及び前記フレームそれぞれにおける前記センシング情報から前記自律走行自動車の走行中に発生した走行イベントを検出して走行イベントコードを生成するようにし、前記フレームそれぞれにおける前記シーンクラスコードと前記走行イベントコードとを利用して前記フレームそれぞれに対するシーンコードを生成させる請求項１０に記載のオン‐ビークルアクティブラーニング装置。

【請求項14】

前記プロセッサは、前記シーンコード生成モジュールをもって前記走行イベント検出モジュールを通じて前記フレームでのシーン変化を検出してフレーム基盤のイベントコードを生成するようにし、前記センシング情報での前記自律走行自動車の動作状態を検出して自動車基盤のイベントコードを生成するようにして、前記走行イベントコードを生成させる請求項１３に記載のオン‐ビークルアクティブラーニング装置。

【請求項15】

前記プロセッサは、前記（ＩＩ）プロセスにおいて、前記シーンコードを参照して、事故イベントで衝突領域（前記衝突領域は前記自律走行自動車がオブジェクトと衝突したり衝突すると予測される場合、前記フレームで前記オブジェクトが位置すると予測される領域）からオブジェクトが検出されないフレームを前記特定フレームとして選定する請求項１０に記載のオン‐ビークルアクティブラーニング装置。

【請求項16】

前記プロセッサは、前記（ＩＩ）プロセスにおいて、前記シーンコードを参照してノーマル（ｎｏｒｍａｌ）イベントで衝突領域（前記衝突領域は前記自律走行自動車がオブジェクトと衝突したり衝突すると予測される場合、前記フレームで前記オブジェクトが位置すると予測される領域）からオブジェクトが検出されたフレームを前記特定フレームとして選定する請求項１０に記載のオン‐ビークルアクティブラーニング装置。

【請求項17】

前記プロセッサは、前記（ＩＩ）プロセスにおいて、前記オブジェクトデテクション情報の中でオブジェクトに対するコンフィデンススコア（ｃｏｎｆｉｄｅｎｃｅ ｓｃｏｒｅ）が既設定された値以下のオブジェクトのあるフレームを前記特定フレームとして選定する請求項１０に記載のオン‐ビークルアクティブラーニング装置。

【請求項18】

前記プロセッサは、前記（ＩＩ）プロセスにおいて、前記シーンコードを参照してレアー（ｒａｒｅ）走行環境で歩行者が検出されたフレームを前記特定フレームとして選定する請求項１０に記載のオン‐ビークルアクティブラーニング装置。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は２０２０年４月２４日付にて米国特許庁に出願された米国特許出願第６３／０１４，８７７号及び２０２１年３月１７日付にて米国特許庁に出願された米国特許出願第１７／２０４，２８７号に基づいて出願されて、これに対して優先権を主張し、これの全内容が参照として本明細書に組み込まれる。

【0002】

本発明は自律走行自動車のパーセプション（ｐｅｒｃｅｐｔｉｏｎ）ネットワークを学習させるためのオン‐ビークルアクティブラーニング（ｏｎ‐ｖｅｈｉｃｌｅ ａｃｔｉｖｅ ｌｅａｎｉｎｇ）方法及び装置に係り、より詳細には、自律走行自動車のリアルタイムデータからパーセプションネットワークを学習させるための学習用データを選定し、選定された学習用データを利用してパーセプションネットワークを学習させるオン‐ビークルアクティブラーニング方法及び装置に関する。

【背景技術】

【0003】

最近、機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）を利用して物体の識別などを遂行する方法に対する研究が行われている。

【0004】

このような機械学習の一つとして入力層（ｉｎｐｕｔ ｌａｙｅｒ）と出力層（ｏｕｔｐｕｔ ｌａｙｅｒ）との間にいくつかの隠れ層（ｈｉｄｄｅｎ ｌａｙｅｒ）を持つ神経網を利用した機械学習であるディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）は高い識別性能を持っている。

【0005】

そして、ディープラーニングを利用するニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）は、一般的にロス（ｌｏｓｓ）を利用したバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて学習する。

【0006】

このようなディープラーニングネットワークの学習のために、従来はデータ収集政策にしたがって生データを収集し、ヒューマンラベラー（ｌａｂｅｌｅｒ）が収集された生データにアノテーション（ａｎｎｏｔａｔｉｏｎ）して新しいトレーニングデータを生成する。以後、新しいトレーニングデータと既存トレーニングデータとを利用してディープラーニングネットワークを学習させた後、ヒューマンエンジニアが性能を分析した結果を参照してディープラーニングネットワークの学習のための学習アルゴリズムを修正及び改善する。また、分析した結果を参照してデータ収集政策を変更し、誤ったアノテーションがあるか否かを再検収して修正する。

【0007】

しかし、このような従来の方法では、ディープラーニングネットワークの性能がよくなるほど、学習に有用なハードイグザンプル（ｈａｒｄ ｅｘａｍｐｌｅ）は稀になるので、新しいトレーニングデータによるディープラーニングネットワークの性能向上効果が減少するようになり、ヒューマンラベラーによるデータアノテーションの投資収益が減少するようになる。

【0008】

一方、自律走行自動車は自動車の運行情報と走行環境に対応して運転者によるアクションがない状態で運行するもので、走行環境情報、一例として、自動車周辺のオブジェクト、車線、トラフィックシグナルなどを検出するためにディープラーニングによるパーセプション（ｐｅｒｃｅｐｔｉｏｎ）ネットワークを利用している。

【0009】

このような自律走行自動車では、パーセプションネットワークをアップデートするためにオンラインラーニング、すなわち、パーセプションネットワークが取り付けられた状態での学習が必要であるが、自動車用エンベデッド（ｅｍｂｅｄｄｅｄ）システムでの格納容量の限界のため、パーセプションネットワークの学習に必要な学習用データを獲得するために学習用データが格納されたクラウドなどのようなデータベースでのデータサンプリング（ｓａｍｐｌｉｎｇ）を遂行しなければならない。

【0010】

しかし、データサンプリングのために、従来はランダム（ｒａｎｄｏｍ）サンプリング方式、メタデータサンプリング方式、マニュアルキュレーション（ｍａｎｕａｌ ｃｕｒａｔｉｏｎ）サンプリング方式などが使われているが、このような従来のサンプリング方式はオン‐ビークルラーニングに適しない。

【0011】

したがって、従来にはオフラインで全てのデータをクラウドなどのようなデータベースに格納した後、アクティブラーニングを遂行しなければならない短所がある。

【発明の概要】

【発明が解決しようとする課題】

【0012】

本発明は上述の問題点を全て解決することをその目的とする。

【0013】

本発明はオンラインでアクティブラーニングを遂行できるようにすることを他の目的とする。

【0014】

本発明は新しいトレーニングデータによるパーセプションネットワークの学習効果を向上させることをまた他の目的とする。

【0015】

本発明は自律走行自動車のパーセプションネットワークに対するオン‐ビークルラーニングを遂行できるようにすることをまた他の目的とする。

【課題を解決するための手段】

【0016】

本発明の一実施例によると、自律走行自動車のパーセプション（ｐｅｒｃｅｐｔｉｏｎ）ネットワークを学習させるためのオン‐ビークルアクティブラーニング（ｏｎ‐ｖｅｈｉｃｌｅ ａｃｔｉｖｅ ｌｅａｒｎｉｎｇ）方法において、（ａ）自律走行自動車の走行中、カメラからの走行映像と自動車センサーからのセンシング情報とが獲得されると、オン‐ビークルアクティブラーニング装置が、前記走行映像での連続されたフレームと前記センシング情報とをシーンコード（ｓｃｅｎｅ ｃｏｄｅ）生成モジュールに入力して前記シーンコード生成モジュールをもって前記フレームと前記センシング情報とを参照して前記フレームそれぞれのシーンに対する情報と走行イベントに対する情報とを含むシーンコードを生成させる段階；及び（ｂ）前記オン‐ビークルアクティブラーニング装置が、（ｉ）前記フレームそれぞれの前記シーンコードと、オブジェクトデテクターを通じて検出した前記フレームそれぞれにおけるオブジェクトデテクション情報とを利用して、前記フレームの中で前記走行イベントでの前記オブジェクトデテクション情報が既設定された条件を満たすフレームを前記自律走行自動車のパーセプションネットワークの学習に利用するための特定フレームとして選定し、前記特定フレームとこれに対応される特定シーンコードとをマッチングしてフレーム格納部に格納するプロセス、及び（ｉｉ）前記シーンコードと前記オブジェクトデテクション情報とを利用して前記自律走行自動車の前記パーセプションネットワークの学習政策にマッチングされるフレームを前記特定フレームとして選定し、前記特定フレームとこれに対応される前記特定シーンコードとをマッチングして前記フレーム格納部に格納するプロセスの中で少なくとも一つを遂行する段階；を含む方法が提供される。

【0017】

前記一実施例は、（ｃ）前記オン‐ビークルアクティブラーニング装置が、前記特定シーンコードを利用して前記フレーム格納部に格納された前記特定フレームをサンプリングして学習データを生成し、前記学習データを利用して前記自律走行自動車の前記パーセプションネットワークをオン‐ビークル学習させる段階；をさらに含むことができる。

【0018】

前記（ｃ）段階において、前記オン‐ビークルアクティブラーニング装置は、前記特定フレームをサンプリングする場合、前記シーンコードを参照して多数（ｍａｊｏｒｉｔｙ）クラスの一部のみを選択し、少数（ｍｉｎｏｒｉｔｙ）クラスはできる限り多くのデータを使ってアンダーサンプリング（ｕｎｄｅｒ ｓａｍｐｌｉｎｇ）したり、少数クラスの写本を多数クラスの数だけのデータを作るオーバーサンプリング（ｏｖｅｒ ｓａｍｐｌｉｎｇ）して、前記学習データを生成して前記パーセプションネットワークを学習させるプロセス、及び前記学習データを利用した前記パーセプションネットワークの学習の際にウェイトバランシング（ｗｅｉｇｈｔ ｂａｌａｎｃｉｎｇ）を通じて前記シーンコードに対応される前記学習データに対するウェイトバランスド（ｗｅｉｇｈｔ ｂａｌａｎｃｅｄ）ロスを生成し、前記ウェイトバランスドロスを利用したバックプロパゲーションを通じて前記パーセプションネットワークを学習させるプロセスの中で少なくとも一つのプロセスを遂行することができる。

【0019】

前記（ａ）段階において、前記オン‐ビークルアクティブラーニング装置は、前記シーンコード生成モジュールをもってディープラーニングによるシーンクラシファイアー（ｃｌａｓｓｉｆｉｅｒ）を通じて前記フレームをそれぞれラーニング演算し、前記フレームそれぞれのシーンを走行環境と走行道路のクラスとに分類して前記フレームそれぞれのシーンクラスコードを生成するようにし、走行イベント検出モジュールを通じて前記フレーム及び前記フレームそれぞれにおける前記センシング情報から前記自律走行自動車の走行中に発生した走行イベントを検出して走行イベントコードを生成するようにし、前記フレームそれぞれにおける前記シーンクラスコードと前記走行イベントコードとを利用して前記フレームそれぞれに対するシーンコードを生成させることができる。

【0020】

前記オン‐ビークルアクティブラーニング装置は、前記シーンコード生成モジュールをもって前記走行イベント検出モジュールを通じて前記フレームでのシーン変化を検出してフレーム基盤のイベントコードを生成するようにし、前記センシング情報での前記自律走行自動車の動作状態を検出して自動車基盤のイベントコードを生成するようにして前記走行イベントコードを生成させることができる。

【0021】

前記（ｂ）段階において、前記オン‐ビークルアクティブラーニング装置は、前記シーンコードを参照して、事故イベントで衝突領域（前記衝突領域は前記自律走行自動車がオブジェクトと衝突したり衝突すると予測される場合、前記フレームで前記オブジェクトが位置すると予測される領域）からオブジェクトが検出されないフレームを前記特定フレームとして選定することができる。

【0022】

前記（ｂ）段階において、前記オン‐ビークルアクティブラーニング装置は、前記シーンコードを参照してノーマル（ｎｏｒｍａｌ）イベントで衝突領域（前記衝突領域は前記自律走行自動車がオブジェクトと衝突したり衝突すると予測される場合、前記フレームで前記オブジェクトが位置すると予測される領域）からオブジェクトが検出されたフレームを前記特定フレームとして選定することができる。

【0023】

前記（ｂ）段階において、前記オン‐ビークルアクティブラーニング装置は、前記オブジェクトデテクション情報の中でオブジェクトに対するコンフィデンススコア（ｃｏｎｆｉｄｅｎｃｅ ｓｃｏｒｅ）が既設定された値以下のオブジェクトのあるフレームを前記特定フレームとして選定することができる。

【0024】

前記（ｂ）段階において、前記オン‐ビークルアクティブラーニング装置は、前記シーンコードを参照してレアー（ｒａｒｅ）走行環境で歩行者が検出されたフレームを前記特定フレームとして選定することができる。

【0025】

また、本発明の他の実施例によると、自律走行自動車のパーセプション（ｐｅｒｃｅｐｔｉｏｎ）ネットワークを学習させるためのオン‐ビークルアクティブラーニング（ｏｎ‐ｖｅｈｉｃｌｅ ａｃｔｉｖｅ ｌｅａｒｎｉｎｇ）装置において、 自律走行自動車で獲得される映像での連続されたフレームに対してオン‐ビークルアクティブラーニングするためのインストラクションが格納されたメモリ；及び前記メモリに格納されたインストラクションにしたがってオン‐ビークルアクティブラーニングのための動作を遂行するプロセッサ；を含み、前記プロセッサは、（Ｉ）自律走行自動車の走行中、カメラからの走行映像と自動車センサーからのセンシング情報とが獲得されると、前記走行映像での連続されたフレームと前記センシング情報とをシーンコード（ｓｃｅｎｅ ｃｏｄｅ）生成モジュールに入力して前記シーンコード生成モジュールをもって前記フレームと前記センシング情報とを参照して前記フレームそれぞれのシーンに対する情報と走行イベントに対する情報とを含むシーンコードを生成させるプロセス、及び（ＩＩ）（ｉ）前記フレームそれぞれの前記シーンコードと、オブジェクトデテクターを通じて検出した前記フレームそれぞれにおけるオブジェクトデテクション情報とを利用して、前記フレームの中で前記走行イベントでの前記オブジェクトデテクション情報が既設定された条件を満たすフレームを前記自律走行自動車のパーセプションネットワークの学習に利用するための特定フレームとして選定し、前記特定フレームとこれに対応される特定シーンコードとをマッチングしてフレーム格納部に格納するプロセス、及び（ｉｉ）前記シーンコードと前記オブジェクトデテクション情報とを利用して前記自律走行自動車の前記パーセプションネットワークの学習政策にマッチングされるフレームを前記特定フレームとして選定し、前記特定フレームとこれに対応される前記特定シーンコードとをマッチングして前記フレーム格納部に格納するプロセスの中で少なくとも一つを遂行するプロセスを実行するオン‐ビークルアクティブラーニング装置が提供される。

【0026】

前記他の実施例において、前記プロセッサは、（ＩＩＩ）前記特定シーンコードを利用して前記フレーム格納部に格納された前記特定フレームをサンプリングして学習データを生成し、前記学習データを利用して前記自律走行自動車の前記パーセプションネットワークをオン‐ビークル学習させるプロセスをさらに遂行することができる。

【0027】

前記プロセッサは、 前記（ＩＩＩ）プロセスにおいて、前記特定フレームをサンプリングする場合、前記シーンコードを参照して多数（ｍａｊｏｒｉｔｙ）クラスの一部のみを選択し、少数（ｍｉｎｏｒｉｔｙ）クラスはできる限り多くのデータを使ってアンダーサンプリング（ｕｎｄｅｒ ｓａｍｐｌｉｎｇ）したり、少数クラスの写本を多数クラスの数だけのデータを作るオーバーサンプリング（ｏｖｅｒ ｓａｍｐｌｉｎｇ）して、前記学習データを生成して前記パーセプションネットワークを学習させるプロセス、及び前記学習データを利用した前記パーセプションネットワークの学習の際にウェイトバランシング（ｗｅｉｇｈｔ ｂａｌａｎｃｉｎｇ）を通じて前記シーンコードに対応される前記学習データに対するウェイトバランスド（ｗｅｉｇｈｔ ｂａｌａｎｃｅｄ）ロスを生成し、前記ウェイトバランスドロスを利用したバックプロパゲーションを通じて前記パーセプションネットワークを学習させるプロセスの中で少なくとも一つのプロセスを遂行することができる。

【0028】

前記プロセッサは、前記（Ｉ）プロセスにおいて、前記シーンコード生成モジュールをもってディープラーニングによるシーンクラシファイアー（ｃｌａｓｓｉｆｉｅｒ）を通じて前記フレームをそれぞれラーニング演算し、前記フレームそれぞれのシーンを走行環境と走行道路のクラスとに分類して前記フレームそれぞれのシーンクラスコードを生成するようにし、走行イベント検出モジュールを通じて前記フレーム及び前記フレームそれぞれにおける前記センシング情報から前記自律走行自動車の走行中に発生した走行イベントを検出して走行イベントコードを生成するようにし、前記フレームそれぞれにおける前記シーンクラスコードと前記走行イベントコードとを利用して前記フレームそれぞれに対するシーンコードを生成させることができる。

【0029】

前記プロセッサは、前記シーンコード生成モジュールをもって前記走行イベント検出モジュールを通じて前記フレームでのシーン変化を検出してフレーム基盤のイベントコードを生成するようにし、前記センシング情報での前記自律走行自動車の動作状態を検出して自動車基盤のイベントコードを生成するようにして、前記走行イベントコードを生成させることができる。

【0030】

前記プロセッサは、前記（ＩＩ）プロセスにおいて、前記シーンコードを参照して、事故イベントで衝突領域（前記衝突領域は前記自律走行自動車がオブジェクトと衝突したり衝突すると予測される場合、前記フレームで前記オブジェクトが位置すると予測される領域）からオブジェクトが検出されないフレームを前記特定フレームとして選定することができる。

【0031】

前記プロセッサは、前記（ＩＩ）プロセスにおいて、前記シーンコードを参照してノーマル（ｎｏｒｍａｌ）イベントで衝突領域（前記衝突領域は前記自律走行自動車がオブジェクトと衝突したり衝突すると予測される場合、前記フレームで前記オブジェクトが位置すると予測される領域）からオブジェクトが検出されたフレームを前記特定フレームとして選定することができる。

【0032】

前記プロセッサは、前記（ＩＩ）プロセスにおいて、前記オブジェクトデテクション情報の中でオブジェクトに対するコンフィデンススコア（ｃｏｎｆｉｄｅｎｃｅ ｓｃｏｒｅ）が既設定された値以下のオブジェクトのあるフレームを前記特定フレームとして選定することができる。

【0033】

前記プロセッサは、前記（ＩＩ）プロセスにおいて、前記シーンコードを参照してレアー（ｒａｒｅ）走行環境で歩行者が検出されたフレームを前記特定フレームとして選定することができる。

【0034】

この他にも、本発明の方法を行うためのコンピュータープログラムを記録するためのコンピューターの読み取り可能な記録媒体がさらに提供される。

【発明の効果】

【0035】

本発明は、オン‐ビークル（ｏｎ‐ｖｅｈｉｃｌｅ）で入力される映像イメージによるシーンコードを与え、学習に有意味なデータであるか否かを判断して自動車の格納部に格納することで新しいトレーニングデータによるパーセプションネットワークの学習効果を向上させることができる。

【0036】

また、本発明は、学習のためのトレーニングデータをシーンコードにしたがってサンプリングバランシングを遂行することでオンライン上、すなわち、自動車自体でアクティブラーニングを遂行することができる。

【0037】

また、本発明は、学習のためのトレーニングデータをシーンコードにしたがってサンプリングバランシングを遂行することで自律走行自動車のパーセプションネットワークに対するオン‐ビークルラーニングを遂行することができる。

【図面の簡単な説明】

【0038】

本発明の実施例の説明に利用するために添付された以下の図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明が属する技術分野における通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の図面が得られる。

【0039】

【図1】図１は、本発明の一実施例による自律走行自動車のパーセプションネットワークを学習させるためのオン‐ビークルアクティブラーニングのためのオン‐ビークルアクティブラーニング装置を簡略に示したものである。

【図2】図２は、本発明の一実施例による自律走行自動車のパーセプションネットワークを学習させるためのオン‐ビークルアクティブラーニング方法を簡略に示したものである。

【図3】図３は、本発明の一実施例による自律走行自動車のパーセプションネットワークを学習させるためのオン‐ビークルアクティブラーニング方法でシーンコードを生成する方法を簡略に示したものである。

【図4】図４は、本発明の一実施例による自律走行自動車のパーセプションネットワークを学習させるためのオン‐ビークルアクティブラーニング方法で学習に有意味なデータを判断する方法を簡略に示したものである。

【図5】図５は、本発明の一実施例による自律走行自動車のパーセプションネットワークを学習させるためのオン‐ビークルアクティブラーニング方法で学習に有意味なデータを判断する他の方法を簡略に示したものである。

【発明を実施するための形態】

【0040】

後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施されることができる特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように十分詳細に説明される。

【0041】

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の目的、長所及び特性が、一部は本説明書から、また一部は本発明の実施から明らかになる。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。

【0042】

さらに、本発明は、本明細書に示された実施例のすべての可能な組み合わせを網羅する。本発明の多様な実施例は互いに異なるが、相互排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現されることができる。また、それぞれの開示された実施例内の個別構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項のみによって限定される。図面において類似な参照符号は、様々な側面にわたって同一であるか、又は類似な機能を指す。

【0043】

以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明する。

【0044】

図１は、本発明の一実施例による自律走行自動車のパーセプションネットワークを学習させるためのオン‐ビークルアクティブラーニングのためのオン‐ビークルアクティブラーニング装置を簡略に示したものであり、図１を参照すれば、オン‐ビークルアクティブラーニング装置１０００は自律走行自動車で獲得される映像での連続されたフレームに対してオン‐ビークルアクティブラーニングするためのインストラクションが格納されたメモリ１００１とメモリ１００１に格納されたインストラクションにしたがってオン‐ビークルアクティブラーニングのための動作を遂行するプロセッサ１００２とを含むことができる。

【0045】

具体的に、学習装置１０００は典型的にコンピューティング装置（例えば、コンピュータープロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含むことができる装置；ルーター、スイッチなどのような電子通信装置；ネットワーク付きストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）とコンピューターソフトウェア（すなわち、コンピューティング装置をもって特定方式で機能させるインストラクション）の組み合わせを利用して所望のシステム性能を達成するものである。

【0046】

また、コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置は、運営体制、特定目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。

【0047】

しかし、コンピューティング装置が本発明を実施するためのミディアム、プロセッサ及びメモリが統合された形態であるインテグレイティド（ｉｎｔｅｇｒａｔｅｄ）プロセッサを含む場合を排除することではない。

【0048】

このように構成された本発明の一実施例による自律走行自動車のパーセプションネットワークを学習させるためのオン‐ビークルアクティブラーニングのためのオン‐ビークルアクティブラーニング装置１０００を利用してオン‐ビークルアクティブラーニングを遂行する方法について図２を参照して説明すれば次のとおりである。

【0049】

先ず、自律走行自動車の運行中、カメラ、一例として、イメージセンサーからの走行映像と自動車センサーからのセンシング情報とが獲得されると、オン‐ビークルアクティブラーニング装置１０００は走行映像での連続されたフレームとセンシング情報とをシーンコード（ｓｃｅｎｅ ｃｏｄｅ）生成モジュール１２００に入力してシーンコード生成モジュール１２００をもってフレームとセンシング情報とを参照してフレームそれぞれのシーンに対する情報と走行イベントに対する情報とを含むシーンコードを生成させることができる。

【0050】

この時、シーンコードはフレームそれぞれにおけるシーンに対する情報と走行イベントに対する情報をコード化したものである。

【0051】

一例として、図３を参照すれば、シーンコード生成モジュール１２００はディープラーニングによるシーンクラシファイアー（ｓｃｅｎｅ ｃｌａｓｓｉｆｉｅｒ、１２１０）を通じてフレームそれぞれをラーニング演算し、フレームそれぞれのシーンを走行環境と走行道路のクラスとに分類してフレームそれぞれのシーンクラスコードを生成することができる。そして、シーンクラシファイアー１２１０はフレームそれぞれのフィーチャーを抽出し、抽出されたフィーチャーが既設定された走行環境と走行道路のクラスのうち、どのクラスに当たるかを分類することでフレームそれぞれのシーンクラスコードを生成することができる。

【0052】

この時、走行環境は自律走行自動車が走行中の領域での気象情報と時間帯情報とを含むことができるが、これに限定されず、自律走行自動車が走行中の領域または地域の多様な気象情報を含むことができる。そして、気象情報は晴れ、雨、雪、霧などを含むことができるし、時間帯情報は昼、夜などを含むことができる。また、走行道路は自律走行自動車が走行中の道路の種類、一例として、高速道路、市内道路、トンネル区間などを含むことができるが、これに限定されず、自律走行自動車が走行中の多様な道路環境を含むことができる。

【0053】

また、シーンコード生成モジュール１２００は走行イベント検出モジュール１２２０を通じてフレーム、及びフレームそれぞれにおけるセンシング情報から自律走行自動車の走行中に発行した走行イベントを検出して走行イベントコードを生成することができる。

【0054】

この時、走行イベントコードは連続されたフレームを利用して検出したイメージ基盤のイベントコードとセンシング情報とを利用して検出した自動車基盤のイベントコードを含むことができる。

【0055】

一例として、シーンコード生成モジュール１２００は連続されたフレームを走行イベント検出モジュール１２２０のシーン変化デテクターに入力してシーン変化デテクターをもって連続されたフレームそれぞれにおけるシーンが変更されたのかを検出し、シーン変化可否によってフレームそれぞれに対応されるイメージ基盤イベントコードを生成させることができる。この時、イメージ基盤イベントコードはシーン変化可否によるユニフォームサンプル（ｕｎｉｆｏｒｍ ｓａｍｐｌｅ）、シーン変化（ｓｃｅｎｅ ｃｈａｎｇｅ）などを含むことができる。さらに、シーンコード生成モジュール１２００はセンシング情報を利用して自律走行自動車の動作状態を検出し、自動車の運行中に発生するイベントなどを検出して自動車基盤のイベントコードを生成することができる。この時、自動車基盤のイベントコードは、急ハンドル、急ブレーキ、ノーマルアクション（ｎｏｒｍａｌ ａｃｔｉｏｎ）、ＡＥＢアクティベイテッド（ａｃｔｉｖａｔｅｄ）などを含むことができる。そして、シーンコード生成モジュール１２００はフレームそれぞれにおけるシーンクラスコードと走行イベントコードとを利用してフレームそれぞれに対するシーンコードを生成することができる。

【0056】

この時、フレームそれぞれに対するシーンコードは次の表のように示すことができる。

【0057】

【表1】

【0058】

一方、前記説明したシーンコードは例示的に記載したもので、本発明はこれに限定されず、走行映像の連続されたフレームそれぞれに対するシーンコードは多様な形態で生成されることができる。

【0059】

一方、また図２を参照すれば、走行映像とセンシング情報とは自律走行自動車の走行映像及び運行情報分析モジュール１１００に入力されることができる。

【0060】

そうすると、走行映像及び運行情報分析モジュール１１００はパーセプションネットワークを通じて走行映像の連続されたフレームをラーニング演算して自律走行自動車の周辺環境情報、一例として、自動車、歩行者などのようなオブジェクト、走行道路の車線、トラフィックシグナルなどを検出し、センシング情報を参照して自律走行自動車の運行状態情報を検出することができる。そして、自律走行自動車の周辺環境情報と運行状態情報とは自律走行制御部１５００に伝送され、自律走行制御部１５００は環境情報と運行状態情報とを利用して自律走行自動車の走行動作を制御することができる。

【0061】

一例として、走行映像及び運行情報分析モジュール１１１０はディープラーニング基盤、一例として、ＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）基盤のオブジェクトデテクターを通じて走行映像のフレームに対するオブジェクトデテクションを遂行してフレームそれぞれにおけるオブジェクトデテクション情報を生成したり、ディープラーニング基盤のセグメンテーションネットワークを通じて走行映像のフレームに対するセグメンテーションを遂行してフレームそれぞれにおける車線情報を生成することができる。また、走行映像及び運行情報分析モジュール１１１０はセンシング情報を参照して自動車の運行状態情報、すなわち、自律走行自動車の加減速状態、ステアリングホイールの操作状態、緊急制動システム（ａｕｔｏｎｏｍｏｕｓ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ：ＡＥＢ）の動作可否などの運行状態情報を出力させることができる。

【0062】

次いで、オン‐ビークルアクティブラーニング装置１０００はフレーム選定モジュール１３００を通じてフレームそれぞれのシーンコードとオブジェクトデテクターとを通じて検出したフレームそれぞれにおけるオブジェクトデテクション情報を利用して自律走行自動車のパーセプションネットワークを学習させるための学習データに有用なフレームを選定するようにし、学習データとして選定されたフレームをフレーム格納部１４００に格納することができる。

【0063】

すなわち、オン‐ビークルアクティブラーニング装置１０００は、フレーム選定モジュール１３００をもって走行映像から獲得された連続されたフレームの中で自律走行自動車のディープラーニング基盤のパーセプションネットワークを学習させるための有意味なフレーム、すなわち、イメージを選定させることができる。

【0064】

この時、フレーム選定モジュール１３００は多様な方法によってパーセプションネットワークの学習に有意味なフレームを選定することができる。

【0065】

すなわち、オン‐ビークルアクティブラーニング装置１０００はフレーム選定モジュール１３００を通じて、フレームそれぞれのシーンコードと、オブジェクトデテクターを通じて検出したフレームそれぞれにおけるオブジェクトデテクション情報とを利用して、フレームの中で走行イベントなどでのオブジェクトデテクション情報が既設定された条件を満たすフレームを自律走行自動車のパーセプションネットワークの学習に利用するための特定フレームとして選定するようにし、特定フレームとこれに対応される特定シーンコードとをマッチングしてフレーム格納部１４００、すなわち、自律走行自動車の取り付けられた限定された格納容量を持つメモリに格納するプロセスを遂行することができる。

【0066】

また、オン‐ビークルアクティブラーニング装置１０００はフレーム選定モジュール１３００を通じてフレームそれぞれのシーンコードとオブジェクトデテクション情報とを利用して自律走行自動車のパーセプションネットワークの学習政策にマッチングされるフレームを特定フレームとして選定するようにし、特定フレームとこれに対応される特定シーンコードとをマッチングしてフレーム格納部１４００に格納するプロセスを遂行することができる。

【0067】

一例として、オン‐ビークルアクティブラーニング装置１０００はシーンコードを参照して、事故イベント（ａｃｃｉｄｅｎｔ ｅｖｅｎｔ）で衝突領域からオブジェクトが検出されていないフレームをパーセプションネットワークの学習に有用な特定フレームとして選定することができる。この時、事故イベントは自律走行自動車の急停車、急左折、急右折などのように自律走行自動車の走行状態が衝突状況であったり、衝突を予測した状況で遂行した走行イベントである。そして、衝突領域は自律走行自動車がオブジェクトと衝突したり、衝突すると予測されるフレームにおいて該当オブジェクトが位置すると予測される領域である。

【0068】

すなわち、自律走行自動車のイベントコードが急停車、急左折、急右折などのような状況では衝突領域からオブジェクトが検出されるべきであるが、走行映像のフレームでの衝突領域から検出されたオブジェクトがなければフォールスネガティブ（ｆａｌｓｅ ｎｅｇａｔｉｖｅ）状況が疑われるので、該当フレームをパーセプションネットワークの学習に有用なフレームとして選定することができる。

【0069】

また、オン‐ビークルアクティブラーニング装置１０００はシーンコードを参照してノーマル（ｎｏｒｍａｌ）イベントで衝突領域からオブジェクトが検出されたフレームをパーセプションネットワークの学習に有用な特定フレームとして選定することができる。

【0070】

すなわち、事故状況などではない正常走行状況において、自律走行自動車が運行する状態では衝突領域からオブジェクトが検出されてはならないが、走行映像のフレームでの衝突領域から検出されたオブジェクトがあれば、ファンクションフォールスアラーム（ｆｕｎｃｔｉｏｎ ｆａｌｓｅ ａｌａｒｍ）状況が疑われるので、該当フレームをパーセプションネットワークの学習に有用なフレームとして選定することができる。

【0071】

また、オン‐ビークルアクティブラーニング装置１０００はオブジェクトデテクション情報の中でオブジェクトに対するコンフィデンススコア（ｃｏｎｆｉｄｅｎｃｅ ｓｃｏｒｅ）が既設定された値、すなわち、しきい値以下のオブジェクトのあるフレームをパーセプションネットワークの学習用で有用な特定フレームとして選定することができる。

【0072】

そして、前記のような特定状況以外のフレームはパーセプションネットワークがよく判断しているので、パーセプションネットワークの学習に有用ではないフレームとして判断して該当フレームを除去（ｄｉｓｃａｒｄ）することができる。

【0073】

一方、オン‐ビークルアクティブラーニング装置１０００はパーセプションネットワークの学習政策にしたがって、シーンコードを参照してレアー（ｒａｒｅ）走行環境で歩行者が検出されたフレームをパーセプションネットワークの学習に有用な特定フレームとして選定することができる。

【0074】

一例として、シーンコードが雨の降る日の夜間の場合、歩行者が検出されたフレームはパーセプションネットワークの学習に有用なハードケース（ｈａｒｄ ｃａｓｅ）であると判断して該当フレームがパーセプションネットワークの学習に有用なものと判断することができるし、シーンコードがｄａｙ／ｓｕｎｎｙの場合はパーセプションネットワークが充分学習されていると判断してオーバーフィッティング（ｏｖｅｒｆｉｔｔｉｎｇ）を防ぐために該当フレームをパーセプションネットワークの学習に有用でないと判断することができる。

【0075】

しかし、前記説明した走行映像でのフレームがパーセプションネットワークの学習に流用であるか否かを判断する方法は例示的なもので、本発明はこれに限定されず、設定条件によって多様な方法でフレームがパーセプションネットワークの学習に流用であるか否かを判断することができる。

【0076】

一方、フレーム選定モジュール１３００は学習されたネットワーク、すなわち、学習されたディープラーニングネットワークを利用して走行映像のフレームがパーセプションネットワークの学習に流用であるか否かを判断することもできる。

【0077】

一例として、図４を参照すれば、フレーム選定モジュール１３００はフレームをそれぞれオートラベリングネットワーク１３１０と学習されたディープラーニングネットワーク１３２０とに入力し、オートラベリングネットワーク１３１０から出力される出力情報と学習されたディープラーニングネットワーク１３２０から出力される出力情報とを比べてオートラベリングネットワーク１３１０の出力情報と学習されたディープラーニングネットワーク１３２０の出力情報とが同じであるか、または類似であれば、該当フレームがパーセプションネットワークの学習に有用ではないと判断し、差が既設定されたしきい値以上であればハードイグザンプル（ｈａｒｄ ｅｘａｍｐｌｅ）として判断して、該当フレームがパーセプションネットワークの学習に有用であると判断することができる。

【0078】

他の例として、図５を参照すれば、フレーム選定モジュール１３００はフレームを多数の方法に変更（ｍｏｄｉｆｙ）して多数の変更されたフレームとして生成してくれる。この時、変更はフレームのサイズをリサイズしたり、アスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）を変更したり、カラートーン（ｃｏｌｏｒ ｔｏｎｅ）を変更するなど多様な方法で遂行することができる。そして、多数の変更されたフレームのそれぞれを学習されたディープラーニングネットワーク１３２０に入力して、学習されたディープラーニングネットワーク１３２０から出力される多数の変更されたフレームのそれぞれに対応される出力値の偏差（ｖａｒｉａｎｃｅ）を演算して、演算された偏差が既設定されたしきい値以下であれば該当フレームがパーセプションネットワークの学習に有用ではないと判断し、演算された偏差が既設定されたしきい値を超えればハードイグザンプルとして判断して該当フレームがパーセプションネットワークの学習に有用なものとして判断することができる。

【0079】

次いで、オン‐ビークルアクティブラーニング装置１０００は特定シーンコードを利用してフレーム格納部１４００に格納された特定フレームをサンプリングして学習データを生成し、学習データを利用して自律走行自動車のパーセプションネットワークをオン‐ビークル学習させることができる。

【0080】

この時、オン‐ビークルアクティブラーニング装置１０００はフレーム格納部１４００に格納された特定フレームをサンプリングする場合、シーンコードを参照して、多数（ｍａｊｏｒｉｔｙ）クラスの一部のみを選択し、少数（ｍｉｎｏｒｉｔｙ）クラスはできる限り多くのデータを使ってアンダーサンプリング（ｕｎｄｅｒ ｓａｍｐｌｉｎｇ）したり、少数クラスの写本を多数クラスの数だけのデータを作るオーバーサンプリング（ｏｖｅｒ ｓａｍｐｌｉｎｇ）して、学習データを生成することができるし、サンプリングされた学習データを利用してパーセプションネットワークを学習させるプロセスを遂行することができる。

【0081】

また、オン‐ビークルアクティブラーニング装置１０００はフレーム格納部１４００に格納された特定フレームを利用してパーセプションネットワークの学習の際に、ウェイトバランシング（ｗｅｉｇｈｔ ｂａｌａｎｃｉｎｇ）を通じてシーンコードに対応される学習データに対するウェイトバランスド（ｗｅｉｇｈｔ ｂａｌａｎｃｅｄ）ロスを生成し、ウェイトバランスドロスを利用したバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じてパーセプションネットワークを学習させるプロセスを遂行することができる。

【0082】

また、以上で説明された本発明による実施例は、多様なコンピューター構成要素を通じて遂行できるプログラム命令語の形態で具現され、コンピューターの読み取り可能な記録媒体に記録されることができる。前記コンピューターの読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピューターの読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別設計されて構成されたものであるか、またはコンピューターソフトウェア分野の当業者に公知されて使用可能なものであってもよい。コンピューターの読み取り可能な記録媒体の例では、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ‐ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気‐光媒体（ｍａｇｎｅｔｏ‐ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作われるもののような機械語コードのみならず、インタプリタなどを使用してコンピューターによって実行されることができる高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を行うために一つ以上のソフトウェアモジュールとして作動するように構成されることができるし、その逆も同様である。

【0083】

以上、本発明が具体的な構成要素などのような特定事項と、限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形を図ることができる。

【0084】

したがって、本発明の思想は前記説明された実施例に限って決まってはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等に、または等価的に変形された全てのものなどは本発明の思想の範疇に属するものとする。

【符号の説明】

【0085】

１０００：オン‐ビークルアクティブラーニング装置
１００１：メモリ
１００２：プロセッサ

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】