特許 6856905 自律走行車両レベル４を満たすために領域のクラスに応じてモードを切り換えるためにグリッド生成器を利用するニューラルネットワーク演算方法及びこれを利用した装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6856905

(24)【登録日】2021年3月23日

(45)【発行日】2021年4月14日

(54)【発明の名称】自律走行車両レベル４を満たすために領域のクラスに応じてモードを切り換えるためにグリッド生成器を利用するニューラルネットワーク演算方法及びこれを利用した装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210405BHJP

   G06N 3/08 20060101ALI20210405BHJP

【ＦＩ】

   G06T7/00 350C

   G06N3/08

【請求項の数】30

【全頁数】24

(21)【出願番号】特願2020-1999(P2020-1999)

(22)【出願日】2020年1月9日

(65)【公開番号】特開2020-119536(P2020-119536A)

(43)【公開日】2020年8月6日

【審査請求日】2020年1月9日

(31)【優先権主張番号】16/254,500

(32)【優先日】2019年1月22日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】517038176

【氏名又は名称】株式会社ストラドビジョン

(74)【代理人】

【識別番号】110000855

【氏名又は名称】特許業務法人浅村特許事務所

(72)【発明者】

【氏名】キム、ケイ − ヒョン

(72)【発明者】

【氏名】キム、ヨンジュン

(72)【発明者】

【氏名】キム、インスー

(72)【発明者】

【氏名】キム、ハク − キョン

(72)【発明者】

【氏名】ナム、ウヒョン

(72)【発明者】

【氏名】ブー、ソッフン

(72)【発明者】

【氏名】ソン、ミュンチュル

(72)【発明者】

【氏名】ヨー、ドンフン

(72)【発明者】

【氏名】リュー、ウジュ

(72)【発明者】

【氏名】チャン、テウン

(72)【発明者】

【氏名】ジョン、キュンチョン

(72)【発明者】

【氏名】チェ、ホンモ

(72)【発明者】

【氏名】チョウ、ホジン

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特開２０１８−０７７８２９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００− ７／９０

Ｇ０６Ｎ ３／０８

(57)【特許請求の範囲】

【請求項1】

グリッド生成器を利用したニューラルネットワーク演算方法において、
（ａ）コンピュータ装置が、テストイメージが取得されると、検出器をもって前記テストイメージ上に存在するテスト用物体とテスト用非物体（ｎｏｎ−ｏｂｊｅｃｔ）を検出して、前記テストイメージ上に前記テスト用物体がどこにあるのかに関する情報を含むテスト用物体位置情報と前記テストイメージ上に存在する前記テスト用非物体のクラスに関する情報を含む前記テスト用非物体のクラス情報を取得させる段階；
（ｂ）前記コンピュータ装置が、グリッド生成器をもって、前記テスト用物体位置情報を参照して、前記テストイメージ内の複数のサブセクションに関する情報を含むセクション情報を生成させる段階；
（ｃ）前記コンピュータ装置が、ニューラルネットワークをもって、前記ニューラルネットワーク演算を（ｉ）それぞれの前記テスト用物体と、それに対応する前記テスト用非物体とを含む前記サブセクションのうち少なくとも一部に、又は（ｉｉ）前記サブセクションのうち前記少なくとも一部内で前記それぞれのテスト用非物体が位置するそれぞれのサブ領域に適用するのに使用されるテスト用パラメータを決定し、前記それぞれのテスト用非物体の前記クラス情報と同一又は類似するクラス情報を有するそれぞれの学習用非物体に関する情報を使用して学習された学習用パラメータを参照して決定するようにする段階；及び
（ｄ）前記コンピュータ装置が、前記ニューラルネットワークをもって、前記サブセクションのうち前記少なくとも一部それぞれに対応する前記それぞれのテスト用パラメータを利用して、前記ニューラルネットワーク演算を前記テストイメージに適用することにより、一つ以上のニューラルネットワーク結果を出力させる段階；
を含むことを特徴とする方法。

【請求項2】

前記（ｂ）段階で、
前記グリッド生成器が、可変テンプレートを利用して前記テストイメージを分け、前記可変テンプレートの前記サブセクションの前記少なくとも一部それぞれに前記テスト用物体のうち少なくとも一つが含まれるように一つ以上の境界線が調整された前記可変テンプレートが提供されることを特徴とする請求項１に記載の方法。

【請求項3】

前記グリッド生成器が、前記可変テンプレートに関する情報を管理し、前記可変テンプレートは、（ｉ）第１方向の少なくとも一つの第１境界線及び（ｉｉ）第２方向の少なくとも一つの第２境界線のうち少なくとも一部を含み、このうち一部は調整可能であることを特徴とする請求項２に記載の方法。

【請求項4】

前記可変テンプレートは、行グループ（ｒｏｗ ｇｒｏｕｐ）と一つ以上の列グループ（ｃｏｌｕｍｎ ｇｒｏｕｐ）を含み、前記行グループは（ｉ）上段行グループ、（ｉｉ）前記列グループのうち少なくとも一部を含む中段行グループ、及び（ｉｉｉ）下段行グループを含み、少なくとも一つの前記テスト用物体は、前記行グループと前記列グループとによって形成される前記サブセクションのうち、前記少なくとも一部それぞれに含まれることを特徴とする請求項２に記載の方法。

【請求項5】

前記（ａ）段階以前に、
（ａ０）前記コンピュータ装置が、前記ニューラルネットワークをもって、一つ以上のトレーニングイメージに含まれるそれぞれの前記学習用非物体に関する情報を利用して、前記学習用パラメータを学習させる段階；
をさらに含むことを特徴とする請求項１に記載の方法。

【請求項6】

前記（ａ０）段階で、
前記ニューラルネットワークは、前記トレーニングイメージ内に含まれた第１分割領域ないし第ｋ分割領域までの分割領域のうち少なくとも一部それぞれに含まれるそれぞれの前記学習用非物体に関する情報を利用して、前記学習用パラメータを学習し、前記学習用非物体に関するクラス情報を、前記学習用非物体に対応する学習用パラメータと連動して格納することを特徴とする請求項５に記載の方法。

【請求項7】

前記それぞれのトレーニングイメージ上で前記第１分割領域ないし前記第ｋ分割領域の位置情報を第１位置情報ないし第ｋ位置情報とする場合、前記トレーニングイメージそれぞれの第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが設定済み閾値以下に該当すれば、それを前記トレーニングイメージとして選定することを特徴とする請求項６に記載の方法。

【請求項8】

前記（ｃ）段階で、
（ｉ）特定のテスト用物体を含む特定のサブセクションに比べて前記特定のテスト用物体が占める面積の割合が設定済み閾値未満である場合、前記コンピュータ装置は前記ニューラルネットワークをもって、前記学習用パラメータのうち少なくとも一つの特定の学習用パラメータを参照して、前記特定のサブセクションに前記ニューラルネットワーク演算を適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定するようにし、（ｉｉ）前記特定のテスト用物体を含む前記特定のサブセクションに比べて前記特定のテスト用物体が占める面積の割合が前記設定済み閾値以上である場合、前記コンピュータ装置は前記ニューラルネットワークをもって（ｉｉ−１）前記学習用パラメータのうち、前記特定の学習用パラメータを参照して、前記特定のサブセクションで特定のテスト用非物体が位置するサブ領域に前記ニューラルネットワーク演算を適用するのに使用される、前記特定のテスト用パラメータの第１部分を決定するようにし、（ｉｉ−２）前記特定のテスト用物体のクラス情報と同一又は類似するクラス情報を有する追加学習用物体を利用して、個別的に学習された少なくとも一つの追加学習用パラメータを参照して、前記特定のサブセクションにおいて、前記特定のテスト用物体が位置するサブ領域に前記ニューラルネットワーク演算を適用するのに使用される前記特定のテスト用パラメータの第２部分を決定するようにすることを特徴とする請求項１に記載の方法。

【請求項9】

前記（ｄ）段階で、
前記コンピュータ装置が、前記ニューラルネットワークをもって、前記テスト用パラメータを利用して前記テストイメージに一つ以上のコンボリューション演算と一つ以上のデコンボリューション演算とを適用して、前記ニューラルネットワーク結果を出力させることを特徴とする請求項１に記載の方法。

【請求項10】

前記テストイメージは道路走行状況を示し、前記テスト用物体は道路上で現れ得る物体であり、前記ニューラルネットワーク結果は自律走行のために使用されることを特徴とする請求項９に記載の方法。

【請求項11】

グリッド生成器を利用したニューラルネットワーク演算方法において、
（ａ）コンピュータ装置が、テストイメージが取得されると、検出器をもって前記テストイメージ上に存在するテスト用物体を検出して、前記テストイメージ上に前記テスト用物体がどこにあるのかに関する情報を含むテスト用物体位置情報と前記テストイメージ上に存在する前記テスト用物体クラスに関する情報とを含む前記テスト用物体のクラス情報を取得させる段階；
（ｂ）前記コンピュータ装置が、グリッド生成器をもって、前記テスト用物体位置情報を参照して前記テストイメージ内の複数のサブセクションに関する情報を含むセクション情報を生成させる段階；
（ｃ）前記コンピュータ装置が、ニューラルネットワークをもって、ニューラルネットワーク演算を（ｉ）それぞれの前記テスト用物体とそれに対応する前記テスト用非物体とを含む前記サブセクションのうち少なくとも一部に、又は（ｉｉ）前記サブセクションのうち、前記少なくとも一部内で前記それぞれのテスト用物体が位置するそれぞれのサブ領域に適用するのに使用されるテスト用パラメータを決定し、前記それぞれのテスト用物体の前記クラス情報と同一又は類似するクラス情報を有するそれぞれの学習用物体に関する情報を使用して学習された学習用パラメータを参照して決定するようにする段階；及び
（ｄ）前記コンピュータ装置が、前記ニューラルネットワークをもって、前記サブセクションのうち前記少なくとも一部それぞれに対応する前記それぞれのテスト用パラメータを利用して、前記ニューラルネットワーク演算を前記テストイメージに適用することにより一つ以上のニューラルネットワーク結果を出力させる段階；
を含むことを特徴とする方法。

【請求項12】

前記（ａ）段階以前に、
（ａ０）前記コンピュータ装置が、前記ニューラルネットワークをもって、一つ以上のトレーニングイメージに含まれるそれぞれの前記学習用物体に関する情報を利用して、前記学習用パラメータを学習させる段階；
をさらに含むことを特徴とする請求項１１に記載の方法。

【請求項13】

前記（ａ０）段階で、
前記ニューラルネットワークは、前記トレーニングイメージ内に含まれた第１分割領域ないし第ｋ分割領域までの分割領域のうち少なくとも一部それぞれに含まれるそれぞれの前記学習用物体に関する情報を利用して、前記学習用パラメータを学習し、前記学習用物体に関するクラス情報を、前記学習用物体に対応する学習用パラメータと連動して格納することを特徴とする請求項１２に記載の方法。

【請求項14】

前記それぞれのトレーニングイメージ上で前記第１分割領域ないし前記第ｋ分割領域の位置情報を第１位置情報ないし第ｋ位置情報とするとき、前記トレーニングイメージそれぞれの第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが設定済み閾値以下に該当すれば、それを前記トレーニングイメージとして選定することを特徴とする請求項１３に記載の方法。

【請求項15】

前記（ｃ）段階で、
（ｉ）特定のテスト用物体を含む特定のサブセクションに比べて前記特定のテスト用物体が占める面積の割合が設定済み閾値以上である場合、前記コンピュータ装置は前記ニューラルネットワークをもって、前記学習用パラメータのうち少なくとも一つの特定の学習用パラメータを参照して、前記特定のサブセクションに前記ニューラルネットワーク演算を適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定するようにし、（ｉｉ）前記特定のテスト用物体を含む前記特定のサブセクションに比べて前記特定のテスト用物体が占める面積の割合が前記設定済み閾値未満である場合、前記コンピュータ装置は、前記ニューラルネットワークをもって（ｉｉ−１）前記学習用パラメータのうち前記特定の学習用パラメータを参照して、前記特定のサブセクションで特定のテスト用物体が位置するサブ領域に前記ニューラルネットワーク演算を適用するのに使用される、前記特定のテスト用パラメータの第１部分を決定するようにし、（ｉｉ−２）特定のテスト用非物体のクラス情報と同一又は類似するクラス情報を有する追加学習用非物体を利用して、個別的に学習された少なくとも一つの追加学習用パラメータを参照して、前記特定のサブセクションにおいて、前記特定のテスト用非物体が位置するサブ領域に前記ニューラルネットワーク演算を適用するのに使用される前記特定のテスト用パラメータの第２部分を決定するようにすることを特徴とする請求項１４に記載の方法。

【請求項16】

グリッド生成器を利用してニューラルネットワーク演算するためのコンピュータ装置において、
各インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）検出器をもって、テストイメージ上に存在するテスト用物体とテスト用非物体を検出して、前記テストイメージ上に前記テスト用物体がどこにあるのかに関する情報を含むテスト用物体位置情報と前記テストイメージ上に存在する前記テスト用非物体のクラスに関する情報を含む前記テスト用非物体のクラス情報を取得させるプロセス、（ＩＩ）グリッド生成器をもって、前記テスト用物体位置情報を参照して前記テストイメージ内の複数のサブセクションに関する情報を含むセクション情報を生成するようにするプロセス、（ＩＩＩ）ニューラルネットワークをもって、前記ニューラルネットワーク演算を（ｉ）それぞれの前記テスト用物体とそれに対応する前記テスト用非物体とを含む前記サブセクションのうち少なくとも一部に、又は（ｉｉ）前記サブセクションのうち、前記少なくとも一部内で前記それぞれのテスト用非物体が位置するそれぞれのサブ領域に適用するのに使用されるテスト用パラメータを決定し、前記それぞれのテスト用非物体の前記クラス情報と同一又は類似するクラス情報を有するそれぞれの学習用非物体に関する情報を使用して学習された学習用パラメータを参照して決定するようにするプロセス、及び（ＩＶ）前記ニューラルネットワークをもって、前記サブセクションのうち前記少なくとも一部それぞれに対応する前記それぞれのテスト用パラメータを利用して、前記ニューラルネットワーク演算を前記テストイメージに適用することにより、一つ以上のニューラルネットワーク結果を出力させるプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするコンピュータ装置。

【請求項17】

前記（ＩＩ）プロセスで、
前記グリッド生成器が、可変テンプレートを利用して前記テストイメージを分け、前記可変テンプレートの前記サブセクションの前記少なくとも一部それぞれに前記テスト用物体のうち少なくとも一つが含まれるように一つ以上の境界線が調整された前記可変テンプレートが提供されることを特徴とする請求項１６に記載のコンピュータ装置。

【請求項18】

前記グリッド生成器が、前記可変テンプレートに関する情報を管理し、前記可変テンプレートは（ｉ）第１方向の少なくとも一つの第１境界線及び（ｉｉ）第２方向の少なくとも一つの第２境界線のうち少なくとも一部を含み、このうち一部は調整可能であることを特徴とする請求項１７に記載のコンピュータ装置。

【請求項19】

前記可変テンプレートは、行グループと一つ以上の列グループを含み、前記行グループは（ｉ）上段行グループ、（ｉｉ）前記列グループのうち少なくとも一部を含む中段行グループ、及び（ｉｉｉ）下段行グループを含み、少なくとも一つの前記テスト用物体は前記行グループと前記列グループとによって形成される前記サブセクションのうち前記少なくとも一部それぞれに含まれることを特徴とする請求項１７に記載のコンピュータ装置。

【請求項20】

前記（Ｉ）プロセス以前に、
前記プロセッサは、（０）前記ニューラルネットワークをもって、一つ以上のトレーニングイメージに含まれるそれぞれの前記学習用非物体に関する情報を利用して、前記学習用パラメータを学習させるプロセスをさらに遂行することを特徴とする請求項１６に記載のコンピュータ装置。

【請求項21】

前記（０）プロセスで、
前記ニューラルネットワークは、前記トレーニングイメージ内に含まれた第１分割領域ないし第ｋ分割領域までの分割領域のうち少なくとも一部それぞれに含まれるそれぞれの前記学習用非物体に関する情報を利用して、前記学習用パラメータを学習し、前記学習用非物体に関するクラス情報を、前記学習用非物体に対応する学習用パラメータと連動して格納することを特徴とする請求項２０に記載のコンピュータ装置。

【請求項22】

前記それぞれのトレーニングイメージ上で前記第１分割領域ないし前記第ｋ分割領域の位置情報を第１位置情報ないし第ｋ位置情報とするとき、前記トレーニングイメージそれぞれの第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが設定済み閾値以下に該当すれば、それを前記トレーニングイメージとして選定することを特徴とする請求項２１に記載のコンピュータ装置。

【請求項23】

前記（ＩＩＩ）プロセスで、
（ｉ）特定のテスト用物体を含む特定のサブセクションに比べて前記特定のテスト用物体が占める面積の割合が設定済み閾値未満である場合、前記プロセッサは前記ニューラルネットワークをもって、前記学習用パラメータのうち少なくとも一つの特定の学習用パラメータを参照して、前記特定のサブセクションに前記ニューラルネットワーク演算を適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定するようにし、（ｉｉ）前記特定のテスト用物体を含む前記特定のサブセクションに比べて前記特定のテスト用物体が占める面積の割合が前記設定済み閾値以上である場合、前記プロセッサは前記ニューラルネットワークをもって（ｉｉ−１）前記学習用パラメータのうち前記特定の学習用パラメータを参照して、前記特定のサブセクションで特定のテスト用非物体が位置するサブ領域に前記ニューラルネットワーク演算を適用するのに使用される、前記特定のテスト用パラメータの第１部分を決定するようにし、（ｉｉ−２）前記特定のテスト用物体のクラス情報と同一又は類似するクラス情報を有する追加学習用物体を利用して、個別的に学習された少なくとも一つの追加学習用パラメータを参照して、前記特定のサブセクションにおいて、前記特定のテスト用物体が位置するサブ領域に前記ニューラルネットワーク演算を適用するのに使用される前記特定のテスト用パラメータの第２部分を決定するようにすることを特徴とする請求項１６に記載のコンピュータ装置。

【請求項24】

前記（ＩＶ）プロセスで、
前記プロセッサが前記ニューラルネットワークをもって、前記テスト用パラメータを利用して前記テストイメージに一つ以上のコンボリューション演算と一つ以上のデコンボリューション演算とを適用して、前記ニューラルネットワーク結果を出力させることを特徴とする請求項１６に記載のコンピュータ装置。

【請求項25】

前記テストイメージは道路走行状況を示し、前記テスト用物体は道路上で現れ得る物体であり、前記ニューラルネットワーク結果は自律走行のために使用されることを特徴とする請求項２４に記載のコンピュータ装置。

【請求項26】

グリッド生成器を利用してニューラルネットワーク演算するためのコンピュータ装置において、
各インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）検出器をもって、テストイメージ上に存在するテスト用物体を検出して、前記テストイメージ上に前記テスト用物体がどこにあるのかに関する情報を含むテスト用物体位置情報と前記テストイメージ上に存在する前記テスト用物体クラスに関する情報を含む前記テスト用物体のクラス情報を取得させるプロセス、（ＩＩ）グリッド生成器をもって、前記テスト用物体位置情報を参照して、前記テストイメージ内の複数のサブセクションに関する情報を含むセクション情報を生成させるプロセス、（ＩＩＩ）ニューラルネットワークをもって、ニューラルネットワーク演算を（ｉ）それぞれの前記テスト用物体とそれに対応する前記テスト用非物体とを含む 前記サブセクションのうち少なくとも一部に、又は（ｉｉ）前記サブセクションのうち、前記少なくとも一部内で前記それぞれのテスト用物体が位置するそれぞれのサブ領域に適用するのに使用されるテスト用パラメータを決定し、前記それぞれのテスト用物体の前記クラス情報と同一又は類似するクラス情報を有するそれぞれの学習用物体に関する情報を使用して学習された学習用パラメータを参照して決定するようにするプロセス、及び（ＩＶ）前記ニューラルネットワークをもって、前記サブセクションそれぞれに対応する前記それぞれのテスト用パラメータを利用して、前記ニューラルネットワーク演算をテストイメージに適用することによって、一つ以上のニューラルネットワーク結果を出力させるプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするコンピュータ装置。

【請求項27】

前記（Ｉ）プロセス以前に、
前記プロセッサは、（０）前記ニューラルネットワークをもって、一つ以上のトレーニングイメージに含まれるそれぞれの前記学習用物体に関する情報を利用して、前記学習用パラメータを学習させるプロセスをさらに遂行することを特徴とする請求項２６に記載のコンピュータ装置。

【請求項28】

前記（０）プロセスで、
前記ニューラルネットワークは、前記トレーニングイメージ内に含まれた第１分割領域ないし第ｋ分割領域までの分割領域のうち少なくとも一部それぞれに含まれるそれぞれの前記学習用物体に関する情報を利用して、前記学習用パラメータを学習し、前記学習用物体に関するクラス情報を、前記学習用物体に対応する学習用パラメータと連動して格納することを特徴とする請求項２７に記載のコンピュータ装置。

【請求項29】

前記それぞれのトレーニングイメージ上で、前記第１分割領域ないし前記第ｋ分割領域の位置情報を第１位置情報ないし第ｋ位置情報とするとき、前記トレーニングイメージそれぞれの第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが設定済み閾値以下に該当すれば、それを前記トレーニングイメージとして選定することを特徴とする請求項２８に記載のコンピュータ装置。

【請求項30】

前記（ＩＩＩ）プロセスで、
（ｉ）特定のテスト用物体を含む特定のサブセクションに比べて前記特定のテスト用物体が占める面積の割合が設定済み閾値以上である場合、前記プロセッサは前記ニューラルネットワークをもって、前記学習用パラメータのうち少なくとも一つの特定の学習用パラメータを参照して、前記特定のサブセクションに前記ニューラルネットワーク演算を適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定するようにし、（ｉｉ）前記特定のテスト用物体を含む前記特定のサブセクションに比べて前記特定のテスト用物体が占める面積の割合が前記設定済み閾値未満である場合、前記プロセッサは前記ニューラルネットワークをもって（ｉｉ−１）前記学習用パラメータのうち前記特定の学習用パラメータを参照して、前記特定のサブセクションで特定のテスト用物体が位置するサブ領域に前記ニューラルネットワーク演算を適用するのに使用される、前記特定のテスト用パラメータの第１部分を決定するようにし、（ｉｉ−２）特定のテスト用非物体のクラス情報と同一又は類似するクラス情報を有する追加学習用非物体を利用して、個別的に学習された少なくとも一つの追加学習用パラメータを参照して、前記特定のサブセクションにおいて、前記特定のテスト用非物体が位置するサブ領域に前記ニューラルネットワーク演算を適用するのに使用される前記特定のテスト用パラメータの第２部分を決定するようにすることを特徴とする請求項２９に記載のコンピュータ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自律走行車両レベル４を満たすために、テストイメージ内の領域のクラスに応じてモードを切り換えるためにグリッド生成器を利用するニューラルネットワーク演算方法に関し、より詳細には、前記グリッド生成器を利用した前記ニューラルネットワーク演算方法において、（ａ）前記テストイメージが取得されると、検出器をもって前記テストイメージ上に存在するテスト用非物体（ｎｏｎ−ｏｂｊｅｃｔ）とテスト用物体を検出して、前記テストイメージ上に前記テスト用物体がどこにあるのかに関する情報を含むテスト用物体位置情報と、前記テストイメージ上に存在する前記テスト用非物体のクラスに関する情報を含む前記テスト用非物体のクラス情報を取得させる段階；（ｂ）グリッド生成器をもって、前記テスト用物体位置情報を参照して前記テストイメージ内の複数のサブセクションに関する情報を含むセクション情報を生成させる段階；（ｃ）ニューラルネットワークをもって、前記ニューラルネットワーク演算を（ｉ）それぞれの前記テスト用物体とそれに対応する前記テスト用非物体とを含む前記サブセクションのうち少なくとも一部に、又は（ｉｉ）前記サブセクションのうち前記少なくとも一部内で前記それぞれのテスト用非物体が位置するそれぞれのサブ領域に適用するのに使用されるテスト用パラメータを決定し、前記それぞれのテスト用非物体の前記クラス情報と同一又は類似するクラス情報を有するそれぞれの学習用非物体に関する情報を使用して学習された学習用パラメータを参照して決定するようにする段階；及び（ｄ）前記ニューラルネットワークをもって、前記サブセクションのうち前記少なくとも一部それぞれに対応する前記それぞれのテスト用パラメータを利用して、前記ニューラルネットワーク演算を前記テストイメージに適用することにより、一つ以上のニューラルネットワーク結果を出力させる段階；を含む方法、及びこれを利用した装置に関する。

【背景技術】

【0002】

ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の識別問題を解決するために９０年代にも使われていたが、近年になっては機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）分野で広く使用されるようになった。例えば、ＣＮＮは、２０１２年にＩｍａｇｅＮｅｔイメージ分類コンテスト（ＩｍａｇｅＮｅｔ Ｌａｒｇｅ Ｓｃａｌｅ Ｖｉｓｕａｌ Ｒｅｃｏｇｎｉｔｉｏｎ Ｃｈａｌｌｅｎｇｅ）で他の競争相手に勝って優勝を収めた。その後、ＣＮＮは機械学習分野で非常に有用なツールとして使用されるようになった。
一方、ＣＮＮは、自律走行分野でも広く使用される。自律走行環境で大部分の入力イメージは主に入力イメージの中央に車道を含み、左右側に歩道を含むなどの典型的かつ類似した配列を有する。したがって、自律走行用ＣＮＮは、入力イメージの構成要素のように典型的な配列、例えば、典型的な構成要素を備えたトレーニングイメージを利用してパラメータを学習するようになる。

【0003】

しかし、前記にて言及した学習プロセスには大きな欠点がある。まさに入力イメージの配列がトレーニングイメージの典型的な配列と異なる場合、ＣＮＮ演算が非効率的であるという点である。例えば、コーナーを回る場合、典型的な配列が備えたトレーニングイメージとは異なり、テストイメージの中央に車道がないであろうし、ＣＮＮパラメータは、イメージの中央に車道のある入力イメージに最適化されているので、前記言及されたパラメータではテストイメージを正しく演算することができない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、上述の問題点を解決することを目的とする。

【0005】

本発明は、一つ以上のテスト用非物体に関するクラス情報又はサブセクションのうち少なくとも一部それぞれに含まれる一つ以上のテスト用物体に関するクラス情報を参照して、テスト用パラメータを決定する方法を提供することにより、最適化されたニューラルネットワーク結果を出力することを他の目的とする。

【課題を解決するための手段】

【0006】

前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。

【0007】

本発明の一態様によると、グリッド生成器を利用したニューラルネットワーク演算方法において、（ａ）コンピュータ装置が、テストイメージが取得されると、検出器をもって前記テストイメージ上に存在するテスト用物体とテスト用非物体を検出して、前記テストイメージ上に前記テスト用物体がどこにあるのかに関する情報を含むテスト用物体位置情報と、前記テストイメージ上に存在する前記テスト用非物体のクラスに関する情報を含む前記テスト用非物体のクラス情報を取得させる段階；（ｂ）前記コンピュータ装置が、グリッド生成器をもって、前記テスト用物体位置情報を参照して前記テストイメージ内の複数のサブセクションに関する情報を含むセクション情報を生成させる段階；（ｃ）前記コンピュータ装置が、ニューラルネットワークをもって、前記ニューラルネットワーク演算を（ｉ）それぞれの前記テスト用物体と、それに対応する前記テスト用非物体とを含む前記サブセクションのうち少なくとも一部に、又は（ｉｉ）前記サブセクションのうち前記少なくとも一部内で前記それぞれのテスト用非物体が位置するそれぞれのサブ領域に適用するのに使用されるテスト用パラメータを決定し、前記それぞれのテスト用非物体の前記クラス情報と同一又は類似するクラス情報を有するそれぞれの学習用非物体に関する情報を使用して学習された学習用パラメータを参照して決定するようにする段階；及び（ｄ）前記コンピュータ装置が、前記ニューラルネットワークをもって、前記サブセクションのうち前記少なくとも一部それぞれに対応する前記それぞれのテスト用パラメータを利用して、前記ニューラルネットワーク演算を前記テストイメージに適用することにより、一つ以上のニューラルネットワーク結果を出力させる段階；を含むことを特徴とする方法を開示する。

【0008】

一実施例において、前記（ｂ）段階で、前記グリッド生成器が可変テンプレート（ｄｙｎａｍｉｃ ｔｅｍｐｌａｔｅ）を利用して前記テストイメージを分け、前記可変テンプレートの前記サブセクションの前記少なくとも一部それぞれに前記テスト用物体のうち少なくとも一つが含まれるように一つ以上の境界線が調整された前記可変テンプレートが提供されることを特徴とする。

【0009】

一実施例において、前記グリッド生成器が、前記可変テンプレートに関する情報を管理し、前記可変テンプレートは（ｉ）第１方向の少なくとも一つの第１境界線及び（ｉｉ）第２方向の少なくとも一つの第２境界線のうち少なくとも一部を含み、このうち一部は調整可能であることを特徴とする。

【0010】

一実施例において、前記可変テンプレートは、行グループ（ｒｏｗ ｇｒｏｕｐ）と一つ以上の列グループ（ｃｏｌｕｍｎ ｇｒｏｕｐ）を含み、前記行グループは（ｉ）上段行グループ、（ｉｉ）前記列グループのうち少なくとも一部を含む中段行グループ、及び（ｉｉｉ）下段行グループを含み、少なくとも一つの前記テスト用物体は、前記行グループと前記列グループとによって形成される前記サブセクションのうち前記少なくとも一部それぞれに含まれることを特徴とする。

【0011】

一実施例において、前記（ａ）段階以前に、（ａ０）前記コンピュータ装置が、前記ニューラルネットワークをもって、一つ以上のトレーニングイメージに含まれるそれぞれの前記学習用非物体に関する情報を利用して、前記学習用パラメータを学習させる段階；をさらに含むことを特徴とする。

【0012】

一実施例において、前記（ａ０）段階で、前記ニューラルネットワークは、前記トレーニングイメージ内に含まれた第１分割領域ないし第ｋ分割領域までの分割領域のうち少なくとも一部それぞれに含まれるそれぞれの前記学習用非物体に関する情報を利用して、前記学習用パラメータを学習し、前記学習用非物体に関するクラス情報を、前記学習用非物体に対応する学習用パラメータと連動して格納することを特徴とする。

【0013】

一実施例において、前記それぞれのトレーニングイメージ上で前記第１分割領域ないし前記第ｋ分割領域の位置情報を第１位置情報ないし第ｋ位置情報とするとき、前記トレーニングイメージそれぞれの第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが設定済み閾値以下に該当すれば、それを前記トレーニングイメージとして選定することを特徴とする。

【0014】

一実施例において、前記（ｃ）段階で、（ｉ）特定のテスト用物体を含む特定のサブセクションに比べて前記特定のテスト用物体が占める面積の割合が設定済み閾値未満である場合、前記コンピュータ装置は、前記ニューラルネットワークをもって、前記学習用パラメータのうち少なくとも一つの特定の学習用パラメータを参照して、前記特定のサブセクションに前記ニューラルネットワーク演算を適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定するようにし、（ｉｉ）前記特定のテスト用物体を含む前記特定のサブセクションに比べて前記特定のテスト用物体が占める面積の割合が前記設定済み閾値以上である場合、前記コンピュータ装置は前記ニューラルネットワークをもって（ｉｉ−１）前記学習用パラメータのうち、前記特定の学習用パラメータを参照して、前記特定のサブセクションで特定のテスト用非物体が位置するサブ領域に前記ニューラルネットワーク演算を適用するのに使用される、前記特定のテスト用パラメータの第１部分を決定するようにし、（ｉｉ−２）前記特定のテスト用物体のクラス情報と同一又は類似するクラス情報を有する追加学習用物体を利用して、個別的に学習された少なくとも一つの追加学習用パラメータを参照して、前記特定のサブセクションで前記特定のテスト用物体が位置するサブ領域に前記ニューラルネットワーク演算を適用するのに使用される前記特定のテスト用パラメータの第２部分を決定するようにすることを特徴とする。

【0015】

一実施例において、前記（ｄ）段階で、前記コンピュータ装置が前記ニューラルネットワークをもって、前記テスト用パラメータを利用して前記テストイメージに一つ以上のコンボリューション演算と一つ以上のデコンボリューション演算とを適用して、前記ニューラルネットワーク結果を出力させることを特徴とする。

【0016】

一実施例において、前記テストイメージは道路走行状況を示し、前記テスト用物体は道路上で現れ得る物体であり、前記ニューラルネットワーク結果は自律走行のために使用されることを特徴とする。

【0017】

本発明の他の態様によると、グリッド生成器を利用したニューラルネットワーク演算方法において、（ａ）コンピュータ装置が、テストイメージが取得されると、検出器をもって前記テストイメージ上に存在するテスト用物体を検出して、前記テストイメージ上に前記テスト用物体がどこにあるのかに関する情報を含むテスト用物体位置情報と、前記テストイメージ上に存在する前記テスト用物体クラスに関する情報を含む前記テスト用物体のクラス情報を取得させる段階（ｂ）前記コンピュータ装置が、グリッド生成器をもって、前記テスト用物体位置情報を参照して前記テストイメージ内の複数のサブセクションに関する情報を含むセクション情報を生成させる段階；（ｃ）前記コンピュータ装置が、ニューラルネットワークをもって、ニューラルネットワーク演算を（ｉ）それぞれの前記テスト用物体とそれに対応する前記テスト用非物体とを含む前記サブセクションのうち少なくとも一部に、又は（ｉｉ）前記サブセクションのうち、前記少なくとも一部内で前記それぞれのテスト用物体が位置するそれぞれのサブ領域に適用するのに使用されるテスト用パラメータを決定し、前記それぞれのテスト用物体の前記クラス情報と同一又は類似するクラス情報を有するそれぞれの学習用物体に関する情報を使用して学習された学習用パラメータを参照して決定するようにする段階；及び（ｄ）前記コンピュータ装置が、前記ニューラルネットワークをもって、前記サブセクションのうち前記少なくとも一部それぞれに対応する前記それぞれのテスト用パラメータを利用して、前記ニューラルネットワーク演算を前記テストイメージに適用することにより、一つ以上のニューラルネットワーク結果を出力させる段階；を含むことを特徴とする方法を開示する。

【0018】

一実施例において、前記（ａ）段階以前に、（ａ０）前記コンピュータ装置が前記ニューラルネットワークをもって、一つ以上のトレーニングイメージに含まれるそれぞれの前記学習用物体に関する情報を利用して、前記学習用パラメータを学習させる段階；をさらに含むことを特徴とする。

【0019】

一実施例において、前記（ａ０）段階で、前記ニューラルネットワークは、前記トレーニングイメージ内に含まれた第１分割領域ないし第ｋ分割領域までの分割領域のうち少なくとも一部それぞれに含まれるそれぞれの前記学習用物体に関する情報を利用して、前記学習用パラメータを学習し、前記学習用物体に関するクラス情報を、前記学習用物体に対応する学習用パラメータと連動して格納することを特徴とする。

【0020】

一実施例において、前記それぞれのトレーニングイメージ上で前記第１分割領域ないし前記第ｋ分割領域の位置情報を第１位置情報ないし第ｋ位置情報とするとき、前記トレーニングイメージそれぞれの第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが設定済み閾値以下に該当すれば、それを前記トレーニングイメージとして選定することを特徴とする。

【0021】

一実施例において、前記（ｃ）段階で、（ｉ）特定のテスト用物体を含む特定のサブセクションに比べて前記特定のテスト用物体が占める面積の割合が設定済み閾値以上である場合、前記コンピュータ装置は前記ニューラルネットワークをもって、前記学習用パラメータのうち少なくとも一つの特定の学習用パラメータを参照して、前記特定のサブセクションに前記ニューラルネットワーク演算を適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定するようにし、（ ｉｉ ） 前記特定のテスト用物体を含む前記特定のサブセクションと比べて前記特定のテスト用物体が占める面積の割合が前記設定済み閾値未満である場合、前記コンピュータ装置は、前記ニューラルネットワークをもって（ｉｉ−１）前記学習用パラメータのうち、前記特定の学習用パラメータを参照して、前記特定のサブセクションで特定のテスト用物体が位置するサブ領域に前記ニューラルネットワーク演算を適用するのに使用される、前記特定のテスト用パラメータの第１部分を決定するようにし、（ｉｉ−２）特定のテスト用非物体のクラス情報と同一又は類似するクラス情報を有する追加学習用非物体を利用して、個別的に学習された少なくとも一つの追加学習用パラメータを参照して、前記特定のサブセクションにおいて、前記特定のテスト用非物体が位置するサブ領域に前記ニューラルネットワーク演算を適用するのに使用される前記特定のテスト用パラメータの第２部分を決定するようにすることを特徴とする。

【0022】

本発明のまた他の態様によると、グリッド生成器を利用してニューラルネットワーク演算するためのコンピュータ装置において、各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）検出器をもって、テストイメージ上に存在するテスト用物体とテスト用非物体を検出して、前記テストイメージ上に前記テスト用物体がどこにあるのかに関する情報を含むテスト用物体位置情報と前記テストイメージ上に存在する前記テスト用非物体のクラスに関する情報を含む前記テスト用非物体のクラス情報を取得させるプロセス、（ＩＩ）グリッド生成器をもって、前記テスト用物体位置情報を参照して前記テストイメージ内の複数のサブセクションに関する情報を含むセクション情報を生成させるプロセス、（ＩＩＩ）ニューラルネットワークをもって、前記ニューラルネットワーク演算を（ｉ）それぞれの前記テスト用物体とそれに対応する前記テスト用非物体とを含む前記サブセクションのうち少なくとも一部に、又は（ｉｉ）前記サブセクションのうち、前記少なくとも一部内で前記それぞれのテスト用非物体が位置するそれぞれのサブ領域に適用するのに使用されるテスト用パラメータを決定し、前記それぞれのテスト用非物体の前記クラス情報と同一又は類似するクラス情報を有するそれぞれの学習用非物体に関する情報を使用して学習された学習用パラメータを参照して決定するようにするプロセス、及び（ＩＶ）前記ニューラルネットワークをもって、前記サブセクションのうち、前記少なくとも一部それぞれに対応する前記それぞれのテスト用パラメータを利用して、前記ニューラルネットワーク演算を前記テストイメージに適用することにより、一つ以上のニューラルネットワーク結果を出力させるプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするコンピュータ装置を開示する。

【0023】

一実施例において、前記（ＩＩ）プロセスで、前記グリッド生成器が可変テンプレートを利用して前記テストイメージを分け、前記可変テンプレートの前記サブセクションの前記少なくとも一部それぞれに前記テスト用物体のうち少なくとも一つが含まれるように一つ以上の境界線が調整された前記可変テンプレートが提供されることを特徴とする。

【0024】

一実施例において、前記グリッド生成器が、前記可変テンプレートに関する情報を管理し、前記可変テンプレートは（ｉ）第１方向の少なくとも一つの第１境界線及び（ｉｉ）第２方向の少なくとも一つの第２境界線のうち少なくとも一部を含み、このうち一部は調整可能であることを特徴とする。

【0025】

一実施例において、前記可変テンプレートは、行グループと一つ以上の列グループを含み、前記行グループは（ｉ）上段行グループ、（ｉｉ）前記列グループのうち少なくとも一部を含む中段行グループ、及び（ｉｉｉ）下段行グループを含み、少なくとも一つの前記テスト用物体は前記行グループと前記列グループとによって形成される前記サブセクションのうち前記少なくとも一部それぞれに含まれることを特徴とする。

【0026】

一実施例において、前記（Ｉ）プロセス以前に、前記プロセッサは、（０）前記ニューラルネットワークをもって、一つ以上のトレーニングイメージに含まれるそれぞれの前記学習用非物体に関する情報を利用して、前記学習用パラメータを学習させるプロセスをさらに遂行することを特徴とする。

【0027】

一実施例において、前記（０）プロセスで、前記ニューラルネットワークは前記トレーニングイメージ内に含まれた第１分割領域ないし第ｋ分割領域までの分割領域のうち少なくとも一部それぞれに含まれるそれぞれの前記学習用非物体に関する情報を利用して前記学習用パラメータを学習し、前記学習用非物体に関するクラス情報を、前記学習用非物体に対応する学習用パラメータと連動して格納することを特徴とする。

【0028】

一実施例において、前記それぞれのトレーニングイメージ上で前記第１分割領域ないし前記第ｋ分割領域の位置情報を第１位置情報ないし第ｋ位置情報とするとき、前記トレーニングイメージそれぞれの第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが設定済み閾値以下に該当すれば、それを前記トレーニングイメージとして選定することを特徴とする。

【0029】

一実施例において、前記（ＩＩＩ）プロセスで、（ｉ）特定のテスト用物体を含む特定のサブセクションに比べて前記特定のテスト用物体が占める面積の割合が設定済み閾値未満である場合、前記プロセッサは前記ニューラルネットワークをもって、前記学習用パラメータのうち少なくとも一つの特定の学習用パラメータを参照して、前記特定のサブセクションに前記ニューラルネットワーク演算を適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定するようにし、（ｉｉ）前記特定のテスト用物体を含む前記特定のサブセクションに比べて前記特定のテスト用物体が占める面積の割合が前記設定済み閾値以上である場合、前記プロセッサは前記ニューラルネットワークをもって（ｉｉ−１）前記学習用パラメータのうち、前記特定の学習用パラメータを参照して、前記特定のサブセクションで特定のテスト用非物体が位置するサブ領域に前記ニューラルネットワーク演算を適用するのに使用される、前記特定のテスト用パラメータの第１部分を決定するようにし、（ｉｉ−２）前記特定のテスト用物体のクラス情報と同一又は類似するクラス情報を有する追加学習用物体を利用して、個別的に学習された少なくとも一つの追加学習用パラメータを参照して、前記特定のサブセクションにおいて、前記特定のテスト用物体が位置するサブ領域に前記ニューラルネットワーク演算を適用するのに使用される前記特定のテスト用パラメータの第２部分を決定するようにすることを特徴とする。

【0030】

一実施例において、前記（ＩＶ）プロセスにおいて、前記プロセスが前記ニューラルネットワークをもって、前記テスト用パラメータを利用して前記テストイメージに一つ以上のコンボリューション演算と一つ以上のデコンボリューション演算とを適用して、前記ニューラルネットワーク結果を出力させることを特徴とする。

【0031】

一実施例において、前記テストイメージは道路走行状況を示し、前記テスト用物体は道路上で現れ得る物体であり、前記ニューラルネットワーク結果は自律走行のために使用されることを特徴とする。

【0032】

本発明のまた他の態様によると、グリッド生成器を利用してニューラルネットワーク演算するためのコンピュータ装置において、各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）検出器をもってテストイメージ上に存在するテスト用物体を検出して、前記テストイメージ上に前記テスト用物体がどこにあるのかに関する情報を含むテスト用物体位置情報と前記テストイメージ上に存在する前記テスト用物体クラスに関する情報を含む前記テスト用物体のクラス情報を取得させるプロセス、（ＩＩ）グリッド生成器をもって、前記テスト用物体位置情報を参照して前記テストイメージ内の複数のサブセクションに関する情報を含むセクション情報を生成させるプロセス、（ＩＩＩ）ニューラルネットワークをもって、ニューラルネットワーク演算を（ｉ）それぞれの前記テスト用物体とそれに対応する前記テスト用非物体とを含む前記サブセクションのうち少なくとも一部に、又は（ｉｉ）前記サブセクションのうち前記少なくとも一部内で前記それぞれのテスト用物体が位置するそれぞれのサブ領域に適用するのに使用されるテスト用パラメータを決定し、前記それぞれのテスト用物体の前記クラス情報と同一又は類似するクラス情報を有するそれぞれの学習用物体に関する情報を使用して学習された学習用パラメータを参照して決定するようにするプロセス、及び（ＩＶ）前記ニューラルネットワークをもって、前記サブセクションそれぞれに対応する前記それぞれのテスト用パラメータを利用して、前記ニューラルネットワーク演算を前記テストイメージに適用することにより、一つ以上のニューラルネットワーク結果を出力させるプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするコンピュータ装置を開示する。

【0033】

一実施例において、前記（Ｉ）プロセス以前に前記プロセッサは、（０）前記ニューラルネットワークをもって、一つ以上のトレーニングイメージに含まれるそれぞれの前記学習用物体に関する情報を利用して、前記学習用パラメータを学習させるプロセスをさらに遂行することを特徴とする。

【0034】

一実施例において、前記（０）プロセスで、前記ニューラルネットワークは前記トレーニングイメージ内に含まれた第１分割領域ないし第ｋ分割領域までの分割領域のうち少なくとも一部それぞれに含まれるそれぞれの前記学習用物体に関する情報を利用して、前記学習用パラメータを学習し、前記学習用物体に関するクラス情報を、前記学習用物体に対応する学習用パラメータと連動して格納することを特徴とする。

【0035】

一実施例において、前記それぞれのトレーニングイメージ上で前記第１分割領域ないし前記第ｋ分割領域の位置情報を第１位置情報ないし第ｋ位置情報とするとき、前記トレーニングイメージそれぞれの第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが設定済み閾値以下に該当すれば、それを前記トレーニングイメージとして選定することを特徴とする。

【0036】

一実施例において、前記（ＩＩＩ）プロセスで、（ｉ）特定のテスト用物体を含む特定のサブセクションに比べて前記特定のテスト用物体が占める面積の割合が設定済み閾値以上である場合、前記プロセッサは前記ニューラルネットワークをもって、前記学習用パラメータのうち少なくとも一つの特定の学習用パラメータを参照して、前記特定のサブセクションに前記ニューラルネットワーク演算を適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定するようにし、（ｉｉ）前記特定のテスト用物体を含む前記特定のサブセクションに比べて前記特定のテスト用物体が占める面積の割合が前記設定済み閾値未満である場合、前記プロセッサは前記ニューラルネットワークをもって（ｉｉ−１）前記学習用パラメータのうち、前記特定の学習用パラメータを参照して、前記特定のサブセクションで特定のテスト用物体が位置するサブ領域に前記ニューラルネットワーク演算を適用するのに使用される、前記特定のテスト用パラメータの第１部分を決定するようにし、（ｉｉ−２）特定のテスト用非物体のクラス情報と同一又は類似するクラス情報を有する追加学習用非物体を利用して、個別的に学習された少なくとも一つの追加学習用パラメータを参照して、前記特定のサブセクションにおいて、前記特定のテスト用非物体が位置するサブ領域に前記ニューラルネットワーク演算を適用するのに使用される前記特定のテスト用パラメータの第２部分を決定するようにすることを特徴とする。

【発明の効果】

【0037】

本発明によると、テスト用非物体のクラス情報と同一、又は類似したクラス情報を有するサブセクションに含まれた学習用非物体に関する情報を利用してテスト用パラメータを決定する方法を提供することにより、最適化されたニューラルネットワーク結果を出力することができる効果がある。

【0038】

本発明の実施例の説明に利用されるために添付された以下の図面は、本発明の実施例のうち単に一部であるにすぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。

【図面の簡単な説明】

【0039】

【図1】図１は、本発明によってグリッド生成器を利用してニューラルネットワーク演算方法を遂行するためのコンピュータ装置の構成を示した図面である。

【図2】図２は、本発明によってニューラルネットワーク結果を出力するためのプロセスを示した図面である。

【図3】図３は、本発明によって前記ニューラルネットワークのパラメータを学習するのに使用される典型的な配列を有するトレーニングイメージを示した図面である。

【図4a】図４ａは、本発明によって前記グリッド生成器を利用したニューラルネットワーク演算方法を効率的に適用することができるテストイメージを示した図面である。

【図4b】図４ｂは、本発明によってサブセクションが可変テンプレートによって生成されたテストイメージを示した図面である。

【発明を実施するための形態】

【0040】

後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。

【0041】

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。

【0042】

本発明で言及している各種イメージは、舗装又は非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。

【0043】

以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することとする。

【0044】

参考までに、後述する説明で混同を防止するために、学習プロセスに関する用語には「学習用」という文言が追加されており、テストプロセスに関する用語には「テスト用」という文言が追加された。

【0045】

本発明の第１実施例を以下において説明することとする。

【0046】

図１は、本発明によってグリッド生成器を利用したニューラルネットワーク演算方法を遂行するためのコンピュータ装置の構成を示した図面である。

【0047】

図１を参照すると、前記コンピュータ装置（１００）は、検出器（１３０）、グリッド生成器（１４０）及びニューラルネットワーク（１５０）を含むことができる。前記検出器（１３０）、前記グリッド生成器（１４０）及び前記ニューラルネットワーク（１５０）の様々なデータ入出力過程及び演算過程は、通信部（１１０）及びプロセッサ（１２０）によってそれぞれ遂行され得る。ただし、図１では前記通信部（１１０）及び前記プロセッサ（１２０）の連結関係に関する詳細な説明を省略した。また、前記コンピュータ装置（１００）は、後述するプロセスを遂行するためのコンピュータ読取り可能な各インストラクション（ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｉｎｓｔｒｕｃｔｉｏｎ）を格納し得るメモリー（１１５）をさらに含むことができる。一例示として、前記プロセッサ、前記メモリ、媒体（ｍｅｄｉｕｍ）等は一つのプロセッサとして統合されて機能することもできる。

【0048】

以上にて前記コンピュータ装置（１００）の構成を検討したところ、本発明によって前記グリッド生成器（１４０）を利用してニューラルネットワーク結果を導き出すプロセスについて検討することとする。

【0049】

図２は、本発明によって前記ニューラルネットワーク結果を出力するためのプロセスを示した図面である。

【0050】

図２を参照すると、テストイメージが取得されると、前記検出器（１３０）、前記グリッド生成器（１４０）及び前記ニューラルネットワーク（１５０）の順でプロセスが遂行されることが分かる。前記テストイメージは、検出器（１３０）に入力され、前記検出器（１３０）によって生成されたテスト用物体位置情報と前記テストイメージとは、前記グリッド生成器（１４０）に入力され得る。最終的に、前記検出器（１３０）によって生成される、前記テストイメージ上のテスト用非物体（ｎｏｎ−ｏｂｊｅｃｔ）のクラスに関する情報を含む前記テスト用非物体のクラス情報と、前記グリッド生成器（１４０）によって生成されるセクション情報と前記テストイメージが前記ニューラルネットワーク（１５０）に入力され得る。その後、前記ニューラルネットワーク（１５０）は、前記テスト用非物体のクラス情報と前記セクション情報とを参照して決定されたテスト用パラメータを参照して前記ニューラルネットワーク結果を出力することができる。

【0051】

具体的に、道路走行状況を示す前記テストイメージが前記通信部（１１０）によって取得されると、前記コンピュータ装置（１００）は、前記検出器（１３０）をもって、前記テストイメージ上に存在する前記テスト用非物体とテスト用物体とを検出して、前記テストイメージ上に前記テスト用物体がどこにあるのかに関する情報を含む前記テスト用物体位置情報と前記テスト用非物体のクラス情報を取得するようにする。

【0052】

前記テスト用物体位置情報と前記テスト用非物体のクラス情報とが前記検出器（１３０）によって取得された後、前記コンピュータ装置（１００）は、グリッド生成器（１４０）をもって前記テスト用物体位置情報を参照して、前記テストイメージを複数個のサブセクションに分け、前記テストイメージ内の前記サブセクションに関する情報を含む前記セクション情報を生成させることができる。前記サブセクションのうち一部では、例えば、自動車（テスト用物体）及び車道（テスト用非物体）のように、テスト用物体がそれに対応するテスト用非物体と共に存在することができる。

【0053】

前記グリッド生成器（１４０）は、可変テンプレート（ｄｙｎａｍｉｃ ｔｅｍｐｌａｔｅ）を使用して前記テストイメージを前記サブセクションに分けることができる。

【0054】

具体的に、前記グリッド生成器（１４０）は、前記可変テンプレートに関する情報を管理することができ、前記可変テンプレートは（ｉ）第１方向の少なくとも一つの第１境界線及び（ｉｉ）第２方向の少なくとも一つの第２境界線のうち少なくとも一部を含むことができ、このうち一部は調整可能である。

【0055】

一例示として、第１方向は前記テストイメージの横軸と平行な方向であり、第２方向は前記テストイメージの縦軸と平行な方向であり得るが、これに限定されるわけではなく、各方向は斜線方向でもあり得、さらには特定の関数によって決定される曲線の方向であり得る。

【0056】

または、前記可変テンプレートは、行グループと一つ以上の列グループを含むことができる。一例示として、前記行グループは（ｉ）上段行グループ、（ｉｉ）前記列グループのうち少なくとも一部を含む中段行グループ及び（ｉｉｉ）下段行グループを含むことができる。前記中段行グループが前記列グループのうち少なくとも一部を含む理由は、一般的に重要な物体多数が前記テストイメージの中心に存在するためである。

【0057】

前記のように、前記可変テンプレートの構成はすでに設定されており、前記グリッド生成器（１４０）が前記可変テンプレートを使用して前記テストイメージを分ける際に、一つ以上の境界線が調整された前記可変テンプレートが提供され得る。一例示として、前記サブセクションの少なくとも一部それぞれに前記テスト用物体のうち少なくとも一つが含まれるように前記可変テンプレートが提供され得る。前記セクション情報は、前記調整された境界線位置に関する情報を含むことができる。

【0058】

このように前記セクション情報が生成されると、前記コンピュータ装置（１００）は、前記ニューラルネットワーク（１５０）をもって前記テスト用非物体に関するクラス情報と前記セクション情報とを利用して前記テスト用パラメータを決定させることができる。

【0059】

前記テスト用パラメータを決定するプロセスを記述するために、前記ニューラルネットワークの学習用パラメータを学習するプロセスを説明することとする。

【0060】

前記テストイメージが前記通信部（１１０）によって取得される前に、前記コンピュータ装置（１００）は、前記ニューラルネットワーク（１５０）をもって、一つ以上のトレーニングイメージに含まれた学習用非物体それぞれに関する情報を利用して、学習用パラメータを学習させることができる。前記それぞれのトレーニングイメージは、道路走行状況で現れ得る典型的な配列を含むことができる。前記典型的な配列を説明するために、図３を参照するようにする。

【0061】

図３は、本発明によって前記ニューラルネットワークの学習用パラメータを学習するのに使用される典型的な配列を有する例示トレーニングイメージを示した図面である。

【0062】

図３を参照すると、前記例示トレーニングイメージ（３００）の中央に車道部分が位置し、左右両側に歩道部分が位置し、上段に空の部分が位置することが分かる。前記ニューラルネットワーク（１５０）のパラメータを学習するのに使用された前記トレーニングイメージは、前記例示トレーニングイメージ（３００）と類似し得る。

【0063】

前記例示トレーニングイメージ（３００）の構成を説明するために、学習用位置情報と分割領域用語を検討することとする。

【0064】

前記分割領域は、前記学習用非物体が位置する領域をいうのであって、車道、歩道部分及び空の部分がそれぞれ位置するそれぞれの領域をいう。前記学習用位置情報は、前記分割領域の中心座標を含むことができる。

【0065】

この際、前記それぞれのトレーニングイメージ内で前記第１分割領域ないし前記第ｋ分割領域の位置情報を第１位置情報ないし第ｋ位置情報とすると、前記トレーニングイメージそれぞれの第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが設定済み閾値以下に該当すれば、それを前記トレーニングイメージとして前記学習プロセスに使用するために選定することができる。

【0066】

学習プロセスにおいて、前記ニューラルネットワーク（１５０）は、前記それぞれのトレーニングイメージに含まれた全体領域を使用して、前記学習用パラメータを学習するのではなく、前記トレーニングイメージ内に含まれた第１分割領域ないし第ｋ分割領域までの分割領域のうち少なくとも一部それぞれに含まれるそれぞれの前記学習用非物体に関する情報を利用して、前記学習用パラメータを学習し、前記学習用非物体に対応する学習用パラメータと連動して前記学習用非物体に関するクラス情報を格納することができる。

【0067】

例えば、前記ニューラルネットワーク（１５０）が、図３の前記例示トレーニングイメージのようなトレーニングイメージを複数個使用して前記学習用パラメータを学習する場合を想定することができる。この場合、第１分割領域（３１０）は空の部分、第２分割領域（３２０）は左側の歩道部分、第３分割領域（３３０）は車道部分、そして第４分割領域（３４０）は右側の歩道部分である。前記ニューラルネットワーク（１５０）は、前記第１分割領域（３１０）を利用して前記空の部分に対応する学習用パラメータを学習し、前記空の部分の前記パラメータと連動して前記空の部分に関するクラス情報を格納することができる。これと同様に、前記歩道部分に対応する前記学習用パラメータの一部分を決定する場合、第２分割領域（３２０）と第４分割領域（３４０）が使用され得、前記歩道部分のクラス情報が格納され得る。

【0068】

以上、前記ニューラルネットワーク（１５０）の学習プロセスについて検討してみたところ、前記テスト用パラメータを決定するプロセスについて説明することとする。

【0069】

前記ニューラルネットワーク（１５０）の学習プロセスが完了すると、前記学習用パラメータとそれに対応する非物体に関する前記クラス情報は格納され得る。その後、前記テストイメージが前記通信部（１１０）によって取得され、前記検出器（１３０）と、前記グリッド生成器（１４０）とが遂行するプロセスが完了すると、前記コンピュータ装置（１００）は前記ニューラルネットワーク（１５０）をもって、前記テスト用非物体のクラス情報と同一又は類似するクラス情報とを有する前記学習用非物体に関する情報を使用して学習された学習用パラメータを参照して、前記テスト用パラメータを決定するようにする。

【0070】

前記テスト用パラメータは、前記ニューラルネットワーク演算を（ｉ）それぞれの前記テスト用物体とそれに対応する前記テスト用非物体とを含む前記サブセクションのうち少なくとも一部、又は（ｉｉ）前記サブセクションのうち前記少なくとも一部に位置するそれぞれのサブ領域として、前記それぞれのテスト用非物体が位置するそれぞれのサブ領域に適用するのに使用され得る。前記テスト用パラメータが前記サブ領域にのみ適用されるのであれば、前記それぞれのテスト用物体が位置するそれぞれの領域に適用される少なくとも一つの追加テスト用パラメータは、前記テスト用物体のクラス情報と同一又は類似するクラス情報を有する追加学習用物体を使用して、別途に学習用パラメータを参照して決定され得る。

【0071】

このようなプロセスのために、前記ニューラルネットワーク（１５０）は、前記検出器（１３０）によって取得された前記サブセクションのうち少なくとも一部それぞれに含まれた前記テスト用非物体それぞれに関するクラス情報を使用することができる。

【0072】

例えば、前記車道部分に対応する特定の学習用パラメータと前記車道部分に関するクラス情報が共に格納される場合を想定することができる。この場合、前記車道が前記テストイメージ内の特定のサブセクションに存在するものと判断されれば、特定のテスト用パラメータは、前記特定のサブセクションに対応する特定の学習用パラメータを利用して決定される。

【0073】

従来の方法と比較したとき、こうした方法が効果的である理由は、前記テストイメージに含まれる構成要素の相対的位置が前記トレーニングイメージに含まれる構成要素の位置と異なる場合にも、適切なテスト用パラメータを適用するからである。

【0074】

具体的に、前記トレーニングイメージにおける第１分割領域ないし第ｋ分割領域に対応する第１位置情報ないし第ｋ位置情報それぞれと前記テストイメージでの第１位置情報ないし第ｋ位置情報それぞれを比較した偏差のうち少なくとも一部が第２閾値を超過する場合、本発明がより効果的に適用され得るが、これに限定されるわけではない。

【0075】

図４ａは、本発明によって前記グリッド生成器を利用した前記ニューラルネットワーク演算を効果的に適用することができる例示テストイメージを示した図面である。

【0076】

図４ａを参照すると、図３とは異なって車道部分が左側に位置し、歩道部分は右側に位置することを確認することができる。この場合、従来の方法により生成された前記ニューラルネットワーク演算の結果は最適化され得ないが、その理由は、前記テストイメージに含まれている車道部分の位置と前記トレーニングイメージに含まれた車道部分の位置とが異なるからである。したがって、前記テスト用パラメータが最適化されていない状態になるところ、結果が好ましくない短所がある。ところが、本発明の方法がこのような場合に対応する前記テストイメージに適用されるのであれば、最適化されたパラメータが前記サブセクションのうち少なくとも一部それぞれに適用されて、前記ニューラルネットワーク演算の結果が最適に生成されるであろう。これは、図４ｂを参照すると分かる。

【0077】

図４ｂは、本発明により可変テンプレートによって生成されたサブセクションを含む例示テストイメージを示した図面である。

【0078】

図４ｂを参照すると、前記中段行左側の車道部分を含むサブセクション（５２０）、前記中段行中心の車道部分を含むサブセクション（５３０）、及び前記下段行の車道部分を含むサブセクション（５５０）と前記中段行右側にある歩道部分を含むサブセクション（５４０）が表示されていることが分かる。前記サブセクションによって、前記トレーニングイメージに含まれる前記車道部分を使用して学習された前記学習用パラメータをサブセクション（５２０、５３０及び５５０）に適用することができ、前記トレーニングイメージに含まれた前記歩道部分を使用して学習された前記学習用パラメータは、前記サブセクション（５４０）に適用することができる。

【0079】

一方、前記テスト用パラメータは、特定のテスト用物体を含む特定のサブセクションに比べて特定のテスト用物体が占める面積の割合をさらに参照して決定される。

【0080】

具体的に、前記特定のテスト用物体を含む前記特定のサブセクションに比べて前記特定のテスト用物体が占める面積の割合が設定済み閾値未満である場合、前記コンピュータ装置（１００）は、前記ニューラルネットワーク（１５０）をもって、前記テスト用パラメータのうち少なくとも一つの特定の学習用パラメータを参照して、前記特定のサブセクションに前記ニューラルネットワーク演算を適用するのに使用される前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定させることができる。

【0081】

それとは異なって、前記特定のテスト用物体を含む前記特定のサブセクションに比べて前記特定のテスト用物体が占める面積の割合が前記設定済み閾値以上である場合、前記コンピュータ装置（１００）は、前記ニューラルネットワーク（１５０）をもって前記学習用パラメータのうち前記特定の学習用パラメータを参照して、前記特定のサブセクションで前記特定のテスト用非物体が位置するサブ領域に前記ニューラルネットワーク演算を適用するのに使用される前記特定のテスト用パラメータの第１部分を決定するようにし、前記特定のテスト用物体のクラス情報と同一又は類似するクラス情報を有する追加学習用物体を利用して、個別的に学習された少なくとも一つの追加学習用パラメータを参照して、前記特定のサブセクションにおいて、前記特定のテスト用物体が位置するサブ領域に前記ニューラルネットワーク演算を適用するのに使用される前記特定のテスト用パラメータの第２部分を決定させることができる。

【0082】

前記学習用パラメータは、前記学習用非物体を参照して学習されたため、前記特定のサブセクションに比べて前記特定の非物体が占める面積の割合が高い場合、前記学習用パラメータを利用して前記テスト用パラメータを効率的に決定することができる。その逆の場合には、すなわち、前記特定のサブセクションに比べて前記特定の非物体が占める面積の割合が低い場合、前記特定の非物体は前記特定のサブセクションを代表するとみなすことができないので、前記学習用パラメータを利用して前記テスト用パラメータを決定することが効率的でないことがある。したがって、前記特定のテスト用パラメータの第１部分は、前記特定のテスト用非物体が位置する前記サブ領域に適用され、前記特定のテスト用パラメータの第２部分は、前記特定のテスト用物体が位置するサブ領域に適用される。

【0083】

このように、前記テスト用パラメータが決定されると、前記ニューラルネットワーク演算は前記テストイメージに適用され得るが、前記ニューラルネットワーク演算は、コンボリューション演算及びデコンボリューション演算であり得る。すなわち、前記コンピュータ装置（１００）は、前記ニューラルネットワーク（１５０）をもって、前記テスト用パラメータを利用して前記テストイメージに一つ以上のコンボリューション演算と一つ以上のデコンボリューション演算とを適用して、前記ニューラルネットワーク演算の結果を出力させることができる。

【0084】

次に、本発明の他の実施例を紹介することとする。

【0085】

前記一実施例と異なる実施例の最も大きな相違点は、（ｉ）他の実施例で、前記テスト用パラメータは前記テスト用物体に関するクラス情報を参照して決定され、（ｉｉ）他の実施例で、前記学習用パラメータは前記学習用物体を利用して学習されるという点である。例えば、自動車が前記テストイメージ内の特定のサブセクションに存在するのであれば、前記特定のテスト用パラメータは、前記他の実施例にしたがって、前記トレーニングイメージに含まれた自動車を使用して学習された特定の学習用パラメータを利用して決定される。一実施例と他の実施例を見ると、同一の特徴もあり異なる特徴もあるところ、これを重点的に説明することとする。

【0086】

まず、前記検出器（１３０）が遂行するプロセスから前記グリッド生成器（１４０）が遂行するプロセスまでは、前記テストイメージ上の前記テスト用物体のクラスに関する情報を含む前記テスト用物体のクラス情報が前記検出器（１３０）によって取得されるという点を除けば前記一実施例と類似するが、他の実施例において、前記ニューラルネットワーク（１５０）が遂行した後のプロセスは一実施例とは異なる。

【0087】

つまり、他の実施例で、前記コンピュータ装置（１００）は、前記ニューラルネットワーク演算を（ｉ）前記それぞれの前記テスト用物体とそれに対応する前記テスト用非物体とを含む前記サブセクションのうち少なくとも前記一部に、又は（ｉｉ）前記サブセクションのうち、前記少なくとも一部に位置するサブ領域として前記それぞれのテスト用物体が位置するそれぞれのサブ領域に適用するのに使用されるテスト用パラメータを決定し、前記それぞれのテスト用物体の前記クラス情報と同一又は類似するクラス情報を有するそれぞれの学習用物体に関する情報を使用して学習された学習用パラメータを参照して決定させることができる。一実施例と比較してみると、非物体ではない前記テスト用物体に関するクラス情報を参照するという点が異なり、前記学習用パラメータは前記テスト用物体が位置する前記サブ領域に使用される前記テスト用パラメータを決定するのに使用される。

【0088】

ここで、前記他の実施例において、前記ニューラルネットワーク（１５０）の学習プロセスもまた前記一実施例とは異なるので、前記他の実施例の前記学習プロセスを説明することとする。

【0089】

前記テストイメージが取得される前に、前記コンピュータ装置（１００）は、前記ニューラルネットワーク（１５０）をもって、前記トレーニングイメージ内に含まれた前記第１分割領域ないし前記第ｋ分割領域までの分割領域のうち少なくとも一部それぞれに含まれるそれぞれの前記学習用物体に関する情報を利用して、前記学習用パラメータを学習し、前記学習用物体に関するクラス情報を前記学習用物体に対応する学習用パラメータと連動して格納させることができる。前記学習用物体の前記格納されたクラス情報を使用することにより、前記テスト用パラメータが決定され得る。

【0090】

また、前記他の実施例において、前記特定のテスト用物体を含む特定のサブセクションに比べて特定のテスト用物体が占める面積の割合をさらに参照して、前記テスト用パラメータを決定する方法も異なる。

【0091】

具体的に、前記特定のテスト用物体を含む前記特定のサブセクションに比べて前記特定のテスト用物体が占める面積の割合が設定済み閾値以上である場合、前記コンピュータ装置（１００）は、前記ニューラルネットワーク（１５０）をもって、前記学習用パラメータのうち少なくとも一つの特定の学習用パラメータを参照して、前記特定のサブセクションに前記ニューラルネットワーク演算を適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定するようにする。

【0092】

これとは異なって、前記特定のテスト用物体を含む前記特定のサブセクションに比べて前記特定のテスト用物体が占める面積の割合が前記設定済み閾値未満である場合、前記コンピュータ装置（１００）は、前記ニューラルネットワーク（１５０）をもって、前記学習用パラメータのうち前記特定の学習用パラメータを参照して、前記特定のサブセクションで特定のテスト用物体が位置するサブ領域に前記ニューラルネットワーク演算を適用するのに使用される、前記テスト用パラメータのうち前記特定のテスト用パラメータの第１部分を決定するようにし、前記特定のテスト用非物体のクラス情報と同一又は類似するクラス情報を有する追加学習用非物体を利用して、個別的に学習された少なくとも一つの追加学習用パラメータを参照して、前記特定のサブセクションにおいて、前記特定のテスト用非物体が位置するサブ領域に前記ニューラルネットワーク演算を適用するのに使用される前記特定のテスト用パラメータの第２部分を決定させることができる。

【0093】

前記にて言及されていない他の実施例の特徴、例えば前記ニューラルネットワーク演算プロセス又は前記可変テンプレートは、一実施例の特徴と類似するので、これについての説明は省略することとする。

【0094】

本発明の方法は、自律走行車両レベル４を満たすために領域のクラスに応じてモードを切り換えるために遂行され得る。

【0095】

以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行され得るプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカル・ディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光メディア（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。

【0096】

以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、係る記載から多様な修正及び変形が行われ得る。

【0097】

従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等又は等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

【図1】

【図2】

【図3】

【図4a】

【図4b】