特許 6856906 自律走行車両レベル４を満たすために領域のクラスに応じてモードを切り換えるためにグリッド生成器を利用するニューラルネットワーク演算方法及びこれを利用した装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6856906

(24)【登録日】2021年3月23日

(45)【発行日】2021年4月14日

(54)【発明の名称】自律走行車両レベル４を満たすために領域のクラスに応じてモードを切り換えるためにグリッド生成器を利用するニューラルネットワーク演算方法及びこれを利用した装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210405BHJP

   G06N 3/08 20060101ALI20210405BHJP

【ＦＩ】

   G06T7/00 350C

   G06N3/08

【請求項の数】20

【全頁数】18

(21)【出願番号】特願2020-2012(P2020-2012)

(22)【出願日】2020年1月9日

(65)【公開番号】特開2020-119537(P2020-119537A)

(43)【公開日】2020年8月6日

【審査請求日】2020年1月9日

(31)【優先権主張番号】16/254,525

(32)【優先日】2019年1月22日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】517038176

【氏名又は名称】株式会社ストラドビジョン

(74)【代理人】

【識別番号】110000855

【氏名又は名称】特許業務法人浅村特許事務所

(72)【発明者】

【氏名】キム、ケイ − ヒョン

(72)【発明者】

【氏名】キム、ヨンジュン

(72)【発明者】

【氏名】キム、インスー

(72)【発明者】

【氏名】キム、ハク − キョン

(72)【発明者】

【氏名】ナム、ウヒョン

(72)【発明者】

【氏名】ブー、ソッフン

(72)【発明者】

【氏名】ソン、ミュンチュル

(72)【発明者】

【氏名】ヨー、ドンフン

(72)【発明者】

【氏名】リュー、ウジュ

(72)【発明者】

【氏名】チャン、テウン

(72)【発明者】

【氏名】ジョン、キュンチョン

(72)【発明者】

【氏名】チェ、ホンモ

(72)【発明者】

【氏名】チョウ、ホジン

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特開２０１８−０７７８２９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００− ７／９０

Ｇ０６Ｎ ３／０８

(57)【特許請求の範囲】

【請求項1】

グリッド生成器を利用したニューラルネットワーク演算方法において、
（ａ）コンピュータ装置が、テストイメージが取得されると、ペア検出器（ｐａｉｒ ｄｅｔｅｃｔｏｒ）をもって、前記テストイメージ上に存在するテスト用物体と前記テスト用物体に対応するテスト用非物体とを含む一つ以上のテスト用ペアを検出して、前記テスト用ペアに関するクラス情報と位置情報とを取得させるようにする段階；
（ｂ）前記コンピュータ装置が、前記グリッド生成器をもって、前記テストペアに関する位置情報を参照して、前記テストイメージ内の複数個のサブセクションに関する情報を含むセクション情報を生成させる段階；
（ｃ）前記コンピュータ装置が、ニューラルネットワークをもって、前記ニューラルネットワーク演算を前記テスト用ペアそれぞれを含む前記サブセクションのうち少なくとも一部それぞれに適用するのに使用されるテスト用パラメータを決定し、前記テスト用ペアに関する前記クラス情報と同一又は類似するクラス情報を有する学習用ペアに関する情報を利用して学習された学習用パラメータを参照して決定させる段階；及び
（ｄ）前記コンピュータ装置が、前記ニューラルネットワークをもって、前記サブセクションのうち前記少なくとも一部それぞれに対応するそれぞれの前記テスト用パラメータを利用して、前記テストイメージに前記ニューラルネットワーク演算を適用することにより、一つ以上のニューラルネットワーク結果を出力させる段階；
を含むことを特徴とする方法。

【請求項2】

前記（ｂ）段階で、
前記グリッド生成器が、可変テンプレート（ｄｙｎａｍｉｃ ｔｅｍｐｌａｔｅ）を利用して前記テストイメージを分け、（ｉ）前記テンプレートペアのうち少なくとも一つが前記可変テンプレートの前記サブセクションの前記少なくとも一部それぞれに含まれるように一つ以上の境界線が調整された前記可変テンプレートが提供されることを特徴とする請求項１に記載の方法。

【請求項3】

前記グリッド生成器が、前記可変テンプレートに関する情報を管理し、前記可変テンプレートは、（ｉ）第１方向の少なくとも一つの第１境界線及び（ｉｉ）第２方向の少なくとも一つの第２境界線のうち少なくとも一部を含み、このうち一部は調整可能であることを特徴とする請求項２に記載の方法。

【請求項4】

前記可変テンプレートは、行グループ（ｒｏｗ ｇｒｏｕｐ）と一つ以上の列グループ（ｃｏｌｕｍｎ ｇｒｏｕｐ）とを含み、前記行グループは（ｉ）上段行グループ、（ｉｉ）前記列グループのうち少なくとも一部を含む中段行グループ、及び （ｉｉｉ）下段行グループを含み、前記テスト用ペアのうち少なくとも一つが前記行グループと前記列グループとによって形成される前記サブセクションのうち前記少なくとも一部それぞれに含まれることを特徴とする請求項２に記載の方法。

【請求項5】

前記（ａ）段階以前に、
（ａ０）前記コンピュータ装置が、前記ニューラルネットワークをもって、一つ以上のトレーニングイメージに含まれるそれぞれの前記学習用ペアに関する情報を利用して、前記学習用パラメータを学習させる段階；
をさらに含むことを特徴とする請求項１に記載の方法。

【請求項6】

前記（ａ０）段階で、
前記ニューラルネットワークは、前記トレーニングイメージ内に含まれた第１分割領域ないし第ｋ分割領域までの分割領域のうち少なくとも一部それぞれに含まれるそれぞれの前記学習用ペアに関する情報を利用して、前記学習用パラメータを学習し、前記学習用ペアに関するクラス情報を、前記学習用ペアに対応する学習用パラメータと連動して格納することを特徴とする請求項５に記載の方法。

【請求項7】

前記それぞれのトレーニングイメージ内の前記第１分割領域ないし前記第ｋ分割領域の位置情報を第１位置情報ないし第ｋ位置情報とするとき、前記トレーニングイメージそれぞれの第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが設定済み閾値以下に該当すれば、それを前記トレーニングイメージとして選定することを特徴とする請求項６に記載の方法。

【請求項8】

前記（ｃ）段階で、
（ｉ）特定のテスト用物体の面積が前記特定のテスト用物体による特定のサブセクションに含まれた特定のテスト用非物体の面積を超過する場合、前記コンピュータ装置は、前記特定のテスト用物体と前記特定のテスト用非物体とを含む特定のテスト用ペアが第１クラス情報を有するものと決定し、前記ニューラルネットワークをもって、前記学習用パラメータのうち少なくとも一つの第１特定の学習用パラメータを参照して、前記ニューラルネットワーク演算を前記特定のサブセクションに適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定するようにし、（ｉｉ）前記特定のテスト用物体の前記面積が、前記特定のテスト用非物体の前記面積以下である場合、前記コンピュータ装置は前記特定のテスト用物体と前記特定のテスト用非物体とを含む特定のテスト用ペアが第２クラス情報を有するものと決定し、前記ニューラルネットワークをもって、前記学習用パラメータのうち少なくとも一つの第２特定の学習用パラメータを参照して、前記ニューラルネットワーク演算を前記特定のサブセクションに適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定させることを特徴とする請求項６に記載の方法。

【請求項9】

前記（ｄ）段階で、
前記コンピュータ装置が、前記ニューラルネットワークをもって、前記テスト用パラメータを利用して前記テストイメージに一つ以上のコンボリューション演算と一つ以上のデコンボリューション演算とを適用して、前記ニューラルネットワーク結果を出力させることを特徴とする請求項１に記載の方法。

【請求項10】

前記テストイメージは道路走行状況を示し、前記テスト用物体は道路上で現れ得る物体を示し、前記ニューラルネットワーク結果は自律走行のために使用されることを特徴とする請求項９に記載の方法。

【請求項11】

グリッド生成器を利用したニューラルネットワーク演算をするためのコンピュータ装置において、
各インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）ペア検出器をもって、前記テストイメージ上に存在するテスト用物体と前記テスト用物体に対応するテスト用非物体とを含む一つ以上のテスト用ペアを検出して、前記テスト用ペアに関するクラス情報と位置情報とを取得させるプロセス、（ＩＩ）前記グリッド生成器をもって、前記テスト用ペアに関する前記位置情報を参照して、前記テストイメージ内の複数個のサブセクションに関する情報を含むセクション情報を生成させるプロセス、（ＩＩＩ）ニューラルネットワークをもって、前記ニューラルネットワーク演算を前記テスト用ペアそれぞれを含む前記サブセクションのうち少なくとも一部それぞれに適用するのに使用されるテスト用パラメータを決定させ、前記テスト用ペアに関する前記クラス情報と同一または類似するクラス情報を有する学習用ペアに関する情報を利用して学習された学習用パラメータを参照して決定させるプロセス；及び（ＩＶ）前記ニューラルネットワークをもって、前記サブセクションのうち前記少なくとも一部それぞれに対応するそれぞれの前記テスト用パラメータを利用して、前記テストイメージに前記ニューラルネットワーク演算を適用することにより、一つ以上のニューラルネットワーク結果を出力させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするコンピュータ装置。

【請求項12】

前記（ＩＩ）プロセスで、
前記グリッド生成器が、可変テンプレートを利用して前記テストイメージを分け、（ｉ）前記テスト用ペアのうち少なくとも一つが、前記可変テンプレートの前記サブセクションの前記少なくとも一部それぞれに含まれるように一つ以上の境界線が調整された前記可変テンプレートが提供されることを特徴とする請求項１１に記載のコンピュータ装置。

【請求項13】

前記グリッド生成器が、前記可変テンプレートに関する情報を管理し、前記可変テンプレートは（ｉ）第１方向の少なくとも一つの第１境界線及び（ｉｉ）第２方向の少なくとも一つの第２境界線のうち少なくとも一部を含み、このうち一部は調整可能であることを特徴とする請求項１２に記載のコンピュータ装置。

【請求項14】

前記可変テンプレートは、行グループと一つ以上の列グループを含み、前記行グループは（ｉ）上段行グループ、（ｉｉ）前記列グループのうち少なくとも一部を含む中段行グループ、及び（ｉｉｉ）下段行グループを含み、前記テスト用ペアのうち少なくとも一つが前記行グループと前記列グループとによって形成される前記サブセクションのうち前記少なくとも一部それぞれに含まれることを特徴とする請求項１２に記載のコンピュータ装置。

【請求項15】

前記（Ｉ）プロセス以前に、
前記プロセッサが、（０）前記ニューラルネットワークをもって、一つ以上のトレーニングイメージに含まれるそれぞれの前記学習用ペアに関する情報を利用して、前記学習用パラメータを学習させるプロセスをさらに遂行することを特徴とする請求項１１に記載のコンピュータ装置。

【請求項16】

前記（０）プロセスで、
前記ニューラルネットワークは、前記トレーニングイメージ内に含まれた第１分割領域ないし第ｋ分割領域までの分割領域のうち少なくとも一部それぞれに含まれるそれぞれの前記学習用ペアに関する情報を利用して、前記学習用パラメータを学習し、前記学習用ペアに関するクラス情報を、前記学習用ペアに対応する学習用パラメータと連動して格納することを特徴とする請求項１５に記載のコンピュータ装置。

【請求項17】

前記それぞれのトレーニングイメージ内の前記第１分割領域ないし前記第ｋ分割領域の位置情報を第１位置情報ないし第ｋ位置情報とするとき、前記トレーニングイメージそれぞれの第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが設定済み閾値以下に該当すれば、それを前記トレーニングイメージとして選定することを特徴とする請求項１６に記載のコンピュータ装置。

【請求項18】

前記（ＩＩＩ）プロセスで、
（ｉ）特定のテスト用物体の面積が前記特定のテスト用物体による特定のサブセクションに含まれた特定のテスト用非物体の面積を超過する場合、前記プロセッサは、前記特定のテスト用物体と前記特定のテスト用非物体とを含む特定のテスト用ペアが第１クラス情報を有するものと決定し、前記ニューラルネットワークをもって、前記学習用パラメータのうち少なくとも一つの第１特定の学習用パラメータを参照して、前記ニューラルネットワーク演算を前記特定のサブセクションに適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定するようにし、（ｉｉ）前記特定のテスト用物体の前記面積が、前記特定のテスト用非物体の前記面積以下である場合、前記プロセッサは前記特定のテスト用物体と前記特定のテスト用非物体とを含む特定のテスト用ペアが第２クラス情報を有するものと決定し、前記ニューラルネットワークをもって、前記学習用パラメータのうち少なくとも一つの第２特定の学習用パラメータを参照して、前記ニューラルネットワーク演算を前記特定のサブセクションに適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定させることを特徴とする請求項１６に記載のコンピュータ装置。

【請求項19】

前記（ＩＶ）プロセスで、
前記プロセッサが前記ニューラルネットワークをもって、前記テスト用パラメータを利用して前記テストイメージに一つ以上のコンボリューション演算と一つ以上のデコンボリューション演算とを適用して、前記ニューラルネットワーク結果を出力させることを特徴とする請求項１１に記載のコンピュータ装置。

【請求項20】

前記テストイメージは道路走行状況を示し、前記テスト用物体は道路上で現れ得る物体を示し、前記ニューラルネットワーク結果は自律走行のために使用されることを特徴とする請求項１９に記載のコンピュータ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自律走行車両レベル４を満たすために、テストイメージ内の領域のクラスに応じてモードを切り換えるためにグリッド生成器を利用するニューラルネットワーク演算方法に関し、より詳細には、前記グリッド生成器を利用した前記ニューラルネットワーク演算方法において、（ａ）前記テストイメージが取得されると、ペア検出器（pair detector）をもって、前記テストイメージ上に存在するテスト用物体と前記テスト用物体に対応するテスト用非物体とを含む一つ以上のテスト用ペアを検出して、前記テスト用ペアに関するクラス情報と位置情報とを取得させる段階；（ｂ）前記グリッド生成器をもって、前記テスト用ペアに関する位置情報を参照して前記テストイメージ内の複数個のサブセクションに関する情報を含むセクション情報を生成させる段階；（ｃ）ニューラルネットワークをもって、前記ニューラルネットワーク演算を前記テスト用ペアそれぞれを含む前記サブセクションのうち少なくとも一部それぞれに適用するのに使用されるテスト用パラメータを決定し、前記テスト用ペアに関する前記クラス情報と同一または類似するクラス情報を有する学習用ペアに関する情報を利用して学習された学習用パラメータを参照して決定させる段階；及び（ｄ）前記ニューラルネットワークをもって、前記サブセクションのうち前記少なくとも一部それぞれに対応するそれぞれの前記テスト用パラメータを利用して、前記テストイメージに前記ニューラルネットワーク演算を適用することにより、一つ以上のニューラルネットワーク結果を出力させる段階；を含む方法、及びこれを利用した装置に関する。

【背景技術】

【0002】

ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｏｒ Ｄｅｅｐ ＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の識別問題を解決するために９０年代にも使用されていたが、近年になって初めて機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）分野で広く使用されるようになった。例えば、ＣＮＮは、２０１２年にＩｍａｇｅＮｅｔイメージ分類コンテスト（ＩｍａｇｅＮｅｔ Ｌａｒｇｅ Ｓｃａｌｅ Ｖｉｓｕａｌ Ｒｅｃｏｇｎｉｔｉｏｎ Ｃｈａｌｌｅｎｇｅ）で他の競争相手に勝って優勝を収めた。その後、ＣＮＮは機械学習分野で非常に有用なツールとして使用されるようになった。

【0003】

一方、ＣＮＮは、自律走行分野でも広く使用される。自律走行環境で大部分の入力イメージは主に入力イメージの中央に車道を含み、左右側に歩道を含むなどの典型的かつ類似した配列を有する。したがって、自律走行用ＣＮＮは、入力イメージの構成要素のように典型的な配列、例えば、典型的な構成要素を備えたトレーニングイメージを利用してパラメータを学習するようになる。

【0004】

しかし、前記にて言及した学習プロセスには大きな欠点がある。まさに入力イメージの配列がトレーニングイメージの典型的な配列と異なる場合、ＣＮＮ演算が非効率的であるという点である。例えば、コーナーを回る場合、典型的な配列が備えたトレーニングイメージとは異なり、テストイメージの中央に車道がないであろうし、ＣＮＮパラメータは、イメージの中央に車道のある入力イメージに最適化されているので、前記言及されたパラメータではテストイメージを正しく演算することができない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、上述の問題点を解決することを目的とする。

【0006】

本発明は、サブセクションのうち少なくとも一部それぞれに含まれるテスト用非物体とテスト用物体とを含む一つ以上のテスト用ペアに関するクラス情報を参照して、テスト用パラメータを決定する方法を提供することにより、最適化されたニューラルネットワーク結果を出力することを他の目的とする。

【課題を解決するための手段】

【0007】

前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。

【0008】

本発明の一態様によると、グリッド生成器を利用したニューラルネットワーク演算方法において、（ａ）コンピュータ装置が、テストイメージが取得されると、ペア検出器（ｐａｉｒ ｄｅｔｅｃｔｏｒ）をもって前記テストイメージ上に存在するテスト用物体と前記テスト用物体に対応するテスト用非物体とを含む一つ以上のテスト用ペアを検出して、前記テスト用ペアに関するクラス情報と位置情報とを取得させる段階；（ｂ）前記コンピュータ装置が、前記グリッド生成器をもって、前記テストペアに関する位置情報を参照して、前記テストイメージ内の複数個のサブセクションに関する情報を含むセクション情報を生成させる段階；（ｃ）前記コンピュータ装置が、ニューラルネットワークをもって、前記ニューラルネットワーク演算を前記テスト用ペアそれぞれを含む前記サブセクションのうち少なくとも一部それぞれに適用するのに使用されるテスト用パラメータを決定するようにし、前記テスト用ペアに関する前記クラス情報と同一又は類似するクラス情報を有する学習用ペアに関する情報を利用して学習された学習用パラメータを参照して決定させる段階；及び（ｄ）前記コンピュータ装置が、前記ニューラルネットワークをもって、前記サブセクションのうち前記少なくとも一部それぞれに対応するそれぞれの前記テスト用パラメータを利用して、前記テストイメージに前記ニューラルネットワーク演算を適用することにより、一つ以上のニューラルネットワーク結果を出力させる段階；を含むことを特徴とする方法を開示する。

【0009】

一実施例において、前記（ｂ）段階で、前記グリッド生成器が可変テンプレート（ｄｙｎａｍｉｃ ｔｅｍｐｌａｔｅ）を利用して前記テストイメージを分け、（ｉ）前記テスト用ペアのうち少なくとも一つが前記可変テンプレートの前記サブセクションの前記少なくとも一部それぞれに含まれるように一つ以上の境界線が調整された前記可変テンプレートが提供されることを特徴とする。

【0010】

一実施例において、前記グリッド生成器が、前記可変テンプレートに関する情報を管理し、前記可変テンプレートは（ｉ）第１方向の少なくとも一つの第１境界線及び（ｉｉ）第２方向の少なくとも一つの第２境界線のうち少なくとも一部を含み、このうち一部は調整可能であることを特徴とする。

【0011】

一実施例において、前記可変テンプレートは、行グループ（ｒｏｗ ｇｒｏｕｐ）と一つ以上の列グループ（ｃｏｌｕｍｎ ｇｒｏｕｐ）とを含み、前記行グループは、（ｉ）上段行グループ、（ｉｉ）前記列グループのうち少なくとも一部を含む中段行グループ、及び（ｉｉｉ）下段行グループを含み、前記テスト用ペアのうち少なくとも一つが前記行グループと前記列グループとによって形成される前記サブセクションのうち前記少なくとも一部それぞれに含まれることを特徴とする。

【0012】

一実施例において、前記（ａ）段階以前に、（ａ０）前記コンピュータ装置が、前記ニューラルネットワークをもって、一つ以上のトレーニングイメージに含まれるそれぞれの前記学習用ペアに関する情報を利用して、前記学習用パラメータを学習させる段階；をさらに含むことを特徴とする。

【0013】

一実施例において、前記（ａ０）段階で、前記ニューラルネットワークは、前記トレーニングイメージ内に含まれた第１分割領域ないし第ｋ分割領域までの分割領域のうち少なくとも一部それぞれに含まれるそれぞれの前記学習用ペアに関する情報を利用して、前記学習用パラメータを学習し、前記学習用ペアに関するクラス情報を、前記学習用ペアに対応する学習用パラメータと連動して格納することを特徴とする。

【0014】

一実施例において、前記それぞれのトレーニングイメージ内の前記第１分割領域ないし前記第ｋ分割領域の位置情報を第１位置情報ないし第ｋ位置情報とするとき、前記トレーニングイメージそれぞれの第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが設定済み閾値以下に該当すれば、それを前記トレーニングイメージとして選定することを特徴とする。

【0015】

一実施例において、前記（ｃ）段階で、（ｉ）特定のテスト用物体の面積が前記特定のテスト用物体による特定のサブセクションに含まれた特定のテスト用非物体の面積を超過する場合、前記コンピュータ装置は、前記特定のテスト用物体と前記特定のテスト用非物体とを含む特定のテスト用ペアが第１クラス情報を有するものと決定し、前記ニューラルネットワークをもって、前記学習用パラメータのうち少なくとも一つの第１特定の学習用パラメータを参照して、前記ニューラルネットワーク演算を前記特定のサブセクションに適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定するようにし、（ｉｉ）前記特定のテスト用物体の前記面積が、前記特定のテスト用非物体の前記面積以下である場合、前記コンピュータ装置は前記特定のテスト用物体と前記特定のテスト用非物体とを含む特定のテスト用ペアが第２クラス情報を有するものと決定し、前記ニューラルネットワークをもって、前記学習用パラメータのうち、少なくとも一つの第２特定の学習用パラメータを参照して、前記ニューラルネットワーク演算を前記特定のサブセクションに適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定させることを特徴とする。

【0016】

一実施例において、前記（ｄ）段階で、前記コンピュータ装置が前記ニューラルネットワークをもって、前記テスト用パラメータを利用して前記テストイメージに一つ以上のコンボリューション演算と一つ以上のデコンボリューション演算とを適用して、前記ニューラルネットワーク結果を出力させることを特徴とする。

【0017】

一実施例において、前記テストイメージは道路走行状況を示し、前記テスト用物体は道路上で現れ得る物体を示し、前記ニューラルネットワーク結果は自律走行のために使用されることを特徴とする。

【0018】

本発明の他の態様によると、グリッド生成器を利用したニューラルネットワーク演算をするためのコンピュータ装置において、各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）ペア検出器をもって、前記テストイメージ上に存在するテスト用物体と、前記テスト用物体に対応するテスト用非物体を含む一つ以上のテスト用ペアを検出して、前記テスト用ペアに関するクラス情報と位置情報とを取得させるプロセス、（ＩＩ）前記グリッド生成器をもって、前記テスト用ペアに関する前記位置情報を参照して、前記テストイメージ内の複数個のサブセクションに関する情報を含むセクション情報を生成させるプロセス、（ＩＩＩ）ニューラルネットワークをもって、前記ニューラルネットワーク演算を前記テスト用ペアそれぞれを含む前記サブセクションのうち少なくとも一部それぞれに適用するのに使用されるテスト用パラメータを決定し、前記テスト用ペアに関する前記クラス情報と同一又は類似するクラス情報を有する学習用ペアに関する情報を利用して学習された学習用パラメータを参照して決定させるプロセス；及び（ＩＶ）前記ニューラルネットワークをもって、前記サブセクションのうち前記少なくとも一部それぞれに対応するそれぞれの前記テスト用パラメータを利用して、前記テストイメージに前記ニューラルネットワーク演算を適用することにより、一つ以上のニューラルネットワーク結果を出力させるプロセス；を遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするコンピュータ装置を開示する。

【0019】

一実施例において、前記（ＩＩ）プロセスで、前記グリッド生成器が可変テンプレートを利用して前記テストイメージを分け、（ｉ）前記テスト用ペアのうち少なくとも一つが前記可変テンプレートの前記サブセクションの前記少なくとも一部それぞれに含まれるように一つ以上の境界線が調整された前記可変テンプレートが提供されることを特徴とする。

【0020】

一実施例において、前記グリッド生成器が、前記可変テンプレートに対する情報を管理し、前記可変テンプレートは、（ｉ）第１方向の少なくとも一つの第１境界線及び（ｉｉ）第２方向の少なくとも一つの第２境界線のうち少なくとも一部を含み、このうち一部は調整可能であることを特徴とする。

【0021】

一実施例において、前記可変テンプレートは、行グループと一つ以上の列グループを含み、前記行グループは（ｉ）上段行グループ、（ｉｉ）前記列グループのうち少なくとも一部を含む中段行グループ、及び（ｉｉｉ）下段行グループを含み、前記テスト用ペアのうち少なくとも一つが前記行グループと前記列グループとによって形成される前記サブセクションのうち前記少なくとも一部それぞれに含まれることを特徴とする。

【0022】

一実施例において、前記（Ｉ）プロセス以前に、前記プロセッサが（０）前記ニューラルネットワークをもって、一つ以上のトレーニングイメージに含まれるそれぞれの前記学習用ペアに関する情報を利用して、前記学習用パラメータを学習させるプロセスをさらに遂行することを特徴とする。

【0023】

一実施例において、前記（０）プロセスで、前記ニューラルネットワークは、前記トレーニングイメージ内に含まれた第１分割領域ないし第ｋ分割領域までの分割領域のうち少なくとも一部それぞれに含まれるそれぞれの前記学習用ペアに関する情報を利用して前記学習用パラメータを学習し、前記学習用ペアに関するクラス情報を、前記学習用ペアに対応する学習用パラメータと連動して格納することを特徴とする。

【0024】

一実施例において、前記それぞれのトレーニングイメージ内の前記第１分割領域ないし前記第ｋ分割領域の位置情報を第１位置情報ないし第ｋ位置情報とするとき、前記トレーニングイメージそれぞれの第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが設定済み閾値以下に該当すれば、それを前記トレーニングイメージとして選定することを特徴とする。

【0025】

一実施例において、前記（ＩＩＩ）プロセスで、（ｉ）特定のテスト用物体の面積が前記特定のテスト用物体による特定のサブセクションに含まれた特定のテスト用非物体の面積を超過する場合、前記プロセッサは、前記特定のテスト用物体と前記特定のテスト用非物体とを含む特定のテスト用ペアが第１クラス情報を有するものと決定し、前記ニューラルネットワークをもって、前記学習用パラメータのうち少なくとも一つの第１特定の学習用パラメータを参照して、前記ニューラルネットワーク演算を前記特定のサブセクションに適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定するようにし、（ｉｉ）前記特定のテスト用物体の前記面積が、前記特定のテスト用非物体の前記面積以下である場合、前記プロセッサは、前記特定のテスト用物体と前記特定のテスト用非物体とを含む特定のテスト用ペアが第２クラス情報を有するものと決定し、前記ニューラルネットワークをもって、前記学習用パラメータのうち、少なくとも一つの第２特定の学習用パラメータを参照して、前記ニューラルネットワーク演算を前記特定のサブセクションに適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定させることを特徴とする。

【0026】

一実施例において、前記（ＩＶ）プロセスで、前記プロセスが前記ニューラルネットワークをもって、前記テスト用パラメータを利用して前記テストイメージに一つ以上のコンボリューション演算と一つ以上のデコンボリューション演算とを適用して、前記ニューラルネットワーク結果を出力させることを特徴とする。

【0027】

一実施例において、前記テストイメージは道路走行状況を示し、前記テスト用物体は道路上で現れ得る物体を示し、前記ニューラルネットワーク結果は自律走行のために使用されることを特徴とする。

【発明の効果】

【0028】

本発明によると、テスト用ペアのクラス情報と同一又は類似するクラス情報を有するサブセクションに含まれた学習用ペアに関する情報を利用してテスト用パラメータを決定することにより、最適化されたニューラルネットワーク結果を出力する方法を提供し得る効果がある。

【0029】

本発明の実施例の説明に利用されるために添付された以下の図面は、本発明の実施例のうち単に一部であるにすぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。

【図面の簡単な説明】

【0030】

【図1】図１は、本発明によってグリッド生成器を利用してニューラルネットワーク演算方法を遂行するためのコンピュータ装置の構成を示した図面である。

【図2】図２は、本発明によってニューラルネットワーク結果を出力するためのプロセスを示した図面である。

【図3】図３は、本発明によって前記ニューラルネットワークのパラメータを学習するのに使用される、典型的な配列を有するトレーニングイメージを示した図面である。

【図4a】図４ａは、本発明によって前記グリッド生成器を利用したニューラルネットワーク演算方法を効率的に適用し得るテストイメージを示した図面である。

【図4b】図４ｂは、本発明によってサブセクションが可変テンプレートによって生成されたテストイメージを示した図面である。

【発明を実施するための形態】

【0031】

後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施し得るように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似した参照符号は、様々な側面にわたって同一であるか、又は類似した機能を指す。

【0032】

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。

【0033】

本発明で言及している各種イメージは、舗装又は非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。

【0034】

以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することとする。

【0035】

参考までに、後述する説明で混同を防止するために、学習プロセスに関する用語には「学習用」という文言が追加されており、テストプロセスに関する用語には「テスト用」という文言が追加された。

【0036】

図１は、本発明によってグリッド生成器を利用したニューラルネットワーク演算方法を遂行するためのコンピュータ装置の構成を示した図面である。

【0037】

図１を参照すると、前記コンピュータ装置１００は、ペア検出器１３０、グリッド生成器１４０及びニューラルネットワーク１５０を含むことができる。前記ペア検出器１３０、前記グリッド生成器１４０及び前記ニューラルネットワーク１５０の様々なデータ入出力過程及び演算過程は、通信部１１０及びプロセッサ１２０によってそれぞれ遂行され得る。ただし、図１では前記通信部１１０及び前記プロセッサ１２０の連結関係に関する詳細な説明を省略した。また、前記コンピュータ装置１００は、後述するプロセスを遂行するためのコンピュータ読取り可能な各インストラクション（ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｉｎｓｔｒｕｃｔｉｏｎ）を格納し得るメモリ１１５をさらに含むことができる。一例示として、前記プロセッサ、前記メモリ、媒体（ｍｅｄｉｕｍ）等は一つのプロセッサとして統合されて機能することもできる。

【0038】

以上にて前記コンピュータ装置１００の構成を検討したところ、本発明によって前記グリッド生成器１４０を利用してニューラルネットワーク結果を導き出すプロセスについて検討することとする。

【0039】

図２は、本発明によって前記ニューラルネットワーク結果を出力するためのプロセスを示した図面である。

【0040】

図２を参照すると、テストイメージが取得されると、前記ペア検出器１３０、前記グリッド生成器１４０及び前記ニューラルネットワーク１５０の順でプロセスが遂行されることが分かる。前記テストイメージは、ペア検出器１３０に入力され、前記ペア検出器１３０によって生成されたテスト用非物体とテスト用物体とを含む一つ以上のテスト用ペアに対する一つ以上の位置情報と前記テストイメージとは、前記グリッド生成器１４０に入力され得る。最終的に前記ペア検出器１３０によって生成される前記テスト用ペアに関するクラス情報、前記グリッド生成器１４０によって生成されるセクション情報及び前記テストイメージは前記ニューラルネットワーク１５０に入力され得る。その後、前記ニューラルネットワーク１５０は、前記テスト用ペアに関するクラス情報と前記セクション情報とを利用して決定されたテスト用パラメータを参照して前記ニューラルネットワーク結果を出力し得る。

【0041】

具体的に、道路走行状況を示す前記テストイメージが前記通信部１１０によって取得されると、前記コンピュータ装置１００は、前記ペア検出器１３０をもって、前記テストイメージ上に存在する前記テスト用ペアを検出して、前記テスト用ペアに関するクラス情報と、前記テスト用物体とこれに対応する前記テスト用非物体のペアが前記テストイメージのどこにあるのかに関する情報を含む前記テスト用ペアに関する位置情報とを取得するようにする。

【0042】

前記テスト用ペアに関する位置情報と前記テスト用ペアに関するクラス情報とが前記ペア検出器１３０によって取得された後、前記コンピュータ装置１００は、前記グリッド生成器１４０をもって、前記テスト用ペアに関する位置情報を参照して、前記テストイメージを複数個のサブセクションに分け、前記テストイメージ内の前記サブセクションに関する情報を含む前記セクション情報を生成させることができる。前記サブセクションのうち一部では、例えば、車道と自動車ペアのように、テスト用物体とテスト用非物体を含む前記ペアのうち少なくとも一部が存在し得る。前記グリッド生成器１４０は、可変テンプレート（ｄｙｎａｍｉｃ ｔｅｍｐｌａｔｅ）を使用して前記テストイメージを前記サブセクションに分けることができる。

【0043】

具体的に、前記グリッド生成器１４０は、前記可変テンプレートに関する情報を管理することができ、前記可変テンプレートは（ｉ）第１方向の少なくとも一つの第１境界線及び（ｉｉ）第２方向の少なくとも一つの第２境界線のうち少なくとも一部を含むことができ、このうち一部は調整可能である。

【0044】

一例示として、第１方向は前記テストイメージの横軸と平行な方向であり、第２方向は前記テストイメージの縦軸と平行な方向であり得るが、これに限定されるわけではなく、各方向は斜線方向でもあり得、さらには特定の関数によって決定される曲線の方向であり得る。

【0045】

または、前記可変テンプレートは、行グループと一つ以上の列グループを含むことができる。一例示として、前記行グループは（ｉ）上段行グループ、（ｉｉ）前記列グループのうち少なくとも一部を含む中段行グループ及び（ｉｉｉ）下段行グループを含むことができる。前記中段行グループが前記列グループのうち少なくとも一部を含む理由は、一般的に重要な物体多数が前記テストイメージの中心に存在するためである。

【0046】

前記のように、前記可変テンプレートの構成はすでに設定されており、前記グリッド生成器１４０が前記可変テンプレートを使用して前記テストイメージを分ける際に、一つ以上の境界線が調整された前記可変テンプレートが提供され得る。一例示として、前記サブセクションの前記少なくとも一部それぞれに前記テスト用ペアのうち少なくとも一つが含まれるように前記可変テンプレートが提供され得る。前記セクション情報は、前記調整された境界線位置に関する情報を含むことができる。

【0047】

これに対し、前記コンピュータ装置１００は、前記グリッド生成器をもって、前記テスト用物体に関する位置情報を参照して、前記セクション情報を生成させることができ、前記にて言及された方法とほぼ同じ方法で生成され得る。例えば、前記可変テンプレートは、前記テスト用物体のうち少なくとも一つが前記サブセクションの前記少なくとも一部それぞれに含まれるように提供され得る。前記テスト用物体に関する位置情報もまた、前記テスト用ペアに関する位置情報が取得される方式と類似する方法で取得され得る。

【0048】

このように前記セクション情報が生成されると、前記コンピュータ装置１００は、前記ニューラルネットワーク１５０をもって前記テスト用パラメータを決定させることができる。

【0049】

前記テスト用パラメータを決定するプロセスを記述するために、前記ニューラルネットワークの学習用パラメータを学習するプロセスを説明することとする。

【0050】

前記テストイメージが前記通信部１１０によって取得される前に、前記コンピュータ装置１００は、前記ニューラルネットワーク１５０をもって、一つ以上のトレーニングイメージに含まれた学習用ペアそれぞれに関する情報を利用して、学習用パラメータを学習させることができる。前記学習用ペアは、学習用物体と学習用非物体を含むことができる。前記それぞれのトレーニングイメージは、道路走行状況で現れ得る典型的な配列を含むことができる。前記典型的な配列を説明するために、図３を参照するようにする。

【0051】

図３は、本発明によって前記ニューラルネットワークの学習用パラメータを学習するのに使用される、典型的な配列を有する例示トレーニングイメージを示した図面である。

【0052】

図３を参照すると、前記例示トレーニングイメージ（３００）の中央に車道と自動車部分が位置し、左右側に歩道と歩行者部分が位置し、上段に空の部分が位置することが分かる。前記ニューラルネットワーク１５０のパラメータを学習するのに使用された前記トレーニングイメージは、前記例示トレーニングイメージ（３００）と類似し得る。

【0053】

前記例示トレーニングイメージ（３００）の構成を説明するために、学習用位置情報と分割領域の用語を検討することとする。

【0054】

前記分割領域は、前記学習用非物体が位置する領域をいうのであって、車道と自動車部分、歩道と歩行者部分及び空の部分がそれぞれ位置するそれぞれの領域をいう。前記学習用位置情報は、前記分割領域の中心座標に関する情報を含むことができる。

【0055】

この際、前記それぞれのトレーニングイメージ内で前記第１分割領域ないし前記第ｋ分割領域の位置情報を第１位置情報ないし第ｋ位置情報とすると、前記トレーニングイメージそれぞれの第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが設定済み閾値以下に該当すれば、それを前記トレーニングイメージとして前記学習プロセスに使用するために選定し得る。

【0056】

学習プロセスにおいて、前記ニューラルネットワーク１５０は、前記それぞれのトレーニングイメージに含まれた全体領域を使用して、前記学習用パラメータを学習するのではなく、前記トレーニングイメージ内に含まれた第１分割領域ないし第ｋ分割領域の分割領域のうち少なくとも一部それぞれに含まれるそれぞれの前記学習用ペアに関する情報を利用して、前記学習用パラメータを学習し、前記学習用ペアに対応する学習用パラメータと連動して前記学習用ペアに関するクラス情報を格納し得る。

【0057】

例えば、前記ニューラルネットワーク１５０が、図３の前記例示トレーニングイメージのようなトレーニングイメージを複数個使用して前記学習用パラメータを学習する場合を想定し得る。この場合、第１分割領域３１０は空の部分、第２分割領域３２０は左側の歩道と歩行者部分、第３分割領域３３０は車道と自動車部分、そして第４分割領域３４０は右側の歩道と歩行者部分である。前記ニューラルネットワーク１５０は、前記第３分割領域３３０を利用して前記車道と自動車部分に対応する学習用パラメータを学習し、前記学習用車道と自動車部分に関するクラス情報を、前記学習用車道と自動車部分に関するクラス情報を、前記学習用車道と自動車部分に対応するパラメータと連動して格納することができる。これと同様に、前記歩道と歩行者部分に対応する前記学習用パラメータの一部分を決定する場合、第２分割領域３２０と第４分割領域３４０が使用され得、前記歩道と歩行者を含む学習用ペアに関するクラス情報が格納され得る。

【0058】

以上、前記ニューラルネットワーク１５０の学習プロセスについて検討してみたところ、前記テスト用パラメータを決定するプロセスについて説明することとする。

【0059】

前記ニューラルネットワーク１５０の学習プロセスが完了すると、前記学習用パラメータとそれに対応するペアに関する前記クラス情報は格納され得る。その後、前記テストイメージが前記通信部１１０によって取得され、前記ペア検出器１３０と、前記グリッド生成器１４０が遂行するプロセスが完了すると、前記コンピュータ装置１００は前記ニューラルネットワーク１５０をもって、前記テスト用ペアのクラス情報と同一又は類似するクラス情報を有する前記学習用ペアに関する情報を使用して学習された学習用パラメータを参照して、前記テスト用パラメータを決定させる。

【0060】

前記テスト用パラメータは、前記テスト用ペアのクラス情報と同一又は類似するクラス情報を有する学習用ペアに関する情報を利用して学習された学習用パラメータを参照して、前記ニューラルネットワーク演算を前記それぞれのテスト用ペアを含む前記サブセクションのうち、前記少なくとも一部それぞれに適用するのに使用され得る。

【0061】

このようなプロセスを説明すると、前記ニューラルネットワーク１５０は、前記ペア検出器１３０によって取得された前記サブセクションのうち、前記少なくとも一部それぞれに含まれた前記テスト用非物体と前記テスト用物体を含む前記それぞれのペアに関する情報を使用することができる。

【0062】

例えば、前記車道と自動車部分に対応する特定の学習用パラメータと前記車道及び前記自動車を含む前記学習用ペアに関する前記クラス情報が共に格納される場合が想定される。この場合、前記車道及び前記自動車を含む特定のテスト用ペアが前記テストイメージ内の特定のサブセクションに存在するものと判断されれば、前記特定のテスト用パラメータは、前記特定のテスト用ペアのクラス情報と同一又は類似するクラス情報を有する学習用ペアに関する情報を利用して、学習された特定の学習用パラメータを参照して決定される。

【0063】

テスト用非物体のみ前記サブセクションの一部に存在したり、テスト用物体のみ前記サブセクションのまた他の一部に存在する場合、前記学習用の非物体と前記学習用物体をそれぞれ使用して学習された追加学習用パラメータは、前記のように対応するサブセクションに適用される前記テスト用パラメータの一部を決定するのに使用され得る。前記のような場合は、本発明において重要な問題ではないので、これについての詳細な説明は省略することとする。

【0064】

従来の方法と比較してみると、このような方法が効果的である理由は、前記テストイメージに示される前記テスト用ペアの構成要素が多様である場合にも、前記テスト用パラメータが最適化され得るからである。このような長所は、（ｉ）前記テスト用ペアに関するクラス情報と（ｉｉ）前記学習用ペアを利用して学習された、前記テスト用ペアに関する前記クラス情報に対応する、前記学習用パラメータを利用して前記テスト用パラメータを決定する方法に起因する。例えば、一般的な場合には、車道（学習用非物体）は自動車（学習用物体）に対応し得るので、前記ＣＮＮ２００は、前記車道（学習用非物体）と前記自動車（学習用非物体）ペアのように前記に見られた例示と類似する前記学習用ペアを有する前記トレーニングイメージを利用して学習用パラメータを学ぶことができる。従来の方法では、前記テスト用ペアが一般的でない場合、例えば前記車道（テスト用非物体）と歩行者（テスト用物体）ペア、又は歩道（テスト用非物体）と前記自動車（テスト用物体）ペアである場合には、前記テスト用ペアと前記学習用ペアとが異なるため、前記テスト用パラメータは最適化され得ない。しかし、前記のような稀な場合にも、本発明が提供する前記方法を利用すると前記テスト用パラメータは最適化される。その理由は、本発明の場合、前記学習用物体と前記学習用非物体を含む様々な学習用ペアを有する前記トレーニングイメージを活用して前記学習用パラメータを学習し、前記テストイメージに含まれた前記学習用ペアに関する前記クラス情報を利用して前記テスト用パラメータを決定し得るからである。

【0065】

従来の方法と比べてみたとき、こうした方法が効果的であるまた他の理由は、前記テストイメージに含まれる前記構成要素の相対的位置が、前記トレーニングイメージに含まれる構成要素の相対的位置と異なる場合にも前記適切なテスト用パラメータを適用し得るからである。

【0066】

具体的に、前記トレーニングイメージでの第１分割領域ないし第ｋ分割領域に対応する第１位置情報ないし第ｋ位置情報それぞれと前記テストイメージにおける第１位置情報ないし第ｋ位置情報それぞれを比較した偏差のうち、少なくとも一部が第２閾値を超過する場合、本発明がより効果的に適用され得るが、これに限定されるわけではない。

【0067】

図４ａは、本発明によって前記グリッド生成器を利用した前記ニューラルネットワーク演算を効果的に適用し得る例示テストイメージを示した図面である。

【0068】

図４ａを参照すると、図３とは異なって、車道と自動車部分が左側に位置し、歩道と歩行者部分は右側に位置することを確認することができる。この場合、従来の方法により生成された前記ニューラルネットワーク演算の結果は最適化され得ないが、その理由は、前記テストイメージに含まれた車道と自動車部分の位置と、前記トレーニングイメージに含まれた車道と自動車部分の位置とが異なるからである。したがって、前記テスト用パラメータが最適化されていない状態になるところ、結果が好ましくない短所がある。しかし、本発明の方法がこのような場合に対応する前記テストイメージに適用されるのであれば、前記サブセクションのうち少なくとも一部それぞれに最適化されたパラメータが適用されて、前記ニューラルネットワーク演算の結果が最適に生成されるであろう。これは図４ｂを参照すると分かる。

【0069】

図４ｂは、本発明により可変テンプレートによって生成されたサブセクションを含む例示テストイメージを示した図面である。

【0070】

図４ｂを参照すると、前記中段行中心の車道と自動車部分を含むサブセクション５３０と、前記中段行の右側にある歩道と歩行者部分を含むサブセクション５４０とが表示されたことが分かる。前記サブセクションによって、前記トレーニングイメージに含まれる前記車道と自動車部分を使用して学習された前記学習用パラメータが前記サブセクション５３０に適用され得、前記トレーニングイメージに含まれた前記歩道と歩行者の部分を使用して学習された前記学習用パラメータは、前記サブセクション５４０に適用され得る。

【0071】

一方、前記テスト用パラメータは、特定のサブセクションに含まれる特定のテスト用非物体の面積と特定のテスト用物体の面積とを比較した情報をさらに参照して決定され得る。前記のように前記テスト用パラメータを決定する前記プロセスを説明するために、前記学習用パラメータを学習する過程について説明することとする。

【0072】

前記学習用のパラメータを学習するプロセスを説明すると、前記ニューラルネットワーク１５０は、第１分割領域ないし第ｋ分割領域までの前記それぞれの分割領域に含まれた前記特定の学習用非物体の面積と前記特定の学習用物体の面積とを比較した情報を参照して、前記特定のサブセクションに対応する前記学習用パラメータを学習し、前記特定の学習用物体と前記学習用非物体とを含む特定の学習用ペアに関するクラス情報を格納することができる。これによって、前記特定の学習用物体の面積が前記特定の学習用非物体の面積を超過する場合、前記ニューラルネットワーク１５０は、少なくとも一つの第１特定の学習用パラメータを学習し、これと連動して前記特定の学習用物体の相対的割合が大きい場合に対応する第１クラス情報を格納する。これとは反対に、前記特定の学習用物体の面積が前記特定の学習用非物体の面積以下である場合、前記ニューラルネットワーク１５０は少なくとも一つの第２特定の学習用パラメータを学習し、これと連動して前記特定の学習用物体の相対的割合が小さい場合に対応する第２クラス情報を格納する。

【0073】

ここで前記第１クラス情報と前記第２クラス情報は類似するが、前記特定の学習用非物体に比べて前記特定の学習用物体の割合が異なり、このうち一つは大きく、残りの一つは小さいという点では異なる。例えば、車道（学習用非物体）と比較したとき、相対的に大きな自動車（学習用物体）を含む第１学習用ペアがあり、車道（学習用非物体）と比較したとき、相対的に小さい自動車（学習用物体）を含む第２学習用ペアがあると想定してみることにする。この場合、前記第１クラス情報は前記第１学習用ペアに対応し、前記第２クラス情報は前記第２学習用ペアに対応し得る。

【0074】

具体的に、前記特定のテスト用物体の面積が前記特定のテスト用物体と共に前記特定のサブセクションに含まれた前記特定のテスト用非物体の面積を超過する場合、前記コンピュータ装置１００は、前記特定のテスト用物体と、前記特定のテスト用非物体を含む前記特定のテスト用ペアが第１クラス情報を有するものと決定し、前記ニューラルネットワークをもって、前記学習用パラメータのうち前記少なくとも一つの第１特定の学習用パラメータを参照して、前記ニューラルネットワーク演算を前記特定のサブセクションに適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定させることができる。

【0075】

これとは反対に、前記特定のテスト用物体の前記面積が前記特定のテスト用非物体の前記面積以下である場合、前記コンピュータ装置は、前記特定のテスト用ペアが第２クラス情報を有するものと決定し、前記ニューラルネットワークをもって、前記学習用パラメータのうち、前記特定のテスト用ペアに関する前記クラス情報と同一または類似するクラス情報を有する少なくとも一つの第２特定の学習用パラメータを参照して、前記ニューラルネットワーク演算を前記特定のサブセクションに適用するのに使用される、前記テスト用パラメータのうち少なくとも一つの特定のテスト用パラメータを決定させることができる。

【0076】

前記学習用パラメータは、同一のサブセクションに含まれた前記テスト用物体と前記テスト用非物体との間の割合が異なる前記学習用ペアを参照して学習されるため、前記同一のサブセクションに含まれた前記学習用非物体の面積と前記学習用物体の面積とを比較した情報を利用して前記テスト用パラメータを決定することが有効であろう。たとえば、前記学習用パラメータの一部が学習用物体の面積がこれに対応する学習用非物体の面積を超過する第１学習用ペアを利用して学習された第１学習用パラメータと、学習用物体の面積がこれに対応する学習用非物体の面積以下である第２学習用ペアを利用して学習された第２学習用パラメータを含み、テスト用例示物体の面積が、前記テストイメージ内で前記テスト用例示物体とともにテスト用例示ペアに含まれる、テスト用例示非物体の面積を超過する場合を想定してみると、前記第１学習用パラメータを参照して前記テスト用例示ペアに使用される前記テスト用パラメータの一部が決定され得るであろう。

【0077】

このように、前記テスト用パラメータが決定すると、前記ニューラルネットワーク演算は前記テストイメージに適用され得るが、前記ニューラルネットワーク演算は、コンボリューション演算およびデコンボリューション演算であり得る。 つまり、前記コンピュータ装置１００は、前記ニューラルネットワーク１５０をもって、前記テスト用パラメータを利用して前記テストイメージに一つ以上のコンボリューション演算と一つ以上のデコンボリューション演算とを適用して前記ニューラルネットワーク演算結果を出力するようにし得る。

【0078】

先に言及した本発明の方法は、自律走行車両レベル４を満たすためにイメージ内の領域のクラスに応じてモードを転換するために遂行することができる。

【0079】

以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行され得るプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカル・ディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光メディア（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。

【0080】

以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、係る記載から多様な修正及び変形が行われ得る。

【0081】

従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等又は等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

【図1】

【図2】

【図3】

【図4a】

【図4b】