特許 6810432 物体の条件に応じてモードを切り換えることができるＣＮＮ基盤で軍事目的、スマートフォン又は仮想走行に使用される疑似３Ｄバウンディングボックスを検出する方法及びこれを利用した装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6810432

(24)【登録日】2020年12月15日

(45)【発行日】2021年1月6日

(54)【発明の名称】物体の条件に応じてモードを切り換えることができるＣＮＮ基盤で軍事目的、スマートフォン又は仮想走行に使用される疑似３Ｄバウンディングボックスを検出する方法及びこれを利用した装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20201221BHJP

   G06N 3/04 20060101ALI20201221BHJP

【ＦＩ】

   G06T7/00 350C

   G06N3/04

【請求項の数】30

【全頁数】37

(21)【出願番号】特願2019-239147(P2019-239147)

(22)【出願日】2019年12月27日

(65)【公開番号】特開2020-119519(P2020-119519A)

(43)【公開日】2020年8月6日

【審査請求日】2019年12月27日

(31)【優先権主張番号】16/258,186

(32)【優先日】2019年1月25日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】517038176

【氏名又は名称】株式会社ストラドビジョン

(74)【代理人】

【識別番号】110000855

【氏名又は名称】特許業務法人浅村特許事務所

(72)【発明者】

【氏名】キム、ケイ − ヒョン

(72)【発明者】

【氏名】キム、ヨンジュン

(72)【発明者】

【氏名】キム、インスー

(72)【発明者】

【氏名】キム、ハク − キョン

(72)【発明者】

【氏名】ナム、ウヒョン

(72)【発明者】

【氏名】ブー、ソッフン

(72)【発明者】

【氏名】ソン、ミュンチュル

(72)【発明者】

【氏名】ヨー、ドンフン

(72)【発明者】

【氏名】リュー、ウジュ

(72)【発明者】

【氏名】チャン、テウン

(72)【発明者】

【氏名】ジョン、キュンチョン

(72)【発明者】

【氏名】チェ、ホンモ

(72)【発明者】

【氏名】チョウ、ホジン

【審査官】 合田 幸裕

(56)【参考文献】

【文献】 米国特許出願公開第２０１８／０１３７６４４（ＵＳ，Ａ１）

【文献】 米国特許第９９５３４３７（ＵＳ，Ｂ１）

【文献】 米国特許出願公開第２０１８／０２６８６０１（ＵＳ，Ａ１）

【文献】 国際公開第２０１８／０９３７９６（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ３／０４

ＩＥＥＥ Ｘｐｌｏｒｅ

ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

ＣＮＮ基盤の疑似（Ｐｓｅｕｄｏ）３Ｄバウンディングボックスを少なくとも一つ検出する方法において、
（ａ）少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用して生成される少なくとも一つの特徴マップと、前記トレーニングイメージで少なくとも一つの物体を含む少なくとも一つの２Ｄバウンディングボックスとが取得されると、学習装置が、プーリングレイヤ（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、前記特徴マップ上で前記２Ｄバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて少なくとも一つのプーリング済み特徴マップを生成させ、タイプ分類レイヤ（Ｔｙｐｅ−Ｃｌａｓｓｉｆｙｉｎｇ Ｌａｙｅｒ）をもって、前記プーリング済み特徴マップを参照して前記プーリング済み特徴マップ内の前記物体のイメージがトランケート（Ｔｒｕｎｃａｔｅ）されたかトランケートされていないかを判別させる段階；
（ｂ）前記物体のイメージがトランケートされた状態であれば前記物体を第１タイプ（Ｆｉｒｓｔ Ｔｙｐｅ）であるとし、前記物体のイメージがトランケートされていない状態であれば前記物体を第２タイプ（Ｓｅｃｏｎｄ Ｔｙｐｅ）であるとすると、前記学習装置が、前記プーリング済み特徴マップ内の前記物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して前記第１タイプと前記第２タイプそれぞれに対応するそれぞれのＦＣレイヤのうち一つをもって、前記プーリング済み特徴マップに対してニューラルネットワーク演算を少なくとも一回適用させて、前記疑似３Ｄバウンディングボックスに対応するボックスパターン（Ｂｏｘ Ｐａｔｔｅｒｎ）情報を生成させる段階；
（ｃ）前記学習装置が、（ｉ）前記ＦＣレイヤそれぞれに対応する分類レイヤそれぞれをもって、前記ボックスパターン情報を参照して前記物体の方向に関する方向クラス情報を出力させ、（ｉｉ）前記ＦＣレイヤそれぞれに対応するリグレッションレイヤそれぞれをもって、前記ボックスパターン情報を参照して前記２Ｄバウンディングボックスの座標に対応する前記疑似３Ｄバウンディングボックスの座標に関するリグレッション情報を生成させる段階；及び
（ｄ）前記学習装置が、少なくとも一つのＦＣロスレイヤをもって、前記方向クラス情報と、前記リグレッション情報と、これに対応する少なくとも一つの原本正解とを参照して少なくとも一つのクラスロス及び少なくとも一つのリグレッションロスを生成することにより、前記クラスロス及び前記リグレッションロスをバックプロパゲーションして前記ＦＣレイヤのパラメータを学習する段階；
を含むことを特徴とする学習方法。

【請求項2】

前記（ａ）段階以後に、
前記学習装置は、タイプロスレイヤ（Ｔｙｐｅ Ｌｏｓｓ Ｌａｙｅｒ）をもって前記物体のイメージがトランケートされたかトランケートされていないかに関する情報と、前記物体のイメージに対応する物体タイプ（Ｏｂｊｅｃｔ−Ｔｙｐｅ）原本正解とを参照して、少なくとも一つのタイプロスを生成させることにより、
前記タイプロスをバックプロパゲーションして前記タイプ分類レイヤのパラメータの少なくとも一部を調整することを特徴とする請求項１に記載の学習方法。

【請求項3】

前記（ａ）段階で、
前記学習装置は、前記タイプ分類レイヤをもって、前記物体の全体を含む領域に対する、前記プーリング済み特徴マップ上に示された前記物体の一部のみを含む領域の割合が所定の閾値以下である場合には前記物体のイメージがトランケートされたものと判断させ、前記割合が前記所定の閾値を超過する場合には前記物体のイメージがトランケートされていないものと判断させることを特徴とする請求項１に記載の学習方法。

【請求項4】

前記（ｃ）段階で、
前記学習装置は、前記リグレッションレイヤそれぞれをもって、（ｉ）前記２Ｄバウンディングボックスの頂点から前記物体の前面と裏面それぞれに対応するそれぞれのインスタンスバウンディングボックスの頂点までのそれぞれの変位（Ｄｉｓｐｌａｃｅｍｅｎｔ）、並びに（ｉｉ）前記２Ｄバウンディングボックスの中心から前記それぞれのインスタンスバウンディングボックスのそれぞれの中心までのそれぞれの変位及び前記２Ｄバウンディングボックスの幅／高さの割合と前記インスタンスバウンディングボックスのそれぞれの幅／高さの割合との間のそれぞれの差のうち少なくとも一つを利用して、前記リグレッション情報を生成させることを特徴とする請求項１に記載の学習方法。

【請求項5】

前記（ｂ）段階で、
前記学習装置は、前記物体が前記第１タイプである場合、前記第１タイプに対応する第１ＦＣレイヤをもって、前記プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記疑似３Ｄバウンディングボックスに対応する第１ボックスパターン情報を生成し、前記物体が前記第２タイプである場合、前記第２タイプに対応する第２ＦＣレイヤをもって、前記プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記疑似３Ｄバウンディングボックスに対応する第２ボックスパターン情報を生成し、
前記（ｃ）段階で、
前記学習装置は、（ｉ）前記第１ＦＣレイヤに対応する第１分類レイヤをもって、前記第１ボックスパターン情報を参照して前記第１タイプを有する前記物体の方向に対応する第１方向クラス情報を生成させ、前記第１ＦＣレイヤに対応する第１リグレッションレイヤをもって、前記第１ボックスパターン情報を参照して前記２Ｄバウンディングボックスの前記座標に対応する前記疑似３Ｄバウンディングボックスの前記座標に関する第１リグレッション情報を生成させ、（ｉｉ）前記第２ＦＣレイヤに対応する第２分類レイヤをもって、前記第２ボックスパターン情報を参照して前記第２タイプを有する前記物体の方向に対応する第２方向クラス情報を生成させ、前記第２ＦＣレイヤに対応する第２リグレッションレイヤをもって、前記第２ボックスパターン情報を参照して前記２Ｄバウンディングボックスの前記座標に対応する前記疑似３Ｄバウンディングボックスの前記座標に関する第２リグレッション情報を生成させることを特徴とする請求項１に記載の学習方法。

【請求項6】

前記（ｄ）段階で、
前記学習装置は、（ｉ）前記第１ＦＣレイヤに対応する第１ＦＣロスレイヤをもって、前記第１方向クラス情報と、前記第１リグレッション情報と、これに対応する少なくとも一つの第１原本正解とを参照して少なくとも一つの第１方向クラスロス及び少なくとも一つの第１ボックスリグレッションロスを生成させることで、前記第１方向クラスロス及び前記第１ボックスリグレッションロスをバックプロパゲーションして前記第１ＦＣレイヤのパラメータを学習し、（ｉｉ）前記第２ＦＣレイヤに対応する第２ＦＣロスレイヤをもって、前記第２方向クラス情報と、前記第２リグレッション情報と、これに対応する少なくとも一つの第２原本正解とを参照して少なくとも一つの第２方向クラスロス及び少なくとも一つの第２ボックスリグレッションロスを生成させることで、前記第２方向クラスロス及び前記第２ボックスリグレッションロスをバックプロパゲーションして前記第２ＦＣレイヤのパラメータを学習することを特徴とする請求項５に記載の学習方法。

【請求項7】

前記学習装置は、先行ＣＮＮ（Ｐｒｅｃｅｄｉｎｇ ＣＮＮ）基盤の物体検出器から前記特徴マップと前記２Ｄバウンディングボックスとを取得することを特徴とする請求項１に記載の学習方法。

【請求項8】

前記学習装置は、前記トレーニングイメージを前記物体の検出器に入力して、前記物体検出器が（ｉ）先行コンボリューションレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記トレーニングイメージに対してコンボリューション演算を遂行して前記特徴マップを生成させ、（ｉｉ）ＲＰＮをもって、前記特徴マップから前記トレーニングイメージ内の前記物体に対応する少なくとも一つのプロポーザルボックスを生成させ、（ｉｉｉ）先行プーリングレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、前記特徴マップ上で前記プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用させて先行プーリング済み特徴マップを生成させ、（ｉｖ）先行ＦＣレイヤ（ＰｒｅｃｅｄｉｎｇＦＣ Ｌａｙｅｒ）をもって、前記物体に対応する物体パターン情報を生成させ、（ｖ）先行分類レイヤ（Ｐｒｅｃｅｄｉｎｇ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｌａｙｅｒ）をもって、前記物体パターン情報を参照して前記物体のクラスに対応する物体クラス情報を生成させ、（ｖｉ）先行リグレッションレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｒｅｇｒｅｓｓｉｏｎ Ｌａｙｅｒ）をもって、前記物体パターン情報を参照して前記物体に対応する前記２Ｄバウンディングボックスに関する先行リグレッション情報を生成させることで、前記特徴マップと前記２Ｄバウンディングボックスとを生成することを特徴とする請求項７に記載の学習方法。

【請求項9】

検出器学習装置によって前記物体検出器を学習している状態で、前記検出器学習装置が、前記物体検出器内のタイプロスレイヤをもって、前記物体のイメージがトランケートされたかトランケートされていないかに関する情報と、前記イメージに対応する物体タイプ原本正解とを参照して少なくとも一つのタイプロスを生成することにより、前記タイプロスをバックプロパゲーションして前記物体検出器内のタイプ分類レイヤのパラメータの少なくとも一部を調整することを特徴とする請求項７に記載の学習方法。

【請求項10】

ＣＮＮ基盤の疑似（Ｐｓｅｕｄｏ）３Ｄバウンディングボックスを少なくとも一つ検出する方法において、
（ａ）学習装置が、少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用して生成される少なくとも一つの学習用特徴マップと、前記トレーニングイメージで少なくとも一つの学習用物体を含む少なくとも一つの学習用２Ｄバウンディングボックスとが取得されると、（ｉ）プーリングレイヤ（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、前記学習用特徴マップ上で前記学習用２Ｄバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて、少なくとも一つの学習用プーリング済み特徴マップを生成させ、タイプ分類レイヤ（Ｔｙｐｅ−Ｃｌａｓｓｉｆｙｉｎｇ Ｌａｙｅｒ）をもって、前記学習用プーリング済み特徴マップを参照して前記学習用プーリング済み特徴マップ内の前記学習用物体のイメージがトランケート（Ｔｒｕｎｃａｔｅ）されたかトランケートされていないかを判別させるプロセスと、 （ｉｉ）前記学習用物体のイメージがトランケートされた状態であれば前記学習用物体を第１タイプ（Ｆｉｒｓｔ Ｔｙｐｅ）であるとし、前記学習用物体のイメージがトランケートされていない状態であれば前記学習用物体を第２タイプ（Ｓｅｃｏｎｄ Ｔｙｐｅ）であるとすると、前記学習用プーリング済み特徴マップ内の前記学習用物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して前記第１タイプと前記第２タイプそれぞれに対応するそれぞれのＦＣレイヤのうち一つをもって、前記学習用プーリング済み特徴マップに対してニューラルネットワーク演算を少なくとも一回適用させて前記学習用疑似３Ｄバウンディングボックスに対応する学習用ボックスパターン（Ｂｏｘ Ｐａｔｔｅｒｎ）情報を生成させるプロセスと、（ｉｉｉ）前記ＦＣレイヤそれぞれに対応する少なくとも一つの分類レイヤそれぞれをもって、前記学習用ボックスパターン情報を参照して前記学習用物体の方向に関する学習用方向クラス情報を出力させ、前記ＦＣレイヤそれぞれに対応する少なくとも一つのリグレッションレイヤそれぞれをもって、前記学習用ボックスパターン情報を参照して前記学習用２Ｄバウンディングボックスの座標に対応する前記学習用疑似３Ｄバウンディングボックスの座標に関する学習用リグレッション情報を生成させるプロセスと、（ｉｖ）少なくとも一つのＦＣロスレイヤをもって、前記学習用方向クラス情報と、前記学習用リグレッション情報と、これに対応する少なくとも一つの原本正解とを参照して少なくとも一つのクラスロス及び少なくとも一つのリグレッションロスを生成することにより、前記クラスロス及び前記リグレッションロスをバックプロパゲーションして前記ＦＣレイヤのパラメータを学習するプロセスと、を遂行した状態で、少なくとも一つのテストイメージに対してコンボリューション演算を少なくとも一回適用して生成される少なくとも一つのテスト用特徴マップと、前記テストイメージで少なくとも一つのテスト用物体を含む少なくとも一つのテスト用２Ｄバウンディングボックスとが取得されると、テスト装置が、前記プーリングレイヤ（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、前記テスト用特徴マップ上で前記テスト用２Ｄバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて、少なくとも一つのテスト用プーリング済み特徴マップを生成させ、前記タイプ分類レイヤ（Ｔｙｐｅ−Ｃｌａｓｓｉｆｙｉｎｇ Ｌａｙｅｒ）をもって、前記テスト用プーリング済み特徴マップを参照して前記テスト用プーリング済み特徴マップ内の前記テスト用物体のイメージがトランケート（Ｔｒｕｎｃａｔｅ）されたかトランケートされていないかを判別させる段階；
（ｂ）前記テスト用物体のイメージがトランケートされた状態であれば前記テスト用物体を第１タイプ（Ｆｉｒｓｔ Ｔｙｐｅ）であるとし、前記テスト用物体のイメージがトランケートされていない状態であれば前記テスト用物体を第２タイプ（Ｓｅｃｏｎｄ Ｔｙｐｅ）であるとすると、前記テスト装置が、前記テスト用プーリング済み特徴マップ内の前記テスト用物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して前記第１タイプと前記第２タイプそれぞれに対応するそれぞれの前記ＦＣレイヤのうち一つをもって、前記テスト用プーリング済み特徴マップに対してニューラルネットワーク演算を少なくとも一回適用させて、前記テスト用疑似３Ｄバウンディングボックスに対応するテスト用ボックスパターン（Ｂｏｘ Ｐａｔｔｅｒｎ）情報を生成させる段階；及び
（ｃ）前記テスト装置が、（ｉ）前記ＦＣレイヤそれぞれに対応する分類レイヤそれぞれをもって、前記テスト用ボックスパターン情報を参照して前記テスト用物体の方向に関するテスト用方向クラス情報を出力させ、（ｉｉ）前記ＦＣレイヤそれぞれに対応するリグレッションレイヤそれぞれをもって、前記テスト用ボックスパターン情報を参照して前記テスト用２Ｄバウンディングボックスの前記座標に対応する前記テスト用疑似３Ｄバウンディングボックスの前記座標に関するテスト用リグレッション情報を生成させる段階；
を含むことを特徴とするテスト方法。

【請求項11】

前記学習装置は、タイプロスレイヤ（Ｔｙｐｅ Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記学習用物体のイメージがトランケートされたかトランケートされていないかに関する情報と、前記学習用物体のイメージに対応する物体タイプ（Ｏｂｊｅｃｔ−Ｔｙｐｅ）原本正解とを参照して少なくとも一つのタイプロスを生成させることにより、前記タイプロスを利用したバックプロパゲーションを通じて前記タイプ分類レイヤのパラメータの少なくとも一部を調整することを特徴とする請求項１０に記載のテスト方法。

【請求項12】

前記（ａ）段階は、
前記テスト装置は、前記タイプ分類レイヤをもって、前記テスト用物体の全体を含む領域に比べて前記テスト用プーリング済み特徴マップ上に示された前記テスト用物体の一部のみを含む領域の割合が所定の閾値以下である場合には、前記テスト用物体のイメージがトランケートされたものと判断させ、前記割合が前記所定の閾値を超過する場合には、前記テスト用物体のイメージがトランケートされていないものと判断させることを特徴とする請求項１０に記載のテスト方法。

【請求項13】

前記（ｃ）段階で、
前記テスト装置は、前記リグレッションレイヤそれぞれをもって、（ｉ）前記テスト用２Ｄバウンディングボックスの頂点から前記テスト用物体の前面と裏面それぞれに対応するそれぞれのテスト用インスタンスバウンディングボックスの頂点までのそれぞれの変位（Ｄｉｓｐｌａｃｅｍｅｎｔ）、並びに（ｉｉ）前記テスト用２Ｄバウンディングボックスの中心から前記それぞれのテスト用インスタンスバウンディングボックスのそれぞれの中心までのそれぞれの変位及び前記テスト用２Ｄバウンディングボックスの幅／高さの割合と前記テスト用インスタンスバウンディングボックスのそれぞれの幅／高さの割合との間のそれぞれの差のうち少なくとも一つを利用して、前記テスト用リグレッション情報を生成させることを特徴とする請求項１０に記載のテスト方法。

【請求項14】

前記（ｂ）段階で、
前記テスト装置は、前記テスト用物体が前記第１タイプである場合、前記第１タイプに対応する第１ＦＣレイヤをもって、前記テスト用プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記テスト用疑似３Ｄバウンディングボックスに対応するテスト用第１ボックスパターン情報を生成し、前記テスト用物体が前記第２タイプである場合、前記第２タイプに対応する第２ＦＣレイヤをもって、前記テスト用プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記テスト用疑似３Ｄバウンディングボックスに対応するテスト用第２ボックスパターン情報を生成し、
前記（ｃ）段階で、
前記テスト装置は、（ｉ）前記第１ＦＣレイヤに対応する第１分類レイヤをもって、前記テスト用第１ボックスパターン情報を参照して前記第１タイプを有する前記テスト用物体の方向に対応するテスト用第１方向クラス情報を生成させ、前記第１ＦＣレイヤに対応する第１リグレッションレイヤをもって、前記テスト用第１ボックスパターン情報を参照して前記テスト用２Ｄバウンディングボックスの前記座標に対応する前記テスト用疑似３Ｄバウンディングボックスの前記座標に対するテスト用第１リグレッション情報を生成させ、（ｉｉ）前記第２ＦＣレイヤに対応する第２分類レイヤをもって、前記テスト用第２ボックスパターン情報を参照して前記第２タイプを有する前記テスト用物体の方向に対応するテスト用第２方向クラス情報を生成させ、前記第２ＦＣレイヤに対応する第２リグレッションレイヤをもって、前記テスト用第２ボックスパターン情報を参照して前記テスト用２Ｄバウンディングボックスの前記座標に対応する前記テスト用疑似３Ｄバウンディングボックスの前記座標に関するテスト用第２リグレッション情報を生成させることを特徴とする請求項１０に記載のテスト方法。

【請求項15】

前記テスト装置は、前記テストイメージを先行ＣＮＮ基盤の物体検出器に入力して、前記物体検出器が（ｉ）先行コンボリューションレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記テストイメージに対してコンボリューション演算を遂行して前記テスト用特徴マップを生成させ、（ｉｉ）ＲＰＮをもって、前記テスト用特徴マップから前記テストイメージ内の前記テスト用物体に対応する少なくとも一つのテスト用プロポーザルボックスを生成させ、（ｉｉｉ）先行プーリングレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、前記テスト用特徴マップ上で前記テスト用プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用させてテスト用先行プーリング済み特徴マップを生成させ、（ｉｖ）先行ＦＣレイヤ（ＰｒｅｃｅｄｉｎｇＦＣ Ｌａｙｅｒ）をもって、前記テスト用物体に対応するテスト用物体パターン情報を生成させ、（ｖ）先行分類レイヤ（Ｐｒｅｃｅｄｉｎｇ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｌａｙｅｒ）をもって、前記テスト用物体パターン情報を参照して前記テスト用物体のクラスに対応するテスト用物体クラス情報を生成させ、（ｖｉ）先行リグレッションレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｒｅｇｒｅｓｓｉｏｎ Ｌａｙｅｒ）をもって、前記テスト用物体パターン情報を参照して前記テスト用物体に対応する前記テスト用２Ｄバウンディングボックスに関するテスト用先行リグレッション情報を生成させることで、前記テスト用特徴マップと前記テスト用２Ｄバウンディングボックスを生成することを特徴とする請求項１０に記載のテスト方法。

【請求項16】

ＣＮＮ基盤の疑似（Ｐｓｅｕｄｏ）３Ｄバウンディングボックスを少なくとも一つ検出する学習装置において、
インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用して特徴マップが生成され、２Ｄバウンディングボックスが前記トレーニングイメージで少なくとも一つの物体を含むと、プーリングレイヤ（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、前記特徴マップ上で前記２Ｄバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて少なくとも一つのプーリング済み特徴マップを生成させ、タイプ分類レイヤ（Ｔｙｐｅ−Ｃｌａｓｓｉｆｙｉｎｇ Ｌａｙｅｒ）をもって、前記プーリング済み特徴マップを参照して前記プーリング済み特徴マップ内の前記物体のイメージがトランケート（Ｔｒｕｎｃａｔｅ）されたかトランケートされていないかを判別させるプロセスと、（ＩＩ）前記物体のイメージがトランケートされた状態であれば前記物体を第１タイプ（Ｆｉｒｓｔ Ｔｙｐｅ）であるとし、前記物体のイメージがトランケートされていない状態であれば前記物体を第２タイプ（Ｓｅｃｏｎｄ Ｔｙｐｅ）であるとすると、前記プーリング済み特徴マップ内の前記物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して前記第１タイプと前記第２タイプそれぞれに対応するそれぞれのＦＣレイヤのうち一つをもって、前記プーリング済み特徴マップに対してニューラルネットワーク演算を少なくとも一回適用させて、前記疑似３Ｄバウンディングボックスに対応するボックスパターン（Ｂｏｘ Ｐａｔｔｅｒｎ）情報を生成させるプロセスと、（ＩＩＩ）（ｉ）前記ＦＣレイヤそれぞれに対応する分類レイヤそれぞれをもって、前記ボックスパターン情報を参照して前記物体の方向に関する方向クラス情報を出力させ、（ｉｉ）前記ＦＣレイヤそれぞれに対応するリグレッションレイヤそれぞれをもって、前記ボックスパターン情報を参照して前記２Ｄバウンディングボックスの座標に対応する前記疑似３Ｄバウンディングボックスの座標に関するリグレッション情報を生成させるプロセスと、（ＩＶ）少なくとも一つのＦＣロスレイヤをもって、前記方向クラス情報と、前記リグレッション情報と、これに対応する少なくとも一つの原本正解とを参照して少なくとも一つのクラスロス及び少なくとも一つのリグレッションロスを生成することにより、前記クラスロス及び前記リグレッションロスをバックプロパゲーションして前記ＦＣレイヤのパラメータを学習するプロセスと、を遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とする学習装置。

【請求項17】

前記（Ｉ）プロセス以後に、
前記プロセッサは、タイプロスレイヤをもって、前記物体のイメージがトランケートされたかトランケートされていないかに関する情報と前記物体のイメージに対応する物体タイプ原本正解とを参照して少なくとも一つのタイプロスを生成することにより、前記タイプロスをバックプロパゲーションして前記タイプ分類レイヤのパラメータの少なくとも一部を調整することを特徴とする請求項１６に記載の学習装置。

【請求項18】

前記（Ｉ）プロセスで、
前記プロセッサは、前記タイプ分類レイヤをもって、前記物体の全体を含む領域に対する、前記プーリング済み特徴マップ上に示された前記物体の一部のみを含む領域の割合が所定の閾値以下である場合には前記物体のイメージがトランケートされたものと判断させ、前記割合が前記所定の閾値を超過する場合には前記物体のイメージがトランケートされていないものと判断させることを特徴とする請求項１６に記載の学習装置。

【請求項19】

前記（ＩＩＩ）プロセスで、
前記プロセッサは、前記リグレッションレイヤそれぞれをもって、（ｉ）前記２Ｄバウンディングボックスの頂点から前記物体の前面と裏面それぞれに対応するそれぞれのインスタンスバウンディングボックスの頂点までのそれぞれの変位（Ｄｉｓｐｌａｃｅｍｅｎｔ）、並びに（ｉｉ）前記２Ｄバウンディングボックスの中心から前記それぞれのインスタンスバウンディングボックスのそれぞれの中心までのそれぞれの変位及び前記２Ｄバウンディングボックスの幅／高さの割合と前記インスタンスバウンディングボックスのそれぞれの幅／高さの割合との間のそれぞれの差のうち少なくとも一つを利用して、前記リグレッション情報を生成させることを特徴とする請求項１６に記載の学習装置。

【請求項20】

前記（ＩＩ）プロセスで、
前記プロセッサは、前記物体が前記第１タイプである場合、前記第１タイプに対応する第１ＦＣレイヤをもって、前記プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記疑似３Ｄバウンディングボックスに対応する第１ボックスパターン情報を生成し、前記物体が前記第２タイプである場合、前記第２タイプに対応する第２ＦＣレイヤをもって、前記プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記疑似３Ｄバウンディングボックスに対応する第２ボックスパターン情報を生成し、
前記（ＩＩＩ）プロセスで、
前記プロセッサは、（ｉ）前記第１ＦＣレイヤに対応する第１分類レイヤをもって、前記第１ボックスパターン情報を参照して前記第１タイプを有する前記物体の方向に対応する第１方向クラス情報を生成させ、前記第１ＦＣレイヤに対応する第１リグレッションレイヤをもって、前記第１ボックスパターン情報を参照して前記２Ｄバウンディングボックスの前記座標に対応する前記疑似３Ｄバウンディングボックスの前記座標に関する第１リグレッション情報を生成させ、（ｉｉ）前記第２ＦＣレイヤに対応する第２分類レイヤをもって、前記第２ボックスパターン情報を参照して前記第２タイプを有する前記物体の方向に対応する第２方向クラス情報を生成させ、前記第２ＦＣレイヤに対応する第２リグレッションレイヤをもって、前記第２ボックスパターン情報を参照して前記２Ｄバウンディングボックスの前記座標に対応する前記疑似３Ｄバウンディングボックスの前記座標に関する第２リグレッション情報を生成させることを特徴とする請求項１６に記載の学習装置。

【請求項21】

前記（ＩＶ）プロセスで、
前記プロセッサは、（ｉ）前記第１ＦＣレイヤに対応する第１ＦＣロスレイヤをもって、前記第１方向クラス情報と、前記第１リグレッション情報と、これに対応する少なくとも一つの第１原本正解とを参照して少なくとも一つの第１方向クラスロス及び少なくとも一つの第１ボックスリグレッションロスを生成させることで、前記第１方向クラスロス及び前記第１ボックスリグレッションロスをバックプロパゲーションして前記第１ＦＣレイヤのパラメータを学習し、（ｉｉ）前記第２ＦＣレイヤに対応する第２ＦＣロスレイヤをもって、前記第２方向クラス情報と、前記第２リグレッション情報と、これに対応する少なくとも一つの第２原本正解とを参照して少なくとも一つの第２方向クラスロス及び少なくとも一つの第２ボックスリグレッションロスを生成させることで、前記第２方向クラスロス及び前記第２ボックスリグレッションロスをバックプロパゲーションして前記第２ＦＣレイヤのパラメータを学習することを特徴とする請求項２０に記載の学習装置。

【請求項22】

先行ＣＮＮ（Ｐｒｅｃｅｄｉｎｇ ＣＮＮ）基盤の物体検出器から前記特徴マップと前記２Ｄバウンディングボックスとを取得することを特徴とする請求項１６に記載の学習装置。

【請求項23】

前記トレーニングイメージを前記物体検出器に入力して、前記物体検出器が（ｉ）先行コンボリューションレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって前記トレーニングイメージに対してコンボリューション演算を行って前記特徴マップを生成させ、（ｉｉ）ＲＰＮをもって、前記特徴マップから前記トレーニングイメージ内の前記物体に対応する少なくとも一つのプロポーザルボックスを生成させ、（ｉｉｉ）先行プーリングレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、前記特徴マップ上で前記プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用させて先行プーリング済み特徴マップを生成させ、（ｉｖ）先行ＦＣレイヤ（Ｐｒｅｃｅｄｉｎｇ ＦＣ Ｌａｙｅｒ）をもって、前記物体に対応する物体パターン情報を生成させ、（ｖ）先行分類レイヤ（Ｐｒｅｃｅｄｉｎｇ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｌａｙｅｒ）をもって、前記物体パターン情報を参照して前記物体のクラスに対応する物体クラス情報を生成させ、（ｖｉ）先行リグレッションレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｒｅｇｒｅｓｓｉｏｎ Ｌａｙｅｒ）をもって、前記物体パターン情報を参照して前記物体に対応する前記２Ｄバウンディングボックスに関する先行リグレッション情報を生成させることで、前記特徴マップと前記２Ｄバウンディングボックスとを生成することを特徴とする請求項２２に記載の学習装置。

【請求項24】

検出器学習装置によって前記物体検出器を学習している状態で、前記検出器学習装置が、前記物体検出器内のタイプロスレイヤをもって、前記物体のイメージがトランケートされたかトランケートされていないかに関する情報と、前記イメージに対応する物体タイプ原本正解とを参照して少なくとも一つのタイプロスを生成することにより、前記タイプロスをバックプロパゲーションして前記物体検出器内のタイプ分類レイヤのパラメータの少なくとも一部を調整することを特徴とする請求項２２に記載の学習装置。

【請求項25】

ＣＮＮ基盤の疑似（Ｐｓｅｕｄｏ）３Ｄバウンディングボックスを少なくとも一つ検出するテスト装置において、
インストラクションを格納する少なくとも一つのメモリ；及び
学習装置が、少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用して生成される少なくとも一つの学習用特徴マップと、前記トレーニングイメージで少なくとも一つの学習用物体を含む少なくとも一つの学習用２Ｄバウンディングボックスとを取得すると、（ｉ）プーリングレイヤ（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、前記学習用特徴マップ上で前記学習用２Ｄバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて、少なくとも一つの学習用プーリング済み特徴マップを生成させ、タイプ分類レイヤ（Ｔｙｐｅ−Ｃｌａｓｓｉｆｙｉｎｇ Ｌａｙｅｒ）をもって、前記学習用プーリング済み特徴マップを参照して前記学習用プーリング済み特徴マップ内の前記学習用物体のイメージがトランケート（Ｔｒｕｎｃａｔｅ）されたかトランケートされていないかを判別させるプロセスと、（ｉｉ）前記学習用物体のイメージがトランケートされた状態であれば前記学習用物体を第１タイプ（Ｆｉｒｓｔ Ｔｙｐｅ）であるとし、前記学習用物体のイメージがトランケートされていない状態であれば前記学習用物体を第２タイプ（Ｓｅｃｏｎｄ Ｔｙｐｅ）であるとすると、前記学習用プーリング済み特徴マップ内の前記学習用物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して前記第１タイプと前記第２タイプそれぞれに対応するそれぞれのＦＣレイヤのうち一つをもって、前記学習用プーリング済み特徴マップに対してニューラルネットワーク演算を少なくとも一回適用させて前記学習用疑似３Ｄバウンディングボックスに対応する学習用ボックスパターン（Ｂｏｘ Ｐａｔｔｅｒｎ）情報を生成させるプロセスと、（ｉｉｉ）前記ＦＣレイヤそれぞれに対応する少なくとも一つの分類レイヤそれぞれをもって、前記学習用ボックスパターン情報を参照して前記学習用物体の方向に関する学習用方向クラス情報を出力させ、前記ＦＣレイヤそれぞれに対応する少なくとも一つのリグレッションレイヤそれぞれをもって、前記学習用ボックスパターン情報を参照して前記学習用２Ｄバウンディングボックスの座標情報に対応する前記学習用疑似３Ｄバウンディングボックスの座標に関する学習用リグレッション情報を生成させるプロセス、（ｉｖ）少なくとも一つのＦＣロスレイヤをもって、前記学習用方向クラス情報と、前記学習用リグレッション情報と、これに対応する少なくとも一つの原本正解とを参照して少なくとも一つのクラスロス及び少なくとも一つのリグレッションロスを生成することにより、前記クラスロス及び前記リグレッションロスをバックプロパゲーションして前記ＦＣレイヤのパラメータを学習するプロセスを遂行した状態で、（Ｉ）少なくとも一つのテストイメージに対してコンボリューション演算を少なくとも一回適用してテスト用特徴マップが生成され、テスト用２Ｄバウンディングボックスが前記テストイメージで少なくとも一つのテスト用物体を含むと、前記プーリングレイヤ（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、少なくとも一つの前記テスト用特徴マップ上で少なくとも一つの前記テスト用２Ｄバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて、少なくとも一つのテスト用プーリング済み特徴マップを生成させ、前記タイプ分類レイヤ（Ｔｙｐｅ−Ｃｌａｓｓｉｆｙｉｎｇ Ｌａｙｅｒ）をもって、前記テスト用プーリング済み特徴マップを参照して前記テスト用プーリング済み特徴マップ内の前記テスト用物体のイメージがトランケート（Ｔｒｕｎｃａｔｅ）されたかトランケートされていないかを判別させるプロセス、（ＩＩ）前記テスト用物体のイメージがトランケートされた状態であれば前記テスト用物体を前記第１タイプ（Ｆｉｒｓｔ Ｔｙｐｅ）であるとし、前記テスト用物体のイメージがトランケートされていない状態であれば前記テスト用物体を前記第２タイプ（Ｓｅｃｏｎｄ Ｔｙｐｅ）であるとすると、前記テスト用プーリング済み特徴マップ内の前記テスト用物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して前記第１タイプと前記第２タイプそれぞれに対応するそれぞれの前記ＦＣレイヤのうち一つをもって、前記テスト用プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記テスト用疑似３Ｄバウンディングボックスに対応するテスト用ボックスパターン（Ｂｏｘ Ｐａｔｔｅｒｎ）情報を生成させるプロセスと、（ＩＩＩ）（ｉ）前記ＦＣレイヤそれぞれに対応する前記分類レイヤそれぞれをもって、前記テスト用ボックスパターン情報を参照して前記テスト用物体の方向に関するテスト用方向クラス情報を生成させ、（ｉｉ）前記ＦＣレイヤそれぞれに対応する前記リグレッションレイヤそれぞれをもって、前記テスト用ボックスパターン情報を参照して前記テスト用２Ｄバウンディングボックスの前記座標に対応する前記テスト用疑似３Ｄバウンディングボックスの前記座標に関するテスト用リグレッション情報を生成させるプロセスと、を遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするテスト装置。

【請求項26】

前記学習装置は、タイプロスレイヤ（Ｔｙｐｅ Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記学習用物体のイメージがトランケートされたかトランケートされていないかに関する情報と、前記学習用物体のイメージに対応する物体タイプ（Ｏｂｊｅｃｔ−Ｔｙｐｅ）原本正解とを参照して少なくとも一つのタイプロスを生成させることにより、前記タイプロスを利用したバックプロパゲーションを通じて前記タイプ分類レイヤのパラメータの少なくとも一部を調整することを特徴とする請求項２５に記載のテスト装置。

【請求項27】

前記（Ｉ）プロセスで、
前記プロセッサは、前記タイプ分類レイヤをもって、前記テスト用物体の全体を含む領域に比べて前記テスト用プーリング済み特徴マップ上に示された前記テスト用物体の一部のみを含む領域の割合が所定の閾値以下である場合には前記テスト用物体のイメージがトランケートされたものと判断させ、前記割合が前記所定の閾値を超過する場合には前記テスト用物体のイメージがトランケートされていないものと判断させることを特徴とする請求項２５に記載のテスト装置。

【請求項28】

前記（ＩＩＩ）プロセスで、
前記プロセッサは、前記リグレッションレイヤそれぞれをもって、（ｉ）前記テスト用２Ｄバウンディングボックスの頂点から前記テスト用物体の前面と裏面それぞれに対応するそれぞれのテスト用インスタンスバウンディングボックスの頂点までのそれぞれの変位（Ｄｉｓｐｌａｃｅｍｅｎｔ）、並びに（ｉｉ）前記テスト用２Ｄバウンディングボックスの中心から前記それぞれのテスト用インスタンスバウンディングボックスのそれぞれの中心までのそれぞれの変位及び前記テスト用２Ｄバウンディングボックスの幅／高さの割合と前記テスト用インスタンスバウンディングボックスのそれぞれの幅／高さの割合との間のそれぞれの差のうち少なくとも一つを利用して、前記テスト用リグレッション情報を生成させることを特徴とする請求項２７に記載のテスト装置。

【請求項29】

前記（ＩＩ）プロセスで、
前記プロセッサは、前記テスト用物体が前記第１タイプである場合、前記第１タイプに対応する第１ＦＣレイヤをもって、前記テスト用プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記テスト用疑似３Ｄバウンディングボックスに対応するテスト用第１ボックスパターン情報を生成し、前記テスト用物体が前記第２タイプである場合、前記第２タイプに対応する第２ＦＣレイヤをもって、前記テスト用プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記テスト用疑似３Ｄバウンディングボックスに対応するテスト用第２ボックスパターン情報を生成し、
前記（ＩＩＩ）プロセスで、
前記プロセッサは、（ｉ）前記第１ＦＣレイヤに対応する第１分類レイヤをもって、前記テスト用第１ボックスパターン情報を参照して前記第１タイプを有する前記テスト用物体の方向に対応するテスト用第１方向クラス情報を生成させ、前記第１ＦＣレイヤに対応する第１リグレッションレイヤをもって、前記テスト用第１ボックスパターン情報を参照して前記テスト用２Ｄバウンディングボックスの前記座標に対応する前記テスト用疑似３Ｄバウンディングボックスの前記座標に対するテスト用第１リグレッション情報を生成させ、（ｉｉ）前記第２ＦＣレイヤに対応する第２分類レイヤをもって、前記テスト用第２ボックスパターン情報を参照して前記第２タイプを有する前記テスト用物体の方向に対応するテスト用第２方向クラス情報を生成させ、前記第２ＦＣレイヤに対応する第２リグレッションレイヤをもって、前記テスト用第２ボックスパターン情報を参照して前記テスト用２Ｄバウンディングボックスの前記座標に対応する前記テスト用疑似３Ｄバウンディングボックスの前記座標に関するテスト用第２リグレッション情報を生成させることを特徴とする請求項２５に記載のテスト装置。

【請求項30】

前記テストイメージを先行ＣＮＮ基盤の物体検出器に入力して、前記物体検出器が、（ｉ）先行コンボリューションレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記テストイメージに対してコンボリューション演算を遂行して、前記テスト用の特徴マップを生成させ、（ｉｉｉ）ＲＰＮをもって、前記テスト用の特徴マップから前記テストイメージ内の前記テスト物体に対応する少なくとも一つのテスト用プロポーザルボックスを生成させ、（ｉｉｉ）先行プーリングレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、前記テスト用特徴マップ上で前記テスト用プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用させてテスト用先行プーリングされた特徴マップを生成させ、（ｉｖ）先行ＦＣレイヤ（Ｐｒｅｃｅｄｉｎｇ ＦＣ Ｌａｙｅｒ）をもって、前記テスト用物体に対応するテスト用物体パターン情報を生成させ、（ｖ）先行分類レイヤ（Ｐｒｅｃｅｄｉｎｇ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｌａｙｅｒ）をもって、前記テスト用物体パターン情報を参照して前記テスト用物体のクラスに対応するテスト用物体クラス情報を生成させ、（ｖｉ）先行リグレッションレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｒｅｇｒｅｓｓｉｏｎ Ｌａｙｅｒ）をもって、前記テスト用物体パターン情報を参照して前記テスト用物体に対応する前記テスト用２Ｄバウンディングボックスに対するテスト用先行リグレッション情報を生成させることで、前記テスト用特徴マップと前記テスト用２Ｄバウンディングボックスとを生成することを特徴とする請求項２６に記載のテスト装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体の条件に応じてモードを切り換えることができるＣＮＮ基盤で軍事目的、スマートフォン又は仮想走行に使用される疑似（Ｐｓｅｕｄｏ）３Ｄバウンディングボックスを検出する方法において、より詳細には、前記ＣＮＮの基盤の前記疑似（Ｐｓｅｕｄｏ）３Ｄバウンディングボックスを少なくとも一つ検出する方法において、（ａ）少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用して生成される少なくとも一つの特徴マップと、前記トレーニングイメージで少なくとも一つの物体を含む少なくとも一つの２Ｄバウンディングボックスとが取得されると、学習装置が、プーリングレイヤ（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、前記特徴マップ上で前記２Ｄバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて少なくとも一つのプーリング済み特徴マップを生成させ、タイプ分類レイヤ（Ｔｙｐｅ−Ｃｌａｓｓｉｆｙｉｎｇ Ｌａｙｅｒ）をもって、前記プーリング済み特徴マップを参照して前記プーリング済み特徴マップ内の前記物体のイメージがトランケート（Ｔｒｕｎｃａｔｅ）されたかトランケートされていないかを判別させる段階；（ｂ）前記物体のイメージがトランケートされた状態であれば前記物体を第１タイプ（Ｆｉｒｓｔ Ｔｙｐｅ）であるとし、前記物体のイメージがトランケートされていない状態であれば前記物体を第２タイプ（Ｓｅｃｏｎｄ Ｔｙｐｅ）であるとすると、前記学習装置が、前記プーリング済み特徴マップ内の前記物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して前記第１タイプと前記第２タイプそれぞれに対応するそれぞれのＦＣレイヤのうち一つをもって、前記プーリング済み特徴マップに対してニューラルネットワーク演算を少なくとも一回適用させて、前記疑似３Ｄバウンディングボックスに対応するボックスパターン（Ｂｏｘ Ｐａｔｔｅｒｎ）情報を生成させる段階；（ｃ）前記学習装置が、（ｉ）前記ＦＣレイヤそれぞれに対応する分類レイヤそれぞれをもって、前記ボックスパターン情報を参照して前記物体の方向に関する方向クラス情報を出力させ、（ｉｉ）前記ＦＣレイヤそれぞれに対応するリグレッションレイヤそれぞれをもって、前記ボックスパターン情報を参照して前記２Ｄバウンディングボックスの座標に対応する前記疑似３Ｄバウンディングボックスの座標に関するリグレッション情報を生成させる段階；及び（ｄ）前記学習装置が、少なくとも一つのＦＣロスレイヤをもって、前記方向クラス情報と、前記リグレッション情報と、これに対応する少なくとも一つの原本正解とを参照して少なくとも一つのクラスロス及び少なくとも一つのリグレッションロスを生成することにより、前記クラスロス及び前記リグレッションロスをバックプロパゲーションして前記ＦＣレイヤのパラメータを学習する段階；を含むことを特徴とする学習方法及び装置、並びにこれを利用したテスト方法及び装置に関する。

【背景技術】

【0002】

自律走行自動車は、人が入力した内容なしに周辺環境を感知して走行することができる車両である。自律走行自動車は、囲まれた環境を検出するために、レーダ、レーザ光線、ＧＰＳ、走行測定器、コンピュータビジョン（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）のような多様な技術を使用する。

【0003】

コンピュータビジョンを使用して２次元単眼映像（２Ｄ Ｍｏｎｏｃｕｌａｒ Ｉｍａｇｅ）から３次元情報を推定することは、自主走行及び個人ロボットのような応用分野において非常に重要な作業である。一般的にイメージ内の物体をバウンディング（Ｂｏｕｎｄｉｎｇ）のための２Ｄボックスを生成した後、２Ｄボックスから３Ｄモデルを構成する。

【0004】

物体をバウンディングするために２Ｄボックスを探し出す従来の技術は、一般的にテンプレート基盤の方法を使用していた。２Ｄボックスを生成するための従来の技術のうち一つであるスライディングウインドウ方法（Ｓｌｉｄｉｎｇ Ｗｉｎｄｏｗｓ Ｍｅｔｈｏｄ）である。この方法は、様々なスケールを有する全体イメージに対して、ウインドウのようなボックスを繰り返しスライドさせて、ウインドウのようなボックス内のそれぞれの個体を検出する方法である。つまり、イメージ内の物体が互いに異なるサイズやスケールを有することができるため、イメージを数回縮小し、ウインドウのようなボックスをイメージ上に再びスライドさせてサイズが異なる物体を探し出す。

【0005】

他の従来の方法のうち一つは、アンカーボックス方法である。この方法では、多様なアンカーボックスを所定の位置に中心を合わせ、多様なアンカーボックスのうち確率が最も高いアンカーボックス（例えば、ＧＴ物体と重なる領域が最も多いアンカーボックス）をリグレッション分析によって決定する。

【0006】

そして、３Ｄバウンディングボックス（３Ｄ Ｂｏｕｎｄｉｎｇ Ｂｏｘ）が先に決定されたアンカーボックスから構成されるが、これに制限されはしない。まず、３Ｄバウンディングボックスは６つの表面を有することができ、６つの表面のうち３つは徹底的に検索する必要があり得る。第二に、単一テンプレートを３Ｄバウンディングボックスの表面のうち３つを決定するために使用する場合、物体の３Ｄ方向が変わると、リグレッションの境界線の条件が異なるために正確度が低いことがある。第三に、３Ｄバウンディングボックスを取得する従来の方法は、コンピューティングリソースがたくさん必要である。例えば、３Ｄバウンディングボックスを探し出すために、直方体テンプレートやボクセル（Ｖｏｘｅｌ）をマッチングさせるのに演算時間が長くかかるのと同じである。

【0007】

したがって、本発明はこのような不必要な演算を取り除き、検出精度を向上させるための新たな方法を提示する。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、上述した問題点をすべて解決することをその目的とする。

【0009】

また、本発明は、疑似３Ｄボックス（Ｐｓｅｕｄｏ−３Ｄ Ｂｏｘ）を利用して３Ｄ物体に外接するボックスを設定するための３Ｄバウンディングボックス（３Ｄ Ｂｏｕｎｄｉｎｇ Ｂｏｘ）を単純化することを他の目的とする。

【0010】

本発明は疑似３Ｄボックスの頂点の２Ｄ座標を利用して演算時間とコンピュータリソースを減らすことをまた他の目的とする。

【課題を解決するための手段】

【0011】

前記ような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記の通りである。

【0012】

本発明の一態様によると、ＣＮＮ基盤の疑似（Ｐｓｅｕｄｏ）３Ｄバウンディングボックスを少なくとも一つ検出する方法において、（ａ）少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用して生成される少なくとも一つの特徴マップと、前記トレーニングイメージで少なくとも一つの物体を含む少なくとも一つの２Ｄバウンディングボックスとが取得されると、学習装置が、プーリングレイヤ（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、前記特徴マップ上で前記２Ｄバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて少なくとも一つのプーリング済み特徴マップを生成させ、タイプ分類レイヤ（Ｔｙｐｅ−Ｃｌａｓｓｉｆｙｉｎｇ Ｌａｙｅｒ）をもって、前記プーリング済み特徴マップを参照して前記プーリング済み特徴マップ内の前記物体のイメージがトランケート（Ｔｒｕｎｃａｔｅ）されたかトランケートされていないかを判別させる段階；（ｂ）前記物体のイメージがトランケートされた状態であれば前記物体を第１タイプ（Ｆｉｒｓｔ Ｔｙｐｅ）であるとし、前記物体のイメージがトランケートされていない状態であれば前記物体を第２タイプ（Ｓｅｃｏｎｄ Ｔｙｐｅ）であるとすると、前記学習装置が、前記プーリング済み特徴マップ内の前記物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して前記第１タイプと前記第２タイプそれぞれに対応するそれぞれのＦＣレイヤのうち一つをもって、前記プーリング済み特徴マップに対してニューラルネットワーク演算を少なくとも一回適用させて、前記疑似３Ｄバウンディングボックスに対応するボックスパターン（Ｂｏｘ Ｐａｔｔｅｒｎ）情報を生成させる段階；（ｃ）前記学習装置が、（ｉ）前記ＦＣレイヤそれぞれに対応する分類レイヤそれぞれをもって、前記ボックスパターン情報を参照して前記物体の方向に関する方向クラス情報を出力させ、（ｉｉ）前記ＦＣレイヤそれぞれに対応するリグレッションレイヤそれぞれをもって、前記ボックスパターン情報を参照して前記２Ｄバウンディングボックスの座標に対応する前記疑似３Ｄバウンディングボックスの座標に関するリグレッション情報を生成させる段階；及び（ｄ）前記学習装置が、少なくとも一つのＦＣロスレイヤをもって、前記方向クラス情報と、前記リグレッション情報と、これに対応する少なくとも一つの原本正解とを参照して少なくとも一つのクラスロス及び少なくとも一つのリグレッションロスを生成することにより、前記クラスロス及び前記リグレッションロスをバックプロパゲーションして前記ＦＣレイヤのパラメータを学習する段階；を含むことを特徴とする。

【0013】

一実施例において、前記（ａ）段階以後に、前記学習装置は、タイプロスレイヤ（Ｔｙｐｅ Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記物体のイメージがトランケートされたかトランケートされていないかに関する情報と、前記イメージに対応する物体タイプ（Ｏｂｊｅｃｔ−Ｔｙｐｅ）原本正解とを参照して、少なくとも一つのタイプロスを生成させることにより、前記タイプロスをバックプロパゲーションして前記タイプ分類レイヤのパラメータの少なくとも一部を調整することを特徴とする。

【0014】

一実施例において、前記（ａ）段階で、前記学習装置は、前記タイプ分類レイヤをもって、前記物体の全体を含む領域に対する、前記プーリング済み特徴マップ上に示された前記物体の一部のみを含む領域の割合が所定の閾値以下である場合には前記物体のイメージがトランケートされたものと判断させ、前記割合が前記所定の閾値を超過する場合には前記物体のイメージがトランケートされていないものと判断させることを特徴とする。

【0015】

一実施例において、前記（ｃ）段階で、前記学習装置は、前記リグレッションレイヤそれぞれをもって、（ｉ）前記２Ｄバウンディングボックスの頂点から前記物体の前面と裏面それぞれに対応するそれぞれのインスタンスバウンディングボックスの頂点までのそれぞれの変位（Ｄｉｓｐｌａｃｅｍｅｎｔ）、並びに（ｉｉ）前記２Ｄバウンディングボックスの中心から前記それぞれのインスタンスバウンディングボックスのそれぞれの中心までのそれぞれの変位及び前記２Ｄバウンディングボックスの幅／高さの割合と前記インスタンスバウンディングボックスのそれぞれの幅／高さの割合との間のそれぞれの差のうち少なくとも一つを利用して、前記リグレッション情報を生成させることを特徴とする。

【0016】

一実施例において、前記（ｂ）段階で、前記学習装置は、前記物体が前記第１タイプである場合、前記第１タイプに対応する第１ＦＣレイヤをもって、前記プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記疑似３Ｄバウンディングボックスに対応する第１ボックスパターン情報を生成し、前記物体が前記第２タイプである場合、前記第２タイプに対応する第２ＦＣレイヤをもって、前記プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記疑似３Ｄバウンディングボックスに対応する第２ボックスパターン情報を生成し、前記（ｃ）段階で、前記学習装置は、（ｉ）前記第１ＦＣレイヤに対応する第１分類レイヤをもって、前記第１ボックスパターン情報を参照して前記第１タイプを有する前記物体の方向に対応する第１方向クラス情報を生成させ、前記第１ＦＣレイヤに対応する第１リグレッションレイヤをもって、前記第１ボックスパターン情報を参照して前記２Ｄバウンディングボックスの前記座標に対応する前記疑似３Ｄバウンディングボックスの前記座標に関する第１リグレッション情報を生成させ、（ｉｉ）前記第２ＦＣレイヤに対応する第２分類レイヤをもって、前記第２ボックスパターン情報を参照して前記第２タイプを有する前記物体の方向に対応する第２方向クラス情報を生成させ、前記第２ＦＣレイヤに対応する第２リグレッションレイヤをもって、前記第２ボックスパターン情報を参照して前記２Ｄバウンディングボックスの前記座標に対応する前記疑似３Ｄバウンディングボックスの前記座標に関する第２リグレッション情報を生成させることを特徴とする。

【0017】

一実施例において、前記（ｄ）段階で、前記学習装置は、（ｉ）前記第１ＦＣレイヤに対応する第１ＦＣロスレイヤをもって、前記第１方向クラス情報と、前記第１リグレッション情報と、これに対応する少なくとも一つの第１原本正解とを参照して少なくとも一つの第１方向クラスロス及び少なくとも一つの第１ボックスリグレッションロスを生成させることで、前記第１方向クラスロス及び前記第１ボックスリグレッションロスをバックプロパゲーションして前記第１ＦＣレイヤのパラメータを学習し、（ｉｉ）前記第２ＦＣレイヤに対応する第２ＦＣロスレイヤをもって、前記第２方向クラス情報と、前記第２リグレッション情報と、これに対応する少なくとも一つの第２原本正解とを参照して少なくとも一つの第２方向クラスロス及び少なくとも一つの第２ボックスリグレッションロスを生成させることで、前記第２方向クラスロス及び前記第２ボックスリグレッションロスをバックプロパゲーションして前記第２ＦＣレイヤのパラメータを学習することを特徴とする。

【0018】

一実施例において、前記学習装置は、先行ＣＮＮ（Ｐｒｅｃｅｄｉｎｇ ＣＮＮ）基盤の物体検出器から前記特徴マップと前記２Ｄバウンディングボックスとを取得することを特徴とする。

【0019】

一実施例において、前記学習装置は、前記トレーニングイメージを前記物体の検出器に入力して、前記物体検出器が（ｉ）先行コンボリューションレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記トレーニングイメージに対してコンボリューション演算を遂行して前記特徴マップを生成させ、（ｉｉ）ＲＰＮをもって、前記特徴マップから前記トレーニングイメージ内の前記物体に対応する少なくとも一つのプロポーザルボックスを生成させ、（ｉｉｉ）先行プーリングレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、前記特徴マップ上で前記プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用させて先行プーリング済み特徴マップを生成させ、（ｉｖ）先行ＦＣレイヤ（ＰｒｅｃｅｄｉｎｇＦＣ Ｌａｙｅｒ）をもって、前記物体に対応する物体パターン情報を生成させ、（ｖ）先行分類レイヤ（Ｐｒｅｃｅｄｉｎｇ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｌａｙｅｒ）をもって、前記物体パターン情報を参照して前記物体のクラスに対応する物体クラス情報を生成させ、（ｖｉ）先行リグレッションレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｒｅｇｒｅｓｓｉｏｎ Ｌａｙｅｒ）をもって、前記物体パターン情報を参照して前記物体に対応する前記２Ｄバウンディングボックスに関する先行リグレッション情報を生成させることで、前記特徴マップと前記２Ｄバウンディングボックスとを生成することを特徴とする。

【0020】

一実施例において、検出器学習装置によって前記物体検出器を学習している状態で、前記検出器学習装置が、前記物体検出器内のタイプロスレイヤをもって、前記物体のイメージがトランケートされたかトランケートされていないかに関する情報と、前記イメージに対応する物体タイプ原本正解とを参照して少なくとも一つのタイプロスを生成することにより、前記タイプロスをバックプロパゲーションして前記物体検出器内のタイプ分類レイヤのパラメータの少なくとも一部を調整することを特徴とする。

【0021】

本発明の一態様によると、ＣＮＮ基盤の疑似（Ｐｓｅｕｄｏ）３Ｄバウンディングボックスを少なくとも一つ検出する方法において、（ａ）学習装置が、少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用して生成される少なくとも一つの学習用特徴マップと、前記トレーニングイメージで少なくとも一つの学習用物体を含む少なくとも一つの学習用２Ｄバウンディングボックスとが取得されると、（ｉ）プーリングレイヤ（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、前記学習用特徴マップ上で前記学習用２Ｄバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて、少なくとも一つの学習用プーリング済み特徴マップを生成させ、タイプ分類レイヤ（Ｔｙｐｅ−Ｃｌａｓｓｉｆｙｉｎｇ Ｌａｙｅｒ）をもって、前記学習用プーリング済み特徴マップを参照して前記学習用プーリング済み特徴マップ内の前記学習用物体のイメージがトランケート（Ｔｒｕｎｃａｔｅ）されたかトランケートされていないかを判別させるプロセスと、（ｉｉ）前記学習用物体のイメージがトランケートされた状態であれば前記学習用物体を第１タイプ（Ｆｉｒｓｔ Ｔｙｐｅ）であるとし、前記学習用物体のイメージがトランケートされていない状態であれば前記学習用物体を第２タイプ（Ｓｅｃｏｎｄ Ｔｙｐｅ）であるとすると、前記学習用プーリング済み特徴マップ内の前記学習用物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して前記第１タイプと前記第２タイプそれぞれに対応するそれぞれのＦＣレイヤのうち一つをもって、前記学習用プーリング済み特徴マップに対してニューラルネットワーク演算を少なくとも一回適用させて前記学習用疑似３Ｄバウンディングボックスに対応する学習用ボックスパターン（Ｂｏｘ Ｐａｔｔｅｒｎ）情報を生成させるプロセスと、（ｉｉｉ）前記ＦＣレイヤそれぞれに対応する少なくとも一つの分類レイヤそれぞれをもって、前記学習用ボックスパターン情報を参照して前記学習用物体の方向に関する学習用方向クラス情報を出力させ、前記ＦＣレイヤそれぞれに対応する少なくとも一つのリグレッションレイヤそれぞれをもって、前記学習用ボックスパターン情報を参照して前記学習用２Ｄバウンディングボックスの座標に対応する前記学習用疑似３Ｄバウンディングボックスの座標に関する学習用リグレッション情報を生成させるプロセスと、（ｉｖ）少なくとも一つのＦＣロスレイヤをもって、前記学習用方向クラス情報と、前記学習用リグレッション情報と、これに対応する少なくとも一つの原本正解とを参照して少なくとも一つのクラスロス及び少なくとも一つのリグレッションロスを生成することにより、前記クラスロス及び前記リグレッションロスをバックプロパゲーションして前記ＦＣレイヤのパラメータを学習するプロセスと、を遂行した状態で、少なくとも一つのテストイメージに対してコンボリューション演算を少なくとも一回適用して生成される少なくとも一つのテスト用特徴マップと、前記テストイメージで少なくとも一つのテスト用物体を含む少なくとも一つのテスト用２Ｄバウンディングボックスとが取得されると、テスト装置が、前記プーリングレイヤ（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、前記テスト用特徴マップ上で前記テスト用２Ｄバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて、少なくとも一つのテスト用プーリング済み特徴マップを生成させ、前記タイプ分類レイヤ（Ｔｙｐｅ−Ｃｌａｓｓｉｆｙｉｎｇ Ｌａｙｅｒ）をもって、前記テスト用プーリング済み特徴マップを参照して前記テスト用プーリング済み特徴マップ内の前記テスト用物体のイメージがトランケート（Ｔｒｕｎｃａｔｅ）されたかトランケートされていないかを判別させる段階；（ｂ）前記テスト用物体のイメージがトランケートされた状態であれば前記テスト用物体を第１タイプ（Ｆｉｒｓｔ Ｔｙｐｅ）であるとし、前記テスト用物体のイメージがトランケートされていない状態であれば前記テスト用物体を第２タイプ（Ｓｅｃｏｎｄ Ｔｙｐｅ）であるとすると、前記テスト装置が、前記テスト用プーリング済み特徴マップ内の前記テスト用物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して前記第１タイプと前記第２タイプそれぞれに対応するそれぞれの前記ＦＣレイヤのうち一つをもって、前記テスト用プーリング済み特徴マップに対してニューラルネットワーク演算を少なくとも一回適用させて、前記テスト用疑似３Ｄバウンディングボックスに対応するテスト用ボックスパターン（Ｂｏｘ Ｐａｔｔｅｒｎ）情報を生成させる段階；及び（ｃ）前記テスト装置が、（ｉ）前記ＦＣレイヤそれぞれに対応する分類レイヤそれぞれをもって、前記テスト用ボックスパターン情報を参照して前記テスト用物体の方向に関するテスト用方向クラス情報を出力させ、（ｉｉ）前記ＦＣレイヤそれぞれに対応するリグレッションレイヤそれぞれをもって、前記テスト用ボックスパターン情報を参照して前記テスト用２Ｄバウンディングボックスの前記座標に対応する前記テスト用疑似３Ｄバウンディングボックスの前記座標に関するテスト用リグレッション情報を生成させる段階；を含むことを特徴とする。
一実施例において、前記学習装置は、タイプロスレイヤ（Ｔｙｐｅ Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記学習用物体のイメージがトランケートされたかトランケートされていないかに関する情報と、前記学習用物体のイメージに対応する物体タイプ（Ｏｂｊｅｃｔ−Ｔｙｐｅ）原本正解とを参照して少なくとも一つのタイプロスを生成させることにより、前記タイプロスを利用したバックプロパゲーションを通じて前記タイプ分類レイヤのパラメータの少なくとも一部を調整することを特徴とする。

【0022】

一実施例において、前記（ａ）段階は、前記テスト装置は、前記タイプ分類レイヤをもって、前記テスト用物体の全体を含む領域に比べて前記テスト用プーリング済み特徴マップ上に示された前記テスト用物体の一部のみを含む領域の割合が所定の閾値以下である場合には、前記テスト用物体のイメージがトランケートされたものと判断させ、前記割合が前記所定の閾値を超過する場合には、前記テスト用物体のイメージがトランケートされていないものと判断させることを特徴とする。
一実施例において、前記（ｃ）段階で、前記テスト装置は、前記リグレッションレイヤそれぞれをもって、（ｉ）前記テスト用２Ｄバウンディングボックスの頂点から前記テスト用物体の前面と裏面それぞれに対応するそれぞれのテスト用インスタンスバウンディングボックスの頂点までのそれぞれの変位（Ｄｉｓｐｌａｃｅｍｅｎｔ）、並びに（ｉｉ）前記テスト用２Ｄバウンディングボックスの中心から前記それぞれのテスト用インスタンスバウンディングボックスのそれぞれの中心までのそれぞれの変位及び前記テスト用２Ｄバウンディングボックスの幅／高さの割合と前記テスト用インスタンスバウンディングボックスのそれぞれの幅／高さの割合との間のそれぞれの差のうち少なくとも一つを利用して、前記テスト用リグレッション情報を生成させることを特徴とする。

【0023】

一実施例において、前記（ｂ）段階で、前記テスト装置は、前記テスト用物体が前記第１タイプである場合、前記第１タイプに対応する第１ＦＣレイヤをもって、前記テスト用プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記テスト用疑似３Ｄバウンディングボックスに対応するテスト用第１ボックスパターン情報を生成し、前記テスト用物体が前記第２タイプである場合、前記第２タイプに対応する第２ＦＣレイヤをもって、前記テスト用プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記テスト用疑似３Ｄバウンディングボックスに対応するテスト用第２ボックスパターン情報を生成し、前記（ｃ）段階で、前記テスト装置は、（ｉ）前記第１ＦＣレイヤに対応する第１分類レイヤをもって、前記テスト用第１ボックスパターン情報を参照して前記第１タイプを有する前記テスト用物体の方向に対応するテスト用第１方向クラス情報を生成させ、前記第１ＦＣレイヤに対応する第１リグレッションレイヤをもって、前記テスト用第１ボックスパターン情報を参照して前記テスト用２Ｄバウンディングボックスの前記座標に対応する前記テスト用疑似３Ｄバウンディングボックスの前記座標に対するテスト用第１リグレッション情報を生成させ、（ｉｉ）前記第２ＦＣレイヤに対応する第２分類レイヤをもって、前記テスト用第２ボックスパターン情報を参照して前記第２タイプを有する前記テスト用物体の方向に対応するテスト用第２方向クラス情報を生成させ、前記第２ＦＣレイヤに対応する第２リグレッションレイヤをもって、前記テスト用第２ボックスパターン情報を参照して前記テスト用２Ｄバウンディングボックスの前記座標に対応する前記テスト用疑似３Ｄバウンディングボックスの前記座標に関するテスト用第２リグレッション情報を生成させることを特徴とする。

【0024】

一実施例において、前記テスト装置は、前記テストイメージを先行ＣＮＮ基盤の物体検出器に入力して、前記物体検出器が（ｉ）先行コンボリューションレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記テストイメージに対してコンボリューション演算を遂行して前記テスト用特徴マップを生成させ、（ｉｉ）ＲＰＮをもって、前記テスト用特徴マップから前記テストイメージ内の前記テスト用物体に対応する少なくとも一つのテスト用プロポーザルボックスを生成させ、（ｉｉｉ）先行プーリングレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、前記テスト用特徴マップ上で前記テスト用プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用させてテスト用先行プーリング済み特徴マップを生成させ、（ｉｖ）先行ＦＣレイヤ（ＰｒｅｃｅｄｉｎｇＦＣ Ｌａｙｅｒ）をもって、前記テスト用物体に対応するテスト用物体パターン情報を生成させ、（ｖ）先行分類レイヤ（Ｐｒｅｃｅｄｉｎｇ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｌａｙｅｒ）をもって、前記テスト用物体パターン情報を参照して前記テスト用物体のクラスに対応するテスト用物体クラス情報を生成させ、（ｖｉ）先行リグレッションレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｒｅｇｒｅｓｓｉｏｎ Ｌａｙｅｒ）をもって、前記テスト用物体パターン情報を参照して前記テスト用物体に対応する前記テスト用２Ｄバウンディングボックスに関するテスト用先行リグレッション情報を生成させることで、前記テスト用特徴マップと前記テスト用２Ｄバウンディングボックスを生成することを特徴とする。
本発明のまた他の態様によると、ＣＮＮ基盤の疑似（Ｐｓｅｕｄｏ）３Ｄバウンディングボックスを少なくとも一つ検出する学習装置において、インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用して特徴マップが生成され、２Ｄバウンディングボックスが前記トレーニングイメージで少なくとも一つの物体を含むと、プーリングレイヤ（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、前記特徴マップ上で前記２Ｄバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて少なくとも一つのプーリング済み特徴マップを生成させ、タイプ分類レイヤ（Ｔｙｐｅ−Ｃｌａｓｓｉｆｙｉｎｇ Ｌａｙｅｒ）をもって、前記プーリング済み特徴マップを参照して前記プーリング済み特徴マップ内の前記物体のイメージがトランケート（Ｔｒｕｎｃａｔｅ）されたかトランケートされていないかを判別させるプロセスと、（ＩＩ）前記物体のイメージがトランケートされた状態であれば前記物体を第１タイプ（Ｆｉｒｓｔ Ｔｙｐｅ）であるとし、前記物体のイメージがトランケートされていない状態であれば前記物体を第２タイプ（Ｓｅｃｏｎｄ Ｔｙｐｅ）であるとすると、前記プーリング済み特徴マップ内の前記物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して前記第１タイプと前記第２タイプそれぞれに対応するそれぞれのＦＣレイヤのうち一つをもって、前記プーリング済み特徴マップに対してニューラルネットワーク演算を少なくとも一回適用させて、前記疑似３Ｄバウンディングボックスに対応するボックスパターン（Ｂｏｘ Ｐａｔｔｅｒｎ）情報を生成させるプロセスと、（ＩＩＩ）（ｉ）前記ＦＣレイヤそれぞれに対応する分類レイヤそれぞれをもって、前記ボックスパターン情報を参照して前記物体の方向に関する方向クラス情報を出力させ、（ｉｉ）前記ＦＣレイヤそれぞれに対応するリグレッションレイヤそれぞれをもって、前記ボックスパターン情報を参照して前記２Ｄバウンディングボックスの座標に対応する前記疑似３Ｄバウンディングボックスの座標に関するリグレッション情報を生成させるプロセスと、（ＩＶ）少なくとも一つのＦＣロスレイヤをもって、前記方向クラス情報と、前記リグレッション情報と、これに対応する少なくとも一つの原本正解とを参照して少なくとも一つのクラスロス及び少なくとも一つのリグレッションロスを生成することにより、前記クラスロス及び前記リグレッションロスをバックプロパゲーションして前記ＦＣレイヤのパラメータを学習するプロセスと、を遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする。

【0025】

一実施例において、前記（Ｉ）プロセス以後に、前記プロセッサは、タイプロスレイヤをもって、前記物体のイメージがトランケートされたかトランケートされていないかに関する情報と前記物体のイメージに対応する物体タイプ原本正解とを参照して少なくとも一つのタイプロスを生成することにより、前記タイプロスをバックプロパゲーションして前記タイプ分類レイヤのパラメータの少なくとも一部を調整することを特徴とする。

【0026】

一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、前記タイプ分類レイヤをもって、前記物体の全体を含む領域に対する、前記プーリング済み特徴マップ上に示された前記物体の一部のみを含む領域の割合が所定の閾値以下である場合には前記物体のイメージがトランケートされたものと判断させ、前記割合が前記所定の閾値を超過する場合には前記物体のイメージがトランケートされていないものと判断させることを特徴とする。

【0027】

一実施例において、前記（ＩＩＩ）プロセスで、前記プロセッサは、前記リグレッションレイヤそれぞれをもって、（ｉ）前記２Ｄバウンディングボックスの頂点から前記物体の前面と裏面それぞれに対応するそれぞれのインスタンスバウンディングボックスの頂点までのそれぞれの変位（Ｄｉｓｐｌａｃｅｍｅｎｔ）、並びに（ｉｉ）前記２Ｄバウンディングボックスの中心から前記それぞれのインスタンスバウンディングボックスのそれぞれの中心までのそれぞれの変位及び前記２Ｄバウンディングボックスの幅／高さの割合と前記インスタンスバウンディングボックスのそれぞれの幅／高さの割合との間のそれぞれの差のうち少なくとも一つを利用して、前記リグレッション情報を生成させることを特徴とする。

【0028】

一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、前記物体が前記第１タイプである場合、前記第１タイプに対応する第１ＦＣレイヤをもって、前記プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記疑似３Ｄバウンディングボックスに対応する第１ボックスパターン情報を生成し、前記物体が前記第２タイプである場合、前記第２タイプに対応する第２ＦＣレイヤをもって、前記プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記疑似３Ｄバウンディングボックスに対応する第２ボックスパターン情報を生成し、前記（ＩＩＩ）プロセスで、前記プロセッサは、（ｉ）前記第１ＦＣレイヤに対応する第１分類レイヤをもって、前記第１ボックスパターン情報を参照して前記第１タイプを有する前記物体の方向に対応する第１方向クラス情報を生成させ、前記第１ＦＣレイヤに対応する第１リグレッションレイヤをもって、前記第１ボックスパターン情報を参照して前記２Ｄバウンディングボックスの前記座標に対応する前記疑似３Ｄバウンディングボックスの前記座標に関する第１リグレッション情報を生成させ、（ｉｉ）前記第２ＦＣレイヤに対応する第２分類レイヤをもって、前記第２ボックスパターン情報を参照して前記第２タイプを有する前記物体の方向に対応する第２方向クラス情報を生成させ、前記第２ＦＣレイヤに対応する第２リグレッションレイヤをもって、前記第２ボックスパターン情報を参照して前記２Ｄバウンディングボックスの前記座標に対応する前記疑似３Ｄバウンディングボックスの前記座標に関する第２リグレッション情報を生成させることを特徴とする。

【0029】

一実施例において、前記（ＩＶ）プロセスで、前記プロセッサは、（ｉ）前記第１ＦＣレイヤに対応する第１ＦＣロスレイヤをもって、前記第１方向クラス情報と、前記第１リグレッション情報と、これに対応する少なくとも一つの第１原本正解とを参照して少なくとも一つの第１方向クラスロス及び少なくとも一つの第１ボックスリグレッションロスを生成させることで、前記第１方向クラスロス及び前記第１ボックスリグレッションロスをバックプロパゲーションして前記第１ＦＣレイヤのパラメータを学習し、（ｉｉ）前記第２ＦＣレイヤに対応する第２ＦＣロスレイヤをもって、前記第２方向クラス情報と、前記第２リグレッション情報と、これに対応する少なくとも一つの第２原本正解とを参照して少なくとも一つの第２方向クラスロス及び少なくとも一つの第２ボックスリグレッションロスを生成させることで、前記第２方向クラスロス及び前記第２ボックスリグレッションロスをバックプロパゲーションして前記第２ＦＣレイヤのパラメータを学習することを特徴とする。
一実施例において、先行ＣＮＮ（Ｐｒｅｃｅｄｉｎｇ ＣＮＮ）基盤の物体検出器から前記特徴マップと前記２Ｄバウンディングボックスとを取得することを特徴とする。

【0030】

一実施例において、前記トレーニングイメージを前記物体検出器に入力して、前記物体検出器が（ｉ）先行コンボリューションレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって前記トレーニングイメージに対してコンボリューション演算を行って前記特徴マップを生成させ、（ｉｉ）ＲＰＮをもって、前記特徴マップから前記トレーニングイメージ内の前記物体に対応する少なくとも一つのプロポーザルボックスを生成させ、（ｉｉｉ）先行プーリングレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、前記特徴マップ上で前記プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用させて先行プーリング済み特徴マップを生成させ、（ｉｖ）先行ＦＣレイヤ（Ｐｒｅｃｅｄｉｎｇ ＦＣ Ｌａｙｅｒ）をもって、前記物体に対応する物体パターン情報を生成させ、（ｖ）先行分類レイヤ（Ｐｒｅｃｅｄｉｎｇ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｌａｙｅｒ）をもって、前記物体パターン情報を参照して前記物体のクラスに対応する物体クラス情報を生成させ、（ｖｉ）先行リグレッションレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｒｅｇｒｅｓｓｉｏｎ Ｌａｙｅｒ）をもって、前記物体パターン情報を参照して前記物体に対応する前記２Ｄバウンディングボックスに関する先行リグレッション情報を生成させることで、前記特徴マップと前記２Ｄバウンディングボックスとを生成することを特徴とする。
一実施例において、検出器学習装置によって前記物体検出器を学習している状態で、前記検出器学習装置が、前記物体検出器内のタイプロスレイヤをもって、前記物体のイメージがトランケートされたかトランケートされていないかに関する情報と、前記イメージに対応する物体タイプ原本正解とを参照して少なくとも一つのタイプロスを生成することにより、前記タイプロスをバックプロパゲーションして前記物体検出器内のタイプ分類レイヤのパラメータの少なくとも一部を調整することを特徴とする。

【0031】

本発明のまた他の態様によると、ＣＮＮ基盤の疑似（Ｐｓｅｕｄｏ）３Ｄバウンディングボックスを少なくとも一つ検出するテスト装置において、インストラクションを格納する少なくとも一つのメモリ；及び学習装置が、少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用して生成される少なくとも一つの学習用特徴マップと、前記トレーニングイメージで少なくとも一つの学習用物体を含む少なくとも一つの学習用２Ｄバウンディングボックスとを取得すると、（ｉ）プーリングレイヤ（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、前記学習用特徴マップ上で前記学習用２Ｄバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて、少なくとも一つの学習用プーリング済み特徴マップを生成させ、タイプ分類レイヤ（Ｔｙｐｅ−Ｃｌａｓｓｉｆｙｉｎｇ Ｌａｙｅｒ）をもって、前記学習用プーリング済み特徴マップを参照して前記学習用プーリング済み特徴マップ内の前記学習用物体のイメージがトランケート（Ｔｒｕｎｃａｔｅ）されたかトランケートされていないかを判別させるプロセスと、（ｉｉ）前記学習用物体のイメージがトランケートされた状態であれば前記学習用物体を第１タイプ（Ｆｉｒｓｔ Ｔｙｐｅ）であるとし、前記学習用物体のイメージがトランケートされていない状態であれば前記学習用物体を第２タイプ（Ｓｅｃｏｎｄ Ｔｙｐｅ）であるとすると、前記学習用プーリング済み特徴マップ内の前記学習用物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して前記第１タイプと前記第２タイプそれぞれに対応するそれぞれのＦＣレイヤのうち一つをもって、前記学習用プーリング済み特徴マップに対してニューラルネットワーク演算を少なくとも一回適用させて前記学習用疑似３Ｄバウンディングボックスに対応する学習用ボックスパターン（Ｂｏｘ Ｐａｔｔｅｒｎ）情報を生成させるプロセスと、（ｉｉｉ）前記ＦＣレイヤそれぞれに対応する少なくとも一つの分類レイヤそれぞれをもって、前記学習用ボックスパターン情報を参照して前記学習用物体の方向に関する学習用方向クラス情報を出力させ、前記ＦＣレイヤそれぞれに対応する少なくとも一つのリグレッションレイヤそれぞれをもって、前記学習用ボックスパターン情報を参照して前記学習用２Ｄバウンディングボックスの座標情報に対応する前記学習用疑似３Ｄバウンディングボックスの座標に関する学習用リグレッション情報を生成させるプロセス、（ｉｖ）少なくとも一つのＦＣロスレイヤをもって、前記学習用方向クラス情報と、前記学習用リグレッション情報と、これに対応する少なくとも一つの原本正解とを参照して少なくとも一つのクラスロス及び少なくとも一つのリグレッションロスを生成することにより、前記クラスロス及び前記リグレッションロスをバックプロパゲーションして前記ＦＣレイヤのパラメータを学習するプロセスを遂行した状態で、（Ｉ）少なくとも一つのテストイメージに対してコンボリューション演算を少なくとも一回適用してテスト用特徴マップが生成され、テスト用２Ｄバウンディングボックスが前記テストイメージで少なくとも一つのテスト用物体を含むと、前記プーリングレイヤ（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、少なくとも一つの前記テスト用特徴マップ上で少なくとも一つの前記テスト用２Ｄバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて、少なくとも一つのテスト用プーリング済み特徴マップを生成させ、前記タイプ分類レイヤ（Ｔｙｐｅ−Ｃｌａｓｓｉｆｙｉｎｇ Ｌａｙｅｒ）をもって、前記テスト用プーリング済み特徴マップを参照して前記テスト用プーリング済み特徴マップ内の前記テスト用物体のイメージがトランケート（Ｔｒｕｎｃａｔｅ）されたかトランケートされていないかを判別させるプロセス、（ＩＩ）前記テスト用物体のイメージがトランケートされた状態であれば前記テスト用物体を前記第１タイプ（Ｆｉｒｓｔ Ｔｙｐｅ）であるとし、前記テスト用物体のイメージがトランケートされていない状態であれば前記テスト用物体を前記第２タイプ（Ｓｅｃｏｎｄ Ｔｙｐｅ）であるとすると、前記テスト用プーリング済み特徴マップ内の前記テスト用物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して前記第１タイプと前記第２タイプそれぞれに対応するそれぞれの前記ＦＣレイヤのうち一つをもって、前記テスト用プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記テスト用疑似３Ｄバウンディングボックスに対応するテスト用ボックスパターン（Ｂｏｘ Ｐａｔｔｅｒｎ）情報を生成させるプロセスと、（ＩＩＩ）（ｉ）前記ＦＣレイヤそれぞれに対応する前記分類レイヤそれぞれをもって、前記テスト用ボックスパターン情報を参照して前記テスト用物体の方向に関するテスト用方向クラス情報を生成させ、（ｉｉ）前記ＦＣレイヤそれぞれに対応する前記リグレッションレイヤそれぞれをもって、前記テスト用ボックスパターン情報を参照して前記テスト用２Ｄバウンディングボックスの前記座標に対応する前記テスト用疑似３Ｄバウンディングボックスの前記座標に関するテスト用リグレッション情報を生成させるプロセスと、を遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする。

【0032】

一実施例において、前記学習装置は、タイプロスレイヤ（Ｔｙｐｅ Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記学習用物体のイメージがトランケートされたかトランケートされていないかに関する情報と、前記学習用物体のイメージに対応する物体タイプ（Ｏｂｊｅｃｔ−Ｔｙｐｅ）原本正解とを参照して少なくとも一つのタイプロスを生成させることにより、前記タイプロスを利用したバックプロパゲーションを通じて前記タイプ分類レイヤのパラメータの少なくとも一部を調整することを特徴とする。

【0033】

一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、前記タイプ分類レイヤをもって、前記テスト用物体の全体を含む領域に比べて前記テスト用プーリング済み特徴マップ上に示された前記テスト用物体の一部のみを含む領域の割合が所定の閾値以下である場合には前記テスト用物体のイメージがトランケートされたものと判断させ、前記割合が前記所定の閾値を超過する場合には前記テスト用物体のイメージがトランケートされていないものと判断させることを特徴とする。
一実施例において、前記（ＩＩＩ）プロセスで、前記プロセッサは、前記リグレッションレイヤそれぞれをもって、（ｉ）前記テスト用２Ｄバウンディングボックスの頂点から前記テスト用物体の前面と裏面それぞれに対応するそれぞれのテスト用インスタンスバウンディングボックスの頂点までのそれぞれの変位（Ｄｉｓｐｌａｃｅｍｅｎｔ）、並びに（ｉｉ）前記テスト用２Ｄバウンディングボックスの中心から前記それぞれのテスト用インスタンスバウンディングボックスのそれぞれの中心までのそれぞれの変位や前記テスト用２Ｄバウンディングボックスの幅／高さの割合と前記テスト用インスタンスバウンディングボックスのそれぞれの幅／高さの割合との間のそれぞれの差のうち少なくとも一つを利用して、前記テスト用リグレッション情報を生涯成すようにすることを特徴とする。

【0034】

一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、前記テスト用物体が前記第１タイプである場合、前記第１タイプに対応する第１ＦＣレイヤをもって、前記テスト用プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記テスト用疑似３Ｄバウンディングボックスに対応するテスト用第１ボックスパターン情報を生成し、前記テスト用物体が前記第２タイプである場合、前記第２タイプに対応する第２ＦＣレイヤをもって、前記テスト用プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記テスト用疑似３Ｄバウンディングボックスに対応するテスト用第２ボックスパターン情報を生成し、前記（ＩＩＩ）プロセスで、前記プロセッサは、（ｉ）前記第１ＦＣレイヤに対応する第１分類レイヤをもって、前記テスト用第１ボックスパターン情報を参照して前記第１タイプを有する前記テスト用物体の方向に対応するテスト用第１方向クラス情報を生成させ、前記第１ＦＣレイヤに対応する第１リグレッションレイヤをもって、前記テスト用第１ボックスパターン情報を参照して前記テスト用２Ｄバウンディングボックスの前記座標に対応する前記テスト用疑似３Ｄバウンディングボックスの前記座標に対するテスト用第１リグレッション情報を生成させ、（ｉｉ）前記第２ＦＣレイヤに対応する第２分類レイヤをもって、前記テスト用第２ボックスパターン情報を参照して前記第２タイプを有する前記テスト用物体の方向に対応するテスト用第２方向クラス情報を生成させ、前記第２ＦＣレイヤに対応する第２リグレッションレイヤをもって、前記テスト用第２ボックスパターン情報を参照して前記テスト用２Ｄバウンディングボックスの前記座標に対応する前記テスト用疑似３Ｄバウンディングボックスの前記座標に関するテスト用第２リグレッション情報を生成させることを特徴とする。

【0035】

一実施例において、前記テストイメージを先行ＣＮＮ基盤の物体検出器に入力して、前記物体検出器が、（ｉ）先行コンボリューションレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記テストイメージに対してコンボリューション演算を遂行して、前記テスト用の特徴マップを生成させ、（ｉｉｉ）ＲＰＮをもって、前記テスト用の特徴マップから前記テストイメージ内の前記テスト物体に対応する少なくとも一つのテスト用プロポーザルボックスを生成させ、（ｉｉｉ）先行プーリングレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、前記テスト用特徴マップ上で前記テスト用プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用させてテスト用先行プーリングされた特徴マップを生成させ、（ｉｖ）先行ＦＣレイヤ（Ｐｒｅｃｅｄｉｎｇ ＦＣ Ｌａｙｅｒ）をもって、前記テスト用物体に対応するテスト用物体パターン情報を生成させ、（ｖ）先行分類レイヤ（Ｐｒｅｃｅｄｉｎｇ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｌａｙｅｒ）をもって、前記テスト用物体パターン情報を参照して前記テスト用物体のクラスに対応するテスト用物体クラス情報を生成させ、（ｖｉ）先行リグレッションレイヤ（Ｐｒｅｃｅｄｉｎｇ Ｒｅｇｒｅｓｓｉｏｎ Ｌａｙｅｒ）をもって、前記テスト用物体パターン情報を参照して前記テスト用物体に対応する前記テスト用２Ｄバウンディングボックスに対するテスト用先行リグレッション情報を生成させることで、前記テスト用特徴マップと前記テスト用２Ｄバウンディングボックスとを生成することを特徴とする。
この他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。

【発明の効果】

【0036】

本発明は、３Ｄ座標生成のための不要なコンピュータ演算なしに物体の３Ｄバウンディングボックスを生成することができ、物体検出の正確性を向上させることができる効果がある。

【0037】

また、本発明は、疑似３Ｄバウンディングボックス（Ｐｓｅｕｄｏ−３Ｄ Ｂｏｘ）を利用することで、３Ｄ物体に外接する３Ｄバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）を単純化することができる他の効果がある。

【0038】

また、本発明は、疑似３Ｄボックスの位置情報に対する２Ｄ座標を利用することで、コンピューティングリソースと演算時間とを減少させることができるまた他の効果がある。

【0039】

本発明の実施例の説明に利用されるために添付された以下の図面は、本発明の実施例のうち単に一部であるにすぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。

【図面の簡単な説明】

【0040】

【図1】図１は、本発明の一実施例によるＣＮＮ基盤の疑似３Ｄバウンディングボックスを検出する学習装置を簡略に示したものである。

【図2】図２は、本発明の一実施例によるＣＮＮ基盤の疑似３Ｄバウンディングボックスを検出する学習方法を簡略に示したものである。

【図3】図３は、本発明の一実施例によるＣＮＮ基盤の疑似３Ｄバウンディングボックスを検出する学習方法において考慮すべきである物体のトランケート（Ｔｒｕｎｃａｔｅ）されたイメージとトランケートされていないイメージの例示を簡略に示したものである。

【図4】図４は、本発明の一実施例によるＣＮＮ基盤の疑似３Ｄバウンディングボックスを検出する学習方法において考慮すべきである物体の方向クラスを簡略に示したものである。

【図5】図５は、本発明の一実施例によるＣＮＮ基盤の疑似３Ｄバウンディングボックスを検出する学習方法において疑似３Ｄバウンディングボックス上の位置情報を生成するプロセスを簡略に示したものである。

【図6】図６は、本発明の一実施例によるＣＮＮ基盤の疑似３Ｄバウンディングボックスを検出する学習方法において疑似３Ｄバウンディングボックス上の位置情報を生成する他のプロセスを簡略に示したものである。

【図7】図７は、本発明の一実施例によるＣＮＮ基盤の疑似３Ｄバウンディングボックスを検出するテスト装置を簡略に示したものである。

【図8】図８は、本発明の一実施例によるＣＮＮ基盤の疑似３Ｄバウンディングボックスを検出するテスト方法を簡略に示したものである。

【発明を実施するための形態】

【0041】

後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように十分詳細に説明される。

【0042】

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。

【0043】

本発明で言及している各種イメージは、舗装又は非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。

【0044】

以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施するようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することとする。

【0045】

図１は、本発明の一実施例によるＣＮＮ基盤の疑似３Ｄバウンディングボックスを少なくとも一つ検出する学習装置を簡略に示したものであり、図１を参照すると、学習装置１００は通信部１１０とプロセッサ１２０とを含むことができる。また、学習装置は、次のプロセスを遂行するためのコンピュータ読取り可能なインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納することができるメモリ１１５をさらに含むことができる。一実施例によると、プロセッサ、メモリ、媒体等は統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ Ｐｒｏｃｅｓｓｏｒ）として統合され得る。

【0046】

先ず、通信部１１０は、少なくとも一つの入力特徴マップと少なくとも一つの２Ｄバウンディングボックスとを取得するか、又は他の装置をもって取得し得るように支援することができる。ここで入力特徴マップは、少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用して生成され、２Ｄバウンディングボックスは、トレーニングイメージで少なくとも一つの物体に外接するボックスを設定する。

【0047】

この際、通信部１００は、データベース１３０に格納されたトレーニングイメージを物体検出器に入力することによって、データベース１３０又はＣＮＮ基盤の物体検出器から入力特徴マップ上の情報と２Ｄバウンディングボックスとを取得するか、又は他の装置をもって取得することができるように支援することができる。物体検出器を利用して入力特徴マップと２Ｄバウンディングボックスとを生成するプロセスは、以下に詳しく説明することにする。そして、データベース１３０には、２Ｄバウンディングボックスに対応する物体の方向に関するクラス情報及び疑似３Ｄバウンディングボックスの位置情報に関する少なくとも一つの原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）が格納されていてもよい。これに加えて、データベース１３０には、トレーニングイメージ内の物体の２Ｄバウンディングボックスに関する位置情報に対応する少なくとも一つの原本正解及び物体クラスに対応する少なくとも一つの原本正解が格納されていてもよい。

【0048】

次に、プロセッサ１２０は、プーリングレイヤ（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、入力特徴マップ上で２Ｄバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて少なくとも一つのプーリング済み特徴マップを生成させ、タイプ分類レイヤ（Ｔｙｐｅ−Ｃｌａｓｓｉｆｙｉｎｇ Ｌａｙｅｒ）をもって、プーリング済み特徴マップを参照してプーリング済み特徴マップ内の物体イメージがトランケートされたかトランケートされていないかを判断させる。物体のイメージがトランケートされた状態であれば物体を第１タイプ（Ｆｉｒｓｔ Ｔｙｐｅ）であるとし、物体イメージがトランケートされていない状態であれば物体を第２タイプ（Ｓｅｃｏｎｄ Ｔｙｐｅ）であるとすると、プロセッサ１２０は、プーリング済み特徴マップ内の物体イメージがトランケートされたかトランケートされていないかに関する情報を参照して第１タイプと第２タイプそれぞれに対応するそれぞれのＦＣレイヤのうち一つをもってプーリング済み特徴マップに対してニューラルネットワーク演算を少なくとも一回適用させて、疑似３Ｄバウンディングボックスに対応するボックスパターン（Ｂｏｘ Ｐａｔｔｅｒｎ）情報を生成させることができる。そして、プロセッサ１２０は、（ｉ）少なくとも一つの分類レイヤをもってボックスパターン情報を参照して物体の方向（Ｏｒｉｅｎｔａｔｉｏｎ）に対応する方向クラス情報を生成させ、（ｉｉ）それぞれのＦＣレイヤに対応するそれぞれのリグレッションレイヤをもって、ボックスパターン情報を参照して２Ｄバウンディングボックスの座標に対応する疑似３Ｄバウンディングボックスの座標に関するリグレッション情報を生成させる。以後、プロセッサ１２０は、少なくとも一つのＦＣロスレイヤをもって、方向クラス情報と、リグレッション情報と、これに対応する原本正解とを参照して少なくとも一つのクラスロス及び少なくとも一つのリグレッションロスを生成することにより、クラスロス及びリグレッションロスを利用したバックプロパゲーションを通じてＦＣレイヤのパラメータを学習することができる。

【0049】

次に、プロセッサ１２０は、タイプロスレイヤをもって、物体イメージがトランケートされたかトランケートされていないかに関する情報と、これに対応する物体タイプ原本正解とを参照して少なくとも一つのタイプロスを生成させてタイプロスをバックプロパゲーションしてタイプ分類レイヤのパラメータの少なくとも一部を調整することができる。

【0050】

他の例を挙げると、（図２と異なり）物体検出器１０が検出器学習装置（図示せず）によって学習された状態で、検出器学習装置は物体検出器１０内のタイプロスをもって、物体イメージがトランケートされたかトランケートされていないかに関する情報と、これに対応する物体タイプ原本正解とを参照してタイプロスを生成させてタイプロスをバックプロパゲーションして物体検出器１０内のタイプ分類レイヤのパラメータの少なくとも一部を調整することができる。つまり、先行ＣＮＮ（Ｐｒｅｃｅｄｉｎｇ ＣＮＮ）と呼ばれるＣＮＮ基盤の物体検出器１０が学習されると、タイプ分類レイヤもともに学習される。この際、「先行（Ｐｒｅｃｅｄｉｎｇ）」という用語は、学習装置１００における混乱を防ぐために、物体検出器１０内のレイヤ、入力及び出力について使用され得、詳しい内容は後に説明する。

【0051】

この際、本発明の一実施例による学習装置１００は、コンピュータ装置であって、プロセッサを搭載して演算能力を備えた装置であればいくらでも本発明による学習装置１００として採択され得る。また、図１では、一つの学習装置１００のみを示したが、これに限定されず、学習装置１００は複数個に分けて役割を遂行することもできる。

【0052】

このように構成された本発明の一実施例による学習装置１００を利用してＣＮＮ基盤の疑似３Ｄバウンディングボックスを検出する学習方法を図２を参照して説明すると次のとおりである。

【0053】

まず、学習装置１００は、トレーニングイメージに対してコンボリューション演算を遂行して生成された特徴マップと、トレーニングイメージ内の物体を含む２Ｄバウンディングボックスとを取得することができる。

【0054】

この際、学習装置１００は、トレーニングイメージが先行ＣＮＮを基盤とした物体検出器１０に入力されるように支援することができ、これを通じて学習装置１００は、特徴マップと２Ｄバウンディングボックスとを物体検出器１０から又はデータベース（図示せず）から取得するか、又は他の装置によって取得し得るよう支援することができる。

【0055】

そして、物体検出器１０から入力特徴マップと２Ｄバウンディングボックスとを取得するプロセスを簡略に説明すると次のとおりである。この際、「先行（Ｐｒｅｃｅｄｉｎｇ）」という用語は、学習装置１００における混乱を防ぐために、本発明で最も重要な装置である学習装置１００の入力端のすぐ前に配置され得る物体検出器１０内のレイヤ、入力及び出力について用いることができる。以下、物体検出器１０内のそれぞれのレイヤに対する演算は、物体検出器１０によって制御されるが、場合によって学習装置１００によって制御されることもある。

【0056】

物体検出器１０がデータベースからトレーニングイメージを取得した後、物体検出器１０が、学習された少なくとも一つのコンボリューションレイヤ１１をもって、トレーニングイメージに対してコンボリューション演算を適用させて少なくとも一つの先行特徴マップを出力させる。そして、物体検出器１０が学習された先行ＲＰＮ１２をもって、先行特徴マップからトレーニングイメージ内に位置する物体に対応する先行プロポーザルボックスを生成させ、少なくとも一つの先行プーリングレイヤ１３をもって、それぞれの先行プロポーザルボックスに対応する先行特徴マップ上のそれぞれの領域に対してプーリング演算を適用させて少なくとも一つの先行プーリング済み特徴マップを生成させる。以後、物体検出器１０は、学習された少なくとも一つの先行ＦＣレイヤ１４をもって、先行プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて物体に対応する先行物体パターン情報を生成させる。この場合、特徴に対応する先行物体パターン情報は、検出しようとする物体クラスのうち予測される物体クラスに関する情報と、バウンディングボックスに関する予想位置情報とを含むことができる。そして、物体検出器１０は、少なくとも一つの先行分類レイヤ１５をもって、先行物体パターン情報を参照して物体に関する先行クラス情報（例えば、検出しようとするそれぞれのクラスの確率情報）を生成させ、少なくとも一つの先行リグレッションレイヤ１６をもって、先行物体パターン情報を参照して物体に対応する先行リグレッション情報を生成させることができる。この際、２Ｄバウンディングボックスは、先行プロポーザルボックスと先行リグレッション情報とを参照して生成され得る。これを通じて、学習装置１００は、ＣＮＮ基盤の物体検出器１０の先行コンボリューションレイヤ１１から生成される先行特徴マップと、先行リグレッションレイヤ１６から生成される先行リグレッション情報とを利用して特徴マップとトレーニングイメージ内の物体に対する２Ｄバウンディングボックスとを取得することができる。

【0057】

次に、特徴マップと２Ｄバウンディングボックスが取得されると、学習装置１００は、プーリングレイヤ１２１をもって、特徴マップ上で２Ｄバウンディングボックスに対応する領域に対してプーリング演算を適用させてプーリング済み特徴マップを生成させる。

【0058】

そして、学習装置１００は、タイプ分類レイヤ１２２をもって、プーリング済み特徴マップを参照してプーリング済み特徴マップ内の物体イメージがトランケートされたかトランケートされていないかを判断させる。

【0059】

一例として、図３を参照すると、タイプ分類レイヤ１２２をもって、物体の全体を含む領域に対する、プーリング済み特徴マップ上に示された物体の一部のみを含む領域の割合が（ａ）に示されたように所定の閾値以下である場合には、物体のイメージがトランケートされたものと判断させ、割合が所定の閾値を超過する場合には、物体のイメージがトランケートされていないものと判断させることができる。

【0060】

この際、タイプ分類レイヤ１２２は、プーリング済み特徴マップに対してニューラルネットワーク演算を適用するＦＣレイヤを含むか、又はＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｔｗｏｒｋ）を含むことができる。

【0061】

次に、物体のイメージがトランケートされた状態であれば、物体を第１タイプ（Ｆｉｒｓｔ Ｔｙｐｅ）であるとし、物体のイメージがトランケートされていない状態であれば、物体を第２タイプ（Ｓｅｃｏｎｄ Ｔｙｐｅ）であるとすると、学習装置１００は、プーリング済み特徴マップ内の物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して第１タイプと第２タイプそれぞれに対応するそれぞれのＦＣレイヤ１２３−１、１２３−２のうち一つをもって、プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて疑似３Ｄバウンディングボックスに対応するボックスパターン（Ｂｏｘ Ｐａｔｔｅｒｎ）情報を生成させることができる。この際、特徴に対応するボックスパターン情報は、検出しようとする物体の方向クラスのうち予測される方向クラスに関する情報と、予測される疑似３Ｄバウンディングボックスの位置に関する情報とであり得る。

【0062】

一例として、タイプ分類レイヤ１２２の判別結果を参照して、物体が第１タイプであれば、学習装置１００はＦＣレイヤのうち第１タイプに対応する第１ＦＣレイヤ１２３−１をもって、プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて疑似３Ｄバウンディングボックスに対応する第１ボックスパターン情報を生成させる。そして、タイプ分類レイヤ１２２の判別結果を参照して、物体が第２タイプであれば、学習装置１００はＦＣレイヤのうち第２ＦＣレイヤ１２３−２をもって、プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて疑似３Ｄバウンディングボックスに対応する第２ボックスパターン情報を生成させる。

【0063】

次に、学習装置１００は、（ｉ）疑似３Ｄバウンディングボックス生成用ＦＣレイヤ１２３−１、１２３−２それぞれに対応するそれぞれの分類レイヤ１２４−１１、１２４−２１をもって、ボックスパターン情報を参照して物体の方向に対応する方向クラス情報を生成することができ、（ｉｉ）ＦＣレイヤ１２３−１、１２３−２それぞれに対応するリグレッションレイヤ１２４−１２、１２４−２２それぞれをもって、ボックスパターン情報を参照して２Ｄバウンディングボックスの座標に対応する疑似３Ｄバウンディングボックスの座標に関するリグレッション情報を生成させることができる。

【0064】

一例として、第１ＦＣレイヤ１２３−１に対応する分類レイヤ１２４−１１をもって、第１ボックスパターン情報を参考にして第１タイプを有する物体の方向に対応する第１方向クラス情報を生成させることができる。例えば、学習装置１００は、第１ボックスパターン情報を参照してそれぞれの方向クラスに関する確率情報を生成することができ、確率が最も高い特定方向クラスを当該物体の方向クラスとして判別することができる。学習装置１００は、第１ＦＣレイヤ１２３−１に対応する第１リグレッションレイヤ１２４−１２をもって、第１ボックスパターン情報を参照して２Ｄバウンディングボックスの座標に対応する疑似３Ｄバウンディングボックスの座標に関する第１リグレッション情報を生成させることができる。学習装置１００は、第２ＦＣレイヤに対応する第２分類レイヤ１２４−２１をもって、第２ボックスパターン情報を参照して第２タイプを有する物体の方向に対応する第２方向クラス情報を生成させることができる。例えば、学習装置１００は、第２ボックスパターン情報を参照してそれぞれの方向クラスに関する確率情報を生成させることができ、確率が最も高い特定方向クラスを当該物体の方向クラスとして判別することができる。学習装置１００は、第２ＦＣレイヤに対応する第２リグレッションレイヤ１２４−２２をもって、第２ボックスパターン情報を参照して２Ｄバウンディングボックスの座標に対応する疑似３Ｄバウンディングボックスの座標に関する第２リグレッション情報を生成させることができる。

【0065】

この際、図４を参照すると、方向クラスは物体の方向を判別するためのものであって、自動車を例に挙げると、方向クラスそれぞれは（ａ）の場合、物体の裏面を、（ｂ）の場合、物体の右側裏面を、（ｃ）の場合、物体の右側面を、（ｄ）の場合、物体の右側前面を、（ｅ）の場合、物体の前面を、（ｆ）の場合、物体の左側前面、（ｇ）の場合、物体の左側面を、（ｈ）の場合、物体の左側裏面を示す。

【0066】

また、学習装置１００は、リグレッションレイヤ１２４−１２、１２４−２２をもって、（ｉ）２Ｄバウンディングボックスの頂点から物体の前面と裏面それぞれに対応するそれぞれのインスタンスバウンディングボックスの頂点までのそれぞれの変位（Ｄｉｓｐｌａｃｅｍｅｎｔ）、並びに（ｉｉ）２Ｄバウンディングボックスの中心からそれぞれのインスタンスバウンディングボックスのそれぞれの中心までのそれぞれの変位及び２Ｄバウンディングボックスの幅／高さの割合とインスタンスバウンディングボックスのそれぞれの幅／高さの割合との間のそれぞれの差のうち少なくとも一つを利用して、リグレッション情報を生成させる。この際、それぞれのインスタンスバウンディングボックスの少なくとも一つの頂点それぞれが、対角線をなす２Ｄバウンディングボックスのそれぞれの頂点にそれぞれ対応し得る。

【0067】

一例として、図５を参照すると、（ｉ）物体の前面と裏面のうちいずれか一面に対応するインスタンスバウンディングボックスＰ１、Ｐ２、Ｐ３、Ｐ４と（ｉｉ）２ＤバウンディングボックスＢ１、Ｂ２、Ｂ３、Ｂ４の頂点との間の変位、（ｉ）物体の前面と裏面のうち他の一面に対応するインスタンスバウンディングボックスＰ５、Ｐ６、Ｐ７、Ｐ８と（ｉｉ）２ＤバウンディングボックスＢ１、Ｂ２、Ｂ３、Ｂ４の頂点との間の変位をリグレッション情報として生成することができる。この際、一つのインスタンスバウンディングボックスの頂点Ｐ１は、２Ｄバウンディングボックスの頂点Ｂ１とマッチングすることができ、他のインスタンスバウンディングボックスの頂点Ｐ８は、２Ｄバウンディングボックスの頂点Ｂ４とマッチングすることができる。また、物体の前面と裏面についての判別は、分類レイヤ１２３からのクラス情報を通じて確認することができる。

【0068】

そして、リグレッション情報は、一つのインスタンスバウンディングボックス内の左側上端にある頂点Ｐ１とＰ５との間の変位、及び他のインスタンスのボックス内の右側下端にある頂点Ｐ４とＰ８との間の変位それぞれを含むことができ、この場合、一つのインスタンスバウンディングボックスの左側上端にある頂点であるＰ１は、２Ｄバウンディングボックスの左側上端にある頂点であるＢ１にマッチングし、他のインスタンスバウンディングボックスの右側下端にある頂点であるＰ８は、２Ｄバウンディングボックスの右側下端にある頂点であるＢ４にマッチングするので、リグレッション情報は頂点Ｂ４と頂点Ｐ４との間の変位、及び頂点Ｂ１と頂点Ｐ５との間の変位を含むことができる。一方、これとは異なり、リグレッション情報は一つのインスタンスバウンディングボックスの頂点Ｐ１、Ｐ２、Ｐ３、Ｐ４から他のインスタンスバウンディングボックスの頂点Ｐ５、Ｐ６、Ｐ７、Ｐ８までのそれぞれの変位を含むようにすることもできる。

【0069】

他の例として、図６を参照すると、リグレッション情報は、（ｉ）物体の前面と裏面のうちいずれか一面に対応する一つのインスタンスバウンディングボックスの頂点Ｐ１、Ｐ２、Ｐ３、Ｐ４の中心であるＣ１と２Ｄバウンディングボックスの頂点Ｂ１、Ｂ２、Ｂ３、Ｂ４の中心であるＣ０との間の変位、（ｉｉ）物体の前面と裏面のうち他の一面に対応する他のインスタンスバウンディングボックスの頂点Ｐ５、Ｐ６、Ｐ７、Ｐ８の中心であるＣ２と２Ｄバウンディングボックスの頂点Ｂ１、Ｂ２、Ｂ３、Ｂ４の中心であるＣ０との間の変位、及び（ｉｉｉ）一つのインスタンスバウンディングボックスの頂点Ｐ１、Ｐ２、Ｐ３、Ｐ４の幅であるＷ１と高さであるＨ１から２Ｄバウンディングボックスの幅であるＷ０と高さであるＨ０までのそれぞれの変位、及び他のインスタンスバウンディングボックスの幅であるＷ２と高さであるＨ２から２Ｄバウンディングボックスの幅であるＷ０と高さであるＨ０までのそれぞれの変位を含み得、これを通じてリグレッション情報を参照して一つのインスタンスバウンディングボックス及び他のインスタンスバウンディングボックスのそれぞれの頂点に対する座標を確認することができるようになる。

【0070】

一方、対角線をなす２Ｄバウンディングボックスのそれぞれの頂点（例えば、Ｂ１とＢ４）を第１頂点と第２頂点とし、第１頂点に少なくとも一つの頂点がマッチングするインスタンスバウンディングボックスを第１インスタンスバウンディングボックスとし、第２頂点に少なくとも一つの頂点がマッチングするインスタンスバウンディングボックスを第２インスタンスバウンディングボックスとする場合、学習装置１００は（ｉ）第１及び第２インスタンスバウンディングボックスの各頂点を連結し、前記各頂点が２Ｄバウンディングボックスを構成する二つの隣接するラインの第１ペア（Ｆｉｒｓｔ Ｐａｉｒ）上に位置し、第１及び第２インスタンスバウンディングボックスの各頂点を連結し、前記頂点が２Ｄバウンディングボックスの他の二つの隣接したラインの第２ペア（Ｓｅｃｏｎｄ Ｐａｉｒ）上に位置し、第１及び第２ペアそれぞれにある二つの隣接したラインが対角線をなす頂点それぞれのどの頂点とも接さず、（ｉｉ）２Ｄバウンディングボックスのどのライン上にも存在しない第２インスタンスバウンディングボックスの頂点を第１頂点と連結した後、２Ｄバウンディングボックスのどのライン上にも存在しない第１インスタンスバウンディングボックスの頂点を第２頂点と連結して、クラス情報を参照して疑似３Ｄバウンディングボックスを生成することができる。

【0071】

つまり、図４または図５のように、頂点Ｂ１から始まって頂点Ｂ２を経て頂点Ｂ４までのライン上に位置する、一つのインスタンスバウンディングボックスの頂点Ｐ２と他のインスタンスバウンディングボックスの頂点Ｐ６とは連結され得、頂点Ｂ１から始まって頂点Ｂ３を経て頂点Ｂ４までのライン上に位置する、一つのインスタンスバウンディングボックスの頂点Ｐ３と他のインスタンスバウンディングボックスの頂点Ｐ７とは連結され得る。そして、一つのインスタンスバウンディングボックスの頂点Ｐ１と他のインスタンスバウンディングボックスの頂点Ｐ５とが連結され、頂点Ｐ４が頂点Ｐ８と連結され得る。これを通じて学習装置１００は、六面体の形態で疑似３Ｄバウンディングボックスを生成することができ、疑似３Ｄバウンディングボックスは、頂点Ｐ１、Ｐ２、Ｐ４、Ｐ３によって形成される一面と、頂点Ｐ５、Ｐ６、Ｐ８、Ｐ７によって形成される一面と、頂点Ｐ１、Ｐ５、Ｐ７、Ｐ３によって形成される一面と、頂点Ｐ２、Ｐ６、Ｐ８、Ｐ４によって形成される一面と、頂点Ｐ１、Ｐ２、Ｐ６、Ｐ５によって形成される一面と、頂点Ｐ３、Ｐ４、Ｐ８、Ｐ７によって形成される一面とを含むようになる。

【0072】

次に、学習装置１００は、少なくとも一つのＦＣロスレイヤ１２５−１１、１２５−１２、１２５−２１、１２５−２２をもって、方向クラス情報と、リグレッション情報と、これに対応する少なくとも一つの原本正解とを参照して少なくとも一つのクラスロス及び少なくとも一つのリグレッションロスを生成することにより、クラスロス及びリグレッションロスを利用したバックプロパゲーションを通じてＦＣレイヤ１２３−１、１２３−２のパラメータを学習することができる。

【0073】

一例として、学習装置１００は、（ｉ）第１ＦＣレイヤ１２３−１に対応する第１ＦＣロスレイヤ１２５−１１、１２５−１２をもって、第１方向クラス情報と、第１リグレッション情報と、これに対応する少なくとも一つの原本正解とを参照して少なくとも一つの第１方向クラスロス及び少なくとも一つの第１ボックスリグレッションロスを生成させることにより、第１方向クラスロス及び第１ボックスリグレッションロスを利用したバックプロパゲーションを通じて第１ＦＣレイヤ１２３−１のパラメータを学習させ、（ｉｉ）第２ＦＣレイヤ１２３−２に対応する少なくとも一つの第２ＦＣロスレイヤ１２５−２１、１２５−２２をもって、第２方向クラス情報と、第２リグレッション情報と、これに対応する少なくとも一つの原本正解とを参照して少なくとも一つの第２方向クラスロス及び少なくとも一つの第２ボックスリグレッションロスを生成させることで、第２方向クラスロス及び第２ボックスリグレッションロスを利用したバックプロパゲーションを通じて、第２ＦＣレイヤ１２３−２のパラメータを学習することができる。

【0074】

これとは別に、学習装置１００は、タイプロスレイヤ１２６をもって、物体のイメージがトランケートされたかトランケートされていないかに関する情報とこれに対応する物体タイプ原本正解とを参照して少なくとも一つのタイプロスを生成することにより、タイプロスを利用したバックプロパゲーションを通じてタイプ分類レイヤ１２２の少なくとも一つのパラメータを調整することができる。

【0075】

一方、（図６と異なり）物体検出器１０が検出器学習装置（図示せず）によって学習している状態で、検出器学習装置が、物体検出器１０内のタイプロスレイヤ（図示せず）をもって、物体のイメージがトランケートされたかトランケートされていないかに関する情報とこれに対応する物体タイプ原本正解とを参照してタイプロスを生成させることで、タイプロスを利用したバックプロパゲーションを通じてタイプ分類レイヤ１２２のパラメータのうち少なくとも一部を調整することもできる。つまり、先行ＣＮＮ基盤の物体検出器１０を学習する場合、タイプ分類レイヤ１２２も共に学習することができる。

【0076】

図７は、本発明の一実施例によるＣＮＮ基盤の疑似３Ｄバウンディングボックスを検出するテスト装置を簡略に示したものであり、図７を参照すると、テスト装置２００は通信部２１０とプロセッサ２２０とを含むことができる。また、テスト装置は、次のプロセスを遂行するためのコンピュータ読取り可能なインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納することができるメモリ１１５をさらに含むことができる。一実施例によると、プロセッサ、メモリ、媒体等は統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ Ｐｒｏｃｅｓｓｏｒ）として統合され得る。

【0077】

参考までに、以下の説明において混同を避けるため、「学習用」という文言は、前述の学習プロセスに関する用語に対して追加され、「テスト用」という文言は、テストプロセスに関する用語に対して追加される。

【0078】

まず、図１と図２とを参照して説明した学習装置が、（ａ）少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用して生成される少なくとも一つの学習用特徴マップと、トレーニングイメージで少なくとも一つの学習用物体を含む少なくとも一つの学習用２Ｄバウンディングボックスとが取得されると、プーリングレイヤ（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）をもって、学習用特徴マップ上で学習用２Ｄバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて、少なくとも一つの学習用プーリング済み特徴マップを生成させ、タイプ分類レイヤ（Ｔｙｐｅ−Ｃｌａｓｓｉｆｙｉｎｇ Ｌａｙｅｒ）をもって、学習用プーリング済み特徴マップを参照して学習用プーリング済み特徴マップ内の学習用物体のイメージがトランケート（Ｔｒｕｎｃａｔｅ）されたかトランケートされていないかを判別させるプロセスと、（ｂ）学習用物体のイメージがトランケートされた状態であれば学習用物体を第１タイプ（Ｆｉｒｓｔ Ｔｙｐｅ）であるとし、学習用物体のイメージがトランケートされていない状態であれば学習用物体を第２タイプ（Ｓｅｃｏｎｄ Ｔｙｐｅ）であるとすると、学習用プーリング済み特徴マップ内の学習用物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して第１タイプと第２タイプそれぞれに対応するそれぞれのＦＣレイヤのうち一つをもって、学習用プーリング済み特徴マップに対してニューラルネットワーク演算を適用するようにして学習用疑似３Ｄバウンディングボックスに対応する学習用ボックスパターン（Ｂｏｘ Ｐａｔｔｅｒｎ）情報を生成させるプロセスと、（ｃ）（ｉ）ＦＣレイヤそれぞれに対応する少なくとも一つの分類レイヤそれぞれをもって、学習用ボックスパターン情報を参照して学習用物体の方向に関する学習用方向クラス情報を生成させ、（ｉｉ）ＦＣレイヤそれぞれに対応するリグレッションレイヤそれぞれをもって、学習用ボックスパターン情報を参照して学習用２Ｄバウンディングボックスの座標に対応する学習用疑似３Ｄバウンディングボックスの座標に関する学習用リグレッション情報を生成させるプロセスと、（ｄ）ＦＣロスレイヤをもって学習用方向クラス情報と、学習用リグレッション情報と、これに対応する少なくとも一つの原本正解とを参照してクラスロス及び少なくとも一つのリグレッションロスを生成することにより、クラスロス及びリグレッションロスをバックプロパゲーションしてＦＣレイヤのパラメータを学習するプロセスと、を遂行した状態で、通信部２１０は、少なくとも一つのテスト用特徴マップと少なくとも一つのテスト用２Ｄバウンディングボックスとを取得するか、又は他の装置をもって取得することができるよう支援することができる。この際、テスト用特徴マップは、テストイメージに対してコンボリューション演算を遂行して生成され得、テスト用２Ｄバウンディングボックスは、物体検出器から出たテストイメージ上で少なくとも一つのテスト用物体を含むことができる。

【0079】

次に、プロセッサ２２０は、（ａ）プーリングレイヤをもって、テスト用特徴マップ上でテスト用２Ｄバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を適用させ、少なくとも一つのテスト用プーリング済み特徴マップを生成させてタイプ分類レイヤをもって、テスト用プーリング済み特徴マップを参照してテスト用プーリング済み特徴マップ上のテスト用物体のイメージがトランケート（Ｔｒｕｎｃａｔｅ）されたかトランケートされていないかを判別させるプロセスと、（ｂ）テスト用物体のイメージがトランケートされた状態であればテスト用物体を第１タイプ（Ｆｉｒｓｔ Ｔｙｐｅ）であるとし、テスト用物体のイメージがトランケートされていない状態であればテスト用物体を第２タイプ（Ｓｅｃｏｎｄ Ｔｙｐｅ）であるとすると、テスト用プーリング済み特徴マップ内のテスト用物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して第１タイプと第２タイプそれぞれに対応するそれぞれのＦＣレイヤのうち一つをもってテスト用プーリング済み特徴マップに対してニューラルネットワーク演算を適用させてテスト用疑似３Ｄバウンディングボックスに対応するテスト用ボックスパターン（Ｂｏｘ Ｐａｔｔｅｒｎ）情報を生成させるプロセスと、（ｃ）（ｉ）ＦＣレイヤそれぞれに対応する分類レイヤそれぞれをもって、テスト用ボックスパターン情報を参照してテスト用物体の方向に関するテスト用方向クラス情報を生成させ、（ｉｉ）ＦＣレイヤそれぞれに対応するリグレッションレイヤそれぞれをもってテスト用ボックスパターン情報を参照してテスト用２Ｄバウンディングボックスの座標に対応するテスト用疑似３Ｄバウンディングボックスの座標に関するテスト用リグレッション情報を生成させるプロセスと、を遂行するか、又は他の装置によって遂行できるよう支援することができる。

【0080】

この際、本発明の一実施例によるテスト装置２００は、コンピュータ装置であって、プロセッサを搭載して演算能力を備えた装置であればいくらでも本発明によるテスト装置２００として採択され得る。また、図７では、一つのテスト装置２００のみを示したが、これに限定されず、テスト装置は複数個に分けて役割を遂行することもできる。

【0081】

このように構成された本発明の一実施例によるテスト装置２００を利用して、ＣＮＮ基盤の疑似３Ｄバウンディングボックスを検出するテスト方法を図８を参照して説明することができる。以下の説明で、図２ないし図６を参照して説明した学習方法から容易に理解可能な部分については、詳細な説明を省略することにする。

【0082】

まず、図２ないし図６を参照して説明した学習方法によってＦＣレイヤ２２３−１、２２３−２のパラメータの少なくとも一部及びタイプ分類レイヤ２２２が学習された状態で、テストイメージがＣＮＮ基盤の物体検出器１０に入力されると、テスト装置２００は、物体検出器からテスト用特徴マップとテスト用２Ｄバウンディングボックスとを取得するか、又は他の装置によって取得するように支援する。

【0083】

つまり、物体検出器１０がテストイメージを取得すると、物体検出器１０が学習された先行コンボリューションレイヤ１１をもって、テストイメージに対してコンボリューション演算を適用させて少なくとも一つのテスト用先行特徴マップを出力させる。そして、物体検出器１０は、先行ＲＰＮ１２をもって、テスト用特徴マップからテストイメージ内に位置するテスト用物体に対応するテスト用先行プロポーザルボックスを生成させ、先行プーリングレイヤ１３をもって、テスト用先行特徴マップ上でテスト用先行プロポーザルボックスに対応するそれぞれの領域に対してプーリング演算を適用させて少なくとも一つのテスト用先行プーリング済み特徴マップを生成させる。以後、物体検出器１０は、先行ＦＣレイヤ１４をもって、テスト用先行プーリング済み特徴マップに対してニューラルネットワーク演算を適用させてテスト用物体に対応するテスト用先行物体パターン情報を生成させる。そして、物体検出器１０は、先行分類レイヤ１５をもって、テスト用先行物体パターン情報を参照してテスト用物体に関するテスト用先行クラス情報を生成させ、先行リグレッションレイヤ１６をもってテスト用先行物体パターン情報を参照してテスト用物体に対応するテスト用先行リグレッション情報を生成させることができる。これを通じてテスト装置２００は、ＣＮＮ基盤の物体検出器１０の先行コンボリューションレイヤ１１から生成されるテスト用先行特徴マップと、先行リグレッションレイヤ１６から生成されるテスト用先行リグレッション情報とを利用してテスト用特徴マップとテストイメージ内のテスト用物体に対するテスト用２Ｄバウンディングボックスとしてテスト用先行特徴マップとを取得するか、又は他の装置をもって取得することができるように支援することができる。

【0084】

次に、テストイメージに対してコンボリューション演算を適用して生成されたテスト用特徴マップと、テストイメージ内のテスト用物体を含むテスト用２Ｄバウンディングボックスとが取得されると、テスト装置２００は、プーリングレイヤ２２１をもって、テスト用特徴マップ上でテスト用２Ｄバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を適用させてテスト用プーリング済み特徴マップを生成させる。

【0085】

そして、テスト装置２００は、タイプ分類レイヤ２２２をもってテスト用プーリング済み特徴マップを参照してテスト用プーリング済み特徴マップ上のテスト用物体のイメージがトランケートされたかトランケートされていないかを判別させる。この場合、タイプ分類レイヤ２２２は、テスト用プーリング済み特徴マップに対してニューラルネットワーク演算を適用させるＦＣレイヤ又はＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｔｗｏｒｋ）を含むことができる。

【0086】

次に、テスト装置２００は、第１物体タイプ及び第２物体タイプにそれぞれ対応するＦＣレイヤ２２３−１、２２３−２のうち一つをもって、テスト用プーリング済み特徴マップ内のテスト用物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照してテスト用プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて疑似３Ｄバウンディングボックスに対応するテスト用ボックスパターン情報を生成させる。

【0087】

一例として、タイプ分類レイヤ２２２の判別結果を参照してテスト用物体が第１物体タイプであれば、テスト装置２００は、ＦＣレイヤのうち第１タイプに対応する第１ＦＣレイヤ２２３−１をもって、テスト用プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて疑似３Ｄバウンディングボックスに対応するテスト用第１ボックスパターン情報を生成させる。そして、タイプ分類レイヤ２２２の判別結果を参照して、テスト用物体が第２タイプであれば、ＦＣレイヤのうち第２タイプに対応する第２ＦＣレイヤ２２３−２をもって、テスト用プーリング済み特徴マップをニューラルネットワーク演算を適用させて疑似３Ｄバウンディングボックスに対応するテスト用第２ボックスパターン情報を生成させる。

【0088】

次に、テスト装置２００は、（ｉ）ＦＣレイヤ２２３−１、２２３−２それぞれに対応する分類レイヤ２２４−１１、２２４−２１それぞれをもって、テスト用ボックスパターン情報を参照してテスト用物体の方向に関するテスト用方向クラス情報を生成させ、（ｉｉ）ＦＣレイヤ２２３−１、２２３−２それぞれに対応するリグレッションレイヤ２２４−１２、２２４−２２それぞれをもってテスト用ボックスパターン情報を参照してテスト用２Ｄバウンディングボックスの座標に対応する疑似３Ｄバウンディングボックスの座標に関するテスト用リグレッション情報を生成させることができる。

【0089】

一例として、テスト装置２００は、第１ＦＣレイヤ２２３−１に対応する第１分類レイヤ２２４−１１をもって、テスト用第１ボックスパターン情報を参照して第１タイプを有するテスト用物体の方向に対応するテスト用第１方向クラス情報を生成する。

【0090】

例えば、テスト装置２００は、テスト用第１ボックスパターン情報を参照してそれぞれの方向クラスに関する確率情報を生成させることができ、確率が最も高い特定方向クラスを該当テスト用物体の方向クラスとして判別することができるようにすることができる。テスト装置２００は、第１ＦＣレイヤ２２３−１に対応する第１リグレッションレイヤ２２４−１２をもって、テスト用第１ボックスパターン情報を参照して２Ｄバウンディングボックスの座標に対応する疑似３Ｄバウンディングボックスの座標に関するテスト用第１リグレッション情報を生成させることができる。テスト装置２００は、第２ＦＣレイヤ２２３−２に対応する第２分類レイヤ２２４−２１をもって、テスト用第２ボックスパターン情報を参照して第２タイプを有するテスト用物体の方向に対応するテスト用第２方向クラス情報を生成させる。例えば、テスト装置２００は、テスト用第２ボックスパターン情報を参照してそれぞれの方向クラスに関する確率情報を生成させることができ、確率が最も高い特定方向クラスを該当テスト用物体の方向クラスとして判別することができる。テスト装置２００は、第２ＦＣレイヤ２２３−２に対応する第２リグレッションレイヤ２２４−２２をもって、テスト用第２ボックスパターン情報を参照して２Ｄバウンディングボックスの座標に対応する疑似３Ｄバウンディングボックスの座標に対するテスト用第２リグレッション情報を生成させる。

【0091】

学習方法とテスト方法を通じて、ＣＮＮはイメージ内の物体の条件に応じてモードを切り換えることができ、場合に応じて仮想走行中にトランケートされた物体をレンダリング（Ｒｅｎｄｅｒｉｎｇ）することができる。

【0092】

また、本発明による実施例は、敵軍に属する物体の一部が隠れる場合が多いため、モバイル装置及び軍事目的に使用され得る。

【0093】

以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカル・ディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光メディア（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。

【0094】

以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、係る記載から多様な修正及び変形が行われ得る。

【0095】

従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等又は等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

【符号の説明】

【0096】

１００；学習装置
１１０；通信部
１２０；プロセッサ
１３０；データベース
２００；テスト装置
２１０；通信部
２２０；プロセッサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】