ホーム > 特許ランキング > 株式会社ストラドビジョン
知財求人 - 知財ポータルサイト「IP Force」
特許6903352非最大値抑制を学習する併合ネットワークを利用した異種センサ融合のための学習方法及び学習装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＨＥＴＥＲＯＧＥＮＥＯＵＳ ＳＥＮＳＯＲ ＦＵＳＩＯＮ ＢＹ ＵＳＩＮＧ ＭＥＲＧＩＮＧ ＮＥＴＷＯＲＫ ＷＨＩＣＨ ＬＥＡＲＮＳ ＮＯＮ−ＭＡＸＩＭＵＭ ＳＵＰＰＲＥＳＳＩＯＮ｝
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6903352
(24)【登録日】2021年6月25日
(45)【発行日】2021年7月14日
(54)【発明の名称】非最大値抑制を学習する併合ネットワークを利用した異種センサ融合のための学習方法及び学習装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＨＥＴＥＲＯＧＥＮＥＯＵＳ ＳＥＮＳＯＲ ＦＵＳＩＯＮ ＢＹ ＵＳＩＮＧ ＭＥＲＧＩＮＧ ＮＥＴＷＯＲＫ ＷＨＩＣＨ ＬＥＡＲＮＳ ＮＯＮ−ＭＡＸＩＭＵＭ ＳＵＰＰＲＥＳＳＩＯＮ｝
(51)【国際特許分類】
G06T 7/00 20170101AFI20210701BHJP
【ＦＩ】
G06T7/00 350C
【請求項の数】22
【全頁数】29
(21)【出願番号】特願2020-6051(P2020-6051)
(22)【出願日】2020年1月17日
(65)【公開番号】特開2020-126622(P2020-126622A)
(43)【公開日】2020年8月20日
【審査請求日】2020年1月17日
(31)【優先権主張番号】62/799,097
(32)【優先日】2019年1月31日
(33)【優先権主張国】US
(31)【優先権主張番号】16/724,301
(32)【優先日】2019年12月22日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】517038176
【氏名又は名称】株式会社ストラドビジョン
(74)【代理人】
【識別番号】110000855
【氏名又は名称】特許業務法人浅村特許事務所
(72)【発明者】
【氏名】キム、ケイ − ヒョン
(72)【発明者】
【氏名】キム、ヨンジュン
(72)【発明者】
【氏名】キム、ハク − キョン
(72)【発明者】
【氏名】ナム、ウヒョン
(72)【発明者】
【氏名】ブー、ソッフン
(72)【発明者】
【氏名】ソン、ミュンチュル
(72)【発明者】
【氏名】シン、ドンス
(72)【発明者】
【氏名】ヨー、ドンフン
(72)【発明者】
【氏名】リュー、ウジュ
(72)【発明者】
【氏名】イ、ミョン − チュン
(72)【発明者】
【氏名】イ、ヒョンス
(72)【発明者】
【氏名】チャン、テウン
(72)【発明者】
【氏名】ジョン、キュンチョン
(72)【発明者】
【氏名】チェ、ホンモ
(72)【発明者】
【氏名】チョウ、ホジン
【審査官】
藤原 敬利
(56)【参考文献】
【文献】
米国特許出願公開第２０１６／０３７９０７９（ＵＳ，Ａ１）
【文献】
特開平１１−０１５９８１（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｎ ３／００− ３／１２
Ｇ０６Ｎ ７／０８−９９／００
Ｇ０６Ｔ １／００− １／４０
Ｇ０６Ｔ ３／００− ９／４０
Ｇ０８Ｇ １／００−９９／００
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
少なくとも一つの統合イメージを生成するのに利用される、特定空間に対する第１原本イメージ及び第２原本イメージにそれぞれ対応する、第１物体検出情報及び第２物体検出情報を統合して、前記統合イメージに追加で演算をせず、前記統合イメージの統合物体検出情報を生成する学習方法において、
（ａ）学習装置が、前記第１原本イメージ及び前記第２原本イメージが処理されて生成された、前記第１物体検出情報及び前記第２物体検出情報を取得すると、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれたコンカチネーティング（ｃｏｎｃａｔｅｎａｔｉｎｇ）ネットワークをもって、前記第１原本イメージに含まれた第１原本ＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）と、前記第２原本イメージに含まれた第２原本ＲＯＩとの一つ以上のペアに関する情報を含む一つ以上のペア特徴ベクトルを生成するようにする段階；
（ｂ）前記学習装置が、前記ＤＮＮに含まれた判別ネットワークをもって、前記ペア特徴ベクトルに一つ以上のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することにより、（ｉ）前記ペアそれぞれに含まれた、前記第１原本ＲＯＩと前記第２原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の判別ベクトル及び（ｉｉ）前記統合イメージ上で、前記ペアのうちの少なくとも一部の各要素の各元の位置と比較した、前記ペアのうち前記少なくとも一部に対応する統合ＲＯＩの各相対位置に関する情報を含む一つ以上のボックスリグレッション（ｒｅｇｒｅｓｓｉｏｎ）ベクトルを生成するようにする段階；及び
（ｃ）前記学習装置が、ロスユニットをもって、前記判別ベクトルと、前記ボックスリグレッションベクトルと、これに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記ＤＮＮに含まれたパラメータのうち少なくとも一部を学習させる段階；
を含むことを特徴とする方法。
（ａ）学習装置が、前記第１原本イメージ及び前記第２原本イメージが処理されて生成された、前記第１物体検出情報及び前記第２物体検出情報を取得すると、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれたコンカチネーティング（ｃｏｎｃａｔｅｎａｔｉｎｇ）ネットワークをもって、前記第１原本イメージに含まれた第１原本ＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）と、前記第２原本イメージに含まれた第２原本ＲＯＩとの一つ以上のペアに関する情報を含む一つ以上のペア特徴ベクトルを生成するようにする段階；
（ｂ）前記学習装置が、前記ＤＮＮに含まれた判別ネットワークをもって、前記ペア特徴ベクトルに一つ以上のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することにより、（ｉ）前記ペアそれぞれに含まれた、前記第１原本ＲＯＩと前記第２原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の判別ベクトル及び（ｉｉ）前記統合イメージ上で、前記ペアのうちの少なくとも一部の各要素の各元の位置と比較した、前記ペアのうち前記少なくとも一部に対応する統合ＲＯＩの各相対位置に関する情報を含む一つ以上のボックスリグレッション（ｒｅｇｒｅｓｓｉｏｎ）ベクトルを生成するようにする段階；及び
（ｃ）前記学習装置が、ロスユニットをもって、前記判別ベクトルと、前記ボックスリグレッションベクトルと、これに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記ＤＮＮに含まれたパラメータのうち少なくとも一部を学習させる段階；
を含むことを特徴とする方法。
【請求項2】
前記（ａ）段階で、
前記ペア特徴ベクトルの一つである特定ペア特徴ベクトルは、（ｉ）前記第１原本イメージに含まれた第１特定物体の第１クラス情報、（ｉｉ）前記第１特定物体を含む第１特定原本ＲＯＩの特徴値、（ｉｉｉ）前記第１特定原本ＲＯＩに対応する第１特定原本バウンディングボックスの座標値、（ｉｖ）前記第１特定原本ＲＯＩの座標値、（ｖ）前記第２原本イメージに含まれた第２特定物体の第２クラス情報、（ｖｉ）前記第２特定物体を含む第２特定原本ＲＯＩの特徴値、（ｖｉｉ）前記第２特定原本ＲＯＩに対応する第２特定原本バウンディングボックスの座標値、及び（ｖｉｉｉ）前記第２特定原本ＲＯＩの座標値を含むことを特徴とする請求項１に記載の方法。
前記ペア特徴ベクトルの一つである特定ペア特徴ベクトルは、（ｉ）前記第１原本イメージに含まれた第１特定物体の第１クラス情報、（ｉｉ）前記第１特定物体を含む第１特定原本ＲＯＩの特徴値、（ｉｉｉ）前記第１特定原本ＲＯＩに対応する第１特定原本バウンディングボックスの座標値、（ｉｖ）前記第１特定原本ＲＯＩの座標値、（ｖ）前記第２原本イメージに含まれた第２特定物体の第２クラス情報、（ｖｉ）前記第２特定物体を含む第２特定原本ＲＯＩの特徴値、（ｖｉｉ）前記第２特定原本ＲＯＩに対応する第２特定原本バウンディングボックスの座標値、及び（ｖｉｉｉ）前記第２特定原本ＲＯＩの座標値を含むことを特徴とする請求項１に記載の方法。
【請求項3】
前記（ｂ）段階で、
前記特定ペア特徴ベクトルに対応する、前記判別ベクトルの一つである特定判別ベクトルは、前記第１特定原本ＲＯＩと前記第２特定原本ＲＯＩとが前記統合イメージに統合される確率に関する情報を含み、前記特定ペア特徴ベクトルに対応する、前記ボックスリグレッションベクトルのうちの一つである特定ボックスリグレッションベクトルは、前記統合イメージ上の前記第１特定原本ＲＯＩと前記第２特定原本ＲＯＩとを統合して生成される特定統合バウンディンボックスの座標に関する情報を含むことを特徴とする請求項２に記載の方法。
前記特定ペア特徴ベクトルに対応する、前記判別ベクトルの一つである特定判別ベクトルは、前記第１特定原本ＲＯＩと前記第２特定原本ＲＯＩとが前記統合イメージに統合される確率に関する情報を含み、前記特定ペア特徴ベクトルに対応する、前記ボックスリグレッションベクトルのうちの一つである特定ボックスリグレッションベクトルは、前記統合イメージ上の前記第１特定原本ＲＯＩと前記第２特定原本ＲＯＩとを統合して生成される特定統合バウンディンボックスの座標に関する情報を含むことを特徴とする請求項２に記載の方法。
【請求項4】
前記（ｃ）段階で、
前記学習装置は、前記ロスユニットをもって、（ｉ）クロスエントロピー（ｃｒｏｓｓ ｅｎｔｒｏｐｙ）方式により前記判別ベクトルのうち少なくとも一部を利用して判別ロスを生成し、（ｉｉ）スムーズＬ１（ｓｍｏｏｔｈ−Ｌ１）方式によって前記ボックスリグレッションベクトルのうちの少なくとも一部を利用してボックスリグレッションロスを生成した後、（ｉｉｉ）前記判別ロスと、前記ボックスリグレッションロスとを参照にして前記統合ロスを生成するようにすることを特徴とする請求項１に記載の方法。
前記学習装置は、前記ロスユニットをもって、（ｉ）クロスエントロピー（ｃｒｏｓｓ ｅｎｔｒｏｐｙ）方式により前記判別ベクトルのうち少なくとも一部を利用して判別ロスを生成し、（ｉｉ）スムーズＬ１（ｓｍｏｏｔｈ−Ｌ１）方式によって前記ボックスリグレッションベクトルのうちの少なくとも一部を利用してボックスリグレッションロスを生成した後、（ｉｉｉ）前記判別ロスと、前記ボックスリグレッションロスとを参照にして前記統合ロスを生成するようにすることを特徴とする請求項１に記載の方法。
【請求項5】
前記（ｃ）段階で、
前記判別ロスは次の数式によって生成され、
は、前記判別ベクトルの個数を、
は、第ｉ判別ベクトルを、そして
は、前記第ｉ判別ベクトルに対する第ｉ判別ＧＴベクトルを意味し、
前記ボックスリグレッションロスは、次の数式によって生成され、
は、前記ボックスリグレッションベクトルの個数を、
は、第ｉボックスリグレッションベクトルを、そして
は、前記第ｉボックスリグレッションベクトルに対する第ｉボックスリグレッションＧＴベクトルを意味することを特徴とする請求項４に記載の方法。
前記判別ロスは次の数式によって生成され、
【数1】
【数2】
は、前記判別ベクトルの個数を、
【数3】
は、第ｉ判別ベクトルを、そして
【数4】
は、前記第ｉ判別ベクトルに対する第ｉ判別ＧＴベクトルを意味し、
前記ボックスリグレッションロスは、次の数式によって生成され、
【数5】
【数6】
【数7】
は、前記ボックスリグレッションベクトルの個数を、
【数8】
は、第ｉボックスリグレッションベクトルを、そして
【数9】
は、前記第ｉボックスリグレッションベクトルに対する第ｉボックスリグレッションＧＴベクトルを意味することを特徴とする請求項４に記載の方法。
【請求項6】
前記学習装置が、前記ＤＮＮの一つ以上のレイヤに含まれた各ディープラーニングニューロンをもって、その少なくとも一つのパラメータを利用して前記各ディープラーニングニューロンの入力に一つ以上のコンボリューション演算を適用し、前記ディープラーニングニューロンの出力を次のディープラーニングニューロンに伝達する過程を繰り返すことにより、前記ペア特徴ベクトルと、前記判別ベクトルと、前記ボックスリグレッションベクトルとを生成するようにすることを特徴とする請求項１に記載の方法。
【請求項7】
前記（ｂ）段階で、
前記学習装置が、前記ＤＮＮに含まれた前記判別ネットワークをもって、前記ペア特徴ベクトルに前記ＦＣ演算のうちの少なくとも一部を適用して前記判別ベクトルを生成するようにした後、前記ペア特徴ベクトルのうち、特定ペアが統合される特定確率を示す特定判別ベクトルの値が、予め設定された閾値以上である一つ以上の特定ペア特徴ベクトルに前記ＦＣ演算の残りの一部を適用して、前記特定ペア特徴ベクトルに対応する前記ボックスリグレッションベクトルを生成するようにすることを特徴とする請求項１に記載の方法。
前記学習装置が、前記ＤＮＮに含まれた前記判別ネットワークをもって、前記ペア特徴ベクトルに前記ＦＣ演算のうちの少なくとも一部を適用して前記判別ベクトルを生成するようにした後、前記ペア特徴ベクトルのうち、特定ペアが統合される特定確率を示す特定判別ベクトルの値が、予め設定された閾値以上である一つ以上の特定ペア特徴ベクトルに前記ＦＣ演算の残りの一部を適用して、前記特定ペア特徴ベクトルに対応する前記ボックスリグレッションベクトルを生成するようにすることを特徴とする請求項１に記載の方法。
【請求項8】
少なくとも一つのテスト用統合イメージを生成するのに利用される、テスト用特定空間に対する第１テスト用原本イメージ及び第２テスト用原本イメージにそれぞれ対応する、第１テスト用物体検出情報及び第２テスト用物体検出情報を統合して、前記テスト用統合イメージに追加で演算をせず、前記テスト用統合イメージのテスト用統合物体検出情報を生成するテスティング方法において、
（ａ）（１）学習装置が、第１学習用原本イメージ及び第２学習用原本イメージが処理されて生成された、第１学習用物体検出情報及び第２学習用物体検出情報を取得すると、ＤＮＮに含まれたコンカチネーティングネットワークをもって、前記第１学習用原本イメージに含まれた第１学習用原本ＲＯＩと、前記第２学習用原本イメージに含まれた第２学習用原本ＲＯＩとの一つ以上の学習用ペアに関する情報を含む一つ以上の学習用ペア特徴ベクトルを生成するようにし、（２）前記学習装置が、前記ＤＮＮに含まれた判別ネットワークをもって、前記学習用ペア特徴ベクトルに一つ以上のＦＣ演算を適用することにより、（ｉ）前記学習用ペアそれぞれに含まれた、前記第１学習用原本ＲＯＩと、前記第２学習用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の学習用判別ベクトル、及び（ｉｉ）前記学習用統合イメージ上で、前記学習用ペアのうちの少なくとも一部の各要素の各元の位置と比較した、前記学習用ペアのうち前記少なくとも一部に対応する学習用統合ＲＯＩの各相対位置に関する情報を含む一つ以上の学習用ボックスリグレッションベクトルを生成するようにし、（３）前記学習装置が、ロスユニットをもって、前記学習用判別ベクトルと、前記学習用ボックスリグレッションベクトルと、これに対応するＧＴとを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーションを遂行することで前記ＤＮＮに含まれたパラメータのうちの少なくとも一部を学習するようにした状態で、テスティング装置が、前記第１テスト用原本イメージ及び前記第２テスト用原本イメージが処理されて生成された、前記第１テスト用物体検出情報及び前記第２テスト用物体検出情報を取得すると、前記ＤＮＮに含まれた前記コンカチネーティングネットワークをもって、前記第１テスト用原本イメージに含まれた第１テスト用原本ＲＯＩと、前記第２テスト用原本イメージに含まれた第２テスト用原本ＲＯＩとの一つ以上のテスト用ペアに関する情報を含む一つ以上のテスト用ペア特徴ベクトルを生成するようにする段階；
（ｂ）前記テスティング装置が、前記ＤＮＮに含まれた前記判別ネットワークをもって、前記テスト用ペア特徴ベクトルに前記ＦＣ演算を適用することにより、（ｉ）前記テスト用ペアそれぞれに含まれた、前記第１テスト用原本ＲＯＩと、前記第２テスト用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上のテスト用判別ベクトル及び（ｉｉ）前記テスト用統合イメージ上で、前記テスト用ペアのうちの少なくとも一部の各要素の各元の位置と比較した、前記テスト用ペアのうち前記少なくとも一部に対応するテスト用統合ＲＯＩの各相対位置に関する情報を含む一つ以上のテスト用ボックスリグレッションベクトルを生成するようにする段階；及び
（ｃ）前記テスティング装置が、併合ユニットをもって、前記テスト用判別ベクトルと、前記テスト用ボックスリグレッションベクトルとを参照にして、第１テスト用原本バウンディンボックスと、第２テスト用原本バウンディンボックスとで構成された前記テスト用ペアのうちの少なくとも一部を併合することで、前記テスト用統合物体検出情報を生成するようにする段階；
を含むことを特徴とする方法。
（ａ）（１）学習装置が、第１学習用原本イメージ及び第２学習用原本イメージが処理されて生成された、第１学習用物体検出情報及び第２学習用物体検出情報を取得すると、ＤＮＮに含まれたコンカチネーティングネットワークをもって、前記第１学習用原本イメージに含まれた第１学習用原本ＲＯＩと、前記第２学習用原本イメージに含まれた第２学習用原本ＲＯＩとの一つ以上の学習用ペアに関する情報を含む一つ以上の学習用ペア特徴ベクトルを生成するようにし、（２）前記学習装置が、前記ＤＮＮに含まれた判別ネットワークをもって、前記学習用ペア特徴ベクトルに一つ以上のＦＣ演算を適用することにより、（ｉ）前記学習用ペアそれぞれに含まれた、前記第１学習用原本ＲＯＩと、前記第２学習用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の学習用判別ベクトル、及び（ｉｉ）前記学習用統合イメージ上で、前記学習用ペアのうちの少なくとも一部の各要素の各元の位置と比較した、前記学習用ペアのうち前記少なくとも一部に対応する学習用統合ＲＯＩの各相対位置に関する情報を含む一つ以上の学習用ボックスリグレッションベクトルを生成するようにし、（３）前記学習装置が、ロスユニットをもって、前記学習用判別ベクトルと、前記学習用ボックスリグレッションベクトルと、これに対応するＧＴとを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーションを遂行することで前記ＤＮＮに含まれたパラメータのうちの少なくとも一部を学習するようにした状態で、テスティング装置が、前記第１テスト用原本イメージ及び前記第２テスト用原本イメージが処理されて生成された、前記第１テスト用物体検出情報及び前記第２テスト用物体検出情報を取得すると、前記ＤＮＮに含まれた前記コンカチネーティングネットワークをもって、前記第１テスト用原本イメージに含まれた第１テスト用原本ＲＯＩと、前記第２テスト用原本イメージに含まれた第２テスト用原本ＲＯＩとの一つ以上のテスト用ペアに関する情報を含む一つ以上のテスト用ペア特徴ベクトルを生成するようにする段階；
（ｂ）前記テスティング装置が、前記ＤＮＮに含まれた前記判別ネットワークをもって、前記テスト用ペア特徴ベクトルに前記ＦＣ演算を適用することにより、（ｉ）前記テスト用ペアそれぞれに含まれた、前記第１テスト用原本ＲＯＩと、前記第２テスト用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上のテスト用判別ベクトル及び（ｉｉ）前記テスト用統合イメージ上で、前記テスト用ペアのうちの少なくとも一部の各要素の各元の位置と比較した、前記テスト用ペアのうち前記少なくとも一部に対応するテスト用統合ＲＯＩの各相対位置に関する情報を含む一つ以上のテスト用ボックスリグレッションベクトルを生成するようにする段階；及び
（ｃ）前記テスティング装置が、併合ユニットをもって、前記テスト用判別ベクトルと、前記テスト用ボックスリグレッションベクトルとを参照にして、第１テスト用原本バウンディンボックスと、第２テスト用原本バウンディンボックスとで構成された前記テスト用ペアのうちの少なくとも一部を併合することで、前記テスト用統合物体検出情報を生成するようにする段階；
を含むことを特徴とする方法。
【請求項9】
前記第１テスト用物体検出情報及び前記第２テスト用物体検出情報は、前記テスティング装置が搭載された車両に設置された、第１方向を担当する第１カメラ及び第２方向を担当する第２カメラによって取得された、前記第１テスト用原本イメージ及び前記第２テスト用原本イメージから取得されることを特徴とする請求項８に記載の方法。
【請求項10】
前記（ａ）段階で、
前記テスト用ペア特徴ベクトルの一つであるテスト用特定ペア特徴ベクトルは、（ｉ）前記第１テスト用原本イメージに含まれた第１テスト用特定物体の第１テスト用クラス情報、（ｉｉ）前記第１テスト用特定物体を含む第１テスト用特定原本ＲＯＩのテスト用特徴値、（ｉｉｉ）前記第１テスト用特定原本ＲＯＩに対応する第１テスト用特定原本バウンディングボックスの座標値、（ｉｖ）前記第１テスト用特定原本ＲＯＩの座標値、（ｖ）前記第２テスト用原本イメージに含まれた第２テスト用特定物体の第２テスト用クラス情報、（ｖｉ）前記第２テスト用特定物体を含む第２テスト用特定原本ＲＯＩのテスト用特徴値、（ｖｉｉ）前記第２テスト用特定原本ＲＯＩに対応する第２テスト用特定原本バウンディングボックスの座標値、及び（ｖｉｉｉ）前記第２テスト用特定原本ＲＯＩの座標値を含むことを特徴とする請求項８に記載の方法。
前記テスト用ペア特徴ベクトルの一つであるテスト用特定ペア特徴ベクトルは、（ｉ）前記第１テスト用原本イメージに含まれた第１テスト用特定物体の第１テスト用クラス情報、（ｉｉ）前記第１テスト用特定物体を含む第１テスト用特定原本ＲＯＩのテスト用特徴値、（ｉｉｉ）前記第１テスト用特定原本ＲＯＩに対応する第１テスト用特定原本バウンディングボックスの座標値、（ｉｖ）前記第１テスト用特定原本ＲＯＩの座標値、（ｖ）前記第２テスト用原本イメージに含まれた第２テスト用特定物体の第２テスト用クラス情報、（ｖｉ）前記第２テスト用特定物体を含む第２テスト用特定原本ＲＯＩのテスト用特徴値、（ｖｉｉ）前記第２テスト用特定原本ＲＯＩに対応する第２テスト用特定原本バウンディングボックスの座標値、及び（ｖｉｉｉ）前記第２テスト用特定原本ＲＯＩの座標値を含むことを特徴とする請求項８に記載の方法。
【請求項11】
前記（ｂ）段階で、
前記テスト用特定ペア特徴ベクトルに対応する、前記テスト用判別ベクトルの一つであるテスト用の特定判別ベクトルは、前記第１テスト用特定原本ＲＯＩと前記第２テスト用特定原本ＲＯＩとが前記テスト用統合イメージに統合される確率に関する情報を含み、前記テスト用特定ペア特徴ベクトルに対応する、前記テスト用ボックスリグレッションベクトルのうちの一つである特定ボックスリグレッションベクトルは、前記テスト用統合イメージ上の前記第１テスト用特定原本ＲＯＩと前記第２テスト用特定原本ＲＯＩとを統合して生成されるテスト用特定統合バウンディンボックスの座標に関する情報を含むことを特徴とする請求項１０に記載の方法。
前記テスト用特定ペア特徴ベクトルに対応する、前記テスト用判別ベクトルの一つであるテスト用の特定判別ベクトルは、前記第１テスト用特定原本ＲＯＩと前記第２テスト用特定原本ＲＯＩとが前記テスト用統合イメージに統合される確率に関する情報を含み、前記テスト用特定ペア特徴ベクトルに対応する、前記テスト用ボックスリグレッションベクトルのうちの一つである特定ボックスリグレッションベクトルは、前記テスト用統合イメージ上の前記第１テスト用特定原本ＲＯＩと前記第２テスト用特定原本ＲＯＩとを統合して生成されるテスト用特定統合バウンディンボックスの座標に関する情報を含むことを特徴とする請求項１０に記載の方法。
【請求項12】
少なくとも一つの統合イメージを生成するのに利用される、特定空間に対する第１原本イメージ及び第２原本イメージにそれぞれ対応する、第１物体検出情報及び第２物体検出情報を統合して、前記統合イメージに追加で演算をせず前記統合イメージの統合物体検出情報を生成する学習装置において、
各インストラクションを格納する一つ以上のメモリ；及び
（Ｉ）前記第１原本イメージ及び前記第２原本イメージが処理されて生成された、前記第１物体検出情報及び前記第２物体検出情報を取得すると、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれたコンカチネーティング（ｃｏｎｃａｔｅｎａｔｉｎｇ）ネットワークをもって、前記第１原本イメージに含まれた第１原本ＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）と、前記第２原本イメージに含まれた第２原本ＲＯＩとの一つ以上のペアに関する情報を含む一つ以上のペア特徴ベクトルを生成するようにするプロセス、（ＩＩ）前記ＤＮＮに含まれた判別ネットワークをもって、前記ペア特徴ベクトルに一つ以上のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することにより、（ｉ）前記ペアそれぞれに含まれた、前記第１原本ＲＯＩと前記第２原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の判別ベクトル及び（ｉｉ）前記統合イメージ上で、前記ペアのうちの少なくとも一部の各要素の各元の位置と比較した、前記ペアのうち前記少なくとも一部に対応する統合ＲＯＩの各相対位置に関する情報を含む一つ以上のボックスリグレッション（ｒｅｇｒｅｓｓｉｏｎ）ベクトルを生成するようにするプロセス、及び（ＩＩＩ）ロスユニットをもって、前記判別ベクトルと、前記ボックスリグレッションベクトルと、これに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記ＤＮＮに含まれたパラメータのうち少なくとも一部を学習するようにするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とする学習装置。
各インストラクションを格納する一つ以上のメモリ；及び
（Ｉ）前記第１原本イメージ及び前記第２原本イメージが処理されて生成された、前記第１物体検出情報及び前記第２物体検出情報を取得すると、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれたコンカチネーティング（ｃｏｎｃａｔｅｎａｔｉｎｇ）ネットワークをもって、前記第１原本イメージに含まれた第１原本ＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）と、前記第２原本イメージに含まれた第２原本ＲＯＩとの一つ以上のペアに関する情報を含む一つ以上のペア特徴ベクトルを生成するようにするプロセス、（ＩＩ）前記ＤＮＮに含まれた判別ネットワークをもって、前記ペア特徴ベクトルに一つ以上のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することにより、（ｉ）前記ペアそれぞれに含まれた、前記第１原本ＲＯＩと前記第２原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の判別ベクトル及び（ｉｉ）前記統合イメージ上で、前記ペアのうちの少なくとも一部の各要素の各元の位置と比較した、前記ペアのうち前記少なくとも一部に対応する統合ＲＯＩの各相対位置に関する情報を含む一つ以上のボックスリグレッション（ｒｅｇｒｅｓｓｉｏｎ）ベクトルを生成するようにするプロセス、及び（ＩＩＩ）ロスユニットをもって、前記判別ベクトルと、前記ボックスリグレッションベクトルと、これに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記ＤＮＮに含まれたパラメータのうち少なくとも一部を学習するようにするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とする学習装置。
【請求項13】
前記（Ｉ）プロセスで、
前記ペア特徴ベクトルの一つである特定ペア特徴ベクトルは、（ｉ）前記第１原本イメージに含まれた第１特定物体の第１クラス情報、（ｉｉ）前記第１特定物体を含む第１特定原本ＲＯＩの特徴値、（ｉｉｉ）前記第１特定原本ＲＯＩに対応する第１特定原本バウンディングボックスの座標値、（ｉｖ）前記第１特定原本ＲＯＩの座標値、（ｖ）前記第２原本イメージに含まれた第２特定物体の第２クラス情報、（ｖｉ）前記第２特定物体を含む第２特定原本ＲＯＩの特徴値、（ｖｉｉ）前記第２特定原本ＲＯＩに対応する第２特定原本バウンディングボックスの座標値、及び（ｖｉｉｉ）前記第２特定原本ＲＯＩの座標値を含むことを特徴とする請求項１２に記載の学習装置。
前記ペア特徴ベクトルの一つである特定ペア特徴ベクトルは、（ｉ）前記第１原本イメージに含まれた第１特定物体の第１クラス情報、（ｉｉ）前記第１特定物体を含む第１特定原本ＲＯＩの特徴値、（ｉｉｉ）前記第１特定原本ＲＯＩに対応する第１特定原本バウンディングボックスの座標値、（ｉｖ）前記第１特定原本ＲＯＩの座標値、（ｖ）前記第２原本イメージに含まれた第２特定物体の第２クラス情報、（ｖｉ）前記第２特定物体を含む第２特定原本ＲＯＩの特徴値、（ｖｉｉ）前記第２特定原本ＲＯＩに対応する第２特定原本バウンディングボックスの座標値、及び（ｖｉｉｉ）前記第２特定原本ＲＯＩの座標値を含むことを特徴とする請求項１２に記載の学習装置。
【請求項14】
前記（ＩＩ）プロセスで、
前記特定ペア特徴ベクトルに対応する、前記判別ベクトルの一つである特定判別ベクトルは、前記第１特定原本ＲＯＩと前記第２特定原本ＲＯＩとが前記統合イメージに統合される確率に関する情報を含み、前記特定ペア特徴ベクトルに対応する、前記ボックスリグレッションベクトルのうちの一つである特定ボックスリグレッションベクトルは、前記統合イメージ上の前記第１特定原本ＲＯＩと前記第２特定原本ＲＯＩとを統合して生成される特定統合バウンディンボックスの座標に関する情報を含むことを特徴とする請求項１３に記載の学習装置。
前記特定ペア特徴ベクトルに対応する、前記判別ベクトルの一つである特定判別ベクトルは、前記第１特定原本ＲＯＩと前記第２特定原本ＲＯＩとが前記統合イメージに統合される確率に関する情報を含み、前記特定ペア特徴ベクトルに対応する、前記ボックスリグレッションベクトルのうちの一つである特定ボックスリグレッションベクトルは、前記統合イメージ上の前記第１特定原本ＲＯＩと前記第２特定原本ＲＯＩとを統合して生成される特定統合バウンディンボックスの座標に関する情報を含むことを特徴とする請求項１３に記載の学習装置。
【請求項15】
前記（ＩＩＩ）プロセスで、
前記プロセッサは、前記ロスユニットをもって、（ｉ）クロスエントロピー方式により前記判別ベクトルのうち少なくとも一部を利用して判別ロスを生成し、（ｉｉ）スムーズＬ１方式によって前記ボックスリグレッションベクトルのうちの少なくとも一部を利用してボックスリグレッションロスを生成した後、（ｉｉｉ）前記判別ロスと、前記ボックスリグレッションロスとを参照にして前記統合ロスを生成するようにすることを特徴とする請求項１２に記載の学習装置。
前記プロセッサは、前記ロスユニットをもって、（ｉ）クロスエントロピー方式により前記判別ベクトルのうち少なくとも一部を利用して判別ロスを生成し、（ｉｉ）スムーズＬ１方式によって前記ボックスリグレッションベクトルのうちの少なくとも一部を利用してボックスリグレッションロスを生成した後、（ｉｉｉ）前記判別ロスと、前記ボックスリグレッションロスとを参照にして前記統合ロスを生成するようにすることを特徴とする請求項１２に記載の学習装置。
【請求項16】
前記（ＩＩＩ）プロセスで、
前記判別ロスは次の数式によって生成され、
は、前記判別ベクトルの個数を、
は、第ｉ判別ベクトルを、そして
は、前記第ｉ判別ベクトルに対する第ｉ判別ＧＴベクトルを意味し、
前記ボックスリグレッションロスは、次の数式によって生成され、
は、前記ボックスリグレッションベクトルの個数を、
は、第ｉボックスリグレッションベクトルを、そして
は、前記第ｉボックスリグレッションベクトルに対する第ｉボックスリグレッションＧＴベクトルを意味することを特徴とする請求項１５に記載の学習装置。
前記判別ロスは次の数式によって生成され、
【数10】
【数11】
は、前記判別ベクトルの個数を、
【数12】
は、第ｉ判別ベクトルを、そして
【数13】
は、前記第ｉ判別ベクトルに対する第ｉ判別ＧＴベクトルを意味し、
前記ボックスリグレッションロスは、次の数式によって生成され、
【数14】
【数15】
【数16】
は、前記ボックスリグレッションベクトルの個数を、
【数17】
は、第ｉボックスリグレッションベクトルを、そして
【数18】
は、前記第ｉボックスリグレッションベクトルに対する第ｉボックスリグレッションＧＴベクトルを意味することを特徴とする請求項１５に記載の学習装置。
【請求項17】
前記プロセッサが、前記ＤＮＮの一つ以上のレイヤに含まれた各ディープラーニングニューロンをもって、その少なくとも一つのパラメータを利用して前記各ディープラーニングニューロンの入力に一つ以上のコンボリューション演算を適用し、前記ディープラーニングニューロンの出力を次のディープラーニングニューロンに伝達する過程を繰り返すことにより、前記ペア特徴ベクトルと、前記判別ベクトルと、前記ボックスリグレッションベクトルとを生成するようにすることを特徴とする請求項１２に記載の学習装置。
【請求項18】
前記（ＩＩ）プロセスで、
前記プロセッサが、前記ＤＮＮに含まれた前記判別ネットワークをもって、前記ペア特徴ベクトルに前記ＦＣ演算のうちの少なくとも一部を適用して前記判別ベクトルを生成するようにした後、前記ペア特徴ベクトルのうち、特定ペアが統合される特定確率を示す特定判別ベクトルの値が、予め設定された閾値以上である一つ以上の特定ペア特徴ベクトルに前記ＦＣ演算の残りの一部を適用して、前記特定ペア特徴ベクトルに対応する前記ボックスリグレッションベクトルを生成するようにすることを特徴とする請求項１２に記載の学習装置。
前記プロセッサが、前記ＤＮＮに含まれた前記判別ネットワークをもって、前記ペア特徴ベクトルに前記ＦＣ演算のうちの少なくとも一部を適用して前記判別ベクトルを生成するようにした後、前記ペア特徴ベクトルのうち、特定ペアが統合される特定確率を示す特定判別ベクトルの値が、予め設定された閾値以上である一つ以上の特定ペア特徴ベクトルに前記ＦＣ演算の残りの一部を適用して、前記特定ペア特徴ベクトルに対応する前記ボックスリグレッションベクトルを生成するようにすることを特徴とする請求項１２に記載の学習装置。
【請求項19】
少なくとも一つのテスト用統合イメージを生成するのに利用される、テスト用特定空間に対する第１テスト用原本イメージ及び第２テスト用原本イメージにそれぞれ対応する、第１テスト用物体検出情報及び第２テスト用物体検出情報を統合して、前記テスト用統合イメージに追加で演算をせず、前記テスト用統合イメージのテスト用統合物体検出情報を生成するテスティング装置において、
各インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）（１）学習装置が、第１学習用原本イメージ及び第２学習用原本イメージが処理されて生成された、第１学習用物体検出情報及び第２学習用物体検出情報を取得すると、ＤＮＮに含まれたコンカチネーティングネットワークをもって、前記第１学習用原本イメージに含まれた第１学習用原本ＲＯＩと、前記第２学習用原本イメージに含まれた第２学習用原本ＲＯＩとの一つ以上の学習用ペアに関する情報を含む一つ以上の学習用ペア特徴ベクトルを生成するようにし、（２）前記学習装置が、前記ＤＮＮに含まれた判別ネットワークをもって、前記学習用ペア特徴ベクトルに一つ以上のＦＣ演算を適用することにより、（ｉ）前記学習用ペアそれぞれに含まれた、前記第１学習用原本ＲＯＩと前記第２学習用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の学習用判別ベクトル、及び（ｉｉ）前記学習用統合イメージ上で、前記学習用ペアのうちの少なくとも一部の各要素の各元の位置と比較した、前記学習用ペアのうち前記少なくとも一部に対応する学習用統合ＲＯＩの各相対位置に関する情報を含む一つ以上の学習用ボックスリグレッションベクトルを生成するようにし、（３）前記学習装置が、ロスユニットをもって、前記学習用判別ベクトルと、前記学習用ボックスリグレッションベクトルと、これに対応するＧＴとを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーションを遂行することで前記ＤＮＮに含まれたパラメータのうちの少なくとも一部を学習するようにした状態で、前記第１テスト用原本イメージ及び前記第２テスト用原本イメージが処理されて生成された、前記第１テスト用物体検出情報及び前記第２テスト用物体検出情報を取得すると、前記ＤＮＮに含まれた前記コンカチネーティングネットワークをもって、前記第１テスト用原本イメージに含まれた第１テスト用原本ＲＯＩと、前記第２テスト用原本イメージに含まれた第２テスト用原本ＲＯＩとの一つ以上のテスト用ペアに関する情報を含む一つ以上のテスト用ペア特徴ベクトルを生成するようにするプロセス、（ＩＩ）前記ＤＮＮに含まれた前記判別ネットワークをもって、前記テスト用ペア特徴ベクトルに前記ＦＣ演算を適用することにより、（ｉ）前記テスト用ペアそれぞれに含まれた、前記第１テスト用原本ＲＯＩと前記第２テスト用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上のテスト用判別ベクトル及び（ｉｉ）前記テスト用統合イメージ上で、前記テスト用ペアのうちの少なくとも一部の各要素の各元の位置と比較した、前記テスト用ペアのうち前記少なくとも一部に対応するテスト用統合ＲＯＩの各相対位置に関する情報を含む一つ以上のテスト用ボックスリグレッションベクトルを生成するようにするプロセス、及び（ＩＩＩ）併合ユニットをもって、前記テスト用判別ベクトルと、前記テスト用ボックスリグレッションベクトルとを参照にして、第１テスト用原本バウンディンボックスと、第２テスト用原本バウンディンボックスとで構成された前記テスト用ペアのうちの少なくとも一部を併合することで、前記テスト用統合物体検出情報を生成するようにするプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするテスティング装置。
各インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）（１）学習装置が、第１学習用原本イメージ及び第２学習用原本イメージが処理されて生成された、第１学習用物体検出情報及び第２学習用物体検出情報を取得すると、ＤＮＮに含まれたコンカチネーティングネットワークをもって、前記第１学習用原本イメージに含まれた第１学習用原本ＲＯＩと、前記第２学習用原本イメージに含まれた第２学習用原本ＲＯＩとの一つ以上の学習用ペアに関する情報を含む一つ以上の学習用ペア特徴ベクトルを生成するようにし、（２）前記学習装置が、前記ＤＮＮに含まれた判別ネットワークをもって、前記学習用ペア特徴ベクトルに一つ以上のＦＣ演算を適用することにより、（ｉ）前記学習用ペアそれぞれに含まれた、前記第１学習用原本ＲＯＩと前記第２学習用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の学習用判別ベクトル、及び（ｉｉ）前記学習用統合イメージ上で、前記学習用ペアのうちの少なくとも一部の各要素の各元の位置と比較した、前記学習用ペアのうち前記少なくとも一部に対応する学習用統合ＲＯＩの各相対位置に関する情報を含む一つ以上の学習用ボックスリグレッションベクトルを生成するようにし、（３）前記学習装置が、ロスユニットをもって、前記学習用判別ベクトルと、前記学習用ボックスリグレッションベクトルと、これに対応するＧＴとを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーションを遂行することで前記ＤＮＮに含まれたパラメータのうちの少なくとも一部を学習するようにした状態で、前記第１テスト用原本イメージ及び前記第２テスト用原本イメージが処理されて生成された、前記第１テスト用物体検出情報及び前記第２テスト用物体検出情報を取得すると、前記ＤＮＮに含まれた前記コンカチネーティングネットワークをもって、前記第１テスト用原本イメージに含まれた第１テスト用原本ＲＯＩと、前記第２テスト用原本イメージに含まれた第２テスト用原本ＲＯＩとの一つ以上のテスト用ペアに関する情報を含む一つ以上のテスト用ペア特徴ベクトルを生成するようにするプロセス、（ＩＩ）前記ＤＮＮに含まれた前記判別ネットワークをもって、前記テスト用ペア特徴ベクトルに前記ＦＣ演算を適用することにより、（ｉ）前記テスト用ペアそれぞれに含まれた、前記第１テスト用原本ＲＯＩと前記第２テスト用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上のテスト用判別ベクトル及び（ｉｉ）前記テスト用統合イメージ上で、前記テスト用ペアのうちの少なくとも一部の各要素の各元の位置と比較した、前記テスト用ペアのうち前記少なくとも一部に対応するテスト用統合ＲＯＩの各相対位置に関する情報を含む一つ以上のテスト用ボックスリグレッションベクトルを生成するようにするプロセス、及び（ＩＩＩ）併合ユニットをもって、前記テスト用判別ベクトルと、前記テスト用ボックスリグレッションベクトルとを参照にして、第１テスト用原本バウンディンボックスと、第２テスト用原本バウンディンボックスとで構成された前記テスト用ペアのうちの少なくとも一部を併合することで、前記テスト用統合物体検出情報を生成するようにするプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするテスティング装置。
【請求項20】
前記第１テスト用物体検出情報及び前記第２テスト用物体検出情報は、前記テスティング装置が搭載された車両に設置された、第１方向を担当する第１カメラ及び第２方向を担当する第２カメラによって取得された、前記第１テスト用原本イメージ及び前記第２テスト用原本イメージから取得されることを特徴とする請求項１９に記載のテスティング装置。
【請求項21】
前記（Ｉ）プロセスで、
前記テスト用ペア特徴ベクトルの一つであるテスト用特定ペア特徴ベクトルは、（ｉ）前記第１テスト用原本イメージに含まれた第１テスト用特定物体の第１テスト用クラス情報、（ｉｉ）前記第１テスト用特定物体を含む第１テスト用特定原本ＲＯＩのテスト用特徴値、（ｉｉｉ）前記第１テスト用特定原本ＲＯＩに対応する第１テスト用特定原本バウンディングボックスの座標値、（ｉｖ）前記第１テスト用特定原本ＲＯＩの座標値、（ｖ）前記第２テスト用原本イメージに含まれた第２テスト用特定物体の第２テスト用クラス情報、（ｖｉ）前記第２テスト用特定物体を含む第２テスト用特定原本ＲＯＩのテスト用特徴値、（ｖｉｉ）前記第２テスト用特定原本ＲＯＩに対応する第２テスト用特定原本バウンディングボックスの座標値、及び（ｖｉｉｉ）前記第２テスト用特定原本ＲＯＩの座標値を含むことを特徴とする請求項１９に記載のテスティング装置。
前記テスト用ペア特徴ベクトルの一つであるテスト用特定ペア特徴ベクトルは、（ｉ）前記第１テスト用原本イメージに含まれた第１テスト用特定物体の第１テスト用クラス情報、（ｉｉ）前記第１テスト用特定物体を含む第１テスト用特定原本ＲＯＩのテスト用特徴値、（ｉｉｉ）前記第１テスト用特定原本ＲＯＩに対応する第１テスト用特定原本バウンディングボックスの座標値、（ｉｖ）前記第１テスト用特定原本ＲＯＩの座標値、（ｖ）前記第２テスト用原本イメージに含まれた第２テスト用特定物体の第２テスト用クラス情報、（ｖｉ）前記第２テスト用特定物体を含む第２テスト用特定原本ＲＯＩのテスト用特徴値、（ｖｉｉ）前記第２テスト用特定原本ＲＯＩに対応する第２テスト用特定原本バウンディングボックスの座標値、及び（ｖｉｉｉ）前記第２テスト用特定原本ＲＯＩの座標値を含むことを特徴とする請求項１９に記載のテスティング装置。
【請求項22】
前記（ＩＩ）プロセスで、
前記テスト用特定ペア特徴ベクトルに対応する、前記テスト用判別ベクトルの一つであるテスト用の特定判別ベクトルは、前記第１テスト用特定原本ＲＯＩと前記第２テスト用特定原本ＲＯＩとが前記テスト用統合イメージに統合される確率に関する情報を含み、前記テスト用特定ペア特徴ベクトルに対応する、前記テスト用ボックスリグレッションベクトルのうちの一つである特定ボックスリグレッションベクトルは、前記テスト用統合イメージ上の前記第１テスト用特定原本ＲＯＩと前記第２テスト用特定原本ＲＯＩとを統合して生成されるテスト用特定統合バウンディンボックスの座標に関する情報を含むことを特徴とする請求項２１に記載のテスティング装置。
前記テスト用特定ペア特徴ベクトルに対応する、前記テスト用判別ベクトルの一つであるテスト用の特定判別ベクトルは、前記第１テスト用特定原本ＲＯＩと前記第２テスト用特定原本ＲＯＩとが前記テスト用統合イメージに統合される確率に関する情報を含み、前記テスト用特定ペア特徴ベクトルに対応する、前記テスト用ボックスリグレッションベクトルのうちの一つである特定ボックスリグレッションベクトルは、前記テスト用統合イメージ上の前記第１テスト用特定原本ＲＯＩと前記第２テスト用特定原本ＲＯＩとを統合して生成されるテスト用特定統合バウンディンボックスの座標に関する情報を含むことを特徴とする請求項２１に記載のテスティング装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自律走行車両に利用するための学習方法及び装置に関し；より詳しくは、併合ネットワークを利用した異種センサ融合のための前記方法と、前記装置と、これを利用したテスティング方法と、テスティング装置とに関する。
【背景技術】
【0002】
ディープ・コンボリューション・ニューラル・ネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮｓ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮｓは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげだ。このようなＣＮＮは、２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。それから、ＣＮＮは、機械学習分野で非常に有用なツールとなった。
【0003】
このようなＣＮＮは、自律走行分野においても広く利用されている。ＣＮＮは、自律走行車両で主にセマンティック（ｓｅｍａｎｔｉｃ）セグメンテーション、物体検出、及び余裕空間検出などイメージ処理を担当する。
【0004】
最近、自律走行車両の走行安全性をさらに高めるため、複数のカメラを使用する場合がある。この際、演算の重複を減らし、周辺空間に対してさらによく把握するために、複数個のカメラをもって取得したイメージを調節された方式で利用することが重要である。特に、前記イメージを調整する間、物体が各イメージに位置すると予測される領域であるＲＯＩのうちの一部は他のイメージのうちのまた他のイメージと重複する場合が多いのだが、このようなＲＯＩに対する情報を統合することが重要だ。
【0005】
このための従来の技術として、非最大値抑制がある。つまり、同一クラスの物体を含むバウンディングボックス間の重複比率を計算して、前記比率が閾値以上であれば前記バウンディングボックスは互いに統合される。従来の技術は、前記閾値が低すぎると関係のないバウンディングボックス同士が統合され、前記閾値が高すぎると統合されるべきバウンディングボックス同士が統合されないため、閾値を決定することが難しく、状況に沿って毎回閾値が変わる必要があるという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、前述した問題点を解決することを目的とする。
【0007】
本発明は、特定空間の各原本イメージを統合して特定空間に対する統合イメージを生成する際に、各原本イメージに対する各物体検出情報を統合して前記統合イメージに対する統合物体検出情報を生成することで、統合イメージに含まれた物体を検出する演算の重複性を低減し、周辺空間に対してより詳しく正確な情報で前記統合イメージを生成するようにすることを他の目的とする。
【課題を解決するための手段】
【0008】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は次の通りである。
【0009】
本発明の一態様によれば、少なくとも一つの統合のイメージを生成するのに利用される、特定空間に対する第１原本イメージ及び第２原本イメージにそれぞれ対応する、第１物体検出情報及び第２物体検出情報を統合して、前記統合イメージに追加で演算をせず、前記統合イメージの統合物体検出情報を生成する学習方法において、（ａ）学習装置が、前記第１原本イメージ及び前記第２原本イメージが処理されて生成された、前記第１物体検出情報及び前記第２物体検出情報を取得すると、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれたコンカチネーティング（ｃｏｎｃａｔｅｎａｔｉｎｇ）ネットワークをもって、前記第１原本イメージに含まれた第１原本ＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）と、前記第２原本イメージに含まれた第２原本ＲＯＩとの一つ以上のペアに関する情報を含む一つ以上のペア特徴ベクトルを生成するようにする段階；（ｂ）前記学習装置が、前記ＤＮＮに含まれた判別ネットワークをもって、前記ペア特徴ベクトルに一つ以上のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することにより、（ｉ）前記ペアそれぞれに含まれた、前記第１原本ＲＯＩと前記第２原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の判別ベクトル及び（ｉｉ）前記統合イメージ上で、前記ペアのうちの少なくとも一部の各要素の各元の位置と比較した、前記ペアのうち前記少なくとも一部に対応する統合ＲＯＩの各相対位置に関する情報を含む一つ以上のボックスリグレッション（ｒｅｇｒｅｓｓｉｏｎ）ベクトルを生成するようにする段階；及び（ｃ）前記学習装置が、ロスユニットをもって、前記判別ベクトルと、前記ボックスリグレッションベクトルと、これに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記ＤＮＮに含まれたパラメータのうち少なくとも一部を学習させる段階；を含むことを特徴とする方法が開示される。
【0010】
一例として、前記（ａ）段階で、前記ペア特徴ベクトルの一つである特定ペア特徴ベクトルは、（ｉ）前記第１原本イメージに含まれた第１特定物体の第１クラス情報、（ｉｉ）前記第１特定物体を含む第１特定原本ＲＯＩの特徴値、（ｉｉｉ）前記第１特定原本ＲＯＩに対応する第１特定原本バウンディングボックスの座標値、（ｉｖ）前記第１特定原本ＲＯＩの座標値、（ｖ）前記第２原本イメージに含まれた第２特定物体の第２クラス情報、（ｖｉ）前記第２特定物体を含む第２特定原本ＲＯＩの特徴値、（ｖｉｉ）前記第２特定原本ＲＯＩに対応する第２特定原本バウンディングボックスの座標値、及び（ｖｉｉｉ）前記第２特定原本ＲＯＩの座標値を含むことを特徴とする。
【0011】
一例として、前記（ｂ）段階で、前記特定フェア特徴ベクトルに対応する、前記判別ベクトルの一つである特定判別ベクトルは、前記第１特定原本ＲＯＩと前記第２特定原本ＲＯＩとが前記統合イメージに統合される確率に関する情報を含み、前記特定ペア特徴ベクトルに対応する、前記ボックスリグレッションベクトルのうちの一つである特定ボックスリグレッションベクトルは、前記統合イメージ上の前記第１特定原本ＲＯＩと前記第２特定原本ＲＯＩとを統合して生成される特定統合バウンディンボックスの座標に関する情報を含むことを特徴とする。
【0012】
一例として、前記（ｃ）段階で、前記学習装置は、前記ロスユニットをもって、（ｉ）クロスエントロピー（ｃｒｏｓｓ ｅｎｔｒｏｐｙ）方式により前記判別ベクトルのうち少なくとも一部を利用して判別ロスを生成し、（ｉｉ）スムーズＬ１（ｓｍｏｏｔｈ−Ｌ１）方式によって前記ボックスリグレッションベクトルのうちの少なくとも一部を利用してボックスリグレッションロスを生成した後、（ｉｉｉ）前記判別ロスと、前記ボックスリグレッションロスとを参照にして前記統合ロスを生成するようにすることを特徴とする。
【0013】
一例として、前記（ｃ）段階で、前記判別ロスは次の数式によって生成され、【数1】
【数2】
は、前記判別ベクトルの個数を、
【数3】
は、第ｉ判別ベクトルを、そして
【数4】
は、前記第ｉ判別ベクトルに対する第ｉ判別ＧＴベクトルを意味し、前記ボックスリグレッションロスは、次の数式によって生成され、
【数5】
【数6】
【数7】
は、前記ボックスリグレッションベクトルの個数を、
【数8】
は、第ｉボックスリグレッションベクトルを、そして
【数9】
は、前記第ｉボックスリグレッションベクトルに対する第ｉボックスリグレッションＧＴベクトルを意味することを特徴とする。
【0014】
一例として、前記学習装置が、前記ＤＮＮの一つ以上のレイヤに含まれた各ディープラーニングニューロンをもって、その少なくとも一つのパラメータを利用して前記各ディープラーニングニューロンの入力に一つ以上のコンボリューション演算を適用し、前記ディープランニングニューロンの出力を次のディープランニングニューロンに伝達する過程を繰り返すことにより、前記ペア特徴ベクトルと、前記判別ベクトルと、前記ボックスリグレッションベクトルとを生成するようにすることを特徴とする。
【0015】
一例として、前記（ｂ）段階で、前記学習装置が、前記ＤＮＮに含まれた前記判別ネットワークをもって、前記ペア特徴ベクトルに前記ＦＣ演算のうちの少なくとも一部を適用して前記判別ベクトルを生成するようにした後、前記ペア特徴ベクトルのうち、特定ペアが統合される特定確率を示す特定判別ベクトルの値が、予め設定された閾値以上である一つ以上の特定ペア特徴ベクトルに前記ＦＣ演算の残りの一部を適用して、前記特定ペア特徴ベクトルに対応する前記ボックスリグレッションベクトルを生成するようにすることを特徴とする。
【0016】
本発明の他の態様によれば、少なくとも一つのテスト用統合イメージを生成するのに利用される、テスト用特定空間に対する第１テスト用原本イメージ及び第２テスト用原本イメージにそれぞれ対応する、第１テスト用物体検出情報及び第２テスト用物体検出情報を統合して、前記テスト用統合イメージに追加で演算をせず、前記テスト用統合イメージのテスト用統合物体検出情報を生成するテスティング方法において、（ａ）（１）学習装置が、前記第１学習用原本イメージ及び前記第２学習用原本イメージが処理されて生成された、前記第１学習用物体検出情報及び前記第２学習用物体検出情報を取得すると、ＤＮＮに含まれたコンカチネーティングネットワークをもって、前記第１学習用原本イメージに含まれた第１学習用原本ＲＯＩと、前記第２学習用原本イメージに含まれた第２学習用原本ＲＯＩとの一つ以上の学習用ペアに関する情報を含む一つ以上の学習用ペア特徴ベクトルを生成するようにし、（２）前記学習装置が、前記ＤＮＮに含まれた判別ネットワークをもって、前記学習用ペア特徴ベクトルに一つ以上のＦＣ演算を適用することにより、（ｉ）前記学習用ペアそれぞれに含まれた、前記第１学習用原本ＲＯＩと、前記第２学習用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の学習用判別ベクトル、及び（ｉｉ）前記学習用統合イメージ上で、前記学習用ペアのうちの少なくとも一部の各要素の各元の位置と比較した、前記学習用ペアのうち前記少なくとも一部に対応する学習用統合ＲＯＩの各相対位置に関する情報を含む一つ以上の学習用ボックスリグレッションベクトルを生成するようにし、（３）前記学習装置が、ロスユニットをもって、前記学習用判別ベクトルと、前記学習用ボックスリグレッションベクトルと、これに対応するＧＴとを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーションを遂行することで前記ＤＮＮに含まれたパラメータのうちの少なくとも一部を学習するようにした状態で、テスティング装置が、前記第１テスト用原本イメージ及び前記第２テスト用原本イメージが処理されて生成された、前記第１テスト用物体検出情報及び前記第２テスト用物体検出情報を取得すると、前記ＤＮＮに含まれた前記コンカチネーティングネットワークをもって、前記第１テスト用原本イメージに含まれた第１テスト用原本ＲＯＩと、前記第２テスト用原本イメージに含まれた第２テスト用原本ＲＯＩとの一つ以上のテスト用ペアに関する情報を含む一つ以上のテスト用ペア特徴ベクトルを生成するようにする段階；（ｂ）前記テスティング装置が、前記ＤＮＮに含まれた前記判別ネットワークをもって、前記テスト用ペア特徴ベクトルに前記ＦＣ演算を適用することにより、（ｉ）前記テスト用ペアそれぞれに含まれた、前記第１テスト用原本ＲＯＩと前記第２テスト用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上のテスト用判別ベクトル及び（ｉｉ）前記テスト用統合イメージ上で、前記テスト用ペアのうちの少なくとも一部の各要素の各元の位置と比較した、前記テスト用ペアのうち前記少なくとも一部に対応するテスト用統合ＲＯＩの各相対位置に関する情報を含む一つ以上のテスト用ボックスリグレッションベクトルを生成するようにする段階；及び（ｃ）前記テスティング装置が、併合ユニットをもって、前記テスト用判別ベクトルと、前記テスト用ボックスリグレッションベクトルとを参照にして、第１テスト用原本バウンディンボックスと、第２テスト用原本バウンディンボックスとで構成された前記テスト用ペアのうちの少なくとも一部を併合することで、前記テスト用統合物体検出情報を生成するようにする段階；を含むことを特徴とする方法が開示される。
【0017】
一例として、前記第１テスト用物体検出情報及び前記第２テスト用物体検出情報は、前記テスティング装置が搭載された車両に設置された、第１方向を担当する第１カメラ及び第２方向を担当する第２カメラによって取得された、前記第１テスト用原本イメージ及び前記第２テスト用原本イメージから取得されることを特徴とする。
【0018】
一例として、前記（ａ）段階で、前記テスト用ペア特徴ベクトルの一つであるテスト用特定ペア特徴ベクトルは、（ｉ）前記第１テスト用原本イメージに含まれた第１テスト用特定物体の第１テスト用クラス情報、（ｉｉ）前記第１テスト用特定物体を含む第１テスト用特定原本ＲＯＩのテスト用特徴値、（ｉｉｉ）前記第１テスト用特定原本ＲＯＩに対応する第１テスト用特定原本バウンディングボックスの座標値、（ｉｖ）前記第１テスト用特定原本ＲＯＩの座標値、（ｖ）前記第２テスト用原本イメージに含まれた第２テスト用特定物体の第２テスト用クラス情報、（ｖｉ）前記第２テスト用特定物体を含む第２テスト用特定原本ＲＯＩのテスト用特徴値、（ｖｉｉ）前記第２テスト用特定原本ＲＯＩに対応する第２テスト用特定原本バウンディングボックスの座標値、及び（ｖｉｉｉ）前記第２テスト用特定原本ＲＯＩの座標値を含むことを特徴とする。
【0019】
一例として、前記（ｂ）段階で、前記テスト用の特定フェア特徴ベクトルに対応する、前記テスト用判別ベクトルの一つであるテスト用の特定判別ベクトルは、前記第１テスト用特定原本ＲＯＩと前記第２テスト用特定原本ＲＯＩとが前記テスト用統合イメージに統合される確率に関する情報を含み、前記テスト用特定ペア特徴ベクトルに対応する、前記テスト用ボックスリグレッションベクトルのうちの一つである特定ボックスリグレッションベクトルは、前記テスト用統合イメージ上の前記第１テスト用特定原本ＲＯＩと前記第２テスト用特定原本ＲＯＩとを統合して生成されるテスト用特定統合バウンディンボックスの座標に関する情報を含むことを特徴とする。
【0020】
本発明のまた他の態様によれば、少なくとも一つの統合のイメージを生成するのに利用される、特定空間に対する第１原本イメージ及び第２原本イメージにそれぞれ対応する、第１物体検出情報及び第２物体検出情報を統合して、前記統合イメージに追加で演算をせず前記統合イメージの統合物体検出情報を生成する学習装置において、各インストラクションを格納する一つ以上のメモリ；及び（Ｉ）前記第１原本イメージ及び前記第２原本イメージが処理されて生成された、前記第１物体検出情報及び前記第２物体検出情報を取得すると、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれたコンカチネーティング（ｃｏｎｃａｔｅｎａｔｉｎｇ）ネットワークをもって、前記第１原本イメージに含まれた第１原本ＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）と、前記第２原本イメージに含まれた第２原本ＲＯＩとの一つ以上のペアに関する情報を含む一つ以上のペア特徴ベクトルを生成するようにするプロセス、（ＩＩ）前記ＤＮＮに含まれた判別ネットワークをもって、前記ペア特徴ベクトルに一つ以上のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を適用することにより、（ｉ）前記ペアそれぞれに含まれた、前記第１原本ＲＯＩと前記第２原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の判別ベクトル及び（ｉｉ）前記統合イメージ上で、前記ペアのうちの少なくとも一部の各要素の各元の位置と比較した、前記ペアのうち前記少なくとも一部に対応する統合ＲＯＩの各相対位置に関する情報を含む一つ以上のボックスリグレッション（ｒｅｇｒｅｓｓｉｏｎ）ベクトルを生成するようにするプロセス、及び（ＩＩＩ）ロスユニットをもって、前記判別ベクトルと、前記ボックスリグレッションベクトルと、これに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記ＤＮＮに含まれたパラメータのうち少なくとも一部を学習するようにするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする学習装置が開示される。
【0021】
一例として、前記（Ｉ）プロセスで、前記ペア特徴ベクトルの一つである特定ペア特徴ベクトルは、（ｉ）前記第１原本イメージに含まれた第１特定物体の第１クラス情報、（ｉｉ）前記第１特定物体を含む第１特定原本ＲＯＩの特徴値、（ｉｉｉ）前記第１特定原本ＲＯＩに対応する第１特定原本バウンディングボックスの座標値、（ｉｖ）前記第１特定原本ＲＯＩの座標値、（ｖ）前記第２原本イメージに含まれた第２特定物体の第２クラス情報、（ｖｉ）前記第２特定物体を含む第２特定原本ＲＯＩの特徴値、（ｖｉｉ）前記第２特定原本ＲＯＩに対応する第２特定原本バウンディングボックスの座標値、及び（ｖｉｉｉ）前記第２特定原本ＲＯＩの座標値を含むことを特徴とする。
【0022】
一例として、前記（ＩＩ）プロセスで、前記特定フェア特徴ベクトルに対応する、前記判別ベクトルの一つである特定判別ベクトルは、前記第１特定原本ＲＯＩと前記第２特定原本ＲＯＩとが前記統合イメージに統合される確率に関する情報を含み、前記特定ペア特徴ベクトルに対応する、前記ボックスリグレッションベクトルのうちの一つである特定ボックスリグレッションベクトルは、前記統合イメージ上の前記第１特定原本ＲＯＩと前記第２特定原本ＲＯＩとを統合して生成される特定統合バウンディンボックスの座標に関する情報を含むことを特徴とする。
【0023】
一例として、前記（ＩＩＩ）プロセスで、前記プロセッサは、前記ロスユニットをもって、（ｉ）クロスエントロピー方式により前記判別ベクトルのうち少なくとも一部を利用して判別ロスを生成し、（ｉｉ）スムーズＬ１方式によって前記ボックスリグレッションベクトルのうちの少なくとも一部を利用してボックスリグレッションロスを生成した後、（ｉｉｉ）前記判別ロスと、前記ボックスリグレッションロスとを参照にして前記統合ロスを生成するようにすることを特徴とする。
【0024】
一例として、前記（ＩＩＩ）プロセスで、前記判別ロスは次の数式によって生成され、【数10】
【数11】
は、前記判別ベクトルの個数を、
【数12】
は、第ｉ判別ベクトルを、そして
【数13】
は、前記第ｉ判別ベクトルに対する第ｉ判別ＧＴベクトルを意味し、前記ボックスリグレッションロスは、次の数式によって生成され、
【数14】
【数15】
【数16】
は、前記ボックスリグレッションベクトルの個数を、
【数17】
は、第ｉボックスリグレッションベクトルを、そして
【数18】
は、前記第ｉボックスリグレッションベクトルに対する第ｉボックスリグレッションＧＴベクトルを意味することを特徴とする。
【0025】
一例として、前記プロセッサが、前記ＤＮＮの一つ以上のレイヤに含まれた各ディープラーニングニューロンをもって、その少なくとも一つのパラメータを利用して前記各ディープラーニングニューロンの入力に一つ以上のコンボリューション演算を適用し、前記ディープランニングニューロンの出力を次のディープランニングニューロンに伝達する過程を繰り返すことにより、前記ペア特徴ベクトルと、前記判別ベクトルと、前記ボックスリグレッションベクトルとを生成するようにすることを特徴とする。
【0026】
一例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記ＤＮＮに含まれた前記判別ネットワークをもって、前記ペア特徴ベクトルに前記ＦＣ演算のうちの少なくとも一部を適用して前記判別ベクトルを生成するようにした後、前記ペア特徴ベクトルのうち、特定ペアが統合される特定確率を示す特定判別ベクトルの値が、予め設定された閾値以上である一つ以上の特定ペア特徴ベクトルに前記ＦＣ演算の残りの一部を適用して、前記特定ペア特徴ベクトルに対応する前記ボックスリグレッションベクトルを生成するようにすることを特徴とする。
【0027】
本発明のまた他の態様によれば、少なくとも一つのテスト用統合イメージを生成するのに利用される、テスト用特定空間に対する第１テスト用原本イメージ及び第２テスト用原本イメージにそれぞれ対応する、第１テスト用物体検出情報及び第２テスト用物体検出情報を統合して、前記テスト用統合イメージに追加で演算をせず、前記テスト用統合イメージのテスト用統合物体検出情報を生成するテスティング装置において、各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）（１）学習装置が、前記第１学習用原本イメージ及び前記第２学習用原本イメージが処理されて生成された、前記第１学習用物体検出情報及び前記第２学習用物体検出情報を取得すると、ＤＮＮに含まれたコンカチネーティングネットワークをもって、前記第１学習用原本イメージに含まれた第１学習用原本ＲＯＩと、前記第２学習用原本イメージに含まれた第２学習用原本ＲＯＩとの一つ以上の学習用ペアに関する情報を含む一つ以上の学習用ペア特徴ベクトルを生成するようにし、（２）前記学習装置が、前記ＤＮＮに含まれた判別ネットワークをもって、前記学習用ペア特徴ベクトルに一つ以上のＦＣ演算を適用することにより、（ｉ）前記学習用ペアそれぞれに含まれた、前記第１学習用原本ＲＯＩと、前記第２学習用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の学習用判別ベクトル、及び（ｉｉ）前記学習用統合イメージ上で、前記学習用ペアのうちの少なくとも一部の各要素の各元の位置と比較した、前記学習用ペアのうち前記少なくとも一部に対応する学習用統合ＲＯＩの各相対位置に関する情報を含む一つ以上の学習用ボックスリグレッションベクトルを生成するようにし、（３）前記学習装置が、ロスユニットをもって、前記学習用判別ベクトルと、前記学習用ボックスリグレッションベクトルと、これに対応するＧＴとを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーションを遂行することで前記ＤＮＮに含まれたパラメータのうちの少なくとも一部を学習するようにした状態で、前記第１テスト用原本イメージ及び前記第２テスト用原本イメージが処理されて生成された、前記第１テスト用物体検出情報及び前記第２テスト用物体検出情報を取得すると、前記ＤＮＮに含まれた前記コンカチネーティングネットワークをもって、前記第１テスト用原本イメージに含まれた第１テスト用原本ＲＯＩと、前記第２テスト用原本イメージに含まれた第２テスト用原本ＲＯＩとの一つ以上のテスト用ペアに関する情報を含む一つ以上のテスト用ペア特徴ベクトルを生成するようにするプロセス、（ＩＩ）前記ＤＮＮに含まれた前記判別ネットワークをもって、前記テスト用ペア特徴ベクトルに前記ＦＣ演算を適用することにより、（ｉ）前記テスト用ペアそれぞれに含まれた、前記第１テスト用原本ＲＯＩと、前記第２テスト用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上のテスト用判別ベクトル及び（ｉｉ）前記テスト用統合イメージ上で、前記テスト用ペアのうちの少なくとも一部の各要素の各元の位置と比較した、前記テスト用ペアのうち前記少なくとも一部に対応するテスト用統合ＲＯＩの各相対位置に関する情報を含む一つ以上のテスト用ボックスリグレッションベクトルを生成するようにするプロセス、及び（ＩＩＩ）併合ユニットをもって、前記テスト用判別ベクトルと、前記テスト用ボックスリグレッションベクトルとを参照にして、第１テスト用原本バウンディンボックスと、第２テスト用原本バウンディンボックスとで構成された前記テスト用ペアのうちの少なくとも一部を併合することで、前記テスト用統合物体検出情報を生成するようにするプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするテスティング装置が開示される。
【0028】
一例として、前記第１テスト用物体検出情報及び前記第２テスト用物体検出情報は、前記テスティング装置が搭載された車両に設置された、第１方向を担当する第１カメラ及び第２方向を担当する第２カメラによって取得された、前記第１テスト用原本イメージ及び前記第２テスト用原本イメージから取得されることを特徴とする。
【0029】
一例として、前記（Ｉ）プロセスで、前記テスト用ペア特徴ベクトルの一つであるテスト用特定ペア特徴ベクトルは、（ｉ）前記第１テスト用原本イメージに含まれた第１テスト用特定物体の第１テスト用クラス情報、（ｉｉ）前記第１テスト用特定物体を含む第１テスト用特定原本ＲＯＩのテスト用特徴値、（ｉｉｉ）前記第１テスト用特定原本ＲＯＩに対応する第１テスト用特定原本バウンディングボックスの座標値、（ｉｖ）前記第１テスト用特定原本ＲＯＩの座標値、（ｖ）前記第２テスト用原本イメージに含まれた第２テスト用特定物体の第２テスト用クラス情報、（ｖｉ）前記第２テスト用特定物体を含む第２テスト用特定原本ＲＯＩのテスト用特徴値、（ｖｉｉ）前記第２テスト用特定原本ＲＯＩに対応する第２テスト用特定原本バウンディングボックスの座標値、及び（ｖｉｉｉ）前記第２テスト用特定原本ＲＯＩの座標値を含むことを特徴とする。
【0030】
一例として、前記（ＩＩ）プロセスで、前記テスト用特定フェア特徴ベクトルに対応する、前記テスト用判別ベクトルの一つであるテスト用の特定判別ベクトルは、前記第１テスト用特定原本ＲＯＩと前記第２テスト用特定原本ＲＯＩとが前記テスト用統合イメージに統合される確率に関する情報を含み、前記テスト用特定ペア特徴ベクトルに対応する、前記テスト用ボックスリグレッションベクトルのうちの一つである特定ボックスリグレッションベクトルは、前記テスト用統合イメージ上の前記第１テスト用特定原本ＲＯＩと前記第２テスト用特定原本ＲＯＩとを統合して生成されるテスト用特定統合バウンディンボックスの座標に関する情報を含むことを特徴とする。
【0031】
この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読読可能な記録媒体がさらに提供される。
【発明の効果】
【0032】
本発明は、特定空間の各原本イメージを統合して特定空間に対する統合イメージを生成する際に、各原本イメージに対する各物体検出情報を統合して前記統合イメージに対する統合物体検出情報を生成することで、統合イメージに含まれた物体を検出する演算の重複性を低減し、周辺空間に対してより詳しく正確な情報で前記統合イメージを生成するようにする効果がある。
【0033】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
【図面の簡単な説明】
【0034】
【図1】本発明の一例に係る特定空間に対する各原本イメージを統合して特定空間に対する統合イメージを生成する際、各原本イメージに対する各物体検出情報を統合して、前記統合イメージに追加的な演算をしなくても前記統合イメージに対する統合物体検出情報を生成する学習方法を遂行する学習装置を概略的に示した図面である。
【図2】本発明の一例に係る前記特定空間に対するそれぞれの前記原本イメージを統合して前記特定空間に対する前記統合イメージを生成する際に、それぞれの前記原本イメージに対するそれぞれの前記物体検出情報を統合して、前記統合イメージに追加的な演算をしなくても前記統合イメージに対する前記統合物体検出情報を生成する前記学習方法を遂行する前記学習装置の具体的な動作方式を概略的に示した図面である。
【図3】本発明の一例に係る前記特定空間に対するそれぞれの前記原本イメージを統合して前記特定空間に対する前記統合イメージを生成する際に、それぞれの前記原本イメージに対するそれぞれの前記物体検出情報を統合して、前記統合イメージに追加的な演算をしなくても前記統合イメージに対する前記統合物体検出情報を生成する前記学習方法によって第１特定原本ＲＯＩ及び第２特定原本イメージＲＯＩを統合する一例を概略的に示した図面である。
【図4】本発明の一例に係る前記特定空間に対するそれぞれの前記原本イメージを統合して前記特定空間に対する前記統合イメージを生成する際に、それぞれの前記原本イメージに対するそれぞれの前記物体検出情報を統合して、前記統合イメージに追加的な演算をしなくても前記統合イメージに対する前記統合物体検出情報を生成する前記学習方法の遂行が完了された状態であるテスティング装置の具体的な動作方式を概略的に示した図面である。
【発明を実施するための形態】
【0035】
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。
【0036】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【0037】
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【0038】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【0039】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
【0040】
図１は、本発明の一例に係る特定空間に対する各原本イメージを統合して特定空間に対する統合イメージを生成する際、各原本イメージに対する各物体検出情報を統合して、前記統合イメージに追加的な演算をしなくても前記統合イメージに対する統合物体検出情報を生成する学習方法を遂行する学習装置１００を概略的に示した図面である。
【0041】
図１を参照すれば、前記学習装置１００は、後から詳しく説明される構成要素であるＤＮＮ２００を含み得る。前記ＤＮＮ２００の入出力及び演算過程は、通信部１１０及びプロセッサ１２０によってそれぞれ行われ得る。この際、メモリ１１５は、後述されるいくつかのインストラクションを格納した状態でもあり得、前記プロセッサ１２０は、前記メモリ１１５に格納された前記インストラクションを遂行するように設定され、後から説明されるインストラクションを遂行することで本発明のプロセスを遂行することができる。このように前記学習装置１００が描写されたところで、前記学習装置１００が、プロセッサ、メモリ、ミディアム、または他の演算要素を含む統合装置を排除するものではない。
【0042】
以上、本発明の一例に係る前記特定空間に対するそれぞれの前記原本イメージを統合して前記特定空間に対する前記統合イメージを生成する際に、それぞれの前記原本イメージに対するそれぞれの前記物体検出情報を統合して、前記統合イメージに追加的な演算をしなくても前記統合イメージに対する前記統合物体検出情報を生成する前記学習方法を遂行する前記学習装置１００の構成について説明した。続いて、図２を参照にして、前記ＤＮＮ２００の具体的な構成及び学習プロセスについて説明する。
【0043】
図２は、本発明の一例に係る前記特定空間に対するそれぞれの前記原本イメージを統合して前記特定空間に対する前記統合イメージを生成する際に、それぞれの前記原本イメージに対するそれぞれの前記物体検出情報を統合して、前記統合イメージに追加的な演算をしなくても前記統合イメージに対する前記統合物体検出情報を生成する前記学習方法を遂行する前記学習装置の具体的な動作方式を概略的に示した図面である。
【0044】
図２を参照すれば、前記ＤＮＮ２００は、コンカチネーティング（ｃｏｎｃａｔｉｎａｔｉｎｇ）ネットワーク２１０及び判別ネットワーク２２０を含み得、前記学習装置１００は、前記ＤＮＮ２００に対応するロスユニット２３０を含み得る。具体的に、前記学習装置１００は、前記特定空間に対するそれぞれの前記原本イメージに対するそれぞれの前記物体検出情報が取得されると、前記それぞれの物体検出情報を前記ＤＮＮ２００に含まれた前記コンカチネーティングネットワーク２１０に伝達し得る。この際、前記それぞれの物体検出情報は、それぞれの前記原本イメージに含まれた各ＲＯＩ、それぞれの前記ＲＯＩに含まれた各物体及びそれに対応する原本バウンディングボックスに関する情報を含み得る。また、前記特定空間に対するそれぞれの前記原本イメージは、同一時点で様々な観点から抽出した前記特定空間の各イメージであり得る。したがって、それぞれの前記原本イメージの各内容は同一または類似するはずで、それぞれの前記原本イメージに対する各原本ＲＯＩも互いに同一または類似する領域を含み得る。
【0045】
このように前記物体検出情報が取得されると、前記コンカチネーティングネットワーク２１０は、前記原本ＲＯＩに含まれたそれぞれの前記原本バウンディングボックスのうちの少なくとも一部をペアリングすることで、一つ以上のいわゆるペア特徴ベクトルを生成することができる。一例として、前記コンカチネーティングネットワーク２１０は、第１原本ＲＯＩ及び第２原本ＲＯＩにそれぞれ含まれる、第１特定原本バウンディングボックス及び第２特定原本バウンディングボックスを統合して、（ｉ）前記第１原本バウンディングボックスの特徴値（ｉｉ）前記第１原本バウンディングボックスの座標情報、（ｉｉｉ）前記第１原本バウンディングボックスに含まれた物体に関する第１クラス情報、（ｉｖ）前記第２原本バウンディングボックスの特徴値、（ｖ）前記第２原本バウンディングボックスの座標情報、（ｖｉ）前記第２原本バウンディングボックスに含まれた物体に関する第２クラス情報、（ｖｉｉ）前記第１特定原本ＲＯＩの座標、及び（ｖｉｉｉ）前記第２特定原本ＲＯＩの座標を含む、前記ペア特徴ベクトルのうちの特定ペア特徴ベクトルを生成することができる。この際、第１原本イメージに対する第１物体検出情報は（ｉ，ｉｉ，ｉｉｉ，及びｖｉｉ）を、第２物体検出情報は（ｉｖ，ｖ，ｖｉ，及びｖｉｉｉ）を含み得る。前記第１特定原本ＲＯＩは、一つ以上の第１原本バウンディングボックスを含み得、前記第２特定原本ＲＯＩは、一つ以上の第２原本バウンディングボックスを含み得、前記１特定原本ＲＯＩに含まれたそれぞれの前記第１原本バウンディンボックス及び前記第２特定原本ＲＯＩに含まれたそれぞれの前記第２原本バウンディンボックスは、一度ペアリングされることでそれぞれの前記ペア特徴ベクトルを生成することができる。
【0046】
前記第１特定原本バウンディンボックスを含むこのような第１原本ＲＯＩは、前記原本イメージの一つである第１原本イメージに含まれ得る。これと同様に、前記第２特定原本バウンディンボックスを含む前記第２原本ＲＯＩは、第２原本イメージに含まれ得る。
【0047】
次に、図３を参照にして、前記特定ペア特徴ベクトルの例示を具体的に説明する。
【0048】
図３は、本発明の一例に係る前記特定空間に対するそれぞれの前記原本イメージを統合して前記特定空間に対する前記統合イメージを生成する際に、それぞれの前記原本イメージに対するそれぞれの前記物体検出情報を統合して、前記統合イメージに追加的な演算をしなくても前記統合イメージに対する前記統合物体検出情報を生成する前記学習方法によって第１特定原本ＲＯＩ及び第２特定原本イメージＲＯＩを統合する一例を概略的に示した図面である。
【0049】
前記第１特定原本ＲＯＩは、男性を含む前記第１バウンディンボックスの一つと、女性の上半身を含む前記第１バウンディンボックスのうちの他の一つとを含み得、前記第２特定原本ＲＯＩは、前記女性を含む前記第２バウンディンボックスの一つと、車両を含む前記第２バウンディンボックスのうちの他の一つとを含み得る。この際、合計４つのバウンディングボックスペアが生成され得るのだが、ここには、（ｉ）前記女性を含む前記第２バウンディンボックスのうちの一つとともに前記女性の上半身を含む前記第１バウンディングボックスのうちの一つ、（ｉｉ）前記車両を含む前記第２バウンディンボックスのうちの一つとともに前記女性の上半身を含む前記第１バウンディングボックスのうちの一つ、（ｉｉｉ）前記女性を含む前記第２バウンディンボックスのうちの一つとともに前記男性を含む前記第１バウンディングボックスのうちの他の一つ、及び（ｉｖ）前記車両を含む前記第２バウンディンボックスのうちの他の一つとともに前記男性を含む前記第１バウンディングボックスのうちの他の一つが含まれる。一例として、前記女性を含む前記第２バウンディンボックスのうちの前記一つとともに前記女性の上半身を含む前記第１バウンディンボックスのうちの前記一つの前記ペアを利用して生成された前記特定ペア特徴ベクトルは、このようなバウンディンボックスに関して前述情報を含み得る。
【0050】
このように前記ペア特徴ベクトルが生成されると、前記学習装置１００は、前記ＤＮＮ２００に含まれた前記判別ネットワーク２２０をもって、少なくとも一つのＦＣ演算により一つ以上の判別ベクトル【数19】
及び一つ以上のボックスリグレッションベクトル
【数20】
を生成するようにする。この際、前記判別ベクトル
【数21】
のうちの一つは、二つの原本ＲＯＩにペアとして含まれた前記二つの原本バウンディングボックスが統合され得るか否かを示すことができる。一例として、これの第１構成要素は、前記二つの原本バウンディンボックスが統合される確率であり得、この第２構成要素は、前記二つの原本バウンディンボックスが統合されない確率であり得る。この際、前記判別ネットワーク２２０は、各構成要素の各確率を計算し得る。図２を再び参照すると、前記特定ペア特徴ベクトルに対応する前記ペアが統合される確率が０．９と計算されたことを確認できる。前記ボックスリグレッションベクトル
【数22】
のうちの一つは、前記二つの原本バウンディングボックスが統合されることにより、頂点座標変更に対応する変更値をその構成要素とするベクトルであり得る。具体的に、前記ボックスリグレッションベクトルのうちの一つに含まれた前記変更値は、（Ｉ）前記二つの原本バウンディングボックスの積集合の中心の（ｉ）横の長さ、（ｉｉ）縦の長さ、並びに（ｉｉｉ）ｘ座標及びｙ座標、（ＩＩ）前記二つの原本バウンディングボックスが統合される統合バウンディングボックスの中心の（ｉ）横の長さ、（ｉｉ）縦の長さ、並びに（ｉｉｉ）ｘ座標及びｙ座標の間の各差異情報に対応し得る。すなわち、前記ボックスリグレッションベクトルは、前記統合イメージ上で、前記ペアのうち少なくとも一部に関する各構成要素の既存位置情報を比較して、前記ペアのうちの少なくとも一部に対応する統合ＲＯＩの各相対位置情報を含み得る。
【0051】
一例として、前記ボックスリグレッションベクトルは、前記すべてのペア特徴ベクトルに対応できない。すなわち、前記ボックスリグレッションベクトルは、前記ペア特徴ベクトルのうちの一部を選択し、前記ＦＣ演算のうちの少なくとも一部を前記選択されたペア特徴ベクトルに適用して生成され得る。この例示は、後から詳細に説明される。
【0052】
このように、前記判別ベクトル及び前記ボックスリグレッションのベクトルが生成されると、前記学習装置１００は、前記ロスユニット２３０をもって、前記判別ベクトルと、前記ボックスリグレッションベクトルと、これに対応するＧＴとを参照して一つ以上のロスを生成するようにする。前記ロスは、【数23】
及び
【数24】
二つの構成要素から成り立ち得るが、前記
【数25】
は、前記判別ベクトルに関連する判別ロスとして、クロスエントロピー（ｃｒｏｓｓ ｅｎｔｒｏｐｙ）方式によって生成されたものであり得、前記
【数26】
は、前記ボックスリグレッションベクトルと関連したボックスリグレッションロスとして、スムーズＬ１（ｓｍｏｏｔｈ−Ｌ１）方式によって生成されたものであり得る。
【0053】
具体的には、前記判別ロスは次の数式によって生成され、【数27】
この際、
【数28】
は、前記判別ベクトルの個数を意味し、
【数29】
は、第ｉ判別ベクトルを意味し、
【数30】
は、前記第ｉ判別ベクトルに対する第ｉ判別ＧＴベクトルを意味し得る。
【0054】
また、前記ボックスリグレッションロスは、次の数式によって生成され、【数31】
【数32】
この際、
【数33】
は、前記ボックスリグレッションベクトルの個数を、
【数34】
は第ｉボックスリグレッションベクトルを、そして
【数35】
は、前記第ｉボックスリグレッションベクトルに対する第ｉボックスリグレッションＧＴベクトルを意味する。
【0055】
前記ロスが作成された後、このようなロスはバックプロパゲーションされることで、前記ＤＮＮ２００に含まれた前記判別ネットワーク２２０の一つ以上のパラメータの少なくとも一部を学習するのに用いられ得る。これによって、前記判別ネットワーク２２０は、その入力されたバウンディンボックスがより正確に統合され得るかを判断し、統合された後の前記頂点情報をさらに正確に予測することができるようになる。
【0056】
本発明の他の例として、前記学習装置１００が、前記ＤＮＮ２００に含まれた前記判別ネットワーク２２０をもって、前記ペア特徴ベクトルに前記ＦＣ演算のうちの少なくとも一部を適用して前記判別ベクトルを生成するようにした後、前記ペア特徴ベクトルのうち、特定ペアが統合される特定確率を示す特定判別ベクトルの値が、予め設定された閾値以上である一つ以上の特定ペア特徴ベクトルに前記ＦＣ演算の残りの一部を適用して、前記特定ペア特徴ベクトルに対応する前記ボックスリグレッションベクトルを生成するようにし得る。前記他の例は、統合される確率が前記閾値以下であるペアの座標値を計算しないため、効率的である。
【0057】
続いて、前記ＤＮＮ２００の作動原理を説明する。前記学習装置１００が、前記ＤＮＮ２００の一つ以上のレイヤに含まれた各ディープラーニングニューロンをもって、その少なくとも一つのパラメータを利用して前記各ディープラーニングニューロンの入力に一つ以上のコンボリューション演算を適用し、前記ディープランニングニューロンの出力を次のディープランニングニューロンに伝達する過程を繰り返すことにより、前記ペア特徴ベクトルと、前記判別ベクトルと、前記ボックスリグレッションベクトルとを生成するようにし得る。
【0058】
前記学習プロセスが完了した後、前記学習装置１００がテスティング装置として機能する過程について、図４を参照にして説明する。
【0059】
参考までに、以下の説明において混同を避けるために、前記プロセスに関連する用語には「学習用」または「トレーニング」という単語が追加され、テスティングプロセスに関連する用語には「テスト用」または「テスティング」という単語が追加された。
【0060】
図４は、本発明の一例に係る前記特定空間に対するそれぞれの前記原本イメージを統合して前記特定空間に対する前記統合イメージを生成する際に、それぞれの前記原本イメージに対するそれぞれの前記物体検出情報を統合して、前記統合イメージに追加的な演算をしなくても前記統合イメージに対する前記統合物体検出情報を生成する前記学習方法の遂行が完了された状態であるテスティング装置の具体的な動作方式を概略的に示した図面である。
【0061】
図４を参照にすれば、前記テスティング装置は、前記ロスユニット２３０の代わりに併合ユニットを含み得る。前記併合ユニットは、少なくとも一つのテスト用判別ベクトルに含まれた、二つのテスト用原本バウンディングボックスが統合されるべき確率が特定閾値以上である場合、前記二つのテスト用原本バウンディングボックスが、少なくとも一つのテスト用ボックスリグレッションベクトルに含まれた、テスト用変更値を利用して統合されたテスト用統合バウンディングボックスの頂点座標を計算することができる。前記原本ＲＯＩの前記ペアそれぞれは、これらの演算を前記原本ＲＯＩの前記ペアのテスト用ペア特徴ベクトルに繰り返すことにより前記原本ＲＯＩの前記ペアそれぞれを統合し、その後、前記演算を各原本ＲＯＩに適用することにより、前記原本イメージを統合し、その後、前記統合イメージに対する物体検出結果を前記統合イメージに追加的な演算をしなくても生成することができる。前記コンカチネーティングネットワーク２１０及び前記判別ネットワーク２２０のような構成要素の機能は、前記学習装置１００で遂行する際の機能と類似するので省略することにする。
【0062】
具体的には、（ａ）（１）前記学習装置が、前記第１学習用原本イメージ及び前記第２学習用原本イメージが処理されて生成された、前記第１学習用物体検出情報及び前記第２学習用物体検出情報を取得すると、前記ＤＮＮ２００に含まれたコンカチネーティングネットワーク２１０をもって、前記第１学習用原本イメージに含まれた第１学習用原本ＲＯＩと、前記第２学習用原本イメージに含まれた第２学習用原本ＲＯＩとの一つ以上の学習用ペアに関する情報を含む一つ以上の学習用ペア特徴ベクトルを生成するようにし、（２）前記学習装置１００が、前記ＤＮＮ２００に含まれた判別ネットワーク２２０をもって、前記学習用ペア特徴ベクトルに一つ以上のＦＣ演算を適用することにより、（ｉ）前記学習用ペアそれぞれに含まれた、前記第１学習用原本ＲＯＩと前記第２学習用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の学習用判別ベクトル、及び（ｉｉ）前記学習用統合イメージ上で、前記学習用ペアのうちの少なくとも一部の各要素の各元の位置と比較した、前記学習用ペアのうち前記少なくとも一部に対応する学習用統合ＲＯＩの各相対位置に関する情報を含む一つ以上の学習用ボックスリグレッションベクトルを生成するようにし、（３）前記学習装置が、前記ロスユニット２３０をもって、前記学習用判別ベクトルと、前記学習用ボックスリグレッションベクトルと、これに対応するＧＴとを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーションを遂行することで前記ＤＮＮ２００に含まれたパラメータのうちの少なくとも一部を学習するようにした状態で、テスティング装置が、前記第１テスト用原本イメージ及び前記第２テスト用原本イメージが処理されて生成された、前記第１テスト用物体検出情報及び前記第２テスト用物体検出情報を取得すると、前記ＤＮＮ２００に含まれた前記コンカチネーティングネットワーク２１０をもって、前記第１テスト用原本イメージに含まれた第１テスト用原本ＲＯＩと、前記第２テスト用原本イメージに含まれた第２テスト用原本ＲＯＩとの一つ以上のテスト用ペアに関する情報を含む一つ以上のテスト用ペア特徴ベクトルを生成するようにすることができる。
【0063】
その後、前記テスティング装置が、前記ＤＮＮ２００に含まれた前記判別ネットワークをもって、前記テスト用ペア特徴ベクトルに前記ＦＣ演算を適用することにより、（ｉ）前記テスト用ペアそれぞれに含まれた、前記第１テスト用原本ＲＯＩと前記第２テスト用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上のテスト用判別ベクトル及び（ｉｉ）前記テスト用統合イメージ上で、前記テスト用ペアのうちの少なくとも一部の各要素の各元の位置と比較した、前記テスト用ペアのうち前記少なくとも一部に対応するテスト用統合ＲＯＩの各相対位置に関する情報を含む一つ以上のテスト用ボックスリグレッションベクトルを生成するようにするようにし得る。
【0064】
最後に、前記テスティング装置が、併合ユニット２４０をもって、前記テスト用判別ベクトルと、前記テスト用ボックスリグレッションベクトルとを参照にして、第１テスト用原本バウンディンボックスと、第２テスト用原本バウンディンボックスとで構成された前記テスト用ペアのうちの少なくとも一部を併合することで、前記テスト用統合物体検出情報を生成するようにし得る。
【0065】
この際、前記第１テスト用物体検出情報及び前記第２テスト用物体検出情報は、前記テスティング装置が搭載された車両に設置された、第１方向を担当する第１カメラ及び第２方向を担当する第２カメラによって取得された、前記第１テスト用原本イメージ及び前記第２テスト用原本イメージから取得される。
【0066】
本発明の前記ＤＮＮ２００は、併合ネットワークを意味し得るが、これは、他の物体検出情報を併合し得るからである。
【0067】
本発明は、異種センサ融合に関する手法を説明するものであり、具体的に統合ＲＯＩ空間に関する多数のカメラを通じて取得した情報を参照にして生成されたＲＯＩを統合する方法を提供する。本発明を遂行することで、物体検出結果は一つのデータセットに統合され、演算力の消耗を減らし得るように補助する。
【0068】
本発明技術分野の通常の技術者に理解され、前記で説明されたイメージ、例えば前記原本イメージ、前記原本ラベル及び追加ラベルといったイメージデータの送受信が前記学習装置１００及び前記テスティング装置の各通信部によって行われ得、特徴マップと演算を遂行するためのデータが前記学習装置１００及びテスティング装置のプロセッサ（及び／またはメモリ）によって保有／維持され得、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が主に前記学習装置１００及び前記テスティング装置のプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。
【0069】
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で実装されてコンピュータ読取り可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
【0070】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
【0071】
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。