ホーム > 特許ランキング > 株式会社ストラドビジョン
知財求人 - 知財ポータルサイト「IP Force」
特許6910081協調走行を遂行する各車両から取得された各走行イメージを統合する方法及びこれを利用した走行イメージ統合装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6910081
(24)【登録日】2021年7月8日
(45)【発行日】2021年7月28日
(54)【発明の名称】協調走行を遂行する各車両から取得された各走行イメージを統合する方法及びこれを利用した走行イメージ統合装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20210715BHJP
G08G 1/16 20060101ALI20210715BHJP
G08G 1/09 20060101ALI20210715BHJP
【ＦＩ】
G06T7/00 350C
G08G1/16 A
G08G1/09 H
G06T7/00 650B
【請求項の数】12
【全頁数】26
(21)【出願番号】特願2020-9978(P2020-9978)
(22)【出願日】2020年1月24日
(65)【公開番号】特開2020-126637(P2020-126637A)
(43)【公開日】2020年8月20日
【審査請求日】2020年1月24日
(31)【優先権主張番号】62/799,514
(32)【優先日】2019年1月31日
(33)【優先権主張国】US
(31)【優先権主張番号】16/739,220
(32)【優先日】2020年1月10日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】517038176
【氏名又は名称】株式会社ストラドビジョン
(74)【代理人】
【識別番号】110000855
【氏名又は名称】特許業務法人浅村特許事務所
(72)【発明者】
【氏名】キム、ケイ − ヒョン
(72)【発明者】
【氏名】キム、ヨンジュン
(72)【発明者】
【氏名】キム、ハク − キョン
(72)【発明者】
【氏名】ナム、ウヒョン
(72)【発明者】
【氏名】ブー、ソッフン
(72)【発明者】
【氏名】ソン、ミュンチュル
(72)【発明者】
【氏名】シン、ドンス
(72)【発明者】
【氏名】ヨー、ドンフン
(72)【発明者】
【氏名】リュー、ウジュ
(72)【発明者】
【氏名】イ、ミョン − チュン
(72)【発明者】
【氏名】イ、ヒョンス
(72)【発明者】
【氏名】チャン、テウン
(72)【発明者】
【氏名】ジョン、キュンチョン
(72)【発明者】
【氏名】チェ、ホンモ
(72)【発明者】
【氏名】チョウ、ホジン
【審査官】
岡本 俊威
(56)【参考文献】
【文献】
米国特許出願公開第２０１８／０２０４４６５（ＵＳ，Ａ１）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｔ ７／００− ７／９０
Ｇ０８Ｇ １／０９
Ｇ０８Ｇ １／１６
(57)【特許請求の範囲】
【請求項1】
協調走行を遂行する少なくとも二つの車両から取得された各走行イメージを統合する方法において、
（ａ）前記少なくとも一つの車両のうち少なくとも一つのメイン車両に設置されたメイン走行イメージ統合装置が、（ｉ）前記メイン車両に設置された少なくとも一つのメインカメラから取得される少なくとも一つのメイン走行イメージをメイン物体検出器に入力して、前記メイン物体検出器をもって、（ｉ−１）メインコンボリューションレイヤによって前記メイン走行イメージ対してコンボリューション演算を少なくとも一度適用して少なくとも一つのメイン特徴マップを生成するようにし、（ｉ−２）メインＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）によって前記メイン特徴マップ上で少なくとも一つのメイン物体が位置すると予想される、少なくとも一つの領域に対応する少なくとも一つのメインＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するようにし、（ｉ−３）メインプーリングレイヤによって前記メイン特徴マップ上で前記メインＲＯＩに対応する少なくとも一つの領域に対して、プーリング演算を少なくとも一度適用して、少なくとも一つのメインプーリング済み特徴マップを生成するようにし、（ｉ−４）メインＦＣレイヤによって前記メインプーリング済み特徴マップに対してＦＣ演算を少なくとも一度適用して、前記メイン走行イメージ上に位置する前記メイン物体に対するメイン物体検出情報を生成するようにするプロセスを遂行する段階；
（ｂ）前記メイン走行イメージ統合装置が、前記メインプーリング済み特徴マップをメインコンフィデンスネットワークに入力して、前記メインコンフィデンスネットワークをもって、前記メインプーリング済み特徴マップそれぞれに対応する前記メインＲＯＩそれぞれの少なくとも一つのメインコンフィデンスそれぞれを生成するようにするプロセスを遂行する段階；及び
（ｃ）前記メイン走行イメージ統合装置が、前記協調走行中の少なくとも一つのサブ（ｓｕｂ）車両それぞれからサブ物体検出情報と少なくとも一つのサブコンフィデンスを取得するプロセス、及び前記メインコンフィデンス及び前記サブコンフィデンスを重み付け値として利用して、前記メイン物体検出情報と前記サブ物体検出情報とを統合するプロセスを遂行することにより、前記メイン走行イメージの少なくとも一つの物体検出結果を生成する段階；
を含み、
前記サブ物体検出情報と前記サブコンフィデンスとは、前記サブ車両それぞれに設置された少なくとも一つのサブ走行イメージ統合装置それぞれにより生成され、
前記サブ走行イメージ統合装置それぞれは、（ｉ）サブ走行イメージそれぞれを、対応するサブ物体検出器それぞれに入力して、前記サブ物体検出器をもって、（ｉ−１）対応するサブコンボリューションレイヤそれぞれによって前記サブ走行イメージそれぞれに対して前記コンボリューション演算を少なくとも一度適用してサブ特徴マップそれぞれを生成するようにし、（ｉ−２）対応するサブＲＰＮそれぞれによって前記それぞれのサブ特徴マップ上に少なくとも一つのサブ物体が位置すると予想される少なくとも一つの領域に対応する少なくとも一つのサブＲＯＩを生成するようにし、（ｉ−３）対応するサブプーリングレイヤそれぞれによって前記それぞれのサブ特徴マップ上で、前記サブＲＯＩそれぞれに対応する少なくとも一つの領域に対して、前記プーリング演算を少なくとも一度適用して少なくとも一つのサブプーリング済み特徴マップそれぞれを生成するようにし、（ｉ−４）対応するサブＦＣレイヤそれぞれによって前記それぞれのサブプーリング済み特徴マップに対して前記ＦＣ演算を少なくとも一度適用して、前記それぞれのサブ走行イメージ上に位置する前記サブ物体に対する前記サブ物体検出情報を生成するようにし、（ｉ−５）前記サブプーリング済み特徴マップそれぞれをサブコンフィデンスネットワークそれぞれに入力して、前記サブコンフィデンスネットワークそれぞれをもって、前記サブプーリング済み特徴マップそれぞれに対応する前記サブＲＯＩの前記サブコンフィデンスを生成するようにすることを特徴とする方法。
（ａ）前記少なくとも一つの車両のうち少なくとも一つのメイン車両に設置されたメイン走行イメージ統合装置が、（ｉ）前記メイン車両に設置された少なくとも一つのメインカメラから取得される少なくとも一つのメイン走行イメージをメイン物体検出器に入力して、前記メイン物体検出器をもって、（ｉ−１）メインコンボリューションレイヤによって前記メイン走行イメージ対してコンボリューション演算を少なくとも一度適用して少なくとも一つのメイン特徴マップを生成するようにし、（ｉ−２）メインＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）によって前記メイン特徴マップ上で少なくとも一つのメイン物体が位置すると予想される、少なくとも一つの領域に対応する少なくとも一つのメインＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するようにし、（ｉ−３）メインプーリングレイヤによって前記メイン特徴マップ上で前記メインＲＯＩに対応する少なくとも一つの領域に対して、プーリング演算を少なくとも一度適用して、少なくとも一つのメインプーリング済み特徴マップを生成するようにし、（ｉ−４）メインＦＣレイヤによって前記メインプーリング済み特徴マップに対してＦＣ演算を少なくとも一度適用して、前記メイン走行イメージ上に位置する前記メイン物体に対するメイン物体検出情報を生成するようにするプロセスを遂行する段階；
（ｂ）前記メイン走行イメージ統合装置が、前記メインプーリング済み特徴マップをメインコンフィデンスネットワークに入力して、前記メインコンフィデンスネットワークをもって、前記メインプーリング済み特徴マップそれぞれに対応する前記メインＲＯＩそれぞれの少なくとも一つのメインコンフィデンスそれぞれを生成するようにするプロセスを遂行する段階；及び
（ｃ）前記メイン走行イメージ統合装置が、前記協調走行中の少なくとも一つのサブ（ｓｕｂ）車両それぞれからサブ物体検出情報と少なくとも一つのサブコンフィデンスを取得するプロセス、及び前記メインコンフィデンス及び前記サブコンフィデンスを重み付け値として利用して、前記メイン物体検出情報と前記サブ物体検出情報とを統合するプロセスを遂行することにより、前記メイン走行イメージの少なくとも一つの物体検出結果を生成する段階；
を含み、
前記サブ物体検出情報と前記サブコンフィデンスとは、前記サブ車両それぞれに設置された少なくとも一つのサブ走行イメージ統合装置それぞれにより生成され、
前記サブ走行イメージ統合装置それぞれは、（ｉ）サブ走行イメージそれぞれを、対応するサブ物体検出器それぞれに入力して、前記サブ物体検出器をもって、（ｉ−１）対応するサブコンボリューションレイヤそれぞれによって前記サブ走行イメージそれぞれに対して前記コンボリューション演算を少なくとも一度適用してサブ特徴マップそれぞれを生成するようにし、（ｉ−２）対応するサブＲＰＮそれぞれによって前記それぞれのサブ特徴マップ上に少なくとも一つのサブ物体が位置すると予想される少なくとも一つの領域に対応する少なくとも一つのサブＲＯＩを生成するようにし、（ｉ−３）対応するサブプーリングレイヤそれぞれによって前記それぞれのサブ特徴マップ上で、前記サブＲＯＩそれぞれに対応する少なくとも一つの領域に対して、前記プーリング演算を少なくとも一度適用して少なくとも一つのサブプーリング済み特徴マップそれぞれを生成するようにし、（ｉ−４）対応するサブＦＣレイヤそれぞれによって前記それぞれのサブプーリング済み特徴マップに対して前記ＦＣ演算を少なくとも一度適用して、前記それぞれのサブ走行イメージ上に位置する前記サブ物体に対する前記サブ物体検出情報を生成するようにし、（ｉ−５）前記サブプーリング済み特徴マップそれぞれをサブコンフィデンスネットワークそれぞれに入力して、前記サブコンフィデンスネットワークそれぞれをもって、前記サブプーリング済み特徴マップそれぞれに対応する前記サブＲＯＩの前記サブコンフィデンスを生成するようにすることを特徴とする方法。
【請求項2】
前記メイン物体検出器と前記メインコンフィデンスネットワークとは、学習装置により学習された状態であり、
少なくとも一つの学習用走行イメージを含むトレーニングデータが取得されると、前記学習装置が、（ｉ）前記トレーニングデータから、（ｉ−１）学習用第１＿１走行イメージないし学習用第１＿ｍ走行イメージを含む第１トレーニングデータと（ｉ−２）学習用第２＿１走行イメージないし学習用第２＿ｎ走行イメージを含む第２トレーニングデータとをサンプリングするプロセス、（ｉｉ）前記学習用第１＿１走行イメージないし前記学習用第１＿ｍ走行イメージの一つである学習用第１＿ｊ走行イメージを前記メインコンボリューションレイヤに入力して、前記メインコンボリューションレイヤをもって、前記学習用第１＿ｊ走行イメージに対して前記コンボリューション演算を少なくとも一度適用して少なくとも一つの第１特徴マップを生成するようにするプロセス、（ｉｉｉ）前記第１特徴マップを前記メインＲＰＮに入力して、前記メインＲＰＮをもって、前記第１特徴マップ上に位置する少なくとも一つの学習用物体に対応する少なくとも一つの第１ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するようにするプロセス、（ｉｖ）前記メインプーリングレイヤをもって、前記第１特徴マップ上で、前記第１ＲＯＩに対応する少なくとも一つの領域に対して前記プーリング演算を少なくとも一度適用して少なくとも一つの第１プーリング済み特徴マップを生成するようにするプロセス、（ｖ）前記メインＦＣレイヤをもって、前記第１プーリング済み特徴マップまたはこれに対応する少なくとも一つの第１特徴ベクトルに対して前記ＦＣ演算を少なくとも一度適用して、前記学習用第１＿ｊ走行イメージ上に位置する前記学習用物体に対応する第１物体検出情報を生成するようにするプロセス、（ｖｉ）第１ロスレイヤをもって、前記第１物体検出情報と前記学習用第１＿ｊ走行イメージの少なくとも一つの物体ＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つの第１ロスを算出するようにするプロセス、及び（ｖｉｉ）前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記メインＦＣレイヤ及び前記メインコンボリューションレイヤのうちの少なくとも一つのパラメータをアップデートするプロセスを、前記学習用第１＿１走行イメージないし前記学習用第１＿ｍ走行イメージそれぞれに対して遂行することにより、前記メイン物体検出器を学習し、
前記学習装置が、（ｉ）前記学習用第１＿１走行イメージないし前記学習用第１＿ｍ走行イメージそれぞれに対応する前記第１物体検出情報と前記物体ＧＴとを参照して前記第１ＲＯＩそれぞれの少なくとも一つの第１コンフィデンスそれぞれを取得するプロセス、（ｉｉ）前記学習用第２＿１走行イメージないし前記学習用第２＿ｎ走行イメージの一つである学習用第２＿ｋ走行イメージを前記メインコンボリューションレイヤに入力して、前記メインコンボリューションレイヤをもって、前記学習用第２＿ｋ走行イメージに対して前記コンボリューション演算を少なくとも一度適用して少なくとも一つの第２特徴マップを生成するようにするプロセス、（ｉｉｉ）前記第２特徴マップを前記メインＲＰＮに入力して、前記メインＲＰＮをもって、前記第２特徴マップ上に位置する前記学習用物体に対応する少なくとも一つの第２ＲＯＩを生成するようにするプロセス、（ｉｖ）前記メインプーリングレイヤをもって、前記第２特徴マップ上で、前記第２ＲＯＩに対応する少なくとも一つの領域に対して前記プーリング演算を少なくとも一度適用して少なくとも一つの第２プーリング済み特徴マップを生成するようにするプロセス、（ｖ）前記第２プーリング済み特徴マップを前記メインコンフィデンスネットワークに入力して、前記メインコンフィデンスネットワークをもって、ディープラーニングによって前記第２プーリング済み特徴マップに対応する少なくとも一つの第２コンフィデンスを生成するようにするプロセス、（ｖｉ）第２ロスレイヤをもって、前記第２コンフィデンスと前記第１コンフィデンスとを参照して少なくとも一つの第２ロスを算出するようにするプロセス、及び（ｖｉｉ）前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスを最小化するように前記メインコンフィデンスネットワークの少なくとも一つのパラメータをアップデートするプロセスを、前記学習用第２＿１走行イメージないし前記学習用第２＿ｎ走行イメージに対して遂行することにより、前記メインコンフィデンスネットワークを学習した状態であり、前記ｍは、１以上の整数であり、前記ｎは、１以上の整数であることを特徴とする請求項１に記載の方法。
少なくとも一つの学習用走行イメージを含むトレーニングデータが取得されると、前記学習装置が、（ｉ）前記トレーニングデータから、（ｉ−１）学習用第１＿１走行イメージないし学習用第１＿ｍ走行イメージを含む第１トレーニングデータと（ｉ−２）学習用第２＿１走行イメージないし学習用第２＿ｎ走行イメージを含む第２トレーニングデータとをサンプリングするプロセス、（ｉｉ）前記学習用第１＿１走行イメージないし前記学習用第１＿ｍ走行イメージの一つである学習用第１＿ｊ走行イメージを前記メインコンボリューションレイヤに入力して、前記メインコンボリューションレイヤをもって、前記学習用第１＿ｊ走行イメージに対して前記コンボリューション演算を少なくとも一度適用して少なくとも一つの第１特徴マップを生成するようにするプロセス、（ｉｉｉ）前記第１特徴マップを前記メインＲＰＮに入力して、前記メインＲＰＮをもって、前記第１特徴マップ上に位置する少なくとも一つの学習用物体に対応する少なくとも一つの第１ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するようにするプロセス、（ｉｖ）前記メインプーリングレイヤをもって、前記第１特徴マップ上で、前記第１ＲＯＩに対応する少なくとも一つの領域に対して前記プーリング演算を少なくとも一度適用して少なくとも一つの第１プーリング済み特徴マップを生成するようにするプロセス、（ｖ）前記メインＦＣレイヤをもって、前記第１プーリング済み特徴マップまたはこれに対応する少なくとも一つの第１特徴ベクトルに対して前記ＦＣ演算を少なくとも一度適用して、前記学習用第１＿ｊ走行イメージ上に位置する前記学習用物体に対応する第１物体検出情報を生成するようにするプロセス、（ｖｉ）第１ロスレイヤをもって、前記第１物体検出情報と前記学習用第１＿ｊ走行イメージの少なくとも一つの物体ＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つの第１ロスを算出するようにするプロセス、及び（ｖｉｉ）前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記メインＦＣレイヤ及び前記メインコンボリューションレイヤのうちの少なくとも一つのパラメータをアップデートするプロセスを、前記学習用第１＿１走行イメージないし前記学習用第１＿ｍ走行イメージそれぞれに対して遂行することにより、前記メイン物体検出器を学習し、
前記学習装置が、（ｉ）前記学習用第１＿１走行イメージないし前記学習用第１＿ｍ走行イメージそれぞれに対応する前記第１物体検出情報と前記物体ＧＴとを参照して前記第１ＲＯＩそれぞれの少なくとも一つの第１コンフィデンスそれぞれを取得するプロセス、（ｉｉ）前記学習用第２＿１走行イメージないし前記学習用第２＿ｎ走行イメージの一つである学習用第２＿ｋ走行イメージを前記メインコンボリューションレイヤに入力して、前記メインコンボリューションレイヤをもって、前記学習用第２＿ｋ走行イメージに対して前記コンボリューション演算を少なくとも一度適用して少なくとも一つの第２特徴マップを生成するようにするプロセス、（ｉｉｉ）前記第２特徴マップを前記メインＲＰＮに入力して、前記メインＲＰＮをもって、前記第２特徴マップ上に位置する前記学習用物体に対応する少なくとも一つの第２ＲＯＩを生成するようにするプロセス、（ｉｖ）前記メインプーリングレイヤをもって、前記第２特徴マップ上で、前記第２ＲＯＩに対応する少なくとも一つの領域に対して前記プーリング演算を少なくとも一度適用して少なくとも一つの第２プーリング済み特徴マップを生成するようにするプロセス、（ｖ）前記第２プーリング済み特徴マップを前記メインコンフィデンスネットワークに入力して、前記メインコンフィデンスネットワークをもって、ディープラーニングによって前記第２プーリング済み特徴マップに対応する少なくとも一つの第２コンフィデンスを生成するようにするプロセス、（ｖｉ）第２ロスレイヤをもって、前記第２コンフィデンスと前記第１コンフィデンスとを参照して少なくとも一つの第２ロスを算出するようにするプロセス、及び（ｖｉｉ）前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスを最小化するように前記メインコンフィデンスネットワークの少なくとも一つのパラメータをアップデートするプロセスを、前記学習用第２＿１走行イメージないし前記学習用第２＿ｎ走行イメージに対して遂行することにより、前記メインコンフィデンスネットワークを学習した状態であり、前記ｍは、１以上の整数であり、前記ｎは、１以上の整数であることを特徴とする請求項１に記載の方法。
【請求項3】
前記学習装置は、前記第１物体検出情報とこれに対応する物体ＧＴとを参照して前記第１ＲＯＩそれぞれの前記第１コンフィデンスを取得し、
前記第１ＲＯＩそれぞれに前記学習用物体それぞれがない場合、前記第１コンフィデンスそれぞれは「０」であり、前記第１ＲＯＩそれぞれに前記学習用物体それぞれがある場合、前記第１コンフィデンスそれぞれは「１−ボックス＿エラー×クラス＿エラー（１−Ｂｏｘ＿Ｅｒｒｏｒ×Ｃｌａｓｓ＿Ｅｒｒｏｒ）」であり、
前記それぞれのボックス＿エラーは、前記第１物体検出情報に含まれた各バウンディングボックスのそれぞれのエラーであり、前記それぞれのクラス＿エラーは、前記第１物体検出情報に含まれたクラス情報のそれぞれのエラーであることを特徴とする請求項２に記載の方法。
前記第１ＲＯＩそれぞれに前記学習用物体それぞれがない場合、前記第１コンフィデンスそれぞれは「０」であり、前記第１ＲＯＩそれぞれに前記学習用物体それぞれがある場合、前記第１コンフィデンスそれぞれは「１−ボックス＿エラー×クラス＿エラー（１−Ｂｏｘ＿Ｅｒｒｏｒ×Ｃｌａｓｓ＿Ｅｒｒｏｒ）」であり、
前記それぞれのボックス＿エラーは、前記第１物体検出情報に含まれた各バウンディングボックスのそれぞれのエラーであり、前記それぞれのクラス＿エラーは、前記第１物体検出情報に含まれたクラス情報のそれぞれのエラーであることを特徴とする請求項２に記載の方法。
【請求項4】
（ｉ）前記それぞれのボックス＿エラーは、（ｉ−１）前記それぞれの学習用物体のそれぞれのサイズの（ｉ−２）前記バウンディングボックスそれぞれの中心ポイントのエラーの合計に対する比率であり、（ｉｉ）前記それぞれのクラス＿エラーは、前記第１物体検出情報に含まれた、前記学習用物体それぞれを分類するのに利用されるそれぞれのクラスに対するそれぞれの予測値のクラスエラーのそれぞれの合計であることを特徴とする請求項３に記載の方法。
【請求項5】
前記メインコンフィデンスと前記サブコンフィデンスとを重み付け値として利用して、前記メイン物体検出情報と前記サブ物体検出情報とを統合するにおいて、
前記メイン走行イメージ統合装置は、（ｉ）前記メインコンフィデンス及び前記サブコンフィデンスのうちの特定物体検出情報それぞれに対応する特定コンフィデンスそれぞれを重み付け値として利用して前記特定物体検出情報それぞれに含まれたクラスそれぞれに対する推定値それぞれの加重和を算出するプロセス、及び加重和されたクラスのうちの最も大きな値を有する特定クラスを前記特定物体に対応する最適クラス情報として取得するプロセス、と（ｉｉ）前記特定物体検出情報それぞれに対応する前記特定コンフィデンスそれぞれを重み付け値として利用して前記特定物体検出情報それぞれに含まれた特定リグレッション情報それぞれの加重和を算出するプロセス、及び加重和されたリグレッション情報を前記特定物体に対応する最適リグレッション情報として取得するプロセス、とを遂行することを特徴とする請求項１に記載の方法。
前記メイン走行イメージ統合装置は、（ｉ）前記メインコンフィデンス及び前記サブコンフィデンスのうちの特定物体検出情報それぞれに対応する特定コンフィデンスそれぞれを重み付け値として利用して前記特定物体検出情報それぞれに含まれたクラスそれぞれに対する推定値それぞれの加重和を算出するプロセス、及び加重和されたクラスのうちの最も大きな値を有する特定クラスを前記特定物体に対応する最適クラス情報として取得するプロセス、と（ｉｉ）前記特定物体検出情報それぞれに対応する前記特定コンフィデンスそれぞれを重み付け値として利用して前記特定物体検出情報それぞれに含まれた特定リグレッション情報それぞれの加重和を算出するプロセス、及び加重和されたリグレッション情報を前記特定物体に対応する最適リグレッション情報として取得するプロセス、とを遂行することを特徴とする請求項１に記載の方法。
【請求項6】
前記メインコンフィデンスと前記サブコンフィデンスとを重み付け値として利用して、前記メイン物体検出情報と前記サブ物体検出情報とを統合するにおいて、
前記第１物体検出情報のうちの第１重畳物体検出情報と、前記第２物体検出情報のうちの第２重畳物体検出情報とが互いに重なって存在すると判断される場合、前記メイン走行イメージ統合装置は、（ｉ）前記第１重畳物体検出情報に対応する第１バウンディングボックスと、前記第２重畳物体検出情報に対応する第２バウンディングボックスとのＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｏｖｅｒ Ｕｎｉｏｎ）が予め設定された閾値以上であれば、前記第１重畳物体検出情報と前記第２重畳物体検出情報とが前記特定物体に対応するものと判断するプロセス、及び（ｉｉ）前記ＩＯＵが前記予め設定された閾値未満であれば、前記第１重畳物体検出情報と前記第２重畳物体検出情報とがそれぞれ異なる物体に対応するものと判断するプロセスを遂行することを特徴とする請求項５に記載の方法。
前記第１物体検出情報のうちの第１重畳物体検出情報と、前記第２物体検出情報のうちの第２重畳物体検出情報とが互いに重なって存在すると判断される場合、前記メイン走行イメージ統合装置は、（ｉ）前記第１重畳物体検出情報に対応する第１バウンディングボックスと、前記第２重畳物体検出情報に対応する第２バウンディングボックスとのＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｏｖｅｒ Ｕｎｉｏｎ）が予め設定された閾値以上であれば、前記第１重畳物体検出情報と前記第２重畳物体検出情報とが前記特定物体に対応するものと判断するプロセス、及び（ｉｉ）前記ＩＯＵが前記予め設定された閾値未満であれば、前記第１重畳物体検出情報と前記第２重畳物体検出情報とがそれぞれ異なる物体に対応するものと判断するプロセスを遂行することを特徴とする請求項５に記載の方法。
【請求項7】
協調走行を遂行する少なくとも二つの車両のうち少なくとも一つのメイン車両に設置された、前記車両から取得された各走行イメージを統合するメイン走行イメージ統合装置において、
インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）前記メイン車両に設置された少なくとも一つのメインカメラから取得される少なくとも一つのメイン走行イメージをメイン物体検出器に入力して、前記メイン物体検出器をもって、（Ｉ−１）メインコンボリューションレイヤによって前記メイン走行イメージ対してコンボリューション演算を少なくとも一度適用して少なくとも一つのメイン特徴マップを生成するようにし、（Ｉ−２）メインＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）によって前記メイン特徴マップ上で少なくとも一つのメイン物体が位置すると予想される、少なくとも一つの領域に対応する少なくとも一つのメインＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するようにし、（Ｉ−３）メインプーリングレイヤによって前記メイン特徴マップ上で前記メインＲＯＩに対応する少なくとも一つの領域に対して、プーリング演算を少なくとも一度適用して、少なくとも一つのメインプーリング済み特徴マップを生成するようにし、（Ｉ−４）メインＦＣレイヤによって前記メインプーリング済み特徴マップに対してＦＣ演算を少なくとも一度適用して、前記メイン走行イメージ上に位置する前記メイン物体に対するメイン物体検出情報を生成するようにするプロセス、（ＩＩ）前記メインプーリング済み特徴マップをメインコンフィデンスネットワークに入力して、前記メインコンフィデンスネットワークをもって、前記メインプーリング済み特徴マップそれぞれに対応する前記メインＲＯＩそれぞれの少なくとも一つのメインコンフィデンスそれぞれを生成するようにするプロセス、及び（ＩＩＩ）前記協調走行中の少なくとも一つのサブ車両それぞれからサブ物体検出情報と少なくとも一つのサブコンフィデンスを取得するプロセス、及び前記メインコンフィデンス及び前記サブコンフィデンスを重み付け値として利用して、前記メイン物体検出情報と前記サブ物体検出情報とを統合するプロセスを遂行することにより、前記メイン走行イメージの少なくとも一つの物体検出結果を生成するプロセスを遂行するようにするか、他の装置をもって遂行するようにするために前記インストラクションを実行するように構成された少なくとも一つのプロセッサを含み、
前記サブ物体検出情報と前記サブコンフィデンスとは、前記サブ車両それぞれに設置された少なくとも一つのサブ走行イメージ統合装置それぞれにより生成され、前記サブ走行イメージ統合装置それぞれは、（ｉ）サブ走行イメージそれぞれを、対応するサブ物体検出器それぞれに入力して、前記サブ物体検出器それぞれをもって、（ｉ−１）対応するサブコンボリューションレイヤそれぞれによって前記サブ走行イメージそれぞれに対して前記コンボリューション演算を少なくとも一度適用してサブ特徴マップそれぞれを生成するようにし、（ｉ−２）対応するサブＲＰＮそれぞれによって前記それぞれのサブ特徴マップ上に少なくとも一つのサブ物体が位置すると予想される少なくとも一つの領域に対応する少なくとも一つのサブＲＯＩを生成するようにし、（ｉ−３）対応するサブプーリングレイヤそれぞれによって前記それぞれのサブ特徴マップ上で、前記サブＲＯＩそれぞれに対応する少なくとも一つの領域に対して、前記プーリング演算を少なくとも一度適用して少なくとも一つのサブプーリング済み特徴マップそれぞれを生成するようにし、（ｉ−４）対応するサブＦＣレイヤそれぞれによって前記それぞれのサブプーリング済み特徴マップに対して前記ＦＣ演算を少なくとも一度適用して、前記それぞれのサブ走行イメージ上に位置する前記サブ物体に対する前記サブ物体検出情報を生成するようにし、（ｉ−５）前記サブプーリング済み特徴マップそれぞれをサブコンフィデンスネットワークそれぞれに入力して、前記サブコンフィデンスネットワークそれぞれをもって、前記サブプーリング済み特徴マップそれぞれに対応する前記サブＲＯＩの前記サブコンフィデンスを生成するようにすることを特徴とする装置。
インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）前記メイン車両に設置された少なくとも一つのメインカメラから取得される少なくとも一つのメイン走行イメージをメイン物体検出器に入力して、前記メイン物体検出器をもって、（Ｉ−１）メインコンボリューションレイヤによって前記メイン走行イメージ対してコンボリューション演算を少なくとも一度適用して少なくとも一つのメイン特徴マップを生成するようにし、（Ｉ−２）メインＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）によって前記メイン特徴マップ上で少なくとも一つのメイン物体が位置すると予想される、少なくとも一つの領域に対応する少なくとも一つのメインＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するようにし、（Ｉ−３）メインプーリングレイヤによって前記メイン特徴マップ上で前記メインＲＯＩに対応する少なくとも一つの領域に対して、プーリング演算を少なくとも一度適用して、少なくとも一つのメインプーリング済み特徴マップを生成するようにし、（Ｉ−４）メインＦＣレイヤによって前記メインプーリング済み特徴マップに対してＦＣ演算を少なくとも一度適用して、前記メイン走行イメージ上に位置する前記メイン物体に対するメイン物体検出情報を生成するようにするプロセス、（ＩＩ）前記メインプーリング済み特徴マップをメインコンフィデンスネットワークに入力して、前記メインコンフィデンスネットワークをもって、前記メインプーリング済み特徴マップそれぞれに対応する前記メインＲＯＩそれぞれの少なくとも一つのメインコンフィデンスそれぞれを生成するようにするプロセス、及び（ＩＩＩ）前記協調走行中の少なくとも一つのサブ車両それぞれからサブ物体検出情報と少なくとも一つのサブコンフィデンスを取得するプロセス、及び前記メインコンフィデンス及び前記サブコンフィデンスを重み付け値として利用して、前記メイン物体検出情報と前記サブ物体検出情報とを統合するプロセスを遂行することにより、前記メイン走行イメージの少なくとも一つの物体検出結果を生成するプロセスを遂行するようにするか、他の装置をもって遂行するようにするために前記インストラクションを実行するように構成された少なくとも一つのプロセッサを含み、
前記サブ物体検出情報と前記サブコンフィデンスとは、前記サブ車両それぞれに設置された少なくとも一つのサブ走行イメージ統合装置それぞれにより生成され、前記サブ走行イメージ統合装置それぞれは、（ｉ）サブ走行イメージそれぞれを、対応するサブ物体検出器それぞれに入力して、前記サブ物体検出器それぞれをもって、（ｉ−１）対応するサブコンボリューションレイヤそれぞれによって前記サブ走行イメージそれぞれに対して前記コンボリューション演算を少なくとも一度適用してサブ特徴マップそれぞれを生成するようにし、（ｉ−２）対応するサブＲＰＮそれぞれによって前記それぞれのサブ特徴マップ上に少なくとも一つのサブ物体が位置すると予想される少なくとも一つの領域に対応する少なくとも一つのサブＲＯＩを生成するようにし、（ｉ−３）対応するサブプーリングレイヤそれぞれによって前記それぞれのサブ特徴マップ上で、前記サブＲＯＩそれぞれに対応する少なくとも一つの領域に対して、前記プーリング演算を少なくとも一度適用して少なくとも一つのサブプーリング済み特徴マップそれぞれを生成するようにし、（ｉ−４）対応するサブＦＣレイヤそれぞれによって前記それぞれのサブプーリング済み特徴マップに対して前記ＦＣ演算を少なくとも一度適用して、前記それぞれのサブ走行イメージ上に位置する前記サブ物体に対する前記サブ物体検出情報を生成するようにし、（ｉ−５）前記サブプーリング済み特徴マップそれぞれをサブコンフィデンスネットワークそれぞれに入力して、前記サブコンフィデンスネットワークそれぞれをもって、前記サブプーリング済み特徴マップそれぞれに対応する前記サブＲＯＩの前記サブコンフィデンスを生成するようにすることを特徴とする装置。
【請求項8】
前記メイン物体検出器と前記メインコンフィデンスネットワークとは、学習装置により学習された状態であり、
少なくとも一つの学習用走行イメージを含むトレーニングデータが取得されると、前記学習装置が、（ｉ）前記トレーニングデータから、（ｉ−１）学習用第１＿１走行イメージないし学習用第１＿ｍ走行イメージを含む第１トレーニングデータと（ｉ−２）学習用第２＿１走行イメージないし学習用第２＿ｎ走行イメージを含む第２トレーニングデータとをサンプリングするプロセス、（ｉｉ）前記学習用第１＿１走行イメージないし前記学習用第１＿ｍ走行イメージの一つである学習用第１＿ｊ走行イメージを前記メインコンボリューションレイヤに入力して、前記メインコンボリューションレイヤをもって、前記学習用第１＿ｊ走行イメージに対して前記コンボリューション演算を少なくとも一度適用して少なくとも一つの第１特徴マップを生成するようにするプロセス、（ｉｉｉ）前記第１特徴マップを前記メインＲＰＮに入力して、前記メインＲＰＮをもって、前記第１特徴マップ上に位置する少なくとも一つの学習用物体に対応する少なくとも一つの第１ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するようにするプロセス、（ｉｖ）前記メインプーリングレイヤをもって、前記第１特徴マップ上で、前記第１ＲＯＩに対応する少なくとも一つの領域に対して前記プーリング演算を少なくとも一度適用して少なくとも一つの第１プーリング済み特徴マップを生成するようにするプロセス、（ｖ）前記メインＦＣレイヤをもって、前記第１プーリング済み特徴マップまたはこれに対応する少なくとも一つの第１特徴ベクトルに対して前記ＦＣ演算を少なくとも一度適用して、前記学習用第１＿ｊ走行イメージ上に位置する前記学習用物体に対応する第１物体検出情報を生成するようにするプロセス、（ｖｉ）第１ロスレイヤをもって、前記第１物体検出情報と前記学習用第１＿ｊ走行イメージの少なくとも一つの物体ＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つの第１ロスを算出するようにするプロセス、及び（ｖｉｉ）前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記メインＦＣレイヤ及び前記メインコンボリューションレイヤのうちの少なくとも一つのパラメータをアップデートするプロセスを、前記学習用第１＿１走行イメージないし前記学習用第１＿ｍ走行イメージそれぞれに対して遂行することにより、前記メイン物体検出器を学習し、
前記学習装置が、（ｉ）前記学習用第１＿１走行イメージないし前記学習用第１＿ｍ走行イメージそれぞれに対応する前記第１物体検出情報と前記物体ＧＴとを参照して前記第１ＲＯＩそれぞれの少なくとも一つの第１コンフィデンスそれぞれを取得するプロセス、（ｉｉ）前記学習用第２＿１走行イメージないし前記学習用第２＿ｎ走行イメージの一つである学習用第２＿ｋ走行イメージを前記メインコンボリューションレイヤに入力して、前記メインコンボリューションレイヤをもって、前記学習用第２＿ｋ走行イメージに対して前記コンボリューション演算を少なくとも一度適用して少なくとも一つの第２特徴マップを生成するようにするプロセス、（ｉｉｉ）前記第２特徴マップを前記メインＲＰＮに入力して、前記メインＲＰＮをもって、前記第２特徴マップ上に位置する前記学習用物体に対応する少なくとも一つの第２ＲＯＩを生成するようにするプロセス、（ｉｖ）前記メインプーリングレイヤをもって、前記第２特徴マップ上で、前記第２ＲＯＩに対応する少なくとも一つの領域に対して前記プーリング演算を少なくとも一度適用して少なくとも一つの第２プーリング済み特徴マップを生成するようにするプロセス、（ｖ）前記第２プーリング済み特徴マップを前記メインコンフィデンスネットワークに入力して、前記メインコンフィデンスネットワークをもって、ディープラーニングによって前記第２プーリング済み特徴マップに対応する少なくとも一つの第２コンフィデンスを生成するようにするプロセス、（ｖｉ）第２ロスレイヤをもって、前記第２コンフィデンスと前記第１コンフィデンスとを参照して少なくとも一つの第２ロスを算出するようにするプロセス、及び（ｖｉｉ）前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスを最小化するように前記メインコンフィデンスネットワークの少なくとも一つのパラメータをアップデートするプロセスを、前記学習用第２＿１走行イメージないし前記学習用第２＿ｎ走行イメージに対して遂行することにより、前記メインコンフィデンスネットワークを学習した状態であり、前記ｍは、１以上の整数であり、前記ｎは、１以上の整数であることを特徴とする請求項７に記載の装置。
少なくとも一つの学習用走行イメージを含むトレーニングデータが取得されると、前記学習装置が、（ｉ）前記トレーニングデータから、（ｉ−１）学習用第１＿１走行イメージないし学習用第１＿ｍ走行イメージを含む第１トレーニングデータと（ｉ−２）学習用第２＿１走行イメージないし学習用第２＿ｎ走行イメージを含む第２トレーニングデータとをサンプリングするプロセス、（ｉｉ）前記学習用第１＿１走行イメージないし前記学習用第１＿ｍ走行イメージの一つである学習用第１＿ｊ走行イメージを前記メインコンボリューションレイヤに入力して、前記メインコンボリューションレイヤをもって、前記学習用第１＿ｊ走行イメージに対して前記コンボリューション演算を少なくとも一度適用して少なくとも一つの第１特徴マップを生成するようにするプロセス、（ｉｉｉ）前記第１特徴マップを前記メインＲＰＮに入力して、前記メインＲＰＮをもって、前記第１特徴マップ上に位置する少なくとも一つの学習用物体に対応する少なくとも一つの第１ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するようにするプロセス、（ｉｖ）前記メインプーリングレイヤをもって、前記第１特徴マップ上で、前記第１ＲＯＩに対応する少なくとも一つの領域に対して前記プーリング演算を少なくとも一度適用して少なくとも一つの第１プーリング済み特徴マップを生成するようにするプロセス、（ｖ）前記メインＦＣレイヤをもって、前記第１プーリング済み特徴マップまたはこれに対応する少なくとも一つの第１特徴ベクトルに対して前記ＦＣ演算を少なくとも一度適用して、前記学習用第１＿ｊ走行イメージ上に位置する前記学習用物体に対応する第１物体検出情報を生成するようにするプロセス、（ｖｉ）第１ロスレイヤをもって、前記第１物体検出情報と前記学習用第１＿ｊ走行イメージの少なくとも一つの物体ＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つの第１ロスを算出するようにするプロセス、及び（ｖｉｉ）前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記メインＦＣレイヤ及び前記メインコンボリューションレイヤのうちの少なくとも一つのパラメータをアップデートするプロセスを、前記学習用第１＿１走行イメージないし前記学習用第１＿ｍ走行イメージそれぞれに対して遂行することにより、前記メイン物体検出器を学習し、
前記学習装置が、（ｉ）前記学習用第１＿１走行イメージないし前記学習用第１＿ｍ走行イメージそれぞれに対応する前記第１物体検出情報と前記物体ＧＴとを参照して前記第１ＲＯＩそれぞれの少なくとも一つの第１コンフィデンスそれぞれを取得するプロセス、（ｉｉ）前記学習用第２＿１走行イメージないし前記学習用第２＿ｎ走行イメージの一つである学習用第２＿ｋ走行イメージを前記メインコンボリューションレイヤに入力して、前記メインコンボリューションレイヤをもって、前記学習用第２＿ｋ走行イメージに対して前記コンボリューション演算を少なくとも一度適用して少なくとも一つの第２特徴マップを生成するようにするプロセス、（ｉｉｉ）前記第２特徴マップを前記メインＲＰＮに入力して、前記メインＲＰＮをもって、前記第２特徴マップ上に位置する前記学習用物体に対応する少なくとも一つの第２ＲＯＩを生成するようにするプロセス、（ｉｖ）前記メインプーリングレイヤをもって、前記第２特徴マップ上で、前記第２ＲＯＩに対応する少なくとも一つの領域に対して前記プーリング演算を少なくとも一度適用して少なくとも一つの第２プーリング済み特徴マップを生成するようにするプロセス、（ｖ）前記第２プーリング済み特徴マップを前記メインコンフィデンスネットワークに入力して、前記メインコンフィデンスネットワークをもって、ディープラーニングによって前記第２プーリング済み特徴マップに対応する少なくとも一つの第２コンフィデンスを生成するようにするプロセス、（ｖｉ）第２ロスレイヤをもって、前記第２コンフィデンスと前記第１コンフィデンスとを参照して少なくとも一つの第２ロスを算出するようにするプロセス、及び（ｖｉｉ）前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスを最小化するように前記メインコンフィデンスネットワークの少なくとも一つのパラメータをアップデートするプロセスを、前記学習用第２＿１走行イメージないし前記学習用第２＿ｎ走行イメージに対して遂行することにより、前記メインコンフィデンスネットワークを学習した状態であり、前記ｍは、１以上の整数であり、前記ｎは、１以上の整数であることを特徴とする請求項７に記載の装置。
【請求項9】
前記学習装置は、前記第１物体検出情報とこれに対応する物体ＧＴとを参照して前記第１ＲＯＩそれぞれの前記第１コンフィデンスを取得し、
前記第１ＲＯＩそれぞれに前記学習用物体それぞれがない場合、前記第１コンフィデンスそれぞれは「０」であり、前記第１ＲＯＩそれぞれに前記学習用物体それぞれがある場合、前記第１コンフィデンスそれぞれは「１−ボックス＿エラー×クラス＿エラー（１−Ｂｏｘ＿Ｅｒｒｏｒ×Ｃｌａｓｓ＿Ｅｒｒｏｒ）」であり、
前記それぞれのボックス＿エラーは、前記第１物体検出情報に含まれた各バウンディングボックスのそれぞれのエラーであり、前記それぞれのクラス＿エラーは、前記第１物体検出情報に含まれたクラス情報のそれぞれのエラーであることを特徴とする請求項８に記載の装置。
前記第１ＲＯＩそれぞれに前記学習用物体それぞれがない場合、前記第１コンフィデンスそれぞれは「０」であり、前記第１ＲＯＩそれぞれに前記学習用物体それぞれがある場合、前記第１コンフィデンスそれぞれは「１−ボックス＿エラー×クラス＿エラー（１−Ｂｏｘ＿Ｅｒｒｏｒ×Ｃｌａｓｓ＿Ｅｒｒｏｒ）」であり、
前記それぞれのボックス＿エラーは、前記第１物体検出情報に含まれた各バウンディングボックスのそれぞれのエラーであり、前記それぞれのクラス＿エラーは、前記第１物体検出情報に含まれたクラス情報のそれぞれのエラーであることを特徴とする請求項８に記載の装置。
【請求項10】
（ｉ）前記それぞれのボックス＿エラーは、（ｉ−１）前記それぞれの学習用物体のそれぞれのサイズの（ｉ−２）前記バウンディングボックスそれぞれの中心ポイントのエラーの合計に対する比率であり、（ｉｉ）前記それぞれのクラス＿エラーは、前記第１物体検出情報に含まれた、前記学習用物体それぞれを分類するのに利用されるそれぞれのクラスに対するそれぞれの予測値のクラスエラーのそれぞれの合計であることを特徴とする請求項９に記載の装置。
【請求項11】
前記メインコンフィデンスと前記サブコンフィデンスとを重み付け値として利用して、前記メイン物体検出情報と前記サブ物体検出情報とを統合するにおいて、
前記プロセッサは、（ｉ）前記メインコンフィデンス及び前記サブコンフィデンスのうちの特定物体検出情報それぞれに対応する特定コンフィデンスそれぞれを重み付け値として利用して前記特定物体検出情報それぞれに含まれたクラスそれぞれに対する推定値それぞれの加重和を算出するプロセス、及び加重和されたクラスのうちの最も大きな値を有する特定クラスを前記特定物体に対応する最適クラス情報として取得するプロセス、と（ｉｉ）前記特定物体検出情報それぞれに対応する前記特定コンフィデンスそれぞれを重み付け値として利用して前記特定物体検出情報それぞれに含まれた特定リグレッション情報それぞれの加重和を算出するプロセス、及び加重和されたリグレッション情報を前記特定物体に対応する最適リグレッション情報として取得するプロセス、とを遂行することを特徴とする請求項７に記載の装置。
前記プロセッサは、（ｉ）前記メインコンフィデンス及び前記サブコンフィデンスのうちの特定物体検出情報それぞれに対応する特定コンフィデンスそれぞれを重み付け値として利用して前記特定物体検出情報それぞれに含まれたクラスそれぞれに対する推定値それぞれの加重和を算出するプロセス、及び加重和されたクラスのうちの最も大きな値を有する特定クラスを前記特定物体に対応する最適クラス情報として取得するプロセス、と（ｉｉ）前記特定物体検出情報それぞれに対応する前記特定コンフィデンスそれぞれを重み付け値として利用して前記特定物体検出情報それぞれに含まれた特定リグレッション情報それぞれの加重和を算出するプロセス、及び加重和されたリグレッション情報を前記特定物体に対応する最適リグレッション情報として取得するプロセス、とを遂行することを特徴とする請求項７に記載の装置。
【請求項12】
前記メインコンフィデンスと前記サブコンフィデンスとを重み付け値として利用して、前記メイン物体検出情報と前記サブ物体検出情報とを統合するにおいて、
前記第１物体検出情報のうちの第１重畳物体検出情報と、前記第２物体検出情報のうちの第２重畳物体検出情報とが互いに重なって存在すると判断される場合、前記プロセッサは、（ｉ）前記第１重畳物体検出情報に対応する第１バウンディングボックスと、前記第２重畳物体検出情報に対応する第２バウンディングボックスとのＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｏｖｅｒ Ｕｎｉｏｎ）が予め設定された閾値以上であれば、前記第１重畳物体検出情報と前記第２重畳物体検出情報とが前記特定物体に対応するものと判断するプロセス、及び（ｉｉ）前記ＩＯＵが前記予め設定された閾値未満であれば、前記第１重畳物体検出情報と前記第２重畳物体検出情報とがそれぞれ異なる物体に対応するものと判断するプロセスを遂行することを特徴とする請求項１１に記載の装置。
前記第１物体検出情報のうちの第１重畳物体検出情報と、前記第２物体検出情報のうちの第２重畳物体検出情報とが互いに重なって存在すると判断される場合、前記プロセッサは、（ｉ）前記第１重畳物体検出情報に対応する第１バウンディングボックスと、前記第２重畳物体検出情報に対応する第２バウンディングボックスとのＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｏｖｅｒ Ｕｎｉｏｎ）が予め設定された閾値以上であれば、前記第１重畳物体検出情報と前記第２重畳物体検出情報とが前記特定物体に対応するものと判断するプロセス、及び（ｉｉ）前記ＩＯＵが前記予め設定された閾値未満であれば、前記第１重畳物体検出情報と前記第２重畳物体検出情報とがそれぞれ異なる物体に対応するものと判断するプロセスを遂行することを特徴とする請求項１１に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、協調走行（Ｃｏｏｐｅｒａｔｉｖｅ Ｄｒｉｖｉｎｇ）を遂行する各車両から取得された各走行イメージ（Ｄｒｉｖｉｎｇ Ｉｍａｇｅ）を統合する方法及びこれを利用した走行イメージ統合装置に関し、より詳細には、各車両から取得された各走行イメージから検出された物体検出情報を融合（Ｆｕｓｉｏｎ）して、各走行イメージ内の物体をロバスト性（Ｒｏｂｕｓｔｎｅｓｓ）をもって認識できるように、前記各車両から取得された各走行イメージの統合方法及びこれを利用した走行イメージ統合装置に関する。
【背景技術】
【0002】
ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）は、多数のプロセスレイヤ（Ｐｒｏｃｅｓｓｉｎｇ Ｌａｙｅｒ）を有するディープグラフ（Ｄｅｅｐ Ｇｒａｐｈ）を利用してデータから高いレベルで抽象化（Ａｂｓｔｒａｃｔｉｏｎ）モデリングするアルゴリズムセットに基づいた機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）及び人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）分野のひとつである。一般的なディープラーニングアーキテクチャ（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｃｈｉｔｅｃｔｕｒｅ）は、多くのニューラルレイヤと数百万個のパラメータとを含むことができる。これらのパラメータは、ＲｅＬＵ、ドロップアウト（Ｄｒｏｐｏｕｔ）、データ増強（Ｄａｔａ Ａｕｇｍｅｎｔａｔｉｏｎ）及びＳＧＤ（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）のように、多くのレイヤと一緒に作動できる新しい学習手法により、高速ＧＰＵが装着されたコンピュータ上で大容量データを利用して学習され得る。
【0003】
従来のディープラーニングアーキテクチャのうち、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）は最も広く利用されているディープラーニングアーキテクチャのひとつである。ＣＮＮの概念は２０年以上知られてきたが、ＣＮＮの本当の価値は、最近のディープラーニング理論が発達してから認識されるようになった。現在、ＣＮＮは、顔認識、イメージ分類、イメージキャプション生成、物体検出、視覚的質問応答及び自動走行車両のような、複数の人工知能及び機械学習応用プログラムにおいて大きな成功を収めた。
【0004】
特に、自律走行車両における物体検出技術は、道路上の他の車両、歩行者、車線、信号機等の検出に広く利用されるものであり、場合によっては自律走行のための様々な物体の検出にも利用されている。
【0005】
また、物体検出技術は、自律走行車両以外にも軍事、監視など、他の分野でも利用されている。
【0006】
しかし、従来の物体検出技術は、適用された物体検出器の性能に応じて物体に対する認識結果が異なり、認識された結果が最適の状態であるかどうかも確認することが難しいという問題点がある。
【0007】
また、従来の物体検出技術は、周辺環境に応じて性能が変わるという問題点もある。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、前述した問題点を全て解決することを目的とする。
【0009】
本発明は、物体検出器の認識結果を向上させることを他の目的とする。
【0010】
本発明は、周辺環境に関わらず、正確に物体を検出させることをもう一つの目的とする。
【課題を解決するための手段】
【0011】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記の通りである。
【0012】
本発明の一態様によれば、協調走行（Ｃｏｏｐｅｒａｔｉｖｅ Ｄｒｉｖｉｎｇ）を遂行する少なくとも一つの車両から取得された各走行イメージを統合（Ｉｎｔｅｇｒａｔｅ）する方法において、（ａ）前記少なくとも一つの車両のうち少なくとも一つのメイン（ｍａｉｎ）車両に設置されたメイン走行イメージ統合装置（Ｄｒｉｖｉｎｇ Ｉｍａｇｅ Ｉｎｔｅｇｒａｔｉｎｇ Ｄｅｖｉｃｅ）が、（ｉ）前記メイン車両に設置された少なくとも一つのメインカメラから取得される少なくとも一つのメイン走行イメージをメイン物体検出器（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｏｒ）に入力して、前記メイン物体検出器をもって、 （ｉ−１）メインコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）によって前記メイン走行イメージ対してコンボリューション演算を少なくとも一度適用して少なくとも一つのメイン特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにし、（ｉ−２）メインＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）によって前記メイン特徴マップ上で少なくとも一つのメイン物体が位置すると予想される、少なくとも一つの領域に対応する少なくとも一つのメインＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するようにし、（ｉ−３）メインプーリングレイヤ（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）によって前記メイン特徴マップ上で前記メインＲＯＩに対応する少なくとも一つの領域に対して、プーリング演算を少なくとも一度適用して、少なくとも一つのメインプーリング済み特徴マップ（Ｐｏｏｌｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにし、（ｉ−４）メインＦＣレイヤ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）によって前記メインプーリング済み特徴マップに対してＦＣ演算を少なくとも一度適用して、前記メイン走行イメージ上に位置する前記メイン物体に対するメイン物体検出情報を生成するようにするプロセスを遂行する段階；（ｂ）前記メイン走行イメージ統合装置が、前記メインプーリング済み特徴マップをメインコンフィデンスネットワーク（Ｃｏｎｆｉｄｅｎｃｅ Ｎｅｔｗｏｒｋ）に入力して、前記メインコンフィデンスネットワークをもって、前記メインプーリング済み特徴マップそれぞれに対応する前記メインＲＯＩそれぞれの少なくとも一つのメインコンフィデンスそれぞれを生成するようにするプロセスを遂行する段階；及び（ｃ）前記メイン走行イメージ統合装置が、前記協調走行中の少なくとも一つのサブ（ｓｕｂ）車両それぞれからサブ物体検出情報と少なくとも一つのサブコンフィデンスを取得するプロセス、及び前記メインコンフィデンス及び前記サブコンフィデンスを重み付け値として利用して、前記メイン物体検出情報と前記サブ物体検出情報とを統合するプロセスを遂行することにより、前記メイン走行イメージの少なくとも一つの物体検出結果を生成する段階；を含み、前記サブ物体検出情報と前記サブコンフィデンスとは、前記サブ車両それぞれに設置された少なくとも一つのサブ走行イメージ統合装置それぞれにより生成され、前記サブ走行イメージ統合装置それぞれは、（ｉ）サブ走行イメージそれぞれを、対応するサブ物体検出器それぞれに入力して、前記サブ物体検出器をもって、（ｉ−１）対応するサブコンボリューションレイヤそれぞれによって前記サブ走行イメージそれぞれに対して前記コンボリューション演算を少なくとも一度適用してサブ特徴マップそれぞれを生成するようにし、（ｉ−２）対応するサブＲＰＮそれぞれによって前記それぞれのサブ特徴マップ上に少なくとも一つのサブ物体が位置すると予想される少なくとも一つの領域に対応する少なくとも一つのサブＲＯＩを生成するようにし、（ｉ−３）対応するサブプーリングレイヤそれぞれによって前記それぞれのサブ特徴マップ上で、前記サブＲＯＩそれぞれに対応する少なくとも一つの領域に対して、前記プーリング演算を少なくとも一度適用して少なくとも一つのサブプーリング済み特徴マップそれぞれを生成するようにし、（ｉ−４）対応するサブＦＣレイヤそれぞれによって前記それぞれのサブプーリング済み特徴マップに対して前記ＦＣ演算を少なくとも一度適用して、前記それぞれのサブ走行イメージ上に位置する前記サブ物体に対する前記サブ物体検出情報を生成するようにし、（ｉ−５）前記サブプーリング済み特徴マップそれぞれをサブコンフィデンスネットワークそれぞれに入力して、前記サブコンフィデンスネットワークそれぞれをもって、前記サブプーリング済み特徴マップそれぞれに対応する前記サブＲＯＩの前記サブコンフィデンスを生成するようにすることを特徴とする。
【0013】
一実施例として、前記メイン物体検出器と前記メインコンフィデンスネットワークとは、学習装置により学習された状態であり、少なくとも一つの学習用走行イメージを含むトレーニングデータが取得されると、前記学習装置が、（ｉ）前記トレーニングデータから、（ｉ−１）学習用第１＿１走行イメージないし学習用第１＿ｍ走行イメージを含む第１トレーニングデータと（ｉ−２）学習用第２＿１走行イメージないし学習用第２＿ｎ走行イメージを含む第２トレーニングデータとをサンプリングするプロセス、（ｉｉ）前記学習用第１＿１走行イメージないし前記学習用第１＿ｍ走行イメージの一つである学習用第１＿ｊ走行イメージを前記メインコンボリューションレイヤに入力して、前記メインコンボリューションレイヤをもって、前記学習用第１＿ｊ走行イメージに対して前記コンボリューション演算を少なくとも一度適用して少なくとも一つの第１特徴マップを生成するようにするプロセス、（ｉｉｉ）前記第１特徴マップを前記メインＲＰＮに入力して、前記メインＲＰＮをもって、前記第１特徴マップ上に位置する少なくとも一つの学習用物体に対応する少なくとも一つの第１ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するようにするプロセス、（ｉｖ）前記メインプーリングレイヤをもって、前記第１特徴マップ上で、前記第１ＲＯＩに対応する少なくとも一つの領域に対して前記プーリング演算を少なくとも一度適用して少なくとも一つの第１プーリング済み特徴マップを生成するようにするプロセス、（ｖ）前記メインＦＣレイヤをもって、前記第１プーリング済み特徴マップまたはこれに対応する少なくとも一つの第１特徴ベクトル（Ｆｅａｔｕｒｅ Ｖｅｃｔｏｒ）に対して前記ＦＣ演算を少なくとも一度適用して、前記学習用第１＿ｊ走行イメージ上に位置する前記学習用物体に対応する第１物体検出情報を生成するようにするプロセス、（ｖｉ）第１ロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記第１物体検出情報と前記学習用第１＿ｊ走行イメージの少なくとも一つの物体ＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つの第１ロスを算出するようにするプロセス、及び（ｖｉｉ）前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記メインＦＣレイヤ及び前記メインコンボリューションレイヤのうちの少なくとも一つのパラメータをアップデートするプロセスを、前記学習用第１＿１走行イメージないし前記学習用第１＿ｍ走行イメージそれぞれに対して遂行することにより、前記メイン物体検出器を学習し、前記学習装置が、（ｉ）前記学習用第１＿１走行イメージないし前記学習用第１＿ｍ走行イメージそれぞれに対応する前記第１物体検出情報と前記物体ＧＴとを参照して前記第１ＲＯＩそれぞれの少なくとも一つの第１コンフィデンスそれぞれを取得するプロセス、（ｉｉ）前記学習用第２＿１走行イメージないし前記学習用第２＿ｎ走行イメージの一つである学習用第２＿ｋ走行イメージを前記メインコンボリューションレイヤに入力して、前記メインコンボリューションレイヤをもって、前記学習用第２＿ｋ走行イメージに対して前記コンボリューション演算を少なくとも一度適用して少なくとも一つの第２特徴マップを生成するようにするプロセス、（ｉｉｉ）前記第２特徴マップを前記メインＲＰＮに入力して、前記メインＲＰＮをもって、前記第２特徴マップ上に位置する前記学習用物体に対応する少なくとも一つの第２ＲＯＩを生成するようにするプロセス、（ｉｖ）前記メインプーリングレイヤをもって、前記第２特徴マップ上で、前記第２ＲＯＩに対応する少なくとも一つの領域に対して前記プーリング演算を少なくとも一度適用して少なくとも一つの第２プーリング済み特徴マップを生成するようにするプロセス、（ｖ）前記第２プーリング済み特徴マップを前記メインコンフィデンスネットワークに入力して、前記メインコンフィデンスネットワークをもって、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）によって前記第２プーリング済み特徴マップに対応する少なくとも一つの第２コンフィデンスを生成するようにするプロセス、（ｖｉ）第２ロスレイヤをもって、前記第２コンフィデンスと前記第１コンフィデンスとを参照して少なくとも一つの第２ロスを算出するようにするプロセス、及び（ｖｉｉ）前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスを最小化するように前記メインコンフィデンスネットワークの少なくとも一つのパラメータをアップデートするプロセスを、前記学習用第２＿１走行イメージないし前記学習用第２＿ｎ走行イメージに対して遂行することにより、前記メインコンフィデンスネットワークを学習した状態であり、前記ｍは、１以上の整数（ｉｎｔｅｇｅｒ）であり、前記ｎは、１以上の整数であることを特徴とする。
【0014】
一実施例として、前記学習装置は、前記第１物体検出情報とこれに対応する物体ＧＴとを参照して前記第１ＲＯＩそれぞれの前記第１コンフィデンスを取得し、前記第１ＲＯＩそれぞれに前記学習用物体それぞれがない場合、前記第１コンフィデンスそれぞれは「０」であり、前記第１ＲＯＩそれぞれに前記学習用物体それぞれがある場合、前記第１コンフィデンスそれぞれは「１−ボックス＿エラー×クラス＿エラー（１−Ｂｏｘ＿Ｅｒｒｏｒ×Ｃｌａｓｓ＿Ｅｒｒｏｒ）」であり、前記それぞれのボックス＿エラーは、前記第１物体検出情報に含まれた各バウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）のそれぞれのエラーであり、前記それぞれのクラス＿エラーは、前記第１物体検出情報に含まれたクラス情報のそれぞれのエラーであることを特徴とする。
【0015】
一実施例として、（ｉ）前記それぞれのボックス＿エラーは、（ｉ−１）前記それぞれの学習用物体のそれぞれのサイズの（ｉ−２）前記バウンディングボックスそれぞれの中心ポイントのエラーの合計に対する比率であり、（ｉｉ）前記それぞれのクラス＿エラーは、前記第１物体検出情報に含まれた、前記学習用物体それぞれを分類するのに利用されるそれぞれのクラスに対するそれぞれの予測値のクラスエラーのそれぞれの合計であることを特徴とする。
【0016】
一実施例として、前記メインコンフィデンスと前記サブコンフィデンスとを重み付け値として利用して、前記メイン物体検出情報と前記サブ物体検出情報とを統合するにおいて、前記メイン走行イメージ統合装置は、（ｉ）前記メインコンフィデンス及び前記サブコンフィデンスのうちの特定物体検出情報それぞれに対応する特定コンフィデンスそれぞれを重み付け値として利用して前記特定物体検出情報それぞれに含まれたクラスそれぞれに対する推定値それぞれの加重和（Ｗｅｉｇｈｔｅｄ Ｓｕｍ）を算出するプロセス、及び加重和されたクラスのうちの最も大きな値を有する特定クラスを前記特定物体に対応する最適クラス情報（Ｏｐｔｉｍａｌ Ｃｌａｓｓ Ｉｎｆｏｒｍａｔｉｏｎ）として取得するプロセス、と（ｉｉ）前記特定物体検出情報それぞれに対応する前記特定コンフィデンスそれぞれを重み付け値として利用して前記特定物体検出情報それぞれに含まれた特定リグレッション情報それぞれの加重和を算出するプロセス、及び加重和されたリグレッション情報を前記特定物体に対応する最適リグレッション情報として取得するプロセス、とを遂行することを特徴とする。
【0017】
一実施例として、前記メインコンフィデンスと前記サブコンフィデンスとを重み付け値として利用して、前記メイン物体検出情報と前記サブ物体検出情報とを統合するにおいて、前記第１物体検出情報のうちの第１重畳物体検出情報（Ｏｖｅｒｌａｐｐｉｎｇ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ）と、前記第２物体検出情報のうちの第２重畳物体検出情報とが互いに重なって存在すると判断される場合、前記メイン走行イメージ統合装置は、（ｉ）前記第１重畳物体検出情報に対応する第１バウンディングボックスと、前記第２重畳物体検出情報に対応する第２バウンディングボックスとのＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｏｖｅｒ Ｕｎｉｏｎ）が予め設定された閾値以上であれば、前記第１重畳物体検出情報と前記第２重畳物体検出情報とが前記特定物体に対応するものと判断するプロセス、及び（ｉｉ）前記ＩＯＵが前記予め設定された閾値未満であれば、前記第１重畳物体検出情報と前記第２重畳物体検出情報とがそれぞれ異なる物体に対応するものと判断するプロセスを遂行することを特徴とする。
【0018】
本発明の他の態様によれば、協調走行（Ｃｏｏｐｅｒａｔｉｖｅ Ｄｒｉｖｉｎｇ）を遂行する少なくとも一つの車両のうち少なくとも一つのメイン（ｍａｉｎ）車両に設置された、前記車両から取得された各走行イメージを統合（Ｉｎｔｅｇｒａｔｅ）するメイン走行イメージ統合装置（Ｄｒｉｖｉｎｇ Ｉｍａｇｅ Ｉｎｔｅｇｒａｔｉｎｇ Ｄｅｖｉｃｅ）において、インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）前記メイン車両に設置された少なくとも一つのメインカメラから取得される少なくとも一つのメイン走行イメージをメイン物体検出器（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｏｒ）に入力して、前記メイン物体検出器をもって、（Ｉ−１）メインコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）によって前記メイン走行イメージ対してコンボリューション演算を少なくとも一度適用して少なくとも一つのメイン特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにし、（Ｉ−２）メインＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）によって前記メイン特徴マップ上で少なくとも一つのメイン物体が位置すると予想される、少なくとも一つの領域に対応する少なくとも一つのメインＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するようにし、（Ｉ−３）メインプーリングレイヤ（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）によって前記メイン特徴マップ上で前記メインＲＯＩに対応する少なくとも一つの領域に対して、プーリング演算を少なくとも一度適用して、少なくとも一つのメインプーリング済み特徴マップ（Ｐｏｏｌｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにし、（Ｉ−４）メインＦＣレイヤ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）によって前記メインプーリング済み特徴マップに対してＦＣ演算を少なくとも一度適用して、前記メイン走行イメージ上に位置する前記メイン物体に対するメイン物体検出情報を生成するようにするプロセス、（ＩＩ）前記メインプーリング済み特徴マップをメインコンフィデンスネットワーク（Ｃｏｎｆｉｄｅｎｃｅ Ｎｅｔｗｏｒｋ）に入力して、前記メインコンフィデンスネットワークをもって、前記メインプーリング済み特徴マップそれぞれに対応する前記メインＲＯＩそれぞれの少なくとも一つのメインコンフィデンスそれぞれを生成するようにするプロセス、及び（ＩＩＩ）前記協調走行中の少なくとも一つのサブ（ｓｕｂ）車両それぞれからサブ物体検出情報と少なくとも一つのサブコンフィデンスを取得するプロセス、及び前記メインコンフィデンス及び前記サブコンフィデンスを重み付け値として利用して、前記メイン物体検出情報と前記サブ物体検出情報とを統合するプロセスを遂行することにより、前記メイン走行イメージの少なくとも一つの物体検出結果を生成するプロセスを遂行するようにするか、他の装置をもって遂行するようにするために前記インストラクションを実行するように構成された少なくとも一つのプロセッサを含み、前記サブ物体検出情報と前記サブコンフィデンスとは、前記サブ車両それぞれに設置された少なくとも一つのサブ走行イメージ統合装置それぞれにより生成され、前記サブ走行イメージ統合装置それぞれは、（ｉ）サブ走行イメージそれぞれを、対応するサブ物体検出器それぞれに入力して、前記サブ物体検出器それぞれをもって、（ｉ−１）対応するサブコンボリューションレイヤそれぞれによって前記サブ走行イメージそれぞれに対して前記コンボリューション演算を少なくとも一度適用してサブ特徴マップそれぞれを生成するようにし、（ｉ−２）対応するサブＲＰＮそれぞれによって前記それぞれのサブ特徴マップ上に少なくとも一つのサブ物体が位置すると予想される少なくとも一つの領域に対応する少なくとも一つのサブＲＯＩを生成するようにし、（ｉ−３）対応するサブプーリングレイヤそれぞれによって前記それぞれのサブ特徴マップ上で、前記サブＲＯＩそれぞれに対応する少なくとも一つの領域に対して、前記プーリング演算を少なくとも一度適用して少なくとも一つのサブプーリング済み特徴マップそれぞれを生成するようにし、（ｉ−４）対応するサブＦＣレイヤそれぞれによって前記それぞれのサブプーリング済み特徴マップに対して前記ＦＣ演算を少なくとも一度適用して、前記それぞれのサブ走行イメージ上に位置する前記サブ物体に対する前記サブ物体検出情報を生成するようにし、（ｉ−５）前記サブプーリング済み特徴マップそれぞれをサブコンフィデンスネットワークそれぞれに入力して、前記サブコンフィデンスネットワークそれぞれをもって、前記サブプーリング済み特徴マップそれぞれに対応する前記サブＲＯＩの前記サブコンフィデンスを生成するようにすることを特徴とする。
【0019】
一実施例として、前記メイン物体検出器と前記メインコンフィデンスネットワークとは、学習装置により学習された状態であり、少なくとも一つの学習用走行イメージを含むトレーニングデータが取得されると、前記学習装置が、（ｉ）前記トレーニングデータから、（ｉ−１）学習用第１＿１走行イメージないし学習用第１＿ｍ走行イメージを含む第１トレーニングデータと（ｉ−２）学習用第２＿１走行イメージないし学習用第２＿ｎ走行イメージを含む第２トレーニングデータとをサンプリングするプロセス、（ｉｉ）前記学習用第１＿１走行イメージないし前記学習用第１＿ｍ走行イメージの一つである学習用第１＿ｊ走行イメージを前記メインコンボリューションレイヤに入力して、前記メインコンボリューションレイヤをもって、前記学習用第１＿ｊ走行イメージに対して前記コンボリューション演算を少なくとも一度適用して少なくとも一つの第１特徴マップを生成するようにするプロセス、（ｉｉｉ）前記第１特徴マップを前記メインＲＰＮに入力して、前記メインＲＰＮをもって、前記第１特徴マップ上に位置する少なくとも一つの学習用物体に対応する少なくとも一つの第１ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するようにするプロセス、（ｉｖ）前記メインプーリングレイヤをもって、前記第１特徴マップ上で、前記第１ＲＯＩに対応する少なくとも一つの領域に対して前記プーリング演算を少なくとも一度適用して少なくとも一つの第１プーリング済み特徴マップを生成するようにするプロセス、（ｖ）前記メインＦＣレイヤをもって、前記第１プーリング済み特徴マップまたはこれに対応する少なくとも一つの第１特徴ベクトル（Ｆｅａｔｕｒｅ Ｖｅｃｔｏｒ）に対して前記ＦＣ演算を少なくとも一度適用して、前記学習用第１＿ｊ走行イメージ上に位置する前記学習用物体に対応する第１物体検出情報を生成するようにするプロセス、（ｖｉ）第１ロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記第１物体検出情報と前記学習用第１＿ｊ走行イメージの少なくとも一つの物体ＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つの第１ロスを算出するようにするプロセス、及び（ｖｉｉ）前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記メインＦＣレイヤ及び前記メインコンボリューションレイヤのうちの少なくとも一つのパラメータをアップデートするプロセスを、前記学習用第１＿１走行イメージないし前記学習用第１＿ｍ走行イメージそれぞれに対して遂行することにより、前記メイン物体検出器を学習し、前記学習装置が、（ｉ）前記学習用第１＿１走行イメージないし前記学習用第１＿ｍ走行イメージそれぞれに対応する前記第１物体検出情報と前記物体ＧＴとを参照して前記第１ＲＯＩそれぞれの少なくとも一つの第１コンフィデンスそれぞれを取得するプロセス、（ｉｉ）前記学習用第２＿１走行イメージないし前記学習用第２＿ｎ走行イメージの一つである学習用第２＿ｋ走行イメージを前記メインコンボリューションレイヤに入力して、前記メインコンボリューションレイヤをもって、前記学習用第２＿ｋ走行イメージに対して前記コンボリューション演算を少なくとも一度適用して少なくとも一つの第２特徴マップを生成するようにするプロセス、（ｉｉｉ）前記第２特徴マップを前記メインＲＰＮに入力して、前記メインＲＰＮをもって、前記第２特徴マップ上に位置する前記学習用物体に対応する少なくとも一つの第２ＲＯＩを生成するようにするプロセス、（ｉｖ）前記メインプーリングレイヤをもって、前記第２特徴マップ上で、前記第２ＲＯＩに対応する少なくとも一つの領域に対して前記プーリング演算を少なくとも一度適用して少なくとも一つの第２プーリング済み特徴マップを生成するようにするプロセス、（ｖ）前記第２プーリング済み特徴マップを前記メインコンフィデンスネットワークに入力して、前記メインコンフィデンスネットワークをもって、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）によって前記第２プーリング済み特徴マップに対応する少なくとも一つの第２コンフィデンスを生成するようにするプロセス、（ｖｉ）第２ロスレイヤをもって、前記第２コンフィデンスと前記第１コンフィデンスとを参照して少なくとも一つの第２ロスを算出するようにするプロセス、及び（ｖｉｉ）前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスを最小化するように前記メインコンフィデンスネットワークの少なくとも一つのパラメータをアップデートするプロセスを、前記学習用第２＿１走行イメージないし前記学習用第２＿ｎ走行イメージに対して遂行することにより、前記メインコンフィデンスネットワークを学習した状態であり、前記ｍは、１以上の整数（ｉｎｔｅｇｅｒ）であり、前記ｎは、１以上の整数であることを特徴とする。
【0020】
一実施例として、前記学習装置は、前記第１物体検出情報とこれに対応する物体ＧＴとを参照して前記第１ＲＯＩそれぞれの前記第１コンフィデンスを取得し、前記第１ＲＯＩそれぞれに前記学習用物体それぞれがない場合、前記第１コンフィデンスそれぞれは「０」であり、前記第１ＲＯＩそれぞれに前記学習用物体それぞれがある場合、前記第１コンフィデンスそれぞれは「１−ボックス＿エラー×クラス＿エラー（１−Ｂｏｘ＿Ｅｒｒｏｒ×Ｃｌａｓｓ＿Ｅｒｒｏｒ）」であり、前記それぞれのボックス＿エラーは、前記第１物体検出情報に含まれた各バウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）のそれぞれのエラーであり、前記それぞれのクラス＿エラーは、前記第１物体検出情報に含まれたクラス情報のそれぞれのエラーであることを特徴とする。
【0021】
一実施例として、（ｉ）前記それぞれのボックス＿エラーは、（ｉ−１）前記それぞれの学習用物体のそれぞれのサイズの（ｉ−２）前記バウンディングボックスそれぞれの中心ポイントのエラーの合計に対する比率であり、（ｉｉ）前記それぞれのクラス＿エラーは、前記第１物体検出情報に含まれた、前記学習用物体それぞれを分類するのに利用されるそれぞれのクラスに対するそれぞれの予測値のクラスエラーのそれぞれの合計であることを特徴とする。
【0022】
一実施例として、前記メインコンフィデンスと前記サブコンフィデンスとを重み付け値として利用して、前記メイン物体検出情報と前記サブ物体検出情報とを統合するにおいて、前記プロセッサは、（ｉ）前記メインコンフィデンス及び前記サブコンフィデンスのうちの特定物体検出情報それぞれに対応する特定コンフィデンスそれぞれを重み付け値として利用して前記特定物体検出情報それぞれに含まれたクラスそれぞれに対する推定値それぞれの加重和（Ｗｅｉｇｈｔｅｄ Ｓｕｍ）を算出するプロセス、及び加重和されたクラスのうちの最も大きな値を有する特定クラスを前記特定物体に対応する最適クラス情報（Ｏｐｔｉｍａｌ Ｃｌａｓｓ Ｉｎｆｏｒｍａｔｉｏｎ）として取得するプロセス、と（ｉｉ）前記特定物体検出情報それぞれに対応する前記特定コンフィデンスそれぞれを重み付け値として利用して前記特定物体検出情報それぞれに含まれた特定リグレッション情報それぞれの加重和を算出するプロセス、及び加重和されたリグレッション情報を前記特定物体に対応する最適リグレッション情報として取得するプロセス、とを遂行することを特徴とする。
【0023】
一実施例として、前記メインコンフィデンスと前記サブコンフィデンスとを重み付け値として利用して、前記メイン物体検出情報と前記サブ物体検出情報とを統合するにおいて、前記第１物体検出情報のうちの第１重畳物体検出情報（Ｏｖｅｒｌａｐｐｉｎｇ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ）と、前記第２物体検出情報のうちの第２重畳物体検出情報とが互いに重なって存在すると判断される場合、前記プロセッサは、（ｉ）前記第１重畳物体検出情報に対応する第１バウンディングボックスと、前記第２重畳物体検出情報に対応する第２バウンディングボックスとのＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｏｖｅｒ Ｕｎｉｏｎ）が予め設定された閾値以上であれば、前記第１重畳物体検出情報と前記第２重畳物体検出情報とが前記特定物体に対応するものと判断するプロセス、及び（ｉｉ）前記ＩＯＵが前記予め設定された閾値未満であれば、前記第１重畳物体検出情報と前記第２重畳物体検出情報とがそれぞれ異なる物体に対応するものと判断するプロセスを遂行することを特徴とする。
【0024】
この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取可能な記録媒体がさらに提供される。
【発明の効果】
【0025】
本発明は、多数のカメラから取得された認識結果を統合することにより、物体検出器の認識成果を向上させることができる効果がある。
【0026】
本発明は、多数のカメラから取得された認識結果を統合することにより、周辺環境に関係なく正確に物体を検出することができる他の効果がある。
【0027】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
【図面の簡単な説明】
【0028】
【発明を実施するための形態】
【0029】
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。
【0030】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【0031】
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は、本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似した参照符号は、いくつかの側面にかけて同一であるか類似した機能を指称する。
【0032】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、車両、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、車両、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【0033】
ここに提供される本発明の題名や要約は、単に便宜のために提供されるもので、これら実施例の範囲または意味を制限したり解釈したりしない。
【0034】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明する。
【0035】
以下の説明では、車両を例に挙げて説明するが、本発明がこれに限られるものではなく、軍事、監視分野などのように少なくとも一つのカメラが少なくとも一つの所定領域の少なくとも一つの物体を検出する分野においてはどこにでも適用され得る。
【0036】
図１は、本発明の一実施例に係る協調走行（Ｃｏｏｐｅｒａｔｉｖｅ Ｄｒｉｖｉｎｇ）を遂行する各車両から取得された各走行イメージを統合する走行イメージ統合装置を概略的に示した図面である。図１を参照すれば、走行イメージ統合装置１００は、協調走行中の車両から取得された各走行イメージを統合するためのインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納するメモリ１１０と、メモリ１１０に格納されたインストラクションに対応して協調走行中の各車両から取得された各走行イメージを統合する動作を遂行するプロセッサ１２０とを含むことができる。
【0037】
具体的に、走行イメージ統合装置１００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他の従来のコンピューティング装置の各構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージエリアネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と、少なくとも一つのコンピュータソフトウェア（つまり、コンピューティング装置をもって、特定の方式で機能させる各インストラクション）との組み合わせを利用して希望するシステム性能を達成するものであり得る。
【0038】
また、コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
【0039】
しかし、コンピューティング装置が本発明を実施するためのプロセッサ、メモリ、ミディアム、または他のコンピューティング構成要素の何らかの組み合わせを含む統合装置（Ｉｎｔｅｇｒａｔｅｄ Ｄｅｖｉｃｅ）を排除するものではない。
【0040】
このように構成された本発明の一実施例に係る走行イメージ統合装置１００を利用して協調走行中の車両から取得された走行イメージを統合する方法を説明すると次の通りである。
【0041】
先に、図２を参照すれば、道路を協調走行中の車両の走行イメージ統合装置１００それぞれは、それぞれの車両に設置されたカメラから撮影された少なくとも一つの走行イメージ上の少なくとも一つの物体を検出して、それぞれの検出された物体に対応するそれぞれの少なくとも一つのコンフィデンス（Ｃｏｎｆｉｄｅｎｃｅ）を生成することができる。その際、物体は、少なくとも一つの車両、少なくとも一人の歩行者、少なくとも一つの信号機、少なくとも一つの車線、少なくとも一つのガードレールなどのように、走行環境に含まれる物体は何でも含むことができる。
【0042】
そして、それぞれの車両上のそれぞれの走行イメージ統合装置１００は、（ｉ）物体それぞれに対するクラス情報とリグレッション情報とを含む前記検出された物体に対する情報、例えば、物体検出情報と（ｉｉ）それぞれの物体検出情報に対応するそれぞれのコンフィデンス情報とを、車車間（Ｖｅｈｉｃｌｅ Ｔｏ Ｖｅｈｉｃｌｅ）通信によって、周辺の少なくとも一つのサブ車両（Ｓｕｂ−ｖｅｈｉｃｌｅ）と共有することができる。
【0043】
すると、それぞれの車両上のそれぞれの走行イメージ統合装置１００は、自身の物体検出情報及びコンフィデンス情報と、各サブ車両から受信される物体検出情報及びこれに対応するコンフィデンス情報とを利用して協調走行中の全ての車両の認識結果を統合することにより、少なくとも一つの最適物体の検出結果（Ｏｐｔｉｍａｌ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｒｅｓｕｌｔ）を生成することができる。
【0044】
この際、図３を参照して、協調走行を遂行する車両のうちのメイン（ｍａｉｎ）車両に設置されたメイン走行イメージ統合装置１００のプロセスを説明すると次の通りである。本発明全般にわたって、接頭辞「メイン（ｍａｉｎ）」と「サブ（ｓｕｂ）」は、相対的な観点を示す。多数の個体の中から、少なくとも一つの特定の個体がメイン個体、例えば、テスト用メイン物体または学習用メイン物体に指定されると、残りの個体はサブ個体、例えば、テスト用サブ物体または学習用サブ物体にそれぞれ指定され得、個体のうちどれでもメイン個体になり得る。
【0045】
まず、協調走行中のすべての車両のうちのメイン車両に設置されたメイン走行イメージ統合装置１００は、メイン車両に設置された少なくとも一つのメインカメラから取得される、少なくとも一つのメイン走行イメージをメイン物体検出器１５０に入力するプロセスを遂行することができる。
【0046】
すると、メイン物体検出器１５０は、メイン走行イメージをメインコンボリューションレイヤ１５１に入力して、メインコンボリューションレイヤ１５１をもって、メイン走行イメージに対してコンボリューション演算を少なくとも一度適用して少なくとも一つのメイン特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにすることができる。図５において参照番号１５１が指す対象は、メインコンボリューションレイヤだけでなく、サブコンボリューションレイヤでもあり得るため、「メイン」及び「サブ」という用語は図面から省略された。しかし、「メイン」及び「サブ」は理解を深めることを助けるために、詳細な説明では使われた。
【0047】
そして、メイン物体検出器１５０は、メイン特徴マップをメインＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）１５２に入力して、メインＲＰＮをもって、メイン特徴マップ上で少なくとも一つのメイン物体が位置すると予想される、少なくとも一つの領域に対応する少なくとも一つのメインＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するようにすることができる。参考までに、本発明全般にわたって、以下の説明で混乱を避けるために、学習プロセスに関連する用語には「学習用」という単語が追加され、テスト用プロセスに関連する用語には「テスト用」という単語が追加された。また、メイン物体とサブ物体の場合、メイン物体は、テスト用のメイン物体を、サブ物体はテスト用のサブ物体を表すが、便宜のために「テスト用」は省略されている。
【0048】
その後、メイン物体検出器１５０は、メインＲＯＩとメイン特徴マップとをメインプーリングレイヤ（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）１５３に入力して、メインプーリングレイヤ１５３をもって、メイン特徴マップ上でメインＲＯＩに対応する少なくとも一つの領域に対して、プーリング演算を少なくとも一度適用して、少なくとも一つのメインプーリング済み特徴マップ（Ｐｏｏｌｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにすることができる。
【0049】
そして、メイン物体検出器１５０は、メインプーリング済み特徴マップをメインＦＣレイヤ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）１５４に入力して、メインＦＣレイヤ１５４をもって、メインプーリング済み特徴マップに対してＦＣ演算を少なくとも一度適用してメイン走行イメージ上に位置するメイン物体に対するメイン物体検出情報を生成するようにすることができる。
【0050】
この際、メイン物体検出器１５０は、メインプーリング済み特徴マップを少なくとも一つのベクトルに変換して生成された少なくとも一つのメイン特徴ベクトル（Ｆｅａｔｕｒｅ Ｖｅｃｔｏｒ）をメインＦＣレイヤ１５４に入力することができる。
【0051】
そして、それぞれのメイン物体検出情報は、メイン物体に対応するクラス情報とリグレッション情報とを含むことができる。また、メイン物体に対するクラス情報は、メインＦＣレイヤ１５４によってメイン物体を分類するのに利用されるそれぞれのクラスに対するそれぞれの予測値を含むことができ、メイン物体に対するリグレッション情報は、それぞれのメインプーリング済み特徴マップに対応するメインＲＯＩの位置をリグレッションして生成された位置情報、すなわち、各バウンディングボックスに対する位置情報を含むことができる。
【0052】
次に、メイン走行イメージ統合装置１００は、メインプーリング済み特徴マップをメインコンフィデンスネットワーク１６０に入力して、メインコンフィデンスネットワーク１６０をもって、それぞれのメインプーリング済み特徴マップに対応するそれぞれのメインＲＯＩに対する少なくとも一つのメインコンフィデンスそれぞれを生成するようにするプロセスを遂行することができる。この際、メインコンフィデンスネットワーク１６０は、それぞれのメインＲＯＩのメインコンフィデンスを出力するように学習された状態であり得、これによってメインプーリング済み特徴マップそれぞれに対応するメインコンフィデンスは、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）によって学習された少なくとも一つのパラメータによって生成され得る。メインコンフィデンスネットワーク１６０の学習プロセスについては、後で説明する。
【0053】
次に、メイン走行イメージ統合装置１００は、協調走行中の少なくとも一つのサブ車両それぞれからサブ物体検出情報と少なくとも一つのサブコンフィデンスとを車車間通信によって取得するプロセス、及び前記メインコンフィデンス及び前記サブコンフィデンスを重み付け値として利用して、メイン物体検出情報とサブ物体検出情報とを統合するプロセスを遂行することにより、メイン走行イメージの少なくとも一つの物体検出結果を生成することができる。
【0054】
この際、メインコンフィデンス及びサブコンフィデンスを重み付け値として利用してメイン物体検出情報とサブ物体検出情報とを統合するプロセスを遂行する上で、メイン物体とサブ物体とのうちの一つである特定物体に対応する物体検出情報が存在すると判断される場合、メイン走行イメージ統合装置１００は、（ｉ）メインコンフィデンス及びサブコンフィデンスのうちの特定物体検出情報それぞれに対応する特定コンフィデンスそれぞれを重み付け値として利用して特定物体検出情報それぞれに含まれたクラスそれぞれに対する推定値それぞれの加重和（Ｗｅｉｇｈｔｅｄ Ｓｕｍ）を算出するプロセス、及び加重和されたクラスのうちの最も大きな値を有する特定クラスを特定物体に対応する最適クラス情報（Ｏｐｔｉｍａｌ Ｃｌａｓｓ Ｉｎｆｏｒｍａｔｉｏｎ）として取得するプロセス、と（ｉｉ）特定物体検出情報それぞれに対応する特定コンフィデンスそれぞれを重み付け値として利用して特定物体検出情報それぞれに含まれた特定リグレッション情報それぞれの加重和を算出するプロセス、及び加重和されたリグレッション情報を特定物体に対応する最適リグレッション情報として取得するプロセス、とを遂行することができる。
【0055】
一例として、メインＦＣレイヤ１５４が特定物体を車両、歩行者、またはオートバイに分類する場合、（ｉ）メイン物体検出情報に含まれた第１クラス情報、すなわち、第１物体検出情報は、特定物体が車両であると予測した第１＿１予測値、特定物体が歩行者であると予測した第１＿２予測値、及び特定物体がオートバイであると予測した第１＿３予測値を含むことができ、（ｉｉ）サブ車両のうちの一つから取得された第２物体検出情報に含まれた第２クラス情報は、特定物体が車両であると予測した第２＿１予測値、特定物体が歩行者であると予測した第２＿２予測値、及び特定物体がオートバイであると予測した第２＿３予測値を含むことができ、（ｉｉｉ）サブ車両のうちの他の一つから取得された第３物体検出情報に含まれた第３クラス情報は、特定物体が車両であると予測した第３＿１予測値、特定物体が歩行者であると予測した第３＿２予測値、及び特定物体がオートバイであると予測した第３＿３予測値を含むことができる。そして、第１物体検出情報に対応するコンフィデンスを第１コンフィデンス、第２物体検出情報に対応するコンフィデンスを第２コンフィデンス、第３物体検出情報に対応するコンフィデンスを第３コンフィデンスであるとすれば、メイン走行イメージ統合装置１００によって統合された特定物体に対する統合クラス情報（Ｉｎｔｅｇｒａｔｅｄ Ｃｌａｓｓ Ｉｎｆｏｒｍａｔｉｏｎ）は、特定物体が車両であると予測する統合予測値が、（第１＿１予測値×第１コンフィデンス）＋（第２＿１予測値×第２コンフィデンス）＋（第３＿１予測値×第３コンフィデンス）となり、特定物体が歩行者であると予測する統合予測値は、（第１＿２予測値×第１コンフィデンス）＋（第２＿２予測値×第２コンフィデンス）＋（第３＿２予測値×第３コンフィデンス）のようになり、特定物体がオートバイであると予測する統合予測値は、（第１＿３予測値×第１コンフィデンス）＋（第２＿３予測値×第２コンフィデンス）＋（第３＿３予測値×第３コンフィデンス）となるように、それぞれのコンフィデンスを重み付け値として利用して、クラスごとの予測値それぞれを加重和して算出されることができる。結果として、加重和された予測値のうちの最も大きな値を有する特定クラスは、統合イメージ（Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）上の特定物体に対応する最適クラス情報（Ｏｐｔｉｍａｌ Ｃｌａｓｓ Ｉｎｆｏｒｍａｔｉｏｎ）として取得され得る。この際、第１物体検出情報は、メイン物体に対応する。
【0056】
また、特定リグレッション情報、すなわち、特定物体のバウンディングした各バウンディングボックスに対する位置情報も、類似した方法によって特定コンフィデンスを重み付け値として利用して加重和されることができ、加重和されたリグレッション情報は、特定物体に対応する最適リグレッション情報として決定されることができる。この際、特定物体の各バウンディングボックスは、特定物体が位置すると予測されるＲＯＩをバウンディングして生成され得る。
【0057】
また、メインコンフィデンスとサブコンフィデンスとを重み付け値として利用して、メイン物体検出情報とサブ物体検出情報とを統合するにおいて、第１物体検出情報のうちの第１重畳物体検出情報（Ｏｖｅｒｌａｐｐｉｎｇ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ）と、第２物体検出情報のうちの第２重畳物体検出情報とが互いに重なって存在すると判断される場合、メイン走行イメージ統合装置１００は、（ｉ）第１重畳物体検出情報に対応する第１バウンディングボックスと、第２重畳物体検出情報に対応する第２バウンディングボックスとのＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｏｖｅｒ Ｕｎｉｏｎ）が予め設定された閾値以上であれば、第１重畳物体検出情報と第２重畳物体検出情報とが特定物体に対応するものと判断するプロセス、及び（ｉｉ）ＩＯＵが予め設定された閾値未満であれば、第１重畳物体検出情報と第２重畳物体検出情報とがそれぞれ異なる物体に対応するものと判断するプロセスを遂行することができる。
【0058】
一方、サブ物体検出情報と前記サブコンフィデンスとは、サブ車両それぞれに設置された少なくとも一つのサブ走行イメージ統合装置それぞれによって生成され得る。詳しく見てみると、それぞれのサブ走行イメージ統合装置は、（ｉ）少なくとも一つのサブ走行イメージそれぞれを、対応するサブ物体検出器それぞれに入力して、サブ物体検出器それぞれをもって、（ｉ−１）対応するサブコンボリューションレイヤそれぞれによってサブ走行イメージそれぞれに対してコンボリューション演算を少なくとも一度適用してサブ特徴マップそれぞれを生成するようにし、（ｉ−２）対応するサブＲＰＮそれぞれによってそれぞれのサブ特徴マップ上に少なくとも一つのサブ物体が位置すると予想される少なくとも一つの領域に対応する少なくとも一つのサブＲＯＩを生成するようにし、（ｉ−３）対応するサブプーリングレイヤそれぞれによってそれぞれのサブ特徴マップ上で、サブＲＯＩそれぞれに対応する少なくとも一つの領域に対して、プーリング演算を少なくとも一度適用して少なくとも一つのサブプーリング済み特徴マップそれぞれを生成するようにし、（ｉ−４）対応するサブＦＣレイヤそれぞれによってそれぞれのサブプーリング済み特徴マップに対してＦＣ演算を少なくとも一度適用して、それぞれのサブ走行イメージ上に位置するサブ物体に対するサブ物体検出情報を生成するようにし、（ｉ−５）サブプーリング済み特徴マップそれぞれをサブコンフィデンスネットワークそれぞれに入力して、サブコンフィデンスネットワークそれぞれをもって、サブプーリング済み特徴マップそれぞれに対応するサブＲＯＩのサブコンフィデンスを生成するようにするプロセスを遂行することができる。
【0059】
図４は、本発明の一実施例に係る協調走行中の各車両から取得された各走行イメージを統合する走行イメージ統合装置を学習する学習装置を概略的に示した図面である。図４を参照すれば、学習装置２００は、協調走行中の車両から取得された各走行イメージを統合する走行イメージ統合装置を学習するためのインストラクションを格納するメモリ２１０と、メモリ２１０に格納されたインストラクションに対応して協調走行中の各車両から取得された各走行イメージを統合する走行イメージ統合装置を学習する動作を遂行するプロセッサ２２０とを含むことができる。
【0060】
具体的に、学習装置２００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他の従来のコンピューティング装置の各構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージエリアネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と、少なくとも一つのコンピュータソフトウェア（つまり、コンピューティング装置をもって、特定の方式で機能させる各インストラクション）との組み合わせを利用して希望するシステム性能を達成するものであり得る。
【0061】
また、コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
【0062】
しかし、コンピューティング装置が本発明を実施するためのプロセッサ、メモリ、ミディアム、または他のコンピューティング構成要素の何らかの組み合わせを含む統合装置（Ｉｎｔｅｇｒａｔｅｄ Ｄｅｖｉｃｅ）を排除するものではない。
【0063】
このように構成された本発明の一実施例に係る学習装置２００を利用して協調走行中の各車両から取得された走行イメージを統合する走行イメージ学習装置を学習する方法を、図５を参照して説明すると次の通りである。協調走行中の車両のうちのメイン車両に設置されたメイン走行イメージ統合装置を学習する方法を説明すると次のようになる。
【0064】
まず、少なくとも一つの学習用走行イメージを含むトレーニングデータが取得されると、前記学習装置２００は（ｉ）トレーニングデータから（ｉ−１）学習用第１＿１走行イメージないし学習用第１＿ｍ走行イメージを含む第１トレーニングデータと（ｉ−２）学習用第２＿１走行イメージないし学習用第２＿ｎ走行イメージとを含む第２トレーニングデータをサンプリングするプロセスを遂行することができる。この際、ｍとｎとは、それぞれ１以上の整数（Ｉｎｔｅｇｅｒ）であり得る。
【0065】
その後、学習装置２００は、（ｉｉ）学習用第１＿１走行イメージないし学習用第１＿ｍ走行イメージの一つである学習用第１＿ｊ走行イメージをメインコンボリューションレイヤ１５１に入力して、メインコンボリューションレイヤ１５１をもって、学習用第１＿ｊ走行イメージに対してコンボリューション演算を少なくとも一度適用して少なくとも一つの第１特徴マップを生成するようにするプロセス、及び（ｉｉｉ）第１特徴マップをメインＲＰＮ１５２に入力して、メインＲＰＮ１５２をもって、第１特徴マップ上に位置する少なくとも一つの学習用物体に対応する少なくとも一つの第１ＲＯＩを生成するようにするプロセスを遂行することができる。
【0066】
その後、前記学習装置２００は（ｉｖ）第１ＲＯＩと第１特徴マップとをメインプーリングレイヤ１５３に入力して、メインプーリングレイヤ１５３をもって、前記第１特徴マップ上で第１ＲＯＩに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一度適用して少なくとも一つの第１プーリング済み特徴マップを生成するようにするプロセス、及び（ｖ）第１プーリング済み特徴マップまたは第１プーリング済み特徴マップから生成された少なくとも一つの第１特徴ベクトルをメインＦＣレイヤ１５４に入力して、メインＦＣレイヤ１５４をもって、第１プーリング済み特徴マップに対応する第１特徴ベクトルまたは第１プーリング済み特徴マップに対してＦＣ演算を少なくとも一度適用して学習用第１＿ｊ走行イメージ上に位置する学習用物体に対応する第１物体検出情報を生成するようにするプロセスを遂行することができる。この際、それぞれの第１物体検出情報は、学習用物体に対応するクラス情報とリグレッション情報とを含むことができる。また、学習用物体に対するクラス情報は、メインＦＣレイヤ１５４によって学習用物体を分類するのに利用されるそれぞれのクラスに対するそれぞれの予測値を含むことができ、学習用物体に対するリグレッション情報は、メインプーリング済み特徴マップそれぞれに対応するメインＲＯＩの位置をリグレッションして生成された位置情報、すなわち、各バウンディングボックスに対する位置情報を含むことができる。
【0067】
その後、学習装置２００は、（ｖｉ）第１ロスレイヤ１５５をもって、第１物体検出情報と学習用第１＿ｊ走行イメージの少なくとも一つの物体ＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つの第１ロスを算出するようにするプロセス、及び（ｖｉｉ）第１ロスを利用したバックプロパゲーションによって、第１ロスを最小化するようにメインＦＣレイヤ及びメインコンボリューションレイヤのうちの少なくとも一つのパラメータをアップデートするプロセスを、学習用第１＿１走行イメージないし学習用第１＿ｍ走行イメージそれぞれに対して遂行することにより、メイン物体検出器を学習することができる。
【0068】
次に、学習装置２００は、（ｉ）学習用第１＿１走行イメージないし学習用第１＿ｍ走行イメージそれぞれに対応する第１物体検出情報とこれに対応する物体ＧＴとを参照して第１ＲＯＩそれぞれの少なくとも一つの第１コンフィデンスそれぞれを取得するプロセスを遂行することができる。
【0069】
この際、前記学習装置２００は、前記第１物体検出情報とこれに対応する物体ＧＴとを参照して第１ＲＯＩそれぞれの第１コンフィデンスを取得し、第１ＲＯＩそれぞれに学習用物体それぞれがない場合、第１コンフィデンスそれぞれは「０」であり、第１ＲＯＩそれぞれに学習用物体それぞれがある場合、第１コンフィデンスそれぞれは「１−ボックス＿エラー×クラス＿エラー（１−Ｂｏｘ＿Ｅｒｒｏｒ×Ｃｌａｓｓ＿Ｅｒｒｏｒ）」であり得る。
【0070】
そして、それぞれのボックス＿エラーは、第１物体検出情報に含まれた各バウンディングボックスのそれぞれのエラーであり、それぞれのクラス＿エラーは、第１物体検出情報に含まれたクラス情報のそれぞれのエラーであり得る。
【0071】
また、（ｉ）それぞれのボックス＿エラーは、（ｉ−１）それぞれの学習用物体のそれぞれのサイズの（ｉ−２）各バウンディングボックスそれぞれの中心ポイントのエラーの合計に対する比率であり得、（ｉｉ）前記それぞれのクラス＿エラーは、第１物体検出情報に含まれた、学習用物体それぞれを分類するのに利用されるそれぞれのクラスに対するそれぞれの予測値のクラスエラーのそれぞれの合計であり得る。
【0072】
つまり、【数1】
であり、
【数2】
のように表すことができる。
【0073】
次に、学習装置２００は、（ｉｉ）学習用第２＿１走行イメージないし学習用第２＿ｎ走行イメージの一つである学習用第２＿ｋ走行イメージをメインコンボリューションレイヤ１５１に入力して、メインコンボリューションレイヤ１５１をもって、学習用第２＿ｋ走行イメージに対してコンボリューション演算を少なくとも一度適用して少なくとも一つの第２特徴マップを生成するようにするプロセス、及び（ｉｉｉ）第２特徴マップをメインＲＰＮ１５２に入力して、メインＲＰＮ１５２をもって、第２特徴マップ上に位置する学習用物体に対応する少なくとも一つの第２ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するようにするプロセスを遂行することができる。
【0074】
その後、学習装置２００は、（ｉｖ）メインプーリングレイヤ１５３をもって、第２特徴マップ上で第２ＲＯＩに対応する少なくとも一つの領域に対してプーリング演算を適用して少なくとも一つの第２プーリング済み特徴マップを生成するようにするプロセス、及び（ｖ）第２プーリング済み特徴マップをメインコンフィデンスネットワーク１６０に入力して、メインコンフィデンスネットワーク１６０をもって、ディープラーニングによって第２プーリング済み特徴マップに対応する少なくとも一つの第２コンフィデンスを生成するようにするプロセスを遂行することができる。
【0075】
その後、学習装置２００は（ｖｉ）第２ロスレイヤ１６１をもって、第２コンフィデンスと第１コンフィデンスとを参照して少なくとも一つの第２ロスを算出するようにするプロセス、及び（ｖｉｉ）第２ロスを利用したバックプロパゲーションによって、第２ロスを最小化するようにメインコンフィデンスネットワーク１６０の少なくとも一つのパラメータをアップデートするプロセスを、学習用第２＿１走行イメージないし学習用第２＿ｎ走行イメージそれぞれに対して遂行することにより、メインコンフィデンスネットワーク１６０を学習するプロセスを遂行することができる。
【0076】
つまり、学習装置２００は、メイン物体検出器１５０の学習プロセス中に生成された第１プーリング済み特徴マップそれぞれに対応する第１コンフィデンスそれぞれを取得することができ、第１プーリング済み特徴マップとこれに対応する第２コンフィデンスとを利用して、第１プーリング済み特徴マップに対応する第１コンフィデンスの少なくとも一部を出力するようにメインコンフィデンスネットワーク１６０を学習することができる。
【0077】
一方、前記では協調走行中の車両を例にして説明したが、同一の場所で複数台のカメラを利用して監視する監視システム、軍事システムでも本発明に係る物体検出器の認識性能を向上させることができ、これによって物体検出システムの安定性を向上させることができる。
【0078】
前記で述べたように、本発明は、多数のカメラ映像イメージの認識結果及びコンフィデンスを、車両間の情報融合により統合して最適認識結果を提供することにより、物体検出を利用して監視システム、軍事システムの安定性を向上させることができる。
【0079】
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって利用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
【0080】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
【0081】
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【符号の説明】
【0082】
１００：走行イメージ統合装置１１０：メモリ
１２０：プロセッサ
２００：学習装置
２１０：メモリ
２２０：プロセッサ