特許 6869561 ブラインドスポットモニタリングのためのＣＮＮの学習方法、テスティング方法、学習装置、及びテスティング装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6869561

(24)【登録日】2021年4月16日

(45)【発行日】2021年5月12日

(54)【発明の名称】ブラインドスポットモニタリングのためのＣＮＮの学習方法、テスティング方法、学習装置、及びテスティング装置

(51)【国際特許分類】

   G06F 16/50 20190101AFI20210426BHJP

   G06N 3/04 20060101ALI20210426BHJP

   G06N 3/08 20060101ALI20210426BHJP

   G06T 7/00 20170101ALI20210426BHJP

   G08G 1/16 20060101ALI20210426BHJP

【ＦＩ】

   G06F16/50

   G06N3/04

   G06N3/08 140

   G06T7/00 350C

   G06T7/00 650B

   G08G1/16 C

【請求項の数】22

【全頁数】29

(21)【出願番号】特願2019-182000(P2019-182000)

(22)【出願日】2019年10月2日

(65)【公開番号】特開2020-61139(P2020-61139A)

(43)【公開日】2020年4月16日

【審査請求日】2019年10月2日

(31)【優先権主張番号】16/153,972

(32)【優先日】2018年10月8日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】517038176

【氏名又は名称】株式会社ストラドビジョン

(74)【代理人】

【識別番号】110000039

【氏名又は名称】特許業務法人アイ・ピー・ウィン

(74)【復代理人】

【識別番号】100120628

【弁理士】

【氏名又は名称】岩田 慎一

(72)【発明者】

【氏名】金桂賢

(72)【発明者】

【氏名】金鎔重

(72)【発明者】

【氏名】金寅洙

(72)【発明者】

【氏名】金鶴京

(72)【発明者】

【氏名】南雲鉉

(72)【発明者】

【氏名】夫碩▲くん▼

(72)【発明者】

【氏名】成明哲

(72)【発明者】

【氏名】呂東勳

(72)【発明者】

【氏名】柳宇宙

(72)【発明者】

【氏名】張泰雄

(72)【発明者】

【氏名】鄭景中

(72)【発明者】

【氏名】諸泓模

(72)【発明者】

【氏名】趙浩辰

【審査官】 ▲はま▼中 信行

(56)【参考文献】

【文献】 米国特許第０９９４７２２８（ＵＳ，Ｂ１）

【文献】 米国特許出願公開第２００４／００８５１９６（ＵＳ，Ａ１）

【文献】 米国特許第１０００７８６５（ＵＳ，Ｂ１）

【文献】 米国特許第０９９３４４４０（ＵＳ，Ｂ１）

【文献】 米国特許出願公開第２０１５／０２７８６４２（ＵＳ，Ａ１）

【文献】 特開２０１１−２４８４４５（ＪＰ，Ａ）

【文献】 特表２００４−５２６２６７（ＪＰ，Ａ）

【文献】 国際公開第２０１７／０７９５２２（ＷＯ，Ａ１）

【文献】 特開２０１８−０８１３５７（ＪＰ，Ａ）

【文献】 中国特許出願公開第１０６２５１７０１（ＣＮ，Ａ）

【文献】 国際公開第２０１２／０３３１７３（ＷＯ，Ａ１）

【文献】 下川北斗，高卒でもわかる機械学習 (7) 畳み込みニューラルネットその1，２０１８年 ２月２７日，［令和２年１０月２３日検索］，インターネット，ＵＲＬ，http://hokuts.com/2016/12/13/cnn1/

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００−１６／９５８

Ｇ０６Ｎ ３／０４

Ｇ０６Ｎ ３／０８

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

基準自動車の一つ以上のブラインドスポットモニタリングのためのＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の学習方法において、
（ａ）前記基準自動車の検出器からの少なくとも一つの出力に対応されるトレーニングデータが入力されると、学習装置が、手がかり情報抽出レイヤをもって前記トレーニングデータに含まれている観察対象自動車に対するクラス情報及び位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の手がかり情報を出力させる段階；
（ｂ）前記学習装置が、ブラインドスポット確認用ＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤをもって前記観察対象自動車に対する前記手がかり情報を利用して一つ以上の神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車のブラインドスポットの中の一つに位置するか否かに対する判断結果を出力させる段階；及び
（ｃ）前記学習装置が、ロスレイヤをもって前記判断結果とこれに対応される原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を参考に一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習する段階；
を含むことを特徴とする学習方法。

【請求項2】

前記ブラインドスポット確認用ＦＣレイヤは、前記観察対象自動車に対する前記手がかり情報を入力とする多重パーセプトロンによって前記観察対象自動車が前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を含むことを特徴とする請求項１に記載の学習方法。

【請求項3】

前記観察対象自動車に対する前記手がかり情報は、（ｉ）前記観察対象自動車に対する前記クラス情報、（ｉｉ）前記観察対象自動車に対する前記位置情報、（ｉｉｉ）ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）のサイズに対応する前記観察対象自動車のサイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の中心点と前記ブラインドスポットの外側の面との間の距離情報のうち、少なくとも一部を含むことを特徴とする請求項１に記載の学習方法。

【請求項4】

前記手がかり情報抽出レイヤは、（ｉ）左側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、小さい値を前記観察対象自動車の前記中心点と前記ブラインドスポットの前記外側の面の間の前記距離情報と判断し、前記観察対象自動車の前記中心点が前記ブラインドスポットの前記外側の面の外側に位置するか、あるいは内側に位置するかを区分するために、前記距離情報に追加で相対的位置情報をさらに出力することを特徴とする請求項３に記載の学習方法。

【請求項5】

基準自動車の一つ以上のブラインドスポットモニタリングのためのＣＮＮのテスティング方法において、
（ａ）学習装置によって、（ｉ）手がかり情報抽出レイヤをもって前記基準自動車の検出器から少なくとも一つの出力に対応されるトレーニングデータに含まれている観察対象自動車に対する学習用クラス情報及び学習用位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の学習用手がかり情報を出力させ；（ｉｉ）ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記学習用手がかり情報を利用して一つ以上の神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車のブラインドスポットの中の一つに位置するか否かに対する学習用判断結果を出力させ、（ｉｉｉ）ロスレイヤをもって前記学習用判断結果とこれに対応される原本正解を参考に一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習した状態で、前記基準自動車で撮影されたテストイメージ内に位置する前記観察対象自動車を検出する前記検出器から前記観察対象自動車に対するテスト用クラス情報及びテスト用位置情報が獲得されると、テスティング装置が、前記手がかり情報抽出レイヤをもって前記観察対象自動車に対するテスト用クラス情報及びテスト用位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上のテスト用手がかり情報を出力させる段階；及び
（ｂ）前記テスティング装置が、ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記テスト用手がかり情報またはこれを加工した値を利用して前記神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対するテスト用判断結果を出力させる段階；
を含むことを特徴とするテスティング方法。

【請求項6】

前記検出器は、
前記テストイメージからテスト用特徴マップを生成する一つ以上のコンボリューションレイヤ；
前記テスト用特徴マップから前記観察対象自動車に対するテスト用ＲＯＩを獲得するＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）；
前記テスト用特徴マップ内で、前記テスト用ＲＯＩに対応される領域をプーリングし、テスト用特徴ベクトルを生成するプーリングレイヤ；
前記テスト用特徴ベクトルに一つ以上のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を加え、一つ以上のＦＣ出力値を生成する少なくとも一つの自動車検出用ＦＣレイヤ；
前記ＦＣ出力値を参照し、前記観察対象自動車に対する前記テスト用クラス情報を出力する分類レイヤ；及び
前記ＦＣ出力値を参照し、前記観察対象自動車に対する前記テスト用位置情報を出力するリグレッションレイヤ；
を含むＲ−ＣＮＮ（Ｒｅｇｉｏｎ−ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤の自動車検出器であることを特徴とする請求項５に記載のテスティング方法。

【請求項7】

前記テスティング装置は、前記ＣＮＮをもって前記手がかり情報抽出レイヤによって生成される前記観察対象自動車に対するテスト用手がかり情報と前記検出器の前記プーリングレイヤによって生成された前記テスト用特徴ベクトルを用いてコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）した値を前記ブラインドスポット確認用ＦＣレイヤの入力として受けることを特徴とする請求項６に記載のテスティング方法。

【請求項8】

前記ブラインドスポット確認用ＦＣレイヤは、前記観察対象自動車に対する前記テスト用手がかり情報またはこれを加工した値を入力とする多重パーセプトロンによって前記観察対象自動車が前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網を含むことを特徴とする請求項５に記載のテスティング方法。

【請求項9】

前記観察対象自動車に対する前記テスト用手がかり情報は、（ｉ）前記観察対象自動車に対する前記テスト用クラス情報、（ｉｉ）前記観察対象自動車に対する前記テスト用位置情報、（ｉｉｉ）ＲＯＩのサイズに対応する前記観察対象自動車のテスト用サイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の中心点と前記ブラインドスポットの外側の面との間の距離情報のうち、少なくとも一部を含むことを特徴とする請求項５に記載のテスティング方法。

【請求項10】

前記手がかり情報抽出レイヤは、（ｉ）左側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、小さい値を前記観察対象自動車の前記中心点と前記ブラインドスポットの前記外側の面の間のテスト用距離情報と判断し、前記観察対象自動車の前記中心点が前記ブラインドスポットの前記外側の面の外側に位置するか、あるいは内側に位置するかを区分するために、前記テスト用距離情報に追加でテスト用相対的位置情報をさらに出力することを特徴とする請求項９に記載のテスティング方法。

【請求項11】

前記テスティング装置の前記基準自動車は、前記学習装置の前記基準自動車と同一でないことを特徴とする請求項５に記載のテスティング方法。

【請求項12】

基準自動車の一つ以上のブラインドスポットモニタリングのためのＣＮＮの学習装置において、
前記基準自動車の検出器から少なくとも一つの出力信号に対応されるトレーニングデータを受信する通信部；及び
（Ｉ）手がかり情報抽出レイヤをもって前記トレーニングデータに含まれている観察対象自動車に対するクラス情報及び位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の手がかり情報を出力させるプロセス、（ＩＩ）ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記手がかり情報を利用して一つ以上の神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車のブラインドスポットの中の一つに位置するか否かに対する判断結果を出力させるプロセス、及び（ＩＩＩ）ロスレイヤをもって前記判断結果とこれに対応される原本正解を参考に一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習するプロセスを遂行するプロセッサ；を含むことを特徴とする学習装置。

【請求項13】

前記ブラインドスポット確認用ＦＣレイヤは、前記観察対象自動車に対する前記手がかり情報を入力とする多重パーセプトロンによって前記観察対象自動車が前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網を含むことを特徴とする請求項１２に記載の学習装置。

【請求項14】

前記観察対象自動車に対する前記手がかり情報は、（ｉ）前記観察対象自動車に対する前記クラス情報、（ｉｉ）前記観察対象自動車に対する前記位置情報、（ｉｉｉ）ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）のサイズに対応する前記観察対象自動車のサイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の中心点と前記ブラインドスポットの外側の面との間の距離情報のうち、少なくとも一部を含むことを特徴とする請求項１２に記載の学習装置。

【請求項15】

前記手がかり情報抽出レイヤは、（ｉ）左側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、小さい値を前記観察対象自動車の前記中心点と前記ブラインドスポットの前記外側の面の間の前記距離情報と判断し、前記観察対象自動車の前記中心点が前記ブラインドスポットの前記外側の面の外側に位置するか、あるいは内側に位置するかを区分するために、前記距離情報に追加で相対的位置情報をさらに出力することを特徴とする請求項１４に記載の学習装置。

【請求項16】

基準自動車の一つ以上のブラインドスポットモニタリングのためのＣＮＮのテスティング装置において、
学習装置によって、（ｉ）手がかり情報抽出レイヤをもって前記基準自動車の検出器から少なくとも一つの出力に対応されるトレーニングデータに含まれている観察対象自動車に対する学習用クラス情報及び学習用位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の学習用手がかり情報を出力させ、（ｉｉ）ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記学習用手がかり情報を利用して一つ以上の神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車のブラインドスポットに位置するか否かに対する学習用判断結果を出力させ、（ｉｉｉ）ロスレイヤをもって前記学習用判断結果とこれに対応される原本正解を参考に一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習した状態で、前記基準自動車で撮影されたテストイメージ内に位置する前記観察対象自動車を検出する前記検出器から前記観察対象自動車に対するテスト用クラス情報及びテスト用位置情報を受信する通信部；及び
（Ｉ）前記手がかり情報抽出レイヤをもって前記観察対象自動車に対する前記テスト用クラス情報及び前記テスト用位置情報を利用して前記所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上のテスト用手がかり情報を出力させるプロセス及び（ＩＩ）前記ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記テスト用手がかり情報をまたはこれを加工した値を利用して前記神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対するテスト用判断結果を出力させるプロセスを遂行するプロセッサ；
を含むことを特徴とするテスティング装置。

【請求項17】

前記検出器は、
前記テストイメージからテスト用特徴マップを生成する一つ以上のコンボリューションレイヤ；
前記テスト用特徴マップから前記観察対象自動車に対するテスト用ＲＯＩを獲得するＲＰＮ；
前記テスト用特徴マップ内で、前記テスト用ＲＯＩに対応される領域をプーリングし、テスト用特徴ベクトルを生成するプーリングレイヤ；
前記テスト用特徴ベクトルに一つ以上のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を加え、一つ以上のＦＣ出力値を生成する少なくとも一つの自動車検出用ＦＣレイヤ；
前記ＦＣ出力値を参照し、前記観察対象自動車に対する前記テスト用クラス情報を出力する分類レイヤ；及び
前記ＦＣ出力値を参照し、前記観察対象自動車に対する前記テスト用位置情報を出力するリグレッションレイヤ；
を含むＲ−ＣＮＮ基盤の自動車検出器であることを特徴とする請求項１６に記載のテスティング装置。

【請求項18】

前記プロセッサは、前記ＣＮＮをもって前記手がかり情報抽出レイヤによって生成される前記観察対象自動車に対する前記テスト用手がかり情報と前記検出器の前記プーリングレイヤによって生成された前記テスト用特徴ベクトルを用いてコンカチネートした値を前記ブラインドスポット確認用ＦＣレイヤの入力として受けることを特徴とする請求項１７に記載のテスティング装置。

【請求項19】

前記ブラインドスポット確認用ＦＣレイヤは、前記観察対象自動車に対する前記テスト用手がかり情報またはこれを加工した値を入力とする多重パーセプトロンによって前記観察対象自動車が前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網を含むことを特徴とする請求項１６に記載のテスティング装置。

【請求項20】

前記観察対象自動車に対する前記テスト用手がかり情報は、（ｉ）前記観察対象自動車に対する前記テスト用クラス情報、（ｉｉ）前記観察対象自動車に対する前記テスト用位置情報、（ｉｉｉ）ＲＯＩのサイズに対応する前記観察対象自動車のテスト用サイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の中心点と前記ブラインドスポットの外側の面との間の距離情報のうち、少なくとも一部を含むことを特徴とする請求項１６に記載のテスティング装置。

【請求項21】

前記手がかり情報抽出レイヤは、（ｉ）左側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、小さい値を前記観察対象自動車の前記中心点と前記ブラインドスポットの前記外側の面の間のテスト用距離情報と判断し、前記観察対象自動車の前記中心点が前記ブラインドスポットの前記外側の面の外側に位置するか、あるいは内側に位置するかを区分するために、前記テスト用距離情報に追加でテスト用相対的位置情報をさらに出力することを特徴とする請求項２０に記載のテスティング装置。

【請求項22】

前記テスティング装置の前記基準自動車は、前記学習装置の前記基準自動車と同一でないことを特徴とする請求項１６に記載のテスティング装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、基準自動車の一つ以上のブラインドスポットモニタリングのためのＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の学習方法に関し；より詳しくは、前記基準自動車の前記ブラインドスポットモニタリングのための前記ＣＮＮの学習方法において、（ａ）前記基準自動車の検出器からの少なくとも一つの出力に対応されるトレーニングデータが入力されると、手がかり情報抽出レイヤをもって前記トレーニングデータに含まれている観察対象自動車に対するクラス情報及び位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の手がかり情報を出力させる段階；（ｂ）ブラインドスポット確認用ＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤをもって前記観察対象自動車に対する前記手がかり情報を利用して一つ以上の神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対する判断結果を出力させる段階；及び（ｃ）ロスレイヤをもって前記判断結果とこれに対応される原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を参考に一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習する段階；を含む学習方法とこれを利用したテスト方法、学習装置とテスティング装置に関する。

【背景技術】

【0002】

一般的に運転者が自動車運行中に車線変更をする際、側面及び後方を観察して視野を確保できるように自動車の両側にサイドミラーが設置されており、室内前面中央部にルームミラーが設置されている。

【0003】

サイドミラーは、自動車の両面に設置され側面及び後方の視野を確保するよう利用されているが、側面に近接する自動車や他の物体は確認できないブラインドスポットがある。

【0004】

従って、走行中の自動車の側面に接近して走っている他の自動車を運転者が確認できず車線変更をする場合、ブラインドスポットで走行している他の自動車との接触事故が発生しかねない問題点があった。

【0005】

このような問題点を防止するため、運転者がブラインドスポットを観測できるように曲面鏡をサイドミラーの片方に取り付ける場合もある。

【0006】

しかし、サイドミラーに曲面鏡などを設置した場合でも、自動車の車線を変更するために、運転者は肉眼でブラインドスポットを確認しなければならないため、運転者の運転疲労度を増加させ、運転者の位置によっては曲面鏡が取り付けられたサイドミラーでも確認できないブラインドスポットが存在するという問題点が発生する。

【0007】

これを防止するために、最近では自動車の後面に取り付けられたセンサーによってブラインドスポットに接近したり、ブラインドスポットに位置する自動車などを感知した情報を運転者に提供したりすることで、運転者がブラインドスポットにある自動車またはブラインドスポットに接近してくる自動車を認知できず車線を変更することにより発生し得る事故を防止するための従来のブラインドスポットモニターシステムが提案されていた。

【0008】

特に、従来のビジョンセンサを利用したブラインドスポットモニターシステムでは、映像情報を基に映像情報内に位置する自動車を検出し、検出された自動車情報を利用してブラインドスポットに自動車があるか否かを判別している。

【0009】

このために、従来のビジョンセンタを利用したブラインドスポットモニターシステムでは、映像情報内に位置する自動車を検出する自動車検出器の出力信号を利用してブラインドスポットに自動車が位置するかを判別ためのロジックを必要とする。

【0010】

しかし、従来のビジョンセンサを利用したブラインドスポットモニターシステムでは、利用しようとする自動車検出器によってブラインドスポットに自動車が位置するかを判別するためのロジックを別途設計しなければならない問題点がある。

【0011】

また、ビジョンセンサを利用した従来のブラインドスポットモニターシステムでは、利用しようとする自動車検出器の設計後、設計された自動車検出器の出力特性に合わせてブラインドスポットに自動車が位置するかを判別するためのロジックを設計しなければならないので、ブラインドスポットモニターシステムの開発に多くの時間がかかるという問題点がある。

【発明の概要】

【発明が解決しようとする課題】

【0012】

本発明は、前述した問題点を全て解決することをその目的とする。

【0013】

本発明は、車両を検出する検出器の種類に関係なく適用可能なブラインドスポットモニタリングシステムを提供することを他の目的とする。

【0014】

本発明は、検出器の種類に関係なく、検出器からの出力信号を利用し、ブラインドスポットに車両が位置しているかを判別できるようにすることをまた他の目的とする。

【0015】

本発明は、必要に応じて検出器を交換し得るようにするブラインドスポットモニタリングシステムを提供することを他の目的とする。

【0016】

本発明は、ブラインドスポットモニタリングシステムの開発に要する時間を最小化できるようにすることをまた他の目的とする。

【課題を解決するための手段】

【0017】

前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記の通りである。

【0018】

本発明の一態様によれば、基準自動車の一つ以上のブラインドスポットモニタリングのためのＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の学習方法において、（ａ）前記基準自動車の検出器からの少なくとも一つの出力に対応されるトレーニングデータが入力されると、学習装置が、手がかり情報抽出レイヤをもって前記トレーニングデータに含まれている観察対象自動車に対するクラス情報及び位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の手がかり情報を出力させる段階；（ｂ）前記学習装置が、ブラインドスポット確認用ＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤをもって前記観察対象自動車に対する前記手がかり情報を利用して一つ以上の神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対する判断結果を出力させる段階；及び（ｃ）前記学習装置が、ロスレイヤをもって前記判断結果とこれに対応される原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を参考に一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習する段階；を含むことを特徴とする。

【0019】

一例として、前記ブラインドスポット確認用ＦＣレイヤは、前記観察対象自動車に対する前記手がかり情報を入力とする多重パーセプトロンによって前記観察対象自動車が前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を含むことを特徴とする。

【0020】

一例として、前記観察対象自動車に対する前記手がかり情報は、（ｉ）前記観察対象自動車に対する前記クラス情報、（ｉｉ）前記観察対象自動車に対する前記位置情報、（ｉｉｉ）ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）のサイズに対応する前記観察対象自動車のサイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の前記中心点と前記ブラインドスポットの外側の面との間の距離情報のうち、少なくとも一部を含むことを特徴とする。

【0021】

一例として、前記手がかり情報抽出レイヤは、（ｉ）左側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、小さい値を前記観察対象自動車の前記中心点と前記ブラインドスポットの前記外側の面の間の前記距離情報と判断し、前記観察対象自動車の前記中心点が前記ブラインドスポットの前記外側の面の外側に位置するか、あるいは内側に位置するかを区分するために、前記距離情報に追加で相対的位置情報をさらに出力することを特徴とする。

【0022】

本発明の他の態様によれば、基準自動車の一つ以上のブラインドスポットモニタリングのためのＣＮＮのテスティング方法において、（ａ）学習装置によって、（ｉ）手がかり情報抽出レイヤをもって前記基準自動車の検出器から少なくとも一つの出力に対応されるトレーニングデータに含まれている観察対象自動車に対する学習用クラス情報及び学習用位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の学習用手がかり情報を出力させ、（ｉｉ）ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記学習用手がかり情報を利用して一つ以上の神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対する学習用判断結果を出力させ、（ｉｉｉ）ロスレイヤをもって前記学習用判断結果とこれに対応される原本正解を参考に一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習した状態で、前記基準自動車で撮影されたテストイメージ内に位置する前記観察対象自動車を検出する前記検出器から前記観察対象自動車に対するテスト用クラス情報及びテスト用位置情報が獲得されると、テスティング装置が、前記手がかり情報抽出レイヤをもって前記観察対象自動車に対するテスト用クラス情報及びテスト用位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上のテスト用手がかり情報を出力させる段階；及び（ｂ）前記テスティング装置が、ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記テスト用手がかり情報またはこれを加工した値を利用して前記神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対するテスト用判断結果を出力させる段階；を含む。

【0023】

一例として、前記検出器は、前記テストイメージからテスト用特徴マップを生成する一つ以上のコンボリューションレイヤ；前記テスト用特徴マップから前記観察対象自動車に対するテスト用ＲＯＩを獲得するＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）；前記テスト用特徴マップ内で、前記テスト用ＲＯＩに対応される領域をプーリングし、テスト用特徴ベクトルを生成するプーリングレイヤ；前記テスト用特徴ベクトルに一つ以上のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を加え、一つ以上のＦＣ出力値を生成する少なくとも一つの自動車検出用ＦＣレイヤ；前記ＦＣ出力値を参照し、前記観察対象自動車に対する前記テスト用クラス情報を出力する分類レイヤ；及び前記ＦＣ出力値を参照し、前記観察対象自動車に対する前記テスト用位置情報を出力するリグレッションレイヤ；を含むＲ−ＣＮＮ（Ｒｅｇｉｏｎ−ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤の自動車検出器であることを特徴とする。

【0024】

一例として、前記テスティング装置は、前記ＣＮＮをもって前記手がかり情報抽出レイヤによって生成される前記観察対象自動車に対する前記テスト用手がかり情報と前記検出器の前記プーリングレイヤによって生成された前記テスト用の特徴ベクトルを用いてコンカチネートした値を前記ブラインドスポット確認用ＦＣレイヤの入力として受けることを特徴とする。

【0025】

一例として、前記ブラインドスポット確認用ＦＣレイヤは、前記観察対象の自動車に対する前記テスト用手がかり情報またはこれを加工した値を入力とする多重パーセプトロンによって前記観察対象自動車が前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網を含むことを特徴とする。

【0026】

一例として、前記観察対象自動車に対する前記テスト用手がかり情報は、（ｉ）前記観察対象自動車に対する前記テスト用クラス情報、（ｉｉ）前記観察対象自動車に対する前記テスト用位置情報、（ｉｉｉ）ＲＯＩのサイズに対応する前記観察対象自動車のテスト用サイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の中心点と前記ブラインドスポットの外側の面との間の距離情報のうち、少なくとも一部を含むことを特徴とする。

【0027】

一例として、前記手がかり情報抽出レイヤは、（ｉ）左側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、小さい値を前記観察対象自動車の前記中心点と前記ブラインドスポットの前記外側の面の間の前記テスト用距離情報と判断し、前記観察対象自動車の前記中心点が前記ブラインドスポットの前記外側の面の外側に位置するか、あるいは内側に位置するかを区分するために、前記テスト用距離情報に追加でテスト用相対的位置情報をさらに出力することを特徴とする。

【0028】

一例として、前記テスティング装置の前記基準自動車は、前記学習装置の前記基準自動車と同一でないことを特徴とする。

【0029】

本発明のまた他の態様によれば、基準自動車の一つ以上のブラインドスポットモニタリングのためのＣＮＮの学習装置において、前記基準自動車の検出器から少なくとも一つの出力信号に対応されるトレーニングデータを受信する通信部；及び（Ｉ）手がかり情報抽出レイヤをもって前記トレーニングデータに含まれている観察対象自動車に対するクラス情報及び位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の手がかり情報を出力させるプロセス、（ＩＩ）ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記手がかり情報を利用して一つ以上の神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対する判断結果を出力させるプロセス、及び（ＩＩＩ）ロスレイヤをもって前記判断結果とこれに対応される原本正解を参考に一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習するプロセスを遂行するプロセッサ；を含む。

【0030】

一例として、前記ブラインドスポット確認用ＦＣレイヤは、前記観察対象自動車に対する前記手がかり情報を入力とする多重パーセプトロンによって前記観察対象自動車が前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網を含むことを特徴とする学習装置。

【0031】

一例として、前記観察対象自動車に対する前記手がかり情報は、（ｉ）前記観察対象自動車に対する前記クラス情報、（ｉｉ）前記観察対象自動車に対する前記位置情報、（ｉｉｉ）ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）のサイズに対応する前記観察対象自動車のサイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の前記中心点と前記ブラインドスポットの外側の面との間の距離情報のうち、少なくとも一部を含むことを特徴とする学習装置。

【0032】

一例として、前記手がかり情報抽出レイヤは、（ｉ）左側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、小さい値を前記観察対象自動車の前記中心点と前記ブラインドスポットの前記外側の面の間の前記距離情報と判断し、前記観察対象自動車の前記中心点が前記ブラインドスポットの前記外側の面の外側に位置するか、あるいは内側に位置するかを区分するために、前記距離情報に追加で相対的位置情報をさらに出力することを特徴とする学習装置。

【0033】

本発明のまた他の態様によれば、基準自動車の一つ以上のブラインドスポットモニタリングのためのＣＮＮのテスティング装置において、学習装置によって、（ｉ）手がかり情報抽出レイヤをもって前記基準自動車の検出器から少なくとも一つの出力に対応されるトレーニングデータに含まれている観察対象自動車に対する学習用クラス情報及び学習用位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の学習用手がかり情報を出力させ、（ｉｉ）ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記学習用手がかり情報を利用して一つ以上の神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットに位置するか否かに対する学習用判断結果を出力させ、（ｉｉｉ）ロスレイヤをもって前記学習用判断結果とこれに対応される原本正解を参考に一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習した状態で、前記基準自動車で撮影されたテストイメージ内に位置する前記観察対象自動車を検出する前記検出器から前記観察対象自動車に対するテスト用クラス情報及びテスト用位置情報を受信する通信部；及び（Ｉ）前記手がかり情報抽出レイヤをもって前記観察対象自動車に対する前記テスト用クラス情報及び前記テスト用位置情報を利用して前記所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上のテスト用手がかり情報を出力させるプロセス及び（ＩＩ）前記ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記テスト用手がかり情報をまたはこれを加工した値を利用して前記神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対するテスト用判断結果を出力させるプロセスを遂行するプロセッサ；を含む。

【0034】

一例として、前記検出器は、前記テストイメージからテスト用特徴マップを生成する一つ以上のコンボリューションレイヤ；前記テスト用特徴マップから前記観察対象自動車に対するテスト用ＲＯＩを獲得するＲＰＮ；前記テスト用特徴マップ内で、前記テスト用ＲＯＩに対応される領域をプーリングし、テスト用特徴ベクトルを生成するプーリングレイヤ；前記テスト用特徴ベクトルに一つ以上のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を加え、一つ以上のＦＣ出力値を生成する少なくとも一つの自動車検出用ＦＣレイヤ；前記ＦＣ出力値を参照し、前記観察対象自動車に対する前記テスト用クラス情報を出力する分類レイヤ；及び前記ＦＣ出力値を参照し、前記観察対象自動車に対する前記テスト用クラス情報を出力する分類レイヤ；及び前記ＦＣ出力値を参照し、前記観察対象自動車に対する前記テスト用位置情報を出力するリグレッションレイヤ；を含むＲ−ＣＮＮ基盤の自動車検出器であることを特徴とする。

【0035】

一例として、前記プロセッサは、前記ＣＮＮをもって前記手がかり情報抽出レイヤによって生成される前記観察対象自動車に対する前記テスト用手がかり情報と前記検出器の前記プーリングレイヤによって生成された前記テスト用の特徴ベクトルを用いてコンカチネートした値を前記ブラインドスポット確認用ＦＣレイヤの入力として受けることを特徴とするテスティング装置。

【0036】

一例として、前記ブラインドスポット確認用ＦＣレイヤは、前記観察対象の自動車に対する前記テスト用手がかり情報またはこれを加工した値を入力とする多重パーセプトロンによって前記観察対象自動車が前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網を含むことを特徴とするテスティング装置。

【0037】

一例として、前記観察対象自動車に対する前記テスト用手がかり情報は、（ｉ）前記観察対象自動車に対する前記テスト用クラス情報、（ｉｉ）前記観察対象自動車に対する前記テスト用位置情報、（ｉｉｉ）ＲＯＩのサイズに対応する前記観察対象自動車のテスト用サイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の前記中心点と前記ブラインドスポットの外側の面との間の距離情報のうち、少なくとも一部を含むことを特徴とするテスティング装置。

【0038】

一例として、前記手がかり情報抽出レイヤは、（ｉ）左側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、小さい値を前記観察対象自動車の前記中心点と前記ブラインドスポットの前記外側の面の間の前記テスト用距離情報と判断し、前記観察対象自動車の前記中心点が前記ブラインドスポットの前記外側の面の外側に位置するか、あるいは内側に位置するかを区分するために、前記テスト用距離情報に追加でテスト用相対的位置情報をさらに出力することを特徴とするテスティング装置。

【0039】

一例として、前記テスト装置の前記基準自動車は、前記学習装置の前記基準自動車と同一でないことを特徴とする。

【0040】

この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ判読可能な記録媒体がさらに提供される。

【発明の効果】

【0041】

本発明は、車両を検出する検出器の種類に関係なく適用可能なブラインドスポットモニタリングシステムを提供し得る。

【0042】

本発明は、検出器の種類に関係なく、検出器からの出力信号を利用し、ブラインドスポットに車両が位置しているかを判別し得るようになる。

【0043】

本発明は、ブラインドスポットモニタリングシステムにおいて、別途ロジックを設計しなくても必要に応じて検出器を取り替えし得るようになるので、ブラインドスポットモニタリングシステムのメンテナンスに伴う費用を最小化することができる。

【0044】

本発明は、すべての検出器に適用し得るので、各々の検出器に対応して、ブラインドスポットに車両が位置するかを判別するためのロジックを設計する必要がなく、よって、ブラインドスポットモニタリングシステム開発に要する時間を最小化することができる。

【図面の簡単な説明】

【0045】

【図1】本発明の一例に係る基準自動車ブラインドスポットモニタリングのための学習装置を概略的に示した図面である。

【図2】本発明の一例に係るブラインドスポットモニタリングのための学習方法を概略的に示した図面である。

【図3】本発明の一例に係るブラインドスポットモニタリングのための学習方法において、観察対象自動車に対する手がかり情報のうち、観察対象自動車の位置情報を例示した図面である。

【図4】本発明の一例に係るブラインドスポットモニタリングのための学習方法において、観察対象自動車に対する手がかり情報のうち、観察対象自動車の中心点とブラインドスポットの外側の面との間の距離情報を例示した図面である。

【図5】本発明の一例に係るブラインドスポットモニタリングのための学習方法において、ブラインドスポット確認用ＦＣレイヤの構造を概略的に示した図面である。

【図6】本発明の一例に係るブラインドスポットモニタリングのためのテスティング装置を概略的に示した図面である。

【図7】本発明の一例に係るブラインドスポットモニタリングのためのテスティング方法を概略的に示した図面である。

【図8】本発明の一例に係るブラインドスポットモニタリングのためのテスティング装置に利用される検出器を概略的に示した図面である。

【図9】本発明の一例に係るブラインドスポットモニタリングのための学習装置を概略的に示した図面である。

【図10】本発明の一例に係るブラインドスポットモニタリングのための学習方法を概略的に示した図面である。

【図11】本発明の一例に係るブラインドスポットモニタリングのためのテスト装置を概略的に示した図面である。

【図12】本発明の一例に係るブラインドスポットモニタリングのためのテスト方法を概略的に示した図面である。

【発明を実施するための形態】

【0046】

本発明の実施例の説明に利用されるために添付された各図面は、本発明の実施例の中の一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業がなされることなくこれらの図面に基づいて他の図面が得られ得る。

【0047】

後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決法及び長所を明らかにするために、本発明が実施され得る特定の実施例を例として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。

【0048】

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者に本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は、実例として提供され、本発明を限定することを意図したものではない。

【0049】

本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。

【0050】

さらに、本発明は本明細書に表示された実施例のあらゆる可能な組合せを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例に係る本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。

【0051】

以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。

【0052】

図１は、本発明の一例に係る基準自動車のブラインドスポットモニタリングのための学習装置１００を概略的に示したもので、図１を参照すれば、前記学習装置１００は、通信部１１０とプロセッサ１２０を含み得る。

【0053】

まず、前記通信部１１０は、前記基準自動車の検出器から少なくとも一つの出力信号に対応されるトレーニングデータを受信し得る。つまり、前記通信部１１０は、後述する前記検出器からの前記出力信号を入力信号（つまり、前記トレーニングデータ）として受信し得る。

【0054】

この際、前記トレーニングデータは、前記検出器からの入力映像に対応されるイメージ上に位置する観察対象自動車に対する情報として、前記観察対象自動車等のような各物体に対するクラス情報や前記観察対象自動車がイメージ内に位置する領域に対する位置情報を含み得る。また、前記トレーニングデータは、データベース１３０に格納され得、前記データベース１３０には、前記トレーニングデータに対応して各々の前記観察対象自動車に対する前記クラス情報及び前記位置情報に対する原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）が格納されていられ得る。

【0055】

次に、前記プロセッサ１２０は、前記手がかり情報抽出レイヤをもって前記トレーニングデータに含まれた前記観察対象自動車に対する前記クラス情報及び前記位置情報を利用し、所定の演算を遂行させることで、前記観察対象自動車に対する一つ以上の手がかり情報を出力させる第１プロセスと、ブラインドスポット確認用ＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤをもって前記観察対象自動車に対する前記手がかり情報を利用して一つ以上の神経網（ニューラルネットワーク）演算を遂行させることで、前記観察対象自動車が前記基準自動車の前記ブラインドスポットの中の一つに位置するのか否かの判断結果を出力させる第２プロセスと、ロスレイヤをもって前記判断結果とこれに対応される原本正解を参考にして一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習する第３プロセスを遂行し得る。

【0056】

この際、本発明の一例に係る前記学習装置１００は、コンピューティング装置として、プロセッサを搭載して演算能力を備えた装置ならいくらでも本発明に係る学習装置１００として採択され得る。また、図１では、一つの学習装置１００のみを示したが、これに限定されず、前記学習装置１００は複数に分けて役割を遂行し得る。

【0057】

このように構成された本発明の一例に係る構成された前記学習装置を利用し、前記基準自動車の前記ブラインドスポットをモニタリングするための学習方法を、図２に基づいて説明すると次のとおりである。

【0058】

まず、前記基準自動車の検出器からの前記出力信号に対応される前記トレーニングデータが入力されれば、前記学習装置１００が、前記手がかり情報抽出レイヤ１２１をもって前記トレーニングデータに含まれた前記観察対象自動車に対する前記クラス情報及び前記位置情報を利用して前記所定の演算を遂行するようにすることで、前記観察対象自動車に対する前記手がかり情報を出力するようにさせる。

【0059】

この際、前記検出器は、ビジョンセンサによって獲得されるイメージ内に位置する前記観察対象自動車を検出するもので、前記イメージ内に前記観察対象自動車が位置すると推定される領域であるＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を検出する仮説生成段階（ｈｙｐｏｔｈｅｓｉｓ ｇｅｎｅｒａｔｉｏｎ ｓｔａｇｅ）と、前記検出されたＲＯＩが前記観察対象自動車を含むか否かを判別する仮説確認段階（ｈｙｐｏｔｈｅｓｉｓ ｖｅｒｉｆｉｃａｔｉｏｎ ｓｔａｇｅ）から構成され得る。そして、前記仮説生成段階は、オプティカルフローを利用するモーション基盤体系（ｍｏｔｉｏｎ−ｂａｓｅｄ ｓｃｈｅｍｅ）や車両の影、角、水平及び垂直の角、対称、色、車両の光、ステレオカメラ、多数の特徴などを利用する形状基盤体系（ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ ｓｃｈｅｍｅ）などとして実装され得、前記仮説確認段階は、テンプレートマッチングを利用する相関関係基盤体系（ｃｏｒｒｅｌａｔｉｏｎ−ｂａｓｅｄ ｓｃｈｅｍｅ）、特徴及び分類器（ｃｌａｓｓｉｆｉｅｒ）を利用する学習基盤体系（ｌｅａｒｎｉｎｇ−ｂａｓｅｄ ｓｃｈｅｍｅ）等で実装され得る。特に、前記学習基盤体系には、ＣＮＮのようなディープランニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）基盤アルゴリズムや、決定木（ｄｅｃｉｓｉｏｎ ｔｒｅｅ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ）、アダブースト（ＡｄａＢｏｏｓｔ）、ＫＮＮ（ｋ−ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｓ）等のシャローラーニング（ｓｈａｌｌｏｗ ｌｅａｒｎｉｎｇ）基盤アルゴリズムが適用され得る。

【0060】

そして、前記観察対象自動車に対する前記手がかり情報は、（ｉ）観察対象自動車に対する前記クラス情報、（ｉｉ）前記観察対象自動車に対する前記位置情報、（ｉｉｉ）前記ＲＯＩのサイズに対応する前記観察対象自動車のサイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の中心点と前記ブラインドスポットの外側の面との間の距離情報のうち、少なくとも一部を含み得る。

【0061】

この際、前記観察対象自動車に対する前記クラス情報は、前記観察対象自動車を、自動車・バイクなどに分類するためのクラス情報であり得る。

【0062】

また、図３を参照すれば、前記観察対象自動車の前記位置情報は、前記イメージ内に前記観察対象自動車が位置する領域に対応する位置情報であり得る。一例として、前記観察対象自動車に対応するバウンディングボックスの位置情報として、前記イメージ内での前記バウンディングボックスの左上段の角（ＴＯＰ＿ＬＥＦＴ）の座標と右下段の角（ＢＯＴＴＯＭ＿ＲＩＧＨＴ）の座標を含み得る。これに加えて、前記バウンディングボックスの中心（ＣＥＮＴＥＲ）の座標を含み得るが、これは前記バウンディングボックスの前記左上段の角（ＴＯＰ＿ＬＥＦＴ）の座標と前記右下段の角（ＢＯＴＴＯＭ＿ＲＩＧＨＴ）の座標を利用した演算によっても獲得され得る。

【0063】

また、図４を参照すれば、（ｉ）左側ブラインドスポット（ＢＳ−Ｌ）の外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポット（ＢＳ−Ｒ）の外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、より小さい値を、前記観察対象自動車の前記中心点（Ｃ）と前記ブラインドスポットの前記外側の面（Ｓ）の間の前記距離情報（Ｌ）と判断し、前記観察対象自動車の前記中心点が、前記ブラインドスポットの前記外側の面の外側に位置しているか、あるいは内側に位置しているかを区別するため、相対的位置情報、一例として、（＋）または（−）を追加的に含み得る。

【0064】

次に、前記学習装置１００は、前記ブラインドスポット確認用ＦＣレイヤ１２２をもって、前記観察対象自動車に対する前記手がかり情報を利用して前記神経網演算を遂行させることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対する前記判断結果を出力するようにさせる。

【0065】

この際、図５を参照すれば、前記ブラインドスポット確認用ＦＣレイヤ１２２は、前記観察対象自動車に対する前記手がかり情報を入力とする多重パーセプトロンによって、前記観察対象自動車が、前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網から構成され得る。図５では、入力情報の数を４個（入力１、入力２、入力３、入力４）で示したが、これは説明の便宜上のもので、前記入力情報の数は、前記手がかり情報抽出レイヤ１２１で生成された前記手がかり情報に対応されるように設定され得る。また、図５で、隠れ層は１つのレイヤで示したが、これに限定されず、多数のレイヤを含み得る。

【0066】

次に、前記学習装置１００は、前記ロスレイヤ１２３をもって前記ブラインドスポット確認用ＦＣレイヤ１２２から出力される前記判断結果とこれに対応される原本正解を参考に前記ロス値を生成するようにさせ、前記ロス値を利用したバックプロパゲーションによって、前記ブラインドスポット確認用ＦＣレイヤ１２２を学習し得る。

【0067】

前記手がかり情報抽出レイヤ１２１、前記ブラインドスポット確認用ＦＣレイヤ１２２、及び前記ロスレイヤ１２３は、一つのコンピューティング装置に含まれるか、各々異なるコンピューティング装置に含まれ得、コンピューティング装置内で前記のような動作を遂行させるアルゴリズムで実装され得る。

【0068】

図６は、本発明の一例による基準自動車のブラインドスポットモニタリングのためのテスティング装置２００を概略的に示したもので、前記テスト装置の前記基準自動車は、前述した前記学習装置の基準自動車と同一でもあり得、同一でなくもあり得、図６を参照すれば、前記テスティング装置２００は、通信部２１０とプロセッサ２２０とを含み得る。

【0069】

まず、前記通信部２１０は、前記基準自動車で撮影されたテストイメージ内に位置する観察対象自動車を検出する検出器２０から前記観察対象自動車に対するテスト用クラス情報及びテスト用位置情報を受信し得る。

【0070】

次に、前記プロセッサ２２０は、前記手がかり情報抽出レイヤをもって前記観察対象自動車に対する前記テスト用クラス情報及び前記テスト用位置情報を利用して前記所定の演算を遂行するようにすることで、前記観察対象自動車に対する一つ以上のテスト用手がかり情報を出力させる第１プロセスと、前記ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記テスト用手がかり情報またはこれを加工した値を利用して前記神経網演算を遂行させることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対してテスト用判断結果を出力させる第２プロセスを遂行し得る。

【0071】

以下で、単語「学習用」及び「テスト用」は、前述した学習方法とテスト方法を区分するために使われる。

【0072】

この際、ブラインドスポット確認用ＦＣレイヤは、図１ないし図５を参照して説明した前記学習方法で、前記学習装置によって一つ以上のパラメータが学習されたもので、前記学習方法を簡単に説明すれば次のとおりである。前記学習装置によって、（ｉ）前記基準自動車の前記検出器２０からの少なくとも一つの出力信号に対応される前記トレーニングデータが入力されれば、前記手がかり情報抽出レイヤをもって前記トレーニングデータに含まる前記観察対象自動車に対する学習用クラス情報及び学習用位置情報を利用して、前記所定の演算を遂行することにより、前記観察対象自動車に対する一つ以上の学習用手がかり情報を出力させ、（ｉｉ）前記ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記学習用手がかり情報を利用して、前記所定の神経網演算を遂行させることで、前記観察対象自動車が前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対する学習用判断結果を出力させ、（ｉｉｉ）前記ロスレイヤをもって前記学習用判断結果とそれに対応される原本正解を参考にして、一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの前記パラメータを学習し得る。

【0073】

そして、本発明の一例による前記テスティング装置２００は、コンピューティング装置として、プロセッサを搭載して演算能力を備えた装置ならいくらでも本発明に係るテスティング装置２００として採択され得る。また、図６では、一つのテスティング装置２００のみを示したが、これに限定されず、前記テスティング装置２００は複数に分けて役割を遂行し得る。

【0074】

このように構成された本発明の一例に係る前記ブラインドスポットモニタリングのための前記テスティング装置を利用して、前記ブラインドスポットモニタリングのためのテスティング方法を、図７に基づいて説明すると次のとおりである。

【0075】

まず、前記テスティング方法を遂行する前に、前記学習装置によって、（ｉ）前記手がかり情報抽出レイヤ２２１をもって前記検出器２０からの前記出力信号に対応される前記トレーニングデータに含まれた前記観察対象自動車に対する前記学習用クラス情報及び前記学習用位置情報を利用して前記所定の演算を遂行するようにすることで、前記観察対象自動車に対する前記学習用手がかり情報を出力するようにして、（ｉｉ）前記ブラインドスポット確認用ＦＣレイヤ２２２をもって前記学習用手がかり情報を利用して前記神経網演算を遂行するようにすることで、前記観察対象自動車が前記基準自動車の前記ブラインドスポットに位置するか否かに対する前記学習用判断結果を出力するようにさせ、（ｉｉｉ）前記ロスレイヤをもって前記学習用判断結果とこれに対応される原本正解を参考にして前記ロス値を生成するようにすることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤ２２２の前記パラメータを学習した状態で、前記検出器２０が前記基準自動車で撮影されたテストイメージ内に位置する前記観察対象自動車を検出し、前記検出された観察対象自動車に対する前記テスト用クラス情報及び前記テスト用位置情報を出力する。

【0076】

この際、前記検出器２０は、ビジョンセンサによって獲得されるイメージ内に位置する前記観察対象自動車を検出するもので、前記イメージ内に前記観察対象自動車が位置すると推定される領域であるＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を検出する仮説生成段階（ｈｙｐｏｔｈｅｓｉｓ ｇｅｎｅｒａｔｉｏｎ ｓｔａｇｅ）と、前記検出されたＲＯＩが前記観察対象自動車を含むか否かを判別する仮説確認段階（ｈｙｐｏｔｈｅｓｉｓ ｖｅｒｉｆｉｃａｔｉｏｎ ｓｔａｇｅ）から構成され得る。そして、前記仮説生成段階は、オプティカルフローを利用するモーション基盤体系（ｍｏｔｉｏｎ−ｂａｓｅｄ ｓｃｈｅｍｅ）や車両の影、角、水平及び垂直の角、対称、色、車両の光、ステレオカメラ、多数の特徴などを利用する形状基盤体系（ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ ｓｃｈｅｍｅ）などとして実装され得、前記仮説確認段階は、テンプレートマッチングを利用する相関関係基盤体系（ｃｏｒｒｅｌａｔｉｏｎ−ｂａｓｅｄ ｓｃｈｅｍｅ）、特徴及び分類器（ｃｌａｓｓｉｆｉｅｒ）を利用する学習基盤体系（ｌｅａｒｎｉｎｇ−ｂａｓｅｄ ｓｃｈｅｍｅ）等で実装され得る。特に、前記学習基盤体系には、ＣＮＮのようなディープランニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）基盤アルゴリズムや、決定木（ｄｅｃｉｓｉｏｎ ｔｒｅｅ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ）、アダブースト（ＡｄａＢｏｏｓｔ）、ＫＮＮ（ｋ−ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｓ）等のシャローラーニング（ｓｈａｌｌｏｗ ｌｅａｒｎｉｎｇ）基盤アルゴリズムが適用され得る。

【0077】

一例として、図８を参照すれば、前記検出器２０は、Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ−ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤の自動車検出器で、前記テストイメージからテスト用特徴マップを獲得するコンボリューションレイヤ２１、前記テスト用特徴マップから前記観察対象自動車に対するテスト用ＲＯＩを生成するＲＰＮ２２、前記テスト用特徴マップ内で前記テスト用ＲＯＩに対応される領域をプーリングしてテスト用特徴ベクトルを生成するプーリングレイヤ２３、前記テスト用特徴ベクトルに少なくとも一度ＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を加えて、一つ以上のＦＣ出力値を生成する少なくとも一つの自動車検出用ＦＣレイヤ２４、前記ＦＣ出力値を参照して前記観察対象自動車の前記テスト用クラス情報を出力する分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）レイヤ２５、及び前記ＦＣ出力値を参照して前記観察対象自動車の前記テスト用位置情報を出力するリグレッション（ｒｅｇｒｅｓｓｉｏｎ）レイヤ２６を含み得る。この際、前記コンボリューションレイヤ２１と、前記自動車検出用ＦＣレイヤ２４を各々一つのレイヤとして説明したが、これに限定されず、各々多数のレイヤに形成され得る。また、前記テスト用特徴マップは、前記コンボリューションレイヤ２１によるチャネルの深さに対応する一つ以上の特徴マップに出力され得る。

【0078】

すると、前記試験装置２００は、前記手がかり情報抽出レイヤ２２１をもって前記観察対象自動車に対する前記テスト用クラス情報及び前記テスト用位置情報を利用して前記所定の演算を遂行するようにすることで、前記観察対象自動車に対する前記テスト用手がかり情報を出力させる。

【0079】

この際、前記観察対象自動車に対する前記テスト用手がかり情報は、（ｉ）前記観察対象自動車に対する前記テスト用クラス情報、（ｉｉ）前記観察対象自動車に対する前記テスト用位置情報、（ｉｉｉ）テスト用ＲＯＩのサイズに対比される前記観察対象自動車のテスト用サイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の中心点と前記ブラインドスポットの外側の面との間のテスト用距離情報のうち、少なくとも一部を含み得る。

【0080】

そして、前記観察対象自動車に対するテスト用クラス情報は、前記観察対象自動車を、自動車・バイクなどに分類するためのクラス情報であり得る。

【0081】

また、図３を参照して説明したように、前記観察対象自動車の前記テスト用位置情報は、前記テストイメージ内に前記観察対象自動車が位置する領域に対応する位置情報であり得る。一例として、前記観察対象自動車に対応するバウンディングボックスの位置情報として、前記テストイメージ内での前記バウンディングボックスの左上段の角（ＴＯＰ＿ＬＥＦＴ）の座標と右下段の角（ＢＯＴＴＯＭ＿ＲＩＧＨＴ）の座標が含まれ得る。これに加えて、前記バウンディングボックスの中心（ＣＥＮＴＥＲ）の座標を含み得るが、これは前記バウンディングボックスの前記左上段の角（ＴＯＰ＿ＬＥＦＴ）の座標と前記右下段の角（ＢＯＴＴＯＭ＿ＲＩＧＨＴ）の座標を利用した演算によっても獲得され得る。

【0082】

また、図４を参照して説明したように、（ｉ）左側ブラインドスポット（ＢＳ−Ｌ）の外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポット（ＢＳ−Ｒ）の外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、より小さい値を、前記観察対象自動車の前記中心点（Ｃ）と前記ブラインドスポットの前記外側の面（Ｓ）の間の前記テスト用距離情報（Ｌ）と判断し、前記観察対象自動車の前記中心点が、前記ブラインドスポットの前記外側の面の外側に位置しているか、あるいは内側に位置しているかを区別するため、テスト用相対的位置情報、一例として、（＋）または（−）を追加的に含み得る。

【0083】

次に、前記学習装置２００は、前記ブラインドスポット確認用ＦＣレイヤ２２２をもって、前記観察対象自動車に対する前記テスト用手がかり情報またはこれを加工した値を利用して前記神経網演算を遂行させることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するのか否かに対する前記テスト用判断結果を出力させるようにする。

【0084】

この際、前記テスト用手がかり情報を加工した値は、前記手がかり情報抽出レイヤ２２１から出力される前記観察対象自動車に対する前記テスト用手がかり情報と、前記検出器２０の前記プーリングレイヤ２３で出力される前記テスト用特徴ベクトルを利用してコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）した値であり得、前記テスト用手がかり情報と前記テスト用特徴ベクトルをコンカチネートする特徴コンカチネーションレイヤが、前記ブラインドスポット確認用ＦＣレイヤ２２２の前に位置し得る。

【0085】

また、図５を参照に説明したように、前記ブラインドスポット確認用ＦＣレイヤ２２２は、前記観察対象自動車に対する前記テスト用手がかり情報またはこれを加工した値を入力とする多重パーセプトロンによって、前記観察対象自動車が、前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網から構成され得る。

【0086】

前記手がかり情報抽出レイヤ２２１、前記ブラインドスポット確認用ＦＣレイヤ２２２は、一つのコンピューティング装置に含まれるか、各々異なるコンピューティング装置に含まれ得、コンピューティング装置内で前記のような動作を遂行させるアルゴリズムで実装され得る。

【0087】

図９は、本発明の他の例に係る基準自動車のブラインドスポットモニタリングのための学習装置３００を概略的に例示した図面であり、図９を参照すれば、前記学習装置３００は、通信部３１０とプロセッサ３２０を含み得る。

【0088】

まず、前記通信部３１０は、前記基準自動車で撮影された映像イメージに対応されるトレーニングデータを受信し得る。

【0089】

この際、前記トレーニングデータは、データベース３３０に格納されていられ得、前記データベース３３０には、前記トレーニングデータに対応して各々の観察対象自動車に対するクラス情報及び位置情報に対する原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）が格納されていられ得る。

【0090】

次に、前記プロセッサ３２０は、前記基準自動車の検出器３０をもって前記観察対象自動車に対する前記クラス情報及び前記位置情報を出力させる第１プロセスと、手がかり情報抽出レイヤをもって前記観察対象自動車に対する前記クラス情報及び前記位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の手がかり情報を出力するようにさせ、ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記手がかり情報またはこれを加工した値を利用して一つ以上の神経網演算を遂行するようにし、前記観察対象自動車が前記ブラインドスポットの中の一つに位置するのか否かに対する判断結果を出力させる第２プロセスと、第１ロスレイヤをもって前記判断結果及びこれに対応される第１原本正解を参考にして一つ以上のブラインドスポットロス値を生成させることで、前記ブラインドスポットロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習し、第２ロスレイヤをもって前記観察対象自動車に対する前記クラス情報及び前記位置情報とこれに対応される第２原本正解を参考にして一つ以上の自動車検出ロス値を生成させることで、前記自動車検出ロス値を利用したバックプロパゲーションによって前記検出器の一つ以上のパラメータを学習する第３プロセスを遂行し得る。

【0091】

この際、本発明の他の例に係る前記学習装置３００は、コンピューティング装置として、プロセッサを搭載して演算能力を備えた装置ならいくらでも本発明に係る学習装置３００として採択され得る。また、図９では、一つの学習装置３００のみを示したが、これに限定されず、前記学習装置３００は複数に分けて役割を遂行し得る。

【0092】

このように構成された本発明の他の例によって構成された前記学習装置を利用して前記基準自動車の前記ブラインドスポットをモニタリングするための学習方法を、図１０を参照に説明すると次のとおりである。

【0093】

まず、前記基準自動車で撮影された前記映像イメージに対応されるトレーニングイメージが入力されれば、前記検出器３０が前記トレーニングイメージに含まれた前記観察対象自動車に対する前記クラス情報及び前記位置情報を出力する。

【0094】

この際、自動車検出器３０は、ビジョンセンサによって獲得されるイメージ内に位置する前記観察対象自動車を検出するもので、前記イメージ内に前記観察対象自動車が位置すると推定される領域であるＲＯＩを検出する仮説生成段階（ｈｙｐｏｔｈｅｓｉｓ ｇｅｎｅｒａｔｉｏｎ ｓｔａｇｅ）と、前記検出されたＲＯＩが前記観察対象自動車を含むか否かを判別する仮説確認段階（ｈｙｐｏｔｈｅｓｉｓ ｖｅｒｉｆｉｃａｔｉｏｎ ｓｔａｇｅ）から構成され得る。

【0095】

そして、前記仮説生成段階は、オプティカルフローを利用するモーション基盤体系（ｍｏｔｉｏｎ−ｂａｓｅｄ ｓｃｈｅｍｅ）や車両の影、角、水平及び垂直の角、対称、色、車両の光、ステレオカメラ、多数の特徴などを利用する形状基盤体系（ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ ｓｃｈｅｍｅ）などとして実装され得、前記仮説確認の段階は、テンプレートマッチングを利用する相関関係基盤体系（ｃｏｒｒｅｌａｔｉｏｎ−ｂａｓｅｄ ｓｃｈｅｍｅ）、特徴及び分類器（ｃｌａｓｓｉｆｉｅｒ）を利用する学習基盤体系（ｌｅａｒｎｉｎｇ−ｂａｓｅｄ ｓｃｈｅｍｅ）等で実装され得る。特に、前記学習基盤体系には、ＣＮＮのようなディープランニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）基盤アルゴリズムや、決定木（ｄｅｃｉｓｉｏｎ ｔｒｅｅ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ）、アダブースト（ＡｄａＢｏｏｓｔ）、ＫＮＮ（ｋ−ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｓ）等のシャローラーニング（ｓｈａｌｌｏｗ ｌｅａｒｎｉｎｇ）基盤アルゴリズムが適用され得る。

【0096】

一例として、図８を参照して説明した検出器と類似して、前記検出器３０は、Ｒ−ＣＮＮ基盤の自動車検出器で、前記トレーニングイメージから特徴マップを生成するコンボリューションレイヤ３１、前記特徴マップから前記観察対象自動車に対するＲＯＩを生成するＲＰＮ３２、前記特徴マップ内で前記ＲＯＩに対応される領域をプーリングして特徴ベクトルを生成するプーリングレイヤ３３、前記特徴ベクトルに少なくとも一度ＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を加えて、一つ以上のＦＣ出力値を生成する少なくとも一つの自動車検出用ＦＣレイヤ３４、前記ＦＣ出力値を参照して前記観察対象自動車の前記クラス情報を出力する分類レイヤ３５、及び前記ＦＣ出力値を参照して前記観察対象自動車の前記位置情報を出力するリグレッションレイヤ３６を含み得る。この際、前記コンボリューションレイヤ３１と、前記自動車検出用ＦＣレイヤ３４は、少なくとも一つのレイヤに形成され得る。

【0097】

次に、前記試験装置３００は、前記手がかり情報抽出レイヤ３２１をもって前記観察対象自動車に対する前記クラス情報及び前記位置情報を利用し、前記所定の演算を遂行するようにすることで、前記観察対象自動車に対する前記手がかり情報を出力するようにする。

【0098】

この際、前記観察対象自動車に対する前記手がかり情報は、（ｉ）前記観察対象自動車に対する前記クラス情報、（ｉｉ）前記観察対象自動車に対する前記位置情報、（ｉｉｉ）前記ＲＯＩのサイズに対応する前記観察対象自動車のサイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の中心点と前記ブラインドスポットの外側の面との間の距離情報のうち、少なくとも一部を含み得る。

【0099】

この際、前記観察対象自動車に対する前記クラス情報は、前記観察対象自動車を、自動車・バイクなどに分類するためのクラス情報であり得る。

【0100】

また、図３を参照して説明したものと類似して、前記観察対象自動車の前記位置情報は、前記イメージ内に前記観察対象自動車が位置する領域に対応する位置情報であり得る。一例として、前記観察対象自動車に対応するバウンディングボックスの位置情報として、前記イメージ内での前記バウンディングボックスの左上段の角（ＴＯＰ＿ＬＥＦＴ）の座標と右下段の角（ＢＯＴＴＯＭ＿ＲＩＧＨＴ）の座標を含み得る。これに加えて、前記バウンディングボックスの中心（ＣＥＮＴＥＲ）の座標を含み得るが、これは前記バウンディングボックスの前記左上段の角（ＴＯＰ＿ＬＥＦＴ）の座標と前記右下段の角（ＢＯＴＴＯＭ＿ＲＩＧＨＴ）の座標を利用した演算によっても獲得され得る。

【0101】

また、図４を参照して説明したものと類似して、（ｉ）左側ブラインドスポット（ＢＳ−Ｌ）の外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポット（ＢＳ−Ｒ）の外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、より小さい値を、前記観察対象自動車の前記中心点（Ｃ）と前記ブラインドスポットの前記外側の面（Ｓ）の間の前記距離情報（Ｌ）と判断し、前記観察対象自動車の前記中心点が、前記ブラインドスポットの前記外側の面の外側に位置しているか、あるいは内側に位置しているかを区別するため、相対的位置情報、一例として、（＋）または（−）を追加的に含み得る。

【0102】

次に、前記学習装置３００は、前記ブラインドスポット確認用ＦＣレイヤ３２２をもって、前記観察対象自動車に対する前記手がかり情報またはこれを加工した値を利用して前記神経網演算を遂行させることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するのか否かに対する前記判断結果を出力するようにさせる。

【0103】

この際、前記手がかり情報を加工した値は、前記手がかり情報抽出レイヤ３２１から出力される前記観察対象自動車に対する前記手がかり情報と、前記検出器３０の前記プーリングレイヤ３３で出力される前記特徴ベクトルをコンカチネートした値であり得、前記手がかり情報と前記特徴ベクトルをコンカチネートする特徴コンカチネーションレイヤ３４０が、前記ブラインドスポット確認用ＦＣレイヤ３２２の前に位置し得る。

【0104】

また、図５を参照して説明してものと類似して、前記ブラインドスポット確認用ＦＣレイヤ３２２は、前記観察対象自動車に対する前記手がかり情報またはこれを加工した値を入力とする多重パーセプトロンによって、前記観察対象自動車が、前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網から構成され得る。

【0105】

次に、前記学習装置３００は、第１ロスレイヤ３２３をもって（ｉ）前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対する判断結果及び（ｉｉ）これに対応される第１原本正解を参考にして前記ブラインドスポットロス値を獲得するようにさせ、前記ブラインドスポットロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤ３２２の前記パラメータを学習し、前記第２ロスレイヤ３２４をもって前記観察対象自動車に対する前記クラス情報及び前記位置情報とこれに対応される第２原本正解を参考にして、前記自動車検出ロス値を獲得するようにすることで、前記自動車検出ロス値を利用したバックプロパゲーションによって前記検出器３０の前記パラメータを学習し得る。

【0106】

この際、前記自動車検出ロス値は、前記観察対象自動車に対する一つ以上のクラスロス値と、一つ以上の位置ロス値を含み得、前記学習装置３００は、前記クラスロス値と前記位置ロス値を利用したバックプロパゲーションによって前記検出器３０の前記自動車検出用ＦＣレイヤ３４の一つ以上のパラメータ、または前記コンボリューションレイヤ３１の一つ以上のパラメータを学習させ得る。また、図示はされていないが、前記学習装置３００は、前記検出器３０の前記ＲＰＮ３２によって生成された前記ＲＯＩと、前記トレーニングイメージに対応されるＲＯＩ原本正解を参考にして一つ以上のＲＯＩロス値とを獲得して、これを利用したバックプロパゲーションによって前記ＲＰＮ３２の一つ以上のパラメータを学習し得る。

【0107】

前記手がかり情報抽出レイヤ３２１、前記ブラインドスポット確認用ＦＣレイヤ３２２は、一つのコンピューティング装置に含まれるか、各々異なるコンピューティング装置に含まれ得、コンピューティング装置内で前記のような動作を遂行させるアルゴリズムで実装され得る。また、第１ロスレイヤ３２３及び第２ロスレイヤ３２４は、一つのコンピューティング装置に含まれるか、各々異なるコンピューティング装置に含まれ得、コンピューティング装置内で前記のような動作を遂行させるアルゴリズムで実装され得る。

【0108】

図１１は、本発明の一例に係る基準自動車のブラインドスポットモニタリングのためのテスティング装置４００を概略的に示したもので、前記テスト装置の前記基準自動車は、前述した前記学習装置の基準自動車と同一でもあり得、同一でなくもあり得、図１１を参照すれば、前記テスティング装置４００は、通信部４１０とプロセッサ４２０とを含み得る。

【0109】

まず、前記通信部４１０は、前記基準自動車で撮影されたテストイメージ内に位置する観察対象自動車を検出する検出器４０から前記観察対象自動車に対するテスト用クラス情報及びテスト用位置情報を受信し得る。

【0110】

この際、前記検出器４０は、ビジョンセンサによって獲得されるイメージ内に位置する前記観察対象自動車を検出するもので、前記イメージ内に前記観察対象自動車が位置すると推定される領域であるＲＯＩを検出する仮説生成段階（ｈｙｐｏｔｈｅｓｉｓ ｇｅｎｅｒａｔｉｏｎ ｓｔａｇｅ）と、前記検出されたＲＯＩが前記観察対象自動車を含むか否かを判別する仮説確認段階（ｈｙｐｏｔｈｅｓｉｓ ｖｅｒｉｆｉｃａｔｉｏｎ ｓｔａｇｅ）から構成され得る。そして、前記仮説生成段階は、オプティカルフローを利用するモーション基盤体系（ｍｏｔｉｏｎ−ｂａｓｅｄ ｓｃｈｅｍｅ）や車両の影、角、水平及び垂直の角、対称、色、車両の光、ステレオカメラ、多数の特徴などを利用する形状基盤体系（ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ ｓｃｈｅｍｅ）などとして実装され得、前記仮説確認段階は、テンプレートマッチングを利用する相関関係基盤体系（ｃｏｒｒｅｌａｔｉｏｎ−ｂａｓｅｄ ｓｃｈｅｍｅ）と特徴及び分類器（ｃｌａｓｓｉｆｉｅｒ）を利用する学習基盤体系（ｌｅａｒｎｉｎｇ−ｂａｓｅｄ ｓｃｈｅｍｅ）等で実装され得る。特に、前記学習基盤体系には、ＣＮＮのようなディープランニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）基盤アルゴリズムや、決定木（ｄｅｃｉｓｉｏｎ ｔｒｅｅ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ）、アダブースト（ＡｄａＢｏｏｓｔ）、ＫＮＮ（ｋ−ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｓ）等のシャローラーニング（ｓｈａｌｌｏｗ ｌｅａｒｎｉｎｇ）基盤アルゴリズムが適用され得る。

【0111】

一例として、図８を参照して説明した検出器と類似して、前記検出器４０は、Ｒ−ＣＮＮ基盤の自動車検出器で、前記テストイメージからテスト用特徴マップを生成する前記コンボリューションレイヤ、前記特徴マップから前記観察対象自動車に対する前記テスト用ＲＯＩを獲得するＲＰＮ、前記テスト用特徴マップ内で前記テスト用ＲＯＩに対応される領域をプーリングしてテスト用特徴ベクトルを獲得する前記プーリングレイヤ、前記テスト用特徴ベクトルに一つ以上のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を加えて、一つ以上のＦＣ出力値を生成する前記自動車検出用ＦＣレイヤ、前記ＦＣ出力値を参照して前記観察対象自動車の前記テスト用クラス情報を出力する前記分類レイヤ、及び前記ＦＣ出力値を参照して前記観察対象自動車の前記テスト用位置情報を出力する前記リグレッションレイヤを含み得る。この際、前記コンボリューションレイヤと、前記自動車検出用ＦＣレイヤは、各々一つのレイヤで説明したが、これに限定されず、各々多数のレイヤに形成され得る。また、前記テスト用特徴マップは、前記コンボリューションレイヤ４１によるチャネルの深さに対応する一つ以上の特徴マップとして出力され得る。

【0112】

次に、プロセッサ４２０は、前記手がかり情報抽出レイヤをもって前記観察対象自動車に対する前記テスト用クラス情報及び前記テスト用位置情報を利用して前記所定の演算を遂行するようにすることで、前記観察対象自動車に対する一つ以上のテスト用手がかり情報を出力させる第１プロセスと、前記ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記テスト用手がかり情報またはこれを加工した値を利用して前記神経網演算を遂行させることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対してテスト用判断結果を出力させる第２プロセスを遂行し得る。

【0113】

以下で、単語「学習用」及び「テスト用」は、前述した学習方法とテスト方法を区分するために使われる。

【0114】

この際、前記検出器４０と前記ブラインドスポット確認用ＦＣレイヤは、図９及び図１０を参照して説明した学習方法で前記学習装置によってパラメータが学習されたもので、前記学習方法を簡単に説明すると次のとおりである。前記検出器４０が、前記基準自動車で撮影された映像イメージに対応されるトレーニングイメージに含まれた前記観察対象自動車に対する学習用クラス情報及び学習用位置情報を出力すれば、前記学習装置が、（ｉ）前記手がかり情報抽出レイヤをもって前記観察対象自動車に対する学習用クラス情報及び前記学習用位置情報を利用して前記所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の学習用手がかり情報を出力させ、（ｉｉ）前記ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記学習用手がかり情報またはこれを加工した値を利用して前記神経網演算を遂行するようにすることで、前記観察対象自動車が、前記ブラインドスポットの中の一つに位置するか否かに対する学習用判断結果を出力させ、（ｉｉｉ）前記第１ロスレイヤをもって前記学習用判断結果とこれに対応される前記第１原本正解を参考にして一つ以上のブラインドスポットロス値を生成させることで、前記ブラインドスポットロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤのパラメータを学習し、前記第２ロスレイヤをもって前記学習用クラス情報及び前記学習用位置情報とこれに対応される前記第２原本正解を比較して一つ以上の自動車検出ロス値を生成させることで、前記自動車検出ロス値を利用したバックプロパゲーションによって前記検出器のパラメータを学習し得る。

【0115】

そして、本発明の他の例に係る前記テスティング装置４００は、コンピューティング装置として、プロセッサを搭載して演算能力を備えた装置ならいくらでも本発明に係るテスティング装置４００として採択され得る。また、図１１では、一つのテスティング装置４００のみを示したが、これに限定されず、前記テスティング装置４００は複数に分けて役割を遂行し得る。

【0116】

このように構成された本発明の他の例によって構成された前記テスティング装置を利用して前記基準自動車の前記ブラインドスポットをモニタリングするためのテスティング方法を、図１２を参照に説明すると次のとおりである。

【0117】

まず、前記検出器４０が、前記基準自動車で撮影された映像イメージに対応される前記トレーニングイメージに含まれた前記観察対象自動車に対する学習用クラス情報及び学習用位置情報を出力すれば、前記学習装置によって、（ｉ）前記手がかり情報抽出レイヤ４２１をもって前記観察対象自動車に対する前記学習用クラス情報及び前記学習用位置情報を利用して前記所定の演算を遂行させることにより、前記観察対象自動車に対する前記学習用手がかり情報を出力させ、（ｉｉ）前記ブラインドスポット確認用ＦＣレイヤ４２２をもって前記学習用手がかり情報またはこれを加工した値を利用して前記神経網演算を遂行するようにすることで、前記観察対象自動車が、前記ブラインドスポットの中の一つに位置するか否かに対する前記学習用判断結果を出力させ、（ｉｉｉ）前記第１ロスレイヤをもって前記学習用判断結果とこれに対応される第１原本正解を参考にしてブラインドスポットロス値を生成させることで、前記ブラインドスポットロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤ４２２の一つ以上のパラメータを学習し、前記第２ロスレイヤをもって前記学習用クラス情報及び前記学習用位置情報とこれに対応される第２原本正解を参考して前記自動車検出ロス値を生成させることで、前記自動車検出ロス値を利用したバックプロパゲーションによって前記検出器４０の前記パラメータを学習した状態で、前記検出器４０が、前記基準自動車で撮影されたテストイメージ内に位置する前記観察対象自動車を検出し、前記検出された観察対象自動車に対するテスト用クラス情報及びテスト用位置情報を出力し得る。

【0118】

この際、前記検出器４０は、ビジョンセンサによって獲得されるイメージ内に位置する自動車を検出するもので、前記イメージ内に前記観察対象自動車が位置すると推定される領域であるＲＯＩを検出する仮説生成段階（ｈｙｐｏｔｈｅｓｉｓ ｇｅｎｅｒａｔｉｏｎ ｓｔａｇｅ）と、前記検出されたＲＯＩが前記観察対象自動車を含むか否かを判別する仮説確認段階（ｈｙｐｏｔｈｅｓｉｓ ｖｅｒｉｆｉｃａｔｉｏｎ ｓｔａｇｅ）から構成され得る。そして、前記仮説生成段階は、オプティカルフローを利用するモーション基盤体系（ｍｏｔｉｏｎ−ｂａｓｅｄ ｓｃｈｅｍｅ）や車両の影、角、水平及び垂直の角、対称、色、車両の光、ステレオカメラ、多数の特徴などを利用する形状基盤体系（ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ ｓｃｈｅｍｅ）などとして実装され得、前記仮説確認の段階は、テンプレートマッチングを利用する相関関係基盤体系（ｃｏｒｒｅｌａｔｉｏｎ−ｂａｓｅｄ ｓｃｈｅｍｅ）、特徴及び分類器（ｃｌａｓｓｉｆｉｅｒ）を利用する学習基盤体系（ｌｅａｒｎｉｎｇ−ｂａｓｅｄ ｓｃｈｅｍｅ）等で実装され得る。特に、前記学習基盤体系には、ＣＮＮのようなディープランニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）基盤アルゴリズムや、決定木（ｄｅｃｉｓｉｏｎ ｔｒｅｅ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ）、アダブースト（ＡｄａＢｏｏｓｔ）、ＫＮＮ（ｋ−ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｓ）等のシャローラーニング（ｓｈａｌｌｏｗ ｌｅａｒｎｉｎｇ）基盤アルゴリズムが適用され得る。

【0119】

一例として、前記検出器４０は、Ｒ−ＣＮＮ基盤の自動車検出器で、前記テストイメージからテスト用特徴マップを獲得する前記コンボリューションレイヤ４１、前記テスト用特徴マップから前記観察対象自動車に対する前記テスト用ＲＯＩを生成するＲＰＮ４２、前記テスト用特徴マップ内で前記テスト用ＲＯＩに対応される領域をプーリングしてテスト用特徴ベクトルを生成する前記プーリングレイヤ４３、前記テスト用特徴ベクトルにＦＣ演算を加えて、一つ以上のＦＣ出力値を生成する前記自動車検出用ＦＣレイヤ４４、前記ＦＣ出力値を参照して前記観察対象自動車に対する前記テスト用クラス情報を出力する前記分類レイヤ４５、及び前記ＦＣ出力値を参照して前記観察対象自動車に対する前記テスト用位置情報を出力する前記リグレッションレイヤ４６を含み得る。この際、前記コンボリューションレイヤ４１と、前記自動車検出用ＦＣレイヤ４４は、各々一つのレイヤで説明したが、これに限定されず、各々多数のレイヤに形成され得る。

【0120】

すると、前記テスティング装置４００は、前記手がかり情報抽出レイヤ４２１をもって前記観察対象自動車に対する前記テスト用クラス情報及び前記テスト用位置情報を利用して前記所定の演算を遂行させることにより、前記観察対象自動車に対する前記テスト用手がかり情報を出力させる。

【0121】

この際、前記観察対象自動車に対する前記テスト用手がかり情報は、（ｉ）前記観察対象自動車に対する前記テスト用クラス情報、（ｉｉ）前記観察対象自動車に対する前記テスト用位置情報、（ｉｉｉ）テスト用ＲＯＩのサイズに対比される前記観察対象自動車のテスト用サイズ情報、（ｉｖ）前記観察対象自動車のテスト用アスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の前記中心点と前記ブラインドスポットの外側の面との間のテスト用距離情報のうち、少なくとも一部を含み得る。

【0122】

そして、前記観察対象自動車に対する前記テスト用クラス情報は、前記観察対象自動車を、自動車・バイクなどに分類するためのクラス情報であり得る。

【0123】

また、図３を参照して説明したものと類似して、前記観察対象自動車の前記テスト用位置情報は、前記テストイメージ内に前記観察対象自動車が位置する領域に対応する位置情報であり得る。一例として、前記観察対象自動車に対応するバウンディングボックスの位置情報として、前記テストイメージ内での前記バウンディングボックスの左上段の角（ＴＯＰ＿ＬＥＦＴ）の座標と右下段の角（ＢＯＴＴＯＭ＿ＲＩＧＨＴ）の座標を含み得る。これに加えて、前記バウンディングボックスの中心（ＣＥＮＴＥＲ）の座標を含み得るが、これは前記バウンディングボックスの前記左上段の角（ＴＯＰ＿ＬＥＦＴ）の座標と前記右下段の角（ＢＯＴＴＯＭ＿ＲＩＧＨＴ）の座標を利用した演算によっても獲得され得る。

【0124】

また、図４を参照して説明したものと類似して、（ｉ）左側ブラインドスポット（ＢＳ−Ｌ）の外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポット（ＢＳ−Ｒ）の外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、より小さい値を、前記観察対象自動車の前記中心点（Ｃ）と前記ブラインドスポットの前記外側の面（Ｓ）の間の前記テスト用距離情報（Ｌ）と判断し、前記観察対象自動車の前記中心点が、前記ブラインドスポットの前記外側の面の外側に位置しているか、あるいは内側に位置しているかを区別するため、相対的位置情報、一例として、（＋）または（−）を追加的に含み得る。

【0125】

次に、前記テスティング装置４００は、前記ブラインドスポット確認用ＦＣレイヤ４２２をもって、前記観察対象自動車に対する前記テスト用手がかり情報またはこれを加工した値を利用して前記神経網演算を遂行させることで、前記観察対象自動車が、前記ブラインドスポットの中の一つに位置するか否かに対する前記テスト用判断結果を出力させるようにする。

【0126】

この際、前記テスト用手がかり情報を加工した値は、前記手がかり情報抽出レイヤ４２１から出力される前記観察対象自動車に対する前記テスト用手がかり情報と、前記検出器４０の前記プーリングレイヤ４３で出力される前記テスト用特徴ベクトルを利用してコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）した値であり得、前記テスト用手がかり情報と前記テスト用特徴ベクトルをコンカチネートする特徴コンカチネーションレイヤ４４０が、前記ブラインドスポット確認用ＦＣレイヤ４２２の前に位置し得る。

【0127】

また、図５を参照に説明したものと類似して、前記ブラインドスポット確認用ＦＣレイヤ４２２は、前記観察対象自動車に対する前記テスト用手がかり情報またはこれを加工した値を入力とする多重パーセプトロンによって、前記観察対象自動車が、前記ブラインドスポットの中の一つに位置するか否かに対する一つの結果値を出力する神経網から構成され得る。

【0128】

前記手がかり情報抽出レイヤ４２１、前記ブラインドスポット確認用ＦＣレイヤ４２２は、一つのコンピューティング装置に含まれるか、各々異なるコンピューティング装置に含まれ得、コンピューティング装置内で前記のような動作を遂行させるアルゴリズムで実装され得る。

【0129】

また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。 前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。

【0130】

以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。

【0131】

従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

【符号の説明】

【0132】

１００ 学習装置
１２１ 手がかり情報抽出レイヤ
１２２ ブラインドスポット確認用ＦＣレイヤ
１２３ ロスレイヤ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】