ホーム > 特許ランキング > 株式会社ストラドビジョン
知財求人 - 知財ポータルサイト「IP Force」
特許6704971自動車のブラインドスポットモニタリング方法及びこれを利用したブラインドスポットモニタ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6704971
(24)【登録日】2020年5月15日
(45)【発行日】2020年6月3日
(54)【発明の名称】自動車のブラインドスポットモニタリング方法及びこれを利用したブラインドスポットモニタ
(51)【国際特許分類】
G06T 7/00 20170101AFI20200525BHJP
G06T 7/73 20170101ALI20200525BHJP
B60R 1/00 20060101ALI20200525BHJP
G08G 1/16 20060101ALI20200525BHJP
【ＦＩ】
G06T7/00 650B
G06T7/00 350C
G06T7/73
B60R1/00 A
G08G1/16 C
【請求項の数】26
【外国語出願】
【全頁数】26
(21)【出願番号】特願2018-189176(P2018-189176)
(22)【出願日】2018年10月4日
(65)【公開番号】特開2019-71057(P2019-71057A)
(43)【公開日】2019年5月9日
【審査請求日】2018年11月2日
(31)【優先権主張番号】15/725,394
(32)【優先日】2017年10月5日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】517038176
【氏名又は名称】株式会社ストラドビジョン
(74)【代理人】
【識別番号】110001737
【氏名又は名称】特許業務法人スズエ国際特許事務所
(72)【発明者】
【氏名】キム、ヨンジョン
(72)【発明者】
【氏名】ナム、ウンユン
(72)【発明者】
【氏名】ボ、シュクフン
(72)【発明者】
【氏名】シュン、ミュンチュル
(72)【発明者】
【氏名】エオ、ドンフン
(72)【発明者】
【氏名】リュウ、ウージュ
(72)【発明者】
【氏名】ジャン、タエウォン
(72)【発明者】
【氏名】ジョン、キュンジョン
(72)【発明者】
【氏名】ジェ、ホンモ
(72)【発明者】
【氏名】チョ、ホジン
【審査官】
稲垣 良一
(56)【参考文献】
【文献】
特開２０１７−１６３３４５（ＪＰ，Ａ）
【文献】
国際公開第２０１７／０７９５２１（ＷＯ，Ａ１）
【文献】
韓国公開特許第１０−２０１６−００９６４６０（ＫＲ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｔ ７／００ − ７／９０
Ｇ０８Ｇ １／００ − ９９／００
Ｂ６０Ｒ １／０８
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
自動車のブラインドスポットをモニタリングする方法において、
（ａ）基準自動車の運行中、前記基準自動車から撮影された後方映像イメージが獲得されると、ブラインドスポットモニタは、前記後方映像イメージから少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を獲得する段階；
（ｂ）前記ブラインドスポットモニタは、（ｉ）前記後方映像イメージに位置する少なくとも一つのオブジェクト（ｏｂｊｅｃｔ）に対応するｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ ｂｏｘ）を獲得し、（ｉｉ）前記特徴マップの前記ｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して前記ｍ個のプロポーザルボックス各々に対応する特徴ベクタ（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を獲得し、（ｉｉｉ）前記ｍ個のプロポーザルボックス各々に対応する前記特徴ベクタを第１ＦＣレイヤに各々入力して（ｉｉｉ−１）前記オブジェクトが観察対象自動車か否かを確認するための第１クラシフィケーション（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第１クラス別の第１クラシフィケーションスコアを獲得し、（ｉｉｉ−２）前記オブジェクトのポーズ（ｐｏｓｅ）を確認するための第２クラシフィケーション演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第２クラス別の第２クラシフィケーションスコアを獲得する段階；及び
（ｃ）前記ブラインドスポットモニタは、（ｉ）前記第１クラス別の第１クラシフィケーションスコアを参照して前記ｍ個のプロポーザルボックスのうち前記オブジェクトが前記観察対象自動車と判断されたｎ個のプロポーザルボックスを決定し、（ｉｉ）前記ｎ個のプロポーザルボックス各々に対応するリグレッション情報を利用して前記ｎ個のプロポーザルボックス各々に対応するｎ個の検出バウンディングボックスを獲得し、（ｉｉｉ）前記第２クラス別の前記第２クラシフィケーションスコアを参照して前記ｎ個の検出バウンディングボックスの少なくとも一部各々に対応する前記観察対象自動車のポーズを決定し、（ｉｖ）少なくとも一部の前記ｎ個の検出バウンディングボックスと前記観察対象自動車のポーズを参照して前記基準自動車のブラインドスポットに要注意自動車が位置するか否かを判断する段階；
を含むことを特徴とする方法。
（ａ）基準自動車の運行中、前記基準自動車から撮影された後方映像イメージが獲得されると、ブラインドスポットモニタは、前記後方映像イメージから少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を獲得する段階；
（ｂ）前記ブラインドスポットモニタは、（ｉ）前記後方映像イメージに位置する少なくとも一つのオブジェクト（ｏｂｊｅｃｔ）に対応するｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ ｂｏｘ）を獲得し、（ｉｉ）前記特徴マップの前記ｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して前記ｍ個のプロポーザルボックス各々に対応する特徴ベクタ（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を獲得し、（ｉｉｉ）前記ｍ個のプロポーザルボックス各々に対応する前記特徴ベクタを第１ＦＣレイヤに各々入力して（ｉｉｉ−１）前記オブジェクトが観察対象自動車か否かを確認するための第１クラシフィケーション（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第１クラス別の第１クラシフィケーションスコアを獲得し、（ｉｉｉ−２）前記オブジェクトのポーズ（ｐｏｓｅ）を確認するための第２クラシフィケーション演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第２クラス別の第２クラシフィケーションスコアを獲得する段階；及び
（ｃ）前記ブラインドスポットモニタは、（ｉ）前記第１クラス別の第１クラシフィケーションスコアを参照して前記ｍ個のプロポーザルボックスのうち前記オブジェクトが前記観察対象自動車と判断されたｎ個のプロポーザルボックスを決定し、（ｉｉ）前記ｎ個のプロポーザルボックス各々に対応するリグレッション情報を利用して前記ｎ個のプロポーザルボックス各々に対応するｎ個の検出バウンディングボックスを獲得し、（ｉｉｉ）前記第２クラス別の前記第２クラシフィケーションスコアを参照して前記ｎ個の検出バウンディングボックスの少なくとも一部各々に対応する前記観察対象自動車のポーズを決定し、（ｉｖ）少なくとも一部の前記ｎ個の検出バウンディングボックスと前記観察対象自動車のポーズを参照して前記基準自動車のブラインドスポットに要注意自動車が位置するか否かを判断する段階；
を含むことを特徴とする方法。
【請求項2】
前記（ｂ）段階で、
前記ブラインドスポットモニタは、前記ｍ個のプロポーザルボックス各々に対応する前記各々の特徴ベクタを第２ＦＣレイヤに入力し、（ｉｉｉ−３）前記第２ＦＣレイヤを通じて前記特徴ベクタをリグレッション演算して前記ｍ個のプロポーザルボックス各々に対応する前記第１クラス別のリグレッション情報を追加的に獲得することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
前記ブラインドスポットモニタは、前記ｍ個のプロポーザルボックス各々に対応する前記各々の特徴ベクタを第２ＦＣレイヤに入力し、（ｉｉｉ−３）前記第２ＦＣレイヤを通じて前記特徴ベクタをリグレッション演算して前記ｍ個のプロポーザルボックス各々に対応する前記第１クラス別のリグレッション情報を追加的に獲得することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
【請求項3】
（ｄ）前記基準自動車のブラインドスポットに前記要注意自動車が位置したと判断される場合、前記ブラインドスポットモニタは、前記ブラインドスポットに前記要注意自動車が位置した情報を前記基準自動車のコントロールユニットに伝送することで前記コントロールユニットをもって前記要注意自動車が位置する前記ブラインドスポット方向に前記基準自動車が車線を変更することを防止するように支援する段階；
をさらに含むことを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
をさらに含むことを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
【請求項4】
前記（ｃ）段階で、
前記ブラインドスポットモニタは、
（ｉ）前記ｎ個の検出バウンディングボックスのうち前記基準自動車の前記ブラインドスポットに位置するｋ個の検出バウンディングボックスを決定し、（ｉｉ）前記ｋ個の検出バウンディングボックスのうち前記観察対象自動車のポーズが前記基準自動車の走行方向に対応する場合、前記ブラインドスポットに前記要注意自動車があると判断し、
前記ブラインドスポットモニタは、
前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の左側正面または右側正面方向の場合、前記観察対象自動車が前記基準自動車と同一の方向に走行すると判断することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
前記ブラインドスポットモニタは、
（ｉ）前記ｎ個の検出バウンディングボックスのうち前記基準自動車の前記ブラインドスポットに位置するｋ個の検出バウンディングボックスを決定し、（ｉｉ）前記ｋ個の検出バウンディングボックスのうち前記観察対象自動車のポーズが前記基準自動車の走行方向に対応する場合、前記ブラインドスポットに前記要注意自動車があると判断し、
前記ブラインドスポットモニタは、
前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の左側正面または右側正面方向の場合、前記観察対象自動車が前記基準自動車と同一の方向に走行すると判断することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
【請求項5】
（ｉ）第１条件−前記第１条件は前記ｋ個の検出バウンディングボックスのうち第１検出バウンディングボックスが前記基準自動車の進行方向の後方左側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の左側正面方向の場合である−を満足するか、（ｉｉ）第２条件−前記第２条件は前記ｋ個の検出バウンディングボックスのうち第２検出バウンディングボックスが前記基準自動車の進行方向の後方右側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の右側正面方向の場合である−を満足すると、前記ブラインドスポットモニタは、前記要注意自動車が前記基準自動車の前記ブラインドスポットに位置しないと判断することを特徴とする請求項４に記載の自動車のブラインドスポットモニタリング方法。
【請求項6】
前記（ｃ）段階で、
前記ブラインドスポットモニタは、
（ｉ）前記ｎ個の検出バウンディングボックス各々が互いに重畳される比率である第１重畳の比率を計算し、（ｉｉ）前記第１重畳の比率のうち第１臨界値以上であると確認される第１重畳の比率を有する特定検出バウンディングボックスが同一の前記観察対象自動車を含むと判断し、（ｉｉｉ）前記特定検出バウンディングボックスのうち対応する前記プロポーザルボックスと重畳される比率である第２重畳の比率を計算し、（ｉｖ）前記第２重畳の比率のうち最大比率を有する所定の検出バウンディングボックスを一つの同一の観察対象自動車に対する検出バウンディングボックスと判断することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
前記ブラインドスポットモニタは、
（ｉ）前記ｎ個の検出バウンディングボックス各々が互いに重畳される比率である第１重畳の比率を計算し、（ｉｉ）前記第１重畳の比率のうち第１臨界値以上であると確認される第１重畳の比率を有する特定検出バウンディングボックスが同一の前記観察対象自動車を含むと判断し、（ｉｉｉ）前記特定検出バウンディングボックスのうち対応する前記プロポーザルボックスと重畳される比率である第２重畳の比率を計算し、（ｉｖ）前記第２重畳の比率のうち最大比率を有する所定の検出バウンディングボックスを一つの同一の観察対象自動車に対する検出バウンディングボックスと判断することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
【請求項7】
前記（ｃ）段階で、
前記ブラインドスポットモニタは、
（ｉ）前記ｎ個の検出バウンディングボックス各々が互いに重畳される比率である第１重畳の比率を計算し、（ｉｉ）前記第１重畳の比率のうち第２臨界値未満であると確認される前記第１重畳の比率を有する検出バウンディングボックスが互いに異なる前記観察対象自動車に対する検出バウンディングボックスであると判断することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
前記ブラインドスポットモニタは、
（ｉ）前記ｎ個の検出バウンディングボックス各々が互いに重畳される比率である第１重畳の比率を計算し、（ｉｉ）前記第１重畳の比率のうち第２臨界値未満であると確認される前記第１重畳の比率を有する検出バウンディングボックスが互いに異なる前記観察対象自動車に対する検出バウンディングボックスであると判断することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
【請求項8】
前記（ａ）段階で、
前記ブラインドスポットモニタは、
前記後方映像イメージをコンボリューションして前記特徴マップを獲得することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
前記ブラインドスポットモニタは、
前記後方映像イメージをコンボリューションして前記特徴マップを獲得することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
【請求項9】
前記ブラインドスポットモニタは、
前記コンボリューションを遂行する場合、パッドを０に設定した状態で既設定されたストライドでフィルタを移動させ、前記後方映像イメージをコンボリューションするか、以前にコンボリューションされた特徴マップをコンボリューションすることを特徴とする請求項８に記載の自動車のブラインドスポットモニタリング方法。
前記コンボリューションを遂行する場合、パッドを０に設定した状態で既設定されたストライドでフィルタを移動させ、前記後方映像イメージをコンボリューションするか、以前にコンボリューションされた特徴マップをコンボリューションすることを特徴とする請求項８に記載の自動車のブラインドスポットモニタリング方法。
【請求項10】
前記（ａ）段階で、
前記ブラインドスポットモニタは、
前記後方映像イメージで前記ブラインドスポットに対応するイメージをコンボリューションして前記特徴マップを獲得することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
前記ブラインドスポットモニタは、
前記後方映像イメージで前記ブラインドスポットに対応するイメージをコンボリューションして前記特徴マップを獲得することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
【請求項11】
自動車のブラインドスポットをモニタリングする装置において、
基準自動車の運行中、前記基準自動車で撮影された後方映像イメージまたは前記後方映像イメージと対応する少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を獲得する通信部；及び
（ｉ）前記通信部から獲得された特徴マップまたは前記通信部から獲得された前記後方映像イメージに少なくとも一つのコンボリューション演算を適用して計算された特徴マップを用いて前記後方映像イメージに位置する少なくとも一つのオブジェクト（ｏｂｊｅｃｔ）に対応するｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ ｂｏｘ）を獲得するプロセス；（ｉｉ）前記特徴マップの前記ｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して前記ｍ個のプロポーザルボックス各々に対応する特徴ベクタ（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を獲得するプロセス；（ｉｉｉ）前記ｍ個のプロポーザルボックス各々に対応する前記特徴ベクタを第１ＦＣレイヤに各々入力して（ｉｉｉ−１）前記オブジェクトが観察対象自動車か否かを確認するための第１クラシフィケーション（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第１クラス別の第１クラシフィケーションスコアを獲得し、（ｉｉｉ−２）前記オブジェクトのポーズ（ｐｏｓｅ）を確認するための第２クラシフィケーション演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第２クラス別の第２クラシフィケーションスコアを獲得するプロセス；（ｉｖ）前記第１クラス別の第１クラシフィケーションスコアを参照して前記ｍ個のプロポーザルボックスのうち前記オブジェクトが前記観察対象自動車と判断されたｎ個のプロポーザルボックスを決定するプロセス；（ｖ）前記ｎ個のプロポーザルボックス各々に対応するリグレッション情報を利用して前記ｎ個のプロポーザルボックス各々に対応するｎ個の検出バウンディングボックスを獲得するプロセス；（ｖｉ）前記第２クラス別の前記第２クラシフィケーションスコアを参照して前記ｎ個の検出バウンディングボックスの少なくとも一部各々に対応する前記観察対象自動車のポーズを決定するプロセス；及び（ｖｉｉ）少なくとも一部の前記ｎ個の検出バウンディングボックスと前記観察対象自動車のポーズを参照して前記基準自動車のブラインドスポットに要注意自動車が位置するか否かを判断するプロセス；を遂行するプロセッサ；を含むことを特徴とする自動車のブラインドスポットモニタ。
基準自動車の運行中、前記基準自動車で撮影された後方映像イメージまたは前記後方映像イメージと対応する少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を獲得する通信部；及び
（ｉ）前記通信部から獲得された特徴マップまたは前記通信部から獲得された前記後方映像イメージに少なくとも一つのコンボリューション演算を適用して計算された特徴マップを用いて前記後方映像イメージに位置する少なくとも一つのオブジェクト（ｏｂｊｅｃｔ）に対応するｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ ｂｏｘ）を獲得するプロセス；（ｉｉ）前記特徴マップの前記ｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して前記ｍ個のプロポーザルボックス各々に対応する特徴ベクタ（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を獲得するプロセス；（ｉｉｉ）前記ｍ個のプロポーザルボックス各々に対応する前記特徴ベクタを第１ＦＣレイヤに各々入力して（ｉｉｉ−１）前記オブジェクトが観察対象自動車か否かを確認するための第１クラシフィケーション（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第１クラス別の第１クラシフィケーションスコアを獲得し、（ｉｉｉ−２）前記オブジェクトのポーズ（ｐｏｓｅ）を確認するための第２クラシフィケーション演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第２クラス別の第２クラシフィケーションスコアを獲得するプロセス；（ｉｖ）前記第１クラス別の第１クラシフィケーションスコアを参照して前記ｍ個のプロポーザルボックスのうち前記オブジェクトが前記観察対象自動車と判断されたｎ個のプロポーザルボックスを決定するプロセス；（ｖ）前記ｎ個のプロポーザルボックス各々に対応するリグレッション情報を利用して前記ｎ個のプロポーザルボックス各々に対応するｎ個の検出バウンディングボックスを獲得するプロセス；（ｖｉ）前記第２クラス別の前記第２クラシフィケーションスコアを参照して前記ｎ個の検出バウンディングボックスの少なくとも一部各々に対応する前記観察対象自動車のポーズを決定するプロセス；及び（ｖｉｉ）少なくとも一部の前記ｎ個の検出バウンディングボックスと前記観察対象自動車のポーズを参照して前記基準自動車のブラインドスポットに要注意自動車が位置するか否かを判断するプロセス；を遂行するプロセッサ；を含むことを特徴とする自動車のブラインドスポットモニタ。
【請求項12】
前記プロセッサは、
前記（ｉｉｉ）プロセスで、
前記ｍ個のプロポーザルボックス各々に対応する前記各々の特徴ベクタを第２ＦＣレイヤに入力し、（ｉｉｉ−３）前記第２ＦＣレイヤを通じて前記特徴ベクタをリグレッション演算して前記ｍ個のプロポーザルボックス各々に対応する前記第１クラス別のリグレッション情報を追加的に獲得するプロセスをさらに遂行することを特徴とする請求項１１に記載の自動車のブラインドスポットモニタ。
前記（ｉｉｉ）プロセスで、
前記ｍ個のプロポーザルボックス各々に対応する前記各々の特徴ベクタを第２ＦＣレイヤに入力し、（ｉｉｉ−３）前記第２ＦＣレイヤを通じて前記特徴ベクタをリグレッション演算して前記ｍ個のプロポーザルボックス各々に対応する前記第１クラス別のリグレッション情報を追加的に獲得するプロセスをさらに遂行することを特徴とする請求項１１に記載の自動車のブラインドスポットモニタ。
【請求項13】
前記プロセッサは、
前記基準自動車のブラインドスポットに前記要注意自動車が位置したと判断される場合、前記ブラインドスポットに前記観察対象自動車が位置した情報を前記基準自動車のコントロールユニットに伝送することで前記コントロールユニットをもって前記要注意自動車が位置する前記ブラインドスポット方向に前記基準自動車が車線を変更することを防止するように支援するプロセス；
をさらに遂行することを特徴とする請求項１１に記載の自動車のブラインドスポットモニタ。
前記基準自動車のブラインドスポットに前記要注意自動車が位置したと判断される場合、前記ブラインドスポットに前記観察対象自動車が位置した情報を前記基準自動車のコントロールユニットに伝送することで前記コントロールユニットをもって前記要注意自動車が位置する前記ブラインドスポット方向に前記基準自動車が車線を変更することを防止するように支援するプロセス；
をさらに遂行することを特徴とする請求項１１に記載の自動車のブラインドスポットモニタ。
【請求項14】
前記プロセッサは、
前記（ｖｉ）及び（ｖｉｉ）プロセスで、
前記ｎ個の検出バウンディングボックスのうち前記基準自動車の前記ブラインドスポットに位置するｋ個の検出バウンディングボックスを決定し、前記ｋ個の検出バウンディングボックスのうち前記観察対象自動車のポーズが前記基準自動車の走行方向に対応する場合、前記ブラインドスポットに前記要注意自動車があると判断し、
前記プロセッサは、
前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の左側正面または右側正面方向の場合、前記観察対象自動車が前記基準自動車と同一の方向に走行すると判断することを特徴とする請求項１１に記載の自動車のブラインドスポットモニタ。
前記（ｖｉ）及び（ｖｉｉ）プロセスで、
前記ｎ個の検出バウンディングボックスのうち前記基準自動車の前記ブラインドスポットに位置するｋ個の検出バウンディングボックスを決定し、前記ｋ個の検出バウンディングボックスのうち前記観察対象自動車のポーズが前記基準自動車の走行方向に対応する場合、前記ブラインドスポットに前記要注意自動車があると判断し、
前記プロセッサは、
前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の左側正面または右側正面方向の場合、前記観察対象自動車が前記基準自動車と同一の方向に走行すると判断することを特徴とする請求項１１に記載の自動車のブラインドスポットモニタ。
【請求項15】
前記プロセッサは、
（ｉ）第１条件−前記第１条件は前記ｋ個の検出バウンディングボックスのうち第１検出バウンディングボックスが前記基準自動車の進行方向の後方左側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の左側正面方向の場合である−を満足するか、（ｉｉ）第２条件−前記第２条件は前記ｋ個の検出バウンディングボックスのうち第２検出バウンディングボックスが前記基準自動車の進行方向の後方右側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の右側正面方向の場合である−を満足すると、前記要注意自動車が前記基準自動車の前記ブラインドスポットに位置しないと判断することを特徴とする請求項１４に記載の自動車のブラインドスポットモニタ。
（ｉ）第１条件−前記第１条件は前記ｋ個の検出バウンディングボックスのうち第１検出バウンディングボックスが前記基準自動車の進行方向の後方左側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の左側正面方向の場合である−を満足するか、（ｉｉ）第２条件−前記第２条件は前記ｋ個の検出バウンディングボックスのうち第２検出バウンディングボックスが前記基準自動車の進行方向の後方右側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の右側正面方向の場合である−を満足すると、前記要注意自動車が前記基準自動車の前記ブラインドスポットに位置しないと判断することを特徴とする請求項１４に記載の自動車のブラインドスポットモニタ。
【請求項16】
前記プロセッサは、
前記（ｖ）及び（ｖｉ）プロセスで、
前記ｎ個の検出バウンディングボックス各々が互いに重畳される比率である第１重畳の比率を計算し、前記第１重畳の比率のうち第１臨界値以上であると確認される第１重畳の比率を有する特定検出バウンディングボックスが同一の前記観察対象自動車を含むと判断し、前記特定検出バウンディングボックスのうち対応する前記プロポーザルボックスと重畳される比率である第２重畳の比率を計算し、前記第２重畳の比率のうち最大比率を有する所定の検出バウンディングボックスを一つの同一の観察対象自動車に対する検出バウンディングボックスと判断することを特徴とする請求項１１に記載の自動車のブラインドスポットモニタ。
前記（ｖ）及び（ｖｉ）プロセスで、
前記ｎ個の検出バウンディングボックス各々が互いに重畳される比率である第１重畳の比率を計算し、前記第１重畳の比率のうち第１臨界値以上であると確認される第１重畳の比率を有する特定検出バウンディングボックスが同一の前記観察対象自動車を含むと判断し、前記特定検出バウンディングボックスのうち対応する前記プロポーザルボックスと重畳される比率である第２重畳の比率を計算し、前記第２重畳の比率のうち最大比率を有する所定の検出バウンディングボックスを一つの同一の観察対象自動車に対する検出バウンディングボックスと判断することを特徴とする請求項１１に記載の自動車のブラインドスポットモニタ。
【請求項17】
前記プロセッサは、
前記（ｖ）プロセスで、
前記ｎ個の検出バウンディングボックス各々が互いに重畳される比率である第１重畳の比率を計算し、前記第１重畳の比率のうち第２臨界値未満であると確認される前記第１重畳の比率を有する検出バウンディングボックスが互いに異なる前記観察対象自動車に対する検出バウンディングボックスであると判断することを特徴とする請求項１１に記載の自動車のブラインドスポットモニタ。
前記（ｖ）プロセスで、
前記ｎ個の検出バウンディングボックス各々が互いに重畳される比率である第１重畳の比率を計算し、前記第１重畳の比率のうち第２臨界値未満であると確認される前記第１重畳の比率を有する検出バウンディングボックスが互いに異なる前記観察対象自動車に対する検出バウンディングボックスであると判断することを特徴とする請求項１１に記載の自動車のブラインドスポットモニタ。
【請求項18】
前記プロセッサは、
前記後方映像イメージをコンボリューションして前記特徴マップを獲得することを特徴とする請求項１１に記載の自動車のブラインドスポットモニタ。
前記後方映像イメージをコンボリューションして前記特徴マップを獲得することを特徴とする請求項１１に記載の自動車のブラインドスポットモニタ。
【請求項19】
前記プロセッサは、
前記コンボリューションを遂行する場合、パッドを０に設定した状態で既設定されたストライドでフィルタを移動させ、前記後方映像イメージをコンボリューションするか、以前にコンボリューションされた特徴マップをコンボリューションすることを特徴とする請求項１８に記載の自動車のブラインドスポットモニタ。
前記コンボリューションを遂行する場合、パッドを０に設定した状態で既設定されたストライドでフィルタを移動させ、前記後方映像イメージをコンボリューションするか、以前にコンボリューションされた特徴マップをコンボリューションすることを特徴とする請求項１８に記載の自動車のブラインドスポットモニタ。
【請求項20】
前記プロセッサは、
前記後方映像イメージで前記ブラインドスポットに対応するイメージをコンボリューションして前記特徴マップを獲得することを特徴とする請求項１１に記載の自動車のブラインドスポットモニタ。
前記後方映像イメージで前記ブラインドスポットに対応するイメージをコンボリューションして前記特徴マップを獲得することを特徴とする請求項１１に記載の自動車のブラインドスポットモニタ。
【請求項21】
自動車のブラインドスポットをモニタリングする方法において、
（ａ）基準自動車の運行中、前記基準自動車から撮影された後方映像イメージが獲得されると、ブラインドスポットモニタは、前記後方映像イメージから少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を獲得する段階；
（ｂ）前記ブラインドスポットモニタは、（ｉ）前記後方映像イメージに位置するオブジェクト（ｏｂｊｅｃｔ）に対応するｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ ｂｏｘ）を獲得し、（ｉｉ）前記特徴マップの前記ｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して前記ｍ個のプロポーザルボックス各々に対応する特徴ベクタ（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を獲得し、（ｉｉｉ）前記ｍ個のプロポーザルボックス各々に対応する前記特徴ベクタをＦＣレイヤに各々入力して（ｉｉｉ−１）前記オブジェクトが観察対象自動車か否かを確認するための第１クラシフィケーション（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第１クラス別の第１クラシフィケーションスコアを獲得し、（ｉｉｉ−２）前記オブジェクトのポーズ（ｐｏｓｅ）を確認するための第２クラシフィケーション演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第２クラス別の第２クラシフィケーションスコアを獲得する段階；及び
（ｃ）前記ブラインドスポットモニタは、（ｉ）前記第１クラス別の第１クラシフィケーションスコアを参照して前記ｍ個のプロポーザルボックスのうち前記オブジェクトが前記観察対象自動車と判断された特定プロポーザルボックスを決定し、（ｉｉ）前記第２クラス別の第２クラシフィケーションスコアを参照して前記観察対象自動車と判断された前記特定プロポーザルボックスのうち少なくとも一つの特定観察対象自動車のポーズが前記基準自動車の走行方向に対応するｉ個のプロポーザルボックスを決定し、（ｉｉｉ）前記ｉ個のプロポーザルボックス各々に対応するリグレッション情報を利用して前記ｉ個のプロポーザルボックス各々に対応するｉ個の検出バウンディングボックスを獲得し、（ｉｖ）前記ｉ個の検出バウンディングボックスのうち前記基準自動車のブラインドスポットに位置する検出バウンディングボックスがあるかを判断することで前記ブラインドスポットに要注意自動車が位置するかを判断する段階；
を含み、
前記（ｃ）段階で、
前記ブラインドスポットモニタは、
前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の左側正面または右側正面方向の場合、前記観察対象自動車が前記基準自動車と同一の方向に走行すると判断することを特徴とする方法。
（ａ）基準自動車の運行中、前記基準自動車から撮影された後方映像イメージが獲得されると、ブラインドスポットモニタは、前記後方映像イメージから少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を獲得する段階；
（ｂ）前記ブラインドスポットモニタは、（ｉ）前記後方映像イメージに位置するオブジェクト（ｏｂｊｅｃｔ）に対応するｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ ｂｏｘ）を獲得し、（ｉｉ）前記特徴マップの前記ｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して前記ｍ個のプロポーザルボックス各々に対応する特徴ベクタ（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を獲得し、（ｉｉｉ）前記ｍ個のプロポーザルボックス各々に対応する前記特徴ベクタをＦＣレイヤに各々入力して（ｉｉｉ−１）前記オブジェクトが観察対象自動車か否かを確認するための第１クラシフィケーション（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第１クラス別の第１クラシフィケーションスコアを獲得し、（ｉｉｉ−２）前記オブジェクトのポーズ（ｐｏｓｅ）を確認するための第２クラシフィケーション演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第２クラス別の第２クラシフィケーションスコアを獲得する段階；及び
（ｃ）前記ブラインドスポットモニタは、（ｉ）前記第１クラス別の第１クラシフィケーションスコアを参照して前記ｍ個のプロポーザルボックスのうち前記オブジェクトが前記観察対象自動車と判断された特定プロポーザルボックスを決定し、（ｉｉ）前記第２クラス別の第２クラシフィケーションスコアを参照して前記観察対象自動車と判断された前記特定プロポーザルボックスのうち少なくとも一つの特定観察対象自動車のポーズが前記基準自動車の走行方向に対応するｉ個のプロポーザルボックスを決定し、（ｉｉｉ）前記ｉ個のプロポーザルボックス各々に対応するリグレッション情報を利用して前記ｉ個のプロポーザルボックス各々に対応するｉ個の検出バウンディングボックスを獲得し、（ｉｖ）前記ｉ個の検出バウンディングボックスのうち前記基準自動車のブラインドスポットに位置する検出バウンディングボックスがあるかを判断することで前記ブラインドスポットに要注意自動車が位置するかを判断する段階；
を含み、
前記（ｃ）段階で、
前記ブラインドスポットモニタは、
前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の左側正面または右側正面方向の場合、前記観察対象自動車が前記基準自動車と同一の方向に走行すると判断することを特徴とする方法。
【請求項22】
前記（ｂ）段階で、
前記ブラインドスポットモニタは、前記ｍ個のプロポーザルボックス各々に対応する前記各々の特徴ベクタを前記ＦＣレイヤに入力し、（ｉｉｉ−３）前記ＦＣレイヤを通じて前記特徴ベクタをリグレッション演算して前記ｍ個のプロポーザルボックス各々に対応する前記第１クラス別のリグレッション情報を追加的に獲得することを特徴とする請求項２１に記載の自動車のブラインドスポットモニタリング方法。
前記ブラインドスポットモニタは、前記ｍ個のプロポーザルボックス各々に対応する前記各々の特徴ベクタを前記ＦＣレイヤに入力し、（ｉｉｉ−３）前記ＦＣレイヤを通じて前記特徴ベクタをリグレッション演算して前記ｍ個のプロポーザルボックス各々に対応する前記第１クラス別のリグレッション情報を追加的に獲得することを特徴とする請求項２１に記載の自動車のブラインドスポットモニタリング方法。
【請求項23】
前記ブラインドスポットモニタは、
（ｉ）第１条件−前記第１条件は前記ｉ個の検出バウンディングボックスのうち第１検出バウンディングボックスが前記基準自動車の進行方向の後方左側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の左側正面方向の場合である−を満足するか、（ｉｉ）第２条件−前記第２条件は前記ｉ個の検出バウンディングボックスのうち第２検出バウンディングボックスが前記基準自動車の進行方向の後方右側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の右側正面方向の場合である−を満足すると、前記ブラインドスポットモニタは、前記要注意自動車が前記基準自動車の前記ブラインドスポットに位置しないと判断することを特徴とする請求項２１に記載の自動車のブラインドスポットモニタリング方法。
（ｉ）第１条件−前記第１条件は前記ｉ個の検出バウンディングボックスのうち第１検出バウンディングボックスが前記基準自動車の進行方向の後方左側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の左側正面方向の場合である−を満足するか、（ｉｉ）第２条件−前記第２条件は前記ｉ個の検出バウンディングボックスのうち第２検出バウンディングボックスが前記基準自動車の進行方向の後方右側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の右側正面方向の場合である−を満足すると、前記ブラインドスポットモニタは、前記要注意自動車が前記基準自動車の前記ブラインドスポットに位置しないと判断することを特徴とする請求項２１に記載の自動車のブラインドスポットモニタリング方法。
【請求項24】
自動車のブラインドスポットをモニタリングする装置において、
基準自動車の運行中、前記基準自動車で撮影された後方映像イメージまたは前記後方映像イメージと対応する少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を獲得する通信部；及び
（ｉ）前記通信部から獲得された特徴マップまたは前記通信部から獲得された前記後方映像イメージに少なくとも一つのコンボリューション演算を適用して計算された特徴マップを用いて前記後方映像イメージに位置する少なくとも一つのオブジェクト（ｏｂｊｅｃｔ）に対応するｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ ｂｏｘ）を獲得するプロセス；（ｉｉ）前記特徴マップの前記ｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して前記ｍ個のプロポーザルボックス各々に対応する特徴ベクタ（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を獲得するプロセス；（ｉｉｉ）前記ｍ個のプロポーザルボックス各々に対応する前記特徴ベクタをＦＣレイヤに各々入力して（ｉｉｉ−１）前記オブジェクトが観察対象自動車か否かを確認するための第１クラシフィケーション（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第１クラス別の第１クラシフィケーションスコアを獲得し、（ｉｉｉ−２）前記オブジェクトのポーズ（ｐｏｓｅ）を確認するための第２クラシフィケーション演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第２クラス別の第２クラシフィケーションスコアを獲得するプロセス；（ｉｖ）前記第１クラス別の第１クラシフィケーションスコアを参照して前記ｍ個のプロポーザルボックスのうち前記オブジェクトが前記観察対象自動車と判断された特定プロポーザルボックスを決定するプロセス；（ｖ）前記第２クラス別の第２クラシフィケーションスコアを参照して前記観察対象自動車と判断された前記特定プロポーザルボックスのうち少なくとも一つの特定観察対象自動車のポーズが前記基準自動車の走行方向に対応するｉ個のプロポーザルボックスを決定するプロセス；（ｖｉ）前記ｉ個のプロポーザルボックス各々に対応するリグレッション情報を利用して前記ｉ個のプロポーザルボックス各々に対応するｉ個の検出バウンディングボックスを獲得するプロセス；及び（ｖｉｉ）前記ｉ個の検出バウンディングボックスのうち前記基準自動車のブラインドスポットに位置する検出バウンディングボックスがあるかを判断することで前記ブラインドスポットに要注意自動車が位置するかを判断するプロセス；を遂行するプロセッサ；
を含み、
前記プロセッサは、
前記（ｖ）プロセスで、
前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の左側正面または右側正面方向の場合、前記観察対象自動車が前記基準自動車と同一の方向に走行すると判断することを特徴とする自動車のブラインドスポットモニタ。
基準自動車の運行中、前記基準自動車で撮影された後方映像イメージまたは前記後方映像イメージと対応する少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を獲得する通信部；及び
（ｉ）前記通信部から獲得された特徴マップまたは前記通信部から獲得された前記後方映像イメージに少なくとも一つのコンボリューション演算を適用して計算された特徴マップを用いて前記後方映像イメージに位置する少なくとも一つのオブジェクト（ｏｂｊｅｃｔ）に対応するｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ ｂｏｘ）を獲得するプロセス；（ｉｉ）前記特徴マップの前記ｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して前記ｍ個のプロポーザルボックス各々に対応する特徴ベクタ（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を獲得するプロセス；（ｉｉｉ）前記ｍ個のプロポーザルボックス各々に対応する前記特徴ベクタをＦＣレイヤに各々入力して（ｉｉｉ−１）前記オブジェクトが観察対象自動車か否かを確認するための第１クラシフィケーション（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第１クラス別の第１クラシフィケーションスコアを獲得し、（ｉｉｉ−２）前記オブジェクトのポーズ（ｐｏｓｅ）を確認するための第２クラシフィケーション演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第２クラス別の第２クラシフィケーションスコアを獲得するプロセス；（ｉｖ）前記第１クラス別の第１クラシフィケーションスコアを参照して前記ｍ個のプロポーザルボックスのうち前記オブジェクトが前記観察対象自動車と判断された特定プロポーザルボックスを決定するプロセス；（ｖ）前記第２クラス別の第２クラシフィケーションスコアを参照して前記観察対象自動車と判断された前記特定プロポーザルボックスのうち少なくとも一つの特定観察対象自動車のポーズが前記基準自動車の走行方向に対応するｉ個のプロポーザルボックスを決定するプロセス；（ｖｉ）前記ｉ個のプロポーザルボックス各々に対応するリグレッション情報を利用して前記ｉ個のプロポーザルボックス各々に対応するｉ個の検出バウンディングボックスを獲得するプロセス；及び（ｖｉｉ）前記ｉ個の検出バウンディングボックスのうち前記基準自動車のブラインドスポットに位置する検出バウンディングボックスがあるかを判断することで前記ブラインドスポットに要注意自動車が位置するかを判断するプロセス；を遂行するプロセッサ；
を含み、
前記プロセッサは、
前記（ｖ）プロセスで、
前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の左側正面または右側正面方向の場合、前記観察対象自動車が前記基準自動車と同一の方向に走行すると判断することを特徴とする自動車のブラインドスポットモニタ。
【請求項25】
前記プロセッサは、
前記（ｉｉｉ）プロセスで、
前記ｍ個のプロポーザルボックス各々に対応する前記各々の特徴ベクタを前記ＦＣレイヤに入力し、（ｉｉｉ−３）前記ＦＣレイヤを通じて前記特徴ベクタをリグレッション演算して前記ｍ個のプロポーザルボックス各々に対応する前記第１クラス別のリグレッション情報を追加的に獲得することを特徴とする請求項２４に記載の自動車のブラインドスポットモニタ。
前記（ｉｉｉ）プロセスで、
前記ｍ個のプロポーザルボックス各々に対応する前記各々の特徴ベクタを前記ＦＣレイヤに入力し、（ｉｉｉ−３）前記ＦＣレイヤを通じて前記特徴ベクタをリグレッション演算して前記ｍ個のプロポーザルボックス各々に対応する前記第１クラス別のリグレッション情報を追加的に獲得することを特徴とする請求項２４に記載の自動車のブラインドスポットモニタ。
【請求項26】
前記プロセッサは、
第１条件−前記第１条件は前記ｉ個の検出バウンディングボックスのうち第１検出バウンディングボックスが前記基準自動車の進行方向の後方左側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の左側正面方向の場合である−を満足するか、第２条件−前記第２条件は前記ｉ個の検出バウンディングボックスのうち第２検出バウンディングボックスが前記基準自動車の進行方向の後方右側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の右側正面方向の場合である−を満足すると、前記要注意自動車が前記基準自動車の前記ブラインドスポットに位置しないと判断することを特徴とする請求項２４に記載の自動車のブラインドスポットモニタ。
第１条件−前記第１条件は前記ｉ個の検出バウンディングボックスのうち第１検出バウンディングボックスが前記基準自動車の進行方向の後方左側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の左側正面方向の場合である−を満足するか、第２条件−前記第２条件は前記ｉ個の検出バウンディングボックスのうち第２検出バウンディングボックスが前記基準自動車の進行方向の後方右側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車のポーズが前記観察対象自動車の正面方向か前記観察対象自動車の右側正面方向の場合である−を満足すると、前記要注意自動車が前記基準自動車の前記ブラインドスポットに位置しないと判断することを特徴とする請求項２４に記載の自動車のブラインドスポットモニタ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は自動車のブラインドスポットモニタリング方法及びこれを利用したブラインドスポットモニタに関し、より詳細には、基準自動車の運行中撮影された後方映像イメージから特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を獲得し、後方映像イメージに位置するオブジェクト（ｏｂｊｅｃｔ）に対応するｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ ｂｏｘ）に対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）してｍ個のプロポーザルボックス各々に対応する特徴ベクタ（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を獲得し、獲得された特徴ベクタを第１ＦＣ ｌａｙｅｒに各々入力して観察対象自動車の位置と観察対象自動車のポーズを確認した後、確認された観察対象自動車の位置と観察対象自動車のポーズを参照して要注意自動車が基準自動車のブラインドスポットに位置するかを判断する自動車のブラインドスポットモニタリング方法及びこれを利用したブラインドスポットモニタに関する。
【背景技術】
【0002】
一般的に、運転者が自動車を運行中車線変更をする時、側面及び後方を観察して視野を確保することができるように自動車の両側にサイドミラーが設置されており、室内前面中央部にルームミラーが設置されている。
【0003】
サイドミラーは自動車の両側面に設置されて側面及び後方視野を確保するように利用されているが、側面に近接して走行する周辺自動車や周辺物体は確認することができないブラインドスポットがある。
【0004】
従って、走行中の自動車の側面に寄せて追従してくる他の自動車を運転者が確認することができずに車線を変更する場合、ブラインドスポットで走行する他の自動車と接触事故が発生し得る問題点があった。
【0005】
かかる問題点を防止するために、運転者らはブラインドスポットを観測することができるように表面が曲面で形成された凸面鏡をサイドミラーの片側部分に付着する場合もある。
【0006】
しかし、サイドミラーに凸面鏡などを設置する場合にも、自動車の車線を変更するために運転者は肉眼でブラインドスポットを確認しなければならないので、運転者の運転疲労度を増加させるようになり、運転者の位置によって凸面鏡が付着されたサイドミラーでも確認されないブラインドスポットが存在する問題点が発生する。
【0007】
これを防止するために、最近は自動車の後面に装着されたセンサを通じてブラインドスポットに接近したりブラインドスポットに位置する自動車などを感知して運転者に提供することで運転者がブラインドスポットにある自動車などを認知することができず、車線を変更するかブラインドスポットに近接する自動車によって事故の危険が感知される場合、未然に事故を防止するためのブラインドスポットモニタリングシステムが提案されている。
【0008】
特に、ビジョンセンサを利用したブラインドスポットモニタリングシステムでは映像情報を基盤にいくつかの特性を検出し出すアルゴリズムを多く適用している。
【0009】
一例として、客体のエッジ線分を検出し、検出された線分を利用して１次的に自動車が構成され得る候補群を作った後、候補群の対称性と映像情報における候補群の下に位置する影部分を利用して最終的に自動車に対する判定を下すアルゴリズム、映像ヒストグラムの対称性を利用して自動車の位置と外郭の大きさを定義するアルゴリズム、または自動車のみが有する特性を抽出して類型を定義し、ビジョンセンサを通じて検出される客体の類型と定義された類型の類似する程度で自動車を判別するアルゴリズムなどが知られている。
【0010】
かかる客体の特性や形状を抽出するアルゴリズムは外部環境、対象物体の外形、そしてシステム構成によって制限的な検出率を示し、複数回の映像処理を経て自動車を判断するので、演算されるデータの量が大きい問題点がある。
【0011】
また、他のビジョンセンサを利用した自動車の検出方法としては、オプティカルフロー（ｏｐｔｉｃａｌ ｆｌｏｗ）技法があるが、映像ピクセルの動きをモーションベクタで表現する方法である。しかし、オプティカルフロー技法を利用した自動車認識アルゴリズムは背景の動きと映像ノイズに大きく影響を受け、演算処理量が非常に多いため、リアルタイムの自動車の検出が容易でない問題点がある。
【0012】
また、ビジョンセンサを利用した従来のブラインドスポットモニタリングシステムは自動車の走行環境及び他の自動車の走行環境を考慮せずにブラインドスポットに他の自動車が位置すると警告することで自動車の走行環境によって誤作動をするなどの問題点がある。
【0013】
一例として、カーブのある走行道路で同じ車線の後方で他の自動車が走行する場合、ビジョンセンサを通じて確認される他の自動車の位置が自動車のブラインドスポットに位置すると検出されるか、すぐ横の反対車線を走行する他の自動車も自動車のブラインドスポットに位置すると検出されるなどの問題点があった。
【発明の概要】
【発明が解決しようとする課題】
【0014】
本発明は上述した問題点をすべて解決することをその目的とする。
【0015】
本発明はブラインドスポットに位置する要注意自動車を容易に検出できるようにすることを他の目的とする。
【0016】
本発明は自動車の周辺環境に関係なくブラインドスポットに位置する要注意自動車を検出できるようにすることをまた他の目的とする。
【0017】
本発明はブラインドスポットに位置する要注意自動車を検出するための演算されるデータの量が少ないアルゴリズムを提供することをまた他の目的とする。
【0018】
本発明は背景の動きと映像ノイズの影響を受けずにブラインドスポットに位置する要注意自動車をリアルタイムで検出できるようにすることをまた他の目的とする。
【0019】
本発明はコンボリューションニューラルネットワーク（ＣＮＮ）アルゴリズムを利用してブラインドスポットに位置する要注意自動車を正確に検出できるようにすることをまた他の目的とする。
【0020】
本発明は自動車及び他の自動車の走行環境に対応してブラインドスポットに位置する要注意自動車を正確に検出できるようにすることをまた他の目的とする。
【0021】
【課題を解決するための手段】
【0022】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記のとおりである。
【0023】
本発明の一実施例によれば、自動車のブラインドスポットをモニタリングする方法において、（ａ）基準自動車の運行中、前記基準自動車から撮影された後方映像イメージが獲得されると、ブラインドスポットモニタは、前記後方映像イメージから少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を獲得する段階；（ｂ）前記ブラインドスポットモニタは、（ｉ）前記後方映像イメージに位置する少なくとも一つのオブジェクト（ｏｂｊｅｃｔ）に対応するｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ ｂｏｘ）を獲得し、（ｉｉ）前記特徴マップの前記ｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して前記ｍ個のプロポーザルボックス各々に対応する特徴ベクタ（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を獲得し、（ｉｉｉ）前記ｍ個のプロポーザルボックス各々に対応する前記特徴ベクタを第１ＦＣ ｌａｙｅｒに各々入力して（ｉｉｉ−１）前記オブジェクトが観察対象自動車か否かを確認するための第１クラシフィケーション（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第１クラス別の第１クラシフィケーションスコアを獲得し、（ｉｉｉ−２）前記オブジェクトのポーズ（ｐｏｓｅ）を確認するための第２クラシフィケーション演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第２クラス別の第２クラシフィケーションスコアを獲得する段階；及び（ｃ）前記ブラインドスポットモニタは、（ｉ）前記第１クラス別の第１クラシフィケーションスコアを参照して前記ｍ個のプロポーザルボックスのうち前記オブジェクトが前記観察対象自動車と判断されたｎ個のプロポーザルボックスを決定し、（ｉｉ）前記ｎ個のプロポーザルボックス各々に対応するリグレッション情報を利用して前記ｎ個のプロポーザルボックス各々に対応するｎ個の検出バウンディングボックスを獲得し、（ｉｉｉ）前記第２クラス別の前記第２クラシフィケーションスコアを参照して前記ｎ個の検出バウンディングボックス各々に対応する前記観察対象自動車のポーズを決定し、（ｉｖ）前記ｎ個の検出バウンディングボックスと前記観察対象自動車のポーズを参照して前記基準自動車のブラインドスポットに要注意自動車が位置するか否かを判断する段階；を含む自動車のブラインドスポットモニタリング方法が提供される。
【0024】
前記一実施例によれば、前記ブラインドスポットモニタは、前記ｍ個のプロポーザルボックス各々に対応する前記各々の特徴ベクタを第２ＦＣレイヤに入力し、（ｉｉｉ−３）前記第２ＦＣレイヤを通じて前記特徴ベクタをリグレッション演算して前記ｍ個のプロポーザルボックス各々に対応する前記第１クラス別のリグレッション情報を追加的に獲得することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【0025】
また、前記一実施例によれば、（ｄ）前記基準自動車のブラインドスポットに前記要注意自動車が位置したと判断される場合、前記ブラインドスポットモニタは、前記ブラインドスポットに前記要注意自動車が位置した情報を前記基準自動車のコントロールユニットに伝送することで前記コントロールユニットをもって前記要注意自動車が位置する前記ブラインドスポット方向に前記基準自動車が車線を変更することを防止するように支援する段階；をさらに含むことを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【0026】
また、前記一実施例によれば、前記ブラインドスポットモニタは、（ｉ）前記ｎ個の検出バウンディングボックスのうち前記基準自動車の前記ブラインドスポットに位置するｋ個の検出バウンディングボックスを決定し、（ｉｉ）前記ｋ個の検出バウンディングボックスのうち前記観察対象自動車のポーズが前記基準自動車の走行方向に対応される場合、前記ブラインドスポットに前記要注意自動車があると判断することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【0027】
また、前記一実施例によれば、前記ブラインドスポットモニタは、前記基準自動車から見た前記観察対象自動車の姿が前記観察対象自動車の正面方向か前記観察対象自動車の左側正面または右側正面方向の場合、前記観察対象自動車が前記基準自動車と同一の方向に走行すると判断することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【0028】
また、前記一実施例によれば、（ｉ）第１条件−前記第１条件は前記ｋ個の検出バウンディングボックスのうち第１検出バウンディングボックスが前記基準自動車の進行方向の後方左側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車の姿が前記観察対象自動車の正面方向か前記観察対象自動車の左側正面方向の場合である−を満足するか、（ｉｉ）第２条件−前記第２条件は前記ｋ個の検出バウンディングボックスのうち第２検出バウンディングボックスが前記基準自動車の進行方向の後方右側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車の姿が前記観察対象自動車の正面方向か前記観察対象自動車の右側正面方向の場合である−を満足すると、前記ブラインドスポットモニタは、前記要注意自動車が前記基準自動車の前記ブラインドスポットに位置しないと判断することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【0029】
また、前記一実施例によれば、前記ブラインドスポットモニタは、（ｉ）前記ｎ個の検出バウンディングボックス各々が互いに重畳される比率である第１重畳の比率を計算し、（ｉｉ）前記第１重畳の比率のうち第１臨界値以上であると確認される第１重畳の比率を有する特定検出バウンディングボックスが同一の前記観察対象自動車に対応されると判断し、（ｉｉｉ）前記特定検出バウンディングボックスのうち対応される前記プロポーザルボックスと重畳される比率である第２重畳の比率を計算し、（ｉｖ）前記第２重畳の比率のうち最大比率を有する所定の検出バウンディングボックスを一つの同一の観察対象自動車に対する検出バウンディングボックスと判断することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【0030】
また、前記一実施例によれば、前記ブラインドスポットモニタは、（ｉ）前記ｎ個の検出バウンディングボックス各々が互いに重畳される比率である第１重畳の比率を計算し、（ｉｉ）前記第１重畳の比率のうち第２臨界値未満であると確認される前記第１重畳の比率を有する検出バウンディングボックスが互いに異なる前記観察対象自動車に対する検出バウンディングボックスであると判断することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【0031】
また、前記一実施例によれば、前記ブラインドスポットモニタは、前記後方映像イメージをコンボリューションして前記特徴マップを獲得することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【0032】
また、前記一実施例によれば、前記ブラインドスポットモニタは、前記コンボリューションを遂行する場合、パッドを０に設定した状態で既設定されたストライドでフィルタを移動させ、前記後方映像イメージをコンボリューションするか、以前にコンボリューションされた特徴マップをコンボリューションすることを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【0033】
また、前記一実施例によれば、前記ブラインドスポットモニタは、前記後方映像イメージで前記ブラインドスポットに対応されるイメージをコンボリューションして前記特徴マップを獲得することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【0034】
また、本発明の一実施例によれば、自動車のブラインドスポットをモニタリングする装置において、基準自動車の運行中、前記基準自動車で撮影された後方映像イメージまたは前記後方映像イメージと対応される少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を獲得する通信部；及び（ｉ）前記通信部から獲得された特徴マップまたは前記通信部から獲得された前記後方映像イメージに少なくとも一つのコンボリューション演算を適用して計算された特徴マップを用いて前記後方映像イメージに位置する少なくとも一つのオブジェクト（ｏｂｊｅｃｔ）に対応するｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ ｂｏｘ）を獲得するプロセス；（ｉｉ）前記特徴マップの前記ｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して前記ｍ個のプロポーザルボックス各々に対応する特徴ベクタ（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を獲得するプロセス；（ｉｉｉ）前記ｍ個のプロポーザルボックス各々に対応する前記特徴ベクタを第１ＦＣ ｌａｙｅｒに各々入力して（ｉｉｉ−１）前記オブジェクトが観察対象自動車か否かを確認するための第１クラシフィケーション（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第１クラス別の第１クラシフィケーションスコアを獲得し、（ｉｉｉ−２）前記オブジェクトのポーズ（ｐｏｓｅ）を確認するための第２クラシフィケーション演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第２クラス別の第２クラシフィケーションスコアを獲得するプロセス；（ｉｖ）前記第１クラス別の第１クラシフィケーションスコアを参照して前記ｍ個のプロポーザルボックスのうち前記オブジェクトが前記観察対象自動車と判断されたｎ個のプロポーザルボックスを決定するプロセス；（ｖ）前記ｎ個のプロポーザルボックス各々に対応するリグレッション情報を利用して前記ｎ個のプロポーザルボックス各々に対応するｎ個の検出バウンディングボックスを獲得するプロセス；（ｖｉ）前記第２クラス別の前記第２クラシフィケーションスコアを参照して前記ｎ個の検出バウンディングボックス各々に対応する前記観察対象自動車のポーズを決定するプロセス；及び（ｖｉｉ）前記ｎ個の検出バウンディングボックスと前記観察対象自動車のポーズを参照して前記基準自動車のブラインドスポットに要注意自動車が位置するか否かを判断するプロセス；を遂行するプロセッサ；を含む自動車のブラインドスポットモニタが提供される。
【0035】
前記一実施例によれば、前記（ｉｉｉ）プロセスで、前記ｍ個のプロポーザルボックス各々に対応する前記各々の特徴ベクタを第２ＦＣレイヤに入力し、（ｉｉｉ−３）前記第２ＦＣレイヤを通じて前記特徴ベクタをリグレッション演算して前記ｍ個のプロポーザルボックス各々に対応する前記第１クラス別のリグレッション情報を追加的に獲得するプロセスをさらに遂行することを特徴とする自動車のブラインドスポットモニタが提供される。
【0036】
また、前記一実施例によれば、前記基準自動車のブラインドスポットに前記要注意自動車が位置したと判断される場合、前記ブラインドスポットに前記観察対象自動車が位置した情報を前記基準自動車のコントロールユニットに伝送することで前記コントロールユニットをもって前記要注意自動車が位置する前記ブラインドスポット方向に前記基準自動車が車線を変更することを防止するように支援するプロセス；をさらに遂行することを特徴とする自動車のブラインドスポットモニタが提供される。
【0037】
また、前記一実施例によれば、前記（ｖｉ）及び （ｖｉｉ）プロセスで、前記ｎ個の検出バウンディングボックスのうち前記基準自動車の前記ブラインドスポットに位置するｋ個の検出バウンディングボックスを決定し、前記ｋ個の検出バウンディングボックスのうち前記観察対象自動車のポーズが前記基準自動車の走行方向に対応される場合、前記ブラインドスポットに前記要注意自動車があると判断することを特徴とする自動車のブラインドスポットモニタが提供される。
【0038】
また、前記一実施例によれば、前記基準自動車から見た前記観察対象自動車の姿が前記観察対象自動車の正面方向か前記観察対象自動車の左側正面または右側正面方向の場合、前記観察対象自動車が前記基準自動車と同一の方向に走行すると判断することを特徴とする自動車のブラインドスポットモニタが提供される。
【0039】
また、前記一実施例によれば、（ｉ）第１条件−前記第１条件は前記ｋ個の検出バウンディングボックスのうち第１検出バウンディングボックスが前記基準自動車の進行方向の後方左側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車の姿が前記観察対象自動車の正面方向か前記観察対象自動車の左側正面方向の場合である−を満足するか、（ｉｉ）第２条件−前記第２条件は前記ｋ個の検出バウンディングボックスのうち第２検出バウンディングボックスが前記基準自動車の進行方向の後方右側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車の姿が前記観察対象自動車の正面方向か前記観察対象自動車の右側正面方向の場合である−を満足すると、前記要注意自動車が前記基準自動車の前記ブラインドスポットに位置しないと判断することを特徴とする自動車のブラインドスポットモニタが提供される。
【0040】
また、前記一実施例によれば、前記（ｖ）及び（ｖｉ）プロセスで、前記ｎ個の検出バウンディングボックス各々が互いに重畳される比率である第１重畳の比率を計算し、前記第１重畳の比率のうち第１臨界値以上であると確認される第１重畳の比率を有する特定検出バウンディングボックスが同一の前記観察対象自動車に対応されると判断し、前記特定検出バウンディングボックスのうち対応される前記プロポーザルボックスと重畳される比率である第２重畳の比率を計算し、前記第２重畳の比率のうち最大比率を有する所定の検出バウンディングボックスを一つの同一の観察対象自動車に対する検出バウンディングボックスと判断することを特徴とする自動車のブラインドスポットモニタが提供される。
【0041】
また、前記一実施例によれば、前記（ｖ）プロセスで、前記ｎ個の検出バウンディングボックス各々が互いに重畳される比率である第１重畳の比率を計算し、前記第１重畳の比率のうち第２臨界値未満であると確認される前記第１重畳の比率を有する検出バウンディングボックスが互いに異なる前記観察対象自動車に対する検出バウンディングボックスであると判断することを特徴とする自動車のブラインドスポットモニタが提供される。
【0042】
また、前記一実施例によれば、前記後方映像イメージをコンボリューションして前記特徴マップを獲得することを特徴とする自動車のブラインドスポットモニタが提供される。
【0043】
また、前記一実施例によれば、前記コンボリューションを遂行する場合、パッドを０に設定した状態で既設定されたストライドでフィルタを移動させ、前記後方映像イメージをコンボリューションするか、以前にコンボリューションされた特徴マップをコンボリューションすることを特徴とする自動車のブラインドスポットモニタが提供される。
【0044】
また、前記一実施例によれば、前記後方映像イメージで前記ブラインドスポットに対応されるイメージをコンボリューションして前記特徴マップを獲得することを特徴とする自動車のブラインドスポットモニタが提供される。
【0045】
また、本発明の他の実施例によれば、自動車のブラインドスポットをモニタリングする方法において、（ａ）基準自動車の運行中、前記基準自動車から撮影された後方映像イメージが獲得されると、ブラインドスポットモニタは、前記後方映像イメージから少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を獲得する段階；（ｂ）前記ブラインドスポットモニタは、（ｉ）前記後方映像イメージに位置するオブジェクト（ｏｂｊｅｃｔ）に対応するｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ ｂｏｘ）を獲得し、（ｉｉ）前記特徴マップの前記ｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して前記ｍ個のプロポーザルボックス各々に対応する特徴ベクタ（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を獲得し、（ｉｉｉ）前記ｍ個のプロポーザルボックス各々に対応する前記特徴ベクタをＦＣ ｌａｙｅｒに各々入力して（ｉｉｉ−１）前記オブジェクトが観察対象自動車か否かを確認するための第１クラシフィケーション（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第１クラス別の第１クラシフィケーションスコアを獲得し、（ｉｉｉ−２）前記オブジェクトのポーズ（ｐｏｓｅ）を確認するための第２クラシフィケーション演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第２クラス別の第２クラシフィケーションスコアを獲得する段階；及び（ｃ）前記ブラインドスポットモニタは、（ｉ）前記第１クラス別の第１クラシフィケーションスコアを参照して前記ｍ個のプロポーザルボックスのうち前記オブジェクトが前記観察対象自動車と判断された特定プロポーザルボックスを決定し、（ｉｉ）前記第２クラス別の第２クラシフィケーションスコアを参照して前記観察対象自動車と判断された前記特定プロポーザルボックスのうち少なくとも一つの特定観察対象自動車のポーズが前記基準自動車の走行方向に対応されるｉ個のプロポーザルボックスを決定し、（ｉｉｉ）前記ｉ個のプロポーザルボックス各々に対応するリグレッション情報を利用して前記ｉ個のプロポーザルボックス各々に対応するｉ個の検出バウンディングボックスを獲得し、（ｉｖ）前記ｉ個の検出バウンディングボックスのうち前記基準自動車のブラインドスポットに位置する検出バウンディングボックスがあるかを判断することで前記ブラインドスポットに要注意自動車が位置するかを判断する段階；を含む自動車のブラインドスポットモニタリング方法が提供される。
【0046】
前記他の実施例によれば、前記ブラインドスポットモニタは、前記ｍ個のプロポーザルボックス各々に対応する前記各々の特徴ベクタを前記ＦＣレイヤに入力し、（ｉｉｉ−３）前記ＦＣレイヤを通じて前記特徴ベクタをリグレッション演算して前記ｍ個のプロポーザルボックス各々に対応する前記第１クラス別のリグレッション情報を追加的に獲得することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【0047】
また、前記他の実施例によれば、前記ブラインドスポットモニタは、前記基準自動車から見た前記観察対象自動車の姿が前記観察対象自動車の正面方向か前記観察対象自動車の左側正面または右側正面方向の場合、前記観察対象自動車が前記基準自動車と同一の方向に走行すると判断することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【0048】
また、前記他の実施例によれば、前記ブラインドスポットモニタは、（ｉ）第１条件−前記第１条件は前記ｉ個の検出バウンディングボックスのうち第１検出バウンディングボックスが前記基準自動車の進行方向の後方左側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車の姿が前記観察対象自動車の正面方向か前記観察対象自動車の左側正面方向の場合である−を満足するか、（ｉｉ）第２条件−前記第２条件は前記ｉ個の検出バウンディングボックスのうち第２検出バウンディングボックスが前記基準自動車の進行方向の後方右側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車の姿が前記観察対象自動車の正面方向か前記観察対象自動車の右側正面方向の場合である−を満足すると、前記ブラインドスポットモニタは、前記要注意自動車が前記基準自動車の前記ブラインドスポットに位置しないと判断することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【0049】
また、本発明の他の実施例によれば、自動車のブラインドスポットをモニタリングする装置において、基準自動車の運行中、前記基準自動車で撮影された後方映像イメージまたは前記後方映像イメージと対応される少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を獲得する通信部；及び（ｉ）前記通信部から獲得された特徴マップまたは前記通信部から獲得された前記後方映像イメージに少なくとも一つのコンボリューション演算を適用して計算された特徴マップを用いて前記後方映像イメージに位置する少なくとも一つのオブジェクト（ｏｂｊｅｃｔ）に対応するｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ ｂｏｘ）を獲得するプロセス；（ｉｉ）前記特徴マップの前記ｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して前記ｍ個のプロポーザルボックス各々に対応する特徴ベクタ（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を獲得し、前記ｍ個のプロポーザルボックス各々に対応する前記特徴ベクタをＦＣ ｌａｙｅｒに各々入力して（ｉｉｉ−１）前記オブジェクトが観察対象自動車か否かを確認するための第１クラシフィケーション（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第１クラス別の第１クラシフィケーションスコアを獲得し、（ｉｉｉ−２）前記オブジェクトのポーズ（ｐｏｓｅ）を確認するための第２クラシフィケーション演算を通じて前記ｍ個のプロポーザルボックス各々に対応する第２クラス別の第２クラシフィケーションスコアを獲得するプロセス；（ｉｖ）前記第１クラス別の第１クラシフィケーションスコアを参照して前記ｍ個のプロポーザルボックスのうち前記オブジェクトが前記観察対象自動車と判断された特定プロポーザルボックスを決定するプロセス；（ｖ）前記第２クラス別の第２クラシフィケーションスコアを参照して前記観察対象自動車と判断された前記特定プロポーザルボックスのうち少なくとも一つの特定観察対象自動車のポーズが前記基準自動車の走行方向に対応されるｉ個のプロポーザルボックスを決定するプロセス；（ｖｉ）前記ｉ個のプロポーザルボックス各々に対応するリグレッション情報を利用して前記ｉ個のプロポーザルボックス各々に対応するｉ個の検出バウンディングボックスを獲得するプロセス；及び（ｖｉｉ）前記ｉ個の検出バウンディングボックスのうち前記基準自動車のブラインドスポットに位置する検出バウンディングボックスがあるかを判断することで前記ブラインドスポットに要注意自動車が位置するかを判断するプロセス；を遂行するプロセッサ；を含む自動車のブラインドスポットモニタが提供される。
【0050】
前記他の実施例によれば、前記（ｉｉｉ）プロセスで、前記ｍ個のプロポーザルボックス各々に対応する前記各々の特徴ベクタを前記ＦＣレイヤに入力し、（ｉｉｉ−３）前記ＦＣレイヤを通じて前記特徴ベクタをリグレッション演算して前記ｍ個のプロポーザルボックス各々に対応する前記第１クラス別のリグレッション情報を追加的に獲得することを特徴とする自動車のブラインドスポットモニタが提供される。
【0051】
また、前記他の実施例によれば、前記（ｖ）プロセスで、前記基準自動車から見た前記観察対象自動車の姿が前記観察対象自動車の正面方向か前記観察対象自動車の左側正面または右側正面方向の場合、前記観察対象自動車が前記基準自動車と同一の方向に走行すると判断することを特徴とする自動車のブラインドスポットモニタが提供される。
【0052】
また、前記他の実施例によれば、 第１条件−前記第１条件は前記ｉ個の検出バウンディングボックスのうち第１検出バウンディングボックスが前記基準自動車の進行方向の後方左側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車の姿が前記観察対象自動車の正面方向か前記観察対象自動車の左側正面方向の場合である−を満足するか、第２条件−前記第２条件は前記ｉ個の検出バウンディングボックスのうち第２検出バウンディングボックスが前記基準自動車の進行方向の後方右側領域に形成される前記ブラインドスポットに位置すると判断された状態で、前記基準自動車から見た前記観察対象自動車の姿が前記観察対象自動車の正面方向か前記観察対象自動車の右側正面方向の場合である−を満足すると、前記要注意自動車が前記基準自動車の前記ブラインドスポットに位置しないと判断することを特徴とする自動車のブラインドスポットモニタが提供される。
【0053】
これ以外にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ判読可能な記録媒体がさらに提供される。
【発明の効果】
【0054】
本発明はコンボリューションニューラルネットワーク（ＣＮＮ）アルゴリズムを利用してブラインドスポットに位置する要注意自動車を正確に検出できるようになる。
【0055】
また、本発明は自動車の周辺環境に関係なくブラインドスポットに位置する要注意自動車を正確に検出できるようになる。
【0056】
また、本発明は背景の動きと映像ノイズの影響を受けずにブラインドスポットに位置する要注意自動車をリアルタイムで少ない演算を通じて検出できるようになる。
【0057】
また、本発明は自動車及び周辺の自動車の走行環境に対応してブラインドスポットに位置する要注意自動車を正確に検出できるようになる。
【0058】
また、本発明は反対方向の車線にある車両をフィルタリングして多くの演算と不正確な結果をもたらす従来の方法とは異なり、車両検出及びポーズクラシフィケーションを同時に遂行できる検出ネットワークを用いて車線検出が必要ない反対方向の車線を最小限の演算でフィルタリングできるようになる。
【図面の簡単な説明】
【0059】
本発明の実施例の説明に利用されるために添付された下記図面は本発明の実施例のうち単に一部に過ぎず、本発明が属する技術分野で通常の知識を有する者（以下”通常の技術者”）においては発明的作業がなされることなく本図面に基づいて他の図面が得られることがある。
【0060】
【発明を実施するための形態】
【0061】
後述する本発明に対する詳細な説明は、本発明の目的、技術的解法及び長点を明らかにさせるために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は通常の技術者が本発明を実施することができるように充分詳細に説明される。
【0062】
また、本発明の詳細な説明及び請求項にかけて、’含む’という単語及びその変形は他の技術的特徴、付加物、構成要素または段階を除くものとして意図されたものではない。通常の技術者に本発明の他の目的、長点及び特性が一部は本説明書から、そして一部は本発明の実施から明らかになる。下記の例示及び図面は実例として提供され、本発明を限定するものとして意図されたものではない。
【0063】
さらに、本発明は本明細書に表示された実施例のすべての可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例にかかる本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されると、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号は様々な側面にかけて同一か類似する機能を指称する。
【0064】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明することとする。
【0065】
まず、図１は本発明の一実施例によるブラインドスポットモニタリングシステムを概略的に示したブロックダイアグラムであり、図１を参照すれば、ブラインドスポットモニタリングシステムはブラインドスポットモニタ１００と基準自動車２００が含まれ得る。参考までに、ブラインドスポットモニタ１００は基準自動車２００に搭載されているものとして想定することもあるが、これに限定されるものではない。また、図１を参照すれば、ビジョンセンサ１０、例えばカメラがブラインドスポットモニタ１００と通信するものとして示したが、ブラインドスポットモニタ１００に含まれていることもあり、基準自動車２００に含まれていることもある。
【0066】
まず、ブラインドスポットモニタ１００は基準自動車２００のブラインドスポットに位置するか近接する観察対象自動車を検出するものであり、ビジョンセンサ１０、一例として、カメラなどから獲得される基準自動車２００で撮影された少なくとも一つの後方映像イメージを分析して基準自動車２００のブラインドスポットに要注意自動車が位置するか否かを判別し得る。
【0067】
そして、基準自動車２００はブラインドスポットモニタ１００から伝送される情報とステアリングシステムの情報を参照して要注意自動車が位置するブラインドスポット方向に自動車が車線を変更することを防止するか、アラームシステムを通じて運転者がブラインドスポットに要注意自動車が位置することを認知するようにし得る。特に、基準自動車２００が自律走行自動車の場合、ブラインドスポットモニタ１００から受信されるブラインドスポットに位置する要注意自動車の情報と走行環境を参照して自律走行中に車線の変更可否を判断し得るようになる。
【0068】
また、ブラインドスポットモニタ１００は基準自動車２００の運行中、カメラなどのビジョンセンサ１０によって撮影された基準自動車２００における後方映像イメージを獲得する通信部１１０と、獲得された後方映像イメージを分析して基準自動車２００のブラインドスポットに要注意自動車が位置するか否かを判断するプロセッサ１２０が含まれ得る。この時、ビジョンセンサ１０は、図２から分かるように、基準自動車２００の任意の位置に設置されて基準自動車２００の後方映像を撮影するものであり、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、またはイメージキャプチャ素子などの光学センサが含まれ得る。
【0069】
本発明の一実施例によれば、プロセッサ１２０は（ｉ）獲得された後方映像イメージから少なくとも一つの特徴マップを獲得し、（ｉｉ）後方映像イメージに位置する少なくとも一つのオブジェクトに対応するｍ個のプロポーザルボックスを獲得し、（ｉｉｉ）特徴マップのｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）し、（ｉｖ）ｍ個のプロポーザルボックス各々に対応する特徴ベクタ（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を獲得する。また、プロセッサ１２０はｍ個のプロポーザルボックス各々に対応する特徴ベクタを第１ＦＣ ｌａｙｅｒに各々入力して（ｉ）オブジェクトが観察対象自動車か否かを確認するための第１クラシフィケーション（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）演算を通じてｍ個のプロポーザルボックス各々に対応する第１クラス別の第１クラシフィケーションスコアを獲得し、（ｉｉ）オブジェクトのポーズ（ｐｏｓｅ）を確認するための第２クラシフィケーション演算を通じてｍ個のプロポーザルボックス各々に対応する第２クラス別の第２クラシフィケーションスコアを獲得する。以後、プロセッサ１２０は（ｉ）第１クラス別の第１クラシフィケーションスコアを参照してｍ個のプロポーザルボックスのうちオブジェクトが観察対象自動車と判断されたｎ個のプロポーザルボックスを決定し、（ｉｉ）ｎ個のプロポーザルボックス各々に対応するリグレッション情報を利用してｎ個のプロポーザルボックス各々に対応するｎ個の検出バウンディングボックスを獲得し、（ｉｉｉ）第２クラス別の前記第２クラシフィケーションスコアを参照してｎ個の検出バウンディングボックス各々に対応する観察対象自動車のポーズを決定し、（ｉｖ）ｎ個の検出バウンディングボックスと観察対象自動車のポーズを参照して基準自動車２００のブラインドスポットに要注意自動車が位置するか否かを判断する。
【0070】
即ち、ｎ個の検出バウンディングボックスのうち少なくとも一部と観察対象自動車のポーズを参照として、ブラインドスポットにある観察対象自動車を要注意自動車に分類するか否かを決定し得る。ここで、クラスの第１種類は検出されたオブジェクトが何かを決定するのに使用され得る。例えば、クラスの第１種類は自動車クラス、歩行者クラス、オートバイクラス、犬クラスなどが含まれ得る。また、自動車に対するリグレッション情報はクラスの第１種類内の自動車クラスに対応する情報であり得る。
【0071】
このように構成された本発明の一実施例によるブラインドスポットモニタリングシステムでブラインドスポットに要注意自動車が位置するか否かをモニタリングする方法を図３及び図４を参照してより詳細に説明すれば次のとおりである。
【0072】
まず、図３を参照すれば、基準自動車２００の運行中、基準自動車２００に設置されたビジョンセンサ１０が基準自動車２００の後方を撮影して後方映像イメージを伝送すると、ブラインドスポットモニタ１００の通信部１１０がビジョンセンサ１０から伝送される基準自動車２００の後方映像イメージを獲得するようになり（Ｓ１０）、ブラインドスポットモニタ１００のプロセッサ１２０は通信部１００を通じて獲得された後方映像イメージから特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を獲得する。
【0073】
一例として、ブラインドスポットモニタ１００のプロセッサ１２０は（ｉ）後方映像イメージをコンボリューションレイヤに入力して少なくとも一つの後方映像イメージをコンボリューションし、（ｉｉ）コンボリューションレイヤを通じて特徴マップを獲得する（Ｓ２１）。
【0074】
この時、ブラインドスポットモニタ１００のプロセッサ１２０は後方映像イメージをコンボリューションする場合、パッドを０に設定した状態で既設定されたストライドでフィルタを移動させながら後方映像イメージまたはこれから獲得された特徴マップをコンボリューションし得る。即ち、プロセッサ１２０は後方映像イメージまたはこれから獲得された特徴マップをコンボリューションして後方映像イメージまたはこれから獲得された特徴マップの大きさを縮小し、コンボリューションを多重で遂行して既設定された大きさの特徴マップを獲得し得る。これとは異なり、ブラインドスポットモニタ１００のプロセッサ１２０はパッドを特定値に設定した状態で（ｉ）コンボリューションを遂行して後方映像イメージのような大きさの少なくとも一つの特徴マップを獲得し、（ｉｉ）獲得された特徴マップをプーリングして特徴マップをダウンサイジングし、（ｉｉｉ）コンボリューションとプーリングを反復して後方映像イメージから少なくとも一つの既設定された大きさの特徴マップを生成することもある。
【0075】
参考までに、ブラインドスポットモニタ１００のプロセッサ１２０はコンボリューションレイヤを利用したコンボリューションを遂行するにおいて、ビジョンセンサ１０から獲得された後方映像イメージ全体に対してコンボリューションを遂行するか、ビジョンセンサ１０から獲得された後方映像イメージのうちブラインドスポットに設定された領域に対応されるイメージのみをコンボリューションして特徴マップを獲得し得る。
【0076】
ブラインドスポットモニタ１００のプロセッサ１２０は後方映像イメージに位置するオブジェクト（ｏｂｊｅｃｔ）に対応するｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ ｂｏｘ）を獲得し得る。一例として、ブラインドスポットモニタ１００のプロセッサ１２０は特徴マップをＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）に入力して後方映像イメージに位置するオブジェクトに対応されるｍ個のプロポーザルボックスを獲得し得る（Ｓ２２）。
【0077】
以後、ブラインドスポットモニタ１００のプロセッサ１２０は（ｉ）特徴マップのｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）し、（ｉｉ）ｍ個のプロポーザルボックス各々に対応する特徴ベクタ（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を獲得し得る（Ｓ２３）。
【0078】
一例として、ブラインドスポットモニタ１００のプロセッサ１２０は（ｉ）特徴マップのうちｍ個のプロポーザルボックスに対応する各々の領域に該当する特徴マップをＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔｉｎｇ）プーリングレイヤに入力し、（ｉｉ）特徴マップのｍ個のプロポーザルボックスに対応する領域各々に対してマックスプーリングするかアベレージプーリングしてｍ個のプロポーザルボックス各々に対応する特徴ベクタを獲得し得る。
【0079】
そして、ブラインドスポットモニタ１００のプロセッサ１２０はｍ個のプロポーザルボックス各々に対応する特徴ベクタを第１ＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）ｌａｙｅｒに各々入力し（Ｓ２４）、第１ＦＣ ｌａｙｅｒにおけるオブジェクトが観察対象自動車か否かを確認するための第１クラシフィケーション（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）演算を通じてｍ個のプロポーザルボックス各々に対応する第１クラス別の第１クラシフィケーションスコアを獲得する（Ｓ２５）。
【0080】
また、ブラインドスポットモニタ１００のプロセッサ１２０は第２クラス別の第２クラシフィケーションスコアを獲得する（Ｓ２７）。この時、第２クラスは検出される観察対象自動車のポーズを判別するためのものであり、基準自動車２００から見た観察対象自動車の姿であり得る。
【0081】
一例として、第２クラスは図５のように示されことがあり、図５の（Ａ）は基準自動車２００から見た観察対象自動車の姿が観察対象自動車の後面方向である状態を示したものであり、図５の（Ｂ）は基準自動車２００から見た観察対象自動車の姿が観察対象自動車の右側後面方向である状態を示したものであり、図５の（Ｃ）は基準自動車２００から見た観察対象自動車の姿が観察対象自動車の右側面方向である状態を示したものであり、図５の（Ｄ）は基準自動車２００から見た観察対象自動車の姿が観察対象自動車の右側正面方向である状態を示したものであり、図５の（Ｅ）は基準自動車２００から見た観察対象自動車の姿が観察対象自動車の正面方向である状態を示したものであり、図５の（Ｆ）は基準自動車２００から見た観察対象自動車の姿が観察対象自動車の左側正面方向である状態を示したものであり、図５の（Ｇ）は基準自動車２００から見た観察対象自動車の姿が観察対象自動車の左側面方向である状態を示したものであり、図５の（Ｈ）は基準自動車２００から見た観察対象自動車の姿が観察対象自動車の左側後面方向である状態を示したものである。
【0082】
これに加えて、ブラインドスポットモニタ１００のプロセッサ１２０は第２ＦＣ ｌａｙｅｒで特徴ベクタをリグレッション演算してｍ個のプロポーザルボックス各々に対応する第１クラス別のリグレッション情報を追加的に獲得し得る（Ｓ２６）。
【0083】
次に、図４を参照すれば、ブラインドスポットモニタ１００のプロセッサ１２０は図３のように観察対象自動車を検出するための第１クラシフィケーションスコアとリグレッション情報、及び観察対象自動車のポーズを決定するための第２クラシフィケーション情報を獲得（Ｓ２００）した状態で、（ｉ）第１クラシフィケーションスコアとボックスリグレッション情報を参照して基準自動車２００のブラインドスポットに位置する観察対象自動車を決定し（Ｓ３００）、（ｉｉ）第２クラシフィケーション情報から決定された基準自動車２００のブラインドスポットに位置する観察対象自動車のポーズを参照して基準自動車のブラインドスポットに要注意自動車が位置するか否かを決定する（Ｓ４００）。
【0084】
これを具体的に説明すれば、ブラインドスポットモニタ１００のプロセッサ１２０は（ｉ）第１クラス別の第１クラシフィケーションスコアを参照してｍ個のプロポーザルボックスのうちオブジェクトが観察対象自動車と判断されたｎ個のプロポーザルボックスを決定し、（ｉｉ）ｎ個のプロポーザルボックス各々に対応するリグレッション情報を利用してｎ個のプロポーザルボックス各々に対応するｎ個の検出バウンディングボックスを獲得することで（ｉｉｉ）後方映像イメージ内に位置する観察対象自動車を検出し得るようになる。
【0085】
また、具体的に、Ｓ３００で、ブラインドスポットモニタ１００のプロセッサ１２０は基準自動車２００の後方映像イメージ内に位置する観察対象自動車に対応されるｎ個の検出バウンディングボックスのうち基準自動車２００のブラインドスポットに位置するｋ個の検出バウンディングボックスを決定する。そして、Ｓ４００で、ブラインドスポットモニタ１００のプロセッサ１２０は基準自動車２００のブラインドスポットに位置する観察対象自動車に対応されるｋ個の検出バウンディングボックスのうち観察対象自動車のポーズが基準自動車２００の走行方向に対応される検出バウンディングボックスがある場合、これを要注意自動車と判断し得る（Ｓ４００）。
【0086】
これを図６を参照してさらに詳細に説明すれば、ブラインドスポットモニタ１００のプロセッサ１２０は（ｉ）第１クラシフィケーションスコアとリグレッション情報を参照して基準自動車２００のブラインドスポットに位置する観察対象自動車３１０、３２０を検出し、（ｉｉ）検出された観察対象自動車３１０、３２０のポーズを確認し得る。例えば、観察対象自動車のポーズが図５における第２クラスのうち（Ｄ）、（Ｅ）、（Ｆ）のように正面方向か、左側正面または右側正面方向の場合、観察対象自動車３１０が基準自動車２００と同一の方向に走行すると判断して観察対象自動車３１０をブラインドスポットに位置する要注意自動車に決定するようになる。これとは異なり、観察対象自動車３２０のポーズが図５における第２クラスのうち（Ａ）、（Ｂ）、（Ｃ）、（Ｇ）、（Ｈ）のように後面方向、右側後面方向、右側面方向、左側面方向、左側後面方向の場合、観察対象自動車３２０が基準自動車２００と異なる方向に走行すると判断してブラインドスポットに要注意自動車が位置しないと決定するようになる。即ち、基準自動車２００の走行方向と反対方向に走行する観察対象自動車はブラインドスポットに位置するが、基準自動車２００の走行車線と反対側の走行車線に位置すると判断してブラインドスポットに要注意自動車が位置しないと判断し得る。
【0087】
また、ブラインドスポットモニタ１００のプロセッサ１２０は（ｉ）ｋ個の検出バウンディングボックスのうち第１検出バウンディングボックスが基準自動車２００の進行方向の後方左側領域に形成されるブラインドスポットに位置すると判断された状態で、（ｉｉ）基準自動車２００から見た観察対象自動車の姿が観察対象自動車の正面方向か観察対象自動車の左側正面方向の場合、要注意自動車が基準自動車２００のブラインドスポットに位置しないと判断し得る。そして、（ｉ）ｋ個の検出バウンディングボックスのうち第２検出バウンディングボックスが基準自動車２００の進行方向の後方右側領域に形成されるブラインドスポットに位置すると判断された状態で、（ｉｉ）基準自動車２００から見た観察対象自動車の姿が観察対象自動車の正面方向か観察対象自動車の右側正面方向の場合、要注意自動車が基準自動車２００のブラインドスポットに位置しないと判断し得る。
【0088】
即ち、図７Ａのように、基準自動車２００が左側にカーブした道路を走行し、基準自動車２００と同じ車線で基準自動車２００の後尾に観察対象自動車３００が走行する場合、基準自動車２００の進行方向の後方左側領域に形成されるブラインドスポットに観察対象自動車３００が位置すると検出され得る。しかし、観察対象自動車３００のポーズは図７Ｂのように図５における第２クラスのうち（Ｅ）、（Ｆ）に対応される正面方向か、左側正面方向と確認されるので、観察対象自動車３００は要注意自動車ではないと確認し、基準自動車２００の左側方向ブラインドスポットに要注意自動車が位置しないと判断することで自動車の走行環境に能動的に対応してブラインドスポットに位置する要注意自動車を検出し得るようになる。
【0089】
また、基準自動車２００が右側にカーブした道路を走行し、基準自動車２００と同じ車線で基準自動車２００の後尾に観察対象自動車が走行する場合にも、同じ方法によって、基準自動車２００の進行方向の後方右側領域に形成されるブラインドスポットに観察対象自動車が位置すると検出されるが、観察対象自動車のポーズは図５における第２クラスのうち（Ｄ）、（Ｅ）のように右側正面方向か、正面方向と確認されるので、基準自動車２００の右側方向ブラインドスポットに要注意自動車が位置しないと判断し得る。
【0090】
そして、ブラインドスポットモニタ１００のプロセッサ１２０は（ｉ）ｎ個の検出バウンディングボックス各々が互いに重畳される比率である第１重畳の比率を計算し、第１重畳の比率のうち第１臨界値以上であると確認される第１重畳の比率を有する特定検出バウンディングボックスが同一の観察対象自動車に対応されると判断し得て、（ｉｉ）前記特定検出バウンディングボックスのうち対応されるプロポーザルボックスと重畳される比率である第２重畳の比率を計算し、第２重畳の比率のうち最大比率を有する所定の検出バウンディングボックスを一つの同一の観察対象自動車に対する特定検出バウンディングボックスと判断し得る。
【0091】
一例として、（ｉ）第１検出バウンディングボックスと第２検出バウンディングボックスが互いに重畳される比率である第１重畳の比率を計算し、（ｉｉ）計算された第１重畳の比率が第１臨界値以上の場合、第１検出バウンディングボックスと第１プロポーザルボックスが重畳される第２重畳の比率と第２検出バウンディングボックスと第２プロポーザルボックスが重畳される第３重畳の比率を計算する。そして、計算された第２重畳の比率と第３重畳の比率を比較して第２重畳の比率が大きい場合、観察対象自動車に対する検出バウンディングボックスは第１検出バウンディングボックスであると判断し得る。
【0092】
ここで、前記第１重畳の比率は前記第１検出バウンディングボックスと前記第２検出バウンディングボックスの交差集合に対応する領域を前記第１検出バウンディングボックスと前記第２検出バウンディングボックスの和集合に対応する領域に分けて計算し得る。また、前記第２重畳の比率は前記第１検出バウンディングボックスと前記第１プロポーザルボックスの交差集合に対応する領域を前記第１検出バウンディングボックスと前記第１プロポーザルボックスの和集合に対応する領域に分けて計算し得る。また、前記第３重畳の比率は第２検出バウンディングボックスと前記第２プロポーザルボックスの交差集合に対応する領域を前記第２検出バウンディングボックスと前記第２プロポーザルボックスの和集合に対応する領域に分けて計算し得る。
【0093】
これとは異なり、ブラインドスポットモニタ１００のプロセッサ１２０は（ｉ）ｎ個の検出バウンディングボックス各々が互いに重畳される比率である第１重畳の比率を計算し、（ｉｉ）第１重畳の比率のうち第２臨界値未満であると確認される第１重畳の比率を有する検出バウンディングボックスが互いに異なる観察対象自動車に対する検出バウンディングボックスであると判断し得る。ここで、第１臨界値及び第２臨界値は互いに同じか異なり得る。
【0094】
また、前記では第１クラシフィケーションスコアとボックスリグレッション情報を利用して基準自動車２００のブラインドスポットに位置する観察対象自動車を確認した後、観察対象自動車のポーズを確認して基準自動車２００のブラインドスポットに位置する要注意自動車に該当する観察対象自動車を確定したが、これとは異なり、第１クラシフィケーションスコアと第２クラシフィケーションスコアを参照して基準自動車２００と同一の走行方向に走行する観察対象自動車を確認した後、基準自動車２００と同一の走行方向に走行する観察対象自動車に対するボックスリグレッション情報を参照して基準自動車２００のブラインドスポットに位置する要注意自動車を確定することもある。
【0095】
即ち、ブラインドスポットモニタ１００のプロセッサ１２０は、（ｉ）第１クラス別の第１クラシフィケーションスコアを参照してｍ個のプロポーザルボックスのうちオブジェクトが観察対象自動車と判断された特定プロポーザルボックスを決定し、（ｉｉ）第２クラス別の第２クラシフィケーションスコアを参照して観察対象自動車と判断された前記特定プロポーザルボックスのうち観察対象自動車のポーズが基準自動車２００の走行方向に対応されるｉ個のプロポーザルボックスを決定する。そして、ブラインドスポットモニタ１００のプロセッサ１２０は、（ｉ）ｉ個のプロポーザルボックス各々に対応するリグレッション情報を利用してｉ個のプロポーザルボックス各々に対応するｉ個の検出バウンディングボックスを獲得し、（ｉｉ）ｉ個の検出バウンディングボックスのうち基準自動車２００のブラインドスポットに位置する検出バウンディングボックスがあるかを判断することで基準自動車２００のブラインドスポットに要注意自動車が位置するかを判断し得る。
【0096】
次に、図４から分かるように、ブラインドスポットモニタ１００のプロセッサ１２０は基準自動車２００のブラインドスポットに要注意自動車が位置したと判断される場合、ブラインドスポットに要注意自動車が位置した情報を基準自動車２００のコントロールユニットに伝送することで基準自動車２００のコントロールユニットをもって観察対象自動車が位置するブラインドスポット方向に自動車が車線を変更することを防止するように支援することができる（Ｓ５００）。
【0097】
この時、基準自動車２００のコントロールユニットは自動車のステアリングシステムの情報を参照して運転者が車線を変更しようとする場合、変更しようとする車線のブラインドスポットに要注意自動車が位置する場合、アラームシステムを通じて運転者がブラインドスポットに要注意自動車があることを認知し得るようにして車線変更による危険状況を未然に防止できるようにし得る。また、基準自動車２００が自律走行自動車の場合、自律走行自動車がブラインドスポットに要注意自動車が位置するか否かに対する情報と走行環境を参照して安全に車線を変更し得るようにする。
【0098】
前記でブラインドスポットに要注意自動車が位置するか否かの確認のために、基準自動車２００の両側車線に形成されるブラインドスポット各々に対して順次に前記のような方法を遂行してブラインドスポットに要注意自動車が位置するかを確認し得る。
【0099】
そして、前記の方法によってブラインドスポットに要注意自動車が位置するかをモニタリングする方法において、ブラインドスポットモニタは、学習されたコンボリューションパラメーター、第１クラシフィケーションパラメーター、第２クラシフィケーションパラメーター、及びリグレッションパラメーターを利用してコンボリューション、第１クラシフィケーション、第２クラシフィケーション、及びボックスリグレッションを遂行し得る。
【0100】
また、以上で説明された本発明にかかる実施例は多様なコンピュータ構成要素を通じて遂行され得るプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独または組み合わせて含まれ得る。前記コンピュータで判読可能な記録媒体に記録されるプログラム命令語は本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野における通常の技術者に公知となって使用可能なものでもあり得る。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけではなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は本発明にかかる処理を遂行するために一つ以上のソフトウェアモジュールとして作動されるように構成されることがあり、その逆も同様である。
【0101】
以上、本発明が具体的な構成要素などのような特定の事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野で通常の知識を有する者であればかかる記載から多様な修正及び変形が行なわれ得る。
【0102】
従って、本発明の思想は前記説明された実施例に極限されて定められてはならず、後述する特許請求の範囲だけではなく、本特許請求の範囲と均等または等価的に変形されたすべてのものは本発明の思想の範疇に属するといえる。
【符号の説明】
【0103】
１０…ビジョンセンサ、１００…ブラインドスポットモニタ、１１０…通信部、１２０…プロセッサ、２００…基準自動車、３００，３１０，３２０…観察対象自動車。