特許 6986769 経路プランニングのための自律走行車両の位置を決定する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6986769

(24)【登録日】2021年12月2日

(45)【発行日】2021年12月22日

(54)【発明の名称】経路プランニングのための自律走行車両の位置を決定する方法及び装置

(51)【国際特許分類】

   G01C 21/30 20060101AFI20211213BHJP

   G06T 7/00 20170101ALI20211213BHJP

   G06T 7/70 20170101ALI20211213BHJP

【ＦＩ】

   G01C21/30

   G06T7/00 350C

   G06T7/00 650Z

   G06T7/70 Z

【請求項の数】18

【全頁数】22

(21)【出願番号】特願2020-8771(P2020-8771)

(22)【出願日】2020年1月22日

(65)【公開番号】特開2020-122784(P2020-122784A)

(43)【公開日】2020年8月13日

【審査請求日】2020年1月22日

(31)【優先権主張番号】62/798,574

(32)【優先日】2019年1月30日

(33)【優先権主張国】US

(31)【優先権主張番号】16/731,093

(32)【優先日】2019年12月31日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】517038176

【氏名又は名称】株式会社ストラドビジョン

(74)【代理人】

【識別番号】110000855

【氏名又は名称】特許業務法人浅村特許事務所

(72)【発明者】

【氏名】キム、ケイ − ヒョン

(72)【発明者】

【氏名】キム、ヨンジュン

(72)【発明者】

【氏名】キム、ハク − キョン

(72)【発明者】

【氏名】ナム、ウヒョン

(72)【発明者】

【氏名】ブー、ソッフン

(72)【発明者】

【氏名】ソン、ミュンチュル

(72)【発明者】

【氏名】シン、ドンス

(72)【発明者】

【氏名】ヨー、ドンフン

(72)【発明者】

【氏名】リュー、ウジュ

(72)【発明者】

【氏名】イ、ミョン − チュン

(72)【発明者】

【氏名】イ、ヒョンス

(72)【発明者】

【氏名】チャン、テウン

(72)【発明者】

【氏名】ジョン、キュンチョン

(72)【発明者】

【氏名】チェ、ホンモ

(72)【発明者】

【氏名】チョウ、ホジン

【審査官】 田中 純一

(56)【参考文献】

【文献】 国際公開第２０１８／１３８７８２（ＷＯ，Ａ１）

【文献】 特表２０１９−５００６０２（ＪＰ，Ａ）

【文献】 国際公開第２０１７／１６８４７２（ＷＯ，Ａ１）

【文献】 特開２０１７−０５４４９４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１８／００４５５１９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ２１／００ − ２１／３６

Ｇ０１Ｃ ２３／００ − ２５／００

Ｇ０８Ｇ １／００ − ９９／００

Ｇ０９Ｂ ２３／００ − ２９／１４

Ｂ６０Ｗ １０／００ − １０／３０

Ｂ６０Ｗ ３０／００ − ６０／００

Ｇ０５Ｄ １／００ − １／１２

Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

ランドマーク検出を使用して自律走行が可能な対象車両の位置を検出する方法において、
（ａ）コンピューティング装置が、コンピューティング装置と連動する対象車両の状況に対応する少なくとも一つのライブイメージを処理することによって生成された一つ以上のライブ特徴マップを取得した場合、（ｉ）それぞれのリファレンス物体に対応する一つ以上のそれぞれのリファレンス特徴マップと（ｉｉ）前記ライブ特徴マップとを参照して、前記ライブ特徴マップが取得された前記対象車両の少なくとも一つの位置及び少なくとも一つの姿勢に対応する対象データ領域に含まれている一つ以上のリファレンス物体ごとに前記ライブ特徴マップのそれぞれの特徴マップ座標を検出する段階；
（ｂ）前記コンピューティング装置が、前記特徴マップ座標それぞれを参照して、前記ライブイメージ上の前記それぞれのリファレンス物体のイメージ座標それぞれを検出する段階；及び
（ｃ）前記コンピューティング装置が、リアル世界における前記リファレンス物体の一つ以上の３次元座標と、前記イメージ座標と、前記ライブイメージを取得したカメラのパラメータに関する情報と、前記対象車両の前記姿勢に関する情報とを参照して、前記対象車両の少なくとも一つの最適化対象座標を検出する段階；
を含み、
前記（ａ）段階は、
前記コンピューティング装置が、（ｉ）特定のリファレンス物体に対応する

のサイズを有する複数個の特定のリファレンス特徴マップ及び（ｉｉ）

のサイズを有する前記ライブ特徴マップが並列してチャンネル単位でコンカチネートされることによって生成された特定の統合特徴マップが取得されると、第１ＣＮＮをもって、前記特定の統合特徴マップに少なくとも一つの第１ＣＮＮ演算を適用させることによって、前記ライブ特徴マップの部分ライブ特徴マップの中から特定の部分ライブ特徴マップを見出し、前記特定の部分ライブ特徴マップは、前記特定のリファレンス特徴マップと関連して類似性点数が閾値より大きいことを特徴とし、前記ライブ特徴マップにある前記特定の部分ライブ特徴マップの相対的な位置に関する情報を参照して、前記特徴マップ座標の中から特定の特徴マップ座標を検出させる、ことを特徴とする方法。

【請求項2】

前記（ｃ）段階は、
前記コンピューティング装置が、前記イメージ座標と、前記３次元座標と、前記パラメータに関する情報と、前記姿勢に関する情報とともに下記数式を使用して、前記最適化対象座標を検出し、

【請求項3】

前記（ｃ）段階は、
前記コンピューティング装置が、前記数式に対応する最適化問題を解決することによって前記最適化対象座標を検出し、
前記コンピューティング装置が、（ｉ）（ｉ−１）前記対象車両の少なくとも一つのジャイロセンサを介して取得された前記姿勢に関する情報を参照して、前記回転マトリクスを初期化するプロセスを遂行して、初期化された回転マトリクスを生成し、（ｉ−２）前記対象車両のＧＰＳを介して取得された初期対象座標を参照して、前記最適化対象座標を取得するのに使用される対象座標マトリクスを初期化することによって、初期化された対象座標マトリクスを生成するプロセスを遂行した後、（ｉｉ）前記初期化された回転マトリクス及び前記初期化された対象座標マトリクスが提供された状態で、前記数式を最小化する初期化された対角マトリクスを見出して前記対角マトリクスを初期化するプロセスを遂行し、以後、（ｉｉｉ）前記初期化された回転マトリクス、前記初期化された対象座標マトリクス、及び前記初期化された対角マトリクスの各値を調整することによって、前記数式を最小化する、最適化回転マトリクスと、最適化対象座標マトリクスと、最適化対角マトリクスとを見出すプロセスを遂行することによって、前記最適化問題を解いた後、前記最適化された対象座標マトリクスを参照して前記最適化された対象座標を検出することを特徴とする請求項２に記載の方法。

【請求項4】

前記第１ＣＮＮは、前記特定の統合特徴マップに前記第１ＣＮＮ演算を適用する以前に学習が完了し、
前記第１ＣＮＮは、（ｉ）学習用統合特徴マップに前記第１ＣＮＮ演算を適用して、学習用前記ライブ特徴マップの一つ以上のそれぞれの学習用部分ライブ特徴マップと学習用リファレンス特徴マップとの間の一つ以上の予測類似度点数それぞれを生成するプロセスを遂行した後、（ｉｉ）前記予測類似度点数及びこれに対応する原本正解類似度点数を参照して第１ロスを生成し、前記第１ロスを使用してバックプロパゲーションを遂行するプロセスを遂行することで学習が完了した状態であることを特徴とする請求項１に記載の方法。

【請求項5】

前記（ｂ）段階は、
前記コンピューティング装置が、（ｉ）（ｉ−１）前記特定の特徴マップ座標に対応する特定の部分ライブ特徴マップと（ｉ−２）これに対応する特定のリファレンス特徴マップとを統合することによって生成された、特定の部分統合特徴マップを参照して、前記ライブイメージにおいて特定の特徴マップ座標に対応する、特定のサブ領域上における特定のリファレンス物体の特定のサブ領域座標を検出し、（ｉｉ）前記特定のサブ領域座標及び前記特定の特徴マップ座標を参照して、前記イメージ座標の中から特定のイメージ座標を検出することを特徴とする請求項１に記載の方法。

【請求項6】

前記（ｂ）段階は、
前記コンピューティング装置が、第２ＣＮＮをもって、前記特定の部分統合特徴マップに、タンジェントハイパボリック（ｔａｎｇｅｎｔ ｈｙｐｅｒｂｏｌｉｃ）演算をアクティベーション関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）として使用する少なくとも一つの第２ＣＮＮ演算を適用して、前記特定のサブ領域座標を検出させることを特徴とする請求項５に記載の方法。

【請求項7】

前記第２ＣＮＮは、前記特定の部分統合特徴マップに前記第２ＣＮＮ演算を適用する以前に学習が完了し、
前記第２ＣＮＮは、（ｉ）学習用部分統合特徴マップに前記第２ＣＮＮ演算を適用して、前記学習用部分統合特徴マップに対応する学習用リファレンス物体の学習用予測サブ領域座標を生成するプロセスを遂行した後、（ｉｉ）前記予測サブ領域座標及びこれに対応する原本正解サブ領域座標を参照して、第２ロスを生成し、前記第２ロスを使用してバックプロパゲーションを遂行するプロセスを遂行して学習が完了することを特徴とする請求項６に記載の方法。

【請求項8】

前記（ａ）段階は、
前記ライブイメージが前記対象車両に搭載された前記カメラを介して取得された後、自律走行モジュールが前記対象車両の自律走行を遂行する間、前記ライブイメージは、前記自律走行モジュールに伝達されて前記ライブ特徴マップが生成され、以後、前記ライブ特徴マップが前記コンピューティング装置に伝達されることを特徴とする請求項１に記載の方法。

【請求項9】

前記（ａ）段階は、
前記コンピューティング装置が、前記対象車両に搭載されたＧＰＳを介して取得された初期対象座標及び前記対象車両の前記姿勢に関する情報を利用して、クエリをＨＤ（Ｈｉｇｈ−Ｄｅｎｓｉｔｙ）マップに伝送することによって、前記リファレンス特徴マップを含む前記対象データ領域に関する情報を取得することを特徴とする請求項１に記載の方法。

【請求項10】

ランドマーク検出を使用して自律走行が可能な対象車両の位置を検出するコンピューティング装置において、
少なくとも一つのインストラクションを格納する少なくとも一つのメモリと、
前記各インストラクションを遂行するように設定された少なくとも一つのプロセッサとを含み、前記プロセッサは、（Ｉ）コンピューティング装置と連動する対象車両の状況に対応する少なくとも一つのライブイメージを処理することによって生成された一つ以上のライブ特徴マップを取得した場合、（ｉ）それぞれのリファレンス物体に対応する一つ以上のそれぞれのリファレンス特徴マップと（ｉｉ）前記ライブ特徴マップとを参照して、前記ライブ特徴マップが取得された前記対象車両の少なくとも一つの位置及び少なくとも一つの姿勢に対応する対象データ領域に含まれている一つ以上のリファレンス物体ごとに前記ライブ特徴マップのそれぞれの特徴マップ座標を検出するプロセス；（ＩＩ）前記特徴マップ座標それぞれを参照して、前記ライブイメージ上の前記それぞれのリファレンス物体のイメージ座標それぞれを検出するプロセス；及び（ＩＩＩ）リアル世界における前記リファレンス物体の一つ以上の３次元座標と、前記イメージ座標と、前記ライブイメージを取得したカメラのパラメータに関する情報と、前記対象車両の前記姿勢に関する情報とを参照して、前記対象車両の少なくとも一つの最適化対象座標を検出するプロセス；を遂行し、
前記（Ｉ）プロセスは、
前記プロセッサが、（ｉ）特定のリファレンス物体に対応する

のサイズを有する複数個の特定のリファレンス特徴マップ及び（ｉｉ）

のサイズを有する前記ライブ特徴マップが並列してチャンネル単位でコンカチネートされることによって生成された特定の統合特徴マップが取得されると、第１ＣＮＮをもって、前記特定の統合特徴マップに少なくとも一つの第１ＣＮＮ演算を適用させることによって、前記ライブ特徴マップの部分ライブ特徴マップの中から特定の部分ライブ特徴マップを見出し、前記特定の部分ライブ特徴マップは、前記特定のリファレンス特徴マップと関連して類似性点数が閾値より大きいことを特徴とし、前記ライブ特徴マップにある前記特定の部分ライブ特徴マップの相対的な位置に関する情報を参照して、前記特徴マップ座標の中から特定の特徴マップ座標を検出させる、ことを特徴とする装置。

【請求項11】

【請求項12】

前記（ＩＩＩ）プロセスは、
前記プロセッサが、前記数式に対応する最適化問題を解決することによって前記最適化対象座標を検出し、
前記プロセッサが、（ｉ）（ｉ−１）前記対象車両の少なくとも一つのジャイロセンサを介して取得された前記姿勢に関する情報を参照して、前記回転マトリクスを初期化するプロセスを遂行して、初期化された回転マトリクスを生成し、（ｉ−２）前記対象車両のＧＰＳを介して取得された初期対象座標を参照して、前記最適化対象座標を取得するのに使用される対象座標マトリクスを初期化することによって、初期化された対象座標マトリクスを生成するプロセスを遂行した後、（ｉｉ）前記初期化された回転マトリクス及び前記初期化された対象座標マトリクスが提供された状態で、前記数式を最小化する初期化された対角マトリクスを見出して前記対角マトリクスを初期化するプロセスを遂行し、以後、（ｉｉｉ）前記初期化された回転マトリクス、前記初期化された対象座標マトリクス、及び前記初期化された対角マトリクスの各値を調整することによって、前記数式を最小化する、最適化回転マトリクスと、最適化対象座標マトリクスと、最適化対角マトリクスとを見出すプロセスを遂行することによって、前記最適化問題を解いた後、前記最適化された対象座標マトリクスを参照して前記最適化された対象座標を検出することを特徴とする請求項１１に記載の装置。

【請求項13】

前記第１ＣＮＮは、前記特定の統合特徴マップに前記第１ＣＮＮ演算を適用する以前に学習が完了し、
前記第１ＣＮＮは、（ｉ）学習用統合特徴マップに前記第１ＣＮＮ演算を適用して、学習用前記ライブ特徴マップの一つ以上のそれぞれの学習用部分ライブ特徴マップと学習用リファレンス特徴マップとの間の一つ以上の予測類似度点数それぞれを生成するプロセスを遂行した後、（ｉｉ）前記予測類似度点数及びこれに対応する原本正解類似度点数を参照して第１ロスを生成し、前記第１ロスを使用してバックプロパゲーションを遂行するプロセスを遂行することで学習が完了した状態であることを特徴とする請求項１２に記載の装置。

【請求項14】

前記（ＩＩ）プロセスは、
前記プロセッサが、（ｉ）（ｉ−１）前記特定の特徴マップ座標に対応する特定の部分ライブ特徴マップと（ｉ−２）これに対応する特定のリファレンス特徴マップとを統合することによって生成された、特定の部分統合特徴マップを参照して、前記ライブイメージにおいて特定の特徴マップ座標に対応する、特定のサブ領域上における特定のリファレンス物体の特定のサブ領域座標を検出し、（ｉｉ）前記特定のサブ領域座標及び前記特定の特徴マップ座標を参照して、前記イメージ座標の中から特定のイメージ座標を検出することを特徴とする請求項１０に記載の装置。

【請求項15】

前記（ＩＩ）プロセスは、
前記プロセッサが、第２ＣＮＮをもって、前記特定の部分統合特徴マップに、タンジェントハイパボリック（ｔａｎｇｅｎｔ ｈｙｐｅｒｂｏｌｉｃ）演算をアクティベーション関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）として使用する少なくとも一つの第２ＣＮＮ演算を適用して、前記特定のサブ領域座標を検出させることを特徴とする請求項１４に記載の装置。

【請求項16】

前記第２ＣＮＮは、前記特定の部分統合特徴マップに前記第２ＣＮＮ演算を適用する以前に学習が完了し、
前記第２ＣＮＮは、（ｉ）学習用部分統合特徴マップに前記第２ＣＮＮ演算を適用して、前記学習用部分統合特徴マップに対応する学習用リファレンス物体の学習用予測サブ領域座標を生成するプロセスを遂行した後、（ｉｉ）前記予測サブ領域座標及びこれに対応する原本正解サブ領域座標を参照して、第２ロスを生成し、前記第２ロスを使用してバックプロパゲーションを遂行するプロセスを遂行して学習が完了することを特徴とする請求項１５に記載の装置。

【請求項17】

前記（Ｉ）プロセスは、
前記ライブイメージが前記対象車両に搭載された前記カメラを介して取得された後、自律走行モジュールが前記対象車両の自律走行を遂行する間、前記ライブイメージは、前記自律走行モジュールに伝達されて前記ライブ特徴マップが生成され、以後、前記ライブ特徴マップが前記コンピューティング装置に伝達されることを特徴とする請求項１０に記載の装置。

【請求項18】

前記（Ｉ）プロセスは、
前記プロセッサが、前記対象車両に搭載されたＧＰＳを介して取得された初期対象座標及び前記対象車両の前記姿勢に関する情報を利用して、クエリをＨＤ（Ｈｉｇｈ−Ｄｅｎｓｉｔｙ）マップに伝送することによって、前記リファレンス特徴マップを含む前記対象データ領域に関する情報を取得することを特徴とする請求項１０に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

アテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを検出し、経路プランニングのための自律走行車両の位置を決定する方法及び装置｛ＭＥＴＨＯＤ ＡＮＤ ＤＥＶＩＣＥ ＦＯＲ ＬＯＣＡＬＩＺＡＴＩＯＮ ＯＦ ＡＵＴＯＮＯＭＯＵＳ ＶＥＨＩＣＬＥ ＦＯＲ ＲＯＵＴＥ ＰＬＡＮＮＩＮＧ ＢＹ ＵＳＩＮＧ ＡＴＴＥＮＴＩＯＮ−ＤＲＩＶＥＮ ＬＡＮＤＭＡＲＫ ＤＥＴＥＣＴＩＯＮ｝を提供する。

【0002】

本発明は、自律走行車両とともに使用するための方法及び装置に関し、より具体的に経路プランニングに使用されるアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを検出し、自律走行車両の位置情報を取得する方法及び装置に関する。

【0003】

ここで、アテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムとは、対象周辺の状況に関する情報を使用する方式のアルゴリズムを意味し得る。

【背景技術】

【0004】

自律走行分野において、自律走行をプランニングするためには、自律走行車両が正確にどの位置に存在するのかを判断することが極めて重要である。しかしながら、自律走行車両の位置を判断するために現在常用されているＧＰＳの正確度は、自律走行に使用され得る程度に高くないため問題となる。

【0005】

このような問題点を克服するために、従来にはＧＰＳを介して取得した位置情報を直接的に補正する方法が存在していたが、これは多くのコンピューティングリソースを要するところ、基本的な自律走行のみでも十分負荷が大きい状況で問題となり得る。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、上述した問題点を解決することを目的とする。

【0007】

本発明は、経路プランニングのために使用され得る自律走行車両の位置を、アテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを検出する方法を提供することによって、より正確な自律走行が行われ得るようにすることを他の目的とする。

【0008】

また、本発明は、ライブイメージ上でリファレンス物体の位置情報とリアル世界においてリファレンス物体の他の位置情報とを参照して、自律走行車両の位置情報を検出し得るようにすることをまた他の目的とする。

【0009】

また、本発明は、ライブイメージに対応するライブ特徴マップ上でリファレンス物体の位置情報を検出し得るようにするＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を提供することをまた他の目的とする。

【0010】

また、本発明は、ライブイメージ上でリファレンス物体の位置情報を検出し得るようにする他のＣＮＮを提供することをまた別の目的とする。

【課題を解決するための手段】

【0011】

前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。

【0012】

本発明の一態様によると、ランドマーク検出を使用して自律走行が可能な対象車両の位置を検出する方法において、（ａ）コンピューティング装置が、コンピューティング装置と連動する対象車両の状況に対応する少なくとも一つのライブイメージを処理することによって生成された一つ以上のライブ特徴マップを取得した場合、（ｉ）それぞれのリファレンス物体に対応する一つ以上のそれぞれのリファレンス特徴マップと（ｉｉ）前記ライブ特徴マップとを参照して、前記ライブ特徴マップが取得された前記対象車両の少なくとも一つの位置及び少なくとも一つの姿勢に対応する対象データ領域に含まれている一つ以上のリファレンス物体ごとに前記ライブ特徴マップのそれぞれの特徴マップ座標を検出する段階；（ｂ）前記コンピューティング装置が、前記特徴マップ座標それぞれを参照して、前記ライブイメージ上の前記それぞれのリファレンス物体のイメージ座標それぞれを検出する段階；及び（ｃ）前記コンピューティング装置が、リアル世界における前記リファレンス物体の一つ以上の３次元座標と、前記イメージ座標と、前記ライブイメージを取得したカメラのパラメータに関する情報と、前記対象車両の前記姿勢に関する情報とを参照して、前記対象車両の少なくとも一つの最適化対象座標を検出する段階；を含むことを特徴とする方法が提供される。

【0013】

一実施例において、前記（ｃ）段階は、前記コンピューティング装置が、前記イメージ座標と、前記３次元座標と、前記パラメータに関する情報と、前記姿勢に関する情報とともに下記数式を使用して、前記最適化対象座標を検出し、

【0014】

一実施例において、前記（ｃ）段階は、前記コンピューティング装置が、前記数式に対応する最適化問題を解決することによって前記最適化対象座標を検出し、前記コンピューティング装置が、（ｉ）（ｉ−１）前記対象車両の少なくとも一つのジャイロセンサを介して取得された前記姿勢に関する情報を参照して、前記回転マトリクスを初期化するプロセスを遂行して、初期化された回転マトリクスを生成し、（ｉ−２）前記対象車両のＧＰＳを介して取得された初期対象座標を参照して、前記最適化対象座標を取得するのに使用される対象座標マトリクスを初期化することによって、初期化された対象座標マトリクスを生成するプロセスを遂行した後、（ｉｉ）前記初期化された回転マトリクス及び前記初期化された対象座標マトリクスが提供された状態で、前記数式を最小化する初期化された対角マトリクスを見出して前記対角マトリクスを初期化するプロセスを遂行し、以後、（ｉｉｉ）前記初期化された回転マトリクス、前記初期化された対象座標マトリクス、及び前記初期化された対角マトリクスの各値を調整することによって、前記数式を最小化する、最適化回転マトリクスと、最適化対象座標マトリクスと、最適化対角マトリクスとを見出すプロセスを遂行することによって、前記最適化問題を解いた後、前記最適化された対象座標マトリクスを参照して前記最適化された対象座標を検出することを特徴とする方法が提供される。

【0015】

一実施例において、前記（ａ）段階は、前記コンピューティング装置が、（ｉ）特定の

チャンネル単位でコンカチネートされることによって生成された特定の統合特徴マップが取得されると、第１ＣＮＮをもって、前記特定の統合特徴マップに少なくとも一つの第１ＣＮＮ演算を適用させることによって、前記ライブ特徴マップの部分ライブ特徴マップの中から特定の部分ライブ特徴マップを見出し、前記特定の部分ライブ特徴マップは、前記特定のリファレンス特徴マップと関連して類似性点数が閾値より大きいことを特徴とし、前記ライブ特徴マップにある前記特定の部分ライブ特徴マップの相対的な位置に関する情報を参照して、前記特徴マップ座標の中から特定の特徴マップ座標を検出させることを特徴とする方法が提供される。

【0016】

一実施例において、前記第１ＣＮＮは、前記特定の統合特徴マップに前記第１ＣＮＮ演算を適用する以前に学習が完了し、前記第１ＣＮＮは、（ｉ）学習用統合特徴マップに前記第１ＣＮＮ演算を適用して、学習用前記ライブ特徴マップの一つ以上のそれぞれの学習用部分ライブ特徴マップと学習用リファレンス特徴マップとの間の一つ以上の予測類似度点数それぞれを生成するプロセスを遂行した後、（ｉｉ）前記予測類似度点数及びこれに対応する原本正解類似度点数を参照して第１ロスを生成し、前記第１ロスを使用してバックプロパゲーションを遂行するプロセスを遂行することで学習が完了した状態であることを特徴とする方法が提供される。

【0017】

一実施例において、前記（ｂ）段階は、前記コンピューティング装置が、（ｉ）（ｉ−１）前記特定の特徴マップ座標に対応する特定の部分ライブ特徴マップと（ｉ−２）これに対応する特定のリファレンス特徴マップとを統合することによって生成された、特定の部分統合特徴マップを参照して、前記ライブイメージにおいて特定の特徴マップ座標に対応する、特定のサブ領域上における特定のリファレンス物体の特定のサブ領域座標を検出し、（ｉｉ）前記特定のサブ領域座標及び前記特定の特徴マップ座標を参照して、前記イメージ座標の中から特定のイメージ座標を検出することを特徴とする方法が提供される。

【0018】

一実施例において、前記（ｂ）段階は、前記コンピューティング装置が、第２ＣＮＮをもって、前記特定の部分統合特徴マップに、タンジェントハイパボリック（ｔａｎｇｅｎｔ ｈｙｐｅｒｂｏｌｉｃ）演算をアクティベーション関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）として使用する少なくとも一つの第２ＣＮＮ演算を適用して、前記特定のサブ領域座標を検出させることを特徴とする方法が提供される。

【0019】

一実施例において、前記第２ＣＮＮは、前記特定の部分統合特徴マップに前記第２ＣＮＮ演算を適用する以前に学習が完了し、前記第２ＣＮＮは、（ｉ）学習用部分統合特徴マップに前記第２ＣＮＮ演算を適用して、前記学習用部分統合特徴マップに対応する学習用リファレンス物体の学習用予測サブ領域座標を生成するプロセスを遂行した後、（ｉｉ）前記予測サブ領域座標及びこれに対応する原本正解サブ領域座標を参照して、第２ロスを生成し、前記第２ロスを使用してバックプロパゲーションを遂行するプロセスを遂行して学習が完了することを特徴とする方法が提供される。

【0020】

一実施例において、前記（ａ）段階は、前記ライブイメージが前記対象車両に搭載された前記カメラを介して取得された後、自律走行モジュールが前記対象車両の自律走行を遂行する間、前記ライブイメージは、前記自律走行モジュールに伝達されて前記ライブ特徴マップが生成され、以後、前記ライブ特徴マップが前記コンピューティング装置に伝達されることを特徴とする方法が提供される。

【0021】

一実施例において、前記（ａ）段階は、前記コンピューティング装置が、前記対象車両に搭載されたＧＰＳを介して取得された初期対象座標及び前記対象車両の前記姿勢に関する情報を利用して、クエリをＨＤ（Ｈｉｇｈ−Ｄｅｎｓｉｔｙ）マップに伝送することによって、前記リファレンス特徴マップを含む前記対象データ領域に関する情報を取得することを特徴とする方法が提供される。

【0022】

本発明の他の態様によると、ランドマーク検出を使用して自律走行が可能な対象車両の位置を検出するコンピューティング装置において、少なくとも一つのインストラクションを格納する少なくとも一つのメモリと、前記各インストラクションを遂行するように設定された少なくとも一つのプロセッサとを含み、前記プロセッサは、（Ｉ）コンピューティング装置と連動する対象車両の状況に対応する少なくとも一つのライブイメージを処理することによって生成された一つ以上のライブ特徴マップを取得した場合、（ｉ）それぞれのリファレンス物体に対応する一つ以上のそれぞれのリファレンス特徴マップと（ｉｉ）前記ライブ特徴マップとを参照して、前記ライブ特徴マップが取得された前記対象車両の少なくとも一つの位置及び少なくとも一つの姿勢に対応する対象データ領域に含まれている一つ以上のリファレンス物体ごとに前記ライブ特徴マップのそれぞれの特徴マップ座標を検出するプロセス；（ＩＩ）前記特徴マップ座標それぞれを参照して、前記ライブイメージ上の前記それぞれのリファレンス物体のイメージ座標それぞれを検出するプロセス；及び（ＩＩＩ）リアル世界における前記リファレンス物体の一つ以上の３次元座標と、前記イメージ座標と、前記ライブイメージを取得したカメラのパラメータに関する情報と、前記対象車両の前記姿勢に関する情報とを参照して、前記対象車両の少なくとも一つの最適化対象座標を検出するプロセス；を遂行することを特徴とする装置が提供される。

【0023】

一実施例において、前記（ＩＩＩ）プロセスは、前記プロセッサが、前記イメージ座標と、前記３次元座標と、前記パラメータに関する情報と、前記姿勢に関する情報とともに下記数式を使用して、前記最適化対象座標を検出し、

【0024】

一実施例において、前記（ＩＩＩ）プロセスは、前記プロセッサが、前記数式に対応する最適化問題を解決することによって前記最適化対象座標を検出し、前記プロセッサが、（ｉ）（ｉ−１）前記対象車両の少なくとも一つのジャイロセンサを介して取得された前記姿勢に関する情報を参照して、前記回転マトリクスを初期化するプロセスを遂行して、初期化された回転マトリクスを生成し、（ｉ−２）前記対象車両のＧＰＳを介して取得された初期対象座標を参照して、前記最適化対象座標を取得するのに使用される対象座標マトリクスを初期化することによって、初期化された対象座標マトリクスを生成するプロセスを遂行した後、（ｉｉ）前記初期化された回転マトリクス及び前記初期化された対象座標マトリクスが提供された状態で、前記数式を最小化する初期化された対角マトリクスを見出して前記対角マトリクスを初期化するプロセスを遂行し、以後、（ｉｉｉ）前記初期化された回転マトリクス、前記初期化された対象座標マトリクス、及び前記初期化された対角マトリクスの各値を調整することによって、前記数式を最小化する、最適化回転マトリクスと、最適化対象座標マトリクスと、最適化対角マトリクスとを見出すプロセスを遂行することによって、前記最適化問題を解いた後、前記最適化された対象座標マトリクスを参照して前記最適化された対象座標を検出することを特徴とする装置が提供される。

【0025】

【0026】

一実施例において、前記第１ＣＮＮは、前記特定の統合特徴マップに前記第１ＣＮＮ演算を適用する以前に学習が完了し、前記第１ＣＮＮは、（ｉ）学習用統合特徴マップに前記第１ＣＮＮ演算を適用して、学習用前記ライブ特徴マップの一つ以上のそれぞれの学習用部分ライブ特徴マップと学習用リファレンス特徴マップとの間の一つ以上の予測類似度点数それぞれを生成するプロセスを遂行した後、（ｉｉ）前記予測類似度点数及びこれに対応する原本正解類似度点数を参照して第１ロスを生成し、前記第１ロスを使用してバックプロパゲーションを遂行するプロセスを遂行することで学習が完了した状態であることを特徴とする装置が提供される。

【0027】

一実施例において、前記（ＩＩ）プロセスは、前記プロセッサが、（ｉ）（ｉ−１）前記特定の特徴マップ座標に対応する特定の部分ライブ特徴マップと（ｉ−２）これに対応する特定のリファレンス特徴マップとを統合することによって生成された、特定の部分統合特徴マップを参照して、前記ライブイメージにおいて特定の特徴マップ座標に対応する、特定のサブ領域上における特定のリファレンス物体の特定のサブ領域座標を検出し、（ｉｉ）前記特定のサブ領域座標及び前記特定の特徴マップ座標を参照して、前記イメージ座標の中から特定のイメージ座標を検出することを特徴とする装置が提供される。

【0028】

一実施例において、前記（ＩＩ）プロセスは、前記プロセッサが、第２ＣＮＮをもって、前記特定の部分統合特徴マップに、タンジェントハイパボリック（ｔａｎｇｅｎｔ ｈｙｐｅｒｂｏｌｉｃ）演算をアクティベーション関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）として使用する少なくとも一つの第２ＣＮＮ演算を適用して、前記特定のサブ領域座標を検出させることを特徴とする装置が提供される。

【0029】

一実施例において、前記第２ＣＮＮは、前記特定の部分統合特徴マップに前記第２ＣＮＮ演算を適用する以前に学習が完了し、前記第２ＣＮＮは、（ｉ）学習用部分統合特徴マップに前記第２ＣＮＮ演算を適用して、前記学習用部分統合特徴マップに対応する学習用リファレンス物体の学習用予測サブ領域座標を生成するプロセスを遂行した後、（ｉｉ）前記予測サブ領域座標及びこれに対応する原本正解サブ領域座標を参照して、第２ロスを生成し、前記第２ロスを使用してバックプロパゲーションを遂行するプロセスを遂行して学習が完了することを特徴とする装置が提供される。

【0030】

一実施例において、前記（Ｉ）プロセスは、前記ライブイメージが前記対象車両に搭載された前記カメラを介して取得された後、自律走行モジュールが前記対象車両の自律走行を遂行する間、前記ライブイメージは、前記自律走行モジュールに伝達されて前記ライブ特徴マップが生成され、以後、前記ライブ特徴マップが前記コンピューティング装置に伝達されることを特徴とする装置が提供される。

【0031】

一実施例において、前記（Ｉ）プロセスは、前記プロセッサが、前記対象車両に搭載されたＧＰＳを介して取得された初期対象座標及び前記対象車両の前記姿勢に関する情報を利用して、クエリをＨＤ（Ｈｉｇｈ−Ｄｅｎｓｉｔｙ）マップに伝送することによって、前記リファレンス特徴マップを含む前記対象データ領域に関する情報を取得することを特徴とする装置が提供される。

【発明の効果】

【0032】

本発明は、経路プランニングのために使用され得る自律走行車両の位置を、アテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを検出する手法を提供することによって、より正確な自律走行が行われ得るようにする効果がある。

【0033】

また、本発明は、ライブイメージ上におけるリファレンス物体の位置情報とリアル世界におけるリファレンス物体の他の位置情報とを参照して、自律走行車両の位置情報を検出し得るようにする効果がある。

【0034】

また、本発明は、ライブイメージに対応するライブ特徴マップ上でリファレンス物体の位置情報を検出し得るようにするＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を提供する効果がある。

【0035】

また、本発明は、ライブイメージ上でリファレンス物体の位置情報を検出し得るようにする他のＣＮＮを提供する効果がある。

【0036】

本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。

【図面の簡単な説明】

【0037】

【図1】図１は、本発明の一実施例にしたがって、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法を遂行するコンピューティング装置の構成を示した図面である。

【図2】図２は、本発明の一実施例にしたがって、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法を示したチャート図である。

【図3】図３は、本発明の一実施例にしたがって、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法を遂行するために使用されるリファレンス物体に対する例示を示した図面である。

【図4】図４は、本発明の一実施例にしたがって、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法を遂行するために、統合特徴マップを生成する過程を示した図面である。

【図5】図５は、本発明の一実施例にしたがって、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法を遂行するために生成された特定のサブ領域座標を利用して、特定の基準イメージ座標に関する情報を導き出す方式を示した図面である。

【発明を実施するための形態】

【0038】

後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本 本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。

【0039】

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。

【0040】

本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。

【0041】

図１は、本発明の一実施例にしたがって、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法を遂行するコンピューティング装置の構成を示した図面である。

【0042】

図１を参照すると、コンピューティング装置１００は、追って詳細に説明する第１ＣＮＮ１３０及び第２ＣＮＮ１４０を含むことができる。第１ＣＮＮ１３０及び第２ＣＮＮ１４０の入出力及び演算の過程は、それぞれ少なくとも一つの通信部１１０及び少なくとも一つのプロセッサ１２０により行われ得る。ただし、図１では、通信部１１０及びプロセッサ１２０の具体的な連結関係を省略した。この場合、メモリ１１５は、後述する様々なインストラクションを格納した状態であり得、プロセッサ１２０は、メモリ１１５に格納された各インストラクションを遂行するように設定され、プロセッサ１１０は、追って説明する各プロセスを遂行することによって本発明を遂行することができる。このようにコンピューティング装置１００が描写されたからといって、コンピューティング装置１００が本発明を実施するためのミディアム、プロセッサ及びメモリが統合された形態である統合プロセッサを含む場合を排除するものではない。

【0043】

このようなコンピューティング装置１００を使用して、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法について以下で説明する。概略的に説明するために、図２を参照することにする。

【0044】

図２は、本発明の一実施例にしたがって、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法を示したチャート図である。図２を参照すると、コンピューティング装置１００は、追って詳細に説明するそれぞれのリファレンス物体に対応する一つ以上のそれぞれのリファレンス特徴マップ及びライブ特徴マップを参照して、一つ以上のそれぞれのリファレンス物体ごとに少なくとも一つのライブ特徴マップ上の一つ以上のそれぞれの特徴マップ座標を検出することができる（Ｓ０１）。そして、コンピューティング装置１００は、それぞれの特徴マップ座標を参照して、ライブイメージ上におけるリファレンス物体それぞれのイメージ座標それぞれを検出することができる（Ｓ０２）。以後、コンピューティング装置１００は、リアル世界におけるリファレンス物体の一つ以上の３次元座標と、イメージ座標と、ライブイメージを取得したカメラのパラメータに関する情報と、対象車両の姿勢に関する情報とを参照して、対象車両の最適化対象座標を検出することができる（Ｓ０３）。基本的なプロセスは前記のとおりであり、以下、これについてさらに具体的に説明することにする。

【0045】

まず、コンピューティング装置１００は、ライブ特徴マップを取得することができる。ライブ特徴マップは、コンピューティング装置１００と連動して作動する対象車両の周辺状況に対応するライブイメージを処理して生成され得る。一例として、ライブイメージは、対象車両に搭載されたカメラにより取得された後、まず対象車両の自律走行を遂行する自律走行モジュールに伝達され得る。自律走行モジュールは、イメージ処理に基づいて自律走行を遂行するために、ライブイメージを利用してイメージセグメンテーションまたは物体検出を遂行することができる。このような自律走行の副産物として、自律走行モジュールによりライブ特徴マップが生成され得る。ライブ特徴マップが生成されると、コンピューティング装置１００に伝達され得る。このような方式を採択する場合、自律走行モジュールの演算により生成された副産物であるライブ特徴マップを活用するようになるため、コンピューティングリソース使用の側面において経済的な長所がある。

【0046】

また、コンピューティング装置１００は、リファレンス物体に対応するリファレンス特徴マップを取得することができる。ここでリファレンス物体は、追って説明する対象車両の位置決定の過程を遂行するために使用されるマーカーの役割をし、ライブイメージ上に含まれている特定の物体であり得る。ライブイメージに含まれている一般的な物体の中からリファレンス物体を選択するために、コンピューティング装置１００は、（ｉ）対象車両に搭載されたＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を介して取得された対象車両の大まかな位置を表す初期対象座標、及び（ｉｉ）対象車両に搭載されたジャイロセンサを介して取得された対象車両の姿勢に関する情報を利用して、対象データの地域、すなわちライブイメージが含んでいる場面に対応する地域を特定するようになる。以後、コンピューティング装置１００は、特定された対象データ地域に関する情報を利用してＨＤ（Ｈｉｇｈ−Ｄｅｎｓｉｔｙ）マップにクエリを発信し、ＨＤマップからの応答としてリファレンス物体及びこれに対応するリファレンス特徴マップに関する情報を取得することができる。これについて例示を挙げて説明するために、図３を参照することにする。

【0047】

図３は、本発明の一実施例にしたがって、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法を遂行するために使用されるリファレンス物体に対する例示を示した図面である。

【0048】

図３を参照すると、ライブイメージ２００に含まれている第１リファレンス物体２１０及び第２リファレンス物体２２０を確認することができる。これらに関する情報を取得するために、コンピューティング装置１００は、初期対象座標及び対象車両の姿勢に関する情報を参照して、例示地図３００に示された対象データ地域３１０を特定し、これに含まれている第１リファレンス物体２１０及び第２リファレンス物体２２０に関する情報を取得するようになるのである。

【0049】

【0050】

図４は、本発明の一実施例にしたがって、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法を遂行するために、統合特徴マップを生成する過程を示した図面である。

【0051】

【0052】

特定の統合特徴マップが生成された後、コンピューティング装置１００は、一例として第１ＣＮＮ１３０をもって、前記特定の統合特徴マップに少なくとも一つの第１ＣＮＮ演算を適用させることによって、前記ライブ特徴マップの部分ライブ特徴マップの中から特定の部分ライブ特徴マップを見出し、特定のリファレンス特徴マップと関連して類似性点数が閾値より大きい特定の部分ライブ特徴マップを見出すことができる。ここで、部分ライブ特徴マップのサイズは、ライブ特徴マップより小さい。一例として、そのサイズが

であり得る。特定の部分ライブ特徴マップは、特定のリファレンス物体と対応する特徴マップであり、ライブ特徴マップ上で特定の部分ライブ特徴マップの相対的な位置を使用することによってライブイメージ上における特定のリファレンス物体の位置を予測することができる。すなわち、特定の部分ライブ特徴マップの相対的な位置を使用することによって、特徴マップ座標の中から特定の特徴マップ座標を検出することができる。ここで、ライブイメージからリファレンス物体の位置を正確に検出するために追って説明する細密な調整過程を経るようになる。

【0053】

前記第１ＣＮＮ演算を遂行する第１ＣＮＮ１３０は、少なくとも一つのコンボリューションレイヤ及び少なくとも一つの出力レイヤを含むことができる。ここで、出力レイヤは、ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）ネットワークの形態で具現され得るはずである。また、このような第１ＣＮＮ１３０は、特定の統合特徴マップに第１ＣＮＮ演算を適用する以前に学習が完了した状態であり得る。具体的に、第１ＣＮＮ１３０は、（ｉ）学習用統合特徴マップに前記第１ＣＮＮ演算を適用して、学習用前記ライブ特徴マップの一つ以上のそれぞれの学習用部分ライブ特徴マップと学習用リファレンス特徴マップとの間の一つ以上の予測類似度点数それぞれを生成するプロセスを遂行した後、（ｉｉ）前記予測類似度点数及びこれに対応する原本正解類似度点数を参照して第１ロスを生成し、前記第１ロスを使用してバックプロパゲーションを遂行するプロセスを遂行して学習を完了することができる。前記の学習過程は、一般的なフィードフォワードニューラルネットワーク（Ｆｅｅｄ−Ｆｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の学習過程と類似するため、通常の技術者が容易に理解することができるであろう。

【0054】

その他の例として、特徴マップ座標は、ルールベース（Ｒｕｌｅ−ｂａｓｅｄ）アルゴリズムを使用して検出され得ることもある。つまり、ニューラルネットワークを使用した演算を特定の部分ライブ特徴マップに適用するのではなく、部分ライブ特徴マップと特定のリファレンス特徴マップとの間の類似度を直接求めることによって特定の部分ライブ特徴マップの相対的な位置を検出することができるということである。

【0055】

特徴マップ座標が取得された後、コンピューティング装置１００は、特定の特徴マップ座標に対応するライブイメージ上の特定のサブ領域を検出することができる。ここで、特定の部分ライブ特徴マップを含むライブ特徴マップは、ライブイメージにコンボリューションを複数回適用してダウンサンプリングしたものであるので、ライブ特徴マップ上の特定の特徴マップ「座標」は、ライブイメージ上で特定のサブ「領域」に対応するようになる。特定のサブ領域が検出された後、コンピューティング装置１００は、（ｉ）特定の部分ライブ特徴マップ及び（ｉｉ）これに対応する特定のリファレンス特徴マップを含む特定の部分統合特徴マップを参照して、特定のサブ領域内部における特定のリファレンス物体の特定のサブ領域座標を検出することができる。

【0056】

特定のサブ領域座標を検出するために、コンピューティング装置１００は、第２ＣＮＮ１４０をもって、前記特定の部分統合特徴マップに、タンジェントハイパボリック（ｔａｎｇｅｎｔ ｈｙｐｅｒｂｏｌｉｃ）演算をアクティベーション関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）として使用する少なくとも一つの第２ＣＮＮ演算を適用して、前記特定のサブ領域座標を検出させることができる。タンジェントハイパボリック演算をアクティベーション関数として使用することは、特定のサブ領域座標の範囲を−１以上１以下に制限するためである。特定のサブ領域座標の範囲を前記のように制限する理由は、追って詳細に説明する。ここで、第２ＣＮＮ１４０は、少なくとも一つのコンボリューションレイヤ及び少なくとも一つの出力レイヤを含むことができる。ここで、出力レイヤは、ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）ネットワークの形態で具現され得るであろう。また、第２ＣＮＮ１４０は、特定の部分統合特徴マップに第２ＣＮＮ演算を適用する以前に学習が完了した状態であり得る。すなわち、第２ＣＮＮ１４０は、（ｉ）学習用部分統合特徴マップに前記第２ＣＮＮ演算を適用して、前記学習用部分統合特徴マップに対応する学習用リファレンス物体の学習用予測サブ領域座標を生成するプロセスを遂行した後、（ｉｉ）前記予測サブ領域座標及びこれに対応する原本正解サブ領域座標を参照して第２ロスを生成し、前記第２ロスを使用してバックプロパゲーションを遂行するプロセスを遂行することで学習が完了した状態であり得る。

【0057】

このような特定のサブ領域座標が取得された後、コンピューティング装置１００は、特定のサブ領域座標及び特定の特徴マップ座標を参照して、イメージ座標のうち一つである特定のイメージ座標を検出することができる。このようなプロセスについて説明するために、図５を参照することにする。

【0058】

図５は、本発明の一実施例にしたがって、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法を遂行するために生成された特定のサブ領域座標を利用して、特定の基準イメージ座標に関する情報を導き出す方式を示した図面である。

【0059】

【0060】

【0061】

前記座標の例示を挙げたものは、いずれもライブイメージ及びライブ特徴マップの最も左側最下段の地点を原点と仮定しており、実施例によって原点をライブイメージ及びライブ特徴マップの中心地点と仮定することもできるであろう。

【0062】

以上のプロセスによってそれぞれのイメージ座標が取得された後、コンピューティング装置１００は、これらとともに他の情報を使用して、対象車両のリアル世界における最適化対象座標を検出することができる。前記他の情報は、リファレンス物体のリアル世界における３次元座標と、ライブイメージを取得するのに使用されたカメラのパラメータに関する情報と、対象車両の姿勢に関する情報とを含むことができる。ここで、３次元座標は、各リファレンス特徴マップを取得する過程でＨＤマップから共に取得され得ることもある。以下、これについて、数式とともにさらに具体的に説明することにする。

【0063】

すなわち、コンピューティング装置１００は、前記イメージ座標と、前記３次元座標と、前記パラメータに関する情報と、前記姿勢に関する情報とともに下記数式を使用して、前記最適化対象座標を検出し、

【0064】

より具体的には、前記数式は最適化問題を意味するが、コンピューティング装置１００はこれを解決することによって最適化対象座標を検出することができる。ただし、ランダムな初期値から始めて最適化問題を解く場合、正しく解決されないことがあり得る。つまり、コンピューティング装置１００は、ローカル最小値しか見つけることができないか、コンピューティングリソースに対するあまりにも多くの要求によって解決し得ないことがあり得る。このようなリスクを防止するためには、適切な初期化プロセスが必要である。以下にて、より具体的に説明することにする。

【0065】

すなわち、コンピューティング装置１００は、（ｉ）前記対象車両の少なくとも一つのジャイロセンサを介して取得された前記姿勢に関する情報を参照して、前記回転マトリクスを初期化するプロセスを遂行して、初期化された回転マトリクスを生成し、（ｉｉ）前記対象車両のＧＰＳを介して取得された初期対象座標を参照して、前記最適化対象座標を取得するのに使用される対象座標マトリクスを初期化することによって、初期化された対象座標マトリクスを生成するプロセスを遂行する。回転マトリクスは、ジャイロセンサを通じて取得された姿勢に関する情報が非常に正確であるという仮定下で、上記のように初期化され得る。また、対象座標マトリクスは、ＧＰＳから取得された位置情報を調整するために上記のように初期化され得、これは若干不正確であり得る。

【0066】

前記初期化された回転マトリクス及び前記初期化された対象座標マトリクスが提供された状態で、コンピューティング装置１００は、前記数式を最小化する初期化された対角マトリクスを見出して前記対角マトリクスを初期化するプロセスを遂行することができる。以後、前記初期化された回転マトリクス、前記初期化された対象座標マトリクス、及び前記初期化された対角マトリクスの各値を調整することによって、前記数式を最小化する、最適化回転マトリクスと、最適化対象座標マトリクスと、最適化対角マトリクスとを見出すプロセスを最終的に遂行することができる。これにより、前記最適化問題を解いた後、前記最適化された対象座標マトリクスを参照して前記最適化された対象座標を検出することができるであろう。

【0067】

要約すると、前記数式の最適化問題は、ライブイメージに基づいて取得されたリファレンス物体のイメージ座標を利用してＧＰＳを介して取得されたＧＰＳ 基盤の対象車両の初期対象座標を調整する方法に関する。通常の技術者は、前記説明を通じて前記数式を十分理解することができるはずである。

【0068】

このように最適化対象座標が取得された後、対象車両はさらに正確なそれ自体の位置情報を利用して自律走行を遂行することが可能となるであろう。

【0069】

また、以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。

【0070】

以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。

【0071】

したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

【図1】

【図2】

【図3】

【図4】

【図5】