特許 6917080 ディープニューラルネットワークを基盤としたイメージ分析を通じて人の状態及び走行環境を識別して自律走行を補助する自律走行補助眼鏡

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6917080

(24)【登録日】2021年7月21日

(45)【発行日】2021年8月11日

(54)【発明の名称】ディープニューラルネットワークを基盤としたイメージ分析を通じて人の状態及び走行環境を識別して自律走行を補助する自律走行補助眼鏡

(51)【国際特許分類】

   G08G 1/16 20060101AFI20210729BHJP

   G06T 7/00 20170101ALI20210729BHJP

   G09G 5/00 20060101ALI20210729BHJP

   G06N 3/04 20060101ALI20210729BHJP

   G06N 3/08 20060101ALI20210729BHJP

【ＦＩ】

   G08G1/16 C

   G06T7/00 650

   G06T7/00 350C

   G09G5/00 550C

   G06N3/04

   G06N3/08

   G06N3/04 145

   G06N3/04 154

【請求項の数】21

【全頁数】27

(21)【出願番号】特願2020-6187(P2020-6187)

(22)【出願日】2020年1月17日

(65)【公開番号】特開2020-126625(P2020-126625A)

(43)【公開日】2020年8月20日

【審査請求日】2020年1月17日

(31)【優先権主張番号】62/799,086

(32)【優先日】2019年1月31日

(33)【優先権主張国】US

(31)【優先権主張番号】16/721,963

(32)【優先日】2019年12月20日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】517038176

【氏名又は名称】株式会社ストラドビジョン

(74)【代理人】

【識別番号】110000855

【氏名又は名称】特許業務法人浅村特許事務所

(72)【発明者】

【氏名】キム、ケイ − ヒョン

(72)【発明者】

【氏名】キム、ヨンジュン

(72)【発明者】

【氏名】キム、ハク − キョン

(72)【発明者】

【氏名】ナム、ウヒョン

(72)【発明者】

【氏名】ブー、ソッフン

(72)【発明者】

【氏名】ソン、ミュンチュル

(72)【発明者】

【氏名】シン、ドンス

(72)【発明者】

【氏名】ヨー、ドンフン

(72)【発明者】

【氏名】リュー、ウジュ

(72)【発明者】

【氏名】イ、ミョン − チュン

(72)【発明者】

【氏名】イ、ヒョンス

(72)【発明者】

【氏名】チャン、テウン

(72)【発明者】

【氏名】ジョン、キュンチョン

(72)【発明者】

【氏名】チェ、ホンモ

(72)【発明者】

【氏名】チョウ、ホジン

【審査官】 田中 将一

(56)【参考文献】

【文献】 特開２０１５−１５９３８３（ＪＰ，Ａ）

【文献】 国際公開第２０１８／０７０３７９（ＷＯ，Ａ１）

【文献】 特開２０１８−０７７８２９（ＪＰ，Ａ）

【文献】 特開２０１８−０８８１５１（ＪＰ，Ａ）

【文献】 特開２０１８−１７３８６１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００ − ９９／００

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０９Ｇ ５／００ − ５／４０

Ｇ０６Ｎ ３／００ − ３／１２

Ｇ０６Ｎ ７／０８ − ９９／００

(57)【特許請求の範囲】

【請求項1】

運転者が着用した補助眼鏡を通じて走行安全情報を提供する方法において、
（ａ）自動車の前記運転者が着用した前記補助眼鏡に搭載されている少なくとも一つのカメラから撮影された、前記運転者の視角に対応する少なくとも一つの視角従属型走行イメージと、前記補助眼鏡に搭載された一つ以上のセンサからの加速度情報と、ジャイロスコープ（ｇｙｒｏｓｃｏｐｅ）情報とが取得されると、走行安全情報分析装置が、（ｉ）前記視角従属型走行イメージをコンボリューションネットワークに入力することによって、前記コンボリューションネットワークをもって、前記視角従属型走行イメージにコンボリューション演算を適用して少なくとも一つの特徴マップを生成させるプロセスと、前記特徴マップを検出ネットワーク、セグメンテーションネットワーク、及び識別ネットワークにそれぞれ入力することによって、前記検出ネットワークをもって、前記特徴マップを利用して前記視角従属型走行イメージ上に位置した少なくとも一つの物体を検出させ、前記セグメンテーションネットワークをもって、前記視角従属型走行イメージ上の一つ以上の車線を検出させ、前記識別ネットワークをもって、前記視角従属型走行イメージに対応する、天気、時間、場所のうち少なくとも１つを含む走行環境を検出させるプロセス、及び（ｉｉ）前記加速度情報及び前記ジャイロスコープ情報を循環（ｒｅｃｕｒｒｅｎｔ）ネットワークに入力することによって、前記循環ネットワークをもって、前記加速度情報と前記ジャイロスコープ情報とに対応する前記運転者の状態情報を生成させるプロセスを遂行する段階；及び
（ｂ）前記走行安全情報分析装置が、（ｉ）前記検出ネットワークにより検出された前記物体を参照して、前記自動車と前記物体との間の予測衝突可能性情報を前記補助眼鏡の出力ユニットを通じて前記運転者に知らせるプロセス、前記セグメンテーションネットワークにより検出された前記車線を参照して、前記自動車の車線離脱情報を前記出力ユニットを通じて前記運転者に知らせるプロセス、及び前記識別ネットワークにより検出された前記走行環境を前記出力ユニットを通じて前記運転者に知らせるプロセス、及び（ｉｉ）前記循環ネットワークにより検出された前記運転者の前記状態情報を参照して、走行安全警告を前記出力ユニットを通じて前記運転者に対して提供するプロセスを遂行する段階；
を含むことを特徴とする方法。

【請求項2】

前記走行安全情報分析装置が、前記特徴マップを前記検出ネットワークに入力することによって、前記検出ネットワークをもって、（ｉ）領域プロポーザルネットワークを通じて前記特徴マップ上で前記物体が位置するものと推定される一つ以上の領域に対応するプロポーザルボックスを生成させ、（ｉｉ）プーリングレイヤを通じて前記特徴マップ上で前記プロポーザルボックスそれぞれに対応する一つ以上の各領域にプーリング演算を適用して少なくとも一つの物体特徴ベクトルを生成させ、（ｉｉｉ）物体検出ＦＣ（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ）レイヤを通じて前記物体特徴ベクトルに物体検出ＦＣ演算を適用して前記プロポーザルボックスに対応する多数の物体情報を生成するプロセスを遂行して、前記視角従属型走行イメージ上に位置する前記物体を検出させるプロセスを遂行することを特徴とする請求項１に記載の方法。

【請求項3】

前記走行安全情報分析装置が、前記特徴マップを前記セグメンテーションネットワークに入力することによって、前記セグメンテーションネットワークをもって、少なくとも一つのデコンボリューションレイヤを通じて前記特徴マップにデコンボリューション演算を適用して少なくとも一つのデコンボリューション特徴マップを生成させるプロセスと、前記デコンボリューション特徴マップを少なくとも一つの車線検出ＦＣレイヤに入力することによって、前記車線検出ＦＣレイヤをもって、前記デコンボリューション特徴マップに車線検出ＦＣ演算を適用して前記視角従属型走行イメージ上に位置する前記車線を検出させるプロセスとを遂行することを特徴とする請求項１に記載の方法。

【請求項4】

前記走行安全情報分析装置が、前記特徴マップを前記識別ネットワークに入力することによって、前記識別ネットワークをもって、（ｉ）グローバルプーリングレイヤを通じて前記特徴マップにグローバルプーリング演算を適用して少なくとも一つのグローバル特徴ベクトルを生成させ、（ｉｉ）識別ＦＣレイヤを通じて前記グローバル特徴ベクトルに識別ＦＣ演算を適用して走行環境情報を生成させるプロセスを遂行して、前記視角従属型走行イメージに対応する前記走行環境を検出するプロセスを遂行することを特徴とする請求項１に記載の方法。

【請求項5】

前記走行安全情報分析装置が、前記加速度情報と前記ジャイロスコープ情報とを前記循環ネットワークに入力することによって、前記循環ネットワークをもって、一つ以上のＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ）を通じて予め設定された時間の間、前記加速度情報と前記ジャイロスコープ情報とのうち一つ以上の変化状態に循環演算を適用して、前記運転者の行動パターンに対応する前記運転者の前記状態情報を生成させることを特徴とする請求項１に記載の方法。

【請求項6】

前記走行安全情報分析装置が、前記補助眼鏡に搭載されている少なくとも一つの照度センサから取得される照度情報に応答して、前記補助眼鏡のレンズ透明度を調整することを特徴とする請求項１に記載の方法。

【請求項7】

前記出力ユニットは、前記運転者が前記補助眼鏡を着用した場合、（ｉ）前記運転者の少なくとも一方の耳に対応する位置に設置される少なくとも一つのスピーカと、（ｉｉ）前記運転者の少なくとも一方の目に対応する位置に設置される少なくとも一つのＶＲＤ（Ｖｉｒｔｕａｌ Ｒｅｔｉｎａ Ｄｉｓｐｌａｙ）とを含むことを特徴とする請求項１に記載の方法。

【請求項8】

前記コンボリューションネットワーク、前記検出ネットワーク、前記セグメンテーションネットワーク、及び前記識別ネットワークは、第１学習装置により学習された状態であり、前記第１学習装置は、（ｉ）少なくとも一つの学習用視角従属型走行イメージを前記コンボリューションネットワークに入力することによって、前記コンボリューションネットワークをもって、少なくとも一つの以前の学習済みコンボリューションパラメータを利用したコンボリューション演算を前記学習用視角従属型走行イメージに適用して少なくとも一つの学習用特徴マップを生成させるプロセス、（ｉｉ）（ｉｉ−１）前記学習用特徴マップを前記検出ネットワークに入力することによって、（ｉｉ−１−１）前記検出ネットワークの領域プロポーザルネットワークをもって、前記学習用特徴マップ上で少なくとも一つの学習用物体が位置するものと推定される一つ以上の領域に対応する一つ以上の学習用プロポーザルボックスを生成させ、（ｉｉ−１−２）前記検出ネットワークのプーリングレイヤをもって、前記学習用特徴マップ上で前記学習用プロポーザルボックスそれぞれに対応する一つ以上の領域にプーリング演算を適用して少なくとも一つの学習用物体特徴ベクトルを生成させ、（ｉｉ−１−３）前記検出ネットワークの物体検出ＦＣレイヤをもって、少なくとも一つの以前の学習済み物体検出パラメータを利用した物体検出ＦＣ演算を前記学習用物体特徴ベクトルに適用して、前記学習用プロポーザルボックスに対応する多数の学習用物体情報を生成させるプロセス、（ｉｉ−２）前記学習用特徴マップを前記セグメンテーションネットワークに入力することによって、（ｉｉ−２−１）前記セグメンテーションネットワークのデコンボリューションレイヤをもって、少なくとも一つの以前の学習済みデコンボリューションパラメータを利用したデコンボリューション演算を前記学習用特徴マップに適用して少なくとも一つのデコンボリューション特徴マップを生成させ、（ｉｉ−２−２）車線検出ＦＣレイヤをもって、少なくとも一つの以前の学習済み車線検出パラメータを利用した車線検出ＦＣ演算を前記デコンボリューション特徴マップに適用して、前記学習用視角従属型走行イメージ上に位置する一つ以上の学習用車線を検出させるプロセス、（ｉｉ−３）前記学習用特徴マップを前記識別ネットワークに入力することによって、（ｉｉ−３−１）前記識別ネットワークのグローバルプーリングレイヤをもって、前記学習用特徴マップにグローバルプーリング演算を適用して少なくとも一つの学習用グローバル特徴ベクトルを生成させ、（ｉｉ−３−２）前記識別ネットワークの識別ＦＣレイヤをもって、少なくとも一つの以前の学習済み識別パラメータを利用した識別ＦＣ演算を前記学習用グローバル特徴ベクトルに適用して学習用走行環境情報を生成させるプロセス、及び（ｉｉｉ）（ｉｉｉ−１）前記多数の学習用物体情報と、これに対応する第１原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して、第１ロスレイヤから出力された一つ以上の第１ロスが最小化されるように前記物体検出ＦＣレイヤの前記以前の学習済み物体検出パラメータをアップデートするプロセス、（ｉｉｉ−２）前記学習用車線と、これに対応する第２原本正解とを参照して、第２ロスレイヤから出力された一つ以上の第２ロスが最小化されるように前記車線検出ＦＣレイヤの前記以前の学習済み車線検出パラメータと前記デコンボリューションレイヤの前記以前の学習済みデコンボリューションパラメータとのうち少なくとも一つをアップデートするプロセス、（ｉｉｉ−３）前記学習用走行環境情報と、これに対応する第３原本正解とを参照して、第３ロスレイヤから出力された一つ以上の第３ロスが最小化されるように前記識別ＦＣレイヤの前記以前の学習済み識別パラメータをアップデートするプロセス、及び（ｉｉｉ−４）前記第１ロス、前記第２ロス、及び前記第３ロス、又はこれから加工した値を加重合算（ｗｅｉｇｈｔｅｄ ｓｕｍｍａｔｉｏｎ）して生成された少なくとも一つの第４ロスが最小化されるように前記コンボリューションネットワークの前記以前の学習済みコンボリューションパラメータをアップデートするプロセスを繰り返すことを特徴とする請求項１に記載の方法。

【請求項9】

前記循環ネットワークは、第２学習装置により学習され、前記第２学習装置は、（ｉ）現在の時点ｔから以前の時点ｔ−ｋまでの学習用加速度情報と学習用ジャイロスコープ情報とをそれぞれのＬＳＴＭに入力することによって、それぞれの前記ＬＳＴＭをもって、前記現在の時点ｔから前記以前の時点ｔ−ｋまでの前記学習用加速度情報と前記学習用ジャイロスコープ情報とにフォワード（ｆｏｒｗａｒｄ）演算を適用して、前記運転者の行動パターンに対応する学習用走行状態情報を出力させるプロセス、及び（ｉｉ）第４ロスレイヤをもって、前記学習用走行状態情報と、これに対応する第４原本正解とを参照して生成された一つ以上の第５ロスが最小化されるように前記ＬＳＴＭの一つ以上のパラメータを調整させるプロセスを遂行することを特徴とする請求項１に記載の方法。

【請求項10】

運転者が着用した補助眼鏡を通じて走行安全情報を提供する走行安全情報分析装置において、
インストラクションを格納する少なくとも一つのメモリと、
（Ｉ）自動車の前記運転者が着用した前記補助眼鏡に搭載されている少なくとも一つのカメラから撮影された、前記運転者の視角に対応する少なくとも一つの視角従属型走行イメージと、前記補助眼鏡に搭載された一つ以上のセンサからの加速度情報と、ジャイロスコープ（ｇｙｒｏｓｃｏｐｅ）情報とが取得されると、（Ｉ−１）前記視角従属型走行イメージをコンボリューションネットワークに入力することによって、前記コンボリューションネットワークをもって、前記視角従属型走行イメージにコンボリューション演算を適用して少なくとも一つの特徴マップを生成させるプロセスと、前記特徴マップを検出ネットワーク、セグメンテーションネットワーク、及び識別ネットワークにそれぞれ入力することによって、前記検出ネットワークをもって、前記特徴マップを利用して前記視角従属型走行イメージ上に位置した少なくとも一つの物体を検出させ、前記セグメンテーションネットワークをもって、前記視角従属型走行イメージ上の一つ以上の車線を検出させ、前記識別ネットワークをもって、前記視角従属型走行イメージに対応する、天気、時間、場所のうち少なくとも１つを含む走行環境を検出させるプロセス、及び（Ｉ−２）前記加速度情報と前記ジャイロスコープ情報とを循環ネットワークに入力することによって、前記循環ネットワークをもって、前記加速度情報と前記ジャイロスコープ情報とに対応する前記運転者の状態情報を生成させるプロセス、及び（ＩＩ）（ＩＩ−１）前記検出ネットワークにより検出された前記物体を参照して、前記自動車と前記物体との間の予測衝突可能性情報を前記補助眼鏡の出力ユニットを通じて前記運転手に知らせるプロセス、前記セグメンテーションネットワークにより検出された前記車線を参照して前記自動車の車線離脱情報を前記出力ユニットを通じて前記運転者に知らせるプロセス、及び前記識別ネットワークをもって検出された前記走行環境を前記出力ユニットを通じて前記運転手に知らせるプロセス、及び（ＩＩ−２）前記循環ネットワークにより検出された前記運転者の前記状態情報を参照して、走行安全警告を前記出力ユニットを通じて前記運転者に対して提供するプロセスを遂行するか、他の装置によって遂行させるための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする走行安全情報分析装置。

【請求項11】

前記プロセッサが、前記特徴マップを前記検出ネットワークに入力することによって、前記検出ネットワークをもって、（ｉ）領域プロポーザルネットワークを通じて前記特徴マップ上で前記物体が位置するものと推定される一つ以上の領域に対応するプロポーザルボックスを生成させ、（ｉｉ）プーリングレイヤを通じて前記特徴マップ上で前記プロポーザルボックスそれぞれに対応する一つ以上の各領域にプーリング演算を適用して、少なくとも一つの物体特徴ベクトルを生成させ、（ｉｉｉ）物体検出ＦＣ（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ）レイヤを通じて前記物体特徴ベクトルに物体検出ＦＣ演算を適用して、前記プロポーザルボックスに対応する多数の物体情報を生成するプロセスを遂行して、前記視角従属型走行イメージ上に位置する前記物体を検出させるプロセスを遂行することを特徴とする請求項１０に記載の走行安全情報分析装置。

【請求項12】

前記プロセッサが、前記特徴マップを前記セグメンテーションネットワークに入力することによって、前記セグメンテーションネットワークをもって、少なくとも一つのデコンボリューションレイヤを通じて前記特徴マップにデコンボリューション演算を適用して少なくとも一つのデコンボリューション特徴マップを生成させるプロセスと、前記デコンボリューション特徴マップを少なくとも一つの車線検出ＦＣレイヤに入力することによって、前記車線検出ＦＣレイヤをもって、前記デコンボリューション特徴マップに車線検出ＦＣ演算を適用して前記視角従属型走行イメージ上に位置する前記車線を検出させるプロセスとを遂行することを特徴とする請求項１０に記載の走行安全情報分析装置。

【請求項13】

前記プロセッサが、前記特徴マップを前記識別ネットワークに入力することによって、前記識別ネットワークをもって、（ｉ）グローバルプーリングレイヤを通じて前記特徴マップにグローバルプーリング演算を適用して少なくとも一つのグローバル特徴ベクトルを生成させ、（ｉｉ）識別ＦＣレイヤを通じて前記グローバル特徴ベクトルに識別ＦＣ演算を適用して走行環境情報を生成させるプロセスを遂行して、前記視角従属型走行イメージに対応する前記走行環境を検出するプロセスを遂行することを特徴とする請求項１０に記載の走行安全情報分析装置。

【請求項14】

前記プロセッサが、前記加速度情報と前記ジャイロスコープ情報とを前記循環ネットワークに入力することによって、前記循環ネットワークをもって、一つ以上のＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ）を通じて予め設定された時間の間前記加速度情報と前記ジャイロスコープ情報とのうち一つ以上の変化状態に循環演算を適用して、前記運転者の行動パターンに対応する前記運転者の前記状態情報を生成させることを特徴とする請求項１０に記載の走行安全情報分析装置。

【請求項15】

前記プロセッサが、前記補助眼鏡に搭載されている少なくとも一つの照度センサから取得される照度情報に応答して、前記補助眼鏡のレンズ透明度を調整することを特徴とする請求項１０に記載の走行安全情報分析装置。

【請求項16】

前記出力ユニットは、前記運転者が前記補助眼鏡を着用した場合、（ｉ）前記運転者の少なくとも一方の耳に対応する位置に設置される少なくとも一つのスピーカと、（ｉｉ）前記運転者の少なくとも一方の目に対応する位置に設置される少なくとも一つのＶＲＤ（Ｖｉｒｔｕａｌ Ｒｅｔｉｎａ Ｄｉｓｐｌａｙ）とを含むことを特徴とする請求項１０に記載の走行安全情報分析装置。

【請求項17】

前記コンボリューションネットワーク、前記検出ネットワーク、前記セグメンテーションネットワーク、及び前記識別ネットワークは、第１学習装置により学習された状態であり、前記第１学習装置は、（ｉ）少なくとも一つの学習用視角従属型走行イメージを前記コンボリューションネットワークに入力することによって、前記コンボリューションネットワークをもって、少なくとも一つの以前の学習済みコンボリューションパラメータを利用したコンボリューション演算を前記学習用視角従属型走行イメージに適用して少なくとも一つの学習用特徴マップを生成させるプロセス、（ｉｉ）（ｉｉ−１）前記学習用特徴マップを前記検出ネットワークに入力することによって、（ｉｉ−１−１）前記検出ネットワークの領域プロポーザルネットワークをもって、前記学習用特徴マップ上で少なくとも一つの学習用物体が位置するものと推定される一つ以上の領域に対応する一つ以上の学習用プロポーザルボックスを生成させ、（ｉｉ−１−２）前記検出ネットワークのプーリングレイヤをもって、前記学習用特徴マップ上で前記学習用プロポーザルボックスそれぞれに対応する一つ以上の領域にプーリング演算を適用して、少なくとも一つの学習用物体特徴ベクトルを生成させ、（ｉｉ−１−３）前記検出ネットワークの物体検出ＦＣレイヤをもって、少なくとも一つの以前の学習済み物体検出パラメータを利用した物体検出ＦＣ演算を前記学習用物体特徴ベクトルに適用して、前記学習用プロポーザルボックスに対応する多数の学習用物体情報を生成させるプロセス、（ｉｉ−２）前記学習用特徴マップを前記セグメンテーションネットワークに入力することによって、（ｉｉ−２−１）前記セグメンテーションネットワークのデコンボリューションレイヤをもって、少なくとも一つの以前の学習済みデコンボリューションパラメータを利用したデコンボリューション演算を前記学習用特徴マップに適用して少なくとも一つのデコンボリューション特徴マップを生成させ、（ｉｉ−２−２）車線検出ＦＣレイヤをもって、少なくとも一つの以前の学習済み車線検出パラメータを利用した車線検出ＦＣ演算を前記デコンボリューション特徴マップに適用して、前記学習用視角従属型走行イメージ上に位置する一つ以上の学習用車線を検出させるプロセス、（ｉｉ−３）前記学習用特徴マップを前記識別ネットワークに入力することによって、（ｉｉ−３−１）前記識別ネットワークのグローバルプーリングレイヤをもって、前記学習用特徴マップにグローバルプーリング演算を適用して少なくとも一つの学習用グローバル特徴ベクトルを生成させ、（ｉｉ−３−２）前記識別ネットワークの識別ＦＣレイヤをもって、少なくとも一つの以前の学習済み識別パラメータを利用した識別ＦＣ演算を前記学習用グローバル特徴ベクトルに適用して学習用走行環境情報を生成させるプロセス、及び（ｉｉｉ）（ｉｉｉ−１）前記多数の学習用物体情報とこれに対応する第１原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して、第１ロスレイヤから出力された一つ以上の第１ロスが最小化されるように前記物体検出ＦＣレイヤの前記以前の学習済み物体検出パラメータをアップデートするプロセス、（ｉｉｉ−２）前記学習用車線と、これに対応する第２原本正解とを参照して、第２ロスレイヤから出力された一つ以上の第２ロスが最小化されるように前記車線検出ＦＣレイヤの前記以前の学習済み車線検出パラメータと前記デコンボリューションレイヤの前記以前の学習済みデコンボリューションパラメータとのうち少なくとも一つをアップデートするプロセス、（ｉｉｉ−３）前記学習用走行環境情報とこれに対応する第３原本正解とを参照して、第３ロスレイヤから出力された一つ以上の第３ロスが最小化されるように前記識別ＦＣレイヤの前記以前の学習済み識別パラメータをアップデートするプロセス、及び（ｉｉｉ−４）前記第１ロス、前記第２ロス、及び前記第３ロス、又はこれから加工した値を加重合算（ｗｅｉｇｈｔｅｄ ｓｕｍｍａｔｉｏｎ）して生成された少なくとも一つの第４ロスが最小化されるように前記コンボリューションネットワークの前記以前の学習済みコンボリューションパラメータをアップデートするプロセスを繰り返すことを特徴とする請求項１０に記載の走行安全情報分析装置。

【請求項18】

前記循環ネットワークは、第２学習装置により学習され、前記第２学習装置は、（ｉ）現在の時点ｔから以前の時点ｔ−ｋまでの学習用加速度情報と学習用ジャイロスコープ情報とをそれぞれのＬＳＴＭに入力することによって、それぞれの前記ＬＳＴＭをもって、前記現在の時点ｔから前記以前の時点ｔ−ｋまでの前記学習用加速度情報と前記学習用ジャイロスコープ情報とにフォワード（ｆｏｒｗａｒｄ）演算を適用して、前記運転者の行動パターンに対応する学習用走行状態情報を出力させるプロセス、及び（ｉｉ）第４ロスレイヤをもって、前記学習用走行状態情報と、これに対応する第４原本正解とを参照して生成された一つ以上の第５ロスが最小化されるように前記ＬＳＴＭの一つ以上のパラメータを調整させるプロセスを遂行することを特徴とする請求項１０に記載の走行安全情報分析装置。

【請求項19】

運転者に対して走行安全情報を提供する補助眼鏡において、
前記運転者が着用することができる前記補助眼鏡と、
前記補助眼鏡に搭載された、前記運転者の視角に対応する少なくとも一つの視角従属型走行イメージを撮影するカメラ、加速度センサ、及びジャイロスコープ（ｇｙｒｏｓｃｏｐｅ）センサを含む一つ以上のセンサと、
前記運転者に対して走行安全情報を提供する、前記補助眼鏡の出力ユニットと、
を含み、
前記補助眼鏡は、（Ｉ）（Ｉ−１）前記カメラから取得された前記視角従属型走行イメージをコンボリューションネットワークに入力することによって、前記コンボリューションネットワークをもって、前記視角従属型走行イメージにコンボリューション演算を適用して少なくとも一つの特徴マップを生成させるプロセスと、前記特徴マップを検出ネットワーク、セグメンテーションネットワーク、及び識別ネットワークにそれぞれ入力することによって、前記検出ネットワークをもって、前記特徴マップを利用して前記視角従属型走行イメージ上に位置した少なくとも一つの物体を検出させ、前記セグメンテーションネットワークをもって、前記視角従属型走行イメージ上の一つ以上の車線を検出させ、前記識別ネットワークをもって、前記視角従属型走行イメージに対応する、天気、時間、場所のうち少なくとも１つを含む走行環境を検出させるプロセス、及び（Ｉ−２）前記加速度センサから取得された加速度情報と前記ジャイロスコープセンサとから取得されたジャイロスコープ情報を循環ネットワークに入力することによって、前記循環ネットワークをもって、前記加速度情報と前記ジャイロスコープ情報とに対応する前記運転者の状態情報を生成させるプロセス、及び（ＩＩ）（ＩＩ−１）前記検出ネットワークにより検出された前記物体を参照して、前記運転者の自動車と前記物体との間の予測衝突可能性情報を前記補助眼鏡の出力ユニットを通じて前記運転手に知らせるプロセス、前記セグメンテーションネットワークにより検出された前記車線を参照して、前記運転者の前記自動車の車線離脱情報を前記出力ユニットを通じて前記運転者に知らせるプロセス、及び前記識別ネットワークにより検出された前記走行環境を前記出力ユニットを通じて前記運転手に知らせるプロセス、及び（ＩＩ−２）前記循環ネットワークにより検出された前記運転者の前記状態情報を参照して、走行安全警告を前記出力ユニットを通じて前記運転者に対して提供するプロセスを遂行する走行安全情報分析装置を含むことを特徴とする補助眼鏡。

【請求項20】

前記センサは、前記補助眼鏡に搭載されている少なくとも一つの照度センサをさらに含み、
前記走行安全情報分析装置は、前記照度センサから取得される照度情報に応答して、前記補助眼鏡の一つ以上のレンズの透明度を調整するプロセスをさらに遂行することを特徴とする請求項１９に記載の補助眼鏡。

【請求項21】

前記出力ユニットは、前記運転者が前記補助眼鏡を着用した場合、（ｉ）前記運転者の少なくとも一方の耳に対応する位置に設置される少なくとも一つのスピーカと（ｉｉ）前記運転者の少なくとも一方の目に対応する位置に設置される少なくとも一つのＶＲＤ（Ｖｉｒｔｕａｌ Ｒｅｔｉｎａ Ｄｉｓｐｌａｙ）とを含むことを特徴とする請求項１９に記載の補助眼鏡。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運転者が着用する補助眼鏡に関し、より詳細には、ディープラーニングに基づいて、前記運転者が着用した前記補助眼鏡に搭載されたカメラから取得された、前記運転者の視角に対応する視角従属型走行イメージを分析して走行安全情報を提供する前記補助眼鏡に関する。

【背景技術】

【0002】

今日の車両はＩＴ技術と結合して多様な機能を提供しており、車両の走行安定性強化及びユーザの利便性向上のために多様な運転者補助システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔ Ｓｙｓｔｅｍ， ＡＤＡＳ）が進化している。

【0003】

この場合、運転者補助システム（ＡＤＡＳ）は、自律走行のための多様な情報を提供するために先端感知装置と知能型映像装置とを利用して具現されるものであって、歩行者及び自動車認識システム、道路面認識システム、車線認識システム、衝突防止システム、及び車線離脱警告システムなどを含む。

【0004】

しかし、これらの従来の運転者補助システムは、自動車の走行環境と運転者の状態を認識するための様々なセンサやカメラを利用するため、費用がかさむようになる。

【0005】

また、従来の運転者補助システムでは、センサやカメラが関連情報を取得するための最適の位置に設置されなければならないが、位置及びセンシング方向の誤差などが生じた場合、正確な情報を取得することができないため、運転者補助のための正確な情報を提供することができない問題が発生するようになる。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、上述した問題点を全て解決することをその目的とする。

【0007】

本発明は、従来方法に比べて安価な費用で少なくとも一つの運転者の状態と少なくとも一つの走行環境とを検出し得るようにすることを他の目的とする。

【0008】

本発明は、少なくとも一つの走行イメージとセンサ情報とを利用したディープニューラルネットワークにより周辺モニタリング、運転者モニタリング、及び危険状況の識別を行うことができるようにすることをまた他の目的とする。

【0009】

本発明は、前記走行イメージと前記センサ情報とを利用した前記ディープニューラルネットワークにより取得された運転補助情報を運転者に通知し得るようにすることをまた他の目的とする。

【課題を解決するための手段】

【0010】

前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。

【0011】

本発明の一態様によると、運転者が着用した補助眼鏡を通じて走行安全情報を提供する方法において、（ａ）自動車の前記運転者が着用した前記補助眼鏡に搭載されている少なくとも一つのカメラから撮影された、前記運転者の視角に対応する少なくとも一つの視角従属型走行イメージと、前記補助眼鏡に搭載された一つ以上のセンサからの加速度情報と、ジャイロスコープ（ｇｙｒｏｓｃｏｐｅ）情報とが取得されると、走行安全情報分析装置が、（ｉ）前記視角従属型走行イメージをコンボリューションネットワークに入力することによって、前記コンボリューションネットワークをもって、前記視角従属型走行イメージにコンボリューション演算を適用して少なくとも一つの特徴マップを生成させるプロセスと、前記特徴マップを検出ネットワーク、セグメンテーションネットワーク、及び識別ネットワークにそれぞれ入力することによって、前記検出ネットワークをもって、前記特徴マップを利用して前記視角従属型走行イメージ上に位置した少なくとも一つの物体を検出させ、前記セグメンテーションネットワークをもって、前記視角従属型走行イメージ上の一つ以上の車線を検出させ、前記識別ネットワークをもって、前記視角従属型走行イメージに対応する走行環境を検出させるプロセス、及び（ｉｉ）前記加速度情報及び前記ジャイロスコープ情報を循環（ｒｅｃｕｒｒｅｎｔ）ネットワークに入力することによって、前記循環ネットワークをもって、前記加速度情報と前記ジャイロスコープ情報とに対応する前記運転者の状態情報を生成させるプロセスを遂行する段階；及び（ｂ）前記走行安全情報分析装置が、（ｉ）前記検出ネットワークにより検出された前記物体を参照して、前記自動車と前記物体との間の予測衝突可能性情報を前記補助眼鏡の出力ユニットを通じて前記運転者に知らせるプロセス、前記セグメンテーションネットワークにより検出された前記車線を参照して、前記自動車の車線離脱情報を前記出力ユニットを通じて前記運転者に知らせるプロセス、及び前記識別ネットワークにより検出された前記走行環境を前記出力ユニットを通じて前記運転者に知らせるプロセス、及び（ｉｉ）前記循環ネットワークにより検出された前記運転者の前記状態情報を参照して、走行安全警告を前記出力ユニットを通じて前記運転者に対して提供するプロセスを遂行する段階；を含むことを特徴とする方法が提供される。

【0012】

一実施例において、前記走行安全情報分析装置が、前記特徴マップを前記検出ネットワークに入力することによって、前記検出ネットワークをもって、（ｉ）領域プロポーザルネットワークを通じて前記特徴マップ上で前記物体が位置するものと推定される一つ以上の領域に対応するプロポーザルボックスを生成させ、（ｉｉ）プーリングレイヤを通じて前記特徴マップ上で前記プロポーザルボックスそれぞれに対応する一つ以上の各領域にプーリング演算を適用して少なくとも一つの物体特徴ベクトルを生成させ、（ｉｉｉ）物体検出ＦＣ（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ）レイヤを通じて前記物体特徴ベクトルに物体検出ＦＣ演算を適用して前記プロポーザルボックスに対応する多数の物体情報を生成するプロセスを遂行して、前記視角従属型走行イメージ上に位置する前記物体を検出させるプロセスを遂行する。

【0013】

一実施例において、前記走行安全情報分析装置が、前記特徴マップを前記セグメンテーションネットワークに入力することによって、前記セグメンテーションネットワークをもって、少なくとも一つのデコンボリューションレイヤを通じて前記特徴マップにデコンボリューション演算を適用して少なくとも一つのデコンボリューション特徴マップを生成させるプロセスと、前記デコンボリューション特徴マップを少なくとも一つの車線検出ＦＣレイヤに入力することによって、前記車線検出ＦＣレイヤをもって、前記デコンボリューション特徴マップに車線検出ＦＣ演算を適用して前記視角従属型走行イメージ上に位置する前記車線を検出させるプロセスとを遂行する。

【0014】

一実施例において、前記走行安全情報分析装置が、前記特徴マップを前記識別ネットワークに入力することによって、前記識別ネットワークをもって、（ｉ）グローバルプーリングレイヤを通じて前記特徴マップにグローバルプーリング演算を適用して少なくとも一つのグローバル特徴ベクトルを生成させ、（ｉｉ）識別ＦＣレイヤを通じて前記グローバル特徴ベクトルに識別ＦＣ演算を適用して走行環境情報を生成させるプロセスを遂行して、前記視角従属型走行イメージに対応する前記走行環境を検出するプロセスを遂行する。

【0015】

一実施例において、前記走行安全情報分析装置が、前記加速度情報と前記ジャイロスコープ情報とを前記循環ネットワークに入力することによって、前記循環ネットワークをもって、一つ以上のＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ）を通じて予め設定された時間の間、前記加速度情報と前記ジャイロスコープ情報とのうち一つ以上の変化状態に循環演算を適用して、前記運転者の行動パターンに対応する前記運転者の前記状態情報を生成させる。

【0016】

一実施例において、前記走行安全情報分析装置が、前記補助眼鏡に搭載されている少なくとも一つの照度センサから取得される照度情報に応答して、前記補助眼鏡のレンズ透明度を調整する。

【0017】

一実施例において、前記出力ユニットは、前記運転者が前記補助眼鏡を着用した場合、（ｉ）前記運転者の少なくとも一方の耳に対応する位置に設置される少なくとも一つのスピーカと、（ｉｉ）前記運転者の少なくとも一方の目に対応する位置に設置される少なくとも一つのＶＲＤ（Ｖｉｒｔｕａｌ Ｒｅｔｉｎａ Ｄｉｓｐｌａｙ）とを含む。

【0018】

一実施例において、前記コンボリューションネットワーク、前記検出ネットワーク、前記セグメンテーションネットワーク、及び前記識別ネットワークは、第１学習装置により学習された状態であり、前記第１学習装置は、（ｉ）少なくとも一つの学習用視角従属型走行イメージを前記コンボリューションネットワークに入力することによって、前記コンボリューションネットワークをもって、少なくとも一つの以前の学習済みコンボリューションパラメータを利用したコンボリューション演算を前記学習用視角従属型走行イメージに適用して少なくとも一つの学習用特徴マップを生成させるプロセス、（ｉｉ）（ｉｉ−１）前記学習用特徴マップを前記検出ネットワークに入力することによって、（ｉｉ−１−１）前記検出ネットワークの領域プロポーザルネットワークをもって、前記学習用特徴マップ上で少なくとも一つの学習用物体が位置するものと推定される一つ以上の領域に対応する一つ以上の学習用プロポーザルボックスを生成させ、（ｉｉ−１−２）前記検出ネットワークのプーリングレイヤをもって、前記学習用特徴マップ上で前記学習用プロポーザルボックスそれぞれに対応する一つ以上の領域にプーリング演算を適用して少なくとも一つの学習用物体特徴ベクトルを生成させ、（ｉｉ−１−３）前記検出ネットワークの物体検出ＦＣレイヤをもって、少なくとも一つの以前の学習済み物体検出パラメータを利用した物体検出ＦＣ演算を前記学習用物体特徴ベクトルに適用して、前記学習用プロポーザルボックスに対応する多数の学習用物体情報を生成させるプロセス、（ｉｉ−２）前記学習用特徴マップを前記セグメンテーションネットワークに入力することによって、（ｉｉ−２−１）前記セグメンテーションネットワークのデコンボリューションレイヤをもって、少なくとも一つの以前の学習済みデコンボリューションパラメータを利用したデコンボリューション演算を前記学習用特徴マップに適用して少なくとも一つのデコンボリューション特徴マップを生成させ、（ｉｉ−２−２）車線検出ＦＣレイヤをもって、少なくとも一つの以前の学習済み車線検出パラメータを利用した車線検出ＦＣ演算を前記デコンボリューション特徴マップに適用して、前記学習用視角従属型走行イメージ上に位置する一つ以上の学習用車線を検出させるプロセス、（ｉｉ−３）前記学習用特徴マップを前記識別ネットワークに入力することによって、（ｉｉ−３−１）前記識別ネットワークのグローバルプーリングレイヤをもって、前記学習用特徴マップにグローバルプーリング演算を適用して少なくとも一つの学習用グローバル特徴ベクトルを生成させ、（ｉｉ−３−２）前記識別ネットワークの識別ＦＣレイヤをもって、少なくとも一つの以前の学習済み識別パラメータを利用した識別ＦＣ演算を前記学習用グローバル特徴ベクトルに適用して学習用走行環境情報を生成させるプロセス、及び（ｉｉｉ）（ｉｉｉ−１）前記多数の学習用物体情報と、これに対応する第１原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して、第１ロスレイヤから出力された一つ以上の第１ロスが最小化されるように前記物体検出ＦＣレイヤの前記以前の学習済み物体検出パラメータをアップデートするプロセス、（ｉｉｉ−２）前記学習用車線と、これに対応する第２原本正解とを参照して、第２ロスレイヤから出力された一つ以上の第２ロスが最小化されるように前記車線検出ＦＣレイヤの前記以前の学習済み車線検出パラメータと前記デコンボリューションレイヤの前記以前の学習済みデコンボリューションパラメータとのうち少なくとも一つをアップデートするプロセス、（ｉｉｉ−３）前記学習用走行環境情報と、これに対応する第３原本正解とを参照して、第３ロスレイヤから出力された一つ以上の第３ロスが最小化されるように前記識別ＦＣレイヤの前記以前の学習済み識別パラメータをアップデートするプロセス、及び（ｉｉｉ−４）前記第１ロス、前記第２ロス、及び前記第３ロス、又はこれから加工した値を加重合算（ｗｅｉｇｈｔｅｄ ｓｕｍｍａｔｉｏｎ）して生成された少なくとも一つの第４ロスが最小化されるように前記コンボリューションネットワークの前記以前の学習済みコンボリューションパラメータをアップデートするプロセスを繰り返す。

【0019】

一実施例において、前記循環ネットワークは、第２学習装置により学習され、前記第２学習装置は、（ｉ）現在の時点ｔから以前の時点ｔ−ｋまでの学習用加速度情報と学習用ジャイロスコープ情報とをそれぞれのＬＳＴＭに入力することによって、それぞれの前記ＬＳＴＭをもって、前記現在の時点ｔから前記以前の時点ｔ−ｋまでの前記学習用加速度情報と前記学習用ジャイロスコープ情報とにフォワード（ｆｏｒｗａｒｄ）演算を適用して、前記運転者の行動パターンに対応する学習用走行状態情報を出力させるプロセス、及び（ｉｉ）第４ロスレイヤをもって、前記学習用走行状態情報と、これに対応する第４原本正解とを参照して生成された一つ以上の第５ロスが最小化されるように前記ＬＳＴＭの一つ以上のパラメータを調整させるプロセスを遂行する。

【0020】

本発明の他の態様によると、運転者が着用した補助眼鏡を通じて走行安全情報を提供する走行安全情報分析装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）自動車の前記運転者が着用した前記補助眼鏡に搭載されている少なくとも一つのカメラから撮影された、前記運転者の視角に対応する少なくとも一つの視角従属型走行イメージと、前記補助眼鏡に搭載された一つ以上のセンサからの加速度情報と、ジャイロスコープ（ｇｙｒｏｓｃｏｐｅ）情報とが取得されると、（Ｉ−１）前記視角従属型走行イメージをコンボリューションネットワークに入力することによって、前記コンボリューションネットワークをもって、前記視角従属型走行イメージにコンボリューション演算を適用して少なくとも一つの特徴マップを生成させるプロセスと、前記特徴マップを検出ネットワーク、セグメンテーションネットワーク、及び識別ネットワークにそれぞれ入力することによって、前記検出ネットワークをもって、前記特徴マップを利用して前記視角従属型走行イメージ上に位置した少なくとも一つの物体を検出させ、前記セグメンテーションネットワークをもって、前記視角従属型走行イメージ上の一つ以上の車線を検出させ、前記識別ネットワークをもって、前記視角従属型走行イメージに対応する走行環境を検出させるプロセス、及び（Ｉ−２）前記加速度情報と前記ジャイロスコープ情報とを循環ネットワークに入力することによって、前記循環ネットワークをもって、前記加速度情報と前記ジャイロスコープ情報とに対応する前記運転者の状態情報を生成させるプロセス、及び（ＩＩ）（ＩＩ−１）前記検出ネットワークにより検出された前記物体を参照して、前記自動車と前記物体との間の予測衝突可能性情報を前記補助眼鏡の出力ユニットを通じて前記運転手に知らせるプロセス、前記セグメンテーションネットワークにより検出された前記車線を参照して前記自動車の車線離脱情報を前記出力ユニットを通じて前記運転者に知らせるプロセス、及び前記識別ネットワークをもって検出された前記走行環境を前記出力ユニットを通じて前記運転手に知らせるプロセス、及び（ＩＩ−２）前記循環ネットワークにより検出された前記運転者の前記状態情報を参照して、走行安全警告を前記出力ユニットを通じて前記運転者に対して提供するプロセスを遂行するか、他の装置によって遂行させるための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする走行安全情報分析装置が提供される。

【0021】

一実施例において、前記プロセッサが、前記特徴マップを前記検出ネットワークに入力することによって、前記検出ネットワークをもって、（ｉ）領域プロポーザルネットワークを通じて前記特徴マップ上で前記物体が位置するものと推定される一つ以上の領域に対応するプロポーザルボックスを生成させ、（ｉｉ）プーリングレイヤを通じて前記特徴マップ上で前記プロポーザルボックスそれぞれに対応する一つ以上の各領域にプーリング演算を適用して、少なくとも一つの物体特徴ベクトルを生成させ、（ｉｉｉ）物体検出ＦＣ（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ）レイヤを通じて前記物体特徴ベクトルに物体検出ＦＣ演算を適用して、前記プロポーザルボックスに対応する多数の物体情報を生成するプロセスを遂行して、前記視角従属型走行イメージ上に位置する前記物体を検出させるプロセスを遂行する。

【0022】

一実施例において、前記プロセッサが、前記特徴マップを前記セグメンテーションネットワークに入力することによって、前記セグメンテーションネットワークをもって、少なくとも一つのデコンボリューションレイヤを通じて前記特徴マップにデコンボリューション演算を適用して少なくとも一つのデコンボリューション特徴マップを生成させるプロセスと、前記デコンボリューション特徴マップを少なくとも一つの車線検出ＦＣレイヤに入力することによって、前記車線検出ＦＣレイヤをもって、前記デコンボリューション特徴マップに車線検出ＦＣ演算を適用して前記視角従属型走行イメージ上に位置する前記車線を検出させるプロセスとを遂行する。

【0023】

一実施例において、前記プロセッサが、前記特徴マップを前記識別ネットワークに入力することによって、前記識別ネットワークをもって、（ｉ）グローバルプーリングレイヤを通じて前記特徴マップにグローバルプーリング演算を適用して少なくとも一つのグローバル特徴ベクトルを生成させ、（ｉｉ）識別ＦＣレイヤを通じて前記グローバル特徴ベクトルに識別ＦＣ演算を適用して走行環境情報を生成させるプロセスを遂行して、前記視角従属型走行イメージに対応する前記走行環境を検出するプロセスを遂行する。

【0024】

一実施例において、前記プロセッサが、前記加速度情報と前記ジャイロスコープ情報とを前記循環ネットワークに入力することによって、前記循環ネットワークをもって、一つ以上のＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ）を通じて予め設定された時間の間前記加速度情報と前記ジャイロスコープ情報とのうち一つ以上の変化状態に循環演算を適用して、前記運転者の行動パターンに対応する前記運転者の前記状態情報を生成させる。

【0025】

一実施例において、前記プロセッサが、前記補助眼鏡に搭載されている少なくとも一つの照度センサから取得される照度情報に応答して、前記補助眼鏡のレンズ透明度を調整する。

【0026】

一実施例において、前記出力ユニットは、前記運転者が前記補助眼鏡を着用した場合、（ｉ）前記運転者の少なくとも一方の耳に対応する位置に設置される少なくとも一つのスピーカと、（ｉｉ）前記運転者の少なくとも一方の目に対応する位置に設置される少なくとも一つのＶＲＤ（Ｖｉｒｔｕａｌ Ｒｅｔｉｎａ Ｄｉｓｐｌａｙ）とを含む。

【0027】

一実施例において、前記コンボリューションネットワーク、前記検出ネットワーク、前記セグメンテーションネットワーク、及び前記識別ネットワークは、第１学習装置により学習された状態であり、前記第１学習装置は、（ｉ）少なくとも一つの学習用視角従属型走行イメージを前記コンボリューションネットワークに入力することによって、前記コンボリューションネットワークをもって、少なくとも一つの以前の学習済みコンボリューションパラメータを利用したコンボリューション演算を前記学習用視角従属型走行イメージに適用して少なくとも一つの学習用特徴マップを生成させるプロセス、（ｉｉ）（ｉｉ−１）前記学習用特徴マップを前記検出ネットワークに入力することによって、（ｉｉ−１−１）前記検出ネットワークの領域プロポーザルネットワークをもって、前記学習用特徴マップ上で少なくとも一つの学習用物体が位置するものと推定される一つ以上の領域に対応する一つ以上の学習用プロポーザルボックスを生成させ、（ｉｉ−１−２）前記検出ネットワークのプーリングレイヤをもって、前記学習用特徴マップ上で前記学習用プロポーザルボックスそれぞれに対応する一つ以上の領域にプーリング演算を適用して、少なくとも一つの学習用物体特徴ベクトルを生成させ、（ｉｉ−１−３）前記検出ネットワークの物体検出ＦＣレイヤをもって、少なくとも一つの以前の学習済み物体検出パラメータを利用した物体検出ＦＣ演算を前記学習用物体特徴ベクトルに適用して、前記学習用プロポーザルボックスに対応する多数の学習用物体情報を生成させるプロセス、（ｉｉ−２）前記学習用特徴マップを前記セグメンテーションネットワークに入力することによって、（ｉｉ−２−１）前記セグメンテーションネットワークのデコンボリューションレイヤをもって、少なくとも一つの以前の学習済みデコンボリューションパラメータを利用したデコンボリューション演算を前記学習用特徴マップに適用して少なくとも一つのデコンボリューション特徴マップを生成させ、（ｉｉ−２−２）車線検出ＦＣレイヤをもって、少なくとも一つの以前の学習済み車線検出パラメータを利用した車線検出ＦＣ演算を前記デコンボリューション特徴マップに適用して、前記学習用視角従属型走行イメージ上に位置する一つ以上の学習用車線を検出させるプロセス、（ｉｉ−３）前記学習用特徴マップを前記識別ネットワークに入力することによって、（ｉｉ−３−１）前記識別ネットワークのグローバルプーリングレイヤをもって、前記学習用特徴マップにグローバルプーリング演算を適用して少なくとも一つの学習用グローバル特徴ベクトルを生成させ、（ｉｉ−３−２）前記識別ネットワークの識別ＦＣレイヤをもって、少なくとも一つの以前の学習済み識別パラメータを利用した識別ＦＣ演算を前記学習用グローバル特徴ベクトルに適用して学習用走行環境情報を生成させるプロセス、及び（ｉｉｉ）（ｉｉｉ−１）前記多数の学習用物体情報とこれに対応する第１原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して、第１ロスレイヤから出力された一つ以上の第１ロスが最小化されるように前記物体検出ＦＣレイヤの前記以前の学習済み物体検出パラメータをアップデートするプロセス、（ｉｉｉ−２）前記学習用車線と、これに対応する第２原本正解とを参照して、第２ロスレイヤから出力された一つ以上の第２ロスが最小化されるように前記車線検出ＦＣレイヤの前記以前の学習済み車線検出パラメータと前記デコンボリューションレイヤの前記以前の学習済みデコンボリューションパラメータとのうち少なくとも一つをアップデートするプロセス、（ｉｉｉ−３）前記学習用走行環境情報とこれに対応する第３原本正解とを参照して、第３ロスレイヤから出力された一つ以上の第３ロスが最小化されるように前記識別ＦＣレイヤの前記以前の学習済み識別パラメータをアップデートするプロセス、及び（ｉｉｉ−４）前記第１ロス、前記第２ロス、及び前記第３ロス、又はこれから加工した値を加重合算（ｗｅｉｇｈｔｅｄ ｓｕｍｍａｔｉｏｎ）して生成された少なくとも一つの第４ロスが最小化されるように前記コンボリューションネットワークの前記以前の学習済みコンボリューションパラメータをアップデートするプロセスを繰り返す。

【0028】

一実施例において、前記循環ネットワークは、第２学習装置により学習され、前記第２学習装置は、（ｉ）現在の時点ｔから以前の時点ｔ−ｋまでの学習用加速度情報と学習用ジャイロスコープ情報とをそれぞれのＬＳＴＭに入力することによって、それぞれの前記ＬＳＴＭをもって、前記現在の時点ｔから前記以前の時点ｔ−ｋまでの前記学習用加速度情報と前記学習用ジャイロスコープ情報とにフォワード（ｆｏｒｗａｒｄ）演算を適用して、前記運転者の行動パターンに対応する学習用走行状態情報を出力させるプロセス、及び（ｉｉ）第４ロスレイヤをもって、前記学習用走行状態情報と、これに対応する第４原本正解とを参照して生成された一つ以上の第５ロスが最小化されるように前記ＬＳＴＭの一つ以上のパラメータを調整させるプロセスを遂行する。

【0029】

本発明のまた他の態様によると、運転者に対して走行安全情報を提供する補助眼鏡において、前記運転者が着用することができる前記補助眼鏡と、前記補助眼鏡に搭載された、前記運転者の視角に対応する少なくとも一つの視角従属型走行イメージを撮影するカメラ、加速度センサ、及びジャイロスコープ（ｇｙｒｏｓｃｏｐｅ）センサを含む一つ以上のセンサと、前記運転者に対して走行安全情報を提供する、前記補助眼鏡の出力ユニットと、を含み、前記補助眼鏡は、（Ｉ）（Ｉ−１）前記カメラから取得された前記視角従属型走行イメージをコンボリューションネットワークに入力することによって、前記コンボリューションネットワークをもって、前記視角従属型走行イメージにコンボリューション演算を適用して少なくとも一つの特徴マップを生成させるプロセスと、前記特徴マップを検出ネットワーク、セグメンテーションネットワーク、及び識別ネットワークにそれぞれ入力することによって、前記検出ネットワークをもって、前記特徴マップを利用して前記視角従属型走行イメージ上に位置した少なくとも一つの物体を検出させ、前記セグメンテーションネットワークをもって、前記視角従属型走行イメージ上の一つ以上の車線を検出させ、前記識別ネットワークをもって、前記視角従属型走行イメージに対応する走行環境を検出させるプロセス、及び（Ｉ−２）前記加速度センサから取得された加速度情報と前記ジャイロスコープセンサとから取得されたジャイロスコープ情報を循環ネットワークに入力することによって、前記循環ネットワークをもって、前記加速度情報と前記ジャイロスコープ情報とに対応する前記運転者の状態情報を生成させるプロセス、及び（ＩＩ）（ＩＩ−１）前記検出ネットワークにより検出された前記物体を参照して、前記運転者の自動車と前記物体との間の予測衝突可能性情報を前記補助眼鏡の出力ユニットを通じて前記運転手に知らせるプロセス、前記セグメンテーションネットワークにより検出された前記車線を参照して、前記運転者の前記自動車の車線離脱情報を前記出力ユニットを通じて前記運転者に知らせるプロセス、及び前記識別ネットワークにより検出された前記走行環境を前記出力ユニットを通じて前記運転手に知らせるプロセス、及び（ＩＩ−２）前記循環ネットワークにより検出された前記運転者の前記状態情報を参照して、走行安全警告を前記出力ユニットを通じて前記運転者に対して提供するプロセスを遂行する走行安全情報分析装置を含むことを特徴とする補助眼鏡が提供される。

【0030】

一実施例において、前記センサは、前記補助眼鏡に搭載されている少なくとも一つの照度センサをさらに含み、前記走行安全情報分析装置は、前記照度センサから取得される照度情報に応答して、前記補助眼鏡の一つ以上のレンズの透明度を調整するプロセスをさらに遂行する。

【0031】

一実施例において、前記出力ユニットは、前記運転者が前記補助眼鏡を着用した場合、（ｉ）前記運転者の少なくとも一方の耳に対応する位置に設置される少なくとも一つのスピーカと（ｉｉ）前記運転者の少なくとも一方の目に対応する位置に設置される少なくとも一つのＶＲＤ（Ｖｉｒｔｕａｌ Ｒｅｔｉｎａ Ｄｉｓｐｌａｙ）とを含む。

【0032】

その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。

【発明の効果】

【0033】

本発明によると、補助眼鏡に含まれているカメラとセンサとからそれぞれ取得された走行イメージとセンサ情報とを利用したニューラルネットワークを通じて走行環境と運転者の状態とを識別し得るようにすることによって、従来の方法に比べて製作費用を低減することができる効果がある。

【0034】

また、本発明によると、前記補助眼鏡に含まれている前記カメラと、前記センサからそれぞれ取得された前記走行イメージと、前記センサ情報とを利用した前記ニューラルネットワークを通じて、周辺モニタリング、運転者モニタリング、及び危険状況の識別を行うことができる効果がある。

【0035】

また、本発明によると、前記走行イメージと前記センサ情報とを利用した前記ニューラルネットワークを通じて取得された運転者補助情報を運転者に対して通知することができる効果がある。

【0036】

また、本発明によると、前記運転者が着用可能な前記補助眼鏡を通じて運転者補助システムを具現することによって、自動車に前記センサと前記カメラとを設置する従来方法に比べて、前記運転者補助システムの設置に所要される時間と費用を節減することができる効果がある。

【0037】

また、本発明によると、前記運転者が着用した前記補助眼鏡を通じて前記運転者補助システムを具現することによって、前記運転者に最適化された走行情報を提供することができる効果がある。

【0038】

発明の前記及び他の目的並びに特徴は、以下の添付図面とともに提供された好ましい実施例の説明において明らかにされる。

【0039】

本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。

【図面の簡単な説明】

【0040】

【図1】本発明の一実施例による自律走行補助眼鏡を簡略に示したものである。

【図2】本発明の一実施例による前記自律走行補助眼鏡のブロック構成図を簡略に示したものである。

【図3】本発明の一実施例による前記自律走行補助眼鏡から取得される各情報を分析して運転補助情報を提供するために利用される走行安全情報分析装置を簡略に示したものである。

【図4】本発明の一実施例による前記自律走行補助眼鏡の前記走行安全情報分析装置が少なくとも一つの視角従属型走行イメージを利用して、少なくとも一つの走行環境を検出するプロセスを簡略に示したものである。

【図5】本発明の一実施例による前記自律走行補助眼鏡の前記走行安全分析装置がセンサ情報を利用して、少なくとも一つの運転者の状態を検出するプロセスを簡略に示したものである。

【図6】本発明の一実施例による前記自律走行補助眼鏡の走行安全情報分析装置が一つ以上の衝突防止及び一つ以上の車線離脱を警告するプロセスを簡略に示したものである。

【図7】本発明の一実施例による前記自律走行補助眼鏡の走行安全情報分析装置が少なくとも一つの走行状況を案内するプロセスを簡略に示したものである。

【図8】本発明の一実施例による前記自律走行補助眼鏡の走行安全情報分析装置により、安全運転を勧告する警告プロセスを簡略に示したものである。

【発明を実施するための形態】

【0041】

後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように十分詳細に説明される。

【0042】

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。

【0043】

さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、類似する機能を指す。

【0044】

本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。

【0045】

本願の明細書に提供された本発明の名称及び要約は、便宜のためのものであって、実施例の範囲を限定したり実施例の意味を解釈するものではない。

【0046】

以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。

【0047】

図１は、本発明の一実施例による補助眼鏡を簡略に示したものであって、前記補助眼鏡は、自動車の運転者が着用する眼鏡である。また、前記運転者の視角に対応する少なくとも一つの視角従属型走行イメージを検出する少なくとも一つのカメラが前記補助眼鏡に搭載され得、少なくとも一つの加速度センサ、少なくとも一つのジャイロスコープ（ｇｙｒｏｓｃｏｐｅ）センサ、及び少なくとも一つの照度センサなどを含むセンサが前記補助眼鏡に搭載され得る。

【0048】

そして、前記運転者に対して走行安全情報を出力して提供する少なくとも一つの出力ユニットが前記補助眼鏡に搭載され得る。前記出力ユニットは、前記運転者が前記補助眼鏡を着用した場合、（ｉ）音声情報の出力に利用される、前記運転者の少なくとも一方の耳に対応する位置に設置される少なくとも一つのスピーカ、及び（ｉｉ）視角情報の出力に利用される、前記運転者の少なくとも一方の目に対応する位置に設置される少なくとも一つのＶＲＤ（Ｖｉｒｔｕａｌ Ｒｅｔｉｎａ Ｄｉｓｐｌａｙ）を含むことができるが、これに限定されるわけではない。

【0049】

また、周辺の照度に応じて透明度を調整することができる、少なくとも一つの透明度調整レンズが前記補助眼鏡に利用され得る。この際、前記補助眼鏡は、一つ以上の透明度調整レンズを含むことができる。

【0050】

また、前記補助眼鏡は、走行安全情報分析装置を含むことができる。前記走行安全情報分析装置は、前記カメラ及び前記センサからそれぞれ取得される前記視角従属型走行イメージ及び前記センサ情報をニューラルネットワーク、例えばディープニューラルネットワークを利用して分析することによって走行環境情報及び前記運転者の状態情報を取得し、これを参照して前記走行安全情報を提供することができる。この際、前記走行安全情報分析装置は前記補助眼鏡に搭載されるか、前記補助眼鏡から分離され得るが、有無線通信を介して前記補助眼鏡と通信することができる。

【0051】

図２は、本発明の一実施例による前記補助眼鏡のブロック構成図を簡略に示したものであって、自律走行補助装置１０００は、一つ以上の入力センサ１００と、前記走行安全情報分析装置２００と、少なくとも一つの出力ユニット３００とを含むことができる。

【0052】

前記入力センサ１００は、走行情報を取得するために利用される、前記カメラ、前記加速度センサ、前記ジャイロスコープセンサ、及び前記照度センサなどのようなセンサを含むことができる。前記カメラは、走行中である前記自動車の前記運転者の視角に対応する前記視角従属型走行イメージを撮影し、前記加速度センサと前記ジャイロスコープセンサとは前記運転者の行動パターンによる加速度情報とジャイロスコープ情報とを取得し、前記照度センサは、前記運転者の周辺照度を取得することができる。この際、前記カメラは前記運転者の視角に対応する前記視角従属型走行イメージを検出し、前記視角従属型走行イメージは前記走行情報の一部として見ることもできるので、本発明にわたって前記入力センサが前記カメラを含むこともできる。

【0053】

前記走行安全情報分析装置２００は、前記視角従属型走行イメージを分析して少なくとも一人の歩行者と、他の自動車のうち少なくとも一つなどの一つ以上の物体を検出する検出ネットワークと、前記視角従属型走行イメージを分析して一つ以上の車線を識別するセグメンテーションネットワークと、前記視角従属型走行イメージを分析して天気、時間、場所などを識別する識別ネットワークとを含むことができる。この場合、それぞれの前記ネットワークは区別して説明されたが、一つのネットワークにおいてそれぞれの前記ネットワークの機能を遂行するように具現されることもある。

【0054】

前記出力ユニット３００は、前記走行安全情報を視角的に表す前記ＶＲＤと、前記走行安全情報を聴覚的に伝達する前記スピーカと、前記周辺照度に応じて透明度を調整することができる前記透明度調整レンズとを含むことができる。この場合、前記透明度調整レンズは前記照度センサから取得される周辺照度情報に応答して自動的にレンズの透明度を調整することができる。

【0055】

一方、前記走行安全情報分析装置２００は、前記カメラから取得された前記視角従属型走行イメージをコンボリューションネットワークに入力することによって、前記コンボリューションネットワークをもって、前記視角従属型走行イメージにコンボリューション演算を適用して少なくとも一つの特徴マップを生成させ、前記特徴マップを前記検出ネットワーク、前記セグメンテーションネットワーク、及び前記識別ネットワークにそれぞれ入力することができる。そして、前記走行安全情報分析装置２００は、（ｉ）前記検出ネットワークをもって、前記特徴マップを利用して前記視角従属型走行イメージ上に位置した少なくとも一つの物体を検出させるプロセス、（ｉｉ）前記セグメンテーションネットワークをもって、前記視角従属型走行イメージ上に位置した一つ以上の車線を検出させるプロセス、（ｉｉｉ）前記識別ネットワークをもって、前記視角従属型走行イメージに対応する前記走行環境を検出させるプロセス、及び（ｉｖ）前記加速度センサから取得された前記加速度情報及び前記ジャイロスコープセンサから取得された前記ジャイロスコープ情報を循環（ｒｅｃｕｒｒｅｎｔ）ネットワークに入力することによって、前記循環ネットワークをもって、前記加速度情報と前記ジャイロスコープ情報とに対応する前記運転者の状態情報を生成させるプロセスを遂行することができる。その後、前記走行安全情報分析装置２００が、（ｉ）前記検出ネットワークにより検出された前記物体を参照して、前記自動車と前記物体との間の予測衝突可能性情報を前記補助眼鏡の前記出力ユニットを通じて前記運転手に知らせるプロセス、前記セグメンテーションネットワークにより検出された前記車線を参照して、前記自動車の車線離脱情報を前記出力ユニットを通じて前記運転手に知らせるプロセス、及び前記識別ネットワークにより検出された前記走行環境を前記出力ユニットを通じて前記運転者に知らせるプロセス、及び（ｉｉ）前記循環ネットワークにより検出された前記運転者の前記状態情報を参照して、走行安全警告を前記出力ユニットを通じて前記運転者に対して提供するプロセスを遂行することができる。これに加えて、前記走行安全情報分析装置２００は、前記補助眼鏡に搭載された前記照度センサから取得される前記照度情報に応答して前記補助眼鏡のレンズの前記透明度を調節するプロセスをさらに遂行することができる。

【0056】

図３は、本発明の一実施例による前記補助眼鏡から取得される情報を分析して、前記走行安全情報を提供する前記走行安全情報分析装置２００を簡略に示したものである。図３を参照すると、前記走行安全情報分析装置２００は、インストラクションを格納するメモリ２０１を含むことができ、前記メモリ２０１に格納された前記インストラクションに対応するプロセスを遂行するためのプロセッサ２０２を含むことができる。前記インストラクションは、ディープニューラルネットワークのような前記ニューラルネットワークを利用して前記カメラ及び前記センサから取得された前記視角従属型走行イメージと前記センサ情報とを分析して前記走行環境情報及び前記運転者の前記状態情報を取得し、これを参照して前記走行安全情報を提供するために使用され得る。すなわち、前記プロセッサ２０２は、前記ニューラルネットワークを利用して、前記カメラから取得された前記視角従属型走行イメージ及び前記センサから取得された前記センサ情報を分析し、前記走行環境情報及び前記状態情報を取得することによって、これを参照して前記走行安全情報を提供することができる。

【0057】

具体的に、前記走行安全情報分析装置２００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の各構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、コンピューティング装置をもって特定の方式で機能させるインストラクション）との組み合わせを利用して所望のシステム性能を達成するものであり得る。

【0058】

前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。

【0059】

しかし、コンピューティング装置が、本発明を実施するためのミディアム（ｍｅｄｉｕｍ）、プロセッサ、及びメモリが統合された形態である統合プロセッサを含む場合を排除するものではない。

【0060】

本発明の一実施例による前記ニューラルネットワークを利用して前記カメラから取得された前記視角従属型走行イメージを分析し、前記走行安全情報分析装置２００を利用して前記走行環境を検出する方法を、図４を参照して説明すると以下のとおりである。

【0061】

まず、前記カメラから撮影された前記視角従属型走行イメージが取得されると、前記走行安全情報分析装置２００が、前記視角従属型走行イメージを前記コンボリューションネットワーク２１０に入力することによって、前記コンボリューションネットワーク２１０をもって前記視角従属型走行イメージにコンボリューション演算を適用して、少なくとも一つの特徴マップを生成させることができる。この場合、前記コンボリューションネットワーク２１０は、少なくとも一つのコンボリューションレイヤを含み、前記視角従属型走行イメージに少なくとも一つのコンボリューション演算を適用することができる。

【0062】

次に、前記走行安全情報分析装置２００は、前記特徴マップを前記検出ネットワーク２２０に入力することによって、前記検出ネットワーク２２０をもって、前記特徴マップを利用して前記視角従属型走行イメージ上に位置した前記他の自動車、前記歩行者などの前記物体を検出させることができる。

【0063】

すなわち、前記走行安全情報分析装置２００が、前記特徴マップを前記検出ネットワーク２２０に入力することによって、前記検出ネットワーク２２０をもって、（ｉ）領域プロポーザルネットワーク２２１を通じて前記特徴マップ上で前記物体が位置するものと推定される一つ以上の領域に対応するプロポーザルボックスを生成させ、（ｉｉ）プーリングレイヤ２２２を通じて前記特徴マップ上で前記プロポーザルボックスそれぞれに対応する一つ以上の各領域にプーリング演算を適用して少なくとも一つの物体特徴ベクトルを生成させ、（ｉｉｉ）物体検出ＦＣ（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ）レイヤ２２３を通じて前記物体特徴ベクトルに物体検出ＦＣ演算を適用して前記プロポーザルボックスに対応する多数の物体情報を生成するプロセス、及び結果的に前記視角従属型走行イメージ上に位置する前記物体を検出させるプロセスを遂行することができる。

【0064】

この場合、前記物体検出ＦＣレイヤ２２３は、単一レイヤとして説明されたが、前記視角従属型走行イメージ内の前記物体のうちの前記歩行者及び前記他の自動車を識別するために、多重の物体検出ＦＣレイヤが利用されることもある。また、前記視角従属型走行イメージ内の前記物体の中で、前記歩行者及び前記他の自動車が識別されて出力されているが、本発明の範囲はこれに限定されない。

【0065】

また、前記走行安全情報分析装置２００は、前記特徴マップを前記セグメンテーションネットワーク２３０に入力することによって、前記セグメンテーションネットワーク２３０をもって前記視角従属型走行イメージ上の前記車線を検出させる。

【0066】

すなわち、前記走行安全情報分析装置２００が、前記特徴マップを前記セグメンテーションネットワーク２３０に入力することによって、前記セグメンテーションネットワーク２３０をもって少なくとも一つのデコンボリューションレイヤ２３１を通じて前記特徴マップにデコンボリューション演算を適用して少なくとも一つのデコンボリューション特徴マップを生成させるプロセス、及び前記デコンボリューション特徴マップを少なくとも一つの車線検出ＦＣレイヤ２３２に入力することによって、前記車線検出ＦＣレイヤ２３２をもって、前記デコンボリューション特徴マップに車線検出ＦＣ演算を適用して前記視角従属型走行イメージ上に位置する前記車線を検出させるプロセスを遂行することができる。

【0067】

この場合、前記車線検出ＦＣレイヤ２３２は、単一レイヤとして説明されたが、前記視角従属型走行イメージ内の前記車線を検出するために、多重の車線検出ＦＣレイヤが利用されることもある。

【0068】

一方、前記においては前記車線検出ＦＣレイヤについて説明したが、これとは異なり、前記車線検出ＦＣレイヤでなく少なくとも一つの１ｘ１コンボリューションレイヤを利用して前記デコンボリューション特徴マップから前記車線を検出することができる。本発明は、前記車線検出ＦＣレイヤと前記１ｘ１コンボリューションレイヤ以外にも、イメージセグメンテーションに関する多様なニューラルネットワーク、あるいはディープニューラルネットワークを使用することができる。

【0069】

また、前記走行安全情報分析装置２００は、前記特徴マップを前記識別ネットワーク２４０に入力することによって、前記識別ネットワーク２４０をもって前記視角従属型走行イメージに対応する前記走行環境を検出させることができる。

【0070】

すなわち、前記走行安全情報分析装置２００が、前記特徴マップを前記識別ネットワーク２４０に入力することによって、前記識別ネットワーク２４０をもって、（ｉ）グローバルプーリングレイヤ２４１を通じて前記特徴マップにグローバルプーリング演算を適用して少なくとも一つのグローバル特徴ベクトルを生成させ、（ｉｉ）識別ＦＣレイヤ２４２を通じて前記グローバル特徴ベクトルに識別ＦＣ演算を適用して前記走行環境情報を生成させるプロセスを遂行して、前記視角従属型走行イメージに対応する、天気、時間、場所などのような前記走行環境を検出するプロセスを遂行することができる。

【0071】

この場合、前記識別ＦＣレイヤ２４２は、単一レイヤとして説明されたが、前記視角従属型走行イメージに対応する前記走行環境を検出するために、多重の識別ＦＣレイヤが利用されることもある。

【0072】

そして、本発明の一実施例による前記走行安全情報分析装置２００を利用して、前記センサ情報から少なくとも一つの運転者の状態を検出する方法を、図５を参照して説明すると以下のとおりである。

【0073】

前記加速度センサから、加速度Ｘ、加速度Ｙ及び加速度Ｚの前記センサ情報、及び前記ジャイロスコープセンサから、角度Ｘ、角度Ｙ及び角度Ｚの前記センサ情報が取得された場合、現在の時点ｔから以前の時点ｔ−ｋまでの前記センサ情報それぞれが、少なくとも一つのフォワード（ｆｏｒｗａｒｄ）演算のための多重のＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｉｅｓ）に入力されることによって、前記運転者の頭の速度及び位置に対応する前記運転者の行動パターンをもって利用して、前記運転者の少なくとも一つの行動及び少なくとも一つの状況、すなわち、前記運転者の状態を識別することができる。

【0074】

この場合、前記運転者の状態は、注意分散、居眠り運転、ＤＵＩ（ｄｒｉｖｉｎｇ ｕｎｄｅｒ ｔｈｅ ｉｎｆｌｕｅｎｃｅ）等を含むことができるが、本発明がこれに限定されるわけではない。

【0075】

次に、前記のようなプロセスにより検出または識別された、前記走行環境及び前記運転者の状態を参照して、前記走行安全情報を提供する方法を説明する。

【0076】

まず、図６を参照すると、図４のようなプロセスにしたがって前記視角従属型走行イメージ内の、前記歩行者及び前記他の自動車を含む前記物体が検出された状態で、前記走行安全情報分析装置２００は、それぞれの前記物体が前記運転者の前記自動車との衝突の経路上にあるのかを判断する。一例として、速度、ハンドルの角度、ブレーキ状態などの現在走行情報を参照して、前記現在走行情報を保持する場合、前記視角従属型走行イメージのイメージ分析により検出されたそれぞれの前記物体が、前記運転者の前記自動車との前記衝突経路上にあるのかを判断することができる。

【0077】

この場合、前記視角従属型走行イメージの前記イメージ分析により検出された前記物体のうち少なくともいずれか一つが前記衝突経路上にあるものと判断されれば、前記走行安全情報分析装置２００は、衝突警告メッセージを前記ＶＲＤを通じて出力するか、衝突警告音声を前記スピーカを介して出力することによって、前記運転者が衝突を防止することができるようにする。

【0078】

そして、前記走行安全情報分析装置２００は、図４のようなプロセスにしたがって、前記視角従属型走行イメージから検出された車線情報を参照して前記車線が正常位置にあるか否か、すなわち、前記運転者の前記自動車の走行方向が前記車線を離脱せずに、正常位置にあるか否かを判断することができる。

【0079】

この場合、前記視角従属型走行イメージの前記イメージ分析により検出された前記車線が正常位置でないものと判断される場合、すなわち、前記自動車が車線を離脱したものと判断される場合、前記走行安全情報分析装置２００は、車線離脱警告メッセージを前記ＶＲＤを通じて出力するか、車線離脱警告音声を前記スピーカを通じて出力することによって、前記運転者が車線離脱を防止することが可能にする。

【0080】

次に、図７を参照すると、図４のような前記プロセスにしたがって前記視角従属型走行イメージから識別された前記走行環境が取得された場合、前記走行安全情報分析装置２００が、前記走行環境に対応する案内メッセージを前記ＶＲＤを通じて出力するか、前記走行環境に対応する案内音声を前記スピーカを通じて出力させることによって、前記運転者が前記走行環境を認知し得るようにする。一例として、前記走行安全情報分析装置２００は、トンネル進入案内、逆光注意案内、豪雪及び豪雨の際の低速走行案内などのように、前記運転者の便宜のための前記走行環境及び走行安全に関する案内情報を前記運転者に通知することができる。

【0081】

また、前記走行安全情報分析装置２００は、前記照度センサから取得される周辺照度に応じて前記運転者の視野を確保するために、前記補助眼鏡の前記透明度調整レンズをもって、それ自体の透明度を前記周辺照度に応答して調整させることができる。この際、前記透明度調整レンズは、前記照度センサから直接的に取得された周辺照度情報に応答して、自動的に前記透明度を調整することができる。

【0082】

次に、図８を参照すると、図５のような前記プロセスにしたがって、前記加速度センサと前記ジャイロスコープセンサとを利用して分析された前記運転者の状態が取得されると、前記走行安全情報分析装置２００が、前記運転者に対して識別された行動に対応する警告メッセージを前記ＶＲＤを通じて出力するか、前記識別された行動に対応する警告音声を前記スピーカを介して出力することができる。一例として、前記運転者の状態が前記注意分散状態であるものと判断された場合、前記運転者が前方を注視するように警告を与えることができ、前記運転者の状態が前記居眠り運転又は前記ＤＵＩ状態であるものと判断された場合、前記居眠り運転又は前記ＤＵＩに関する警告が運転者に提供され得る。

【0083】

したがって、本発明は、前記自動車の前記運転手が着用する前記補助眼鏡に含まれている前記カメラと前記センサとから取得される前記視角従属型走行イメージと前記センサ情報とをディープニューラルネットワークを通じて分析することによって、前記走行環境と前記運転者とをモニタリングし、モニタリングされた前記走行環境と前記運転者の状態とに対応する危険状況を識別して、これを前記運転者に警告し、前記走行環境と前記運転者の状態とに対応する前記走行安全のための前記走行安全情報を生成して、ディスプレイ又は音声を利用して前記運転者が分かるように通知することができる。

【0084】

一方、前記走行安全情報分析装置２００の前記コンボリューションネットワーク２１０、前記検出ネットワーク２２０、前記セグメンテーションネットワーク２３０、及び前記識別ネットワーク２４０は、第１学習装置により学習された状態であり得る。

【0085】

すなわち、前記第１学習装置は、学習用視角従属型走行イメージを前記コンボリューションネットワーク２１０に入力し、前記コンボリューションネットワーク２１０をもって、少なくとも一つの以前の学習済みコンボリューションパラメータを利用した少なくとも一つのコンボリューション演算を前記学習用視角従属型走行イメージに適用させることによって、少なくとも一つの学習用特徴マップを生成することができる。

【0086】

そして、前記第１学習装置は、前記学習用特徴マップを前記検出ネットワーク２２０に入力することによって、（ｉ）前記検出ネットワーク２２０の前記領域プロポーザルネットワーク２２１をもって、前記学習用特徴マップ上で少なくとも一つの学習用物体が位置するものと推定される一つ以上の領域に対応する学習用プロポーザルボックスを生成させ、（ｉｉ）前記検出ネットワーク２２０の前記プーリングレイヤ２２２をもって、前記学習用特徴マップ上で前記学習用プロポーザルボックスそれぞれに対応する一つ以上の領域それぞれにプーリング演算を適用して少なくとも一つの学習用物体特徴ベクトルを生成させ、（ｉｉｉ）前記検出ネットワーク２２０の前記物体検出ＦＣレイヤ２２３をもって、少なくとも一つの以前の学習済み物体検出パラメータを利用した物体検出ＦＣ演算を前記学習用物体特徴ベクトルに適用して、前記学習用プロポーザルボックスに対応する多数の学習用物体情報を生成させるプロセスを遂行することができる。

【0087】

また、前記第１学習装置は、前記学習用特徴マップを前記セグメンテーションネットワーク２３０に入力することによって、前記セグメンテーションネットワーク２３０の前記デコンボリューションレイヤ２３１をもって、少なくとも一つの以前の学習済みデコンボリューションパラメータを利用したデコンボリューション演算を前記学習用特徴マップに適用して少なくとも一つのデコンボリューション特徴マップを生成させるプロセス、及び前記デコンボリューション特徴マップを前記車線検出ＦＣレイヤ２３２に入力することによって、前記車線検出ＦＣレイヤ２３２をもって、少なくとも一つの以前の学習済み車線検出パラメータを利用した車線検出ＦＣ演算を前記デコンボリューション特徴マップに適用して、前記学習用視角従属型走行イメージ上に位置する一つ以上の学習用車線を検出させるプロセスを遂行することができる。

【0088】

また、前記第１学習装置は、前記学習用特徴マップを前記識別ネットワーク２４０に入力することによって、（ｉ）前記識別ネットワーク２４０の前記グローバルプーリングレイヤ２４１をもって、前記学習用特徴マップにグローバルプーリング演算を適用して少なくとも一つの学習用グローバル特徴ベクトルを生成させ、（ｉｉ）前記識別ネットワーク２４０の前記識別ＦＣレイヤ２４２をもって、少なくとも一つの以前の学習済み識別パラメータを利用した識別ＦＣ演算を前記学習用グローバル特徴ベクトルに適用して学習用走行環境情報を生成させるプロセスを遂行することができる。

【0089】

その後、前記第１学習装置は、（ｉ）前記多数の学習用物体情報とこれに対応する第１原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して、第１ロスレイヤから出力された一つ以上の第１ロスが最小化されるように前記物体検出ＦＣレイヤ２２３の前記以前の学習済み物体検出パラメータをアップデートするプロセス、（ｉｉ）前記学習用車線と、これに対応する第２原本正解とを参照して、第２ロスレイヤから出力された一つ以上の第２ロスが最小化されるように前記車線検出ＦＣレイヤ２３２の前記以前の学習済み車線検出パラメータ及び前記デコンボリューションレイヤ２３１の前記以前の学習済みデコンボリューションパラメータのうち少なくとも一つをアップデートするプロセス、（ｉｉｉ）前記学習用走行環境情報とこれに対応する第３原本正解とを参照して、第３ロスレイヤから出力された一つ以上の第３ロスが最小化されるように前記識別ＦＣレイヤの前記以前の学習済み識別パラメータをアップデートするプロセス、及び（ｉｖ）前記第１ロス、前記第２ロス、及び前記第３ロス、又はこれから加工した値を加重合算（ｗｅｉｇｈｔｅｄ ｓｕｍｍａｔｉｏｎ）して生成された少なくとも一つの第４ロスが最小化されるように前記コンボリューションネットワークの前記以前の学習済みコンボリューションパラメータをアップデートするプロセスを繰り返して、前記学習を遂行することができる。

【0090】

この場合、前記第４ロスは、前記第１ロスを利用したバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）により前記コンボリューションネットワーク２１０にバックワードされる少なくとも一つの第１加工値、前記第２ロスを利用したバックプロパゲーションにより前記コンボリューションネットワーク２１０にバックワードされる少なくとも一つの第２加工値、及び前記第３ロスを利用したバックプロパゲーションにより前記コンボリューションネットワーク２１０にバックワードされる少なくとも一つの第３加工値の加重合算値であり得る。

【0091】

また、前記循環ネットワークは、第２学習装置により学習された状態であり得、前記第２学習装置は、現在の時点ｔから以前の時点ｔ−ｋまでの学習用加速度情報と学習用ジャイロスコープ情報とをそれぞれの前記ＬＳＴＭに入力することによって、それぞれの前記ＬＳＴＭをもって、前記現在の時点ｔから前記以前の時点ｔ−ｋまでの前記学習用加速度情報と前記学習用ジャイロスコープ情報とにフォワード（ｆｏｒｗａｒｄ）演算を適用して、前記運転者の行動パターンに対応する学習用走行状態情報を出力させるプロセス、及び第４ロスレイヤをもって、前記学習用走行状態情報とこれに対応する第４原本正解とを参照して生成された一つ以上の第５ロスが最小化されるように前記ＬＳＴＭの一つ以上のパラメータを調整させるプロセスを遂行することができる。

【0092】

この場合、前記第１学習装置と前記第２学習装置とは、多数のシステムとして具現されるか、単一のシステムとして具現され得る。

【0093】

また、以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。

【0094】

以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。

【0095】

したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】