特許 6846070 自律走行ネットワークの検出プロセスを検証する説明可能な人工知能を利用して運転者に潜在的リスクの状況について警告することにより機能的安全性を提供する学習方法及び学習装置、そしてこれを用いたテスティング方法及びテスティング装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＰＲＯＶＩＤＩＮＧ ＦＵＮＣＴＩＯＮＡＬ ＳＡＦＥＴＹ ＢＹ ＷＡＲＮＩＮＧ ＤＲＩＶＥＲ ＡＢＯＵＴ ＰＯＴＥＮＴＩＡＬ ＤＡＮＧＥＲＯＵＳ ＳＩＴＵＡＴＩＯＮ ＢＹ ＵＳＩＮＧ ＥＸＰＬＡＩＮＡＢＬＥ ＡＩ ＷＨＩＣＨ ＶＥＲＩＦＩＥＳ ＤＥＴＥＣＴＩＯＮ ＰＲＯＣＥＳＳＥＳ ＯＦ ＡＵＴＯＮＯＭＯＵＳ ＤＲＩＶＩＮＧ ＮＥＴＷＯＲＫ， ＡＮＤ ＴＥＳＴＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＴＥＳＴＩＮＧ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6846070

(24)【登録日】2021年3月3日

(45)【発行日】2021年3月24日

(54)【発明の名称】自律走行ネットワークの検出プロセスを検証する説明可能な人工知能を利用して運転者に潜在的リスクの状況について警告することにより機能的安全性を提供する学習方法及び学習装置、そしてこれを用いたテスティング方法及びテスティング装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＰＲＯＶＩＤＩＮＧ ＦＵＮＣＴＩＯＮＡＬ ＳＡＦＥＴＹ ＢＹ ＷＡＲＮＩＮＧ ＤＲＩＶＥＲ ＡＢＯＵＴ ＰＯＴＥＮＴＩＡＬ ＤＡＮＧＥＲＯＵＳ ＳＩＴＵＡＴＩＯＮ ＢＹ ＵＳＩＮＧ ＥＸＰＬＡＩＮＡＢＬＥ ＡＩ ＷＨＩＣＨ ＶＥＲＩＦＩＥＳ ＤＥＴＥＣＴＩＯＮ ＰＲＯＣＥＳＳＥＳ ＯＦ ＡＵＴＯＮＯＭＯＵＳ ＤＲＩＶＩＮＧ ＮＥＴＷＯＲＫ， ＡＮＤ ＴＥＳＴＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＴＥＳＴＩＮＧ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝

(51)【国際特許分類】

   G06N 3/04 20060101AFI20210315BHJP

   G06T 7/00 20170101ALI20210315BHJP

【ＦＩ】

   G06N3/04 154

   G06T7/00 350C

   G06T7/00 650Z

【請求項の数】22

【全頁数】25

(21)【出願番号】特願2020-5612(P2020-5612)

(22)【出願日】2020年1月17日

(65)【公開番号】特開2020-126618(P2020-126618A)

(43)【公開日】2020年8月20日

【審査請求日】2020年1月17日

(31)【優先権主張番号】62/799186

(32)【優先日】2019年1月31日

(33)【優先権主張国】US

(31)【優先権主張番号】16/724428

(32)【優先日】2019年12月23日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】517038176

【氏名又は名称】株式会社ストラドビジョン

(74)【代理人】

【識別番号】110000039

【氏名又は名称】特許業務法人アイ・ピー・ウィン

(74)【復代理人】

【識別番号】100120628

【弁理士】

【氏名又は名称】岩田 慎一

(72)【発明者】

【氏名】金桂賢

(72)【発明者】

【氏名】金鎔重

(72)【発明者】

【氏名】金鶴京

(72)【発明者】

【氏名】南雲鉉

(72)【発明者】

【氏名】夫碩▲くん▼

(72)【発明者】

【氏名】成明哲

(72)【発明者】

【氏名】申東洙

(72)【発明者】

【氏名】呂東勳

(72)【発明者】

【氏名】柳宇宙

(72)【発明者】

【氏名】李明春

(72)【発明者】

【氏名】李炯樹

(72)【発明者】

【氏名】張泰雄

(72)【発明者】

【氏名】鄭景中

(72)【発明者】

【氏名】諸泓模

(72)【発明者】

【氏名】趙浩辰

【審査官】 久保 光宏

(56)【参考文献】

【文献】 国際公開第２０１７／１６３５３８（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｎ３／００−９９／００

Ｇ０６Ｔ７／００

ＣＳＤＢ（日本国特許庁）

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

自律走行用ニューラルネットワークの検出プロセスを検証する、説明可能な人工知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ，ＡＩ）を利用して潜在的危険状況について運転者に警告することで機能的安全性を提供する学習方法において、
（ａ）少なくとも一つの検証用トレーニングイメージが取得されると、検証用ニューラルネットワークを学習するのに利用される検証用学習装置が、属性抽出モジュールをもって、強度、コントラスト、ノイズ、彩度、色、グラディエント、明度、及びカメラ角度のうちの少なくとも一部を含む前記検証用トレーニングイメージの特性の中の少なくとも一部に対する属性情報を抽出するために、少なくとも一つの抽出演算を前記検証用トレーニングイメージに適用することにより、前記検証用トレーニングイメージに対応するクオリティベクトルを生成するようにする段階；
（ｂ）前記検証用学習装置が、前記検証用ニューラルネットワークをもって、前記クオリティベクトルに一つ以上の第１ニューラルネットワーク演算を適用することにより、前記検証用トレーニングイメージを利用して、自律走行を遂行することが安全である確率に対する予測された安全性情報を生成するようにする段階；及び
（ｃ）前記検証用学習装置が、ロスモジュールをもって、前記予測安全性情報と、前記検証用トレーニングイメージに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）安全性情報とを参照にしてロスを生成し、前記ロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記検証用ニューラルネットワークに含まれたパラメータのうち少なくとも一部を学習させる段階；
を含むことを特徴とする方法。

【請求項2】

前記（ｂ）段階で、
前記検証用学習装置が、前記検証用ニューラルネットワークをもって、（ｉ）前記クオリティベクトルに前記第１ニューラルネットワーク演算のうちの少なくとも一部を適用することにより、リグレッション（ｒｅｇｒｅｓｓｉｏｎ）プロセスを遂行して、前記検証用トレーニングイメージに含まれた物体の数ｒ２に対する、前記検証用トレーニングイメージに含まれた前記物体のうち、前記自律走行用のニューラルネットワークによって正確に検出されると予測される特定物体の数ｒ１の割合に対応する予測された検出率を生成するようにし、（ｉｉ）前記クオリティベクトルに前記第１ニューラルネットワーク演算のうちの少なくとも一部を適用することにより、分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）プロセスを遂行して、前記検証用トレーニングイメージを利用して、前記自律走行を遂行することが安全であるかを示す予測されたバイナリ（ｂｉｎａｒｙ）情報を生成するようにすることで、前記予測された検出率と前記予測されたバイナリ情報とを含む前記予測された安全性情報を生成するようにすることを特徴とする請求項１に記載の方法。

【請求項3】

前記（ｃ）段階以前に、
前記検証用の学習装置が、自律走行システムに含まれた前記自律走行用のニューラルネットワークをもって、前記検証用トレーニングイメージに含まれた物体に関する情報を予測するために、前記検証用トレーニングイメージに一つ以上の第２ニューラルネットワーク演算を適用して予測された物体の検出結果を生成するようにし、前記自律走行用ニューラルネットワークと連動したＧＴ生成モジュールをもって、前記検証用トレーニングイメージに含まれた前記物体に関する正解情報を含むＧＴ物体検出結果と前記予測された物体検出結果とを参照にしてＧＴ検出率を計算するようにし、前記ＧＴ検出率が予め設定された閾値より大きいか否かに関する情報を参照にしてＧＴバイナリ情報を生成するようにすることで、前記ＧＴ検出率と前記ＧＴバイナリ情報とを含む前記ＧＴ安全性情報を生成するようにすることを特徴とする請求項１に記載の方法。

【請求項4】

前記（ａ）段階で、
前記検証用学習装置が、前記属性抽出モジュールをもって、（ｉ）前記検証用トレーニングイメージを複数の領域に分け、各領域に前記抽出演算を適用して前記検証用トレーニングイメージの各領域に関する各ローカル属性情報を生成するプロセス、及び（ｉｉ）前記検証用トレーニングイメージの全体に前記抽出演算を適用して、前記検証用トレーニングイメージの全体に関するグローバル属性情報を生成するプロセスのうちの少なくとも一つを遂行させることにより、前記ローカル属性情報及び前記グローバル属性情報のうちの少なくとも一つを含む前記クオリティベクトルを生成させることを特徴とする請求項１に記載の方法。

【請求項5】

自律走行用ニューラルネットワークの検出プロセスを検証する、説明可能な人工知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ，ＡＩ）を用いて潜在的危険状況を運転者に警告することで機能的安全性を提供するテスティング方法において、
（ａ）検証用ニューラルネットワークを学習するのに用いられる検証用学習装置が、（１）少なくとも一つの検証用トレーニングイメージが取得されると、属性抽出モジュールをもって、強度、コントラスト、ノイズ、彩度、色、グラディエント、明度、及びカメラ角度のうちの少なくとも一部を含む前記検証用トレーニングイメージの特性の中の少なくとも一部に対する学習用属性情報を抽出するために、少なくとも一つの抽出演算を前記検証用トレーニングイメージに適用することにより、前記検証用トレーニングイメージに対応する学習用クオリティベクトルを生成するようにし、（２）前記検証用のニューラルネットワークをもって、前記学習用クオリティベクトルに一つ以上の第１ニューラルネットワーク演算を適用することにより、前記検証用トレーニングイメージを利用して自律走行を遂行するのが安全である確率に対する学習用予測された安全性情報を生成するようにし、（３）ロスモジュールをもって、前記学習用予測された安全性情報と、前記検証用トレーニングイメージに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）安全性情報とを参照にしてロスを生成し、前記ロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記検証用ニューラルネットワークに含まれたパラメータのうちの少なくとも一部を学習するようにした状態で、少なくとも一つの検証用テストイメージが取得されると、検証用テスティング装置が、前記属性抽出モジュールをもって、強度、コントラスト、ノイズ、彩度、色、グラディエント、明度、及びカメラ角度のうちの少なくとも一部を含む前記検証用テストイメージの特性の中の少なくとも一部に対するテスト用属性情報を抽出するために、前記抽出演算を前記検証用テストイメージに適用することにより、前記検証用テストイメージに対応するテスト用クオリティベクトルを生成するようにする段階；
（ｂ）前記検証用テスティング装置が、前記検証用ニューラルネットワークをもって、前記テスト用クオリティベクトルに前記第１ニューラルネットワーク演算を適用することにより、前記検証用テストイメージを利用して、自律走行を遂行するのが安全である確率に対するテスト用予測された安全性情報を生成するようにする段階；及び
（ｃ）前記検証用テスティング装置が、アラームモジュールをもって、前記テスト用予測された安全性情報を参照にして、前記自律走行中に前記検証用テストイメージを利用するのが安全だと予測される場合、運転者に第１アラームを伝送するようにし、前記自律走行中に前記検証用テストイメージを利用することが安全ではないと予測される場合、前記運転者に第２アラームを伝送するようにする段階；
を含むことを特徴とする方法。

【請求項6】

前記（ｂ）段階で、
前記検証用テスティング装置が、前記検証用ニューラルネットワークをもって、（ｉ）前記テスト用クオリティベクトルに前記第１ニューラルネットワーク演算のうちの少なくとも一部を適用することにより、リグレッション（ｒｅｇｒｅｓｓｉｏｎ）プロセスを遂行して、前記検証用テストイメージに含まれたテスト用物体の数ｒ２に対する、前記検証用テストイメージに含まれた前記テスト用物体のうちの前記自律走行用ニューラルネットワークによって正確に検出されると予測されるテスト用特定物体の数ｒ１の割合に対応するテスト用予測された検出率を生成するようにし、（ｉｉ）前記テスト用クオリティベクトルに前記第１ニューラルネットワーク演算のうちの少なくとも一部を適用することで分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）プロセスを遂行し、前記検証用テストイメージを利用して、前記自律走行を遂行することが安全であるかを示すテスト用予測されたバイナリ（ｂｉｎａｒｙ）情報を生成するようにすることで、前記テスト用予測された検出率と前記テスト用予測されたバイナリ情報とを含む前記テスト用予測された安全性情報を生成するようにすることを特徴とする請求項５に記載の方法。

【請求項7】

前記検証用テスティング装置は、前記アラームモジュールをもって、前記テスト用予測されたバイナリ情報が前記自律走行中に前記検証用テストイメージを利用することが安全であると示す場合、前記運転者に前記第１アラームを伝送するようにし、前記第１アラームは、前記自律走行が安全に遂行されているということを示す第１−１アラームと、前記テスト用予測された検出率に関する情報を含む第１−２アラームとを含むことを特徴とする請求項６に記載の方法。

【請求項8】

前記検証用テスティング装置は、前記アラームモジュールをもって、前記テスト用予測されたバイナリ情報が前記自律走行中に前記検証用テストイメージを利用することが安全ではないと示された場合、前記運転者に前記第２アラームを転送するようにし、前記第２アラームは、前記自律走行が安全に遂行されていないということを示す第２−１アラームと、前記検証用テストイメージのどの要素が前記自律走行を不安定にする原因になるかという情報を含む予測された寄与情報を含む第２−２アラームとを含むことを特徴とする請求項６に記載の方法。

【請求項9】

前記検証用テスティング装置は、前記テスト用予測されたバイナリ情報が前記自律走行中に前記検証用テストイメージを利用することが安全ではないと示された場合、寄与予測モジュールをもって、前記検証用ニューラルネットワークに含まれた各コンボリューションニューロンにより生成された、前記テスト用クオリティベクトルの成分に対応するウェイト（ｗｅｉｇｈｔ）演算出力値に関する情報を用いて前記テスト用予測されたバイナリ情報に少なくとも一つのリバース（ｒｅｖｅｒｓｅ）分析演算を適用することで、（ｉ）前記テスト用クオリティベクトルの前記成分のうち、前記テスト用予測されたバイナリ情報に対する特定寄与点数が予め設定された閾値より高い少なくとも一つの特定成分を選択し、（ｉｉ）前記特定成分を参照にして、前記検証用テストイメージのどの属性が前記自律走行を不安定にする原因になるかという情報を含む前記予測された寄与情報生成するようにすることを特徴とする請求項８に記載の方法。

【請求項10】

前記検証用テスティング装置は、前記寄与予測モジュールをもって、前記テスト用予測されたバイナリ情報を生成するのに用いられた最終ノード（ｎｏｄｅ）値に前記リバース分析演算を逆方向に適用することにより、（ｉ）前記テスト用クオリティベクトルの前記成分のうちの少なくとも一部に対する一つ以上の寄与点数を生成するようにし、（ｉｉ）前記予め設定された閾値より大きい前記特定寄与点数を有する、前記テスト用クオリティベクトルの前記特定成分を選択するようにし、（ｉｉｉ）前記特定成分を参照にして、前記予測された寄与情報を生成するようにし、前記リバース分析演算は、予め設定された基準を満足する特定第Ｎウェイト演算出力値を生成するのに利用された第（Ｎ−１）ウェイト演算出力値のうち、前記予め設定された基準を満足する特定第（Ｎ−１）ウェイト演算出力値を繰り返して選択するのに利用されることを特徴とする請求項９に記載の方法。

【請求項11】

前記（ａ）段階で、
前記検証用テスティング装置が、前記属性抽出モジュールをもって、（ｉ）前記検証用テストイメージを複数の領域に分け、各領域に前記抽出演算を適用して前記検証用テストイメージの各領域に関する各テスト用ローカル属性情報を生成するプロセス、及び（ｉｉ）前記検証用テストイメージの全体に前記抽出演算を適用して、前記検証用テストイメージの全体に関するテスト用グローバル属性情報を生成するプロセスのうちの少なくとも一つを遂行させることにより、前記テスト用ローカル属性情報及び前記テスト用グローバル属性情報のうちの少なくとも一つを含む前記テスト用クオリティベクトルを生成させることを特徴とする請求項５に記載の方法。

【請求項12】

自律走行用ニューラルネットワークの検出プロセスを検証する、説明可能な人工知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ，ＡＩ）を用いて潜在的危険状況を運転者に警告することで機能的安全性を提供する学習装置において、
各インストラクションを格納する一つ以上のメモリ；及び
（Ｉ）少なくとも一つの検証用トレーニングイメージが取得されると、属性抽出モジュールをもって、強度、コントラスト、ノイズ、彩度、色、グラディエント、明度、及びカメラ角度のうちの少なくとも一部を含む前記検証用トレーニングイメージの特性の中の少なくとも一部に対する属性情報を抽出するために、少なくとも一つの抽出演算を前記検証用トレーニングイメージに適用することにより、前記検証用トレーニングイメージに対応するクオリティベクトルを生成するようにするプロセス、（ＩＩ）前記検証用ニューラルネットワークをもって、前記クオリティベクトルに一つ以上の第１ニューラルネットワーク演算を適用することにより、前記検証用トレーニングイメージを利用して自律走行を遂行するのが安全である確率に対する予測された安全性情報を生成するようにするプロセス、及び（ＩＩＩ）ロスモジュールをもって、前記予測安全性情報と、前記検証用トレーニングイメージに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）安全性情報とを参照にしてロスを生成し、前記ロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記検証用ニューラルネットワークに含まれたパラメータのうち少なくとも一部を学習するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とする学習装置。

【請求項13】

前記（ＩＩ）プロセスで、
前記プロセッサが、前記検証用ニューラルネットワークをもって、（ｉ）前記クオリティベクトルに前記第１ニューラルネットワーク演算のうちの少なくとも一部を適用することにより、リグレッション（ｒｅｇｒｅｓｓｉｏｎ）プロセスを遂行して、前記検証用トレーニングイメージに含まれた物体の数ｒ２に対する、前記検証用トレーニングイメージに含まれた前記物体のうち、前記自律走行用のニューラルネットワークによって正確に検出されると予測される特定物体の数ｒ１の割合に対応する予測された検出率を生成するようにし、（ｉｉ）前記クオリティベクトルに前記第１ニューラルネットワーク演算のうちの少なくとも一部を適用することにより、分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）プロセスを遂行して、前記検証用トレーニングイメージを利用して、前記自律走行を遂行することが安全であるかを示す予測されたバイナリ（ｂｉｎａｒｙ）情報を生成するようにすることで、前記予測された検出率と前記予測されたバイナリ情報とを含む前記予測された安全性情報を生成するようにすることを特徴とする請求項１２に記載の学習方法。

【請求項14】

前記（ＩＩＩ）プロセス以前に、
前記プロセッサが、自律走行システムに含まれた前記自律走行用のニューラルネットワークをもって、前記検証用トレーニングイメージに含まれた物体に関する情報を予測するために、前記検証用トレーニングイメージに一つ以上の第２ニューラルネットワーク演算を適用して予測された物体の検出結果を生成するようにし、前記自律走行用ニューラルネットワークと連動したＧＴ生成モジュールをもって、前記検証用トレーニングイメージに含まれた前記物体に関する正解情報を含むＧＴ物体検出結果と前記予測された物体検出結果とを参照にしてＧＴ検出率を計算するようにし、前記ＧＴ検出率が予め設定された閾値より大きいか否かに関する情報を参照にしてＧＴバイナリ情報を生成するようにすることで、前記ＧＴ検出率と前記ＧＴバイナリ情報とを含む前記ＧＴ安全性情報を生成するようにすることを特徴とする請求項１２に記載の学習装置。

【請求項15】

前記（Ｉ）プロセスで、
前記プロセッサが、前記属性抽出モジュールをもって、（ｉ）前記検証用トレーニングイメージを複数の領域に分け、各領域に前記抽出演算を適用して前記検証用トレーニングイメージの各領域に関する各ローカル属性情報を生成するプロセス、及び（ｉｉ）前記検証用トレーニングイメージの全体に前記抽出演算を適用して、前記検証用トレーニングイメージの全体に関するグローバル属性情報を生成するプロセスのうちの少なくとも一つを遂行させることにより、前記ローカル属性情報及び前記グローバル属性情報のうちの少なくとも一つを含む前記クオリティベクトルを生成させることを特徴とする請求項１２に記載の学習装置。

【請求項16】

自律走行用ニューラルネットワークの検出プロセスを検証する、説明可能な人工知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ，ＡＩ）を用いて潜在的危険状況を運転者に警告することで機能的安全性を提供するテスティング装置において、
各インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）検証用ニューラルネットワークを学習するのに用いられる検証用学習装置が、（１）少なくとも一つの検証用トレーニングイメージが取得されると、属性抽出モジュールをもって、強度、コントラスト、ノイズ、彩度、色、グラディエント、明度、及びカメラ角度のうちの少なくとも一部を含む前記検証用トレーニングイメージの特性の中の少なくとも一部に対する学習用属性情報を抽出するために、少なくとも一つの抽出演算を前記検証用トレーニングイメージに適用することにより、前記検証用トレーニングイメージに対応する学習用クオリティベクトルを生成するようにし、（２）前記検証用のニューラルネットワークをもって、前記学習用クオリティベクトルに一つ以上の第１ニューラルネットワーク演算を適用することにより、前記検証用トレーニングイメージを利用して自律走行を遂行するのが安全である確率に対する学習用予測された安全性情報を生成するようにし、（３）ロスモジュールをもって、前記学習用予測された安全性情報と、前記検証用トレーニングイメージに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）安全性情報とを参照にしてロスを生成し、前記ロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記検証用ニューラルネットワークに含まれたパラメータのうちの少なくとも一部を学習するようにした状態で、少なくとも一つの検証用テストイメージが取得されると、前記属性抽出モジュールをもって、強度、コントラスト、ノイズ、彩度、色、グラディエント、明度、及びカメラ角度のうちの少なくとも一部を含む前記検証用テストイメージの特性の中の少なくとも一部に対するテスト用属性情報を抽出するために、前記抽出演算を前記検証用テストイメージに適用することにより、前記検証用テストイメージに対応するテスト用クオリティベクトルを生成するようにするプロセス、（ＩＩ）前記検証用ニューラルネットワークをもって、前記テスト用クオリティベクトルに前記第１ニューラルネットワーク演算を適用することにより、前記検証用テストイメージを利用して、自律走行を遂行するのが安全である確率に対するテスト用予測された安全性情報を生成するようにするプロセス、及び（ＩＩＩ）アラームモジュールをもって、前記テスト用予測された安全性情報を参照にして、前記自律走行中に前記検証用テストイメージを利用するのが安全だと予測される場合、運転者に第１アラームを伝送するようにし、前記自律走行中に前記検証用テストイメージを利用することが安全ではないと予測される場合、前記運転者に第２アラームを伝送するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするテスティング装置。

【請求項17】

前記（ＩＩ）プロセスで、
前記プロセッサが、前記検証用ニューラルネットワークをもって、（ｉ）前記テスト用クオリティベクトルに前記第１ニューラルネットワーク演算のうちの少なくとも一部を適用することにより、リグレッション（ｒｅｇｒｅｓｓｉｏｎ）プロセスを遂行して、前記検証用テストイメージに含まれたテスト用物体の数ｒ２に対する、前記検証用テストイメージに含まれた前記テスト用物体のうち、前記自律走行用のニューラルネットワークによって正確に検出されると予測されるテスト用特定物体の数ｒ１の割合に対応するテスト用予測された検出率を生成するようにし、（ｉｉ）前記テスト用クオリティベクトルに前記第１ニューラルネットワーク演算のうちの少なくとも一部を適用することにより、分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）プロセスを遂行して、前記検証用テストイメージを利用して、前記自律走行を遂行することが安全であるかを示すテスト用予測されたバイナリ（ｂｉｎａｒｙ）情報を生成するようにすることで、前記テスト用予測された検出率と前記予測されたバイナリ情報とを含む前記テスト用予測された安全性情報を生成するようにすることを特徴とする請求項１６に記載のテスティング装置。

【請求項18】

前記プロセッサが、前記アラームモジュールをもって、前記テスト用予測されたバイナリ情報が前記自律走行中に前記検証用テストイメージを利用することが安全であると示す場合、前記運転者に前記第１アラームを伝送するようにし、前記第１アラームは、前記自律走行が安全に遂行されているということを示す第１−１アラームと、前記テスト用予測された検出率に関する情報を含む第１−２アラームとを含むことを特徴とする請求項１７に記載のテスティング装置。

【請求項19】

前記プロセッサが、前記アラームモジュールをもって、前記テスト用予測されたバイナリ情報が前記自律走行中に前記検証用テストイメージを利用することが安全ではないと示した場合、前記運転者に前記第２アラームを転送するようにし、前記第２アラームは、前記自律走行が安全に遂行されていないということを示す第２−１アラームと、前記検証用テストイメージのどの要素が前記自律走行を不安定にする原因になるかという情報を含む予測された寄与情報を含む第２−２アラームとを含むことを特徴とする請求項１７に記載のテスティング装置。

【請求項20】

前記プロセッサが、前記テスト用予測されたバイナリ情報が前記自律走行中に前記検証用テストイメージを利用することが安全ではないと示された場合、寄与予測モジュールをもって、前記検証用ニューラルネットワークに含まれた各コンボリューションニューロンにより生成された、前記テスト用クオリティベクトルの成分に対応するウェイト（ｗｅｉｇｈｔ）演算出力値に関する情報を用いて前記テスト用予測されたバイナリ情報に少なくとも一つのリバース（ｒｅｖｅｒｓｅ）分析演算を適用することで、（ｉ）前記テスト用クオリティベクトルの前記成分のうち、前記テスト用予測されたバイナリ情報に対する特定寄与点数が予め設定された閾値より高い少なくとも一つの特定成分を選択し、（ｉｉ）前記特定成分を参照にして、前記検証用テストイメージのどの属性が前記自律走行を不安定にする原因になるかという情報を含む前記予測された寄与情報生成するようにすることを特徴とする請求項１９に記載のテスティング装置。

【請求項21】

前記プロセッサが、前記寄与予測モジュールをもって、前記テスト用予測されたバイナリ情報を生成するのに用いられた最終ノード（ｎｏｄｅ）値に前記リバース分析演算を逆方向に適用することにより、（ｉ）前記テスト用クオリティベクトルの前記成分のうちの少なくとも一部に対する一つ以上の寄与点数を生成するようにし、（ｉｉ）前記予め設定された閾値より大きい前記特定寄与点数を有する、前記テスト用クオリティベクトルの前記特定成分を選択するようにし、（ｉｉｉ）前記特定成分を参照にして、前記予測された寄与情報を生成するようにし、前記リバース分析演算は、予め設定された基準を満足する特定第Ｎウェイト演算出力値を生成するのに利用された第（Ｎ−１）ウェイト演算出力値のうち、前記予め設定された基準を満足する特定第（Ｎ−１）ウェイト演算出力値を繰り返して選択するのに利用されることを特徴とする請求項２０に記載のテスティング装置。

【請求項22】

前記（Ｉ）プロセスは、
前記プロセッサが、前記属性抽出モジュールをもって、（ｉ）前記検証用テストイメージを複数の領域に分け、各領域に前記抽出演算を適用して前記検証用テストイメージの各領域に関する各テスト用ローカル属性情報を生成するプロセス、及び（ｉｉ）前記検証用テストイメージの全体に前記抽出演算を適用して、前記検証用テストイメージの全体に関するテスト用グローバル属性情報を生成するプロセスのうちの少なくとも一つを遂行させることにより、前記テスト用ローカル属性情報及び前記テスト用グローバル属性情報のうちの少なくとも一つを含む前記テスト用クオリティベクトルを生成させることを特徴とする請求項１６に記載のテスティング装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自律走行車両に利用される学習方法及び学習装置として、より詳しくは、自律走行車両用ニューラルネットワークの検出プロセスを検証する説明可能な人工知能を利用して、運転者に潜在的リスクの状況を警告することで機能的安全性を提供する学習方法及び学習装置、そしてこれを用いたテスティング方法及びテスティング装置に関する。

【背景技術】

【0002】

ディープ・コンボリューション・ニューラル・ネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮｓ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮｓは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげだ。このようなＣＮＮは、２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。それから、ＣＮＮは、機械学習分野で非常に有用なツールとなった。

【0003】

このようなＣＮＮは、自律走行分野においても広く利用されている。ＣＮＮは、自律走行車両で利用される際、主にカメラからイメージを送信した後、イメージを処理して前記イメージ上の物体を検出し、セマンティック（ｓｅｍａｎｔｉｃ）セグメンテーションを遂行して余裕空間を見つける。

【0004】

このように、自律走行分野でＣＮＮを使用する際、前記カメラから取得されるイメージの信頼性が最も重要である。ＣＮＮがどれだけ效率的な構造で、正確な結果を導き出すように設計されていたとしても、イメージがＣＮＮに正しく入力されないと、安全な自律走行を遂行することができない。

【0005】

したがって、ＣＮＮに入力されるイメージの信頼性をリアルタイムに把握して、自律走行の安全性を把握する必要があるが、このような技術の研究はあまりなされていないのが現状である。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、前述した問題点を解決することを目的とする。

【0007】

本発明は、イメージの属性情報を利用してユーザに知らせることにより、少なくとも一つのイメージが物体検出に適しているかを定量的に判断する学習方法を提供して安全な自律走行が行われ得るようにすることを他の目的とする。

【課題を解決するための手段】

【0008】

前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は次の通りである。

【0009】

本発明の一態様によれば、自律走行用ニューラルネットワークの検出プロセスを検証する、説明可能な人工知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ，ＡＩ）を利用して潜在的危険状況について運転者に警告することで機能的安全性を提供する学習方法において、（ａ）少なくとも一つの検証用トレーニングイメージが取得されると、検証用ニューラルネットワークを学習するのに利用される検証用学習装置が、属性抽出モジュールをもって、強度、コントラスト、ノイズ、彩度、色、グラディエント、明度、及びカメラ角度のうちの少なくとも一部を含む前記検証用トレーニングイメージの特性の中の少なくとも一部に対する属性情報を抽出するために、少なくとも一つの抽出演算を前記検証用トレーニングイメージに適用することにより、前記検証用トレーニングイメージに対応するクオリティベクトルを生成するようにする段階；（ｂ）前記検証用学習装置が、前記検証用ニューラルネットワークをもって、前記クオリティベクトルに一つ以上の第１ニューラルネットワーク演算を適用することにより、前記検証用トレーニングイメージを利用して、自律走行を遂行することが安全である確率に対する予測された安全性情報を生成するようにする段階；及び（ｃ）前記検証用学習装置が、ロスモジュールをもって、前記予測安全性情報と、前記検証用トレーニングイメージに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）安全性情報とを参照にしてロスを生成し、前記ロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記検証用ニューラルネットワークに含まれたパラメータのうち少なくとも一部を学習させる段階；を含むことを特徴とする方法が開示される。

【0010】

一例として、前記（ｂ）段階で、前記検証用学習装置が、前記検証用ニューラルネットワークをもって、（ｉ）前記クオリティベクトルに前記第１ニューラルネットワーク演算のうちの少なくとも一部を適用することにより、リグレッション（ｒｅｇｒｅｓｓｉｏｎ）プロセスを遂行して、前記検証用トレーニングイメージに含まれた物体の数ｒ２に対する、前記検証用トレーニングイメージに含まれた前記物体のうち、前記自律走行用のニューラルネットワークによって正確に検出されると予測される特定物体の数ｒ１の割合に対応する予測された検出率を生成するようにし、（ｉｉ）前記クオリティベクトルに前記第１ニューラルネットワーク演算のうちの少なくとも一部を適用することにより、分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）プロセスを遂行して、前記検証用トレーニングイメージを利用して、前記自律走行を遂行することが安全であるかを示す予測されたバイナリ（ｂｉｎａｒｙ）情報を生成するようにすることで、前記予測された検出率と前記予測されたバイナリ情報とを含む前記予測された安全性情報を生成するようにすることを特徴とする。

【0011】

一例として、前記（ｃ）段階以前に、前記検証用の学習装置が、自律走行システムに含まれた前記自律走行用のニューラルネットワークをもって、前記検証用トレーニングイメージに含まれた物体に関する情報を予測するために、前記検証用トレーニングイメージに一つ以上の第２ニューラルネットワーク演算を適用して予測された物体の検出結果を生成するようにし、前記自律走行用ニューラルネットワークと連動したＧＴ生成モジュールをもって、前記検証用トレーニングイメージに含まれた前記物体に関する正解情報を含むＧＴ物体検出結果と前記予測された物体検出結果とを参照にしてＧＴ検出率を計算するようにし、前記ＧＴ検出率が予め設定された閾値より大きいか否かに関する情報を参照にしてＧＴバイナリ情報を生成するようにすることで、前記ＧＴ検出率と前記ＧＴバイナリ情報とを含む前記ＧＴ安全性情報を生成するようにすることを特徴とする。

【0012】

一例として、前記（ａ）段階で、前記検証用学習装置が、前記属性抽出モジュールをもって、（ｉ）前記検証用トレーニングイメージを複数の領域に分け、各領域に前記抽出演算を適用して前記検証用トレーニングイメージの各領域に関する各ローカル属性情報を生成するプロセス、及び（ｉｉ）前記検証用トレーニングイメージの全体に前記抽出演算を適用して、前記検証用トレーニングイメージの全体に関するグローバル属性情報を生成するプロセスのうちの少なくとも一つを遂行させることにより、前記ローカル属性情報及び前記グローバル属性情報のうちの少なくとも一つを含む前記クオリティベクトルを生成させることを特徴とする。

【0013】

本発明の他の態様によれば、自律走行用ニューラルネットワークの検出プロセスを検証する、説明可能な人工知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ，ＡＩ）を用いて潜在的危険状況を運転者に警告することで機能的安全性を提供するテスティング方法において、（ａ）検証用ニューラルネットワークを学習するのに用いられる検証用学習装置が、（１）少なくとも一つの検証用トレーニングイメージが取得されると、属性抽出モジュールをもって、強度、コントラスト、ノイズ、彩度、色、グラディエント、明度、及びカメラ角度のうちの少なくとも一部を含む前記検証用トレーニングイメージの特性の中の少なくとも一部に対する学習用属性情報を抽出するために、少なくとも一つの抽出演算を前記検証用トレーニングイメージに適用することにより、前記検証用トレーニングイメージに対応する学習用クオリティベクトルを生成するようにし、（２）前記検証用のニューラルネットワークをもって、前記学習用クオリティベクトルに一つ以上の第１ニューラルネットワーク演算を適用することにより、前記検証用トレーニングイメージを利用して自律走行を遂行するのが安全である確率に対する学習用予測された安全性情報を生成するようにし、（３）ロスモジュールをもって、前記学習用予測された安全性情報と、前記検証用トレーニングイメージに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）安全性情報とを参照にしてロスを生成し、前記ロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記検証用ニューラルネットワークに含まれたパラメータのうちの少なくとも一部を学習するようにした状態で、少なくとも一つの検証用テストイメージが取得されると、検証用テスティング装置が、前記属性抽出モジュールをもって、強度、コントラスト、ノイズ、彩度、色、グラディエント、明度、及びカメラ角度のうちの少なくとも一部を含む前記検証用テストイメージの特性の中の少なくとも一部に対するテスト用属性情報を抽出するために、前記抽出演算を前記検証用テストイメージに適用することにより、前記検証用テストイメージに対応するテスト用クオリティベクトルを生成するようにする段階；（ｂ）前記検証用テスティング装置が、前記検証用ニューラルネットワークをもって、前記テスト用クオリティベクトルに前記第１ニューラルネットワーク演算を適用することにより、前記検証用テストイメージを利用して、自律走行を遂行するのが安全である確率に対するテスト用予測された安全性情報を生成するようにする段階；及び（ｃ）前記検証用テスティング装置が、アラームモジュールをもって、前記テスト用予測された安全性情報を参照にして、前記自律走行中に前記検証用テストイメージを利用するのが安全だと予測される場合、運転者に第１アラームを伝送するようにし、前記自律走行中に前記検証用テストイメージを利用することが安全ではないと予測される場合、前記運転者に第２アラームを伝送するようにする段階；を含むことを特徴とする方法が開示される。

【0014】

一例として、前記（ｂ）段階で、前記検証用テスティング装置が、前記検証用ニューラルネットワークをもって、（ｉ）前記テスト用クオリティベクトルに前記第１ニューラルネットワーク演算のうちの少なくとも一部を適用することにより、リグレッション（ｒｅｇｒｅｓｓｉｏｎ）プロセスを遂行して、前記検証用テストイメージに含まれたテスト用物体の数ｒ２に対する、前記検証用テストイメージに含まれた前記テスト用物体のうちの前記自律走行用ニューラルネットワークによって正確に検出されると予測されるテスト用特定物体の数ｒ１の割合に対応するテスト用予測された検出率を生成するようにし、（ｉｉ）前記テスト用クオリティベクトルに前記第１ニューラルネットワーク演算のうちの少なくとも一部を適用することで分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）プロセスを遂行し、前記検証用テストイメージを利用して、前記自律走行を遂行することが安全であるかを示すテスト用予測されたバイナリ（ｂｉｎａｒｙ）情報を生成するようにすることで、前記テスト用予測された検出率と前記テスト用予測されたバイナリ情報とを含む前記テスト用予測された安全性情報を生成するようにすることを特徴とする。

【0015】

一例として、前記検証用テスティング装置は、前記アラームモジュールをもって、前記テスト用予測されたバイナリ情報が前記自律走行中に前記検証用テストイメージを利用することが安全であると示す場合、前記運転者に前記第１アラームを伝送するようにし、前記第１アラームは、前記自律走行が安全に遂行されているということを示す第１−１アラームと、前記テスト用予測された検出率に関する情報を含む第１−２アラームとを含むことを特徴とする。

【0016】

一例として、前記検証用テスティング装置は、前記アラームモジュールをもって、前記テスト用予測されたバイナリ情報が前記自律走行中に前記検証用テストイメージを利用することが安全ではないと示された場合、前記運転者に前記第２アラームを転送するようにし、前記第２アラームは、前記自律走行が安全に遂行されていないということを示す第２−１アラームと、前記検証用テストイメージのどの要素が前記自律走行を不安定にする原因になるかという情報を含む予測された寄与情報を含む第２−２アラームとを含むことを特徴とする。

【0017】

一例として、前記検証用テスティング装置は、前記テスト用予測されたバイナリ情報が前記自律走行中に前記検証用テストイメージを利用することが安全ではないと示された場合、寄与予測モジュールをもって、前記検証用ニューラルネットワークに含まれた各コンボリューションニューロンにより生成された、前記テスト用クオリティベクトルの成分に対応するウェイト（ｗｅｉｇｈｔ）演算出力値に関する情報を用いて前記テスト用予測されたバイナリ情報に少なくとも一つのリバース（ｒｅｖｅｒｓｅ）分析演算を適用することで、（ｉ）前記テスト用クオリティベクトルの前記成分のうち、前記テスト用予測されたバイナリ情報に対する特定寄与点数が予め設定された閾値より高い少なくとも一つの特定成分を選択し、（ｉｉ）前記特定成分を参照にして、前記検証用テストイメージのどの属性が前記自律走行を不安定にする原因になるかという情報を含む前記予測された寄与情報生成するようにすることを特徴とする。

【0018】

一例として、前記検証用テスティング装置は、前記寄与予測モジュールをもって、前記テスト用予測されたバイナリ情報を生成するのに用いられた最終ノード（ｎｏｄｅ）値に前記リバース分析演算を逆方向に適用することにより、（ｉ）前記テスト用クオリティベクトルの前記成分のうちの少なくとも一部に対する一つ以上の寄与点数を生成するようにし、（ｉｉ）前記予め設定された閾値より大きい前記特定寄与点数を有する、前記テスト用クオリティベクトルの前記特定成分を選択するようにし、（ｉｉｉ）前記特定成分を参照にして、前記予測された寄与情報を生成するようにし、前記リバース分析演算は、予め設定された基準を満足する特定第Ｎウェイト演算出力値を生成するのに利用された第（Ｎ−１）ウェイト演算出力値のうち、前記予め設定された基準を満足する特定第（Ｎ−１）ウェイト演算出力値を繰り返して選択するのに利用されることを特徴とする。

【0019】

一例として、前記（ａ）段階で、前記検証用テスティング装置が、前記属性抽出モジュールをもって、（ｉ）前記検証用テストイメージを複数の領域に分け、各領域に前記抽出演算を適用して前記検証用テストイメージの各領域に関する各テスト用ローカル属性情報を生成するプロセス、及び（ｉｉ）前記検証用テストイメージの全体に前記抽出演算を適用して、前記検証用テストイメージの全体に関するテスト用グローバル属性情報を生成するプロセスのうちの少なくとも一つを遂行させることにより、前記テスト用ローカル属性情報及び前記テスト用グローバル属性情報のうちの少なくとも一つを含む前記テスト用クオリティベクトルを生成させることを特徴とする。

【0020】

本発明のまた他の態様によれば、自律走行用ニューラルネットワークの検出プロセスを検証する、説明可能な人工知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ，ＡＩ）を用いて潜在的危険状況を運転者に警告することで機能的安全性を提供する学習装置において、各インストラクションを格納する一つ以上のメモリ；及び（Ｉ）少なくとも一つの検証用トレーニングイメージが取得されると、属性抽出モジュールをもって、強度、コントラスト、ノイズ、彩度、色、グラディエント、明度、及びカメラ角度のうちの少なくとも一部を含む前記検証用トレーニングイメージの特性の中の少なくとも一部に対する属性情報を抽出するために、少なくとも一つの抽出演算を前記検証用トレーニングイメージに適用することにより、前記検証用トレーニングイメージに対応するクオリティベクトルを生成するようにするプロセス、（ＩＩ）前記検証用ニューラルネットワークをもって、前記クオリティベクトルに一つ以上の第１ニューラルネットワーク演算を適用することにより、前記検証用トレーニングイメージを利用して自律走行を遂行するのが安全である確率に対する予測された安全性情報を生成するようにするプロセス、及び（ＩＩＩ）ロスモジュールをもって、前記予測安全性情報と、前記検証用トレーニングイメージに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）安全性情報とを参照にしてロスを生成し、前記ロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記検証用ニューラルネットワークに含まれたパラメータのうち少なくとも一部を学習するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする学習装置が開示される。

【0021】

一例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記検証用ニューラルネットワークをもって、（ｉ）前記クオリティベクトルに前記第１ニューラルネットワーク演算のうちの少なくとも一部を適用することにより、リグレッション（ｒｅｇｒｅｓｓｉｏｎ）プロセスを遂行して、前記検証用トレーニングイメージに含まれた物体の数ｒ２に対する、前記検証用トレーニングイメージに含まれた前記物体のうち、前記自律走行用のニューラルネットワークによって正確に検出されると予測される特定物体の数ｒ１の割合に対応する予測された検出率を生成するようにし、（ｉｉ）前記クオリティベクトルに前記第１ニューラルネットワーク演算のうちの少なくとも一部を適用することにより、分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）プロセスを遂行して、前記検証用トレーニングイメージを利用して、前記自律走行を遂行することが安全であるかを示す予測されたバイナリ（ｂｉｎａｒｙ）情報を生成するようにすることで、前記予測された検出率と前記予測されたバイナリ情報とを含む前記予測された安全性情報を生成するようにすることを特徴とする。

【0022】

一例として、前記（ＩＩＩ）プロセス以前に、前記プロセッサが、自律走行システムに含まれた前記自律走行用のニューラルネットワークをもって、前記検証用トレーニングイメージに含まれた物体に関する情報を予測するために、前記検証用トレーニングイメージに一つ以上の第２ニューラルネットワーク演算を適用して予測された物体の検出結果を生成するようにし、前記自律走行用ニューラルネットワークと連動したＧＴ生成モジュールをもって、前記検証用トレーニングイメージに含まれた前記物体に関する正解情報を含むＧＴ物体検出結果と前記予測された物体検出結果とを参照にしてＧＴ検出率を計算するようにし、前記ＧＴ検出率が予め設定された閾値より大きいか否かに関する情報を参照にしてＧＴバイナリ情報を生成するようにすることで、前記ＧＴ検出率と前記ＧＴバイナリ情報とを含む前記ＧＴ安全性情報を生成するようにすることを特徴とする。

【0023】

一例として、前記（Ｉ）プロセスで、前記プロセッサが、前記属性抽出モジュールをもって、（ｉ）前記検証用トレーニングイメージを複数の領域に分け、各領域に前記抽出演算を適用して前記検証用トレーニングイメージの各領域に関する各ローカル属性情報を生成するプロセス、及び（ｉｉ）前記検証用トレーニングイメージの全体に前記抽出演算を適用して、前記検証用トレーニングイメージの全体に関するグローバル属性情報を生成するプロセスのうちの少なくとも一つを遂行させることにより、前記ローカル属性情報及び前記グローバル属性情報のうちの少なくとも一つを含む前記クオリティベクトルを生成させることを特徴とする。

【0024】

本発明のまた他の態様によれば、自律走行用ニューラルネットワークの検出プロセスを検証する、説明可能な人工知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ，ＡＩ）を用いて潜在的危険状況を運転者に警告することで機能的安全性を提供するテスティング装置において、各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）検証用ニューラルネットワークを学習するのに用いられる検証用学習装置が、（１）少なくとも一つの検証用トレーニングイメージが取得されると、属性抽出モジュールをもって、強度、コントラスト、ノイズ、彩度、色、グラディエント、明度、及びカメラ角度のうちの少なくとも一部を含む前記検証用トレーニングイメージの特性の中の少なくとも一部に対する学習用属性情報を抽出するために、少なくとも一つの抽出演算を前記検証用トレーニングイメージに適用することにより、前記検証用トレーニングイメージに対応する学習用クオリティベクトルを生成するようにし、（２）前記検証用のニューラルネットワークをもって、前記学習用クオリティベクトルに一つ以上の第１ニューラルネットワーク演算を適用することにより、前記検証用トレーニングイメージを利用して自律走行を遂行するのが安全である確率に対する学習用予測された安全性情報を生成するようにし、（３）ロスモジュールをもって、前記学習用予測された安全性情報と、前記検証用トレーニングイメージに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）安全性情報とを参照にしてロスを生成し、前記ロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記検証用ニューラルネットワークに含まれたパラメータのうちの少なくとも一部を学習するようにした状態で、少なくとも一つの検証用テストイメージが取得されると、前記属性抽出モジュールをもって、強度、コントラスト、ノイズ、彩度、色、グラディエント、明度、及びカメラ角度のうちの少なくとも一部を含む前記検証用テストイメージの特性の中の少なくとも一部に対するテスト用属性情報を抽出するために、前記抽出演算を前記検証用テストイメージに適用することにより、前記検証用テストイメージに対応するテスト用クオリティベクトルを生成するようにするプロセス、（ＩＩ）前記検証用ニューラルネットワークをもって、前記テスト用クオリティベクトルに前記第１ニューラルネットワーク演算を適用することにより、前記検証用テストイメージを利用して、自律走行を遂行するのが安全である確率に対するテスト用予測された安全性情報を生成するようにするプロセス、及び（ＩＩＩ）アラームモジュールをもって、前記テスト用予測された安全性情報を参照にして、前記自律走行中に前記検証用テストイメージを利用するのが安全だと予測される場合、運転者に第１アラームを伝送するようにし、前記自律走行中に前記検証用テストイメージを利用することが安全ではないと予測される場合、前記運転者に第２アラームを伝送するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするテスティング装置が開示される。

【0025】

一例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記検証用ニューラルネットワークをもって、（ｉ）前記テスト用クオリティベクトルに前記第１ニューラルネットワーク演算のうちの少なくとも一部を適用することにより、リグレッション（ｒｅｇｒｅｓｓｉｏｎ）プロセスを遂行して、前記検証用テストイメージに含まれたテスト用物体の数ｒ２に対する、前記検証用テストイメージに含まれた前記テスト用物体のうち、前記自律走行用のニューラルネットワークによって正確に検出されると予測されるテスト用特定物体の数ｒ１の割合に対応するテスト用予測された検出率を生成するようにし、（ｉｉ）前記テスト用クオリティベクトルに前記第１ニューラルネットワーク演算のうちの少なくとも一部を適用することにより、分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）プロセスを遂行して、前記検証用テストイメージを利用して、前記自律走行を遂行することが安全であるかを示すテスト用予測されたバイナリ（ｂｉｎａｒｙ）情報を生成するようにすることで、前記テスト用予測された検出率と前記予測されたバイナリ情報とを含む前記テスト用予測された安全性情報を生成するようにすることを特徴とする。

【0026】

一例として、前記プロセッサが、前記アラームモジュールをもって、前記テスト用予測されたバイナリ情報が前記自律走行中に前記検証用テストイメージを利用することが安全であると示す場合、前記運転者に前記第１アラームを伝送するようにし、前記第１アラームは、前記自律走行が安全に遂行されているということを示す第１−１アラームと、前記テスト用予測された検出率に関する情報を含む第１−２アラームとを含むことを特徴とする。

【0027】

一例として、前記プロセッサが、前記アラームモジュールをもって、前記テスト用予測されたバイナリ情報が前記自律走行中に前記検証用テストイメージを利用することが安全ではないと示した場合、前記運転者に前記第２アラームを転送するようにし、前記第２アラームは、前記自律走行が安全に遂行されていないということを示す第２−１アラームと、前記検証用テストイメージのどの要素が前記自律走行を不安定にする原因になるかという情報を含む予測された寄与情報を含む第２−２アラームとを含むことを特徴とする。

【0028】

一例として、前記プロセッサが、前記テスト用予測されたバイナリ情報が前記自律走行中に前記検証用テストイメージを利用することが安全ではないと示された場合、寄与予測モジュールをもって、前記検証用ニューラルネットワークに含まれた各コンボリューションニューロンにより生成された、前記テスト用クオリティベクトルの成分に対応するウェイト（ｗｅｉｇｈｔ）演算出力値に関する情報を用いて前記テスト用予測されたバイナリ情報に少なくとも一つのリバース（ｒｅｖｅｒｓｅ）分析演算を適用することで、（ｉ）前記テスト用クオリティベクトルの前記成分のうち、前記テスト用予測されたバイナリ情報に対する特定寄与点数が予め設定された閾値より高い少なくとも一つの特定成分を選択し、（ｉｉ）前記特定成分を参照にして、前記検証用テストイメージのどの属性が前記自律走行を不安定にする原因になるかという情報を含む前記予測された寄与情報生成するようにすることを特徴とする。

【0029】

一例として、前記プロセッサが、前記寄与予測モジュールをもって、前記テスト用予測されたバイナリ情報を生成するのに用いられた最終ノード（ｎｏｄｅ）値に前記リバース分析演算を逆方向に適用することにより、（ｉ）前記テスト用クオリティベクトルの前記成分のうちの少なくとも一部に対する一つ以上の寄与点数を生成するようにし、（ｉｉ）前記予め設定された閾値より大きい前記特定寄与点数を有する、前記テスト用クオリティベクトルの前記特定成分を選択するようにし、（ｉｉｉ）前記特定成分を参照にして、前記予測された寄与情報を生成するようにし、前記リバース分析演算は、予め設定された基準を満足する特定第Ｎウェイト演算出力値を生成するのに利用された第（Ｎ−１）ウェイト演算出力値のうち、前記予め設定された基準を満足する特定第（Ｎ−１）ウェイト演算出力値を繰り返して選択するのに利用されることを特徴とする。

【0030】

一例として、前記（Ｉ）プロセスは、前記プロセッサが、前記属性抽出モジュールをもって、（ｉ）前記検証用テストイメージを複数の領域に分け、各領域に前記抽出演算を適用して前記検証用テストイメージの各領域に関する各テスト用ローカル属性情報を生成するプロセス、及び（ｉｉ）前記検証用テストイメージの全体に前記抽出演算を適用して、前記検証用テストイメージの全体に関するテスト用グローバル属性情報を生成するプロセスのうちの少なくとも一つを遂行させることにより、前記テスト用ローカル属性情報及び前記テスト用グローバル属性情報のうちの少なくとも一つを含む前記テスト用クオリティベクトルを生成させることを特徴とする。

【0031】

この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読読可能な記録媒体がさらに提供される。

【発明の効果】

【0032】

本発明は、イメージの属性情報を利用してユーザに知らせることにより、イメージが物体検出に適しているかを定量的に判断する学習方法を提供して安全な自律走行が行われ得るようにする効果がある。

【図面の簡単な説明】

【0033】

本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。

【0034】

【図1】図１は、本発明の一例に係る自律走行用ニューラルネットワークの検出プロセスを検証する説明可能な人工知能を利用して運転者に潜在的リスクの状況について警告することにより機能的安全性を提供する学習方法を遂行する学習装置の構成を概略的に示した図面である。

【図2】図２は、本発明の一例に係る自律走行用ニューラルネットワークの検出プロセスを検証する説明可能な人工知能を利用して運転者に潜在的リスクの状況について警告することにより機能的安全性を提供する学習方法を概略的に示したフローチャートである。

【図3】図３は、本発明の一例に係る自律走行用ニューラルネットワークの検出プロセスを検証する説明可能な人工知能を利用して運転者に潜在的リスクの状況について警告することにより機能的安全性を提供するテスティング方法を概略的に示したフローチャートである。

【図4】図４は、本発明の一例に係る自律走行用ニューラルネットワークの検出プロセスを検証する説明可能な人工知能を利用して運転者に潜在的リスクの状況について警告することにより機能的安全性を提供するテスティング方法を遂行する寄与予測モジュールが動作する方式を概略的に示した図面である。

【発明を実施するための形態】

【0035】

後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。

【0036】

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。

【0037】

さらに、本発明は、本明細書に示された実施例のあらゆる可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。

【0038】

本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。

【0039】

以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。

【0040】

図１は、本発明の一例に係る自律走行用ニューラルネットワークの検出プロセスを検証する説明可能な人工知能を利用して運転者に潜在的リスクの状況について警告することにより機能的安全性を提供する学習方法を遂行する学習装置の構成を概略的に示した図面である。

【0041】

図１を参照すれば、検証用学習装置１００は、後に詳しく説明する構成要素である、少なくとも一つの属性抽出モジュール１３０と、少なくとも一つの検証用ニューラルネットワーク１４０と、少なくとも一つのロスモジュール１５０とを含み得る。前記属性抽出モジュール１３０と、前記検証用ニューラルネットワーク１４０と、前記ロスモジュール１５０との入出力及び演算過程は、少なくとも一つの通信部１２０と少なくとも一つのプロセッサ１１０とによってそれぞれ行われ得る。ただし、図１では、前記通信部１２０と前記プロセッサ１１０との間の具体的な通信構造図は省略した。この際、メモリ１１５は、後述されるいくつかのインストラクションを格納した状態でもあり得、前記プロセッサ１１０は、前記メモリ１１５に格納されたインストラクションを遂行するように設定され、後から説明されるインストラクションを遂行することで本発明のプロセスを遂行することができる。このように前記検証用学習装置１００が描写されたところで、前記検証用学習装置１００が、プロセッサ、メモリ、ミディアム、または他の演算要素を含む統合装置を排除するものではない。

【0042】

また、図１では、前記自律走行用のニューラルネットワーク２００とＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）生成モジュール３００とを見ることができ、これらは互いに連動して動作することができ、前記検証用の学習装置１００内に含まれることもあり得、含まれないこともあり得るが、説明の便宜上、前記検証用学習装置１００内に属さないと仮定した。前記自律走行用のニューラルネットワーク２００及び前記ＧＴ生成モジュール３００については、後から説明される。

【0043】

以上、前記検証用学習装置１００の構成を見てみた。続いて、前記学習方法について図２を参照に説明する。

【0044】

図２は、本発明の一例に係る自律走行用ニューラルネットワークの検出プロセスを検証する説明可能な人工知能を利用して運転者に潜在的リスクの状況について警告することにより機能的安全性を提供する学習方法を概略的に示したフローチャートである。

【0045】

参考までに、以下の説明において混同を避けるために、前記プロセスに関連する用語には「学習用」または「トレーニング」という単語が追加され、テスティングプロセスに関連する用語には「テスト用」または「テスティング」という単語が追加された。

【0046】

図２を参照すれば、少なくとも一つの検証用トレーニングイメージが取得されると、前記検証用学習装置１００は、前記検証用トレーニングイメージを前記自律走行用ニューラルネットワーク２００及び前記属性抽出モジュール１３０に入力することができる。前記属性抽出モジュール１３０が、前記検証用トレーニングイメージに対応する少なくとも一つのクオリティベクトルを生成すると、前記検証用学習装置１００は、前記クオリティベクトルを前記検証用ニューラルネットワーク１４０に入力することができ、前記検証用ニューラルネットワーク１４０が、一つ以上の第１ニューラルネットワーク演算を前記入力されたクオリティベクトルに適用することにより、前記検証用トレーニングイメージを利用して自律走行を安全に遂行する確率に対応する予測された安全性情報を生成すると、前記検証用の学習装置１００は、前記ロスモジュール１５０をもって、前記検証用トレーニングイメージに関する前記予測された安全性情報及びこれに対応するＧＴ安全性情報を参照にして、一つ以上のロスを計算することにより、前記ロスをバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して、前記検証用ニューラルネットワーク１４０の一つ以上のパラメータの少なくとも一部を学習するようにすることができる。

【0047】

この際、前記自律走行用のニューラルネットワーク２００は、コンボリューションニューラルネットワーク（ＣＮＮ）で構成され得、少なくとも一つのコンボリューションレイヤと、少なくとも一つのＲＯＩプーリングレイヤと、少なくとも一つのＦＣレイヤとを含み得るが、本発明の範囲は、これに限定されるものではない。また、前記自律走行用のニューラルネットワーク２００は、これと同様の学習過程が開始される前に学習が完了された状態であり得、前記検証用学習装置１００とは別途に、自律走行システムに含まれたものであり得る。本発明の要旨は、後ほど詳しく説明される前記検証用ニューラルネットワーク１４０であり、前記自律走行用ニューラルネットワーク２００は、前記検証用ニューラルネットワーク１４０を学習するのに利用する前記ＧＴ安全性情報を生成するだけなので、前記自律走行用ニューラルネットワーク２００の構成及び学習方式に対する詳しい説明は省略することにする。

【0048】

前記自律走行用のニューラルネットワーク２００に前記検証用トレーニングイメージが入力されると、前記検証用学習装置１００は、前記自律走行用ニューラルネットワーク２００をもって、前記検証用トレーニングイメージに一つ以上の第２ニューラルネットワーク演算を適用して、少なくとも一つの予測された物体検出結果を生成するようにすることができる。以降、前記予測された物体検出結果は、他のコンピューティング装置に含まれ得る前記ＧＴ生成モジュール３００に伝送され、前記検証用ニューラルネットワーク１４０を学習するのに利用される前記ＧＴ安全性情報に加工され得る。

【0049】

つまり、前記検証用学習装置１００は、前記自律走行用ニューラルネットワーク２００が前記検証用トレーニングイメージに対する前記予測された検出結果を生成すると、前記ＧＴ生成モジュール３００をもって、前記予測された物体検出結果に対応するＧＴ物体検出結果を利用してＧＴ検出率及び前記検証用トレーニングイメージに関するＧＴバイナリ情報を生成するようにして、前記ＧＴ検出率及び前記ＧＴバイナリ情報を含むＧＴ安全性情報を生成するようにすることができる。具体的に、前記検証用学習装置１００は、前記ＧＴ生成モジュール３００をもって、前記予測された物体検出結果と、前記ＧＴ物体検出結果とを比較して、前記予測された物体検出結果に含まれた各物体に対するそれぞれの前記クラス情報が前記ＧＴ物体の検出結果に含まれた各物体に対するそれぞれの前記クラス情報と同一であるかを確認した後、ＧＴ物体検出結果には含まれるが、それに対応する予測された物体検出結果には含まれない特定物体が存在するかを確認し、このように確認された特定物体の割合を参照にして前記ＧＴ検出率を生成するようにすることができる。また、前記検証用学習装置１００は、前記ＧＴ生成モジュール３００をもって、前記ＧＴ検出率が閾値以上なら１を、閾値未満なら０をタグ付け（ｔａｇｇｉｎｇ）して、前記検証用トレーニングイメージに関する前記ＧＴバイナリ情報を生成するようにすることができる。その際、前記ＧＴバイナリ情報は、前記検証用トレーニングイメージを用いて、前記自律走行を安全に遂行できるかを示す正確な情報であり得る。結果的に、前記ＧＴ検出率及び前記検証用トレーニングイメージに関する前記ＧＴバイナリ情報を含む前記検証用ニューラルネットワーク１４０を学習するのに利用される前記ＧＴの安全性情報を生成することができる。

【0050】

前記ＧＴ安全性情報を生成するためにこのようなＧＴ物体検出結果を活用することは、経済的であり得る。前記検証用トレーニングイメージが、前記自律走行ネットワーク２００を学習するのに用いられたトレーニングイメージの一つである場合、前記ＧＴ物体の検出結果は事前に取得され得、これは追加演算なく再利用され得る。ＧＴイメージを取得するために人が直接イメージをラベリング（ｌａｂｅｌｌｉｎｇ）する必要があり、たくさんの費用がかかるという点から、このような再利用性は非常に大きなメリットとして作用する。

【0051】

一方で、前記検証用学習装置１００は、前記検証用トレーニングイメージを前記属性抽出モジュール１３０に入力した後、前記属性抽出モジュール１３０をもって、前記検証用トレーニングイメージに対応する前記クオリティベクトルを生成するようにすることができる。前記クオリティベクトルは、前記検証用トレーニングイメージの属性に対する値をその成分として有するベクトルであり得る。つまり、前記検証用学習装置１００は、前記属性抽出モジュール１３０をもって、検証用トレーニングイメージから、強度、彩度、コントラスト、ノイズ、色、グラディエント、明度、及びカメラの角度のうちの、少なくとも一部を含む前記検証用トレーニングイメージの特性の中の少なくとも一部に関する属性情報を抽出するようにすることができる。

【0052】

このような属性情報を抽出するため、広く知られたイメージ分析方法または少なくとも一つのニューラルネットワーク演算を利用することができる。例えば、前記検証用トレーニングイメージがＲＧＢフォーマットの場合、前記検証用トレーニングイメージのフォーマットをＨＳＶフォーマットに変更してＶチャネルの値を取得することで、前記強度に関する情報が取得され得る。ノイズについての情報は、前記検証用トレーニングイメージに広く知られたデノイズ（ｄｅ−ｎｏｉｓｅ）演算を適用して、前記検証用原本トレーニングイメージと検証用デノイズトレーニングイメージとの間の違いを計算することで取得できる。または、前記検証用トレーニングイメージを取得するのに利用したカメラのＩＳＯ値に関するタグ付けされた情報を利用して取得できるだろう。これに類似して、前記カメラ角度に関する情報は、前記検証用トレーニングイメージの小失点と、焦点と、中心点との間の関係情報を利用するか、前記カメラのパラメータに関するタグ付けされた情報を利用して取得され得る。色に関する情報は、前記検証用トレーニングイメージのＲ、Ｇ及びＢチャネル値を利用して取得できる。グラディエントについての情報は、前記検証用トレーニングイメージのＲＧＢ値をｘ及びｙ方向に偏微分して得られる。前記各情報は、演算力の使用を減らすため範囲を分けてヒストグラムの形式で利用され得る。

【0053】

付加的に、さらに詳細な属性情報を得るため、前記検証用学習装置１００は、前記属性抽出モジュール１３０をもって、前記抽出演算を前記検証用トレーニングイメージの全体部分に適用して生成された、前記検証用トレーニングイメージの前記全体部分に対するグローバル属性情報以外にも、前記検証用トレーニングイメージを各領域に分けて前記抽出演算を前記領域に適用して生成された各領域から、前記検証用トレーニングイメージの前記特性（前記カメラ角度を除いた特性）に対する各ローカル属性情報を抽出するようにすることができる。このようなローカル属性情報は、前記グローバル属性情報とともに前記クオリティベクトルに含まれ得る。すなわち、前記ローカル属性情報と前記グローバル属性情報とのうちの一つの情報は、前記クオリティベクトルに含まれ得る。

【0054】

前記クオリティベクトルが生成されると、前記検証用学習装置１００は、前記検証用ニューラルネットワーク１４０をもって、前記クオリティベクトルに一つ以上の第１ニューラルネットワーク演算を適用して、前記検証用トレーニングイメージに対する前記予測された安全性情報を生成するようにすることができる。さらに具体的には、前記検証用のニューラルネットワーク１４０はＣＮＮで構成され得、少なくとも一つのコンボリューションレイヤと少なくとも一つのＦＣレイヤとを含み得、それぞれに含まれたそれぞれのコンボリューションニューロンをもって、自身のパラメータそれぞれを利用して、前記第１ニューラルネットワーク演算を遂行するようにすることで、前記予測された安全性情報に含まれた前記予測された検出率と前記予測されたバイナリ情報とを生成するようにし得る。前記予測された検出率を生成するため、前記検証用学習装置１００は、前記検証用のニューラルネットワーク１４０をもって、前記クオリティベクトルに前記第１ニューラルネットワーク演算のうちの少なくとも一部を適用してリグレッションを遂行できるようにし得る。また、前記予測されたバイナリ情報を生成するため、前記検証用学習装置１００は、前記検証用のニューラルネットワーク１４０をもって、前記クオリティベクトルに前記第１ニューラルネットワーク演算のうちの少なくとも一部を適用して分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）を遂行できるようにし得る。

【0055】

この際、前記検証用のニューラルネットワーク１４０によって生成された前記予測された検出率は、前記検証用トレーニングイメージに含まれた物体が前記自律走行用ニューラルネットワーク２００によってどれだけ検出されるかに関する情報を示し、より詳細には、前記検証用トレーニングイメージに含まれた前記物体のうち、前記検証用トレーニングイメージに含まれた前記物体の数ｒ２に対する、前記自律走行用ニューラルネットワークによって正確に検出されるものと予測される特定物体の数ｒ１の割合を示し得る。また、前記検証用ニューラルネットワーク１４０によって生成された前記検証用トレーニングイメージに対する前記予測されたバイナリ情報は、前記入力されたクオリティベクトルに対応する前記検証用トレーニングイメージが検出機能を遂行する前記自律走行用のニューラルネットワーク２００に適しているかどうかを示すことができるか、より詳細には、前記検証用トレーニングイメージを利用し、前記自律走行を安全に遂行できるかどうかを示すことができる。

【0056】

つまり、前記検証用のニューラルネットワーク１４０は、その入力として、前記イメージの属性を取得でき、前記イメージが適しているかに関する情報を出力することによって前記取得されたイメージが前記物体検出に適しているかを定量的に判断することができる。

【0057】

前記検証用トレーニングイメージに対する前記予測されたバイナリ情報及び前記学習用予測された検出率が取得されると、前記検証用学習装置１００は、前記ロスモジュール１５０をもって、前記予測されたバイナリ情報と、前記予測された検出率と、前記ＧＴ安全性情報（前記ＧＴ安全性情報は、前記ＧＴ検出率及び前記ＧＴバイナリ情報を含む）とを参照にして、前記ロスを計算した後、前記ロスをバックプロパゲーションすることで、前記検証用ニューラルネットワーク１４０の前記パラメータの少なくとも一部を学習するようにすることができる。これによって、前記検証用ニューラルネットワーク１４０は、その入力されたイメージが前記物体検出に適しているかどうかを判断し、これに対応するクオリティベクトルを利用して前記自律走行用のニューラルネットワーク２００の該当検出率を予測することができる。

【0058】

以上、本発明の学習方法について具体的に見てみた。次に、本発明のテスティング方法について、図３を参照に説明する。

【0059】

図３は、本発明の一例に係る自律走行用ニューラルネットワークの検出プロセスを検証する説明可能な人工知能を利用して運転者に潜在的リスクの状況について警告することにより機能的安全性を提供するテスティング方法を概略的に示したフローチャートである。

【0060】

図３を参照にすれば、前記検証用学習装置１００が前記検証用ニューラルネットワーク１４０の学習を完了した状態で、検証用テスティング装置が遂行する前記テスティング方法について確認できる。以下具体的に説明するが、前記テスティング装置の構成は、前記検証用学習装置１００から前記ロスモジュール１５０が除去され、代わりにアラームモジュール１６０と寄与予測モジュール１７０とが追加されて実行される構成である。前記検証用学習装置１００及び前記検証用テスティング装置は、同一のコンピューティング装置でもあり得るが、そうでないこともあり得る。このように、前記検証用テスティング装置は、自律走行車両に搭載され得る。すなわち、前記テスティング装置は、前記自律走行が安全に行われるよう、前記自律走行車両が取得したイメージが前記物体検出に適しているかどうかを判断して、運転者に前記自律走行が安全であることを知らせる役割を果たすことができる。

【0061】

具体的に、前記検証用ニューラルネットワーク１４０を学習するのに利用される前記検証用学習装置１００が、（１）前記検証用トレーニングイメージが取得されると、前記属性抽出モジュール１３０をもって、前記強度、前記コントラスト、前記ノイズ、前記彩度、前記色、前記グラディエント、前記明度、及び前記カメラ角度のうちの少なくとも一部を含む前記検証用トレーニングイメージの特性の中の少なくとも一部に対する学習用属性情報を抽出するために、前記抽出演算を前記検証用トレーニングイメージに適用することにより、前記検証用トレーニングイメージに対応する学習用クオリティベクトルを生成するようにし、（２）前記検証用のニューラルネットワークをもって、前記学習用クオリティベクトルに一つ以上の第１ニューラルネットワーク演算を適用することにより、前記検証用トレーニングイメージを利用して自律走行を遂行するのが安全である確率に対する学習用予測された安全性情報を生成するようにし、（３）前記ロスモジュール１５０をもって、前記学習用予測された安全性情報と、前記検証用トレーニングイメージに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）安全性情報とを参照にしてロスを生成し、前記ロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記検証用ニューラルネットワーク１４０に含まれたパラメータのうちの少なくとも一部を学習するようにした状態で、少なくとも一つの検証用テストイメージが取得されると、前記属性抽出モジュール１３０をもって、前記強度、前記コントラスト、前記ノイズ、前記彩度、前記色、前記グラディエント、前記明度、及び前記カメラ角度のうちの少なくとも一部を含む前記検証用テストイメージの特性の中の少なくとも一部に対するテスト用属性情報を抽出するために、前記抽出演算を前記検証用テストイメージに適用することにより、前記検証用テストイメージに対応するテスト用クオリティベクトルを生成するようにし得る。

【0062】

そして、前記検証用テスティング装置が、前記検証用ニューラルネットワーク１４０をもって、前記テスト用クオリティベクトルに前記第１ニューラルネットワーク演算を適用することにより、前記検証用テストイメージを利用して、自律走行を遂行するのが安全である確率に対するテスト用予測された安全性情報を生成するようにし得る。

【0063】

最後に、前記検証用テスティング装置は、前記アラームモジュール１６０をもって、前記テスト用予測された安全性情報を参照にして、前記自律走行中に前記検証用テストイメージを利用するのが安全だと予測される場合、運転者に第１アラームを伝送するようにし、前記自律走行中に前記検証用テストイメージを利用することが安全ではないと予測される場合、前記運転者に第２アラームを伝送するようにし得る。

【0064】

この際、第１アラームは、前記テスト用予測されたバイナリ情報が前記自律走行中に前記検証用テストイメージを利用することが安全であると示す場合に対応するアラームである。この場合、前記第１アラームは、前記自律走行が安全に遂行されているということを示す第１−１アラームと、前記テスト用予測された検出率に関する情報を含む第１−２アラームとを含み得る。これによって、前記自律走行が安全に実施されている場合、前記自律走行が安全であるという事実に加え、具体的な数値を前記運転者に提供することにより、前記運転者の安全を保障することができる。

【0065】

これとは反対に、前記第２アラームは、前記テスト用予測されたバイナリ情報が前記自律走行中に前記検証用テストイメージを利用することが安全ではないということを示す場合に対応するアラームである。この場合、前記第２アラームは、前記自律走行が安全に遂行されていないということを示す第２−１アラームと、前記検証用テストイメージのどの要素が前記自律走行を不安定にする原因になるかという情報を含む予測された寄与情報を含む第２−２アラームとを含み得る。前記予測された寄与情報を生成するため、前記テスティング装置に含まれた前記寄与予測モジュール１７０を、図４を参照にして説明する。

【0066】

図４は、本発明の一例に係る自律走行用ニューラルネットワークの検出プロセスを検証する説明可能な人工知能を利用して運転者に潜在的リスクの状況について警告することにより機能的安全性を提供するテスティング方法を遂行する寄与予測モジュールが動作する方式を概略的に示した図面である。

【0067】

図４を参照にすると、前記予測された寄与情報を生成するのに利用されるリバース分析演算を理解できる。つまり、前記テスト用予測されたバイナリ情報が不安定性を示すと、前記検証用テスティング装置は、前記寄与予測モジュール１７０をもって、前記テスト用クオリティベクトルに含まれているどの成分が前記テスト用予測されたバイナリ情報に寄与するかを示す前記予測された寄与情報を生成するようにすることができる。具体的に、前記検証用テスティング装置は、前記寄与予測モジュール１７０をもって、ウェイト演算出力値に関する情報を取得するようにすることができる。この際、前記ウェイト演算出力値は、前記検証用のニューラルネットワーク１４０に含まれたコンボリューションニューロンが自身のパラメータを利用して、前記第１ニューラルネットワーク演算を前記テスト用クオリティベクトルに適用する際に生成された中間生成物であり得る。

【0068】

前記ウェイト演算出力値に関するこのような情報が取得された後、前記検証用テスティング装置は、前記寄与予測モジュール１７０をもって、前記ウェイト演算出力値に関する情報を利用して前記テスト用予測されたバイナリ情報に前記リバース分析演算を適用するようにし得る。前記リバース演算は、第Ｎウェイト演算出力値のうちの予め設定された基準を満足する特定第Ｎウェイト演算出力値を生成するのに利用される第（Ｎ−１）ウェイト演算出力値のうちの、前記予め設定された基準を満足する第（Ｎ−１）ウェイト演算値を反復して選択する演算を意味する。その際、一例として、前記基準は、所定のウェイト演算出力値がこれに対応するウェイト演算出力値のうち、最も大きい場合に満足される。前記リバース分析演算は、図４を参照にしてさらに具体的に説明され得る。

【0069】

図４は、三つのノードを有する一つの隠れレイヤを含む前記検証用ニューラルネットワーク１４０を単純化した例示を示す。実際に実装されると、前記検証用ニューラルネットワーク１４０は、さらに多くの隠れレイヤ及びノードを含み得るが、説明の便宜上、簡単に示した。また、図４で線の太さはウェイト演算出力値の大きさを表し得る。このような仮定のもとで、前記リバース分析演算を説明する。

【0070】

図４を参照にすると、前記テスト用予測されたバイナリ情報を生成するのに最終的に寄与する最終ノード値１７１は、第１−１ウェイト演算出力値１７１−１と、第１−２ウェイト演算出力値１７１−２と、第１−３ウェイト演算出力値１７１−３とを合わせて生成されるのだが、これらのうちの前記第１−１ウェイト演算値１７１−１が最も大きいことを確認することができる。この場合、前記リバース分析演算を適用すると、前記寄与予測モジュール１７０は、該当隠れレイヤに対する第１特定ウェイト演算として、前記第１−１ウェイト演算出力値１７１−１を選択することができる。また、前記第１−１ウェイト演算出力値１７１−１に対応する第１−１ノード値１７２は、さまざまなウェイト演算価格を合わせて生成されるが、そのなかの第２−１ウェイト演算出力値１７２−１及び第２−２ウェイト演算出力値１７２−２が最も大きいことが確認できる。この場合、前記第２−１ウェイト演算出力値１７２−１及び前記第２−２ウェイト演算出力値１７２−２のうちの少なくとも一つを第２特定ウェイト演算値として選択することができる。その後、前記第２特定ウェイト演算値を参照にして、前記テスト用クオリティベクトルの当該特定成分の特定寄与情報が生成され、前記特定寄与点数が予め設定された閾値より大きい場合、前記特定成分が前記不安全性をもたらすことを示す前記予測された寄与情報が生成されるであろう。

【0071】

前記予測された寄与情報が作成された後、前記検証用テスティング装置は、前記アラームモジュール１６０をもって、前記予測された寄与情報を参照にして、前記第２−２アラームを生成するようにすることができる。たとえば、前記予測された寄与情報が、前記テストイメージの右側上で低い強度に原因になって前記不安定性がもたらされることを示すと、前記第２−２のアラームは、前記運転者に日よけ（ｓｕｎｓｈａｄｅ）を操作するようにするメッセージを含み得る。

【0072】

結果として、前記検証用テスティング装置は、前記テストイメージが、前記物体検出に適している場合には前記運転者を安心させるアラームを、前記物体検出に適さない場合には前記運転者に解決方法とともに警告を与えながら、より最適化された自律走行を支援することができる。

【0073】

また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で実装されてコンピュータ読取り可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。

【0074】

以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。

【0075】

従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

【図1】

【図2】

【図3】

【図4】