特許 6853543 自律走行に対する論理的根拠を提示するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6853543

(24)【登録日】2021年3月16日

(45)【発行日】2021年3月31日

(54)【発明の名称】自律走行に対する論理的根拠を提示するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210322BHJP

   G06N 3/04 20060101ALI20210322BHJP

【ＦＩ】

   G06T7/00 350C

   G06N3/04

【請求項の数】30

【全頁数】24

(21)【出願番号】特願2020-5680(P2020-5680)

(22)【出願日】2020年1月17日

(65)【公開番号】特開2020-126621(P2020-126621A)

(43)【公開日】2020年8月20日

【審査請求日】2020年1月17日

(31)【優先権主張番号】62/799,139

(32)【優先日】2019年1月31日

(33)【優先権主張国】US

(31)【優先権主張番号】16/724,424

(32)【優先日】2019年12月23日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】517038176

【氏名又は名称】株式会社ストラドビジョン

(74)【代理人】

【識別番号】110000855

【氏名又は名称】特許業務法人浅村特許事務所

(72)【発明者】

【氏名】キム、ケイ − ヒョン

(72)【発明者】

【氏名】キム、ヨンジュン

(72)【発明者】

【氏名】キム、ハク − キョン

(72)【発明者】

【氏名】ナム、ウヒョン

(72)【発明者】

【氏名】ブー、ソッフン

(72)【発明者】

【氏名】ソン、ミュンチュル

(72)【発明者】

【氏名】シン、ドンス

(72)【発明者】

【氏名】ヨー、ドンフン

(72)【発明者】

【氏名】リュー、ウジュ

(72)【発明者】

【氏名】イ、ミョン − チュン

(72)【発明者】

【氏名】イ、ヒョンス

(72)【発明者】

【氏名】チャン、テウン

(72)【発明者】

【氏名】ジョン、キュンチョン

(72)【発明者】

【氏名】チェ、ホンモ

(72)【発明者】

【氏名】チョウ、ホジン

【審査官】 松浦 功

(56)【参考文献】

【文献】 特開２０１８−０７７８２９（ＪＰ，Ａ）

【文献】 特開２０２０−００８８９６（ＪＰ，Ａ）

【文献】 特表２０１８−５３４６９４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１８／０１３７６４２（ＵＳ，Ａ１）

【文献】 荒井敏 外１名，畳み込みニューラルネットワークを用いた画像分類タスクの直感的可視化方法，情報処理学会研究報告，情報処理学会，２０１６年１２月１２日，Vol. 2016-MPS-111，No. 10，pp. 1-6

【文献】 柿下容弓 外１名，Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋのモデル逆解析による識別根拠可視化技術，情報処理学会研究報告，情報処理学会，２０１８年 ９月２５日，Vol. 2018-MPS-120，No. 7，pp. 1-6

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０６Ｔ １／００

Ｇ０６Ｎ ３／０２ − ３／１０

(57)【特許請求の範囲】

【請求項1】

自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援する方法において、
（ａ）コンピューティング装置が、以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうちの少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにする段階；及び
（ｂ）前記コンピューティング装置が、代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援する段階；
を含むことを特徴とする方法。

【請求項2】

前記（ｂ）段階以前に、
前記コンピューティング装置が、前記代表選択ユニットをもって、（ｉ）前記物体検出ＣＮＮの少なくとも一つのＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）レイヤに含まれたＦＣニューロン間の関係を分析し、（ｉ）前記ＦＣレイヤに入力された特徴マップに対応する物体に対する情報が特定クラスに対応するか否かを判断するのに用いられる特定最終ＦＣ出力値を生成する、特定ＦＣニューロンのパラメータの特定セットを取得した後、（ｉｉｉ）前記パラメータの前記特定セットを参照して特定統合パラメータベクトルを生成するようにし、
前記（ｂ）段階で、
前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定統合パラメータベクトルを利用するベクトル演算を前記特定クラスに対応する一つ以上の特定参照ＲＯＩプーリング済み特徴マップに適用することにより、一つ以上の特定参照ＦＣの特徴マップを生成するようにした後、前記特定参照ＦＣ特徴マップを参照にして前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする請求項１に記載の方法。

【請求項3】

前記特定統合パラメータベクトルは、次の数式によって生成され、

前記数式で、Ｗ^ｃは、前記特定クラスｃに対応する前記特定統合パラメータベクトルを意味し、ｆ_ｋ（ｘ、ｙ）は、前記参照イメージのうちの一つの座標（ｘ、ｙ）に位置する前記ＲＯＩのうちの一つに対応する前記特定参照ＲＯＩプーリング済み特徴マップの一つに含まれた第ｋチャネルの値を意味し、Ｓ_ｃは、前記特定最終ＦＣ出力値を意味し、ｎは前記特定参照ＲＯＩプーリング済み特徴マップのチャネルの個数を意味することを特徴とする請求項２に記載の方法。

【請求項4】

前記（ｂ）段階で、
前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定参照ＦＣ特徴マップに含まれた各要素の各平均を計算することで前記特定代表特徴マップを生成するようにすることを特徴とする請求項２に記載の方法。

【請求項5】

（ｃ）前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定代表特徴マップを参照にして前記特定参照ＦＣ特徴マップのうちの少なくとも一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップに対応する前記参照イメージのうちの一部を前記特定クラスに対応する特定参照イメージとして設定するようにすることで、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援する段階；
をさらに含むことを特徴とする請求項２に記載の方法。

【請求項6】

前記（ｃ）段階で、
前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定代表特徴マップと、前記特定参照ＦＣ特徴マップとの間の距離に関する情報を生成した後、前記特定代表イメージを設定するため、前記特定代表特徴マップからの距離が最も短い前記特定参照ＦＣ特徴マップの一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップの数と、前記特定参照ＦＣ特徴マップの数とに対する特定比率が予め設定されていることを特徴とする請求項５に記載の方法。

【請求項7】

前記（ｂ）段階で、
前記コンピューティング装置が、前記代表選択ユニットをもって、前記クラスに関する情報を参照にして前記参照ＲＯＩプーリング済み特徴マップを分類した後、特定クラスに属する物体に対応する特定参照ＲＯＩプーリング済み特徴マップに含まれた各要素の各平均を計算させることにより、前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする請求項１に記載の方法。

【請求項8】

前記（ａ）段階以前に、
前記コンピューティング装置が、一つ以上のトレーニングイメージが取得されると、前記物体検出ＣＮＮをもって、前記トレーニングイメージに前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとの演算を適用して学習用出力値を生成するようにした後、前記学習用出力値及びそれに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を用いたバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行して、前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、前記ＦＣレイヤとのうちの少なくとも一部に対するパラメータを学習するようにし、前記トレーニングイメージは、前記参照イメージのうちの少なくとも一部を含むことを特徴とする請求項１に記載の方法。

【請求項9】

自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援するテスティング方法において、
（ａ）準備装置が、（１）以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮとから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうち少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにし、（２）代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援した状態で、テスティング装置が、テストイメージを取得すると、前記物体検出ＣＮＮをもって、これに含まれた前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとを利用して一つ以上のテスティングＲＯＩプーリング済み特徴マップを生成するようにする段階；及び
（ｂ）前記テスティング装置が、評価ユニットをもって、テスト用特定物体の特定クラスに対応する少なくとも一つの特定代表特徴マップと、特定テスティングＲＯＩプーリング済み特徴マップとを参照にして、前記テストイメージに含まれたテスト用物体のうちの前記テスト用特定物体に対する物体検出結果に対応する信頼度点数を生成するようにする段階；
を含むことを特徴とする方法。

【請求項10】

前記（ｂ）段階で、
前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップにＦＣ演算を適用して生成された特定テスティングＦＣ特徴マップと、前記特定代表特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする請求項９に記載の方法。

【請求項11】

前記（ｂ）段階で、
前記特定代表特徴マップを含む代表特徴マップが参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定代表特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする請求項９に記載の方法。

【請求項12】

（ｃ）前記テスティング装置が、前記評価ユニットをもって、前記特定クラスに対応する特定代表イメージのうちの少なくとも一部をディスプレイして、前記管理者が前記物体検出ＣＮＮの検出プロセスを評価できるように支援する段階；
をさらに含むことを特徴とする請求項９に記載の方法。

【請求項13】

前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップを利用して生成された特定テスティングＦＣ特徴マップと、前記特定代表イメージに対応する特定参照ＦＣ特徴マップとの間の距離に関する情報を生成するようにし、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする請求項１２に記載の方法。

【請求項14】

前記特定代表特徴マップを含む代表特徴マップが前記参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定代表イメージに対応する特定参照ＲＯＩプーリング済み特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにした後、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする請求項１２に記載の方法。

【請求項15】

前記（ｂ）段階で、
前記テスティング装置が、前記物体検出ＣＮＮをもって、前記ＦＣレイヤを利用して前記テストイメージに含まれた前記テスト用物体のクラスに関する情報を取得するようにし、前記評価ユニットをもって、前記テスト用物体のクラスに関する前記情報に含まれた、前記テスト用特定物体の前記特定クラスに関する情報を参照にして前記特定代表特徴マップを選択するようにすることを特徴とする請求項９に記載の方法。

【請求項16】

自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援するコンピューティング装置において、
少なくとも一つの各インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうちの少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにするプロセス、及び（ＩＩ）代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援するプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするコンピューティング装置。

【請求項17】

前記（ＩＩ）プロセス以前に、
前記プロセッサが、前記代表選択ユニットをもって、（ｉ）前記物体検出ＣＮＮの少なくとも一つのＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）レイヤに含まれたＦＣニューロン間の関係を分析し、（ｉ）前記ＦＣレイヤに入力された特徴マップに対応する物体に対する情報が特定クラスに対応するか否かを判断するのに用いられる特定最終ＦＣ出力値を生成する、特定ＦＣニューロンのパラメータの特定セットを取得した後、（ｉｉｉ）前記パラメータの前記特定セットを参照して特定統合パラメータベクトルを生成するようにし、
前記（ＩＩ）プロセスで、
前記プロセッサが、前記代表選択ユニットをもって、前記特定統合パラメータベクトルを利用するベクトル演算を前記特定クラスに対応する一つ以上の特定参照ＲＯＩプーリングされた特徴マップに適用することにより、一つ以上の特定参照ＦＣ特徴マップを生成するようにした後、前記特定参照ＦＣ特徴マップを参照に、前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする請求項１６に記載のコンピューティング装置。

【請求項18】

前記特定統合パラメータベクトルは、次の数式によって生成され、

前記数式で、Ｗ^ｃは、前記特定クラスｃに対応する前記特定統合パラメータベクトルを意味し、ｆ_ｋ（ｘ、ｙ）は、前記参照イメージのうちの一つの座標（ｘ、ｙ）に位置する前記ＲＯＩのうちの一つに対応する前記特定参照ＲＯＩプーリング済み特徴マップの一つに含まれた第ｋチャネルの値を意味し、Ｓ_ｃは、前記特定最終ＦＣ出力値を意味し、ｎは、前記特定参照ＲＯＩプーリング済み特徴マップのチャネルの個数を意味することを特徴とする請求項１７に記載のコンピューティング装置。

【請求項19】

前記（ＩＩ）プロセスで、
前記プロセッサが、前記代表選択ユニットをもって、前記特定参照ＦＣ特徴マップに含まれた各要素の各平均を計算することで前記特定代表特徴マップを生成するようにすることを特徴とする請求項１７に記載のコンピューティング装置。

【請求項20】

前記プロセッサが、（ＩＩＩ）前記代表選択ユニットをもって、前記特定代表特徴マップを参照にして前記特定参照ＦＣ特徴マップのうちの少なくとも一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップに対応する前記参照イメージのうちの一部を前記特定クラスに対応する特定参照イメージとして設定するようにすることで、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援するプロセスをさらに遂行することを特徴とする請求項１７に記載のコンピューティング装置。

【請求項21】

前記（ＩＩＩ）プロセスで、
前記プロセッサが、前記代表選択ユニットをもって、前記特定代表特徴マップと、前記特定参照ＦＣ特徴マップとの間の距離に関する情報を生成した後、前記特定代表イメージを設定するため、前記特定代表特徴マップからの距離が最も短い前記特定参照ＦＣ特徴マップの一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップの数と、前記特定参照ＦＣ特徴マップの数とに対する特定比率が予め設定されていることを特徴とする請求項２０に記載のコンピューティング装置。

【請求項22】

前記（ＩＩ）プロセスで、
前記プロセッサが、前記代表選択ユニットをもって、前記クラスに関する情報を参照にして前記参照ＲＯＩプーリング済み特徴マップを分類した後、特定クラスに属する物体に対応する特定参照ＲＯＩプーリング済み特徴マップに含まれた各要素の各平均を計算させることにより、前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする請求項１６に記載のコンピューティング装置。

【請求項23】

前記（Ｉ）プロセス以前に、
前記プロセッサが、一つ以上のトレーニングイメージが取得されると、前記物体検出ＣＮＮをもって、前記トレーニングイメージに前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとの演算を適用して学習用出力値を生成するようにした後、前記学習用出力値及びそれに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を用いたバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行して、前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、前記ＦＣレイヤとのうちの少なくとも一部に対するパラメータを学習するようにし、前記トレーニングイメージは、前記参照イメージのうちの少なくとも一部を含むことを特徴とする請求項１６に記載のコンピューティング装置。

【請求項24】

自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援するテスティング装置において、
少なくとも一つの各インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）準備装置が、（１）以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮとから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうち少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにし、（２）代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援した状態で、テストイメージを取得すると、前記物体検出ＣＮＮをもって、これに含まれた前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとを利用して一つ以上のテスティングＲＯＩプーリング済み特徴マップを生成するようにするプロセス、及び（ＩＩ）評価ユニットをもって、テスト用特定物体の特定クラスに対応する少なくとも一つの特定代表特徴マップと、特定テスティングＲＯＩプーリング済み特徴マップとを参照にして、前記テストイメージに含まれたテスト用物体のうちの前記テスト用特定物体に対する物体検出結果に対応する信頼度点数を生成するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするテスティング装置。

【請求項25】

前記（ＩＩ）プロセスで、
前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップにＦＣ演算を適用して生成された特定テスティングＦＣ特徴マップと、前記特定代表特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする請求項２４に記載のテスティング装置。

【請求項26】

前記（ＩＩ）プロセスで、
前記特定代表特徴マップを含む代表特徴マップが参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定代表特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする請求項２４に記載のテスティング装置。

【請求項27】

前記プロセッサが、（ＩＩＩ）前記評価ユニットをもって、前記特定クラスに対応する特定代表イメージのうちの少なくとも一部をディスプレイして、前記管理者が前記物体検出ＣＮＮの検出プロセスを評価できるように支援するプロセスをさらに遂行することを特徴とする請求項２４に記載のテスティング装置。

【請求項28】

前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップを利用して生成された特定テスティングＦＣ特徴マップと、前記特定代表イメージに対応する特定参照ＦＣ特徴マップとの間の距離に関する情報を生成するようにし、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする請求項２７に記載のテスティング装置。

【請求項29】

前記特定代表特徴マップを含む代表特徴マップが前記参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定代表イメージに対応する特定参照ＲＯＩプーリング済み特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにした後、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする請求項２７に記載のテスティング装置。

【請求項30】

前記（ＩＩ）プロセスで、
前記プロセッサが、前記物体検出ＣＮＮをもって、前記ＦＣレイヤを利用して前記テストイメージに含まれた前記テスト用物体のクラスに関する情報を取得するようにし、前記評価ユニットをもって、前記テスト用物体のクラスに関する前記情報に含まれた、前記テスト用特定物体の前記特定クラスに関する情報を参照にして前記特定代表特徴マップを選択するようにすることを特徴とする請求項２４に記載のテスティング装置。

【発明の詳細な説明】

【技術分野】

【0001】

自律走行に対する論理的根拠を提示するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置｛ＭＥＴＨＯＤ ＡＮＤ ＤＥＶＩＣＥ ＦＯＲ ＳＵＰＰＯＲＴＩＮＧ ＡＤＭＩＮＩＳＴＲＡＴＯＲＳ ＴＯ ＥＶＡＬＵＡＴＥ ＯＢＪＥＣＴ ＤＥＴＥＣＴＩＮＧ ＰＲＯＣＥＳＳＥＳ ＯＦ ＯＢＪＥＣＴ ＤＥＴＥＣＴＯＲＳ ＴＯ ＰＲＯＶＩＤＥ ＬＯＧＩＣＡＬ ＧＲＯＵＮＤＳ ＯＦ ＡＵＴＯＮＯＭＯＵＳ ＤＲＩＶＩＮＧ｝を提供する。

【0002】

本発明は、自律走行車両に利用するための方法及び装置に関し；より詳しくは、自律走行に対する論理的根拠を提供するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置に関する。

【背景技術】

【0003】

ディープ・コンボリューション・ニューラル・ネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮｓ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮｓは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげだ。このようなＣＮＮは、２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。それから、ＣＮＮは、機械学習分野で非常に有用なツールとなった。

【0004】

最近、ＣＮＮは自律走行分野に広く用いられている。ＣＮＮは自律走行車両において、前記自律走行を支援するさまざまな機能、例えばシマンティック（ｓｅｍａｎｔｉｃ）セグメンテーション及び物体検出といった機能を遂行できるが、これらは数万枚の学習データセットを用いて学習された後、自律走行車両に搭載されることになる。

【0005】

だが、前記ＣＮＮが車両を動かしている間、前記ＣＮＮが安定的に作動しているかを判断するのは難しい。前記ＣＮＮが安定的に動作するかを知ることは極めて重要で、これは前記ＣＮＮが不安定に動作する場合、運転者にアラームを与えて前記運転者がどのような問題なのか記録して、以後前記ＣＮＮを向上できるようにすることが必要だからである。

【0006】

従来技術として、特定の条件を満たす構成を有する前記ＣＮＮに対し、前記ＣＮＮの物体検出結果に対する根拠を提示する方法が存在する。しかし、前記従来技術の前記特定条件は極めて限定的であり、一般的な場合に適用されにくいという短所がある。つまり、前記ＣＮＮが必ずクラス活性化マップ（Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐ）を用いる構成であるべきである。したがって、一般的な構成を有する前記ＣＮＮの安定動作の可否を探知し得る従来技術は、皆無であるのが現状である。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、前述した問題点を解決することを目的とする。

【0008】

本発明は、各物体に対する各代表特徴マップを利用して、物体検出器の各検出プロセスを評価する手法を提供することにより、自律走行のための論理的根拠を提示することを目的とする。

【課題を解決するための手段】

【0009】

前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は次の通りである。

【0010】

本発明の一態様によれば、自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援する方法において、（ａ）コンピューティング装置が、以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうちの少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにする段階；及び（ｂ）前記コンピューティング装置が、代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援する段階；を含むことを特徴とする方法が開示される。

【0011】

一例として、前記（ｂ）段階以前に、前記コンピューティング装置が、前記代表選択ユニットをもって、（ｉ）前記物体検出ＣＮＮの少なくとも一つのＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）レイヤに含まれたＦＣニューロン間の関係を分析し、（ｉ）前記ＦＣレイヤに入力された特徴マップに対応する物体に対する情報が特定クラスに対応するか否かを判断するのに用いられる特定最終ＦＣ出力値を生成する、特定ＦＣニューロンのパラメータの特定セットを取得した後、（ｉｉｉ）前記パラメータの前記特定セットを参照して特定統合パラメータベクトルを生成するようにし、前記（ｂ）段階で、前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定統合パラメータベクトルを利用するベクトル演算を前記特定クラスに対応する一つ以上の特定参照ＲＯＩプーリング済み特徴マップに適用することにより、一つ以上の特定参照ＦＣの特徴マップを生成するようにした後、前記特定参照ＦＣ特徴マップを参照にして前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする。

【0012】

一例として、前記特定統合パラメータベクトルは、次の数式によって生成され、

前記数式で、Ｗ^ｃは、前記特定クラスｃに対応する前記特定統合パラメータベクトルを意味し、ｆ_ｋ（ｘ、ｙ）は、前記参照イメージのうちの一つの座標（ｘ、ｙ）に位置する前記ＲＯＩのうちの一つに対応する前記特定参照ＲＯＩプーリング済み特徴マップの一つに含まれた第ｋチャネルの値を意味し、Ｓ_ｃは、前記特定最終ＦＣ出力値を意味し、ｎは前記特定参照ＲＯＩプーリング済み特徴マップのチャネルの個数を意味することを特徴とする。

【0013】

一例として、前記（ｂ）段階で、前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定参照ＦＣ特徴マップに含まれた各要素の各平均を計算することで前記特定代表特徴マップを生成するようにすることを特徴とする。

【0014】

一例として、（ｃ）前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定代表特徴マップを参照にして前記特定参照ＦＣ特徴マップのうちの少なくとも一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップに対応する前記参照イメージのうちの一部を前記特定クラスに対応する特定参照イメージとして設定するようにすることで、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援する段階；をさらに含むことを特徴とする。

【0015】

一例として、前記（ｃ）段階で、前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定代表特徴マップと、前記特定参照ＦＣ特徴マップとの間の距離に関する情報を生成した後、前記特定代表イメージを設定するため、前記特定代表特徴マップからの距離が最も短い前記特定参照ＦＣ特徴マップの一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップの数と、前記特定参照ＦＣ特徴マップの数とに対する特定比率が予め設定されていることを特徴とする。

【0016】

一例として、前記（ｂ）段階で、前記コンピューティング装置が、前記代表選択ユニットをもって、前記クラスに関する情報を参照にして前記参照ＲＯＩプーリング済み特徴マップを分類した後、特定クラスに属する物体に対応する特定参照ＲＯＩプーリング済み特徴マップに含まれた各要素の各平均を計算させることにより、前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする。

【0017】

一例として、前記（ａ）段階以前に、前記コンピューティング装置が、一つ以上のトレーニングイメージが取得されると、前記物体検出ＣＮＮをもって、前記トレーニングイメージに前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとの演算を適用して学習用出力値を生成するようにした後、前記学習用出力値及びそれに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を用いたバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行して、前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、前記ＦＣレイヤとのうちの少なくとも一部に対するパラメータを学習するようにし、前記トレーニングイメージは、前記参照イメージのうちの少なくとも一部を含むことを特徴とする。

【0018】

本発明の他の態様によれば、自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援するテスティング方法において、（ａ）準備装置が、（１）以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮとから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうち少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにし、（２）代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援した状態で、テスティング装置が、テストイメージを取得すると、前記物体検出ＣＮＮをもって、これに含まれた前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとを利用して一つ以上のテスティングＲＯＩプーリング済み特徴マップを生成するようにする段階；及び（ｂ）前記テスティング装置が、評価ユニットをもって、テスト用特定物体の特定クラスに対応する少なくとも一つの特定代表特徴マップと、特定テスティングＲＯＩプーリング済み特徴マップとを参照にして、前記テストイメージに含まれたテスト用物体のうちの前記テスト用特定物体に対する物体検出結果に対応する信頼度点数を生成するようにする段階；を含むことを特徴とする方法。

【0019】

一例として、前記（ｂ）段階で、前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップにＦＣ演算を適用して生成された特定テスティングＦＣ特徴マップと、前記特定代表特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする。

【0020】

一例として、前記（ｂ）段階で、前記特定代表特徴マップを含む代表特徴マップが参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定代表特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする。

【0021】

一例として、（ｃ）前記テスティング装置が、前記評価ユニットをもって、前記特定クラスに対応する特定代表イメージのうちの少なくとも一部をディスプレイして、前記管理者が前記物体検出ＣＮＮの検出プロセスを評価できるように支援する段階；をさらに含むことを特徴とする。

【0022】

一例として、前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップを利用して生成された特定テスティングＦＣ特徴マップと、前記特定代表イメージに対応する特定参照ＦＣ特徴マップとの間の距離に関する情報を生成するようにし、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする。

【0023】

一例として、前記特定代表特徴マップを含む代表特徴マップが前記参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定代表イメージに対応する特定参照ＲＯＩプーリング済み特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにした後、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする。

【0024】

一例として、前記（ｂ）段階で、前記テスティング装置が、前記物体検出ＣＮＮをもって、前記ＦＣレイヤを利用して前記テストイメージに含まれた前記テスト用物体のクラスに関する情報を取得するようにし、前記評価ユニットをもって、前記テスト用物体のクラスに関する前記情報に含まれた、前記テスト用特定物体の前記特定クラスに関する情報を参照にして前記特定代表特徴マップを選択するようにすることを特徴とする。

【0025】

本発明のまた他の態様によれば、自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援するコンピューティング装置において、少なくとも一つの各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうちの少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにするプロセス、及び（ＩＩ）代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援するプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするコンピューティング装置を開示する。

【0026】

一例として、前記（ＩＩ）プロセス以前に、前記プロセッサが、前記代表選択ユニットをもって、（ｉ）前記物体検出ＣＮＮの少なくとも一つのＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）レイヤに含まれたＦＣニューロン間の関係を分析し、（ｉ）前記ＦＣレイヤに入力された特徴マップに対応する物体に対する情報が特定クラスに対応するか否かを判断するのに用いられる特定最終ＦＣ出力値を生成する、特定ＦＣニューロンのパラメータの特定セットを取得した後、（ｉｉｉ）前記パラメータの前記特定セットを参照して特定統合パラメータベクトルを生成するようにし、前記（ＩＩ）プロセスで、前記プロセッサが、前記代表選択ユニットをもって、前記特定統合パラメータベクトルを利用するベクトル演算を前記特定クラスに対応する一つ以上の特定参照ＲＯＩプーリングされた特徴マップに適用することにより、一つ以上の特定参照ＦＣ特徴マップを生成するようにした後、前記特定参照ＦＣ特徴マップを参照に、前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする。

【0027】

一例として、前記特定統合パラメータベクトルは、次の数式によって生成され、

前記数式で、Ｗ^ｃは、前記特定クラスｃに対応する前記特定統合パラメータベクトルを意味し、ｆ_ｋ（ｘ、ｙ）は、前記参照イメージのうちの一つの座標（ｘ、ｙ）に位置する前記ＲＯＩのうちの一つに対応する前記特定参照ＲＯＩプーリング済み特徴マップの一つに含まれた第ｋチャネルの値を意味し、Ｓ_ｃは、前記特定最終ＦＣ出力値を意味し、ｎは、前記特定参照ＲＯＩプーリング済み特徴マップのチャネルの個数を意味することを特徴とする。

【0028】

一例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記代表選択ユニットをもって、前記特定参照ＦＣ特徴マップに含まれた各要素の各平均を計算することで前記特定代表特徴マップを生成するようにすることを特徴とする。

【0029】

一例として、前記プロセッサが、（ＩＩＩ）前記代表選択ユニットをもって、前記特定代表特徴マップを参照にして前記特定参照ＦＣ特徴マップのうちの少なくとも一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップに対応する前記参照イメージのうちの一部を前記特定クラスに対応する特定参照イメージとして設定するようにすることで、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援するプロセスをさらに遂行することを特徴とする。

【0030】

一例として、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記代表選択ユニットをもって、前記特定代表特徴マップと、前記特定参照ＦＣ特徴マップとの間の距離に関する情報を生成した後、前記特定代表イメージを設定するため、前記特定代表特徴マップからの距離が最も短い前記特定参照ＦＣ特徴マップの一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップの数と、前記特定参照ＦＣ特徴マップの数とに対する特定比率が予め設定されていることを特徴とする。

【0031】

一例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記代表選択ユニットをもって、前記クラスに関する情報を参照にして前記参照ＲＯＩプーリング済み特徴マップを分類した後、特定クラスに属する物体に対応する特定参照ＲＯＩプーリング済み特徴マップに含まれた各要素の各平均を計算させることにより、前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする。

【0032】

一例として、前記（Ｉ）プロセス以前に、前記プロセッサが、一つ以上のトレーニングイメージが取得されると、前記物体検出ＣＮＮをもって、前記トレーニングイメージに前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとの演算を適用して学習用出力値を生成するようにした後、前記学習用出力値及びそれに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を用いたバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行して、前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、前記ＦＣレイヤとのうちの少なくとも一部に対するパラメータを学習するようにし、前記トレーニングイメージは、前記参照イメージのうちの少なくとも一部を含むことを特徴とする。

【0033】

本発明のまた他の態様によれば、自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援するテスティング装置において、少なくとも一つの各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）準備装置が、（１）以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮとから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうち少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにし、（２）代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援した状態で、テストイメージを取得すると、前記物体検出ＣＮＮをもって、これに含まれた前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとを利用して一つ以上のテスティングＲＯＩプーリング済み特徴マップを生成するようにするプロセス、及び（ＩＩ）評価ユニットをもって、テスト用特定物体の特定クラスに対応する少なくとも一つの特定代表特徴マップと、特定テスティングＲＯＩプーリング済み特徴マップとを参照にして、前記テストイメージに含まれたテスト用物体のうちの前記テスト用特定物体に対する物体検出結果に対応する信頼度点数を生成するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするテスティング装置が開示される。

【0034】

一例として、前記（ＩＩ）プロセスで、前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップにＦＣ演算を適用して生成された特定テスティングＦＣ特徴マップと、前記特定代表特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする。

【0035】

一例として、前記（ＩＩ）プロセスで、前記特定代表特徴マップを含む代表特徴マップが参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定代表特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする。

【0036】

一例として、前記プロセッサが、（ＩＩＩ）前記評価ユニットをもって、前記特定クラスに対応する特定代表イメージのうちの少なくとも一部をディスプレイして、前記管理者が前記物体検出ＣＮＮの検出プロセスを評価できるように支援するプロセスをさらに遂行することを特徴とする。

【0037】

一例として、前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップを利用して生成された特定テスティングＦＣ特徴マップと、前記特定代表イメージに対応する特定参照ＦＣ特徴マップとの間の距離に関する情報を生成するようにし、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする。

【0038】

一例として、前記特定代表特徴マップを含む代表特徴マップが前記参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定代表イメージに対応する特定参照ＲＯＩプーリング済み特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにした後、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする。

【0039】

一例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記物体検出ＣＮＮをもって、前記ＦＣレイヤを利用して前記テストイメージに含まれた前記テスト用物体のクラスに関する情報を取得するようにし、前記評価ユニットをもって、前記テスト用物体のクラスに関する前記情報に含まれた、前記テスト用特定物体の前記特定クラスに関する情報を参照にして前記特定代表特徴マップを選択するようにすることを特徴とする。

【発明の効果】

【0040】

本発明は、各物体に対する各代表特徴マップを利用して、物体検出器の各判断結果を評価する手法を提供することにより、自律走行の信頼性に対する根拠を示すことが可能となる効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。

【図面の簡単な説明】

【0041】

【図1】図１は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法を遂行するコンピューティング装置の構成を概略的に示した図面である。

【図2】図２は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法を遂行する前記コンピューティング装置に含まれた物体検出ＣＮＮの構成を概略的に示した図面である。

【図3】図３は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法に対する準備プロセスにおいての流れを概略的に示した図面である。

【図4】図４は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法に対するテスティングプロセスにおいての流れを概略的に示した図面である。

【発明を実施するための形態】

【0042】

後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。

【0043】

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。

【0044】

さらに、本発明は、本明細書に示された実施例のあらゆる可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。

【0045】

本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。

【0046】

参考までに、以下の説明において混同を避けるために、前記プロセスに関連する用語には「学習用」または「トレーニング」という単語が追加され、テスティングプロセスに関連する用語には「テスト用」または「テスティング」という単語が追加された。

【0047】

以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。

【0048】

図１は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法を遂行するコンピューティング装置の構成を概略的に示した図面である。

【0049】

図１を参照にすると、コンピューティング装置１００は、少なくとも一つの物体検出ＣＮＮ２００と、代表選択ユニット３００と、評価ユニット４００とを含み得る。この際、前記物体検出ＣＮＮ２００と、前記代表選択ユニット３００と、前記評価ユニット４００との入出力及び演算過程は、前記コンピューティング装置１００に含まれた通信部１１０と、プロセッサ１２０とによってそれぞれ行われ得る。また、前記コンピューティング装置１００に含まれたメモリ１１５は、後述されるいくつかのインストラクションを格納した状態でもあり得、前記プロセッサ１２０は、前記メモリ１１５に格納された前記インストラクションを遂行し得、後から説明されるインストラクションを遂行することで本発明のプロセスを遂行することができる。このように前記コンピューティング装置１００が描写されたところで、前記コンピューティング装置１００が、プロセッサ、メモリ、ミディアム、または他の演算要素を含む統合装置を排除するものではない。

【0050】

この際の前記物体検出ＣＮＮ２００の構成について、図２を参照に説明する。

【0051】

図２は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法を遂行する前記コンピューティング装置に含まれた物体検出ＣＮＮの構成を概略的に示した図面である。

【0052】

この際、前記物体検出ＣＮＮ２００は少なくとも一つのコンボリューションレイヤ２１０と、少なくとも一つのＲＯＩプーリングレイヤ２２０と、少なくとも一つのＦＣレイヤ２３０とを含み得る。前記コンボリューションレイヤ２１０は、前記物体検出ＣＮＮ２００に入力された少なくとも一つの入力イメージに一つ以上のコンボリューション演算を適用することにより、少なくとも一つの特徴マップを生成することができ、前記ＲＯＩプーリングレイヤ２２０は、前記コンボリューション特徴マップ上で、前記それぞれのＲＯＩに対応する各領域に一つ以上のプーリング演算を適用することができる。以降、前記ＦＣレイヤ２３０は、それぞれの前記ＲＯＩに対応する各ＲＯＩプーリング済み特徴マップに一つ以上のＦＣ演算を適用して、前記入力イメージに対する各物体を含む各バウンディングボックスとそれに対応するクラスに関する情報を生成することができる。前記物体検出ＣＮＮ２００は、本発明の一例に係る方法を適用する前に学習が完了されていられ得る。

【0053】

前記物体検出ＣＮＮ２００の他に、前記代表選択ユニット３００及び前記評価ユニット４００は後から詳しく説明することにする。

【0054】

図３は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法に対する準備プロセスにおいての流れを概略的に示した図面である。

【0055】

図３を参照すると、まず、前記コンピューティング装置１００は、一つ以上の代表特徴マップを生成するための、一つ以上の参照イメージを取得するか、他の装置が一つ以上の参照イメージを取得するように支援することができる。この際、前記参照イメージは、前記物体検出ＣＮＮ２００が物体検出を学習するために用いたトレーニングイメージのうちの少なくとも一部を含むことができる。具体的に、前記トレーニングイメージは、前記物体検出ＣＮＮ２００に入力され、前記コンボリューションレイヤ２１０と、前記ＲＯＩプーリングレイヤ２２０と、前記ＦＣレイヤ２３０とによって演算されたことで、学習用結果値が生成され得る。また、前記学習用結果値及びこれに対応するＧＴを用いたバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を随行して、前記コンボリューションレイヤ２１０と、前記ＲＯＩプーリングレイヤ２２０と、前記ＦＣレイヤ２３０とのうちの少なくとも一部のパラメータを学習することができる。前記のように前記トレーニングイメージが利用された後、前記トレーニングイメージのうちの少なくとも一部が前記参照イメージに含まれ得る。しかし、本発明の範囲はこれに限らない。

【0056】

このような参照イメージが取得されると、前記コンピューティング装置１００は、前記物体検出ＣＮＮ２００をもって、前記参照イメージに各レイヤの各演算を適用するようにし得る。具体的には、前記コンボリューションレイヤ２１０は、前記参照イメージに前記コンボリューション演算を適用して、前記参照イメージに対応する一つ以上の参照コンボリューション特徴マップを生成することができる。そして、このようなプロセスと同時に、前記物体検出ＣＮＮ２００を支援するＲＰＮは、前記参照イメージ上でそれぞれの前記物体が存在するものと推定される領域である前記ＲＯＩを生成し、前記ＲＯＩを前記物体検出ＣＮＮ２００に伝達することができる。以降、前記ＲＯＩプーリングレイヤ２２０は、前記参照特徴マップ上で、それぞれの前記ＲＯＩに対応する各領域の値に前記プーリング演算を適用して一つ以上の参照ＲＯＩプーリング済み特徴マップを生成することができる。

【0057】

前記参照ＲＯＩプーリング済み特徴マップが生成されると、前記コンピューティング装置１００は、前記参照ＲＯＩプーリング済み特徴マップを前記代表選択ユニット３００に伝達することができる。前記代表選択ユニット３００は、前記参照イメージ上の対応されるＲＯＩに含まれた物体クラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップをクラスにそれぞれ分類することができる。このような情報は、それぞれの前記参照イメージに対応する各ＧＴから取得され得る。以降、前記代表選択ユニット３００は、個々の前記参照ＲＯＩプーリング済み特徴マップを利用して各クラス別にそれぞれの前記代表特徴マップを生成することができる。次に、これについて詳細に見てみる。

【0058】

一例として、前記代表選択ユニット３００は、特定クラスに属する物体を有する特定参照ＲＯＩプーリング済み特徴マップに含まれた各構成要素の各平均を計算し、前記平均をその構成要素とする、前記特定クラスに対する特定代表特徴マップを生成することができる。

【0059】

他の例として、前記代表選択ユニット３００は、前記特定クラスに対する前記特定代表特徴マップを生成するための先行過程として、前記ＦＣレイヤ２３０に含まれたＦＣニューロン間の関係を分析し、前記ＦＣニューロンのうちの少なくとも一部に対応するパラメータセットを取得できる。具体的に、前記代表選択ユニット３００は、特定最終ＦＣ出力値を生成するのに利用された、特定ＦＣニューロンのパラメータの特定セットを取得できる。前記特定最終ＦＣ出力値は、入力された特徴マップに対応する物体が特定クラスに含まれるかを判断するのに用いられる値であり得る。今後、このような特定セットが取得されれば、前記代表選択ユニット３００は、前記特定セットを参照にして、特定統合パラメータベクトルを生成することができる。その後、前記代表選択ユニット３００は、前記特定クラスに対応する前記特定参照ＲＯＩプーリング済み特徴マップに、前記特定統合パラメータベクトルを利用する一つ以上のベクトル演算を適用して特定参照ＦＣ特徴マップを生成することができる。一例として、前記ベクトル演算には、前記特定統合パラメータベクトルと前記特定参照ＲＯＩプーリング済み特徴マップとの乗算が含まれ得る。その後、前記代表選択ユニット３００は、前記特定参照ＦＣ特徴マップに含まれた各構成要素に対する各平均を計算し、前記平均をその構成要素とする、特定クラスに対する特定代表特徴マップを生成することができる。

【0060】

例えば、図３の前記物体検出ＣＮＮ２００は、自身に入力されたイメージに含まれた物体を自動車、歩行者、バイクなどに分類することができ、その後、自動車クラス、歩行者クラス、及びバイククラスに対応する各代表特徴マップが生成され得る。図３において、Ｗ_１、Ｗ_２、．．．、Ｗ_ｎなどは、前述した前記ＦＣレイヤ２３０に含まれた前記パラメータのうちの前記歩行者ｃの前記クラスに対応する歩行者を意味し得る。その結果、前記歩行者クラスに対応する前記特定統合パラメータベクトルは、このように前記パラメータを参照にして生成され得る。

【0061】

前記プロセスをより詳細に説明するために、これを数式で表現すると次のとおりである。

【0062】

この際、Ｗ^ｃは、前記特定クラスｃに対する前記特定統合パラメータベクトルを、ｆ_ｋ（ｘ、ｙ）は、前記参照イメージのうちの一つの座標（ｘ、ｙ） に位置する前記ＲＯＩのうちの一つに対応する前記特定参照ＲＯＩプーリング済み特徴マップの一つに含まれた第ｋチャネルの値を意味し得る。そして、Ｓ_ｃは、前記特定最終ＦＣ出力値を、ｎは、前記特定参照ＲＯＩプーリング済みマップのチャネルの数を意味することができる。前記数式を参照すれば、前記特定統合パラメータベクトルを生成するプロセスが理解され得る。

【0063】

付加的に、前記コンピューティング装置１００は、各クラス別の前記代表特徴マップそれぞれを参照にして、各クラス別代表イメージを取得できる。つまり、前記コンピューティング装置１００は、前記代表選択ユニット３００をもって、前記特定クラスに対する、前記特定代表特徴マップを生成するために用いられた特徴マップのうちの少なくとも一部を選択し、前記選択された特徴マップに対応する前記参照イメージのうちの一部を、前記特定クラスに対する特定代表イメージとして設定することができる。具体的に、前記コンピューティング装置１００は、前記代表選択ユニット３００をもって、前記特定クラスに対応する前記特定代表特徴マップと前記特定代表特徴マップとを生成するのに利用した前記特徴マップ間の距離に関する情報を生成することができ、前記参照イメージの中の距離が最も短い前記特徴マップに対応する前記参照イメージの一部を設定することができる。参考までに、前記トレーニングイメージの数に対する前記参照イメージの中の前記一部の数の割合は予め設定され得る。

【0064】

例えば、前述した一例の結果のとおりに、前記代表選択ユニット３００は、前記特定代表特徴マップと前記特定参照ＲＯＩプーリング済み特徴マップとの間の距離に対する前記情報を生成することができる。前述した他の例の結果のとおりに、前記代表選択ユニット３００は、前記特定代表特徴マップと前記特定参照ＦＣ特徴マップとの間の距離に対する情報を生成することができる。以後の過程は、両例示と互いに同じである。

【0065】

結果的に、前記物体検出ＣＮＮ２００が検出し得るクラス毎の前記代表特徴マップ及び前記代表イメージが生成され得る。以下、前記代表特徴マップを利用して前記コンピューティング装置１００がテスティングプロセスを遂行する方式を説明する。

【0066】

図４は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法に対するテスティングプロセスにおいての流れを概略的に示した図面である。

【0067】

図４を参照すれば、前記コンピューティング装置１００は、少なくとも一つのテストイメージを取得するか、他の装置が少なくとも一つのテストイメージを取得するように支援することができる。一例として、前記コンピューティング装置１００が前記自律走行車両に搭載された場合、前記テストイメージは、前記自律走行車両が運行しながらカメラによって取得したイメージの一つであり得る。前記テストイメージが取得されると、前記コンピューティング装置１００は、前記物体検出ＣＮＮ２００をもって、前記テストイメージに各レイヤの各演算を適用し得る。具体的には、前記コンボリューションレイヤ２１０は、前記テストイメージに前記コンボリューション演算を適用して、前記テストイメージに対応する一つ以上のテスティングコンボリューション特徴マップを生成することができる。そして、このようなプロセスと同時に、前記物体検出ＣＮＮ２００を支援するＲＰＮは、前記テストイメージ上でそれぞれのテスト用物体が存在するものと推定される各領域であるテスト用ＲＯＩを生成し、前記テスト用ＲＯＩを前記物体検出ＣＮＮ２００に伝達することができる。以降、前記ＲＯＩプーリングレイヤ２２０は、前記テスティングコンボリューション特徴マップ上で、それぞれの前記テスト用ＲＯＩに対応する各領域に前記プーリング演算を適用して一つ以上のテスティングＲＯＩプーリング済み特徴マップを生成することができる。

【0068】

この後、前記ＦＣレイヤ２３０は、それぞれのテスティングＲＯＩプーリング済み特徴マップに前記ＦＣ演算を適用してテスティングＦＣ特徴マップそれぞれを生成することができ、前記テストイメージ上の前記各テスト用物体を含むそれぞれのテスト用バウンディングボックスに関する情報と、それぞれのテスト用物体に関する各クラスに関する情報とを生成することができる。その際、各物体の各クラスに関する前記情報は、前記テスト用特定物体の前記特定クラスに関する情報を含み得る。つまり、前記テスティング装置は、前記物体検出ＣＮＮ２００をもって、前記ＦＣレイヤ２３０を用いて前記テストイメージに含まれた前記テスト用物体のクラスに関する情報を取得させることができ、前記評価ユニットをもって、前記テスト用物体の前記クラスに関する情報を利用して前記代表特徴マップを選択するようにすることができる。

【0069】

この際、前記コンピューティング装置１００は、前記代表特徴マップが前記参照ＲＯＩプーリング済み特徴マップを利用して生成された場合なら、前記評価ユニット４００をもって、（ｉ）テスト用特定物体に対応する、前記テスティングＲＯＩプーリング済み特徴マップのうちの特定テスティングＲＯＩプーリング済み特徴マップと、（ｉｉ）前記テスト用特定物体を含んでいると推定される前記特定クラスに対応する前記特定代表特徴マップとの間の距離に関する情報を生成するようにすることができ、前記距離に対する前記情報を参照にして前記テスト用特定物体に関する特定信頼度点数を生成するようにすることができる。

【0070】

または、前記コンピューティング装置１００は、前記代表特徴マップが前記参照ＦＣ特徴マップを利用して生成された場合なら、前記評価ユニット４００をもって、（ｉ）前記テスト用特定物体に対応する、前記テスティングＦＣ特徴マップのうちの特定テスティングＦＣ特徴マップと、（ｉｉ）前記特定代表マップとの間の距離に関する情報を生成するようにし得、前記距離に関する前記情報を参照にして、前記テスト用特定物体に対する前記特定信頼度点数を生成するようにすることができる。

【0071】

この際、前記距離に対する前記情報は、前記二つの特徴マップ間の距離であるＬ１距離、またはＬ−ｐの距離にあるユークリッド距離（Ｅｕｃｌｉｄｅａｎ ｄｉｓｔａｎｃｅ）を計算することによって生成され得るが、本発明の範囲はこれに限定されない。

【0072】

また、前記特定信頼度点数を計算する過程に加えて、前記コンピューティング装置１００は、前記評価ユニット４００をもって、前記特定クラスに対応する前記特定代表イメージのうちの少なくとも一部を、管理者によって確認されるか、管理者に示すイメージとして取得できる。

【0073】

この際、前記評価ユニット４００は、前記代表特徴マップが前記参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記特定代表イメージに対応する前記特定参照ＲＯＩプーリング済み特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにした後、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＲＯＩプーリング済み特徴マップのうちの一部を選択するようにし得る。その際、前記特定代表イメージは、前記特定参照ＲＯＩプーリング済み特徴マップに対応し得る。前記距離に関するこのような情報は、前記管理者に示される際の手順を決定するために参照され得る。

【0074】

この際、前記評価ユニット４００は、前記代表特徴マップが前記参照ＦＣ特徴マップを利用して生成された場合、前記特定代表イメージに対応する前記特定参照ＦＣ特徴マップと、前記特定テスティングＦＣ特徴マップとの間の距離に関する情報を生成するようにした後、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択してディスプレイする前記特定代表イメージのうちの一部を選択することができる。その際、前記特定代表イメージは、前記特定参照ＦＣ特徴マップに対応し得る。前記距離に関するこのような情報は、前記管理者に示される際の手順を決定するために参照され得る。

【0075】

前記で説明されたテスティング方法は、連動された前記準備プロセスとともに説明したい。次に、準備装置及びテスティング装置を説明する。前記準備装置及び前記テスティング装置は、前記コンピューティング装置１００のように同一のコンピューティング装置でもあり得るが、同一ではないであろう。たとえば、前記準備装置は前記コンピューティング装置１００であり得るが、前記テスティング装置は別途のコンピューティング装置であり得る。

【0076】

まず、前記準備装置が、（１）以前に学習が完了された前記物体検出ＣＮＮ２００に含まれた前記コンボリューションレイヤ２１０をもって、これに入力された前記参照イメージに前記コンボリューション演算を適用して、前記参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮ２００に含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤ２２０をもって、前記物体検出ＣＮＮと連動された前記ＲＰＮから前記参照コンボリューション特徴マップ上の前記ＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうち少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにし、（２）前記代表選択ユニット３００をもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにして、前記管理者が前記物体検出ＣＮＮの検出プロセスを評価できるように支援した状態で、前記テスティング装置が、前記テストイメージを取得すると、前記物体検出ＣＮＮ２００をもって、これに含まれた前記コンボリューションレイヤ２１０と、前記ＲＯＩプーリングレイヤ２２０と、ＦＣレイヤ２３０とを利用して前記テスティングＲＯＩプーリング済み特徴マップを生成するようし得る。

【0077】

その後、前記テスティング装置は、評価ユニット４００をもって、テスト用特定物体の特定クラスに対応する前記特定代表特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとを参照にして、前記テストイメージに含まれたテスト用物体のうちの前記テスト用特定物体に対する物体検出結果に対応する前記特定信頼度点数を生成するようにし得る。

【0078】

次に、各物体のプロセスを遂行することで各物体の前記判別信頼度を判断するための、前記イメージを生成した後のプロセスを説明することにする。

【0079】

まず、前記信頼度点数は、前記コンピューティング装置１００が前記自律走行車両に搭載されている場合、運転者にアラームを与える用途で利用され得る。つまり、前記信頼度点数が特定閾値以下である場合、前記物体検出ＣＮＮ２００はこれ以上信頼できなくなるので、前記運転者は、前記自律走行車両を統制し、前記物体検出ＣＮＮ２００を更新できるようにアラームを受けることができる。

【0080】

また、見えてきた前記特定イメージのうちの前記少なくとも一部は、前記プログラマーが前記物体検出ＣＮＮ２００をメンテナンスする際、前記物体検出ＣＮＮ２００がどんな風に、なぜ誤った動作をしたのかを把握するのに役立つことができる。

【0081】

本発明は、説明可能なＡＩを利用した自律走行システムと関連がある。前記説明可能なＡＩは判別プロセスを判断するので、プログラマーは前記説明可能なＡＩを含む自律走行システムをより容易に構築しながら機能安全を図ることができる。例えば、学習されたＤＮＮは、自身に入力されたイメージから特徴マップを抽出でき、前記特徴マップとそれに対応する代表特徴マップとを比較することで前記二つの特徴マップ間の類似点数を生成することができ、これはプログラマーが分析できる。したがって、本発明は故障に対する抵抗力及び極限状況で変動に対する強靭さのために利用され得る。

【0082】

また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で実装されてコンピュータ読取り可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。

【0083】

以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。

【0084】

従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

【図1】

【図2】

【図3】

【図4】