ホーム > 特許ランキング > 日立Ａｓｔｅｍｏ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023174327
(43)【公開日】2023-12-07
(54)【発明の名称】画像認識システム
(51)【国際特許分類】
G06V 10/776 20220101AFI20231130BHJP
G06T 7/00 20170101ALI20231130BHJP
G06N 20/00 20190101ALI20231130BHJP
【ＦＩ】
G06V10/776
G06T7/00 350B
G06N20/00
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022087111
(22)【出願日】2022-05-27
(71)【出願人】
【識別番号】509186579
【氏名又は名称】日立Ａｓｔｅｍｏ株式会社
(74)【代理人】
【識別番号】110000925
【氏名又は名称】弁理士法人信友国際特許事務所
(72)【発明者】
【氏名】北山 晃
(72)【発明者】
【氏名】小野 豪一
(72)【発明者】
【氏名】伊藤 浩朗
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096GA30
5L096GA51
5L096JA11
5L096JA22
5L096KA04
(57)【要約】 （修正有）
【課題】機械学習モデルの検証を自動で実現することで検証のための人的コストを削減できる画像認識システムを提供する。
【解決手段】画像認識システムである画像認識装置１は、同一の入力画像に対する、新旧の機械学習モデルの推論結果がそれぞれ入力され、２つの推論結果の不一致領域がある場合、入力画像における不一致領域の画像情報１３ａと、新機械学習モデルによる不一致領域内の着目点の検出有無を示す情報１３ｂとを出力する不一致情報抽出部１３１と、不一致領域の画像情報に着目点が含まれるかどうかを判定して判定結果１３ｃを出力する物体有無判定部１３２と、新機械学習モデルによる不一致領域内の着目点の検出有無を示す情報１３ｂと、不一致領域の画像情報における着目点有無の判定結果１３ｃとに基づき、現機械学習モデルと比較した新機械学習モデルの性能劣化を判定する性能劣化判定部１３３と、備える。
【選択図】図１
【解決手段】画像認識システムである画像認識装置１は、同一の入力画像に対する、新旧の機械学習モデルの推論結果がそれぞれ入力され、２つの推論結果の不一致領域がある場合、入力画像における不一致領域の画像情報１３ａと、新機械学習モデルによる不一致領域内の着目点の検出有無を示す情報１３ｂとを出力する不一致情報抽出部１３１と、不一致領域の画像情報に着目点が含まれるかどうかを判定して判定結果１３ｃを出力する物体有無判定部１３２と、新機械学習モデルによる不一致領域内の着目点の検出有無を示す情報１３ｂと、不一致領域の画像情報における着目点有無の判定結果１３ｃとに基づき、現機械学習モデルと比較した新機械学習モデルの性能劣化を判定する性能劣化判定部１３３と、備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
画像センサから出力された同一の入力画像に対する、現行の機械学習モデルの推論結果と更新版の機械学習モデルの推論結果がそれぞれ入力され、２つの前記推論結果が一致しない不一致領域があった場合、前記入力画像における前記不一致領域の画像情報と、前記更新版の機械学習モデルによる前記不一致領域内の着目点の検出有無を示す情報と、を出力する不一致情報抽出部と、
前記入力画像における前記不一致領域の画像情報に着目点が含まれるかどうかを判定して判定結果を出力する物体有無判定部と、
前記更新版の機械学習モデルによる前記不一致領域内の着目点の検出有無を示す情報と、前記入力画像における前記不一致領域の画像情報における着目点有無の判定結果とに基づき、前記現行の機械学習モデルと比較した前記更新版の機械学習モデルの性能劣化を判定する性能劣化判定部と、を備える
画像認識システム。
前記入力画像における前記不一致領域の画像情報に着目点が含まれるかどうかを判定して判定結果を出力する物体有無判定部と、
前記更新版の機械学習モデルによる前記不一致領域内の着目点の検出有無を示す情報と、前記入力画像における前記不一致領域の画像情報における着目点有無の判定結果とに基づき、前記現行の機械学習モデルと比較した前記更新版の機械学習モデルの性能劣化を判定する性能劣化判定部と、を備える
画像認識システム。
【請求項2】
前記物体有無判定部は、前記不一致領域の画像情報の特徴量を抽出する特徴量抽出部を有し、前記特徴量抽出部で抽出された前記不一致領域の画像情報の特徴量に基づいて、前記不一致領域の画像情報に着目点が含まれるかどうかを判定する
請求項１に記載の画像認識システム。
請求項１に記載の画像認識システム。
【請求項3】
前記物体有無判定部は、前記不一致領域の画像情報における着目点有無の判定結果の確度を算出する確度算出部を有し、前記不一致領域の画像情報における着目点有無の判定結果と、前記確度とを出力し、
前記性能劣化判定部は、前記確度算出部で算出された前記確度が閾値よりも低い場合、前記更新版の機械学習モデルに性能劣化があると判定する
請求項２に記載の画像認識システム。
前記性能劣化判定部は、前記確度算出部で算出された前記確度が閾値よりも低い場合、前記更新版の機械学習モデルに性能劣化があると判定する
請求項２に記載の画像認識システム。
【請求項4】
前記確度算出部は、前記不一致領域の画像情報における着目点有無の判定結果の前記確度として、前記特徴量抽出部の特徴量抽出結果の確度を算出する
請求項３に記載の画像認識システム。
請求項３に記載の画像認識システム。
【請求項5】
前記確度算出部で算出された前記確度と前記閾値を比較し、比較の結果に基づいて、前記入力画像における前記不一致領域の画像情報に所定の画像処理を行い、前記更新版の機械学習モデルの性能劣化を再判定するかどうかを判断する再検証判断部、を備える
請求項３に記載の画像認識システム。
請求項３に記載の画像認識システム。
【請求項6】
前記確度算出部で算出された前記確度が前記閾値よりも低く、前記再検証判断部が前記更新版の機械学習モデルの性能劣化を再判定すると判断した場合に、前記入力画像における前記不一致領域の画像情報に所定の画像処理を行う画像処理部、を備え、
前記特徴量抽出部は、前記画像処理部により画像処理された前記不一致領域の画像情報から再度特徴量を抽出し、
前記確度算出部は、画像処理された前記不一致領域の画像情報から再度抽出された特徴量に基づいて、前記不一致領域の画像情報における着目点有無の判定結果の前記確度を算出する
請求項５に記載の画像認識システム。
前記特徴量抽出部は、前記画像処理部により画像処理された前記不一致領域の画像情報から再度特徴量を抽出し、
前記確度算出部は、画像処理された前記不一致領域の画像情報から再度抽出された特徴量に基づいて、前記不一致領域の画像情報における着目点有無の判定結果の前記確度を算出する
請求項５に記載の画像認識システム。
【請求項7】
前記画像処理された前記不一致領域の画像情報における着目点有無の判定結果の前記確度が前記閾値以上である場合、又は、
前記画像処理された前記不一致領域の画像情報における着目点有無の判定結果の前記確度が前記閾値よりも低いが、前記画像処理部による画像処理を所定の回数実施済みの場合は、
前記再検証判断部は、前記更新版の機械学習モデルの性能劣化の判定を実行するよう前記性能劣化判定部へ指示する
請求項６に記載の画像認識システム。
前記画像処理された前記不一致領域の画像情報における着目点有無の判定結果の前記確度が前記閾値よりも低いが、前記画像処理部による画像処理を所定の回数実施済みの場合は、
前記再検証判断部は、前記更新版の機械学習モデルの性能劣化の判定を実行するよう前記性能劣化判定部へ指示する
請求項６に記載の画像認識システム。
【請求項8】
前記画像処理部の画像処理回数が２回目以降の場合に、
前記画像処理部は、前回の画像処理と今回の画像処理とで、前記画像処理された前記不一致領域の画像情報における着目点有無の判定結果の確度の変化に応じて、画像処理の内容を決定する
請求項７に記載の画像認識システム。
前記画像処理部は、前回の画像処理と今回の画像処理とで、前記画像処理された前記不一致領域の画像情報における着目点有無の判定結果の確度の変化に応じて、画像処理の内容を決定する
請求項７に記載の画像認識システム。
【請求項9】
前記入力画像における前記不一致領域の画像情報を解析する画像解析部、を備え、
前記画像処理部は、前記画像解析部による解析結果に基づいて、前記画像処理を行う
請求項６に記載の画像認識システム。
前記画像処理部は、前記画像解析部による解析結果に基づいて、前記画像処理を行う
請求項６に記載の画像認識システム。
【請求項10】
それぞれに異なる条件で学習された機械学習モデルで構成された前記特徴量抽出部を有する複数の前記物体有無判定部、を備え、
前記性能劣化判定部は、複数の前記物体有無判定部から出力される前記不一致領域の画像情報における着目点有無の判定結果の確度から、多数決で最終的な確度を決定する
請求項３に記載の画像認識システム。
前記性能劣化判定部は、複数の前記物体有無判定部から出力される前記不一致領域の画像情報における着目点有無の判定結果の確度から、多数決で最終的な確度を決定する
請求項３に記載の画像認識システム。
【請求項11】
前記物体有無判定部において前記不一致領域の画像情報に着目点が含まれると判定された場合に、前記着目点のクラスを判定するクラス判定部、を備え、
前記性能劣化判定部は、前記更新版の機械学習モデルによる前記不一致領域内の着目点の検出有無を示す情報と、前記入力画像における前記不一致領域の画像情報における着目点有無の判定結果と、前記不一致領域の画像情報における着目点有無の判定結果の確度と、前記着目点のクラス判定結果とに基づいて、前記更新版の機械学習モデルの性能劣化を判定する
請求項６に記載の画像認識システム。
前記性能劣化判定部は、前記更新版の機械学習モデルによる前記不一致領域内の着目点の検出有無を示す情報と、前記入力画像における前記不一致領域の画像情報における着目点有無の判定結果と、前記不一致領域の画像情報における着目点有無の判定結果の確度と、前記着目点のクラス判定結果とに基づいて、前記更新版の機械学習モデルの性能劣化を判定する
請求項６に記載の画像認識システム。
【請求項12】
少なくとも、前記画像センサ、前記現行の機械学習モデル、及び前記更新版の機械学習モデルが車両に実装されている
請求項１に記載の画像認識システム。
請求項１に記載の画像認識システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像認識システムに関し、特に、更新した画像認識アルゴリズムを検証する技術に係わる。
【背景技術】
【0002】
機械学習を用いた画像認識処理の手段の一つに、ディープニューラルネットワーク（Deep Neural Network：ＤＮＮ）等のニューラルネットワークがある。このような画像処理では、従来のルールベースのアルゴリズムに比べて認識精度が飛躍的に向上することが知られており、様々な分野における実用化が進んでいる。
【0003】
例えば、自動車産業の分野においては、運転支援や自動運転向けの周辺認識にＤＮＮを適用し、重大事故の防止に貢献することが考えられる。ＤＮＮを処理するデバイスの要件として、数十ミリ秒オーダの周期でカメラから送られてくる画像を、高速処理することが求められる。このため、高価なＧＰＵ（Graphics Processing Unit）を搭載したデバイスが必要であった。しかし、昨今のアルゴリズムの軽量化やモデルを圧縮する実装技術の進歩により低コストのデバイスを選択可能となり、大衆車向けにもＤＮＮを車載したＥＣＵ（Electronic Control Unit）の実用化が進んでいる。
【0004】
一方で、ＤＮＮは学習に用いるデータに依存して認識性能が変化するために、従来のルールベースのアルゴリズムに対して、更新時の性能変化を把握できないことが多い。すなわち、ある画像に対しては現行のＤＮＮ（以下「旧ＤＮＮ」と呼称）で認識できていたものが新ＤＮＮでは認識できなくなっていることや、その逆の場合も有り得る。この要因としては、アルゴリズム、学習データ、学習時のパラメータ（学習率、反復回数、等）などの差分による影響度合いを、設計者が意図して定量的に把握することが難しいことが挙げられる。運転アシストや自動運転向けの周辺認識においては、誤検知や見逃しは大きな問題となるが、少なくとも更新前の旧ＤＮＮに対して新ＤＮＮが性能劣化していることだけは避ける必要がある。
【0005】
性能劣化がないことを証明するために、新ＤＮＮをＥＣＵに適用する前には、新ＤＮＮに対して多くのテスト画像を用いた検証が行われた後に、実車走行で問題がないことを確認することが通例となっている。実車走行環境での検証は、認識難易度が簡易なものから、テスト画像で想定されないような実環境ならではの高難易度な画像が入力されるため、テスト画像での検証抜け漏れを補填するための重要な位置付けとされている。しかしながら、十分な実車走行環境での検証には膨大な検証シーンをカバーする必要があるために、超長距離の公道走行や、数百種類のシーンにおける検証が要求される。そのため、ＤＮＮ更新の度に膨大な検証時間と人的コストが生じる課題がある。
【0006】
このように、新ＤＮＮの検証にかかるコストを抑制するための技術の一つに、特許文献１に記載の技術が挙げられる。この特許文献１には、新バージョンの学習モデル（新ＤＮＮに相当）の検証コストを抑制するために、新バージョンの学習モデルが実装されるエッジサーバにおいて、現場環境のデータが入力されたときの推論結果を旧バージョンの学習モデル（旧ＤＮＮに相当）と比較する構成が開示されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開２０１９－１３９７３４号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、新ＤＮＮと旧ＤＮＮの推論結果を比較するにあたり、どちらの結果が正しいかを判断するには、入力データに対する正解を知る必要がある。特許文献１に記載の技術では、予めテストデータに対して推論結果はこうあるべきだ、という論理が成立することが前提条件であるために、実機環境においても新旧ＤＮＮの推論結果の妥当性を評価することができる。一方で、特許文献１に記載の技術には、自動運転における公道走行のように、未知の現場データが入力されたときの推論結果の妥当性を判断できないという課題があった。
【0009】
このような場合、新旧ＤＮＮの推論結果の差分だけは抽出可能であるが、その差分が新ＤＮＮの性能改善によるものなのか、性能劣化によるものなのかが判定できない。このため、差分が生じる要因に対して最終的には人手による判別、判断が必要になり、新ＤＮＮの検証に人的コストが増加する。
【0010】
また、運転支援や自動運転の高機能化が求められている昨今では、ＤＮＮ等を用いた機械学習モデルに高難易度なタスクを解かせることも多く、更新前後の差分が把握できないことが顕著になる。このため、検証、修正、更新のサイクルを頻繁に回したい需要がある反面、上記のように検証自体にコストがかかるという課題があった。
【0011】
本発明は、このような課題を解決するためになされたものであり、新機械学習モデルの検証を自動で実現することで、検証のための人的コストを削減できる画像認識システムを提供することを目的とする。
【課題を解決するための手段】
【0012】
上記課題を解決するために、本発明の一態様の画像認識システムは、不一致情報抽出部と、物体有無判定部と、性能劣化判定部と、を備える。
上記不一致情報抽出部は、画像センサから入力される同一の入力画像に対する現行の機械学習モデルと更新版の機械学習モデルの推論結果がそれぞれ入力され、２つの推論結果が一致しない不一致領域があった場合、入力画像における不一致領域の画像情報と、更新版の機械学習モデルによる不一致領域内の着目点の検出有無を示す情報と、を出力するように構成されている。
上記物体有無判定部は、入力画像における不一致領域の画像情報に着目点が含まれるかどうかを判定して判定結果を出力するように構成されている。
上記性能劣化判定部は、更新版の機械学習モデルによる不一致領域内の着目点の検出有無を示す情報と、入力画像における不一致領域の画像情報における着目点有無の判定結果とに基づき、現行の機械学習モデルと比較した更新版の機械学習モデルの性能劣化を判定するように構成されている。
上記不一致情報抽出部は、画像センサから入力される同一の入力画像に対する現行の機械学習モデルと更新版の機械学習モデルの推論結果がそれぞれ入力され、２つの推論結果が一致しない不一致領域があった場合、入力画像における不一致領域の画像情報と、更新版の機械学習モデルによる不一致領域内の着目点の検出有無を示す情報と、を出力するように構成されている。
上記物体有無判定部は、入力画像における不一致領域の画像情報に着目点が含まれるかどうかを判定して判定結果を出力するように構成されている。
上記性能劣化判定部は、更新版の機械学習モデルによる不一致領域内の着目点の検出有無を示す情報と、入力画像における不一致領域の画像情報における着目点有無の判定結果とに基づき、現行の機械学習モデルと比較した更新版の機械学習モデルの性能劣化を判定するように構成されている。
【発明の効果】
【0013】
本発明の少なくとも一態様によれば、機械学習モデルを用いた画像認識システムにおいて、更新版の機械学習モデルの検証を自動で実行することができる。そのため、検証のための人的コストを削減することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0014】
【図1】本発明の第１の実施形態に係る画像認識装置の構成例を示すブロック図である。
【図2】本発明の第１の実施形態に係る不一致情報抽出部で認識される推論結果の不一致情報の例を示す図である。
【図3】本発明の第１の実施形態に係る推論結果検証処理の手順例を示すフローチャートである。
【図4】本発明の第１の実施形態に係る性能劣化判定部における性能検証判定条件を示す表である。
【図5】本発明の第２の実施形態に係る画像認識装置の推論結果検証部の構成例を示すブロック図である。
【図6】本発明の第２の実施形態における物体有無判定処理の手順例を示すフローチャートである。
【図7】本発明の第２の実施形態に係る性能劣化判定部における性能検証判定条件を示す表である。
【図8】本発明の第３の実施形態に係る画像認識装置の推論結果検証部の構成例を示すブロック図である。
【図9】本発明の第３の実施形態に係る画像認識装置による性能劣化の再検証処理の手順例を示すフローチャートである。
【図10】本発明の第３の実施形態の変形例（１）に係る画像認識装置の推論結果検証部の構成例を示すブロック図である。
【図11】本発明の第３の実施形態の変形例（２）に係る画像認識装置の推論結果検証部の構成例を示すブロック図である。
【図12】本発明の第４の実施形態に係る画像認識装置の推論結果検証部の構成例を示すブロック図である。
【図13】本発明の第４の実施形態に係る性能劣化判定部における検証判定条件を示す表である。
【図14】本発明の第５の実施形態に係る画像認識装置、及び検証・更新システムの構成例を示すブロック図である。
【図15】本発明の各実施形態に係る画像認識装置及び検証サーバが備える計算機のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0015】
以下、本発明を実施するための形態（以下、「実施形態」と称する）の例について、添付図面を参照して説明する。本明細書及び添付図面において、同一の構成要素又は実質的に同一の機能を有する構成要素には同一の符号を付して重複する説明を省略する。また、同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
【0016】
なお、以下の実施形態では、本発明を車両制御、例えば、先進運転支援システム（Advanced Driver Assistance System：ＡＤＡＳ）や自動運転（Autonomous Driving：ＡＤ）向けの車載ＥＣＵに適用した例について説明する。ただし、本発明は、ＡＤＡＳ、ＡＤ向けの車載ＥＣＵに限定されるものではない。他には、本発明は、物流倉庫等で適用される自動フォークリフトや自立無人搬送車（Automatic Guided Vehicle：ＡＧＶ）、建設機械向けの周辺認識ＡＩの更新検証に用いられてもよいし、監視カメラなどのＡＩの更新検証に用いられてもよい。このように本発明は、画像処理などの機械学習を用いた情報処理アルゴリズムの更新検証全般に適用可能である。
【0017】
＜第１の実施形態＞
［画像認識装置の構成］
まず、本発明の第１の実施形態に係る画像認識システムの構成について説明する。
図１は、第１の実施形態に係る画像認識装置（画像認識システムの例）の構成例を示すブロック図である。
［画像認識装置の構成］
まず、本発明の第１の実施形態に係る画像認識システムの構成について説明する。
図１は、第１の実施形態に係る画像認識装置（画像認識システムの例）の構成例を示すブロック図である。
【0018】
画像認識装置１は、情報処理の一例として、車両に搭載された画像センサ（車載カメラの撮像素子）から入力される入力データ１ａ（入力画像の一例）に対し画像処理を実行し、出力データである機械学習モデルの推論結果１ｃを出力する第一の演算部１２を備える。第一の演算部１２は、プロセッサ等を含む演算装置である。第一の演算部１２は、ＤＮＮ等の機械学習モデルを用いて大規模並列演算を行うことを想定しており、第一の演算部１２には、既に正常動作することを検証済みの機械学習モデルが実装されている。この機械学習モデルを便宜上、「現機械学習モデル」と呼称する。図１では、第一の演算部１２を表すブロックの中に「現機械学習モデル」と記載している。なお、現機械学習モデルのことを、更新版との対比で「旧機械学習モデル」と呼ぶこともある。
【0019】
一方で、現機械学習モデルで物体の検出の見逃しや間違いの修正や、新たな種類の物体を追加で認識できるようにするために、追加の学習データを用いて更新した更新版の機械学習モデルを考える。この機械学習モデルを便宜上「新機械学習モデル」と呼称する。なお、物体は、本発明の画像認識システムで着目する対象（以下「着目点」と称する）の一例である。着目点には、物体だけに限らず、画像センサで検出可能なものを含む。例えば、着目点として、車両等の移動体、歩行者、ガードレール、道路標識、建物などの構造物、走行ライン、穴、光又はその反射したものなどが挙げられる。
【0020】
本実施形態は、画像センサの入力画像に対する現機械学習モデルの推論結果と、画像センサの入力画像に対する新機械学習モデルの推論結果を比較し、その結果を用いて新機械学習モデルの性能を検証するものである。新機械学習モデルを用いた処理は第二の演算部１１で実行され、第二の演算部１１は新機械学習モデルの推論結果１ｂを出力する。第二の演算部１１は、プロセッサ等を含む演算装置である。図１では、第二の演算部１１を表すブロックの中に「新機械学習モデル」と記載している。
【0021】
ここで、現機械学習モデルと新機械学習モデルを実装する演算部は、必ずしも第一の演算部１２と第二の演算部１１に分かれている必要はない。例えば、共通の演算部で現機械学習モデル及び新機械学習モデルを用いた時分割処理を行い、それぞれの推論結果１ｂ，１ｃをメモリ（例えば、後述する図１５のＲＡＭ３３又は不揮発性ストレージ３６）に保存しておいてもよい。
【0022】
次に、推論結果検証部１３について説明する。推論結果検証部１３は、現機械学習モデルの推論結果１ｃと、新機械学習モデルの推論結果１ｂと、画像センサからの入力データ１ａが入力され、新機械学習モデルの性能検証結果（性能劣化判定部１３３の判定結果１ｄ）を出力する。推論結果検証部１３は、不一致情報抽出部１３１、物体有無判定部１３２、及び性能劣化判定部１３３を備える。
【0023】
不一致情報抽出部１３１には、現機械学習モデルの推論結果１ｃと、新機械学習モデルの推論結果１ｂと、画像センサからの入力データ１ａが入力される。そして、不一致情報抽出部１３１は、入力データ１ａに対する現機械学習モデルと新機械学習モデルの推論結果の不一致に関する情報である不一致情報１３ａと、新機械学習モデルによる入力データ１ａ（入力画像）の不一致領域内における物体（着目点）の検出有無を示す情報である検出有無１３ｂとを出力する。不一致領域は、入力データ１ａ（入力画像）において新旧の機械学習モデルの推論結果が一致しない領域である。
【0024】
図２は、不一致情報抽出部１３１で認識される推論結果の不一致情報１３ａの例を示す図である。
例えば、図２において、現機械学習モデルの推論結果１ｃで検出される車両（オブジェクトＤ１ｃ）は、新機械学習モデルの推論結果１ｂでは未検出（領域Ａ１ｂ）となっており、これらは不一致情報（例（１））となる。また、現機械学習モデルでは未検出であった道路上の領域（領域Ａ２ｃ）は、新機械学習モデルの推論結果１ｂでは検出（オブジェクトＤ２ｂ）となっており、これらも不一致情報（例（２））となる。例えば、不一致情報１３ａは、オブジェクトの座標と、クラス（物体の種類）と、不一致領域の画像情報（切出し画像）を含む。オブジェクトの座標は、入力データ１ａ（入力画像）の座標系における座標である。
例えば、図２において、現機械学習モデルの推論結果１ｃで検出される車両（オブジェクトＤ１ｃ）は、新機械学習モデルの推論結果１ｂでは未検出（領域Ａ１ｂ）となっており、これらは不一致情報（例（１））となる。また、現機械学習モデルでは未検出であった道路上の領域（領域Ａ２ｃ）は、新機械学習モデルの推論結果１ｂでは検出（オブジェクトＤ２ｂ）となっており、これらも不一致情報（例（２））となる。例えば、不一致情報１３ａは、オブジェクトの座標と、クラス（物体の種類）と、不一致領域の画像情報（切出し画像）を含む。オブジェクトの座標は、入力データ１ａ（入力画像）の座標系における座標である。
【0025】
物体有無判定部１３２には、推論結果の不一致情報１３ａが入力され、入力データ１ａ（入力画像）の不一致領域内における物体有無についての判定結果１３ｃを出力するための画像識別器が含まれている。画像識別器は、ルールベースの画像処理アルゴリズムを用いてもよいし、物体有無を識別するために予め学習されたＣＮＮ（Convolutional Neural Network）やＤＮＮを用いて実現されてもよい。なお、不一致情報１３ａでは、シーンごとに画像サイズが異なるために、物体有無判定部１３２への入力画像サイズが一定にならない。一般的なＤＮＮでは、入力画像サイズが固定で設計されるために、物体有無判定部１３２の前段に画像リサイズ処理を入れることにより、入力画像サイズを固定の画像サイズとするような構成が望ましい。
【0026】
性能劣化判定部１３３は、不一致領域内の物体有無の判定結果１３ｃと、新機械学習モデルによる不一致領域内における物体の検出有無１３ｂが入力され、新機械学習モデルの性能劣化についての判定結果１ｄ（性能検証結果）を出力する。
【0027】
［推論結果検証処理の手順］
次に、推論結果検証部１３による推論結果検証処理について図３を参照して説明する。
図３は、推論結果検証部１３による推論結果検証処理の手順例を示すフローチャートである。図中、新機械学習モデルによる入力データ１ａ（入力画像）の不一致領域内における物体の検出有無１３ｂを「新機械学習モデルでの検出有無１３ｂ」と表記している。また、入力データ１ａ（入力画像）の不一致領域内における物体有無の判定結果１３ｃを「物体有無判定結果１３ｃ」と表記している。
次に、推論結果検証部１３による推論結果検証処理について図３を参照して説明する。
図３は、推論結果検証部１３による推論結果検証処理の手順例を示すフローチャートである。図中、新機械学習モデルによる入力データ１ａ（入力画像）の不一致領域内における物体の検出有無１３ｂを「新機械学習モデルでの検出有無１３ｂ」と表記している。また、入力データ１ａ（入力画像）の不一致領域内における物体有無の判定結果１３ｃを「物体有無判定結果１３ｃ」と表記している。
【0028】
まず、推論結果検証部１３の不一致情報抽出部１３１は、現機械学習モデル（図中「旧機械学習モデル」と表記）の推論結果１ｃと、新機械学習モデル（更新版の機械学習モデル）の推論結果１ｂと、推論対象画像（画像センサの入力データ１ａ）を入力する（Ｓ1）。
【0029】
次いで、不一致情報抽出部１３１は、現機械学習モデルの推論結果１ｃと新機械学習モデルの推論結果１ｂとの不一致情報１３ａを抽出する（Ｓ２）。このとき、不一致情報抽出部１３１は、新機械学習モデルで推論対象画像（入力データ１ａ）の不一致領域内に物体を検出したか否かを判定する。
【0030】
次いで、不一致情報抽出部１３１は、抽出した不一致情報１３ａを物体有無判定部１３２へ出力し、新機械学習モデルでの物体の検出有無１３ｂを性能劣化判定部１３３へ出力する（Ｓ３）。
【0031】
次いで、物体有無判定部１３２は、現機械学習モデルと新機械学習モデルの推論結果１ｃ，１ｂについての不一致情報１３ａ（不一致領域の切出し画像を含む）を基に、推論対象画像（入力データ１ａ）の不一致領域内に物体が存在するか否かを判定する（Ｓ４）。物体有無判定部１３２は、推論対象画像（入力データ１ａ）の不一致領域内の物体有無についての判定結果１３ｃを性能劣化判定部１３３へ出力する。
【0032】
そして、性能劣化判定部１３３は、物体有無判定部１３２で判定された推論対象画像（入力データ１ａ）の物体有無の判定結果１３ｃと、新機械学習モデルでの物体の検出有無１３ｂとに基づいて、新機械学習モデルの性能劣化を判定する（Ｓ５）。ステップＳ５の処理後、推論結果検証処理を終了する。
【0033】
性能劣化判定部１３３の判定結果１ｄは、新機械学習モデルの性能検証結果として、例えば、図１４に示すような検証サーバ２０へ送信される。また、現機械学習モデルの推論結果１ｃは、図示しない車両制御ＥＣＵ（例えば、図１４の制御装置２）へ出力され、車両制御ＥＣＵによって車両の動作が制御される。
【0034】
図４は、本実施形態に係る性能劣化判定部１３３における性能検証判定条件を示す表である。
例えば、表中の（１）は、図２に示した不一致情報の例（１）と同様の条件である。表中の（１）では、入力データ１ａ（入力画像）の不一致領域内の新機械学習モデルでの物体の検出有無１３ｂは「無」で、入力データ１ａの不一致領域内の物体有無の判定結果１３ｃは「有」となっている。現機械学習モデルで検出できていた物体が新機械学習モデルで検出できなくなっていることになり、性能劣化判定部１３３の判定結果１ｄは「性能劣化」と決定される。同様に、表中の（２）では、不一致領域内の新機械学習モデルでの物体の検出有無１３ｂは「有」で、不一致領域内の物体有無の判定結果１３ｃは「無」となっている。現機械学習モデルで検出しなかった物体が新機械学習モデルで検出していることになり、性能劣化判定部１３３の判定結果１ｄは「性能劣化」と決定される。
例えば、表中の（１）は、図２に示した不一致情報の例（１）と同様の条件である。表中の（１）では、入力データ１ａ（入力画像）の不一致領域内の新機械学習モデルでの物体の検出有無１３ｂは「無」で、入力データ１ａの不一致領域内の物体有無の判定結果１３ｃは「有」となっている。現機械学習モデルで検出できていた物体が新機械学習モデルで検出できなくなっていることになり、性能劣化判定部１３３の判定結果１ｄは「性能劣化」と決定される。同様に、表中の（２）では、不一致領域内の新機械学習モデルでの物体の検出有無１３ｂは「有」で、不一致領域内の物体有無の判定結果１３ｃは「無」となっている。現機械学習モデルで検出しなかった物体が新機械学習モデルで検出していることになり、性能劣化判定部１３３の判定結果１ｄは「性能劣化」と決定される。
【0035】
以上のとおり、本発明の第１の実施形態に係る画像認識システム（画像認識装置１）は、不一致情報抽出部（不一致情報抽出部１３１）と、物体有無判定部（物体有無判定部１３２）と、性能劣化判定部（性能劣化判定部１３３）と、を備える。
不一致情報抽出部は、画像センサから入力される同一の入力画像（入力データ１ａ）に対する現行の機械学習モデル（現機械学習モデル）と更新版の機械学習モデル（新機械学習モデル）の推論結果がそれぞれ入力され、２つの推論結果が一致しない不一致領域があった場合、入力画像における不一致領域の画像情報（不一致情報１３ａの画像情報）と、更新版の機械学習モデルによる不一致領域内の着目点の検出有無を示す情報（新機械学習モデルでの物体の検出有無１３ｂ）と、を出力するように構成されている。
物体有無判定部は、入力画像における不一致領域の画像情報に着目点が含まれるかどうかを判定して判定結果（不一致領域内の物体有無の判定結果１３ｃ）を出力するように構成されている。
性能劣化判定部は、更新版の機械学習モデルによる不一致領域内の着目点の検出有無を示す情報（検出有無１３ｂ）と、入力画像における不一致領域の画像情報における着目点有無の判定結果（判定結果１３ｃ）とに基づき、現行の機械学習モデルと比較した更新版の機械学習モデルの性能劣化を判定する（判定結果１ｄ）ように構成されている。
不一致情報抽出部は、画像センサから入力される同一の入力画像（入力データ１ａ）に対する現行の機械学習モデル（現機械学習モデル）と更新版の機械学習モデル（新機械学習モデル）の推論結果がそれぞれ入力され、２つの推論結果が一致しない不一致領域があった場合、入力画像における不一致領域の画像情報（不一致情報１３ａの画像情報）と、更新版の機械学習モデルによる不一致領域内の着目点の検出有無を示す情報（新機械学習モデルでの物体の検出有無１３ｂ）と、を出力するように構成されている。
物体有無判定部は、入力画像における不一致領域の画像情報に着目点が含まれるかどうかを判定して判定結果（不一致領域内の物体有無の判定結果１３ｃ）を出力するように構成されている。
性能劣化判定部は、更新版の機械学習モデルによる不一致領域内の着目点の検出有無を示す情報（検出有無１３ｂ）と、入力画像における不一致領域の画像情報における着目点有無の判定結果（判定結果１３ｃ）とに基づき、現行の機械学習モデルと比較した更新版の機械学習モデルの性能劣化を判定する（判定結果１ｄ）ように構成されている。
【0036】
［第１の実施形態の効果］
上述した第１の実施形態によれば、新機械学習モデルの性能検証を行う場合の構成として、画像認識装置１に推論結果検証部１３を配置することにより、現場で動作する装置（例えばＥＣＵ）内で新機械学習モデルの検証が可能となる。それにより、人手による検証作業の工数が低減され、検証コストの削減につながる。また、車両メーカが所有する実験車での検証だけでなく、一般ユーザの車両に本実施形態の構成を適用することにより、効率的に新機械学習モデルの分散検証を実施することができる。このために、検証時間の短縮につながり、機械学習モデルの更新コストが低減される。
上述した第１の実施形態によれば、新機械学習モデルの性能検証を行う場合の構成として、画像認識装置１に推論結果検証部１３を配置することにより、現場で動作する装置（例えばＥＣＵ）内で新機械学習モデルの検証が可能となる。それにより、人手による検証作業の工数が低減され、検証コストの削減につながる。また、車両メーカが所有する実験車での検証だけでなく、一般ユーザの車両に本実施形態の構成を適用することにより、効率的に新機械学習モデルの分散検証を実施することができる。このために、検証時間の短縮につながり、機械学習モデルの更新コストが低減される。
【0037】
＜第２の実施形態＞
上述した第１の実施形態の構成において、新機械学習モデルの検証を正しく実施できるかどうかは、物体有無判定部１３２の判定精度で決まる。図４を見ても明らかなように、不一致領域における物体有無の判定を間違うことは「性能改善」と「性能劣化」を間違えることと同じである。しかし、現実世界の事象が入力される以上は、想定外の画像やノイズの影響による誤判定の発生可能性があるために、判定精度が１００％の画像識別器を実現することは困難である。
上述した第１の実施形態の構成において、新機械学習モデルの検証を正しく実施できるかどうかは、物体有無判定部１３２の判定精度で決まる。図４を見ても明らかなように、不一致領域における物体有無の判定を間違うことは「性能改善」と「性能劣化」を間違えることと同じである。しかし、現実世界の事象が入力される以上は、想定外の画像やノイズの影響による誤判定の発生可能性があるために、判定精度が１００％の画像識別器を実現することは困難である。
【0038】
そこで、第２の実施形態では、図１に示した物体有無判定部１３２の出力に、「判定結果の確からしさ」も含める。以下では、判定結果の確からしさを「確度」と呼称する。これにより、判定結果の確からしさが低い場合は、現状の物体有無判定部では性能改善か性能劣化なのかが見分けられない画像が入力されたと判断して、例えば、無条件でプログラムサーバに送信し、機械学習モデル更新時に最も避けるべき「性能劣化となる画像の見逃し」を削減することができる。以下、その詳細を図５～図７を用いて説明する。
【0039】
［画像認識装置の構成］
図５は、本発明の第２の実施形態に係る画像認識装置１の推論結果検証部１３Ａの構成例を示すブロック図である。
図５に示すように、推論結果検証部１３Ａは、不一致情報抽出部１３１、物体有無判定部１３２Ａ、及び性能劣化判定部１３３を備える。そして、物体有無判定部１３２Ａは、特徴量抽出部１３４と、有無判定部１３５と、確度算出部１３６を備える。推論結果検証部１３Ａが第１の実施形態に係る推論結果検証部１３と大きく異なるところは、確度算出部１３６を備える点である。なお、本実施形態では、特徴量抽出部１３４、特徴量抽出部１３４、及び有無判定部１３５によって、上述した画像識別器が構成される。
図５は、本発明の第２の実施形態に係る画像認識装置１の推論結果検証部１３Ａの構成例を示すブロック図である。
図５に示すように、推論結果検証部１３Ａは、不一致情報抽出部１３１、物体有無判定部１３２Ａ、及び性能劣化判定部１３３を備える。そして、物体有無判定部１３２Ａは、特徴量抽出部１３４と、有無判定部１３５と、確度算出部１３６を備える。推論結果検証部１３Ａが第１の実施形態に係る推論結果検証部１３と大きく異なるところは、確度算出部１３６を備える点である。なお、本実施形態では、特徴量抽出部１３４、特徴量抽出部１３４、及び有無判定部１３５によって、上述した画像識別器が構成される。
【0040】
特徴量抽出部１３４は、入力画像（入力データ１ａ）の不一致領域の画像情報（切出し画像）の特徴量を抽出する。特徴量抽出部１３４は、現機械学習モデルと新機械学習モデルとは独立した機械学習モデル（物体有無判定モデル）により構成する。例えば、特徴量抽出部１３４は、１つ以上の全結合層が配置された一般的なＤＮＮで構成される画像識別器が用いられた場合には、ＤＮＮのすべての中間層を通過後に推論された画像特徴量１３ｅを確度算出部１３６へ出力する。また、特徴量抽出部１３４は、ＤＮＮ等が有する各中間層を通過後、又は所定の順番の中間層を通過後に推論された画像特徴量１３ｆを確度算出部１３６へ出力する。
【0041】
有無判定部１３５は、特徴量抽出部１３４で抽出された入力画像（入力データ１ａ）の不一致領域の特徴量に基づいて、不一致領域内の画像情報に物体が含まれるかどうかの判定結果１３ｃを出力する。ここで、有無判定部１３５は、例えば、画像識別器が１つ以上の全結合層が配置された一般的な機械学習モデルである場合、全結合層の計算結果（画像特徴量１３ｅ）によって最終的な判定結果が出力できるように予め学習されている。すなわち、有無判定部１３５は、ＤＮＮのすべての中間層を通過後に推論された画像特徴量に基づいて判定を行う。一例として、有無判定部１３５は、二次元の特徴量からなる物体あり領域（母集団）と、二次元の特徴量で決まる不一致領域内の画像情報の特徴点との距離（近さ）で、物体有無を判定する。この距離が閾値よりも近ければ特徴点が物体あり領域内に存在するため「物体あり」、閾値よりも遠ければ「物体なし」と判定される。
【0042】
確度算出部１３６は、有無判定部１３５による不一致領域の画像情報における物体有無の判定結果１３ｃの確度１３ｄを算出する。上記有無判定部１３５の判定精度は、特徴量抽出部１３４で抽出された特徴量の精度に影響される。したがって、特徴量抽出部１３４で抽出された特徴量の精度に基づいて、有無判定部１３５の判定精度を推し量ることができる。そこで、本実施形態では、不一致領域の画像情報における物体有無の判定結果の確度１３ｄとして、特徴量抽出部１３４の特徴量抽出結果（画像特徴量１３ｆ）の確度を算出する。物体有無判定部１３２Ａは、不一致領域の画像情報における物体有無の判定結果１３ｃと、その確度１３ｄとを、性能劣化判定部１３３へ出力する。
【0043】
確度１３ｄの算出方法は様々であり、最も単純なものであれば、ＤＮＮの判定結果と同時に出力される信頼度（Confidence）でもよい。例えば、確度算出部１３６は、ＤＮＮの各中間層又は所定の順番の中間層から出力される画像特徴量（画像特徴量１３ｆ）とともに出力される、当該画像特徴量の信頼度に基づいて、画像特徴量の確度１３ｄを算出する。または、確度算出部１３６は、画像特徴量の推論結果の不確実度（確度＝（１－不確実度））を出力するように学習するような手段でもよい。出力される確度１３ｄは、例えば０～１の間の値で、０．５以上は「確度：高」、０．５未満は「確度：低」のように出力されてもよい。確度の高低を判断する閾値は、設計者によって決定することができる。
【0044】
なお、確度算出部１３６が、ＤＮＮ等で構成される有無判定部１３５による不一致領域の画像情報における物体有無の判定結果１３ｃの確度を直接算出するように構成してもよい。
【0045】
性能劣化判定部１３３には、不一致領域内の物体有無の判定結果１３ｃと、その確度１３ｄと、新機械学習モデルでの物体の検出有無１３ｂが入力される。性能劣化判定部１３３は、確度算出部１３６で算出された確度１３ｄが閾値よりも低い場合、新機械学習モデルに性能劣化があると判定して判定結果１ｄを出力する。
【0046】
［物体有無判定処理］
次に、物体有無判定部１３２Ａによる物体有無判定処理（図３のステップＳ４に対応）について図６を参照して説明する。
図６は、物体有無判定部１３２Ａによる物体有無判定処理の手順例を示すフローチャートである。
次に、物体有無判定部１３２Ａによる物体有無判定処理（図３のステップＳ４に対応）について図６を参照して説明する。
図６は、物体有無判定部１３２Ａによる物体有無判定処理の手順例を示すフローチャートである。
【0047】
まず、物体有無判定部１３２Ａにおいて、特徴量抽出部１３４は、現機械学習モデルの推論結果１ｃと新機械学習モデルの推論結果１ｂとの不一致情報１３ａを基に、推論対象画像（入力データ１ａ）の不一致領域の特徴量１３ｅを抽出する（Ｓ１１）。
【0048】
次いで、有無判定部１３５は、不一致領域の特徴量１３ｅを基に、推論対象画像（入力データ１ａ）の不一致領域内に物体が存在するかを判定する（Ｓ１２）。
【0049】
次いで、確度算出部１３６は、不一致領域の特徴量１３ｆの確度１３ｄを算出する（Ｓ１３）。
【0050】
次いで、性能劣化判定部１３３は、物体有無判定部１３２で判定された推論対象画像（入力データ１ａ）の物体有無の判定結果１３ｃと、新機械学習モデルでの物体の検出有無１３ｂと、不一致領域の特徴量の確度１３ｄとに基づいて、新機械学習モデルの性能劣化を判定する（Ｓ１４）。ステップＳ１４の処理後、物体有無判定処理を終了する。
【0051】
図７は、本実施形態に係る性能劣化判定部１３３における性能検証判定条件を示す表である。
第１の実施形態と同様に、表中の（１）－１及び（１）－２は、図２に示した不一致情報の例（１）と同様の条件である。（１）－１及び（１）－２において、入力データ１ａ（入力画像）の不一致領域内の新機械学習モデルでの物体の検出有無１３ｂは「無」、かつ入力データ１ａの不一致領域内の物体有無の判定結果１３ｃは「有」である。（１）－１では、確度１３ｄが「高」であるので、性能劣化である確率が高いため、判定結果１ｄは「性能劣化」となる。一方、（１）－２では、確度１３ｄは「低」であるが、判定結果１ｄは「性能劣化」又は「性能劣化疑い」として出力される。なお、「性能劣化疑い」については図示していない。
第１の実施形態と同様に、表中の（１）－１及び（１）－２は、図２に示した不一致情報の例（１）と同様の条件である。（１）－１及び（１）－２において、入力データ１ａ（入力画像）の不一致領域内の新機械学習モデルでの物体の検出有無１３ｂは「無」、かつ入力データ１ａの不一致領域内の物体有無の判定結果１３ｃは「有」である。（１）－１では、確度１３ｄが「高」であるので、性能劣化である確率が高いため、判定結果１ｄは「性能劣化」となる。一方、（１）－２では、確度１３ｄは「低」であるが、判定結果１ｄは「性能劣化」又は「性能劣化疑い」として出力される。なお、「性能劣化疑い」については図示していない。
【0052】
また、（３）－１と（３）－２を比較すると、新機械学習モデルでの物体の検出有無１３ｂは「無」、物体有無の判定結果１３ｃは「無」であるので、現機械学習モデルが誤検知していたものを新機械学習モデルでは検出しなくなったことがわかる。よって、確度１３ｄが「高」である（３）－１において、判定結果１ｄは「性能改善」となる。一方、（３）－２では、確度１３ｄが「低」であるため、判定結果１ｄは「性能劣化」又は「性能劣化疑い」として出力される。
【0053】
以上のように、物体有無の判定結果１３ｃの確度１３ｄが「低」の場合は、新機械学習モデルでの物体の検出有無１３ｂと物体有無の判定結果１３ｃとによらず、判定結果１ｄは「性能劣化」として出力することにより、性能劣化の見逃しを低減することができる。
【0054】
また、現機械学習モデルの推論結果１ｃや新機械学習モデルの推論結果１ｂに対する確度が算出可能であれば、それらの確度も含めた判定を行ってもよい。具体的には、新機械学習モデルの推論結果１ｂの確度が「低」の場合に、新機械学習モデルでの物体の検出有無１３ｂが「無」であれば、無条件で「性能劣化」と判定するようにしてもよい。あるいは、同条件で物体有無判定モデル（有無判定部１３５）の判定結果の確度が「高」であれば「性能改善」とするなど、各推論ネットワークの確度を組み合わせて検証の判断根拠として処理してもよい。
【0055】
［第２の実施形態の効果］
このように構成された第２の実施形態によれば、物体有無の判定結果１３ｃの確度１３ｄが低い場合には物体有無の判定結果１３ｃによらず、判定結果１ｄを「性能劣化」として出力する。このため、新機械学習モデルにおいて性能劣化となる画像（性能劣化シーン）の見逃しを低減することができる。
このように構成された第２の実施形態によれば、物体有無の判定結果１３ｃの確度１３ｄが低い場合には物体有無の判定結果１３ｃによらず、判定結果１ｄを「性能劣化」として出力する。このため、新機械学習モデルにおいて性能劣化となる画像（性能劣化シーン）の見逃しを低減することができる。
【0056】
＜第３の実施形態＞
上述した第２の実施形態に係る画像認識装置１では、不一致領域の画像情報における物体有無の判定結果１３ｃの確度１３ｄが低い切出し画像（不一致領域の画像情報）については一律で「性能劣化」の判定をする。このため、本来は「性能改善」のシーンの場合であっても、確度が低ければ「性能劣化」と判定してしまう課題が生じる。すなわち、性能検証における過検出が発生する。
上述した第２の実施形態に係る画像認識装置１では、不一致領域の画像情報における物体有無の判定結果１３ｃの確度１３ｄが低い切出し画像（不一致領域の画像情報）については一律で「性能劣化」の判定をする。このため、本来は「性能改善」のシーンの場合であっても、確度が低ければ「性能劣化」と判定してしまう課題が生じる。すなわち、性能検証における過検出が発生する。
【0057】
そこで、第３の実施形態では、確度が「低」と判定された場合に同一の切出し画像に対して、所定の前処理を行った上で不一致領域内の物体有無の判定を行うことで、確度が「高」と判定されたときの物体有無の判定結果を採用する。ここで、所定の前処理とは、明度やコントラスト、彩度、エッジ強調、拡大／縮小（画像リサイズ）などの画像処理を指す。例えば、物体有無判定部１３２Ａに入力された切出し画像の明度が低い（暗い）場合は、明度やコントラストを高める前処理を行うことで、判定確度が向上することが考えられる。
【0058】
【0059】
図８に示すように、本実施形態に係る推論結果検証部１３Ｂは、第２の実施形態における推論結果検証部１３Ａの構成に加えて、さらに再検証判断部１３７、切替回路部１３８、及び画像処理部１３９が配置されている。
【0060】
再検証判断部１３７は、確度算出部１３６で算出された確度１３ｄと所定の閾値を比較し、比較の結果に基づいて、入力画像（入力データ１ａ）における不一致領域の画像情報に所定の画像処理を行い、新機械学習モデルの性能劣化を再判定するかどうかを判断する。再検証判断部１３７は、確度１３ｄが閾値よりも低いときは、新機械学習モデルの性能劣化を再判定すると判断する。そして、再検証判断部１３７は、入力画像における不一致領域の画像情報に所定の画像処理を行って再検証するための再検証トリガ信号を生成し、切替回路部１３８へ出力する。また、再検証判断部１３７は、再検証トリガ信号を性能劣化判定部１３３へ出力し、新機械学習モデルの性能劣化の再判定を実行するよう性能劣化判定部１３３に指示する。
【0061】
切替回路部１３８は、再検証トリガ信号の有無に応じて、スイッチング素子の状態を切り替える。切替回路部１３８では、再検証判断部１３７から再検証トリガ信号を受信していない場合は、不一致領域の画像情報を含む不一致情報１３ａが特徴量抽出部１３４に入力される。一方、切替回路部１３８は、再検証判断部１３７から再検証トリガ信号を受信した場合は、当該不一致情報１３ａが画像処理部１３９に入力されるようスイッチング素子を切り替える。例えば、切替回路部１３８は、ＭＯＳＦＥＴなどのスイッチング素子を用いて構成することができる。
【0062】
画像処理部１３９は、再検証判断部１３７から再検証トリガ信号を受信すると、切替回路部１３８を介して入力画像（入力データ１ａ）の不一致情報１３ａに含まれる不一致領域の画像情報を取得し、当該不一致領域の画像情報に上述のような画像処理を行う。そして、画像処理部１３９は、画像処理を実施した不一致領域の画像情報を特徴量抽出部１３４へ出力する。
【0063】
特徴量抽出部１３４は、画像処理部１３９により画像処理された不一致領域の画像情報から再度特徴量を抽出する。そして、確度算出部１３６は、画像処理された不一致領域の画像情報から再度抽出された特徴量（特徴量１３ｆ）に基づいて、不一致領域の画像情報における物体有無の判定結果の確度（確度１３ｄ）を算出し、性能劣化判定部１３３へ出力する。
【0064】
次に、本実施形態に係る画像認識装置による新機械学習モデルの性能劣化の再検証処理について図９を参照して説明する。
図９は、本実施形態に係る画像認識装置による新機械学習モデルの性能劣化の再検証処理の手順例を示すフローチャートである。
図９は、本実施形態に係る画像認識装置による新機械学習モデルの性能劣化の再検証処理の手順例を示すフローチャートである。
【0065】
まず、再検証判断部１３７は、推論結果検証部１３Ｂの確度算出部１３６から出力される不一致領域の画像情報（切出し画像）の特徴量の確度１３ｄが閾値未満かどうかを判定する（Ｓ２１）。確度１３ｄが閾値以上である場合は（Ｓ２１のＮＯ）、ステップＳ２７に移行する。
【0066】
確度１３ｄが閾値未満である場合は（Ｓ２１のＹＥＳ）、再検証判断部１３７は、新機械学習モデルの推論結果１ｂについて再検証の実施を判断する（Ｓ２２）。ここで、再検証判断部１３７は、切替回路部１３８と性能劣化判定部１３３へ再検証トリガ信号を出力する。
【0067】
次いで、画像処理部１３９は、不一致領域の画像情報に所定の画像処理を行い、不一致領域の画像情報を変更する（Ｓ２３）。その後、ステップＳ２４～２６の処理を実行する。ステップＳ２４～２６は、第２の実施形態（図６）のステップＳ１１～Ｓ１３と同じである。
【0068】
物体有無判定部１３２Ａにおいて、特徴量抽出部１３４は、現機械学習モデルの推論結果１ｃと新機械学習モデルの推論結果１ｂとの不一致情報１３ａを基に、推論対象画像（入力データ１ａ）の画像処理後の不一致領域の特徴量１３ｅを抽出する（Ｓ２４）。
【0069】
次いで、有無判定部１３５は、画像処理後の不一致領域の特徴量１３ｅを基に、推論対象画像（入力データ１ａ）の不一致領域内に物体が存在するかを判定する（Ｓ２５）。
【0070】
次いで、確度算出部１３６は、画像処理後の不一致領域の特徴量１３ｆの確度１３ｄを算出する（Ｓ２６）。ステップＳ２６の処理後、ステップＳ２１の判定処理に移行する。
【0071】
そして、ステップＳ２１において、再検証判断部１３７は再度、画像処理後の不一致領域の画像情報（切出し画像）の特徴量の確度１３ｄが閾値未満かどうかを判定し、確度１３ｄが閾値以上（Ｓ２１のＮＯ）のときはステップＳ２７へ移行し、確度１３ｄが閾値未満（Ｓ２１のＹＥＳ）のときはステップＳ２２へ移行する。
【0072】
ステップＳ２１でＮＯ判定の場合、性能劣化判定部１３３は、図６のステップＳ１４と同じように、物体有無判定部１３２で判定された推論対象画像（入力データ１ａ）の物体有無の判定結果１３ｃと、新機械学習モデルでの物体の検出有無１３ｂと、不一致領域の特徴量の確度１３ｄとに基づいて、新機械学習モデルの性能劣化を判定する（Ｓ２７）。ステップＳ２７の処理後、新機械学習モデルの性能劣化の再検証処理を終了する。
【0073】
なお、上述した画像認識装置は、画像センサから逐次入力される入力画像を用いて、新機械学習アルゴリズムの推論結果を検証するため、予め設定した条件が満たされた時点で画像処理部１３９の画像処理を中止することが望ましい。
【0074】
例えば、画像処理された不一致領域の画像情報における物体有無の判定結果１３ｃの確度１３ｄが閾値以上である場合、又は、画像処理された不一致領域の画像情報における物体有無の判定結果１３ｃの確度１３ｄが閾値よりも低いが、画像処理部１３９による画像処理を所定の回数実施済みの場合、再検証判断部１３７は、新機械学習モデルの性能劣化の判定を実行するよう性能劣化判定部１３３へ指示する。
【0075】
このように画像処理部１３９で予め決められた回数の画像処理（前処理）を行うか、前処理の結果に対する確度１３ｄの変化を見ながら、それ以上の回数の前処理を行っても効果がないと判断した場合はそこで前処理を打ち切り、第２の実施形態と同様に確度「低」のときの判定を行う。
【0076】
なお、画像処理部１３９の画像処理回数が２回目以降の場合に、画像処理部１３９は、前回の画像処理と今回の画像処理とで、画像処理後の不一致領域の画像情報における物体有無の判定結果１３ｃの確度１３ｄの変化に応じて、画像処理の内容を決定する。画像処理の内容とは、例えば、画像処理の強度や画像処理の方法である。
【0077】
［変形例（１）］
次に、本発明の第３の実施形態の変形例（１）に係る画像認識装置の推論結果検証部の構成について図１０を参照して説明する。
図１０は、本発明の第３の実施形態の変形例（１）に係る画像認識装置の推論結果検証部１３Ｂ１の構成例を示すブロック図である。本変形例（１）に係る画像認識装置の推論結果検証部１３Ｂ１は、図８に示した推論結果検証部１３Ｂの構成に加えて、さらに画像解析部１４１を備える。
次に、本発明の第３の実施形態の変形例（１）に係る画像認識装置の推論結果検証部の構成について図１０を参照して説明する。
図１０は、本発明の第３の実施形態の変形例（１）に係る画像認識装置の推論結果検証部１３Ｂ１の構成例を示すブロック図である。本変形例（１）に係る画像認識装置の推論結果検証部１３Ｂ１は、図８に示した推論結果検証部１３Ｂの構成に加えて、さらに画像解析部１４１を備える。
【0078】
画像解析部１４１は、入力画像（入力データ１ａ）における不一致情報１３ａに含まれる不一致領域の画像情報を解析し、解析結果を画像処理部１３９へ出力する。画像処理部１３９は、画像解析部１４１による解析結果に基づいて、画像処理を行う。
【0079】
例えば、画像解析部１４１が、入力される不一致領域の画像情報（切出し画像）の特徴を解析して、画像処理部１３９は、明るい画像であれば明度を下げる画像処理、ぼやけている画像であればエッジをシャープにする画像処理をかけるなどを実施する。このように、本実施形態では、入力画像の不一致領域の特徴に応じた画像処理を行うことで、より精度の高い物体有無判定が可能となる。
【0080】
［変形例（２）］
また、前処理を行わない構成も考えられる。例えば、異なる条件で学習させた物体有無判定モデル（物体有無判定部１３２Ａ）を２つ以上並列に配置して、それらの判定結果の多数決を取る、といったモデルアンサンブル方式が挙げられる。
また、前処理を行わない構成も考えられる。例えば、異なる条件で学習させた物体有無判定モデル（物体有無判定部１３２Ａ）を２つ以上並列に配置して、それらの判定結果の多数決を取る、といったモデルアンサンブル方式が挙げられる。
【0081】
図１１は、本発明の第３の実施形態の変形例（２）に係る画像認識装置の推論結果検証部１３Ｂ２の構成例を示すブロック図である。本変形例（２）に係る画像認識装置の推論結果検証部１３Ｂ２は、図８に示した推論結果検証部１３Ｂと比較して、再検証判断部１３７、切替回路部１３８、及び画像処理部１３９を削除し、複数の物体有無判定部１３２Ａ－１～１３２Ａ－３を備える構成となっている。物体有無判定部１３２Ａの個数は、４個以上でもよい。
【0082】
物体有無判定部１３２Ａ－１～１３２Ａ－３の各々は、それぞれに異なる条件で学習された機械学習モデルで構成された特徴量抽出部１３４（図８）を有する。物体有無判定部１３２Ａ－１～１３２Ａ－３において、それぞれの確度算出部１３６と有無判定部１３５は同じ構成である。物体有無判定部１３２Ａ－１～１３２Ａ－３には、不一致情報抽出部１３１から不一致情報１３ａが入力される。そして、物体有無判定部１３２Ａ－１～１３２Ａ－３はそれぞれ、性能劣化判定部１３３に対して、不一致領域の画像情報における着目点有無の判定結果１３ｃ－１～１３ｃ－３と、その確度１３ｄ－１～１３ｄ－３を出力する。
【0083】
性能劣化判定部１３３は、物体有無判定部１３２Ａ－１～１３２Ａ－３から出力される不一致領域の画像情報における着目点有無の判定結果の確度１３ｄ－１～１３ｄ－３から、多数決で最終的な確度１３ｄを決定する。多数派の確度１３ｄは、必ずしも同一の値ではなくてもよく、予め設定した誤差範囲内に収まる確度を同じ確度（一つのグループ）とみなして最終的な確度に決定してもよい。
【0084】
そして、性能劣化判定部１３３は、多数決で決定した確度１３ｄを出力した物体有無判定部１３２Ａから出力された、不一致領域の画像情報における物体有無の判定結果１３ｃと、その確度１３ｄとを用いて、性能劣化を判定する。
【0085】
物体有無判定モデル（本例では、物体有無判定部１３２Ａの特徴量抽出部１３４）が異なれば、抽出する特徴量も異なるため、多数決のような判定論理によって確度を算出することができる。
【0086】
［第３の実施形態の効果］
このように構成された第３の実施形態では、確度の低い不一致領域の画像情報（切出し画像）に対して何度か画像条件を変えて物体有無判定を行うことにより、新機械学習モデルの性能劣化の見落としを削減できる確率が高まる。
このように構成された第３の実施形態では、確度の低い不一致領域の画像情報（切出し画像）に対して何度か画像条件を変えて物体有無判定を行うことにより、新機械学習モデルの性能劣化の見落としを削減できる確率が高まる。
【0087】
＜第４の実施形態＞
上述した第１～第３の実施形態では、新旧の機械学習モデルで検出した物体認識の差分となる領域の切出し画像（不一致領域の画像情報）内において、物体有無を識別することで性能改善又は劣化を検出した。これに対し、第４の実施形態では、切出し画像内に物体がある場合に、その物体の種類（クラス）の推論結果についても検証することにより、より詳細な検証を実現するものである。物体のクラスは、例えば車両、バイク、歩行者、信号機、看板などが挙げられるが、これに限定されるものではない。
上述した第１～第３の実施形態では、新旧の機械学習モデルで検出した物体認識の差分となる領域の切出し画像（不一致領域の画像情報）内において、物体有無を識別することで性能改善又は劣化を検出した。これに対し、第４の実施形態では、切出し画像内に物体がある場合に、その物体の種類（クラス）の推論結果についても検証することにより、より詳細な検証を実現するものである。物体のクラスは、例えば車両、バイク、歩行者、信号機、看板などが挙げられるが、これに限定されるものではない。
【0088】
【0089】
図１２に示すように、本実施形態に係る推論結果検証部１３Ｃは、第３の実施形態における推論結果検証部１３Ｂの構成に加えて、さらにクラス判定部１４０と切替スイッチ１４１が配置されている。クラス判定部１４０以外の構成については、第１～第３の実施形態のいずれに対しても適用可能である。
【0090】
クラス判定部１４０は、物体有無判定部１３２Ａにおいて不一致領域の画像情報に着目点（例えば物体）が含まれる（物体有無の判定結果が「有」）と判定された場合に、着目点のクラスを判定し、クラス判定結果（クラス判定結果１４ａ）を出力するように構成されている。切替スイッチ１４１は、物体有無の判定結果が「有」の場合、不一致情報１３ａがクラス判定部１４０に入力されるように切り替える。切替スイッチ１４１は、切替回路部１３８と同様に、スイッチング素子を用いて構成することができる。
【0091】
性能劣化判定部１３３は、新機械学習モデルによる不一致領域内の着目点の検出有無を示す情報（新機械学習モデルでの検出有無１３ｂ）と、入力画像（入力データ１ａ）における不一致領域の画像情報における着目点有無の判定結果（物体有無の判定結果１３ｃ）と、不一致領域の画像情報における着目点有無の判定結果の確度（確度１３ｄ）と、着目点のクラス判定結果（クラス判定結果１４ａ）とに基づいて、新機械学習モデルの性能劣化を判定する。これにより、性能劣化判定部１３３は、新機械学習モデルの性能劣化、性能改善、性能変化の何れが発生しているかを判定することができる。
【0092】
物体有無判定部１３２における物体有無の判定結果１３ｃが「有」の場合は、クラス判定部１４０に対して切出し画像（不一致領域の画像情報）が入力される。クラス判定部１４０は、物体有無判定部１３２Ａと同様に、機械学習モデルで構成されたクラス判定器等で構成される。クラス判定部１４０の出力は、クラス分類の推論結果（クラス判定結果１４ａ）だけでもよいし、第２の実施形態のように推論結果の確度も含めて出力してもよい。出力に推論結果の確度を含む場合は、第３の実施形態のように、再検証判断部１３７に対してクラス分類の推論結果（クラス判定結果１４ａ）の確度を入力し、物体有無判定の推論結果の確度（確度１３ｄ）と合わせて再検証するか否かを判定する構成としてもよい。
【0093】
図１３は、本実施形態に係る性能劣化判定部１３３における性能検証判定条件を示す表である。
第１の実施形態と同様に、表中の（１）－１ａ，１ｂ及び（１）－２ａ，２ｂは、図２に示した不一致情報の例（１）と同様の条件である。（１）－１ａ，１ｂ及び（１）－２ａ，２ｂにおいて、入力データ１ａ（入力画像）の不一致領域内の新機械学習モデルでの物体の検出有無１３ｂは「無」、かつ入力データ１ａの不一致領域内の物体有無の判定結果１３ｃは「有」である。
第１の実施形態と同様に、表中の（１）－１ａ，１ｂ及び（１）－２ａ，２ｂは、図２に示した不一致情報の例（１）と同様の条件である。（１）－１ａ，１ｂ及び（１）－２ａ，２ｂにおいて、入力データ１ａ（入力画像）の不一致領域内の新機械学習モデルでの物体の検出有無１３ｂは「無」、かつ入力データ１ａの不一致領域内の物体有無の判定結果１３ｃは「有」である。
【0094】
（１）－１ａ及び（１）－１ｂにおいて、確度１３ｄが「高」であり、（１）－１ａではクラス判定結果１４ａが「正解」であるが判定結果１ｄは「性能劣化」、（１）－１ｂではクラス判定結果１４ａが「不正解」であるが判定結果１ｄは「性能変化」となる。また、（１）－２ａ及び（１）－２ｂにおいて、確度１３ｄが「低」であるため、クラス判定は実施されず、クラス判定結果１４ａはいずれも「Don’t care」となる。そして、いずれの判定結果１ｄも「性能劣化」となる。
【0095】
［第４の実施形態の効果］
第１～第３の実施形態の構成では、物体有無に関する性能劣化を検証することができたが、本実施形態では、クラス分類の推論結果（クラス判定結果１４ａ）に対する性能劣化も含めた検証が可能となり、より精度の高い機械学習モデルの検証が実現可能となる。
第１～第３の実施形態の構成では、物体有無に関する性能劣化を検証することができたが、本実施形態では、クラス分類の推論結果（クラス判定結果１４ａ）に対する性能劣化も含めた検証が可能となり、より精度の高い機械学習モデルの検証が実現可能となる。
【0096】
＜第５の実施形態＞
次に、上述した第１～第４の実施形態のいずれかで構成される画像認識装置を搭載した車両１０１で検証した結果を検証サーバ２０に送信し、性能劣化データを蓄積した後に機械学習モデルを再学習して、更新版の機械学習モデルを車両１０１に配信するシステム構成について、本実施形態で説明する。
次に、上述した第１～第４の実施形態のいずれかで構成される画像認識装置を搭載した車両１０１で検証した結果を検証サーバ２０に送信し、性能劣化データを蓄積した後に機械学習モデルを再学習して、更新版の機械学習モデルを車両１０１に配信するシステム構成について、本実施形態で説明する。
【0097】
図１４は、本発明の第５の実施形態に係る画像認識装置、及び検証・更新システムの構成例を示すブロック図である。図１４において、少なくとも、画像センサ、現機械学習モデル、及び新機械学習モデルは、車両１０１に実装されている。
【0098】
画像認識装置１Ａは、第１～第４の実施形態のいずれかの構成をとり、現機械学習モデルの推論結果１ｃを後段の制御装置２に出力する。図１４では、画像認識装置１Ａは、第一の演算部１２、第二の演算部１１、推論結果検証部１３、及び切替スイッチ４を備える。
【0099】
現機械学習モデルの推論結果１ｃが入力される制御装置２は、車両１０１の動作を制御するアクチュエータ３を制御するための制御ロジックで構成されたものを想定している。ただし、その前段に他センサの認識結果を統合するセンサフュージョンブロック等による認識、認知、判断などを行う処理ブロックが配置されていてもよい。
【0100】
画像認識装置１Ａはさらに、切替スイッチ４によって、入力データ１ａ（入力画像）が入力されたときの新機械学習モデルの劣化判定の判定結果１ｄを出力するとともに、検証結果が「性能劣化」である場合はそのときの入力データ１ａを出力するように構成される。性能劣化と判定された入力データ１ａは、無線通信によって検証サーバ２０に送信される。ただし、出力される前に画像認識装置１Ａ内、又は車両１０１内の記憶装置に一時的に保存してから所定のタイミングで検証サーバ２０に送信するように構成してもよい。
【0101】
検証サーバ２０は、車両１０１，１０２，１０３，・・・，１０ＮまでのＮ台の車両で検証した入力データ１ａ（入力画像）のうち、性能劣化と判定されたものを受信する。受信した入力データ１ａは、最終検証部２１により、各車両での性能劣化の判定結果１ｄの妥当性を確認する。最終検証部２１では、人手による確認が行われてもよいし、画像認識装置１Ａに実装される機械学習モデルよりも高性能な機械学習モデルで検証を行ってもよい。
【0102】
最終検証部２１で「性能劣化」と最終判定された不一致領域の画像情報（切出し画像）は、記憶装置２２に蓄積される。記憶装置２２に所定のデータ量が蓄積されるか、各車両が所定の走行距離を達成するか、所定の検証シーンを各車両が走行するなど、各車両に与えられた検証条件を満たした段階で、学習部２３において、記憶装置２２に蓄積された性能劣化データを用いて機械学習モデルの再学習が行われる。学習後の機械学習モデルを「再更新機械学習モデル」と呼称する。再更新機械学習モデル２０ａは、各車両の新機械学習モデルが実装される場所（演算部）に実装され、第１～第４の実施形態の動作に従って検証が行われる。
【0103】
［第５の実施形態の効果］
以上のような構成の第５の実施形態によれば、機械学習モデルの検証を複数の車両で実施することで、実車走行試験の時間及びコストを大幅に短縮することができる。また、本実施形態では、複数の車両から現機械学習モデルに対して認識性能が劣化するシーンの画像を収集することが可能となり、より効率良く機械学習モデルの再学習・性能向上が可能となる。これにより、本実施形態では、機械学習モデル更新に伴う一連の検証、学習、及び更新を、時短化及び低コスト化することが可能な画像認識システムを提供することができる。
以上のような構成の第５の実施形態によれば、機械学習モデルの検証を複数の車両で実施することで、実車走行試験の時間及びコストを大幅に短縮することができる。また、本実施形態では、複数の車両から現機械学習モデルに対して認識性能が劣化するシーンの画像を収集することが可能となり、より効率良く機械学習モデルの再学習・性能向上が可能となる。これにより、本実施形態では、機械学習モデル更新に伴う一連の検証、学習、及び更新を、時短化及び低コスト化することが可能な画像認識システムを提供することができる。
【0104】
＜第１～第５の実施形態の組み合わせ＞
以上で、第１～第５の実施形態に係る画像認識装置及びシステムについての説明を終了する。なお、各実施形態の処理は、それぞれを単独で実行してもよいし、第１～第５の実施形態のうち少なくとも２つの実施形態を組み合わせて実現してもよい。
以上で、第１～第５の実施形態に係る画像認識装置及びシステムについての説明を終了する。なお、各実施形態の処理は、それぞれを単独で実行してもよいし、第１～第５の実施形態のうち少なくとも２つの実施形態を組み合わせて実現してもよい。
【0105】
図１５は、本発明の各実施形態に係る画像認識装置１，１Ａ及び検証サーバ２０が備える計算機のハードウェア構成例を示すブロック図である。計算機３０は、いわゆるコンピューターとして用いられるハードウェアである。計算機３０は、バスにそれぞれ接続されたＣＰＵ（Central Processing Unit）３１、ＲＯＭ（Read Only Memory）３２、ＲＡＭ（Random Access Memory）３３を備える。さらに、計算機３０は、バスに接続された不揮発性ストレージ３６、及び通信インターフェース３７を備える。図１５では、ＣＰＵ３１が、ＲＯＭ３２又は不揮発性ストレージ３６に格納されたプログラムを実行することにより、上述した本発明の実施形態に係る画像認識装置１，１Ａ又は検証サーバ２０の各機能が実現される。
【0106】
計算機３０は、プロセッサ（例えばＣＰＵ３１、又はＧＰＵ）によりプログラムを実行し、記憶資源（例えば、ＲＡＭ３３）やインターフェースデバイス（例えば通信ポート）等を用いながら、プログラムで定められた処理を行う。そのため、プログラムを実行して行う処理の主体を、プロセッサとしてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であればよく、特定の処理を行う専用回路を含んでいてもよい。ここで、専用回路とは、例えばＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）、ＣＰＬＤ（Complex Programmable Logic Device）等である。
【0107】
プログラムは、プログラムソースから計算機３０にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機３０が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、実施形態において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
【0108】
さらに、本発明は上述した実施形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得ることは勿論である。例えば、上述した実施形態は本発明を分かりやすく説明するためにその構成を詳細かつ具体的に説明したものであり、必ずしも説明したすべての構成要素を備えるものに限定されない。また、各実施形態の構成の一部について、他の構成要素の追加又は置換、削除をすることも可能である。さらに、特に限定しない限り、各構成要素は単数でも複数でも構わない。
【0109】
また、上述した実施形態では、機械学習としてディープニューラルネットワークを用いた画像認識処理の例を説明したが、この例に限らない。例えば、ディープニューラルネットワーク以外の機械学習として、ロジスティック回帰、ランダムフォレスト、ブースティング、ＳＶＭ(サポートベクターマシン)などを用いることができる。
【0110】
また、本明細書において、時系列的な処理を記述する処理ステップについては、処理結果に影響を及ぼさない範囲で、処理順序を変更してもよい。
【符号の説明】
【0111】
１…画像認識装置、１１…第二の演算部、１２…第一の演算部、１３…推論結果検証部、１３１…不一致情報抽出部、１３２，１３２Ａ…物体有無判定部、１３３…性能劣化判定部、１３４…特徴量抽出部、１３５…有無判定出力部、１３６…確度算出部、１３７…再検証判断部、１３８…切替回路部、１３９…画像処理部、１４０…クラス判定部、２０…検証サーバ、２１…最終検証部、２２…記憶装置、２３…学習部、１０１～１０Ｎ…車両
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】