特開 2024-95451 画像認識装置、保存画像決定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024095451

(43)【公開日】2024-07-10

(54)【発明の名称】画像認識装置、保存画像決定方法

(51)【国際特許分類】

   G06V 10/98 20220101AFI20240703BHJP

   G06T 7/00 20170101ALI20240703BHJP

   G06T 7/70 20170101ALI20240703BHJP

   G08G 1/16 20060101ALI20240703BHJP

   G08G 1/00 20060101ALI20240703BHJP

【ＦＩ】

G06V10/98

G06T7/00 650B

G06T7/70 A

G08G1/16 A

G08G1/00 A

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022212750

(22)【出願日】2022-12-28

(71)【出願人】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】北山 晃

(72)【発明者】

【氏名】小野 豪一

(72)【発明者】

【氏名】伊藤 浩朗

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181CC04

5H181LL01

5H181LL02

5H181LL04

5H181LL06

5H181LL09

5H181MC04

5H181MC19

5H181MC22

5L096BA04

5L096GA51

5L096GA55

(57)【要約】

【課題】新たに作成するプログラムを評価するための画像を適切に判定できる。
【解決手段】画像認識装置は、入力画像に対して画像認識プログラムを用いて物体検出を行なう画像認識装置であって、従来の画像認識プログラムである現プログラムおよび新たな画像認識プログラムである新プログラムを格納する記憶部と、同一の入力画像に対する現プログラムの物体検出結果および新プログラムの画像認識結果の差分である検出差分を抽出する差分抽出部と、検出差分の出現状況に基づいて入力画像を保存するか否かの保存要否を判定する送信判定部と、送信判定部が保存すると判定した入力画像を画像認識装置の外部に出力する、または送信判定部が保存すると判定した入力画像を画像認識装置に保存する保存部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

入力画像に対して画像認識プログラムを用いて物体検出を行なう画像認識装置であって、
従来の前記画像認識プログラムである現プログラムおよび新たな前記画像認識プログラムである新プログラムを格納する記憶部と、
同一の前記入力画像に対する前記現プログラムの物体検出結果および前記新プログラムの画像認識結果の差分である検出差分を抽出する差分抽出部と、
前記検出差分の出現状況に基づいて前記入力画像を保存するか否かの保存要否を判定する送信判定部と、
前記送信判定部が保存すると判定した前記入力画像を前記画像認識装置の外部に出力する、または前記送信判定部が保存すると判定した前記入力画像を前記画像認識装置に保存する保存部と、を備える画像認識装置。

【請求項2】

請求項１に記載の画像認識装置において、
前記送信判定部は、取得時間が異なる複数の前記入力画像に対する前記検出差分に基づき前記保存要否を判断する時系列フィルタを有する画像認識装置。

【請求項3】

請求項１に記載の画像認識装置において、
前記送信判定部は、前記入力画像における前記検出差分の位置に応じた重要度に基づき前記保存要否を判断する空間フィルタを有する画像認識装置。

【請求項4】

請求項１に記載の画像認識装置において、
前記送信判定部は、
取得時間が異なる複数の前記入力画像に対する前記検出差分の出現を時系列スコアとして算出する時系列フィルタと、
前記入力画像における前記検出差分の位置に応じた重要度を位置スコアとして算出する空間フィルタと、
前記時系列スコアおよび前記位置スコアを用いて差分スコアを算出するスコアフィルタと、
前記差分スコアに基づき前記保存要否を判定するトリガ判定部と、を備える画像認識装置。

【請求項5】

請求項４に記載の画像認識装置において、
前記スコアフィルタは、前記差分スコアを保存するスコア保持部をさらに備え、
前記トリガ判定部は前記スコア保持部に保存された前記差分スコアに基づき前記保存要否を判定する画像認識装置。

【請求項6】

請求項５に記載の画像認識装置において、
前記トリガ判定部は、所定期間内における最大の前記差分スコアに対応する前記入力画像、所定の閾値を超える前記差分スコアに対応する前記入力画像、および極大値となる前記差分スコアに対応する前記入力画像、の少なくとも１つを保存するように前記保存要否を判定する画像認識装置。

【請求項7】

請求項１に記載の画像認識装置において、
前記検出差分が前記現プログラムに対する前記新プログラムの劣化が原因である程度を示す信頼度スコアを出力する検証部をさらに備え、
前記送信判定部は、前記検出差分の出現状況および前記信頼度スコアに基づいて前記保存要否を判定する画像認識装置。

【請求項8】

請求項７に記載の画像認識装置において、
前記新プログラムは、さらに検出結果の信頼度である新プログラム信頼度を出力し、
取得時間が異なる複数の前記入力画像に対する前記検出差分の出現を時系列スコアとして算出する時系列フィルタと、
前記入力画像における前記検出差分の位置に応じた重要度を位置スコアとして算出する空間フィルタと、
前記新プログラム信頼度、前記時系列スコア、前記位置スコア、および前記信頼度スコアに基づき性能劣化スコアを算出する性能劣化スコア算出部と、をさらに備え、
前記送信判定部は、前記性能劣化スコアに基づき前記保存要否を判定する画像認識装置。

【請求項9】

請求項８に記載の画像認識装置において、
前記性能劣化スコアを保存するスコア保持部をさらに備え、
前記送信判定部は前記スコア保持部に保存された前記性能劣化スコアに基づき前記保存要否を判定する画像認識装置。

【請求項10】

請求項１に記載の画像認識装置において、
前記現プログラムの物体検出結果は、第１演算結果を出力する第１プログラムに利用され、
前記第１演算結果は前記画像認識装置を搭載する車両の制御に用いられ、
前記送信判定部は、前記新プログラムの物体検出結果を前記第１プログラムに入力して得られる第２演算結果と前記第１演算結果との差分である制御差分、および前記検出差分の出現状況に基づいて前記保存要否を判定する、画像認識装置。

【請求項11】

請求項７に記載の画像認識装置において、
前記現プログラムの物体検出結果は、第１演算結果を出力する第１プログラムに利用され、
前記第１演算結果は前記画像認識装置を搭載する車両の制御に用いられ、
前記送信判定部は、前記新プログラムの物体検出結果を前記第１プログラムに入力して得られる第２演算結果と前記第１演算結果との差分である制御差分、および前記検出差分の出現状況に基づいて前記保存要否を判定する、画像認識装置。

【請求項12】

入力画像に対して画像認識プログラムを用いて物体検出を行なう画像認識装置が実行する保存画像決定方法であって、
前記画像認識装置は、従来の前記画像認識プログラムである現プログラムおよび新たな前記画像認識プログラムである新プログラムを格納する記憶部を備え、
同一の前記入力画像に対する前記現プログラムの物体検出結果および前記新プログラムの画像認識結果の差分である検出差分を抽出する差分抽出ステップと、
前記検出差分の出現状況に基づいて前記入力画像を保存するか否かの保存要否を判定する送信判定ステップと、
前記送信判定ステップにより保存すると判定され前記入力画像を前記画像認識装置の外部に出力する、または前記送信判定ステップにより保存すると判定された前記入力画像を前記画像認識装置に保存する保存ステップと、を含む保存画像決定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識装置、および保存画像決定方法に関する。

【背景技術】

【0002】

プログラムの不具合により人命に関わる重大な事故を起こす可能性のあるアプリケーションにおいては、そのプログラムを実運用する前に性能検証を徹底して行なうことが要求される。たとえば自動車向けのプログラムにおいては、シミュレータ等の仮想開発環境で膨大なテストパタンを用いた検証を行なった後に、実験用車両で数十万キロの公道試験走行を行ない、不具合が無いことを確認して安全性を担保している。プログラム更新時も同様に実験用車両を用いた検証が要求されるが、そもそも実環境で動作する実機を用いた検証には膨大な時間と、その結果を検証するための人的コストが課題となる。特許文献１には、複数の制御処理を含む第１のプログラムと前記複数の制御処理の少なくとも一部が変更された複数の制御処理を含む第２のプログラムとの各々について、前記複数の制御処理の各々を、前記複数の制御処理の並行処理を実現する並行性処理と、前記複数の制御処理による機能を実現する機能逐次処理とに分割し、前記複数の制御処理の各々が前記並行性処理と前記機能逐次処理とに分割された前記第１のプログラムを第１の分割済プログラムとして出力するとともに、前記複数の制御処理の各々が前記並行性処理と前記機能逐次処理とに分割された前記第２のプログラムを第２の分割済プログラムとして出力する分割部と、前記第２の分割済プログラムについて機能の欠陥が機能的欠陥として検出された場合に、前記第１の分割済プログラムと前記第２の分割済プログラムとの間で異なる機能逐次処理を前記機能的欠陥の原因と推定し、前記第２の分割済プログラムについて並行処理に起因する欠陥が並行性欠陥として検出された場合に、前記第１の分割済プログラムと前記第２の分割済プログラムとの間で異なる並行性処理を前記並行性欠陥の原因と推定する原因推定部とを備えた動作検証装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１８／１５０５０４号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載されている発明では、新たに作成するプログラムを評価するための画像を適切に判定できない。

【課題を解決するための手段】

【0005】

本発明の第１の態様による画像認識装置は、入力画像に対して画像認識プログラムを用いて物体検出を行なう画像認識装置であって、従来の前記画像認識プログラムである現プログラムおよび新たな前記画像認識プログラムである新プログラムを格納する記憶部と、同一の前記入力画像に対する前記現プログラムの物体検出結果および前記新プログラムの画像認識結果の差分である検出差分を抽出する差分抽出部と、前記検出差分の出現状況に基づいて前記入力画像を保存するか否かの保存要否を判定する送信判定部と、前記送信判定部が保存すると判定した前記入力画像を前記画像認識装置の外部に出力する、または前記送信判定部が保存すると判定した前記入力画像を前記画像認識装置に保存する保存部と、を備える。
本発明の第２の態様による保存画像決定方法は、入力画像に対して画像認識プログラムを用いて物体検出を行なう画像認識装置が実行する保存画像決定方法であって、前記画像認識装置は、従来の前記画像認識プログラムである現プログラムおよび新たな前記画像認識プログラムである新プログラムを格納する記憶部を備え、同一の前記入力画像に対する前記現プログラムの物体検出結果および前記新プログラムの画像認識結果の差分である検出差分を抽出する差分抽出ステップと、前記検出差分の出現状況に基づいて前記入力画像を保存するか否かの保存要否を判定する送信判定ステップと、前記送信判定ステップにより保存すると判定され前記入力画像を前記画像認識装置の外部に出力する、または前記送信判定ステップにより保存すると判定された前記入力画像を前記画像認識装置に保存する保存ステップと、を含む。

【発明の効果】

【0006】

本発明によれば、新たに作成するプログラムを評価するための画像を適切に判定できる。

【図面の簡単な説明】

【0007】

【図1】第１の実施の形態における画像認識装置を搭載する車両の構成図

【図2】第１の実施の形態における画像認識装置の構成図

【図3】画像認識装置のハードウェア構成図

【図4】差分抽出部の処理を示す模式図

【図5】送信判定部の第１の例を示す図

【図6】時系列フィルタに入力される検出差分の一例を示す図

【図7】時系列フィルタに入力される検出差分の別の例を示す図

【図8】送信判定部の第２の例を示す図

【図9】空間フィルタが参照する危険度判定マップの一例を示す図

【図10】送信判定部の第３の例を示す図

【図11】変形例１における画像認識装置の構成図

【図12】第２の実施の形態における画像認識装置の構成図

【図13】第２の実施の形態における送信判定部の構成図

【図14】第３の実施の形態における画像認識装置を搭載する車両の構成図

【図15】画像認識装置と、制御プログラムと、第２制御プログラムと、制御差分抽出部との関係を示す図

【発明を実施するための形態】

【0008】

以下、図面を参照して本発明の実施の形態を説明する。各実施の形態は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。

【0009】

図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。同一または同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。

【0010】

各実施の形態において、プログラムを実行して行う処理について説明する場合がある。ここで、計算機は、プロセッサ（例えばＣＰＵ、ＧＰＵ）によりプログラムを実行し、記憶資源（例えばメモリ）やインターフェースデバイス（例えば通信ポート）等を用いながら、プログラムで定められた処理を行う。そのため、プログラムを実行して行う処理の主体を、プロセッサとしてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であればよく、特定の処理を行う専用回路を含んでいてもよい。ここで、専用回路とは、例えばＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）、ＣＰＬＤ（Complex
Programmable Logic Device）等である。

【0011】

プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、実施の形態において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

【0012】

近年では高度な自動運転の実現に向けて、機械学習の一つであるディープニューラルネットワーク（ＤＮＮ：Deep Neural Network）を適用した画像認識プログラムを用いた周辺認識アプリケーションの普及が進んでいる。機械学習を用いたプログラムは、ルールベースのアルゴリズムと比較して、プログラムを更新した際の性能変化が困難であることが知られている。

【0013】

このため、たとえば周辺認識アプリケーションでは、ある画像に対して現状版のプログラム（以下、「現プログラム」と呼ぶ）では物体を正しく認識できていたが、更新版のプログラム（以下、「新プログラム」と呼ぶ）では、物体の認識性能が劣化していることがありえる。認識性能の劣化とは、物体の位置がずれて認識されること、認識判定するための判定に用いる信頼度スコアが閾値を下回っているなどにより不検知となること、などである。

【0014】

このような事象は、画像に映っている物体の大きさや色、向き、形状などの特徴に加え、周辺物体や背景との位置関係、さらには画像撮影時に混入するハードウェア起因のノイズ等、様々なパラメータが複雑に関係して起こる。そのため、画像認識処理をする度に検出結果が揺らいでしまうことから、現プログラムと新プログラムの処理結果を等価性検証にかけると、非常に高い頻度で両者のプログラム間に差分が生じる。

【0015】

事後的な検証やプログラムの開発を目的として、現プログラムと新プログラムの処理結果が異なる画像を保存することは有用であるが、処理結果の相違のみを理由に画像を保存すると保存対象が膨大となる。すなわち、現プログラムと新プログラムとで認識性能に差がある画像を保存すると、保存対象が非常に膨大となる。以下では、保存する画像を決定する手法を説明する。

【0016】

以下の実施の形態では本発明を、車両制御、例えば、先進運転支援システム（Advanced Driver Assistance System: ADAS）や自動運転（Autonomous Driving：ＡＤ）向けの車載ＥＣＵに適用した例について説明する。ただし本発明は、ＡＤＡＳ、ＡＤ向け車載ＥＣＵに限定されるものではない。他には、自立無人搬送車（Automatic Guided Vehicle: AGV）、建設機械向けの周辺認識ＡＩの更新検証に用いられてもよいし、監視カメラなどのＡＩの更新検証に用いられてもよく、画像処理などの機械学習を用いた情報処理アルゴリズムの更新検証全般に適用可能である。

【0017】

―第１の実施の形態―
以下、図１～図１０を参照して、画像認識装置および保存画像決定方法の第１の実施の形態を説明する。

【0018】

図１は、画像認識装置１を搭載する車両９の構成図である。車両９は、画像認識装置１と、カメラ９１と、車外通信装置９２と、制御プログラム９３とを備える。画像認識装置１は、カメラ９１、車外通信装置９２、および制御プログラム９３と、公知の通信手法を用いて通信できる。この通信は有線でもよいし無線でもよい。この通信はたとえば、IEEE802.3、Controller Area Network、およびIEEE802.11等が挙げられる。カメラ９１は車両９の周囲を撮影し、撮影して得られた画像（以下、「撮影画像」や「入力画像」と呼ぶ）を画像認識装置１に出力する。画像認識装置１は、撮影画像に対して画像認識プログラムを用いて物体検出を行い、検出結果を制御プログラム９３に出力する。また画像認識装置１は、後述するように一部の撮影画像を車外通信装置９２に出力する。

【0019】

車外通信装置９２は、画像認識装置１が出力する撮影画像を無線通信により車両９の外部に存在する画像保管サーバ９９に送信する。車外通信装置９２と画像保管サーバ９９は、直接に無線で通信してもよいし、両者の間に基地局などの地上に固定された通信中継拠点があってもよいし、他の車両を介して通信してもよい。画像保管サーバ９９は車外通信装置９２から受信した撮影画像を不図示の不揮発性記憶装置に格納する。

【0020】

制御プログラム９３は、画像認識装置１が出力する検出結果を用いて演算を行う。制御プログラム９３が実行する演算の内容は任意であり、たとえば検出結果に基づき車両９を制御してもよいし、演算結果に基づき車両９の運転手に障害物の存在を報知してもよい。

【0021】

図２は、画像認識装置１の構成図である。画像認識装置１は、現プログラム１１と、新プログラム１２と、差分抽出部１３と、送信判定部１４と、トリガ受領部１９と、を備える。カメラ９１は、現プログラム１１、新プログラム１２、およびトリガ受領部１９に撮影画像３１を出力する。現プログラム１１は、少なくとも撮影画像３１を入力とし、現検出結果３２を出力する。新プログラム１２は、少なくとも撮影画像３１を入力とし、新検出結果３３を出力する。差分抽出部１３は、現検出結果３２および新検出結果を入力とし、検出差分３４を出力する。送信判定部１４は、検出差分３４を入力とし、送信トリガ３５を出力する。トリガ受領部１９は、撮影画像３１および送信トリガ３５を入力とし、撮影画像３１を出力する。トリガ受領部１９は、保存のために撮影画像３１を外部に出力するので、「保存部」と呼ぶこともできる。

【0022】

現プログラム１１および新プログラム１２は、いずれも撮影画像３１を入力とする画像認識プログラムであり、いずれも物体を検出する。ただし、現プログラム１１は動作の安定性がすでに確認されているのに対して、新プログラム１２は動作の確認が不十分な状態にある。新プログラム１２はたとえば、現プログラム１１における検出の見逃しや検出間違いを修正したプログラム、または新たな種類のオブジェクトを追加で認識できるように修正したプログラムである。現プログラム１１および新プログラム１２の動作の詳細は特に限定されず、機械学習を用いたＤＮＮベースのプログラムでもよいし、パターン認識技術などを適用したロジックベースのプログラムでもよい。

【0023】

現プログラム１１および新プログラム１２のそれぞれは様々な形態をとることができ、たとえば、単一のバイナリファイル、バイナリファイルと設定ファイルの組み合わせ、バイナリファイルとライブラリの組み合わせ、などである。さらに現プログラム１１および新プログラム１２の少なくとも一方は書き換え可能な論理回路でもよい。

【0024】

現プログラム１１が出力する現検出結果３２、および新プログラム１２が出力する新検出結果３３は、撮影画像３１における物体の座標、物体の種類、および検出信頼度である。物体の座標はたとえば、撮影画像の左上を原点とする直交座標系における座標である。物体の種類とはたとえば、車、歩行者、自転車などである。現検出結果３２は、本来の用途である制御プログラム９３へ出力されるとともに、比較のために差分抽出部１３に出力される。

【0025】

新プログラム１２が出力する新検出結果３３は、検証が不十分な新プログラム１２の出力結果であるために、車載ＥＣＵにおいては画像認識の後段処理の入力として用いられることは無く、あくまで検証用の情報として用いられる。

【0026】

差分抽出部１３は、現検出結果３２と新検出結果３３との差分を抽出し、検出差分３４として出力する。差分抽出部１３の詳細な処理は後述する。送信判定部１４は、検出差分３４の出現状況に基づいて撮影画像３１を保存すべきか否かを判断し、送信トリガ３５を出力する。ここで、検出差分３４の出現状況とは、たとえば時系列的に検出差分３４の出現頻度、出現連続性、位置の揺らぎなどである。また、検出差分３４が発生する位置が、予め決めておいた領域内であるか否かを判断してもよいし、前述した出現頻度や出現連続性などの判断条件と、差分発生位置の判断条件と組み合わせてもよい。送信トリガ３５は、送信判定部１４が保存すべきと判断する場合にのみ出力する信号でもよいし、保存の要否を示すデータを含み常に出力される信号でもよい。送信判定部１４の詳細な処理は後述する。

【0027】

トリガ受領部１９は、送信トリガ３５に基づき撮影画像３１を車外通信装置９２に出力する。送信判定部１４が保存すべきと判断する場合にのみ送信トリガ３５を出力する場合には、トリガ受領部１９は送信トリガ３５が入力された場合に撮影画像３１を出力する。送信判定部１４が保存の要否を示すデータを含む送信トリガ３５を出力する場合には、トリガ受領部１９は送信トリガ３５に保存を必要とする旨のデータが含まれる場合に撮影画像３１を出力する。

【0028】

図３は、画像認識装置１のハードウェア構成図である。画像認識装置１は、中央演算装置であるＣＰＵ４１、読み出し専用の記憶装置であるＲＯＭ４２、読み書き可能な記憶装置であるＲＡＭ４３、および車内通信装置４４を備える電子制御装置、すなわちＥＣＵである。ＣＰＵ４１がＲＯＭ４２に格納されるプログラムをＲＡＭ４３に展開して実行することで前述の様々な演算を行う。

【0029】

画像認識装置１は、ＧＰＵ４０、ＣＰＵ４１、ＲＯＭ４２、およびＲＡＭ４３の組み合わせの代わりに書き換え可能な論理回路であるＦＰＧＡや特定用途向け集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）により実現されてもよい。また画像認識装置１は、ＧＰＵ４０、ＣＰＵ４１、ＲＯＭ４２、およびＲＡＭ４３の組み合わせの代わりに、異なる構成の組み合わせ、たとえばＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３とＦＰＧＡの組み合わせにより実現されてもよい。更に，ＧＰＵ４０の代わりにＤＮＮを効率良く実行するための専用回路（ＡＩアクセラレータ等）を搭載しても良い。車内通信装置４４は、IEEE802.3またはController Area Networkに対応し、カメラ９１や車外通信装置９２との通信を実現する。

【0030】

図３ではＧＰＵ４０、ＣＰＵ４１およびＲＡＭ４３を１つのみ記載しているが、それぞれが２つ搭載されて現プログラム１１と新プログラム１２は異なるハードウエアリソースにより実行されてもよい。さらに、画像認識装置１が複数のＥＣＵにより構成され、現プログラム１１と新プログラム１２とが異なるＥＣＵにより実行されてもよい。

【0031】

図４は、差分抽出部１３の処理を示す模式図である。図４では、上部に示す撮影画像３１の処理結果を説明する。この撮影画像３１には、左上に車両９の前方を走行する別の車両が撮影されており、左上以外は路面が撮影されている。この撮影画像３１を現プログラム１１および新プログラム１２が処理し、それぞれ現検出結果３２および新検出結果３３を出力している。現検出結果３２では破線で示すように車両の領域が検出され、新検出結果３３では路面が検出されている。以下では、現検出結果３２および新検出結果３３が検出した領域の外縁を「検出枠」と呼ぶ。

【0032】

差分抽出部１３は、現検出結果３２と新検出結果３３の物体が検出された座標の不一致、物体の種類の不一致、検出信頼度の不一致を差分として抽出する。座標が一致するか否かは、たとえば検出枠を対象とするＩｏＵ（Intersect of Union）において所定の閾値、たとえば０．５以下であるか否かにより判断できる。具体的には、現検出結果３２における検出枠の領域をＡ３２、新検出結果３３における検出枠の領域をＡ３３、両者が重複する領域をＢとする場合に、差分抽出部１３は以下の式１が成り立つ場合に座標が一致すると判断する。

【0033】

ＩｏＵ ＝ Ｂ／（Ａ３２＋Ａ３３-Ｂ）＞０．５ ・・・（式１）

【0034】

図４に示す例では、現検出結果３２の検出枠と新検出結果３３の検出枠が全く重複しないので、式１におけるＢがゼロなので式１の条件が成立せず、差分抽出部１３は座標が一致しないと判断する。そして差分抽出部１３は、図４の下部に示すように一致しなかったそれぞれの検出枠の領域を検出差分３４として出力する。

【0035】

図５は、送信判定部１４の第１の例を示す図である。図５に示す送信判定部１４は、時系列フィルタ１４１およびトリガ判定部１４４を備える。時系列フィルタ１４１は、検出差分３４を入力とし、時系列フィルタ出力３６を出力する。時系列フィルタ１４１は、検出差分３４の発生状況を時系列で観測して、確度の高さを定量化する。具体的には時系列フィルタ１４１は、差分が時系列で連続的にＮ回発生した場合は確度が高いと判断して、差分が発生した旨を時系列フィルタ出力３６として出力し、トリガ判定部１４４が対応する撮影画像３１を保存するための送信トリガ３５を出力する。なお以下では時系列フィルタ出力３６を「時系列スコア」とも呼ぶ。

【0036】

図６は、時系列フィルタ１４１に入力される検出差分３４の一例を示す図である。図６には、図示上から下に向かって時刻Ｔ－２から時刻Ｔ＋２までの５つの時刻のデータが示されており、図示左から右にかけて現検出結果３２、新検出結果３３、および検出差分３４が示されている。検出差分３４における斜線は、差分が検出されなかったことを意味している。この場合に、確度の閾値をＮ＝３とする場合には、差分が発生した時刻Ｔの前後である時刻Ｔ－２、Ｔ－１、Ｔ＋１、Ｔ＋２では差分がないため差分発生の確度が低いと判断されて、時系列フィルタ１４１は時刻Ｔにおける差分を無視する。なおこの例において仮に確度の閾値がＮ＝１であれば、時系列フィルタ１４１は差分が発生した旨を時系列フィルタ出力３６として出力する。

【0037】

図７は、時系列フィルタ１４１に入力される検出差分３４の別の例を示す図である。図７には、図示上から下に向かって時刻Ｔ－２から時刻Ｔ＋３までの６つの時刻のデータが示されており、図示左から右にかけて現検出結果３２、新検出結果３３、および検出差分３４が示されている。図７に示す例では、新検出結果３３における検出枠の座標が揺らいでおり時刻ごとに異なり、現検出結果３２と相違している。図７に示す例では、差分抽出部１３は全ての時刻において差分が閾値以上であったと判断し、各時刻における現検出結果３２および新検出結果３３の検出枠を検出差分３４として出力した。

【0038】

時系列フィルタ１４１は、時系列で検出枠の座標揺らぎを平均化し、現検出結果３２とのＩｏＵの平均（以下、「Ａｉｏｕ」と呼ぶ）を算出して判定する。たとえば時系列フィルタ１４１は、Ａｉｏｕが０．５よりも小さい場合に現検出結果３２と新検出結果３３の差分は無視する構成としてもよい。この処理における平均化処理は、所定の時間内の単純平均でもよいし、移動平均でもよい。これらをまとめると、時系列フィルタ出力３６は時系列的な観点で検出差分３４の確度を解析した値と言える。ただし図７に示す例では、検出差分３４はＩｏＵの算出に必要なデータを含んでいる。このとき、時系列フィルタ出力３６を記号Ｃｔで表現すると、たとえば下記のように定義できる。

【0039】

Ｃｔ＝Ｄ×Ａｉｏｕ ・・・（式２）

【0040】

トリガ判定部１４４は、Ｃｔがある判定閾値を上回ると判定した場合は、算出された検出差分３４に対応する撮影画像３１を保存するための送信トリガ３５を出力する。これらの処理は一例であり、時系列で検出差分３４を観測したときに安定的に発生しているか否かに応じて送信トリガ３５を出力するように構成されていればよい。

【0041】

図８は、送信判定部１４の第２の例を示す図である。図８に示す送信判定部１４は、空間フィルタ１４２およびトリガ判定部１４４を備える。空間フィルタ１４２は、検出差分３４を入力とし、空間フィルタ出力３７を出力する。空間フィルタ１４２は、検出差分３４の発生位置の重要度を算出し、空間フィルタ出力３７を出力する。なお以下では、空間フィルタ出力３７を「位置スコア」とも呼ぶ。

【0042】

たとえば画像認識装置１の出力が自動運転向けの周辺認識アプリケーションに用いられる場合を想定すると、車両９の進路上に検出差分３４が発生した場合は、その後段の制御プログラムにおいて急ブレーキや急ハンドルなどの制御に繋がる可能性がある。そのため空間フィルタ１４２は、車両９の進路上の検出差分３４を重要な差分として空間フィルタ出力３７を出力し、トリガ判定部１４４から送信トリガ３５が出力される。一方で、撮影画像３１における上空や遠く離れた建物などにおける検出差分３４は車両９の制御に対する影響が無いため、空間フィルタ１４２はその差分を無視する。車両９にとって重要領域は、周辺物体の動きや位置関係、道路の形状、車両９の速度や操舵情報などによって動的に変化するために、これらの情報を用いて制御に与える影響に応じた領域定義が行われることが好ましい。

【0043】

図９は、空間フィルタ１４２が参照する危険度判定マップ１４２Ｍの一例を示す図である。危険度判定マップ１４２Ｍは、領域ごとの危険度Ａ～Ｄが設定されている。最も危険度が高い危険度Ａは、車両９が走行している走行車線であって所定距離未満が撮影される撮影画像３１内の領域に対応する。次に危険度が高い危険度Ｂは、車両９が走行している車線に隣接する車線が撮影される撮影画像３１内の領域に対応する。３番目に危険度が高い危険度Ｃは、車両９が走行する車線から２つ以上離れた車線や歩道および所定の距離以上離れた撮影画像３１内の領域に対応する。

【0044】

空間フィルタ１４２はたとえば、危険度判定マップ１４２Ｍにおける検出差分３４に対応する位置の危険度に応じた値を空間フィルタ出力３７として出力する。具体的には、検出差分３４が危険度Ａの領域に存在する場合は「５」、検出差分３４が危険度Ｂの領域に存在する場合は「３」、検出差分３４が危険度Ｃの領域に存在する場合は「１」、検出差分３４が危険度Ｄの領域に存在する場合は「０」を出力する。ただし空間フィルタ１４２は、検出差分３４が危険度Ｄの領域に存在する場合は空間フィルタ出力３７を出力しなくてもよい。

【0045】

図９の下部に示す重畳画像３１Ｍは、撮影画像３１に危険度判定マップ１４２Ｍに示す境界を重畳している。危険度Ａの領域は車両９が走行している車線の領域であり、危険度Ｄの領域が空の領域であることがわかる。なお危険度判定マップ１４２Ｍにおいて、危険度Ａの領域と危険度Ｃの領域の境界である境界Ｂ１は、車両９の走行速度の上昇とともに図示上方に移動させてもよい。車両９の速度が速いほど危険な領域が広がるためである。また、危険度Ａの領域と危険度Ｂの領域の境界である境界Ｂ２は、車両９のステアリング操作や道路の形状に合わせて移動や変形をさせてもよい。

【0046】

空間フィルタ１４２は、車両９の走行速度に応じて危険度判定マップ１４２Ｍを変形させるために不図示の速度センサの出力やタイヤの回転数情報を利用できる。空間フィルタ１４２は、車両９のステアリング操作に応じて危険度判定マップ１４２Ｍを変形させるために、車両９のステアリング操作量や不図示のジャイロセンサの出力を利用できる。空間フィルタ１４２は、道路の形状に応じて危険度判定マップ１４２Ｍを変形させるために、道路の形状を計測可能な不図示のセンサの出力や、地図情報と自己位置情報の組み合わせなどを利用できる。

【0047】

図１０は、送信判定部１４の第３の例を示す図である。図１０に示す送信判定部１４は、時系列フィルタ１４１と、空間フィルタ１４２と、スコアフィルタ１４３と、トリガ判定部１４４とを備える。トリガ判定部１４４は、スコアフィルタ１４３により定量化された時系列フィルタ１４１および空間フィルタ１４２の出力を用いて送信トリガ３５の出力要否を判断する。

【0048】

スコアフィルタ１４３は、差分スコア算出部２０１と、スコア保持部２０２とを備える。図１０の下部には、スコア保持部２０２に格納されるデータの一例をグラフ化して示している。差分スコア算出部２０１には、時系列フィルタ出力３６および空間フィルタ出力３７が入力される。差分スコア算出部２０１は、時系列フィルタ出力３６および空間フィルタ出力３７を用いて、定量化した差分スコア８１を算出してスコア保持部２０２に格納する。時刻ｔにおける差分スコアＳ（ｔ）はたとえば、時系列フィルタ出力３６を差分確度Ｃｔ（ｔ）で表し、空間フィルタ出力３７を重要度Ｐ（ｔ）で表すと、次のように定義できる。

【0049】

Ｓ（ｔ）＝Ｃｔ（ｔ）×Ｐ（ｔ） ・・・（式３）

【0050】

トリガ判定部１４４は、所定期間の最大のスコアに対応する撮影画像３１を対象として送信トリガ３５を生成してもよい。またトリガ判定部１４４は、複数の極大値である差分スコア８１に対応する撮影画像３１を対象として送信トリガ３５を生成してもよい。さらにトリガ判定部１４４は、閾値よりも大きい差分スコア８１に対応する撮影画像３１を対象として送信トリガ３５を生成してもよい。図１０の下部に示すグラフを参照して具体的に説明する。

【0051】

図１０の下部には、時刻ｔ０から時刻ｔ６までの時系列の差分スコア８１が示されている。時刻ｔ０から時刻ｔ６にかけて差分スコア８１は増減を繰り返しており、極大値は時刻ｔ１、ｔ３、ｔ４の３つのタイミングにあり、最大値は時刻ｔ４のタイミングである。また、差分スコア８１が閾値ｔｓを超えるのは、時刻ｔ２から時刻ｔ５までである。トリガ判定部１４４は、差分スコア８１が最大である時刻ｔ４の撮影画像３１を対象として送信トリガ３５を生成してもよい。またトリガ判定部１４４は、差分スコア８１が極大値となる時刻ｔ１、ｔ３、ｔ４の撮影画像３１を対象として送信トリガ３５を生成してもよい。さらにトリガ判定部１４４は、閾値ｔｓよりも大きいスコアを有する時刻ｔ２～時刻ｔ５の全ての撮影画像３１を対象として送信トリガ３５を生成してもよい。

【0052】

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）画像認識装置１は、撮影画像３１に対して画像認識プログラムを用いて物体検出を行なう。従来の画像認識プログラムである現プログラム１１および新たな画像認識プログラムである新プログラム１２を格納するＲＯＭ４２と、同一の撮影画像３１に対する現プログラム１１の物体検出結果および新プログラム１２の画像認識結果の差分である検出差分３４を抽出する差分抽出部１３と、検出差分３４の出現状況に基づいて撮影画像３１を保存するか否かの保存要否を判定する送信判定部１４と、送信判定部１４が保存すると判定した撮影画像３１を画像認識装置１の外部に出力するトリガ受領部１９を備える。そのため、新プログラム１２を評価するための撮影画像３１を適切に判定できる。具体的には次のとおりである。

【0053】

現プログラム１１および新プログラム１２では、カメラ９１から次々に撮影画像３１が入力されて画像処理を実行し、現検出結果３２および新検出結果３３を出力し続ける。これらを入力として差分抽出部１３でも検出差分３４を出力し続ける。画像処理プログラムがＤＮＮ等の機械学習ベースで構成される場合には検出差分３４は頻発する。そのため、単純に撮影画像３１を保存する場合には膨大な記憶領域が必要となり、かつ新プログラム１２の評価に適切でない撮影画像３１も含まれてしまう。本実施の形態では、送信判定部１４が適切な撮影画像３１を判定することでこの問題を解決している。また画像認識装置１が出力する撮影画像３１は、車外通信装置９２を介して車両９の外部に送信されるので、送信判定部１４が適切な撮影画像３１を判定することにより、車両９から外部への通信量を削減する効果も得られる。

【0054】

（２）送信判定部１４は、取得時間が異なる複数の撮影画像３１に対する検出差分に基づき保存要否を判断する時系列フィルタ１４１を有する。そのため画像認識装置１は、図６に示すように連続して発生する検出差分３４を選択して保存できる。

【0055】

（３）送信判定部１４は、撮影画像３１における検出差分の位置に応じた重要度に基づき保存要否を判断する空間フィルタ１４２を有する。そのため画像認識装置１は図９に示すように、撮影画像３１における重要な位置における検出差分３４を保存できる。

【0056】

（４）送信判定部１４は、取得時間が異なる複数の撮影画像３１に対する検出差分の出現を時系列スコアとして算出する時系列フィルタ１４１と、撮影画像３１における検出差分の位置に応じた重要度を位置スコアとして算出する空間フィルタ１４２と、時系列スコアおよび位置スコアを用いて差分スコア８１を算出するスコアフィルタ１４３と、差分スコア８１に基づき保存要否を判定するトリガ判定部１４４と、を備える。そのため画像認識装置１は、時間と空間の両方の観点から適切な撮影画像３１を選定できる。

【0057】

（５）スコアフィルタ１４３は、差分スコア８１を保存するスコア保持部２０２を備え、トリガ判定部１４４はスコア保持部２０２に保存された差分スコア８１に基づき保存要否を判定する。そのため画像認識装置１は、差分スコア８１の最大値や極大値に対応する撮影画像３１を選定できる。

【0058】

（６）トリガ判定部１４４は、所定期間内における最大の差分スコア８１に対応する撮影画像３１、所定の閾値を超える差分スコア８１に対応する撮影画像３１、および極大値となる差分スコア８１に対応する撮影画像３１、の少なくとも１つを保存するように保存要否を判定する。

【0059】

（変形例１）
図１１は、変形例１における画像認識装置１の構成図である。画像認識装置１は、不揮発性の記憶装置である装置内記憶部１８を備え、トリガ受領部１９は保存すべき撮影画像を装置内記憶部１８に格納してもよい。この場合には、車両９は車外通信装置９２を備えなくてもよい。またこの変形例では、送信判定部１４は画像認識装置１に保存する撮影画像３１を判断するので、送信判定部１４は「保存判定部」と呼ぶことができる。

【0060】

―第２の実施の形態―
図１２～図１３を参照して、画像認識装置および保存画像決定方法の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、新プログラムが現プログラムよりも適切に処理できない撮影画像のみを送信する点で、第１の実施の形態と異なる。

【0061】

図１２は、第２の実施の形態における画像認識装置１Ａの構成図である。画像認識装置１Ａは、第１の実施の形態における画像認識装置１の構成に加えて、検証部１５をさらに備える。検証部１５には差分抽出部１３から検出差分３４が入力され、信頼度スコア３８を算出し、信頼度スコア３８を送信判定部１４に出力する。送信判定部１４は、第１の実施の形態において説明した処理に加えて、信頼度スコア３８をさらに用いて送信トリガ３５を出力する。

【0062】

検証部１５は、ルールベースや物体検出により現プログラム１１に対する新プログラム１２の検出悪化を検証し信頼度スコア３８を算出する。信頼度スコア３８は、たとえば１～１０の数値であり、値が大きいほど検出差分３４が現プログラム１１に対する新プログラム１２の劣化が原因である可能性が高いことを意味する。たとえば新プログラム１２が現プログラム１１に対して新たに物体Ｒを検出するように修正され、新プログラム１２のみがある領域を認識したために検出差分３４が発生した場合を想定する。

【0063】

この場合に検証部１５は、検出差分３４に対して物体検出を行い物体Ｒが検出された場合には、検出差分３４は新プログラム１２が意図された通りに動作した結果なので低い信頼度スコア３８を設定する。しかし検出差分３４に対して物体検出を行った結果において何ら物体が検出されない場合には、新プログラム１２が誤検出を生じさせたことになるので、高い信頼度スコア３８を設定する。

【0064】

図１３は、第２の実施の形態における送信判定部１４Ａの構成図である。送信判定部１４Ａは、時系列フィルタ１４１、空間フィルタ１４２、スコアフィルタ１４３Ａ、およびトリガ判定部１４４を備える。時系列フィルタ１４１および空間フィルタ１４２には、第１の実施の形態と同様に検出差分３４が入力される。時系列フィルタ１４１および空間フィルタ１４２の処理は第１の実施の形態と同様なので説明を省略する。スコアフィルタ１４３Ａは、性能劣化スコア算出部３０１およびスコア保持部２０２を備える。スコアフィルタ１４３Ａには、時系列フィルタ出力３６、空間フィルタ出力３７、信頼度スコア３８、および新検出結果３３が入力される。

【0065】

性能劣化スコア算出部３０１は、次の式４に示すように性能劣化スコア８２を算出し、この性能劣化スコア８２をスコア保持部２０２に出力する。時刻ｔにおける性能劣化スコア８２をＳｄ（ｔ）で表すと、Ｓｄ（ｔ）は次のように算出できる。

【0066】

Ｓｄ（ｔ）＝Ｃｔ（ｔ）Ｐ（ｔ）Ｖｃ（ｔ）／Ｄｃ（ｔ） ・・・（式４）

【0067】

式４において、Ｃｔ（ｔ）は時刻ｔにおける時系列フィルタ出力３６であり、Ｐ（ｔ）は時刻ｔにおける空間フィルタ出力３７であり、Ｖｃ（ｔ）は時刻ｔにおける検証の信頼度スコア３８であり、Ｄｃ（ｔ）は時刻ｔにおける新プログラム１２における検出結果の信頼度である。すなわち、性能劣化の判定の際の信頼度が低いほど性能劣化スコアＳｄ（ｔ）は低下し、新プログラム１２における検出結果の信頼度Ｄｃ（ｔ）が低いほど性能劣化スコアＳｄ（ｔ）は増加する。

【0068】

トリガ判定部１４４は、スコア保持部２０２に格納されている時系列の性能劣化スコア８２を、第１の実施の形態における差分スコア８１と同様に扱い送信トリガ３５を生成する。すなわちトリガ判定部１４４は、所定期間の最大値となる性能劣化スコア８２、極大値となる性能劣化スコア８２、所定の閾値よりも大きい性能劣化スコア８２などに対応する撮影画像３１を対象として送信トリガ３５を生成する。

【0069】

上述した第２の実施の形態によれば、次の作用効果が得られる。
（７）画像認識装置１Ａは、検出差分が現プログラム１１に対する新プログラム１２の劣化が原因である程度を示す信頼度スコア３８を出力する検証部１５を備える。送信判定部１４は、検出差分３４の出現状況および信頼度スコア３８に基づいて保存要否を判定する。そのため画像認識装置１Ａは、新プログラム１２が現プログラム１１よりも劣ることが原因で生じた検出差分３４を選定できる。

【0070】

（８）新プログラム１２は、検出結果の信頼度である新プログラム信頼度を出力する。画像認識装置１Ａは、取得時間が異なる複数の撮影画像３１に対する検出差分の出現を時系列スコアとも呼ぶ時系列フィルタ出力３６として算出する時系列フィルタ１４１と、撮影画像３１における検出差分の位置に応じた重要度を位置スコアとも呼ぶ空間フィルタ出力３７として算出する空間フィルタ１４２と、新プログラム信頼度、時系列フィルタ出力３６、空間フィルタ出力３７、および信頼度スコア３８に基づき性能劣化スコア８２を算出する性能劣化スコア算出部３０１と、を備える。送信判定部１４Ａは、性能劣化スコア８２に基づき保存要否を判定する。

【0071】

（９）画像認識装置１Ａは、性能劣化スコア８２を保存するスコア保持部２０２を備える。送信判定部１４Ａのトリガ判定部１４４はスコア保持部２０２に保存された性能劣化スコア８２に基づき保存要否を判定する。

【0072】

（第２の実施の形態の変形例）
性能劣化スコア算出部３０１は、検証部１５が算出する信頼度スコア３８を用いずに、次のように差分スコアＳ（ｔ）を算出してもよい。

【0073】

Ｓ（ｔ）＝Ｃｔ（ｔ）Ｐ（ｔ）／Ｄｃ（ｔ） ・・・（式５）

【0074】

この差分スコアＳ（ｔ）に対するその後の処理や判定は第２の実施の形態と同様であるため説明は省略する。

【0075】

―第３の実施の形態―
図１４～図１５を参照して、画像認識装置および保存画像決定方法の第３の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、後段の制御プログラムの出力を比較して現プログラムと新プログラムの相違を判断する点で、第１の実施の形態と異なる。

【0076】

図１４は、第３の実施の形態における画像認識装置１Ｂを搭載する車両９Ｂの構成図である。車両９Ｂは、画像認識装置１Ｂと、カメラ９１と、車外通信装置９２と、制御プログラム９３と、第２制御プログラム９３Ａと、制御差分抽出部９６とを備える。第２制御プログラム９３Ａは、制御プログラム９３と同一である。ただし制御プログラム９３の出力は車両９Ｂの制御に用いられるのに対して、第２制御プログラム９３Ａの出力は車両９Ｂの制御に用いられない点が異なる。制御差分抽出部９６は、制御プログラム９３の出力と、第２制御プログラム９３Ａの出力との差分を抽出する。

【0077】

制御プログラム９３と第２制御プログラム９３Ａは、同一のバイナリから生成される異なるインスタンスでもよいし、同一のインスタンスを時分割で疑似的に異なるインスタンスとして扱ってもよい。ただし、制御プログラム９３と第２制御プログラム９３Ａとが完全なバイナリ一致でなくてもよく、出力の相違が入力の相違に起因することが確認されていればよい。

【0078】

図１５は、画像認識装置１Ｂと、制御プログラム９３と、第２制御プログラム９３Ａと、制御差分抽出部９６との関係を示す図である。現プログラム１１が現検出結果３２を差分抽出部１３および制御プログラム９３に出力する点は第１の実施の形態と同様である。新プログラム１２は、新検出結果３３を差分抽出部１３だけでなく第２制御プログラム９３Ａにも出力する。制御プログラム９３には現検出結果３２が入力され、第１演算結果９４を出力する。第２制御プログラム９３Ａには新検出結果３３が入力され、第２演算結果９４Ａを出力する。制御差分抽出部９６は、第１演算結果９４と第２演算結果９４Ａとの差分を抽出して、制御差分９５を送信判定部１４に出力する。

【0079】

送信判定部１４には、検出差分３４および制御差分９５が入力される。送信判定部１４は、これらのＡＮＤ条件で送信トリガ３５を出力してもよい。また送信判定部１４は、時系列フィルタ出力３６および空間フィルタ出力３７だけでなく制御差分９５も用いて差分スコア８１を算出し、差分スコア８１の最大値、極大値、閾値よりも大きな値に対応する撮影画像３１を対象として送信トリガ３５を生成してもよい。

【0080】

上述した第３の実施の形態によれば、次の作用効果が得られる。
（１０）現プログラム１１の物体検出結果である現検出結果３２は、第１演算結果９４を出力する制御プログラム９３に利用される。第１演算結果９４は画像認識装置１を搭載する車両９の制御に用いられる。送信判定部１４は、新プログラム１２の物体検出結果である新検出結果３３を第２制御プログラム９３Ａに入力して得られる第２演算結果９４Ａと第１演算結果９４との差分である制御差分９５、および検出差分３４の出現状況に基づいて保存要否を判定する。そのため、現プログラム１１と新プログラム１２の違いを、現プログラム１１の出力を利用する制御プログラム９３の出力の観点から比較することで、真にシステム全体に影響する撮影画像３１を選別できる。

【0081】

以上説明した第１の実施の形態～第３の実施の形態、およびそれぞれの変形例は、それぞれを単独で実行してもよいし、それらを組み合わせてもよい。また、システムの要求や検証のフェーズによって、差分データに対してどれだけ感度高く収集するか、あるいは通信コストの制約で送信できる画像のフレームレートの上限が変わってくるため、条件に応じて各実施の形態の構成を切替えるなどで運用することも可能である。たとえば、プログラムを更新して実機検証を開始した直後は第３の実施の形態の構成を取り、制御に与える真に重要な差分情報を抽出し、その後に第１の実施の形態や第２の実施の形態の構成で各種パラメータを調整しながら注目したい条件の差分データを収集してもよい。

【0082】

また、各実施の形態で得られた収集価値の高い撮影画像３１を送信または保存するだけではなく、車両制御に用いる現検出結果３２の確度を高めるために用いてもよい。たとえば、現検出結果３２に検出ミスがあり、更新版の新検出結果３３が正しい場合（更新版の性能が改善している場合）、かつ、送信判定部において確度が高いと判定されたものに対しては、検証した結果を後段の制御プログラム９３に入力することで、より性能の高い運転システムを実現してもよい。

【0083】

上述した各実施の形態および変形例において、機能ブロックの構成は一例に過ぎない。別々の機能ブロックとして示したいくつかの機能構成を一体に構成してもよいし、１つの機能ブロック図で表した構成を２以上の機能に分割してもよい。また各機能ブロックが有する機能の一部を他の機能ブロックが備える構成としてもよい。

【0084】

上述した各実施の形態および変形例において、差分抽出部１３や送信判定部１４を実現するプログラムはＲＯＭ４２に格納されるとしたが、プログラムは不揮発性の記憶装置に格納されていてもよい。また、画像認識装置１が不図示の入出力インタフェースを備え、必要なときに入出力インタフェースと画像認識装置１が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、例えば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウェア回路やＦＰＧＡにより実現されてもよい。

【0085】

上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

【符号の説明】

【0086】

１、１Ａ、１Ｂ：画像認識装置、９、９Ｂ：車両、１１：現プログラム、１２：新プログラム、１３：差分抽出部、１４、１４Ａ：送信判定部、１５：検証部、１８：装置内記憶部、３１：撮影画像、３２：現検出結果、３３：新検出結果、３４：検出差分、３５：送信トリガ、３６：時系列フィルタ出力、３７：空間フィルタ出力、３８：信頼度スコア、８１：差分スコア、８２：性能劣化スコア、９１：カメラ、９３：制御プログラム、９３Ａ：第２制御プログラム、９４：第１演算結果、９４Ａ：第２演算結果、９５：制御差分、９６：制御差分抽出部、１４１：時系列フィルタ、１４２：空間フィルタ、１４２Ｍ：危険度判定マップ、１４３：スコアフィルタ、１４３Ａ：スコアフィルタ、１４４：トリガ判定部、２０１：差分スコア算出部、２０２：スコア保持部、３０１：性能劣化スコア算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】