特開 2024-158171 学習データ作成方法、学習データ作成装置、及び学習データ作成システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024158171

(43)【公開日】2024-11-08

(54)【発明の名称】学習データ作成方法、学習データ作成装置、及び学習データ作成システム

(51)【国際特許分類】

   G06V 10/774 20220101AFI20241031BHJP

   G06T 7/00 20170101ALI20241031BHJP

   G08G 1/00 20060101ALI20241031BHJP

   G08G 1/16 20060101ALI20241031BHJP

   G06N 20/00 20190101ALI20241031BHJP

【ＦＩ】

G06V10/774

G06T7/00 350C

G06T7/00 650Z

G08G1/00 A

G08G1/16 C

G06N20/00

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023073142

(22)【出願日】2023-04-27

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110001933

【氏名又は名称】弁理士法人 佐野特許事務所

(72)【発明者】

【氏名】片山 雄喜

(72)【発明者】

【氏名】岡田 康貴

(72)【発明者】

【氏名】関 竜介

(72)【発明者】

【氏名】山埜 啓輔

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB05

5H181BB20

5H181CC04

5H181FF10

5H181FF13

5H181FF27

5H181LL01

5H181LL02

5H181LL04

5H181LL06

5H181LL09

5H181MC04

5H181MC19

5H181MC27

5L096BA04

5L096DA01

5L096FA06

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】物体検出ＡＩモデルの学習に用いられる学習効率の高い学習データを提供する。
【解決手段】学習データ作成方法は、特性が異なる複数のＡＩモデルによる学習データ候補画像に対する物体種別の判定において、判定結果への重要度に基づき注目領域を検出し、前記ＡＩモデル間の前記注目領域の変化量が閾値より大きい場合に、前記学習データ候補画像を学習データとして選択する。
【選択図】図１

【特許請求の範囲】

【請求項1】

物体種別を判定するＡＩモデルに対する学習のための学習データを作成する学習データ作成方法であって、
特性が異なる複数の前記ＡＩモデルによる学習データ候補画像に対する物体種別の判定において、判定結果への重要度に基づき注目領域を検出し、
前記ＡＩモデル間の前記注目領域の変化量を判定し、
前記変化量が予め定めた閾値よりも大きい場合に、前記学習データ候補画像を前記学習データとして選択する
学習データ作成方法。

【請求項2】

前記ＡＩモデルによる物体種別の分類において、物体画像の特徴量が物体種別の分類の境界であるクラスタ境界付近に位置する前記物体画像を前記学習データ候補画像とする
請求項１に記載の学習データ作成方法。

【請求項3】

前記学習データの類似画像を生成し、生成した前記類似画像を前記学習データとする
請求項１に記載の学習データ作成方法。

【請求項4】

前記類似画像を、敵対的生成ネットワークを用いて作成する
請求項３に記載の学習データ作成方法。

【請求項5】

物体種別を判定するＡＩモデルに対する学習のための学習データを作成する学習データ作成装置であって、
特性が異なる複数の前記ＡＩモデルによる学習データ候補画像に対する物体種別の判定において、判定結果への重要度に基づき注目領域を検出し、
前記ＡＩモデル間の前記注目領域の変化量を判定し、
前記変化量が予め定めた閾値よりも大きい場合に、前記学習データ候補画像を前記学習データとして選択する
学習データ作成装置。

【請求項6】

車載装置と、学習データ作成装置とを含む、物体種別を判定するＡＩモデルに対する学習のための学習データを作成する学習データ作成システムであって、
前記車載装置は、
車載カメラで撮影した撮影画像を取得し、
前記撮影画像に対する前記ＡＩモデルによる物体検出結果に基づいて前記車両の制御を行い、
前記撮影画像に対する前記ＡＩモデルによる物体種別の分類において、物体画像の特徴量が物体種別の分類の境界であるクラスタ境界付近に位置する前記物体画像を学習データ候補画像として選択し、
選択した前記学習データ候補画像を前記学習データ作成装置に送信し、
前記学習データ作成装置は、
特性が異なる複数の前記ＡＩモデルによる前記学習データ候補画像に対する物体種別の判定において、判定結果への重要度に基づき注目領域を検出し、
前記ＡＩモデル間の前記注目領域の変化量を判定し、
前記変化量が予め定めた閾値よりも大きい場合に、前記学習データ候補画像を前記学習データとして選択する
学習データ作成システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習データ作成方法、学習データ作成装置、及び学習データ作成システムに関する。

【背景技術】

【0002】

従来、ディープラーニングを用いた画像認識（画像分類、物体検出等）のＡＩ（人口知能：Artificial Intelligence）モデルの作成には、ラベル付け（物体種類、物体範囲等）された数千枚から数百万枚を超える大量の学習用教師データが必要である。一方、既に学習済みのデータ等を追加学習すると、ＡＩモデルが過学習となる虞があった。そして、ＡＩモデルの判断精度の向上には、ＡＩモデルが判断を苦手とする苦手画像を学習データセットに加えて追加学習することが効果的、且つ効率的である。苦手画像の判断方法としては、クラスタ境界付近の画像を苦手画像と判断する従来技術が知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－２１２０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、あるＡＩモデルにおいて苦手画像とされた画像が、別のＡＩモデルにおいて苦手画像とされない場合がある。このため、従来技術のようにＡＩモデルで苦手画像を判断する（例えば、上述のように、クラスタ境界付近の画像を苦手画像と判断する）方法を用いた場合、抽出された苦手画像は学習対象のＡＩモデルに対して苦手画像でないことが起こり得る。また、汎用的に作成される学習データセットにおいて、あるＡＩモデル用に作成した苦手画像による学習データセットは、他のＡＩモデルで苦手画像でない画像が多く含まれる可能性があるため、追加学習用として好適に使えない。したがって、夫々のＡＩモデル用に苦手画像を判断し、学習データを作成する必要がある。

【0005】

本発明は、上記の課題に鑑み、学習対象ＡＩモデルにおける好適な学習データを作成することが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

例示的な本発明の学習データ作成方法は、物体種別を判定するＡＩモデルに対する学習のための学習データを作成する学習データ作成方法であって、特性が異なる複数の前記ＡＩモデルによる学習データ候補画像に対する物体種別の判定において、判定結果への重要度に基づき注目領域を検出し、前記ＡＩモデル間の前記注目領域の変化量を判定し、前記変化量が予め定めた閾値よりも大きい場合に、前記学習データ候補画像を前記学習データとして選択する。

【発明の効果】

【0007】

異なるＡＩモデルにおける物体判定に対して大きい影響があった物体画像の注目領域に、ＡＩモデル間の差異があった場合、当該物体画像は各ＡＩモデルが苦手とする苦手画像と推定できる。本発明は、この特性を利用して、ＡＩモデルにおける学習効果の高い苦手画像を選択する。したがって、本発明によれば、効率的な学習を行える学習データの作成に貢献できる。

【図面の簡単な説明】

【0008】

【図1】学習データ作成システムの一例を示す構成図

【図2A】車両で撮影された周囲画像の例を示す説明図

【図2B】車両で撮影された周囲画像における物体検出結果の例を示す説明図

【図3】検出物体に対する特徴量のデータ散布図の一例を示す説明図

【図4A】苦手候補画像の物体検出に係る注目領域の第１例を示す説明図

【図4B】苦手候補画像の物体検出に係る注目領域の第２例を示す説明図

【図5】苦手画像に類似する類似画像の生成方法の一例を示す説明図

【図6】図１の車載学習装置が実行する苦手候補画像処理を示すフローチャート

【図7】図１の学習データ作成装置が実行する学習データ作成処理を示すフローチャート

【発明を実施するための形態】

【0009】

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。なお、本発明は以下に示す実施形態の内容に限定されるものではない。

【0010】

図１は、学習データ作成システムの一例を示す構成図である。図１では、本実施形態の特徴を説明するために必要な構成要素が示されており、一般的な構成要素の記載は省略されている。

【0011】

学習データ作成システム１は、車両Ｖの車載学習装置１０と、サーバ装置等として構成された学習データ作成装置４０と、を含む。なお、大量のデータを収集する面から、学習データ作成装置４０と複数の車両の車載学習装置１０とからなる学習データ作成システムが好ましい。車載学習装置１０及び学習データ作成装置４０は、移動体通信網等による通信ネットワーク（不図示）を介し、双方向通信可能に接続されている。

【0012】

車両Ｖには、カメラＣと、車載学習装置１０と、車両制御装置５０と、が搭載される。カメラＣは、車両Ｖの周囲画像を撮影する。カメラＣは、例えば車両Ｖの前方、後方、左右両側方に設置され、これらの方向を撮影する前方カメラ、後方カメラ、左方カメラ、右方カメラにより構成される。

【0013】

車両制御装置５０は、後述する車載ＡＩモデルを用いた車両周囲の物体（障害物）検出結果に基づき、障害物の存在（位置、物体種別等）の運転者への通知を行い、また自動制動制御等の車両制御を行う。つまり、車載ＡＩ（車載ＡＩモデルを用いた物体検知機能）は、各種車両制御に利用され、また後述の学習データの生成に利用される。

【0014】

車載学習装置１０は、通信部１１と、記憶部１２と、コントローラ１３と、を備える、いわゆるコンピュータ装置によって構成される。車載学習装置１０は、後述する車載ＡＩモデル１２３の学習処理を行う。

【0015】

通信部１１は、通信ネットワークを介して他の装置（車両Ｖ内の各装置、及び外部装置）との間でデータの通信を行うためのインタフェースである。通信部１１は、学習データ作成装置４０との無線通信を行うための無線通信装置を含み、例えば５Ｇ通信（第５世代移動通信システム）における移動体電話網の送受信装置で構成される。

【0016】

記憶部１２は、揮発性メモリ及び不揮発性メモリを含んで構成され、車載ＡＩモデル１２３の学習処理等の各種処理に必要な各種情報を記憶する。揮発性メモリは、例えばＲＡＭ（Random Access Memory）で構成される。不揮発性メモリは、例えばＲＯＭ（Read Only Memory）、フラッシュメモリ、ハードディスクドライブで構成される。不揮発性メモリには、コントローラ１３により読み取り可能なプログラム及びデータが格納される。不揮発性メモリに格納されるプログラム及びデータの少なくとも一部は、有線や無線で接続される他のコンピュータ装置（サーバ装置）、または可搬型記録媒体から取得される構成としても良い。

【0017】

記憶部１２は、画像データ１２１と、検出処理プログラム１２２と、車載ＡＩモデル１２３と、を記憶する。画像データ１２１は、カメラＣによって撮影された車両Ｖの周囲画像のデータである。

【0018】

検出処理プログラム１２２は、コントローラ１３により実行される物体検出に係るプログラムである。検出処理プログラム１２２は、コントローラ１３により実行されて実現される物体検出に係る各種機能のプログラムを含む。

【0019】

車載ＡＩモデル１２３は、画像データ１２１に対し、画像分類、物体検出、領域抽出等を行う画像認識用のＡＩモデルであって、例えば物体検出、領域検出のための畳み込みニューラルネットワーク (Region with Convolutional Neural Networks、Ｒ－ＣＮＮ)等を使用したＡＩモデルである。

【0020】

なお、車載ＡＩモデル１２３は、別途適当な学習データセット（本例の場合は、道路周辺画像（画像内の物体種別を正解データとする）の学習データセット）で学習済みのＡＩモデルである。そして、車載ＡＩモデル１２３は、一般的なＡＩモデルと同様に検出物体に対する特徴量を検出可能である、つまり道路周辺に存在する検出対象物体（後述の画像例においては、車両や信号機）を検出可能である。また、車載ＡＩモデル１２３は、各検出物体に対する特徴量のデータを出力する。さらに、車載ＡＩモデル１２３は、一般的なＡＩモデルと同様に、画像における検出物体の存在領域、所謂バウンディングボックスを検出（算出）する。

【0021】

コントローラ１３は、演算処理等を行うプロセッサで構成され、車載学習装置１０における各種動作の制御を行う。プロセッサは、例えばＣＰＵ（Central Processing Unit）を含んで構成される。コントローラ１３は、車載ＡＩモデル１２３を動作させ、各種機能を実現する。換言すれば、車載ＡＩモデル１２３は、ある種のプログラムであって、コントローラ１３によってＡＩモデルとしての機能が実現される。

【0022】

コントローラ１３は、その機能として、取得部１３１と、検出部１３２と、組分け部１３３と、を含む。本実施形態においては、コントローラ１３の機能は、記憶部１２に記憶される検出処理プログラム１２２に従った演算処理をプロセッサが実行することによって実現される。

【0023】

取得部１３１は、車両ＶのカメラＣで撮影された車両Ｖの周囲画像を取得する。取得部１３１は、取得した周囲画像の画像データ１２１を記憶部１２に記憶する。

【0024】

検出部１３２は、車両Ｖにおいて撮影された周囲画像（画像データ１２１）に対し、物体検出を行う。詳細に言えば、検出部１３２は、Ｒ－ＣＮＮ等を使用した車載ＡＩモデル１２３を用い、周囲画像に含まれる物体毎に、物体を含む物体領域（バウンディングボックス）を設定して各物体領域内の物体（特徴量）の分類を行う。

【0025】

図２Ａは、車両Ｖで撮影された周囲画像の例を示す説明図である。図２Ａに示す画像２１、２２は、車両Ｖで撮影された周囲画像（画像データ１２１）の例である。画像２１内には、２つの物体２１１、２１２が含まれている。画像２２内には、２つの物体２２１、２２２が含まれている。物体２１１、２２１は信号機であり、物体２１２、２２２は乗用車である。

【0026】

図２Ｂは、車両Ｖで撮影された周囲画像における物体検出結果の例を示す説明図である。図２Ｂに示す画像２１内の、２つの破線で囲まれた矩形領域２１１Ｒ、２１２Ｒは、それぞれ検出部１３２により検出されて画像２１内に設定された物体領域である。物体領域２１１Ｒ、２１２Ｒには、それぞれ物体２１１、２１２が含まれる。図２Ｂに示す画像２２内の、２つの破線で囲まれた矩形領域２２１Ｒ、２２２Ｒは、それぞれ検出部１３２により検出されて画像２２内に設定された物体領域である。物体領域２２１Ｒ、２２２Ｒには、それぞれ物体２２１、２２２が含まれる。

【0027】

画像２１に対する物体検出の検出結果データは、画像２１における物体領域２１１Ｒ、２１２Ｒの位置を特定する情報を物体２１１、２１２の位置情報として含み、且つ物体２１１、２１２が物体の分類として、それぞれ信号、乗用車に分類されることを示す物体情報として含む。

【0028】

画像２２に対する物体検出の検出結果データは、画像２２における物体領域２２１Ｒ、２２２Ｒの位置を特定する情報を物体２２１、２２２の位置情報として含み、且つ物体２２１、２２２が物体の分類として、それぞれ信号、乗用車に分類されることを示す物体情報として含む。

【0029】

組分け部１３３は、検出部１３２によって検出された周囲画像に含まれる物体検出処理（Ｒ－ＣＮＮ等の処理における特徴量）に係る情報を取得し、当該特徴量についてクラスタリングを行う。組分け部１３３は、例えばk-means法（k-means clustering、ｋ平均法）に代表されるクラスタリングアルゴリズムを用い、周囲画像の特徴量に基づいてクラスタリングを行う。

【0030】

図３は、検出物体に対する特徴量（２次元特徴量ベクトルとした場合の例）のデータ散布図の一例を示す説明図である。図３の横軸及び縦軸は、それぞれ特徴量（特徴量ベクトルにおけるＸ、Ｙの値）を示す。図３内の、４つの破線で囲まれた楕円形領域３１、３２、３３、３４は、当該領域範囲内の特徴量ベクトルの物体が、同じ種類の物体（乗用車、信号機等）と判断される領域、所謂クラスタ領域である。なお、４つの破線自体は、各クラスタ領域におけるクラスタ境界を意味する。

【0031】

これらのクラスタ領域は、例えばクラスタ設定用にサンプルとして収集された各検出物体に対する特徴量の分布状態（密度の高くなっている特徴量プロット点の集団を一つの領域とする等）に基づき設定される。また、クラスタ領域の設定後の物体検出結果（特徴量ベクトル分布）に基づきクラスタ領域を補正するといった方法も可能である。そして、検出物体がその特徴量に基づいてどのクラスタ領域に位置するか判定され、検出物体は当該クラスタ領域に対応する物体種別であると推定される。

【0032】

例えば、検出部１３２により検出されて画像２１内で分類された物体２１１（信号機）及び物体２１２（乗用車）は、それぞれクラスタ３１（信号機の特徴ベクトルが含まれるクラスタ）及びクラスタ３２（乗用車の特徴ベクトルが含まれるクラスタ）に、組分け部１３３によってグループ分けされる。そして、物体２１１及び物体２１２は、それぞれ信号機及び乗用車と推定されることになる。

【0033】

つまり、クラスタ３１のクラスタ境界内（領域内）にその特徴量が位置する物体は、信号機と似た画像の物体ということになる。クラスタ３２のクラスタ境界内にその特徴量が位置する物体は、乗用車と似た画像の物体ということになる。さらに、他の種類の物体は、該当各物体の特徴量が位置するクラスタ３３やクラスタ３４等に、組分け部１３３によってグループ分けされることになる。

【0034】

各クラスタ３１、３２、３３、３４に関して、それぞれクラスタ内に分布する各画像の特徴量座標（ベクトル座標）に基づいてクラスタの重心３１ｃ、３２ｃ、３３ｃ、３４ｃが算出される。そして、組分け部１３３は、各物体の画像における特徴量座標（ベクトル座標）と各重心との距離に基づき、当該物体が各重心に対するクラスタに属する確からしさを推定する。換言すれば、判定対象物体の特徴量座標とクラスタの重心との距離が長い程、当該クラスタに属するのか（判定対象物体が当該クラスタに対応する物体種別であるのか）の判断結果の確度が低下する。つまり、重心との距離が延びるにつれて、当該物体の画像は、より物体認識が苦手な画像であると言える。

【0035】

また、このような特性から、クラスタの重心からの距離により、クラスタの境界を設定することができる。例えば、各検出物体に対する特徴量の分布状態に基づき、例えば検出物体の特徴量プロット点の密度を重心からの距離毎に算出する。そして、当該密度がクラスタ境界と推定される適当な密度である距離を、クラスタ境界の閾値となる境界距離（重心からの距離）として設定する。これにより、検出物体の特徴量（プロット点）とクラスタ重心との距離と、上述の境界距離との比較により、検出物体の特徴量がクラスタ境界付近に位置するかどうかを判定できる。

【0036】

組分け部１３３は、クラスタ領域内におけるクラスタ境界付近に位置すると判定した物体画像を、車載ＡＩモデル１２３が物体種別の判断を苦手とする苦手候補画像に設定する。そして、組分け部１３３は、設定した苦手候補画像を、その特徴量及び特徴量が位置するクラスタ（当該クラスタに対応する物体種別）とを関連付けて記憶部１２に記憶する。

【0037】

例えば、図３に示す例では、クラスタ３１において、物体２２１（信号機）がクラスタ３１領域内のクラスタ境界付近に位置する。また、クラスタ３２において、物体２２２（乗用車）がクラスタ３２領域内のクラスタ境界付近に位置する。

【0038】

なお、「クラスタ境界付近」とは、クラスタ重心と検出物体の特徴量との距離が、境界距離と厳密に同じとなるクラスタ境界にある検出物体だけでなく、クラスタ境界の物体と同程度に判定結果の確度が低くなるクラスタ境界周辺のことである。クラスタ境界付近となる、クラスタ境界からの距離については、実験やシミュレーションにより予め決定した値としても良い。

【0039】

コントローラ１３は、組分け部１３３によってクラスタ境界に位置すると判定された苦手候補画像のデータを、予め設定された所定の送信タイミングで、通信部１１を介して学習データ作成装置４０へ送信する。

【0040】

上記のように、車両Ｖにおいて、クラスタ領域内のクラスタ境界付近に位置すると判定した物体画像を、車載ＡＩモデル１２３が判断を苦手とする苦手候補画像と定めることで、車載ＡＩモデル１２３における判断精度の向上に効果的なモデル学習用の画像を効率的に収集することができる。

【0041】

図１に戻って、学習データ作成装置４０は、データ管理センター等に設置されたサーバ装置である。当該サーバ装置は、物理サーバであっても良いし、仮想サーバであっても良い。学習データ作成装置４０は、収集した苦手候補画像から苦手画像を選択し、学習データの作成を行う。学習データ作成装置４０は、通信部４１と、記憶部４２と、コントローラ４３と、を備える。

【0042】

通信部４１は、通信ネットワークを介して他の装置（学習データ作成装置４０内の各装置、及び外部装置）との間でデータの通信を行うためのインタフェースである。通信部４１は、車両Ｖとの無線通信を行うための無線通信装置を含み、例えば５Ｇ通信（第５世代移動通信システム）の移動体電話網の送受信装置で構成される。

【0043】

記憶部４２は、揮発性メモリ及び不揮発性メモリを含んで構成され、画像認識の学習モデルの学習処理に必要な各種情報を記憶する。揮発性メモリは、例えばＲＡＭ（Random Access Memory）で構成される。不揮発性メモリは、例えばＲＯＭ（Read Only Memory）、フラッシュメモリ、ハードディスクドライブで構成される。不揮発性メモリには、コントローラ４３により読み取り可能なプログラム及びデータが格納される。不揮発性メモリに格納されるプログラム及びデータの少なくとも一部は、有線や無線で接続される他のコンピュータ装置、または可搬型記録媒体から取得される構成としても良い。

【0044】

記憶部４２は、画像データ４２１と、注目領域特定プログラム４２２と、注目領域特定用の第１学習モデル４２３１、第２学習モデル４２３２、・・・、第ｎ学習モデル４２３ｎと、類似画像生成プログラム４２４と、学習データセット４２５と、を記憶する。

【0045】

画像データ４２１は、車両ＶのカメラＣによって撮影され、通信部４１を介して受信した車両Ｖの苦手候補画像のデータである。詳細に言えば、画像データ４２１は、車載学習装置１０のコントローラ１３によりクラスタ境界に位置することが識別された苦手候補画像のデータであって、画像及び特徴量が紐付けされている。画像データ４２１は、複数の車両Ｖにおいて識別された苦手候補画像のデータを含む。

【0046】

注目領域特定プログラム４２２は、コントローラ４３により実行される物体検出処理において、物体検出（判定）に高い影響を与えた領域であり、判断根拠となる重要度が高い注目領域の特定に係るプログラムである。注目領域特定プログラム４２２は、例えばＬＩＭＥ（Local Interpretable Model-agnostic Explanations）、ＳＨＡＰ（SHapley Additive exPlanations）等のアルゴリズムで構成される。つまり、注目領域は、物体種別判断において主要な根拠となる領域であり、当該物体種別の固有の特徴を持つ領域である。注目領域特定プログラム４２２は、コントローラ４３により実行されて実現される注目領域の特定に係る各種機能を実現する。

【0047】

注目領域特定用の第１学習モデル４２３１、第２学習モデル４２３２、・・・、第ｎ学習モデル４２３ｎは、それぞれ画像データ４２１に対して、物体種別判定処理における注目領域を特定するための学習モデルであって、注目領域特定プログラムが適用される学習モデルである。これら各学習モデル４２３ｎは、各々異なる特性を持つモデルであり、モデル構成、各種動作パラメータ等が異なる。また、これら各学習モデル４２３ｎは、ＡＩモデル等により構成される。注目領域特定用の当該学習モデル４２３ｎは、車両Ｖの車載学習装置１０の車載ＡＩモデル１２３が物体種別判別時に注目領域とする領域を注目領域として特定することが好ましい。このため、学習モデル４２３ｎは、各車両の車載ＡＩモデル１２３のアルゴリズム（特に物体種別判別アルゴリズム部分）に対応したモデルを含むことが好ましい。

【0048】

注目領域特定プログラムは、当該注目領域の特定用の各学習モデル４２３ｎによる物体検出の判断の根拠を出力する機能を有するアルゴリズム（ＬＩＭＥ、ＳＨＡＰ等）によって算出されたデータとして注目領域を特定する。このようなアルゴリズムを用いることで、物体の種別判定の根拠として着目した領域を把握することができる。

【0049】

類似画像生成プログラム４２４は、コントローラ４３により実行される類似画像の生成に係るプログラムである。類似画像生成プログラム４２４は、コントローラ４３により実行されて処理元の画像に対する類似画像の生成に関する各種機能を実現する。

【0050】

学習データセット４２５は、ＡＩモデルの学習に用いられる教師データ群である学習データセットである。学習データセット４２５には、類似画像生成プログラム４２４によって生成された類似画像が学習データとして加えられる。

【0051】

コントローラ４３は、演算処理等を行うプロセッサで構成され、学習データ作成装置４０における各種動作の制御を行う。プロセッサは、例えばＣＰＵを含んで構成される。コントローラ４３は、学習データセット４２５の生成処理等、各種処理を行う。

【0052】

コントローラ４３は、その機能として、取得部４３１と、特定部４３２と、生成部４３４と、を含む。本実施形態においては、コントローラ１３の機能は、記憶部１２に記憶される注目領域特定プログラム４２２及び類似画像生成プログラム４２４等の各種プログラムに従った演算処理をプロセッサが実行することによって実現される。

【0053】

取得部４３１は、通信部４１を介して、複数の車両Ｖ（車載学習装置１０）のそれぞれにおいて判定された苦手候補画像の画像データとその物体種別データ（位置するクラスタ領域に対応する物体種別）を取得する。取得部４３１は、取得した画像データを画像データ４２１として記憶部１２に記憶する。

【0054】

特定部４３２は、取得した苦手候補画像（画像データ４２１）に対し、複数の学習モデルを用いて物体検出の判断根拠に係る注目領域を特定する。詳細に言えば、特定部４３２は、苦手候補画像（画像データ４２１）を注目領域特定用の第１学習モデル４２３１、第２学習モデル４２３２、・・・、第ｎ学習モデル４２３ｎに適用し、当該各学習モデル４２３ｎの当該苦手候補画像における物体種別の判断の根拠とした領域、つまり判定結果への影響が大きい領域である注目領域を特定する。

【0055】

図４Ａは、苦手候補画像の物体検出に係る注目領域の第１例を示す説明図である。詳細に言えば、図４Ａは、ＬＩＭＥによって検出した苦手候補画像（画像データ４２１）上の物体２２２（乗用車）に対する注目領域を示す説明図である。図４Ａでは、物体２２２（乗用車）の物体種別判定に対して物体画像のどの領域が重要であるか（物体画像のどの領域が判定結果への影響が大きい領域であるか）ということを模式的に描画している。

【0056】

ＬＩＭＥでは、物体検出の判断根拠に係る注目領域（判定結果への影響が大きい領域である注目領域）を、類似した色情報を有するピクセルのまとまり（スーパーピクセル）に変換して可視化する。図４Ａ中の領域４３２ａが、物体判定処理に対する影響が大きい領域であって、物体検出の判断根拠の影響度合い（重要度）に基づき算出される注目領域である。特定部４３２は、ＬＩＭＥによる物体検出の判断根拠に係る注目領域を特定する。

【0057】

図４Ｂは、苦手候補画像の物体検出に係る注目領域の第２例を示す説明図である。詳細に言えば、図４Ｂは、ＳＨＡＰによって検出した苦手候補画像（画像データ４２１）上の物体２２２（乗用車）に対する注目領域を示す説明図である。図４Ｂでは、左端が入力画像であり、中央が正しい判断結果（Ｃａｒ：乗用車）における注目領域を示す画像であり、右端が正解に対して間違った判断結果（Ｂｕｓ：バス）における注目領域を示す画像であり、それらを模式的に描画している。

【0058】

ＳＨＡＰでは、物体検出の判断根拠に係る注目領域を、異なる色相や明度を有するピクセルに変換して可視化する。つまり、ＳＨＡＰにおける表示は、苦手候補画像の各領域を、物体検出の判定結果への重要度に応じた色相や明度の表示色で表示する。図４Ｂ中の領域４３２ｂが、判断の重要度（SHAP Value）が高い領域であって、物体検出の判断根拠に係る注目領域である。特定部４３２は、ＳＨＡＰによる物体検出の判断根拠に係る注目領域を特定する。具体的には、特定部４３２は、注目領域特定プログラムにより算出された、苦手候補画像内の各画素毎の重要度であるSHAP Valueに基づき、画像全体の重要度の平均値といった基準値より高い画素部分を注目領域として特定する。基準値については、実験やシミュレーションにより予め決定した値としても良い。

【0059】

このような注目領域の判定方法を用いて、特定部４３２は、取得した苦手候補画像（画像データ４２１）に対して、各学習モデル４２３ｎによる物体判定の判断根拠に係る注目領域を特定する。

【0060】

選択部４３３は、苦手候補画像に対する各学習モデル４２３ｎの判定に係る注目領域の変化量（形状、大きさ、位置の差異）を算出する。選択部４３３は、例えばコサイン類似度に代表される類似度算出アルゴリズムを用い、比較対象の各注目領域を構成する各ベクトルデータの差異を算出すること等により、注目領域の変化量を算出する。

【0061】

各学習モデル４２３ｎに対して算出した注目領域の変化量が大きい場合、つまり対象画像における物体判定のための注目領域のバラツキが大きい場合、判断結果への重要度の高い領域が安定せず、物体種別の判定のバラツキも大きくなる。したがって、このような苦手候補画像は、苦手画像ということになる。そこで、選択部４３３は、各学習モデル４２３ｎに対して算出した注目領域の変化量が大きい苦手候補画像を学習効果の高い苦手画像と判断し、学習データとして選択する。言い換えれば、選択部４３３は、算出した各学習モデル４２３ｎによる注目領域の変化量が予め定められた判定閾値を上回る場合に、判定対象の苦手候補画像を苦手画像と定め、当該苦手画像を学習データとして選択する。

【0062】

具体的には、選択部４３３は、苦手候補画像の画素毎に算出された重要度を一次行列に置換し、注目領域以外の重要度の成分を０に置換したベクトル値を算出する。また、選択部４３３は、夫々の学習モデルで算出されたベクトル値により、１つの学習モデルのベクトル値と他の学習モデルのベクトル値から、コサイン類似度を算出する。そして、選択部４３３は、複数の学習モデルとの対比によるコサイン類似度の平均が予め設定された閾値（例えば、０．５）よりも低い値となる苦手候補画像を苦手画像とする。なお、注目領域以外の重要度の成分を０に置換したが、画像内の重要度の平均値に置換しても良い。

【0063】

なお、他の方法として、画像比較処理、例えば注目領域の形状、大きさ、位置の差異を画像処理（ＬＩＭＥやＳＨＡＰにより処理結果画像のエッジを検出し、検出したエッジ形状や位置を比較）により、苦手候補画像に対する各学習モデル４２３ｎによる判定における注目領域の変化量（差異）を算出する方法等が考えられる。

【0064】

上記の構成によれば、物体検出における注目領域を利用することで、苦手候補画像として取得した画像から、複数の学習モデルにおいて物体検出の判断根拠の領域にバラつきのある画像を選び出すことができる。すなわち、物体検出における注目領域が複数の学習モデルで異なる画像は、各種物体検出（種別判定）モデルにとっても判断結果にバラつきが出る可能性が高く、判断の難しい画像である可能性が高くなる。このため、学習モデルにおける判断精度の向上に効果的な苦手画像を学習データ生成のための画像データとして効率的に選択することが可能になる。

【0065】

生成部４３４は、選択部４３３により選択された苦手画像に類似する類似画像を生成する。詳細に言えば、生成部４３４は、苦手画像の特徴量に対して所定範囲の類似度の特徴量を有する類似画像を生成する。生成部４３４は、例えば敵対的生成ネットワーク（Generative Adversarial Networks、ＧＡＮ）に代表されるＡＩアルゴリズムを用い、苦手画像に類似する類似画像を生成する。

【0066】

図５は、苦手画像２２Ｂに類似する類似画像２２Ｓの生成方法の一例を示す説明図である。例えば、ＧＡＮを用いることで、入力した苦手画像２２Ｂの特徴を維持しつつ、ノイズを重畳する等の処理を施した類似画像２２Ｓを生成する。画像処理の設計（処理内容、強度調整等）次第で、類似画像２２Ｓが生成元の苦手画像２２Ｂと同じクラスタに分類されるようにノイズを重畳する等の処理を施すことができる。同じクラスタに分類されなくても良い場合は、ＧＡＮを用いる必要はなく、単に注目領域の周辺に正規分布に基づくノイズを重畳する等の画像処理を適用することもできる。

【0067】

そして、生成部４３４は、生成した類似画像２２Ｓを入力データとし、生成元の苦手画像２２Ｂの物体種別を正解データとする学習データを、学習データセット４２５に加える。なお、類似画像２２Ｓの生成元の苦手画像２２Ｂも学習データとして学習データセット４２５に加えて良い。このようにして、類似画像による学習データを学習データセット４２５に加えて、学習データセット４２５の学習データを増加させることで、学習効果が期待でき、汎用性の高い学習データセット４２５を得ることができる。すなわち、より多くの学習モデルにおける判断精度の向上を図ることが可能である。

【0068】

また、類似画像を敵対的生成ネットワーク（ＧＡＮ）を用いて作成することで、苦手画像の特徴を維持しつつ、苦手画像とは異なり学習効果が期待できる類似画像を、容易に生成することが可能になる。

【0069】

図６は、図１の車載学習装置１０が実行する苦手候補画像処理を示すフローチャートである。このフローチャートは、コンピュータ装置に車載学習装置１０で行われる処理を実現させるコンピュータプログラムの技術的内容を示す。また、当該コンピュータプログラムは、読み取り可能な各種不揮発性記録媒体に記憶され、提供（販売、流通等）される。なお、当該コンピュータプログラムは、通信回線網を用いてサーバ等から提供（所謂ダウンロードによる適用）されるようにすることも可能である。当該コンピュータプログラムは、１つのプログラムのみで構成されても良いが、協働する複数のプログラムによって構成されても良い。

【0070】

図６に示す処理は、車載学習装置１０のコントローラ１３によって実行される。なお、本例では、各車の車両制御に用いるために撮影画像に存在する物体（種別）を検出する処理を含む（兼用する）処理となっている。そして、この処理は、車両ＶのイグニッションがＯＮにされると開始され、車両ＶのイグニッションＯＮの間は繰り返し実行される。

【0071】

ステップＳ１０１において、コントローラ１３（取得部１３１）は、車両ＶのカメラＣで撮影された車両Ｖの周囲画像を取得し、ステップＳ１０２に移る。

【0072】

ステップＳ１０２において、コントローラ１３（検出部１３２及び組分け部１３３）は、車両Ｖの周囲画像に対し、物体検出と、当該物体に係る特徴量のクラスタリング（物体種別判定）を行い、ステップＳ１０３に移る。この判定結果は、別途、車両制御に利用されることになる。

【0073】

ステップＳ１０３において、コントローラ１３（組分け部１３３）は、画像データ（特徴量）がクラスタ境界付近に位置する画像か否かを判定し、クラスタ境界付近に位置する画像の場合はステップＳ１０４に移り、クラスタ境界に位置しない場合はステップＳ１０１に戻る。

【0074】

ステップＳ１０４において、コントローラ１３（組分け部１３３）は、クラスタ境界付近に位置する画像を、車載ＡＩモデル１２３が判断を苦手とする苦手候補画像に設定し、画像及び特徴量、そして物体種別（クラスタリング結果）を関連付けて記憶部１２に記憶し、ステップＳ１０５に移る。

【0075】

ステップＳ１０５において、コントローラ１３は、苦手候補画像の関連データを学習データ作成装置４０に送信するタイミングか否かを判定し、送信タイミングであればステップＳ１０６に移り、送信タイミングでなければステップＳ１０１に戻る。送信タイミングとしては、サーバ装置との通信が確立したタイミングであっても良い。また、通信の安定・高速化のため、車両ＶがＷｉ－Ｆｉ（登録商標）等の高速通信通信が可能な場所（施設の駐車場等）に駐車されたタイミングであっても良い。

【0076】

ステップＳ１０６において、コントローラ１３は、通信部１１を介し、苦手候補画像のデータを学習データ作成装置４０へ送信し、当該フローチャートに係る処理を終了する。

【0077】

図７は、図１の学習データ作成装置４０が実行する学習データ作成処理を示すフローチャートである。このフローチャートは、コンピュータ装置に学習データ作成装置４０で行われる処理を実現させるコンピュータプログラムの技術的内容を示す。また、当該コンピュータプログラムは、読み取り可能な各種不揮発性記録媒体に記憶され、提供（販売、流通等）される。なお、当該コンピュータプログラムは、通信回線網を用いてサーバ等から提供（所謂ダウンロードによる適用）されるようにすることも可能である。当該コンピュータプログラムは、１つのプログラムのみで構成されても良いが、協働する複数のプログラムによって構成されても良い。

【0078】

図７に示す処理は、学習データ作成装置４０の設計者等が、例えばキーボード等の操作部により作成処理の開始操作が行われたときに実行される。

【0079】

ステップＳ２０１において、コントローラ４３（取得部４３１）は、通信部４１を介して、複数の車両Ｖのそれぞれにおいて判定された各苦手候補画像のデータ（画像データ、物体種別データ等）を取得し、ステップＳ２０２に移る。

【0080】

ステップＳ２０２において、コントローラ４３（特定部４３２）は、複数の学習モデルである第１学習モデル４２３１、第２学習モデル４２３２、・・・、第ｎ学習モデル４２３ｎを用いて物体検出の判断根拠に係る注目領域を特定し、ステップＳ２０３に移る。

【0081】

ステップＳ２０３において、コントローラ４３（選択部４３３）は、学習モデル毎の注目領域の変化量に基づいて苦手候補画像から苦手画像を選択し、ステップＳ２０４に移る。

【0082】

ステップＳ２０４において、コントローラ４３（生成部４３４）は、苦手画像から類似画像を生成し、ステップＳ２０５に移る。

【0083】

ステップＳ２０５において、コントローラ４３（生成部４３４）は、生成した類似画像を入力データとし、生成元の苦手画像の物体種別を正解データとする学習データを学習データセット４２５に加え、当該フローチャートに係る処理を終了する。

【0084】

そして、学習データ作成装置４０（コントローラ４３）は、記憶部４２に記憶された学習データセット４２５を使用し、学習モデルの追加学習を行う。なお、その場合、注目領域特定用に用いた学習モデル４２３ｎに対して追加学習を行っても良い。追加学習は、学習データセット４２５の学習データと正解データを用いて、誤差逆伝播法等の公知の学習方法を用いて行われる。追加学習により、注目領域特定用の学習モデル４２３ｎのパラメータが更新される。

【0085】

追加学習により更新された学習モデルは、更新前の学習モデル（車載ＡＩモデル１２３）を有する車両Ｖに送信される。車両Ｖは、記憶部１２に記憶された車載ＡＩモデル１２３を、受信した更新後の学習モデルに置き換える。

【0086】

＜留意事項等＞
本明細書中で実施形態として開示された種々の技術的特徴は、その技術的創作の趣旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではない。本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれる。また、本明細書中で示した複数の実施形態は、可能な範囲で適宜組み合わせて実施して良い。

【0087】

また、上記実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能の少なくとも一部は電気的なハードウェア資源によって実現されて良い。ハードウェア資源としては、例えばＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等であって良い。また逆に、ハードウェア資源によって実現されるとした機能の少なくとも一部は、ソフトウェア的に実現されて良い。

【0088】

また、本実施形態の範囲には、車載学習装置１０及び学習データ作成装置４０の少なくとも一部の機能をプロセッサ（コンピュータ）に実現させるコンピュータプログラムが含まれて良い。また、本実施形態の範囲には、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体が含まれて良い。不揮発性記録媒体は、例えば上述の不揮発性メモリの他、光記録媒体（例えば光ディスク）、光磁気記録媒体（例えば光磁気ディスク）、ＵＳＢメモリ、或いはＳＤカード等であって良い。

【符号の説明】

【0089】

１ 学習データ作成システム
１０ 車載学習装置
１１ 通信部
１２ 記憶部
１３ コントローラ
４０ 学習データ作成装置
４１ 通信部
４２ 記憶部
４３ コントローラ
５０ 車両制御装置
１２３ 車載ＡＩモデル
４２３１、４２３２、４２３ｎ 学習モデル

【図1】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】