特開 2022-143633 画像処理装置のデータセット作成方法、及び画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022143633

(43)【公開日】2022-10-03

(54)【発明の名称】画像処理装置のデータセット作成方法、及び画像処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220926BHJP

   G06N 3/04 20060101ALI20220926BHJP

   G06N 20/00 20190101ALI20220926BHJP

【ＦＩ】

G06T7/00 350B

G06N3/04 154

G06N20/00

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2021044251

(22)【出願日】2021-03-18

(71)【出願人】

【識別番号】000002967

【氏名又は名称】ダイハツ工業株式会社

(74)【代理人】

【識別番号】100180644

【弁理士】

【氏名又は名称】▲崎▼山 博教

(72)【発明者】

【氏名】松本 祥吾

(72)【発明者】

【氏名】野田 憲司

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA04

5L096CA04

5L096DA01

5L096DA02

5L096HA08

5L096KA04

5L096KA15

(57)【要約】      （修正有）

【課題】低コストでシミュレーション画像（仮想画像）から実画像に近いデータセットを作成することが可能な画像処理装置のデータセット作成方法及び画像処理装置を提供する。
【解決手段】画像処理装置のデータセット作成方法は、実車カラー画像を用意するステップと、実車カラー画像を処理することにより実車白黒画像を作成するステップと、実車白黒画像から実車カラー画像を復元する着色ＡＩを作成するステップと、シミュレーションカラー画像を作成するステップと、シミュレーションカラー画像を実車白黒画像に対応するシミュレーション白黒画像に変換するステップと、シミュレーション白黒画像を着色ＡＩにより物体検知トレーニング画像に変換するステップと、物体検知トレーニング画像のアノテーション情報を抽出するステップと、を備える。
【選択図】図６

【特許請求の範囲】

【請求項1】

実画像を用意するステップと、
前記実画像を処理することにより処理画像を作成するステップと、
前記実画像及び前記処理画像を使用して、前記処理画像から前記実画像を復元する学習済モデルを作成するステップと、
第一仮想画像を作成するステップと、
前記第一仮想画像を前記処理画像に対応する第二仮想画像に変換するステップと、
前記第二仮想画像を前記学習済モデルにより第三仮想画像に変換するステップと、
前記第三仮想画像のアノテーション情報を抽出するステップとを備える、ことを特徴とする画像処理装置のデータセット作成方法。

【請求項2】

前記学習済モデルは、生成器と、識別器と、予測ネットワークとを含むＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）により作成されること、を特徴とする請求項１に記載の画像処理装置のデータセット作成方法。

【請求項3】

前記実画像は、車両に設けられた撮像装置により撮像された画像であること、を特徴とする請求項１または２に記載の画像処理装置のデータセット作成方法。

【請求項4】

用意された実画像を処理することにより処理画像を作成する処理画像作成部と、
前記実画像及び前記処理画像を使用して、前記処理画像から前記実画像を復元する学習済モデルを作成する学習済モデル作成部と、
第一仮想画像を作成する第一仮想画像作成部と、
前記第一仮想画像を前記処理画像に対応する第二仮想画像に変換する第二仮想画像変換部と、
前記第二仮想画像を前記学習済モデルにより第三仮想画像に変換する第三仮想画像変換部と、
前記第三仮想画像のアノテーション情報を抽出するアノテーション情報抽出部とを備えること、を特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置のデータセット作成方法、及び画像処理装置に関する。

【背景技術】

【0002】

従来、画像処理装置のデータセット作成方法、及び画像処理装置が提案されている（例えば、特許文献１～５参照）。

【0003】

上記特許文献１には、機械学習用データセットを効率的に収集する画像処理装置が開示されており、スキャン画像内のオブジェクト毎にカラー化処理を行うために、入力されたページ単位の画像データに対応するページ画像に含まれるオブジェクトが検出されること、が記載されている。また、上記特許文献１には、検出されたオブジェクトがモノクロ画像の場合に、オブジェクト毎にモノクロ画像をカラー画像に変換するカラー化処理が実行され、検出されたオブジェクトがカラー画像の場合に、カラー画像の画像データとモノクロ画像に変換された画像データとをカラー化処理に関わるパラメータの学習サンプルとして保存されること、が記載されている。

【0004】

上記特許文献２には、カラー化処理における機械学習に利用する学習サンプルを効率よく収集して機械学習を行う画像処理装置が開示されており、入力されたページ単位の画像データがカラー画像であるかモノクロ画像であるかが判定されること、が記載されている。また、上記特許文献２には、入力された画像データがモノクロ画像と判定された場合に、モノクロ画像をカラー画像に変換するカラー化処理が実行され、入力された画像データがカラー画像と判定された場合に、カラー画像の画像データを一旦モノクロ画像に変換した後に、再度カラー画像に変換したカラー化結果に基づいて、画像データを学習サンプルとして利用するか否かが決定されること、が記載されている。

【0005】

上記特許文献３及び４には、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）におけるデータ識別器（ディスクリミネータ）の訓練の安定化を行うデータ識別器訓練方法が開示されている。上記特許文献３及び４に開示されているＧＡＮは、近年、生成モデルのフレームワークとして広く研究されており、上記特許文献１及び２に記載されているような種々のデータセットの作成に適用されている。また、上記特許文献３及び４には、正解データ及び擬データを識別するニューラルネットワークモデルを備えるデータ識別器を訓練するデータ識別器訓練方法について、データ識別器に正解データを入力して第１予測結果が取得され、データ識別器に擬データを入力して第２予測結果が取得され、これらの第１予測結果及び第２予測結果に基づいて誤差が算出され、誤差とニューラルネットワークモデルの各層の重み行列の特異値とに基づいて重み行列が更新されること、が記載されている。

【0006】

上記特許文献５には、仮想世界における仮想データから取得したトレーニングデータを生成する学習方法等が開示されている。上記特許文献５には、自律走行車両で使用される画像認識ＡＩの作成を目的として、訓練データ及び教師データ（アノテーション）等の学習データセットがシミュレーション画像（仮想画像）から生成され、シミュレーション画像と実世界の画像（実画像）差を低減するために、上記特許文献３及び４に記載されているようなＧＡＮが利用されること、が記載されている。

【0007】

上記特許文献１～５に記載のように、学習データセットの準備コストを低減するために、ＧＡＮを利用してシミュレーション画像から実画像により近い学習データセットを作成する技術がある。例えば、上記特許文献５に記載の技術では、（ａ）シミュレーション画像から特徴マップが生成され、（ｂ）特徴マップから変換イメージが生成され、（ｃ）変換イメージにおけるカテゴリスコアベクトルが生成され、（ｄ）カテゴリスコアベクトルとこれに対応する実画像とを参照してジェネレーティングＣＮＮのパラメータが学習され、その結果、シミュレーション画像がよりリアルな画像に変換される。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２０１９－１５３０６１号公報

【特許文献2】特開２０１９－１５３９１７号公報

【特許文献3】特開２０２０－３８７０４号公報

【特許文献4】特開２０２０－２１４９６号公報

【特許文献5】特開２０２０－１２３３４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、上記のように、ＧＡＮを利用してシミュレーション画像から実画像により近い学習データセットを作成する技術を用いた場合には、実画像においてもカテゴリスコアベクトルを生成する必要があるため、カテゴリスコアベクトルの判定に用いるＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）のモデル構築に膨大な時間を要し、その分コストが増加するという不都合がある。このため、低コストでシミュレーション画像から実画像に近いデータセットを作成することが可能な画像処理装置のデータセット作成方法、及び画像処理装置が望まれている。

【0010】

本発明は、上記問題点を解消すべくなされたものであって、低コストでシミュレーション画像（仮想画像）から実画像に近いデータセットを作成することが可能な画像処理装置のデータセット作成方法、及び画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0011】

上記目的を達成するために、本発明は、次のように構成されている。

【0012】

（１）本発明による画像処理装置のデータセット作成方法は、実画像を用意するステップと、前記実画像を処理することにより処理画像を作成するステップと、前記実画像及び前記処理画像を使用して、前記処理画像から前記実画像を復元する学習済モデルを作成するステップと、第一仮想画像を作成するステップと、前記第一仮想画像を前記処理画像に対応する第二仮想画像に変換するステップと、前記第二仮想画像を前記学習済モデルにより第三仮想画像に変換するステップと、前記第三仮想画像のアノテーション情報を抽出するステップとを備える、ことを特徴とする。

【0013】

上記構成によれば、シミュレーション画像としての第一仮想画像を第二仮想画像に変換した後に、第二仮想画像を学習済モデルにより第三仮想画像に変換することによって、第一仮想画像から実画像に近い学習データセットを作成することができる。その結果、学習済モデルの構築に時間を要さず、低コストでシミュレーション画像としての第一仮想画像から実画像に近いデータセットを作成することができる。

【0014】

（２）本発明による画像処理装置のデータセット作成方法において、好ましくは、前記学習済モデルは、生成器と、識別器と、予測ネットワークとを含むＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）により作成されること、を特徴とする。このように構成すれば、ＧＡＮにより作成された学習済モデルによって、第二仮想画像を高品質な第三仮想画像に変換することができる。

【0015】

（３）本発明による画像処理装置のデータセット作成方法において、好ましくは、前記実画像は、車両に設けられた撮像装置により撮像された画像であること、を特徴とする。このように構成すれば、車両に設けられた撮像装置により撮像された画像を学習画像として学習済モデルが作成されるため、車両に設けられた撮像装置の特性（レンズ、センサ、色合い等）が反映された学習済モデルを作成することができる。

【0016】

（４）この場合において、好ましくは、前記実画像を用意するステップは、前記撮像装置により撮像されたカラーの前記実画像を用意するステップを含み、前記処理画像を作成するステップは、前記カラーの実画像を白黒に変換することにより白黒の前記処理画像を作成するステップを含み、前記学習済モデルは、前記白黒の処理画像から前記カラーの実画像を復元するＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）であること、を特徴とする。このように構成すれば、学習済モデル（ＡＩ）を用いて、第二仮想画像を第三仮想画像に変換する際に、第二仮想画像を撮像装置の特性（レンズ、センサ、色合い等）が再現された第三仮想画像に変換することができる。

【0017】

（５）本発明による画像処理装置は、用意された実画像を処理することにより処理画像を作成する処理画像作成部と、前記実画像及び前記処理画像を使用して、前記処理画像から前記実画像を復元する学習済モデルを作成する学習済モデル作成部と、第一仮想画像を作成する第一仮想画像作成部と、前記第一仮想画像を前記処理画像に対応する第二仮想画像に変換する第二仮想画像変換部と、前記第二仮想画像を前記学習済モデルにより第三仮想画像に変換する第三仮想画像変換部と、前記第三仮想画像のアノテーション情報を抽出するアノテーション情報抽出部とを備えること、を特徴とする。

【0018】

上記構成によれば、第二仮想画像変換部においてシミュレーション画像としての第一仮想画像を第二仮想画像に変換した後に、第三仮想画像変換部において第二仮想画像を学習済モデルにより第三仮想画像に変換することによって、第一仮想画像から実画像に近い学習データセットを作成することができる。その結果、学習済モデルの構築に時間を要さず、低コストでシミュレーション画像としての第一仮想画像から実画像に近いデータセットを作成することができる。

【発明の効果】

【0019】

本発明に係る態様によれば、低コストでシミュレーション画像（仮想画像）から実画像に近いデータセットを作成することが可能な画像処理装置のデータセット作成方法、及び画像処理装置を提供することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の一実施形態に係る画像処理装置及び車両を含むシステムの概略構成を示すブロック図である。

【図2】本実施形態に係る画像処理装置の画像処理部の概略構成を示すブロック図である。

【図3】（ａ）はデータセットの作成について説明するための図であり、（ｂ）は着色ＡＩの作成について説明するための図である。

【図4】（ａ）はシミュレーションカラー画像の白黒画像への変換について説明するための図であり、（ｂ）は着色ＡＩによる学習データの作成について説明するための図である。

【図5】物体検知器の学習について説明するための図である。

【図6】本実施形態に係る画像処理装置のデータセット作成方法に関する手順を説明するフロー図である。

【発明を実施するための形態】

【0021】

以下、添付図面を参照して、本発明の一実施形態に係る画像処理装置及び車両を含むシステムについて説明する。これらの図は模式図であって、必ずしも大きさを正確な比率で記したものではない。また、図中、同様の構成部品は、同様の符号を付して示す。

【0022】

図１～図５を参照して、本実施形態に係る画像処理装置及び車両を含むシステムについて説明する。

【0023】

図１に示すように、本実施形態に係るシステムは、主に、車両１０と、画像処理装置２０とを含んでいる。車両１０及び画像処理装置２０は、無線接続又は有線接続により互いに情報通信可能に接続されている。

【0024】

（車両）
車両１０は、主に、ＥＣＵ（Ｅｎｇｉｎｅ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１１と、物体検知器１２と、ネットワークＩ／Ｆ１３とを備えている。ＥＣＵ１１は、車両全体の制御を行う司る制御装置である。物体検知器１２は、車両１０に搭載された前方車両カメラ及び後方車両カメラ等（以下、「車両カメラ」又は単に「カメラ」という場合がある）を含む。なお、前方車両カメラ及び後方車両カメラは、本発明の「撮像装置」の一例である。物体検知器１２は、他の車両、人物、及び障害物等の物体を検知するために設けられている。ネットワークＩ／Ｆ１３は、画像処理装置２０に設けられたネットワークＩ／Ｆ２３と無線接続又は有線接続により情報通信可能に接続する。

【0025】

（画像処理装置）
画像処理装置２０は、ＣＰＵ２１と、記憶部２２と、ネットワークＩ／Ｆ２３と、画像処理部２４とを備えている。

【0026】

（ＣＰＵ）
ＣＰＵ２１は、画像処理装置全体の制御を行う司る制御装置である。

【0027】

（記憶部）
記憶部２２は、画像処理部２４におけるデータセット作成等に関するプログラムを格納する記憶装置である。

【0028】

（ネットワークＩ／Ｆ）
ネットワークＩ／Ｆ２３は、車両１０のネットワークＩ／Ｆ１３と情報通信可能に接続されている。

【0029】

（画像処理部）
ここで、本実施形態では、画像処理部２４において、物体検知に使用する車両カメラで撮影された実車カラー画像３０ａを利用して、実車カラー画像３０ａ及び実車白黒画像３０ｂのデータセットが用意される。また、画像処理部２４において、これらのデータセットによりレンズ及びセンサ等のカメラ特性が考慮され、シミュレーションカラー画像３２ａ及びシミュレーション白黒画像３２ｂから物体検知器１２の学習を行うための学習データとして、よりリアルな物体検知トレーニング画像３３が作成可能となっている。

【0030】

なお、実車カラー画像３０ａは、本発明の「実画像」の一例である。実車白黒画像３０ｂは、本発明の「処理画像」の一例である。シミュレーションカラー画像３２ａは、本発明の「第一仮想画像」の一例である。シミュレーション白黒画像３２ｂは、本発明の「第二仮想画像」の一例である。物体検知トレーニング画像３３は、本発明の「第三仮想画像」の一例である。

【0031】

図２に示すように、画像処理部２４は、実車白黒画像作成部２４１と、着色ＡＩ作成部２４２と、シミュレーションカラー画像作成部２４３と、シミュレーション白黒画像変換部２４４と、物体検知トレーニング画像作成部２４５と、アノテーション情報抽出部２４６とを備えている。

【0032】

なお、実車白黒画像作成部２４１は、本発明の「処理画像作成部」の一例である。着色ＡＩ作成部２４２は、本発明の「学習済モデル作成部」の一例である。シミュレーションカラー画像作成部２４３は、本発明の「第一仮想画像作成部」の一例である。シミュレーション白黒画像変換部２４４は、本発明の「第二仮想画像変換部」の一例である。物体検知トレーニング画像作成部２４５は、本発明の「第三仮想画像変換部」の一例である。

【0033】

（実車白黒画像作成部）
図３（ａ）に示すように、実車白黒画像作成部２４１は、実車カラー画像３０ａのデータセットを画像処理することにより、実車白黒画像３０ｂのデータセットを作成する。なお、実車カラー画像３０ａのデータセットは、車両カメラにより撮像されることによって予め用意されるものである。

【0034】

（着色ＡＩ作成部）
図３（ｂ）に示すように、着色ＡＩ作成部２４２は、着色ＡＩ３１を作成する。着色ＡＩ３１は、実車白黒画像３０ｂから実車カラー画像３０ａを復元するものである。着色ＡＩ３１は、実車カラー画像３０ａのデータセット及び実車白黒画像３０ｂのデータセットを使用して、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）により作成される。ＧＡＮは、真及び偽のデータを生成する生成器と、生成器により生成されたデータの真偽を識別する識別器と、これらの生成器及び識別器を有する予測ネットワークとを含む。

【0035】

ここで、図４（ａ）及び（ｂ）を参照して、着色ＡＩ３１作成時に使用される画像について説明する。着色ＡＩ３１作成時に使用される画像は、シミュレーションカラー画像３２ａから物体検知トレーニング画像３３（物体検知学習データ）を作成する際に、例えば、雨のシーンの画像を作成する場合、着色ＡＩ３１の教師用データとして雨のデータを多くすることが望ましい。一方で、晴れのシーンの画像を作成する場合、着色ＡＩ３１の教師用データとして晴れのデータを多くすることが好ましい。シーンだけでなくオブジェクトにおいても同様であり、車が多く映ったシミュレーション白黒画像３２ｂを着色したい場合においては、着色ＡＩ３１の教師用データとして車が多く映ったデータを多くすることが好ましい。

【0036】

次に、学習済みの着色ＡＩを使用しない利点について説明する。いわゆる既存の学習済みの着色ＡＩを使用して物体検知トレーニング画像３３（物体検知学習データ）を作成する場合には、物体検知器１２に使用されるカメラの特性を考慮することができない。一方で、本実施形態のように、物体検知器１２に使用されるカメラの実車カラー画像３０ａ等を学習画像として利用して着色ＡＩ３１を作成する場合には、物体検知器１２に使用されるカメラの特性を再現することができ、物体検知器１２の学習に有効に働くという利点がある。

【0037】

（シミュレーションカラー画像作成部）
シミュレーションカラー画像作成部２４３は、シミュレーションカラー画像３２ａ（シミュレーション元画像）を作成する。

【0038】

（シミュレーション白黒画像変換部）
図４（ａ）に示すように、シミュレーション白黒画像変換部２４４は、シミュレーションカラー画像３２ａ（シミュレーション元画像）を実車白黒画像３０ｂに対応するシミュレーション白黒画像３２ｂに変換する。

【0039】

（物体検知トレーニング画像作成部）
図４（ｂ）に示すように、物体検知トレーニング画像作成部２４５は、シミュレーション白黒画像３２ｂを着色ＡＩ３１により着色されて、物体検知トレーニング画像３３（シミュレーション着色画像）に変換（作成）する。

【0040】

（アノテーション情報抽出部）
図５に示すように、アノテーション情報抽出部２４６は、物体検知トレーニング画像３３のアノテーション情報（教師データ、ラベル）をシミュレーションの機能を用いて抽出する。抽出されたアノテーション情報は、トレーニングデータ（物体検知学習データ）として複数枚用意され、データセットにして車両１０における物体検知器１２の学習が行われる。

【0041】

（データセット作成方法）
図１～図６を参照して、本実施形態に係る画像処理装置２０のデータセット作成方法について説明する。

【0042】

図６に示すように、ステップＳ１０において、実車カラー画像３０ａのデータセットを用意する。実車カラー画像３０ａのデータセットは、車両カメラにより撮像されることによって予め用意されるものである。また、車両カメラは、物体検知に利用される実際のカメラであることが望ましい。その後、ステップＳ１１に処理を進める。

【0043】

次に、ステップＳ１１において、実車白黒画像作成部２４１は、実車カラー画像３０ａのデータセットを画像処理することによって、実車白黒画像３０ｂのデータセットに変換する（図３（ａ）参照）。その後、ステップＳ１２に処理を進める。

【0044】

次に、ステップＳ１２において、着色ＡＩ作成部２４２は、実車カラー画像３０ａのデータセット及び実車白黒画像３０ｂのデータセットを使用して、ＧＡＮにより着色ＡＩ３１を作成する（図３（ｂ）参照）。その後、ステップＳ１３に処理を進める。

【0045】

次に、ステップＳ１３において、シミュレーションカラー画像作成部２４３は、シミュレーションカラー画像３２ａ（元画像）を作成する。その後、ステップＳ１４に処理を進める。

【0046】

次に、ステップＳ１４において、シミュレーション白黒画像変換部２４４は、シミュレーションカラー画像３２ａ（シミュレーション元画像）を実車白黒画像３０ｂに対応するシミュレーション白黒画像３２ｂに変換する（図４（ａ）参照）。その後、ステップＳ１５に処理を進める。

【0047】

次に、ステップＳ１５において、物体検知トレーニング画像作成部２４５は、シミュレーション白黒画像３２ｂが着色ＡＩ３１により着色されることによって、物体検知トレーニング画像３３（シミュレーション着色画像）に変換（作成）する（図４（ｂ）参照）。その後、ステップＳ１６に処理を進める。

【0048】

次に、ステップＳ１６において、アノテーション情報抽出部２４６は、物体検知トレーニング画像３３のアノテーション情報（教師データ、ラベル）をシミュレーションの機能を用いて抽出し、トレーニングデータ（物体検知学習データ）として複数枚用意し、データセットにして車両１０における物体検知器１２の学習を行う（図５参照）。その後、処理を終了する。

【0049】

上記説明した実施形態によれば、以下の効果（１）～（４）を得ることができる。

【0050】

（１）上記実施形態による画像処理装置２０のデータセット作成方法、及び画像処理装置２０では、用意された実車カラー画像３０ａを処理することにより、実車白黒画像３０ｂを作成した。次に、実車白黒画像３０ｂから実車カラー画像３０ａを復元する着色ＡＩ３１を作成した。その後、作成されたシミュレーションカラー画像３２ａを実車白黒画像３０ｂに対応するシミュレーション白黒画像３２ｂに変換した。さらに、シミュレーション白黒画像３２ｂを着色ＡＩ３１により物体検知トレーニング画像３３に変換した。最後に、物体検知トレーニング画像３３のアノテーション情報を抽出した。

【0051】

上記実施形態によれば、シミュレーションカラー画像３２ａをシミュレーション白黒画像３２ｂに変換した後に、シミュレーション白黒画像３２ｂを着色ＡＩ３１により物体検知トレーニング画像３３に変換することによって、シミュレーションカラー画像３２ａから実車カラー画像３０ａに近い学習データセットを作成することができる。その結果、学習済モデル（ＡＩ）の構築に時間を要さず、低コストでシミュレーションカラー画像３２ａから実車カラー画像３０ａに近いデータセットを作成することができる。

【0052】

（２）上記実施形態による画像処理装置２０のデータセット作成方法、及び画像処理装置２０では、生成器と識別器と予測ネットワークとを含むＧＡＮにより着色ＡＩ３１を作成した。これにより、ＧＡＮにより作成された着色ＡＩ３１によって、シミュレーション白黒画像３２ｂを高品質な物体検知トレーニング画像３３に変換することができる。

【0053】

（３）上記実施形態による画像処理装置２０のデータセット作成方法、及び画像処理装置２０では、実車カラー画像３０ａを車両に設けられた前方カメラ及び後方カメラ等の車両カメラにより撮像された画像とした。これにより、車両に設けられた車両カメラにより撮像された実車カラー画像３０ａを学習画像として着色ＡＩ３１が作成されるため、車両カメラの特性（レンズ、センサ、色合い等）を再現することが可能な着色ＡＩ３１を作成することができる。

【0054】

（４）上記実施形態による画像処理装置２０のデータセット作成方法、及び画像処理装置２０では、白黒の実車白黒画像３０ｂからカラーの実車カラー画像３０ａを復元する着色ＡＩ３１を用いた。これにより、着色ＡＩ３１を用いてシミュレーション白黒画像３２ｂを物体検知トレーニング画像３３に変換する際に、シミュレーション白黒画像３２ｂを車両カメラの特性（レンズ、センサ、色合い等）が再現された物体検知トレーニング画像３３に変換することができる。

【0055】

（変形例）
上記実施形態は、以下のように変更した構成とすることもできる。

【0056】

上記実施形態では、実車白黒画像を用いて着色ＡＩを作成する例を示したが、本発明はこれに限られない。例えば、実車データのエッジ画像を用いて着色ＡＩを作成し、この着色ＡＩにより物体検知トレーニング画像を作成することも可能である。

【0057】

上記実施形態では、着色ＡＩをＧＡＮにより作成する例を示したが、本発明はこれに限られない。本発明では、実車白黒画像から実車カラー画像を復元することが可能であれば、ＧＡＮ以外のディープラーニング等を用いて着色ＡＩを作成することも可能である。

【0058】

上記実施形態では、画像処理装置及び車両を含むシステムを例に挙げて、物体検知器が車両に設けられている例について説明したが、本発明はこれに限られない。本発明では、物体検知器が車両以外の装置等に設けられていてもよい。

【0059】

上記実施形態は、いずれも本発明の適応の例示であり、特許請求の範囲に記載の範囲内におけるその他いかなる実施形態も、発明の技術的範囲に含まれることは当然のことである。

【符号の説明】

【0060】

１０ ：車両
１１ ：ＥＣＵ
１２ ：物体検知器
１３ ：ネットワークＩ／Ｆ
２０ ：画像処理装置
２１ ：ＣＰＵ
２２ ：記憶部
２３ ：ネットワークＩ／Ｆ
２４ ：画像処理部
３０ａ ：実車カラー画像（実画像）
３０ｂ ：実車白黒画像（処理画像）
３１ ：着色ＡＩ（学習済モデル）
３２ａ ：シミュレーションカラー画像（第一仮想画像）
３２ｂ ：シミュレーション白黒画像（第二仮想画像）
３３ ：物体検知トレーニング画像（第三仮想画像）
２４１ ：実車白黒画像作成部（処理画像作成部）
２４２ ：着色ＡＩ作成部（学習済モデル作成部）
２４３ ：シミュレーションカラー画像作成部（第一仮想画像作成部）
２４４ ：シミュレーション白黒画像変換部（第二仮想画像変換部）
２４５ ：物体検知トレーニング画像作成部（第三仮想画像変換部）
２４６ ：アノテーション情報抽出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】