特許 7611315 学習用画像生成方法、学習用画像生成装置、学習用画像生成プログラム及び学習モデル生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-12-25

(45)【発行日】2025-01-09

(54)【発明の名称】学習用画像生成方法、学習用画像生成装置、学習用画像生成プログラム及び学習モデル生成方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241226BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 6

(21)【出願番号】P 2023127926

(22)【出願日】2023-08-04

【審査請求日】2024-09-03

【早期審査対象出願】

(73)【特許権者】

【識別番号】309036221

【氏名又は名称】三菱重工機械システム株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】西森 稔晃

(72)【発明者】

【氏名】家永 健吾

(72)【発明者】

【氏名】宅原 雅人

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０２３－００６５３９（ＪＰ，Ａ）

【文献】特開２０２２－０６７８５８（ＪＰ，Ａ）

【文献】特開２０２３－０５８７５８（ＪＰ，Ａ）

【文献】特開２０２２－０９１２７０（ＪＰ，Ａ）

【文献】国際公開第２０１８／１７９３３８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

晴天時の昼間に車両から撮影装置によって撮影した画像であって他の車両、歩行者、信号及び標識の少なくとも１つの対象部分を含む基準画像に対して、前記晴天時の昼間とは異なる気象条件及び日照条件を示す外乱画像を用いて外乱を付加するように変換して、変換画像を生成する変換ステップと、
前記変換画像と前記変換画像において前記対象部分に対応する変換対象部分の情報とを、学習モデルに学習させる対応関係として対応付けた学習用画像を生成するものであり、前記変換対象部分の情報として前記基準画像における前記対象部分の情報を用いる対応ステップと
を含む学習用画像生成方法。

【請求項2】

前記変換画像は、識別性が閾値よりも低い画像であり、
前記基準画像は、前記識別性が閾値よりも高い画像である
請求項１に記載の学習用画像生成方法。

【請求項3】

前記基準画像における前記対象部分の位置及び範囲を特定する特定ステップを更に含み、
前記対応ステップでは、前記特定ステップで特定された前記対象部分の位置及び範囲を前記対象部分の情報として前記変換画像と対応付ける
請求項１に記載の学習用画像生成方法。

【請求項4】

晴天時の昼間に車両から撮影装置によって撮影した画像であって他の車両、歩行者、信号及び標識の少なくとも１つの対象部分を含む基準画像に対して、前記晴天時の昼間とは異なる気象条件及び日照条件を示す外乱画像を用いて外乱を付加するように変換して、変換画像を生成する生成部と、
前記変換画像と前記変換画像において前記対象部分に対応する変換対象部分の情報とを、学習モデルに学習させる対応関係として対応付けた学習用画像を生成するものであり、前記変換対象部分の情報として前記基準画像における前記対象部分の情報を用いる対応部と
を備える学習用画像生成装置。

【請求項5】

晴天時の昼間に車両から撮影装置によって撮影した画像であって他の車両、歩行者、信号及び標識の少なくとも１つの対象部分を含む基準画像に対して、前記晴天時の昼間とは異なる気象条件及び日照条件を示す外乱画像を用いて外乱を付加するように変換して、変換画像を生成する変換処理と、
前記変換画像と前記変換画像において前記対象部分に対応する変換対象部分の情報とを、学習モデルに学習させる対応関係として対応付けた学習用画像を生成するものであり、前記変換対象部分の情報として前記基準画像における前記対象部分の情報を用いる対応処理と
をコンピュータに実行させる学習用画像生成プログラム。

【請求項6】

請求項１から請求項３のいずれか一項に記載の学習用画像生成方法により学習用画像を生成する学習用画像生成ステップと、
生成した前記学習用画像を学習モデルに学習させる学習ステップと
を含む学習モデル生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習用画像生成方法、学習用画像生成装置、学習用画像生成プログラム及び学習モデル生成方法に関する。

【背景技術】

【0002】

画像に含まれる対象部分を抽出する学習モデルを生成する場合、画像と対象部分とを対応付けた学習用画像が大量に必要となる。学習用画像を生成する技術としては、例えば特許文献１に記載の技術等が知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第７１６４００８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような学習用画像を生成する場合、画像と対象部分との対応付けを高精度に行うことが求められる。

【0005】

本開示は、上記に鑑みてなされたものであり、画像に含まれる対象部分を抽出する学習モデルを生成するための学習用画像として、画像と対象部分との対応付けの精度が高い学習用画像を生成することが可能な学習用画像生成方法、学習用画像生成装置、学習用画像生成プログラム及び学習モデル生成方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示に係る学習用画像生成方法は、対象部分を含む基準画像を識別性が低下するように変換して変換画像を生成する変換ステップと、前記変換画像と前記変換画像において前記対象部分に対応する変換対象部分の情報とを、学習モデルに学習させる対応関係として対応付けた学習用画像を生成するものであり、前記変換対象部分の情報として前記基準画像における前記対象部分の情報を用いる対応ステップとを含む。

【0007】

本開示に係る学習用画像生成プログラムは、対象部分を含む基準画像を識別性が低下するように変換して変換画像を生成する変換処理と、前記変換画像と前記変換画像において前記対象部分に対応する変換対象部分の情報とを、学習モデルに学習させる対応関係として対応付けた学習用画像を生成するものであり、前記変換対象部分の情報として前記基準画像における前記対象部分の情報を用いる対応処理とをコンピュータに実行させる。

【0008】

本開示に係る学習用画像生成装置は、対象部分を含む基準画像を識別性が低下するように変換して変換画像を生成する生成部と、前記変換画像と前記変換画像において前記対象部分に対応する変換対象部分の情報とを、学習モデルに学習させる対応関係として対応付けた学習用画像を生成するものであり、前記変換対象部分の情報として前記基準画像における前記対象部分の情報を用いる対応部とを備える。

【0009】

本開示に係る学習モデル生成方法は、上記の学習用画像生成方法により学習用画像を生成する学習用画像生成ステップと、生成した前記学習用画像を学習モデルに学習させる学習ステップとを含む。

【発明の効果】

【0010】

本開示によれば、画像に含まれる対象部分を抽出する学習モデルを生成するための学習用画像として、画像と対象部分との対応付けの精度が高い学習用画像を生成することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、本実施形態に係る学習用画像生成装置の一例を示す機能ブロック図である。

【図2】図２は、基準画像の一例を模式的に示す図である。

【図3】図３は、変換画像の一例を模式的に示す図である。

【図4】図４は、学習用画像の一例を模式的に示す図である。

【図5】図５は、本実施形態に係る学習用画像生成方法の一例を示すフローチャートである。

【図6】図６は、学習用画像に基づいて学習モデルを生成する場合の一例を模式的に示す図である。

【図7】図７は、本実施形態に係る学習モデル生成方法の一例を示すフローチャートである。

【図8】図８は、学習モデルの動作の一例を模式的に示す図である。

【図9】図９は、学習モデルに撮影画像を入力した場合において、出力される対象部分の正解率の一例を示すグラフである。

【図10】図１０は、基準画像の他の例を示す図である。

【図11】図１１は、基準画像の他の例を示す図である。

【発明を実施するための形態】

【0012】

以下、本開示に係る学習用画像生成方法、学習用画像生成装置、学習用画像生成プログラム及び学習モデル生成方法の実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

【0013】

図１は、本実施形態に係る学習用画像生成装置の一例を示す機能ブロック図である。図１に示すように、学習用画像生成装置１００は、入出力部１０と、処理部２０と、記憶部３０とを含む。

【0014】

入出力部１０は、外部機器からの信号を入力し、外部機器へ信号を出力する入出力インターフェースである。入出力部１０は、撮影装置等の外部機器から、後述する基準画像が入力される。入力された基準画像は、例えば記憶部３０に記憶することができる。また、入出力部１０は、上記の基準画像、後述する変換画像及び学習用画像を出力することができる。

【0015】

処理部２０は、各種の情報処理を行う。処理部２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサと、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリとを含む。処理部２０は、変換部２１と、対応部２２とを有する。

【0016】

変換部２１は、対象部分を含む基準画像を識別性が低下するように変換して変換画像を生成する。変換部２１は、生成した変換画像を記憶部３０に記憶することができる。対象部分は、基準画像の一部である。対象部分としては、例えば基準画像における所定の物体を含む部分等が含まれる。

【0017】

基準画像は、例えば撮影装置によって撮影された画像を用いることができる。なお、本実施形態において、画像は、撮影装置によって撮影された画像に限定されず、例えばＬｉＤＡＲセンサ等の光測距センサにより測定された光測距データ、ＲＡＤＡＲセンサ等の電波測距センサにより測定された電波測距データ等、他の種類のセンサで取得されたデータであってもよい。この場合、光測距データ、電波測距データ等の各データは、画素が２次元状に配列された画像と同様に、測定値が２次元状に配列されたデータとして、すなわち画像と同等のデータとして用いることができる。以下の説明では、このように２次元状に配列した光測距データ、電波測距データ等の各データについても、「画像」に含むものとして説明する。

【0018】

基準画像としては、例えば識別性が閾値よりも高い画像を用いることができる。基準画像は、晴天時の昼間等、外乱が最も少なくなる条件で検出した画像を用いることができる。外乱としては、例えば降雨、降雪、霧等の気象条件、明け方、夕方、夜間、逆光等の日照条件等の天候条件が挙げられる。

【0019】

本実施形態において、識別性は、例えば撮影装置によって撮影された基準画像の場合、当該基準画像の視認性とすることができる。視認性については、例えば基準画像の輝度及び明度の少なくとも一方のコントラスト等で示すことができる。また、光測距データ、電波測距データ等の各データの場合、識別性は、測定値のＳ／Ｎ比等で示すことができる。

【0020】

本実施形態において、基準画像としては、識別性（輝度及び明度の少なくとも一方のコントラスト）が閾値よりも高い又は閾値以上である画像とすることができる。また、変換画像は、識別性が閾値よりも低い画像とすることができる。この場合、変換部２１は、識別性が閾値よりも高い基準画像を当該識別性が閾値よりも低くなるように変換して変換画像を生成する。変換画像は、識別性が上記の閾値よりも低い画像とすることができる。

【0021】

変換部２１は、基準画像に例えば外乱を付加することで識別性を低下させることができる。変換部２１は、例えば降雨、降雪、霧等の各気象条件を示す画像、明け方、夕方、夜間、逆光等の各日照条件を示す画像等の外乱画像を用いて基準画像を変換することができる。

【0022】

変換部２１は、例えばニューラルネットワークによる学習によって変換画像を生成することができる。この場合、変換部２１は、例えば、基準画像と外乱画像とが入力された場合、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）と呼ばれる技術、又はサイクル敵対的生成ネットワーク（Ｃｙｃｌｅ ＧＡＮ）と呼ばれる技術を用いて、変換画像を生成することができる。また、変換部２１は、拡散モデル（Ｄｉｆｆｕｓｉｏｎ Ｍｏｄｅｌ）と呼ばれる技術を用いて、変換画像を生成することができる。

【0023】

図２は、基準画像の一例を模式的に示す図である。図２に示す基準画像ＩＭ１は、晴天時の昼間において、走行状態の車両から前方を撮影した画像である。基準画像ＩＭ１には、自車両の前方を走行する先行車両Ａ１の画像が含まれている。基準画像ＩＭ１は、当該先行車両Ａ１の画像を含む部分が対象部分Ｐ１として特定された状態である。対象部分Ｐ１を特定する場合、例えば作業者が基準画像ＩＭ１を見て先行車両Ａ１を識別し、識別した範囲を手作業で対象部分Ｐ１とすることができる。なお、基準画像ＩＭ１に対して画像処理を行うことで対象部分Ｐ１を特定してもよい。なお、対象部分Ｐ１としては、先行車両Ａ１に限られず、例えば歩行者、信号、標識、バイク、自転車等の他の物体又は人であってもよい。

【0024】

図３は、変換画像の一例を模式的に示す図である。図３に示す変換画像ＩＭ２は、基準画像ＩＭ１に外乱を付加して識別性を低下させた画像である。変換画像ＩＭ２には、自車両の前方を走行する先行車両Ａ２の画像が含まれている。変換画像ＩＭ２は、基準画像ＩＭ１と画素数が同一とすることができる。この場合、変換画像ＩＭ２における先行車両Ａ２の位置及び範囲は、基準画像ＩＭ１における先行車両Ａ１の位置及び範囲と同一となる。

【0025】

対応部２２は、変換画像に基づいて学習用画像を生成する。対応部２２は、生成した学習用画像を記憶部３０に記憶することができる。学習用画像は、変換画像と、基準画像における対象部分の情報とを、学習モデルに学習させる対応関係として対応付けたデータである。すなわち、学習用画像は、変換画像において基準画像の対象部分に対応する部分である変換対象部分の情報として、基準画像における対象部分の情報を用いて対応付けを行ったデータである。基準画像と変換画像との２次元の画素配列が同一である場合、基準画像において対象部分を構成する各画素の２次元座標と、変換画像において変換対象部分を構成する各画素の２次元座標とが同一となる。この場合、対応部２２は、特定された対象部分の位置及び範囲を対象部分の情報として変換画像と対応付けることができる。

【0026】

図４は、学習用画像の一例を模式的に示す図である。図４に示す学習用画像ＩＭ３は、変換画像ＩＭ２と、基準画像における対象部分Ｐ１の情報とが学習モデルに学習させる対応関係として対応付けられている。変換画像ＩＭ２における変換対象部分Ｐ２の位置及び範囲は、基準画像ＩＭ１における対象部分Ｐ１の位置及び範囲と同一である。本実施形態では、基準画像ＩＭ１と変換画像ＩＭ２との２次元の画素配列が同一であるため、対応部２２は、基準画像ＩＭ１において対象部分Ｐ１を構成する各画素の２次元座標と、変換画像ＩＭ２において変換対象部分Ｐ２を構成する各画素の２次元座標とが同一となるように対象部分Ｐ１の情報を設定することができる。

【0027】

対応部２２により生成される学習用画像ＩＭ３は、視認性の低い変換画像ＩＭ２において対象部分Ｐ１の情報が対応付けられたデータである。例えば、作業者が変換画像ＩＭ２を見て先行車両Ａ２を識別し、識別した範囲を手作業で変換対象部分Ｐ２とする場合、視認性の低い変換画像ＩＭ２から先行車両Ａ２を十分に識別できず、見落としてしまう可能性がある。このため、変換画像ＩＭ２と変換対象部分Ｐ２との対応付けの精度が十分でない学習用画像ＩＭ３が生成される可能性がある。これに対して、本実施形態では、変換画像ＩＭ２よりも視認性の高い基準画像ＩＭ１に基づいて対象部分Ｐ１の情報を特定し、当該対象部分Ｐ１の情報を変換対象部分Ｐ２の情報として変換画像ＩＭ２に対応付けた学習用画像ＩＭ３を生成するため、変換画像ＩＭ２と変換対象部分Ｐ２との対応付けの精度が高い学習用画像ＩＭ３を生成することができる。

【0028】

記憶部３０は、各種プログラム、データ等の情報を記憶する。記憶部３０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージを含む。記憶部３０は、入出力部１０より入力された基準画像を記憶することができる。記憶部３０は、変換部２１で生成された変換画像、対応部２２で生成された学習用画像をそれぞれ記憶することができる。

【0029】

記憶部３０は、例えば、対象部分を含む基準画像を識別性が低下するように変換して変換画像を生成する変換処理と、変換画像と変換画像において対象部分に対応する変換対象部分の情報とを、学習モデルに学習させる対応関係として対応付けた学習用画像を生成するものであり、変換対象部分の情報として基準画像における対象部分の情報を用いる対応処理とをコンピュータに実行させる学習用画像生成プログラムを記憶する。

【0030】

学習用画像生成装置１００では、処理部２０においてプロセッサが各種プログラムを読み出してメモリに展開することで、上記各部の機能に対応した情報処理を実行する。各種プログラムとしては、例えば記憶部３０に記憶されたプログラム、外部の記録媒体に記録されたプログラム等が挙げられる。学習用画像生成装置１００は、各種の情報処理を実行する情報処理装置（コンピュータ）として機能する。なお、学習用画像生成装置１００とは異なる他の情報処理装置が各種プログラムを実行してもよいし、学習用画像生成装置１００と他の情報処理装置とが協働して各種プログラムを実行してもよい。

【0031】

図５は、本実施形態に係る学習用画像生成方法の一例を示すフローチャートである。図５に示すように、本実施形態に係る学習用画像生成方法は、特定ステップＳ１０と、変換ステップＳ２０と、対応ステップＳ３０とを含む。

【0032】

特定ステップＳ１０は、基準画像ＩＭ１における対象部分Ｐ１の位置及び範囲を対象部分Ｐ１の情報として特定する。特定ステップＳ１０では、例えば作業者が基準画像ＩＭ１を見て先行車両Ａ１を識別し、識別した範囲を手作業で対象部分Ｐ１とすることができる。なお、基準画像ＩＭ１に対して画像処理を行うことで対象部分Ｐ１を特定してもよい。

【0033】

変換ステップＳ２０は、対象部分Ｐ１を含む基準画像ＩＭ１を識別性が低下するように変換して変換画像ＩＭ２を生成する。

【0034】

対応ステップＳ３０は、変換画像ＩＭ２と基準画像ＩＭ１における対象部分Ｐ１の情報とを、学習モデルに学習させる対応関係として対応付けた学習用画像ＩＭ３を生成する。

【0035】

上記のように生成した学習用画像ＩＭ３を学習させることにより、学習モデルを生成することができる。図６は、学習用画像ＩＭ３に基づいて学習モデルを生成する場合の一例を模式的に示す図である。なお、図６に示す学習処理装置２００は、ＣＰＵ等のプロセッサ（不図示）と、ＲＯＭ、ＲＡＭ等のメモリ（不図示）と、ＨＤＤ、ＳＳＤ等のストレージ（不図示）と、入出力インターフェース（不図示）とを含むコンピュータである。学習処理装置２００には、学習用画像ＩＭ３に基づいて学習モデルを生成するためのプログラム、データ等が記憶される。

【0036】

図６に示す学習処理装置２００は、上記のように生成された学習用画像ＩＭ３が入力された場合、入力された学習用画像ＩＭ３を機械学習により学習して、学習モデルＭを生成する。学習処理装置２００は、生成した学習モデルＭをストレージに記憶させることができる。

【0037】

図７は、本実施形態に係る学習モデル生成方法の一例を示すフローチャートである。図７に示すように、本実施形態に係る学習モデル生成方法は、学習用画像生成ステップＳ１１０と、学習ステップＳ１２０とを含む。

【0038】

学習用画像生成ステップＳ１１０は、学習用画像ＩＭ３を生成するステップであり、上記した変換ステップＳ２０及び対応ステップＳ３０（図５参照）を少なくとも含み、特定ステップＳ１０（図５参照）を含んでもよい。

【0039】

学習ステップＳ１２０では、生成した学習用画像ＩＭ３を学習処理装置２００に入力し、学習処理装置２００が学習用画像ＩＭ３を学習する。これにより、学習モデルＭを生成することができる。なお、学習ステップＳ１２０では、基準画像ＩＭ１と対象部分Ｐ１とを対応付けた学習用画像を学習処理装置２００に入力し、学習処理装置２００が当該学習用画像を学習してもよい。

【0040】

図８は、学習モデルＭの動作の一例を模式的に示す図である。図８では、対象物Ａ４を含む撮影画像ＩＭ４を推論処理装置３００に入力する場合について説明する。撮影画像ＩＭ４は、走行状態の車両から前方を撮影した画像である。また、撮影画像ＩＭ４は、晴天ではなく、かつ昼間でもない状態であり、例えば降雨、降雪、霧等の各気象条件が発生した状態、明け方、夕方、夜間、逆光等の各日照条件が発生した状態で撮影した画像である。したがって、撮影画像ＩＭ４は、基準画像ＩＭ１に比べて識別性（視認性）が低い画像である。

【0041】

推論処理装置３００には、当該撮影画像ＩＭ４と、上記のように生成された学習モデルＭとを入力する。推論処理装置３００は、視認性の低い変換画像ＩＭ２と基準画像ＩＭ１の対応部分Ｐ１の情報との対応関係の学習結果に基づいて、入力された撮影画像ＩＭ４における対象部分Ｐ４、すなわち、撮影画像ＩＭ４に含まれる対象物Ａ４が含まれる部分を特定し、特定結果を出力する。

【0042】

なお、学習モデルＭを生成する際に、基準画像ＩＭ１と対象部分Ｐ１とを対応付けた学習用画像を学習させた場合、撮影画像として、晴天かつ昼間に撮影した画像を学習処理装置２００に入力することができる。この場合、推論処理装置３００には、撮影画像及び学習モデルＭが入力される。推論処理装置３００は、視認性の高い基準画像ＩＭ１と当該基準画像ＩＭ１内の対象部分Ｐ１との対応関係の学習結果に基づいて、入力された撮影画像における対象部分を特定し、特定結果を出力することができる。

【0043】

図９は、推論処理装置３００に撮影画像及び学習モデルＭを入力した場合において、出力される対象部分の正解率の一例を示すグラフである。図９において、縦軸が正解率の高さを示している。また、横軸の「全画像」は、入力される全ての撮影画像についての結果を示している。また、「視認性高」は、入力される撮影画像のうち視認性が閾値よりも高い画像についての結果を示している。また、「視認性低」は、入力される撮影画像のうち視認性が閾値よりも低い画像についての結果を示している。

【0044】

図９において、「基準画像のみ」の折れ線グラフは、基準画像ＩＭ１のみを用いて学習モデルＭを生成した場合の正解率を示す。また、「変換画像使用」の折れ線グラフは、基準画像ＩＭ１と学習用画像ＩＭ３とを用いて学習モデルＭを生成した場合の正解率を示す。

【0045】

学習用画像ＩＭ３を用いて学習モデルＭを生成することにより、視認性が閾値よりも低い画像（変換画像ＩＭ２）と対象部分（変換対象部分Ｐ２）との対応関係の学習精度が向上するため、図９に示すように、視認性が閾値よりも低い撮影画像を入力した場合の正解率が高くなる。

【0046】

また、視認性が閾値よりも低い画像の学習精度が向上するため、学習モデルＭの総合的な学習精度が向上する。このため、図９に示すように、視認性が閾値よりも低い撮影画像だけではなく、視認性が閾値よりも高い撮影画像を入力した場合についても、正解率が高くなる。

【0047】

なお、上記実施形態では、対象部分の情報が例えば基準画像における所定の物体を含む部分の情報である場合を例に挙げて説明したが、この場合に限定されない。図１０及び図１１は、基準画像の他の例を示す図である。

【0048】

図１０は、セグメンテーションと呼ばれる手法により認識される画像ＩＭ１１の一例を模式的に示している。図１０に示す画像ＩＭ１１は、構造物等の外郭線等により区画される領域を表したものである。図１０に示す画像ＩＭ１１では、例えば区画された領域を含むそれぞれの部分、区画された領域同士の境界を含む部分、等のように画像ＩＭ１１内の各領域を設定して対象部分の情報を特定することができる。

【0049】

図１１は、デプスと呼ばれる手法により認識される画像ＩＭ１２の一例を模式的に示している。図１１に示す画像ＩＭ１２は、３次元方向の奥行を濃淡により表したものである。画像ＩＭ１２においては、例えば奥行きが同一の領域、奥行きの変化の割合が所定以下の領域、奥行きの変化の割合が所定以上の領域、等のように奥行に対応した領域を設定して対象部分の情報を特定することができる。

【0050】

以上のように、本開示の第１態様に係る学習用画像生成方法は、対象部分Ｐ１を含む基準画像ＩＭ１を識別性が低下するように変換して変換画像ＩＭ２を生成する変換ステップＳ２０と、変換画像ＩＭ２と変換画像ＩＭ２において対象部分Ｐ１に対応する変換対象部分Ｐ２の情報とを、学習モデルＭに学習させる対応関係として対応付けた学習用画像ＩＭ３を生成するものであり、変換対象部分Ｐ２の情報として基準画像ＩＭ１における対象部分Ｐ１の情報を用いる変換対象部分対応ステップＳ３０とを含む。

【0051】

この構成によれば、変換画像ＩＭ２と変換対象部分Ｐ２の情報とを対応付ける際、変換対象部分Ｐ２の情報として、当該変換画像ＩＭ２よりも視認性の高い基準画像ＩＭ１における対象部分Ｐ１の情報を用いるため、変換画像ＩＭ２と変換対象部分Ｐ２との対応付けの精度が高い学習用画像ＩＭ３を生成することができる。

【0052】

本開示の第２態様に係る学習用画像生成方法は、第１態様において、変換画像ＩＭ２は、識別性が閾値よりも低い画像であり、基準画像ＩＭ１は、識別性が閾値よりも高い画像である。

【0053】

この構成によれば、変換画像ＩＭ２が閾値よりも識別性の低い画像であり、基準画像ＩＭ１が閾値よりも識別性の高い画像であるため、識別性の高い基準画像ＩＭ１において特定される対象部分Ｐ１の情報を、識別性の低い変換画像ＩＭ２に対応させることができるため、変換画像ＩＭ２と変換対象部分Ｐ２との対応付けの精度が高い学習用画像ＩＭ３を生成することができる。

【0054】

本開示の第３態様に係る学習用画像生成方法は、第１態様又は第２態様において、変換ステップＳ２０では、基準画像ＩＭ１に外乱を付加することで識別性を低下させる。

【0055】

この構成によれば、基準画像ＩＭ１に外乱を付加して識別性を低下させた変換画像ＩＭ２と変換対象部分Ｐ２との対応付けの精度が高い学習用画像ＩＭ３を生成することができる。

【0056】

本開示の第４態様に係る学習用画像生成方法は、第１態様から第３態様のいずれかにおいて、基準画像ＩＭ１における対象部分Ｐ１の位置及び範囲を特定する特定ステップＳ１０を更に含み、対応ステップＳ３０では、特定ステップＳ１０で特定された対象部分Ｐ１の位置及び範囲を対象部分Ｐ１の情報として変換画像ＩＭ２と対応付ける。

【0057】

この構成によれば、対象部分Ｐ１の位置及び範囲を変換対象部分Ｐ２の位置及び範囲として変換画像ＩＭ２と対応付けるため、対象部分Ｐ１と変換対象部分Ｐ２との対応付けを高精度に行うことができる。

【0058】

本開示の第５態様に係る学習用画像生成方法は、第１態様から第４態様のいずれかにおいて、基準画像ＩＭ１は、撮影装置によって撮影された画像である。

【0059】

この構成によれば、撮影装置によって撮影された基準画像ＩＭ１を変換した変換画像ＩＭ２について、変換対象部分Ｐ２との対応付けの精度が高い学習用画像ＩＭ３を生成することができる。

【0060】

本開示の第６態様に係る学習用画像生成装置１００は、対象部分Ｐ１を含む基準画像ＩＭ１を識別性が低下するように変換して変換画像ＩＭ２を生成する変換部２１と、変換画像ＩＭ２と変換画像ＩＭ２において対象部分Ｐ１に対応する変換対象部分Ｐ２の情報とを、学習モデルＭに学習させる対応関係として対応付けた学習用画像ＩＭ３を生成するものであり、変換対象部分Ｐ２の情報として基準画像ＩＭ１における対象部分Ｐ１の情報を用いる対応部２２とを備える。

【0061】

この構成によれば、変換画像ＩＭ２と変換対象部分Ｐ２の情報とを対応付ける際、変換対象部分Ｐ２の情報として、当該変換画像ＩＭ２よりも視認性の高い基準画像ＩＭ１における対象部分Ｐ１の情報を用いるため、変換画像ＩＭ２と変換対象部分Ｐ２との対応付けの精度が高い学習用画像ＩＭ３を生成することができる。

【0062】

本開示の第７態様に係る学習用画像生成プログラムは、対象部分Ｐ１を含む基準画像ＩＭ１を識別性が低下するように変換して変換画像ＩＭ２を生成する変換処理と、変換画像ＩＭ２と変換画像ＩＭ２において対象部分Ｐ１に対応する変換対象部分Ｐ２の情報とを、学習モデルＭに学習させる対応関係として対応付けた学習用画像ＩＭ３を生成するものであり、変換対象部分Ｐ２の情報として基準画像ＩＭ１における対象部分Ｐ１の情報を用いる対応処理とをコンピュータに実行させる。

【0063】

この構成によれば、変換画像ＩＭ２と変換対象部分Ｐ２の情報とを対応付ける際、変換対象部分Ｐ２の情報として、当該変換画像ＩＭ２よりも視認性の高い基準画像ＩＭ１における対象部分Ｐ１の情報を用いるため、変換画像ＩＭ２と変換対象部分Ｐ２との対応付けの精度が高い学習用画像ＩＭ３を生成することができる。

【0064】

本開示の第８態様に係る学習モデル生成方法は、第１態様から第６態様のいずれかの学習用画像生成方法により学習用画像ＩＭ３を生成する学習用画像ＩＭ３生成ステップと、生成した学習用画像ＩＭ３を学習モデルＭに学習させる学習ステップとを含む。

【0065】

この構成によれば、変換画像ＩＭ２と変換対象部分Ｐ２との対応付けの精度が高い学習用画像ＩＭ３を用いて学習することにより、入力される画像に含まれる対象領域を高精度に推定可能な学習モデルＭを得ることができる。

【符号の説明】

【0066】

１０ 入出力部
２０ 処理部
２１ 変換部
２２ 対応部
３０ 記憶部
１００ 学習用画像生成装置
２００ 学習処理装置
Ａ１，Ａ２ 先行車両
Ａ４ 対象物
ＩＭ１ 基準画像
ＩＭ２ 変換画像
ＩＭ３ 学習用画像
ＩＭ４ 撮影画像
ＩＭ１１，ＩＭ１２ 画像
Ｍ 学習モデル
Ｐ１，Ｐ４ 対象部分
Ｐ２ 変換対象部分

【要約】

【課題】画像に含まれる対象部分を抽出する学習モデルを生成するための学習用画像として、画像と対象部分との対応付けの精度が高い学習用画像を生成する。
【解決手段】学習用画像生成方法は、対象部分を含む基準画像を識別性が低下するように変換して変換画像を生成する変換ステップと、変換画像と変換画像において対象部分に対応する変換対象部分の情報とを、学習モデルに学習させる対応関係として対応付けた学習用画像を生成するものであり、変換対象部分の情報として基準画像における対象部分の情報を用いる対応ステップとを含む。
【選択図】図５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】