ホーム > 特許ランキング > 財團法人工業技術研究院
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2020-102186(P2020-102186A)
(43)【公開日】2020年7月2日
(54)【発明の名称】画像生成装置の学習方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20200605BHJP
G06N 3/08 20060101ALI20200605BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 650A
G06N3/08
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
【全頁数】18
(21)【出願番号】特願2019-134001(P2019-134001)
(22)【出願日】2019年7月19日
(31)【優先権主張番号】107145971
(32)【優先日】2018年12月19日
(33)【優先権主張国】TW
(31)【優先権主張番号】16/231,669
(32)【優先日】2018年12月24日
(33)【優先権主張国】US
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り １． 集会（会議）による発表 集会名：コンピュータービジョンについてのヨーロッパ会議（イーシーシーブイ）２０１８ 開催日：２０１８年９月１２日 開催場所：ドイツ、ミュンヘン ２． 電気通信回線を通じての発表 掲載年月日：２０１８年１０月５日 掲載アドレス： ｈｔｔｐｓ：／／ｌｉｎｋ．ｓｐｒｉｎｇｅｒ．ｃｏｍ／ｂｏｏｋ／１０．１００７／９７８−３−０３０−０１２４０−３
(71)【出願人】
【識別番号】390023582
【氏名又は名称】財團法人工業技術研究院
【氏名又は名称原語表記】ＩＮＤＵＳＴＲＩＡＬ ＴＥＣＨＮＯＬＯＧＹ ＲＥＳＥＡＲＣＨ ＩＮＳＴＩＴＵＴＥ
(74)【代理人】
【識別番号】110000338
【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】林哲聰
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096GA08
5L096HA11
5L096JA18
5L096KA04
(57)【要約】 （修正有）
【課題】深層学習モデルの性能を改善可能な画像生成装置の学習方法を提供する。【解決手段】画像生成装置の学習方法は、複数回の反復を含み、各反復は、実画像を第１の生成部に入力するステップＳ１０１と、画像変換部によって画像を生成するステップＳ１０２と、生成画像を識別部に入力するステップＳ１０３と、識別部から損失値を取得するステップＳ１０４と、画像分割部によって分割画像を生成するステップＳ１０５と、分割画像に対応した分割損失値を取得するステップＳ１０６と、生成画像を第２の生成部に入力するステップＳ１０７と、第２の生成部によって再構成画像を生成するステップＳ１０８と、再構成画像及び実画像に対応した再構成損失値を取得するステップＳ１０９と、を含む。
【選択図】図３
【特許請求の範囲】
【請求項1】
目標ラベル付き画像を拡張するために用いられる画像生成装置の学習方法であって、
複数の第１の反復を行い、各前記第１の反復は、
第１の路面特徴を有する第１の実画像を第１の生成部に入力するステップと、
前記第１の生成部の第１の画像変換部によって、前記第１の実画像に対して、第１の生成画像を生成し、前記第１の路面特徴を第２の路面特徴に変換する第１の画像変換処理を実行するステップと、
前記第１の生成画像を第１の識別部に入力するステップと、
前記第１の識別部から前記第１の生成画像に対応した第１の損失値を取得するステップと、
前記第１の生成部の第１の画像分割部によって、前記第１の実画像に対して、第１の分割画像を生成する第１の画像分割処理を実行するステップと、
前記第１の分割画像に対応した第１の分割損失値を取得するステップと、
前記第１の生成画像を第２の生成部に入力するステップと、
前記第２の生成部によって、前記第１の生成画像に対して、第１の再構成画像を生成し、前記第２の路面特徴を前記第１の路面特徴に変換する第２の画像変換処理を実行するステップと、
前記第１の再構成画像及び前記第１の実画像に対応した第１の再構成損失値を取得するステップと、
前記第１の画像変換部と前記第１の画像分割部との間のネットワーク重みの差を比較することにより、第１の類似性損失値を取得するステップと、
前記第１の反復の各ステップにて得られた、前記第１の損失値、前記第１の分割損失値、前記第１の再構成損失値、及び前記第１の類似性損失値に対応した、前記第１の生成部と前記第２の生成部との間のネットワークパラメータを更新し、前記画像生成装置の学習を終了するステップと、
を含む、画像生成装置の学習方法。
複数の第１の反復を行い、各前記第１の反復は、
第１の路面特徴を有する第１の実画像を第１の生成部に入力するステップと、
前記第１の生成部の第１の画像変換部によって、前記第１の実画像に対して、第１の生成画像を生成し、前記第１の路面特徴を第２の路面特徴に変換する第１の画像変換処理を実行するステップと、
前記第１の生成画像を第１の識別部に入力するステップと、
前記第１の識別部から前記第１の生成画像に対応した第１の損失値を取得するステップと、
前記第１の生成部の第１の画像分割部によって、前記第１の実画像に対して、第１の分割画像を生成する第１の画像分割処理を実行するステップと、
前記第１の分割画像に対応した第１の分割損失値を取得するステップと、
前記第１の生成画像を第２の生成部に入力するステップと、
前記第２の生成部によって、前記第１の生成画像に対して、第１の再構成画像を生成し、前記第２の路面特徴を前記第１の路面特徴に変換する第２の画像変換処理を実行するステップと、
前記第１の再構成画像及び前記第１の実画像に対応した第１の再構成損失値を取得するステップと、
前記第１の画像変換部と前記第１の画像分割部との間のネットワーク重みの差を比較することにより、第１の類似性損失値を取得するステップと、
前記第１の反復の各ステップにて得られた、前記第１の損失値、前記第１の分割損失値、前記第１の再構成損失値、及び前記第１の類似性損失値に対応した、前記第１の生成部と前記第２の生成部との間のネットワークパラメータを更新し、前記画像生成装置の学習を終了するステップと、
を含む、画像生成装置の学習方法。
【請求項2】
前記第１の類似性損失値を取得するステップでは、前記第１の類似性損失値は、
により表され、ωｘ，ｔは前記第１の画像変換部のネットワーク重みベクトルであり、ωｘ，ｓは前記第１の画像分割部のネットワーク重みベクトルである、請求項１に記載の画像生成装置の学習方法。
【数1】
により表され、ωｘ，ｔは前記第１の画像変換部のネットワーク重みベクトルであり、ωｘ，ｓは前記第１の画像分割部のネットワーク重みベクトルである、請求項１に記載の画像生成装置の学習方法。
【請求項3】
前記各第１の反復は、
前記第１の生成画像と、前記第２の路面特徴を有する第２の実画像とを、前記第１の識別部に入力することにより、前記第１の識別部に学習させるステップと、
前記第１の生成画像と前記第２の実画像との差を、前記第１の識別部によって比較することにより、前記第１の識別部から前記第１の生成画像に対応した前記第１の損失値を取得するステップと、
を更に含む、請求項１に記載の画像生成装置の学習方法。
前記第１の生成画像と、前記第２の路面特徴を有する第２の実画像とを、前記第１の識別部に入力することにより、前記第１の識別部に学習させるステップと、
前記第１の生成画像と前記第２の実画像との差を、前記第１の識別部によって比較することにより、前記第１の識別部から前記第１の生成画像に対応した前記第１の損失値を取得するステップと、
を更に含む、請求項１に記載の画像生成装置の学習方法。
【請求項4】
複数の第２の反復を行い、各前記第２の反復は、
前記第２の路面特徴を有する第２の実画像を前記第２の生成部に入力するステップと、
前記第２の生成部によって、前記第２の実画像に対して、第２の生成画像を生成し、前記第２の路面特徴を前記第１の路面特徴に変換する第２の画像変換処理を実行するステップと、
前記第２の生成画像を第２の識別部に入力するステップと、
前記第２の識別部から前記第２の生成画像に対応した第２の損失値を取得するステップと、
前記第２の生成画像を前記第１の生成部に入力するステップと、
前記第１の生成部の前記第１の画像変換部によって、前記第２の生成画像に対して、前記第１の画像変換処理を実行することにより、第２の再構成画像を生成し、前記第１の路面特徴を前記第２の路面特徴に変換するステップと、
前記第２の再構成画像と前記第２の実画像に対応した、第２の再構成損失値を取得するステップと、を含み、
前記各第２の反復にて得られた前記第２の損失値及び前記第２の再構成損失値に対応した、前記第１の生成部と前記第２の生成部との間の前記ネットワークパラメータを更新するステップとを更に含む、請求項１に記載の画像生成装置の学習方法。
前記第２の路面特徴を有する第２の実画像を前記第２の生成部に入力するステップと、
前記第２の生成部によって、前記第２の実画像に対して、第２の生成画像を生成し、前記第２の路面特徴を前記第１の路面特徴に変換する第２の画像変換処理を実行するステップと、
前記第２の生成画像を第２の識別部に入力するステップと、
前記第２の識別部から前記第２の生成画像に対応した第２の損失値を取得するステップと、
前記第２の生成画像を前記第１の生成部に入力するステップと、
前記第１の生成部の前記第１の画像変換部によって、前記第２の生成画像に対して、前記第１の画像変換処理を実行することにより、第２の再構成画像を生成し、前記第１の路面特徴を前記第２の路面特徴に変換するステップと、
前記第２の再構成画像と前記第２の実画像に対応した、第２の再構成損失値を取得するステップと、を含み、
前記各第２の反復にて得られた前記第２の損失値及び前記第２の再構成損失値に対応した、前記第１の生成部と前記第２の生成部との間の前記ネットワークパラメータを更新するステップとを更に含む、請求項１に記載の画像生成装置の学習方法。
【請求項5】
前記各第１の反復は、
前記第１の生成画像と前記第２の実画像を前記第１の識別部に入力することにより、前記第１の識別部を学習させるステップと、
前記第１の識別部によって、前記第１の生成画像と前記第２の実画像との差を比較することにより、前記第１の識別部から前記第１の生成画像に対応した前記第１の損失値を取得するステップと、更に含み、
前記各第２の反復は、
前記第２の生成画像と前記第１の実画像を前記第２の識別部に入力することにより、前記第２の識別部を学習させるステップと、
前記第２の識別部によって、前記第２の生成画像と前記第１の実画像との差を比較することにより、前記第２の識別部から前記第２の生成画像に対応した前記第２の損失値を取得するステップと、を更に含む、請求項４に記載の画像生成装置の学習方法。
前記第１の生成画像と前記第２の実画像を前記第１の識別部に入力することにより、前記第１の識別部を学習させるステップと、
前記第１の識別部によって、前記第１の生成画像と前記第２の実画像との差を比較することにより、前記第１の識別部から前記第１の生成画像に対応した前記第１の損失値を取得するステップと、更に含み、
前記各第２の反復は、
前記第２の生成画像と前記第１の実画像を前記第２の識別部に入力することにより、前記第２の識別部を学習させるステップと、
前記第２の識別部によって、前記第２の生成画像と前記第１の実画像との差を比較することにより、前記第２の識別部から前記第２の生成画像に対応した前記第２の損失値を取得するステップと、を更に含む、請求項４に記載の画像生成装置の学習方法。
【請求項6】
複数の第２の反復を行い、各前記第２の反復は、
前記第２の路面特徴を有する第２の実画像を前記第２の生成部に入力するステップと、
前記第２の生成部の第２の画像変換部によって、前記第２の実画像に対して、第２の生成画像を生成し、前記第２の路面特徴を前記第１の路面特徴に変換する第２の画像変換処理を実行するステップと、
前記第２の生成画像を第２の識別部に入力するステップと、
前記第２の識別部から前記第２の生成画像に対応した第２の損失値を取得するステップと、
前記第２の生成部に設けられた第２の画像分割部によって、前記第２の実画像に対して、第２の分割画像を生成する第２の画像分割処理を実行するステップと、
前記第２の分割画像に対応した第２の分割損失値を取得するステップと、
前記第２の生成画像を前記第１の生成部に入力するステップと、
前記第１の生成部の前記第１の画像変換部によって、前記第２の生成画像に対して、前記第１の画像変換処理を実行することにより、第２の再構成画像を生成し、前記第１の路面特徴を前記第２の路面特徴に変換するステップと、
前記第２の再構成画像と前記第２の実画像に対応した第２の再構成損失値を取得し、前記第２の画像変換部と前記第２の画像分割部との間の重みの差を比較することにより、第２の類似性損失値を生成するステップと、を含み、
前記各第２の反復にて生成された前記第２の損失値、前記第２の分割損失値、前記第２の再構成損失値、及び前記第２の類似性損失値に対応した、前記第１の生成部と前記第２の生成部との間の前記ネットワークパラメータを更新し、前記画像生成装置の学習方法を終了するステップと、
を更に含む、請求項１に記載の画像生成装置の学習方法。
前記第２の路面特徴を有する第２の実画像を前記第２の生成部に入力するステップと、
前記第２の生成部の第２の画像変換部によって、前記第２の実画像に対して、第２の生成画像を生成し、前記第２の路面特徴を前記第１の路面特徴に変換する第２の画像変換処理を実行するステップと、
前記第２の生成画像を第２の識別部に入力するステップと、
前記第２の識別部から前記第２の生成画像に対応した第２の損失値を取得するステップと、
前記第２の生成部に設けられた第２の画像分割部によって、前記第２の実画像に対して、第２の分割画像を生成する第２の画像分割処理を実行するステップと、
前記第２の分割画像に対応した第２の分割損失値を取得するステップと、
前記第２の生成画像を前記第１の生成部に入力するステップと、
前記第１の生成部の前記第１の画像変換部によって、前記第２の生成画像に対して、前記第１の画像変換処理を実行することにより、第２の再構成画像を生成し、前記第１の路面特徴を前記第２の路面特徴に変換するステップと、
前記第２の再構成画像と前記第２の実画像に対応した第２の再構成損失値を取得し、前記第２の画像変換部と前記第２の画像分割部との間の重みの差を比較することにより、第２の類似性損失値を生成するステップと、を含み、
前記各第２の反復にて生成された前記第２の損失値、前記第２の分割損失値、前記第２の再構成損失値、及び前記第２の類似性損失値に対応した、前記第１の生成部と前記第２の生成部との間の前記ネットワークパラメータを更新し、前記画像生成装置の学習方法を終了するステップと、
を更に含む、請求項１に記載の画像生成装置の学習方法。
【請求項7】
各前記第１の反復は、
前記第１の生成画像と前記第２の実画像を前記第１の識別部に入力することにより、前記第１の識別部を学習させるステップと、
前記第１の識別部によって、前記第１の生成画像と前記第２の実画像との間の差を比較することにより、前記第１の識別部から前記第１の生成画像に対応した前記第１の損失値を取得するステップと、を更に含み、
各前記第２の反復は、
前記第２の生成画像と前記第１の実画像を前記第２の識別部に入力することにより、前記第２の識別部を学習させるステップと、
前記第２の識別部によって、前記第２の生成画像と前記第１の実画像との差を比較することにより、前記第２の識別部から前記第２の生成画像に対応した前記第２の損失値を取得するステップと、を更に含む、請求項６に記載の画像生成装置の学習方法。
前記第１の生成画像と前記第２の実画像を前記第１の識別部に入力することにより、前記第１の識別部を学習させるステップと、
前記第１の識別部によって、前記第１の生成画像と前記第２の実画像との間の差を比較することにより、前記第１の識別部から前記第１の生成画像に対応した前記第１の損失値を取得するステップと、を更に含み、
各前記第２の反復は、
前記第２の生成画像と前記第１の実画像を前記第２の識別部に入力することにより、前記第２の識別部を学習させるステップと、
前記第２の識別部によって、前記第２の生成画像と前記第１の実画像との差を比較することにより、前記第２の識別部から前記第２の生成画像に対応した前記第２の損失値を取得するステップと、を更に含む、請求項６に記載の画像生成装置の学習方法。
【請求項8】
前記第１の路面特徴と前記第２の路面特徴とは、舗装材料の種類が互いに異なるか、または、異なった天候状況、及び時間帯のうちいずれか、または、これらの組み合わせにおいて異なる特徴を有する路面である、請求項１に記載の画像生成装置の学習方法。
【請求項9】
前記第１の路面特徴と前記第２の路面特徴とは、ラインマークの種類が互いに異なる、請求項１に記載の画像生成装置の学習方法。
【請求項10】
前記第１の路面特徴と前記第２の路面特徴とは、車線の種類が互いに異なる、請求項１に記載の画像生成装置の学習方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、画像生成装置の学習方法に関し、より詳細には、敵対的学習技術に基づく画像生成装置の学習方法に関する。
【背景技術】
【0002】
近年、人工知能技術（Artificial Intelligence Technology）の向上により、手作業で行う必要のある作業を、機械によって完全に行うことができるようになり、大幅に労働コストを削減できるようになった。
【0003】
しかしながら、労働作業を機械に置き換え、実際の機械による作業時の精度を高めるためには、多数の学習データ（Learning Data）が必要となる。例えば、米国特許出願公開第２０１７／０３６９０５７号には、道路検出のための画像認識に、機械を適用したレーン検出システム及び方法が開示されている。他の例では、深層学習モデル（Deep Learning Model）を訓練するために、多数の目標ラベルデータ（Target Labeling Data）（ラインマークの標示データ等）が必要とされる。それでも、このような多数の目標ラベルデータを得ることは困難であり、深層学習モデルを生成する上で、その性能に改善の余地がある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、深層学習モデルの性能を改善可能な画像生成装置の学習方法に関する。
【課題を解決するための手段】
【0005】
本開示の一実施形態によれば、画像生成装置の学習方法を提供する。この学習された画像生成装置は、目標ラベル付き画像を拡張するために用いられてもよい。この方法は、複数の第１の反復を実行する。各前記第１の反復は、第１の路面特徴を有する第１の実画像を第１の生成部に入力するステップと、前記第１の生成部に設けられた第１の画像変換部によって、前記第１の実画像に対して、第１の生成画像を生成し、前記第１の路面特徴を第２の路面特徴に変換する第１の画像変換処理を実行するステップと、前記第１の生成画像を第１の識別部に入力するステップと、前記第１の識別部から前記第１の生成画像に対応した第１の損失値を取得するステップと、前記第１の生成部に設けられた第１の画像分割部によって、前記第１の実画像に対して、第１の分割画像を生成する第１の画像分割処理を実行するステップと、前記第１の分割画像に対応した第１の分割損失値を取得するステップと、前記第１の生成画像を第２の生成部に入力するステップと、前記第２の生成部によって、前記第１の生成画像に対して、第１の再構成画像を生成し、前記第２の路面特徴を前記第１の路面特徴に変換する第２の画像変換処理を実行するステップと、第１の再構成画像及び第１の実画像に対応した第１の再構成損失値を取得するステップと、前記第１の画像変換部と前記第１の画像分割部との間のネットワーク重みの差を比較することにより、第１の類似性損失値を取得するステップと、前記第１の反復の各ステップにて得られた、前記第１の損失値、前記第１の分割損失値、前記第１の再構成損失値、及び第１の類似性損失値に対応した、前記第１の生成部と前記第２の生成部との間のネットワークパラメータを更新し、画像生成装置の学習を終了するステップと、を含む。
【発明の効果】
【0006】
本開示の一実施形態によれば、画像生成装置の訓練画像を拡張するために、敵対的学習技術に基づく学習を行ってもよい。この画像生成装置の学習において、画像生成装置は、最初の目標ラベル付き訓練画像が入力されると、同じシーンの別の種類の路面特徴（舗装材料、車線の種類、及び他の路面特徴等）を有する別の訓練画像を生成する。この生成された訓練画像も目標ラベルを有し、入力された最初の訓練画像の位置に対応した位置に配置される。これにより、同じシーンの異なる路面特徴を有する複数の訓練画像を取得できる。また、これらの訓練画像における目標ラベルの位置は変化しないので、目標ラベルを再ラベル付けする必要はない。これにより、同じシーンの異なる路面特徴を有する多数の訓練画像を生成できる。
【0007】
本開示の上記した実施形態、及び他の実施形態は、以下の好ましい、しかし、限定的でない実施形態に関する詳細な説明に関して、よりよく理解されるであろう。以下、本発明の実施形態について、図面を参照して説明する。
【図面の簡単な説明】
【0008】
【図1】本開示の実施形態に係る生成装置学習システムのブロック図である。
【図2】本開示の実施形態に係る識別学習システムのブロック図である。
【図3】本開示の実施形態に係る画像生成装置の学習方法を示すフローチャートである。
【図4A】本開示の実施形態に係る第１の実画像の概略図である。
【図4B】本開示の実施形態に係る第１の生成画像の概略図である。
【図4C】本開示の実施形態に係る第１の分割画像の概略図である。
【図5A】本開示の実施形態に係る最初の訓練画像の概略図である。
【図5B】本開示の実施形態に係る生成された訓練画像の概略図である。
【図6A】本開示の別の実施形態に係る画像生成装置の学習方法を示すフローチャートである。
【図6B】本開示の別の実施形態に係る画像生成装置の学習方法を示すフローチャートである。
【図7A】本開示の別の実施形態に係る第２の実画像の概略図である。
【図7B】本開示の別の実施形態に係る第２の生成画像の概略図である。
【図8A】本開示の更に別の実施形態に係る画像生成装置の学習方法を示すフローチャートである。
【図8B】本開示の更に別の実施形態に係る画像生成装置の学習方法を示すフローチャートである。
【図9】本開示の更に別の実施形態に係る第２の分割画像の概略図である。
【図10A】本開示の更に別の実施形態に係る最初の訓練画像の概略図
【図10B】本開示の更に別の実施形態に係る生成された訓練画像の概略図である。
【発明を実施するための形態】
【0009】
本開示は、画像生成装置の学習方法を提供する。学習された画像生成装置は、深層学習モデル（Deep Learning Model）による訓練画像（Training Images）を拡張するために用いられる。この深層学習モデルは、道路検知のための画像認識（Image Recognition）に適用することができる。
【0010】
このような訓練画像においては、深層学習モデルの性能を向上させるために、通常、多数の目標ラベルデータ（Target Labeling Data）が必要とされる。目標ラベルの種類としては、例えば、道路のラインマーク標示がある。ラインマークには、レーン線、停止線、側線等がある。目標ラベル（例えばラインマークの標示）付きの複数の訓練画像を学習させることで、深層学習モデルにより高い精度で容易に車線を検知できるようになる。更に、深層学習モデルの性能を向上させるためには、より一層多くの訓練画像を用いてもよい。
【0011】
本開示の一実施形態によれば、訓練画像を拡張するための画像生成装置は、敵対的訓練技術に基づいて学習を行ってもよい。画像生成装置の学習においては、画像生成装置は、最初の目標ラベル付き訓練画像が入力されると、同じシーンの別の種類の路面特徴（舗装材料、車線の種類、他の路面特徴等）を有する別の訓練画像を生成する。この生成された訓練画像も目標ラベルを有し、その位置は最初に入力された訓練画像の位置に対応した位置にある。本明細書において、「…の位置は…に対応した位置にある」、または他の同様の表現は、一般に２つの訓練画像間の「目標ラベル」のカテゴリとして分類されるピクセルが、同じ位置のピクセルであることを意味する。
【0012】
簡単に言えば、学習された画像生成装置においては、生成された訓練画像における目標ラベルの位置は、変化しないままである。すなわち、生成された訓練画像における目標ラベルの位置は、最初の訓練画像における目標ラベルの位置に対応する。これにより、同じシーン下で異なる路面特徴を有する複数の訓練画像を取得することができ、これらの訓練画像のうち、目標ラベルの位置は変化しないので、目標ラベルを再度ラベル付けする必要はない。これにより、同じシーンの下で異なる路面特徴を有する訓練画像の量を乗算することができる。
【0013】
図１は、本開示の一実施形態に係る生成装置学習システム１００のブロック図である。一実施形態では、生成装置学習システム１００は、図１の上部に示すように、第１の生成部１１０の学習システムを含む。第１の生成部１１０の学習システムは、第１の生成部１１０、第２の生成部１２０、及び第１の識別部１３０を含む。第１の生成部１１０、第２の生成部１２０、及び第１の識別部１３０のうちの少なくとも１つは、ＣＰＵ等の処理に集約することができる。例えば、第１の生成部１１０、第２の生成部１２０、及び第１の識別部１３０のうちの少なくとも１つは、ソフトウェア、ファームウェア、又は回路アーキテクチャであってもよい。
【0014】
第１の生成部１１０は、第１の路面特徴ＧＦ１を有する画像から第２の路面特徴ＧＦ２を有する別の画像を生成するために用いられる。一方、第２の生成部１２０は、第２の路面特徴ＧＦ２を有する画像から第１の路面特徴ＧＦ１を有する別の画像を生成するために使用されてもよい。
【0015】
第１の路面特徴ＧＦ１と第２の路面特徴ＧＦ２は、一実施例として、互いに舗装材料の種類が異なるものであってもよい。舗装材料の種類には、アスファルト舗装、セメント舗装、及びラインマークを施すことが可能な他の舗装等がある。具体例として、第１の路面特徴ＧＦ１は、アスファルト舗装であり、第２の路面特徴ＧＦ２は、セメント舗装であってもよい。他の実施例として、第１の路面特徴ＧＦ１と第２の路面特徴ＧＦ２は、天候及び時間帯、あるいはこれらの組み合わせによって異なるものであってもよい。天候及び時間帯には、日中、夜間、晴れ、雨、霧、及びこれらの組み合わせがあり、これらの状況下によって、路面の特徴は異なるものとなる。具体例として、第１の路面特徴ＧＦ１は、朝のアスファルト舗装の路面特徴を有する。第２の路面特徴ＧＦ２は、夕方のセメント舗装の特徴を有する。また、他の実施形態としては、第１の路面特徴ＧＦ１と第２の路面特徴ＧＦ２は、互いにラインマークの種類が異なるものであってもよい。ラインマークの種類には、二重実線の黄線、一重実線の黄線、鎖線の黄線、二重実線の白線、鎖線の白線、一重実線の赤線等がある。例えば、第１の路面特徴ＧＦ１は、二重実線の黄線であり、第２の路面特徴ＧＦ２は、鎖線の黄線であってもよい。以上の実施形態は、単に例示の目的で用いられ、本開示は上記の実施形態に限定されて解釈されないものとする。
【0016】
第１の生成部１１０の学習が完了した後、目標ラベル及び第１の路面特徴ＧＦ１を有する最初の訓練画像を第１の生成部１１０に入力することができる。第１の生成部１１０は、最初の訓練画像の第１の路面特徴ＧＦ１を第２の路面特徴ＧＦ２に変換し、別の訓練画像を生成することができる。生成された訓練画像はまた、目標ラベルを有し、その位置は、入力された最初の訓練画像の位置に対応する。まず、第１の生成部１１０の学習方法について以下に説明する。
【0017】
図２は、本開示の一実施形態に係る識別学習システム２００のブロック図である。図３は、一実施形態に係る画像生成装置の学習方法を示すフローチャートである。図４Ａは、本開示の一実施形態に係る第１の実画像ＧＴ１の概略図である。図４Ｂは、本開示の一実施形態に係る第１の生成画像ＦＫ１の概略図である。図４Ｃは、本開示の一実施形態に係る第１の分割画像ＳＭ１の概略図である。
【0018】
図１及び図４Ａを参照して、図３を更に参照する。第１の生成部１１０の学習中に、複数回の反復が実行される。反復の回数（処理される画像の数）は、プロセッサのメモリサイズに依存してもよく、本明細書では特に限定されない。ステップＳ１０１〜Ｓ１０９は、予め設定された反復が終了するまで、各反復に対して繰り返される。各反復において、第１の損失値（ステップＳ１０４）、第１の分割損失値（ステップＳ１０６）、及び第１の再構成損失値（ステップＳ１０９）を取得する。
【0019】
まず、ステップＳ１０１に示すように、各反復において、第１の実画像ＧＴ１を第１の生成部１１０に入力する。ここで、第１の実画像ＧＴ１は、実際に道路上で撮影された画像であり、車両に搭載されたイメージセンサ（例えば、ドライブレコーダ）によって撮影されてもよい。第１の実画像ＧＴ１は、第１の路面特徴ＧＦ１を有する。更に、異なる反復において、異なる第１の実画像ＧＴ１を入力してもよいが、これらの第１の実画像ＧＴ１はすべて第１の路面特徴ＧＦ１を有する。本実施形態では、図４Ａに示すように、第１の路面特徴ＧＦ１として、二重実線の黄線が例示されている。
【0020】
図１及び図４Ｂを参照して、図３を更に参照する。ステップＳ１０２において、第１の生成画像ＦＫ１を生成し、第１の路面特徴ＧＦ１を第２の路面特徴ＧＦ２に変換するために、第１の生成部１１０の第１の画像変換部１１１によって、第１の実画像ＧＴ１への第１の画像変換処理を実行する。一実施形態では、図４Ｂに示すように、第２の路面特徴ＧＦ２として、鎖線の黄線が例示されている。
【0021】
ステップＳ１０３では、第１の生成画像ＦＫ１を第１の識別部１３０に入力する。その後、ステップＳ１０４において、第１の識別部１３０からの第１の生成画像ＦＫ１に対応した第１の損失値を取得する。一実施形態では、第１の損失値は、式（１）に示す関数として表される。【数1】
【0022】
式（１）において、Ｘは、第１の路面特徴ＧＦ１（二重実線の黄線）を有する画像（第１の実画像ＧＴ１）を示す。Ｙは、第２の路面特徴ＧＦ２（一点破線）を有する画像（生成画像ＦＫ１）を示す。Ｇｘ，ｔは、第１の生成部１１０の第１の画像変換部１１１を示す。第１の画像変換部１１１は、画像Ｘ（第１の実画像ＧＴ１）に対して、第１の画像変換処理Ｔ１を実行する役割を果たす。
【0023】
第１の識別部１３０の学習は、また、第１の生成部１１０の学習の複数回の反復中に対話式に実行されることに留意されたい。図２の識別学習システム２００の上部に示すように、第１の生成画像ＦＫ１及び第２の実画像ＧＴ２は、第１の識別部１３０に入力される。第１の生成画像ＦＫ１及び第２の実画像ＧＴ２は、いずれも第２の路面特徴ＧＦ２（鎖線の黄線）を有しており、第１の生成画像ＦＫ１が第１の生成部１１０から生成された画像であり、第２の実画像ＧＴ２が実際に道路上で撮影された画像である点が異なる。第１の識別部１３０の学習は、１つの破線の黄線を有する第１の生成画像ＦＫ１と、実際の１つの破線の黄線を有する第２の実画像ＧＴ２との間に差があるかどうかを判定することを目的とする。入力画像が第２の実画像ＧＴ２である場合、第１の識別部１３０が、１に近い結果（すなわちＤＹ）を出力することが望まれる。入力画像が第１の生成画像ＦＫ１である場合、第１の識別部１３０が、０に近い結果（すなわちＤＹ（Ｇｘ，ｔ（ｘ）））を出力することが望ましい。したがって、第１の識別部１３０の学習のためには、式（１）を最大にすることが望ましい。
【0024】
一方、第１の生成部１１０の第１の画像変換部１１１については、第１の識別部１３０の出力結果（すなわちＤＹ（Ｇｘ，ｔ（ｘ）））が、１に近いことが望まれる。したがって、第１の生成部１１０の第１の画像変換部１１１では、複数回の反復の後、式（１）の後の部分ができるだけ小さい値となることが望まれる。第１の生成部１１０の第１の画像変換部１１１と、第１の識別部１３０とは互いに対比され、これら第１の画像変換部１１１及び第１の識別部１３０に要求される最適化目標は、以下の式（２）に示される。【数2】
【0025】
また、ステップＳ１０４において、第１の生成画像ＦＫ１と第２の実画像ＧＴ２との差分を比較することにより、式（１）に従って第１の識別部１３０から第１の損失値を求めてもよい。複数回の反復の後、複数の第１の損失値が取得されてもよい。最後に、式（２）が最適化目標となるように、第１の生成部１１０のネットワークパラメータを更新する（ステップＳ１２２）。
【0026】
図１及び図４Ｃを参照して、図３を更に参照する。ステップＳ１０５において、第１の分割画像ＳＭ１が生成するために、第１の生成部１１０の第１の画像分割部１１２によって、第１の実画像ＧＴ１に対して、第１の画像分割処理Ｓ１を実行する。
【0027】
その後、ステップＳ１０６において、第１の分割画像ＳＭ１に対応した第１の分割損失値を取得する。
【0028】
一実施形態では、第１の分割損失値は、式（３）に示す関数として表される。【数3】
【0029】
式（３）において、ＧＸ，ｓは、第１の生成部１１０の第１の画像分割部１１２を示す。第１の画像分割部１１２は、画像Ｘ（第１の実画像ＧＴ１）に対して、第１の画像分割処理Ｓ１を実行する役割を果たす。ＹＳは、第１の実画像ＧＴ１のための画像分割の地表データを示す。
【0030】
更に、ステップＳ１０６において、第１の分割画像ＳＭ１を、第１の実画像ＧＴ１に対する画像分割の地表データと比較することにより、第１の分割損失値を取得する。すなわち、第１の分割損失値は、第１の実画像ＧＴ１についての第１の分割画像ＳＭ１と画像分割の地表データとの間の差を表すことができる。画像が、第１の生成部１１０の第１の画像分割部１１２によって、より良好に分割されるほど、損失値はますます小さくなる。例えば、図４Ｃに示されるように、第１の画像分割部１１２が理想的なモデルであると仮定すると、第１の画像分割処理Ｓ１の後、第１の分割画像ＳＭ１は、ラインマークＬと運転可能領域ＦＳとに分割されてもよい。複数回の反復の後、複数の第１の分割損失値を得ることができる。最後に、第１の分割損失値を最小化することが、第１の生成部１１０のネットワークパラメータを更新する目標となる（ステップＳ１２２）。
【0032】
次に、ステップＳ１０８において、第２の生成部１２０によって、第１の生成画像ＦＫ１に対して第２の画像変換処理Ｔ２が実行され、第１の再構成画像ＦＫ３が生成され、第２の路面特徴ＧＦ２が第１の路面特徴ＧＦ１に変換される。
【0033】
その後、ステップＳ１０９において、第１の再構成画像ＦＫ３及び第１の実画像ＧＴ１に対応した第１の再構成損失値を取得する。
【0034】
一実施形態では、第１の再構成損失値は、以下の式（４）に示す関数として表される。【数4】
【0035】
式（４）において、Ｇｙ，ｔは、第２の生成部１２０のうち、画像Ｙ（第２の路面特徴ＧＦ２を有する画像、ここでは第１の生成画像ＦＫ１）に対して、第２の画像変換処理Ｔ２を実行する部分を示す。
【0036】
更に、ステップＳ１０９において、第１の再構成画像ＦＫ３と第１の実画像ＧＴ１とを比較することによって、第１の再構成損失値を取得する。すなわち、第１の再構成損失値は、第１の再構成画像ＦＫ３と第１の実画像ＧＴ１との比較結果を表す。第１の再構成画像ＦＫ３（すなわち、Ｇｙ，ｔ（Ｇｘ，ｔ（ｘ）））と第１の実画像ＧＴ１との間の差が非常に小さい場合、第１の生成画像ＦＫ１と第１の実画像ＧＴ１との間の差を制限することができる。複数回の反復の後、複数の第１の再構成損失値を得ることができる。最後に、第１の再構成損失値を最小化することが、第１の生成部１１０及び第２の生成部１２０のネットワークパラメータ（Network Parameters）を更新する目標となる（ステップＳ１２２）。
【0037】
次に、図３を参照すると、ステップＳ１１０に示すように、すべての反復が実行されたか否かを判定する。すべての反復が実行されていない場合、ステップＳ１０１〜Ｓ１０９を反復する。すべての反復が実行された場合、ステップＳ１２１を実行する。
【0038】
ステップＳ１２１では、第１の画像変換部１１１と第１の画像分割部１１２との間のネットワーク重み（Network Weights）の差を比較することにより、第１の類似性損失値を取得する。
【0039】
本実施形態では、第１の類似性損失値は、式（５）に示す関数として表される。【数5】
【0040】
式（５）において、ωｘ，ｔは、第１の生成部１１０の第１の画像変換部１１１のネットワーク重みベクトルである。ωｘ，ｓは、第１の生成部１１０の第１の画像分割部１１２のネットワーク重みベクトルである。
【0041】
更に、ステップＳ１２１において、第１の画像変換部１１１と第１の画像分割部１１２との間の類似性は、第１の生成部１１０の第１の画像変換部１１１と第１の生成部１１０の第１の画像分割部１１２との間のネットワーク重みの差を比較することにより取得される。いわゆる「類似性」は、２つの分岐間の重みベクトルのコサイン類似度として表される。２つの重みベクトルωｘ，ｔとωｘ，ｓとが非常に類似している場合（すなわち、２つの分岐間のネットワーク重みをできる限り一致するように、２つの重みベクトルの間の角度を小さくしている場合）、損失値をより小さくできる。これにより、第１の画像分割部１１２は、第１の画像変換処理Ｔ１の間、第１の画像変換部１１１を導いて、画像内のターゲット構造をできるだけ多く維持することができる。本開示は、生成された訓練画像における目標ラベルの位置が最初の訓練画像における目標ラベルの位置に対応するように、画像における目標ラベルの位置を変化させないように維持することを目的とする。
【0042】
次に、ステップＳ１２２において、第１の生成部１１０及び第２の生成部１２０のネットワークパラメータが、第１の損失値（ステップＳ１０４）、第１の分割損失値（ステップＳ１０６）、第１の再構成損失値（ステップＳ１０９）、及びすべての反復において得られた第１の類似性損失値（ステップＳ１２１）に応じて更新され、その後、画像生成装置の学習が１回だけ終了する。他の実施形態では、図３に示されるようなステップは、画像生成装置の学習を終了するために、何度も（例えば、数千または数万回）実行されてもよい。したがって、第１の生成部１１０の第１の画像変換部１１１は、画像生成部として使用することができる。第１の画像変換部１１１は、第１の路面特徴ＧＦ１を有する最初の訓練画像から、第２の路面特徴ＧＦ２を有する別の訓練画像を生成するように適合される。また、変換前後の２つの訓練画像における目標ラベルの位置は対応している。
【0043】
例えば、図５Ａ及び図５Ｂを参照するように、上述した第１の生成部１１０の学習後に、最初の訓練画像Ｔｉ＿１を第１の生成部１１０に入力する。最初の訓練画像Ｔｉ１は、目標ラベル（例えば、ラインマークＬＬのラベル）と、第１の路面特徴ＧＦ１（例えば、二重実線の黄線）とを有する。第１の生成部１１０の第１の画像変換部１１１は、最初の訓練画像Ｔｉ＿１の第１の路面特徴ＧＦ１を第２の路面特徴ＧＦ２（例えば、鎖線の黄線）に変換し、生成された訓練画像Ｔｉ＿２を生成することができる。学習された第１の画像変換部１１１と学習された第１の画像分割部１１２との間のネットワーク重みは、十分に近似されるものである。このため、最初の訓練画像Ｔｉ＿１に対して実行される第１の画像変換処理Ｔ１の間に、第１の画像変換部１１１は、第１の画像分割部１１２による作用を受ける。これにより、生成された訓練画像Ｔｉ＿２内のラインマークＬＬのラベルの位置を最初の訓練画像Ｔｉ＿１内のラベルの位置に一致させることができ、ラインマークＬＬのラベルの位置は画像変換の前後で変化しない。
【0044】
図１を参照すると、別の実施形態では、生成装置学習システム１００は、第１の生成部１１０の学習システムを含み、第２の生成部１２０の学習システムを更に含む。第２の生成部１２０の学習システムは、第２の生成部１２０、第１の生成部１１０、及び第２の識別部１４０を含む。第２の生成部１２０、第１の生成部１１０、及び第２の識別部１４０のうちの少なくとも１つは、ＣＰＵ等の処理に統合することができる。例えば、第２の生成部１２０、第１の生成部１１０、及び第２の識別部１４０の少なくとも一つは、ソフトウェア、ファームウェア、又は回路アーキテクチャであってもよい。ここで、第２の生成部１２０は、第２の画像変換部１２１を含む。
【0045】
図６Ａ及び図６Ｂは、本開示の別の実施形態に係る画像生成装置の学習方法を示すフローチャートである。別の本実施形態では、画像を生成するための第２の生成部１２０の能力を確実にするために、第１の生成部１１０（図６ＡのステップＳ１０１〜Ｓ１１０に示される）の学習に加えて、第２の生成部１２０（図６ＢのステップＳ１１１〜Ｓ１１４及びＳ１１７〜Ｓ１２０に示される）の学習も、同様に行う。第１の生成部１１０及び第２の生成部１２０の学習が完了した後、第１の生成部１１０の第１の画像変換部１１１を画像生成装置として使用することができる。
【0048】
図１及び図７Ａを参照して、図６Ｂを更に参照する。第２の生成部１２０の学習の間、複数回の反復を実行する。反復の回数は、プロセッサのメモリサイズに依存することができ、本明細書では特に限定されない。ステップＳ１１１〜Ｓ１１４及びＳ１１７〜Ｓ１１９は、予め設定された反復を終了するまで、各反復に対して繰り返される。各反復において、第２の損失値（ステップＳ１１４）、及び第２の再構成損失値（ステップＳ１１９）を取得する。
【0049】
ステップＳ１１１に示すように、各反復において、第２の実画像ＧＴ２が第２の生成部１２０に入力される。第２の実画像ＧＴ２は、第２の路面特徴ＧＦ２を有する。更に、異なる反復において、異なる第２の実画像ＧＴ２が入力されてもよいが、これらの第２の実画像ＧＴ２はすべて第２の路面特徴ＧＦ２を有する。本実施形態では、図７Ａに示すように、第２の路面特徴ＧＦ２として、鎖線の黄線が例示されている。
【0050】
図１及び図７Ｂを参照して、図６Ｂを更に参照する。ステップＳ１１２では、第２の生成部１２０の第２の画像変換部１２１によって、第２の実画像ＧＴ２に対して第２の画像変換処理Ｔ２を実行することにより、第２の生成画像ＦＫ２を生成し、第２の路面特徴ＧＦ２を第１の路面特徴ＧＦ１に変換する。本実施形態では、図７Ｂに示すように、第１の路面特徴ＧＦ１として、二重実線の黄線が例示されている。
【0051】
ステップＳ１１３では、第２の生成画像ＦＫ２を第２の識別部１４０に入力する。その後、ステップＳ１１４では、第２の識別部１４０から第２の生成画像ＦＫ２に対応した第２の損失値を取得する。
【0052】
第２の損失値を取得する方法は、第１の損失値と同様であり、ここでは繰り返さない。更に、第２の識別部１４０の学習も、第２の生成部１２０を学習させる複数回の反復中に実行される。図２の識別学習システム２００の下部に示すように、第２の生成画像ＦＫ２及び第１の実画像ＧＴ１は、第２の識別部１４０に入力される。第２の生成画像ＦＫ２及び第１の実画像ＧＴ１は、ともに第１の路面特徴ＧＦ１（二重実線の黄線）を有しており、第２の生成画像ＦＫ２が第２の生成部１２０から生成された画像であり、第１の実画像ＧＴ１が実際に道路上で撮影された画像である点が異なる。第２の識別部１４０の学習は、二重実線の黄線を有する第２の生成画像ＦＫ２と、二重実線の黄線を有する第１の実画像ＧＴ１との間に差があるかどうかを判定することを目的とする。
【0054】
次に、ステップＳ１１８において、第１の生成部１１０の第１の画像変換部１１１によって、第２の生成画像ＦＫ２に対して第１の画像変換処理が実行され、第２の再構成画像ＦＫ４が生成され、第1の路面特徴ＧＦ１が第２の路面特徴ＧＦ２に変換される。
【0055】
その後、ステップＳ１１９では、第２の再構成画像ＦＫ４及び第２の実画像ＧＴ２に対応した第２の再構成損失値を取得する。
【0056】
第２の再構成損失値を得る方法は、第１の再構成損失値と同様であり、ここでは説明を繰り返さない。
【0057】
次に、ステップＳ１２０に示すように、予め設定された反復が終了したか否かを判定する。そうでない場合、ステップＳ１１１〜Ｓ１１４及びＳ１１７〜Ｓ１１９を繰り返す。予め設定された反復が終了すると、図６Ａの「Ａ」に進む。
【0058】
図６Ａを参照すると、「Ａ」はステップＳ１１０に続く。すなわち、ステップＳ１２１が実行される。
【0059】
図３のステップＳ１２１と同様に、第１の画像変換部１１１と第１の画像分割部１１２の間のネットワーク重みの差を比較することにより、第１の類似性損失値を取得する。ここでは、再び説明を繰り返さない。
【0060】
その後、ステップＳ２２２が実行される。ステップＳ２２２において、各ステップにて取得された、第１の損失値（ステップＳ１０４）、第１の分割損失値（ステップＳ１０６）、第１の再構成損失値（ステップＳ１０９）、第２の損失値（ステップＳ１４４）、第２の再構成損失値（ステップＳ１１９）及び第１の類似性損失値ステップ（Ｓ１２１）に応じて、第１の生成部１１０と第２の生成部１２０との間のネットワークパラメータを更新する。以上により、画像生成装置の学習を一度で終了する。他の実施形態では、図６Ａ及び図６Ｂに示されるような各ステップを、複数回（例えば、数千回または数万回）実行した後に、画像生成装置の学習を終了するようにしてもよい。このように、第１の生成部１１０の第１の画像変換部１１１は、画像生成装置として用いられる。第１の画像変換部１１１は、第１の路面特徴ＧＦ１を有する最初の訓練画像から、第２の路面特徴ＧＦ２を有する別の訓練画像を生成するように適合される。また、変換前後の２つの訓練画像における目標ラベルの位置は対応している。
【0061】
図１を参照すると、更に別の実施形態では、生成装置学習システム１００は、第１の生成部１１０の学習システムと、第２の生成部１２０の学習システムとを含む。第２の生成部１２０は、第２の画像分割部１２２を更に含む。
【0062】
図８Ａ及び図８Ｂは、本開示の更に別の実施形態に係る画像生成装置を学習方法を示すフローチャートである。更に別の実施形態では、第１の生成部１１０（図８ＡのステップＳ１０１〜Ｓ１１０参照）の学習に加えて、第２の生成部１２０（図８ＢのステップＳ１１１〜Ｓ１２０参照）の学習も、同様に行われる。第１の生成部１１０及び第２の生成部１２０の学習が完了した後、第１の生成部１１０の第１の画像変換部１１１を画像生成装置として使用することができるだけでなく、第２の生成部１２０の第２の画像変換部１２１が、別の画像生成装置として用いられてもよい。
【0063】
図８ＡのステップＳ１０１〜Ｓ１１０は、図３のステップＳ１０１〜Ｓ１１０と同じであり、図８ＢのステップＳ１１１〜Ｓ１１４及びＳ１１７〜Ｓ１１９は、図６ＢのステップＳ１１１〜Ｓ１１４及びＳ１１７〜Ｓ１１９と同じであり、ここでは説明を繰り返さない。
【0064】
図９は、本開示の更に別の実施形態による第２の分割画像ＳＭ２の概略図である。図１及び図９、更に図８Ｂを参照する。第２の生成部１２０の学習は、ステップＳ１１５及びステップＳ１１６を更に含む。
【0065】
ステップＳ１１５において、第２の生成部１２０の第２の画像分割部１２２によって、第２の実画像ＧＴ２に対して、第２の分割画像ＳＭ２を生成する第２の画像分割処理Ｓ２を実行する。
【0066】
その後、ステップＳ１１６において、第２の分割画像ＳＭ２に対応した、第２の分割損失値を取得する。
【0067】
第２の分割損失値を取得する方法は、第１の分割損失値の取得方法と同様であり、ここでは再び説明を繰り返さない。図９に示されるように、第２の画像分割部１２２が理想的なモデルであると仮定すると、第２の画像分割処理Ｓ２の後、第２の分割画像ＳＭ２は、ラインマークＬと運転可能領域ＦＳとに分割されてもよい。
【0069】
ステップＳ３２１において、第１の画像変換部１１１と第１の画像分割部１１２との間のネットワーク重みの差が比較することにより、第１の類似性損失値を取得する。更に、第２の画像変換部１２１及び第２の画像分割部１２２のネットワーク重みの差を比較することにより、第２の類似性損失値を取得する。
【0070】
第２の類似性損失値を取得する方法は、第１の類似性損失値の取得方法と同様であり、ここでは再び説明を繰り返さない。
【0071】
次に、ステップＳ３２２において、前記反復の全てのステップにおいて取得した、第１の損失値（ステップＳ１０４）、第１の分割損失値（ステップＳ１０６）、第１の再構成損失値（ステップＳ１０９）、第２の損失値（ステップＳ１４４）、第２の分割損失値（ステップＳ１１６）、第２の再構成損失値（ステップＳ１１９）、第１の類似性損失値ステップＳ３２１）、及び第２の類似性損失値（ステップＳ３２１）に応じて、第１の生成部１１０と第２の生成部１２０との間のネットワークパラメータを更新することにより、画像生成装置の学習を一度で終了させる。他の実施例では、図８Ａ及び図８Ｂに示すステップを、数多く（例えば、数千回や数万回）実行してもよい。したがって、第１の生成部１１０の第１の画像変換部１１１を画像生成装置として使用することができ、第２の生成部１２０の第２の画像変換部１２１を別の画像生成装置として使用することもできる。第１の画像変換部１１１は、第１の路面特徴ＧＦ１を有する最初の訓練画像から、第２の路面特徴ＧＦ２を有する別の訓練画像を生成するように適合され、変換前後の２つの訓練画像における目標ラベルの位置は、互いに対応する。更に、第２の画像変換部１２１は、第２の路面特徴ＧＦ２を有する最初の訓練画像から、第１の路面特徴ＧＦ１を有する別の訓練画像を生成するように適合され、変換の前後の２つの訓練画像における目標ラベルの位置は、互いに対応する。
【0072】
例えば、図５Ａ、図５Ｂ、図１０Ａ、及び図１０Ｂを参照すると、上述したような第１の生成部１１０及び第２の生成部１２０の学習の後、最初の訓練画像Ｔｉ＿１（図５Ａ）を第１の生成部１１０に入力することができる。最初の訓練画像Ｔｉ＿１は、目標ラベル（例えば、ラインマークＬＬの標示）と、第１の路面特徴ＧＦ１（例えば、二重実線の黄線）とを有する。第１の生成部１１０の第１の画像変換部１１１は、最初の訓練画像Ｔｉ＿１の第１の路面特徴ＧＦ１を第２の路面特徴ＧＦ２（例えば、鎖線の黄線）に変換し、生成された訓練画像Ｔｉ＿２を生成できる。
【0073】
一方、最初の訓練画像Ｔｉ＿３（図１０Ａ）も第２の生成部１２０に入力される。最初の訓練画像Ｔｉ＿３は、目標ラベル（例えば、ラインマークＬＬの標示）と、第２の路面特徴ＧＦ２（例えば、鎖線の黄線）とを有する。第２の生成部１２０の第２の画像変換部１２１は、最初の訓練画像Ｔｉ＿３の第２の路面特徴ＧＦ２を第１の路面特徴ＧＦ１（例えば、二重実線の黄線）に変換し、生成された訓練画像Ｔｉ＿４を生成できる。
【0074】
学習後の第１の生成部１１０及び第２の生成部１２０について、第１の画像変換部１１１と、第１の生成部１１０の第１の画像分割部１１２との間のネットワーク重みは、十分に類似しており、第２の生成部１２０の第２の画像変換部１２１及び第２の画像分割部１２２のネットワーク重みは十分に類似しているので、最初の訓練画像Ｔｉ＿１への第１の画像変換処理Ｔ１中に、前記第１の画像変換部１１１は前記第１の画像分割部１１２から影響を受け、最初の訓練画像Ｔｉ＿３への第２の画像変換処理Ｔ２中に、前記第２の画像変換部１２１は前記第２の画像分割部１２２から影響を受け得る。したがって、生成された訓練画像Ｔｉ＿２、Ｔｉ＿４内のラインマークＬＬのラベルの位置は、最初の訓練画像Ｔｉ＿１、Ｔｉ＿３内のラベルの位置に対応することができ、ラインマークＬＬのラベルの位置は、画像変換の前後で変化しないことができる。
【0075】
開示された実施形態に対して様々な修正及び変形を行うことができることは、当業者には明らかである。明細書及び実施例は、例示的なものとしてのみ考慮されることが意図されており、開示の真の範囲は、以下の特許請求の範囲及びそれらの均等物によって示されることが意図されている。