特許 7505117 写実的画像を生成する生成器のためのトレーニング方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-14

(45)【発行日】2024-06-24

(54)【発明の名称】写実的画像を生成する生成器のためのトレーニング方法

(51)【国際特許分類】

   G06V 10/774 20220101AFI20240617BHJP

   G06V 10/82 20220101ALI20240617BHJP

【ＦＩ】

G06V10/774

G06V10/82

【請求項の数】 12

(21)【出願番号】P 2023513119

(86)(22)【出願日】2021-08-20

(65)【公表番号】

(43)【公表日】2023-09-07

(86)【国際出願番号】 EP2021073127

(87)【国際公開番号】W WO2022043204

(87)【国際公開日】2022-03-03

【審査請求日】2023-02-22

(31)【優先権主張番号】102020210710.6

(32)【優先日】2020-08-24

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】エドガー シェーンフェルト

(72)【発明者】

【氏名】バディム スシュコ

(72)【発明者】

【氏名】ダン チャン

(72)【発明者】

【氏名】アンナ コレヴァ

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】Xihui Liu, et al.，Learning to Predeict Layout-to-image Conditional Convolutions for Semantic Image Synthesis，arXiv，2019年，DOI:10.48550/arXiv.1910.06809，arXiv:1910.06809V1

【文献】Edgar Schonfeld, et al.，A U-Net Based Discriminator for Generative Adversarial Networks，Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR)，2020年06月，PP.8207-8216

【文献】Michal Uricar, et al.，Yes. we GAN: Applying Adversarial Techniques for Autonomous Driving，arXiv，2019年，DOI:10.2352/ISSN.2470-1173.2019.15.AVM-048，arXiv:1902.03442v1

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

画像（３）のピクセル各々に当該ピクセルが属する物体のセマンティックな意味（４）を割り当てるセマンティックマップ（２、５ａ）からの画像（３）のための生成器（１）をトレーニングする方法（１００）であって、
・本物のトレーニング画像（５）と、個々の前記トレーニング画像（５）のピクセル各々にセマンティックな意味（４）を割り当てる対応するセマンティックトレーニングマップ（５ａ）とを用意するステップ（１１０）と、
・少なくとも１つのセマンティックトレーニングマップ（５ａ）から、前記生成器（１）により画像（３）を生成するステップ（１２０）と、
・少なくとも１つの同一の前記セマンティックトレーニングマップ（５ａ）に対し、少なくとも１つの本物のトレーニング画像（５）を求めるステップ（１３０）と、
・前記生成器（１）によって生成された少なくとも１つの画像（３）と、求められた少なくとも１つの本物のトレーニング画像（５）とから、混合画像（６）を生成するステップ（１４０）であって、前記混合画像（６）において、前記ピクセルの第１の真部分集合（６ａ）は、前記生成器（１）によって生成された前記画像（３）のそれぞれ対応するピクセル値によって占有されており、前記ピクセルの残余の真部分集合（６ｂ）は、前記本物のトレーニング画像（５）のそれぞれ対応するピクセル値によって占有されている、ステップ（１４０）と、
・同一の前記セマンティックトレーニングマップ（５ａ）に属する、前記生成器（１）によって生成された前記画像（３）と、少なくとも１つの前記本物のトレーニング画像（５）と、少なくとも１つの混合画像（６）とを、識別器（７）に供給するステップ（１５０）であって、前記識別器（７）は、前記生成器（１）によって生成された画像（３）を、前記セマンティックトレーニングマップ（５ａ）によって予め定められたシーンの本物の画像（５）と区別するように構成されている、ステップ（１５０）と、
・前記生成器（１）によって生成された前記画像（３）が前記識別器（７）によって本物の画像（５）として誤って分類されることを目標として、前記生成器（１）の挙動を特徴付ける生成器パラメータ（１ａ）を最適化するステップ（１６０）と、
・生成された画像（３）と本物の画像（５）とを区別する際の精度を改善することを目標として、前記識別器（７）の挙動を特徴付ける識別器パラメータ（７ａ）を最適化するステップ（１７０）と、
を含み、
前記セマンティックトレーニングマップ（５ａ）が同様の前記セマンティックな意味（４）を割り当てる、前記混合画像（６）のピクセルの連続する領域（６１、６２）を、前記生成器（１）によって生成された前記画像（３）の対応するピクセル値によって画一的に占有させ、又は、前記本物のトレーニング画像（５）の対応するピクセル値によって画一的に占有させる（１４１）、生成器（１）をトレーニングする方法（１００）。

【請求項2】

本物のトレーニング画像（５）から前記混合画像（６）に引き継がれたピクセル及び／又は物体の数的な割合に対応する程度に応じて、前記混合画像（６）が本物の画像（５）として分類されることを目標として、前記識別器パラメータ（７ａ）を付加的に最適化する（１７１）、請求項１に記載の方法（１００）。

【請求項3】

識別器（７）としてＰａｔｃｈＧＡＮ識別器を選択し（１５１）、前記ＰａｔｃｈＧＡＮ識別器は、予め定められたサイズを有する前記画像（３、５、６）の部分領域において、生成された画像（３）と本物の画像（５）との間の識別を決定し、その際にそれぞれ得られた結果を結合して総合結果を形成する、請求項１又は２に記載の方法（１００）。

【請求項4】

エンコーダ構造とデコーダ構造とを備えた識別器（７）を選択し（１５２）、前記エンコーダ構造は、入力された画像を複数の相前後する処理層において、情報が削減された表現に変換し、前記デコーダ構造は、情報が削減された前記表現を、入力された前記画像のピクセル各々が本物のピクセル又は生成されたピクセルであるとする評価に、さらに変換する、請求項１又は２に記載の方法（１００）。

【請求項5】

情報が削減された前記表現を回避して、前記エンコーダ構造の処理層と前記デコーダ構造の処理層との間に、少なくとも１つの直接的な接続を備えた識別器（７）を選択する（１５２ａ）、請求項４に記載の方法（１００）。

【請求項6】

前記識別器（７）を付加的に、予め定められたルールに従って本物のトレーニング画像（５）と生成された画像（３）とから求められた混合画像（６）から、前記識別器（７）が空間分解された出力を生成するように、トレーニングし（１７２）、前記空間分解された出力は、一方では前記本物のトレーニング画像（５）について、他方では前記生成された画像（３）について得られた出力を、予め定められた同一の前記ルールに従って混合したものに可及的に近い、請求項１乃至５のいずれか一項に記載の方法（１００）。

【請求項7】

前記空間分解された出力は、前記識別器（７）のニューラルネットワークの最後の層の出力を含み、当該出力から、入力された前記画像が本物であるのか又は生成されたものであるのかの区分、及び、双方の区分に対する確率が判明する、請求項６に記載の方法（１００）。

【請求項8】

入力された画像及び／又は入力された前記画像のピクセルをセマンティックな意味に割り当てる画像分類器（９）をトレーニングする方法（２００）であって、
・請求項１乃至７のいずれか一項に記載の方法（１００）によって生成器（１）をトレーニングするステップ（２１０）と、
・トレーニングされた前記生成器（１）によって、セマンティックマップ（２）から画像（３）を生成するステップ（２２０）と、
・それぞれ使用される前記セマンティックマップ（２）から、トレーニングされた前記画像分類器（９）が前記画像（３）をそれぞれマッピングすることになるセマンティックな目標意味（４）を求めるステップ（２３０）と、
・本物のトレーニング画像（５’）及び対応するセマンティックな目標意味（４’）を含む、前記画像分類器（９）のためのトレーニングデータセット（９ａ）を、生成された前記画像（３）と対応するセマンティックな目標意味（４）とによって拡張するステップ（２４０）と、
・前記画像分類器（９）を、拡張された前記トレーニングデータセット（９ａ^＊）によってトレーニングするステップ（２５０）と、
を含む、画像分類器（９）をトレーニングする方法（２００）。

【請求項9】

・請求項８に記載の方法（２００）によって画像分類器（９）をトレーニングするステップ（３１０）と、
・車両（５０）に搭載された少なくとも１つのセンサ（５１）によって撮影された画像（５）を、前記画像分類器（９）によってセマンティックな意味（４）に割り当てるステップ（３２０）と、
・前記画像分類器（９）によって求められた前記セマンティックな意味（４）から、動作制御信号（３３０ａ）を求めるステップ（３３０）と、
・前記動作制御信号（３３０ａ）によって前記車両（５０）の動作を制御するステップ（３４０）と、
を含む方法（３００）。

【請求項10】

コンピュータプログラムであって、当該コンピュータプログラムが１つ又は複数のコンピュータ上において実行されるときに、請求項１乃至９のいずれか一項に記載の方法（１００、２００、３００）を前記１つ又は複数のコンピュータに実施させるための機械可読命令を含むコンピュータプログラム。

【請求項11】

請求項１０に記載のコンピュータプログラムを含む機械可読データ担体。

【請求項12】

請求項１０に記載のコンピュータプログラム及び／又は請求項１１に記載の機械可読データ担体を装備したコンピュータ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、写実的画像のための生成器のトレーニングに関するものであり、それらの画像は、同様に画像分類器のトレーニングのためにも使用可能である。

【背景技術】

【0002】

人間の運転者が道路交通において車両を運転するために必要とする情報の約９０％は、視覚的な情報である。よって、車両の少なくとも部分的に自動化された運転のために不可欠であることは、どのようなモダリティであれ、車両周囲を監視する際に撮影される画像データを内容に関して的確に評価することである。走行タスクにとって特に重要であることは、たとえば、他の交通利用者、車道マーク、障害物及び交通標識など、交通に関連するいずれの物体がそれらの画像に含まれているのかについて、画像データを分類することである。

【0003】

多数の交通状況において撮影されたトレーニング画像を用いて、相応の画像分類器をトレーニングしなければならない。トレーニング画像を調達することは、比較的困難であり、費用が嵩む。実際には稀にしか発生しない交通状況は、トレーニング画像を含むデータセットにおいて取り上げられる数が少なく、従って、画像分類器は、それらの適正な分類を最適には学習することができない。さらに、トレーニング画像又はそれらのピクセルに、帰属する目標クラス分類（「グランドトゥルース」）を「ラベリング」するためには、人の手による多くの作業が必要である。

【0004】

このため、合成によって生成されるトレーニングデータも付加的に使用され、そのようなトレーニングデータは、敵対的生成ネットワークＧＡＮに基づく生成器によって生成される。独国特許発明第１０２０１８２０４４９４号明細書から、レーダデータに対するこの種の生成器が知られている。

【先行技術文献】

【特許文献】

【0005】

【文献】独国特許発明第１０２０１８２０４４９４号明細書

【発明の概要】

【課題を解決するための手段】

【0006】

発明の開示
本発明の枠組みにおいて、画像のための生成器をトレーニングする方法が開発された。

【0007】

画像という用語は、静止カメラ画像に限られるものではなく、たとえば、ビデオ画像、レーダ画像、ライダ画像及び超音波画像も含む。

【0008】

生成すべき画像を特に、たとえば予め定められた用途に関して写実的なものとすることができる。この場合、「写実的な」とは特に、たとえば画像分類器をトレーニングする際など、後段での処理において、画像を物理的なセンサによって撮影された画像と同様に利用可能である、ということを意味するものとすることができる。写実的に生成された画像を特に、たとえばセンサにより撮影され次いで「ラベリングされた」画像分類器用の本物のトレーニング画像のストックを増加させる目的で、利用することができる。よって、生成すべき画像を、以下においては、読み易くするために、「写実的画像」又は「写実的に生成された画像」と称する。

【0009】

生成器は、セマンティックマップから写実的画像を生成する。このセマンティックマップは、生成すべき写実的画像のピクセル各々に、このピクセルが属している物体のセマンティックな意味を割り当てる。即ち、何らかのランダムな写実的画像が生成されるのではなく、セマンティックマップにおいて予め定められた状況を反映する画像が生成される。従って、セマンティックマップは、たとえば、様々な車道、車道境界線、交通標識、交通利用者及びさらなる物体を含む交通状況を表すことができる。

【0010】

この方法のために、本物のトレーニング画像と、個々のトレーニング画像のピクセル各々にセマンティックな意味を割り当てる対応するセマンティックトレーニングマップとが用意される。即ち、本物のトレーニング画像ごとに、１つのセマンティックトレーニングマップが存在する。これとは逆に、セマンティックトレーニングマップごとに、少なくとも１つの本物のトレーニング画像が存在する。なぜならば、たとえば、それぞれ異なる露光又は他のマッピングパラメータを有するセマンティック的に同一の状況が撮影されている可能性があるからである。セマンティックトレーニングマップを、たとえば、本物のトレーニング画像の手動のラベリングによって取得することができる。

【0011】

トレーニング対象の生成器によって、少なくとも１つのセマンティックトレーニングマップから写実的画像が生成される。少なくとも１つの同一のセマンティックトレーニングマップに対し、少なくとも１つの本物のトレーニング画像が求められる。生成器をトレーニングするために、生成器によって生成された写実的画像を、セマンティックトレーニングマップによって予め定められたシーンの本物の画像と区別するように構成された識別器が用いられる。

【0012】

生成器によって生成された少なくとも１つの写実的画像と、同一のセマンティックトレーニングマップに対して求められた少なくとも１つの本物のトレーニング画像とから、混合画像が生成される。この混合画像において、ピクセルの第１の真部分集合は、生成器によって生成された写実的画像のそれぞれ対応するピクセル値によって占有されている。ピクセルの残余の真部分集合は、本物のトレーニング画像のそれぞれ対応するピクセル値によって占有されている。即ち、混合画像のピクセル各々は、生成器によって生成された写実的画像の対応するピクセル値、又は、本物のトレーニング画像の対応するピクセル値のいずれかによって占有されている。

【0013】

この場合、特にたとえば、セマンティックトレーニングマップが同様のセマンティックな意味を割り当てる、混合画像のピクセルの連続する領域を、生成器によって生成された写実的画像の対応するピクセル値によって画一的に占有させることができ、又は、本物のトレーニング画像の対応するピクセル値によって画一的に占有させることができる。従って、このようにした場合には、混合画像をたとえば、一方では生成器によって生成された写実的画像における物体の表示と、他方では本物のトレーニング画像における物体の表示とから成る「コラージュ」とすることができる。

【0014】

生成器によって生成された写実的画像と、少なくとも１つの本物のトレーニング画像と、少なくとも１つの混合画像とが、識別器に供給される。生成器によって生成された写実的画像が、識別器によって本物の画像として誤って分類されることを目標として、生成器の挙動を特徴付ける生成器パラメータが最適化される。

【0015】

これと同時に又はこれと交互に、写実的に生成された画像と本物の画像とを区別する際の精度を改善することを目標として、識別器の挙動を特徴付ける識別器パラメータが最適化される。即ち、識別器は、写実的に生成された画像を写実的に生成された画像として分類し、本物のトレーニング画像を本物のトレーニング画像として分類するようにトレーニングされる。

【0016】

このトレーニングにおいて、混合画像がどのような役割を果たすべきであるのか、即ち、混合画像に対するリアクションとして識別器がどのようなクラス分類を出力すべきであるのかは、トレーニングに対する調節可能な自由度である。この場合、十分に動機付けられる複数の選択肢がある。

【0017】

たとえば、大部分が写実的に生成された画像から取り出されたピクセル及び／又は物体を含む混合画像を、写実的に生成された画像として識別器が分類することを所望することができる。同様に、たとえば、大部分が本物の画像から取り出されたピクセル及び／又は物体を含む混合画像を、本物の画像として識別器が分類することを所望することができる。これらの間で任意の段階付けを行うこともできる。即ち、識別器が混合画像に対するリアクションとして、その都度望ましい目標分類を出力するように、識別器のパラメータを最適化することができる。

【0018】

その際に任意の段階付けも可能である。たとえば、本物のトレーニング画像から混合画像に引き継がれたピクセル及び／又は物体の数的な割合に対応する程度に応じて、この混合画像が本物の画像として分類されることを目標として、識別器パラメータを付加的に最適化することができる。即ち、たとえば、混合画像の画像内容の６０％が本物のトレーニング画像から取り出され、この混合画像の画像内容の４０％が写実的に生成された画像から取り出された場合には、混合画像を０．６のスコアで本物の画像として、０．４のスコアで写実的に生成された画像として、識別器が分類することを所望することができる。

【0019】

識別器のトレーニングのために混合画像を加えることによって、二重の効果を奏することが認識された。これによって、一方では、写実的に生成された画像と本物の画像との内容的かつ構造的な違いを、識別器がより良好に学習するように、トレーニングを調節することができる。他方では、トレーニング画像の既存のストックを、多数の混合画像の生成によってほぼ倍増させることができる。ただ１つの本物のトレーニング画像を写実的に生成された１つの画像と組み合わせるだけで既に、双方の画像からの物体の「コラージュ」として混合画像を編集する多数の選択肢が存在する。

【0020】

識別器として特にたとえば、ＰａｔｃｈＧＡＮ識別器を選択することができる。かかる識別器は、予め定められたサイズを有する画像の部分領域（「パッチ」）において、写実的に生成された画像と本物の画像との間の識別を決定する。次いで、その際にそれぞれ得られた結果が結合されて、総合結果が形成される。かかる識別器は、特に良好に、混合画像における本物の画像内容と写実的に生成された画像内容との混合比を、定量的に捕捉することができる。

【0021】

識別器は、たとえば、エンコーダ構造とデコーダ構造とを備えたエンコーダ－デコーダ装置を有し得る。エンコーダ構造は、入力された画像を複数の処理層において、情報が削減された表現に変換する。デコーダ構造は、情報が削減されたこの表現を、入力された画像のピクセル各々が本物のピクセル又は写実的に生成されたピクセルであるとする評価に、さらに変換する。即ち、この種の識別器の出力は、入力された画像を全体として評価するスコアだけではない。その代わりに、この評価は、空間分解されたものとし、従って、混合画像のどのピクセル又は物体が本物の画像に由来するのか、及び、混合画像のどのピクセル又は物体が写実的に生成された画像に由来するかを、個別に捕捉することもできる。

【0022】

さらなる有利な実施形態によれば、識別器は、情報が削減された表現を回避して、エンコーダ構造の処理層とデコーダ構造の処理層との間に、少なくとも１つの直接的な接続を有する。このようにした場合、最大に情報が削減された表現の「ボトルネック」を通過させる必要なく、特に関係する情報部分をエンコーダ構造からデコーダ構造に選択的に移送することができる。これによって、識別器は、「Ｕ－Ｎｅｔ」アーキテクチャを得ることになる。

【0023】

さらなる特に有利な実施形態によれば、識別器は付加的に、予め定められたルールに従って本物のトレーニング画像と写実的に生成された画像とから求められた混合画像から、この識別器が空間分解された出力を生成するように、トレーニングされ、この空間分解された出力は、一方では本物のトレーニング画像のために、他方では写実的に生成された画像のために得られた出力を、予め定められた同一のルールに従って混合したものに可及的に近い。この場合に識別器は、混合画像への画像の混合において同変である。

【0024】

これついて、セマンティックマップによるシーンが、画像の左上隅に車両を有し、画像の右下隅に樹木を有する、という例を用いて明らかにする。予め定められたルールは、混合画像は、写実的に生成された画像から取り出された車両を、本物のトレーニング画像から取り出された樹木と組み合わせよ、というものである。従って、混合画像に対し識別器によって求められた空間分解された出力は、車両を含む領域を写実的に生成された画像部分として分類し、樹木を含む領域を本物の画像部分として分類する。

【0025】

識別器を本物の画像に適用した場合には、空間分解された識別器出力は、この本物の画像を、完全に本物の画像として分類するであろう。識別器を写実的に生成された画像に適用した場合には、空間分解された識別器出力は、写実的に生成されたこの画像を、完全に写実的に生成された画像として分類するであろう。ここで、これら双方の空間分解された出力が、混合画像と同様の方法により結合される場合には、結果として、左上隅が本物の画像部分として分類され、右下隅が写実的に生成された画像部分として分類されるであろう。これは、最初に混合画像が形成され、次いで空間分解された出力が求められる場合であっても得られる結果である。

【0026】

たとえば、識別器の費用関数（Ｌｏｓｓ関数）を式

【数1】

のコンシステント項Ｌ_ｃによって拡張することができる。ここで、Ｄは、識別器の空間分解された出力であり、Ｍは、予め定められたルールによる結合の演算を表す。ｘは、本物の画像であり、

【数2】

は、写実的に生成された画像である。

【0027】

コンシステント項Ｌ_ｃの動機付けは、仕分けされていない硬貨及び／又は紙幣の多くの現金を、２人の異なる人間が計数するときの、一貫性チェックにいくらか対比し得るものである。この場合に、双方の人間がそれぞれ異なる方法により計数に着手する可能性がある。たとえば、１番目の人は、硬貨及び／又は紙幣を任意の順序で掴み、それらの値をその都度加算するのに対し、２番目の人は、同一の値を有する特定の個数の硬貨及び／又は紙幣から成る包みを形成し、次いでそれらの包みの値を加算する。両者の計数の方法のいずれによっても、最終的には等しい金額が得られるだろう。

【0028】

本明細書において説明する調節によって、識別器は、自然なセマンティッククラス境界に注意を払うよう仕向けられる。従って、生成された画像は、個々のピクセルの平面において写実的であるだけでなく、セマンティックマップに従ってそれぞれ異なる物体タイプに割り当てられた画像領域をそれぞれ有する形状も考慮する。

【0029】

空間分解された出力は特に、たとえば、識別器のニューラルネットワークの最後の層の出力を含み、この出力から、入力された画像が本物であるのか又は写実的に生成されたものであるのかの区分、及び、双方の区分に対する確率が判明する。この最後の層は特に、たとえば、「ロジット」即ちソフトマックス関数によってまだ正規化されていない分類スコアを含み得る。

【0030】

先に説明したように、本明細書において説明するトレーニング方法の基本的な用途は、画像分類器のためのトレーニングデータセットを拡大し、そのようにして画像分類器を、本物のトレーニング画像と、セマンティックな意味への対応する目標分類とを有する予め定められたトレーニングデータセットを起点として、全体としてより良好にトレーニングする、ということである。従って、本発明は、入力された画像及び／又は入力されたこの画像のピクセルをセマンティックな意味に割り当てる画像分類器をトレーニングする方法にも関する。

【0031】

この方法によれば、上述の方法に従って生成器がトレーニングされる。トレーニングされたこの生成器によって、セマンティックマップから写実的画像が生成される。この場合にこれらのセマンティックマップは、生成器のトレーニングのために使用されたセマンティックマップに限られたものではなく、任意の所望のシーンを記述することができる。

【0032】

セマンティックマップからセマンティックな目標意味が求められ、このセマンティックな目標意味に対し、トレーニングされた画像分類器は写実的画像をそれぞれマッピングすることになる。目標意味は特に、たとえば予め定められた分類の１つ又は複数のクラスへの帰属関係を含み得る。たとえば、セマンティックマップにおいて、ある１つの特定の場所に車両が書き込まれている場合には、写実的に生成された画像は、この場所に車両を含むようになる。このため画像分類器は、少なくともこの画像領域を「車両」クラスに割り当てることになる。

【0033】

本物のトレーニング画像及び対応するセマンティックな目標意味を含む、画像分類器用のトレーニングデータセットは、写実的に生成された画像及び対応するセマンティックな目標意味によって拡張される。画像分類器は、拡張されたトレーニングデータセットによってトレーニングされる。

【0034】

上述のようにトレーニングデータセットをこのようにして特に、予めトレーニングデータセットにおいて取り上げられることが少なかった状況の写実的画像によって充実させることができる。このようにして画像分類器をより良好に、そのような状況を取り扱い得る状態にすることができる。

【0035】

たとえば、稀ではあるが危険な交通状況のトレーニング画像は、入手困難であることが多い。たとえば、そのような状況の主要な構成要素である霧、極度の積雪又は路面凍結は、稀にしか存在し得ない。たとえば、衝突コース上にある２台の車両のように、状況の他の部分は、それを本物の車両により再現することは、場合によっては危険すぎる。

【0036】

従って、本発明は、さらに他の方法にも関する。この方法によれば、上述のように、トレーニングされた生成器によって生成された写実的画像を利用しながら、画像分類器がトレーニングされる。トレーニングされたこの画像分類器によって、車両に搭載された少なくとも１つのセンサによって撮影された画像が、セマンティックな意味に割り当てられる。画像分類器によって求められたセマンティックな意味から、動作制御信号が求められる。この動作制御信号によって車両の動作が制御される。

【0037】

改善されたトレーニングにより、画像分類器から供給されるセマンティックな意味の精度が有利に改善される。かくして、動作制御信号により起動された車両のリアクションが画像に示されている交通状況に相応しいという確率が、有利には高められている。

【0038】

これらの方法を特に、完全に又は部分的にコンピュータによって実装することができる。従って、本発明は、１つ又は複数のコンピュータ上において実行されるときに、既述の方法のうちの１つを１つ又は複数のコンピュータに実施させるための機械可読命令を備えたコンピュータプログラムにも関する。この意味においては、同様に機械可読命令を実行することができる車両用の制御機器及び技術機器用の組み込みシステムも、コンピュータとみなすことができる。

【0039】

同様に、本発明は、コンピュータプログラムを備えた機械可読データ担体及び／又はダウンロード製品にも関する。ダウンロード製品は、データネットワークを介して伝送可能な、即ち、データネットワークのユーザによってダウンロード可能なディジタル製品であり、このディジタル製品を、たとえばオンラインショップにおいて即座にダウンロードするために販売することができる。

【0040】

さらにコンピュータに、コンピュータプログラム、機械可読データ担体、又は、ダウンロード製品を装備させることができる。

【0041】

本発明を改善するさらなる措置について、図面に基づく本発明の好ましい実施例の説明と共に、以下において詳細に示す。

【図面の簡単な説明】

【0042】

【図1】生成器１をトレーニングする方法１００の実施例を示す図である。

【図2】混合画像６の形成について説明する図である。

【図3】画像分類器９をトレーニングする方法２００の実施例を示す図である。

【図4】車両５０の動作を制御するに至るまでの完全なイベントチェーンを含む方法３００の実施例を示す図である。

【発明を実施するための形態】

【0043】

実施例
図１は、方法１００の１つの実施例の概略的なフローチャートである。ステップ１１０において、本物のトレーニング画像５及び対応するセマンティックトレーニングマップ５ａが用意される。セマンティックトレーニングマップ５ａは、個々のトレーニング画像５のピクセル各々にセマンティックな意味４を割り当てる。

【0044】

ステップ１２０において、少なくとも１つのセマンティックトレーニングマップ５ａから、トレーニング対象の生成器１によって写実的画像３が生成される。ステップ１３０において、少なくとも１つの同一のセマンティックトレーニングマップ５ａに対し、少なくとも１つの本物のトレーニング画像５が求められる。これをたとえば、「ラベリング」によりセマンティックトレーニングマップ５ａがそもそも前もって生じているトレーニング画像５とすることができる。

【0045】

ステップ１４０において、生成器１によって生成された少なくとも１つの写実的画像３と、ステップ１３０において求められた少なくとも１つの本物のトレーニング画像５とから、混合画像６が生成される。この混合画像６において、ピクセルの第１の真部分集合６ａは、生成器１によって生成された写実的画像３のそれぞれ対応するピクセル値によって占有されている。ピクセルの残余の真部分集合６ｂは、本物のトレーニング画像５のそれぞれ対応するピクセル値によって占有されている。

【0046】

ブロック１４１によれば、セマンティックトレーニングマップ５ａが同様のセマンティックな意味４を割り当てる、混合画像６のピクセルの連続する領域６１、６２を、生成器１によって生成された写実的画像３の対応するピクセル値によって画一的に占有させることができ、又は、本物のトレーニング画像５の対応するピクセル値によって画一的に占有させることができる。

【0047】

混合画像６の形成については、図２に詳細に説明されている。

【0048】

ステップ１５０において、すべて同一のセマンティックトレーニングマップ５ａに属する、生成器１によって生成された写実的画像３と、少なくとも１つの本物のトレーニング画像５と、少なくとも１つの混合画像６とが、識別器７に供給される。この識別器７は、生成器１によって生成された写実的画像３と、セマンティックトレーニングマップ５ａによって予め定められたシーンの本物の画像５とを区別するように構成されている。識別器７は、トレーニングのためにのみ必要とされる。トレーニングが完了した生成器１を後で使用する際には、識別器７は、もはや必要とされない。

【0049】

ブロック１５１によれば、識別器７としてＰａｔｃｈＧＡＮ識別器を選択することができる。ＰａｔｃｈＧＡＮ識別器は、予め定められたサイズを有する画像３、５、６の部分領域において、写実的に生成された画像３と本物の画像５との間の識別を決定し、その際にそれぞれ得られた結果をまとめて総合結果を形成する。

【0050】

ブロック１５２によれば、エンコーダ－デコーダ装置を備えた識別器７を選択することができる。このエンコーダ－デコーダ装置におけるエンコーダ構造は、入力された画像を複数の相前後する処理層において、情報が削減された表現に変換する。エンコーダ－デコーダ装置におけるデコーダ構造は、情報が削減されたこの表現を、入力された画像のピクセル各々が本物のピクセル又は写実的に生成されたピクセルであるとする評価に、さらに変換する。ブロック１５２ａによれば、特にたとえば識別器７において、情報が削減された表現を回避して、エンコーダ構造の処理層とデコーダ構造の処理層との間に、少なくとも１つの直接的な接続を設けることができる。

【0051】

ステップ１６０において、生成器１によって生成された写実的画像３が識別器７によって本物の画像５として誤って分類されることを目標として、生成器１の挙動を特徴付ける生成器パラメータ１ａが最適化される。これと同時に又はこれと交互に、ステップ１７０において、写実的に生成された画像３と本物の画像５とを区別する際の精度を改善することを目標として、識別器７の挙動を特徴付ける識別器パラメータ７ａが最適化される。

【0052】

その際、ブロック１７１による識別器パラメータ７ａの最適化を付加的に、本物のトレーニング画像５から混合画像６に引き継がれたピクセル及び／又は物体の数的な割合に対応する程度（即ち、たとえばスコア）に応じて、この混合画像６が本物の画像５として分類されることを目標とするものとすることができる。

【0053】

ブロック１７２によれば、識別器７を付加的に、予め定められたルールに従って本物のトレーニング画像５と写実的に生成された画像３とから求められた混合画像６から、識別器７が空間分解された出力を生成するように、トレーニングすることができ、この空間分解された出力は、一方では本物のトレーニング画像５のために、他方では写実的に生成された画像３のために得られた出力を、予め定められた同一のルールに従って混合したものに可及的に近い。

【0054】

生成器パラメータ１ａのトレーニングが完了した状態は、参照符号１ａ^＊によって表されている。識別器パラメータ７ａのトレーニングが完了した状態は、参照符号７ａ^＊によって表されている。

【0055】

図２には、混合画像６をどのようにして形成することができるかについて、簡単な例を用いて説明されている。この例においては、セマンティックマップ２が予め定められている。このセマンティックマップ２は、使用されている画像３、５はそこでは本を示すものとする、というセマンティックな意味４を、第１の領域２１に割り当てる。セマンティックマップ２は、使用されている画像３、５はそこでは机を示すものとする、というセマンティックな意味４を、第２の領域２２に割り当てる。

【0056】

生成器１によって生成された写実的画像３は、セマンティックマップ２と一致して、本３１が載置されている机３２を示している。本物のトレーニング画像５は、別の本５１が載置されている別の机５２を示している。

【0057】

混合画像６において、１つの連続する領域６１を成すピクセル６ａが、生成器１によって生成された写実的画像３の対応するピクセル値によって占有されており、これの値は、机３２に関連するものである。１つの連続する領域６２を成すピクセル６ｂは、本物のトレーニング画像５の対応するピクセル値によって占有されており、これらの値は、本５１に関連するものである。かくして混合画像６は、生成器１によって生成された写実的画像３におけるテーブル３２と、本物のトレーニング画像５における本５１とから成るコラージュである。

【0058】

図３は、画像分類器９をトレーニングする方法２００の１つの実施例の概略的なフローチャートである。ステップ２１０において、生成器１が上述の方法１００によってトレーニングされる。ステップ２２０において、トレーニングされた生成器１によって、セマンティックマップ２から写実的画像３が生成される。それぞれ使用されるセマンティックマップ２から、ステップ２３０において、セマンティックな目標意味が求められ、このセマンティックな目標意味４に対し、画像分類器９が写実的画像３又はそれらの画像のピクセルをそれぞれマッピングすることになる。

【0059】

生成器１によって生成された写実的画像３及び対応する目標意味４は、ステップ２４０において、既に本物のトレーニング画像５’及び対応する目標意味４’を含むトレーニングデータセット９ａに追加される。このようにして拡張されたトレーニングデータセット９ａ^＊は、ステップ２５０において、画像分類器９をトレーニングするために使用される。

【0060】

図４は、方法３００の１つの実施例の概略的なフローチャートである。ステップ３１０において、画像分類器９が上述の方法２００によってトレーニングされる。ステップ３２０において、この画像分類器９によって、車両５０に搭載された少なくとも１つのセンサ５０ａによって撮影された画像５が、１つのセマンティックな意味４に割り当てられる。画像分類器９によって求められたこのセマンティックな意味４から、ステップ３３０において、動作制御信号３３０ａが求められる。ステップ３４０において、この動作制御信号３３０ａによって車両５０の動作が制御される。

【図1】

【図2】

【図3】

【図4】