知財求人 - 知財ポータルサイト「IP Force」
▶ ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-13
(45)【発行日】2024-02-21
(54)【発明の名称】生成ニューラルネットワークを訓練するための訓練システム
(51)【国際特許分類】
G06N 3/088 20230101AFI20240214BHJP
G06N 3/0475 20230101ALI20240214BHJP
【ＦＩ】
G06N3/088
G06N3/0475
【請求項の数】
14
【外国語出願】
(21)【出願番号】P 2020084731
(22)【出願日】2020-05-13
(65)【公開番号】P2020187753
(43)【公開日】2020-11-19
【審査請求日】2023-02-06
(31)【優先権主張番号】19174400
(32)【優先日】2019-05-14
(33)【優先権主張国・地域又は機関】EP
【早期審査対象出願】
(73)【特許権者】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ
【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100135633
【弁理士】
【氏名又は名称】二宮 浩康
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】アンナ コレヴァ
(72)【発明者】
【氏名】ダン ヂャン
【審査官】円子 英紀
(56)【参考文献】
【文献】国際公開第２０１８／１０９５０５（ＷＯ，Ａ１）
【文献】国際公開第２０１８／２０００７２（ＷＯ，Ａ１）
【文献】中国特許出願公開第１０８４０１１１２（ＣＮ，Ａ）
【文献】特開２００７－０４３３７３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
(57)【特許請求の範囲】
【請求項1】
測定されたセンサデータを生成されたセンサデータ（２２３）に変換するように構成されている、生成ニューラルネットワーク（１００；２２０）を訓練するための訓練システム（２００）であって、前記システムは、測定されたセンサデータの訓練セット（３５１；３５２：３５３）にアクセスするための通信インタフェースと、
識別ニューラルネットワーク（２３０；２３８；２３９）と共に前記生成ネットワークを訓練するように構成されているプロセッサシステムと、
を含み、
前記生成ネットワークは、前記測定されたセンサデータを生成されたセンサデータに変換するように最適化されており、前記識別ネットワークは、前記測定されたセンサデータと前記生成されたセンサデータとを区別するように最適化されており、
前記生成ネットワークは、入力として、前記測定されたセンサデータと、複数の変換目標から選択された変換目標とを受け取るように構成されており、かつ、入力として受け取られた前記測定されたセンサデータを、入力として受け取られた前記変換目標に従って前記生成されたセンサデータに変換するように構成されており、
前記識別ネットワークは、入力として、センサデータと、前記複数の変換目標から選択された変換目標とを受け取るように構成されており、かつ、入力として受け取られた前記センサデータが前記変換目標を満たす測定されたセンサデータであるか否かを特定するように構成されている、
訓練システム（２００）。
【請求項2】
（ｉ）前記複数の変換目標は、複数のドメインを含み、訓練データは、前記複数のドメインのうちの１つのドメインによってラベル付けされており、前記生成ネットワークは、前記変換目標に従って、入力として受け取られた前記センサデータをドメインに変換するように構成されており、前記識別ネットワークは、入力として受け取られた前記センサデータが、前記変換目標に従って前記ドメインを満たすか否かを特定するように構成されている、又は、（ｉｉ）前記複数の変換目標は、複数の時間差を含み、前記訓練データは、タイムスタンプによってラベル付けされており、前記生成ネットワークは、前記時間差に従って、入力として受け取られた前記センサデータを第１のタイムスタンプから第２のタイムスタンプに変換するように構成されており、前記識別ネットワークは、入力として、第１のセンサデータ、第２のセンサデータ及び時間差を受け取り、かつ、前記第１のセンサデータ及び前記第２のセンサデータが前記時間差を満たすか否かを特定するように構成されている、
請求項１に記載のシステム。
【請求項3】
前記識別ネットワークは、入力として受け取られた前記センサデータ及び入力として受け取られた前記変換目標が前記訓練セットに従っていることを特定するように訓練されている、請求項１又は２に記載のシステム。
【請求項4】
前記訓練セットは、第１の測定されたセンサデータ、第１の変換目標及び第２の測定されたセンサデータの１つ又は複数のセットを含み、前記生成ネットワークは、前記第１の変換目標に従って前記第１の測定されたセンサデータを前記第２の測定されたセンサデータに変換するように訓練されている、
請求項１乃至３のいずれか一項に記載のシステム。
【請求項5】
前記訓練セットは、対応するタイムスタンプによってラベル付けされているタイムラプスビデオからのイメージを含む、請求項１乃至４のいずれか一項に記載のシステム。
【請求項6】
前記複数の変換目標は、前記センサデータにおいて識別された対象物を示す情報を含み、さらに前記対象物が遮蔽されるべきか否か又は遮蔽解除されるべきか否かを示す、請求項１乃至５のいずれか一項に記載のシステム。
【請求項7】
前記複数の変換目標は、変換目標の少なくとも１つの集合を含み、変換目標の前記集合に従った、測定されたセンサデータの連続した変換が、恒等変換を定める、請求項１乃至６のいずれか一項に記載のシステム。
【請求項8】
測定されたセンサデータを、生成されたセンサデータに変換するように構成されている生成ニューラルネットワークのための生成システムであって、前記システムは、入力として、測定されたセンサデータと変換目標とを受け取るための通信インタフェースと、
訓練された生成ネットワークを、受け取った、入力された前記測定されたセンサデータ及び前記受け取った変換目標に適用するように構成されているプロセッサシステムと、
を含み、
前記生成ネットワークは、訓練システムに従って訓練されており、前記訓練システムは、
測定されたセンサデータの訓練セットにアクセスするための第２の通信インタフェースと、
識別ニューラルネットワークと共に前記生成ネットワークを訓練するように構成されている第２のプロセッサシステムと、
を含み、
前記生成ネットワークは、前記測定されたセンサデータを生成されたセンサデータに変換するように最適化されており、前記識別ネットワークは、前記測定されたセンサデータと前記生成されたセンサデータとを区別するように最適化されており、
前記生成ネットワークは、入力として、前記測定されたセンサデータと、複数の変換目標から選択された変換目標とを受け取るように構成されており、かつ、入力として受け取られた前記測定されたセンサデータを、入力として受け取られた前記変換目標に従って前記生成されたセンサデータに変換するように構成されており、
前記識別ネットワークは、入力として、センサデータと、前記複数の変換目標から選択された変換目標とを受け取るように構成されており、かつ、入力として受け取られた前記センサデータが前記変換目標を満たす測定されたセンサデータであるか否かを特定するように構成されている、
生成システム。
【請求項9】
測定されたセンサデータを、生成されたセンサデータに変換するように構成されている生成ニューラルネットワークを訓練するための訓練方法（７００）であって、前記方法は、測定されたセンサデータの訓練セットにアクセスすること（７１０）と、
識別ニューラルネットワークと共に前記生成ネットワークを訓練すること（７２０）と、
を含み、前記訓練すること（７２０）は、
前記測定されたセンサデータを、生成されたセンサデータへ変換するように前記生成ネットワークを最適化すること（７３０）と、
前記測定されたセンサデータと前記生成されたセンサデータとを区別するように、前記識別ネットワークを最適化すること（７４０）と、
を含み、前記訓練すること（７２０）は、
入力として、前記測定されたセンサデータと、複数の変換目標から選択された変換目標とを得ること（７５０）と、
入力された前記変換目標に従って、入力された前記測定されたセンサデータを、前記生成ネットワークを使用して前記生成されたセンサデータに変換すること（７６０）と、
を含み、
前記識別ネットワークは、入力として、センサデータと、前記複数の変換目標から選択された変換目標とを受け取るように構成されており、かつ、入力として受け取られた前記センサデータが前記変換目標を満たす測定されたセンサデータであるか否かを特定するように構成されている、
訓練方法（７００）。
【請求項10】
さらなる入力として、付加的なセンサデータと、前記複数の変換目標から選択された付加的な変換目標とを得ること（７７０）と、前記付加的なセンサデータが、前記付加的な変換目標を満たす測定されたセンサデータであるか否かを、前記識別ネットワークを使用して特定すること（７８０）と、
をさらに含む、
請求項９に記載の方法。
【請求項11】
測定されたセンサデータを、生成されたセンサデータに変換するように構成されている生成ニューラルネットワークのための生成方法（８００）であって、前記方法は、入力として、測定されたセンサデータと変換目標とを受け取ること（８１０）と、
訓練された生成ネットワークを、受け取った、入力された前記測定されたセンサデータ及び受け取った前記変換目標に適用すること（８２０）と、
を含み、前記生成ネットワークは、
測定されたセンサデータの訓練セットにアクセスすること（７１０）と、
識別ニューラルネットワークと共に前記生成ネットワークを訓練すること（７２０）と、
によって訓練されており、前記訓練すること（７２０）は、
測定されたセンサデータを、生成されたセンサデータへ変換するように前記生成ネットワークを最適化すること（７３０）と、
測定されたセンサデータと生成されたセンサデータとを区別するように、前記識別ネットワークを最適化すること（７４０）と、
を含み、前記訓練すること（７２０）は、
入力として、前記測定されたセンサデータと、複数の変換目標から選択された変換目標とを得ること（７５０）と、
入力された前記変換目標に従って、入力された前記測定されたセンサデータを、前記生成ネットワークを使用して前記生成されたセンサデータに変換すること（７６０）と、
を含み、
前記識別ネットワークは、入力として、センサデータと、前記複数の変換目標から選択された変換目標とを受け取るように構成されており、かつ、入力として受け取られた前記センサデータが前記変換目標を満たす測定されたセンサデータであるか否かを特定するように構成されている、
生成方法（８００）。
【請求項12】
測定されたセンサデータを、生成されたセンサデータに変換するように構成されている生成ニューラルネットワークを訓練するための命令を表すデータ（１０２０）が格納された非一時的なコンピュータ可読媒体（１０００）であって、前記データ（１０２０）は、コンピュータによって実行されたときに、前記コンピュータに、測定されたセンサデータの訓練セットにアクセスすること（７１０）と、
識別ニューラルネットワークと共に前記生成ネットワークを訓練すること（７２０）と、
を実施させるためのものであり、前記訓練すること（７２０）は、
測定されたセンサデータを、生成されたセンサデータへ変換するように前記生成ネットワークを最適化すること（７３０）と、
測定されたセンサデータと生成されたセンサデータとを区別するように、前記識別ネットワークを最適化すること（７４０）と、
を含み、前記訓練すること（７２０）は、
入力として、前記測定されたセンサデータと、複数の変換目標から選択された変換目標とを得ること（７５０）と、
入力された前記変換目標に従って、入力された前記測定されたセンサデータを、前記生成ネットワークを使用して前記生成されたセンサデータに変換すること（７６０）と、
を含み、
前記識別ネットワークは、入力として、センサデータと、前記複数の変換目標から選択された変換目標とを受け取るように構成されており、かつ、入力として受け取られた前記センサデータが前記変換目標を満たす測定されたセンサデータであるか否かを特定するように構成されている、
非一時的なコンピュータ可読媒体（１０００）。
【請求項13】
測定されたセンサデータを、生成されたセンサデータに変換するように構成されている生成ニューラルネットワークのための命令を表すデータ（１０２０）が格納された非一時的なコンピュータ可読媒体（１０００）であって、前記データ（１０２０）は、コンピュータによって実行されたときに、前記コンピュータに、入力として、測定されたセンサデータと変換目標とを受け取ること（８１０）と、
訓練された生成ネットワークを、受け取った、入力された前記測定されたセンサデータ及び受け取った前記変換目標に適用すること（８２０）と、
を実施させるためのものであり、前記生成ネットワークは、
測定されたセンサデータの訓練セットにアクセスすること（７１０）と、
識別ニューラルネットワークと共に前記生成ネットワークを訓練すること（７２０）と、
によって訓練されており、前記訓練すること（７２０）は、
測定されたセンサデータを、生成されたセンサデータへ変換するように前記生成ネットワークを最適化すること（７３０）と、
測定されたセンサデータと生成されたセンサデータとを区別するように、前記識別ネットワークを最適化すること（７４０）と、
を含み、前記訓練すること（７２０）は、
入力として、前記測定されたセンサデータと、複数の変換目標から選択された変換目標とを得ること（７５０）と、
入力された前記変換目標に従って、入力された前記測定されたセンサデータを、前記生成ネットワークを使用して前記生成されたセンサデータに変換すること（７６０）と、
を含み、
前記識別ネットワークは、入力として、センサデータと、前記複数の変換目標から選択された変換目標とを受け取るように構成されており、かつ、入力として受け取られた前記センサデータが前記変換目標を満たす測定されたセンサデータであるか否かを特定するように構成されている、
非一時的なコンピュータ可読媒体（１０００）。
【請求項14】
測定されたセンサデータを生成されたセンサデータ（２２３）に変換するように構成されている、生成ニューラルネットワーク（１００；２２０）を訓練するための訓練システム（２００）であって、前記システムは、測定されたセンサデータの訓練セット（３５１；３５２：３５３）にアクセスするための通信インタフェースと、
識別ニューラルネットワーク（２３０；２３８；２３９）と共に前記生成ネットワークを訓練するように構成されているプロセッサシステムと、
を含み、
前記生成ネットワークは、測定されたセンサデータを生成されたセンサデータに変換するように最適化されており、前記識別ネットワークは、測定されたセンサデータと生成されたセンサデータとを区別するように最適化されており、
前記生成ネットワークは、入力として、前記生成されたセンサデータと、複数の変換目標から選択された変換目標とを受け取るように構成されており、かつ、入力として受け取られた前記測定されたセンサデータを、入力として受け取られた前記変換目標に従って前記生成されたセンサデータに変換するように構成されており、
前記複数の変換目標は、複数の時間差を含み、訓練データは、タイムスタンプによってラベル付けされており、前記生成ネットワークは、前記時間差に従って、入力として受け取られた前記センサデータを第１のタイムスタンプから第２のタイムスタンプに変換するように構成されており、前記識別ネットワークは、入力として、第１のセンサデータ、第２のセンサデータ及び時間差を受け取り、かつ、前記第１のセンサデータ及び前記第２のセンサデータが前記時間差を満たすか否かを特定するように構成されている、
訓練システム（２００）。
【発明の詳細な説明】
【技術分野】
【0001】
発明の分野
本発明は、生成ニューラルネットワークを訓練するための訓練システム、複数の別個の生成ニューラルネットワークを訓練するための訓練システム、生成ニューラルネットワークのための生成システム、生成ニューラルネットワークを訓練するための訓練方法、複数の別個の生成ニューラルネットワークを訓練するための訓練方法、生成ニューラルネットワークのための生成方法、プロセッサシステムに方法を実施させるための命令を表すデータを含むコンピュータ可読媒体、ニューラルネットワークを表すデータを含むコンピュータ可読媒体に関する。
本発明は、生成ニューラルネットワークを訓練するための訓練システム、複数の別個の生成ニューラルネットワークを訓練するための訓練システム、生成ニューラルネットワークのための生成システム、生成ニューラルネットワークを訓練するための訓練方法、複数の別個の生成ニューラルネットワークを訓練するための訓練方法、生成ニューラルネットワークのための生成方法、プロセッサシステムに方法を実施させるための命令を表すデータを含むコンピュータ可読媒体、ニューラルネットワークを表すデータを含むコンピュータ可読媒体に関する。
【背景技術】
【0002】
発明の背景
Ｉ２Ｉ変換（Ｉｍａｇｅ－ｔｏ－Ｉｍａｇｅ ｔｒａｎｓｌａｔｉｏｎ）は、一種の、入力イメージと出力イメージとの間の写像を学習することが目標であるビジョン及びグラフィックの課題である。訓練は、整列されたイメージ対の訓練セットを用いて行われることがあり、これは、対にされた訓練データとして知られている。又は、訓練は、整列されたイメージ対を用いずに行われることがあり、これは、対にされていない訓練データとして知られている。Ｊｕｎ－Ｙａｎ Ｚｈｕ等著の論文「Ｕｎｐａｉｒｅｄ Ｉｍａｇｅ－ｔｏ－Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎ ｕｓｉｎｇ Ｃｙｃｌｅ－Ｃｏｎｓｉｓｔｅｎｔ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ」において、既知のＩ２Ｉ変換システムが記述されている（「ＣｙｃｌｅＧＡＮ」と称される）。ＣｙｃｌｅＧＡＮは、ドメインＸからドメインＹへのイメージの変換を学習し、対にされた訓練データを要求しない。何らかの２つの整理されていないイメージ集合Ｘ及びＹを考慮して、ドメインＸ及びＹにおいてそれぞれ、既知のアルゴリズムは、イメージを一方から他方へ変換することを学習し、また、他方から一方へ変換することを学習する。
Ｉ２Ｉ変換（Ｉｍａｇｅ－ｔｏ－Ｉｍａｇｅ ｔｒａｎｓｌａｔｉｏｎ）は、一種の、入力イメージと出力イメージとの間の写像を学習することが目標であるビジョン及びグラフィックの課題である。訓練は、整列されたイメージ対の訓練セットを用いて行われることがあり、これは、対にされた訓練データとして知られている。又は、訓練は、整列されたイメージ対を用いずに行われることがあり、これは、対にされていない訓練データとして知られている。Ｊｕｎ－Ｙａｎ Ｚｈｕ等著の論文「Ｕｎｐａｉｒｅｄ Ｉｍａｇｅ－ｔｏ－Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎ ｕｓｉｎｇ Ｃｙｃｌｅ－Ｃｏｎｓｉｓｔｅｎｔ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ」において、既知のＩ２Ｉ変換システムが記述されている（「ＣｙｃｌｅＧＡＮ」と称される）。ＣｙｃｌｅＧＡＮは、ドメインＸからドメインＹへのイメージの変換を学習し、対にされた訓練データを要求しない。何らかの２つの整理されていないイメージ集合Ｘ及びＹを考慮して、ドメインＸ及びＹにおいてそれぞれ、既知のアルゴリズムは、イメージを一方から他方へ変換することを学習し、また、他方から一方へ変換することを学習する。
【0003】
既知のシステムは、敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ （ＧＡＮ））であり、これは、２つの写像関数Ｇ：Ｘ→Ｙ及びＦ：Ｙ→Ｘと、２つの関連した敵対識別ネットワークＤＹ及びＤＸとを含む。ＤＹは、ＸをドメインＹと区別することができない出力に変換するようにＧを促進し、ＤＸ及びＦに対してはその逆である。写像をさらに正則化するために、２つのサイクル一貫性損失が導入される。イメージが、一方のドメインから他方のドメインに変換され、再び、他方のドメインから一方のドメインに戻される場合には、元のイメージに戻るべきである。順伝播サイクル一貫性損失の場合には、ｘ→Ｇ（ｘ）→Ｆ（Ｇ（ｘ））≒ｘが必要であり、逆伝播サイクル一貫性損失の場合には、ｙ→Ｆ（ｙ）→Ｇ（Ｆ（ｙ））≒ｙが必要である。
【先行技術文献】
【非特許文献】
【0004】
【文献】論文「Ｕｎｐａｉｒｅｄ Ｉｍａｇｅ－ｔｏ－Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎ ｕｓｉｎｇ Ｃｙｃｌｅ－Ｃｏｎｓｉｓｔｅｎｔ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ」Ｊｕｎ－Ｙａｎ Ｚｈｕ等著
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述したモデルは、合理的なＩ２Ｉ変換結果を生成する。しかし、既存のアプローチにはいくつかの問題がある。
【0006】
既知のＩ２Ｉ変換システムの１つの欠点は、対にされた訓練イメージを使用するシステムも、ＣｙｃｌｅＧＡＮ等の、対にされた訓練イメージを使用しないシステムも、訓練データにおいて与えられた２つのドメインの間の変換を学習するだけであり、２つのドメインの範囲外のいかなる変換も学習することができないということである。従って、所与のイメージをいくつかのターゲットドメインに変換するマルチドメイン変換の場合には、例えば夏の場面から秋の場面、冬の場面又は春の場面への変換の場合には、それぞれ特定のドメイン変換に対して、複数の生成ネットワーク及び識別ネットワークの訓練が必要になる。訓練のために複数の生成ネットワーク及び識別ネットワークを使用することは、煩わしく、計算コストがかかるだけでなく、訓練の不安定性も生じさせ得る。複数の生成ネットワークと識別ネットワークとのバランスを取るのは困難であり、すべての変換方向が等しく良好に学習されるという保証はない。
【0007】
さらに、２つの生成ネットワークを備えるＣｙｃｌｅＧＡＮ設定においては、しばしば、変換の１つが占領し、他の変換が「補助者」として用いられることが観察される。これは、実際には、これらのモデルの適用性を制限する。なぜなら、その普遍化及びスケーラビリティプロパティが低いからである。
【0008】
いくつかのドメインに対して、ＣｙｃｌｅＧＡＮは、イメージを変換する良好なジョブを行うが、結果は、決して一律に肯定されない。場面の意味のあるセマンティクスを維持しながら、高品質の変換を実行することは依然として難しい。より多様で極端な変換、特に幾何学的な変更を必要とするより複雑なシナリオ、又は、「新たな」見えない対象物を伴う場面においては、この方法が失敗する可能性がより高くなる。例えば、冬から夏へのイメージの変換の場合には、おそらく、雪を草に変更し、背景の光を調整することが目的とされ得る。しかし、この場面が前景対象物、例えば人又は動物を含む場合、既存の方法は、これらと背景とを区別しない。前景の色及び外見は、しばしば、変換の間に著しく変化し、同様に、例えば、イメージが夏のドメインに変換される場合には、雪景色の中の狼は、草の毛皮を生じさせ得る。変換目的が、単に、前景対象物を変化させることである場合に、同様の問題が観察される。例えば、馬のイメージからシマウマのイメージに変換する場合、他のすべては変化させずに、白黒のストライプを馬の表面に描くことが望まれる。しかし、この例においては、背景の色も、変換の間、影響され得る。
【0009】
この作用は、少なくとも部分的に、既存の方法が、訓練中に空間及び時間の２つの別個の点（（対にされた又は対にされていない）２つのイメージ）だけを見ながら意味のある変換を学習することを目的としているという事実に起因し得る。これは、特に、対にされていないデータで訓練が行われている間、ネットワークにとって極めて困難なタスクである。結果として、生成ネットワークは、容易な色変換及びテクスチャ変換を伴う解決策に集中し、ハイレベルなセマンティクス及び合成された場面の妥当性には注意を払わない。
【0010】
データの増強のために又は他のモデルの訓練のために合成されたイメージを使用することは、ネガティブな変換につながることがある。これは、他のモデルの性能の改善どころか、性能の低減をもたらす。
【課題を解決するための手段】
【0011】
発明の要約
このような問題又は他の問題に対処するために、測定されたセンサデータを生成されたセンサデータに変換するように構成されている生成ニューラルネットワークを訓練するように構成されている訓練システムが提案される。
このような問題又は他の問題に対処するために、測定されたセンサデータを生成されたセンサデータに変換するように構成されている生成ニューラルネットワークを訓練するように構成されている訓練システムが提案される。
【0012】
この訓練システムは、識別ニューラルネットワークと共に生成ネットワークを訓練するように構成されているプロセッサシステムを含む。生成ネットワークは、入力としてセンサデータと、複数の変換目標から選択された変換目標とを受け取るように構成されており、さらに、センサデータを変換目標に従って変換するように構成されている。ある実施形態においては、識別ネットワークも、入力としてセンサデータと、複数の変換目標から選択された変換目標とを受け取り、センサデータが、変換目標を満たす、測定されたセンサデータであるか否かを特定するように構成されている。後者は有利であるが、１つの生成ネットワークを複数の識別ネットワークと結合すること又はその逆も可能である。
【0013】
生成ネットワーク及び識別ネットワークは、変換又は識別されるべきセンサデータを受け取るが、変換目標も受け取る。換言すれば、同一の生成ネットワークが訓練されて、これは、複数の変換を複数の変換目標に従って実施することが可能になる。同一の識別ネットワークが訓練されて、これは、生成されたイメージとリアルなイメージとの間、及び／又は、異なる変換目標間の識別を行うことが可能である。
【0014】
従って、各変換に対して異なるネットワークを訓練することが回避される。請求項１に記載された生成ネットワークは、複数の変換目標に従って、入力及び出力イメージ対の影響を受ける。これは、ネットワークの訓練を改善する。さらに、請求項１に記載された１つのネットワークのサイズは、既知のシステムに従った、２つのネットワークＧ及びＦをまとめたサイズよりも、格段に小さいものとするとよい。実際に、生成ネットワークの、ある実施形態は、ｃｙｃｌｅｇａｎ生成ネットワークと類似のサイズであるものとするとよい。変換目標を使用することによって、変換目標の数を増やすことができる。この際に、パラメータの数における二次増加を伴わない。さらに、訓練の不安定性及び不均衡が、少数の協働するネットワークを有することによって回避される。
【0015】
従って、よりシンプルであり、さらにより効果的なフレームワークが提供され、これは、１つの生成ネットワーク及び識別ネットワークによるマルチドメイン変換を実行することを可能にし、実際に、計算コストが低減し、センサデータ変換の適用性が改善される。推論の間、１つの生成ネットワークは、変換を、複数のドメインに対して、かつ、異なる方向において行うことができる。
【0016】
改善された訓練及び／又は増加させられた変換目標の数によって、生成ネットワークは、異なる設定において適用可能になる。例えば、生成ネットワークは、データ増強のために、又は、他のモデルの訓練のために、合成されたイメージを生成するように訓練されるものとするとよい。
【0017】
変換目標が使用され得る少なくとも２つの手法がある。ある実施形態においては、変換目標は、ドメインであるものとするとよい。生成ネットワークは、異なるドメイン間の変換を行うように訓練されるものとするとよく、識別ネットワークは、異なるドメイン間の識別を行うように訓練されるものとするとよい。ドメインの数は、２つ以上であるものとするとよい。例えば、訓練データが、複数のドメインのドメインによってラベル付けされるものとするとよい。例えば、これらのラベルが、ドメインを示すものとするとよい。ドメインは、クラスとも称され得る。
【0018】
センサデータのラベルは、カテゴリデータであるものとするとよく、例えば列挙されたタイプ、例えばドメイン、例えば夏、冬等であるものとするとよい。センサデータのラベルは、定量的なデータであるものとするとよく、例えば継続的なタイプ、例えば温度、タイムスタンプ等であるものとするとよい。カテゴリラベルが、特定のラベルに変換する変換目標を定めるために使用されるものとするとよい。定量的なラベルは、特定の量においてラベルを増加させる又は低減させる変換目標を定めるために使用されるものとするとよい。
【0019】
変換目標が、直接的に、イメージに関連し得るドメインラベルに関連していなくてもよい異なるタイプの変換を示すものとしてもよい。例えば、訓練イメージは、タイムスタンプによってラベル付けされているものとするとよく、変換目標は、イメージを、後の又は先のタイムスタンプを有するイメージに変換するためのものとするとよい。これを使用し得る特に有利な適用は、ビデオからの訓練イメージを使用することである。これは、例えばタイムラプスイメージであり、対応するタイムスタンプによってラベル付けされている。ビデオを使用することは、大量の訓練データを得る、特に有利な手法である。変換目標を使用して、特定の時間量だけイメージの時間を経過させる又は巻き戻すように、生成ネットワークを訓練することができる。既知の生成ネットワークは、季節間のイメージの変換に制限されるが、ある実施形態は、特定の数の日にち又は時間等で、イメージの時間を経過させることができる。訓練目標は、種々の方法により制限されているものとするとよく、例えば、時刻若しくは時節の変化又はその両方に制限されるものとするとよい。
【0020】
Ｉ２Ｉ変換タスクのために、ビデオデータが有用であり、これによって、システムは、ハイレベルの情報及び場面の妥当性を保持した、イメージの再着色だけでなく、場面のセマンティクスの滑らかな調整も学習する。ビデオデータを使用することは、特に有益である。なぜなら、これは、自然に対にされているからである。ラベルによるイメージの注釈付けのための人間による監督は、不必要である。ビジュアルコンテンツの空間的なセマンティクスは、時間の経過と共にゆっくりと展開し、これは、監督の付加的なソースとして使用可能である。
【0021】
さらに、フレーム間の時間的な距離は、情報の付加的なソースを提供し、時間的に近い２つの点は似たように見えるはずであり、これは、変換の方向を調整するために使用されるものとするとよい。このような場合には、提案されたフレームワークは、現在の状態に合わせて、あり得る過去又は未来の場面の幻覚のために使用されてもよい。
【0022】
実施形態は、対にされた訓練データ及び対にされていない訓練データ上で使用されるものとするとよい。ビデオは、大量の、対にされた訓練データを得るための１つの手法である。ビデオは、魅力的である。なぜなら、これらは、大規模で得るのに経済的である上に、豊富な信号を含むからである。ビデオは、フレームの一時的な整列を伴い、フレームの近くで強く相関する。これは、監督に対する価値ある資産である。
【0023】
複数の変換目標は、センサデータを少なくとも２つの手法により変換することができる。しかし、ある実施形態においては、これは、２つ以上、例えば３つ、４つ、８つ以上等であるものとするとよく、むしろ、２つより格段に多いものとするとよく、例えば１０００以上、１００００００以上等であるものとするとよい。目標は、一般的であるものとするとよく、例えば、季節間の変換であるものとするとよいが、極めて特殊なものであってもよく、例えば特定の位置での特定の対象物の追加又は除去、例えばイメージ内の特定の位置でのサイクリストの追加又は除去、例えば対象物の遮蔽又は遮蔽解除等であってもよい。有利には、複数の変換目標における各変換目標に対して、反対の変換目標が存在し、従って、シーケンスにおける２つの対応する変換の実行は、同一であるべきであり、これに対して、適当なサイクル損失を定めることができる。
【0024】
シーケンスにおいて同一性を得るこのような複数の変換目標は、２よりも長いものとするとよい。例えば、３つのドメインＸ、Ｙ及びＺの場合には、例えばＸ→Ｙ→Ｘ又はＺ→Ｘ→Ｚの長さ２のサイクルが実行されるものとするとよいが、長さ３のサイクルＸ→Ｙ→Ｚ→Ｘも実行されるものとするとよい。
【0025】
時間差が変換目標として使用される場合、反対の目標は、同等の量の時間によってセンサデータの時間を経過させる又は巻き戻すことであるものとするとよい。
【0026】
本発明のある態様は、生成ニューラルネットワークのための生成システムに関する。これは、測定されたセンサデータを生成されたセンサデータに変換するように構成されている。本発明のある態様は、生成ニューラルネットワークを訓練するための訓練方法に関する。本発明のある態様は、生成ニューラルネットワークのための生成方法に関する。本発明のある態様は、一時的又は非一時的なコンピュータ可読媒体に関する。これは、プロセッサシステムに、方法の実施形態を実行させる命令を表すデータを含む、及び／又は、実施形態に従って生成ニューラルネットワーク及び／又は識別ニューラルネットワークを表すデータを含む。
【0027】
生成ネットワーク及び識別ネットワークを１つにして、生成ニューラルネットワークと称することもできる。
【0028】
訓練システム及び生成システムは電子デバイスであり、例えばコンピュータである。訓練された又は訓練されていないニューラルネットワークは、複数のパラメータとして表されるものとするとよい。１つ又は複数のパラメータは、ニューラルネットワークのニューロンがどのように、入力データを出力データに変換するのかを示すものとするとよい。
【0029】
センサデータは、センサから受け取ったあらゆるデータを含むものとするとよい。センサデータは、センサから、例えばネットワークを介して、ＡＰＩを介して、接続を介して、例えばデジタル接続等を介して受け取られた入力を含むものとするとよい。センサは、イメージセンサ、レーダ等であるものとするとよい。
【0030】
センサデータは、特に、２つ以上の次元に延在するデータを含むものとするとよい。例えば、センサデータは、イメージデータ等の平面データを含むものとするとよく、又は、３次元であるものとするとよく、例えば深さ成分を含むものとするとよい。例えばセンサデータは、時間次元を有するものとするとよく、例えばセンサデータは、時間期間にわたったセンサ読み取りであるものとするとよい。例えば、センサデータはビデオデータを含むものとするとよい。センサデータは、例えばビデオ、レーダデータ、ＬｉＤＡＲデータ、超音波センサデータ、モーションセンサデータ等を含むものとするとよい。
【0031】
生成ニューラルネットワーク及び／又は識別ニューラルネットワークは、順伝播型ネットワーク、例えばフレーム又はビデオをベースにしたネットワークを含むものとするとよい。生成ニューラルネットワーク及び／又は識別ニューラルネットワークは、ＣＮＮネットワーク及び／又はＲＮＮネットワーク又はアーキテクチャを含むものとするとよい。
【0032】
訓練された生成ネットワークは、センサデータを変換するために使用されるものとするとよい。ある実施形態においては、しばしば、イメージデータは、動機付けの例として使用される。しかし、ネットワークは、他の方式に適用されるものとするとよい。例えば、ビジュアルイメージの代わりに、レーダデータ等が取得されるものとするとよい。
【0033】
１つの生成ネットワーク及び識別ネットワークによるマルチドメイン変換タスクの実施形態が、あらゆるセンサ信号間で実行されるものとするとよく、あらゆるセンサの時系列記録は、監督として使用可能である。実施形態は、データ増強のために、同様にドメイン移転タスクとして使用可能である。これは、特に、自動運転のための機械学習システムの訓練の場合に価値がある。これによって、リアルなイメージの実際に即した変更が可能になる。これは、例えば、天気及び光の状況の変更によって、又は、場面の新たな環境への移転、例えば都市から農村への移転によって、同様に、合成データからリアルなデータへの移転によって行われる。
【0034】
生成ネットワークの特定の有利な適用は、他のネットワーク、例えばセンサデータ分類器、例えばイメージ分類器に対する訓練データ又は試験データの増強である。センサデータ分類器は、他のデバイス、例えば自動移動機械、例えば自動運転車又はロボットアーム等において使用されるものとするとよい。自動移動機械において、センサデータ分類器は、機械の近くの対象物を分類するために使用されるものとするとよい。分類された対象物に基づいて、コントローラが、機械、例えば物理的なシステムをコントロールするためにコントロール信号を生成するように構成されるものとするとよい。他のデバイスは、コンピュータによってコントロールされる機械であるものとするとよく、これは、例えばロボット、車両、家電製品、電動工具、製造機械であるものとするとよい。センサデータ分類器は、情報を伝達するためのシステムにおいて使用されてもよい。これは、監視システム又は医療用（イメージ）システム、イメージラベリングシステム等である。センサデータ分類器は、個人的なアシスタントにおいて、又は、アクセスコントロールシステムにおいて使用されるものとするとよい。これは、例えば、顔認証等によってシステムへのアクセスを許可するためのものである。
【0035】
ニューラルネットワーク、例えばセンサデータ分類器は、これらの他のデバイスにおいて、典型的には、多くのケースにおいては、良好に動作するが、コーナーケースに対して、このような分類器をテストすることが重要である。例えば、自動運転車は、冬に記録されたセンサデータでテストされるものとするとよい。生成ネットワークの実施形態を用いて、センサデータは、夏に変換されるものとするとよく、夏のデータに対する自動運転車をテストするために使用されるものとするとよい。例えば、機械が、日中の間に記録されたセンサデータと共に使用されるものとするとよい。生成ネットワークを使用して、センサデータの時間が進められて、センサデータは夜間を反映する。例えば、機械の性能が低いことが判明しているセンサデータは、複数の異なる環境に変換されるものとするとよく、従って、延長されるものとするとよく、例えば異なる天気、季節、時刻、時節、他の対象物の数、可視性等に変換されるものとするとよい。例えば、それに対してニューラルネットワーク、例えば自動的な機械又は医療用システムにおいて使用されるような分類器の性能が悪いセンサデータを見つけるのは困難である。典型的には、コーナーケースが存在する。ある実施形態においては、センサデータ分類器、例えばイメージ分類器は、センサデータを提供することによって訓練され、例えば、それによるイメージ分類器の性能が低いセンサデータ又はそれにおいてイメージ分類器の性能が典型的に低いセンサデータが、提供されたセンサデータを、生成ネットワークを適用することによって、変換目標、有利には複数の変換目標を使用する実施形態におけるように変換する。従って、新たなセンサデータが得られ、有利には、複数の新たなセンサデータが得られて、センサデータ分類器を訓練するために、この新たなセンサデータが使用される。
【0036】
この方法のある実施形態は、コンピュータ実装方法としてコンピュータ上に実装されているものとするとよく、又は、専用ハードウェアにおいて若しくは両者の組合せにおいて実装されているものとするとよい。方法の実施形態に対する実行可能なコードが、コンピュータプログラム製品上に格納されているものとするとよい。コンピュータプログラム製品の例は、メモリデバイス、光学的な記憶デバイス、集積回路、サーバ、オンラインソフトウェア等を含む。有利には、コンピュータプログラム製品は、上記プログラム製品がコンピュータ上で実行された場合に、方法の実施形態を実行するためにコンピュータ可読媒体上に格納されている非一過性のプログラムコードを含む。
【0037】
ある実施形態においては、コンピュータプログラムは、コンピュータプログラムがコンピュータ上で実行されると、方法の実施形態のすべてのステップ又は一部のステップを実行するように構成させられているコンピュータプログラムコードを含む。有利には、コンピュータプログラムは、コンピュータ可読媒体上において具現化される。
【0038】
本発明の他の態様は、コンピュータプログラムをダウンロード可能にする方法を提供する。この態様は、コンピュータプログラムがＡｐｐｌｅ社のＡｐｐ Ｓｔｏｒｅ、Ｇｏｏｇｌｅ社のＰｌａｙ Ｓｔｏｒｅ又はマイクロソフト社のＷｉｎｄｏｗｓ Ｓｔｏｒｅにアップロードされるときに、及び、コンピュータプログラムが、この種のストアからのダウンロードに対して利用可能である場合に、使用される。
【0039】
本発明のさらなる詳細、態様及び実施形態は、図面を参照して、単なる例として説明される。図中の要素は、簡易さと明確さのために示され、必ずしも一定の縮尺で描かれているわけではない。図面において、既に記述された要素に対応する要素は、同一の参照番号を有し得る。
【図面の簡単な説明】
【0040】
【図1】生成ネットワークの実施形態の例を概略的に示している。
【図2a】訓練システムの実施形態の例を概略的に示している。
【図2b】生成システムの実施形態の例を概略的に示している。
【図2c】生成ネットワークの実施形態の例を概略的に示している。
【図2d】識別ネットワークの実施形態の例を概略的に示している。
【図2e】識別ネットワークの実施形態の例を概略的に示している。
【図3a】訓練セットの実施形態の例を概略的に示している。
【図3b】訓練セットの実施形態の例を概略的に示している。
【図3c】訓練セットの実施形態の例を概略的に示している。
【図4a】ニューラルネットワークの詳細の実施形態の例を概略的に示している。
【図4b】ニューロンの実施形態の例を概略的に示している。
【図5a】センサデータの実施形態の例を概略的に示している。
【図5b】センサデータの実施形態の例を概略的に示している。
【図5c】センサデータの実施形態の例を概略的に示している。
【図6a】測定されたセンサデータの実施形態の例を概略的に示している。
【図6b】生成されたセンサデータの実施形態の例を概略的に示している。
【図6c】変換目標の実施形態の例を概略的に示している。
【図6d】測定されたセンサデータの実施形態の例を概略的に示している。
【図6e】変換目標の実施形態の例を概略的に示している。
【図7a】訓練方法の実施形態の例を概略的に示している。
【図7b】生成方法の実施形態の例を概略的に示している。
【図8a】実施形態に即したコンピュータプログラムを含む書き込み可能な部分を有するコンピュータ可読媒体を概略的に示している。
【図8b】実施形態に即したプロセッサシステム概略的に表している。
【発明を実施するための形態】
【0041】
実施形態の詳細な説明
本発明は、多くの異なる形態の実施形態が可能であるが、本開示は、本発明の原理の例示として考慮されるべきであり、本発明を図示及び説明した特定の実施形態に限定することを意図したものではないという理解の下で、これらを図示し、ここで１つ以上の特定の実施形態を詳細に説明する。
本発明は、多くの異なる形態の実施形態が可能であるが、本開示は、本発明の原理の例示として考慮されるべきであり、本発明を図示及び説明した特定の実施形態に限定することを意図したものではないという理解の下で、これらを図示し、ここで１つ以上の特定の実施形態を詳細に説明する。
【0042】
以下においては、理解のために、動作中の実施形態の要素が記述される。しかし、各要素が、それらによって実行されるものとして記述されている機能を実行するように構成されることは明らかであろう。
【0043】
さらに、本発明は、実施形態に限定されるものではなく、本発明は、本明細書に記載されている又は相互に異なる従属請求項に列挙されているそれぞれ及びすべての新規の特徴又は特徴の組合せにある。
【0044】
ある実施形態においては、訓練システムは２つのネットワークを含む。即ち、競合ゲームを行う生成ネットワークＧ及び識別ネットワークＤである。Ｇのタスクは、与えられたサンプルｘを、所望のドメインｚＹに、これがこのドメインｚＹにおけるリアルなデータと同様の分布をたどるように、移すことである。Ｄのタスクは、ドメインｚＹにおけるリアルなサンプルｙを、他のドメインにおけるあらゆる他のサンプル又は生成されたサンプルと区別することである。
【0045】
ＤもＧも、ディープニューラルネットワークとしてモデル化可能である。ここで、Ｇは、入力として、ソースイメージｘとｚＹにおける符号化されたターゲットドメイン情報とを取得し、Ｄは、入力として、ターゲットイメージとその対応するドメインとを取得する。符号化されたドメイン情報は、Ｇ及びＤネットワークに入力として、イメージに沿って提供可能であり、及び／又は、中間層機能に、ドメイン情報を含む追加チャネルによるそれらの増強を介して提供可能である。訓練を構築する際に、新たなデータサンプルが、イメージ及びドメイン情報に基づいて構築されるものとするとよい。特にここで（ｘｄａｔａ，ｚＸ）及び（ｙｄａｔａ，ｚＹ）は、Ｔｒｕｅクラスを表し、対（ｘｇｅｎ，ｚＸ）、（ｙｇｅｎ，ｚＹ）は、（ｘｄａｔａ，ｚＹ）、（ｙｄａｔａ，ｚＸ）、（ｘｇｅｎ，ｚＹ）、（ｙｇｅｎ，ｚＸ）に沿って、Ｆａｋｅクラスを表す。後者の対、即ち、（ｘｄａｔａ，ｚＹ）、（ｙｄａｔａ，ｚＸ），（ｘｇｅｎ，ｚＹ）、（ｙｇｅｎ，ｚＸ）は、ターゲットイメージが正しいドメインにあるか否かを区別するために識別ネットワークを補助する。これらの対は、ドメイン損失において使用されるものとするとよい。この場合には、目的関数は、以下のようになる。
Ｇ＊＝ａｒｇ ｍｉｎＧ ｍａｘＤ Ｌ（Ｇ，Ｄ）＝ａｒｇ ｍｉｎＧ ｍａｘＤ ［ＬＧＡＮ（Ｇ，Ｄ，ｚＸ／Ｙ）＋λｄｏｍａｉｎＬｄｏｍａｉｎ（Ｇ，Ｄ，ｚＸ／Ｙ）＋λＣＹＣＬＣＹＣ（Ｇ，ｚＸ／Ｙ）＋Ｌｉｄｅｎｔｉｔｙ（Ｇ，ｚＸ／Ｙ）］
Ｇ＊＝ａｒｇ ｍｉｎＧ ｍａｘＤ Ｌ（Ｇ，Ｄ）＝ａｒｇ ｍｉｎＧ ｍａｘＤ ［ＬＧＡＮ（Ｇ，Ｄ，ｚＸ／Ｙ）＋λｄｏｍａｉｎＬｄｏｍａｉｎ（Ｇ，Ｄ，ｚＸ／Ｙ）＋λＣＹＣＬＣＹＣ（Ｇ，ｚＸ／Ｙ）＋Ｌｉｄｅｎｔｉｔｙ（Ｇ，ｚＸ／Ｙ）］
【0046】
実施形態は、その損失関数において、ドメイン損失及びサイクル一貫性損失の変形を利用するものとするとよい。実施形態は、生成ネットワークに対する恒等損失を使用するものとするとよく、従って、Ｇは、恒等写像を行うことができ、入力と出力との間のより良好な有効特性を保持することを学習する。
【0047】
上述した設定は、訓練のために、対にされたデータを必要としない。対にされたデータが利用可能なケースにおいては、再構成損失を、Ｇが、２つのドメインの間の直接的な写像を学習するために使用可能である。対にされたデータが自由に利用可能な例のうちの１つは時系列であり、これは、例えば、より良い性能のＧを訓練するのに使用可能なビデオデータである。
【0048】
実施形態は、文献において得られる正則化技術を使用して、標準的なＧＡＮ方式において訓練されるものとするとよい。推論の間、先行の研究とは異なり、１つの生成ネットワークが、ソースサンプル及びターゲットドメインを考慮して、複数のドメインの間の移転を実行することができる。
【0049】
興味深いことに、生成ドメインは、同時に２つの変換を適用するように訓練されるものとするとよい。例えば、センサデータは、２つのドメインの交差に変換されるものとするとよい。このようなケースにおいて変換を符号化することは、写像関数を使用して行われ得る。これは、例えば、変換目標の組合せを独自の値に写像する写像である。選択的に、これは、複数の変換チャネルを使用して行われるものとするとよい。後者の選択肢は、より有利である。
【0050】
有利な実施形態は、１つの生成ネットワークと、１つの識別ネットワークとを使用する。各ネットワークは、変換目標を付加的な入力として有している。しかし、カテゴリラベルに関して、これは、不必要である。例えば、変換目標を、訓練された付加的な入力として有している１つの生成ネットワークが、各変換目標に対する識別ネットワークと共に使用可能である。例えば、２つのドメインを伴って、このようなシステムは、３つのネットワークを有する。このような設定においては、識別ネットワークも利益を得る。なぜなら、生成ネットワークがより洗練されるからである。同様に、複数の生成ネットワークを使用することができ、それらのうちの１つは、各変換目標に対する生成ネットワークであり、また、付加的な入力として変換目標を有する単一の識別ネットワークである。
【0051】
ここに記載されたこれらの実施形態は、カテゴリラベルに対しても、定量化ラベルに対しても、１つの生成ネットワークが使用され、１つの識別ネットワークが使用されることを想定する。しかし、このようなカテゴリラベルに対する実施形態は、複数の識別ネットワークを伴う１つの生成ネットワーク、又は、１つの識別ネットワーク及び複数の生成ネットワークへ向けて変更可能であるということに留意されたい。これは、識別ネットワーク又は生成ネットワークをそれぞれ、例えばｃｙｃｌｅｇａｎの識別ネットワーク又は生成ネットワークに置き換えることによって行われる。
【0052】
ｃｙｃｌｅｇａｎと比較して、生成ネットワーク部分は、２つのネットワークを、付加的な入力として変換目標を有する１つのネットワークによって置換することによって改善される。同様に、２つのネットワークを、付加的な入力として変換目標を有する１つのネットワークによって置換することによって識別ネットワーク部分が改善される。さらに、生成ネットワーク部分及び識別ネットワーク部分の両方が、１つのネットワークによってそれぞれ置換される場合には、両方の部分が改善される。なぜなら、２つのネットワークが１つのネットワークによって置き換えられ、これが利点をもたらすだけでなく、他の部分も改善されるからである。
【0053】
有利な実施形態においては、生成ネットワーク及び識別ネットワークの両方が、入力として、変換目標を受け取るように構成されている。生成ネットワークは、変換目標に従って変換を実行するように構成されており、識別ネットワークは、センサデータが変換目標と一致するか否か、及び、変換目標がリアルなものであるか否かを検証するように構成されている。しかし、生成ネットワーク及び識別ネットワークのうちのいずれか１つがそのように構成されている場合に、依然として利点が得られる。損失関数は、ここで開示されているように、状況に対して適当に適用されて使用されるものとするとよい。
【0054】
特に、１つの生成ネットワークを伴う複数の識別ネットワークが使用されるものとするとよい。このケースにおいては、複数の識別ネットワークが特殊化され、例えばそれぞれ１つが、変換目標のうちの特定の１つと関連付けされる。これに対して、１つの生成ネットワークは、変換目標を入力として受け取る。
【0055】
特に興味深い変形においては、１つの識別ネットワークを伴う複数の生成ネットワークが使用されるものとするとよい。このケースにおいては、複数の生成ネットワークが特殊化され、例えばそれぞれ１つが、変換目標のうちの特定の１つと関連付けされるものとするとよい。これに対して、１つの識別ネットワークは、変換目標を入力として受け取る。この変形の利点は、改善された識別ネットワークによって、生成ネットワークが改善されることである。しかし、それにもかかわらず、付加的な入力を必要としないネットワークが得られる。ある実施形態においては、損失関数損失が、識別システムに対して導入される。これは、ドメイン情報を学習するように識別ネットワークを促進する。例えば、このシステムは損失関数において、項
ＥＰｄａｔａ［ｌｏｇ（１－Ｄ（ｘ，ｚＹ））］＋ＥＰｄａｔａ［ｌｏｇ（１－Ｄ（ｙ，ｚＸ））］を含むものとするとよい。
ＥＰｄａｔａ［ｌｏｇ（１－Ｄ（ｘ，ｚＹ））］＋ＥＰｄａｔａ［ｌｏｇ（１－Ｄ（ｙ，ｚＸ））］を含むものとするとよい。
【0056】
例えば、ある実施形態においては、測定されたセンサデータを生成されたセンサデータに変換するようにそれぞれ構成されている複数の別個の生成ニューラルネットワークを訓練するための訓練システムは、
測定されたセンサデータの訓練セットにアクセスするための通信インタフェースと、
識別ニューラルネットワークと共に複数の生成ネットワークを訓練するように構成されているプロセッサシステムと、
を含み、生成ネットワークは、測定されたセンサデータを生成されたセンサデータに変換するように最適化されており、識別ネットワークは、測定されたセンサデータと生成されたセンサデータとを区別するように最適化されており、
複数の生成ネットワークの各々は、各変換目標と関連付けされており、センサデータを入力として受け取るように構成されており、変換目標に従って、センサデータを変換するように構成されており、
識別ネットワークは、センサデータと、複数の変換目標から選択された変換目標とを入力として受け取るように構成されており、センサデータが、変換目標を満たす測定されたセンサデータであるか否かを特定するように構成されている。
測定されたセンサデータの訓練セットにアクセスするための通信インタフェースと、
識別ニューラルネットワークと共に複数の生成ネットワークを訓練するように構成されているプロセッサシステムと、
を含み、生成ネットワークは、測定されたセンサデータを生成されたセンサデータに変換するように最適化されており、識別ネットワークは、測定されたセンサデータと生成されたセンサデータとを区別するように最適化されており、
複数の生成ネットワークの各々は、各変換目標と関連付けされており、センサデータを入力として受け取るように構成されており、変換目標に従って、センサデータを変換するように構成されており、
識別ネットワークは、センサデータと、複数の変換目標から選択された変換目標とを入力として受け取るように構成されており、センサデータが、変換目標を満たす測定されたセンサデータであるか否かを特定するように構成されている。
【0057】
複数の生成ネットワーク又は複数の識別ネットワークを伴う実施形態は、１つの生成ネットワーク及び１つの識別ネットワークを伴う実施形態に対して提示された特徴に従って適用されるものとするとよい。
【0058】
図２ａは、概略的に、訓練システム２００の実施形態の例を示している。訓練システム２００は、測定されたセンサデータを生成されたセンサデータに変換するように構成されている生成ニューラルネットワークを訓練するように構成されている。例えば、システム２００は、生成ニューラルネットワークを適用するように構成されている生成ユニット２２０と、識別ニューラルネットワークを適用するように構成されている識別ユニット２３０とを含むものとするとよい。例えば、生成ユニット２２０及び／又は識別ユニット２３０は、各ニューラルネットワークのパラメータを格納するためのストレージを含むものとするとよい。例えば、生成ユニット２２０及び／又は識別ユニット２３０は、ネットワーク入力を受け取り、入力及びパラメータを、ニューラルネットワークタイプに従って適用し、ネットワーク結果を出力側に提供するように構成されているものとするとよい。
【0059】
システム２００は、オプティマイザ２１０を含む。オプティマイザ２１０は、識別ニューラルネットワークと共に生成ネットワークを訓練するように構成されている。生成ネットワークは、測定されたセンサデータを生成されたセンサデータに変換するように最適化されており、識別ネットワークは測定されたセンサデータと生成されたセンサデータとを区別するように最適化されている。２つのニューラルネットワークを訓練するために、オプティマイザ２１０は、例えば、訓練セットストレージ２４０内に格納されている訓練セットにアクセスする。訓練セットは、測定されたセンサデータを含む。センサデータは、イメージデータであるものとするとよく、例えばイメージであるものとするとよいが、代替的に又は付加的に、多様なデータを含むものとするとよく、これは、例えばレーダデータ、超音波データ等である。ある実施形態においては、センサデータは、センサの環境を表す２次元データを生成するように構成されているセンサから得られるものとするとよい。センサは、機械において使用されるものとするとよい。ある実施形態においては、センサ測定の少なくとも一部又はすべては、ドメイン情報及び／又はセンサ時間情報を有しており、これは、ドメインを示しており、ここでは、状況、例えば環境又は環境タイプ及び／又はセンサデータが得られた時間である。
【0060】
センサデータは、複数の結合したセンサデータであるものとするとよく、又は、複数の異なるセンサ方式であるものとするとよい。例えば、自動運転車の例においては、１つのセンサデータアイテムが、１つ又は複数のイメージ、レーダ、及び、他のセンサデータ、典型的には複数のセンサから記録された同時発生データを含むものとするとよい。例えば、システム２００は、訓練セットにアクセスするための通信インタフェースを含むものとするとよい。センサデータは、測定されるものとするとよく、例えばセンサから受け取られるものとするとよく、例えばリアル又は本物であるものとするとよく、又は、センサデータは、生成されるものとするとよく、例えば生成ユニットによって生成されるものとするとよく、例えばフェイクであるものとするとよい。
【0061】
生成ネットワークが十分に訓練されると、例えば収束の後、又は、訓練データを使い果たした後、又は、訓練繰り返し数のプリセットの後、生成ネットワークは、アプリケーションにおいて使用されるものとするとよく、この際に、典型的には、対応する識別ネットワークは伴わない。例えば、図２ｂは、概略的に、生成システム２５０の実施形態の例を示している。生成システム２５０は、生成ニューラルネットワークを適用するように構成されている。これは、例えば、システム２００によって訓練された生成ニューラルネットワーク、例えば生成ユニット２２０の生成ニューラルネットワークである。従って、生成システム２５０は、測定されたセンサデータを生成されたセンサデータに変換するように構成されている。システム２５０は、入力として、測定されたセンサデータを受け取るように構成されている入力ユニット２５２を含むものとするとよい。入力ユニット２５２はまた、測定されなかったが生成されたセンサデータを受け取るために使用されるものとするとよい。受け取った、入力されたセンサデータを変換した後、生成された出力センサデータは、出力２５４に出力されるものとするとよく、例えば伝達されるものとするとよい。例えば、システム２５０は、センサデータを受け取る及び／又は伝達するために通信インタフェースを含むものとするとよい。
【0062】
システム２５０は、訓練された生成ネットワークを、受け取った、入力された、測定されたセンサデータに適用するように構成されている生成システム２５０を含む。典型的には、システム２５０は、他のタスクを実施するように構成されている。例えば、システム２５０は、他のニューラルネットワーク、例えば分類器のための他の訓練データを増強するように構成されているものとするとよい。システム２５０及びシステム２００は、同等のシステムであるものとするとよく、又は、これらは同等のシステムでなくてもよい。システム２００及び／又は２５０は、１つのデバイスであるものとするとよい、又は、複数のデバイスを含むものとするとよい。
【0063】
システム２００及び／又は２５０は、相互に、又は、外部のストレージ又は入力デバイス又は出力デバイスと、コンピュータネットワークを介して通信するものとするとよい。コンピュータネットワークは、インタネット（ネットワーク間のネットワーク）、イントラネット、ＬＡＮ，ＷＬＡＮ等であるものとするとよい。コンピュータネットワークは、インタネット（ｔｈｅ Ｉｎｔｅｒｎｅｔ）であるものとするとよい。このシステムは、接続インタフェースを含み、これは、システム内において、又は、必要に応じてシステム外において通信するように構成されている。例えば、接続インタフェースは、コネクタ、例えば有線コネクタ、例えばＥｔｈｅｒｎｅｔコネクタ、光学的なコネクタ等又は無線コネクタ、例えばアンテナ、例えばＷｉ－Ｆｉ、４Ｇ又は５Ｇアンテナ等を含むものとするとよい。
【0064】
システム２００及び２５０の実行は、プロセッサシステム、例えば１つ又は複数のプロセッサ回路において行われ、その例がここに示されている。図２ａ及び図２ｂは、プロセッサシステムの機能ユニットであるものとするとよい機能ユニットを示している。例えば図２ａ及び図２ｂは、プロセッサシステムの可能な機能的な組織の見取り図として使用されるものとするとよい。プロセッサ回路は、これらの図においてユニットから別個に示されていない。例えば、図２ａ及び図２ｂに示されている機能ユニットは、完全に又は部分的に、コンピュータ命令により実装されるものとするとよい。このコンピュータ命令は、システム２００及び２５０に格納されており、例えばシステム２００及び２５０の電子メモリに格納されており、システム２００及び２５０のマイクロプロセッサによって実行可能である。混成の実施形態においては、機能ユニットは部分的にはハードウェアで、例えばコプロセッサ、例えばニューラルネットワークコプロセッサとして実装されており、部分的には、システム２００及び２５０において格納され、実行されるソフトウェアにより実装される。ネットワーク及び／又は訓練データのパラメータは、局部的にシステム２００及び２５０に格納されていてもよく、又は、クラウドストレージ内に格納されていてもよい。
【0065】
図２ａを参照されたい。興味深いことに、生成ネットワーク及び識別ネットワークは、入力として、センサデータと変換目標とを受け取るように構成されている。生成ネットワークに対しては、変換目標は、生成ネットワークが、入力されたセンサデータにおいて実行する必要がある変換を示す。識別ネットワークに対しては、変換目標は、入力されたセンサデータのタイプはどうあるべきかを示し、例えば識別ネットワークに対しては、変換目標は、入力されたセンサデータが、生成ネットワークが、その変換目標が与えられたときに、生成することを試みるタイプと同様のタイプであることを示している。
【0066】
変換目標は、複数の変換目標から選択されるものとするとよい。変換目標は、離散したドメイン、例えば制限された数であるものとするとよく、又は、これらは連続的であるものとするとよく、例えば大きい数であるものとするとよい。例えば、システム２００は、変換目標ストレージ２４２を含むものとするとよい。例えば、生成ネットワークは、入力されたセンサデータと変換目標とを受け取るように構成されているものとするとよく、さらに、変換目標に従って入力されたセンサデータを変換するように構成されているものとするとよい。識別ネットワークは、入力されたセンサデータと変換目標とを受け取るように構成されているものとするとよく、さらに、センサデータが、この変換目標を満たす、測定されたセンサデータであるか否かを特定するように構成されているものとするとよい。有利には、各目標に対して、反対の目標が存在する。しかし、そうでない場合でも、最も有利には、目標によってサイクルを定めることができ、有利にはサイクルは、各操作者に対して定められるものとするとよい。有利には、長さ２のサイクルが使用されるが、より長いサイクルも同様に使用されるものとするとよい。
【0067】
同様に、システム２５０も、変換目標を使用するものとするとよい。例えば、入力ユニット２５２は、入力として、測定されたセンサデータと変換目標とを受け取るように構成されているものとするとよい。システム２５０における生成ユニット２２０は、訓練された生成ネットワークを、受け取った、入力された、測定されたセンサデータ及び変換目標に適用するように構成されているものとするとよい。システム２５０における生成ネットワークは、入力として、センサデータと変換目標とを受け取るように構成されており、さらに、センサデータを変換目標に従って変換するように構成されている。
【0068】
変換目標を使用する代わりに、システムは、複数の生成ネットワーク及び／又は複数の識別ネットワークを使用するものとするとよいが、変換目標を使用することはよりシンプルであり、さらに、センサデータ変換、例えばＩ２Ｉ変換の実行において、より効果的である。１つの生成ネットワークを使用することによって、計算コストが低減され、適用性が改善される。特に、訓練されるネットワークのサイズが低減され得る。１つの識別ネットワークによって、識別ネットワーク、従って、生成ネットワークが改善される。
【0069】
識別ユニット２３０における識別ネットワークは、出力として、１つのビットを有するものとするとよく、これは、例えば、はい／いいえ、例えば、リアル／フェイクである。複数の出力も可能であり、これは、例えば、１つ又は複数のイメージがリアルであるか否かを示す別個のビット出力、及び、イメージが変換目標に適合するか否かを示す別個のビット出力であり、例えば１つ又は複数のイメージがリアルであるか否かを示す別個のビット出力、及び、１つ又は複数のイメージがリアルであり、かつ、変換目標に適合するか否かを示す別個のビット出力である。
【0070】
識別ネットワークは、センサ入力が生成されたものである場合、特に生成ネットワークによって生成されたものである場合に、フェイクを出力するように訓練されているものとするとよい。識別ネットワークは、センサ入力が生成されたものでなく、測定されたもの（リアル）であるが、変換目標に適合しない場合に、フェイクを出力するように訓練されているものとするとよい。識別ネットワークは、センサ入力が測定されたもの（リアル）であり、かつ、変換目標に適合する場合に、はい又はリアルを出力するように訓練されているものとするとよい。従って、識別ネットワークは、センサデータ及び変換目標が、訓練セットに従っていることを特定するように訓練されている。
【0071】
典型的には、識別ネットワークは、すべての３つの目的に対して共に訓練され、従って、識別ネットワークは、訓練対、例えば、測定されたセンサデータと対応する変換目標との対に対して、はい、を出力するが、あらゆる他のもの、例えば、生成されたデータとあらゆる変換目標との対や、測定されたデータと誤った変換目標との対に対して、フェイクを出力するように訓練されている。
【0072】
変換目標は、ネットワークに対して、多様な情報を供給するために使用可能である。第１の例においては、変換目標は、ドメインを含むものとするとよく、又は、ドメインであるものとするとよい。例えば、生成ネットワークに対しては、ドメインは、この変換が、示されたドメインに向けたものであることを示すものとするとよい。例えば、識別ネットワークに対しては、ドメインは、入力されたセンサデータがリアルであり、かつ、示されたドメインからのものであることを示すものとするとよい。
【0073】
例えば、複数の変換目標は、複数のドメインを含むものとするとよく、訓練データは、複数のドメインのうちの１つのドメインによってラベル付けされるものとするとよく、生成ネットワークはセンサデータをドメインに、変換目標に従って変換するように構成されており、識別ネットワークは、入力されたセンサデータが、変換目標に従ってドメインを満たすか否かを特定するように構成されている。図３ａは、概略的に、訓練セット３５１の実施形態の例を示している。図３ａに示されているのは、訓練セット３５１である。訓練セット３５１は、複数の測定されたセンサデータを含み、示されているのはセンサデータ３０１－３０３であり、さらに複数の対応するドメインを含み、示されているのはドメイン３１１－３１３である。例えば、センサデータはイメージであるものとするとよく、ドメインは、夏又は冬であるものとするとよい。例えば、センサデータはイメージであるものとするとよく、ドメインは夏、冬、秋又は春等であるものとするとよい。
【0074】
センサデータは、複数のドメインと関連付けられているものとするとよい。図３ｂは、概略的に、訓練セット３５２の実施形態の例を示している。訓練セット３５２は、複数の測定されたセンサデータを含み、示されているのはセンサデータ３０１－３０３である。各センサデータは、複数の対応するドメインと関連付けされているものとするとよい。示されているのはドメイン３１１－３１３及び３２１－３２３である。例えば、センサデータはイメージであるものとするとよく、ドメインは季節（夏／冬又は夏／冬／秋／春等）及び風景タイプ（例えば都市／農村）を示すものとするとよい。訓練セット３５２を使用して、生成ネットワーク及び／又は識別ネットワークは、１つのドメイン、例えばドメイン夏を受け取り、農村又は都市の冬のイメージを夏に変換するように、又は、複数のドメイン、例えば夏及び都市等に変換するように構成されているものとするとよい。同様のことが、識別ネットワークに当てはまる。ドメインは、ラベルとも称され得る。例えば、イメージは、これをドメイン夏と関連付けるラベル夏によってラベル付けされるものとするとよい。
【0075】
訓練データは、ラベル付けされていないデータによって拡張されるものとするとよい。ラベル付けされていないデータも使用することが可能であり、これによって、システムをサイクル一貫性にあるものとして、又は、識別ネットワークに対する付加的な訓練データとして訓練することができる。後者のケースにおいては、識別ネットワークの出力は、ドメインセンサデータにおいて、又は、ドメインセンサデータにおいてではなくても、２つの判定、即ち、リアルセンサデータ又はフェイクセンサデータを、出力するように変化させられるものとするとよい。
【0076】
例えば、付加的な一貫性訓練のために、ラベル付けされていないイメージが、サイクル一貫性に対して使用されるものとするとよい。例えば、ラベル付けされていないイメージは、ドメイン、さらに、サイクル化された、例えばラベル付けされていない－＞Ｘ－＞Ｙ－＞Ｘ’に写像されるものとするとよい。ここでは生成ネットワークは、３回適用され、ＸとＸ’との間の差は小さいはずである。
【0077】
例えば、ラベル「リアルイメージ（ｒｅａｌ＿ｉｍａｇｅ）」を使用することができ、これは、あらゆるイメージによって満たされる。識別ネットワークは次に、ラベル「リアルイメージ」を有するリアルなイメージと、生成されたイメージとを区別することを学習することができる。識別ネットワークに対する複数の出力は特に、このような実施形態において有益である。
【0078】
ある実施形態においては、生成ネットワーク及び識別ネットワークは、対にされていないデータのみを使用して訓練される。このケースにおいては、サイクル損失の最少化が、ネットワークの正しい収束を保証するために使用されるものとするとよい。他の実施形態においては、生成ネットワーク及び識別ネットワークは、対にされたデータにより訓練されるものとするとよい。このケースにおいては、センサデータの対は既知であり、これは、同様の環境を表すが、ドメインにおいてのみ異なる。例えば、同様の風景であるが、季節は異なる。生成ネットワーク及び識別ネットワークは、例えば、ビデオから得られたものとして又はタイムラプスイメージとして、対にされたデータによってのみ訓練されるものとするとよい。例えば、訓練セットは、第１の測定されたセンサデータ、変換目標及び第２の測定されたセンサデータの１つ又は複数のセットを含むものとするとよく、生成ネットワークは、第１の測定されたセンサデータを、変換目標に従って、第２の測定されたセンサデータに変換するように訓練されている。興味深いことに、２つのネットワークは、混合訓練データ又は対にされた訓練データ及び対にされていない訓練データにより訓練されるものとするとよい。第１のケースにおいては、サイクル損失が使用されるものとするとよく、第２のタイプに対しては、距離ノルムが、損失を計算するために使用されるものとするとよい。
【0079】
訓練データに対してビデオ又はタイムラプスイメージを使用することは、視覚的コンテンツの空間セマンティクスが、時間の経過と共にゆっくりと展開するという付加的な利点を有しており、これは、監督の付加的なソースとして使用可能である。例えば、付加的な正則化項が、生成損失において、最少化のために導入されるものとするとよく、ここでは、生成されたイメージ又は生成されたイメージの特徴が、時間的に近いほど互いに類似しているべきであることが強要される。ある実施形態においては、これは、数式
を使用するものとするとよい。ここで
は、あらゆるＬｐノルムであるものとするとよく、例えばＬ１であるものとするとよく、又は、あらゆる他の距離尺度であるものとするとよい。生成されたサンプルの間の距離は、特徴空間において計算されてもよく、これは、例えば、
であり、ここで、Ｇｌは、中間層特徴を示す。これによって、ビデオからの付加的な自由な情報を、訓練に対する監督として使用することができる。
【数1】
【数2】
【数3】
【0080】
異なるドメインにおける測定されたセンサデータが、同一のセンサ方式のものである必要がないということに留意されたい。例えば、センサ方式は、オーディオ及びビデオデータ等であるものとするとよい。これは、ビデオを考慮して、適当なオーディオを生成するために、又は、オーディオを考慮して、適当なビデオを生成するために使用されるものとするとよい。これは、同様に、訓練データ増強において使用可能である。例えば、センサ方式は、レーダ及びイメージデータ等であるものとするとよい。これは、レーダデータを考慮して、適当なイメージを生成するために、又は、イメージデータを考慮して、適当なレーダデータを生成するために使用されるものとするとよい。イメージ及び／又はレーダデータは、車両から得られるものとするとよく、自動運転車を訓練するために使用されるものとするとよい。対にされた訓練データを得るために異なるセンサ方式が共に、同時に測定されるものとするとよい。対にされていない訓練データを得るために、異なるセンサ方式が別個に測定されるものとするとよい。対にされたデータと対にされていないデータとが組み合わせられるものとするとよく、又は、組み合わせられないものとするとよい。
【0081】
図５ａは、概略的に、センサデータの実施形態の例を示している。図５ａに示されているのは、センサデータの２つのドメイン５１０及び５２０であり、例えば２つのドメインである。これら２つのドメインは、訓練データにおける対応するイメージによって定められるものとするとよい。例えば、２つのドメインは、夏又は冬それぞれにラベル付けされた、訓練データにおけるイメージによって定められているように、夏及び冬であるものとするとよい。例えば、２つのセンサデータ５１１及び５２１が、ドメイン５１０及び５２０においてそれぞれ示されている。
【0082】
図５ｂは、概略的に、センサデータの実施形態の例を示している。図５ｂに示されているのは、測定されたセンサデータ５１１である。測定されたセンサデータ５１１は、変換目標５２２を使用して、生成されたセンサデータ５２３に変換される。例えば、変換目標はドメインであり、変換目標５２２は夏であり、ここで、センサデータ５２３は、夏の設定に変換されるべきである。例えば、センサデータ５１１がセンサデータ、例えば、冬に得られた車両レーダデータ及び／又はイメージデータを表す場合には、生成されたセンサデータ５２３は、夏における車両レーダデータ及び／又はイメージデータを表すものとするとよい。このケースにおいて、変換目標５１２によって表される反対の変換が利用可能である。例えば、変換目標５１２はドメイン冬に対応しているものとするとよい。冬のデータ５１１に夏への変換を適用することによって、生成された夏のデータ５２３が得られる。冬への変換が適用される場合には、他の生成されたセンサデータ５１１’が得られる。実施形態は、いわゆるサイクル損失を使用して、ニューラルネットワークを最適化し、これに従って、センサデータ５１１’は、例えば距離ノルムに従って、センサデータ５１１に近づくはずである。
【0083】
以下においては、生成ネットワークＧ及び識別ネットワークＤが訓練され得る方法が、より数学的に記述される。Ｘ及びＹを２つのドメイン、例えばドメイン５１０及び５２０とする。目標は、対にされていないサンプル又は対にされたサンプルｘ∈Ｘ及びｙ∈Ｙを考慮して、これらの間Ｘ←→ＹにおいてＧを写像することを学習することである。データ分布は、
及び
として示される。ｙ’（及びｙ”）が変換されたサンプルを示すとすると、主要な要求は、ｙ’がドメインＹから引き出されたように見えるべきであり、また、サンプルｘの特徴が保持されるということである。
【数4】
【数5】
【0084】
ドメイン情報は、直接的に入力として生成ネットワークに提供されるものとするとよく、即ち、ｙ’＝Ｇ（ｘ，ｚＹ）であり、ここで、ｚＹは、ターゲットドメイン方向Ｙを符号化する。これは、背景変換を学習するための第２の生成ネットワークの使用の必要性を回避する。換言すれば、ｘ’＝Ｇ（ｙ，ｚＸ）を有し得る。生成ネットワーク及び識別ネットワークは、適当な損失関数を考慮して訓練されるものとするとよい。使用可能な潜在的な損失関数、例えば目的は、以下のとおりである。
Ｌ（Ｇ，Ｄ）＝ＬＧＡＮ（Ｇ，Ｄ，ｚＸ）＋ＬＧＡＮ（Ｇ，Ｄ，ｚＹ）＋λｄｏｍａｉｎＬｄｏｍａｉｎ（Ｇ，Ｄ，ｚＸ，ｚＹ）＋λＣＹＣＬＣＹＣ（Ｇ，ｚＸ，ｚＹ），ここで、
ＬＧＡＮ（Ｇ，Ｄ，ｚＹ）＝ＥＰｄａｔａ［ｌｏｇＤ（ｙ，ｚＹ）］＋ＥＰｄａｔａ［ｌｏｇ（１－Ｄ（Ｇ（ｘ，ｚＹ），ｚＹ））］，
ＬＧＡＮ（Ｇ，Ｄ，ｚＸ）＝ＥＰｄａｔａ［ｌｏｇＤ（ｘ，ｚＸ）］＋ＥＰｄａｔａ［ｌｏｇ（１－Ｄ（Ｇ（ｙ，ｚＸ），ｚＸ））］
である。
Ｌ（Ｇ，Ｄ）＝ＬＧＡＮ（Ｇ，Ｄ，ｚＸ）＋ＬＧＡＮ（Ｇ，Ｄ，ｚＹ）＋λｄｏｍａｉｎＬｄｏｍａｉｎ（Ｇ，Ｄ，ｚＸ，ｚＹ）＋λＣＹＣＬＣＹＣ（Ｇ，ｚＸ，ｚＹ），ここで、
ＬＧＡＮ（Ｇ，Ｄ，ｚＹ）＝ＥＰｄａｔａ［ｌｏｇＤ（ｙ，ｚＹ）］＋ＥＰｄａｔａ［ｌｏｇ（１－Ｄ（Ｇ（ｘ，ｚＹ），ｚＹ））］，
ＬＧＡＮ（Ｇ，Ｄ，ｚＸ）＝ＥＰｄａｔａ［ｌｏｇＤ（ｘ，ｚＸ）］＋ＥＰｄａｔａ［ｌｏｇ（１－Ｄ（Ｇ（ｙ，ｚＸ），ｚＸ））］
である。
【0085】
ここで、Ｅによって予想が示されている。一般的に、対数尤度目標を他のスケーリング関数、例えば最小二乗損失で置き換えることができる。ターゲットドメインにおいてサンプルが生成されることを認識するように、識別ネットワークＤが学習することを保証するために、付加的なドメイン損失が導入されるものとするとよく、これは、イメージのターゲットドメインが正しくないことをそれが見抜けなかった場合に、識別ネットワークＤにペナルティを課す。例えば、以下の式が使用されるものとするとよい。
Ｌｄｏｍａｉｎ（Ｇ，Ｄ，ｚＸ，ｚＹ）＝ＥＰｄａｔａ［ｌｏｇ（１－Ｄ（ｘ，ｚＹ））］＋ＥＰｄａｔａ［ｌｏｇ（１－Ｄ（ｙ，ｚＸ））］＋λｄｏｍａｉｎ＿ｇｅｎ（ＥＰｄａｔａ［ｌｏｇ（１－Ｄ（Ｇ（ｙ，ｚＸ），ｚＹ））］＋ＥＰｄａｔａ［ｌｏｇ（１－Ｄ（Ｇ（ｘ，ｚＹ），ｚＸ））］）
Ｌｄｏｍａｉｎ（Ｇ，Ｄ，ｚＸ，ｚＹ）＝ＥＰｄａｔａ［ｌｏｇ（１－Ｄ（ｘ，ｚＹ））］＋ＥＰｄａｔａ［ｌｏｇ（１－Ｄ（ｙ，ｚＸ））］＋λｄｏｍａｉｎ＿ｇｅｎ（ＥＰｄａｔａ［ｌｏｇ（１－Ｄ（Ｇ（ｙ，ｚＸ），ｚＹ））］＋ＥＰｄａｔａ［ｌｏｇ（１－Ｄ（Ｇ（ｘ，ｚＹ），ｚＸ））］）
【0086】
Ｌｄｏｍａｉｎ（Ｇ，Ｄ，ｚＸ，ｚＹ）損失は、特に有利である。なぜなら、この損失によって、識別ネットワークがドメイン情報を学習するからである。例えば、これは、生成されたサンプルが正しいドメイン内にない場合に、生成ネットワークにペナルティを課すことを学習する。この損失がない場合には、生成ネットワークにとって、正しいドメイン内にサンプルを生成するのはより困難になる。Ｌｄｏｍａｉｎ（Ｇ，Ｄ，ｚＸ，ｚＹ）の最初の部分はより重要である。なぜなら、これは、識別ネットワークに対してリアルなサンプルに関連しており、ある実施形態においては、パラメータλｄｏｍａｉｎ＿ｇｅｎがゼロに設定されるものとするとよい。
【0087】
ドメイン写像を学習するために、実施形態は、サイクル一貫性を利用するものとするとよい。例えば、
（ａ）順伝播サイクル一貫性損失：ｘ→Ｇ（ｘ，ｚＹ）＝ｙ’→Ｇ（Ｇ（ｘ，ｚＹ），ｚＸ）＝Ｇ（ｙ’，ｚＸ）≒ｘ”、及び、
（ｂ）逆伝播サイクル一貫性損失：ｙ→Ｇ（ｙ，ｚＸ）＝ｘ’→Ｇ（Ｇ（ｙ，ｚＸ），ｚＹ）＝Ｇ（ｘ’，ｚＹ）≒ｙ”であり、
これらの要求は、
として表されるものとするとよい。
（ａ）順伝播サイクル一貫性損失：ｘ→Ｇ（ｘ，ｚＹ）＝ｙ’→Ｇ（Ｇ（ｘ，ｚＹ），ｚＸ）＝Ｇ（ｙ’，ｚＸ）≒ｘ”、及び、
（ｂ）逆伝播サイクル一貫性損失：ｙ→Ｇ（ｙ，ｚＸ）＝ｘ’→Ｇ（Ｇ（ｙ，ｚＸ），ｚＹ）＝Ｇ（ｘ’，ｚＹ）≒ｙ”であり、
これらの要求は、
【数6】
【0088】
ここで、目的は、Ｇ＊＝ａｒｇ ｍｉｎＧ ｍａｘＤ Ｌ（Ｇ，Ｄ）を解くことである。恒等損失及び再構成損失が、Ｇを訓練するために加えられるものとするとよい。
【0089】
恒等損失は、
である。恒等損失によって、ターゲットドメインのリアルなサンプルが入力として提供された場合に、生成ネットワークは、恒等写像により近づくよう促進される。これは、入力と出力との間の色組成を保存するように写像を補助する。
【数7】
【0090】
再構成損失は、
であり、このケースにおいては、いくつかの対にされたサンプルが使用可能である。
【数8】
【0091】
図５ｃは、概略的に、センサデータの実施形態の例を示している。図５ａと比較して、ドメインの数が２を超えて増加させられている。図５ｃに示されているのは、４つのドメインである。図５ａのドメインに加えて、図５ｃは、センサデータドメイン５３０及び５４０を示しており、例えばドメイン５３０及び５４０を示している。ドメインにおけるセンサデータの例であるセンサデータ５３１、５４１も示されている。
【0092】
生成ネットワークは、センサデータを、適当な変換目標を提供することによって、ドメインの任意の１つに変換することができる。例えば、センサデータ５１１、５３１及び５４１からドメイン５２０に変換されるものとするとよい。２つよりも多くのドメインを有することによって、可能な変換の数が増加する。２つのドメインに対して、変換目標が存在するものとするとよく、即ち、複数の変換目標が存在する。２つよりも多くのドメインに対して、２つよりも多くの変換目標が、２つの複数の変換目標において存在するものとするとよい。
【0093】
サイクル損失を定めるために、変換によって有利には、サイクルが定められる。例えば、これは、あらゆるドメインからあらゆる他のドメインへの変換が行われ得るケースである。
【0094】
有利には、システムは、マルチドメイン変換に容易に拡張可能である。これは、複数のドメインへ、異なる方向において変換を実施する１つの生成ネットワークと、サンプルがリアルである又は生成されている、さらに正しいターゲットドメイン内にあるか否かを評価する１つの識別ネットワークとを伴う。例えば、式
Ｌ（Ｇ，Ｄ）＝Σｉ（Σｊ≠ｉ（ＬＧＡＮ（Ｇ，Ｄ，ｚｉ）＋λｄｏｍａｉｎＬｄｏｍａｉｎ（Ｇ，Ｄ，ｚｉ，ｚｊ）＋λＣＹＣＬＣＹＣ（Ｇ，ｚｉ，ｚｊ）＋λｉｄｅｎｔｉｔｙＬｉｄｅｎｔｉｔｙ（Ｇ，ｚｉ）＋λｒｅｃｏｎｓｔｒＬｒｅｃｏｎｓｔｒ（Ｇ，ｚｉ）））が使用されるものとするとよく、ここで、ｘｉは、ドメインｚｉ，ｉ＝１，．．．，Ｎからのサンプルであり，Ｎは、考察されたターゲットドメインの数であり、
であり、いくつかのケースにおいては、対にされたサンプルが使用可能である。
Ｌ（Ｇ，Ｄ）＝Σｉ（Σｊ≠ｉ（ＬＧＡＮ（Ｇ，Ｄ，ｚｉ）＋λｄｏｍａｉｎＬｄｏｍａｉｎ（Ｇ，Ｄ，ｚｉ，ｚｊ）＋λＣＹＣＬＣＹＣ（Ｇ，ｚｉ，ｚｊ）＋λｉｄｅｎｔｉｔｙＬｉｄｅｎｔｉｔｙ（Ｇ，ｚｉ）＋λｒｅｃｏｎｓｔｒＬｒｅｃｏｎｓｔｒ（Ｇ，ｚｉ）））が使用されるものとするとよく、ここで、ｘｉは、ドメインｚｉ，ｉ＝１，．．．，Ｎからのサンプルであり，Ｎは、考察されたターゲットドメインの数であり、
【数9】
【0095】
上述した損失関数は、長さ２のサイクルを含む。これは、有利であるが、厳密には必要ない。代替及び／又は延長が可能である。例えば、複数の変換目標が変換目標の少なくとも１つの集合を含む場合、サイクル損失を定めることができ、変換目標のこの集合に従った、測定されたセンサデータの連続した変換が、恒等変換を定める。例えば、図５ａの状況においては、サイクルは、ドメイン５１０からドメイン５２０へ向かい、戻ってくる。例えば、図５ｃの場合、サイクルは、ドメイン５１０からドメイン５２０、ドメイン５４０へ向かい、ドメイン５１０に戻ってくる。損失は、このサイクルに対する損失項を含むものとするとよく、例えばドメイン５２０及び５４０を介してドメイン５１０へ戻ってくることは、元来のイメージに近いはずである。
【0096】
図２ｃは、概略的に、例えばシステム２００又は２５０において使用されるような、生成ネットワーク２２０の実施形態の例を示している。生成ネットワーク２２０は、入力としてセンサデータ２２１及び変換目標２２２を受け取るように構成されており、かつ、出力としてセンサデータ２２３を生成するように構成されている。センサデータ２２３は、定めにより、生成されたセンサデータである。入力されたセンサデータ２２１は、測定されたセンサデータであるものとするとよく、例えば、訓練セットにおいて使用可能なようなセンサデータであるものとするとよく、又は、例えばサイクル損失を計算するための、生成されたセンサデータであるものとするとよい。
【0097】
図２ｄは、概略的に、例えばシステム２００において使用されるような、識別ネットワーク２３８の実施形態の例を示している。識別ネットワーク２３８は、入力としてセンサデータ２３１及び変換目標２３２を受け取る。識別ネットワーク２３８は、入力されたセンサデータ２３１がリアルであるか否か、例えば、測定されたものであるか否か、及び、これが変換目標２３２に対応しているか否かを識別するように訓練されているものとするとよい。例えば、変換目標がドメインである場合には、識別ネットワーク２３８はセンサデータ２３１がドメインの一部であることを検証するものとするとよい。識別ネットワーク出力２３３は、バイナリ出力であるものとするとよい。
【0098】
バイナリ出力を伴う識別ネットワークは良好に機能するが、識別ネットワークの出力は変化するものとするとよい。例えば、ある実施形態においては、識別ネットワークは、イメージ又は入力イメージのうちの１つが生成されたか否か、及び、イメージがドメインに従っているか否かを別個に特定する。他の選択肢も可能である。
【0099】
識別ネットワーク２３８は、特に、ラベル付けされた訓練データ、例えばドメイン間の変換に適している。
【0100】
図２ｅは、概略的に、例えばシステム２００において使用されるような、識別ネットワーク２３９の実施形態の例を示している。識別ネットワーク２３９は、入力としてセンサデータ２３４及びセンサデータ２３５及び変換目標２３６を受け取る。識別ネットワーク２３９は、入力されたセンサデータ２３４及びセンサデータ２３５の両方がリアルであるか否か、例えば、測定されたものである否か、及び、これらが変換目標２３６に対応しているか否か、即ち、センサデータ２３４から２３５への変化が、変換目標によって示されている変換に対応するか否かを識別するように訓練されているものとするとよい。
【0101】
例えば、変換目標が時間差である場合には、識別ネットワーク２３９は、センサデータ２３５がこの時間差だけセンサデータ２３４と異なることを検証するものとするとよい。例えば時間差は、＋４時間であるものとするとよく、識別ネットワークは、センサデータ２３５が、センサデータ２３４より＋４時間後に測定されたか否かを検証する。例えば時間差は、－４時間であるものとするとよく、識別ネットワークは、センサデータ２３５が、センサデータ２３４より４時間早く測定されたか否かを検証する。識別ネットワーク出力２３７は、バイナリ出力であるものとするとよい。
【0102】
識別ネットワーク２３９は、訓練データが大部分は対にされている場合に特に適している。特に、識別ネットワーク２３９は、ビデオからの静止画、又は、タイムラプスセンサデータによる訓練に良好に適している。例えば、自動運転車用に、朝に取得されたセンサデータの時間を経過させて、午後に取得されたように見せるものとするとよい。識別ネットワークは、イメージが訓練セットから取得されたか否かを、例えば両方がリアルであるか否かを学習するものとするとよく、さらにそれらの差が示されたサイズか否かを学習するものとするとよい。困難な状況が増して、多くの困難な状況になり得る。
【0103】
多くのタイプのニューラルネットワークが、システム２００及び２５０における使用に適用可能である。例えば図１は、概略的に、生成ニューラルネットワーク１００の実施形態の例を示している。ネットワーク１００は、３つの部分、即ち、符号器部分１２０、処理部分１３０及び復号器部分１４０を含む。
【0104】
符号器部分１２０は、入力センサデータ１５１を受け取るように構成されている。符号器部分１２０は、その出力時に、いわゆるボトルネックを伴うように構成されているものとするとよい。処理部分１３０は符号器部分１２０の出力を受け取り、復号器部分１４０は処理部分の出力を受け取るものとするとよい。変換目標１５２は、ネットワークの１つ又は複数の部分に適用されるものとするとよい。図１に示されているように、変換目標１５２は、符号器部分への入力１５３として、さらに、処理部分への入力１５４として提供されている。図１には示されていないが、変換目標を復号器部分１４０への入力として供給し得ることは、特に有利であることが判明している。
【0105】
ある実施形態においては、変換目標は、復号器部分１４０に対する入力であるものとするとよい。ある実施形態においては、変換目標は、復号器部分１４０及び符号器部分１２０に対する入力であるものとするとよい。
【0106】
ある実施形態においては、符号器部分１２０は、複数の畳み込み層を含み、処理部分１３０は、複数の残差層を含み、復号器部分は、複数の畳み込み層を含む。層の種々の既知のタイプの層が加えられるものとするとよい。例えば、ある実施形態においては、符号器部分１２０は５つの畳み込み層を含み、処理部分１３０は４つの残差層を含み、復号器部分は５つの畳み込み層を含む。ネットワークは、望まれているものよりも大きくても小さくてもよく、又は、格段に大きくてもよい。
【0107】
識別ネットワークは、複数の畳み込み層、例えば５つの層を含む。少なくとも１つ、しかし、有利には１つよりも多くの層が変換目標を受け取る。
【0108】
生成ネットワークは、既知のネットワークであるものとするとよく、例えば、生成的なネットワークの場合には、Ｊ．Ｊｏｈｎｓｏｎ等著「Ｐｅｒｃｅｐｔｕａｌ ｌｏｓｓｅｓ ｆｏｒ ｒｅａｌ－ｔｉｍｅ ｓｔｙｌｅ ｔｒａｎｓｆｅｒ ａｎｄ ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ」からのネットワークを適合させるものとするとよい。しかし、付加的な入力が、その層の１つ又は複数に提供され、これは、変換目標を含む。識別ネットワークに対しては、ＰａｔｃｈＧＡＮを適合させるものとするとよく、これは、重畳しているイメージパッチ、例えば７０×７０のパッチが、リアルであるか又はフェイクであるかを分類することを目的としている。ＰａｔｃｈＧＡＮも、付加的な入力を受け取るために適合させるべきである。適合させた生成ネットワーク及び識別ネットワークは、実施形態に即した損失関数によって訓練されるものとするとよい。
【0109】
あらゆる適当なソルバ（ｓｏｌｖｅｒ）が、ネットワークを訓練するために使用されるものとするとよい。例えば、１のバッチサイズを有するＡｄａｍ ｓｏｌｖｅｒが使用されるものとするとよい（Ｄ．Ｋｉｎｇｍａ及びＪ．Ｂａ．Ａｄａｍ著「Ａ ｍｅｔｈｏｄ ｆｏｒ ｓｔｏｃｈａｓｔｉｃ ｏｐｔｉｍｉｚａｔｉｏｎ」を参照）。
【0110】
図４ａは、概略的に、ニューラルネットワークの詳細の実施形態の例を示している。図４ａは、複数の畳み込みフィルタを示しており、示されているのは畳み込みフィルタ４６１－４６４であり、より多くのフィルタ又はより少ないフィルタが存在するものとするとよい。図４ａによって示されている実施形態は、生成ネットワーク及び／又は識別ネットワークの一部であるものとするとよい。図４ａは、例えばネットワークの第１の層に対する入力であるものとするとよく、この部分は後の層に対する入力であってもよく、後者のケースにおいては、例えば、先行するネットワーク層からの付加的な入力が存在するものとするとよい。
【0111】
畳み込みフィルタは、入力としてセンサデータを取得する。例えば、センサデータは、複数のチャネルを含むものとするとよい。示されているのは、センサデータチャネル４４１－４４３である。例えば、センサデータチャネル４４１－４４３は、センサデータの異なる態様を表すものとするとよい。例えば、センサデータチャネル４４１－４４３は、イメージの異なるカラーチャネル、例えばＲＧＢチャネルを表すものとするとよい。この場合には、他のチャネルが加えられる。即ち、変換目標チャネル４５１である。変換目標は、変換目標を符号化する。例えば、変換目標チャネル４５１は、完全に黒い面又は完全に白い面として、２つの変換目標を符号化するものとするとよい（例えば、完全に活性化される、又は、非活性化される）。複数の変換目標は、変換目標チャネル４５１に符号化されるものとするとよく、又は、複数の変換目標チャネルを加えることによって符号化されるものとするとよい。例えば、ある実施形態においては、各変換目標はチャネルに対応している。
【0112】
ある実施形態においては、複数の変換目標は、１つの変換チャネルによって符号化されるものとするとよい。例えば、変換チャネルにおける異なる値は、異なる変換目標に対応するものとするとよい。例えば、３つの変換目標、例えば３つのドメインがある場合には、ドメインに対する値は｛０，０．５，１｝であるものとするとよい。有利には、入力の範囲、例えばセンサデータ入力、例えばセンサデータチャネルは、インプットに対して使用される範囲と同等である。これは、複数の変換目標を符号化する。例えば、各変換目標は、離散値として符号化されるものとするとよい。ここでは、離散値の範囲は、センサデータ入力の範囲と同等である。例えば、最小値及び最大値は、センサデータ入力ｘ及び変換目標ｚに対して同等である。範囲を等しく保持することによって最適化が改善することが判明した。例えば、センサデータ入力及び変換目標入力に対する範囲は、同一の間隔、例えば［０；１］であるものとするとよい。ドメイン以外の変換目標が同様の値に符号化されるものとするとよい。例えば、時間差が、０と１との間の値として符号化されるものとするとよく、又は、０と１との間の複数の値として符号化されるものとするとよい。例えば、正の時間差が、負の時間差とは異なるチャネルにより符号化されるものとするとよい。
【0113】
畳み込みフィルタは、複数のチャネルによって定められた入力量をまたぐものとするとよい。例えば、畳み込みフィルタが、畳み込みフィルタの出力における畳み込みフィルタ値の１つを計算するために、各チャネルの一部を入力として受け取るものとするとよい。畳み込みフィルタのまたがりによって、複数の畳み込みフィルタ値が得られる。畳み込みフィルタの出力はさらに、ネットワークの他の部分によって処理されるものとするとよい。例えば、この例においては、プーリング層４７０が畳み込み層の後に挿入される。その後、全結合層４８０が置かれるものとするとよい。ネットワークアーキテクチャに対する多くの選択肢が可能であるので、これらは単に例示である。
【0114】
畳み込みフィルタ４６１－４６３は、生成ネットワーク及び／又は識別ネットワークの第１の層の一部であるものとするとよい。後の層は、入力イメージチャネル、変換目標チャネル及び先行する層から得られたチャネルも受け取るものとするとよい。例えば、変換目標チャネルを生成ネットワークの復号部分に供給することが有利であることが判明している。
【0115】
この実施形態においては、生成ネットワーク及び／又は識別ネットワークは、入力として、複数のチャネルを受け取るように構成されており、チャネルのうちの少なくとも１つは、センサデータを符号化し、チャネルのうちの少なくとも１つは、変換目標を符号化する。
【0116】
しかし、センサデータ入力が、必ずしも２次元情報である必要はなく、又は、２次元情報を超える付加的な情報を含むものとするとよいということに留意されたい。例えば、センサ入力は、可能であれば２次元タイプの情報、例えばオーディオに加えて、１次元のレーダデータを含むものとするとよい。センサデータは、３次元情報も含むものとするとよく、これは、例えば、３次元に対する深さ情報を伴う、ビデオ又はイメージ等である。センサデータは、一時的な成分、例えばオーディオ又はビデオ情報を伴うセンサデータを含むものとするとよい。
【0117】
さらに、変換目標はチャネルとして供給される必要はない。後者は便利であるが、変換目標が、例えばビットベクトルとして表現されてもよい。
【0118】
図４ｂは、概略的に、生成ネットワーク及び／又は識別ネットワークの実施形態の一部であり得るニューロンの実施形態の例を示している。図４ｂは、センサデータ入力４１０、例えばセンサデータ入力から得られたデータアイテム及び変換目標入力４２０を受け取るニューロン４３０を示している。例えば、センサデータ入力４１０は、複数のセンサデータアイテムを含むものとするとよく、示されているのはセンサデータアイテム４１１－４１２である。例えば、センサデータアイテムは、１つのビット、例えば０／１値であるものとするとよく、例えば、センサ入力の１つのビット、例えばピクセルの値、入力チャネルの値等を表している。例えば、変換目標入力４２０は、１つ又は複数の変換目標アイテムを含むものとするとよく、示されているのは、変換目標アイテム４２１である。例えば、変換目標アイテム４２１は、１つのビット、例えば０／１値であるものとするとよく、例えば変換目標の１つのビットを表している。例えば、変換目標アイテム４２１は、ドメイン又は時間差等を示すものとするとよい。
【0119】
ある実施形態においては、変換目標は、１対１で、ドメイン変換に対応する。例えば、センサデータはラベル付けされているものとするとよい。ドメインは、暗に、特定のラベルを有するセンサデータによって定められるものとするとよい。変換は、イメージの変換として定められるものとするとよく、これは、ドメインにおける他のイメージに従う。この例においては、ラベルは離散したデータであり、変換も離散している。しかし、センサデータは、選択的に又は付加的に、継続的なラベルによってラベル付けされるものとするとよい。継続的なラベルの例はタイムスタンプである。継続的なラベルのケースにおいては、依然としてドメイン及び変換を上述のように定めることができる。しかし、ある実施形態においては、変換目標を、２つのラベルの間の差として定めることができる。例えば、ラベルは、外部温度であるものとするとよい。変換目標は、センサデータを特定の外部温度に変換することであるものとするとよいが、選択的に、変換目標は、センサデータを、これが、若干高い又は低い温度に対応するように変換することであってもよい。
【0120】
例えば、訓練データは、タイムスタンプによってラベル付けされるものとするとよく、複数の変換目標は、複数の時間差を含むものとするとよい。生成ネットワークは、センサデータを、第１のタイムスタンプから、時間差に従って第２のタイムスタンプに変換するように構成されているものとするとよく、識別ネットワークは、入力として、第１のセンサデータ、第２のセンサデータ及び時間差を受け取り、第１のセンサデータ及び第２のセンサデータがこの時間差を満たすか否かを特定するように構成されているものとするとよい。
【0121】
図３ｃは、概略的に、訓練セット３５３の実施形態の例を示している。訓練セット３５３は、測定されたセンサデータを含み、示されているのは測定されたセンサデータ３３１－３３３である。測定されたセンサデータに関連しているのはタイムスタンプであり、示されているのは、タイムスタンプ３４１－３４３である。タイムスタンプは、時間方向３４０において増加する。ラベルを継続して使用して、生成ネットワークは、増加する又は低減するタイムスタンプに従って、センサデータを生成するように訓練されるものとするとよい。例えば、センサデータを考慮して、生成ネットワークによって、増加させられたタイムスタンプを有するイメージが生成されるものとするとよい。これは、例えば、時間差３６１の増加を伴う。興味深いことに、このようなケースにおいては、システムがどのイメージを生成すべきかが判っている。即ち、イメージ３３２である。換言すれば、訓練データ３５３は対にされた訓練データとして使用されるものとするとよい。識別ネットワークとして、識別ネットワーク２３９が使用されるものとするとよい。
【0122】
ある実施形態においては、センサデータ、例えばセンサデータ３３１－３３３は、対応するタイムスタンプでラベル付けされたタイムラプスビデオからのイメージを含むものとするとよい。
【0123】
例えば、システム２５０における生成ネットワークは、現在の状態に合わせて、あり得る過去又は未来の場面の幻覚のために使用されるものとするとよい。生成ネットワークＧは、訓練データを埋めるために使用されるものとするとよい。例えば、センサデータのシーケンスにおける欠落しているイメージが、近いイメージの時間を経過させることによって埋められるものとするとよい。ここで、生成ネットワークＧの仕事は、現在のサンプルｘｉ及び予想に対する所望の時間状態Δｔｉを考慮して、あり得る未来（又は過去）の状態を合成することであり、識別ネットワークＤは、サンプルがリアルであるか又は生成されたものであるか（ｘｉ＋Δｔｉ又はｘｉ＋Δｔｉ’）否かを、さらに、与えられた２つのサンプルｘｉ及びｘｉ＋Δｔｉ（又はｘｉ＋Δｔｉ’）が時間的距離Δｔｉを有しているか否かを評価する必要がある。
Ｌ（Ｇ，Ｄ）＝Σｉ（ＬＧＡＮ（Ｇ，Ｄ，Δｔｉ）＋λｄｏｍａｉｎＬｄｏｍａｉｎ（Ｇ，Ｄ，Δｔｉ）＋λＣＹＣＬＣＹＣ（Ｇ，Δｔｉ）＋λｉｄｅｎｔｉｔｙＬｉｄｅｎｔｉｔｙ（Ｇ，Δｔｉ）＋λｒｅｃｏｎｓｔｒＬｒｅｃｏｎｓｔｒ（Ｇ，Δｔｉ）），ここで、ｘｉ及びｘｉ＋Δｔｉは、時間的距離Δｔｉ，ｉ＝１，．．．，Ｎを有する同一のビデオ内の２つのフレームであり、Ｎは、ビデオシーケンスにおけるフレームの数であり、
ＬＧＡＮ（Ｇ，Ｄ，Δｔｉ）＝ＥＰｄａｔａ［ｌｏｇＤ（ｘｉ，ｘｉ＋Δｔｉ，Δｔｉ）］＋ＥＰｄａｔａ［ｌｏｇ（１－Ｄ（ｘｉ，Ｇ（ｘｉ，Δｔｉ），Δｔｉ））］；
Ｌｄｏｍａｉｎ（Ｇ，Ｄ，Δｔｉ，Δｔｊ）＝ＥＰｄａｔａ［ｌｏｇ（１－Ｄ（ｘｉ，ｘｉ＋Δｔｉ，Δｔｉ））］＋λｄｏｍａｉｎ＿ｇｅｎＥＰｄａｔａ［ｌｏｇ（１－Ｄ（ｘｉ，Ｇ（ｘｉ，Δｔｉ），Δｔｉ））］；
であり、サンプルは、時系列におけるデフォルトによって対にされており、
であり、ここで、恒等損失は、Δｔｉ＝０の場合の再構成の特別なケースである。
Ｌ（Ｇ，Ｄ）＝Σｉ（ＬＧＡＮ（Ｇ，Ｄ，Δｔｉ）＋λｄｏｍａｉｎＬｄｏｍａｉｎ（Ｇ，Ｄ，Δｔｉ）＋λＣＹＣＬＣＹＣ（Ｇ，Δｔｉ）＋λｉｄｅｎｔｉｔｙＬｉｄｅｎｔｉｔｙ（Ｇ，Δｔｉ）＋λｒｅｃｏｎｓｔｒＬｒｅｃｏｎｓｔｒ（Ｇ，Δｔｉ）），ここで、ｘｉ及びｘｉ＋Δｔｉは、時間的距離Δｔｉ，ｉ＝１，．．．，Ｎを有する同一のビデオ内の２つのフレームであり、Ｎは、ビデオシーケンスにおけるフレームの数であり、
ＬＧＡＮ（Ｇ，Ｄ，Δｔｉ）＝ＥＰｄａｔａ［ｌｏｇＤ（ｘｉ，ｘｉ＋Δｔｉ，Δｔｉ）］＋ＥＰｄａｔａ［ｌｏｇ（１－Ｄ（ｘｉ，Ｇ（ｘｉ，Δｔｉ），Δｔｉ））］；
Ｌｄｏｍａｉｎ（Ｇ，Ｄ，Δｔｉ，Δｔｊ）＝ＥＰｄａｔａ［ｌｏｇ（１－Ｄ（ｘｉ，ｘｉ＋Δｔｉ，Δｔｉ））］＋λｄｏｍａｉｎ＿ｇｅｎＥＰｄａｔａ［ｌｏｇ（１－Ｄ（ｘｉ，Ｇ（ｘｉ，Δｔｉ），Δｔｉ））］；
【数10】
【数11】
【0124】
システム２００及び２５０の種々の実施形態においては、通信インタフェースが、種々の選択肢から選択されるものとするとよい。例えば、インタフェースは、ローカルエリアネットワーク又はワイドエリアネットワークに対するネットワークインタフェースであるものとするとよく、例えばインタネット（ｔｈｅ Ｉｎｔｅｒｎｅｔ）、内部又は外部データストレージに対するストレージインタフェース、キーボード、アプリケーションインタフェース（ＡＰＩ）等であるものとするとよい。
【0125】
システム２００及び２５０は、ユーザインタフェースを有するものとするとよい。これは、よく知られている要素、例えば１つ又は複数のボタン、キーボード、ディスプレイ、タッチスクリーン等を含むものとするとよい。ユーザインタフェースは、生成ネットワーク及び識別ネットワークを構成するためのユーザ相互作用を取り持つため、訓練セットによりネットワークを訓練するために、又は、新たなセンサデータに生成ネットワークを適用するために構成されているものとするとよい。
【0126】
ストレージは、電子メモリ、例えばフラッシュメモリ又は磁気メモリ、例えばハードディスク等として実装されているものとするとよい。ストレージは、共にストレージ１１０を構築する、複数の離散したメモリを含むものとするとよい。ストレージは、一時的なメモリ、例えばＲＡＭを含むものとするとよい。ストレージは、クラウドストレージであるものとするとよい。
【0127】
システム２００は、１つのデバイスに実装されているものとするとよい。システム２５０は、１つのデバイスに実装されているものとするとよい。典型的には、システム２００及び２５０はそれぞれ、マイクロプロセッサを含み、これは、システムに格納されている適当なソフトウェアを実行する。例えば、ソフトウェアがダウンロードされているものとするとよく、及び／又は、対応するメモリ内に格納されているものとするとよい。これは、例えば、ＲＡＭ等の揮発性メモリ又はフラッシュ等の不揮発性メモリである。選択的に、システムが、完全に又は部分的に、プログラマブルロジックに実装されているものとするとよい。これは、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）である。システムは、全体又は部分的に、いわゆる特定用途向け集積回路（ＡＳＩＣ）、例えば集積回路（ＩＣ）として、その特定の使用に対してカスタマイズされているものとするとよい。例えば、回路は、ＣＭＯＳに実装されているものとするとよい。これは、例えば、Ｖｅｒｉｌｏｇ，ＶＨＤＬ等のハードウェア記述言語を使用する。特に、システム２００及び２５０は、回路を、ニューラルネットワークの評価のために含むものとするとよい。
【0128】
プロセッサ回路は、分散されて、例えば複数のサブプロセッサ回路として実装されているものとするとよい。ストレージは、複数の分散されたサブストレージにわたって分散されているものとするとよい。メモリの一部又はすべては、電子メモリ、磁気メモリ等であるものとするとよい。例えば、ストレージは、揮発性の部分と不揮発性の部分とを有するものとするとよい。ストレージの一部は、読み出し専用である。
【0129】
特に有利な適用は、他のニューラルネットワークに対する訓練データの増強である。これは、例えば、生成ネットワーク及び識別ネットワークとは異なるニューラルネットワークである。例えば、これは、自動運転車を訓練又はテストするために使用されるデータに適用されるものとするとよい。例えば、システム２００は、車両のセンサデータを含むセンサデータで訓練されているものとするとよい。これは、例えば、イメージデータ、レーダデータ等である。例えば、センサデータは、例えば、車両に含まれている１つ又は複数のセンサによって測定されるように、車両付近を表すものとするとよい。
【0130】
変換目標は、異なる時刻及び／又は時節に従ってセンサデータを生成するために時間差を含むものとするとよい。例えば、朝のテスト走行の間に得られたセンサデータの時間を人工的に経過させて、午後に得られたセンサデータであるように見せること又はその逆が行われるものとするとよい。
【0131】
変換目標は、車両の環境のタイプを含むものとするとよい。例えば、農村の設定のセンサデータが、都市の設定等から得られるものとするとよい。
【0132】
変換目標は、センサデータのタイプを含むものとするとよい。例えば、イメージデータは、レーダデータに変換されるものとするとよく、又は、その逆が行われるものとするとよい。
【0133】
変換目標は、車の色又はモデルを含むものとするとよい。例えば、赤色の車が青色の車に変換されるものとするとよく、又は、ＳＵＶがハッチバック等に変換されるものとするとよい。
【0134】
訓練システムが自動運転車の訓練システムである場合、生成された午後のデータが、朝のデータに対して付加的に使用されることがある。訓練されたシステムは、例えば対象物の分類器であるものとするとよい。従って、新たなネットワークは、朝のサイクリスト、午後のサイクリスト、同様に異なる風景におけるサイクリストを認める。増強されたデータは、実験所において自動運転車をテストするためにも使用されるものとするとよい。多くのタイプの変換が可能であり、従って、大量の訓練データでさえも、より大量の訓練データに拡張され得る。このような変換は、あらゆるセンサデータに適用可能であり、車両のセンサデータだけに適用可能なのではない。センサデータが、デバイスの他のタイプのものであるものとするとよい。これは、例えばロボットアーム、電動工具等である。
【0135】
合成データセットが得られるものとするとよく、これは、例えば、シミュレーションエンジンであり、これは、所望のターゲットドメインにおける任意の量の訓練データを生成する。これは、いわゆる、コーナー（困難な）ケースの合成を含み得る。即ち、可能性は低いが、重要な状況である。これに対しては、そうでなければ、十分な量の訓練データを得るのが困難である。自動運転の適用領域において、これは、危険な状況を含み得る。これは、例えば、もう少しで起こりかけた事故、又は、困難な天気若しくは光の状況である。実施形態は特に、記録された訓練データにおいて完全な多様性をモデル化するのに適している。これは、例えばセンサの特性、天気の状況等を含み得る。ＧＡＮを、アプリケーションに対する特定の訓練データを生成するために使用することもできる。これは、例えば対象物検出等であり、ここでは、極端にポジティブなケース又は極端にネガティブなケースが、既に良く動作している検出器をさらに改善するために必要とされる。ポジティブなケース及びネガティブなケースは、２つの異なるドメインとしてモデル化されるものとするとよい。
【0136】
ＧＡＮは、記録されたデータを改良するために使用可能であり、これは、記録中に欠落していた、予期されるデータ分布に対して特徴的な特徴を追加することによって行われる。これは、インペインティング等のアプリケーションを含み、これは、例えば、センサの故障によるイメージ内の欠落領域を埋めること、遮蔽解除等である。これは、例えば、重要な対象物の一部が他の対象物によって隠されており、分類を困難にする場合であり、例えば、車両の後ろに隠された歩行者である。これは、手書きの図又はラベルマップをリアルなイメージに変換するために、例えば特定のコーナーケースを構成するためにも使用可能である。ＧＡＮは、低い解像度を有するセンサによって記録されたイメージの解像度を高めるために使用されてもよい。
【0137】
上述した適用は、イメージだけに制限されておらず、イメージに類似するデータ、例えば音のスペクトログラム、レーダスペクトル、超音波イメージ等にも適用可能であり、従って、他のドメイン、例えば音声合成のために合成データを生成するために使用可能である。実施形態を他のセンサ入力又は抽象的な特徴により調整することが可能であり、従って、多感覚融合に対して使用することができ、同様に、例えば異なるデータ方式／センサ間の変換を行うために使用することができる。
【0138】
提案されたフレームワークは、未来の状態の予測のためにも使用可能である。これは、リアルな世界における正常な動作への自律エージェントにとって特に重要であり、これは、例えば、自動運転のために歩行者及び車両の動きを予測することである。不確実な状況下で、ある場面状態を、有り得る未来の状態に写像することを伴う、未来の場面状態を予測する能力は、自律エージェントに対する重要な能力である。
【0139】
実施形態の他の適用は、遮蔽解除である。例えば、ある実施形態においては、複数の変換目標は、センサデータにおいて識別された対象物を示す情報を含み、さらにこの対象物が遮蔽されるべきか否か又は遮蔽解除されるべきか否かを示す。図６ａは概略的に、測定されたセンサデータの実施形態の例を示している。図６ａは、例えば車によって遮蔽されている、隠されている人を示している。図６ｂは、同様の場面であるが、ここでは、人が車の後ろから車の前に移されている。人はもはや、車によって遮蔽されておらず、例えば人は遮蔽解除されている。遮蔽解除操作は、生成ネットワークのある実施形態によって実行されるものとするとよい。例えば、イメージ６ａ及び６ｂは、センサデータとして取得されるものとするとよい。変換目標には、遮蔽するか又は遮蔽解除するかが含まれている。例えば、変換目標は、図６ｃに示されているようであるものとするとよい。このケースにおいては、黒線は、人が遮蔽解除されるべきことを示している。例えば、図６ａ及び図６ｃは、生成イメージに対する入力として提供されるものとするとよい。これは、応答して、イメージ６ｂを生成するように訓練されるものとするとよい。生成ネットワークは、反対の変換を実行するように構成されるものとするとよい。例えば、図６ｃに類似したイメージが、ネットワークが人を遮蔽することであることを示すために、例えば異なるチャネルで使用されるものとするとよい。この目標及びイメージ６ｂを考慮して、６ａのイメージが生成されるものとするとよい。この実施形態は、極めて多い数の変換目標が可能な実施形態の例も提供する。
【0140】
このケースにおける識別ネットワークは、リアルなイメージと、生成されたイメージとを区別するものとするとよく、黒線によって示されている人が実際に遮蔽されている又は遮蔽解除されていることを検証するものとするとよい。
【0141】
生成ネットワーク及び識別ネットワークは、対にされていないデータによって訓練されているものとするとよい。例えば、図６ｄは、概略的に、測定されたセンサデータの実施形態の例を示しており、図６ｅは、概略的に、変換目標の実施形態の例を示している。図６ｄのイメージ及び図６ｅの変換目標は、遮蔽解除されている人のクラスにおける例として使用されるものとするとよい。遮蔽されている人を伴う同様の状況が、遮蔽されている人のクラスを定めるために使用されるものとするとよい。変換目標は、自動的に生成されるものとするとよい。遮蔽されている人又は遮蔽解除されている人の自動的な識別は、それらの自動的な遮蔽又は遮蔽解除より格段に容易である。例えば、前者は、標準的な対象物分類器を使用して得られるものとするとよい。
【0142】
図７ａは、概略的に、訓練方法７００の実施形態の例を示している。これは、測定されたセンサデータを生成されたセンサデータへ変換するように構成されている生成ニューラルネットワークを訓練するために構成されている。方法７００は、
測定されたセンサデータの訓練セットにアクセスすること（７１０）と、
識別ニューラルネットワークと共に生成ネットワークを訓練すること（７２０）と、
を含み、訓練することは、
測定されたセンサデータを生成されたセンサデータへ変換するように生成ネットワークを最適化すること（７３０）と、
測定されたセンサデータと生成されたセンサデータとを区別するように、識別ネットワークを最適化すること（７４０）と、
を含み、訓練することは、
入力として、センサデータと、複数の変換目標から選択された変換目標とを得ること（７５０）と、
変換目標に従って生成ネットワークを使用してセンサデータを変換すること（７６０）と、
入力として、センサデータと、複数の変換目標から選択された変換目標とを得ること（７７０）と、
センサデータが、変換目標を満たす測定されたセンサデータであるか否かを、識別ネットワークを使用して特定すること（７８０）と、
を含む。
測定されたセンサデータの訓練セットにアクセスすること（７１０）と、
識別ニューラルネットワークと共に生成ネットワークを訓練すること（７２０）と、
を含み、訓練することは、
測定されたセンサデータを生成されたセンサデータへ変換するように生成ネットワークを最適化すること（７３０）と、
測定されたセンサデータと生成されたセンサデータとを区別するように、識別ネットワークを最適化すること（７４０）と、
を含み、訓練することは、
入力として、センサデータと、複数の変換目標から選択された変換目標とを得ること（７５０）と、
変換目標に従って生成ネットワークを使用してセンサデータを変換すること（７６０）と、
入力として、センサデータと、複数の変換目標から選択された変換目標とを得ること（７７０）と、
センサデータが、変換目標を満たす測定されたセンサデータであるか否かを、識別ネットワークを使用して特定すること（７８０）と、
を含む。
【0143】
図７ｂは、概略的に、測定されたセンサデータを、生成されたセンサデータに変換するように構成されている生成方法８００の実施形態の例を示している。方法８００は、
入力として、測定されたセンサデータと変換目標とを受け取ること（８１０）と、
訓練された生成ネットワークを、受け取った、入力された、測定されたセンサデータ及び変換目標に適用すること（８２０）と、
を含み、生成ネットワークは、実施形態に従って訓練されている。
入力として、測定されたセンサデータと変換目標とを受け取ること（８１０）と、
訓練された生成ネットワークを、受け取った、入力された、測定されたセンサデータ及び変換目標に適用すること（８２０）と、
を含み、生成ネットワークは、実施形態に従って訓練されている。
【0144】
当業者にとって自明であるように、この方法を実施する多くの種々の方法が考えられる。例えば、ステップは、示された順番により実施可能だが、ステップの順番は変更されてもよく、又は、いくつかのステップが並行して実施されてもよい。さらに、ステップとステップとの間に他のステップが挿入されているものとしてもよい。挿入されたステップは、ここに記載されたような方法の改良を提示するものとするとよく、又は、この方法に関連していないものとしてもよい。例えば、訓練の多くが、少なくとも部分的に、並行して実行されるものとするとよい。さらに、所与のステップが、次のステップが始まる前に完全に終了していなくてもよい。
【0145】
この方法の実施形態は、ソフトウェアを用いて実行されるものとするとよい。これは、プロセッサシステムに方法７００又は８００を実施させる命令を含む。ソフトウェアは、システムの特定のサブエンティティによって取得されたこれらのステップだけを含むものとするとよい。ソフトウェアは、適当な記録媒体内に格納されているものとするとよい。これは、例えば、ハードディスク、フロッピー、メモリ、光ディスク等である。ソフトウェアは、有線で、又は、無線で、又は、データネットワーク、例えばインタネット（ｔｈｅ Ｉｎｔｅｒｎｅｔ）を使用して、信号として送信されるものとするとよい。ソフトウェアは、ダウンロード及び／又はサーバ上での遠隔利用に対して使用可能にされるものとするとよい。方法の実施形態は、この方法を実施するために、プログラマブルロジック、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を構成するように構成されているビットストリームを使用して実行されるものとするとよい。
【0146】
本発明がコンピュータプログラム、特に本発明の実現に適合されているキャリア上又はキャリア内のコンピュータプログラムにも及ぶことは、明らかである。このプログラムは、ソースコード、オブジェクトコード、コード中間ソース、及び、オブジェクトコードの形態、例えば部分的にコンパイルされた形態、又は、この方法の実施形態の実装における使用に適しているあらゆる他の形態であるものとするとよい。コンピュータプログラム製品に関連する実施形態は、上述した方法のうちの少なくとも１つの方法の各処理ステップに対応するコンピュータ実行可能な命令を含む。このような命令は、サブルーチンに再分されているものとするとよく、及び／又は、１つ又は複数のファイルに格納されているものとするとよい。このファイルは、静的に又は動的にリンクされるものとするとよい。コンピュータプログラム製品に関連する他の実施形態は、上述したシステム及び／又は製品のうちの少なくとも１つのシステム及び／又は製品の各手段に対応しているコンピュータ実行可能な命令を含む。
【0147】
図８ａは、書き込み可能な部分１０１０を有しているコンピュータ可読媒体１０００を示している。これは、コンピュータプログラム１０２０を含み、コンピュータプログラム１０２０は実施形態に従って、プロセッサシステムに訓練方法又は生成方法を実施させる命令を含む。コンピュータプログラム１０２０は、物理的なマークとして、又は、コンピュータ可読媒体１０００の磁化手段によって、コンピュータ可読媒体１０００上に具現化されるものとするとよい。しかし、あらゆる他の適当な実施形態も、考えられる。さらに、コンピュータ可読媒体１０００は、ここでは光ディスクとして示されているが、コンピュータ可読媒体１０００があらゆる適当なコンピュータ可読媒体であり得るということは、明らかである。これは、例えば、ハードディスク、ソリッドステートメモリ、フラッシュメモリ等である。さらに、コンピュータ可読媒体１０００が記録不可であっても、記録可能であってもよい。コンピュータプログラム１０２０は、プロセッサシステムに、上述した訓練方法又は生成方法を実施させる命令を含む。
【0148】
図８ｂは、訓練システム及び／又は生成システムの実施形態に即して、プロセッサシステム１１４０を概略的に表している。プロセッサシステムは、１つ又は複数の集積回路１１１０を含む。１つ又は複数の集積回路１１１０のアーキテクチャは、概略的に、図８ｂに示されている。回路１１１０は、処理ユニット１１２０、例えばＣＰＵを含み、これは、コンピュータプログラムコンポーネントに、実施形態及び／又はそのモジュール又はユニットの実装に従って方法を実施させる。回路１１１０は、プログラミングコード、データ等を格納するためのメモリ１１２２を含む。メモリ１１２２の一部は、読み出し専用である。回路１１１０は、通信要素１１２６を含むものとするとよい。これは、例えば、アンテナ、コネクタ、又は、その両方等である。回路１１１０は、この方法において定められた処理の一部又はすべてを実行するための専用の集積回路１１２４を含むものとするとよい。プロセッサ１１２０、メモリ１１２２、専用ＩＣ１１２４及び通信要素１１２６は、相互に、インタコネクト１１３０、例えばバスを介して接続されているものとするとよい。プロセッサシステム１１４０は、アンテナ及び／又はコネクタをそれぞれ使用して、接触通信及び／又は非接触通信用に構成されているものとするとよい。
【0149】
例えば、ある実施形態においては、プロセッサシステム１１４０、例えば訓練システム及び／又は生成システムの実施形態は、プロセッサ回路及びメモリ回路を含むものとするとよく、プロセッサは、メモリ回路内に格納されているソフトウェアを実行するように構成されている。例えば、プロセッサ回路は、Ｉｎｔｅｌ Ｃｏｒｅ ｉ７ ｐｒｏｃｅｓｓｏｒ，ＡＲＭ Ｃｏｒｔｅｘ－Ｒ８等であるものとするとよい。ある実施形態においては、プロセッサ回路は、ＡＲＭ Ｃｏｒｔｅｘ Ｍ０であるものとするとよい。メモリ回路は、ＲＯＭ回路又は不揮発性メモリ、例えばフラッシュメモリであるものとするとよい。
【0150】
上述した実施形態は、本発明を限定するものではなく、例示するものであり、当業者は、多くの選択的な実施形態を設計し得るということに留意されたい。
【0151】
特許請求の範囲においては、括弧内のいかなる参照記号も、特許請求の範囲を制限するものとして解釈されるべきではない。動詞「含む（ｃｏｍｐｒｉｓｅ）」及びその活用は、特許請求の範囲において述べられているもの以外の要素又はステップの存在を排除するものではない。要素に先行する冠詞「ａ」又は「ａｎ」は、この種の要素が複数個存在することを排除するものではない。「のうちの少なくとも１つ」等の表現は、要素のリストに先行する場合、このリストからの要素のすべて又は任意のサブセットの選択を表している。例えば、表現「Ａ、Ｂ及びＣのうちの少なくとも１つ」は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢとの両方、ＡとＣとの両方、ＢとＣとの両方、又は、Ａ、Ｂ及びＣのすべてを含むものとして理解されるべきである。本発明は、いくつかの別個の要素を含むハードウェアの手段によって実装されているものとするとよく、かつ、適当にプログラミングされたコンピュータの手段によって実装されているものとするとよい。いくつかの手段を列挙する装置の請求項においては、これらの手段のいくつかは、同一のハードウェアアイテムによって具現化されるものとするとよい。特定の方策が相互に異なる従属請求項に記載されているという単なる事実は、これらの方策の組合せが有利に使用され得ないということを示すものではない。
【0152】
特許請求の範囲における、括弧内の参照符号は、実施形態を例示する図面における参照記号又は実施形態の定式を参照する。従って、特許請求の範囲の理解度が増す。これらの参照符号は、特許請求の範囲を制限するものとして解釈されるべきではない。
【符号の説明】
【0153】
参照番号のリスト
１００ 生成ニューラルネットワーク
１５１ センサデータ
１５２，１５３，１５４ 変換目標
１２０ 符号器部分
１３０ 処理部分
１４０ 復号器部分
１４１ 生成されたセンサデータ
２００ 訓練システム
２１０ オプティマイザ
２２０ 生成ユニット
２３０ 識別ユニット
２４０ 訓練セットストレージ
２４２ 変換目標ストレージ
２５０ 生成システム
２５２ 入力ユニット
２５４ 出力ユニット
２２１ センサデータ
２２２ 変換目標
２２３ 生成されたセンサデータ
２３１ センサデータ
２３２ 変換目標
２３３ 識別ネットワーク出力
２３４，２３５ センサデータ
２３６ 変換目標
２３７ 識別ネットワーク出力
２３８，２３９ 識別ユニット
３０１－３０３ 測定されたセンサデータ
３１１－３１３ ドメイン
３２１－３２３ 他のドメイン
３３１－３３３ 測定されたセンサデータ
３４０ 時間方向
３４１－３４３ タイムスタンプ
３５１－３５３ 訓練セット
３６１ 時間差
４４１－４４３ センサデータチャネル
４５１ 変換目標チャネル
４６１－４６４ 畳み込みフィルタ
４７０ プーリング層
４８０ 全結合層
４１０ センサデータ入力
４１１－４１２ センサデータアイテム
４２０ 変換目標入力
４２１ 変換目標アイテム
４３０ ニューロン
４３１ ニューロン出力
５１０，５２０ センサデータのドメイン
５１１，５２１ センサデータ
５２３，５１１‘ 生成されたセンサデータ
５１２，５２２ 変換目標
５３０，５４０ センサデータのドメイン
５３１，５４１ センサデータ
６１０ 測定されたセンサデータ
６２０ 生成されたセンサデータ
６１１ 車
６１２ 遮蔽されている人
６１３ 遮蔽解除されている人
６３０ 変換目標
６３１ 遮蔽解除部分
６４０ 測定されたセンサデータ
６５０ 変換目標
６５１ 遮蔽解除部分
１０００ コンピュータ可読媒体
１０１０ 書き込み可能な部分
１０２０ コンピュータプログラム
１１１０ 集積回路
１１２０ 処理ユニット
１１２２ メモリ
１１２４ 専用集積回路
１１２６ 通信要素
１１３０ インタコネクト
１１４０ プロセッサシステム
１００ 生成ニューラルネットワーク
１５１ センサデータ
１５２，１５３，１５４ 変換目標
１２０ 符号器部分
１３０ 処理部分
１４０ 復号器部分
１４１ 生成されたセンサデータ
２００ 訓練システム
２１０ オプティマイザ
２２０ 生成ユニット
２３０ 識別ユニット
２４０ 訓練セットストレージ
２４２ 変換目標ストレージ
２５０ 生成システム
２５２ 入力ユニット
２５４ 出力ユニット
２２１ センサデータ
２２２ 変換目標
２２３ 生成されたセンサデータ
２３１ センサデータ
２３２ 変換目標
２３３ 識別ネットワーク出力
２３４，２３５ センサデータ
２３６ 変換目標
２３７ 識別ネットワーク出力
２３８，２３９ 識別ユニット
３０１－３０３ 測定されたセンサデータ
３１１－３１３ ドメイン
３２１－３２３ 他のドメイン
３３１－３３３ 測定されたセンサデータ
３４０ 時間方向
３４１－３４３ タイムスタンプ
３５１－３５３ 訓練セット
３６１ 時間差
４４１－４４３ センサデータチャネル
４５１ 変換目標チャネル
４６１－４６４ 畳み込みフィルタ
４７０ プーリング層
４８０ 全結合層
４１０ センサデータ入力
４１１－４１２ センサデータアイテム
４２０ 変換目標入力
４２１ 変換目標アイテム
４３０ ニューロン
４３１ ニューロン出力
５１０，５２０ センサデータのドメイン
５１１，５２１ センサデータ
５２３，５１１‘ 生成されたセンサデータ
５１２，５２２ 変換目標
５３０，５４０ センサデータのドメイン
５３１，５４１ センサデータ
６１０ 測定されたセンサデータ
６２０ 生成されたセンサデータ
６１１ 車
６１２ 遮蔽されている人
６１３ 遮蔽解除されている人
６３０ 変換目標
６３１ 遮蔽解除部分
６４０ 測定されたセンサデータ
６５０ 変換目標
６５１ 遮蔽解除部分
１０００ コンピュータ可読媒体
１０１０ 書き込み可能な部分
１０２０ コンピュータプログラム
１１１０ 集積回路
１１２０ 処理ユニット
１１２２ メモリ
１１２４ 専用集積回路
１１２６ 通信要素
１１３０ インタコネクト
１１４０ プロセッサシステム
【図1】
【図2a】
【図2b】
【図2c】
【図2d】
【図2e】
【図3a】
【図3b】
【図3c】
【図4a】
【図4b】
【図5a】
【図5b】
【図5c】
【図6a】
【図6b】
【図6c】
【図6d】
【図6e】
【図7a】
【図7b】
【図8a】
【図8b】
