特表 2024-511635 画像生成方法、装置、機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-14

(54)【発明の名称】画像生成方法、装置、機器及び記憶媒体

(51)【国際特許分類】

   G06T 5/92 20240101AFI20240307BHJP

   G06T 7/00 20170101ALI20240307BHJP

   G06T 5/77 20240101ALI20240307BHJP

   G06T 1/00 20060101ALI20240307BHJP

   G06T 5/60 20240101ALI20240307BHJP

   H04N 7/18 20060101ALI20240307BHJP

【ＦＩ】

G06T5/92

G06T7/00 300

G06T5/77

G06T1/00 330Z

G06T5/60

H04N7/18 U

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023559731

(86)(22)【出願日】2022-01-26

(85)【翻訳文提出日】2023-09-27

(86)【国際出願番号】 CN2022074085

(87)【国際公開番号】W WO2022206158

(87)【国際公開日】2022-10-06

(31)【優先権主張番号】202110351897.2

(32)【優先日】2021-03-31

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】520018428

【氏名又は名称】センスタイム グループ リミテッド

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】チョン グアンリアン

(72)【発明者】

【氏名】シー ジエンピン

(72)【発明者】

【氏名】安井 裕司

(72)【発明者】

【氏名】松永 英樹

(72)【発明者】

【氏名】冨手 要

【テーマコード（参考）】

5B057

5C054

5L096

【Ｆターム（参考）】

5B057AA16

5B057BA02

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CC03

5B057CE05

5B057CE08

5B057DA11

5B057DA16

5B057DB02

5B057DB06

5B057DB09

5B057DC40

5C054CA04

5C054CC02

5C054FC00

5C054FE05

5C054FE06

5C054GB02

5C054HA17

5L096AA02

5L096AA06

5L096BA04

5L096CA02

5L096DA01

5L096EA06

5L096FA66

5L096HA11

5L096KA04

5L096MA03

(57)【要約】

本開示の実施例は、画像生成方法、装置、機器及び記憶媒体を提供し、前記方法は、オリジナル画像内の目標オブジェクトの照明ランプを検出することと、前記オリジナル画像を特定のシーンでの処理対象画像に変換することと、前記処理対象画像において、動作状態が前記特定のシーンのシーン情報とマッチしない照明ランプを置換対象オブジェクトとして決定することと、前記シーン情報及び前記置換対象オブジェクトに基づいて、動作状態が前記シーン情報とマッチする置換対象オブジェクトを含む置換画像を決定することと、前記置換画像を用いて、前記処理対象画像における前記置換対象オブジェクトが占める領域の画像を置換し、目標画像を生成することと、を含む。このように、目標画像内のオブジェクトの動作状態をシーン情報とマッチさせることにより、生成された目標画像は、実際のシーンにより適合するようになる。

【特許請求の範囲】

【請求項1】

電子機器によって実行される画像生成方法であって、
オリジナル画像内の目標オブジェクトの照明ランプを検出することと、
前記オリジナル画像を特定のシーンでの処理対象画像に変換することと、
前記処理対象画像において、動作状態が前記特定のシーンのシーン情報とマッチしない照明ランプを、置換対象オブジェクトとして決定することと、
前記シーン情報及び前記置換対象オブジェクトに基づいて、動作状態が前記シーン情報とマッチする置換対象オブジェクトを含む置換画像を決定することと、
前記置換画像を用いて、前記処理対象画像における前記置換対象オブジェクトが占める領域の画像を置換し、目標画像を生成することと、を含む、画像生成方法。

【請求項2】

前記シーン情報及び前記置換対象オブジェクトに基づいて、動作状態が前記シーン情報とマッチする置換対象オブジェクトを含む置換画像を決定することは、
前記置換対象オブジェクトの属性情報を決定することと、
プリセット画像ライブラリから、属性が前記置換対象オブジェクトの属性情報とマッチするプリセットオブジェクトを含む目標プリセット画像を検索することと、
検索された目標プリセット画像を、前記置換画像として決定することと、を含み、前記置換画像における前記プリセットオブジェクトの動作状態は、前記シーン情報とマッチする、
請求項１に記載の画像生成方法。

【請求項3】

前記画像生成方法は、
前記置換対象オブジェクトと前記オリジナル画像を収集する装置との距離を決定することを更に含み、
前記プリセット画像ライブラリから、属性が前記置換対象オブジェクトの属性情報とマッチするプリセットオブジェクトを含む目標プリセット画像を検索することは、
前記置換対象オブジェクトのカテゴリ情報及び決定された距離に基づいて、前記プリセット画像ライブラリから、属性が前記置換対象オブジェクトの属性情報とマッチするプリセットオブジェクトを含む目標プリセット画像を検索することを含む、
請求項２に記載の画像生成方法。

【請求項4】

前記プリセット画像ライブラリから前記目標プリセット画像が検索できないことに応答して、前記画像生成方法は、
属性が前記置換対象オブジェクトの属性情報とマッチするプリセットオブジェクトを含む目標プリセット画像を生成することと、
生成された目標プリセット画像を、前記置換画像として決定することと、を更に含む、
請求項２又は３に記載の画像生成方法。

【請求項5】

前記属性が前記置換対象オブジェクトの属性情報とマッチするプリセットオブジェクトを含む目標プリセット画像を生成することは、
前記置換対象オブジェクトと前記オリジナル画像を収集する装置との距離に基づいて、前記プリセットオブジェクトの動作パラメータを決定することと、
決定された動作パラメータに基づいて、前記プリセットオブジェクトを含む目標プリセット画像を生成することと、を含む、
請求項４に記載の画像生成方法。

【請求項6】

前記置換対象オブジェクトと前記オリジナル画像を収集する装置との距離を決定することは、
前記置換対象オブジェクトのカテゴリ情報に基づいて、前記置換対象オブジェクトのサイズ情報を決定することと、
前記サイズ情報及び前記処理対象画像内の前記置換対象オブジェクトのサイズに基づいて、前記オリジナル画像を収集する装置と前記置換対象オブジェクトとの距離を決定することと、を含む、
請求項３ないし５のいずれか一項に記載の画像生成方法。

【請求項7】

前記目標プリセット画像が生成された後、前記画像生成方法は、
前記目標プリセット画像を、前記プリセット画像ライブラリに格納することを更に含む、
請求項４又は５に記載の画像生成方法。

【請求項8】

前記プリセットオブジェクトの動作パラメータは、照明ランプの光強度であり、
前記置換対象オブジェクトと前記オリジナル画像を収集する装置との距離に基づいて、前記プリセットオブジェクトの動作パラメータを決定することは、前記照明ランプが作動状態にあるときの光強度を決定することと、前記距離及び前記照明ランプが作動状態にあるときの光強度に基づいて、前記距離とマッチする前記照明ランプの光強度を決定することと、を含み、
前記決定された動作パラメータに基づいて、前記プリセットオブジェクトを含む目標プリセット画像を生成することは、前記距離とマッチする光強度に基づいて、距離とマッチする光強度を有する前記プリセットオブジェクトを含む目標プリセット画像を生成することを含む、
請求項５に記載の画像生成方法。

【請求項9】

前記置換画像を用いて、前記処理対象画像における前記置換対象オブジェクトが占める領域の画像を置換し、目標画像を生成することは、
前記置換画像のサイズ情報を決定することと、
前記処理対象画像における前記置換対象オブジェクトが占める領域の面積を決定することと、
前記面積に基づいて、前記置換画像のサイズ情報を調整して、調整された画像を取得することと、
前記調整された画像を用いて、前記置換対象オブジェクトが占める領域の画像を置換して、候補画像を生成することと、
前記候補画像に対して平滑化処理を実行して、前記目標画像を生成することと、を含む、
請求項１ないし８のいずれか一項に記載の画像生成方法。

【請求項10】

前記目標オブジェクトは、ドライブ機器及び街路灯を含む、
請求項１に記載の画像生成方法。

【請求項11】

画像生成装置であって、
オリジナル画像内の目標オブジェクトの照明ランプを検出するように構成される照明ランプ検出モジュールと、
前記オリジナル画像を特定のシーンでの処理対象画像に変換するように構成される画像変換モジュールと、
前記処理対象画像において、動作状態が前記特定のシーンのシーン情報とマッチしない照明ランプを置換対象オブジェクトとして決定するように構成されるオブジェクト決定モジュールと、
前記シーン情報及び前記置換対象オブジェクトに基づいて、動作状態が前記シーン情報とマッチする置換対象オブジェクトを含む置換画像を決定するように構成される置換画像決定モジュールと、
前記置換画像を用いて、前記処理対象画像における前記置換対象オブジェクトが占める領域の画像を置換し、目標画像を生成するように構成される画像生成モジュールと、を備える、画像生成装置。

【請求項12】

コンピュータに請求項１ないし１０のいずれか一項に記載の画像生成方法を実行させるためのコンピュータ実行可能な命令を記憶した、コンピュータ記憶媒体。

【請求項13】

コンピュータ実行可能な命令を記憶するメモリと、
前記メモリの前記コンピュータ実行可能な命令を実行して、請求項１ないし１０のいずれか一項に記載の画像生成方法を実行するプロセッサと、を備える、電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願への相互参照）
本願は、２０２１年０３月３１日に中国特許局に提出された、出願番号が２０２１１０３５１８９７．２である中国特許出願の優先権を主張し、その内容の全てが引用により本願に組み込まれる。

【0002】

本開示の実施例は、インテリジェント運転技術分野に関し、画像生成方法、装置、機器及び記憶媒体に関するが、これらに限定されない。

【背景技術】

【0003】

従来の画像生成方法では、画像生成により昼間の自動運転シーンの画像を夜間シーンの画像に変換する必要がある場合、変換された画像の車のテールライトも暗いため、生成された画像の信憑性は高くない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

これを鑑みて、本開示の実施例は、画像生成の技術的解決策を提供する。

【課題を解決するための手段】

【0005】

本開示の実施例の技術的解決策は、次のように実現できる。

【0006】

本開示の実施例は、画像生成方法を提供し、前記方法は、オリジナル画像内の目標オブジェクトの照明ランプを検出することと、前記オリジナル画像を特定のシーンでの処理対象画像に変換することと、前記処理対象画像において、動作状態が前記特定のシーンのシーン情報とマッチしない照明ランプを置換対象オブジェクトとして決定することと、前記シーン情報及び前記置換対象オブジェクトに基づいて、動作状態が前記シーン情報とマッチする置換対象オブジェクトを含む置換画像を決定することと、前記置換画像を用いて、前記処理対象画像における前記置換対象オブジェクトが占める領域の画像を置換し、目標画像を生成することと、を含む。

【0007】

いくつかの実施例では、前記シーン情報及び前記置換対象オブジェクトに基づいて、動作状態が前記シーン情報とマッチする置換対象オブジェクトを含む置換画像を決定することは、前記置換対象オブジェクトの属性情報を決定することと、プリセット画像ライブラリから、属性が前記置換対象オブジェクトの属性情報とマッチするプリセットオブジェクトを含む目標プリセット画像を検索することと、検索された目標プリセット画像を、前記置換画像として決定することと、を含み、ここで、前記置換画像における前記プリセットオブジェクトの動作状態は、前記シーン情報とマッチする。このようにして、置換された目標画像の忠実度と合理性を向上させることができる。

【0008】

いくつかの実施例では、前記方法は、前記置換対象オブジェクトと前記オリジナル画像を収集する装置との距離を決定することを更に含み、前記プリセット画像ライブラリから、属性が前記置換対象オブジェクトの属性情報とマッチするプリセットオブジェクトを含む目標プリセット画像を検索することは、前記置換対象オブジェクトのカテゴリ情報及び決定された距離に基づいて、前記プリセット画像ライブラリから、属性が前記置換対象オブジェクトの属性情報とマッチするプリセットオブジェクトを含む目標プリセット画像を検索することを含む。このように、置換対象のカテゴリと距離を組み合わせて、プリセット画像ライブラリから目標プリセット画像検索することにより、検索された目標プリセット画像の精度を向上させることができる。

【0009】

いくつかの実施例では、前記プリセット画像ライブラリから前記目標プリセット画像が検索できないことに応答して、前記方法は、属性が前記置換対象オブジェクトの属性情報とマッチするプリセットオブジェクトを含む目標プリセット画像を生成することと、生成された目標プリセット画像を、前記置換画像として決定することと、を更に含む。このように、目標画像が検索できない場合、目標プリセット画像が自動的に生成され、置換画像の精度を向上させることができる。

【0010】

いくつかの実施例では、前記属性が前記置換対象オブジェクトの属性情報とマッチするプリセットオブジェクトを含む目標プリセット画像を生成することは、前記置換対象オブジェクトと前記オリジナル画像を収集する装置との距離に基づいて、前記プリセットオブジェクトの動作パラメータを決定することと、決定された動作パラメータに基づいて、前記プリセットオブジェクトを含む目標プリセット画像を生成することと、を含む。このように、夜間の処理対象画像における発光していないカーライト画像を、発光する置換画像に置き換えることにより、生成された目標画像は、よりリアルになる。

【0011】

いくつかの実施例では、前記置換対象オブジェクトと前記オリジナル画像を収集する装置との距離を決定することは、前記置換対象オブジェクトのカテゴリ情報に基づいて、前記置換対象オブジェクトのサイズ情報を決定することと、前記サイズ情報及び前記処理対象画像内の前記置換対象オブジェクトのサイズに基づいて、前記オリジナル画像を収集する装置と前記置換対象オブジェクトとの距離を決定することと、を含む。このように、置換対象オブジェクトのサイズを分析することにより、収集装置とオブジェクトとの距離をより正確に取得することができる。

【0012】

いくつかの実施例では、前記目標プリセット画像が生成された後、前記画像生成方法は、前記目標プリセット画像を、前記プリセット画像ライブラリに格納することを更に含む。このようにして、プリセット画像ライブラリを充実させることができ、その後、プリセット画像ライブラリから目標プリセット画像を検索するのに便利である。

【0013】

いくつかの実施例では、前記プリセットオブジェクトの動作パラメータは、照明ランプの光強度であり、前記置換対象オブジェクトと前記オリジナル画像を収集する装置との距離に基づいて、前記プリセットオブジェクトの動作パラメータを決定することは、前記照明ランプが作動状態にあるときの光強度を決定することと、前記距離及び前記照明ランプが作動状態にあるときの光強度に基づいて、前記距離とマッチする前記照明ランプの光強度を決定することと、を含み、前記決定された動作パラメータに基づいて、前記プリセットオブジェクトを含む目標プリセット画像を生成することは、前記距離とマッチする光強度に基づいて、距離とマッチする光強度を有する前記プリセットオブジェクトを含む目標プリセット画像を生成することを含む。このように、最終的に取得された置換オブジェクトとシーン情報とのマッチ度を向上させることができる。

【0014】

いくつかの実施例では、前記置換画像を用いて、前記処理対象画像における前記置換対象オブジェクトが占める領域の画像を置換し、目標画像を生成することは、前記置換画像のサイズ情報を決定することと、前記処理対象画像における前記置換対象オブジェクトが占める領域の面積を決定することと、前記面積に基づいて、前記置換画像のサイズ情報を調整して、調整された画像を取得することと、前記調整された画像を用いて、前記置換対象オブジェクトが占める領域の画像を置換して、候補画像を生成することと、前記候補画像に対して平滑化処理を実行して、前記目標画像を生成することと、を含む。このようにして、生成された目標画像は、より合理的で明確になる。

【0015】

いくつかの実施例では、前記目標オブジェクトは、ドライブ機器、街路灯を含む。

【0016】

本開示の実施例は、画像生成装置を提供し、前記装置は、オリジナル画像内の目標オブジェクトの照明ランプを検出するように構成される照明ランプ検出モジュールと、前記オリジナル画像を特定のシーンでの処理対象画像に変換するように構成される画像変換モジュールと、前記処理対象画像において、動作状態が前記特定のシーンのシーン情報とマッチしない照明ランプを置換対象オブジェクトとして決定するように構成されるオブジェクト決定モジュールと、前記シーン情報及び前記置換対象オブジェクトに基づいて、動作状態が前記シーン情報とマッチする置換対象オブジェクトを含む置換画像を決定するように構成される置換画像決定モジュールと、前記置換画像を用いて、前記処理対象画像における前記置換対象オブジェクトが占める領域の画像を置換し、目標画像を生成するように構成される画像生成モジュールと、を備える。

【0017】

本開示の実施例は、コンピュータ実行可能な命令を記憶するコンピュータ記憶媒体を提供し、前記コンピュータ実行可能な命令が実行された後、コンピュータに上記の画像生成方法を実現させる。

【0018】

本開示の実施例は、コンピュータ実行可能な命令を記憶するメモリと、プロセッサと、を備える電子機器を提供し、前記プロセッサは、前記メモリのコンピュータ実行可能な命令を実行するときに、上記の画像生成方法を実行する。

【0019】

本開示の実施例は、コンピュータ可読コードを含むコンピュータプログラムを提供し、前記コンピュータ可読コードは、電子機器で実行されるときに、前記電子機器のプロセッサに、上記のいずれか一項に記載の画像生成方法を実行させる。

【0020】

本開示の実施例は、画像生成方法、装置、機器及び記憶媒体を提供し、まず、オリジナル画像を特定のシーンでの処理対象画像に変換し、次に、処理対象画像内の目標オブジェクトの、動作状態が特定のシーンのシーン情報とマッチしない照明ランプを置換対象オブジェクトとして使用し、シーン情報及び置換対象オブジェクトに基づいて、動作状態がシーン情報とマッチする置換対象オブジェクトを含む置換画像を決定し、最後に、当該置換画像を用いて、処理対象画像における置換対象オブジェクトが占める領域の画像を置換し、目標画像を生成し、このように、目標画像内のオブジェクトの動作状態をシーン情報とマッチさせることにより、生成された目標画像は、実際のシーンにより適合するようになる。

【図面の簡単な説明】

【0021】

【図1A】本開示の実施例の画像生成方法を適用できるシステムアーキテクチャ図である。

【図1B】本開示の実施例による画像生成方法を実現するためのフローチャートである。

【図2】本開示の実施例による画像生成方法を実現するための別のフローチャートである。

【図3A】本開示の実施例による画像生成システムの概略構造図である。

【図3B】本開示の実施例による画像生成方法の適用シーンの概略図である。

【図4】本開示の実施例による画像生成方法を実現するための例示的な構造図である。

【図5】本開示の実施例による画像生成方法の別の適用シーンの概略図である。

【図6】本開示の実施例による画像生成装置の概略構造図である。

【図7】本開示の実施例によるコンピュータ機器の概略構造図である。

【発明を実施するための形態】

【0022】

ここでの図面は、本明細書に組み込まれ、本明細書の一部を構成し、これらの図面は、本開示の実施例と一致する実施例を示すものであり、明細書とともに本開示の実施例の技術的解決策を説明するために使用される。

【0023】

本開示の実施例の目的、技術的解決策及び利点をより明確にするために、以下では、本開示の実施例の図面を参照して、本発明の具体的な技術的解決策を更に詳細に説明する。以下の実施例は、本開示を説明するために使用されるが、本開示を限定することを意図するものではない。

【0024】

以下の説明において、「いくつかの実施例」とは、全ての可能な実施例のサブセットを指すが、「いくつかの実施例」とは、全ての可能な実施例の同じサブセット又は異なるサブセットであり得、競合することなく互いに組み合わされ得ることが理解できる。

【0025】

以下の説明における「第１／第２／第３」などの用語は、特定の順番を限定するものではなく、類似する対象を区別するためにのみ使用され、「第１／第２／第３」は、適切な場合において特定の順番又は前後順番を変換できるので、いくつかの実施例に記載の本開示の実施例は、いくつかの実施例に図示又は記載されたもの以外の順番で実行できることが理解できる。

【0026】

特に明記されていない限り、本明細書で使用されるすべての技術用語及び科学用語は、本開示の当業者によって通常理解されるものと同じ意味を有する。本明細書で使用される用語は、本開示の実施例を説明するためにのみ採用され、本開示を限定することを意図するものではない。

【0027】

本開示の実施例を更に詳細に説明する前に、本開示の実施例に係る名詞及び用語を説明する。本開示の実施例に係る名詞及び用語の説明は、以下の通りである。

【0028】

１）ガウスぼかし：画像のローパスフィルターである。いわゆる「ぼかし」とは、画素ごとに周囲の画素の平均値をとることとして理解できる。

【0029】

２）自我車両（ｅｇｏ ｖｅｈｉｃｌｅ）：周囲環境を感知するセンサを搭載した車両である。車両座標系は自我車両に固定されており、ここで、ｘ軸は車両の前方方向であり、ｙ軸は車両の前方方向の左側を指し、Ｚ軸は地面に対して垂直であり、右手座標系に準拠している。座標系の原点は、後車軸の中点より下の地面にある。

【0030】

以下では、本開示の実施例によって提供される画像生成機器の例示的な適用について説明する。本開示の実施例によって提供される機器は、ノートブックコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、カメラ、モバイル機器（例えば、携帯情報端末、専用メッセージ機器、携帯ゲーム機）などの画像収集機能を備えた様々なタイプのユーザ端末として実装され得、又はサーバとしても実装され得る。以下では、機器が端末又はサーバとして実装される場合の例示的な適用について説明する。

【0031】

前記画像生成方法は、コンピュータ機器に適用され得、この方法によって実現される機能は、コンピュータ機器のプロセッサがプログラムコードを呼び出すことによって実現でき、もちろん、プログラムコードはコンピュータの記憶媒体に記憶され得、当該コンピュータ機器は、少なくともプロセッサと記憶媒体を備える。

【0032】

図１Ａは、本開示の実施例の画像生成方法を適用できるシステムアーキテクチャ図であり、図１Ａに示されるように、当該システムアーキテクチャは、画像収集機器１３１、ネットワーク１３２、及び画像生成端末１３３を含む。一例示的な適用をサポートするために、画像収集機器１３１及び画像生成端末１３３は、ネットワーク１３２を介して通信接続を確立し、画像収集機器１３１は、ネットワーク２０２を介して収集されたオリジナル画像（又は、画像生成端末１３３は、車両端末１３１によって収集されたオリジナル画像を自動的に取得する）を画像生成端末１３３に報告し、画像生成端末１３３は、受信されたオリジナル画像に応答して、まず、オリジナル画像内の照明ランプを検出し、当該画像を特定のシーンでの処理対象画像に変換し、次に、処理対象画像において、不合理な動作状態にある照明ランプを見つけ、最後に、動作状態がシーン情報とマッチする置換画像を用いて、不合理な照明ランプに対応する画像領域を置換し、それにより、目標画像を生成し、目標画像を画像生成端末１３３の画像表示インターフェースに出力する。このように、目標画像内のオブジェクトの動作状態をシーン情報とマッチさせることにより、生成された目標画像は、実際のシーンに適合するようになる。

【0033】

一例として、画像収集機器１３１は、カメラなどを含む収集機器であり得る。画像生成端末１３３は、特定のコンピューティング機能を備えたコンピュータ機器を含み得、当該コンピュータ機器は、端末機器又はサーバ又は他の処理機器などを含む。ネットワーク１３２は、有線又は無線接続方式を採用することができる。ここで、画像生成端末１３３がサーバである場合、画像収集機器１３１は、バスを介したデータ通信などの有線接続を介してサーバと通信することができ、画像生成端末１３３が端末機器である場合、画像収集機器１３１は、無線ネットワークを介して画像生成端末１３３と通信し、データ通信を実行することができる。

【0034】

又は、いくつかのシーンでは、画像生成端末１３３は、ビデオ収集モジュールを備えた視覚処理機器であり得、又はカメラを備えたホストであり得る。この場合、本願実施例による画像生成方法は、画像生成端末１３３によって実行され得、上記システムアーキテクチャは、ネットワーク１３２及び画像収集機器１３１を含まなくてもよい。

【0035】

図１Ｂに示されるように、図１Ｂは、本開示の実施例による画像生成方法を実現するためのフローチャートであり、図１Ｂに示されるステップと併せて説明する。

【0036】

ステップＳ１０１において、オリジナル画像内の目標オブジェクトの照明ランプを検出する。

【0037】

いくつかの実施例では、オリジナル画像は、任意のシーンで収集された画像であり得、複雑な画面内容を含む画像、又は、簡単な画面内容を含む画像でもあり得、例えば、深夜に収集されたストリートシーンの画像、又は昼間に収集されたストリートシーンの画像などであり得る。目標オブジェクトは、車両又は街路灯などの照明ランプを有するオブジェクトである。目標オブジェクトは、ドライブ機器や街路灯などの動作状態が変化可能な機器を含み、動作状態が変化可能な機器は、少なくとも２つの動作状態を有する移動可能な機器、例えば、様々な機能を備えた車両（トラック、自動車、オートバイ、自転車など）、様々な車輪数の車両（四輪車、二輪車など）、及び任意の移動可能な機器（ロボット、航空機、ブラインドガイド、スマート家具機器、スマートトイなど）などを含む。又は、少なくとも２つの動作状態を有する固定機器、例えば、様々な道路照明ランプ（ハイポール街路灯、ミドポールライト、道路灯、庭園灯、芝生灯、景観灯など）を含む。以下では、車両を例として説明する。例えば、処理対象画像は、夜間シーンの道路画像であり、ここで、動作状態が変化可能な機器は、道路を走行する車両の照明ランプである。

【0038】

ステップＳ１０２において、オリジナル画像を特定のシーンでの処理対象画像に変換する。

【0039】

いくつかの実施例では、特定のシーンのシーン情報は、シーン内の光のレベル、シーンの位置、シーン内のオブジェクトなどを含み得る。例えば、処理対象画像が深夜シーンでのストリート画像である場合、シーン情報は、当該ストリートの明るさ、当該ストリートの位置、及びストリート上の車両及び街路灯などのオブジェクトを含む。

【0040】

いくつかの可能な実現形態では、処理対象画像は、特定のシーンでの画像であり、ここで、特定のシーンは、設定された任意のシーンであり得る。例えば、深夜のシーン、夕方のシーン、早朝のシーンなどである。

【0041】

ステップＳ１０２において、オリジナル画像を特定のシーンでの処理対象画像に変換することは、以下のステップによって実現できる。

【0042】

第１ステップにおいて、オリジナル画像を取得する。

【0043】

いくつかの可能な実現形態では、オリジナル画像は、任意のシーンで収集された画像であり、例えば、昼間に収集された道路画像又は夜間に収集された道路画像などである。

【0044】

第２ステップにおいて、オリジナル画像のシーン情報を決定する。

【0045】

いくつかの可能な実現形態では、オリジナル画像が取得された後、トレーニングされた判別器を介して、当該画像のシーン情報が特定のシーンのシーン情報であるかどうかを判断する。例えば、特定のシーンのシーン情報は夜間シーンである場合、判別器を介して、当該画像のシーン情報が夜間シーンであるかどうかを判断する。

【0046】

第３ステップにおいて、前記シーン情報が前記特定のシーンのシーン情報とマッチしない場合、前記特定のシーンのシーン情報に基づいて、前記オリジナル画像のシーン情報を変換して、変換された画像を取得する。

【0047】

いくつかの可能な実現形態では、シーン情報が特定のシーンのシーン情報と差が大きい場合、オリジナル画像のシーン情報を特定のシーンのシーン情報に変換し、即ち、オリジナル画像を特定のシーンでの画像に変換し、それにより、変換された画像を取得する。例えば、特定のシーンのシーン情報が夜間シーンであり、オリジナル画像が昼間シーンで収集された画像である場合、昼間シーンで収集されたオリジナル画像を夜間シーンの画像変換し、オリジナル画像を生成器に入力することにより、対応する夜間の処理対象画像を生成することができる。

【0048】

いくつかの実施例では、シーン情報が前記特定のシーンのシーン情報とマッチする場合、前記オリジナル画像を前記処理対象画像として決定する。

【0049】

例えば、シーン情報が特定のシーンのシーン情報と同じ又は非常に類似している場合には、オリジナル画像が特定のシーンのシーン情報を有することを意味するので、オリジナル画像に対して画像変換を実行する必要なく、オリジナル画像を処理対象画像として使用することができる。具体的な一例では、特定のシーンのシーン情報が深夜シーンであり、オリジナル画像が日暮れのシーンで収集された画像であり、当該シーンが特定のシーンと類似した夜間である場合、オリジナル画像を処理対象画像として決定する。

【0050】

第４ステップにおいて、変換された画像を処理対象画像として決定する。

【0051】

上記の第１ステップ～第４ステップにより、オリジナル画像が取得された後、オリジナル画像のシーン情報を判断することにより、シーン情報が特定のシーンのシーン情報でない場合、オリジナル画像のシーン情報を変換し、それにより、特定のシーンのシーン情報を有する処理対象画像を取得する。

【0052】

ステップＳ１０３において、処理対象画像において、動作状態が特定のシーンのシーン情報とマッチしない照明ランプを置換対象オブジェクトとして決定する。

【0053】

いくつかの実施例では、照明ランプの動作状態は、特定のシーンのシーン情報と関連付けられており、照明ランプの動作状態が特定のシーンのシーン情報の変化に応じて変化することとして理解できる。例えば、特定のシーンのシーン情報が昼間シーンから夜間シーンに変換される場合、照明ランプの動作状態もそれに応じて変化する。具体的な一例では、処理対象画像が夜間シーンを有する道路画像であり、照明ランプが当該画像内の走行する車両のカーライトである場合、実際の状況では、夜間シーンの車両の照明ランプ（車のテールライトなど）は、発光状態にあるはずであり、処理対象画像内のカーライトが不発光状態にある場合、当該車両のカーライトを置換対象オブジェクトとして決定する。しかし、昼間シーンの車両のカーライトは、不発光状態にあるはずであり、処理対象画像内のカーライトが発光状態にある場合、当該車両のカーライトを置換対象オブジェクトとして決定する。又は、置換対象オブジェクトが街路灯である場合、実際のシーンでは、夜間シーンの街路灯は、発光状態にあるはずであり、昼間シーンの街路灯は、不発光状態にあるはずである。

【0054】

別の実施例では、処理対象画像内の、動作状態が前記特定のシーンのシーン情報とマッチしない照明ランプを含む目標オブジェクト全体を置換対象オブジェクトとして使用してもよい。例えば、特定のシーンのシーン情報が夜間シーンであり、目標オブジェクトが車両であり、当該車両に不発光状態にあるカーライトが含まれる場合、当該車両を置換対象オブジェクトとして使用することができる。

【0055】

ステップＳ１０４において、シーン情報及び置換対象オブジェクトに基づいて、動作状態がシーン情報とマッチする置換対象オブジェクトを含む置換画像を決定する。

【0056】

いくつかの実施例では、置換画像に含まれる置換対象オブジェクトの動作状態は、シーン情報とマッチし、即ち、置換画像に含まれる照明ランプの動作状態は、シーン情報とマッチする。処理対象画像における置換対象オブジェクトの動作状態がシーン情報とマッチしないことは、置換対象オブジェクトの動作状態が当該シーンでは合理的な状態ではないこととして理解でき、例えば、シーン情報が夜間シーンであり、置換対象オブジェクトがカーライトであり、置換対象オブジェクトの動作状態が不発光状態にあることは、置換対象オブジェクトの動作状態がシーン情報とマッチしないことを意味する。

【0057】

置換画像における置換対象オブジェクトの動作状態がシーン情報とマッチすることは、置換画像における置換対象オブジェクトの動作状態がシーンで合理的な状態にあることとして理解できる。例えば、シーン情報が夜間シーンであり、置換対象オブジェクトがカーライトである場合、置換画像における置換対象オブジェクトの動作状態は、発光状態であり、これに対応して、置換画像は、収集された、発光状態にあるカーライトの画像である。

【0058】

ステップＳ１０５において、前記置換画像を用いて、処理対象画像における置換対象オブジェクトが占める領域の画像を置換し、目標画像を生成する。

【0059】

いくつかの実施例では、処理対象画像において、動作状態がシーン情報とマッチしない置換対象オブジェクトを決定し、処理対象画像における置換対象オブジェクトが占める領域を決定し、動作状態がシーン情報とマッチする置換オブジェクトに対応する置換画像を用いて、当該領域の画像を置換し、置換された画像に対して平滑化処理を実行し、それにより、目標画像を生成する。

【0060】

具体的な一例では、シーン情報が夜間シーンである場合を例にとると、処理対象画像が、夜間シーンを有する道路画像であり、動作状態がシーンの変化に応じて変化する照明ランプが車両のカーライトであり、カーライトの動作状態が不発光状態である場合、当該動作状態は、夜間シーンとマッチしなく、この場合には、当該カーライトの仕様に基づいて、プリセット画像ライブラリから当該カーライトと同じ仕様のプリセットカーライトを含む置換画像を検索し、ここで、置換画像における置換対象オブジェクトの動作状態は、シーンとマッチし、即ち当該置換画像におけるプリセットカーライトの動作状態は発光状態である。最後に、当該置換画像を用いて、処理対象画像におけるカーライトの所在領域の画像を置換し、それにより、目標画像を生成する。このように、生成された目標画像におけるカーライトの動作状態は、発光状態であり、夜間シーンとマッチし、それにより、生成された目標画像は、よりリアルになる。

【0061】

本開示の実施例では、処理対象画像において、動作状態がシーン情報とマッチしない置換対象オブジェクトを決定し、次に、置換画像を使用して、置換対象オブジェクトが占める領域の画像を置換し、それにより、生成された目標画像には、動作状態がシーン情報とマッチする置換対象オブジェクトが含まれ、生成された目標画像は、より生き生きでリアルになる。

【0062】

別の実施例では、動作状態が前記シーン情報とマッチする置換対象オブジェクトを含む置換画像は、プリセット画像ライブラリに格納され、置換対象オブジェクトをリアルタイムでレンダリングすることに使用され、それにより、動画再生用の目標画像を生成し、生成された目標画像の豊富性を向上させることができ、実現プロセスは、以下の通りであり、本開示の実施例では、置換対象オブジェクトがカーライトである場合を例として説明する。

【0063】

まず、置換対象オブジェクトの動作モードを決定する。

【0064】

いくつかの可能な実現形態では、カーライトは、車両の照明ランプを指し、前照灯、フォグライト、後退灯、ナンバープレートライトなどであり得る。カーライトの動作モードは、少なくとも点滅モード、ハイビームモード、ロービームモードなどを含む。

【0065】

動作モードがプリセット動作モードである場合、プリセット画像ライブラリから、前記置換対象オブジェクトとマッチするオブジェクトを含み、且つ前記プリセット動作モードに従って時系列に応じて変化する複数の目標プリセット画像を検索して、目標プリセット画像セットを取得する。

【0066】

いくつかの可能な実現形態では、プリセット動作モードは点滅モードに設定でき、即ち、動作モードが点滅モードである場合、プリセット画像ライブラリから、当該カーライトの点滅プロセス中に時系列に応じて変化する複数の目標プリセット画像を決定して、目標プリセット画像セットを取得する。

【0067】

最後に、時系列に応じて変化する複数の目標プリセット画像に基づいて、現在の置換対象オブジェクトに対してリアルタイムレンダリングを実行して、置換対象オブジェクトがプリセット動作モードにある目標動画を生成し、生成された目標動画を動画形式で再生する。

【0068】

本開示の実施例では、置換対象オブジェクトの場合、発光ダイオード（ＬＥＤ：Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）の代わりにランプを使用しているので、カーライトは、様々な色の光を発し、点滅モードなどの様々な照明モードで動作する。この場合、本開示の実施例は、静止した目標画像を出力するたけでなく、動画形式の目標画像を用いることもできる。動作状態がシーン情報とマッチするオブジェクトを含む置換画像は、プリセット画像ライブラリに格納されるので、それにより、時系列に応じて変化するプリセット画像を介して置換対象オブジェクトをレンダリングして、目標動画を生成及び再生することができる。

【0069】

いくつかの実施例では、置換対象オブジェクトの決定精度を向上させるために、処理対象画像から目標オブジェクトを決定し、当該目標オブジェクトにおける動作状態がシーン情報とマッチしない照明ランプを、置換対象オブジェクトとして使用することは、以下のステップによって実現できる。

【0070】

第１ステップにおいて、処理対象画像内の動作状態が変化可能な照明ランプを決定する。

【0071】

いくつかの可能な実現形態では、処理対象画像内の目標オブジェクトから、動作状態が前記シーン情報と関連関係を有する照明ランプを決定する。当該照明ランプの動作状態は、シーン情報と関連関係を有するが、シーン情報とマッチするとは限らない。

【0072】

第２ステップにおいて、動作状態がシーン情報とマッチしない照明ランプを、置換対象オブジェクトとして決定する。

【0073】

いくつかの可能な実現形態では、目標オブジェクトが移動可能な機器である場合、置換対象オブジェクトは、移動可能な機器内の、動作状態がシーン情報とマッチしない照明ランプであり、例えば、目標オブジェクトが車両である場合、置換対象オブジェクトは、動作状態がシーン情報とマッチしない車両のカーライト（ヘッドライト、前照灯又はテールライトなど）である。目標オブジェクトが固定機器である場合、置換対象オブジェクトは、固定機器内の、動作状態がシーン情報とマッチしない照明ランプであり、例えば、目標オブジェクトがハイポール街路灯である場合、置換対象オブジェクトは、ハイポール街路灯内の、動作状態がシーン情報とマッチしないランプである。目標オブジェクトは固定照明機器でもあり得、当該固定照明機器内の、動作状態が前記シーン情報とマッチしない照明ランプは、照明ランプであり、即ち、置換対象オブジェクトは、前記固定照明機器の照明ランプであり、処理対象画像において、当該照明ランプの動作状態は、発光又は不発光であり、即ち、処理対象画像内の照明ランプは、点灯状態にあってもよく、非点灯状態にあってもよい。

【0074】

いくつかの可能な実現形態では、固定照明機器がハイポール街路灯であり、置換対象オブジェクトが当該街路灯のランプである場合を例にとると、処理対象画像のシーン情報が昼間シーンである場合、例えば、処理対象画像は、夜間に収集されたストリートシーンでのオリジナル画像に対して、シーン変換を実行した後に取得された昼間シーンの画像である。オリジナル画像内のストリート上の街路灯が非点灯であり、また、画像変換が実行された後、処理対象画像が昼間シーンの画像である場合、街路灯は、当然点灯状態にある必要がなく、したがって、この場合、処理対象画像上の街路灯を置換する必要がなく、処理対象画像のシーン情報が夜間シーンである場合、例えば、処理対象画像は、昼間に収集されたストリートシーンでのオリジナル画像に対してシーン変換を実行することによって取得された夜間シーンの画像である。オリジナル画像内のストリート上の街路灯が非点灯であり、画像変換が実行された後、処理対象画像が夜間シーンの画像である場合、街路灯は、点灯状態にある必要があり、この場合、点灯状態にある街路灯を含む置換画像を決定する必要があり、当該置換画像処理対象画像における置換対象オブジェクトが占める領域の画像を置換し、目標画像を生成する。

【0075】

いくつかの可能な実現形態では、目標オブジェクトは、ドライブ機器であり得、当該ドライブ機器内の、動作状態が前記シーン情報とマッチしない照明ランプは、ドライブ機器の照明ランプであり、例えば、ドライブ機器が車両である場合、置換対象オブジェクトは、カーライトであり、処理対象画像において、当該車両のカーライトの動作状態は、発光又は不発光であり得、即ち、処理対象画像内のカーライトは、点灯状態にあってもよく、非点灯状態にあってもよい。ドライブ機器が車両であり、置換対象オブジェクトが車のテールライトである場合を例にとると、処理対象画像のシーン情報が昼間シーンである場合、例えば、処理対象画像は、夜間に収集されたストリートシーンでのオリジナル画像対してシーン変換を実行することによって取得された昼間シーンの画像である。オリジナル画像内のストリート上の車両の前照灯が非点灯であり、また、画像変換が実行された後、処理対象画像が昼間シーンの画像である場合、前照灯は、点灯状態にある必要がなく、したがって、この場合、処理対象画像上の前照灯を置換する必要がなく、処理対象画像のシーン情報が夜間シーンである場合、例えば、処理対象画像は、昼間に収集されたストリートシーンでのオリジナル画像に対してシーン変換を実行することによって取得された夜間シーンの画像であり、オリジナル画像内のストリート上の街路灯が非点灯であり、画像変換が実行された後、処理対象画像が夜間シーンの画像である場合、前照灯は、点灯状態にある必要があり、この場合、点灯状態にある前照灯を含む置換画像を決定する必要があり、当該置換画像処理対象画像における置換対象オブジェクトが占める領域の画像を置換し、目標画像を生成する。

【0076】

本開示の実施例では、処理対象画像から複数の動作状態を有する目標オブジェクトを決定し、当該目標オブジェクト内の、動作状態がシーン情報とマッチしない照明ランプを置換し、それにより、置換された目標画像は、シーン情報とよりマッチし、画面内容は、より合理的で生き生きになる。

【0077】

いくつかの実施例では、置換対象画像は、プリセット画像ライブラリから検索して取得されてもよく、分析置換対象オブジェクトの属性情報を分析することによって生成されてもよく、即ち、ステップＳ１０４において、以下の２つの方式によって、置換対象画像を決定することができる。

【0078】

方式一：プリセット画像ライブラリから、置換対象オブジェクトとマッチするプリセットオブジェクトを含む置換画像を検索する。

【0079】

いくつかの実施例では、プリセット画像ライブラリに格納されたプリセットオブジェクトの動作状態は、シーン情報とマッチする。例えば、シーン情報が夜間シーンである場合、プリセット画像ライブラリに格納されたのは、発光状態にあるカーライト画像である。置換対象オブジェクトとマッチする目標プリセット画像は、少なくとも置換対象オブジェクト同じ仕様又は同じタイプの目標プリセット画像として理解できる。例えば、置換対象オブジェクトがカーライトである場合、目標プリセット画像は、当該カーライトと同じ仕様のカーライト画像である。

【0080】

いくつかの可能な実現形態では、以下のプロセスによってプリセット画像ライブラリから置換画像を検索することができ、図２に示されるように、図２は、本開示の実施例による画像生成方法を実現するための別のフローチャートであり、ステップＳ１０４は、ステップＳ２０１～ステップＳ２０３によって実現でき、図２に示されるステップと併せて説明する。

【0081】

ステップＳ２０１において、置換対象オブジェクトの属性情報を決定する。

【0082】

いくつかの可能な実現形態では、置換画像の決定精度を向上させるために、トレーニングされた第２ニューラルネットワークによって置換画像を検索することができ、即ち、第２ニューラルネットワークを介して、置換対象オブジェクトの属性情報を決定することができる。ここで、置換対象オブジェクトの属性情報は、置換対象オブジェクトの仕様及びタイプなどを表すために使用され、置換対象オブジェクト自体を記述するために使用される情報であり、例えば、置換対象オブジェクトがカーライトである場合、属性情報は、当該カーライトの仕様、当該カーライトの具体的なタイプ、及びカーライトの左右側などであり、カーライトのタイプは、リアライト、左テールライト、右テールライト、前照灯などを含む。

【0083】

ステップＳ２０２において、プリセット画像ライブラリから、属性が置換対象オブジェクトの属性情報とマッチするプリセットオブジェクトを含む目標プリセット画像を検索する。

【0084】

いくつかの可能な実現形態では、まず、属性情報が置換対象オブジェクトの属性情報と同じであるプリセットオブジェクトを検索し、次に、プリセット画像ライブラリから、当該プリセットオブジェクトを含む目標プリセット画像を検索する。

【0085】

ステップＳ２０３において、検索された目標プリセット画像を、前記置換画像として決定する。

【0086】

いくつかの可能な実現形態では、置換画像におけるプリセットオブジェクトの動作状態は、シーン情報とマッチする。具体的な一例では、置換対象オブジェクトが左右２つのテールライトである場合、プリセット画像ライブラリから当該カーライトの属性情報と同じであり、且つ発光状態にあるテールライトを含む目標プリセット画像を検索する。左テールライトと右テールライトは外観及び形状が同じであるので、決定された目標プリセット画像は、１つのフレームの画像であり得、また左テールライト及び右テールライトとそれぞれ同じである２つの対称的な画像であり得る。目標プリセット画像１つのフレームの画像である場合、目標プリセット画像を用いて、置換対象オブジェクトが占める領域を置換するとき、当該目標プリセット画像を用いて、左右テールライトの形状に従ってそれぞれ置換することにより、置換された目標画像内の左右テールライトは対称のままである。同様に、置換対象オブジェクトが前照灯又はリアライトである場合、目標プリセット画像を用いて、置換対象オブジェクトの所在領域を置換するとき、置換対象オブジェクトの位置情報によって前照灯であるかリアライトであるかを決定することにより、置換された目標画像は、より合理的でリアルになる。

【0087】

方式一において、置換対象オブジェクトが目標オブジェクト内の、動作状態が前記シーン情報とマッチしない照明ランプであることに応答して、プリセット画像ライブラリから、目標プリセット画像を検索することは、以下のプロセスによって実現できる。

【0088】

まず、前記置換対象オブジェクトとオリジナル画像を収集する装置との距離を決定する。

【0089】

いくつかの実施例では、処理対象画像は、オリジナル画像を変換することによって取得され、即ち、処理対象画像は、オリジナル画像に対して画像変換を実行して取得され、例えば、オリジナル画像は、昼間シーンで収集されたストリート画像であり、当該昼間シーンを夜間シーンに変換して、処理対象画像を取得する。まず、置換対象オブジェクトのサイズを決定し、次に、当該サイズ、処理対象画像における置換対象オブジェクトが占める画素数、及びオリジナル画像を収集する装置との焦点距離に基づいて、当該距離を計算することができる。

【0090】

可能な一実現形態では、置換対象オブジェクトのカテゴリ情報に基づいて、置換対象オブジェクトのサイズ情報を決定し、置換対象オブジェクトのサイズ情報及び処理対象画像における置換対象オブジェクトのサイズに基づいて、オリジナル画像を収集する装置と置換対象オブジェクトとの距離を決定する。

【0091】

いくつかの可能な実現形態では、置換対象オブジェクトのサイズ情報は、置換対象オブジェクトの長さ、幅、及び高さなどを含む。置換対象オブジェクトのカテゴリ情報は、置換対象オブジェクトが属するブランド又はタイプなどを含み、目標オブジェクトがドライブ機器である場合を例として説明すると、目標オブジェクトのカテゴリ情報が、乗用車、郊外型ユーティリティビークル（ＳＵＶ：Ｓｕｂｕｒｂａｎ Ｕｔｉｌｉｔｙ Ｖｅｈｉｃｌｅ）、バン、小型トラック、大型トラック、大型バス、バス又はボックストラックなどを含む場合、置換対象オブジェクトは、乗用車、ＳＵＶ、バン、小型トラック、大型トラック、大型バス、バス又はボックストラックなどのうちの、動作状態が特定のシーンのシーン情報とマッチしないカーライトである。目標オブジェクトが固定照明機器であり、目標オブジェクトのカテゴリ情報が、各種の街路灯、工事現場照明、サーチライト、建築照明、マリンライト、民生用照明を含む場合、置換対象オブジェクトは、各種の街路灯、工事現場照明、サーチライト、建築照明、マリンライト、民生用照明のうちの、動作状態が特定のシーンのシーン情報とマッチしないランプである。

【0092】

置換対象オブジェクトのカテゴリ情報が決定された後、目標オブジェクトの仕様を決定でき、それにより、目標オブジェクトのサイズ情報を取得することができる。例えば、目標オブジェクトのカテゴリ情報がバンであると決定し、更に、どんなタイプでどんな仕様のバンであるか決定し、それにより、当該バンの幅を取得することができる。目標オブジェクトがバンである場合を例にとると、当該バンの実際の幅が決定された後、処理対象画像における置換対象オブジェクト（即ち、バンのカーライト）の真の幅に対応する画素数を決定でき、次に、画像収集装置の焦点距離（カメラの焦点距離など）と併せて、画素数と当該焦点距離の商によって、画像収集装置と置換対象オブジェクトとの距離を推定する。

【0093】

次に、前記置換対象オブジェクトのカテゴリ情報及び決定された距離に基づいて、前記プリセット画像ライブラリから、属性が前記置換対象オブジェクトの属性情報とマッチするプリセットオブジェクトを含む目標プリセット画像を検索する。

【0094】

いくつかの実施例では、異なるカテゴリの置換対象オブジェクトは、異なる距離で、置換対象オブジェクトの動作パラメータが異なるので、置換対象オブジェクトのカテゴリと距離を組み合わせて、プリセット画像ライブラリから目標プリセット画像を検索することにより、検索された目標プリセット画像の精度を向上させることができる。目標オブジェクトが固定照明機器であり、前記置換対象オブジェクトが前記固定照明機器の照明ランプであるか、又は、目標オブジェクトがドライブ機器であり、置換対象オブジェクトがドライブ機器上の照明ランプである場合を例として説明すると、画像収集装置と照明ランプとの距離は異なり、照明ランプの光強度も異なり、当該距離での光強度に基づいて、プリセット画像ライブラリから同じ光強度の照明ランプを検索し、当該照明ランプを有する目標プリセット画像を、置換画像として使用する。

【0095】

方式二：目標プリセット画像がプリセット画像ライブラリで検索できないことに応答して、属性が置換対象オブジェクトの属性情報とマッチするプリセットオブジェクトを含む目標プリセット画像を生成でき、生成された目標プリセット画像を、置換画像として使用し、また、生成された目標プリセット画像に基づいて、プリセット画像ライブラリを更新することは、以下のプロセスによって実現できる。

【0096】

まず、前記置換対象オブジェクトと前記オリジナル画像を収集する装置との距離を決定する。

【0097】

いくつかの実施例では、目標オブジェクトがドライブ機器である場合、決定された距離は、ドライブ機器の照明ランプとオリジナル画像を収集する装置との距離である。例えば、ドライブ機器が車両である場合、決定された距離は、車両のカーライトと画像収集装置との距離である。

【0098】

次に、置換対象オブジェクトと前記オリジナル画像を収集する装置との距離に基づいて、プリセットオブジェクトの動作パラメータを決定する。

【0099】

いくつかの実施例では、プリセットオブジェクトの動作パラメータは、当該プリセットオブジェクトの通常動作時の各種データを含み、パラメータのカテゴリは、プリセットオブジェクトの動作電力及び動作強度などを含むプリセットオブジェクトのカテゴリに対応し、例えば、プリセットオブジェクトが照明ランプ（ドライブ機器の照明ランプ又は固定照明機器の照明ランプ）である場合、照明ランプの動作パラメータは、少なくとも当該照明ランプの光強度を含み、また、距離が異なると、照明ランプの光強度が異なり、距離が大きいほど、照明ランプの光強度は弱くなり、即ち、動作パラメータが小さくなる。

【0100】

次に、決定された動作パラメータに基づいて、プリセットオブジェクトを含む目標プリセット画像を生成する。

【0101】

いくつかの実施例では、プリセットオブジェクトの動作パラメータが決定された後、当該動作パラメータに基づいて、当該動作パラメータに対応する動作状態にあるオブジェクトを有する目標プリセット画像を生成して、置換画像を取得する。具体的な一例では、プリセットオブジェクトが照明ランプであり、動作パラメータが当該照明ランプの光強度である場合、当該光強度に基づいて、当該光強度を有する置換対象オブジェクトの置換画像を生成する。ここで、当該距離での光強度が決定された後、当該光強度の置換対象オブジェクトに使用される置換画像を生成することができる。置換画像が決定された後、置換画像、及び置換画像と距離との対応関係を、プリセット画像ライブラリに格納して、更新されたプリセット画像ライブラリを取得することができる。

【0102】

次に、置換対象オブジェクトが占める領域を、目標プリセット画像に置換し、目標画像を生成する。

【0103】

いくつかの可能な実現形態では、置換画像が生成された後、まず、処理対象画像における置換対象オブジェクトが占める領域の大きさを決定し、次に、当該大きさに基づいて、置換画像のサイズを調整することにより、調整された置換画像は、置換対象オブジェクトが占める領域の大きさに適合され、それにより、調整された置換画像を用いて、置換対象オブジェクトが占める領域の画像を置換して、生成された目標画像がより高い品質になるようにする。具体的な一例では、処理対象画像は、夜間シーンの道路画像であり、目標オブジェクトは、道路を走行する車両であり、置換対象オブジェクは、目標オブジェクト内の発光していないカーライト、例えば、夜間シーンの画像内の車両の発光していない車のテールライトであり、画像収集装置と前記目標オブジェクトの照明ランプとの距離に基づいて、当該距離にマッチする光強度を有するカーライトの置換画像を生成し、当該置換画像を使用して、処理対象画像内の車のテールライトを置換する。このようにして、夜間処理対象画像内の発光していないカーライト画像を、発光する置換画像に置換し、それにより、生成された目標画像は、よりリアルになる。

【0104】

最後に、目標プリセット画像をプリセット画像ライブラリに格納する。

【0105】

いくつかの実施例では、置換対象オブジェクトのカテゴリ情報を決定することにより、当該機器のサイズを決定し、それにより、当該機器と画像収集装置との距離を決定することができ、これに基づき、距離とプリセットオブジェクトの動作パラメータとの対応関係に基づいて、関係対応表から、当該距離とマッチする動作パラメータを決定し、それにより、当該動作パラメータに対応する動作状態にあるオブジェクトを有する目標プリセット画像を生成することができる。最後に、距離と動作パラメータとの対応関係、置換対象オブジェクトのカテゴリ情報とサイズ情報との対応関係、及び生成された目標プリセット画像をすべて、プリセット画像ライブラリに格納して、当該プリセット画像ライブラリを更新する。それにより、プリセット画像ライブラリから目標プリセット画像を再検索する必要がある場合に、より豊富なプリセットオブジェクトを、選択のために提供することができ、選択された目標プリセット画像の精度を向上させることができる。

【0106】

いくつかの可能な実現形態では、目標オブジェクトがドライブ機器又は固定照明機器であり、プリセットオブジェクトが固定照明機器の照明ランプ又はドライブ機器の照明ランプであり、プリセットオブジェクトの動作パラメータが照明ランプの光強度である場合、プリセットオブジェクトの動作パラメータを決定することにより、プリセットオブジェクトを含む目標プリセット画像を生成するプロセスは、以下のステップによって実現できる。

【0107】

第１ステップにおいて、照明ランプが作動状態にあるときの光強度を決定する。

【0108】

いくつかの実施例では、当該照明ランプは、任意の仕様の照明ランプであり得、例えば、低電力の街路灯又は高電力のサーチライトである場合、当該照明ランプが作動状態にあるときの光強度を決定する。

【0109】

第２ステップにおいて、距離及び照明ランプが作動状態にあるときの光強度に基づいて、距離とマッチする照明ランプの光強度を決定する。

【0110】

いくつかの実施例では、まず、照明ランプが作動状態にあるときの光強度と当該距離との対応関係を決定し、次に、当該対応関係に基づいて、異なる距離での照明ランプの光強度を決定する。光強度と当該距離との対応関係は、距離が大きいほど光強度は小さくなり、言い換えると、画像収集装置と置換対象オブジェクトとの距離が異なるので、収集された置換対象オブジェクトの光強度は異なり、当該光強度は距離に反比例し、即ち、画像収集装置と置換対象オブジェクトとの距離が大きいほど、収集された置換対象オブジェクトの光強度は小さくなる。このようにして、複数の距離と光強度を測定することにより、光強度と距離との対応関係の関係対応表を作成することができ、距離に応じて、照明ランプの光パラメータを決定する必要がある場合、当該表から距離とマッチする光強度を検索することができる。

【0111】

第３ステップにおいて、距離とマッチする光強度に基づいて、距離とマッチする光強度を有するプリセットオブジェクトを含む目標プリセット画像を生成する。

【0112】

いくつかの実施例では、当該光強度に基づいて、当該光強度を有するプリセットオブジェクトの画像、即ち目標プリセット画像をレンダリングして生成する。

【0113】

上記の方式一及び上記の方式二において、「動作状態がシーン情報とマッチする置換対象オブジェクトを含む置換画像を決定する」ことを実現し、また、第２ニューラルネットワークを介して置換対象オブジェクトの属性情報を決定し、プリセット画像ライブラリから、当該属性情報と同じ属性情報を有するプリセットオブジェクトを含む目標プリセット画像を検索し、プリセット画像ライブラリから、目標プリセット画像が検索できない場合、置換対象オブジェクトのカテゴリ情報及び当該機器と画像収集装置との距離を総合的に考慮して、当該距離とマッチするプリセットオブジェクトの動作パラメータを決定し、それにより、当該動作パラメータを有するプリセットオブジェクトを含む目標プリセット画像を生成し、また、目標プリセット画像をプリセット画像ライブラリに格納することにより、当該プリセット画像ライブラリを更新し、それにより、最終的に習得される置換オブジェクトとシーン情報とのマッチ度を向上させることができる。

【0114】

いくつかの実施例では、置換オブジェクトを決定する上記のプロセスは、ニューラルネットワークを介して実現でき、当該ニューラルネットワークは、第１ニューラルネットワーク及び第２ニューラルネットワークを含み、第１ニューラルネットワークを使用して、目標オブジェクトのカテゴリ情報を決定し、第２ニューラルネットワークを介して、カテゴリ情報に基づいて、目標オブジェクト内の、動作状態が前記シーン情報とマッチしない照明ランプを決定して、置換対象オブジェクトを取得でき、その実現プロセスは以下の通りである。

【0115】

第１ニューラルネットワークを使用して、処理対象画像内の目標オブジェクトを検出する。

【0116】

いくつかの可能な実現形態では、第１ニューラルネットワークは、畳み込みニューラルネットワーク、又は残差ネットワークなどの任意のタイプのニューラルネットワークであり得る。処理対象画像をトレーニングされた第１ニューラルネットワークに入力し、第１ニューラルネットワークは、目標オブジェクトの検出フレーム及びカテゴリを出力する。

【0117】

いくつかの実施例では、第１ニューラルネットワークのトレーニングプロセスは、以下のステップによって実現できる。

【0118】

第１ステップにおいて、トレーニング画像をトレーニング対象の第１ニューラルネットワークに入力して、前記トレーニング対象画像における目標オブジェクトの第１位置情報を予測する。

【0119】

いくつかの可能な実現形態では、大量のトレーニング画像を使用して、トレーニング対象の第１ニューラルネットワークをトレーニングし、即ち、大量のトレーニング画像をトレーニング対象の第１ニューラルネットワークに入力して、トレーニング対象画像における目標オブジェクトの位置及びカテゴリを予測する。

【0120】

第２ステップにおいて、前記トレーニング画像における目標オブジェクトのラベリングされた位置情報に基づいて、第１位置情報の第１予測損失を決定する。

【0121】

いくつかの可能な実現形態では、トレーニング画像における目標オブジェクトのラベリングされた位置情報と目標オブジェクトの第１位置情報との差を使用して、第１予測損失を決定する。

【0122】

第３ステップにおいて、前記第１予測損失に基づいて、前記トレーニング対象の第１ニューラルネットワークのネットワークパラメータを調整して、前記第１ニューラルネットワークを取得する。

【0123】

いくつかの可能な実現形態では、目標オブジェクトのラベリングされた位置情報を組み合わせることによって、予測された各第１位置情報の精度を決定し、この精度をニューラルネットワークにフィードバックすることにより、ニューラルネットワークが重みパラメータなどのネットワークパラメータを調整するようにし、それにより、ニューラルネットワーク検出の精度を向上させることができる。前記第１予測損失は、正のサンプルと負のサンプルのクロスエントロピー損失である。当該予測損失を使用して、ニューラルネットワークの重みなどのパラメータを調整し、それにより、調整されたニューラルネットワーク予測結果はより正確になる。

【0124】

上記のプロセスは、第１ニューラルネットワークをトレーニングするプロセスであり、目標オブジェクトの予測位置及び目標オブジェクトのラベリング位置に基づいて、複数の反復を実行することにより、トレーニングされた第１ニューラルネットワークによって出力された第１位置情報の第１予測損失は、収束条件を満たし、それにより、当該第１ニューラルネットワークによって検出された目標オブジェクトの精度はより高くなる。

【0125】

第１ニューラルネットワークのトレーニングプロセスに基づいて、目標オブジェクトから置換対象オブジェクトを決定するプロセスは、以下の通りである。

【0126】

まず、前記第１ニューラルネットワークを介して前記目標オブジェクトのカテゴリ情報を決定する。

【0127】

いくつかの可能な実現形態では、第１ニューラルネットワークを介して、目標オブジェクトのカテゴリ情報が予測された後、当該カテゴリ情報を第２ニューラルネットワークに入力する。

【0128】

次に、第２ニューラルネットワークを介して、前記カテゴリ情報に基づいて、前記目標オブジェクト内の置換対象オブジェクトを決定する。

【0129】

いくつかの可能な実現形態では、第２ニューラルネットワークは、目標オブジェクト内の置換対象オブジェクトを予測するために使用されるトレーニングされたネットワークであり得、当該ネットワークは、任意のタイプのニューラルネットワークであり得る。当該目標オブジェクトのカテゴリ情報を第２ニューラルネットワークに入力することにより、当該目標オブジェクト内の、特定のシーンのシーン情報と関連関係を有する置換対象オブジェクトを予測することができる。

【0130】

いくつかの実施例では、第２ニューラルネットワークのトレーニングプロセスは、以下のステップによって実現できる。

【0131】

第１ステップにおいて、前記トレーニング画像内の目標オブジェクトが属するカテゴリ情報をラベリングして、ラベリングされたトレーニング画像を取得する。

【0132】

第２ステップにおいて、前記ラベリングされた画像をトレーニング対象の第２ニューラルネットワークに入力し、ラベリングされたカテゴリ情報に基づいて、前記目標オブジェクトの置換対象オブジェクトの第２位置情報を予測する。

【0133】

いくつかの可能な実現形態では、トレーニング対象の第２ニューラルネットワークは、目標オブジェクト内の置換対象オブジェクトの位置を予測するために使用される。ラベリングされた画像をトレーニング対象の第２ニューラルネットワークに入力し、それにより、置換対象オブジェクトの第２位置情報を予測し、即ち、目標オブジェクト内の置換対象オブジェクトの位置を予測する。

【0134】

第３ステップにおいて、前記目標オブジェクト的置換対象オブジェクトのラベリングされた位置情報に基づいて、前記第２位置情報の第２予測損失を決定する。

【0135】

第２予測損失は、第１予測損失と同じタイプの損失関数、例えば、クロスエントロピー損失関数であり得る。

【0136】

第４ステップにおいて、前記第２予測損失に基づいて、前記トレーニング対象の第２ニューラルネットワークのネットワークパラメータを調整して、前記第２ニューラルネットワークを取得する。

【0137】

いくつかの可能な実現形態では、トレーニング対象の第２ニューラルネットワークのネットワークパラメータは、ニューラルネットワークにおけるニューロンの重みなどを含む。当該第２予測損失を用いて、トレーニング対象の第２ニューラルネットワークの重みなどのパラメータを調整し、それにより、調整された第２ニューラルネットワークの検出結果は、より正確になる。

【0138】

上記のプロセスは、第２ニューラルネットワークをトレーニングするプロセスであり、目標オブジェクトのカテゴリ情報に基づいて、複数の反復を実行することにより、トレーニングされた第２ニューラルネットワークによって出力された、予測された置換対象オブジェクトの位置情報の第２予測損は、収束条件を満たし、それにより、当該第２ニューラルネットワークによって出力された置換対象オブジェクトの精度はより高くなる。

【0139】

いくつかの実施例では、前記置換画像を用いて、前記処理対象画像における前記置換対象オブジェクトが占める領域の画像を置換し、目標画像を生成することは、以下のプロセスによって実現できる。

【0140】

まず、前記置換画像のサイズ情報を決定する。

【0141】

次に、処理対象画像における前記置換対象オブジェクトが占める領域の面積を決定する。

【0142】

いくつかの可能な実現形態では、第１ニューラルネットワークを使用して、置換対象オブジェクトの検出フレームを出力することにより、検出フレームの面積を、処理対象画像における置換対象オブジェクトが占める領域の面積として使用することができる。

【0143】

次に、前記面積に基づいて、前記置換画像のサイズ情報を調整して、調整された画像を取得する。

【0144】

いくつかの可能な実現形態では、処理対象画像における置換対象オブジェクトが占める領域の面積に基づいて、置換画像のサイズ情報を調整して、調整された画像を取得し、それにより、調整された画像のサイズ情報は、当該領域の大きさに適合するようになる。

【0145】

次に、前記調整された画像を用いて、前記置換対象オブジェクトが占める領域の画像を置換して、候補画像を生成する。

【0146】

いくつかの可能な実現形態では、処理対象画像において、調整された画像を用いて、置換対象オブジェクトが占める領域の画像を置換し、それにより、置換された画像、即ち候補画像を取得する。具体的な一例では、特定のシーンのシーン情報が夜間シーンであり、処理対象画像が夜間シーンを有する道路画像であり、置換対象オブジェクトが、動作状態が夜間シーンとマッチしないカーライト、即ち、不発光状態のカーライトである場合、画像における当該カーライトの表示方式が不合理であることを意味し、目標プリセット画像（即ち、プリセット画像ライブラリから検索された置換画像）は、発光状態にあるカーライトを含む画像であり、目標プリセット画像に対してサイズ調整を実行することにより、調整された画像を取得でき、それにより、調整された画像を用いて、置換対象オブジェクトが占める領域の画像を置換して、発光状態にあるカーライトを含む目標画像を生成する。

【0147】

最後に、前記候補画像に対して平滑化処理を実行して、前記目標画像を生成する。

【0148】

いくつかの可能な実現形態では、置換動作が発生される候補画像内の領域に対して平滑化処理を実行することにより、当該領域における画像のノイズを除去するか、候補画像全体に対して平滑化処理を実行して、画像全体のノイズを除去することにより、目標画像を取得し、それにより、生成された目標画像は、より合理的で明確になる。

【0149】

以下では、一実際の適用シーンにおける本開示の実施例の例示的な適用について説明し、昼間シーンで収集された道路画像を夜間シーンに変換する場合、即ち、特定のシーンが夜間シーンであり、処理対象画像が夜間処理対象画像であり、目標オブジェクトが車両であり、置換対象オブジェクトがカーライトである場合を例として説明する。

【0150】

本開示の実施例は、生成された夜間画像内の車両がよりリアルになるように、画像生成、目標検出、及びテールライトのマッチングに基づいて、夜間シーンでの車のテールライトを追加する方法を提供し、生成された夜間の画像の車両はより現実的である。本開示の実施例は、より多くの画像生成分野に適用することができる。例えば、夜間シーンの車両に前照灯追加、街路灯追加などで、生成された画像内の車のテールライトは、よりリアルになる。

【0151】

図３Ａは、本開示の実施例による画像生成システム（処理対象画像の生成に使用される）の概略構造図であり、以下では、図３Ａと併せて説明する。

【0152】

本開示の実施例によって提供される画像生成システムは、生成器３０１及び判別器３０２を含む。ここで、まず、昼間処理対象画像（上記実施例におけるオリジナル画像に対応し、図３Ｂに示す昼間処理対象画像３２１など）を入力として、入力端３０３から生成器３０１に入力し、
次に、生成器３０１によって夜間シーン画像（上記実施例における処理対象画像に対応し、図３Ｂに示す夜間シーン画像３２２など）を生成し、生成された夜間シーン画像は、出力端３０４を介して判別器３０２に出力され、
いくつかの可能な実現形態では、夜間シーンで収集された夜間シーン画像及び生成された夜間シーン画像をすべて、判別器３０２に入力する。

【0153】

次に、判別器３０２によって、夜間シーンの画像が実際の夜間シーン画像であるか、生成された夜間シーン画像であるかを区別し、即ち、実際の画像３０５及び変換された画像３０６をそれぞれ取得し、
最後に、生成器及び判別器の損失関数を継続的に最適化することにより、生成器によって生成された夜間シーンは、よりリアルになる。

【0154】

いくつかの実施例では、図３Ｂに示す画像生成システムによって夜間シーンデータが生成された後、画像内の車両に対して微細粒度の目標検出及びラベリングを実行し、即ち、画像内の車両は、長方形フレームで囲まれ、各車両のカテゴリ情報（乗用車、ＳＵＶ、バン、小型トラック、大型トラック、大型バス、バス、ボックストラックなど）がラベリングされている。また、車両ごとに、各車両のテールライト（上記実施例における置換対象オブジェクトに対応する）をラベリングし、即ち、長方形フレームで車のテールライトの位置を示す。同時に、各車両のモデルの違いに応じて、実際の夜間シーンにおけるカーライトを収集し、即ち、夜間シーンで収集された車両画像内の点灯領域を切り出して、カーライトデータを含む画像ライブラリ（上記実施例におけるプリセット画像ライブラリに対応する）を形成し、後続の置換対象オブジェクトのマッチングに使用して、置換対象オブジェクトとマッチする車のテールライト（上記実施例における置換対象オブジェクトとマッチするプリセットオブジェクトに対応する）を取得する。車のテールライトをマッチングするプロセスは、図４に示される通りであり、図４は、本開示の実施例による画像生成方法を実現するための例示的な構造図であり、以下では、図４と併せて説明する。

【0155】

画像取得モジュール４０１は、オリジナル画像に対して目標検出を実行し、ラベリングフレームを使用して目標をラベリングするように構成される。

【0156】

車両検出ネットワークトレーニングモジュール４０２は、当該ラベリングフレーム及び車両の分類を使用して、対応する演出ネットワークをトレーニングして、車両検出ネットワーク（上記実施例における第１ニューラルネットワークに対応する）を取得するように構成される。

【0157】

車両検出結果出力モジュール４０３は、車両検出ネットワークを使用して、オリジナル画像を検出して、車両検出結果を取得（例えば、画像座標系で車両の左上隅と右下隅の座標を取得し（即ち、車両の所在領域の長方形フレームをラベリングする））、検出された車両が属するカテゴリ、即ち、車両タイプ４０４を取得し、画像生成時のカーライトマッチングの準備をするように構成される。

【0158】

トリミングモジュール４０９は、車両検出結果における車両を検出するための長方形フレームに基づいて、オリジナル画像から長方形フレームに対応する位置をトリミングし、長方形フレーム内の車両のカーライト情報を決定するように構成される。

【0159】

カーライト検出ネットワークトレーニングモジュール４０５は、長方形フレーム内の車両のカーライト情報に基づいて、カーライト検出ネットワーク（上記実施例における第２ニューラルネットワークに対応する）をトレーニングするように構成される。

【0160】

カーライト検出結果出力モジュール４０６は、カーライト検出ネットワークを介してオリジナル画像内のカーライトを検出して、カーライト検出結果を取得するように構成される。

【0161】

いくつかの実施例では、当該カーライト検出結果は、当該車両に対応するカーライトの位置及びカーライトの大きさを含み、本開示の実施例では、カーライト検出ネットワークは、特定のネットワークに限定されない。

【0162】

カーライトマッチング置換モジュール４０８は、オリジナル画像内の車両に対応するカーライトの位置及び大きさ、及び当該車両に対応するサブカテゴリを検出した後、カーライトライブラリ４０７から検索されたオリジナル画像の車のテールライトとマッチするサンプルテールライト図を使用して、オリジナル画像内の車のテールライトに対して、カーライトマッチング置換を実行するように構成される。

【0163】

いくつかの実施例では、画像マッチング方法を使用して、対応するカーライトライブラリ４０７から、対応するカテゴリの夜間シーンでのテールライトのサンプルを検索し、テールライトのサイズを伸縮することによって、当該車両と同じサイズのサンプルテールライトのサンプルテールライト図（即ち、当該車両のテールライトとマッチする目標プリセット画像）を取得する。

【0164】

最終結果出力モジュール４１０は、当該サンプルテールライト図を使用して、オリジナル画像内の車のテールライトの所在領域を置換し、スムージング技術を使用して、車のテールライト領域の周囲の画像に対して平滑化処理を実行することにより、目標画像を取得、即ち、最終的な夜間の発光する車のテールライトの画像結果を取得するように構成される。

【0165】

いくつかの実施例では、カーライトライブラリ内のテールライト画像を使用して、オリジナル画像内の車のテールライトを置換した後の画像は、図５に示される通りであり、図５は、本開示の実施例による画像生成方法の別の適用シーンの概略図であり、ここで、オリジナル画像５０１（上記実施例におけるオリジナル画像に対応する）は、昼間シーンで収集された画像であり、目標画像の生成プロセスは以下の通りである。

【0166】

まず、オリジナル画像５０１に対して目標検出を実行し、長方形フレームで車両５０２、５０３、及び５０４を示す。

【0167】

次に、長方形フレームで示さられた領域（即ち、車両５０２、５０３、及び５０４）を切り取って拡大し、夜間シーン画像に変換して、夜間シーン画像５１１、５１２、及び５１３（上記実施例における処理対象画像に対応する）を順次取得する。

【0168】

最後に、プリセット画像ライブラリから、夜間シーン画像５１１、５１２、及び５１３の車のテールライトとマッチするサンプルテールライト図を決定し、サンプルテールライト図を使用して、夜間シーン画像５１１、５１２、及び５１３の車のテールライトの所在領域を置換して、発光するテールライトを追加した後の夜間シーン画像５２１、５２２、及び５２３、即ち、目標画像を順次取得する。

【0169】

本開示の実施例では、まず、車両検出と同時に車両モデルをサブ分類し、次に、車両検出結果を使用して車のテールライト検出を実行して、車のテールライトの位置及び大きさを取得し、最後に、車のモデルの分類結果、車のテールライトの位置及び大きさに基づいて、ライブラリでサンプルテールライトをマッチングして、最終的なテールライト付きの画像を取得し、このように、テールライトの追加がより自然になるだけでなく、昼間シーンの画像を夜間シーン画像に変換した車両のテールライトを点灯させ、夜間シーンの信憑性により適合する。

【0170】

本開示の実施例は、画像生成装置を提供し、図６は、本開示の実施例による画像生成装置の概略構造図であり、図６に示されるように、前記装置６００は、
オリジナル画像内の目標オブジェクトの照明ランプを検出するように構成される照明ランプ検出モジュール６０１と、
前記オリジナル画像を特定のシーンでの処理対象画像に変換するように構成される画像変換モジュール６０２と、
前記処理対象画像において、動作状態が前記特定のシーンのシーン情報とマッチしない照明ランプを置換対象オブジェクトとして決定するように構成されるオブジェクト決定モジュール６０３と、
前記シーン情報及び前記置換対象オブジェクトに基づいて、動作状態が前記シーン情報とマッチする置換対象オブジェクトを含む置換画像を決定するように構成される置換画像決定モジュール６０４と、
前記置換画像を用いて、前記処理対象画像における前記置換対象オブジェクトが占める領域の画像を置換し、目標画像を生成するように構成される目標画像生成モジュール６０５と、を備える。

【0171】

上記の装置において、前記置換画像決定モジュール６０４は、
前記置換対象オブジェクトの属性情報を決定するように構成される属性決定サブモジュールと、
プリセット画像ライブラリから、属性が前記置換対象オブジェクトの属性情報とマッチするプリセットオブジェクトを含む目標プリセット画像を検索するように構成される目標プリセット画像検索サブモジュールと、
検索された目標プリセット画像を、前記置換画像として決定するように構成される置換画像決定サブモジュールと、を備え、ここで、前記置換画像における前記プリセットオブジェクトの動作状態は、前記シーン情報とマッチする。

【0172】

上記の装置において、前記画像生成装置はさらに、
前記置換対象オブジェクトと前記オリジナル画像を収集する装置との距離を決定するように構成される距離決定モジュールを備え、
前記目標プリセット画像検索サブモジュールはさらに、
前記置換対象オブジェクトのカテゴリ情報及び決定された距離に基づいて、前記プリセット画像ライブラリから、属性が前記置換対象オブジェクトの属性情報とマッチするプリセットオブジェクトを含む目標プリセット画像を検索するように構成される。

【0173】

上記の装置において、前記プリセット画像ライブラリから前記目標プリセット画像が検索できないことに応答して、前記画像生成装置はさらに、
属性が前記置換対象オブジェクトの属性情報とマッチするプリセットオブジェクトを含む目標プリセット画像を生成し、生成された目標プリセット画像を、前記置換画像として決定するように構成される目標プリセット画像生成モジュールを備える。

【0174】

上記の装置において、前記目標プリセット画像生成モジュールは、
前記置換対象オブジェクトと前記オリジナル画像を収集する装置との距離に基づいて、前記プリセットオブジェクトの動作パラメータを決定するように構成される動作パラメータ決定サブモジュールと、
決定された動作パラメータに基づいて、前記プリセットオブジェクトを含む目標プリセット画像を生成する用に構成される目標プリセット画像生成サブモジュールと、を備える。

【0175】

上記の装置において、前記距離決定モジュールは、
前記置換対象オブジェクトのカテゴリ情報に基づいて、前記置換対象オブジェクトのサイズ情報を決定するように構成されるサイズ情報決定サブ第１モジュールと、
前記サイズ情報及び前記処理対象画像内の前記置換対象オブジェクトのサイズに基づいて、前記オリジナル画像を収集する装置と前記置換対象オブジェクトとの距離を決定するように構成される距離決定サブモジュールと、を備える。

【0176】

上記の装置において、前記目標プリセット画像が生成された後、前記画像生成装置はさらに、
前記目標プリセット画像を、前記プリセット画像ライブラリに格納するように構成される画像ライブラリ更新モジュールを備える。

【0177】

上記の装置において、前記プリセットオブジェクトの動作パラメータは、照明ランプの光強度であり、
前記動作パラメータ決定サブモジュールは、前記照明ランプが作動状態にあるときの光強度を決定するように構成される光強度決定第１ユニットと、前記距離及び前記照明ランプが作動状態にあるときの光強度に基づいて、前記距離とマッチする前記照明ランプの光強度を決定ように構成される光強度決定第２ユニットと、を備え、
前記目標プリセット画像生成サブモジュールはさらに、前記距離とマッチする光強度に基づいて、距離とマッチする光強度を有する前記プリセットオブジェクトを含む目標プリセット画像を生成するように構成される。

【0178】

上記の装置において、前記目標画像生成モジュール６０５は、
前記置換画像のサイズ情報を決定するように構成されるサイズ情報決定サブ第２モジュールと、
前記処理対象画像における前記置換対象オブジェクトが占める領域の面積を決定するように構成される面積決定サブモジュールと、
前記面積に基づいて、前記置換画像のサイズ情報を調整して、調整された画像を取得するように構成される置換画像調整サブモジュールと、
前記調整された画像を用いて、前記置換対象オブジェクトが占める領域の画像を置換して、候補画像を生成するように構成される候補画像生成サブモジュールと、
前記候補画像に対して平滑化処理を実行して、前記目標画像を生成するように構成される目標画像生成サブモジュールと、を備える。

【0179】

上記の装置において、前記目標オブジェクトは、ドライブ機器、街路灯を含む。

【0180】

上記の装置の実施例に関する説明は、上記の方法の実施例に関する説明と類似しており、方法の実施例と類似した有益な効果を有することに留意されたい。本開示の装置の実施例に開示されていない技術的詳細については、本開示の方法の実施例の説明を参照することによって理解できる。

【0181】

なお、本開示の実施例では、上記の画像生成方法が、ソフトウェア機能モジュールの形で実行され、独立した製品として販売又は使用される場合、コンピュータ可読記憶媒体に記憶されることもできる。このような理解に基づいて、本開示の技術的解決策の本質的な部分、又は先行技術に貢献のある部分、又は当該技術的解決策の一部は、ソフトウェア製品の形で具現されることができ、前記コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、１台のコンピュータ機器（端末、サーバなどであり得る）に、本開示の各実施例に記載の方法の全部又は一部のステップを実行させるためのいくつかの命令を含む。前述した記憶媒体は、Ｕディスク、モバイルハードディスク、読み取り専用プロセッサ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。このようにして、本開示の実施例は、特定のハードウェア及びソフトウェアの組み合わせに限定されない。

【0182】

これに対応して、本開示の実施例は、コンピュータプログラム製品を更に提供し、前記コンピュータプログラム製品は、コンピュータ実行可能命令を含み、当該コンピュータ実行可能命令は、本開示の実施例によって提供される画像生成方法のステップを実現する。これに対応して、本開示の実施例は、コンピュータ記憶媒体を更に提供し、前記コンピュータ記憶媒体には、コンピュータ実行可能命令が記憶され、当該コンピュータ実行可能命令は、本開示の実施例によって提供される画像生成方法のステップを実現する。これに対応して、本開示の実施例は、コンピュータ機器を提供し、図７は、本開示の実施例によるコンピュータ機器の概略構造図であり、図７に示されるように、前記コンピュータ機器７００は、１つのプロセッサ７０１、少なくとも１つの通信バス、通信インターフェース７０２、少なくとも１つの外部通信インターフェース、及びメモリ７０３を含む。ここで、通信インターフェース７０２は、これらの構成要素間の接続通信を実現するように構成される。ここで、通信インターフェース７０２は、表示画面を含み得、外部通信インターフェースは、標準の有線及び無線インターフェースを含み得る。前記プロセッサ７０１は、メモリ内の画像処理プログラムを実行し、上記の実施例によって提供される画像生成方法を実現する。

【0183】

上記の画像生成装置、コンピュータ機器、及び記憶媒体における実施例の説明は、上記の方法の実施例の説明と類似しており、対応する方法の実施例と類似する技術的説明及び有益な効果を有し、紙数に限りがあるので、上記の方法の実施例の記載を参照でき、ここでは繰り返して説明しない。本開示の画像生成装置、コンピュータ機器及び記憶媒体における実施例に開示されていない技術的詳細については、本開示の方法の実施例の説明を参照することによって理解できる。本明細書全体で言及される「１つの実施例」又は「一実施例」は、実施例に相関する特定の特徴、構造、又は特性が、本開示の少なくとも１つの実施例に含まれることを意味することを理解されたい。したがって、本明細書における「１つの実施例では」又は「一実施例では」は、必ずしも同じ実施例を指すとは限らない。さらに、これらの特定の特徴、構造、又は特性は、任意の適切な方式で、１つ又は複数の実施例に組み合わせることができる。本開示の各実施例において、上記の各プロセスのシーケンス番号の大小は、実行順序を意味するものではなく、各プロセスの実行シーケンスは、その機能と内部論理によって決定されるべきであり、本開示の実施例の実施プロセスにいかなる制限も構成すべきではないことを理解されたい。上記の本開示の実施例の番号は、実施例の優劣を表すものではなく、説明の便宜を図るためのものである。

【0184】

なお、本明細書において、「備える」、「含む」という用語、又はその任意の他の変形は、非排他的な包含をカバーすることを意図するので、一連の要素を含むプロセス、方法、物品又は装置は、それらの要素だけでなく、明示的に列挙されていない他の要素、又は、そのようなプロセス、方法、物品、又は装置の固有の要素を更に含む。特に限定されていない場合、「…を含む」という文で定義された要素は、当該要素を含むプロセス、方法、物品、又は装置に、他の同じ要素があることを排除するものではない。

【0185】

本開示で提供されるいくつかの実施例では、開示された方法は、他の方式で実現できることを理解されたい。以上に説明した機器の実施例は単なる例示的なものであり、例えば、前記ユニットの分割は、論理的な機能の分割に過ぎない。実際の実現では、別の分割方法が存在でき、例えば、複数のユニット又はコンポーネントを組み合わせるか別のシステムに統合することができ、又は一部の特徴を無視するか実行しないことができる。さらに、図示又は説明された各構成要素間の相互結合又は直接結合又は通信接続は、いくつかのインターフェース、機器又はユニットを介した間接な結合又は通信接続であり得、電気的、機械的又は他の形態であり得る。

【0186】

前記分離部材として説明されたユニットは、物理的に分離されてもされていなくてもよく、ユニットとして表示された部材は、物理的なユニットであってもなくてもよい。つまり、前記ユニットは、１箇所に配置されてもよいし、複数のネットワークユニットに分散されてもよく、実際の必要に応じて、そのうちの一部又はすべてのユニットを選択して、本実施例の技術案の目的を実現することができる。また、本開示の各実施例における各機能ユニットは、すべて１つの第２処理ユニットに統合されてもよく、各ユニットが個別に１つのユニットとして使用されてもよく、２つ以上のユニットが１つのユニットに統合されてもよい。前記統合されたユニットは、ハードウェアの形で、又はハードウェアとソフトウェア機能ユニットの組み合わせの形で具現することができる。当業者なら、上記方法の実施例を実現する全部又は一部のステップは、プログラム命令に関連するハードウェアによって完了することができ、前記プログラムは、コンピュータ可読記憶媒体に記憶することができ、前記プログラムが実行されるとき、上記方法の実施例のステップを実行し、前記記憶媒体は、リムーバブルストレージ、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ又は光ディスクなどのプログラムコードを記憶することができる様々な媒体を含むことを理解することができる。

【0187】

又は、本開示の上記の統合されたユニットは、ソフトウェア機能モジュールの形で実現され且つ独立した製品として販売又は使用される場合、コンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づいて、本開示の実施例の技術的解決策の本質的な部分、又は先行技術に貢献のある部分は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、一台のコンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器などであリ得る）に、本開示の実施例の各実施方法における全部又は一部の処理を実行させるためのいくつかの命令を含む。前述した記憶媒体は、リムーバブルストレージ、ＲＯＭ、磁気メモリ又は光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。上記の内容は、本開示の実施形態に過ぎず、本開示の保護範囲はこれに限定されない。本開示で開示された技術的範囲内で、当業者が容易に想到し得る変形又は置換はすべて、本開示の保護範囲内に含まれるべきである。したがって、本開示の保護範囲は、特許請求の保護範囲に従うものとする。

【産業上の利用可能性】

【0188】

本開示の実施例は、画像生成方法、装置、機器及び記憶媒体を提供し、ここで、オリジナル画像内の目標オブジェクトの照明ランプを検出することと、前記オリジナル画像を特定のシーンでの処理対象画像に変換することと、前記処理対象画像において、動作状態が前記特定のシーンのシーン情報とマッチしない照明ランプを置換対象オブジェクトとして決定することと、前記シーン情報及び前記置換対象オブジェクトに基づいて、動作状態が前記シーン情報とマッチする置換対象オブジェクトを含む置換画像を決定することと、前記置換画像を用いて、前記処理対象画像における前記置換対象オブジェクトが占める領域の画像を置換し、目標画像を生成することと、を含む。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】