特許 7537035 画像生成方法、装置、機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-09

(45)【発行日】2024-08-20

(54)【発明の名称】画像生成方法、装置、機器及び記憶媒体

(51)【国際特許分類】

   G06T 1/00 20060101AFI20240813BHJP

   G06T 5/60 20240101ALI20240813BHJP

   G06T 5/77 20240101ALI20240813BHJP

   G06T 7/00 20170101ALI20240813BHJP

   H04N 7/18 20060101ALI20240813BHJP

【ＦＩ】

G06T1/00 330Z

G06T5/60

G06T5/77

G06T7/00 300

H04N7/18 U

【請求項の数】 13

(21)【出願番号】P 2023559825

(86)(22)【出願日】2022-01-26

(65)【公表番号】

(43)【公表日】2024-03-18

(86)【国際出願番号】 CN2022074059

(87)【国際公開番号】W WO2022206156

(87)【国際公開日】2022-10-06

【審査請求日】2023-09-27

(31)【優先権主張番号】202110351943.9

(32)【優先日】2021-03-31

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520018428

【氏名又は名称】センスタイム グループ リミテッド

(73)【特許権者】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】チョン グアンリアン

(72)【発明者】

【氏名】シー ジエンピン

(72)【発明者】

【氏名】安井 裕司

(72)【発明者】

【氏名】松永 英樹

(72)【発明者】

【氏名】冨手 要

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開２０１５－１４９６１１（ＪＰ，Ａ）

【文献】特開２０１７－１５２８６６（ＪＰ，Ａ）

【文献】特開２０１７－０１６６６３（ＪＰ，Ａ）

【文献】特開２０１０－０３３３２１（ＪＰ，Ａ）

【文献】特開２０１６－０７２６９４（ＪＰ，Ａ）

【文献】国際公開第２０２０／２２０８０７（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２０／００６６０３０（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１１２６０７６９（ＣＮ，Ａ）

【文献】中西 悟、町田 貴史，“Ｄｅｅｐ Ｐｈｏｔｏ Ｒｅｌｉｇｈｔｉｎｇ：深層学習を用いた自由視点画像の日照条件変更”，情報処理学会研究報告，日本，情報処理学会，2018年02月27日，Vol.2018-AVM-100, No.3，pp.1-6

【文献】小倉 洋平、斎藤 英雄，“ＲＧＢ－Ｄカメラから得られる法線マップを用いた照明推定とリライティング”，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2015年01月15日，Vol.114, No.410，pp.183-186

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００，５／６０，５／７７，７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

電子機器によって実行される画像生成方法であって、
オリジナル画像を特定場面の処理対象画像に変換することと、
前記処理対象画像において、画像レンダリング状態が前記特定場面の場面情報に合致しない調整すべき領域を決定することであって、前記調整すべき領域の画像レンダリング状態は、オリジナル画像の目標対象に照射される光線に関係しており、前記目標対象は車両を含む、ことと、
前記調整すべき領域における目標レンダリング状態を決定することであって、前記目標レンダリング状態は、前記場面情報に合致する、ことと、
前記処理対象画像において、前記調整すべき領域の画像レンダリング状態を前記目標レンダリング状態に調整して、目標画像を得ることと、を含む、画像生成方法。

【請求項2】

前記画像レンダリング状態は陰影レンダリング状態を含み、前記調整すべき領域における目標レンダリング状態を決定することは、
前記処理対象画像において、陰影レンダリング状態が前記場面情報に合致する参照領域を決定することと、
前記参照領域の陰影レンダリング状態を前記目標レンダリング状態として決定することと、を含む、
請求項１に記載の画像生成方法。

【請求項3】

前記処理対象画像において、画像レンダリング状態が前記特定場面の場面情報に合致しない調整すべき領域を決定することは、
前記場面情報が光源のない夜間場面又は太陽光のない日中場面である場合、前記処理対象画像における陰影領域を前記調整すべき領域として決定することを含む、
請求項２に記載の画像生成方法。

【請求項4】

前記処理対象画像において、画像レンダリング状態が前記特定場面の場面情報に合致しない調整すべき領域を決定することは、
前記場面情報が光源のある夜間場面又は太陽光のある日中場面である場合、前記目標対象に照射される光線の方向に基づいて、前記目標対象で生じ得る陰影領域を決定することと、
前記処理対象画像における陰影領域のうちの第１陰影領域以外の陰影領域を、調整すべき領域として決定することであって、前記第１陰影領域は、前記処理対象画像における陰影領域と前記目標対象で生じ得る陰影領域の積集合である、ことと、を含む、
請求項２又は３に記載の画像生成方法。

【請求項5】

前記参照領域の陰影レンダリング状態は陰影なしレンダリング状態であり、前記処理対象画像において、前記調整すべき領域の画像レンダリング状態を前記目標レンダリング状態に調整して、目標画像を得ることは、
前記処理対象画像において、前記参照領域の画像に基づいて、前記調整すべき領域の画像を陰影なし状態に調整して、前記目標画像を得ることを含む、
請求項３又は４に記載の画像生成方法。

【請求項6】

前記処理対象画像において、前記参照領域の画像に基づいて、前記調整すべき領域の画像を陰影なし状態に調整して、前記目標画像を得ることは、
前記参照領域の画像に基づいて前記調整すべき領域の階調画像を調整して、調整済みの階調画像を得ることと、
前記調整済みの階調画像に基づいて、陰影レンダリング状態が陰影なし状態である置き換え用領域の画像を生成することと、
前記処理対象画像において、生成された置き換え用領域の画像を用いて前記調整すべき領域の画像を置き換えて、前記目標画像を生成することと、を含む、
請求項５に記載の画像生成方法。

【請求項7】

前記参照領域の画像に基づいて前記調整すべき領域の階調画像を調整して、調整済みの階調画像を得ることは、
前記参照領域の画像に基づいて前記参照領域のヒストグラムを決定することと、
前記参照領域のヒストグラムに基づいて、前記調整すべき領域のヒストグラムを調整して、調整済みのヒストグラムを得ることと、
前記調整済みのヒストグラムに基づいて、前記調整済みの階調画像を決定することと、を含む、
請求項６に記載の画像生成方法。

【請求項8】

前記画像レンダリング状態は陰影レンダリング状態を含み、前記処理対象画像において、画像レンダリング状態が前記場面情報に合致しない調整すべき領域を決定することは、
前記場面情報が光源のある夜間場面又は太陽光のある日中場面である場合、前記目標対象に照射される光線の方向に基づいて、前記目標対象で生じ得る陰影領域を決定することと、
前記目標対象で生じ得る陰影領域を、調整すべき領域として決定することと、を含む、
請求項１ないし７のいずれか一項に記載の画像生成方法。

【請求項9】

前記処理対象画像において、前記調整すべき領域の画像レンダリング状態を前記目標レンダリング状態に調整して、目標画像を得ることは、
前記特定場面における照明パラメータを決定することと、
前記照明パラメータに基づいて、陰影領域が生じ得る目標対象表面の照明強度を決定し、前記調整すべき領域をレンダリングして、前記目標画像を得ることと、を含む、
請求項８に記載の画像生成方法。

【請求項10】

前記オリジナル画像は、雨／雪が降っていないときに収集された画像であり、前記特定場面は、雨の場面／雪の場面であり、
前記処理対象画像において、前記調整すべき領域の画像レンダリング状態を前記目標レンダリング状態に調整して、目標画像を得ることは、
前記オリジナル画像に雨粒／雪花を追加して、目標画像を得ることを含む、
請求項１ないし９のいずれか一項に記載の画像生成方法。

【請求項11】

画像生成装置であって、
オリジナル画像を特定場面の処理対象画像に変換するように構成される第１変換モジュールと、
前記処理対象画像において、画像レンダリング状態が前記特定場面の場面情報に合致しない調整すべき領域を決定するように構成される第１決定モジュールであって、前記調整すべき領域の画像レンダリング状態は、オリジナル画像の目標対象に照射される光線に関係しており、前記目標対象は車両を含む、第１決定モジュールと、
前記調整すべき領域における目標レンダリング状態を決定するように構成される第２決定モジュールであって、前記目標レンダリング状態は、前記場面情報に合致する、第２決定モジュールと、
前記処理対象画像において、前記調整すべき領域の画像レンダリング状態を前記目標レンダリング状態に調整して、目標画像を得るように構成される第１調整モジュールと、を備える、画像生成装置。

【請求項12】

コンピュータ実行可能な命令が記憶されているコンピュータ記憶媒体であって、
当該コンピュータ実行可能な命令が実行されるときに、請求項１ないし１０のいずれか一項に記載の方法を実現することができる、コンピュータ記憶媒体。

【請求項13】

電子機器であって、
メモリ及びプロセッサを備え、前記メモリにはコンピュータ実行可能な命令が記憶され、前記メモリ上のコンピュータ実行可能な命令が実行されるときに、前記プロセッサに、請求項１ないし１０のいずれか一項に記載の方法のステップを実行させる、電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願への相互参照）
本願は、２０２１年０３月３１日に中国特許局に提出された、出願番号が２０２１１０３５１９４３．９である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照として本願に援用される。

【0002】

本開示の実施例は、画像処理技術分野に関し、画像生成方法、装置、機器及び記憶媒体に関するが、これらに限定されない。

【背景技術】

【0003】

関連技術における画像生成方法では、日中に取集した道路場面の画像をスタイル変換して、夜間の画像に変換する必要がある場合、日中に取集した画像に陰影が存在し、変換後の画像に依然として陰影が存在するため、生成された画像のリアル性は高くない。

【発明の概要】

【0004】

本開示の実施例は、画像生成技術方案を提供する。

【0005】

本開示の実施例の技術方案は、次のように実現される。

【0006】

本開示の実施例は画像生成方法を提供し、前記画像生成方法は、
オリジナル画像を特定場面の処理対象画像に変換することと、
前記処理対象画像において、画像レンダリング状態が前記特定場面の場面情報に合致しない調整すべき領域を決定することであって、前記調整すべき領域の画像レンダリング状態は、オリジナル画像の目標対象に照射される光線に関係しており、前記目標対象は車両を含む、ことと、
前記調整すべき領域における目標レンダリング状態を決定することであって、前記目標レンダリング状態は、前記場面情報に合致する、ことと、
前記処理対象画像において、前記調整すべき領域の画像レンダリング状態を前記目標レンダリング状態に調整して、目標画像を得ることと、を含む。

【0007】

いくつかの実施例では、前記画像レンダリング状態は陰影レンダリング状態を含み、前記調整すべき領域における目標レンダリング状態を決定することは、前記処理対象画像において、陰影レンダリング状態が前記場面情報に合致する参照領域を決定することと、前記参照領域の陰影レンダリング状態を前記目標レンダリング状態として決定することと、を含む。このようにして、光源のない夜間場面、太陽光のない日中場面のいずれの場面において、場面に合致する陰影なし状態の画像領域を参照領域とし、これによって、処理後の調整すべき領域に呈される画面色度が参照領域の画面色度と同じになるように、参照領域に基づいて調整すべき領域に対してヒストグラムのマッチングを実行する。

【0008】

いくつかの実施例では、前記処理対象画像において、画像レンダリング状態が前記特定場面の場面情報に合致しない調整すべき領域を決定することは、前記場面情報が光源のない夜間場面又は太陽光のない日中場面である場合、前記処理対象画像における陰影領域を前記調整すべき領域として決定することを含む。このようにして、画面内容が不合理な画像領域を正確に決定することができる。

【0009】

いくつかの実施例では、前記処理対象画像において、画像レンダリング状態が前記特定場面の場面情報に合致しない調整すべき領域を決定することは、前記場面情報が光源のある夜間場面又は太陽光のある日中場面である場合、前記目標対象に照射される光線の方向に基づいて、前記目標対象で生じ得る陰影領域を決定することと、前記処理対象画像における陰影領域のうちの第１陰影領域以外の陰影領域を、調整すべき領域として決定することであって、前記第１陰影領域は、前記処理対象画像における陰影領域と前記目標対象で生じ得る陰影領域の積集合であることと、を含む。このようにして、処理対象画像における、目標対象で生じ得る陰影領域以外の陰影領域を、調整すべき領域とすることにより、陰影レンダリング状態を調整する必要がある領域をより正確に決定することができる。

【0010】

いくつかの実施例では、前記参照領域の陰影レンダリング状態は陰影なしレンダリング状態であり、前記処理対象画像において、前記調整すべき領域の画像レンダリング状態を前記目標レンダリング状態に調整して、目標画像を得ることは、前記処理対象画像において、前記参照領域の画像に基づいて、前記調整すべき領域の画像を陰影なし状態に調整して、前記目標画像を得ることを含む。このようにして、生成された目標画像における陰影レンダリング状態は陰影なし状態であり、光源のない夜間場面及び太陽光のない日中場面により合致する。

【0011】

いくつかの実施例では、前記処理対象画像において、前記参照領域の画像に基づいて、前記調整すべき領域の画像を陰影なし状態に調整して、前記目標画像を得ることは、前記参照領域の画像に基づいて前記調整すべき領域の階調画像を調整して、調整済みの階調画像を得ることと、前記調整済みの階調画像に基づいて、陰影レンダリング状態が陰影なし状態である置き換え用領域の画像を生成することと、前記処理対象画像において、生成された置き換え用領域の画像を用いて前記調整すべき領域の画像を置き換えて、前記目標画像を生成することと、を含む。このようにして、生成された目標画像における陰影レンダリング状態は場面情報に合致し、これにより、生成された目標画像のリアル性を向上させる。

【0012】

いくつかの実施例では、前記参照領域の画像に基づいて前記調整すべき領域の階調画像を調整して、調整済みの階調画像を得ることは、前記参照領域の画像に基づいて前記参照領域のヒストグラムを決定することと、前記参照領域のヒストグラムに基づいて、前記調整すべき領域のヒストグラムを調整して、調整済みのヒストグラムを得ることと、前記調整済みのヒストグラムに基づいて、前記調整済みの階調画像を決定することと、を含む。このようにして、画像の陰影部分をより自然に除去することができ、これにより、得られた画像の画面内容のリアル性を向上させる。

【0013】

いくつかの実施例では、前記画像レンダリング状態は陰影レンダリング状態を含み、前記処理対象画像において、画像レンダリング状態が前記場面情報に合致しない調整すべき領域を決定することは、前記場面情報が光源のある夜間場面又は太陽光のある日中場面である場合、前記目標対象に照射される光線の方向に基づいて、前記目標対象で生じ得る陰影領域を決定することと、前記目標対象で生じ得る陰影領域を、調整すべき領域として決定することと、を含む。このようにして、調整後の目標画像のリアル性及び自然度を向上させることができる。

【0014】

いくつかの実施例では、前記処理対象画像において、前記調整すべき領域の画像レンダリング状態を前記目標レンダリング状態に調整して、目標画像を得ることは、前記特定場面における照明パラメータを決定することと、前記照明パラメータに基づいて、陰影領域が生じ得る目標対象表面の照明強度を決定し、前記調整すべき領域をレンダリングして、前記目標画像を得ることと、を含む。このようにして、目標画像において人工光源に近い目標対象は陰影領域が生じ、自然光がある場合に目標対象は陰影領域が生じることができ、したがって、生成された目標画像のリアル性を向上させる。

【0015】

いくつかの実施例では、前記オリジナル画像は、雨／雪が降っていないときに収集された画像であり、前記特定場面は、雨の場面／雪の場面であり、前記処理対象画像において、前記調整すべき領域の画像レンダリング状態を前記目標レンダリング状態に調整して、目標画像を得ることは、前記オリジナル画像に雨粒／雪花を追加して、目標画像を得ることを含む。このようにして、より現実的な目標画像を得ることができる。

【0016】

本開示の実施例は画像生成装置を提供し、前記画像生成装置は、
オリジナル画像を特定場面の処理対象画像に変換するように構成される第１変換モジュールと、
前記処理対象画像において、画像レンダリング状態が前記特定場面の場面情報に合致しない調整すべき領域を決定するように構成される第１決定モジュールであって、前記調整すべき領域の画像レンダリング状態は、オリジナル画像の目標対象に照射される光線に関係しており、前記目標対象は車両を含む、第１決定モジュールと、
前記調整すべき領域における目標レンダリング状態を決定するように構成される第２決定モジュールであって、前記目標レンダリング状態は、前記場面情報に合致する、第２決定モジュールと、
前記処理対象画像において、前記調整すべき領域の画像レンダリング状態を前記目標レンダリング状態に調整して、目標画像を得るように構成される第１調整モジュールと、を備える。

【0017】

これに対応して、本開示の実施例はコンピュータ記憶媒体を提供し、前記コンピュータ記憶媒体にはコンピュータ実行可能な命令が記憶されており、当該コンピュータ実行可能な命令が実行されるときに、上記の方法のステップを実現することができる。

【0018】

本開示の実施例は電子機器を提供し、前記電子機器はメモリ及びプロセッサを備え、前記メモリにはコンピュータ実行可能な命令が記憶されており、前記メモリ上のコンピュータ実行可能な命令が実行されるときに、前記プロセッサに、上記の方法のステップを実行させる。

【0019】

本開示の実施例は、コンピュータ可読コードを含むコンピュータプログラムを提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、上記の任意の画像生成方法を実行させる。

【0020】

本開示の実施例は画像生成方法、装置、機器及び記憶媒体を提供し、先ず、オリジナル画像を変換して、特定場面の処理対象画像を得、その後、処理対象画像において、画像レンダリング状態が場面情報に合致しない調整すべき領域を決定した後、調整すべき領域のレンダリング状態を、場面情報に合致する目標レンダリング状態に調整して、画像レンダリング状態が場面情報に合致する目標画像を生成し、このようにして、生成された目標画像における陰影レンダリング状態は場面情報に合致し、これにより、生成された目標画像のリアル性を向上させる。

【図面の簡単な説明】

【0021】

【図1A】本開示の実施例を適用可能な画像生成方法のシステムアーキテクチャの概略図である。

【図1B】本開示の実施例に係る画像生成方法の例示的なフローチャートである。

【図2】本開示の実施例に係る画像生成方法の別の例示的なフローチャートである。

【図3A】本開示の実施例に係る画像生成システムの構成の概略構造図である。

【図3B】本開示の実施例に係る画像生成方法の適用場面の概略図である。

【図4】本開示の実施例に係る画像生成方法の実装フレームワーク構造図である。

【図5】本開示の実施例に係る画像生成方法の別の適用場面の概略図である。

【図6】本開示の実施例に係る画像生成装置の構成の概略構造図である。

【図7】本開示の実施例に係るコンピュータ機器の構成の概略構造図である。

【発明を実施するための形態】

【0022】

上記の図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本開示の実施例に準拠する実施例を示し、明細書とともに本開示の実施例の技術的解決策を説明するために使用される。

【0023】

以下の説明において、「第１／第２／第３」という用語は、オブジェクトに対する特定の順序を表すものではなく、類似するオブジェクトを区別するものに過ぎない。理解できることとして、「第１／第２／第３」は、いくつかの実施例で説明される本開示の実施例がいくつかの実施例で図示又は説明された順序以外の順序で実施されることができるように、場合によっては、特定の順序や前後の順序を交換することができる。

【0024】

特に定義されない限り、本明細書で使用される技術用語及び科学用語は、本開示の技術分野の当業者によって一般的に理解されるのと同じ意味を有する。本明細書で使用する用語は、本開示の実施例を説明することのみを目的としており、本開示を限定することを意図するものではない。

【0025】

本開示の実施例を更に詳細に説明する前に、本開示の実施例に関する術語や用語を説明し、本開示の実施例に関する術語や用語は、以下のように解釈される。

【0026】

１）ガウスぼかし：画像にとっては１つの低域通過フィルタである。いわゆる「ぼかし」は、各画素の値は周辺の画素の平均値を取ったものであると理解できる。

【0027】

２）自車両（ｅｇｏ ｖｅｈｉｃｌｅ）：周囲環境を感知するためのセンサを備えた車両である。車両座標系は、自車両に固定されており、ｘ軸は、車両の進行方向であり、ｙ軸は、車両の進行方向の左側を指しており、ｚ軸は、地面に垂直して上向く方向であり、右手座標系に準拠する。座標系原点は、後車軸の中点の下の地面に位置する。

【0028】

以下、本開示の実施例に係る画像生成機器の例示的な応用について説明しており、本開示の実施例に係る機器は、画像取集機能を備えたノットブックコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、カメラ、モバイル機器（例えば、携帯情報端末、専用メッセージング機器、ポータブルゲーム機器）等の様々なタイプのユーザ端末として実施されてもよいし、サーバとして実施されてもよい。以下、機器が端末又はサーバとして実施されるときの例示的な応用について説明する。

【0029】

当該方法はコンピュータ機器に適用でき、当該方法によって実現される機能は、コンピュータ機器のプロセッサがプログラムコードを呼び出すことによって実現でき、無論、プログラムコードは、コンピュータ記憶媒体に記憶されてもよく、ここから分かるように、当該コンピュータ機器は少なくとも、プロセッサ及び記憶媒体を備える。

【0030】

図１Ａは、本開示の実施例を適用可能な画像生成方法のシステムアーキテクチャの概略図であり、図１Ａに示すように、当該システムアーキテクチャは、画像収集機器１３１、ネットワーク１３２及び画像生成端末１３３を備える。例示的な適用をサポートするために、画像収集機器１３１と画像生成端末１３３は、ネットワーク１３２によって通信することができ、画像収集機器１３１は、ネットワーク２０２によって、収集されたオリジナル画像を画像生成端末１３３に報告し（或いは、画像生成端末１３３はオリジナル画像を自動的に得る）、画像生成端末１３３は、受信されたオリジナル画像に応答して、先ず、当該画像を特定場面の処理対象画像に変換し、処理対象画像において、不合理な調整すべき領域を決定し、その後、当該調整すべき領域の目標レンダリング状態を決定し、調整すべき領域の画像レンダリング状態を目標レンダリング状態に調整して、目標画像を得、目標画像を画像生成端末１３３の画像表示インターフェースに出力する。このようにして、目標画像における対称の動作状態を場面情報に合致させ、これにより、生成された目標画像を実際の場面により一致させる。

【0031】

一例として、画像収集機器１３１は、カメラ等を備えた収集機器であってもよい。画像生成端末１３３は、コンピューティング能力を備えたコンピュータ機器を備えることができ、当該コンピュータ機器は、例えば、端末機器又はサーバ又は他の処理機器を含む。ネットワーク１３２は、有線接続方式又は無線接続方式を採用することができる。ここで、画像生成端末１３３がサーバである場合、画像収集機器１３１は、有線接続によってサーバと通信し、例えば、バスによってデータ通信を行い、画像生成端末１３３が端末機器である場合、画像収集機器１３１は、無線接続によって画像生成端末１３３と通信し、データ通信を行う。

【0032】

或いは、いくつかの場面では、画像生成端末１３３は、カメラを備えたホスト機器など、ビデオ収集モジュールを備えた視覚処理機器であってもよい。この場合、本開示の実施例に係る画像生成方法は、画像生成端末１３３によって実行でき、上記のシステムアーキテクチャは、ネットワーク１３２及び画像収集機器１３１を備えなくてもよい。

【0033】

本開示の実施例の目的、技術方案及び利点をより明確するために、以下、本開示の実施例の図面を参照して、本開示の具体的な技術方案を更に詳細に説明する。以下の実施例は、本開示を説明するためのものに過ぎず、本開示の範囲を限定するものではない。

【0034】

以下の説明では、「いくつかの実施例」に関し、これは全ての可能な実施例のサブセットを意味するが、理解できることとして、「いくつかの実施例」は全ての可能な実施例の同じサブセット又は異なるサブセットであってもよく、競合することなく組み合わせることができる。

【0035】

図１Ｂは、本開示の実施例に係る画像生成方法の例示的なフローチャートであり、図１Ｂに示すように、図１Ｂに示されるステップを参照して説明する。

【0036】

ステップＳ１０１において、オリジナル画像を特定場面の処理対象画像に変換する。

【0037】

いくつかの実施例では、オリジナル画像は、任意の場面で収集された画像であってもよく、オリジナル画像は、画面内容が複雑な画像を含んでもよいし、画面内容が簡単な画像を含んでもよく、例えば、深夜に収集された道路画像、又は日中に収集された道路画像等であってもよい。特定場面は、日中場面、夕方場面、雨雪の場面又は晴天場面等を含む。特定場面の場面情報は、当該処理対象画像を収集する場面（例えば、場面における光線の明暗度合い、場面の所在位置及び場面における対象等）を含み、例えば、処理対象画像は、深夜場面における道路画像である場合、場面情報は、当該道路の明暗度合い、当該道路の位置及び道路上の車両と街灯等の対象を含む。

【0038】

いくつかの可能な実施形態では、処理対象画像は、特定場面（例えば、深夜場面、夕方場面又は早朝場面等）における画像であってもよい。

【0039】

ステップＳ１０１において、オリジナル画像を特定場面の処理対象画像に変換することは、次のステップによって実現できる。

【0040】

目標対象を取得し、特定場面に従ってオリジナル画像をスタイル変換することにより、処理対象画像を得、具体的な過程は以下のとおりである。

【0041】

第１のステップにおいて、オリジナル画像を得る。

【0042】

いくつかの可能な実施形態では、オリジナル画像は、収集された任意の場面の画像（例えば、日中に収集された道路画像又は夜に収集された道路画像等）である。

【0043】

第２のステップにおいて、オリジナル画像の場面情報を決定する。

【0044】

いくつかの可能な実施形態では、オリジナル画像を得た後、訓練済みの判別器によって、当該画像の場面情報が特定場面であるか否かを判断する。例えば、特定場面が光源のない夜間場面である場合、判別器によって、当該画像の場面情報が光源のない夜間場面であるか否かを判断する。

【0045】

第３のステップにおいて、前記場面情報が前記特定場面に合致しない場合、オリジナル画像をスタイル変換して、特定場面の処理対象画像を得る。

【0046】

いくつかの可能な実施形態では、オリジナル画像の場面情報と特定場面が大きく異なる場合、オリジナル画像の場面情報を特定場面に変換し、つまり、オリジナル画像を特定場面の画像に変換することにより、特定場面の処理対象画像を得る。例えば、特定場面が光源のない夜間場面であり、オリジナル画像が太陽のある日中場面で収集された画像である場合、太陽のある日中場面で収集されたオリジナル画像を光源のない夜間場面の画像に変換し、オリジナル画像を生成器に入力することにより、光源のない夜間場面に対応する処理対象画像を生成する。或いは、特定場面が太陽のある日中場面であり、オリジナル画像が光源のない夜間場面で収集された画像である場合、光源のない夜間場面で収集されたオリジナル画像を太陽のある日中場面の画像に変換し、オリジナル画像を生成器に入力することにより、太陽のある日中場面に対応する処理対象画像を生成する。

【0047】

いくつかの実施例では、場面情報が特定場面に合致する場合、オリジナル画像を処理対象画像として決定する。

【0048】

例えば、場面情報が特定場面と同じであり、又は非常に類似している場合、オリジナル画像が特定場面を有することを意味するため、オリジナル画像に対して画像変換を実行することなく、オリジナル画像を処理対象画像として使用することができる。１つの具体的な例では、特定場面は深夜中の光源のない場面であり、オリジナル画像は、夜が訪れた場面で収集された画像であり、当該場面は特定場面に類似しており、両方とも夜間であり、この場合、オリジナル画像を処理対象画像として決定する。

【0049】

上記の第１のステップ乃至第３のステップにより、オリジナル画像を得た後、オリジナル画像の場面情報を判断し、場面情報が特定場面でない場合、オリジナル画像をスタイル変換することにより、特定場面を有する処理対象画像を得る。

【0050】

ステップＳ１０２において、前記処理対象画像において、画像レンダリング状態が前記特定場面の場面情報に合致しない調整すべき領域を決定する。

【0051】

いくつかの実施例では、前記調整すべき領域の画像レンダリング状態は、オリジナル画像の目標対象に照射される光線に関係しており、前記目標対象は車両を含み、いくつかの可能な実施形態では、目標対象は、光線の照射下で陰影が生じ得る対象であってもよく、処理対象画像の画面内容に含まれる任意の車両、交通標識、歩行者又は動物等であってもよく、例えば、処理対象画像は、夜間の都市道路画像であり、当該画像は、建物、路面及び路肩に駐車している車両等を含む。この場合、光線の照射下で陰影が生じ得る目標対象は、建物及び車両である。

【0052】

画像レンダリング状態は、光源がある場合又は光源がない場合の目標対象のレンダリング状態であり、前記画像レンダリング状態は少なくとも、陰影あり状態及び陰影なし状態を含む。ここで、光源は、人工光源及び自然光源を含み、人工光源は、街灯、建物の照明又は自動車の灯火装置等の光源を含む。場面情報に合致しない画像レンダリング状態は、当該場面情報において、画像内の物体で生じされる画像レンダリング状態が実際の場面に合致しない状態ことである。例えば、夜間場面において、光源がない（即ち、人工光源及び月光がない）場合、物体は陰影が生じないため、光源のない夜間場面に合致しない陰影レンダリング状態は陰影あり状態であり、日中の太陽光で照射される場面の場合、物体は陰影が生じるため、太陽のある日中場面に合致しない陰影レンダリング状態は陰影なし状態である。

【0053】

いくつかの可能な実施形態では、処理対象画像における陰影領域及び非陰影領域を分割することにより、これらの陰影領域及び非陰影領域の陰影レンダリング状態が場面情報に合致するか否かを判断する。例えば、場面情報は光源のない夜間場面であり、当該場面に合致しない陰影レンダリング状態は陰影あり状態であり、処理画像における陰影領域及び非陰影領域を分割した後、処理対象画像において陰影レンダリング状態が陰影あり状態である陰影領域を、調整すべき領域として決定する。

【0054】

ステップＳ１０３において、調整すべき領域における目標レンダリング状態を決定する。

【0055】

いくつかの実施例では、場面情報に合致する目標レンダリング状態は、当該場面情報において目標対象の実際に陰影が生じるときの状態である。場面情報が光源のない夜間場面である場合、陰影なし状態を、場面情報に合致する目標レンダリング状態として決定し、場面情報が太陽のある日中場面又は光源のある夜間場面である場合、陰影あり状態を、場面情報に合致する目標レンダリング状態として決定し、これにより決定された目標レンダリング状態は、場面情報に完全に合致することができ、実際の場面に合致する。例えば、光源のない夜間場面の場合、物体は陰影が生じないため、光源のない夜間場面に合致する目標レンダリング状態は陰影なし状態であり、太陽のある日中場面の場合、太陽光の照射により、目標対象は陰影が生じるため、太陽のある日中場面に合致する目標レンダリング状態は陰影あり状態である。

【0056】

１つの具体的な例では、場面情報は光源のない夜間場面であり、前記場面情報に合致する目標レンダリング状態は陰影なし状態である。処理対象画像が道路画像であることを例とすると、当該画像が路肩に駐車している車両及び樹木を含む場合、当該処理対象画像の陰影領域を分割した後、車両周辺に車両の陰影が生じた場合、当該陰影が占める画像領域は調整すべき領域であり、当該画像において領域の陰影レンダリング状態が陰影なし状態である領域は、目標レンダリング状態を有する領域である。

【0057】

別の例では、場面情報が光源のある夜間場面である場合、例えば、街灯等の人工光源がある場合、前記場面情報に合致する目標レンダリング状態は陰影あり状態である。処理対象画像が道路画像であることを例とすると、当該画像が路肩に駐車している車両及び樹木を含む場合、当該処理対象画像の陰影領域を分割した後、車両周辺に車両の陰影が生じていない場合、当該車両周辺が占める画像領域は調整すべき領域であり、当該画像において陰影レンダリング状態が陰影あり状態である領域は、目標レンダリング状態を有する領域である。

【0058】

いくつかの実施例では、特定場面が雨の場面である場合、当該場面に合致しない調整すべき領域は、雨粒を含まない画像領域である。特定場面が雪の場面である場合、当該場面に合致しない調整すべき領域は、雪花を含まない画像領域である。

【0059】

１つの例では、場面情報が雨／雪の場面であることを例とすると、オリジナル画像が、雨／雪が降っていないときに収集された画像である場合、調整すべき領域は、当該オリジナル画像における無遮蔽領域（即ち、露天領域）であり、この場合、当該調整すべき領域に雨粒／雪花を追加して、雨／雪の場面に合致する目標画像を得る。

【0060】

或いは、場面情報が雨／雪がない場面であることを例とすると、オリジナル画像が、雨／雪が降っていないときに収集された場合、調整すべき領域は、オリジナル画像において雨粒／雪花を含む領域であり、この場合、当該調整すべき領域において、雨粒／雪花を除去して、場面情報に合致する目標画像を得る。このようにして、雨／雪の場面の画像の場合、特定場面の場面情報に従って、オリジナル画像に雨粒／雪花を追加し、又は雨粒／雪花を除去することで、より現実的な目標画像を得る。

【0061】

他の実施例では、場面情報が夜間の雨／雪の場面であり、オリジナル画像が雨／雪が降っていない日中に収集された画像である場合、先ず、当該オリジナル画像を夜間場面の画像に変換して、変換後の画像における陰影領域を調整し、その後、得られた画像に雨粒／雪花を追加して、目標画像を得る。

【0062】

ステップＳ１０４において、前記処理対象画像において、前記調整すべき領域の画像レンダリング状態を前記目標レンダリング状態に調整して、目標画像を得る。

【0063】

いくつかの実施例では、処理対象画像において、調整すべき領域の画像レンダリング状態を変換することによって、調整すべき領域を場面情報に合致する目標レンダリング状態を有させ、これにより、目標画像を得る。いくつかの可能な実施形態では、処理対象画像において、当該調整すべき領域の画像レンダリング状態を目標レンダリング状態に調整して、目標画像を得てもよいし、目標レンダリング状態、及び調整すべき領域の画面内容に従って、目標レンダリング状態を有する画像領域を生成し、当該画像領域で処理対象画像における調整すべき領域を置き換えて、目標画像を得てもよい。

【0064】

例えば、場面情報は光源のない夜間場面であり、目標レンダリング状態が陰影あり状態である場合、調整すべき領域の陰影レンダリング状態は陰影なし状態であり、処理対象画像において、当該調整すべき領域の陰影なし状態を目標レンダリング状態に調整して、目標画像を得てもよいし、陰影なし状態、及び調整すべき領域の画面内容に従って、陰影なし状態を有する画像領域を生成し、当該画像領域で処理対象画像における調整すべき領域を置き換え、置き換えられた画像に対して平滑化処理を実行して、目標画像を生成してもよい。このようにして、生成された目標画像における陰影レンダリング状態は、光源のない夜間場面に合致する陰影なし状態であり、これにより、生成された目標画像のリアル性を向上させる。

【0065】

本開示の実施例では、処理対象画像において、陰影レンダリング状態が場面情報に合致しない調整すべき領域を決定し、その後、調整すべき領域の陰影レンダリング状態を、場面情報に合致する目標レンダリング状態に調整して、陰影レンダリング状態が場面情報に合致する目標画像を生成し、これにより、生成された目標画像のリアル性を向上させる。

【0066】

いくつかの実施例では、上記のステップＳ１０２における調整すべき領域を決定する過程は、画像分割ネットワークによって実現でき、当該ニューラルネットワークは、画像分割用の任意のネットワークであってもよく、実現過程は、以下のとおりである。

【0067】

当該ニューラルネットワークによって、調整すべき領域及び参照領域を検出枠でラベリングし、これにより、処理対象画像において調整すべき領域及び参照領域を正確に予測することができ、つまり、当該画像分割ネットワークによって、検出枠を使用して、前記処理対象画像における調整すべき領域及び参照領域をラベリングして、調整すべき領域及び参照領域をラベリングする。

【0068】

いくつかの可能な実施形態では、画像分割ネットワークは、任意のタイプのニューラルネットワーク（例えば、完全畳み込みニューラルネットワーク、膨張畳み込みネットワーク、又は解析ネットワーク等）であってもよい。処理対象画像を訓練済みの画像分割ネットワークに入力し、画像分割ネットワークにおいて、長方形枠を使用して処理対象画像における調整すべき領域及び参照領域の所在位置をラベリングし、これにより、調整すべき領域及び参照領域をラベリングする。

【0069】

いくつかの実施例では、画像分割ネットワークの訓練課程は、以下のステップによって実現できる。

【0070】

第１のステップにおいて、訓練画像を、訓練対象画像分割ネットワークに入力して、前記訓練対象画像における陰影レンダリング状態が場面情報に合致しない調整すべき領域の位置情報を予測する。

【0071】

いくつかの可能な実施形態では、訓練対象画像分割ネットワークは、訓練対象画像における調整すべき領域を検出するために使用され、大量の訓練画像を用いて訓練対象画像分割ネットワークを訓練し、つまり、大量の訓練画像を訓練対象画像分割ネットワークに入力して、訓練対象画像における調整すべき領域の位置に対して第１段階の予測を行う。

【0072】

第２のステップにおいて、訓練画像における調整すべき領域の実際の位置情報に基づいて、当該位置情報の予測損失を決定する。

【0073】

いくつかの可能な実施形態では、訓練画像におけるラベリングされた調整すべき領域の実際の位置情報と調整すべき領域の予測された位置情報との差を用いて、予測損失を決定する。複数の調整すべき領域の実際の位置情報を用いて、訓練対象画像分割ネットワークによって予測された複数の位置情報の正確度を決定し、これにより、予測損失を決定する。

【0074】

第３のステップにおいて、予測損失に基づいて、訓練対象画像分割ネットワークのネットワークパラメータを調整して、当該画像分割ネットワークを得る。

【0075】

いくつかの可能な実施形態では、調整すべき領域の実際の位置情報を組み合わせて、予測された各位置情報の正確度を決定し、当該正確度を画像分割ネットワークにフィードバックし、これによって、画像分割ネットワークに重みパラメータ等のネットワークパラメータを調整させ、これにより、ニューラルネットワーク検出の正確度を向上させる。例えば、１００個の調整すべき領域の位置情報を得、先ず、ニューラルネットワークを用いて畳み込み及び逆畳み込み等の操作を実行して、当該１００個の調整すべき領域の位置情報の信頼性を得、訓練段階では、画像分割ネットワークのパラメータはランダムに初期化されたものであるため、当該１００個の調整すべき領域の位置情報の大まかに推定された信頼性もランダムであり、画像分割ネットワークによって予測される位置情報の正確度を向上させようとする場合、当該１００個の位置情報のうち、どれが正確であり、どれが間違っているかをニューラルネットワークに伝える必要がある。これに基づき、比較関数を用いて、１００個の位置情報と実際の位置情報を比較し、位置情報と実際の位置情報との類似度が所定の類似度閾値より大きい場合１を出力し、そうでない場合０を出力し、このようにして、比較関数は、２００個の比較値（０、１）を出力し、次に、当該２００個の比較値を訓練対象画像分割ネットワークに入力し、これによって、訓練対象画像分割ネットワークに損失関数を用いて位置情報を監視させ、これにより、比較値が１である位置情報の場合、当該位置情報の信頼性を高め、比較値が０である位置情報の場合、当該位置情報の置信度を下げ、このようにして、各位置情報の信頼性を得、つまり、位置情報の検出結果を得る。最終的に、位置情報に対応する予測損失を用いて、画像分割ネットワークの重みパラメータを調整することにより、訓練済みの画像分割ネットワークを得る。例えば、前記重みパラメータは、ニューラルネットワークのニューロン重み等である。予測損失は、正例のサンプル及び負例のサンプルの交差エントロピ損失である。当該予測損失を用いて、ニューラルネットワークの重み等のパラメータを調整し、これにより、調整後の画像分割ネットワークの予測結果はより正確になる。

【0076】

上記の過程は、画像分割ネットワークを訓練する過程であり、訓練後の画像分割ネットワークによって出力された位置情報の予測損失が収束条件を満たすように、入力された処理対象画像を予測して得られた予測された調整すべき領域の位置及び調整すべき領域の実際の位置に基づいて、複数回反復し、これにより、当該ニューラルネットワークによって検出された調整すべき領域の正確度は高くなる。

【0077】

いくつかの実施例では、画像レンダリング状態が陰影レンダリング状態を含む場合、以下の２つの方式により調整すべき領域の切り替える必要のある目標レンダリング状態を決定することができ、つまり、ステップＳ１０３は、以下の２つの方式によって実現できる。

【0078】

方式一：ステップＳ１１１において、前記処理対象画像において、陰影レンダリング状態が前記場面情報に合致する参照領域を決定する。

【0079】

いくつかの実施例では、陰影レンダリング状態は、陰影あり状態及び陰影なし状態を含み、調整すべき領域の陰影レンダリング状態が場面情報に合致しない場合、調整すべき領域の陰影レンダリング状態と異なる参照領域の陰影レンダリング状態は、場面情報に合致している状態である。例えば、場面情報が光源のない夜間場面である場合、調整すべき領域は、光源のない夜間場面において画像内の目標対象が生じた陰影領域であり、これを基に、参照領域は、画像における陰影のない画像領域である。

【0080】

いくつかの可能な実施形態では、場面情報が光源のない夜間場面である場合、処理対象画像において、陰影レンダリング状態が陰影なし状態である陰影なし領域を参照領域とする。このようにして、光源のない夜間場面において、照明が薄暗いため、通常の場合の夜間場面画像において目標対象は陰影が生じないため、陰影なし領域を参照領域とし、自然の法則により合致するように、当該参照領域に従って、調整すべき領域を調整することができる。

【0081】

ステップＳ１１２において、参照領域の陰影レンダリング状態を目標レンダリング状態として決定する。

【0082】

いくつかの実施例では、処理対象画像において、参照領域を決定した後、当該参照領域の陰影レンダリング状態を、調整すべき領域の変換する必要のある目標レンダリング状態とする。

【0083】

いくつかの可能な実施形態では、場面情報が光源のない夜間場面又は太陽光のない日中場面である場合、処理対象画像において、陰影レンダリング状態が陰影なし状態である画像領域を前記参照領域として決定する。このようにして、光源のない夜間場面、太陽光のない日中場面にも拘らず、いずれの場面において、場面に合致する陰影なし状態の画像領域を参照領域とし、これによって、参照領域に基づいて調整すべき領域に対してヒストグラムのマッチングを実行するのに有利であり、処理後の調整すべき領域に呈される画面色度が参照領域の画面色度と同じになる。

【0084】

場面情報が光源のある夜間場面又は太陽のある日中場面である場合、処理対象画像において、陰影レンダリング状態が陰影あり状態である画像領域を参照領域として決定する。このようにして、光源のある場面、太陽のある日中場面にも拘らず、いずれの場面において、場面に合致する陰影あり状態の画像領域を参照領域とし、これによって、参照領域に基づいて調整すべき領域に対してヒストグラムのマッチングを実行するのに有利であり、処理後の調整すべき領域に呈される画面色度が参照領域の画面色度と同じになる。このようにして、陰影レンダリング状態が前記場面情報に合致する画像領域を参照領域とし、調整すべき領域及び当該参照領域に対してヒストグラムのマッチングを実行することで、調整すべき領域と参照領域のヒストグラムを一致させ、これにより、目標画像の画面効果はより自然になる。

【0085】

方式一では、処理対象画像から陰影レンダリング状態が場面情報に合致する画像領域を決定することで、目標レンダリング状態を決定することによって、陰影調整後の調整すべき領域の色合いを他の領域の色合いと一致させる。

【0086】

方式二：場面情報の照明パラメータを分析して、当該照明パラメータに合致する陰影レンダリング状態を決定することにより、目標レンダリング状態を得る。

【0087】

いくつかの実施例では、照明パラメータは、照明強度及び光線照射角度等を含む。照明強度が比較的強い（例えば、照明強度が特定閾値より大きい）場合、目標レンダリング状態が陰影あり状態であると決定し、照明強度が比較的弱い（例えば、照明強度が特定閾値より小さい）場合、目標レンダリング状態が陰影なし状態であると決定する。このようにして、方式二では、処理対象画像の場面情報を分析することにより目標レンダリング状態を設定することで、設定された目標レンダリング状態を場面の要件により合致させることができる。

【0088】

いくつかの実施例では、場面情報が光源のない夜間場面又は太陽光のない日中場面である場合、陰影が生じる領域を、調整すべき領域とし、つまり、ステップＳ１０２は、以下の過程によって実現できる。

【0089】

前記場面情報が光源のない夜間場面又は太陽光のない日中場面である場合、前記処理対象画像における陰影領域を前記調整すべき領域として決定する。

【0090】

いくつかの実施例では、光源のない夜間場面又は太陽光のない日中場面の場合、目標対象は陰影が生じないため、処理対象画像において、目標対象が陰影を有する場合、当該陰影領域が不合理であることを意味し、これに基づき、当該処理対象画像の目標対象において、陰影が生じた対象を目標対象として選別し、これによって、後続に当該処理対象画像から不合理な画像領域を決定することができる。１つの具体的な例では、処理対象画像が光源のない夜間場面の道路画像である場合、光線の照射下で陰影が生じ得る目標対象は車両を含み、ここで、車両で生じた陰影領域の陰影レンダリング状態は陰影あり状態であり、当該車両で生じた陰影領域は調整すべき領域とする。

【0091】

いくつかの実施例では、図２は、本開示の実施例に係る画像生成方法の別の例示的なフローチャートであり、以下、図１及び２を参照して説明する。

【0092】

ステップＳ２０１において、前記場面情報が光源のある夜間場面又は太陽光のある日中場面である場合、前記目標対象に照射される光線の方向に基づいて、前記目標対象で生じ得る陰影領域を決定する。

【0093】

いくつかの実施例では、太陽光のある日中場面又は夜間の光源が月光である場合、目標対象に照射される光線の方向を判断することにより、目標対象で生じ得る陰影領域を決定し、光源のある夜間場面における光源が人工光源である場合、目標対象に照射される光線の方向を判断するだけでなく、目標対象と人工光源との距離も判断する必要があり、これにより、目標対象で生じ得る陰影領域を決定し、その実現過程は、ステップＳ２２１及びステップＳ２２２に示されたとおりである。

【0094】

ステップＳ２０２において、前記処理対象画像における陰影領域のうちの第１陰影領域以外の陰影領域を、調整すべき領域として決定する。

【0095】

いくつかの実施例では、第１陰影領域は、前記処理対象画像における陰影領域と前記目標対象で生じ得る陰影領域の積集合である。

【0096】

上記のステップＳ２０１及びステップＳ２０２は、場面情報が光源のある夜間場面又は太陽光のある日中場面である場合の、処理対象画像から調整すべき領域を決定する方式を提供し、この方式では、処理対象画像における、目標対象で生じ得る陰影領域以外の陰影領域を、調整すべき領域とすることにより、陰影レンダリング状態を調整する必要がある領域をより正確に決定することができる。

【0097】

他の実施例では、場面情報が光源のある夜間場面である場合、光源が人工光源であることを例とすると、光源の照射範囲外で陰影を有する領域を調整すべき領域とし、この場合、ステップＳ１０２は、以下の過程によって実現できる。

【0098】

前記処理対象画像において、光源との距離が所定距離閾値より大きい、陰影領域が生じる目標対象に生じられる陰影領域を、調整すべき領域として決定する。

【0099】

いくつかの実施例では、陰影領域が生じ得る目標対象に生じられる陰影領域は、前記光源から離れる一方の画像領域であってもよい。人工光源と目標対象との間の距離が所定距離閾値より大きいことは、目標対象が当該人工光源の照射範囲内にないことを意味し、つまり、当該人工光源が動作状態にある場合、目標対象は陰影が生じることができず、これは、当該目標対象によって生じられた陰影領域が不合理であることを意味する。夜間に人工光源がある場合、人工光源と各目標対象との間の距離を決定する。先ず、当該人工光源の照射範囲を決定し、その後、人工光源と各目標対象との間の距離を判断することにより、目標対象が人工光源の照射範囲内にあるか否かを決定する。１つの具体的な例では、処理対象画像が街灯を有する夜間場面の都市道路画像であり、当該場面にオン状態にある街灯がある場合、目標対象は、建物及び樹木である。街灯と建物との間の距離、及び街灯と樹木との間の距離をそれぞれ決定することにより、建筑及び樹木が街灯の照射範囲内にあるか否かを判断し、つまり、当該街灯の照射で、建物及び樹木で陰影が生じ得るか否かを判断する。目標対象が街灯の照射範囲内にない場合、目標対象によって生じられた陰影領域は調整すべき領域である。

【0100】

以上、場面情報が人工光源を有する夜間場面である場合の、処理対象画像において調整すべき領域を決定する方式を提供し、この方式では、場面情報が人工光源を有する夜間場面である場合、画像における光線照射範囲外の目標対象で陰影領域が生じたか否かを判断し、当該不合理な陰影領域を、調整すべき領域とする。

【0101】

ステップＳ２０１及びステップＳ２０２により、陰影レンダリング状態が陰影あり状態である画像領域を、調整すべき領域として決定した後、ステップＳ１０３及びステップＳ１０４は、それぞれ、以下のステップＳ２０３及びステップＳ２０４で実現でき、当該調整すべき領域を処理して、目標画像を得ることができる。

【0102】

ステップＳ２０３において、陰影なし状態を、場面情報に合致する目標レンダリング状態として決定する。

【0103】

いくつかの実施例では、場面情報が光源のない夜間場面又は太陽光のない日中場面である場合、目標対象は陰影が生じないため、処理対象画像において、陰影がない場合、画像が合理的であり、つまり、場面情報に合致することを意味し、これに基づいて、当該処理対象画像において、非陰影領域を参照領域とすることができ、つまり、場面情報に合致する目標レンダリング状態は陰影なし状態である。

【0104】

ステップＳ２０４において、前記処理対象画像において、参照領域の画像に基づいて、前記調整すべき領域の画像を陰影なし状態に調整して、前記目標画像を得る。

【0105】

いくつかの実施例では、処理対象画像において、調整すべき領域の陰影あり状態を調整して、当該領域の陰影を除去することにより、目標画像を得る。いくつかの可能な実施形態では、陰影なし状態の参照領域のヒストグラムを調整すべき領域のヒストグラムに合致させ、調整すべき領域の陰影を除去することによって、目標画像における陰影のない画像領域の階調を一致させてもよいし、調整すべき領域の階調画像に対して最大のフィルタリングを実行してから、最小のフィルタリングを実行するなど、他の方式により調整すべき領域における陰影を除去してもよい。調整すべき領域の画像背景が比較的暗く、目標対象が比較的明るい場合、調整すべき領域に対して最小のフィルタリングを実行してから、最大のフィルタリングを実行することにより、調整すべき領域の陰影を去除してもよく、所定の画像ライブラリから、調整すべき領域の画面内容に合致する陰影なし画像を選択して当該調整すべき領域を置き換えてもよく、陰影画像を分解することにより調整すべき領域の陰影を除去してもよい。

【0106】

本開示の実施例では、処理対象画像において、処理対象画像に調整すべき領域が占める領域を決定し、参照領域の画像に従って、調整すべき領域の画像の陰影あり状態を陰影なし状態に調整することにより、目標画像を得る。或いは、処理対象画像において、調整すべき領域に対して陰影除去処理を実行することにより、他の領域を利用して当該調整すべき領域を置き換えることなく、目標画像を得ることができる。このようにして、生成された目標画像における陰影レンダリング状態は、陰影なし状態であり、光源のない夜間場面及び太陽光のない日中場面により合致する。

【0107】

いくつかの可能な実施形態では、参照領域の階調に基づいて調整すべき領域の階調を調整することにより、目標画像を生成し、つまり、ステップＳ２０４は、以下のステップによって実現できる。

【0108】

ステップＳ２４１において、前記参照領域の画像に基づいて前記調整すべき領域の階調画像を調整して、調整済みの階調画像を得る。

【0109】

いくつかの実施例では、先ず、参照領域の階調画像を決定する。参照領域は、処理対象画像から決定されるものであってもよく、つまり、処理対象画像において場面に合致する陰影レンダリング状態を有する画像領域を参照領域とする。参照領域は、目標レンダリング状態を設定した後、当該目標レンダリング状態及び調整すべき領域の画像の画面内容に基づいて生成された画像領域であってもよい。

【0110】

いくつかの可能な実施形態では、参照領域のヒストグラムを決定することにより、参照領域の階調画像を得る。例えば、参照領域を決定した後、参照領域の画像に基づいて当該参照領域のヒストグラムを生成し、当該ヒストグラムに基づいて当該参照領域の階調画像を生成することができる。１つの具体的な例では、場面情報が光源のない夜間場面である場合、目標レンダリング状態は陰影なし状態である。処理対象画像において、人工光源がない場合、画像領域の陰影がある領域は調整すべき領域であり、画像領域の陰影がない領域は参照領域であり、当該陰影なし領域のヒストグラムを決定することにより、当該領域の階調画像を生成する。

【0111】

その後、参照領域の階調画像に基づいて、調整すべき領域の階調画像を調整して、調整済みの階調画像を得る。調整すべき領域の階調画像は、調整すべき領域のヒストグラムを決定することによって得られるものであってもよい。例えば、調整すべき領域を決定した後、調整すべき領域の画像に基づいて当該調整すべき領域のヒストグラムを生成し、当該ヒストグラムに基づいて当該調整すべき領域の階調画像を生成することができる。参照領域の階調画像を、調整すべき領域の階調画像を調整するための参照とし、これによって、得られた調整済みの階調画像を参照領域の階調画像に合致させ、つまり、この２つの階調画像に対応するカラー画像の色合いを一致させる。

【0112】

いくつかの可能な実施形態では、以下の過程によって調整すべき領域の階調画像の調整を実現することができる。

【0113】

先ず、参照領域の画像に基づいて参照領域のヒストグラムを決定し、参照領域のヒストグラムに基づいて、調整すべき領域のヒストグラムを調整して、調整済みのヒストグラムを得、例えば、調整すべき領域のヒストグラムと参照領域のヒストグラムに対してヒストグラムのマッチングを実行することにより、調整済みのヒストグラムを得る。参照領域のヒストグラムを目標ヒストグラムとし、調整すべき領域のヒストグラムを目標ヒストグラムに変換することにより、参照領域のヒストグラムと調整すべき領域のヒストグラムを合致させ、つまり、調整すべき領域のヒストグラムを参照領域のヒストグラムに合致させることにより、２つの領域の色合を一致させ、このようにして、調整すべき領域の陰影レンダリング状態は、参照領域の陰影レンダリング状態と一致し、それらは両方とも、場面情報に合致することができ、つまり、当該場面における合理的な陰影状態である。

【0114】

その後、調整済みのヒストグラムに基づいて、調整済みの階調画像を調整する。例えば、当該調整済みのヒストグラムに基づいて、当該調整済みのヒストグラムの階調画像を生成し、つまり、調整済みの階調画像を得ることができる。いくつかの可能な実施形態では、光源のない夜間場面の場合、参照領域は、処理対象画像における陰影なし領域である。陰影なし領域のヒストグラムを決定し、調整すべき領域のヒストグラムを陰影なし領域のヒストグラムに変換し、つまり、調整すべき領域の陰影を除去することにより、調整済みのヒストグラムを得ることができる。

【0115】

ステップＳ２４２において、調整済みの階調画像に基づいて、陰影レンダリング状態が陰影なし状態である置き換え用領域の画像を生成する。

【0116】

いくつかの実施例では、調整済みのヒストグラムにより当該調整済みのヒストグラムの階調画像を生成した後、調整すべき領域の画面内容を参照して、当該階調画像をレンダリングして陰影なし状態の置き換え用領域の画像を生成する。

【0117】

ステップＳ２４３において、処理対象画像において、生成された置き換え用領域の画像を用いて調整すべき領域の画像を置き換えて、目標画像を生成する。

【0118】

いくつかの実施例では、処理対象画像において、陰影レンダリング状態が場面情報に合致しない置き換え用領域の画像を決定し、処理対象画像に調整すべき領域が占める領域を決定し、置き換え用領域の画像を用いて当該調整すべき領域の画像を置き換え、置き換え後の画像に対して平滑化処理を実行することにより、目標画像を生成する。

【0119】

１つの具体的な例では、場面情報が光源のない夜間場面であることを例とすると、処理対象画像は道路画像であり、陰影レンダリング状態が場面情報に合致しない調整すべき領域は陰影領域であり、置き換え用領域の画像は陰影レンダリング状態が陰影なし状態である画像であり、このような陰影のない画像領域を使用して当該調整すべき領域の画像を置き換えて、陰影レンダリング状態が場面情報に合致する目標画像を得る。このようにして、生成された目標画像における陰影レンダリング状態は場面情報に合致し、これにより、生成された目標画像のリアル性を向上させる。

【0120】

いくつかの可能な実施形態では、置き換え用領域を用いて調整すべき領域を置き換えた後、置き換え後の画像に対して更なる平滑化処理に対して、目標画像を生成し、つまり、ステップＳ２４３は、以下のステップによって実現できる。

【0121】

第１のステップにおいて、前記置き換え用領域の画像の形状及びサイズを、前記調整すべき領域の画像の形状及びサイズと一致するように調整することにより、調整済みの置き換え用領域の画像を得る。

【0122】

いくつかの可能な実施形態では、先ず、置き換え用領域の画像のサイズ情報を決定する。置き換え用領域を決定した後、置き換え用領域のサイズ情報を決定する必要があり、置き換え用領域のサイズ情報は少なくとも、面積、周長、長さ、幅及びエッジ形状等を含む。その後、処理対象画像において調整すべき領域の画像が占める面積を決定する。いくつかの可能な実施形態では、画像分割ネットワークによって、調整すべき領域を検出枠でラベリングすることにより、検出枠の面積を、処理対象画像に調整すべき領域が占める領域の面積とすることができる。最後に、当該面積に基づいて、置き換え用領域の画像サイズ情報を調整して、調整済みの置き換え用領域の画像を得る。いくつかの可能な実施形態では、処理対象画像に調整すべき領域の画像が占める領域の面積に基づいて、置き換え用領域の画像サイズ情報を調整し、これにより、調整済みの置き換え用領域の画像サイズ情報を当該調整すべき領域の画像サイズと一致させる。

【0123】

第２のステップにおいて、調整済みの置き換え用領域の画像を用いて処理対象画像における調整すべき領域の画像を置き換え、調整済みの置き換え用領域の画像のエッジに対して平滑化処理を実行して、目標画像を生成する。

【0124】

いくつかの可能な実施形態では、先ず、調整済みの置き換え用領域の画像を用いて前記調整すべき領域の画像を置き換えて、候補画像を生成する。つまり、処理対象画像において、調整済みの置き換え用領域を用いて調整すべき領域を置き換えることにより、置き換え後の画像（即ち、候補画像）を得る。１つの具体的な例では、場面情報が光源のない夜間場面であり、処理対象画像が道路画像である場合、調整すべき領域は、陰影レンダリング状態が光源のない夜間場面に合致しない陰影領域である。例えば、光源がない場合、画像に樹木の影があることは、樹木の影が占める画像領域の表示方式が不合理的であることを意味し、この場合、調整済みの置き換え用領域が影のない樹木を含み、置き換え用領域の画像のサイズを調整することにより、調整済みの置き換え用領域の画像を得ることができる。これにより、調整済みの置き換え用領域の画像を用いて、調整すべき領域の画像を置き換えて、目標画像を生成する。その後、候補画像に対して平滑化処理を実行して、目標画像を生成する。いくつかの可能な実施形態では、候補対象において置き換え操作が発生した領域に対して平滑化処理を実行することにより、当該領域における画像のノイズを除去してもよく、候補画像全体に対して平滑化処理を実行して、画像全体のノイズを除去してもよく、これにより、目標画像を得る。

【0125】

本開示の実施例では、置き換え用領域の画像のサイズを変更することにより、サイズ調整後の調整済みの置き換え用領域の画像を用いて調整すべき領域の画像を置き換え、置き換え後の画像に対して平滑化処理を実行し、これにより、生成された目標画像はより合理的で鮮明的なものになる。

【0126】

いくつかの実施例では、場面情報が光源のある夜間場面である場合、光源が人工光源であることを例とすると、光源照射範囲内の目標対象で生じ得る陰影領域を、調整すべき領域とすることは、以下のステップによって実現できる。

【0127】

ステップＳ２２１において、前記場面情報が光源のある夜間場面又は太陽光のある日中場面である場合、前記目標対象に照射される光線の方向に基づいて、前記目標対象で生じ得る陰影領域を決定する。

【0128】

いくつかの実施例では、目標対象に照射される光線の方向を分析することにより、処理対象画像において、目標対象で生じ得る陰影領域を決定する。光源のある夜間場面又は太陽光のある日中場面において、実際の場面に合致する陰影レンダリング状態は目標対象が陰影を有する状態である。

【0129】

ステップＳ２２２において、前記目標対象で生じ得る陰影領域を、調整すべき領域として決定する。

【0130】

いくつかの実施例では、先ず、処理対象画像に含まれた目標対象において、人工光源に比較的近い目標対象を決定し、その後、これらの比較的に近い目標対象から、陰影領域が生じていない目標対象を決定する。目標対象は人工光源に比較的に近く、これは、目標対象が人工光源の照射範囲内にあることを意味するため、人工光源のある夜間場面において、人工光源の照射範囲内の目標対象は陰影が生じ得る。当該目標対象は陰影領域が生じていないため、不合理である。したがって、当該陰影領域が生じていない目標対象で生じ得る陰影領域を、調整すべき領域にする必要がある。

【0131】

いくつかの実施例では、陰影領域が生じていない目標対象で生じ得る陰影領域は、当該目標対象が占める画像領域、及び人工光源の照射方向に基づいて決定されるものであってもよく、つまり、当該目標対象が占める画像領域に基づいて、人工光源の照射方向を分析することにより、当該人工光源の照射で当該目標対象によって生じられる陰影の面積及び陰影の位置を推定し、当該陰影の面積及び陰影の位置に対応する画像領域を当該目標対象で生じ得る陰影領域として決定することができる。

【0132】

夜間場面に人工光源がある場合、光源照射範囲内の目標対象で生じ得る陰影領域を、調整する必要のある調整すべき領域とし、或いは、月光のある夜間場面又は太陽光のある日中場面では、目標対象で生じ得る陰影領域を、調整すべき領域として決定する。

【0133】

１つの可能な実施形態では、光源と目標対象との相対位置は変わる可能性がある。例えば、オリジナル画像は、太陽光のある朝に収集された画像で、現在は午後であり、明らかに、太陽光の照射方向と目標対象との相対位置は変わり、この場合、現在の光源の照射方向に基づいて、目標対象で生じ得る陰影領域を再度決定する必要があり、これにより、調整すべき領域を決定する。その後、現在の光源の照明パラメータを決定し、目標対象表面に照明された光源の照明強度に基づいて、当該調整すべき領域をレンダリングすることにより、目標画像を得る。このようにして、調整後の最終的な目標画像のリアル性及び自然度を向上させることができる。

【0134】

いくつかの実施例では、処理対象画像における調整すべき領域は複数であり得、例えば、場面情報が人工光源のある夜間場面であり、当該処理対象画像に、人工光源に比較的近い目標対象がある同時に、人工光源に比較的遠い人工対象もあり、この場合、処理対象画像において、当該人工光源の照射範囲内の目標対象で生じ得る陰影の領域、及び光源照射範囲外の陰影がある領域をいずれも、調整する必要のある調整すべき領域とする。

【0135】

いくつかの実施例では、場面情報が光源のある夜間場面である場合、光源が月光であることを例とすると、以下の方式により、調整すべき領域を決定することができる。

【0136】

ステップＳ２３１において、処理対象画像において、前記場面情報が月光のある夜間場面である場合、月光によって照射できる目標対象を決定する。

【0137】

ステップＳ２３２において、月光によって照射できる目標対象において、陰影領域が生じなかった目標対象で生じ得る陰影領域を、調整すべき領域として決定する。

【0138】

いくつかの実施例では、場面情報が太陽のある日中場面である場合、以下の方式により、調整すべき領域を決定することができる。

【0139】

ステップＳ２４１において、処理対象画像において、場面情報が太陽光のある日中場面である場合、太陽光によって照射できる目標対象を決定する。

【0140】

ステップＳ２４２において、太陽光によって照射できる目標対象において、陰影が生じなかった目標対象で生じ得る陰影領域を、前記調整すべき領域として決定する。

【0141】

いくつかの実施例では、調整すべき領域を決定した後、以下の過程によって、調整すべき領域を調整して、目標画像を得ることができる。

【0142】

第１のステップにおいて、特定場面における照明パラメータを決定する。

【0143】

いくつかの実施例では、人工光源のある夜間場面の場合、人工光源が動作状態（即ち、オン状態）にあると決定した場合、照明パラメータは、照明強度、光線の照射方向及び照明の明るさ等を含む。月光のある夜間場面又は太陽光のある日中場面の場合、地面に照射された月光又は太陽光の現在の照明パラメータを決定する。

【0144】

第２のステップにおいて、前記照明パラメータに基づいて、陰影領域が生じ得る目標対象表面の照明強度を決定し、前記調整すべき領域をレンダリングして、前記目標画像を得る。

【0145】

１つの具体的な例では、人工光源のある夜間場面において、処理対象画像は、車両及び街灯を含み、ここで、人工光源は街灯であり、当該街灯の照明強度及び光線の照射方向を分析して、処理対象画像において車両で生じ得る陰影領域を決定し、車両表面の照明強度に基づいて、処理対象画像において車両で生じ得る陰影領域をレンダリングすることにより、置き換え用領域の画像を得る。得られた置き換え用領域の画像を用いて、調整すべき領域の画像を置き換えて、目標画像を生成する。

【0146】

本開示の実施例では、目標対象が人工光源の照射範囲内にある、人工光源のある夜間場面、又は月のある夜間場面、又は太陽光のある日中場面では、処理対象画像において、照明パラメータに基づいて、目標対象で生じ得る陰影領域をレンダリングし、これにより、目標画像において人工光源に近い目標対象は陰影領域が生じ、自然光がある場合に目標対象は陰影領域を生じることができ、したがって、生成された目標画像のリアル性を向上させる。

【0147】

以下、１つの実際の適用場面における本開示の実施例の例示的な応用について説明しており、太陽光のある日中場面で収集された画像変換が光源のない夜間場面であり、前記場面情報に合致する目標レンダリング状態が陰影なし状態であり、調整すべき領域が陰影領域であることを例として説明する。

【0148】

本開示の実施例は、画像生成方法及びヒストグラムのマッチング方法の、光源のない夜間場面の陰影除去方法を提供し、得られた日中場面画像に対して陰影領域分割、ヒストグラムのマッチング及び画像生成を実行することにより、太陽光のある日中場面の画像を光源のない夜間場面に直接に変換するときに不合理な陰影領域が生じるという問題を解決することができる。本開示の実施例は、生成された画像における陰影を効果的に除去して、生成された夜間場面画像のリアル性を向上させることができる。

【0149】

図３Ａは、本開示の実施例に係る画像生成システムの構成の概略構造図であり、以下、図３Ａを参照して説明する。

【0150】

本開示の実施例に係る画像生成システムは、生成器３０１及び判別器３０２を備える。ここで、先ず、太陽光のある日中場面のオリジナル画像を入力として、入力端子３０３から生成器３０１に入力する。

【0151】

その後、生成器３０１によって、夜間場面画像（上記の実施例における処理対象画像、例えば、図３Ｂの画像３２２）を生成し、出力端子３０４によって、生成された夜間場面画像を判別器３０２に出力する。

【0152】

いくつかの実施例では、図３Ｂの画像３２１はオリジナル画像であり、画像３２２は、当該画像３２１の太陽光のある日中場面を光源のない夜間場面に変換した夜間画像であり、画像３２１に対して陰影領域及び非陰影領域を分割して、陰影領域及び非陰影領域に対してヒストグラムのマッチングを実行して、陰影除去画像３２３を得、最後に、ＧＡＮネットワークを用いて、陰影除去画像３２３の太陽のある日中場面を光源のない夜間場面に変換して、夜間画像３２４を得る。図３Ｂから分かるにように、画像３２２に比べて、夜間画像３２４には陰影が存在せず、光源のない夜間場面により合致しており、画像画面のリアル性を向上させる。

【0153】

いくつかの可能な実施形態では、光源のない夜間場面で収集された夜間場面画像及び生成された夜間場面画像を判別器３０２に入力する。

【0154】

その後、判別器３０２によって、夜間場面の画像が、収集された夜間場面画像であるか、それとも生成された夜間場面画像であるかを見分け、つまり、実際の画像３０５及び変換画像３０６をそれぞれ得る。

【0155】

最後に、生成器及び判別器の損失関数を継続的に最適化することにより、生成器によって生成された夜間場面のリアル性を向上させる。

【0156】

いくつかの実施例では、太陽光のある日中場面の日中画像を得た後、日中画像を夜間画像に変換する前に、先ず、当該日中画像に対して陰影除去操作を行い、その後、陰影除去後の画像に対して場面変換を実行して、より現実的な夜間画像を得、図４に示すように、図４は、本開示の実施例に係る画像生成方法の実装フレームワーク構造図であり、以下、図４を参照して説明する。

【0157】

日中画像取得モジュール４０１は、太陽光のある日中場面の画像を取得し、日中画像を得るように構成される。

【0158】

陰影分割ネットワークモジュール４０２は、日中画像を陰影領域４３１及び非陰影領域４３２に分割するように構成される。

【0159】

いくつかの実施例では、画像分割ネットワークによって、日中画像から陰影領域を得、これにより、陰影領域及び非陰影領域を得る。本開示の実施例では、画像分割用のネットワーク（ここでは、ネットワーク構造を特に限定しない。例えば、完全畳み込みネットワーク、セマンティックセグメンテーションネットワーク、ビジュアルジオメトリグループ（ＶＧＧ：Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ）ネットワーク、細分化ネットワーク（ＲｅｆｉｎｅＮｅｔ）等）を最適化及び訓練することにより、画像陰影領域を正確に識別できる画像陰影抽出ネットワークを得る。当該画像陰影抽出ネットワークを用いて、日中画像における陰影領域及び非陰影領域を分割する。したがって、日中画像における陰影領域及び非陰影領域を同時に得ることができる。

【0160】

ヒストグラムのマッチングモジュール４０３は、ヒストグラムのマッチング方法により、陰影領域４３１のヒストグラムと非陰影領域４３２を合致する。

【0161】

いくつかの実施例では、ヒストグラムのマッチング方法により、陰影領域は、非陰影領域のヒストグラム分布と一致するヒストグラム分布を得、これによって、陰影領域の色合いと非陰影領域の色合いは一致する。陰影領域と非陰影領域のヒストグラム分布は大きく異なるため、本開示の実施例は、陰影領域及び非陰影領域に対してヒストグラムのマッチングを実行することにより、陰影領域のヒストグラムを目標ヒストグラム（非陰影領域）に変換し、このようにして、陰影領域の画像を陰影なし領域の画像に変換することができる。

【0162】

陰影のない日中画像取得モジュール４０４は、ヒストグラムのマッチングにより、日中画像における陰影を去除して、陰影のない日中画像を得る。

【0163】

いくつかの実施例では、変換後の陰影なし領域をオリジナル画像に貼り付け、つまり、変換後の陰影なし領域を日中画像に貼り付けて、太陽光のある日中場面の陰影のない画像を得る。

【0164】

画像生成ネットワークモジュール４０５は、陰影のない日中画像を太陽光のある日中場面から光源のない夜間場面に変換して、夜間画像を得るように構成される。

【0165】

いくつかの実施例では、図３Ａに示される画像生成ネットワークを用いて、陰影のない日中画像の太陽のある日中場面を光源のない夜間場面に変換して、夜間画像を得る。

【0166】

最終結果出力モジュール４０６は、平滑化技術を用いて、置き換え用陰影領域の周辺画像に対して平滑化処理を実行することにより、最終的な夜間画像を得るように構成される。

【0167】

いくつかの実施例では、陰影を除去した領域を用いてオリジナル画像における陰影領域を置き換えた後の画像は図５に示すとおりであり、図５は、本開示の実施例に係る画像生成方法の別の適用場面の概略図であり、ここで、オリジナル画像５０１は、太陽光のある日中場面で収集された画像であり、目標画像の生成過程は、次のとおりである。

【0168】

先ず、オリジナル画像５０１に対して陰影検出を実行し、長方形枠で陰影領域５０２、５０３及び５０４をラベリングする。

【0169】

その後、長方形枠でラベリングされた領域（即ち、陰影領域５０２、５０３及び５０４、上記の実施例における調整すべき領域に対応する）を抜き出して拡大し、拡大された陰影領域５１１、５１２及び５１３を順次に得る。夜間場面画像に変換して、陰影のある夜間画像５２１、５２２及び５２３を順次に得る。

【0170】

最後に、ヒストグラムのマッチングにより、陰影のある夜間画像５２１、５２２及び５２３のヒストグラムを陰影なし領域のヒストグラムに変換して、陰影除去画像５３１、５３２及び５３３（上記の実施例における目標画像）を得る。

【0171】

本開示の実施例では、画像分割ネットワークを用いて、陰影領域及び非陰影領域を得た後、陰影領域と非陰影領域のヒストグラムのマッチングにより、陰影除去後の画像を得、最後に、画像生成方法により、太陽のある日中場面の画像を光源のない夜間場面に変換して、陰影領域を含まない夜間場面画像を生成する。このようにして、夜間に生成された画像の陰影を効果的に除去することにより、生成された夜間場面画像のリアル性を向上させ、実際の夜間場面により適切である。

【0172】

本開示の実施例は画像生成装置を提供し、図６は、本開示の実施例に係る画像生成装置の構成の概略構造図であり、図６に示すように、前記画像生成装置６００は、
オリジナル画像を特定場面の処理対象画像に変換するように構成される第１変換モジュール６０１と、
前記処理対象画像において、画像レンダリング状態が前記特定場面の場面情報に合致しない調整すべき領域を決定するように構成される第１決定モジュール６０２であって、前記調整すべき領域の画像レンダリング状態は、オリジナル画像の目標対象に照射される光線に関係しており、前記目標対象は車両を含む、第１決定モジュール６０２と、
前記調整すべき領域における目標レンダリング状態を決定するように構成される第２決定モジュール６０３であって、前記目標レンダリング状態は、前記場面情報に合致する、第２決定モジュール６０３と、
前記処理対象画像において、前記調整すべき領域の画像レンダリング状態を前記目標レンダリング状態に調整して、目標画像を得るように構成される第１調整モジュール６０４と、を備える。

【0173】

上記の画像生成装置において、前記画像レンダリング状態は陰影レンダリング状態を含み、前記第２決定モジュール６０３は、
前記処理対象画像において、陰影レンダリング状態が前記場面情報に合致する参照領域を決定するように構成される第１決定サブモジュールと、
前記参照領域の陰影レンダリング状態を前記目標レンダリング状態として決定するように構成される第２決定サブモジュールと、を備える。

【0174】

上記の画像生成装置において、前記第１決定モジュール６０２は更に、
前記場面情報が光源のない夜間場面又は太陽光のない日中場面である場合、前記処理対象画像における陰影領域を前記調整すべき領域として決定するように構成される。

【0175】

上記の画像生成装置において、前記第１決定モジュール６０２は、
前記場面情報が光源のある夜間場面又は太陽光のある日中場面である場合、前記目標対象に照射される光線の方向に基づいて、前記目標対象で生じ得る陰影領域を決定するように構成される第３決定サブモジュールと、
前記処理対象画像における陰影領域のうちの第１陰影領域以外の陰影領域を、調整すべき領域として決定するように構成される第４決定サブモジュールであって、前記第１陰影領域は、前記処理対象画像における陰影領域と前記目標対象で生じ得る陰影領域の積集合である、第４決定サブモジュールと、を備える。

【0176】

上記の画像生成装置において、前記参照領域の陰影レンダリング状態は陰影なしレンダリング状態であり、前記第１調整モジュール６０４は、
前記処理対象画像において、前記参照領域の画像に基づいて、前記調整すべき領域の画像を陰影なし状態に調整して、前記目標画像を得るように構成される第１調整サブモジュールを備える。

【0177】

上記の画像生成装置において、前記第１調整サブモジュールは、
前記参照領域の画像に基づいて前記調整すべき領域の階調画像を調整して、調整済みの階調画像を得るように構成される第１調整ユニットと、
前記調整済みの階調画像に基づいて、陰影レンダリング状態が陰影なし状態である置き換え用領域の画像を生成するように構成される第１生成ユニットと、
前記処理対象画像において、生成された置き換え用領域の画像を用いて前記調整すべき領域の画像を置き換えて、前記目標画像を生成するように構成される第２生成ユニットと、を備える。

【0178】

上記の画像生成装置において、前記第１調整ユニットは、
前記参照領域の画像に基づいて前記参照領域のヒストグラムを決定するように構成される第１決定サブユニットと、
前記参照領域のヒストグラムに基づいて、前記調整すべき領域のヒストグラムを調整して、調整済みのヒストグラムを得るように構成される第１調整サブユニットと、
前記調整済みのヒストグラムに基づいて、前記調整済みの階調画像を決定するように構成される第２決定サブユニットと、を備える。

【0179】

上記の画像生成装置において、前記画像レンダリング状態は陰影レンダリング状態を含み、前記第１決定モジュール６０２は、
前記場面情報が光源のある夜間場面又は太陽光のある日中場面である場合、前記目標対象に照射される光線の方向に基づいて、前記目標対象で生じ得る陰影領域を決定するように構成される第５決定サブモジュールと、
前記目標対象で生じ得る陰影領域を、調整すべき領域として決定するように構成される第６決定サブモジュールと、を備える。

【0180】

上記の画像生成装置において、前記第１調整モジュール６０４は、
前記特定場面における照明パラメータを決定するように構成される第７決定サブモジュールと、
前記照明パラメータに基づいて、陰影領域が生じ得る目標対象表面の照明強度を決定し、前記調整すべき領域をレンダリングして、前記目標画像を得るように構成される第１レンダリングサブモジュールと、を備える。

【0181】

上記の画像生成装置において、前記オリジナル画像は、雨／雪が降っていないときに収集された画像であり、前記特定場面は、雨の場面／雪の場面であり、前記第１調整モジュール６０４は、
前記オリジナル画像に雨粒／雪花を追加して、目標画像を得るように構成される第１追加サブモジュールを備える。

【0182】

説明すべきこととして、以上の装置の実施例の説明は、上記の方法の実施例の説明と同様であり、方法の実施例と同様の有益な技術的効果を有する。本開示の装置の実施例で開示されていない技術的詳細については、本開示の方法の実施例の説明を参照されない。

【0183】

本開示の実施例では、上記の画像生成方法は、ソフトウェア機能モジュールの形で実現され、スタンドアロン製品として販売又は使用される場合、コンピュータ可読記憶媒体に記憶されてもよいことに留意されたい。このような理解に基づいて、本開示の実施例の技術的解決策の本質的な部分、すなわち、先行技術に貢献のある部分は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、コンピュータ機器（端末、サーバ等であり得る）に、本開示の各実施例に記載の方法の全部又は一部を実行させるためのいくつかの命令を含む。上記した記憶媒体は、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスクなどのプログラムコードを記憶することができる様々なメディアを含む。こうして、本開示の実施例は、ハードウェアとソフトウェアの任意の特定の組み合わせに限定されない。

【0184】

これに対応して、本開示の実施例は、コンピュータプログラム製品を更に提供し、前記コンピュータプログラム製品は、コンピュータ実行可能な命令を含み、当該コンピュータ実行可能な命令が実行されるときに、本開示の実施例に係る画像生成方法のステップを実現することができる。

【0185】

これに対応して、本開示の実施例はコンピュータ記憶媒体を更に提供し、前記コンピュータ記憶媒体にはコンピュータ実行可能な命令が記憶されており、前記コンピュータ実行可能な命令がプロセッサによって実行されるときに、前記プロセッサに、上記の実施例に係る画像生成方法のステップを実行させる。

【0186】

これに対応して、本開示の実施例はコンピュータ機器を提供し、図７は、本開示の実施例に係るコンピュータ機器の構成の概略構造図であり、図７に示すように、前記コンピュータ機器７００は、１つのプロセッサ７０１、少なくとも１つの通信バス、通信インターフェース７０２、少なくとも１つの外部通信インターフェース及びメモリ７０３を備える。ここで、通信インターフェース７０２は、これらのコンポーネント間の通信接続を実現するように構成される。ここで、通信インターフェース７０２は、表示スクリーンを含み得、外部通信インターフェースは、標準の有線インターフェース及び無線インターフェースを含み得る。ここで、前記プロセッサ７０１は、メモリに記憶している画像処理プログラムを実行して、上記の実施例に係る画像生成方法のステップを実現するように構成される。

【0187】

上記の画像生成装置、コンピュータ機器及び記憶媒体の実施例の説明は、上記の方法の実施例の説明と同様であり、対応する方法の実施例と同様の有益な技術的効果を有する。紙数に限りがあるので、上記の方法の実施例に関する記載を参照でき、本開示を繰り返して記載しないことを理解されたい。本開示の画像生成装置、コンピュータ機器及び記憶媒体の実施例で開示されていない技術的詳細については、本開示の方法の実施例の説明を参照されない。

【0188】

理解すべきこととして、本明細書全体で言及される「一実施形態」又は「１つの実施例」とは、実施例に関連する目標特徴、構造又は特性が、本開示の少なくとも１つの実施例に含まれることを意味する。したがって、本明細書で現れる「一実施形態において」又は「１つの実施例において」は、必ずしも同じ実施例を指すとは限らない。更に、これらの目標の特徴、構造又は特性は、１つ又は複数の実施例において、必要に応じて自由に組み合わせることができる。本開示の各実施例において、上記の各プロセスの番号の大きさは、実行する前後順番を意味せず、各プロセスの実行順番は、その機能と内部論理によって決定されるべきであり、本開示の実施例の実施プロセスにいかなる制限も形成すべきではないことを理解されたい。上述の本開示の実施例の番号は、実施例の優劣を表すためではなく、説明のためにのみ採用されている。

【0189】

留意されたいこととして、本明細書では、「～を含む」、「～を備える」又はそれらの他の変形という用語は、非排他的な包含をカバーすることを意図しているため、一連の要素を含むプロセス、方法、物品又は装置はそれらの要素を含むだけでなく、明示的にリストされていない他の要素も含み、又はこれらのプロセス、方法、物品又は装置に固有の要素も含む。特に限定しない限り、「～を含む」という用語で限定された要素は、その要素を含むプロセス、方法、物品又は装置に他の同じ要素が存在することを除外できない。

【0190】

本開示提供されるいくつかの実施例において、開示された機器及び方法は、他の方式で実現できることを理解されたい。上記の機器の実施例は例示的なものに過ぎず、例えば、前記モジュールの分割は、論理機能の分割に過ぎず、実際の実現では、他の分割方法があり、例えば、複数のモジュール又はコンポーネントを別のシステムに統合又は集積したり、又は一部の特徴を無視したり、又は実行しないことができる。更に、表示又は議論された各構成要素間の相互結合又は直接結合又は通信接続は、いくつかのインターフェース、機器又はユニットを介した間接な結合又は通信接続であり得、電気的、機械的又は他の形態であり得る。

【0191】

上記の分離部材として説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示された部材は、物理ユニットである場合もそうでない場合もあり、１箇所に配置される場合もあれば、複数のネットワークユニットに分散される場合もあり、実際の必要に応じて、その一部又はすべてのユニットを選択して、本実施例の技術案の目的を具現することができる。

【0192】

更に、本開示の各実施例における各機能ユニットは、全部１つの処理ユニットに統合してもよいし、各ユニットを別々に１つのユニットとして使用してもよいし、２つ以上のユニットを１つのユニットに統合してもよい。上記の統合されたユニットは、ハードウェアの形態で、又はハードウェア及びソフトウェア機能ユニットの形態で具現することができる。当業者なら自明であるが、上記の方法の実施例のステップの全て又は一部は、プログラムによって関連するハードウェアに指示することによって実施でき、上記のプログラムは、コンピュータ可読記憶媒体に記憶されることができ、前記プログラムが実行されるときに、上記の方法の実施例のステップを実行する。前記記憶媒体は、モバイル記憶機器、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ又は光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。

【0193】

あるいは、本開示の上記の統合されたユニットがソフトウェア機能モジュールの形で実現され、スタンドアロン製品として販売又は使用される場合、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。このような理解に基づいて、本開示の実施例の技術的解決策の本質的な部分、すなわち、先行技術に貢献のある部分は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器等であり得る）に、本開示の各実施例に記載の方法の全部又は一部を実行させるためのいくつかの命令を含む。前述した記憶媒体は、リムーバブルストレージ、ＲＯＭ、磁気メモリ又は光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。上記の内容は、本開示の具体的な実施形態に過ぎず、本開示の保護範囲はこれに限定されない。本開示に開示された技術的範囲内で当業者が容易に想到し得る変更又は置換はすべて、本開示の保護範囲内に含まれるべきである。したがって、本開示の保護範囲は、特許請求の範囲の保護範囲に従うものとする。

【産業上の利用可能性】

【0194】

本開示の実施例は、画像生成方法、装置、機器及び記憶媒体を提供し、ここで、オリジナル画像を特定場面の処理対象画像に変換し、前記処理対象画像において、画像レンダリング状態が前記特定場面の場面情報に合致しない調整すべき領域を決定し、前記調整すべき領域の画像レンダリング状態は、オリジナル画像の目標対象に照射される光線に関係しており、前記目標対象は車両を含み、前記調整すべき領域における目標レンダリング状態を決定し、前記目標レンダリング状態は、前記場面情報に合致し、前記処理対象画像において、前記調整すべき領域の画像レンダリング状態を前記目標レンダリング状態に調整して、目標画像を得る。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】