特表 2023-547224 画像に基づく照明効果処理方法、装置、デバイス及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-11-09

(54)【発明の名称】画像に基づく照明効果処理方法、装置、デバイス及び記憶媒体

(51)【国際特許分類】

   G06T 15/80 20110101AFI20231101BHJP

   G06T 19/20 20110101ALI20231101BHJP

【ＦＩ】

G06T15/80

G06T19/20

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023526289

(86)(22)【出願日】2021-08-31

(85)【翻訳文提出日】2023-04-28

(86)【国際出願番号】 CN2021115590

(87)【国際公開番号】W WO2022088927

(87)【国際公開日】2022-05-05

(31)【優先権主張番号】202011195006.0

(32)【優先日】2020-10-30

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】521431088

【氏名又は名称】北京字跳▲網▼絡技▲術▼有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｚｉｔｉａｏ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】０２０７， ２／Ｆ， Ｂｕｉｌｄｉｎｇ ４， Ｚｉｊｉｎ Ｄｉｇｉｔａｌ Ｐａｒｋ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ，Ｐ． Ｒ． Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】カン，チールン

(72)【発明者】

【氏名】ゾン，グアン

【テーマコード（参考）】

5B050

5B080

【Ｆターム（参考）】

5B050BA09

5B050CA07

5B050DA04

5B050EA07

5B050FA05

5B080AA19

5B080GA11

(57)【要約】

本開示は、画像に基づく照明効果処理方法、装置、デバイス及び記憶媒体に関する。当該方法は、画像、照明効果素材画像、及びシミュレーション光源の三次元空間における第１の位置を取得するステップであって、照明効果素材画像には照明情報が含まれているステップと、画像におけるオブジェクト画像に基づき、オブジェクト画像の表面上にオブジェクトの第１の三次元メッシュモデルを生成するステップと、シミュレーション光源の第１の位置、第１の三次元メッシュモデル上の点の画像表面からの距離、及び照明効果素材画像に基づき、第１の三次元メッシュモデル上の点の照明情報を決定するステップと、第１の三次元メッシュモデル上の点の照明情報に基づき、画像におけるオブジェクト画像をレンダリングし、画像の第１の照明効果レンダリング画像を取得するステップとを含む。これにより、照明効果をより自然でリアルにすることができる。

【特許請求の範囲】

【請求項1】

画像に基づく照明効果処理方法であって、
画像、照明効果素材画像、及びシミュレーション光源の三次元空間における第１の位置を取得するステップであって、前記照明効果素材画像には照明情報が含まれているステップと、
前記画像におけるオブジェクト画像に基づき、前記オブジェクト画像の表面上にオブジェクトの第１の三次元メッシュモデルを生成するステップと、
前記シミュレーション光源の第１の位置、前記第１の三次元メッシュモデル上の点の前記オブジェクト画像の前記表面からの距離、及び前記照明効果素材画像に基づき、前記第１の三次元メッシュモデル上の点の照明情報を決定するステップと、
前記第１の三次元メッシュモデル上の点の照明情報に基づき、前記画像におけるオブジェクト画像をレンダリングし、前記画像の第１の照明効果レンダリング画像を取得するステップと、
を含む、ことを特徴とする方法。

【請求項2】

前記シミュレーション光源の第１の位置、前記第１の三次元メッシュモデル上の点の前記オブジェクト画像の前記表面からの距離、及び前記照明効果素材画像に基づき、前記第１の三次元メッシュモデル上の点の照明情報を決定する前記ステップの前に、さらに、
前記照明効果素材画像に含まれる照明情報に基づき、前記画像の背景部分をレンダリングするステップを含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

前記シミュレーション光源の第１の位置、前記第１の三次元メッシュモデル上の点の前記オブジェクト画像の前記表面からの距離、及び前記照明効果素材画像に基づき、前記第１の三次元メッシュモデル上の点の照明情報を決定する前記ステップの前に、さらに、
前記シミュレーション光源の第１の位置に基づき、前記画像上にレンダリングして前記オブジェクトの影を得るステップを含む、ことを特徴とする請求項１に記載の方法。

【請求項4】

前記第１の照明効果レンダリング画像を取得するステップの後に、さらに、
予め設定された拡散反射照明モデルに基づき、前記第１の照明効果レンダリング画像を処理し、前記画像の第２の照明効果レンダリング画像を取得するステップを含む、ことを特徴とする請求項１に記載の方法。

【請求項5】

前記画像におけるオブジェクト画像に基づき、前記オブジェクト画像の表面上に前記オブジェクトの第１の三次元メッシュモデルを生成する前記ステップは、
予め設定されたオブジェクトマッチングアルゴリズムに基づいて、前記オブジェクト画像の表面上に前記オブジェクトの第２の三次元メッシュモデルを生成するステップと、
前記第２の三次元メッシュモデルにおける前記画像との境界部分を平滑化して、前記オブジェクトの第１の三次元メッシュモデルを取得するステップと、を含む、ことを特徴とする請求項１から４のいずれか１項に記載の方法。

【請求項6】

前記第２の三次元メッシュモデルにおける前記画像との境界部分を平滑化して、前記オブジェクトの第１の三次元メッシュモデルを取得する前記ステップは、
前記画像上に前記オブジェクトの周りに複数の点を挿入するステップと、
前記複数の点と前記第２の三次元メッシュモデルのエッジ上の点とを連結して、新しいメッシュを生成するステップと、
前記新しいメッシュと前記第２の三次元メッシュモデルとに基づいて、前記オブジェクトの第１の三次元メッシュモデルを生成するステップと、を含む、ことを特徴とする請求項５に記載の方法。

【請求項7】

前記新しいメッシュと前記第２の三次元メッシュモデルとに基づいて、前記オブジェクトの第１の三次元メッシュモデルを生成する前記ステップは、
前記新しいメッシュと前記第２の三次元メッシュモデルとに基づいて、前記オブジェクトの第３の三次元メッシュモデルを取得するステップと、
前記第３の三次元メッシュモデルをフィルタ処理して、前記オブジェクトの第１の三次元メッシュモデルを取得するステップと、を含む、ことを特徴とする請求項６に記載の方法。

【請求項8】

前記フィルタ処理は、平均フィルタリングを含む、ことを特徴とする請求項７に記載の方法。

【請求項9】

前記シミュレーション光源の第１の位置に基づき、前記画像上にレンダリングして前記オブジェクトの影を得る前記ステップは、
前記シミュレーション光源の前記第１の位置に基づき、前記オブジェクトが前記シミュレーション光源により照射された後に形成された影の前記画像上の第２の位置を決定するステップと、
前記画像の前記第２の位置でレンダリングして前記影を得るステップと、を含むことを特徴とする請求項３に記載の方法。

【請求項10】

前記シミュレーション光源の前記第１の位置に基づき、前記オブジェクトが前記シミュレーション光源により照射された後に形成された影の前記画像上の第２の位置を決定する前記ステップは、
前記画像から前記オブジェクト画像を分割して除去し、前記オブジェクト画像が存在する領域のマスクを得るステップと、
前記シミュレーション光源の前記第１の位置に基づき、前記領域に対する前記マスクのオフセット量を決定するステップと、
前記領域に対する前記マスクのオフセット量に基づき、前記オブジェクトの影の前記画像上の第２の位置を決定するステップと、を含むことを特徴とする請求項９に記載の方法。

【請求項11】

前記シミュレーション光源の第１の位置、前記第１の三次元メッシュモデル上の点の前記オブジェクト画像の前記表面からの距離、及び前記照明効果素材画像に基づき、前記第１の三次元メッシュモデル上の点の照明情報を決定する前記ステップは、
前記シミュレーション光源の第１の位置、前記第１の三次元メッシュモデル上の点の前記オブジェクト画像の前記表面からの距離に基づき、前記シミュレーション光源により照射された後の前記第１の三次元メッシュモデル上の点の前記照明効果素材画像上の投影点を決定するステップと、
前記第１の三次元メッシュモデル上の点に対応する投影点の照明情報を、前記第１の三次元メッシュモデル上の点の照明情報として決定するステップと、を含むことを特徴とする請求項１に記載の方法。

【請求項12】

画像に基づく照明効果処理装置であって、
画像、照明効果素材画像、及びシミュレーション光源の三次元空間における第１の位置を取得するための取得モジュールであって、前記照明効果素材画像には照明情報が含まれている取得モジュールと、
前記画像におけるオブジェクト画像に基づき、前記オブジェクト画像の表面上にオブジェクトの第１の三次元メッシュモデルを生成するための生成モジュールと、
前記シミュレーション光源の第１の位置、前記第１の三次元メッシュモデル上の点の前記オブジェクト画像の前記表面からの距離、及び前記照明効果素材画像に基づき、前記第１の三次元メッシュモデル上の点の照明情報を決定するための決定モジュールと、
前記第１の三次元メッシュモデル上の点の照明情報に基づき、前記画像におけるオブジェクト画像をレンダリングし、前記画像の第１の照明効果レンダリング画像を取得するための第１のレンダリングモジュールと、
を備える、ことを特徴とする装置。

【請求項13】

前記照明効果素材画像に含まれる照明情報に基づき、前記画像の背景部分をレンダリングするための第２のレンダリングモジュールをさらに含む、ことを特徴とする請求項１２に記載の装置。

【請求項14】

前記シミュレーション光源の第１の位置に基づき、前記画像上にレンダリングして前記オブジェクトの影を得るための第３のレンダリングモジュールをさらに含む、ことを特徴とする請求項１２に記載の装置。

【請求項15】

予め設定された拡散反射照明モデルに基づき、前記第１の照明効果レンダリング画像を処理し、前記画像の第２の照明効果レンダリング画像を取得するための拡散反射処理モジュールをさらに含む、ことを特徴とする請求項１２に記載の装置。

【請求項16】

前記生成モジュールは、
予め設定されたオブジェクトマッチングアルゴリズムに基づいて、前記オブジェクト画像の表面上に前記オブジェクトの第２の三次元メッシュモデルを生成するための第１の生成サブモジュールと、
前記第２の三次元メッシュモデルにおける前記画像との境界部分を平滑化して、前記オブジェクトの第１の三次元メッシュモデルを取得するための平滑化処理サブモジュールと、
を含むことを特徴とする請求項１２から１５のいずれか１項に記載の装置。

【請求項17】

前記平滑化処理サブモジュールは、
前記画像上に前記オブジェクトの周りに複数の点を挿入するための挿入サブユニットと、
前記複数の点と前記第２の三次元メッシュモデルのエッジ上の点とを連結して、新しいメッシュを生成するための第１の生成サブユニットと、
前記新しいメッシュと前記第２の三次元メッシュモデルとに基づいて、前記オブジェクトの第１の三次元メッシュモデルを生成するための第２の生成サブユニットと、
を含むことを特徴とする請求項１６に記載の装置。

【請求項18】

前記第２の生成サブユニットは、
前記新しいメッシュと前記第２の三次元メッシュモデルとに基づいて、前記オブジェクトの第３の三次元メッシュモデルを取得し、
前記第３の三次元メッシュモデルをフィルタ処理して、前記オブジェクトの第１の三次元メッシュモデルを取得するように構成される、ことを特徴とする請求項１７に記載の装置。

【請求項19】

前記フィルタ処理は、平均フィルタリングを含む、ことを特徴とする請求項１８に記載の装置。

【請求項20】

前記第３のレンダリングモジュールは、
前記シミュレーション光源の前記第１の位置に基づき、前記オブジェクトが前記シミュレーション光源により照射された後に形成された影の前記画像上の第２の位置を決定するための決定サブモジュールと、
前記画像の前記第２の位置でレンダリングして前記影を得るためのレンダリングサブモジュールと、を含むことを特徴とする請求項１４に記載の装置。

【請求項21】

前記決定サブモジュールは、
前記画像から前記オブジェクト画像を分割して除去し、前記オブジェクト画像が存在する領域のマスクを得るための分割サブユニットと、
前記シミュレーション光源の前記第１の位置に基づき、前記領域に対する前記マスクのオフセット量を決定するための第１の決定サブユニットと、
前記領域に対する前記マスクのオフセット量に基づき、前記オブジェクトの影の前記画像上の第２の位置を決定するための第２の決定サブユニットと、を含むことを特徴とする請求項２０に記載の装置。

【請求項22】

前記決定モジュールは、
前記シミュレーション光源の第１の位置、前記第１の三次元メッシュモデル上の点の前記オブジェクト画像の前記表面からの距離に基づき、前記シミュレーション光源により照射された後の前記第１の三次元メッシュモデル上の点の前記照明効果素材画像上の投影点を決定し、
前記第１の三次元メッシュモデル上の点に対応する投影点の照明情報を、前記第１の三次元メッシュモデル上の点の照明情報として決定するように構成される、ことを特徴とする請求項１２に記載の装置。

【請求項23】

メモリとプロセッサとを含む端末デバイスであって、
前記メモリにはコンピュータプログラムが記憶されており、前記コンピュータプログラムが前記プロセッサによって実行されるとき、前記プロセッサに請求項１から１１のいずれか１項に記載の方法を実行させる、ことを特徴とする端末デバイス。

【請求項24】

コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されるとき、前記プロセッサに請求項１から１１のいずれか１項に記載の方法を実行させる、ことを特徴とするコンピュータ可読記憶媒体。

【請求項25】

端末デバイス上で実行されるとき、前記端末デバイスに請求項１から１１のいずれか１項に記載の方法を実行させる、ことを特徴とするコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０２０年１０月３０日に中国国家知識産権局に提出された、出願番号が２０２０１１１９５００６．０であって、発明の名称が「画像に基づく照明効果処理方法、装置、デバイス及び記憶媒体」である中国特許出願に基づく優先権を主張するものであり、その全内容を援用により本明細書に組み込む。

【0002】

本開示は、画像処理技術の分野に関し、特に、画像に基づく照明効果処理方法、装置、デバイス及び記憶媒体に関する。

【背景技術】

【0003】

従来技術は、撮影機能をユーザに提供することができるが、撮影機能を利用して画像を撮影するユーザが日々多くなるのにつれて、画像に特定の光照射効果を追加し、光照射効果をより自然でリアルにする方法に対する需要が増えてきた。

【発明の概要】

【課題を解決するための手段】

【0004】

上記の技術的問題を解決するか、または上記の技術的問題を少なくとも部分的に解決するために、本開示は、画像の光照射レンダリング効果をよりリアルで自然にすることができる、画像に基づく照明効果処理方法、装置、デバイス及び記憶媒体を提供する。

【0005】

本開示の実施形態の第１の態様は、画像に基づく照明効果処理方法を提供する。当該方法は、画像、照明効果素材画像、及びシミュレーション光源の三次元空間における第１の位置を取得するステップであって、前記照明効果素材画像には照明情報が含まれているステップと、前記画像におけるオブジェクト画像に基づき、前記オブジェクト画像の表面上にオブジェクトの第１の三次元メッシュモデルを生成するステップと、前記シミュレーション光源の第１の位置、前記第１の三次元メッシュモデル上の点の前記オブジェクト画像の前記表面からの距離、及び前記照明効果素材画像に基づき、前記第１の三次元メッシュモデル上の点の照明情報を決定するステップと、前記第１の三次元メッシュモデル上の点の照明情報に基づき、前記画像におけるオブジェクト画像をレンダリングし、前記画像の第１の照明効果レンダリング画像を取得するステップと、を含む。

【0006】

本開示の実施形態の第２の態様によれば、画像に基づく照明効果処理装置を提供する。当該装置は、画像、照明効果素材画像、及びシミュレーション光源の三次元空間における第１の位置を取得するための取得モジュールであって、前記照明効果素材画像には照明情報が含まれている取得モジュールと、前記画像におけるオブジェクト画像に基づき、前記オブジェクト画像の表面上にオブジェクトの第１の三次元メッシュモデルを生成するための生成モジュールと、前記シミュレーション光源の第１の位置、前記第１の三次元メッシュモデル上の点の前記オブジェクト画像の前記表面からの距離、及び前記照明効果素材画像に基づき、前記第１の三次元メッシュモデル上の点の照明情報を決定するための決定モジュールと、前記第１の三次元メッシュモデル上の点の照明情報に基づき、前記画像におけるオブジェクト画像をレンダリングし、前記画像の第１の照明効果レンダリング画像を取得するための第１のレンダリングモジュールと、を含む。

【0007】

本開示の実施形態の第３の態様によれば、メモリとプロセッサとを含み、メモリにはコンピュータプログラムが記憶されており、当該コンピュータプログラムがプロセッサによって実行されるとき、前記第１の態様に記載の方法を実現することができる端末デバイスを提供する。

【0008】

本開示の実施形態の第４の態様によれば、コンピュータプログラムが記憶されており、当該コンピュータプログラムがプロセッサによって実行されるとき、前記第１の態様に記載の方法を実現することができるコンピュータ可読記憶媒体を提供する。

【0009】

本開示の実施形態の第５の態様によれば、端末デバイス上で実行されるとき、前記端末デバイスに前記第１の態様に記載の方法を実行させるコンピュータプログラム製品を提供する。

【発明の効果】

【0010】

本開示の実施形態に係る技術案は、従来の技術と比べて、以下の利点がある。

【0011】

本開示の実施形態によって提供される技術案は、実質的に、実際の三次元空間におけるオブジェクト表面の奥行き情報を、画像照明レンダリングの考慮要因の１つとしているので、画像の照明レンダリング効果をよりリアルで自然にすることができる。

【0012】

本開示の実施形態によって提供される技術案は、階層レンダリングのポリシーを利用し、まず、背景画像のライティング及びシャドウの効果を描画し、その後、画像におけるオブジェクト画像のライティング効果を描画することにより、画像全体の照明効果をより自然でリアルにすることができる。

【0013】

本開示の実施形態によって提供される技術案で使用される投影点の決定方法は、比較的簡単であり、計算量が少なく、計算速度が速く、端末性能に対する要求が低い。

【0014】

本開示の実施形態によって提供される技術案は、第２の３次元メッシュモデルにおける画像との境界部分を平滑化することによって、形成された照明効果の自然さをさらに向上させることができ、第２の３次元メッシュモデルは、予め設定されたオブジェクトマッチングアルゴリズムに基づいて、画像におけるオブジェクトの上方に生成された前記オブジェクトの三次元メッシュモデルである。

【図面の簡単な説明】

【0015】

ここで、図面は、本明細書に組み込まれ、本明細書の一部を構成するものであり、本開示に適合する実施形態を示し、明細書と共に本開示の原理を解釈する役割を果たす。本開示の実施形態、または従来技術における技術案をより明瞭に説明するために、以下、実施形態または従来技術の記述に使用する必要がある図面を簡単に紹介し、明らかに、当業者にとって、創造的な労働を費やすことがない前提で、さらにこれらの図面に基づいて他の図面を得ることができる。

【図1】本開示の一実施形態に係る、画像に基づく照明効果処理方法のフローチャートである。

【図2】本開示の一実施形態に係る、現実世界における光照射の概略図である。

【図3】本開示の一実施形態に係る照明効果素材画像の概略図である。

【図4】本開示の一実施形態に係る、オブジェクトがシミュレーション光源によって照射された後に形成された影の画像上の第２の位置を決定する概略図である。

【図5】本開示の別の実施形態に係る、オブジェクトがシミュレーション光源によって照射された後に形成された影の画像上の第２の位置を決定する概略図である。

【図6】本開示の一実施形態に係る、第１の三次元メッシュモデル上の点の照明情報を決定する概略図である。

【図7】本開示の一実施形態に係る実際に起こり得る状況の概略図である。

【図8】本開示の別の実施形態に係る、画像に基づく照明効果処理方法のフローチャートである。

【図9】本開示の一実施形態に係るＳ２３０の実行後の様子を示す概略図である。

【図10】本開示の別の実施形態に係るＳ２３０の実行後の様子を示す概略図である。

【図11】本開示の一実施形態に係る照明効果処理装置の構成ブロック図である。

【図12】本開示の一実施形態に係る端末デバイスの構成概略図である。

【発明を実施するための形態】

【0016】

本開示の上記の目的、特徴及び利点をより明確に理解するために、以下で、本開示の技術案についてさらに説明する。なお、矛盾しない限り、本開示の実施形態及び実施形態の特徴は、互いに組み合わせることができる。

【0017】

本開示を十分に理解しやすくするために、以下の説明において、多くの詳細内容が記載されているが、本開示は、本明細書に記載されているものとは異なる他の形態で実施されることもできる。明らかに、本明細書の実施形態は、本開示の実施形態の全てではなく、そのうちの一部に過ぎない。

【0018】

図１は、本開示の一実施形態に係る画像に基づく照明効果処理方法のフローチャートである。この方法は、端末デバイスによって実行され得る。当該端末デバイスは、例示的に携帯電話、タブレット型コンピュータ、ノートブック型コンピュータ、デスクトップ型コンピュータ、スマートＴＶなどの画像処理能力を有する装置として理解され得る。いくつかの実施形態では、本実施形態で言及される端末デバイスには、画像表示デバイス（ディスプレイなどであるが、ディスプレイに限定されない）を搭載することができ、端末デバイスは、ディスプレイを介して画像を表示し、本実施形態の方法によって画像上に１つ以上の照明効果を追加することができ、ここで、本実施形態で言及される照明効果とは、画像が光と影の効果を反映することができるように、画像に重畳することができる照明効果の形態を指す。他の実施形態では、本実施形態で言及される端末デバイスには、撮影装置も同時に搭載することができ、撮影装置が画像をキャプチャした後、端末デバイスは本実施形態の方法を使用して、画像に１つまたは複数の照明効果を追加することができる。図１に示すように、本実施形態に係る方法は、以下のステップを含む。

【0019】

ステップＳ１１０：画像、照明効果素材画像、及びシミュレーション光源の三次元空間における第１の位置を取得し、当該照明効果素材画像には照明情報が含まれている。

【0020】

ここで、画像とは、光照射効果を追加する必要がある視覚効果のある画面である。画像には少なくとも１つのオブジェクトが含まれる。オブジェクトは、具体的には人、動物、または物品であってもよい。本開示では、画像の由来は限定されない。具体的には、端末で撮影したり、他の端末からＢｌｕｅｔｏｏｔｈ（登録商標）などのデータ通信方式で取得したり、サーバーからダウンロードしたりすることができる。

【0021】

シミュレーション光源とは、現実世界の光源のシミュレーション物を指す。シミュレーション光源は具体的に、太陽シミュレーション物、ステージランプシミュレーション物、スポットライトシミュレーション物などであってもよいが、本出願では限定されない。なお、本開示では、シミュレーション光源は、その後に形成される照明効果を決定するために使用されるが、シミュレーション光源自体は、必ずしも照明効果処理された画像に現れるとは限らない。

【0022】

現実世界では、同一オブジェクトでも光源の位置が異なり、オブジェクトの周りに形成される影の位置や形状、面積も異なる。照明効果処理された画像を現実世界と一致させるためには、三次元空間におけるシミュレーション光源の位置を取得する必要がある。区別の便宜上、本実施形態では、三次元空間におけるシミュレーション光源の位置を第１の位置とする。ここで「三次元空間」とは、現実世界の空間に対するシミュレーション結果である。三次元空間におけるシミュレーション光源の第１の位置を取得する目的は、画像におけるオブジェクトとシミュレーション光源との間の位置関係を容易に見分けることである。

【0023】

現実世界では、シーンによって、光源から出射された光がいくつかの遮蔽物を通った後のみオブジェクトに投影され、まだらの光と影が形成される場合がある。例示的に、図２を参照すると、遮蔽物Ｍは、透光領域Ｂと遮光領域Ａとを含む。太陽Ｎの光線は、遮蔽物Ｍの透光領域Ｂ（葉の隙間など）を通って地面に照射され、地面に大きさや形状が異なる光点Ｃが次々と現れる。このような状況をシミュレートするために、照射効果素材画像を設定することができる。このように、照明効果素材画像は、遮蔽物Ｍの存在によって形成される特定パターンの光点Ｃをシミュレートするための素材であってもよい。一つの実施可能な形態では、照明効果素材画像は、図２の地面に形成された光点のセットのシミュレーション結果と見なすことができる。図２は本開示の一実施形態に係る現実世界における光照射の概略図である。

【0024】

照明情報とは、明暗の情報を指し、具体的に輝度値や階調値で表すことができる。「照明効果素材画像には照明情報が含まれている」とは、異なる位置の明暗情報を反映できるデータが照明効果素材画像に含まれていることを意味する。例示的には、図３に示すように、白色領域は、光源から出射された光が遮蔽物の透光領域を通って形成された光点をシミュレートする一方、黒色領域は、光源から出射された光が遮蔽物で遮られ、照射できない部分をシミュレートする。ここで、図３は本開示の一実施形態に係る照明効果素材画像の概略図である。

【0025】

また、Ｓ１１０の具体的な実現方法は多様であり、例えば、ユーザはヒューマンコンピュータインタラクションデバイスを介してユーザ指示を入力することができ、ユーザ指示には、照明効果処理を必要とする画像、選択された照明効果素材画像、及び三次元空間における指定されたシミュレーション光源の第１の位置が含まれている。ユーザ指示を解析することによって、照明効果処理を必要とする画像、選択された照明効果素材画像、及び三次元空間における指定されたシミュレーション光源の第１の位置が得られる。

【0026】

ステップＳ１２０：画像におけるオブジェクト画像に基づき、当該オブジェクト画像の表面上にオブジェクトの第１の三次元メッシュモデルを生成する。

【0027】

現実の世界では、オブジェクトは立体的であるため、このステップの本質は、照明効果処理前の画像自体に基づき、画像におけるオブジェクトの立体性を復元することである。

【0028】

デジタル化画像では、各画素は、画像の色を表すビットを含む２進数のセットで記述され、画像における各画素の色が占める２進数のビット数は、画像奥行きと呼ばれる。画像奥行きは、カラー画像の各画素が持つ可能性のある色数、またはグレースケール画像の各画素が持つ可能性のあるグレーレベルを決定する。これは、カラー画像に出現可能な最大色数、またはグレースケール画像における最大グレーレベルを決定する。

【0029】

このステップの具体的な実現方法は多様であり、例えば、画像におけるオブジェクト画像の奥行き情報に基づき、オブジェクト画像の表面上にオブジェクトの第１の三次元メッシュモデルを生成することができる。

【0030】

また、実際には、まず、画像におけるオブジェクトのカテゴリを識別し、次に画像におけるオブジェクトのカテゴリに基づき適切なアルゴリズムを選択し、このアルゴリズムと画像におけるオブジェクト画像の奥行き情報とに基づき、オブジェクト画像の表面上にオブジェクトの第１の三次元メッシュモデルを生成することができる。異なるタイプのオブジェクトには異なる特性があるため、オブジェクトのタイプに応じてアルゴリズムを選択することにより、形成された第１の三次元メッシュモデルとオブジェクトの表面との適合度をより高くすることができ、その後の照明効果の追加により形成される効果をより自然にするのに有利である。

【0031】

例示的には、画像におけるオブジェクトが人間の顔である場合、顔マッチングアルゴリズム（例えばｆａｃｅｆｉｔｔｉｎｇアルゴリズムなど）を使用して、人間の顔の表面上に人間の顔の第１の三次元メッシュモデルを生成することができる。

【0032】

ステップＳ１３０：シミュレーション光源の第１の位置、第１の三次元メッシュモデル上の点の画像表面からの距離、及び照明効果素材画像に基づき、当該第１の三次元メッシュモデル上の点の照明情報を決定する。

【0033】

このステップの具体的な実現方法は多様であり、例えば、シミュレーション光源の第１の位置、第１の三次元メッシュモデル上の点の画像表面からの距離に基づき、シミュレーション光源によって照射された後の当該第１の三次元メッシュモデル上の点の第１の照明効果画像上の投影点を決定し、当該第１の三次元メッシュモデル上の点に対応する投影点の照明情報を、第１の三次元メッシュモデル上の点の照明情報として決定する。理解の便宜上、以下、図４を参照しながら説明する。図４は、本開示の一実施形態に係る、第１の三次元メッシュモデル上の点の照明情報を決定する概略図である。

【0034】

図４を参照すると、第１の三次元メッシュモデル上の点Ｄ１がシミュレーション光源Ｎによって照明された後、その照明効果素材画像Ｐ１上の投影点がＤ２である。ここでの照明効果素材画像は、Ｓ１１０で取得された画像と重なっていると理解することができ、この場合、照明効果素材画像Ｐ１上の点Ｄ２の照明情報を点Ｄ１の照明情報として決定する。

【0035】

その中で、点Ｄ１の照明効果素材画像Ｐ１上の投影点Ｄ２を決定する方法は多様であり、例えば、画像が存在する平面を基準平面とし、その上に直交するＸ軸とＹ軸を設定する。基準平面と直交し、光源が配置されている側を指す方向をＺ軸の正の方向とし、このようにしてデカルト座標系が確立される。シミュレーション光源の座標を（ｘｌ,ｙｌ,ｚｌ)、点Ｄ１の座標を（ｘ０,ｙ０,ｚ０)、投影点Ｄ２の座標を（ｕ,ｖ,０）とすると、次の式（１）と式（２）から、それぞれｕとｖを求めることができる。

【数1】

【0036】

このように投影点を決定する方法は比較的簡単であり、計算量が少なく、計算速度が速く、端末パフォーマンスに対する要求が低くなる。

【0037】

ステップＳ１４０：第１の三次元メッシュモデル上の点の照明情報に基づき、画像におけるオブジェクト画像をレンダリングし、当該画像の第１の照明効果レンダリング画像を取得する。

【0038】

当業者であれば理解できるように、現実の世界では、同一平面（あるテーブルの面など）で決定される照明範囲に対して、光源の位置をそのまま不変とし、最初に、光源が図２に示される特定の遮蔽物を通ってこの範囲に照射すると、形成される光点効果を第１の照明効果とする。あるオブジェクト（ティーポットなど）をこの照明範囲内に置き、同一光源が同一遮蔽物を通ってこの範囲を再び照射すると、形成される光点効果を第２の照明効果とする。第１の照明効果と第２の照明効果とを比較すると、第１の照明効果に比べて、第２の照明効果における光点のエッジがずれていることがわかる。オブジェクトが立体的であり、その立体的な特性により、光点の形状やサイズが変化しているからである。

【0039】

Ｓ１３０及びＳ１４０の本質は、第１の三次元メッシュモデル上の点のＺ軸方向での座標値に基づき、第１の三次元メッシュモデル上の点の照明情報を決定し、オブジェクトの立体性によって引き起こされる光点のエッジずれの様子をシミュレートすることによって、当該オブジェクトに反映される照明効果と現実世界の照明効果との一致性を向上させ、照明効果をより自然にすることである。

【0040】

オブジェクト画像を除く画像の他の部分が背景画像と呼ばれる場合、上記の技術案は、階層レンダリングの手法を採用することもできる。最初に背景画像の照明と影の効果を描画し、次にオブジェクトの三次元モデルでの照明効果を描画し、これによって、照明効果をより自然でリアルにすることができる。

【0041】

本開示の実施形態では、画像の背景及びオブジェクトの影をレンダリングするための方法が様々あり、例えば、例示的な方法では、照明効果素材画像上の照明情報に基づき画像の背景部分をレンダリングすることができ、シミュレーション光源の第１の位置に基づき、画像上にレンダリングしてオブジェクトの影を得ることができる。

【0042】

ここで、「照明効果素材画像に含まれる照明情報に基づき画像の背景部分をレンダリングする」ための具体的な実現方法は様々あり、例えば、フュージョンアルゴリズムを用いて照明効果素材画像と画像とを融合処理する。具体的には、まず、照明効果素材画像の各位置と照明効果を追加すべき画像の各位置との対応関係を求め、次に、照明効果素材画像の照明効果及びこの対応関係に基づき、照明効果を追加すべき画像の各位置の照明情報を決定し、照明効果を追加すべき画像の各位置の照明情報に基づき、照明効果を追加すべき画像をレンダリングする。

【0043】

さらに、融合する前に、照明効果素材画像のサイズが照明効果を追加すべき画像のサイズと一致するように照明効果素材画像のサイズを調整し、これにより、照明効果を追加すべき画像の各位置の照明情報を決定することが容易になる。

【0044】

具体的に融合処理を行う場合、両者の対応する位置における画素値の平均値、エントロピー値、標準偏差、平均勾配などを組み合わせることにより、両者の融合処理を行うことができる。

【0045】

なお、オブジェクト画像を除く画像の他の部分が背景画像と呼ばれる場合、背景の照明効果レンダリングを実行するときに、オブジェクト画像及び背景画像の両方を照明効果素材画像と融合する必要があることに注意されたい。

【0046】

「シミュレーション光源の第１の位置に基づき、画像上にレンダリングしてオブジェクトの影を得る」ための具体的な実現方法は様々あり、例えば、シミュレーション光源の第１の位置に基づき、オブジェクトがシミュレーション光源によって照射された後に形成された影の画像上の第２の位置を決定し、画像の第２の位置でレンダリングして影を得ることができる。

【0047】

さらに、「シミュレーション光源の第１の位置に基づき、オブジェクトがシミュレーション光源によって照射された後に形成された影の画像上の第２の位置を決定する」ための具体的な実現方法は様々あり、例えば、画像からオブジェクト画像を分割して除去し、オブジェクト画像が存在する領域のマスクを得、シミュレーション光源の第１の位置に基づき、領域に対するマスクのオフセット量を決定し、領域に対するマスクのオフセット量に基づき、オブジェクトの影の画像上の第２の位置を決定することができる。理解の便宜上、以下、図５を参照しながら説明する。ここで、図５は、本開示の一実施形態に係るオブジェクトがシミュレーション光源によって照射された後に形成された影の画像上の第２の位置を決定する概略図である。

【0048】

一つの実施可能な形態では、図５を参照すると、Ｙ２は、シミュレーション光源Ｎによって照明される前にオブジェクトＱが存在する領域のマスクである。画像Ｐ全体に対するＹ２の位置は、マスクの初期位置である。シミュレーション光源Ｎから出射される光の照射方向は、シミュレーション光源Ｎの第１の位置とオブジェクトＱの位置とに基づき求めることができる。照射方向に基づいて、マスクの初期位置に対するマスクのオフセット量を計算することができる。続いて、マスクの初期位置及びマスクの初期位置に対するマスクのオフセット量に基づき、オブジェクトの影の画像上の第２の位置を得ることができる。

【0049】

一つの実施可能な形態では、「シミュレーション光源の第１の位置に基づき、オブジェクトがシミュレーション光源によって照射された後に形成された影の画像上の第２の位置を決定する」ことは以下の通りであってもよい。まず、シミュレーション光源の第１の位置に基づき、当該シミュレーション光源によって照射された後の第１の三次元メッシュモデル上の点の画像上の投影点を決定する。その後、全ての投影点に基づいて、全ての投影点からなる輪郭図形を決定する。例えば、図６の各点が、シミュレーション光源によって照射された後の同じ第１の三次元メッシュモデル上の点の画像上の投影点であるとすると、図６の円Ｆ１は、全ての投影点からなる輪郭図形である。図６からわかるように、輪郭図形Ｆ１は、全ての投影点のうち最も外側の点をフィッティングすることによって得られるグラフである。輪郭図形に位置する投影点を除いて、他の投影点は当該輪郭図形内に位置する。最後に、オブジェクト画像を輪郭図形から取り除くと、オブジェクトがシミュレーション光源によって照射された後に形成される影の画像上の第２の位置が得られる。引き続き図６を参照すると、円Ｆ２がオブジェクト画像であり、オブジェクト画像（即ち、円Ｆ２）を輪郭図形Ｆ１から取り除くと、斜線で塗りつぶされた領域が得られる。斜線で塗りつぶされた領域の位置は、オブジェクトがシミュレーション光源によって照射された後に形成される影の画像上の第２の位置である。これに加えて、上記の技術案では、投影点を決定する方法も提供する。この方法は、比較的簡単であり、計算量が少なく、計算速度が速く、端末パフォーマンスに対する要求が低い。ここで、図６は、本開示の別の実施形態に係る、オブジェクトがシミュレーション光源によって照射された後に形成された影の画像上の第２の位置を決定する概略図である。

【0050】

上記の技術案に基づいて、一つの実施可能な形態では、前記第１の照明効果レンダリング画像が得られた後、「画像に基づく照明効果処理方法」は、さらに、予め設定された拡散反射照明モデルに基づき、第１の照明効果レンダリング画像を処理し、画像の第２の照明効果レンダリング画像を取得するステップを含む。このように設定すれば、形成される照明効果をより自然でリアルにすることができる。一つの実施可能な形態では、実際には、フォン照明モデル（Ｐｈｏｎｇ Ｌｉｇｈｔｉｎｇ Ｍｏｄｅｌ）を使用して、奥行き及び法線情報に基づいて第１の照明効果画像を処理し、第２の照明効果レンダリング画像を取得することができる。

【0051】

現実の世界では、照度（Ｌｕｍｉｎｏｓｉｔｙ）は、オブジェクトが照射されるときの明るさの度合いを表す。同じ光源の場合、光源が被照射面から遠いほど被照射面の照度が小さくなり、被照射面が暗くなる一方、光源が被照射面に近いほど被照射面の照度が大きくなり、被照射面が明るくなる。これに基づいて、理論的には、仮想世界では、第１の三次元メッシュモデル上の点のＺ軸方向での座標値が大きいほど、シミュレーション光源に近くなり、この点の輝度が高くなる一方、第１の三次元メッシュモデル上の点のＺ軸方向での座標値が小さいほど、シミュレーション光源から遠く離れ、その点の輝度は低くなる。したがって、上記の各技術案に基づいて、さらに、第１の三次元メッシュモデル上の点のＺ軸方向での座標値に基づき、第１の三次元メッシュモデル上の点の照明情報を補正することで、このオブジェクトに反映される照明効果と現実世界の照明効果との一致性をさらに向上させることができる。

【0052】

具体的には、照明情報は、階調値で表されるものとする。このとき、第１の三次元メッシュモデル上の点のＺ軸方向における座標値が大きいほど階調値が大きくなる。一つの実施可能な実施形態では、Ｚ軸方向の座標値と照明情報補正パラメータとの間の変換関係が予め定められる。例えば、プリセット重みを設定し、座標値にプリセット重みを乗算することで、積の結果（即ち、照明情報補正パラメータ）を０から２５５の範囲内とする。続いて、Ｓ１４０で得られた第１の三次元メッシュモデル上の点の照明情報と、同じ点の照明情報補正パラメータとに基づき、当該点の最終的な照明情報を決定する。Ｓ１４０を実行するとき、補正後の第１の三次元メッシュモデル上の点の照明情報に基づき、オブジェクト画像をレンダリングして第１の照明効果レンダリング画像を取得する。

【0053】

また、実際には、Ｓ１２０の実行後、形成された第１の三次元メッシュモデルにおいて、境界に近い領域の一部と背景との境界部分は、奥行きの遷移が平滑ではないため不自然な断面が生じる場合がある。例として、画像におけるオブジェクトが人の顔であり、顔以外の部分が背景であるとする。顔の第１の三次元メッシュモデルを顔の表面上に直接生成し、画像が存在する平面（即ち標準平面、また背景画像が存在する平面とも理解できる）のグレーレベルを０に設定し、黒として表現する（図７には図示せず）場合、第１の三次元メッシュモデルのＺ軸座標をグレーに変換すると、その結果が図７に示されている。図７において、顔の三次元メッシュモデルの高さが平面よりも高いほど、色が白くなる。額の位置が標準平面よりも遥かに高いため、この箇所の色の遷移が平滑ではなく、色が急激に変化し、断層が形成されるようになる。この三次元メッシュモデルを基にして直接、照明処理を行うと、顔と背景との境界部に不自然な断面が生成される。ここで、図７は、本開示の実施形態に係る、実際に起こり得る状況の概略図である。

【0054】

図７に示されている上述の欠陥を解決するために、本出願の実施形態は、画像に基づく照明効果処理方法の別の実施形態を提供し、以下で図８を参照しながら説明する。ここで、図８は、本開示の別の実施形態に係る、画像に基づく照明効果処理方法のフローチャートである。図８は、図７の一つの具体例である。

【0055】

図８を参照すると、当該画像に基づく照明効果処理方法は、以下のステップを含んでもよい。

【0056】

ステップＳ２１０：画像、照明効果素材画像、及びシミュレーション光源の三次元空間における第１の位置を取得し、照明効果素材画像には照明情報が含まれている。

【0057】

なお、Ｓ２１０の関連内容については、上記Ｓ１１０の関連内容を参照されたい。

【0058】

ステップＳ２２０：予め設定されたオブジェクトマッチングアルゴリズムに基づいて、オブジェクトの表面上にオブジェクトの第２の三次元メッシュモデルを生成する。

【0059】

ここで、「予め設定されたオブジェクトマッチングアルゴリズム」とは、予め設定された、画像におけるオブジェクト画像の奥行き情報を参照して、オブジェクト画像の表面上にオブジェクトの三次元メッシュモデルを生成するためのアルゴリズムである。「予め設定されたオブジェクトマッチングアルゴリズム」は本開示の実施形態で限定されず、例えば、顔マッチングアルゴリズムであってもよい。

【0060】

ここで、第２の三次元メッシュモデルとは、画像におけるオブジェクト画像の奥行き情報のみに基づいて生成された三次元メッシュモデルであり、当該三次元モデルは、奥行きの遷移が平滑ではないため、断面が不自然になる問題が生じる可能性がある。

【0061】

ステップＳ２３０：第２の三次元メッシュモデルにおける画像との境界部分を平滑化して、オブジェクトの第１の三次元メッシュモデルを取得する。

【0062】

本ステップの具体的な実現方法は様々であり、一つの実施可能な形態では、画像におけるオブジェクトの周りに複数の点を挿入するステップと、複数の点と第２の三次元メッシュモデルのエッジ上の点とを連結して、新しいメッシュを生成するステップと、新しいメッシュと第２の三次元メッシュモデルとに基づいて、オブジェクトの第１の三次元メッシュモデルを生成するステップと、を含む。

【0063】

ここで、挿入される点の具体的な挿入位置は、画像における背景画像部分にあればよい。その具体的な位置は、本開示で限定されない。画像の周りの境界線にあってもよいし、画像の周りの境界線になくてもよい。また、点を挿入する際には、自然断面が存在する可能性のある領域の近くにのみ点を挿入してもよく、自然断面が存在するかどうかに関係なく、オブジェクトの周りの全ての領域に点を挿入するように設定してもよい。

【0064】

背景画像が存在する平面を標準平面とすれば、第２の三次元メッシュモデルは標準平面上に位置する突起に相当し、このようにして、複数の点と第２の三次元メッシュモデルのエッジ上の点とを連結して生成された新しいメッシュは、突起したエッジを標準平面に接続する斜面に相当する。

【0065】

Ｓ２３０を容易に理解するために、以下に図９を参照しながら説明する。ここで、図９は、本開示の一実施形態に係るＳ２３０の実行後の様子を示す概略図である。

【0066】

一例として、挿入された点の奥行きの値を０に設定した場合、新しく挿入された点を元の顔の三次元モデルの最外層の頂点に接続することができ、全体的に描画した結果を図９に示すことができる。図９から、額から画像の上エッジにかけてグラデーション効果が現れていることがわかる。ただし、挿入された点がまばらであるため、いくつかのメッシュのアーティファクトが存在している。実際には、挿入された点が密集しているほど、形成されるグラデーション効果が良くなる。上記の内容からわかるように、上記の方法を用いることで、オブジェクトのエッジと背景との境界部での奥行き遷移が平滑でないことによる不自然な断面の問題を解決することができる。

【0067】

また、照明効果をより自然でリアルにするために、上記の「新しいメッシュと第２の三次元メッシュモデルとに基づいて、オブジェクトの第１の三次元メッシュモデルを生成する」構成を、「新しいメッシュと第２の三次元メッシュモデルとに基づいて、オブジェクトの第３の三次元メッシュモデルを取得し、第３の三次元メッシュモデルをフィルタ処理して、オブジェクトの第１の三次元メッシュモデルを取得する」構成に置き換えるように設定することができる。一例として、図１０は、図９をフィルタ処理した結果である。図９と比較して、図１０の照明効果がより自然でリアルであることは明らかである。ここで、図１０は、本開示の別の実施形態に係るＳ２３０の実行後の様子を示す概略図である。

【0068】

一つの実施可能な形態では、フィルタ処理は、平均フィルタリングを含む。

【0069】

ステップＳ２４０：照明効果素材画像に含まれる照明情報に基づき、画像の背景部分をレンダリングし、シミュレーション光源の第１の位置に基づき、画像上にレンダリングしてオブジェクトの影を得る。

【0070】

なお、Ｓ２４０の関連内容については、上記の「照明効果素材画像に含まれる照明情報に基づき、画像の背景部分をレンダリングする」に関する内容、及び「シミュレーション光源の第１の位置に基づき、画像上にレンダリングしてオブジェクトの影を得る」に関する内容を参照されたい。

【0071】

ステップＳ２５０：シミュレーション光源の第１の位置、第１の三次元メッシュモデル上の点の画像表面からの距離、及び照明効果素材画像に基づき、第１の三次元メッシュモデル上の点の照明情報を決定する。

【0072】

なお、Ｓ２５０の関連内容については、上記のＳ１３０に関する内容を参照されたい。

【0073】

ステップＳ２６０：第１の三次元メッシュモデル上の点の照明情報に基づき、画像におけるオブジェクト画像をレンダリングし、画像の第１の照明効果レンダリング画像を取得する。

【0074】

なお、Ｓ２６０の関連内容については、上記のＳ１４０に関する内容を参照されたい。

【0075】

上記のＳ２１０からＳ２６０の関連内容に基づいて、本出願の技術案は、第２の３次元メッシュモデルにおける画像との境界部分を平滑化することにより、形成された照明効果をより自然でリアルにすることができることがわかる。

【0076】

本開示の実施形態は、さらに照明効果処理装置を提供する。図１１は、本開示の一実施形態に係る照明効果処理装置の構成ブロックである。図１１を参照すると、当該照明効果処理装置は、
画像、照明効果素材画像、及びシミュレーション光源の三次元空間における第１の位置を取得するための取得モジュールであって、前記照明効果素材画像には照明情報が含まれている取得モジュール３１０と、
前記画像におけるオブジェクト画像に基づき、前記オブジェクト画像の表面上にオブジェクトの第１の三次元メッシュモデルを生成するための生成モジュール３２０と、
前記シミュレーション光源の第１の位置、前記第１の三次元メッシュモデル上の点の前記オブジェクト画像の前記表面からの距離、及び前記照明効果素材画像に基づき、前記第１の三次元メッシュモデル上の点の照明情報を決定するための決定モジュール３３０と、
前記第１の三次元メッシュモデル上の点の照明情報に基づき、前記画像におけるオブジェクト画像をレンダリングし、前記画像の第１の照明効果レンダリング画像を取得するための第１のレンダリングモジュール３４０と、を含む。

【0077】

一つの実施可能な形態では、前記装置は、
前記照明効果素材画像に含まれる照明情報に基づき、前記画像の背景部分をレンダリングするための第２のレンダリングモジュールをさらに含む。

【0078】

一つの実施可能な形態では、前記装置は、
前記シミュレーション光源の第１の位置に基づき、前記画像上にレンダリングして前記オブジェクトの影を得るための第３のレンダリングモジュールをさらに含む。

【0079】

一つの実施可能な形態では、前記装置は、
予め設定された拡散反射照明モデルに基づき、前記第１の照明効果レンダリング画像を処理し、前記画像の第２の照明効果レンダリング画像を取得するための拡散反射処理モジュールをさらに含む。

【0080】

一つの実施可能な形態では、前記生成モジュール３２０は、
予め設定されたオブジェクトマッチングアルゴリズムに基づいて、前記オブジェクト画像の表面上に前記オブジェクトの第２の三次元メッシュモデルを生成するための第１の生成サブモジュールと、
前記第２の三次元メッシュモデルにおける前記画像との境界部分を平滑化して、前記オブジェクトの第１の三次元メッシュモデルを取得するための平滑化処理サブモジュールと、を含む。

【0081】

一つの実施可能な形態では、前記平滑化処理サブモジュールは、
前記画像上に前記オブジェクトの周りに複数の点を挿入するための挿入サブユニットと、
前記複数の点と前記第２の三次元メッシュモデルのエッジ上の点とを連結して、新しいメッシュを生成するための第１の生成サブユニット、
前記新しいメッシュと前記第２の三次元メッシュモデルとに基づいて、前記オブジェクトの第１の三次元メッシュモデルを生成するための第２の生成サブユニットと、
を含む。

【0082】

一つの実施可能な形態では、前記第２の生成サブユニットは、
前記新しいメッシュと前記第２の三次元メッシュモデルとに基づいて、前記オブジェクトの第３の三次元メッシュモデルを取得し、
前記第３の三次元メッシュモデルをフィルタ処理して、前記オブジェクトの第１の三次元メッシュモデルを取得するように構成される。

【0083】

一つの実施可能な形態では、前記フィルタ処理は、平均フィルタリングを含む。

【0084】

一つの実施可能な形態では、前記第３のレンダリングモジュールは、
前記シミュレーション光源の前記第１の位置に基づき、前記オブジェクトが前記シミュレーション光源によって照射された後に形成された影の前記画像上の第２の位置を決定するための決定サブモジュールと、
前記画像の前記第２の位置でレンダリングして前記影を得るためのレンダリングサブモジュールと、を含む。

【0085】

一つの実施可能な形態では、前記決定サブモジュールは、
前記画像から前記オブジェクト画像を分割して除去し、前記オブジェクト画像が存在する領域のマスクを得るための分割サブユニットと、
前記シミュレーション光源の前記第１の位置に基づき、前記領域に対する前記マスクのオフセット量を決定するための第１の決定サブユニットと、
前記領域に対する前記マスクのオフセット量に基づき、前記オブジェクトの影の前記画像上の第２の位置を決定するための第２の決定サブユニットと、
を含む。

【0086】

一つの実施可能な形態では、前記決定モジュールは、
前記シミュレーション光源の第１の位置、前記第１の三次元メッシュモデル上の点の前記オブジェクト画像の前記表面からの距離に基づき、前記シミュレーション光源によって照射された後の前記第１の三次元メッシュモデル上の点の前記照明効果素材画像上の投影点を決定し、
前記第１の三次元メッシュモデル上の点に対応する投影点の照明情報を、前記第１の三次元メッシュモデル上の点の照明情報として決定するように構成される。

【0087】

本開示の実施形態によって提供される照明効果処理装置は、本開示の方法実施形態によって提供されるいずれかの照明効果処理方法を実行するために使用することができ、実行可能な照明効果処理方法と同じまたは対応する有利な効果を有するので、ここで説明を省略する。

【0088】

本開示の実施形態は、さらに端末デバイスを提供する。当該端末デバイスは、メモリとプロセッサとを含み、前記メモリにはコンピュータプログラムが記憶されており、前記コンピュータプログラムが前記プロセッサによって実行されるとき、上記の図１から図１０のいずれか１つの実施形態に記載の方法が実現され得る。

【0089】

一例として、図１２は、本開示の一実施形態に係る端末デバイスの構成概略図である。以下、図１２を参照すると、本開示の実施形態を実施するのに適している端末デバイス１０００の構成概略図が示されている。本開示の実施形態に係る端末デバイス１０００は、携帯電話、ノートブックコンピュータ、デジタル放送受信機、ＰＤＡ（パーソナルデジタルアシスタント）、ＰＡＤ（タブレットコンピュータ）、ＰＭＰ（ポータブルマルチメディアプレーヤ）、車載端末（例えば、カーナビゲーション端末）などのモバイル端末、及びデジタルテレビ、デスクトップコンピュータなどの固定端末を含み得るが、これらに限定されない。図１２に示される端末デバイスは単なる一例に過ぎず、本開示の実施形態の機能及び使用範囲にいかなる制限もかけるべきではない。

【0090】

図１２に示すように、端末デバイス１０００は、処理装置（例えばＣＰＵ、グラフィックプロセッサなど）１００１を含み得、読み取り専用メモリ（ＲＯＭ）１００２に記憶されたプログラムまたは記憶装置１００８からランダムアクセスメモリ（ＲＡＭ）１００３内にロードされたプログラムに従い、様々な適切な動作と処理を実行することができる。ＲＡＭ１００３には、端末デバイス１０００を操作するのに必要な様々なプログラム及びデータも記憶されている。処理装置１００１、ＲＯＭ１００２及びＲＡＭ１００３は、バス１００４を介して互いに接続されている。入出力（Ｉ／Ｏ）インターフェース１００５もバス１００４に接続されている。

【0091】

典型的には、Ｉ／Ｏインターフェース１００５には、例えば、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロフォン、加速度計、ジャイロスコープなどを含む入力デバイス１００６、例えば、液晶ディスプレイ（ＬＣＤ）、スピーカー、振動コンピュータなどを含む出力装置１００７、例えば、磁気テープ、ハードディスクなどを含む記憶装置１００８、及び通信装置１００９が接続され得る。通信装置１００９は、端末デバイス１０００が他のデバイスと無線または有線で通信してデータを交換することを可能にする。図１２には、様々な装置を有する端末デバイス１０００が示されているが、図示された装置の全てを実施または具備する必要があるわけではないことは理解されるべきである。代替的に、より多くのまたはより少ない装置を実施または具備することができる。

【0092】

特に、本開示の実施形態によれば、フローチャートを参照して上記で説明されたプロセスは、コンピュータソフトウェアプログラムとして実現され得る。例えば、本開示の実施形態は、非一時的なコンピュータ可読媒体上に記憶されるコンピュータプログラムを含むコンピュータプログラム製品を含み、当該コンピュータプログラムは、フローチャートに示される方法を実行するためのプログラムコードを含む。このような実施形態では、当該コンピュータプログラムは、通信装置１００９を介してネットワークからダウンロード及びインストールされ得るか、または記憶装置１００８、またはＲＯＭ１００２からインストールされ得る。当該コンピュータプログラムが処理装置１００１によって実行されるとき、本開示の実施形態に係る方法で定義された上記の機能が実行される。

【0093】

なお、本開示に言及された上記のコンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体、あるいは上記両者の任意の組み合わせであり得る。コンピュータ可読記憶媒体は、例えば、電気的、磁気的、光学的、電磁気的、赤外線または半導体システム、装置またはデバイス、あるいは上記の任意の組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例には、１つまたは複数のワイヤを有する電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラミング可能読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ-ＲＯＭ）、光ストレージデバイス、磁気ストレージデバイス、または上記の任意の適切な組み合わせを含み得るが、これらに限定されない。本開示では、コンピュータ可読記憶媒体は、指令実行システム、装置、またはデバイスによって、またはそれらと組み合わせて使用することができるプログラムを含むか、または記憶する任意の有形媒体であり得る。しかしながら、本開示では、コンピュータ可読信号媒体は、ベースバンドで、またはコンピュータ可読プログラムコードが担持された搬送波の一部として伝搬されるデータ信号を含み得る。そのように伝搬されたデータ信号は、様々な形態をとることができ、電磁信号、光信号、または前述の任意の適切な組み合わせを含むが、これらに限定されない。コンピュータ可読信号媒体はまた、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であり得、当該コンピュータ可読信号媒体は、指令実行システム、装置、またはデバイスによって、またはそれらと組み合わせて使用するためにプログラムを送信、伝搬、または伝送することができる。コンピュータ可読媒体上に含まれたプログラムコードは、電線、光ファイバーケーブル、ＲＦ（無線周波数）、または前述の任意の適切な組み合わせなどを含むがこれらに限定されない任意の適切な媒体を使用して伝送することができる。

【0094】

いくつかの実施形態では、クライアント端末、サーバーは、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ、ハイパーテキスト転送プロトコル）などの現在既知または将来開発される任意のネットワークプロトコルを使用して通信することができ、任意の形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）と相互接続されることができる。通信ネットワークの例としては、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、インターネット（ｉｎｔｅｒｎｅｔなど）、及びピアツーピアネットワーク（ａｄｈｏｃピアツーピアネットワークなど）、及び現在既知または将来開発されるネットワークが挙げられる。

【0095】

上記のコンピュータ可読媒体は、上記の端末デバイスに含まれていてもよく、または端末デバイスに組み込まれず、単独で存在していてもよい。

【0096】

上記のコンピュータ可読媒体には、１つ以上のプログラムが記憶されている。上記の１つ以上のプログラムが端末デバイスによって実行されるとき、当該端末デバイスに、画像、照明効果素材画像、及びシミュレーション光源の三次元空間における第１の位置を取得するステップであって、前記照明効果素材画像には照明情報が含まれているステップと、前記画像におけるオブジェクト画像に基づき、前記オブジェクト画像の表面上にオブジェクトの第１の三次元メッシュモデルを生成するステップと、前記シミュレーション光源の第１の位置、前記第１の三次元メッシュモデル上の点の前記オブジェクト画像の前記表面からの距離、及び前記照明効果素材画像に基づき、前記第１の三次元メッシュモデル上の点の照明情報を決定するステップと、前記第１の三次元メッシュモデル上の点の照明情報に基づき、前記画像におけるオブジェクト画像をレンダリングし、前記画像の第１の照明効果レンダリング画像を取得するステップとを実行させる。

【0097】

本開示の操作を実行するためのコンピュータプログラムコードは、１つ以上のプログラミング言語またはそれらの組み合わせで書くことができる。上記のプログラミング言語には、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語が含まれるが、これらに限定されず、さらに「Ｃ」言語または類似しているプログラミング言語など従来の手続き型プログラミング言語が含まれる。プログラムコードは、完全にユーザのコンピュータ上で、一部はユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、一部はユーザのコンピュータ上でかつ一部はリモートコンピュータ上で、または完全にリモートコンピュータまたはサーバー上で実行することができる。リモートコンピュータが関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続されるか、または、外部コンピュータに接続される（インターネットサービスプロバイダによってインターネット接続を介して接続するなど）ことができる。

【0098】

図面におけるフローチャート及びブロック図は、本開示の様々な実施形態に係るシステム、方法、及びコンピュータプログラム製品による実現可能な体系アーキテクチャ、機能及び操作を示している。この点に関して、フローチャートまたはブロック図の各ブロックは、所定の論理機能を実現するための１つ以上の実行可能な指令を含むモジュール、プログラムセグメント、またはコードの一部を代表することができる。なお、いくつかの代替の実現において、ブロックに示されている機能は、図示されている順序とは異なる順で発生する場合もある。例えば、連続して示される２つのブロックは、実際にほぼ並行して実行される場合もあれば、逆な順序に従って実行される場合もあるが、関連する機能に応じて決定される。なお、ブロック図及び／またはフローチャート図の各ブロック、及びブロック図及び／またはフローチャート図のブロックの組み合わせは、所定の機能または操作を実行するための専用のハードウェアベースのシステムによって実現されるか、または専用のハードウェアとコンピュータ指令の組み合わせによって実現されることができる。

【0099】

本開示の実施形態に記載されるユニットは、ソフトウェアの方式で実現されてもよいし、ハードウェアの方式で実現されてもよい。ここで、ユニットの名称は、ある場合、当該ユニット自身への限定を構成しない。

【0100】

本明細書で上記に説明された機能は、少なくとも部分的に１つまたは複数のハードウェアロジック部材によって実行されてもよい。例えば、利用できるハードウェアロジック部材の例示的なタイプは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）などを含むが、これらに限定されない。

【0101】

本開示の文脈において、機械可読媒体は、命令実行システム、装置、またはデバイスによって、またはそれらと組み合わせて使用されるためのプログラムを含むか、または記憶することができる有形の媒体であってもよい。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であり得る。機械可読媒体には、電子的、磁気的、光学的、電磁的、赤外線、または半導体システム、装置またはデバイス、あるいは上記の任意の適切な組み合わせが含まれ得るが、これらに限定されない。機械可読記憶媒体のより具体的な例には、１つまたは複数のワイヤによる電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、コンパクトディスク読み取り専用メモリ（ＣＤ-ＲＯＭ）、光ストレージ、磁気ストレージ、または上記の任意の適切な組み合わせが含まれ得る。

【0102】

本開示の実施形態はさらに、コンピュータ可読記憶媒体を提供する。前記記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサによって実行されるとき、上記の図１から図１０のいずれかの実施形態の方法を実現することができる。その実施形態及び有益な効果は類似しているため、ここでは、説明を省略する。

【0103】

なお、本明細書では、「第１」や「第２」などの関係用語は、１つのエンティティまたは操作を別のエンティティまたは操作と区別するためにのみ使用され、必ずしもこれらのエンティティまたは操作間に如何なる実際の関係または順序が存在していることを要求または暗示するものではない。さらに、「含む」、「包含」という用語またはそれらの任意の他の変形は、非排他的な包含をカバーすることを意味することで、一連の要素を含むプロセス、方法、物品またはデバイスは、それらの要素だけでなく、明確に列挙されていない他の要素、あるいは、このようなプロセス、方法、物品またはデバイスに固有の要素をさらに含む。それ以上の制限がない状況では、「１つの・・・を含む」という文によって限定される要素は、前記要素を含むプロセス、方法、物品またはデバイスには他の同じ要素がさらに存在することを排除しない。

【0104】

上記の説明は、単に、当業者が本開示を理解して実現することができるように、本開示の具体的な実施形態に過ぎない。これらの実施例に対する様々な補正は、当業者にとって自明であり、本明細書において定義された一般的な原理は、本開示の精神または範囲を逸脱することなく、別の実施例で実現されることができる。したがって、本開示は、本明細書に記載されたこれらの実施例に限定されるものではなく、本明細書に開示された原理及び新規な特徴に一致する最も広い範囲に適合するものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【手続補正書】

【提出日】2023-04-28

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピュータが実行する、画像に基づく照明効果処理方法であって、
画像、照明効果素材画像、及びシミュレーション光源の三次元空間における第１の位置を取得するステップであって、前記照明効果素材画像には照明情報が含まれているステップと、
前記画像におけるオブジェクト画像に基づき、前記オブジェクト画像の表面上にオブジェクトの第１の三次元メッシュモデルを生成するステップと、
前記シミュレーション光源の第１の位置、前記第１の三次元メッシュモデル上の点の前記オブジェクト画像前記表面からの距離、及び前記照明効果素材画像に基づき、前記第１の三次元メッシュモデル上の点の照明情報を決定するステップと、
前記第１の三次元メッシュモデル上の点の照明情報に基づき、前記画像におけるオブジェクト画像をレンダリングし、前記画像の第１の照明効果レンダリング画像を取得するステップと、
を含む、ことを特徴とする方法。

【請求項2】

前記シミュレーション光源の第１の位置、前記第１の三次元メッシュモデル上の点の前記オブジェクト画像の前記表面からの距離、及び前記照明効果素材画像に基づき、前記第１の三次元メッシュモデル上の点の照明情報を決定する前記ステップの前に、さらに、
前記照明効果素材画像に含まれる照明情報に基づき、前記画像の背景部分をレンダリングするステップを含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

前記シミュレーション光源の第１の位置、前記第１の三次元メッシュモデル上の点の前記オブジェクト画像の前記表面からの距離、及び前記照明効果素材画像に基づき、前記第１の三次元メッシュモデル上の点の照明情報を決定する前記ステップの前に、さらに、
前記シミュレーション光源の第１の位置に基づき、前記画像上にレンダリングして前記オブジェクトの影を得るステップを含む、ことを特徴とする請求項１に記載の方法。

【請求項4】

前記第１の照明効果レンダリング画像を取得するステップの後に、さらに、
予め設定された拡散反射照明モデルに基づき、前記第１の照明効果レンダリング画像を処理し、前記画像の第２の照明効果レンダリング画像を取得するステップを含む、ことを特徴とする請求項１に記載の方法。

【請求項5】

前記画像におけるオブジェクト画像に基づき、前記オブジェクト画像の表面上に前記オブジェクトの第１の三次元メッシュモデルを生成する前記ステップは、
予め設定されたオブジェクトマッチングアルゴリズムに基づいて、前記オブジェクト画像の表面上に前記オブジェクトの第２の三次元メッシュモデルを生成するステップと、
前記第２の三次元メッシュモデルにおける前記画像との境界部分を平滑化して、前記オブジェクトの第１の三次元メッシュモデルを取得するステップと、を含む、ことを特徴とする請求項１から４のいずれか１項に記載の方法。

【請求項6】

前記第２の三次元メッシュモデルにおける前記画像との境界部分を平滑化して、前記オブジェクトの第１の三次元メッシュモデルを取得する前記ステップは、
前記画像上に前記オブジェクトの周りに複数の点を挿入するステップと、
前記複数の点と前記第２の三次元メッシュモデルのエッジ上の点とを連結して、新しいメッシュを生成するステップと、
前記新しいメッシュと前記第２の三次元メッシュモデルとに基づいて、前記オブジェクトの第１の三次元メッシュモデルを生成するステップと、を含む、ことを特徴とする請求項５に記載の方法。

【請求項7】

前記新しいメッシュと前記第２の三次元メッシュモデルとに基づいて、前記オブジェクトの第１の三次元メッシュモデルを生成する前記ステップは、
前記新しいメッシュと前記第２の三次元メッシュモデルとに基づいて、前記オブジェクトの第３の三次元メッシュモデルを取得するステップと、
前記第３の三次元メッシュモデルをフィルタ処理して、前記オブジェクトの第１の三次元メッシュモデルを取得するステップと、を含む、ことを特徴とする請求項６に記載の方法。

【請求項8】

前記フィルタ処理は、平均フィルタリングを含む、ことを特徴とする請求項７に記載の方法。

【請求項9】

前記シミュレーション光源の第１の位置に基づき、前記画像上にレンダリングして前記オブジェクトの影を得る前記ステップは、
前記シミュレーション光源の前記第１の位置に基づき、前記オブジェクトが前記シミュレーション光源により照射された後に形成された影の前記画像上の第２の位置を決定するステップと、
前記画像の前記第２の位置でレンダリングして前記影を得るステップと、を含むことを特徴とする請求項３に記載の方法。

【請求項10】

前記シミュレーション光源の前記第１の位置に基づき、前記オブジェクトが前記シミュレーション光源により照射された後に形成された影の前記画像上の第２の位置を決定する前記ステップは、
前記画像から前記オブジェクト画像を分割して除去し、前記オブジェクト画像が存在する領域のマスクを得るステップと、
前記シミュレーション光源の前記第１の位置に基づき、前記領域に対する前記マスクのオフセット量を決定するステップと、
前記領域に対する前記マスクのオフセット量に基づき、前記オブジェクトの影の前記画像上の第２の位置を決定するステップと、を含むことを特徴とする請求項９に記載の方法。

【請求項11】

前記シミュレーション光源の第１の位置、前記第１の三次元メッシュモデル上の点の前記オブジェクト画像の前記表面からの距離、及び前記照明効果素材画像に基づき、前記第１の三次元メッシュモデル上の点の照明情報を決定する前記ステップは、
前記シミュレーション光源の第１の位置、前記第１の三次元メッシュモデル上の点の前記オブジェクト画像の前記表面からの距離に基づき、前記シミュレーション光源により照射された後の前記第１の三次元メッシュモデル上の点の前記照明効果素材画像上の投影点を決定するステップと、
前記第１の三次元メッシュモデル上の点に対応する投影点の照明情報を、前記第１の三次元メッシュモデル上の点の照明情報として決定するステップと、を含むことを特徴とする請求項１に記載の方法。

【請求項12】

画像に基づく照明効果処理装置であって、
画像、照明効果素材画像、及びシミュレーション光源の三次元空間における第１の位置を取得するための取得モジュールであって、前記照明効果素材画像には照明情報が含まれている取得モジュールと、
前記画像におけるオブジェクト画像に基づき、前記オブジェクト画像の表面上にオブジェクトの第１の三次元メッシュモデルを生成するための生成モジュールと、
前記シミュレーション光源の第１の位置、前記第１の三次元メッシュモデル上の点の前記オブジェクト画像の前記表面からの距離、及び前記照明効果素材画像に基づき、前記第１の三次元メッシュモデル上の点の照明情報を決定するための決定モジュールと、
前記第１の三次元メッシュモデル上の点の照明情報に基づき、前記画像におけるオブジェクト画像をレンダリングし、前記画像の第１の照明効果レンダリング画像を取得するための第１のレンダリングモジュールと、
を備える、ことを特徴とする装置。

【請求項13】

メモリとプロセッサとを含む端末デバイスであって、
前記メモリにはコンピュータプログラムが記憶されており、前記コンピュータプログラムが前記プロセッサによって実行されるとき、前記プロセッサに請求項１から１１のいずれか１項に記載の方法を実行させる、ことを特徴とする端末デバイス。

【請求項14】

コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されるとき、前記プロセッサに請求項１から１１のいずれか１項に記載の方法を実行させる、ことを特徴とするコンピュータ可読記憶媒体。

【請求項15】

端末デバイス上で実行されるとき、前記端末デバイスに請求項１から１１のいずれか１項に記載の方法を実行させる、ことを特徴とするコンピュータプログラム。

【国際調査報告】