特許 7566028 多様なポートレートから照明を学習すること

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-03

(45)【発行日】2024-10-11

(54)【発明の名称】多様なポートレートから照明を学習すること

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241004BHJP

   G06T 15/50 20110101ALI20241004BHJP

【ＦＩ】

G06T7/00 350B

G06T15/50

【請求項の数】 6

(21)【出願番号】P 2022544338

(86)(22)【出願日】2020-09-21

(65)【公表番号】

(43)【公表日】2023-05-24

(86)【国際出願番号】 US2020070558

(87)【国際公開番号】W WO2021236175

(87)【国際公開日】2021-11-25

【審査請求日】2022-10-18

(31)【優先権主張番号】62/704,657

(32)【優先日】2020-05-20

(33)【優先権主張国・地域又は機関】US

【前置審査】

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ルジャンドル，クロエ

(72)【発明者】

【氏名】デベベック，ポール

(72)【発明者】

【氏名】マ，ワン－チュン

(72)【発明者】

【氏名】パンディ，ロヒット

(72)【発明者】

【氏名】ファネロ，ショーン・リャン・フランセスコ

(72)【発明者】

【氏名】トン，クリスティーナ

【審査官】菊池 伸郎

(56)【参考文献】

【文献】特開２０１９－１７９４６４（ＪＰ，Ａ）

【文献】米国特許出願公開第２００９／０３１０８２８（ＵＳ，Ａ１）

【文献】特開２０１９－０４９７０６（ＪＰ，Ａ）

【文献】TIANCHENG SUN et al.，Single Image Portrait Relighting，[online]，2019年05月02日，https://arxiv.org/abs/1905.00824

【文献】Chloe LeGendre et al.，DeepLight: Learning Illumination for Unconstrained Mobile Mixed Reality，[online]，2019年04月02日，https://arxiv.org/abs/1904.01175

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－７／９０

Ｇ０６Ｖ １０／００－４０／７０

(57)【特許請求の範囲】

【請求項1】

方法であって、
複数の画像を表す画像データを受信するステップを備え、前記複数の画像は、人間の顔の表現を含み、前記人間の顔の表現は、物理的環境または仮想環境内の照明源によって照明された顔の画像を用いることによって形成されており、前記方法はさらに、
前記複数の画像に基づいて予測エンジンを生成するステップを備え、前記予測エンジンは、前記人間の顔の入力表現から予測照明プロファイルを生成するように構成されており、
前記予測エンジンを生成するステップは、
前記予測照明プロファイルを使用して一組の基準オブジェクトの微分可能レンダリングを実行して、前記一組の基準オブジェクトのレンダリングされた画像を生成するステップを含み、前記一組の基準オブジェクトの各々は、それぞれの双方向反射率分布関数（ＢＲＤＦ）を有し、前記予測エンジンを生成するステップはさらに、
前記一組の基準オブジェクトの前記レンダリングされた画像と前記一組の基準オブジェクトのグラウンドトゥルース画像との間の差を前記予測エンジンのコスト関数として生成するステップを含む、方法。

【請求項2】

前記コスト関数は、前記一組の基準オブジェクトの前記レンダリングされた画像に対するＢＲＤＦによって重み付けされたＬ１損失を含む、請求項１に記載の方法。

【請求項3】

前記コスト関数は、第１のコスト関数であり、
前記予測エンジンは、第２のコスト関数を含み、前記第２のコスト関数は、ミラーボールからの高周波鏡面反射に基づく敵対的損失関数である、請求項１に記載の方法。

【請求項4】

前記微分可能レンダリングは、画像ベースの再ライティング（ＩＢＲＬ）を使用して実行されて、ハイダイナミックレンジ（ＨＤＲ）照明画像を生成する、請求項１に記載の方法。

【請求項5】

前記コスト関数は、第１のコスト関数であり、
前記予測エンジンは、第２のコスト関数を含み、前記第２のコスト関数は、第１の人間の顔からの第１の予測照明プロファイルと第２の人間の顔からの第２の予測照明プロファイルとの間の差に基づく交差対象一貫性ベースの損失関数である、請求項１に記載の方法。

【請求項6】

電子装置であって、
メモリと、
前記メモリに結合された制御回路とを備え、前記制御回路は、
複数の画像を表す訓練データを受信するように構成されており、前記複数の画像は、人間の顔の表現を含み、前記人間の顔の表現は、物理的環境または仮想環境内の照明源によって照明された顔の画像を用いることによって形成されており、前記制御回路はさらに、
前記複数の画像に基づいて予測エンジンを生成するように構成されており、前記予測エンジンは、前記人間の顔の入力表現から予測照明プロファイルを生成するように構成されており、
前記予測エンジンを生成することは、
前記予測照明プロファイルを使用して一組の基準オブジェクトの微分可能レンダリングを実行して、前記一組の基準オブジェクトのレンダリングされた画像を生成することを含み、前記一組の基準オブジェクトの各々は、それぞれの双方向反射率分布関数（ＢＲＤＦ）を有し、前記予測エンジンを生成することはさらに、
前記一組の基準オブジェクトの前記レンダリングされた画像と前記一組の基準オブジェクトのグラウンドトゥルース画像との間の差を前記予測エンジンのコスト関数として生成することを含む、電子装置。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、「ポートレートから照明を学習すること（LEARNING ILLUMINATION FROM PORTRAITS）」と題される２０２０年５月２０日に出願された米国仮特許出願番号第６２／７０４，６５７号の非仮出願であって、米国仮特許出願番号第６２／７０４，６５７号に対する優先権を主張し、米国仮特許出願番号第６２／７０４，６５７号の開示は全文が引用によって本明細書に援用される。

【0002】

技術分野
本明細書は、たとえば拡張現実アプリケーションで使用される、ポートレートから照明を判断することに関する。

【背景技術】

【0003】

背景
静止写真および映像アプリケーションの双方での問題は、レンダリングされた仮想コンテンツがシーンの外観ともっともらしく一致するように現実世界のシーンのライティングを一致させることである。たとえば、モバイルデバイスの背面カメラと同様にワールドフェーシングカメラを用いた拡張現実（ＡＲ）使用事例のためのライティングスキームを設計し得るが、合成オブジェクト（１つの家具など）を現実世界のシーンのライブカメラフィードにレンダリングしたがる人がいるかもしれない。

【発明の概要】

【0004】

概要
本明細書に開示されている実現例は、任意の屋内または屋外ライティング条件下で取り込まれた単一のローダイナミックレンジ（ＬＤＲ）ポートレート画像からハイダイナミックレンジ（ＨＤＲ）全方向照明を推定するための学習ベースの技術を提供する。このような技術は、グラウンドトゥルース環境照明と対にされたポートレート写真を使用してモデルを訓練することを含む。この訓練は、ライトステージを使用してこのような写真のリッチなセットを生成して、さまざまな表情をした７０人の多様な対象の反射率フィールドおよびアルファマットを記録することと、次いで、１００万個のＨＤＲライティング環境のデータベースを用いて画像ベースの再ライティング（relighting）を使用して対象を再ライティングすることと、再ライティングされた対象を、ライティング取得中に記録された対をなす高解像度背景上にコンポジットすることとを含む。ライティング推定モデルの訓練は、レンダリングベースの損失関数を使用し、また、場合によっては、マルチスケール敵対的損失を使用して、もっともらしい高周波ライティング詳細を推定する。この学習ベースの技術は、全体的なライティング強度と表面アルベドとの間の特有の曖昧さを確実に処理し、多様な肌の色を有する対象について同様のスケールの照明を回復させる。この技術はさらに、仮想オブジェクトおよびデジタルキャラクタを一貫した照明を有するポートレート写真に追加することを可能にする。このライティング推定は、スマートフォン上でリアルタイムで実行可能であり、拡張現実（ＡＲ）アプリケーションのためのライブ映像への仮想オブジェクトの写実的レンダリングおよびコンポジットを可能にする。

【0005】

１つの一般的局面において、方法は、複数の画像を表す画像訓練データを受信するステップを含み得て、上記複数の画像の各々は、複数の人間の顔のうちの少なくとも１つを含み、上記複数の人間の顔の各々は、物理的環境または仮想環境内の複数の照明源のうちの少なくとも１つによって照明された１つまたは複数の顔の画像を結合することによって形成されており、上記複数の照明源の各々は、上記物理的環境または仮想環境内に複数の向きのそれぞれの向きで位置している。また、上記方法は、上記複数の画像に基づいて予測エンジンを生成するステップを含み得て、上記予測エンジンは、入力画像データから予測照明プロファイルを生成するように構成されており、上記入力画像データは、１つの入力された人間の顔を表す。

【0006】

別の一般的局面において、コンピュータプログラム製品は、非一時的な記憶媒体を備え、上記コンピュータプログラム製品は、コードを含み、上記コードは、コンピューティングデバイスの処理回路によって実行されると、上記処理回路に方法を実行させる。上記方法は、複数の画像を表す画像訓練データを受信するステップを含み得て、上記複数の画像の各々は、複数の人間の顔のうちの少なくとも１つを含み、上記複数の人間の顔の各々は、物理的環境または仮想環境内の複数の照明源のうちの少なくとも１つによって照明された１つまたは複数の顔の画像を結合することによって形成されており、上記複数の照明源の各々は、上記物理的環境または仮想環境内に複数の向きのそれぞれの向きで位置している。また、上記方法は、上記複数の画像に基づいて予測エンジンを生成するステップを含み得て、上記予測エンジンは、入力画像データから予測照明プロファイルを生成するように構成されており、上記入力画像データは、１つの入力された人間の顔を表す。

【0007】

別の一般的局面において、電子装置は、メモリと、上記メモリに結合された制御回路とを備える。上記制御回路は、複数の画像を表す画像訓練データを受信するように構成され得て、上記複数の画像の各々は、複数の人間の顔のうちの少なくとも１つを含み、上記複数の人間の顔の各々は、物理的環境または仮想環境内の複数の照明源のうちの少なくとも１つによって照明された１つまたは複数の顔の画像を結合することによって形成されており、上記複数の照明源の各々は、上記物理的環境または仮想環境内に複数の向きのそれぞれの向きで位置している。また、上記制御回路は、上記複数の画像に基づいて予測エンジンを生成するように構成され得て、上記予測エンジンは、入力画像データから予測照明プロファイルを生成するように構成されており、上記入力画像データは、１つの入力された人間の顔を表す。

【0008】

１つまたは複数の実現例の詳細は、添付の図面および以下の説明に記載されている。他の特徴は、説明および図面、ならびに特許請求の範囲から明らかであろう。

【図面の簡単な説明】

【0009】

【図1】本明細書に記載されている改良された技術が実現され得る例示的な電子環境を示す図である。

【図2】開示されている実現例に係る、ポートレートからライティングを推定する例示的な方法を示すフローチャートである。

【図3】開示されている実現例に係る、ポートレートからライティングを推定するように構成された例示的なシステムを示す図である。

【図4】図３に示される例示的なシステム内の例示的な畳み込みニューラルネットワーク（ＣＮＮ）を示す図である。

【図5】図３に示される例示的なシステム内の例示的なディスクリミネータを示す図である。

【図6】記載されている技術を実現するために使用することができるコンピュータデバイスおよびモバイルコンピュータデバイスの一例を示す図である。

【発明を実施するための形態】

【0010】

詳細な説明
拡張現実（ＡＲ）などの映像アプリケーションにおける１つの課題は、合成オブジェクトを実際のシーンの中にレンダリングして、そのオブジェクトがあたかも実際にそのシーンの中にあるかのごとく見えるようにすることを含む。１つの問題は、レンダリングされた仮想コンテンツがシーンの外観ともっともらしく一致するように現実世界のシーンのライティングを一致させることである。たとえば、モバイルデバイスの背面カメラと同様にワールドフェーシングカメラを用いたＡＲ使用事例のためのライティングスキームを設計し得るが、合成オブジェクト（１つの家具など）を現実世界のシーンのライブカメラフィードにレンダリングしたがる人がいるかもしれない。

【0011】

しかし、このようなワールドフェーシングカメラ用に設計されたライティングスキームは、たとえば自撮り画像のための前面カメラ用に設計されたライティングスキームとはおそらく異なっているであろう。たとえば、ポートレート写真撮影では、ライティングは所与の写真のルックアンドフィールに影響を及ぼす。写真家は、特定の美的感性および感情のトーンを伝えるように対象をライティングする。現実世界のライティングスキームを取り込むための、フィルム視覚効果専門家によって使用される１つのアプローチは、複数回の露光を使用して鏡面球を撮影することによって全方向照明の色および強度を記録することを含む。この従来のアプローチの結果は、仮想コンテンツを現実世界の写真に写実的にレンダリングするために使用されるＨＤＲ「画像ベースのライティング」（ＩＢＬ）環境である。

【0012】

ＡＲは、仮想コンテンツと現実世界の画像とを写実的にブレンドするという目標をフィルム視覚効果と共有する。しかし、リアルタイムＡＲでは、カジュアルな携帯電話またはヘッドセットのユーザにとっては取得が非現実的であり得るので、専用の取り込みハードウェアからのライティング測定値は入手できない。同様に、フィルムにおけるポストプロダクション視覚効果について、オンセットライティング測定値は必ずしも入手できるとは限らないにもかかわらず、ライティングアーティストは、それでもなお、シーンの中の手がかりを使用して照明について推論しなければならない。

【0013】

したがって、ライティング環境内での人の顔の画像を考慮に入れた前面カメラのためのライティングスキームを決定することが課題である。いくつかの概念は、顔からの形状および反射率の強い事前確率を活用して、ポートレートからライティングを解いてきた。何人かの研究者がポートレート逆ライティングを紹介して以降、大半のこのような技術は、顔の形状も、通常は二次までの球面調和関数（ＳＨ）基底を使用して表される遠方シーンライティングの低周波近似も回復させようとしてきた。この近似の根拠は、肌反射率が、大部分が拡散する（ランバート）ために入射照明に対するローパスフィルタの役割を果たす、というものである。拡散材料では、放射照度は、実際には、この基底によって十分に表される９次元部分空間の非常に近くにある。

【0014】

しかし、取り込み時のライティングは、肌の拡散反射だけでなく、投射影の方向および範囲ならびに鏡面ハイライトの強度および位置によっても明らかになり得る。これらの手がかりからヒントを得て、いくつかのアプローチは、ポートレートからの逆ライティングを実行するようにニューラルネットワークを訓練して、任意の特定の肌反射率モデルを想定することなく全方向ＨＤＲ照明を推定する。このようなアプローチは、より高い周波数のライティングをもたらすことができ、このライティングを使用して、オフラインライティング測定値が入手できない場合に視覚効果のアプリケーションでもＡＲのアプリケーションでも新規の対象を現実世界のポートレートの中にもっともらしくレンダリングすることができる。

【0015】

顔のＬＤＲ画像を考慮に入れてライティングを推定する従来のアプローチは、顔に対する入射光放射照度と反射光放射輝度との間の関係を定義するモデル化された双方向反射分布関数（ＢＲＤＦ）に基づいてこのようなライティング推定を生成することを含む。ＢＤＲＦは、出射光放射照度の微分または単位表面積当たりのパワーに対する、光放射輝度の微分または入射光線に垂直な単位投影面積当たりの光線方向についての単位立体角当たりのパワーの比率として表され得る。

【0016】

顔の画像からライティングを推定する上記の従来のアプローチの技術的問題は、それらがライティング推定を単一の反射率関数（たとえば、ランバートまたはフォンモデル）に基づかせるというものであり、これは、存在しているライティング推定のロバスト性を制限する可能性がある。なぜなら、肌反射は、はるかに複雑であり、さまざまな肌の色の存在下でたとえば表面下散乱ならびに凹凸およびフレネル反射を伴うからである。さらに、光源強度と表面アルベドとの間の特有の曖昧さは、たとえ単純明快なランバートモデルが肌反射を正確に予測できたとしても、多様な肌の色合いを有する対象のための正確なスケールの照明の直接的回復を妨げる。

【0017】

本明細書に記載されている実現例によれば、上記の技術的問題に対する技術的解決策は、複数の双方向反射分布関数（ＢＲＤＦ）を損失関数として使用する機械学習（ＭＬ）システムに基づいて顔の単一の画像からライティング推定を生成することを含む。いくつかの実現例において、ＭＬシステムは、ＬＤＲライティング取得方法を使用して取り込まれた、ＨＤＲ照明を用いて形成された顔の画像を使用して訓練される。この技術的解決策は、ポートレートおよびそれらの対応するグラウンドトゥルース照明のデータセットを使用して教師ありの態様でライティング推定モデルを訓練することを含む。例示的なデータセットにおいて、球体上に基底を形成する３３１個の指向性光源によって照明されるように７０人の多様な対象がライトステージシステムにおいて撮影され、取り込まれた対象は、画像ベースの再ライティングによって、いずれかのシーンの中にあるかのごとく現れるように再ライティングされ得る。従来のＨＤＲパノラマ写真撮影技術を使用して取り込まれた現実世界のライティング環境のいくつかのデータベースは、公的に入手できるが、いくつかの実現例において利用されるＬＤＲライティング収集技術は、その代わりに１００万個ほどの屋内および屋外ライティング環境を取り込むように拡張されており、それらを再ライティングに使用する前に新規の非負の最小二乗ソルバフォーミュレーションによってそれらをＨＤＲに昇格させる。

【0018】

開示されている実現例の技術的利点は、入力画像における顔の肌の色にかかわらずＭＬシステムが正確なスケールまたは露光値で基本的に同一のライティング推定を生成するというものである。ライティング推定におけるいかなる試みも、表面反射率（アルベド）と光源強度との間の特有の曖昧さによって複雑化される。別の言い方をすれば、アルベドが半減される一方で光源強度が二倍になる場合、画素のシェーディングは元のままにされる。上記の改良された技術は、さまざまな肌の色を有する種々さまざまな対象に対するこのモデルの実行を明確に評価する。所与のライティング条件では、この改良された技術は、さまざまな多様な対象について同様のスケールでライティングを回復させることができる。

【0019】

さらに、ＭＬシステムは、ＨＤＲ照明を使用して生成されたＬＤＲポートレート画像上で訓練された場合でも、ＨＤＲ照明を推定することができる。いくつかの最近の研究は、任意のシーンのための深層学習方法および太陽を含む屋外シーンのみのための深層学習方法を含む低周波ライティング基底またはＢＲＤＦモデルに依拠することなくポートレートから照明を回復させようとしてきた。本明細書に記載されている技術的解決策は、これら両方の方法よりも性能が優れており、任意の屋内または屋外シーンへと一般化される。これらのモデルは、訓練データとして、コンピュータによって生成されたヒューマノイドモデルに依拠するため、推論時に実際の出回っているポートレートへと一般化されることもない。

【0020】

図１は、上記の技術的解決策が実現され得る例示的な電子環境１００を示す図である。コンピュータ１２０は、ポートレートからライティングを推定するように構成された予測エンジンを訓練して動作させるように構成される。

【0021】

コンピュータ１２０は、ネットワークインターフェイス１２２と、１つまたは複数の処理ユニット１２４と、メモリ１２６とを含む。ネットワークインターフェイス１２２は、たとえば、ネットワーク１５０から受信された電子信号および／または光信号をコンピュータ１２０による使用のための電子形式に変換するためのイーサネット（登録商標）アダプタ、トークンリングアダプタなどを含む。一組の処理ユニット１２４は、１つまたは複数の処理チップおよび／またはアセンブリを含む。メモリ１２６は、揮発性メモリ（たとえば、ＲＡＭ）も不揮発性メモリ（１つまたは複数のＲＯＭ、ディスクドライブ、ソリッドステートドライブなど）も含む。一組の処理ユニット１２４およびメモリ１２６は、ともに制御回路を形成し、この制御回路は、本明細書に記載されているさまざまな方法および機能を実行するように構成および配置される。

【0022】

いくつかの実現例において、コンピュータ１２０のコンポーネントのうちの１つまたは複数のコンポーネントは、メモリ１２６に格納された命令を処理するように構成されたプロセッサ（たとえば、処理ユニット１２４）であり得、またはそのようなプロセッサを含み得る。図１に示されるこのような命令の例としては、画像取得マネージャ１３０および予測エンジン訓練マネージャ１４０が挙げられる。さらに、図１に示されるように、メモリ１２６は、さまざまなデータを格納するように構成されており、これについては、このようなデータを使用するそれぞれのマネージャに関連して説明する。

【0023】

画像取得マネージャ１３０は、画像訓練データ１３１および基準オブジェクトデータ１３６を受信するように構成される。いくつかの実現例において、画像取得マネージャ１３０は、画像訓練データ１３１および基準オブジェクトデータ１３６をネットワークインターフェイス１２２を介して、すなわちネットワーク（ネットワーク１９０など）を介してディスプレイデバイス１７０から受信する。いくつかの実現例において、画像取得マネージャ１３０は、画像訓練データ１３１および基準オブジェクトデータ１３６をローカルストレージ（たとえば、ディスクドライブ、フラッシュドライブ、ＳＳＤなど）から受信する。

【0024】

いくつかの実現例において、画像取得マネージャ１３０はさらに、画像訓練データ１３１から顔の画像をトリミングおよびサイズ変更して、標準サイズのポートレートを生成するように構成される。画像を標準サイズにトリミングおよびサイズ変更することによって、ＭＬシステムの訓練は、よりロバストにされる。

【0025】

画像訓練データ１３１は、さまざまなライティング機構を用いて撮影された一組の顔のポートレートを表す。いくつかの実現例において、画像訓練データ１３１は、ローダイナミックレンジ（ＬＤＲ）ライティング環境取り込みから回復された、ＨＤＲ照明を用いて形成された顔の画像またはポートレートを含む。図１に示されるように、画像訓練データ１３１は、複数の画像１３２（１），...１３２（Ｍ）を含み、Ｍは、画像訓練データ１３１内の画像の数である。各画像（たとえば、画像１３２（１））は、光方向データ１３４（１）と、ポーズデータ１３５（１）とを含む。

【0026】

光方向データ１３４（１...Ｍ）は、画像訓練データ１３１において使用されるポートレートのために顔が照明される所定数の方向（たとえば、３３１個）のうちの１つを表す。いくつかの実現例において、光方向データ１３４（１）は、極角および方位角、すなわち単位球上の座標を含む。いくつかの実現例において、光方向データ１３４（１）は、三つ組の方向余弦を含む。いくつかの実現例において、光方向データ１３４（１）は、一組のオイラー角を含む。上記の例において、およびいくつかの実現例において、光方向データ１３４（１）によって表される角度構成は、ＭＬシステムの訓練に使用される３３１個の構成のうちの１つである。

【0027】

ポーズデータ１３５（１...Ｍ）は、顔の画像が取り込まれるいくつかの（たとえば、９個の）所定のポーズのうちの１つを表す。いくつかの実現例において、ポーズは、顔の表情を含む。いくつかの実現例において、一定数の顔の表情（たとえば、３個、６個、９個、１２個またはそれ以上）がある。

【0028】

４次元反射率フィールドＲ（θ，φ，ｘ，ｙ）は、光方向データ１３４（１...Ｍ）に従って各画像画素（ｘ，ｙ）について任意のライティング方向（θ，φ）からライティングされた対象を表し得る。（θ，φ）によって同様にパラメータ化されたＨＤＲライティング環境を有するこの反射率フィールドのドット積をとることは、対象がそのシーンの中にあるかのごとく現れるように対象を再ライティングする、ということが実証された。対象の反射率フィールドを撮影するために、白色ＬＥＤ光源のコンピュータによって制御可能な球体が使用され、赤道において光は１２°ずつ離隔されている。このような実現例では、反射率フィールドは、一組の反射率基底画像から形成され、対象を指向性ＬＥＤ光源の各々として撮影することは、球形リグ内で一度に１つずつ個々にオンにされる。いくつかの実現例において、これらの一度に１ライトの（ＯＬＡＴ）画像は、複数のカメラ視点で取り込まれる。いくつかの実現例では、対象から１．７メートルのところに設置された１２メガピクセル解像度を有する６色マシンビジョンカメラを使用して、各対象について３３１個のＯＬＡＴ画像が取り込まれるが、いくつかの実現例では、これらの値およびＯＬＡＴ画像の数および使用されるカメラのタイプは異なっていてもよい。いくつかの実現例では、カメラは、対象のおおよそ正面に位置決めされ、３５ｍｍレンズを有する５個のカメラが異なる角度から対象の上半身を取り込み、５０ｍｍレンズを有する１つの追加のカメラがよりタイトなフレーミングで顔のクローズアップ画像を取り込む。

【0029】

いくつかの実現例において、各々がポーズデータ１３５（１...Ｍ）に従った９つの異なる顔の表情をしており、異なる装備品を着用している７０人の多様な対象についての反射率フィールドは、６つの異なるカメラ視点から約６３０組のＯＬＡＴシーケンスを生じさせ、合計３７８０個の固有のＯＬＡＴシーケンスを生じさせる。他の組数のＯＬＡＴシーケンスが使用されてもよい。肌の色が広範囲にわたる対象が撮影された。

【0030】

ある対象について完全なＯＬＡＴシーケンスを取得するにはある程度の時間（たとえば、６秒ほど）かかるので、フレームごとに何らかのわずかな対象の動きがある場合がある。いくつかの実現例では、画像を位置合わせするためにオプティカルフロー技術が使用され、この技術は、一様な一貫した照明を有する１つの追加の「トラッキング」フレームを時々（たとえば、１１番目のＯＬＡＴフレームごとに）挿入して、オプティカルフローの明るさの恒常性の制約が満たされることを保証する。このステップは、位置合わせされたＯＬＡＴ画像を線形に結合する再ライティング動作を実行する際に画像特徴の鮮明度を保持することができる。

【0031】

撮影された反射率フィールドで対象を再ライティングするために、いくつかの実現例では、いずれの光源もクリッピングされないＨＤＲライティング環境の大規模データベースが使用される。数千ほどの屋内パノラマまたは屋外パノラマの上半球を含むこのようなデータセットはいくつかあるが、深層学習モデルは一般に、より多くの量の訓練データで強化される。したがって、１００万個ほどの屋内および屋外ライティング環境が収集された。いくつかの実現例において、高解像度背景画像の自動露光およびホワイトバランス処理されたＬＤＲ映像が、異なる反射率の３つの球（おおよそ鏡面反射を有するディフューズ、ミラー状およびマットシルバー）の対応するＬＤＲ外観とともに同時に取り込まれ得るように、携帯電話取り込みリグが使用される。これら３つの球は、シーン照明についての異なる手がかりを明らかにする。ミラーボールは、全方向の高周波ライティングを反射するが、１回露光画像では明るい光源はクリッピングされることが多いので、それらの強度および色は不正確であろう。対照的に、ディフューズボールの準ランバートＢＲＤＦは、入射照明に対するローパルフィルタの役割を果たし、全体シーン放射輝度の、ぼやけているが比較的完全な記録を取り込む。

【0032】

本明細書における実現例は、３つの球の外観を近似ＨＤＲライティング環境に明確に昇格させた後に、対象を再ライティングするのに使用されるシーン照明の真のＨＤＲ記録を有することができる。

【0033】

基準オブジェクトデータ１３６は、基準オブジェクト（たとえば、異なる反射率の球）を表す。このような基準オブジェクトを使用して、ＭＬシステムにおけるグラウンドトゥルース照明を提供する。図１に示されるように、基準オブジェクトデータ１３６は、複数の基準セット１３７（１），...，１３７（Ｎ）を含み、Ｎは、検討されるＨＤＲライティング環境の数である。基準セット１３７（１...Ｎ）の各々（たとえば、基準セット１３７（１））は、ミラー１３８（１）、マットシルバー１３９（１）およびディフューズグレー１４１（１）についてのＢＲＤＦデータを含む。いくつかの実現例において、ＢＲＤＦデータ１３８（１），１３９（１）および１４１（１）は、ＢＲＤＦ値のアレイを含む。いくつかの実現例において、ＢＲＤＦデータ１３８（１），１３９（１）および１４１（１）は、一組のＳＨ拡張係数を含む。

【0034】

教師ありの態様で画像訓練データ１３１からライティングを推定するためのモデルを訓練するために、いくつかの実現例では、画像訓練データ１３１によって表されるポートレートは、グラウンドトゥルース照明（たとえば、基準オブジェクトデータ１３６）でラベル付けされる。いくつかの実現例において、ポートレートは、画像ベースの再ライティングのデータ駆動型技術を使用して合成されて、場合によっては、人間の肌および髪の複雑な光輸送現象（たとえば、表面下および凹凸散乱、ならびにフレネル反射）を適切に取り込んで、人間の顔についての写真のようにリアルな再ライティング結果を生成するように表示される。このような合成は、これらの複雑な現象を表現できないことが多い顔の３Ｄモデルのレンダリングとは対照的である。

【0035】

予測エンジン訓練マネージャ１４０は、予測エンジンデータ１５０を生成するように構成されており、ポートレートからライティングを推定するのに使用される上記のＭＬシステムに相当する。図１に示されるように、予測エンジン訓練マネージャ１４０は、エンコーダ１４２と、デコーダ１４３と、ディスクリミネータ１４４とを含む。

【0036】

エンコーダ１４２は、トリミングされたポートレート（すなわち、画像１３２（１...Ｍ）および光方向データ１３４（１...Ｌ））を画像訓練データ１３１から入力として取得して、デコーダ１４３に入力される予定のパラメータ値を全結合層において生成するように構成される。デコーダ１４３は、エンコーダ１４２によって生成されたパラメータ値を入力として取得して、予測ＨＤＲライティング推定を表す照明プロファイルデータ１５３を生成するように構成される。ディスクリミネータ１４４は、照明プロファイルデータ１５３および基準オブジェクトデータ１３６を入力として取得して、コスト関数データ１５４を生成し、このコスト関数データ１５４をデコーダ１４３にフィードバックして、畳み込み層データ１５１およびぼかしプーリングデータ１５２を生成するように構成される。なお、ＭＬシステムにおいて使用されるコスト関数は、ＭＬシステムによって最小化される関数である。この場合、コスト関数は、たとえば複数のＢＲＤＦについてのグラウンドトゥルース球画像と、予測された照明でライティングされた対応するネットワークレンダリング球との間の差を反映する。ＭＬシステムについてのさらなる詳細は、図３に関連して説明する。

【0037】

基準オブジェクトデータ１３６に戻って、場合によってはクリッピングされた画素を有する３つの反射球の取り込まれた画像を考慮に入れて、いくつかの実現例は、これら３つの球の外観をもっともらしく生成することができたであろうＨＤＲライティングを解明する。いくつかの実現例において、最初に、再びライトステージシステムを使用してディフューズおよびマットシルバーボールの反射率フィールドを撮影し得る。いくつかの実現例は、反射率基底画像を同一の相対的な放射測定空間に変換して、入射光源色に基づいて正規化を行う。次いで、いくつかの実現例は、反射率基底画像をミラーボールマッピング内に投影して（ランベルト正積方位図法）、いくつかの実現例に見られるように各々の新たなライティング方向（θ，φ）について、入力画像からのエネルギを、たとえばミラー球の３２×３２画像上に蓄積して、反射率フィールドＲ（θ，φ，ｘ，ｙ）を形成するか、または個々の画素Ｒ_ｘ，ｙ（θ，φ）にスライスされる。

【0038】

カラーチャネルｃのクリッピングなしに取り込まれたミラーボール画像におけるライティング方向（θ，φ）について、いくつかの実現例は、測定されたミラーボール反射率（８２．７％）の逆数によってミラーボール画像画素値を単純にスケーリングすることによってシーンライティングＬ_ｃ（θ，φ）を回復させる。元のミラーボール画像におけるクリッピングされた画素を有するライティング方向（θ，φ）について、いくつかの実現例は、画素値を１．０に設定し、これを、シーンライティングＬ_ｃ（θ，φ）を形成する測定された反射率の逆数によってスケーリングし、その後、非負の最小二乗ソルバフォーミュレーションを使用して欠落している残留ライティング強度Ｕ_ｃ（θ，φ）を解く。ＢＲＤＦインデックスｋ（たとえば、ディフューズまたはマットシルバー）、カラーチャネルｃおよび測定された反射率フィールドＲ_{ｘ，ｙ，ｃ，ｋ}（θ，φ）についての元の画像画素値ｐ_{ｘ，ｙ，ｃ，ｋ}を考慮に入れて、光の重ね合わせの原理によって、以下の式が満たされる。

【0039】

【数1】

【0040】

式（１）は、各ＢＲＤＦｋおよびカラーチャネルｃについての一組のｍ個の線形方程式を表し、これは、反射率基底画像内の球の画素の数に等しく、ｎは、未知の残留光強度である。クリッピングなしのライティング方向について、Ｕ_ｃ（θ，φ）＝０である。各カラーチャネルについて、ｋｍ＞ｎであれば、未知のＵ_ｃ（θ，φ）の値は、非負の最小二乗法を使用して解くことができ、これは、光が除去されるのではなく追加されるのみであることを保証する。実際に、いくつかの実現例は、クリッピングされた画素ｐ_{ｘ，ｙ，ｃ，ｋ}を解から除外する。方法の中には、撮影されたディフューズ球からの画素値とクリッピングされたパノラマの拡散畳み込みとを比較することによって、クリッピングされた光源強度を回復させるものもあったが、撮影された反射率ベースおよび複数のＢＲＤＦを最初に使用したのはこれらの実現例である。

【0041】

いくつかの実現例では、Ｕ_ｃ（θ，φ）を解く際に各カラーチャネルを独立して処理すると、３つ全てのカラーチャネルの強度が大きい単一の光源ではなく、色鮮やかな赤色、緑色および青色光源が、多くの場合、幾何学的に近いライティング方向において生成されたことが観察されている。よりもっともらしい無彩色の光源を有する結果を回復させるために、いくつかの実現例は、撮影されたディフューズグレーボールの色がシーン内の明るい光源の平均的なカラーバランス（Ｒ_ａｖｇ，Ｇ_ａｖｇ，Ｂ_ａｖｇ）を明らかにするという見識に基づいて、クロスカラーチャネル正則化を追加する。いくつかの実現例は、重みλ＝０．５を有する新たな一組の線形方程式を連立方程式に追加する。

【0042】

【数2】

【0043】

これらの正則化項は、ターゲットディフューズボールとは異なるカラーバランスの強い色調の光源の回復を不利にする。いくつかの実現例は、幾何学的に近いライティング方向について同様の強度を奨励するために正則化項を追加するが、これは必ずしも強い色調の光の回復を妨げるものではないであろう。いくつかの実現例は、セレスソルバを使用してＵ_ｃ（θ，φ）を回復させて、１００万個の取り込まれた球の外観をＨＤＲ照明に昇格させる。このビデオレートデータ収集方法からのＬＤＲ画像は、８ビットであり、場合によってはローカル着色マッピングを用いてｓＲＧＢとして符号化されるので、いくつかの実現例は、最初に、線形系フォーミュレーションのために含まれるガンマ値がγ＝２．２であるとして、球の画像を線形化する。

【0044】

各対象についての撮影された反射率フィールドおよびＨＤＲに昇格されたライティングを使用して、いくつかの実現例は、グラウンドトゥルース照明を用いて再ライティングされたポートレートを、訓練データとして機能するように生成する。いくつかの実現例は、再び反射率基底画像を同一の相対的な放射測定空間に変換して、入射光源色に基づいて較正を行う。ライティング環境は、たとえば３２×３２ミラーボール画像として表現されるので、いくつかの実現例は、反射率フィールドをこの基底上に投影して、いくつかの実現例に見られるように各々の新たなライティング方向（θ，φ）について、入力画像からのエネルギを蓄積する。各々の新たな基底画像は、元の３３１個のＯＬＡＴ画像の線形組み合わせである。

【0045】

ライティング取り込み技術は、３つの球の外観に対応する高解像度背景画像ももたらす。任意の画像でさえライティング推定を抽出するための有用な手がかりを含んでいるので、いくつかの実現例は、再ライティングされた対象を、いくつかの実現例に見られるようなブラックフレームではなく背景上にコンポジットする。背景画像は、８ビットｓＲＧＢであり得るので、いくつかの実現例は、コンポジットの前に、この伝達関数をクリッピングして、再ライティングされた対象画像に適用する。（特に、モバイルＡＲのための８ビットライブ映像では）出回っているポートレートは、クリッピングされた画素を含んでいる可能性があるので、いくつかの実現例は、予定推論時間入力と一致するように、再ライティングされた対象のＨＤＲデータを廃棄する。

【0046】

背景画像は、ライティング推定を手助けする文脈上の手がかりを提供し得るが、いくつかの実現例は、各入力について顔バウンディングボックスを計算し、訓練および推論中に、いくつかの実現例は、各画像をトリミングして、このバウンディングボックスを２５％拡大する。訓練中に、いくつかの実現例は、わずかなトリミング領域変動を追加して、それらの位置および範囲をランダムに変更する。

【0047】

ユーザデバイス１２０のコンポーネント（たとえば、モジュール、処理ユニット１２４）は、１つまたは複数のタイプのハードウェア、ソフトウェア、ファームウェア、オペレーティングシステム、ランタイムライブラリなどを含み得る１つまたは複数のプラットフォーム（たとえば、１つまたは複数の同様のまたは異なるプラットフォーム）に基づいて動作するように構成され得る。いくつかの実現例において、コンピュータ１２０のコンポーネントは、デバイスのクラスタ（たとえば、サーバファーム）内で動作するように構成され得る。このような実現例では、コンピュータ１２０のコンポーネントの機能および処理は、デバイスのクラスタのうちのいくつかのデバイスに分散されることができる。

【0048】

コンピュータ１２０のコンポーネントは、属性を処理するように構成された任意のタイプのハードウェアおよび／またはソフトウェアであり得、またはそのようなハードウェアおよび／またはソフトウェアを含み得る。いくつかの実現例において、図１におけるコンピュータ１２０のコンポーネントに示されているコンポーネントの１つまたは複数の部分は、ハードウェアベースのモジュール（たとえば、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、メモリ）、ファームウェアモジュールおよび／またはソフトウェアベースのモジュール（たとえば、コンピュータコードのモジュール、コンピュータで実行され得る一組のコンピュータ読取可能命令）であり得、またはそのようなモジュールを含み得る。たとえば、いくつかの実現例において、コンピュータ１２０のコンポーネントの１つまたは複数の部分は、少なくとも１つのプロセッサ（図示せず）によって実行されるように構成されたソフトウェアモジュールであり得、またはそのようなソフトウェアモジュールを含み得る。いくつかの実現例において、コンポーネントの機能は、図１に示されているものとは異なるモジュールおよび／または異なるコンポーネントに含まれていてもよく、２つのコンポーネントとして示されている機能を組み合わせて単一のコンポーネントにすることを含む。

【0049】

図示されていないが、いくつかの実現例では、コンピュータ１２０のコンポーネント（または、その一部）は、たとえばデータセンタ（たとえば、クラウドコンピューティング環境）、コンピュータシステム、１つまたは複数のサーバ／ホストデバイスなどの中で動作するように構成され得る。いくつかの実現例において、コンピュータ１２０のコンポーネント（または、その一部）は、ネットワーク内で動作するように構成され得る。したがって、コンピュータ１２０のコンポーネント（または、その一部）は、１つもしくは複数のデバイスおよび／または１つもしくは複数のサーバデバイスを含み得るさまざまなタイプのネットワーク環境内で機能するように構成され得る。たとえば、ネットワークは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）などであり得、またはそのようなネットワークを含み得る。ネットワークは、ワイヤレスネットワーク、および／または、たとえばゲートウェイデバイス、ブリッジ、スイッチなどを使用して実現されるワイヤレスネットワークであり得、またはそのようなワイヤレスネットワークを含み得る。ネットワークは、１つまたは複数のセグメントを含み得て、および／または、さまざまなプロトコル（インターネットプロトコル（ＩＰ）および／または独自仕様のプロトコルなど）に基づく部分を有し得る。ネットワークは、少なくともインターネットの一部を含み得る。

【0050】

いくつかの実現例において、コンピュータ１２０のコンポーネントのうちの１つまたは複数のコンポーネントは、メモリに格納された命令を処理するように構成されたプロセッサであり得、またはそのようなプロセッサを含み得る。たとえば、画像取得マネージャ１３０（および／または、その一部）ならびに予測画像訓練マネージャ１４０（および／または、その一部）は、１つまたは複数の機能を実行するためのプロセスに関連する命令を実行するように構成された、プロセッサとメモリとの組み合わせであり得る。

【0051】

いくつかの実現例において、メモリ１２６は、ランダムアクセスメモリ、ディスクドライブメモリ、フラッシュメモリなどの任意のタイプのメモリであり得る。いくつかの実現例において、メモリ１２６は、ＶＲサーバコンピュータ１２０のコンポーネントに関連付けられた２つ以上のメモリコンポーネント（たとえば、２つ以上のＲＡＭコンポーネントまたはディスクドライブメモリ）として実現され得る。いくつかの実現例において、メモリ１２６は、データベースメモリであり得る。いくつかの実現例において、メモリ１２６は、ローカルでないメモリであり得、またはそのようなメモリを含み得る。たとえば、メモリ１２６は、複数のデバイス（図示せず）によって共有されるメモリであり得、またはそのようなメモリを含み得る。いくつかの実現例において、メモリ１２６は、ネットワーク内のサーバデバイス（図示せず）に関連付けられて、コンピュータ１２０のコンポーネントを提供するように構成され得る。図１に示されるように、メモリ１２６は、画像訓練データ１３１、基準オブジェクトデータ１３６および予測エンジンデータ１５０を含むさまざまなデータを格納するように構成される。

【0052】

図２は、上記の改良された技術に従って視覚検索を実行する例示的な方法２００を示すフローチャートである。方法２００は、図１に関連して説明したソフトウェア構成体によって実行され得て、これらのソフトウェア構成体は、コンピュータ１２０のメモリ１２６内にあり、一組の処理ユニット１２４によって実行される。

【0053】

２０２において、画像取得マネージャ１３０は、物理的環境における複数の人間の顔の複数の画像（たとえば、画像訓練データ１３１）を受信する。複数の人間の顔の各々は、複数の向き（たとえば、光方向データ１３４（１...Ｍ））のうちの少なくとも１つに従って物理的環境内で方向付けられた複数の照明源のうちの少なくとも１つによって照明される。

【0054】

２０４において、予測エンジン訓練マネージャ１４０は、複数の人間の顔の複数の画像に基づいて予測照明プロファイルを生成するように構成された予測エンジン（たとえば、予測エンジンデータ１５０）を生成する。予測エンジンは、入力画像データに基づいて予測照明プロファイルを生成するように構成される。入力画像データは、少なくとも１つの人間の顔を表す。予測エンジンは、基準オブジェクト（たとえば、基準オブジェクトデータ１３６）の各々に対応する複数の双方向反射分布関数（ＢＲＤＦ）に基づくコスト関数（たとえば、ディスクリミネータ１４４およびコスト関数データ１５４）を含む。予測照明プロファイルは、ポートレートの対象に入射する照明の空間分布を表す。予測された照明の例示的な表現は、角度のライティング関数の球面調和関数展開係数を含む。予測された照明の別の例示的な表現は、各々が立体角のライティング関数の値を有する画素の格子を含む。

【0055】

図３は、ポートレートからライティングを推定するように構成された例示的なＭＬシステム３００を示す図である。図３に示されるように、ＭＬシステム３００は、ジェネレータネットワーク３１４と、補助敵対ディスクリミネータ３１２とを含む。ジェネレータネットワーク３１４への入力は、ｓＲＧＢによって符号化されたＬＤＲ画像（たとえば、ＬＤＲポートレート３０２）であり、このＬＤＲ画像は、顔検出器３０４によって検出されて、２５６×２５６という入力解像度にサイズ変更されて、［－０．５，０．５］の範囲に正規化された各画像の顔領域のトリミング３０６を有する。図３に示されるように、ジェネレータネットワーク３１４は、ボトルネックにサイズ１０２４のログスペースＨＤＲ照明の潜在ベクトル表現を備えた、エンコーダ１４２とデコーダ１４３とを含むエンコーダ／デコーダアーキテクチャを有する。いくつかの実現例において、エンコーダ１４２およびデコーダ１４３は、畳み込みニューラルネットワーク（ＣＮＮ）として実現される。ジェネレータネットワーク３１４の最終出力は、ログスペース全方向照明を表すミラーボールの３２×３２ＨＤＲ画像を含む。エンコーダ１４２およびデコーダ１４３についてのさらなる詳細は、図４に関連して示されており、補助敵対ディスクリミネータ３１２についてのさらなる詳細は、図５に関連して示されている。

【0056】

図４は、エンコーダ１４２およびデコーダ１４３の例示的な詳細を示す図である。図４に示されるように、エンコーダ１４２は、１６，３２，６４，１２８および２５６という連続的なフィルタ深さを有する、各々ぼかしプーリング動作が後に続く５つの３×３畳み込みを含み、その後に８×８および深さ２５６というフィルタサイズを有する１つの最後の畳み込みを含み、最後に全結合層を含む。デコーダ１４３は、各々バイリニアアップサンプリング動作が後に続く、フィルタ深さ６４，３２および１６の三組の３×３畳み込みを含む。

【0057】

図５は、例示的な補助敵対ディスクリミネータ３１２を示す図である。補助敵対ディスクリミネータ３１２は、敵対的損失項を提供するように構成されており、もっともらしい高周波照明の推定を実施する。図５に示されるように、補助敵対ディスクリミネータ３１２は、グラウンドトゥルース照明および予測された照明のクリッピングされた画像をメインモデルから入力として取得して、実際の例と生成された例とを区別しようとする。ディスクリミネータは、エンコーダを有し、このエンコーダは、６４，１２８および２５６という連続的なフィルタ深さを有する、各々最大値プーリング動作が後に続く３つの３×３畳み込みを含み、その後であって最終出力層の前にサイズ１０２４の全結合層が続いている。メインネットワークのデコーダは、いくつかのアップサンプリング動作を含むので、このネットワークは、暗黙的に、複数のスケールにおいて情報を学習している。いくつかの実現例は、このマルチスケール出力を活用して、ＭＳＧ－ＧＡＮのマルチスケール勾配技術を使用して、クリッピングされたフル解像度３２×３２ライティング画像の入力だけでなく、４×４、８×８および１６×１６の各スケールにおけるライティング画像の入力もディスクリミネータに提供する。ジェネレータネットワークによって生成された低解像度特徴マップは、４つ以上のチャネルを有するので、いくつかの実現例は、各スケールにおける畳み込み動作をネットワークの追加のブランチとして追加して、３チャネルライティング画像の複数のスケールを生成してディスクリミネータに供給する。

【0058】

【数3】

【0059】

いくつかの実現例に見られるように、このネットワークは、同様に、画素値Ｑ_ｃ（θ，φ）を有するＨＤＲ照明のログスペース画像Ｑを出力するため、球の画像は以下のようにレンダリングされる。

【0060】

【数4】

【0061】

ビデオレートデータ収集の際に取り込まれたＬＤＲ球画像を基準画像Ｉ_ｋとして使用するのではなく、いくつかの実現例は、その代わりに、線形ソルバ（たとえば、式（１））から回復されたＨＤＲライティングによって球をレンダリングして、これらのレンダリングをγ＝２．２でガンマ符号化する。これは、同一のライティングを使用して「グラウンドトゥルース」球を入力ポートレートとしてレンダリングすることを保証することができ、ＨＤＲライティング回復からモデル訓練フェーズへの残留エラーの伝搬を防止する。

【0062】

最後に、いくつかの実現例は、デコーダのマルチスケール特徴マップを、ログスペースＨＤＲライティングを連続的なスケールで表す３チャネル画像に変換するために、追加の畳み込みブランチを追加する。次いで、いくつかの実現例は、いくつかの実現例のレンダリング損失関数（式（６））をマルチスケールドメインに拡張して、訓練中にミラー球、マットシルバー球およびディフューズ球をサイズ４×４、８×８、１６×１６および３２×３２にレンダリングする。スケールインデックスがｓによって表され、各々についての任意の重みがλ_ｓであるとすると、マルチスケール画像再構築損失は以下のように記載される。

【0063】

【数5】

【0064】

制約なしライティング推定における最近の研究は、画像再構築損失のみを使用する場合と比較して敵対的損失項が高周波数情報の回復を向上させることを示した。したがって、いくつかの実現例は、いくつかの実現例に見られるような重みλ_ａｄｖを有する敵対的損失項を追加する。しかし、この技術とは対照的に、いくつかの実現例は、複数のスケールでディスクリミネータからジェネレータネットワークに勾配を流すマルチスケールＧＡＮアーキテクチャを使用して、さまざまなサイズの実際のミラーボール画像および生成されたクリッピングされたミラーボール画像を両方ともディスクリミネータに提供する。

【0065】

いくつかの実現例は、β_１＝０．９であり、β_２＝０．９９９であり、ジェネレータネットワークでは学習率が０．０００１５であり、一般的であるがディスクリミネータネットワークではそれが１００×低く、ジェネレータの訓練とディスクリミネータの訓練とを交互に繰り返す状態で、テンソルフローおよびＡＤＡＭオプティマイザを使用する。いくつかの実現例は、ミラー、ディフューズおよびマットシルバーＢＲＤＦについてそれぞれλ_ｋ＝０．２，０．６，０．２を設定し、全ての画像スケールを等しく重み付けするためにλ_ｓ＝１を設定し、λ_ａｄｖ＝０．００４を設定し、３２というバッチサイズを使用する。ライティング環境の数は、対象の数よりも数桁大きい場合があるので、いくつかの実現例では、１．２エポックでの早々の停止は、訓練セット内の対象への過剰適合を防止していた。いくつかの実現例は、ジェネレータネットワークにはＲｅＬＵ活性化関数を使用し、ディスクリミネータにはＥＬＵ活性化関数を使用する。データセットを強化するために、いくつかの実現例は、縦軸を横切って入力画像もライティング環境も反転させる。いくつかの実現例は、画像平面内の入力画像のわずかな画像回転（＋／－１５°）によりデータセットを強化する。

【0066】

いくつかの実現例は、７０人の対象を、訓練用の６３人および評価用の７人という２つのグループに分割し、所与の対象についての全ての表情およびカメラビューが同一のサブセットに属することを保証する。いくつかの実現例は、さまざまな肌の色を含むように7人の対象を手動で選択することを含む。合計で、１００万個のライティング環境の各々について、いくつかの実現例は、（対象、顔の表情およびカメラビューにわたって）訓練セットから再ライティングするための８個のＯＬＡＴシーケンスをランダムに選択して、グラウンドトゥルース照明による８００万個のポートレートの訓練データセットを生成することを含む。同一の方法を使用して、いくつかの実現例は、評価で使用するための訓練には見られない屋内および屋外の両方の場所におけるライティング環境を取り込み、これらを評価対象とだけ対にする。

【0067】

正確に推定されたライティングは、任意の反射率特性を有するオブジェクトを正しくレンダリングするはずであるため、モデルの性能は、Ｌ_ｒｅｃを使用してテストされる。このメトリックは、レンダリングされた３つの球（ディフューズ、マットシルバーおよびミラー）の外観と、グラウンドトゥルース照明対推定照明とを比較する。

【0068】

ＬＤＲ画像再構築損失について、ディフューズ球およびマットシルバー球では、このモデルはいくつかの実現例よりも優れている。しかし、ミラー球では、いくつかの実現例がこの実現例よりも優れている場合がある。ディフューズボールのＬ_ｒｅｃについては、グラウンドトゥルース照明の二次ＳＨ近似がこのモデルよりも優れている場合がある。なぜなら、照明の低周波表現は、ランバート材料のレンダリングに十分であるからである。しかし、非ランバートＢＲＤＦにより、マットシルバーボールおよびミラーボールの両方のＬ_ｒｅｃについては、この実現例が二次ＳＨ分解よりも優れている場合がある。これは、この実現例によって生成されるライティングが多様な材料のレンダリングにより適していることを示唆している。

【0069】

いくつかの実現例は、第１の人間の顔からの第１の予測照明プロファイルと第２の人間の顔からの第２の予測照明プロファイルとの間の差に基づく交差対象一貫性ベースの損失関数を追加する。このような損失関数は、多様な肌の色および頭のポーズに対して一定のライティング一貫性を提供することができる。

【0070】

図６は、本明細書に記載されている技術とともに使用され得る汎用コンピュータデバイス６００および汎用モバイルコンピュータデバイス６５０の一例を示す図である。コンピュータデバイス６００は、図１および図２のコンピュータ１２０の１つの例示的な構成である。

【0071】

図６に示されるように、コンピューティングデバイス６００は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームおよび他の適切なコンピュータなどのさまざまな形態のデジタルコンピュータを表すよう意図されている。コンピューティングデバイス６５０は、パーソナルデジタルアシスタント、携帯電話、スマートフォンおよび他の同様のコンピューティングデバイスなどのさまざまな形態のモバイルデバイスを表すよう意図されている。ここに示されているコンポーネント、それらの接続および関係、ならびにそれらの機能は、単なる例示であるよう意図されており、本文書に記載および／または特許請求されている本発明の実現例を限定するよう意図されるものではない。

【0072】

コンピューティングデバイス６００は、プロセッサ６０２と、メモリ６０４と、ストレージデバイス６０６と、メモリ６０４および高速拡張ポート６１０に接続する高速インターフェイス６０８と、低速バス６１４およびストレージデバイス６０６に接続する低速インターフェイス６１２とを含む。コンポーネント６０２，６０４，６０６，６０８，６１０および６１２の各々は、さまざまなバスを使用して相互接続されており、共通のマザーボード上にまたは適宜他の態様で取り付けられ得る。プロセッサ６０２は、コンピューティングデバイス６００内で実行するための命令を処理することができ、これらの命令は、高速インターフェイス６０８に結合されたディスプレイ６１６などの外部入力／出力デバイス上にＧＵＩのためのグラフィカル情報を表示するためにメモリ６０４内またはストレージデバイス６０６上に格納された命令を含む。他の実現例では、複数のメモリおよび複数のタイプのメモリとともに、複数のプロセッサおよび／または複数のバスが適宜使用されてもよい。また、複数のコンピューティングデバイス６００が接続されてもよく、各デバイスは、（たとえば、サーババンク、一群のブレードサーバ、またはマルチプロセッサシステムとして）必要な動作の一部を提供する。

【0073】

メモリ６０４は、コンピューティングデバイス６００内に情報を格納する。一実現例において、メモリ６０４は、１つまたは複数の揮発性メモリユニットである。別の実現例において、メモリ６０４は、１つまたは複数の不揮発性メモリユニットである。また、メモリ６０４は、磁気ディスクまたは光ディスクなどの別の形態のコンピュータ読取可能媒体であってもよい。

【0074】

ストレージデバイス６０６は、コンピューティングデバイス６００のための大容量ストレージを提供することができる。一実現例において、ストレージデバイス６０６は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイスもしくはテープデバイス、フラッシュメモリもしくは他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークもしくは他の構成におけるデバイスを含むデバイスのアレイなどのコンピュータ読取可能媒体であり得、またはそのようなコンピュータ読取可能媒体を含み得る。コンピュータプログラム製品は、情報担体において有形に具体化されることができる。また、コンピュータプログラム製品は、実行されると上記の方法などの１つまたは複数の方法を実行する命令も含み得る。情報担体は、メモリ６０４、ストレージデバイス６０６またはメモリオンプロセッサ６０２などのコンピュータまたは機械読取可能媒体である。

【0075】

高速コントローラ６０８は、コンピューティングデバイス６００のための帯域幅集約型動作を管理し、低速コントローラ６１２は、より低い帯域幅集約型動作を管理する。このような機能の割り当ては、例示に過ぎない。一実現例において、高速コントローラ６０８は、メモリ６０４、ディスプレイ６１６(たとえば、グラフィックスプロセッサまたはアクセラレータを介して)、およびさまざまな拡張カード（図示せず）を受け入れることができる高速拡張ポート６１０に結合されている。この実現例では、低速コントローラ６１２は、ストレージデバイス５０６および低速拡張ポート６１４に結合されている。さまざまな通信ポート（たとえば、ＵＳＢ、ブルートゥース（登録商標）、イーサネット、ワイヤレスイーサネット）を含み得る低速拡張ポートは、たとえばネットワークアダプタを介して、１つもしくは複数の入力／出力デバイス（キーボード、ポインティングデバイス、スキャナなど）またはネットワーキングデバイス（スイッチまたはルータなど）に結合され得る。

【0076】

コンピューティングデバイス６００は、図に示されるように、いくつかの異なる形態で実現されてもよい。たとえば、それは、標準的なサーバ６２０として実現されてもよく、またはこのようなサーバのグループ内で複数回実現されてもよい。また、それは、ラックサーバシステム６２４の一部として実現されてもよい。また、それは、ラップトップコンピュータ６２２などのパーソナルコンピュータ内で実現されてもよい。代替的に、コンピューティングデバイス６００からのコンポーネントは、デバイス６５０などのモバイルデバイス（図示せず）における他のコンポーネントと組み合わせられてもよい。このようなデバイスの各々は、コンピューティングデバイス６００，６５０のうちの１つまたは複数を含んでもよく、システム全体は、互いに通信する複数のコンピューティングデバイス６００，６５０で構成されてもよい。

【0077】

本明細書に記載されているシステムおよび技術のさまざまな実現例は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェアおよび／またはそれらの組み合わせで実現可能である。これらのさまざまな実現例は、少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステム上で実行可能および／または解釈可能な１つまたは複数のコンピュータプログラムにおける実現例を含み得て、当該プロセッサは、専用または汎用であってもよく、ストレージシステム、少なくとも１つの入力デバイスおよび少なくとも１つの出力デバイスからデータおよび命令を受信して、ストレージシステム、少なくとも１つの入力デバイスおよび少なくとも１つの出力デバイスにデータおよび命令を送信するように結合されている。

【0078】

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られている）は、プログラム可能なプロセッサのための機械命令を含み、ハイレベル手続き型および／もしくはオブジェクト指向プログラミング言語、ならびに／または、アセンブリ／機械言語で実現することができる。本明細書で使用されるとき、「機械読取可能媒体」、「コンピュータ読取可能媒体」という語は、機械命令を機械読取可能な信号として受信する機械読取可能媒体を含む、機械命令および／またはデータをプログラム可能なプロセッサに提供するために使用される任意のコンピュータプログラム製品、装置および／またはデバイス（たとえば、磁気ディスク、光ディスク、メモリ、プログラム可能論理デバイス（ＰＬＤ））を指す。「機械読取可能な信号」という語は、機械命令および／またはデータをプログラム可能なプロセッサに提供するために使用される任意の信号を指す。

【0079】

ユーザとの対話を提供するために、本明細書に記載されているシステムおよび技術は、情報をユーザに表示するためのディスプレイデバイス（たとえば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザが入力をコンピュータに提供することができるキーボードおよびポインティングデバイス（たとえば、マウスまたはトラックボール）とを有するコンピュータ上で実現することができる。ユーザとの対話を提供するために他の種類のデバイスも使用することができる。たとえば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック（たとえば、視覚フィードバック、聴覚フィードバックまたは触覚フィードバック）であり得て、ユーザからの入力は、音響入力、音声入力または触覚入力を含む任意の形態で受信され得る。

【0080】

本明細書に記載されているシステムおよび技術は、バックエンドコンポーネント（たとえば、データサーバ）を含むコンピューティングシステムにおいて実現されてもよく、ミドルウェアコンポーネント（たとえば、アプリケーションサーバ）を含むコンピューティングシステムにおいて実現されてもよく、フロントエンドコンポーネント（たとえば、ユーザが本明細書に記載されているシステムおよび技術の実現例と対話することができるグラフィカルユーザインターフェイスまたはウェブブラウザを有するクライアントコンピュータ）を含むコンピューティングシステムにおいて実現されてもよく、このようなバックエンド、ミドルウェアまたはフロンドエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムにおいて実現されてもよい。システムのこれらのコンポーネントは、デジタルデータ通信の任意の形態または媒体（たとえば、通信ネットワーク）によって相互接続され得る。通信ネットワークの例としては、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）およびインターネットが挙げられる。

【0081】

コンピューティングシステムは、クライアントとサーバとを含み得る。クライアントおよびサーバは、一般に互いに離れており、典型的には通信ネットワークを介して相互作用する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行されて互いに対するクライアント・サーバ関係を有するコンピュータプログラムによって生じる。

【0082】

いくつかの実現例について説明してきた。しかし、明細書の精神および範囲から逸脱することなくさまざまな修正がなされ得るということが理解されるであろう。

【0083】

また、ある要素が別の要素の上にある、別の要素に接続されている、別の要素に電気的に接続されている、別の要素に結合されている、または別の要素に電気的に結合されていると称される場合、それはその別の要素のすぐ上にあってもよく、その別の要素に直接接続されていてもよく、またはその別の要素に直接結合されていてもよく、または１つもしくは複数の介在要素が存在していてもよい。対照的に、ある要素が別の要素のすぐ上にある、別の要素に直接接続されている、または別の要素に直接結合されていると称される場合、介在要素は存在しない。「すぐ上にある」、「直接接続されている」、または「直接結合されている」という語は、詳細な説明全体を通して使用されているわけではないが、すぐ上にある、直接接続されている、または直接結合されているとして示されている要素は、そのように称されることができる。本願の特許請求の範囲は、明細書に記載されているまたは図面に示されている例示的な関係を記載するように補正されてもよい。

【0084】

記載されている実現例の特定の特徴について、本明細書に記載されているとおりに説明してきたが、当業者は、多くの修正、置換、変更および等価物を思い付くであろう。したがって、添付の特許請求の範囲は、全てのこのような修正および変更を実現例の範囲内に包含するよう意図されている、ということが理解されるべきである。それらは、限定ではなく単なる例として提示されており、形態および詳細の点でさまざまな変更がなされ得る、ということが理解されるべきである。本明細書に記載されている装置および／または方法のいかなる部分も、相互排他的な組み合わせを除いて、任意の組み合わせで組み合わせられてもよい。本明細書に記載されている実現例は、記載されているさまざまな実現例の機能、構成要素および／または特徴のさまざまな組み合わせおよび／または下位組み合わせを含み得る。

【0085】

また、図面に示される論理フローは、望ましい結果を達成するために示されている特定の順序またはシーケンシャルな順序を必要としない。また、記載されているフローから他のステップが提供されてもよく、またはステップが除去されてもよく、記載されているシステムに他の構成要素が追加されてもよく、または記載されているシステムから他の構成要素が除去されてもよい。したがって、他の実現例は、以下の特許請求の範囲の範囲内である。

【0086】

以下にいくつかの例を記載する。
例１：方法であって、
複数の画像を表す画像訓練データを受信するステップを備え、上記複数の画像の各々は、複数の人間の顔のうちの少なくとも１つを含み、上記複数の人間の顔の各々は、物理的環境または仮想環境内の複数の照明源のうちの少なくとも１つによって照明された１つまたは複数の顔の画像を結合することによって形成されており、上記複数の照明源の各々は、上記物理的環境または仮想環境内に複数の向きのそれぞれの向きで位置しており、上記方法はさらに、
上記複数の画像に基づいて予測エンジンを生成するステップを備え、上記予測エンジンは、入力画像データから予測照明プロファイルを生成するように構成されており、上記入力画像データは、１つの入力された人間の顔を表す、方法。

【0087】

例２：ハイダイナミックレンジ（ＨＤＲ）ライティング環境によって照明されるとおりに現れるように上記複数の人間の顔の各々を合成的にレンダリングするために、上記複数の照明源のうちの少なくとも１つによって照明された上記１つまたは複数の人間の顔の上記画像を結合するステップをさらに備える、例１に記載の方法。

【0088】

例３：上記画像を結合するステップは、
一組の基準オブジェクトのローダイナミックレンジ（ＬＤＲ）画像に基づいて上記ＨＤＲライティング環境を生成するステップを含み、上記一組の基準オブジェクトの各々は、それぞれの双方向反射率分布関数（ＢＲＤＦ）を有する、請求項２に記載の方法。

【0089】

例４：上記一組の基準オブジェクトは、ミラーボール、マットシルバーボールおよびグレーディフューズボールを含む、例３に記載の方法。

【0090】

例５：上記予測エンジンを生成するステップは、
上記予測照明プロファイルを使用して一組の基準オブジェクトの微分可能レンダリングを実行して、上記一組の基準オブジェクトのレンダリングされた画像を生成するステップを含み、上記一組の基準オブジェクトの各々は、それぞれの双方向反射率分布関数（ＢＲＤＦ）を有し、上記予測エンジンを生成するステップはさらに、
上記一組の基準オブジェクトの上記レンダリングされた画像と上記一組の基準オブジェクトのグラウンドトゥルース画像との間の差を上記予測エンジンのコスト関数として生成するステップを含む、例１に記載の方法。

【0091】

例６：上記コスト関数は、上記一組の基準オブジェクトの上記レンダリングされた画像に対するＢＲＤＦによって重み付けされたＬ１損失を含む、例５に記載の方法。

【0092】

例７：上記コスト関数は、第１のコスト関数であり、
上記予測エンジンは、第２のコスト関数を含み、上記第２のコスト関数は、上記ミラーボールからの高周波鏡面反射に基づく敵対的損失関数である、例５に記載の方法。

【0093】

例８：上記微分可能レンダリングは、画像ベースの再ライティング（ＩＢＲＬ）を使用して実行されて、ハイダイナミックレンジ（ＨＤＲ）照明画像を生成する、例５に記載の方法。

【0094】

例９：上記コスト関数は、第１のコスト関数であり、
上記予測エンジンは、第２のコスト関数を含み、上記第２のコスト関数は、第１の人間の顔からの第１の予測照明プロファイルと第２の人間の顔からの第２の予測照明プロファイルとの間の差に基づく交差対象一貫性ベースの損失関数である、例５に記載の方法。

【0095】

例１０：上記予測エンジンを生成するステップは、
画像訓練データに対して顔キーポイント検出動作を実行して、上記予測エンジンの上記生成中に顔キーポイントを識別する顔キーポイント識別子を生成するステップを含む、例１に記載の方法。

【0096】

例１１：上記予測エンジンを生成するステップは、
上記複数の人間の顔のうちのある人間の顔の画像の各画素を共通のＵＶ空間内に投影するステップを含む、例１に記載の方法。

【0097】

例１２：上記複数の画像の各々は、ガンマ符号化される、例１に記載の方法。
例１３：非一時的な記憶媒体を備えるコンピュータプログラム製品であって、上記コンピュータプログラム製品は、コードを含み、上記コードは、コンピュータの処理回路によって実行されると、上記処理回路に方法を実行させ、上記方法は、
複数の画像を表す画像訓練データを受信するステップを備え、上記複数の画像の各々は、複数の人間の顔のうちの少なくとも１つを含み、上記複数の人間の顔の各々は、物理的環境または仮想環境内の複数の照明源のうちの少なくとも１つによって照明された１つまたは複数の顔の画像を結合することによって形成されており、上記複数の照明源の各々は、上記物理的環境または仮想環境内に複数の向きのそれぞれの向きで位置しており、上記方法はさらに、
上記複数の画像に基づいて予測エンジンを生成するステップを備え、上記予測エンジンは、入力画像データから予測照明プロファイルを生成するように構成されており、上記入力画像データは、１つの入力された人間の顔を表す、コンピュータプログラム製品。

【0098】

例１４：上記予測エンジンを生成するステップは、
ハイダイナミックレンジ（ＨＤＲ）ライティング環境によって照明されるとおりに現れるように上記複数の人間の顔の各々を合成的にレンダリングするために、上記複数の照明源のうちの少なくとも１つによって照明された上記１つまたは複数の人間の顔の上記画像を結合するステップを含む、例１３に記載のコンピュータプログラム製品。

【0099】

例１５：上記画像を結合するステップは、
一組の基準オブジェクトのローダイナミックレンジ（ＬＤＲ）画像に基づいて上記ＨＤＲライティング環境を生成するステップを含み、上記一組の基準オブジェクトの各々は、それぞれの双方向反射率分布関数（ＢＲＤＦ）を有する、例１４に記載のコンピュータプログラム製品。

【0100】

例１６：上記一組の基準オブジェクトは、ミラーボール、マットシルバーボールおよびグレーディフューズボールを含む、例１５に記載のコンピュータプログラム製品。

【0101】

例１７：上記予測エンジンを生成するステップは、
上記予測照明プロファイルを使用して一組の基準オブジェクトの微分可能レンダリングを実行して、上記一組の基準オブジェクトのレンダリングされた画像を生成するステップを含み、上記一組の基準オブジェクトの各々は、それぞれの双方向反射率分布関数（ＢＲＤＦ）を有し、上記予測エンジンを生成するステップはさらに、
上記一組の基準オブジェクトの上記レンダリングされた画像と上記一組の基準オブジェクトのグラウンドトゥルース画像との間の差を上記予測エンジンのコスト関数として生成するステップを含む、例１３に記載のコンピュータプログラム製品。

【0102】

例１８：上記コスト関数は、上記一組の基準オブジェクトの上記レンダリングされた画像に対するＢＲＤＦによって重み付けされたＬ１損失を含む、例１４に記載のコンピュータプログラム製品。

【0103】

例１９：上記微分可能レンダリングは、画像ベースの再ライティング（ＩＢＲＬ）を使用して実行されて、ハイダイナミックレンジ（ＨＤＲ）照明画像を生成する、例１８に記載のコンピュータプログラム製品。

【0104】

例２０：電子装置であって、
メモリと、
上記メモリに結合された処理回路とを備え、上記処理回路は、
複数の画像を表す画像訓練データをように構成されており、上記複数の画像の各々は、複数の人間の顔のうちの少なくとも１つを含み、上記複数の人間の顔の各々は、物理的環境または仮想環境内の複数の照明源のうちの少なくとも１つによって照明された１つまたは複数の顔の画像を結合することによって形成されており、上記複数の照明源の各々は、上記物理的環境または仮想環境内に複数の向きのそれぞれの向きで位置しており、上記処理回路はさらに、
上記複数の画像に基づいて予測エンジンを生成するように構成されており、上記予測エンジンは、入力画像データから予測照明プロファイルを生成するように構成されており、上記入力画像データは、１つの入力された人間の顔を表す、電子装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】