特表 2024-508180 反転ＧＡＮを用いた試着

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-22

(54)【発明の名称】反転ＧＡＮを用いた試着

(51)【国際特許分類】

   G06T 1/00 20060101AFI20240215BHJP

【ＦＩ】

G06T1/00 340A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023553744

(86)(22)【出願日】2022-03-03

(85)【翻訳文提出日】2023-10-26

(86)【国際出願番号】 EP2022055465

(87)【国際公開番号】W WO2022184858

(87)【国際公開日】2022-09-09

(31)【優先権主張番号】63/155,842

(32)【優先日】2021-03-03

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】2201829

(32)【優先日】2022-03-02

(33)【優先権主張国・地域又は機関】FR

(81)【指定国・地域】

(71)【出願人】

【識別番号】391023932

【氏名又は名称】ロレアル

【氏名又は名称原語表記】Ｌ’ＯＲＥＡＬ

【住所又は居所原語表記】１４ Ｒｕｅ Ｒｏｙａｌｅ，７５００８ ＰＡＲＩＳ，Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】110000534

【氏名又は名称】弁理士法人真明センチュリー

(72)【発明者】

【氏名】サハ・ロヒット

(72)【発明者】

【氏名】デューク・ブレンダン

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057AA20

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC02

5B057DA07

5B057DA08

5B057DA16

5B057DB02

5B057DB09

5B057DC30

(57)【要約】

ヘアスタイルの移送は、ソース及びターゲット毛髪における毛髪構造の違いのために困難である。直交化を介したヘアスタイルの潜在的最適化（ＬＯＨＯ）は、ヘアスタイル転移中の潜在空間における毛髪構造の詳細を充填するためのＧＡＮ反転を用いる最適化ベースのアプローチである。毛髪は、知覚構造、外観及びより細かいスタイルの３つの属性に分解され、これらの属性のそれぞれを独立してモデル化するために調整された損失を含む。２段階最適化および勾配直交化は、３つの毛髪属性の分離された潜在空間の最適化を可能にする。潜在空間の操作のためにＬＯＨＯを用いることで、個々にまたは共同で毛髪属性を操作し、ヘアスタイルから所望の属性を移送して、新規の写実的な画像を合成できる。
【選択図】図１

【特許請求の範囲】

【請求項1】

スタイル移送を実行する方法であって、
前記スタイルは複数のスタイル属性を含み、
第１画像（Ｉ_１）、第２画像（Ｉ_２）及び第３画像（Ｉ_３）を含む複数の画像を、生成的敵対ネットワーク（ＧＡＮ）生成器と、前記第１画像（Ｉ_１）で表されるアイデンティティ、前記第２画像（Ｉ_２）で表される少なくとも１つのスタイル属性から決定されるスタイル及び前記第３画像（Ｉ_３）で表される少なくとも１つのスタイル属性を含む合成画像（Ｉ_Ｇ）を生成するための２段階最適化とを備える人工知能（ＡＩ）ネットワークフレームワークを用いて処理し、
前記ネットワークフレームワークは、Ｉ_２で表される前記少なくとも１つのスタイル属性およびＩ_３で表される前記少なくとも１つのスタイル属性を解きほぐしながら、前記スタイル移送を実行するために前記ＧＡＮ生成器の潜在空間を最適化するように構成されることを特徴とする方法。

【請求項2】

Ｉ_Ｇは、アイデンティティ領域、スタイル領域および背景領域を含み、
前記潜在空間を最適化するための目的関数に従った第１段階において前記ネットワークフレームワークは、
Ｉ_１で表される前記アイデンティティをＩ_Ｇの前記アイデンティティ領域に再構成し、
Ｉ_２で表される前記少なくとも１つのスタイル属性をＩ_Ｇの前記スタイル領域に再構成する物であることを特徴とする請求項１記載の方法。

【請求項3】

前記目的関数による第２段階において前記ネットワークフレームワークは、Ｉ_３で表される少なくとも１つのスタイル属性をＩ_Ｇの前記スタイル領域に移送することを特徴とする請求項２記載の方法。

【請求項4】

前記ネットワークフレームワークは、前記スタイル移送に続いて前記背景領域をインペイントするように構成されることを特徴とする請求項３記載の方法。

【請求項5】

前記ネットワークフレームワークが、Ｉ_２で表される前記少なくとも１つのスタイル属性と、Ｉ_３で表される前記少なくとも１つのスタイル属性とを解きほぐすために、前記２段階最適化において勾配直交化を実行するように構成されることを特徴とする請求項１から４のいずれかに記載の方法。

【請求項6】

前記スタイルはヘアスタイルであり、
Ｉ_２で表される前記少なくとも１つのスタイル属性は毛髪の形状および構造属性であり、
Ｉ３で表される前記少なくとも１つのスタイル属性はｉ）外観属性およびｉｉ）より細かいスタイル属性であることを特徴とする請求項１から５のいずれかに記載の方法。

【請求項7】

前記ＧＡＮ生成器は、スタイル移送のために構成された事前訓練されたＧＡＮから定義されることを特徴とする請求項６記載の方法。

【請求項8】

前記２段階最適化が、アイデンティティ再構成損失（Ｌ_ｆ）、毛髪の形状および構造再構成の喪失（Ｌ_ｒ）、外観損失（Ｌ_ａ）、並びに、より細かいスタイル損失（Ｌ_ｓ）を含む損失を最適化することを特徴とする請求項６又は７に記載の方法。

【請求項9】

Ｌ_ｆとＬ_ｒが、Ｌ_ａとＬ_ｓを最適化せずに第１段階で最適化され、
Ｌ_ｆ、Ｌ_ｒ、Ｌ_ａ及びＬ_ｓが第２段階で最適化され、Ｌ_ｒがＩ_２の外観およびより細かいスタイル属性とＩ_３のそれらの属性との間の競合を回避するために勾配直交化を介して最適化されることを特徴とする請求項８記載の方法。

【請求項10】

合成画像（Ｉ_Ｇ）にヘアスタイルを移送する方法であって、
生成的敵対ネットワーク（ＧＡＮ）生成器を備えるネットワークフレームワークによって合成画像（Ｉ_Ｇ）を生成し、前記ネットワークは、前記ＧＡＮの潜在空間を最適化するために２段階最適化を実行するように構成され、
前記２段階最適化の第１段階において前記ネットワークフレームワークによって、第１画像（Ｉ_１）の顔からのアイデンティティをＩ_Ｇの顔領域に、第２画像（Ｉ_２）の毛髪領域からの毛髪の形状および構造属性をＩ_Ｇの毛髪領域にそれぞれ再構成し、
前記２段階最適化の第２段階において前記ネットワークフレームワークによって、第３画像（Ｉ_３）の毛髪領域からの毛髪の外観属性およびより細かいスタイル属性のそれぞれを前記第１段階で再構成されたＩ_Ｇの毛髪領域に移送することを特徴とする方法。

【請求項11】

前記ＧＡＮ生成器は、スタイル移送のために顔画像を処理するための事前訓練されたＧＡＮから定義されることを特徴とする請求項１０記載の方法。

【請求項12】

前記２段階最適化が各段階において、アイデンティティ再構成損失（Ｌ_ｆ）、毛髪の形状および構造再構成の喪失（Ｌ_ｒ）、外観損失（Ｌ_ａ）、並びに、より細かいスタイル損失（Ｌ_ｓ）から構成される目的関数を用いて最適化を実行することを特徴とする請求項１０又は１１に記載の方法。

【請求項13】

Ｌ_ｆとＬ_ｒが、Ｌ_ａとＬ_ｓを最適化せずに前記第１段階で最適化され、
Ｌ_ｆ、Ｌ_ｒ、Ｌ_ａ及びＬ_ｓが前記第２段階で最適化され、Ｌ_ｒがＩ_２の外観およびより細かいスタイル特徴とＩ_３のそれらの特徴との間の競合を回避するために勾配直交化を介して最適化されることを特徴とする請求項１２記載の方法。

【請求項14】

前記ヘアスタイルの移送後のＩ_Ｇの背景領域を、好ましくはＩ_１の背景領域からインペイントすることを含むことを特徴とする請求項１０から１３のいずれかに記載の方法。

【請求項15】

前記ネットワークフレームワークが、編集可能なヘアスタイルの移送、ａ）毛髪の形状および構造の解きほぐし特徴、並びに、ｂ）毛髪の外観およびより細かいスタイルを提供するように構成され、それによって、移送する毛髪属性の選択を可能にすることを特徴とする前記した請求項のいずれかに記載の方法。

【請求項16】

Ｉ_１の前記アイデンティティは、Ｉ_１、Ｉ_２及びＩ_３との間で一意であり、それによって、完全なヘアスタイル移送を実行し、
Ｉ_２の前記毛髪の形状および構造は、Ｉ_１、Ｉ_２及びＩ_３との間で一意であり、それによって、少なくとも形状および構造に関連するヘアスタイルの移送を実行し、
Ｉ_３の前記毛髪の外観は、Ｉ_１、Ｉ_２及びＩ_３との間で一意であり、それによって、少なくとも外観に関連するヘアスタイルの移送を実行し、
Ｉ_３の前記毛髪のより細かいスタイルは、Ｉ_１、Ｉ_２とＩ_３ との間で一意であり、それによって、少なくとも毛髪のより細かい細部に関連するヘアスタイルの移送を実行することを特徴とする請求項１５記載の方法。

【請求項17】

Ｉ_１～Ｉ_３のそれぞれが、ポートレート画像であり、
Ｉ_２及びＩ_３が、Ｉ_１で表される前記アイデンティティに移送されるヘアスタイル属性のための参照画像であることを特徴とする前記した請求項のいずれかに記載の方法。

【請求項18】

Ｉ_Ｇ、Ｉ_１、Ｉ_２及びＩ_３はそれぞれ、セグメンテーションネットワークを用いて、それぞれの画像についてそれぞれの毛髪（スタイル）マスク及び顔（アイデンティティ）マスクを定義し、そのようなマスクのうちの選択された１つを用いて、スタイルを移送するためのそれぞれのターゲットマスクを定義することを特徴とする前記した請求項のいずれかに記載の方法。

【請求項19】

前記ＧＡＮ生成器は、前記スタイル移送を受信するための平均画像としてＩ_Ｇを最初に生成することを特徴とする前記した請求項のいずれかに記載の方法。

【請求項20】

前記アイデンティティが、事前訓練されたニューラルネットワーク符号器を用いてＩ_１を処理することで抽出された高レベル特徴を用いて再構成されることを特徴とする前記した請求項のいずれかに記載の方法。

【請求項21】

ヘアスタイル移送において、前記事前訓練されたニューラルネットワーク符号器を用いてＩ_２を処理することで生成された後のブロックからの特徴を用いて、毛髪の形状および構造が再構成されることを特徴とする請求項２０記載の方法。

【請求項22】

ヘアスタイルの移送において、Ｉ_２の毛髪領域が、合成された毛髪のターゲットの配置にソフトな制約を課す侵食された毛髪領域であることを特徴とする請求項２１記載の方法。

【請求項23】

ヘアスタイルの移送において、前記事前訓練されたニューラルネットワーク符号器を用いてＩ_３を処理することで第１ブロックで抽出された特徴から決定された全体的な外観を用いて毛髪の外観が移送され、前記全体的な外観は、空間情報に関係なく決定されることを特徴とする請求項２０から２２のいずれかに記載の方法。

【請求項24】

ヘアスタイルの移送において、前記事前訓練されたニューラルネットワーク符号器を用いてＩ_３を処理することで抽出された高レベル特徴マップに従って、より細かいスタイルが移送されることを特徴とする請求項２０から２３のいずれかに記載の方法。

【請求項25】

ヘアスタイルの移送において、毛髪の外観が色を含み、より細かいスタイルが束のスタイル及び毛髪ストランド間のシェーディング変化のいずれかを含むより細かい詳細を含むことを特徴とする前記した請求項のいずれかに記載の方法。

【請求項26】

スタイル移送に関連する製品および／またはサービスを購入するための電子商取引サービスへのインターフェースを提供することを含むことを特徴とする前記した請求項のいずれかに記載の方法。

【請求項27】

スタイル移送に関連する製品および／またはサービスを推奨するように構成されたサービスへのインターフェースを提供することを含むことを特徴とする前記した請求項のいずれかに記載の方法。

【請求項28】

前記Ｉ_Ｇは、Ｉ_１との対比のためにグラフィカルユーザインターフェース内に表示するために提供されることを特徴とする前記した請求項のいずれかに記載の方法。

【請求項29】

Ｉ_１を受信するためのインターフェースを提供することと、
毛髪の形状および構造ならびに毛髪外観およびより細かいスタイルを含むヘアスタイルのようなそれぞれのスタイル属性を示す参照画像の記憶を提供することと、
前記参照画像のうちの１つからＩ_２を定義するための入力を受け取るための選択インターフェースを提供することと、
前記参照画像のうちの１つからのＩ_３を定義するための入力を受け取るための選択インターフェースを提供することとを含むことを特徴とする前記した請求項のいずれかに記載の方法。

【請求項30】

前記参照画像の記憶以外からＩ_２及びＩ_３の一方または両方を受信するためのインターフェースを提供することを含むことを特徴とする請求項２９記載の装置。

【請求項31】

プロセッサと、前記プロセッサによって実行されると、前記した請求項のいずれかに記載の方法を実行させるコンピュータ実行可能命令を記憶する記憶デバイスとを備えることを特徴とするコンピューティングデバイス。

【請求項32】

プロセッサと、前記プロセッサによって実行されるコンピュータ実行可能命令を記憶する記憶デバイスとを備えるコンピューティングデバイスであって、
ヘアスタイルの移送を実行するように構成されたネットワークフレームワークを備え、
前記ネットワークフレームワークは、参照画像から第１画像（Ｉ_１）の顔からのアイデンティティが移送された毛髪属性を含む合成画像（Ｉ_Ｇ）を生成するように構成された生成的敵対ネットワーク（ＧＡＮ）生成器を備え、
前記毛髪属性は、ｉ）毛髪の形状および構造、ｉｉ）毛髪の外観およびｉｉｉ）毛髪のより細かいスタイルを含むものであり、
前記ネットワークフレームワークは、潜在空間を最適化して、前記毛髪属性であるｉ）毛髪形状および構造を、ｉｉ）毛髪外観およびｉｉｉ）毛髪のより細かいスタイルから解きほぐすように構成されることを特徴とするコンピューティングデバイス。

【請求項33】

前記参照画像は、第２画像（Ｉ_２）及び第３画像（Ｉ_３）を含み、
Ｉ_１、Ｉ_２及びＩ_３はそれぞれポートレート画像で構成され、
前記ネットワークフレームワークは、Ｉ_２から抽出された毛髪の形状と構造およびＩ_３から抽出された毛髪の外観と毛髪のより細かいスタイルのそれぞれを用いることを特徴とする請求項３２記載のコンピューティングデバイス。

【請求項34】

前記命令が実行されると、前記コンピューティングデバイスに、一旦生成されたＩ_１の背景をＩ_Ｇにインペイントさせることを特徴とする請求項３２から３３のいずれかに記載のコンピューティングデバイス。

【請求項35】

前記ＧＡＮ生成器は、前記潜在空間の最適化が前記毛髪属性を解きほぐすことを可能にするように、２段階最適化および勾配直交化を用いて訓練されることを特徴とする請求項３２から３４のいずれかに記載のコンピューティングデバイス。

【請求項36】

毛髪の外観は色を含み、
毛髪の細かいスタイルは、毛髪ストランド間の束のスタイル及びシェーディング変化のいずれかを含むより細かい詳細を含むことを特徴とする請求項３２から３５のいずれかに記載のコンピューティングデバイス。

【請求項37】

前記命令が実行されると、前記コンピューティングデバイスに、ヘアスタイルに関連付けられた製品および／またはサービスを購入するための電子商取引サービスへのインターフェースを提供するように動作させることを特徴とする請求項３２から３６のいずれかに記載のコンピューティングデバイス。

【請求項38】

前記命令が実行されると、前記コンピューティングデバイスに、ヘアスタイルに関連する製品および／またはサービスを推奨するように構成されたサービスへのインターフェースを前記コンピューティングデバイスに提供するように動作させることを特徴とする請求項３２から３７のいずれかに記載のコンピューティングデバイス。

【請求項39】

前記命令が実行されると、前記コンピューティングデバイスに
Ｉ_１を受信するインターフェースを提供し、
それぞれの毛髪属性を示す参照画像の記憶を提供し、
ヘアスタイルの移送のための毛髪属性を定義するために少なくとも１つの参照画像を選択するための入力を受信する選択インターフェースを提供するように動作させることを特徴とする請求項３２から３８のいずれかに記載のコンピューティングデバイス。

【請求項40】

前記命令が実行されると、前記コンピューティングデバイスに、前記参照画像をアップロードするためのインターフェースを提供するように動作させることを特徴とする請求項３２から３９に記載のコンピューティングデバイス。

【請求項41】

処理回路を備えるコンピューティングデバイスであって、前記処理回路が動作すると、
アイデンティティ画像と、アイデンティティ上のヘアスタイルをシミュレートするための異なるヘアスタイル属性を表す複数の参照画像とに対して仮想的なヘアスタイルの試着を実行するためのネットワークフレームワークを提供し、
前記ネットワークフレームワークは前記アイデンティティ及びヘアスタイルを仮想的なヘアスタイルの試着を表す合成画像に組み込むときに現実的な合成された毛髪を提供するために前記異なるヘアスタイル属性を解きほぐす最適化を実行し、
提示のために前記合成画像を提供するように構成されることを特徴とするコンピューティングデバイス。

【請求項42】

前記回路が動作すると、
ヘアスタイルに関連付けられた製品、サービス又はその両方を購入するためのインターフェースを提供することと、ヘアスタイルに関連付けられた推奨を生成するためのインターフェースを提供することとのうちの少なくとも１つを動作させることを特徴とする請求項４１記載のコンピューティングデバイス。

【請求項43】

方法であって、
アイデンティティ画像およびアイデンティティ上のヘアスタイルをシミュレートするための異なるヘアスタイル属性を表す複数の参照画像に対して仮想的なヘアスタイルの試着と、
前記アイデンティティ及びヘアスタイルを前記仮想的なヘアスタイルの試着を表す合成画像に組み込むときに、前記異なるヘアスタイル属性を解きほぐして現実的な合成された毛髪を提供する最適化を実行するように構成されたネットワークフレームワークを用いて実行される前記試着とを実行し、
提示のために前記合成画像を提供することを特徴とする方法。

【請求項44】

ヘアスタイルに関連付けられた製品、サービス又はその両方を購入するためのインターフェースを提供することと、ヘアスタイルに関連付けられた推奨を生成するためのインターフェースを提供することと、のうちの少なくとも１つを含むことを特徴とする請求項４３記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

《相互参照》
本出願は２０２１年３月３日に出願された米国仮出願第６３／１５５，８４２号の優先権を主張し、その全体が参照により本明細書に組み込まれる。本出願はまた、２０２２年３月２日に出願されたフランス特許出願第２２０１８２９号の優先権も主張するものであり、その全内容は参照により本明細書に組み込まれる。

【0002】

本出願は画像処理のためのコンピュータ処理、画像処理およびニューラルネットワークの改善に関し、より詳細には反転ＧＡＮ（reverse GANs）を用いたスタイルの試着（try-on）、特にヘアスタイルの試着のためのシステム、方法および技法に関するものである。

【背景技術】

【0003】

ニューラルネットワークを用いた画像のコンピュータ処理は、効果（effects）のシミュレーションのための新しい手段を開いた。生成的敵対ネットワーク（generative adversarial networks、ＧＡＮ）の進歩は、条件付き[15,32]と無条件[19]の両方の写実的な（photorealistic）画像の合成を可能にする。並行して、最近の研究は、分離された（disentangled）特徴表現（feature representations）を学習することで、印象的な潜在空間（latent space）の操作を達成し[26]、写実的なグローバル及びローカル画像の操作を可能にしている。

【0004】

しかしながら、フォトリアリズム（photorealism）を維持しながら、合成画像の属性の制御された操作を達成することは、依然として未解決の課題である。

【発明の概要】

【0005】

ヘアスタイルの移送（transfer）を含むスタイルの移送は、毛髪等のソース（source）及びターゲット（target）のオブジェクトの構造の違いのため困難である。一実施形態では、直交化を介したヘアスタイルの潜在的最適化（Latent Optimization of Hairstyles via Orthogonalization、ＬＯＨＯ）が、ヘアスタイルの移送中に潜在空間（latent space）内の毛髪の構造の詳細を充填するためのＧＡＮ反転（GAN inversion）を用いる最適化ベースのアプローチである。毛髪は知覚構造（例えば、形状）、外観およびより細かいスタイル（finer style）の３つの属性に分解され、これらの属性のそれぞれを独立してモデル化するために調整された損失を含む。２段階最適化（Two-stage optimization）及び勾配直交化（gradient orthogonalization）は、３つの毛髪属性の分離された潜在空間の最適化を可能にする。潜在空間の操作のためにＬＯＨＯを用いることで、ユーザは個々に又は共同で毛髪属性を操作し、ヘアスタイルから所望の属性を移送して、新規の写実的な（photorealistic）画像を合成できる。一実施形態ではＬＯＨＯアプローチ（例えば、スタイル属性が分離した潜在空間の最適化に対する２段階最適化および勾配直交化）は、衣服等の他のスタイルの移送への一般化が可能である。

【図面の簡単な説明】

【0006】

【図1】Ａ、Ｂ、Ｃ、Ｄ及びＥは、一実施形態に従って合成されたヘアスタイル転写サンプルを示すための画像１００，１０２，１０４，１０６及び１０８である。

【図2】一実施形態による、背景ブレンディングを伴う２段階ネットワーク構造のフレームワークである。

【図3】は、一実施形態による２段階最適化の効果を示す画像アレイである。

【図4】は、一実施形態による勾配直交化（ＧＯ）の効果を示す画像アレイである。

【図5】Ａ及びＢは、一実施形態によるＧＯの効果を示すグラフである。

【図6】一実施形態によるＭｉｃｈｉＧＡＮおよびＬＯＨＯの定性的比較を示す画像アレイである。

【図7】一実施形態による個々の属性編集を表す例の画像アレイを示す。

【図8】一実施形態による複数の属性編集を表す例の画像アレイを示す。

【図9】Ａ及び９Ｂは、一実施形態による位置ずれの例を示す画像アレイである。

【図10】Ａ及びＢは、一実施形態によるヘアディテールキャリーオーバーの例を示す画像アレイである。

【図11】一実施形態によるコンピュータネットワークの図である。

【図12】一実施形態による代表的なコンピューティングデバイスのブロック図である。

【0007】

【0008】

【0009】

【0010】

【0011】

【0012】

【0013】

【0014】

【0015】

【0016】

【0017】

【発明を実施するための形態】

【0018】

様々な実施形態が、ヘアスタイルの移送（transfer）に関して本明細書で詳述される。他のスタイルの移送タスクが、本明細書で説明され、他のスタイルの移送タスクに適合される技法、方法および装置を用いて実装され得ることが、当業者によって理解されるのであろう。

【0019】

一実施形態では、ユーザが細粒度な（fine-grained）制御を用いて、自分のポートレート画像に対してセマンティック（semantic）かつ構造的な（structural）編集を行うことができる。特定の困難で（challenging）商業的に魅力的な例として、ヘアスタイルの移送が評価され、本明細書で説明され、ユーザは、複数の独立したソース画像（source images）から毛髪属性を移送して、自身のポートレート画像を操作できる。一実施形態では、直交化を介したヘアスタイルの潜在的最適化（Latent Optimization of Hairstyles via Orthogonalization、ＬＯＨＯ）が生成的敵対ネットワーク（generative adversarial network、ＧＡＮ）[12,18]等の生成モデルの潜在空間における２段階最適化（two-stage optimization）プロセスである。例示的な技術的貢献は、１つの属性の適用（application）が他の属性と干渉しないように、移送された属性の勾配（gradients）を直交化することで属性の移送が制御されることである。

【0020】

ヘアスタイルの移送[30]に関する以前の研究は、ＧＡＮ生成器（generators）の複雑なパイプラインを用いて、毛髪の外観（appearance）の現実的な移送をもたらし、それぞれは、毛髪の合成または背景のインペインティング（inpainting）等の特定のタスクに特化した。しかしながら、整列されていない（misaligned）毛髪マスク（hair masks）によって残された穴（holes）を充填するため、事前訓練された（pretrained）インペインティングネットワークを用いると、ぼやけた遺物（artifacts）が生じる。移送された毛髪の形状から、より現実的な合成を生成するために、一実施形態によれば、顔を生成するように事前訓練された単一のＧＡＮの事前分布（prior distributionを）呼び出すことにより、欠けている形状および構造の詳細が埋められる。

【0021】

ＬＯＨＯは、前記のソース－ターゲットの毛髪の未整列（misalignment）の下でさえ、写実的なヘアスタイルの移送を達成する。ＬＯＨＯは、事前訓練されたＳｔｙｌｅＧＡＮｖ２[20]の拡張された潜在空間（latent space）とノイズ空間（noise space）とを直接最適化する。慎重に設計された損失関数を用いて、ＬＯＨＯアプローチは毛髪を３つの属性、即ち知覚構造（例えば、形状）、外観およびより細かいスタイル（finer style）に分解する。次いで、これらの属性のそれぞれは、個々にモデル化され、それによって、合成プロセスに対するより良好な制御を可能にする。更に、ＬＯＨＯは２段階最適化を採用することで、合成画像の品質を著しく改善し、各段階は、目的関数（objective function）における損失のサブセットを最適化する。損失のいくつかは、それらの類似の設計に起因して順次最適化され、ＬＯＨＯアプローチの下で共同ではない。最後に、ＬＯＨＯは、勾配直交化（gradient orthogonalization）を用いて、最適化プロセス中に毛髪属性を明示的に分離する。

【0022】

図１Ａ、１Ｂ、１Ｃ、１Ｄ及び１Ｅは、一実施形態による、ＬＯＨＯを用いて合成されたヘアスタイルの移送サンプルを示すための画像１００，１０２，１０４，１０６及び１０８である。図１Ａ及び１Ｄの所与のポートレート画像１００及び１０６について、ＬＯＨＯは、複数の入力条件に基づいて毛髪属性を操作できる。挿入画像（例えば、１０２Ａ、１０４Ａ及び１８Ａ）は、外観およびより細かいスタイル、構造ならびに形状の順序でターゲット毛髪属性を表す。ＬＯＨＯは、背景を変化させずに、外観およびより微細なスタイル（例えば、図１Ｂに示される）ならびに知覚構造（例えば、図１Ｂに示される）を伝達できる。

【0023】

更に、ＬＯＨＯは複数の毛髪属性を同時にかつ独立して変更できる（例えば、図１Ｃに示されるように）。

【0024】

ＬＯＨＯアプローチの特徴に従って、以下が提供される：
・ＳｔｙｌｅＧＡＮｖ２の拡張された潜在空間およびノイズ空間を最適化することでヘアスタイルの移送を実行するための新しいアプローチ。
・各重要なヘアスタイル属性をモデル化するための複数の損失を含む目的関数。
・合成画像のフォトリアリズム（photorealism）の大幅な改善につながる２段階最適化の戦略。
・干渉（interference）のない潜在空間における属性を共同で最適化する一般的な手法への勾配直交化の導入。勾配直交化の有効性を定性的および定量的に実証した。
・計算されたフレシェ開始距離（Frechet Inception Distance、ＦＩＤ）スコアを用いた評価を用いた、実環境下での（in-the-wild）ポートレート画像上でのヘアスタイルの移送。ＦＩＤは、同じドメイン内の実画像と合成画像の開始（Inception）[29]特徴間の距離を計算することで生成モデルを評価するために用いられる。計算されたＦＩＤスコアは、実施形態によるフレームワーク及び関連する方法および技術が現在の最新技術（state-of-the-art、ＳＯＴＡ）のヘアスタイルの移送結果より優れている可能性があることを示す。
《関連した研究》

【0025】

生成的敵対ネットワーク。生成モデル、特にＧＡＮは、画像から画像への変換[15,32,40]、ビデオの生成[34,33,9]及びオブジェクトの検出[24]等の識別タスク（discriminative tasks）のためのデータ拡張（data augmentation）等、様々なコンピュータビジョンアプリケーションに亘って非常に成功している。ＧＡＮ[18,3]は、訓練データ（training data）の基礎となる分布を学習することで、潜在コード（latent code）を画像に変換する。より最近のアーキテクチャであるＳｔｙｌｅＧＡＮｖ２[20]は、写実的な人間の顔を生成するためのベンチマークを設定している。しかしながら、そのようなネットワークを訓練することは、かなりの量のデータを必要とし、ヘアスタイルの移送等の特定の使用事例のためにＳＯＴＡ－ＧＡＮを訓練するための障壁を著しく高くさせる。その結果、事前訓練された生成器を用いて構築された方法は、様々な画像操作タスクを実行するための事実上の標準になりつつある。一実施形態では、ＳｔｙｌｅＧＡＮｖ２[20]が表現的な事前訓練された顔合成モデルとして活用され、制御された属性操作のために事前訓練された生成器を用いるための最適化アプローチが概説される。

【0026】

潜在空間の埋め込み。反転（inversion）を介したＧＡＮの潜在空間の理解および操作は、研究の活発な分野となっている。ＧＡＮ反転は、ＧＡＮの潜在空間に画像を埋め込むことを含み、その潜在的な埋め込み（latent embedding）から生じる合成画像が、元の画像の最も正確な再構成である。Ｉ２Ｓ[1]は、事前訓練されたＳｔｙｌｅ－ＧＡＮ[19]の拡張された潜在空間Ｗ^＋＋を最適化することで画像を再構成できるフレームワークである。サンプリングされた埋め込みＷ^＋は、ＳｔｙｌｅＧＡＮアーキテクチャの各レイヤに１つずつ、１８の異なる５１２次元のｗベクトルの連結である。Ｉ２Ｓ＋＋[2]は、ノイズ空間Ｎを更に最適化することにより、画像の再構成品質を更に改善した。更に、Ｉ２Ｓ＋＋フレームワークにセマンティック（semantic）マスクを含めることにより、ユーザは、画像のインペイントや全体的な編集等のタスクを実行できる。最近の手法[13,27,41]は、画像空間からの入力を潜在空間Ｗ^＋に直接マッピングする符号器（encoder）を学習する。一実施形態では、ＬＯＨＯが近年のＳｔｙｌｅＧＡＮｖ２のＷ^＋空間およびノイズ空間Ｎを最適化して、ポートレート画像上の毛髪のセマンティック編集を実行するという点で、ＧＡＮ反転に従う。一実施形態では、ＬＯＨＯが属性の異なる競合目的（competing objectives）間の干渉を防止しながら、複数のソースからの毛髪構造等の空間的な局所属性の同時操作のために、ＧＡＮ反転アルゴリズムを更に利用する。

【0027】

ヘアスタイルの移送。毛髪は、人間の顔のモデル化および合成が困難な部分である。毛髪のモデリングに関する以前の研究は、ヘアジオメトリ（hair geometry）[8,7,6,35]をキャプチャすること及びインタラクティブなヘア編集のためにこのヘアジオメトリを下流（downstream）で用いることを含む。しかしながら、これらの手法は、主要な視覚的要因をキャプチャできず、それによって結果の品質を損なう。最近の研究[16,23,21]は、毛髪生成のためのＧＡＮの使用に関する進歩を示したが、これらの手法は合成された毛髪に対する直感的な制御を可能にしない。ＭｉｃｈｉＧＡＮ[30]は、毛髪の制御された操作を可能にする条件的合成（conditional synthesis）ＧＡＮを提案した。ＭｉｃｈｉＧＡＮは意図的なメカニズムと表現を指定することにより、毛髪を４つの属性に分離し、毛髪の外観変化に対するＳＯＴＡ結果を生成する。それにもかかわらず、ＭｉｃｈｉＧＡＮは、任意の形状変化を伴う毛髪の移送シナリオを扱うことが困難である。

【0028】

これは、ＭｉｃｈｉＧＡＮが毛髪の移送プロセス中に生成された「穴」を充填するために、別々に訓練されたインペインティングネットワークを用いて形状変化を実施するからである。対照的に、本明細書の方法の態様は、事前訓練されたＧＡＮの事前分布を、ピクセル空間（pixel space）ではなく潜在空間において「充填」するように呼び出す。ＭｉｃｈｉＧＡＮと比較して、本明細書の方法の態様は、毛髪の形状が変化する困難な場合において、より現実的な合成画像を生成する。
＜方法論＞
《背景》

【0029】

Ｉｍａｇｅ２ＳｔｙｌｅＧＡＮ＋＋（Ｉ２Ｓ＋＋）[2]で提案された目的関数は：

【数1】

ここで、ｗはＳｔｙｌｅＧＡＮの拡張された潜在空間Ｗ^＋における埋め込みであり、ｎはノイズベクトル埋め込みであり、Ｍ_ｓ、Ｍ_ｍ及びＭ_ｐは、各損失に寄与する画像領域を特定するためのバイナリマスクであり、◎（丸印の中心に黒点）は、アダマール積（Hadamard product）を表し、Ｇは、ＳｔｙｌｅＧＡＮ生成器であり、ｘは、マスクＭ_ｓ、Ｍ_ｍ及びＭ_ｐ内で再構成する画像であり、ｙは、Ｍ_ｍの外部、即ち（１－Ｍ_ｍ）内で再構成する画像である。

【0030】

数式１におけるＩ２Ｓ＋＋目的関数（objective function）の変化は画像再構成、画像クロスオーバ（image crossover）、画像インペインティング、ローカルスタイル移送および他のタスクを改善するために、[2]によって用いられる。ヘアスタイルの移送のために、画像クロスオーバ及び画像インペインティングの両方を行うことが望ましい。あるヘアスタイルを別の人に移すには、クロスオーバが必要であり、元の人の髪が塗りつぶされていた残りの領域が必要である。
《フレームワーク》

【0031】

図２は、一実施形態による、ＬＯＨＯのための背景ブレンディング（インペインティング）２００を有する２段階ネットワークフレームワークを示す。ネットワークフレームワーク２００は訓練フレームワークとは対照的に、推論時間フレームワーク（inference time framework）を表す。ＧＡＮ生成器２０２は、スタイルの移送のための事前訓練されたＧＡＮを備える。段階１（２０６）において、”平均（mean）”顔２０４（Ｉ_Ｇ）から開始して、ネットワークフレームワーク２００は、（Ｉ_１（２０８）の）ターゲットアイデンティティ及び（Ｉ_２（２１０）からのヘアのターゲット知覚構造を再構成する。段階２（２１２）では、フレームワーク２００が勾配直交化（ＧＯ）を介して知覚構造を維持しながら、Ｉ_３（２１４）からの）ターゲット毛髪のより細かいスタイル及び外観を移送する。最後に、Ｉ_３は、Ｉ_１の背景とブレンドされる。

【0032】

ヘアスタイルの移送問題に対して、人物の３つのポートレート画像が提供される：Ｉ_１、Ｉ_２及びＩ_３（２０８，２１０及び２１４）。人物２の（Ｉ_２の）毛髪の形状および構造の属性、ならびに、人物３（Ｉ_３の）毛髪の外観およびより細かいスタイルの属性を、人物１（Ｉ_１の）に移送するのを考慮する。Ｍ_１ ^ｆ（２０８Ａ）をＩ_１の２値の顔面マスク（binary face mask）とし、Ｍ_１ ^ｈ、Ｍ_２ ^ｈ及びＭ_３ ^ｈ（図示せず）をＩ_１、Ｉ_２及びＩ_３を２値の毛髪マスク（binary hear mask）とする。次に、Ｍ_２ ^ｈが約２０％別々に拡張（dilated）および侵食（eroded）されて、拡張されたバージョンＭ_２ ^ｈ，ｄ及び侵食されたバージョンＭ_２ ^ｈ，ｅ（２１０Ａ）を生成する。Ｍ_２ ^ｈ，ｉｒ≡Ｍ_２ ^ｈ，ｄ－Ｍ_２ ^ｈ，ｅは、インペイントを必要とする無視領域（ignore region、例えば、顔なし、毛髪なしの背景）とする。この実施形態では、Ｍ_２ ^ｈ，ｉｒは最適化されておらず、むしろ、ＳｔｙｌｅＧＡＮｖ２（ＧＡＮ生成器２０２）が呼び出されて、この領域内の関連する詳細をインペイントする。この特徴は、ネットワークフレームワーク２００が人物１及び人物２の毛髪の形状が不整列な状況において、毛髪の形状の移送の実行を可能にする。

【0033】

２つの段階２０６及び２１２では、セグメンテーションネットワーク２１８を用いて、合成画像（それぞれ段階１ ２０６への入力として及びそれが洗練され（refined）、段階２ ２１２への入力として提供された後）と、入力画像（Ｉ_１、Ｉ_２及びＩ_３）とを処理することで、それぞれのセグメンテーションマスクを定義する。２つの段階２０６及び２１２では、一実施形態によれば、顔画像処理のための事前訓練されたＣＮＮ２２０（例えば、ＶＧＧ[28]）を用いて、更に説明するように高レベルの特徴を抽出する。

【0034】

実施形態２００では、Ｉ_１の背景が最適化されていない。従って、背景を回復（recover）するために、２１６において、本実施形態では、Ｉ_１の背景は、合成画像Ｉ_Ｇの前景（foreground、毛髪および顔）とソフトブレンド（soft-blended）される。具体的には、本実施形態ではＧａｔｅｄＣｏｎｖ[36]（図示せず）を用いて、マスクされたＩ_１の前景領域をインペイントし、その後、ブレンディングを実行する。
《目的（Objective）》

【0035】

ヘアスタイルの移送を実行するために、合成画像の関連領域（relevant regions）を監視するために損失が用いられる。表記を単純に保つために、Ｉ_Ｇ≡Ｇ（Ｗ^＋＋Ｎ）合成画像とし、Ｍ_Ｇ ^ｆ（２０４Ａ）及びＭ_Ｇ ^ｈ（２０４Ｂ）を対応する顔領域および髪領域とする。

【0036】

アイデンティティ（Identity）の再構成。人物１のアイデンティティを再構成するために、一実施形態では、学習知覚画像パッチ類似性（Learned Perceptual Image Patch Similarity、ＬＰＩＰＳ）[39]損失が用いられる。ＬＰＩＰＳは人間の類似性判断に基づく知覚損失であり、従って、顔の再構成に良く適している。損失を計算するために、事前訓練されたＶＧＧ[28]２２０が、両方のための高レベル特徴（high-level feature）[17]を抽出するために用いられる。特徴は、一実施形態ではＶＧＧ２２０の５つのブロック全てから抽出され、合計されて、顔の再構成目的（reconstruction objective）を形成する：

【数2】

ここで、ｂはＶＧＧブロックを表し、Ｍ_１ ^ｆ∩（１－Ｍ_２ ^ｈ，ｄ）はＭ_１ ^ｆと拡張されたマスクＭ_２ ^ｈ，ｄの前景領域との間の重なりとして計算されたターゲットマスク（target mask）を表す。この数式２は、ターゲットマスクにソフトな制約を課す。

【0037】

毛髪の形状と構造の再構成。人物２の毛髪情報を回復するために、ＬＰＩＰＳ損失を介して監視が実施される。しかしながら、Ｍ_２ ^ｈをターゲット毛髪マスクとして単純に（naively）用いると、生成器２０２は、Ｉ_Ｇの望ましくない領域の毛髪を合成する可能性がある。これは、特に、ターゲットの顔領域と毛髪領域とがうまく位置合わせされない場合に当てはまる。この問題を解決するために、侵食されたマスクＭ_２ ^ｈ，ｅは、合成された毛髪のターゲットの配置にソフトな制約（soft constraint）を課すために用いられる。Ｍ_２ ^ｈ，ｅは、Ｍ_２ ^ｈ，ｉｒと組み合わせされ、生成器は重なっていない領域（non-overlapping regions）に関連情報をインペイントすることで、位置ずれしたペアを処理できる。損失を計算するために、ＶＧＧ２２０のブロック４及び５からの特徴が、Ｉ_２、Ｉ_Ｇの毛髪領域に対応して抽出され、毛髪の知覚構造目的（perceptual structure objective）を形成する：

【数3】

【0038】

毛髪の外観の移動。毛髪の外観は、毛髪の形状および構造とは無関係な、毛髪の全体的に一貫した色を指す。その結果、異なる毛髪形状のサンプルから移送できる。ターゲットの外観を移送するために、一実施形態では、６４個の特徴マップが色情報を最も良く説明するように、ＶＧＧ（relu1_1）の最も浅いレイヤから抽出される。次いで、各特徴マップの毛髪領域内で平均プーリング（average-pooling）が実行されて、空間情報（spatial information）を破棄し、全体的な外観（global appearance）をキャプチャする。Ｒ^６４×１の平均的な外観Ａの推定値は、

【数4】

で得られ、ここでφ（ｘ）は、画像ｘの６４個のＶＧＧ特徴マップを表し、ｙは、関連する毛髪マスクを示す。最後に、二乗された（squared）Ｌ_２距離は、毛髪の外観目的を与えるために算出される：

【数5】

【0039】

毛髪のより詳細な移送。全体的な色に加えて、毛髪はまた、束のスタイル（wisp styles）及び毛髪ストランド（hair strands）間のシェーディング変化等のより細かい詳細を含む。このような詳細は、全体の平均を推定する外観損失だけではキャプチャできない。従って、より良好な近似が、毛髪ストランド間の様々なより微細なスタイルを計算するために必要とされる。グラムマトリクス（Gram matrix）[10]は、高レベル特徴マップ間の二次（second-order）関連付けを計算することで、より微細な毛髪の細部をキャプチャする。一実施形態では、グラムマトリクスがＶＧＧの{relu1_2; relu2_2; relu3_3; relu4_4}のレイヤから特徴を抽出した後に計算される。

【数6】

ここで、γ^ｌはＲ^ＨＷ×Ｃにおけるレイヤｌから抽出された特徴マップを表し、ｇ^ｌはレイヤｌのグラムマトリクスを表す。ここで、Ｃはチャンネル数を表し、ＨとＷとは、それぞれ高さと幅とである。最後に、二乗されたＬ_２距離は、以下のように計算される。

【数7】

【0040】

ノイズマップの正則化（Noise Map Regularization）。ノイズマップｎ∈Ｎを明示的に最適化すると、最適化によって実際の信号がノイズマップに挿入される可能性がある。これを防ぐために、一実施形態では、ノイズマップ[20]の正則化の項が導入される。８ｘ８より大きい各ノイズマップについて、一実施形態では、ピラミッドダウンネットワーク（pyramid down network）が解像度を８ｘ８に低減するために用いられる。ピラミッドネットワークは、各ステップにおいて２ｘ２ピクセルの近傍（neighbourhoods）を平均化する。加えて、一実施形態では、ノイズマップがゼロ平均（zero mean）および単位分散（unit variance）となるように正規化され、ノイズ目的（noise objective）を生成する：

【数8】

ここで、ｎ_ｉ，０は元のノイズマップを表し、ｎ_{ｉ，ｊ＞０}はダウンサンプリングされたバージョンを表す。同様に、ｒ_ｉ，ｊは元の又はダウンサンプリングされたノイズマップの解像度を表す。

【0041】

全ての損失を組み合わせると、全体的な最適化の目的は以下となる。

【数9】

《最適化戦略》

【0042】

２段階最適化。損失Ｌ_ｒ、Ｌ_ａ及びＬ_ｓの類似の性質を考慮すると、開始からの全ての損失を共同で最適化することは、人物２の毛髪情報を人物３の毛髪情報と競合させ（compete）、望ましくない合成をもたらすのが想定される。この問題を緩和するために、全体的な目的は２段階で最適化される。段階１では、目的アイデンティティ及び毛髪の知覚構造のみが再構成され、即ち数式８においてλ_ａ及びλ_ｓにゼロが設定される。段階２では、段階１が段階に対してより良い初期化を提供し、それによってモデルを収束させる。

【0043】

しかしながら、この技術自体には欠点がある。それは、段階１の後、再構成された毛髪の知覚構造を維持するための監視がないことである。この監視の欠如は、ＳｔｙｌｅＧＡＮｖ２が事前分布を呼び出して、毛髪ピクセルをインペイント又は除去するのを可能にし、それによって、段階１で見つかった知覚構造の初期化を取り消す。従って、最適化の段階２にＬ_ｒを含める必要がある。

【0044】

勾配直交化。Ｌ_ｒは、デザインによって、人物２の全ての毛髪の属性、即ち知覚的構造、外観及びより細かいスタイルをキャプチャする。結果として、Ｌ_ｒの勾配は、人物３の外観およびより細かいスタイルに対応する勾配と競合する。この問題は、その外観およびより細かいスタイル情報が除去されるように、勾配を操作することで対処される。より具体的には、Ｌ_ｒの知覚構造勾配がその外観およびより細かいスタイル勾配に直交するベクトル部分空間（vector subspace orthogonal）上に投影される。これにより、人物２の毛髪の構造および形状を維持しながら、人物３の毛髪の外観およびより細かいスタイルを移送できる。

【0045】

潜在空間Ｗ^＋の最適化を仮定すると、計算される勾配は、以下の通りである。

【数10】

ここで、Ｌ_ｒ、Ｌ_ａ及びＬ_ｓは、Ｉ_２とＩ_Ｇとの間で計算されたＬＰＩＰＳ、外観およびより細かいスタイルの損失である。直交性を強制するために

【数11】

が最小化されることが求められる。これは、構造－外観勾配直交化を用いて、（ｇ_Ａ２＋ｇ_Ｓ２）と平行するｇ_Ｒ２コンポーネントを遠ざけることによって達成され、

【数12】

が最適化の段階２において反復される。
＜実験と結果＞
《実装の詳細》

【0046】

データセット。一実施形態では、人間の顔の７００００個の高品質画像を含むフリッカー－顔－ＨＱデータセット（Flickr-Faces-HQ、ＦＦＨＱ）[19]が用いられた。フリッカー－顔－ＨＱは、民族性（ethnicity）、年齢およびヘアスタイルパターンに関して有意な変動を有する。一実施形態では画像（Ｉ_１，Ｉ_２，Ｉ_３）のタプル（tuples）は以下の制約に基づき選択された：（ａ）タプル内の各画像の少なくとも１８％のピクセルが毛髪を含むべきであり、（ｂ）Ｉ_１とＩ_２とのそれぞれの顔領域はある程度整列しなければならない。これらの制約を実施するために、一実施形態では、グラフォノミーセグメンテーションネットワーク（Graphonomy segmentation network）[11]を用いて毛髪および顔マスクを抽出し、２Ｄ－ＦＡＮ[4]を用いて６８個の２Ｄの顔のランドマーク（facial landmarks）を推定した。全てについて、対応する顔マスク及び顔のランドマークを用いて、Ｉ_１とＩ_２との結合上の交差点（intersection over union、ＩｏＵ）および姿勢距離（pose distance、ＰＤ）を計算した。最後に、一実施形態では、選択されたタプルが以下のＩｏＵおよびＰＤ制約が両方とも表１のように満たされるように、「容易」、「中程度」及び「困難」の３つのカテゴリに分散された。

【表1】

【0047】

訓練パラメータ。一実施形態では、アダムオプティマイザ（Adam optimizer）[22]が０．１の初期の学習率（learning rate）で用いられ、コサインスケジュール（cosine schedule）[20]を用いて強化（annealed）された。一実施形態では、最適化は２段階で行われ、各段階は１０００回の反復からなる。切除研究（ablation studies）に基づいて、一実施形態では、４０個の外観損失重み係数（appearance loss weight）λ_ａ、１．５×１０^４個のより細かいスタイル損失重み係数（finer style loss weight）λ_ｓ及び１×１０^５個のノイズ正則化重み係数（noise regularization weight）λ_ｎが選択された。そして、残りの損失重み係数（loss weights）は１に設定された。
《２段階最適化の効果》

【0048】

図３は、一実施形態による２段階最適化の効果を示す４列の画像アレイ３００である。画像アレイ３００において、第１列（３００Ａ）は参照画像を示し、第２列（３００Ｂ）はアイデンティティ（例えば、人物１）を示し、第３列（３００Ｃ）は損失が一緒に最適化される場合の合成画像を示し、第４列（３００Ｄ）は２段階最適化＋勾配直交化を介した合成画像を示す。

【0049】

目的関数（objective function）において全ての損失を一緒に最適化することは、フレームワークを分岐させる。アイデンティティが再構成される間、毛髪の移送は失敗する（図３の第３列３００Ｃ）。合成された毛髪の構造および形状は保存されず、望ましくない結果を引き起こす。他方、２段階最適化を行うことは、提供された参考文献と一致する写実的な画像の生成をもたらす合成プロセスを明らかに改善する。アイデンティティが再構成されるだけでなく、毛髪属性も所望の要件に従って移送される。
《勾配直交化の効果》

【0050】

図４は、一実施形態による勾配直交化（ＧＯ）の効果を示す画像アレイ４００である。第１行（４００Ａ）は、４つの参照画像（左から右）は、同一性、ターゲット毛髪外観およびより細かいスタイル、ターゲット毛髪構造ならびに形状（マスク）を示す。第２行（４００Ｂ）は２つの画像ペア、例えば、ｉ）（ａ）及び（ｂ）、並びに、ｉｉ）（ｃ）及び（ｄ）は、それぞれ、非ＧＯ法およびＧＯ法のためのそれぞれの合成画像およびそれらの対応する毛髪マスクを含むことを示す。図５Ａ及び５Ｂは、一実施形態によるＧＯの効果を示すグラフ５００及び５０２である。グラフ５００及び５０２は、それぞれ、最適化の段階２における

【数13】

の反復および傾向に対するＬＰＩＰＳの毛髪再構成損失（ＧＯ対非ＧＯ）を示す。

【0051】

フレームワークの２つの変形（実施形態）が比較される：非ＧＯ及びＧＯ。ＧＯは勾配直交化を介してＬ_ｒの勾配を操作することを含むが、非ＧＯはＬ_ｒには手を触れないままである。非ＧＯはターゲット毛髪形状を維持できず、最適化の段階２において、反復回数１０００（図４，５Ａ，５Ｂ）の後にＬ_ｒの増加を引き起こす。位置が不変である外観およびより細かいスタイル損失は、形状に寄与しない。一方、ＧＯは段階２において再構成損失を用いてターゲット毛髪形状を維持する。その結果、ＩｏＵは、Ｍ_２ ^ｈとＭ_Ｇ ^ｈの間で計算され、０：８５７（非ＧＯ）から０：９３２（ＧＯ）まで増加する。

【0052】

勾配の解きほぐし（disentanglement）に関しては、時間の経過とともにｇ_Ｒ２と（ｇ_Ａ２＋ｇ_Ｓ２）との間の類似性が減少し、ＧＯを有するフレームワークの実施形態が人物２の毛髪形状をその外観およびより微細なスタイルから解きほぐすことができることを示している（図５Ａ，５Ｂ）。この解きほぐしは、人物３の毛髪の外観およびより微細なスタイルを、モデルの発散（divergence）を引き起こすことなく、合成画像に継ぎ目なく移送するのを可能にする。ここでは、フレームワークのＧＯバージョンを比較および分析に用いる。
《ＳＯＴＡとの比較》

【0053】

ヘアスタイルの移送。このフレームワークのＧＯバージョンをＳＯＴＡモデルＭｉｃｈｉＧＡＮと比較した。ＭｉｃｈｉＧＡＮは、（１）毛髪の外観、（２）毛髪の形状および構造、ならびに、（３）背景を推定するための別々のモジュールを含む。外観モジュールは生成器をその出力特徴マップで効果を上げ（bootstraps）、従来のＧＡＮにおけるランダムにサンプリングされた潜在コードを置き換える[12]。形状および構造モジュールは毛髪マスク及び配向（orientation）マスクを出力し、バックボーン生成ネットワーク（backbone generation network）内の各ＳＰＡＤＥ ＲｅｓＢｌｋ[25]を非正規化する。最後に、背景モジュールは、生成器の出力を背景情報と漸進的に（progressively）ブレンドする。訓練に関しては、ＭｉｃｈｉＧＡＮは擬似監視体制（pseudo-supervised regime）に従う。具体的には、同じ画像から（モジュールによって推定される）特徴が、元の画像を再構成するために、ＭｉｃｈｉＧＡＮに供給される。試験時に、ＦＦＨＱの試験分割からランダムにサンプリングされた５１２ピクセルの解像度の５０００個の画像についてＦＩＤが計算される。

【0054】

結果が同等であることを確実にするために、上記の手順に従い、ＬＯＨＯについてＦＩＤスコア[14]を計算した。画像全体に対してＦＩＤを計算することに加えて、一実施形態では、スコアが、背景がマスクされると共に合成された毛髪および顔領域のみに依存して計算された。マスクされた画像上で低いＦＩＤスコアを達成することは、ＬＯＨＯモデルが実際に現実的な毛髪および顔領域を合成できることを意味する。この実施形態は、ＬＯＨＯ－ＨＦと呼ばれる。ＭｉｃｈｉＧＡＮの背景インペインターモジュール（background inpainter module）は公開されていないので、一実施形態では、ＧａｔｅｄＣｏｎｖ[36]がマスクされた毛髪領域に関連する特徴をインペイントするために用いられる。

【0055】

定量的に、ＬＯＨＯがＭｉｃｈｉＧＡＮを上回り、８．４１９のＦＩＤスコアを達成し、一方、ＭｉｃｈｉＧＡＮは１０．６９７を達成する（表２）。この改善は、ＬＯＨＯ最適化フレームワークが高品質画像を合成できることを示す。ＬＯＨＯ－ＨＦは４：８４７の更に低いスコアを達成し、合成された毛髪および顔領域の優れた品質を証明する。ＦＦＨＱの試験セットから一様にランダムにサンプリングされた５０００個の画像を用いた。なお、シンボル「↓」は、数値が小さいほど良い結果であることを示す。

【表2】

【0056】

図６は、一実施形態による、ＭｉｃｈｉＧＡＮとＬＯＨＯの定性的比較を示す画像アレイ６００である。６つのそれぞれの例を示す６つの行のそれぞれにおいて、第１列（狭い）（６００Ａ）は参照画像を示し、第２列（６００Ｂ）はアイデンティティの人物（identity person）を示し、第３列（６００Ｃ）はＭｉｃｈｉＧＡＮの出力を示し、第２列はＬＯＨＯの出力（より良好な視覚比較のためにズームインされたもの）を示す。第１～２行では、例はＭｉｃｈｉＧＡＮがターゲット毛髪属性を「コピーペースト」する一方で、ＬＯＨＯが属性をブレンドし、それによって、より現実的な画像を合成することを示す。第３～４行では、例は、ＬＯＨＯが整列されていない例をＭｉｃｈｉＧＡＮよりも良く扱うことを示している。第５～６行では、ＬＯＨＯが正しいスタイル情報を移送する例を示す。

【0057】

定性的には、ＬＯＨＯに従う方法が困難な例についてより良好な結果を合成できる。ＬＯＨＯは画像アレイ６００に示されるように、ターゲット毛髪属性をターゲットの顔と自然にブレンドする。ＭｉｃｈｉＧＡＮはターゲットの顔上にターゲットの毛髪を単純にコピーするので、２つの領域間の照明の不一致を引き起こす。ＬＯＨＯは、様々な度合い（degrees）が整列されていないペアを取り扱うが、ＭｉｃｈｉＧＡＮは、潜在空間ではなくピクセル空間内の背景および前景情報をブレンドすることに依存するため、これを行うことができない。最後に、ＬＯＨＯは、ＭｉｃｈｉＧＡＮに匹敵する、関連するスタイル情報を移送する。実際、グラムマトリクスをマッチングすることで二次統計（second order statistics）を最適化するスタイル目的（style objective）が追加されたため、ＬＯＨＯは、図６の下の２列（第５～６列）のように、毛髪の形状に関する元の人物が均一な（uniform）毛髪の色を有する場合であっても、様々な色を有する毛髪を合成する。

【0058】

アイデンティティ再構成の品質。ＬＯＨＯはまた、２つの最近の画像埋め込み手法： Ｉ２Ｓ[1]及びＩ２Ｓ＋＋[2]と比較した。Ｉ２Ｓは、潜在空間Ｗ^＋を最適化することで高品質の画像を再構成できるフレームワークを導入する。Ｉ２Ｓはまた、最適化されたスタイルの潜在コードＷ^＊と平均顔のＷ＾との間で計算された潜在距離が、合成された画像の品質にどのように関連するかを示す。Ｉ２Ｓ＋＋は、Ｉ２Ｓに加えて、高いＰＳＮＲ値およびＳＳＩＭ値を有する画像を再構成するためにノイズ空間Ｎを最適化する。従って、高品質でターゲットのアイデンティティを再構成するＬＯＨＯの能力を評価するために、同様のメトリックが、合成画像の顔領域上で計算される。潜在空間におけるインペインティングは、ＬＯＨＯの結果の不可欠な部分であるので、Ｉ２Ｓ＋＋の５１２ピクセルの解像度の画像のインペインティングに対する性能と比較される。

【0059】

モデル（ＬＯＨＯ）は、ヘアスタイルの移送の困難な作業を行っているにもかかわらず、同等の結果を達成できる（表３）。Ｉ２Ｓは有効な人間の顔の許容可能な潜在距離が［３０：６； ４０：５］にあり、ＬＯＨＯがその範囲内にあることを示す。更に、ＬＯＨＯのＰＳＮＲスコア及びＳＳＩＭスコアはＩ２Ｓ＋＋よりも良好であり、ＬＯＨＯが、ローカル構造情報を満たすアイデンティティを再構成するのを証明する。

【表3】

《属性の編集》

【0060】

実施形態によれば、ＬＯＨＯフレームワーク及び関連する手法は、実環境下でのポートレート画像の属性を編集できる。この設定では、画像が選択された後、参照画像を提供することで属性が個別に編集される。例えば、毛髪の外観及び背景を未編集のまま、毛髪の構造及び形状を変更できる。ＬＯＨＯフレームワーク及び関連する手法は実施形態によれば、重なっていない毛髪領域（non-overlapping hair regions）を計算し、関連する背景の詳細を空間に充填する。最適化プロセスに続いて、合成された画像は、インペイントされた背景画像とブレンドされる。同様のことが、毛髪の外観およびより細かいスタイルを変化させるためにも当てはまる。ＬＯＨＯは毛髪属性を分離し、それらを個別に、かつ、一緒に編集するのを可能にし、それによって、望ましい結果をもたらす。従って、図７は個々の属性編集を表す例の画像アレイ７００を示し、図８は、複数の属性編集を表す例の画像アレイ８００を示す。画像アレイ７００は、第１サブアレイ７００Ａにおける外観およびより細かいスタイルの例（左側の例）と、第２サブアレイ７００Ｂにおける形状の例（右側の例）とを含む。図７における結果は、モデルが互いに干渉することなく個々の毛髪属性を編集できるのを示す。図８において、画像アレイ８００は、実施形態によるＬＯＨＯフレームワーク及び関連する手法が互いに干渉することなく、毛髪属性を一緒に編集できるのを示す結果を表す。
＜限界＞

【0061】

図９Ａ及び９Ｂは、一実施形態による整列されていない例を示す画像アレイ９００及び９０２である。ＬＯＨＯフレームワーク及び関連する手法は実施形態によれば、整列されていない極端な場合に影響されやすい（図９）。本研究では、このような症例は困難と分類される。それらは、フレームワーク及び関連する手法に、不自然な毛髪の形状および構造を合成させる。ＧＡＮベースの整列ネットワーク[38,5]は、困難なサンプルを横断して毛髪の姿勢または整列を伝達するために用いられ得る。

【0062】

図１０Ａ及び１０Ｂは、一実施形態による毛髪の詳細のキャリーオーバーの例を示す画像アレイ１０００及び１００２である。これは、グラフォノミー[11]の毛髪の不完全なセグメンテーションに起因する可能性がある。より洗練されたセグメンテーションネットワーク[37,31]を用いて、この問題を軽減できる。
《現実世界への適用》

【0063】

図１１は一実施形態による、開発コンピューティングデバイス１１０２、ウェブサイトコンピューティングデバイス１１０４、クラウドコンピューティングデバイス１１０５、アプリケーション配信コンピューティングデバイス１１０６、及び、それぞれのエッジコンピューティングデバイス、即ちスマートフォン１１０８及びタブレット１１１０を示すコンピュータネットワーク１１００の図である。コンピューティングデバイスは、通信ネットワーク１１１２を介して結合される。コンピュータネットワーク１１００は簡略化される。例えば、ウェブサイトコンピューティングデバイス１１０４、クラウドコンピューティングデバイス１１０５及びアプリケーション配信コンピューティングデバイス１１０６は、それぞれのウェブサイト、クラウド及びアプリケーション配信システムの例示的なデバイスである。通信ネットワーク１１１２は、プライベートネットワーク及びパブリックネットワークを含み得る複数の有線および／または無線ネットワークを含み得る。

【0064】

この実施形態では、開発コンピューティングデバイス１１０２がネットワークフレームワーク１１１６を構成（訓練を含むことができる）およびテスト等のための１又は複数のデータセットを記憶するデータストア１１１４（データベースを含むことができる）に結合される。一実施形態によれば、ネットワークフレームワーク１１６は、ＧＡＮ生成器を備え、スタイルの移送、特にヘアスタイルの移送を実行するための２段階最適化のために構成される。

【0065】

データストア１１１４は、開発および実装を支援するために、ソフトウェア、他のコンポーネント、ツール等を記憶できる。図示されていない別の実施形態では、データセットが開発コンピューティングデバイス１１０２の記憶デバイスに記憶される。

【0066】

開発コンピューティングデバイス１１０２は、本明細書で説明する実施形態に従ってネットワークフレームワーク１１１６を定義するように構成される。例えば、開発コンピューティングデバイス１１０２は、図２のネットワークフレームワークを構成するように構成される。一実施形態では、開発コンピューティングデバイス１１０２が図２に示されるように、ＳｔｙｌｅＧＡＮｖ２又はその変形等のスタイル移送のために構成された事前訓練されたＧＡＮを組み込むように構成される。

【0067】

一実施形態では、開発コンピューティングデバイス１１０２が、ウェブサイトコンピューティングデバイス１１０４又はウェブサイトコンピューティングデバイス１１０４を介してアクセス可能な１つのサーバコンピュータデバイス上で実行するためのネットワークフレームワーク１１１６を定義する。

【0068】

一実施形態では、開発コンピューティングデバイス１１０２がクラウドコンピューティングデバイス１１０５上で実行するネットワークフレームワーク１１１６を定義する。開発コンピューティングデバイス１１０２（又は図示しない別のもの）はスマートフォン１１０８及びタブレット１１１０等のそれぞれのエッジデバイスへの配信のために、アプリケーション配信コンピューティングデバイス（例えば、１１０６）のためのウェブサイト及び／又はアプリケーション１１２０Ｂのため等、ネットワークフレームワークへのインターフェースをアプリケーション１１２０Ａに組み込む。

【0069】

図１１の本実施形態はネットワークフレームワーク自体を、タブレット、スマートフォン等のエッジデバイス上に記憶し、実行することを示しておらず、そのようなフレームワーク内の最適化プロセスは、かなりの処理リソースを必要とする。そのようなデバイスのための典型的なリソースを有するエッジデバイス上での実行は、単一のスタイル移送のために（比較的）長い時間（約１０～２０分）を要する。家庭用ＰＣ、ゲーム機または他の一般的に消費者向けのデバイス上でフレームワークを実行することも、同様のランタイムで可能である。しかし、ランタイムは、現在、対話的であると認識されるには十分ではないので（それでも）、図１１はネットワークフレームワーク１１１６がリモートサーバ（例えば、ウェブサイト又はクラウドデバイス）によって提供される、より実用的な使用事例を示す。このパラダイムでは、アイデンティティ及びスタイル属性画像がサーバに提出され、ユーザは応答（例えば、アイデンティティ及び移送されたスタイルを組み込んだ合成画像）を待つ。

【0070】

一実施形態では、アプリケーション配信コンピューティングデバイス１１０６がアプリケーションストアサービス（電子商取引サービスの一例）を提供して、サポートされるオペレーティングシステム（ＯＳ）を実行するターゲットデバイス上で実行するためのアプリケーションを配信する。コンピューティングデバイスによるアプリケーション配信サービスの例としては、iOS（登録商標）又はiPADOS（登録商標）（いずれもApple Inc.Cupertino CAの商標）を実行しているiPhone（登録商標）又はiPAD（登録商標）デバイスのためのAppleのApp Store（登録商標）がある。適用可能なコンピューティングデバイスを介した別の例示的なサービスは、Android（登録商標）ＯＳ（Google LLC, Mountain View, CAの商標）を実行する様々なソースからのスマートフォン及びタブレットデバイスのためのGoogle Play（登録商標）（Google LLC, Mountain View, CAの商標）がある。この実施形態では、スマートフォン１１０８がウェブサイトコンピューティングデバイス１１０４からアプリケーション１１２０Ａを受信し、タブレット１１１０がアプリケーション配信コンピューティングデバイス１１０６からアプリケーション１１２０Ｂを受信する。

【0071】

ウェブサイト及びアプリケーション配信例の両方の現在のパラダイムでは、ネットワークフレームワーク１１１６がエッジデバイスに通信されない。エッジデバイスは、エッジデバイスに代わって実行されるネットワークフレームワーク１１１６へのアクセスを（それぞれのアプリケーションインターフェースを介して）与える。例えば、ウェブサイトコンピューティングデバイスはアプリケーション１１２０Ａのためのネットワークフレームワーク１１１６を実行し、クラウドコンピューティングデバイスは、アプリケーション１１２０Ｂのために実行する。アプリケーション１１２０Ａ及び１１２０Ｂは、それぞれの実施形態において、ヘアスタイルの試着（エフェクトシミュレーションアプリケーション）のために構成され、仮想および／または拡張現実体験（virtual and/or augmented reality experience）を提供する。動作は、本明細書において以下で更に説明される。

【0072】

図１２は、代表的なコンピューティングデバイス１２００のブロック図である。図１１のコンピューティングデバイスは同様に、それらのそれぞれの必要性および機能に従って構成される。コンピューティングデバイス１２００は処理ユニット１２０２（例えば、１又は複数のプロセッサ、例えば、ＣＰＵ及び／若しくはＧＰＵ、又は、他のプロセッサ等、一実施形態では少なくとも１つのプロセッサを備える）、コンピュータ可読命令（およびデータ）を記憶する記憶デバイス１２０４（一実施形態では、少なくとも１つの記憶デバイスであり、メモリを備えることができる）を備え、コンピュータ可読命令（およびデータ）は処理ユニット（例えば、プロセッサ）によって実行されると、例えば、コンピューティングデバイスに方法を実行させる。記憶デバイス８０４はメモリデバイス（例えば、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ等）、ソリッドステートドライブ（例えば、フラッシュメモリを定義できる半導体記憶デバイス／ＩＣを備える）、ハードディスクドライブ又は他の種類のドライブ及びテープ、ディスク（例えば、ＣＤ－ＲＯＭ等）等の記憶媒体のうちのいずれかを含むことができ、追加の構成要素は、有線または無線手段を介してデバイスを通信ネットワークに結合するための通信ユニット１２０６、入力デバイス１２０８、表示デバイス１２１２を備えることができる出力デバイス１２１０を含む。いくつかの例では、表示デバイスが入力／出力デバイスを提供するタッチスクリーンデバイスである。コンピューティングデバイス１２００の構成要素は、追加のデバイスに結合するための外部ポートを有し得る内部通信システム１２１４を介して結合される。

【0073】

いくつかの例では、出力デバイスがスピーカ、ベル、ライト、オーディオ出力ジャック、指紋リーダ等を備える。いくつかの例では、入力デバイスがキーボード、ボタン、マイクロフォン、カメラ、マウス又はポインティングデバイス等を備える。他のデバイス（図示せず）は位置決定デバイス（例えば、ＧＰＳ）を備え得る。

【0074】

記憶デバイスは、一例ではオペレーティングシステム１２１６、ユーザアプリケーション１２１８（アプリケーション１１２０Ａ又は１１２０Ｂのうちの１つであり得る）、ウェブサイトをブラウズし、アプリケーション１１２０Ａ等の実行可能体（executables）を実行して、ウェブサイトから受信されたＧＡＮ生成器１１１６にアクセスするためのブラウザ１２２０（ユーザアプリケーションのタイプ）、並びに、カメラからの画像および／もしくはビデオフレーム、又は、他の手法で受信されたデータを記憶するデータ８２２を備え得る。

【0075】

図１１において、通信される（データ）項目（後述）は、コンピューティングデバイスと通信ネットワークとの間のそれぞれの通信接続に隣接して示される。特定のコンピューティングデバイスに隣接して位置付けられたアイテムは、そのデバイスによって受信され、通信ネットワークにより近くに位置付けられたアイテムは本明細書で以下に説明するように、それぞれのコンピューティングデバイスから別のデバイスに通信される。

【0076】

引き続き図１１を参照すると、一例では、スマートフォン１１０８のユーザがブラウザを用いてウェブサイトコンピューティングデバイス１１０４によって提供されるウェブサイトを訪問する。スマートフォン１１０８はネットワークフレームワーク１１１６へのアクセスを提供するアプリケーション１１２０Ａ（例えば、ウェブページ及び関連するコード及び／又はデータ）を受信する。この例では、アプリケーションが仮想および／または拡張現実体験を提供するアプリケーション上のヘアスタイルの試着等のエフェクトシミュレーションアプリケーションである。ユーザはカメラを用いて静止画像またはビデオ画像（例えば、自撮り画像）を取得し、このソース画像は、画像Ｉ_１ １１２２としてネットワークフレームワーク１１１６で処理するためのアプリケーションによって通信される。（ビデオとして提供される場合、単一の画像（例えば、静止画像）がそこから抽出され得る）。

【0077】

ユーザは、アプリケーション１１２０Ａによってもたらされるグラフィカルユーザインターフェース等を介して記憶１１２４からの参照画像（例えば、画像Ｉ_２及びＩ_３）であって、試着すべきｉ）毛髪の形状および構造（画像Ｉ_２）、ｉｉ）毛髪の外観（画像Ｉ_３）及び（ｉｉｉ）毛髪のより細かいスタイル（画像Ｉ_３）を表す参照画像を選択する。ｉ）、ｉｉ）及びｉｉｉ）のそれぞれは、それぞれのヘアスタイル属性を含む。

【0078】

ヘアスタイルの試着のエフェクト（属性の特徴）は、画像Ｉ_１ １１２２に表されるアイデンティティを維持しながら、ネットワークフレームワーク１１１６を用いて、生成され及び／又は、結果として得られる画像（Ｉ_Ｇ）１２２６に移送される。得られた画像１２２６（Ｉ_Ｇ）は、スマートフォン１１０８に返送され、その表示デバイスを介して表示される。一実施形態では、Ｉ_ＧがＩ_１との対比のためにグラフィカルユーザインターフェースに表示される。一実施形態では、Ｉ_ＧがＩ_１、Ｉ_２及びＩ_３の全てとの対比のために、グラフィカルユーザインターフェースに表示される。

【0079】

一実施形態では、結果として得られる画像１２２６が記憶デバイスに記憶される。一実施形態では、結果として得られる画像１２２６がソーシャルメディア、テキストメッセージ、電子メール等のいずれかを介して共有（通信）される。

【0080】

一実施形態では、ウェブサイトコンピューティングデバイス１１０４がサービス（例えば、電子商取引サービス）が可能であり、アプリケーション１１２０Ａを介して仮想的に試着された参照画像に関連付けられた１若しくは複数の製品等のヘア製品またはヘアスタイル製品の購入を容易にする。一実施形態では、ウェブサイトコンピューティングデバイス１１０４がヘア製品またはヘアスタイル製品を推奨するための推奨サービスを提供する。一実施形態では、ウェブサイトコンピューティングデバイス１１０４がサービス（例えば、ヘア又はヘアスタイリングサービス）を推奨するための推奨サービスを提供する。ヘア又はヘアスタイル製品は、シャンプー、コンディショナー、オイル、血清（serum）、ビタミン、ミネラル、酵素および他のヘア又は頭皮トリートメント製品；カラーリング剤；スプレー、ジェル、ワックス、ムース及び毛髪への適用のための他のスタイリング製品；コーム、ブラシ、ヘアドライヤー、カーリングワンド（curling wands）、ストレートワンド（straightening wands）、フラットアイロン（flat irons）、ハサミ、カミソリ、ローラー、マッサージツール等のヘア又は頭皮ツール又は器具；並びに、クリップ、ヘアタイ、スクランシー、バンド等を含むアクセサリーを含むことができる。ヘア又はヘアスタイルサービスは、カッティング、カラーリング、スタイリング、ストレートニング（straightening）又は他の毛髪および頭皮トリートメント、脱毛、毛髪交換／かつらサービス、並びにそれらのための相談（consultations）を含むことができる。

【0081】

一実施形態では、アプリケーション１１２０Ａが画像Ｉ_１ １１２２を含み得るヘアスタイル、ライフスタイル及び／又はユーザデータを得るために、会話方式でユーザに関与するためのインターフェースを提供する。一実施形態では、データが分析され、推奨が生成される。推奨は、記憶１１２４からの参照画像の選択を含むことができる。参照画像のペア（例えば、特定の推奨Ｉ_３を有する特定の推奨Ｉ_２）が、全推奨ヘアスタイルのために提示されても良い。場合によっては、推奨される画像Ｉ_２及びＩ_３が、推奨される毛髪のスタイルおよび構成と毛髪の外観およびより細かいスタイルとの両方を示す単一の画像のように、同じ画像である場合もある。

【0082】

一実施形態では、アプリケーション１１２０Ａがユーザ提供の参照画像Ｉ_２及びＩ_３を受信するためのインターフェースを提供する。例えば、ユーザはヘアスタイルの例をスマートフォン１１０８に配置（又はカメラを介して生成）し、記憶できる。ユーザは結果画像１１２６に表されるヘアスタイルの試着を生成するのに用いるために、参照画像（まとめて１１２８）をウェブサイト１１０４にアップロードできる。

【0083】

引き続き図１１を参照すると、一例では、タブレット１１１０のユーザがブラウザを用いてアプリケーション配信コンピューティングデバイス１１０６によって提供されるウェブサイトを訪問する。タブレット１１１０は、ネットワークフレームワーク１１１６へのアクセスを提供するアプリケーション１１２０Ｂを受信する。アプリケーション１１２０Ｂは、一例ではアプリケーション１１２０Ａと同様に構成される。ユーザはカメラを用いて静止画像またはビデオ画像（１１３０）（例えば、自撮り画像）を取得し、この画像は、画像Ｉ_１として用いられ、クラウドコンピューティングデバイス１１０５におけるＧＡＮ生成器による処理のために通信される。本実施形態では、タブレット１１１０のユーザが画像Ｉ_２及びＩ_３（まとめて１１３２）もアップロードする。画像１１３２は、アプリケーション１１２０Ｂによって推奨されるか、ユーザによって配置され得る。結果として得られる画像１１３４は、タブレット１１１０の表示デバイスを介して通信され、表示され、記憶デバイスに記憶され、ソーシャルメディア、テキストメッセージ、電子メール等を介して共有（通信）され得る。

【0084】

アプリケーション１１２０Ｂは、一実施形態ではヘアスタイルに関連付けられ得る製品および／またはサービスの推奨および／または購入促進のためのサービスへの１又は複数のインターフェースをタブレット１１１０に提供するように構成される。

【0085】

一例では、アプリケーション１１２０Ｂがフォトギャラリーアプリケーションである。ヘアスタイルエフェクトは、フレームワーク１１１６を用いて参加者のカメラからのユーザ画像（画像Ｉ_１の例）等に適用される。アプリケーション１１２０Ｂは、ユーザが画像Ｉ_２及びＩ_３の選択を容易できる。例えば、フォトギャラリーアプリケーションに関連するデータストア（例えば、タブレット１１１０の記憶デバイス）から又はインターネット若しくは他のデータストア（例えば、推奨サービスを介した）から。

【0086】

従って、一実施形態では、ネットワークフレームワーク１１１６がヘアスタイルの移送を実行して、第１画像からのアイデンティティと、第２画像からの第１ヘアスタイル属性と、第３画像からの少なくとも１つの第２ヘアスタイル属性とを含む合成画像を生成するように構成される。ネットワークフレームワーク１１１６は、編集可能なヘアスタイルの移送、ａ）毛髪の形状および構造の解きほぐし特徴、並びに、ｂ）毛髪の外観およびより細かいスタイルを提供するように構成され、それによって、移送する毛髪属性の選択を可能にする。一実施形態では、ネットワークフレームワークが２段階最適化を用いて、スタイル属性を互いから解きほぐすための移送を実行する。実施形態ではネットワークフレームワークが合成画像（Ｉ_Ｇ）を生成し、最適化の第１段階では第１画像（Ｉ_１）の顔からのアイデンティティをＩ_Ｇの顔領域に、第２画像（Ｉ_２）の毛髪領域からの毛髪の形状および構造属性をＩ_Ｇの毛髪領域にそれぞれ再構成する。更に第２段階では、ネットワークフレームワークが、第３画像（Ｉ_３）の毛髪領域からの毛髪の外観属性およびより細かいスタイル属性のそれぞれを、第１段階で再構成されたＩ_Ｇの毛髪領域に移送する。一実施形態では、インペインティングはＩ_１の背景から等、背景領域を充填する。

【0087】

一実施形態では、ネットワークフレームワークがＩ_２で表される少なくとも１つのスタイル属性と、Ｉ_３で表される少なくとも１つのスタイル属性とを解きほぐすために、２段階最適化において勾配直交化を実行するように構成される。

【0088】

一実施形態では移送されるスタイルがヘアスタイルである場合、Ｉ_２で表される少なくとも１つのスタイル属性は毛髪の形状および構造属性であり、Ｉ_３で表される少なくとも１つのスタイル属性はｉ）外観属性およびｉｉ）より細かいスタイル属性である。

【0089】

一実施形態では、２段階最適化が、アイデンティティ再構成損失（Ｌ_ｆ）、毛髪の形状および構造再構成損失（Ｌ_ｒ）、外観損失（Ｌ_ａ）、並びに、より細かいスタイル損失（Ｌ_ｓ）を含む損失を最適化する。一実施形態ではＬ_ｆ及びＬ_ｒが、Ｌ_Ａ及びＬ_ｓを最適化することなく第１段階で最適化され、Ｌ_ｆ、Ｌ_ｒ、Ｌ_ａ及びＬ_ｓが第２段階で最適化され、Ｌ_ｒがＩ_２の外観およびより細かいスタイル属性とＩ_３のそれらの属性との間の競合を回避するために勾配直交化を介して最適化される。

【0090】

本明細書の実施形態は主にヘアスタイルの移送を参照して説明されるが、複数のスタイル属性について、他のスタイルの移送が実行されても良い。一実施形態によれば、人工知能（ＡＩ）を用いてスタイル移送を実行する方法が提供され、スタイルは複数のスタイル属性を含む。本方法は、第１画像（Ｉ_１）、第２画像（Ｉ_２）及び第３画像（Ｉ_３）を含む複数の画像を、生成的敵対ネットワーク（ＧＡＮ）生成器と、第１画像（Ｉ_１）で表されるアイデンティティ、第２画像（Ｉ_２）で表される少なくとも１つのスタイル属性から決定されるスタイル及び第３画像（Ｉ_３）で表される少なくとも１つのスタイル属性とを含む合成画像（Ｉ_Ｇ）を生成するための２段階最適化とを備えるＡＩネットワークフレームワークを用いて処理することを含む。この方式では、ネットワークフレームワークがＩ_２で表される少なくとも１つのスタイル属性とＩ_３で表される少なくとも１つのスタイル属性とを解きながら、スタイル移送を実行するためにＧＡＮの潜在空間を最適化するように構成される。一実施形態ではＩ_Ｇがアイデンティティ領域、スタイル領域および背景領域とを備え、潜在空間を最適化する目的関数に従って第１段階においてネットワークフレームワークが、Ｉ_１で表されるアイデンティティをＩ_Ｇのアイデンティティ領域に再構成し、Ｉ_２で表される少なくとも１つのスタイル属性をＩ_Ｇのスタイル領域に再構成するように構成される。一実施形態では目的機能による第２段階においてネットワークフレームワークは、Ｉ_３で表される少なくとも１つのスタイル属性のそれぞれをＩ_Ｇのスタイル領域にそれぞれ移送するように構成される。

【0091】

ヘアスタイルの移送等の実施形態では、Ｉ_１のアイデンティティがＩ_１、Ｉ_２及びＩ_３との間で一意（unique）であるとき、完全なヘアスタイルの移送が可能になる。ヘアスタイルの移送等の実施形態では、Ｉ_２の毛髪の形状および構造がＩ_１、Ｉ_２及びＩ_３との間で一意であるとき、少なくとも形状および構造に関連するヘアスタイルの移送が可能になる。ヘアスタイルの移送等の実施形態では、Ｉ_３の毛髪の外観がＩ_１、Ｉ_２及びＩ_３との間で一意であるとき、少なくとも外観に関連するヘアスタイルの移送が可能になる。ヘアスタイルの移送等の実施形態では、Ｉ_３のより細かいスタイルがＩ_１、Ｉ_２及びＩ_３との間で一意であるとき、少なくとも毛髪のより細かい細部に関連するヘアスタイルの移送が可能になる。

【0092】

一実施形態では、該方法がセグメンテーションネットワークを用いてＩ_Ｇ、Ｉ_１、Ｉ_２及びＩ_３をそれぞれ処理し、それぞれの画像についてそれぞれの毛髪（スタイル）マスク及び顔（アイデンティティ）マスクを定義し、そのようなマスクのうちの選択された１つを用いて、スタイルを移送するためのそれぞれのターゲットマスクを定義することを含む。

【0093】

一実施形態によると、ＧＡＮ生成器は最初に、スタイル移送を受信するための平均画像（mean image）としてＩ_Ｇを生成する。

【0094】

一実施形態では、アイデンティティが事前訓練されたニューラルネットワーク符号器を用いてＩ_１を処理することで抽出された高レベル特徴を用いて再構成される。ヘアスタイルの移送における一実施形態では、毛髪の形状および構造が事前訓練されたニューラルネットワーク符号器を用いてＩ_２を処理することで生成された後のブロックからの特徴を用いて再構成される。ヘアスタイルの移送における一実施形態では、Ｉ_２の毛髪領域が合成された毛髪のターゲットの配置にソフトな制約を課す侵食された毛髪領域である。ヘアスタイルの移送における一実施形態では毛髪の外観が事前訓練されたニューラルネットワーク符号器を用いてＩ_３を処理することで、第１ブロックで抽出された特徴から決定された全体的な外観を用いて移送され、全体的な外観は空間情報に関係なく決定される。ヘアスタイルの移送における一実施形態では、ヘアスタイルより細かいスタイルが事前訓練されたニューラルネットワーク符号器を用いてＩ_３を処理することで抽出された高レベル特徴マップに従って移送される。

【0095】

ヘアスタイルの移送における一実施形態では毛髪の外観は色を含み、より細かいスタイルは束のスタイルのいずれかと、毛髪ストランド間のシェーディング変化とを含むより細かい詳細を含む。

【0096】

一実施形態では、方法がスタイル移送に関連する製品および／またはサービスを購入するための（電子商取引）サービスへのインターフェースを提供することを含む。

【0097】

一実施形態では、Ｉ_ＧがＩ_１との対比のためにグラフィカルユーザインターフェース内に表示するために提供される。

【0098】

一実施形態では、方法がスタイル移送に関連する製品および／またはサービスを推奨するように構成されたサービスにインターフェースを提供することを含む。

【0099】

ヘアスタイルの移送における一実施形態では、方法がＩ_１を受信するためのインターフェースを提供することと、毛髪の形状および構造ならびに毛髪外観およびより細かいスタイルを含むヘアスタイルのようなそれぞれのスタイル属性を示す参照画像の記憶（store）を提供することと、参照画像のうちの１つからのＩ_２を定義するための入力を受信するための選択インターフェースを提供することと、参照画像のうちの１つからＩ_３を定義するための入力を受信するための選択インターフェースを提供することとを含む。一実施形態において（例えば、ヘアスタイルの移送において）、参照画像の記憶以外からＩ_２及びＩ_３の一方または両方を受信するためのインターフェースを提供することを含む。

【0100】

一実施形態では、アイデンティティ画像（例えば、Ｉ_１）に対して仮想的なヘアスタイルの試着を実行するためのネットワークフレームワークと、アイデンティティ上のヘアスタイルをシミュレートするための異なるヘアスタイル属性を表す複数の参照画像（例えば、Ｉ_２及びＩ_３）とを提供するように構成され、アイデンティティ及びヘアスタイルを仮想的なヘアスタイルの試着を表す合成画像（例えば、Ｉ_Ｇ）に組み込むときに、異なるヘアスタイル属性を解きほぐして現実的な合成された毛髪を提供する最適化を実行するように構成されたネットワークフレームワークと、提示のために合成画像を提供するように構成されたネットワークフレームワークとを備えるコンピュータ装置が提供される。一実施形態では、回路がヘア若しくはヘアスタイルの製品、サービス又はその両方を購入するためのインターフェースと、そのような製品、サービス又はその両方のための推奨を生成するためのインターフェースとを提供するように構成される。
＜結論＞

【0101】

実施形態によれば、ポートレート画像に対してヘアスタイルの移送を実行する最適化フレームワークであるＬＯＨＯの導入は、事前訓練されたＧＡＮを用いた空間依存の属性操作の方向におけるステップをとる。顔合成のようなより一般的なタスクで訓練された表現モデルの潜在空間を操作することにより、ヘアスタイルの移送のような特定の合成タスクに近づくアルゴリズムを開発することは、大きな訓練データセットを収集することなく多くの下流タスクを完了するのに有効であることを示した。ＧＡＮ反転アプローチは、大きな訓練データセットへのアクセスを有するフィードフォワードＧＡＮパイプラインよりも、現実的な穴の充填等の問題をより効果的に解決できる。

【0102】

実用的な実装は、本明細書に記載される特徴のいずれか又は全てを含むことができる。これら及び他の態様、特徴及び様々な組合せは、機能を実行するための方法、機器、系、手段及び本明細書で説明する特徴を組み合わせる他の方法として表され得る。いくつかの実施形態について説明した。それにもかかわらず、本明細書に記載されるプロセスおよび技法の趣旨および範囲から逸脱することなく、様々な修正がなされ得ることが理解されよう。加えて、他のステップを提供でき又はステップを記載されたプロセスから排除でき、他の構成要素を記載されたシステムに追加するか又はそこから除去できる。従って、他の態様は特許請求の範囲の範囲内にある。

【0103】

本明細書の説明および特許請求の範囲を通して、単語「含む（comprise）」及び「含む（contain）」及びそれらの変形は「含むが、限定されない（including but not limited to）」を意味し、他の構成要素、整数又はステップを排除することを意図しない（。本明細書全体を通して、単数形は文脈が他のことを必要としない限り、複数形を包含する。特に、不定冠詞が用いられる場合は本明細書がその状況が他のことを要求していない限り、単数だけでなく複数も意図していると理解されたい。

【0104】

本発明の特定の態様、実施形態又は実施例に関連して説明される特徴、整数、特性又は群はそれらと互換性がない場合を除き、任意の他の態様、実施形態又は実施例に適用可能であると理解されるべきである。本明細書に開示される特徴の全て（任意の添付の特許請求の範囲、要約及び図面を含む）及び／又はそのように開示される任意の方法またはプロセスのステップの全ては、そのような特徴及び／又はステップの少なくともいくつかが相互に排他的である組合せを除いて、任意の組合せで組み合わせることができる。本発明は、前述の任意の例または実施形態の詳細に限定されない。本発明は、本明細書（添付の特許請求の範囲、要約および図面を含む）に開示される特徴の任意の新規な１又は任意の新規な組み合わせ又は開示される任意の方法またはプロセスのステップの任意の新規な１又は任意の新規な組み合わせに及ぶ。

参考文献－その全体が参照により本明細書に組み込まれる。
[1]Rameen Abdal, Yipeng Qin, and Peter Wonka. Image2stylegan:How to embed images into the stylegan latent space? In 2019 IEEE/CVF International Conference on Computer Vision (ICCV), 2019.

[2]R. Abdal, Y. Qin, and P. Wonka. Image2stylegan++: How to edit the embedded images? In 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 8293-8302, 2020.

[3]Andrew Brock, Jeff Donahue, and Karen Simonyan. Large scale GAN training for high fidelity natural image synthesis. In International Conference on Learning Representations, 2019.

[4]Adrian Bulat and Georgios Tzimiropoulos. How far are we from solving the 2d & 3d face alignment problem? (and a dataset of 230,000 3d facial landmarks). In International Conference on Computer Vision, 2017.

[5]Egor Burkov, Igor Pasechnik, Artur Grigorev, and Victor Lempitsky. Neural head reenactment with latent pose descriptors. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020.

[6]Menglei Chai, Linjie Luo, Kalyan Sunkavalli, Nathan Carr, Sunil Hadap, and Kun Zhou. High-quality hair modeling from a single portrait photo. ACM Transactions on Graphics, 34:1-10, 10 2015.

[7]Menglei Chai, Lvdi Wang, Yanlin Weng, Xiaogang Jin, and Kun Zhou. Dynamic hair manipulation in images and videos. ACM Transactions on Graphics (TOG), 32, 07 2013.

[8]Menglei Chai, Lvdi Wang, Yanlin Weng, Yizhou Yu, Baining Guo, and Kun Zhou. Single-view hair modeling for portrait manipulation. ACM Transactions on Graphics, 31, 07 2012.

[9]Caroline Chan, Shiry Ginosar, Tinghui Zhou, and Alexei A Efros. Everybody dance now. In IEEE International Conference on Computer Vision (ICCV), 2019.

[10]L. A. Gatys, A. S. Ecker, and M. Bethge. Image style transfer using convolutional neural networks. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 2414-2423, 2016.

[11]Ke Gong, Yiming Gao, Xiaodan Liang, Xiaohui Shen, Meng Wang, and Liang Lin. Graphonomy: Universal human parsing via graph transfer learning. In CVPR, 2019.

[12]Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative adversarial nets. In Proceedings of the 27th International Conference on Neural Information Processing Systems - Volume 2, NIPS'14, page 2672-2680, 2014.

[13]Shanyan Guan, Ying Tai, Bingbing Ni, Feida Zhu, Feiyue Huang, and Xiaokang Yang. Collaborative learning for faster stylegan embedding, 2020.

[14]Martin Heusel, Hubert Ramsauer, Thomas Unterthiner, Bernhard Nessler, and Sepp Hochreiter. Gans trained by a two time-scale update rule converge to a local nash equilibrium. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, volume 30, pages 6626-6637. Curran Associates, Inc., 2017.

[15]P. Isola, J. Zhu, T. Zhou, and A. A. Efros. Image-to-image translation with conditional adversarial networks. In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 5967-5976, 2017.

[16]Youngjoo Jo and Jongyoul Park. Sc-fegan: Face editing generative adversarial network with user's sketch and color. In The IEEE International Conference on Computer Vision (ICCV), October 2019.

[17]Justin Johnson, Alexandre Alahi, and Li Fei-Fei. Perceptual losses for real-time style transfer and super-resolution. In European Conference on Computer Vision, 2016.

[18]Tero Karras, Timo Aila, Samuli Laine, and Jaakko Lehtinen. Progressive growing of gans for improved quality, stability, and variation. In International Conference on Learning Representations,
2017.

[19]T. Karras, S. Laine, and T. Aila. A style-based generator architecture for generative adversarial networks. In 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019.

[20]Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, and Timo Aila. Analyzing and improving the image quality of StyleGAN. In Proc. CVPR, 2020.

[21]Vladimir Kim, Ersin Yumer, and Hao Li. Real-time hair rendering using sequential adversarial networks. In European Conference on Computer Vision, 2018.

[22]Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In International Conference on Learning Representations, 2015.

[23]Cheng-Han Lee, Ziwei Liu, Lingyun Wu, and Ping Luo. Maskgan: Towards diverse and interactive facial image manipulation. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020.

[24]J. Li, X. Liang, Y. Wei, T. Xu, J. Feng, and S. Yan. Perceptual generative adversarial networks for small object detection. In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 1951-1959, 2017.

[25]T. Park, M. Liu, T. Wang, and J. Zhu. Semantic image synthesis with spatially-adaptive normalization. In 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 2332-2341, 2019.

[26]Stanislav Pidhorskyi, Donald A Adjeroh, and Gianfranco Doretto. Adversarial latent autoencoders. In Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2020. [to appear]

[27]Elad Richardson, Yuval Alaluf, Or Patashnik, Yotam Nitzan, Yaniv Azar, Stav Shapiro, and Daniel Cohen-Or. Encoding in style: a stylegan encoder for image-to-image translation. arXiv preprint arXiv:2008.00951, 2020.

[28]Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. In International Conference on Learning Representations, 2015.

[29]C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, and Z. Wojna. Rethinking the inception architecture for computer vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 2818-2826, 2016.

[30]Zhentao Tan, Menglei Chai, Dongdong Chen, Jing Liao, Qi Chu, Lu Yuan, Sergey Tulyakov, and Nenghai Yu. Michigan: Multi-input-conditioned hair image generation for portrait editing. ACM Transactions on Graphics (TOG), 39(4):1-13, 2020.

[31]A. Tao, K. Sapra, and Bryan Catanzaro. Hierarchical multi-scale attention for semantic segmentation. ArXiv, abs/2005.10821, 2020.

[32]T. Wang, M. Liu, J. Zhu, A. Tao, J. Kautz, and B. Catanzaro. High-resolution image synthesis and semantic manipulation with conditional gans. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8798-8807, 2018.

[33]Ting-Chun Wang, Ming-Yu Liu, Andrew Tao, Guilin Liu, Jan Kautz, and Bryan Catanzaro. Few-shot video-to-video synthesis. In Advances in Neural Information Processing Systems (NeurIPS), 2019.

[34]Ting-Chun Wang, Ming-Yu Liu, Jun-Yan Zhu, Guilin Liu, Andrew Tao, Jan Kautz, and Bryan Catanzaro. Video-to-video synthesis. In Conference on Neural Information Processing Systems (NeurIPS), 2018.

[35]Yanlin Weng, Lvdi Wang, Xiao Li, Menglei Chai, and Kun Zhou. Hair interpolation for portrait morphing. Computer Graphics Forum, 32, 10 2013.

[36]J. Yu, Z. Lin, J. Yang, X. Shen, X. Lu, and T. Huang. Freeform image inpainting with gated convolution. In 2019 IEEE/CVF International Conference on Computer Vision
(ICCV), pages 4470-4479, 2019.

[37]Yuhui Yuan, Xilin Chen, and Jingdong Wang. Object-contextual representations for semantic segmentation. In Computer Vision - ECCV 2020, pages 173-190, 2020.

[38]E. Zakharov, A. Shysheya, E. Burkov, and V. Lempitsky. Few-shot adversarial learning of realistic neural talking head models. In 2019 IEEE/CVF International Conference on Computer Vision (ICCV), pages 9458-9467, 2019.

[39]Richard Zhang, Phillip Isola, Alexei A Efros, Eli Shechtman, and Oliver Wang. The unreasonable effectiveness of deep features as a perceptual metric. In CVPR, 2018.

[40]J. Zhu, T. Park, P. Isola, and A. A. Efros. Unpaired image-to-image translation using cycle-consistent adversarial networks. In 2017 IEEE International Conference on Computer Vision (ICCV), pages 2242-2251, 2017.

[41]Jiapeng Zhu, Yujun Shen, Deli Zhao, and Bolei Zhou. In-domain gan inversion for real image editing. In Proceedings of European Conference on Computer Vision (ECCV), 2020.

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【手続補正書】

【提出日】2023-11-15

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

人工知能（ＡＩ）を用いてスタイルの移送を実行する方法であって、
前記スタイルは複数のスタイル属性を含み、
第１画像（Ｉ_１）、第２画像（Ｉ_２）及び第３画像（Ｉ_３）を含む複数の画像を、生成的敵対ネットワーク（ＧＡＮ）生成器と、前記第１画像（Ｉ_１）で表されるアイデンティティ、前記第２画像（Ｉ_２）で表される少なくとも１つのスタイル属性から決定されるスタイル及び前記第３画像（Ｉ_３）で表される少なくとも１つのスタイル属性を含む合成画像（Ｉ_Ｇ）を生成するための２段階最適化とを備えるＡＩネットワークフレームワークを用いて処理し、
前記ネットワークフレームワークは、Ｉ_２で表される少なくとも１つの前記スタイル属性およびＩ_３で表される少なくとも１つの前記スタイル属性を解きほぐしながら、前記スタイルの移送を実行するために前記ＧＡＮのモデルの潜在空間を最適化するように構成されることを特徴とする方法。

【請求項2】

Ｉ_Ｇは、アイデンティティ領域、スタイル領域および背景領域を含み、
前記潜在空間を最適化するための目的関数に従った第１段階において前記ネットワークフレームワークは、
Ｉ_１で表される前記アイデンティティをＩ_Ｇの前記アイデンティティ領域に再構成し、
Ｉ_２で表される少なくとも１つの前記スタイル属性をＩ_Ｇの前記スタイル領域に再構成するものであることを特徴とする請求項１記載の方法。

【請求項3】

前記目的関数による第２段階において前記ネットワークフレームワークは、Ｉ_３で表される少なくとも１つの前記スタイル属性のそれぞれをＩ_Ｇの前記スタイル領域に移送することを特徴とする請求項２記載の方法。

【請求項4】

前記ネットワークフレームワークが、Ｉ_２で表される少なくとも１つの前記スタイル属性と、Ｉ_３で表される少なくとも１つの前記スタイル属性とを解きほぐすために、前記２段階最適化において勾配直交化を実行するように構成されることを特徴とする請求項１から３のいずれかに記載の方法。

【請求項5】

前記スタイルはヘアスタイルであり、
Ｉ_２で表される少なくとも１つの前記スタイル属性は毛髪の形状および構造属性であり、
Ｉ_３で表される少なくとも１つの前記スタイル属性はｉ）外観属性およびｉｉ）より細かいスタイル属性であることを特徴とする請求項１から４のいずれかに記載の方法。

【請求項6】

前記ネットワークフレームワークが、編集可能なヘアスタイルの移送、ａ）毛髪の形状および構造の解きほぐし特徴、並びに、ｂ）毛髪の外観およびより細かいスタイルを提供するように構成され、それによって、移送する毛髪属性の選択を可能にすることを特徴とする請求項１記載の方法。

【請求項7】

Ｉ_１の前記アイデンティティは、Ｉ_１、Ｉ_２及びＩ_３との間で一意であり、それによって、完全なヘアスタイル移送を実行し、
Ｉ_２の前記毛髪の形状および構造は、Ｉ_１、Ｉ_２及びＩ_３との間で一意であり、それによって、少なくとも形状および構造に関連するヘアスタイルの移送を実行し、
Ｉ_３の前記毛髪の外観は、Ｉ_１、Ｉ_２及びＩ_３との間で一意であり、それによって、少なくとも外観に関連するヘアスタイルの移送を実行し、
Ｉ_３の前記毛髪のより細かいスタイルは、Ｉ_１、Ｉ_２とＩ_３ との間で一意であり、それによって、少なくとも毛髪のより細かい細部に関連するヘアスタイルの移送を実行することを特徴とする請求項６記載の方法。

【請求項8】

Ｉ_Ｇ、Ｉ_１、Ｉ_２及びＩ_３はそれぞれ、セグメンテーションネットワークを用いて、それぞれの画像についてそれぞれの毛髪（スタイル）マスク及び顔（アイデンティティ）マスクを定義し、そのようなマスクのうちの選択された１つを用いて、スタイルを移送するためのそれぞれのターゲットマスクを定義することを特徴とする請求項１記載の方法。

【請求項9】

前記ＧＡＮ生成器は、前記スタイルの移送を受信するための平均画像としてＩ_Ｇを最初に生成し、
前記アイデンティティが、事前訓練されたニューラルネットワーク符号器を用いてＩ_１を処理することで抽出された高レベル特徴を用いて再構成され、
ヘアスタイル移送において、事前訓練された前記ニューラルネットワーク符号器を用いてＩ_２を処理することで生成された後のブロックからの特徴を用いて、毛髪の形状および構造が再構成されることを特徴とする請求項１記載の方法。

【請求項10】

ヘアスタイルの移送において、毛髪の外観が色を含み、より細かいスタイルが束のスタイル及び毛髪ストランド間のシェーディング変化のいずれかを含むより細かい詳細を含むことを特徴とする請求項１記載の方法。

【請求項11】

ヘア製品もしくはヘアスタイル製品、ヘアサービス若しくはヘアスタイリングサービス又はこれらの両方を購入するための電子商取引サービスへのインターフェースを提供すること、又は、前記ヘア製品または前記ヘアスタイル製品、前記ヘアサービス若しくは前記ヘアスタイリングサービス又はこれらの両方を推奨するように構成されたインターフェースとのいずれかを含むことを特徴とする請求項１記載の方法。

【請求項12】

前記Ｉ_Ｇは、Ｉ_１との対比のためにグラフィカルユーザインターフェース内に表示するために提供されることを特徴とする請求項１記載の方法。

【請求項13】

Ｉ_１を受信するためのインターフェースを提供することと、
毛髪の形状および構造ならびに毛髪外観およびより細かいスタイルを含むヘアスタイルのようなそれぞれのスタイル属性を示す参照画像の記憶を提供することと、
前記参照画像のうちの１つからＩ_２を定義するための入力を受け取るための選択インターフェースを提供することと、
前記参照画像のうちの１つからのＩ_３を定義するための入力を受け取るための選択インターフェースを提供することとを含むことを特徴とする請求項１記載の方法。

【請求項14】

プロセッサと、前記プロセッサによって実行されるコンピュータ可読命令を記憶する記憶デバイスとを備えるコンピューティングデバイスであって、
人工知能（ＡＩ）ネットワークフレームワークを介してヘアスタイルを移送することであって、参照画像から第１画像（Ｉ_１）の顔からのアイデンティティが移送された毛髪属性を含む合成画像（Ｉ_Ｇ）を生成する生成的敵対ネットワーク（ＧＡＮ）生成器を備え、
前記毛髪属性は、ｉ）毛髪の形状および構造、ｉｉ）毛髪の外観およびｉｉｉ）毛髪のより細かいスタイルを含むものであり、
前記ネットワークフレームワークは、潜在空間を最適化して、前記毛髪属性であるｉ）毛髪形状および構造を、ｉｉ）毛髪外観およびｉｉｉ）毛髪のより細かいスタイルから解きほぐすように構成されることを特徴とするコンピューティングデバイス。

【請求項15】

前記参照画像は、第２画像（Ｉ_２）及び第３画像（Ｉ_３）を含み、
Ｉ_１、Ｉ_２及びＩ_３はそれぞれポートレート画像で構成され、
前記ネットワークフレームワークは、Ｉ_２から抽出された毛髪の形状と構造およびＩ_３から抽出された毛髪の外観と毛髪のより細かいスタイルのそれぞれを用いることを特徴とする請求項１４記載のコンピューティングデバイス。

【請求項16】

前記ＧＡＮ生成器は、前記潜在空間の最適化が前記毛髪属性を解きほぐすことを可能にするように、２段階最適化および勾配直交化を用いて訓練されることを特徴とする請求項１４又は１５に記載のコンピューティングデバイス。

【請求項17】

前記命令が実行されると、前記コンピューティングデバイスに、
ヘアスタイルに関連付けられた製品および／またはサービスを購入するための電子商取引サービスへのインターフェースと、ヘア製品もしくはヘアスタイル製品、ヘアサービス若しくはヘアスタイリングサービス又はこれらの両方を推奨するためのインターフェースとの一方または両方を提供することをもたらすことを特徴とする請求項１４から１６のいずれかに記載のコンピューティングデバイス。

【請求項18】

前記命令が実行されると、前記コンピューティングデバイスに、
Ｉ_１を受信するインターフェースを提供し、
それぞれの毛髪属性を示す参照画像の記憶を提供し、
ヘアスタイルの移送のための毛髪属性を定義するために少なくとも１つの参照画像を選択するための入力を受信する選択インターフェースを提供することをもたらすことを特徴とする請求項１４から１７のいずれかに記載のコンピューティングデバイス。

【請求項19】

回路を備えるコンピューティングデバイスであって、
前記回路が動作すると、前記コンピューティングデバイスに、
アイデンティティ画像と、アイデンティティ上のヘアスタイルをシミュレートするための異なるヘアスタイル属性を表す複数の参照画像とに対して仮想的なヘアスタイルの試着を実行するためのネットワークフレームワークを提供し、
前記ネットワークフレームワークは前記アイデンティティ及びヘアスタイルを仮想的なヘアスタイルの試着を表す合成画像に組み込むときに現実的な合成された毛髪を提供するために異なる前記ヘアスタイル属性を解きほぐす最適化を実行し、
提示のために前記合成画像を提供することをもたらすことを特徴とするコンピューティングデバイス。

【請求項20】

前記回路が動作すると、前記コンピューティングデバイスに、
ヘア製品もしくはヘアスタイル製品、ヘアサービス若しくはヘアスタイリングサービス又はこれらの両方を推奨するためのインターフェースを提供することと、ヘア又はヘアスタイルの推薦を生成するインターフェースを提供することとのうちの少なくとも１つをもたらすことを特徴とする請求項１９記載のコンピューティングデバイス。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【技術分野】

【0001】

《相互参照》
本出願は２０２１年３月３日に出願された米国仮出願第６３／１５５，８４２号の優先権を主張し、その全体が参照により本明細書に組み込まれる。本出願はまた、２０２２年３月２日に出願されたフランス特許出願第２２０１８２９号の優先権も主張するものであり、その全内容は参照により本明細書に組み込まれる。

【0002】

本出願は画像処理のためのコンピュータ処理、画像処理およびニューラルネットワークの改善に関し、より詳細には反転ＧＡＮ（reverse GANs）を用いたスタイルの試着（try-on）、特にヘアスタイルの試着のためのシステム、方法および技法に関するものである。

【背景技術】

【0003】

ニューラルネットワークを用いた画像のコンピュータ処理は、効果（effects）のシミュレーションのための新しい手段を開いた。生成的敵対ネットワーク（generative adversarial networks、ＧＡＮ）の進歩は、条件付き[15,32]と無条件[19]の両方の写実的な（photorealistic）画像の合成を可能にする。並行して、最近の研究は、分離された（disentangled）特徴表現（feature representations）を学習することで、印象的な潜在空間（latent space）の操作を達成し[26]、写実的なグローバル及びローカル画像の操作を可能にしている。

【0004】

しかしながら、フォトリアリズム（photorealism）を維持しながら、合成画像の属性の制御された操作を達成することは、依然として未解決の課題である。

【発明の概要】

【0005】

ヘアスタイルの移送（transfer）を含むスタイルの移送は、毛髪等のソース（source）及びターゲット（target）のオブジェクトの構造の違いのため困難である。一実施形態では、直交化を介したヘアスタイルの潜在的最適化（Latent Optimization of Hairstyles via Orthogonalization、ＬＯＨＯ）が、ヘアスタイルの移送中に潜在空間（latent space）内の毛髪の構造の詳細を充填するためのＧＡＮ反転（GAN inversion）を用いる最適化ベースのアプローチである。毛髪は知覚構造（例えば、形状）、外観およびより細かいスタイル（finer style）の３つの属性に分解され、これらの属性のそれぞれを独立してモデル化するために調整された損失を含む。２段階最適化（Two-stage optimization）及び勾配直交化（gradient orthogonalization）は、３つの毛髪属性の分離された潜在空間の最適化を可能にする。潜在空間の操作のためにＬＯＨＯを用いることで、ユーザは個々に又は共同で毛髪属性を操作し、ヘアスタイルから所望の属性を移送して、新規の写実的な（photorealistic）画像を合成できる。一実施形態ではＬＯＨＯアプローチ（例えば、スタイル属性が分離した潜在空間の最適化に対する２段階最適化および勾配直交化）は、衣服等の他のスタイルの移送への一般化が可能である。

【図面の簡単な説明】

【0006】

【図1】Ａ、Ｂ、Ｃ、Ｄ及びＥは、一実施形態に従って合成されたヘアスタイル転写サンプルを示すための画像１００，１０２，１０４，１０６及び１０８である。

【図2】一実施形態による、背景ブレンディングを伴う２段階ネットワーク構造のフレームワークである。

【図3】は、一実施形態による２段階最適化の効果を示す画像アレイである。

【図4】は、一実施形態による勾配直交化（ＧＯ）の効果を示す画像アレイである。

【図5】Ａ及びＢは、一実施形態によるＧＯの効果を示すグラフである。

【図6】一実施形態によるＭｉｃｈｉＧＡＮおよびＬＯＨＯの定性的比較を示す画像アレイである。

【図7】一実施形態による個々の属性編集を表す例の画像アレイを示す。

【図8】一実施形態による複数の属性編集を表す例の画像アレイを示す。

【図9】Ａ及び９Ｂは、一実施形態による位置ずれの例を示す画像アレイである。

【図10】Ａ及びＢは、一実施形態によるヘアディテールキャリーオーバーの例を示す画像アレイである。

【図11】一実施形態によるコンピュータネットワークの図である。

【図12】一実施形態による代表的なコンピューティングデバイスのブロック図である。

【0007】

【0008】

【0009】

【0010】

【0011】

【0012】

【0013】

【0014】

【0015】

【0016】

【0017】

【発明を実施するための形態】

【0018】

様々な実施形態が、ヘアスタイルの移送（transfer）に関して本明細書で詳述される。他のスタイルの移送タスクが、本明細書で説明され、他のスタイルの移送タスクに適合される技法、方法および装置を用いて実装され得ることが、当業者によって理解されるのであろう。

【0019】

一実施形態では、ユーザが細粒度な（fine-grained）制御を用いて、自分のポートレート画像に対してセマンティック（semantic）かつ構造的な（structural）編集を行うことができる。特定の困難で（challenging）商業的に魅力的な例として、ヘアスタイルの移送が評価され、本明細書で説明され、ユーザは、複数の独立したソース画像（source images）から毛髪属性を移送して、自身のポートレート画像を操作できる。一実施形態では、直交化を介したヘアスタイルの潜在的最適化（Latent Optimization of Hairstyles via Orthogonalization、ＬＯＨＯ）が生成的敵対ネットワーク（generative adversarial network、ＧＡＮ）[12,18]等の生成モデルの潜在空間における２段階最適化（two-stage optimization）プロセスである。例示的な技術的貢献は、１つの属性の適用（application）が他の属性と干渉しないように、移送された属性の勾配（gradients）を直交化することで属性の移送が制御されることである。

【0020】

ヘアスタイルの移送[30]に関する以前の研究は、ＧＡＮ生成器（generators）の複雑なパイプラインを用いて、毛髪の外観（appearance）の現実的な移送をもたらし、それぞれは、毛髪の合成または背景のインペインティング（inpainting）等の特定のタスクに特化した。しかしながら、整列されていない（misaligned）毛髪マスク（hair masks）によって残された穴（holes）を充填するため、事前訓練された（pretrained）インペインティングネットワークを用いると、ぼやけた遺物（artifacts）が生じる。移送された毛髪の形状から、より現実的な合成を生成するために、一実施形態によれば、顔を生成するように事前訓練された単一のＧＡＮの事前分布（prior distributionを）呼び出すことにより、欠けている形状および構造の詳細が埋められる。

【0021】

ＬＯＨＯは、前記のソース－ターゲットの毛髪の未整列（misalignment）の下でさえ、写実的なヘアスタイルの移送を達成する。ＬＯＨＯは、事前訓練されたＳｔｙｌｅＧＡＮｖ２[20]の拡張された潜在空間（latent space）とノイズ空間（noise space）とを直接最適化する。慎重に設計された損失関数を用いて、ＬＯＨＯアプローチは毛髪を３つの属性、即ち知覚構造（例えば、形状）、外観およびより細かいスタイル（finer style）に分解する。次いで、これらの属性のそれぞれは、個々にモデル化され、それによって、合成プロセスに対するより良好な制御を可能にする。更に、ＬＯＨＯは２段階最適化を採用することで、合成画像の品質を著しく改善し、各段階は、目的関数（objective function）における損失のサブセットを最適化する。損失のいくつかは、それらの類似の設計に起因して順次最適化され、ＬＯＨＯアプローチの下で共同ではない。最後に、ＬＯＨＯは、勾配直交化（gradient orthogonalization）を用いて、最適化プロセス中に毛髪属性を明示的に分離する。

【0022】

図１Ａ、１Ｂ、１Ｃ、１Ｄ及び１Ｅは、一実施形態による、ＬＯＨＯを用いて合成されたヘアスタイルの移送サンプルを示すための画像１００，１０２，１０４，１０６及び１０８である。図１Ａ及び１Ｄの所与のポートレート画像１００及び１０６について、ＬＯＨＯは、複数の入力条件に基づいて毛髪属性を操作できる。挿入画像（例えば、１０２Ａ、１０４Ａ及び１８Ａ）は、外観およびより細かいスタイル、構造ならびに形状の順序でターゲット毛髪属性を表す。ＬＯＨＯは、背景を変化させずに、外観およびより微細なスタイル（例えば、図１Ｂに示される）ならびに知覚構造（例えば、図１Ｂに示される）を伝達できる。

【0023】

更に、ＬＯＨＯは複数の毛髪属性を同時にかつ独立して変更できる（例えば、図１Ｃに示されるように）。

【0024】

ＬＯＨＯアプローチの特徴に従って、以下が提供される：
・ＳｔｙｌｅＧＡＮｖ２の拡張された潜在空間およびノイズ空間を最適化することでヘアスタイルの移送を実行するための新しいアプローチ。
・各重要なヘアスタイル属性をモデル化するための複数の損失を含む目的関数。
・合成画像のフォトリアリズム（photorealism）の大幅な改善につながる２段階最適化の戦略。
・干渉（interference）のない潜在空間における属性を共同で最適化する一般的な手法への勾配直交化の導入。勾配直交化の有効性を定性的および定量的に実証した。
・計算されたフレシェ開始距離（Frechet Inception Distance、ＦＩＤ）スコアを用いた評価を用いた、実環境下での（in-the-wild）ポートレート画像上でのヘアスタイルの移送。ＦＩＤは、同じドメイン内の実画像と合成画像の開始（Inception）[29]特徴間の距離を計算することで生成モデルを評価するために用いられる。計算されたＦＩＤスコアは、実施形態によるフレームワーク及び関連する方法および技術が現在の最新技術（state-of-the-art、ＳＯＴＡ）のヘアスタイルの移送結果より優れている可能性があることを示す。
《関連した研究》

【0025】

生成的敵対ネットワーク。生成モデル、特にＧＡＮは、画像から画像への変換[15,32,40]、ビデオの生成[34,33,9]及びオブジェクトの検出[24]等の識別タスク（discriminative tasks）のためのデータ拡張（data augmentation）等、様々なコンピュータビジョンアプリケーションに亘って非常に成功している。ＧＡＮ[18,3]は、訓練データ（training data）の基礎となる分布を学習することで、潜在コード（latent code）を画像に変換する。より最近のアーキテクチャであるＳｔｙｌｅＧＡＮｖ２[20]は、写実的な人間の顔を生成するためのベンチマークを設定している。しかしながら、そのようなネットワークを訓練することは、かなりの量のデータを必要とし、ヘアスタイルの移送等の特定の使用事例のためにＳＯＴＡ－ＧＡＮを訓練するための障壁を著しく高くさせる。その結果、事前訓練された生成器を用いて構築された方法は、様々な画像操作タスクを実行するための事実上の標準になりつつある。一実施形態では、ＳｔｙｌｅＧＡＮｖ２[20]が表現的な事前訓練された顔合成モデルとして活用され、制御された属性操作のために事前訓練された生成器を用いるための最適化アプローチが概説される。

【0026】

潜在空間の埋め込み。反転（inversion）を介したＧＡＮの潜在空間の理解および操作は、研究の活発な分野となっている。ＧＡＮ反転は、ＧＡＮの潜在空間に画像を埋め込むことを含み、その潜在的な埋め込み（latent embedding）から生じる合成画像が、元の画像の最も正確な再構成である。Ｉ２Ｓ[1]は、事前訓練されたＳｔｙｌｅ－ＧＡＮ[19]の拡張された潜在空間Ｗ^＋＋を最適化することで画像を再構成できるフレームワークである。サンプリングされた埋め込みＷ^＋は、ＳｔｙｌｅＧＡＮアーキテクチャの各レイヤに１つずつ、１８の異なる５１２次元のｗベクトルの連結である。Ｉ２Ｓ＋＋[2]は、ノイズ空間Ｎを更に最適化することにより、画像の再構成品質を更に改善した。更に、Ｉ２Ｓ＋＋フレームワークにセマンティック（semantic）マスクを含めることにより、ユーザは、画像のインペイントや全体的な編集等のタスクを実行できる。最近の手法[13,27,41]は、画像空間からの入力を潜在空間Ｗ^＋に直接マッピングする符号器（encoder）を学習する。一実施形態では、ＬＯＨＯが近年のＳｔｙｌｅＧＡＮｖ２のＷ^＋空間およびノイズ空間Ｎを最適化して、ポートレート画像上の毛髪のセマンティック編集を実行するという点で、ＧＡＮ反転に従う。一実施形態では、ＬＯＨＯが属性の異なる競合目的（competing objectives）間の干渉を防止しながら、複数のソースからの毛髪構造等の空間的な局所属性の同時操作のために、ＧＡＮ反転アルゴリズムを更に利用する。

【0027】

ヘアスタイルの移送。毛髪は、人間の顔のモデル化および合成が困難な部分である。毛髪のモデリングに関する以前の研究は、ヘアジオメトリ（hair geometry）[8,7,6,35]をキャプチャすること及びインタラクティブなヘア編集のためにこのヘアジオメトリを下流（downstream）で用いることを含む。しかしながら、これらの手法は、主要な視覚的要因をキャプチャできず、それによって結果の品質を損なう。最近の研究[16,23,21]は、毛髪生成のためのＧＡＮの使用に関する進歩を示したが、これらの手法は合成された毛髪に対する直感的な制御を可能にしない。ＭｉｃｈｉＧＡＮ[30]は、毛髪の制御された操作を可能にする条件的合成（conditional synthesis）ＧＡＮを提案した。ＭｉｃｈｉＧＡＮは意図的なメカニズムと表現を指定することにより、毛髪を４つの属性に分離し、毛髪の外観変化に対するＳＯＴＡ結果を生成する。それにもかかわらず、ＭｉｃｈｉＧＡＮは、任意の形状変化を伴う毛髪の移送シナリオを扱うことが困難である。

【0028】

これは、ＭｉｃｈｉＧＡＮが毛髪の移送プロセス中に生成された「穴」を充填するために、別々に訓練されたインペインティングネットワークを用いて形状変化を実施するからである。対照的に、本明細書の方法の態様は、事前訓練されたＧＡＮの事前分布を、ピクセル空間（pixel space）ではなく潜在空間において「充填」するように呼び出す。ＭｉｃｈｉＧＡＮと比較して、本明細書の方法の態様は、毛髪の形状が変化する困難な場合において、より現実的な合成画像を生成する。
＜方法論＞
《背景》

【0029】

Ｉｍａｇｅ２ＳｔｙｌｅＧＡＮ＋＋（Ｉ２Ｓ＋＋）[2]で提案された目的関数は：

【数1】

ここで、ｗはＳｔｙｌｅＧＡＮの拡張された潜在空間Ｗ^＋における埋め込みであり、ｎはノイズベクトル埋め込みであり、Ｍ_ｓ、Ｍ_ｍ及びＭ_ｐは、各損失に寄与する画像領域を特定するためのバイナリマスクであり、◎（丸印の中心に黒点）は、アダマール積（Hadamard product）を表し、Ｇは、ＳｔｙｌｅＧＡＮ生成器であり、ｘは、マスクＭ_ｓ、Ｍ_ｍ及びＭ_ｐ内で再構成する画像であり、ｙは、Ｍ_ｍの外部、即ち（１－Ｍ_ｍ）内で再構成する画像である。

【0030】

数式１におけるＩ２Ｓ＋＋目的関数（objective function）の変化は画像再構成、画像クロスオーバ（image crossover）、画像インペインティング、ローカルスタイル移送および他のタスクを改善するために、[2]によって用いられる。ヘアスタイルの移送のために、画像クロスオーバ及び画像インペインティングの両方を行うことが望ましい。あるヘアスタイルを別の人に移すには、クロスオーバが必要であり、元の人の髪が塗りつぶされていた残りの領域が必要である。
《フレームワーク》

【0031】

図２は、一実施形態による、ＬＯＨＯのための背景ブレンディング（インペインティング）２００を有する２段階ネットワークフレームワークを示す。ネットワークフレームワーク２００は訓練フレームワークとは対照的に、推論時間フレームワーク（inference time framework）を表す。ＧＡＮ生成器２０２は、スタイルの移送のための事前訓練されたＧＡＮを備える。段階１（２０６）において、”平均（mean）”顔２０４（Ｉ_Ｇ）から開始して、ネットワークフレームワーク２００は、（Ｉ_１（２０８）の）ターゲットアイデンティティ及び（Ｉ_２（２１０）からのヘアのターゲット知覚構造を再構成する。段階２（２１２）では、フレームワーク２００が勾配直交化（ＧＯ）を介して知覚構造を維持しながら、Ｉ_３（２１４）からの）ターゲット毛髪のより細かいスタイル及び外観を移送する。最後に、Ｉ_３は、Ｉ_１の背景とブレンドされる。

【0032】

ヘアスタイルの移送問題に対して、人物の３つのポートレート画像が提供される：Ｉ_１、Ｉ_２及びＩ_３（２０８，２１０及び２１４）。人物２の（Ｉ_２の）毛髪の形状および構造の属性、ならびに、人物３（Ｉ_３の）毛髪の外観およびより細かいスタイルの属性を、人物１（Ｉ_１の）に移送するのを考慮する。Ｍ_１ ^ｆ（２０８Ａ）をＩ_１の２値の顔面マスク（binary face mask）とし、Ｍ_１ ^ｈ、Ｍ_２ ^ｈ及びＭ_３ ^ｈ（図示せず）をＩ_１、Ｉ_２及びＩ_３を２値の毛髪マスク（binary hear mask）とする。次に、Ｍ_２ ^ｈが約２０％別々に拡張（dilated）および侵食（eroded）されて、拡張されたバージョンＭ_２ ^ｈ，ｄ及び侵食されたバージョンＭ_２ ^ｈ，ｅ（２１０Ａ）を生成する。Ｍ_２ ^ｈ，ｉｒ≡Ｍ_２ ^ｈ，ｄ－Ｍ_２ ^ｈ，ｅは、インペイントを必要とする無視領域（ignore region、例えば、顔なし、毛髪なしの背景）とする。この実施形態では、Ｍ_２ ^ｈ，ｉｒは最適化されておらず、むしろ、ＳｔｙｌｅＧＡＮｖ２（ＧＡＮ生成器２０２）が呼び出されて、この領域内の関連する詳細をインペイントする。この特徴は、ネットワークフレームワーク２００が人物１及び人物２の毛髪の形状が不整列な状況において、毛髪の形状の移送の実行を可能にする。

【0033】

２つの段階２０６及び２１２では、セグメンテーションネットワーク２１８を用いて、合成画像（それぞれ段階１ ２０６への入力として及びそれが洗練され（refined）、段階２ ２１２への入力として提供された後）と、入力画像（Ｉ_１、Ｉ_２及びＩ_３）とを処理することで、それぞれのセグメンテーションマスクを定義する。２つの段階２０６及び２１２では、一実施形態によれば、顔画像処理のための事前訓練されたＣＮＮ２２０（例えば、ＶＧＧ[28]）を用いて、更に説明するように高レベルの特徴を抽出する。

【0034】

実施形態２００では、Ｉ_１の背景が最適化されていない。従って、背景を回復（recover）するために、２１６において、本実施形態では、Ｉ_１の背景は、合成画像Ｉ_Ｇの前景（foreground、毛髪および顔）とソフトブレンド（soft-blended）される。具体的には、本実施形態ではＧａｔｅｄＣｏｎｖ[36]（図示せず）を用いて、マスクされたＩ_１の前景領域をインペイントし、その後、ブレンディングを実行する。
《目的（Objective）》

【0035】

ヘアスタイルの移送を実行するために、合成画像の関連領域（relevant regions）を監視するために損失が用いられる。表記を単純に保つために、Ｉ_Ｇ≡Ｇ（Ｗ^＋＋Ｎ）合成画像とし、Ｍ_Ｇ ^ｆ（２０４Ａ）及びＭ_Ｇ ^ｈ（２０４Ｂ）を対応する顔領域および髪領域とする。

【0036】

アイデンティティ（Identity）の再構成。人物１のアイデンティティを再構成するために、一実施形態では、学習知覚画像パッチ類似性（Learned Perceptual Image Patch Similarity、ＬＰＩＰＳ）[39]損失が用いられる。ＬＰＩＰＳは人間の類似性判断に基づく知覚損失であり、従って、顔の再構成に良く適している。損失を計算するために、事前訓練されたＶＧＧ[28]２２０が、両方のための高レベル特徴（high-level feature）[17]を抽出するために用いられる。特徴は、一実施形態ではＶＧＧ２２０の５つのブロック全てから抽出され、合計されて、顔の再構成目的（reconstruction objective）を形成する：

【数2】

ここで、ｂはＶＧＧブロックを表し、Ｍ_１ ^ｆ∩（１－Ｍ_２ ^ｈ，ｄ）はＭ_１ ^ｆと拡張されたマスクＭ_２ ^ｈ，ｄの前景領域との間の重なりとして計算されたターゲットマスク（target mask）を表す。この数式２は、ターゲットマスクにソフトな制約を課す。

【0037】

毛髪の形状と構造の再構成。人物２の毛髪情報を回復するために、ＬＰＩＰＳ損失を介して監視が実施される。しかしながら、Ｍ_２ ^ｈをターゲット毛髪マスクとして単純に（naively）用いると、生成器２０２は、Ｉ_Ｇの望ましくない領域の毛髪を合成する可能性がある。これは、特に、ターゲットの顔領域と毛髪領域とがうまく位置合わせされない場合に当てはまる。この問題を解決するために、侵食されたマスクＭ_２ ^ｈ，ｅは、合成された毛髪のターゲットの配置にソフトな制約（soft constraint）を課すために用いられる。Ｍ_２ ^ｈ，ｅは、Ｍ_２ ^ｈ，ｉｒと組み合わせされ、生成器は重なっていない領域（non-overlapping regions）に関連情報をインペイントすることで、位置ずれしたペアを処理できる。損失を計算するために、ＶＧＧ２２０のブロック４及び５からの特徴が、Ｉ_２、Ｉ_Ｇの毛髪領域に対応して抽出され、毛髪の知覚構造目的（perceptual structure objective）を形成する：

【数3】

【0038】

毛髪の外観の移動。毛髪の外観は、毛髪の形状および構造とは無関係な、毛髪の全体的に一貫した色を指す。その結果、異なる毛髪形状のサンプルから移送できる。ターゲットの外観を移送するために、一実施形態では、６４個の特徴マップが色情報を最も良く説明するように、ＶＧＧ（relu1_1）の最も浅いレイヤから抽出される。次いで、各特徴マップの毛髪領域内で平均プーリング（average-pooling）が実行されて、空間情報（spatial information）を破棄し、全体的な外観（global appearance）をキャプチャする。Ｒ^６４×１の平均的な外観Ａの推定値は、

【数4】

で得られ、ここでφ（ｘ）は、画像ｘの６４個のＶＧＧ特徴マップを表し、ｙは、関連する毛髪マスクを示す。最後に、二乗された（squared）Ｌ_２距離は、毛髪の外観目的を与えるために算出される：

【数5】

【0039】

毛髪のより詳細な移送。全体的な色に加えて、毛髪はまた、束のスタイル（wisp styles）及び毛髪ストランド（hair strands）間のシェーディング変化等のより細かい詳細を含む。このような詳細は、全体の平均を推定する外観損失だけではキャプチャできない。従って、より良好な近似が、毛髪ストランド間の様々なより微細なスタイルを計算するために必要とされる。グラムマトリクス（Gram matrix）[10]は、高レベル特徴マップ間の二次（second-order）関連付けを計算することで、より微細な毛髪の細部をキャプチャする。一実施形態では、グラムマトリクスがＶＧＧの{relu1_2; relu2_2; relu3_3; relu4_4}のレイヤから特徴を抽出した後に計算される。

【数6】

ここで、γ^ｌはＲ^ＨＷ×Ｃにおけるレイヤｌから抽出された特徴マップを表し、ｇ^ｌはレイヤｌのグラムマトリクスを表す。ここで、Ｃはチャンネル数を表し、ＨとＷとは、それぞれ高さと幅とである。最後に、二乗されたＬ_２距離は、以下のように計算される。

【数7】

【0040】

ノイズマップの正則化（Noise Map Regularization）。ノイズマップｎ∈Ｎを明示的に最適化すると、最適化によって実際の信号がノイズマップに挿入される可能性がある。これを防ぐために、一実施形態では、ノイズマップ[20]の正則化の項が導入される。８ｘ８より大きい各ノイズマップについて、一実施形態では、ピラミッドダウンネットワーク（pyramid down network）が解像度を８ｘ８に低減するために用いられる。ピラミッドネットワークは、各ステップにおいて２ｘ２ピクセルの近傍（neighbourhoods）を平均化する。加えて、一実施形態では、ノイズマップがゼロ平均（zero mean）および単位分散（unit variance）となるように正規化され、ノイズ目的（noise objective）を生成する：

【数8】

ここで、ｎ_ｉ，０は元のノイズマップを表し、ｎ_{ｉ，ｊ＞０}はダウンサンプリングされたバージョンを表す。同様に、ｒ_ｉ，ｊは元の又はダウンサンプリングされたノイズマップの解像度を表す。

【0041】

全ての損失を組み合わせると、全体的な最適化の目的は以下となる。

【数9】

《最適化戦略》

【0042】

２段階最適化。損失Ｌ_ｒ、Ｌ_ａ及びＬ_ｓの類似の性質を考慮すると、開始からの全ての損失を共同で最適化することは、人物２の毛髪情報を人物３の毛髪情報と競合させ（compete）、望ましくない合成をもたらすのが想定される。この問題を緩和するために、全体的な目的は２段階で最適化される。段階１では、目的アイデンティティ及び毛髪の知覚構造のみが再構成され、即ち数式８においてλ_ａ及びλ_ｓにゼロが設定される。段階２では、段階１が段階に対してより良い初期化を提供し、それによってモデルを収束させる。

【0043】

しかしながら、この技術自体には欠点がある。それは、段階１の後、再構成された毛髪の知覚構造を維持するための監視がないことである。この監視の欠如は、ＳｔｙｌｅＧＡＮｖ２が事前分布を呼び出して、毛髪ピクセルをインペイント又は除去するのを可能にし、それによって、段階１で見つかった知覚構造の初期化を取り消す。従って、最適化の段階２にＬ_ｒを含める必要がある。

【0044】

勾配直交化。Ｌ_ｒは、デザインによって、人物２の全ての毛髪の属性、即ち知覚的構造、外観及びより細かいスタイルをキャプチャする。結果として、Ｌ_ｒの勾配は、人物３の外観およびより細かいスタイルに対応する勾配と競合する。この問題は、その外観およびより細かいスタイル情報が除去されるように、勾配を操作することで対処される。より具体的には、Ｌ_ｒの知覚構造勾配がその外観およびより細かいスタイル勾配に直交するベクトル部分空間（vector subspace orthogonal）上に投影される。これにより、人物２の毛髪の構造および形状を維持しながら、人物３の毛髪の外観およびより細かいスタイルを移送できる。

【0045】

潜在空間Ｗ^＋の最適化を仮定すると、計算される勾配は、以下の通りである。

【数10】

ここで、Ｌ_ｒ、Ｌ_ａ及びＬ_ｓは、Ｉ_２とＩ_Ｇとの間で計算されたＬＰＩＰＳ、外観およびより細かいスタイルの損失である。直交性を強制するために

【数11】

が最小化されることが求められる。これは、構造－外観勾配直交化を用いて、（ｇ_Ａ２＋ｇ_Ｓ２）と平行するｇ_Ｒ２コンポーネントを遠ざけることによって達成され、

【数12】

が最適化の段階２において反復される。
＜実験と結果＞
《実装の詳細》

【0046】

データセット。一実施形態では、人間の顔の７００００個の高品質画像を含むフリッカー－顔－ＨＱデータセット（Flickr-Faces-HQ、ＦＦＨＱ）[19]が用いられた。フリッカー－顔－ＨＱは、民族性（ethnicity）、年齢およびヘアスタイルパターンに関して有意な変動を有する。一実施形態では画像（Ｉ_１，Ｉ_２，Ｉ_３）のタプル（tuples）は以下の制約に基づき選択された：（ａ）タプル内の各画像の少なくとも１８％のピクセルが毛髪を含むべきであり、（ｂ）Ｉ_１とＩ_２とのそれぞれの顔領域はある程度整列しなければならない。これらの制約を実施するために、一実施形態では、グラフォノミーセグメンテーションネットワーク（Graphonomy segmentation network）[11]を用いて毛髪および顔マスクを抽出し、２Ｄ－ＦＡＮ[4]を用いて６８個の２Ｄの顔のランドマーク（facial landmarks）を推定した。全てについて、対応する顔マスク及び顔のランドマークを用いて、Ｉ_１とＩ_２との結合上の交差点（intersection over union、ＩｏＵ）および姿勢距離（pose distance、ＰＤ）を計算した。最後に、一実施形態では、選択されたタプルが以下のＩｏＵおよびＰＤ制約が両方とも表１のように満たされるように、「容易」、「中程度」及び「困難」の３つのカテゴリに分散された。

【表1】

【0047】

訓練パラメータ。一実施形態では、アダムオプティマイザ（Adam optimizer）[22]が０．１の初期の学習率（learning rate）で用いられ、コサインスケジュール（cosine schedule）[20]を用いて強化（annealed）された。一実施形態では、最適化は２段階で行われ、各段階は１０００回の反復からなる。切除研究（ablation studies）に基づいて、一実施形態では、４０個の外観損失重み係数（appearance loss weight）λ_ａ、１．５×１０^４個のより細かいスタイル損失重み係数（finer style loss weight）λ_ｓ及び１×１０^５個のノイズ正則化重み係数（noise regularization weight）λ_ｎが選択された。そして、残りの損失重み係数（loss weights）は１に設定された。
《２段階最適化の効果》

【0048】

図３は、一実施形態による２段階最適化の効果を示す４列の画像アレイ３００である。画像アレイ３００において、第１列（３００Ａ）は参照画像を示し、第２列（３００Ｂ）はアイデンティティ（例えば、人物１）を示し、第３列（３００Ｃ）は損失が一緒に最適化される場合の合成画像を示し、第４列（３００Ｄ）は２段階最適化＋勾配直交化を介した合成画像を示す。

【0049】

目的関数（objective function）において全ての損失を一緒に最適化することは、フレームワークを分岐させる。アイデンティティが再構成される間、毛髪の移送は失敗する（図３の第３列３００Ｃ）。合成された毛髪の構造および形状は保存されず、望ましくない結果を引き起こす。他方、２段階最適化を行うことは、提供された参考文献と一致する写実的な画像の生成をもたらす合成プロセスを明らかに改善する。アイデンティティが再構成されるだけでなく、毛髪属性も所望の要件に従って移送される。
《勾配直交化の効果》

【0050】

図４は、一実施形態による勾配直交化（ＧＯ）の効果を示す画像アレイ４００である。第１行（４００Ａ）は、４つの参照画像（左から右）は、同一性、ターゲット毛髪外観およびより細かいスタイル、ターゲット毛髪構造ならびに形状（マスク）を示す。第２行（４００Ｂ）は２つの画像ペア、例えば、ｉ）（ａ）及び（ｂ）、並びに、ｉｉ）（ｃ）及び（ｄ）は、それぞれ、非ＧＯ法およびＧＯ法のためのそれぞれの合成画像およびそれらの対応する毛髪マスクを含むことを示す。図５Ａ及び５Ｂは、一実施形態によるＧＯの効果を示すグラフ５００及び５０２である。グラフ５００及び５０２は、それぞれ、最適化の段階２における

【数13】

の反復および傾向に対するＬＰＩＰＳの毛髪再構成損失（ＧＯ対非ＧＯ）を示す。

【0051】

フレームワークの２つの変形（実施形態）が比較される：非ＧＯ及びＧＯ。ＧＯは勾配直交化を介してＬ_ｒの勾配を操作することを含むが、非ＧＯはＬ_ｒには手を触れないままである。非ＧＯはターゲット毛髪形状を維持できず、最適化の段階２において、反復回数１０００（図４，５Ａ，５Ｂ）の後にＬ_ｒの増加を引き起こす。位置が不変である外観およびより細かいスタイル損失は、形状に寄与しない。一方、ＧＯは段階２において再構成損失を用いてターゲット毛髪形状を維持する。その結果、ＩｏＵは、Ｍ_２ ^ｈとＭ_Ｇ ^ｈの間で計算され、０：８５７（非ＧＯ）から０：９３２（ＧＯ）まで増加する。

【0052】

勾配の解きほぐし（disentanglement）に関しては、時間の経過とともにｇ_Ｒ２と（ｇ_Ａ２＋ｇ_Ｓ２）との間の類似性が減少し、ＧＯを有するフレームワークの実施形態が人物２の毛髪形状をその外観およびより微細なスタイルから解きほぐすことができることを示している（図５Ａ，５Ｂ）。この解きほぐしは、人物３の毛髪の外観およびより微細なスタイルを、モデルの発散（divergence）を引き起こすことなく、合成画像に継ぎ目なく移送するのを可能にする。ここでは、フレームワークのＧＯバージョンを比較および分析に用いる。
《ＳＯＴＡとの比較》

【0053】

ヘアスタイルの移送。このフレームワークのＧＯバージョンをＳＯＴＡモデルＭｉｃｈｉＧＡＮと比較した。ＭｉｃｈｉＧＡＮは、（１）毛髪の外観、（２）毛髪の形状および構造、ならびに、（３）背景を推定するための別々のモジュールを含む。外観モジュールは生成器をその出力特徴マップで効果を上げ（bootstraps）、従来のＧＡＮにおけるランダムにサンプリングされた潜在コードを置き換える[12]。形状および構造モジュールは毛髪マスク及び配向（orientation）マスクを出力し、バックボーン生成ネットワーク（backbone generation network）内の各ＳＰＡＤＥ ＲｅｓＢｌｋ[25]を非正規化する。最後に、背景モジュールは、生成器の出力を背景情報と漸進的に（progressively）ブレンドする。訓練に関しては、ＭｉｃｈｉＧＡＮは擬似監視体制（pseudo-supervised regime）に従う。具体的には、同じ画像から（モジュールによって推定される）特徴が、元の画像を再構成するために、ＭｉｃｈｉＧＡＮに供給される。試験時に、ＦＦＨＱの試験分割からランダムにサンプリングされた５１２ピクセルの解像度の５０００個の画像についてＦＩＤが計算される。

【0054】

結果が同等であることを確実にするために、上記の手順に従い、ＬＯＨＯについてＦＩＤスコア[14]を計算した。画像全体に対してＦＩＤを計算することに加えて、一実施形態では、スコアが、背景がマスクされると共に合成された毛髪および顔領域のみに依存して計算された。マスクされた画像上で低いＦＩＤスコアを達成することは、ＬＯＨＯモデルが実際に現実的な毛髪および顔領域を合成できることを意味する。この実施形態は、ＬＯＨＯ－ＨＦと呼ばれる。ＭｉｃｈｉＧＡＮの背景インペインターモジュール（background inpainter module）は公開されていないので、一実施形態では、ＧａｔｅｄＣｏｎｖ[36]がマスクされた毛髪領域に関連する特徴をインペイントするために用いられる。

【0055】

定量的に、ＬＯＨＯがＭｉｃｈｉＧＡＮを上回り、８．４１９のＦＩＤスコアを達成し、一方、ＭｉｃｈｉＧＡＮは１０．６９７を達成する（表２）。この改善は、ＬＯＨＯ最適化フレームワークが高品質画像を合成できることを示す。ＬＯＨＯ－ＨＦは４：８４７の更に低いスコアを達成し、合成された毛髪および顔領域の優れた品質を証明する。ＦＦＨＱの試験セットから一様にランダムにサンプリングされた５０００個の画像を用いた。なお、シンボル「↓」は、数値が小さいほど良い結果であることを示す。

【表2】

【0056】

図６は、一実施形態による、ＭｉｃｈｉＧＡＮとＬＯＨＯの定性的比較を示す画像アレイ６００である。６つのそれぞれの例を示す６つの行のそれぞれにおいて、第１列（狭い）（６００Ａ）は参照画像を示し、第２列（６００Ｂ）はアイデンティティの人物（identity person）を示し、第３列（６００Ｃ）はＭｉｃｈｉＧＡＮの出力を示し、第２列はＬＯＨＯの出力（より良好な視覚比較のためにズームインされたもの）を示す。第１～２行では、例はＭｉｃｈｉＧＡＮがターゲット毛髪属性を「コピーペースト」する一方で、ＬＯＨＯが属性をブレンドし、それによって、より現実的な画像を合成することを示す。第３～４行では、例は、ＬＯＨＯが整列されていない例をＭｉｃｈｉＧＡＮよりも良く扱うことを示している。第５～６行では、ＬＯＨＯが正しいスタイル情報を移送する例を示す。

【0057】

定性的には、ＬＯＨＯに従う方法が困難な例についてより良好な結果を合成できる。ＬＯＨＯは画像アレイ６００に示されるように、ターゲット毛髪属性をターゲットの顔と自然にブレンドする。ＭｉｃｈｉＧＡＮはターゲットの顔上にターゲットの毛髪を単純にコピーするので、２つの領域間の照明の不一致を引き起こす。ＬＯＨＯは、様々な度合い（degrees）が整列されていないペアを取り扱うが、ＭｉｃｈｉＧＡＮは、潜在空間ではなくピクセル空間内の背景および前景情報をブレンドすることに依存するため、これを行うことができない。最後に、ＬＯＨＯは、ＭｉｃｈｉＧＡＮに匹敵する、関連するスタイル情報を移送する。実際、グラムマトリクスをマッチングすることで二次統計（second order statistics）を最適化するスタイル目的（style objective）が追加されたため、ＬＯＨＯは、図６の下の２列（第５～６列）のように、毛髪の形状に関する元の人物が均一な（uniform）毛髪の色を有する場合であっても、様々な色を有する毛髪を合成する。

【0058】

アイデンティティ再構成の品質。ＬＯＨＯはまた、２つの最近の画像埋め込み手法： Ｉ２Ｓ[1]及びＩ２Ｓ＋＋[2]と比較した。Ｉ２Ｓは、潜在空間Ｗ^＋を最適化することで高品質の画像を再構成できるフレームワークを導入する。Ｉ２Ｓはまた、最適化されたスタイルの潜在コードＷ^＊と平均顔のＷ＾との間で計算された潜在距離が、合成された画像の品質にどのように関連するかを示す。Ｉ２Ｓ＋＋は、Ｉ２Ｓに加えて、高いＰＳＮＲ値およびＳＳＩＭ値を有する画像を再構成するためにノイズ空間Ｎを最適化する。従って、高品質でターゲットのアイデンティティを再構成するＬＯＨＯの能力を評価するために、同様のメトリックが、合成画像の顔領域上で計算される。潜在空間におけるインペインティングは、ＬＯＨＯの結果の不可欠な部分であるので、Ｉ２Ｓ＋＋の５１２ピクセルの解像度の画像のインペインティングに対する性能と比較される。

【0059】

モデル（ＬＯＨＯ）は、ヘアスタイルの移送の困難な作業を行っているにもかかわらず、同等の結果を達成できる（表３）。Ｉ２Ｓは有効な人間の顔の許容可能な潜在距離が［３０：６； ４０：５］にあり、ＬＯＨＯがその範囲内にあることを示す。更に、ＬＯＨＯのＰＳＮＲスコア及びＳＳＩＭスコアはＩ２Ｓ＋＋よりも良好であり、ＬＯＨＯが、ローカル構造情報を満たすアイデンティティを再構成するのを証明する。

【表3】

《属性の編集》

【0060】

実施形態によれば、ＬＯＨＯフレームワーク及び関連する手法は、実環境下でのポートレート画像の属性を編集できる。この設定では、画像が選択された後、参照画像を提供することで属性が個別に編集される。例えば、毛髪の外観及び背景を未編集のまま、毛髪の構造及び形状を変更できる。ＬＯＨＯフレームワーク及び関連する手法は実施形態によれば、重なっていない毛髪領域（non-overlapping hair regions）を計算し、関連する背景の詳細を空間に充填する。最適化プロセスに続いて、合成された画像は、インペイントされた背景画像とブレンドされる。同様のことが、毛髪の外観およびより細かいスタイルを変化させるためにも当てはまる。ＬＯＨＯは毛髪属性を分離し、それらを個別に、かつ、一緒に編集するのを可能にし、それによって、望ましい結果をもたらす。従って、図７は個々の属性編集を表す例の画像アレイ７００を示し、図８は、複数の属性編集を表す例の画像アレイ８００を示す。画像アレイ７００は、第１サブアレイ７００Ａにおける外観およびより細かいスタイルの例（左側の例）と、第２サブアレイ７００Ｂにおける形状の例（右側の例）とを含む。図７における結果は、モデルが互いに干渉することなく個々の毛髪属性を編集できるのを示す。図８において、画像アレイ８００は、実施形態によるＬＯＨＯフレームワーク及び関連する手法が互いに干渉することなく、毛髪属性を一緒に編集できるのを示す結果を表す。
＜限界＞

【0061】

図９Ａ及び９Ｂは、一実施形態による整列されていない例を示す画像アレイ９００及び９０２である。ＬＯＨＯフレームワーク及び関連する手法は実施形態によれば、整列されていない極端な場合に影響されやすい（図９）。本研究では、このような症例は困難と分類される。それらは、フレームワーク及び関連する手法に、不自然な毛髪の形状および構造を合成させる。ＧＡＮベースの整列ネットワーク[38,5]は、困難なサンプルを横断して毛髪の姿勢または整列を伝達するために用いられ得る。

【0062】

図１０Ａ及び１０Ｂは、一実施形態による毛髪の詳細のキャリーオーバーの例を示す画像アレイ１０００及び１００２である。これは、グラフォノミー[11]の毛髪の不完全なセグメンテーションに起因する可能性がある。より洗練されたセグメンテーションネットワーク[37,31]を用いて、この問題を軽減できる。
《現実世界への適用》

【0063】

図１１は一実施形態による、開発コンピューティングデバイス１１０２、ウェブサイトコンピューティングデバイス１１０４、クラウドコンピューティングデバイス１１０５、アプリケーション配信コンピューティングデバイス１１０６、及び、それぞれのエッジコンピューティングデバイス、即ちスマートフォン１１０８及びタブレット１１１０を示すコンピュータネットワーク１１００の図である。コンピューティングデバイスは、通信ネットワーク１１１２を介して結合される。コンピュータネットワーク１１００は簡略化される。例えば、ウェブサイトコンピューティングデバイス１１０４、クラウドコンピューティングデバイス１１０５及びアプリケーション配信コンピューティングデバイス１１０６は、それぞれのウェブサイト、クラウド及びアプリケーション配信システムの例示的なデバイスである。通信ネットワーク１１１２は、プライベートネットワーク及びパブリックネットワークを含み得る複数の有線および／または無線ネットワークを含み得る。

【0064】

この実施形態では、開発コンピューティングデバイス１１０２がネットワークフレームワーク１１１６を構成（訓練を含むことができる）およびテスト等のための１又は複数のデータセットを記憶するデータストア１１１４（データベースを含むことができる）に結合される。一実施形態によれば、ネットワークフレームワーク１１６は、ＧＡＮ生成器を備え、スタイルの移送、特にヘアスタイルの移送を実行するための２段階最適化のために構成される。

【0065】

データストア１１１４は、開発および実装を支援するために、ソフトウェア、他のコンポーネント、ツール等を記憶できる。図示されていない別の実施形態では、データセットが開発コンピューティングデバイス１１０２の記憶デバイスに記憶される。

【0066】

開発コンピューティングデバイス１１０２は、本明細書で説明する実施形態に従ってネットワークフレームワーク１１１６を定義するように構成される。例えば、開発コンピューティングデバイス１１０２は、図２のネットワークフレームワークを構成するように構成される。一実施形態では、開発コンピューティングデバイス１１０２が図２に示されるように、ＳｔｙｌｅＧＡＮｖ２又はその変形等のスタイル移送のために構成された事前訓練されたＧＡＮを組み込むように構成される。

【0067】

一実施形態では、開発コンピューティングデバイス１１０２が、ウェブサイトコンピューティングデバイス１１０４又はウェブサイトコンピューティングデバイス１１０４を介してアクセス可能な１つのサーバコンピュータデバイス上で実行するためのネットワークフレームワーク１１１６を定義する。

【0068】

一実施形態では、開発コンピューティングデバイス１１０２がクラウドコンピューティングデバイス１１０５上で実行するネットワークフレームワーク１１１６を定義する。開発コンピューティングデバイス１１０２（又は図示しない別のもの）はスマートフォン１１０８及びタブレット１１１０等のそれぞれのエッジデバイスへの配信のために、アプリケーション配信コンピューティングデバイス（例えば、１１０６）のためのウェブサイト及び／又はアプリケーション１１２０Ｂのため等、ネットワークフレームワークへのインターフェースをアプリケーション１１２０Ａに組み込む。

【0069】

図１１の本実施形態はネットワークフレームワーク自体を、タブレット、スマートフォン等のエッジデバイス上に記憶し、実行することを示しておらず、そのようなフレームワーク内の最適化プロセスは、かなりの処理リソースを必要とする。そのようなデバイスのための典型的なリソースを有するエッジデバイス上での実行は、単一のスタイル移送のために（比較的）長い時間（約１０～２０分）を要する。家庭用ＰＣ、ゲーム機または他の一般的に消費者向けのデバイス上でフレームワークを実行することも、同様のランタイムで可能である。しかし、ランタイムは、現在、対話的であると認識されるには十分ではないので（それでも）、図１１はネットワークフレームワーク１１１６がリモートサーバ（例えば、ウェブサイト又はクラウドデバイス）によって提供される、より実用的な使用事例を示す。このパラダイムでは、アイデンティティ及びスタイル属性画像がサーバに提出され、ユーザは応答（例えば、アイデンティティ及び移送されたスタイルを組み込んだ合成画像）を待つ。

【0070】

一実施形態では、アプリケーション配信コンピューティングデバイス１１０６がアプリケーションストアサービス（電子商取引サービスの一例）を提供して、サポートされるオペレーティングシステム（ＯＳ）を実行するターゲットデバイス上で実行するためのアプリケーションを配信する。コンピューティングデバイスによるアプリケーション配信サービスの例としては、iOS（登録商標）又はiPADOS（登録商標）（いずれもApple Inc.Cupertino CAの商標）を実行しているiPhone（登録商標）又はiPAD（登録商標）デバイスのためのAppleのApp Store（登録商標）がある。適用可能なコンピューティングデバイスを介した別の例示的なサービスは、Android（登録商標）ＯＳ（Google LLC, Mountain View, CAの商標）を実行する様々なソースからのスマートフォン及びタブレットデバイスのためのGoogle Play（登録商標）（Google LLC, Mountain View, CAの商標）がある。この実施形態では、スマートフォン１１０８がウェブサイトコンピューティングデバイス１１０４からアプリケーション１１２０Ａを受信し、タブレット１１１０がアプリケーション配信コンピューティングデバイス１１０６からアプリケーション１１２０Ｂを受信する。

【0071】

ウェブサイト及びアプリケーション配信例の両方の現在のパラダイムでは、ネットワークフレームワーク１１１６がエッジデバイスに通信されない。エッジデバイスは、エッジデバイスに代わって実行されるネットワークフレームワーク１１１６へのアクセスを（それぞれのアプリケーションインターフェースを介して）与える。例えば、ウェブサイトコンピューティングデバイスはアプリケーション１１２０Ａのためのネットワークフレームワーク１１１６を実行し、クラウドコンピューティングデバイスは、アプリケーション１１２０Ｂのために実行する。アプリケーション１１２０Ａ及び１１２０Ｂは、それぞれの実施形態において、ヘアスタイルの試着（エフェクトシミュレーションアプリケーション）のために構成され、仮想および／または拡張現実体験（virtual and/or augmented reality experience）を提供する。動作は、本明細書において以下で更に説明される。

【0072】

図１２は、代表的なコンピューティングデバイス１２００のブロック図である。図１１のコンピューティングデバイスは同様に、それらのそれぞれの必要性および機能に従って構成される。コンピューティングデバイス１２００は処理ユニット１２０２（例えば、１又は複数のプロセッサ、例えば、ＣＰＵ及び／若しくはＧＰＵ、又は、他のプロセッサ等、一実施形態では少なくとも１つのプロセッサを備える）、コンピュータ可読命令（およびデータ）を記憶する記憶デバイス１２０４（一実施形態では、少なくとも１つの記憶デバイスであり、メモリを備えることができる）を備え、コンピュータ可読命令（およびデータ）は処理ユニット（例えば、プロセッサ）によって実行されると、例えば、コンピューティングデバイスに方法を実行させる。記憶デバイス８０４はメモリデバイス（例えば、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ等）、ソリッドステートドライブ（例えば、フラッシュメモリを定義できる半導体記憶デバイス／ＩＣを備える）、ハードディスクドライブ又は他の種類のドライブ及びテープ、ディスク（例えば、ＣＤ－ＲＯＭ等）等の記憶媒体のうちのいずれかを含むことができ、追加の構成要素は、有線または無線手段を介してデバイスを通信ネットワークに結合するための通信ユニット１２０６、入力デバイス１２０８、表示デバイス１２１２を備えることができる出力デバイス１２１０を含む。いくつかの例では、表示デバイスが入力／出力デバイスを提供するタッチスクリーンデバイスである。コンピューティングデバイス１２００の構成要素は、追加のデバイスに結合するための外部ポートを有し得る内部通信システム１２１４を介して結合される。

【0073】

いくつかの例では、出力デバイスがスピーカ、ベル、ライト、オーディオ出力ジャック、指紋リーダ等を備える。いくつかの例では、入力デバイスがキーボード、ボタン、マイクロフォン、カメラ、マウス又はポインティングデバイス等を備える。他のデバイス（図示せず）は位置決定デバイス（例えば、ＧＰＳ）を備え得る。

【0074】

記憶デバイスは、一例ではオペレーティングシステム１２１６、ユーザアプリケーション１２１８（アプリケーション１１２０Ａ又は１１２０Ｂのうちの１つであり得る）、ウェブサイトをブラウズし、アプリケーション１１２０Ａ等の実行可能体（executables）を実行して、ウェブサイトから受信されたＧＡＮ生成器１１１６にアクセスするためのブラウザ１２２０（ユーザアプリケーションのタイプ）、並びに、カメラからの画像および／もしくはビデオフレーム、又は、他の手法で受信されたデータを記憶するデータ８２２を備え得る。

【0075】

図１１において、通信される（データ）項目（後述）は、コンピューティングデバイスと通信ネットワークとの間のそれぞれの通信接続に隣接して示される。特定のコンピューティングデバイスに隣接して位置付けられたアイテムは、そのデバイスによって受信され、通信ネットワークにより近くに位置付けられたアイテムは本明細書で以下に説明するように、それぞれのコンピューティングデバイスから別のデバイスに通信される。

【0076】

引き続き図１１を参照すると、一例では、スマートフォン１１０８のユーザがブラウザを用いてウェブサイトコンピューティングデバイス１１０４によって提供されるウェブサイトを訪問する。スマートフォン１１０８はネットワークフレームワーク１１１６へのアクセスを提供するアプリケーション１１２０Ａ（例えば、ウェブページ及び関連するコード及び／又はデータ）を受信する。この例では、アプリケーションが仮想および／または拡張現実体験を提供するアプリケーション上のヘアスタイルの試着等のエフェクトシミュレーションアプリケーションである。ユーザはカメラを用いて静止画像またはビデオ画像（例えば、自撮り画像）を取得し、このソース画像は、画像Ｉ_１ １１２２としてネットワークフレームワーク１１１６で処理するためのアプリケーションによって通信される。（ビデオとして提供される場合、単一の画像（例えば、静止画像）がそこから抽出され得る）。

【0077】

ユーザは、アプリケーション１１２０Ａによってもたらされるグラフィカルユーザインターフェース等を介して記憶１１２４からの参照画像（例えば、画像Ｉ_２及びＩ_３）であって、試着すべきｉ）毛髪の形状および構造（画像Ｉ_２）、ｉｉ）毛髪の外観（画像Ｉ_３）及び（ｉｉｉ）毛髪のより細かいスタイル（画像Ｉ_３）を表す参照画像を選択する。ｉ）、ｉｉ）及びｉｉｉ）のそれぞれは、それぞれのヘアスタイル属性を含む。

【0078】

ヘアスタイルの試着のエフェクト（属性の特徴）は、画像Ｉ_１ １１２２に表されるアイデンティティを維持しながら、ネットワークフレームワーク１１１６を用いて、生成され及び／又は、結果として得られる画像（Ｉ_Ｇ）１２２６に移送される。得られた画像１２２６（Ｉ_Ｇ）は、スマートフォン１１０８に返送され、その表示デバイスを介して表示される。一実施形態では、Ｉ_ＧがＩ_１との対比のためにグラフィカルユーザインターフェースに表示される。一実施形態では、Ｉ_ＧがＩ_１、Ｉ_２及びＩ_３の全てとの対比のために、グラフィカルユーザインターフェースに表示される。

【0079】

一実施形態では、結果として得られる画像１２２６が記憶デバイスに記憶される。一実施形態では、結果として得られる画像１２２６がソーシャルメディア、テキストメッセージ、電子メール等のいずれかを介して共有（通信）される。

【0080】

一実施形態では、ウェブサイトコンピューティングデバイス１１０４がサービス（例えば、電子商取引サービス）が可能であり、アプリケーション１１２０Ａを介して仮想的に試着された参照画像に関連付けられた１若しくは複数の製品等のヘア製品またはヘアスタイル製品の購入を容易にする。一実施形態では、ウェブサイトコンピューティングデバイス１１０４がヘア製品またはヘアスタイル製品を推奨するための推奨サービスを提供する。一実施形態では、ウェブサイトコンピューティングデバイス１１０４がサービス（例えば、ヘア又はヘアスタイリングサービス）を推奨するための推奨サービスを提供する。ヘア又はヘアスタイル製品は、シャンプー、コンディショナー、オイル、血清（serum）、ビタミン、ミネラル、酵素および他のヘア又は頭皮トリートメント製品；カラーリング剤；スプレー、ジェル、ワックス、ムース及び毛髪への適用のための他のスタイリング製品；コーム、ブラシ、ヘアドライヤー、カーリングワンド（curling wands）、ストレートワンド（straightening wands）、フラットアイロン（flat irons）、ハサミ、カミソリ、ローラー、マッサージツール等のヘア又は頭皮ツール又は器具；並びに、クリップ、ヘアタイ、スクランシー、バンド等を含むアクセサリーを含むことができる。ヘア又はヘアスタイルサービスは、カッティング、カラーリング、スタイリング、ストレートニング（straightening）又は他の毛髪および頭皮トリートメント、脱毛、毛髪交換／かつらサービス、並びにそれらのための相談（consultations）を含むことができる。

【0081】

一実施形態では、アプリケーション１１２０Ａが画像Ｉ_１ １１２２を含み得るヘアスタイル、ライフスタイル及び／又はユーザデータを得るために、会話方式でユーザに関与するためのインターフェースを提供する。一実施形態では、データが分析され、推奨が生成される。推奨は、記憶１１２４からの参照画像の選択を含むことができる。参照画像のペア（例えば、特定の推奨Ｉ_３を有する特定の推奨Ｉ_２）が、全推奨ヘアスタイルのために提示されても良い。場合によっては、推奨される画像Ｉ_２及びＩ_３が、推奨される毛髪のスタイルおよび構成と毛髪の外観およびより細かいスタイルとの両方を示す単一の画像のように、同じ画像である場合もある。

【0082】

一実施形態では、アプリケーション１１２０Ａがユーザ提供の参照画像Ｉ_２及びＩ_３を受信するためのインターフェースを提供する。例えば、ユーザはヘアスタイルの例をスマートフォン１１０８に配置（又はカメラを介して生成）し、記憶できる。ユーザは結果画像１１２６に表されるヘアスタイルの試着を生成するのに用いるために、参照画像（まとめて１１２８）をウェブサイト１１０４にアップロードできる。

【0083】

引き続き図１１を参照すると、一例では、タブレット１１１０のユーザがブラウザを用いてアプリケーション配信コンピューティングデバイス１１０６によって提供されるウェブサイトを訪問する。タブレット１１１０は、ネットワークフレームワーク１１１６へのアクセスを提供するアプリケーション１１２０Ｂを受信する。アプリケーション１１２０Ｂは、一例ではアプリケーション１１２０Ａと同様に構成される。ユーザはカメラを用いて静止画像またはビデオ画像（１１３０）（例えば、自撮り画像）を取得し、この画像は、画像Ｉ_１として用いられ、クラウドコンピューティングデバイス１１０５におけるＧＡＮ生成器による処理のために通信される。本実施形態では、タブレット１１１０のユーザが画像Ｉ_２及びＩ_３（まとめて１１３２）もアップロードする。画像１１３２は、アプリケーション１１２０Ｂによって推奨されるか、ユーザによって配置され得る。結果として得られる画像１１３４は、タブレット１１１０の表示デバイスを介して通信され、表示され、記憶デバイスに記憶され、ソーシャルメディア、テキストメッセージ、電子メール等を介して共有（通信）され得る。

【0084】

アプリケーション１１２０Ｂは、一実施形態ではヘアスタイルに関連付けられ得る製品および／またはサービスの推奨および／または購入促進のためのサービスへの１又は複数のインターフェースをタブレット１１１０に提供するように構成される。

【0085】

一例では、アプリケーション１１２０Ｂがフォトギャラリーアプリケーションである。ヘアスタイルエフェクトは、フレームワーク１１１６を用いて参加者のカメラからのユーザ画像（画像Ｉ_１の例）等に適用される。アプリケーション１１２０Ｂは、ユーザが画像Ｉ_２及びＩ_３の選択を容易できる。例えば、フォトギャラリーアプリケーションに関連するデータストア（例えば、タブレット１１１０の記憶デバイス）から又はインターネット若しくは他のデータストア（例えば、推奨サービスを介した）から。

【0086】

従って、一実施形態では、ネットワークフレームワーク１１１６がヘアスタイルの移送を実行して、第１画像からのアイデンティティと、第２画像からの第１ヘアスタイル属性と、第３画像からの少なくとも１つの第２ヘアスタイル属性とを含む合成画像を生成するように構成される。ネットワークフレームワーク１１１６は、編集可能なヘアスタイルの移送、ａ）毛髪の形状および構造の解きほぐし特徴、並びに、ｂ）毛髪の外観およびより細かいスタイルを提供するように構成され、それによって、移送する毛髪属性の選択を可能にする。一実施形態では、ネットワークフレームワークが２段階最適化を用いて、スタイル属性を互いから解きほぐすための移送を実行する。実施形態ではネットワークフレームワークが合成画像（Ｉ_Ｇ）を生成し、最適化の第１段階では第１画像（Ｉ_１）の顔からのアイデンティティをＩ_Ｇの顔領域に、第２画像（Ｉ_２）の毛髪領域からの毛髪の形状および構造属性をＩ_Ｇの毛髪領域にそれぞれ再構成する。更に第２段階では、ネットワークフレームワークが、第３画像（Ｉ_３）の毛髪領域からの毛髪の外観属性およびより細かいスタイル属性のそれぞれを、第１段階で再構成されたＩ_Ｇの毛髪領域に移送する。一実施形態では、インペインティングはＩ_１の背景から等、背景領域を充填する。

【0087】

一実施形態では、ネットワークフレームワークがＩ_２で表される少なくとも１つのスタイル属性と、Ｉ_３で表される少なくとも１つのスタイル属性とを解きほぐすために、２段階最適化において勾配直交化を実行するように構成される。

【0088】

一実施形態では移送されるスタイルがヘアスタイルである場合、Ｉ_２で表される少なくとも１つのスタイル属性は毛髪の形状および構造属性であり、Ｉ_３で表される少なくとも１つのスタイル属性はｉ）外観属性およびｉｉ）より細かいスタイル属性である。

【0089】

一実施形態では、２段階最適化が、アイデンティティ再構成損失（Ｌ_ｆ）、毛髪の形状および構造再構成損失（Ｌ_ｒ）、外観損失（Ｌ_ａ）、並びに、より細かいスタイル損失（Ｌ_ｓ）を含む損失を最適化する。一実施形態ではＬ_ｆ及びＬ_ｒが、Ｌ_Ａ及びＬ_ｓを最適化することなく第１段階で最適化され、Ｌ_ｆ、Ｌ_ｒ、Ｌ_ａ及びＬ_ｓが第２段階で最適化され、Ｌ_ｒがＩ_２の外観およびより細かいスタイル属性とＩ_３のそれらの属性との間の競合を回避するために勾配直交化を介して最適化される。

【0090】

本明細書の実施形態は主にヘアスタイルの移送を参照して説明されるが、複数のスタイル属性について、他のスタイルの移送が実行されても良い。一実施形態によれば、人工知能（ＡＩ）を用いてスタイル移送を実行する方法が提供され、スタイルは複数のスタイル属性を含む。本方法は、第１画像（Ｉ_１）、第２画像（Ｉ_２）及び第３画像（Ｉ_３）を含む複数の画像を、生成的敵対ネットワーク（ＧＡＮ）生成器と、第１画像（Ｉ_１）で表されるアイデンティティ、第２画像（Ｉ_２）で表される少なくとも１つのスタイル属性から決定されるスタイル及び第３画像（Ｉ_３）で表される少なくとも１つのスタイル属性とを含む合成画像（Ｉ_Ｇ）を生成するための２段階最適化とを備えるＡＩネットワークフレームワークを用いて処理することを含む。この方式では、ネットワークフレームワークがＩ_２で表される少なくとも１つのスタイル属性とＩ_３で表される少なくとも１つのスタイル属性とを解きながら、スタイル移送を実行するためにＧＡＮの潜在空間を最適化するように構成される。一実施形態ではＩ_Ｇがアイデンティティ領域、スタイル領域および背景領域とを備え、潜在空間を最適化する目的関数に従って第１段階においてネットワークフレームワークが、Ｉ_１で表されるアイデンティティをＩ_Ｇのアイデンティティ領域に再構成し、Ｉ_２で表される少なくとも１つのスタイル属性をＩ_Ｇのスタイル領域に再構成するように構成される。一実施形態では目的機能による第２段階においてネットワークフレームワークは、Ｉ_３で表される少なくとも１つのスタイル属性のそれぞれをＩ_Ｇのスタイル領域にそれぞれ移送するように構成される。

【0091】

ヘアスタイルの移送等の実施形態では、Ｉ_１のアイデンティティがＩ_１、Ｉ_２及びＩ_３との間で一意（unique）であるとき、完全なヘアスタイルの移送が可能になる。ヘアスタイルの移送等の実施形態では、Ｉ_２の毛髪の形状および構造がＩ_１、Ｉ_２及びＩ_３との間で一意であるとき、少なくとも形状および構造に関連するヘアスタイルの移送が可能になる。ヘアスタイルの移送等の実施形態では、Ｉ_３の毛髪の外観がＩ_１、Ｉ_２及びＩ_３との間で一意であるとき、少なくとも外観に関連するヘアスタイルの移送が可能になる。ヘアスタイルの移送等の実施形態では、Ｉ_３のより細かいスタイルがＩ_１、Ｉ_２及びＩ_３との間で一意であるとき、少なくとも毛髪のより細かい細部に関連するヘアスタイルの移送が可能になる。

【0092】

一実施形態では、該方法がセグメンテーションネットワークを用いてＩ_Ｇ、Ｉ_１、Ｉ_２及びＩ_３をそれぞれ処理し、それぞれの画像についてそれぞれの毛髪（スタイル）マスク及び顔（アイデンティティ）マスクを定義し、そのようなマスクのうちの選択された１つを用いて、スタイルを移送するためのそれぞれのターゲットマスクを定義することを含む。

【0093】

一実施形態によると、ＧＡＮ生成器は最初に、スタイル移送を受信するための平均画像（mean image）としてＩ_Ｇを生成する。

【0094】

一実施形態では、アイデンティティが事前訓練されたニューラルネットワーク符号器を用いてＩ_１を処理することで抽出された高レベル特徴を用いて再構成される。ヘアスタイルの移送における一実施形態では、毛髪の形状および構造が事前訓練されたニューラルネットワーク符号器を用いてＩ_２を処理することで生成された後のブロックからの特徴を用いて再構成される。ヘアスタイルの移送における一実施形態では、Ｉ_２の毛髪領域が合成された毛髪のターゲットの配置にソフトな制約を課す侵食された毛髪領域である。ヘアスタイルの移送における一実施形態では毛髪の外観が事前訓練されたニューラルネットワーク符号器を用いてＩ_３を処理することで、第１ブロックで抽出された特徴から決定された全体的な外観を用いて移送され、全体的な外観は空間情報に関係なく決定される。ヘアスタイルの移送における一実施形態では、ヘアスタイルより細かいスタイルが事前訓練されたニューラルネットワーク符号器を用いてＩ_３を処理することで抽出された高レベル特徴マップに従って移送される。

【0095】

ヘアスタイルの移送における一実施形態では毛髪の外観は色を含み、より細かいスタイルは束のスタイルのいずれかと、毛髪ストランド間のシェーディング変化とを含むより細かい詳細を含む。

【0096】

一実施形態では、方法がスタイル移送に関連する製品および／またはサービスを購入するための（電子商取引）サービスへのインターフェースを提供することを含む。

【0097】

一実施形態では、Ｉ_ＧがＩ_１との対比のためにグラフィカルユーザインターフェース内に表示するために提供される。

【0098】

一実施形態では、方法がスタイル移送に関連する製品および／またはサービスを推奨するように構成されたサービスにインターフェースを提供することを含む。

【0099】

ヘアスタイルの移送における一実施形態では、方法がＩ_１を受信するためのインターフェースを提供することと、毛髪の形状および構造ならびに毛髪外観およびより細かいスタイルを含むヘアスタイルのようなそれぞれのスタイル属性を示す参照画像の記憶（store）を提供することと、参照画像のうちの１つからのＩ_２を定義するための入力を受信するための選択インターフェースを提供することと、参照画像のうちの１つからＩ_３を定義するための入力を受信するための選択インターフェースを提供することとを含む。一実施形態において（例えば、ヘアスタイルの移送において）、参照画像の記憶以外からＩ_２及びＩ_３の一方または両方を受信するためのインターフェースを提供することを含む。

【0100】

一実施形態では、アイデンティティ画像（例えば、Ｉ_１）に対して仮想的なヘアスタイルの試着を実行するためのネットワークフレームワークと、アイデンティティ上のヘアスタイルをシミュレートするための異なるヘアスタイル属性を表す複数の参照画像（例えば、Ｉ_２及びＩ_３）とを提供するように構成され、アイデンティティ及びヘアスタイルを仮想的なヘアスタイルの試着を表す合成画像（例えば、Ｉ_Ｇ）に組み込むときに、異なるヘアスタイル属性を解きほぐして現実的な合成された毛髪を提供する最適化を実行するように構成されたネットワークフレームワークと、提示のために合成画像を提供するように構成されたネットワークフレームワークとを備えるコンピュータ装置が提供される。一実施形態では、回路がヘア若しくはヘアスタイルの製品、サービス又はその両方を購入するためのインターフェースと、そのような製品、サービス又はその両方のための推奨を生成するためのインターフェースとを提供するように構成される。
＜結論＞

【0101】

実施形態によれば、ポートレート画像に対してヘアスタイルの移送を実行する最適化フレームワークであるＬＯＨＯの導入は、事前訓練されたＧＡＮを用いた空間依存の属性操作の方向におけるステップをとる。顔合成のようなより一般的なタスクで訓練された表現モデルの潜在空間を操作することにより、ヘアスタイルの移送のような特定の合成タスクに近づくアルゴリズムを開発することは、大きな訓練データセットを収集することなく多くの下流タスクを完了するのに有効であることを示した。ＧＡＮ反転アプローチは、大きな訓練データセットへのアクセスを有するフィードフォワードＧＡＮパイプラインよりも、現実的な穴の充填等の問題をより効果的に解決できる。

【0102】

実用的な実装は、本明細書に記載される特徴のいずれか又は全てを含むことができる。これら及び他の態様、特徴及び様々な組合せは、機能を実行するための方法、機器、系、手段及び本明細書で説明する特徴を組み合わせる他の方法として表され得る。いくつかの実施形態について説明した。それにもかかわらず、本明細書に記載されるプロセスおよび技法の趣旨および範囲から逸脱することなく、様々な修正がなされ得ることが理解されよう。加えて、他のステップを提供でき又はステップを記載されたプロセスから排除でき、他の構成要素を記載されたシステムに追加するか又はそこから除去できる。従って、他の態様は特許請求の範囲の範囲内にある。

【0103】

本明細書の説明および特許請求の範囲を通して、単語「含む（comprise）」及び「含む（contain）」及びそれらの変形は「含むが、限定されない（including but not limited to）」を意味し、他の構成要素、整数又はステップを排除することを意図しない（。本明細書全体を通して、単数形は文脈が他のことを必要としない限り、複数形を包含する。特に、不定冠詞が用いられる場合は本明細書がその状況が他のことを要求していない限り、単数だけでなく複数も意図していると理解されたい。

【0104】

本発明の特定の態様、実施形態又は実施例に関連して説明される特徴、整数、特性又は群はそれらと互換性がない場合を除き、任意の他の態様、実施形態又は実施例に適用可能であると理解されるべきである。本明細書に開示される特徴の全て（任意の添付の特許請求の範囲、要約及び図面を含む）及び／又はそのように開示される任意の方法またはプロセスのステップの全ては、そのような特徴及び／又はステップの少なくともいくつかが相互に排他的である組合せを除いて、任意の組合せで組み合わせることができる。本発明は、前述の任意の例または実施形態の詳細に限定されない。本発明は、本明細書（添付の特許請求の範囲、要約および図面を含む）に開示される特徴の任意の新規な１又は任意の新規な組み合わせ又は開示される任意の方法またはプロセスのステップの任意の新規な１又は任意の新規な組み合わせに及ぶ。

参考文献－その全体が参照により本明細書に組み込まれる。
[1]Rameen Abdal, Yipeng Qin, and Peter Wonka. Image2stylegan:How to embed images into the stylegan latent space? In 2019 IEEE/CVF International Conference on Computer Vision (ICCV), 2019.

[2]R. Abdal, Y. Qin, and P. Wonka. Image2stylegan++: How to edit the embedded images? In 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 8293-8302, 2020.

[3]Andrew Brock, Jeff Donahue, and Karen Simonyan. Large scale GAN training for high fidelity natural image synthesis. In International Conference on Learning Representations, 2019.

[4]Adrian Bulat and Georgios Tzimiropoulos. How far are we from solving the 2d & 3d face alignment problem? (and a dataset of 230,000 3d facial landmarks). In International Conference on Computer Vision, 2017.

[5]Egor Burkov, Igor Pasechnik, Artur Grigorev, and Victor Lempitsky. Neural head reenactment with latent pose descriptors. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020.

[6]Menglei Chai, Linjie Luo, Kalyan Sunkavalli, Nathan Carr, Sunil Hadap, and Kun Zhou. High-quality hair modeling from a single portrait photo. ACM Transactions on Graphics, 34:1-10, 10 2015.

[7]Menglei Chai, Lvdi Wang, Yanlin Weng, Xiaogang Jin, and Kun Zhou. Dynamic hair manipulation in images and videos. ACM Transactions on Graphics (TOG), 32, 07 2013.

[8]Menglei Chai, Lvdi Wang, Yanlin Weng, Yizhou Yu, Baining Guo, and Kun Zhou. Single-view hair modeling for portrait manipulation. ACM Transactions on Graphics, 31, 07 2012.

[9]Caroline Chan, Shiry Ginosar, Tinghui Zhou, and Alexei A Efros. Everybody dance now. In IEEE International Conference on Computer Vision (ICCV), 2019.

[10]L. A. Gatys, A. S. Ecker, and M. Bethge. Image style transfer using convolutional neural networks. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 2414-2423, 2016.

[11]Ke Gong, Yiming Gao, Xiaodan Liang, Xiaohui Shen, Meng Wang, and Liang Lin. Graphonomy: Universal human parsing via graph transfer learning. In CVPR, 2019.

[12]Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative adversarial nets. In Proceedings of the 27th International Conference on Neural Information Processing Systems - Volume 2, NIPS'14, page 2672-2680, 2014.

[13]Shanyan Guan, Ying Tai, Bingbing Ni, Feida Zhu, Feiyue Huang, and Xiaokang Yang. Collaborative learning for faster stylegan embedding, 2020.

[14]Martin Heusel, Hubert Ramsauer, Thomas Unterthiner, Bernhard Nessler, and Sepp Hochreiter. Gans trained by a two time-scale update rule converge to a local nash equilibrium. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, volume 30, pages 6626-6637. Curran Associates, Inc., 2017.

[15]P. Isola, J. Zhu, T. Zhou, and A. A. Efros. Image-to-image translation with conditional adversarial networks. In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 5967-5976, 2017.

[16]Youngjoo Jo and Jongyoul Park. Sc-fegan: Face editing generative adversarial network with user's sketch and color. In The IEEE International Conference on Computer Vision (ICCV), October 2019.

[17]Justin Johnson, Alexandre Alahi, and Li Fei-Fei. Perceptual losses for real-time style transfer and super-resolution. In European Conference on Computer Vision, 2016.

[18]Tero Karras, Timo Aila, Samuli Laine, and Jaakko Lehtinen. Progressive growing of gans for improved quality, stability, and variation. In International Conference on Learning Representations,
2017.

[19]T. Karras, S. Laine, and T. Aila. A style-based generator architecture for generative adversarial networks. In 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019.

[20]Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, and Timo Aila. Analyzing and improving the image quality of StyleGAN. In Proc. CVPR, 2020.

[21]Vladimir Kim, Ersin Yumer, and Hao Li. Real-time hair rendering using sequential adversarial networks. In European Conference on Computer Vision, 2018.

[22]Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In International Conference on Learning Representations, 2015.

[23]Cheng-Han Lee, Ziwei Liu, Lingyun Wu, and Ping Luo. Maskgan: Towards diverse and interactive facial image manipulation. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020.

[24]J. Li, X. Liang, Y. Wei, T. Xu, J. Feng, and S. Yan. Perceptual generative adversarial networks for small object detection. In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 1951-1959, 2017.

[25]T. Park, M. Liu, T. Wang, and J. Zhu. Semantic image synthesis with spatially-adaptive normalization. In 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 2332-2341, 2019.

[26]Stanislav Pidhorskyi, Donald A Adjeroh, and Gianfranco Doretto. Adversarial latent autoencoders. In Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2020. [to appear]

[27]Elad Richardson, Yuval Alaluf, Or Patashnik, Yotam Nitzan, Yaniv Azar, Stav Shapiro, and Daniel Cohen-Or. Encoding in style: a stylegan encoder for image-to-image translation. arXiv preprint arXiv:2008.00951, 2020.

[28]Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. In International Conference on Learning Representations, 2015.

[29]C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, and Z. Wojna. Rethinking the inception architecture for computer vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 2818-2826, 2016.

[30]Zhentao Tan, Menglei Chai, Dongdong Chen, Jing Liao, Qi Chu, Lu Yuan, Sergey Tulyakov, and Nenghai Yu. Michigan: Multi-input-conditioned hair image generation for portrait editing. ACM Transactions on Graphics (TOG), 39(4):1-13, 2020.

[31]A. Tao, K. Sapra, and Bryan Catanzaro. Hierarchical multi-scale attention for semantic segmentation. ArXiv, abs/2005.10821, 2020.

[32]T. Wang, M. Liu, J. Zhu, A. Tao, J. Kautz, and B. Catanzaro. High-resolution image synthesis and semantic manipulation with conditional gans. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8798-8807, 2018.

[33]Ting-Chun Wang, Ming-Yu Liu, Andrew Tao, Guilin Liu, Jan Kautz, and Bryan Catanzaro. Few-shot video-to-video synthesis. In Advances in Neural Information Processing Systems (NeurIPS), 2019.

[34]Ting-Chun Wang, Ming-Yu Liu, Jun-Yan Zhu, Guilin Liu, Andrew Tao, Jan Kautz, and Bryan Catanzaro. Video-to-video synthesis. In Conference on Neural Information Processing Systems (NeurIPS), 2018.

[35]Yanlin Weng, Lvdi Wang, Xiao Li, Menglei Chai, and Kun Zhou. Hair interpolation for portrait morphing. Computer Graphics Forum, 32, 10 2013.

[36]J. Yu, Z. Lin, J. Yang, X. Shen, X. Lu, and T. Huang. Freeform image inpainting with gated convolution. In 2019 IEEE/CVF International Conference on Computer Vision
(ICCV), pages 4470-4479, 2019.

[37]Yuhui Yuan, Xilin Chen, and Jingdong Wang. Object-contextual representations for semantic segmentation. In Computer Vision - ECCV 2020, pages 173-190, 2020.

[38]E. Zakharov, A. Shysheya, E. Burkov, and V. Lempitsky. Few-shot adversarial learning of realistic neural talking head models. In 2019 IEEE/CVF International Conference on Computer Vision (ICCV), pages 9458-9467, 2019.

[39]Richard Zhang, Phillip Isola, Alexei A Efros, Eli Shechtman, and Oliver Wang. The unreasonable effectiveness of deep features as a perceptual metric. In CVPR, 2018.

[40]J. Zhu, T. Park, P. Isola, and A. A. Efros. Unpaired image-to-image translation using cycle-consistent adversarial networks. In 2017 IEEE International Conference on Computer Vision (ICCV), pages 2242-2251, 2017.

[41]Jiapeng Zhu, Yujun Shen, Deli Zhao, and Bolei Zhou. In-domain gan inversion for real image editing. In Proceedings of European Conference on Computer Vision (ECCV), 2020.
＜その他＞
＜手段＞
技術的思想１の方法は、スタイル移送を実行する方法であり、前記スタイルは複数のスタイル属性を含み、第１画像（Ｉ _１ ）、第２画像（Ｉ _２ ）及び第３画像（Ｉ _３ ）を含む複数の画像を、生成的敵対ネットワーク（ＧＡＮ）生成器と、前記第１画像（Ｉ _１ ）で表されるアイデンティティ、前記第２画像（Ｉ _２ ）で表される少なくとも１つのスタイル属性から決定されるスタイル及び前記第３画像（Ｉ _３ ）で表される少なくとも１つのスタイル属性を含む合成画像（Ｉ _Ｇ ）を生成するための２段階最適化とを備える人工知能（ＡＩ）ネットワークフレームワークを用いて処理し、前記ネットワークフレームワークは、Ｉ _２ で表される前記少なくとも１つのスタイル属性およびＩ _３ で表される前記少なくとも１つのスタイル属性を解きほぐしながら、前記スタイル移送を実行するために前記ＧＡＮ生成器の潜在空間を最適化するように構成される。
技術的思想２の方法は、技術的思想１記載の方法において、Ｉ _Ｇ は、アイデンティティ領域、スタイル領域および背景領域を含み、前記潜在空間を最適化するための目的関数に従った第１段階において前記ネットワークフレームワークは、Ｉ _１ で表される前記アイデンティティをＩ _Ｇ の前記アイデンティティ領域に再構成し、Ｉ _２ で表される前記少なくとも１つのスタイル属性をＩ _Ｇ の前記スタイル領域に再構成するものである。
技術的思想３の方法は、技術的思想２記載の方法において、前記目的関数による第２段階において前記ネットワークフレームワークは、Ｉ _３ で表される少なくとも１つのスタイル属性をＩ _Ｇ の前記スタイル領域に移送する。
技術的思想４の方法は、技術的思想３記載の方法において、前記ネットワークフレームワークは前記スタイル移送に続いて前記背景領域をインペイントするように構成される。
技術的思想５の方法は、技術的思想１から４のいずれかに記載の方法において、前記ネットワークフレームワークが、Ｉ _２ で表される前記少なくとも１つのスタイル属性と、Ｉ _３ で表される前記少なくとも１つのスタイル属性とを解きほぐすために、前記２段階最適化において勾配直交化を実行するように構成される。
技術的思想６の方法は、技術的思想１から５のいずれかに記載の方法において、前記スタイルはヘアスタイルであり、Ｉ _２ で表される前記少なくとも１つのスタイル属性は毛髪の形状および構造属性であり、Ｉ３で表される前記少なくとも１つのスタイル属性はｉ）外観属性およびｉｉ）より細かいスタイル属性である。
技術的思想７の方法は、技術的思想６記載の方法において、前記ＧＡＮ生成器は、スタイル移送のために構成された事前訓練されたＧＡＮから定義される。
技術的思想８の方法は、技術的思想６又は７に記載の方法において、前記２段階最適化が、アイデンティティ再構成損失（Ｌ _ｆ ）、毛髪の形状および構造再構成の喪失（Ｌ _ｒ ）、外観損失（Ｌ _ａ ）、並びに、より細かいスタイル損失（Ｌ _ｓ ）を含む損失を最適化する。
技術的思想９の方法は、技術的思想８記載の方法において、Ｌ _ｆ とＬ _ｒ が、Ｌ _ａ とＬ _ｓ を最適化せずに第１段階で最適化され、Ｌ _ｆ 、Ｌ _ｒ 、Ｌ _ａ 及びＬ _ｓ が第２段階で最適化され、Ｌ _ｒ がＩ _２ の外観およびより細かいスタイル属性とＩ _３ のそれらの属性との間の競合を回避するために勾配直交化を介して最適化される。
技術的思想１０の方法は、合成画像（Ｉ _Ｇ ）にヘアスタイルを移送する方法であって、生成的敵対ネットワーク（ＧＡＮ）生成器を備えるネットワークフレームワークによって合成画像（Ｉ _Ｇ ）を生成し、前記ネットワークは、前記ＧＡＮの潜在空間を最適化するために２段階最適化を実行するように構成され、前記２段階最適化の第１段階において前記ネットワークフレームワークによって、第１画像（Ｉ _１ ）の顔からのアイデンティティをＩ _Ｇ の顔領域に、第２画像（Ｉ _２ ）の毛髪領域からの毛髪の形状および構造属性をＩ _Ｇ の毛髪領域にそれぞれ再構成し、前記２段階最適化の第２段階において前記ネットワークフレームワークによって、第３画像（Ｉ _３ ）の毛髪領域からの毛髪の外観属性およびより細かいスタイル属性のそれぞれを前記第１段階で再構成されたＩ _Ｇ の毛髪領域に移送することを特徴とする。
技術的思想１１の方法は、技術的思想１０記載の方法において、前記ＧＡＮ生成器は、スタイル移送のために顔画像を処理するための事前訓練されたＧＡＮから定義される。
技術的思想１２の方法は、技術的思想１０又は１１に記載の方法において、前記２段階最適化が各段階において、アイデンティティ再構成損失（Ｌ _ｆ ）、毛髪の形状および構造再構成の喪失（Ｌ _ｒ ）、外観損失（Ｌ _ａ ）、並びに、より細かいスタイル損失（Ｌ _ｓ ）から構成される目的関数を用いて最適化を実行する。
技術的思想１３の方法は、技術的思想１２記載の方法において、Ｌ _ｆ とＬ _ｒ が、Ｌ _ａ とＬ _ｓ を最適化せずに前記第１段階で最適化され、Ｌ _ｆ 、Ｌ _ｒ 、Ｌ _ａ 及びＬ _ｓ が前記第２段階で最適化され、Ｌ _ｒ がＩ _２ の外観およびより細かいスタイル特徴とＩ _３ のそれらの特徴との間の競合を回避するために勾配直交化を介して最適化される。
技術的思想１４の方法は、技術的思想１０から１３のいずれかに記載の方法において、前記ヘアスタイルの移送後のＩ _Ｇ の背景領域を、好ましくはＩ _１ の背景領域からインペイントする。
技術的思想１５の方法は、前記した技術的思想のいずれかに記載の方法において、前記ネットワークフレームワークが、編集可能なヘアスタイルの移送、ａ）毛髪の形状および構造の解きほぐし特徴、並びに、ｂ）毛髪の外観およびより細かいスタイルを提供するように構成され、それによって、移送する毛髪属性の選択を可能にする。
技術的思想１６の方法は、技術的思想１５記載の方法において、Ｉ _１ の前記アイデンティティは、Ｉ _１ 、Ｉ _２ 及びＩ _３ との間で一意であり、それによって、完全なヘアスタイル移送を実行し、Ｉ _２ の前記毛髪の形状および構造は、Ｉ _１ 、Ｉ _２ 及びＩ _３ との間で一意であり、それによって、少なくとも形状および構造に関連するヘアスタイルの移送を実行し、Ｉ _３ の前記毛髪の外観は、Ｉ _１ 、Ｉ _２ 及びＩ _３ との間で一意であり、それによって、少なくとも外観に関連するヘアスタイルの移送を実行し、Ｉ _３ の前記毛髪のより細かいスタイルは、Ｉ _１ 、Ｉ _２ とＩ _３ との間で一意であり、それによって、少なくとも毛髪のより細かい細部に関連するヘアスタイルの移送を実行する。
技術的思想１７の方法は、前記した技術的思想のいずれかに記載の方法において、Ｉ _１ ～Ｉ _３ のそれぞれが、ポートレート画像であり、Ｉ _２ 及びＩ _３ が、Ｉ _１ で表される前記アイデンティティに移送されるヘアスタイル属性のための参照画像である。
技術的思想１８の方法は、前記した技術的思想のいずれかに記載の方法において、Ｉ _Ｇ 、Ｉ _１ 、Ｉ _２ 及びＩ _３ はそれぞれ、セグメンテーションネットワークを用いて、それぞれの画像についてそれぞれの毛髪（スタイル）マスク及び顔（アイデンティティ）マスクを定義し、そのようなマスクのうちの選択された１つを用いて、スタイルを移送するためのそれぞれのターゲットマスクを定義する。
技術的思想１９の方法は、前記した技術的思想のいずれかに記載の方法において、前記ＧＡＮ生成器は、前記スタイル移送を受信するための平均画像としてＩ _Ｇ を最初に生成する。
技術的思想２０の方法は、前記した技術的思想のいずれかに記載の方法において、前記アイデンティティが、事前訓練されたニューラルネットワーク符号器を用いてＩ _１ を処理することで抽出された高レベル特徴を用いて再構成される。
技術的思想２１の方法は、技術的思想２０記載の方法において、ヘアスタイル移送において、前記事前訓練されたニューラルネットワーク符号器を用いてＩ _２ を処理することで生成された後のブロックからの特徴を用いて、毛髪の形状および構造が再構成される。
技術的思想２２の方法は、技術的思想２１記載の方法において、ヘアスタイルの移送において、Ｉ _２ の毛髪領域が、合成された毛髪のターゲットの配置にソフトな制約を課す侵食された毛髪領域である。
技術的思想２３の方法は、技術的思想２０から２２のいずれかに記載の方法において、ヘアスタイルの移送において、前記事前訓練されたニューラルネットワーク符号器を用いてＩ _３ を処理することで第１ブロックで抽出された特徴から決定された全体的な外観を用いて毛髪の外観が移送され、前記全体的な外観は、空間情報に関係なく決定される。
技術的思想２４の方法は、技術的思想２０から２３のいずれかに記載の方法において、ヘアスタイルの移送において、前記事前訓練されたニューラルネットワーク符号器を用いてＩ _３ を処理することで抽出された高レベル特徴マップに従って、より細かいスタイルが移送される。
技術的思想２５の方法は、前記した技術的思想のいずれかに記載の方法において、ヘアスタイルの移送において、毛髪の外観が色を含み、より細かいスタイルが束のスタイル及び毛髪ストランド間のシェーディング変化のいずれかを含むより細かい詳細を含む。
技術的思想２６の方法は、前記した技術的思想のいずれかに記載の方法において、スタイル移送に関連する製品および／またはサービスを購入するための電子商取引サービスへのインターフェースを提供することを含む。
技術的思想２７の方法は、前記した技術的思想のいずれかに記載の方法において、スタイル移送に関連する製品および／またはサービスを推奨するように構成されたサービスへのインターフェースを提供することを含む。
技術的思想２８の方法は、前記した技術的思想のいずれかに記載の方法において、前記Ｉ _Ｇ は、Ｉ _１ との対比のためにグラフィカルユーザインターフェース内に表示するために提供される。
技術的思想２９の方法は、前記した技術的思想のいずれかに記載の方法において、Ｉ _１ を受信するためのインターフェースを提供することと、毛髪の形状および構造ならびに毛髪外観およびより細かいスタイルを含むヘアスタイルのようなそれぞれのスタイル属性を示す参照画像の記憶を提供することと、前記参照画像のうちの１つからＩ _２ を定義するための入力を受け取るための選択インターフェースを提供することと、前記参照画像のうちの１つからのＩ _３ を定義するための入力を受け取るための選択インターフェースを提供することとを含む。
技術的思想３０の方法は、技術的思想２９記載の方法において、前記参照画像の記憶以外からＩ _２ 及びＩ _３ の一方または両方を受信するためのインターフェースを提供することを含む。
技術的思想３１のコンピューティングデバイスは、プロセッサと、前記プロセッサによって実行されると、前記した請求項のいずれかに記載の方法を実行させるコンピュータ実行可能命令を記憶する記憶デバイスとを備える。
技術的思想３２のコンピューティングデバイスは、プロセッサと、前記プロセッサによって実行されるコンピュータ実行可能命令を記憶する記憶デバイスとを備えるものであり、ヘアスタイルの移送を実行するように構成されたネットワークフレームワークを備え、前記ネットワークフレームワークは、参照画像から第１画像（Ｉ _１ ）の顔からのアイデンティティが移送された毛髪属性を含む合成画像（Ｉ _Ｇ ）を生成するように構成された生成的敵対ネットワーク（ＧＡＮ）生成器を備え、前記毛髪属性は、ｉ）毛髪の形状および構造、ｉｉ）毛髪の外観およびｉｉｉ）毛髪のより細かいスタイルを含むものであり、前記ネットワークフレームワークは、潜在空間を最適化して、前記毛髪属性であるｉ）毛髪形状および構造を、ｉｉ）毛髪外観およびｉｉｉ）毛髪のより細かいスタイルから解きほぐすように構成される。
技術的思想３３のコンピューティングデバイスは、技術的思想３２記載のコンピューティングデバイスにおいて、前記参照画像は、第２画像（Ｉ _２ ）及び第３画像（Ｉ _３ ）を含み、Ｉ _１ 、Ｉ _２ 及びＩ _３ はそれぞれポートレート画像で構成され、前記ネットワークフレームワークは、Ｉ _２ から抽出された毛髪の形状と構造およびＩ _３ から抽出された毛髪の外観と毛髪のより細かいスタイルのそれぞれを用いる。
技術的思想３４のコンピューティングデバイスは、技術的思想３２から３３のいずれかに記載のコンピューティングデバイスにおいて、前記命令が実行されると、前記コンピューティングデバイスに、一旦生成されたＩ _１ の背景をＩ _Ｇ にインペイントさせる。
技術的思想３５のコンピューティングデバイスは、技術的思想３２から３４のいずれかに記載のコンピューティングデバイスにおいて、前記ＧＡＮ生成器は、前記潜在空間の最適化が前記毛髪属性を解きほぐすことを可能にするように、２段階最適化および勾配直交化を用いて訓練される。
技術的思想３６のコンピューティングデバイスは、技術的思想３２から３５のいずれかに記載のコンピューティングデバイスにおいて、毛髪の外観は色を含み、毛髪の細かいスタイルは、毛髪ストランド間の束のスタイル及びシェーディング変化のいずれかを含むより細かい詳細を含む。
技術的思想３７のコンピューティングデバイスは、技術的思想３２から３６のいずれかに記載のコンピューティングデバイスにおいて、前記命令が実行されると、前記コンピューティングデバイスに、ヘアスタイルに関連付けられた製品および／またはサービスを購入するための電子商取引サービスへのインターフェースを提供するように動作させる。
技術的思想３８のコンピューティングデバイスは、技術的思想３２から３７のいずれかに記載のコンピューティングデバイスにおいて、前記命令が実行されると、前記コンピューティングデバイスに、ヘアスタイルに関連する製品および／またはサービスを推奨するように構成されたサービスへのインターフェースを前記コンピューティングデバイスに提供するように動作させる。
技術的思想３９のコンピューティングデバイスは、技術的思想３２から３８のいずれかに記載のコンピューティングデバイスにおいて、前記命令が実行されると、前記コンピューティングデバイスにＩ _１ を受信するインターフェースを提供し、それぞれの毛髪属性を示す参照画像の記憶を提供し、ヘアスタイルの移送のための毛髪属性を定義するために少なくとも１つの参照画像を選択するための入力を受信する選択インターフェースを提供するように動作させる。
技術的思想４０のコンピューティングデバイスは、技術的思想３２から３９のいずれかに記載のコンピューティングデバイスにおいて、前記命令が実行されると、前記コンピューティングデバイスに、前記参照画像をアップロードするためのインターフェースを提供するように動作させる。
技術的思想４１のコンピューティングデバイスは、処理回路を備えるものであり、前記処理回路が動作すると、アイデンティティ画像と、アイデンティティ上のヘアスタイルをシミュレートするための異なるヘアスタイル属性を表す複数の参照画像とに対して仮想的なヘアスタイルの試着を実行するためのネットワークフレームワークを提供し、前記ネットワークフレームワークは前記アイデンティティ及びヘアスタイルを仮想的なヘアスタイルの試着を表す合成画像に組み込むときに現実的な合成された毛髪を提供するために前記異なるヘアスタイル属性を解きほぐす最適化を実行し、提示のために前記合成画像を提供するように構成される。
技術的思想４２のコンピューティングデバイスは、技術的思想４１記載のコンピューティングデバイスにおいて、前記回路が動作すると、ヘアスタイルに関連付けられた製品、サービス又はその両方を購入するためのインターフェースを提供することと、ヘアスタイルに関連付けられた推奨を生成するためのインターフェースを提供することとのうちの少なくとも１つを動作させる。
技術的思想４３の方法は、アイデンティティ画像およびアイデンティティ上のヘアスタイルをシミュレートするための異なるヘアスタイル属性を表す複数の参照画像に対して仮想的なヘアスタイルの試着と、前記アイデンティティ及びヘアスタイルを前記仮想的なヘアスタイルの試着を表す合成画像に組み込むときに、前記異なるヘアスタイル属性を解きほぐして現実的な合成された毛髪を提供する最適化を実行するように構成されたネットワークフレームワークを用いて実行される前記試着とを実行し、提示のために前記合成画像を提供する。
技術的思想４４の方法は、技術的思想４３記載の方法において、ヘアスタイルに関連付けられた製品、サービス又はその両方を購入するためのインターフェースを提供することと、ヘアスタイルに関連付けられた推奨を生成するためのインターフェースを提供することと、のうちの少なくとも１つを含む。

【国際調査報告】