(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-29
(54)【発明の名称】画像ドメインマッチング技術
(51)【国際特許分類】
G06T 1/00 20060101AFI20240221BHJP
【ＦＩ】
G06T1/00 500Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023555442
(86)(22)【出願日】2022-03-01
(85)【翻訳文提出日】2023-10-26
(86)【国際出願番号】 IB2022051776
(87)【国際公開番号】W WO2022189894
(87)【国際公開日】2022-09-15
(31)【優先権主張番号】21161894.7
(32)【優先日】2021-03-10
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】523343651
【氏名又は名称】マインドテック グローバル リミテッド
【氏名又は名称原語表記】ＭＩＮＤＴＥＣＨ ＧＬＯＢＡＬ ＬＩＭＩＴＥＤ
(74)【代理人】
【識別番号】100139723
【弁理士】
【氏名又は名称】樋口 洋
(72)【発明者】
【氏名】マレック，アリ
(72)【発明者】
【氏名】マクギネス，ピーター
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057BA02
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE03
5B057DB02
5B057DB06
5B057DB09
(57)【要約】
画像品質を向上するためのプロセスであって、選択されたスタイル画像をベースとして用いて、コンテンツ画像上でスタイル転送を行う。スタイル転送に使用されるスタイル画像は、コンテンツ画像との類似性の程度を表す関連する類似性パラメータをそれぞれが有する多数の候補スタイル画像から選択される。選択されたスタイル画像は、スタイル画像とコンテンツ画像との類似性が最も高い類似性パラメータを有する候補スタイル画像である。
【特許請求の範囲】
【請求項1】
スタイル画像ｌＳｊを、エンティティクラスｉ（ｉ：１，２，．．．Ｍ）を含むコンテンツ画像ｌｃに適用するためのプロセスであって、各々がエンティティクラスｉ（ｉ：１，２，．．．Ｍ）を含む複数のｊスタイル画像（ｌＳｊ：ｌＳ１，ｌＳ２，．．．ｌＳＮ）を提供するステップ；
各エンティティクラスｉについて、
ａ）複数のスタイル画像（ｌＳｊ：ｌＳ１，ｌＳ２，．．．ｌＳＮ）の各スタイル画像ｌｓｊについて、各スタイル画像ｌｓｊとコンテンツ画像ｌｃとの間の類似性を表すパラメータλｉｊを計算するステップ；
ｂ）複数のスタイル画像ｌｓｊから、最も高い類似性を表すパラメータλｉｗを有するスタイル画像ｌｓｗを選択するステップ；
ｃ）選択されたスタイル画像ｌｓｗをコンテンツ画像ｌｃに適用することによって、コンテンツ画像ｌｃをスタイル化して、スタイル化されたコンテンツ画像ｌＣＳｉを生成するステップ
を含む、プロセス。
【請求項2】
前記パラメータλｉｊを計算するステップが、【数1】
上記式において、ＣｉおよびＳｉｊは、それぞれｌｃおよびｌｓｊ上でｉとしてラベル付けされたピクセルの数であり、前記選択するステップが、各ｉ値についてλｉｗの最高値を有するスタイル画像ｌｓｗを選択するステップを含む
ことを特徴とする、請求項１に記載のプロセス。
【請求項3】
前記パラメータλｉｊは、前記類似性に反比例し、前記選択するステップは、所与のｉ値に対してλｉｊの最小値を有するスタイル画像ｌｓｗを選択するステップを含むことを特徴とする、請求項１に記載のプロセス。
【請求項4】
前記パラメータλｉｊを計算するステップが、【数2】
上記式において、ＣｉおよびＳｉｊは、それぞれｌｃおよびｌｓｊ上でｉとしてラベル付けされたピクセルの数であり、前記選択するステップが、各ｉ値についてλｉｗの最低値を有するスタイル画像ｌｓｗを選択するステップを含む
ことを特徴とする、請求項３に記載のプロセス。
【請求項5】
前記パラメータλｉｊを計算するステップは、ｌｃおよびｌｓｊ上でｉとしてラベル付けされたピクセルの数以外の構成パラメータを含む類似性パラメータλｉｊを計算するステップを含むことを特徴とする、請求項１または３に記載のプロセス。
【請求項6】
前記構成パラメータは、前記コンテンツ画像ｌｃおよび前記スタイル画像ｌｓｊにおいてｉとしてラベル付けされたエンティティの数を含むことを特徴とする、請求項５に記載のプロセス。
【請求項7】
前記構成パラメータは、前記コンテンツ画像ｌｃおよび前記スタイル画像ｌｓｊにおける特定のクラスｉのエンティティのサイズを含むことを特徴とする、請求項５に記載のプロセス。
【請求項8】
前記パラメータλｉｊの値は、ｉ行ｊ列のｉ－ｊ行列の要素であることを特徴とする、請求項１～７のいずれか一項に記載のプロセス。
【請求項9】
さらなるエンティティクラスｉ（ｉ＞１）の各々について、前記選択されたスタイル画像ｌＳＷを上記のｉ値のスタイル化コンテンツ画像ｌｃｓｉ－１に適用することによって、スタイル化コンテンツ画像ｌｃｓｉを生成するステップ、および前記最終的なエンティティクラスｉ＝Ｍについて、最終的なスタイル化コンテンツ画像ｌｃｓＭを導出するステップ
をさらに含むことを特徴とする、請求項１～８のいずれか一項に記載のプロセス。
【請求項10】
ｉ＝１およびＭ＝１であり、このクラスについては、関連するエンティティは存在しないことを特徴とする、請求項１～９のいずれか一項に記載のプロセス。
【請求項11】
－面積によって、前記コンテンツ画像ｌｃを複数のｋ個のコンテンツパッチ（Ｐｃｋ：Ｐｃ１，Ｐｃ２，．．．Ｐｃｚ）に分割するステップ；－面積によって、前記ｊ個のスタイル画像ｌＳｊの各々を複数のｋ個のスタイルパッチ（ＰＳｊｋ：Ｐｓｊ１，Ｐｓｊ２，．．．，Ｐｓｊｚ）に分割するステップであって、ｋの各値について、前記コンテンツパッチＰｃｋは、対応するｊ個のスタイルパッチＰＳｊｋとペアにされ、コンテンツ－スタイルパッチグループ（Ｐｃｋ－Ｐｓｉｋ（ＰＳ１ｋ，ＰＳ２ｋ，．．．ＰＳＮｋ））を形成するステップ；
－ｋ個のコンテンツ－スタイルパッチグループ（ＰＣｋ－ＰＳｊｋ（ＰＳ１ｋ，ＰＳ２ｋ，．．．ＰＳＮｋ））の各々について、
ａ）エンティティクラスｉについて、スタイルパッチＰＣｋとｊ個のスタイルパッチ（ＰＳｊｋ：ＰＳ１ｋ，ＰＳ２ｋ，．．．ＰＳＮｋ）の各々との間の類似性を表すパラメータλｉｊｋを計算するステップ；
ｂ）複数のｊ個のスタイルパッチＰＳｊｋから、最も高い類似性を表すパラメータλｉｊｋを有するスタイルパッチＰＳｗｋを選択するステップ；
ｃ）選択されたスタイルパッチ（ＰＳｗｋ）をコンテンツパッチ（ＰＣｋ）に適用することによってコンテンツパッチ（ＰＣＳｉｋ）をスタイル化し、スタイル化されたコンテンツパッチ（ＰＣＳｉｋ）を生成するステップ；
ｄ）ｉをｉ＋１にインクリメントし、先行するエンティティクラスｉの各スタイル化コンテンツパッチＰＣＳｉｋに基づいて、上記ステップ（ａ）～（ｃ）を繰り返して、さらなるスタイル化コンテンツパッチＰＣＳｉ＋１ｋを生成するステップ；
ｅ）ｉ＝Ｍｋまで（ｄ）におけるインクリメントを繰り返し、最終エンティティクラスｉ＝Ｍｋについて、最終的なスタイル化コンテンツパッチＰｃｓＭｋを導出するステップ
が実行され、
－ｋ個の最終的なスタイル化コンテンツパッチＰＣＳＭｋ（ｋは１からＺまで変化する）を単一の最終的なスタイル化コンテンツ画像ｌｃｓに再結合するステップ
をさらに含むことを特徴とする、請求項１～１０のいずれか一項に記載のプロセス。
【請求項12】
前記パラメータλｉｊＫを計算するステップが、【数3】
上記式において、ＣｉＫおよびＳｉｊＫは、それぞれＰｃＫおよびＰｓｊＫ上でｉとしてラベル付けされたピクセルの数であり、前記選択するステップが、各ｉ値についてλｉｗＫの最高値を有するスタイルパッチＰｓｗＫを選択するステップを含む
ことを特徴とする、請求項１１に記載のプロセス。
【請求項13】
前記パラメータλｉｊＫは、前記類似性に反比例し、前記選択するステップは、所与のｉ値に対してλｉｊＫの最小値を有するスタイルパッチＰｓｗＫを選択するステップを含むことを特徴とする、請求項１１に記載のプロセス。
【請求項14】
前記パラメータλｉｊＫを計算するステップが、【数4】
上記式において、ＣｉＫおよびＳｉｊＫは、それぞれＰｃＫおよびＰｓｊＫ上でｉとしてラベル付けされたピクセルの数であり、前記選択するステップが、各ｉ値についてλｉｗＫの最低値を有するスタイルパッチＰｓｗＫを選択するステップを含む
ことを特徴とする、請求項１３に記載のプロセス。
【請求項15】
前記パラメータλｉｊＫを計算するステップは、ＰｃＫおよびＰｓｊＫ上でｉとしてラベル付けされたピクセルの数以外の構成パラメータを含む類似性パラメータλｉｊＫを計算するステップを含むことを特徴とする、請求項１１または１３に記載のプロセス。
【請求項16】
前記構成パラメータは、前記コンテンツパッチＰｃＫおよび前記スタイルパッチＰｓｊＫにおいてｉとしてラベル付けされたエンティティの数を含むことを特徴とする、請求項１５に記載のプロセス。
【請求項17】
前記構成パラメータは、前記コンテンツパッチＰｃＫおよび前記スタイルパッチＰｓｊＫにおける特定のクラスｉのエンティティのサイズを含むことを特徴とする、請求項１６に記載のプロセス。
【請求項18】
Ｚ＝１であり、単一のｋ値が存在することを特徴とする、請求項１１～１７のいずれか一項に記載のプロセス。
【請求項19】
各パッチｋにおいて、ｉ値の数Ｍは１であることを特徴とする、請求項１１～１８のいずれか一項に記載の方法。
【請求項20】
各コンテンツ－スタイルパッチグループ内のパッチは、サイズが等しくなく、異なる数のピクセルを含むことを特徴とする、請求項１１～１９のいずれか一項に記載のプロセス。
【請求項21】
プログラムがコンピューティングシステム上で実行されるときに、請求項１～２０のいずれか一項に記載のプロセスステップを実行するためのコンピュータ可読媒体に記憶されたプログラムコード命令を含むコンピュータプログラム製品。
【請求項22】
請求項１～２０のいずれか一項に記載のステップを含む、コンピュータによって実装されるプロセス。
【請求項23】
コンピュータによって実行されると、請求項１～２０のいずれか一項に記載のステップを前記コンピュータに実装させる命令を備えるコンピュータ可読記憶媒体。
【請求項24】
請求項１～２０のいずれか一項に記載のプロセスステップを実行するように構成された、入力デバイスと、メモリと、グラフィック処理ユニット（ＧＰＵ）と、出力デバイスとを備える、コンピューティングシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、オブジェクト、人物、設定および環境などの仮想エンティティを定義する１つまたは複数のデータセットに基づく画像の作成および処理に関する。
【0002】
特に、本開示は、合成データセットによって表される仮想世界のリアルでフォトリアリスティックな画像の生成および多次元的提供に関する。高度にリアルな画像化の使用によって、描写されている仮想環境のユーザ体験の向上が容易になる。そのような画像のリアルタイム提供によって、ユーザが仮想オブジェクトおよび周囲環境と相互作用することが可能になり、それによって、ビデオに似た没入型かつ動的体験が提供される。
【0003】
本開示で言及される画像は、ゲーム、娯楽、設計、建築、航空、計画、トレーニング、教育、医療、セキュリティ、防御などを含む多数の用途に展開され得る。
【背景技術】
【0004】
画像におけるリアリズムを向上させるために、合成データセットであり得るコンテンツデータ（「コンテンツデータセット」）によって提供される仮想オブジェクト、場所、および環境に関連するデータは、スタイルデータセットまたはスタイルオーバーレイの使用によって修正され得る。そのような修正なしでは、コンテンツデータのみによって提供される画像は、画像内のオブジェクトまたは環境が十分なまたは適切なテクスチャ、カラーリング、シェーディング、または実際に正確な形状もしくは形態を欠き得るという意味で「生（raw）」とみなされ手もよく、これによって、レンダリングされる画像が「平坦」になり、単純化され、ユーザにとって説得力がなく、ユーザ体験が必然的に非常に制限される。
【0005】
コンテンツデータをスタイルデータで修正することによって、最終的な画像におけるリアリズムを大幅に向上させることができ、ユーザ体験を大幅に向上させることができる。街路内のオブジェクトおよび周囲の基本的な単純な幾何学形状を描写する一般化された街路シーンは、そのように修正されると、スタイルデータによって、それぞれが現実的なテクスチャ、色、陰影、および色相でレンダリングされる、建物、車、ストリートファーニチャー、および歩行者が完備された、フォトリアリスティックな街路シーンに変換されることができる。さらに、同じコンテンツデータに適用される異なるスタイルは、修正された街路シーンにおいて異なる環境を描写させ、例えば、一般化された街路シーンを描写する同じコンテンツデータにインドスタイルの画像またはドイツスタイルの画像を適用でき、スタイル化されたコンテンツデータは、インドの街路またはドイツの街路の画像をレンダリングする。
【0006】
コンテンツデータへのスタイルデータの適用、または「スタイル転送」は、注釈付きコンテンツ画像および注釈付きスタイル画像、すなわち、各画像内のピクセルが特にそれらが表示するものによって注釈付けされるまたはラベル付けされる、で動作する「オートエンコーダ」を含むニューラルネットワークアーキテクチャを典型的に（だが排他的ではなく）使用する従来のプロセスに基づく。街路シーンの例では、ピクセルは、車のためのピクセルまたは歩行者のためのピクセルなどとしてラベル付けされ得る。オートエンコーダは、２つの主要な部分を有する：コンテンツ画像およびスタイル画像の両方において所与の出力をダウンサンプリングして、それぞれについてコンパクトな「特徴ベクトル」を生成する「エンコーダ」、および、元の入力画像のコンパクトな特徴ベクトルをアップサンプリングする「デコーダ」。コンパクトな特徴ベクトルは、ソース画像からの「コンパクト化された」データを含み、それによって、ソースからの元のピクセルデータの大部分を、多少の損失を受けるが「保存」する。
【0007】
読者は、従来のスタイル転移の概要を述べる背景出版物を参照されたい：非特許文献１。
【0008】
従来のシステムでは、スタイル転送は、エンコーダの出力で行われ、スタイル特徴ベクトルの特定の属性は、コンテンツ特徴ベクトルによって仮定（または置換）される。２つの特徴ベクトルは、それらに対して「ドメインマッチング」を実行する１つまたは複数の変換演算を受ける：コンテンツ画像内の領域は、スタイル画像と同じ注釈（またはラベル）を有する領域とペアにされ、次いで、各領域コンテンツ－スタイルのペアが、面積類似性、すなわち、同等の面積を有する、または実際には同等の数のピクセルを有することについて分析される。領域のペアが面積類似性条件を満たす場合、プロセッサは、スタイル画像内のその領域のスタイルをコンテンツ画像内の対応する領域に「転送」する（以下のスタイル転送の説明を参照）。しかしながら、従来のシステムでは、類似性試験は、各領域においてバイナリ結果を有する：スタイルは、その領域内で転送されるか、または、転送が起こらずコンテンツ画像内の領域は変更されない。
【0009】
コンテンツ特徴ベクトルが新しい属性を仮定すると、それをアップサンプリングして「スタイル化コンテンツ画像」を生成することができる。
【0010】
従来のシステムについて上述したようなドメインマッチングに関連する問題がある。第１に、スタイル画像内の完全な注釈、すなわち全てのピクセルがラベル付けされることに依拠し、第２に、対応する領域が、注釈に基づいて設定され得る場合、同等の面積であり、類似性試験に合格する。ラベルが欠落している場合、または領域ペアが面積類似性試験に不合格の場合、スタイルの転送はその領域に対しては起こらない。これらの理由から、スタイル転送は、コンテンツ画像の限られた部分においてのみ生じ得、コンテンツ画像全体でスタイル転送の不均一な発生につながり、実質的に部分的なスタイル転送につながり、これは明らかに不満足である。
【0011】
上記に照らして、コンテンツ画像とスタイル画像の両方の対応する領域がほぼ同数のピクセルを有する場合に、従来のプロセスが最もよく機能することが読者には明らかであるが、これは一般に当てはまらない。これは、従来のアプローチのさらなる欠点である。
【0012】
上記の問題は、コンテンツ画像を単一のスタイル画像データセットにマッチングする慣行によって悪化する。この場合、注釈によるドメインマッチングが、類似性基準も満たす実行可能な数のコンテンツ－スタイル領域をもたらす可能性が特に低い。
【0013】
このようなドメインマッチング技術をコンテンツ画像全体およびスタイル画像全体に適用することにより、コンテンツデータ全体およびスタイルデータ全体は、エンティティのクラスごとに少なくとも１回オートエンコーダを通過することになる。オートエンコーダを通過する各通過におけるダウンサンプリングおよびアップサンプリングは不完全であり、誤差（「アーチファクト」）を生じ、これは、本明細書の後の節で説明されるように、オートエンコーダ通過の数とともに増殖するであろう。
【先行技術文献】
【非特許文献】
【0014】
【非特許文献1】Ａ Ｃｌｏｓｅｄ－ｆｏｒｍ Ｓｏｌｕｔｉｏｎ ｔｏ Ｐｈｏｔｏｒｅａｌｉｓｔｉｃ Ｉｍａｇｅ Ｓｔｙｌｉｚａｔｉｏｎ ｂｙ Ｙｉｊｕｎ Ｌｉ ａｎｄ ｏｔｈｅｒｓ，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｌｉｆｏｒｎｉａ，２７ Ｊｕｌｙ ２０１８
【発明の概要】
【発明が解決しようとする課題】
【0015】
読者は、上述の欠点を克服する方法および対応する構成が必要性であることを理解するであろう。本開示における装置および方法の様々な態様は、これらの欠点に対処し、強化された性能上の利点を提供し、本明細書で論じられる。
【0016】
本開示から明らかなように（下記参照）、本発明の目的は、スタイル転送技術を強化し、それによって、リアリズムが改善されたスタイル画像を生成するための方法および構成を提供することである。本開示の方法および構成の目的は、コンテンツデータとスタイルデータとの間のドメインマッチングから生じるコンテンツ－スタイル領域の数を最適化すること、ならびにコンテンツ画像への改善されたスタイル転送することである。
【0017】
本発明のさらなる目的は、類似性試験に合格するコンテンツ－スタイル領域ペアの割合の増加を容易にするドメインマッチングの方法および構成を提供することである。さらに別の目的は、ドメインマッチングにおいて生じるアーチファクトの数を減らすことである。
【0018】
本発明のさらなる目的および利点は、本明細書に開示される装置および方法の動作および作業を考慮すると明らかになるであろう。
【課題を解決するための手段】
【0019】
本開示は、スタイル転送のためのドメインマッチング技術を強化し、スタイル化画像におけるアーチファクトの数を減らすための新規かつ発明的な装置および方法に関する。スタイル転送のさらなる詳細は、後の節で説明される。
【0020】
本発明の実施形態によれば、マルチスタイルドメインマッチングの方法および構成が本明細書に開示され、複数のスタイル画像が所与のコンテンツに対して提供される。
【0021】
本発明の実施形態によれば、コンテンツ画像とスタイルデータセット内の複数のスタイル画像との間の類似性が判定され、コンテンツ画像に最も類似すると判定されたスタイル画像が、コンテンツ画像へのスタイル転送の基礎として選択される、ドメインマッチングの方法および構成が開示される。類似性判定はまた、領域的コンテンツ－スタイルペア（上記参照）、すなわち画像全体ではなく画像の一部に適用されて、スタイル画像（その領域）の選択が各領域に関して行われてもよい：本発明の方法および構成の一態様によれば、類似性試験および結果として得られる選択は、それぞれの画像における位置に関係なく、空間的対応が存在しない可能性のある関連ピクセルの、コンテンツ画像データセットおよびスタイル画像データセットのそれぞれにおけるピクセルのセットまたはサブセットの任意のペアに適用されてもよい。
【0022】
本発明の一態様によれば、本明細書に開示される方法および構成は、コンテンツ画像上のあらゆる意味的にラベル付けされた領域について、スタイルデータセット内に複数の候補スタイル画像が存在する。
【0023】
本明細書に開示される本発明の方法および構成の一態様によれば、スタイル転送のための複数の候補スタイルデータからのスタイルデータの選択、および結果として得られるスタイル転送は、領域ベース（コンテンツ画像全体に関してではなく、コンテンツ画像の任意の選択された部分、領域、セクタ、象限などに関して）で起こり得る：コンテンツ画像の一部は、単なる別のコンテンツ画像と見なされてもよい。
【0024】
本発明の多数の態様、実装形態、目的、および利点は、図面と併せて本明細書の詳細な説明を考慮することにより明らかになるであろう。
【図面の簡単な説明】
【0025】
【図1】本発明による構成の例示的な態様を示す図
【図2】本発明による方法および構成の例示的な態様と、スタイル転送におけるその結果を示す図
【図3】本明細書で開示する様々な例示的な態様および実装形態によるドメインマッチングの方法を示す図
【図4】本発明による方法および構成の例示的な態様と、スタイル転送におけるその結果を示す図
【図5】本明細書で開示する様々な例示的な態様および実装形態によるドメインマッチングの方法を示す図
【発明を実施するための形態】
【0026】
本発明の実施例および実施形態を詳細に参照すると、そのうちの１つまたは複数が図面に示されており、実施例および実施形態は、本発明の説明のために提供されており、本発明を限定するものではない。特許請求の範囲に定義される本発明の範囲から逸脱することなく、本発明において様々な修正および変更を行うことができることは明らかであろう。明らかに、一実施形態の一部として図示または説明される特徴は、別の実施形態とともに使用され、さらなる実施形態をもたらすことができる。本発明は、添付の特許請求の範囲およびその均等物の範囲内に入るような修正および変形を包含することが意図される。
【0027】
本発明のさまざまな実施形態、態様、および実装形態、ならびに技術的目的および利点は、図面と組み合わせて本明細書の説明を考慮すれば当業者には明らかであろう。文脈によって別段の指示がない限り、「第１の」、「第２の」、「第３の」、「最後の」などの用語は、本明細書では単に１つの構成要素を別の構成要素と区別するために使用され、指定された構成要素の位置、場所、配置、または重要性を定義または限定することを意図するものではない。単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈に基づいて明らかにそうでない限り、複数の参照を含む。
【0028】
本開示の例示的な態様は、スタイル画像ｌＳｊを、エンティティクラスｉ（ｉ：１，２，．．．Ｍ）を含むコンテンツ画像ｌｃに適用するためのプロセスに関し、これは以下のステップを含む：各々がエンティティクラスｉ（ｉ：１，２，．．．Ｍ）を含む複数のｊスタイル画像（ｌＳｊ：ｌＳ１，ｌＳ２，．．．ｌＳＮ）を提供するステップ；第１のエンティティクラスｉについて、（ａ）複数のスタイル画像（ｌＳｊ：ｌＳ１，ｌＳ２，．．．ｌＳＮ）の各スタイル画像ｌｓｊについて、各スタイル画像ｌｓｊとコンテンツ画像ｌｃとの間の類似性を表すパラメータλｉｊを計算するステップ；（ｂ）複数のスタイル画像ｌｓｊから、最も高い類似性を表すパラメータλｉｗを有するスタイル画像ｌｓｗを選択するステップ；（ｃ）選択されたスタイル画像ｌｓｗをコンテンツ画像ｌｃに適用することによって、コンテンツ画像ｌｃをスタイル化して、スタイル化されたコンテンツ画像ｌＣＳｉを生成するステップ。
【0029】
本開示のプロセスの例示的な態様では、プロセスは、さらなるエンティティクラスｉごとに、以下のステップを含む：（ｉ）ｉをｉ＋１にインクリメントするステップ；（ｉｉ）上記のステップ（ａ）～（ｂ）を繰り返し、スタイル画像ｌｓｗを選択するステップ；（ｉｉｉ）選択されたスタイル画像ｌｓｗを先行するｉ値のスタイル化コンテンツ画像ｌＣＳｉに適用することによって、スタイル化コンテンツ画像ｌＣＳｉ＋１を生成するステップ；および、最終エンティティクラスｉ＝Ｍについて、最終スタイル化コンテンツ画像ｌＣＳＭを導出するステップ。
【0030】
本開示のプロセスの例示的な態様では、パラメータλｉｊは、前記類似性に直接関係し、選択するステップは、所与のｉ値についてλｉｊの最大値を有するスタイル画像ｌｓｗを選択するステップを含む。
【0031】
本開示のプロセスの例示的な態様では、パラメータλｉｊは、前記類似性に反比例し、選択するステップは、所与のｉ値に対してλｉｊの最小値を有するスタイル画像ｌｓｗを選択するステップを含む。
【0032】
本開示のプロセスの例示的な態様では、パラメータλｉｊを計算するステップは、ｌｃおよびｌｓｊ上でｉとしてラベル付けされたピクセルの数以外の構成パラメータを含む類似性パラメータλｉｊを計算するステップを含む。
【0033】
本開示のプロセスの例示的な態様では、構成パラメータは、コンテンツ画像ｌｃおよびスタイル画像ｌｓｊにおいてｉとしてラベル付けされたエンティティの数を含む。
【0034】
本開示のプロセスの例示的な態様では、構成パラメータは、コンテンツ画像ｌｃおよびスタイル画像ｌｓｊにおける特定のクラスｉのエンティティのサイズを含む。
【0035】
本開示のプロセスの例示的な態様では、パラメータλｉｊの値は、ｉ行ｊ列のｉ－ｊ行列の要素である。
【0036】
本開示のプロセスの例示的な態様では、ｉ＝１およびＭ＝１であり、このクラスについては、関連するエンティティは存在しない。
【0037】
本開示のさらなる例示的な態様は、スタイル画像（ｌＳｊ：ｌＳ１、ｌＳ２、．．．ｌＳＮ）を、ｉ（ｉ：１，２，．．．Ｍ）個のエンティティクラスを含むコンテンツ画像ｌｃに適用するためのプロセスに関し、これは以下のステップを含む：面積によって、コンテンツ画像ｌｃを複数のｋ個のコンテンツパッチ（Ｐｃｋ：Ｐｃ１，Ｐｃ２，．．．Ｐｃｚ）に分割するステップ：面積によって、ｊ個のスタイル画像ｌＳｊの各々を複数のｋ個のスタイルパッチ（ＰＳｊｋ：Ｐｓｊ１，Ｐｓｊ２，．．．，Ｐｓｊｚ）に分割するステップであって、ｋの各値について、コンテンツパッチＰｃｋは、対応するｊ個のスタイルパッチＰＳｊｋとペアにされ、コンテンツ－スタイルパッチグループ（Ｐｃｋ－Ｐｓｉｋ（ＰＳ１ｋ，ＰＳ２ｋ，．．．ＰＳＮｋ））を形成し、ｋ個のコンテンツ－スタイルパッチグループ（ＰＣｋ－ＰＳｊｋ（ＰＳ１ｋ，ＰＳ２ｋ，．．．ＰＳＮｋ））の各々について、以下のステップが実行される：（ａ）エンティティクラスｉについて、スタイルパッチＰＣｋとｊ個のスタイルパッチ（ＰＳｊｋ：ＰＳ１ｋ，ＰＳ２ｋ，．．．ＰＳＮｋ）の各々との間の類似性を表すパラメータλｉｊｋを計算するステップ；（ｂ）複数のｊ個のスタイルパッチＰＳｊｋから、最も高い類似性を表すパラメータλｉｊｋを有するスタイルパッチＰＳｗｋを選択するステップ；（ｃ）選択されたスタイルパッチ（ＰＳｗｋ）をコンテンツパッチ（ＰＣｋ）に適用することによってコンテンツパッチ（ＰＣＳｉｋ）をスタイル化し、スタイル化されたコンテンツパッチ（ＰＣＳｉｋ）を生成するステップ；（ｄ）ｉをｉ＋１にインクリメントし、先行するエンティティクラスｉの各スタイル化コンテンツパッチＰＣＳｉｋに基づいて、上記ステップ（ａ）～（ｃ）を繰り返して、さらなるスタイル化コンテンツパッチＰＣＳｉ＋１ｋを生成するステップ；（ｅ）ｉ＝Ｍｋまで（ｄ）におけるインクリメントを繰り返し、最終エンティティクラスｉ＝Ｍｋについて、最終的なスタイル化コンテンツパッチＰｃｓＭｋを導出するステップ；および、ｋ個の最終的なスタイル化コンテンツパッチＰＣＳＭｋ（ｋは１からＺまで変化する）を単一の最終的なスタイル化コンテンツ画像ｌｃｓに再結合するステップ。
【0038】
本開示のプロセスの例示的な態様では、パラメータλｉｊｋを計算するステップは、ＰＣｋおよびＰＳｊｋ－上のｉとしてラベル付けされたピクセルの数以外の構成パラメータを含む類似性パラメータλｉｊｋを計算するステップを含む。
【0039】
本開示のプロセスの例示的な態様では、構成パラメータは、コンテンツパッチＰＣｋおよびスタイルパッチＰＳｊｋにおいてｉとラベル付けされたエンティティの数を含む。
【0040】
本開示のプロセスの例示的な態様では、構成パラメータは、コンテンツパッチＰＣｋおよびスタイルパッチＰＳｊｋにおける特定のクラスｉのエンティティのサイズを含む。
【0041】
本開示のプロセスの例示的な態様では、Ｚ＝１であり、単一のｋ値が存在する。
【0042】
本開示のプロセスの例示的な態様では、各パッチｋにおけるｉ値の数Ｍは１である。
【0043】
本開示のプロセスの例示的な態様では、各コンテンツ－スタイルパッチグループ内のパッチは、サイズが等しくなく、異なる数のピクセルを含む。
【0044】
本開示のプロセスの例示的な態様では、Ｍ＝１および単一のｉ－値であり、このクラスについては、関連するエンティティは存在しない。
【0045】
本開示のさらなる例示的な態様は、コンピュータによって実装される、本明細書で開示されるプロセスステップを対象とする。
【0046】
本開示のさらなる例示的な態様は、プログラムがコンピューティングシステム上で実行されるときに、本明細書に開示されるプロセスステップを実行するためのコンピュータ可読媒体に記憶されたプログラムコード命令を含むコンピュータプログラム製品を対象とする。
【0047】
本開示のさらなる例示的な態様は、コンピュータによって実行されると、本明細書で開示されるステップをコンピュータに実装させる命令を備えるコンピュータ可読記憶媒体を対象とする。
【0048】
コンピューティングシステムは、本明細書に開示されるプロセスステップを実行するように構成された、入力デバイスと、メモリと、グラフィック処理ユニット（ＧＰＵ）と、出力デバイスとを備える。
【0049】
本明細書で開示される方法および装置の実施形態で適用されるような「スタイル転送」の簡単な説明は、本明細書では、後者におけるルックアンドフィール、特にリアリズムを向上させるために、コンテンツ画像データセットの属性に対して実行される変換演算に関して提供される。本開示の冒頭の欄に示されているように、「スタイル転送」または「スタイル化」は、スタイル画像データセットの特定の属性または特性が、そのような変換によって、実質的にコンテンツ画像データセットに「転送」または「適用」される（または、想定または採用される）ことを指す。スタイル転送が行われると、コンテンツ画像はスタイル化されていると称され、スタイル化コンテンツ画像である。「スタイル転送」および「スタイル化」という用語は、本明細書では互換的に使用され、コンテンツ画像データによるスタイル画像データセットの属性または特性の一部の任意の転送、仮定、採用、または適用（これらも本明細書では互換的に使用される）を含む、コンテンツ画像データセットの任意のそのような変換を指す。
【0050】
上述のように、オートエンコーダは、スタイル転送を実行するために使用されることが多い。前述のように、それぞれダウンサンプリングおよびアップサンプリングのためのエンコーダおよびデコーダを備えるオートエンコーダは、それぞれのデータセット内の注釈を分析し、コンテンツ画像上にこれらの拡張をレンダリングするであろう、コンテンツデータセットのピクセルに対して実行される修正を決定する。従来のシステムでは、この決定は、上述の選択プロセスなしに、コンテンツ画像と単一スタイル画像との比較から導出される。そのようなシステムでは、この比較は、コンテンツ画像と単一スタイル画像の面積類似性を考慮する、すなわち、それぞれにおけるピクセル数をカウントすることによる。類似性が十分に高い場合、コンテンツ画像は、スタイル画像データを使用してスタイル化され、そうでない場合、スタイル化はされない、すなわちバイナリ結果である。
【0051】
スタイル転送自体は、従来のシステムと、本開示の装置および方法の実施形態との両方において、既知の技術からなり、コンテンツ画像のピクセルは、コンテンツピクセルの特定の属性または特性をスタイル画像の対応するピクセルの属性に変換する（上述のように、「置換する」または「転送する」または「仮定する」または「採用する」または「適用する」）ことによって修正される。この意味で、本明細書では、スタイル画像のスタイルをコンテンツ画像に「適用する」こと、すなわち、コンテンツ画像またはその領域の「スタイル転送」または「スタイル化」について言及する。本明細書における「属性」への言及は、関係するデータセット内のピクセルの統計的特性に関するものである：これらは、ピクセルのＲＧＢ値またはピクセルの強度値など、ピクセルに関連する任意のパラメータに関係し、統計的特性は、例えば、ＲＧＢ値の平均および共分散、または関係するピクセルについての他の関連するパラメータである。
【0052】
上述のように、スタイル転送のためのドメインマッチングに対する従来の手法は、コンテンツ画像を単一のスタイル画像と比較し、これら２つの間の類似性を判定することを含む。比較は、クラスごとに実行されなければならず、したがって、前述のように、ピクセルに対する適切な注釈に依拠する。エンティティクラスという用語（以下「クラス」という）は、コンテンツおよびスタイル画像内に描写されるエンティティの特定のジャンル、例えば、人、車、建物、植物、街路家具、オフィス家具を指す。類似性マッチングは、一度に単一のクラスに基づいて実行される場合にのみ有用であり得ることが明らかであることを読者は理解するであろう－木の画像に対する人の画像の類似性を試験する、または自動車およびバス停の画像のマッチングを試みることは意味がない。したがって、ドメインマッチングは、全てのクラスが考慮されるまで、第１のクラスのピクセルのマッチング、次いで、第２のクラスのピクセルのマッチング等を検討する。
【0053】
既知のシステムでは、類似性の決定は、２つの画像の対応する領域内のピクセルの注釈および属性が比較される簡単なプロセスであり、例えば同じ注釈および類似性を有する分析されるピクセルの割合が所定の閾値を超えるため、類似性が十分であるとみなされる場合、スタイルはコンテンツ画像に転送され、それによって新しいスタイル化されたコンテンツ画像を生成する。
【0054】
十分なマッチングがある場合、スタイル化が行われ、そうでない場合、スタイル転送は行われない。上述のように、このプロセスのバイナリの性質は満足のいくものではなく、コンテンツ画像と十分な類似性を有し得るランダムなスタイル画像に依存する。また、２つの画像がそのような異なるサイズであり、２つの画像内のピクセル数が全く異なる場合、それらの間に十分な類似性が存在する可能性は低い：そのようなアプローチは、コンテンツ画像とスタイル画像がほぼ同じサイズである場合に最もよく機能し、これは明らかに非常に限定的である。
【0055】
このアプローチの欠点は、多数のエンティティクラスが考慮される場合に悪化する：個々のクラスを見ると、特定のクラスのピクセルの不存在または欠如があり得るか、または１つまたは複数のスタイル画像においてより多くのサイズミスマッチがあり得、さらなるクラスが追加されるにつれて、そのような困難性が蓄積する。
【0056】
本開示の一態様によれば、上述の従来のものに対するより良いアプローチは、コンテンツ画像の比較が、単一のスタイル画像に対するものではなく、複数の候補スタイル画像に対するものである。この態様では、候補スタイル画像の各々についてコンテンツ画像との類似性が決定されるが、候補スタイル画像のうちの類似性が最も高いものの１つのみがスタイル転送に参加するように選択され、他の候補は使用されない。スタイル転送は、選択されたスタイル画像のスタイルをコンテンツ画像に適用することのみに基づく。従来のドメインマッチングと同様に、このアプローチはクラスごとに適用される。しかしながら、本明細書に開示されるアプローチは、各クラスに対して複数の候補スタイル画像を使用し、候補のうちの１つのみが、その特定のクラスに対するコンテンツ画像上へのスタイル転送のために選択される。各クラスについて、候補および結果として得られる選択の両方が異なり得る。
【0057】
図１は、本明細書における開示の一態様による装置の概略図を示す：入力手段（１０２）と、グラフィック処理ユニット（１０４）を有するプロセッサ（１０３）と、メモリ（１０５）と、出力ユニット、例えばディスプレイ（１０６）とを備えるコンピューティングデバイス（１０１）。読者は、メモリが大きな画像データセットを記憶するのに十分に大きくなければならず、これらをプロセッサに伝達し、プロセッサ自体がそのようなデータセットを修正するように構成されることを理解するであろう。プロセッサ（１０３）およびグラフィック処理ユニット（１０４）は、データセットを取得し、本明細書に記載のプロセスを実行するように構成される。
【0058】
ここに開示される発明の一態様では、上述の選択プロセスは、クラス（ｉ：１，２，３，．．．Ｍ）に対する複数のＮ個のスタイル画像の各スタイル画像ｌＳｊ（ｌＳｊ：ｌＳ１，ｌＳ２，．．．ｌＳＮ）に対する類似性パラメータλｉｊの計算に基づく。任意のクラスｉについて、コンテンツ画像ｌｃとＮ個のスタイル画像の各々との間の類似性パラメータλｉｊが計算される。計算されたλｉｊの各値は、ｊ番目のスタイル画像ｌＳｊとコンテンツ画像ｌｃとの間の類似性を表す。異なるスタイル画像のうち、それらのうちの１つ、すなわちｊの１つの値（このｊ値は勝利したｊ値「Ｗ」と称される）は、すべてのｈｊよりもコンテンツ画像に類似する。最も高い類似性（ｊ＝Ｗ）に対応する最も高い類似性パラメータλｉｗを有するスタイル画像ｌｓｗが選択される。
【0059】
このスタイル画像ｌＳｊのスタイル（その属性）は、コンテンツ画像ｌｃに「適用」される、すなわち転送されたコンテンツ画像ｌｃと最も類似している。同じ方法論が次のクラスｉ＋１に適用され、その結果ｌＳｊ（クラスｉ＋１について最も高い類似性パラメータを有するスタイル画像）が新しく選択される。本明細書に開示される方法論がどのように機能するかの説明が図２に提供される。簡潔さを保つために、図２は、単一のクラスｉ（この場合、例えば、ｉ＝２であり、クラス「植生」に対応するものとする）に対する全体的な方法論の一部のみを示すが、読者は、上記から、図２に示される同じステップが、各関連クラス（「車両」、「人」など）に関して適用されることを理解するであろう。
【0060】
λｉｊの異なる値は、好都合な場合、ｉ行およびｊ列（またはその逆）から構成されるｉ×ｊ行列内の異なる要素として照合することができ、各行（または列）内の適切なｊ値要素（「Ｗ」に対応する）の容易な選択を可能にすることが、読者には明らかであろう。
【0061】
図２は、スタイル化（スタイル転送）を受ける前の、２０１におけるコンテンツ画像ｌｃを示す：このコンテンツ画像は、仮想設定を表し、その中に仮想オブジェクトを有する合成データセットから生成される。参照番号２０２～２０４は、多くの例示的なスタイル画像ｌｓを表し、その各々は、潜在的に、コンテンツ画像ｌｃへのスタイル転送のための候補スタイル画像である：図の過負荷を回避するために、図２は、ｊ＝２、ｊ＝３およびｊ＝４に対応する３つの例示的なスタイル画像ｌＳ２、ｌＳ３およびｌＳ４のみを示すが、上述のように、候補スタイル画像の数は任意の数Ｎであってもよい。
【0062】
各異なる候補スタイル画像ｌｓについて、コンテンツ画像ｌｃとの類似性は異なり、各候補について、類似性パラメータλ２を計算することができる。図２では、この例ではｊ：１，２，３．．．１０である異なるｊ値の各々に対するλ２ｊの計算結果が、候補スタイル画像ｌＳ１，ｌＳ２，ｌＳ３．．．ｌｓ１０の各々について計算されており、２０５においてヒストグラムにセットされている。読者は、２０５におけるヒストグラムから、λ２ｊがｊ＝３において最大であり、異なるスタイル画像ｌｓのうち、コンテンツ画像ｌｃとの最大の類似性がｊ＝３において生じることを理解するであろう。したがって、候補スタイル画像ｌｓ１、ｌｓ２、．．．ｌｓ１０のうち、ｊ＝３であるスタイル画像、すなわちスタイル画像ｌＳ３は、「勝利」候補（このｊ値を「Ｗ」と称する）であるが、これは、全ての候補のうち、コンテンツ画像ｌｃとの類似性が最も高いスタイル画像ｌｓ３、すなわちこの例ではＷ＝３であるからである。言い換えれば、上述したように、図２はクラス「植生」に関するので、ヒストグラムは、クラス植生に関して、スタイル画像ｌＳ３（ｊ＝３）がコンテンツ画像ｌｃに対して最大の類似性を有することを示す。したがって、このスタイル画像ｌＳ３（およびこのスタイル画像のみ）は、コンテンツ画像ｌｃへの（クラス「植物」に関する）スタイル転送の基礎として選択され、スタイル化コンテンツ画像ｌｃｓをもたらす。候補スタイル画像のグループの中で最も適切なスタイル画像を識別し、特定のクラスに対するスタイル転送のためにこのスタイル画像を選択することによって、結果として得られるスタイル転送は、そのような選択を行わず、そのような最適化を欠く従来の方法よりも成功する可能性が高い。結果として得られるスタイル化されたコンテンツ画像ｌｃｓは、選択ステップのない従来のアプローチからの出力よりも大きなリアリズムを示す可能性が高い。
【0063】
読者は、２つの画像間の類似性の測定または決定が、２つの画像間の非類似性の測定または決定でもあることを理解するであろう。上述の選択は、ｊ＝Ｗ（クラスｉに対するＮ個のスタイル画像のうちの）におけるスタイル画像が、当該コンテンツ画像と最大の類似性を有することを識別する。したがって、本明細書に開示される装置およびプロセスによれば、候補スタイル画像ｌＳｊとコンテンツ画像ｌｃとの間の類似性が表される任意の類似性パラメータλｉｊが想定され、そのような類似性に逆相関するパラメータを含む（以下で実証されるように）。
【0064】
上述の選択プロセスは、各クラスにおいてスタイル転送の同じ最適化が達成されることを確保するために、各クラスｉ（単にクラス「植生」ではない）に必要とされる。各ｉ値について、スタイル画像が選択されなければならず（すなわち、ｊのＷ値）、結果として生じるスタイル転送が行われなければならない。本発明の一態様によれば、各ｉ値において決定されたスタイル転送が累積される。したがって、転送のためのスタイル画像の選択が特定のクラスｉに対して行われ、コンテンツ画像へのスタイル転送が（選択されたスタイル画像を使用して）行われた場合、得られたスタイル化コンテンツ画像ｌＣＳｉは、次のクラスｉ＋１のためのスタイル画像選択およびスタイル転送において使用される、すなわち、ｌｃｓ１＋１が生成され、以下、スタイル画像選択および結果として生じる各スタイル転送が全ての関連クラスｉ＝１からＭにわたって起こるまで同様である。読者は、最終的なスタイル化画像は、１からＭまでのすべてのｉ－値にわたって集約された各ｉ－値（各々は、そのｉ値に対する選択プロセスに基づく）に対するスタイル転送を有するスタイル化画像であることを理解するであろう。
【0065】
読者が理解するように、クラスの数Ｍは、Ｍ＝１、すなわちただ１つのクラスがあることを含む、任意の値を有することができる。この特別なケースは、ピクセルがラベル／注釈を有さず、関連するエンティティを有さないシナリオである：次いで、ピクセルは、単一の「非標識」クラスｉを形成する。
【0066】
前述のように、スタイル転送の下で起こるピクセル修正の決定は、とりわけ、対応するピクセル（領域コンテンツ－画像ペア）間の類似性に依存し、その結果、ペア内の類似性がより大きい場合、より多くのピクセルが適切に修正される。コンテンツ－画像ペアとの非類似性によるミスマッチ、例えばサイズ不一致によるミスマッチは、不適切な修正およびエラー、またはアーチファクトをコンテンツ画像に生じさせ、これは、（スタイル転送によって）スタイル化されると、コンテンツ画像におけるリアリズムを向上するのではなく、低下させる傾向がある。
【0067】
本明細書に開示される装置および方法の一態様によれば、コンテンツデータセットに対する類似性について、特に複数のスタイル画像データセットから選択されたスタイル画像データセットに基づいて判定を行うことによって、そのようなアーチファクトを低減することができる、すなわち、類似性を最適化するように画像データセットを選択することによって、より適切なスタイル転送が容易になる。
【0068】
本明細書に開示される装置および方法の実施形態によれば、異なる形態の類似性パラメータλｉｊが想定され、これは、コンテンツ画像およびスタイル画像の対応する領域の面積における類似性、または２つの画像の対応する領域における統計的特性（例えば、平均および共分散）における類似性など、類似性の異なる測定に依存する。本明細書に開示される本発明の装置および方法の実施形態では、面積類似性は、パラメータλｉｊの計算によって判定されてもよい。
ここで、上記式において、ＣｉおよびＳｉｊは、それぞれｌｃおよびｌｓｊ上でｉとしてラベル付けされたピクセルの数である。
【数1】
【0069】
上記の行列λｉｊは、図２に示した例では、異なるスタイル画像ｌＳｊ（ｌｓ１、ｌｓ２、ｌｓ３．．．ｌｓ１０）の各々とコンテンツ画像ｌｃとの間の面積類似性を計算するために使用されている。候補スタイル画像ｌｓ１、ｌｓ２、ｌｓ３．．．ｌｓ１０に対応する異なるｊ値（図２の例では、これらはｊ：１、２、３．．．１０でありｉ＝２「植生」）の各々について、行列λ２ｊが計算され、前述のように図２の２０５のヒストグラムにセットされ、その結果、ｊ＝３で最大値を有するλ２ｊが得られ、スタイル転送のためにｌｓ３が選択される。
【0070】
コンテンツ画像とスタイル画像との間の類似性はまた、面積的類似性またはピクセル数以外の特徴に基づいてもよい。本明細書に開示される本発明の装置および方法の態様によれば、類似性の非領域測定も使用され得る。例えば、類似性、および実際にはパラメータλｉｊは、エンティティの所与のクラスｉに関するコンテンツ－スタイル画像に含まれるエンティティの数に基づいてもよい：すなわち、各画像内の人数、または各画像内の車両数などを比較し、例えば、コンテンツ画像内の２４人の人物とスタイル画像内の２３人の人物とが同等である場合、類似性が高く、２４人の人物と３人の人物とを比較すると類似性が低いと考えられ得る。パラメータλｉｊは、それに応じて計算することができる。非領域的類似性決定（およびパラメータλｉｊ決定）の別の例は、コンテンツ画像およびスタイル画像における色分布間の類似性に基づく（例えば、画像の照明：昼光における画像は、夜間に撮影された画像と比較して、互いにより類似している）。
【0071】
上述のように、本発明の装置およびプロセスの実施形態によれば、候補スタイル画像ｈｊとコンテンツ画像ｌｃとの間の類似性を反映する限り、そのような類似性に反比例するパラメータを含む、任意の類似性パラメータλｉｊが想定される。前記類似性との関係が逆である（すなわち、値が最小であるときに類似性が最大である）類似性パラメータの例は、以下によって与えられる：
【数2】
【0072】
上記の形式（すなわち、逆関係）の類似性パラメータλｉｊが使用された場合、図２のヒストグラム２０５は、異なるように解釈され、使用される。この文脈において、読者は、最低値（最高値ではない）を選択したであろうことを理解するであろう。
【0073】
次に、コンテンツ画像との類似性が最大であるスタイル画像を選択することによって、コンテンツ画像へのスタイル転送を最適化することについて既に説明したステップをフローチャートとして示す図３を参照する。読者は、これらのステップ（図３）および図２に関連して説明されたステップが、プロセッサ（１０３）およびそのＧＰＵ（１０４）によって実行されてもよく、コンテンツ－スタイル画像が、メモリ（１０５）から呼び出されるか、または手段（１０２）を使用して入力され、出力画像が、図１に示されるように、出力手段（１０６）を使用してレンダリングされ得ることを理解するであろう
【0074】
ステップ３０１から開始して、単一のコンテンツ画像ｌｃが取得され、ステップ３０２で複数のＮ個のスタイル画像（ｌＳｊ：ｌＳ１，ｌＳ２，．．．ｌＳＮ）と共に入力され、これらも入力される（ステップ３０３）。制御フロー３０４、３０５を介して、これらの入力は初期化ステップ３０６で使用される。図３は、これらのステップが、グループ１，２，３．．．Ｍ内のＭ個のクラスのうちの第１のクラスであるクラスｉについて行われることを示し、３０６におけるプロセスは、初期化されたスタイル化コンテンツ画像ｌｃｓを入力コンテンツ画像ｌｃとして初期設定し、ｉ値は、１（１）に初期設定される。ステップ３０７において、コンテンツ画像ｈとＮ個のスタイル画像（ｌＳｊ：ｌＳ１，ｌＳ２，．．．ｌＳＮ）の各々との類似性が算出されると、ｉ－値について、対応するパラメータλｉｊが、上記の式または別のパラメータ式を用いて、各ｊ値について計算される。ステップ３０８において、Ｗは、λｉｊの最大値を有するｊ値（そのｉクラスにおけるＮ個のｊ値のうち）すなわちλｉｗとして識別される。ステップ３０８は、クラスｉの選択ステップである：Ｎ個の計算されたλｉｊ値のうちの最大値を有するｊ値は、（Ｗとして）識別される。ステップ３０９において、対応するスタイル画像ｌＳＷがコンテンツ画像ｌｃに適用（スタイル転送）され、それによってクラスｉのためのスタイル化コンテンツ画像ｌｃｓが生成される、すなわち、「ｉ」とラベル付けされた領域のみがスタイル化される。ステップ３１０は、ｉをｉ＋１にインクリメントし、ステップ３１１は、このインクリメントがｉ－値をＭまで上昇させる（およびすべてのｉ－値が使い果たされている）かどうか、またはｉ＋１が依然としてＭ未満であるかどうかを判定する：インクリメントされた値ｉ＋１がＭ未満である場合、「Ｎｏ」矢印は、制御をステップ３０７に戻し、ここで、λｉ＋１ｊは、すべてのｊ値にわたって計算されて、ｉ＋１について最も類似したスタイル画像ｌＳＷを識別し、次いでこれを使用して、以前にスタイル化されたｌｃｓをスタイル化する；一方、３１２におけるように、ｉ値がＭに達した場合、さらなる反復は行われず、最終的なスタイル化コンテンツ画像ｌＣＳＭがステップ３１３で出力される。
【0075】
読者は、「Ｎｏ」ループによって表される各反復の効果が、任意の以前のスタイル化されたコンテンツ画像ｌｃｓ（以前のｉ値を使用して導出される）を、新しい計算／選択ステップ３０８、３０９から生じるさらなるスタイル化でオーバーレイすることであることを理解するであろう。各クラスｉに対するコンテンツ画像ｌＳｗの選択から生じるスタイル転送は、各スタイル転送が前のｉ－値の反復のスタイル化されたコンテンツ画像ｌｃｓに対して作用するという意味で累積的である。したがって、反復が、例えば４回行われる場合、第１のスタイル化から生じるスタイル化コンテンツ画像ｌｃｓは、さらに３回オーバーレイされる。以前のスタイル化コンテンツ画像ｌｃｓ上のスタイル化におけるこのオーバーレイは、すべてのｉ値が使い果たされるまで、すなわちｉ＝Ｍに達するまで、各反復で生じる。
【0076】
最終的なスタイル化コンテンツ画像ｌｃｓは、Ｍ回の反復の結果であり、各反復は異なるクラスｉに基づく。これらの反復の各々において、スタイル化コンテンツ画像ｌｃｓの出力は、Ｎ個のスタイル画像からの１つのスタイル画像ｌｓの選択に依存し、スタイル画像の選択は、Ｎ個のスタイル画像の各々について計算された対応するλｉｊ－値に依存し、λｉｊ－値は、コンテンツ画像ｌｃに対するそのスタイル画像の類似性を反映する。前述のように、各クラスｉについて、Ｎ個のスタイル画像ｌｓから、コンテンツ画像と最も類似するスタイル画像ｌｓｗだけを選択することによって、領域ピクセルペアのミスマッチの数は、そのようなスタイル選択を伴わない従来のドメインマッチングと比較して大幅に低減され、それに応じてスタイル転送の品質が高められる。それにもかかわらず、上述の繰り返しオーバーレイおよび以前のスタイル化の結果に作用するスタイル化の累積的性質から生じる困難があり、これは、コンテンツデータセットの全体が、Ｍ個のクラス（ｉ＝１～Ｍ）の各々に対して一度にＭ回、オートエンコーダを通過することを必要とする。前述のように、オートエンコーダは、コンテンツ画像を取り出し、それをその特徴ベクトルにダウンサンプリングし、特徴ベクトルに対して変換を実行し、次いで、特徴ベクトルをアップサンプリングして、修正されたコンテンツ画像を再生する。オートエンコーダにおいて行われるプロセスは不完全であり、オートエンコーダを通過するたびに、いくつかのアーチファクトが生成される。１回の通過では、これらのアーチファクトは目には見えないかもしれないが、上述のように、画像が複数回ネットワークに供給されると問題が生じる。この場合、アーチファクトが蓄積し、実際に、Ｍ回の反復の結果である最終的なスタイル化されたコンテンツ画像ｌｃｓにおいて完全に見えるようになる可能性がある。
【0077】
本明細書に開示される方法および装置の一実施形態では、そのような蓄積されたアーチファクトの影響は、コンテンツ画像およびスタイル画像へパッチワークアプローチを採用することによって軽減される。
【0078】
本質的に、パッチワークアプローチは、コンテンツ画像およびスタイル画像を複数のパッチ（これらは、必ずしも等しいサイズまたは等しいピクセル数ではない）に分割し、それによって、コンテンツパッチおよび対応する画像パッチを含むグループを形成し、次いで、以前の節で以前に説明されたものと同じ類似性判定および画像データセット選択プロセスをパッチペアのそれぞれに適用し、スタイル化（前出の節で説明したような）を、（コンテンツ－スタイル画像全体のレベルではなく）各パッチペアのレベルで行い、次いで最終的に、スタイル化コンテンツ画像パッチを再結合することを伴う。読者は、コンテンツ画像全体およびスタイル画像に関連して先に説明したスタイル転送アプローチが、代わりに、ローカライズされたパッチペアに適用されることを理解するであろう：両方のアプローチは、複数の候補スタイル画像からスタイル画像を選択し、各候補に対する関連する類似性パラメータを使用し、スタイル転送の基礎として「勝利」候補を使用するステップを含む。
【0079】
パッチワークアプローチの利点は、各パッチおよびそのスタイル化プロセスが、他の全てのパッチから独立していることである。各パッチにおけるスタイル転送は、そのパッチについて、対応するコンテンツパッチと対応するスタイルパッチの複数のスタイルデータセットの各々との類似性の決定、ならびに（複数からの）１つのそのようなスタイルパッチの結果として得られる選択に基づく。任意の１つのパッチのスタイル転送から生じるいかなるエラーも、他のパッチに渡されず、そのスタイル転送が第１のパッチから完全に独立して決定される。
【0080】
非パッチワークアプローチでは、前述のように、データセットは、オートエンコーダによって絶えずダウンおよびアップサンプリングされ、完全なデータセットの反復が繰り返されることで、画像内のどこで生じるかにかかわらず、各反復で生じるアーチファクトが搬送および蓄積する。対照的に、パッチワークアプローチでは、アーチファクトは、各パッチにおいて依然として可能性があるが、画像全体は、独立した部分に断片化され、したがって、アーチファクトは、異なるパッチにわたって蓄積せず、各パッチは、他のパッチにおけるアーチファクトに対して効果的に「免疫」がある。
【0081】
パッチワークアプローチのさらなる利点は、各パッチ内で生じるスタイル転送が、そのパッチに特異的に調整され得ることである、すなわち、異なるコンテンツ－スタイルペア間の類似性が、各パッチに対して異なり得るため、関連する類似性計算およびスタイル選択はいずれも各パッチに対しても異なり得る。コンテンツ画像のパッチをスタイル化することによって、コンテンツ画像全体をスタイル化するよりもむしろ、各パッチのスタイル化は、画像全体のスタイル化の比較的無差別な「包括的アプローチ」を使用して可能である場合よりも、より高いリアリズムを達成する。
【0082】
本発明の方法および装置の一態様では、ｉ（ｉ：１，２，．．．Ｍ）個のエンティティクラスを含むコンテンツ画像ｌｃは、エリアごとに、それぞれＭｋ個のエンティティクラスを含む複数のｋ個のコンテンツパッチ（ＰＣｋ：Ｐｃ１，Ｐｃ２，．．．Ｐｃｚ）に分割される。複数のスタイル画像（ｌｓｊ：ｌｓ１，ｌｓ２，．．．ｌｓＮ）は、それぞれ面積によって複数のｋ個のスタイルパッチ（ＰＳｊｋ：ＰＳｊ１，ＰＳｊ２，．．．ＰＳｊｚ）に分割される。ｋ値は１から最大値Ｚまで変化し、Ｚパッチはそれぞれコンテンツ画像全体およびスタイル画像全体を表す。したがって、ｋの各値について、各クラスｉにおいて、コンテンツパッチＰＣｋおよび複数のＮ個のスタイルパッチＰＳｊｋを含むグループが存在する。このアプローチは、各パッチグループのレベルにおいて、パラメータ（各ｊ個のスタイルパッチとコンテンツパッチとの間の類似性を表す）の計算と、最も高い類似性を示すパラメータに基づいて、対応するスタイルパッチの選択とを想定し、これは、先のアプローチと同じであるが、ここでは、以下で述べるように、パッチレベルである。
【0083】
各コンテンツパッチ（ＰＣｋ：Ｐｃ１，Ｐｃ２，．．．Ｐｃｚ）について、以下のステップが行われる：
（ａ）エンティティクラスｉについて、当該コンテンツパッチＰＣｋと複数のスタイルパッチ（ＰＳｊｋ：ＰＳ１ｋ，ＰＳ２ｋ，．．．ＰＳＮｋ）の各スタイルパッチＰＳｊｋとの間の類似性を表すパラメータλｉｊｋが計算される；
（ｂ）最も高い類似性パラメータを有するスタイルパッチＰＳｗｋが複数のスタイルパッチ（ＰＳｊｋ：ＰＳ１ｋ、ＰＳ２ｋ、．．．ＰＳＮｋ）から選択される；
（ｃ）スタイル化コンテンツパッチＰＣＳｉｋが、選択されたスタイルパッチＰＳｗｋをコンテンツパッチＰＣｋに適用することによって生成される；
（ｄ）ｉがｉ＋１までインクリメントされ、次いで、先行するクラスｉについて生成されたスタイル化コンテンツパッチＰＣＳｉｋを使用して、ステップ（ａ）～（ｃ）が繰り返され、それによって、さらなるスタイル化コンテンツパッチＰＣＳｉ＋１ｋを生成し、これは、インクリメントによってｉ値がｉ＝Ｍｋに上昇するまで継続され、それによって、最終的なスタイル化コンテンツパッチＰＣＳＭｋを生成する。
（ａ）エンティティクラスｉについて、当該コンテンツパッチＰＣｋと複数のスタイルパッチ（ＰＳｊｋ：ＰＳ１ｋ，ＰＳ２ｋ，．．．ＰＳＮｋ）の各スタイルパッチＰＳｊｋとの間の類似性を表すパラメータλｉｊｋが計算される；
（ｂ）最も高い類似性パラメータを有するスタイルパッチＰＳｗｋが複数のスタイルパッチ（ＰＳｊｋ：ＰＳ１ｋ、ＰＳ２ｋ、．．．ＰＳＮｋ）から選択される；
（ｃ）スタイル化コンテンツパッチＰＣＳｉｋが、選択されたスタイルパッチＰＳｗｋをコンテンツパッチＰＣｋに適用することによって生成される；
（ｄ）ｉがｉ＋１までインクリメントされ、次いで、先行するクラスｉについて生成されたスタイル化コンテンツパッチＰＣＳｉｋを使用して、ステップ（ａ）～（ｃ）が繰り返され、それによって、さらなるスタイル化コンテンツパッチＰＣＳｉ＋１ｋを生成し、これは、インクリメントによってｉ値がｉ＝Ｍｋに上昇するまで継続され、それによって、最終的なスタイル化コンテンツパッチＰＣＳＭｋを生成する。
【0084】
すべてのｋ値にわたってインクリメントし、最終的なスタイル化コンテンツパッチＰＣＳＭｋを生成した後、これらの最終的なスタイル化パッチは、（１からＺまですべてのｋ値にわたって）結合されたスタイル化コンテンツ画像ｌｃｓに再結合される。
【0085】
読者は、スタイル行列計算（パラメータλｉｊｋの導出）および選択（スタイル転送のための）が、以前の節で説明されるように、この実施形態では、パッチ単位で行われ、各コンテンツパッチＰＣｋは、Ｍｋ個のｉクラスにわたって個別に（スタイル化コンテンツパッチＰＣＳＭｋに）スタイル化された後、全てのｋ個の最終的なスタイル化コンテンツパッチが、単一のスタイル化コンテンツ画像ｌｃｓに再結合されることを、上記から理解するであろう。言い換えれば、パッチワークアプローチのステップ（ａ）～（ｄ）は、原則として、本開示の以前の節に記載される初期アプローチと同じであるが、これらのステップが、全てのパッチを再結合する前に、一度に１つのパッチ（コンテンツ－スタイル画像の）に適用されることを除く。
【0086】
以前のアプローチ（非パッチワーク）と同様に、パッチワークアプローチにおける類似性パラメータは、対応する形態をとり得る
ここで、ＣｉｋおよびＳｉｊｋは、ｋ番目のパッチにおいて対応するＰＣｋおよびＰＳｊｋ上でｉとしてラベル付けされたピクセルの数であり、λｉＷｋの最高値は、最大類似性を示し、対応するスタイルパッチＰＳｗｋは、スタイル転送のための選択されたスタイルパッチである。前と同様に、逆関係バージョンも使用され得る（最低値は最大類似性を示す）
【数3】
【数4】
【0087】
このパッチワークアプローチでは、本発明の一態様に従って、パッチの数ｋは、１に減らすことができることも明らかであろう：上限Ｚが１に設定される場合、ｋ値（ｋ＝１）および１つのパッチのみが存在し、その１つのパッチはコンテンツ－スタイル画像全体と一致する。この場合、パッチワークアプローチは、単一のパッチに適用され、実際には、最初に説明したアプローチと同じである。
【0088】
上述のように、ｋ個の異なるパッチは、必ずしも同じサイズではなく、全く異なる数のピクセルを含み得る：（特定のｋ値を有する）あるパッチグループ内のパッチは、（異なるｋ値を有する）別のパッチグループよりもかなり大きくても小さくてもよい。パッチワークアプローチは、関連画像にわたるパッチの最適な分布または分割を保証することにおいてかなりの柔軟性を可能にし、最大のリアリズムを達成し、例えば、高度に多様な画像または「繁忙」画像の両方、ならびに比較的均質な画像に適応するであろう。本発明の装置およびプロセスの例示的な態様では、異なるパッチグループは、単一のエンティティクラスを含むように設定することができる、すなわち、それらはそれぞれ、必ずしも同じエンティティクラスではないが、ただ１つのｉ値に関連する。１つのパッチグループは、例えば、全てのピクセルがクラスｉ＝２にある画像を含むことができ、別のパッチグループは、クラスｉ＝３のピクセルのみが存在する画像を含む。これにより、処理時間を節約し、さらにアーチファクトを低減することができる。
【0089】
非パッチワーク変形に関して既に言及したように、クラスの数Ｍは、パッチワーク変形においても、Ｍ＝１、すなわちただ１つの単一クラスを含む任意の値を有することができる。この場合も、この特別なケースとして、少なくとも１つのパッチ内のピクセルがラベル／注釈を有さず、関連するエンティティを有さないシナリオがある：ピクセルは、単一の「非ラベル化」クラスｉを形成する。
【0090】
図４は、スタイル転送にパッチワークアプローチを使用する場合の効果を示す。画像４０１は、パッチを使用せずに（すなわち、スタイル転送が適用された後に）スタイル化されたコンテンツ画像を示す。画像４０２は、パッチアプローチを使用して生成された同じコンテンツ画像を示す。画像（４０１）がいくつかのレインボーアーチファクトを含むのに対し、画像（４０２）はシャープで正確なレンダリングを示し、観察者にとってはるかに良好なフォトリアリスティックな体験を提供することが読者には直ちに明らかであろう。（４０１）におけるモノクロ画像のカラーバージョンでは、レインボーアーチファクトがはっきりと見える。前に説明したように、パッチワークアプローチは、オートエンコーダのダウンサンプリングとアップサンプリングとの間で画像全体が繰り返し反復されるときに生じる累積エラーから生じるアーチファクトの数を低減し、各パッチは、他のパッチにおいて生成されるアーチファクトに対して「免疫」を有する。
【0091】
ここで図５を参照する。これは、本発明の装置および方法の実施形態によるパッチワークアプローチに関与するステップをフローチャートとして示す。
【0092】
ステップ５０１から開始して、単一のコンテンツ画像ｌｃが取得され、ステップ５０２において、ステップ５０３において入力される複数のＮ個のスタイル画像（ｌＳｊ：ｌｓ１，ｌｓ２，．．．ｌＳＮ）とともに入力される。コンテンツ画像ｌｃはステップ５０２Ａでｋ個のコンテンツパッチＰｃｋに分割され、ｊ個のスタイル画像ｌＳｊはステップ５０３Ａでｋ個のスタイルパッチＰＳｊｋ（コンテンツパッチＰｃｉｋに対応する）にそれぞれ分割される。ステップ５０４でｋ値を１に初期化した後、後続のステップ５０５～５１０が、ｋ＝Ｚまでの各後続のｋ値について繰り返される。各ｋ値は（全Ｚパッチとは）異なるパッチであるので、読者は、ステップ５０５～５１０が、コンテンツパッチＰＣｋおよびｊ個のスタイルパッチＰＳｊｋを含む各パッチグループに対して行われることを理解するであろう。これらのステップのうちの第１のステップは、ステップ５０５において、別の初期化ステップであり、この場合、ｉ値は最初に１に設定され、スタイル化コンテンツパッチＰＣＳｉｋはＰＣｋ（コンテンツ画像ｌｃの分割後の元のｋ番目のコンテンツパッチ）に初期設定される。このｉ値（すなわち所与のクラスに対する）を使用して、コンテンツパッチＰＣｋとｊ個のスタイルパッチＰＳｊｋの各々との間の類似性を表す類似性パラメータλｉｊｋのｊ個の値がステップ５０６で計算される。依然として同じｋ値において、コンテンツパッチＰＣｋに対して最大の類似性（通常、これはパラメータλｉｊｋの最高値であるが、本明細書に記載されるように、どの形態の（非）類似性が使用されるかに依存する）を有するスタイルパッチＰＳｗｋ（ｊ＝Ｗ）が、ステップ５０７において選択され、コンテンツパッチをスタイル化し、それによって、５０８において、その特定のパッチにおけるその特定のｉ－値のためのスタイル化コンテンツパッチＰＣＳｉｋを生成する。ステップ５０９において、ｉ－値はｉ＋１にインクリメントされ、スタイル化コンテンツパッチＰＣＳｉｋ（前の（インクリメントされていない）ｉ－値に対して生成された）から開始して、ステップ５０６～５０９において定義されたプロセスがｉ＋１に対して繰り返され、その結果、λｉ＋１ｊｋ計算およびｊ値（Ｗ）の対応する選択によってさらなるスタイル転送が識別され、これにより、その特定のパッチに対してさらにスタイル化されたコンテンツパッチＰＣＳｉ＋１ｋが生成される。これらの反復は、全てのクラスが使い果たされ（ステップ５１０）、ｉ－値がＭｋに到達し、最終的なスタイル化がパッチグループｋの最終的なスタイル化コンテンツパッチＰＣＳＭｋを生成するまで継続し、これはｉ＝１からｉ＝Ｍｋまでの累積スタイル化の結果である。最終的なスタイル化されたコンテンツパッチＰＣＳＭｋが得られると、すなわちｉの値がｉ＝Ｍｋに達すると、ｋがインクリメントされる（ステップ５１１）、すなわち次のパッチが考慮される。各連続パッチグループ（特定のｋ値を有する）について、同じプロセスが行われ、ｋ個のパッチのそれぞれにおいて独立した最終的なスタイル化されたコンテンツパッチＰＣＳＭｋを生成し、各スタイル化は各パッチについて最適化される。ステップ５１３において、個々のスタイル化コンテンツパッチＰＣＳＭｋを有する全てのパッチ（すなわち、全てのｋ値）が結合され、それによってＺ個のパッチは、新しい合成コンテンツ画像ｌｃｓを形成し、これは、事実上、個々のスタイル化コンテンツＰＣＳＭｋのパッチワークであり、ステップ５１４において出力される
【0093】
図５の上記説明から、各パッチグループにおいて生じる計算－選択プロセスは、他のグループにおける同じプロセスから独立していることが容易に理解されるであろう：各パッチグループにおいて、「勝利」ｊ値、すなわちｊ＝Ｗは、同じｉ値（それ自体が異なるパッチ内の異なるクラスを表し得る）であっても異なる場合があり、Ｍｋは、異なるパッチに対して異なり得る。明らかに、あるパッチにおける最適化は、隣接するパッチにおける最適化とは異なり得る。
【0094】
読者はまた、上記の議論から、１つのパッチＰＣＳｉｋがネットワークをＭｋ回通過することも理解するであろう。各パッチは（分割前の）元の画像のサブセットであるので、各パッチ上に存在するエンティティクラスの数、すなわちＭｋエンティティクラスは、元の画像上のエンティティクラス全体の数以下である。各パッチが単一のラベルを有する領域である最良の場合のシナリオでは、ｋごとにＭｋ＝１であり、したがって、各パッチは一度だけネットワークに供給される必要があり、アーチファクトは蓄積されない。パッチがネットワークにＭｋ＝Ｍ回（Ｍｋエンティティクラスがあるとき）渡される最悪の場合のシナリオにおいてのみ、アーチファクト蓄積は高いままであるが、これはパッチの大部分には当てはまらない。シナリオは実際には完全にユーザの手に委ねられ、ユーザは常に最良のシナリオをアレンジすることができる。読者は、パッチワークアプローチの下では、ほとんどのパッチが、アーチファクトの蓄積の低減から利益を享受し、スタイル化コンテンツ画像ｌｃｓが大幅に改良されることを理解するであろう。
【0095】
本開示は、態様および実施形態のいくつかの例を参照するが、本発明の実施形態は、本明細書で明示的に参照されるものに限定されないことが容易に理解されるであろう：全ての態様および実施形態は、本明細書で明示的に参照されない場合を含む、任意の数の修正、変更、変形、または置換を含むように修正されてもよい。したがって、本発明の実施形態は、上述の説明によって限定されるものとして理解されるべきではなく、添付の特許請求の範囲によってのみ限定されるべきである。様々な実施例または実施形態のいくつかの特徴が、いくつかの実施例、実施形態または図面に現れ、他には現れない場合、これは簡潔さおよび明瞭さのためだけである：本明細書に開示された態様および実施形態の構成要素、特徴および構造は、適宜組み合わされてもよい。そのような組合せが、実施形態の特定の態様に関連して本明細書に例示または明示的に参照されていない場合であっても、これは、単に説明を簡潔にするためであり、そのような組合せが除外されるか、または生じ得ないことを意味すると理解されるべきではない：様々な態様および実施形態の異なる特徴は、適宜混合および組み合わせることができ、本開示は、本明細書で参照される特徴のすべての組合せおよび順列をカバーするものと解釈されるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【国際調査報告】