特許 7488436 畳み込みニューラルネットワークスタイル転送を使用したグラフィックデザインの作成の自動化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-14

(45)【発行日】2024-05-22

(54)【発明の名称】畳み込みニューラルネットワークスタイル転送を使用したグラフィックデザインの作成の自動化

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240515BHJP

   G06N 3/04 20230101ALI20240515BHJP

   G06N 3/0464 20230101ALI20240515BHJP

   G06N 3/08 20230101ALI20240515BHJP

   G06T 1/40 20060101ALI20240515BHJP

   G06V 10/82 20220101ALI20240515BHJP

【ＦＩ】

G06T7/00 350C

G06N3/04

G06N3/0464

G06N3/08

G06T1/40

G06V10/82

【請求項の数】 18

(21)【出願番号】P 2020179358

(22)【出願日】2020-10-27

(65)【公開番号】P2021077365

(43)【公開日】2021-05-20

【審査請求日】2023-10-27

(31)【優先権主張番号】16/681,198

(32)【優先日】2019-11-12

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】504407000

【氏名又は名称】パロ アルト リサーチ センター，エルエルシー

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100158551

【弁理士】

【氏名又は名称】山崎 貴明

(72)【発明者】

【氏名】カライバニ・ラメア・クベンドラン

【審査官】笠田 和宏

(56)【参考文献】

【文献】Gantugs Atarsaikhan，外２名，Constrained Neural Style Transfer for Decorated Logo Generation，[online]，2018年07月14日，[2023年11月20日検索]，インターネット＜URL：https://arxiv.org/pdf/1803.00686.pdf＞

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ３／０４

Ｇ０６Ｎ ３／０４６４

Ｇ０６Ｎ ３／０８

Ｇ０６Ｔ １／４０

Ｇ０６Ｖ １０／８２

(57)【特許請求の範囲】

【請求項1】

方法であって、
畳み込みニューラルネットワークにシルエット画像を入力してコンテンツ特徴層を生成することと、
パターン特徴層のための前記畳み込みニューラルネットワークの下位層の全ての副層を利用して、５回を超える反復を実行する第１の選択肢と、前記パターン特徴層のための前記畳み込みニューラルネットワークの各下位層のうち１つの副層のみを利用し、５回以下の反復を実行する第２の選択肢と、の２つの異なるスタイル選択肢の間でユーザ選択を受信することと、
前記ユーザ選択にしたがって、前記畳み込みニューラルネットワークにスタイル画像を入力して、前記パターン特徴層を生成することと、
前記畳み込みニューラルネットワークに参照画像を入力して基準特徴層を決定し、複数の反復のそれぞれについて、前記畳み込みニューラルネットワークの組み合わせ損失を最小化して、前記シルエット画像の範囲内の前記スタイル画像の抽象化を含む出力画像を取得することと、を含み前記組み合わせ損失が、
前記コンテンツ特徴層と、対応する前記基準特徴層のうちの１つとの間のコンテンツ損失と、
前記パターン特徴層と、対応する前記基準特徴層の組との間のスタイル損失と、
を含む、
前記方法が、さらに、
前記出力画像をグラフィックデザイン製品に利用すること、を含む、方法。

【請求項2】

前記コンテンツ特徴層が、前記畳み込みニューラルネットワークの最上位層から取得される、請求項１に記載の方法。

【請求項3】

前記パターン特徴層が、前記畳み込みニューラルネットワークの最下位層から取得される、請求項１に記載の方法。

【請求項4】

手順生成モジュールを用いて前記スタイル画像を前処理して、前記畳み込みニューラルネットワークに入力される１つ又はそれ以上のパターンを生成することを更に含む、請求項１に記載の方法。

【請求項5】

前記シルエットの色をランダムに変化させることと、
前記スタイル画像にランダムな幾何学的変換を適用することと、
のうちの１つ又はそれ以上を実行することにより、前記スタイル画像の前記抽象化を複数の異なる出力画像に変更することを更に含む、請求項１に記載の方法。

【請求項6】

入力コンテンツ画像の閾値色値に基づいて、前記入力コンテンツ画像を前記シルエット画像に変換することを更に含む、請求項１に記載の方法。

【請求項7】

前記シルエット画像の反転で前記出力画像をマスキングすることを更に含む、請求項１に記載の方法。

【請求項8】

前記出力画像をラスタ画像からベクトル画像に変換することを更に含む、請求項１に記載の方法。

【請求項9】

前記畳み込みニューラルネットワークが、予め訓練されたニューラルネットワークモデルからの重みで初期化される、請求項１に記載の方法。

【請求項10】

システムであって、
プロセッサとメモリとを備える装置であって、前記プロセッサが、
畳み込みニューラルネットワークを通じてシルエット画像を処理してコンテンツ特徴層を生成し、前記コンテンツ特徴層をメモリ内に記憶する工程と、
パターン特徴層のための前記畳み込みニューラルネットワークの下位層の全ての副層を利用して、５回を超える反復を実行する第１の選択肢と、前記パターン特徴層のための前記畳み込みニューラルネットワークの各下位層のうち１つの副層のみを利用し、５回以下の反復を実行する第２の選択肢と、の２つの異なるスタイル選択肢の間のユーザ選択を受信する工程と、
前記ユーザ選択にしたがって、前記畳み込みニューラルネットワークを通じてスタイル画像を処理して前記パターン特徴層を生成し、前記パターン特徴層を前記メモリに記憶する工程と、
前記畳み込みニューラルネットワークを通じて参照画像を処理して基準特徴層を決定する工程と、
複数の反復のそれぞれに関して、前記畳み込みニューラルネットワークの組み合わせ損失を最小化して、前記シルエット画像の範囲内の前記スタイル画像の抽象化を含む出力画像を取得する工程であって、前記組み合わせ損失は、前記コンテンツ特徴層と対応する前記基準特徴層の１つとの間のコンテンツ損失と、前記パターン特徴層と対応する前記基準特徴層の組との間のスタイル損失と、を含む、工程と、
を行うための命令を通じて動作可能である、装置を備えたシステム。

【請求項11】

前記コンテンツ特徴層が、前記畳み込みニューラルネットワークの最上位層から取得され、前記パターン特徴層が、前記畳み込みニューラルネットワークの最下位層から取得される、請求項１０に記載のシステム。

【請求項12】

前記プロセッサが、前記畳み込みニューラルネットワークに入力される１つ又は２つ以上のパターンを生成するために、手順生成モジュールを通じて前記スタイル画像を前処理するように更に動作可能である、請求項１０に記載のシステム。

【請求項13】

前記プロセッサが、
前記シルエットの色をランダムに変化させることと、
前記スタイル画像にランダムな幾何学的変換を適用することと、
のうちの１つ又はそれ以上を実行することにより、前記スタイル画像の前記抽象化を複数の異なる出力画像に変更することを更に含む、請求項１１に記載のシステム。

【請求項14】

前記プロセッサが、入力コンテンツ画像の閾値色値に基づいて、前記入力コンテンツ画像を前記シルエット画像に変換するように更に動作可能である、請求項１０に記載のシステム。

【請求項15】

前記畳み込みニューラルネットワークが、予め訓練されたニューラルネットワークモデルからの重みで初期化される、請求項１０に記載のシステム。

【請求項16】

方法であって、
シルエット画像及びスタイル画像を畳み込みニューラルネットワークに入力して、コンテンツ特徴層及びパターン特徴層をそれぞれ生成することと、
前記パターン特徴層のための前記畳み込みニューラルネットワークの下位層の全ての副層を利用して、５回を超える反復を実行する第１の選択肢と、前記パターン特徴層のための前記畳み込みニューラルネットワークの各下位層のうち１つの副層のみを利用し、５回以下の反復を実行する第２の選択肢と、の２つの異なるスタイル選択肢の間でユーザ選択を受信することであって、前記ユーザ選択に基づいて前記パターン特徴層が生成される、前記受信すること、
前記コンテンツ特徴層及び前記パターン特徴層を深層畳み込みニューラルネットワークから組み合わせて出力画像を取得することであって、前記組み合わせは、前記コンテンツ特徴層と、対応する基準特徴層との間のコンテンツ損失を最小化し、パターン特徴層と、対応する１組の他の基準特徴層との間のスタイル損失を最小化することに基づくものであり、前記出力画像は、前記シルエット画像の範囲内の前記スタイル画像の抽象化を含む、ことと、
前記出力画像をグラフィックデザイン製品に利用することと、を含む、方法。

【請求項17】

前記コンテンツ特徴層が、前記畳み込みニューラルネットワークの最上位層から取得される、請求項１６に記載の方法。

【請求項18】

前記パターン特徴層が、前記畳み込みニューラルネットワークの最下位層から取得される、請求項１６に記載の方法。

【発明の詳細な説明】

【発明の概要】

【発明が解決しようとする課題】

【0001】

本開示は、アクセシビリティ制約を利用するサブトラクティブ製造のための自動デザイン生成に関する。一実施形態では、畳み込みニューラルネットワークにシルエット画像が入力されてコンテンツ特徴層が生成される。畳み込みニューラルネットワークにスタイル画像が入力されてパターン特徴層が生成される。畳み込みニューラルネットワークに参照画像が入力されて基準特徴層が決定される。複数の反復のそれぞれに関して、シルエット画像の領域内のスタイル画像の抽象化を含む出力画像を得るために、畳み込みニューラルネットワークの組み合わせ損失が最小化される。組み合わせ損失は、コンテンツ特徴層と対応する基準特徴層のうちの１つとの間のコンテンツ損失と、パターン特徴層と対応する基準特徴層のセットとの間のスタイル損失とを含む。出力画像はグラフィックデザイン製品で利用される。

【0002】

別の実施形態では、シルエット画像及びスタイル画像が畳み込みニューラルネットワークに入力されて、コンテンツ特徴層及びパターン特徴層をそれぞれ生成する。コンテンツ特徴層及びパターン特徴層が畳み込みニューラルネットワーク内で組み合わされて、シルエット画像の領域内のスタイル画像の抽象化を含む出力画像が得られる。この組み合わせは、コンテンツ特徴層と対応する基準特徴層との間のコンテンツ損失を最小化し、パターン特徴層と、対応する１組の他の基準特徴層との間のスタイル損失を最小化することに基づく。出力画像はグラフィックデザイン製品で利用される。

【0003】

様々な実施形態のこれら及び他の特徴及び態様は、以下の詳細な説明及び添付の図面を考慮して理解され得る。

【図面の簡単な説明】

【0004】

以下の説明は、以下の図を参照するが、同じ参照番号は、複数の図において類似の／同じ構成要素を識別するために使用され得る。図面は必ずしも縮尺どおりではない。

【図1】例示的な実施形態によるデザイン生成の結果を示す画像のセットである。

【図2】例示的な実施形態によるシステムのブロック図である。

【図3】例示的な実施形態によるシルエット変換モジュールの例示的な入力及び出力を示す図である。

【図4】例示的な実施形態による、手順生成モジュールを介して生成された出力パターンを示す図である。

【図5】例示的な実施形態による、異なるＲＧＢ値に基づくランダム化モジュールの出力を示す画像のセットである。

【図6】一実施形態例による、出力をランダム化するために異なる画像処理操作を使用する効果を示す画像のセットである。

【図7】一実施形態例によるラスタ－ベクトル変換の一例を示す図である。

【図8】例示的な実施形態による方法のフローチャートである。

【図9】例示的な実施形態による装置のブロック図である。

【図10】例示的な実施形態による、神経スタイルの伝達がどのように実行され得るかを示すブロック図である。

【図11】例示的な実施形態による、神経スタイルの伝達がどのように実行され得るかを示すブロック図である。

【図12】例示的な実施形態による、神経スタイルの伝達がどのように実行され得るかを示すブロック図である。

【発明を実施するための形態】

【0005】

本開示は、自動グラフィックデザイン作成に関する。統合された手順生成アルゴリズム及びニューラルスタイル転送アルゴリズムを使用して複数の固有のグラフィックデザインパターンを生成するシステムが記載される。システムは、２種類の入力、すなわちコンテンツ画像及びスタイル画像を取り込み、ユーザが選択した属性を利用して、審美的に心地良いデザインパターンを生成する。現在、この種のグラフィックデザイン生成は、Ａｄｏｂｅ Ｐｈｏｔｏｓｈｏｐ（登録商標）又はＡｄｏｂｅ Ｉｌｌｕｓｔｒａｔｏｒ（登録商標）などの独自のソフトウェアを使用して手作業で作成され、各作品は、作成するために数時間～数日を要することがある。本明細書に記載されるこのシステムは、秒以内のスケールで類似の作品を生成することができる。このシステムのプロトタイプが既に実装されている。

【0006】

個人用デザインは、製品及びロゴの魅力を向上させるために、企業にますます好まれている。このことは、典型的にはグラフィックアーティストによって手動で行われる固有のパターンを生成することを要する。このプロセスはかなりの労力及び時間を要し、品質の良い出力を大規模に生成することは困難である。生産速度を増加させるために商業的に存在する数々の回避策として、既存の設計をパターンのランダムな場所で異なる形状に切断することが挙げられる。これは、ユーザにとって固有の出力を生成することができるが、この品質は、「未完成の外観」につながる可能性があるため、審美的に魅力的でない可能性がある。図１では、画像のセットは、パターン入力１００、及びシルエットに適用されたこの単純な「カットアウト」１０２技術を採用する例を示す。

【0007】

本明細書で提案されるシステムは、固有のパターンを大規模に生成するだけでなく、ニューラルスタイル転送アルゴリズムの態様を利用することにより、所与の形状に適合して整列する審美的に好ましい作品を作り出すために、現在の生成技術を改善する。この例は、図１の画像１０４によって見ることができる。システムはまた、いくつかのユーザ規定のパラメータを有するため、容易に具現化され得る。

【0008】

システムは、グラフィックデザインパターンの生成を容易にするいくつかのモジュールを含む。図２において、ブロック図は、例示的な実施形態による装置２００を示す。システム２００は、コンテンツ画像２０２及びスタイル画像２０４、の２つの入力画像を取得する。コンテンツ画像２０２は、シルエット及び／又は、例えば、画像－シルエット変換器２１０を介してシルエットが抽出され得る写真であってもよい。スタイル画像２０４は、パターン、写真、又は何らかの望ましいスタイル特性を有する任意の他の画像であってもよい。入力画像がシルエット及びパターンの代わりに写真（例えば、写真画像）である場合、任意選択の画像－シルエット２１０モジュール及び手順生成２１２モジュールを選択することができる。これらは、入力画像２０２、２０４を処理して出力画像２０６、２０８を生成するニューラルスタイル転送プロセッサ２０５６に入力される。

【0009】

システム２００は、形状／外形内に固有のパターンを適合させるように動作可能であり、したがって、ニューラルスタイル転送プロセッサ２０５は、コンテンツ入力画像２０２に基づくシルエット２１４を入力として取り込む。ユーザは、コンテンツ画像としてシルエットを直接提供することができるが、システムもまた、コンテンツとして写真を提供するための選択肢をユーザに提供する。この場合、画像は、まず、モジュール２１０を介して「白黒」モードに変換される。「近黒色」範囲内の閾値（例えば、１００未満の色値がデフォルト閾値として使用される）を選択するために等高線法が使用され、そしてそれらのために純黒色が割り当てられ、残りの範囲のために純白色が割り当てられる。デフォルト閾値は、一般に、ほとんどの画像に対して機能するが、ユーザが特定の画像に対してより高い閾値又はより低い閾値を必要とする場合に調整することができる。例示的な実施形態によるシルエットモジュール２１０によって提供される画像の例を図３に示す。

【0010】

典型的には、ユーザは、新しいグラフィックデザインを生成するためのベースとして使用するためのパターンをシステムに提供する。ユーザがパターン入力を有さない場合には、手順生成モジュール２１２（図２参照）を使用することができる。ここで、ユーザは、入力として任意の写真を提供し、手順生成モジュールを選択して固有のパターンを生成することができる。コンピュータグラフィックに手順生成技術が使用されてテクスチャが生成される。様々な実施形態において、「Ｃｒｅａｔｉｎｇ Ｓｙｍｍｅｔｒｙ：Ｔｈｅ Ａｒｔｆｕｌ Ｍａｔｈｅｍａｔｉｃｓ ｏｆ Ｗａｌｌｐａｐｅｒ Ｐａｔｔｅｒｎｓ」、２０１５、Ｐｒｉｎｃｅｔｏｎ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ ｂｙ Ｆ．Ａ．Ｆａｒｒｉｓに記載されているように、特定の対称性生成技術が使用され得る。このアプローチでは、所与の画像内で特定の画素のセットをランダムに選択して対称的に繰り返し、壁紙様デザインを生成する。

【0011】

一実施形態では、六角形対称の生成アルゴリズムが使用される。この対称デザインは、ニューラルプロセッサ２０５に入るときに「パターン」入力として作用する。図４では、画像は、以下により詳細に記載されるように、独自のグラフィックデザイン４０６を生成するために更に使用される、見た目の単純な絵画４００に基づいて、手順生成モジュール２１２を介して生成された芸術的な出力パターン４０２を示す。

【0012】

再び図２を参照すると、ニューラルスタイル転送プロセッサは、Ｇａｔｙ等による「Ｉｍａｇｅ Ｓｔｙｌｅ Ｔｒａｎｓｆｅｒ Ｕｓｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、２０１６（以下、Ｇａｔｙ等）に記載されているアプローチに基づく。最初に、コンテンツ画像及びスタイル画像は、深層畳み込みニューラルネットワークを通過して、シルエット２１４及びパターン２２２の両方のための特徴層２１８、２２４を得る。この目的に使用することができるニューラルネットワークの一例は、「Ｖｅｒｙ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌｅａｒｎｉｎｇ Ａｌｇｏｒｉｔｈｍｓ、２０１５、ｂｙ Ｓｉｍｏｙａｎ ｅｔ ａｌ．）に記載されているように、ＶＧＧＮｅｔと称される。ＶＧＧＮｅｔネットワークは、１９フィルタ層（１６の畳み込み層及び３つの完全に接続された層）及び５つのプール層のスタックを使用する。アルゴリズムを初期化するために、予め訓練されたニューラルネットワークモデルからの重みが使用される。

【0013】

図１０～図１２では、ブロック図は、例示的な実施形態に従って、ニューラルスタイル転送がどのように実行され得るかを示す。１つの画像から他への「スタイル転送」を実行するために、逐次的な畳み込み層を有するニューラルネットワーク１０００は、典型的には、予め訓練された重みで初期化される。一般に、重みは、写真画像（例えば、ＩｍａｇｅＮｅｔ写真）で訓練されたニューラルネットワークから得られる。次いで、コンテンツ特徴及びスタイル特徴は、２つ以上の畳み込み層、続いてプーリング機能、及び活性化機能を含む、５つの畳み込み層ブロック（第１～５層）を有するニューラルネットワーク１０００を介して実行される。図１０に見られるように、ニューラルネットワーク１０００にパターン画像１００２が入力され、各層の１つの対応する副層（Ｐ１～Ｐ４）が、スタイルを表すように記憶される。他の実施形態では、各層からの２つ以上の副層が記憶されてもよい。図１１に見られるように、コンテンツ表現の単一の副層（Ｃ５）が記憶される。

【0014】

図１２に見られるように、参照画像１２００（例えば、ホワイトノイズ画像、スタイル画像又はコンテンツ画像のうちの１つ）が、ニューラルネットワーク１０００を通過し、複数の副層の上のスタイル損失１２０４が、記憶されたスタイル副層Ｐ１～Ｐ５と、参照画像を処理した結果として生じるニューラルネットワーク１０００の対応する層との間の比較（例えば、平均二乗差を決定することと、を含む）に基づいて演算される。同様に、コンテンツ損失１２０６は、記憶されたコンテンツ層と、ニューラルネットワークの対応する層とを比較することによって、参照画像を処理する結果を比較することによって見出される。スタイル損失とコンテンツ損失との組み合わせは、全損失１２０８として使用され、全損失の微分δは、エラーバック伝搬を使用して見出すことができる。微分δは、そのスタイル及びコンテンツ特徴がスタイル及びコンテンツ画像と一致するまで参照画像１２００を反復的に更新し、それによって出力画像１２０２を形成するために使用される。

【0015】

スタイル画像として芸術的な塗装が使用され、写真画像がコンテンツとして使用されるアルゴリズムとは異なり、図示されるシステムは、コンテンツ画像としてシルエットを使用し、スタイル画像として高密度の再現性パターンを使用する。図示されるシステムはまた、組み合わせ画像が調製される方法でも異なる。例えば、最上位の畳み込み特徴層（例えば、第５の畳み込み層）は、コンテンツに使用され、いくつかの選択された低位の畳み込み特徴層（芸術的な品質を損なうことなくプロセスをスピードアップするために試行錯誤によって決定される）がスタイルに使用される。Ｇｒａｍマトリックス（Ｇａｔｙｓを参照）と呼ばれる損失関数は、元のコンテンツ及びスタイルの画像に対してスタイル損失及びコンテンツ損失を測定するように定義される。この統合された損失（例えば、スタイル損失とコンテンツ損失との重み付けされた組み合わせ）は、組み合わされた損失の勾配を使用することによって、全ての反復で最小化される。組み合わされた損失の許容値は、ニューラルネットワークを通した反復を最小限に抑えるように設定されてもよい。

【0016】

このシステムでは、ユーザが好む解像度及び計算速度に応じて選択することができる、２つの異なるアルゴリズム変動がユーザに提示され得る。これらの変動は、特徴層の選択及び損失最小化のための反復の数に基づく。１つの選択肢は、パターンのための下位レベルの特徴層（第１～４層）の全ての副層と、コンテンツのための最上位特徴層と、を含む。これは、全ての５つの畳み込み層が利用されるアルゴリズム（例えば、Ｇａｔｙｓ）とはわずかに異なる。これは、シルエットの境界に、より低いレベルの「パターン」を収容するために行われる。これらの組み合わせ損失は、１０回の反復で最小化される。デザイン生成のための近似時間は、ＮＶＩＤＩＡ １０８０ｘ ＧＰＵを使用する場合、約４５秒である。

【0017】

別の選択肢は、最適化されたスタイルの転送である。この代替案は、ユーザがデザイン生成の迅速な転換を必要とするときに選択される。特徴層は、各畳み込み層からの１つの副層（第１～４層）を含み、アルゴリズムは、３回の反復で最適化される。最適化されたスタイルの転送を使用したデザイン生成の近似時間は、ＮＶＩＤＩＡ １０８０ｘ ＧＰＵを使用する場合、約１５秒である。

【0018】

再び図２を参照すると、任意選択のランダム化モジュール２２０が、生成されたグラフィックデザインにおいて様々な生成に使用される。これは、ユーザが、同じコンテンツ画像及びスタイル画像から複数のグラフィックデザインパターンを生成することを望むときに使用することができる。このモジュール２２０が選択されると、２つの方法でランダム化が生じる。１つの方法では、シルエット色は、ＲＧＢスケールでランダムに選択される。シルエットスタイルの転送には暗色が良好に働くため、各ＲＧＢスケールの色範囲は、スペクトルの暗い端部上で選択される。異なる色選択は、図５に示すように、同じ入力パターンについて完全に異なる組の適合されたデザインを生成する。

【0019】

画像処理動作、例えば、水平フリップ、垂直フリップ、転置などの幾何学的変換は、ニューラルスタイル転送プロセッサ２０５に入る前に入力パターン画像上に適用することができる。他の幾何学的変換には、伸張、歪曲／剪断、丸め、回転などが挙げられ得る。これにより、図６に示されるような出力に変化が生じる。ランダム化モジュールは、シルエット色及び画像処理操作のランダムな選択の両方を同時に行うため、各時間ごとにアルゴリズムによって生成される出力が一意的に生成される。

【0020】

再び図２を参照すると、反転シルエットモジュール２１６は、後処理のためのマスクを製造するために使用される。画像からシルエットモジュールに生成されるか、又はユーザによって直接与えられるシルエット入力２１４は、このモジュール２２８で反転される。この手法は、黒色画素を白色に、及びその逆に置き換えることを伴う。結果として生じる反転されたシルエットは、生成された画像２２６をきれいにするためにマスク転送モジュール２２８に使用される。

【0021】

マスク転送モジュール２２８は、最終生成画像上で使用されて、清浄な出力を生成する。上述したように、ニューラルスタイル転送アプローチは、シルエット画像２１４上で使用される。このアプローチは、シルエット２１４の縁部の内側でパターンを整列させるために非常に良好に機能するが、アルゴリズムはまた、シルエット２１４の周囲でパターンを転送する。これらのパターンは、シルエットの周囲の白い背景により、即して現れ、画像全体の美観を損なう可能性がある。したがって、反転されたシルエット出力（モジュール２２６から取得された）を使用したマスク転送が、生成された画像に適用される。ここで、反転したシルエット画像は、出力のどのパターンが画素レベルで通過し得るかを識別するフィルタとして使用される。例えば、画素比較によって画素を使用すると、出力画像内のパターンは、対応する画素が反転したシルエット画像内の純白色の色である場合にのみ選択される。そうでなければ、純白色が画素に割り当てられる。これにより、白い背景を有するグラフィックデザイン出力が得られる。ユーザはまた、必要に応じて、マスク転送モジュール内の異なる色背景を選択することもできる。

【0022】

任意選択のラスタベクトル変換モジュール２３０は、いくつかのグラフィックデザイン用途に有用であり得る。ニューラルスタイル転送アルゴリズムが画素レベルで動作し、したがって、出力はラスタファイルとして生成される。これは、デジタル分布のために良好に機能することができるが、生成されたグラフィックデザインが大型のバナー又は冊子に印刷される場合、アルゴリズムによって生成される解像度は十分ではない場合がある。そのような場合、ラスタベクトル変換モジュール２３０はラスタ画像をベクトルフォーマットに変換する。この選択肢が選択されると、生成された出力は、２つのプロセス、すなわち色の量子化及びトレーシングを同時に経る。

【0023】

色量子化プロセスは、画像内に存在する色の数を特定の値に定量化する。デフォルトでは、システムは２５色を使用し、これは、所望の出力に応じて色の数を増加又は減少させるようにユーザによって修正することができる。「ｉｍａｇｅｍａｇｉｃｋ」などのソフトウェアを、色量子化に使用することができる。次に、「ｐｏａｃｅ」と呼ばれるパイトンパッケージを使用して、画像を追跡することができる。これは、ラスタ内の識別可能なエッジを追跡し、それを平滑なラインを有するベクトル画像に変換するために使用される。最終出力は、色量子化及び追跡から生成された積層画像からなり、スケール変更可能なベクトル画像を生成する。図７の画像は、ラスタ出力に対するラスタの解像度の増加を示し、ここでは、より良好に画定され、滑らかな縁部を有し、印刷に理想的である。

【0024】

図８は、例示的な実施形態による方法のフローチャートである。この方法は、８００のシルエット画像を深層畳み込みニューラルネットワークに入力して、コンテンツ特徴層を生成することを含む。スタイル画像は、パターン特徴層を生成するために、深層畳み込みニューラルネットワークに入力８０１を入力する。深畳み込みニューラルネットワークからのコンテンツ特徴層及びパターン特徴層を組み合わせて８０２、出力画像を得る。出力画像は、シルエット画像の領域内のスタイル画像の抽象化を含む。出力画像は、グラフィックデザイン製品において利用される８０３。例えば、出力画像は、印刷された出版物、製品上の装飾的デザイン、電子刊行物（例えば、ウェブサイト、ドキュメントファイル）、３次元造形などに使用されてもよい。

【0025】

上述の方法及びプロセスは、技術分野において既知のように、コンピュータハードウェア、例えば、ワークステーション、サーバ上に実装することができる。図９では、ブロック図は、例示的な実施形態による方法を実施するために使用され得る装置９００を示す。装置９００は、中央処理ユニット、コプロセッサ、デジタル信号プロセッサなどの１つ以上のプロセッサ９０２を含む。プロセッサ９０２は、１つ以上の入力／出力バス９０８を介してランダムアクセスメモリ９０４及び永続的ストレージ９０６の両方を含み得るメモリに結合される。他の汎用又は専用ハードウェアは、グラフィック処理ユニット（ＧＰＵ）９１１及びネットワークインタフェース９１２などのバス９０８に結合されてもよい。以下に説明する装置９００の機能は、例えば、クライアント－サーバ構成、クラスタ化コンピューティング、クラウドコンピューティングなどを介して、複数のデバイスを介して実装されてもよいことに留意されたい。

【0026】

ネットワークインタフェース９１２は、有線又は無線媒体を使用してグラフィックデザイン生成システム９１６を有するネットワーク９１４を介した通信を容易にする。グラフィックデザイン生成システム９１６は、物理的媒体（例えば、印刷輪郭、三次元オブジェクト）及び電子メディア（例えば、ラスタ及び／又はベクトルファイル）を生成してもよい。メディアを生成することに加えて、グラフィックデザイン生成システム９１６は、システム９１６の一部であるマシンによって使用されるデータを調製するプリプロセッサ、フォーマッタ、ユーザインタフェースなどを含んでもよい。データはまた、例えば、ポータブルデータ記憶ドライブ、ポイントツーポイント通信などを介して、非ネットワーク輸送を使用してグラフィックデザイン生成システム９１６に転送されてもよい。

【0027】

装置９００は、装飾的グラフィックを自動的に生成することを容易にするソフトウェア９２０を含む。ソフトウェア９２０は、ユーザレベルプログラムとハードウェアとの間の通信を容易にするオペレーティングシステム９２２及びドライバ９２４を含む。ソフトウェア９２０はまた、（例えば、テキスト又は視覚検索アルゴリズムを使用して）スタイル画像の選択、及びスタイル画像の準備（例えば、手続き生成、ランダム化など）を容易にするスタイルプリプロセッサ９２６を含んでもよい。コンテンツプリプロセッサ分析モジュール９２８は、コンテンツ画像の選択を促進し（例えば、テキスト又は視覚検索アルゴリズムを使用して）、コンテンツ画像の作成（例えば、グレースケール又はカラー画像をシルエット画像に変換する）。ニューラルネットワーク９３０（例えば、深層畳み込みニューラルネットワーク）は、シルエット画像を使用してコンテンツ特徴層を生成し、スタイル画像を使用してパターン特徴層を生成する。コンテンツ特徴層及びパターン特徴層は、メモリ９０４及び若しくは永続的ストレージ９０６に記憶され得る。

【0028】

組み合わせモジュール９３２は、参照画像をニューラルネットワークに入力し、記憶されたスタイル及びコンテンツ層と参照画像の層表現を比較する。損失関数は、この比較に基づいて計算され、バック伝搬を介してニューラルネットワーク９３０を適応させて、参照画像におけるスタイル及びコンテンツ損失を低減するために使用される。これは、停止基準が満たされるまで（例えば、ユーザが選択した、スピード又は品質を強調するためのユーザ選択設定）まで繰り返され、この時点で、参照画像は、シルエット画像の範囲内のスタイル画像の抽象化を表す。

【0029】

後処理モジュール９３４は、組み合わせ画像に対して追加の動作を実行することができる。例えば、後処理モジュール９３４は、シルエットを反転させて、組み合わせ縁部をマスクし、それによって鋭利な境界を提供することができる。後処理モジュール９３４はまた、ベクトルグラフィックスフォーマットに（ラスタ画像である）組み合わせ画像をカバーしてもよい。システムは、いくつかのユーザ選択可能オプションを提供することができるため、ユーザインタフェースハードウェア９３６は、例えば、グラフィカルユーザインタフェース、コマンドライン命令、構成ファイルなどを介して、ソフトウェア９２０にユーザ入力を提供することを容易にすることができる。

【0030】

要約すると、上記のシステムは、時間及び手動の労力を節約するだけでなく、一定の縮尺で複数の独特の審美的に美しい作品を作り出すこともできるグラフィックデザインを生成する方法を提供する。このアーキテクチャは、例えば、塗装のように見える画像を生成するために、タイル転送アプローチを使用することができるが、ここではシルエット及びマスク転写を使用してグラフィックデザインを生成するために使用される。処置生成アルゴリズムは、ディープニューラルネットの転送の文脈で使用される。これにより、ユーザは、単純な写真から一意の作品を生成することができる。異なるアルゴリズムの変形により、ユーザは、例えば、秒以内にグラフィックデザインパターンを生成すること、又はスタイル及びコンテンツ損失を低減するためにより多くの反復を使用するより高品質の生成スキームを選択することを可能にする。ランダム化モジュールを使用して、出力画像内に様々なものを生成することができる。

【0031】

上記の様々な実施形態は、特定の結果を提供するために相互作用する回路、ファームウェア、及び／又はソフトウェアモジュールを使用して実装され得る。当業者は、技術分野において一般的に公知である知識を使用して、モジュール式レベル又は全体でのいずれかで、こうして記載された機能を容易に実装することができる。例えば、本明細書に例解されるフローチャート及び制御図は、プロセッサにより実行されるためのコンピュータ可読命令／コードを作成するために使用されてもよい。こうした命令は、非一時的コンピュータ可読媒体上に格納され、技術分野において公知であるように実行するためにプロセッサに転送されてもよい。上記の構造及び手順は、上述の機能を提供するために使用され得る実施形態の代表的な例に過ぎない。

【0032】

特段の指示がない限り、本明細書及び特許請求の範囲で使用される特徴サイズ、量及び物理的特性を表す全ての数は、全ての場合において、「約」という用語によって修飾されるものとして理解されるべきである。したがって、それと異なる指示がない限り、前述の明細書及び添付の特許請求の範囲に記載される数値パラメータは、本明細書に開示される教示を利用して当業者が得ようとする所望の特性に応じて変化し得る近似値である。端点による数値範囲の使用は、その範囲内の全ての数（例えば、１～５は、１、１．５、２、２．７５、３、３．８０、４及び５を含む）及びその範囲内の任意の範囲を含む。

【0033】

例示的な実施形態の前述の説明は、説明及び説明の目的のために提示されている。これらは、網羅的であること、又は本明細書に記載される実施形態を開示される形態に限定することを意図するものではない。上記の教示に照らして、多くの修正及び変形が可能である。開示される実施形態の任意の又は全ての特徴は、個別に又は任意の組み合わせで適用することができ、限定することを意図するものではなく、単に例示的であることを意図するものではない。本発明の範囲は、この発明を実施するための形態に限定されるものではなく、むしろ本明細書に添付の特許請求の範囲によって決定されることが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】