特開 2024-86944 解像度変換を提供するデザイン生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024086944

(43)【公開日】2024-06-28

(54)【発明の名称】解像度変換を提供するデザイン生成装置

(51)【国際特許分類】

   G06F 30/27 20200101AFI20240621BHJP

   G06F 30/12 20200101ALI20240621BHJP

【ＦＩ】

G06F30/27

G06F30/12

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2024067417

(22)【出願日】2024-04-18

(62)【分割の表示】P 2023539295の分割

【原出願日】2020-12-29

(31)【優先権主張番号】10-2020-0186866

(32)【優先日】2020-12-29

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】523226228

【氏名又は名称】デザイノブル

【氏名又は名称原語表記】ＤＥＳＩＧＮＯＶＥＬ

【住所又は居所原語表記】５０３ｈｏ， ８０， Ｊｉｇｏｋ－ｒｏ， Ｎａｍ－ｇｕ Ｐｏｈａｎｇ－ｓｉ Ｇｙｅｏｎｇｓａｎｇｂｕｋ－ｄｏ ３７６６６ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100121382

【弁理士】

【氏名又は名称】山下 託嗣

(72)【発明者】

【氏名】ソン，ウ サン

(72)【発明者】

【氏名】シン，キ ヨン

(72)【発明者】

【氏名】リ，ジアン リ

(57)【要約】

【課題】学習された条件に基づくデザイン生成装置を提供する。
【解決手段】解像度変換を提供するデザイン生成装置は、１つ以上のプロセッサと、画像及びテキストを含む情報を受信するネットワークインターフェースと、プロセッサによって行われるコンピュータプログラムをロードするメモリと、コンピュータプログラムを保存するストレージを含み、コンピュータプログラムは、受信された情報から画像を取得する動作と、取得された画像の特徴を学習する動作と、前記情報上のテキストを抽出し、抽出されたテキストを学習された画像の特徴とマッチングする動作と、マッチングを通じて、ユーザテキストに対応する条件を識別する動作と、識別された条件に基づくデザイン画像を生成する動作と、生成されたデザイン画像に対する解像度変換を行う動作と、像度変換を通じて最終デザイン画像を生成する動作と、を含むことができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

１つ以上のプロセッサと、
画像及びテキストを含む情報を受信するネットワークインターフェースと、
前記プロセッサによって実行されるコンピュータプログラムをロード（ｌｏａｄ）するメモリと、
前記コンピュータプログラムを保存するストレージを含み、
前記コンピュータプログラムは、
受信された情報から前記画像を取得する動作と、
取得された画像の特徴を学習する動作と、
前記情報上のテキストを抽出し、抽出されたテキストを学習された画像の特徴とマッチングする動作と、
マッチングを通じて、前記画像に基づいて生成しようとするデザインの条件を学習する動作と、
ユーザがデザイン画像を生成するためのユーザテキストを入力する動作と、
前記ユーザテキストをベクトル化するステップと、
前記ベクトル化の結果、生成された前記ユーザテキストに対するベクトル値に基づいて、前記ユーザテキストに対応する条件を識別する動作と、
識別された条件に基づくデザイン画像を生成する動作と、
生成されたデザイン画像に対する解像度変換を行う動作と、
解像度変換を通じて最終デザイン画像を生成する動作と、を含み、
前記解像度変換を行う動作は、
生成されたデザイン画像の特徴を抽出する動作と、
取得された画像及び生成されたデザイン画像上のピクセルに基づく比較ではなく、取得された画像に対して学習された特徴を生成されたデザイン画像の抽出されたデザイン特徴と比較する動作と、
比較を通じて、取得された画像に対して学習された特徴と対比し、生成されたデザイン画像の抽出されたデザイン特徴に対するエンコーディング結果の類似性を学習することによって、前記解像度が変換された最終デザインを生成する動作と、
を含む、解像度変換を提供するデザイン生成装置。

【請求項2】

前記画像に基づいて生成しようとするデザインの条件を学習する動作は、
マッチングを通じて、抽出されたテキストのうち、学習された画像の特徴に対応するテキストを前記条件として学習する動作と、
前記条件で学習されたテキストを、前記画像の特徴を含む製品のカテゴリーとして決定する動作と、
を含む、請求項１に記載の解像度変換を提供するデザイン生成装置。

【請求項3】

前記ユーザのテキストに対応する条件を識別する動作は、
前記カテゴリーに前記ユーザのテキストに対して生成されたベクトル値がマッチングするか否かを判断する動作と、
前記カテゴリーに前記ベクトル値がマッチングする場合、前記カテゴリー及び前記ベクトル値を前記条件として識別する動作と、
を含む、請求項２に記載の解像度変換を提供するデザイン生成装置。

【請求項4】

前記カテゴリーに前記ベクトル値がマッチングしない場合、前記カテゴリー及び前記ベクトル値にスタイル変数を反映して、前記カテゴリーにマッチングする変換ベクトル値を抽出する動作と、
前記変換ベクトル値及び前記カテゴリーを前記条件として識別する動作と、
をさらに含む、請求項３に記載の解像度変換を提供するデザイン生成装置。

【請求項5】

前記ベクトル値は、前記カテゴリーではない他のカテゴリーにマッチングする第１のベクトル値であり、
前記カテゴリーにマッチングする変換ベクトル値を抽出する動作は、
前記第１のベクトル値に、前記カテゴリーにマッチングする第２のベクトル値に基づいて前記スタイル変数を反映する動作と、
前記スタイル変数を反映することによって、前記第１のベクトル値でマッチングする前記変換ベクトル値を生成する動作と、
を含む、請求項４に記載の解像度変換を提供するデザイン生成装置。

【請求項6】

識別された条件に基づくデザイン画像を生成する動作は、
前記他のカテゴリーにマッチングする第１のベクトル値に前記スタイル変数を反映することによって、生成された前記カテゴリーにマッチングする前記変換ベクトル値を前記条件として識別し、識別された条件に基づくデザイン画像を生成する動作を含む、
請求項５に記載の解像度変換を提供するデザイン生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、解像度変換を提供するデザイン生成装置に関するものである。より詳しくは、生成されたデザイン画像の解像度を高解像度に変換するデザイン生成装置に関するものである。

【背景技術】

【0002】

ファッション市場では、いわゆるファストファッション（Ｆａｓｔ Ｆａｓｈｉｏｎ）またはスパ（ＳＰＡ、Ｓｐｅｃｉａｌｉｔｙ ｒｅｔａｉｌｅｒ ｏｆ Ｐｒｉｖａｔｅ ｌａｂｅｌ Ａｐｐａｒｅｌ）ブランドの比重が高まるにつれて、最新の流行デザインが短い周期で生産及び消費されている。このようなファストファッションブランドは、製品の大量生産システム及びグローバルな流通網を確保し、多数のデザイナーを雇用して最新の流行をデザインに反映することによって、消費者に低コストで流行アイテムを購入する機会を提供するという利点がある。

【0003】

一方、ファストファッションブランドの生産及び販売システムは、ファッションデザイン業界の競争を過熱させ、新規の市場への参入者に参入障壁を作り出す。

【0004】

このような問題を解決するために、テキストに基づくデザイン画像生成技術が開示されている。これにより、テキストを入力するだけで大量の画像を自動的に生成することができる。特に、本発明に開示された技術を用いてデザイナーのみならず、一般のユーザも、テキストを入力するだけでデザイン画像を生成することができる。

【0005】

開示された技術で生成される画像が製品になるためには、さらに、高解像度のデザインの生成技術が必要とされる。また、急変するファッショントレンドを反映したデザインの生成技術も必要である。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明が解決しようとする技術的課題は、取得された画像及びそれにマッチングされたテキストを学習することによって、デザインの自動生成のための条件を生成する方法及びその装置を提供することである。具体的には、本発明が解決しようとする技術的課題は、画像にマッチングされたテキストの特性を学習することによって、テキストに反映されたトレンド情報に基づいてデザインを自動生成する方法及びその装置を提供することである。

【0007】

本発明が解決しようとする他の技術的課題は、生成された条件に対応するテキストの入力に応答して、デザインを自動生成する方法及びその装置を提供することである。具体的には、本発明が解決しようとする他の技術的課題は、製品のカテゴリー選定及びユーザによって入力されたテキストをデザイン生成の条件として認識し、認識された条件下でデザインを生成する方法及びその装置を提供することである。より詳しく、本発明が解決しようとする技術的課題は、入力されたテキストを選定されたカテゴリーの詳細な特徴と解釈し、前記カテゴリーの製品に対する前記特徴が反映されたデザインを生成する方法及びその装置を提供することである。

【0008】

本発明が解決しようとする別の技術的課題は、入力されるテキストによって生成されるデザイン画像の解像度を高める方法及びその装置を提供することである。具体的には、本発明が解決しようとする別の技術的課題は、オリジナル画像及び生成デザイン画像上のピクセルに基づく損失ではなく、特徴量に基づく損失を考慮してデザイン画像の解像度を最大限にすることができる方法及びその装置を提供することである。

【0009】

本発明の技術的課題は、上述の技術的課題に限定されず、言及されていない他の技術的課題は、以下の記載から本発明の技術分野における通常の技術者に明確に理解され得る。

【課題を解決するための手段】

【0010】

前記技術的課題を解決するための学習された条件に基づくデザイン生成方法は、学習された条件に基づくデザイン生成装置によって行われ、前記方法は、画像及びテキストを含む情報から前記画像を取得するステップと、取得された画像の特徴を学習するステップと、前記情報上のテキストを抽出し、抽出されたテキストを学習された画像の特徴にマッチングするステップと、前記マッチングを通じて、前記画像に基づいて生成しようとするデザインの条件を学習するステップと、ユーザがデザイン画像を生成するためのユーザのテキストを入力するステップと、前記ユーザのテキストに対応する条件を識別するステップと、識別された条件に基づくデザイン画像を生成するステップと、を含むことができる。

【0011】

前記技術的課題を解決するための解像度変換を提供するデザイン生成装置は、１つ以上のプロセッサと、画像及びテキストを含む情報を受信するネットワークインターフェースと、前記プロセッサによって実行されるコンピュータプログラムをロード（ｌｏａｄ）するメモリと、前記コンピュータプログラムを保存するストレージを含み、前記コンピュータプログラムは、受信された情報から前記画像を取得する動作と、取得された画像の特徴を学習する動作と、前記情報上のテキストを抽出し、抽出されたテキストを学習された画像の特徴とマッチングする動作と、マッチングを通じて、前記ユーザテキストに対応する条件を識別する動作と、識別された条件に基づくデザイン画像を生成する動作と、生成されたデザイン画像に対する解像度変換を行う動作と、前記解像度変換を通じて最終デザイン画像を生成する動作とを含むことができる。

【0012】

一実施形態において、前記解像度変換を行う動作は、生成されたデザイン画像の特徴を抽出する動作と、取得された画像及び生成されたデザイン画像上のピクセルに基づく比較ではなく、取得された画像に対して学習された特徴を生成されたデザイン画像の抽出されたデザイン特徴と比較する動作と、比較を通じて、取得された画像に対して学習された特徴と対比し、生成されたデザイン画像の抽出されたデザイン特徴に対するエンコーディング結果の類似性を学習することによって、前記解像度が変換された最終デザインを生成する動作と、を含むことができる。

【0013】

一実施形態において、前記画像に基づいて生成しようとするデザインの条件を学習する動作は、マッチングを通じて、抽出されたテキストのうち、学習された画像の特徴に対応するテキストを前記条件として学習する動作と、前記条件で学習されたテキストを前記画像の特徴を含む製品のカテゴリーとして決定する動作と、を含むことができる。

【0014】

一実施形態において、前記ユーザテキストに対応する条件を識別する動作は、前記ユーザテキストをベクトル化する動作と、ベクトル化の結果、前記ユーザテキストのベクトル値を生成し、前記カテゴリーに前記ベクトル値がマッチングするか否かを判断する動作と、前記カテゴリーに前記ベクトル値がマッチングする場合、前記カテゴリー及び前記ベクトル値を前記条件として識別する動作とを含むことができる。

【0015】

一実施形態において、前記カテゴリーに前記ベクトル値がマッチングしない場合、前記カテゴリー及び前記ベクトル値にスタイル変数を反映して、前記カテゴリーにマッチングする変換ベクトル値を抽出する動作と、前記変換ベクトル値及び前記カテゴリーを前記条件として識別する動作とを含むことができる。

【0016】

一実施形態において、前記ベクトル値は、前記カテゴリーではない他のカテゴリーにマッチングする第１のベクトル値であり、前記カテゴリーにマッチングする変換ベクトル値を抽出する動作は、前記第１のベクトル値に、前記カテゴリーにマッチングする第２のベクトル値に基づいて前記スタイル変数を反映する動作と、前記スタイル変数を反映することによって、前記第１のベクトル値で前記カテゴリーにマッチングする前記変換ベクトル値とを生成する動作と、を含むことができる。

【0017】

一実施形態において、識別された条件に基づくデザイン画像を生成する動作は、前記他のカテゴリーにマッチングする第１のベクトル値に前記スタイル変数を反映することによって、生成された前記カテゴリーにマッチングする前記変換ベクトル値を前記条件として識別し、識別された条件に基づくデザイン画像を生成する動作と、を含むことができる。

【発明の効果】

【0018】

本発明の一実施形態によると、製品デザインに対してユーザ別に用いるワードが異なっても、ユーザが入力したワードに基づいてユーザの意図に合致するデザイン画像を生成することができるという利点がある。

【0019】

さらに、本発明の他の実施形態によると、ユーザに最新のデザイントレンド情報が反映されたデザイン画像が提供されるという利点がある。すなわち、前記実施形態によると、ユーザが把握し難い最新のトレンドがデザイン画像生成モデルに反映され、ユーザの入力テキストを最新のトレンドと解釈し、最新のトレンドが反映されたデザイン画像を生成することができるという利点がある。

【0020】

また、本発明の他の実施形態によると、カテゴリー及び入力テキストでデザインの生成対象を制限することによって、デザインイメージ生成の演算量を低減することができるという利点がある。

【0021】

また、本発明のさらに他の実施形態によると、生成されるデザイン画像の解像度を向上させることにより、デザインを製品化する効率性が高くなるという利点がある。

【0022】

本発明の効果は、上述の効果に限定されず、言及されていない他の効果は以下の記載から本発明の技術分野における通常の技術者に明確に理解され得る。

【図面の簡単な説明】

【0023】

【図1】本発明の一実施形態による学習された条件に基づくデザイン生成システムの例示図である。

【図2】本発明のいくつかの実施形態で参照される学習された条件に基づくデザイン生成プロセスを説明するための概念図である。

【図3】本発明の他の実施形態による学習された条件に基づくデザイン生成装置のブロック図である。

【図4】本発明のいくつかの実施形態で参照されるデザイン生成ソフトウェアの構造の例示図である。

【図5】本発明の他の実施形態による学習された条件に基づくデザイン生成方法のフローチャートである。

【図6】本発明のさらに別の実施形態による取得された画像及び抽出されたテキスト間のマッチング方法のフローチャートである。

【図7】本発明のいくつかの実施形態で参照される画像及びそれにマッチングされるテキストペアの学習方法を説明するための例示図である。

【図8】本発明のいくつかの実施形態で参照されるトレンドワードの選定プロセスを説明するための例示図である。

【図9】本発明のいくつかの実施形態で参照される入力テキストに応答してデザインを生成するインターフェースの例示図である。

【図10】本発明のいくつかの実施形態で参照されるポスト生成器による高解像度デザイン画像生成結果の例示図である。

【発明を実施するための形態】

【0024】

以下、添付の図面を参照して本発明の好ましい実施形態を詳細に説明する。本発明の利点及び特徴、及びそれらを達成する方法は、添付の図面と共に詳細に後述する実施形態を参照することによって明らかになる。しかしながら、本発明は、以下に開示される実施形態に限定されるものではなく、様々な形態で具現することができ、単に本実施形態は、本発明の開示が完全になるようにし、本発明が属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、特許請求の範囲によって定義されるだけである。明細書全体にわたって、同一の参照番号は同一の構成要素を指す。

【0025】

他の定義がなければ、本明細書で用いられる全ての用語（技術用語及び科学用語を含む）は、本発明が属する技術分野において通常の知識を有する者に共通して理解され得る意味で用いられ得る。また、一般的に用いられる辞書で定義されている用語は、特に明確に定義されていない限り、理想的に又は過度に解釈されない。本明細書で用いられる用語は、実施形態を説明するためのものであり、本発明を限定するためのものではない。本明細書において、単数形は、文章で特に言及しない限り、複数形も含む。

【0026】

本明細書で学習された条件に基づくデザイン生成システム、学習された条件に基づくデザイン生成装置、及び学習された条件に基づくデザイン生成方法は、それぞれ、デザイン生成システム、デザイン生成装置、及びデザイン生成方法で略称することができる。

【0027】

本明細書において、画像は、写真、絵、動画コンテンツを含むことができ、テキストは、文字、形態素、単語、文章等の文字的要素のみならず、数字、記号等、意味的に伝達が可能な要素も含み得る。

【0028】

図１は、本発明の一実施形態による学習された条件に基づくデザイン生成システムの例示図である。また、図２は、本発明のいくつかの実施形態で参照される学習条件に基づくデザイン生成プロセスを説明するための概念図である。

【0029】

図１を参照すると、デザイン生成システム１０は、デザイン生成装置１００、製造端末３００、及びネットワークを通じて情報３０を提供する多数の外部端末を含むことができる。

【0030】

デザイン生成装置１００、製造端末３００、及び前記の多数の外部端末は、ネットワークを通じて相互にデータを交換することができるコンピューター装置である。デザイン生成装置１００は、ネットワークを通じて画像５０及びテキスト７０を含む情報３０にアクセスすることができる。

【0031】

一実施形態において、デザイン生成装置１００は、ネットワークを通じてウェブ上の無数なページをクローリング、スクレイピング、及び／又はパーシングことができ、前記ページに含まれた情報３０を分類、識別、抽出、及び加工することができる。

【0032】

特に、本発明の実施形態によると、デザイン生成装置１００は、情報３０に属する画像５０を取得し、テキスト７０を抽出することができる。前記ページは、ブログ、ＳＮＳ、インターネットショッピングモールのページのうち少なくとも１つを含むことができる。

【0033】

一実施形態において、デザイン生成装置１００は、取得された画像５０の特徴を、人工ニューラルネットワークを通じて学習することができる。例えば、画像５０がファッションデザイン画像である場合、デザイン生成装置１００は、無数なページから取得された画像の特徴を学習することによって、各ファッションデザイン衣類のカテゴリー、衣類の少なくとも一部に対する形状に基づく分類、衣類のパターン別の分類、衣類の質感別の分類を行うことができる。

【0034】

一実施形態においは、デザイン生成装置１００によって抽出されたテキスト７０を学習することができる。特に、デザイン生成装置１００は、抽出されたテキスト７０の形態素、単語、文章単位の分析及び各単位別の関係を学習することができる。例えば、デザイン生成装置１００は、テキスト７０、ワンピース、ドット、パターン、ベルト、ラップドレス（ｗｒａｐ ｄｒｅｓｓ）、セミスーツ、ＢＬＡＣＫ／ＷＨＩＴＥ、ＳＳシーズンのテキストを抽出することができる。デザイン生成装置１００は、抽出されたテキストを単位別に、例えば、ワード又は形態素別に分類した後、埋め込む（Ｅｍｂｅｄｄｉｎｇ）ことができる。

【0035】

一実施形態において、デザイン生成装置１００は、取得された画像５０とテキスト７０とのペアをマッチングすることができ、特に画像５０の特徴に関する学習結果、及びテキスト画像７０の埋め込みによって抽出されたベクトル値に基づいて、画像５０とテキスト７０とのマッチング関係を学習することもできる。例えば、デザイン生成装置１００は、衣類の画像５０から抽出された特徴点及び特徴点間の相互関係に関する学習に基づいて、衣類のうち、ワンピースの形状デザイン要素を識別し、これをページ上で抽出されたテキスト７０のうち、学習された「ワンピース」をマッチングすることができる。

【0036】

一実施形態において、デザイン生成装置１００は、デザイン生成の条件を学習することができる。デザイン生成の条件とは、デザイン生成装置１００にテキストが入力されることによって、デザインが生成されるときに、生成対象デザインの範囲を制約する条件である。入力されたテキストは、生成しようとするデザインに関するキーワードであり得、例えば、コート、ワンピース、ジャケットのような衣類デザインの種類であり得る。すなわち、テキスト「ワンピース」が入力されると、生成対象となるデザインがワンピースの種類に制限され、具体的には、「ワンピース」というテキストにマッチングされ、学習された特徴点を有する画像を生成することができる。

【0037】

本発明の実施形態によると、リアルタイムでのデザイン生成の反応性及びコンピューティングリソースの節約のために、条件の学習によって衣類の種類、色、パターン等のカテゴリー情報を条件として生成され得る。

【0038】

一実施形態において、デザイン生成装置１００にデザイン生成のためのテキストが入力され、カテゴリー情報が選択されることによって、カテゴリーに該当すると同時にテキストにマッチングされるデザインが生成され得る。

【0039】

図２では、カテゴリー２０１が衣類の種類である場合が例として図示されており、入力されるテキスト２０２は、袖の長さ、色、具体的なデザイン要素、ファスナー、ポケット、柄等である場合が例示されている。

【0040】

カテゴリー２０１及びテキスト２０２がデザイン生成装置１００に入力されると、デザイン生成装置１００のスタイル生成器（Ｓｔｙｌｅ Ｇｅｎｅｒａｔｏｒ）２１０は、条件付きデザインを生成することができる。一例としては、スタイル生成器２１０は、ＧＡＮ、特にｃＧＡＮ（ｃｏｎｄｉｔｉｏｎａｌ ＧＡＮ）に基づくデザイン生成モデルが用いられ得る。

【0041】

ここで、ＧＡＮは、非指導学習に属し、画像を生成するＧｅｎｅｒａｔｏｒ（Ｇ）と、Ｇｅｎｅｒａｔｏｒによって生成された画像を評価するＤｉｓｃｒｉｍｉｎａｔｏｒ（Ｄ）が互いに対立して互いの性能を改善していくモデルとして新たな画像を生成する。

【0042】

具体的には、Ｄは元のデータのみを真と判断するために努め、ＧはＤが偽と判別できないように偽データを生成し、両モデルの性能が共に向上するようになり、最終的にはＤが実データと偽データとを区別できなくなる。また、ｃＧＡＮは、ランダムに生成するものではなく、所望のものを生成し得ることが既存のＧＡＮとは異なる点である。

【0043】

一方、再度、図１を参照すると、製造端末３００は、デザイン生成装置１００で生成されたデザインを受信し、デザインした製品を製造する現場のコンピューター装置である。別の例において、製造端末３００は、生成されたデザインを受信し、これを広報するインフルエンサーの端末であり得る。この場合、インフルエンサーは、ＳＮＳページ等を通じて受信されたデザインを多様に変形及び加工して製作中のコンテンツに活用することができる。

【0044】

製造端末３００が生成されたデザインを受信し、直接デザイン製品を製造しようとする場合、デザインの形状や柄、各領域とその連結関係等、デザイン要素が明確でなければならない。すなわち、高解像度のデザインが生成され、製造端末３００に提供される必要がある。このために、デザイン生成装置１００は、一次的に生成されたデザインに対する最終生成過程を通じて、デザイン画像の解像度を管理することができる。

【0045】

再度、図２を参照すると、スタイル生成器２１０を通じて生成されたデザイン画像の解像度が低いという問題が発生した場合、ポスト生成器２３０を用いて高解像度のデザイン画像が生成され得る。一例として、ポスト生成器２３０もｃＧＡＮが用いられ得る。すなわち、本発明の実施形態によると、スタイル生成器２１０と別のニューラルネットワークを活用して、最終デザイン画像２５０を生成することができる。特に、最終デザイン画像２５０は、テキスト２０２を入力するユーザの意図による優先順位を有する画像セット（ｓｅｔ）を含むことができる。ポスト生成器２３０は高解像度変換器と呼ぶことができる。

【0046】

本発明の実施形態によるデザイン生成システム１０は、図１及び上述した記載で限定されない。

【0047】

次に、図３を参照して、デザイン生成装置１００の機能及び動作についてより具体的に説明する。図３は、本発明の他の実施形態による学習された条件に基づくデザイン生成装置のブロック図である。

【0048】

図３を参照すると、デザイン生成装置１００は、１つ以上のプロセッサ１０１と、外部デバイスと有・無線通信するネットワークインターフェース１０２と、プロセッサ１０１によって行われるコンピュータプログラムをロードするメモリー１０３と、コンピュータプログラムを保存するストレージ１０４と、ディスプレイ１０７と、を含むことができる。

【0049】

プロセッサ１０１は、デザイン生成装置１００の各構成の全体的な動作を制御する。プロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）、ＡＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ）、ＡＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ）、又は本発明の技術分野において周知の任意の形態のプロセッサを含んで構成され得る。さらに、プロセッサ１０１は、本発明の実施形態による方法を行うための少なくとも１つのアプリケーション又はプログラムに対する演算を行うことができる。デザイン生成装置１００は、１つ以上のプロセッサを備えることができる。

【0050】

ネットワークインターフェース１０２は、デザイン生成装置１００の有・無線ネットワーク通信をサポートする。ネットワークインターフェース１０２は、公衆通信網であるインターネットの他に、様々な通信方式をサポートすることもできる。このために、ネットワークインターフェース１０２は、本発明の技術分野において周知の通信モジュールを含んで構成され得る。ネットワークインターフェース１０２は、プリンタ装置のような物理的出力手段との接続を提供し、本発明の実施形態によるユーザインターフェースが反映されたコンテンツを出力することをサポートすることができる。

【0051】

本発明の実施形態によると、デザイン生成装置１００は、ネットワークインターフェース１０２を用いて画像及びテキストを含む情報を受信することができる。

【0052】

メモリー１０３は、様々なデータ、命令及び／又は情報を保存する。メモリー１０３は、本発明の実施形態による方法を行うためにストレージ１０４から１つ以上のプログラム１０５をロードすることができる。メモリー１０３は、書き込み及び読み取りが可能であり、読み出し又は書き込み速度が速い揮発性メモリー（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）で構成することができる。一例として、メモリー１０３にＲＡＭ、ＤＲＡＭ、又はＳＲＡＭのうち少なくとも１つを備えることができる。

【0053】

ストレージ１０４は、前記１つ以上のプログラム１０５及び生成されたデザイン画像データベース１０６を非一時的に保存することができる。図２において、前記１つ以上のプログラム１０５の例として、デザイン生成Ｓ／Ｗ（以下、デザイン生成ソフトウェア）１０５が図示されている。

【0054】

ストレージ１０４は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリー等のような不揮発性メモリー、ハードディスク、着脱式ディスク、又は本発明が属する技術分野において周知の任意の形態のコンピューター読み取り可能な記録媒体を含んで構成することができる。

【0055】

本発明の実施形態によると、デザイン画像データベース１０６は、テキスト、画像のそれぞれに関する情報のみならず、テキストと画像とのマッチング関係を保存することができる。本発明の実施形態によるデザイン画像データベース１０６は、製造端末３００等に提供するために生成されたデザインを保存したものであり得る。したがって、製造端末３００に提供されるデザインは、予めランダムに生成され、保存された画像ではなく、デザイン生成装置１００から入力されたテキストに応答してリアルタイムで生成されたデザイン画像を含む。

【0056】

一方、本発明の実施形態によるデザイン生成プログラム１０５は、デザイン生成装置１００による様々な機能を実施するために様々なモジュールを含むことができる。以下、本明細書においてモジュールは、ソフトウェアの機能別の単位を意味し得る。

【0057】

図４は、本発明のいくつかの実施形態で参照されるデザイン生成ソフトウェアの構造の例示図である。以下、図４において、デザイン生成プログラム１０５の各モジュールについて説明する。

【0058】

図４を参照すると、デザイン生成プログラム１０５は、画像取得モジュール１１５、テキスト認識モジュール１２５と、取得された画像と抽出されたテキストとをマッチングするための画像テキストマッチングモジュール１３５と、上述のｃＧＡＮに基づくデザイン生成モジュール１４５と、生成された画像に対する高解像度画像生成を行う解像度変換モジュール１５５とを含むことができる。

【0059】

例えば、画像取得モジュール１１５は、図１の画像５０をクロリング、スクレイピング、パーシングのうち少なくとも１つの方法で取得し、それに関する特徴を学習することによってデザイン生成装置１００が取得した画像に関する種類、色、形状等のデザイン要素を識別することができる。このために、画像取得モジュール１１５は機械学習モデルを含み得る。

【0060】

一例において、特徴の学習は、図３のプロセッサ１０１による機械学習モデルが駆動されることによって、取得された多数の画像上の特徴点を抽出することができる。ここで、機械学習モデルは、人工ニューラルネットワークを含むことができ、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）、オートエンコーダ（ａｕｔｏ ｅｎｃｏｄｅｒ）、フィードフォワードニューラルネットワーク（ｆｅｅｄｆｏｒｗａｒｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、放射ニューラルネットワーク（ｒａｄｉａｌ ｂａｓｉｓ ｆｕｎｃｔｉｏｎ ｎｅｔｗｏｒｋ）、コホネンの自己組織化ネットワーク（ｋｏｈｏｎｅｎ ｓｅｌｆ-ｏｒｇａｎｉｚｉｎｇ ｎｅｔｗｏｒｋ）、循環ニューラルネットワーク（ＲＮＮ：ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）のうち少なくとも１つを含んで構成され得る。

【0061】

例えば、機械学習モデルが畳み込みニューラルネットワークによるものである場合、プロセッサ１０１により機械学習モデルが駆動されることによって、図１のワンピース画像５０の特徴値がフィルタリングされ、畳み込み演算によって多数の画像ピクセルのうち、特定の値のみが新たに取られる。これを繰り返し学習することによって、所望の特徴点を抽出することができる。

【0062】

前記特徴点は、プロセッサ１０１がデザイン生成プログラム１０５を行うことによって把握できる衣類の一部であって、例えば、ワンピース形状の輪郭線、ワンピース外面の柄パターン、ベルト部分等に対応する点であり得る。具体的には、前記特徴点は、ワンピース衣類の形状及び／又は柄パターンを構成する線又は面積上に位置する点であり得る。

【0063】

本発明の実施形態によると、デザイン生成装置１００は、抽出された特徴点に基づいて方向性及び類似性を分析することによって、それぞれの特徴点を関連付けることができる。すなわち、デザイン生成装置１００は、各特徴点を関連付けて連結することによって、ラインを生成することができ、生成されたラインに基づいて、デザインの対象、例えば、衣類の種類を識別することができる。

【0064】

テキスト認識モジュール１２５は、デザイン生成装置１００が図１の情報３０上のテキスト７０を抽出するようにする。例えば、テキスト７０は、ショッピングモールのウェブページ上のテキストであり、ページ提供者による商品説明テキスト及び製品購入者のレビューテキストを含むことができる。

【0065】

テキスト認識モジュール１２５は、例えば、前記商品説明テキスト及びレビューテキスト上において、デザイン生成装置１００がワンピース、ドット、パターン、ベルト、Ａスタイル、セミスーツ、ＢＬＡＣＫ／ＷＨＩＴＥ、ＳＳシーズンのようなテキストを抽出することができる。抽出されたテキストは、前記商品説明テキスト及びレビューテキスト上において、共通して登場するテキストであり得る。別の例として、抽出されたテキストは、前記商品説明テキスト及びレビューテキスト上にそれぞれ属し、相互の意味的な関係を有するテキストであり得る。さらに、抽出されたテキストは、デザインに関して頻繁に露出される単語、テキスト入力者によってタグ付けされた単語、デザインに関する評価、肯定的又は否定的な反応のテキストを含み得る。

【0066】

一実施形態において、テキスト認識モジュール１２５は、抽出されたテキストをエンコーディングするネットワークを含み得る。前記エンコーディングネットワークは、４個のレイヤーで構成されており、下位２個のレイヤーは文章単位の表現のために文章の境界内にネットワークが限定されており、上位２個のレイヤーは文書単位の表現であり、文章の境界に限定されず、文書全体を連結して学習するように、前記エンコーディングネットワークが実現され得る。例えば、前記エンコーディングネットワークは、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）に基づく言語モデルであり得る。前記ＢＥＲＴは、双方向トランスフォーマ構造を用いて、３３億個のワードを含むコーパスで学習した言語モデルである。

【0067】

一実施形態によると、テキスト認識モジュール１２５は、テキスト及び画像が共に反映された図１の情報３０のような画像及びテキストを含む文書を前記コーパスのような学習対象として学習することができる。このように、情報３０上の画像５０の特徴とマッチングされたテキスト７０を学習することによって、本発明の実施形態による生成対象デザインの条件を学習することができる。例えば、学習される条件は、デザインの対象となる画像にマッチングされるカテゴリーに関するテキスト、デザインの対象に反映される確率の高い形状、柄に対応するテキストであり得る。すなわち、図１の画像５０にマッチングされたテキスト「ワンピース」が画像５０のカテゴリーで学習することができる。また、「ドット」柄がカテゴリーである「ワンピース」に適用される柄であることを学習することができる。

【0068】

一実施形態によると、テキスト認識モジュール１２５は、デザイン対象が属するドメインの特徴を考慮し、対象がどのカテゴリーに属するかを判別する機能を学習するように構成され得る。例えば、デザイン対象が衣類であり、ドメインがファッション産業であり、カテゴリーが衣類の種類であると決定された場合、図１のテキスト７０のうち、デザイン生成装置１００は、テキスト「ラップドレス」がカテゴリー「ワンピース」に属するものと判別することができる。

【0069】

デザイン生成装置１００は、テキストをベクトル化したベクトル値がカテゴリーにマッチングされるか否かを判断し、マッチングされる場合、これを反映してデザインを生成することができる。一方、デザイン生成装置１００は、テキストをベクトル化したベクトル値がカテゴリーにマッチングされない場合、例えば、「ズボンの後ろポケット」のベクトル値がワンピースのカテゴリーにマッチングされない場合、これに変換値を適用し、変換ベクトル値を生成することができる。この場合、デザイン生成装置１００は、ワンピースのスカート部分のポケットデザインをワンピースに適用することができる。前記ベクトル変換値は、カテゴリーに属するワンピースのベクトル値に基づいて生成することができる。

【0070】

画像テキストマッチングモジュール１３５は、取得された画像を学習した結果、識別された特徴と、抽出されたテキストの言語モデルによるベクトル化結果と、をマッチングする。

【0071】

例えば、画像テキストマッチングモジュール１３５によって、デザイン生成装置１００は、画像取得モジュール１１５による画像の特徴に関する学習結果と、テキスト認識モジュール１２５で学習されたテキストに対する解析とを１つに合わせるディープラーニングモデルを含むことができる。これによって、デザイン生成装置１００は、生成対象デザインの条件を生成することができる。生成される条件は、条件セット、条件付きと呼ぶことができる。

【0072】

このとき、生成された条件は、カテゴリーを形成することができる。生成された条件が「ワンピース」である場合、画像テキストマッチングモジュール１３５は、テキストワンピースをカテゴリーに反映し、ワンピースのカテゴリーは、シャツドレス、ティードレス、セータードレス、ラップドレス、マキシドレス、スモックドレス、スケータードレス、エンパイアドレス等、様々なワンピース関連画像特徴及び／又はテキスト埋め込み情報をデザイン生成過程に条件として反映することができる。

【0073】

一方、カテゴリーがデザイン生成の条件である場合を主に説明したが、本発明の実施形態はこれに限定されず、同様にテキストも条件として生成デザインに反映することができる。

【0074】

デザイン生成モジュール１４５は、生成された条件下で、入力されたテキストを反映したデザインを生成するようにデザイン生成装置１００を制御する。

【0075】

ＧＡＮは、ランダムに与えられるベクトルから始めて画像を生成する技術であり、ランダムな画像を生成する方式であるが、結果画像を制御することが困難であるという限界を有している。これを改善し、ランダムな画像ではなく、スタイルのベクトルを指定し、これを通じて、画像生成を制御するｓｔｙｌｅＧＡＮが提案されている。

【0076】

このような観点から、本発明の実施形態によると、デザイン生成装置１００は、条件付き入力に反応して制約条件を満たすデザインを生成することができる。すなわち、本発明の実施形態によるデザイン生成装置１００は、生成対象デザインにスタイルが適用されるように制御し、ユーザが意図したところが十分に反映されたデザインを生成することができるようにする。

【0077】

このために、テキスト認識モジュール１２５は、上述のエンコーディングネットワークのエンコーディング結果をスタイルベクトルとして用いてデザイン画像を生成することができるようにネットワークを接続することができる。スタイルベクトルは、上述した言語モデルによるテキストのベクトル化結果であり、生成対象画像にスタイルを適用する要素である。

【0078】

本発明の一実施形態によると、画像テキストマッチングモジュール１３５において、前記スタイルベクトルとして５１２－ｄｉｍｅｎｓｉｏｎ ｖｅｃｔｏｒが用いられ、８個のＦＣレイヤー（ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）をマッピングネットワークとして用い、最後のデザイン画像生成ネットワークとして１８個のＣＮＮレイヤーを用いることができる。

【0079】

これによって、カテゴリーが衣類の種類である「ワンピース」と決定された場合、デザイン生成装置１００は、入力されたテキストをワンピースに関連するキーワードとして認識し、ワンピースデザイン画像に入力されたテキストに基づくスタイルベクトル値が反映され、デザインを生成することができる。例えば、デザイン生成装置１００において、「ワンピース」カテゴリーが選定され、色関連キーワードである「黒」、柄関連キーワードである「ドット」というテキスト入力されると、入力されたテキストのスタイルベクトル値が反映され、黒のドット柄でプリントされたワンピースデザイン画像を生成することができる。

【0080】

一方、本発明の実施形態によると、テキスト認識モジュール１２５は、テキスト画像がデザイン生成装置１００において一つの色ではなく、複数の色が混合されたデザインを生成するようにすることもできる。前記の例において、テキスト入力が「黒」、「ドット」、「白」が入力された場合、テキスト認識モジュール１２５は、「黒」と「ドット」との関係、テキスト「白」の入力順序を考慮して、スタイルベクトルを生成する。画像テキストマッチングモジュール１３５は、デザインカテゴリーに生成されたスタイルベクトルを条件として反映する。デザイン生成モジュール１４５は、黒のドット柄を有する白いワンピースのデザイン画像を生成するようにする。

【0081】

次に、解像度変換モジュール１５５は、生成された画像に対する高解像度画像生成を行うことができる。解像度変換モジュール１５５は、図２のポスト生成器２３０の機能をサポートすることができる。

【0082】

本発明の実施形態によると、解像度変換モジュール１５５は、ｃＧＡＮの結果物を高解像度画像として生成する画像を高解像度化するネットワークを含むことができる。前記画像を高解像度化するネットワークは、例えば、ＳＲＧＡＮ（Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）であり得る。

【0083】

一般に、画像生成には膨大なコンピューティングパワーが必要であるため、ディープラーニングネットワークを用いるとき、演算量を低減するために画像解像度は２５６×２５６ピクセル又は５１２×５１２ピクセルに制限される。しかしながら、低解像度で結果物を生成する場合、ディテールを確認しようとするファッション領域でＧＡＮを用いることは困難である。これを解決するために、本発明の実施形態によると、デザイン生成装置１００は、解像度変換モジュール１５５のＳＲＧＡＮを用いて、ｃＧＡＮ生成ネットワークの結果物を高解像度の画像に変換することができる。

【0084】

具体的には、デザイン生成装置１００は、解像度変換モジュール１５５に含まれた前記ＳＲＧＡＮのような画像を高解像度化するネットワークを活用することにより、オリジナル画像及び生成デザイン画像上のピクセルに基づく比較ではなく、抽出された特徴量に基づく類似性を反映し、デザインイメージを生成することができる。例えば、解像度変換モジュール１５５は、ピクセル単位の類似性に基づくことなく、ＶＧＧＮＥＴを用いたエンコ―ディング結果の類似性を学習性能として用いて、実際に人間の肉眼で見ても、非常に類似した高解像度のデザイン画像が生成されるようにすることができる。

【0085】

再度、図３を参照すると、デザイン生成装置１００は、ディスプレイ１０７を含むことができる。ディスプレイ１０７は、本発明が属する技術分野で広く知られているディスプレイ１０７を含むことができる。ディスプレイ１０７は、デザイン生成装置１００によって生成されたデザイン画像及び／又は高解像度に変換された画像を出力することができる。ディスプレイ１０７がタッチスクリーンで構成されている場合、出力部のみならず、入力部としても機能することができ、この場合、デザイン生成装置１００は、上述したカテゴリーの選定及びテキスト入力のためのインターフェースをディスプレイ１０７を通じて提供することができる。

【0086】

図５は、本発明の他の実施形態による学習された条件に基づくデザイン生成方法のフローチャートである。また、図６は、本発明の他の実施形態による取得された画像と、抽出されたテキストとの間のマッチング方法のフローチャートである。

【0087】

以下、図５及び図６で参照された各ステップは、デザイン生成装置１００によって実行され、具体的には、プロセッサ１０１がデザイン生成プログラム１０５を演算することによって実行できる。

【0088】

図５を参照すると、デザイン生成装置１００は画像を取得することができる（Ｓ１０）。取得された画像は、図１で参照されたように情報３０に含まれた画像であり得る。例えば、ファッションデザイン製品、特にワンピースの画像であり得る。

【0089】

デザイン生成装置１００は、図１の情報３０上でテキスト認識モジュール１２５を通じてテキストを抽出し、画像テキストマッチングモジュール１３５を用いて抽出されたテキストと取得された画像とをマッチングすることができる（Ｓ２０）。

【0090】

図６を参照すると、前記マッチングステップ（Ｓ２０）において、デザイン生成装置１００は、テキストと画像とのペアに関する学習を行うことができる（Ｓ６１０）。テキストと画像とのペアは、例えば、図１の情報３０上のテキスト７０及び画像５０からなるペアであり得る。

【0091】

ステップ（Ｓ６１０）の学習過程において、図１の画像５０を学習するによって分析されたワンピースの少なくとも一部を構成するデザイン特徴について、高い頻度で抽出されるテキストを抽出することができる。例えば、デザイン生成装置１００は、学習された様々な文書において、ワンピース画像とそれにマッチングされたテキスト「ドット」が高い頻度で抽出される場合、ワンピース画像上のデザイン要素が「ドット」であると解釈することができる。これにより、画像５０のワンピースに関連して「ドット」というテキストをマッチングすることができる 。

【0092】

本発明の実施形態は、クローリング、スクレイピング、及び／又はパーシングの対象となる文書から取得された画像と抽出されたテキストとのペアに関し学習した結果、予め設定された基準回数以上の抽出頻度を示すワードを識別し、これをトレンドワードで決定することができる。

【0093】

デザイン生成装置１００は、ステップ（Ｓ６１０）の学習過程において、トレンドワードの抽出が行われるか否かを判断する（Ｓ６２０）。トレンドワードが存在し、抽出された場合、デザイン生成装置１００は、トレンドワードと画像とのペアに関する学習を行うことができる（Ｓ６３０）。

【0094】

例えば、図１の情報３０と類似したページに対するクローリングが多数行われるか、或いはパーシングの結果、前記ページ上の画像５０が複数取得されれば、ウェブページ上にドット柄のワンピースの情報量が多いためであり得る。これは、ワンピースデザインのうち、ドット柄のデザインに対する製作及び販売の増加、消費者の関心増加等、トレンド反映による結果であり得る。この場合、テキスト「ドット」は、ページ上の製品説明又はユーザのレビュー等の記載上において頻繁に登場し、テキスト抽出時、高い順位の抽出回数で示され得る。

【0095】

デザイン生成装置１００は、ステップＳ６３０において、取得されたワンピース画像及びトレンドワードである「ドット」のペアを学習することができ、この過程において、ワンピース画像上のドットデザインの特徴を識別することができる（Ｓ６４０）。すなわち、テキスト「ドット」に対するワンピース画像はドット柄がデザインされているため、学習結果、デザイン生成装置１００は、ワンピースのデザイン要素であるドット柄を特徴情報として識別するようになる。

【0096】

さらに、デザイン生成装置１００は、ステップＳ６３０の学習を通じて、ドット柄のうち、ドットの配置、ドットの個数、ドットの面積（サイズ）、ドットの色に関する特徴を識別することもできる。これにより、ドット柄のワンピースの中でも最新のトレンドに応じたデザイン特徴情報を識別することができる。

【0097】

さらに別の実施形態では、デザイン生成装置１００は、高い順位の抽出回数のみならず、抽出増加率が高いテキストをトレンドワードとして決定することもできる。

【0098】

一方、ステップＳ６２０において、トレンドワードが抽出されない場合が発生し得る。これは、市場をリードするデザイントレンドが形成されていないか、又は特定の製品のデザインを表す用語が確立されていない場合であり得る。このような場合、デザイン生成装置１００は、トレンドワードを抽出する基準を調整することができる（Ｓ６５０）。

【0099】

一例として、デザイン生成装置１００は、テキストの抽出に対する予め設定された基準回数を変更することができる。

【0100】

別の例として、デザイン生成装置１００は、抽出テキスト間の関係により、トレンドワードを抽出するように基準を調整することもできる。例えば、単独で抽出される回数は少ないが、抽出される回数が比較的高い複数のテキストが存在する場合、デザイン生成装置１００は、複数のテキストをそれぞれトレンドワードとして決定し、抽出することもできる。前記の例において、ワンピースの柄で「ドット」が抽出される回数が少ないが、「ドット」及び「水滴」が比較的に頻繁に抽出される場合、デザイン生成装置１００は、ドット及び水滴が同一のデザイン特徴を表現するものと判断し、ステップ（Ｓ６３０）の学習を行うこともできる。

【0101】

別の例として、デザイン生成装置１００は、ステップ（Ｓ６１０）のテキスト画像ペアに関する学習量が増加するようにトレンドワードの抽出スケジュールを調節することにより、トレンドワード抽出基準を調整することもできる。

【0102】

ステップＳ６４０のデザイン特徴情報の識別を通じて、デザイン生成装置１００は、デザインの特徴情報を意味するテキストをデザイン生成の条件として学習することができる。

【0103】

再度、図３を参照すると、デザイン生成装置１００は、生成の対象となるデザインに関する条件を学習することができる（Ｓ３０）。ステップ（Ｓ３０）の学習により、デザイン生成装置１００は、デザインのカテゴリーを生成することができる。例えば、デザイン生成装置１００は、ワンピース、ジャケット、ズボン等の衣類の種類を意味するテキストを識別し、前記テキストをカテゴリーとして生成することができる。

【0104】

また、デザイン生成装置１００は、前記衣類の種類に属する細部のデザイン分類がカテゴリーに従属することを学習することができる。例えば、デザイン生成装置１００は、図１の画像５０上のドット柄のワンピースは、カテゴリー「ワンピース」に属するものとして学習することができる。これにより、ワンピースのカテゴリーを選択し、テキスト「ドット」を入力すると、デザイン生成装置１００は、画像５０上のドット柄ワンピースのようなデザインを生成することができる。

【0105】

デザイン生成装置１００は、入力テキストに対応する条件を識別することができる（Ｓ４０）。前記の例において、テキスト「ドット」が入力されると、デザイン生成装置１００がドットに対応するデザイン条件を識別することができる。すなわち、デザイン生成装置１００は、テキスト「ドット」が属するカテゴリー及びテキストに関するベクトル情報を識別することができる。

【0106】

デザイン生成装置１００は、識別された条件に基づいてデザインセットを生成することができる（Ｓ５０）。このとき、生成されたデザインセットがデザイン生成装置１００のディスプレイ１０７を通じて出力され得、図６のステップ（Ｓ６３０）で学習されたトレンドを反映して表示される生成されたデザインが位置する順序が決定され得る。デザインセットは、生成されたデザインを含むデザイン画像のグループであり、ディスプレイ１０７の表示領域、又は予め設定されたユーザのインターフェースによって画面に表示されるデザイン画像の個数を決定することができる。

【0107】

デザイン生成装置１００は、生成されたデザインを高解像度の画像に変換することができる（Ｓ６０）。このために、図４の解像度変換モジュール１５５は、デザイン生成装置１００が、ピクセルに基づく類似度ではなく、デザイン特徴情報の類似度に基づいて生成デザインの解像度を変換するようにする。

【0108】

図７は、本発明のいくつかの実施形態で参照される、画像及びそれにマッチングされるテキストペアの学習方法を説明するための例示図である。図８は、本発明のいくつかの実施形態で参照されるトレンドワードの選定プロセスを説明するための図である。

【0109】

以下、図７を参照すると、デザイン生成装置１００は、多数の画像セット７００を取得することができる。デザイン生成装置１００は、図１の情報３０のようなページ上の画像を多数取得し、これから画像セット７００を構築し、これをデザインの特徴抽出のための画像学習対象として決定することができる。

【0110】

デザイン生成装置１００は、画像セット７００上の画像７０１、７０２、７０３、７０４を学習することによって、ワンピースのデザイン特徴を識別することができる。

【0111】

デザイン生成装置１００は、前記情報３０のようなページ上のテキストを多数抽出することができる。前記ページがブログ、ショッピングモールのようなページであり、デザイン対象製品に関する説明情報がある場合、デザイン生成装置１００は、説明情報からテキストを抽出してテキストセット７１０を生成することができ、ショッピングモールのレビュー情報７２０が存在する場合、レビュー情報７２０上でもテキストを抽出することができる。

【0112】

デザイン生成装置１００は、テキストセット７１０及びレビュー情報７２０から抽出されたテキスト上で予め設定された基準回数以上の抽出テキストを識別することができる７３０。

【0113】

図７において、ワンピース（ＯＮＥ ＰＩＥＣＥ）、ドレス（ＤＲＥＳＳ）、ワンピースドレス（ＯＮＥ ＰＩＥＣＥ ＤＲＥＳＳ）、スリーブ（Ｓｌｅｅｖｅ）、スリーブレス（Ｓｌｅｅｖｅｌｅｓｓ）、黒（Ｂｌａｃｋ）、黒灰色（Ｄａｒｋ Ｇｒａｙ）、綿（Ｃｏｔｔｏｎ）、リネン（Ｌｉｎｅｎ）、ＡＡスタイル（ＡＡ Ｓｔｙｌｅ）、ＡＡライン（ＡＡ Ｌｉｎｅ）等のワードが抽出された場合を例示した。

【0114】

デザイン生成装置１００は、説明情報を通じて抽出されたテキストセット７１０をレビュー情報７２０と共に学習することができる。学習した結果、製品の説明のための情報にあるテキストがレビューにも用いられるか、或いは製品説明に記載されたテキストがレビューに反映されたテキストと類似度が高いか否かを確認し、デザイン生成装置１００は当該テキストを製品カテゴリーで学習することができる。

【0115】

図７を参照すると、ワンピースのカテゴリーについて、ＡＡ、Ｄｏｕｂｌｅ Ａ、Ａ１のようなテキストが頻繁に抽出されるか、抽出量が増加するものと判定され、トレンドワード７３０として決定され得る。例えば、ＡＡ、Ｄｏｕｂｌｅ Ａ、Ａ１等は、「ドット」のようにワンピースのデザイン特徴に関するデザイン用語であり得る。

【0116】

図８を参照すると、画像７０１に対し時間Ｔ１でワンピースのカテゴリーに対し、Ｂｌａｃｋ、ＤＲＥＳＳ、Ｓｌｅｅｖｅｌｅｓｓ、ＡＡ、Ａ１、Ｄｏｕｂｌｅ Ａが予め設定された基準回数ｘ以上抽出された場合がグラフ８０１に例示されている。特に、時間Ｔ１で、ＡＡ、Ａ１、Ｄｏｕｂｌｅ Ａがトレンドワードとして決定された。

【0117】

その後、時間Ｔ２で、デザイン生成装置１００が画像７０１に対し、Ｇｒｅｅｎ、ＤＲＥＳＳ Ｓｌｅｅｖｅｌｅｓｓ、ＡＡ、ＤＡ、Ｇ．Ｐａｔｔｅｒｎが予め設定された基準回数ｘ以上抽出された場合がグラフ８０２に例示されている。デザイン生成装置１００、特に、時間Ｔ２で、Ｇｒｅｅｎ、ＤＡ、Ｇ．Ｐａｔｔｅｒｎがトレンドワードとして決定された。

【0118】

時間Ｔ１から時間Ｔ２への変化により、Ｂｌａｃｋのテキストは、抽出回数上位テキストから除外され、Ｇｒｅｅｎが追加された。ＡＡは抽出量が低減し、Ａ１は除外された。これは、ＡＡ、Ａ１の用語が持続的に用いられていないことを意味することができる。さらに、Ｄｏｕｂｌｅ ＡはＤＡに変更されており、これは、ユーザにより、用いられるデザイン用語が変更されていることを意味し得る。デザイン生成装置１００は、このような抽出テキストの変化を学習し、画像７０１のカテゴリーワンピースに対するトレンド変化を識別することができる。

【0119】

さらに、デザイン生成装置１００は、新に追加されたＧｒｅｅｎ及びＧ．Ｐａｔｔｅｒｎの新規抽出を通じて、画像７０１のワンピースのカテゴリーに対するトレンド変化を感知し得る。例えば、時間Ｔ１から時間Ｔ２への変化に季節の変化による流行色を反映することができ、このようなトレンド変化をデザイン生成装置１００が抽出テキストの変化に基づいて学習することができる。

【0120】

図９は、本発明のいくつかの実施形態で参照される入力テキストに応答してデザインを生成するインターフェースの例示図である。

【0121】

図９を参照すると、デザイン生成装置１００はインターフェース９００を生成し、図３のディスプレイ１０７を通じて出力することができる。図９において、インターフェース９００は、テキスト入力ウィンドウ９０３とデザイン画像出力部９０５とを含むことができる。

【0122】

デザイン生成装置１００は、テキスト入力ウィンドウ９０３のテキストを条件として反映したデザイン画像９０５を生成することができる。

【0123】

図１０は、本発明のいくつかの実施形態で参照されるポスト生成器を通じた高解像度デザイン画像生成結果の例示図である。

【0124】

図１０において、オリジナル画像１０００、生成デザイン画像１１００、及び解像度変換デザイン画像１１１０が示されている。

【0125】

図１０を参照すると、オリジナル画像１０００は、構成要素として背景１（１００３）、背景２（１００５）、デザイン要素１（１００１）及びデザイン要素２（１００７）を含むことができる。生成デザイン画像１１００は、背景１（１１０３）、背景２（１１０５）、デザイン要素１（１１０１）、及びデザイン要素２（１１０７）を含むことができる。

【0126】

解像度変換デザイン画像１１１０は、背景１（１１１３）、背景２（１１１５）、デザイン要素１（１１１１）、及びデザイン要素２（１１１７）を含むことができる。

【0127】

デザイン生成装置１００は、オリジナル画像１０００を学習し、デザイン画像１１００を生成することができる。このとき、画像１１００から分かるように、背景１（１１０３）及び背景２（１１０５）が解像度の問題により歪んでおり（ｓｍｏｏｔｈｉｎｇ）、デザイン要素１（１１０１）及びデザイン要素２（１１０７）もオリジナルとの差が生じたことを確認することができる。

【0128】

生成デザイン画像１１００は、オリジナル画像１０００に対比して生成されたものであり、デザインにおける相違は生じ得るが、解像度の問題は、デザイン画像１１００が実際に存在するオリジナル画像とはみられず、ユーザにとって、画像処理を通じて生成されたものと識別するようにする。

【0129】

解像度変換デザイン画像１１１０を参照すると、背景２（１１１５）のような解像度の問題があるが、オリジナル画像１０００に基づいて生成された画像であるにもかかわらず、実際のオリジナル画像と類似した解像度を示す。デザイン生成装置１００は、解像度変換モジュール１５５を用いて、オリジナル画像１０００のピクセル単位の比較ではなく、デザイン特徴の比較を通じた学習を行うことによって、解像度変換デザイン画像１１１０を生成することができる。

【0130】

ここまで添付の図面を参照して説明された本発明の実施形態による方法は、コンピューター可読コードで実現されたコンピュータプログラムの実行によって行われ得る。前記コンピュータプログラムは、インターネット等のネットワークを通じて第１のコンピューター装置から第２のコンピューター装置に送信され、前記第２のコンピューター装置にインストールされ得、それによって前記第２のコンピューター装置に用いられ得る。前記第１のコンピューター装置及び前記第２のコンピューター装置は、サーバ装置、デスクトップＰＣのような固定式コンピューター装置、ラップトップパソコン、スマートフォン、タブレットＰＣのようなモバイルコンピューター装置を全て含む。

【0131】

以上、添付の図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野で通常の知識を有する者は、本発明がその技術的思想や必須の特徴を変更することなく、他の具体的な形態で実施され得ることが理解できる。したがって、上述した実施形態は全ての点で例示的なものであり、限定的なものではないと理解すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2024-04-25

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

１つ以上のプロセッサと、
画像及びテキストを含む情報を受信するネットワークインターフェースと、
前記プロセッサによって実行されるコンピュータプログラムをロード（ｌｏａｄ）するメモリと、
前記コンピュータプログラムを保存するストレージを含み、
前記コンピュータプログラムは、
受信された情報から前記画像を取得する動作と、
取得された画像の特徴を学習する動作と、
前記情報上のテキストを抽出し、抽出されたテキストを学習された画像の特徴とマッチングする動作と、
マッチングを通じて、前記画像に基づいて生成しようとするデザインの条件を学習する動作と、
ユーザがデザイン画像を生成するためのユーザテキストを入力する動作と、
前記ユーザテキストをベクトル化する動作と、
前記ベクトル化の結果、生成された前記ユーザテキストに対するベクトル値に基づいて、前記ユーザテキストに対応するデザインの条件を識別する動作と、
識別されたデザインの条件に基づくデザイン画像を生成する動作と、
生成されたデザイン画像に対する解像度変換を行う動作と、
解像度変換を通じて最終デザイン画像を生成する動作と、
を前記プロセッサに実行させ、
前記解像度変換を行う動作は、
生成されたデザイン画像の特徴を抽出する動作と、
取得された画像及び生成されたデザイン画像上のピクセルに基づく比較ではなく、取得された画像に対して学習された特徴を生成されたデザイン画像の抽出されたデザイン特徴と比較する動作と、
比較を通じて、取得された画像に対して学習された特徴と対比し、生成されたデザイン画像の抽出されたデザイン特徴に対するエンコーディング結果の類似性を学習することによって、前記デザイン画像の解像度を変換して最終デザインを生成する動作と、
を含む、解像度変換を提供するデザイン生成装置。

【請求項2】

前記画像に基づいて生成しようとするデザインの条件を学習する動作は、
マッチングを通じて、抽出されたテキストのうち、学習された画像の特徴に対応するテキストを前記デザインの条件として学習する動作と、
前記デザインの条件として学習されたテキストを、前記取得された画像の特徴を含む製品のカテゴリーとして決定する動作と、
を含む、請求項１に記載の解像度変換を提供するデザイン生成装置。

【請求項3】

前記ユーザのテキストに対応するデザインの条件を識別する動作は、
前記カテゴリーに前記ユーザのテキストに対して生成されたベクトル値がマッチングするか否かを判断する動作と、
前記カテゴリーに前記ベクトル値がマッチングする場合、前記カテゴリー及び前記ベクトル値を前記デザインの条件として識別する動作と、
を含む、請求項２に記載の解像度変換を提供するデザイン生成装置。

【請求項4】

前記カテゴリーに前記ベクトル値がマッチングしない場合、前記カテゴリー及び前記ベクトル値にスタイル変数を反映して、前記カテゴリーにマッチングする変換ベクトル値を抽出する動作と、
前記変換ベクトル値及び前記カテゴリーを前記デザインの条件として識別する動作と、
をさらに含む、請求項３に記載の解像度変換を提供するデザイン生成装置。

【請求項5】

前記ベクトル値は、前記カテゴリーではない他のカテゴリーにマッチングする第１のベクトル値であり、
前記カテゴリーにマッチングする変換ベクトル値を抽出する動作は、
前記第１のベクトル値に、前記カテゴリーにマッチングする第２のベクトル値に基づいて前記スタイル変数を反映する動作と、
前記スタイル変数を反映することによって、前記第１のベクトル値でマッチングする前記変換ベクトル値を生成する動作と、
を含む、請求項４に記載の解像度変換を提供するデザイン生成装置。

【請求項6】

識別されたデザインの条件に基づくデザイン画像を生成する動作は、
前記他のカテゴリーにマッチングする第１のベクトル値に前記スタイル変数を反映することによって、生成された前記カテゴリーにマッチングする前記変換ベクトル値を前記デザインの条件として識別し、識別されたデザインの条件に基づくデザイン画像を生成する動作を含む、
請求項５に記載の解像度変換を提供するデザイン生成装置。