特許 7325637 データ増強基盤スタイル分析モデル学習装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-03

(45)【発行日】2023-08-14

(54)【発明の名称】データ増強基盤スタイル分析モデル学習装置及び方法

(51)【国際特許分類】

   G06V 10/82 20220101AFI20230804BHJP

   G06T 7/00 20170101ALI20230804BHJP

   G06N 20/00 20190101ALI20230804BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

G06N20/00 130

【請求項の数】 13

(21)【出願番号】P 2022531444

(86)(22)【出願日】2020-11-24

(65)【公表番号】

(43)【公表日】2023-03-03

(86)【国際出願番号】 KR2020016742

(87)【国際公開番号】W WO2022019391

(87)【国際公開日】2022-01-27

【審査請求日】2022-05-26

(31)【優先権主張番号】10-2020-0091766

(32)【優先日】2020-07-23

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】522209860

【氏名又は名称】株式会社アーバンベース

【氏名又は名称原語表記】ＵＲＢＡＮＢＡＳＥ ＩＮＣ．

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】キム、スミン

(72)【発明者】

【氏名】ペク、ユナ

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２０１８－１６９６７２（ＪＰ，Ａ）

【文献】韓国公開特許第２０２０－００７８２１４（ＫＲ，Ａ）

【文献】米国特許出願公開第２０１７／０３００７８３（ＵＳ，Ａ１）

【文献】米国特許第１０４８９６８３（ＵＳ，Ｂ１）

【文献】中国特許出願公開第１０８５２０２７８（ＣＮ，Ａ）

【文献】中国特許出願公開第１１０５１６７０３（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００ － ３／１２

Ｇ０６Ｎ ７／０８ － ９９／００

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

ＣＳＤＢ（日本国特許庁）

(57)【特許請求の範囲】

【請求項1】

データ増強基盤スタイル分析モデル学習装置において、
所定の動作を遂行するようにする命令語を格納する一つ以上のメモリ；及び前記一つ以上のメモリと動作できるように連結されて前記命令語を実行するように設定された一つ以上のプロセッサを含み、
前記プロセッサが遂行する動作は、
複数の空間イメージを獲得して前記複数の空間イメージそれぞれに該当するスタイル情報を特定するクラスをラベリングするか、前記クラスがラベリングされた複数の空間イメージを獲得して学習データを生成する動作；
前記複数の空間イメージのうち第１空間イメージが含むピクセル情報を所定の範囲内で変更した第２空間イメージを生成して前記学習データを増強する動作；
前記第１空間イメージにラベリングされたクラスを前記第２空間イメージにラベリングする動作；及び
所定のイメージ分類アルゴリズム基盤に設計されたモデルに前記増強された学習データを入力し、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する前記モデルの重み付けを学習させることで、前記相関関係に基づいて空間イメージのスタイルに対するクラスを判別するモデルを生成する動作を含み、
前記第２空間イメージを生成する動作は、
前記第１空間イメージが含むピクセルのうち第１ピクセルを真ん中に含むＮ×Ｎ（Ｎは、３以上の自然数）行列大きさに含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素値のうち最大元素値である

から前記複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素平均値である

を引いた値である

を求め、前記

の元素値のいずれか一つが既設定された値より小さい場合、前記第１ピクセルをブラー処理をする演算を遂行して前記第２空間イメージを生成する動作を含む、
データ増強基盤スタイル分析モデル学習装置。

【請求項2】

前記第２空間イメージを生成する動作は、
［数１］

【数1】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：既設定された値であるｎ以下の乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
前記数１に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含む、
請求項１に記載のデータ増強基盤スタイル分析モデル学習装置。

【請求項3】

前記第２空間イメージを生成する動作は、
［数２］

【数2】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：定数、

：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
前記数２に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含む、
請求項１に記載のデータ増強基盤スタイル分析モデル学習装置。

【請求項4】

前記第２空間イメージを生成する動作は、
［数３］

【数3】

（Ｒ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｘ、Ｇ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｙ、Ｂ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｚ、Ｙ：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
前記数３に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含む、
請求項１に記載のデータ増強基盤スタイル分析モデル学習装置。

【請求項5】

前記第２空間イメージを生成する動作は、
［数４］

【数4】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：定数、

：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
［数５］

【数5】

（Ｒ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｘ’、Ｇ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｙ’、Ｂ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｚ’、Ｙ：ピクセル情報の変更後の元素値（ｘ’’、ｙ’’、ｚ’’））
前記数４及び５に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含む、
請求項１に記載のデータ増強基盤スタイル分析モデル学習装置。

【請求項6】

前記第２空間イメージを生成する動作は、
前記第１空間イメージに含まれたピクセル情報の一部にノイズ情報を追加して前記第２空間イメージを生成する動作を含む、
請求項１に記載のデータ増強基盤スタイル分析モデル学習装置。

【請求項7】

前記第２空間イメージを生成する動作は、
［数６］

【数6】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
前記数６に基づいて前記第１空間イメージのピクセル情報にノイズ情報を付加して前記第２空間イメージを生成する動作を含む、
請求項６に記載のデータ増強基盤スタイル分析モデル学習装置。

【請求項8】

前記第２空間イメージを生成する動作は、
前記第１空間イメージが含む全てのピクセルの個数だけ、平均０及び標準偏差１００の標準ガウス正規分布に従う乱数情報を生成し、前記全てのピクセルのそれぞれに前記乱数情報それぞれを合算してノイズが挿入された前記第２空間イメージを生成する動作を含む、
請求項１に記載のデータ増強基盤スタイル分析モデル学習装置。

【請求項9】

前記モデルを生成する動作は、
ＲｅｓＮｅｔ（Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ
Ｒｅｃｏｇｎｉｔｉｏｎ）アルゴリズムに基づいて設計された神経網の入力レイヤに前記学習データに含まれた空間イメージが入力されるように設定し、出力レイヤに前記空間イメージそれぞれにラベリングされたクラスが入力されるように設定して、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する神経網の重み付けを学習させる動作を含む、
請求項１に記載のデータ増強基盤スタイル分析モデル学習装置。

【請求項10】

前記ＲｅｓＮｅｔアルゴリズムに基づいて設計された神経網のハイパーパラメータのうちネットワーク階層数は、［１８、３４、５０、１０１、１５２、２００］のうち一つの値を有し、クラス個数は、モダン／ロマンチック／クラシック／ナチュラル／カジュアル／北ヨーロッパ／ビンテージに分類される７つのクラスを含み、ミニバッチサイズは、［３２、６４、１２８、２５６］のうち一つの値を有し、学習回数は、１０～１５、または３０の値のうち一つを有し、学習率は、０．００５または０．０１に設定され、損失関数は、ＳＧＤまたはＡｄａｍに設定される、
請求項９に記載のデータ増強基盤スタイル分析モデル学習装置。

【請求項11】

請求項１乃至１０のいずれか一項に記載の装置が生成したデータ増強基盤スタイル分析モデルを含むデータ増強基盤スタイル分析モデル学習装置。

【請求項12】

データ増強基盤スタイル分析モデル学習装置が遂行する方法において、
複数の空間イメージを獲得して前記複数の空間イメージそれぞれに該当するスタイル情
報を特定するクラスをラベリングするか、前記クラスがラベリングされた複数の空間イメージを獲得して学習データを生成するステップ；
前記複数の空間イメージのうち第１空間イメージが含むピクセル情報を所定の範囲内で変更した第２空間イメージを生成して前記学習データを増強するステップ；
前記第１空間イメージにラベリングされたクラスを前記第２空間イメージにラベリングするステップ；及び
所定のイメージ分類アルゴリズム基盤に設計されたモデルに前記増強された学習データを入力して、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する前記モデルの重み付けを学習させることで、前記相関関係に基づいて空間イメージのスタイルに対するクラスを判別するモデルを生成するステップを含み、
前記第２空間イメージを生成して前記学習データを増強するステップは、
前記第１空間イメージが含むピクセルのうち第１ピクセルを真ん中に含むＮ×Ｎ（Ｎは、３以上の自然数）行列大きさに含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素値のうち最大元素値である

から前記複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素平均値である

を引いた値である

を求め、前記

の元素値のいずれか一つが既設定された値より小さい場合、前記第１ピクセルをブラー処理をする演算を遂行して前記第２空間イメージを生成するステップを含む、
データ増強基盤スタイル分析モデル学習方法。

【請求項13】

請求項１２に記載の方法をプロセッサが遂行するようにするコンピュータ読み取り可能書き込み媒体に格納されたコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ増強基盤スタイル分析モデル学習装置及び方法に関する。

【背景技術】

【0002】

韓国インターネット振興院（ＫＩＳＡ）によれば、２０１９年に集計された韓国内オンラインショッピング市場の規模は約１３３兆ウォンであり、２０１８年の１１１兆ウォンに対比して約２０％の成長傾向を見せている。このようにオンラインショッピング市場の成長傾向が急激に増加するにつれ、オンラインショッピングプラットフォームに登録されるストア及び商品の数が飛躍的に増加しており、消費者がオフライン売場よりオンライン売場を通して物を購入する比率が大幅に上昇している。

【0003】

一方、オフラインショッピングの形態は、消費者が売場を選び売場内に備えられた商品を目で確認して気に入る商品を購入する形態であったら、オンラインショッピングの形態は、消費者が所望の商品のキーワードを通して商品を検索して購入する形態であって、商品が販売されるプラットフォームが変化するにつれて消費者が商品を探すようになる形態も変わっている。

【0004】

そのため、オンラインショッピングでは、商品ページに消費者のトラフィックを流入させ得るように商品と関連したキーワードをよく設定することが非常に重要になっている。ただし、韓国内の上位１０個のオンラインショッピングモールにアップロードされた商品の個数だけでも４億個を超える状況で商品毎にキーワードを一々設定することは難しい状況であるため、オンラインショッピングモールには、商品に対するイメージファイルだけで商品のキーワードを設定できる機能のソリューションが要求されている。

【0005】

このとき、商品のイメージを構成する要素は、大きく空間、事物、商品が使用される背景のスタイル（雰囲気）、色彩に分けられる。購買者もまた商品を検索するとき、商品が使用される空間の用途、商品そのもの、空間の雰囲気、商品の色彩を重要な要素と見なすため、商品のイメージを構成する要素である空間、事物、スタイル、色彩のいずれか一つのキーワードを組み合わせて検索するようになる。

【0006】

このように、商品のイメージから自動で空間、事物、スタイル、色彩に対するキーワードを抽出できるソリューションが要求される状況で導入可能な代表的な技術としては、人工知能を利用したイメージ分類アルゴリズムがある。一方、商品のイメージから空間、事物、スタイル、色彩を正確に分類するためには、データの品質、データの数量、ラベリング方法、学習の容易性等、考慮すべき要素が多い。これによって、多様な学習データを生成し、人工知能モデルの学習を容易にしながら正確な性能を有するモデルを生成させることのできる技術が必要な実情である。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の実施例において解決しようとする課題は、イメージから自動で該当イメージが示す空間のスタイルを分類できるモデルを生成する技術を提供しようとする。

【0008】

このとき、本発明の実施例が使用する技術であるイメージ分類人工知能アルゴリズムは、学習に使用する学習データの量と質によってモデルの性能に大きな差が発生し得る。特に、人工知能モデル学習の場合、限定された学習データだけでも優れた性能を有するモデルを作るためには、モデルが実際に使用される多様な環境や多様な状況の変数を含む学習データを通してモデルを学習させることが重要である。本発明は、空間イメージが示すスタイルを分類するモデルを生成しながら、モデルが実際に使用される多様な環境や状況の変数を含む学習データを生成するデータ増強技術を提示する。

【0009】

ただし、本発明の実施例が解決しようとする技術的課題は、以上において言及した課題に制限されず、以下において説明する内容から通常の技術者に自明な範囲内で多様な技術的課題が導出され得る。

【課題を解決するための手段】

【0010】

本発明の一実施例に係るデータ増強基盤スタイル分析モデル学習装置は、所定の動作を遂行するようにする命令語を格納する一つ以上のメモリ及び前記一つ以上のメモリと動作できるように連結されて前記命令語を実行するように設定された一つ以上のプロセッサを含み、前記プロセッサが遂行する動作は、複数の空間イメージを獲得して前記複数の空間イメージそれぞれに該当するスタイル情報を特定するクラスをラベリングするか、前記クラスがラベリングされた複数の空間イメージを獲得して学習データを生成する動作、前記複数の空間イメージのうち第１空間イメージが含むピクセル情報を所定の範囲内に変更した第２空間イメージを生成して前記学習データを増強する動作、前記第１空間イメージにラベリングされたクラスを前記第２空間イメージにラベリングする動作、及び所定のイメージ分類アルゴリズム基盤に設計されたモデルに前記増強された学習データを入力し、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する前記モデルの重み付けを学習させることで、前記相関関係に基づいて空間イメージのスタイルに対するクラスを判別するモデルを生成する動作を含むことができる。

【0011】

また、前記第２空間イメージを生成する動作は、
［数１］

【数1】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：既設定された値であるｎ以下の乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））前記数１に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含むことができる。

【0012】

また、前記第２空間イメージを生成する動作は、前記第１空間イメージに含まれたピクセル情報のＲＧＢ情報を構成する（ｘ、ｙ、ｚ）元素値に対して、所定の基準値より大きな値を有する元素値がさらに大きな値を有するように変更し、前記基準値より小さな値を有する元素値がさらに小さな元素値を有するように変更して前記第２空間イメージを生成する動作を含むことができる。

【0013】

また、前記第２空間イメージを生成する動作は、
［数２］

【数2】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：定数、

：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））前記数２に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含むことができる。

【0014】

また、前記第２空間イメージを生成する動作は、
［数３］

【数3】

（Ｒ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｘ、Ｇ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｙ、Ｂ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｚ、Ｙ：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））前記数３に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含むことができる。

【0015】

また、前記第２空間イメージを生成する動作は、
［数４］

【数4】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：定数、

：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
［数５］

【数5】

（Ｒ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｘ’、Ｇ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｙ’、Ｂ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｚ’、Ｙ：ピクセル情報の変更後の元素値（ｘ’’、ｙ’’、ｚ’’））前記数４及び５に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含むことができる。

【0016】

また、前記第２空間イメージを生成する動作は、前記第１空間イメージに含まれたピクセル情報の一部にノイズ情報を追加して前記第２空間イメージを生成する動作を含むことができる。

【0017】

また、前記第２空間イメージを生成する動作は、
［数６］

【数6】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））前記数６に基づいて前記第１空間イメージのピクセル情報にノイズ情報を付加して前記第２空間イメージを生成する動作を含むことができる。

【0018】

また、前記第２空間イメージを生成する動作は、前記第１空間イメージが含むピクセルのうち第１ピクセルを真ん中に含むＮ×Ｎ（Ｎは、３以上の自然数）行列大きさに含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素値のうち最大元素値である

から前記複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素平均値である

を引いた値である

を求め、前記

の元素値のいずれか一つが既設定された値より小さい場合、前記第１ピクセルをブラー処理をする演算を遂行して前記第２空間イメージを生成する動作を含むことができる。

【0019】

また、前記第２空間イメージを生成する動作は、前記第１空間イメージが含む全てのピクセルの個数だけ、平均０及び標準偏差１００の標準ガウス正規分布に従う乱数情報を生成し、前記全てのピクセルのそれぞれに前記乱数情報それぞれを合算してノイズが挿入された前記第２空間イメージを生成する動作を含むことができる。

【0020】

また、前記モデルを生成する動作は、ＲｅｓＮｅｔ（Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ）アルゴリズムに基づいて設計された神経網の入力レイヤに前記学習データに含まれた空間イメージが入力されるように設定し、出力レイヤに前記空間イメージそれぞれにラベリングされたクラスが入力されるように設定して、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する神経網の重み付けを学習させる動作を含むことができる。

【0021】

また、前記ＲｅｓＮｅｔアルゴリズムに基づいて設計された神経網のハイパーパラメータのうちネットワーク階層数は、［１８、３４、５０、１０１、１５２、２００］のうち一つの値を有し、クラス個数は、モダン／ロマンチック／クラシック／ナチュラル／カジュアル／北ヨーロッパ／ビンテージに分類される７つのクラスを含み、ミニバッチサイズは、［３２、６４、１２８、２５６］のうち一つの値を有し、学習回数は、１０～１５、または３０の値のうち一つを有し、学習率は、０．００５または０．０１に設定され、損失関数は、ＳＧＤまたはＡｄａｍに設定され得る。

【0022】

本発明の一実施例に係るデータ増強基盤スタイル分析モデル学習方法は、複数の空間イメージを獲得して前記複数の空間イメージそれぞれに該当するスタイル情報を特定するクラスをラベリングするか、前記クラスがラベリングされた複数の空間イメージを獲得して学習データを生成するステップ、前記複数の空間イメージのうち第１空間イメージが含むピクセル情報を所定の範囲内で変更した第２空間イメージを生成して前記学習データを増強するステップ、前記第１空間イメージにラベリングされたクラスを前記第２空間イメージにラベリングするステップ、及び所定のイメージ分類アルゴリズム基盤に設計されたモデルに前記増強された学習データを入力して、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する前記モデルの重み付けを学習させることで、前記相関関係に基づいて空間イメージのスタイルに対するクラスを判別するモデルを生成するステップを含むことができる。

【発明の効果】

【0023】

本発明の実施例によれば、同じ空間を撮影しても撮影するカメラの特性、撮影時間、撮影する人の習慣等、実際の多様な環境や状況により、同じ空間を撮影する場合にも生成されるイメージが変わり得るという変数を学習できるように、原本学習データを変形させて多様な学習データを確保するデータ増強技術を通して学習データの数量を増加させながらも高品質の学習データを確保する。

【0024】

特に、データ増強のためにＲＧＢ情報を変更する場合、相対的に大幅のＲＧＢ情報の変更は、スタイルそのものの変化を引き起こして増強されたデータに対して２次的にまたラベリングする作業を発生させ得る。これによって、本発明の実施例は、スタイル変化のない程度の範囲内で学習データのＲＧＢ情報を変更して、増強された学習データに対するクラスを原本学習データと同一にラベリングして自動化することで、学習が容易でありながら性能が向上したイメージ分類モデルを提供できる。

【0025】

このようなイメージ分類モデルを使用して、オンラインショッピングモールは、商品のイメージだけで商品と関連したキーワードを使用することで商品ページに消費者のトラフィックを効果的に流入させることができ、消費者もまた自身が所望するイメージを利用して自身に必要なキーワードを探して検索に利用できる。

【0026】

この他に、本文書を通して直接的または間接的に把握される多様な効果が提供され得る。

【図面の簡単な説明】

【0027】

【図1】本発明の一実施例に係るデータ増強基盤スタイル分析モデル学習装置が生成したモデルを利用してイメージが示すスタイルに対するクラスを分類する機能を示した図である。

【図2】本発明の一実施例に係るデータ増強基盤スタイル分析モデル学習装置が分類するスタイルのクラスを説明するための例示図である。

【図3】本発明の一実施例に係るデータ増強基盤スタイル分析モデル学習装置の機能ブロック図である。

【図4】本発明の一実施例に係るデータ増強基盤スタイル分析モデル学習装置が第１空間イメージ（ａ）のピクセル情報を所定範囲内に変更させた第２空間イメージ（ｂ）の例示図である。

【図5】第１空間イメージに含まれたピクセル情報を変更してデータを増強する実施例によって生成された第２空間イメージの例示図である。

【図6】第１空間イメージに含まれたピクセル情報にグレースケールを適用してデータを増強する実施例によって生成された第２空間イメージの例示図である。

【図7】第１空間イメージに含まれた事物の枠領域を区分し、枠でない領域にブラーを適用して第２空間イメージを生成する方法を説明するための例示図である。

【図8】第１空間イメージにガウス正規分布によるノイズ情報を追加してデータを増強する実施例によって生成された第２空間イメージの例示図である。

【図9】本発明の一実施例に係るデータ増強基盤スタイル分析モデル学習方法のフローチャートである。

【発明を実施するための形態】

【0028】

本発明の利点及び特徴、そして、それらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すると、明確になるだろう。しかし、本発明は、以下において開示される実施例に限定されるものではなく、多様な形態に具現され得、単に、本実施例は、本発明の開示が完全なものとなるようにし、本発明の属する技術の分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明の範疇は、請求項により定義されるだけである。

【0029】

本発明の実施例を説明するにあたって、公知機能または構成についての具体的な実際に必要な場合の他には省略される。そして、後述の用語は、本発明の実施例での機能を考慮して定義された用語であって、これは、ユーザ、運用者の意図または慣例等によって変わり得る。それゆえ、その定義は、本明細書全般にわたった内容に基づいて下されるべきである。

【0030】

図面に表示され、下記に説明される機能ブロックは、可能な具現の例であるだけである。他の具現では、詳細な説明の思想及び範囲を外れない範囲で他の機能ブロックが使用され得る。また、本発明の一つ以上の機能ブロックが個別ブロックで表示されるが、本発明の機能ブロックのうち一つ以上は、同じ機能を実行する多様なハードウェア及びソフトウェア構成の組み合わせであってよい。

【0031】

また、ある構成要素を含むという表現は、開放型の表現であって、該当構成要素が存在することを単に指すだけであり、さらなる構成要素を排除するものと理解されてはならない。

【0032】

さらに、ある構成要素が他の構成要素に連結されているとか接続されていると言及される時には、その他の構成要素に直接的に連結または接続されていてもよいが、中間に他の構成要素が存在してもよいと理解されるべきである。

【0033】

また、「第１、第２」等のような表現は、複数の構成を区分するための用途にだけ使用された表現であって、構成の間の順序やその他の特徴を限定しない。

【0034】

以下においては、図面を参照して本発明の実施例について説明する。

【0035】

図１は、本発明の一実施例に係るデータ増強基盤スタイル分析モデル学習装置１００が生成した人工知能モデルを利用してイメージが示すスタイルに対するクラスを分類する機能を示した図である。

【0036】

図１を参照すると、本発明の一実施例に係るデータ増強基盤スタイル分析モデル学習装置１００は、図１に示されたインターフェースの上段メニューの空間分類、事物検出、スタイル分析、商品推薦機能のうちスタイル分析機能を提供できる。データ増強基盤スタイル分析モデル学習装置１００は、図１のインターフェースに使用される人工知能モデルを生成する。人工知能モデルは、図１の左側下段に入力される空間イメージを分析して、空間イメージがどのようなスタイルを有するのかクラスを判別（ｅｘ．ｎｏｒｄｉｃ ｓｔｙｌｅ：９７．７８％、ｎａｔｕｒａｌ ｓｔｙｌｅ：２．０７％）できる。

【0037】

一方、空間のスタイルは、インテリア雰囲気を決定する重要な要素であって、空間のスタイルは、大きく空間に含まれた客体の素材、色相、質感、形態によって変わり得、一実施例によれば、図２のように大きく７つのスタイルにインテリア空間を分類できる。

【0038】

図２は、本発明の一実施例に係るデータ増強基盤スタイル分析モデル学習装置１００が分類するスタイル（雰囲気）のクラスを説明するための例示図である。

【0039】

図２を参照すると、データ増強基盤スタイル分析モデル学習装置１００は、入力される空間イメージが示すスタイルを区分するように学習されてクラスを判別できる。例えば、空間イメージのクラスは、モダンスタイル、ロマンチックスタイル、クラシックスタイル、ナチュラルスタイル、カジュアルスタイル、北ヨーロッパスタイル、ビンテージスタイルを含むことができる。

【0040】

図２（ａ）は、モダンスタイルのクラスに分類される空間イメージに対する例示である。モダンスタイルは、シンプルで現代的なインテリアスタイルであって、主に２つ以下の色相を使用することが特徴である。ステンレス、ガラス、スチール、鉄、革、金属、大理石等、硬い感じを与える素材を使用するか、モノトーンカラー（白色、黒色、無彩色、鮮明な色、ネイビー色、グレー色）の色を主に使用しながら灰色やその他の暗いトーンの色が添加され得る。また、冷たい、つやつや、滑らか、固い感じを与え、紋なしに光沢が出る仕上げを有し、直線や非定形の形態を示す。パターンを使用する場合、ストライプやチェック等、幾何学的なデザインパターンを利用でき、機能性と実用性を強調するという点でシンプルな簡潔さを追求する「ミニマルスタイル（Ｍｉｎｉｍａｌ Ｓｔｙｌｅ）」を含むことができる。このとき、モダンスタイルのクラスは、「トレンディー、現代的、実用性、機能性、モノトーン、幾何学的パターン、冷たい素材」のキーワードを有する商品とマッチングされ得る。

【0041】

図２（ｂ）は、ロマンチックスタイルのクラスに分類される空間イメージに対する例示である。ロマンチックスタイルは、柔らかい感じで女性に人気のあるインテリアであって、ナチュラルな素材と色彩を強調することが特徴である。ソフトな織物と柔らかくて暖かい感じの素材（綿織物、木、煉瓦、シルク、リネン）を使用し、空色と緑色トーンのパステルトーン（薄いピンク、ブルー等）と共に使用され得、浪漫的で童話的な感じを与えるインテリアであり、物静かで高級に見える雰囲気である。また、優雅な曲線と植物、花模様等のパターンを活用し、ほのかな照明を使用して全体的に繊細かつ感性的な雰囲気を造成するスタイルであってごついが品格のある「プロヴァンススタイル（Ｐｒｏｖｅｎｃｅ Ｓｔｙｌｅ）」を含むことができる。このとき、ロマンチックスタイルのクラスは、「ロマンチック、感性的、浪漫的、パステルトーン、ソフトな素材、曲線、ほのかな照明」のキーワードを有する商品とマッチングされ得る。

【0042】

図２（ｃ）は、クラシックスタイルのクラスに分類される空間イメージに対する例示である。クラシックスタイルは、中世以降ヨーロッパの伝統的な建築様式と装飾様式に基づく格式のあるインテリアであって、革、ファブリック、金属、天然木、大理石等、古く高級な素材を使用することが特徴である。また、木と革のカラーを基本としながら、褐色または黒色のような鮮明でトーンダウンした物静かで濃いカラーを使用する。古風で上品な雰囲気であり、空間が広い時にさらに似合うスタイルである。また、ヨーロッパ風のクラシックな家具を活用して華やかで装飾的な模様を有し、古風な感じの「アンティークスタイル（Ａｎｔｉｑｕｅ Ｓｔｙｌｅ）」や華やかさと曲線美を強調した「アールヌーヴォースタイル（Ａｒｔ Ｎｏｕｖｅａｕ Ｓｔｙｌｅ）」を含むことができる。このとき、クラシックスタイルのクラスは、「雄壮さ、古風な感じ、華やかな装飾、造形美、物静かなカラー、華やかなカラー、重たいカラー、木、織物」のキーワードを有する商品とマッチングされ得る。

【0043】

図２（ｄ）は、ナチュラルスタイルのクラスに分類される空間イメージに対する例示である。ナチュラルスタイルは、自然に優しい素材を利用した素朴なスタイルであって、暖かい色感のインテリアからなる家具が使用されることが特徴である。また、木、土、革、綿、麻のように自然的な素材が活用されながら白色、クリーム色、緑色、褐色のような木材色が主に使用され、パステルよりはウッドトーンがさらに活用され得る。また、つやなしまたは光沢が自然な感じまたは自然素材を連想させる質感の素材を強調した単純なデザインでホワイト背景に原木家具が主に配置され得る。従って、植物で自然を演出する「プランテリア（Ｐｌａｎｔｅｒｉｏｒ）」や「ボタニックスタイル（Ｂｏｔａｎｉｃ Ｓｔｙｌｅ）」もナチュラルスタイルに含まれ得る。このとき、ナチュラルスタイルのクラスは、「オーガニック、自然さ、天然素材、木、ホワイト、ブラウン」のキーワードを有する商品とマッチングされ得る。

【0044】

図２（ｅ）は、カジュアルスタイルのクラスに分類される空間イメージに対する例示である。カジュアルスタイルは、自由で楽なイメージと若く運動感の溢れる個性のあって軽快なインテリアであって、明るい色調の木と金属、ガラス、プラスチック等、自然材と人工材の混用材を多く使用することが特徴である。また、白色と灰色等の基本色相に明るく華やかで鮮やかな色彩をポイントカラーに使用して生動感のある材質感と共に強い色彩の対比でリズム感を付与することができ、格式ばらない自由な雰囲気であって機能的で軽い感覚のデザイン要素が中心である。また、チェックと横型ストライプ、水玉模様が代表的なパターンに使用（幾何学的模様や抽象的模様も使用）され得る。このとき、カジュアルスタイルのクラスは、「独特さ、装飾的、華やかさ、都市的、混乱、洗練された明るさ、カラフルさ、自由さ」のキーワードを有する商品とマッチングされ得る。

【0045】

図２（ｆ）は、北ヨーロッパスタイルのクラスに分類される空間イメージに対する例示である。北ヨーロッパスタイルは、明るく安らかな色彩の仕上げ材が空間を満たしたインテリアであって、多様な小品とファブリックの活用がポイントである。また、天然木、タイル、ステンレス等、多様な素材が使用され、基本的に白色とベージュ色、ウッドトーンが使用されながらソフトなパステルトーンでポイントを与えることができる。また、単調なデザインの家具と小品を使用し、素材本来の質感と滑らかな仕上げが加味されて機能的で単純でありながら暖かさを追求する。このとき、北ヨーロッパスタイルのクラスは、「清さ、スマートさ、鮮やかさ、シンプルさ、単純さ、滑らかさ、ソフトさ、余裕さ、安楽さ、柔らかさ、暖かさ」のキーワードを有する商品とマッチングされ得る。

【0046】

図２（ｇ）は、ビンテージスタイルのクラスに分類される空間イメージに対する例示である。ビンテージスタイルは、思い出や懐かしさを呼び起こす過去の痕跡が自然に現れるスタイルであって、粗い金属製品、古いウッド、露出コンクリート、鉄製、煉瓦等、手入れされていない素材を使用することが特徴である。また、濃い褐色や黒色、灰色を活用してあせたか剥げたようなカラーを演出し、粗くごつい感じを与える。また、安らかで自然な模様で天井、壁等をそのまま露出して「インダストリアルスタイル（Ｉｎｄｕｓｔｒｉａｌ Ｓｔｙｌｅ）」を含むことができる。このとき、ビンテージスタイルのクラスは、「産業化、機械的、工場、倉庫、金属、廃原木、煉瓦、露出コンクリート」のキーワードを有する商品とマッチングされ得る。

【0047】

一方、上述した空間のスタイル分類は例示であるだけで、実施例の変形によって多様なスタイルの空間を判別できるように学習され得、空間イメージが示すスタイルを判別する実施例を具現するために、データ増強基盤スタイル分析モデル学習装置１００が有する構成を図３と共に説明する。

【0048】

図３は、本発明の一実施例に係るデータ増強基盤スタイル分析モデル学習装置１００の機能ブロック図である。

【0049】

図３を参照すると、一実施例に係るデータ増強基盤スタイル分析モデル学習装置１００は、メモリ１１０、プロセッサ１２０、入力インターフェース１３０、ディスプレイ部１４０及び通信インターフェース１５０を含むことができる。

【0050】

メモリ１１０は、学習データＤＢ１１１、神経網モデル１１３、及び命令語ＤＢ１１５を含むことができる。

【0051】

学習データＤＢ１１１は、室内空間、外部空間等、特定の空間を撮影した空間イメージファイルを含むことができる。空間イメージは、外部サーバ、外部ＤＢを通して獲得するかインターネット上の空間イメージを獲得できる。このとき、空間イメージは、多数のピクセル（ｅｘ．横Ｍ個、縦Ｎ個の行列形態に構成されたＭ×Ｎ個のピクセル）で構成され得、それぞれのピクセルは、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の固有色相を示すＲＧＢ元素値（ｘ、ｙ、ｚ）で構成されたピクセル情報を含むことができる。

【0052】

神経網モデル１１３は、入力された空間イメージを分析して、空間イメージがどのようなスタイルを示す空間であるかを特定するクラスを判別するイメージ分類人工知能アルゴリズム基盤に学習された人工知能モデルであってよい。人工知能モデルは、後述するプロセッサ１２０の動作により生成されてメモリ１１０に格納され得る。

【0053】

命令語ＤＢ１１５は、プロセッサ１２０の動作を遂行させることのできる命令語を格納することができる。例えば、命令語ＤＢ１１５は、後述するプロセッサ１２０の動作と対応する動作を遂行するようにするコンピュータコードを格納することができる。

【0054】

プロセッサ１２０は、データ増強基盤スタイル分析モデル学習装置１００が含む構成、メモリ１１０、入力インターフェース１３０、ディスプレイ部１４０及び通信インターフェース１５０の全般的な動作を制御できる。プロセッサ１２０は、ラベリングモジュール１２１、増強モジュール１２３、学習モジュール１２５及び制御モジュール１２７を含むことができる。プロセッサ１２０は、メモリ１１０に格納された命令語を実行してラベリングモジュール１２１、増強モジュール１２３、学習モジュール１２５及び制御モジュール１２７を駆動させることができ、ラベリングモジュール１２１、増強モジュール１２３、学習モジュール１２５及び制御モジュール１２７により遂行される動作は、プロセッサ１２０により遂行される動作と理解され得る。

【0055】

ラベリングモジュール１２１は、複数の空間イメージそれぞれのイメージが示すスタイル情報（ｅｘ．モダン、ロマンチック、クラシック、ナチュラル、カジュアル、北ヨーロッパ、ビンテージ等）を特定するクラスをラベリング（マッピング）して人工知能モデルの学習に使用される学習データを生成し、学習データＤＢ１１１に格納することができる。ラベリングモジュール１２１は、外部サーバ、外部ＤＢを通して空間イメージを獲得するかインターネット上の空間イメージを獲得できる。空間イメージには、該当イメージのスタイル情報を特定するクラス（ｅｘ．モダン、ロマンチック、クラシック、ナチュラル、カジュアル、北ヨーロッパ、ビンテージ等）が既ラベリングされていてよい。

【0056】

増強モジュール１２３は、学習データＤＢ１１１に格納された空間イメージ（増強モジュールが変形を加えていない空間イメージを、以下、「第１空間イメージ」と称する）が含むピクセル情報を所定範囲内で変更した空間イメージ（増強モジュールが変形を加えた空間イメージを、以下、「第２空間イメージ」と称する）を生成して学習データを増強させ、第２空間イメージを学習データＤＢ１１１に追加して格納することができる。

【0057】

本発明の実施例に係るデータ増強基盤スタイル分析モデル学習装置１００が学習させるモデルは、空間イメージが示すスタイルのクラスを分類する機能を有する。このとき、空間イメージは、同じ空間が撮影されるものであっても撮影に使用されるカメラの特性、撮影が行われる時間、撮影する人の習慣等、実際の空間イメージが生成される多様な環境や状況により、同じ空間を撮影する場合であっても多様な変数によりイメージファイルに含まれる情報が変わり得る。従って、人工知能モデルの性能向上のためには、学習に使用されるデータの量と質が重要である。特に、撮影に使用されるカメラの特性、撮影時間、撮影する人の習慣によって発生し得る変数を学習できるように、増強モジュール１２３は、一つの空間イメージに対して実際に発生し得る変数を反映する図５乃至図８のデータ増強アルゴリズムを通して学習データの数量を増加させることができる。

【0058】

一方、上述した図２の説明のように、空間イメージの色感または色相は、空間のスタイルを決定する重要な要素のうち一つである。ここで、増強モジュール１２３がデータ増強のためにＲＧＢ情報を相対的に大幅に変更する場合に生成される第２空間イメージは、原本である第１空間イメージとは異なる色相を有する可能性が高く、第２空間イメージが示す空間のスタイルそのものが第１空間イメージと異なり得る。このような場合、原本である第１空間イメージと新たに生成された第２空間イメージは互いにスタイルそのものが変わり、増強された学習データである第２空間イメージに対するラベリング作業時、原本である第１空間イメージと変更された第２空間イメージは互いに異なるスタイルクラスをラベリングしなければならない必要がある。このような場合、色相の過度な変更は、現実感とかけ離れたデータを生成しながら、第２空間イメージに対して第１空間イメージのクラスと異なるクラスをまたラベリングしなければならない作業を発生させ得る。

【0059】

このような作業が発生することを防止するために、本発明の実施例は、図４の例示のように空間のスタイル変化のない程度の範囲内で第１空間イメージ（図４（ａ））のＲＧＢ情報を変更して第２空間イメージ（図４（ｂ））を生成し、ラベリングモジュール１２１は、新たに生成されたラベリングが遂行される前の第２空間イメージに対して、第１空間イメージにラベリングされたクラスを第２空間イメージに同一にラベリングを遂行して、学習データの数量を増加させながら増強された学習データに対するラベリングを自動化して性能が向上したイメージ分類モデルを提供できる。

【0060】

学習モジュール１２５は、イメージ分類アルゴリズム基盤に設計されたモデルに増強された学習データを入力して、学習データに含まれた空間イメージと空間イメージそれぞれにラベリングされたスタイルクラスとの相関関係を導出する重み付けを学習させることで、重み付けの相関関係に基づいて新たに入力される空間イメージに対するスタイルクラスを判別する人工知能モデルを生成できる。例えば、学習モジュール１２５は、イメージ分類アルゴリズムのうちＲｅｓＮｅｔ（Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ）アルゴリズムに基づいて設計された神経網の入力レイヤに学習データに含まれた空間イメージが入力されるように設定し、出力レイヤに空間イメージそれぞれが示すスタイルがラベリングされたクラスが入力されるように設定して、学習データに含まれた空間イメージと空間イメージそれぞれにラベリングされたスタイルクラスとの相関関係を導出するように神経網の重み付けを学習させて神経網を生成できる。

【0061】

制御モジュール１２７は、学習が完了した人工知能モデルに空間イメージを入力して、入力された空間イメージに対して人工知能モデルが判別したスタイルクラスを該当空間イメージのキーワード、またはスタイルクラスとマッチングされる単語（ｅｘ．図２と共に上述したキーワードの例示）をキーワードに導出することができる。これによって、制御モジュール１２７は、空間イメージを含む商品ページに該当キーワード情報を使用できるようにオンラインショッピングモールサーバの商品ＤＢにキーワードを格納することができる。

【0062】

入力インターフェース１３０は、ユーザの入力を受信することができる。例えば、学習データに対するクラスをラベリングする場合、ユーザの入力を受信することができる。

【0063】

ディスプレイ部１４０は、ディスプレイパネルを含んで画像を出力するハードウェア構成を含むことができる。

【0064】

通信インターフェース１５０は、外部装置（ｅｘ．オンラインショッピングモールサーバ、ユーザ端末等）と通信して情報を送受信できるようにする。このために、通信インターフェース１５０は、無線通信モジュールまたは有線通信モジュールを含むことができる。

【0065】

以下、データ増強基盤スタイル分析モデル学習装置１００を構成する各構成が具現する多様な実施例を図５乃至図８と共に説明する。

【0066】

図５は、第１空間イメージに含まれたピクセル情報を変更してデータを増強する実施例によって生成された第２空間イメージの例示図である。

【0067】

増強モジュール１２３は、下記数１を通して第１空間イメージが含むピクセル情報を所定範囲内で変更した第２空間イメージを生成できる。
［数１］

【数6】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：既設定された値であるｎ以下の乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））

【0068】

数１によれば、

は、既設定された値であるｎより小さな値を有する乱数である。従って、増強モジュール１２３は、第１空間イメージが含むピクセルのいずれか一つの値である（ｘ、ｙ、ｚ）元素値を変更させるために乱数

を発生させて、該当ピクセルの元素値を

に変更でき、このような演算は、第１空間イメージが含む全てのピクセルまたは選択された一部のピクセルに対して適用される方式で第２空間イメージを生成できる。これによって、光が空間に入るか入らないことで、または時間によって撮影されるイメージの色相がある程度変更され得るという変数を学習に反映するように、数１による方式でデータを新たに生成して該当変数を学習させることができる。

【0069】

また、増強モジュール１２３は、第１空間イメージのピクセルの中で明るい部分をさらに明るくし、暗い部分をさらに暗くして対比を増加させるように変形するか、または第１空間イメージのピクセルの中で明るい部分をあまり明るくなくし、暗い部分をあまり暗くなくして対比を減少させるように変形して、カメラの性能や機種によって一つの空間に対するイメージが異に生成され得る変数まで学習されるようにする第２空間イメージを生成できる。

【0070】

このために、増強モジュール１２３は、第１空間イメージに含まれたピクセル情報のＲＧＢ情報を構成する（ｘ、ｙ、ｚ）元素値に対して、所定の基準値より大きな値を有する元素値がさらに大きな値を有するように変更し、基準値より小さな値を有する元素値がさらに小さな元素値を有するように変更して第２空間イメージを生成できる。

【0071】

例えば、増強モジュール１２３は、第１空間イメージが有する全てのピクセルが有するピクセル情報に対して、下記数１を適用してピクセル情報が変更された第２空間イメージを生成できる。
［数２］

【数7】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：定数、

：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））

【0072】

数２によれば、

が１より大きな値を有するように設定する場合、第１空間イメージのピクセルの中で明るい部分をさらに明るくし、暗い部分をさらに暗くして対比を増加させることができ、

が０より大きく１より小さな値を有するように設定する場合、第１空間イメージのピクセルの中で明るい部分をあまり明るくなくし、暗い部分をあまり暗くなくして対比を減少させることができる。

【0073】

また、Ｒ、Ｇ、Ｂの元素値は、一般に０から２５５の間の値を有するため、

により出力される元素値が２５５より過度に大きくならないように

を設定でき、ｍｉｎ関数を使用して最大値が２５５より大きくならないように設定できる。

【0074】

また、Ｒ、Ｇ、Ｂの元素値は、一般に０から２５５の間の値を有するため、ｍａｘ関数を使用して

により出力される元素値が０より小さくならないようにｍａｘ関数を使用してすることができる。

【0075】

加えて、

が小数点を有する値に設定される場合、変更されたピクセル情報の元素値が整数になるようにｒｏｕｎｄ関数を使用することができる。

【0076】

図５Ａを参照すると、左側は、第１空間イメージであり、右側は、

を設定して数２を適用した場合の第２空間イメージである。図５Ａの右側第２空間イメージは、第１空間イメージに比して、明るい部分がさらに明るく変わり、暗い部分がさらに暗く変わって対比が増加した新たな学習データが生成されることを確認することができる。

【0077】

図５Ｂを参照すると、左側は、第１空間イメージであり、右側は、

を設定して数２を適用した場合の第２空間イメージである。図５Ｂの右側第２空間イメージは、第１空間イメージに比して、明るい部分があまり明るくなく変わり、暗い部分があまり暗くなく変わって対比が減少した新たな学習データが生成されることを確認することができる。

【0078】

図５Ｃを参照すると、左側は、一つの色（Ｒ、Ｇ、Ｂ）＝（１８３、１９１、１９４）に統一された第１空間イメージであり、右側は、

を設定して数２を適用した場合の第２空間イメージである。図５Ｃを通して一つのピクセル情報が数２によって変わる程度を確認することができる。

【0079】

図６（ａ）は、第１空間イメージに含まれたピクセル情報にグレースケールを適用してデータを増強する実施例によって生成された第２空間イメージの例示図である。

【0080】

空間イメージに対するクラス判別は、事物の配置や、事物のパターンに大きな影響を受けるため、増強モジュール１２３は、色相を単調に変換させた後、事物の配置と事物のパターンをよりよく学習されるように変数を反映した学習データを生成できる。

【0081】

このために、増強モジュール１２３は、図６（ａ）の左側イメージのように、第１空間イメージが有する全てのピクセル情報に対して、下記数３を適用してピクセル情報が単調な色相を有しながら配置とパターンが現れる第２空間イメージを生成できる。
［数３］

【数8】

（Ｒ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｘ、Ｇ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｙ、Ｂ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｚ、Ｙ：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’）

【0082】

加えて、増強モジュール１２３は、図６（ａ）の右側イメージのように、下記数４を通して第１空間イメージの対比を増加させた後に導出された元素値に、下記数５を適用して、第１空間イメージに含まれた事物の配置とパターンがより克明に現れる第２空間イメージを生成できる。
［数４］

【数9】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：定数、

：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
［数５］

【数10】

（Ｒ：数４で求められたｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｘ’、Ｇ：数４で求められたｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｙ’、Ｂ：数４で求められたｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｚ’、Ｙ：ピクセル情報の変更後の元素値（ｘ’’、ｙ’’、ｚ’’）

【0083】

また、増強モジュール１２３は、数４と５を使用する前記実施例で数４の代わりに、数１を適用し数５を適用する方式を通して、所定範囲内に変更されたピクセル情報のパターンが克明に現れるように変更された第２空間イメージを生成することもできる。

【0084】

図６（ｂ）は、第１空間イメージに含まれたピクセル情報の一部にノイズを追加してデータを増強する実施例によって生成された第２空間イメージの例示図である。

【0085】

増強モジュール１２３は、カメラを拡大して撮影する場合、イメージにノイズが発生する場合を学習するための学習データを生成できる。このために、増強モジュール１２３は、第１空間イメージに含まれたピクセル情報の一部にノイズ情報を追加して第２空間イメージを生成できる。例えば、増強モジュール１２３は、乱数発生アルゴリズムを通して任意の座標情報を生成して、第１空間イメージに含まれたピクセルのうち一部の座標を選択し、選択された座標のピクセルが有する元素値に対して下記数６を利用して、ピクセル情報に乱数発生アルゴリズムを利用して算出される乱数を付加してノイズ情報が追加された第２空間イメージを生成できる。
［数６］

【数11】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））

【0086】

図６（ｂ）を参照すると、左側は、第１空間イメージであり、右側は、数６を適用してノイズを追加した場合の第２空間イメージを確認することができる。

【0087】

図７は、第１空間イメージに含まれた事物の枠領域を区分し、枠でない領域にブラーを適用して第２空間イメージを生成する方法を説明するための例示図である。

【0088】

増強モジュール１２３は、カメラの焦点がよく合わない状態で撮影されたイメージを学習するように次の実施例を通して事物の縁が潰れたような第２空間イメージを生成できる。

【0089】

図７Ａは、説明の便宜のために、横５個×縦５個の行列形態の２５個のピクセルを含む第１空間イメージを仮定して各ピクセル領域を区分した例示である。このとき、各ピクセルは、Ｒ、Ｇ、Ｂの元素値を有するが、Ｒ（Ｒｅｄ）の元素値を基準に実施例を説明する。図７Ａの各ピクセル領域に示された数字は、Ｒの元素値を意味する。

【0090】

図７Ａの場合、全てのピクセルに後述する方式の演算が遂行されるが、説明の便宜のために、真ん中のピクセルを基準に演算を説明する。図５Ａの場合、増強モジュール１２３は、演算が遂行されるピクセルを中央とするＮ×Ｎ領域（図７ＡでＮは３を仮定）に含まれたピクセルのうちＲ元素値の最大値（Ｒ＿ｍａｘ＝１３０）とＲ元素値の平均値（Ｒ＿ａｖｇ＝１２０）の差（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ＝１０）を計算して、導出される値が既設定された値ｎより小さい場合のピクセル（事物の内側領域に存在するピクセルと判別）と既設定された値ｎより大きい場合のピクセル（事物の枠領域に存在するピクセルと判別）を区分して、図７Ｂの右側のように第１空間イメージに含まれた事物の枠を判別できる。ここで、増強モジュール１２３は、枠領域を除く領域のピクセルに対してのみガウスブラーアルゴリズムを適用して図７Ｃの右側イメージのようなイメージを生成できる。一方、演算が遂行されるピクセルを基準にするＮ×Ｎ領域にピクセルが存在しない領域（ｅｘ．イメージの縁側）が存在するならば、該当ピクセルに対しては上述した演算を省略し、ブラー処理をすることができる。

【0091】

このように、増強モジュール１２３は、第１空間イメージが含む全てのピクセルそれぞれに対して上の演算を遂行することができる。演算が遂行されるピクセルの場合、該当ピクセルを中央に含むＮ×Ｎ（Ｎは、３以上の奇数）行列大きさに含まれる複数のピクセルをカーネル領域に選択し、カーネル領域に含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素値のうち最大元素値である（Ｒ＿ｍａｘ、Ｇ＿ｍａｘ、Ｂ＿ｍａｘ）から、カーネル領域に含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素平均値である（Ｒ＿ａｖｇ、Ｇ＿ａｖｇ、Ｂ＿ａｖｇ）を引いた値である（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ、Ｇ＿ｍａｘ－Ｇ＿ａｖｇ、Ｂ＿ｍａｘ－Ｂ＿ａｖｇ）を求め、（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ、Ｇ＿ｍａｘ－Ｇ＿ａｖｇ、Ｂ＿ｍａｘ－Ｂ＿ａｖｇ）のうち少なくともいずれか一つの元素値が既設定された値ｎより小さければ、該当ピクセルにガウスブラーアルゴリズムを適用して第２空間イメージを生成できる。

【0092】

このような演算を第１空間イメージに含まれた全てのピクセルに対して遂行すれば、色相差が大きく開く枠領域のピクセルだけがピクセル情報をそのまま有し、色相差のない領域のピクセルはブラー処理されて、カメラの焦点がよく合わない状態で撮影されたイメージを学習できる第２空間イメージを生成できる。このとき、ブラー処理は、ガウスブラーアルゴリズムを適用できるが、これに限定されず、多様なブラーフィルタを使用することができる。

【0093】

図７Ｂを参照すると、左側は、第１空間イメージであり、右側は、図７を通して説明した実施例で既設定された値ｎより大きい場合とｎより小さい場合のピクセルを区分して生成されたイメージである。図７Ｂの右側イメージもまた事物の枠を克明に示すため、事物の配置とパターンを明確に認識させるための目的で学習データに追加して使用することができる。

【0094】

図７Ｃを参照すると、左側は、第１空間イメージであり、右側は、上述した図７の実施例でＮ＝７、ｎ＝２０を適用した実施例であり、枠以外の領域がブラー処理された第２空間イメージを確認することができる。

【0095】

加えて、図７を通して説明した実施例で既設定された値ｎより大きい場合のピクセルをブラー処理して上述した実施例と反対の効果を発生させた第２空間イメージを学習データＤＢ１１１に追加することもできる。

【0096】

図８は、第１空間イメージにガウス正規分布によるノイズ情報を追加してデータを増強する実施例によって生成された第２空間イメージの例示図である。

【0097】

増強モジュール１２３は、イメージの特定部分に焦点が合わない場合を学習するための学習データを生成できる。このために、増強モジュール１２３は、第１空間イメージが含む全てのピクセルの個数だけ、平均０及び標準偏差１００の標準ガウス正規分布に従う乱数情報を生成し、全てのピクセルのそれぞれに乱数情報それぞれを合算してノイズ情報が挿入された第２空間イメージを生成できる。

【0098】

ラベリングモジュール１２１は、図５乃至図８を通して生成された第２空間データに対して、変形前の原本である第１空間イメージにラベリングされたクラスを、変形後の第２空間イメージに同一にラベリングして、増強された学習データに対するラベリング過程を自動化してラベリング時間を短縮させることができる。

【0099】

以後、学習モジュール１２５は、イメージ分類アルゴリズム基盤に設計されたモデルに原本学習データ（第１空間イメージ）と図５乃至図８の実施例を通して増強された学習データ（第２空間イメージ）を入力して、学習データに含まれた空間イメージと空間イメージそれぞれにラベリングされたスタイルクラスとの相関関係を導出するモデルの重み付けを学習させることで、相関関係に基づいて空間イメージに対するクラスを判別するモデルを生成できる。

【0100】

このようなイメージ分類アルゴリズムは、人工知能の分野で扱う多様な問題を定義し、それを解決するマシンラーニングアルゴリズムを含む。本発明の実施例は、ＲｅｓＮｅｔ、ＬｅＮｅｔ－５、ＡｌｅｘＮｅｔ、ＶＧＧ－Ｆ、ＶＧＧ－Ｍ、ＶＧＧ－Ｓ、ＶＧＧ－１６、ＶＧＧ－１９、ＧｏｏｇＬｅＮｅｔ（ｉｎｃｅｐｔｉｏｎ ｖ１）、ＳＥＮｅｔのアルゴリズムによって設計された人工知能モデルを通して学習を進行できる。

【0101】

人工知能モデルは、シナプスの結合でネットワークを形成したノードで構成される、問題解決能力を有するモデル全般を意味し得る。人工知能モデルは、モデルを構成するレイヤの間の重み付けである、モデルパラメータを更新する学習過程、出力値を生成する活性化関数（Ａｃｔｉｖａｔｉｏｎ Ｆｕｎｃｔｉｏｎ）により定義され得る。

【0102】

モデルパラメータは、学習を通して決定されるパラメータを意味し、レイヤ連結の重み付けとニューロンの偏向等が含まれる。そして、ハイパーパラメータは、マシンラーニングアルゴリズムで学習の前に設定されるべきパラメータを意味し、ネットワーク階層数（ｎｕｍ＿ｌａｙｅｒ）、学習データ個数（ｎｕｍ＿ｔｒａｉｎｉｎｇ＿ｓａｍｐｌｅｓ）、クラス個数（ｎｕｍ＿ｃｌａｓｓｅｓ）、学習率（Ｌｅａｒｎｉｎｇ Ｒａｔｅ）、学習回数（ｅｐｏｃｈｓ）、ミニバッチサイズ（ｍｉｎｉ＿ｂａｔｃｈ＿ｓｉｚｅ）、損失関数（ｏｐｔｉｍｉｚｅｒ）等が含まれる。

【0103】

本発明の一実施例に係る人工知能モデルのハイパーパラメータは、下記のような設定値を有し得る。例えば、ネットワーク階層数は、イメージの大きさが大きな学習データである場合、［１８、３４、５０、１０１、１５２、２００］の間から選択され得る。このとき、ネットワーク階層数は、学習時間を考慮して初期値１８で学習されて所定個数の学習データが学習された以後には３４に変更され得、これによって正確度が向上し得る。学習データ個数は、全体イメージデータから評価データの個数を引いた値であり、計８３，１３４枚の中で６６，５０９枚が学習データに使用され得、残りの１６，６２５枚は評価データに使用され得る。クラス個数は、モダン／ロマンチック／クラシック／ナチュラル／カジュアル／北ヨーロッパ／ビンテージに分類される７つのクラスを含むことができる。ミニバッチサイズは、大きさ値によってコンバージェンス速度及び最終ｌｏｓｓ値に差があるので、［３２、６４、１２８、２５６］等の大きさをそれぞれ試みて適切な値を選択でき、好ましく１２８または２５６の大きさが設定され得る。学習回数は、１０～１５、または３０のいずれか一つの値に設定され得る。学習率は、０．００５または０．０１に設定され得る。損失関数（目的関数）は、基本値であるＳＧＤに設定され得、またはイメージ分類に適したＡｄａｍに設定され得る。ただし、上述した設定値は一例示であるだけで、実施例が前記数値に限定されるものではない。

【0104】

人工知能モデルの学習目的は、損失関数を最小化するモデルパラメータを決定することと見られる。損失関数は、人工知能モデルの学習過程で最適なモデルパラメータを決定するための指標に利用され得る。

【0105】

図９は、本発明の一実施例に係るデータ増強基盤スタイル分析モデル学習方法のフローチャートである。図９によるデータ増強基盤スタイル分析モデル学習方法の各ステップは、図３を通して説明されたデータ増強基盤スタイル分析モデル学習装置１００により遂行され得、各ステップを説明すると、次のとおりである。

【0106】

まず、ラベリングモジュール１２１は、複数の空間イメージを獲得して複数の空間イメージそれぞれに該当するスタイル情報を特定するクラスをラベリングするか、クラスがラベリングされた複数の空間イメージを獲得して学習データを生成する（Ｓ９１０）。以後、増強モジュール１２３は、複数の空間イメージのうち第１空間イメージが含むピクセル情報を所定の範囲内に変更した第２空間イメージを生成して学習データを増強させる（Ｓ９２０）。次に、ラベリングモジュール１２１は、第１空間イメージにラベリングされたクラスを第２空間イメージにラベリングする（Ｓ９３０）。これによって、学習モジュール１２５は、所定のイメージ分類アルゴリズム基盤に設計されたモデルに増強された学習データを入力して、学習データに含まれた空間イメージと空間イメージそれぞれにラベリングされたクラスとの相関関係を導出するモデルの重み付けを学習させることで、相関関係に基づいて空間イメージのスタイルに対するクラスを判別するモデルを生成できる（Ｓ９４０）。

【0107】

一方、上述した各ステップの主体である構成要素が該当ステップを実施するための過程は、図３乃至図８と共に説明したので、重複した説明は省略する。

【0108】

上述した本発明の実施例は、多様な手段を通して具現され得る。例えば、本発明の実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェアまたはそれらの結合等により具現され得る。

【0109】

ハードウェアによる具現の場合、本発明の実施例に係る方法は、一つまたはそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ等により具現され得る。

【0110】

ファームウェアやソフトウェアによる具現の場合、本発明の実施例に係る方法は、以上において説明された機能または動作を遂行するモジュール、手順または関数等の形態に具現され得る。ソフトウェアコード等が書き込まれたコンピュータプログラムは、コンピュータ読み取り可能書き込み媒体またはメモリユニットに格納されてプロセッサにより駆動され得る。メモリユニットは、プロセッサの内部または外部に位置して、既に公知になった多様な手段によりプロセッサとデータを受け渡しすることができる。

【0111】

また、本発明に添付のブロック図の各ブロックとフローチャートの各ステップの組み合わせは、コンピュータプログラムインストラクションにより遂行されてもよい。これらのコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータまたはその他のプログラム可能なデータプロセシング装備のエンコーディングプロセッサに搭載され得るので、コンピュータまたはその他のプログラム可能なデータプロセシング装備のエンコーディングプロセッサを通して遂行されるそのインストラクションがブロック図の各ブロックまたはフローチャートの各ステップで説明された機能を遂行する手段を生成するようになる。これらのコンピュータプログラムインストラクションは、特定方法で機能を具現するためにコンピュータまたはその他のプログラム可能なデータプロセシング装備を目指すことのできるコンピュータ利用可能またはコンピュータ読み取り可能メモリに格納されることも可能であるので、そのコンピュータ利用可能またはコンピュータ読み取り可能メモリに格納されたインストラクションは、ブロック図の各ブロックまたはフローチャートの各ステップで説明された機能を遂行するインストラクション手段を内包する製造品目を生産することも可能である。コンピュータプログラムインストラクションは、コンピュータまたはその他のプログラム可能なデータプロセシング装備上に搭載されることも可能であるので、コンピュータまたはその他のプログラム可能なデータプロセシング装備上で一連の動作ステップが遂行されてコンピュータで実行されるプロセスを生成してコンピュータまたはその他のプログラム可能なデータプロセシング装備を遂行するインストラクションは、ブロック図の各ブロック及びフローチャートの各ステップで説明された機能を実行するためのステップを提供することも可能である。

【0112】

併せて、各ブロックまたは各ステップは、特定された論理的機能を実行するための一つ以上の実行可能なインストラクションを含むモジュール、セグメントまたはコードの一部を示すことができる。また、いくつかの代替実施例では、ブロックまたはステップで言及された機能が順序を外れて発生することも可能であることを注目すべきである。例えば、引き続き図示されている二つのブロックまたはステップは、実際、実質的に同時に遂行されることも可能であり、またはそのブロックまたはステップが時々該当する機能によって逆順に遂行されることも可能である。

【0113】

このように、本発明の属する技術の分野における当業者は、本発明がその技術的思想や必須特徴を変更することなく他の具体的な形態で実施され得るということが理解できるだろう。それゆえ、以上において記述した実施例は、全ての面で例示的なものであり、限定的ではないものとして理解すべきである。本発明の範囲は、詳細な説明よりは後述する特許請求の範囲により示され、特許請求の範囲の意味及び範囲、そしてその等価概念から導出される全ての変更または変形された形態が本発明の範囲に含まれるものと解釈されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】