特許 7362924 データ増強基盤空間分析モデル学習装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-06

(45)【発行日】2023-10-17

(54)【発明の名称】データ増強基盤空間分析モデル学習装置及び方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231010BHJP

   G06V 10/82 20220101ALI20231010BHJP

   G06V 20/70 20220101ALI20231010BHJP

   G06V 10/774 20220101ALI20231010BHJP

   G06N 20/00 20190101ALI20231010BHJP

   G06T 5/00 20060101ALI20231010BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

G06V20/70

G06V10/774

G06N20/00 130

G06T5/00

【請求項の数】 13

(21)【出願番号】P 2022531442

(86)(22)【出願日】2020-11-24

(65)【公表番号】

(43)【公表日】2023-03-03

(86)【国際出願番号】 KR2020016688

(87)【国際公開番号】W WO2022019389

(87)【国際公開日】2022-01-27

【審査請求日】2022-05-26

(31)【優先権主張番号】10-2020-0091753

(32)【優先日】2020-07-23

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】522209860

【氏名又は名称】株式会社アーバンベース

【氏名又は名称原語表記】ＵＲＢＡＮＢＡＳＥ ＩＮＣ．

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】ペク、ユナ

(72)【発明者】

【氏名】キム、スミン

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２０１８－１６９６７２（ＪＰ，Ａ）

【文献】特表２０１８－５２５７３４（ＪＰ，Ａ）

【文献】韓国公開特許第２０２０－００７８２１４（ＫＲ，Ａ）

【文献】米国特許出願公開第２０１７／０３００７８３（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０８５２０２７８（ＣＮ，Ａ）

【文献】米国特許第１０４８９６８３（ＵＳ，Ｂ１）

【文献】中国特許出願公開第１１０５１６７０３（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１６／０３５８０２４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００ － ３／１２

Ｇ０６Ｎ ７／０８ － ９９／００

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ３／００ － ３／６０

Ｇ０６Ｔ ５／００ － ５／５０

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

データ増強基盤空間分析モデル学習装置において、
所定の動作を遂行するようにする命令語を格納する一つ以上のメモリ；及び前記一つ以上のメモリと動作できるように連結されて前記命令語を実行するように設定された一つ以上のプロセッサを含み、
前記プロセッサが遂行する動作は、
複数の空間イメージを獲得して前記複数の空間イメージそれぞれに該当する空間情報を特定するクラスをラベリングするか、前記クラスがラベリングされた複数の空間イメージを獲得して学習データを生成する動作；
前記複数の空間イメージのうち第１空間イメージが含むピクセル情報の一部または全部を変更した第２空間イメージを生成して前記学習データを増強する動作；
前記第１空間イメージにラベリングされたクラスを前記第２空間イメージにラベリングする動作；及び
所定のイメージ分類アルゴリズム基盤に設計されたモデルに前記増強された学習データを入力し、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する前記モデルの重み付けを学習させることで、前記相関関係に基づいて空間イメージに対するクラスを判別するモデルを生成する動作を含み、
前記第２空間イメージを生成する動作は、
前記第１空間イメージが含むピクセルのうち第１ピクセルを真ん中に含むＮ×Ｎ（Ｎは、３以上の自然数）行列大きさに含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素値のうち最大元素値である

から前記複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素平均値である

を引いた値である

を求め、前記

の元素値のいずれか一つが既設定された値より小さい場合、前記第１ピクセルをブラー処理をする演算を遂行して前記第２空間イメージを生成する動作を含む、
データ増強基盤空間分析モデル学習装置。

【請求項2】

前記第２空間イメージを生成する動作は、
前記第１空間イメージに含まれたピクセル情報のＲＧＢ情報を構成する（ｘ、ｙ、ｚ）元素値に対して、所定の基準値より大きな値を有する元素値がさらに大きな値を有するように変更し、前記基準値より小さな値を有する元素値がさらに小さな元素値を有するように変更して前記第２空間イメージを生成する動作を含む、
請求項１に記載のデータ増強基盤空間分析モデル学習装置。

【請求項3】

前記第２空間イメージを生成する動作は、

【数1】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：定数、

：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
前記数１に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含む、
請求項２に記載のデータ増強基盤空間分析モデル学習装置。

【請求項4】

前記第２空間イメージを生成する動作は、

【数2】

（Ｒ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｘ、Ｇ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｙ、Ｂ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｚ、Ｙ：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
前記数２に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含む、
請求項１に記載のデータ増強基盤空間分析モデル学習装置。

【請求項5】

前記第２空間イメージを生成する動作は、

【数3】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：定数、

：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））

【数4】

（Ｒ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｘ’、Ｇ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｙ’、Ｂ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｚ’、Ｙ：ピクセル情報の変更後の元素値（ｘ’’、ｙ’’、ｚ’’））
前記数３及び４に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含む、
請求項１に記載のデータ増強基盤空間分析モデル学習装置。

【請求項6】

前記第２空間イメージを生成する動作は、
前記第１空間イメージに含まれたピクセル情報の一部にノイズ情報を追加して前記第２空間イメージを生成する動作を含む、
請求項１に記載のデータ増強基盤空間分析モデル学習装置。

【請求項7】

前記第２空間イメージを生成する動作は、

【数5】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
前記数５に基づいて前記第１空間イメージのピクセル情報にノイズ情報を付加して前記第２空間イメージを生成する動作を含む、
請求項６に記載のデータ増強基盤空間分析モデル学習装置。

【請求項8】

前記第２空間イメージを生成する動作は、
前記第１空間イメージが含む全てのピクセルの個数だけ、平均０及び標準偏差１００の標準ガウス正規分布に従う乱数情報を生成し、前記全てのピクセルのそれぞれに前記乱数情報それぞれを合算してノイズが挿入された前記第２空間イメージを生成する動作を含む、
請求項１に記載のデータ増強基盤空間分析モデル学習装置。

【請求項9】

前記モデルを生成する動作は、
ＲｅｓＮｅｔ（Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ
Ｒｅｃｏｇｎｉｔｉｏｎ）アルゴリズムに基づいて設計された神経網の入力レイヤに前記学習データに含まれた空間イメージが入力されるように設定し、出力レイヤに前記空間イメージそれぞれにラベリングされたクラスが入力されるように設定して、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する神経網の重み付けを学習させる動作を含む、
請求項１に記載のデータ増強基盤空間分析モデル学習装置。

【請求項10】

データ増強基盤空間分析モデル学習装置において、
所定の動作を遂行するようにする命令語を格納する一つ以上のメモリ；及び前記一つ以上のメモリと動作できるように連結されて前記命令語を実行するように設定された一つ以上のプロセッサを含み、
前記プロセッサが遂行する動作は、
複数の空間イメージを獲得して前記複数の空間イメージそれぞれに該当する空間情報を特定するクラスをラベリングするか、前記クラスがラベリングされた複数の空間イメージを獲得して学習データを生成する動作；
前記複数の空間イメージのうち第１空間イメージが含むピクセル情報の一部または全部を変更した第２空間イメージを生成して前記学習データを増強する動作；
前記第１空間イメージにラベリングされたクラスを前記第２空間イメージにラベリングする動作；及び
所定のイメージ分類アルゴリズム基盤に設計されたモデルに前記増強された学習データを入力し、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する前記モデルの重み付けを学習させることで、前記相関関係に基づいて空間イメージに対するクラスを判別するモデルを生成する動作を含み、
前記モデルを生成する動作は、
ＲｅｓＮｅｔ（Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ
Ｒｅｃｏｇｎｉｔｉｏｎ）アルゴリズムに基づいて設計された神経網の入力レイヤに前記学習データに含まれた空間イメージが入力されるように設定し、出力レイヤに前記空間イメージそれぞれにラベリングされたクラスが入力されるように設定して、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する神経網の重み付けを学習させる動作を含み、
前記ＲｅｓＮｅｔアルゴリズムに基づいて設計された神経網のハイパーパラメータのうちネットワーク階層数は、［１８、３４、５０、１０１、１５２、２００］のうち一つの値を有し、クラス個数は、居間／部屋／台所／浴室に分類される４つのクラスを含み、ミニバッチサイズは、［３２、６４、１２８、２５６］のうち一つの値を有し、学習回数は、１０～１５の値のうち一つを有し、学習率は、０．００５または０．０１に設定され、損失関数は、ＳＧＤまたはＡｄａｍに設定される、
データ増強基盤スタイル分析モデル学習装置。

【請求項11】

請求項１乃至１０のいずれか一項に記載の装置が生成したデータ増強基盤空間分析モデルを含む装置。

【請求項12】

データ増強基盤空間分析モデル学習装置が遂行する方法において、
複数の空間イメージを獲得して前記複数の空間イメージそれぞれに該当する空間情報を特定するクラスをラベリングするか、前記クラスがラベリングされた複数の空間イメージを獲得して学習データを生成するステップ；
前記複数の空間イメージのうち第１空間イメージが含むピクセル情報の一部または全部を変更した第２空間イメージを生成して前記学習データを増強するステップ；
前記第１空間イメージにラベリングされたクラスを前記第２空間イメージにラベリングするステップ；及び
所定のイメージ分類アルゴリズム基盤に設計されたモデルに前記増強された学習データを入力して、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する前記モデルの重み付けを学習させることで、前記相関関係に基づいて空間イメージに対するクラスを判別するモデルを生成するステップを含み、
前記第２空間イメージを生成して前記学習データを増強するステップは、
前記第１空間イメージが含むピクセルのうち第１ピクセルを真ん中に含むＮ×Ｎ（Ｎは、３以上の自然数）行列大きさに含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素値のうち最大元素値である

から前記複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素平均値である

を引いた値である

を求め、前記

の元素値のいずれか一つが既設定された値より小さい場合、前記第１ピクセルをブラー処理をする演算を遂行して前記第２空間イメージを生成するステップを含む、
データ増強基盤空間分析モデル学習方法。

【請求項13】

請求項１２に記載の方法をプロセッサが遂行するようにするコンピュータ読み取り可能
書き込み媒体に格納されたコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ増強基盤空間分析モデル学習装置及び方法に関する。

【背景技術】

【0002】

韓国インターネット振興院（ＫＩＳＡ）によれば、２０１９年に集計された韓国内オンラインショッピング市場の規模は約１３３兆ウォンであり、２０１８年の１１１兆ウォンに対比して約２０％の成長傾向を見せている。このようにオンラインショッピング市場の成長傾向が急激に増加するにつれ、オンラインショッピングプラットフォームに登録されるストア及び商品の数が飛躍的に増加しており、消費者がオフライン売場よりオンライン売場を通して物を購入する比率が大幅に上昇している。

【0003】

一方、オフラインショッピングの形態は、消費者が売場を選び売場内に備えられた商品を目で確認して気に入る商品を購入する形態であったら、オンラインショッピングの形態は、消費者が所望の商品のキーワードを通して商品を検索して購入する形態であって、商品が販売されるプラットフォームが変化するにつれて消費者が商品を探すようになる形態も変わっている。

【0004】

そのため、オンラインショッピングでは、商品ページに消費者のトラフィックを流入させ得るように商品と関連したキーワードをよく設定することが非常に重要になっている。ただし、韓国内の上位１０個のオンラインショッピングモールにアップロードされた商品の個数だけでも４億個を超える状況で商品毎にキーワードを一々設定することは難しい状況であるため、オンラインショッピングモールには、商品に対するイメージファイルだけで商品のキーワードを設定できる機能のソリューションが要求されている。

【0005】

このとき、商品のイメージを構成する要素は、大きく空間、事物、雰囲気、色彩に分けられる。購買者もまた商品を検索するとき、商品が使用される空間の用途、商品そのもの、空間の雰囲気、商品の色彩を重要な要素と見なすため、商品のイメージを構成する要素である空間、事物、雰囲気、色彩のいずれか一つのキーワードを組み合わせて検索するようになる。

【0006】

このように、商品のイメージから自動で空間、事物、雰囲気、色彩に対するキーワードを抽出できるソリューションが要求される状況で導入可能な代表的な技術としては、人工知能を利用したイメージ分類アルゴリズムがある。一方、商品のイメージから空間、事物、雰囲気、色彩を正確に分類するためには、データの品質、データの数量、ラベリング方法、学習の容易性等、考慮すべき要素が多い。これによって、多様な学習データを生成し、人工知能モデルの学習を容易にしながら正確な性能を有するモデルを生成させることのできる技術が必要な実情である。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の実施例において解決しようとする課題は、イメージから自動で該当イメージが示す空間のクラスを分類できるモデルを生成する技術を提供しようとする。

【0008】

このとき、本発明の実施例が使用する技術であるイメージ分類人工知能アルゴリズムは、学習に使用する学習データの量と質によってモデルの性能に大きな差が発生し得る。特に、人工知能モデルが学習する場合、限定された学習データだけで優れた性能を有するモデルを作るためには、モデルが実際に使用される多様な環境や多様な状況の変数を含む学習データを通してモデルを学習させることが重要である。本発明は、空間イメージを分類するモデルを生成するにあたって、モデルが実際に使用される多様な環境や状況の変数を含む学習データを生成するデータ増強技術を提示する。

【0009】

ただし、本発明の実施例が解決しようとする技術的課題は、以上において言及した課題に制限されず、以下において説明する内容から通常の技術者に自明な範囲内で多様な技術的課題が導出され得る。

【課題を解決するための手段】

【0010】

本発明の一実施例に係るデータ増強基盤空間分析モデル学習装置は、所定の動作を遂行するようにする命令語を格納する一つ以上のメモリ及び前記一つ以上のメモリと動作できるように連結されて前記命令語を実行するように設定された一つ以上のプロセッサを含み、前記プロセッサが遂行する動作は、複数の空間イメージを獲得して前記複数の空間イメージそれぞれに該当する空間情報を特定するクラスをラベリングするか、前記クラスがラベリングされた複数の空間イメージを獲得して学習データを生成する動作、前記複数の空間イメージのうち第１空間イメージが含むピクセル情報の一部または全部を変更した第２空間イメージを生成して前記学習データを増強させる動作、前記第１空間イメージにラベリングされたクラスを前記第２空間イメージにラベリングする動作、及び所定のイメージ分類アルゴリズム基盤に設計されたモデルに前記増強された学習データを入力し、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する前記モデルの重み付けを学習させることで、前記相関関係に基づいて空間イメージに対するクラスを判別するモデルを生成する動作を含むことができる。

【0011】

また、前記第２空間イメージを生成する動作は、前記第１空間イメージに含まれたピクセル情報のＲＧＢ情報を構成する（ｘ、ｙ、ｚ）元素値に対して、所定の基準値より大きな値を有する元素値がさらに大きな値を有するように変更し、前記基準値より小さな値を有する元素値がさらに小さな元素値を有するように変更して前記第２空間イメージを生成する動作を含むことができる。

【0012】

また、前記第２空間イメージを生成する動作は、

【数1】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：定数、

：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））前記数１に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含むことができる。

【0013】

また、前記第２空間イメージを生成する動作は、

【数2】

（Ｒ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｘ、Ｇ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｙ、Ｂ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｚ、Ｙ：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））前記数２に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含むことができる。

【0014】

また、前記第２空間イメージを生成する動作は、

【数3】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：定数、

：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））

【数4】

（Ｒ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｘ’、Ｇ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｙ’、Ｂ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｚ’、Ｙ：ピクセル情報の変更後の元素値（ｘ’’、ｙ’’、ｚ’’））前記数３及び４に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含むことができる。

【0015】

また、前記第２空間イメージを生成する動作は、前記第１空間イメージに含まれたピクセル情報の一部にノイズ情報を追加して前記第２空間イメージを生成する動作を含むことができる。

【0016】

また、前記第２空間イメージを生成する動作は、

【数5】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））前記数５に基づいて前記第１空間イメージのピクセル情報にノイズ情報を付加して前記第２空間イメージを生成する動作を含むことができる。

【0017】

また、前記第２空間イメージを生成する動作は、前記第１空間イメージが含むピクセルのうち第１ピクセルを真ん中に含むＮ×Ｎ（Ｎは、３以上の自然数）行列大きさに含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素値のうち最大元素値である

から前記複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素平均値である

を引いた値である

を求め、前記

の元素値のいずれか一つが既設定された値より小さい場合、前記第１ピクセルをブラー処理をする演算を遂行して前記第２空間イメージを生成する動作を含むことができる。

【0018】

また、前記第２空間イメージを生成する動作は、前記第１空間イメージが含む全てのピクセルの個数だけ、平均０及び標準偏差１００の標準ガウス正規分布に従う乱数情報を生成し、前記全てのピクセルのそれぞれに前記乱数情報それぞれを合算してノイズが挿入された前記第２空間イメージを生成する動作を含むことができる。

【0019】

また、前記モデルを生成する動作は、ＲｅｓＮｅｔ（Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ）アルゴリズムに基づいて設計された神経網の入力レイヤに前記学習データに含まれた空間イメージが入力されるように設定し、出力レイヤに前記空間イメージそれぞれにラベリングされたクラスが入力されるように設定して、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する神経網の重み付けを学習させる動作を含むことができる。

【0020】

また、前記ＲｅｓＮｅｔアルゴリズムに基づいて設計された神経網のハイパーパラメータのうちネットワーク階層数は、［１８、３４、５０、１０１、１５２、２００］のうち一つの値を有し、クラス個数は、居間／部屋／台所／浴室に分類される４つのクラスを含み、ミニバッチサイズは、［３２、６４、１２８、２５６］のうち一つの値を有し、学習回数は、１０～１５の値のうち一つを有し、学習率は、０．００５または０．０１に設定され、損失関数は、ＳＧＤまたはＡｄａｍに設定され得る。

【0021】

本発明の一実施例に係るデータ増強基盤空間分析モデル学習方法は、複数の空間イメージを獲得して前記複数の空間イメージそれぞれに該当する空間情報を特定するクラスをラベリングするか、前記クラスがラベリングされた複数の空間イメージを獲得して学習データを生成するステップ、前記複数の空間イメージのうち第１空間イメージが含むピクセル情報の一部または全部を変更した第２空間イメージを生成して前記学習データを増強するステップ、前記第１空間イメージにラベリングされたクラスを前記第２空間イメージにラベリングするステップ、及び所定のイメージ分類アルゴリズム基盤に設計されたモデルに前記増強された学習データを入力して、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する前記モデルの重み付けを学習させることで、前記相関関係に基づいて空間イメージに対するクラスを判別するモデルを生成するステップを含むことができる。

【発明の効果】

【0022】

本発明の実施例によれば、同じ空間を撮影しても撮影するカメラの特性、撮影時間、撮影する人の習慣等、実際の多様な環境や状況により、同じ空間を撮影しても生成されるイメージが変わり得るという変数を学習できるように、原本学習データを変形させて多様な学習データを確保するデータ増強技術を通して学習データの数量を増加させながらも高品質の学習データを確保し、増強された学習データに対するラベリングを自動化して学習が容易でありながら性能が向上したイメージ分類モデルを提供できる。

【0023】

このようなイメージ分類モデルを使用して、オンラインショッピングモールは、商品のイメージだけで商品と関連したキーワードを使用することで商品ページに消費者のトラフィックを効果的に流入させることができ、消費者もまた自身が所望するイメージを利用して自身に必要なキーワードを探して検索に利用できる。

【0024】

この他に、本文書を通して直接的または間接的に把握される多様な効果が提供され得る。

【図面の簡単な説明】

【0025】

【図1】本発明の一実施例に係るデータ増強基盤空間分析モデル学習装置が生成したモデルを利用してイメージが示す空間に対するクラスを分類する機能を示した図である。

【図2】本発明の一実施例に係るデータ増強基盤空間分析モデル学習装置の機能ブロック図である。

【図3】第１空間イメージに含まれたピクセル情報を変更してデータを増強する実施例によって生成された第２空間イメージの例示図である。

【図4】第１空間イメージに含まれたピクセル情報にグレースケールを適用してデータを増強する実施例によって生成された第２空間イメージの例示図である。

【図5】第１空間イメージに含まれた事物の枠領域を区分し、枠でない領域にブラーを適用して第２空間イメージを生成する方法を説明するための例示図である。

【図6】第１空間イメージにガウス正規分布によるノイズ情報を追加してデータを増強する実施例によって生成された第２空間イメージの例示図である。

【図7】本発明の一実施例に係るデータ増強基盤空間分析モデル学習方法のフローチャートである。

【発明を実施するための形態】

【0026】

本発明の利点及び特徴、そして、それらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すると、明確になるだろう。しかし、本発明は、以下において開示される実施例に限定されるものではなく、多様な形態に具現され得、単に、本実施例は、本発明の開示が完全なものとなるようにし、本発明の属する技術の分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明の範疇は、請求項により定義されるだけである。

【0027】

本発明の実施例を説明するにあたって、公知機能または構成についての具体的な説明は、実際に必要な場合の他には省略される。そして、後述の用語は、本発明の実施例での機能を考慮して定義された用語であって、これは、ユーザ、運用者の意図または慣例等によって変わり得る。それゆえ、その定義は、本明細書全般にわたった内容に基づいて下されるべきである。

【0028】

図面に表示され、下記に説明される機能ブロックは、可能な具現の例であるだけである。他の具現では、詳細な説明の思想及び範囲を外れない範囲で他の機能ブロックが使用され得る。また、本発明の一つ以上の機能ブロックが個別ブロックで表示されるが、本発明の機能ブロックのうち一つ以上は、同じ機能を実行する多様なハードウェア及びソフトウェア構成の組み合わせであってよい。

【0029】

また、ある構成要素を含むという表現は、開放型の表現であって、該当構成要素が存在することを単に指すだけであり、さらなる構成要素を排除するものと理解されてはならない。

【0030】

さらに、ある構成要素が他の構成要素に連結されているとか接続されていると言及される時には、その他の構成要素に直接的に連結または接続されていてもよいが、中間に他の構成要素が存在してもよいと理解されるべきである。

【0031】

また、「第１、第２」等のような表現は、複数の構成を区分するための用途にだけ使用された表現であって、構成の間の順序やその他の特徴を限定しない。

【0032】

以下においては、図面を参照して本発明の実施例について説明する。

【0033】

図１は、本発明の一実施例に係るデータ増強基盤空間分析モデル学習装置１００が生成した人工知能モデルを利用してイメージが示す空間に対するクラスを分類する機能を示した図である。

【0034】

図１を参照すると、本発明の一実施例に係るデータ増強基盤空間分析モデル学習装置１００は、図１に示されたインターフェースの上段メニューの空間分類、事物検出、スタイル分析、商品推薦機能のうち空間分類機能を提供できる。データ増強基盤空間分析モデル学習装置１００は、図１のインターフェースに使用される人工知能モデルを生成する。人工知能モデルは、図１の左側下段に入力される空間イメージを分析して、空間イメージがどのような名称、用途、または特性を有するのかクラスを判別（ｅｘ．ｌｉｖｉｎｇ ｒｏｏｍ：９９％）できる。このような実施例を具現するためにデータ増強基盤空間分析モデル学習装置１００が有する構成を図２と共に説明する。

【0035】

図２は、本発明の一実施例に係るデータ増強基盤空間分析モデル学習装置１００の機能ブロック図である。

【0036】

図２を参照すると、一実施例に係るデータ増強基盤空間分析モデル学習装置１００は、メモリ１１０、プロセッサ１２０、入力インターフェース１３０、ディスプレイ部１４０及び通信インターフェース１５０を含むことができる。

【0037】

メモリ１１０は、学習データＤＢ１１１、神経網モデル１１３、及び命令語ＤＢ１１５を含むことができる。

【0038】

学習データＤＢ１１１は、室内空間、外部空間等、特定の空間を撮影した空間イメージファイルを含むことができる。空間イメージは、外部サーバ、外部ＤＢを通して獲得するかインターネット上の空間イメージを獲得できる。このとき、空間イメージは、多数のピクセル（ｅｘ．横Ｍ個、縦Ｎ個の行列形態に構成されたＭ×Ｎ個のピクセル）で構成され得、それぞれのピクセルは、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の固有色相を示すＲＧＢ元素値（ｘ、ｙ、ｚ）で構成されたピクセル情報を含むことができる。

【0039】

神経網モデル１１３は、入力された空間イメージを分析して、空間イメージがどのような名称、用途、特徴で使用される空間に該当するかを特定するクラスを判別するイメージ分類人工知能アルゴリズム基盤に学習された人工知能モデルであってよい。人工知能モデルは、後述するプロセッサ１２０の動作により生成されてメモリ１１０に格納され得る。

【0040】

命令語ＤＢ１１５は、プロセッサ１２０の動作を遂行させることのできる命令語を格納することができる。例えば、命令語ＤＢ１１５は、後述するプロセッサ１２０の動作と対応する動作を遂行するようにするコンピュータコードを格納することができる。

【0041】

プロセッサ１２０は、データ増強基盤空間分析モデル学習装置１００が含む構成、メモリ１１０、入力インターフェース１３０、ディスプレイ部１４０及び通信インターフェース１５０の全般的な動作を制御できる。プロセッサ１２０は、ラベリングモジュール１２１、増強モジュール１２３、学習モジュール１２５及び制御モジュール１２７を含むことができる。プロセッサ１２０は、メモリ１１０に格納された命令語を実行してラベリングモジュール１２１、増強モジュール１２３、学習モジュール１２５及び制御モジュール１２７を駆動させることができ、ラベリングモジュール１２１、増強モジュール１２３、学習モジュール１２５及び制御モジュール１２７により遂行される動作は、プロセッサ１２０により遂行される動作と理解され得る。

【0042】

ラベリングモジュール１２１は、複数の空間イメージそれぞれのイメージに含まれた空間情報（ｅｘ．空間の名称、空間の用途、空間の特性等）を特定するクラスをラベリング（マッピング）して人工知能モデルの学習に使用される学習データを生成し、学習データＤＢ１１１に格納することができる。ラベリングモジュール１２１は、外部サーバ、外部ＤＢを通して空間イメージを獲得するかインターネット上の空間イメージを獲得できる。空間イメージには、該当イメージの空間情報を特定するクラス（ｅｘ．部屋、浴室、台所、居間等）が既ラベリングされていてよい。

【0043】

増強モジュール１２３は、学習データＤＢ１１１に格納された空間イメージ（増強モジュールが変形を加えていない空間イメージを、以下、「第１空間イメージ」と称する）が含むピクセル情報の一部または全部を変更した空間イメージ（増強モジュールが変形を加えた空間イメージを、以下、「第２空間イメージ」と称する）を生成して学習データを増強させ、第２空間イメージを学習データＤＢ１１１に追加して格納することができる。

【0044】

本発明の実施例に係るデータ増強基盤空間分析モデル学習装置１００が学習させるモデルは、空間イメージのクラスを分類する機能を有する。このとき、空間イメージは、同じ空間が撮影されるものであっても撮影に使用されるカメラの特性、撮影が行われる時間、撮影する人の習慣等、実際の空間イメージが生成される多様な環境や状況により、同じ空間を撮影する場合であっても多様な変数によりイメージファイルに含まれる情報が変わり得る。従って、人工知能モデルの性能向上のためには、学習に使用されるデータの量と質が重要である。特に、撮影に使用されるカメラの特性、撮影時間、撮影する人の習慣によって発生し得る変数を学習できるように、増強モジュール１２３は、一つの空間イメージに対して実際に発生し得る変数を反映する図３乃至図６のデータ増強アルゴリズムを通して学習データの数量を増加させることができる。このとき、ラベリングモジュール１２１は新たに生成され、ラベリングが遂行される前の第２空間イメージに対して、第１空間イメージにラベリングされたクラスを第２空間イメージにラベリングするようにして、増強された学習データに対するラベリング過程を自動化することでラベリング時間を短縮することができる。

【0045】

学習モジュール１２５は、イメージ分類アルゴリズム基盤に設計されたモデルに増強された学習データを入力して、学習データに含まれた空間イメージと空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する重み付けを学習させることで、重み付けの相関関係に基づいて新たに入力される空間イメージに対するクラスを判別する人工知能モデルを生成できる。例えば、学習モジュール１２５は、イメージ分類アルゴリズムのうちＲｅｓＮｅｔ（Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ）アルゴリズムに基づいて設計された神経網の入力レイヤに学習データに含まれた空間イメージが入力されるように設定し、出力レイヤに空間イメージそれぞれにラベリングされたクラスが入力されるように設定して、学習データに含まれた空間イメージと空間イメージそれぞれにラベリングされたクラスとの相関関係を導出するように神経網の重み付けを学習させて神経網を生成できる。

【0046】

制御モジュール１２７は、学習が完了した人工知能モデルに空間イメージを入力して、入力された空間イメージに対して人工知能モデルが判別したクラスを該当空間イメージのキーワードに導出することができる。これによって、制御モジュール１２７は、空間イメージを含む商品ページに該当キーワード情報を使用できるようにオンラインショッピングモールサーバの商品ＤＢにキーワードを格納することができる。

【0047】

入力インターフェース１３０は、ユーザの入力を受信することができる。例えば、学習データに対するクラスをラベリングする場合、ユーザの入力を受信することができる。

【0048】

ディスプレイ部１４０は、ディスプレイパネルを含んで画像を出力するハードウェア構成を含むことができる。

【0049】

通信インターフェース１５０は、外部装置（ｅｘ．オンラインショッピングモールサーバ、ユーザ端末等）と通信して情報を送受信できるようにする。このために、通信インターフェース１５０は、無線通信モジュールまたは有線通信モジュールを含むことができる。

【0050】

以下、データ増強基盤空間分析モデル学習装置１００を構成する各構成が具現する多様な実施例を図３乃至図６と共に説明する。

【0051】

図３は、第１空間イメージに含まれたピクセル情報を変更してデータを増強する実施例によって生成された第２空間イメージの例示図である。

【0052】

増強モジュール１２３は、第１空間イメージのピクセルの中で明るい部分をさらに明るくし、暗い部分をさらに暗くして対比を増加させるように変形するか、または第１空間イメージのピクセルの中で明るい部分をあまり明るくなくし、暗い部分をあまり暗くなくして対比を減少させるように変形して、カメラの性能や機種によって一つの空間に対するイメージが異に生成され得る変数まで学習されるようにする第２空間イメージを生成できる。

【0053】

このために、増強モジュール１２３は、第１空間イメージに含まれたピクセル情報のＲＧＢ情報を構成する（ｘ、ｙ、ｚ）元素値に対して、所定の基準値より大きな値を有する元素値がさらに大きな値を有するように変更し、基準値より小さな値を有する元素値がさらに小さな元素値を有するように変更して第２空間イメージを生成できる。

【0054】

例えば、増強モジュール１２３は、第１空間イメージが有する全てのピクセルが有するピクセル情報に対して、下記数１を適用してピクセル情報が変更された第２空間イメージを生成できる。
（数１）

【数6】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：定数、

：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））

【0055】

数１によれば、

が１より大きな値を有するように設定する場合、第１空間イメージのピクセルの中で明るい部分をさらに明るくし、暗い部分をさらに暗くして対比を増加させることができ、

が０より大きく１より小さな値を有するように設定する場合、第１空間イメージのピクセルの中で明るい部分をあまり明るくなくし、暗い部分をあまり暗くなくして対比を減少させることができる。

【0056】

また、Ｒ、Ｇ、Ｂの元素値は、一般に０から２５５の間の値を有するため、

により出力される元素値が２５５より過度に大きくならないように

を設定でき、

関数を使用して最大値が２５５より大きくならないように設定できる。

【0057】

また、Ｒ、Ｇ、Ｂの元素値は、一般に０から２５５の間の値を有するため、

関数を使用して

により出力される元素値が０より小さくならないように

関数を使用してすることができる。

【0058】

加えて、

が小数点を有する値に設定される場合、変更されたピクセル情報の元素値が整数になるように

関数を使用することができる。

【0059】

図３Ａを参照すると、左側は、第１空間イメージであり、右側は、

を設定して数１を適用した場合の第２空間イメージである。図３Ａの右側第２空間イメージは、第１空間イメージに比して、明るい部分がさらに明るく変わり、暗い部分がさらに暗く変わって対比が増加した新たな学習データが生成されることを確認することができる。

【0060】

図３Ｂを参照すると、左側は、第１空間イメージであり、右側は、

を設定して数１を適用した場合の第２空間イメージである。図３Ｂの右側第２空間イメージは、第１空間イメージに比して、明るい部分があまり明るくなく変わり、暗い部分があまり暗くなく変わって対比が減少した新たな学習データが生成されることを確認することができる。

【0061】

図３Ｃを参照すると、左側は、一つの色（Ｒ、Ｇ、Ｂ）＝（１８３、１９１、１９４）に統一された第１空間イメージであり、右側は、

を設定して数１を適用した場合の第２空間イメージである。図３Ｃを通して一つのピクセル情報が数１によって変わる程度を確認することができる。

【0062】

図４（ａ）は、第１空間イメージに含まれたピクセル情報にグレースケールを適用してデータを増強する実施例によって生成された第２空間イメージの例示図である。

【0063】

空間イメージに対するクラス判別は、事物の配置や、事物のパターンに大きな影響を受けるため、増強モジュール１２３は、色相を単調に変換させた後、事物の配置と事物のパターンがよりよく学習されるように変数を反映した学習データを生成できる。

【0064】

このために、増強モジュール１２３は、図４（ａ）の左側イメージのように、第１空間イメージが有する全てのピクセルが有するピクセル情報に対して、下記数２を適用してピクセル情報が単調な色相を有しながら配置とパターンが現れる第２空間イメージを生成できる。
（数２）

【数7】

（Ｒ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｘ、Ｇ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｙ、Ｂ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｚ、Ｙ：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））

【0065】

加えて、増強モジュール１２３は、図４（ａ）の右側イメージのように、下記数３を通して第１空間イメージの対比を増加させた後に導出された元素値に、下記数４を適用して、第１空間イメージに含まれた事物の配置とパターンがより克明に現れる第２空間イメージを生成できる。
（数３）

【数8】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：定数、

：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
（数４）

【数9】

（Ｒ：数３で求められたｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｘ’、Ｇ：数３で求められたｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｙ’、Ｂ：数３で求められたｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｚ’、Ｙ：ピクセル情報の変更後の元素値（ｘ’’、ｙ’’、ｚ’’）

【0066】

図４（ｂ）は、第１空間イメージに含まれたピクセル情報の一部にノイズを追加してデータを増強する実施例によって生成された第２空間イメージの例示図である。

【0067】

増強モジュール１２３は、カメラを拡大して撮影する場合、イメージにノイズが発生する場合を学習するための学習データを生成できる。このために、増強モジュール１２３は、第１空間イメージに含まれたピクセル情報の一部にノイズ情報を追加して第２空間イメージを生成できる。例えば、増強モジュール１２３は、乱数発生アルゴリズムを通して任意の座標情報を生成して、第１空間イメージに含まれたピクセルのうち一部の座標を選択し、選択された座標のピクセルが有する元素値に対して下記数５を利用して、ピクセル情報に乱数発生アルゴリズムを利用して算出される乱数を付加してノイズ情報が追加された第２空間イメージを生成できる。
（数５）

【数10】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））

【0068】

図４（ｂ）を参照すると、左側は、第１空間イメージであり、右側は、数５を適用してノイズを追加した場合の第２空間イメージを確認することができる。

【0069】

図５は、第１空間イメージに含まれた事物の枠領域を区分し、枠でない領域にブラーを適用して第２空間イメージを生成する方法を説明するための例示図である。

【0070】

増強モジュール１２３は、カメラの焦点がよく合わない状態で撮影されたイメージを学習するように次の実施例を通して事物の縁が潰れたような第２空間イメージを生成できる。

【0071】

図５Ａは、説明の便宜のために、横５個×縦５個の行列形態の２５個のピクセルを含む第１空間イメージを仮定して各ピクセル領域を区分した例示である。このとき、各ピクセルは、Ｒ、Ｇ、Ｂの元素値を有するが、Ｒ（Ｒｅｄ）の元素値を基準に実施例を説明する。図５Ａの各ピクセル領域に示された数字は、Ｒの元素値を意味する。

【0072】

図５Ａの場合、全てのピクセルに後述する方式の演算が遂行されるが、説明の便宜のために、真ん中のピクセルを基準に演算を説明する。図５Ａの場合、増強モジュール１２３は、演算が遂行されるピクセルを中央とするＮ×Ｎ領域（図５ＡでＮは３を仮定）に含まれたピクセルのうちＲ元素値の最大値（Ｒ＿ｍａｘ＝１３０）とＲ元素値の平均値（Ｒ＿ａｖｇ＝１２０）の差（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ＝１０）を計算して、導出される値が既設定された値ｎより小さい場合のピクセル（事物の内側領域に存在するピクセルと判別）と既設定された値ｎより大きい場合のピクセル（事物の枠領域に存在するピクセルと判別）を区分して、図５Ｂの右側のように第１空間イメージに含まれた事物の枠を判別できる。ここで、増強モジュール１２３は、枠領域を除く領域のピクセルに対してのみガウスブラーアルゴリズムを適用して図５Ｃの右側イメージのようなイメージを生成できる。一方、演算が遂行されるピクセルを基準にするＮ×Ｎ領域にピクセルが存在しない領域（ｅｘ．イメージの縁側）が存在するならば、該当ピクセルに対しては上述した演算を省略し、ブラー処理をすることができる。

【0073】

このように、増強モジュール１２３は、第１空間イメージが含む全てのピクセルそれぞれに対して上の演算を遂行することができる。演算が遂行されるピクセルの場合、該当ピクセルを中央に含むＮ×Ｎ（Ｎは、３以上の奇数）行列大きさに含まれる複数のピクセルをカーネル領域に選択し、カーネル領域に含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素値のうち最大元素値である（Ｒ＿ｍａｘ、Ｇ＿ｍａｘ、Ｂ＿ｍａｘ）から、カーネル領域に含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素平均値である（Ｒ＿ａｖｇ、Ｇ＿ａｖｇ、Ｂ＿ａｖｇ）を引いた値である（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ、Ｇ＿ｍａｘ－Ｇ＿ａｖｇ、Ｂ＿ｍａｘ－Ｂ＿ａｖｇ）を求め、（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ、Ｇ＿ｍａｘ－Ｇ＿ａｖｇ、Ｂ＿ｍａｘ－Ｂ＿ａｖｇ）のうち少なくともいずれか一つの元素値が既設定された値ｎより小さければ、該当ピクセルにガウスブラーアルゴリズムを適用して第２空間イメージを生成できる。

【0074】

このような演算を第１空間イメージに含まれた全てのピクセルに対して遂行すれば、色相差が大きく開く枠領域のピクセルだけがピクセル情報をそのまま有し、色相差のない領域のピクセルはブラー処理されて、カメラの焦点がよく合わない状態で撮影されたイメージを学習できる第２空間イメージを生成できる。このとき、ブラー処理は、ガウスブラーアルゴリズムを適用できるが、これに限定されず、多様なブラーフィルタを使用することができる。

【0075】

図５Ｂを参照すると、左側は、第１空間イメージであり、右側は、図５を通して説明した実施例で既設定された値ｎより大きい場合とｎより小さい場合のピクセルを区分して生成されたイメージである。図５Ｂの右側イメージもまた事物の枠を克明に示すため、事物の配置とパターンを明確に認識させるための目的で学習データに追加して使用することができる。

【0076】

図５Ｃを参照すると、左側は、第１空間イメージであり、右側は、上述した図５の実施例でＮ＝７、ｎ＝２０を適用した実施例であり、枠以外の領域がブラー処理された第２空間イメージを確認することができる。

【0077】

加えて、図５を通して説明した実施例で既設定された値ｎより大きい場合のピクセルをブラー処理して上述した実施例と反対の効果を発生させた第２空間イメージを学習データＤＢ１１１に追加することもできる。

【0078】

図６は、第１空間イメージにガウス正規分布によるノイズ情報を追加してデータを増強する実施例によって生成された第２空間イメージの例示図である。

【0079】

増強モジュール１２３は、イメージの特定部分に焦点が合わない場合を学習するための学習データを生成できる。このために、増強モジュール１２３は、第１空間イメージが含む全てのピクセルの個数だけ、平均０及び標準偏差１００の標準ガウス正規分布に従う乱数情報を生成し、全てのピクセルのそれぞれに乱数情報それぞれを合算してノイズ情報が挿入された第２空間イメージを生成できる。

【0080】

ラベリングモジュール１２１は、図３乃至図６を通して生成された第２空間データに対して、変形前の原本である第１空間イメージにラベリングされたクラスを、変形後の第２空間イメージに同一にラベリングして、増強された学習データに対するラベリング過程を自動化してラベリング時間を短縮することができる。

【0081】

以後、学習モジュール１２５は、イメージ分類アルゴリズム基盤に設計されたモデルに原本学習データ（第１空間イメージ）と図３乃至図６の実施例を通して増強された学習データ（第２空間イメージ）を入力して、学習データに含まれた空間イメージと空間イメージそれぞれにラベリングされたクラスとの相関関係を導出するモデルの重み付けを学習させることで、相関関係に基づいて空間イメージに対するクラスを判別するモデルを生成できる。

【0082】

このようなイメージ分類アルゴリズムは、人工知能の分野で扱う多様な問題を定義し、それを解決するマシンラーニングアルゴリズムを含む。本発明の実施例は、ＲｅｓＮｅｔ、ＬｅＮｅｔ－５、ＡｌｅｘＮｅｔ、ＶＧＧ－Ｆ、ＶＧＧ－Ｍ、ＶＧＧ－Ｓ、ＶＧＧ－１６、ＶＧＧ－１９、ＧｏｏｇＬｅＮｅｔ（ｉｎｃｅｐｔｉｏｎ ｖ１）、ＳＥＮｅｔのアルゴリズムによって設計された人工知能モデルを通して学習を進行できる。

【0083】

人工知能モデルは、シナプスの結合でネットワークを形成したノードで構成される、問題解決能力を備えるモデル全般を意味し得る。人工知能モデルは、モデルを構成するレイヤの間の重み付けである、モデルパラメータを更新する学習過程、出力値を生成する活性化関数（Ａｃｔｉｖａｔｉｏｎ Ｆｕｎｃｔｉｏｎ）により定義され得る。

【0084】

モデルパラメータは、学習を通して決定されるパラメータを意味し、レイヤ連結の重み付けとニューロンの偏向等が含まれる。そして、ハイパーパラメータは、マシンラーニングアルゴリズムで学習の前に設定されるべきパラメータを意味し、ネットワーク階層数（ｎｕｍ＿ｌａｙｅｒ）、学習データ個数（ｎｕｍ＿ｔｒａｉｎｉｎｇ＿ｓａｍｐｌｅｓ）、クラス個数（ｎｕｍ＿ｃｌａｓｓｅｓ）、学習率（Ｌｅａｒｎｉｎｇ Ｒａｔｅ）、学習回数（ｅｐｏｃｈｓ）、ミニバッチサイズ（ｍｉｎｉ＿ｂａｔｃｈ＿ｓｉｚｅ）、損失関数（ｏｐｔｉｍｉｚｅｒ）等が含まれる。

【0085】

本発明の一実施例に係る人工知能モデルのハイパーパラメータは、下記のような設定値を有し得る。例えば、ネットワーク階層数は、イメージの大きさが大きな学習データである場合、［１８、３４、５０、１０１、１５２、２００］の間から選択され得る。このとき、ネットワーク階層数は、学習時間を考慮して初期値１８で学習されて所定個数の学習データが学習された以後には３４に変更され得、これによって正確度が向上し得る。学習データ個数は、全体イメージデータから評価データの個数を引いた値であり、計７９，７５６枚の中で６３，８０６枚が学習データに使用され得、残りの１６，６２５枚は評価データに使用され得る。クラス個数は、居間／部屋／台所／浴室に分類される４つのクラスを含むことができる。ミニバッチサイズは、大きさ値によってコンバージェンス速度及び最終ｌｏｓｓ値に差があるので、［３２、６４、１２８、２５６］等の大きさをそれぞれ試みて適切な値を選択でき、好ましく１２８または２５６の大きさが設定され得る。学習回数は、１０～１５のいずれか一つの値に設定され得る。学習率は、０．００５または０．０１に設定され得る。損失関数（目的関数）は、基本値であるＳＧＤに設定され得、またはイメージ分類に適したＡｄａｍに設定され得る。ただし、上述した設定値は一例示であるだけで、実施例が前記数値に限定されるものではない。

【0086】

人工知能モデルの学習目的は、損失関数を最小化するモデルパラメータを決定することと見られる。損失関数は、人工知能モデルの学習過程で最適なモデルパラメータを決定するための指標に利用され得る。

【0087】

図７は、本発明の一実施例に係るデータ増強基盤空間分析モデル学習方法のフローチャートである。図７によるデータ増強基盤空間分析モデル学習方法の各ステップは、図２を通して説明されたデータ増強基盤空間分析モデル学習装置１００により遂行され得、各ステップを説明すると、次のとおりである。

【0088】

まず、ラベリングモジュール１２１は、複数の空間イメージを獲得して複数の空間イメージそれぞれに該当する空間情報を特定するクラスをラベリングするか、クラスがラベリングされた複数の空間イメージを獲得して学習データを生成する（Ｓ７１０）。以後、増強モジュール１２３は、複数の空間イメージのうち第１空間イメージが含むピクセル情報の一部または全部を変更した第２空間イメージを生成して学習データを増強させる（Ｓ７２０）。次に、ラベリングモジュール１２１は、第１空間イメージにラベリングされたクラスを第２空間イメージにラベリングする（Ｓ７３０）。これによって、学習モジュール１２５は、所定のイメージ分類アルゴリズム基盤に設計されたモデルに増強された学習データを入力して、学習データに含まれた空間イメージと空間イメージそれぞれにラベリングされたクラスとの相関関係を導出するモデルの重み付けを学習させることで、相関関係に基づいて空間イメージに対するクラスを判別するモデルを生成できる（Ｓ７４０）。

【0089】

一方、上述した各ステップの主体である構成要素が該当ステップを実施するための過程は、図２乃至図６と共に説明したので、重複した説明は省略する。

【0090】

上述した本発明の実施例は、多様な手段を通して具現され得る。例えば、本発明の実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェアまたはそれらの結合等により具現され得る。

【0091】

ハードウェアによる具現の場合、本発明の実施例に係る方法は、一つまたはそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ等により具現され得る。

【0092】

ファームウェアやソフトウェアによる具現の場合、本発明の実施例に係る方法は、以上において説明された機能または動作を遂行するモジュール、手順または関数等の形態に具現され得る。ソフトウェアコード等が書き込まれたコンピュータプログラムは、コンピュータ読み取り可能書き込み媒体またはメモリユニットに格納されてプロセッサにより駆動され得る。メモリユニットは、プロセッサの内部または外部に位置して、既に公知になった多様な手段によりプロセッサとデータを受け渡しすることができる。

【0093】

また、本発明に添付のブロック図の各ブロックとフローチャートの各ステップの組み合わせは、コンピュータプログラムインストラクションにより遂行されてもよい。これらのコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータまたはその他のプログラム可能なデータプロセシング装備のエンコーディングプロセッサに搭載され得るので、コンピュータまたはその他のプログラム可能なデータプロセシング装備のエンコーディングプロセッサを通して遂行されるそのインストラクションがブロック図の各ブロックまたはフローチャートの各ステップで説明された機能を遂行する手段を生成するようになる。これらのコンピュータプログラムインストラクションは、特定方法で機能を具現するためにコンピュータまたはその他のプログラム可能なデータプロセシング装備を目指すことのできるコンピュータ利用可能またはコンピュータ読み取り可能メモリに格納されることも可能であるので、そのコンピュータ利用可能またはコンピュータ読み取り可能メモリに格納されたインストラクションは、ブロック図の各ブロックまたはフローチャートの各ステップで説明された機能を遂行するインストラクション手段を内包する製造品目を生産することも可能である。コンピュータプログラムインストラクションは、コンピュータまたはその他のプログラム可能なデータプロセシング装備上に搭載されることも可能であるので、コンピュータまたはその他のプログラム可能なデータプロセシング装備上で一連の動作ステップが遂行されてコンピュータで実行されるプロセスを生成してコンピュータまたはその他のプログラム可能なデータプロセシング装備を遂行するインストラクションは、ブロック図の各ブロック及びフローチャートの各ステップで説明された機能を実行するためのステップを提供することも可能である。

【0094】

併せて、各ブロックまたは各ステップは、特定された論理的機能を実行するための一つ以上の実行可能なインストラクションを含むモジュール、セグメントまたはコードの一部を示すことができる。また、いくつかの代替実施例では、ブロックまたはステップで言及された機能が順序を外れて発生することも可能であることを注目すべきである。例えば、引き続き図示されている二つのブロックまたはステップは、実際、実質的に同時に遂行されることも可能であり、またはそのブロックまたはステップが時々該当する機能によって逆順に遂行されることも可能である。

【0095】

このように、本発明の属する技術の分野における当業者は、本発明がその技術的思想や必須特徴を変更することなく他の具体的な形態で実施され得るということが理解できるだろう。それゆえ、以上において記述した実施例は、全ての面で例示的なものであり、限定的ではないものとして理解すべきである。本発明の範囲は、詳細な説明よりは後述する特許請求の範囲により示され、特許請求の範囲の意味及び範囲、そしてその等価概念から導出される全ての変更または変形された形態が本発明の範囲に含まれるものと解釈されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】