特表 2023-508641 データ増強基盤事物分析モデル学習装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-03-03

(54)【発明の名称】データ増強基盤事物分析モデル学習装置及び方法

(51)【国際特許分類】

   G06V 10/774 20220101AFI20230224BHJP

   G06V 10/98 20220101ALI20230224BHJP

【ＦＩ】

G06V10/774

G06V10/98

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022531445

(86)(22)【出願日】2020-11-24

(85)【翻訳文提出日】2022-05-26

(86)【国際出願番号】 KR2020016741

(87)【国際公開番号】W WO2022019390

(87)【国際公開日】2022-01-27

(31)【優先権主張番号】10-2020-0091759

(32)【優先日】2020-07-23

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】522209860

【氏名又は名称】株式会社アーバンベース

【氏名又は名称原語表記】ＵＲＢＡＮＢＡＳＥ ＩＮＣ．

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】キム、スミン

(72)【発明者】

【氏名】ペク、ユナ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096CA02

5L096DA02

5L096EA07

5L096FA02

5L096FA18

5L096FA69

5L096GA51

5L096HA11

5L096JA11

5L096JA13

5L096JA22

5L096KA04

5L096MA03

(57)【要約】

本発明のデータ増強基盤事物分析モデル学習装置は、事物イメージを含む第１空間イメージが含むピクセル情報を変更した第２空間イメージを生成し、第１空間イメージ内の第１事物イメージ領域に指定したバウンディングボックスに第１事物イメージを特定する第１クラスをラベリングし、イメージ分類アルゴリズム基盤に設計されたモデルに第１空間イメージを入力して、バウンディングボックス内の第１事物イメージと第１クラスとの相関関係を導出するモデルの重み付けを１次学習させることで相関関係に基づいて空間イメージに含まれた事物イメージを特定し、クラスを判別するモデルを生成し、１次学習されたモデルに入力した第２空間イメージ内の第２事物イメージをモデルが特定したバウンディングボックスとモデルが判別した第２クラスをラベリングし、第２空間イメージに基づいてモデルの重み付けを２次学習させたモデルを生成できる。

【特許請求の範囲】

【請求項1】

データ増強基盤事物分析モデル学習装置において、
所定の動作を遂行するようにする命令語を格納する一つ以上のメモリ；及び前記一つ以上のメモリと動作できるように連結されて前記命令語を実行するように設定された一つ以上のプロセッサを含み、
前記プロセッサが遂行する動作は、
第１事物イメージを含む第１空間イメージを獲得して、前記第１空間イメージが含むピクセル情報を変更した第２空間イメージを生成する動作；
前記第１空間イメージ内の前記第１事物イメージを含む領域にバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を指定し、前記バウンディングボックスに前記第１事物イメージを特定する第１クラスをラベリングする動作；
所定の客体検出アルゴリズム基盤に設計されたモデルに前記第１空間イメージを入力して、前記バウンディングボックス内の前記第１事物イメージと前記第１クラスとの相関関係を導出する前記モデルの重み付けを１次学習させることで、前記相関関係に基づいて空間イメージに含まれた事物イメージを特定し、クラスを判別するモデルを生成する動作；
前記１次学習されたモデルに前記第２空間イメージを入力して、前記モデルが前記第２空間イメージ内の第２事物イメージを特定したバウンディングボックスと、前記モデルが前記第２事物イメージに対して判別した第２クラスを前記第２空間イメージにラベリングする動作；及び
前記第２空間イメージに基づいて前記モデルの重み付けを２次学習させたモデルを生成する動作を含む、
データ増強基盤事物分析モデル学習装置。

【請求項2】

前記動作は、
事物情報を特定する複数のクラスを格納したセットを生成する動作をさらに含み、
前記ラベリングする動作は、
前記第１空間イメージ内の第１事物イメージの領域にバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）が指定されると、前記セットを出力して前記第１事物イメージを特定する第１クラスの選択を受けて、前記バウンディングボックスに前記第１クラスをラベリングする動作を含む、
請求項１に記載のデータ増強基盤事物分析モデル学習装置。

【請求項3】

前記２次学習させたモデルを生成する動作は、
前記１次学習されたモデルに前記第２空間イメージを入力して、前記第２事物イメージと前記第２クラスとの相関関係を導出するモデルの重み付けを２次学習させることで、前記相関関係に基づいて空間イメージに含まれた事物イメージを特定し、クラスを判別するモデルを生成する動作を含む、
請求項１に記載のデータ増強基盤事物分析モデル学習装置。

【請求項4】

前記第２空間イメージにラベリングする動作は、
前記１次学習されたモデルに前記第２空間イメージを入力して、前記モデルが前記第２事物イメージに対して判別した第２クラスを前記第１クラスと比較して、前記第２クラスと前記第１クラスが同一である場合、前記第２クラスの値を維持し、前記第２クラスと前記第１クラスが異なる場合、前記第２クラスの値を前記第１クラスと同じ値に修正する動作を含む、
請求項１に記載のデータ増強基盤事物分析モデル学習装置。

【請求項5】

前記バウンディングボックスは、
一つのバウンディングボックス当たりに一つの事物イメージを含み、バウンディングボックスの内部に事物イメージの枠領域が全て含まれるように設定されることを特徴とする、
請求項１に記載のデータ増強基盤事物分析モデル学習装置。

【請求項6】

前記第２空間イメージを生成する動作は、
前記第１空間イメージに含まれたピクセル情報のＲＧＢ情報を構成する（ｘ、ｙ、ｚ）元素値に対して、所定の基準値より大きな値を有する元素値がさらに大きな値を有するように変更し、前記基準値より小さな値を有する元素値がさらに小さな元素値を有するように変更して前記第２空間イメージを生成する動作を含む、
請求項１に記載のデータ増強基盤事物分析モデル学習装置。

【請求項7】

前記第２空間イメージを生成する動作は、
［数１］

【数1】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：定数、

：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
前記数１に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含む、
請求項６に記載のデータ増強基盤事物分析モデル学習装置。

【請求項8】

前記第２空間イメージを生成する動作は、
［数２］

【数2】

（Ｒ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｘ、Ｇ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｙ、Ｂ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｚ、Ｙ：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
前記数２に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含む、
請求項１に記載のデータ増強基盤事物分析モデル学習装置。

【請求項9】

前記第２空間イメージを生成する動作は、
［数３］

【数3】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：定数、

：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
［数４］

【数4】

（Ｒ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｘ’、Ｇ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｙ’、Ｂ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｚ’、Ｙ：ピクセル情報の変更後の元素値（ｘ’’、ｙ’’、ｚ’’））
前記数３及び４に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含む、
請求項１に記載のデータ増強基盤事物分析モデル学習装置。

【請求項10】

前記第２空間イメージを生成する動作は、
前記第１空間イメージに含まれたピクセル情報の一部にノイズ情報を追加して前記第２空間イメージを生成する動作を含む、
請求項１に記載のデータ増強基盤事物分析モデル学習装置。

【請求項11】

前記第２空間イメージを生成する動作は、
［数５］

【数5】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
前記数５に基づいて前記第１空間イメージのピクセル情報にノイズ情報を付加して前記第２空間イメージを生成する動作を含む、
請求項１０に記載のデータ増強基盤事物分析モデル学習装置。

【請求項12】

前記第２空間イメージを生成する動作は、
前記第１空間イメージが含むピクセルのうち第１ピクセルを真ん中に含むＮ×Ｎ（Ｎは、３以上の自然数）行列大きさに含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素値のうち最大元素値である

から前記複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素平均値である

を引いた値である

を求め、前記

の元素値のいずれか一つが既設定された値より小さい場合、前記第１ピクセルをブラー処理をする演算を遂行して前記第２空間イメージを生成する動作を含む、
請求項１に記載のデータ増強基盤事物分析モデル学習装置。

【請求項13】

前記第２空間イメージを生成する動作は、
前記第１空間イメージが含む全てのピクセルの個数だけ、平均０及び標準偏差１００の標準ガウス正規分布に従う乱数情報を生成し、前記全てのピクセルのそれぞれに前記乱数情報それぞれを合算してノイズが挿入された前記第２空間イメージを生成する動作を含む、
請求項１に記載のデータ増強基盤事物分析モデル学習装置。

【請求項14】

前記モデルを生成する動作は、
Ｆａｓｔｅｒ Ｒ－ＣＮＮ（ｒｅｇｉｏｎ－ｂａｓｅｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）アルゴリズムに基づいて設計された神経網の入力レイヤに事物イメージが含まれた空間イメージが入力されるように設定し、出力レイヤに事物イメージを含むバウンディングボックス及び事物イメージのクラスが入力されるように設定して、入力される空間イメージから入力される空間イメージに含まれた事物イメージのバウンディングボックス領域の相関関係及び入力される空間イメージに含まれた事物イメージのクラスを判別する相関関係を導出する神経網の重み付けを学習させる動作を含む、
請求項１に記載のデータ増強基盤事物分析モデル学習装置。

【請求項15】

請求項１乃至１４のいずれか一項に記載のデータ増強基盤事物分析モデル学習装置が生成したデータ増強基盤事物分析モデルを含む装置。

【請求項16】

データ増強基盤事物分析モデル学習装置が遂行する方法において、
第１事物イメージを含む第１空間イメージを獲得して、前記第１空間イメージが含むピクセル情報を変更した第２空間イメージを生成するステップ；
前記第１空間イメージ内の前記第１事物イメージを含む領域にバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を指定し、前記バウンディングボックスに前記第１事物イメージを特定する第１クラスをラベリングするステップ；
所定の客体検出アルゴリズム基盤に設計されたモデルに前記第１空間イメージを入力して、前記バウンディングボックス内の前記第１事物イメージと前記第１クラスとの相関関係を導出する前記モデルの重み付けを１次学習させることで、前記相関関係に基づいて空間イメージに含まれた事物イメージを特定し、クラスを判別するモデルを生成するステップ；
前記１次学習されたモデルに前記第２空間イメージを入力して、前記モデルが前記第２空間イメージ内の第２事物イメージを特定したバウンディングボックスと前記モデルが前記第２事物イメージに対して判別した第２クラスを前記第２空間イメージにラベリングするステップ；及び
前記第２空間イメージに基づいて前記モデルの重み付けを２次学習させたモデルを生成するステップを含む、
データ増強基盤事物分析モデル学習方法。

【請求項17】

請求項１６に記載のデータ増強基盤事物分析モデル学習方法をプロセッサが遂行するようにするコンピュータ読み取り可能書き込み媒体に格納されたコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ増強基盤事物分析モデル学習装置及び方法に関する。

【背景技術】

【0002】

韓国インターネット振興院（ＫＩＳＡ）によれば、２０１９年に集計された韓国内オンラインショッピング市場の規模は約１３３兆ウォンであり、２０１８年の１１１兆ウォンに対比して約２０％の成長傾向を見せている。このようにオンラインショッピング市場の成長傾向が急激に増加するにつれ、オンラインショッピングプラットフォームに登録されるストア及び商品の数が飛躍的に増加しており、消費者がオフライン売場よりオンライン売場を通して物を購入する比率が大幅に上昇している。

【0003】

一方、オフラインショッピングの形態は、消費者が売場を選び売場内に備えられた商品を目で確認して気に入る商品を購入する形態であったら、オンラインショッピングの形態は、消費者が所望の商品のキーワードを通して商品を検索して購入する形態であって、商品が販売されるプラットフォームが変化するにつれて消費者が商品を探すようになる形態も変わっている。

【0004】

そのため、オンラインショッピングでは、商品ページに消費者のトラフィックを流入させ得るように商品と関連したキーワードをよく設定することが非常に重要になっている。ただし、韓国内の上位１０個のオンラインショッピングモールにアップロードされた商品の個数だけでも４億個を超える状況で商品毎にキーワードを一々設定することは難しい状況であるため、オンラインショッピングモールには、商品に対するイメージファイルだけで商品のキーワードを設定できる機能のソリューションが要求されている。

【0005】

このとき、商品のイメージを構成する要素は、大きく空間、事物、雰囲気、色彩に分けられる。購買者もまた商品を検索するとき、商品が使用される空間の用途、商品そのもの、空間の雰囲気、商品の色彩を重要な要素と見なすため、商品のイメージを構成する要素である空間、事物、雰囲気、色彩のいずれか一つのキーワードを組み合わせて検索するようになる。

【0006】

このように、商品のイメージから自動で空間、事物、雰囲気、色彩に対するキーワードを抽出できるソリューションが要求される状況で導入可能な代表的な技術としては、人工知能を利用した客体検出アルゴリズムがある。一方、商品のイメージから空間、事物、雰囲気、色彩を正確に分類するためには、データの品質、データの数量、ラベリング方法、学習の容易性等、考慮すべき要素が多い。これによって、多様な学習データを生成し、人工知能モデルの学習を容易にしながら正確な性能を有するモデルを生成させることのできる技術が必要な実情である。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の実施例において解決しようとする課題は、イメージから自動で該当イメージが含む事物のクラスを分類できるモデルを生成する技術を提供しようとする。

【0008】

このとき、本発明の実施例が使用する技術である客体検出人工知能アルゴリズムは、学習に使用する学習データの量と質によってモデルの性能に大きな差が発生し得る。特に、人工知能モデル学習の場合、限定された学習データだけでも優れた性能を有するモデルを作るためには、モデルが実際に使用される多様な環境や多様な状況の変数を含む学習データを通してモデルを学習させることが重要である。本発明は、空間イメージを分類するモデルを生成するにあたって、モデルが実際に使用される多様な環境や状況を反映する学習データを生成するデータ増強技術を提示する。

【0009】

一方、データが増加するほど空間イメージに含まれた事物のクラスを一々ラベリングすることは、非常に長い時間が必要となるという問題が発生する。これによって、本発明の実施例は、１次学習されたモデルを通して増強された学習データに対するクラスを自動でラベリングさせることでデータ精製及び学習過程が自動で遂行される技術を提示する。

【0010】

ただし、本発明の実施例が解決しようとする技術的課題は、以上において言及した課題に制限されず、以下において説明する内容から通常の技術者に自明な範囲内で多様な技術的課題が導出され得る。

【課題を解決するための手段】

【0011】

本発明の一実施例に係るデータ増強基盤事物分析モデル学習装置は、所定の動作を遂行するようにする命令語を格納する一つ以上のメモリ及び前記一つ以上のメモリと動作できるように連結されて前記命令語を実行するように設定された一つ以上のプロセッサを含み、前記プロセッサが遂行する動作は、第１事物イメージを含む第１空間イメージを獲得して、前記第１空間イメージが含むピクセル情報を変更した第２空間イメージを生成する動作、前記第１空間イメージ内の前記第１事物イメージを含む領域にバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を指定し、前記バウンディングボックスに前記第１事物イメージを特定する第１クラスをラベリングする動作、所定の客体検出アルゴリズム基盤に設計されたモデルに前記第１空間イメージを入力して、前記バウンディングボックス内の前記第１事物イメージと前記第１クラスとの相関関係を導出する前記モデルの重み付けを１次学習させることで、前記相関関係に基づいて空間イメージに含まれた事物イメージを特定し、クラスを判別するモデルを生成する動作、前記１次学習されたモデルに前記第２空間イメージを入力して、前記モデルが前記第２空間イメージ内の第２事物イメージを特定したバウンディングボックスと、前記モデルが前記第２事物イメージに対して判別した第２クラスを前記第２空間イメージにラベリングする動作、及び前記第２空間イメージに基づいて前記モデルの重み付けを２次学習させたモデルを生成する動作を含むことができる。

【0012】

また、前記動作は、事物情報を特定する複数のクラスを格納したセットを生成する動作をさらに含み、前記ラベリングする動作は、前記第１空間イメージ内の第１事物イメージの領域にバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）が指定されると、前記セットを出力して前記第１事物イメージを特定する第１クラスの選択を受けて、前記バウンディングボックスに前記第１クラスをラベリングする動作を含むことができる。

【0013】

また、前記２次学習させたモデルを生成する動作は、前記１次学習されたモデルに前記第２空間イメージを入力して、前記第２事物イメージと前記第２クラスとの相関関係を導出するモデルの重み付けを２次学習させることで、前記相関関係に基づいて空間イメージに含まれた事物イメージを特定し、クラスを判別するモデルを生成する動作を含むことができる。

【0014】

また、前記第２空間イメージにラベリングする動作は、前記１次学習されたモデルに前記第２空間イメージを入力して、前記モデルが前記第２事物イメージに対して判別した第２クラスを前記第１クラスと比較して、前記第２クラスと前記第１クラスが同一である場合、前記第２クラスの値を維持し、前記第２クラスと前記第１クラスが異なる場合、前記第２クラスの値を前記第１クラスと同じ値に修正する動作を含むことができる。

【0015】

また、前記バウンディングボックスは、一つのバウンディングボックス当たりに一つの事物イメージを含み、バウンディングボックスの内部に事物イメージの枠領域が全て含まれるように設定されることを特徴とし得る。

【0016】

また、前記第２空間イメージを生成する動作は、前記第１空間イメージに含まれたピクセル情報のＲＧＢ情報を構成する（ｘ、ｙ、ｚ）元素値に対して、所定の基準値より大きな値を有する元素値がさらに大きな値を有するように変更し、前記基準値より小さな値を有する元素値がさらに小さな元素値を有するように変更して前記第２空間イメージを生成する動作を含むことができる。

【0017】

また、前記第２空間イメージを生成する動作は、
［数１］

【数1】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：定数、

：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））前記数１に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含むことができる。

【0018】

また、前記第２空間イメージを生成する動作は、
［数２］

【数2】

（Ｒ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｘ、Ｇ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｙ、Ｂ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｚ、Ｙ：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））前記数２に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含むことができる。

【0019】

また、前記第２空間イメージを生成する動作は、
［数３］

【数3】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：定数、

：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
［数４］

【数4】

（Ｒ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｘ’、Ｇ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｙ’、Ｂ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｚ’、Ｙ：ピクセル情報の変更後の元素値（ｘ’’、ｙ’’、ｚ’’））前記数３及び４に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含むことができる。

【0020】

また、前記第２空間イメージを生成する動作は、前記第１空間イメージに含まれたピクセル情報の一部にノイズ情報を追加して前記第２空間イメージを生成する動作を含むことができる。

【0021】

また、前記第２空間イメージを生成する動作は、
［数５］

【数5】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））前記数５に基づいて前記第１空間イメージのピクセル情報にノイズ情報を付加して前記第２空間イメージを生成する動作を含むことができる。

【0022】

また、前記第２空間イメージを生成する動作は、前記第１空間イメージが含むピクセルのうち第１ピクセルを真ん中に含むＮ×Ｎ（Ｎは、３以上の自然数）行列大きさに含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素値のうち最大元素値である

から前記複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素平均値である

を引いた値である

を求め、前記

の元素値のいずれか一つが既設定された値より小さい場合、前記第１ピクセルをブラー処理をする演算を遂行して前記第２空間イメージを生成する動作を含むことができる。

【0023】

また、前記第２空間イメージを生成する動作は、前記第１空間イメージが含む全てのピクセルの個数だけ、平均０及び標準偏差１００の標準ガウス正規分布に従う乱数情報を生成し、前記全てのピクセルのそれぞれに前記乱数情報それぞれを合算してノイズが挿入された前記第２空間イメージを生成する動作を含むことができる。

【0024】

本発明の一実施例に係るデータ増強基盤事物分析モデル学習方法は、第１事物イメージを含む第１空間イメージを獲得して、前記第１空間イメージが含むピクセル情報を変更した第２空間イメージを生成するステップ、前記第１空間イメージ内の前記第１事物イメージを含む領域にバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を指定し、前記バウンディングボックスに前記第１事物イメージを特定する第１クラスをラベリングするステップ、所定のイメージ分類アルゴリズム基盤に設計されたモデルに前記第１空間イメージを入力して、前記バウンディングボックス内の前記第１事物イメージと前記第１クラスとの相関関係を導出する前記モデルの重み付けを１次学習させることで、前記相関関係に基づいて空間イメージに含まれた事物イメージを特定し、クラスを判別するモデルを生成するステップ、前記１次学習されたモデルに前記第２空間イメージを入力して、前記モデルが前記第２空間イメージ内の第２事物イメージを特定したバウンディングボックスと、前記モデルが前記第２事物イメージに対して判別した第２クラスを前記第２空間イメージにラベリングするステップ、及び前記第２空間イメージに基づいて前記モデルの重み付けを２次学習させたモデルを生成するステップを含むことができる。

【発明の効果】

【0025】

本発明の実施例によれば、同じ空間を撮影しても撮影するカメラの特性、撮影時間、撮影する人の習慣等、実際の多様な環境や状況により、同じ空間を撮影する場合にも生成されるイメージが変わり得るという変数を学習できるように、原本学習データを変形させて多様な学習データを確保するデータ増強技術を通して学習データの数量を増加させながらも高品質の学習データを確保し、増強された学習データに対するラベリングを自動化して学習が容易でありながら性能が向上した客体検出（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）モデルを提供できる。

【0026】

また、１次学習されたモデルを通して増強された学習データに対するクラスを自動でラベリングさせることで、データ増強によりデータが増加するほど空間イメージに含まれた事物のクラスを一々ラベリングすることが非常に長い時間が必要となるという問題を解決できる。

【0027】

これによって、本発明のイメージ分類モデルを使用するようになると、オンラインショッピングモールは、商品のイメージだけで商品と関連したキーワードを使用することで商品ページに消費者のトラフィックを効果的に流入させることができ、消費者もまた自身が所望するイメージを利用して自身に必要なキーワードを探して検索に利用できる。

【0028】

この他に、本文書を通して直接的または間接的に把握される多様な効果が提供され得る。

【図面の簡単な説明】

【0029】

【図1】本発明の一実施例に係るデータ増強基盤事物分析モデル学習装置が生成したモデルを利用してイメージが含む事物に対するクラスを分類する機能を示した図である。

【図2】本発明の一実施例に係るデータ増強基盤事物分析モデル学習装置の機能ブロック図である。

【図3】本発明の一実施例に係るデータ増強基盤事物分析モデル学習装置が遂行する学習方法のフローチャートである。

【図4】本発明の一実施例に係るデータ増強基盤事物分析モデル学習装置が遂行する動作の概念図である。

【図5】第１空間イメージに含まれた事物イメージをラベリングする場合、複数のクラスを格納したセットが生成される動作の例示図である。

【図6】第１空間イメージに含まれたピクセル情報を変更してデータを増強する実施例によって生成された第２空間イメージの例示図である。

【図7】第１空間イメージに含まれたピクセル情報の一部にノイズを追加してデータを増強する実施例によって生成された第２空間イメージの例示図である。

【図8】第１空間イメージに含まれた事物の枠領域を区分し、枠でない領域にブラーを適用して第２空間イメージを生成する方法を説明するための例示図である。

【図9】第１空間イメージにガウス正規分布によるノイズ情報を追加してデータを増強する実施例によって生成された第２空間イメージの例示図である。

【発明を実施するための形態】

【0030】

本発明の利点及び特徴、そして、それらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すると、明確になるだろう。しかし、本発明は、以下において開示される実施例に限定されるものではなく、多様な形態に具現され得、単に、本実施例は、本発明の開示が完全なものとなるようにし、本発明の属する技術の分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明の範疇は、請求項により定義されるだけである。

【0031】

本発明の実施例を説明するにあたって、公知機能または構成についての具体的な説明は、実際に必要な場合の他には省略される。そして、後述の用語は、本発明の実施例での機能を考慮して定義された用語であって、これは、ユーザ、運用者の意図または慣例等によって変わり得る。それゆえ、その定義は、本明細書全般にわたった内容に基づいて下されるべきである。

【0032】

図面に表示され、下記に説明される機能ブロックは、可能な具現の例であるだけである。他の具現では、詳細な説明の思想及び範囲を外れない範囲で他の機能ブロックが使用され得る。また、本発明の一つ以上の機能ブロックが個別ブロックで表示されるが、本発明の機能ブロックのうち一つ以上は、同じ機能を実行する多様なハードウェア及びソフトウェア構成の組み合わせであってよい。

【0033】

また、ある構成要素を含むという表現は、開放型の表現であって、該当構成要素が存在することを単に指すだけであり、さらなる構成要素を排除するものと理解されてはならない。

【0034】

さらに、ある構成要素が他の構成要素に連結されているとか接続されていると言及される時には、その他の構成要素に直接的に連結または接続されていてもよいが、中間に他の構成要素が存在してもよいと理解されるべきである。

【0035】

また、「第１、第２」等のような表現は、複数の構成を区分するための用途にだけ使用された表現であって、構成の間の順序やその他の特徴を限定しない。

【0036】

以下においては、図面を参照して本発明の実施例について説明する。

【0037】

図１は、本発明の一実施例に係るデータ増強基盤事物分析モデル学習装置１００が生成した人工知能モデルを利用してイメージが含む事物に対するクラスを分類する機能を示した図である。

【0038】

図１を参照すると、本発明の一実施例に係るデータ増強基盤事物分析モデル学習装置１００は、図１に示されたインターフェースの上段メニューの空間分類、事物検出、スタイル分析、商品推薦機能のうち事物検出機能を提供できる。データ増強基盤事物分析モデル学習装置１００は、図１のインターフェースに使用される人工知能モデルを生成する。人工知能モデルは、図１の左側下段に入力される空間イメージを分析して、空間イメージが含む事物の位置及び名称を判別できる。このような実施例を具現するためにデータ増強基盤事物分析モデル学習装置１００が有する構成を図２と共に説明する。

【0039】

図２は、本発明の一実施例に係るデータ増強基盤事物分析モデル学習装置１００の機能ブロック図である。

【0040】

図２を参照すると、一実施例に係るデータ増強基盤事物分析モデル学習装置１００は、メモリ１１０、プロセッサ１２０、入力インターフェース１３０、ディスプレイ部１４０及び通信インターフェース１５０を含むことができる。

【0041】

メモリ１１０は、学習データＤＢ１１１、神経網モデル１１３、及び命令語ＤＢ１１５を含むことができる。

【0042】

学習データＤＢ１１１は、一つ以上の事物が配置された空間を撮影した空間イメージファイルを含むことができる。空間イメージは、外部サーバ、外部ＤＢを通して獲得するかインターネット上の空間イメージを獲得できる。このとき、空間イメージは、多数のピクセル（ｅｘ．横Ｍ個、縦Ｎ個の行列形態に構成されたＭ×Ｎ個のピクセル）で構成され得、それぞれのピクセルは、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の固有色相を示すＲＧＢ元素値（ｘ、ｙ、ｚ）で構成されたピクセル情報を含むことができる。

【0043】

神経網モデル１１３は、入力された空間イメージを分析して該当空間イメージが含む事物イメージの位置及び事物の名称を判別する客体検出人工知能アルゴリズム基盤に学習された人工知能モデルであってよい。人工知能モデルは、後述するプロセッサ１２０の動作により生成されてメモリ１１０に格納され得る。

【0044】

命令語ＤＢ１１５は、プロセッサ１２０の動作を遂行させることのできる命令語を格納することができる。例えば、命令語ＤＢ１１５は、後述するプロセッサ１２０の動作と対応する動作を遂行するようにするコンピュータコードを格納することができる。

【0045】

プロセッサ１２０は、データ増強基盤事物分析モデル学習装置１００が含む構成、メモリ１１０、入力インターフェース１３０、ディスプレイ部１４０及び通信インターフェース１５０の全般的な動作を制御できる。プロセッサ１２０は、ラベリングモジュール１２１、増強モジュール１２３、学習モジュール１２５及び制御モジュール１２７を含むことができる。プロセッサ１２０は、メモリ１１０に格納された命令語を実行してラベリングモジュール１２１、増強モジュール１２３、学習モジュール１２５及び制御モジュール１２７を駆動させることができ、ラベリングモジュール１２１、増強モジュール１２３、学習モジュール１２５及び制御モジュール１２７により遂行される動作は、プロセッサ１２０により遂行される動作と理解され得る。

【0046】

ラベリングモジュール１２１は、空間イメージ内の事物イメージを含む領域にバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を指定し、バウンディングボックスに事物イメージを特定するクラス（ｅｘ．ソファー、額縁、本、カーペット、カーテン等）を空間イメージにラベリングして学習データＤＢ１１１に格納することができる。ラベリングモジュール１２１は、外部サーバ、外部ＤＢを通して空間イメージを獲得するかインターネット上の空間イメージを獲得できる。

【0047】

増強モジュール１２３は、学習データＤＢ１１１に格納された空間イメージ（増強モジュールが変形を加えていない空間イメージを、以下、「第１空間イメージ」と称する）が含むピクセル情報の一部または全部を変更した空間イメージ（増強モジュールが変形を加えた空間イメージを、以下、「第２空間イメージ」と称する）を生成して学習データを増強させ、第２空間イメージを学習データＤＢ１１１に追加して格納することができる。

【0048】

本発明の実施例に係るデータ増強基盤事物分析モデル学習装置１００が学習させるモデルは、空間イメージに含まれた事物イメージのクラスを分類する機能を有する。このとき、空間イメージは、同じ空間が撮影されるものであっても撮影に使用されるカメラの特性、撮影が行われる時間、撮影する人の習慣等、実際の空間イメージが生成される多様な環境や状況により、同じ空間を撮影する場合であっても多様な変数によりイメージファイルに含まれる情報が変わり得る。従って、人工知能モデルの性能向上のためには、学習に使用されるデータの量と質が重要である。特に、撮影に使用されるカメラの特性、撮影時間、撮影する人の習慣によって発生し得る変数を学習できるように、増強モジュール１２３は、一つの空間イメージに対して実際に発生し得る変数を反映する図６乃至図９のデータ増強アルゴリズムを通して学習データの数量を増加させることができる。

【0049】

一方、データが増加するほど空間イメージに含まれた事物のクラスを一々ラベリングすることは非常に長い時間が必要となり得る。これによって、ラベリングモジュール１２３は、第１空間イメージを通して１次学習された人工知能モデルに第２空間イメージを入力して判別された事物の位置（バウンディングボックス）と名称（クラス）を、第２空間イメージにラベリングさせることができる。このとき、ラベリングモジュールは、１次学習されたモデルに第２空間イメージを入力して人工知能モデルが判別した第２クラスと、本来第１空間イメージにラベリングされている第１クラスと比較して、第２クラスと第１クラスが同一である場合、第２クラスの値を維持して第２空間イメージにラベリングさせ、第２クラスと第１クラスが異なる場合、人工知能モデルが判別した第２クラスの値の代わりに、第１空間イメージにラベリングされた第１クラスの値でラベリングすることで、増強された学習データのアウトライアを自動で除去できる。これによって、学習モジュールは、ラベリングされた第２空間イメージを通して人工知能モデルを２次学習させることで、データ精製及び学習過程が自動で遂行されるようにすることができる。

【0050】

学習モジュール１２５は、客体検出アルゴリズム基盤に設計された人工知能モデルに学習データ（ｅｘ．ラベリングされた第１空間イメージ、またはラベリングされた第２空間イメージ）を入力して、学習データに含まれた空間イメージと空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する重み付けを学習させることで、重み付けの相関関係に基づいて新たに入力される空間イメージに対するクラスを判別する人工知能モデルを生成できる。

【0051】

このような客体検出アルゴリズムは、人工知能の分野で扱う多様な問題を定義し、それを解決するマシンラーニングアルゴリズムを含む。本発明の実施例は、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、またはＳＳＤのアルゴリズムによって設計された人工知能モデルの入力レイヤに空間イメージが入力されるように設定し、出力レイヤに空間イメージのバウンディングボックスとラベリングされたクラスが入力されるように設定して、空間イメージから事物イメージを特定するバウンディングボックスの位置とイメージのクラスとの相関関係を導出する人工知能モデルの重み付けを学習させることができる。

【0052】

人工知能モデルは、シナプスの結合でネットワークを形成したノードで構成される、問題解決能力を有するモデル全般を意味し得る。人工知能モデルは、モデルを構成するレイヤの間の重み付けである、モデルパラメータを更新する学習過程、出力値を生成する活性化関数（Ａｃｔｉｖａｔｉｏｎ Ｆｕｎｃｔｉｏｎ）により定義され得る。

【0053】

モデルパラメータは、学習を通して決定されるパラメータを意味し、レイヤ連結の重み付けとニューロンの偏向等が含まれる。そして、ハイパーパラメータは、マシンラーニングアルゴリズムで学習の前に設定されるべきパラメータを意味し、学習率（Ｌｅａｒｎｉｎｇ Ｒａｔｅ）、繰り返し回数、ミニバッチサイズ、初期化関数等が含まれる。

【0054】

人工知能モデルの学習目的は、損失関数を最小化するモデルパラメータを決定することと見られる。損失関数は、人工知能モデルの学習過程で最適なモデルパラメータを決定するための指標に利用され得る。

【0055】

制御モジュール１２７は、学習が完了した人工知能モデルに空間イメージを入力して、入力された空間イメージに対して人工知能モデルが判別したクラスを該当空間イメージに含まれた事物のキーワードに導出することができる。これによって、制御モジュール１２７は、特定事物を含むイメージを含む商品ページに該当キーワード情報を使用できるようにオンラインショッピングモールサーバの商品ＤＢにキーワードを格納することができる。

【0056】

入力インターフェース１３０は、ユーザの入力を受信することができる。例えば、学習データに対するクラスをラベリングする場合、ユーザの入力を受信することができる。

【0057】

ディスプレイ部１４０は、ディスプレイパネルを含んで画像を出力するハードウェア構成を含むことができる。

【0058】

通信インターフェース１５０は、外部装置（ｅｘ．オンラインショッピングモールサーバ、ユーザ端末等）と通信して情報を送受信できるようにする。このために、通信インターフェース１５０は、無線通信モジュールまたは有線通信モジュールを含むことができる。

【0059】

図３は、本発明の一実施例に係るデータ増強基盤事物分析モデル学習装置が遂行する学習方法のフローチャートであり、図４は、本発明の一実施例に係るデータ増強基盤事物分析モデル学習装置が遂行する動作の概念図である。

【0060】

図３及び図４を参照すると、増強モジュール１２３は、第１事物イメージを含む第１空間イメージを獲得して、第１空間イメージが含むピクセル情報のうち一部または全部を変更した第２空間イメージを生成できる（Ｓ３１０）。ラベリングモジュール１２１は、第１空間イメージ内の第１事物イメージを含む領域にバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を指定し、バウンディングボックスに第１事物イメージを特定する第１クラスを第１空間イメージにラベリングできる（Ｓ３２０）。学習モジュール１２５は、客体検出アルゴリズム基盤に設計されたモデルにラベリングされた第１空間イメージを入力して、第１空間イメージからバウンディングボックス内の第１事物イメージの位置と、第１空間イメージから第１事物イメージの第１クラスとの相関関係を導出する人工知能モデルの重み付けを１次学習させることで重み付けに学習された相関関係に基づいて空間イメージに含まれた事物イメージの位置を特定し、事物イメージのクラスを判別するモデルを生成できる（Ｓ３３０）。以後、ラベリングモジュール１２１は、１次学習されたモデルに第２空間イメージを入力して、１次学習された人工知能モデルが第２空間イメージ内の第２事物イメージを特定したバウンディングボックスと、１次学習された人工知能モデルが第２事物イメージに対して判別した第２クラスを第２空間イメージにラベリングできる（Ｓ３４０）。このとき、ラベリングモジュール１２１は、１次学習されたモデルに第２空間イメージを入力して、人工知能モデルが第２事物イメージに対して判別した第２クラスを第１クラスと比較して、第２クラスと第１クラスが同一である場合、第２クラスの値を維持し、第２クラスと第１クラスが異なる場合、第２クラスの値を第１クラスと同じ値に修正する動作を遂行して、１次学習されたモデルのエラーを訂正してラベリングできる（Ｓ３４５）。第２空間イメージが第１空間イメージから変形されてもそれぞれのイメージが含む事物のクラスは同一であるため、上のような方法で１次学習されたモデルのエラーを訂正してアウトライアデータを除去できる。

【0061】

これによって、学習モジュール１２５は、ラベリングが完了した第２空間イメージに基づいて１次学習が完了した人工知能モデルの再学習を遂行して人工知能モデルの重み付けに対して２次学習させたモデルを生成できる（Ｓ３５０）。具体的に、学習モジュール１２５は、２次学習のために、１次学習が遂行された人工知能モデルにラベリングされた第２空間イメージを入力して、第２空間イメージからバウンディングボックス内の第２事物イメージの位置と、第２空間イメージから第２事物イメージの第２クラスとの相関関係を導出する人工知能モデルの重み付けに対して２次学習させることで重み付けに学習された相関関係に基づいて空間イメージに含まれた事物イメージの位置を特定し、事物イメージのクラスを判別するモデルを生成できる。

【0062】

図５は、第１空間イメージに含まれた事物イメージをラベリングする場合、複数のクラスを格納したセットが生成される動作の例示図である。

【0063】

図５を参照すると、ラベリングモジュールは、事物情報を特定する複数のクラス（ｅｘ．ｂｏｏｋ、ｓｏｆａ、ｐｈｏｔｏ ｆｒａｍｅ、ｃｕｒｔａｉｎ、ｃａｒｐｅｔ等）を格納したセットを生成して学習データＤＢに格納し、Ｓ３２０ステップのラベリング時に第１空間イメージ内の第１事物イメージの領域に第１事物イメージ（ｅｘ．図５のソファー）を特定するためのバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）が指定されると、学習データＤＢに格納されたセット（ｅｘ．図５の右側ボックス）を出力して第１事物イメージを特定する第１クラスをラベリングを遂行するユーザから選択（ｅｘ．図５の右側ボックスのｓｏｆａ選択）を受けて、第１事物イメージを含むバウンディングボックス領域に第１クラスをラベリングして事物イメージが特定された学習データを生成できる。このとき、バウンディングボックスは、一つのバウンディングボックス当たりに一つの事物イメージを含み、バウンディングボックスの内部に事物イメージの枠領域が全て含まれるように設定され得る。

【0064】

以下、データ増強基盤事物分析モデル学習装置１００が第１空間イメージを増強して第２空間イメージを生成する実施例を図６乃至図９と共に説明する。

【0065】

図６は、第１空間イメージに含まれたピクセル情報を変更してデータを増強する実施例によって生成された第２空間イメージの例示図である。

【0066】

増強モジュール１２３は、第１空間イメージのピクセルの中で明るい部分をさらに明るくし、暗い部分をさらに暗くして対比を増加させるように変形するか、または第１空間イメージのピクセルの中で明るい部分をあまり明るくなくし、暗い部分をあまり暗くなくして対比を減少させるように変形して、カメラの性能や機種によって一つの空間に対するイメージが異に生成され得る変数まで学習されるようにする第２空間イメージを生成できる。

【0067】

このために、増強モジュール１２３は、第１空間イメージに含まれたピクセル情報のＲＧＢ情報を構成する（ｘ、ｙ、ｚ）元素値に対して、所定の基準値より大きな値を有する元素値がさらに大きな値を有するように変更し、基準値より小さな値を有する元素値がさらに小さな元素値を有するように変更して第２空間イメージを生成できる。

【0068】

例えば、増強モジュール１２３は、第１空間イメージが有する全てのピクセルが有するピクセル情報に対して、下記数１を適用してピクセル情報が変更された第２空間イメージを生成できる。
［数１］

【数6】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：定数、

：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））

【0069】

数１によれば、

が１より大きな値を有するように設定する場合、第１空間イメージのピクセルの中で明るい部分をさらに明るくし、暗い部分をさらに暗くして対比を増加させることができ、

が０より大きく１より小さな値を有するように設定する場合、第１空間イメージのピクセルの中で明るい部分をあまり明るくなくし、暗い部分をあまり暗くなくして対比を減少させることができる。

【0070】

また、Ｒ、Ｇ、Ｂの元素値は、一般に０から２５５の間の値を有するため、

により出力される元素値が２５５より過度に大きくならないように

を設定でき、ｍｉｎ関数を使用して最大値が２５５より大きくならないように設定できる。

【0071】

また、Ｒ、Ｇ、Ｂの元素値は、一般に０から２５５の間の値を有するため、ｍａｘ関数を使用して

により出力される元素値が０より小さくならないようにｍａｘ関数を使用してすることができる。

【0072】

加えて、

が小数点を有する値に設定される場合、変更されたピクセル情報の元素値が整数になるようにｒｏｕｎｄ関数を使用することができる。

【0073】

図６Ａを参照すると、左側は、第１空間イメージであり、右側は、

を設定して数１を適用した場合の第２空間イメージである。図３Ａの右側第２空間イメージは、第１空間イメージより、明るい部分がさらに明るく変わり、暗い部分がさらに暗く変わって対比が増加した新たな学習データが生成されることを確認することができる。

【0074】

図６Ｂを参照すると、左側は、第１空間イメージであり、右側は、

を設定して数１を適用した場合の第２空間イメージである。図３Ｂの右側第２空間イメージは、第１空間イメージより、明るい部分があまり明るくなく変わり、暗い部分があまり暗くなく変わって対比が減少した新たな学習データが生成されることを確認することができる。

【0075】

図６Ｃを参照すると、左側は、一つの色（Ｒ、Ｇ、Ｂ）＝（１８３、１９１、１９４）に統一された第１空間イメージであり、右側は、

を設定して数１を適用した場合の第２空間イメージである。図３Ｃを通して一つのピクセル情報が数１によって変わる程度を確認することができる。

【0076】

図７（ａ）は、第１空間イメージに含まれたピクセル情報にグレースケールを適用してデータを増強する実施例によって生成された第２空間イメージの例示図である。

【0077】

空間イメージに対するクラス判別は、事物の配置や、事物のパターンに大きな影響を受けるため、増強モジュール１２３は、色相を単調に変換させた後、事物の配置と事物のパターンをさらによく学習されるように変数を反映した学習データを生成できる。

【0078】

このために、増強モジュール１２３は、図７（ａ）の左側イメージのように、第１空間イメージが有する全てのピクセルが有するピクセル情報に対して、下記数２を適用してピクセル情報が単調な色相を有しながら配置とパターンが現れる第２空間イメージを生成できる。
［数２］

【数7】

（Ｒ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｘ、Ｇ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｙ、Ｂ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｚ、Ｙ：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））

【0079】

加えて、増強モジュール１２３は、図７（ａ）の右側イメージのように、下記数３を通して第１空間イメージの対比を増加させた後に導出された元素値に、下記数４を適用して、第１空間イメージに含まれた事物の配置とパターンがさらに克明に現れる第２空間イメージを生成できる。
［数３］

【数8】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：定数、

：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
［数４］

【数9】

（Ｒ：数３で求められたｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｘ’、Ｇ：数３で求められたｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｙ’、Ｂ：数３で求められたｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｚ’、Ｙ：ピクセル情報の変更後の元素値（ｘ’’、ｙ’’、ｚ’’））

【0080】

図７（ｂ）は、第１空間イメージに含まれたピクセル情報の一部にノイズを追加してデータを増強する実施例によって生成された第２空間イメージの例示図である。

【0081】

増強モジュール１２３は、カメラを拡大して撮影する場合、イメージにノイズが発生する場合を学習するための学習データを生成できる。このために、増強モジュール１２３は、第１空間イメージに含まれたピクセル情報の一部にノイズ情報を追加して第２空間イメージを生成できる。例えば、増強モジュール１２３は、乱数発生アルゴリズムを通して任意の座標情報を生成して、第１空間イメージに含まれたピクセルのうち一部の座標を選択し、選択された座標のピクセルが有する元素値に対して下記数５を利用して、ピクセル情報に乱数発生アルゴリズムを利用して算出される乱数を付加してノイズ情報が追加された第２空間イメージを生成できる。
［数５］

【数10】

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、

：乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））

【0082】

図７（ｂ）を参照すると、左側は、第１空間イメージであり、右側は、数５を適用してノイズを追加した場合の第２空間イメージを確認することができる。

【0083】

図８は、第１空間イメージに含まれた事物の枠領域を区分し、枠でない領域にブラーを適用して第２空間イメージを生成する方法を説明するための例示図である。

【0084】

増強モジュール１２３は、カメラの焦点がよく合わない状態で撮影されたイメージを学習するように次の実施例を通して事物の縁が潰れたような第２空間イメージを生成できる。

【0085】

図８（ａ）は、説明の便宜のために、横５個×縦５個の行列形態の２５個のピクセルを含む第１空間イメージを仮定して各ピクセル領域を区分した例示である。このとき、各ピクセルは、Ｒ、Ｇ、Ｂの元素値を有するが、Ｒ（Ｒｅｄ）の元素値を基準に実施例を説明する。図５Ａの各ピクセル領域に示された数字は、Ｒの元素値を意味する。

【0086】

図８（ａ）の場合、全てのピクセルに後述する方式の演算が遂行されるが、説明の便宜のために、真ん中のピクセルを基準に演算を説明する。図８（ａ）の場合、増強モジュール１２３は、演算が遂行されるピクセルを中央とするＮ×Ｎ領域（図８（ａ）でＮは３を仮定）に含まれたピクセルのうちＲ元素値の最大値（Ｒ＿ｍａｘ＝１３０）とＲ元素値の平均値（Ｒ＿ａｖｇ＝１２０）の差（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ＝１０）を計算して、導出される値が既設定された値ｎより小さい場合のピクセル（事物の内側領域に存在するピクセルと判別）と既設定された値ｎより大きい場合のピクセル（事物の枠領域に存在するピクセルと判別）を区分して、図８（ｂ）の右側のように第１空間イメージに含まれた事物の枠を判別できる。ここで、増強モジュール１２３は、枠領域を除く領域のピクセルに対してのみガウスブラーアルゴリズムを適用して図８（ｃ）の右側イメージのようなイメージを生成できる。一方、演算が遂行されるピクセルを基準にするＮ×Ｎ領域にピクセルが存在しない領域（ｅｘ．イメージの縁側）が存在するならば、該当ピクセルに対しては上述した演算を省略し、ブラー処理をすることができる。

【0087】

このように、増強モジュール１２３は、第１空間イメージが含む全てのピクセルそれぞれに対して上の演算を遂行することができる。演算が遂行されるピクセルの場合、該当ピクセルを中央に含むＮ×Ｎ（Ｎは、３以上の奇数）行列大きさに含まれる複数のピクセルをカーネル領域に選択し、カーネル領域に含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素値のうち最大元素値である（Ｒ＿ｍａｘ、Ｇ＿ｍａｘ、Ｂ＿ｍａｘ）から、カーネル領域に含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素平均値である（Ｒ＿ａｖｇ、Ｇ＿ａｖｇ、Ｂ＿ａｖｇ）を引いた値である（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ、Ｇ＿ｍａｘ－Ｇ＿ａｖｇ、Ｂ＿ｍａｘ－Ｂ＿ａｖｇ）を求め、（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ、Ｇ＿ｍａｘ－Ｇ＿ａｖｇ、Ｂ＿ｍａｘ－Ｂ＿ａｖｇ）のうち少なくともいずれか一つの元素値が既設定された値ｎより小さければ、該当ピクセルにガウスブラーアルゴリズムを適用して第２空間イメージを生成できる。

【0088】

このような演算を第１空間イメージに含まれた全てのピクセルに対して遂行すれば、色相差が大きく開く枠領域のピクセルだけがピクセル情報をそのまま有し、色相差のない領域のピクセルはブラー処理されて、カメラの焦点がよく合わない状態で撮影されたイメージを学習できる第２空間イメージを生成できる。このとき、ブラー処理は、ガウスブラーアルゴリズムを適用できるが、これに限定されず、多様なブラーフィルタを使用することができる。

【0089】

図８（ｂ）を参照すると、左側は、第１空間イメージであり、右側は、図８を通して説明した実施例で既設定された値ｎより大きい場合とｎより小さい場合のピクセルを区分して生成されたイメージである。図５Ｂの右側イメージもまた事物の枠を克明に示すため、事物の配置とパターンを明確に認識させるための目的で学習データに追加して使用することができる。

【0090】

図８（ｃ）を参照すると、左側は、第１空間イメージであり、右側は、上述した図８の実施例でＮ＝７、ｎ＝２０を適用した実施例であり、枠以外の領域がブラー処理された第２空間イメージを確認することができる。

【0091】

加えて、図５を通して説明した実施例で既設定された値ｎより大きい場合のピクセルをブラー処理して上述した実施例と反対の効果を発生させた第２空間イメージを学習データＤＢ１１１に追加することもできる。

【0092】

図９は、第１空間イメージにガウス正規分布によるノイズ情報を追加してデータを増強する実施例によって生成された第２空間イメージの例示図である。

【0093】

増強モジュール１２３は、イメージの特定部分に焦点が合わない場合を学習するための学習データを生成できる。このために、増強モジュール１２３は、第１空間イメージが含む全てのピクセルの個数だけ、平均０及び標準偏差１００の標準ガウス正規分布に従う乱数情報を生成し、全てのピクセルのそれぞれに乱数情報それぞれを合算してノイズ情報が挿入された第２空間イメージを生成できる。

【0094】

上述した本発明の実施例は、多様な手段を通して具現され得る。例えば、本発明の実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェアまたはそれらの結合等により具現され得る。

【0095】

ハードウェアによる具現の場合、本発明の実施例に係る方法は、一つまたはそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ等により具現され得る。

【0096】

ファームウェアやソフトウェアによる具現の場合、本発明の実施例に係る方法は、以上において説明された機能または動作を遂行するモジュール、手順または関数等の形態に具現され得る。ソフトウェアコード等が書き込まれたコンピュータプログラムは、コンピュータ読み取り可能書き込み媒体またはメモリユニットに格納されてプロセッサにより駆動され得る。メモリユニットは、プロセッサの内部または外部に位置して、既に公知になった多様な手段によりプロセッサとデータを受け渡しすることができる。

【0097】

また、本発明に添付のブロック図の各ブロックとフローチャートの各ステップの組み合わせは、コンピュータプログラムインストラクションにより遂行されてもよい。これらのコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータまたはその他のプログラム可能なデータプロセシング装備のエンコーディングプロセッサに搭載され得るので、コンピュータまたはその他のプログラム可能なデータプロセシング装備のエンコーディングプロセッサを通して遂行されるそのインストラクションがブロック図の各ブロックまたはフローチャートの各ステップで説明された機能を遂行する手段を生成するようになる。これらのコンピュータプログラムインストラクションは、特定方法で機能を具現するためにコンピュータまたはその他のプログラム可能なデータプロセシング装備を目指すことのできるコンピュータ利用可能またはコンピュータ読み取り可能メモリに格納されることも可能であるので、そのコンピュータ利用可能またはコンピュータ読み取り可能メモリに格納されたインストラクションは、ブロック図の各ブロックまたはフローチャートの各ステップで説明された機能を遂行するインストラクション手段を内包する製造品目を生産することも可能である。コンピュータプログラムインストラクションは、コンピュータまたはその他のプログラム可能なデータプロセシング装備上に搭載されることも可能であるので、コンピュータまたはその他のプログラム可能なデータプロセシング装備上で一連の動作ステップが遂行されてコンピュータで実行されるプロセスを生成してコンピュータまたはその他のプログラム可能なデータプロセシング装備を遂行するインストラクションは、ブロック図の各ブロック及びフローチャートの各ステップで説明された機能を実行するためのステップを提供することも可能である。

【0098】

併せて、各ブロックまたは各ステップは、特定された論理的機能を実行するための一つ以上の実行可能なインストラクションを含むモジュール、セグメントまたはコードの一部を示すことができる。また、いくつかの代替実施例では、ブロックまたはステップで言及された機能が順序を外れて発生することも可能であることを注目すべきである。例えば、引き続き図示されている二つのブロックまたはステップは、実際、実質的に同時に遂行されることも可能であり、またはそのブロックまたはステップが時々該当する機能によって逆順に遂行されることも可能である。

【0099】

このように、本発明の属する技術の分野における当業者は、本発明がその技術的思想や必須特徴を変更することなく他の具体的な形態で実施され得るということが理解できるだろう。それゆえ、以上において記述した実施例は、全ての面で例示的なものであり、限定的ではないものとして理解すべきである。本発明の範囲は、詳細な説明よりは後述する特許請求の範囲により示され、特許請求の範囲の意味及び範囲、そしてその等価概念から導出される全ての変更または変形された形態が本発明の範囲に含まれるものと解釈されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】