特許 6998413 ディープラーニング基盤の類似商品提供方法、ディープラーニング基盤の類似商品提供装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-22

(45)【発行日】2022-01-18

(54)【発明の名称】ディープラーニング基盤の類似商品提供方法、ディープラーニング基盤の類似商品提供装置、及びプログラム

(51)【国際特許分類】

   G06Q 30/06 20120101AFI20220111BHJP

   G06T 7/00 20170101ALI20220111BHJP

【ＦＩ】

G06Q30/06 340

G06T7/00 350C

【請求項の数】 16

(21)【出願番号】P 2020023644

(22)【出願日】2020-02-14

(65)【公開番号】P2020135888

(43)【公開日】2020-08-31

【審査請求日】2020-02-14

(31)【優先権主張番号】10-2019-0017009

(32)【優先日】2019-02-14

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】313011434

【氏名又は名称】エヌエイチエヌ コーポレーション

【住所又は居所原語表記】（Ｓａｍｐｙｅｏｎｇ－ｄｏｎｇ），１６，Ｄａｅｗａｎｇｐａｎｇｙｏ－ｒｏ ６４５ ｂｅｏｎ－ｇｉｌ，Ｂｕｎｄａｎｇ－ｇｕ，Ｓｅｏｎｇｎａｍ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000408

【氏名又は名称】特許業務法人高橋・林アンドパートナーズ

(72)【発明者】

【氏名】チョ，ミョン グン

【審査官】岸 健司

(56)【参考文献】

【文献】特開２０１７－２２００１９（ＪＰ，Ａ）

【文献】国際公開第２０１８／１０２９１９（ＷＯ，Ａ１）

【文献】特開２０１８－１６５９２６（ＪＰ，Ａ）

【文献】中国特許出願公開第１０７４０８１１９（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

ショッピングモールサーバのデータ処理部でディープラーニングに基づいて類似商品を提供するために行う方法であって、
ショッピングモールに登録されたアイテムに関連するアイテムイメージ及びアイテム情報を取得し、
前記アイテムイメージをオブジェクトディテクションして、少なくとも１つ以上のオブジェクトと、前記オブジェクトが占める領域に対するバウンディングボックスと、を検出し、
前記アイテム情報に基づいて、前記少なくとも１つ以上の検出されたオブジェクトから前記アイテムに関連したオブジェクトに対するバウンディングボックスを決定し、
前記決定されたバウンディングボックス内イメージを抽出してメインバウンディングボックスイメージを生成し、
前記メインバウンディングボックスイメージをパディング処理してパディングイメージを生成し、
前記パディングイメージに含まれるオブジェクトに対する特徴を特定する変数である特徴ベクトルを抽出するディープラーニングニューラルネットワークに前記パディングイメージを入力することによって前記パディングイメージに対する特徴ベクトルを抽出し、
前記特徴ベクトルを前記アイテムにマッチングしてデータベースに格納し、
前記データベースの類似商品検索サービスを提供すること、
を含むディープラーニング基盤の類似商品提供方法。

【請求項2】

前記アイテムイメージをオブジェクトディテクションして、少なくとも１つ以上のオブジェクトと、前記オブジェクトが占める領域に対するバウンディングボックスと、を検出することは、
前記アイテムイメージをファッションディテクションして、少なくとも１つ以上のファッション関連オブジェクトと、前記ファッション関連オブジェクトが占める領域に対するバウンディングボックスと、を検出することを含む請求項１に記載のディープラーニング基盤の類似商品提供方法。

【請求項3】

前記アイテム情報に基づいて、前記少なくとも１つ以上の検出されたオブジェクトから前記アイテムに関連したオブジェクトに対するバウンディングボックスを決定することは、
前記検出されたファッション関連オブジェクトのうち、前記アイテムに関連したオブジェクトに対するバウンディングボックスを決定することを含む請求項２に記載のディープラーニング基盤の類似商品提供方法。

【請求項4】

前記決定されたバウンディングボックス内イメージを抽出してメインバウンディングボックスイメージを生成することは、
前記アイテムに関連したオブジェクトとして決定されたバウンディングボックスが複数個である場合、前記複数個のバウンディングボックスをマージすることと、前記マージされたバウンディングボックス内イメージを抽出することとを含む請求項３に記載のディープラーニング基盤の類似商品提供方法。

【請求項5】

前記パディングイメージを生成することは、
前記メインバウンディングボックスイメージを所定のサイズに変更し、
前記サイズが変更されたメインバウンディングボックスイメージ上にパッドイメージを追加するパディング処理を行うこと、
を含む請求項１に記載のディープラーニング基盤の類似商品提供方法。

【請求項6】

前記パディングイメージに対する特徴ベクトルを抽出することは、
テクスチャ（Ｔｅｘｔｕｒｅ）、ファブリック（Ｆａｂｒｉｃ）、シェープ（Ｓｈａｐｅ）、スタイル（Ｓｔｙｌｅ）、及びカラー（Ｃｏｌｏｒ）パラメータのうち、少なくともいずれか１つ以上のパラメータに対する特徴ベクトルを、ディープラーニングニューラルネットワークを利用して抽出することを含む請求項１に記載のディープラーニング基盤の類似商品提供方法。

【請求項7】

前記抽出された特徴ベクトルの次元を縮小して統合特徴ベクトルを生成することをさらに含み、
前記特徴ベクトルを前記アイテムにマッチングしてデータベースに格納することは、
前記統合特徴ベクトルに前記アイテム情報をマッチングしてデータベースに格納することを含む請求項１に記載のディープラーニング基盤の類似商品提供方法。

【請求項8】

ショッピングモールサーバのデータ処理部で行い、ディープラーニングを介して類似商品を検出して提供する方法であって、
ユーザが選択したアイテムに関連するアイテムイメージ及びアイテム情報を取得し、
前記アイテムイメージをオブジェクトディテクションして少なくとも１つ以上のオブジェクトと、前記オブジェクトが占める領域に対するバウンディングボックスを検出し、
前記アイテム情報に基づいて、前記検出された少なくとも１つ以上のオブジェクトから検索対象アイテムを決定し、
前記検索対象アイテムと連関したオブジェクトのバウンディングボックス内イメージを抽出してメインバウンディングボックスイメージを生成し、
前記メインバウンディングボックスイメージをパディング処理してパディングイメージを生成し、
前記パディングイメージに含まれるオブジェクトに対する特徴を特定する変数である特徴ベクトルを抽出するディープラーニングニューラルネットワークに前記パディングイメージを入力することによって前記パディングイメージに対する特徴ベクトルを抽出し、
前記特徴ベクトルとの類似度が予め設定された基準以上である特徴ベクトルを有するアイテムをデータベースで検出して類似アイテムとして選定し、
前記選定された類似アイテムを前記ユーザの端末を介して提供すること、
を含むディープラーニング基盤の類似商品提供方法。

【請求項9】

前記アイテムイメージ及びアイテム情報を取得することは、
端末と連動してショッピングモールに掲示された複数のアイテムのうち、前記ユーザの入力によって選択された前記アイテムのアイテムイメージとアイテム情報を取得し、
前記端末と連動し、ショッピングモールで提供するインターフェースを介して前記ユーザが入力したイメージに基づいて、前記アイテムイメージとアイテム情報を取得すること、
を含む請求項８に記載のディープラーニング基盤の類似商品提供方法。

【請求項10】

前記検出されたオブジェクトに基づいて検索対象アイテムを決定することは、
端末を介して少なくとも１つ以上の前記バウンディングボックスを含むアイテムイメージを表示し、
前記表示されたバウンディングボックスを含むアイテムイメージに基づいて、前記ユーザが選択したバウンディングボックスに含まれた前記オブジェクトを前記検索対象アイテムとして決定すること、
をさらに含む請求項８に記載のディープラーニング基盤の類似商品提供方法。

【請求項11】

前記アイテムをデータベースで検出して類似アイテムとして選定することは、
前記類似度が予め設定された基準以上である上位ｎ個のアイテムを前記データベースから検出することを含む請求項８に記載のディープラーニング基盤の類似商品提供方法。

【請求項12】

請求項１乃至１１のいずれか一項に記載のディープラーニング基盤の類似商品提供方法を、
ショッピングモールサーバのプロセッサに実行させるためのプログラム。

【請求項13】

ショッピングモールサーバとショッピングサービス関連データを送受信する通信部と、
ショッピングサービスを提供するためのデータを格納する格納部と、
前記ショッピングサービスでユーザが選択した商品のイメージを出力するディスプレイ部と、
前記ショッピングサービスを提供する過程で前記商品のイメージと関連した類似商品のイメージを提供する機能を果たす制御部と、
を備え、
前記制御部は、
ユーザが選択した商品に関連する商品イメージ及び商品情報を取得し、
前記商品イメージをオブジェクトディテクションして少なくとも１つ以上のオブジェクトと、前記オブジェクトが占める領域に対するバウンディングボックスと、を検出し、
前記商品情報に基づいて、前記検出された少なくとも１つ以上のオブジェクトから検索対象商品を決定し、
前記検索対象商品と連関したオブジェクトのバウンディングボックス内イメージを抽出してメインバウンディングボックスイメージを生成し、
前記メインバウンディングボックスイメージをパディング処理してパディングイメージを生成し、
前記パディングイメージに含まれるオブジェクトに対する特徴を特定する変数である特徴ベクトルを抽出するディープラーニングニューラルネットワークに前記パディングイメージを入力することによって前記パディングイメージに対して特徴ベクトルを抽出し、
前記特徴ベクトルとの類似度が予め設定された基準以上である特徴ベクトルを有する商品をデータベースで検出して類似商品として選定し、
前記選定された類似商品を、前記ディスプレイ部を介して出力するように制御するディープラーニング基盤の類似商品提供装置。

【請求項14】

前記制御部は、
前記ディスプレイ部に出力された複数の商品イメージのうち、前記ユーザの入力によって選択された前記商品の商品イメージと商品情報を取得するように制御する請求項１３に記載のディープラーニング基盤の類似商品提供装置。

【請求項15】

前記制御部は、
前記ディスプレイ部を介して少なくとも１つ以上の前記バウンディングボックスを含む商品イメージを表示し、
前記表示されたバウンディングボックスを含む商品イメージに基づいて、前記ユーザが選択したバウンディングボックスに含まれた前記オブジェクトを前記検索対象商品として決定するように制御する請求項１４に記載のディープラーニング基盤の類似商品提供装置。

【請求項16】

前記制御部は、
前記通信部を介して前記類似度が予め設定された基準以上である上位ｎ個の商品を前記ショッピングモールサーバのデータベースから検出するように制御する請求項１３に記載のディープラーニング基盤の類似商品提供装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ディープラーニング基盤の類似商品提供方法に関する。

【0002】

より詳細には、商品イメージのオブジェクト領域をディープラーニングして類似商品を提供する方法に関する。

【背景技術】

【0003】

訓練データ（Ｔｒａｉｎｉｎｇ Ｄａｔａ）を介して学習された属性に基づいて予測及び／又は分類するアルゴリズムを研究する分野を、マシンラーニング（Ｍａｃｈｉｎ Ｌｅａｒｎｉｎｇ；機械学習）という。すなわち、ニューラルネットワーク（Ｎｅｕｒａｌ ｎｅｔｗｏｒｋと、人工神経網）は、マシンラーニングの１つの分野である。

【0004】

従来から、このようなニューラルネットワークの正確性を高めるための学者達の研究が多くなされている。特に、最適化理論（Ｏｐｔｉｍｉｚａｔｉｏｎ）と様々なカーネル関数（ｋｅｒｎｅｌ ｆｕｎｃｔｉｏｎ）を活用して学習モデルの正確性を高めた。また、ビッグデータ（Ｂｉｇ－Ｄａｔａ）技術が登場することで、多くのデータをモデリングに使用することができ、正確性をさらに高める効果を得ることができる。

【0005】

ここで、ニューラルネットワークにビッグデータを結合することを、ディープラーニング（Ｄｅｅｐ－Ｌｅａｒｎｉｎｇ）という。

【0006】

具体的に、ディープラーニングとは、種々の非線形変換技法の組み合わせを介して高い水準の抽象化（ａｂｓｔｒａｃｔｉｏｎｓ、多量のデータや複雑な資料の中で核心的な内容または機能を要約する作業）を試みるマシンラーニングアルゴリズムの集合であると定義される。

【0007】

すなわち、ディープラーニングによれば、コンピュータが人間に代えて膨大な量のデータを分析し、事物やデータを群集化したり、分類したりすることができる。

【0008】

一方、現代社会では、このようなディープラーニングを含む様々な情報通信技術（ＩＣＴ、Ｉｎｆｏｒｍａｔｉｏｎ＆Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｔｅｃｈｎｏｌｏｇｉｅｓ）の発展とともに、オンラインショッピングモール産業が日々に成長している。

【0009】

オンラインショッピングモール（Ｏｎｌｉｎｅ ｓｈｏｐｐｉｎｇ ｍａｌｌ）とは、インターネットのようなネットワークを介してオンライン上で商品を購買し、販売できる場所を意味する。

【0010】

このようなオンラインショッピングモールは、近年、個体数が急激に増加するにつれて、ショッピングモールの競争力を増大させることができる差別化されたサービスを要求しており、これを提供するための様々なソリューションを必要とすることが実情である。

【0011】

具体的に、オンラインショッピングモールは、ユーザが購買しようとする商品が売り切れた場合、当該ユーザのオンラインショッピングが終了する頻度が高く、購買率が低下する問題を有しており、このような問題を解決するためのサービスの導入を必要としている。

【0012】

また、オンラインショッピングモールで商品を検索する場合、ユーザは、選択した特定商品と類似した商品が当該ショッピングモールにさらに存在するかを確認したいニーズ（Ｎｅｅｄｓ）を有しているが、オンラインショッピングモールに存在する膨大な量の商品に対してユーザが望む商品と関連した類似商品を便利に確認できる技術が不十分であり、これに対する解決策が求められている。

【0013】

また、ユーザがオンラインショッピングモール上で商品を検索する際、商品に対する名称を知らず、既存の検索方法（例えば、カテゴリー、キーワード検索等）では商品を探すことが難しい場合があり、このような問題を解決できる技術の導入が必要なことが実情である。

【0014】

すなわち、当該技術分野においては、現在、オンラインショッピングモールの基本的な使用性を便利にし、既存の方法とは差別化された検索方法を提供して、オンラインショッパー（Ｏｎｌｉｎｅ ｓｈｏｐｐｅｒ）達の満足度を高めるための技術開発が求められている。

【先行技術文献】

【特許文献】

【0015】

【文献】韓国登録特許第１０－１８５２５９８号

【発明の概要】

【発明が解決しようとする課題】

【0016】

本発明は、オンラインショッピングモールの基本的な使用性を便利にし、既存の方法とは差別化された検索方法を提供して、ショッピングモールの競争力を増大させることができるディープラーニング基盤の類似商品提供サービスを実現することを目的の一つとする。

【0017】

ただし、本発明の一実施形態がなそうとする技術的課題は、上記したような技術的課題に限定されず、さらに他の技術的課題が存在しうる。

【課題を解決するための手段】

【0018】

本発明の一実施形態に係るディープラーニング基盤の類似商品提供方法は、ショッピングモールサーバのデータ処理部でディープラーニングに基づいて類似商品を提供するために行う方法であって、ショッピングモールに登録されたアイテムに対するアイテムイメージとアイテム情報を取得し、アイテムイメージをオブジェクトディテクションして少なくとも１つ以上のオブジェクトに対するバウンディングボックスを検出し、アイテム情報に基づいて、アイテムに関連したオブジェクトに対するバウンディングボックスを決定し、決定されたバウンディングボックス内イメージを抽出してメインバウンディングボックスイメージを生成し、メインバウンディングボックスイメージをパディング処理してパディングイメージを生成し、パディングイメージに対する特徴ベクトルを抽出し、特徴ベクトルをアイテムにマッチングしてデータベースに格納し、データベースの類似商品検索サービスを提供すること、を含む。

【0019】

このとき、オブジェクトに対するバウンディングボックスを検出することは、アイテムイメージをファッションディテクションして少なくとも１つ以上のファッション関連オブジェクトとファッション関連オブジェクトが占める領域に対するバウンディングボックスを抽出することを含む。

【0020】

また、アイテム情報に基づいて、アイテムに関連したオブジェクトに対するバウンディングボックスを決定することは、検出されたファッション関連オブジェクトのうち、アイテムに関連したオブジェクトに対するバウンディングボックスを決定することを含む。

【0021】

また、決定されたバウンディングボックス内イメージを抽出してメインバウンディングボックスイメージを生成することは、アイテムに関連したオブジェクトとして決定されたバウンディングボックスが複数個である場合、複数のバウンディングボックスをマージすることと、マージされたバウンディングボックス内イメージを抽出することとを含む。

【0022】

また、パディングイメージを生成することは、メインバウンディングボックスイメージを所定のサイズに変更し、サイズ変更されたメインバウンディングボックスイメージ上にパッドイメージを追加するパディング処理を行うことを含む。

【0023】

また、パディングイメージに対する特徴ベクトルを抽出することは、テクスチャ（Ｔｅｘｔｕｒｅ）、ファブリック（Ｆａｂｒｉｃ）、シェープ（Ｓｈａｐｅ）、スタイル（Ｓｔｙｌｅ）、及びカラー（Ｃｏｌｏｒ）パラメータのうち、少なくともいずれか１つ以上のパラメータに対する特徴ベクトルを、ディープラーニングニューラルネットワークを利用して抽出することを含む。

【0024】

また、抽出された特徴ベクトルの次元を縮小して統合特徴ベクトルを生成することをさらに含み、特徴ベクトルをアイテムにマッチングしてデータベースに格納することは、統合特徴ベクトルにアイテム情報をマッチングしてデータベースに格納することを含む。

【0025】

また、本発明の一実施形態に係るディープラーニング基盤の類似商品提供方法は、ショッピングモールサーバのデータ処理部で行い、ディープラーニングを介して類似商品を検出して提供する方法であって、ユーザが選択したアイテムのアイテムイメージとアイテム情報を取得し、アイテムイメージをオブジェクトディテクションして少なくとも１つ以上のオブジェクトを検出し、オブジェクトの領域に対するバウンディングボックスを生成し、検出されたオブジェクトに基づいて検索対象アイテムを決定し、検索対象アイテムと連関したオブジェクトのバウンディングボックス内イメージを抽出してメインバウンディングボックスイメージを生成し、メインバウンディングボックスイメージをパディング処理してパディングイメージを生成し、パディングイメージをディープラーニングして特徴ベクトルを抽出し、特徴ベクトルとの類似度が予め設定された基準以上である特徴ベクトルを有するアイテムをデータベースで検出して類似アイテムとして選定し、選定された類似アイテムをユーザの端末を介して提供することを含む。

【0026】

このとき、アイテムイメージとアイテム情報を取得することは、端末と連動してショッピングモールに掲示された複数のアイテムのうち、ユーザの入力によって選択されたアイテムのアイテムイメージとアイテム情報を取得し、端末と連動し、ショッピングモールで提供するインターフェースを介してユーザが入力したイメージに基づいて、アイテムイメージとアイテム情報を取得することを含む。

【0027】

また、検出されたオブジェクトに基づいて検索対象アイテムを決定することは、アイテム情報に基づいて検索対象アイテムを自動に決定することを含む。

【0028】

また、検出されたオブジェクトに基づいて検索対象アイテムを決定することは、端末を介して少なくとも１つ以上のバウンディングボックスを含むアイテムイメージを表示し、表示されたバウンディングボックスを含むアイテムイメージに基づいて、ユーザが選択したバウンディングボックスに含まれたオブジェクトを検索対象アイテムとして決定することをさらに含む。

【0029】

また、アイテムをデータベースで検出して類似アイテムとして選定することは、類似度が予め設定された基準以上である上位ｎ個のアイテムをデータベースから検出することを含む。

【0030】

本発明の一実施形態に係るプログラムは、本発明の一実施形態に係るディープラーニング基盤の類似商品提供方法を、ショッピングモールサーバのプロセッサに実行させる。

【0031】

また、本発明の一実施形態に係るディープラーニング基盤の類似商品提供方法は、ショッピングモールサーバとショッピングサービス関連データを送受信する通信部と、ショッピングサービスを提供するためのデータを格納する格納部と、ショッピングサービスでユーザが選択した商品のイメージを出力するディスプレイ部と、ショッピングサービスを提供する過程で商品のイメージと関連した類似商品のイメージを提供する機能を果たす制御部とを備え、制御部は、ユーザが選択した商品の商品イメージと商品情報を取得し、商品イメージをオブジェクトディテクションして少なくとも１つ以上のオブジェクトを検出し、オブジェクトの領域に対するバウンディングボックスを生成し、検出されたオブジェクトに基づいて検索対象商品を決定し、検索対象商品と連関したオブジェクトのバウンディングボックス内イメージを抽出してメインバウンディングボックスイメージを生成し、メインバウンディングボックスイメージをパディング処理してパディングイメージを生成し、パディングイメージをディープラーニングして特徴ベクトルを抽出し、特徴ベクトルとの類似度が予め設定された基準以上である特徴ベクトルを有する商品をデータベースで検出して類似商品として選定し、選定された類似商品を、ディスプレイ部を介して出力するように制御する。

【0032】

このとき、制御部は、ディスプレイ部に出力された複数の商品イメージのうち、ユーザの入力によって選択された商品の商品イメージと商品情報を取得するように制御する。

【0033】

また、制御部は、商品情報に基づいて商品イメージに含まれた複数の商品のうち１つを検索対象商品として自動に決定するように制御する。

【0034】

また、制御部は、ディスプレイ部を介して少なくとも１つ以上のバウンディングボックスを含む商品イメージを表示し、表示されたバウンディングボックスを含む商品イメージに基づいてユーザが選択したバウンディングボックスに含まれたオブジェクトを検索対象商品として決定するように制御する。

【0035】

また、制御部は、通信部を介して類似度が予め設定された基準以上である上位ｎ個の商品をショッピングモールサーバのデータベースから検出するように制御する。

【発明の効果】

【0036】

本発明の一実施形態に係るディープラーニング基盤の類似商品提供方法は、ユーザが選択した商品のイメージに対するオブジェクト領域をディープラーニングして、当該商品と類似した商品を検出して提供することにより、オンラインショッピングモールに対する基本的な使用性を便利にし、既存の方法とは差別化された検索方法を提供してショッピングモールの競争力を増大させることができるという効果がある。

【0037】

具体的に、本発明の一実施形態に係るディープラーニング基盤の類似商品提供方法は、ユーザが選択した商品と類似した商品を少なくとも１つ以上に検出して提供することにより、似ている製品に分類された商品を便利に確認させて、オンラインショッピングモールに対するユーザの満足度を向上させることができるという効果がある。

【0038】

また、本発明の一実施形態に係るディープラーニング基盤の類似商品提供方法は、ユーザが選択した商品と類似した商品を検出して提供することにより、選択した商品と類似した商品を容易かつ早く確認しようとするユーザのニーズ（Ｎｅｅｄｓ）反映を極大化し、商品を探すプロセスを最小化できるという効果がある。

【0039】

また、本発明の一実施形態に係るディープラーニング基盤の類似商品提供方法は、ユーザが選択した商品と類似した商品を検出して提供することにより、ユーザが購買しようとする商品が売り切れた場合であっても、当該商品と類似した商品を確認させて購買するように導くことができるという効果がある。

【0040】

また、本発明の一実施形態に係るディープラーニング基盤の類似商品提供方法は、ユーザが入力したイメージに基づいてディープラーニングを行い、類似商品を検出する機能を提供することにより、商品に対する名称を知らず、既存の検索方法（例えば、カテゴリー、キーワード検索等）では望みの商品を探すことが難しい場合であっても、差別化された検索方法にて当該商品を容易に探すようにすることができる。

【0041】

また、本発明の一実施形態に係るディープラーニング基盤の類似商品提供方法は、トレーニング（ｔｒａｉｎｉｎｇ）されたディープラーニングニューラルネットワークを利用して商品イメージに対するデータ処理を行うことにより、選択した商品と類似した商品を検出して提供するサービスをニューラルネットワークとビッグデータに基づいて正確かつ早く提供することができる。

【0042】

ただし、本発明で得ることができる効果は、以上で言及した効果に制限されず、言及していないさらに他の効果は、以下に説明する記載から明確に理解される。

【図面の簡単な説明】

【0043】

【図1】本発明の一実施形態に係る端末の内部ブロック図を示す。

【図2】本発明の一実施形態に係るショッピングモールサーバの内部ブロック図を示す。

【図3】本発明の一実施形態に係るディープラーニングに基づいて類似商品を提供するためのデータベースを生成する方法を説明するためのフローチャートである。

【図4】本発明の一実施形態に係るアイテムイメージをオブジェクトディテクション（Ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）してバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）を生成する一例である。

【図5】本発明の一実施形態に係るメインバウンディングボックス（Ｍａｉｎ Ｂｏｕｎｄｉｎｇ Ｂｏｘ）イメージを生成する過程を説明するための図である。

【図6】本発明の一実施形態に係るパディングイメージを生成する過程を説明するための図である。

【図7】本発明の一実施形態に係る特徴ベクトルを抽出する様子の一例である。

【図8】本発明の一実施形態に係るディープラーニングに基づいてデータベースから類似商品を検出して提供する方法を説明するためのフローチャートである。

【図9】本発明の一実施形態に係る端末を介してのユーザの入力によって検索対象アイテムを選択する一例である。

【発明を実施するための形態】

【0044】

本発明は、様々な変換を加えることができ、種々の実施形態を有することができるところ、特定の実施形態を図面に例示し、詳細な説明に詳しく説明する。本発明の効果及び特徴、そして、それらを達成する方法は、図面とともに詳しく後述されている実施形態を参照すれば明確になるであろう。しかし、本発明は、以下において開示される実施形態等に限定されるものではなく、様々な形態で実現されることができる。

【0045】

以下の実施形態において、第１、第２などの用語は、限定的な意味ではなく、１つの構成要素を他の構成要素と区別する目的として使用された。また、単数の表現は、文脈上、明白に異なるように意味しない限り、複数の表現を含む。また、「含む」または「有する」などの用語は、明細書上に記載された特徴または構成要素が存在することを意味するものであり、１つ以上の他の特徴または構成要素が付加される可能性を予め排除するものではない。また、図面では、説明の都合上、構成要素等が、そのサイズが誇張または縮小され得る。例えば、図面に示された各構成のサイズ及び厚さは、説明の都合上、任意に示したので、本発明が必ずしも図示されたところに限定されない。

【0046】

以下、添付された図面を参照して本発明の一実施形態を詳しく説明し、図面を参照して説明する場合、同一であるか、対応する構成要素は同様の図面符号を付し、これについての重複する説明を省略する。

【0047】

（端末）
まず、本発明の一実施形態において端末は、オンラインショッピングモールを利用できるモバイル及び／又はウェブ環境をユーザに提供することができる。

【0048】

また、端末は、ショッピングモールサーバとデータを送受信してディープラーニングに基づいて類似商品（アイテム：Ｉｔｅｍ）を提供するサービスを行うオンラインショッピングモールをユーザに提供することができる。

【0049】

ここで、アイテムとは、オンラインショッピングモールで販売する商品を意味する。

【0050】

さらに、実施形態において端末は、オンラインショッピングモール上で提供される各種インターフェース（例えば、アイテム選択インターフェース、検索インターフェース、及び／又はバウンディングボックス選択インターフェース等）を介してユーザの入力を受けることができる。

【0051】

具体的に、本発明の一実施形態においてこのような端末は、ディープラーニングに基づいてユーザが選択したアイテムと類似したアイテムを提供するサービスを行うショッピングモールアプリケーションがインストールされた携帯用端末であるスマートフォン、デジタル放送用端末機、携帯電話、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、及びスマートグラス（ｓｍａｒｔ ｇｌａｓｓ）などを含むことができる。

【0052】

また、端末は、固定型端末であるデスクトップＰＣ、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）のようなパーソナルコンピュータなどのように、有／無線通信に基づき、ディープラーニングに基づいて類似アイテムを提供するサービスを行うためのアプリケーションが設けられた装置をさらに備えることができる。

【0053】

以下、実施形態において端末は、携帯型端末に限定して説明する。

【0054】

図１は、本発明の一実施形態に係る端末の内部ブロック図である。

【0055】

図１に示すように、端末１００は、通信部１１０、入力部１２０、ディスプレイ部１３０、格納部１４０、及び制御部１５０を備えることができる。

【0056】

まず、通信部１１０は、ディープラーニングに基づいて類似アイテムを提供するサービスを行うための各種データ及び／又は情報などを送受信できる。

【0057】

実施形態において通信部１１０は、ショッピングモールサーバ２００及び／又は他のユーザの端末１００と通信し、ディープラーニングに基づいて類似アイテムを提供するサービスと関連したデータを送受信できる。

【0058】

このような通信部１１０は、移動通信のための技術標準または通信方式（例えば、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉ Ａｃｃｅｓｓ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＨＳＵＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｕｐｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ－Ａ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ－Ａｄｖａｎｃｅｄ）等）によって構築された移動通信網上で基地局、外部の端末１００、任意のサーバのうち、少なくとも１つと無線信号を送受信できる。

【0059】

次に、入力部１２０は、ディープラーニングに基づいて類似アイテムを提供するサービスと関連したユーザの入力を検知できる。

【0060】

実施形態として、入力部１２０は、オンラインショッピングモール上でアイテムを選択するアイテム選択インターフェースを介してのユーザの入力、アイテム検索インターフェースを介してのユーザの入力、及び／又はバウンディングボックス選択インターフェースを介してのユーザの入力などを検知できる。

【0061】

次に、ディスプレイ部１３０は、ディープラーニングに基づいて類似アイテムを提供するサービスと関連した様々な情報をグラフィックイメージとして出力することができる。

【0062】

実施形態においてディスプレイ部１３０は、オンラインショッピングモールウェブサイトに掲示された各種イメージ及び／又はテキストなどをグラフィックイメージとして表示することができる。

【0063】

このようなディスプレイ部１３０は、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）、薄膜トランジスタ液晶ディスプレイ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ－ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＴＦＴ ＬＣＤ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＯＬＥＤ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）、３次元ディスプレイ（３Ｄ ｄｉｓｐｌａｙ）、電子インキディスプレイ（ｅ－ｉｎｋ ｄｉｓｐｌａｙ）のうち、少なくとも１つを含むことができる。

【0064】

また、入力部１２０及びディスプレイ部１３０が接続されてタッチスクリーン（ｔｏｕｃｈ ｓｃｒｅｅｎ）として実現される。

【0065】

次に、格納部１４０は、本発明の一実施形態に係るディープラーニングに基づいて類似アイテムを提供するサービスを行う各種応用プログラム、データ、及び命令語のうち、いずれか１つ以上を格納することができる。

【0066】

このような格納部１４０は、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、フラッシュドライブ、ハードドライブなどのような様々な格納機器であってもよいし、インターネット（ｉｎｔｅｒｎｅｔ）上で格納部１４０の格納機能を果たすウェブストレージ（ｗｅｂｓｔｏｒａｇｅ）であってもよい。

【0067】

最後に、制御部１５０は、ディープラーニングに基づいて類似アイテムを提供するサービスを行うために、前述した各構成要素の全般的な動作をコントロールできる。

【0068】

このような制御部１５０は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、制御機（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ－ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他の機能実行のための電気的ユニットのうち、少なくとも１つを利用して実現されることができる。

【0069】

ただし、図１に示された構成要素等は、端末１００を実現するにあたって必須的なものではなく、本明細書上で説明される端末１００は、上記で挙げられた構成要素等より多いか、または少ない構成要素を有することができる。

【0070】

（ショッピングモールサーバ）
一方、本発明の一実施形態においてショッピングモールサーバ２００は、ディープラーニングに基づいて類似アイテムを提供するサービスを行うオンラインショッピングモールをユーザに提供することができる。

【0071】

また、実施形態においてショッピングモールサーバ２００は、ディープラーニングに基づき、類似アイテムを検出して提供するための一連のデータ処理を行うことができる。

【0072】

具体的に、ショッピングモールサーバ２００は、アイテムイメージをオブジェクトディテクション（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）して、当該イメージ内でオブジェクトを検出でき、検出されたオブジェクトに基づいてバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）を生成できる。なお、オブジェクトディテクションは、物体検出ともいう。

【0073】

ここで、アイテムイメージとは、オンラインショッピングモールで販売する商品を撮影した映像でありうる。

【0074】

より具体的に、ショッピングモールサーバ２００は、アイテムイメージでオブジェクト（Ｏｂｊｅｃｔ）領域を認識し、オブジェクトがある概略的な領域を四角い箱（矩形）で表されたバウンディングボックスとして抽出（ｃｒｏｐ）することができる。オブジェクトがある概略的な領域とは、例えば、図形をちょうど囲うのに必要な大きさの領域である。

【0075】

具体的に、ショッピングモールサーバ２００は、ファッションに関連したオブジェクトと、オブジェクトが占める領域を認識して、ファッションオブジェクト別にバウンディングボックスを抽出するファッションディテクション（ｆａｓｈｉｏｎ ｄｅｔｅｃｔｉｏｎ）を行うことができる。

【0076】

例えば、ショッピングモールサーバ２００は、ファッションディテクション部を含むことができ、ファッションディテクション部は、入力されたアイテムイメージを少なくとも１回コンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）を通過させる第１のコンボリューションニューラルネットワーク（Ｃｏｎｖ１）と、ロールプーリングレイヤとソフトマックス、バウンディングボックスリグレッサで構成された第２のコンボリューションニューラルネットワーク（Ｃｏｎｖ２）とを含むことができる。

【0077】

具体的に、第１のコンボリューションニューラルネットワーク（Ｃｏｎｖ１）は、全体イメージ及びオブジェクト候補領域を同時に入力として受け入れることができる。

【0078】

そして、第１のコンボリューションネットワークは、コンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）とマックスプーリングレイヤ（ｍａｘ－ｐｏｏｌｉｎｇ ｌａｙｅｒ）を介してイメージ全体を一度に処理し、有意義なオブジェクトを各々括って特徴領域で表した特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を生成できる。

【0079】

次に、第２のコンボリューションネットワークは、各オブジェクト候補領域に対してロールプーリングレイヤ（ＲｏＩ Ｐｏｏｌｉｎｇ ｌａｙｅｒ）を通過させて、特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）から特徴ベクトル（ｆｉｘｅｄ－ｌｅｎｇｔｈ ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を抽出できる。

【0080】

ここで、実施形態に係る特徴ベクトルとは、当該イメージ上のオブジェクトに対する特徴を特定する変数を意味する。

【0081】

そして、第２のコンボリューションネットワークは、抽出した特徴ベクトルをフリーコネクティッドレイヤ（Ｆｕｌｌｙ－Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ、ＦＣｓ）に印加した後、フリーコネクティッドレイヤの出力データを最終端に配置されたソフトマックス（ｓｏｆｔｍａｘ）に印加して各客体の種類を特定できる。

【0082】

このとき、第２のコンボリューションネットワークは、オブジェクトの種類のうち、ファッション関連オブジェクトのみを抽出するように学習される。

【0083】

また、第２のコンボリューションネットワークは、フリーコネクティッドレイヤの出力データをバウンディングボックスリグレッサ（ｂｂｏｘ ｒｅｇｒｅｓｓｏｒ）に印加してファッション関連オブジェクトが占める領域を概略的に表すバウンディングボックスを抽出できる。

【0084】

このような第１のコンボリューションネットワークと第２のコンボリューションネットワークとで構成されたファッションディテクション部は、オブジェクトの種類がファッション関連アイテムであることを特定し、当該アイテムが占める特徴領域をバウンディングボックスとして抽出することができる。

【0085】

言い換えれば、ショッピングモールサーバ２００は、ディープラーニングに基づいて類似アイテムを提供するためのプロセスで利用されるニューラルネットワークを、ファッション（Ｆａｓｈｉｏｎ）アイテムに最適化され得るようにトレーニング（ｔｒａｉｎｉｎｇ）して使用することができ、トレーニングされたニューラルネットワークを介してアイテムイメージ上のオブジェクトの種類がファッション関連アイテムであることを特定し、当該アイテムが占める特徴領域をバウンディングボックスとして抽出することができる。

【0086】

一方、図２は、本発明の一実施形態に係るショッピングモールサーバ２００の内部ブロック図を示す。

【0087】

図２に示すように、ショッピングモールサーバ２００は、データ送受信部２１０、データ処理部２２０、及びデータベース２３０を備えることができる。

【0088】

まず、データ送受信部２１０は、端末１００及び／又は外部サーバとディープラーニングに基づいて類似アイテムを提供するサービスを行うための各種データを、ネットワークを介してやり取りすることができる。

【0089】

また、データ処理部２２０は、ディープラーニングに基づいて類似アイテムを提供するサービスを行うための一連のデータ処理を行うことができる。

【0090】

このとき、データ処理部２２０は、ディープラーニングニューラルネットワーク（Ｄｅｅｐ ｒｕｎｎｉｎｇ Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）と連動してイメージに基づいたディープラーニングを行うことができる。具体的に、データ処理部２２０は、ファッションディテクション関連ディープラーニング、バウンディングボックス内イメージの特徴ベクトルを抽出するためのディープラーニングなどを行うことができる。

【0091】

ここで、実施形態によってディープラーニングニューラルネットワークは、ショッピングモールサーバ２００に直接設けられたり、ショッピングモールサーバ２００とは別の装置としてイメージを受信したりしてディープラーニングを行うことができる。

【0092】

以下、本発明の一実施形態では、ディープラーニングニューラルネットワークがショッピングモールサーバ２００に直接設けられてディープラーニングを行う実施形態を基準に説明する。

【0093】

具体的に、データ処理部２２０は、ディープラーニングニューラルネットワーク駆動プログラムをデータベース２３０から読み出すことができ、読み出された駆動プログラムに構築されたディープラーニングニューラルネットワークシステムによってディープラーニングを行うことができる。

【0094】

また、データ処理部２２０は、ユーザが端末１００を介してショッピングモールサーバに接続し、商品を見て購買するための一連の過程も処理することができる。

【0095】

このとき、データ処理部２２０は、ユーザがショッピング進行中、類似商品検索を要求したり、特定商品を見るとき、商品関連類似商品をディープラーニングに基づいて検索して提供することにより、類似商品検索機能をユーザに提供することができる。

【0096】

このようなデータ処理部２２０は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、制御器（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ－ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他の機能実行のための電気的ユニットのうち、少なくとも１つを利用して実現されることができる。

【0097】

一方、データベース２３０は、ディープラーニングに基づいて類似アイテムを提供するサービスと関連した各種データを格納することができる。

【0098】

実施形態として、データベース２３０は、ディープラーニングニューラルネットワーク駆動プログラムを格納することができ、データ処理部２２０の要求によって提供することができる。

【0099】

このようなデータベース２３０は、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、フラッシュドライブ、ハードドライブなどのような様々な格納機器であってもよい、インターネット（ｉｎｔｅｒｎｅｔ）上でデータベース２３０の格納機能を果たすウェブストレージ（ｗｅｂ ｓｔｏｒａｇｅ）であってもよい。

【0100】

（ディープラーニング基盤の類似商品提供方法）
以下、添付された図面を参照してディープラーニングに基づいて類似アイテムを提供する方法について詳細に説明しようとする。

【0101】

本発明の一実施形態に係るディープラーニング基盤の類似アイテム提供方法は、ディープラーニングを利用して類似アイテムを提供するためのデータベース２３０を生成する過程と、ディープラーニングを介して生成されたデータベース２３０から類似アイテムを検出してユーザに提供する過程とで実行される。

【0102】

（類似商品を提供するためのデータベースを生成する方法）
まず、図３は、本発明の一実施形態に係るディープラーニングに基づいて類似商品を提供するためのデータベース２３０を生成する方法を説明するためのフローチャートである。本発明の一実施形態に係るプログラムは、本発明の一実施形態に係るディープラーニングに基づいて類似商品を提供するためのデータベース２３０を生成する方法を、ショッピングモールサーバ２００のプロセッサに実行させる。

【0103】

以下において行われるディープラーニングに基づいて類似商品を提供するためのデータベース２３０の生成過程は、ショッピングモールサーバ２００のデータ処理部２２０（例えば、ショッピングモールサーバ２００コンピュータのプロセッサ）で行われることができる。

【0104】

以下では、説明の都合上、ショッピングモールサーバ２００のデータ処理部２２０をショッピングモールサーバ２００と称して説明する。

【0105】

図３に示すように、ショッピングモールサーバ２００は、オンラインショッピングモール（以下、ショッピングモール）に掲示されたアイテムに対するイメージの特徴ベクトルを抽出してデータベース化し、その後、特定アイテムの類似商品検索のためのデータベースとして活用することができる。

【0106】

具体的に、ショッピングモールサーバ２００は、まず、ショッピングモールに登録されたアイテムのイメージとアイテム情報を取得できる（Ｓ１０１）。

【0107】

ここで、アイテムは、ショッピングモールで販売する商品を意味し、アイテムイメージは、ショッピングモールで販売する商品を撮影した映像でありうる。

【0108】

また、アイテム情報とは、アイテムのカテゴリー、すなわち、上着、下着、水着、パーティードレス、及び／又はワンピースなどのようなアイテムが分類された製品群情報を含むことができる。

【0109】

続いて、アイテムイメージと情報を取得したショッピングモールサーバ２００は、取得されたアイテムイメージをオブジェクトディテクション（Ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）して、少なくとも１つ以上のバウンディングボックスを生成できる（Ｓ１０３）。

【0110】

具体的に、図４に示すように、ショッピングモールサーバ２００は、オブジェクトディテクション部を介してのディープラーニングに基づいて、取得されたアイテムイメージをオブジェクトディテクション（Ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）することができ、当該イメージ内で少なくとも１つ以上のオブジェクトを検出できる。

【0111】

そして、ショッピングモールサーバ２００は、検出されたオブジェクトに基づいて、当該オブジェクトがある概略的な領域を四角い箱（矩形）で表されたバウンディングボックスを少なくとも１つ以上抽出することができる。

【0112】

このとき、ショッピングモールサーバ２００は、ディープラーニングニューラルネットワークをファッション（Ｆａｓｈｉｏｎ）アイテムに最適化されるようにトレーニング（ｔｒａｉｎｉｎｇ）して使用することができ、トレーニングされたニューラルネットワークを介してアイテムイメージ上のオブジェクトの種類がファッション関連アイテムであることを特定し、当該アイテムが占める特徴領域をバウンディングボックスとして抽出することができる。

【0113】

すなわち、ショッピングモールサーバ２００は、アイテムイメージでファッション関連オブジェクトを検出でき、検出されたオブジェクトを表すイメージ領域を含むバウンディングボックスを生成できる。

【0114】

例えば、ショッピングモールサーバ２００は、ファッションアイテムに最適化されるようにトレーニングされたファッションディテクタ（Ｆａｓｈｉｏｎ Ｄｅｔｅｃｔｏｒ）を利用して、取得されたアイテムイメージをオブジェクトディテクション（Ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）して少なくとも１つ以上のバウンディングボックスを生成できる。

【0115】

このように、ショッピングモールサーバ２００は、ディープラーニングを利用してファッションアイテムイメージに対してのみデータ処理を行うことにより、ニューラルネットワークとビッグデータに基づいた正確かつ早い類似アイテム提供サービスを提供できる。

【0116】

次に、アイテムイメージに対して少なくとも１つ以上のバウンディングボックスを生成したショッピングモールサーバ２００は、取得されたアイテム情報に基づいて当該アイテムに対するバウンディングボックスを決定でき、決定されたバウンディングボックス内イメージをメインバウンディングボックスイメージとして抽出することができる（Ｓ１０５）。

【0117】

具体的に、図５に示すように、ショッピングモールサーバ２００は、ファッションディテクション部を介して生成された少なくとも１つ以上のバウンディングボックスのうち、取得されたアイテム情報とマッチングされるオブジェクトを含むバウンディングボックスを検出できる。

【0118】

そして、ショッピングモールサーバ２００は、検出されたバウンディングボックス内イメージを抽出してメインバウンディングボックスイメージとして生成することができる。すなわち、メインバウンディングボックスイメージとは、アイテムイメージから生成された複数のバウンディングボックスのうち、当該アイテムを表す少なくとも１つ以上のバウンディングボックス内イメージである。

【0119】

実施形態として、ショッピングモールサーバ２００は、取得されたアイテム情報が「上着」である場合、「上着」とマッチングされる上着オブジェクトを含むバウンディングボックスを検出でき、検出された上着オブジェクトを含むバウンディングボックス内イメージをメインバウンディングボックスイメージとして抽出することができる。

【0120】

また、実施形態においてショッピングモールサーバ２００は、取得されたアイテム情報が「ビキニ水着」及び／又は「ツーピース（Ｔｗｏ－ｐｉｅｃｅ）」などのように、トップオブジェクト（Ｔｏｐ ｏｂｊｅｃｔ）とボトムオブジェクト（Ｂｏｔｔｏｍ ｏｂｊｅｃｔ）とが一組（Ｓｅｔ）をなすアイテムを表す場合、当該アイテム情報とマッチングされるトップオブジェクトとボトムオブジェクトとを含むバウンディングボックスを共に抽出してマージ（ｍｅｒｇｅ）することができる。

【0121】

そして、ショッピングモールサーバ２００は、トップオブジェクトのバウンディングボックスとボトムオブジェクトのバウンディングボックスとをマージしたバウンディングボックス内イメージをメインバウンディングボックスイメージとして抽出することができる。

【0122】

このように、ショッピングモールサーバ２００は、アイテムイメージ上に存在する複数のオブジェクトに対するバウンディングボックスを生成し、生成されたバウンディングボックスのうち、当該アイテムを含むバウンディングボックスのみを検出することにより、取得されたアイテムイメージでアイテムと関連した領域のみを抽出でき、抽出された領域を基にディープラーニング基盤の類似アイテム検索機能を提供して、データ処理負荷を減少させ、検索速度を向上させることができる。

【0123】

さらに、ショッピングモールサーバ２００は、取得されたアイテム情報によって少なくとも１つ以上のバウンディングボックスを抽出でき、抽出された少なくとも１つ以上のバウンディングボックスを結合して、当該アイテムを表すメインバウンディングボックスイメージとして生成することにより、アイテムのカテゴリー別により正確度の高い類似アイテム提供サービスを提供できる。

【0124】

次に、メインバウンディングボックスイメージを生成したショッピングモールサーバ２００は、メインバウンディングボックスイメージをパディング（ｐａｄｄｉｎｇ）処理し、サイズを調整してパディングイメージを生成できる（Ｓ１０７）。

【0125】

一般的に、イメージに対する特徴ベクトルを抽出するディープラーニングニューラルネットワークは、特定サイズのイメージのみを入力データとして受信することができる。ところが、アイテム別にメインバウンディングボックスイメージのサイズは異なることがあるので、ディープラーニングニューラルネットワークに入力するのに適したサイズに変換する必要がある。

【0126】

このとき、原本イメージが有する既存の横縦比（Ａｓｐｅｃｔ Ｒａｔｉｏ）を維持できずにサイズを変換する場合、アイテムのスタイルや形状に対する特徴ベクトルが歪まれる恐れがある。

【0127】

したがって、本発明の一実施形態では、ディープラーニングニューラルネットワークにメインバウンディングボックスイメージを入力するために、既存の横縦比を維持しつつ、メインバウンディングボックスイメージのサイズを調整するためにパディング処理を行うことができる。

【0128】

ここで、パディング処理とは、原本イメージの横縦割合を維持しつつ、サイズを調整するために、パッドイメージを追加するイメージ処理を意味する。

【0129】

このとき、パッドイメージとは、横縦割合が維持され、サイズが調整された原本イメージで一側サイズが入力サイズより小さい場合、不足したサイズに合うように生成されて、原本イメージの両側または一側に挿入されるイメージであって、ディープラーニングに影響を与えないイメージでありうる。例えば、パッドイメージは、グレースケールの単色からなるイメージでありうる。

【0130】

すなわち、本発明の一実施形態においてショッピングモールサーバ２００は、パディング処理を介して、所定のサイズに調整されたメインバウンディングボックスイメージ上にパッドイメージを追加して、メインバウンディングボックスイメージを特徴ベクトル抽出のためのディープラーニングニューラルネットワークの入力サイズに合うように調整することができる。

【0131】

具体的に、図６に示すように、ショッピングモールサーバ２００は、生成されたメインバウンディングボックスイメージ（ａ）を、特徴ベクトルを抽出するディープラーニングニューラルネットワークの入力データとして使用するために、当該イメージの横及び／又は縦のサイズを予め設定された制限サイズに合せて変更して生成された第１のイメージ（ｂ）は、アイテムの形態が歪まれることができる。

【0132】

このような歪みを防止するために、ショッピングモールサーバ２００は、メインバウンディングボックスイメージの横サイズを入力データの横サイズに合うように横縦割合を維持させて減少させることができる。

【0133】

次に、ショッピングモールサーバ２００は、メインバウンディングボックスイメージの縦サイズを入力データの縦サイズに合わせるために、パッドイメージ５をメインバウンディングボックスイメージの両側に追加して、第１のパディングイメージ（ｃ）を生成できる。

【0134】

または、ショッピングモールサーバ２００は、メインバウンディングボックスイメージの縦サイズを入力データの縦サイズに合わせるために、パッドイメージ５をメインバウンディングボックスイメージの一側に追加して、第２のパディングイメージ（ｄ）を生成できる。

【0135】

すなわち、ショッピングモールサーバ２００は、サイズ変更されたメインバウンディングボックスイメージ上の両側または一側に所定のサイズに生成されたパッドイメージ５を追加するパディング処理を行い、パディングイメージを生成できる。

【0136】

このようなパディング処理を介して、ショッピングモールサーバ２００は、横縦比を原本イメージと同一に維持し、サイズが調整されたメインバウンディングボックスイメージとパッドイメージ５を含むパディングイメージを生成できる。

【0137】

このように、ショッピングモールサーバ２００は、パディング処理を介してイメージのサイズが変更された後にも、原本イメージの横縦比を維持することにより、アイテム形状の歪みを防止しながら、ディープラーニングニューラルネットワークの入力データサイズに合うように原本イメージを変換できる。

【0138】

次に、パディングイメージを生成したショッピングモールサーバ２００は、生成されたパディングイメージに対する特徴ベクトルを抽出できる（Ｓ１０９）。

【0139】

具体的に、ショッピングモールサーバ２００は、生成されたパディングイメージを、特徴ベクトルを抽出するディープラーニングニューラルネットワークに入力して、当該イメージ上のオブジェクトに対する特徴を特定する特徴ベクトルを抽出できる。

【0140】

このとき、ショッピングモールサーバ２００は、特徴ベクトルを抽出するディープラーニングニューラルネットワークをファッションに使用される項目に対する特徴抽出に最適化するためにトレーニングして使用することができる。

【0141】

例えば、ショッピングモールサーバ２００は、特徴ベクトル抽出ディープラーニングニューラルネットワークを利用してパディングイメージに対するシェープ（Ｓｈａｐｅ）特徴ベクトルを図７のように抽出することができる。

【0142】

また、実施形態においてショッピングモールサーバ２００は、テクスチャ（Ｔｅｘｔｕｒｅ）、ファブリック（Ｆａｂｒｉｃ）、シェープ（Ｓｈａｐｅ）、スタイル（Ｓｔｙｌｅ）、及びカラー（Ｃｏｌｏｒ）パラメータのうち、少なくともいずれか１つ以上のパラメータに対するそれぞれの特徴ベクトルを、特徴ベクトル抽出ディープラーニングニューラルネットワークを利用して抽出することができる。

【0143】

例えば、ショッピングモールサーバ２００は、パディングイメージをテクスチャ特徴ベクトル抽出ディープラーニングニューラルネットワークに入力して、当該パディングイメージに対するテクスチャ特徴ベクトルを取得できる。また、同じ方式でショッピングモールサーバ２００は、当該パディングイメージに対するファブリック、シェープ、スタイル、及び／又はカラー特徴ベクトルをファブリック特徴ベクトル抽出ディープラーニングニューラルネットワーク、シェープ特徴ベクトル抽出ディープラーニングニューラルネットワーク、スタイル特徴ベクトル抽出ディープラーニングニューラルネットワーク、及び／又はカラー特徴ベクトル抽出ディープラーニングニューラルネットワークを介して取得することができる。

【0144】

このように、ショッピングモールサーバ２００は、ディープラーニングニューラルネットワークを利用してアイテムオブジェクトを含むパディングイメージに対する特徴ベクトルを抽出することにより、当該アイテムの特徴をより効果的に特定して管理できるデータを取得でき、これを通じてディープラーニングに基づいて類似アイテムを検出して提供するサービスを円滑に行うことができる。

【0145】

次に、パディングイメージに対する特徴ベクトルを抽出したショッピングモールサーバ２００は、抽出された特徴ベクトルの次元を縮小して統合特徴ベクトルを生成できる（Ｓ１１１）。

【0146】

このとき、特徴ベクトルの次元は、特徴ベクトルを抽出するために使用されるディープラーニングの方式によって様々でありうる。

【0147】

実施形態として、特徴ベクトルの次元は、特徴ベクトルを抽出しようとするパラメータの個数に比例することができる。

【0148】

例えば、ショッピングモールサーバ２００がテクスチャ（Ｔｅｘｔｕｒｅ）、ファブリック（Ｆａｂｒｉｃ）、シェープ（Ｓｈａｐｅ）、スタイル（Ｓｔｙｌｅ）、及びカラー（Ｃｏｌｏｒ）パラメータに基づいて各パラメータに対する特徴ベクトルを抽出した場合、特徴ベクトルの次元は、５次元になることができる。

【0149】

このような特徴ベクトルの次元は、次元のサイズが大きいほど、データベース２３０に格納されるのに負担になることができ、データベース２３０検索を行うときに掛かる時間も増加させることができる。

【0150】

したがって、本発明の一実施形態においてショッピングモールサーバ２００は、抽出された特徴ベクトルの次元を様々なアルゴリズムを介して縮小させた統合特徴ベクトルを生成できる。

【0151】

具体的に、実施形態としてショッピングモールサーバ２００は、抽出された特徴ベクトルの次元をＰＣＡ（Ｐｒｉｎｃｉｐｌｅ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）、ＩＣＡ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）、Ｎｏｎ－ｎｅｇａｔｉｖｅ ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ、及びＳＶＤ（Ｓｉｎｇｌｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）技術のうち、少なくともいずれか１つの技術を利用して縮小させることができ、これを通じて統合特徴ベクトルを生成できる。

【0152】

例えば、ショッピングモールサーバ２００は、抽出されたパラメータ別特徴ベクトルを予め設定されたアルゴリズムを介して１つに結合して次元を縮小でき、統合特徴ベクトルを生成できる。

【0153】

このように、ショッピングモールサーバ２００は、パディングイメージから抽出された特徴ベクトルの次元を縮小するデータ処理を行うことにより、特徴ベクトルのデータベース化をより効率的に行うことができ、今後、データベース２３０で類似アイテムを検索するときに掛かる時間と費用を低減することができる。

【0154】

次に、統合特徴ベクトルを生成したショッピングモールサーバ２００は、生成された統合特徴ベクトルをデータベース２３０に格納することができ、その後、当該データベース２３０を、類似アイテムを検索するためのデータベース２３０として活用することができる（Ｓ１１３）。

【0155】

具体的に、ショッピングモールサーバ２００は、今後、ユーザの入力によって選択されたアイテムに基づいて類似アイテムを検出して提供するとき、データベース２３０に格納された統合特徴ベクトルに基づいて当該類似アイテムを検出できる。

【0156】

より具体的に、ショッピングモールサーバ２００は、様々な方式のアルゴリズム（例えば、ＦＬＡＮＮ、ａｎｎｏｙ、及び／又はＢｒｕｔｅ Ｆｒｏｃｅ等）を利用してデータベース２３０に対する検索を行うことができ、統合特徴ベクトルに基づいてユーザが選択したアイテムとデータベース２３０上のアイテムとの間の類似度を測定できる。

【0157】

そして、ショッピングモールサーバ２００は、測定された類似度が予め設定された基準（例えば、所定の百分率等）以上に高い上位ｎ個のアイテムをデータベース２３０から検出して検索結果として導出することができる。

【0158】

また、ショッピングモールサーバ２００は、導出された上位ｎ個のアイテムを類似アイテムとして選定し、選定された類似アイテムを端末１００と連動してユーザに提供することができる。

【0159】

このように、ショッピングモールサーバ２００は、ディープラーニングに基づいて類似アイテムを提供するサービスを実現することにより、ショッピングモールに対する基本的な使用性を便利にし、既存の方法とは差別化された検索方法を提供してショッピングモールの競争力を増大させることができる。

【0160】

（ディープラーニングを介してデータベースから類似商品を検出して提供する方法）
一方、図８は、本発明の一実施形態に係るディープラーニングに基づいてデータベース２３０から類似商品を検出して提供する方法を説明するためのフローチャートである。本発明の一実施形態に係るプログラムは、本発明の一実施形態に係るディープラーニングに基づいてデータベース２３０から類似商品を検出して提供する方法を、ショッピングモールサーバ２００のプロセッサに実行させる。

【0161】

以下において行われるディープラーニングに基づいて類似商品を検出する過程は、端末１００の制御部１５０で行われることができる。

【0162】

以下では、説明の都合上、端末１００の制御部１５０を端末１００として説明する。

【0163】

そして、以下、ショッピングモールサーバ２００が主体となり、ディープラーニングを介して類似商品を検索することと説明するが、端末１００が主体となって類似商品を検索する実施形態も当たり前に含まれる。

【0164】

図８に示すように、ショッピングモールサーバ２００は、ユーザが選択したアイテムのイメージに対する特徴ベクトルを抽出し、抽出された特徴ベクトルに基づいてデータベース２３０で類似アイテムを検出してユーザに提供することができる。

【0165】

以下、効果的な説明のために、上述した内容と重複する説明を省略できる。

【0166】

具体的に、ショッピングモールサーバ２００は、まず、ユーザの入力に基づいてアイテムイメージとアイテム情報を取得できる（Ｓ２０１）。

【0167】

より具体的に、ショッピングモールサーバ２００は、端末１００と連動してショッピングモールに掲示された複数のアイテムのうち、ユーザの入力によって選択されたアイテムに対するアイテムイメージとアイテム情報を取得できる。

【0168】

また、ショッピングモールサーバ２００は、端末１００と連動してショッピングモールで提供するインターフェースを介してユーザが入力したイメージに基づいてアイテムイメージとアイテム情報を取得できる。

【0169】

具体的に、ショッピングモールサーバ２００は、ショッピングモールで提供するイメージ入力インターフェースを介してユーザが入力したイメージを取得でき、取得されたイメージに基づいてディープラーニングを行い、当該ショッピングモールに当該イメージに含まれたアイテムと同一であるか、類似したアイテムが存在するか判断することができる。

【0170】

そして、ショッピングモールサーバ２００は、同一であるか、類似すると判断されたアイテムに基づいてアイテムイメージとアイテム情報を取得できる。

【0171】

すなわち、ショッピングモールサーバ２００は、イメージ入力インターフェースを介してイメージに基づいたアイテム検索機能を提供することにより、ユーザが検索しようとするアイテムに対する名称や当該アイテムが分類されたカテゴリーを知らない場合にも、イメージを介してアイテム検索を行わせることができる。

【0172】

次に、アイテムイメージとアイテム情報を取得したショッピングモールサーバ２００は、取得されたアイテムイメージをオブジェクトディテクション（Ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）して少なくとも１つ以上のバウンディングボックスを生成できる（Ｓ２０３）。

【0173】

具体的に、ショッピングモールサーバ２００は、ファッションディテクション部を介してのディープラーニングに基づいて、取得されたアイテムイメージをオブジェクトディテクション（Ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）することができ、当該イメージ内で少なくとも１つ以上のオブジェクトを検出できる。

【0174】

そして、ショッピングモールサーバ２００は、検出されたオブジェクトに基づいて、当該オブジェクトがある概略的な領域を四角い箱（矩形）で表されたバウンディングボックスを少なくとも１つ以上生成することができる。

【0175】

次に、バウンディングボックスを生成したショッピングモールサーバ２００は、検出された少なくとも１つ以上のオブジェクトに基づいて検索対象アイテムを選択できる（Ｓ２０５）。

【0176】

具体的に、実施形態においてショッピングモールサーバ２００は、取得されたアイテム情報、すなわち、ユーザの入力によって選択されたアイテムのアイテム情報に基づいて検索対象アイテムを自動に選択することができる。

【0177】

より具体的に、ショッピングモールサーバ２００は、ファッションディテクション部を介して検出された少なくとも１つ以上のオブジェクトのうち、取得されたアイテム情報とマッチングされるオブジェクトを、ディープラーニングを利用して検出することができる。

【0178】

そして、ショッピングモールサーバ２００は、検出されたオブジェクトを検索対象アイテムとして選択することができる。

【0179】

他の実施形態において図９に示すように、ショッピングモールサーバ２００は、端末１００を介して少なくとも１つ以上のバウンディングボックスを含むアイテムイメージを表示できる。

【0180】

そして、ショッピングモールサーバ２００は、表示されたアイテムイメージに基づいてユーザが選択したバウンディングボックスに含まれたオブジェクトを検索対象アイテムとして選択することができる。

【0181】

すなわち、ショッピングモールサーバ２００は、アイテムイメージから検出された複数のオブジェクトに基づいて、ユーザが類似アイテムを検索しようとするオブジェクトに対する選択幅を広めることにより、ショッピングモールを利用するユーザにさらに活用度の高い類似アイテム検出サービスを提供できる。

【0182】

また、ショッピングモールサーバ２００は、状況によって（例えば、ユーザの設定等）検索対象アイテムを自動に選定したり、ユーザの選択によって選定したりすることにより、差別化された検索サービスを介してのユーザの満足度向上を図ることができる。

【0183】

次に、検索対象アイテムを選択したショッピングモールサーバ２００は、選択されたアイテムに対してメインバウンディングボックスイメージを生成でき、生成されたメインバウンディングボックスイメージに基づいてパディングイメージを生成できる（Ｓ２０７）。

【0184】

具体的に、ショッピングモールサーバ２００は、まず、選択された検索対象アイテムを含むバウンディングボックスを抽出でき、抽出されたバウンディングボックスに基づいてメインバウンディングボックスイメージを生成できる。

【0185】

すなわち、ここで、メインバウンディングボックスイメージは、アイテムイメージから生成された複数のバウンディングボックスのうち、検索対象アイテムを表す少なくとも１つ以上のバウンディングボックス内イメージである。

【0186】

また、メインバウンディングボックスイメージを生成したショッピングモールサーバ２００は、生成されたメインバウンディングボックスイメージをパディング処理してサイズを調整し、パディングイメージを生成できる。

【0187】

具体的に、ショッピングモールサーバ２００は、パディングイメージを生成するために、メインバウンディングボックスイメージの横サイズを入力データの横サイズに合うように横縦割合を維持させて減少させることができる。

【0188】

次に、ショッピングモールサーバ２００は、メインバウンディングボックスイメージの縦サイズを入力データの縦サイズに合わせるために、パッドイメージ５をメインバウンディングボックスイメージの両側または一側に追加してパディングイメージを生成できる。

【0189】

すなわち、ショッピングモールサーバ２００は、サイズ変更されたメインバウンディングボックスイメージ上の両側または一側に所定のサイズに生成されたパッドイメージ５を追加するパディング処理を行い、パディングイメージを生成できる。

【0190】

このようなパディング処理を介して、ショッピングモールサーバ２００は、横縦比を原本イメージと同一に維持し、サイズが調整されたメインバウンディングボックスイメージとパッドイメージ５を含むパディングイメージとを生成できる。

【0191】

続いて、ショッピングモールサーバ２００は、生成されたパディングイメージに対する特徴ベクトルを抽出できる（Ｓ２０９）。

【0192】

具体的に、ショッピングモールサーバ２００は、生成されたパディングイメージを特徴ベクトル抽出ディープラーニングニューラルネットワークに入力して、当該イメージ上のオブジェクトに対する特徴を特定する特徴ベクトルを抽出できる。

【0193】

このとき、ショッピングモールサーバ２００は、テクスチャ（Ｔｅｘｔｕｒｅ）、ファブリック（Ｆａｂｒｉｃ）、シェープ（Ｓｈａｐｅ）、スタイル（Ｓｔｙｌｅ）、及びカラー（Ｃｏｌｏｒ）パラメータのうち、少なくともいずれか１つ以上のパラメータに対する各特徴ベクトルを、各パラメータ別特徴ベクトル抽出ディープラーニングニューラルネットワークを利用して抽出することもできる。

【0194】

次に、パディングイメージに対する特徴ベクトルを抽出したショッピングモールサーバ２００は、抽出された特徴ベクトルの次元を縮小して統合特徴ベクトルを生成できる（Ｓ２１１）。

【0195】

具体的に、ショッピングモールサーバ２００は、抽出された特徴ベクトルの次元をＰＣＡ（Ｐｒｉｎｃｉｐｌｅ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）、ＩＣＡ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）、Ｎｏｎ－ｎｅｇａｔｉｖｅ ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ、及びＳＶＤ（Ｓｉｎｇｌｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）技術のうち、少なくともいずれか１つの技術を利用して縮小させることができ、これを通じて統合特徴ベクトルを生成できる。

【0196】

すなわち、ショッピングモールサーバ２００は、特徴ベクトルの次元を縮小するデータ処理を介して、特徴ベクトルのデータベース化をより効率的に行うことができ、今後、データベース２３０で類似アイテムを検索するときに掛かる時間と費用を低減できる。

【0197】

次に、統合特徴ベクトルを生成したショッピングモールサーバ２００は、生成された統合特徴ベクトルと類似度が予め設定された基準（例えば、所定の百分率等）以上に高い統合特徴ベクトルを有するアイテムをデータベース２３０で検出することができる（Ｓ２１３）。

【0198】

具体的に、ショッピングモールサーバ２００は、様々な方式のアルゴリズム（例えば、ＦＬＡＮＮ、ａｎｎｏｙ、及び／又はＢｒｕｔｅ Ｆｒｏｃｅ等）を利用してデータベース２３０に対する検索を行うことができ、統合特徴ベクトルに基づいてユーザが選択したアイテムとデータベース２３０上のアイテムとの間の類似度を測定できる。

【0199】

そして、ショッピングモールサーバ２００は、測定された類似度が予め設定された基準（例えば、所定の百分率等）以上に高い上位ｎ（１＜＝ｎ）個のアイテムをデータベース２３０から検出することができ、検出された上位ｎ個のアイテムを類似アイテムとして選定することができる。

【0200】

このように、ショッピングモールサーバ２００は、統合特徴ベクトルに基づいてユーザが選択したアイテムと類似したアイテムを検索することにより、客観的データに基づいて抽出された信頼性の高い類似アイテムを選定でき、効率的なデータ処理を介してのディープラーニング基盤の類似アイテム提供サービスを行うことができる。

【0201】

また、類似アイテムを選定したショッピングモールサーバ２００は、選定された類似アイテムを端末１００と連動してユーザに提供することができる（Ｓ２１５）。

【0202】

すなわち、ショッピングモールサーバ２００は、ユーザが選択したアイテムと類似したアイテムを少なくとも１つ以上検出し、端末１００を介して提供することにより、ショッピングモールの競争力とユーザの満足度を向上させることができる。

【0203】

以上、本発明の一実施形態に係るディープラーニングに基づいて類似アイテムを提供する方法は、ユーザが選択したアイテムのイメージに対するオブジェクト領域をディープラーニングし、当該アイテムと類似したアイテムを検出して提供することにより、オンラインショッピングモールに対する基本的な使用性を便利にし、既存の方法とは差別化された検索方法を提供してショッピングモールの競争力を増大させることができるという効果がある。

【0204】

具体的に、本発明の一実施形態に係るディープラーニングに基づいて類似アイテムを提供する方法は、ユーザが選択したアイテムと類似したアイテムを少なくとも１つ以上に検出して提供することにより、似ている製品に分類されたアイテムを便利に確認させて、オンラインショッピングモールに対するユーザの満足度を向上させることができるという効果がある。

【0205】

また、本発明の一実施形態に係るディープラーニングに基づいて類似アイテムを提供する方法は、ユーザが選択したアイテムと類似したアイテムを検出して提供することにより、選択したアイテムと類似したアイテムを容易かつ早く確認しようとするユーザのニーズ（Ｎｅｅｄｓ）反映を極大化し、商品を探すプロセスを最小化することができるという効果がある。

【0206】

また、本発明の一実施形態に係るディープラーニングに基づいて類似アイテムを提供する方法は、ユーザが選択したアイテムと類似したアイテムを検出して提供することにより、ユーザが購買しようとするアイテムが売り切れた場合にも、当該アイテムと類似したアイテムを確認し購買するように導くことができるという効果がある。

【0207】

また、本発明の一実施形態に係るディープラーニングに基づいて類似アイテムを提供する方法は、ユーザが入力したイメージに基づいてディープラーニングを行い、類似アイテムを検出する機能を提供することにより、アイテムに対する名称を知らず、既存の検索方法（例えば、カテゴリー、キーワード検索等）では望みのアイテムを探すことが難しい場合にも、差別化された検索方法にて当該アイテムを容易に探すようにすることができる。

【0208】

また、本発明の一実施形態に係るディープラーニングに基づいて類似アイテムを提供する方法は、トレーニング（ｔｒａｉｎｉｎｇ）されたディープラーニングニューラルネットワークを利用してアイテムイメージに対するデータ処理を行うことにより、選択したアイテムと類似したアイテムを検出して提供するサービスをニューラルネットワークとビッグデータに基づいて正確かつ早く提供することができる。

【0209】

また、以上で説明された本発明に係る実施形態は、様々なコンピュータ構成要素を介して実行され得るプログラム命令語の形態で実現されて、コンピュータ読み取り可能な記録媒体に記録されることができる。コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知されて使用可能なものでありうる。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスク、及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ及びＤＶＤのような光気緑媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令語を格納し、実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタプリタなどを使用してコンピュータにより実行され得る高級言語コードも含まれる。ハードウェア装置は、本発明に係る処理を行うために、１つ以上のソフトウェアモジュールに変更されることができ、その逆も同様である。

【0210】

本発明において説明する特定実行等は、一実施形態であって、いかなる方法でも本発明の範囲を限定するものではない。明細書の簡潔さをために、従来の電子的な構成、制御システム、ソフトウェア、システムの他の機能的な側面等の記載は省略されることができる。また、図面に図示された構成要素間の線等の接続または接続部材などは、機能的な接続及び／又は物理的または回路的接続を例示的に示したものであって、実際装置では、代替可能であるか、追加の様々な機能的な接続、物理的な接続、または回路接続として表されることができる。また、「必須な」、「重要に」などのように、具体的な言及がなければ、本発明の適用のために必ず必要な構成要素でない場合がある。

【0211】

また、説明した本発明の詳細な説明では、本発明の好ましい実施形態を参照して説明したが、当該技術分野の熟練された当業者または当該技術分野における通常の知識を有する者であれば、後述する特許請求の範囲に記載された本発明の思想及び技術領域から逸脱しない範囲内で本発明を様々に修正及び変更させ得ることが理解できるであろう。したがって、本発明の技術的範囲は、明細書の詳細な説明に記載された内容に限定されるものではなく、特許請求の範囲により決められなければならないであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】