(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-24
(45)【発行日】2024-06-03
(54)【発明の名称】画像商品検索システム及び画像商品検索方法
(51)【国際特許分類】
G06Q 30/0601 20230101AFI20240527BHJP
【FI】
G06Q30/0601
(21)【出願番号】P 2023006548
(22)【出願日】2023-01-19
【審査請求日】2023-01-19
(31)【優先権主張番号】10-2022-0010828
(32)【優先日】2022-01-25
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】313011434
【氏名又は名称】エヌエイチエヌ コーポレーション
【住所又は居所原語表記】(Sampyeong-dong),16,Daewangpangyo-ro 645 beon-gil,Bundang-gu,Seongnam-si,Gyeonggi-do Republic of Korea
(74)【代理人】
【識別番号】110000408
【氏名又は名称】弁理士法人高橋・林アンドパートナーズ
(72)【発明者】
【氏名】ソン, ジヨン
(72)【発明者】
【氏名】ソク, ソンヒ
【審査官】佐藤 敬介
(56)【参考文献】
【文献】特開2017-220019(JP,A)
【文献】特開2001-052175(JP,A)
【文献】特開2020-135888(JP,A)
【文献】特開2013-050502(JP,A)
【文献】特開2009-251850(JP,A)
【文献】特表2022-501726(JP,A)
【文献】米国特許出願公開第2018/0012110(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
(57)【特許請求の範囲】
【請求項1】
画像商品検索アプリケーションがインストールされた複数のユーザ端末が接続され、前記ユーザ端末から転送された複数の入力商品画像にマッチングする類似商品画像を推奨商品の検索結果情報として前記ユーザ端末に提供するショッピングモールサーバと、
前記ショッピングモールサーバと連動して前記ショッピングモールサーバか
ら入力された
前記複数の
入力商品画
像を受信してそれらに対応する特徴ベクトルを算出し、前記算出された特徴ベクトルを前記ショッピングモールサーバに伝達する入力画像分析装置と、を含み、
前記ショッピングモールサーバは、
前記ショッピングモールサーバが保有している各商品に対する商品画像及び前記商品画像に対応する特徴ベクトルが格納された第1データベース及び前記ユーザ端末から入力されて転送された
前記複数の入力商品画
像が格納された第2データベースを含
み、
前記入力画像分析装置は、
第1及び第2入力商品画像を含む前記複数の入力商品画像を受信し、それがメタデータで入力される入力画像受信部と、
受信された前記第1及び第2入力商品画像をベクトル画像データに変換し、ディープラーニングアルゴリズムを実行して前記第1及び第2入力商品画像をそれぞれ分析するディープラーニングアルゴリズム実行部と、
前記ディープラーニングアルゴリズム実行部により分析された第1及び第2入力商品画像それぞれに対する特徴ベクトルを抽出する特徴ベクトル抽出部と、
前記抽出された特徴ベクトルに基づいて第1入力画像の特徴ベクトル及び第2入力画像の特徴ベクトルを生成し、それを前記ショッピングモールサーバに提供する第1及び第2特徴ベクトル生成/提供部と、を含み、
前記ショッピングモールサーバは、
前記入力画像分析装置で生成されて提供された前記第1及び第2入力画像の特徴ベクトルを受信する第1及び第2入力画像の特徴ベクトル受信部と、
前記受信された前記第1及び第2入力画像の特徴ベクトルに対する演算処理を実行して統合特徴ベクトルを生成する特徴ベクトル処理部と、
前記第1及び第2入力画像の特徴ベクトル及び/又は前記統合特徴ベクトルを前記第1データベースに予め格納された類似商品画像の特徴ベクトルと比較及び分析して類似商品画像を検索する類似商品検索部と、
前記類似商品検索部により検索された類似商品画像を推奨商品の検索結果として前記ユーザ端末に出力する検索結果提供部と、を含む、画像商品検索システム。
【請求項2】
前記統合特徴ベクトルは、互いにマッチングする前記第1入力画像の特徴ベクトル及び
前記第2入力画像の特徴ベクトルを算術平均して生成された値である、請求項
1に記載の画像商品検索システム。
【請求項3】
前記類似商品検索部は、前記統合特徴ベクトルと前記第1データベースに予め格納された類似商品画像の特徴ベクトルとをベクトル類似度検索技法を利用して比較分析し、これにより前記統合特徴ベクトルに類似する前記第1データベースに格納された特徴ベクトルを検出する、請求項
2に記載の画像商品検索システム。
【請求項4】
前記類似商品検索部は、前記第1及び第2入力画像の特徴ベクトルと前記第1データベースに予め格納された類似商品画像の特徴ベクトルとをベクトル類似度検索技法を利用して比較分析し、これにより前記第1入力画像の特徴ベクトルに類似する前記第1データベースに格納された第1特徴ベクトル及び前記第2入力画像の特徴ベクトルに類似する前記第1データベースに格納された第2特徴ベクトルを検出する、請求項
1に記載の画像商品検索システム。
【請求項5】
前記検索結果提供部は、前記類似商品検索部により検索された前記第1特徴ベクトルに対応する第1類似商品画像と前記第2特徴ベクトルに対応する第2類似商品画像とのうち、互いに重複する類似商品画像を推奨商品の検索結果として前記ユーザ端末に出力する、請求項
4に記載の画像商品検索システム。
【請求項6】
前記ユーザ端末で表示される推奨商品の検索結果としての類似商品画像は、前記第1及び第2入力画像の特徴ベクトル及び/又は前記統合特徴ベクトルと前記検索された類似商品画像の特徴ベクトルとの間の距離順に整列されて表示される、請求項
1に記載の画像商品検索システム。
【請求項7】
ユーザ端末にインストールされた画像商品検索アプリケーションを介して入力されて転送された第1入力商品画像及び第2入力商品画像が受信され、
前記受信された第1及び第2
入力商品画
像をベクトル画像データに変換し、ディープラーニングアルゴリズムを実行して前記第1及び第2
入力商品画
像をそれぞれ分析し、
前記第1及び第2入力商品画像それぞれに対する特徴ベクトルを抽出し、前記抽出された特徴ベクトルに基づいて第1入力画像の特徴ベクトル及び第2入力画像の特徴ベクトルを生成し、
前記生成した前記第1及び第2入力画像の特徴ベクトルを受信し、
前記受信された前記第1及び第2入力画像の特徴ベクトルに対する演算処理を実行して統合特徴ベクトルを生成し、
前記第1及び第2入力画像の特徴ベクトル及び/又は前記統合特徴ベクトルを第1データベースに予め格納された類似商品画像の特徴ベクトルと比較及び分析して類似商品画像を検索し、
前記検索された類似商品画像を推奨商品の検索結果として前記ユーザ端末に出力すること、を含む、画像商品検索方法。
【請求項8】
前記統合特徴ベクトルは、互いにマッチングする前記第1入力画像の特徴ベクトル及び
前記第2入力画像の特徴ベクトルを算術平均して生成された値である、請求項
7に記載の画像商品検索方法。
【請求項9】
前記類似商品画像を検索することは、前記統合特徴ベクトルと前記第1データベースに予め格納された類似商品画像の特徴ベクトルをベクトル類似度検索技法を利用して比較分析し、これにより前記統合特徴ベクトルに類似する前記第1データベースに格納された特徴ベクトルを検出する、請求項
8に記載の画像商品検索方法。
【請求項10】
前記類似商品画像を検索することは、前記第1及び第2入力画像の特徴ベクトルと前記第1データベースに予め格納された類似商品画像の特徴ベクトルとをベクトル類似度検索技法を利用して比較分析し、これにより前記第1入力画像の特徴ベクトルに類似する前記第1データベースに格納された第1特徴ベクトル及び前記第2入力画像の特徴ベクトルに類似する前記第1データベースに格納された第2特徴ベクトルを検出する、請求項
7に記載の画像商品検索方法。
【請求項11】
前記検索結果を前記ユーザ端末に出力することは、前記第1特徴ベクトルに対応する第1類似商品画像と前記第2特徴ベクトルに対応する第2類似商品画像とのうち、互いに重複する類似商品画像を推奨商品の検索結果として前記ユーザ端末に出力する、請求項
10に記載の画像商品検索方法。
【請求項12】
前記検索結果を前記ユーザ端末に出力することは、前記第1特徴ベクトルに対応する第1類似商品画像と前記第2特徴ベクトルに対応する第2類似商品画像とのうち互いに重複する類似商品画像及び前記統合特徴ベクトルに類似する特徴ベクトルに対応する第3類似商品画像の和を推奨商品の検索結果として前記ユーザ端末に出力する、請求項
10に記載の画像商品検索方法。
【請求項13】
前記ユーザ端末で表示される推奨商品の検索結果としての類似商品画像は、前記第1及び第2入力画像の特徴ベクトル及び/又は前記統合特徴ベクトルと前記検索された類似商品画像の特徴ベクトルとの間の距離順に整列されて表示される、請求項
12に記載の画像商品検索方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態はショッピングモールシステムに関し、特に画像検索ツールを提供するショッピングモールシステムにおいて、複数の画像が入力されると、入力された画像に対応する類似商品画像を推奨商品の検索結果情報として提供する画像商品検索システム及びその方法に関する。
【背景技術】
【0002】
インターネットユーザの急速な増加と共に、オンラインショッピングモールを通じて商品を購入する消費者も急速に増加している傾向にある。このようなオンラインショッピングモールを通じた商品購入は、実際にオフラインショップに立ち寄らなくても家庭や会社で迅速かつ便利に所望の商品を検索して購入できるという利点がある。
【0003】
オンラインショッピングモールは、少なくとも1つ以上の商品供給元から供給された様々な商品を消費者にオンラインで提供することができるが、既存のオンラインショッピングモールを通じた商品購入は、商品を実際に見て購入することができないという欠点がある。
【0004】
特に衣類のような商品の場合、デザイン、サイズなどを顧客が直接確認したいという要求が高く、オンラインショッピングモールの使用が他の商品に比べて多少低い。したがって、衣類商品を扱うオンラインショッピングモールは、他の商品を扱うオンラインショッピングモールに比べ、より積極的に顧客の要求を反映し、顧客に適した商品を選択できる様々な方法を提供すべき必要がある。
【0005】
より具体的には、顧客がオンラインショッピングモールで商品を検索する際、ユーザは、選択した特定の商品に類似する商品が該当ショッピングモールにさらに存在するかどうかを確認したいニーズ(needs)を持っているが、オンラインショッピングモールに存在する膨大な量の商品に対してユーザが望む商品と関連する類似商品を便利に確認できる技術が不十分であり、これに対する解決策が求められている。
【0006】
また、オンラインショッピングモール上で商品を検索する際、商品に対する名称が分からなくて既存の検索方法(例えば、カテゴリ、キーワード検索等)では商品を見つけにくい場合があり、このような問題を解決できる技術の導入も必要な実情である。
【0007】
すなわち、当該技術分野においては、現在オンラインショッピングモールの基本的な使用性を便利にし、既存の方法とは差別化された検索方法を提供してオンライン顧客、すなわちユーザの満足度を高めるための技術開発が求められている。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明の実施形態は、推奨商品情報を提供する画像商品検索システム及びその方法を提供することを目的の一つとする。例えば、画像商品検索システムは、画像検索ツールを提供するショッピングモールシステムにおいて、ユーザが入力した複数の商品画像データをベクトル変換し、ディープラーニングアルゴリズムを実行して複数の特徴ベクトルを抽出し、抽出された特徴ベクトルと予め格納された類似商品画像の特徴ベクトルとを比較分析して、ユーザの入力画像情報にマッチングする最適の類似商品画像を推奨商品の検索結果情報として提供することを目的の一つとする。
【課題を解決するための手段】
【0009】
目的を達成するための本発明の実施形態に係る画像商品検索システムは、画像商品検索アプリケーションがインストールされた複数のユーザ端末が接続され、ユーザ端末から転送された複数の入力商品画像にマッチングする類似商品画像を推奨商品の検索結果情報としてユーザ端末に提供するショッピングモールサーバと、ショッピングモールサーバと連動してショッピングモールサーバから入力された複数の商品画像情報を受信してそれらに対応する特徴ベクトルを算出し、算出された特徴ベクトルをショッピングモールサーバに伝達する入力画像分析装置と、を含み、ショッピングモールサーバは、ショッピングモールサーバが保有している各商品に対する商品画像及び商品画像に対応する特徴ベクトルが格納された第1データベースと、ユーザ端末から入力されて転送された商品画像情報が格納された第2データベースと、を含む。
【0010】
ショッピングモールサーバは、画像商品検索アプリケーションを介して入力されて転送された第1入力商品画像及び第2入力商品画像にそれぞれ対応する特徴ベクトルと、データベースに予め格納された類似商品画像の特徴ベクトルと、を比較分析して第1及び第2入力商品画像の組み合わせ情報に対応する複数の類似商品画像を検索することができる。
【0011】
入力画像分析装置は、第1及び第2入力商品画像を受信し、それがメタデータで入力される入力画像受信部と、伝達された第1及び第2商品画像情報をベクトル画像データに変換し、ディープラーニングアルゴリズムを実行して第1及び第2商品画像情報をそれぞれ分析するディープラーニングアルゴリズム実行部と、ディープラーニングアルゴリズム実行部により分析された第1及び第2入力商品画像それぞれに対する特徴ベクトルを抽出する特徴ベクトル抽出部と、抽出された特徴ベクトルに基づいて第1入力画像の特徴ベクトル及び第2入力画像の特徴ベクトルを生成し、それをショッピングモールサーバに提供する第1及び第2特徴ベクトル生成/提供部と、を含むことができる。
【0012】
生成された第1及び第2入力画像の特徴ベクトルは、それに対応する入力商品画像別に分析されて第2データベースに格納されることができる。
【0013】
ショッピングモールサーバは、入力画像解析装置で生成されて提供された第1及び第2入力画像の特徴ベクトルを受信する第1及び第2入力画像の特徴ベクトル受信部と、受信された第1及び第2入力画像の特徴ベクトルに対する演算処理を実行して統合特徴ベクトルを生成する特徴ベクトル処理部と、第1及び第2入力画像の特徴ベクトル及び/又は統合特徴ベクトルを第1データベースに予め格納された類似商品画像の特徴ベクトルと比較及び分析して類似商品画像を検索する類似商品検索部と、類似商品検索部により検索された類似商品画像を推奨商品の検索結果としてユーザ端末に出力する検索結果提供部と、を含むことができる。
【0014】
統合特徴ベクトルは、互いにマッチングする第1入力画像の特徴ベクトル及び第2入力画像の特徴ベクトルを算術平均して生成された値であることができる。
【0015】
類似商品検索部は、統合特徴ベクトルと第1データベースに予め格納された類似商品画像の特徴ベクトルとをベクトル類似度検索技法を利用して比較分析し、これにより統合特徴ベクトルに類似する第1データベースに格納された特徴ベクトルを検出することができる。
【0016】
類似商品検索部は、第1及び第2入力画像の特徴ベクトルと第1データベースに予め格納された類似商品画像の特徴ベクトルとをベクトル類似度検索技法を用いて比較分析し、これにより第1入力画像の特徴ベクトルに類似する第1データベースに格納された第1特徴ベクトル及び第2入力画像の特徴ベクトルに類似する第1データベースに格納された第2特徴ベクトルを検出することができる。
【0017】
検索結果提供部は、類似商品検索部により検索された第1特徴ベクトルに対応する第1類似商品画像と第2特徴ベクトルに対応する第2類似商品画像とのうち、互いに重複する類似商品画像を推奨商品の検索結果としてユーザ端末に出力することができる。
【0018】
ユーザ端末で表示される推奨商品の検索結果としての類似商品画像は、第1及び第2入力画像の特徴ベクトル及び/又は統合特徴ベクトルと検索された類似商品画像の特徴ベクトルとの間の距離順に整列されて表示されることができる。
【0019】
本発明の他の実施形態に係る画像商品検索方法は、ユーザ端末にインストールされた画像商品検索アプリケーションを介して入力されて転送された第1入力商品画像及び第2入力商品画像が受信されるステップと、受信された第1及び第2商品画像情報をベクトル画像データに変換し、ディープラーニングアルゴリズムを実行して第1及び第2商品画像情報をそれぞれ分析するステップと、第1、第2入力商品画像それぞれに対する特徴ベクトルを抽出し、抽出された特徴ベクトルに基づいて第1入力画像の特徴ベクトル及び第2入力画像の特徴ベクトルを生成するステップと、生成された第1及び第2入力画像の特徴ベクトルを受信するステップと、受信された第1及び第2入力画像の特徴ベクトルに対する演算処理を実行して統合特徴ベクトルを生成するステップと、第1及び第2入力画像の特徴ベクトル及び/又は統合特徴ベクトルを第1データベースに予め格納された類似商品画像の特徴ベクトルと比較及び分析して類似商品画像を検索するステップと、検索された類似商品画像を推奨商品の検索結果としてユーザ端末に出力するステップと、を含む。
【0020】
統合特徴ベクトルは、互いにマッチングする第1入力画像の特徴ベクトルと第2入力画像の特徴ベクトルとを算術平均して生成された値であることができる。
【0021】
類似商品画像を検索するステップは、統合特徴ベクトルと第1データベースに予め格納された類似商品画像の特徴ベクトルとをベクトル類似度検索技法を用いて比較分析し、これにより統合特徴ベクトルに類似する第1データベースに格納された特徴ベクトルを検出することができる。
【0022】
類似商品画像を検索するステップは、第1及び第2入力画像の特徴ベクトルと第1データベースに予め格納された類似商品画像の特徴ベクトルとをベクトル類似度検索技法を用いて比較分析し、これにより第1入力画像の特徴ベクトルに類似する第1データベースに格納された第1特徴ベクトル及び第2入力画像の特徴ベクトルに類似する第1データベースに格納された第2特徴ベクトルを検出することができる。
【0023】
検索結果をユーザ端末に出力するステップは、第1特徴ベクトルに対応する第1類似商品画像と第2特徴ベクトルに対応する第2類似商品画像とのうち、互いに重複する類似商品画像を推奨商品の検索結果としてユーザ端末に出力することができる。
【0024】
検索結果をユーザ端末に出力するステップは、第1特徴ベクトルに対応する第1類似商品画像と第2特徴ベクトルに対応する第2類似商品画像とのうち互いに重複する類似商品画像及び統合特徴ベクトルに類似する特徴ベクトルに対応する第3類似商品画像の和を推奨商品の検索結果としてユーザ端末に出力することができる。
【0025】
ユーザ端末に表示される推奨商品の検索結果としての類似商品画像は、第1及び第2入力画像の特徴ベクトル及び/又は統合特徴ベクトルと検索された類似商品画像の特徴ベクトルとの間の距離順に整列されて表示されることができる。
【発明の効果】
【0026】
本発明の実施形態によれば、ユーザが入力した複数の商品画像をそれぞれ分析し、それらに対応する特徴ベクトルを算出して予め格納された類似商品画像の特徴ベクトルを比較分析することにより、ユーザの入力画像情報にマッチングする最適の類似商品画像を推奨商品の検索結果情報として提供することで、ユーザが商品に対する名称が分からなくて、既存の検索方法(例えばカテゴリー、キーワード検索等)では所望の商品を探しにくい場合にも、差別化された検索方法でユーザが所望する商品と対応する類似商品を容易かつ正確に見つけることができる。
【0027】
また、これによりオンラインショッピングモールに対するユーザの基本的な使用性を便利にし、既存の方法とは差別化された検索方法を提供してショッピングモールの競争力を増大させることができる。
【図面の簡単な説明】
【0028】
【
図1】本発明の実施例による画像商品検索システムを含むネットワーク環境を示すブロック図である。
【
図2】
図1に示されたユーザ端末の構成を示すブロック図である。
【
図3】
図1に示されたショッピングモールサーバの内部構成の一実施例を概略的に示すブロック図である。
【
図4】本発明の実施例による入力画像分析装置の構成を示すブロック図である。
【
図5】本発明の実施例によるディープラーニングに基づいて類似商品を提供するためのデータベースを生成する方法を説明するフロー図である。
【
図6】本発明の実施例によるアイテム画像をオブジェクトディテクション(object detection)してバウンディングボックス(bounding box)を生成する一例を説明する図である。
【
図7】本発明の実施例によるパディング画像を生成する過程を説明する図である。
【
図8】
図3に示されたプロセッサの内部構成の一実施例を示すブロック図である。
【
図9】本発明の第1実施例による画像商品検索方法を示すフロー図である。
【
図10】本発明の第2実施例による画像商品検索方法を示すフロー図である。
【
図11】本発明の第3実施例による画像商品検索方法を示すフロー図である。
【発明を実施するための形態】
【0029】
本発明の背景技術欄に記載された内容は、単に本発明の技術的思想に対する背景技術の理解を助けるためのものであり、したがってそれは本発明の技術分野の当業者に知られた先行技術に該当する内容であると理解されるべきではない。
【0030】
以下の記述において、説明の目的で、様々な実施例の理解を容易にするために多くの具体的な詳細内容が提示される。しかし、様々な実施例はこのような具体的な細部内容なしに又は一つ以上の同等の方式で実施できるということは明白である。いくつかの実施例では、よく知られた構造と装置が様々な実施例を不要に理解しづらくすることを避けるためにブロック図で示す。
【0031】
添付のブロック図の各ブロックは、コンピュータプログラムインストラクション(実行エンジン)によって行われてもよく、これらのコンピュータプログラムインストラクションは、汎用コンピュータ、特殊コンピュータ、又はその他のプログラム可能なデータ処理装置のプロセッサに搭載されることができるので、コンピュータ又はその他のプログラム可能なデータ処理装置のプロセッサを介して行われるそのインストラクションが、ブロック図の各ブロックで説明された機能を実行する手段を生成することになる。
【0032】
これらのコンピュータプログラムインストラクションは、特定の方式で機能を実現するために、コンピュータ又はその他のプログラム可能なデータ処理装置を指向し得るコンピュータ利用可能又はコンピュータ読み取り可能なメモリに格納されることも可能であるので、そのコンピュータ利用可能又はコンピュータ読み取り可能なメモリに格納されたインストラクションは、ブロック図の各ブロックで説明された機能を実行するインストラクション手段を内包する製造品目を生産することも可能である。
【0033】
そして、コンピュータプログラムインストラクションは、コンピュータ又はその他のプログラム可能なデータプロセッシング装置上に搭載されることも可能であるので、コンピュータ又はその他のプログラム可能なデータ処理装置上で一連の動作ステップが行われ、コンピュータで実行されるプロセスを生成し、コンピュータ又はその他のプログラム可能なデータ処理装置を遂行するインストラクションは、ブロック図の各ブロックで説明される機能を実行するための機能を提供することも可能である。
【0034】
また、各ブロックは、特定された論理的機能を実行するための1つ以上の実行可能なインストラクションを含むモジュール、セグメント、又はコードの一部を示すことができ、いくつかの代替実施例では、ブロック又はステップで言及された機能が順番に関係なく発生することも可能である。
【0035】
すなわち、図示された2つのブロックは、実質的に同時に行われることも可能であり、またそのブロックが必要に応じて該当する機能の逆順に行われることも可能である。
【0036】
本明細書で使用された用語は、特定の実施例を説明する目的であり、制限する目的ではない。明細書全体において、ある部分がある構成要素を「含む」という時、これは特に反対になる記載がない限り、他の構成要素を除くのではなく、他の構成要素をさらに含むことができることを意味する。他の定義がない限り、本明細書で使用された用語は、本発明が属する分野で通常の知識を有する者に一般に理解されるものと同じ意味を有する。
【0037】
以下、添付の図面を参照して本発明の実施例をより詳しく説明するようにする。
【0038】
図1は、本発明の実施例による画像商品検索システムを含むネットワーク環境を示すブロック図である。
【0039】
図1を参照すると、本発明の実施例による画像商品検索システムを含むネットワーク環境は、複数のユーザ端末110_1、110_2、...、110_n、ネットワーク120、ショッピングモールサーバ130、及び入力画像分析装置140を含んで構成される。
【0040】
ユーザ端末110は、ユーザが携帯できるモバイル端末を含む。例えば、ユーザ端末110には、スマートフォン、タブレット、ノートパソコン等がある。
【0041】
ユーザ端末110には、ショッピングモールサーバ130から提供する画像商品検索アプリケーションがインストールされており、これにより本発明の実施例による商品推奨ショッピングモールシステム、すなわちショッピングモールサーバ130及び入力画像分析装置140から提供する様々な商品推奨情報を得ることができる。
【0042】
一例として、ユーザ端末110がショッピングモールサーバ130に接続して商品を検索する際、ユーザ端末110に格納された又はユーザ端末110によって検索してキャプチャされた複数の商品画像をユーザ端末にインストールされたアプリケーションの画像検索機能を利用してショッピングモールサーバ130に転送し、ショッピングモールサーバ130及び入力画像分析装置140は、転送された商品画像情報を分析してユーザに適した商品推奨情報を提供することができる。本発明の実施例の場合、商品推奨情報は、ユーザが入力した複数の商品画像情報にマッチングする最適の類似商品画像として提供されることができる。
【0043】
より具体的には、ショッピングモールサーバ130及び入力画像分析装置140は、ユーザがユーザ端末110にインストールされた画像商品検索アプリケーションの画像検索機能を利用して入力された複数の商品画像をそれぞれ分析し、それらに対応する特徴ベクトルを算出して予め格納された類似商品画像の特徴ベクトルを比較分析することにより、ユーザの入力画像情報にマッチングする最適の類似商品画像を推奨商品の検索結果情報として提供することができる。
【0044】
仮に、ユーザ端末に画像商品検索アプリケーションがインストールされていない場合には、ユーザは、アプリケーションをショッピングモールサーバ130からダウンロード(download)してユーザの端末にインストールすることができる。
【0045】
ネットワーク120は、無線通信網又は有線通信網で実現されることができる。この際、通信方式は制限されず、ネットワーク120が含むことができる通信網(例えば、移動通信網、無線LAN網、有線インターネット、放送網)を活用する通信方式だけでなく、機器間の近距離無線通信も含まれることができる。
【0046】
ショッピングモールサーバ130は、ネットワーク120を介して多数のユーザ端末110がショッピングモールサーバ130から提供するインターフェースに接続して様々な商品、例えば衣類商品を検索し、結果としてユーザが所望する商品を購入し得るオンライン環境を提供する主体であって、これは命令、コード、ファイル、コンテンツ、サービス等を提供する少なくとも1つのサーバ装置で構成されることができる。
【0047】
本発明の実施例の場合、ショッピングモールサーバ130は、前述したようにユーザ端末110にインストールされた画像商品検索アプリケーションを介して入力され、ネットワーク120を介して転送された複数の商品画像に対する特徴ベクトルとショッピングモールサーバ130のデータベースに予め格納された類似商品画像の特徴ベクトルとを比較分析することにより、ユーザの入力画像情報にマッチングする最適の類似商品画像を推奨商品の検索結果情報として提供することを特徴とする。
【0048】
また、本発明の実施例は、ショッピングモールサーバ130から入力された複数の商品画像情報を受信して複数の商品画像情報をそれぞれ分析し、これらに対応する特徴ベクトルを算出し、これをショッピングモールサーバ130に伝達する入力画像分析装置140を含むことができる。
【0049】
これにより、ユーザ端末110がショッピングモールサーバ130に接続してショッピングモールサーバ130から提供する商品(例えば、衣類商品)を検索する際、ショッピングモールサーバ130から提供するインターフェース及び/又はユーザ端末にインストールされたアプリケーションを利用してユーザが商品に対する名称が分からなくて既存の検索方法(例えば、カテゴリー、キーワード検索等)では所望する商品を探しにくい場合にも、差別化された検索方法でユーザが所望する商品と対応する類似商品を容易かつ正確に探すことができる。また、これによりオンラインショッピングモールに対するユーザの基本的な使用性を便利にし、既存の方法とは差別化された検索方法を提供してショッピングモールの競争力を増大させることができる。
【0050】
入力画像分析装置140は、ユーザが入力した商品画像情報をベクトル変換し、ディープラーニングアルゴリズム実行により複数の商品画像情報をそれぞれ分析し、それらに対応する特徴ベクトルを抽出することで、入力された商品画像情報それぞれに対する特徴ベクトルを生成する動作を実行することができる。
【0051】
図1では、入力画像分析装置140がショッピングモールサーバ130と分離されて構成される場合を例に挙げて説明しているが、これは一つの実施例に過ぎず、入力画像分析装置140及びショッピングモールサーバ130は、1つの装置で実現されてもよい。
【0052】
ショッピングモールサーバ130は、ウェブサーバ(Web Server)の形態で実現されることができ、ウェブサーバは、一般にインターネットのような開放型コンピュータネットワークを介して不特定多数のクライアント及び/又は他のサーバと連結されており、クライアント又は他のウェブサーバの作業実行要求を受け付け、それに対する作業結果を導き出して提供するコンピュータシステム及びそのためにインストールされているコンピュータソフトウェア(ウェブサーバプログラム)を意味する。しかし、前述したウェブサーバプログラム以外にも、ウェブサーバ上で動作する一連の応用プログラム(Application Program)と場合によっては内部に構築されている各種データベースとを含む広い概念で理解することができる。一例として、ショッピングモールサーバ130は、一般のサーバ用ハードウェアにドス(DOS)、ウィンドウ(Windows)、リナックス(登録商標)(Linux(登録商標))、ユニックス(UNIX(登録商標))、マッキントッシュ(Macintosh)等のオペレーティングシステムによって様々に提供されているウェブサーバプログラムを利用して実現されることができ、代表的なものとしては、ウィンドウ環境で使用されるウェブサイト(Website)、IIS(Internet Information Server)、そしてユニックス環境で使用されるCERN、NCSA、APPACH等を利用することができる。
【0053】
図2は、
図1に示されたユーザ端末の構成を示すブロック図である。
【0054】
図2を参照すると、それぞれのユーザ端末110は、通信モジュール111、メモリ112、表示モジュール113、オーディオ出力モジュール114及び制御部116を含むことができる。
【0055】
通信モジュール111は、ネットワーク120を介して内部の任意の構成要素又は外部の任意の少なくとも1つの機器と通信接続することができる。この際、外部の任意の機器は、例えば
図1に示されたショッピングモールサーバ130及び/又は入力画像分析装置140を含むことができる。ここで、無線インターネット技術としては、無線LAN(Wireless LAN:WLAN)、DLNA(登録商標)(Digital Living Network Alliance)、ワイブロ(Wireless Broadband:Wibro)、ワイマックス(World Interoperability for Microwave Access:Wimax) 、HSDPA(High Speed Downlink Packet Access)、HSUPA(High Speed Uplink Packet Access)、IEEE802.16、ロング・ターム・エボリューション(Long Term Evolution:LTE)、LTE-A(Long Term Evolution-Advanced)、広帯域無線移動通信サービス(Wireless Mobile Broadband Service:WMBS)等があり、通信モジュール111は、以外のインターネット技術まで含めた範囲で少なくとも一つの無線インターネット技術によってデータを送受信することになる。
【0056】
また、近距離通信技術としては、ブルートゥース(登録商標)(Bluetooth)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)、UWB(Ultra Wideband)、ジグビー(ZigBee)、近距離無線通信(Near Field Communication:NFC)、超音波通信(Ultra Sound Communication:USC)、可視光通信(Visible Light Communication:VLC)、ワイファイ(Wi-Fi)、ワイファイダイレクト(Wi-Fi Direct)等が含まれることができる。
【0057】
メモリ112は、様々なユーザインターフェース(User Interface:UI)、グラフィックユーザインターフェース(Graphic User Interface:GUI)等を格納する。また、メモリ112は、ユーザ端末110が動作するのに必要なデータとプログラム等を格納する。すなわち、メモリ112は、ユーザ端末110で駆動される多数のアプリケーションプログラム(application program、以下、単にアプリケーション)、ユーザ端末110の動作のためのデータ、コマンドを格納することができる。すなわち、本発明の実施例によるユーザ端末110のメモリ112には、少なくとも1つ以上のアプリケーションが格納されている。このようなアプリケーションのうち少なくとも一部は、無線通信を介して外部サーバからダウンロードすることができる。本発明の実施例は、
図1に示されたショッピングモールサーバ130から提供する画像商品検索アプリケーション112aを含むことを特徴とする。
【0058】
また、アプリケーションは、自動音声認識(ASR)アプリケーション、地図アプリケーション、メディアアプリケーション(例えば、QuickTime、MobileMusic.app、又はMobileVideo.app)、ソーシャルネットワーキングアプリケーション(social networking applications)(例えば、フェイスブック、ツイッター等)、インターネットブラウジングアプリケーション等で実現されることができる。一方、アプリケーションは、メモリ112に格納され、ユーザ端末110にインストールされて、制御部116によってユーザ端末110の動作(又は機能)を実行するように駆動されることができる。
【0059】
また、メモリ112は、フラッシュメモリタイプ(Flash Memory Type)、ハードディスクタイプ(Hard Disk Type)、マルチメディアカードマイクロタイプ(Multimedia Card Micro Type)、カードタイプのメモリ(例えば、SD又はXDメモリ等)、磁気メモリ、磁気ディスク、光ディスク、ラム(Random Access Memory:RAM)、SRAM(Static Random Access Memory)、ロム(Read-Only Memory:ROM)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、PROM(Programmable Read-Only Memory)のうちの少なくとも1つの記憶媒体を含むことができる。
【0060】
表示モジュール113は、制御部116の制御によってメモリ112に格納されたユーザインターフェース及び/又はグラフィックユーザインターフェースを利用して様々なメニュー画面等のような様々なコンテンツを表示し、制御部116の制御によって実行された画像商品検索アプリケーション112aの実行結果画面を表示することができる。
【0061】
一例として、表示モジュール113は、画像商品検索アプリケーション112aが実行されると、画像商品検索アプリケーション112aから提供する画像入力ウィンドウを画面に表示することができ、ユーザは、メモリ112に予め格納された商品画像又はユーザがSNS、インターネットサーフィン等を介してキャプチャした商品画像データを、画像入力ウィンドウを介して入力することができる。
【0062】
ここで、表示モジュール113に表示されるコンテンツは、様々なテキスト又は画像データ(各種情報データを含む)とアイコン、リストメニュー等を表すメニュー画面とを含むことができる。表示モジュール113は、液晶ディスプレイ(Liquid Crystal Display:LCD)、有機発光ダイオード(Organic Light-Emitting Diode:OLED)、フレキシブルディスプレイ(Flexible Display)、3次元ディスプレイ(3D Display)、電子インクディスプレイ(e-ink display)、LED(Light Emitting Diode)等で実現されることができる。
【0063】
オーディオ出力モジュール114は、制御部116の制御によって所定信号処理された信号に含まれた音声情報を出力することができる。ここで、オーディオ出力モジュール114には、レシーバー(receiver)、スピーカ(speaker)等が含まれることができる。
【0064】
図3は、
図1に示されたショッピングモールサーバの内部構成の一実施例を概略的に示すブロック図である。
【0065】
図3を参照すると、ショッピングモールサーバ130は、メモリ132、データベース133、プロセッサ134、通信モジュール136及び入出力インターフェース138を含む。
【0066】
メモリ132は、コンピュータで読み取り可能な記録媒体であって、RAM、ROM、及びディスクドライブのような非消滅性大容量記録装置を含むことができる。また、メモリ132には、オペレーティングシステムと少なくとも1つのプログラムコードとが格納されることができる。このようなソフトウェアの構成要素は、ドライブメカニズムを利用してメモリ132とは別のコンピュータで読み取り可能な記録媒体からロードされることができる。このような別のコンピュータで読み取り可能な記録媒体は、フロッピードライブ、ディスク、テープ、DVD/CD-ROMドライブ、メモリカード等の記録媒体を含むことができる。また、ソフトウェアの構成要素は、通信モジュール136を介してメモリ132にロードされることもできる。
【0067】
データベース133は、本発明の実施例によるショッピングモールサーバ130と接続したユーザ端末110から送受信した情報を格納及び維持することができる。また、データベース133は、画像データベースであって、ショッピングモールサーバ130が保有している商品に対する画像情報及びユーザ端末110から入力されて転送された商品画像情報を格納することができる。一例として、
図4に示されたように、画像データベース133は、ショッピングモールサーバ130が保有している各商品に対する商品画像が格納された第1データベース133a(保有商品画像DBともいう)及びユーザ端末110から入力されて転送された商品画像情報が格納された第2データベース133b(入力画像DBともいう)を含むことができる。
【0068】
プロセッサ134は、基本的な算術、ロジック、及び入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成することができる。命令は、メモリ132又は通信モジュール136によってプロセッサ134に提供されることができる。一例として、プロセッサ134は、メモリ132のような記録装置に格納されたプログラムコードによって受信される命令を実行するように構成することができる。すなわち、プロセッサ134は、ソフトウェア的にC、C++、Java、Visual Basic、Visual C等によって実現されて様々な機能を実行するプログラムモジュール(Module)を含むことができる。
【0069】
ショッピングモールサーバ130は、ネットワーク120を介して多数のユーザ端末110がショッピングモールサーバ130から提供するインターフェースに接続して様々な商品(例えば、衣類商品)を検索し、結果としてユーザが所望する商品を購入することができるオンライン環境を提供する役割をする。
【0070】
本発明の実施例によるショッピングモールサーバ130は、前述のようにユーザ端末110にインストールされた画像商品検索アプリケーション112aを介して入力され、ネットワーク120を介して転送された複数の商品画像に対する特徴ベクトルと、ショッピングモールサーバ130のデータベースに予め格納された類似商品画像の特徴ベクトルと、を比較分析することにより、ユーザの入力画像情報にマッチングする最適の類似商品画像を推奨商品の検索結果情報として提供することを特徴とする。
【0071】
また、本発明の実施例による入力画像分析装置140は、ショッピングモールサーバ130から入力された複数の商品画像情報を受信し、ディープラーニングアルゴリズムを実行して複数の商品画像情報をそれぞれ分析し、それらに対応する特徴ベクトルを算出し、それをショッピングモールサーバ130に伝達する動作を実行することができる。
【0072】
本発明の実施例によるショッピングモールサーバ130及び入力画像分析装置140の構成及び動作については、以下、
図4~
図11を参照してより詳しく説明するようにする。
【0073】
通信モジュール136は、ネットワーク120を介してユーザ端末110とショッピングモールサーバ130とが互いに通信するための機能を提供することができる。一例として、ショッピングモールサーバ130のプロセッサ134の制御によって提供される制御信号、命令、コンテンツ、ファイル等が通信モジュール136を経由してネットワーク120を介してユーザ端末110に転送されることができる。
【0074】
入出力インターフェース138は、キーボード又はマウス等で実現される入力装置とディスプレイ等のような出力装置との間のインターフェースを提供する役割をすることができる。
【0075】
図4は、本発明の実施例による入力画像分析装置の構成を示すブロック図である。
【0076】
本発明の実施例による入力画像分析装置140は、ショッピングモールサーバ130から入力された複数の商品画像情報を受信し、ディープラーニングアルゴリズムを実行して複数の商品画像情報をそれぞれ分析し、それに対応する特徴ベクトルを抽出することにより、入力された商品画像情報それぞれに対する特徴ベクトルを生成し、それをショッピングモールサーバ130に伝達する動作を実行することができる。
【0077】
図4に示された実施例では、入力される商品画像情報が2つ、すなわち第1商品画像及び第2商品画像である場合を例に挙げて説明しているが、これは説明の便宜のためのものであり、本発明の実施例が必ずこれに限定されるものではない。
【0078】
図4を参照すると、入力画像分析装置140は、入力画像受信部142、ディープラーニングアルゴリズム実行部144、特徴ベクトル抽出部145及び第1及び第2特徴ベクトル生成/提供部148を含むことができる。また、入力画像分析装置140は、ショッピングモールサーバ130のデータベース133と連動することができる。
【0079】
データベース133は、ショッピングモールサーバ130が保有している商品に対する画像情報及び入力された商品画像情報を格納することができる。一例として、
図4に示されたように、画像データベース133は、ショッピングモールサーバ130が保有している各商品に対する商品画像が格納された第1データベース133a及びユーザ端末110から入力されて転送された商品画像情報が格納された第2データベース133bを含むことができる。本発明の実施例の場合、入力画像分析装置140は、画像データベース133の第2データベース133bと連動することができる。
【0080】
図4に示された入力画像分析装置140は、プロセッサで実現されることができ、この場合、入力画像分析装置140の構成要素である入力画像受信部142、ディープラーニングアルゴリズム実行部144、特徴ベクトル抽出部145、及び第1及び第2特徴ベクトル生成/提供部148のそれぞれは、プロセッサによって行われる互いに異なる機能を区分して表現すると理解することもできる。この際、プロセッサは、前述したようにショッピングモールサーバ130に含まれたプロセッサ134と区別される別途のプロセッサで実現されることができるが、本発明の実施例はこれに限定されるものではない。すなわち、入力画像分析装置140の各構成要素は、ショッピングモールサーバ130のプロセッサ134内に実現された機能ブロックであってもよい。
【0081】
入力画像受信部142は、ショッピングモールサーバ130から提供するユーザ端末110を介して入力された第1及び第2商品画像情報を受信する動作を実行し、一例として、入力画像受信部142は、第1商品画像情報を受信する第1入力画像受信部142a及び第2商品画像情報を受信する第2入力画像受信部142bを含むことができる。
【0082】
すなわち、入力画像受信部142には、第1及び第2商品画像情報がメタデータで入力され、入力されたメタデータとしての商品画像情報は、ディープラーニングアルゴリズム実行部144に伝達される。
【0083】
ディープラーニングアルゴリズム実行部144は、伝達された第1及び第2商品画像情報をベクトル画像データに変換する動作を実行することができる。一実施例として、ベクトル画像データは、幾何学的情報を数学的座標で記述して画像を表すグラフィック方式によって生成されるデータであって、各ピクセルに対する色情報をもって画像を表すBitmap、Jpeg、Gif等のようなグラフィックファイルフォーマットで実現されるラスタ画像(Raster Image)とは異なり、拡大/縮小の際に粗くなったり、エイリアシング等のエラーが発生することなく原本画像のクオリティがそのまま保存されることができ、これにより非常に細かい部分の表現も可能となるという利点がある。一例として、ベクトル画像フォーマットとしては、AI(Adobe Illustrator)、SVG(Scalable Vector Graphics)、VML(Vector Markup Language)、CGM(Computer Graphics Metafile)、Gerber format等がある。
【0084】
また、ディープラーニングアルゴリズム実行部144は、ディープラーニングアルゴリズムを実行して複数の商品画像情報をそれぞれ分析する動作を実行することができる。本発明の実施例によるディープラーニングアルゴリズムは、ファッション商品をその対象とすることができ、その動作を概略的に説明すると以下の通りである。
【0085】
ディープラーニングアルゴリズム実行部144によれば、入力された商品画像をオブジェクトディテクション(object detection)して当該画像内でオブジェクトを検出することができ、検出されたオブジェクトに基づいてバウンディングボックス(Bounding Box)を生成することができる。ここで、商品画像とは、オンラインショッピングモールで販売する商品を撮影した映像であってもよい。より具体的には、商品画像でオブジェクト(Object)領域を認識し、オブジェクトのある大まかな領域を四角の箱状で有するバウンディングボックスで抽出(crop)することができる。
【0086】
また、ディープラーニングアルゴリズム実行部144は、入力された商品画像において、ファッションに関連するオブジェクト及びオブジェクトが占める領域を認識し、ファッションオブジェクト別にバウンディングボックスを抽出するファッションディテクション(fashion detection)を実行することができる。このため、ディープラーニングアルゴリズム実行部144は、ファッションディテクション部(図示省略)を含むことができ、ファッションディテクション部は、入力された商品画像を少なくとも1回の畳み込み層(Convolution layer)を通過させる第1畳み込みニューラルネットワークConv 1と、関心領域プーリング層(RoI Pooling layer)、ソフトマックス、及びバウンディングボックス回帰子で構成された第2畳み込みニューラルネットワークConv 2と、を含むことができる。
【0087】
第1畳み込みニューラルネットワークConv 1は、全体画像とオブジェクト候補領域とを同時に入力として受け取ることができ、第1畳み込みネットワークは、畳み込み層(Convolution layer)と最大値プーリング層(max-pooling layer)とにより画像全体を一度に処理して、有意味なオブジェクトをそれぞれバインディングして特徴領域として表した特徴マップ(feature map)を生成することができる。
【0088】
次に、第2畳み込みネットワークは、各オブジェクト候補領域に対して関心領域プーリング層(RoI Pooling layer)を通過させて、特徴マップ(feature map)から特徴ベクトル(fixed-length feature vector)を抽出することができる。
【0089】
特徴ベクトルとは、入力された各商品画像上のオブジェクトに対する特徴を特定する変数を意味することができる。そして、第2畳み込みネットワークは、抽出した特徴ベクトルを全結合層(Fully-Connected Layer、FCs)に認可した後、全結合層の出力データを最終段に配置されたソフトマックス(softmax)に認可して、各客体の種類を特定することができる。
【0090】
この際、第2畳み込みネットワークは、客体の種類のうちファッションに関するオブジェクトだけを抽出するように学習されることができる。また、第2畳み込みネットワークは、全結合層の出力データをバウンディングボックス回帰子(bbox regressor)に印加して、ファッションに関するオブジェクトが占める領域を概略的に表すバウンディングボックスを抽出することができる。このような第1畳み込みネットワークと第2畳み込みネットワークとで構成されたファッションディテクション部は、オブジェクトの種類がファッションに関する商品画像であることを特定し、該当商品画像が占める特徴領域をバウンディングボックスで抽出することができる。
【0091】
その結果、ディープラーニングアルゴリズム実行部144により分析された第1及び第2入力商品画像それぞれに対する情報は特徴ベクトル抽出部146に伝達され、特徴ベクトル抽出部146は、第1及び2入力商品画像それぞれに対応する特徴ベクトルを抽出する動作を実行することができる。
【0092】
その後、特徴ベクトル抽出部146で第1及び2入力商品画像それぞれに対応する特徴ベクトルは第1及び2特徴ベクトル生成/提供部147に伝達されることができ、これにより生成された各特徴ベクトル情報は、各入力商品画像別に分析されて入力された商品画像情報の格納された第2データベース133bに格納されることができる。
【0093】
また、
図5は、本発明の実施例によるディープラーニングに基づいて類似商品を提供するためのデータベースを生成する方法を説明するフロー図であり、
図6は、本発明の実施例によるアイテム画像をオブジェクトディテクション(object detection)してバウンディングボックス(bounding box)を生成する一例を説明する図であり、
図7は、本発明の実施例によるパディング画像を生成する過程を説明する図である。
【0094】
本発明の実施例によるショッピングモールサーバ130及び入力画像分析装置140は、オンラインショッピングモールに掲示された商品アイテムに対する画像及びユーザが送付した入力商品画像をそれぞれ抽出してデータベース化し、今後特定商品アイテムに対する類似商品検索のためのデータベースとして活用することができる。
【0095】
図5を参照すると、オンラインショッピングモールに掲示された商品アイテムに対する画像及び/又はユーザが送付した入力商品画像と、それらに対応する商品アイテム情報と、を取得することができる(S101)。ここで、商品アイテムは、ショッピングモールで販売する商品を意味し、商品アイテム画像は、ショッピングモールで販売する商品を撮影した映像であってもよい。また、アイテム情報とは、アイテムのカテゴリ、すなわちトップス、ボトムス、水着及び/又はワンピース等のようなアイテムが分類された製品群情報を含むことができる。
【0096】
その後、商品アイテム画像と情報を取得したショッピングモールサーバ130及び入力画像分析装置140は、取得したアイテム画像をオブジェクトディテクション(Object detection)して少なくとも1つ以上のバウンディングボックスを生成することができる(S103)。一例として、
図6を参照すると、入力画像分析装置140は、オブジェクトディテクション部を介したディープラーニングに基づいて、取得したアイテム画像をオブジェクトディテクション(Object detection)することができ、該当画像内で少なくとも1つ以上のオブジェクトを検出することができる。そして、検出されたオブジェクトに基づいて、該当オブジェクトのある大まかな領域を四角の箱状に有するバウンディングボックスを少なくとも1つ以上抽出することができる。この際、入力画像分析装置140は、ディープラーニングニューラルネットワークをファッション(Fashion)アイテムに最適化されるようにトレーニング(training)して使用することができ、トレーニングされたニューラルネットワークを介してアイテム画像上のオブジェクトの種類がファッションに関するアイテムであることを特定し、該当アイテムが占める特徴領域をバウンディングボックスで抽出することができる。すなわち、入力画像分析装置140は、アイテム画像でファッションに関するオブジェクトを検出することができ、検出されたオブジェクトを表す画像領域を含むバウンディングボックスを生成することができる。例えば、ファッションアイテムに最適化されるようにトレーニングされたファッションディテクタ(Fashion Detector)を利用して、取得したアイテム画像をオブジェクトディテクション(Object detection)して少なくとも1つ以上のバウンディングボックスを生成することができる。このように、入力画像分析装置140は、ディープラーニングを利用してファッションアイテム画像に対してのみデータ処理を実行することで、ニューラルネットワークとビッグデータとに基づいた正確かつ迅速な類似アイテム提供サービスを提供することができる。
【0097】
次に、アイテム画像に対して少なくとも1つ以上のバウンディングボックスを生成したショッピングモールサーバ130及び入力画像分析装置140は、取得したアイテム情報に基づいて該当アイテムに対するバウンディングボックスを決定することができ、決定されたバウンディングボックス内の画像をメインバウンディングボックス画像で抽出することができる(S105)。
【0098】
ショッピングモールサーバ130及び入力画像分析装置140は、検出されたバウンディングボックス内の画像を抽出してメインバウンディングボックス画像として生成することができる。すなわち、メインバウンディングボックス画像とは、アイテム画像から生成された複数のバウンディングボックスのうち、該当アイテムを表す少なくとも1つ以上のバウンディングボックス内の画像である。一実施例として、入力画像分析装置140は、取得したアイテム情報が「トップス」である場合、「トップス」とマッチングされるトップスオブジェクトを含むバウンディングボックスを検出することができ、検出されたトップスオブジェクトを含むバウンディングボックス内の画像をメインバウンディングボックス画像として抽出することができる。また、一実施例において、ショッピングモールサーバ130及び入力画像分析装置140は、取得したアイテム情報が「ビキニ水着」及び/又は「ツーピース(Two-piece)」等のように、トップオブジェクト(Top object)とボトムオブジェクト(Bottom object)とが一組(Set)をなすアイテムを表す場合、当該アイテム情報とマッチングされるトップオブジェクトとボトムオブジェクトとを含むバウンディングボックスを共に抽出してマージ(merge)することができる。
【0099】
また、ショッピングモールサーバ130及び入力画像分析装置140は、トップオブジェクトのバウンディングボックスとボトムオブジェクトのバウンディングボックスとをマージしたバウンディングボックス内の画像をメインバウンディングボックス画像として抽出することができる。
【0100】
このように、ショッピングモールサーバ130及び入力画像分析装置140は、アイテム画像上に存在する複数のオブジェクトに対するバウンディングボックスを生成し、生成されたバウンディングボックスのうち該当アイテムを含むバウンディングボックスだけを検出することで、取得したアイテム画像でアイテムに関する領域だけを抽出することができ、抽出された領域をもとにディープラーニングに基づいた類似アイテムの検索機能を提供して、データ処理負荷を減少させ、検索速度を向上させることができる。また、ショッピングモールサーバ130及び入力画像分析装置140は、取得したアイテム情報によって少なくとも1つ以上のバウンディングボックスを抽出することができ、抽出された少なくとも1つ以上のバウンディングボックスを結合させて該当アイテムを表すメインバウンディングボックス画像として生成することで、アイテムのカテゴリ別により正確度の高い類似アイテム提供サービスを提供することができる。次に、メインバウンディングボックス画像を生成したショッピングモールサーバ200は、メインバウンディングボックス画像をパディング(padding)処理してサイズを調整することでパディング画像を生成することができる(S107)。
【0101】
一般に、画像に対する特徴ベクトルを抽出するディープラーニングニューラルネットワークは、特定サイズの画像だけを入力データとして受信することができる。ところが、アイテム別にメインバウンディングボックス画像の大きさは異なることがあるので、ディープラーニングニューラルネットワークに入力するのに適したサイズに変換する必要がある。この際、原本画像が有する既存の縦横比(Aspect Radio)を維持できずにサイズを変換する場合、アイテムのスタイルや形状に対する特徴ベクトルが歪まれる恐れがある。従って、本発明の実施例においては、ディープラーニングニューラルネットワークにメインバウンディングボックス画像を入力するために、既存の縦横比を維持しながらメインバウンディングボックス画像のサイズを調整するためにパディング処理を実行することができる。
【0102】
ここで、パディング処理とは、原本画像の縦横比率を維持しながらサイズの大きさを調整するために、パッド画像を追加する画像処理を意味する。この際、パッド画像とは、縦横比率は維持されながらサイズが調整された原本画像において、片側の大きさが入力サイズの大きさよりも小さい場合、足りない大きさに合わせて生成されて原本画像の両側又は片側に挿入される画像であって、ディープラーニングに影響を与えない画像でありうる。例えば、パッド画像は、グレースケールの単色からなる画像でありうる。
【0103】
すなわち、本発明の実施例において、ショッピングモールサーバ130及び入力画像分析装置140は、パディング処理により、所定のサイズに調整されたメインバウンディングボックス画像上にパッド画像を追加して、メインバウンディングボックス画像を特徴ベクトル抽出のためのディープラーニングニューラルネットワークの入力サイズに合わせて調整することができる。詳しくは、
図7を参照すると、ショッピングモールサーバ130及び入力画像分析装置140は、生成されたメインバウンディングボックス画像(
図7(a)参照)を特徴ベクトルを抽出するディープラーニングニューラルネットワークの入力データとして使用するために、該当画像の横及び/又は縦のサイズを既に設定された制限された大きさに合わせて変更して生成された第1画像(
図7(b)参照)は、アイテムの形態が歪まれることがある。このような歪みを防止するために、ショッピングモールサーバ200は、メインバウンディングボックス画像の横サイズを入力データの横サイズに合わせて縦横比率を維持しながら減少させることができる。次に、ショッピングモールサーバ200は、メインバウンディングボックス画像の縦サイズを入力データの縦サイズに合わせるために、パッド画像5をメインバウンディングボックス画像の両側に追加して、第1パディング画像(
図7(c)参照)を生成することができる。
【0104】
或いは、ショッピングモールサーバ130及び入力画像分析装置140は、メインバウンディングボックス画像の縦サイズを入力データの縦サイズに合わせるために、パッド画像5をメインバウンディングボックス画像の片側に追加して、第2パディング画像(
図7(d)参照)を生成することができる。すなわち、ショッピングモールサーバ130及び入力画像分析装置140は、サイズが変更されたメインバウンディングボックス画像上の両側又は片側に、所定の大きさに生成されたパッド画像5を追加するパディング処理を実行してパディング画像を生成することができる。
【0105】
このようなパディング処理により、ショッピングモールサーバ130及び入力画像分析装置140は、縦横比を原本画像と同一に維持しながらサイズが調整されたメインバウンディングボックス画像とパッド画像5とを含むパディング画像を生成することができる。このように、ショッピングモールサーバ130及び入力画像分析装置140は、パディング処理により画像のサイズが変更された後にも原本画像の縦横比を維持することにより、アイテム形状の歪みを防止しながらディープラーニングニューラルネットワークの入力データサイズに合わせて原本画像を変換することができる。
【0106】
次に、パディング画像を生成したショッピングモールサーバ130及び入力画像分析装置140は、生成されたパディング画像に対する特徴ベクトルを抽出することができる(S109)。より具体的には、ショッピングモールサーバ130及び入力画像分析装置140は、生成されたパディング画像を特徴ベクトルを抽出するディープラーニングニューラルネットワークに入力して、該当画像上のオブジェクトに対する特徴を特定する特徴ベクトルを抽出することができる。
【0107】
この際、ショッピングモールサーバ130及び入力画像分析装置140は、特徴ベクトルを抽出するディープラーニングニューラルネットワークをファッションに用いられる項目に対する特徴抽出に最適化するためにトレーニングして使用することができる。
【0108】
このように、ショッピングモールサーバ130及び入力画像分析装置140は、ディープラーニングニューラルネットワークを利用してアイテムオブジェクトを含むパディング画像に対する特徴ベクトルを抽出することによって、該当アイテムの特徴をより効果的に特定して管理できるデータを取得することができ、これによりディープラーニングに基づいて類似アイテムを検出して提供するサービスを円滑に実行することができる。
【0109】
次に、パディング画像に対する特徴ベクトルを抽出したショッピングモールサーバ130及び入力画像分析装置140は、抽出された特徴ベクトルの次元を縮小して統合特徴ベクトルを生成することができる(S111)。この際、特徴ベクトルの次元は、特徴ベクトルを抽出するために用いられるディープラーニングの方式によって多様であることができる。一実施例として、特徴ベクトルの次元は、特徴ベクトルを抽出しようとするパラメータの個数に比例することができる。例えば、ショッピングモールサーバ200がテクスチャ(Texture)、ファブリック(Fabric)、シェイプ(Shape)、スタイル(Style)及びカラー(Color)パラメータに基づいて各パラメータに対する特徴ベクトルを抽出した場合、特徴ベクトルの次元は5次元になり得る。このような特徴ベクトルの次元は、次元の大きさが大きいほどデータベース133に格納されるのに負担になり、データベース133の検索を実行する時に要する時間も増加することになる。これによって、本発明の実施例においてショッピングモールサーバ130及び入力画像分析装置140は、抽出された特徴ベクトルの次元を様々なアルゴリズムを介して縮小させた統合特徴ベクトルを生成することができる。
【0110】
より具体的には、一実施例として、ショッピングモールサーバ130及び入力画像分析装置140は、抽出された特徴ベクトルの次元をPCA(Principle Component Analysis)、ICA(Independent Component Analysis)、Non-negative matrix factorization及びSVD(Singlular Value Decomposition)技術のうち少なくともいずれか一つの技術を用いて縮小させることができ、これにより統合特徴ベクトルを生成することができる。
【0111】
例えば、ショッピングモールサーバ130及び入力画像分析装置140は、抽出されたパラメータ別の特徴ベクトルを既に設定されたアルゴリズムを介して一つに結合させて次元を縮小することができ、統合特徴ベクトルを生成することができる。このように、ショッピングモールサーバ130及び入力画像分析装置140は、パディング画像から抽出された特徴ベクトルの次元を縮小するデータ処理を実行することによって、特徴ベクトルのデータベース化をより効率的に実行することができ、今後データベース133で類似アイテムを検索する際に要する時間と費用を節減することができる。
【0112】
次に、統合特徴ベクトルを生成したショッピングモールサーバ130及び入力画像分析装置140は、生成された統合特徴ベクトルをデータベース133に格納することができ、今後該当データベース133を、類似アイテムを検索するための検索データベース133として活用することができる(S113)。
【0113】
以下
図8~
図11を参照して、より具体的に本発明の実施例による商品展示インターフェースを自動的に生成する、顧客に適した商品を推奨するショッピングモールシステム及びその方法について具体的に説明する。
【0114】
図8は、
図3に示されたプロセッサの内部構成の一実施例を示すブロック図であり、
図9~
図11は、本発明の実施例による画像商品検索方法を示すフロー図である。
【0115】
まず、
図8を参照すると、ショッピングモールサーバ130のプロセッサ134は、第1及び第2入力画像の特徴ベクトル受信部810、特徴ベクトル処理部820、類似商品検索部830、及び検索結果提供部840を含むことができる。また、プロセッサ134は、ショッピングモールサーバ130から提供するサイトの登録会員であるユーザ端末110を識別し、当該ユーザ端末110に提供される情報を格納するデータベース133と連動することができる。
【0116】
また、プロセッサ134は、先に
図4~
図7を参照して説明した入力画像分析装置140の動作と共に、ユーザ端末110を介して入力された複数の商品画像に対応する類似商品画像を推奨商品の検索結果として提供する画像商品検索方法を実行するようにショッピングモールサーバ130を制御することができる。
【0117】
ここで、プロセッサ134は、メモリ132が含むオペレーティングシステムのコードと少なくとも1つのプログラムコードとによる命令(instruction)を実行するように実現されることができる。この際、プロセッサ134内の構成要素、すなわち第1及び2入力画像の特徴ベクトル受信部810、特徴ベクトル処理部820、類似商品検索部830、及び検索結果提供部840は、ショッピングモールサーバ130に格納されたプログラムコードが提供する制御命令でプロセッサ134によって行われる互いに異なる機能を区分して表現するものとして理解することができる。
【0118】
また、
図4~
図7を参照して説明したように、本発明の実施例による入力画像分析装置140は、ショッピングモールサーバ130から入力された複数の商品画像情報を受信し、ディープラーニングアルゴリズムを実行して複数の商品画像情報をそれぞれ分析し、それらに対応する特徴ベクトルを算出し、それをショッピングモールサーバ130に伝達する動作を実行する。
【0119】
よって、ショッピングモールサーバ130の第1及び第2入力画像の特徴ベクトル受信部810は、入力画像分析装置140で生成されて提供された第1及び第2入力画像それぞれに対する特徴ベクトルを受信する動作を実行する。
【0120】
その後、特徴ベクトル処理部820は、受信された第1及び第2入力画像それぞれに対する特徴ベクトルに対する演算処理を実行して統合特徴ベクトルを生成するように構成され、演算処理の実施例は、以下
図9~
図11を参照してより具体的に説明する。
【0121】
類似商品検索部830は、演算処理により生成された統合特徴ベクトルをショッピングモールサーバ130のデータベースに予め格納された類似商品画像の特徴ベクトルと比較分析することにより、ユーザの入力画像情報にマッチングする最適の類似商品画像を検索する動作を実行する。
【0122】
最後に、検索結果提供部840は、類似商品検索部830により検索された類似商品画像を推奨商品の検索結果としてユーザ端末110に出力する動作を実行する。この際、検索結果提供部840から出力された推奨商品の検索結果は、ユーザ端末110の表示モジュール(
図2の113)を介して所定の画像情報を含んで表示されることができる。一例として、表示モジュール113は、ユーザ端末110にダウンロードされた画像商品検索アプリケーション112aが実行されると、画像商品検索アプリケーション112aから提供する検索結果表示ウィンドウを画面に表示し、検索結果表示ウィンドウを介して検索結果提供部840から出力された推奨商品の検索結果が表示されることができる。
【0123】
従って、本発明の実施例によるショッピングモールサーバ130は、前述したように、ユーザ端末110にインストールされた画像商品検索アプリケーション112aを介して入力され、ネットワーク120を介して転送された複数の商品画像(例えば、第1入力画像及び第2入力画像)に対する特徴ベクトルと、ショッピングモールサーバ130のデータベースに予め格納された類似商品画像の特徴ベクトルと、を比較分析することにより、ユーザの入力画像情報にマッチングする最適の類似商品画像を推奨商品の検索結果情報として提供することを特徴とする。
【0124】
図9は、本発明の第1実施例による画像商品検索方法を示すフロー図である。
【0125】
図4、
図8及び
図9を参照して、本発明の第1実施例による画像商品検索方法を説明すると以下の通りである。ただし、
図4、
図8及び
図9に示された実施例では、ユーザ端末110から入力される商品画像情報が2つ、すなわち第1商品画像及び第2商品画像である場合を例に挙げて説明したが、これは説明の便宜のためのものであり、本発明の実施例は必ずこれに限定されるものではない。
【0126】
まず、ユーザ端末110がショッピングモールサーバ130に接続して商品を検索する際、ユーザ端末110に格納された又はユーザ端末110により検索してキャプチャされた複数の商品画像がユーザ端末110にインストールされたアプリケーションの画像検索機能を利用してショッピングモールサーバ130に転送されることができる。前述したように、本発明の実施例においては、ユーザ端末110から入力されて転送される商品画像情報が2つ、すなわち第1入力画像及び第2入力画像である場合を例に挙げて説明する。
【0127】
よって、ショッピングモールサーバ130は、転送された第1入力画像及び第2入力画像を入力画像分析装置140に伝達し、よって、
図4に示されたように入力画像分析装置140の入力画像受信部142は、ショッピングモールサーバ130から伝達された第1及び第2入力画像情報を受信する動作を実行する(S900)。一例として、入力画像受信部142は、第1入力画像情報を受信する第1入力画像受信部142a及び第2入力画像情報を受信する第2入力画像受信部142bを含むことができ、入力されたメタデータとしての第1及び第2入力画像情報は、入力画像分析装置140のディープラーニングアルゴリズム実行部144に伝達される。
【0128】
ディープラーニングアルゴリズム実行部144は、伝達された第1及び第2入力画像情報をベクトル画像データに変換し、ディープラーニングアルゴリズムを実行して第1及び第2入力画像情報をそれぞれ分析する動作を実行することができる(S910)。本発明の実施例によるディープラーニングアルゴリズムは、ファッション商品をその対象とすることができ、ディープラーニングアルゴリズム動作については、先に
図4~
図7を参照して詳しく説明した。
【0129】
その結果、ディープラーニングアルゴリズム実行部144により分析された第1及び第2入力画像それぞれに対する情報は、入力画像分析装置140の特徴ベクトル抽出部146に伝達され、特徴ベクトル抽出部146は、第1及び第2入力画像それぞれに対応する第1入力画像の特徴ベクトル及び第2入力画像の特徴ベクトルを抽出する動作を実行する(S920、S930)。
【0130】
その後、特徴ベクトル抽出部146から第1及び第2入力画像それぞれに対応する第1及び第2入力画像の特徴ベクトルは入力画像分析装置140の第1及び第2特徴ベクトル生成/提供部147に伝達され、これにより生成された各特徴ベクトル情報は、各入力商品画像別に分析され、ショッピングモールサーバ130に提供される。一例として、各第1及び第2入力画像の特徴ベクトル情報は、第1及び第2入力画像情報が格納された第2データベース133bに格納されてもよい。
【0131】
前述のステップ、すなわちS900~S930は、本発明の実施例による入力画像分析装置140によって行われ、その後のステップ、すなわちS940~S960は、ショッピングモールサーバ130のプロセッサ134、すなわち第1及び第2入力画像の特徴ベクトル受信部810、特徴ベクトル処理部820、類似商品検索部830、及び検索結果提供部840によって順次行われることを特徴とする。
【0132】
より具体的には、ショッピングモールサーバ130の第1及び第2入力画像の特徴ベクトル受信部810は、入力画像分析装置140で生成されて提供された第1及び第2入力画像それぞれに対する第1及び第2入力画像の特徴ベクトルを受信する。
【0133】
その後、特徴ベクトル処理部820は、受信された第1及び第2入力画像の特徴ベクトルに対する演算処理を実行して、統合特徴ベクトルを算出する動作を実行する。
【0134】
より具体的には、
図9に示された実施例の場合、特徴ベクトル処理部820は、統合特徴ベクトルを算出するにあたり、第1入力画像の特徴ベクトル及び第2入力画像の特徴ベクトルを、算術平均演算を実行して算出することをその特徴とする(S940)。
【0135】
一例として、第1入力画像の特徴ベクトルが[a、b、c]で表現され、第2入力画像の特徴ベクトルが[a’、b’、c’]で表現されると仮定する場合、
図9の実施例による特徴ベクトル処理部820により算出される統合特徴ベクトルは、互いにマッチングする第1入力画像の特徴ベクトル及び第2入力画像の特徴ベクトルを算術平均して生成された値、すなわち[(a+a’)/2、(b+b’)/2、(c+c’)/2]になる。
【0136】
その後、算出された統合特徴ベクトル情報は、類似商品検索部830に伝達され、よって、類似商品検索部830は、算術平均演算処理により生成された統合特徴ベクトルをショッピングモールサーバ130の第1データベース133aに予め格納された類似商品画像の特徴ベクトルと比較分析することにより、ユーザの入力画像情報にマッチングする最適の類似商品画像を検索する動作を実行する。
【0137】
より具体的には、統合特徴ベクトルと第1データベース133aに予め格納された類似商品画像の特徴ベクトルは、ベクトル類似度検索技法を用いることができ、これにより統合特徴ベクトルに対応する、すなわち統合特徴ベクトルに類似する、第1データベース133aに格納された特徴ベクトルを検出することを特徴とする(S950)。
【0138】
最後に、検索結果提供部840は、類似商品検索部830により検索された特徴ベクトル、すなわち統合特徴ベクトルに類似する特徴ベクトルに対応する類似商品画像を推奨商品の検索結果としてユーザ端末110に出力する動作を実行する(S960)。
【0139】
この際、検索結果提供部840から出力された推奨商品の検索結果は、ユーザ端末110の表示モジュール(
図2の113)を介して所定の画像情報を含んで表示されることができる。一例として、表示モジュール113は、ユーザ端末110にダウンロードされた画像商品検索アプリケーション112aが実行されると、画像商品検索アプリケーション112aから提供する検索結果表示ウィンドウを画面に表示し、検索結果表示ウィンドウを介して検索結果提供部840から出力された推奨商品の検索結果が表示される。
【0140】
また、本発明の実施例では、ユーザ端末110の表示モジュール(
図2の113)で表示される推奨商品の検索結果としての類似商品画像は、統合特徴ベクトル及び検索された類似商品画像の特徴ベクトル間の距離順に整列されて表示されることを特徴とする。
【0141】
図10は、本発明の第2実施例による画像商品検索方法を示すフロー図である。
【0142】
図4、
図8及び
図10を参照して、本発明の第2実施例による画像商品検索方法を説明すると、次の通りである。
【0143】
ただし、前述した入力画像分析装置140によって行われるステップ、すなわちS900~S930は、
図9に示された第1実施例と実質的に同一であるので、その詳細な説明は省略する。
【0144】
図10を参照すると、S900~S930のステップ後にショッピングモールサーバ130のプロセッサ134、すなわち第1及び第2入力画像の特徴ベクトル受信部810、特徴ベクトル処理部820、類似商品検索部830、及び検索結果提供部840によってS1010~S1030のステップが順次行われることを特徴とする。
【0145】
より具体的には、ショッピングモールサーバ130の第1及び第2入力画像の特徴ベクトル受信部810は、入力画像分析装置140で生成されて提供された第1及び第2入力画像それぞれに対する第1及び第2入力画像の特徴ベクトルを受信する。
【0146】
その後、
図10に示された実施例では、受信された第1及び第2入力画像の特徴ベクトルが特徴ベクトル処理部820をバイパスして類似商品検索部830に直接伝達されることを特徴とする。
【0147】
すなわち、
図10の実施例では、
図9の実施例と異なり、受信された第1及び第2入力画像の特徴ベクトルに対する算術平均演算処理を実行して統合特徴ベクトルを算出する過程が省略されることを特徴とする。
【0148】
よって、受信された第1及び第2入力画像の特徴ベクトルそれぞれは、直接類似商品検索部830に伝達され、よって、類似商品検索部830は、第1及び第2入力画像の特徴ベクトルそれぞれをショッピングモールサーバ130の第1データベース133aに予め格納された類似商品画像の特徴ベクトルと比較分析することにより、ユーザの入力画像情報にマッチングする最適の類似商品画像を検索する動作を実行する。
【0149】
より具体的には、第1及び第2入力画像の特徴ベクトルと第1データベース133aに予め格納された類似商品画像の特徴ベクトルは、ベクトル類似度検索技法を利用することができ、これにより第1入力画像の特徴ベクトルに類似する第1データベース133aに格納された第1特徴ベクトルを検出し(S1010)、これと共に第2入力画像の特徴ベクトルに類似する第1データベース133aに格納された第2特徴ベクトルを検出することを特徴とする(S1020)。
【0150】
最後に、検索結果提供部840は、類似商品検索部830により検索された第1特徴ベクトルに対応する第1類似商品画像と第2特徴ベクトルに対応する第2類似商品画像とのうち、互いに重複する類似商品画像を推奨商品の検索結果としてユーザ端末110に出力する動作を実行する(S1030)。
【0151】
この際、検索結果提供部840から出力された推奨商品の検索結果は、ユーザ端末110の表示モジュール(
図2の113)を介して所定の画像情報を含んで表示されることができる。一例として、表示モジュール113は、ユーザ端末110にダウンロードされた画像商品検索アプリケーション112aが実行されると、画像商品検索アプリケーション112aから提供する検索結果表示ウィンドウを画面に表示し、検索結果表示ウィンドウを介して検索結果提供部840から出力された推奨商品の検索結果が表示されることができる。
【0152】
また、本発明の実施例では、ユーザ端末110の表示モジュール(
図2の113)で表示される推奨商品の検索結果としての類似商品画像は、統合特徴ベクトル及び検索された類似商品画像の特徴ベクトル間の距離順に整列されて表示されることを特徴とする。
【0153】
図11は、本発明の第3実施例による画像商品検索方法を示すフロー図である。
【0154】
図4、
図8及び
図11を参照して、本発明の第3実施例による画像商品検索方法を説明すると次の通りである。
【0155】
ただし、前述した入力画像分析装置140によって行われるステップ、すなわちS900~S930は、
図9に示された第1実施例と実質的に同一であるので、その詳細な説明は省略する。
【0156】
図11を参照すると、S900~S930のステップ後にショッピングモールサーバ130のプロセッサ134、すなわち第1及び第2入力画像の特徴ベクトル受信部810、特徴ベクトル処理部820、類似商品検索部830、及び検索結果提供部840によりS1110~S1140のステップが順次行われることを特徴とする。
【0157】
また、
図11に示された実施例は、前述の
図9の実施例及び
図10の実施例の動作を共に実現することをその特徴とする。
【0158】
より具体的には、ショッピングモールサーバ130の第1及び第2入力画像の特徴ベクトル受信部810は、入力画像分析装置140で生成されて提供された第1及び第2入力画像それぞれに対する第1及び第2入力画像の特徴ベクトルを受信する。
【0159】
図11に示された実施例の場合、特徴ベクトル処理部820は、
図9の実施例と同様に、受信された第1入力画像の特徴ベクトルおよび第2入力画像の特徴ベクトルを算術平均演算を実行して統合特徴ベクトルを算出することをその特徴とする(S1110)。
【0160】
一例として、第1入力画像の特徴ベクトルが[a、b、c]で表現され、第2入力画像の特徴ベクトルが[a’、b’、c’]で表現されると仮定する場合、
図9の実施例による特徴ベクトル処理部820により算出される統合特徴ベクトルは、互いにマッチングする第1入力画像の特徴ベクトル及び第2入力画像の特徴ベクトルを算術平均して生成された値、すなわち[(a+a’)/2、(b+b’)/2、(c+c’)/2]になる。
【0161】
また、
図11に示された実施例では、
図10の実施例と同様に、受信された第1及び第2入力画像の特徴ベクトルが特徴ベクトル処理部820をバイパスして類似商品検索部830に直接伝達される動作も実行する。
【0162】
よって、受信された第1及び第2入力画像の特徴ベクトルそれぞれは、直接類似商品検索部830に伝達され、よって類似商品検索部830は、第1及び第2入力画像の特徴ベクトルそれぞれをショッピングモールサーバ130の第1データベース133aに予め格納された類似商品画像の特徴ベクトルと比較分析することにより、ユーザの入力画像情報にマッチングする最適の類似商品画像を検索する動作を実行する。
【0163】
より具体的には、第1及び第2入力画像の特徴ベクトルと第1データベース133aに予め格納された類似商品画像の特徴ベクトルは、ベクトル類似度検索技法を利用することができ、これにより第1入力画像の特徴ベクトルに類似する第1データベース133aに格納された第1特徴ベクトルを検出し(S1120)、これと共に第2入力画像の特徴ベクトルに類似する第1データベース133aに格納された第2特徴ベクトルを検出することを特徴とする(S1130)。
【0164】
最後に、検索結果提供部840は、類似商品検索部830により検索された第1特徴ベクトルに対応する第1類似商品画像と第2特徴ベクトルに対応する第2類似商品画像のうち互いに重複する類似商品画像及び統合特徴ベクトルに類似する特徴ベクトルに対応する第3類似商品画像の和を推奨商品の検索結果としてユーザ端末110に出力する動作を実行する(S1140)。
【0165】
この際、検索結果提供部840から出力された推奨商品の検索結果は、ユーザ端末110の表示モジュール(
図2の113)を介して所定の画像情報を含んで表示されることができる。一例として、表示モジュール113は、ユーザ端末110にダウンロードされた画像商品検索アプリケーション112aが実行されると、画像商品検索アプリケーション112aから提供する検索結果表示ウィンドウを画面に表示し、検索結果表示ウィンドウを介して検索結果提供部840から出力された推奨商品の検索結果が表示されることができる。
【0166】
また、本発明の実施例では、ユーザ端末110の表示モジュール(
図2の113)で表示される、推奨商品の検索結果としての類似商品画像は、統合特徴ベクトル及び検索された類似商品画像の特徴ベクトル間の距離順に整列されて表示されることを特徴とする。
【0167】
以上のように本発明では、具体的な構成要素等のような特定事項と限られた実施例及び図面によって説明したが、これは本発明のより全般的な理解を助けるために提供されたもので、本発明は実施例に限定されるものではなく、本発明が属する分野で通常の知識を有する者であれば、このような記載から様々な修正及び変形が可能である。
【0168】
従って、本発明の思想は、説明された実施例に限定されるべきではなく、後述する特許請求の範囲だけではなく、この特許請求の範囲と均等又は等価的な変形のある全てのものは本発明の思想の範囲に属すると言える。