特表 2022-515617 ユーザにスワイプジェスチャーを用いたファッションアイテム推薦サービスを提供する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-02-21

(54)【発明の名称】ユーザにスワイプジェスチャーを用いたファッションアイテム推薦サービスを提供する方法

(51)【国際特許分類】

   G06Q 30/06 20120101AFI20220214BHJP

【ＦＩ】

G06Q30/06 300

G06Q30/06 340

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021536779

(86)(22)【出願日】2019-12-26

(85)【翻訳文提出日】2021-08-12

(86)【国際出願番号】 KR2019018445

(87)【国際公開番号】W WO2020138941

(87)【国際公開日】2020-07-02

(31)【優先権主張番号】10-2018-0168857

(32)【優先日】2018-12-26

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】521274522

【氏名又は名称】オーディーディー コンセプト インコーポレイテッド

(74)【代理人】

【識別番号】100149870

【弁理士】

【氏名又は名称】芦北 智晴

(72)【発明者】

【氏名】ユ エリ

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049BB22

5L049BB66

(57)【要約】

本発明は、ユーザデバイス上にディスプレイ（ｄｉｓｐｌａｙ）される多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒｓ）で構成されたファッションアイテムを用いてファッションアイテム推薦サービスを提供する方法に関する。具体的に、特定ファッションアイテムのカテゴリーと異なるカテゴリーを有する複数のコーディネーションアイテムで構成されたコーディネーションアイテムリストを多重レイヤに関連付けるように構成し、異なるカテゴリーに対応するユーザデバイスのコーディネーションアイテムディスプレイ領域にレイヤポップアップ（ｌａｙｅｒ ｐｏｐｕｐ）の形態でコーディネーションアイテムリストを表示する段階、コーディネーションアイテム領域に表示された現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）に構成された特定コーディネーションアイテムに対して受信されたスワイプジェスチャー（ｓｗｉｐｅ ｇｅｓｔｕｒｅ）によって特定コーディネーションアイテムが選択されたか否かを決定する段階、及び特定コーディネーションアイテムが選択された場合、特定コーディネーションアイテムを選好アイテムとして保存する段階を含むことを特徴とする。

【特許請求の範囲】

【請求項1】

ユーザデバイス上にディスプレイ（ｄｉｓｐｌａｙ）される多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒｓ）で構成されたファッションアイテムを用いてファッションアイテム推薦サービスを提供する方法であって、
特定ファッションアイテムのカテゴリーと異なるカテゴリーを有する複数のコーディネーションアイテムで構成されたコーディネーションアイテムリストを多重レイヤに関連付けるように構成し、前記異なるカテゴリーに対応する前記ユーザデバイスのコーディネーションアイテムディスプレイ領域にレイヤポップアップ（ｌａｙｅｒ ｐｏｐｕｐ）形態で前記コーディネーションアイテムリストを表示する段階；
前記コーディネーションアイテム領域に表示された現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）に構成された特定コーディネーションアイテムに対して受信されたスワイプジェスチャー（ｓｗｉｐｅ ｇｅｓｔｕｒｅ）によって前記特定コーディネーションアイテムが選択されたか否かを決定する段階；及び
前記特定コーディネーションアイテムが選択された場合、前記特定コーディネーションアイテムを選好アイテムとして保存する段階を含む、ファッションアイテム推薦サービスを提供する方法。

【請求項2】

前記特定コーディネーションアイテムを選択する否かを決定する段階は、
前記スワイプジェスチャーの方向があらかじめ指定された最優先順位を指示する方向に対応する場合、前記特定コーディネーションアイテムが選択されたと判断する段階；
前記スワイプジェスチャーの方向があらかじめ指定された最優先順位を指示する方向の反対方向である場合には、前記特定コーディネーションアイテムを前記コーディネーションアイテムリストから除外する段階；
前記スワイプジェスチャーの方向があらかじめ指定された前のレイヤへのスイッチングを指示する方向である場合、前記多重レイヤ上で前記現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）の前のレイヤ（ｐｒｅｖｉｏｕｓ ｌａｙｅｒ）に構成されたコーディネーションアイテムを表示する段階；及び
前記スワイプジェスチャーの方向があらかじめ指定された次のレイヤへのスイッチングを指示する方向である場合、前記多重レイヤ上で前記現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）の次のレイヤ（ｎｅｘｔ ｌａｙｅｒ）に構成されたコーディネーションアイテムを表示する段階を含む、請求項１に記載のファッションアイテム推薦サービスを提供する方法。

【請求項3】

前記特定コーディネーションアイテムが選択されたと判断する段階は、
前記特定コーディネーションアイテムに対するラベルがインデクシングされて構成された商品データベースから、イメージ類似度を基準に前記特定コーディネーションアイテムと類似の商品を前記コーディネーションアイテムリストにアップデートさせる段階をさらに含むことを特徴とする、請求項２に記載のファッションアイテム推薦サービスを提供する方法。

【請求項4】

前記コーディネーションアイテムが選択されたか否かを決定する段階は、
前記スワイプジェスチャーの方向に基づいて、前記現在レイヤの形態を変形して前記コーディネーションアイテムディスプレイ領域に表示する段階を含む、請求項１に記載のファッションアイテム推薦サービスを提供する方法。

【請求項5】

前記選好アイテムを前記ユーザデバイスの選択アイテムディスプレイ領域に表示する段階；及び
前記選好アイテムに対する入力が受信される場合、前記選好アイテムと関連したウェブページ（ｗｅｂ ｐａｇｅ）を通じて商品購買サービスを提供する段階をさらに含む、
請求項１に記載のファッションアイテム推薦サービスを提供する方法。

【請求項6】

前記特定ファッションアイテムは、
前記ユーザデバイスに保存されたユーザ識別が可能なイメージから抽出された、前記ユーザが着用している複数のファッションアイテムに基づいて生成されたユーザファッションデータベースから取得されたことを特徴とする、請求項１に記載のファッションアイテム推薦サービス提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザにファッションアイテム推薦サービスを提供する方法に関し、特に、スワイプジェスチャーを用いて、ユーザデバイス上にディスプレイされる多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒｓ）で構成されたファッションアイテムに対する推薦サービスを提供する方法に関する。

【背景技術】

【0002】

近年、増加した有無線インターネット環境を背景に、オンラインを用いた広報、売買などの商取り引きが活性化されている。これと関連して購買者は、インターネットに接続されたデスクトップやモバイル端末から雑誌、ブログ又はＹｏｕＴｕｂｅ（登録商標）の動画などを見ながら気になる商品が目につくと、商品名などを検索して購買することがある。有名女優が空港で所持していたかばん名、芸能番組に映った育児用品名がポータルサイトのリアルタイム検索語の上位に上がる場合がそれであろう。しかし、このとき、ユーザは検索のためのウェブページを別に開いて商品名、メーカー、販売所などを検索しなければならないが、それらに関する明確な情報を既に知っていないと容易に検索できず、不便であった。

【0003】

一方、販売者たちは、製品の広報のために商業広告の他にもメディア協賛、オンライン使用レビューの募集などに多くの費用を支払う。最近ではオンライン上の口コミが製品販売に重要な変数として作用するためである。しかし、広報費用の支出にもかかわらず、商品名と販売所などのショッピング情報を公開できない場合も頻繁である。商品名の露出に対する媒体視聴者の事前承認を個別に受けることができず、間接広告問題が発生する可能性があるためである。

【0004】

このように、ユーザ、販売者両者とも、オンライン上の商品イメージに対してより直観的なＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）環境でのショッピング情報の提供を望んでいる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述したような議論に基づき、以下では、スワイプジェスチャーを用いて、ユーザデバイス上にディスプレイされる多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒｓ）で構成されたファッションアイテムに対して推薦するサービスを提供しようとする。

【0006】

本発明で遂げようとする技術的課題は、上記の技術的課題に制限されず、言及していない別の技術的課題は、以下の記載から、本発明の属する技術の分野における通常の知識を有する者に明確に理解されるであろう。

【課題を解決するための手段】

【0007】

上述した問題点を解決するための本発明の一態様である、ユーザデバイス上にディスプレイ（ｄｉｓｐｌａｙ）される多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒｓ）で構成されたファッションアイテムを用いてファッションアイテム推薦サービスを提供する方法は、特定ファッションアイテムのカテゴリーと異なるカテゴリーを有する複数のコーディネーションアイテムで構成されたコーディネーションアイテムリストを多重レイヤに関連付けるように構成し、前記異なるカテゴリーに対応する前記ユーザデバイスのコーディネーションアイテムディスプレイ領域にレイヤポップアップ（ｌａｙｅｒ ｐｏｐｕｐ）の形態で前記コーディネーションアイテムリストを表示する段階；前記コーディネーションアイテム領域に表示された現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）に構成された特定コーディネーションアイテムに対して受信されたスワイプジェスチャー（ｓｗｉｐｅ ｇｅｓｔｕｒｅ）によって前記特定コーディネーションアイテムが選択されたか否かを決定する段階；及び、前記特定コーディネーションアイテムが選択された場合、前記特定コーディネーションアイテムを選好アイテムとして保存する段階を含むことを特徴とする。

【0008】

さらに、前記特定コーディネーションアイテムが選択されたか否かを決定する段階は、前記スワイプジェスチャーの方向があらかじめ指定された最優先順位を指示する方向に対応する場合、前記特定コーディネーションアイテムが選択されたと判断する段階；前記スワイプジェスチャーの方向があらかじめ指定された最優先順位を指示する方向の反対方向である場合には、前記特定コーディネーションアイテムを前記コーディネーションアイテムリストから除外する段階；前記スワイプジェスチャーの方向があらかじめ指定された前のレイヤへのスイッチングを指示する方向である場合、前記多重レイヤ上で前記現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）の前のレイヤ（ｐｒｅｖｉｏｕｓ ｌａｙｅｒ）に構成されたコーディネーションアイテムを表示する段階；及び、前記スワイプジェスチャーの方向があらかじめ指定された次のレイヤへのスイッチングを指示する方向である場合、前記多重レイヤ上で前記現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）の前のレイヤ（ｎｅｘｔ ｌａｙｅｒ）に構成されたコーディネーションアイテムを表示する段階を含むことを特徴とする。さらに、前記特定コーディネーションアイテムが選択されたと判断する段階は、前記特定コーディネーションアイテムに対するラベルがインデクシングされて構成された商品データベースから、イメージ類似度を基準に前記特定コーディネーションアイテムと類似の商品を、前記コーディネーションアイテムリストにアップデートさせる段階をさらに含むことを特徴とし得る。

【0009】

さらに、前記コーディネーションアイテムが選択されたか否かを決定する段階は、前記スワイプジェスチャーの方向に基づいて、前記現在レイヤの形態を変形して前記コーディネーションアイテムディスプレイ領域に表示する段階を含んでもよい。

【0010】

さらに、前記選好アイテムを前記ユーザデバイスの選択アイテムディスプレイ領域に表示する段階；及び、前記選好アイテムに対する入力が受信される場合、前記選好アイテムと関連したウェブページ（ｗｅｂ ｐａｇｅ）を通じて商品購買サービスを提供する段階をさらに含んでもよい。

【0011】

さらに、前記特定ファッションアイテムは、前記ユーザデバイスに保存されたユーザ識別が可能なイメージから抽出された、前記ユーザが着用している複数のファッションアイテムに基づいて生成されたユーザファッションデータベースから取得されたものであることを特徴とし得る。

【発明の効果】

【0012】

本発明の実施形態によれば、スワイプジェスチャーを用いて、ユーザデバイス上にディスプレイされる多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒｓ）で構成されたファッションアイテムに対する推薦サービスを効率的に提供することができる。

【0013】

本発明から得られる効果は以上で言及した効果に制限されず、言及していない別の効果は、以下の記載から、本発明の属する技術の分野における通常の知識を有する者に明確に理解されるであろう。

【0014】

本発明に関する理解を助けるための詳細な説明の一部として含まれる添付の図面は、本発明に対する実施形態を提供し、詳細な説明と共に本発明の技術的思想を説明する。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態による、多重レイヤで構成されたファッションアイテムに対する推薦アイテムサービスを提供するためのユーザデバイスを説明するための参考図である。

【図2】本発明の他の実施形態による、多重レイヤで構成されたファッションアイテムに対する推薦アイテムサービスを提供するためのユーザデバイスのディスプレイ画面を説明するための参考図である。

【図3】本発明の実施形態によって多重レイヤで構成されたファッションアイテムに対する推薦アイテムサービスを提供する場合、スワイプジェスチャー（ｓｗｉｐｅ ｇｅｓｔｕｒｅ）によってユーザの入力を受信するシナリオを説明するための参考図である。

【図4】本発明の実施形態によって多重レイヤで構成されたファッションアイテムに対する推薦アイテムサービスを提供し、ユーザが特定ファッションアイテムを選択する場合、選択されたファッションアイテムに連結してユーザの購買を誘導するシナリオを説明するための参考図である。

【図5】ユーザデバイスに対するスワイプジェスチャーの方向に応じて、ディスプレイされている現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）を表示する一例を説明するための参考図である。

【図6】本発明の実施形態によるファッションアイテムと関連付けられるように設定される多重レイヤを説明するための参考図である。

【図7】本発明の一実施形態によって多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒｓ）で構成されたファッションアイテムを用いてユーザに推薦サービスを提供する方案を説明するためのフローチャートである。

【図8】本発明の一実施形態によって、ユーザデバイスがサービスサーバーを介してファッションアイテム推薦サービスを提供する方法を説明するための参考図である。

【発明を実施するための形態】

【0016】

本発明は、以下に記載される実施形態の説明内容に限定されるものではなく、本発明の技術的要旨から逸脱しない範囲内で様々な変形が可能であることは明らかである。そして、実施形態を説明するとき、本発明の属する技術分野に広く知られており、本発明の技術的要旨と直接関連していない技術内容については説明を省略する。

【0017】

以下では、商品情報が表示されるユーザデバイスはモバイル装置であるとして説明するが、本発明はこれに限定されない。すなわち、本発明において、ユーザデバイスは、デスクトップ、スマートフォン、タブレットＰＣなど、検索を要請し、広告情報を表示できるいなかる形態の電子装置も含む概念として理解すべきである。

【0018】

また、本明細書において、商品の概念は有形の財貨に限定されないことに注意しなければならない。すなわち、本明細書において、商品は有形の物の他に、販売可能な無形のサービスも含む概念として理解されるべきである。

【0019】

さらに、本明細書において、‘ユーザデバイスに表示されたページ（ｄｉｓｐｌａｙｅｄ ｐａｇｅ ｉｎ ａｎ ｅｌｅｃｔｒｏｎｉｃ ｄｅｖｉｃｅ）’という用語は、ユーザのスクロールに応じて画面に直ちに表示され得るように電子装置にローディングされた画面及び／又は該画面中のコンテンツなどを含む概念として理解できる。例えば、モバイルデバイスのディスプレイにおいて、水平又は垂直方向に長く延びてユーザのスクロールによって表示されるアプリケーションの実行画面の全体が前記ページの概念に含まれてよく、カメラロール中の画面も前記ページの概念に含まれてよい。

【0020】

一方、添付の図面において同一の構成要素は同一の符号で表現される。

【0021】

そして、添付の図面において一部の構成要素は誇張して、省略して又は概略に示されることがある。これは、本発明の要旨と関連しない余計な説明を省略し、本発明の要旨を明確に説明するためである。

【0022】

図１は、本発明の一実施形態による、多重レイヤで構成されたファッションアイテムに対する推薦アイテムサービスを提供するためのユーザデバイスを説明するための参考図である。

【0023】

本発明に係るユーザデバイス１００は、大きく、ディスプレイ領域１１０、ユーザによって選択されたアイテムをユーザに視覚的に提供できる情報（例えば、サムネイル（ｔｈｕｍｂｎａｉｌ）など）を提供する情報提供領域１２０、及びファッションアイテム推薦サービスに関連したアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）を制御するためのアプリケーションコントロール領域１３０を含むことができる。本発明に係るユーザデバイス１００上では、説明の便宜のために、ディスプレイ領域１１０、情報提供領域１２０及びコントロール領域１３０を区分して説明するが、場合によっては、単一のディスプレイ領域上でユーザの手まね、視線の動きのようなユーザのジェスチャー、音声のようなオーディオ（Ａｕｄｉｏ）を通じてユーザデバイスを制御したり、場合によって、画面上に表示されない場合でも本発明が適用され得ると解釈されるべきであろう。

【0024】

さらに、ディスプレイ領域１１０は、アプリケーションの動作によって一つのイメージ或いは情報だけを表示してもよいが、アプリケーションが提供するサービスによって複数の領域に分割して個別領域ごとに特定化したイメージや情報を提供したり入力を受信したりしてもよい。

【0025】

情報提供領域１２０は、ディスプレイ領域１１０においてユーザによって選択されたイメージ、情報などをユーザに視覚的に提供するか、ユーザデバイスがあらかじめ定められた設定によってユーザの個人化などのために必要であると判断した情報（例えば、商品データベースに保存されたラベル、商品のカラー、素材、パターン、長さなど）をさらにユーザに提供することができる。

【0026】

コントロール領域１３０は、アプリケーションの制御のために必要なボタン（ｂｕｔｔｏｎ）などが表示されてよく、例えば、ユーザがアプリケーション駆動中に推薦サービスと関連した状態（例えば、ユーザの個人化のためのラベル、商品のカラーなど）をチェックするための‘ＣＨＥＣＫ’ボタン、ユーザがファッションアイテム推薦サービスの現在段階を終え、追加のサービスを受けるか、或いはサービスを終了するために用いる‘ＤＯＮＥ’ボタン、ディスプレイ領域に表示される商品アイテムなどを無作為順序で表示するようにするか、或いはイメージ類似度などによる優先順位に基づいて表示するための‘ＲＡＮＤＯＮ’ボタン、ユーザの選択したファッションアイテム或いはディスプレイ領域に表示されたファッションアイテムをウェブページ（ｗｅｂ ｐａｇｅ）、オンラインショップ（ｏｎｌｉｎｅ ｓｈｏｐ）などを通じて直接購買できるように連結するための‘ＳＨＯＰ’ボタンなどが含まれてよい。

【0027】

ただし、上述したように、情報提供領域１２０とコントロール領域１３０は、本発明に係る多重レイヤで構成されたファッションアイテムを用いた推薦サービスを提供するために必須なものではなく、場合によっては省略されてもよい。

【0028】

図２は、本発明の他の実施形態による、多重レイヤで構成されたファッションアイテムに対する推薦アイテムサービスを提供するためのユーザデバイスのディスプレイ画面２００を説明するための参考図である。

【0029】

本発明に係るユーザデバイス画面は２００は、ユーザから選択が完了したファッションアイテム２１０、及びこれにマッチングされる上衣２２０、下衣２３０、かばんなどのアクセサリー２４０、靴などのファッション小物２５０に分割して表示されてよい。したがって、ユーザが特定ファッションアイテムを選択した場合、これをディスプレイ画面上で特定ファッションアイテムのために割り当てられた領域２１０で表示し、選択された特定ファッションアイテムとカテゴリーが異なるアイテム（例えば、上衣と下衣、上衣とかばんなど）を、該当するディスプレイ画面に表示することができる。これによって、ユーザは、選択されたファッションアイテムにマッチングされる別のカテゴリーのファッションアイテムを選択することによって、ユーザの個人化したコーディネートを完成させることができる。

【0030】

図３（ａ）及び図３（ｂ）は、本発明の実施形態によって多重レイヤで構成されたファッションアイテムに対する推薦アイテムサービスを提供する場合、スワイプジェスチャー（ｓｗｉｐｅ ｇｅｓｔｕｒｅ）を通じてユーザの入力を受信するシナリオを説明するための参考図である。

【0031】

図３（ａ）のように、ユーザデバイス上に、複数のレイヤで構成されたファッションアイテムが並列的に表示されてよい。このような場合、ユーザの指、電子式ペンなどを用いて画面において右側から左側方向に滑るように動くスワイプジェスチャーを入力した場合、ユーザデバイスは、スワイプジェスチャーに応じて特定位置のファッションアイテムを滑るように消えさせた後、反対位置の画面に別のファッションアイテムをさらに表示することができる。したがって、図３（ｂ）のように、新しいファッションアイテムをディスプレイ画面上に表示することかでき、逆に、左側から右側方向に滑るように動くスワイプジェスチャーを入力し、図３（ａ）のようにファッションアイテムを再表示してもよい。

【0032】

図４は、本発明の実施形態によって多重レイヤで構成されたファッションアイテムに対する推薦アイテムサービスを提供し、ユーザが特定ファッションアイテムを選択する場合、選択されたファッションアイテムに連結してユーザの購買を誘導するシナリオを説明するための参考図である。

【0033】

図４で、ユーザは、特定ファッションアイテムを選択した後、或いは特定ファッションアイテムに対する追加の情報を知るために、アプリケーションから提供するリンク或いはサムネイルを通じてウェブページ、オンラインショップに直接接続されてもよい。例えば、ユーザは、図４（ａ）に示すように、ユーザデバイス上にディスプレイされる特定ファッションアイテムに対して‘ＳＥＬＥＣＴ’ボタンをタッチしたり、図４（ｂ）に示すように、ユーザデバイス上に選好表示（例えば、‘いいね’ボタンなど）或いはスワイプジェスチャーを通じて気に入るものと判断され、サムネイル形態で保存されたイメージをタッチ入力したりすることによって、特定ファッションアイテムに対して販売しているウェブページ、オンラインショップにリンクされ得るように中継サービスが提供されてよい。

【0034】

図５は、ユーザデバイスに対するスワイプジェスチャーの方向に応じて、ディスプレイされている現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）を表示する一例を説明するための参考図である。本発明に係るユーザデバイスのディスプレイ画面を通じて特定方向へとスワイプジェスチャーの方向が決定された場合には、これに応じて、ディスプレイされるレイヤの形態を変形して表示することができる。すなわち、本発明におけるレイヤは、画面を通じてユーザに提供され得る一つのウェブページのような形態を有し得るので、ユーザのスワイプジェスチャーに応じてウェブページの一側方向が変形されてもよい。例えば、ユーザのスワイプのジェスチャーの開始ポイントから終了ポイントまでを判断し、紙のページがめくれるような効果をユーザに提供できる。

【0035】

例えば、図５（ａ）に示すように、ユーザが指などを用いて右側から左側に滑るようなスワイプジェスチャーをする場合には、右下端の角部が左側にめくれるような効果をユーザに表示できる。

【0036】

これと類似に、図５（ｂ）に示すように、ユーザが指などを用いて左側から右側に滑るようなスワイプジェスチャーをする場合には、左下端の角部が右側にめくれるような効果をユーザに表示できる。

【0037】

または、図５（ｃ）に示すように、ユーザが指などを用いて下端から下方に滑るようなスワイプジェスチャーをする場合には、下端部が上方にめくれるような効果をユーザに表示できる。

【0038】

逆に、図５（ｄ）に示すように、ユーザが指などを用いて上端から下方に滑るようなスワイプジェスチャーをする場合には、上端部が下方にめくれるような効果をユーザに表示できる。

【0039】

このような、図５（ａ）～図５（ｄ）の効果は、ユーザのスワイプジェスチャーに応じてユーザデバイスがユーザに表示する効果の一例に過ぎず、これに限定して本発明を解釈してはならないだろう。場合によっては、ユーザが指などを用いたスワイプジェスチャーで判断できない程度の入力を加える場合があるが（例えば、指を用いてディスプレイ上でスワイプジェスチャーをした後、指を離さない場合）、このような場合にはユーザの指を用いた入力を中心に特定レイヤ或いはウェブページに対する他の効果を与えてもよいだろう（例えば、本のページをめくったりめくらなかったりするなどの動作効果）。

【0040】

図６は、本発明の実施形態によるファッションアイテムと関連付けられるように設定される多重レイヤを説明するための参考図である。本発明において、ファッションアイテムと関連付けられる複数のレイヤ（６０１，６０３，６０５，６０７，…）は優先順位によってまず表示されてよいが、場合によっては、無作為に順序が設定されてもよい。以下では、説明の便宜のために、優先順位を有するレイヤを表示する場合を説明する。多重レイヤにおいてレイヤ間の関係は、ユーザデバイス上に表示される特定レイヤを現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）と定義し、現在レイヤが表示されない場合、新しく表示されるレイヤを次のレイヤ（ｎｅｘｔ ｌａｙｅｒ）と定義できる。したがって、図６において、６０１レイヤを現在レイヤとすれば、６０３レイヤは６０１レイヤの次のレイヤに該当し、６０５レイヤは６０３レイヤの次のレイヤと定義できる。逆に、現在レイヤが表示されるが、現在レイヤ以前にユーザに表示されたか或いは表示されるレイヤは、前のレイヤ（ｐｒｅｖｉｏｕｓ ｌａｙｅｒ）と定義できる。すなわち、図６において、６０３レイヤを現在レイヤとすれば、６０１レイヤは６０３レイヤの前のレイヤに該当し、６０３レイヤは６０５レイヤの前のレイヤと定義できる。

【0041】

ただし、図６（ａ）に表示されたレイヤ間の関係は優先順位をもって順次に整列して表示される場合を仮定したが、ランダムに表示されるように設定される場合には、ユーザに６０１レイヤ－＞６０５レイヤ－＞６０７レイヤ－＞６０３レイヤのような順序で表示されることもあり、この場合には、前のレイヤと次のレイヤが新しく定義される必要がある。

【0042】

図６（ｂ）は、多重レイヤで構成されたファッションアイテムに対してユーザの選好度が反映される場合、これを、多重レイヤを構成するファッションアイテムに対して反映する方案を説明するための参照図である。６０１レイヤにユーザによるスワイプジェスチャーが入力される場合、６０１レイヤに表示されたファッションアイテムに対するユーザの選択有無によって、多重レイヤを構成するファッションアイテムに対するアップデートがなされてもよい。例えば、単純に、上述した前のレイヤ（ｐｒｅｖｉｏｕｓ ｌａｙｅｒ）、現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）、次のレイヤ（ｎｅｘｔ ｌａｙｅｒ）に対してスイッチング／代替を指示する場合には、優先順位／ランダム順位によって決定されたレイヤ上のファッションアイテムをユーザに表示することができる。しかし、特定レイヤに対するユーザの選択或いは除外に対する判断がなされた場合には、多重レイヤに含まれたファッションアイテムの構成をアップデートすることができる。例えば、６０１レイヤに関連付けられていた特定ファッションアイテムに対して選択（例えば、最優先順位と決定）がなされた場合、新しく追加される６０９レイヤ上には、６０１レイヤに関連付けられた特定ファッションアイテムのラベル（例えば、‘ウォーム’、‘オフィスルック’…）、カラー、素材、パターン、長さなどを考慮してそれと類似の特性を有するファッションアイテムを関連付けることができる。逆に、６０１レイヤに関連付けられた特定ファッションアイテムに対して除外（例えば、最低順位と決定）がなされた場合、新しく追加される６０９レイヤ上には、６０１レイヤに関連付けられていた特定ファッションアイテムのラベル（例えば、‘ウォーム’、‘オフィスルック’…）、カラー、素材、パターン、長さのうち一部を除外してユーザに表示してもよく、或いは、単純に、６０１レイヤに関連付けられた特定ファッションアイテムが多重レイヤに関連付けられないように設定されてもよい。

【0043】

また、図６（ｃ）に示すように、ユーザのスワイプジェスチャーに応じて特定レイヤがディスプレイ画面の上端に乗せられる場合、ユーザデバイスは、当該レイヤを固定しておき、他のレイヤをユーザにさらに表示してもよい。

【0044】

図７は、本発明の一実施形態によって、多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒｓ）で構成されたファッションアイテムを用いてユーザに推薦サービスを提供する方案を説明するためのフローチャートである。

【0045】

まず、ユーザデバイスは、特定ファッションアイテムをユーザファッションデータベースから取得（ｌｏａｄｉｎｇ）することができる。ここで、ユーザファッションデータベースは、ユーザデバイスに保存されたユーザ識別が可能なイメージから抽出された、ユーザの着用している複数のファッションアイテムに基づいて生成されてよい（Ｓ７１０）。

【0046】

例えば、ユーザデータベースを介してユーザデバイスに保存されたイメージの中から、ユーザ識別が可能なイメージをイメージプロセッシングし、ユーザの顔を基準にユーザが着用していたファッションアイテムを抽出して分類（ｓｏｒｔｉｎｇ）した後、当該ファッションアイテムに基づいて推薦商品を提供することができる。例えば、Ａというユーザが白色のかばんと褐色の正装を着用した写真がユーザデバイスに存在する場合、Ａというユーザの顔を基準に‘白色のかばん’と‘褐色の正装’がユーザファッションデータベースに区分（ｓｏｒｔｉｎｇ）して保存されてよい。したがって、ユーザがユーザファッションデータベースに含まれた褐色の正装とよく似合うファッションアイテムに対して推薦サービスを要請すれば、ファッション雑誌などを用いて学習されたスタイルデータベースを通じて褐色の正装と靴がマッチングされた写真に基づいて、コーディネーションアイテムを推薦することができる。

【0047】

すなわち、ユーザデバイスは、褐色の正装に対してスタイル推薦を希望する要請を受信すれば、あらかじめ生成したスタイルデータベース、商品データベース及びユーザファッションデータベースを参考して、褐色の正装によく似合い、ユーザサイズに合う靴カテゴリーのアイテムを推薦し、推薦靴のオンラインマーケット情報を共に提供することができる。

【0048】

より具体的に、ユーザデバイスは、ユーザがユーザファッションデータベース上の任意のファッションアイテムを特定して問い合わせると、ファッションアイテムオブジェクトのイメージ類似度を基準にまずスタイルデータベースを検索して、要請アイテムに類似するアイテムを決定できる。その後、ユーザデバイスは、スタイルデータベースに含まれたイメージから、前記類似のアイテムと共にマッチングされている他のアイテムを確認し、前記他のアイテムの中から、ユーザサイズ情報を反映してコーディネーションアイテムを決定することができる。

【0049】

その後、ユーザデバイスは、前記コーディネーションアイテムに対してイメージ類似度を基準に商品データベースを検索してユーザサイズ情報によって優先順位を設定し、推薦商品を決定することができる。

【0050】

この場合、ユーザデバイスは、ユーザデバイスに保存されている全てのイメージを取得し、その中でユーザ識別が可能なイメージだけを利用してもよいが、ユーザデバイスに分類（ｓｏｒｔｉｎｇ）された識別情報に基づいて特定ユーザに対するイメージだけを取得してもよい。

【0051】

例えば、ユーザデバイスに、Ａというユーザの顔を基準に分類されたイメージが存在するとすれば、これらのイメージだけを取得してイメージプロセッシングを行ってもよい。これは、ユーザデバイスに不要な写真などが含まれることがあるため、分類されたイメージを使用することによって推薦サービスの正確度を向上させ、サーバーの不要な処理演算を防止することができる。

【0052】

ユーザデバイスは、ユーザを識別できるイメージから、ユーザが着用している複数のファッションアイテムを抽出して生成されたユーザファッションデータベースを用いる。仮に、ユーザからウェブページ（例えば、オンラインショッピングモール、衣類ブランドホームページ）から確認できるか或いはリンクされた商品イメージが入力されると、商品イメージに対するファッションアイテムがユーザファッションデータベースに追加されてもよい。例えば、Ａというユーザがかばんを購買したショッピングモールのオンラインページからイメージをキャプチャーしてユーザファッションデータベースに追加してもよく、特定サイトのリンクを入力する場合には、当該サイトのイメージがユーザファッションデータベースに追加されてもよい。

【0053】

また、ユーザファッションデータベースにはファッションアイテムに関する情報が含まれてよいが、ファッションアイテムのサイズ、人のファッションアイテムに対する感じを、コンピュータ認識可能なデータで表現したラベル、ユーザがフィッティングした場合の写真などが含まれてよい。例えば、ユーザファッションデータベースには、ユーザ自身の上衣、下衣、ワンピースなどの必要なサイズ情報が含まれてよく、実際に服をフィッティングした時の姿が写真として管理され、ユーザにとって自身の体型を考慮したフィッティングができるようにしてもよい。或いは、ファッションアイテムに対してそれぞれ、＃気楽、＃タイト、＃適当などのように、個人的な感じを含むように保存することによって、ユーザが将来ファッションアイテムを選択するに当たってフィット（ｆｉｔ）を考慮するとき、参考とすることができる。

【0054】

さらに、ユーザが主に購買したカラー、素材、パターン、長さ、及びオンラインショッピングモールなどでファッションアイテムを購買した時の履歴に基づいてユーザファッションデータベースがアップデートされてもよい。

【0055】

ユーザデバイスは、ユーザデバイスから、上述したように生成されたユーザファッションデータベースに保存された特定ファッションアイテムに対する推薦サービス要請を受信すれば、特定ファッションアイテムを前記ユーザデバイスのメインアイテムディスプレイ領域に表示する（Ｓ７２０）。これは、ディスプレイ画面において全体領域の一部として表示されてもよく、場合によってはメインアイテムのディスプレイは省略されてもよい。

【0056】

ユーザデバイスは、スタイルデータベースからイメージ類似度を基準に、特定ファッションアイテムと類似のアイテムを検索しなければならない。類似のアイテムが検索された場合、類似のアイテムが検索されたスタイルイメージから、前記類似のアイテムと異なるカテゴリーのアイテムをコーディネーションアイテムと決定する。

【0057】

そこで、ユーザデバイスは、商品データベースからイメージ類似度を基準にコーディネーションアイテムと類似の商品をコーディネーションアイテムリストとして構成し、これをレイヤポップアップ（ｌａｙｅｒ ｐｏｐｕｐ）の形態でユーザに提供することができる（Ｓ７３０）。この時、ユーザデバイスは、ユーザファッションデータベースに含まれたファッションアイテムに関する情報に基づいて、推薦商品を購買した場合、ユーザにとってフィット（ｆｉｔ）が予想できるように提供することができる。仮に、商品データベースに商品の内容から抽出されたラベルがある場合には、ユーザファッションデータベースに含まれたファッションアイテムに関する情報と共にユーザに提供されてもよい。

【0058】

ユーザは、ユーザデバイスから推薦商品が提供された場合、これを購買する選択をすることがあり、このような場合、ユーザの選択によって推薦商品に対するウェブページを通じて商品注文サービスを提供してもよい。

【0059】

ユーザデバイスは、コーディネーションアイテム領域に表示された現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）に構成された特定コーディネーションアイテムに対して受信されたスワイプジェスチャー（ｓｗｉｐｅ ｇｅｓｔｕｒｅ）によって前記特定コーディネーションアイテムが選択されたか否かを決定できる（Ｓ７４０）。

【0060】

ここで、ユーザデバイスは、スワイプジェスチャーの方向があらかじめ指定された方向に対応するか否かによって動作を別にすることができる。さらに、あらかじめ指定された方向による順位、選好度などはアプリケーション製作者によってあらかじめ指定されてもよいが、ユーザによって再設定されてもよい。

【0061】

例えば、スワイプジェスチャーの方向があらかじめ指定された最優先順位を指示する方向に対応する場合、特定コーディネーションアイテムが選択されたと判断でき、この場合には、イメージ類似度を基準に、特定コーディネーションアイテムと類似の商品を前記コーディネーションアイテムリストにアップデートできるが、スワイプジェスチャーの方向が、あらかじめ指定された最優先順位を指示する方向の反対方向である場合には、特定コーディネーションアイテムをコーディネーションアイテムリストから除外するか、或いは特定コーディネーションアイテムと関連した製品特性（例えば、ラベル、長さ、生地など）を除外するようにコーディネーションアイテムリストをアップデートすることができる。

【0062】

または、前記スワイプジェスチャーの方向が、あらかじめ指定された前のレイヤへのスイッチングを指示したり、或いはあらかじめ指定された次のレイヤへのスイッチングを指示する場合には、図６と関連して詳述した説明のように、現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）の前のレイヤ（ｐｒｅｖｉｏｕｓ ｌａｙｅｒ）に構成されたコーディネーションアイテムを表示したり、或いは現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）の次のレイヤ（ｎｅｘｔ ｌａｙｅｒ）に構成されたコーディネーションアイテムを表示してもよい。この時、ユーザのスワイプジェスチャーが、ユーザの指がディスプレイ上から離れないなどの理由から終了しなかった場合には、図５と関連して詳述した説明のように、スワイプジェスチャーの方向に基づいて、現在レイヤの形態を変形してコーディネーションアイテムディスプレイ領域に表示してもよい。

【0063】

ユーザデバイスは、特定コーディネーションアイテムが選択された場合、特定コーディネーションアイテムを選好アイテムとして保存することができる（Ｓ７５０）。このような選好アイテムは、ユーザデバイスの選択アイテムディスプレイ領域に表示されてよく、図４と関連した説明で詳述したように、選好アイテムに対する入力が受信される場合、選好アイテムと関連付いたウェブページ（ｗｅｂ ｐａｇｅ）を通じて商品購買サービスを提供してもよい。

【0064】

図８は、本発明の一実施形態によって、ユーザデバイスがサービスサーバーを介してファッションアイテム推薦サービスを提供する方法を説明するための参考図である。すなわち、ユーザデバイスは、上述したように、独自でユーザに推薦サービスを提供してもよいが、より多いデータを用いてより好適なサービスを提供するためにサービスサーバーなどを介して推薦サービスを提供してもよい。

【0065】

まず、本発明に係る推薦サービスを提供するために、サービスサーバーは、ユーザデバイスからユーザを識別できるイメージを取得してユーザファッションデータベースを生成する（Ｓ８１０）。イメージを取得する方法は、ユーザデバイスからイメージを取得してもよく、ユーザからウェブページ（例えば、オンラインショッピングモール、衣類ブランドホームページ）上で確認したり或いはリンクされた商品イメージが入力されてもよい。本発明において、ユーザファッションデータベースにはイメージから抽出したファッションアイテムが保存されてよく、さらにユーザファッションデータベースは、ファッションアイテムサイズ、人がファッションアイテムから受ける感じをコンピュータ認識可能なデータで表現したラベル、ユーザがフィッティングした場合のイメージ情報が含まれたり、或いはユーザの購入データ、閲覧時間データなどのユーザの嗜好が推定できる情報、ユーザのサイズ情報、ファッションアイテムに対するオンラインショッピング時に好む価格帯、用途、ブランドに関する情報が含まれてよい。

【0066】

或いは、ユーザファッションデータベースは、ユーザ識別情報、ユーザサイズを推定するためのユーザ行動情報、行動情報から推定したユーザサイズ、及びユーザデバイスから直接受信したユーザサイズ情報を含むことができる。

【0067】

例えば、サービスサーバーは、ユーザデバイスにユーザの年齢、性別、職業、関心ファッション分野、既保有のアイテムなどに対する質疑を提供し、前記質疑に対するユーザ入力を受信してユーザサイズ情報を生成し、これを前記ユーザファッションデータベースに反映できる。

【0068】

サービスサーバーは、本発明の実施形態によるアプリケーションを通じて提供される任意のスタイルブックをユーザが閲覧した時間、‘いいね’タグを生成したアイテム情報、要請アイテム、前記アプリケーション又は他のアプリケーションを通じて購買したファッションアイテム情報、及び前記情報が生成された時間情報など、ユーザサイズを推定するためのユーザ行動情報を組み合わせて、当該ユーザが当該時点に関心を持つスタイルに関する嗜好情報を生成し、これをユーザファッションデータベースに反映してもよい。

【0069】

また、サービスサーバーは、ユーザの体型情報を生成してそれをユーザファッションデータベースに反映することができる。例えば、ユーザデバイスで複数の角度からユーザの身体を撮影した身体イメージを生成してサービスサーバーに送信すれば、サービスサーバーは、大量の身体イメージから人間の身体特徴を学習した機械学習フレームワークからユーザ体型モデルを生成することができる。ユーザ体型モデルは、ユーザ身体の各部分のサイズ情報の他に、ユーザ身体の各部分の比率、皮膚トーンに関する情報も含むことができる。

【0070】

また、サービスサーバーは、ユーザのファッションアイテムに対する選好度情報を生成し、それをユーザファッションデータベースに反映できる。前記選好度情報は、ユーザの選好価格、選好ブランド、選好用途に関する情報を含むことができる。例えば、ユーザデバイスでオンラインマーケットを通じたファッションアイテム閲覧又は購買が進行されると、サービスサーバーは、閲覧又は購買に対する加重値を個別に反映して選好価格、選好ブランド、選好用途に関する情報を生成し、それをユーザファッションデータベースに反映することができる。

【0071】

特に、本発明の実施形態によるサービスサーバーは、人間の感じに該当するユーザの嗜好を推定し、推定された嗜好情報をコンピュータが認識可能な形態で生成してそれをユーザファッションデータベースに反映する特徴がある。

【0072】

例えば、サービスサーバーは、ユーザの行動情報からユーザの嗜好を推定するためのラベルを抽出することができる。前記ラベルは、ユーザが閲覧したスタイルブック、‘いいね’タグを生成したアイテム、要請アイテム、購買アイテムなど、ユーザ行動情報に含まれるファッションアイテムの意味に対するものとして抽出できる。さらに、前記ラベルは、ユーザ行動情報に含まれるファッションアイテムの外観、感じなどのルックアンドフィール、トレンドに関する情報として生成できる。

【0073】

ユーザ行動情報から生成されたラベルは、ユーザ行動による加重値が適用され、サービスサーバーはそれを組み合わせて、ユーザサイズを推定するユーザサイズ情報を生成し、ユーザファッションデータベースに保存することができる。前記ユーザファッションデータベースに含まれたユーザサイズ情報、ユーザ体型情報及びユーザ選好度情報は、推薦アイテム又は推薦商品に対する露出優先順位設定に用いられてよい。

【0074】

サービスサーバーは、ユーザデバイスから、ユーザファッションデータベースに保存された特定ファッションアイテムに対する推薦サービス要請を受信すれば、スタイルデータベースから、イメージ類似度を基準に、特定ファッションアイテムと類似のアイテムを検索する（Ｓ８２０）。例えば、ユーザは、ユーザデバイスの特定ファッションアイテムの写真を選択し、当該ファッションアイテムの商品情報を要請するか、又はそれとよく似合うようなコーディネーションアイテムの推薦を要請する要請をサービスサーバーに伝送することができる。ここで、ユーザデバイスは、ディスプレイされたイメージにあらかじめ設定されたカテゴリーのオブジェクトが含まれているか否かをまず判断し、オブジェクトを特定し、当該オブジェクトを特定ファッションアイテムと特定してもよい。さらに、イメージに複数のファッションアイテムに関するオブジェクトが含まれている場合、それぞれのオブジェクトを特定し、ユーザが選択したオブジェクトに対する要請だけを伝送するように動作してもよい。

【0075】

スタイルデータベースは、ウェブ上で収集されるイメージのうち、ファッションスタイル、複数のアイテムのコーディネーションに対して参考できるファッションイメージに関する情報を含むことができる。スタイルデータベースは、オンライン上で収集されるイメージのうち、複数のファッションアイテムがよく似合うように組み合わされているイメージ（本明細書では、これをスタイルイメージと称する。）及びスタイルイメージに対する分類情報を含むことができる。本発明の実施形態によるスタイルイメージは、専門家又は準専門家が複数のファッションアイテムをあらかじめ組み合わせて生成したイメージデータであり、ウェブ上で収集可能なファッションカタログ、ファッション雑誌グラビアイメージ、ファッションショー撮影イメージ、アイドル衣装イメージ、特定ドラマ又は映画の衣装イメージ、ＳＮＳ、ブログ有名人の衣装イメージ、ファッション雑誌のストリートファッションイメージ、ファッションアイテムの販売のために別のアイテムとコーディネートしておいたイメージなどを挙げることができる。

【0076】

したがって、スタイルイメージは、本発明の実施形態によるスタイルデータベースに保存され、特定アイテムとよく似合う他のアイテムを決定するのに用いられてよい。これによれば、スタイルイメージは、一般によく似合うという人間の感じをコンピュータが理解できるような参考資料として活用できる。任意のアイテムとよく似合うということは、人間の感じに対するものであるため、人の介入無しに或るアイテムに対してよく似合う他のアイテムをコンピュータが推薦するためには、複数のファッションアイテムのマッチングに対して学習された機械学習フレームワークが必要であろう。そのために、本発明の実施形態によるサービスサーバーは、複数のファッションアイテムが専門家又は準専門家によって組み合わされて人が着用したスタイルイメージを収集し、それをスタイルデータベースとして生成できる。さらに、サービスサーバーは、前記スタイルデータベースを機械学習フレームワークに適用して前記フレームワークを学習させることができる。例えば、青色のシャツと褐色のネクタイがマッチングされた大量のスタイルイメージを学習した機械学習フレームワークは、青色のシャツに対する要請に対してコーディネーションアイテムとして褐色のネクタイを推薦できるだろう。

【0077】

また、スタイルデータベースを構成するために、サービスサーバーはオンライン上でスタイルイメージを収集することができる。例えば、サービスサーバーは、ファッション雑誌、ファッションブランド、ドラマ製作会社、芸能人事務所、ＳＮＳ、オンラインストアなどのウェブアドレス目録を収集し、ウェブサイトを確認してリンクを追跡する方式で、ウェブサイトに含まれたイメージ情報を収集することができる。

【0078】

一方、本発明の実施形態によるサービスサーバーは、ファッション雑誌、ファッションブランド、ドラマ製作会社、芸能人事務所、ＳＮＳ、オンラインストアなどのウェブサイトからイメージを収集してインデックス化できるが、提携した業者からインデックス情報とともにイメージ情報を別個に受け取ってもよい。

【0079】

したがって、サービスサーバーは、収集されたイメージから、スタイル推薦に適さないイメージをフィルタリングすることができる。例えば、サービスサーバーは、収集されたイメージのうち、人の形状のオブジェクトが含まれており、かつ複数のファッションアイテムが含まれているイメージだけを残し、それ以外のイメージはフィルタリングすることができる。

【0080】

スタイルイメージは、要請アイテムとコーディネーションできる他のアイテムを決定するために用いられるので、単一のファッションアイテムに対するイメージはフィルタリングすることが適切である。さらに、人が複数のファッションアイテムを直接着用したイメージとしてデータベースを構成することが、ファッションアイテム自体に対するイメージに比べて活用度がより高いであろう。したがって、本発明の実施形態によるサービスサーバーは、人の形状のオブジェクトが含まれており、かつ複数のファッションアイテムが含まれているイメージだけを残し、それ以外のイメージをフィルタリングして、スタイルデータベースに含まれるスタイルイメージを決定することができる。

【0081】

その後、サービスサーバーは、スタイルイメージに含まれたファッションアイテムオブジェクトイメージの特徴に対してプロセッシングすることができる。より具体的に、サービスサーバーは、スタイルイメージに含まれたファッションアイテムオブジェクトのイメージ特徴を抽出し、特徴情報をベクトル値と表現してファッションアイテムオブジェクトの特徴値を生成し、イメージの特徴情報を構造化することができる。

【0082】

さらに、本発明の実施形態によるサービスサーバーは、スタイルイメージからスタイルラベルを抽出し、前記スタイルラベルを基準にスタイルイメージをクラスタリングすることができる。スタイルラベルは、ファッションアイテムの外観、感じなどのルックアンドフィール、トレンドに対するものが抽出されることが適切である。本発明の好ましい実施形態によれば、スタイルイメージに含まれた単一のファッションアイテムの外観、複数のアイテムの組合せなどから人が受ける感じに対するラベルを抽出し、これをラベルとして活用できる。例えば、芸能人ルック、雑誌ルック、サマールック、フェミニンルック、セクシールック、オフィスルック、ドラマルック、シャネルルックなどをラベルとして例示できる。

【0083】

本発明の実施形態によれば、サービスサーバーは、スタイルラベルをあらかじめ定義し、スタイルラベルに該当するイメージの特徴を学習した神経網モデルを生成して、スタイルイメージ内のオブジェクトを分類し、当該オブジェクトに対するラベルを抽出することができる。この時、サービスサーバーは、各ラベルに該当するイメージのパターンを学習した神経網モデルを用いて、特定パターンと任意の確率で一致するイメージに当該ラベルを付与することができる。

【0084】

本発明の他の実施形態によれば、サービスサーバーは、各スタイルラベルに該当するイメージの特性を学習して初期神経網モデルを形成し、ここに大量のスタイルイメージオブジェクトを適用して神経網モデルをより精巧に拡張することができる。

【0085】

一方、本発明のさらに他の実施形態によれば、サービスサーバーは、ラベルに対する別の学習無しでスタイルイメージを、複数のレイヤで形成された階層構造で形成された神経網モデルに適用することができる。さらに、スタイルイメージの特徴情報に、当該レイヤの要請に応じて加重値を付与し、加工された特徴情報を用いて商品イメージをクラスタリングし、クラスタリングされたイメージグループに芸能人ルック、雑誌ルック、サマールック、フェミニンルック、セクシールック、オフィスルック、ドラマルック、シャネルルックなどと事後的に解釈されるラベルを付与することができる。

【0086】

したがって、サービスサーバーは、スタイルラベルを用いてスタイルイメージをクラスタリングし、複数のスタイルブックを生成することができる。これは、ユーザにレファレンスとして提供するためのものである。ユーザは、サービスサーバーから提供する複数のスタイルブックのうち特定スタイルブックを閲覧し、気に入るアイテムを探すことができ、当該アイテムに関する商品情報検索を要請することができよう。

【0087】

一方、サービスサーバーは、白シャツ、ジーンズ、黒スカートなどの出現比率が非常に高いアイテムをあらかじめ分類してもよい。例えば、ジーンズはファッションにおいて基礎となるアイテムであるだけにスタイルイメージにおいて出現比率が非常に高い。したがって、ユーザがいずれのアイテムに対して問い合わせても、コーディネーションアイテムとしてジーンズがマッチングされる確率が他のアイテムに比べて格段に高いだろう。

【0088】

したがって、本発明の実施形態によるサービスサーバーは、スタイルイメージにおいて出現比率が非常に高いアイテムをバズりアイテムとしてあらかじめ分類し、スタイルブックを、バズりアイテムを含むものとバズりアイテムを含まないものとにバージョンを別にして生成することができる。

【0089】

本発明の他の実施形態によれば、バズりアイテムは、時間情報を反映して分類されてもよい。例えば、ファッションアイテムの流行周期を考慮すれば、１～２ヶ月しばらく流行して消えるアイテム、季節ごとに繰り返される流行アイテム、一定期間持続して流行するアイテムを考慮することができる。したがって、バズりアイテムの分類に時間情報を反映して、特定ファッションアイテムが任意の期間に現比率が非常に高いと、当該期間に関する情報と共に前記アイテムをバズりアイテムとして分類できる。このようにバズりアイテムを分類すれば、以降のアイテム推薦段階で、推薦対象アイテムが流行中のものか、流行と関係ないものかを考慮して推薦できる効果がある。

【0090】

すなわち、本発明に係るサービスサーバーは、受信した要請に含まれた特定ファッションアイテムオブジェクトをプロセッシングし、イメージ類似度を基準にスタイルデータベースを検索することができる。すなわち、サービスサーバーは、検索対象として特定されたイメージオブジェクトをプロセッシングし、類似のアイテムをスタイルデータベースから検索することができる。

【0091】

そのために、サービスサーバーは、検索対象イメージオブジェクトの特徴を抽出し、検索の効率性のためにイメージの特定情報を構造化することができる。

【0092】

さらに、本発明の実施形態によるサービスサーバーは、プロセッシングされた検索対象オブジェクトイメージに、商品イメージデータベース構築に用いられたマシンラーニングの技法を適用して、検索対象オブジェクトイメージの意味に対するラベル及び／又はカテゴリー情報を抽出することができる。前記ラベルは、抽象化された値で表現されてもよいが、抽象化された値を解釈してテキスト形態で表現されてもよい。

【0093】

例えば、本発明の実施形態によるサービスサーバーは、要請オブジェクトイメージから女性、ワンピース、袖なし、リネン、白色、カジュアルルックに対するラベルを抽出することができる。この場合、サービスサーバーは、女性、ワンピースに対するラベルを要請オブジェクトイメージのカテゴリー情報として活用し、袖なし、リネン、白色、カジュアルルックに対するラベルは、カテゴリー以外のオブジェクトイメージの特性を説明するラベル情報として活用できる。

【0094】

その後、サービスサーバーは、要請オブジェクトイメージの類似度を基準にスタイルデータベースを検索することができる。これは、要請イメージと類似のアイテムをスタイルデータベースから検索し、スタイルイメージにおいて類似アイテムとマッチングされている他のアイテムを確認するためのものであり、例えば、サービスサーバーは、要請オブジェクトイメージとスタイルイメージに含まれたファッションアイテムオブジェクトイメージとの特徴値の類似度を計算し、類似度があらかじめ設定された範囲内であるアイテムを確認することができる。

【0095】

さらに、本発明の実施形態によるサービスサーバーは、商品データベースのために構成したマシンラーニングのための人工神経網モデルの複数のレイヤで要求する加重値を反映して要請イメージの特徴値を加工し、要請イメージと一定範囲内の距離値を有するスタイルブックに含まれたファッションアイテムグループを少なくとも一つ選定し、該グループに属するアイテムを類似アイテムとして決定することができる。

【0096】

一方、本発明の好ましい実施形態によれば、サービスサーバーは、要請イメージの類似度を基準にスタイルデータベースを検索して類似アイテムを決定し、この時、イメージ検索の正確度を上げるために、イメージから抽出したラベル、カテゴリー情報を用いることができる。

【0097】

例えば、サービスサーバーは、要請イメージとスタイルデータベースイメージとの特徴値の類似度を計算し、あらかじめ設定された範囲の類似度以上である商品のうち、ラベル及び／又はカテゴリー情報が要請イメージのラベル及び／又はカテゴリー情報とマッチングしない商品は除外する方式で類似アイテムを決定することができる。

【0098】

さらに他の例として、サービスサーバーは、要請イメージのラベル及び／又はカテゴリー情報とマッチングするラベル及び／又はカテゴリー情報を有するスタイルブックのみからアイテム類似度を計算してもよい。

【0099】

例えば、本発明の実施形態によるサービスサーバーは、要請イメージからスタイルラベルを抽出し、前記ラベルとマッチングするスタイルブックにおいて要請とイメージ類似度を基準に類似アイテムを特定することができる。勿論、サービスサーバーは要請イメージから別個のラベルを抽出せず、スタイルデータベースから要請イメージとイメージ類似度を基準に類似アイテムを特定してもよい。

【0100】

例えば、要請に含まれたイメージに葉柄ワンピースがある場合、サービスサーバーは、トロピカルというラベルを要請から抽出できる。その後、サービスサーバーは、トロピカルというラベルでクラスタリングされたスタイルブックから、葉柄ワンピースとあらかじめ設定された範囲の類似度を有する類似のアイテムを特定できる。

【0101】

その後、サービスサーバーは、スタイルブックから検索された類似アイテムを含み、類似アイテムが他のファッションアイテムと組み合わされているスタイルイメージをユーザデバイスに提供することができる。葉柄ワンピースがある上の例において、葉柄ワンピースと共に麦わら帽子、ラタンバッグなどが組み合わされたスタイルイメージをユーザに提供することができる。

【0102】

サービスサーバーは、特定ファッションアイテムと類似のアイテムがスタイルデータベースから検索されると、該類似のアイテムと共に組み合わされてスタイルイメージに含まれている他のカテゴリーのファッションアイテムを確認してコーディネーションアイテムを決定する（Ｓ８３０）。

【0103】

すなわち、ユーザが問い合わせした特定ファッションアイテムを、スタイルデータベースからイメージ類似度を基準に検索し、類似のアイテムが含まれたスタイルイメージには類似のアイテムと共にマッチングされている他のカテゴリーのファッションアイテムを推薦アイテムとして考慮できる。これは、本発明の実施形態によるサービスサーバーが、スタイルイメージにおいて要請アイテムと共にマッチングされている他のアイテムはよく似合うものと学習されているためである。

【0104】

サービスサーバーは、スタイルデータベースを用いてコーディネーションアイテムが決定されると、商品データベースからコーディネーションアイテムと類似の商品を推薦商品として決定する（Ｓ８４０）。

【0105】

商品データベースは、オンラインマーケットから販売される商品の原産地、サイズ、販売所、着用ショットなどの商品詳細情報を含むことができ、商品のイメージに基づいて商品情報が構成される特徴がある。

【0106】

すなわち、サービスサーバーは、あらかじめ提携されたオンラインマーケットの商品情報はもとより、任意のオンラインマーケットで販売する商品に対しても商品情報を収集することができる。例えば、サービスサーバーは、クローラー、パーサー、インデクサーを備えて、オンライン商店のウェブ文書を収集し、ウェブ文書に含まれた商品イメージ及び商品名、価格などのテキスト情報に接近することができる。

【0107】

例えば、クローラーは、オンラインストアのウェブアドレス目録を収集し、ウェブサイトを確認してリンクを追跡する方式で商品情報に関連したデータをサービスサーバーに伝達することができる。この時、パーサーは、クローリング過程中に収集されたウェブ文書を解釈して、ページに含まれた商品イメージ、商品価格、商品名などの商品情報を抽出し、インデクサーは該当の位置と意味をインデックス化できる。

【0108】

一方、本発明の実施形態によるサービスサーバーは、任意のオンラインストアのウェブサイトから商品情報を収集しインデックス化できるが、提携マーケットからあらかじめ設定されたフォーマットの商品情報が提供されてもよい。

【0109】

サービスサーバーは、商品イメージをプロセッシングできる。これは、商品名や販売カテゴリーなどのテキスト情報に依存せず、商品イメージの類似の有無を基準に推薦アイテムを決定するためである。

【0110】

本発明の実施形態によれば、商品イメージの類似の有無を基準に推薦アイテムを決定できるが、本発明はこれに限定されない。すなわち、具現によって、商品イメージの他にも、商品名又は販売カテゴリーなどを単独又は補助要請として活用でき、そのために、サービスサーバーは、商品のイメージの他に、商品名、商品カテゴリーなどのテキスト情報を構造化してデータベースを生成することができる。

【0111】

本発明の好ましい実施形態によれば、サービスサーバーは、商品イメージの特徴を抽出し、検索の効率性のためにイメージの特徴情報を構造化（ｉｎｄｅｘｉｎｇ）することができる。

【0112】

より具体的に、サービスサーバーは、商品イメージの特徴領域を探知（Ｉｎｔｅｒｅｓｔ Ｐｏｉｎｔ Ｄｅｔｅｃｔｉｏｎ）できる。特徴領域とは、イメージ同士の同一類似の有無を判断するためのイメージの特徴に対する記述子、すなわち、特徴記述子（Ｆｅａｔｕｒｅ Ｄｅｓｃｒｉｐｔｏｒ）を抽出する主要領域のことを指す。

【0113】

本発明の実施形態によれば、このような特徴領域は、イメージが含んでいる輪郭線、輪郭線の中でもコーナーなどの隅部、周辺領域と区分されるブロブ（ｂｌｏｂ）、イメージの変形によって不変したり共変したりする領域、又は周辺の明るさよりも暗いか明るい特徴がある極点であってよく、イメージのパッチ（切片）又はイメージ全体を対象にすることができる。

【0114】

さらに、サービスサーバーは、特徴領域から特徴記述子を抽出（Ｄｅｓｃｒｉｐｔｏｒ Ｅｘｔｒａｃｔｉｏｎ）することができる。特徴記述子は、イメージの特徴をベクトル値で表現したものである。

【0115】

本発明の実施形態によれば、このような特徴記述子は、該当のイメージに対する特徴領域の位置、又は特徴領域の明るさ、色相、鮮明度、グラジエント、スケール又はパターン情報を用いて計算することができる。例えば、特徴記述子は、特徴領域の明るさ値、明るさの変化値又は分布値などをベクトルに変換して計算することができる。

【0116】

一方、本発明の実施形態によれば、イメージに対する特徴記述子は、上のような特徴領域に基づく地域記述子（Ｌｏｃａｌ Ｄｅｓｃｒｉｐｔｏｒ）だけでなく、全域記述子（Ｇｌｏｂａｌ ｄｅｓｃｒｉｐｔｏｒ）、頻度記述子（Ｆｒｅｑｕｅｎｃｙ Ｄｅｓｃｒｉｐｔｏｒ）、バイナリ記述子（Ｂｉｎａｒｙ Ｄｅｓｃｒｉｐｔｏｒ）又は神経網記述子（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｄｅｓｃｒｉｐｔｏｒ）で表現されてもよい。

【0117】

より具体的に、特徴記述子は、イメージ全体又はイメージを任意の基準で分割した区域のそれぞれ、又は特徴領域のそれぞれの明るさ、色相、鮮明度、グラジエント、スケール、パターン情報などをベクトル値に変換して抽出する全域記述子（Ｇｌｏｂａｌ ｄｅｓｃｒｉｐｔｏｒ）を含むことができる。

【0118】

例えば、特徴記述子は、あらかじめ区分した特定記述子がイメージに含まれる回数、従来定義された色相表のような全域的特徴を含む回数などをベクトル値に変換して抽出する頻度記述子（Ｆｒｅｑｕｅｎｃｙ Ｄｅｓｃｒｉｐｔｏｒ）、各記述子を含むか否か又は記述子を構成する各要素値の大きさが特定値よりも大きいか小さいかをビット単位で抽出した後、これを整数型に変換して使用するバイナリ記述子（Ｂｉｎａｒｙ ｄｅｓｃｒｉｐｔｏｒ）、神経網（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のレイヤで学習又は分類のために用いられる映像情報を抽出する神経網記述子（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｄｅｓｃｒｉｐｔｏｒ）を含むことができる。

【0119】

さらに、本発明の実施形態によれば、商品イメージから抽出した特徴情報ベクトルを低い次元に変換することができる。例えば、人工神経網によって抽出された特徴情報は、４万次元の高次元ベクトル情報に該当し、検索に要求されるリソースを考慮して適正な範囲の低い次元のベクトルに変換することが適切である。

【0120】

前記特徴情報ベクトルの変換は、ＰＣＡ、ＺＣＡなどの様々な次元縮小アルゴリズムを用いることができ、低い次元ベクトルに変換された特徴情報は該当の商品イメージにインデクシングされてよい。

【0121】

さらに、本発明の実施形態によるサービスサーバーは、商品イメージを基準にマシンラーニングの技法を適用して当該イメージの意味に対するラベルを抽出することができる。前記ラベルは、抽象化された値で表現されてよいが、抽象化された値を解釈してテキスト形態で表現されてもよい。

【0122】

より具体的に、サービスサーバーは、ラベルをあらかじめ定義し、前記ラベルに該当するイメージの特徴を学習した神経網モデルを生成し、商品イメージ内のオブジェクトを分類し、当該オブジェクトに対するラベルを抽出することができる。この時、サービスサーバーは、各ラベルに該当するイメージのパターンを学習した神経網モデルを用いて、特定パターンと任意の確率で一致するイメージに該当のラベルを付与することができる。

【0123】

または、サービスサーバーは、各ラベルに該当するイメージの特性を学習して初期神経網モデルを形成し、ここに大量の商品イメージオブジェクトを適用して神経網モデルをより精巧に拡張してもよい。さらに、サービスサーバーは、当該商品がどのグループにも含まれないと、当該商品を含む新しいグループを生成してもよい。

【0124】

これによって、サービスサーバーは、女性下衣、スカート、ワンピース、半袖、長袖、柄の形態、材質、色相、抽象的感じ（清純、シック、ビンテージなど）などの商品に関するメタ情報として活用できるラベルをあらかじめ定義し、前記ラベルに該当するイメージの特徴を学習した神経網モデルを生成し、前記神経網モデルを広告主の商品イメージに適用して広告対象商品イメージに対するラベルを抽出することができる。

【0125】

または、サービスサーバーは、ラベルに対する別途の学習無しで商品イメージを、複数のレイヤに形成された階層構造で形成された神経網モデルに適用することができる。さらに、商品イメージの特徴情報に当該レイヤの要請に応じて加重値を付与し、加工された特徴情報を用いて商品イメージをクラスタリングすることができる。

【0126】

この場合、特徴値のどの属性によって当該イメージがクラスタリングされたかを確認するために、すなわち、イメージのクラスタリング結果を実際に人間が認識できる概念と連結するためには、追加の分析が必要であろう。例えば、サービスサーバーがイメージプロセッシングを通じて３個のグループに商品を分類し、第１グループの特徴に対するＡ、第２グループの特徴に対するＢ、第３グループの特徴に対するＣというラベルを抽出した場合、Ａ、Ｂ、Ｃが、例えば、それぞれ女性上衣、ブラウス、チェック柄を意味するということが事後的に解釈される必要がある。

【0127】

また、サービスサーバーは、クラスタリングされたイメージグループに、女性下衣、スカート、ワンピース、半袖、長袖、柄の形態、材質、色相、抽象的感じ（清純、シック、ビンテージなど）などと事後的に解釈され得るラベルを付与し、個別商品イメージの属するイメージグループに与えられたラベルを当該商品イメージのラベルとして抽出できる。

【0128】

一方、本発明の実施形態によるサービスサーバーは、商品イメージから抽出したラベルをテキストで表現でき、テキスト形態のラベルは、商品のタグ情報として活用されてよい。

【0129】

従来、商品のタグ情報は販売者が主観的に直接与えたため、不正確で信頼度に劣っていた。販売者が主観的に付与する商品タグは、ノイズとして作用して検索の効率を低下させる問題があった。

【0130】

しかし、本発明の実施形態のように、商品イメージに基づいてラベル情報を抽出し、抽出されたラベル情報をテキストに変換して当該商品のタグ情報として活用すれば、商品のタグ情報を、当該商品のイメージに基づいて人間の介入無しで数学的に抽出でき、タグ情報の信頼性が上がり、検索の正確度が向上する効果がある。

【0131】

さらに、サービスサーバーは、商品イメージ内容に基づいて当該商品のカテゴリー情報を生成することができる。例えば、任意の商品イメージに対するラベルが女性、上衣、ブラウス、リネン、ストライプ、長袖、青色、オフィスルックと抽出された場合、サービスサーバーは、女性、上衣、ブラウスに対するラベルを当該商品のカテゴリー情報として活用し、リネン、ストライプ、長袖、青色、オフィスルックに対するラベルは、カテゴリー外の商品の特性を説明するラベル情報として活用できる。または、サービスサーバーは、ラベルとカテゴリー情報を区別しないで当該商品にインデクシングしてもよい。この時、商品のカテゴリー情報及び／又はラベルは、イメージ検索の信頼度を上げるためのパラメータとして活用されてよい。

【0132】

したがって、サービスサーバーは、上述した商品の内容から抽出されたラベルがインデクシングされて構成された商品データベースからコーディネーションアイテムと類似のアイテムを推薦アイテムとして決定し、前記推薦アイテムに関する商品情報を提供するために、前記推薦アイテムと類似の商品を商品データベースから検索できる。

【0133】

より具体的に、サービスサーバーは、スタイルデータベースを用いて決定されたコーディネーションアイテムに対して、イメージ類似度を基準に商品データベースを検索することができる。

【0134】

そのために、サービスサーバーは、コーディネーションアイテムオブジェクトの特徴を抽出し、検索の効率性のために、イメージの特定情報を構造化することができる。

【0135】

本発明の実施形態によるサービスサーバーは、オブジェクトイメージの類似度を基準に商品データベースを検索することができる。例えば、サービスサーバーは、推薦アイテムイメージと商品データベースに含まれた商品イメージとの特徴値の類似度を計算し、類似度があらかじめ設定された範囲内である商品を推薦商品として決定できる。

【0136】

さらに、本発明の実施形態によるサービスサーバーは、商品データベースのために構成したマシンラーニングのための人工神経網モデルの複数のレイヤで要求する加重値を反映して推薦アイテムイメージの特徴値を加工し、一定範囲内の距離値を有する商品グループを少なくとも一つ選定し、前記グループに属する商品を推薦商品として決定してもよい。

【0137】

さらに、本発明の他の実施形態によるサービスサーバーは、推薦アイテムオブジェクトから抽出したラベルに基づいて推薦商品を特定してもよい。

【0138】

例えば、推薦アイテムイメージから抽出されたオブジェクトのラベル情報が女性上衣、ブラウス、白色、縞模様と抽出された場合、サービスサーバーは、商品データベースにおいて女性上衣を上位カテゴリー情報として有する商品グループに対してのみ検索対象オブジェクトイメージと類似度を計算できる。

【0139】

さらに他の例として、サービスサーバーは、類似度があらかじめ設定された範囲以上の商品を推薦候補商品とし、推薦候補商品から、下位カテゴリー情報がブラウスでない商品を除外できる。言い換えると、下位カテゴリー情報がブラウスとインデックス化された商品を広告アイテムとして選定できる。

【0140】

さらに他の例として、推薦アイテムのオブジェクトイメージから抽出されたラベル情報が女性上衣、ブラウス、長袖、レース、襟ネックである場合、サービスサーバーは、商品データベースから女性上衣、ブラウス、長袖、レース、襟ネックをラベルとして有する商品グループに対してのみ推薦アイテムとイメージ類似度を計算することができる。

【0141】

推薦商品が決定されると、サービスサーバーは、ユーザ嗜好／サイズ情報を反映して露出の優先順位を決定することができる。例えば、ユーザの嗜好情報がオフィスルックに偏っている場合、オフィスルックラベルに加重値を付与して優先順位を計算し、計算された優先順位にしたがって推薦商品情報を提供することができる。

【0142】

ユーザデバイスは、サービスサーバーから取得した推薦商品でコーディネーションアイテムリストをユーザに表示することができる（Ｓ８５０）。さらに、これについて、コーディネーションアイテムリストをユーザに表示してスワイプジェスチャーによって選択される動作は、図７に上述した内容を用いることができる。

【0143】

本明細書及び図面に開示した本発明の実施形態は、本発明の技術内容を容易に説明し、本発明の理解を助けるために特定例が挙げられただけで、本発明の範囲を限定するためのものではない。ここに開示された実施形態の他にも、本発明の技術的思想に基づく他の変形例が実施可能であるということは、本発明の属する技術の分野における通常の知識を有する者にとって明らかであろう。

【産業上の利用可能性】

【0144】

上述したようなスワイプジェスチャーを用いてユーザデバイス上にディスプレイされる多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒｓ）で構成された、ファッションアイテムに対して推薦するサービスは様々なサービス分野に適用可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2021-08-17

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザにファッションアイテム推薦サービスを提供する方法に関し、特に、スワイプジェスチャーを用いて、ユーザデバイス上にディスプレイされる多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒｓ）で構成されたファッションアイテムに対する推薦サービスを提供する方法に関する。

【背景技術】

【0002】

近年、増加した有無線インターネット環境を背景に、オンラインを用いた広報、売買などの商取り引きが活性化されている。これと関連して購買者は、インターネットに接続されたデスクトップやモバイル端末から雑誌、ブログ又はＹｏｕＴｕｂｅ（登録商標）の動画などを見ながら気になる商品が目につくと、商品名などを検索して購買することがある。有名女優が空港で所持していたかばん名、芸能番組に映った育児用品名がポータルサイトのリアルタイム検索語の上位に上がる場合がそれであろう。しかし、このとき、ユーザは検索のためのウェブページを別に開いて商品名、メーカー、販売所などを検索しなければならないが、それらに関する明確な情報を既に知っていないと容易に検索できず、不便であった。

【0003】

一方、販売者たちは、製品の広報のために商業広告の他にもメディア協賛、オンライン使用レビューの募集などに多くの費用を支払う。最近ではオンライン上の口コミが製品販売に重要な変数として作用するためである。しかし、広報費用の支出にもかかわらず、商品名と販売所などのショッピング情報を公開できない場合も頻繁である。商品名の露出に対する媒体視聴者の事前承認を個別に受けることができず、間接広告問題が発生する可能性があるためである。

【0004】

このように、ユーザ、販売者両者とも、オンライン上の商品イメージに対してより直観的なＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）環境でのショッピング情報の提供を望んでいる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述したような議論に基づき、以下では、スワイプジェスチャーを用いて、ユーザデバイス上にディスプレイされる多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒｓ）で構成されたファッションアイテムに対して推薦するサービスを提供しようとする。

【0006】

本発明で遂げようとする技術的課題は、上記の技術的課題に制限されず、言及していない別の技術的課題は、以下の記載から、本発明の属する技術の分野における通常の知識を有する者に明確に理解されるであろう。

【課題を解決するための手段】

【0007】

上述した問題点を解決するための本発明の一態様である、ユーザデバイス上にディスプレイ（ｄｉｓｐｌａｙ）される多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒｓ）で構成されたファッションアイテムを用いてファッションアイテム推薦サービスを提供する方法は、特定ファッションアイテムのカテゴリーと異なるカテゴリーを有する複数のコーディネーションアイテムで構成されたコーディネーションアイテムリストを多重レイヤに関連付けるように構成し、前記異なるカテゴリーに対応する前記ユーザデバイスのコーディネーションアイテムディスプレイ領域にレイヤポップアップ（ｌａｙｅｒ ｐｏｐｕｐ）の形態で前記コーディネーションアイテムリストを表示する段階；前記コーディネーションアイテム領域に表示された現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）に構成された特定コーディネーションアイテムに対して受信されたスワイプジェスチャー（ｓｗｉｐｅ ｇｅｓｔｕｒｅ）によって前記特定コーディネーションアイテムが選択されたか否かを決定する段階；及び、前記特定コーディネーションアイテムが選択された場合、前記特定コーディネーションアイテムを選好アイテムとして保存する段階を含むことを特徴とする。

【0008】

さらに、前記特定コーディネーションアイテムが選択されたか否かを決定する段階は、前記スワイプジェスチャーの方向があらかじめ指定された最優先順位を指示する方向に対応する場合、前記特定コーディネーションアイテムが選択されたと判断する段階；前記スワイプジェスチャーの方向があらかじめ指定された最優先順位を指示する方向の反対方向である場合には、前記特定コーディネーションアイテムを前記コーディネーションアイテムリストから除外する段階；前記スワイプジェスチャーの方向があらかじめ指定された前のレイヤへのスイッチングを指示する方向である場合、前記多重レイヤ上で前記現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）の前のレイヤ（ｐｒｅｖｉｏｕｓ ｌａｙｅｒ）に構成されたコーディネーションアイテムを表示する段階；及び、前記スワイプジェスチャーの方向があらかじめ指定された次のレイヤへのスイッチングを指示する方向である場合、前記多重レイヤ上で前記現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）の前のレイヤ（ｎｅｘｔ ｌａｙｅｒ）に構成されたコーディネーションアイテムを表示する段階を含むことを特徴とする。さらに、前記特定コーディネーションアイテムが選択されたと判断する段階は、前記特定コーディネーションアイテムに対するラベルがインデクシングされて構成された商品データベースから、イメージ類似度を基準に前記特定コーディネーションアイテムと類似の商品を、前記コーディネーションアイテムリストにアップデートさせる段階をさらに含むことを特徴とし得る。

【0009】

さらに、前記コーディネーションアイテムが選択されたか否かを決定する段階は、前記スワイプジェスチャーの方向に基づいて、前記現在レイヤの形態を変形して前記コーディネーションアイテムディスプレイ領域に表示する段階を含んでもよい。

【0010】

さらに、前記選好アイテムを前記ユーザデバイスの選択アイテムディスプレイ領域に表示する段階；及び、前記選好アイテムに対する入力が受信される場合、前記選好アイテムと関連したウェブページ（ｗｅｂ ｐａｇｅ）を通じて商品購買サービスを提供する段階をさらに含んでもよい。

【0011】

さらに、前記特定ファッションアイテムは、前記ユーザデバイスに保存されたユーザ識別が可能なイメージから抽出された、前記ユーザが着用している複数のファッションアイテムに基づいて生成されたユーザファッションデータベースから取得されたものであることを特徴とし得る。

【発明の効果】

【0012】

本発明の実施形態によれば、スワイプジェスチャーを用いて、ユーザデバイス上にディスプレイされる多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒｓ）で構成されたファッションアイテムに対する推薦サービスを効率的に提供することができる。

【0013】

本発明から得られる効果は以上で言及した効果に制限されず、言及していない別の効果は、以下の記載から、本発明の属する技術の分野における通常の知識を有する者に明確に理解されるであろう。

【0014】

本発明に関する理解を助けるための詳細な説明の一部として含まれる添付の図面は、本発明に対する実施形態を提供し、詳細な説明と共に本発明の技術的思想を説明する。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態による、多重レイヤで構成されたファッションアイテムに対する推薦アイテムサービスを提供するためのユーザデバイスを説明するための参考図である。

【図2】本発明の他の実施形態による、多重レイヤで構成されたファッションアイテムに対する推薦アイテムサービスを提供するためのユーザデバイスのディスプレイ画面を説明するための参考図である。

【図3】本発明の実施形態によって多重レイヤで構成されたファッションアイテムに対する推薦アイテムサービスを提供する場合、スワイプジェスチャー（ｓｗｉｐｅ ｇｅｓｔｕｒｅ）によってユーザの入力を受信するシナリオを説明するための参考図である。

【図4】本発明の実施形態によって多重レイヤで構成されたファッションアイテムに対する推薦アイテムサービスを提供し、ユーザが特定ファッションアイテムを選択する場合、選択されたファッションアイテムに連結してユーザの購買を誘導するシナリオを説明するための参考図である。

【図5】ユーザデバイスに対するスワイプジェスチャーの方向に応じて、ディスプレイされている現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）を表示する一例を説明するための参考図である。

【図6】本発明の実施形態によるファッションアイテムと関連付けられるように設定される多重レイヤを説明するための参考図である。

【図7】本発明の一実施形態によって多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒｓ）で構成されたファッションアイテムを用いてユーザに推薦サービスを提供する方案を説明するためのフローチャートである。

【図8】本発明の一実施形態によって、ユーザデバイスがサービスサーバーを介してファッションアイテム推薦サービスを提供する方法を説明するための参考図である。

【発明を実施するための形態】

【0016】

本発明は、以下に記載される実施形態の説明内容に限定されるものではなく、本発明の技術的要旨から逸脱しない範囲内で様々な変形が可能であることは明らかである。そして、実施形態を説明するとき、本発明の属する技術分野に広く知られており、本発明の技術的要旨と直接関連していない技術内容については説明を省略する。

【0017】

以下では、商品情報が表示されるユーザデバイスはモバイル装置であるとして説明するが、本発明はこれに限定されない。すなわち、本発明において、ユーザデバイスは、デスクトップ、スマートフォン、タブレットＰＣなど、検索を要請し、広告情報を表示できるいなかる形態の電子装置も含む概念として理解すべきである。

【0018】

また、本明細書において、商品の概念は有形の財貨に限定されないことに注意しなければならない。すなわち、本明細書において、商品は有形の物の他に、販売可能な無形のサービスも含む概念として理解されるべきである。

【0019】

さらに、本明細書において、‘ユーザデバイスに表示されたページ（ｄｉｓｐｌａｙｅｄ ｐａｇｅ ｉｎ ａｎ ｅｌｅｃｔｒｏｎｉｃ ｄｅｖｉｃｅ）’という用語は、ユーザのスクロールに応じて画面に直ちに表示され得るように電子装置にローディングされた画面及び／又は該画面中のコンテンツなどを含む概念として理解できる。例えば、モバイルデバイスのディスプレイにおいて、水平又は垂直方向に長く延びてユーザのスクロールによって表示されるアプリケーションの実行画面の全体が前記ページの概念に含まれてよく、カメラロール中の画面も前記ページの概念に含まれてよい。

【0020】

一方、添付の図面において同一の構成要素は同一の符号で表現される。

【0021】

そして、添付の図面において一部の構成要素は誇張して、省略して又は概略に示されることがある。これは、本発明の要旨と関連しない余計な説明を省略し、本発明の要旨を明確に説明するためである。

【0022】

図１は、本発明の一実施形態による、多重レイヤで構成されたファッションアイテムに対する推薦アイテムサービスを提供するためのユーザデバイスを説明するための参考図である。

【0023】

本発明に係るユーザデバイス１００は、大きく、ディスプレイ領域１１０、ユーザによって選択されたアイテムをユーザに視覚的に提供できる情報（例えば、サムネイル（ｔｈｕｍｂｎａｉｌ）など）を提供する情報提供領域１２０、及びファッションアイテム推薦サービスに関連したアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）を制御するためのアプリケーションコントロール領域１３０を含むことができる。本発明に係るユーザデバイス１００上では、説明の便宜のために、ディスプレイ領域１１０、情報提供領域１２０及びコントロール領域１３０を区分して説明するが、場合によっては、単一のディスプレイ領域上でユーザの手まね、視線の動きのようなユーザのジェスチャー、音声のようなオーディオ（Ａｕｄｉｏ）を通じてユーザデバイス１００を制御したり、場合によって、画面上に表示されない場合でも本発明が適用され得ると解釈されるべきであろう。

【0024】

さらに、ディスプレイ領域１１０は、アプリケーションの動作によって一つのイメージ或いは情報だけを表示してもよいが、アプリケーションが提供するサービスによって複数の領域に分割して個別領域ごとに特定化したイメージや情報を提供したり入力を受信したりしてもよい。

【0025】

情報提供領域１２０は、ディスプレイ領域１１０においてユーザによって選択されたイメージ、情報などをユーザに視覚的に提供するか、ユーザデバイス１００があらかじめ定められた設定によってユーザの個人化などのために必要であると判断した情報（例えば、商品データベースに保存されたラベル、商品のカラー、素材、パターン、長さなど）をさらにユーザに提供することができる。

【0026】

コントロール領域１３０は、アプリケーションの制御のために必要なボタン（ｂｕｔｔｏｎ）などが表示されてよく、例えば、ユーザがアプリケーション駆動中に推薦サービスと関連した状態（例えば、ユーザの個人化のためのラベル、商品のカラーなど）をチェックするための‘ＣＨＥＣＫ’ボタン、ユーザがファッションアイテム推薦サービスの現在段階を終え、追加のサービスを受けるか、或いはサービスを終了するために用いる‘ＤＯＮＥ’ボタン、ディスプレイ領域に表示される商品アイテムなどを無作為順序で表示するようにするか、或いはイメージ類似度などによる優先順位に基づいて表示するための‘ＲＡＮＤＯＮ’ボタン、ユーザの選択したファッションアイテム或いはディスプレイ領域１１０に表示されたファッションアイテムをウェブページ（ｗｅｂ ｐａｇｅ）、オンラインショップ（ｏｎｌｉｎｅ ｓｈｏｐ）などを通じて直接購買できるように連結するための‘ＳＨＯＰ’ボタンなどが含まれてよい。

【0027】

ただし、上述したように、情報提供領域１２０とコントロール領域１３０は、本発明に係る多重レイヤで構成されたファッションアイテムを用いた推薦サービスを提供するために必須なものではなく、場合によっては省略されてもよい。

【0028】

図２は、本発明の他の実施形態による、多重レイヤで構成されたファッションアイテムに対する推薦アイテムサービスを提供するためのユーザデバイスのディスプレイ画面２００を説明するための参考図である。

【0029】

本発明に係るユーザデバイス１００の画面２００は、ユーザから選択が完了したファッションアイテム２１０、及びこれにマッチングされる上衣２２０、下衣２３０、かばんなどのアクセサリー２４０、靴などのファッション小物２５０に分割して表示されてよい。したがって、ユーザが特定ファッションアイテムを選択した場合、これをディスプレイ画面２００上で特定ファッションアイテムのために割り当てられた領域２１０で表示し、選択された特定ファッションアイテムとカテゴリーが異なるアイテム（例えば、上衣と下衣、上衣とかばんなど）を、ディスプレイ画面２００の該当する領域２２０，２３０，２４０，２５０に表示することができる。これによって、ユーザは、選択されたファッションアイテムにマッチングされる別のカテゴリーのファッションアイテムを選択することによって、ユーザの個人化したコーディネートを完成させることができる。

【0030】

図３の（ａ）及び図３の（ｂ）は、本発明の実施形態によって多重レイヤで構成されたファッションアイテムに対する推薦アイテムサービスを提供する場合、スワイプジェスチャー（ｓｗｉｐｅ ｇｅｓｔｕｒｅ）を通じてユーザの入力を受信するシナリオを説明するための参考図である。

【0031】

図３の（ａ）のように、ユーザデバイス１００上に、複数のレイヤで構成されたファッションアイテムが並列的に表示されてよい。このような場合、ユーザの指、電子式ペンなどを用いて画面の右側から左側方向に滑るように動くスワイプジェスチャーを入力した場合、ユーザデバイス１００は、スワイプジェスチャーに応じて特定位置のファッションアイテムを滑るように消えさせた後、反対位置の画面に別のファッションアイテムをさらに表示することができる。したがって、図３の（ｂ）のように、新しいファッションアイテムをディスプレイ画面上に表示することかでき、逆に、左側から右側方向に滑るように動くスワイプジェスチャーを入力し、図３の（ａ）のようにファッションアイテムを再表示してもよい。

【0032】

図４は、本発明の実施形態によって多重レイヤで構成されたファッションアイテムに対する推薦アイテムサービスを提供し、ユーザが特定ファッションアイテムを選択する場合、選択されたファッションアイテムに連結してユーザの購買を誘導するシナリオを説明するための参考図である。

【0033】

図４で、ユーザは、特定ファッションアイテムを選択した後、或いは特定ファッションアイテムに対する追加の情報を知るために、アプリケーションから提供するリンク或いはサムネイルを通じてウェブページ、オンラインショップに直接接続されてもよい。例えば、ユーザは、図４の（ａ）に示すように、ユーザデバイス１００上にディスプレイされる特定ファッションアイテムに対して‘ＳＥＬＥＣＴ’ボタンをタッチしたり、図４の（ｂ）に示すように、ユーザデバイス１００上に選好表示（例えば、‘いいね’ボタンなど）或いはスワイプジェスチャーを通じて気に入るものと判断され、サムネイル形態で保存されたイメージをタッチ入力したりすることによって、特定ファッションアイテムに対して販売しているウェブページ、オンラインショップにリンクされ得るように中継サービスが提供されてよい。

【0034】

図５は、ユーザデバイス１００に対するスワイプジェスチャーの方向に応じて、ディスプレイされている現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）を表示する一例を説明するための参考図である。本発明に係るユーザデバイス１００のディスプレイ画面を通じて特定方向へとスワイプジェスチャーの方向が決定された場合には、これに応じて、ディスプレイされるレイヤの形態を変形して表示することができる。すなわち、本発明におけるレイヤは、画面を通じてユーザに提供され得る一つのウェブページのような形態を有し得るので、ユーザのスワイプジェスチャーに応じてウェブページの一側方向が変形されてもよい。例えば、ユーザのスワイプのジェスチャーの開始ポイントから終了ポイントまでを判断し、紙のページがめくれるような効果をユーザに提供できる。

【0035】

例えば、図５の（ａ）に示すように、ユーザが指などを用いて右側から左側に滑るようなスワイプジェスチャーをする場合には、右下端の角部が左側にめくれるような効果をユーザに表示できる。

【0036】

これと類似に、図５の（ｂ）に示すように、ユーザが指などを用いて左側から右側に滑るようなスワイプジェスチャーをする場合には、左下端の角部が右側にめくれるような効果をユーザに表示できる。

【0037】

または、図５の（ｃ）に示すように、ユーザが指などを用いて下端から下方に滑るようなスワイプジェスチャーをする場合には、下端部が上方にめくれるような効果をユーザに表示できる。

【0038】

逆に、図５の（ｄ）に示すように、ユーザが指などを用いて上端から下方に滑るようなスワイプジェスチャーをする場合には、上端部が下方にめくれるような効果をユーザに表示できる。

【0039】

このような、図５の（ａ）～図５の（ｄ）の効果は、ユーザのスワイプジェスチャーに応じてユーザデバイス１００がユーザに表示する効果の一例に過ぎず、これに限定して本発明を解釈してはならないだろう。場合によっては、ユーザが指などを用いたスワイプジェスチャーで判断できない程度の入力を加える場合があるが（例えば、指を用いてディスプレイ上でスワイプジェスチャーをした後、指を離さない場合）、このような場合にはユーザの指を用いた入力を中心に特定レイヤ或いはウェブページに対する他の効果を与えてもよいだろう（例えば、本のページをめくったりめくらなかったりするなどの動作効果）。

【0040】

図６は、本発明の実施形態によるファッションアイテムと関連付けられるように設定される多重レイヤを説明するための参考図である。本発明において、ファッションアイテムと関連付けられる複数のレイヤ（６０１，６０３，６０５，６０７，…）は優先順位によってまず表示されてよいが、場合によっては、無作為に順序が設定されてもよい。以下では、説明の便宜のために、優先順位を有するレイヤを表示する場合を説明する。多重レイヤにおいてレイヤ間の関係は、ユーザデバイス１００上に表示される特定レイヤを現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）と定義し、現在レイヤが表示されない場合、新しく表示されるレイヤを次のレイヤ（ｎｅｘｔ ｌａｙｅｒ）と定義できる。したがって、図６において、６０１レイヤを現在レイヤとすれば、６０３レイヤは６０１レイヤの次のレイヤに該当し、６０５レイヤは６０３レイヤの次のレイヤと定義できる。逆に、現在レイヤが表示されるが、現在レイヤ以前にユーザに表示されたか或いは表示されるレイヤは、前のレイヤ（ｐｒｅｖｉｏｕｓ ｌａｙｅｒ）と定義できる。すなわち、図６において、６０３レイヤを現在レイヤとすれば、６０１レイヤは６０３レイヤの前のレイヤに該当し、６０３レイヤは６０５レイヤの前のレイヤと定義できる。

【0041】

ただし、図６の（ａ）に表示されたレイヤ間の関係は優先順位をもって順次に整列して表示される場合を仮定したが、ランダムに表示されるように設定される場合には、ユーザに６０１レイヤ→６０５レイヤ→６０７レイヤ→６０３レイヤのような順序で表示されることもあり、この場合には、前のレイヤと次のレイヤが新しく定義される必要がある。

【0042】

図６の（ｂ）は、多重レイヤで構成されたファッションアイテムに対してユーザの選好度が反映される場合、これを、多重レイヤを構成するファッションアイテムに対して反映する方案を説明するための参照図である。６０１レイヤにユーザによるスワイプジェスチャーが入力される場合、６０１レイヤに表示されたファッションアイテムに対するユーザの選択有無によって、多重レイヤを構成するファッションアイテムに対するアップデートがなされてもよい。例えば、単純に、上述した前のレイヤ（ｐｒｅｖｉｏｕｓ ｌａｙｅｒ）、現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）、次のレイヤ（ｎｅｘｔ ｌａｙｅｒ）に対してスイッチング／代替を指示する場合には、優先順位／ランダム順位によって決定されたレイヤ上のファッションアイテムをユーザに表示することができる。しかし、特定レイヤに対するユーザの選択或いは除外に対する判断がなされた場合には、多重レイヤに含まれたファッションアイテムの構成をアップデートすることができる。例えば、６０１レイヤに関連付けられていた特定ファッションアイテムに対して選択（例えば、最優先順位と決定）がなされた場合、新しく追加される６０９レイヤ上には、６０１レイヤに関連付けられた特定ファッションアイテムのラベル（例えば、‘ウォーム’、‘オフィスルック’…）、カラー、素材、パターン、長さなどを考慮してそれと類似の特性を有するファッションアイテムを関連付けることができる。逆に、６０１レイヤに関連付けられた特定ファッションアイテムに対して除外（例えば、最低順位と決定）がなされた場合、新しく追加される６０９レイヤ上には、６０１レイヤに関連付けられていた特定ファッションアイテムのラベル（例えば、‘ウォーム’、‘オフィスルック’…）、カラー、素材、パターン、長さのうち一部を除外してユーザに表示してもよく、或いは、単純に、６０１レイヤに関連付けられた特定ファッションアイテムが多重レイヤに関連付けられないように設定されてもよい。

【0043】

また、図６の（ｃ）に示すように、ユーザのスワイプジェスチャーに応じて特定レイヤがディスプレイ画面の上端に乗せられる場合、ユーザデバイス１００は、当該レイヤを固定しておき、他のレイヤをユーザにさらに表示してもよい。

【0044】

図７は、本発明の一実施形態によって、多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒｓ）で構成されたファッションアイテムを用いてユーザに推薦サービスを提供する方案を説明するためのフローチャートである。

【0045】

まず、ユーザデバイス１００は、特定ファッションアイテムをユーザファッションデータベースから取得（ｌｏａｄｉｎｇ）することができる。ここで、ユーザファッションデータベースは、ユーザデバイス１００に保存されたユーザ識別が可能なイメージから抽出された、ユーザの着用している複数のファッションアイテムに基づいて生成されてよい（Ｓ７１０）。

【0046】

例えば、ユーザデータベースを介してユーザデバイス１００に保存されたイメージの中から、ユーザ識別が可能なイメージをイメージプロセッシングし、ユーザの顔を基準にユーザが着用していたファッションアイテムを抽出して分類（ｓｏｒｔｉｎｇ）した後、当該ファッションアイテムに基づいて推薦商品を提供することができる。例えば、Ａというユーザが白色のかばんと褐色の正装を着用した写真がユーザデバイス１００に存在する場合、Ａというユーザの顔を基準に‘白色のかばん’と‘褐色の正装’がユーザファッションデータベースに区分（ｓｏｒｔｉｎｇ）して保存されてよい。したがって、ユーザがユーザファッションデータベースに含まれた褐色の正装とよく似合うファッションアイテムに対して推薦サービスを要請すれば、ファッション雑誌などを用いて学習されたスタイルデータベースを通じて褐色の正装と靴がマッチングされた写真に基づいて、コーディネーションアイテムを推薦することができる。

【0047】

すなわち、ユーザデバイス１００は、褐色の正装に対してスタイル推薦を希望する要請を受信すれば、あらかじめ生成したスタイルデータベース、商品データベース及びユーザファッションデータベースを参考して、褐色の正装によく似合い、ユーザサイズに合う靴カテゴリーのアイテムを推薦し、推薦靴のオンラインマーケット情報を共に提供することができる。

【0048】

より具体的に、ユーザデバイス１００は、ユーザがユーザファッションデータベース上の任意のファッションアイテムを特定して問い合わせると、ファッションアイテムオブジェクトのイメージ類似度を基準にまずスタイルデータベースを検索して、要請アイテムに類似するアイテムを決定できる。その後、ユーザデバイス１００は、スタイルデータベースに含まれたイメージから、前記類似のアイテムと共にマッチングされている他のアイテムを確認し、前記他のアイテムの中から、ユーザサイズ情報を反映してコーディネーションアイテムを決定することができる。

【0049】

その後、ユーザデバイス１００は、前記コーディネーションアイテムに対してイメージ類似度を基準に商品データベースを検索してユーザサイズ情報によって優先順位を設定し、推薦商品を決定することができる。

【0050】

この場合、ユーザデバイス１００は、ユーザデバイス１００に保存されている全てのイメージを取得し、その中でユーザ識別が可能なイメージだけを利用してもよいが、ユーザデバイス１００に分類（ｓｏｒｔｉｎｇ）された識別情報に基づいて特定ユーザに対するイメージだけを取得してもよい。

【0051】

例えば、ユーザデバイス１００に、Ａというユーザの顔を基準に分類されたイメージが存在するとすれば、これらのイメージだけを取得してイメージプロセッシングを行ってもよい。これは、ユーザデバイス１００に不要な写真などが含まれることがあるため、分類されたイメージを使用することによって推薦サービスの正確度を向上させ、サーバーの不要な処理演算を防止することができる。

【0052】

ユーザデバイス１００は、ユーザを識別できるイメージから、ユーザが着用している複数のファッションアイテムを抽出して生成されたユーザファッションデータベースを用いる。仮に、ユーザからウェブページ（例えば、オンラインショッピングモール、衣類ブランドホームページ）から確認できるか或いはリンクされた商品イメージが入力されると、商品イメージに対するファッションアイテムがユーザファッションデータベースに追加されてもよい。例えば、Ａというユーザがかばんを購買したショッピングモールのオンラインページからイメージをキャプチャーしてユーザファッションデータベースに追加してもよく、特定サイトのリンクを入力する場合には、当該サイトのイメージがユーザファッションデータベースに追加されてもよい。

【0053】

また、ユーザファッションデータベースにはファッションアイテムに関する情報が含まれてよいが、ファッションアイテムのサイズ、人のファッションアイテムに対する感じを、コンピュータ認識可能なデータで表現したラベル、ユーザがフィッティングした場合の写真などが含まれてよい。例えば、ユーザファッションデータベースには、ユーザ自身の上衣、下衣、ワンピースなどの必要なサイズ情報が含まれてよく、実際に服をフィッティングした時の姿が写真として管理され、ユーザにとって自身の体型を考慮したフィッティングができるようにしてもよい。或いは、ファッションアイテムに対してそれぞれ、＃気楽、＃タイト、＃適当などのように、個人的な感じを含むように保存することによって、ユーザが将来ファッションアイテムを選択するに当たってフィット（ｆｉｔ）を考慮するとき、参考とすることができる。

【0054】

さらに、ユーザが主に購買したカラー、素材、パターン、長さ、及びオンラインショッピングモールなどでファッションアイテムを購買した時の履歴に基づいてユーザファッションデータベースがアップデートされてもよい。

【0055】

ユーザデバイス１００は、ユーザデバイス１００から、上述したように生成されたユーザファッションデータベースに保存された特定ファッションアイテムに対する推薦サービス要請を受信すれば、特定ファッションアイテムを前記ユーザデバイス１００のメインアイテムディスプレイ領域に表示する（Ｓ７２０）。これは、ディスプレイ画面において全体領域の一部として表示されてもよく、場合によってはメインアイテムのディスプレイは省略されてもよい。

【0056】

ユーザデバイス１００は、スタイルデータベースからイメージ類似度を基準に、特定ファッションアイテムと類似のアイテムを検索しなければならない。類似のアイテムが検索された場合、類似のアイテムが検索されたスタイルイメージから、前記類似のアイテムと異なるカテゴリーのアイテムをコーディネーションアイテムと決定する。

【0057】

そこで、ユーザデバイス１００は、商品データベースからイメージ類似度を基準にコーディネーションアイテムと類似の商品をコーディネーションアイテムリストとして構成し、これをレイヤポップアップ（ｌａｙｅｒ ｐｏｐｕｐ）の形態でユーザに提供することができる（Ｓ７３０）。この時、ユーザデバイス１００は、ユーザファッションデータベースに含まれたファッションアイテムに関する情報に基づいて、推薦商品を購買した場合、ユーザにとってフィット（ｆｉｔ）が予想できるように提供することができる。仮に、商品データベースに商品の内容から抽出されたラベルがある場合には、ユーザファッションデータベースに含まれたファッションアイテムに関する情報と共にユーザに提供されてもよい。

【0058】

ユーザは、ユーザデバイス１００から推薦商品が提供された場合、これを購買する選択をすることがあり、このような場合、ユーザの選択によって推薦商品に対するウェブページを通じて商品注文サービスを提供してもよい。

【0059】

ユーザデバイス１００は、コーディネーションアイテム領域に表示された現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）に構成された特定コーディネーションアイテムに対して受信されたスワイプジェスチャー（ｓｗｉｐｅ ｇｅｓｔｕｒｅ）によって前記特定コーディネーションアイテムが選択されたか否かを決定できる（Ｓ７４０）。

【0060】

ここで、ユーザデバイス１００は、スワイプジェスチャーの方向があらかじめ指定された方向に対応するか否かによって動作を別にすることができる。さらに、あらかじめ指定された方向による順位、選好度などはアプリケーション製作者によってあらかじめ指定されてもよいが、ユーザによって再設定されてもよい。

【0061】

例えば、スワイプジェスチャーの方向があらかじめ指定された最優先順位を指示する方向に対応する場合、特定コーディネーションアイテムが選択されたと判断でき、この場合には、イメージ類似度を基準に、特定コーディネーションアイテムと類似の商品を前記コーディネーションアイテムリストにアップデートできるが、スワイプジェスチャーの方向が、あらかじめ指定された最優先順位を指示する方向の反対方向である場合には、特定コーディネーションアイテムをコーディネーションアイテムリストから除外するか、或いは特定コーディネーションアイテムと関連した製品特性（例えば、ラベル、長さ、生地など）を除外するようにコーディネーションアイテムリストをアップデートすることができる。

【0062】

または、前記スワイプジェスチャーの方向が、あらかじめ指定された前のレイヤへのスイッチングを指示したり、或いはあらかじめ指定された次のレイヤへのスイッチングを指示する場合には、図６と関連して詳述した説明のように、現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）の前のレイヤ（ｐｒｅｖｉｏｕｓ ｌａｙｅｒ）に構成されたコーディネーションアイテムを表示したり、或いは現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）の次のレイヤ（ｎｅｘｔ ｌａｙｅｒ）に構成されたコーディネーションアイテムを表示してもよい。この時、ユーザのスワイプジェスチャーが、ユーザの指がディスプレイ上から離れないなどの理由から終了しなかった場合には、図５と関連して詳述した説明のように、スワイプジェスチャーの方向に基づいて、現在レイヤの形態を変形してコーディネーションアイテムディスプレイ領域に表示してもよい。

【0063】

ユーザデバイス１００は、特定コーディネーションアイテムが選択された場合、特定コーディネーションアイテムを選好アイテムとして保存することができる（Ｓ７５０）。このような選好アイテムは、ユーザデバイス１００の選択アイテムディスプレイ領域に表示されてよく、図４と関連した説明で詳述したように、選好アイテムに対する入力が受信される場合、選好アイテムと関連付いたウェブページ（ｗｅｂ ｐａｇｅ）を通じて商品購買サービスを提供してもよい。

【0064】

図８は、本発明の一実施形態によって、ユーザデバイス１００がサービスサーバー（図示せず）を介してファッションアイテム推薦サービスを提供する方法を説明するための参考図である。すなわち、ユーザデバイス１００は、上述したように、独自でユーザに推薦サービスを提供してもよいが、より多いデータを用いてより好適なサービスを提供するためにサービスサーバーなどを介して推薦サービスを提供してもよい。

【0065】

まず、本発明に係る推薦サービスを提供するために、サービスサーバーは、ユーザデバイス１００からユーザを識別できるイメージを取得してユーザファッションデータベースを生成する（Ｓ８１０）。イメージを取得する方法は、ユーザデバイス１００からイメージを取得してもよく、ユーザからウェブページ（例えば、オンラインショッピングモール、衣類ブランドホームページ）上で確認したり或いはリンクされた商品イメージが入力されてもよい。本発明において、ユーザファッションデータベースにはイメージから抽出したファッションアイテムが保存されてよく、さらにユーザファッションデータベースは、ファッションアイテムサイズ、人がファッションアイテムから受ける感じをコンピュータ認識可能なデータで表現したラベル、ユーザがフィッティングした場合のイメージ情報が含まれたり、或いはユーザの購入データ、閲覧時間データなどのユーザの嗜好が推定できる情報、ユーザのサイズ情報、ファッションアイテムに対するオンラインショッピング時に好む価格帯、用途、ブランドに関する情報が含まれてよい。

【0066】

或いは、ユーザファッションデータベースは、ユーザ識別情報、ユーザサイズを推定するためのユーザ行動情報、行動情報から推定したユーザサイズ、及びユーザデバイス１００から直接受信したユーザサイズ情報を含むことができる。

【0067】

例えば、サービスサーバーは、ユーザデバイス１００にユーザの年齢、性別、職業、関心ファッション分野、既保有のアイテムなどに対する質疑を提供し、前記質疑に対するユーザ入力を受信してユーザサイズ情報を生成し、これを前記ユーザファッションデータベースに反映できる。

【0068】

サービスサーバーは、本発明の実施形態によるアプリケーションを通じて提供される任意のスタイルブックをユーザが閲覧した時間、‘いいね’タグを生成したアイテム情報、要請アイテム、前記アプリケーション又は他のアプリケーションを通じて購買したファッションアイテム情報、及び前記情報が生成された時間情報など、ユーザサイズを推定するためのユーザ行動情報を組み合わせて、当該ユーザが当該時点に関心を持つスタイルに関する嗜好情報を生成し、これをユーザファッションデータベースに反映してもよい。

【0069】

また、サービスサーバーは、ユーザの体型情報を生成してそれをユーザファッションデータベースに反映することができる。例えば、ユーザデバイス１００で複数の角度からユーザの身体を撮影した身体イメージを生成してサービスサーバーに送信すれば、サービスサーバーは、大量の身体イメージから人間の身体特徴を学習した機械学習フレームワークからユーザ体型モデルを生成することができる。ユーザ体型モデルは、ユーザ身体の各部分のサイズ情報の他に、ユーザ身体の各部分の比率、皮膚トーンに関する情報も含むことができる。

【0070】

また、サービスサーバーは、ユーザのファッションアイテムに対する選好度情報を生成し、それをユーザファッションデータベースに反映できる。前記選好度情報は、ユーザの選好価格、選好ブランド、選好用途に関する情報を含むことができる。例えば、ユーザデバイス１００でオンラインマーケットを通じたファッションアイテム閲覧又は購買が進行されると、サービスサーバーは、閲覧又は購買に対する加重値を個別に反映して選好価格、選好ブランド、選好用途に関する情報を生成し、それをユーザファッションデータベースに反映することができる。

【0071】

特に、本発明の実施形態によるサービスサーバーは、人間の感じに該当するユーザの嗜好を推定し、推定された嗜好情報をコンピュータが認識可能な形態で生成してそれをユーザファッションデータベースに反映する特徴がある。

【0072】

例えば、サービスサーバーは、ユーザの行動情報からユーザの嗜好を推定するためのラベルを抽出することができる。前記ラベルは、ユーザが閲覧したスタイルブック、‘いいね’タグを生成したアイテム、要請アイテム、購買アイテムなど、ユーザ行動情報に含まれるファッションアイテムの意味に対するものとして抽出できる。さらに、前記ラベルは、ユーザ行動情報に含まれるファッションアイテムの外観、感じなどのルックアンドフィール、トレンドに関する情報として生成できる。

【0073】

ユーザ行動情報から生成されたラベルは、ユーザ行動による加重値が適用され、サービスサーバーはそれを組み合わせて、ユーザサイズを推定するユーザサイズ情報を生成し、ユーザファッションデータベースに保存することができる。前記ユーザファッションデータベースに含まれたユーザサイズ情報、ユーザ体型情報及びユーザ選好度情報は、推薦アイテム又は推薦商品に対する露出優先順位設定に用いられてよい。

【0074】

サービスサーバーは、ユーザデバイス１００から、ユーザファッションデータベースに保存された特定ファッションアイテムに対する推薦サービス要請を受信すれば、スタイルデータベースから、イメージ類似度を基準に、特定ファッションアイテムと類似のアイテムを検索する（Ｓ８２０）。例えば、ユーザは、ユーザデバイス１００の特定ファッションアイテムの写真を選択し、当該ファッションアイテムの商品情報を要請するか、又はそれとよく似合うようなコーディネーションアイテムの推薦を要請する要請をサービスサーバーに伝送することができる。ここで、ユーザデバイス１００は、ディスプレイされたイメージにあらかじめ設定されたカテゴリーのオブジェクトが含まれているか否かをまず判断し、オブジェクトを特定し、当該オブジェクトを特定ファッションアイテムと特定してもよい。さらに、イメージに複数のファッションアイテムに関するオブジェクトが含まれている場合、それぞれのオブジェクトを特定し、ユーザが選択したオブジェクトに対する要請だけを伝送するように動作してもよい。

【0075】

スタイルデータベースは、ウェブ上で収集されるイメージのうち、ファッションスタイル、複数のアイテムのコーディネーションに対して参考できるファッションイメージに関する情報を含むことができる。スタイルデータベースは、オンライン上で収集されるイメージのうち、複数のファッションアイテムがよく似合うように組み合わされているイメージ（本明細書では、これをスタイルイメージと称する。）及びスタイルイメージに対する分類情報を含むことができる。本発明の実施形態によるスタイルイメージは、専門家又は準専門家が複数のファッションアイテムをあらかじめ組み合わせて生成したイメージデータであり、ウェブ上で収集可能なファッションカタログ、ファッション雑誌グラビアイメージ、ファッションショー撮影イメージ、アイドル衣装イメージ、特定ドラマ又は映画の衣装イメージ、ＳＮＳ、ブログ有名人の衣装イメージ、ファッション雑誌のストリートファッションイメージ、ファッションアイテムの販売のために別のアイテムとコーディネートしておいたイメージなどを挙げることができる。

【0076】

したがって、スタイルイメージは、本発明の実施形態によるスタイルデータベースに保存され、特定アイテムとよく似合う他のアイテムを決定するのに用いられてよい。これによれば、スタイルイメージは、一般によく似合うという人間の感じをコンピュータが理解できるような参考資料として活用できる。任意のアイテムとよく似合うということは、人間の感じに対するものであるため、人の介入無しに或るアイテムに対してよく似合う他のアイテムをコンピュータが推薦するためには、複数のファッションアイテムのマッチングに対して学習された機械学習フレームワークが必要であろう。そのために、本発明の実施形態によるサービスサーバーは、複数のファッションアイテムが専門家又は準専門家によって組み合わされて人が着用したスタイルイメージを収集し、それをスタイルデータベースとして生成できる。さらに、サービスサーバーは、前記スタイルデータベースを機械学習フレームワークに適用して前記フレームワークを学習させることができる。例えば、青色のシャツと褐色のネクタイがマッチングされた大量のスタイルイメージを学習した機械学習フレームワークは、青色のシャツに対する要請に対してコーディネーションアイテムとして褐色のネクタイを推薦できるだろう。

【0077】

また、スタイルデータベースを構成するために、サービスサーバーはオンライン上でスタイルイメージを収集することができる。例えば、サービスサーバーは、ファッション雑誌、ファッションブランド、ドラマ製作会社、芸能人事務所、ＳＮＳ、オンラインストアなどのウェブアドレス目録を収集し、ウェブサイトを確認してリンクを追跡する方式で、ウェブサイトに含まれたイメージ情報を収集することができる。

【0078】

一方、本発明の実施形態によるサービスサーバーは、ファッション雑誌、ファッションブランド、ドラマ製作会社、芸能人事務所、ＳＮＳ、オンラインストアなどのウェブサイトからイメージを収集してインデックス化できるが、提携した業者からインデックス情報とともにイメージ情報を別個に受け取ってもよい。

【0079】

したがって、サービスサーバーは、収集されたイメージから、スタイル推薦に適さないイメージをフィルタリングすることができる。例えば、サービスサーバーは、収集されたイメージのうち、人の形状のオブジェクトが含まれており、かつ複数のファッションアイテムが含まれているイメージだけを残し、それ以外のイメージはフィルタリングすることができる。

【0080】

スタイルイメージは、要請アイテムとコーディネーションできる他のアイテムを決定するために用いられるので、単一のファッションアイテムに対するイメージはフィルタリングすることが適切である。さらに、人が複数のファッションアイテムを直接着用したイメージとしてデータベースを構成することが、ファッションアイテム自体に対するイメージに比べて活用度がより高いであろう。したがって、本発明の実施形態によるサービスサーバーは、人の形状のオブジェクトが含まれており、かつ複数のファッションアイテムが含まれているイメージだけを残し、それ以外のイメージをフィルタリングして、スタイルデータベースに含まれるスタイルイメージを決定することができる。

【0081】

その後、サービスサーバーは、スタイルイメージに含まれたファッションアイテムオブジェクトイメージの特徴に対してプロセッシングすることができる。より具体的に、サービスサーバーは、スタイルイメージに含まれたファッションアイテムオブジェクトのイメージ特徴を抽出し、特徴情報をベクトル値と表現してファッションアイテムオブジェクトの特徴値を生成し、イメージの特徴情報を構造化することができる。

【0082】

さらに、本発明の実施形態によるサービスサーバーは、スタイルイメージからスタイルラベルを抽出し、前記スタイルラベルを基準にスタイルイメージをクラスタリングすることができる。スタイルラベルは、ファッションアイテムの外観、感じなどのルックアンドフィール、トレンドに対するものが抽出されることが適切である。本発明の好ましい実施形態によれば、スタイルイメージに含まれた単一のファッションアイテムの外観、複数のアイテムの組合せなどから人が受ける感じに対するラベルを抽出し、これをラベルとして活用できる。例えば、芸能人ルック、雑誌ルック、サマールック、フェミニンルック、セクシールック、オフィスルック、ドラマルック、シャネルルックなどをラベルとして例示できる。

【0083】

本発明の実施形態によれば、サービスサーバーは、スタイルラベルをあらかじめ定義し、スタイルラベルに該当するイメージの特徴を学習した神経網モデルを生成して、スタイルイメージ内のオブジェクトを分類し、当該オブジェクトに対するラベルを抽出することができる。この時、サービスサーバーは、各ラベルに該当するイメージのパターンを学習した神経網モデルを用いて、特定パターンと任意の確率で一致するイメージに当該ラベルを付与することができる。

【0084】

本発明の他の実施形態によれば、サービスサーバーは、各スタイルラベルに該当するイメージの特性を学習して初期神経網モデルを形成し、ここに大量のスタイルイメージオブジェクトを適用して神経網モデルをより精巧に拡張することができる。

【0085】

一方、本発明のさらに他の実施形態によれば、サービスサーバーは、ラベルに対する別の学習無しでスタイルイメージを、複数のレイヤで形成された階層構造で形成された神経網モデルに適用することができる。さらに、スタイルイメージの特徴情報に、当該レイヤの要請に応じて加重値を付与し、加工された特徴情報を用いて商品イメージをクラスタリングし、クラスタリングされたイメージグループに芸能人ルック、雑誌ルック、サマールック、フェミニンルック、セクシールック、オフィスルック、ドラマルック、シャネルルックなどと事後的に解釈されるラベルを付与することができる。

【0086】

したがって、サービスサーバーは、スタイルラベルを用いてスタイルイメージをクラスタリングし、複数のスタイルブックを生成することができる。これは、ユーザにレファレンスとして提供するためのものである。ユーザは、サービスサーバーから提供する複数のスタイルブックのうち特定スタイルブックを閲覧し、気に入るアイテムを探すことができ、当該アイテムに関する商品情報検索を要請することができよう。

【0087】

一方、サービスサーバーは、白シャツ、ジーンズ、黒スカートなどの出現比率が非常に高いアイテムをあらかじめ分類してもよい。例えば、ジーンズはファッションにおいて基礎となるアイテムであるだけにスタイルイメージにおいて出現比率が非常に高い。したがって、ユーザがいずれのアイテムに対して問い合わせても、コーディネーションアイテムとしてジーンズがマッチングされる確率が他のアイテムに比べて格段に高いだろう。

【0088】

したがって、本発明の実施形態によるサービスサーバーは、スタイルイメージにおいて出現比率が非常に高いアイテムをバズりアイテムとしてあらかじめ分類し、スタイルブックを、バズりアイテムを含むものとバズりアイテムを含まないものとにバージョンを別にして生成することができる。

【0089】

本発明の他の実施形態によれば、バズりアイテムは、時間情報を反映して分類されてもよい。例えば、ファッションアイテムの流行周期を考慮すれば、１～２ヶ月しばらく流行して消えるアイテム、季節ごとに繰り返される流行アイテム、一定期間持続して流行するアイテムを考慮することができる。したがって、バズりアイテムの分類に時間情報を反映して、特定ファッションアイテムが任意の期間に現比率が非常に高いと、当該期間に関する情報と共に前記アイテムをバズりアイテムとして分類できる。このようにバズりアイテムを分類すれば、以降のアイテム推薦段階で、推薦対象アイテムが流行中のものか、流行と関係ないものかを考慮して推薦できる効果がある。

【0090】

すなわち、本発明に係るサービスサーバーは、受信した要請に含まれた特定ファッションアイテムオブジェクトをプロセッシングし、イメージ類似度を基準にスタイルデータベースを検索することができる。すなわち、サービスサーバーは、検索対象として特定されたイメージオブジェクトをプロセッシングし、類似のアイテムをスタイルデータベースから検索することができる。

【0091】

そのために、サービスサーバーは、検索対象イメージオブジェクトの特徴を抽出し、検索の効率性のためにイメージの特定情報を構造化することができる。

【0092】

さらに、本発明の実施形態によるサービスサーバーは、プロセッシングされた検索対象オブジェクトイメージに、商品イメージデータベース構築に用いられたマシンラーニングの技法を適用して、検索対象オブジェクトイメージの意味に対するラベル及び／又はカテゴリー情報を抽出することができる。前記ラベルは、抽象化された値で表現されてもよいが、抽象化された値を解釈してテキスト形態で表現されてもよい。

【0093】

例えば、本発明の実施形態によるサービスサーバーは、要請オブジェクトイメージから女性、ワンピース、袖なし、リネン、白色、カジュアルルックに対するラベルを抽出することができる。この場合、サービスサーバーは、女性、ワンピースに対するラベルを要請オブジェクトイメージのカテゴリー情報として活用し、袖なし、リネン、白色、カジュアルルックに対するラベルは、カテゴリー以外のオブジェクトイメージの特性を説明するラベル情報として活用できる。

【0094】

その後、サービスサーバーは、要請オブジェクトイメージの類似度を基準にスタイルデータベースを検索することができる。これは、要請イメージと類似のアイテムをスタイルデータベースから検索し、スタイルイメージにおいて類似アイテムとマッチングされている他のアイテムを確認するためのものであり、例えば、サービスサーバーは、要請オブジェクトイメージとスタイルイメージに含まれたファッションアイテムオブジェクトイメージとの特徴値の類似度を計算し、類似度があらかじめ設定された範囲内であるアイテムを確認することができる。

【0095】

さらに、本発明の実施形態によるサービスサーバーは、商品データベースのために構成したマシンラーニングのための人工神経網モデルの複数のレイヤで要求する加重値を反映して要請イメージの特徴値を加工し、要請イメージと一定範囲内の距離値を有するスタイルブックに含まれたファッションアイテムグループを少なくとも一つ選定し、該グループに属するアイテムを類似アイテムとして決定することができる。

【0096】

一方、本発明の好ましい実施形態によれば、サービスサーバーは、要請イメージの類似度を基準にスタイルデータベースを検索して類似アイテムを決定し、この時、イメージ検索の正確度を上げるために、イメージから抽出したラベル、カテゴリー情報を用いることができる。

【0097】

例えば、サービスサーバーは、要請イメージとスタイルデータベースイメージとの特徴値の類似度を計算し、あらかじめ設定された範囲の類似度以上である商品のうち、ラベル及び／又はカテゴリー情報が要請イメージのラベル及び／又はカテゴリー情報とマッチングしない商品は除外する方式で類似アイテムを決定することができる。

【0098】

さらに他の例として、サービスサーバーは、要請イメージのラベル及び／又はカテゴリー情報とマッチングするラベル及び／又はカテゴリー情報を有するスタイルブックのみからアイテム類似度を計算してもよい。

【0099】

例えば、本発明の実施形態によるサービスサーバーは、要請イメージからスタイルラベルを抽出し、前記ラベルとマッチングするスタイルブックにおいて要請とイメージ類似度を基準に類似アイテムを特定することができる。勿論、サービスサーバーは要請イメージから別個のラベルを抽出せず、スタイルデータベースから要請イメージとイメージ類似度を基準に類似アイテムを特定してもよい。

【0100】

例えば、要請に含まれたイメージに葉柄ワンピースがある場合、サービスサーバーは、トロピカルというラベルを要請から抽出できる。その後、サービスサーバーは、トロピカルというラベルでクラスタリングされたスタイルブックから、葉柄ワンピースとあらかじめ設定された範囲の類似度を有する類似のアイテムを特定できる。

【0101】

その後、サービスサーバーは、スタイルブックから検索された類似アイテムを含み、類似アイテムが他のファッションアイテムと組み合わされているスタイルイメージをユーザデバイス１００に提供することができる。葉柄ワンピースがある上の例において、葉柄ワンピースと共に麦わら帽子、ラタンバッグなどが組み合わされたスタイルイメージをユーザに提供することができる。

【0102】

サービスサーバーは、特定ファッションアイテムと類似のアイテムがスタイルデータベースから検索されると、該類似のアイテムと共に組み合わされてスタイルイメージに含まれている他のカテゴリーのファッションアイテムを確認してコーディネーションアイテムを決定する（Ｓ８３０）。

【0103】

すなわち、ユーザが問い合わせした特定ファッションアイテムを、スタイルデータベースからイメージ類似度を基準に検索し、類似のアイテムが含まれたスタイルイメージには類似のアイテムと共にマッチングされている他のカテゴリーのファッションアイテムを推薦アイテムとして考慮できる。これは、本発明の実施形態によるサービスサーバーが、スタイルイメージにおいて要請アイテムと共にマッチングされている他のアイテムはよく似合うものと学習されているためである。

【0104】

サービスサーバーは、スタイルデータベースを用いてコーディネーションアイテムが決定されると、商品データベースからコーディネーションアイテムと類似の商品を推薦商品として決定する（Ｓ８４０）。

【0105】

商品データベースは、オンラインマーケットから販売される商品の原産地、サイズ、販売所、着用ショットなどの商品詳細情報を含むことができ、商品のイメージに基づいて商品情報が構成される特徴がある。

【0106】

すなわち、サービスサーバーは、あらかじめ提携されたオンラインマーケットの商品情報はもとより、任意のオンラインマーケットで販売する商品に対しても商品情報を収集することができる。例えば、サービスサーバーは、クローラー、パーサー、インデクサーを備えて、オンライン商店のウェブ文書を収集し、ウェブ文書に含まれた商品イメージ及び商品名、価格などのテキスト情報に接近することができる。

【0107】

例えば、クローラーは、オンラインストアのウェブアドレス目録を収集し、ウェブサイトを確認してリンクを追跡する方式で商品情報に関連したデータをサービスサーバーに伝達することができる。この時、パーサーは、クローリング過程中に収集されたウェブ文書を解釈して、ページに含まれた商品イメージ、商品価格、商品名などの商品情報を抽出し、インデクサーは該当の位置と意味をインデックス化できる。

【0108】

一方、本発明の実施形態によるサービスサーバーは、任意のオンラインストアのウェブサイトから商品情報を収集しインデックス化できるが、提携マーケットからあらかじめ設定されたフォーマットの商品情報が提供されてもよい。

【0109】

サービスサーバーは、商品イメージをプロセッシングできる。これは、商品名や販売カテゴリーなどのテキスト情報に依存せず、商品イメージの類似の有無を基準に推薦アイテムを決定するためである。

【0110】

本発明の実施形態によれば、商品イメージの類似の有無を基準に推薦アイテムを決定できるが、本発明はこれに限定されない。すなわち、具現によって、商品イメージの他にも、商品名又は販売カテゴリーなどを単独又は補助要請として活用でき、そのために、サービスサーバーは、商品のイメージの他に、商品名、商品カテゴリーなどのテキスト情報を構造化してデータベースを生成することができる。

【0111】

本発明の好ましい実施形態によれば、サービスサーバーは、商品イメージの特徴を抽出し、検索の効率性のためにイメージの特徴情報を構造化（ｉｎｄｅｘｉｎｇ）することができる。

【0112】

より具体的に、サービスサーバーは、商品イメージの特徴領域を探知（Ｉｎｔｅｒｅｓｔ Ｐｏｉｎｔ Ｄｅｔｅｃｔｉｏｎ）できる。特徴領域とは、イメージ同士の同一類似の有無を判断するためのイメージの特徴に対する記述子、すなわち、特徴記述子（Ｆｅａｔｕｒｅ Ｄｅｓｃｒｉｐｔｏｒ）を抽出する主要領域のことを指す。

【0113】

本発明の実施形態によれば、このような特徴領域は、イメージが含んでいる輪郭線、輪郭線の中でもコーナーなどの隅部、周辺領域と区分されるブロブ（ｂｌｏｂ）、イメージの変形によって不変したり共変したりする領域、又は周辺の明るさよりも暗いか明るい特徴がある極点であってよく、イメージのパッチ（切片）又はイメージ全体を対象にすることができる。

【0114】

さらに、サービスサーバーは、特徴領域から特徴記述子を抽出（Ｄｅｓｃｒｉｐｔｏｒ Ｅｘｔｒａｃｔｉｏｎ）することができる。特徴記述子は、イメージの特徴をベクトル値で表現したものである。

【0115】

本発明の実施形態によれば、このような特徴記述子は、該当のイメージに対する特徴領域の位置、又は特徴領域の明るさ、色相、鮮明度、グラジエント、スケール又はパターン情報を用いて計算することができる。例えば、特徴記述子は、特徴領域の明るさ値、明るさの変化値又は分布値などをベクトルに変換して計算することができる。

【0116】

一方、本発明の実施形態によれば、イメージに対する特徴記述子は、上のような特徴領域に基づく地域記述子（Ｌｏｃａｌ Ｄｅｓｃｒｉｐｔｏｒ）だけでなく、全域記述子（Ｇｌｏｂａｌ ｄｅｓｃｒｉｐｔｏｒ）、頻度記述子（Ｆｒｅｑｕｅｎｃｙ Ｄｅｓｃｒｉｐｔｏｒ）、バイナリ記述子（Ｂｉｎａｒｙ Ｄｅｓｃｒｉｐｔｏｒ）又は神経網記述子（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｄｅｓｃｒｉｐｔｏｒ）で表現されてもよい。

【0117】

より具体的に、特徴記述子は、イメージ全体又はイメージを任意の基準で分割した区域のそれぞれ、又は特徴領域のそれぞれの明るさ、色相、鮮明度、グラジエント、スケール、パターン情報などをベクトル値に変換して抽出する全域記述子（Ｇｌｏｂａｌ ｄｅｓｃｒｉｐｔｏｒ）を含むことができる。

【0118】

例えば、特徴記述子は、あらかじめ区分した特定記述子がイメージに含まれる回数、従来定義された色相表のような全域的特徴を含む回数などをベクトル値に変換して抽出する頻度記述子（Ｆｒｅｑｕｅｎｃｙ Ｄｅｓｃｒｉｐｔｏｒ）、各記述子を含むか否か又は記述子を構成する各要素値の大きさが特定値よりも大きいか小さいかをビット単位で抽出した後、これを整数型に変換して使用するバイナリ記述子（Ｂｉｎａｒｙ ｄｅｓｃｒｉｐｔｏｒ）、神経網（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のレイヤで学習又は分類のために用いられる映像情報を抽出する神経網記述子（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｄｅｓｃｒｉｐｔｏｒ）を含むことができる。

【0119】

さらに、本発明の実施形態によれば、商品イメージから抽出した特徴情報ベクトルを低い次元に変換することができる。例えば、人工神経網によって抽出された特徴情報は、４万次元の高次元ベクトル情報に該当し、検索に要求されるリソースを考慮して適正な範囲の低い次元のベクトルに変換することが適切である。

【0120】

前記特徴情報ベクトルの変換は、ＰＣＡ、ＺＣＡなどの様々な次元縮小アルゴリズムを用いることができ、低い次元ベクトルに変換された特徴情報は該当の商品イメージにインデクシングされてよい。

【0121】

さらに、本発明の実施形態によるサービスサーバーは、商品イメージを基準にマシンラーニングの技法を適用して当該イメージの意味に対するラベルを抽出することができる。前記ラベルは、抽象化された値で表現されてよいが、抽象化された値を解釈してテキスト形態で表現されてもよい。

【0122】

より具体的に、サービスサーバーは、ラベルをあらかじめ定義し、前記ラベルに該当するイメージの特徴を学習した神経網モデルを生成し、商品イメージ内のオブジェクトを分類し、当該オブジェクトに対するラベルを抽出することができる。この時、サービスサーバーは、各ラベルに該当するイメージのパターンを学習した神経網モデルを用いて、特定パターンと任意の確率で一致するイメージに該当のラベルを付与することができる。

【0123】

または、サービスサーバーは、各ラベルに該当するイメージの特性を学習して初期神経網モデルを形成し、ここに大量の商品イメージオブジェクトを適用して神経網モデルをより精巧に拡張してもよい。さらに、サービスサーバーは、当該商品がどのグループにも含まれないと、当該商品を含む新しいグループを生成してもよい。

【0124】

これによって、サービスサーバーは、女性下衣、スカート、ワンピース、半袖、長袖、柄の形態、材質、色相、抽象的感じ（清純、シック、ビンテージなど）などの商品に関するメタ情報として活用できるラベルをあらかじめ定義し、前記ラベルに該当するイメージの特徴を学習した神経網モデルを生成し、前記神経網モデルを広告主の商品イメージに適用して広告対象商品イメージに対するラベルを抽出することができる。

【0125】

または、サービスサーバーは、ラベルに対する別途の学習無しで商品イメージを、複数のレイヤに形成された階層構造で形成された神経網モデルに適用することができる。さらに、商品イメージの特徴情報に当該レイヤの要請に応じて加重値を付与し、加工された特徴情報を用いて商品イメージをクラスタリングすることができる。

【0126】

この場合、特徴値のどの属性によって当該イメージがクラスタリングされたかを確認するために、すなわち、イメージのクラスタリング結果を実際に人間が認識できる概念と連結するためには、追加の分析が必要であろう。例えば、サービスサーバーがイメージプロセッシングを通じて３個のグループに商品を分類し、第１グループの特徴に対するＡ、第２グループの特徴に対するＢ、第３グループの特徴に対するＣというラベルを抽出した場合、Ａ、Ｂ、Ｃが、例えば、それぞれ女性上衣、ブラウス、チェック柄を意味するということが事後的に解釈される必要がある。

【0127】

また、サービスサーバーは、クラスタリングされたイメージグループに、女性下衣、スカート、ワンピース、半袖、長袖、柄の形態、材質、色相、抽象的感じ（清純、シック、ビンテージなど）などと事後的に解釈され得るラベルを付与し、個別商品イメージの属するイメージグループに与えられたラベルを当該商品イメージのラベルとして抽出できる。

【0128】

一方、本発明の実施形態によるサービスサーバーは、商品イメージから抽出したラベルをテキストで表現でき、テキスト形態のラベルは、商品のタグ情報として活用されてよい。

【0129】

従来、商品のタグ情報は販売者が主観的に直接与えたため、不正確で信頼度に劣っていた。販売者が主観的に付与する商品タグは、ノイズとして作用して検索の効率を低下させる問題があった。

【0130】

しかし、本発明の実施形態のように、商品イメージに基づいてラベル情報を抽出し、抽出されたラベル情報をテキストに変換して当該商品のタグ情報として活用すれば、商品のタグ情報を、当該商品のイメージに基づいて人間の介入無しで数学的に抽出でき、タグ情報の信頼性が上がり、検索の正確度が向上する効果がある。

【0131】

さらに、サービスサーバーは、商品イメージ内容に基づいて当該商品のカテゴリー情報を生成することができる。例えば、任意の商品イメージに対するラベルが女性、上衣、ブラウス、リネン、ストライプ、長袖、青色、オフィスルックと抽出された場合、サービスサーバーは、女性、上衣、ブラウスに対するラベルを当該商品のカテゴリー情報として活用し、リネン、ストライプ、長袖、青色、オフィスルックに対するラベルは、カテゴリー外の商品の特性を説明するラベル情報として活用できる。または、サービスサーバーは、ラベルとカテゴリー情報を区別しないで当該商品にインデクシングしてもよい。この時、商品のカテゴリー情報及び／又はラベルは、イメージ検索の信頼度を上げるためのパラメータとして活用されてよい。

【0132】

したがって、サービスサーバーは、上述した商品の内容から抽出されたラベルがインデクシングされて構成された商品データベースからコーディネーションアイテムと類似のアイテムを推薦アイテムとして決定し、前記推薦アイテムに関する商品情報を提供するために、前記推薦アイテムと類似の商品を商品データベースから検索できる。

【0133】

より具体的に、サービスサーバーは、スタイルデータベースを用いて決定されたコーディネーションアイテムに対して、イメージ類似度を基準に商品データベースを検索することができる。

【0134】

そのために、サービスサーバーは、コーディネーションアイテムオブジェクトの特徴を抽出し、検索の効率性のために、イメージの特定情報を構造化することができる。

【0135】

本発明の実施形態によるサービスサーバーは、オブジェクトイメージの類似度を基準に商品データベースを検索することができる。例えば、サービスサーバーは、推薦アイテムイメージと商品データベースに含まれた商品イメージとの特徴値の類似度を計算し、類似度があらかじめ設定された範囲内である商品を推薦商品として決定できる。

【0136】

さらに、本発明の実施形態によるサービスサーバーは、商品データベースのために構成したマシンラーニングのための人工神経網モデルの複数のレイヤで要求する加重値を反映して推薦アイテムイメージの特徴値を加工し、一定範囲内の距離値を有する商品グループを少なくとも一つ選定し、前記グループに属する商品を推薦商品として決定してもよい。

【0137】

さらに、本発明の他の実施形態によるサービスサーバーは、推薦アイテムオブジェクトから抽出したラベルに基づいて推薦商品を特定してもよい。

【0138】

例えば、推薦アイテムイメージから抽出されたオブジェクトのラベル情報が女性上衣、ブラウス、白色、縞模様と抽出された場合、サービスサーバーは、商品データベースにおいて女性上衣を上位カテゴリー情報として有する商品グループに対してのみ検索対象オブジェクトイメージと類似度を計算できる。

【0139】

さらに他の例として、サービスサーバーは、類似度があらかじめ設定された範囲以上の商品を推薦候補商品とし、推薦候補商品から、下位カテゴリー情報がブラウスでない商品を除外できる。言い換えると、下位カテゴリー情報がブラウスとインデックス化された商品を広告アイテムとして選定できる。

【0140】

さらに他の例として、推薦アイテムのオブジェクトイメージから抽出されたラベル情報が女性上衣、ブラウス、長袖、レース、襟ネックである場合、サービスサーバーは、商品データベースから女性上衣、ブラウス、長袖、レース、襟ネックをラベルとして有する商品グループに対してのみ推薦アイテムとイメージ類似度を計算することができる。

【0141】

推薦商品が決定されると、サービスサーバーは、ユーザ嗜好／サイズ情報を反映して露出の優先順位を決定することができる。例えば、ユーザの嗜好情報がオフィスルックに偏っている場合、オフィスルックラベルに加重値を付与して優先順位を計算し、計算された優先順位にしたがって推薦商品情報を提供することができる。

【0142】

ユーザデバイス１００は、サービスサーバーから取得した推薦商品でコーディネーションアイテムリストをユーザに表示することができる（Ｓ８５０）。さらに、これについて、コーディネーションアイテムリストをユーザに表示してスワイプジェスチャーによって選択される動作は、図７に上述した内容を用いることができる。

【0143】

本明細書及び図面に開示した本発明の実施形態は、本発明の技術内容を容易に説明し、本発明の理解を助けるために特定例が挙げられただけで、本発明の範囲を限定するためのものではない。ここに開示された実施形態の他にも、本発明の技術的思想に基づく他の変形例が実施可能であるということは、本発明の属する技術の分野における通常の知識を有する者にとって明らかであろう。

【産業上の利用可能性】

【0144】

上述したようなスワイプジェスチャーを用いてユーザデバイス上にディスプレイされる多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒｓ）で構成された、ファッションアイテムに対して推薦するサービスは様々なサービス分野に適用可能である。

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ユーザデバイス上にディスプレイ（ｄｉｓｐｌａｙ）される多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒｓ）で構成されたファッションアイテムを用いてファッションアイテム推薦サービスを提供する方法であって、
あらかじめ推定されたユーザ選好度情報を反映して推薦ファッションアイテムリストを生成し、前記推薦ファッションアイテムリストを多重レイヤに関連付けるように構成して、前記ユーザデバイスのファッションアイテムディスプレイ領域にレイヤポップアップ（ｌａｙｅｒ ｐｏｐｕｐ）形態で前記推薦ファッションアイテムリストを表示する段階；
前記ファッションアイテムディスプレイ領域に表示された現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）に構成された特定ファッションアイテムに対して受信されたスワイプジェスチャー（ｓｗｉｐｅ ｇｅｓｔｕｒｅ）によって前記特定ファッションアイテムが選択されたか否かを決定する段階；及び
前記特定ファッションアイテムが選択された場合、前記特定ファッションアイテムを選好アイテムとして保存する段階を含む、ファッションアイテム推薦サービスを提供する方法。

【請求項2】

前記特定ファッションアイテムが選択されたか否かを決定する段階は、
前記スワイプジェスチャーの方向があらかじめ指定された最優先順位を指示する方向に対応する場合、前記特定ファッションアイテムが選択されたと判断する段階；
前記スワイプジェスチャーの方向があらかじめ指定された最優先順位を指示する方向の反対方向である場合には、前記特定ファッションアイテムを前記推薦ファッションアイテムリストから除外する段階；
前記スワイプジェスチャーの方向があらかじめ指定された前のレイヤへのスイッチングを指示する方向である場合、前記多重レイヤ上で前記現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）の前のレイヤ（ｐｒｅｖｉｏｕｓ ｌａｙｅｒ）に構成されたファッションアイテムを表示する段階；及び
前記スワイプジェスチャーの方向があらかじめ指定された次のレイヤへのスイッチングを指示する方向である場合、前記多重レイヤ上で前記現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）の次のレイヤ（ｎｅｘｔ ｌａｙｅｒ）に構成されたファッションアイテムを表示する段階を含む、請求項１に記載のファッションアイテム推薦サービスを提供する方法。

【請求項3】

前記特定ファッションアイテムが選択されたと判断する段階は、
前記特定ファッションアイテムに対するラベルがインデクシングされて構成された商品データベースから、イメージ類似度を基準に前記特定ファッションアイテムと類似の商品を前記推薦ファッションアイテムリストにアップデートさせる段階をさらに含むことを特徴とする、請求項２に記載のファッションアイテム推薦サービスを提供する方法。

【請求項4】

前記ファッションアイテムが選択されたか否かを決定する段階は、
前記スワイプジェスチャーの方向に基づいて、前記現在レイヤの形態を変形して前記ファッションアイテムディスプレイ領域に表示する段階を含む、請求項１に記載のファッションアイテム推薦サービスを提供する方法。

【請求項5】

前記選好アイテムを前記ユーザデバイスの選択アイテムディスプレイ領域に表示する段階；及び
前記選好アイテムに対する入力が受信される場合、前記選好アイテムと関連したウェブページ（ｗｅｂ ｐａｇｅ）を通じて商品購買サービスを提供する段階をさらに含む、
請求項１に記載のファッションアイテム推薦サービスを提供する方法。

【請求項6】

前記ユーザ選好度情報は、
前記ユーザデバイスに保存されたユーザ識別が可能なイメージから抽出された、前記ユーザが着用している複数のファッションアイテムに基づいて生成されたユーザファッションデータベースを用いて生成されたことを特徴とする、
請求項１に記載のファッションアイテム推薦サービス提供方法。

【請求項7】

ユーザデバイス上にディスプレイ（ｄｉｓｐｌａｙ）される多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒｓ）で構成されたファッションアイテムを用いてファッションアイテム推薦サービスを提供する方法であって、
特定ファッションアイテムのカテゴリーと異なるカテゴリーを有する複数のコーディネーションアイテムで構成されたコーディネーションアイテムリストを多重レイヤに関連付けるように構成し、前記異なるカテゴリーに対応する前記ユーザデバイスのコーディネーションアイテムディスプレイ領域にレイヤポップアップ（ｌａｙｅｒ ｐｏｐｕｐ）形態で前記コーディネーションアイテムリストを表示する段階；
前記コーディネーションアイテム領域に表示された現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）に構成された特定コーディネーションアイテムに対して受信されたスワイプジェスチャー（ｓｗｉｐｅ ｇｅｓｔｕｒｅ）によって前記特定コーディネーションアイテムが選択されたか否かを決定する段階；及び
前記特定コーディネーションアイテムが選択された場合、前記特定コーディネーションアイテムを選好アイテムとして保存する段階を含む、ファッションアイテム推薦サービスを提供する方法。

【請求項8】

前記特定コーディネーションアイテムを選択する否かを決定する段階は、
前記スワイプジェスチャーの方向があらかじめ指定された最優先順位を指示する方向に対応する場合、前記特定コーディネーションアイテムが選択されたと判断する段階；
前記スワイプジェスチャーの方向があらかじめ指定された最優先順位を指示する方向の反対方向である場合には、前記特定コーディネーションアイテムを前記コーディネーションアイテムリストから除外する段階；
前記スワイプジェスチャーの方向があらかじめ指定された前のレイヤへのスイッチングを指示する方向である場合、前記多重レイヤ上で前記現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）の前のレイヤ（ｐｒｅｖｉｏｕｓ ｌａｙｅｒ）に構成されたコーディネーションアイテムを表示する段階；及び
前記スワイプジェスチャーの方向があらかじめ指定された次のレイヤへのスイッチングを指示する方向である場合、前記多重レイヤ上で前記現在レイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）の次のレイヤ（ｎｅｘｔ ｌａｙｅｒ）に構成されたコーディネーションアイテムを表示する段階を含む、請求項７に記載のファッションアイテム推薦サービスを提供する方法。

【請求項9】

前記特定コーディネーションアイテムが選択されたと判断する段階は、
前記特定コーディネーションアイテムに対するラベルがインデクシングされて構成された商品データベースから、イメージ類似度を基準に前記特定コーディネーションアイテムと類似の商品を前記コーディネーションアイテムリストにアップデートさせる段階をさらに含むことを特徴とする、請求項８に記載のファッションアイテム推薦サービスを提供する方法。

【請求項10】

前記コーディネーションアイテムが選択されたか否かを決定する段階は、
前記スワイプジェスチャーの方向に基づいて、前記現在レイヤの形態を変形して前記コーディネーションアイテムディスプレイ領域に表示する段階を含む、請求項７に記載のファッションアイテム推薦サービスを提供する方法。

【請求項11】

前記選好アイテムを前記ユーザデバイスの選択アイテムディスプレイ領域に表示する段階；及び
前記選好アイテムに対する入力が受信される場合、前記選好アイテムと関連したウェブページ（ｗｅｂ ｐａｇｅ）を通じて商品購買サービスを提供する段階をさらに含む、
請求項７に記載のファッションアイテム推薦サービスを提供する方法。

【請求項12】

前記特定ファッションアイテムは、
前記ユーザデバイスに保存されたユーザ識別が可能なイメージから抽出された、前記ユーザが着用している複数のファッションアイテムに基づいて生成されたユーザファッションデータベースから取得されたことを特徴とする、請求項７に記載のファッションアイテム推薦サービス提供方法。

【国際調査報告】