特開 2019-133620 イメージ内の複数の客体の調和に基づく調和検索方法、コンピュータ装置およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2019-133620(P2019-133620A)

(43)【公開日】2019年8月8日

(54)【発明の名称】イメージ内の複数の客体の調和に基づく調和検索方法、コンピュータ装置およびコンピュータプログラム

(51)【国際特許分類】

   G06F 16/00 20190101AFI20190712BHJP

   G06Q 30/06 20120101ALI20190712BHJP

【ＦＩ】

   G06F17/30 340A

   G06F17/30 170Z

   G06F17/30 220Z

   G06Q30/06 340

   G06Q30/06 330

【審査請求】有

【請求項の数】19

【出願形態】ＯＬ

【全頁数】25

(21)【出願番号】特願2018-120577(P2018-120577)

(22)【出願日】2018年6月26日

(11)【特許番号】特許第6527275号(P6527275)

(45)【特許公報発行日】2019年6月5日

(31)【優先権主張番号】10-2018-0012204

(32)【優先日】2018年1月31日

(33)【優先権主張国】KR

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ＜ｈｔｔｐ：／／ｎｅｗｓ．ｎａｖｅｒ．ｃｏｍ／ｍａｉｎ／ｒｅａｄ．ｎｈｎ？ｍｏｄｅ＝ＬＳＤ＆ｍｉｄ＝ｓｅｃ＆ｓｉｄｌ＝１０５＆ｏｉｄ＝０３０＆ａｉｄ＝０００２６７１９１２＞において発表

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ＜ｈｔｔｐｓ：／／ｅｎｅｒｇｅｔｉｃｍａｎ．ｂｌｏｇ．ｍｅ／２２１１８８０８９１８４＞において発表

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ＜ｈｔｔｐｓ：／／ｄｅｏｋｇｉ０．ｂｌｏｇ．ｍｅ／２２１１９１４０３９５１＞において発表

(71)【出願人】

【識別番号】505205812

【氏名又は名称】ネイバー コーポレーション

【氏名又は名称原語表記】ＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】キム ジョンウ

(72)【発明者】

【氏名】パク ヘジン

(72)【発明者】

【氏名】チョウ グンヒ

(72)【発明者】

【氏名】キム ヒョンジュン

(72)【発明者】

【氏名】キム ジョンテク

(72)【発明者】

【氏名】チェ スングォン

(72)【発明者】

【氏名】キム サンヨン

(72)【発明者】

【氏名】キム テギョン

(72)【発明者】

【氏名】チェー ジョンユン

(72)【発明者】

【氏名】イ サンヒョン

(72)【発明者】

【氏名】チェー サンジン

(72)【発明者】

【氏名】チェー ジンヒ

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049BB47

5L049BB58

(57)【要約】

【課題】 イメージ内の複数の客体の調和を基盤とした調和検索方法およびシステムを提供する。
【解決手段】 本発明の実施形態に係る調和検索方法は、人物に適用可能なアイテムのための客体間の調和を示す抽象的な表現を含む調和キーワードを定義し、このような抽象的な表現を含むキーワードを利用することにより、検索者が意図する調和に対応するイメージを検索して提供することができる。
【選択図】 図３

【特許請求の範囲】

【請求項1】

人物に適用可能なアイテムのための複数の客体間の調和を示す抽象的な表現を含む複数の調和キーワードを利用する調和検索方法であって、前記調和検索方法は、イメージ内で人物が表現された程度に応じて予め定義された点数別に分類された調和学習イメージに基づいてディープラーニングモデルが入力されたイメージの点数を算出するように学習しているコンピュータ装置により実行され、前記調和検索方法は、
入力された検索語に対応する検索結果を抽出する段階、
前記入力された検索語が調和キーワードを含む場合、前記抽出された検索結果と連係するイメージのうちで人物に適用可能なアイテムの販売と関連するイメージを識別する段階、
前記学習されたディープラーニングモデルを利用して前記識別されたイメージそれぞれの点数を算出する段階、
前記算出された点数に基づき、前記識別されたイメージのうちから少なくとも１つのイメージを抽出する段階、および
前記抽出された検索結果のうち少なくとも一部の検索結果と前記抽出された少なくとも１つのイメージとを含む検索結果ページを提供する段階
を含むことを特徴とする、調和検索方法。

【請求項2】

前記検索結果ページを提供する段階は、
商品販売関連の検索結果を表示するための商品関連領域を含むように前記検索結果ページを生成する場合において、前記抽出された検索結果のうちで前記商品関連領域に対応する検索結果の代わりに、前記抽出された少なくとも１つのイメージを前記商品関連領域に表示するように前記検索結果ページを生成することを特徴とする、請求項１に記載の調和検索方法。

【請求項3】

前記検索結果ページを提供する段階は、
前記入力された検索語が含む調和キーワードと関連する調和検索結果を表示するための別の領域を含み、前記別の領域に前記抽出された少なくとも１つのイメージを表示するように前記検索結果ページを生成することを特徴とする、請求項１または２に記載の調和検索方法。

【請求項4】

前記検索結果ページから前記抽出された少なくとも１つのイメージが選択される場合、前記選択されたイメージで人物に適用されたアイテムを識別する段階、および
前記選択されたイメージと前記識別されたアイテムに関する情報を含んで構成されたページに対するビューア機能を提供する段階
をさらに含むことを特徴とする、請求項１または３に記載の調和検索方法。

【請求項5】

調和イメージおよび前記調和イメージに含まれた商品アイテムに関する情報の関連付けを登録する段階
をさらに含み、
前記アイテムを識別する段階は、
前記選択されたイメージと関連付けて登録された商品アイテムに関する情報に基づき、前記選択されたイメージで人物に適用されたアイテムを識別することを特徴とする、請求項４に記載の調和検索方法。

【請求項6】

前記アイテムを識別する段階は、
前記選択されたイメージおよび前記選択されたイメージを登録した商品提供者の商品アイテムのイメージを分析および比較し、前記選択されたイメージで人物に適用された前記商品提供者の商品アイテムを識別することを特徴とする、請求項４に記載の調和検索方法。

【請求項7】

前記アイテムを識別する段階は、
前記選択されたイメージおよび前記選択されたイメージを登録した商品提供者ではない他の商品提供者の商品アイテムのイメージを分析および比較し、前記選択されたイメージで人物に適用されたイメージと関連する他の商品提供者の商品アイテムを識別することを特徴とする、請求項４に記載の調和検索方法。

【請求項8】

商品提供者によって登録される商品アイテムの商品イメージそれぞれにタグを設定および格納する段階
をさらに含み、
前記アイテムの販売と関連するイメージを識別する段階は、
前記入力された検索語が含む調和キーワードとタグとの比較によって前記調和キーワードに対応する商品イメージを抽出することを特徴とする、請求項１〜７のうちのいずれか一項に記載の調和検索方法。

【請求項9】

前記タグを設定および格納する段階は、
前記定義された複数の調和キーワードに対応するように分類された複数のタグ学習イメージに基づき、第２ディープラーニングモデルが入力されたイメージのタグを出力するように学習させる段階、
前記学習された第２ディープラーニングモデルに基づき、前記登録される商品イメージそれぞれに対するタグを決定する段階、および
前記決定されたタグを対応する商品イメージに対して設定および格納する段階
を含むことを特徴とする、請求項８に記載の調和検索方法。

【請求項10】

請求項１〜９のうちのいずれか一項に記載の調和検索方法をコンピュータに実行させるコンピュータプログラム。

【請求項11】

コンピュータ装置であって、
コンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサにより、
人物に適用可能なアイテムのための複数の客体間の調和を示す抽象的な表現を含む複数の調和キーワードを定義し、
イメージ内で人物が表現された程度に応じて予め定義された点数別に分類された調和学習イメージに基づいてディープラーニングモデルが入力されたイメージの点数を算出するように学習させ、
入力された検索語に対応する検索結果を抽出し、
前記入力された検索語が調和キーワードを含む場合、前記抽出された検索結果と連係するイメージのうちで人物に適用可能なアイテムの販売と関連するイメージを識別し、
前記学習されたディープラーニングモデルを利用して前記識別されたイメージそれぞれの点数を算出し、
前記算出された点数に基づき、前記識別されたイメージのうちから少なくとも１つのイメージを抽出し、
前記抽出された検索結果のうちの少なくとも一部と前記抽出された少なくとも１つのイメージを含む検索結果ページを提供すること
を特徴とする、コンピュータ装置。

【請求項12】

前記少なくとも１つのプロセッサにより、
商品販売関連の検索結果を表示するための商品関連領域を含むように前記検索結果ページを生成する場合において、前記抽出された検索結果のうちで前記商品関連領域に対応する検索結果の代わりに、前記抽出された少なくとも１つのイメージを前記商品関連領域に表示するように前記検索結果ページを生成することを特徴とする、請求項１１に記載のコンピュータ装置。

【請求項13】

前記少なくとも１つのプロセッサにより、
前記入力された検索語が含む調和キーワードと関連する調和検索結果を表示するための別の領域を含み、前記別の領域に前記抽出された少なくとも１つのイメージを表示するように前記検索結果ページを生成することを特徴とする、請求項１１または１２に記載のコンピュータ装置。

【請求項14】

前記少なくとも１つのプロセッサにより、
前記検索結果ページで前記抽出された少なくとも１つのイメージが選択される場合、前記選択されたイメージで人物に適用されたアイテムを識別し、
前記選択されたイメージと前記識別されたアイテムに関する情報を含んで構成されたページに対するビューア機能を提供すること
を特徴とする、請求項１１〜１３のうちのいずれか一項に記載のコンピュータ装置。

【請求項15】

前記少なくとも１つのプロセッサにより、
調和イメージおよび前記調和イメージに含まれた商品アイテムに関する情報の関連付けを登録する段階、
前記選択されたイメージと関連付けて登録された商品アイテムに関する情報に基づき、前記選択されたイメージで人物に適用されたアイテムを識別することを特徴とする、請求項１４に記載のコンピュータ装置。

【請求項16】

前記少なくとも１つのプロセッサにより、
前記選択されたイメージおよび前記選択されたイメージを登録した商品提供者の商品アイテムのイメージを分析および比較し、前記選択されたイメージで人物に適用された前記商品提供者の商品アイテムを識別することを特徴とする、請求項１４に記載のコンピュータ装置。

【請求項17】

前記少なくとも１つのプロセッサにより、
前記選択されたイメージおよび前記選択されたイメージを登録した商品提供者ではない他の商品提供者の商品アイテムのイメージを分析および比較し、前記選択されたイメージで人物に適用されたイメージと関連する他の商品提供者の商品アイテムを識別することを特徴とする、請求項１４に記載のコンピュータ装置。

【請求項18】

前記少なくとも１つのプロセッサにより、
商品提供者によって登録される商品アイテムの商品イメージそれぞれにタグを設定および格納し、
前記入力された検索語が含む調和キーワードとタグとの比較によって前記調和キーワードに対応する商品イメージを抽出することを特徴とする、請求項１１〜１７のうちのいずれか一項に記載のコンピュータ装置。

【請求項19】

前記少なくとも１つのプロセッサにより、
前記定義された複数の調和キーワードに対応するように分類された複数のタグ学習イメージに基づいて第２ディープラーニングモデルが入力されたイメージのタグを出力するように学習させ、
前記学習された第２ディープラーニングモデルに基づいて前記登録される商品イメージそれぞれに対するタグを決定し、
前記決定されたタグを対応する商品イメージに対して設定および格納すること
を特徴とする、請求項１８に記載のコンピュータ装置。

【発明の詳細な説明】

【技術分野】

【0001】

以下の説明は、イメージ内の複数の客体の調和を基盤とした調和検索方法およびシステムに関し、より詳細には、人物に適用可能なアイテムのための客体間の調和（ｃｏｏｒｄｉｎａｔｉｏｎ）を示す抽象的な表現を含む調和キーワードを定義し、このような抽象的な表現を含むキーワードを利用することにより、検索者が意図する調和に対応するイメージを検索して提供することが可能な調和検索方法および前記調和検索方法を実行するコンピュータ装置、コンピュータと結合して前記調和検索方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラムとその記録媒体に関する。

【背景技術】

【0002】

オンラインを利用したインターネット上の各種ポータルサイトや、法人または個人のウェブサイトには、広告などのような多様な情報データを掲載して広報することのできる多様な方式の情報提供ウィンドウが提供されている。

【0003】

インターネットで提供される情報データは、ＴＶや新聞、ラジオなどの媒体と同じように、機能や効果的な側面において巨大な収益マーケットを形成している。さらに、ポータルサイトや各種情報を提供するウェブサイトなどは、情報データから得られる収入が高い比重を占めているという実情がある。

【0004】

インターネットのウェブサイトに掲載される情報データは、バナーや動画形態、またはユーザが視聴覚的に認識することのできる多様な形態で提供される。このような情報データは、ウェブサイトのメインページやサブページで指定された情報提供ウィンドウに単に掲載される広報や、検索語やキーワードに対する情報データとしての検索関連商品などに分けられる。

【0005】

情報データを提供する技術の一例として、特許文献１「インターネットを利用したウェブサイト広告連動方法」には、広告主が希望する広告を掲載するために、あるウェブサイトと広告契約を結んだ後、広告の連動に提携している複数のウェブサイトを選択することにより、希望する広告を希望するウェブサイトに同時に連動させる技術が開示されている。

【0006】

このような情報データを提供する従来技術では、検索者の意図を判定し、判定された検索者の意図に適合した情報データを提供するために多様な方式を利用して検索者に検索結果を提供する。例えば、「レディースジーンズ」というキーワードに対する検索結果として、「レディースジーンズ」と関連のある多様な情報データ（一例として、レディースジーンズを販売するインターネットサイトに関する情報、レディースジーンズ商品に関するイメージ情報など）を提供する。

【0007】

一方、検索者が入力するキーワードは、一例として「スクールック」や「２０代レディースコーデ」のような抽象的な表現を含むこともある。また、このような抽象的な表現は、１つのアイテムに関する情報だけでなく、むしろ、人物に適用可能な多数のアイテムまたは客体の調和に対する検索者の意図（または好み）を含むこともある。例えば、上述したキーワード「２０代レディースコーデ」は、「レディースジーンズ」のような個別のアイテムに関する情報だけでなく、２０代の女性が着用および／または適用することのできる多様な衣類、バック、アクセサリ、ヘアスタイル、メイクなどのような多数のアイテム、さらには多数のアイテムと該当の２０代レディースとの調和に関する情報を要求するかもしれない。他の例として、上述したキーワード「スクールック」も、個別のアイテムに関する情報よりは、モデルが着用および／または適用することのできる多様な衣類、バック、アクセサリ、ヘアスタイル、メイクなどのような多数のアイテム、さらには多数のアイテムと該当のモデルとの調和に関する情報を要求するかもしれない。この場合、「２０代レディースコーデ」に関する情報データを提供するにあたり、単なる「レディースジーンズ」商品のイメージや「レディースジーンズ」を着用したモデルの下半身イメージの表示、または「レディースジーンズ」を着用したマネキンイメージの表示は、検索者の意図を十分に反映できないかもしれないという問題が懸念される。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】韓国公開特許公報第１０−２０１０−０００４３１２号

【発明の概要】

【発明が解決しようとする課題】

【0009】

人物に適用可能なアイテムのための客体間の調和を示す抽象的な表現を含む調和キーワードを定義し、このような抽象的な表現を含むキーワードを利用することにより、検索者が意図する調和に対応するイメージを検索して提供することのできる調和検索方法および前記調和検索方法を実行するコンピュータ装置、コンピュータと結合して前記調和検索方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラムとその記録媒体を提供する。

【課題を解決するための手段】

【0010】

人物に適用可能なアイテムのための複数の客体間の調和を示す抽象的な表現を含む複数の調和キーワードを定義する段階、イメージ内で人物が表現された程度に応じて予め定義された点数別に分類された調和学習イメージに基づいてディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）モデルが入力されたイメージの点数を算出するように学習させる段階、入力された検索語に対応する検索結果を抽出する段階、前記入力された検索語が調和キーワードを含む場合、前記抽出された検索結果と連係するイメージのうちで人物に適用可能なアイテムの販売と関連するイメージを識別する段階、前記学習されたディープラーニングモデルに基づいて前記識別されたイメージそれぞれの点数を算出する段階、前記算出された点数に基づいて前記識別されたイメージのうちから少なくとも１つのイメージを抽出する段階、および前記抽出された検索結果のうちの少なくとも一部と前記抽出された少なくとも１つのイメージを含む検索結果ページを提供する段階を含むことを特徴とする、調和検索方法を提供する。

【0011】

コンピュータと結合して前記調和検索方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納された、コンピュータプログラムを提供する。

【0012】

前記調和検索方法をコンピュータに実行させるためのプログラムが記録されていることを特徴とする、コンピュータで読み取り可能な記録媒体を提供する。

【0013】

コンピュータ装置であって、コンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサにより、人物に適用可能なアイテムのための複数の客体間の調和を示す抽象的な表現を含む複数の調和キーワードを定義し、イメージ内で人物が表現された程度に応じて予め定義された点数別に分類された調和学習イメージに基づいてディープラーニングモデルが入力されたイメージの点数を算出するように学習させ、入力された検索語に対応する検索結果を抽出し、前記入力された検索語が調和キーワードを含む場合、前記抽出された検索結果と連係するイメージのうちで人物に適用可能なアイテムの販売と関連するイメージを識別し、前記学習されたディープラーニングモデルに基づいて前記識別されたイメージそれぞれの点数を算出し、前記算出された点数に基づいて前記識別されたイメージのうちから少なくとも１つのイメージを抽出し、前記抽出された検索結果のうちの少なくとも一部と前記抽出された少なくとも１つのイメージを含む検索結果ページを提供することを特徴とする、コンピュータ装置を提供する。

【発明の効果】

【0014】

人物に適用可能なアイテムのための客体間の調和を示す抽象的な表現を含む調和キーワードを定義し、このような抽象的な表現を含むキーワードを利用することにより、検索者が意図する調和に対応するイメージを検索して提供することができる。

【0015】

検索者が意図する調和に対応する調和イメージに含まれた複数の客体のうちの少なくとも一部の個別の客体に関する情報をさらに提供することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の一実施形態における、ネットワーク環境の例を示した図である。

【図2】本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。

【図3】本発明の一実施形態における、調和検索方法の実行のために適用可能な過程の例を示した図である。

【図4】本発明の一実施形態における、ディープラーニングモデルの学習のための点数別のイメージ定義の例を示した図である。

【図5】従来技術における、キーワード「コートコーデ」に対応する検索結果ページの一部を示した図である。

【図6】本発明の一実施形態における、キーワード「コートコーデ」に対応する検索結果の一部を示した図である。

【図7】本発明の一実施形態における、調和イメージに含まれた個別アイテムに関する情報を抽出する例を示した図である。

【図8】本発明の一実施形態における、特定の調和イメージに対して同一販売者の関連商品に対する検索結果および他の販売者の類似商品に対する検索結果を提供する例を示した図である。

【図9】本発明の一実施形態における、コーデビューの例を示した図である。

【図10】本発明の一実施形態における、検索結果の提供および検索結果でコーデビューアを提供する過程の例を示した図である。

【図11】本発明の一実施形態における、調和検索方法の例を示したフローチャートである。

【図12】本発明の一実施形態における、検索者によって選択された調和イメージに対するビューア機能を提供する例を示した図である。

【図13】本発明の一実施形態における、ＣＮＮベースのイメージ特性分類過程の例を示した図である。

【発明を実施するための形態】

【0017】

以下、実施形態について、添付の図面を参照しながら詳しく説明する。

【0018】

本発明の実施形態に係る調和検索方法は、以下で説明される電子機器やサーバのようなコンピュータ装置によって実現されてよい。このとき、コンピュータ装置には、本発明の一実施形態に係るコンピュータプログラムがインストールおよび駆動されてよく、コンピュータ装置は、駆動するコンピュータプログラムの制御にしたがって本発明の実施形態に係る調和検索方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置と結合して調和検索方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されてよい。

【0019】

図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。また、図１のネットワーク環境は、本実施形態に適用可能な環境のうちの１つの例を説明したものに過ぎず、本実施形態に適用可能な環境が図１のネットワーク環境に限定されることはない。

【0020】

複数の電子機器１１０、１２０、１３０、１４０は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型パンコン、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットなどがある。一例として、図１では、電子機器１（１１０）の例としてスマートフォンの形状を示しているが、本発明の実施形態において、電子機器１（１１０）は、実質的に無線または有線通信方式を利用してネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータ装置のうちの１つを意味してよい。

【0021】

実施形態において通信方式は限定されず、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を活用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター−バスネットワーク、ツリーまたは階層的（ｈｉｅｒａｒｃｈｉｃａｌ）ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。

【0022】

サーバ１５０、１６０それぞれは、電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供するコンピュータ装置または複数のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続する複数の電子機器１１０、１２０、１３０、１４０にサービス（一例として、ソーシャルネットワークサービス、メッセージングサービス、検索サービス、メールサービス、コンテンツ提供サービスなど）を提供するシステムであってよい。

【0023】

図２は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。上述した複数の電子機器１１０、１２０、１３０、１４０それぞれやサーバ１５０、１６０それぞれは、図２に示されたコンピュータ装置２００によって実現されてよく、一実施形態に係る調和検索方法は、このようなコンピュータ装置２００によって実現される調和検索システムによって実行されてよい。

【0024】

このようなコンピュータ装置２００は、図２に示すように、メモリ２１０、プロセッサ２１０、通信インタフェース２３０、および入力／出力インタフェース２４０を含んでよい。メモリ２１０は、コンピュータで読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永久大容量記憶装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含んでよい。ここで、ＲＯＭとディスクドライブのような永久大容量記憶装置は、メモリ２１０とは区分される別の永久記憶装置としてコンピュータ装置２００に含まれてもよい。また、メモリ２１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが格納されてよい。このようなソフトウェア構成要素は、メモリ２１０とは別のコンピュータで読み取り可能な記録媒体からメモリ２１０にロードされてよい。このような別のコンピュータで読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ−ＲＯＭドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータで読み取り可能な記録媒体ではない通信インタフェース２３０を通じてメモリ２１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク１７０を介して受信されるファイルによってインストールされるプログラムに基づいてコンピュータ装置２００のメモリ２１０にロードされてよい。

【0025】

プロセッサ２２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１０または通信インタフェース２３０によって、プロセッサ２２０提供されてよい。例えば、プロセッサ２２０は、メモリ２１０のような記録装置に格納されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

【0026】

通信インタフェース２３０は、ネットワーク１７０を介してコンピュータ装置２００が他の装置（一例として、上述した記録装置）と互いに通信するための機能を提供してよい。一例として、コンピュータ装置２００のプロセッサ２２０がメモリ２１０のような記録装置に格納されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース２３０の制御にしたがってネットワーク１７０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク１７０を経てコンピュータ装置２００の通信インタフェース２３０を通じてコンピュータ装置２００に受信されてもよい。通信インタフェース２３０を通じて受信した信号や命令、データなどは、プロセッサ２２０やメモリ２１０に伝達されてよく、ファイルなどは、コンピュータ装置２００がさらに含むことのできる格納媒体（上述した永久記憶装置）に格納されてよい。

【0027】

入力／出力インタフェース２４０は、入力／出力装置２５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイクやキーボード、またはマウスなどの装置を、出力装置は、ディスプレイやスピーカのような装置を含んでよい。他の例として、入力／出力インタフェース２４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２５０は、コンピュータ装置２００と１つの装置で構成されてもよい。

【0028】

また、他の実施形態において、コンピュータ装置２００は、図２の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータ装置２００は、上述した入力／出力装置２５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバやデータベースなどのような他の構成要素をさらに含んでもよい。

【0029】

図３は、本発明の一実施形態における、調和検索方法の実行のために適用可能な過程の例を示した図である。図３に示すように、本実施形態に係る調和検索方法は、調和イメージの判定および抽出過程３１０、イメージ内の調和商品の抽出過程３２０、類似商品の推薦過程３３０、および感性調和タグの付着過程３４０を含んでよい。このような過程は、上述したコンピュータ装置２００によって実現および実行されてよい。

【0030】

調和イメージの判定および抽出過程３１０は、ディープラーニングモデルを学習させる第１過程と、学習させたディープラーニングモデルを利用して入力されたイメージの点数を算出する第２過程を含んでよい。

【0031】

先ず、第１過程において、ディープラーニングモデルの学習には、人物に適用可能なアイテムのための客体間の調和を示す抽象的な表現を含む調和キーワード、そしてこのような調和キーワードに適合するイメージと要素、および／または調和キーワードに適合しないイメージと要素が活用されてよい。例えば、表１は、「〜コーデ（ｃｏｏｒｄｉ）」、「〜ファッション（ｆａｓｈｉｏｎ）」、「〜ルック（ｌｏｏｋ）」のように、人物と人物に着用および／または適用されることのできる衣類、バック、アクセサリ、ヘアスタイル、メイクなどのような多数のアイテムとの調和を示す抽象的な表現を含む調和キーワードを予め定義した例を示している。

【0032】

【表1】

【0033】

このような表１の調和キーワードは１つの例に過ぎず、調和キーワードは多様に拡張されて活用されてもよい。例えば、入力されたキーワード「コートコーデ」に対し、「メンズコートコーデ」と「レディースコートコーデ」の両方が対応されてもよい。他の例として、入力されたキーワード「ニットコーデ」に対し、「メンズニットコーデ」と「レディースニットコーデ」の両方が対応されてもよい。

【0034】

また、第１過程では、個別のイメージに点数を付与するための条件が予め定義されてよく、予め定義された条件に基づいて予め分類された学習イメージが学習データとして生成されてよい。

【0035】

例えば、図４は、本発明の一実施形態における、ディープラーニングモデルの学習のための点数別のイメージ定義の例を示している。より具体的に、図４は、検索者の意図に適合した調和イメージを提供するためのコーデビューを提供するために、調和イメージに付与することが可能な点数を６点から１点まで設定し、それぞれの点数を付与するための条件（一例として、身体表示の程度および／または全身イメージの程度）に適したイメージの例を示している。また、図４は、３点以上（３点から６点まで）が付与されたイメージがコーデビューに表示されることが可能であると説明している。コーデビューについては、以下でさらに詳しく説明する。

【0036】

また、学習イメージには、コーデビューへの活用に適切でないイメージと要素がさらに活用されることもある。例えば、コーデビューでは、テキストが挿入されているイメージやマネキンイメージ、ハンガーにかかっている衣類イメージや人物（一例として、モデル）と商品アイテムがイメージの主な要素ではないイメージ、人物と商品アイテムを明確に識別するのが困難なイメージ（一例として、コントラストが予め設定された値以下のイメージ）のようなイメージが、適切でないイメージと要素を学習するために使用されてよい。

【0037】

このようなディープラーニングモデルとしては、一例として、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のようなディープラーニングアルゴリズムが活用されてよい。ＣＮＮは、データから自動で特徴を学習する代表的アルゴリズムであって、主にイメージ認識に使用される。第１過程では、一例として、ＣＮＮに、予め点数が付与された学習イメージと、対応する点数を入力し、ＣＮＮが学習イメージの特徴と点数を互いに関連させることができるように学習させてよい。

【0038】

上述した第２過程では、学習されたディープラーニングモデル（一例として、上述したＣＮＮ）に点数を付与しようとするイメージを入力することにより、ディープラーニングモデルが入力されたイメージの点数を算出するようにしてよい。このとき、第２過程では、算出された点数と入力されたイメージを連係することにより、入力されたイメージがコーデビューに表示可能なイメージなのかを判定および抽出することが可能となる。

【0039】

検索者が入力する検索語に対応して提供可能な検索結果は、相当に多数のイメージを含むようになる。本実施形態では、上述したように、ディープラーニングモデルを活用して検索結果と関連して抽出されるイメージそれぞれの点数を抽出することにより、コーデビューに表示可能なイメージを迅速に判定および抽出することができ、点数に応じて整列することができる。

【0040】

点数やモデルは上記の例に限定されず、様々な実施形態が通常の技術者に容易に理解されるであろう。例えば、付与するための点数の段階は、実施形態によっては、条件別に多様な段階に調節することが可能であってもよい（一例として、１０種類の条件に応じて１〜１０点が付与されてもよい）。ディープラーニングモデルについても、イメージを分析／分類することが可能なモデルであれば、ＣＮＮに限定されることなく、多様なモデルのうちの何れかが活用されてよい。

【0041】

図５は、従来技術における、キーワード「コートコーデ」に対応する検索結果ページの一部を示した図であり、図６は、本発明の一実施形態における、キーワード「コートコーデ」に対応する検索結果の一部を示した図である。

【0042】

図５の検索結果５１０は、キーワード「コートコーデ」に対して適切でないイメージが表示された例を示している。例えば、図５の第１イメージ５２０は、図４で説明した条件によると１点に対応するイメージであり、第２イメージ５３０は、個別のアイテムを表示しただけのイメージであり、第３イメージ５４０は、図４で説明した条件によると１点に対応するイメージである。このようなイメージ５２０〜５４０はすべて、「コートコーデ」のように人物と人物が着用する商品アイテムとの調和のための検索者の意図には適合しないイメージである。３点以上に対応するイメージが検索結果に含まれることもあるが、これは該当のイメージが偶然に含まれただけであって、システムの判定に基づいて抽出されたものではない。

【0043】

これに対して、図６の検索結果６１０は、キーワード「コートコーデ」に対して適切なイメージが表示された例を示している。例えば、図６のイメージ６２０〜６５０はすべて、図４で説明した条件によると、コーデビューに表示可能な点数である３点以上の点数が付与されたイメージである。キーワード「コートコーデ」に対する検索結果が６点のイメージを多数含む場合には、本実施形態に係るシステムは、キーワード「〜コーデ」に適合する６点から全身イメージだけを抽出して表示してもよい。

【0044】

このように、本実施形態では、検索者の検索語によって抽出された検索結果のイメージそれぞれに対してディープラーニングモデルに基づいて点数を付与し、点数に応じてイメージを選択および／または整列して提供することができる。これは、本実施形態のイメージ判定および抽出が、検索語に基づいた検索の過程だけに限定されるのではなく、調和キーワードを含む検索語に基づいて抽出されたイメージから調和キーワードにより一層適合するイメージを選別する過程であることを意味する。したがって、本実施形態によると、人物に適用可能なアイテムのための複数の客体間の調和を示す抽象的な表現を含む調和キーワードに対し、検索者の意図により一層適合したイメージを判定および抽出して提供することが可能となる。

【0045】

再び図３を参照すると、イメージ内の調和商品の抽出過程３２０は、イメージ内の多様な商品アイテムを抽出する過程を含んでよい。例えば、表１に示されたキーワード「２０代結婚式ルック」が含まれた検索語を入力した検索者は、「２０代結婚式ルック」に関するイメージを見たいという意図だけでなく、希望する調和イメージに含まれたアイテム（一例として、衣類、バック、アクセサリなど）を購買したい意図も含んでいるかもしれない。このために、本実施形態では、一例として、従来技術に係る図５の第２イメージ５３０のように検索語に対する個別アイテムを提供するのではなく、人物と人物に適用された商品アイテムとの調和による調和イメージを提供し、調和イメージに含まれた商品アイテムそれぞれに対する検索結果を調和イメージと共に提供してよい。

【0046】

これにより、本実施形態では、検索者が調和イメージに含まれた個別の商品アイテムに対しても容易にアクセスして購買が成立するような機能および／またはサービスを提供することができる。言い換えれば、本実施形態に係る機能および／またはサービスは、検索者の意図に適合する調和イメージで該当の好みの調和と連係する個別の商品アイテムを提供するものであって、このような機能および／またはサービスが、単に特定の個別アイテムに関する情報を提供したり、特定の商品提供者の商品アイテムに関する情報を提供したり、互いに類似する商品アイテムに関する情報を提供したりすることが可能であり、また、単に特定のイメージに含まれた商品アイテムに関する情報を提供する機能やサービスとは差別化されるものであるということは、通常の技術者であれば容易に理解することができるであろう。

【0047】

また、類似調和商品の推薦過程３３０は、イメージ内の多様な商品アイテムと類似の商品アイテムを検索し、検索された商品アイテムに関する情報を提供する過程を含んでよい。一例として、類似の商品アイテムは、調和イメージを登録した商品提供者ではなく、他の商品提供者の商品アイテムの中から検索されてよい。

【0048】

図７は、本発明の一実施形態における、調和イメージに含まれた個別アイテムに関する情報を抽出する例を示した図である。一般的に、調和イメージは、特定の商品提供者によって登録されたイメージである。例えば、検索者が選択した調和イメージＡが商品提供者Ｂによって登録されたイメージであるとする。この場合、コンピュータ装置２００は、イメージ内の調和商品の抽出過程３２０において、調和イメージＡに含まれた商品提供者Ｂの商品アイテムを識別してよく、識別された商品提供者Ｂの商品アイテムに関する情報（または検索結果）を検索者に提供してよい。また、これとは別に、商品提供者Ｂではなく、他の商品提供者Ｃの商品アイテムのうち、調和イメージＡに含まれた商品アイテムと類似する商品アイテムに関する情報（または検索結果）を検索者にさらに提供してもよい。

【0049】

図８は、本発明の一実施形態における、特定の調和イメージに対し、同一販売者の関連商品に対する検索結果および他の販売者の類似商品に対する検索結果を提供する例を示した図である。図８は、図６で第１イメージ６２０が選択されることにより、選択された第１イメージ６２０と関連タグ（＃着痩せ、＃トレンド、＃女性らしい）とを共に表示した例８１０と、第１イメージ６２０に含まれた商品アイテムに関する情報（または検索結果）を表示した例８２０、および第１イメージ６２０に含まれた商品アイテムと類似する商品アイテムに関する情報（または検索結果）を表示した例８３０をそれぞれ示している。言い換えれば、図６および図８は、検索者の調和キーワードを含む検索語に対して個別の検索結果を表示するだけでなく、調和キーワードに適合する調和イメージの表示と、表示された調和イメージのうちの検索者によって選択された調和イメージに含まれる個別の商品アイテムに対する検索結果とを表示する段階的検索を行う様子を示している。また、このような段階的検索により、本実施形態は、検索者の意図に適合した「調和」と、選択された「調和」に含まれた商品アイテムに関する情報を提供することにより、検索者が希望する「調和」から、互いに連係する商品アイテムの集合に関する情報を提供することができるようになる。例えば、例８２０や例８３０に表示された情報は、検索者の検索語と連係する情報だけでなく、検索者が意図する「調和」と連係する情報であってよい。

【0050】

図９は、本発明の一実施形態における、コーデビューの例を示した図である。図９は、図８で説明した例８１０〜８３０を連結した１つのページをコーデビューとして提供するコーデビューアの例を示している。このようなコーデビューは、関連コーデキーワードを表示するための領域および／または同一販売者（対応する調和イメージを登録した商品提供者）が登録した他のイメージを表示するための領域をさらに含んでもよい。コーデビューが含む調和イメージや個別の商品アイテムに関する情報、類似の商品アイテムに関する情報、関連コーデキーワード、および同一販売者が登録した他のイメージそれぞれは、対応するページへのリンクを含んでよい。例えば、調和イメージは、調和イメージと共に登録された商品アイテムの販売ページへのリンクを含んでよい。他の例として、個別の商品アイテムに関する情報は、対応する個別の商品アイテムの販売ページへのリンクを含んでよい。また他の例として、類似商品アイテムに関する情報は、他の販売者の商品販売ページへのリンクを含んでよい。さらに他の例として、関連コーデキーワードは、該当のキーワードを検索語としたときの検索結果を提供するためのページへのリンクを含んでよい。

【0051】

再び図３を参照すると、感性調和タグの付着過程３４０は、調和キーワードを含む検索語に対する検索結果を抽出するための前処理過程であってよい。このようなイメージに対する調和タグは、商品提供者によって手動で設定されてもよいし、コンピュータ装置２００によって自動で設定されてもよい。このために、コンピュータ装置２００は、上述したディープラーニングモデルとは異なる用途として学習される第２ディープラーニングモデルを含んでよい。例えば、コンピュータ装置２００は、定義された複数の調和キーワードに対応するように予め分類されたタグ学習イメージに基づいて第２ディープラーニングモデルが入力されたイメージのタグを抽出するように第２ディープラーニングモデルを学習させてよい。この後、コンピュータ装置２００は、商品提供者によって登録された商品イメージそれぞれを学習された第２ディープラーニングモデルに入力し、入力されたイメージに対応する調和タグを取得してよい。コンピュータ装置２００は、決定されたタグを、対応する商品イメージに対して設定および格納してよい。この場合、コンピュータ装置２００は、上述したイメージのうちから、調和商品の抽出過程３２０で入力された調和キーワードとタグ（イメージに対して設定された調和タグ）とを比較することにより、調和キーワードに対応する商品イメージを抽出することが可能となる。

【0052】

図１０は、本発明の一実施形態における、検索結果の提供および検索結果でコーデビューアを提供する過程の例を示した図である。図１０の第１ページ１０１０は、統合検索によって調和キーワードとして定義された「デートルック」が入力された場合、検索結果に対する多様なカテゴリのうちの１つ（図１０の例では、ショッピングカテゴリ）を利用して本来の検索結果の代わりに調和イメージが表示された例を示している。調和キーワードとして定義されたキーワードではなく他のキーワードが入力される場合、ショッピングカテゴリには、図５で説明した従来技術のように、個別の商品アイテムのための検索結果が表示されてよい。これと同じように、第２ページ１０２０は、ショッピング検索によって調和キーワードとして定義された「デートルック」が入力された場合、ショッピング検索結果の代わりに調和イメージが表示された例を示している。この場合にも、調和キーワードとして定義されたキーワードではなく他のキーワードが入力される場合、図５で説明した従来技術のように、個別の商品アイテムのための検索結果が表示されてよい。検索者が表示された調和イメージのうちから１つを選択する場合、検索者には、図９で説明したコーデビューアによってコーデビューが提供されてよい。

【0053】

図１１は、本発明の一実施形態における、調和検索方法の例を示したフローチャートである。本実施形態に係る調和検索方法は、上述したコンピュータ装置２００によって実行されてよい。例えば、コンピュータ装置２００のプロセッサ２２０は、メモリ２１０が含むオペレーティングシステムのコードや、少なくとも１つのプログラムのコードによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ２２０は、コンピュータ装置２００に格納されたコードが提供する制御命令にしたがってコンピュータ装置２００が図１１の方法が含む段階１１１０〜１１７０を実行するように、コンピュータ装置２００を制御してよい。

【0054】

段階１１１０で、コンピュータ装置２００は、人物に適用可能なアイテムのための複数の客体間の調和を示す抽象的な表現を含む複数の調和キーワードを定義してよい。例えば、表１では、ファッションに関する抽象的な表現（一例として、「〜コーデ」、「〜ファッション」、「〜ルック」）を含む調和キーワードが定義された例について説明した。例えば、コンピュータ装置２００は、調和キーワードを入力するためのユーザインタフェースを管理者に提供してよく、管理者から入力されたキーワードを調和キーワードとして設定および格納することによって複数の調和キーワードを定義してよい。

【0055】

段階１１２０で、コンピュータ装置２００は、イメージ内で人物が表現された程度に応じて予め定義された点数別に分類された調和学習イメージに基づいてディープラーニングモデルが入力されたイメージの点数を算出するように学習させてよい。例えば、図４では、イメージ内で人物が表現された程度に応じて条件別に１点から６点までの点数を付与する例について説明した。例えば、ディープラーニングモデルには、点数と条件による学習イメージが入力されてよく、ディープラーニングモデルは、イメージの特徴を分析および抽出して対応する点数および条件と連係させることによって点数および条件によるイメージの特徴を分類してよい。

【0056】

段階１１３０で、コンピュータ装置２００は、入力された検索語に対応する検索結果を抽出してよい。例えば、コンピュータ装置２００は、検索語を利用して検索結果を抽出するための多様な検索方法のうちの少なくとも１つ以上を利用することによって入力された検索語に対応する検索結果を抽出してよい。

【0057】

段階１１４０で、コンピュータ装置２００は、調和キーワードを利用した検索が要請される場合、抽出された検索結果と連係するイメージのうちで人物に適用可能なアイテムの販売と関連するイメージを識別してよい。例えば、コンピュータ装置２００は、商品提供者によって登録される商品アイテムの商品イメージそれぞれにタグを設定して格納してよい。このとき、コンピュータ装置２００は、検索の要請と関連する調和キーワードとタグとを比較することにより、調和キーワードに対応する商品イメージを人物に適用可能なアイテムの販売と関連するイメージとして抽出してよい。例えば、調和キーワードを利用した検索の要請は、検索者が調和キーワードを含む検索語を入力して検索を要請すること、あるいは検索者がページ上に表示された調和キーワードを選択して検索を要請することを含んでよい。

【0058】

商品イメージにタグを設定することは、上述したように、商品提供者によって手動で行われてもよいが、コンピュータ装置２００によって自動で行われてもよい。例えば、コンピュータ装置２００は、段階１１１０で定義された複数の調和キーワードに対応するように分類された複数のタグ学習イメージを利用し、段階１１２０で学習されたディープラーニングモデルとは異なる第２ディープラーニングモデルを学習させてよい。この場合、コンピュータ装置２００は、第２ディープラーニングモデルが入力されたイメージのタグを出力するように学習させてよい。また、コンピュータ装置２００は、学習された第２ディープラーニングモデルに登録される商品イメージそれぞれのタグを決定してよい。上述したように、第２ディープラーニングモデルは、タグ学習イメージを分析して抽出した特徴を対応する調和キーワードと連係させてよく、入力される商品イメージの特徴を抽出して商品イメージを特定の調和キーワードとして分類してよい。この場合、商品イメージが分類された調和キーワードが、該当の商品イメージのタグとして追加されてよい。商品提供者が登録された商品イメージにタグを設定した場合にも、コンピュータ装置２００が第２ディープラーニングモデルを利用して追加のタグを商品イメージにさらに設定してもよい。コンピュータ装置２００は、第２ディープラーニングモデルによって決定されたタグを、対応する商品イメージに対して設定および格納してよい。このような商品イメージに対して設定されたタグを利用することにより、コンピュータ装置２００は、段階１１４０で抽出された検索結果と連係するイメージのうちで人物に適用可能なアイテムの販売と関連するイメージを識別することが可能となる。

【0059】

段階１１５０で、コンピュータ装置２００は、学習されたディープラーニングモデルによって識別されたイメージそれぞれの点数を算出してよい。段階１１２０を参照しながら上述したように、ディープラーニングモデルは、入力されるイメージの点数を算出するように学習され、コンピュータ装置２００は、識別されたイメージそれぞれを順に学習されたディープラーニングモデルに入力することで識別されたイメージそれぞれの点数を算出してよい。

【0060】

段階１１６０で、コンピュータ装置２００は、算出された点数に基づき、識別されたイメージのうちから少なくとも１つのイメージを抽出してよい。少なくとも１つのイメージを抽出する方式は、多様な実施形態を含んでよい。一実施形態として、コンピュータ装置２００は、予め設定された点数以上のイメージだけを抽出してよい。他の実施形態として、コンピュータ装置２００は、算出された点数に基づいて識別されたイメージを整列した後、上位から予め設定された個数のイメージを抽出してもよい。

【0061】

段階１１７０で、コンピュータ装置２００は、抽出された検索結果のうちの少なくとも一部と抽出された少なくとも１つのイメージを含む検索結果ページを生成および提供してよい。

【0062】

一実施形態として、コンピュータ装置２００は、商品販売関連の検索結果を表示するための商品関連領域を含むように検索結果ページを生成するが、抽出された検索結果のうちの商品関連領域に対応する検索結果の代わりに、抽出された少なくとも１つのイメージを商品関連領域に表示するように検索結果ページを生成してよい。一例として、図１０では、調和キーワードを含む検索に対し、検索結果ページのショッピングカテゴリとして、キーワード検索結果ではなく、抽出された調和イメージを表示した例について説明した。

【0063】

他の実施形態として、コンピュータ装置２００は、入力された検索語が含む調和キーワードと関連する調和検索結果を表示するための領域を別に含み、別の領域に抽出された少なくとも１つのイメージを表示するように検索結果ページを生成してもよい。例えば、調和検索の結果として抽出されたイメージを表示するための別のカテゴリが検索結果ページに含まれてよい。

【0064】

また他の実施形態として、抽出された少なくとも１つのイメージを商品関連領域とは別の領域すべてに表示してもよい。一例として、抽出された少なくとも１つのイメージが商品関連領域とは別の領域すべてに重複的に表示されてよい。他の例として、抽出されたイメージのうちの一部は商品関連領域に表示し、残りは別の領域に表示してもよい。

【0065】

図１２は、本発明の一実施形態における、検索者によって選択された調和イメージに対するビューア機能を提供する例を示した図である。図１２の段階１２１０および１２２０は、図１１を参照しながら説明した段階１１７０以後に選択的に実行されてよい。

【0066】

段階１２１０で、コンピュータ装置２００は、検索結果ページで抽出された少なくとも１つのイメージが選択される場合、選択されたイメージで人物に適用されたアイテムを識別してよい。

【0067】

一実施形態として、コンピュータ装置２００は、調和イメージおよび調和イメージに含まれた商品アイテムに関する情報を関連付けて商品提供者から登録されてよい。例えば、コンピュータ装置２００は、商品提供者から特定の調和と関連する代表イメージ（および／またはサブイメージ）が登録され、登録された代表イメージ（および／またはサブイメージ）に含まれた商品アイテムに関する情報を、登録された代表イメージ（および／またはサブイメージ）と関連付けて登録するためのページを商品提供者に提供してよい。コンピュータ装置２００は、代表イメージ（および／またはサブイメージ）が検索結果ページにおいて調和イメージとして表示されて検索者によって選択された場合、代表イメージ（および／またはサブイメージ）と関連付いて登録された商品アイテムを、選択されたイメージで人物に適用されたアイテムとして識別してよい。

【0068】

他の実施形態として、コンピュータ装置２００は、選択されたイメージおよび選択されたイメージを登録した商品提供者の商品アイテムのイメージを分析および比較し、選択されたイメージで人物に適用された商品提供者の商品アイテムを識別してよい。例えば、コンピュータ装置２００は、検索結果ページで選択されたイメージＡと、イメージＡを登録した商品提供者Ｂの商品である商品アイテムＣの商品イメージＤとを比較してよい。このとき、イメージ分析の結果に基づき、イメージＡで人物に適用されたアイテムと商品イメージＤに示された商品アイテムＣが同じアイテムであると分析された場合、コンピュータ装置２００は、商品アイテムＣをイメージＡで人物に適用された商品提供者の商品アイテムとして識別してよい。

【0069】

このように、コンピュータ装置２００は、選択されたイメージを登録した商品提供者の商品アイテムを識別することができる。例えば、コンピュータ装置２００は、選択されたイメージおよび選択されたイメージを登録した商品提供者の商品アイテムのイメージを分析および比較することにより、選択されたイメージで人物に適用された商品提供者の商品アイテムを識別してよい。他の実施形態として、コンピュータ装置２００は、選択されたイメージを登録した商品提供者ではない他の商品提供者の商品アイテムだけを識別してもよい。例えば、コンピュータ装置２００は、選択されたイメージおよび選択されたイメージを登録した商品提供者ではない他の商品提供者の商品アイテムのイメージを分析および比較することにより、選択されたイメージで人物に適用されたイメージと関連する他の商品提供者の商品アイテムを識別してよい。また他の実施形態として、コンピュータ装置は、同一商品提供者の商品アイテムと他の商品提供者の商品アイテムである２種類の商品アイテムをそれぞれ識別してもよい。図７〜図９は、このような２種類の商品アイテムをそれぞれ識別した例を示している。

【0070】

段階１２２０で、コンピュータ装置２００は、選択されたイメージと識別されたアイテムに関する情報を含んで構成されたページに対するビューア機能を提供してよい。例えば、図９をでは、選択されたイメージと識別されたアイテムに関する情報を含んで構成されたページを提供するコーデビューアの例について説明した。

【0071】

イメージからアイテムを識別する技術についても、ＣＮＮのようなディープラーニングモデルを利用してよい。例えば、コンピュータ装置２００は、ＣＮＮベースの客体検出アルゴリズムに基づいてイメージ内のローカリゼーションを処理してよい。このために、ＣＮＮベースの客体検出アルゴリズムは、特定の主題（例えば、ファッションなど）に適合するファイン−チューニング（ｆｉｎｅ−ｔｕｎｉｎｇ）方式に基づいてＣＮＮを学習させてよく、Ｒ−ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）ベースの分類モデルを利用してイメージから特定の主題のアイテムに適合する客体を探し出してよい。客体検出のための事前訓練モデル（Ｐｒｅ−ｔｒａｉｎｅｄ Ｍｏｄｅｌ）は、イメージと関連するデータセットによって学習させたＣＮＮ学習モデルを適用するが、ＣＮＮ学習モデルをファッションにさらに適合したファイン−チューニングのための分類モデルを再生成して適用してよい。ここで、ローカリゼーションは、イメージ内から探し出そうとするファッションアイテムに該当する客体に関する位置と予め定義されたラベルを検索する過程を意味してよい。コンピュータ装置２００は、ローカリゼーションのためにＣＮＮベースの客体検出アルゴリズムを適用するが、これはＣＮＮ内部で候補ＲＯＩを内在して計算するため、より迅速にローカリゼーションを実行することが可能となる。

【0072】

客体に対する分類性能を向上させるために、ファッションアイテムにさらに適合するように事前訓練モデルを再構成してよい。言い換えれば、ファイン−チューニングのために詳細なカテゴリを適用した事前訓練モデルを再生成することができ、既存の事前訓練モデルをファッションデータセットに基づいて再学習（ｒｅ−ｔｒａｉｎｉｎｇ）することができる。このとき、コンピュータ装置２００は、イメージに対するファッションカテゴリのデータセットを利用して学習させたＣＮＮベースの客体検出アルゴリズムを適用することにより、イメージに含まれたファッションアイテム（商品アイテム）に対するローカリゼーションと属性学習（ａｔｔｒｉｂｕｔｅ ｌｅａｒｎｉｎｇ）を実行してよい。

【0073】

例えば、コンピュータ装置２００は、イメージが入力された場合、ＣＮＮベースの客体検出アルゴリズムに基づいて入力されたイメージ内に存在するファッションアイテムの位置を探し出し、各位置に該当する客体属性を分類してよい。このとき、客体の位置とは、ローカリゼーションの結果を意味し、客体属性とは、客体の属性学習に対する結果であって、カラー、テクスチャ、カテゴリに対する結果を含んでよい。コンピュータ装置２００は、イメージから検出された客体に対する属性学習を利用して該当の客体の特徴を抽出してカテゴリを分類してよい。例えば、ファッションアイテムの特性属性、すなわち、カラー、テクスチャ、カテゴリを基盤としてモデリングされたＣＮＮを適用することにより、イメージから検出された客体の特徴を正確に抽出および分類することが可能となる。属性学習は、特定のファッションカテゴリに適合する多様な属性を定義して学習に適用したものである。カラーやテクスチャ、およびカテゴリ属性に対するデータセットを構成し、該当の属性の特性をもつデータを、ＣＮＮアルゴリズムを適用して学習させてよい。カラーとテクスチャ属性は、それぞれ１つずつ、カテゴリとは関係なく共通する学習モデルを生成してよい。ファッションアイテムに対する分類構造は階層的構造を有するが、これはカテゴリ属性側面から見るときに、ファッションカテゴリは共通の特性を共有する。例えば、ワンピースは、トップ（Ｔｏｐ）とスカート（Ｓｋｉｒｔｓ）の属性を両方持ち合わせた場合である。このように、ファッションカテゴリは、詳細カテゴリに分けるほど、互いに共通する特性を持ち合わせる場合が極めて多くなる。したがって、それぞれのカテゴリに対して区別される特性を格納するように設計する必要があり、階層的構造を有するように構成される必要がある。一例として、ローカリゼーションに応じた分類結果は上位レベルを意味してよく、カテゴリ属性は下位レベルを意味してよい。

【0074】

他の実施形態として、コンピュータ装置２００は、商品提供者によって登録されるイメージのうち、一定の点数以上の調和イメージに対してコーデビューのようなページを予め生成しておいてもよい。この場合、検索結果ページで特定の調和イメージが選択される場合、前記調和イメージと対応して生成されたページがコーデビューアによって検索者に提供されてよい。

【0075】

図１３は、本発明の一実施形態における、ＣＮＮベースのイメージ特性分類過程の例を示した図である。図１３を参照すると、コンピュータ装置２００は、イメージ１３００が入力されると、ローカリゼーションのためのＣＮＮモデル（上位レベル）１３１０と属性学習のためのＣＮＮモデル（下位レベル）１３２０を順に適用してよい。コンピュータ装置２００は、イメージ１３００内にファッションアイテムに該当する客体が存在する場合には、ＣＮＮモデル（上位レベル）１３１０によるローカリゼーション過程において上位概念のファッションラベルと位置（ＲＯＩ）を探し出してよい。この後、コンピュータ装置２００は、属性学習ＣＮＮモデル（下位レベル）１３２０内でイメージ１３００から検出された客体のラベルにマッチングするカテゴリ属性モデルと各カラー／テクスチャ属性モデルを適用するＣＮＮ過程を経た後、最終的に各客体のカラー／テクスチャ／カテゴリに対する３つの分類結果を取得してよい。属性学習ＣＮＮモデル（下位レベル）１３２０を適用した分類の中間過程、すなわち、ＣＮＮのソフト−マックスレイヤ（Ｓｏｆｔ−ｍａｘ Ｌａｙｅｒ）（ｃｌａｓｓｉｆｉｅｒ）の直ぐ前レイヤであるフル連結レイヤ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）から、最終分類結果と同じようにそれぞれ３つの特徴（カラー、テクスチャ、カテゴリ）を抽出してよい（Ｄｅｅｐ Ｆｅａｔｕｒｅ）。

【0076】

したがって、コンピュータ装置２００は、ファッションアイテムのデータセットが適用されたＣＮＮ学習モデルを適用することにより、イメージからファッションアイテムに該当する客体を探し出し、該当の客体の特徴を正確に抽出することが可能となる。コンピュータ装置２００は、このようにイメージから抽出された特徴に基づいて調和イメージに含まれた商品アイテムを識別することができる。例えば、イメージ間の比較によって商品アイテムを識別する実施形態の場合には、それぞれのイメージから抽出される特徴を互いに比較し、同一および／または類似に応じて商品アイテムを識別することができる。

【0077】

このように、本発明の実施形態によると、人物に適用可能なアイテムのための客体間の調和を示す抽象的な表現を含む調和キーワードを定義し、このような抽象的な表現を含むキーワードを利用することにより、検索者が意図する調和に対応するイメージを検索して提供することができる。また、検索者が意図する調和に対応する調和イメージに含まれた複数の客体のうちの少なくとも一部の個別客体に関する情報をさらに提供することができる。

【0078】

上述したシステムまたは装置は、ハードウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）および前記ＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

【0079】

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ格納媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータで読み取り可能な記録媒体に格納されてよい。

【0080】

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータで読み取り可能な媒体に記録されてよい。前記コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含んでよい。媒体は、コンピュータによって実行可能なプログラムを継続して格納するものであっても、実行またはダウンロードのために臨時で格納するものであってもよい。また、媒体は、単一または複数個のハードウェアが結合した形態の多様な記録手段または格納手段であってよいが、あるコンピュータシステムに直接接続する媒体に限定されてはならず、ネットワーク上に分散存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含んでプログラム命令語が格納されるように構成されたものであってよい。また、他の媒体の例として、アプリケーションを流通するアプリストアやその他の多様なソフトウェアを供給ないし流通するサイト、サーバなどで管理する記録媒体ないし格納媒体が挙げられてもよい。プログラム命令の例には、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを利用してコンピュータによって実行されることの可能な高級言語が含まれる。

【0081】

以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

【0082】

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

【符号の説明】

【0083】

１１０、１２０、１３０、１４０：電子機器
１５０、１６０：サーバ
１７０：ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】