特許 7211775 検索プログラム、サーバ装置、検索方法及び検索システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-16

(45)【発行日】2023-01-24

(54)【発明の名称】検索プログラム、サーバ装置、検索方法及び検索システム

(51)【国際特許分類】

   G06F 16/532 20190101AFI20230117BHJP

   G06Q 30/0601 20230101ALI20230117BHJP

【ＦＩ】

G06F16/532

G06Q30/06 300

【請求項の数】 9

(21)【出願番号】P 2018220243

(22)【出願日】2018-11-26

(65)【公開番号】P2020086914

(43)【公開日】2020-06-04

【審査請求日】2021-08-26

(73)【特許権者】

【識別番号】514053169

【氏名又は名称】株式会社メルカリ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】山口 拓真

【審査官】原 秀人

(56)【参考文献】

【文献】特開２０１６－１０３２３５（ＪＰ，Ａ）

【文献】特開２００９－２５１８５０（ＪＰ，Ａ）

【文献】特開２０１３－１８６５４６（ＪＰ，Ａ）

【文献】国際公開第２０１１／０２１６０５（ＷＯ，Ａ１）

【文献】特開２０１５－１０６３００（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｑ ３０／０６

(57)【特許請求の範囲】

【請求項1】

クエリ画像を入力する入力工程と、
前記クエリ画像内に検索対象と非検索対象とが含まれていた場合に、前記クエリ画像の特徴量から前記非検索対象部分の特徴量を取り除いた特徴量と複数の画像の特徴量とに基づいて、複数の画像の中から、該検索対象に類似する物品を含み、かつ、該非検索対象を含まない画像を検索する検索工程と
をコンピュータに実行させるための検索プログラム。

【請求項2】

前記検索工程は、
前記クエリ画像内に検索対象と該検索対象とともに撮影された人物とが含まれていた場合に、前記クエリ画像の特徴量から前記人物の特徴量を取り除いた特徴量と複数の画像の特徴量とに基づいて、前記複数の画像の中から、該検索対象に類似する物品を含み、かつ、人物を含まない画像を検索する、請求項１に記載の検索プログラム。

【請求項3】

前記検索工程は、
前記クエリ画像の特徴量に含まれる人物の特徴量よりも、前記クエリ画像の特徴量に含まれる検索対象の特徴量を重み付けして検索する、請求項２に記載の検索プログラム。

【請求項4】

前記検索工程は、
前記クエリ画像の特徴量を含む特徴ベクトルを、物品と該物品とともに撮影された人物とが含まれる画像の特徴量を含む特徴ベクトルで減算し、
減算した特徴ベクトルに含まれる負値の特徴量を非負化し、
前記負値の特徴量を非負化した特徴ベクトルを用いて、前記複数の画像それぞれの特徴量を含む各特徴ベクトルとの類似度を算出する、請求項２に記載の検索プログラム。

【請求項5】

物品と該物品とともに撮影された人物とが含まれる複数の画像それぞれの特徴量を含む各特徴ベクトルに基づいて、代表ベクトルを算出する算出工程を、コンピュータに実行させ、
前記検索工程は、
前記クエリ画像の特徴量を含む特徴ベクトルを、前記代表ベクトルで減算する、請求項４に記載の検索プログラム。

【請求項6】

前記算出工程は、
物品と該物品とともに撮影された人物とが含まれる複数の画像を、物品のカテゴリに応じて分類し、カテゴリごとに分類された複数の画像それぞれの特徴量を含む各特徴ベクトルに基づいて、カテゴリごとに代表ベクトル候補を算出し、
カテゴリごとに算出した代表ベクトル候補に基づいて、前記代表ベクトルを算出する、請求項５に記載の検索プログラム。

【請求項7】

クエリ画像を入力する入力部と、
前記クエリ画像内に検索対象と非検索対象とが含まれていた場合に、前記クエリ画像の特徴量から前記非検索対象部分の特徴量を取り除いた特徴量と複数の画像の特徴量とに基づいて、複数の画像の中から、該検索対象に類似する物品を含み、かつ、該非検索対象を含まない画像を検索する検索部と
を有するサーバ装置。

【請求項8】

クエリ画像を入力する入力工程と、
前記クエリ画像内に検索対象と非検索対象とが含まれていた場合に、前記クエリ画像の特徴量から前記非検索対象部分の特徴量を取り除いた特徴量と複数の画像の特徴量とに基づいて、複数の画像の中から、該検索対象に類似する物品を含み、かつ、該非検索対象を含まない画像を検索する検索工程と
を有する検索方法。

【請求項9】

端末とサーバ装置とが通信可能に接続される検索システムであって、
クエリ画像を入力する入力部と、
前記クエリ画像内に検索対象と非検索対象とが含まれていた場合に、前記クエリ画像の特徴量から前記非検索対象部分の特徴量を取り除いた特徴量と複数の画像の特徴量とに基づいて、複数の画像の中から、該検索対象に類似する物品を含み、かつ、該非検索対象を含まない画像を検索する検索部と
を有する検索システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検索プログラム、サーバ装置、検索方法及び検索システムに関する。

【背景技術】

【0002】

従来より、クエリ画像に類似する類似画像を検索するための種々の検索方法が提案されている（例えば、下記特許文献１、２等）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００１－０５２１７５号公報

【文献】特開２００１－３１９２３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記検索方法の場合、クエリ画像内に検索対象の物品と非検索対象の両方が含まれ、かつ、検索対象の物品の特徴量よりも、非検索対象の特徴量の方が類似度に与える影響が大きい場合に、適切な画像を検索することができない、という問題がある。

【0005】

本発明は上記課題に鑑みてなされたものであり、クエリ画像を用いた画像検索において、検索対象に応じた検索結果を出力することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一実施形態によれば、検索プログラムは、例えば、以下のような構成を有する。即ち、
クエリ画像を入力する入力工程と、
前記クエリ画像内に検索対象と非検索対象とが含まれていた場合に、前記クエリ画像の特徴量から前記非検索対象部分の特徴量を取り除いた特徴量と複数の画像の特徴量とに基づいて、複数の画像の中から、該検索対象に類似する物品を含み、かつ、該非検索対象を含まない画像を検索する検索工程とをコンピュータに実行させる。

【発明の効果】

【0007】

本発明によれば、クエリ画像を用いた画像検索において、検索対象に応じた検索結果を出力することができる。

【図面の簡単な説明】

【0008】

【図1】検索システムのシステム構成の一例を示す図である。

【図2】サーバ装置のハードウェア構成の一例を示す図である。

【図3】登録情報格納部内の登録情報の具体例を示す図である。

【図4】特徴ベクトル情報（商品）保存部に保存される特徴ベクトル情報（商品）の具体例を示す図である。

【図5】特徴ベクトル情報（人物）保存部に保存される特徴ベクトル情報（人物）及び代表ベクトルの具体例を示す図である。

【図6】商品情報登録部の機能構成の一例を示す図である。

【図7】商品情報検索部の機能構成の一例を示す図である。

【図8】検索システムにおける商品情報登録処理の流れを示すシーケンス図である。

【図9】検索システムにおける商品情報検索処理の流れを示すシーケンス図である。

【図10】特徴ベクトル算出用モデルの学習処理を説明するための図である。

【図11】特徴ベクトル情報（人物）及び代表ベクトル生成処理の流れを示すフローチャートである。

【図12】特徴ベクトル情報（人物）及び代表ベクトル生成処理の処理内容を説明するための第１の図である。

【図13】特徴ベクトル情報（商品）生成処理の流れを示すフローチャートである。

【図14】特徴ベクトル情報（商品）生成処理の処理内容を説明するための図である。

【図15】商品情報検索処理の流れを示すフローチャートである。

【図16】商品情報検索処理の処理内容を説明するための図である。

【図17】商品情報検索処理の具体例を示す図である。

【図18】ユーザ端末の検索画面に表示される検索結果の一例を示す第１の図である。

【図19】ユーザ端末の検索画面に表示される検索結果の一例を示す第２の図である。

【図20】特徴ベクトル情報（人物）及び代表ベクトル生成処理の処理内容を説明するための第２の図である。

【図21】ユーザ端末のチャット画面の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、各実施形態の詳細について説明する。なお、各実施形態に係る明細書及び図面の記載に際して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

【0010】

［第１の実施形態］
＜１．検索システムのシステム構成＞
はじめに、検索システムのシステム構成について説明する。図１は、検索システムのシステム構成の一例を示す図である。

【0011】

図１に示すように、検索システム１００は、サーバ装置１１０と、ユーザ１８０＿１～１８０＿ｎそれぞれが利用するユーザ端末１７０＿１～１７０＿ｎとを有する。なお、ユーザ端末１７０＿１～１７０＿ｎは、ネットワーク１９０を介してサーバ装置１１０と通信可能に接続される。

【0012】

サーバ装置１１０には、フリーマーケットサービスプログラムがインストールされており、当該プログラムが実行されることで、サーバ装置１１０は、フリーマーケットサービス部１２０として機能する。

【0013】

フリーマーケットサービス部１２０は、ネットワーク１９０を介して接続されるユーザ端末１７０＿１～１７０＿ｎのユーザ１８０＿１～１８０＿ｎに対して、各種商品等を取引する場を提供するサービスを行う。

【0014】

ここで、フリーマーケットサービスプログラムには、少なくとも、登録プログラムと検索プログラムとが含まれているものとする。そして、これらのプログラムが実行されることで、サーバ装置１１０は、商品情報登録部１３０と商品情報検索部１４０とを有するフリーマーケットサービス部１２０として機能する。

【0015】

商品情報登録部１３０は、ユーザ１８０＿１～１８０＿ｎが商品を出品すべく、ユーザ端末１７０＿１～１７０＿ｎから商品情報を送信した場合に、当該商品情報を受信し、登録情報格納部１５０に格納する。なお、本実施形態では、登録情報格納部１５０に格納された複数の商品情報を、「登録情報」と総称する。

【0016】

また、商品情報登録部１３０は、格納した各商品情報に含まれる商品画像から、「特徴ベクトル」（画像から抽出される特徴量の項目と特徴量の値との組）を抽出し、特徴ベクトル情報（商品）保存部１５１に保存する。

【0017】

更に、商品情報登録部１３０は、格納した各商品情報に含まれる商品画像のうち、特定の商品画像（例えば、商品以外に、商品を着用した人物が含まれる商品画像（「着用画像」））から特徴ベクトルを抽出し、特徴ベクトル情報（人物）保存部１５２に保存する。

【0018】

商品情報検索部１４０は、ユーザ端末１７０＿１～１７０＿ｎからクエリ画像を含む検索要求を受信した場合に、特徴ベクトル情報（人物）保存部１５２に保存された特徴ベクトルを用いて、クエリ画像に含まれる人物の特徴量の影響を抑制する処理を行う。そのうえで、商品情報検索部１４０は、クエリ画像に含まれる検索対象に類似する商品を含む商品画像を検索する。

【0019】

具体的には、商品情報検索部１４０は、特徴ベクトル情報（商品）保存部１５１に保存された特徴ベクトルの中から、処理後のクエリ画像の特徴ベクトルに類似する特徴ベクトルを求めることで、クエリ画像内の検索対象に類似する商品を含む商品画像を検索する。

【0020】

なお、商品情報検索部１４０では、検索した商品画像を含む検索結果を、検索要求の送信元のユーザ端末（ユーザ端末１７０＿１～１７０＿ｎのいずれか）に送信する。

【0021】

＜サーバ装置のハードウェア構成＞
次に、検索システム１００に含まれるサーバ装置１１０のハードウェア構成について説明する。図２は、サーバ装置のハードウェア構成の一例を示す図である。

【0022】

図２に示すように、サーバ装置１１０は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。また、サーバ装置１１０は、ＧＰＵ（Graphics Processing Unit）２０４を有する。なお、ＣＰＵ２０１、ＧＰＵ２０４などのプロセッサ（処理回路、Processing Circuit、Processing Circuitry）と、ＲＯＭ２０２、ＲＡＭ２０３などのメモリは、いわゆるコンピュータを形成する。

【0023】

更に、サーバ装置１１０は、補助記憶装置２０５、表示装置２０６、操作装置２０７、Ｉ／Ｆ（Interface）装置２０８、ドライブ装置２０９を有する。なお、サーバ装置１１０の各ハードウェアは、バス２１０を介して相互に接続される。また、図２に示す各ハードウェアは、一例に過ぎず、一部を変更して（例えば、ＧＰＵ２０４を外して）サーバ装置１１０を構成してもよいことはいうまでもない。

【0024】

ＣＰＵ２０１は、補助記憶装置２０５にインストールされた各種プログラム（例えば、フリーマーケットサービスプログラム等）を実行する演算デバイスである。

【0025】

ＲＯＭ２０２は、不揮発性メモリであり、主記憶装置として機能する。ＲＯＭ２０２は、補助記憶装置２０５にインストールされた各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。

【0026】

ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリであり、主記憶装置として機能する。ＲＡＭ２０３は、補助記憶装置２０５にインストールされた各種プログラムがＣＰＵ２０１によって実行される際に展開される、作業領域を提供する。

【0027】

ＧＰＵ２０４は、画像処理用の演算デバイスであり、ＣＰＵ２０１によりフリーマーケットサービスプログラムが実行される際に、各種画像データについて、並列処理による高速演算を行う。なお、ＧＰＵ２０４は、内部メモリ（ＧＰＵメモリ）を搭載しており、各種画像データについて並列処理を行う際に必要な情報を一時的に保持する。

【0028】

補助記憶装置２０５は、各種プログラムや、各種プログラムがＣＰＵ２０１によって実行される際に用いられる各種データ等を格納する。例えば、登録情報格納部１５０、特徴ベクトル情報（商品）保存部１５１、特徴ベクトル情報（人物）保存部１５２は、補助記憶装置２０５において実現される。

【0029】

表示装置２０６は、サーバ装置１１０の内部状態を表示する表示デバイスである。操作装置２０７は、サーバ装置１１０の管理者がサーバ装置１１０に対して各種指示を入力する際に用いる入力デバイスである。Ｉ／Ｆ装置２０８は、ネットワーク１９０と接続し、ユーザ端末１７０＿１～１７０＿ｎと通信を行うための接続デバイスである。

【0030】

ドライブ装置２０９は記録媒体２２０をセットするためのデバイスである。ここでいう記録媒体２２０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２２０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

【0031】

なお、補助記憶装置２０５にインストールされる各種プログラムは、例えば、配布された記録媒体２２０がドライブ装置２０９にセットされ、該記録媒体２２０に記録された各種プログラムがドライブ装置２０９により読み出されることでインストールされる。あるいは、補助記憶装置２０５にインストールされる各種プログラムは、ネットワーク１９０を介してダウンロードされることで、インストールされてもよい。

【0032】

＜登録情報の具体例＞
次に、登録情報格納部１５０内の登録情報の具体例について説明する。図３は、登録情報格納部内の登録情報の具体例を示す図である。

【0033】

図３に示すように、登録情報３００は、複数の商品情報により構成される。具体的には、登録情報３００には、情報の項目として、"商品ＩＤ"、"商品属性情報"、"商品画像"が含まれ、複数の商品情報それぞれが、当該情報の項目ごとにわけて登録情報格納部１５０に格納されることで、登録情報３００が構成される。

【0034】

例えば、"商品ＩＤ"には、商品情報のうち、商品を識別するための識別子が格納される。"商品属性情報"には、商品情報のうち、商品の属性（例えば、商品のカテゴリ、商品のブランド、商品のタイトル等）を示す情報が格納される。"商品画像"には、商品情報のうち、商品画像が格納される。

【0035】

なお、"商品画像"に格納される商品画像には、商品単体の画像の他、商品を着用した人物が含まれる商品画像（着用画像）等が含まれる。

【0036】

＜特徴ベクトル情報（商品）の具体例＞
次に、特徴ベクトル情報（商品）保存部１５１に保存される特徴ベクトル情報（商品）の具体例について説明する。特徴ベクトル情報（商品）保存部１５１では、商品画像から抽出された特徴ベクトルを、商品情報と対応付けて、特徴ベクトル情報（商品）として保存する。図４は、特徴ベクトル情報（商品）保存部に保存される特徴ベクトル情報（商品）の具体例を示す図である。

【0037】

図４に示すように、特徴ベクトル情報（商品）４００には、情報の項目として、商品情報についての情報の項目である"商品ＩＤ"、"商品属性情報"、"商品画像"に加え、"特徴ベクトル"が含まれる。"特徴ベクトル"には、"商品画像"に格納された商品画像から抽出された特徴ベクトルが格納される。

【0038】

なお、上述したとおり、特徴ベクトルは、画像から抽出される特徴量の項目と特徴量の値との組であり、図４の例は、特徴量の項目として、"特徴１"～"特徴ｍ"が抽出されたことを示している。また、図４の例は、特徴量の値を、棒グラフの長さとして示している。

【0039】

＜特徴ベクトル情報（人物）の具体例＞
次に、特徴ベクトル情報（人物）保存部１５２に保存される特徴ベクトル情報（人物）等の具体例について説明する。特徴ベクトル情報（人物）保存部１５２では、着用画像から抽出された特徴ベクトルを、商品情報と対応付けて、特徴ベクトル情報（人物）として保存するとともに、着用画像から抽出された特徴ベクトルに基づいて算出された代表ベクトルを保存する。

【0040】

図５は、特徴ベクトル情報（人物）保存部に保存される特徴ベクトル情報（人物）及び代表ベクトルの具体例を示す図である。

【0041】

図５に示すように、特徴ベクトル情報（人物）５００には、情報の項目として、"商品ＩＤ"、"商品属性情報"、"着用画像"、"特徴ベクトル"が含まれる。特徴ベクトル情報（人物）５００の場合、登録情報３００を構成する各商品情報に含まれる商品画像の中から選択された着用画像が"着用画像"に格納され、対応する商品の識別子、商品の属性情報が、それぞれ、"商品ＩＤ"、"商品属性情報"に格納される。また、"特徴ベクトル"には、"着用画像"に格納された着用画像から抽出された特徴ベクトルが格納される。なお、図４と同様、図５の例は、特徴量の項目として、"特徴１"～"特徴ｍ"が抽出されたことを示している。また、図５の例は、特徴量の値を、棒グラフの長さとして示している。

【0042】

代表ベクトル５１０は、特徴ベクトル情報（人物）５００の"特徴ベクトル"に格納された、各着用画像の特徴ベクトルに基づいて算出される。代表ベクトル５１０は、例えば、各着用画像の特徴ベクトルの平均値を算出することで求められる。あるいは、代表ベクトル５１０は、各着用画像の特徴ベクトルの中央値を算出することで求められる。あるいは、代表ベクトル５１０は、各着用画像の特徴ベクトルを整数化し、最頻値を算出することで求められる。

【0043】

＜商品情報登録部の機能構成＞
次に、サーバ装置１１０のフリーマーケットサービス部１２０が有する商品情報登録部１３０の機能構成について説明する。図６は、商品情報登録部の機能構成の一例を示す図である。図６に示すように、商品情報登録部１３０は、商品情報取得部６１０、商品情報（着用画像）選択部６２０、画像特徴抽出部６３０、人物特徴演算部６４０、商品情報読み出し部６５０を有する。

【0044】

商品情報取得部６１０は、ユーザ１８０＿１～１８０＿ｎが商品を出品すべく、ユーザ端末１７０＿１～１７０＿ｎから商品情報を送信した場合において、当該商品情報を受信するごとに、登録情報格納部１５０に格納する。これにより、登録情報格納部１５０内の登録情報３００は、商品情報取得部６１０が商品情報を受信するごとに更新される。

【0045】

商品情報（着用画像）選択部６２０は、登録情報格納部１５０内の登録情報３００を構成する各商品情報のうち、着用画像を含む商品情報を選択して読み出し、画像特徴抽出部６３０に通知する。なお、商品情報（着用画像）選択部６２０は、例えば、着用画像を含む商品情報が、登録情報格納部１５０内に登録情報３００として一定程度登録されたタイミングで、着用画像を含む商品画像を選択して読み出すものとする。

【0046】

この場合、画像特徴抽出部６３０では、商品情報（着用画像）選択部６２０より通知された商品情報に含まれる着用画像から、特徴ベクトルを抽出し、商品情報と対応付けて人物特徴演算部６４０に通知する。

【0047】

人物特徴演算部６４０は、人物特徴演算部６４０より通知された各商品情報に対応付けられた特徴ベクトルに基づいて、代表ベクトル５１０を算出する。また、人物特徴演算部６４０は、着用画像から抽出された特徴ベクトルが対応付けられた商品情報を、特徴ベクトル情報（人物）５００として、代表ベクトル５１０とともに特徴ベクトル情報（人物）保存部１５２に保存する。

【0048】

商品情報読み出し部６５０は、登録情報格納部１５０内の登録情報３００を読み出し、画像特徴抽出部６３０に通知する。

【0049】

この場合、画像特徴抽出部６３０では、商品情報読み出し部６５０より通知された登録情報３００を構成する各商品情報に含まれる商品画像から、特徴ベクトルを抽出する。また、画像特徴抽出部６３０は、抽出した特徴ベクトルを商品情報と対応付けて、特徴ベクトル情報（商品）４００として、特徴ベクトル情報（商品）保存部１５１に保存する。

【0050】

＜商品情報検索部の機能構成＞
次に、サーバ装置１１０のフリーマーケットサービス部１２０が有する商品情報検索部１４０の機能構成について説明する。図７は、商品情報検索部の機能構成の一例を示す図である。図７に示すように、商品情報検索部１４０は、クエリ画像取得部７１０、検索対象物検出部７２０、画像特徴抽出部６３０、画像特徴変換部７４０、類似ベクトル演算部７５０、検索結果出力部７６０を有する。

【0051】

クエリ画像取得部７１０は入力部の一例であり、ユーザ端末１７０＿１～１７０＿ｎから検索要求を受信し、受信した検索要求に含まれるクエリ画像を取得する。

【0052】

検索対象物検出部７２０は、クエリ画像から、検索対象の商品を含む領域を検索対象領域として検出する。ただし、検索対象物検出部７２０の機能は必須ではなく、商品情報検索部１４０は、検索対象物検出部７２０を実行しなくてもよい。

【0053】

画像特徴抽出部６３０は、検索対象物検出部７２０により検出された検索対象領域から特徴ベクトルを抽出し、画像特徴変換部７４０に通知する。

【0054】

画像特徴変換部７４０は、特徴ベクトル情報（人物）保存部１５２に格納された代表ベクトル５１０を読み出し、画像特徴抽出部６３０より通知された特徴ベクトルから、代表ベクトル５１０を減算することで、減算後の特徴ベクトルを算出する。具体的には、画像特徴変換部７４０は、特徴量の項目ごとに、特徴ベクトルの特徴量の値から代表ベクトル５１０の特徴量の値を減算することで、減算後の特徴ベクトルを算出する。これにより、減算後の特徴ベクトルは、人物の特徴量の影響が抑制された特徴ベクトルとなる。

【0055】

また、画像特徴変換部７４０は、減算後の特徴ベクトルに含まれる負値をゼロ化することで、減算後の特徴ベクトルを変換し、変換後の特徴ベクトルを算出する。具体的には、画像特徴変換部７４０は、各特徴量の項目のうち、減算により負値になった特徴量の項目について、特徴量の値をゼロ値に変換する（非負化する）。これにより、変換後の特徴ベクトルは、負値を含まない特徴ベクトルとなる。人物の特徴量の影響を抑制するために減算したにも関わらず、減算の結果、負値として人物の特徴量の影響が現れたのでは、人物の特徴量の影響を抑制したことにならないため、画像特徴変換部７４０では、ゼロ値に変換することで、人物の特徴量の影響を適切に抑制する。

【0056】

類似ベクトル演算部７５０は検索部の一例であり、特徴ベクトル情報（商品）保存部１５１より、特徴ベクトル情報（商品）４００を読み出し、画像特徴変換部７４０より通知された変換後の特徴ベクトルに類似する特徴ベクトルを検索する。また、類似ベクトル演算部７５０は、検索した特徴ベクトルを、検索結果出力部７６０に通知する。

【0057】

検索結果出力部７６０は、類似ベクトル演算部７５０より通知された特徴ベクトルが対応付けられた商品情報を、検索結果として、検索要求の送信元のユーザ端末（ユーザ端末１７０＿１～１７０＿ｎのいずれか）に送信する。

【0058】

＜商品情報登録処理の流れ＞
次に、検索システム１００における商品情報登録処理の流れについて説明する。図８は、検索システムにおける商品情報登録処理の流れを示すシーケンス図である。

【0059】

ステップＳ８０１において、サーバ装置１１０の商品情報登録部１３０に含まれる画像特徴抽出部６３０は、特徴ベクトルを抽出するための学習モデル（特徴ベクトル算出用モデル。詳細は後述）を機械学習する際に用いる学習用画像を取得する。学習用画像には、例えば、登録情報格納部１５０内の登録情報３００を構成する複数の商品情報の一部の商品情報に含まれる商品画像等が用いられる。なお、学習用画像に用いるのは、商品画像に限定されず、例えば、ネットワーク１９０上でダウンロード可能な任意の画像であってもよい。

【0060】

ステップＳ８０２において、画像特徴抽出部６３０は、取得した学習用画像を用いて、特徴ベクトル算出用モデルを機械学習する。

【0061】

ステップＳ８１０＿１～Ｓ８１０＿３において、ユーザ端末１７０＿１～１７０＿ｎは、ユーザ１８０＿１～１８０＿ｎより出品する商品についての商品情報の入力を受け付け、サーバ装置１１０に送信する。

【0062】

ステップＳ８１１＿１～Ｓ８１１＿３において、サーバ装置１１０の商品情報登録部１３０に含まれる商品情報取得部６１０は、受信した商品情報（ユーザ１８０＿１～１８０＿ｎが出品する商品についての商品情報）を、順次、登録情報格納部１５０に格納する。これにより、登録情報格納部１５０内に登録情報３００が構成される。

【0063】

ステップＳ８２０において、サーバ装置１１０の商品情報登録部１３０に含まれる商品情報（着用画像）選択部６２０、画像特徴抽出部６３０、人物特徴演算部６４０は、特徴ベクトル情報（人物）及び代表ベクトル生成処理を実行する。これにより、特徴ベクトル情報（人物）保存部１５２には、特徴ベクトル情報（人物）５００及び代表ベクトル５１０が格納される。

【0064】

ステップＳ８３０＿１において、商品情報読み出し部６５０、画像特徴抽出部６３０は、特徴ベクトル情報（商品）生成処理を実行する。これにより、特徴ベクトル情報（商品）保存部１５１には、特徴ベクトル情報（商品）４００が格納される。

【0065】

ステップＳ８１０＿４～Ｓ８１０＿６において、ユーザ端末１７０＿１～１７０＿ｎは、ユーザ１８０＿１～１８０＿ｎより商品情報の入力を受け付け、サーバ装置１１０に送信する。

【0066】

ステップＳ８１１＿４～Ｓ８１１＿６において、サーバ装置１１０の商品情報登録部１３０に含まれる商品情報取得部６１０は、受信した商品情報を、順次、登録情報格納部１５０に格納する。これにより、登録情報格納部１５０内の登録情報３００が更新される。

【0067】

ステップＳ８３０＿２において、商品情報読み出し部６５０、画像特徴抽出部６３０は、特徴ベクトル情報（商品）生成処理を実行する。これにより、特徴ベクトル情報（商品）保存部１５１の特徴ベクトル情報（商品）４００が更新される。以降、ステップＳ８１０＿７～Ｓ８１０＿９、ステップＳ８１１＿７～Ｓ８１１＿９においても同様の処理が繰り返される。

【0068】

このように、検索システム１００では、はじめに特徴ベクトル情報（人物）及び代表ベクトル生成処理（ステップＳ８２０）を１回実行して、代表ベクトル５１０を生成する。以降、検索システム１００では、登録情報３００が複数回更新されるごとに（あるいは所定時間が経過するごとに）、特徴ベクトル情報（商品）生成処理を実行し、特徴ベクトル情報（商品）４００を更新する。

【0069】

＜商品情報検索処理の流れ＞
次に、検索システム１００における商品情報検索処理の流れについて説明する。図９は、検索システムにおける商品情報検索処理の流れを示すシーケンス図である。

【0070】

ステップＳ９００＿１において、ユーザ端末１７０＿１～１７０＿ｎは、ユーザ１８０＿１～１８０＿ｎより検索要求を受け付け、サーバ装置１１０に送信する。

【0071】

ステップＳ９１０＿１において、サーバ装置１１０の商品情報検索部１４０は、商品情報検索処理を実行し、検索要求の送信元のユーザ端末（ユーザ端末１７０＿１～１７０＿ｎのいずれか）に、検索結果を送信する。

【0072】

ステップＳ９０１＿１において、ユーザ端末１７０＿１～１７０＿ｎは、検索結果を受信して表示する。以降、検索システム１００では、ユーザ端末１７０＿１～１７０＿ｎが検索要求を受け付けるごとに、サーバ装置１１０が商品情報検索処理を実行し、ユーザ端末１７０＿１～１７０＿ｎに検索結果を表示する。

【0073】

なお、図９に示す商品情報検索処理は、図８に示す商品情報登録処理のステップＳ８１０＿１以降の処理と、並行して実行されるものとする。

【0074】

＜商品情報登録処理の各工程の詳細＞
次に、図８に示す商品情報登録処理に含まれる各工程（ここでは、特徴ベクトル算出用モデルの学習処理、特徴ベクトル情報（人物）及び代表ベクトル生成処理、特徴ベクトル情報（商品）生成処理）の詳細について説明する。

【0075】

（１）特徴ベクトル算出用モデルの学習処理（ステップＳ８０２）の詳細
はじめに、特徴ベクトル算出用モデルの学習処理（ステップＳ８０２）の詳細について説明する。図１０は、特徴ベクトル算出用モデルの学習処理を説明するための図である。画像特徴抽出部６３０では、学習用画像を読み出すと、特徴ベクトル算出用モデル１０００に入力する。なお、学習用画像として一部の商品画像に含まれる商品画像を用いる場合にあっては、画像特徴抽出部６３０は、学習処理前に登録情報格納部１５０より当該商品情報を学習用画像として読み出し、特徴ベクトル算出用モデル１０００に入力する。

【0076】

学習用画像には、予め、対応するカテゴリ、ブランド、模様等の商品属性情報が対応付けられており、特徴ベクトル算出用モデル１０００は、学習用画像が入力されると、対応する商品属性情報が出力されるように、モデルパラメータの機械学習を行う。なお、特徴ベクトル算出用モデル１０００は、ニューラルネットワーク（例えば、畳み込みニューラルネットワーク）等により構成されているものとする。

【0077】

これにより、画像特徴抽出部６３０では、特徴ベクトル算出用モデル１０００について学習済みモデルを生成する。画像特徴抽出部６３０では、特徴ベクトル算出用モデル１０００についての学習済みモデルを用いて、特徴ベクトルを抽出する。

【0078】

（２）特徴ベクトル情報（人物）及び代表ベクトル生成処理（ステップＳ８２０）の詳細
次に、特徴ベクトル情報（人物）及び代表ベクトル生成処理（ステップＳ８２０）の詳細について説明する。図１１は、特徴ベクトル情報（人物）及び代表ベクトル生成処理の流れを示すフローチャートである。

【0079】

図１１に示すように、ステップＳ１１０１において、商品情報（着用画像）選択部６２０は、登録情報格納部１５０内の登録情報３００を構成する商品情報のうち、着用画像を含む商品情報を選択して読み出し、着用画像を取得する。

【0080】

ステップＳ１１０２において、画像特徴抽出部６３０は、特徴ベクトル算出用モデル１０００についての学習済みモデルを用いて、特徴ベクトルを抽出する。図１２は、特徴ベクトル情報（人物）及び代表ベクトル生成処理の処理内容を説明するための第１の図である。

【0081】

図１２に示すように、画像特徴抽出部６３０は、着用画像を、順次、学習済みモデル１２００（特徴ベクトル算出用モデル１０００についての学習済みモデルの第ｋ層までを実行可能にした学習済みモデル）に入力する。これにより、画像特徴抽出部６３０では、順次、第ｋ層より、特徴ベクトルを抽出する。学習済みモデルの中間層である第ｋ層では、人間が認識しやすい特徴量が算出されるため、第ｋ層を可視化し、特徴ベクトルを算出することで、人間が認識しやすい特徴ベクトルを抽出することができるからである。なお、第ｋ層より抽出される特徴ベクトルは、各特徴量の値が非負値となるように構成されているものとする。特徴ベクトル間で演算を行う際、特徴量の値として負値が含まれていると、負値で減算するケースが生じることとなり、そのような場合、特徴量の値が正値側に振れることになるからである。つまり、減算したにも関わらず、人物の特徴量の影響が抑制されないといった事態を回避するためである。

【0082】

ステップＳ１１０３において、人物特徴演算部６４０は、代表ベクトル５１０を算出する。人物特徴演算部６４０は、例えば、各着用画像から抽出された各特徴ベクトルの平均値を算出することで、代表ベクトル５１０を算出する（図１２参照）。なお、代表ベクトル５１０の算出方法は、これに限定されず、例えば、各着用画像の特徴ベクトルから、商品画像の特徴ベクトルを減算して、負値を非負化した後、平均値を算出することで、代表ベクトル５１０を算出してもよい。かかる算出方法によれば、着用画像の特徴ベクトルからそのまま代表ベクトルを算出する場合と比較して、商品画像を減算しすぎないというメリットがある。

【0083】

ステップＳ１１０４において、人物特徴演算部６４０は、読み出された商品情報に、抽出した特徴ベクトルを対応付けることで、特徴ベクトル情報（人物）５００を生成し、特徴ベクトル情報（人物）保存部１５２に保存する。また、人物特徴演算部６４０は、算出した代表ベクトルを、特徴ベクトル情報（人物）保存部１５２に保存する。

【0084】

（３）特徴ベクトル情報（商品）生成処理（ステップＳ８３０＿１等）の詳細
次に、特徴ベクトル情報（商品）生成処理（ステップＳ８３０＿１等）の詳細について説明する。図１３は、特徴ベクトル情報（商品）生成処理の流れを示すフローチャートである。

【0085】

図１３に示すように、ステップＳ１３０１において、商品情報読み出し部６５０は、登録情報格納部１５０内の登録情報３００を読み出し、各商品情報に含まれる商品画像を取得する。

【0086】

ステップＳ１３０２において、画像特徴抽出部６３０は、学習済みモデル１２００を用いて、商品画像から特徴ベクトルを抽出する。図１４は、特徴ベクトル情報（商品）生成処理の処理内容を説明するための図である。

【0087】

図１４に示すように、画像特徴抽出部６３０は、商品画像を、順次、学習済みモデル１２００（特徴ベクトル算出用モデル１０００についての学習済みモデルの第ｋ層までを実行可能にした学習済みモデル）に入力する。これにより、画像特徴抽出部６３０では、順次、第ｋ層より、特徴ベクトル１４１０＿１～１４１０＿ｐを抽出する。なお、上述したとおり、第ｋ層より抽出される特徴ベクトル１４１０＿１～１４１０＿ｐは、各特徴量の値が非負値となるように構成されている。

【0088】

ステップＳ１３０３において、画像特徴抽出部６３０は、読み出された商品情報に、抽出した特徴ベクトルを対応付けることで、特徴ベクトル情報（商品）４００を生成し、特徴ベクトル情報（商品）保存部１５１に保存する。

【0089】

＜商品情報検索処理の詳細＞
次に、商品情報検索処理（ステップＳ９１０＿１等）の詳細について説明する。図１５は、商品情報検索処理の流れを示すフローチャートである。図１５に示すように、ステップＳ１５０１において、クエリ画像取得部７１０は、ユーザ端末１７０＿１～１７０＿ｎから検索要求を受信し、受信した検索要求に含まれるクエリ画像を取得する。

【0090】

ステップＳ１５０２において、検索対象物検出部７２０は、取得されたクエリ画像から、検索対象の商品を含む領域を検索対象領域として検出する。

【0091】

ステップＳ１５０３において、画像特徴抽出部６３０は、取得されたクエリ画像の検索対象領域から特徴ベクトルを抽出する。図１６は、商品情報検索処理の処理内容を説明するための図である。図１６に示すように、画像特徴抽出部６３０は、クエリ画像から検出した検索対象領域を、学習済みモデル１２００（特徴ベクトル算出用モデル１０００についての学習済みモデルの第ｋ層までを実行可能にした学習済みモデル）に入力する。これにより、画像特徴抽出部６３０では、第ｋ層より、検索対象領域の特徴ベクトル１６００を抽出する。なお、上述したとおり、第ｋ層より抽出される特徴ベクトル１６００は、各特徴量の値が非負値となるように構成されている。

【0092】

ステップＳ１５０４において、画像特徴変換部７４０は、特徴ベクトル情報（人物）保存部１５２に格納された代表ベクトル５１０を読み出し、ステップＳ１５０３において抽出された検索対象領域の特徴ベクトル１６００から、代表ベクトル５１０を減算する。これにより、画像特徴変換部７４０は、減算後の特徴ベクトルを算出する。

【0093】

ステップＳ１５０５において、画像特徴変換部７４０は、減算後の特徴ベクトルについて、負値の特徴量をゼロ値に変換する（非負化する）。これにより、画像特徴変換部７４０は、変換後の特徴ベクトルを算出する。

【0094】

ステップＳ１５０６において、類似ベクトル演算部７５０は、特徴ベクトル情報（商品）保存部１５１より、特徴ベクトル情報（商品）４００を読み出し、変換後の特徴ベクトルに類似する特徴ベクトルを検索する。

【0095】

ステップＳ１５０７において、検索結果出力部７６０は、類似ベクトル演算部７５０により検索された特徴ベクトルが対応付けられた商品情報を、特徴ベクトル情報（商品）４００において特定する。また、検索結果出力部７６０は、特定した商品情報を、検索結果として、検索要求の送信元のユーザ端末（ユーザ端末１７０＿１～１７０＿ｎのいずれか）に送信する。

【0096】

＜商品情報検索処理の具体例＞
次に、商品情報検索処理の具体例について説明する。図１７は、商品情報検索処理の具体例を示す図である。図１７に示す各特徴ベクトルは、横軸が特徴量の項目であり、縦軸が特徴量の値を示している。

【0097】

画像特徴変換部７４０では、検索対象領域の特徴ベクトル１６００から、代表ベクトル５１０を減算することで、減算後の特徴ベクトル１７０１を算出する。これにより、減算後の特徴ベクトル１７０１は、検索対象の特徴量が非検索対象の特徴量よりも重み付けされたことになる（クエリ画像に含まれる人物の特徴量の影響を抑制することができる）。

【0098】

ここで、画像特徴変換部７４０では、特徴量の項目ごとに、特徴量の値を減算するため、特徴量の項目によっては、減算後の特徴量の値が、負値になる場合がある（点線領域１７０２参照）。

【0099】

画像特徴変換部７４０では、減算後の特徴ベクトル１７０１のうち、特徴量の値が負値となった項目について、特徴量の値をゼロに変換する（点線領域１７０４参照）。これにより、画像特徴変換部７４０では、変換後の特徴ベクトル１７０３を算出する。

【0100】

類似ベクトル演算部７５０では、特徴ベクトル情報（商品）保存部１５１より読み出した各商品情報に含まれる商品画像の特徴ベクトル１４１０＿１～１４１０＿ｐの中から、変換後の特徴ベクトル１７０３との類似度が高い商品画像の特徴ベクトルを検索する。

【0101】

なお、類似ベクトル演算部７５０では、類似度が所定の閾値以上の複数の商品画像の特徴ベクトルを検索してもよいし、類似度が最も高い商品画像の特徴ベクトルを検索してもよい。図１７の例は、紙面の都合上、類似度が最も高い商品画像の特徴ベクトル１４１０＿ｉを検索した様子を示している。

【0102】

検索結果出力部７６０は、商品画像の特徴ベクトル１４１０＿ｉが対応付けられた商品情報１７１０を、特徴ベクトル情報（商品）保存部１５１より読み出す。また、検索結果出力部７６０は、読み出した商品情報１７１０を、検索結果として、検索要求の送信元のユーザ端末（ユーザ端末１７０＿１～１７０＿ｎのいずれか）に送信する。

【0103】

＜商品情報検索処理の検索結果の具体例＞
次に、ユーザ端末１７０＿１～１７０＿ｎの検索画面に表示される検索結果の具体例について説明する。図１８は、ユーザ端末の検索画面に表示される検索結果の一例を示す第１の図である。

【0104】

図１８に示すように、検索画面１８００には、クエリ画像を読み込むための"クエリ画像読み込み"ボタン１８１１と、読み込んだクエリ画像を表示するクエリ画像表示欄１８０１とが含まれる。また、検索画面１８００には、クエリ画像を含む検索要求を送信するための"検索要求"ボタン１８１２と、検索要求の送信に応じてサーバ装置１１０から送信された検索結果を表示する検索結果表示欄１８２１とが含まれる。

【0105】

図１８（ａ）は、サーバ装置１１０にて、商品情報検索部１４０による商品情報検索処理（図１５参照）が実行された場合の検索結果（ここでは、１５個の商品画像）が表示された様子を示している。

【0106】

図１８（ａ）に示すように、商品情報検索部１４０による商品情報検索処理によれば、クエリ画像内に、衣服と該衣服を着た人物とが含まれていた場合でも、当該衣服に類似する衣服を含み、かつ、人物を含まない商品画像を検索することができる。

【0107】

一方、図１８（ｂ）は、比較例として、一般的な商品情報検索処理が実行された場合の検索結果が表示された様子を示している。

【0108】

図１８（ｂ）に示すように、一般的な商品情報検索処理によれば、クエリ画像内に、衣服と該衣服を着た人物とが含まれていた場合、人物を含む商品画像が検索されることになる。

【0109】

つまり、一般的な商品情報検索処理の場合、クエリ画像内に含まれる非検索対象に類似する商品画像が検索される。

【0110】

これに対して、商品情報検索部１４０による商品情報検索処理によれば、上述したとおり、クエリ画像内に含まれる検索対象と類似する商品を含み、かつ、クエリ画像内に含まれる非検索対象を含まない商品画像を検索することができる。

【0111】

図１９は、ユーザ端末の検索画面に表示される検索結果の一例を示す第２の図である。なお、検索画面１８００内の構成は、図１８に示した検索画面１８００内の構成と同じであるため、ここでは、検索画面１８００内の構成の説明は省略する。

【0112】

図１８との相違点は、クエリ画像表示欄１８０１に表示されるクエリ画像である。図１９のクエリ画像表示欄１８０１に表示されたクエリ画像の場合、衣服を着た人物の背景に模様が映っている。

【0113】

図１９（ａ）に示すように、商品情報検索部１４０によれば、図１８（ａ）と同様に、クエリ画像内に、検索対象の衣服と該衣服を着た人物とが含まれていた場合でも、当該衣服に類似する衣服を含み、かつ、人物を含まない商品画像を検索することができる。加えて、図１９（ａ）の場合、衣服を着た人物の背景に模様が含まれている場合であっても、背景の模様に類似する商品画像が検索されることはない。検索対象物検出部７２０により、検索対象の商品を含む領域が検索対象領域として検出されるためである。なお、クエリ画像表示欄１８０１に表示されたクエリ画像中の矩形領域は、検索対象物検出部７２０により検出された検索対象領域を示している。

【0114】

一方、図１９（ｂ）は、比較例として、検索対象物検出部７２０が、検索対象の商品を含む領域を検索対象領域として検出する処理を実行しなかった場合の検索結果が表示された様子を示している。

【0115】

図１９（ｂ）に示すように、検索対象領域を検出する処理を実行しなかった場合、クエリ画像内に含まれる、検索対象領域以外の領域に類似する商品画像が検索されることになる。

【0116】

つまり、検索対象領域を検出する処理を実行しなかった場合、クエリ画像内に含まれる非検索対象に類似する商品画像が検索される。

【0117】

これに対して、商品情報検索部１４０による商品情報検索処理によれば、上述したとおり、クエリ画像内に含まれる検索対象と類似する商品を含み、かつ、クエリ画像内に含まれる非検索対象を含まない商品画像を検索することができる。

【0118】

＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係るサーバ装置では、
・ユーザ端末より送信された検索要求を受信し、クエリ画像を取得する。
・クエリ画像内に検索対象（例えば、衣服）と非検索対象（例えば、人物）の両方が含まれていた場合に、複数の商品画像の中から、検索対象に類似する商品を含み、かつ、非検索対象を含まない商品画像を検索する。

【0119】

これにより、第１の実施形態に係るサーバ装置によれば、クエリ画像を用いた商品検索において、検索対象に応じた検索結果を出力することができる。

【0120】

［第２の実施形態］
上記第１の実施形態では、登録情報３００より、着用画像を含む商品情報を選択し、着用画像を、順次、学習済みモデル１２００に入力することで抽出される特徴ベクトルから代表ベクトルを算出するものとして説明した。しかしながら、代表ベクトルの算出方法はこれに限定されない。

【0121】

例えば、着用画像を含む商品画像を選択した際、選択した商品画像をカテゴリごとに分類し、分類したカテゴリごとに代表ベクトル候補を抽出したうえで、代表ベクトルを算出してもよい。

【0122】

図２０は、特徴ベクトル情報（人物）生成処理の処理内容を説明するための第２の図である。図１２との相違点は、図２０の場合、着用画像をカテゴリごとに分類し、カテゴリごとに学習済みモデル１２００に、順次、入力する点である。

【0123】

これにより、例えば、カテゴリ１に分類された着用画像については、カテゴリ１の特徴ベクトルが抽出され、カテゴリ２に分類された着用画像については、カテゴリ２の特徴ベクトルが抽出される。更に、カテゴリｘに分類された着用画像については、カテゴリｘの特徴ベクトルが抽出される。

【0124】

ここで、第２の実施形態において、人物特徴演算部６４０は、カテゴリごとに抽出した特徴ベクトルに基づいて、カテゴリごとに代表ベクトル候補を算出する。更に、人物特徴演算部６４０は、各カテゴリの代表ベクトル候補を取得し、平均値を算出することで、代表ベクトル２０００を算出する。

【0125】

ただし、代表ベクトル２０００の算出方法は、これに限定されない。例えば、カテゴリごとに、各着用画像の特徴ベクトルから商品画像の特徴ベクトルを減算して、負値を非負化した後、カテゴリ間で平均値を算出することで、代表ベクトル２０００を算出してもよい。

【0126】

以上の説明から明らかなように、第２の実施形態に係るサーバ装置では、着用画像に基づいて代表ベクトルを算出する際、カテゴリに応じた代表ベクトル候補を算出したうえで、代表ベクトルを算出する。

【0127】

これにより、第２の実施形態に係るサーバ装置によれば、上記第１の実施形態と同様の効果を享受できるとともに、更に、代表ベクトルを最適化することができる。

【0128】

［第３の実施形態］
上記第１及び第２の実施形態では、商品情報検索処理を実行するにあたり、ユーザ端末１７０＿１～１７０＿ｎに検索画面１８００を表示するものとして説明した。しかしながら、検索画面１８００以外の画面（例えば、チャット画面）を介して、商品情報検索処理を実行するように構成してもよい。

【0129】

図２１は、ユーザ端末のチャット画面の一例を示す図である。なお、図２１では、縦方向にスクロールすることで表示される表示内容を１つの図に納めるために、画面の縦方向の長さを長くして図示している。

【0130】

図２１に示すように、チャット画面においてクエリ画像２１０１を入力することで、質問２１０２（"画像で検索しますか？"）が表示されるため、ユーザ１８０＿１～１８０＿ｎは、回答２１０３（"はい"）を入力する。これにより、クエリ画像２１０１を含む検索要求がサーバ装置１１０に送信され、サーバ装置１１０にて、商品情報検索処理が実行されることで、チャット画面２１００には、検索結果２１０４が表示される。

【0131】

このように、チャット画面２１００によれば、ユーザ１８０＿１～１８０＿ｎは、"検索要求"ボタンを押圧する代わりに、チャットを介して、検索要求を送信することができる。

【0132】

［その他の実施形態］
上記第１及び第２の実施形態では、商品情報検索部１４０の各部（クエリ画像取得部７１０～検索結果出力部７６０）を、サーバ装置１１０側に設けるものとして説明した。しかしながら、商品情報検索部１４０の一部の機能については、ユーザ端末１７０＿１～１７０＿ｎ側に設けてもよい。例えば、クエリ画像取得部７１０、検索対象物検出部７２０、画像特徴抽出部６３０は、ユーザ端末１７０＿１～１７０＿ｎ側に設けてもよい。

【0133】

これにより、サーバ装置１１０では、ユーザ端末１７０＿１～１７０＿ｎから、特徴ベクトルを受信して、商品情報検索処理を実行することができる。ただし、この場合、ユーザ端末１７０＿１～１７０＿ｎは、事前に学習済みモデル１２００を取得しておく必要がある。

【0134】

あるいは、クエリ画像取得部７１０、検索対象物検出部７２０、画像特徴抽出部６３０、画像特徴変換部７４０は、ユーザ端末１７０＿１～１７０＿ｎ側に設けてもよい。これにより、サーバ装置１１０では、ユーザ端末１７０＿１～１７０＿ｎから、変換後の特徴ベクトルを受信して、商品情報検索処理を実行することができる。ただし、この場合、ユーザ端末１７０＿１～１７０＿ｎは、事前に学習済みモデル１２００及び代表ベクトル５１０を取得しておく必要がある。

【0135】

あるいは、商品情報検索部１４０の全ての機能を、ユーザ端末１７０＿１～１７０＿ｎ側に設けてもよい。これにより、ユーザ端末１７０＿１～１７０＿ｎでは商品情報検索処理を実行することができる。ただし、この場合、ユーザ端末１７０＿１～１７０＿ｎは、事前に学習済みモデル１２００及び代表ベクトル５１０を取得しておくとともに、定期的に、特徴ベクトル情報（商品）４００を取得しておく必要がある。商品点数が多くない場合や、商品の更新頻度が低い場合に有効である。

【0136】

また、上記第１及び第２の実施形態において、特徴ベクトル情報（人物）及び代表ベクトル生成処理は、１回のみ実行し、特徴ベクトル情報（商品）生成処理は、例えば、所定時間が経過するごとに実行するものとして説明した。しかしながら、特徴ベクトル情報（人物）及び代表ベクトル生成処理についても、特徴ベクトル情報（商品）生成処理と同様に、所定時間が経過するごとに実行するように構成してもよい。また、特徴ベクトル情報（商品）生成処理は、商品情報が格納され、登録情報が更新されるごとに実行するように構成してもよい。

【0137】

また、上記第１及び第２の実施形態では、検索対象を衣服とし、非検索対象を当該衣服を着用した人物とした。そして、当該人物が当該衣服を着用した着用画像について代表ベクトルを算出する構成とした。しかしながら、検索対象は衣服に限定されず、アクセサリや小物等であってもよい。この場合、非検索対象は、当該アクセサリを身に着けた人物や、当該小物を保持する人物となる。そして、当該人物がアクセサリを身に着けた（あるいは小物を保持した）着用画像について代表ベクトルが算出されることになる。

【0138】

つまり、着用画像には、衣服を着用することのほか、アクセサリを身に付けたり、小物を保持することなど、検索対象とともに撮影された人物が含まれる画像全般が含まれるものとする。

【0139】

また、非検索対象は、人物に限定されず、例えば、商品が椅子に載置された画像においては、椅子を非検索対象としてもよい。あるいは、商品がハンガにかかっている画像においては、ハンガを非検索対象としてもよい。ただし、これらを非検索対象とする場合には、これらを含む画像に基づいて、代表ベクトルを算出しておく必要がある。

【0140】

また、上記第１及び第２の実施形態では、検索結果として、商品ＩＤ、商品属性情報、商品画像等を送信するものとして説明したが、商品ＩＤ、商品属性情報、商品画像のうちの少なくとも１つを送信するようにしてもよい。また、検索結果として、商品ＩＤ、商品属性情報、商品画像以外の情報を送信するようにしてもよい。

【0141】

また、上記第１の実施形態では、クエリ画像内に、衣服と該衣服を着た人物とが含まれていた場合でも、商品情報検索部１４０によれば、当該衣服に類似する衣服を含み、かつ、人物を含まない商品画像を検索することができることを示した。しかしながら、商品情報検索部１４０による商品情報検索処理の効果はこれに限定されない。クエリ画像内に、衣服のみが含まれる場合（つまり、クエリ画像が着用画像でない場合）でも、商品情報検索部１４０によれば、当該衣服に類似する衣服を含み、かつ、人物を含まない商品画像を検索することができることはいうまでもない。

【0142】

また、上記第１及び第２の実施形態において、商品情報検索部１４０は、クエリ画像において人物の特徴量の影響を抑えるように、変換後の特徴ベクトルを算出した。しかしながら、変換後の特徴ベクトルの算出方法はこれに限定されず、例えば、クエリ画像においてユーザの趣味嗜好がより明確になるように、変換後の特徴ベクトルを算出してもよい。これにより、ユーザに対する商品のレコメンド処理を実現することが可能になる。

【0143】

また、上記第１及び第２の実施形態では、商品情報検索部１４０が検索する対象画像が、商品画像の場合について説明した。しかしながら、商品情報検索部１４０が検索する対象画像は、商品画像に限定されない。例えば、情景画像や絵画画像等であってもよい。ただし、情景画像の場合には、例えば、クエリ画像において、電柱や自動車の特徴量の影響を抑えるように、変換後の特徴ベクトルを算出することになる。また、絵画画像の場合には、例えば、クエリ画像において、額縁の形状の特徴量の影響を抑えるように、変換後の特徴ベクトルを算出することになる。

【0144】

また、上記第１及び第２の実施形態では、検索対象に類似する商品を含み、かつ、非検索対象を含まない商品画像を検索する場合について説明した。しかしながら、検索する画像は商品画像に限定されず、例えば、検索対象に類似する物品を含み、かつ、非検索対象を含まない任意の画像を検索してもよい。

【0145】

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

【符号の説明】

【0146】

１００ ：検索システム
１１０ ：サーバ装置
１２０ ：フリーマーケットサービス部
１３０ ：商品情報登録部
１４０ ：商品情報検索部
１５０ ：登録情報格納部
１５１ ：特徴ベクトル情報（商品）保存部
１５２ ：特徴ベクトル情報（人物）保存部
１７０＿１～１７０＿ｎ ：ユーザ端末
３００ ：登録情報
４００ ：特徴ベクトル情報（商品）
５００ ：特徴ベクトル情報（人物）
５１０ ：代表ベクトル
６１０ ：商品情報取得部
６２０ ：商品情報（着用画像）選択部
６３０ ：画像特徴抽出部
６４０ ：人物特徴演算部
６５０ ：商品情報読み出し部
７１０ ：クエリ画像取得部
７２０ ：検索対象物検出部
７４０ ：画像特徴変換部
７５０ ：類似ベクトル演算部
７６０ ：検索結果出力部
１０００ ：特徴ベクトル算出用モデル
１２００ ：学習済みモデル
１４１０＿１～１４１０＿ｐ ：商品画像の特徴ベクトル
１６００ ：検索対象領域の特徴ベクトル
１７０１ ：減算後の特徴ベクトル
１７０３ ：変換後の特徴ベクトル
１８００ ：検索画面
２０００ ：代表ベクトル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】