特開 2023-183130 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023183130

(43)【公開日】2023-12-27

(54)【発明の名称】情報処理プログラム、情報処理方法、情報処理装置および情報処理システム

(51)【国際特許分類】

   G06F 16/583 20190101AFI20231220BHJP

   G06F 16/53 20190101ALI20231220BHJP

【ＦＩ】

G06F16/583

G06F16/53

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022096589

(22)【出願日】2022-06-15

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】山田 萌

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175DA02

5B175FA01

5B175GB05

5B175HB03

(57)【要約】

【課題】ユーザに入力される検索文章に対する各候補画像の類似度計算を、効率的に算出すること。
【解決手段】情報処理装置は、複数の画像データにそれぞれ対応する複数の第１特徴量データを、通信可能なサーバ装置から受信する。情報処理装置は、検索条件に含まれるテキストデータを取得する。情報処理装置は、取得したテキストデータをサーバ装置に送信することに応じて、サーバ装置から送信される、テキストデータに対応する第２特徴量データを受信する。情報処理装置は、複数の第１特徴量データと第２特徴量データとの複数の類似度を算出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の画像データにそれぞれ対応する複数の第１特徴量データを、通信可能なサーバ装置から受信し、
検索条件に含まれるテキストデータを取得し、
取得した前記テキストデータを前記サーバ装置に送信することに応じて、前記サーバ装置から送信される、前記テキストデータに対応する第２特徴量データを受信し、
前記複数の第１特徴量データと前記第２特徴量データとの複数の類似度を算出する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【請求項2】

前記複数の類似度の算出結果を出力する処理を更にコンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項3】

前記第１特徴量データおよび前記第２特徴量データは、ベクトルデータであり、前記複数の類似度を算出する処理は、前記複数の第１特徴量データと前記第２特徴量データとの複数のコサイン類似度、内積、ユークリッド距離の少なくともいずれかに基づいて、前記複数の類似度を算出することを特徴とする請求項１に記載の情報処理プログラム。

【請求項4】

前記複数の類似度のうち、前記第２特徴量データとの類似度が、最大類似度から所定数番目までの複数の類似度に対応する複数の第１特徴量データであって、該複数の第１特徴量データに対応する画像データを、特定画像データとして選択し、選択した複数の特定画像データと、前記テキストデータとを前記サーバ装置に送信して、前記サーバ装置により算出された前記複数の特定画像データと前記テキストデータとの複数の類似度を受信し、受信した複数の類似度によって、前記算出する処理により算出された複数の類似度を修正する処理を更にコンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項5】

複数の画像データにそれぞれ対応する複数の第１特徴量データを、通信可能なサーバ装置から受信し、
検索条件に含まれるテキストデータを取得し、
取得した前記テキストデータを前記サーバ装置に送信することに応じて、前記サーバ装置から送信される、前記テキストデータに対応する第２特徴量データを受信し、
前記複数の第１特徴量データと前記第２特徴量データとの複数の類似度を算出する
処理をコンピュータが実行することを特徴とする情報処理方法。

【請求項6】

複数の画像データにそれぞれ対応する複数の第１特徴量データを、通信可能なサーバ装置から受信し、
検索条件に含まれるテキストデータを取得し、
取得した前記テキストデータを前記サーバ装置に送信することに応じて、前記サーバ装置から送信される、前記テキストデータに対応する第２特徴量データを受信し、
前記複数の第１特徴量データと前記第２特徴量データとの複数の類似度を算出する
処理を実行する制御部を有する情報処理装置。

【請求項7】

情報処理装置と、前記情報処理装置と通信可能なサーバ装置とを有する情報処理システムであって、
前記情報処理装置は、
複数の画像データにそれぞれ対応する複数の第１特徴量データを、前記サーバ装置から受信し、
検索条件に含まれるテキストデータを取得し、
取得した前記テキストデータを前記サーバ装置に送信することに応じて、前記サーバ装置から送信される、前記テキストデータに対応する第２特徴量データを受信し、
前記複数の第１特徴量データと前記第２特徴量データとの複数の類似度を算出する
処理を実行する制御部を有することを特徴とする情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理プログラム等に関する。

【背景技術】

【0002】

ユーザに与えられた文章と候補画像との類似度を求めてユーザに返すＷｅｂサービスとして、従来技術１、従来技術２、従来技術３等がある。以下において、従来技術１、従来技術２、従来技術３について、順に説明を行う。

【0003】

まず、従来技術１について説明する。図１２は、従来技術１を説明するための図である。図１２には、ユーザ端末１０と、ユーザ側のサーバ１１ａと、サービスプロバイダ側のサーバ１１ｂとが含まれる。サーバ１１ａは、ユーザ端末１０から検索文章５の入力を受け付けると、検索文章５と、サーバ１１ａが保持する複数の候補画像６とを、サーバ１１ｂに送信する。

【0004】

サーバ１１ｂは、検索文章５および複数の候補画像６を受信すると、類似度計算プログラムを実行する。サーバ１１ｂは、類似度計算プログラムを実行することで、検索文章５の文章ベクトルおよび複数の候補画像６の各画像ベクトルを算出し、文章ベクトルと、各画像ベクトルとの類似度を計算する。これによって、サーバ１１ｂは、検索文章５と、複数の候補画像６との類似度を計算し、検索文章５と複数の候補画像６との類似度を、サーバ１１ａに送信する。サーバ１１ａは、検索文章５と複数の候補画像６との類似度を、処理結果として、ユーザ端末１０に通知する。

【0005】

サーバ１１ａは、ユーザ端末１０から、検索文章５の入力を受け付ける度に、上記処理を繰り返し実行し、サーバ１１ｂから、検索文章５と複数の候補画像６との類似度を受信する。

【0006】

続いて、従来技術２について説明する。図１３は、従来技術２を説明するための図である。図１３には、ユーザ端末１２と、ユーザ側のサーバ１３ａと、サービスプロバイダ側のサーバ１３ｂとが含まれる。サーバ１３ａは、サーバ１３ａが保持する複数の候補画像６を、サーバ１３ｂに、事前に送信する。たとえば、サーバ１３ｂは、複数の候補画像６の各画像ベクトルＩ_１，Ｉ_２，Ｉ_３，・・・を算出し、算出した各画像ベクトルＩ_１，Ｉ_２，Ｉ_３，・・・を保持する。

【0007】

サーバ１３ａは、ユーザ端末１２から検索文章５の入力を受け付けると、検索文章５をサーバ１３ｂに送信する。サーバ１３ｂは、検索文章５を受信すると、検索文章５の文章ベクトルを計算し、計算した文章ベクトルと、保持しておいた各画像ベクトルＩ_１，Ｉ_２，Ｉ_３，・・・との類似度を計算する。これによって、サーバ１３ｂは、検索文章５と、複数の候補画像６との類似度を計算し、検索文章５と複数の候補画像６との類似度のランキングを、サーバ１３ａに送信する。サーバ１３ａは、検索文章５と複数の候補画像６との類似度のランキングを、処理結果として、ユーザ端末１２に通知する。

【0008】

サーバ１３ａは、ユーザ端末１２から、検索文章５の入力を受け付ける度に、上記処理を繰り返し実行し、サーバ１３ｂから、検索文章５と複数の候補画像６との類似度を受信する。

【0009】

続いて、従来技術３について説明する。図１４は、従来技術３を説明するための図である。図１４には、ユーザ端末１４と、サーバ１５（ユーザ側のサーバ）とが含まれる。サーバ１５は、図１３で説明したユーザ側のサーバ１３ａの機能と、プロバイダ側のサーバ１３ｂの機能とを有するサーバである。サーバ１５は、サーバ１５が保持する複数の候補画像６の各画像ベクトルＩ_１，Ｉ_２，Ｉ_３，・・・を算出し、算出した各画像ベクトルＩ_１，Ｉ_２，Ｉ_３，・・・を保持する。

【0010】

サーバ１５は、ユーザ端末１４から検索文章５の入力を受け付けると、検索文章５の文章ベクトルを計算し、計算した文章ベクトルと、保持しておいた各画像ベクトルＩ_１，Ｉ_２，Ｉ_３，・・・との類似度を計算する。これによって、サーバ１５は、検索文章５と、複数の候補画像６との類似度を計算し、検索文章５と複数の候補画像６との類似度のランキングを、ユーザ端末１４に通知する。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】特開２０１３－６５１４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0012】

たとえば、従来技術１では、サーバ１１ａが、ユーザ端末１０から検索文章５の入力を受け付ける度に、検索文章５と複数の候補画像６を、サーバ１１ｂに送信するため、ネットワーク負荷が大きい。また、サーバ１１ａが、サーバ１１ｂから類似度の算出結果を受信するまでに時間を要する。

【0013】

ここで、従来技術２では、従来技術１と比較して、ネットワーク負荷を軽減でき、類似度の計算結果を受信するまでの時間を短縮できるが、サーバ１３ｂに複数の候補画像６の画像ベクトルが保持されたままとなる。画像ベクトルから、元の候補画像を復元できる場合があるため、候補画像にユーザ側の機密情報が含まれている場合には、従来技術２を利用することは難しい。

【0014】

一方、従来技術３では、ユーザ側のサーバ１５が、複数の候補画像６の画像ベクトルを保持するため、候補画像にユーザ側の機密情報が含まれている場合も利用可能である。しかし、検索文章５、候補画像６をベクトル化するための大規模な計算リソースが、ユーザ側のサーバ１５に備えられていることが前提となり、ユーザのコスト面の負担が大きくなる。

【0015】

このため、ユーザに入力される検索文章に対する各候補画像の類似度を、効率的に算出することが求められる。すなわち、ユーザに入力される検索文章に対する各候補画像の類似度を算出する場合に、ユーザ側のサーバに大規模な計算リソースを準備せずに、ネットワーク負荷をかけず、高速に処理結果をユーザ端末に通知することが好ましい。

【0016】

１つの側面では、本発明は、検索文章と各候補画像との類似度計算を効率的に実行することができる情報処理プログラム、情報処理方法、情報処理装置および情報処理システムを提供することを目的とする。

【課題を解決するための手段】

【0017】

第１の案では、コンピュータに次の処理を実行させる。コンピュータは、複数の画像データにそれぞれ対応する複数の第１特徴量データを、通信可能なサーバ装置から受信する。コンピュータは、検索条件に含まれるテキストデータを取得する。コンピュータは、取得したテキストデータをサーバ装置に送信することに応じて、サーバ装置から送信される、テキストデータに対応する第２特徴量データを受信する。コンピュータは、複数の第１特徴量データと第２特徴量データとの複数の類似度を算出する。

【発明の効果】

【0018】

ユーザに入力される検索文章に対する各候補画像の類似度計算を、効率的に算出できる。

【図面の簡単な説明】

【0019】

【図1】図１は、本実施例に係る情報処理システムの処理を説明するための図である。

【図2】図２は、本実施例に係るユーザ側のサーバの構成を示す機能ブロック図である。

【図3】図３は、候補画像テーブルのデータ構造の一例を示す図である。

【図4】図４は、類似度テーブルのデータ構造の一例を示す図である。

【図5】図５は、サービスプロバイダ側のサーバの構成を示す機能ブロック図である。

【図6】図６は、本実施例に係るユーザ側のサーバの処理手順を示すフローチャートである。

【図7】図７は、本実施例に係るサービスプロバイダ側のサーバの処理手順を示すフローチャートである。

【図8】図８は、その他の情報処理システムの例を示す図（１）である。

【図9】図９は、その他の情報処理システムの例を示す図（２）である。

【図10】図１０は、実施例のユーザ側のサーバと同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【図11】図１１は、実施例のサービスプロバイダ側のサーバと同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【図12】図１２は、従来技術１を説明するための図である。

【図13】図１３は、従来技術２を説明するための図である。

【図14】図１４は、従来技術３を説明するための図である。

【発明を実施するための形態】

【0020】

以下に、本願の開示する情報処理プログラム、情報処理方法、情報処理装置および情報処理システムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

【実施例0021】

本実施例に係る情報処理システムの処理の一例について説明する。図１は、本実施例に係る情報処理システムの処理を説明するための図である。図１に示す情報処理システムは、ユーザ端末２０と、ユーザ側のサーバ１００と、サービスプロバイダ側のサーバ２００とを有する。

【0022】

ユーザ端末２０と、サーバ１００とはネットワークを介して相互に接続される。サーバ１００と、サーバ２００とはネットワークを介して相互に接続される。たとえば、サーバ１００と、サーバ２００とは、以下に示すステップＳ１～Ｓ４の処理を行う。

【0023】

サーバ１００は、候補画像データＩｍ１，Ｉｍ２，Ｉｍ３を保持しており、候補画像データＩｍ１，Ｉｍ２，Ｉｍ３を、サーバ２００に送信する（ステップＳ１）。

【0024】

サーバ２００は、候補画像データＩｍ１，Ｉｍ２，Ｉｍ３を受信すると、候補画像データＩｍ１，Ｉｍ２，Ｉｍ３の画像ベクトルＩ_１，Ｉ_２，Ｉ_３を算出する。サーバ２００は、画像ベクトルＩ_１，Ｉ_２，Ｉ_３をサーバ１００に送信する（ステップＳ２）。サーバ２００は、画像ベクトルＩ_１，Ｉ_２，Ｉ_３をサーバ１００に送信した後、画像ベクトルＩ_１，Ｉ_２，Ｉ_３を自装置（サーバ２００）に保存せず、削除する。

【0025】

サーバ１００は、ユーザ端末２０から、検索文章データ３０の入力を受け付けると、検索文章データ３０を、サーバ２００に送信する（ステップＳ３）。

【0026】

サーバ２００は、検索文章データ３０を受信すると、検索文章データ３０の文章ベクトルを算出し、算出した文章ベクトルをサーバ１００に送信する（ステップＳ４）。サーバ２００は、文章ベクトルをサーバ１００に送信した後、文章ベクトルを自装置（サーバ２００）に保存せず、削除する。

【0027】

サーバ１００は、画像ベクトルＩ_１，Ｉ_２，Ｉ_３と、検索文章データ３０の文章ベクトルとのコサイン類似度を算出し、類似度を基にして、候補画像データＩｍ１，Ｉｍ２，Ｉｍ３のランキングを行い、ランキング結果を、ユーザ端末２０に通知する。

【0028】

たとえば、画像ベクトルＩ_１と文章ベクトルとの類似度をＲ１とする。画像ベクトルＩ_２と文章ベクトルとの類似度をＲ２とする。画像ベクトルＩ_３と文章ベクトルとの類似度をＲ３とする。類似度の大小関係を、Ｒ３＞Ｒ２＞Ｒ１とすると、候補画像データＩｍ１，Ｉｍ２，Ｉｍ３のランキングは、上位から、候補画像データＩｍ３、候補画像データＩｍ２、候補画像データＩｍ１となる。図１では、候補画像データＩｍ１，Ｉｍ２，Ｉｍ３のみを示すが、サーバ１００は、他の複数の候補画像データを有していてもよく、他の複数の候補画像データを含めて、上記処理を実行し、各候補画像データのランキングを行ってもよい。

【0029】

上記のようにユーザ側のサーバ１００は、検索条件の検索文章データ３０を取得した際、文章ベクトルの算出をサーバ２００に依頼し、サーバ２００から通知される文章ベクトルを受信する。サーバ１００は、受信した文章ベクトルと、サーバ２００から事前に取得したおいた複数の画像ベクトルとを用いて、検索文章データと候補画像データとの類似度を算出し、類似度算出について、効率化を図ることができる。すなわち、検索文章データに対する各候補画像データの類似度を算出する場合に、ユーザ側のサーバ１００に大規模な計算リソースを準備せずに、ネットワーク負荷をかけず、高速に処理結果をユーザ端末２０に通知することができる。

【0030】

ここで、情報処理システムのサーバ１００およびサーバ２００は、上記の処理に加えて、下記に示すＳ５、Ｓ６の処理を行ってもよい。

【0031】

サーバ１００は、Ｍ個の候補画像データのうち、ランキングが最上位からＮ番目までの候補画像データを選択する。ＭおよびＮは自然数であり、Ｍ＞Ｎとする。サーバ１００は、選択したＮ個の候補画像データと検索文章データ３０とを、サーバ２００に送信する（ステップＳ５）。

【0032】

サーバ２００は、Ｎ個の候補画像データと検索文章データ３０と受信すると、サーバ１００よりも高精度な処理によって、Ｎ個の候補画像データと検索文章データ３０との類似度をそれぞれ算出し、Ｎ個の候補画像データと検索文章データ３０との複数の類似度をサーバ１００に送信する（ステップＳ６）。サーバ１００は、サーバ２００から受信した類似度によって、ランキングが最上位からＮ番目までの候補画像データと、文章ベクトルとの類似度を更新し、更新した類似度によって、各候補画像データのランキングを更新する。サーバ１００は、更新したランキング結果を、ユーザ端末２０に通知する。

【0033】

たとえば、サーバ１００は、類似度の計算を行う場合、候補画像データの画像ベクトルと、検索文章データの文章ベクトルとのコサイン類似度を計算する。一方、サーバ２００は、訓練済みの学習モデル（ＮＮ：Neural Network）に、候補画像データと、検索文章データとを入力することで、候補画像データと、検索文章データとの類似度を算出する。コサイン類似度は、計算コストが少ないが、学習モデルによる類似度の算出結果と比較して、精度が低い。上記のような処理を行うことで、コサイン類似度によるランキング結果を先に通知し、後から、学習モデルを用いた結果によって、ランキング結果を修正することができ、より正確な類似度の情報を、ユーザ端末２０に通知することができる。なお、候補画像データの画像ベクトルと検索文章データの文章ベクトルとの類似度の算出には、コサイン類似度に代えて、例えば、候補画像データの画像ベクトルと検索文章データの文章ベクトルの内積やユークリッド距離を用いられてもよい。ベクトルの内積やユークリッド距離についても、計算コストが少ない類似度の算出手法として採用することが可能である。ベクトルの内積を類似度に用いる場合、内積の値が大きいほど類似度は高くなる。ベクトルのユークリッド距離を類似度に用いる場合、ユークリッド距離の値が小さい（距離が近い）ほど類似度は高くなる。また、候補画像データの画像ベクトルと検索文章データの文章ベクトルとの類似度は、ベクトルのコサイン類似度、内積、ユークリッド距離の２つ以上に基づいて算出される指標値であってもよい。

【0034】

次に、本実施例に係るユーザ側のサーバ１００の構成例と、サービスプロバイダ側のサーバ２００の構成例とについて順に説明する。

【0035】

まず、ユーザ側のサーバ１００の構成例について説明する。図２は、本実施例に係るユーザ側のサーバの構成を示す機能ブロック図である。図２に示すように、サーバ１００は、通信部１１０、入力部１２０、表示部１３０、記憶部１４０、制御部１５０を有する。

【0036】

通信部１１０は、ネットワークを介して、ユーザ端末２０、サーバ２００との間でデータ通信を実行する。後述する制御部１５０は、通信部１１０を介して、ユーザ端末２０、サーバ２００との間でデータをやり取りする。

【0037】

入力部１２０は、サーバ１００の制御部１５０に各種の情報を入力する入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。

【0038】

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。

【0039】

記憶部１４０は、検索文章データ３０と、文章ベクトル３１と、候補画像テーブル１４１と、類似度テーブル１４２とを有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

【0040】

検索文章データ３０は、ユーザ端末２０から受け付けるテキストデータである。たとえば、検索文章データ３０は「dog running in the park」である。検索文章データ３０は、「dog running in the park」以外のテキストデータであってもよい。

【0041】

文章ベクトル３１は、検索文章データ３０を基に算出されるベクトルである。文章ベクトル３１は、サーバ２００によって算出される。

【0042】

候補画像テーブル１４１は、候補画像データに関する情報を保持する。図３は、候補画像テーブルのデータ構造の一例を示す図である。図３に示すように、この候補画像テーブルは、識別情報と、候補画像データと、画像ベクトルとを対応付ける。識別情報は、候補画像データを識別する情報である。候補画像データは、検索文章データとの類似度の比較対象となる画像データである。画像ベクトルは、候補画像データを基に算出されるベクトルである。画像ベクトルは、サーバ２００によって算出される。

【0043】

以下の説明では、適宜、識別情報「Ｉｍｎ」の候補画像データを、候補画像データＩｍｎと表記する。ｎは自然数である。たとえば、識別情報Ｉｍ１の候補画像データを、候補画像データＩｍ１と表記する。

【0044】

類似度テーブル１４２は、文章ベクトル３１と、各画像ベクトルとの類似度の情報を保持するテーブルである。図４は、類似度テーブルのデータ構造の一例を示す図である。図４に示すように、この類似度テーブル１４２は、識別情報と、類似度とを対応付ける。識別情報は、候補画像データを識別する情報である。類似度は、該当する候補画像データの画像ベクトルと、文章ベクトル３１との類似度を示す。たとえば、図４の１行目のレコードでは、識別情報Ｉｍ１の候補画像データの画像ベクトルと、文章ベクトル３１との類似度が「Ｓｉ_１」であることが示される。

【0045】

図２の説明に戻る。制御部１５０は、取得部１５１、ベクトル要求部１５２、算出部１５３、ランキング処理部１５４、通知部１５５を有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジック等によって実現される。

【0046】

取得部１５１は、ユーザ端末２０から検索文章データ３０を取得する。取得部１５１は、取得した検索文章データ３０を記憶部１４０に格納する。本実施例では、取得部１５１は、ユーザ端末２０から検索文章データ３０を取得する場合について説明するが、入力部１２０から、検索文章データを取得してもよい。

【0047】

ベクトル要求部１５２は、候補画像テーブル１４１に登録された全ての候補画像データを、サーバ２００に送信し、各候補画像データの画像ベクトルを要求する。たとえば、ベクトル要求部１５２は、各候補画像データの画像ベクトルを要求する場合、第１要求データを、サーバ２００に送信する。第１要求データには、候補画像テーブル１４１に登録された全ての候補画像データが含まれ、各候補画像データには、識別情報を付与される。

【0048】

ベクトル要求部１５２は、第１要求データを送信した後、サーバ２００から、各候補画像データの画像ベクトルを受信すると、各候補画像データの画像ベクトルを、識別情報と対応付けて、候補画像テーブル１４１に格納する。画像ベクトルには、対応する候補画像データに識別情報が付与されているものとする。ベクトル要求部１５２は、上記の処理を事前に実行する。

【0049】

また、ベクトル要求部１５２は、取得部１５１によって、検索文章データ３０が、記憶部１４０に格納された時点で、検索文章データ３０を、サーバ２００に送信し、文章ベクトルを要求する。ベクトル要求部１５２は、サーバ２００から、文章ベクトル３１を受信すると、受信した文章ベクトル３１を、記憶部１４０に格納する。

【0050】

算出部１５３は、候補画像テーブル１４１に格納された各候補画像データの画像ベクトルと、文章ベクトル３１との類似度（コサイン類似度）を算出する。算出部１５３は、算出した類似度を、該当する識別情報に対応付けて、類似度テーブル１４２に格納する。たとえば、算出部１５３は、候補画像データＩｍｎと、文章ベクトル３１との類似度を、識別情報「Ｉｍｎ」と対応付けて、類似度テーブル１４２に登録する。

【0051】

算出部１５３は、候補画像テーブル１４１に格納された各画像ベクトルについて、上記処理を繰り返し実行する。

【0052】

ランキング処理部１５４は、類似度テーブル１４２を基にして、検索文章データ３０に類似する候補画像データのランキングを行う。たとえば、ランキング処理部１５４は、類似度テーブル１４２の識別情報を、類似度の大きいものから降順にソートし、最上位からＮ位までの識別情報を特定する。ランキング処理部１５４は、最上位からＮ位までの識別情報を、通知部１５５に出力する。

【0053】

また、ランキング処理部１５４は、最上位からＮ位までの識別情報に対応する候補画像データを、候補画像テーブル１４１から取得する。以下の説明では、最上位からＮ位までの識別情報に対応する候補画像データを「特定画像データ」と表記する。

【0054】

ランキング処理部１５４は、Ｎ個の特定画像データと、検索文章データ３０とを含む第２要求データを、サーバ２００に送信して、類似度の算出を要求する。第２要求データに含まれるＮ個の特定画像データには、識別情報が付与される。

【0055】

ランキング処理部１５４は、第２要求データを送信した後、サーバ２００から、各特定画像データと、検索文章データ３０との類似度を受信すると、受信した類似度を基にして、類似度テーブル１４２の特定画像データの識別情報に対応する類似度を更新する。

【0056】

ランキング処理部１５４は、類似度テーブル１４２を更新した後に、類似度テーブル１４２を基にして、検索文章データ３０に類似する候補画像データのランキングを再度実行し、最上位からＮ位までの識別情報を、通知部１５５に出力する。

【0057】

通知部１５５は、ランキング処理部１５４から、最上位からＮ位までの識別情報を受け付け、受け付けた識別情報に対応する候補画像データを、候補画像テーブル１４１から取得する。通知部１５５は、取得した候補画像データを、処理結果として、ユーザ端末２０に通知する。

【0058】

続いて、サービスプロバイダ側のサーバ２００の構成例について説明する。図５は、サービスプロバイダ側のサーバの構成を示す機能ブロック図である。図５に示すように、サーバ２００は、通信部２１０、記憶部２４０、制御部２５０を有する。

【0059】

通信部２１０は、ネットワークを介して、ユーザ側のサーバ１００との間でデータ通信を実行する。後述する制御部２５０は、通信部２１０を介して、サーバ１００との間でデータをやり取りする。

【0060】

記憶部２４０は、制御部２５０が利用する各種のデータを格納する。記憶部２４０は、サーバ１００から送信される候補画像データ、検索文章データ３０等を一時的に保持する。記憶部２４０は、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。

【0061】

制御部２５０は、受付部２５１、ベクトル算出部２５２、類似度算出部２５３、送信部２５４を有する。制御部２５０は、ＣＰＵやＧＰＵ、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジック等によって実現される。

【0062】

受付部２５１は、サーバ１００から各種の要求を受付ける。受付部２５１は、サーバ１００から、第１要求データを受信した場合には、第１要求データを、ベクトル算出部２５２に出力する。受付部２５１は、サーバ１００から、検索文章データ３０を受信した場合には、検索文章データ３０を、ベクトル算出部２５２に出力する。受付部２５１は、第２要求データを受信した場合には、第２要求データを、類似度算出部２５３に出力する。

【0063】

ベクトル算出部２５２は、第１要求データを受け付けると、第１要求データに含まれる複数の候補画像データの画像ベクトルをそれぞれ算出する。ベクトル算出部２５２は、算出した各画像ベクトルに、対応する候補画像データの識別情報を付与し、各画像ベクトルを、送信部２５４に出力する。ベクトル算出部２５２は、画像ベクトルを算出した後、候補画像データを削除する。

【0064】

ベクトル算出部２５２は、検索文章データ３０を受け付けると、検索文章データ３０の文章ベクトル３１を算出する。ベクトル算出部２５２は、算出した文章ベクトル３１を、送信部２５４に出力する。ベクトル算出部２５２は、文章ベクトル３１を算出した後、検索文章データ３０を削除する。

【0065】

たとえば、ベクトル算出部２５２は、参考技術（Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks, https://arxiv.org/abs/1908.02265）に記載された第１学習モデル（ViLBERT）を用いて、画像ベクトル、文章ベクトルを算出する。かかる第１学習モデルは、ある文章の文章ベクトルと、このある文章に対応する画像データの画像ベクトルとが類似するように、訓練されている。たとえば、ある文章「dog running in the park」の文章ベクトルと、犬が入っている画像データの画像ベクトルとが類似するベクトルとなるように、第１学習モデルのパラメータは訓練されている。

【0066】

ベクトル算出部２５２は、候補画像データを、第１学習モデルに入力することで、画像ベクトルを算出する。ベクトル算出部２５２は、検索文章データ３０を、第１学習モデルに入力することで、文章ベクトルを算出する。なお、候補画像データと、文章データとを同時に、第１学習モデルに入力すると、画像ベクトルと、文章ベクトルとが出力される。

【0067】

類似度算出部２５３は、第２要求データを受け付けると、第２要求データに含まれる複数の特定画像データ（Ｎ個の特定画像データ）と、検索文章データ３０との類似度をそれぞれ算出する。たとえば、類似度算出部２５３は、第２学習モデルに、一つの特定画像データと、検索文章データ３０とを入力することで、係る一つの特定画像データと、検索文章データ３０との類似度を算出する。係る第２学習モデルは、ある画像データおよびある文章データを入力とし、係るある画像データとある文章データとの類似度を正解ラベルとした訓練データセットを用いて、事前に訓練されているものとする。

【0068】

類似度算出部２５３は、算出した複数の類似度（Ｎ個の類似度）に、対応する特定画像データの識別情報を付与し、複数の類似度を、送信部２５４に出力する。類似度算出部２５３は、類似度を算出した後、各特定画像データ、検索文章データ３０を削除する。

【0069】

送信部２５４は、ベクトル算出部２５２から、各候補画像データの識別情報が付与された複数の画像ベクトルを受け付けた場合には、複数の画像ベクトルを、サーバ１００に送信する。送信部２５４は、複数の画像ベクトルを、サーバ１００に送信した後、画像ベクトルを削除する。

【0070】

送信部２５４は、ベクトル算出部２５２から、検索文章データ３０の文章ベクトル３１を受け付けた場合には、文章ベクトル３１を、サーバ１００に送信する。送信部２５４は、文章ベクトル３１を、サーバ１００に送信した後、文章ベクトル３１を削除する。

【0071】

送信部２５４は、類似度算出部２５３から、各特定画像データの識別情報が付与された複数の類似度を受け付けた場合には、複数の類似度を、サーバ１００に送信する。

【0072】

次に、図２に示したユーザ側のサーバ１００の処理手順の一例について説明する。図６は、本実施例に係るユーザ側のサーバの処理手順を示すフローチャートである。図６に示すように、サーバ１００のベクトル要求部１５２は、第１要求データを、サービスプロバイダ側のサーバ２００に送信する（ステップＳ１０１）。ベクトル要求部１５２は、サービスプロバイダ側のサーバ２００から、各候補画像の画像ベクトルを受信し、候補画像テーブル１４１に格納する（ステップＳ１０２）。

【0073】

サーバ１００の取得部１５１は、ユーザ端末２０から検索文章データ３０を取得しない場合には（ステップＳ１０３，Ｎｏ）、再度、ステップＳ１０３に移行する。一方、取得部１５１は、ユーザ端末２０から検索文章データ３０を取得した場合には（ステップＳ１０３，Ｙｅｓ）、ステップＳ１０４に移行する。

【0074】

ベクトル要求部１５２は、検索文章データ３０を、サービスプロバイダ側のサーバ２００に送信する（ステップＳ１０４）。ベクトル要求部１５２は、サービスプロバイダ側のサーバ２００から、文章ベクトル３１を受信し、記憶部１４０に格納する（ステップＳ１０５）。

【0075】

サーバ１００の算出部１５３は、候補画像テーブル１４１に格納された各画像ベクトルと、文章ベクトルとの類似度を算出し、算出結果を類似度テーブル１４２に格納する（ステップＳ１０６）。

【0076】

サーバ１００のランキング処理部１５４は、各類似度を基にして、最上位からＮ位までの特定画像データをランキングする（ステップＳ１０７）。サーバ１００の通知部１５５は、ランキング結果をユーザ端末２０に通知する（ステップＳ１０８）。

【0077】

ランキング処理部１５４は、第２要求データを、サービスプロバイダ側のサーバ２００に送信する（ステップＳ１０９）。ランキング処理部１５４は、サービスプロバイダ側のサーバ２００から、各類似度を受信し、類似度テーブル１４２の類似度を更新する（ステップＳ１１０）。

【0078】

ランキング処理部１５４は、更新した各類似度を基にして、最上位からＮ位までの特定画像データを再度ランキングする（ステップＳ１１１）。通知部１５５は、ランキング結果をユーザ端末２０に再度通知する（ステップＳ１１２）。

【0079】

次に、図５に示したサービスプロバイダ側のサーバ２００の処理手順の一例について説明する。図７は、本実施例に係るサービスプロバイダ側のサーバの処理手順を示すフローチャートである。図７に示すように、サーバ２００の受付部２５１は、第１要求データを、ユーザ側のサーバ１００から受信する（ステップＳ２０１）。

【0080】

サーバ２００のベクトル算出部２５２は、第１要求データに含まれる各候補画像データの画像ベクトルを算出する（ステップＳ２０２）。サーバ２００の送信部２５４は、各候補画像データの画像ベクトルを、ユーザ側のサーバ１００に送信する（ステップＳ２０３）。

【0081】

受付部２５１は、検索文章データ３０を、ユーザ側のサーバ１００から受信する（ステップＳ２０４）。ベクトル算出部２５２は、検索文章データ３０の文章ベクトル３１を算出する（ステップＳ２０５）。送信部２５４は、文章ベクトル３１を、ユーザ側のサーバ１００に送信する（ステップＳ２０６）。

【0082】

受付部２５１は、第２要求データを、ユーザ側のサーバ１００から受信する（ステップＳ２０７）。サーバ２００の類似度算出部２５３は、第２要求データに含まれる各特定画像データと、検索文章データ３０との類似度を算出する（ステップＳ２０８）。送信部２５４は、各類似度を、ユーザ側のサーバ１００に送信する（ステップＳ２０９）。

【0083】

次に、本実施例に係る情報処理システムの効果について説明する。ユーザ側のサーバ１００は、検索条件の検索文章データ３０を取得した際、文章ベクトルの算出をサーバ２００に依頼し、サーバ２００から通知される文章ベクトルを受信する。サーバ１００は、受信した文章ベクトルと、サーバ２００から事前に取得したおいた複数の画像ベクトルとを用いて、検索文章データと候補画像データとの類似度を算出し、類似度算出について、効率化を図ることができる。すなわち、検索文章データに対する各候補画像データの類似度を算出する場合に、ユーザ側のサーバ１００に大規模な計算リソースを準備せずに、ネットワーク負荷をかけず、高速に処理結果をユーザ端末２０に通知することができる。

【0084】

また、サーバ１００は、類似度の計算を行う場合、候補画像データの画像ベクトルと、検索文章データの文章ベクトルとのコサイン類似度を計算する。一方、サーバ２００は、訓練済みの学習モデルに、候補画像データと、検索文章データとを入力することで、候補画像データと、検索文章データとの類似度を算出する。コサイン類似度は、計算コストが少ないが、学習モデルによる類似度の算出結果と比較して、精度が低い。サーバ１００は、コサイン類似度に基づくランキング結果を、ユーザ端末２０に通知しておき、第２要求データを、サーバ２００に送信して、精度のよりよい類似度を受信する。サーバ１００が、かかる処理を行うことで、コサイン類似度によるランキング結果を先に通知し、後から、学習モデルを用いた結果によって、ランキング結果を修正することができ、より正確なランキング情報を、ユーザ端末２０に通知することができる。

【0085】

ところで、上述した情報処理システムは一例であり、たとえば、図１の情報システムに限定されるものではない。以下では、その他の情報処理システムの一例について説明する。

【0086】

図８は、その他の情報処理システムの例を示す図（１）である。図８に示すように、この情報処理システムは、ユーザ側のサーバが複数存在する。たとえば、ユーザ側のサーバを、サーバ１００ａ，１００ｂとする。サーバ１００ａは、ユーザ端末２０ａ，２０ｂ，２０ｃから、検索文章データを取得し、図２で説明したサーバ１００に対応する処理を実行する。サーバ１００ｂは、ユーザ端末２０ｄ，２０ｅ，２０ｆから、検索文章データを取得し、図２で説明したサーバ１００に対応する処理を実行する。サーバ２００は、サーバ１００ａ，１００ｂから、ベクトル算出、類似度算出の要求を受付け、算出結果を、サーバ１００ａ，１００ｂに送信する。

【0087】

図８に情報処理システムの構成とすることで、ユーザ端末のあるグループ毎に、それぞれ独自の候補画像データを格納して、検索文章データに対応するランキング結果を通知することができる。たとえば、ユーザ端末２０ａ～２０ｃと、ユーザ端末２０ｄ～２０ｆとで、候補画像データを共有できない場合に、図８の情報処理システムは有効である。

【0088】

図９は、その他の情報処理システムの例を示す図（２）である。図９に示すように、この情報処理システムは、ユーザ端末２１ａ，２１ｂと、サーバ２００とを有する。ユーザ端末２１ａ、２１ｂは、図２で説明したサーバ１００と同様の機能を有し、サーバ１００の代わりに、サーバ２００と直接データ通信を行う。サーバ２００は、サーバ１００と同様の処理を実行するためのプログラムを、ユーザ端末２１ａ，２１ｂに通知して、実行させてもよい。

【0089】

たとえば、ユーザ端末２１ａは、事前に、第１要求データをサーバ２００に送信しておき、候補画像データの画像ベクトルを受信しておく。また、検索文章データを、サーバ２００に送信して、文章ベクトルを受信し、各画像ベクトルと、文章ベクトルとの類似度を算出し、ランキングを行う。ユーザ端末２１ｂも、ユーザ端末２１ａと同様の処理を実行する。

【0090】

図９に情報処理システムの構成とすることで、ユーザ端末毎に、それぞれ独自の候補画像データを格納している場合でも、各ユーザ端末が、ランキング結果を得ることができる。

【0091】

次に、上述したユーザ側のサーバ１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１０は、実施例のユーザ側のサーバと同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【0092】

図１０に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、有線または無線ネットワークを介して、外部装置等との間でデータの授受を行う通信装置３０４と、インタフェース装置３０５とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１～３０７は、バス３０８に接続される。

【0093】

ハードディスク装置３０７は、取得プログラム３０７ａ、ベクトル要求プログラム３０７ｂ、算出プログラム３０７ｃ、ランキング処理プログラム３０７ｄ、通知プログラム３０７ｅを有する。また、ＣＰＵ３０１は、各プログラム３０７ａ～３０７ｅを読み出してＲＡＭ３０６に展開する。

【0094】

取得プログラム３０７ａは、取得プロセス３０６ａとして機能する。ベクトル要求プログラム３０７ｂは、ベクトル要求プロセス３０６ｂとして機能する。算出プログラム３０７ｃは、算出プロセス３０６ｃとして機能する。ランキング処理プログラム３０７ｄは、ランキング処理プロセス３０６ｄとして機能する。通知プログラム３０７ｅは、通知プロセス３０６ｅとして機能する。

【0095】

取得プロセス３０６ａの処理は、取得部１５１の処理に対応する。ベクトル要求プロセス３０６ｂの処理は、ベクトル要求部１５２の処理に対応する。算出プロセス３０６ｃの処理は、算出部１５３の処理に対応する。ランキング処理プロセス３０６ｄの処理は、ランキング処理部１５４の処理に対応する。通知プロセス３０６ｅの処理は、通知部１５５の処理に対応する。

【0096】

なお、各プログラム３０７ａ～３０７ｅについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくても良い。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ～３０７ｅを読み出して実行するようにしてもよい。

【0097】

上述したサービスプロバイダ側のサーバ２００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１１は、実施例のサービスプロバイダ側のサーバと同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【0098】

図１１に示すように、コンピュータ４００は、各種演算処理を実行するＣＰＵ４０１と、ユーザからのデータの入力を受け付ける入力装置４０２と、ディスプレイ４０３とを有する。また、コンピュータ４００は、有線または無線ネットワークを介して、外部装置等との間でデータの授受を行う通信装置４０４と、インタフェース装置４０５とを有する。また、コンピュータ４００は、各種情報を一時記憶するＲＡＭ４０６と、ハードディスク装置４０７とを有する。そして、各装置４０１～４０７は、バス４０８に接続される。

【0099】

ハードディスク装置４０７は、受付プログラム４０７ａ、ベクトル算出プログラム４０７ｂ、類似度算出プログラム４０７ｃ、送信プログラム４０７ｄを有する。また、ＣＰＵ４０１は、各プログラム４０７ａ～４０７ｄを読み出してＲＡＭ４０６に展開する。

【0100】

受付プログラム４０７ａは、受付プロセス４０６ａとして機能する。ベクトル算出プログラム４０７ｂは、ベクトル算出プロセス４０６ｂとして機能する。類似度算出プログラム４０７ｃは、類似度算出プロセス４０６ｃとして機能する。送信プログラム４０７ｄは、送信プロセス４０６ｄとして機能する。

【0101】

受付プロセス４０６ａの処理は、受付部２５１の処理に対応する。ベクトル算出プロセス４０６ｂの処理は、ベクトル算出部２５２の処理に対応する。類似度算出プロセス４０６ｃの処理は、類似度算出部２５３の処理に対応する。送信プロセス４０６ｄの処理は、送信部２５４の処理に対応する。

【0102】

なお、各プログラム４０７ａ～４０７ｄについては、必ずしも最初からハードディスク装置４０７に記憶させておかなくても良い。例えば、コンピュータ４００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ４００が各プログラム４０７ａ～４０７ｄを読み出して実行するようにしてもよい。

【0103】

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0104】

（付記１）複数の画像データにそれぞれ対応する複数の第１特徴量データを、通信可能なサーバ装置から受信し、
検索条件に含まれるテキストデータを取得し、
取得した前記テキストデータを前記サーバ装置に送信することに応じて、前記サーバ装置から送信される、前記テキストデータに対応する第２特徴量データを受信し、
前記複数の第１特徴量データと前記第２特徴量データとの複数の類似度を算出する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【0105】

（付記２）前記複数の類似度の算出結果を出力する処理を更にコンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

【0106】

（付記３）前記第１特徴量データおよび前記第２特徴量データは、ベクトルデータであり、前記複数の類似度を算出する処理は、前記複数の第１特徴量データと前記第２特徴量データとの複数のコサイン類似度、内積、ユークリッド距離の少なくともいずれかに基づいて、前記複数の類似度を算出することを特徴とする付記１に記載の情報処理プログラム。

【0107】

（付記４）前記複数の類似度のうち、前記第２特徴量データとの類似度が、最大類似度から所定数番目までの複数の類似度に対応する複数の第１特徴量データであって、該複数の第１特徴量データに対応する画像データを、特定画像データとして選択し、選択した複数の特定画像データと、前記テキストデータとを前記サーバ装置に送信して、前記サーバ装置により算出された前記複数の特定画像データと前記テキストデータとの複数の類似度を受信し、受信した複数の類似度によって、前記算出する処理により算出された複数の類似度を修正する処理を更にコンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

【0108】

（付記５）複数の画像データにそれぞれ対応する複数の第１特徴量データを、通信可能なサーバ装置から受信し、
検索条件に含まれるテキストデータを取得し、
取得した前記テキストデータを前記サーバ装置に送信することに応じて、前記サーバ装置から送信される、前記テキストデータに対応する第２特徴量データを受信し、
前記複数の第１特徴量データと前記第２特徴量データとの複数の類似度を算出する
処理をコンピュータが実行することを特徴とする情報処理方法。

【0109】

（付記６）前記複数の類似度の算出結果を出力する処理を更にコンピュータが実行することを特徴とする付記５に記載の情報処理方法。

【0110】

（付記７）前記第１特徴量データおよび前記第２特徴量データは、ベクトルデータであり、前記複数の類似度を算出する処理は、前記複数の第１特徴量データと前記第２特徴量データとの複数のコサイン類似度、内積、ユークリッド距離の少なくともいずれかに基づいて、前記複数の類似度を算出することを特徴とする付記５に記載の情報処理方法。

【0111】

（付記８）前記複数の類似度のうち、前記第２特徴量データとの類似度が、最大類似度から所定数番目までの複数の類似度に対応する複数の第１特徴量データであって、該複数の第１特徴量データに対応する画像データを、特定画像データとして選択し、選択した複数の特定画像データと、前記テキストデータとを前記サーバ装置に送信して、前記サーバ装置により算出された前記複数の特定画像データと前記テキストデータとの複数の類似度を受信し、受信した複数の類似度によって、前記算出する処理により算出された複数の類似度を修正する処理を更にコンピュータが実行することを特徴とする付記５に記載の情報処理方法。

【0112】

（付記９）複数の画像データにそれぞれ対応する複数の第１特徴量データを、通信可能なサーバ装置から受信し、
検索条件に含まれるテキストデータを取得し、
取得した前記テキストデータを前記サーバ装置に送信することに応じて、前記サーバ装置から送信される、前記テキストデータに対応する第２特徴量データを受信し、
前記複数の第１特徴量データと前記第２特徴量データとの複数の類似度を算出する
処理を実行する制御部を有する情報処理装置。

【0113】

（付記１０）前記制御部は、前記複数の類似度の算出結果を出力する処理を更に実行することを特徴とする付記９に記載の情報処理装置。

【0114】

（付記１１）前記第１特徴量データおよび前記第２特徴量データは、ベクトルデータであり、前記複数の類似度を算出する処理は、前記複数の第１特徴量データと前記第２特徴量データとの複数のコサイン類似度、内積、ユークリッド距離の少なくともいずれかに基づいて、前記複数の類似度を算出することを特徴とする付記９に記載の情報処理装置。

【0115】

（付記１２）前記制御部は、前記複数の類似度のうち、前記第２特徴量データとの類似度が、最大類似度から所定数番目までの複数の類似度に対応する複数の第１特徴量データであって、該複数の第１特徴量データに対応する画像データを、特定画像データとして選択し、選択した複数の特定画像データと、前記テキストデータとを前記サーバ装置に送信して、前記サーバ装置により算出された前記複数の特定画像データと前記テキストデータとの複数の類似度を受信し、受信した複数の類似度によって、前記算出する処理により算出された複数の類似度を修正する処理を更に実行することを特徴とする付記９に記載の情報処理装置。

【0116】

（付記１３）情報処理装置と、前記情報処理装置と通信可能なサーバ装置とを有する情報処理システムであって、
前記情報処理装置は、
複数の画像データにそれぞれ対応する複数の第１特徴量データを、前記サーバ装置から受信し、
検索条件に含まれるテキストデータを取得し、
取得した前記テキストデータを前記サーバ装置に送信することに応じて、前記サーバ装置から送信される、前記テキストデータに対応する第２特徴量データを受信し、
前記複数の第１特徴量データと前記第２特徴量データとの複数の類似度を算出する
処理を実行する制御部を有することを特徴とする情報処理システム。

【0117】

（付記１４）前記制御部は、前記複数の類似度の算出結果を出力する処理を更に実行することを特徴とする付記１３に記載の情報処理システム。

【0118】

（付記１５）前記第１特徴量データおよび前記第２特徴量データは、ベクトルデータであり、前記複数の類似度を算出する処理は、前記複数の第１特徴量データと前記第２特徴量データとの複数のコサイン類似度、内積、ユークリッド距離の少なくともいずれかに基づいて、前記複数の類似度を算出することを特徴とする付記１３に記載の情報処理システム。

【0119】

（付記１６）前記制御部は、前記複数の類似度のうち、前記第２特徴量データとの類似度が、最大類似度から所定数番目までの複数の類似度に対応する複数の第１特徴量データであって、該複数の第１特徴量データに対応する画像データを、特定画像データとして選択し、選択した複数の特定画像データと、前記テキストデータとを前記サーバ装置に送信して、前記サーバ装置により算出された前記複数の特定画像データと前記テキストデータとの複数の類似度を受信し、受信した複数の類似度によって、前記算出する処理により算出された複数の類似度を修正する処理を更に実行することを特徴とする付記１３に記載の情報処理システム。

【符号の説明】

【0120】

３０ 検索文章データ
３１ 文章ベクトル
１００，２００ サーバ
１１０，２１０ 通信部
１２０ 入力部
１３０ 表示部
１４０，２４０ 記憶部
１４１ 候補画像テーブル
１４２ 類似度テーブル
１５０，２５０ 制御部
１５１ 取得部
１５２ ベクトル要求部
１５３ 算出部
１５４ ランキング処理部
１５５ 通知部
２５１ 受付部
２５２ ベクトル算出部
２５３ 類似度算出部
２５４ 送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】