特許 7110293 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-22

(45)【発行日】2022-08-01

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   G06F 16/903 20190101AFI20220725BHJP

   G06T 7/00 20170101ALI20220725BHJP

   G06Q 50/10 20120101ALI20220725BHJP

【ＦＩ】

G06F16/903

G06T7/00 300F

G06Q50/10

【請求項の数】 7

(21)【出願番号】P 2020161820

(22)【出願日】2020-09-28

(65)【公開番号】P2022054663

(43)【公開日】2022-04-07

【審査請求日】2020-09-28

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天グループ株式会社

(74)【代理人】

【識別番号】110000154

【氏名又は名称】特許業務法人はるか国際特許事務所

(72)【発明者】

【氏名】中澤 満

(72)【発明者】

【氏名】友岡 高志

【審査官】松尾 真人

(56)【参考文献】

【文献】特表２０２０－５２６８３５（ＪＰ，Ａ）

【文献】特開２０１５－１１１３３９（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２００８－００３６２３１（ＫＲ，Ａ）

【文献】国際公開第２０１９／１８７１０７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

第１のアカウントにより登録される第１の画像の背景領域、および、第２のアカウントにより登録される第２の画像の背景領域を特定する背景特定部と、
前記第１の画像の背景領域、および、前記第２の画像の背景領域に基づいて、前記第１のアカウントを所有するユーザと前記第２のアカウントを所有するユーザとが同一であるか否かを示す同一情報を出力する情報出力部と、
を含み、
前記情報出力部は、前記第１の画像の局所的な特徴をそれぞれ示す複数の第１の局所特徴ベクトルを取得し、前記第２の画像の局所的な特徴をそれぞれ示す複数の第２の局所特徴ベクトルを取得し、前記複数の第１の局所特徴ベクトルのそれぞれに対応する前記第２の局所特徴ベクトルを決定し、
前記情報出力部は、前記第１の画像において複数の第１の局所特徴ベクトルの少なくとも一部が抽出された位置と、前記第２の画像において前記第１の局所特徴ベクトルのそれぞれに対応する前記第２の局所特徴ベクトルが抽出された位置とに基づいて、前記第１の局所特徴ベクトルの少なくとも一部が抽出される複数の点のそれぞれの３次元位置を推定し、前記推定された複数の点の３次元位置に基づいて、前記同一情報を出力する、
情報処理装置。

【請求項2】

請求項１に記載の情報処理装置であって、
前記背景特定部は、第１の画像の背景領域、および、複数の第２の画像のそれぞれの背景領域を特定し、
前記情報出力部は、前記第１の画像から抽出される第１の全体特徴ベクトルと、前記複数の第２の画像のそれぞれから抽出される複数の第２の全体特徴ベクトルとに基づいて、前記複数の第２の画像から、背景領域が前記第１の画像の背景領域に類似する複数の候補画像を選択し、
前記情報出力部は、前記第１の画像の局所的な特徴をそれぞれ示す複数の第１の局所特徴ベクトルと、前記候補画像のいずれかの局所的な特徴をそれぞれ示す複数の第２の局所特徴ベクトルを取得し、前記第１のアカウントを所有するユーザと前記第２のアカウントを所有するユーザとが同一であるか否かを示す同一情報を出力する、
情報処理装置。

【請求項3】

請求項１または２に記載の情報処理装置であって、
前記背景特定部は、少なくとも１つの第１の画像の背景領域、および、複数の第２の画像のそれぞれの背景領域を特定し、
前記情報出力部は、前記少なくとも１つの第１の画像の背景領域、および、前記複数の第２の画像の背景領域に基づいて、前記第１の画像に対応する１または複数の第２の画像を探索し、前記少なくとも１つの第１の画像に対応する１または複数の第２の画像に基づいて、前記同一情報を出力する、
情報処理装置。

【請求項4】

請求項１から３のいずれかに記載の情報処理装置であって、
前記同一情報は、前記第１のアカウントを所有するユーザと前記第２のアカウントを所有するユーザとが同一であるか否かの判定結果である、
情報処理装置。

【請求項5】

請求項１から４のいずれかに記載の情報処理装置であって、
前記同一情報は、前記第１のアカウントを所有するユーザと前記第２のアカウントを所有するユーザとが同一である可能性の大きさを示す、
情報処理装置。

【請求項6】

背景特定部が、第１のアカウントにより登録される第１の画像の背景領域、および、第２のアカウントにより登録される第２の画像の背景領域を特定するステップと、
情報出力部が、前記第１の画像の背景領域、および、前記第２の画像の背景領域に基づいて、前記第１のアカウントを所有するユーザと前記第２のアカウントを所有するユーザとが同一であるか否かを示す同一情報を出力するステップと、
を含み、
前記同一情報を出力するステップでは、
情報出力部が、前記第１の画像の局所的な特徴をそれぞれ示す複数の第１の局所特徴ベクトルを取得し、前記第２の画像の局所的な特徴をそれぞれ示す複数の第２の局所特徴ベクトルを取得し、前記複数の第１の局所特徴ベクトルのそれぞれに対応する前記第２の局所特徴ベクトルを決定し、
前記情報出力部が、前記第１の画像において複数の第１の局所特徴ベクトルの少なくとも一部が抽出された位置と、前記第２の画像において前記第１の局所特徴ベクトルのそれぞれに対応する前記第２の局所特徴ベクトルが抽出された位置とに基づいて、前記第１の局所特徴ベクトルの少なくとも一部が抽出される複数の点のそれぞれの３次元位置を推定し、前記推定された複数の点の３次元位置に基づいて、前記同一情報を出力する、
情報処理方法。

【請求項7】

第１のアカウントにより登録される第１の画像の背景領域、および、第２のアカウントにより登録される第２の画像の背景領域を特定する背景特定部、および、
前記第１の画像の背景領域、および、前記第２の画像の背景領域に基づいて、前記第１のアカウントを所有するユーザと前記第２のアカウントを所有するユーザとが同一であるか否かを示す同一情報を出力する情報出力部、
としてコンピュータを機能させ、
前記情報出力部は、前記第１の画像の局所的な特徴をそれぞれ示す複数の第１の局所特徴ベクトルを取得し、前記第２の画像の局所的な特徴をそれぞれ示す複数の第２の局所特徴ベクトルを取得し、前記複数の第１の局所特徴ベクトルのそれぞれに対応する前記第２の局所特徴ベクトルを決定し、
前記情報出力部は、前記第１の画像において複数の第１の局所特徴ベクトルの少なくとも一部が抽出された位置と、前記第２の画像において前記第１の局所特徴ベクトルのそれぞれに対応する前記第２の局所特徴ベクトルが抽出された位置とに基づいて、前記第１の局所特徴ベクトルの少なくとも一部が抽出される複数の点のそれぞれの３次元位置を推定し、前記推定された複数の点の３次元位置に基づいて、前記同一情報を出力する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は情報処理装置、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

オンライン上では様々なサービスが提供されている。ユーザはそのサービスを利用するためにアカウントを作成し、作成されたアカウントを用いてサービスを利用する。通常は１つのサービスに対してユーザが作成するアカウントの数は１であるが、あるユーザが１つのサービスに対して複数のアカウントを作成することがある。サービス運営者は、アカウントの利用状況を把握するため、同一のユーザにより作成された複数のアカウントを検出する処理を行っている。

【0003】

下記特許文献１では複数のアカウントのそれぞれのプロフィール情報を用いて一致度を算出し、算出した一致度に基づいてアカウントの利用者が同一人物であるか否かを判定する技術が開示されている。また、下記特許文献２では、各アカウントのプロフィール情報や各アカウントのユーザにより投稿されたＧＥＯタグ等により特定される位置情報に基づいて同一ユーザが有するアカウントを特定する技術が開示されている。また、下記特許文献３には、ソーシャルメディアのユーザの投稿情報を対比し、投稿によく使用している語句、入力の癖、投稿内容等の一致または類似に基づいて、同一のユーザを特定する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－１２２６３０号公報

【文献】国際公開第２０１９／２３４８２７号明細書

【文献】特開２０１７－１５１５７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

今までの手法では同一ユーザにより作成された複数のアカウントを検出することができない場合がある。例えばユーザがプロフィール情報や位置情報を異ならせて複数のアカウントを登録する場合、または、投稿される文章にユーザの特徴が出にくいサービスである場合には、同一ユーザが作成した複数のアカウントを検出することが難しい。

【0006】

本発明は上記課題を鑑みてなされたものであって、その目的は、従来の手法では検出が難しい場合であっても同一ユーザにより作成された複数のアカウントを検出する技術を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明にかかる情報処理装置は、第１のアカウントにより登録される第１の画像の背景領域、および、第２のアカウントにより登録される第２の画像の背景領域を特定する背景特定部と、前記第１の画像の背景領域、および、前記第２の画像の背景領域に基づいて、前記第１のアカウントを所有するユーザと前記第２のアカウントを所有するユーザとが同一であるか否かを示す同一情報を出力する情報出力部と、を含む。

【0008】

また、本発明にかかる情報処理方法は、第１のアカウントにより登録される第１の画像の背景領域、および、第２のアカウントにより登録される第２の画像の背景領域を特定するステップと、前記第１の画像の背景領域、および、前記第２の画像の背景領域に基づいて、前記第１のアカウントを所有するユーザと前記第２のアカウントを所有するユーザとが同一であるか否かを示す同一情報を出力するステップと、を含む。

【0009】

また、本発明にかかるプログラムは、第１のアカウントにより登録される第１の画像の背景領域、および、第２のアカウントにより登録される第２の画像の背景領域を特定する背景特定部、および、前記第１の画像の背景領域、および、前記第２の画像の背景領域に基づいて、前記第１のアカウントを所有するユーザと前記第２のアカウントを所有するユーザとが同一であるか否かを示す同一情報を出力する情報出力部、としてコンピュータを機能させる。

【0010】

本発明の一形態では、前記情報出力部は、前記第１の画像の局所的な特徴をそれぞれ示す複数の第１の局所特徴ベクトルを取得し、前記第２の画像の局所的な特徴をそれぞれ示す複数の第２の局所特徴ベクトルを取得し、前記複数の第１の局所特徴ベクトルのそれぞれに対応する前記第２の局所特徴ベクトルの探索結果に基づいて、前記同一情報を出力してもよい。

【0011】

本発明の一形態では、前記背景特定部は、第１の画像の背景領域、および、複数の第２の画像のそれぞれの背景領域を特定し、前記情報出力部は、前記第１の画像から抽出される第１の全体特徴ベクトルと、前記複数の第２の画像のそれぞれから抽出される複数の第２の全体特徴ベクトルとに基づいて、前記複数の第２の画像から、背景領域が前記第１の画像の背景領域に類似する複数の候補画像を選択し、前記情報出力部は、前記第１の画像の局所的な特徴をそれぞれ示す複数の第１の局所特徴ベクトルと、前記候補画像のいずれかの局所的な特徴をそれぞれ示す複数の第２の局所特徴ベクトルを取得し、前記第１のアカウントを所有するユーザと前記第２のアカウントを所有するユーザとが同一であるか否かを示す同一情報を出力してもよい。

【0012】

本発明の一形態では、前記情報出力部は、前記第１の画像において複数の第１の局所特徴ベクトルの少なくとも一部が抽出された位置と、前記第２の画像において前記第１の局所特徴ベクトルのそれぞれに対応する前記第２の局所特徴ベクトルが抽出された位置とに基づいて、前記第１の局所特徴ベクトルの少なくとも一部が抽出される複数の点のそれぞれの３次元位置を推定し、前記推定された複数の点の３次元位置に基づいて、前記同一情報を出力してもよい。

【0013】

本発明の一形態では、前記背景特定部は、少なくとも１つの第１の画像の背景領域、および、複数の第２の画像のそれぞれの背景領域を特定し、前記情報出力部は、前記少なくとも１つの第１の画像の背景領域、および、前記複数の第２の画像の背景領域に基づいて、前記第１の画像に対応する１または複数の第２の画像を探索し、前記少なくとも１つの第１の画像に対応する１または複数の第２の画像に基づいて、前記同一情報を出力してもよい。

【0014】

本発明の一形態では、前記同一情報は、前記第１のアカウントを所有するユーザと前記第２のアカウントを所有するユーザとが同一であるか否かの判定結果であってよい。

【0015】

本発明の一形態では、前記同一情報は、前記第１のアカウントを所有するユーザと前記第２のアカウントを所有するユーザとが同一である可能性の大きさを示してもよい。

【発明の効果】

【0016】

本発明により、従来の手法では検出が難しい場合であっても同一ユーザにより作成された複数のアカウントを検出することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態にかかる情報処理システムの一例を示す図である。

【図2】情報処理システムが実現する機能を示すブロック図である。

【図3】画像登録部の処理の一例を示すフロー図である。

【図4】登録される画像の一例を示す図である。

【図5】背景特定部および特徴抽出部の処理の一例を示すフロー図である。

【図6】背景画像の一例を示す図である。

【図7】局所特徴ベクトルの抽出を模式的に説明する図である。

【図8】同一情報生成部の処理の概要を説明する図である。

【図9】同一情報生成部の処理の一例を示すフロー図である。

【図10】同一情報出力部の処理の一例を示すフロー図である。

【図11】同一情報出力部の処理の一例を示すフロー図である。

【図12】第１および第２の局所特徴ベクトルの対応を説明する図である。

【図13】３次元位置の算出を説明する図である。

【図14】第１の画像と第２の画像との対応の一例を示す図である。

【発明を実施するための形態】

【0018】

以下では、本発明の実施形態を図面に基づいて説明する。同じ符号を付された構成に対しては、重複する説明を省略する。本実施形態では、複数のユーザにより複数のアカウントが作成され、複数のアカウントのそれぞれについて複数の画像の投稿を受け付け、その画像を他のアカウントによりアクセスするユーザに開示するサービスを提供する情報処理システムについて説明する。

【0019】

図１は、本発明の実施形態にかかる情報処理システム１の一例を示す図である。情報処理システム１は、情報処理サーバ１０と画像ストレージ１９とを含む。情報処理サーバ１０は、１または複数の顧客端末２と通信し、顧客端末２を操作するユーザが送信する画像をサービス内に登録する。なお情報処理システム１はユーザから受信した画像を画像ストレージ１９に格納し、その画像を検索可能な状態にすることにより画像を登録する。

【0020】

情報処理サーバ１０はプロセッサ１１、記憶部１２、通信部１３、入出力部１４を含む。なお、情報処理システム１は、情報処理サーバ１０の処理を実行する複数のサーバコンピュータにより実現されてもよい。

【0021】

プロセッサ１１は、記憶部１２に格納されているプログラムに従って動作する。またプロセッサ１１は通信部１３、入出力部１４を制御する。なお、上記プログラムは、インターネット等を介して提供されるものであってもよいし、フラッシュメモリやＤＶＤ－ＲＯＭ等のコンピュータで読み取り可能な記憶媒体に格納されて提供されるものであってもよい。

【0022】

記憶部１２は、ＲＡＭおよびフラッシュメモリ等のメモリ素子とハードディスクドライブのような外部記憶装置とによって構成されている。記憶部１２は、上記プログラムを格納する。また、記憶部１２は、プロセッサ１１、通信部１３、入出力部１４から入力される情報や演算結果を格納する。

【0023】

通信部１３は、他の装置と通信する機能を実現するものであり、例えば無線ＬＡＮ、有線ＬＡＮの集積回路などにより構成されている。通信部１３は、プロセッサ１１の制御に基づいて、他の装置から受信した情報をプロセッサ１１や記憶部１２に入力し、他の装置に情報を送信する。

【0024】

入出力部１４は、表示出力デバイスをコントロールするビデオコントローラや、入力デバイスからのデータを取得するコントローラなどにより構成される。入力デバイスとしては、キーボード、マウス、タッチパネルなどがある。入出力部１４は、プロセッサ１１の制御に基づいて、表示出力デバイスに表示データを出力し、入力デバイスをユーザが操作することにより入力されるデータを取得する。表示出力デバイスは例えば外部に接続されるディスプレイ装置である。

【0025】

画像ストレージ１９は、例えばハードディスクドライブのような外部記憶装置またはフラッシュメモリによって構成されている。画像ストレージ１９は情報処理サーバ１０の制御に基づいてユーザにより登録される画像を格納する。画像ストレージ１９は、情報処理サーバ１０の指示に基づいて、情報処理サーバ１０から画像を受信して記憶し、読みだされた画像を情報処理サーバ１０へ送信する。画像ストレージ１９は、情報処理サーバ１０と異なる装置であるが、情報処理サーバ１０の記憶部１２の一部であってもよい。

【0026】

次に、情報処理システム１が提供する機能について説明する。図２は、情報処理システム１が実現する機能を示すブロック図である。情報処理システム１は、認証部５０、画像登録部５１、背景特定部５３、同一情報出力部５５を含む。また同一情報出力部５５は機能的に、特徴抽出部５６、同一情報生成部５７を含む。これらの機能は、情報処理サーバ１０に含まれるプロセッサ１１によって記憶部１２に格納されるプログラムが実行され、通信部１３などを制御することにより実現される。

【0027】

認証部５０は、情報処理システム１にアクセスするユーザのアカウントを認証する。より具体的には、ユーザが操作する顧客端末２からアカウントを含む認証に必要な情報を取得し、アカウントが適正なものであるか認証する。アカウントが認証されると、以降の顧客端末２と情報処理サーバ１０との通信が、アカウントと関連付けられる。なお、事前に情報処理システム１に対してユーザがアカウントを作成しているものとする。

【0028】

画像登録部５１は、あるアカウントによりアクセスするユーザから画像を取得し、取得された画像をアカウントと関連付けて画像ストレージ１９に格納する。

【0029】

背景特定部５３は、アカウントにより登録される画像の背景領域を特定する。

【0030】

同一情報出力部５５は、クエリとなる第１のアカウントに関連付けられた第１の画像の背景領域、および、他のアカウントである第２のアカウントに関連付けられた第２の画像の背景領域に基づいて、第１のアカウントを所有するユーザと第２のアカウントを所有するユーザとが同一であるか否かを示す同一情報を出力する。

【0031】

特徴抽出部５６は、登録された画像のそれぞれから、その画像の背景領域の全体の特徴を示す１つの全体特徴ベクトルと、その画像の局所的な特徴を示す複数の局所特徴ベクトルとを取得する。

【0032】

同一情報生成部５７は、第１の画像に対して取得される第１の全体特徴ベクトルと、第２の画像に対して取得される第２の全体特徴ベクトルとに基づいて同一情報を出力する。また同一情報生成部５７は、第１の画像に対して取得される複数の第１の局所特徴ベクトルと、第２の画像に対して取得される複数の第２の局所特徴ベクトルとに基づいて同一情報を出力する。また同一情報生成部５７は、少なくとも１つの第１の画像の背景領域、および、複数の第２の画像の背景領域に基づいて、第１の画像に対応する１または複数の第２の画像を探索し、少なくとも１つの第１の画像に対応する１または複数の第２の画像に基づいて、同一情報を出力する。

【0033】

図３は、画像登録部５１の処理の一例を示すフロー図である。画像登録部５１は、はじめに、顧客端末２よりアップロードされた画像を受信する（ステップＳ１０１）。画像登録部５１は、画像を送信したアカウントを特定する（ステップＳ１０２）。ここで、画像登録部５１は、顧客端末２からの通信と関連付けられたアカウントに基づいて画像を送信したアカウントを特定してもよいし、画像とともに送信される情報からアカウントを特定してもよい。画像登録部５１は、受信された画像を特定されたアカウントと関連付けて画像ストレージ１９に格納する（ステップＳ１０３）。

【0034】

図４は、登録される画像の一例を示す図である。図４は、例えば顧客間で直接的に商品を売り買いするフリーマーケットサービスにおいて登録される画像の例であり、部屋の中に置かれたカバンの画像が示されている。

【0035】

次に、同一のユーザが所有する複数のアカウントを検出するための処理について説明する。図５は、背景特定部５３および特徴抽出部５６の処理の一例を示すフロー図である。図５に示される処理は、画像ごとに実行される。また図５に示される処理は、画像登録部５１が登録する画像を受信するごとに行われてもよいし、定期的にこの処理が実行されていない画像を検出し、その検出された画像のそれぞれに対して図５に示される処理が実行されてもよい。

【0036】

はじめに、背景特定部５３は、処理対象となる画像の背景領域と特定する（ステップＳ２０１）。背景領域の特定は、ニューラルネットワークを用いたいわゆるＳｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎにより行われてもよいし、ニューラルネットワークを用いたいわゆるＲｅｇｉｏｎ Ｐｒｏｐｏｓａｌの手法により行われてもよい。これらの手法は公知であるので詳細の説明は省略する。

【0037】

背景領域が特定されると、背景特定部５３は、その背景領域以外（つまり前景）を塗りつぶした画像を処理対象となる画像の背景領域の画像（背景画像）として取得する（ステップＳ２０２）。

【0038】

図６は、背景画像の一例を示す図である。背景画像では、前景であるカバンの領域が塗りつぶされている。塗りつぶされた領域は、以下の処理では画像の存在しない領域として扱われ、全体特徴ベクトル、局所特徴ベクトルの抽出の対象から除外される。

【0039】

背景画像が取得されると、特徴抽出部５６は背景画像の独自性を算出する（ステップＳ２０３）。背景画像の独自性の算出は、特徴抽出部５６が背景画像を機械学習モデルに入力し、その機械学習モデルの出力を算出結果として取得することより行われてよい。機械学習モデルは、本実施形態では例えば、アダブースト、ランダムフォレスト、ニューラルネットワーク、サポートベクタマシン（ＳＶＭ）、最近傍識別器、などの機械学習が実装された機械学習モデルである。

【0040】

機械学習モデルは、予め、学習入力画像と教師データとを含む学習データにより学習されている。この学習データには、背景画像が所定画素数となるように拡大または縮小された学習入力画像と、その背景画像の独自性の大きさを示す所与の教師データと、が含まれている。

【0041】

機械学習モデルを用いずに独自性が算出されてもよい。例えば、背景画像の階調値の分散を求めることにより独自性の大きさを算出してもよい。この場合、背景が単色に近いほど分散の値が小さくなり、独自性が低くなる。格子などのありきたりなパターンの検出は難しいものの、高速に独自性を算出することができる。

【0042】

また、算出の対象となる背景画像に類似する背景画像に基づいて独自性が算出されてもよい。より具体的には、事前に、既に取得された複数の背景画像を含む画像検索モデルを構築する。そして特徴抽出部５６は、その画像検索モデルを用いて算出の対象となる背景画像に類似する背景画像を検索する。特徴抽出部５６は、検索により見つかった類似する背景画像の数、または、類似する背景画像と、算出の対象となる背景画像との類似度に基づいて、独自性を算出する。見つかった類似する背景画像の数が少ないほど、または、類似度が小さいほど、独自性が大きくなる。

【0043】

そして、背景画像に独自性がない（独自性の大きさが判定閾値より低い）場合には（ステップＳ２０４のＮ）、特徴抽出部５６はこの背景画像が抽出された画像を以下の同一ユーザ所有のアカウントの判定の対象から除外し（ステップＳ２０５）、ステップＳ２０６からＳ２０８の処理は実行されない。

【0044】

ステップＳ２０３～Ｓ２０５の処理は、ありきたりの（独自性の低い）背景画像を処理対象から外すために行われる。ありきたりの背景画像は互いに異なるユーザの画像でも存在する可能性が高いため、同一ユーザが所有する複数のアカウントの検出に用いることは適切ではない。そのため、これらの処理により、同一ユーザが所有する複数のアカウントの検出精度を向上させつつ、ありきたりの背景画像に関する処理をスキップさせることで計算リソースを節約することが可能になる。

【0045】

ここで、背景画像に独自性がある（独自性の大きさが判定閾値を超える）場合には（ステップＳ２０４のＹ）、特徴抽出部５６は、背景画像から、複数の局所特徴ベクトルを抽出し、抽出された局所特徴ベクトルを背景画像の元の画像に関連付けて記憶させる（ステップＳ２０６）。局所特徴ベクトルは画像ストレージ１９に格納されてもよいし記憶部１２に格納されてもよい。複数の局所特徴ベクトルのそれぞれは、背景画像の局所的な特徴を示す。特徴抽出部５６は、例えばＳＩＦＴ、ＯＲＢ、ＢＲＩＳＫのような公知の手法を用いて局所特徴ベクトルを抽出してよい。

【0046】

特徴抽出部５６は、局所特徴ベクトルとともに画像内においてその局所特徴ベクトルが抽出される点の位置も取得し、その点の位置も画像に関連付けて記憶させる。図７は、局所特徴ベクトルの抽出を模式的に説明する図である。図７に示される黒丸は、図６に示される背景画像から局所特徴ベクトルが抽出される点を示す。局所特徴ベクトルは背景画像のうち局所的な特徴のある点から抽出され、局所特徴ベクトルの数は背景画像により異なる。なお、以下では、ある画像から生成される背景画像から抽出される局所特徴ベクトルを、その画像の局所特徴ベクトルと記載する。

【0047】

特徴抽出部５６は、局所特徴ベクトル以外の情報も抽出する。より具体的には、特徴抽出部５６は背景画像から全体特徴ベクトルを抽出し、抽出された全体特徴ベクトルを背景画像の元の画像に関連付けて記憶させる（ステップＳ２０７）。ここで、特徴抽出部５６は、１つの背景画像から１つの全体特徴ベクトルを抽出する。なお、以下では、ある画像から生成される背景画像から抽出される全体特徴ベクトルを、その画像の全体特徴ベクトルと記載する。

【0048】

特徴抽出部５６は、Bag of Visual Words（ＢｏＶＷ）の手法を用いて全体特徴ベクトルを抽出してよい。この場合、特徴抽出部５６は、すべてのアカウントについての背景画像のうち独自性のある背景画像に基づいてVisual Wordsを決定し、背景画像のそれぞれの全体特徴ベクトルを抽出してもよいし、一部の背景画像に基づいてVisual Wordを決定してもよい。ＢｏＶＷの処理手法は公知であるので処理の詳細の説明は省略する。なお、特徴抽出部５６は、ステップＳ２０６で抽出された局所特徴ベクトルに基づいて全体特徴ベクトルを抽出してもよいし、ステップＳ２０６と異なる手法で抽出された局所特徴ベクトルに基づいて全体特徴ベクトルを抽出してもよい。また精度は低下するが、特徴抽出部５６は、前景が塗りつぶされていない画像から全体特徴ベクトルを抽出してもよい。

【0049】

ＢｏＶＷの代わりに、特徴抽出部５６はオートエンコーダのエンコーダ部分に背景画像を入力し、そのエンコーダ部分の出力を全体特徴ベクトルとして取得してよい。この場合オートエンコーダに予め複数の教師画像が入力され、オートエンコーダの出力と教師画像とによりオートエンコーダの各ノードのパラメータが調整されているものとする。

【0050】

以下では、同一情報生成部５７の処理について説明する。同一情報生成部５７は、あるアカウント（第１のアカウント）と他のアカウント（第２のアカウント）とが同一のユーザであるか否かを判定するために、第１の画像と第２の画像とが同一の背景を有するか否か判定する。第１の画像は、画像登録部５１により第１のアカウントと関連付けて記憶された画像であり、第２の画像は画像登録部５１により第２のアカウントと関連付けて記憶された画像である。ただし以下の処理の対象となる第１の画像および第２の画像は、ステップＳ２０４にて背景画像に独自性があると判定されたものに限定される。

【0051】

図８は、同一情報生成部５７の処理の概要を説明する図である。図８では説明の容易のため、第１のアカウントに関連付けられた１つの第１の画像をクエリ画像として、複数の第２の画像から共通する背景を有するものを検索する場合の例を示す図である。図８に示される処理は第１のアカウントに関連付けられた第１の画像のそれぞれに対して実行されてよい。

【0052】

同一情報生成部５７は、処理負荷の軽減と精度の向上とを両立するために、３段階の処理を実行する。１段階目の処理では、処理負荷の低い手法で類似の背景画像をスクリーニングすることにより第２の画像のグループ（第１の候補グループ）を生成する。この処理では第１の画像の全体特徴ベクトルと第２の画像の全体特徴ベクトルとの類似度により、類似する第２の画像が検出される。また検出された第２の画像は第１の候補グループに追加される。

【0053】

なお、第１の画像の背景画像および第２の画像の背景画像は、それぞれ第１の画像、第２の画像と１対１で対応するため、上記処理では第１の画像および第２の画像の代わりに第１の画像の背景画像、第２の画像の背景画像が検出されても構わない。以下でも同様である。

【0054】

２段階目の処理では、より高精度な手法で類似の背景画像をスクリーニングすることにより、第１の候補グループより数が少なくなる第２の画像のグループ（第２の候補グループ）を生成する。この処理では、第１の画像の複数の局所特徴ベクトル（第１の局所特徴ベクトル）と第２の画像の複数の局所特徴ベクトル（第２の局所特徴ベクトル）とを公知のマッチング手法で対応させ、互いに対応するとされた第１の局所特徴ベクトルと第２の局所特徴ベクトルとのセットの数に基づいて類似が判定されてよい。

【0055】

３段階目の処理では、互いに対応する第１の局所特徴ベクトルと第２の局所特徴ベクトルとのセットから適正な３次元の背景が得られるか否かに基づいて、第２の画像をスクリーニングする。より具体的には、３段階目の処理では、複数のセットからそのセットに含まれる第１および第２の局所特徴ベクトルが抽出される点の３次元位置を推定し、その３次元位置が適正に推定されたかに基づいて適正な３次元の背景が得られたか判定する。この判定は第２の候補グループに含まれる第２の画像のそれぞれについて行われる。同一の背景を含むと判定された第２の画像が最終的な検索結果として出力される。

【0056】

図９から１１は、同一情報生成部５７の処理の一例を示すフロー図である。図９から１１は、第１のアカウントに関連付けられた複数の第１の画像および第２のアカウントに関連付けられた第２の画像から、互いに同じ背景画像を有する第１の画像と第２の画像とのセットを特定し、その特定されたセットに基づいて第１のアカウントと第２のアカウントとを同一のユーザが所有するか否かを判定する処理を示している。１段階目の処理はステップＳ３０５であり、２段階目の処理はステップＳ３１１からＳ３１７であり、３段階目の処理はステップＳ３２１からＳ３２７である。

【0057】

はじめに同一情報生成部５７は、第１のアカウントに関連付けられた複数の第１の画像のうち、独自性ありと判定された複数の画像から、１つの第１の画像を選択する（ステップＳ３０１）。次に同一情報生成部５７は、選択された第１の画像に関連付けて記憶された全体特徴ベクトルを第１の全体特徴ベクトルとして取得し（ステップＳ３０２）、選択された第１の画像に関連付けて記憶された複数の局所特徴ベクトルを、複数の第１の局所特徴ベクトルとして取得する（ステップＳ３０３）。

【0058】

そして同一情報生成部５７は、第２のアカウントに関連付けられた第２の画像のそれぞれについて、第１の全体特徴ベクトルとその第２の画像に関連付けられた第２の全体特徴ベクトルとの類似度を算出し、その複数の第２の画像のうち類似度が閾値より高いものを第１の候補グループに追加する（ステップＳ３０５）。類似度は例えばＬ２ノルムであり、類似と判定される類似度の基準は、２段階目の処理より緩くなるように設定される。

【0059】

第１の候補グループに第２の画像が追加されると、同一情報生成部５７は、第１の候補グループに属する１つの第２の画像を選択する（ステップＳ３１１）。そして、取得された複数の第１の局所特徴ベクトルと、選択された第２の画像に関連付けられた複数の第２の局所特徴ベクトルとの対応を決定する（ステップＳ３１２）。

【0060】

対応の決定においては公知のマッチング手法が用いられる。例えば、同一情報生成部５７は、第１の局所特徴ベクトルと複数の第２の局所特徴ベクトルのそれぞれとの距離（類似度に相当）を例えばＬ２ノルムにより算出する。さらに同一情報生成部５７は、最も距離（ｄ１）の小さい第２の局所特徴ベクトルと次に距離（ｄ２）の小さい第２の局所特徴ベクトルとで、ｄ１＜ｄ２×Ａ（Ａは０以上１未満の定数）を満たすものを第１の局所特徴ベクトルに対応する第２の局所特徴ベクトルとして決定し、その第１の特徴ベクトルと対応する第２の特徴ベクトルとのセットを記憶部１２に記憶させる。この場合、その決定された第２の局所特徴ベクトルは他の第１の局所特徴ベクトルと対応するものとして決定されない。なお、マッチング手法として、例えばＳｕｐｅｒＧｌｕｅのようなグラフニューラルネットワークにより第１の局所特徴ベクトルと第２の局所特徴ベクトルとのマッチングが行われてもよい。

【0061】

図１２は、第１および第２の局所特徴ベクトルの対応を説明する図である。上の画像が１つの第１の画像に対応し、下の画像が１つの第２の画像に対応する。上の画像中の黒丸は第１の局所特徴ベクトルに対応し、下の画像中の黒丸は第２の局所特徴ベクトルに対応する。破線によってつながっている黒丸は互いに対応する第１および第２の局所特徴ベクトルを示している。

【0062】

対応が決定されると、同一情報生成部５７は、その対応に基づいて、第１の画像の背景画像と第２の画像の背景画像とが類似しているか否かを判定する（ステップＳ３１３）。具体的には、同一情報生成部５７は、互いに対応するとされた第１の局所特徴ベクトルと第２の局所特徴ベクトルとのセットの数が閾値を超えるか否かに基づいて類似するか否かを判定してよい。また第１の局所特徴ベクトルの数と第２の局所特徴ベクトルの数のうち小さい方に対するセットの数の割合がセット閾値を超えるか否かに基づいて類似するか否かが判定されてもよい。

【0063】

第１の画像の背景画像と第２の画像の背景画像とが類似していないと判定された場合には（ステップＳ３１３のＮ）、ステップＳ３１４およびステップＳ３１５の処理はスキップされる。一方第１の画像の背景画像と第２の画像の背景画像とが類似していると判定された場合には（ステップＳ３１３のＹ）、同一情報生成部５７は第１の画像の背景画像と第２の画像の背景画像とが極めて近いか否か判定する（ステップＳ３１４）。より具体的には、同一情報生成部５７は、互いに対応する第１および第２の局所特徴ベクトルのセットの数が厳密閾値より多く、かつ互いに対応する第１の局所特徴ベクトルと第２の局所特徴ベクトルとの距離の和または平均が厳密距離閾値より小さい場合には、同一情報生成部５７は第１の画像の背景画像と第２の画像の背景画像とが極めて近いと判定する。ここで厳密閾値は、セット閾値より大きい。

【0064】

第１の画像の背景画像と第２の画像の背景画像とが極めて近いと判定されると（ステップＳ３１４のＹ）、同一情報生成部５７は第１の画像と第２の画像とが対応すると判定し、その第１の画像と第２の画像のセットを記憶部１２に記憶させ（ステップＳ３１９）、３段階目の処理をスキップしステップＳ３２６の処理へ遷移させる。

【0065】

第１の画像と第２の画像とで背景が極めて似ている場合には、後続の処理をすることなく第１の画像と第２の画像とが同一の背景を有すると判定している。これにより以降の処理が行われないため処理時間を削減し、また三脚などによりカメラの視点がほぼ同じである場合に、３段階目の処理で第１の画像と第２の画像が対応しないと誤って判定され、第１のアカウントと第２のアカウントとの関係が誤って判定される可能性を減らすことができる。

【0066】

一方、第１の画像の背景画像と第２の画像の背景画像とが極めて近いと判定されない場合には（ステップＳ３１４のＮ）、同一情報生成部５７は第２の候補グループに選択された第２の画像を追加し、互いに対応する第１の局所特徴ベクトルと第２の局所特徴ベクトルとのセットを第２の画像に関連付けて記憶部１２に記憶させる（ステップＳ３１５）。そして第１の候補グループに属する第２の画像のうち選択されていないものが存在する場合には（ステップＳ３１６のＮ）、同一情報生成部５７は第１の候補グループから次の第２の画像を選択し（ステップＳ３１７）、ステップＳ３１２以降の処理を繰り返す。

【0067】

第１の候補グループに属する第２の画像のすべてが選択されている場合には（ステップＳ３１６のＹ）、第２の候補グループが確定され、ステップＳ３２１以降の３段階目の処理へ遷移する。

【0068】

第１の候補グループに第２の画像が追加されると、同一情報生成部５７は、第２の候補グループに属する１つの第２の画像を選択する（ステップＳ３２１）。そして同一情報生成部５７は、選択された第２の画像と関連付けて格納される複数のセットに基づいて、セットのそれぞれに対応する点の３次元位置を算出する（ステップＳ３２２）。言い換えると、同一情報生成部５７は、複数のセットのそれぞれについて、第１の画像において第１の局所特徴ベクトルが抽出された位置と、第２の画像において第２の局所特徴ベクトルが抽出された位置とに基づいて、その第１および第２の局所特徴ベクトルが抽出される点の３次元位置を推定する。

【0069】

３次元位置は、いわゆる三角測量の考え方を用いて推定されてよい。図１３は３次元位置の算出を説明する図である。

【0070】

より具体的には、はじめに、同一情報生成部５７は、複数のセットのそれぞれに含まれる第１および第２の特徴ベクトルが抽出された第１および第２の画像（図１３の画像ｍ１，ｍ２参照）における位置（図１３の点Ｐｉ１，Ｐｉ２参照）に基づいて、画像が撮影された視点ｅ１，ｅ２および撮影方向（視点ｅ１，ｅ２から延びる矢印参照）を推定する。そして同一情報生成部５７は、その視点および撮影方向と第１および第２の特徴ベクトルが抽出された位置（点）とに基づいてDirect Linear Transform（ＤＬＴ）法を用いてその点の３次元位置（図１３の点Ｐｒ参照）を求める。なお複数の画像において互いに対応する局所特徴ベクトルが抽出される点の３次元位置を求める手法は公知であるため、より詳細な説明は省略する。この手法は、例えばＳｆＭを実現するソフトウェアでも用いられており、同一情報生成部５７はこのソフトウェアを実行することにより複数のセットのそれぞれについて点の３次元位置を算出してもよい。

【0071】

点の３次元位置が算出されると、同一情報生成部５７は３次元位置が適正に推定されたか否か判定する。より具体的には、はじめに、同一情報生成部５７は、算出された点の３次元位置に基づいて、その点を第１の画像および第２の画像上に再投影し、第１の画像と第２の画像における元の点の位置との再投影誤差を計算する（ステップＳ３２３）。ここで第１および第２の画像における元の点の位置は、それぞれ第１および第２の画像において第１および第２の局所特徴ベクトルが抽出された位置である。言い換えると、再投影誤差は、３次元の点が第１の画像へ投影された点と、その点に対応する第１の局所特徴ベクトルが抽出された点との距離、および、その３次元の点が第２の画像へ投影された点と、その点に対応する第２の局所特徴ベクトルが抽出された点との距離である。

【0072】

同一情報生成部５７は複数のセットのそれぞれについて計算されたその再投影誤差の和を算出し、その再投影誤差の和が所定の範囲に収まる（判定閾値より小さい）か否か判定する（ステップＳ３２４）。再投影誤差の和が所定の範囲に収まる場合には（ステップＳ３２４のＹ）、同一情報生成部５７は第１の画像と第２の画像とが対応すると判定し、その第１の画像と第２の画像のセットを記憶部１２に記憶させる（ステップＳ３２５）。再投影誤差の和が所定の範囲に収まらない（判定閾値より大きい）場合には、ステップＳ３２５がスキップされる。なお、和が閾値を超えるか否かに基づく判定の代わりに、再投影誤差の平均や分散に基づく判定が行われてもよい。

【0073】

そして第２の候補グループに属する第２の画像のうち選択されていないものが存在する場合には（ステップＳ３２６のＮ）、同一情報生成部５７は第２の候補グループから次の第２の画像を選択し（ステップＳ３２７）、ステップＳ３２２以降の処理を繰り返す。一方、第２の候補グループに属する第２の画像のすべてが選択されている場合には（ステップＳ３２６のＹ）、３段階目の処理が終了し、ステップＳ３３０以降の処理へ遷移する。

【0074】

ステップＳ３３０では、同一情報生成部５７は第１のアカウントに関連付けられかつ独自性のある１または複数の第１の画像のうちすべての画像が選択されたか判定する。まだ選択されていない画像が存在する場合には（ステップＳ３３０のＮ）、同一情報生成部５７は第１のアカウントに関連付けられかつ独自性のある複数の第１の画像のうち、次の第１の画像を選択し（ステップＳ３３１）、ステップＳ３０２以降の処理を繰り返す。

【0075】

一方、全ての第１の画像が選択された場合には（ステップＳ３３０のＹ）、同一情報生成部５７は、記憶部１２に記憶された第１の画像および第２の画像のセットに基づいて、第１のアカウントを所有するユーザと、第２のアカウントを所有するユーザとが同一であるか否かを示す同一情報を生成する（ステップＳ３３２）。第１の画像および第２の画像をそれぞれ含む複数のセットは、少なくとも１つの第１の画像とその第１の画像に対応する１または複数の第２の画像と等価な情報である。

【0076】

図１４は、第１の画像と第２の画像との対応の一例を示す図である。図１４は第１のアカウントと第２のアカウントにおいて背景が同じであるとされ互いに対応すると判定された画像の組み合わせが示されている。画像を結ぶ線が画像間の対応を示している。ステップＳ３３２において、同一情報生成部５７は、例えば、セットの数や、セットの数を第１の画像と第２の画像の数の和で割った値が所定の閾値を超えた場合に、第１のアカウントと第２のアカウントとが同一のユーザにより所有されると判定し、その判定結果を示す同一情報を作成してよい。このように複数の画像の対応を用いて判定することで、偶然の一致などに起因する誤判定を防ぐことが可能になる。

【0077】

図９から１１に示される処理は複数の互いに異なる第２のアカウントについて実行される。そこで、同一情報生成部５７は、第１のアカウントにマッチングすると判定された第２のアカウントの数に基づいて、同一情報を生成してもよい。より具体的には、同一情報生成部５７は、ステップＳ３３２において同一であるか否かを示す同一情報を生成する手法と同様の手法で複数の第２のアカウントのそれぞれについて第１のアカウントと第２のアカウントとがマッチングするか否かを判定する。そして、複数の第２のアカウントについてステップＳ３３２によるマッチングの判定がされた後に、同一情報生成部５７は、第１のアカウントにマッチングすると判定された第２のアカウントの数に基づいて、第１のアカウントを所有するユーザとその複数の第２のアカウントを所有するユーザとが同一であるか否かを示す同一情報を生成する。

【0078】

例えば同一情報生成部５７は、第１のアカウントとマッチングする第２のアカウントの数がアカウント閾値（例えば３以上の整数）より小さい場合には第１のアカウントを所有するユーザとその複数の第２のアカウントを所有するユーザとが同一であることを示す同一情報を生成し、第１のアカウントとマッチングする第２のアカウントの数がアカウント閾値以上である場合には、その同一であることを示す同一情報を生成しなくてよい。これにより、例えば、実際には独自性の低い背景画像が図９から１１に示される処理の対象とされてしまった場合に、本来異なるユーザが所有している第１および第２のアカウントを同一であると誤判定することを防ぐことができる。

【0079】

なお、同一の背景を有するとして第１の画像と第２の画像とが互いに対応すると判定される場合に、同一情報生成部５７は、ステップＳ３２５，Ｓ３１９の代わりに、その第１の画像に関連付けられた第１のアカウントと、第２の画像に関連付けられた第２のアカウントとが同一のユーザにより所有されると判定して、同一情報を生成してもよい。この場合はこの後に図９から１１の処理は実行されない。この処理により、精度はいくらか低下するものの、処理負荷を低減することができる。

【符号の説明】

【0080】

１ 情報処理システム、２ 顧客端末、１０ 情報処理サーバ、１１ プロセッサ、１２ 記憶部、１３ 通信部、１４ 入出力部、１９ 画像ストレージ、５０ 認証部、５１ 画像登録部、５３ 背景特定部、５５ 同一情報出力部、５６ 特徴抽出部、５７ 同一情報生成部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】