特開 2024-43384 情報処理装置、情報処理方法および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024043384

(43)【公開日】2024-03-29

(54)【発明の名称】情報処理装置、情報処理方法および情報処理プログラム

(51)【国際特許分類】

   G06V 10/74 20220101AFI20240322BHJP

   G06T 7/00 20170101ALI20240322BHJP

   G06F 16/58 20190101ALI20240322BHJP

【ＦＩ】

G06V10/74

G06T7/00 300F

G06T7/00 350B

G06F16/58

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022148552

(22)【出願日】2022-09-16

(71)【出願人】

【識別番号】500257300

【氏名又は名称】ＬＩＮＥヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】西村 修平

(72)【発明者】

【氏名】東野 進一

(72)【発明者】

【氏名】土井 賢治

【テーマコード（参考）】

5B175

5L096

【Ｆターム（参考）】

5B175DA02

5B175FB02

5B175HB03

5L096AA06

5L096CA01

5L096DA02

5L096GA51

5L096JA03

5L096JA11

(57)【要約】

【課題】認識精度を高めることができる情報処理装置、情報処理方法および情報処理プログラムを提供すること。
【解決手段】本願に係る情報処理装置は、生成部と、抽出部と、判定部と、提供部とを備える。生成部は、検索クエリとなるクエリ画像の特徴量に基づいてクエリベクトルを生成する。抽出部は、予め作成された画像データベースの中から、クエリベクトルと類似するベクトルの画像を類似画像として抽出する。判定部は、クエリ画像および類似画像それぞれから抽出される局所特徴量の比較結果に基づいて、クエリ画像および類似画像に同一の被写体が含まれるか否かを判定する。提供部は、同一の被写体が含まれると判定された類似画像に関する情報を提供する。
【選択図】図３

【特許請求の範囲】

【請求項1】

検索クエリとなるクエリ画像の特徴量に基づいてクエリベクトルを生成する生成部と、
予め作成された画像データベースの中から、前記クエリベクトルと類似するベクトルの画像を類似画像として抽出する抽出部と、
前記クエリ画像および前記類似画像それぞれから抽出される局所特徴量の比較結果に基づいて、前記クエリ画像および前記類似画像に同一の被写体が含まれるか否かを判定する判定部と
前記同一の被写体が含まれると判定された前記類似画像に関する情報を提供する提供部と
を備える情報処理装置。

【請求項2】

前記生成部は、
同一の被写体が映った画像から類似するベクトルが生成されるよう学習したモデルを用いて、前記クエリベクトルを生成する
請求項１に記載の情報処理装置。

【請求項3】

前記判定部は、
前記局所特徴量の一致度が所定の閾値以上である場合に、前記クエリ画像および前記類似画像に同一の被写体が含まれると判定する
請求項１に記載の情報処理装置。

【請求項4】

前記判定部は、
前記クエリ画像および前記類似画像それぞれから複数の局所特徴量が得られた場合には、各局所特徴量の位置関係の一致度が所定の閾値以上であるか否かを判定し、前記閾値以上であると判定した場合に、同一の被写体が含まれると判定する
請求項１に記載の情報処理装置。

【請求項5】

前記提供部は、
前記同一の被写体が含まれると判定された前記類似画像を提供する
請求項１に記載の情報処理装置。

【請求項6】

前記提供部は、
前記類似画像に映った被写体に関する情報を提供する
請求項１に記載の情報処理装置。

【請求項7】

コンピュータが実行する情報処理方法であって、
検索クエリとなるクエリ画像の特徴量に基づいてクエリベクトルを生成する生成工程と、
予め作成された画像データベースの中から、前記クエリベクトルと類似するベクトルの画像を類似画像として抽出する抽出工程と、
前記クエリ画像および前記類似画像それぞれから抽出される局所特徴量の比較結果に基づいて、前記クエリ画像および前記類似画像に同一の被写体が含まれるか否かを判定する判定工程と
前記同一の被写体が含まれると判定された前記類似画像に関する情報を提供する提供工程と
を含む情報処理方法。

【請求項8】

検索クエリとなるクエリ画像の特徴量に基づいてクエリベクトルを生成する生成手順と、
予め作成された画像データベースの中から、前記クエリベクトルと類似するベクトルの画像を類似画像として抽出する抽出手順と、
前記クエリ画像および前記類似画像それぞれから抽出される局所特徴量の比較結果に基づいて、前記クエリ画像および前記類似画像に同一の被写体が含まれるか否かを判定する判定手順と
前記同一の被写体が含まれると判定された前記類似画像に関する情報を提供する提供手順と
をコンピュータに実行させる情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。

【背景技術】

【0002】

従来、ユーザから入力された画像に映った被写体を認識する技術が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１４９９５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、例えば、ランドマーク等の比較的大きな被写体を精度よく認識する点で改善の余地があった。

【0005】

本願は、上記に鑑みてなされたものであって、認識精度を高めることができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本願に係る情報処理装置は、生成部と、抽出部と、判定部と、提供部とを備える。前記生成部は、検索クエリとなるクエリ画像の特徴量に基づいてクエリベクトルを生成する。前記抽出部は、予め作成された画像データベースの中から、前記クエリベクトルと類似するベクトルの画像を類似画像として抽出する。前記判定部は、前記クエリ画像および前記類似画像それぞれから抽出される局所特徴量の比較結果に基づいて、前記クエリ画像および前記類似画像に同一の被写体が含まれるか否かを判定する。前記提供部は、前記同一の被写体が含まれると判定された前記類似画像に関する情報を提供する。

【発明の効果】

【0007】

実施形態の一態様によれば、認識精度を高めることができるという効果を奏する。

【図面の簡単な説明】

【0008】

【図1A】図１Ａは、実施形態に係る情報処理装置が実行する処理その１を示す図である。

【図1B】図１Ｂは、実施形態に係る情報処理装置が実行する処理その２を示す図である。

【図2】図２は、実施形態に係る情報処理システムの構成例を示す図である。

【図3】図３は、実施形態に係る情報処理装置の構成例を示す図である。

【図4】図４は、画像ＤＢの一例を示す図である。

【図5】図５は、実施形態に係る情報処理装置が実行する処理その１の処理手順を示すフローチャートである。

【図6】図６は、実施形態に係る情報処理装置が実行する処理その２の処理手順を示すフローチャートである。

【図7】図７は、ハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る情報処理装置、情報処理方法および情報処理プログラムを実施するための形態（以下、「実施形態」と記載する）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法および情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0010】

（実施形態）
まず、図１Ａおよび図１Ｂを用いて、実施形態に係る情報処理装置が実行する処理について説明する。図１Ａおよび図１Ｂは、実施形態に係る情報処理装置が実行する処理その１およびその２を示す図である。なお、図１Ａおよび図１Ｂでは、実施形態に係る情報処理装置１を含む情報処理システムＳの動作例を示している。

【0011】

図１Ａおよび図１Ｂに示すように、実施形態に係る情報処理システムＳは、情報処理装置１と、ユーザ端末１００とを含む。

【0012】

まず、図１Ａに示す処理その１について説明する。図１Ａに示す処理その１では、実施形態に係る情報処理システムＳは、ユーザが投稿した投稿画像と、画像説明との組を収集し、かかる画像説明に関連するランドマークが撮影された基準画像と投稿画像との局所特徴量との比較結果が所定の条件を満たす投稿画像に対してランドマークに関するラベルを付与する。

【0013】

具体的には、情報処理装置１は、まず、ユーザからユーザ端末１００を介して投稿画像と、画像説明との組を収集する（ステップＳ１）。図１Ａでは、遠くに比較的著名な〇〇山が映った〇〇湖の投稿画像と、ユーザが設定した「〇〇湖」という画像説明との組を収集した例を示している。

【0014】

ここで、このような投稿画像について、画像全体で画像認識した場合、〇〇山として誤認識してしまうおそれがある。この結果、かかる投稿画像に〇〇山としてラベル付けされて機械学習の教師データ等に用いられてしまうと学習モデルの精度が低下してしまうおそれがある。

【0015】

そこで、本開示では、投稿画像の局所特徴量を用いることで、認識精度を向上させる。具体的には、情報処理装置１は、画像説明と関連するランドマークの基準画像と投稿画像との局所特徴量を比較する（ステップＳ２）。基準画像は、ランドマークに関するラベルが付与された画像であり、後述する画像データベース４１（図３参照）に登録されている。

【0016】

具体的には、情報処理装置１は、投稿画像および基準画像それぞれについて、既知の特徴点検出法により画像中の濃淡の変化が大きい特徴点を検出し、その特徴点周りの領域を画素値や微分値により特徴ベクトル化した局所特徴量を算出する。つまり、情報処理装置１は、投稿画像および基準画像において特徴量がある一部の領域（すなわち、ランドマークの領域）同士を比較する。

【0017】

つづいて、情報処理装置１は、比較結果が所定の条件を満たす場合に、投稿画像に対してランドマークに関するラベルを付与する（ステップＳ３）。具体的には、情報処理装置１は、局所特徴量の一致度が所定の閾値以上である場合に、所定の条件を満たすと判定し、ランドマークに関するラベルを付与する。また、情報処理装置１は、投稿画像および基準画像それぞれから複数の局所特徴量が得られた場合には、各局所特徴量の位置関係の一致度が所定の閾値以上であるか否かを判定してもよい。

【0018】

そして、情報処理装置１は、ラベルを付与した投稿画像を基準画像として画像ＤＢ４１に記憶する（ステップＳ４）。

【0019】

このように、実施形態に係る情報処理装置１よれば、投稿画像と基準画像との局所特徴量の比較により画像認識を行うことで、認識精度を高めることができる。

【0020】

次に、図１Ｂを用いて、処理その２について説明する。図１Ｂに示す処理その２では、例えば、ユーザが撮影した被写体の正体を知りたい場合に、かかる被写体のクエリ画像を入力することで、被写体に関する情報を提供する。

【0021】

具体的には、情報処理装置１は、まず、ユーザからユーザ端末１００を介してクエリ画像を受け付ける（ステップＳ１１）。クエリ画像は、ユーザがユーザ端末１００のカメラ機能を使って撮影した画像であってもよく、インターネット等からダウンロードした画像であってもよい。

【0022】

つづいて、情報処理装置１は、クエリ画像の特徴量に基づいて、クエリベクトルを生成する（ステップＳ１２）。クエリベクトルは、例えば、機械学習により生成されたモデルの出力により生成される。かかるモデルは、例えば、同一の被写体が映った画像から類似するベクトルが出力するように学習される。情報処理装置１は、モデルにより、クエリベクトルを生成するとともに、画像ＤＢ４１に含まれる各画像についてもモデルに入力してベクトルを生成しておく。

【0023】

そして、情報処理装置１は、画像ＤＢ４１の中から、クエリベクトルと類似するベクトルの画像を類似画像として抽出する（ステップＳ１３）。例えば、情報処理装置１は、クエリベクトルとの一致度が所定の閾値以上のベクトルの画像を類似画像として抽出する。

【0024】

つづいて、情報処理装置１は、クエリ画像と類似画像との局所特徴量の比較結果に基づいて、クエリ画像および類似画像に同一の被写体が含まれるか否かを判定する（ステップＳ１４）。具体的には、情報処理装置１は、局所特徴量の一致度が所定の閾値以上である場合に、クエリ画像および類似画像に同一の被写体が含まれると判定する。つまり、類似画像に付与されたラベルのランドマークがクエリ画像に含まれると判定する。

【0025】

そして、情報処理装置１は、クエリ画像および類似画像に同一の被写体が含まれると判定した場合に、かかる類似画像に関する情報をユーザへ提供する（ステップＳ１５）。例えば、情報処理装置１は、類似画像をユーザへ提供する。また、情報処理装置１は、類似画像に付与されたラベルのランドマークに関する情報を提供してもよい。

【0026】

このように、実施形態に係る情報処理装置１によれば、類似画像とクエリ画像との局所特徴量の比較により画像認識を行うことで、認識精度を高めることができる。

【0027】

次に、図２を用いて、実施形態に係る情報処理システムＳの構成例について説明する。図２は、実施形態に係る情報処理システムＳの構成例を示すブロック図である。図２に示すように、実施形態に係る情報処理システムＳは、情報処理装置１と、複数のユーザ端末１００とがネットワークＮに対して有線又は無線により接続される。ネットワークＮは、例えば、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）等のネットワークである。

【0028】

情報処理装置１は、実施形態に係る情報処理方法を実行するサーバ装置である。情報処理装置１は、ユーザが投稿した投稿画像と、画像説明との組を収集し、かかる画像説明に関連するランドマークが撮影された基準画像と投稿画像との局所特徴量との比較結果が所定の条件を満たす投稿画像に対してランドマークに関するラベルを付与する。また、情報処理装置１は、ユーザから受け付けたクエリ画像と、類似画像との局所特徴量の比較結果に基づいて、同一の被写体が含まれるか否かを判定し、判定結果に基づいて類似画像に関する情報を提供する。

【0029】

また、情報処理装置１は、複数のユーザ端末１００と連携し、複数のユーザ端末１００に対して、各種アプリケーション（以下、アプリ）等に対するＡＰＩ（Application Programming Interface）サービス等と、各種データを提供する情報処理装置であり、サーバ装置やクラウドシステム等により実現される。

【0030】

また、情報処理装置１は、複数のユーザ端末１００に対して、オンラインで何らかのＷｅｂサービスを提供する情報処理装置であってもよい。例えば、情報処理装置１は、Ｗｅｂサービスとして、インターネット接続、検索サービス、ＳＮＳ（Social Networking Service）、電子商取引（ＥＣ：Electronic Commerce）、電子決済、オンラインゲーム、オンラインバンキング、オンライントレーディング、宿泊・チケット予約、動画・音楽配信、ニュース、地図、ルート検索、経路案内、路線情報、運行情報、天気予報等のサービスを提供してもよい。実際には、情報処理装置１は、上記のようなＷｅｂサービスを提供する各種サーバと連携し、Ｗｅｂサービスを仲介してもよいし、Ｗｅｂサービスの処理を担当してもよい。

【0031】

ユーザ端末１００は、ユーザが所持する端末装置である。ユーザ端末１００は、スマートフォン、デスクトップ型ＰＣ、ノート型ＰＣ、タブレット型ＰＣ等の任意のタイプの端末装置を用いることができる。ユーザ端末１００は、情報処理装置１等へ各種情報を送信したり、情報処理装置１等から提供される情報を受信したりする。

【0032】

次に、図３を参照して、情報処理装置１の構成例について説明する。

【0033】

図３は、実施形態に係る情報処理装置１の構成例を示す図である。図３に示されるように、情報処理装置１は、通信部２と、制御部３と、記憶部４とを有する。制御部３は、収集部３１と、付与部３２と、受付部３３と、生成部３４と、抽出部３５と、判定部３６と、提供部３７とを備える。記憶部４は、画像ＤＢ４１を記憶する。

【0034】

通信部２は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。通信部２は、有線または無線によりネットワーク網と接続される。

【0035】

制御部３は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、情報処理装置１内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭ等を作業領域として実行されることにより実現される。また、制御部３は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＧＰＵ（General Purpose Graphic Processing Unit）等の集積回路により実現されてもよい。

【0036】

記憶部４は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。

【0037】

画像ＤＢ４１は、例えば、ランドマーク等の所定の被写体が映った画像を含むデータベースである。画像ＤＢ４１は、制御部３によって更新される。

【0038】

図４は、画像ＤＢ４１の一例を示す図である。図４に示すように、画像ＤＢ４１は、「画像ＩＤ」、「ランドマーク」、「ベクトル」、「画像」等の項目を含む。

【0039】

「画像ＩＤ」は、画像を識別する識別情報である。「ランドマーク」は、画像に映ったランドマークに関する情報である。「ベクトル」は、後述する生成部３４によって生成されるベクトル情報である。「画像」は、画像の情報である。

【0040】

次に、情報処理装置１の制御部３の各機能（収集部３１、付与部３２、受付部３３、生成部３４、抽出部３５、判定部３６および提供部３７）について説明する。

【0041】

収集部３１は、投稿画像と、画像説明との組を収集する。具体的には、収集部３１は、投稿画像と、ユーザが入力した画像説明との組を収集する。また、収集部３１は、例えば、ユーザがＳＮＳ（Social Networking Service）等の他サービスに投稿した画像と、投稿した内容とを投稿画像および画像説明の組として収集してもよい。

【0042】

付与部３２は、画像説明と関連するランドマークが撮影された基準画像と、投稿画像との局所特徴量の比較結果が所定の条件を満たす投稿画像に対してランドマークに関するラベルを付与する。具体的には、付与部３２は、画像説明のテキストと、画像ＤＢ４１のランドマークの項目との一致度が閾値以上の画像を基準画像として選定する。また、付与部３２は、選定した基準画像と類似するランドマークの画像を併せて基準画像として選定してもよい。類似する基準画像は、例えば、基準画像として選定されたランドマークと形状が似ているランドマークや、基準画像として選定されたランドマークの所在地から所定範囲内に所在するランドマーク等である。

【0043】

付与部３２は、局所特徴量の一致度が所定の閾値以上である場合に、所定の条件を満たすと判定し、ランドマークに関するラベルを付与する。また、付与部３２は、投稿画像および基準画像それぞれから複数の局所特徴量が得られた場合には、各局所特徴量の位置関係の一致度が所定の閾値以上であるか否かを判定し、閾値以上であると判定した場合に、ランドマークに関するラベルを付与してもよい。

【0044】

付与部３２は、ラベルを付与した投稿画像を基準画像として画像ＤＢ４１に記憶する。

【0045】

受付部３３は、ユーザから検索クエリとなるクエリ画像を受け付ける。クエリ画像は、ユーザがユーザ端末１００のカメラ機能を使って撮影した画像であってもよく、インターネット等からダウンロードした画像であってもよい。

【0046】

生成部３４は、受け付けたクエリ画像の特徴量に基づいてクエリベクトルを生成する。クエリベクトルは、例えば、機械学習により生成されたモデルの出力により生成される。かかるモデルは、例えば、同一の被写体が映った画像から類似するベクトルが出力するように学習される。モデルの学習データは、例えば、各画素の画素値（輝度や色情報）、周辺画素の画素情報の差等を用いる。生成部３４は、モデルにより、クエリベクトルを生成するとともに、画像ＤＢ４１に含まれる各画像についてもモデルに入力してベクトルを生成しておく。

【0047】

抽出部３５は、画像ＤＢ４１の中から、クエリベクトルと類似するベクトルの画像を類似画像として抽出する。具体的には、抽出部３５は、クエリベクトルとの一致度が所定の閾値以上のベクトルの画像を類似画像として抽出する。

【0048】

判定部３６は、クエリ画像および類似画像（ラベルが付与された投稿画像）それぞれから抽出される局所特徴量の比較結果に基づいて、クエリ画像および類似画像に同一の被写体（ラベルのランドマーク）が含まれるか否かを判定する。具体的には、判定部３６は、局所特徴量の一致度が所定の閾値以上である場合に、クエリ画像および類似画像に同一の被写体が含まれると判定する。つまり、類似画像に付与されたラベルのランドマークがクエリ画像に含まれると判定する。また、判定部３６は、クエリ画像および類似画像それぞれから複数の局所特徴量が得られた場合には、各局所特徴量の位置関係の一致度が所定の閾値以上であるか否かを判定し、閾値以上である場合に、同一の被写体が含まれると判定する。

【0049】

提供部３７は、判定部３６によって同一の被写体が含まれると判定された類似画像に関する情報を提供する。例えば、提供部３７は、類似画像をユーザへ提供する。また、提供部３７は、類似画像に付与されたラベルのランドマークに関する情報を提供してもよい。

【0050】

次に、図５および図６を用いて、実施形態に係る情報処理装置１が実行する処理の処理手順について説明する。図５および図は、実施形態に係る情報処理装置１が実行する処理その１およびその２の処理手順を示すフローチャートである。

【0051】

まず、図５を用いて、処理その１の処理手順について説明する。図５に示すように、制御部３は、まず、投稿画像と、画像説明との組をユーザから収集する（ステップＳ１０１）。

【0052】

つづいて、制御部３は、画像説明に関連するランドマークの基準画像と、投稿画像との局所特徴量を比較する（ステップＳ１０２）。

【0053】

つづいて、制御部３は、比較結果が所定の条件を満たす場合に、ランドマークのラベルを投稿画像に付与する（ステップＳ１０３）。

【0054】

つづいて、制御部３は、ラベルを付与した投稿画像を基準画像として画像ＤＢ４１に登録し（ステップＳ１０４）、処理を終了する。

【0055】

次に、図６を用いて、処理その２の処理手順について説明する。図６に示すように、制御部３は、ユーザからクエリ画像を受け付ける（ステップＳ２０１）。

【0056】

つづいて、制御部３は、クエリ画像に基づいてクエリベクトルを生成する（ステップＳ２０２）。

【0057】

つづいて、制御部３は、クエリベクトルに基づいて画像ＤＢ４１の中から、類似画像を抽出する（ステップＳ２０３）。

【0058】

つづいて、制御部３は、類似画像とクエリ画像とに同一の被写体が含まれるか否かを判定する（ステップＳ２０４）。

【0059】

つづいて、制御部３は、同一の被写体が含まれると判定された類似画像に関する情報を提供し（ステップＳ２０５）、処理を終了する。

【0060】

〔その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の一部を手動的に行うこともできる。あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0061】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0062】

例えば、図３に示した記憶部４の一部又は全部は、各装置によって保持されるのではなく、ストレージサーバ等に保持されてもよい。この場合、各装置は、ストレージサーバにアクセスすることで、各種情報を取得する。

【0063】

〔ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置１は、例えば図７に示すような構成のコンピュータ１０００によって実現される。図７は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

【0064】

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一時的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等により実現される。

【0065】

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

【0066】

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

【0067】

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

【0068】

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

【0069】

例えば、コンピュータ１０００が情報処理装置１として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部３の機能を実現する。

【0070】

〔効果〕
上述してきたように、実施形態に係る情報処理装置１は、生成部３４と、抽出部３５と、判定部３６と、提供部３７とを備える。生成部３４は、検索クエリとなるクエリ画像の特徴量に基づいてクエリベクトルを生成する。抽出部３５は、予め作成された画像データベース４１の中から、クエリベクトルと類似するベクトルの画像を類似画像として抽出する。判定部３６は、クエリ画像および類似画像それぞれから抽出される局所特徴量の比較結果に基づいて、クエリ画像および類似画像に同一の被写体が含まれるか否かを判定する。提供部３７は、同一の被写体が含まれると判定された類似画像に関する情報を提供する。

【0071】

上述した各実施形態に係る情報処理装置１によれば、認識精度を高めることができる。

【0072】

また、実施形態に係る情報処理装置１は、収集部３１と、付与部３２と備える。収集部３１は、ユーザが投稿した投稿画像と、当該投稿画像に関する画像説明との組を収集する。付与部３２は、画像説明と関連するランドマークが撮影された基準画像と、投稿画像との局所特徴量との比較結果が所定の条件を満たす投稿画像に対してランドマークに関するラベルを付与する。

【0073】

上述した各実施形態に係る情報処理装置１によれば、認識精度を高めることができる。

【0074】

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0075】

〔その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0076】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0077】

また、上述してきた実施形態に記載した各処理は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0078】

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、制御部３は、制御手段や制御回路に読み替えることができる。

【符号の説明】

【0079】

１ 情報処理装置
２ 通信部
３ 制御部
４ 記憶部
３１ 収集部
３２ 付与部
３３ 受付部
３４ 生成部
３５ 抽出部
３６ 判定部
３７ 提供部
４１ 画像ＤＢ
１００ ユーザ端末
Ｓ 情報処理システム

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】