特許 7403263 端末装置、検索方法及び検索プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-14

(45)【発行日】2023-12-22

(54)【発明の名称】端末装置、検索方法及び検索プログラム

(51)【国際特許分類】

   G06F 16/53 20190101AFI20231215BHJP

【ＦＩ】

G06F16/53

【請求項の数】 8

(21)【出願番号】P 2019162269

(22)【出願日】2019-09-05

(65)【公開番号】P2021039682

(43)【公開日】2021-03-11

【審査請求日】2022-06-20

【前置審査】

(73)【特許権者】

【識別番号】514053169

【氏名又は名称】株式会社メルカリ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】中河 宏文

【審査官】三橋 竜太郎

(56)【参考文献】

【文献】特開２０１４－０１０８２１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／００４２０７９（ＵＳ，Ａ１）

【文献】特許第５８０１７９２（ＪＰ，Ｂ２）

【文献】米国特許出願公開第２０１４／０１４６０８２（ＵＳ，Ａ１）

【文献】特開２０１８－０３７０２９（ＪＰ，Ａ）

【文献】特開２０１８－１２８９５５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｆ ３／０１－ ３／０４８９５

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

ユーザ操作に基づき、画面に表示される表示画像をキャプチャするキャプチャ部に対してキャプチャの開始を指示する指示部と、
前記表示画像を取得する取得部と、
取得された前記表示画像から抽出した検索クエリの画像を、検索クエリとして検索要求を行い、検索結果を前記画面に表示する検索部と、を有し、
前記指示部は、前記検索クエリの画像を含む前記表示画像を表示する前に、前記キャプチャの開始を指示し、
前記検索部は、取得された表示画像から抽出した前記検索クエリの画像のサイズが、所定の閾値以上であった場合には、前記検索結果が前記画面に表示されないよう制御する、端末装置。

【請求項2】

ユーザ操作に基づき、検索クエリの画像を含む前記表示画像を前記画面に表示する表示部を更に有し、
前記取得部は、所定のアプリケーションの起動中に生成された、前記画面に表示される表示画像を、前記キャプチャ部から、所定周期で取得する、請求項１に記載の端末装置。

【請求項3】

検索方法を選択するための画像を前記画面に表示し、
前記指示部は、前記表示部により前記画面に前記検索方法を選択するための画像が表示されている間、前記検索結果が前記画面に表示されないよう制御する、請求項２に記載の端末装置。

【請求項4】

前記画面に表示された検索結果が選択された場合に、選択された前記検索結果の詳細情報を示す画像を前記画面に表示し、
前記指示部は、前記表示部により前記画面に前記検索結果の詳細情報を示す画像が表示されている間、前記検索結果が前記画面に表示されないよう制御する、請求項２に記載の端末装置。

【請求項5】

前記キャプチャ部は、ＯＳ上において実現される、請求項１乃至４のいずれか１項に記載の端末装置。

【請求項6】

前記検索部は、商品を売買するためのサービスを提供するサイトに対して、前記検索要求を行う、請求項１乃至５のいずれか１項に記載の端末装置。

【請求項7】

端末装置のコンピュータが、
ユーザ操作に基づき、画面に表示される表示画像をキャプチャするキャプチャ部に対してキャプチャの開始を指示する指示工程と、
前記表示画像を取得する取得工程と、
取得された前記表示画像から抽出した検索クエリの画像を、検索クエリとして検索要求を行い、検索結果を前記画面に表示する検索工程と、を実行し、
前記指示工程は、前記検索クエリの画像を含む前記表示画像を表示する前に、前記キャプチャの開始を指示し、
前記検索工程は、取得された表示画像から抽出した前記検索クエリの画像のサイズが、所定の閾値以上であった場合には、前記検索結果が前記画面に表示されないよう制御する、検索方法。

【請求項8】

ユーザ操作に基づき、画面に表示される表示画像をキャプチャするキャプチャ部に対してキャプチャの開始を指示する指示工程と、
前記表示画像を取得する取得工程と、
取得された前記表示画像から抽出した検索クエリの画像を、検索クエリとして検索要求を行い、検索結果を前記画面に表示する検索工程と、をコンピュータに実行させ、
前記指示工程は、前記検索クエリの画像を含む前記表示画像を表示する前に、前記キャプチャの開始を指示し、
前記検索工程は、取得された表示画像から抽出した前記検索クエリの画像のサイズが、所定の閾値以上であった場合には、前記検索結果が前記画面に表示されないよう制御する、検索プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、端末装置、検索方法及び検索プログラムに関する。

【背景技術】

【0002】

インターネット上でユーザが商品等を売買するためのサービスを、ユーザがアプリケーションを操作して利用することが知られている。当該アプリケーションには、当該サービスにおいてユーザが所望の商品を検索するための検索機能が設けられているのが一般的である。このような検索機能の中には、画像を検索クエリとする検索機能が含まれている場合もある。

【0003】

当該検索機能を用いれば、ユーザは、起動中のアプリケーション（例えば、ＳＮＳアプリケーション）の画面を閲覧している間に、気になる物品（例えば、ＳＮＳに掲載された画像内で被写体が履いているスニーカー等）を見つけた場合、当該画像を撮影する（例えば、スクリーンショットを撮る）ことで、当該物品に類似した商品を検索することができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６５２４２７６号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、このような検索機能の場合、ユーザは、画面の閲覧中に気になる物品を見つけるたびに、当該画像を撮影する必要がある。更に、ユーザは、上記サービスを利用するためのアプリケーションを起動させ、上記サービスを提供するサイトに対して、撮影した画像を検索クエリとする検索要求を送信する必要がある。

【0006】

このように、画像を検索クエリとする検索機能は、ユーザにとって、操作性が低いという問題がある。

【0007】

本発明は上記課題に鑑みてなされたものであり、画像を検索クエリとする検索機能の操作性を向上させることを目的とする。

【課題を解決するための手段】

【0008】

本発明の一実施形態によれば、端末装置は、例えば、以下のような構成を有する。即ち、
ユーザ操作に基づき、画面に表示される表示画像をキャプチャするキャプチャ部に対してキャプチャの開始を指示する指示部と、
前記表示画像を取得する取得部と、
取得された前記表示画像から抽出した検索クエリの画像を、検索クエリとして検索要求を行い、検索結果を前記画面に表示する検索部と、を有し、
前記指示部は、前記検索クエリの画像を含む前記表示画像を表示する前に、前記キャプチャの開始を指示し、
前記検索部は、取得された表示画像から抽出した前記検索クエリの画像のサイズが、所定の閾値以上であった場合には、前記検索結果が前記画面に表示されないよう制御する。

【発明の効果】

【0009】

本発明によれば、画像を検索クエリとする検索機能の操作性を向上させることが可能となる。

【図面の簡単な説明】

【0010】

【図1】検索システムのシステム構成の一例を示す図である。

【図2】サーバ装置のハードウェア構成の一例を示す図である。

【図3】端末装置のハードウェア構成の一例を示す図である。

【図4】端末装置におけるソフトウェアの動作を説明するための図である。

【図5】端末装置の処理内容の具体例を示す第１の図である。

【図6】端末装置の処理内容の具体例を示す第２の図である。

【図7】端末装置の処理内容の具体例を示す第３の図である。

【図8】端末装置の処理内容の具体例を示す第４の図である。

【図9】端末装置の処理内容の具体例を示す第５の図である。

【図10】端末装置の処理内容の具体例を示す第６の図である。

【図11】端末装置の処理内容の具体例を示す第７の図である。

【図12】検索アプリケーションの機能構成の一例を示す図である。

【図13】端末装置による検索処理の流れを示すフローチャートである。

【図14】検索結果を含むメッセージの表示例を示す図である。

【図15】検索結果の表示例を示す第１の図である。

【図16】検索結果の表示例を示す第２の図である。

【発明を実施するための形態】

【0011】

以下、各実施形態の詳細について説明する。なお、各実施形態に係る明細書及び図面の記載に際して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

【0012】

［第１の実施形態］
＜１．検索システムのシステム構成＞
はじめに、画像を検索する検索システムのシステム構成について説明する。図１は、検索システムのシステム構成の一例を示す図である。

【0013】

図１に示すように、検索システム１００は、サーバ装置１１０と、サーバ装置１４０と、ユーザ１５０が利用する端末装置１２０とを有する。なお、端末装置１２０は、ネットワーク１３０を介してサーバ装置１１０、サーバ装置１４０と通信可能に接続される。

【0014】

サーバ装置１１０は、検索システム１００において、検索クエリに基づいて画像検索を行う装置である。例えば、サーバ装置１１０は、インターネット上で商品を売買するための商品販売サービス（例えば、ユーザ１５０が他のユーザとの間で出品物を売買するための出品物販売サービス）を提供する装置である。

【0015】

本実施形態において、サーバ装置１１０は、ユーザ１５０からの検索要求を受信した場合、登録済みの商品の中から、ユーザ１５０が所望する物品に類似する商品を検索し、検索結果をユーザ１５０に送信する。また、サーバ装置１１０は、ユーザ１５０からの送信要求を受信した場合、検索結果として送信した商品についての詳細情報（商品情報）をユーザ１５０に送信する。

【0016】

サーバ装置１４０は、検索システム１００において、検索クエリとなる画像を提供する装置である。例えば、サーバ装置１４０は、インターネット上でユーザ１５０が閲覧する情報（画像を含む情報）を提供する装置（具体的には、インターネット上でＳＮＳ（Social Networking Service）を提供する装置）である。

【0017】

本実施形態において、サーバ装置１４０は、ＳＮＳを提供する装置であるとして説明する。サーバ装置１４０は、ユーザ１５０からのアクセス要求を受信した場合に、他のユーザが発信する発信情報をユーザ１５０に送信する。

【0018】

端末装置１２０は、ネットワーク１３０に接続することで、サーバ装置１１０及びサーバ装置１４０から各種サービスの提供を受けるユーザ１５０が利用する装置である。端末装置１２０には、画像を検索する検索アプリケーション（検索プログラム）がインストールされている。なお、端末装置１２０にインストールされる検索アプリケーションには、画像を検索する任意のアプリケーションが含まれる。ただし、以下では、一例として、サーバ装置１１０が提供する商品販売サービスを利用する際にユーザ１５０が操作する検索アプリケーションについて説明する。検索アプリケーションは、端末装置１２０の表示画面に表示されたアイコン１２１がタップされることで起動される。

【0019】

検索アプリケーションは、「検索機能」を有する。具体的には、検索アプリケーションは、インターネット上で商品を売買するための商品販売サービスを提供するサイトに対して、ユーザ１５０が所望する物品の画像を検索クエリとする検索要求を送信する。また、検索アプリケーションは、当該検索要求に応じてサーバ装置１１０から送信される検索結果を受信し、端末装置１２０の表示画面に表示する。

【0020】

また、検索アプリケーションは、「情報取得機能」を有する。具体的には、検索アプリケーションは、検索結果についての詳細情報（商品情報）をサーバ装置１１０に要求する送信要求を送信するとともに、当該送信要求に応じてサーバ装置１１０から送信された商品情報を受信し、端末装置１２０の表示画面に表示する。

【0021】

なお、検索アプリケーションには、更に、商品情報が表示された商品を購入するための「購入機能」が含まれていてもよい。

【0022】

また、端末装置１２０には、サーバ装置１４０が提供するＳＮＳを利用する際にユーザ１５０が操作する汎用アプリケーション（ＳＮＳアプリケーション）がインストールされている。汎用アプリケーションは、端末装置１２０の表示画面に表示されたアイコン１２２がタップされることで起動される。

【0023】

汎用アプリケーションは、サーバ装置１４０にアクセス要求を送信するとともに、当該アクセス要求に応じてサーバ装置１４０から送信される、他のユーザが発信した発信情報を受信し、端末装置１２０の表示画面に表示する。

【0024】

また、端末装置１２０には、内蔵する撮像装置（図１において不図示）を制御する、カメラ制御アプリケーションがインストールされている。カメラ制御アプリケーションは、端末装置１２０の表示画面に表示されたアイコン１２３がタップされることで（あるいは、検索アプリケーションから起動指示が送信されることで）起動される。

【0025】

カメラ制御アプリケーションは、内蔵する撮像装置を制御することで撮影された撮影画像を取得し、端末装置１２０の表示画面に表示する。

【0026】

上記構成のもと、検索アプリケーションでは、汎用アプリケーションやカメラ制御アプリケーションの起動中に端末装置１２０に表示された表示画像から、自動的に、検索クエリとなる画像を抽出して、サーバ装置１１０に検索要求を行う。

【0027】

これにより、ユーザ１５０は、単にサーバ装置１４０から提供される画像（例えば、ＳＮＳの画像）を閲覧しているだけで、あるいは、被写体の撮影を開始するだけで、サーバ装置１１０から、例えば、ＳＮＳに掲載されている物品や被写体の物品と類似する商品についての検索結果を取得することができる。

【0028】

この結果、例えば、ユーザ１５０は、閲覧中のＳＮＳに掲載された画像内において被写体が履いているスニーカーを、商品販売サービスを提供するサイトにて、直ちに購入することが可能になる。

【0029】

＜サーバ装置のハードウェア構成＞
次に、サーバ装置１１０のハードウェア構成について説明する。図２は、サーバ装置のハードウェア構成の一例を示す図である。

【0030】

図２に示すように、サーバ装置１１０は、プロセッサ２０１と、メモリ２０２と、補助記憶装置２０３と、表示装置２０４と、操作装置２０５と、通信装置２０６と、ドライブ装置２０７とを有する。なお、サーバ装置１１０の各ハードウェアは、バス２０８を介して相互に接続されている。

【0031】

プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラムをメモリ２０２上に読み出して実行する。

【0032】

メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。

【0033】

図２の例は、プロセッサ２０１が、メモリ２０２上に読み出した商品販売プログラムを実行することで、当該コンピュータが、商品販売サービス部２１０として機能する場合を示している。

【0034】

なお、第１の実施形態において商品販売サービス部２１０には、商品情報検索部２２０が含まれる。商品情報検索部２２０は、ユーザ１５０からの検索要求に応じて、補助記憶装置２０３において実現される商品情報格納部２３０を参照し、ユーザ１５０が所望する物品に類似する商品を検索する。商品情報検索部２２０は、検索した商品のうち、類似度が高い商品を抽出し、抽出した商品を特定する情報を、検索結果としてユーザ１５０に送信する。

【0035】

また、商品情報検索部２２０は、検索結果を送信したことに応じて、ユーザ１５０から検索結果についての詳細情報（商品情報）の送信要求をあった場合、商品情報を、ユーザ１５０に送信する。

【0036】

補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種情報等を格納する。上述したように、登録済みの商品を格納する商品情報格納部２３０は、補助記憶装置２０３において実現される。

【0037】

表示装置２０４は、サーバ装置１１０の内部状態を表示する表示デバイスである。操作装置２０５は、サーバ装置１１０の管理者がサーバ装置１１０に対して各種指示を入力する際に用いる入力デバイスである。通信装置２０６は、ネットワーク１３０と接続し、端末装置１２０と通信を行うための通信デバイスである。

【0038】

ドライブ装置２０７は記録媒体２４０をセットするためのデバイスである。ここでいう記録媒体２４０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２４０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

【0039】

なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、配布された記録媒体２４０がドライブ装置２０７にセットされ、該記録媒体２４０に記録された各種プログラムがドライブ装置２０７により読み出されることでインストールされる。あるいは、補助記憶装置２０３にインストールされる各種プログラムは、ネットワーク１３０を介してダウンロードされることで、インストールされてもよい。

【0040】

なお、サーバ装置１４０のハードウェア構成については図示していないが、（メモリ２０２上に読み出される各種プログラムや補助記憶装置２０３に格納される各種情報等が異なる以外は）概ねサーバ装置１１０のハードウェア構成と同じである。このため、ここでは説明を省略する。

【0041】

＜端末装置のハードウェア構成＞
次に、端末装置１２０のハードウェア構成について説明する。図３は、端末装置のハードウェア構成の一例を示す図である。

【0042】

図３に示すように、端末装置１２０は、プロセッサ３０１、メモリ３０２と、補助記憶装置３０３と、操作装置３０４と、表示装置３０５と、通信装置３０６と、撮像装置３０７とを有する。なお、端末装置１２０の各ハードウェアは、バス３０８を介して相互に接続されている。

【0043】

図３に示すように、端末装置１２０の各ハードウェアも、図２に示したサーバ装置１１０の各ハードウェアと概ね同じであるため、ここでは、図２との相違点を中心に説明する。

【0044】

図３に示すように、端末装置１２０の場合、プロセッサ３０１がＯＳ（Operating System）３４０上で実行する各種プログラム（ＯＳ上で実行する各種ソフトウェア）には、
・検索アプリケーション３１０、
・汎用アプリケーション３２０、
・カメラ制御アプリケーション３３０、
が含まれる。

【0045】

また、図３に示すように、端末装置１２０の場合、撮像装置３０７を有する。撮像装置３０７は、所定のフレーム周期で被写体を撮影する。

【0046】

＜端末装置におけるソフトウェアの動作＞
次に、端末装置１２０において、プロセッサ３０１がメモリ３０２上に読み出して実行する各種ソフトウェアの動作について説明する。図４は、端末装置におけるソフトウェアの動作を説明するための図である。

【0047】

図４に示すように、ＯＳ３４０は、表示画面用メモリ部３４１を有し、端末装置１２０の表示画面に表示する表示画像（各種ソフトウェアにおいて生成された表示画像）を保持し、表示装置３０５に送信する。

【0048】

また、ＯＳ３４０は、画面キャプチャ部３４２を有し、表示画面用メモリ部３４１に保持された表示画像をキャプチャする。更に、ＯＳ３４０は、通知部を有し、各種ソフトウェア（第１の実施形態では、検索アプリケーション３１０）からの指示に基づいて、メッセージを生成し、表示装置３０５に送信する。これにより、検索結果を含むメッセージがユーザ１５０に通知される。

【0049】

検索アプリケーション３１０は、プロセッサ２０１によって実行されることで、起動後の動作として、例えば、以下のような動作を行う。
・画面キャプチャ部３４２に対して、キャプチャ開始指示またはキャプチャ停止指示を送信する。
・画面キャプチャ部３４２によりキャプチャされた表示画像を取得して処理する。
・端末装置１２０の表示画面に表示する表示画像（後述する選択画面画像、商品情報表示画像）を生成し、表示装置３０５に送信する。
・通信装置３０６を介して、サーバ装置１１０に各種要求（検索要求、送信要求）を送信するとともに、各種要求に応じてサーバ装置１１０より送信され、通信装置３０６を介して受信した各種情報（検索結果、商品情報）を取得して処理する。
・カメラ制御アプリケーション３３０に対して、起動指示を送信する。

【0050】

汎用アプリケーション３２０は、プロセッサ２０１によって実行されることで、起動後の動作として、例えば、以下のような動作を行う。
・通信装置３０６を介して、サーバ装置１４０にアクセス要求を送信し、他のユーザが発信する発信情報を通信装置３０６を介して受信する。
・受信した発信情報に基づいて、端末装置１２０の表示画面に表示する表示画像（後述するＳＮＳ用の表示画像）を生成し、表示装置３０５に送信する。

【0051】

カメラ制御アプリケーション３３０は、プロセッサ２０１によって実行されることで、起動後の動作として、例えば、以下のような動作を行う。
・撮像装置３０７により撮影された撮影画像を取得する。
・取得した撮影画像に基づいて、端末装置１２０の表示画面に表示する表示画像（後述するカメラ用の表示画像）を生成し、表示装置３０５に送信する。

【0052】

＜端末装置における処理内容の説明＞
次に、各種ソフトウェアが動作することで、端末装置１２０において処理される処理内容の詳細について、具体例を挙げながら説明する。図５～図１１は、端末装置の処理内容の具体例を示す第１乃至第７の図である。

【0053】

このうち、図５は、ユーザ１５０が検索アプリケーション３１０を起動する際の、端末装置１２０の処理内容の具体例を示している。

【0054】

図５（ｂ）に示すように、ＯＳ３４０によって生成されるホーム画面用の表示画像５１１は、表示画面用メモリ部３４１に保持され、表示装置３０５に送信される。これにより、図５（ａ）に示すように、端末装置１２０の表示画面５００には、ホーム画面用の表示画像５１１が表示される。

【0055】

図５（ａ）に示すように、ホーム画面用の表示画像５１１が表示された表示画面５００に対して、所定のユーザ操作が行われることにより、検索アプリケーション３１０が起動される。

【0056】

具体的には、ホーム画面用の表示画像５１１が表示された表示画面５００において、ユーザ１５０がアイコン１２１をタップすると、図５（ｂ）に示すように、操作装置３０４では、ＯＳ３４０を介して、検索アプリケーション３１０に起動指示を送信する。これにより、検索アプリケーション３１０が起動される。

【0057】

検索アプリケーション３１０が起動されると、図６（ｂ）に示すように、検索アプリケーション３１０では、検索方法を選択するための選択画面画像６１１を生成し、表示画面用メモリ部３４１に送信する。表示画面用メモリ部３４１に送信された選択画面画像６１１は、表示装置３０５に送信される。これにより、図６（ａ）に示すように、端末装置１２０の表示画面５００には、選択画面画像６１１が表示される。

【0058】

なお、選択画面画像６１１が表示された表示画面５００において、所定のユーザ操作が行われることにより、選択画面画像６１１は非表示となる。

【0059】

具体的には、ユーザ１５０が"外部のアプリから探す"をタップすると、図６（ｂ）に示すように、操作装置３０４では、ＯＳ３４０を介して、検索方法についての選択指示を検索アプリケーション３１０に送信する。これにより、検索アプリケーション３１０では、表示画面用メモリ部３４１への選択画面画像６１１の送信を停止する。この結果、選択画面画像６１１は非表示となり、端末装置１２０の表示画面５００には、ＯＳ３４０により生成されたホーム画面用の表示画像５１１が再び表示されることになる。

【0060】

なお、検索アプリケーション３１０では、選択画面画像６１１が表示画面５００に表示されている間は、画面キャプチャ部３４２に対して、キャプチャ開始指示は送信しない。つまり、検索アプリケーション３１０は、選択画面画像６１１が表示画面５００に表示されている間は、検索結果が表示画面５００に表示されないよう制御する。

【0061】

図７は、選択画面画像６１１が非表示となり、端末装置１２０の表示画面５００にホーム画面用の表示画像５１１が表示された状態で、ユーザ１５０が汎用アプリケーション３２０を起動する際の、端末装置１２０の処理内容の具体例を示している。

【0062】

選択画面画像６１１が非表示となることで、図７（ｂ）に示すように、検索アプリケーション３１０では、画面キャプチャ部３４２に対して、キャプチャ開始指示を送信する。これにより、画面キャプチャ部３４２では、表示画面用メモリ部３４１に保持される表示画像についてキャプチャを開始し、検索アプリケーション３１０では、画面キャプチャ部３４２がキャプチャした表示画像を、所定周期で取得する。

【0063】

この時点では、図７（ｂ）に示すように、ホーム画面用の表示画像５１１が、表示装置３０５に送信され、図７（ａ）に示すように、端末装置１２０の表示画面５００には、ホーム画面用の表示画像５１１が表示されている。

【0064】

このため、検索アプリケーション３１０では、ホーム画面用の表示画像５１１について、オブジェクトの抽出を行う。ただし、検索アプリケーション３１０では、サイズが所定の閾値未満のオブジェクトを対象として、オブジェクトの抽出を行う。

【0065】

ここで、検索アプリケーション３１０が、所定の閾値未満のサイズのオブジェクトを対象としてオブジェクトの抽出を行うのは、仮に、サイズを制限しない構成とすると、ホーム画面用の表示画像５１１全体が、オブジェクトとして抽出されてしまうからである。なお、ホーム画面用の表示画像５１１全体がオブジェクトして抽出された場合、サーバ装置１１０では、ホーム画面用の表示画像５１１全体を検索クエリとして検索を行い、ホーム画面用の表示画像５１１が写ったスマートフォン（商品）を、検索結果として送信してしまうことになる。

【0066】

検索アプリケーション３１０では、このような事態を回避するために、サイズが所定の閾値未満（例えば、ホーム画面用の表示画像５１１のサイズの９０％未満）のオブジェクトを対象として、オブジェクトの抽出を行う。この結果、実際には、検索アプリケーション３１０がホーム画面用の表示画像５１１に基づいて、検索要求を送信することはない。このように、検索アプリケーション３１０は、ホーム画面用の表示画像５１１が表示画面５００に表示されている間は、検索結果が表示画面５００に表示されないよう制御する。

【0067】

ここで、図７（ａ）に示すように、ホーム画面用の表示画像５１１が表示された表示画面５００に対して、所定のユーザ操作が行われることにより、端末装置１２０では、汎用アプリケーション３２０が起動される。

【0068】

具体的には、ユーザ１５０がアイコン１２２をタップすると、図７（ｂ）に示すように、操作装置３０４では、ＯＳ３４０を介して汎用アプリケーション３２０に起動指示を送信する。これにより、汎用アプリケーション３２０が起動される。

【0069】

汎用アプリケーション３２０が起動されると、図７（ｂ）に示すように、汎用アプリケーション３２０では、通信装置３０６を介して、サーバ装置１４０にアクセス要求を送信する。

【0070】

図８は、汎用アプリケーション３２０の起動後に、サーバ装置１４０にアクセス要求を送信したことで、サーバ装置１４０から、他のユーザが発信する発信情報を受信した際の、端末装置１２０の処理内容の具体例を示している。

【0071】

図８（ｂ）に示すように、汎用アプリケーション３２０では、ＯＳ３４０を介して通信装置３０６より、他のユーザが発信した発信情報８１１を受信する。これにより、汎用アプリケーション３２０では、他のユーザが発信した発信情報８１１に基づいて、ＳＮＳ用の表示画像８２１を生成し、表示画面用メモリ部３４１に送信する。

【0072】

図８（ｂ）に示すように、汎用アプリケーション３２０によって生成され、表示画面用メモリ部３４１に保持されたＳＮＳ用の表示画像８２１は、表示装置３０５に送信される。これにより、図８（ａ）に示すように、端末装置１２０の表示画面５００には、ＳＮＳ用の表示画像８２１が表示される。

【0073】

また、図８（ｂ）に示すように、汎用アプリケーション３２０によって生成され、表示画面用メモリ部３４１に保持されたＳＮＳ用の表示画像８２１は、画面キャプチャ部３４２によってキャプチャされ、検索アプリケーション３１０が取得する。

【0074】

なお、図８（ｂ）では、選択画面画像６１１が表示された表示画面５００（図６（ａ）参照）において、ユーザ１５０が"カメラから探す"をタップした場合の、端末装置１２０の処理内容についてもあわせて具体例を示している。

【0075】

"カメラから探す"がタップされると、選択画面画像６１１は非表示となり、検索アプリケーション３１０では、カメラ制御アプリケーション３３０に対して起動指示を送信する。これにより、カメラ制御アプリケーション３３０では、撮像装置３０７を制御し、撮像装置３０７による撮影が開始される。

【0076】

撮像装置３０７による撮影が開始されると、図８（ｂ）に示すように、撮像装置３０７では、ＯＳ３４０を介して、撮影画像８３１をカメラ制御アプリケーション３３０に送信する。これにより、カメラ制御アプリケーション３３０では、撮像装置３０７により撮影された撮影画像８３１に基づいて、カメラ用の表示画像８４１を生成し、表示画面用メモリ部３４１に送信する。

【0077】

なお、カメラ制御アプリケーション３３０によって生成され、表示画面用メモリ部３４１に保持されたカメラ用の表示画像８４１は、表示装置３０５に送信される。これにより、端末装置１２０の表示画面５００には、カメラ用の表示画像８４１が表示されることになる。

【0078】

また、図８（ｂ）に示すように、カメラ制御アプリケーション３３０によって生成され、表示画面用メモリ部３４１に保持されたカメラ用の表示画像８４１は、画面キャプチャ部３４２によってキャプチャされ、検索アプリケーション３１０が取得する。

【0079】

図９は、キャプチャされたＳＮＳ用の表示画像８２１を、検索アプリケーション３１０が取得した際の、端末装置１２０の処理内容の具体例を示している。図９（ｂ）に示すように、ＳＮＳ用の表示画像８２１を取得すると、検索アプリケーション３１０では、ＳＮＳ用の表示画像８２１に含まれる、サイズが所定の閾値未満のオブジェクト（例えば、ＳＮＳに掲載された画像内で被写体が履いているスニーカー等）の画像を抽出する。また、検索アプリケーション３１０では、抽出したオブジェクトの画像において特徴量を算出する。

【0080】

また、検索アプリケーション３１０では、算出した特徴量を含む検索要求（画像（の特徴量）を検索クエリとする検索要求）を生成し、ＯＳ３４０を介して通信装置３０６に送信する。これにより、通信装置３０６では、サーバ装置１１０に対して、画像（の特徴量）を検索クエリとする検索要求を送信する。

【0081】

また、図９（ｂ）に示すように、検索アプリケーション３１０では、抽出したオブジェクトに外接する矩形枠を生成し、表示画面用メモリ部３４１に送信する。これにより、表示画面用メモリ部３４１に保持されたＳＮＳ用の表示画像８２１に、矩形枠９０１が重畳されたＳＮＳ用の表示画像９１１が、表示装置３０５に送信される。この結果、図９（ａ）に示すように、端末装置１２０の表示画面５００には、矩形枠９０１が重畳されたＳＮＳ用の表示画像９１１が表示されることになる。ただし、矩形枠９０１の表示は必須ではなく、矩形枠９０１を表示しないように構成し、ユーザ１５０からの指示があった場合に、矩形枠９０１を表示するように構成してもよい。

【0082】

図１０は、サーバ装置１１０に検索要求が送信され、サーバ装置１１０より検索結果が送信された際の、端末装置１２０の処理内容の具体例を示している。図１０（ｂ）に示すように、検索アプリケーション３１０では、サーバ装置１１０から送信され、通信装置３０６が受信した検索結果を、ＯＳ３４０を介して取得する。

【0083】

これにより、検索アプリケーション３１０では、検索結果１００１（図１０の例では、検索結果に含まれる検索結果１と検索結果２）を、通知部３４３に送信し、ユーザ１５０に通知するメッセージを生成するよう指示する。

【0084】

検索結果１００１が送信された通知部３４３では、検索結果１００１を含むメッセージ１０１１を生成し、表示装置３０５に送信する。

【0085】

これにより、図１０（ａ）に示すように、矩形枠９０１が重畳されたＳＮＳ用の表示画像９１１が表示されている表示画面５００を介して、ユーザ１５０にメッセージ１０１１を通知することができる。つまり、ユーザ１５０は、単にＳＮＳを閲覧しているだけで、検索結果を受け取ることができる。

【0086】

図１０（ａ）は、メッセージ１０１１が通知されている状態で、ユーザ１５０が、"検索結果１"を選択した様子を示している。ユーザ１５０により"検索結果１"が選択されると、図１０（ｂ）に示すように、操作装置３０４では、ＯＳ３４０を介して、検索アプリケーション３１０に商品選択指示を送信する。

【0087】

商品選択指示が送信されると、検索アプリケーション３１０では、"検索結果１"により特定される商品についての詳細情報（商品情報）の送信を要求する送信要求を生成する。また、検索アプリケーション３１０では、生成した送信要求を、通信装置３０６を介して、サーバ装置１１０に送信する。

【0088】

図１１は、サーバ装置１１０に送信要求が送信されたことに応じて、サーバ装置１１０より商品情報を受信した際の、端末装置１２０の処理内容の具体例を示している。

【0089】

図１１（ｂ）に示すように、検索アプリケーション３１０では、ＯＳ３４０を介して通信装置３０６より商品情報を取得すると、商品情報表示画像１１０１を生成し、表示画面用メモリ部３４１に送信する。

【0090】

検索アプリケーション３１０によって生成され、表示画面用メモリ部３４１に送信された商品情報表示画像１１０１は、表示装置３０５に送信される。これにより、図１１（ａ）に示すように、端末装置１２０の表示画面５００には、商品情報表示画像１１０１が表示される。このように、検索アプリケーション３１０を用いれば、ユーザ１５０は、閲覧中のＳＮＳに掲載された画像内において被写体が履いているスニーカーを、商品販売サービスを提供するサイトにて、直ちに購入することが可能になる。

【0091】

また、検索アプリケーション３１０では、画面キャプチャ部３４２に対してキャプチャ停止指示を送信する。これにより、画面キャプチャ部３４２では、表示画面用メモリ部３４１に保持される表示画像のキャプチャを停止する。

【0092】

なお、検索アプリケーション３１０では、商品情報表示画像１１０１が表示画面５００に表示されている間、画面キャプチャ部３４２による表示画像のキャプチャを停止する。これにより、検索アプリケーション３１０では、商品情報表示画像１１０１が表示画面５００に表示されている間は、検索結果が表示画面５００に表示されないよう制御することができる。

【0093】

なお、仮に、商品情報表示画像１１０１が表示画面５００に表示されている間も、表示画像のキャプチャを停止しない構成とすると、商品情報表示画像１１０１から抽出したオブジェクトの画像に基づいて検索要求が送信されることになる。この結果、商品情報表示画像１１０１が表示画面５００に表示されている間も、検索結果が表示画面５００に表示されることになる。検索アプリケーション３１０によれば、商品情報表示画像１１０１が表示画面５００に表示されている間、画面キャプチャ部３４２による表示画像のキャプチャを停止することで、このような事態を回避することができる。

【0094】

その後、商品情報表示画像１１０１が非表示となり、表示画面５００に、ＳＮＳ用の表示画像８２１が表示されると、検索アプリケーション３１０では、画面キャプチャ部３４２に対して、キャプチャ開始指示を送信する。

【0095】

なお、上記説明では言及しなかったが、検索アプリケーション３１０が画面キャプチャ部３４２に対してキャプチャ開始指示を送信して以降（図７（ｂ））、ユーザ１５０は、任意のタイミングで、手動によるキャプチャ停止指示を入力できるものとする。また、手動によるキャプチャ停止指示を入力して以降は、ユーザ１５０は、任意のタイミングで手動によるキャプチャ開始指示を入力できるものとする。

【0096】

＜検索アプリケーションの機能構成＞
次に、検索アプリケーション３１０の機能構成の詳細について説明する。図１２は、検索アプリケーションの機能構成の一例を示す図である。

【0097】

図１２に示すように、検索アプリケーション３１０は、検索方法選択部１２１０、キャプチャ制御部１２２０、キャプチャ画像取得部１２３０を有する。また、検索アプリケーション３１０は、オブジェクト抽出部１２４０、特徴量算出部１２５０、検索要求部１２６０、商品情報要求部１２７０を有する。

【0098】

検索方法選択部１２１０は第１の表示部の一例である。検索方法選択部１２１０は、選択画面画像６１１を生成し、表示画面用メモリ部３４１に送信する。また、検索方法選択部１２１０は、選択画面画像６１１が表示されたことに応じて、ユーザ１５０により入力された選択指示を取得する。

【0099】

また、検索方法選択部１２１０は、選択指示＝"外部のアプリケーションから探す"であった場合には、選択画面画像６１１の表示画面用メモリ部３４１への送信を停止する。また、検索方法選択部１２１０は、選択指示＝"カメラから探す"であった場合には、選択画面画像６１１の表示画面用メモリ部３４１への送信を停止するとともに、カメラ制御アプリケーション３３０に起動指示を送信する。

【0100】

更に、検索方法選択部１２１０は、キャプチャ制御部１２２０にキャプチャの開始を指示する。

【0101】

キャプチャ制御部１２２０は指示部の一例である。キャプチャ制御部１２２０は、検索方法選択部１２１０から、キャプチャの開始が指示された場合には、画面キャプチャ部３４２に対してキャプチャ開始指示を送信する。

【0102】

また、キャプチャ制御部１２２０は、商品情報要求部１２７０から、キャプチャの停止が指示された場合には、画面キャプチャ部３４２に対してキャプチャ停止指示を送信する。また、商品情報要求部１２７０から、キャプチャの再開が指示された場合には、画面キャプチャ部３４２に対してキャプチャ開始指示を送信する。

【0103】

更に、キャプチャ制御部１２２０は、ユーザ１５０から手動でキャプチャ停止指示が入力された場合には、画面キャプチャ部３４２に対してキャプチャ停止指示を送信する。また、キャプチャ制御部１２２０は、ユーザ１５から手動でキャプチャ停止指示が入力されて以降に、手動でキャプチャ開始指示が入力された場合には、画面キャプチャ部３４２に対してキャプチャ開始指示を送信する。

【0104】

なお、キャプチャ制御部１２２０では、キャプチャ開始指示またはキャプチャ停止指示を、キャプチャ画像取得部１２３０にも合わせて送信する。

【0105】

キャプチャ画像取得部１２３０は取得部の一例である。キャプチャ画像取得部１２３０は、画面キャプチャ部３４２によって表示画像のキャプチャが行われている間、画面キャプチャ部３４２より、キャプチャされた表示画像を所定周期で取得する。また、キャプチャ画像取得部１２３０は、取得した表示画像をオブジェクト抽出部１２４０に送信する。

【0106】

オブジェクト抽出部１２４０は、キャプチャ画像取得部１２３０より送信された表示画像から、サイズが所定の閾値未満のオブジェクトの画像を抽出し、特徴量算出部１２５０に送信する。また、オブジェクト抽出部１２４０は、抽出したオブジェクトに外接する矩形枠を生成し、表示画面用メモリ部３４１に送信する。

【0107】

特徴量算出部１２５０は、オブジェクト抽出部１２４０により抽出されたオブジェクトの画像において、特徴量を算出し、検索要求部１２６０に送信する。

【0108】

検索要求部１２６０は検索部の一例である。検索要求部１２６０は、特徴量算出部１２５０より送信された特徴量を含む検索要求（画像（の特徴量）を検索クエリとする検索要求）を生成し、ＯＳ３４０を介して通信装置３０６に送信する。また、検索要求部１２６０は、サーバ装置１１０に検索要求を送信したことに応じて、サーバ装置１１０より通信装置３０６が受信した検索結果を取得する。なお、サーバ装置１１０では、商品情報格納部２３０に格納された商品の画像の中から、検索要求に含まれる画像の特徴量に類似する特徴量を有する画像を検索し、検索結果を通信装置３０６に送信する。

【0109】

また、検索要求部１２６０は、取得した検索結果１００１を、ＯＳ３４０の通知部３４３に送信する。これにより、検索結果１００１を含むメッセージ１０１１がユーザ１５０に通知され、ユーザ１５０がいずれかの検索結果を選択することで、検索要求部１２６０では、操作装置３０４から、商品選択指示を受け付ける。更に、検索要求部１２６０は、受け付けた商品選択指示を商品情報要求部１２７０に送信する。

【0110】

商品情報要求部１２７０は第２の表示部の一例である。商品情報要求部１２７０は、検索要求部１２６０より商品選択指示が送信されると、通信装置３０６に対して、商品についての詳細情報（商品情報）の送信を要求する送信要求を送信する。また、商品情報要求部１２７０は、サーバ装置１１０に送信要求が送信されたことにより、通信装置３０６がサーバ装置１１０から受信した商品情報を取得し、商品情報表示画像１１０１を生成する。

【0111】

また、商品情報要求部１２７０は、生成した商品情報表示画像１１０１を表示画面用メモリ部３４１に送信する。なお、商品情報要求部１２７０では、商品情報表示画像１１０１を表示画面用メモリ部３４１へ送信すると、キャプチャ制御部１２２０に対して、キャプチャの停止を指示する。また、商品情報要求部１２７０では、商品情報表示画像１１０１の表示画面用メモリ部３４１への送信を終了すると、キャプチャ制御部１２２０に対して、キャプチャの再開を指示する。

【0112】

＜検索処理の流れ＞
次に、端末装置１２０による検索処理の流れについて説明する。図１３は、端末装置による検索処理の流れを示すフローチャートである。検索アプリケーション３１０が起動されることで、検索方法選択部１２１０では、選択画面画像６１１を生成し、表示画面用メモリ部３４１に送信することで、選択画面画像６１１が表示画面６００に表示される。これにより、図１３に示す処理が開始される。

【0113】

ステップＳ１３０１において、キャプチャ制御部１２２０は、画面キャプチャ部３４２に対して、キャプチャ開始指示を送信するまでの間、待機する。これにより、画面キャプチャ部３４２では、表示画面用メモリ部３４１に保持された表示画像（ここでは、選択画面画像６１１）をキャプチャすることなく、停止状態で待機する。

【0114】

ステップＳ１３０２において、キャプチャ制御部１２２０は、検索アプリケーション３１０の表示画像（ここでは、選択画面画像６１１）が非表示となったか否かを判定する。ステップＳ１３０２において、検索アプリケーション３１０の表示画像の表示が継続していると判定した場合には（ステップＳ１３０２においてＮｏの場合には）、ステップＳ１３０１に戻る。

【0115】

一方、ステップＳ１３０２において、検索アプリケーション３１０の表示画像が非表示となったと判定した場合には（ステップＳ１３０２においてＹｅｓの場合には）、ステップＳ１３０３に進む。

【0116】

ステップＳ１３０３において、キャプチャ制御部１２２０は、画面キャプチャ部３４２に対してキャプチャ開始指示を送信する。これにより、キャプチャ画像取得部１２３０では、画面キャプチャ部３４２がキャプチャした表示画像について、所定周期で取得する処理を開始する。

【0117】

ステップＳ１３０４において、オブジェクト抽出部１２４０は、取得した表示画像から、オブジェクトの画像を抽出する。

【0118】

ステップＳ１３０５において、オブジェクト抽出部１２４０は、抽出したオブジェクトの画像のサイズが所定の閾値以上であるか否かを判定する。ステップＳ１３０５において、抽出したオブジェクトの画像のサイズが所定の閾値以上であると判定した場合には（ステップＳ１３０５においてＹｅｓの場合には）、ステップＳ１３１３に進む。

【0119】

一方、ステップＳ１３０５において、抽出したオブジェクトのサイズが所定の閾値未満であると判定した場合には（ステップＳ１３０５においてＮｏの場合には）、ステップＳ１３０６に進む。

【0120】

ステップＳ１３０６において、特徴量算出部１２５０は、抽出されたオブジェクトの画像において特徴量を算出する。なお、特徴量算出部１２５０は、例えば、商品を撮影した学習用画像を入力し、当該商品の商品属性情報が出力されるように機械学習された学習済みモデル（ニューラルネットワーク）に、抽出されたオブジェクトの画像を入力することで、特徴量を算出する。この場合、特徴量算出部１２５０では、学習済みモデルの中間層から、ｎ次元のベクトルとして、特徴量を抽出する。

【0121】

ステップＳ１３０７において、検索要求部１２６０は、算出された特徴量を含む検索要求を生成し、通信装置３０６に送信する。

【0122】

ステップＳ１３０８において、検索要求部１２６０は、通信装置３０６がサーバ装置１１０に検索要求を送信したことに応じて、サーバ装置１１０より検索結果を受信した場合に、当該検索結果を取得する。なお、サーバ装置１１０では、商品情報格納部２３０に格納された商品の画像の中から、検索要求に含まれる画像の特徴量に類似する特徴量を有する画像を検索し、検索結果を通信装置３０６に送信する。サーバ装置１１０では、例えば、検索要求に含まれる画像の特徴量（ｎ次元のベクトル）と、商品情報格納部２３０に格納された商品の画像の特徴量（ｎ次元のベクトル）との間のユークリッド距離を算出する。そして、サーバ装置１１０では、算出したユークリッド距離が所定の条件を満たす商品の画像を検索する。

【0123】

ステップＳ１３０９において、検索要求部１２６０は、取得した検索結果をＯＳ３４０の通知部３４３に送信する。これにより、検索結果を含むメッセージがユーザ１５０に通知される。

【0124】

ステップＳ１３１０において、検索要求部１２６０は、ユーザ１５０に検索結果を含むメッセージが通知されたことに応じて、商品選択指示を受け付ける。

【0125】

ステップＳ１３１１において、商品情報要求部１２７０は、商品選択指示を受け付けたか否かを判定する。ステップＳ１３１１において、商品選択指示を受け付けていないと判定した場合には（ステップＳ１３１１においてＮｏの場合には）、ステップＳ１３１３に進む。

【0126】

一方、ステップＳ１３１１において、商品選択指示を受け付けたと判定した場合には（ステップＳ１３１１においてＹｅｓの場合には）、ステップＳ１３１２に進む。

【0127】

ステップＳ１３１２において、商品情報要求部１２７０は、商品についての詳細情報（商品情報）を要求する送信要求を通信装置３０６に送信する。これにより、サーバ装置１１０に対して送信要求が送信される。また、商品情報要求部１２７０では、送信要求が送信されたことに応じてサーバ装置１１０から受信した商品情報を、通信装置３０６より取得する。更に、商品情報要求部１２７０では、取得した商品情報に基づいて商品情報表示画像１１０１を生成し、表示画面用メモリ部３４１に送信した後、ステップＳ１３０１に戻る。

【0128】

なお、この場合、キャプチャ制御部１２２０は、ステップＳ１３０１において、画面キャプチャ部３４２に対して、キャプチャ停止指示を送信する。これにより、画面キャプチャ部３４２では、表示画面用メモリ部３４１に保持された表示画像（ここでは、商品情報表示画像１１０１）をキャプチャすることなく待機する。

【0129】

また、キャプチャ制御部１２２０は、ステップＳ１３０２において、検索アプリケーション３１０の表示画像（ここでは、商品情報表示画像１１０１）が非表示となったか否かを判定する。

【0130】

キャプチャ制御部１２２０では、非表示となった判定するまでキャプチャ停止指示を送信する。また、キャプチャ制御部１２２０では、非表示となった判定すると（つまり、ＳＮＳ用の表示画像８２１の表示に戻ると）、キャプチャ制御部１２２０では、ステップＳ１３０３において、画面キャプチャ部３４２に対してキャプチャ開始指示を送信する。

【0131】

これにより、キャプチャ画像取得部１２３０では、画面キャプチャ部３４２がキャプチャした表示画像について、所定周期で取得する処理を再開する。以降、ステップＳ１３０４からステップＳ１３１２までの処理は上述したとおりである。

【0132】

ステップＳ１３１３において、キャプチャ制御部１２２０は、ユーザ１５０が検索アプリケーション３１０の終了指示を入力したか否かを判定する。ユーザ１５０が検索アプリケーション３１０の終了指示を入力していないと判定した場合には（ステップＳ１３１３においてＮｏの場合には）、ステップＳ１３０３に戻る。一方、ステップＳ１３１３において、ユーザ１５０が検索アプリケーション３１０の終了指示を入力したと判定した場合には（ステップＳ１３１３においてＹｅｓの場合には）、検索処理を終了する。具体的には、キャプチャ制御部１２２０は、画面キャプチャ部３４２に対してキャプチャ停止指示を送信した後、起動中の検索アプリケーション３１０を停止させる。

【0133】

＜検索結果の表示例＞
次に、検索結果１００１を含むメッセージ１０１１の表示例について説明する。上述したように、検索結果１００１を含むメッセージ１０１１は、ユーザ１５０が閲覧中の表示画面５００において、ＳＮＳ用の表示画像８２１が表示された状態で表示されることで、ユーザ１５０に通知される。

【0134】

このため、メッセージ１０１１は、ＳＮＳ用の表示画像９１１の閲覧の妨げにならない位置に表示される必要がある。

【0135】

図１４は、検索結果を含むメッセージの表示例を示す図である。図１４の場合、検索結果１００１を含むメッセージ１０１１は表示画面５００の上方位置に表示される。このように、表示画面５００の上方位置に表示することで、ユーザ１５０は、ＳＮＳ用の表示画像９１１において抽出されたオブジェクト（図１４の例では、自転車）の画像を閲覧しながら、検索結果１００１を確認することができる。

【0136】

なお、図１４の例では、抽出された１のオブジェクトの画像に対して複数の検索結果（図１４の場合、２つの検索結果）を含むメッセージ１０１１が生成された様子を示しているが、メッセージ１０１１に含める検索結果の数は、１つでもよい。

【0137】

具体的には、抽出されたオブジェクトの画像において算出される特徴量と類似する特徴量を有する複数の商品の中から、最も類似度の高い１の商品を選択して、メッセージ１０１１に含めるようにしてもよい。あるいは、類似度の高い上位Ｎ個（Ｎは２以上の整数）の商品を選択して、メッセージ１０１１に含めるようにしてもよい。

【0138】

あるいは、サーバ装置１１０が検索結果を送信する際に、１の検索要求に対して最も類似度の高い１の商品を選択して、１の検索結果を送信するようにしてもよい。

【0139】

＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る端末装置は、
・所定のアプリケーション（汎用アプリケーション、カメラ制御アプリケーション）に対して起動指示が入力される前に、検索アプリケーションの起動指示の入力を受け付ける。これにより、検索アプリケーションでは、表示画面に表示される表示画像をキャプチャする、ＯＳの画面キャプチャ部に対して、キャプチャ開始指示を送信する。
・検索アプリケーションの起動後に起動した所定のアプリケーションが生成する表示画像を、画面キャプチャ部がキャプチャし、キャプチャした表示画像を、検索アプリケーションが所定周期で取得する。
・検索アプリケーションが、取得した表示画像からオブジェクトの画像を抽出し、抽出したオブジェクトの画像の特徴量を検索クエリとして検索要求を送信する。
・検索要求の送信に応じてサーバ装置から受信した検索結果を、検索アプリケーションが、表示画面に表示する。

【0140】

このように、表示画面に表示されている表示画像の閲覧中に、該表示画面に表示されている表示画像からオブジェクトの画像を自動的に抽出し、検索要求を送信する構成とすることで、ユーザは、例えば、
・オブジェクトの画像を（スクリーンショット等により）撮影する必要がなくなる。
・所定のアプリケーションの起動中に、新たに検索アプリケーションを起動させて検索要求を送信する必要がなくなる。

【0141】

この結果、第１の実施形態によれば、画像を検索クエリとする検索機能の操作性を向上させることが可能となる。

【0142】

［第２の実施形態］
上記第１の実施形態では、検索結果１００１を含むメッセージ１０１１をユーザ１５０に通知するものとして説明した。しかしながら、検索結果１００１の表示方法はこれに限定されない。第２の実施形態では、検索結果１００１の他の表示方法について説明する。

【0143】

＜検索結果の表示例１＞
図１５は、検索結果の表示例を示す第１の図である。図１５の場合、検索結果１００１を含むメッセージ１０１１は表示画面５００上には表示されず、表示画面５００上にはタブのみが表示される。図１５（ａ）は、ＳＮＳ用の表示画像９１１が表示画面５００に表示されている状態で、タブ１５００が、表示画面５００の右端に表示された様子を示している。

【0144】

このように、表示画面５００の右端にタブ１５００のみを表示することで、ユーザ１５０は、ＳＮＳ用の表示画像９１１の閲覧を妨げられることがない。

【0145】

図１５（ｂ）は、ユーザ１５０が、表示画面５００の右端に表示されたタブ１５００を左方向にスライドさせることで、検索結果１００１が表示された様子を示している。なお、図１５（ｂ）の例では、検索結果１００１を画像で表示しているが、検索結果１００１は、テキスト情報で表示してもよい。

【0146】

このように、ユーザ１５０のスライド操作に応じて検索結果１００１を表示させることで、ユーザ１５０は、ＳＮＳ用の表示画像９１１において抽出されたオブジェクト（図１５（ｂ）の例では、自転車とワンピース）の画像に対する検索結果を確認できる。

【0147】

なお、ユーザ１５０は、タブ１５００を右方向にスライドさせることで、検索結果１００１を非表示の状態に戻すことができる。このように、必要に応じてユーザ１５０が検索結果１００１を表示させる構成とすることで、ユーザ１５０は、検索結果１００１の表示によって妨げられることなく、ＳＮＳ用の表示画像９１１を閲覧することができる。

【0148】

＜検索結果の表示例２＞
図１６は、検索結果の表示例を示す第２の図である。図１６の場合、検索結果１００１は、ＳＮＳ用の表示画像９１１において抽出されたオブジェクトの矩形枠９０１に対応付けて、通知ドット１６００として表示される。なお、図１６の例では、検索結果１００１を画像で表示しているが、検索結果１００１は、テキスト情報で表示してもよい。

【0149】

このように、オブジェクトの矩形枠９０１に対応付けて通知ドット１６００を表示することで、ユーザ１５０は、ＳＮＳ用の表示画像９１１の閲覧を妨げられることがない。加えて、ユーザ１５０は、閲覧中のＳＮＳ用の表示画像９１１において抽出されたオブジェクトの画像に類似する商品が検索されたことを把握することができる。

【0150】

［第３の実施形態］
上記各実施形態では、端末装置１２０において、特徴量算出部１２５０及び検索要求部１２６０を実現するものとして説明した。しかしながら、特徴量算出部１２５０及び検索要求部１２６０は、サーバ装置１１０において実現するように構成してもよい。

【0151】

この場合、端末装置１２０では、キャプチャ画像取得部１２３０から出力された表示画像から、オブジェクトの画像を抽出し、抽出したオブジェクトの画像を含む検索要求（画像を検索クエリとする検索要求）を、順次、サーバ装置１１０に送信する。

【0152】

また、上記各実施形態では、検索アプリケーションが「検索機能」、「情報取得機能」、「購入機能」を有するものとして説明したが、検索アプリケーションは、更に、「設定機能」を有していてもよい。

【0153】

例えば、検索アプリケーション３１０は、抽出したオブジェクトに外接する矩形枠を、表示画面５００に表示するか否かを、ユーザ１５０が設定できるように構成されていてもよい。また、検索アプリケーション３１０は、メッセージ１０１１に含める検索結果の数を、ユーザ１５０が設定できるように構成されていてもよい。また、検索アプリケーション３１０は、検索結果の表示方法を、ユーザ１５０が設定できるように構成されていてもよい。更に、検索アプリケーション３１０は、抽出するオブジェクトのサイズ等を、ユーザ１５０が設定できるように構成されていてもよい。

【0154】

また、上記各実施形態では、所定のアプリケーションとして、汎用アプリケーション（例えば、ＳＮＳアプリケーション）、カメラ制御アプリケーションを例示したが、所定のアプリケーションは、これらに限定されない。

【0155】

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

【符号の説明】

【0156】

１００ ：検索システム
１１０ ：サーバ装置
１２０ ：端末装置
１４０ ：サーバ装置
２１０ ：商品販売サービス部
２２０ ：商品情報検索部
３１０ ：検索アプリケーション
３２０ ：汎用アプリケーション
３３０ ：カメラ制御アプリケーション
３４０ ：ＯＳ
３４１ ：表示画面用メモリ部
３４２ ：画面キャプチャ部
５００ ：表示画面
５１１ ：ホーム画面用の表示画像
６１１ ：選択画面画像
８２１ ：ＳＮＳ用の表示画像
１１０１ ：商品情報表示画像
１２１０ ：検索方法選択部
１２２０ ：キャプチャ制御部
１２３０ ：キャプチャ画像取得部
１２４０ ：オブジェクト抽出部
１２５０ ：特徴量算出部
１２６０ ：検索要求部
１２７０ ：商品情報要求部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】