特許 6947085 電子機器及びその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6947085

(24)【登録日】2021年9月21日

(45)【発行日】2021年10月13日

(54)【発明の名称】電子機器及びその制御方法

(51)【国際特許分類】

   G06F 16/535 20190101AFI20210930BHJP

   G06F 16/538 20190101ALI20210930BHJP

   G06F 16/583 20190101ALI20210930BHJP

   G06F 16/587 20190101ALI20210930BHJP

   G06T 1/00 20060101ALI20210930BHJP

【ＦＩ】

   G06F16/535

   G06F16/538

   G06F16/583

   G06F16/587

   G06T1/00 200E

【請求項の数】9

【全頁数】15

(21)【出願番号】特願2018-42761(P2018-42761)

(22)【出願日】2018年3月9日

(65)【公開番号】特開2019-159537(P2019-159537A)

(43)【公開日】2019年9月19日

【審査請求日】2020年3月5日

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100123319

【弁理士】

【氏名又は名称】関根 武彦

(74)【代理人】

【識別番号】100125357

【弁理士】

【氏名又は名称】中村 剛

(74)【代理人】

【識別番号】100123098

【弁理士】

【氏名又は名称】今堀 克彦

(74)【代理人】

【識別番号】100106622

【弁理士】

【氏名又は名称】和久田 純一

(74)【代理人】

【識別番号】100138357

【弁理士】

【氏名又は名称】矢澤 広伸

(72)【発明者】

【氏名】辻 郁奈

(72)【発明者】

【氏名】田中 清明

(72)【発明者】

【氏名】高山 貴宏

(72)【発明者】

【氏名】張 立舟

【審査官】 甲斐 哲雄

(56)【参考文献】

【文献】 特開２００９−２９４７６７（ＪＰ，Ａ）

【文献】 特開２０１２−２０５１３０（ＪＰ，Ａ）

【文献】 特開２０１２−２４２８７８（ＪＰ，Ａ）

【文献】 特開２００８−０３３７５５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００−１６／９５８

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

画像検索装置とネットワークを通じて接続される電子機器であって、
撮像手段と、
前記撮像手段により撮影された撮影画像を入力画像として含む検索要求を前記画像検索装置に対して送信する送信手段と、
前記検索要求に含まれる前記入力画像に写っている要素に基づいて決められる検索条件に対する検索結果である第２の画像群を前記画像検索装置から受信する受信手段と、
前記受信した前記第２の画像群を表示装置に表示する表示制御手段と、
前記第２の画像群を表示した状態で又は前記第２の画像群を表示した後に前記撮像手段により撮影された画像に対し、前記第２の画像群との類似度を低下させるための加工処理を施す加工手段と、
を有することを特徴とする電子機器。

【請求項2】

前記第２の画像群は、前記画像検索装置が、複数の画像のうちから前記検索要求に基づく検索条件にマッチする画像群として第１の画像群を選択し、前記第１の画像群のうちから所定の評価式により算出されるスコアに基づいて選択することにより得られた画像群であり、
前記複数の画像のそれぞれは、所定のインターネットサービス上で評価を受け得る状態に置かれた画像であり、
前記所定の評価式は、前記第１の画像群のうち前記所定のインターネットサービス上で多くの人から良い評価を受けている画像ほどスコアが高くなり、且つ、前記第１の画像群のうちで他の画像との類似度が低い画像ほどスコアが高くなるように設計された評価式である、
ことを特徴とする請求項１に記載の電子機器。

【請求項3】

前記第２の画像群のうちから一つの画像を選択する選択指示をユーザから受け付ける選択指示受付手段と、を有し、
前記選択指示受付手段により選択指示を受け付けた場合に、前記送信手段が、選択画像の情報を前記画像検索装置に対して送信し、前記受信手段が、前記第１の画像群のうちから前記選択画像に類似する画像群として選択された第３の画像群に関する情報を含む第２
の検索結果を前記画像検索装置から受信し、前記表示制御手段が、前記受信した前記第２の検索結果に基づいて前記第３の画像群を表示装置に表示する、
ことを特徴とする請求項２に記載の電子機器。

【請求項4】

前記送信手段は、前記撮像手段により撮影されたプレビュー画像を前記入力画像として前記画像検索装置に対して送信し、
前記表示制御手段は、前記プレビュー画像とともに、前記第２の画像群を表示装置に表示する
ことを特徴とする請求項１から３のいずれか一項に記載の電子機器。

【請求項5】

位置検出手段をさらに有し、
前記送信手段は、前記検索要求に、前記位置検出手段により検出された現在位置の位置情報を含めて前記画像検索装置に対して送信し、
前記受信手段が受信する前記検索結果は、前記位置情報に基づいて決められる検索条件に対する検索結果である、
ことを特徴とする請求項１から４のいずれか一項に記載の電子機器。

【請求項6】

画像検索装置とネットワークを通じて接続される電子機器の制御方法であって、
画像を撮影するステップと、
前記撮影された撮影画像を入力画像として含む検索要求を前記画像検索装置に対して送信するステップと、
前記検索要求に対する検索結果である第２の画像群を前記画像検索装置から受信するステップと、
前記受信した第２の画像群を表示するステップと、
前記第２の画像群を表示した状態で又は前記第２の画像群を表示した後に第２の撮影画像を撮影するステップと、
前記第２の撮影画像に対し、前記第２の画像群との類似度を低下させるための加工処理を施すステップと、
を有することを特徴とする電子機器の制御方法。

【請求項7】

前記第２の画像群のうちから一つの画像を選択する選択指示をユーザから受け付けるステップと、を有し
前記選択指示を受け付けた場合に、前記送信するステップでは、選択画像の情報を前記画像検索装置に対して送信し、前記受信するステップでは、複数の画像のうちから前記検索要求に基づく検索条件にマッチする画像群として選択された第１の画像群のうちから、前記選択画像に類似する画像群として選択された第３の画像群に関する情報を含む第２の検索結果を前記画像検索装置から受信し、前記表示するステップでは、前記受信した前記第２の検索結果に基づいて前記第３の画像群を表示装置に表示する、
ことを特徴とする請求項６に記載の電子機器の制御方法。

【請求項8】

現在の位置を検出するステップをさらに有し、
前記送信するステップでは、前記検索要求に、前記位置を検出するステップにより検出された現在位置の位置情報を含めて前記画像検索装置に対して送信し、
前記受信するステップにおいて受信する前記検索結果は、前記位置情報に基づいて決められる検索条件に対する検索結果である、
ことを特徴とする請求項６または７に記載の電子機器の制御方法。

【請求項9】

請求項６〜８のいずれか１項に記載の電子機器の制御方法の各ステップをコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像の検索技術に関する。

【背景技術】

【0002】

スマートフォンの普及とソーシャル・ネットワーキング・サービス（ＳＮＳ）の登場により、個人で撮影した画像をネットワーク上で公開し他人と共有することが簡単かつ手軽にできるようになってきた。また、この種のサービスを利用すると、自らの画像を公開するだけでなく、他人の画像を閲覧したり、所望の画像を検索したりすることも可能である。それゆえ、例えば旅行先や人気スポットなどにおいて、ＳＮＳで当該場所の画像を検索・閲覧し、自分で写真撮影するときの構図やアングルの参考にする、といった使い方もされている。

【0003】

一般的なＳＮＳにおいては、キーワードによる画像検索（ハッシュタグ検索）の機能や、検索結果を人気順（いわゆる「いいね数」の多い順）に並べる機能を提供するものが多い。また特許文献１では、ＳＮＳにおける画像の検索・閲覧を効率化するための技術として、ＳＮＳに投稿された画像のうち特にアクセス数（閲覧数）の多い画像を別カテゴリに分類することで、人気の画像を効率良く閲覧できるようにしたシステムが提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−１９６２００号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述した従来の画像検索のように、単純に人気の高い画像を検索結果として出力する方法では、同じような構図やアングルの写真が多く出力される傾向にある。ユーザが定番の構図やアングルでの撮影を所望する場合はそのような検索結果も参考にはなるが、例えばユニークな写真や意外性のある写真を撮りたいと思っているユーザにはあまり参考にならず物足らない。ＳＮＳのアクティブユーザの多くは、人が集まるスポットに行ったり話題のモノ・コトを体験するなど、他人と同じ行動を自らもとり写真に収めたいと望む一方で、他人の注目や評価を集めるような写真（いわゆる「ＳＮＳ映えする写真」）を撮りたいという欲求を持っている。従来の画像検索は、このような欲求を満足することができない。

【0006】

本発明は上記実情に鑑みなされたものであって、バリエーションに富む画像例を検索結果として提供することのできる技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第一側面は、画像の検索要求をユーザから受け付ける検索要求受付手段と、複数の画像のうちから、前記検索要求に基づく検索条件にマッチする第１の画像群を選択する第１の選択手段と、前記第１の画像群のうちから、所定の評価式により算出されるスコアに基づいて第２の画像群を選択する第２の選択手段と、前記第２の画像群に関する情報を検索結果として出力する結果出力手段と、を有し、前記複数の画像のそれぞれは、所定のインターネットサービス上で任意の人から評価を受け得る状態に置かれた画像であり、前記所定の評価式は、前記第１の画像群のうち前記所定のインターネットサービス上で多くの人から良い評価を受けている画像ほどスコアが高くなり、且つ、前記第１の画像群の
うちで他の画像との類似度が低い画像ほどスコアが高くなるように設計された評価式であることを特徴とする画像検索装置を提供する。

【0008】

この構成によれば、検索条件にマッチする画像群のうち、他人から良い評価が得られた実績があり、且つ、ありきたりの構図やアングルではないバリエーションに富んだ画像が、検索結果として提供される。したがって、ユーザは、検索結果として提供された画像を参考にして、他人の注目や評価を集めやすい画像を撮影することができる。

【0009】

前記ユーザが前記第２の画像群のうちから一つの画像を選択したことに応じて、その選択画像の情報を受け付ける選択情報受付手段と、前記第１の画像群のうちから前記選択画像に類似する第３の画像群を選択する第３の選択手段と、をさらに有し、前記結果出力手段は、前記第３の画像群に関する情報を第２の検索結果として出力してもよい。ユーザは、このような第３の画像群を見ることで、自ら撮影を行う際の構図やアングルの参考にできる。

【0010】

前記複数の画像又はその画像の所在を示す情報を、複数のカテゴリに予め分類して記憶するデータベースをさらに有し、前記検索条件は、カテゴリを示す情報を含み、前記第１の選択手段は、前記データベースから、前記検索条件にマッチするカテゴリに属する画像群を前記第１の画像群として選択してもよい。このように画像を予めカテゴリに分類しておき、カテゴリにて画像の１次の絞り込みを行うようにすることで、検索処理の高速化を図ることができる。

【0011】

前記データベースは、カテゴリごとに、当該カテゴリに属する画像群が前記スコアに基づき予め順位付けされており、前記第２の選択手段は、前記第１の画像群のうち、上位の所定数の画像を前記第２の画像群として選択するとよい。このように画像を予め順位付けしておくことで、検索処理の高速化を図ることができる。

【0012】

前記検索要求は、ユーザから入力される入力画像を含み、前記検索要求受付手段は、前記入力画像に写っている要素を認識し、認識された前記要素に基づいて前記検索条件を決めるとよい。この構成によれば、ユーザが自ら撮影した画像や本撮影の前のプレビュー画像などを入力画像として与えると、その入力画像と要素が共通する画像が検索結果として得られるので、自ら撮影を行う際の参考にしやすい。

【0013】

前記検索要求は、ユーザから入力される位置情報を含み、前記検索要求受付手段は、前記位置情報に基づいて前記検索条件を決めるとよい。この構成によれば、ユーザの現在位置の情報などを位置情報として与えると、ユーザが現在位置で撮影可能な画像が検索結果として得られるので、自ら撮影を行う際の参考にしやすい。

【0014】

本発明の第二側面は、上記の画像検索装置とネットワークを通じて接続される電子機器であって、画像の検索要求を前記画像検索装置に対して送信する送信手段と、前記検索要求に対する検索結果を前記画像検索装置から受信する受信手段と、前記受信した検索結果に基づいて前記第２の画像群を表示装置に表示する表示制御手段と、を有することを特徴とする電子機器を提供する。

【0015】

本発明の第三側面は、上記の画像検索装置とネットワークを通じて接続される電子機器であって、画像の検索要求を前記画像検索装置に対して送信する送信手段と、前記検索要求に対する検索結果を前記画像検索装置から受信する受信手段と、前記受信した検索結果に基づいて前記第２の画像群を表示装置に表示する表示制御手段と、前記第２の画像群のうちから一つの画像を選択する選択指示をユーザから受け付ける選択指示受付手段と、を有し、前記選択指示受付手段により選択指示を受け付けた場合に、前記送信手段が、選択
画像の情報を前記画像検索装置に対して送信し、前記受信手段が、前記第２の検索結果を前記画像検索装置から受信し、前記表示制御手段が、前記受信した前記第２の検索結果に基づいて前記選択画像に類似する前記第３の画像群を表示装置に表示することを特徴とする電子機器を提供する。

【0016】

本発明の第四側面は、上記の画像検索装置とネットワークを通じて接続される電子機器であって、撮像手段と、前記撮像手段により撮影された画像を前記入力画像として含む検索要求を前記画像検索装置に対して送信する送信手段と、前記検索要求に対する検索結果を前記画像検索装置から受信する受信手段と、前記受信した検索結果に基づいて前記第２の画像群を表示装置に表示する表示制御手段と、を有することを特徴とする電子機器を提供する。

【0017】

前記送信手段は、前記撮像手段により撮影されたプレビュー画像を前記入力画像として前記画像検索装置に対して送信し、前記表示制御手段は、前記プレビュー画像とともに、前記第２の画像群を表示装置に表示するとよい。

【0018】

前記第２の画像群を表示した状態で又は前記第２の画像群を表示した後に前記撮像手段により撮影された画像に対し、前記第２の画像群との類似度を低下させるための加工処理を施す加工手段をさらに有するとよい。

【0019】

本発明の第五側面は、上記の画像検索装置とネットワークを通じて接続される電子機器であって、位置検出手段と、前記位置検出手段により検出された現在位置の情報を前記位置情報として含む検索要求を前記画像検索装置に対して送信する送信手段と、前記検索要求に対する検索結果を前記画像検索装置から受信する受信手段と、前記受信した検索結果に基づいて前記第２の画像群を表示装置に表示する表示制御手段と、を有することを特徴とする電子機器を提供する。

【0020】

本発明の第六側面は、画像の検索要求をユーザから受け付けるステップと、複数の画像のうちから、前記検索要求に基づく検索条件にマッチする第１の画像群を選択するステップと、前記第１の画像群のうちから、所定の評価式により算出されるスコアに基づいて第２の画像群を選択するステップと、前記第２の画像群に関する情報を検索結果として出力するステップと、を有し、前記複数の画像のそれぞれは、所定のインターネットサービス上で任意の人から評価を受け得る状態に置かれた画像であり、前記所定の評価式は、前記第１の画像群のうち前記所定のインターネットサービス上で多くの人から良い評価を受けている画像ほどスコアが高くなり、且つ、前記第１の画像群のうちで他の画像との類似度が低い画像ほどスコアが高くなるように設計された評価式であることを特徴とする画像検索方法を提供する。

【0021】

本発明の第七側面は、上記の画像検索方法の各ステップをコンピュータに実行させるためのプログラムを提供する。

【0022】

本発明の第八側面は、上記の画像検索装置とネットワークを通じて接続される電子機器の制御方法であって、画像の検索要求を前記画像検索装置に対して送信するステップと、前記検索要求に対する検索結果を前記画像検索装置から受信するステップと、前記受信した検索結果に基づいて前記第２の画像群を表示するステップと、有することを特徴とする電子機器の制御方法を提供する。

【0023】

本発明の第九側面は、上記の画像検索装置とネットワークを通じて接続される電子機器の制御方法であって、画像の検索要求を前記画像検索装置に対して送信するステップと、前記検索要求に対する検索結果を前記画像検索装置から受信するステップと、前記受信し
た検索結果に基づいて前記第２の画像群を表示するステップと、前記第２の画像群のうちから一つの画像を選択する選択指示をユーザから受け付けるステップと、前記選択指示を受け付けた場合に、選択画像の情報を前記画像検索装置に対して送信するステップと、前記第２の検索結果を前記画像検索装置から受信するステップと、前記受信した前記第２の検索結果に基づいて前記選択画像に類似する前記第３の画像群を表示するステップと、を有することを特徴とする電子機器の制御方法を提供する。

【0024】

本発明の第十側面は、上記の画像検索装置とネットワークを通じて接続される電子機器の制御方法であって、画像を撮影するステップと、前記撮影された画像を前記入力画像として含む検索要求を前記画像検索装置に対して送信するステップと、前記検索要求に対する検索結果を前記画像検索装置から受信するステップと、前記受信した検索結果に基づいて前記第２の画像群を表示するステップと、を有することを特徴とする電子機器の制御方法を提供する。

【0025】

本発明の第十一側面は、上記の画像検索装置とネットワークを通じて接続される電子機器の制御方法であって、現在位置の情報を検出するステップと、前記検出された現在位置の情報を前記位置情報として含む検索要求を前記画像検索装置に対して送信するステップと、前記検索要求に対する検索結果を前記画像検索装置から受信するステップと、前記受信した検索結果に基づいて前記第２の画像群を表示するステップと、を有することを特徴とする電子機器の制御方法を提供する。

【0026】

本発明の第十二側面は、上記の電子機器の制御方法の各ステップをコンピュータに実行させるためのプログラムを提供する。

【発明の効果】

【0027】

本発明によれば、バリエーションに富む画像例を検索結果として提供することができる。

【図面の簡単な説明】

【0028】

【図1】図１は、本発明の実施形態に係る画像検索システムを利用した画像検索サービスの全体像を示す図である。

【図2】図２は、画像検索システムの構成の詳細を示す図である。

【図3】図３は、画像データベースの作成処理の流れを示すフローチャートである。

【図4】図４は、画像データベースの構造の一例を示す図である。

【図5】図５は、画像検索サーバとユーザ端末の処理を示す図である。

【図6】図６は、ユーザ端末におけるプレビュー画像の表示例である。

【図7】図７Ａ及び図７Ｂは、ユーザ端末におけるレコメンド画像の表示例である。

【図8】図８は、ユーザ端末における類似画像の表示例である。

【発明を実施するための形態】

【0029】

＜適用例＞
まず、本発明が適用される場面の一例について説明する。図１は、本発明の実施形態に係る画像検索システムを利用した画像検索サービスの全体像を示している。

【0030】

画像検索システム１は、概略、画像検索サービスを提供する画像検索サーバ（画像検索装置）１０と、同サービスのユーザが用いるユーザ端末（電子機器）１１とで構成されている。図１には、１台の画像検索サーバ１０と１台のユーザ端末１１のみ描かれているが、実際には、複数台の画像検索サーバ１０により冗長構成が組まれていてもよいし、複数台のユーザ端末１１により同サービスが利用されてもよい。

【0031】

画像検索サーバ１０は、ユーザから受け付けた検索要求を基に画像の検索を行い、その検索結果をユーザに返す、というインターネットサービスを提供するサーバである。画像検索サーバ１０は複数の画像を記憶する画像データベース１００を有している。なお、画像データベース１００の構成としては、画像そのもの（実体データ）の代わりに、画像の所在を示す情報（例えばＵｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ（ＵＲＩ）など）を記憶する構成を採ってもよい。すなわち、画像検索サーバ１０は、自らが保有・管理する画像データだけでなく、他のサーバが保有する画像データや、他のサービス（例えばＳＮＳなど）で提供されている画像データを、検索の対象に含める構成を採ることが可能である。

【0032】

ユーザ端末１１は、画像検索サービスを利用するユーザが所持し操作する電子機器である。画像検索サービスを利用するためのクライアントプログラムの機能及び仕様は任意であるが、本適用例では、ユーザの写真撮影を補助するプログラム（以下「撮影補助アプリ」と呼ぶ）を例示する。

【0033】

まずユーザが、ユーザ端末１１において撮影補助アプリを起動する。そうすると、ユーザ端末１１（詳しくは、撮影補助アプリに従って動作するＣＰＵ）が、撮像装置から画像を取り込み、ユーザ端末１１の画面にプレビュー画像を表示する。さらにユーザ端末１１は、そのプレビュー画像を検索要求と共に画像検索サーバ１０に送信する。

【0034】

画像検索サーバ１０は、ユーザ端末１１から受信した画像を解析することによって画像に写っている要素を認識し、その認識結果に基づいて画像の検索条件を決める。例えば、画像検索サーバ１０は、人認識、一般物体認識、シーン解析などを行うことにより、画像から人、物、風景、場所などの要素を認識してもよい。これらの認識結果を利用し、例えば、「女性」、「カップル」、「車」、「東京スカイツリー」、「富士山」、「ハワイ」、「ピサの斜塔」のような検索条件（検索キーワード）を生成することができる。次に、画像検索サーバ１０は、画像データベース１００のなかから検索条件にマッチする画像を選択した後（第１の選択）、その選択された画像群（第１の画像群）のうちから、ＳＮＳなどでの評価が高く、且つ、同じカテゴリ内の他の画像との類似度が低い画像をいくつか選び出す（第２の選択）。そして、画像検索サーバ１０は、選び出されたいくつかの画像（第２の画像群）に関する情報を検索結果としてユーザ端末１１に提供する。

【0035】

ユーザ端末１１は、画像検索サーバ１０から検索結果として受け取った画像群をレコメンド画像として画面に表示する（このときプレビュー画像との比較が可能な態様でレコメンド画像が表示されるとよい）。レコメンド画像は、ユーザが今まさに撮影しようとしている対象と共通する要素を含んでおり、且つ、ＳＮＳなどで他人から良い評価が得られた実績があり、尚且つ、ありきたりの構図やアングルではない、という条件を満たす画像である。したがって、ユーザは、画面に表示されるレコメンド画像を参考にすることで、ＳＮＳで高評価が得られるようなバリエーションに富んだ画像を撮影することができる。

【0036】

＜画像検索システム＞
次に、図２を参照して、本実施形態の画像検索システム１の具体的な構成例を説明する。

【0037】

（画像検索サーバ）
画像検索サーバ１０は、画像データベース１００、検索要求受付部（検索要求受付手段）１０１、カテゴリ選択部（第１の選択手段）１０２、レコメンド画像選択部（第２の選択手段）１０３、選択情報受付部（選択情報受付手段）１０４、類似画像選択部（第３の選択手段）１０５、結果出力部（結果出力手段）１０６を有している。

【0038】

画像データベース１００は、複数の画像又はその画像の所在を示す情報をカテゴリに分類して記憶するデータベースである。検索要求受付部１０１は、検索要求をユーザ端末１１から受け付ける処理を行う。カテゴリ選択部１０２は、画像データベース１００に記憶されている複数の画像のうちから、検索条件にマッチするカテゴリを特定し、そのカテゴリに属する画像群を第１の画像群として選択する処理を行う。レコメンド画像選択部１０３は、第１の画像群のうちから、所定の評価式により算出されるスコアに基づいて、スコアの高いいくつかの画像（第２の画像群）を選択する処理を行う。この第２の画像群が、検索結果としてユーザ端末１１に出力され、ユーザ端末１１の画面上にレコメンド画像として表示される。選択情報受付部１０４は、ユーザがレコメンド画像群のうちから一つの画像を選択したことに応じて、その選択画像の情報を受け付ける処理を行う。類似画像選択部１０５は、第１の画像群のうちから選択画像に類似する画像群（第３の画像群）を選択する処理を行う。結果出力部１０６は、レコメンド画像選択部１０３の選択結果や類似画像選択部１０５の選択結果をユーザ端末１１に送信する処理を行う。

【0039】

画像検索サーバ１０は、例えば、ＣＰＵ（プロセッサ）、メモリ、大容量のストレージ、通信装置、入力装置を少なくとも備える汎用のサーバコンピュータに、必要なプログラム（オペレーティングシステム、データベース管理プログラム、画像検索プログラムなど）をインストールすることにより構成することができる。この構成の場合、図２に示すブロック１００〜１０６は、ＣＰＵが、ストレージに格納されているプログラムをメモリに展開し当該プログラムを実行することによって実現されることとなる。ただし、画像検索サーバ１０の構成はこれに限られない。例えば、画像検索サーバ１０が提供する機能の一部又は全部を、ＡＳＩＣやＦＰＧＡなど、専用のハードウェアにて実現してもよい。また、画像検索サーバ１０は、単一のコンピュータで構成してもよいし、複数のコンピュータで構成してもよい。

【0040】

（ユーザ端末）
ユーザ端末１１は、検索要求送信部（送信手段）１１０、検索結果受信部（受信手段）１１１、表示制御部（表示制御手段）１１２、選択指示受付部（選択指示受付手段）１１３、画像加工部（加工手段）１１４を有している。また、ユーザ端末１１は、ハードウェアとして、撮像装置（撮像手段）１１５、タッチパネルディスプレイ（表示装置及び入力装置）１１６、位置センサ（位置検出手段）１１７を備える。

【0041】

検索要求送信部１１０は、検索要求を画像検索サーバ１０に対して送信する処理を行う。検索結果受信部１１１は、検索要求に対する検索結果を画像検索サーバ１０から受信する処理を行う。表示制御部１１２は、プレビュー画像や検索結果の画像などをタッチパネルディスプレイ１１６に表示する制御を行う。選択指示受付部１１３は、検索結果として表示されたレコメンド画像のうちから一つの画像を選択する選択指示をユーザから受け付ける処理を行う。画像加工部１１４は、撮像装置１１５により撮影された画像に対し、加工処理を行う。

【0042】

撮像装置１１５は、静止画及び動画の撮影が可能なカメラである。タッチパネルディスプレイ１１６は、表示装置と入力装置を兼ねたデバイスであり、例えば液晶ディスプレイ、有機ＥＬディスプレイなどを用いることができる。位置センサ１１７は、ユーザ端末１１の現在位置の情報を検出するデバイスであり、例えば、ＧＰＳセンサなどを利用することができる。ユーザ端末１１は、さらに、不図示のＣＰＵ（プロセッサ）、メモリ、ストレージを有している。図２に示すブロック１１０〜１１４は、ＣＰＵが、ストレージに格納されているプログラム（オペレーティングシステム、撮影補助アプリなど）をメモリに展開し当該プログラムを実行することによって実現されることとなる。ただし、ユーザ端末１１の構成はこれに限られない。例えば、ユーザ端末１１が提供する機能の一部又は全部を、ＡＳＩＣやＦＰＧＡなど、専用のハードウェアにて実現してもよい。また、ユーザ
端末１１の機能の一部を、クラウドサーバにて実行してもよい。

【0043】

（画像データベース）
図３及び図４を参照して、画像データベース１００の構造とその作成処理について説明する。図３は、画像データベース１００の作成処理の流れを示すフローチャートであり、図４は、画像データベース１００の構造の一例を示す図である。

【0044】

ステップＳ３０において、画像検索サーバ１０は、画像データベース１００に登録する複数の画像のデータを取得する。画像の取得先は任意であり、特に限定されない。ここでは一例として、画像検索サービスと同じ事業者が提供しているＳＮＳのサーバから画像の取得を行うことを想定する。このＳＮＳでは、会員は自ら撮影した画像を自由に公開することができると共に、他人が公開した画像を閲覧したり評価する（「いいね」や「コメント」の付与）ことができるものとする。また、ＳＮＳに画像を投稿する際には、ハッシュタグや位置情報などのメタデータを付けてアップロードすることもできる。

【0045】

ステップＳ３１において、画像検索サーバ１０は、各画像をカテゴリに分類する。具体的には、画像検索サーバ１０は、画像に対して人認識、一般物体認識、シーン解析などの各種解析処理を施すことによって、画像に写っている要素（人、物、風景、場所など）を認識する。この種の解析処理としては、例えば畳み込みニューラルネットワーク（ＣＮＮ）に代表される公知のアルゴリズムを適用することができるのでここでは詳しい説明は割愛する。また、画像の解析の他にも、画像検索サーバ１０は、画像に付加されたメタデータ（ハッシュタグ、位置情報など）から、画像に写っている要素を推定することもできる。そして、画像検索サーバ１０は、画像の要素に基づいて、当該画像のカテゴリを決定する。例えば以下のようなカテゴリが想定される。

【0046】

・被写体（人）の属性 ・・・「女性」、「カップル」、「赤ちゃん」、「ビジネスマン」など。
・被写体（一般物体） ・・・「車」、「山」、「桜」、「観覧者」、「寺」など。
・被写体（個体） ・・・「富士山」、「東京スカイツリー」、「清水寺」、「ピサの斜塔」など。
・風景 ・・・「浜辺」、「高層ビル」、「夕焼け」、「青空」など。
・場所 ・・・「ハワイ−ワイキキビーチ」、「京都−東本願寺」など。

【0047】

なお、上記に限らず、画像のカテゴリはどのように設計してもよい。また、１つの画像が複数のカテゴリに分類されてもよい（例えば、ワイキキビーチで撮影されたカップルの画像が、「カップル」、「浜辺」、「青空」、「ハワイ−ワイキキビーチ」の４つのカテゴリに登録されるなど）。

【0048】

ステップＳ３２において、画像検索サーバ１０は、カテゴリごとに、画像の順位付けを行う。詳しくは、前述したＳＮＳ上で多くの人から良い評価を受けている画像ほどスコアが高くなり、且つ、同じカテゴリ内の他の画像との類似度が低い画像ほどスコアが高くなるように設計された評価式を用いて、各画像のスコアを算出し、このスコアに基づいてカテゴリ内の画像をランキングする。以下に評価式の一例を記載する。

【0049】

Ｙｃｉ＝α×Ｅｉ＋β×Ｓｃｉ
ここで、
Ｙｃｉ：カテゴリｃにおける画像ｉのスコア、
Ｅｉ：画像ｉのＳＮＳでの評価の高さ、
Ｓｃｉ：画像ｉとカテゴリｃ内の画像ｉ以外の画像との類似度の低さ（非類似度）
α，β：重み係数
である。

【0050】

評価の高さＥｉは、例えば、画像ｉに付けられた「いいね」の数である。あるいは、画像ｉに付けられたポジティブなコメントの数でもよい。コメントがポジティブな内容であるか否かは、例えば、自然言語処理などを利用して判断すればよい。

【0051】

類似度の低さＳｃｉは、例えば、下記式により計算することができる。
Ｓｃｉ＝Σｓｉｊ
ここで、
ｓｉｊ：画像ｉと画像ｊとの類似度の低さ
ｊ∈ｃ（ただし、ｉ≠ｊ）
である。

【0052】

なお、類似度の計算にはどのようなアルゴリズムを用いてもよい。例えば、特徴量（色、輝度など）の比較、シーンの比較、被写体の姿勢やポージングの比較、画像の加工の仕方（フィルタやスタンプなど）の比較などを例示できる。

【0053】

図４は、画像データベース１００の構造の一例を示している。複数の画像がカテゴリに分類され、それぞれのカテゴリ内で上述したスコアＹに基づく順位付けが行われている。なお、図４の例では、各画像のＳＮＳでの評価の高さＥと類似度の低さ（非類似度）Ｓも格納されている。また、画像データベース１００の登録画像には、実体データが登録されている画像と、画像の所在を示すＵＲＩのみが登録されている画像とが含まれている。

【0054】

＜画像検索サービス＞
次に、図５〜図８を参照して、画像検索システム１により提供される画像検索サービスを利用した撮影補助の詳細を説明する。図５は、画像検索サーバ１０とユーザ端末１１それぞれの処理を示す図であり、図６は、ユーザ端末におけるプレビュー画像の表示例であり、図７Ａ及び図７Ｂは、レコメンド画像の表示例であり、図８は、類似画像の表示例である。

【0055】

ステップＳ５００において、ユーザ端末１１の撮影補助アプリが起動されると、表示制御部１１２が撮像装置１１５から画像を取り込み、タッチパネルディスプレイ１１６にプレビュー画像を表示する。なお、画像の取り込み及びプレビュー画像の表示は、１０ｆｐｓ（フレーム／秒）や３０ｆｐｓなど、所定の時間間隔で繰り返される。図６は、ユーザ端末１１としてのスマートフォンの画面に表示されたプレビュー画像の例である。

【0056】

ここでユーザが撮影補助アプリにおいて「レコメンド画像の表示」を指示すると、検索要求送信部１１０が、プレビュー画像を検索要求と共に画像検索サーバ１０に送信する（ステップＳ５０１）。なお、本例では、ユーザの指示に応じて検索要求を送信する例を示したが、ユーザの指示無く、自動的に検索要求を送信するようにしてもよい。例えば、撮像装置１１５からプレビュー画像が取り込まれるたびに検索要求を送信してもよいし、処理負荷を軽減するために、１秒に１回など所定の時間間隔で検索要求を送信してもよい。あるいは、さらに処理負荷を軽減するために、プレビュー画像の内容（被写体や構図やアングルなど）が大きく変化した場合にのみ検索要求を送信してもよい。プレビュー画像の内容の変化は、例えば、画像の単純差分をとり評価してもよいし、画像の特徴量（色、輝度など）の変化に基づき評価してもよいし、それ以外の方法で評価してもよい。

【0057】

ステップＳ５２０において、画像検索サーバ１０の検索要求受付部１０１が、ユーザ端末１１から検索要求とプレビュー画像を受信する。そして、ステップＳ５２１において、検索要求受付部１０１が、プレビュー画像に対して人認識、一般物体認識、シーン解析な
どの各種解析処理を施すことによって、プレビュー画像に写っている要素（人、物、風景、場所など）を認識する。ここでの処理は、画像データベース１００の作成処理において画像のカテゴリを決定したときと同じ処理を用いることができるので、詳しい説明は割愛する。ステップＳ５２１で得られたプレビュー画像のカテゴリの情報が、次ステップで検索条件として用いられる。なお、ステップＳ５２１においてプレビュー画像のカテゴリの候補が複数得られた場合には、それらの候補の中から、固有名称により特定されるカテゴリを優先的に検索条件に選ぶとよい。例えば、カテゴリの候補として「カップル」、「桜」、「寺」、「清水寺」、「青空」が得られた場合であれば、「清水寺」というカテゴリが検索条件に設定される。このように検索条件を選ぶことで、プレビュー画像に写る要素と関連性の高い画像が検索結果として得られる可能性が高まるからである。

【0058】

ステップＳ５２２において、カテゴリ選択部１０２が、画像データベース１００から検索条件にマッチするカテゴリの画像群を選択する。続いて、レコメンド画像選択部１０３が、ステップＳ５２２で選択されたカテゴリの画像群のなかから、上位に順位付けられたＮ枚の画像を選択する（ステップＳ５２３）。Ｎは任意に設定される整数であり、本例ではＮ＝６である。そして、ステップＳ５２４において、結果出力部１０６が、ステップＳ５２３で選択されたＮ枚の画像の情報をユーザ端末１１へ送信する。このとき、画像の実体データをそのまま送ってもよいし、画像を低解像度化したデータを送ってもよいし、画像の所在を示す情報を送ってもよい。

【0059】

ステップＳ５０２において、ユーザ端末１１の検索結果受信部１１１が、画像検索サーバ１０から検索結果（Ｎ枚の画像の情報）を受信する。そうすると、表示制御部１１２が、Ｎ枚の画像をレコメンド画像としてタッチパネルディスプレイ１１６に表示する（ステップＳ５０３）。図７Ａ及び図７Ｂはレコメンド画像の表示例である。図７Ａは、プレビュー画像７０と共にレコメンド画像群７１を表示した例であり、図７Ｂは、レコメンド画像群７２のみを表示した例である。また図７Ｂの表示例では、スコアＹが高い画像ほど大きいサイズで表示している。図７Ａや図７Ｂのようなレコメンド画像を見ることで、ユーザは、自ら撮影を行う際の構図やアングルの参考にできる。

【0060】

ここで、ユーザがレコメンド画像の一つにタッチすると、選択指示受付部１１３が選択された画像を判定し、その選択画像の情報が検索要求送信部１１０から画像検索サーバ１０に対して送られる（ステップＳ５０４）。すると、画像検索サーバ１０の選択情報受付部１０４がユーザ端末１１から選択画像の情報を受け取り（ステップＳ５２５）、類似画像選択部１０５が、この選択画像が属するカテゴリ内の画像群から、選択画像との類似度が高いＭ枚の画像を選択する（ステップＳ５２６）。Ｍは任意に設定される整数であり、本例ではＭ＝６である。なお、ここで用いられる類似度は、画像データベース１００の作成処理で用いた類似度と同じ指標でもよいし、異なる指標でもよい。また、類似度の指標をユーザに指定させてもよい。例えば、構図が類似するもの、人物の姿勢やポージングが類似するもの、色や輝度が類似するもの、というように類似の観点をユーザが選択できるようにすることで、ユーザの興味を惹くような画像をユーザに提供することができる。選択されたＭ枚の類似画像の情報は、ステップＳ５２７おいて、結果出力部１０６からユーザ端末１１へ送信される。

【0061】

ステップＳ５０５において、ユーザ端末１１の検索結果受信部１１１が、画像検索サーバ１０から追加検索結果（Ｍ枚の類似画像の情報）を受信する。そうすると、表示制御部１１２が、Ｍ枚の類似画像をタッチパネルディスプレイ１１６に表示する（ステップＳ５０６）。図８は、図７Ｂの画像７３が選択された場合に、表示される類似画像の例である。図８のような類似画像を見ることで、ユーザは、自ら撮影を行う際の構図やアングルの参考にできる。

【0062】

ステップＳ５０７において、ユーザがシャッタを押すと本撮影が行われ、撮像装置１１５から取り込まれた画像がストレージに保存される。このとき、撮影補助アプリの「加工処理設定」が有効になっている場合には、画像加工部１１４が、撮像装置１１５から取り込まれた画像に対し、所定の加工処理を施す（ステップＳ５０８）。この加工処理は、撮影した画像とレコメンド画像との類似度を低下させることができる処理であれば、どのようなものでも構わない。例えば、フィルタ処理、スタンプなどのデコレーション処理などが挙げられる。

【0063】

以上述べた撮影補助アプリを利用すれば、ユーザは、画面に表示されるレコメンド画像を参考にすることで、ＳＮＳで高評価が得られるようなバリエーションに富んだ画像を撮影することができる。

【0064】

＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記実施形態では、撮影補助アプリにより画像検索サービスを利用する例を説明したが、本発明の応用例はこれに限られない。

【0065】

＜付記１＞
画像の検索要求をユーザから受け付ける検索要求受付手段（１０１）と、
複数の画像のうちから、前記検索要求に基づく検索条件にマッチする第１の画像群を選択する第１の選択手段（１０２）と、
前記第１の画像群のうちから、所定の評価式により算出されるスコアに基づいて第２の画像群を選択する第２の選択手段（１０３）と、
前記第２の画像群に関する情報を検索結果として出力する結果出力手段（１０６）と、を有し、
前記複数の画像のそれぞれは、所定のインターネットサービス上で任意の人から評価を受け得る状態に置かれた画像であり、
前記所定の評価式は、前記第１の画像群のうち前記所定のインターネットサービス上で多くの人から良い評価を受けている画像ほどスコアが高くなり、且つ、前記第１の画像群のうちで他の画像との類似度が低い画像ほどスコアが高くなるように設計された評価式である
ことを特徴とする画像検索装置（１０）。

【0066】

＜付記２＞
画像検索装置（１０）とネットワークを通じて接続される電子機器（１１）であって、
画像の検索要求を前記画像検索装置（１０）に対して送信する送信手段（１１０）と、
前記検索要求に対する検索結果を前記画像検索装置（１０）から受信する受信手段（１１１）と、
前記受信した検索結果に基づいて前記第２の画像群を表示装置（１１６）に表示する表示制御手段（１１２）と、
を有することを特徴とする電子機器（１１）。

【符号の説明】

【0067】

１：画像検索システム
１０：画像検索サーバ
１１：ユーザ端末
１００：画像データベース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】