(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-04
(45)【発行日】2023-12-12
(54)【発明の名称】画像処理装置及び画像検索方法
(51)【国際特許分類】
G06T 1/00 20060101AFI20231205BHJP
G06F 16/56 20190101ALI20231205BHJP
【ＦＩ】
G06T1/00 200E
G06F16/56
【請求項の数】
5
(21)【出願番号】P 2019163071
(22)【出願日】2019-09-06
(65)【公開番号】P2021043526
(43)【公開日】2021-03-18
【審査請求日】2022-07-26
(73)【特許権者】
【識別番号】000002897
【氏名又は名称】大日本印刷株式会社
(74)【代理人】
【識別番号】100086911
【弁理士】
【氏名又は名称】重野 剛
(74)【代理人】
【識別番号】100144967
【弁理士】
【氏名又は名称】重野 隆之
(72)【発明者】
【氏名】横山 亜紗実
(72)【発明者】
【氏名】大津 晃司
【審査官】村松 貴士
(56)【参考文献】
【文献】特開２００３－１５０６０３（ＪＰ，Ａ）
【文献】特開２０１０－１７６３４６（ＪＰ，Ａ）
【文献】特開２０１９－００８５９７（ＪＰ，Ａ）
【文献】特開２００４－１９９６６６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
Ｇ０６Ｆ １６／５０ － １６／５８７
(57)【特許請求の範囲】
【請求項1】
複数の販売画像のデータを記憶する記憶部と、前記複数の販売画像のデータを解析端末へ送信する通信部と、
検索対象人物が写った検索用画像をユーザ端末から受信する画像受信部と、
前記検索用画像内の前記検索対象人物の顔画像が顔検索に適しているか否か判定し、判定結果を前記ユーザ端末へ送信する判定部と、
顔検索に適していると判定された顔画像を前記解析端末へ送信し、顔検索の実行を指示する検索指示部と、
前記解析端末から、前記顔画像との類似度が所定値以上となる顔を含む販売画像を示す類似画像情報を受信する類似画像情報受信部と、
前記類似画像情報及び前記販売画像のデータを用いて、検索結果一覧を含む閲覧ページを生成し、前記閲覧ページを前記ユーザ端末へ送信する閲覧ページ生成部と、
を備える画像処理装置。
【請求項2】
前記検索用画像を前記解析端末へ送信する画像送信部と、前記解析端末から、前記検索用画像内の前記検索対象人物の顔画像についての解析結果を受信する解析結果受信部と、
をさらに備え、
前記判定部は、前記解析結果に基づいて、前記検索対象人物の顔画像が顔検索に適したものか否か判定することを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記検索用画像に複数の人物が写っている場合、前記判定部は、前記複数の人物のそれぞれの顔画像について、顔検索に適したものか否か判定し、判定結果を前記ユーザ端末へ送信することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項4】
前記検索指示部は、前記ユーザ端末から、前記複数の人物の顔画像のうち、前記販売画像の顔検索に用いる顔画像の選択を受け付け、前記選択された顔画像を前記解析端末へ送信し、顔検索の実行を指示することを特徴とする請求項３に記載の画像処理装置。
【請求項5】
複数の販売画像のデータを解析端末へ送信するステップと、検索対象人物が写った検索用画像をユーザ端末から受信するステップと、
前記検索用画像内の前記検索対象人物の顔画像が顔検索に適しているか否か判定し、判定結果を前記ユーザ端末へ送信するステップと、
顔検索に適していると判定された顔画像を前記解析端末へ送信し、顔検索の実行を指示するステップと、
前記解析端末から、前記顔画像との類似度が所定値以上となる顔を含む販売画像を示す類似画像情報を受信するステップと、
前記類似画像情報及び前記販売画像のデータを用いて、検索結果一覧を含む閲覧ページを生成し、前記閲覧ページを前記ユーザ端末へ送信するステップと、
をサーバが実行することを特徴とする画像検索方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像検索方法に関する。
【背景技術】
【0002】
マラソンやスポーツ大会、学校行事等のイベントでプロカメラマンが撮影した写真を販売するサービスが知られている。プロカメラマンが撮影した画像データは、ネットワークを介して写真販売システムにアップロードされる。顧客は、アップロードされた画像を閲覧し、好みの写真を選択して購入することができる。購入した画像は、データがダウンロード可能となったり、印刷物が顧客へ配送されたりする。
【0003】
顧客は、写真販売システムに掲載されている大量の画像の中から、自分自身や家族等が写っている画像を探し出す必要があり、注文に手間がかかっていた。
【0004】
大量の画像の中から所望の画像を抽出するための手法の１つとして、顔検索機能が知られている。この顔検索機能では、まず、ユーザが、自分自身が写っている画像を写真販売システムにアップロードする。写真販売システムは、ユーザからアップロードされた画像に写っている顔を検出し、検出した顔に類似している顔を含む画像を、販売中の画像から検索する。これにより、ユーザは、自分が写っている画像（自分に似た顔が写っている画像）を容易に見つけ出すことができる。
【0005】
しかし、アップロードした画像が暗かったり、ぼやけていたり、画像に写っている顔が目瞑りしているなど、顔検索に適さないものであった場合、検索精度が低下し、自分が写っていない画像が大量に検索結果に含まれたり、自分が写っている画像が検索結果に含まれなかったりしていた。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０１４－１０７８８号公報
【文献】特開２００１－３２５０８２号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、顔検索に用いる画像が顔検索に適したものか判定し、検索対象人物が写っている画像を精度良く検索できる画像処理装置及び画像検索方法を提供することを課題とする。
【課題を解決するための手段】
【0008】
本発明の画像処理装置は、複数の販売画像のデータを記憶する記憶部と、前記複数の販売画像のデータを解析端末へ送信する通信部と、検索対象人物が写った検索用画像をユーザ端末から受信する画像受信部と、前記検索用画像内の前記検索対象人物の顔画像が顔検索に適しているか否か判定し、判定結果を前記ユーザ端末へ送信する判定部と、顔検索に適していると判定された顔画像を前記解析端末へ送信し、顔検索の実行を指示する検索指示部と、前記解析端末から、前記顔画像と類似する顔を含む販売画像を示す類似画像情報を受信する類似画像情報受信部と、前記類似画像情報及び前記販売画像のデータを用いて、検索結果一覧を含む閲覧ページを生成し、前記閲覧ページを前記ユーザ端末へ送信する閲覧ページ生成部と、を備えるものである。
【0009】
本発明の一態様では、前記検索用画像を前記解析端末へ送信する画像送信部と、前記解析端末から、前記検索用画像内の前記検索対象人物の顔画像についての解析結果を受信する解析結果受信部と、をさらに備え、前記判定部は、前記解析結果に基づいて、前記検索対象人物の顔画像が顔検索に適したものか否か判定する
【0010】
本発明の一態様では、前記検索用画像に複数の人物が写っている場合、前記判定部は、前記複数の人物のそれぞれの顔画像について、顔検索に適したものか否か判定し、判定結果を前記ユーザ端末へ送信する。
【0011】
本発明の一態様では、前記検索指示部は、前記ユーザ端末から、前記複数の人物の顔画像のうち、前記販売画像の顔検索に用いる顔画像の選択を受け付け、前記選択された顔画像を前記解析端末へ送信し、顔検索の実行を指示する。
【0012】
本発明の画像検索方法は、複数の販売画像のデータを解析端末へ送信するステップと、検索対象人物が写った検索用画像をユーザ端末から受信するステップと、前記検索用画像から前記複数の人物の顔画像を切り出すステップと、前記検索用画像内の前記検索対象人物の顔画像が顔検索に適しているか否か判定し、判定結果を前記ユーザ端末へ送信するステップと、顔検索に適していると判定された顔画像を前記解析端末へ送信し、顔検索の実行を指示するステップと、前記解析端末から、前記顔画像と類似する顔を含む販売画像を示す類似画像情報を受信するステップと、前記類似画像情報及び前記販売画像のデータを用いて、検索結果一覧を含む閲覧ページを生成し、前記閲覧ページを前記ユーザ端末へ送信するステップと、をサーバが実行するものである。
【発明の効果】
【0013】
本発明によれば、顔検索に用いる画像が顔検索に適したものか判定し、検索対象人物が写っている画像を精度良く検索できる。
【図面の簡単な説明】
【0014】
【図1】本発明の実施形態に係る画像販売システムの概略図である。
【図2】同実施形態に係るサーバの概略構成図である。
【図3】画像処理プログラムを実行することで実現される機能ブロック図である。
【図4】画像販売方法を説明するフローチャートである。
【図5】（ａ）～（ｃ）は検索用にユーザがアップロードする画像の例を示す図である。
【図6】（ａ）～（ｃ）は画像判定結果表示画面の例を示す図である。
【図7】変形例による画像判定結果表示画面を示す図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施の形態を図面に基づいて説明する。
【0016】
図１は、本発明の実施形態に係る画像販売システムの概略図である。画像販売システムは、販売画像の閲覧ページをユーザ端末４へ配信する画像処理装置としてのサーバ１、販売画像を登録するために使用される登録端末２、画像の解析を行う解析端末３などを有する。販売する画像は、例えば、プロカメラマン等が、スポーツ大会や学校行事等のイベントを撮影した画像である。画像を購入するユーザは、イベントに参加した本人や参加者の親などである。
【0017】
ユーザは、スマートフォンやＰＣ等のユーザ端末４を用いて、閲覧ページから好みの画像を選択し、決済処理を行うと、販売画像の画像データをダウンロードしたり、プリント物の注文を行ったりすることができる。大量の販売画像の中から、自分自身や家族等が写っている画像を探し出すのは手間がかかるため、ユーザは、自分や家族等の検索したい人（検索対象人物）が写っている画像をアップロードし、顔検索により、販売画像の中から、検索対象人物が写っている画像を絞り込む。この顔検索処理の詳細については、後述する。
【0018】
サーバ１は、プリント物の注文を受け付けると、購入された画像のデータを工場５へ送信する。工場５で製造されたプリント物６は顧客の元へ配送される。プリント物６は、例えば、写真、ポスター、フォトブック、マグカップ等である。
【0019】
図２に示すように、サーバ１は、ＣＰＵ１０（中央演算処理装置）、記憶部１１、及び通信部１２等を有するコンピュータである。
【0020】
通信部１２は、登録端末２、解析端末３、ユーザ端末４等との通信処理を行い、データの送受信を行う。通信部１２は、登録端末２から販売する画像のデータを受信し、記憶部１１に格納する。また、通信部１２は、登録端末２から、販売する画像に関連するイベントの名称等の情報を受信し、画像データと対応付けて記憶部１１に格納する。また、通信部１２は、販売画像のデータを解析端末３へ送信する。
【0021】
通信部１２は、販売画像の閲覧ページをユーザ端末４へ送信する。また、通信部１２は、ユーザ端末４から購入画像の選択を受け付けたり、決済情報を受信したりする。
【0022】
記憶部１１は、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ－ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスク等の組み合わせであり、販売画像の画像データ、及び画像処理プログラム等を記憶する。
【0023】
ＣＰＵ１０が画像処理プログラムを実行することで、図３に示すように、閲覧ページ生成部１０１、画像受信部１０２、画像送信部１０３、解析結果受信部１０４、切出部１０５、判定部１０６、検索指示部１０７、及び類似画像情報受信部１０８が実現される。各部の機能は後述する。
【0024】
次に、この画像販売システムを用いた画像検索処理を含む画像販売方法を図４に示すフローチャートに沿って説明する。
【0025】
ユーザがユーザ端末４を用いてサーバ１にアクセスすると、閲覧ページ生成部１０１が販売画像の一覧画面やイベント名を含む閲覧ページを生成し、ユーザ端末４へ送信する（ステップＳ１）。この閲覧ページには顔検索用の画像アップロードボタンが含まれており、ユーザが画像アップロードボタンを押すと、ユーザ端末４内に保存されている画像がアップロードできるようになる。ユーザは、ユーザ端末４内に保存されている、検索対象人物が写っている検索用画像をアップロードする（ステップＳ２）。ユーザ端末４に内蔵されたカメラを起動して画像を撮影し、その画像をアップロードしてもよい。
【0026】
アップロードする検索用画像は、ユーザ端末４内に保存されている画像に限定されず、ユーザ端末４のカメラ機能を起動してその場で撮影を行った撮影画像であってもよい。
【0027】
サーバ１の画像受信部１０２が、ユーザ端末４から検索用画像を受信する。画像送信部１０３が、検索用画像を解析端末３へ送信する（ステップＳ３）。
【0028】
解析端末３は、サーバ１から検索用画像を受信すると、画像の解析を行う（ステップＳ４）。例えば、解析端末３は、画像内の顔を検出する。また、解析端末３は、画像の明るさや、画像のぼけ具合を解析する。また、解析端末３は、目をつむっているか、サングラス等で目や顔の一部が隠れていないか、横を向いて顔の一部が見えないかなど、顔の写り具合を解析する。
【0029】
解析端末３による顔検出は公知の手法を用いることができる。例えば、画像の中から大まかな顔領域を決定し、次に目、鼻、口端などの顔の特徴点位置を求め、特徴点位置を用いて顔領域の正確な位置、大きさを求める。
【0030】
解析端末３は、顔位置を示す顔座標や顔の写り具合を示す顔情報を含む解析結果をサーバ１へ送信する（ステップＳ５）。サーバ１の解析結果受信部１０４は、解析端末３から解析結果を受信する。切出部１０５が、顔座標に基づいて、検索用画像内の顔画像を切り出す。
【0031】
判定部１０６が、解析端末３から受信した解析結果に基づいて、検索用画像内の顔画像が、顔検索に適したものか否かを判定する（ステップＳ６）。判定部１０６は、解析結果に含まれる画像の明るさ、画像のぼけ具合、目つむりの有無、顔の向きなどの判定項目を所定の基準と比較し、所定の基準を満たさない項目がある顔画像は、顔検索に適さないと判定する。
【0032】
例えば、画像の明るさが所定値以下の暗い画像、目をつむっている画像、横を向いている画像等が、顔検索に適さないと判定される。判定部１０６は、検索用画像から切り出した顔画像と共に、判定結果をユーザ端末４へ送信する（ステップＳ７）。
【0033】
例えば、ステップＳ２でユーザ端末４から図５（ａ）に示す検索用画像Ｇ１がアップロードされた場合、図６（ａ）に示すような「検索ＯＫ」という判定結果がユーザ端末４に表示される。判定結果表示画面には、検索ボタンＢ１が表示され、ユーザが検索ボタンＢ１を押すと、ユーザ端末４は、サーバ１に対し、この顔画像を用いた顔検索を実行するよう指示する（ステップＳ８）。
【0034】
ステップＳ２でユーザ端末４から図５（ｂ）、図５（ｃ）に示す検索用画像Ｇ２、Ｇ３がアップロードされた場合、図６（ｂ）、図６（ｃ）に示すような「検索に適さない」という判定結果がユーザ端末４に表示される。検索に適さないと判定された理由（所定の基準を満たさない判定項目）もあわせて表示される。判定結果表示画面には、画像アップロードボタンＢ２が表示され、ユーザがボタンＢ２を押すと、ステップＳ２に戻り、再度、検索用画像がアップロードできるようになる。ボタンＢ３は非活性で、この画像では顔検索できないようになっていてもよいし、ボタンＢ３を押すことで、検索に適さないと判定された顔画像を用いた顔検索の実行を指示できるようにしてもよい。
【0035】
画像アップロードボタンＢ２を、図６（ａ）に示す「検索ＯＫ」という判定結果を表示する画面に表示し、検索用画像の差し替えができるようになっていてもよい。
【0036】
検索指示部１０７は、ユーザ端末４から顔検索の実行指示を受け付けると、検索用画像から切り出した検索対象人物の顔画像（検索対象顔画像）と共に顔検索の実行を解析端末３に指示する（ステップＳ９）。
【0037】
解析端末３は、サーバ１から顔検索の指示及び検索対象顔画像を受信すると、画像解析を行い、事前にサーバ１から受信している販売画像の中から、検索対象顔画像に類似している顔画像を含む販売画像（類似画像）を検索・抽出し、抽出した販売画像を示す類似画像情報をサーバ１へ送信する（ステップＳ１０、Ｓ１１）。例えば、解析端末３は、各販売画像に写っている顔を検出し、検出した顔と検索対象顔画像との類似度を公知の方法で計算し、算出した類似度が所定値以上の場合、類似画像と判定する。
【0038】
サーバ１の類似画像情報受信部１０８は、解析端末３から類似画像情報を受信する。閲覧ページ生成部１０１は、類似画像情報及び販売画像データを用いて、検索結果の一覧画面を含む閲覧ページを生成し、ユーザ端末４へ送信する（ステップＳ１２）。
【0039】
ユーザは、ユーザ端末４で検索結果一覧を閲覧し、検索結果の中から購入したい画像を選択する（ステップＳ１３）。ユーザが画像の選択を終えると、注文、決済処理を行う（ステップＳ１４）。決済処理後、サーバ１は、購入された画像データをダウンロード可能にしたり、プリント注文内容を工場５へ転送したりする。
【0040】
このように、本実施形態によれば、顔検索を行う前に、ユーザからアップロードされた顔画像が顔検索に適したものか否か判定し、適したものと判定した顔画像で顔検索を行うため、販売画像の中から、検索対象人物が写っている画像を精度良く検索できる。
【0041】
上記実施形態では、ユーザがアップロードした検索用画像に１人分の顔画像が含まれている場合について説明したが、複数の人物が写っていてもよい。この場合、解析端末３は、検索用画像に写っている複数の人物の顔画像を検出し、各顔画像について顔座標及び解析結果をサーバ１に送信する。
【0042】
切出部１０５は、顔座標に基づいて、検索用画像から複数の顔画像を切り出す。また、判定部１０６は、各顔画像について、解析結果に基づいて、顔検索に適したものか否かを判定する。判定部１０６は、各画像の判定結果をユーザ端末４へ送信する。ユーザ端末４には、図７に示すような判定結果表示画面が表示される。
【0043】
ユーザは、判定結果を確認して、顔検索に用いる顔画像を選択できる。また、複数の顔画像を選択した場合は、選択した複数の顔画像の全てが写っている画像を検索するＡＮＤ検索とするか、又は選択した複数の顔画像の少なくとも１つが写っている画像を検索するＯＲ検索とするかを設定できる。
【0044】
ユーザが検索ボタンＢ４を押すと、選択した顔画像を用いた顔検索の実行が指示される。ユーザがボタンＢ５を押すと、再度、検索用画像がアップロードできるようになる。
【0045】
複数の顔画像が選択された状態で顔検索の実行が指示されると、サーバ１の検索指示部１０７は、選択された複数の検索対象顔画像を解析端末３へ送信し、顔検索の実行を指示する。
【0046】
解析端末３は、サーバ１から複数の検索対象顔画像を受信した場合、それぞれの検索対象顔画像に対応する類似画像情報をサーバ１へ送信する。例えば、サーバ１から人物Ａの顔画像と人物Ｂの顔画像とを受信した場合、解析端末３は、人物Ａが写っていると推定される類似画像情報と、人物Ｂが写っていると推定される類似画像情報とをサーバ１へ送信する。
【0047】
ユーザが人物Ａ及び人物ＢのＡＮＤ検索を設定していた場合、閲覧ページ生成部１０１は、人物Ａが写っていると推定される類似画像情報と、人物Ｂが写っていると推定される類似画像情報とを比較し、両方に含まれる類似画像を検索結果として閲覧ページを生成する。
【0048】
一方、ユーザが人物Ａ及び人物ＢのＯＲ検索を設定していた場合、閲覧ページ生成部１０１は、人物Ａが写っていると推定される類似画像情報、及び人物Ｂが写っていると推定される類似画像情報の少なくともいずれか一方に含まれる類似画像を検索結果として閲覧ページを生成する。
【0049】
上記実施形態では、検索用画像を解析端末３へ送信し、検索用画像に写っている顔画像の解析を解析端末３が行う例について説明したが、サーバ１で解析を行ってもよい。
【0050】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【0051】
１ サーバ
２ 登録端末
３ 解析端末
４ ユーザ端末
１０ ＣＰＵ
１１ 記憶部
１２ 通信部
１０１ 閲覧ページ生成部
１０２ 画像受信部
１０３ 画像送信部
１０４ 解析結果受信部
１０５ 切出部
１０６ 判定部
１０７ 検索指示部
１０８ 類似画像情報受信部
２ 登録端末
３ 解析端末
４ ユーザ端末
１０ ＣＰＵ
１１ 記憶部
１２ 通信部
１０１ 閲覧ページ生成部
１０２ 画像受信部
１０３ 画像送信部
１０４ 解析結果受信部
１０５ 切出部
１０６ 判定部
１０７ 検索指示部
１０８ 類似画像情報受信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】