(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-04
(45)【発行日】2023-12-12
(54)【発明の名称】画像処理装置及び画像検索方法
(51)【国際特許分類】
G06T 1/00 20060101AFI20231205BHJP
【ＦＩ】
G06T1/00 200E
【請求項の数】
4
(21)【出願番号】P 2019163070
(22)【出願日】2019-09-06
(65)【公開番号】P2021043525
(43)【公開日】2021-03-18
【審査請求日】2022-07-26
(73)【特許権者】
【識別番号】000002897
【氏名又は名称】大日本印刷株式会社
(74)【代理人】
【識別番号】100086911
【弁理士】
【氏名又は名称】重野 剛
(74)【代理人】
【識別番号】100144967
【弁理士】
【氏名又は名称】重野 隆之
(72)【発明者】
【氏名】横山 亜紗実
(72)【発明者】
【氏名】大津 晃司
(72)【発明者】
【氏名】宮本 大輔
【審査官】村松 貴士
(56)【参考文献】
【文献】特開２００３－１５０６０３（ＪＰ，Ａ）
【文献】特開２０１０－１７６３４６（ＪＰ，Ａ）
【文献】特開２０１０－０７２７４９（ＪＰ，Ａ）
【文献】特開２０１９－００８５９７（ＪＰ，Ａ）
【文献】特開２００４－１９９６６６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
Ｇ０６Ｆ １６／５０ － １６／５８７
(57)【特許請求の範囲】
【請求項1】
複数の販売画像のデータを記憶する記憶部と、前記複数の販売画像のデータを解析端末へ送信する通信部と、
検索対象人物を含む複数の人物が写った検索用画像をユーザ端末から受信する画像受信部と、
前記検索用画像から前記複数の人物の顔画像を切り出す切出部と、
前記ユーザ端末から、前記複数の人物の顔画像のうち、前記販売画像の顔検索に用いる顔画像の選択を含む検索条件の設定を受け付け、選択された顔画像を前記解析端末へ送信する検索条件設定部と、
前記解析端末から、前記選択された顔画像との類似度が所定値以上となる顔を含む販売画像を示す類似画像情報を受信する類似画像情報受信部と、
前記類似画像情報及び前記販売画像のデータを用いて、検索結果一覧を含む閲覧ページを生成し、前記閲覧ページを前記ユーザ端末へ送信する閲覧ページ生成部と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記検索条件設定部は、前記ユーザ端末から、前記販売画像の顔検索に用いる顔画像として複数の顔画像の選択を受け付けた場合、選択された複数の顔画像の全てが写っている販売画像を検索するＡＮＤ検索を行うか、又は選択された複数の顔画像の少なくとも１つが写っている販売画像を検索するＯＲ検索を行うかの検索方法の設定を受け付けることを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記検索用画像を前記解析端末へ送信する画像送信部と、前記解析端末から、前記検索用画像内の顔の位置を示す顔座標を受信する顔座標受信部と、
をさらに備え、
前記切出部は、前記顔座標に基づいて、前記検索用画像から前記複数の人物の顔画像を切り出すことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項4】
複数の販売画像のデータを解析端末へ送信するステップと、検索対象人物を含む複数の人物が写った検索用画像をユーザ端末から受信するステップと、
前記検索用画像から前記複数の人物の顔画像を切り出すステップと、
前記ユーザ端末から、前記複数の人物の顔画像のうち、前記販売画像の顔検索に用いる顔画像の選択を含む検索条件の設定を受け付け、選択された顔画像を前記解析端末へ送信するステップと、
前記解析端末から、前記選択された顔画像との類似度が所定値以上となる顔を含む販売画像を示す類似画像情報を受信するステップと、
前記類似画像情報及び前記販売画像のデータを用いて、検索結果一覧を含む閲覧ページを生成し、前記閲覧ページを前記ユーザ端末へ送信するステップと、
をサーバが実行することを特徴とする画像検索方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像検索方法に関する。
【背景技術】
【0002】
マラソンやスポーツ大会、学校行事等のイベントでプロカメラマンが撮影した写真を販売するサービスが知られている。プロカメラマンが撮影した画像データは、ネットワークを介して写真販売システムにアップロードされる。顧客は、アップロードされた画像を閲覧し、好みの写真を選択して購入することができる。購入した画像は、データがダウンロード可能となったり、印刷物が顧客へ配送されたりする。
【0003】
顧客は、写真販売システムに掲載されている大量の画像の中から、自分自身や家族等が写っている画像を探し出す必要があり、注文に手間がかかっていた。
【0004】
大量の画像の中から所望の画像を抽出するための手法の１つとして、顔検索機能が知られている。この顔検索機能では、まず、ユーザが、自分自身が写っている画像を写真販売システムにアップロードする。写真販売システムは、ユーザからアップロードされた画像に写っている顔を検出し、検出した顔に類似している顔を含む画像を、販売中の画像から検索する。これにより、ユーザは、自分が写っている画像（自分に似た顔が写っている画像）を容易に見つけ出すことができる。
【0005】
しかし、顔検索用に写真販売システムにアップロードするための、自分だけが写っている画像を準備することが難しい場合があった。また、親子や兄弟など、複数人を同時に顔検索することが困難であった。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０１４－１０７８８号公報
【文献】特開２００１－３２５０８２号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、顔検索に用いる顔の設定が容易であり、一又は複数の対象人物が写っている画像を効率良く検索できる画像処理装置及び画像検索方法を提供することを課題とする。
【課題を解決するための手段】
【0008】
本発明の画像処理装置は、複数の販売画像のデータを記憶する記憶部と、前記複数の販売画像のデータを解析端末へ送信する通信部と、検索対象人物を含む複数の人物が写った検索用画像をユーザ端末から受信する画像受信部と、前記検索用画像から前記複数の人物の顔画像を切り出す切出部と、前記ユーザ端末から、前記複数の人物の顔画像のうち、前記販売画像の顔検索に用いる顔画像の選択を含む検索条件の設定を受け付け、選択された顔画像を前記解析端末へ送信する検索条件設定部と、前記解析端末から、前記選択された顔画像と類似する顔を含む販売画像を示す類似画像情報を受信する類似画像情報受信部と、前記類似画像情報及び前記販売画像のデータを用いて、検索結果一覧を含む閲覧ページを生成し、前記閲覧ページを前記ユーザ端末へ送信する閲覧ページ生成部と、を備えるものである。
【0009】
本発明の一態様では、前記検索条件設定部は、前記ユーザ端末から、前記販売画像の顔検索に用いる顔画像として複数の顔画像の選択を受け付けた場合、選択された複数の顔画像の全てが写っている販売画像を検索するＡＮＤ検索を行うか、又は選択された複数の顔画像の少なくとも１つが写っている販売画像を検索するＯＲ検索を行うかの検索方法の設定を受け付ける。
【0010】
本発明の一態様では、前記検索用画像を前記解析端末へ送信する画像送信部と、前記解析端末から、前記検索用画像内の顔の位置を示す顔座標を受信する顔座標受信部と、をさらに備え、前記切出部は、前記顔座標に基づいて、前記検索用画像から前記複数の人物の顔画像を切り出す。
【0011】
本発明の画像検索方法は、複数の販売画像のデータを解析端末へ送信するステップと、検索対象人物を含む複数の人物が写った検索用画像をユーザ端末から受信するステップと、前記検索用画像から前記複数の人物の顔画像を切り出すステップと、前記ユーザ端末から、前記複数の人物の顔画像のうち、前記販売画像の顔検索に用いる顔画像の選択を含む検索条件の設定を受け付け、選択された顔画像を前記解析端末へ送信するステップと、前記解析端末から、前記選択された顔画像と類似する顔を含む販売画像を示す類似画像情報を受信するステップと、前記類似画像情報及び前記販売画像のデータを用いて、検索結果一覧を含む閲覧ページを生成し、前記閲覧ページを前記ユーザ端末へ送信するステップと、をサーバが実行するものである。
【発明の効果】
【0012】
本発明によれば、顔検索に用いる顔を容易に設定でき、一又は複数の対象人物が写っている画像を効率良く検索できる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施形態に係る画像販売システムの概略図である。
【図2】同実施形態に係るサーバの概略構成図である。
【図3】画像処理プログラムを実行することで実現される機能ブロック図である。
【図4】画像販売方法を説明するフローチャートである。
【図5】検索用にユーザがアップロードする画像の例を示す図である。
【図6】検索対象設定画面の例を示す図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態を図面に基づいて説明する。
【0015】
図１は、本発明の実施形態に係る画像販売システムの概略図である。画像販売システムは、販売画像の閲覧ページをユーザ端末４へ配信する画像処理装置としてのサーバ１、販売画像を登録するために使用される登録端末２、画像の解析を行う解析端末３などを有する。販売する画像は、例えば、プロカメラマン等が、スポーツ大会や学校行事等のイベントを撮影した画像である。画像を購入するユーザは、イベントに参加した本人や参加者の親などである。
【0016】
ユーザは、スマートフォンやＰＣ等のユーザ端末４を用いて、閲覧ページから好みの画像を選択し、決済処理を行うと、販売画像の画像データをダウンロードしたり、プリント物の注文を行ったりすることができる。大量の販売画像の中から、自分自身や家族等が写っている画像を探し出すのは手間がかかるため、ユーザは、自分や家族等の検索したい人（検索対象人物）が写っている画像をアップロードし、顔検索により、販売画像の中から、検索対象人物が写っている画像を絞り込む。この顔検索処理の詳細については、後述する。
【0017】
サーバ１は、プリント物の注文を受け付けると、購入された画像のデータを工場５へ送信する。工場５で製造されたプリント物６は顧客の元へ配送される。プリント物６は、例えば、写真、ポスター、フォトブック、マグカップ等である。
【0018】
図２に示すように、サーバ１は、ＣＰＵ１０（中央演算処理装置）、記憶部１１、及び通信部１２等を有するコンピュータである。
【0019】
通信部１２は、登録端末２、解析端末３、ユーザ端末４等との通信処理を行い、データの送受信を行う。通信部１２は、登録端末２から販売する画像のデータを受信し、記憶部１１に格納する。また、通信部１２は、登録端末２から、販売する画像に関連するイベントの名称等の情報を受信し、画像データと対応付けて記憶部１１に格納する。また、通信部１２は、販売画像のデータを解析端末３へ送信する。
【0020】
通信部１２は、販売画像の閲覧ページをユーザ端末４へ送信する。また、通信部１２は、ユーザ端末４から購入画像の選択を受け付けたり、決済情報を受信したりする。
【0021】
記憶部１１は、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ－ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスク等の組み合わせであり、販売画像の画像データ、及び画像処理プログラム等を記憶する。
【0022】
ＣＰＵ１０が画像処理プログラムを実行することで、図３に示すように、閲覧ページ生成部１０１、画像受信部１０２、画像送信部１０３、顔座標受信部１０４、切出部１０５、検索条件設定部１０６及び類似画像情報受信部１０７が実現される。各部の機能は後述する。
【0023】
次に、この画像販売システムを用いた画像検索処理を含む画像販売方法を図４に示すフローチャートに沿って説明する。
【0024】
ユーザがユーザ端末４を用いてサーバ１にアクセスすると、閲覧ページ生成部１０１が販売画像の一覧画面やイベント名を含む閲覧ページを生成し、ユーザ端末４へ送信する（ステップＳ１）。この閲覧ページには顔検索用の画像アップロードボタンが含まれており、ユーザが画像アップロードボタンを押すと、ユーザ端末４内に保存されている画像がアップロードできるようになる。ユーザは、ユーザ端末４内に保存されている、検索対象人物が写っている検索用画像をアップロードする（ステップＳ２）。ユーザ端末４に内蔵されたカメラを起動して画像を撮影し、その画像をアップロードしてもよい。
【0025】
アップロードする検索用画像は、検索対象人物のみが写っている画像でもよいし、検索対象人物に加えて他の人物が写っている画像でもよい。検索対象人物は１人でもよいし、複数人でもよい。例えば、ユーザは、図５に示すような複数の人物Ａ～Ｃが写っている画像をアップロードする。人物Ａ～Ｃのうち少なくとも１人が検索対象人物である。
【0026】
サーバ１の画像受信部１０２が、ユーザ端末４から検索用画像を受信する。画像送信部１０３が、検索用画像を解析端末３へ送信する（ステップＳ３）。
【0027】
解析端末３は、サーバ１から検索用画像を受信すると、画像を解析し、画像内の顔を検出し、顔の位置を示す顔座標をサーバ１へ送信する（ステップＳ４，Ｓ５）。解析端末３による顔検出は公知の手法を用いることができる。例えば、画像の中から大まかな顔領域を決定し、次に目、鼻、口端などの顔の特徴点位置を求め、特徴点位置を用いて顔領域の正確な位置、大きさを求める。
【0028】
サーバ１の顔座標受信部１０４は、解析端末３から顔座標を受信する。切出部１０５が、顔座標に基づいて、検索用画像内の顔画像を切り出す（ステップＳ６）。
【0029】
検索条件設定部１０６が、切り出された顔画像を用いて検索条件設定画面を作成し、ユーザ端末４へ送信する（ステップＳ７）。検索条件設定画面では、切り出された顔画像のうち、顔検索に使用する顔画像の選択を行うことができる。また、複数の顔画像を選択した場合は、選択した複数の顔画像の全てが写っている画像を検索するＡＮＤ検索とするか、又は選択した複数の顔画像の少なくとも１つが写っている画像を検索するＯＲ検索とするかを設定できる。
【0030】
例えば、ユーザが図５に示す検索用画像をアップロードした場合、人物Ａ～Ｃの顔画像が切り出され、図６（ａ）に示すような検索条件設定画面が生成される。図６（ｂ）は、人物Ａと人物ＣのＡＮＤ検索とした場合の設定画面を示す。
【0031】
検索条件設定部１０６は、検索条件設定画面を介して、ユーザから、検索対象人物の顔及び検索方法（ＡＮＤ検索／ＯＲ検索）を含む検索条件の設定を受け付ける（ステップＳ８）。検索条件設定部１０６は、検索対象人物の顔画像を解析端末３へ送信する（ステップＳ９）。
【0032】
解析端末３は、サーバ１から検索対象人物の顔画像を受信すると、画像解析を行い、事前にサーバ１から受信している販売画像の中から、検索対象人物顔画像に類似している顔画像を含む販売画像（類似画像）を検索・抽出し、抽出した販売画像を示す類似画像情報をサーバ１へ送信する（ステップＳ１０、Ｓ１１）。例えば、解析端末３は、各販売画像に写っている顔を検出し、検出した顔と検索対象人物顔画像との類似度を公知の方法で計算し、算出した類似度が所定値以上の場合、類似画像と判定する。
【0033】
解析端末３は、サーバ１から複数の検索対象人物顔画像を受信した場合、それぞれの検索対象人物顔画像に対応する類似画像情報をサーバ１へ送信する。例えば、サーバ１から人物Ａの顔画像と人物Ｃの顔画像とを受信した場合、解析端末３は、人物Ａが写っていると推定される類似画像情報と、人物Ｃが写っていると推定される類似画像情報とをサーバ１へ送信する。
【0034】
サーバ１の類似画像情報受信部１０７は、解析端末３から類似画像情報を受信する。閲覧ページ生成部１０１は、類似画像情報及び販売画像データを用いて、検索結果の一覧画面を含む閲覧ページを生成し、ユーザ端末４へ送信する（ステップＳ１２）。
【0035】
検索対象人物が複数いる場合、ユーザが検索条件設定画面で設定した検索方法（ＡＮＤ検索／ＯＲ検索）によって検索結果は変わる。例えば、ユーザが人物Ａ及び人物ＣのＡＮＤ検索を設定していた場合、閲覧ページ生成部１０１は、人物Ａが写っていると推定される類似画像情報と、人物Ｃが写っていると推定される類似画像情報とを比較し、両方に含まれる類似画像を検索結果として閲覧ページを生成する。
【0036】
一方、ユーザが人物Ａ及び人物ＣのＯＲ検索を設定していた場合、閲覧ページ生成部１０１は、人物Ａが写っていると推定される類似画像情報、及び人物Ｃが写っていると推定される類似画像情報の少なくともいずれか一方に含まれる類似画像を検索結果として閲覧ページを生成する。
【0037】
ユーザは、ユーザ端末４で閲覧ページを閲覧し、検索結果の中から購入したい画像を選択する（ステップＳ１３）。ユーザが画像の選択を終えると、注文、決済処理を行う（ステップＳ１４）。決済処理後、サーバ１は、ユーザ端末４へ購入された画像データをダウンロード可能にしたり、プリント注文内容を工場５へ転送したりする。
【0038】
このように、本実施形態によれば、複数の人物が写っている画像をアップロードし、画像内の複数の人物の中から、顔検索したい検索対象人物を選択することができる。また、検索対象人物が複数いる場合は、ＡＮＤ検索やＯＲ検索を設定できる。
【0039】
例えば、顔検索用に写真販売システムにアップロードする画像は、自分が写っている画像であればよく、他人が一緒に写っていてもよく、画像を準備する手間を軽減できる。また、例えば、兄弟で参加したイベントの画像を購入する場合、兄と弟の両方が写っている画像を検索したり、兄と弟の少なくともいずれか一方が写っている画像を検索したりすることができ、複数人を顔検索する際の設定が柔軟なものとなる。
【0040】
そのため、ユーザが大量の販売画像の中から顔検索により画像を絞り込むにあたり、顔検索に用いる顔の設定が容易であり、一又は複数の検索対象人物が写っている画像を効率良く探し出すことができる。
【0041】
上記実施形態では、複数の検索対象人物がいる場合、解析端末３は、検索方法によらず、それぞれの検索対象人物顔画像に対応する類似画像情報をサーバ１へ送信する例について説明したが、ユーザが設定した検索方法（ＡＮＤ検索／ＯＲ検索）も解析端末３へ送信し、検索方法を考慮した類似画像情報をサーバ１へ送信してもよい。
【0042】
上記実施形態では、検索用画像を解析端末３へ送信し、検索用画像に写っている人物の顔座標の検出を解析端末３が行う例について説明したが、検索用画像に写っている人物の顔画像の検出をサーバ１で行ってもよい。
【0043】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【0044】
１ サーバ
２ 登録端末
３ 解析端末
４ ユーザ端末
１０ ＣＰＵ
１１ 記憶部
１２ 通信部
１０１ 閲覧ページ生成部
１０２ 画像受信部
１０３ 画像送信部
１０４ 顔座標受信部
１０５ 切出部
１０６ 検索条件設定部
１０７ 類似画像情報受信部
２ 登録端末
３ 解析端末
４ ユーザ端末
１０ ＣＰＵ
１１ 記憶部
１２ 通信部
１０１ 閲覧ページ生成部
１０２ 画像受信部
１０３ 画像送信部
１０４ 顔座標受信部
１０５ 切出部
１０６ 検索条件設定部
１０７ 類似画像情報受信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】