(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023127678
(43)【公開日】2023-09-14
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20230907BHJP
【FI】
G06Q50/10
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022031512
(22)【出願日】2022-03-02
(71)【出願人】
【識別番号】307010096
【氏名又は名称】フリュー株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】松原 菜津美
(72)【発明者】
【氏名】佐藤 慧太
(72)【発明者】
【氏名】嵐 呂美
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049CC18
(57)【要約】
【課題】より確実に顔分析を行う。
【解決手段】認識部は、人物が写る撮影画像において顔を認識し、分析部は、認識に成功した顔を分析対象として顔分析を行う。分析部は、認識に失敗した顔が存在する場合、撮影画像においてユーザに指定された指定領域に含まれる顔を分析対象とする。本技術は、ユーザにおすすめのメイクを提示する推薦システムに適用することができる。
【選択図】
図6
【特許請求の範囲】
【請求項1】
人物が写る撮影画像において顔を認識する認識部と、
認識に成功した顔を分析対象として顔分析を行う分析部と
を備え、
前記分析部は、認識に失敗した前記顔が存在する場合、前記撮影画像においてユーザに指定された指定領域に含まれる前記顔を分析対象とする
情報処理装置。
【請求項2】
前記分析部は、複数の前記人物が写る前記撮影画像において認識に失敗した前記顔が存在し、前記指定領域に複数の前記顔が含まれる場合、いずれの前記顔も分析対象としない
請求項1に記載の情報処理装置。
【請求項3】
前記分析部は、認識に失敗した前記顔が存在し、前記指定領域にいずれの前記顔も含まれない場合、いずれの前記顔も分析対象としない
請求項1または2に記載の情報処理装置。
【請求項4】
前記認識部は、前記撮影画像に対する第1の顔認識処理により前記顔を認識し、
前記分析部は、認識に失敗した前記顔が存在し、前記指定領域に前記顔が含まれる場合、前記指定領域に対する、前記第1の顔認識処理とは異なる第2の顔認識処理により認識された前記顔を分析対象とする
請求項1に記載の情報処理装置。
【請求項5】
前記分析部は、複数の前記人物が写る前記撮影画像において認識に成功した前記顔が複数存在する場合、前記撮影画像において前記ユーザに選択された前記顔を分析対象とする
請求項1に記載の情報処理装置。
【請求項6】
前記撮影画像は、写真作成ゲーム機において生成された複数枚の画像から、前記ユーザにより選択された前記画像である
請求項1乃至5のいずれかに記載の情報処理装置。
【請求項7】
前記指定領域は、前記ユーザが所有する携帯端末に表示された前記撮影画像において前記ユーザによって指定された領域である
請求項1に記載の情報処理装置。
【請求項8】
情報処理装置が、
人物が写る撮影画像において顔を認識し、
認識に成功した顔を分析対象として顔分析を行い、
認識に失敗した前記顔が存在する場合、前記撮影画像においてユーザに指定された指定領域に含まれる前記顔を分析対象とする
情報処理方法。
【請求項9】
コンピュータに、
人物が写る撮影画像において顔を認識し、
認識に成功した顔を分析対象として顔分析を行い、
認識に失敗した前記顔が存在する場合、前記撮影画像においてユーザに指定された指定領域に含まれる前記顔を分析対象とする
処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、より確実に顔分析を行うことができるようにする情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
特許文献1には、カメラで撮影された利用者の顔のデータに基づいて肌診断が行われ、その肌に最も適した化粧品(例えばファンデーション)を、利用者の商品選択のための情報として画面上に表示する化粧品自動販売機が開示されている。
【0003】
一方で、近年、ユーザの顔画像を利用したり、ユーザが質問に答えたりすることで、ユーザが期待するメイクを行った状態に顔画像を加工したり、アドバイスを出力したりするなどの顔診断を行う顔診断アプリケーション(アプリ)が提供されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述した顔診断アプリにおいては、ユーザがスマートフォンで自分自身の顔を撮影した画像に対する顔認識処理が行われ、認識に成功した顔を分析対象として顔分析が行われる。顔の認識に失敗するような場合には、顔分析を行えない旨が報知され、ユーザは、顔の認識に成功するまで自分自身の顔の撮影を繰り返す。
【0006】
しかしながら、過去に撮影された画像においては、認識に失敗するような顔を分析対象とすることはできなかった。
【0007】
本技術は、このような状況に鑑みてなされたものであり、より確実に顔分析を行うことができるようにするものである。
【課題を解決するための手段】
【0008】
本技術の情報処理装置は、人物が写る撮影画像において顔を認識する認識部と、認識に成功した顔を分析対象として顔分析を行う分析部とを備え、前記分析部は、認識に失敗した前記顔が存在する場合、前記撮影画像においてユーザに指定された指定領域に含まれる前記顔を分析対象とする情報処理装置である。
【0009】
本技術の情報処理方法は、情報処理装置が、人物が写る撮影画像において顔を認識し、認識に成功した顔を分析対象として顔分析を行い、認識に失敗した前記顔が存在する場合、前記撮影画像においてユーザに指定された指定領域に含まれる前記顔を分析対象とする情報処理方法である。
【0010】
本技術のプログラムは、コンピュータに、人物が写る撮影画像において顔を認識し、認識に成功した顔を分析対象として顔分析を行い、認識に失敗した前記顔が存在する場合、前記撮影画像においてユーザに指定された指定領域に含まれる前記顔を分析対象とする処理を実行させるためのプログラムである。
【0011】
本技術においては、人物が写る撮影画像において顔が認識され、認識に成功した顔を分析対象として顔分析が行われ、認識に失敗した前記顔が存在する場合、前記撮影画像においてユーザに指定された指定領域に含まれる前記顔が分析対象とされる。
【発明の効果】
【0012】
本技術によれば、より確実に顔分析を行うことが可能となる。
【0013】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0014】
【
図2】写真作成ゲーム機のハードウェア構成例を示すブロック図である。
【
図3】サーバのハードウェア構成例を示すブロック図である。
【
図4】携帯端末のハードウェア構成例を示すブロック図である。
【
図5】顔画像に基づいた推薦情報の提示の流れについて説明する図である。
【
図6】推薦システムの機能構成例を示すブロック図である。
【
図8】推薦システムの動作の流れについて説明する図である。
【
図9】携帯端末に表示される推薦サイトの画面の例を示す図である。
【
図10】携帯端末に表示される推薦サイトの画面の例を示す図である。
【
図11】携帯端末に表示される推薦サイトの画面の例を示す図である。
【
図12】携帯端末に表示される推薦サイトの画面の例を示す図である。
【
図13】携帯端末に表示される推薦サイトの画面の例を示す図である。
【
図14】携帯端末に表示される推薦サイトの画面の例を示す図である。
【
図15】携帯端末に表示される推薦サイトの画面の例を示す図である。
【
図16】分析対象設定処理の流れについて説明するフローチャートである。
【
図17】本技術の適用例について説明する図である。
【発明を実施するための形態】
【0015】
以下に、本技術を実施するための形態(以下、実施の形態という)について説明する。説明は以下の順序で行う。
【0016】
1.推薦システムの構成
2.顔画像に基づいた推薦情報の提示の流れ
3.携帯端末における画面遷移の例
4.分析対象設定処理の流れ
5.変形例
【0017】
<1.推薦システムの構成>
(推薦システムの概要)
図1は、本技術の実施の形態の推薦システムの概要を示す図である。
【0018】
図1の推薦システム1は、写真作成ゲーム機10、画像管理サーバ20、推薦サーバ30、携帯端末40-1,40-2から構成される。
【0019】
推薦システム1を構成する各装置は、それぞれ、直接的または間接的に、ネットワークNWに接続され、互いに通信を行う。ネットワークNWは、インターネットやローカルエリアネットワークを含み、有線通信回線で構成されてもよいし、無線通信回線で構成されてもよい。
【0020】
また、推薦システム1において、画像管理サーバ20と推薦サーバ30は、それぞれ別個に構成されているが、それぞれが一体となって構成されてもよい。
【0021】
写真作成ゲーム機10は、ゲームセンターなどの店舗やアミューズメント施設に設置され、プレイ料金分の硬貨投入を受け付けることで、ユーザに対して写真作成ゲームを提供する。具体的には、写真作成ゲーム機10は、ユーザを撮影することで得られた撮影画像に対する編集操作(落書き)を受け付け、シール紙に印刷することで、ユーザに撮影画像を提供する。
【0022】
写真作成ゲーム機10のユーザは、主に女子高生や若い女性が中心とされる。写真作成ゲーム機10においては、1組あたり主に2人のユーザがゲームを楽しむことができる。もちろん、写真作成ゲーム機10において、3人以上の複数人のユーザや、1人のユーザがゲームを楽しむこともできる。
【0023】
なお、
図1に図示されている写真作成ゲーム機10は1台のみとされるが、推薦システム1において、実際には、複数台の写真作成ゲーム機10が存在している。
【0024】
画像管理サーバ20は、写真作成ゲーム機10における撮影により得られた撮影画像を管理したり、写真作成ゲーム機10を製造・販売するメーカが運営するWebサイト(画像取得サイト)の会員となったユーザの情報を管理する。
【0025】
会員となったユーザは、写真作成ゲーム機10における撮影により得られた撮影画像を、携帯端末40-1や携帯端末40-2上で閲覧することが可能となる。
【0026】
画像管理サーバ20は、会員となったユーザ毎に、写真作成ゲーム機10における撮影により得られた撮影画像を、写真作成ゲーム機10(写真作成ゲーム機10が設置されている店舗など)から取得する。ユーザ毎の撮影画像は、必要に応じて、推薦サーバ30に供給され得る。
【0027】
推薦サーバ30は、画像管理サーバ20からのユーザ毎の撮影画像を用いて、各ユーザに対して商品やサービスを推薦するWebサイト(推薦サイト)を提供する。具体的には、推薦サーバ30は、各ユーザの撮影画像を分析することで得られた分析結果に基づいて、商品やサービスを推薦するための推薦情報を生成し、各ユーザが所有する携帯端末40-1や携帯端末40-2に提供する。
【0028】
携帯端末40-1,40-2は、各ユーザが所有する携帯電話機(スマートフォン)やモバイルPC(Personal Computer)、タブレット端末などにより構成される。以下において、携帯端末40-1,40-2をそれぞれ区別しない場合には、単に携帯端末40という。なお、
図1に図示されている携帯端末40は2台のみとされるが、推薦システム1において、実際には、複数台の携帯端末40が存在している。
【0029】
(写真作成ゲーム機のハードウェア構成)
図2は、写真作成ゲーム機10のハードウェア構成例を示すブロック図である。
【0030】
図2に示されるように、写真作成ゲーム機10は、PC部101に対して、事前選択部102、撮影部103、編集部104、および印刷部105が外部入出力インタフェース106を介して接続されることによって構成される。
【0031】
PC部101を構成するCPU(Central Processing Unit)111,ROM(Read Only Memory)112,RAM(Random Access Memory)113は、バス114により相互に接続される。
【0032】
CPU111は、所定のプログラムを実行し、写真作成ゲーム機10の全体の動作を制御する。ROM112は、CPU111が実行するプログラムやデータを記憶する。RAM113は、CPU111が処理するデータやプログラムを一時的に記憶する。
【0033】
バス114には、さらに、入出力インタフェース115が接続される。入出力インタフェース115には、記憶部116、通信部117、およびドライブ118が接続される。
【0034】
記憶部116は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶部116は、CPU111から供給された各種の設定情報などを記憶する。記憶部116に記憶されている情報は、CPU111により適宜読み出される。
【0035】
通信部117は、インターネットなどのネットワークのインタフェースである。通信部117は、CPU111による制御に従って外部の装置と通信を行う。通信部117は、ユーザにより選択された画像を、画像管理サーバ20に送信する。通信部117から送信された画像は、所定の記憶領域が割り当てられて保存され、画像取得サイトにアクセスしてきた携帯端末40上で表示されたり、携帯端末40にダウンロードされたりする。
【0036】
ドライブ118には、光ディスクや半導体メモリなどよりなるリムーバブルメディア119が適宜装着される。ドライブ118によりリムーバブルメディア119から読み出されたプログラムやデータは、CPU111に供給され、記憶部116に記憶されたり、インストールされたりする。
【0037】
入出力インタフェース115には外部入出力インタフェース106が接続される。PC部101による各部の制御が、外部入出力インタフェース106を介して行われる。
【0038】
事前選択部102は、撮影前のユーザを対象とした事前選択処理を行う。事前選択部102は、タッチパネルモニタ121、スピーカ122、および硬貨処理部123から構成される。
【0039】
タッチパネルモニタ121は、PC部101による制御に従って各種の選択画面を表示し、選択画面に対するユーザの操作を受け付ける。ユーザの操作の内容を表す入力信号はPC部101に供給され、各種の設定が行われる。
【0040】
スピーカ122は、各種の選択画面に対する操作の案内音声、BGM(Back Ground Music)、効果音などを出力する。
【0041】
硬貨処理部123は、硬貨投入口への硬貨の投入を検出する。硬貨処理部123は、所定の金額分の硬貨が投入されたことを検出した場合、ゲームの開始を指示する起動信号をPC部101に出力する。
【0042】
撮影部103は、写真作成ゲーム機10の筐体内に形成される撮影空間にいるユーザを対象とした撮影処理を行う。撮影部103は、カメラ131、タッチパネルモニタ132、照明装置133、およびスピーカ134から構成される。
【0043】
カメラ131は、PC部101によるシャッタ制御に従って撮影を行い、撮影によって得られた画像データをPC部101に出力する。
【0044】
タッチパネルモニタ132は、カメラ131の近傍に設けられる。タッチパネルモニタ132は、カメラ131により取り込まれた動画像を表示するライブビューモニタとしての機能と、各種のGUIを表示してユーザの選択操作を受け付ける機能を備えている。
【0045】
照明装置133は、撮影空間内に設けられるストロボユニットであり、PC部101から供給された照明制御信号に従って発光する。
【0046】
スピーカ134は、撮影空間内の所定の位置に設けられ、撮影処理の案内音声、BGM、効果音などを出力する。
【0047】
編集部104は、撮影後の編集処理を行う。編集部104は、タブレット内蔵モニタ141、タッチペン142A,142B、およびスピーカ143から構成される。
【0048】
タブレット内蔵モニタ141とタッチペン142A,142Bは、編集部104を構成する筐体の2つの面それぞれに設けられる。タッチペン142Aとタッチペン142Bを区別する必要がない場合には、単にタッチペン142という。
【0049】
タブレット内蔵モニタ141は、PC部101による制御に従って編集画面を表示し、編集画面に対するタッチペン142を用いたユーザの操作を受け付ける。ユーザの操作の内容を表す入力信号は、PC部101に供給され、編集対象となる撮影画像の編集が行われる。
【0050】
スピーカ143は、編集部104を構成する筐体の一部に内蔵され、編集処理の案内音声、BGM、効果音などを出力する。
【0051】
印刷部105は、プリンタ151を含むように構成される。プリンタ151にはシール紙ユニット152が装着される。
【0052】
プリンタ151は、PC部101から供給された印刷データに基づいて、シール紙ユニット152に収納されているシール紙に画像を印刷する。プリンタ151は、画像を印刷したシール紙をシール紙排出口に排出する。
【0053】
(画像管理サーバ・推薦サーバのハードウェア構成)
図3は、画像管理サーバ20と推薦サーバ30それぞれを構成するサーバ200のハードウェア構成例を示すブロック図である。
【0054】
図3において、CPU211は、ROM212に記憶されているプログラム、またはRAM213にロードされたプログラムに従って、各種の処理を実行する。RAM213にはまた、CPU211が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0055】
CPU211、ROM212、およびRAM213は、バス214を介して相互に接続されている。このバス214にはまた、入出力インタフェース215も接続されている。
【0056】
入出力インタフェース215には、入力部216、出力部217、記憶部218、および通信部219が接続されている。
【0057】
入力部216は、キーボードやマウスなどにより構成される。出力部217は、液晶や有機EL(Electro-Luminescence)などよりなるディスプレイ、およびスピーカなどにより構成される。記憶部218は、ハードディスクなどにより構成される。通信部219は、有線通信を行う有線通信モジュール、無線通信を行う無線通信モジュールなどにより構成される。
【0058】
通信部219は、ネットワークNWを介しての通信処理を行う。
【0059】
入出力インタフェース215にはまた、必要に応じてドライブ220が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア221が適宜装着される。それらから読み出されたコンピュータプログラムは、必要に応じて記憶部218にインストールされる。
【0060】
(携帯端末のハードウェア構成)
図4は、携帯端末40のハードウェア構成例について説明する。
【0061】
図4において、CPU411は、ROM412に記憶されているプログラム、またはRAM413にロードされたプログラムに従って、各種の処理を実行する。RAM413にはまた、CPU411が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0062】
CPU411、ROM412、およびRAM413は、バス414を介して相互に接続されている。このバス414にはまた、入出力インタフェース415も接続されている。
【0063】
入出力インタフェース415には、入力部416、出力部417、記憶部418、および通信部419が接続されている。
【0064】
入力部416は、キー、ボタン、タッチパネル、カメラ、およびマイクロホンなどにより構成される。出力部417は、液晶や有機ELなどよりなりタッチパネルとともに形成されるディスプレイ、およびスピーカなどにより構成される。記憶部418は、例えばNAND型フラッシュメモリなどにより構成される。通信部419は、無線通信を行う通信モジュールなどにより構成される。
【0065】
<2.顔画像に基づいた推薦情報の提示の流れ>
以下においては、写真作成ゲーム機10において生成された撮影画像から抽出された顔画像に基づいて、ユーザに対して推薦情報を提示する例について説明する。
【0066】
(推薦情報の提示の流れ)
図5は、顔画像に基づいた推薦情報の提示の流れについて説明する図である。
【0067】
図5においては、推薦システム1を構成する写真作成ゲーム機10、推薦サーバ30、および携帯端末40が示されている。
【0068】
写真作成ゲーム機10においては、スマートフォンを用いた不安定な撮影とは異なり、携帯端末40を所有するユーザを被写体として撮影条件を一定にした撮影が行われることで、安定した写りの撮影画像が得られる。写真作成ゲーム機10からは、撮影画像P11が、画像管理サーバ20を介して、推薦サーバ30に供給される。
【0069】
推薦サーバ30は、撮影画像P11に対する顔の認識・分析を行う。具体的には、推薦サーバ30は、撮影画像P11において顔を認識することで顔画像を抽出し、抽出した顔画像の顔分析を行う。そして、推薦サーバ30は、得られた分析結果に基づいて、ユーザに対して商品やサービスを推薦するための推薦情報を生成する。例えば、顔画像の分析結果に基づいて、ユーザの顔にマッチしたメイクや化粧品(コスメ)を推薦するための推薦情報R31が生成される。推薦サーバ30からは、生成された推薦情報R31が、当該ユーザが所有する携帯端末40に送信される。
【0070】
これに限らず、写真作成ゲーム機10が、撮影画像P11に対する顔の認識・分析を行い、得られた分析結果を、撮影画像P11とともに、画像管理サーバ20を介して推薦サーバ30に供給してもよい。この場合、推薦サーバ30は、写真作成ゲーム機10からの分析結果に基づいて、推薦情報R31を生成する。
【0071】
また、写真作成ゲーム機10が、撮影画像P11に対する顔の認識・分析を行い、得られた分析結果に基づいて推薦情報R31を生成し、生成された推薦情報R31を、撮影画像P11とともに、画像管理サーバ20を介して推薦サーバ30に供給してもよい。この場合、推薦サーバ30は、写真作成ゲーム機10からの推薦情報R31を、携帯端末40に送信する。
【0072】
さらに、携帯端末40が、推薦サーバ30から撮影画像P11を取得し、撮影画像P11に対する顔の認識・分析を行い、得られた分析結果に基づいて推薦情報R31を生成してもよい。
【0073】
以上のような流れで、ユーザの顔画像に基づいた推薦情報を、携帯端末40において当該ユーザに対して提示することができる。
【0074】
(推薦システムの機能構成例)
図6は、上述した顔画像に基づいた推薦情報の提示を実現する推薦システム1の機能構成例を示すブロック図である。
【0075】
図6においては、推薦システム1を構成する写真作成ゲーム機10、画像管理サーバ20、推薦サーバ30、および携帯端末40が示されているが、画像管理サーバ20と携帯端末40の詳細な機能構成の説明は省略する。
【0076】
写真作成ゲーム機10は、上述したカメラ131、タッチパネルモニタ132、照明装置133、およびプリンタ151に加え、制御部510を備える。制御部510を構成する各機能ブロックは、CPU111が所定のプログラムを実行することで実現される。
【0077】
制御部510は、撮影処理部511、画像処理部512、および印刷処理部513を含むようにして構成される。
【0078】
撮影処理部511は、撮影空間に設けられるカメラ131、タッチパネルモニタ132、照明装置133を制御することで、ユーザを対象とした撮影処理を実行する。
【0079】
画像処理部512は、複数枚の撮影画像に対して各種の画像処理を施す。
【0080】
例えば、画像処理部512は、撮影画像の被写体領域に対して所定の画像処理を施す。具体的には、画像処理部512は、撮影画像に写るユーザの顔の輪郭や、目、鼻、口、頬などの顔パーツを加工(拡大/縮小、変形、色の変更など)したり修整するレタッチ処理を施す。また、画像処理部512は、撮影画像に対して、ユーザの編集操作(落書き)に応じた編集処理を施す。
【0081】
編集処理は、ユーザに選択された撮影画像に対して、ユーザの編集操作に応じて施される一方、レタッチ処理は、基本的にはユーザの操作によらず、全ての撮影画像に対して一律に施される。このような画像処理が施されることにより、画像処理が施されていない撮影画像とは別に、画像処理が施された処理後画像が生成される。
【0082】
印刷処理部513は、プリンタ151を制御することで、画像処理が施された処理後画像をシール紙に印刷し、出力する。シール紙に印刷される処理後画像には、ユーザの編集操作に応じた編集処理が施されてもよい。
【0083】
また、処理後画像は、画像処理が施されていない撮影画像とともに、写真作成ゲーム機10から画像管理サーバ20に送信され、ユーザ毎に管理される。
【0084】
推薦サーバ30は、制御部530とユーザDB550を備える。制御部530を構成する各機能ブロックとユーザDB550は、CPU211が所定のプログラムを実行することで実現される。
【0085】
制御部530は、Webページ提供部531、顔認識部532、顔分析部533、推薦情報生成部534、およびデータ管理部535を含むようにして構成される。
【0086】
Webページ提供部531は、携帯端末40において閲覧されるWebサイト(推薦サイト)を構成するWebページを作成し、携帯端末40に提供する。
【0087】
顔認識部532は、画像管理サーバ20から、推薦サイトにアクセスした携帯端末40に対応するユーザの撮影画像が取得されたことに応じて、当該撮影画像において顔を認識する。
【0088】
顔分析部533は、撮影画像において顔認識部532による認識に成功した顔の顔画像を分析対象として顔分析を行う。
【0089】
顔認識部532による顔認識と、顔分析部533による分析は、画像管理サーバ20において管理される撮影画像のうち、画像処理が施されていない撮影画像(原画像)を対象として行われる。以下、画像処理が施されていない撮影画像を処理前画像といい、処理前画像の中で、顔の認識・分析の対象となる撮影画像を診断用画像という。
【0090】
推薦情報生成部534は、認識に成功した顔(顔画像)に対して顔分析部533が分析を行うことで得られた分析結果に基づいて、当該顔画像に対応するユーザに対する推薦情報を生成する。
【0091】
データ管理部535は、推薦サイトに対してアクセスした携帯端末40に対応するユーザのうち、推薦サイトに登録されたユーザについてのユーザデータを管理する。ユーザデータは、ユーザDB550に格納される。
【0092】
【0093】
図7に示されるように、ユーザDB550に格納されるユーザデータd550は、ユーザIDに、顔画像IDと、1または複数の過去推薦情報が対応付けられて構成される。
【0094】
ユーザIDは、推薦サイトに登録されたユーザ固有の識別情報である。顔画像IDは、ユーザIDで特定されるユーザについて分析が行われた顔画像固有の識別情報である。過去推薦情報は、ユーザIDで特定されるユーザについて生成された推薦情報である。過去推薦情報は、例えば、顔画像IDで特定される顔画像に対する分析が行われる毎に、追加・蓄積される。
【0095】
このような構造を有するユーザデータd550により、推薦サイトに登録されたユーザは、過去に提示された推薦情報を閲覧することができる。
【0096】
(推薦システムの動作)
図8を参照して、推薦システムの動作の流れについて説明する。
図8の処理は、写真作成ゲーム機10においてユーザに対するゲームの提供が始まることで開始される。
【0097】
まず、ステップS11において、写真作成ゲーム機10(撮影処理部511)は、撮影処理を実行する。撮影処理においては、ユーザを被写体とした複数回の撮影が行われることで、複数枚の撮影画像が生成される。
【0098】
撮影処理において、複数枚の撮影画像(処理前画像)が生成されると、ステップS12に進み、画像処理部512は、撮影画像に対して画像処理を施す。
【0099】
上述したように、複数枚の撮影画像には、ユーザの操作によらずにレタッチ処理が施され、ユーザの編集操作に応じて編集処理が施される。その結果、画像処理が施される前の複数枚の処理前画像とは別に、画像処理が施された複数枚の処理後画像が生成される。
【0100】
ステップS13において、印刷処理部513は、プリンタ151を制御することで、画像処理が施された複数枚の処理後画像の少なくともいずれかをシール紙に印刷し、出力する。
【0101】
その後、ステップS14において、写真作成ゲーム機10の通信部117(
図2)は、1回のゲームにおいて生成された複数枚の処理前画像と処理後画像を、画像管理サーバ20に送信する。
【0102】
画像管理サーバ20に送信された処理後画像は、画像取得サイトの会員となったユーザの携帯端末40上で表示されたり、携帯端末40にダウンロードされたりする。
【0103】
ここで、画像管理サーバ20により提供される画像取得サイトに登録される会員と、推薦サーバ30により提供される推薦サイトに登録される会員は、所定の手法により紐づけられるものとする。例えば、ユーザは、携帯端末40のメールアドレスや、SNS(Social Networking Service)アカウントを共通のユーザIDとして用いることで、画像取得サイトと推薦サイトそれぞれにおいて、同一の会員として自身を登録することができる。
【0104】
このような状態で、例えば、ユーザが携帯端末40から推薦サイトにアクセスすることで表示されるログイン画面に対して操作を行うと、ステップS41において、携帯端末40の通信部419は、推薦サイトにログインするためのログイン要求を、推薦サーバ30に送信する。
【0105】
ステップS31において、推薦サーバ30のWebページ提供部531は、携帯端末40からのログイン要求に応じてログインを受け付けると、画像管理サーバ20から、ログイン要求を送信した携帯端末40のユーザの処理前画像と処理後画像を取得する(呼び出す)。
【0106】
ステップS32において、推薦サーバ30のWebページ提供部531は、顔の認識・分析の対象とする診断用画像を選択させるための選択画面や、診断用画像において分析対象とする顔を選択させるための選択画面を、携帯端末40に表示させる。
【0107】
診断用画像には、多くの場合、2人などの複数人の被写体が写っていることから、1枚の診断用画像には、その複数人分のユーザ(会員)が紐づけられ得る。この場合、あるユーザに紐づけられた診断用画像は特定可能であっても、その診断用画像においてどの被写体が当該ユーザであるかまでは特定できない。
【0108】
そこで、診断用画像に写る被写体からユーザ自身を選択させることで、診断用画像においてどの被写体が当該ユーザであるかを特定できるようにする。具体的には、選択画面においては、診断用画像において認識された顔のいずれかをユーザに選択させる。以下においては、診断用画像には2人のユーザが写っているものとする。
【0109】
ステップS42において、携帯端末40の通信部419は、選択画面に対するユーザの操作に応じて、選択内容(選択された診断用画像や顔)を表す選択情報を、推薦サーバ30に送信する。
【0110】
選択画面に対するユーザの操作が繰り返される中で、ステップS33において、推薦サーバ30の顔認識部532は、携帯端末40からの選択情報に基づいて、ユーザにより選択された診断用画像において顔を認識する。顔分析部533は、携帯端末40からの選択情報に基づいて、診断用画像において認識されたどの顔が携帯端末40のユーザであるかを特定し、当該顔画像を分析対象として顔分析を行う。
【0111】
次いで、ステップS34において、推薦サーバ30のWebページ提供部531は、携帯端末40のユーザへの質問とその質問に対する回答を選択させるための質問画面を、携帯端末40に表示させる。
【0112】
ステップS44において、携帯端末40の通信部419は、質問画面に対するユーザの操作に応じて、ユーザへの質問に対する回答の選択内容を表す回答情報を、推薦サーバ30に送信する。ユーザへの質問には、例えば、ユーザの肌の色に関する質問や、普段ユーザがするメイクに関する質問などが含まれる。
【0113】
このような質問画面の表示と回答情報の送信は、多くの場合、複数回行われる。
【0114】
その後、ステップS35において、推薦サーバ30の推薦情報生成部534は、顔分析部533が診断用画像に対して顔分析を行うことで得られた分析結果と、携帯端末40からの複数の回答情報に基づいて、当該携帯端末40のユーザに対する推薦情報を生成する。ここでは、例えば、顔画像に対する分析結果と、上述した質問に対する回答情報に基づいて、メイクアップに係る商品およびサービスの少なくともいずれかを推薦するための推薦情報が生成される。
【0115】
ステップS36において、推薦サーバ30のWebページ提供部531は、推薦情報を含むWebページを、携帯端末40に送信する。
【0116】
そして、ステップS44において、携帯端末40の出力部417(
図4)は、推薦サーバ30からの推薦情報を含むWebページを当該ユーザに提示する。
【0117】
<3.携帯端末における画面遷移の例>
次に、上述した推薦システム1の動作の流れの中で、携帯端末40を用いてユーザが閲覧する推薦サイトの画面遷移について説明する。ここでは、推薦サイトの会員として登録されているユーザの顔分析が行われるまで(
図8のステップS41,S42)の画面遷移の例を示す。
【0118】
まず、携帯端末40が推薦サイトにアクセスすると、携帯端末40のディスプレイ(出力部417)には、
図9に示されるログイン画面710が表示される。ログイン画面710には、ユーザアイコン表示領域711、パスワード入力ボックス712、およびログインボタン713が設けられる。
【0119】
ユーザアイコン表示領域711は、携帯端末40のユーザ毎に設定されたアイコンが表示される領域である。ユーザアイコン表示領域711に表示されるアイコンは、
図9のようにシステムにより自動で設定された人型の図形であってもよいし、ユーザにより設定されたユーザの顔画像などであってもよい。
【0120】
パスワード入力ボックス712は、ユーザが推薦サイトにログインするためのパスワードを入力するためのテキストボックスである。パスワード入力ボックス712に正しいパスワードが入力された状態で、ユーザによってログインボタン713が押下されると、携帯端末40から推薦サーバ30にログイン要求が送信され(
図8のステップS41)、ログインが完了する。
【0121】
ログインが完了すると、携帯端末40のディスプレイには、
図10に示される診断スタート画面720が表示される。診断スタート画面720には、利用規約表示領域721、チェックボックス722、および診断スタートボタン723が設けられる。
【0122】
利用規約表示領域721は、推薦サイトの利用規約とプライバシーポリシーが表示される領域である。チェックボックス722は、ユーザが、利用規約表示領域721に表示される利用規約とプライバシーポリシーに同意したことを示すチェックマークを入力するためのGUIである。診断スタートボタン723は、推薦情報を生成するための顔診断をスタートする際に押下されるボタンである。
【0123】
チェックボックス722にチェックマークが入力された状態で、ユーザによって診断スタートボタン723が押下されると、携帯端末40のディスプレイには、上述した選択画面の1つとして、
図11に示される画像選択画面730が表示される。画像選択画面730には、注意事項表示領域731と画像選択領域732が設けられる。
【0124】
注意事項表示領域731は、画像選択領域732において診断用画像を選択する際の注意事項が表示される領域である。具体的には、注意事項表示領域731には、診断用画像として、顔が正面を向いていて、目を閉じていない画像を選択することを促す文言が表示されている。
【0125】
画像選択領域732は、診断用画像の候補となる複数の撮影画像が、例えば写真作成ゲーム機10において提供されたゲーム毎に表示される。
図11の例では、推薦サイトにログインしたユーザが直近でプレイした2ゲーム分の撮影画像が、5枚ずつ表示されている。画像選択領域732には、画像管理サーバ20から呼び出された処理前画像と処理後画像のうち、画像処理が施された処理後画像が表示される。
【0126】
画像選択領域732においていずれか1枚の撮影画像(処理後画像)が選択されると、携帯端末40のディスプレイには、選択画面のさらなる1つとして、
図12に示される顔選択画面740が表示される。顔選択画面740は、診断用画像表示領域741、診断用画像再選択ボタン742、およびトリミング画面表示ボタン743が設けられる。
【0127】
診断用画像表示領域741は、画像選択領域732(
図11)において選択された診断用画像が表示される領域である。診断用画像表示領域741に表示される診断用画像は、上述したように、画像処理が施された処理後画像である。すなわち、診断用画像に写る顔には、その輪郭や、目、鼻、口、頬などを加工したり修整するレタッチ処理が施されている。
【0128】
また、診断用画像表示領域741に表示される診断用画像においては、認識に成功した顔に対して顔枠が重畳表示される。
図12の例では、診断用画像に写る2人のユーザの顔が認識され、それぞれの顔に対して顔枠FF1,FF2が重畳表示されている。診断用画像表示領域741において、顔枠FF1が選択された場合、診断用画像に写る2人のユーザのうち、左側のユーザの顔(顔画像)が顔分析の分析対象として選択される。一方、診断用画像表示領域741において、顔枠FF2が選択された場合、診断用画像に写る2人のユーザのうち、右側のユーザの顔(顔画像)が顔分析の分析対象として選択される。
【0129】
診断用画像再選択ボタン742は、診断用画像表示領域741に表示される診断用画像を再度選択するためのボタンである。診断用画像再選択ボタン742が押下されると、携帯端末40のディスプレイには、画像選択画面730(
図11)が再び表示される。
【0130】
トリミング画面表示ボタン743は、診断用画像表示領域741に表示される診断用画像において、顔枠が重畳表示されていない顔が存在する場合、すなわち、診断用画像において顔の認識に失敗した顔が存在する場合に押下されるボタンである。
【0131】
ユーザによってトリミング画面表示ボタン743が押下されると、携帯端末40のディスプレイには、選択画面のさらなる1つとして、
図13に示されるトリミング画面(顔領域選択画面)750が表示される。トリミング画面750には、注意事項表示領域751、診断用画像表示領域752、およびOKボタン753が設けられる。
【0132】
注意事項表示領域751は、診断用画像表示領域752において、携帯端末40のユーザが自分自身の顔の領域を指定(選択)する際の注意事項が表示される領域である。具体的には、注意事項表示領域751には、診断用画像表示領域752において、自分の顔の領域のみを、頭頂部を含むように指定することを促す文言が表示されている。
【0133】
診断用画像表示領域752は、画像選択領域732(
図11)において選択された診断用画像が表示される領域である。診断用画像表示領域752に表示される診断用画像においては、顔の領域を指定するための矩形状のトリミング枠TFが表示される。ユーザは、携帯端末40に対する操作により、トリミング枠TFの位置や大きさを変えることで、自分自身の顔の領域を指定することができる。
【0134】
診断用画像表示領域752において、トリミング枠TFによって顔の領域が指定された状態で、OKボタン753が押下されると、指定された顔が顔分析の分析対象として選択される。
【0135】
図12の顔選択画面740において認識に成功した顔のいずれかが分析対象として選択されるか、
図13のトリミング画面においてトリミング枠によって認識に失敗した顔が分析対象として指定されると、携帯端末40のディスプレイには、
図14に示される確認画面760が表示される。確認画面760には、顔画像表示領域761、OKボタン762、および診断用画像再選択ボタン763が設けられる。
【0136】
顔画像表示領域761は、顔選択画面740(
図12)またはトリミング画面(
図13)において、顔分析の分析対象として選択または指定された顔(顔画像)が表示される領域である。ユーザは、顔画像表示領域761に表示される顔画像を確認し、OKボタン762を押下することで、当該顔画像を分析対象として確定することができる。
【0137】
診断用画像再選択ボタン763は、診断用画像を再度選択するためのボタンである。診断用画像再選択ボタン763が押下されると、携帯端末40のディスプレイには、画像選択画面730(
図11)が再び表示される。
【0138】
さて、OKボタン762が押下されると、携帯端末40のディスプレイには、
図15に示される分析中画面770が表示される。分析中画面770は、推薦サーバ30において、分析対象として確定された顔画像の顔分析が行われている(開始された)ことを、ユーザに報知する画面である。分析中画面770の下端には、すすむボタン771が設けられる。
【0139】
また、分析中画面770の中央には、顔分析の分析結果と、上述した質問画面に対する回答に基づいて、顔診断が行われる旨の文言と画像が表示される。すなわち、すすむボタン771が押下されると、携帯端末40のディスプレイには、質問画面が表示される。
【0140】
<4.分析対象設定処理の流れ>
図16のフローチャートを参照して、推薦サーバ30において実行される、顔分析の分析対象を設定する分析対象設定処理の流れについて説明する。
図16の処理は、携帯端末40に表示される画像選択画面730(
図11)において診断用画像が選択されることで開始される。
【0141】
ステップS111において、顔認識部532は、撮影画像(画像選択画面730において選択された診断用画像)に対して第1の顔認識処理を実行する。第1の顔認識処理は、例えば機械学習を用いた顔認識処理とされる。
【0142】
推薦サーバ30において顔の認識・分析の対象となる診断用画像は、携帯端末40において選択された処理後画像ではなく、対応する画像処理が施されていない処理前画像とされる。処理後画像から抽出された顔画像には、レタッチ処理による変形などが施されているため、特徴点の検出などが正しく行われず、本来求められる分析が行われない。一方、処理前画像から抽出された顔画像には、レタッチ処理による変形などは施されておらず、特徴点の検出などが正しく行われるため、本来求められる分析を行うことが可能となる。
【0143】
ステップS112において、Webページ提供部531は、認識に成功した顔に顔枠を重畳表示した撮影画像(診断用画像)を含む顔選択画面740(
図12)を、携帯端末40に表示させる。
【0144】
ステップS113において、顔認識部532は、撮影画像(診断用画像)において、認識に失敗した顔があるか否かを判定する。認識に失敗した顔がないと判定された場合、ステップS114に進む。
【0145】
ステップS114において、Webページ提供部531は、携帯端末40に表示されている撮影画像(診断用画像)において、認識に成功したいずれかの顔が選択されたか否かを判定する。ステップS114は、認識に成功したいずれかの顔が選択されるまで繰り返され、認識に成功したいずれかの顔が選択されると、ステップS115に進む。
【0146】
ステップS115において、顔分析部533は、携帯端末40に表示されている撮影画像(診断用画像)に対応する処理前画像において選択された顔を分析対象とする。
【0147】
一方、ステップS113において、認識に失敗した顔があると判定された場合、ステップS116に進む。
【0148】
ステップS116において、Webページ提供部531は、携帯端末40に表示されている顔選択画面740(
図12)においてトリミング画面表示ボタン743が選択されたか否かを判定する。トリミング画面表示ボタン743が選択されたと判定された場合、Webページ提供部531は、携帯端末40にトリミング画面750(
図13)を表示させ、ステップS117に進む。なお、トリミング画面表示ボタン743が選択されなければ、診断用画像には認識に成功した顔も存在するとして、ステップS114に進み、顔選択画面740において、認識に成功した顔が選択されたか否かが判定される。
【0149】
ステップS117において、Webページ提供部531は、携帯端末40に表示されているトリミング画面750に表示された撮影画像(診断用画像)において、トリミング枠TFによって領域が指定されたか否か(OKボタン753が押下されたか否か)を判定する。ステップS117は、トリミング枠TFによって領域が指定されるまで繰り返され、トリミング枠TFによって領域が指定されると、ステップS118に進む。
【0150】
ステップS118において、顔分析部533は、トリミング枠TFによって指定された指定領域に対して第2の顔認識処理を実行する。
【0151】
第2の顔認識処理においては、指定領域に含まれる顔の特徴点が抽出されることで、例えば、診断用画像と同一回のゲームにより生成された他の撮影画像(処理前画像)から、当該顔との類似度が最も高い顔が選択される。このようにして、第2の顔認識処理においては、他の撮影画像から選択された顔の顔画像が、顔分析の分析対象となり得る。
【0152】
ステップS119において、顔分析部533は、トリミング枠TFによって指定された指定領域に含まれる顔は1つのみであるか否かを判定する。指定領域に複数の顔が含まれる場合や、指定領域にいずれの顔も含まれない場合、いずれの顔も分析対象とされずに、ステップS117に戻り、それ以降の処理が繰り返される。
【0153】
一方、ステップS119において、指定領域に含まれる顔は1つのみであると判定された場合、ステップS120に進む。
【0154】
ステップS120において、顔分析部533は、トリミング枠TFによって指定された指定領域に含まれる顔を分析対象とする。すなわち、第2の顔認識処理において他の撮影画像から選択された顔の顔画像が分析対象となる。
【0155】
以上の処理によれば、認識に失敗した顔であっても、トリミング枠によって指定することで分析対象として設定することができる。すなわち、過去に撮影された画像において、認識に失敗するような顔であっても、顔分析の分析対象とすることができるので、より確実に顔分析を行うことが可能となる。
【0156】
<5.変形例>
以下においては、上述した実施の形態における変形例について説明する。
【0157】
上述した分析対象設定処理においては、指定領域に複数の顔が含まれる場合、いずれの顔も分析対象とされないものとしたが、指定領域に含まれる複数の顔(顔画像)をユーザに提示し、選択された顔画像が分析対象とされるようにしてもよい。
【0158】
写真作成ゲーム機10においては、撮影画像に画像処理を施すために、撮影画像において目領域や唇領域が抽出される。この目領域や唇領域が、推薦サーバ30において行われる顔認識処理に用いられるようにしてもよい。
【0159】
以上においては、写真作成ゲーム機10において生成された撮影画像に対して、推薦サーバ30によって、顔認識処理や顔分析が行われる例について説明した。これに限らず、例えば
図17に示されるように、ユーザが携帯端末により自分自身を撮影した撮影画像に対して、携帯端末にインストールされた専用アプリケーション(専用アプリ)によって、顔認識処理や顔分析が行われるようにしてもよい。
【0160】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【0161】
この記録媒体は、例えば、
図3に示されるように、装置本体とは別に、推薦サーバ30(サーバ200)の管理者にプログラムを配信するために配布される、そのプログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROMおよびDVDを含む)、光磁気ディスク、もしくは半導体メモリなどよりなるリムーバブルメディア119により構成される。また、これらだけでなく、記録媒体は、装置本体にあらかじめ組み込まれた状態で管理者に配信されるプログラムが記録されているROM212や、記憶部218に含まれるハードディスクなどで構成される。
【0162】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0163】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0164】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【符号の説明】
【0165】
1 推薦システム, 10 写真作成ゲーム機, 20 画像管理サーバ, 30 推薦サーバ, 40 携帯端末, 131 カメラ, 132 タッチパネルモニタ, 133 照明装置, 151 プリンタ, 510 制御部, 511 撮影処理部, 512 画像処理部, 513 印刷処理部, 530 制御部, 531 Webページ提供部, 532 顔認識部, 533 顔分析部, 534 推薦情報生成部, 535 データ管理部, 550 ユーザDB