特開 2022-15644 情報処理装置、情報処理方法及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022015644

(43)【公開日】2022-01-21

(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム

(51)【国際特許分類】

   G06F 3/04842 20220101AFI20220114BHJP

   G06Q 30/02 20120101ALI20220114BHJP

   G06F 3/038 20130101ALI20220114BHJP

【ＦＩ】

G06F3/0484 120

G06Q30/02 380

G06F3/038 310A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2020118628

(22)【出願日】2020-07-09

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＱＲコード

(71)【出願人】

【識別番号】394025924

【氏名又は名称】株式会社博報堂

(71)【出願人】

【識別番号】518075923

【氏名又は名称】株式会社ミラーロイド

(74)【代理人】

【識別番号】110002516

【氏名又は名称】特許業務法人白坂

(72)【発明者】

【氏名】高橋 良爾

(72)【発明者】

【氏名】佐々木 将人

(72)【発明者】

【氏名】永塚 剛士

(72)【発明者】

【氏名】南原 錦善

(72)【発明者】

【氏名】柳 ▲済▼正

【テーマコード（参考）】

5B087

5E555

5L049

【Ｆターム（参考）】

5B087AE00

5B087CC31

5E555AA52

5E555AA71

5E555BA02

5E555BA31

5E555BB02

5E555BB31

5E555BC17

5E555CA42

5E555CB45

5E555CB65

5E555CC22

5E555DB41

5E555DB53

5E555EA05

5E555EA22

5E555FA00

5L049BB08

5L049BB72

(57)【要約】

【課題】ユーザに応じた情報を提供する情報処理装置、情報処理方法及び情報処理プログラムを提供する。
【解決手段】情報処理装置は、文字及び画像を画面に表示することが可能な表示部と、人物を撮像して画像データを生成するカメラ部と、カメラ部によって撮像される人物に関する人物情報を取得する取得部と、カメラ部によって生成された画像データに基づいて人物の視線を検出する検出部と、第１画像を表示するよう表示部を制御する表示制御部と、を備え、表示制御部は、検出部によって検出される人物の視点が第１画像の表示位置に含まれる場合、取得部によって取得する人物情報に応じた、第１画像とは異なる第２画像及び文字のうち少なくとも一方を表示するよう表示部を制御する。
【選択図】図１

【特許請求の範囲】

【請求項1】

文字及び画像を画面に表示することが可能な表示部と、
人物を撮像して画像データを生成するカメラ部と、
前記カメラ部によって撮像される人物に関する人物情報を取得する取得部と、
前記カメラ部によって生成された画像データに基づいて人物の視線を検出する検出部と、
第１画像を表示するよう前記表示部を制御する表示制御部と、を備え、
前記表示制御部は、前記検出部によって検出される人物の視点が第１画像の表示位置に含まれる場合、前記取得部によって取得する人物情報に応じた、第１画像とは異なる第２画像及び文字のうち少なくとも一方を表示するよう前記表示部を制御する
情報処理装置。

【請求項2】

年齢及び性別と、第２画像及び文字とが関連付けられた関連情報を記憶する記憶部を備え、
前記取得部は、人物情報として、人物の年齢及び性別のうち少なくとも一方の情報を取得し、
前記表示制御部は、前記取得部によって取得した人物の年齢及び性別の少なくとも一方に関連付けられる第２画像及び文字を前記記憶部から取得して、当該第２画像及び文字の少なくとも一方を表示するよう前記表示部を制御する
請求項１に記載の情報処理装置。

【請求項3】

前記カメラ部は、施設に入場してサービスの提供を受ける人物を撮像することが可能であり、
前記表示制御部は、前記施設で提供されるサービスに利用される商品の広告を第２画像及び文字として表示するよう前記表示部を制御する
請求項１又は２に記載の情報処理装置。

【請求項4】

前記表示部の表示画面側において、表示画面全体に対向するように配されるハーフミラーと、
前記カメラ部によって生成される画像データに基づいて、前記ハーフミラーに映る人物の位置を推定する推定部と、を備え、
前記表示制御部は、前記推定部によって推定される前記ハーフミラー上の人物の位置を除く前記ハーフミラー上の他の位置に第１画像、又は、第２画像及び文字の少なくとも一方を表示するよう前記表示部を制御する
請求項１～３のいずれか１項に記載の情報処理装置。

【請求項5】

前記推定部は、画像データに基づいて画像認識を行うことにより人物の形状を取得し、予め取得した人物の形状と、その人物の前記ハーフミラーに映る位置とに基づいて、画像認識により得られた人物が前記ハーフミラーに映る位置を推定する
請求項４に記載の情報処理装置。

【請求項6】

前記検出部によって検出される人物の視線に基づいて、前記表示部に表示される第２画像及び文字の少なくとも一方を人物が注目したかを評価する評価部を備え、
前記表示制御部は、前記カメラ部によって新たな人物が撮像されることにより、前記検出部によって検出される新たな人物の視点が第１画像の表示位置に含まれる場合、前記評価部による評価が閾値以上の第２画像及び文字を表示するよう前記表示部を制御する
請求項１～５のいずれか１項に記載の情報処理装置。

【請求項7】

文字及び画像を表示することが可能な表示部を備えるコンピュータが、
人物を撮像して画像データを生成する撮像ステップと、
前記撮像ステップによって撮像される人物に関する人物情報を取得する取得ステップと、
前記撮像ステップによって生成される画像データに基づいて人物の視線を検出する検出ステップと、
第１画像を表示するよう前記表示部を制御する表示制御ステップと、を実行し、
前記表示制御ステップは、前記検出ステップによって検出される人物の視線が第１画像に対応した場合、前記取得ステップによって取得する人物情報に応じた、第１画像とは異なる第２画像及び文字のうち少なくとも一方を表示するよう前記表示部を制御する
情報処理方法。

【請求項8】

コンピュータに、
文字及び画像を表示することが可能な表示機能と、
人物を撮像して画像データを生成するカメラ機能と、
前記カメラ機能によって撮像される人物に関する人物情報を取得する取得機能と、
前記カメラ機能によって生成された画像データに基づいて人物の視線を検出する検出機能と、
第１画像を表示するよう前記表示機能を制御する表示制御機能と、を実現させ、
前記表示制御機能は、前記検出機能によって検出される人物の視線が第１画像に対応した場合、前記取得機能によって取得する人物情報に応じた、第１画像とは異なる第２画像及び文字のうち少なくとも一方を表示するよう前記表示機能を制御する
情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

【背景技術】

【0002】

従来から、ユーザに対して効率的に広告等の情報提供を行うことが望まれている。特許文献１に記載された技術は、現金自動支払機、カード決済端末、病院の会計装置等の、ユーザと対面する対面装置を備える。対面装置は、カメラ部及びディスプレイを備える。対面装置は、カメラ部によってユーザを撮像した画像に基づいてそのユーザを識別し、識別したユーザに特化した情報をディスプレイに表示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－１６０３９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、現在は個人情報及びプライバシの管理が厳しくなっており、ユーザの許可なくそのユーザを識別することは難しい場合がある。また、特許文献１に記載された技術は、カメラ部で撮像された画像に基づいてユーザを識別するため、画像の明暗及び鮮明度によってはユーザを正確に識別することができない可能性がある。

【0005】

本発明は、ユーザに応じた情報を提供する情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

一態様の情報処理装置は、文字及び画像を画面に表示することが可能な表示部と、人物を撮像して画像データを生成するカメラ部と、カメラ部によって撮像される人物に関する人物情報を取得する取得部と、カメラ部によって生成された画像データに基づいて人物の視線を検出する検出部と、第１画像を表示するよう表示部を制御する表示制御部と、を備え、表示制御部は、検出部によって検出される人物の視点が第１画像の表示位置に含まれる場合、取得部によって取得する人物情報に応じた、第１画像とは異なる第２画像及び文字のうち少なくとも一方を表示するよう表示部を制御する。

【0007】

一態様の情報処理装置は、年齢及び性別と、第２画像及び文字とが関連付けられた関連情報を記憶する記憶部を備え、取得部は、人物情報として、人物の年齢及び性別のうち少なくとも一方の情報を取得し、表示制御部は、取得部によって取得した人物の年齢及び性別の少なくとも一方に関連付けられる第２画像及び文字を記憶部から取得して、当該第２画像及び文字の少なくとも一方を表示するよう表示部を制御することとしてもよい。

【0008】

一態様の情報処理装置では、カメラ部は、施設に入場してサービスの提供を受ける人物を撮像することが可能であり、表示制御部は、施設で提供されるサービスに利用される商品の広告を第２画像及び文字として表示するよう表示部を制御することとしてもよい。

【0009】

一態様の情報処理装置は、表示部の表示画面側において、表示画面全体に対向するように配されるハーフミラーと、カメラ部によって生成される画像データに基づいて、ハーフミラーに映る人物の位置を推定する推定部と、を備え、表示制御部は、推定部によって推定されるハーフミラー上の人物の位置を除くハーフミラー上の他の位置に第１画像、又は、第２画像及び文字の少なくとも一方を表示するよう表示部を制御することとしてもよい。

【0010】

一態様の情報処理装置では、推定部は、画像データに基づいて画像認識を行うことにより人物の形状（Ａ）を取得し、予め取得した人物の形状と、その人物のハーフミラーに映る位置とに基づいて、人物（Ａ）がハーフミラーに映る位置を推定することとしてもよい。

【0011】

一態様の情報処理装置は、検出部によって検出される人物の視線に基づいて、表示部に表示される第２画像及び文字の少なくとも一方を人物が注目したかを評価する評価部を備え、表示制御部は、カメラ部によって新たな人物が撮像されることにより、検出部によって検出される新たな人物の視点が第１画像の表示位置に含まれる場合、評価部による評価が閾値以上の第２画像及び文字を表示するよう表示部を制御することとしてもよい。

【0012】

一態様の情報処理方法では、文字及び画像を表示することが可能な表示部を備えるコンピュータが、人物を撮像して画像データを生成する撮像ステップと、撮像ステップによって撮像される人物に関する人物情報を取得する取得ステップと、撮像ステップによって生成される画像データに基づいて人物の視線を検出する検出ステップと、第１画像を表示するよう表示部を制御する表示制御ステップと、を実行し、表示制御ステップは、検出ステップによって検出される人物の視線が第１画像に対応した場合、取得ステップによって取得する人物情報に応じた、第１画像とは異なる第２画像及び文字のうち少なくとも一方を表示するよう表示部を制御する。

【0013】

一態様の情報処理プログラムは、コンピュータに、文字及び画像を表示することが可能な表示機能と、人物を撮像して画像データを生成するカメラ機能と、カメラ機能によって撮像される人物に関する人物情報を取得する取得機能と、カメラ機能によって生成された画像データに基づいて人物の視線を検出する検出機能と、第１画像を表示するよう表示機能を制御する表示制御機能と、を実現させ、表示制御機能は、検出機能によって検出される人物の視線が第１画像に対応した場合、取得機能によって取得する人物情報に応じた、第１画像とは異なる第２画像及び文字のうち少なくとも一方を表示するよう表示機能を制御する。

【発明の効果】

【0014】

一態様の情報処理装置は、人物に関する人物情報を取得する取得部と、画像データに基づいて人物の視線を検出する検出部と、検出部によって検出される人物の視点が表示部に表示される第１画像の表示位置に含まれる場合、人物情報に応じた、第１画像とは異なる第２画像及び文字のうち少なくとも一方を表示するよう表示部を制御する表示制御部と、を備えるので、ユーザに応じた情報を提供することができる。
一態様の情報処理方法及び情報処理プログラムは、上述した一態様の情報処理装置と同様の効果を奏することができる。

【図面の簡単な説明】

【0015】

【図1】一実施形態に係る情報処理装置について説明するための図である。

【図2】一実施形態に係る情報処理装置について説明するためのブロック図である。

【図3】情報処理装置の一実施例について説明するための第１の図である。

【図4】情報処理装置の一実施例について説明するための第２の図である。

【図5】一実施形態に係る情報処理方法について説明する。

【発明を実施するための形態】

【0016】

以下、本発明の一実施形態について説明する。
本明細書では、「情報」の文言を使用しているが、「情報」の文言は「データ」と言い換えることができ、「データ」の文言は「情報」と言い換えることができる。

【0017】

図１は、一実施形態に係る情報処理装置１について説明するための図である。
情報処理装置１は、一例として、美容室、百貨店、アパレルショップ、スポーツジム、病院、リハビリ施設及びスーパーマーケット等の、ユーザに対してサービスを提供する種々の施設（一例として、商業施設等）に配される。情報処理装置１は、施設においてサービスの提供を受けるユーザに対して種々の情報を提供する。

【0018】

情報処理装置１は、カメラ部１８及び表示部１７を備える。また、情報処理装置１は、表示部１７の前方（表示画面側）にハーフミラー３０を備えていてもよい。ハーフミラー３０は、光の反射と光の透過との両方を行える鏡である。情報処理装置１は、ハーフミラー３０の前方に人物（ユーザ４０）がいる場合に、表示部１７に第１画像６１を表示する。この場合、ユーザ４０は、ハーフミラー３０に映る自身の姿と、ハーフミラー３０を介して表示部１７に表示される第１画像６１とを視認することが可能である。ユーザ４０は、例えば、情報処理装置１が配される施設においてサービスの提供を受けることとしてもよい。第１画像６１は、種々の画像であってよいが、例えば、種々のキャラクタ（一例として、猫、犬、カワウソ、ライオン、ラクダ、トラ、ラクダ、ゾウ及びクマ等の動物、魚類並びに鳥類等）の画像であってもよい。第１画像は、静止画又は動画であってよい。

【0019】

情報処理装置１は、カメラ部１８によって撮像された画像に基づいてユーザ４０の視線７０（図３参照）を検出し、そのユーザ４０の視線７０が第１画像６１に向いた場合に、第１画像６１とは異なる第２画像６２（図４参照）を表示部１７に表示する。この場合、情報処理装置１は、第２画像６２と共に、その第２画像６２に関連する文字６２（図４参照）を表示部１７に表示することとしてもよい。第２画像は、例えば、情報処理装置１が配される施設で取り扱う商品及び施設がユーザ４０にサービスを提供する際に利用される商品等の画像であってもよい。第２画像は、静止画又は動画であってよい。第２画像に関連する文字は、例えば、商品を説明するための文字（文書）であってもよい。

【0020】

次に、情報処理装置１について詳細に説明する。
図２は、一実施形態に係る情報処理装置１について説明するためのブロック図である。

【0021】

情報処理装置１は、表示部１７、カメラ部１８、記憶部１９、推定部１５、取得部１２、検出部１３、表示制御部１４及び評価部１６を備える。推定部１５、取得部１２、検出部１３、表示制御部１４及び評価部１６は、情報処理装置１の制御部１１（例えば、演算処理装置等）の一機能として実現されてもよい。

【0022】

表示部１７は、文字及び画像を画面に表示することが可能である。表示部１７は、例えば、液晶ディスプレイ及び有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の種々の表示装置であってよい。

【0023】

表示部１７の表示画面側には、ハーフミラー３０が配される。ハーフミラー３０は、表示画面全体に対向するように配される。すなわち、表示部１７は、ハーフミラー３０を介して、ユーザ４０と向き合うようになる。このため、ユーザ４０は、ハーフミラー３０に映る自身の姿を視認できると共に、ハーフミラー３０を介して表示部１７に表示される画像及び文字を視認できる。

【0024】

カメラ部１８は、ユーザ４０を撮像して画像データを生成する。カメラ部１８は、例えば、動画又は時間的に連続した静止画を撮像する。カメラ部１８は、１又は複数あってもよい。図１に例示する場合には、２つのカメラ部１８が配されるが、本発明のカメラ部１８は１つ配されてもよく、３つ以上配されてもよい。本実施形態の場合（図１に示す場合）では、カメラ部１８は、ハーフミラー３０（表示部１７）に向かって、そのハーフミラー３０の上部と左部に配される。なお、カメラ部１８は、ユーザ４０に対してハーフミラー３０の背後に配されてもよい。この場合、ユーザ４０は、例えば、カメラ部１８によって撮像されていることを意識することなく、施設においてリラックスしてサービスの提供を受けることができる。

【0025】

カメラ部１８は、施設に入場してサービスの提供を受けるユーザ４０を撮像することが可能である。一例として、施設が美容室の場合には、カメラ部１８は、髪のカット及びセット等のサービスの提供を受けるユーザ４０を撮像することが可能である。なお、施設は、美容室に限定されることはなく、上述した他の種々の施設であってもよい。

【0026】

記憶部１９は、種々の情報及びプログラム等を記憶することが可能である。例えば、記憶部１９は、年齢及び性別と、第２画像及び文字とが関連付けられた関連情報を記憶する。年齢及び性別は、サービスの提供を受けるユーザ４０の年齢及び性別である。第２画像及び文字６２は、例えば、施設でユーザ４０にサービスを提供する際に利用される商品等の画像及びその商品を紹介する文字等である。第２画像及び文字６２は、例えば、商品の広告であってもよい。年齢及び性別と、第２画像及び文字６２とが予め関連付けられて、関連情報として記憶部１９に記憶される。これにより、情報処理装置１は、後述するように、サービスの提供を受けるユーザ４０の年齢及び性別に応じた第２画像及び文字６２（例えば、広告）を表示部１７に表示させることができるようになる。

【0027】

推定部１５は、カメラ部１８によって生成される画像データに基づいて、ハーフミラー３０に映るユーザ４０の位置を推定する。カメラ部１８の位置は、固定されている。また、例えば、施設が美容室等の場合にはユーザ４０が座席に着席するため、ハーフミラー３０に映るユーザ４０の位置（ハーフミラー３０上のユーザ４０の位置（ユーザ４０の写像が写り込んでいる位置））は、予め推定することができる。

【0028】

又は、推定部１５は、画像データに基づいて画像認識を行うことによりユーザ４０の形状を取得し、予め取得したユーザの形状と、そのユーザのハーフミラー３０に映る位置との関係に基づいて、画像認識により得られたユーザ４０がハーフミラー３０に映る位置を推定することとしてもよい。すなわち、推定部１５は、カメラ部１８によって生成される画像データに基づいて、一般的な画像認識により画像に記録されるユーザ４０を認識し、画像上のユーザ４０の位置を特定することができる。そして、推定部１５は、予め得られる所定の関係に基づいて、カメラ部１８によって生成される画像データ上のユーザ４０の位置から、ハーフミラー３０に映るユーザ４０の位置（ハーフミラー３０上のユーザ４０の位置）を推定することが可能である。所定の関係は、一例として、カメラ部１８とハーフミラー３０との位置関係、ユーザの実際の位置とハーフミラー３０に映るユーザの位置（ハーフミラー３０上のユーザの位置）との関係、及び、画像データ上のユーザの位置とハーフミラー３０に映るユーザの位置との関係等であってもよい。所定の関係は、上述した一例に限定されることはなく、それ以外の種々の関係であってもよい。

【0029】

また、推定部１５は、画像データ上のユーザの位置と、その際にハーフミラー３０に映るユーザの位置とを予め学習して学習データを生成しておいてもよい。この場合、推定部１５は、新たに画像データを得た場合には、その画像データ及び学習データに基づいて、ハーフミラー３０に映るユーザ４０の位置を推定することとしてもよい。

【0030】

取得部１２は、カメラ部１８によって撮像されるユーザ４０に関する人物情報を取得する。例えば、ユーザ４０は、自身が所有するユーザ端末５０で所定のアプリを起動させ、人物情報を入力した後、その人物情報を情報処理装置１に送信する。これに応じて、取得部１２は、人物情報を取得する。人物情報には、例えば、ユーザ４０の年齢及び性別のうち少なくとも一方の情報が含まれていることが好ましい。

【0031】

また、取得部１２は、カメラ部１８によって撮像されるユーザ４０の画像に基づいて、そのユーザ４０の年齢及び性別を取得（推定）することとしてもよい。この場合、取得部１２は、例えば、ユーザ４０の許可が得られた場合に、そのユーザ４０の年齢及び性別を取得（推定）することとしてもよい。取得部１２は、一般的な公知の年齢及び性別の推定技術を利用することにより、年齢及び性別を取得することとしてもよい。

【0032】

検出部１３は、カメラ部１８によって生成された画像データに基づいてユーザ４０の視線を検出する。
検出部１３は、例えば、ユーザ４０の顔の向きと、ユーザ４０の瞳の位置とに基づいて、ユーザ４０の視線を検出することとしてもよい。
まず、検出部１３は、ユーザ４０の頭（顔）がカメラ部１８を基準にどの方向に動いているか（向いているか）を検出する。すなわち、検出部１３は、カメラ部１８から見た位置（Ｔｒａｎｓｉｔｉｏｎ）に関するベクトルと、角度（Ｒｏｔａｔｉｏｎ）行列を計算する。この場合、検出部１３は、ユーザ４０の顔の位置と角度を推定するために、次の３つの情報を計測する。（１）特定の場所から、特徴点認識を利用して、ユーザ４０の目、鼻、口に対応する２次元座標値を計測する（特徴点の位置）。（２）顔型の汎用３次元モデルを用いて、ユーザ４０の目、鼻、口の３次元座標値を計測する（３次元情報）。（３）キャリブレーションを通じて、カメラ部１８の焦点距離と、カメラ画像の中心点と歪みを推定する（基本パラメータ）。検出部１３は、上記の３つの情報を用いて、非線形最小化法を利用することで、位置ベクトルと角度行列を求めることができる。検出部１３は、上述した情報を利用して、ユーザ４０の顔がどの位置に向いているか計算することができる。
また、検出部１３は、例えば、特徴点ベース手法を利用して、ユーザ４０の瞳を認識することが可能である。まず、検出部１３は、ユーザ４０の顔及び左右の目の位置を把握する。この場合、検出部１３は、特徴点抽出アルゴリズムを利用して目の両端を測定し、目の両端から中心点を計測する。この際、検出部１３は、一例として、白地に黒色の円形の虹彩があるときのグラデーションを利用して迅速かつ正確に瞳の中心を見つけることが可能である。このように得られた瞳の中心点をカメラ部１８で撮像されるフレーム毎（複数の静止画毎）に計算することで、ユーザ４０の瞳が動く方向を計算することができる。なお、検出部１３は、ユーザ４０の瞳を認識する際、モデルベース手法又はハイブリッド手法を利用することとしてもよい。なお、上述したフレーム（「フレーム毎」）は、カメラ部１８で撮像される全てのフレームばかりでなく、カメラ部１８で撮像される複数のフレームのうち任意の間隔毎のフレーム、又は、カメラ部１８で撮像される複数のフレームのうち一定の間隔毎のフレームであってもよい。
検出部１３は、上述したように計算されたユーザ４０の顔の向きと、ユーザ４０の瞳が向く方向とを組み合わせることで、ユーザ４０が見ている方向（視線）を検出することができる。

【0033】

また、検出部１３は、上述した検出方法の他に、次のようにユーザ４０の視線を検出することとしてもよい。一例として、検出部１３は、画像データに基づいてユーザ４０の眼に注目し、黒目の位置が眼のどの位置にあるのか（例えば、眼の基準点に対してどの位置にあるのか）に基づいて、ユーザ４０の視線を検出する。例えば、検出部１３は、ユーザ４０の黒目が左上にあれば、そのユーザ４０は左上の方向を見ている（ユーザ側から見た視線が左上方向にある）と検出する。同様に、例えば、検出部１３は、ユーザ４０の黒目が右上にあれば、そのユーザ４０は右上の方向を見ている（ユーザ側から見た視線が右上方向にある）と検出する。本実施形態では２つのカメラ部１８を備えるため、検出部１３は、２つのカメラ部１８それぞれで撮像された画像に基づいて、ユーザ４０の視線を検出する。一例として、検出部１３は、２つの画像データに基づいて得られたユーザ４０の視線を得てもよい。なお、検出部１３は、上述した一例のようにユーザ４０の視線を検出するばかりでなく、これ以外の種々の方法によりユーザ４０の視線を検出することとしてもよい。

【0034】

表示制御部１４は、第１画像６１を表示するよう表示部１７を制御する。この場合、表示制御部１４は、推定部１５によって推定されるハーフミラー３０上のユーザ４０の位置を除くハーフミラー３０上の他の位置に第１画像６１を表示する。表示制御部１４は、第１画像６１を表示部１７上の一定の位置に表示してもよく、第１画像６１を表示部１７上にランダムに表示してもよい。第１画像６１は、上述したように、ユーザ４０が親しみやすいキャラクタ（一例として、動物等）の画像であってもよい。また、第１画像６１は、後述する第２画像（文字）６２としての商品の広告主のキャラクタであってもよい。

【0035】

例えば、第１画像６１がキャラクタ（猫）の画像の場合には、第２画像として表示する商品の画像（例えば、第２画像よりもサイズの小さい商品画像）を猫の口に咥えさせるようにしてもよい。また、表示制御部１４は、所定時間以上、ユーザ４０の視線（視点）と第１画像６１（キャラクタ）の表示位置とが対応しない場合には、第１画像６１（キャラクタ）を所定の態様で表示するようにしてもよい。所定の態様は、例えば、第１画像６１（キャラクタ）のサイズを大きくする、第１画像６１（キャラクタ）のサイズを大きいサイズと小さいサイズとに連続して変化させる、第１画像６１（キャラクタ）が動物等の場合には眼を瞬きさせる、第１画像６１（キャラクタ）を動かす等の態様であってもよい。なお、所定の態様は、上述した一例に限定されることはなく、ユーザ４０に第１画像６１を見てもらう（ユーザ４０にアピールする）ための種々の態様であってもよい。

【0036】

表示制御部１４は、検出部１３によって検出されるユーザ４０の視点が第１画像６１の表示位置に含まれる場合、取得部１２によって取得する人物情報に応じた、第１画像６１とは異なる第２画像及び文字６２のうち少なくとも一方を表示するよう表示部１７を制御する。表示制御部１４は、表示部１７に表示される第１画像６１にユーザ４０の視線が向いた場合、第１画像６１から切り替えて又は第１画像６１と共に、第２画像及び文字６２の少なくとも一方を表示部１７に表示する。第２画像及び文字６２は、静止画であってもよく、動画であってもよい。この場合、表示制御部１４は、推定部１５によって推定されるハーフミラー３０上のユーザ４０の位置を除くハーフミラー３０上の他の位置に第２画像及び文字６２の少なくとも一方を表示する。ここで、表示制御部１４は、複数のユーザ４０がいる場合には、それぞれのユーザ４０の視線上において複数のユーザ４０の位置を除くハーフミラー３０上の他の位置に第２画像及び文字６２の少なくとも一方を表示することとしてもよい。また、制御部１１は、表示制御部１４によって第２画像及び文字６２を表示する際に、スピーカ（図示せず）から第２画像及び文字６２に関連する音及び音声を出力することとしてもよい。

【0037】

なお、第２画像及び文字６２は、施設で提供される商品の広告に限定されることはなく、例えば、施設に関連する商品及びサービスを紹介するための画像及び文字であってもよく、施設で関連する商品及びサービスを紹介するための紹介サイト又は購買サイトにジャンプするための情報（一例として、ＵＲＬ：Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）が記載される２次元情報コードであってもよい。２次元情報コードは、例えば、ＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ）コード（登録商標）及び２次元バーコード等であってもよい。また、第２画像及び文字６２は、例えば、商品のクーポンに関する情報であってもよい。

【0038】

表示制御部１４は、施設で提供されるサービスに利用される商品の広告を第２画像及び文字６２として表示するよう表示部１７を制御する。一例として、表示制御部１４は、施設が美容室の場合には、第２画像及び文字６２として、シャンプー及びヘアドライヤ等の商品広告を表示することとしてもよい。なお、商品広告としての第２画像及び文字６２は、上述した一例に限定されることなく、種々の商品の広告（情報）であってもよい。

【0039】

表示制御部１４は、取得部１２によって取得したユーザ４０の年齢及び性別の少なくとも一方に関連付けられる第２画像及び文字６２を記憶部１９から取得して、その第２画像及び文字６２の少なくとも一方を表示するよう表示部１７を制御する。ユーザ４０の年齢及び性別に応じて、そのユーザ４０が求める商品の傾向が変わる可能性がある。このため、表示制御部１４は、取得部１２によって取得した人物情報（年齢及び性別のうち少なくとも一方の情報）と、記憶部１９に記憶される関連情報とに基づいて、ユーザ４０の年齢及び性別の少なくとも一方に応じた第２画像を表示する。ここで、表示制御部１４は、第２画像と共に又は第２画像に代えて、文字を表示部１７に表示することとしてもよい。

【0040】

評価部１６は、検出部１３によって検出されるユーザ４０の視線に基づいて、表示部１７に表示される第２画像及び文字６２の少なくとも一方をユーザ４０が注目したかを評価する。検出部１３は、表示部１７に第２画像及び文字６２のうち少なくとも一方を表示した場合、カメラ部１８によってユーザ４０を撮像した画像データに基づいて、ユーザ４０の視線を検出する。評価部１６は、検出部１３によって検出されたユーザ４０の視線に基づいて、ユーザ４０が第２画像（文字）６２に注目したかを評価する。評価部１６は、例えば、連続して又は間欠的に第１時間以上第２画像（文字）６２をユーザ４０が見ている場合には、ユーザ４０が第２画像（文字）６２に注目していると評価する。すなわち、この場合には、評価部１６による評価は高評価となる。一方、評価部１６は、例えば、連続して又は間欠的に第２時間未満（第１時間＞第２時間）第２画像（文字）６２をユーザ４０が見ている場合には、ユーザ４０が第２画像（文字）６２に注目していないと評価する。すなわち、この場合には、評価部１６の評価は低評価となる。なお、第１時間及び第２時間は、第１時間＞第２時間の関係を満たす任意の時間である。

【0041】

また、評価部１６は、例えば、ユーザ４０が第２画像（文字）６２を見た回数をカウントし、そのユーザ４０が第１回数以上見ている場合には、ユーザ４０が第２画像（文字）６２に注目していると評価する。この場合には、評価部１６の評価は高評価となる。一方、評価部１６は、例えば、ユーザ４０が第２回数未満（第１回数＞第２回数）しか第２画像（文字）６２を見ていない場合には、ユーザ４０が第２画像（文字）６２に注目していないと評価してもよい。この場合には、評価部１６の評価は低評価となる。なお、第１回数及び第２回数は、第１回数＞第２回数の関係を満たす任意の回数である。

【0042】

なお、評価部１６は、上述した一例の評価方法に限らず、これ以外の種々の評価方法を用いてもよい。評価部１６は、評価の結果を記憶部１９に記憶される関連情報に加えることとしてもよい。

【0043】

上記のように評価を行った場合、表示制御部１４は、カメラ部１８によって新たなユーザ４０が撮像されることにより、検出部１３によって検出される新たなユーザ４０の視点が第１画像６１の表示位置に含まれる場合、評価部１６による評価が閾値以上の第２画像及び文字６２を表示するよう表示部１７を制御することとしてもよい。表示制御部１４は、カメラ部１８によって新たなユーザ４０が撮像されることにより画像データが生成され、そのユーザ４０の視線が第１画像６１に向いた場合、評価部１６によって低評価となった第２画像（文字）６２を表示部１７には表示させず、低評価となった第２画像（文字）６２を除く他の第２画像（文字）６２を表示部１７に表示することとしてもよい。

【0044】

又は、表示制御部１４は、新たなユーザ４０の視線が第１画像６１に向いた場合、評価部１６によって高評価となった第２画像（文字）６２を表示部１７に表示することとしてもよい。この場合、評価部１６による評価が多段階の場合には、所定の評価以上（より高評価）の第２画像（文字）６２を表示部１７に表示することとしてもよい。

【0045】

次に、情報処理装置１の一実施例について説明する。
図３は、情報処理装置１の一実施例について説明するための第１の図である。
図４は、情報処理装置１の一実施例について説明するための第２の図である。

【0046】

図３に例示する場合では、ハーフミラー３０の前方にはユーザ４０が居て、そのユーザ４０の姿がハーフミラー３０に映っているとする。また、図３に例示する場合では、表示制御部１４の制御に基づいて、表示部１７（ハーフミラー３０）の左上に第１画像６１（商品を咥えた猫のキャラクタ）が表示されている。カメラ部１８は、ユーザ４０を撮像して画像データを生成する。推定部１５は、カメラ部１８によって撮像される画像データに基づいて、ハーフミラー３０に映るユーザ４０の位置を推定する。表示部１７は、推定部１５による推定の結果に基づいて、ハーフミラー３０上のユーザ４０の位置を除く他の位置（図３に例示する場合には左上）に第１画像６１が表示されるように表示部１７を制御する。検出部１３は、カメラ部１８によってユーザ４０を撮像した画像データに基づいて、ユーザ４０の視線７０を検出する。表示制御部１４は、検出部１３によって検出されるユーザ４０の視線７０が第１画像６１に向いた場合、図４に示すように第２画像及び文字６２を表示部１７に表示するよう制御する。第２画像及び文字６２は、商品を詳細に説明する画像及び文字であり、例えば、商品の広告である。図４に示す場合、ユーザ４０がサービスの提供を受ける施設が美容室であると、第２画像及び文字６２は、美容室で利用される商品（一例として、シャンプー等）の広告である。

【0047】

次に、一実施形態に係る情報処理方法について説明する。
図５は、一実施形態に係る情報処理方法について説明する。

【0048】

ステップＳＴ１０１において、カメラ部１８は、ユーザ４０を撮像して画像データを生成する。具体的には、カメラ部１８は、ハーフミラー３０の前方に居るユーザ４０を撮像する。カメラ部１８は、例えば、動画又は時間的に連続した静止画を撮像する。

【0049】

ステップＳＴ１０２において、推定部１５は、ステップＳＴ１０１で生成された画像データに基づいて画像認識を行い、画像上のユーザ４０の位置を特定する。さらに、推定部１５は、特定したユーザ４０の位置と、所定の関係とに基づいて、ハーフミラー３０上のユーザ４０の位置を推定する。所定の関係は、一例として、カメラ部１８とハーフミラー３０との位置関係、ユーザの実際の位置とハーフミラー３０に映るユーザの位置（ハーフミラー３０上のユーザの位置）との関係、及び、画像データ上のユーザの位置とハーフミラー３０に映るユーザの位置との関係等であってもよい。所定の関係は、上述した一例に限定されることはなく、それ以外の種々の関係であってもよい。

【0050】

推定部１５は、画像データ内に複数のユーザ４０が記録される場合、ハーフミラー３０上のそれぞれのユーザ４０の位置を推定することとしてもよい。また、施設が美容室の場合、カメラ部１８は、髪をカットされるユーザ４０（顧客）と、そのユーザ４０の髪をカットする担当者（従業員）とを撮像する可能性が高い。この場合、髪をカットされるユーザ４０（顧客）は座席に座り、髪をカットする担当者（従業員）は立っている可能性が高い。このため、推定部１５は、画像認識をした結果として画像上の２人のユーザ４０を特定した場合には、画像の中央付近（２人のうちのより下側）に記録されるユーザ４０を顧客と推定し、その顧客よりも高い位置で特定されるユーザ４０を従業員と特定してもよい。

【0051】

ステップＳＴ１０３において、取得部１２は、ステップＳＴ１０１で撮像されるユーザ４０の人物情報を取得する。人物情報は、例えば、ユーザ４０の年齢及び性別のうち少なくとも一方の情報であってもよい。
例えば、ユーザ４０が自身のユーザ端末５０に入力した人物情報を情報処理装置１に送信することにより、取得部１２は、そのユーザ４０の人物情報を取得することとしてもよい。
また、例えば、ユーザ４０の同意が得られた場合、取得部１２は、カメラ部１８によってユーザ４０を撮像した画像に基づいて、そのユーザ４０の年齢及び性別を推定することとしてもよい。

【0052】

ステップＳＴ１０４において、表示制御部１４は、第１画像６１を表示するよう表示部１７を制御する。表示制御部１４は、ステップＳＴ１０２で推定されるハーフミラー３０上のユーザ４０の位置を除くハーフミラー３０上の他の位置に第１画像６１を表示する。第１画像６１は、種々の画像であってもよいが、例えば、ユーザ４０が親しみやすいキャラクタ（一例として、猫、犬、カワウソ、ライオン、ラクダ、トラ、ラクダ、ゾウ及びクマ等の動物、魚類並びに鳥類等）の画像であってもよい。

【0053】

ステップＳＴ１０５において、検出部１３は、ステップＳＴ１０１において生成された画像データに基づいてユーザ４０の視線を検出する。一例として、検出部１３は、画像データに記録されるユーザ４０の眼に注目し、黒目の位置が眼のどの位置にあるのかに基づいてユーザ４０の視線を検出することとしてもよい。なお、検出部１３は、上記の視線検出方法を除く他の種々の視線検出方法を用いてもよい。

【0054】

ステップＳＴ１０６において、検出部１３は、ステップＳＴ１０５で検出されるユーザ４０の視線と第１画像６１とが対応しているかを判定する。一例として、検出部１３は、第１画像６１を含む所定の領域内にユーザ４０の視点が含まれるかを判定することとしてもよい。ユーザ４０の視線が第１画像６１に向いている場合（Ｙｅｓ）には、処理は、ステップＳＴ１０７に進む。ユーザ４０の視線が第１画像６１に向いていない場合（Ｎｏ）には、処理は、ステップＳＴ１０５に戻る。

【0055】

ステップＳＴ１０７において、表示制御部１４は、第２画像及び文字６２の少なくとも一方を表示するよう表示部１７を制御する。表示制御部１４は、ステップＳＴ１０２で推定されるハーフミラー３０上のユーザ４０の位置を除くハーフミラー３０上の他の位置に第２画像及び文字６２を表示する。この場合、表示制御部１４は、記憶部１９に記憶される関連情報に基づいて、ステップＳＴ１０３で取得した人物情報に応じた第２画像及び文字６２の少なくとも一方を表示する。第２画像及び文字６２は、例えば、施設で提供される商品、及び、施設でユーザ４０に提供するサービスに利用される商品等に関連する画像及び文字（一例として、広告）等であってもよく、商品の購入サイトにジャンプするための（ＵＲＬが記載された）２次元情報コード（一例として、ＱＲコード等）であってもよい。２次元情報コードをユーザ端末５０によって撮像した場合、そのユーザ端末５０は、商品購入サイトのページ（一例として、Ｗｅｂページ等）をユーザ端末５０の表示部（図示せず）に表示することが可能になる。

【0056】

ステップＳＴ１０８において、検出部１３は、カメラ部１８によって生成された画像データに基づいてユーザ４０の視線を検出する。すなわち、検出部１３は、ユーザ４０の視線が第２画像及び文字６２の少なくとも一方に向いているかを判定する。

【0057】

ステップＳＴ１０９において、評価部１６は、ステップＳＴ１０８の検出結果に基づいて、表示部１７に表示される第２画像及び文字６２の少なくとも一方をユーザ４０が注目したかを評価する。例えば、評価部１６は、第２画像（文字）６２をユーザ４０が見た回数、及び、第２画像（文字）６２をユーザ４０が見た時間の少なくとも一方に基づいて、ユーザ４０の注目度を評価する。評価部１６は、ユーザ４０の注目度がより高いものを相対的に高い評価に設定し、ユーザ４０の注目度がより低いものを相対的に低い評価に設定する。評価部１６は、例えば、評価の結果を記憶部１９に記憶される関連情報に加えることとしてもよい。

【0058】

ステップＳＴ１０９の後、カメラ部１８によって新たなユーザ４０が撮像されることにより、検出部１３によって検出される新たなユーザ４０の視点が第１画像６１の表示位置に含まれる場合、表示制御部１４は、評価部１６による評価が閾値以上（より高い評価）の第２画像及び文字６２を表示するよう表示部１７を制御することとしてもよい。

【0059】

次に、本実施形態の効果について説明する。
情報処理装置１は、文字及び画像を画面に表示することが可能な表示部１７と、ユーザ４０を撮像して画像データを生成するカメラ部１８と、カメラ部１８によって撮像されるユーザ４０に関する人物情報を取得する取得部１２と、カメラ部１８によって生成された画像データに基づいてユーザ４０の視線を検出する検出部１３と、第１画像６１を表示するよう表示部１７を制御する表示制御部１４と、を備える。この場合、表示制御部１４は、検出部１３によって検出されるユーザ４０の視点が第１画像６１の表示位置に含まれる場合、取得部１２によって取得する人物情報に応じた、第１画像６１とは異なる第２画像及び文字６２のうち少なくとも一方を表示するよう表示部１７を制御する。
これにより、情報処理装置１は、ユーザ４０に応じた第２画像及び文字６２（情報）を提示することができる。情報処理装置１は、第２画像及び文字６２が広告等である場合には、個別のユーザ４０に適合した広告を提供でき、ユーザ４０の購買意欲を高めることができる。

【0060】

情報処理装置１は、年齢及び性別と、第２画像及び文字６２とが関連付けられた関連情報を記憶する記憶部１９を備えることとしてもよい。この場合、取得部１２は、人物情報として、ユーザ４０の年齢及び性別のうち少なくとも一方の情報を取得することとしてもよい。また、表示制御部１４は、取得部１２によって取得したユーザ４０の年齢及び性別の少なくとも一方に関連付けられる第２画像及び文字６２を記憶部１９から取得して、その第２画像及び文字６２の少なくとも一方を表示するよう表示部１７を制御することとしてもよい。
これにより、情報処理装置１は、個別のユーザ４０に適した第２画像及び文字６２（情報）を提示することができる。

【0061】

情報処理装置１では、カメラ部１８は、施設に入場してサービスの提供を受けるユーザ４０を撮像することが可能であってもよい。この場合、表示制御部１４は、施設で提供されるサービスに利用される商品の広告を第２画像及び文字６２として表示するよう表示部１７を制御することとしてもよい。
これにより、情報処理装置１は、個別のユーザ４０に適合した広告を提供でき、ユーザ４０の購買意欲を高めることができる。

【0062】

情報処理装置１は、表示部１７の表示画面側において、表示画面全体に対向するように配されるハーフミラー３０と、カメラ部１８によって生成される画像データに基づいて、ハーフミラー３０に映るユーザ４０の位置を推定する推定部１５と、を備えることとしてもよい。この場合、表示制御部１４は、推定部１５によって推定されるハーフミラー３０上のユーザ４０の位置を除くハーフミラー３０上の他の位置に第１画像６１、又は、第２画像及び文字６２の少なくとも一方を表示するよう表示部１７を制御することとしてもよい。
これにより、情報処理装置１は、第１画像６１、第２画像及び文字６２をユーザ４０から視認させやすい位置に表示することができる。なお、情報処理装置１は、ユーザ４０が複数いる場合には、複数のユーザ４０それぞれからハーフミラー３０を見て視認させやすい位置に第１画像６１、第２画像及び文字６２を表示することができる。また、情報処理装置１は、第１画像６１、第２画像及び文字６２の表示部１７（ハーフミラー３０）上の位置と、ハーフミラー３０上のユーザ４０の位置とが重なることにより、そのユーザ４０が嫌悪感を抱くことを抑制することができる。

【0063】

情報処理装置１では、推定部１５は、画像データに基づいて画像認識を行うことによりユーザ４０の形状を取得し、予め取得したユーザの形状と、そのユーザのハーフミラー３０に映る位置とに基づいて、画像認識により得られたユーザ４０がハーフミラー３０に映る位置を推定することとしてもよい。
これにより、情報処理装置１は、推定される位置に基づいて、第１画像６１、第２画像及び文字６２を表示する位置を決定することができる。

【0064】

情報処理装置１は、検出部１３によって検出されるユーザ４０の視線に基づいて、表示部１７に表示される第２画像及び文字６２の少なくとも一方をユーザ４０が注目したかを評価する評価部１６を備える。この場合、表示制御部１４は、カメラ部１８によって新たなユーザ４０が撮像されることにより、検出部１３によって検出される新たなユーザ４０の視点が第１画像６１の表示位置に含まれる場合、評価部１６による評価が閾値以上の第２画像及び文字６２を表示するよう表示部１７を制御することとしてもよい。
これにより、情報処理装置１は、相対的に多くのユーザ４０が注目する第２画像（文字）６２を表示部１７に表示することができる。情報処理装置１は、第２画像（文字）６２が広告の場合には、より人気のある商品を提示（広告）でき、ユーザ４０の購買意欲をより高めることができる。

【0065】

情報処理方法では、文字及び画像を表示することが可能な表示部１７を備えるコンピュータが、ユーザ４０を撮像して画像データを生成する撮像ステップと、撮像ステップによって撮像されるユーザ４０に関する人物情報を取得する取得ステップと、撮像ステップによって生成される画像データに基づいてユーザ４０の視線を検出する検出ステップと、第１画像６１を表示するよう表示部１７を制御する表示制御ステップと、を実行する。この場合、表示制御ステップは、検出ステップによって検出されるユーザ４０の視線が第１画像６１に対応した場合、取得ステップによって取得する人物情報に応じた、第１画像６１とは異なる第２画像及び文字６２のうち少なくとも一方を表示するよう表示部１７を制御する。
これにより、情報処理方法は、ユーザ４０に応じた第２画像及び文字６２（情報）を提示することができる。情報処理方法は、第２画像及び文字６２が広告等である場合には、個別のユーザ４０に適合した広告を提供でき、ユーザ４０の購買意欲を高めることができる。

【0066】

情報処理プログラムは、コンピュータに、文字及び画像を表示することが可能な表示機能と、ユーザ４０を撮像して画像データを生成するカメラ機能と、カメラ機能によって撮像されるユーザ４０に関する人物情報を取得する取得機能と、カメラ機能によって生成された画像データに基づいてユーザ４０の視線を検出する検出機能と、第１画像６１を表示するよう表示機能を制御する表示制御機能と、を実現させる。この場合、表示制御機能は、検出機能によって検出されるユーザ４０の視線が第１画像６１に対応した場合、取得機能によって取得する人物情報に応じた、第１画像６１とは異なる第２画像及び文字６２のうち少なくとも一方を表示するよう表示機能を制御する。
これにより、情報処理プログラムは、ユーザ４０に応じた第２画像及び文字６２（情報）を提示することができる。情報処理プログラムは、第２画像及び文字６２が広告等である場合には、個別のユーザ４０に適合した広告を提供でき、ユーザ４０の購買意欲を高めることができる。

【0067】

上述した情報処理装置１の各部は、コンピュータの演算処理装置等の機能として実現されてもよい。すなわち、情報処理装置１の推定部１５、取得部１２、検出部１３、表示制御部１４及び評価部１６は、コンピュータの演算処理装置等による、推定機能、取得機能、検出機能、表示制御機能及び評価機能としてそれぞれ実現されてもよい。
情報処理プログラムは、上述した各機能をコンピュータに実現させることができる。情報処理プログラムは、外部メモリ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体に記録されていてもよい。
また、上述したように、情報処理装置１の各部は、コンピュータの演算処理装置等で実現されてもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、情報処理装置１の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、情報処理装置１の推定部１５、取得部１２、検出部１３、表示制御部１４及び評価部１６は、コンピュータの演算処理装置等を構成する、推定回路、取得回路、検出回路、表示制御回路及び評価回路として実現されてもよい。
また、情報処理装置１の表示部１７、カメラ部１８及び記憶部１９は、例えば、演算処理装置等の機能を含む、表示機能、カメラ機能及び記憶機能として実現されもよい。また、情報処理装置１の表示部１７、カメラ部１８及び記憶部１９は、例えば、集積回路等によって構成されることにより、表示回路、カメラ回路及び記憶回路として実現されてもよい。また、情報処理装置１の表示部１７、カメラ部１８及び記憶部１９は、例えば、複数のデバイスによって構成されることにより、表示装置、カメラ装置及び記憶装置として構成されてもよい。

【符号の説明】

【0068】

１ 情報処理装置
１１ 制御部
１２ 取得部
１３ 検出部
１４ 表示制御部
１５ 推定部
１６評価部
１７ 表示部
１８ カメラ部
１９ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】