特許 5874980 情報提供システムおよび情報提供方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5874980

(24)【登録日】2016年1月29日

(45)【発行日】2016年3月2日

(54)【発明の名称】情報提供システムおよび情報提供方法

(51)【国際特許分類】

   H04N 21/454 20110101AFI20160218BHJP

   H04N 21/658 20110101ALI20160218BHJP

【ＦＩ】

   H04N21/454

   H04N21/658

【請求項の数】7

【全頁数】15

(21)【出願番号】特願2012-262598(P2012-262598)

(22)【出願日】2012年11月30日

(65)【公開番号】特開2014-110453(P2014-110453A)

(43)【公開日】2014年6月12日

【審査請求日】2015年10月7日

【早期審査対象出願】

(73)【特許権者】

【識別番号】512290469

【氏名又は名称】株式会社イオ

(74)【代理人】

【識別番号】110001184

【氏名又は名称】特許業務法人むつきパートナーズ

(72)【発明者】

【氏名】本岡 直樹

【審査官】 曽我 亮司

(56)【参考文献】

【文献】 特開２００９−２３９４７６（ＪＰ，Ａ）

【文献】 特開２００６−３２４８０９（ＪＰ，Ａ）

【文献】 特開２００６−２９３９７９（ＪＰ，Ａ）

【文献】 特開２００８−２５７２１６（ＪＰ，Ａ）

【文献】 特開２０１２−２０５１１２（ＪＰ，Ａ）

【文献】 特開２００５−２２１９０７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／４５４

Ｈ０４Ｎ ２１／６５８

(57)【特許請求の範囲】

【請求項1】

コンテンツの映像および音声を再生して対象ユーザに情報を提供する情報提供システムであって、
映像を表示する表示部と、
音声を出力する音声出力部と、
撮像により画像データを生成する撮像部と、
前記画像データに基づいて、前記撮像部の撮像範囲に前記対象ユーザの顔を検知する顔検知部と、
前記画像データに基づいて、前記対象ユーザの視線方向を検知する視線検知部と、
前記コンテンツの映像を前記表示部に表示させること、及び前記コンテンツの音声を前記音声出力部によって出力させることを制御するコンテンツ再生制御部と、
を含み、
前記コンテンツ再生制御部は、（ａ）前記顔検知部により前記対象ユーザの顔が検知され、かつ前記視線検知部により前記対象ユーザの視線が前記表示部の方向を向いていることが検知されている場合に前記コンテンツの映像を前記表示部に表示させるとともに前記コンテンツの音声を前記音声出力部から出力させる制御を継続し、（ｂ）前記顔検知部により前記対象ユーザの顔が検知され、かつ前記視線検知部により前記対象ユーザの視線が前記表示部の方向から外れていることが検知されている場合には前記コンテンツの音声の出力を行わずに前記コンテンツの映像を表示させる制御を継続する、
情報提供システム。

【請求項2】

前記コンテンツ再生制御部は、前記音声出力部から前記コンテンツの音声が出力されている最中に前記視線検知部により前記対象ユーザの視線が前記表示部の方向から外れたことが所定時間継続して検知された場合に前記音声出力部からの前記コンテンツの音声の出力を停止する、
請求項１に記載の情報提供システム。

【請求項3】

前記顔検知部は、前記撮像範囲に複数の顔を検知した場合、当該複数の顔のうち前記撮像範囲の中心部に最も近い顔を前記対象ユーザの顔と判定する、
請求項１または２に記載の情報提供システム。

【請求項4】

前記顔検知部は、前記撮像範囲に複数の顔を検知した場合、当該複数の顔のうち最も面積の大きい顔を前記対象ユーザの顔と判定する、
請求項１または２に記載の情報提供システム。

【請求項5】

前記コンテンツは、複数の単位コンテンツを含み、
前記顔検知部は、前記撮像範囲に検知された前記対象ユーザの顔の動きを検知する顔動作検知部を備え、
前記コンテンツ再生制御部は、前記複数の単位コンテンツのうちの１つを再生中に前記顔動作検知部により前記対象ユーザの顔が一方向に動いたことが検知された場合に、前記複数の単位コンテンツのうちの別の１つを再生する、
請求項１〜４の何れか１項に記載の情報提供システム。

【請求項6】

前記顔検知部は、前記対象ユーザの年代と性別の少なくとも一方を含む属性を推定する属性推定部を備え、
前記コンテンツ再生制御部は、前記属性推定部により推定された前記属性に応じた前記コンテンツを再生する、
請求項１〜５の何れか１項に記載の情報提供システム。

【請求項7】

表示部と音声出力部を有する情報提供システムによりコンテンツの映像および音声を再生して対象ユーザに情報を提供する情報提供方法であって、
撮像により画像データを生成する第１ステップと、
前記第１ステップにおいて生成された画像データに基づいて、前記撮像による撮像範囲に前記対象ユーザの顔を検知する第２ステップと、
前記第１ステップにおいて生成された画像データに基づいて、前記対象ユーザの視線方向を検知する第３ステップと、
前記第２ステップにおける前記対象ユーザの顔の検知結果と前記第３ステップにおける前記対象ユーザの視線方向の検知結果に対応して前記コンテンツの映像および音声の再生を制御する第４ステップと、
を含み、
前記第４ステップは、（ａ）前記対象ユーザの顔が検知され、かつ前記対象ユーザの視線が前記表示部の方向を向いていることが検知されている場合に前記コンテンツの映像を前記表示部に表示させるとともに前記コンテンツの音声を前記音声出力部から出力させる制御を継続し、（ｂ）前記対象ユーザの顔が検知され、かつ前記対象ユーザの視線が前記表示部の方向から外れていることが検知されている場合には前記コンテンツの音声の出力を停止させて前記コンテンツの映像のみ表示させる制御を継続する、
情報提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象ユーザに広告等の情報を効果的に提供する技術に関する。

【背景技術】

【0002】

理美容店で施術を受ける顧客は、椅子に座った状態で比較的長い時間拘束されることが多い。この場合に顧客は、拘束されている間、例えば雑誌を読み、あるいは理美容師と会話をすることもあるが、退屈な時間を過ごすことも多い。このような顧客が退屈な時間を過ごすことを解消するために、本願発明者は、映像や音声による情報（例えば、広告や短い番組等）を提供することを検討している。

【0003】

映像等による情報提供に関する先行例としては、公共の場に大型の表示装置を設置し、退屈にしている公衆の注意を引いて広告情報を効果的に提供する技術が存在する。例えば、特許文献１、２には、表示装置の前方周辺に人物が検知されたら、その人物に対して表示装置の方向に顔を向けるように注意を促す音声および映像を報知し、その後に広告情報を報知することが記載されている。

【0004】

さらに、特許文献１では、表示装置に複数のアイテムを表示した状態でその人物の視線方向を検知し、その人物が表示画面の何処を注視しているかによって次の広告情報を選択するようにしている。また、特許文献２では、その人物の性別と年代を推定することによってその人物が興味を持っていると思われる製品に関する広告情報を選択し、その人物に対して効果的に広告を行っている。

【0005】

しかしながら、特許文献１、２に開示の先行例では、人物を検知すると常に音声を出力するため、この技術を適用して理美容店の顧客に対して広告情報を提供した場合、顧客が広告情報に興味のない場合、雑誌を読んでいる場合、理美容師と会話をしている場合等においては、映像に付随して常時出力される音声を不快に感じると考えられ、情報提供による効果が低減してしまう。なお、このような課題は理美容店における情報提供に限らず、顧客が一定期間拘束されるような状況を生じ得る業種一般においても同様に当てはまるものである。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１２−２０５１１２号公報

【特許文献2】特開２０１２−１９５６３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、ユーザが比較的長い時間拘束される状況においてそのユーザに対して情報提供を効果的に行うことができる技術を提供することを目的の１つとする。

【課題を解決するための手段】

【0008】

本発明に係る一態様の情報提供システムは、コンテンツの映像および音声を再生して対象ユーザに情報を提供する情報提供システムであって、映像を表示する表示部と、音声を出力する音声出力部と、撮像により画像データを生成する撮像部と、画像データに基づいて撮像部の撮像範囲に対象ユーザの顔を検知する顔検知部と、画像データに基づいて対象ユーザの視線方向を検知する視線検知部と、コンテンツの映像を表示部に表示させること、及びコンテンツの音声を音声出力部によって出力させることを制御するコンテンツ再生制御部と、を含み、コンテンツ再生制御部は、（ａ）顔検知部により対象ユーザの顔が検知され、かつ視線検知部により対象ユーザの視線が表示部の方向を向いていることが検知されている場合にコンテンツの映像を表示部に表示させるとともにコンテンツの音声を音声出力部から出力させる制御を継続し、（ｂ）顔検知部により対象ユーザの顔が検知され、かつ視線検知部により対象ユーザの視線が表示部の方向から外れていることが検知されている場合にはコンテンツの音声の出力を行わずにコンテンツの映像を表示させる制御を継続する、情報提供システムである。

【0009】

上記構成によれば、撮像範囲に対象ユーザの顔が検知された場合、対象ユーザに提供すべきコンテンツの映像を表示部に表示し、対象ユーザの視線が表示部の方向を向いていることが検知された場合、音声出力部からコンテンツの音声を出力するため、対象ユーザがコンテンツに興味を示しているときのみコンテンツの映像と音声の両方を出力することができる。したがって、ユーザが比較的長い時間拘束されておりユーザ自身が映像や音声の出力を切り替える操作をしづらい状況においても、ユーザに対して情報提供を効果的に行うことができる。

【0010】

上記の情報提供システムにおいて、コンテンツ再生制御部は、音声出力部から音声が出力されているときに視線検知部により対象ユーザの視線が表示部の方向から外れたことが所定時間検知された場合に音声出力部からの音声の出力を停止する、ことも好ましい。

【0011】

上記構成によれば、対象ユーザの視線がある程度の時間、表示部の方向から外れた場合に音声の出力が停止されるので、対象ユーザがコンテンツに興味を示していないことが確実となってから音声の出力を停止することができ、かつ視線をふと一瞬外しただけでは音声が途切れることがないのでユーザに煩わしさを感じさせずに済む。したがって、情報提供をより効果的に行うことができる。

【0012】

上記の情報提供システムにおいて、顔検知部は、撮像範囲に複数の顔を検知した場合、複数の顔のうち撮像範囲の中心部に最も近い顔を対象ユーザの顔と判定する、ことも好ましい。また、上記の情報提供システムにおいて、顔検知部は、撮像範囲に複数の顔を検知した場合、複数の顔のうち最も面積の大きい顔を対象ユーザの顔と判定する、ことも好ましい。

【0013】

通常、対象ユーザの顔は撮像範囲の中心部により近い位置に存在すると考えられる。また、通常、撮像部に最も近い位置にいるのが対象ユーザであり、その場合に対象ユーザの顔の面積が他の顔の面積よりも大きくなると考えられる。このため、例えば対象ユーザに対してその側で施術中の理美容師や近くを横切って通る人の顔など、対象ユーザ以外の顔が同時に撮像範囲に検知された場合にも、撮像範囲の中心部に最も近い顔または面積の最も大きい顔を対象ユーザの顔と判定することで、対象ユーザの顔を用いたその後の処理を確実に行うことができる。

【0014】

上記の情報提供システムにおいて、複数の単位コンテンツのうちの１つを再生中に顔動作検知部により対象ユーザの顔が一方向に動いたことが検知された場合に、複数の単位コンテンツのうちの別の１つを再生する、ことも好ましい。

【0015】

上記構成によれば、対象ユーザは、現在再生されている単位コンテンツに興味がない場合、顔を一方向（例えば横方向）に動かすことで、再生する単位コンテンツを別の単位コンテンツにスキップさせることができるため、対象ユーザに対して情報提供をより効果的に行うことができる。また、対象ユーザは動作自体も楽しめるので、エンターテイメント性が高くなり、情報提供の効果をより高めることができる。

【0016】

上記の情報提供システムにおいて、音声出力部は指向性スピーカーを有する、ことも好ましい。

【0017】

上記構成によれば、対象ユーザに対して優先的に音声を提供することができ、周辺に居る他のユーザ等に対しては音声を聞こえにくくすることができる。

【0018】

上記の情報提供システムにおいて、顔検知部は、対象ユーザの年代と性別の少なくとも一方を含む属性を推定する属性推定部を備え、コンテンツ再生制御部は、属性推定部により推定された属性に応じたコンテンツを再生する、ことも好ましい。

【0019】

上記構成によれば、対象ユーザの属性に応じたコンテンツを再生することができるため、情報提供の効果を高めることができる。

【0020】

本発明に係る一態様の情報提供方法は、表示部と音声出力部を有する情報提供システムによりコンテンツの映像および音声を再生して対象ユーザに情報を提供する情報提供方法であって、撮像により画像データを生成する第１ステップと、第１ステップにおいて生成された画像データに基づいて、撮像による撮像範囲に対象ユーザの顔を検知する第２ステップと、第１ステップにおいて生成された画像データに基づいて、対象ユーザの視線方向を検知する第３ステップと、第２ステップにおける対象ユーザの顔の検知結果と第３ステップにおける対象ユーザの視線方向の検知結果に対応してコンテンツの映像および音声の再生を制御する第４ステップと、を備え、上記第４ステップは、（ａ）対象ユーザの顔が検知され、かつ対象ユーザの視線が表示部の方向を向いていることが検知されている場合にコンテンツの映像を表示部に表示させるとともにコンテンツの音声を音声出力部から出力させる制御を継続し、（ｂ）対象ユーザの顔が検知され、かつ対象ユーザの視線が表示部の方向から外れていることが検知されている場合にはコンテンツの音声の出力を停止させてコンテンツの映像のみ表示させる制御を継続する、情報提供方法である。

【0021】

上記構成によれば、撮像範囲に対象ユーザの顔が検知された場合、対象ユーザに提供すべきコンテンツの映像を表示部に表示し、対象ユーザの視線が表示部の方向を向いていることが検知された場合、音声出力部からコンテンツの音声を出力するため、対象ユーザがコンテンツに興味を示しているときのみコンテンツの映像と音声を出力することができ、対象ユーザに対して広告等の情報提供を効果的に行うことができる。

【図面の簡単な説明】

【0022】

【図1】図１は、本実施形態に係る情報提供システムの全体構成図である。

【図2】図２は、コンテンツ配信サーバの機能構成を示すブロック図である。

【図3】図３は、コンテンツ再生端末の機能構成を示すブロック図である。

【図4】図４は、コンテンツ再生端末の音出力部から理美容店の施術用の椅子に座っている顧客の方向に音声が出力される様子を示す図である。

【図5】図５は、撮像範囲に複数の顔を検知した場合に、その複数の顔の中から情報を提供すべき対象ユーザの顔を判定する方法を説明するための図である。

【図6】図６は、撮像範囲に複数の顔が存在する場合に対象ユーザの顔を判定する他の方法を説明するための図である。

【図7】図７は、本実施形態の情報提供システムが行う情報提供方法のうち、コンテンツダウンロードの手順を説明するためのシーケンス図である。

【図8】図８は、本実施形態の情報提供システムが行う情報提供方法のうち、コンテンツ再生制御の手順を説明するためのシーケンス図である。

【発明を実施するための形態】

【0023】

以下、本発明の一実施の形態について図面を参照して説明する。一例として以下では、理美容店内の施術用の椅子に座って施術を受けている顧客（対象ユーザ）に対して広告等の情報提供を行う場合について説明する。

【0024】

図１は、本実施形態の情報提供システムの全体構成図である。図１に示すように、本実施形態の情報提供システムは、コンテンツ配信サーバ１０と、コンテンツ再生端末２０とを含み、これらはインターネット、無線ＬＡＮ等の通信ネットワーク３０を介して通信可能に接続されている。コンテンツ配信サーバ１０は、情報提供サービス運営業者が管理および運営するサーバである。コンテンツ再生端末２０は、情報提供サービス運営業者と情報提供サービス契約を締結した理美容店に設置される端末である。コンテンツ再生端末２０は、理美容店の施術用の椅子に座った顧客が視線を向けやすい場所として、例えば鏡の左下の付近に設置される。

【0025】

コンテンツ配信サーバ１０は、ハードウェア構成として、図示しないＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク等の記憶装置と、通信インターフェースと、を備えた装置である。ハードディスクには各種ソフトウェアが記憶されている。例えば、ハードディスクにはコンテンツ管理データベースが設けられており、そのコンテンツ管理データベースには、コンテンツ再生端末２０に配信されて再生される標準映像コンテンツとそれ以外の複数のコンテンツが記憶されている。

【0026】

標準映像コンテンツは、例えば音声なしの動画であり、画像にはテロップが含まれる。これに対して、複数のコンテンツのそれぞれは、例えば再生時間が全体で１〜２時間の音声付の動画である。そして、各コンテンツは、さらに複数の単位コンテンツを含んでいる。単位コンテンツとしては、例えば各種の広告やミニ番組が存在する。広告の単位コンテンツは、例えば１５〜３０秒の音声付の動画であり、ミニ番組の単位コンテンツは例えば５〜３０分程度の音声付の動画である。なお、これらの単位コンテンツは動画に限るものではなく、静止画であってもよい。

【0027】

各コンテンツは、地域、年代および性別の各分類情報と関連付けられている。ここで、「地域」の分類としては、例えば、全国、地方、市区町村があり、「年代」の分類としては、例えば１０代以下、２０代、３０代、４０代、５０代、６０代以上があり、「性別」の分類としては、例えば男性と女性がある。一例を挙げると、関東地域でスポーツカーを宣伝するコンテンツには、地域が「関東地域」で年代が「２０代／３０代」で性別が「男性」である分類情報が対応付けられており、通信販売用のアンチエイジングの化粧品を宣伝するコンテンツには、地域が「全国」で年代が「４０代／５０代／６０代以上」で性別が「女性」である分類情報が対応付けられている。

【0028】

図２は、コンテンツ配信サーバ１０の機能構成を示すブロック図である。コンテンツ配信サーバ１０のＣＰＵが記憶装置に記憶されたプログラムに従って処理を実行することにより、図２に示す稼動監視管理部１１と、顧客契約管理部１２と、コンテンツ管理部１３と、コンテンツ配信管理部１４と、がコンテンツ配信サーバ１０に実現される。

【0029】

稼動監視管理部１１は、情報提供サービスの契約を締結した理美容店に設置されているコンテンツ再生端末２０の稼動監視を行う。具体的には、稼動監視管理部１１は、コンテンツ再生端末２０からのアクセス記録を行い、コンテンツ再生端末２０に配信したコンテンツの種類、コンテンツ再生端末２０でのコンテンツ再生時間等を記録し、これらの稼動監視の記録を集計し管理する。また、稼動監視管理部１１は、コンテンツ再生端末２０からのアクセスの正当性チェックを行い、契約者以外のアクセスや契約終了店舗のアクセスを不許可とする。

【0030】

顧客契約管理部１２は、情報提供サービス運営業者が理美容店と締結した契約内容を管理する。契約内容としては、例えば、契約地域、契約期間、コンテンツ再生端末２０の台数等が存在する。また、顧客契約管理部１２は、稼動監視管理部１１により集計された稼動監視のデータに基づいて報酬計算を行う。契約者である理美容店に対する報酬額は、例えば次式で計算する。
報酬額＝コンテンツ再生端末１台当たりの基本報酬額×台数×視聴率

【0031】

ここで、視聴率は、例えば、コンテンツの再生時間に対するそのコンテンツ再生中にコンテンツ再生端末２０への顧客の視線が検知された時間の割合により決定することができる。また、顧客契約管理部１２は、コンテンツ再生端末２０に搭載されたＧＰＳ機能を用いて、コンテンツ再生端末２０の所在を管理する。

【0032】

コンテンツ管理部１３は、コンテンツ管理データベースに記憶された各種データを管理する。例えば、コンテンツ管理部１３は、コンテンツ管理データベースに記憶されたコンテンツが標準映像であるか音声付映像コンテンツであるかを管理する。また、音声付映像コンテンツの分類情報や配信有効期限を管理する。

【0033】

また、コンテンツ管理部１３は、属性情報を含むコンテンツダウンロード要求をコンテンツ再生端末２０から受信した場合に、そのコンテンツ再生端末２０を設置している理美容店の契約地域と、情報提供対象となる顧客の属性情報と、に応じたコンテンツをコンテンツ管理データベースから取得し、コンテンツ配信管理部１４に出力する。また、コンテンツ再生端末２０との通信確立後、コンテンツ管理データベースに記憶されている最新の標準映像をコンテンツ配信管理部１４に出力する。また、コンテンツ管理部１３は、コンテンツ管理データベースへの標準映像コンテンツやそれ以外のコンテンツの登録、削除、更新、単位コンテンツの差換、単位コンテンツの再生順序変更等の編集を行う。

【0034】

コンテンツ配信管理部１４は、コンテンツ再生端末２０へのコンテンツの配信を管理する。例えば、コンテンツ配信管理部１４は、コンテンツ再生端末２０との通信確立後、コンテンツ管理部１３から入力された最新の標準映像コンテンツをエンコードしてコンテンツ再生端末２０へストリーミング配信する。また、コンテンツ配信管理部１４は、コンテンツ再生端末２０からコンテンツダウンロード要求を受けてコンテンツ管理部１３から入力された種々のコンテンツをエンコードしてコンテンツ再生端末２０へストリーミング配信する。

【0035】

図３は、コンテンツ再生端末２０の機能構成を示すブロック図である。コンテンツ再生端末２０は、表示部２１、音声出力部２２、撮像部２３、顔検知部２４、視線検知部２５およびコンテンツ再生制御部２６を含んで構成されている。このコンテンツ再生端末２０は、例えばタブレット端末、携帯電話機、パーソナルコンピュータ等の通信端末である。コンテンツ再生端末２０は、ハードウェアとして、ＣＰＵと、ＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶部と、液晶ディスプレイと、スピーカーと、ｗｅｂカメラと、通信インターフェースと、ＧＰＳ受信機と、を備えている。記憶部には、通信機能、表示機能、音声出力機能、コンテンツ再生機能等の基本機能を実現するための各種ソフトウェアと、画像データから対象ユーザの顔、属性および視線を認識し、あるいはコンテンツ再生を制御するためのアプリケーションプログラムと、マッチングにより対象ユーザの顔、属性および視線を認識するためのデータと、が記憶されている。

【0036】

表示部２１は、例えば液晶ディスプレイであり、コンテンツの映像を表示する。表示部２１は、理美容店に来店して鏡の前に配置された施術用の椅子に座った顧客が視認できるように、その画面を椅子の方向へ向けて設置されている。

【0037】

音声出力部２２は、スピーカーを有しており、コンテンツの音声を出力する。音声出力部２２は、例えばパラメトリックスピーカー等の指向性スピーカーを有しており、図４に例示するようにある程度限定された範囲Ｒでのみ音を聴取されるようにすることができる。また、静電型のトランスデューサを用いて指向性スピーカーを構成すれば、さらに音質を向上させることができる。音声出力部２２は、施術用の椅子に座る顧客５０の顔が範囲Ｒに入るように向きが調整されている。このような音声出力部２２を用いることで、コンテンツの音声の提供対象となる顧客に対しては耳元で聞こえるようなクリアな音声を届けることができるとともに、周辺に居る他の顧客等に対して音声が聞こえにくくすることができる。このことは、比較的大型の理美容室において、隣接する複数の施術場所のそれぞれにコンテンツ再生端末２０を設置する場合において特に効果的である。

【0038】

撮像部２３は、例えばカメラを有しており表示部２１の周辺部の適宜位置に設けられている。撮像部２３は、レンズ系（不図示）によって結像された撮像範囲の光像を光電変換し、さらにデジタル変換することにより、画像データを生成する。本実施形態では、施術用の椅子に座る顧客の顔を含む領域が撮像範囲となるように、撮像部２３の撮像視野が向けられている。

【0039】

顔検知部２４は、ＣＰＵがプログラムを実行することにより実現される機能であり、撮像部２３の撮像範囲に顧客の顔を検知する。具体的には、コンテンツ再生端末２０の記憶部には、人の顔を認識するための複数の顔モデルデータが予め記憶されている。これらの顔モデルデータは、顔の向きや、目、鼻、口の形状、大きさ、位置等に応じて、複数用意されている。顔検知部２４は、顔モデルデータと、撮像部２３から逐次送られてくる画像データとをマッチングすることにより、画像データの中に顔モデルデータと類似度が高い部分が存在するか否かを判定する。そして、類似度が高い部分が存在した場合に、撮像部２３の撮像範囲に顧客の顔が存在していると判定する。

【0040】

なお、顔検知部２４は、撮像範囲に複数の顔を検知した場合、複数の顔のうち撮像範囲の中心部に最も近い位置に存在する顔を、顧客の顔と判定する。例えば、図５に示すように、撮像範囲６０に２つの顔６１、６２が存在する場合、顔検知部２４は撮像範囲６０の中心部Ｐに近い位置にある顔６１を顧客の顔と判定する。理美容店の理美容師や撮像範囲を横切って通る人など、椅子に座って施術を受けている顧客以外の顔が同時に撮像範囲６０に検知される場合があるが、顧客の顔は撮像範囲６０の中心部Ｐに近い位置に存在すると考えられるため、撮像範囲６０の中心部Ｐに最も近い顔を顧客の顔と判定することで、その顧客の顔を用いたその後の処理（後述する属性推定、視線方向検知、動作検知等の処理）を正確に行うことができる。

【0041】

なお、複数の顔を検知した場合における顧客の顔の判定方法はこれに限定されることはなく、例えば、顔の面積が最も大きい顔を顧客の顔と判定してもよい。これは、通常、撮像部２３に対して最も近い位置にいるのが顧客であり、その場合には顧客の顔の面積が他の顔の面積よりも大きくなると考えられるからである。また、顔を検知する領域を撮像範囲の中心部分に限定してもよい。例えば、図６に示すように撮像範囲６０の中心部Ｐを含んで撮像範囲６０よりも小面積の矩形領域６０Ａを設定しておき、その矩形領域内に存在する顔を顧客の顔を判定してもよい。

【0042】

顔検知部２４は、図３に示すように、属性推定部２４１と、顔動作検知部２４２と、を備えている。属性推定部２４１は、撮像範囲に検知された顔から、その顔を有する顧客の属性を推定する。属性には、年代と性別の少なくとも一方が含まれる。なお、属性には、眼鏡の有無、髭の有無、ほくろの有無、髪型、顔の形、一重まぶたか二重まぶたか等が含まれていてもよい。本実施形態では、属性推定部２４１は年代および性別を推定するものとする。

【0043】

年代および性別の推定方法としては、予め年代および性別を推定するためのパターンマッチング用データを記憶部に記憶しておく。そして、属性推定部２４１は顔の画像データとそのパターンマッチング用データとを照合することにより、性別や年代によって特徴が現れる部位（例えば、目、鼻、口、眉、耳、骨格、首）の形状、目じりや首筋、口元の近辺に発生している皺の有無、髪型や化粧の状態等を判定して、年代および性別を推定する。

【0044】

顔動作検知部２４２は、撮像部２３により撮像され生成される複数の画像データを時系列的に解析し、顧客の顔の位置の変化から顧客の顔の動きを検知する。例えば、顧客の顔が一定時間内に正面向きから横向き、その後に正面向きに変わる動きが検知された場合には、顔を横方向に振る動作をしたことを検知することができる。

【0045】

視線検知部２５は、ＣＰＵがプログラムを実行することにより実現される機能であり、撮像部２３により生成された画像データに基づいて、撮像範囲に検知された顧客の視線方向を検知する。視線方向の検知方法としては、任意の公知の手法を用いることができる。例えば、画像データから三次元顔画像モデルを作成し、予め記憶しておいた三次元顔モデルデータと照合することにより顔の方向を求め、さらに画像データのうちの眼球部分に当たる領域の黒目と白目の位置関係から眼球の方向を求める。この顔の方向と眼球の方向から、視線の方向を検知することができる。

【0046】

コンテンツ再生制御部２６は、ＣＰＵがプログラムを実行することにより実現される機能であり、顔検知部２４により撮像範囲に顧客の顔が検知された場合に、顧客の属性に応じたコンテンツの映像を表示部２１に表示する。さらに、コンテンツ再生制御部２６は、視線検知部２５により顧客の視線が表示部２１の方向を向いていることが検知された場合、音声出力部２２からコンテンツの音声を出力する。

【0047】

一方、コンテンツ再生制御部２６は、顧客の視線が表示部２１から外れていると検知された場合、音声出力部２２からコンテンツの音声を出力しない。このように、顧客がコンテンツに興味を示していないと考えられる場合に音声を出力しないことで、顧客に不快感を与えることがない。

【0048】

また、音声出力部２２から音声が出力されている最中に、視線検知部２５により顧客の視線が表示部２１の方向から外れたことが所定時間（例えば５秒間）継続して検知された場合、コンテンツ再生制御部２６は、音声出力部２２からの音声の出力を停止し、映像表示のみを行う。このとき、表示部２１に表示する映像を、テロップが表示された別の映像に切り替えてもよい。

【0049】

このように、顧客の視線が表示部２１から所定時間外れ、顧客がコンテンツに興味を示していないことが確実となってから音声の出力を停止することで、顧客が視線を一瞬外しただけの場合に音声が途切れることの煩わしさを軽減することができる。

【0050】

また、コンテンツ再生制御部２６は、ある単位コンテンツの再生中に顔動作検知部２４２により顧客の顔が横方向に動いたことが検知された場合に、別の単位コンテンツにスキップする。例えば、ある単位コンテンツの代わりに時系列的に次に再生されるべき単位コンテンツが再生される。なお、顔が横方向に動く回数や、動く速度の条件について予め定めておいてもよい。例えば、顔が右側に３度以上素早く動かされた場合に、次の単位コンテンツにスキップするようにしてもよい。

【0051】

通常、顧客は施術中に手を用いた操作を自由に行いにくいが、このように現在再生されている単位コンテンツに興味がない場合に顔を横に動かすことで再生中の単位コンテンツを別の単位コンテンツにスキップさせることができるため、顧客に対する情報提供をより効果的に行うことができる。また、顧客は動作自体も楽しめるので、エンターテイメント性が高くなり情報提供の効果をより高めることができる。

【0052】

また、コンテンツ再生制御部２６は、コンテンツ配信サーバ１０が報酬額を算出できるように、単位コンテンツ毎の映像表示時間と音声出力時間とを集計する。

【0053】

次に、図７および図８に示すシーケンス図を参照しながら本実施形態の情報提供システムの動作手順について説明する。なお、前提として、コンテンツ再生端末２０には初期設定の際に情報提供サービスのシステムにログインするための契約番号とパスワードが設定されており、電源がＯＮされたときにコンテンツ再生端末２０は情報提供サービスのシステムに自動的にログインするものとする。

【0054】

まず、コンテンツ再生端末２０の電源をＯＮすると、コンテンツ再生端末２０は情報提供サービスのシステムにログインし、撮像部２３による撮像機能、顔検知部２４による顔検知機能、視線検知部２５による視線検知機能等を起動する。このときに、コンテンツ再生制御部２６の記憶部に以前ダウンロードした標準映像コンテンツが記憶されている場合、コンテンツ再生制御部２６はその標準映像コンテンツを表示部２１に表示する。

【0055】

次に、コンテンツ再生端末２０はコンテンツ管理サーバ１０と通信を確立し、最新の標準映像コンテンツのダウンロード要求をコンテンツ配信サーバ１０に送信する（ステップＳ１０１）。

【0056】

ダウンロード要求を受信すると、コンテンツ配信サーバ１０のコンテンツ管理部１３は最新の標準映像コンテンツをコンテンツ管理データベースから取得し、コンテンツ配信管理部１４は標準映像コンテンツをエンコードしてコンテンツ再生端末２０にストリーミング配信する（ステップＳ１０２）。

【0057】

コンテンツ再生端末２０は、コンテンツ配信サーバ１０から標準映像を受信するとその標準映像を記憶部に記憶するとともに、コンテンツ再生制御部２６はその標準映像をデコードして表示部２１に表示する（ステップＳ１０３）。

【0058】

また、コンテンツ再生端末２０の撮像部２３は、施術用の椅子の方向を撮像して画像データを生成する（ステップＳ１０４）。

【0059】

顔検知部２４は、撮像部２３により生成された画像データを解析して、撮像部２３の撮像範囲に顧客の顔が存在するか否かを判定する（ステップＳ１０５）。

【0060】

コンテンツ再生端末２０の顔検知部２４が、撮像部２３の撮像範囲に顧客の顔を検知した場合には（ステップＳ１０５；ＹＥＳ）、属性推定部２４１はその顔を解析して顧客の年代と性別を推定する（ステップＳ１０６）。

【0061】

次に、コンテンツ再生端末２０は、顧客の年代および性別と契約番号を含むコンテンツダウンロード要求をコンテンツ配信サーバ１０に送信する（ステップＳ１０７）。

【0062】

コンテンツ配信サーバ１０の稼動監視管理部１１は、コンテンツダウンロード要求を受信すると、そのコンテンツダウンロード要求に含まれる契約番号に基づいて、顧客契約管理部１２に契約内容を問い合わせて契約内容を取得する。そして、取得した契約内容をコンテンツ管理部１３に出力する。

【0063】

コンテンツ管理部１３は、契約内容に含まれる地域に関する契約と、コンテンツダウンロード要求に含まれる顧客の年代および性別に応じたコンテンツをコンテンツ管理データベースから取得し（ステップＳ１０８）、コンテンツ配信管理部１４に出力する。

【0064】

コンテンツ配信管理部１４は、コンテンツ管理部１３から入力されたコンテンツをエンコードし、コンテンツ再生端末２０にストリーミング配信する（ステップＳ１０９）。

【0065】

コンテンツ再生端末２０は、コンテンツをコンテンツ配信サーバ１０から受信すると、コンテンツを記憶部に記憶する。コンテンツ再生制御部２６はコンテンツをデコードし、標準映像に替えてコンテンツを再生する準備を行う。

【0066】

コンテンツ再生端末２０の視線検知部２５により顧客の視線が検知された場合には（ステップＳ１１０；ＹＥＳ）、コンテンツ再生制御部２６は、コンテンツを構成する複数の単位コンテンツのうち、例えば最初に再生すべき単位コンテンツの映像を表示部２１に表示するとともに、単位コンテンツの音声を音声出力部２２から出力する（ステップＳ１１１）。

【0067】

一方、顧客の視線が検知されなかった場合には（ステップＳ１１０；ＮＯ）、コンテンツ再生制御部２６は、その単位コンテンツの映像を表示部２１に表示し、単位コンテンツの音声を音声出力部２２から出力しない（ステップＳ１１４）。

【0068】

単位コンテンツの映像と音声を出力しているときに、視線検知部２５により顧客の視線が表示部２１の方向から外れたことが所定時間継続して検知された場合（ステップＳ１１３；ＹＥＳ）、コンテンツ再生制御部２６は、音声出力部２２からの音声の出力を停止し、映像のみを表示する（ステップＳ１１４）。一方、顧客の視線が表示部２１の方向から外れたのが所定時間より短い場合（ステップＳ１１３；ＮＯ）、単位コンテンツの映像と音声の出力を継続する（ステップＳ１１１）。

【0069】

単位コンテンツの映像のみを表示しているときに視線が検知された場合（ステップ１１５；ＮＯ、ステップＳ１１０；ＹＥＳ）、コンテンツ再生制御部２６は、単位コンテンツの映像の表示に加えて、単位コンテンツの音声を音声出力部２２から出力する（ステップＳ１１１）。この場合、コンテンツ再生制御部２６は、視線が検知されてから所定時間内（例えば２秒間）で音声をフルボリュームにする。

【0070】

単位コンテンツの再生が終了した場合（ステップＳ１１２；ＹＥＳ、またはステップＳ１１５；ＹＥＳ）、コンテンツ再生制御部２６は表示部２１に標準映像を表示する（ステップＳ１１６）。

【0071】

次に、顔検知部２４は撮像部２３の撮像範囲に顧客の顔があるかを判定し（ステップＳ１１７）、顧客の顔が検知されなかった場合には（ステップＳ１１７；ＮＯ）、コンテンツの再生を終了する（ステップＳ１２０）。

【0072】

一方、顧客の顔が検知された場合には（ステップＳ１１７；ＹＥＳ）、検知された顔は前回検知された顔と同じ顔か否かを判定する（ステップＳ１１８）。前回の顔と同じ場合には（ステップＳ１１８；ＹＥＳ）、次に再生すべき単位コンテンツがあるか否かを判定する（ステップＳ１１９）。次に再生すべき単位コンテンツがある場合には（ステップＳ１１９；ＹＥＳ）、ステップＳ１１０に戻って次の単位コンテンツの再生を行う。一方、次に再生すべき単位コンテンツがない場合には（ステップＳ１１９；ＮＯ）、コンテンツの再生を終了する（ステップＳ１２０）。

【0073】

また、ステップＳ１１７において検知された顔が前回の顔と異なる場合には（ステップＳ１１７；ＮＯ）、図７のステップＳ１０６に戻り、検知された顔に対応する顧客の年代と性別を推定して、ステップＳ１０７以降の処理を継続する。

【0074】

以上説明した実施形態によれば、撮像範囲に顧客の顔が検知された場合、顧客に提供すべきコンテンツの映像を表示部２１に表示し、顧客の視線が表示部２１の方向を向いていることが検知された場合、音声出力部２２からコンテンツの音声を出力するため、顧客がコンテンツに興味を示しているときのみコンテンツの映像と音声の両方を出力することができ、顧客に対して広告等の情報提供を効果的に行うことができる。また、顧客の視線が外れており、顧客がコンテンツに興味を示していないと思われるときは音声を出力しないため、顧客に不快感を与えることがない。また、顧客の属性に応じたコンテンツを選択して再生することができるため、顧客が興味を持っていると思われる広告情報を提供することとができ、情報提供の効果を高めることができる。

【0075】

また、顧客の視線が表示部２１の方向から外れたことが所定時間継続して検知され、顧客がコンテンツに興味を示していないことが確実となってから音声の出力を停止することで、視線を一瞬外しただけの場合に音声が途切れることの煩わしさを軽減できる。

【0076】

また、顧客以外の顔が同時に撮像範囲に検知された場合、顧客の顔は撮像範囲の中心部により近い位置に存在すると考えられるため、撮像範囲の中心部に最も近い顔を顧客の顔と判定することで、顧客の顔を用いたその後の処理を確実に行うことができる。

【0077】

また、顧客は現在再生されている単位コンテンツに興味がない場合、顔を横に動かすことで再生する単位コンテンツを次の単位コンテンツにスキップさせることができるため、顧客に対する情報提供をより効果的に行うことができる。また、顧客は動作自体も楽しめるので、エンターテイメント性が高くなり情報提供の効果をより高めることができる。

【0078】

なお、本発明は上述した各実施形態の内容に限定されるものではなく、本発明の要旨の範囲内において種々に変形して実施をすることが可能である。例えば、上述した実施形態では、コンテンツ配信サーバ１０がコンテンツを管理し、コンテンツ再生端末２０はそのコンテンツをコンテンツ配信サーバ１０からダウンロードして再生するとして説明したが、これに限定されることはなく、コンテンツ再生端末２０においてコンテンツを管理し、ダウンロードせずに再生できるようにしてもよい。

【0079】

また、上述した実施形態では、コンテンツ再生端末２０が備える表示部２１にコンテンツの映像を表示し、コンテンツ再生端末２０が備える音声出力部２２からコンテンツの音声を出力するとして説明したが、これに限定されることはなく、コンテンツ再生端末２０とは別の表示装置にコンテンツの映像を表示してもよいし、コンテンツ再生端末２０とは別のスピーカー装置からコンテンツの音声を出力してもよい。

【0080】

また、本発明の情報提供システムを用いた情報提供は、理美容店の顧客に限らず、比較的長い時間ユーザを拘束する施設、例えば、病院やマッサージ店等で施術を受けているユーザや施術開始を待っているユーザに対しても行うことができる。

【符号の説明】

【0081】

１０：コンテンツ配信サーバ
１１：稼動監視管理部
１２：顧客契約管理部
１３：コンテンツ管理部
１４：コンテンツ配信管理部
２０：コンテンツ再生端末
２１：表示部
２２：音声出力部
２３：撮像部
２４：顔検知部
２４１：属性推定部
２４２：顔動作検知部
２５：視線検知部
２６：コンテンツ再生制御部
３０：通信ネットワーク
５０：顧客
６０、６０Ａ：撮像範囲
６１、６２：顔

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】