特許 6131429 情報処理装置、情報処理方法及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6131429

(24)【登録日】2017年4月28日

(45)【発行日】2017年5月24日

(54)【発明の名称】情報処理装置、情報処理方法及びコンピュータプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20170515BHJP

【ＦＩ】

   G06T7/20 300B

【請求項の数】11

【全頁数】14

(21)【出願番号】特願2012-277368(P2012-277368)

(22)【出願日】2012年12月19日

(65)【公開番号】特開2014-120137(P2014-120137A)

(43)【公開日】2014年6月30日

【審査請求日】2015年12月21日

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】110000981

【氏名又は名称】アイ・ピー・ディー国際特許業務法人

(72)【発明者】

【氏名】岡本 隆太郎

(72)【発明者】

【氏名】浅野 純太

(72)【発明者】

【氏名】森山 剛

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１１−１５０３８１（ＪＰ，Ａ）

【文献】 特開２０１０−２３１３５４（ＪＰ，Ａ）

【文献】 特開２００９−３７４５９（ＪＰ，Ａ）

【文献】 特開２００７−２８６９９５（ＪＰ，Ａ）

【文献】 特開２００７−３４６６４（ＪＰ，Ａ）

【文献】 特開２００６−２９３９７９（ＪＰ，Ａ）

【文献】 特表２００４−５０２２２２（ＪＰ，Ａ）

【文献】 八尾智幸, 外４名，”テレビ視聴行動からの個人的選好獲得のための行動認識”，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，２００４年 １月１６日，第１０３巻, 第５８５号，p.65-70

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

表示物を見る人物が撮像及び録音された映像を取得する映像取得部と、
前記映像取得部が取得した前記映像を解析する映像解析部と、
前記映像解析部の解析によって得られる前記人物の顔の向き、前記人物の表情の変化及び前記人物の動作の変化に基づき、前記人物の前記表示物への集中度を算出する集中度算出部と、
を備え、
前記集中度算出部は、前記顔の向きから所定期間における前記表示物への顔向き率を算出し、前記人物の表情の変化及び前記人物の動作の変化に基づいて求まる値に前記顔向き率を乗じることで前記集中度を算出することを特徴とする、情報処理装置。

【請求項2】

前記集中度算出部は、前記人物の顔が前記表示物へ向いている時間が短いほど前記人物の表情の変化及び前記人物の動作の変化に基づいて求まる値を大きくすることを特徴とする、請求項１に記載の情報処理装置。

【請求項3】

前記集中度算出部は、前記人物の顔が前記表示物へ連続して向いている時間が長いほど前記集中度が高くなるように前記集中度を算出することを特徴とする、請求項１に記載の情報処理装置。

【請求項4】

前記表示物を見る前記人物を撮像する撮像部を更に備えることを特徴とする、請求項１に記載の情報処理装置。

【請求項5】

前記映像解析部は、前記映像が撮像された方向と前記表示物が表示される方向とを一致させるよう前記映像に対して前記顔の向きを補正することを特徴とする、請求項１に記載の情報処理装置。

【請求項6】

前記集中度算出部は、算出した前記集中度の妥当性を学習し、該学習の結果を反映させて前記集中度を算出することを特徴とする、請求項１に記載の情報処理装置。

【請求項7】

前記表示物は、テレビジョン放送の受信によって表示される映像であることを特徴とする、請求項１に記載の情報処理装置。

【請求項8】

前記表示物は、広告物であることを特徴とする、請求項１に記載の情報処理装置。

【請求項9】

前記広告物は、時間とともに変化する広告物であることを特徴とする、請求項８に記載の情報処理装置。

【請求項10】

表示物を見る人物が撮像及び録音された映像を取得する映像取得ステップと、
前記映像取得ステップで取得された前記映像を解析する映像解析ステップと、
前記映像解析ステップでの解析によって得られる前記人物の顔の向き、前記人物の表情の変化及び前記人物の動作の変化に基づき、前記人物の前記表示物への集中度を算出する集中度算出ステップと、
を備え、
前記集中度算出ステップでは、前記顔の向きから所定期間における前記表示物への顔向き率を算出し、前記人物の表情の変化及び前記人物の動作の変化に基づいて求まる値に前記顔向き率を乗じることで前記集中度を算出することを特徴とする、情報処理方法。

【請求項11】

コンピュータに、
表示物を見る人物が撮像及び録音された映像を取得する映像取得ステップと、
前記映像取得ステップで取得された前記映像を解析する映像解析ステップと、
前記映像解析ステップでの解析によって得られる前記人物の顔の向き、前記人物の表情の変化及び前記人物の動作の変化に基づき、前記人物の前記表示物への集中度を算出する集中度算出ステップと、
を実行させ、
前記集中度算出ステップでは、前記顔の向きから所定期間における前記表示物への顔向き率を算出し、前記人物の表情の変化及び前記人物の動作の変化に基づいて求まる値に前記顔向き率を乗じることで前記集中度を算出することを特徴とする、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及びコンピュータプログラムに関する。

【背景技術】

【0002】

表示物を見ているユーザの姿を撮像し、そのユーザの姿の撮像結果から、表示物等に対するそのユーザの関心度合いを計算する技術が開示されている。例えば特許文献１では、ユーザの顔を撮像し、そのユーザの視線方向から、ユーザの注目度を計算する技術が開示されている。また例えば特許文献２では、ユーザを撮像し、ユーザの姿の映像を処理した結果からユーザの重心位置を求めることで、商品等に対するユーザの関心度合いを計算する技術が開示されている。また例えば特許文献３では、ユーザの顔を撮像し、ユーザの姿の映像を処理した結果から表情を識別する識別器の技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−２８６９９５号公報

【特許文献2】特開２００９−０３７４５９号公報

【特許文献3】特開２０１１−１５０３８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

既存の技術では、ユーザの視線方向を計測することでそのユーザの注目対象を算出することは行われている。しかし、単にユーザの視線方向を計測するだけでは、本当にそのユーザが視線方向にある表示物等に注目しているかどうかは分からない。つまり、視線は表示物等に向いていたとしても、そのユーザが併せて何か行動を起こしている場合には、何も行動を起こしていない場合に比べてその表示物への関心度合いは変化する（低下する）からである。

【0005】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザの姿の映像を処理した結果から、表示物等に対するそのユーザの関心度合いを精度高く算出することが可能な、新規かつ改良された情報処理装置、情報処理方法及びコンピュータプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある観点によれば、表示物を見る人物が撮像及び録音された映像を取得する映像取得部と、前記映像取得部が取得した前記映像を解析する映像解析部と、前記映像解析部の解析によって得られる前記人物の顔の向き、前記人物の表情の変化及び前記人物の動作の変化に基づき、前記人物の前記表示物への集中度を算出する集中度算出部と、を備えることを特徴とする、情報処理装置が提供される。

【0007】

かかる構成によれば、映像取得部は、撮像装置等で撮像された、表示物を見る人物が撮像及び録音された映像を取得し、映像解析部は、映像取得部が取得した映像を解析する。そして集中度算出部は、映像解析部の解析によって得られる、映像に映っている人物の顔の向き、人物の表情の変化及び人物の動作の変化に基づき、人物の表示物への集中度を算出する。その結果、係る情報処理装置は、ユーザの撮像結果から、表示物等に対するそのユーザの関心度合いを精度高く算出することが出来る。

【0008】

また、上記課題を解決するために、本発明の別の観点によれば、表示物を見る人物が撮像及び録音された映像を取得する映像取得ステップと、前記映像取得ステップで取得された前記映像を解析する映像解析ステップと、前記映像解析ステップでの解析によって得られる前記人物の顔の向き、前記人物の表情の変化及び前記人物の動作の変化に基づき、前記人物の前記表示物への集中度を算出する集中度算出ステップと、を備えることを特徴とする、情報処理方法が提供される。

【0009】

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、表示物を見る人物が撮像及び録音された映像を取得する映像取得ステップと、前記映像取得ステップで取得された前記映像を解析する映像解析ステップと、前記映像解析ステップでの解析によって得られる前記人物の顔の向き、前記人物の表情の変化及び前記人物の動作の変化に基づき、前記人物の前記表示物への集中度を算出する集中度算出ステップと、を実行させることを特徴とする、コンピュータプログラムが提供される。

【発明の効果】

【0010】

以上説明したように本発明によれば、ユーザの姿の映像を処理した結果から、表示物等に対するそのユーザの関心度合いを精度高く算出することが可能な、新規かつ改良された情報処理装置、情報処理方法及びコンピュータプログラムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態に係る表示装置の外観例を示す説明図である。

【図2】本発明の一実施形態に係る表示装置１００の機能構成例を示す説明図である。

【図3】本発明の一実施形態に係る表示装置１００の動作例を示す流れ図である。

【図4】撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像の例を示す説明図である。

【図5】撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像の例を示す説明図である。

【図6】撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像の例を示す説明図である。

【図7】撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像の例を示す説明図である。

【図8】表示装置１００に撮像装置２００及びマイク２１０が接続される形態を示す説明図である。

【図9】本発明の一実施形態に係る表示装置１００の動作例を示す説明図である。

【発明を実施するための形態】

【0012】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0013】

＜１．本発明の一実施形態＞
［表示装置の外観例］
以下では、本発明の情報処理装置の一例として、カメラその他の撮像装置及びマイクを備える表示装置を例示して、本発明の一実施形態を説明する。図１は、本発明の一実施形態に係る表示装置の外観例を示す説明図である。以下、図１を用いて本発明の一実施形態に係る表示装置の外観例について説明する。

【0014】

図１は、表示装置１００を正面から見た状態を示したものである。図１に示した表示装置１００は、例えばテレビ受像機であり、テレビジョン放送を受信して表示することができる装置である。図１に示したように、表示装置１００は、テレビジョン放送を受信して表示するための表示部１１０を有する。表示部１１０は、液晶ディスプレイパネルであってもよく、プラズマディスプレイパネルであってもよく、有機ＥＬディスプレイパネルであってもよく、またこれら以外のディスプレイパネルであってもよい。

【0015】

そして本発明の一実施形態に係る表示装置１００は、図１に示したように、表示部１１０の上部中央部分に撮像部１０２及びマイク１０３を有する。撮像部１０２は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサその他の撮像素子によって静止画像や動画像を電子的に撮像する機能を有する。またマイク１０３は、表示装置１００の前方に位置するユーザの声を集音する機能を有する。本実施形態では、撮像部１０２は特に、表示装置１００が表示する映像を見るユーザの姿を撮像するために設けられる。本実施形態に係る表示装置１００は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像に映っているユーザの姿を解析することで、そのユーザがどの程度集中して表示装置１００が表示する映像を見ているかの関心度合いを算出する。本実施形態では、その関心度合いのことを「集中度」と規定する。

【0016】

本発明の一実施形態に係る表示装置１００は、ユーザの集中度を算出する際に、ユーザの視線方向の情報を用いることはもちろん、ユーザの表情の変化の情報や、ユーザの体の動きの変化の情報を用いる。本発明の一実施形態に係る表示装置１００は、ユーザの視線方向の情報、ユーザの表情の変化の情報、ユーザの体の動きの変化の情報を用いることで、表示物等に対するそのユーザの集中度を精度高く算出することができる。

【0017】

以上、図１を用いて本発明の一実施形態に係る表示装置１００の外観例について説明した。次に、本発明の一実施形態に係る表示装置１００の機能構成例について説明する。

【0018】

［表示装置の機能構成例］
図２は、本発明の一実施形態に係る表示装置１００の機能構成例を示す説明図である。以下、図２を用いて本発明の一実施形態に係る表示装置１００の機能構成例について説明する。

【0019】

図２に示したように、本発明の一実施形態に係る表示装置１００は、撮像部１０２と、マイク１０３と、表示部１１０と、映像処理部１１２と、顔向き検出部１１４と、表情検出部１１６と、動作検出部１１８と、集中度算出部１２０と、を含んで構成される。

【0020】

撮像部１０２は、図１に示したように、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサその他の撮像素子によって、表示装置１００が表示する映像を見るユーザの姿を電子的に撮像するように設けられる。撮像部１０２は、レンズや上述した撮像素子、Ａ／Ｄコンバータ等で構成される。そして撮像部１０２は、撮像した画像を後段の映像処理部１１２に供給する。マイク１０３は、表示装置１００の前方に位置するユーザの声を集音する機能を有する。マイク１０３は、集音した音を後段の映像処理部１１２に供給する。

【0021】

表示部１１０は、テレビジョン放送を受信して表示する装置であり、テレビジョン放送を受信するためのチューナ（図示せず）から送られてくる信号に基づいて映像を表示する。

【0022】

映像処理部１１２は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像に対する映像処理を実行する。映像処理部１１２が実行する映像処理には、例えば撮像部１０２が撮像した動画像のノイズを除去して画質を向上させる処理等がある。映像処理部１１２は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像に対する映像に対する映像処理を実行すると、映像を顔向き検出部１１４、表情検出部１１６及び動作検出部１１８に供給する。

【0023】

顔向き検出部１１４は、映像処理部１１２から供給される映像に人間が含まれていれば、その人間の顔の向きを検出する。顔向き検出部１１４は、映像中の人間の顔の向きの情報を集中度算出部１２０に送る。

【0024】

表情検出部１１６は、映像処理部１１２から供給される映像に人間が含まれていれば、その人間の表情の変化を検出する。表情検出部１１６は、人間の表情の変化を、例えばフレーム間の差分を取るなどして検出する。表情検出部１１６は、映像中の人間の表情の変化の情報を集中度算出部１２０に送る。

【0025】

動作検出部１１８は、映像処理部１１２から供給される映像に人間が含まれていれば、その人間の動作の変化を検出する。動作検出部１１８は、人間の動作の変化を、例えばフレーム間の差分を取るなどして検出する。動作検出部１１８は、映像中の人間の動作の変化の情報を集中度算出部１２０に送る。

【0026】

集中度算出部１２０は、顔向き検出部１１４が検出した映像中の人間の顔の向きの情報、表情検出部１１６が検出した映像中の人間の表情の変化の情報、動作検出部１１８が検出した映像中の人間の動作の変化の情報から、その人間の集中度を算出する。

【0027】

本実施形態では、集中度算出部１２０は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像に映っている人物が、視線を表示部１１０の方向に向け、表情も動作も全く変えてない状態で最大の集中度となるように集中度を算出する。そして集中度算出部１２０は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像に映っている人物の視線が変化したり、表情や動きに変化があったりすると、その人物は表示部１１０が表示している映像から興味が逸れているとみなし、集中度を減少させるように集中度を算出する。

【0028】

集中度算出部１２０が算出した集中度は様々な形態で活用することができる。一例を挙げれば、集中度算出部１２０が算出した集中度は、表示部１１０に表示されるようにしても良い。また集中度算出部１２０が算出した集中度は、表示部１１０が表示している映像を放送している放送局に送られるようにしても良い。

【0029】

本発明の一実施形態に係る表示装置１００は、図２に示したような構成を有することで、表示部１１０が表示している映像を見ている人物の集中度を、その人物が映っている映像の解析結果から算出することが出来る。

【0030】

以上、図２を用いて本発明の一実施形態に係る表示装置１００の機能構成例について説明した。次に、本発明の一実施形態に係る表示装置１００の動作例について説明する。

【0031】

［表示装置の動作例］
図３は、本発明の一実施形態に係る表示装置１００の動作例を示す流れ図である。図３に示したのは、表示装置１００に設けられた撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像から、ユーザの集中度を算出する際の、表示装置１００の動作例である。以下、図３を用いて本発明の一実施形態に係る表示装置１００の動作例について説明する。

【0032】

表示装置１００は、表示部１１０で映像を表示している際に、撮像部１０２によって表示部１１０の前方方向の画像を撮像し、マイク１０３で表示部１１０の前方方向の音を集音することで、表示部１１０が表示する映像を見ているユーザの姿を映像で撮像する（ステップＳ１０１）。

【0033】

上記ステップＳ１０１で、表示部１１０が表示する映像を見ているユーザの姿を映像で撮像すると、続いて表示装置１００は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像から、表示部１１０が表示する映像を見ているユーザの顔の向き、ユーザの表情の変化、ユーザの動作の変化をそれぞれ検出する（ステップＳ１０２、Ｓ１０３、Ｓ１０４）。

【0034】

このステップＳ１０２、Ｓ１０３、Ｓ１０４において、ユーザの顔の向きは顔向き検出部１１４が、表情の変化は表情検出部１１６が、動作の変化は動作検出部１１８が、それぞれ検出する。なお、表情の変化や動作の変化の検出に際しては、表情検出部１１６や動作検出部１１８は、ある所定の時間（例えば３０秒間等）における変化量を、フレーム間差分その他の方法によって検出する。

【0035】

表示部１１０が表示する映像を見ているユーザの顔の向き、ユーザの表情の変化、ユーザの動作の変化をそれぞれ検出すると、続いて表示装置１００は、これらの情報を用いて、そのユーザの集中度を算出する（ステップＳ１０５）。集中度の算出は集中度算出部１２０が行なう。なお、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像に複数のユーザが含まれていれば、集中度算出部１２０はユーザごとに集中度を算出する。表示装置１００は、ユーザの違いを例えばユーザの顔を認識することによって判別するようにしても良い。

【0036】

上述したように本実施形態では、集中度算出部１２０は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像に映っている人物が、視線を表示部１１０の方向に向け続け、表情も動作も全く変えていない状態で最大の集中度となるように集中度を算出する。以下の説明では、集中度算出部１２０は最大の集中度を１００とし、人物の視線が変化したり、表情や動きに変化があったりすると、最大の集中度１００から減算するようにしてユーザの集中度を算出する場合を説明する。もちろん、集中度の最大値は係る例に限定されるものではない。

【0037】

例えば、集中度算出部１２０は、以下の数式を用いることで、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像に映っている人物の集中度Ａを算出する。なお、下記の数式においてαおよびβは係数であり、映像の表示状況や表示装置１００の設置環境等に応じて変化する値である。

【0038】

集中度Ａ＝１００−（α×表情の変化量＋β×動作の変化量）×顔向き率

【0039】

この数式は、顔向き検出部１１４が検出したユーザの顔の向きの情報を、顔向き率というパラメータに換算することで集中度Ａを算出するものである。つまり集中度算出部１２０は、ユーザが所定の時間内に表示部１１０の方向を何パーセント向いているかを求め、その率を、表情の変化量と動作の変化量の和に掛け合わせることで、最大の集中度（１００）から減算する値を決定する。

【0040】

なお、表情の変化量より動作の変化量の方が、集中度の減少に与える影響は大きいと考えられるので、集中度算出部１２０は、係数αより係数βの値を大きく設定して集中度Ａを算出しても良い。もちろん、集中度算出部１２０は、係数βより係数αの値を大きく設定して集中度Ａを算出しても良く、係数αと係数βの値を同じ値に設定して集中度Ａを算出しても良い。

【0041】

本発明の一実施形態に係る表示装置１００は、このように動作することで、表示部１１０が表示する映像を見ているユーザの集中度を求めることが出来る。

【0042】

ここで、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像からユーザの集中度を算出する具体例を説明する。図４は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像の例を示す説明図である。図４に示したのは、ユーザが表示部１１０の方を向いている状態の映像における、あるフレームの画像の例である。

【0043】

図４に示したように、ユーザが表示部１１０の方を向いている状態が継続すれば、そのユーザは表示部１１０が表示する映像を集中して見ているものと考えられる。従って、図４に示した状態を続けていれば、集中度算出部１２０は、そのユーザの集中度は１００であるとするように集中度を算出する。そして集中度算出部１２０は、この図４に示した状態を基準としてユーザの集中度を算出していく。

【0044】

図５は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像の例を示す説明図である。図５に示したのは、ユーザが図４と同様に表示部１１０の方を向いているが、表情が図４に示した場合から変化した状態の画像の例である。

【0045】

表示部１１０が表示する映像を見ているユーザの表情が変化したということは、表示部１１０が表示している映像に反応したということも考えられるが、表示部１１０が表示している映像とは無関係に反応したということも考えられる。そこで本実施形態では、表情検出部１１４が、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像に映っているユーザの表情の変化を検出し、集中度算出部１２０は、表情検出部１１４が検出したユーザの表情の変化に応じて集中度を減算させていく。

【0046】

図６は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像の例を示す説明図である。図６に示したのは、ユーザが図４と同様に表示部１１０の方を向いているが、ユーザの体勢が図４に示した場合から変化した状態の画像の例である。

【0047】

表示部１１０が表示する映像を見ているユーザの体勢が変化したということは、表示部１１０が表示している映像に反応したということも考えられるが、表示部１１０が表示している映像とは無関係に反応したということも考えられる。そこで本実施形態では、動作検出部１１６が、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像に映っているユーザの体勢の変化を検出し、集中度算出部１２０は、表情の変化の場合と同様に、動作検出部１１６が検出したユーザの体勢の変化に応じて集中度を減算させていく。動作検出部１１６は、ユーザの体勢の変化の他に、ユーザが発した声の変化を検出しても良く、集中度算出部１２０は、動作検出部１１６が検出した、ユーザが発した声の変化の状況を用いて集中度を減算させていくようにしてもよい。

【0048】

図７は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像の例を示す説明図である。図７に示したのは、ユーザの顔の向きが表示部１１０の方ではない方向を向いている状態の画像の例である。

【0049】

ユーザの顔の向きが表示部１１０の方ではない方向を向いているということは、表示部１１０が表示している映像へのユーザの集中度が低下したことを意味すると考えられる。そこで上述したように、集中度算出部１２０は、ユーザが所定の時間内に表示部１１０の方向を何パーセント向いているかを求め、その率を、表情の変化量と動作の変化量の和に掛け合わせることで、最大の集中度（１００）から減算する値を決定する。

【0050】

集中度算出部１２０は、このようにして撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像から、その映像に映っているユーザの集中度を求めることができる。

【0051】

集中度算出部１２０は、上述の係数αおよびβを、顔向き率に応じて変化させても良い。つまり、顔向き率に応じて下記の数式のように係数を変化させても良い。

【0052】

（顔向き率が８０％以上の場合）
集中度Ａ＝１００−（α_１×表情の変化量＋β_１×動作の変化量）
（顔向き率が５０％以上８０％未満の場合）
集中度Ａ＝１００−（α_２×表情の変化量＋β_２×動作の変化量）
（顔向き率が５０％未満の場合）
集中度Ａ＝１００−（α_３×表情の変化量＋β_３×動作の変化量）

【0053】

上述の数式では、α_１＜α_２＜α_３、β_１＜β_２＜β_３であるとする。つまり、ユーザが表示部１１０の方向を向いている割合が多ければ多いほど、変化量に乗じる係数を小さくする。集中度算出部１２０は、このように係数を変化させることで、ユーザが表示部１１０の方向をあまり向いていなければ、少しの変化でも集中度Ａが大きく減少するようにユーザの集中度を算出する。

【0054】

上述の説明では、顔向き検出部１１４、表情検出部１１６、動作検出部１１８、及び集中度算出部１２０が、表示装置１００の内部に設けられる形態を示したが、本発明は係る例に限定されるものではない。例えば、表示装置１００の表示部１１０に表示されている映像を見ているユーザを撮像部１０２で撮像した映像データを表示装置１００から取得して、その映像データを、上述の顔向き検出部１１４、表情検出部１１６、動作検出部１１８、及び集中度算出部１２０と同じ機能を実行する装置に与えて、当該装置で映像データを解析することで、ユーザの集中度を算出するようにしてもよい。

【0055】

また上述の説明では、表示装置１００は、上記数式を用いてユーザの集中度を算出していたが、表示装置１００は、算出される集中度の妥当性を学習し、ユーザの集中度の算出にその学習結果をフィードバックするようにしても良い。また表示装置１００は、ユーザの動き等から算出される集中度を学習することで、ユーザの動きの変化と集中度との因果関係をモデル化してもよい。ユーザの動きの変化と集中度との因果関係のモデル化には、例えばベイジアンネットワーク等の確率推論アルゴリズムが用いられていても良い。

【0056】

例えば、算出される集中度の学習の結果、ユーザが腕を上げた時に集中度が１０低下することが明らかになってくると、表示装置１００は、ユーザが腕を上げたことを検知すると、その検知によって集中度を１０低下させるように集中度算出部１２０で算出するようにしてもよい。

【0057】

また、表示装置１００に撮像部１０２が設けられる形態の他に、図８に示したように、表示装置１００に撮像装置２００が接続される形態も考えられる。なお、図８に示したように、表示装置１００に撮像装置２００が接続される場合は、ユーザが撮像装置２００の方を向いている場合に、ユーザが表示部１１０の方を向いているとは限らない。従って、集中度の算出に際し、表示装置１００と撮像装置２００との位置関係に応じて、ユーザが向いている方向を補正することが望ましい。

【0058】

図９は、本発明の一実施形態に係る表示装置１００の動作例を示す説明図である。図９に示したのは、図８のように表示装置１００に撮像装置２００及びマイク２１０が接続されている場合に、撮像装置２００が撮像し、マイク２１０が集音したことで得られる映像からユーザの集中度を算出する際の、表示装置１００の動作例である。以下、図９を用いて本発明の一実施形態に係る表示装置１００の動作例について説明する。

【0059】

表示装置１００は、表示部１１０で映像を表示している際に、表示部１１０が表示する映像を見ているユーザの姿を撮像装置２００で撮像させる（ステップＳ１１１）。

【0060】

上記ステップＳ１１１で、表示部１１０が表示する映像を見ているユーザの姿を撮像装置２００で撮像させると、続いて表示装置１００は、撮像装置２００が撮像し、マイク２１０が集音したことで得られる映像から、表示部１１０が表示する映像を見ているユーザの顔の向き、ユーザの表情の変化、ユーザの動作の変化をそれぞれ検出する（ステップＳ１１２、Ｓ１１３、Ｓ１１４）。ユーザの顔の向きは顔向き検出部１１４が、表情の変化は表情検出部１１６が、動作の変化は動作検出部１１８が、それぞれ検出する。なお、表情の変化や動作の変化の検出に際しては、表情検出部１１６や動作検出部１１８は、ある所定の時間（例えば３０秒間等）における変化量を検出する。

【0061】

続いて表示装置１００は、撮像装置２００の撮像方向及び表示部１１０の表示方向の情報を用いて、上記ステップＳ１１２で検出した顔向きを補正する（ステップＳ１１５）。この補正は例えば顔向き検出部１１４が実行する。例えば、撮像装置２００の撮像方向と表示部１１０の表示方向との間に１０度の開きがあれば、撮像装置２００が撮像した画像を水平方向に１０度ずらした方向が表示部１１０の方向であるので、顔向き検出部１１４は、上記ステップＳ１１２で検出した顔向きを１０度ずらして、実際のユーザの顔向きとする。

【0062】

表示部１１０が表示する映像を見ているユーザの顔の向き、ユーザの表情の変化、ユーザの動作の変化をそれぞれ検出すると、続いて表示装置１００は、これらの情報を用いて、そのユーザの集中度を算出する（ステップＳ１１６）。集中度の算出は集中度算出部１２０が行なう。なお、撮像装置２００が撮像し、マイク２１０が集音したことで得られる映像に複数のユーザが含まれていれば、集中度算出部１２０はユーザごとに集中度を算出する。

【0063】

このように本発明の一実施形態に係る表示装置１００は、表示装置１００に撮像装置２００が接続される場合であっても、撮像装置２００の撮像方向及び表示部１１０の表示方向の情報を用いて顔向きを補正することで、適切にユーザの集中度を算出することができる。

【0064】

上述の説明では、ユーザが所定の時間内に表示部１１０の方向を何パーセント向いているかを求め、顔向き率を表情の変化量と動作の変化量との和に掛け合わせることで、最大の集中度（１００）から減算する値を決定していたが、本発明は係る例に限定されるものではない。例えば、１分間あたりの顔向き率が同じ７５％であっても、ユーザが表示部１１０を４５秒間見続けて、１５秒間見なかった場合と、４秒に１秒のペースでユーザが表示部１１０から目を離した場合とで、集中度に差をつけても良い。

【0065】

＜２．まとめ＞
以上説明したように本発明の一実施形態によれば、表示部１１０が表示する映像を見ているユーザの姿を撮像し、そのユーザの状態から、集中度を求めることが出来る表示装置１００を提供することができる。表示装置１００は、表示部１１０が表示する映像を見ているユーザの姿の撮像結果から、そのユーザの表情や動きの変化、または表示部１１０の方を向いている割合を求め、これらの情報から集中度を求めることが出来る。

【0066】

なお、上述した本発明の一実施形態では、表示装置１００はテレビジョン放送を受信して映像を表示する装置であると説明したが、本発明は係る例に限定されるものではない。例えば表示装置１００は、インターネットその他のネットワークを経由して配信される映像を表示してもよく、ＤＶＤなどのソフトを再生することによって映像を表示してもよい。

【0067】

また、上述した本発明の一実施形態では、表示装置１００が表示する映像を見るユーザの姿を撮像する場合を示したが、本発明が適用される形態は係る例に限定されるものではない。例えば、絵画や音、広告の近くに、上記実施形態における撮像装置２００を設置しておき、その絵画や広告を見たり、音を聞いたりしている人物の姿を撮像する場合にも、本発明は同様に適用されてもよい。この場合は、その絵画や広告を見たり、音を聞いたりしている人物の集中度を算出することになり、どの絵画や広告が集中して閲覧されているか、またどの音が集中して聴かれているかが取得できる。

【0068】

本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

【0069】

また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。

【0070】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0071】

１００ 表示装置
１０２ 撮像部
１１０ 表示部
１１２ 映像処理部
１１４ 顔向き検出部
１１６ 表情検出部
１１８ 動作検出部
１２０ 集中度算出部
２００ 撮像装置
２１０ マイク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】