特表-19135313IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
再表2019-135313情報処理装置、情報処理方法及びプログラム
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2019年7月11日
【発行日】2020年12月17日
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
   G06F 3/01 20060101AFI20201120BHJP
   G06F 3/0481 20130101ALI20201120BHJP
   G06F 3/0484 20130101ALI20201120BHJP
   G06F 3/0346 20130101ALI20201120BHJP
【FI】
   G06F3/01 510
   G06F3/0481 150
   G06F3/0484 120
   G06F3/0346 423
   G06F3/0346 425
【審査請求】未請求
【予備審査請求】未請求
【全頁数】35
【出願番号】特願2019-563929(P2019-563929)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2018年11月8日
(31)【優先権主張番号】特願2018-262(P2018-262)
(32)【優先日】2018年1月4日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】安田 亮平
(72)【発明者】
【氏名】野田 卓郎
【テーマコード(参考)】
5B087
5E555
【Fターム(参考)】
5B087AA02
5B087AA07
5B087AC01
5B087BC05
5B087BC32
5B087BC34
5B087DE03
5E555AA15
5E555AA54
5E555AA64
5E555BA02
5E555BA38
5E555BB38
5E555BC17
5E555BE16
5E555BE17
5E555CA42
5E555CA44
5E555CB32
5E555CB34
5E555CB65
5E555CC03
5E555DB18
5E555DB41
5E555DB56
5E555DC09
5E555DC26
5E555EA05
5E555EA07
5E555EA25
5E555FA00
(57)【要約】
【課題】ユーザの意図するタイミングで所定の内容を表示させることが可能な、情報処理装置、情報処理方法及びプログラムを提案する。
【解決手段】ユーザの視点に関する視点情報を取得する視点情報取得部と、ユーザと所定のオブジェクトとの位置に関連する位置関連情報を取得する位置関連情報取得部と、ユーザの頭部の回転に伴う角速度と角速度の変化に関する頭部回転情報を取得する頭部回転情報取得部と、視点情報、位置関連情報及び頭部回転情報に応じてオブジェクト毎に算出され、オブジェクトに対するユーザの注視の程度を表す注視スコアに基づいて、ユーザがオブジェクトを注視しているかどうかを判定する判定部と、を備える情報処理装置。
【選択図】図1
【特許請求の範囲】
【請求項1】
ユーザの視点に関する視点情報を取得する視点情報取得部と、
前記ユーザと所定のオブジェクトとの位置に関連する位置関連情報を取得する位置関連情報取得部と、
前記ユーザの頭部の回転に伴う角速度と前記角速度の変化に関する頭部回転情報を取得する頭部回転情報取得部と、
前記視点情報、前記位置関連情報及び前記頭部回転情報に応じてオブジェクト毎に算出され、前記オブジェクトに対する前記ユーザの注視の程度を表す注視スコアに基づいて、前記ユーザが前記オブジェクトを注視しているかどうかを判定する判定部と、を備える情報処理装置。
【請求項2】
前記判定部は、前記オブジェクトの前記注視スコアが所定の閾値以上のときに、前記ユーザが前記オブジェクトを注視している注視状態であると判定する、請求項1に記載の情報処理装置。
【請求項3】
前記視点情報、前記位置関連情報及び前記頭部回転情報に基づいて、注視スコアを算出する注視スコア算出部を更に備える、請求項1に記載の情報処理装置。
【請求項4】
前記注視スコア算出部は、前回の算出タイミングで算出された注視スコアと、取得された前記視点情報、前記位置関連情報及び前記頭部回転情報に応じた注視スコア加算量とに基づき、前記注視スコアを算出する、請求項3に記載の情報処理装置。
【請求項5】
前記注視スコア算出部は、前記視点情報と前記位置関連情報から算出された前記ユーザの視点と前記オブジェクトの所定の位置との間の距離に応じて前記注視スコアを算出する、請求項4に記載の情報処理装置。
【請求項6】
前記注視スコア算出部は、前記視点情報と前記位置関連情報から算出された前記ユーザの視点と前記オブジェクトの中心との間の距離に応じて前記注視スコアを算出する、請求項5に記載の情報処理装置。
【請求項7】

前記注視スコア算出部は、前記視点情報と前記位置関連情報から算出された前記オブジェクトの外側にある前記ユーザの視点と前記オブジェクトの端部との間の距離に応じて前記注視スコアを算出する、請求項5に記載の情報処理装置。
【請求項8】
前記注視スコア算出部は、予め設定された前記オブジェクトに関するオブジェクト情報に基づいて前記注視スコアを算出する、請求項4に記載の情報処理装置。
【請求項9】
前記注視スコア算出部は、予め設定された前記ユーザの嗜好を特徴づけるユーザ情報に基づいて前記注視スコアを算出する、請求項4に記載の情報処理装置。
【請求項10】
前記注視スコア算出部は、前記注視スコアの履歴に関する注視スコア履歴情報に基づいて、前記注視スコアを算出する、請求項4に記載の情報処理装置。
【請求項11】
前記位置関連情報は、前記ユーザと前記オブジェクトとの間の距離に関する距離情報を含み、
前記注視スコア算出部は、前記距離情報に応じて前記注視スコアを算出する、請求項4に記載の情報処理装置。
【請求項12】
前記位置関連情報は、前記ユーザの前記オブジェクトに対する相対速度に関する相対速度情報を含み、
前記注視スコア算出部は、前記相対速度情報に応じて前記注視スコアを算出する、請求項3に記載の情報処理装置。
【請求項13】
前記オブジェクトの前記注視スコアに応じた前記オブジェクトの表示方法、及び前記注視スコアに応じて提供される前記オブジェクトに関する前記オブジェクトの表示内容の少なくともいずれか一方を制御する表示制御部をさらに備える、請求項1に記載の情報処理装置。
【請求項14】
前記判定部は、前記オブジェクトの前記注視スコアが所定の閾値以上のときに、前記ユーザが前記オブジェクトを注視している注視状態であると判定し、
前記表示制御部は、前記注視状態にある前記オブジェクトについて、当該オブジェクトの前記注視スコアが所定の閾値以上であるときに、前記注視スコアに応じて提供される前記オブジェクトに関するオブジェクト情報を表示させる、請求項13に記載の情報処理装置。
【請求項15】
前記表示制御部は、前記注視スコアが所定の閾値以上であるときに、前記注視スコアに応じて提供される前記オブジェクトに関するオブジェクト情報を、前記ユーザの視界に重畳するように表示させる、請求項13に記載の情報処理装置。
【請求項16】
前記表示制御部は、前記注視スコアが所定の閾値以上である前記オブジェクトを拡大して表示させる、請求項13に記載の情報処理装置。
【請求項17】
各々の前記オブジェクトについて予め複数の情報が関連付けられたオブジェクト情報として格納されており、
前記表示制御部は、前記オブジェクト情報の中から、所定の条件に応じて前記オブジェクト情報を出力させる、請求項13に記載の情報処理装置。
【請求項18】
前記オブジェクトの前記注視スコアに応じた、前記オブジェクトの表示方法及び前記注視スコアに応じて提供される前記オブジェクトに関する前記オブジェクトの表示内容の少なくともいずれか一方を制御する表示制御部をさらに備え、
前記注視スコア算出部により算出された前記注視スコアを有する前記オブジェクトに関するオブジェクト履歴情報として格納し、
前記表示制御部は、格納された前記オブジェクト履歴情報を参照して、所定の条件に合致する前記オブジェクトの画像を含むオブジェクト情報を出力させる、請求項3に記載の情報処理装置。
【請求項19】
ユーザの視点に関する視点情報を取得することと、
前記ユーザと所定のオブジェクトとの位置に関連する位置関連情報を取得することと、
前記ユーザの頭部の回転に伴う角速度と前記角速度の変化に関する頭部回転情報を取得することと、
前記視点情報、前記位置関連情報及び前記頭部回転情報に応じてオブジェクト毎に算出され、前記オブジェクトに対する前記ユーザの注視の程度を表す注視スコアに基づいて、前記ユーザが前記オブジェクトを注視しているかどうかを判定すること、を含む、情報処理方法。
【請求項20】
コンピュータを、
ユーザの視点に関する視点情報を取得する視点取得部、
前記ユーザと所定のオブジェクトとの位置に関連する位置関連情報を取得する位置関連情報取得部、
前記ユーザの頭部の回転に伴う角速度と前記角速度の変化に関する頭部回転情報を取得する頭部情報取得部、及び
前記視点情報、前記位置関連情報及び前記頭部回転情報に応じてオブジェクト毎に算出され、前記オブジェクトに対する前記ユーザの注視の程度を表す注視スコアに基づいて、前記ユーザが前記オブジェクトを注視しているかどうかを判定する注視スコア算出部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
仮想空間内のメニューアイテムや実空間内の物体等の選択対象となるオブジェクト群に対するユーザの視点を検出してオブジェクトを選択するような場合、一般的に、オブジェクト毎の注視点の滞留時間を利用して注視状態であるか否かを判定する手法が用いられている。注視点の滞留時間を利用してオブジェクト選択する方法では、注視点の滞留時間の判定閾値を小さくするほど、ユーザの意図とは異なるオブジェクトが選択されてしまう事がある。
【0003】
そこで、以下の特許文献1には、ユーザの顔向き情報、距離情報、注視時間情報、解像度情報等を用いて算出される注視位置の検出精度に応じて、表示部に表示させるUI(User Interface)の表示形態を切り替える情報処理装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2016−151798号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献1に開示されている情報処理装置は、検出精度に応じて表示形態を切り替えるものであり、十分な検出精度が得られない場合には、ユーザの注視位置近傍にあるいくつかのアイコン等を表示させるのみである。そのため、ユーザの意図するタイミングで、所定の内容を表示させることには未だ改善の余地がある。
【0006】
そこで、本開示では、上記事情に鑑みて、ユーザの意図するタイミングで所定の内容を表示させることが可能な、情報処理装置、情報処理方法及びプログラムを提案する。
【課題を解決するための手段】
【0007】
本開示によれば、ユーザの視点に関する視点情報を取得する視点情報取得部と、ユーザと所定のオブジェクトとの位置に関連する位置関連情報を取得する位置関連情報取得部と、ユーザの頭部の回転に伴う角速度と前記角速度の変化に関する頭部回転情報を取得する頭部回転情報取得部と、視点情報、位置関連情報及び頭部回転情報に応じてオブジェクト毎に算出され、オブジェクトに対するユーザの注視の程度を表す注視スコアに基づいて、ユーザが前記オブジェクトを注視しているかどうかを判定する判定部とを備える、情報処理装置が提供される。
【0008】
また、本開示によれば、ユーザの視点に関する視点情報を取得することと、ユーザと所定のオブジェクトとの位置に関連する位置関連情報を取得することと、ユーザの頭部の回転に伴う角速度と角速度の変化に関する頭部回転情報を取得することと、視点情報、位置関連情報及び頭部回転情報に応じてオブジェクト毎に算出され、オブジェクトに対するユーザの注視の程度を表す注視スコアに基づいて、ユーザがオブジェクトを注視しているか否かを判定すること、を含む、情報処理方法が提供される。
【0009】
また、本開示によれば、コンピュータを、ユーザの視点に関する視点情報を取得する視点取得部、ユーザと所定のオブジェクトとの位置に関連する位置関連情報を取得する位置関連情報取得部、ユーザの頭部の回転に伴う角速度と角速度の変化に関する頭部回転情報を取得する頭部情報取得部、及び視点情報、位置関連情報及び頭部回転情報に応じてオブジェクト毎に算出され、オブジェクトに対するユーザの注視の程度を表す注視スコアに基づいて、ユーザが前記オブジェクトを注視しているかどうかを判定する注視スコア算出部、として機能させるための、プログラムが提供される。
【0010】
本開示によれば、ユーザの視点情報と、ユーザとオブジェクトの位置に関する位置関連情報と、ユーザの頭部の回転に関する頭部回転情報に応じて、オブジェクト毎に注視スコアが判定される。
【発明の効果】
【0011】
以上説明したように本開示によれば、ユーザの意図するタイミングで所定の内容を表示させることが可能となる。
【0012】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は、上記の効果に代えて、本明細書に示されたいずれかの効果、又は、本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【0013】
図1】本開示の実施形態に係る情報処理システム1の構成の一例を示すブロック図である。
図2】同実施形態に係る頭部回転情報の概要を説明するための説明図である。
図3】同実施形態に係る頭部回転情報の概要を説明するための説明図である。
図4】同実施形態に係る頭部回転情報の概要を説明するための説明図である。
図5】同実施形態に係る頭部回転情報の概要を説明するための説明図である。
図6A】同実施形態に係るオブジェクトobの表示形態の一例を示す説明図である。
図6B】同実施形態に係るオブジェクトobの表示形態の一例を示す説明図である。
図6C】同実施形態に係るオブジェクトobの表示形態の一例を示す説明図である。
図6D】同実施形態に係るオブジェクトobの表示形態の一例を示す説明図である。
図6E】同実施形態に係るオブジェクトobの表示形態の一例を示す説明図である。
図7】同実施形態に係るオブジェクト情報の表示方法の一例を示す説明図である。
図8】同実施形態に係るオブジェクト情報の表示方法の一例を示す説明図である。
図9】同実施形態に係るオブジェクト情報の表示方法の一例を示す説明図である。
図10A】同実施形態に係るオブジェクトobの表示形態の一例を示す説明図である。
図10B】同実施形態に係るオブジェクトobの表示形態の一例を示す説明図である。
図11】同実施形態に係る動作の流れの一例を示す流れ図である。
図12】同実施形態に係る動作の一例を説明するための説明図である。
図13】同実施形態に係る動作の一例を説明するための説明図である。
図14】同実施形態に係るユーザ情報の一例を説明するための説明図である。
図15】同実施形態に係るオブジェクト情報の一例を説明するための説明図である。
図16】同実施形態に係る動作の一例を説明するための説明図である。
図17】同実施形態に係る注視スコア履歴情報の一例を説明するための説明図である。
図18】本開示の別の実施形態に係る情報処理システム5の構成の一例を示すブロック図である。
図19】同実施形態に係る表示制御装置550の構成の一例を示すブロック図である。
図20】同実施形態に係る動作の流れの一例を示す流れ図である。
図21】同実施形態に係る動作の一例を説明するための説明図である。
図22】本開示の実施形態に係る情報処理装置10のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0014】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0015】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【0016】
なお、説明は以下の順序で行うものとする。
<<<第1の実施形態>>>
<<構成>>
<全体構成>
<情報処理装置10の構成>
<<動作>>
<動作例1>
<動作例2>
<動作例3>
<動作例4>
<動作例5>
<動作例6>
<動作例7>
<<<第2の実施形態>>>
<<構成>>
<<動作>>
<<<ハードウェア構成>>>
<<<結び>>>
【0017】
<<<第1の実施形態>>>
<<構成>>
まず、図1図2、および図3を参照して本開示の一実施形態に係る情報処理システム1の全体構成を説明する。図1は、本開示の一実施形態に係る情報処理システム1の構成例を示すブロック図である。図2は、同実施形態に係る頭部回転情報の概要を説明するための説明図である。図3は、同実施形態に係る頭部回転情報の概要を説明するための説明図である。
【0018】
<全体構成>
図1に示すように、本実施形態に係る情報処理システム1は、情報処理装置10を少なくとも備える。情報処理装置10は、必要に応じてインターネット等の公知のネットワーク30を介して、1または複数の各種のサーバ20と相互に通信を行うことが可能である。
【0019】
本実施形態に係る情報処理装置10は、例えばメガネ型ディスプレイやヘッドマウントディスプレイ(Head Mount Display:HMD)等のような、ユーザUが装着して使用する装置であってもよく、スマートフォンなどの情報処理端末であってもよい。情報処理装置10は、ユーザUの視点Pに関する視点情報と、ユーザUとオブジェクトobとの位置関連情報とを取得する。情報処理装置10は、更に、取得された視点情報と位置関連情報を基にユーザUの頭部の回転に伴う角速度と角速度の変化に関する頭部回転情報を取得する。情報処理装置10は、取得された、視点情報、位置関連情報及び頭部回転情報に応じて、オブジェクトobに対するユーザUの注視の程度を表す注視スコアSを算出して、ユーザUがオブジェクトobを注視しているか否かを判定する機能を有する。
【0020】
サーバ20には、ユーザUが置かれた環境に存在する各種のオブジェクトobに関する様々な情報であるオブジェクト情報が格納されている。また、サーバ20は、情報処理装置10を利用するユーザUのユーザ情報等を管理していてもよい。情報処理装置10は、必要に応じて適切なサーバ20と相互通信を行うことで、これらの情報を適宜取得することができる。
【0021】
ネットワーク30は、例えばインターネット等のような公知の情報通信技術を用いて実現されており、情報処理装置10と、サーバ20とを相互に接続する。
【0022】
オブジェクト情報は、オブジェクトobそのものに関する情報、又はそのオブジェクトobに対して設定されて利用される情報の少なくともいずれかを含む。オブジェクトobそのものに関する情報は、例えば、オブジェクトobの名称、カテゴリ等の情報等を含んでもよく、そのオブジェクトobに対して設定されて利用される情報は、例えば、オブジェクトobが商品である場合、在庫数量、販売優先度、販売期間等の情報を含んでもよい。
【0023】
また、オブジェクト情報は、オブジェクトobを管理する管理者、例えば、オブジェクトobが商品である場合、オブジェクトobのメーカーや販売会社等によってあらかじめ登録されていてもよい。
【0024】
ユーザ情報とは、ユーザUの外見や嗜好等、ユーザU個人を特徴づける情報である。このような情報としては、例えば、ユーザUの性別、身長、趣味等の情報の他、更にユーザUの予定等の情報を含んでもよい。ユーザ情報は、情報処理装置10を使用するユーザU等により登録されたものであってもよいし、サーバ20が、ユーザUの行動等を機械学習することで自動的に蓄積されるものであってもよい。
【0025】
<情報処理装置10の構成>
次に、本実施形態に係る情報処理装置10の構成について詳細に説明する。本実施形態に係る情報処理装置10は、例えば、視点情報取得部101と、位置関連情報取得部103と、頭部回転情報取得部105と、注視スコア算出部107と、判定部109と、表示制御部111と、通信制御部113と、記憶部115とを備える。
【0026】
視点情報取得部101は、情報処理装置10に備えられた可視カメラや赤外カメラ等の撮像装置から得られた画像情報に基づき、情報処理装置10を使用しているユーザUの視点Pに関する視点情報を取得する。
【0027】
このとき、情報処理装置10には、情報処理装置10の位置を原点とした3次元直交座標系が、情報処理装置10の座標系(以降、情報処理装置10の座標系を、単に「装置座標系」と略記する。)として予め設定されている。視点情報取得部101は、例えば、装置座標系におけるユーザUの眼の位置及び視線方向等を公知の視点検出技術を用いて取得し、かかる装置座標系を空間に設定される固定の座標系であるグローバル座標系に変換して視点情報とすることができる。取得された視点情報は、頭部回転情報取得部105又は注視スコア算出部107の少なくともいずれか一方に送信される。また、取得された視点情報は、必要に応じて記憶部115に送信されて履歴情報として保存されてもよい。
【0028】
位置関連情報取得部103は、ユーザUの位置に関連する位置関連情報を取得する。位置関連情報には、ユーザUの位置に関する様々な情報が含まれる。このような情報として、ユーザUとオブジェクトobとの離隔距離、オブジェクトobに対するユーザUの移動速度(すなわち、ユーザUとオブジェクトobとの離隔距離の時間変化)等が例示できる。
【0029】
位置関連情報取得部103は、例えば、情報処理装置10に備えられたカメラ等により実現され、情報処理装置10が存在する空間に設定されるグローバル座標系から見た装置座標系の位置及び向き等をSLAM(Simultaneous Localization and Mapping)等の公知の技術で取得してもよい。取得された装置座標系の位置及び向きは、ユーザUの位置及び向きとして利用される。そして、取得された位置関連情報は、頭部回転情報取得部105又は注視スコア算出部107の少なくともいずれか一方に送信される。また、取得された位置関連情報は、必要に応じて記憶部115に送信され、履歴情報として保存されてもよい。
【0030】
[頭部回転情報取得部105]
頭部回転情報取得部105は、ユーザUの頭部の回転に伴う角速度と角速度の変化に関する頭部回転情報を取得する。
【0031】
ここで、頭部回転情報取得部105は、例えば、位置関連情報取得部103で取得された装置座標系の方向を頭部の方向として取得してもよい。また、頭部回転情報取得部105は、頭部の方向の時間変化を検出することで、ユーザUの頭部の回転方向を取得してもよい。より詳細には、頭部回転情報は、ユーザUの位置とみなすことができる頭部回転中心とオブジェクト中心Cとを結ぶ直線と、位置関連情報取得部103で取得されたユーザUの頭部方向udを基に取得される。
【0032】
図2は、ユーザUが所定のオブジェクトobを注視しようとする場合を模式的に示した図である。
【0033】
ユーザUの頭部回転中心及びオブジェクトobの中心は、位置関連情報取得部103によって公知の位置取得技術を用いて取得される。ユーザUの頭部の回転方向は、頭部回転情報取得部105により、ユーザUの位置すなわち頭部回転中心とオブジェクト中心Cとを結ぶ直線に対するユーザUの頭部方向udの時間変化を検出することで取得される。
【0034】
また、頭部回転情報取得部105は、ある時刻tにおける角度αt1と、tとは異なる時刻tにおける角度αt2とを検出し、検出された角度αt1とαt2の差分αt2−αt1をt−tで除して角速度ωを算出する。
【0035】
頭部回転情報取得部105で取得された頭部回転情報は、注視スコア算出部107に送信される。また、取得された頭部回転情報は、必要に応じて記憶部115に送信され、履歴情報として保存されてもよい。
【0036】
なお、位置関連情報取得部103及び頭部回転情報取得部105は、加速度センサ、ジャイロセンサ等のような位置情報を取得するためのセンサで構成されてもよく、かかるセンサからの出力を利用して、ユーザUの位置関連情報及び頭部回転情報は取得されてもよい。
【0037】
[注視スコア算出部107]
注視スコア算出部107は、少なくとも視点情報取得部101で取得された視点情報、位置関連情報取得部103で取得された位置関連情報、及び頭部回転情報取得部105で取得された頭部回転情報に応じて、オブジェクトob毎に、オブジェクトobに対するユーザUの注視の程度を表す注視スコアSを算出する。算出された注視スコアSは、判定部109又は表示制御部111の少なくともいずれか一方に送信される。
【0038】
ここで、注視スコアSを算出方法の概要について説明する。先だって言及したように、注視スコアSの算出には、ユーザUの頭部の回転方向および回転に伴う角速度ωが用いられる。
【0039】
注視スコアSの算出は、ユーザUの頭部の回転方向および回転に伴う角速度ωに加え、本実施形態に係る情報処理装置10が扱うあらゆる情報に基づいて設定されてもよい。例えば、位置関連情報の一つであるユーザUとオブジェクトobとの間の離隔距離や、視点情報と位置関連情報に基づいて算出されたオブジェクト中心CからユーザUの視点Pまでの距離d、ユーザUの特徴及びユーザUの嗜好を特徴づける情報等を含むユーザ情報等に応じて注視スコアSは算出されてもよい。
【0040】
ユーザUが所定のオブジェクトobを注視しようとする場合、ユーザUはオブジェクトobのある方向にユーザUの頭部の方向を一致させようとして、当該オブジェクトobの中心方向に向かって頭部を回転させる。そして、ユーザUの頭部の方向がオブジェクトobのある方向に近づくと、ユーザUは、頭部の回転速度を小さくする。つまり、ユーザUが所定のオブジェクトobを注視しようとする場合、図2に示すように、当該オブジェクト中心CとユーザUを結ぶ直線に対するユーザUの頭部方向udとの差である角度αが減少していき、角度αが小さくなると、ユーザUは頭部の回転に伴う角速度ωを減少させる。
【0041】
ユーザUが所定のオブジェクトobを注視しない場合、図3に示すように、当該オブジェクトobが存在する方向に向かってユーザUが頭部を回転させたとしても、ユーザUの頭部方向udがオブジェクト中心C方向と一致する前後において、ユーザUは角速度ωを減少させることなく頭部を回転させる。その後、ユーザUは角度αが増大するように頭部を引き続き回転させる。
【0042】
また、ユーザUが所定のオブジェクトobを注視した状態から、他のオブジェクトobに注視の対称を変える場合、ユーザUは、他のオブジェクトobの方向に頭部の方向が一致するように頭部を回転させる。このとき、ユーザUの頭部は、角速度ωが増大するように回転する。
【0043】
したがって、オブジェクトobに対する頭部の回転方向及び角速度ωに着目することで、ユーザUの意図を反映させて、より正確かつ迅速に注視スコアSを算出することができる。つまり、注視スコアSを算出する算出式を、頭部の回転方向及び角速度ωを反映したものとすることで、注視スコアSを正確かつ迅速に算出することができる。
【0044】
また、注視スコア算出部107は、更に、ユーザUの視点Pの位置に応じて注視スコアSを算出することができる。
【0045】
例えば、ユーザUの視点Pがオブジェクトob上に位置しており、オブジェクトobに対するユーザUの頭部の回転方向が、頭部回転中心とオブジェクト中心Cとを結ぶ直線と、位置関連情報取得部103で取得されたユーザUの頭部の方向とのなす角αが減少する方向である場合に、注視スコア算出部107は、注視スコアSが増大するようにしてもよい。
【0046】
また、ユーザUの視点Pがオブジェクトob上に位置しており、オブジェクトobに対するユーザUの頭部の回転方向が、角度αが増大する方向である場合であっても、ユーザUの頭部の回転に伴う角速度ωが所定の閾値ωth以下であれば、注視スコア算出部107は、注視スコアSが増大するようにしてもよい。
【0047】
注視スコア算出式は、注視スコアS算出タイミング毎に変化させてもよい。ユーザUがオブジェクトobを注視しようと視点Pを移動させ、頭部を回転させている間、注視スコアSを算出する時刻に応じて、視点情報、位置関連情報及び頭部回転情報等は変化する。そのため、注視スコア算出部107は、例えば、オブジェクトobとユーザUとの離隔距離や、オブジェクト中心CからユーザUの視点Pまでの距離d、及び頭部回転中心とオブジェクト中心Cとを結ぶ直線と、ユーザUが向いている方向とのなす角α等に応じて、注視スコアS算出タイミング毎に注視スコア算出式を変化させることができる。
【0048】
例えば、ユーザUが所定のオブジェクトobを注視しようとする場合において、角度αが小さいときは、角度αが大きいときと比較して、注視スコアSが高くなるような算出式が用いられてもよい。さらに、角度αが小さく、角速度ωも減少しているときは、より高い注視スコアSとなるような注視スコア算出式が用いられてもよい。
【0049】
また、例えば、ユーザUの視点Pがオブジェクトob上に位置していない場合に、注視スコアSが減少するような注視スコア算出式が用いられてもよい。これにより、一度ユーザUの注視の対象から除外されたオブジェクトobについて、ユーザUの意図しないオブジェクトobが選択されることが抑制される。
【0050】
注視スコア算出部107は、取得された視点情報、位置関連情報及び頭部回転情報に応じて注視スコア加算量を算出し、その注視スコア加算量を直前に取得された注視スコアSに加えることで、注視スコアSを算出してもよい。
【0051】
具体的には、注視スコア算出部107は、ある時刻tで算出された注視スコアSと、tとは異なる時刻tで取得された頭部回転情報に応じて、注視スコア加算量を算出してもよい。
【0052】
また、注視スコアSの初期値及び注視スコア加算量は、注視スコアSが算出されるタイミング毎に変化してもよい。注視スコア算出部107は、例えば、オブジェクトobとユーザUとの距離や、オブジェクト中心CからユーザUの視点Pまでの距離、及び頭部回転中心とオブジェクト中心Cとを結ぶ直線と、ユーザUが向いている方向とのなす角α等に応じて、注視スコアSの初期値及び注視スコア加算量等を変化させてもよい。
【0053】
具体的には、時刻tにおける注視スコアSをS、注視スコア加算量をAとしたとき、注視スコアSは以下の式で計算してもよい。ここで、f(S)は、スコアSを変数とする任意の関数とすることができる。具体的な関数形は、限定されるものではないが、一次関数や二次関数などの多項式関数としてもよいし、指数関数や対数関数としてもよい。
t2=f(St1)+A (1)
【0054】
注視スコア加算量であるAは、固定値でもよいし、頭部回転情報によって変化させてもよい。注視スコア加算量は、頭部回転情報に加え、位置関連情報の一つであるユーザUとオブジェクトobとの間の離隔距離や、視点情報と位置関連情報に基づいて算出されたオブジェクト中心CからユーザUの視点Pまでの距離d、ユーザUの特徴及びユーザUの嗜好を特徴づける情報等を含むユーザ情報等に応じて動的に変化させてもよい。
【0055】
例えば、注視スコア加算量であるAを頭部回転情報である角速度ωに反比例させる場合、時刻tにおける角速度ω、調整係数cを用いて以下の式で求めることができる。調整係数cは、ユーザUとオブジェクトobとの間の離隔距離や、オブジェクト中心CからユーザUの視点Pまでの距離d、ユーザUの特徴及びユーザ情報等に応じて変化する値とすることができる。
A=c/ω (2)
ただし、ω≠0とする。
【0056】
なお、算出された注視スコアSは、記憶部115に送信され、履歴情報として保存されてもよい。
【0057】
[判定部109]
判定部109は、注視スコア算出部107により算出された注視スコアSに基づいて、ユーザUがオブジェクトobを注視しているかどうかを、オブジェクトob毎に判定する。具体的には、判定部109は、オブジェクトobの注視スコアSが予め設定された所定の判定閾値以上のときに、ユーザUがオブジェクトobを注視している注視状態であると判定することが好ましい。判定結果は、表示制御部111に少なくとも送信され、必要に応じて記憶部115に送信され、履歴情報として保存されてもよい。
【0058】
ここで、図4および図5を参照しながら、注視スコア算出部107により算出される注視スコアSの変化の様子及び判定部109による注視判定について説明する。図4は、各時刻tにおけるユーザUの頭部の角速度ωの一例を示すグラフ図である。図5は、各時刻tと注視スコア算出部107により算出された注視スコアSの関係を示すグラフ図である。図4の領域R1〜R5はそれぞれ図5の領域R1’〜R5’に対応する。また、図5に示すS1thは、予め設定された判定閾値であり、注視スコアSが判定閾値S1th以上となると、判定部109は、ユーザUがオブジェクトobを注視している注視状態であると判定する。
【0059】
ここでは、ユーザUの視点Pが注視の対象とするオブジェクトob上に位置するときに注視スコア加算量が算出される場合を例に挙げて説明する。さらに、注視スコアSの初期値はゼロとし、注視対象のオブジェクトob(以降、単に「注視対象オブジェクトob」と略記する。)上にユーザUの視点Pがない場合、注視スコア加算量は負の値とし、注視スコアSがゼロのときは、注視スコア加算量はゼロとする。また、算出される注視スコア加算量は一定であるとして注視判定方法を説明する。
【0060】
図4に示したように、時刻tと角速度ωによって規定される平面を領域R〜Rに区分することができる。領域Rは、ユーザUの頭部は、頭部回転中心とオブジェクト中心Cとを結ぶ直線と、位置関連情報取得部103で取得されたユーザUの頭部方向udとのなす角αが減少する方向に回転し、頭部の回転に伴う角速度ωが所定値ωth以上である状態であるものの、ユーザUの視点Pが注視対象オブジェクトob上にない状態を示す領域である。領域Rは、ユーザUの視点Pが注視対象オブジェクトob上にあり、角度αが減少する方向に回転し、角速度ωが所定値ωth以上である状態を示す領域である。領域Rは、ユーザUの視点Pが注視対象オブジェクトob上にあり、角度αが減少する方向に回転し、角速度ωが所定値ωth未満である状態を示す領域である。領域Rは、ユーザUの視点Pが注視対象オブジェクトob上にあり、角度αが増大する方向に回転し、角速度ωが所定値ωth未満である状態を示す領域である。領域Rは、ユーザUの視点Pが注視対象オブジェクトob上にない状態であり、角度αが増大する方向に回転し、角速度ωが所定値ωth以上である状態を示す領域である。
【0061】
領域Rにおいて、ユーザUの視点Pは対象オブジェクトobにないため、図5に示したように、領域Rに対応する領域R’において、注視スコア加算量はゼロであり、注視スコアSはゼロのまま一定である。
【0062】
領域Rにおいて、ユーザUの視点Pは注視対象オブジェクトob上にあり、角速度ωは所定値ωth以上であるものの、角度αが減少する方向にユーザUの頭部が回転しているため、図5の領域R2’に示すように、注視スコアSは上昇する。ここで、注視スコアSの上昇度合いは、式(1)のf(S)の関数形によって決定される。
【0063】
領域Rにおいて、ユーザUの視点Pは注視対象オブジェクトobにあり、角速度ωは所定値ωth未満であり、また、角度αが減少する方向にユーザUの頭部が回転しているため、注視スコアSは上昇する。
【0064】
領域Rにおいて、ユーザUの視点Pは注視対象オブジェクトobにあり、角度αが増大する方向にユーザUの頭部が回転しているものの、角速度ωは所定値ωth未満であるため、注視スコアSは上昇する。時刻t’において、注視スコアSは判定閾値S1th以上となり、このとき、判定部109は、ユーザUが当該オブジェクトobを注視している注視状態であると判定する。
【0065】
注視スコアSが判定閾値S1th到達した後もスコア算出は継続されるが、注視スコアSが判定閾値S1thに到達した後は、注視スコアSは閾値で維持されてもよい。
【0066】
領域Rは、ユーザUの視点Pは注視状態にあったオブジェクトobから他のオブジェクトobに移動する状態を示している。ユーザUの視点Pは注視状態にあったオブジェクトobから外れたため、注視スコアSは減少する。
【0067】
注視スコアSが閾値を超えたオブジェクトobからユーザUの視点Pが外れた場合、注視スコア算出部107は、図5に示したように注視スコアSが減少するように注視スコアSを計算してもよい。ユーザUの視点Pがオブジェクトobから外れると注視スコアSが減少し、注視スコアSが判定閾値S1th未満となったときに注視状態が解除されてもよい。視点Pが外れた直後に注視スコアSがゼロとなるような処理を実行してもよい。このような処理を実行されることで、ユーザUの注視の対象となるオブジェクトobが、注視しているオブジェクトobから他のオブジェクトobに変更された直後に、注視状態を解除することができる。
【0068】
[表示制御部111]
表示制御部111は、オブジェクトobの注視スコアSに応じて、表示画面への当該オブジェクトobの表示方法及びオブジェクトobの表示内容の少なくともいずれか一方を制御する。
【0069】
表示制御部111は、例えば、図6A図6Eに示すように、注視スコアSに応じてオブジェクトobの表示方法を制御する。図6Aは、オブジェクトobの注視スコアSをメータ表示で示した例である。表示制御部111は、オブジェクトobの注視スコアSの増減に応じてメータが増減するように表示させてもよい。
【0070】
また、表示制御部111は、オブジェクトobが選択されたときにオブジェクトobを囲むようにして表現する場合において、注視スコアSが高くなるにつれてユーザUによる視覚的な認識が容易にされるような表現で表示させることができる。例えば、図6B及び図6Cに例示するように、表示制御部111は、注視スコアSに応じて、オブジェクトob周辺の色、透明度、選択表現の形状を変更してオブジェクトobを段階的に強調することができる。
【0071】
また、表示制御部111は、図6Dに示すように、注視スコアSに応じて対象オブジェクトobの表示サイズを変更して表示させることができる。
【0072】
例えば、本実施形態に係る情報処理装置10に備えられ、外部空間を認識するカメラを用いてオブジェクトobの画像を取得し、表示制御部111は、その画像を当該オブジェクトobに重畳表示させてもよい。表示制御部111は、注視スコアSに応じて重畳表示させたオブジェクトob画像のサイズを変更してユーザUに提供することができる。
【0073】
表示サイズが変化して表示されるオブジェクトobは1つに限られず、複数のオブジェクトobの表示サイズが変化して表示されてもよい。表示制御部111は、複数のオブジェクトobの注視スコアSが所定の値の範囲にある場合に、それらのオブジェクトobを拡大表示させることができる。
【0074】
また、表示制御部111は、図6Eに示すように、一部しか表示されていないオブジェクトobを、注視スコアSに応じて移動させて表示させることができる。
【0075】
例えば、上記と同様に、本実施形態に係る情報処理装置10に備えられ、外部空間を認識するカメラを用いて当該オブジェクトobの画像を取得し、表示制御部111は、オブジェクトobに重畳するように表示させた取得画像を、注視スコアSに応じて移動させてユーザUに提供することができる。
【0076】
以上で説明したような選択表現は単独で用いられてもよいし、これらを複数組み合わせて用いられてもよい。また、本開示は、例示していない表現方法であっても、注視スコアSに応じて変化するものを含むものとする。
【0077】
なお、表示制御部111が表示させる選択表現は、注視スコアSの増減に伴って、連続的に変化するようなものであってもよいし、予め1つ又は複数の閾値が設定され段階的に変化するような選択表現であってもよい。詳細には、表示制御部111は、注視スコアSが所定の閾値以上となったときに、所定の選択表現によりオブジェクトobを表示させることができる。また、注視スコアSが所定の閾値以下となったオブジェクトobについては、当該オブジェクトobの選択表現はリセットされてもよい。
【0078】
また、表示制御部111は、図7図9に示すように、注視スコアSに応じてオブジェクトobに関連するオブジェクト情報を表示させることができる。図7は、オブジェクト情報の表示方法を説明するための説明図である。図8及び図9は、オブジェクト情報が表示された画像の一例を示す模式図である。
【0079】
表示制御部111は、具体的には、オブジェクトobの名称、カテゴリ等の情報や、そのオブジェクトobに対して設定される情報、例えば、オブジェクトobが商品である場合、在庫数量、販売優先度、販売期間等の情報を注視スコアSに応じて表示させることができる。
【0080】
表示制御部111には、図7に示すように、注視スコアSに対してオブジェクト情報を表示させるための表示閾値S2thが設定されており、注視スコアSがその表示閾値S2th以上となったときに、ユーザUの視界に重畳するように、該当する情報表示レベルのオブジェクト情報を表示させる。例えば、オブジェクトobの注視スコアSが表示閾値S2th1以上となったとき、図8左上に示すように、情報表示レベル1に属する第1のオブジェクト情報がユーザUに対して表示される。このとき表示される第1のオブジェクト情報は、例えば、そのオブジェクトobに関する基礎的な情報とすることができる。具体的には、表示制御部111は、かかるオブジェクトobが店舗に陳列されたバッグ等の商品である場合、その商品のブランド、価格等の情報を表示させることができる。
【0081】
次に、オブジェクトobの注視スコアSが、図7に示したように、S2th2以上となったとき、図9右下に示すように、表示レベル2に属する第2のオブジェクト情報がユーザUに対して表示される。第2のオブジェクト情報は、第1のオブジェクト情報と比較してより詳細な情報とすることができる。例えば、オブジェクトobが商品である場合は、オブジェクトobと同カテゴリで、ユーザUが既に所持している物等、オブジェクトobと関連する情報等とすることができる。表示制御部111は、オブジェクトobが商品である場合、ユーザUの性別、身長や年齢等、その商品の使用が推奨されるユーザUの属性や、使用が推奨される状況等の情報、該商品に類似したユーザUの所有物等の情報を表示させることができる。
【0082】
表示制御部111は、ユーザUの視点Pが当該オブジェクトobから外れた直後に表示されたオブジェクト情報を消去してもよいし、注視スコアSが所定のS2th未満となったときに、対応する表示されたオブジェクト情報を消去してもよい。
【0083】
更に、表示制御部111は、注視スコアSに応じて、オブジェクト情報の提示方法を変化させることができる。図10A及び図10Bは、注視スコアSに応じたオブジェクト情報の提示方法を説明するための説明図である。
【0084】
例えば、オブジェクトob上にユーザUの視点Pが位置すると、図10Aに示すように、オブジェクトobから引出線が表示される。注視スコアSが高くなるにつれてその引出線が伸長し、情報表示レベルに達すると、オブジェクト情報が表示されるようにしてもよい。また、例えば、図10Bに示すように、オブジェクトobから吹き出しを表示させ、注視スコアSに応じて、その吹き出しの透明度やぼかしの程度を変化させ、情報表示レベルに達すると、所定のオブジェクト情報が表示されるようにしてもよい。
【0085】
[通信制御部113]
通信制御部113は、サーバ20等に保存されたオブジェクト情報やユーザUの属性に関連するユーザ情報等を、ネットワーク30を介して取得し、受信したオブジェクト情報やユーザ情報等を表示制御部に送信する際の通信制御機能を有する。
【0086】
[記憶部115]
記憶部115は、本実施形態に係る情報処理装置10が備える記憶装置の一例である。記憶部115には、情報処理装置10が、上記のような各種の処理を実施する際に利用する各種のプログラムやデータベース等が適宜記録されている。記憶部115には、上記のような視点情報取得部101や位置関連情報取得部103等が取得した各種の情報が履歴情報として記録されていてもよい。更に、記憶部115には、例えば、注視スコア算出部107及び判定部109のそれぞれがそれぞれの処理を行う際に、保存する必要が生じた様々なパラメータや処理の途中経過等が適宜記録されてもよい。注視スコア算出部107及び判定部109が実行する処理に限られず、本実施形態に係る情報処理装置10が何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等が適宜記録されてもよい。この記憶部115は、視点情報取得部101、位置関連情報取得部103、頭部回転情報取得部105、注視スコア算出部107、判定部109等が、自由にリード/ライト処理を実施することが可能である。
【0087】
ここまで、情報処理装置10の構成の一例について詳細に説明した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【0088】
続いて、情報処理装置10の動作の一例について詳細に説明する。
【0089】
<<動作>>
<動作例1>
本実施形態に係る情報処理装置10の動作について、図11を参照しながら説明する。図11は、本実施形態に係る情報処理装置10の動作の流れの一例を示す流れ図である。
【0090】
まず、本実施形態に係る情報処理装置10の初期設定がされる(S101)。情報処理装置10を利用するユーザUが存在する空間上に、所定の位置を原点とした3次元直交座標系であるグローバル座標系が設定される。また、情報処理装置10を利用するユーザUの位置を原点とし、グローバル座標系の座標軸と同じ方向に、情報処理装置10に関する装置座標系が設定される。
【0091】
また、注視スコアS算出のための初期設定がされる。詳細には、頭部回転情報に加え、位置関連情報の一つであるユーザUとオブジェクトobとの間の離隔距離や、視点情報と位置関連情報に基づいて算出されたオブジェクト中心CからユーザUの視点Pまでの距離dを反映可能な算出式が設定されてもよい。さらに、設定される算出式は、ユーザUの特徴や嗜好を特徴づける情報等を含むユーザ情報等を反映してもよい。例えば、注視スコア算出式として、(1)式及び(2)式が設定されてもよい。
【0092】
更に、かかる初期設定では、判定部109が注視状態を判定するための判定閾値S1thが設定される。必要に応じて、表示制御部111がオブジェクト情報を表示させるための情報表示閾値S2thが設定される。
【0093】
判定閾値S1th及び情報表示閾値S2thは、本実施形態に係る情報処理装置10が扱うあらゆる情報に基づいて設定されてもよい。例えば、位置関連情報の一つであるユーザUとオブジェクトobとの間の離隔距離や、視点情報と位置関連情報に基づいて算出されたオブジェクト中心CからユーザUの視点Pまでの距離d、ユーザUの特徴や嗜好を特徴づける情報等を含むユーザ情報等を用いて、判定閾値S1th及び情報表示閾値S2thは設定されてもよい。
【0094】
情報処理装置10の初期設定がされると、位置関連情報取得部103により位置関連情報が取得される(S103)。具体的には、ユーザUの頭部回転中心に対応するユーザUの位置、オブジェクト中心C、ユーザUとオブジェクトobとの離隔距離、及び頭部回転中心とオブジェクト中心Cとを結ぶ直線とユーザUが向いている方向とで形成される角度α等が取得される。
【0095】
次いで、視点情報取得部101により、ユーザUの視点Pの位置に関する視点情報が取得される(S105)。
【0096】
続いて、頭部回転情報取得部105により、ユーザUの頭部の回転に伴う角速度ωと頭部の回転方向に関する頭部回転情報が取得される(S107)。頭部回転情報は、ユーザUの位置に対応する頭部回転中心とオブジェクト中心Cとを結ぶ直線と、位置関連情報取得部103で取得されたユーザUの頭部方向udとで形成される角の角度αの変化を算出して得られる。頭部回転情報取得部105は、所定の時刻tにおける角度αt1と、時刻tにおける角度αt2を検出し、検出された角度αt1とαt2を利用して角速度ω及び回転方向を算出する。
【0097】
頭部回転情報が取得された後、注視スコア算出部107により、オブジェクトobの注視スコアSが算出される(S109)。詳細には、S101で設定された算出式が使用され、S103〜S107で取得された位置関連情報、視点情報及び頭部回転情報に基づいて、オブジェクトobに対する注視スコアSが算出される。
【0098】
その後、表示制御部111により、注視スコアSに応じた表示方法でオブジェクトobが強調表示される(S111)。S103〜S111が順次繰り返され、オブジェクトobの注視スコアSが判定閾値S1th以上となったとき、注視状態であると判定される。更に、注視スコアSが属する情報表示レベルに応じた内容のオブジェクト情報が表示される。
【0099】
その後、例えば、ユーザUの視点Pが注視状態と判定されたオブジェクトobから外れると、注視スコアSが減少して注視状態が解除されてもよい。また、ユーザUの視点Pが、オブジェクト情報が表示されていたオブジェクトobから外れると、注視スコアSが減少して表示されていたオブジェクト情報が消去される。なお、ユーザUの視点Pがそのオブジェクトobから外れた直後に注視スコアSが初期値に戻ることで、この注視状態の解除及びオブジェクト情報の消去が実行されてもよい。
【0100】
ここまで、本実施形態に係る情報処理装置10の動作の一例について詳細に説明した。続いて、他の動作例について詳細に説明する。
【0101】
<動作例2>
動作例1では、視点情報取得部101により取得された視点情報に基づき、ユーザUの視点Pがオブジェクトob上にあるときに、注視スコア算出部107が注視スコアSを算出する場合を説明した。しかしながら、ユーザUの視点Pがオブジェクトob上になくとも、そのオブジェクトobについて注視スコアSが算出されてもよい。
【0102】
具体的には、図12に示すように、オブジェクト中心CからユーザUの視点Pまでの距離dを算出し、この距離dに応じて注視スコアSが算出されるようにしてもよい。例えば、注視スコア算出部107は、注視スコアSの算出に距離dを変数の一つとする算出式を設定し、距離dが小さいほど算出される注視スコアSが増大するようにすればよい。
【0103】
また、オブジェクト中心CからユーザUの視点Pまでの距離に限られず、図13に示すように、オブジェクトobの所定の位置、例えば、オブジェクトobの端部とユーザUの視点Pとの距離dに応じて注視スコアSは算出されてもよい。
【0104】
表示制御部111がオブジェクト情報を表示させる場合は、注視スコア算出部107は、情報表示閾値S2thを距離dや距離dに依存する値とすることで、表示制御部111は、オブジェクト情報の表示タイミングを制御してもよい。
【0105】
上記の方法で算出された注視スコアSを利用して、判定部109は注視判定をすることができる。注視判定に使用する判定閾値S1thは、距離dや距離d等に依存する値であってもよい。これにより、判定部109は、注視判定のタイミングを変更することができる。
【0106】
<動作例3>
また、注視スコア算出部107は、更に、位置関連情報の一つである、ユーザUとオブジェクトobとの間の離隔距離に応じて、注視スコアSを算出してもよい。
【0107】
具体的には、位置関連情報取得部103は、ユーザUとオブジェクトobとの間の離隔距離を位置関連情報として取得し、この位置関連情報を注視スコア算出部107に送信する。注視スコア算出部107は、離隔距離を変数の一つとした注視スコア算出式を設定し、離隔距離が小さいほど算出される注視スコアSが増大するように注視スコアSを算出してもよい。
【0108】
また、注視スコア算出部107は、位置関連情報の一つである、オブジェクトobに対するユーザUの速度v(すなわちユーザUとオブジェクトobとの離隔距離の時間変化)に応じて、注視スコアS算出してもよい。
【0109】
すなわち、位置関連情報取得部103は、オブジェクトobに対するユーザUの速度vを位置関連情報として取得し、この位置関連情報を注視スコア算出部107に送信する。注視スコア算出部107は、注視スコア算出式を速度vの関数とし、速度vが小さいほど算出される注視スコアS値が大きくなるように注視スコアSを算出すればよい。
【0110】
判定部109は、上記の方法で算出された注視スコアSを利用して注視判定をすることができる。判定部109は、注視判定に使用される判定閾値S1thを、離隔距離が反映された値とすることで、離隔距離に応じた注視判定をすることが可能である。
【0111】
<動作例4>
注視スコア算出部107は、更に、予め設定された、ユーザの特徴及びユーザの嗜好を特徴づける情報等を含むユーザ情報に基づいて注視スコアSを算出してもよい。
【0112】
ユーザ情報には、例えば、図14に示すような、性別、身長、趣味やユーザの予定等の情報が含まれる。当該ユーザ情報は、記憶部115、サーバ20等の情報を記憶する機能を有する装置に保存される。
【0113】
例えば、ユーザが本実施形態に係る情報処理装置を利用しながら買い物をする場合、注視スコア算出部107は、ユーザUの性別や身長等のユーザ情報に相応しい衣服等、ユーザ情報に関連するようなオブジェクトobに対して、高い注視スコアSが容易に算出されるような算出式を用いてユーザ毎に注視スコアSを算出することができる。
【0114】
ユーザの予定等もユーザ情報として登録されてもよく、そのユーザがその予定に必要とする物等、登録された予定に関連するものに対して注視スコアSが優先的に算出されてもよい。
【0115】
判定部109は、ユーザ情報に関連するオブジェクトobに対する注視判定の際、ユーザ情報と関連がないオブジェクトobと比較して、判定閾値S1thを低く設定することができる。
【0116】
オブジェクトobがユーザ情報と無関係のものである場合に、注視スコア算出部107は、注視スコアS上昇が小さい算出式を使用して注視スコアSを算出してもよい。同様に、判定部109は、オブジェクトobがユーザ情報と無関係である場合に、判定閾値S1thを高くして注視判定されるタイミングを遅延させてもよい。
【0117】
<動作例5>
注視スコア算出部107は、更に、図15に示すような、予め設定されたオブジェクト情報に基づいて注視スコアSを算出してもよい。また、例えば、オブジェクトobがショーウインドウに展示された商品であり、その商品を販売する会社が所定のカテゴリの商品や所定の商品の販売を促進させようとする場合、オブジェクト情報に優先度情報が設定されてもよい。注視スコア算出部107は、設定された優先度に応じてオブジェクト毎に算出式を設定して注視スコアSを算出することができる。
【0118】
判定部109も同様に、更に、オブジェクト情報に基づいて注視状態を判定することができる。判定部109は、オブジェクト情報に優先度が設定されているときは、優先度が高いカテゴリのオブジェクトob等に対する判定閾値S1thを、優先度が低い他のカテゴリのオブジェクトobと比較して低い値に変更してもよい。
【0119】
<動作例6>
注視スコア算出部107は、更に、履歴情報に基づいて注視スコアSを算出してもよい。具体的には、ユーザUが既に視認したことがあるオブジェクトobに対して注視スコアSが算出される場合、注視スコア算出部107は、そのオブジェクトobに対する累積の注視スコアS、注視状態であると判定された回数や頻度等の履歴情報に応じて注視スコア算出式及び、情報表示閾値S2thを変更してもよい。
【0120】
判定部109は、上記と同様にして、オブジェクト毎に判定閾値S1thを変更して注視判定をしてもよい。
【0121】
上記のような処理は、ユーザUが視認したことがあるオブジェクトobと同一のオブジェクトobに限られず、そのオブジェクトobと同一のカテゴリに属するオブジェクトに対して行われてもよい。
【0122】
<動作例7>
表示制御部111は、図16に示すように、オブジェクト情報や注視スコア等の履歴情報を参照して、所定の条件に合致するオブジェクト画像を表示させてもよい。具体的には、ユーザUは、図17に示すような、オブジェクトを注視した日時や場所、注視スコアS、オブジェクトobのカテゴリ等の様々な情報に基づいて、画像表示条件を設定する。そして、表示制御部111は、ユーザUに対して、その検索条件に合致したオブジェクト画像を、所定の表示方法で表示させることができる。例えば、図16に示すように、表示制御部111は、ユーザUが所定の期間内に視認した所定のカテゴリに含まれるオブジェクトobを、累積注視スコアSが高いオブジェクトobから順に表示させることができる。このとき、表示制御部111は、表示させたオブジェクト画像に対応したオブジェクト情報を表示させてもよい。
【0123】
このような機能により、ユーザUは、例えば、所定の期間内に注視したユーザUの興味があるカテゴリのオブジェクトobを後で振り返って確認することができる。
【0124】
なお、オブジェクト情報を表示する装置は情報を表示可能な装置であれば特段制限されず、本実施形態にかかる情報処理装置10にディスプレイを設け、表示制御部111は、そのディスプレイにオブジェクト情報を表示してもよく、例えば、スマートフォン、TV等に表示させてもよい。
【0125】
本実施形態では、主に静止したオブジェクトobに対する、注視スコアSの算出及び注視状態の判定の動作を主に説明したが、移動するオブジェクトに対して本開示を適用してもよい。
【0126】
例えば、プレイ中のゲームに表示される何かしらのターゲット等のオブジェクトobに対して、本実施形態に係る情報処理技術は利用されてもよい。
【0127】
本開示は、ユーザUの視点情報、オブジェクトobに対するユーザUの頭部の回転方向、頭部の回転に伴う角速度等の頭部関連情報に応じて注視の程度を検出し、注視判定する技術である。したがって、本開示は、例えば、AR(Augmented Reality)環境やVR(Virtual Reality)環境のような、視点だけではなく、頭部方向や位置で視野が変わるような環境において、移動しているオブジェクトに対して効果的にユーザの意図するタイミングで所定の内容を表示させることが可能である。
【0128】
<<<第2の実施形態>>>
<<構成>>
次いで、本開示に係る第2の実施形態について説明する。図18は、本実施形態に係る情報処理システム5の構成を示したブロック図である。情報処理システム5は、情報処理装置50と、サーバ60と、ネットワーク70とで構成される。ここでサーバ60及びネットワーク70は、情報処理システム1のサーバ20及びネットワーク30と基本的に同様であるため、ここでの説明は省略する。
【0129】
<情報処理装置50>
情報処理装置50は、撮像装置510と、表示制御装置550とを有する。本実施形態に係る撮像装置510は、情報処理装置50が配置される空間の少なくとも一部を撮像して撮像画像を生成する機能を有する。本実施形態に係る撮像装置510は、例えば、デジタルスチルカメラやデジタルビデオカメラ等のような、撮像機能を有する公知の撮像装置を使用することができる。本実施形態に係る表示制御装置550は、撮像装置510で取得された、撮像画像、位置関連情報、撮像空間内に存在する人物の視点情報等に基づいて、その空間内の所定の位置に表示させる情報の表示方法及び表示内容等を制御する機能を有する。
【0130】
[撮像装置510]
撮像装置510は、撮像空間内の位置関連情報及び視点情報等を取得する。
【0131】
撮像装置510により生成された撮像画像を利用した、撮像空間内に存在する人物の位置関連情報を取得する方法としては、公知の各種の技術を利用することが可能であり、例えば、特開2010−16743号公報、特許第5869883号公報、特開2017−182739号公報等に開示されているような、各種の位置推定技術を適宜利用することができる。
【0132】
また、撮像装置510により生成された撮像画像を利用した、撮像空間内に存在する人物の視点情報の抽出方法としては、公知の各種の技術を利用することが可能であり、例えば、特開2005−230049号公報、特開2015−153302号公報、特開2017−169685号公報等に開示されているような、各種の視線推定技術を適宜利用することができる。
【0133】
なお、本実施形態に係る位置関連情報及び視点情報等の取得方法は、あくまでも一例にすぎず、上記のものに限定されるものではない。
【0134】
また、撮像装置510は、後述する、頭部回転情報取得部551、注視スコア算出部553及び判定部555と同等の機能を有していてもよい。
【0135】
[表示制御装置550]
表示制御装置550は、図19に示すように、表示制御部557と、通信制御部559と、記憶部561とを少なくとも備え、必要に応じて、頭部回転情報取得部551と、注視スコア算出部553と、判定部555とを備えていてもよい。図19は、本実施形態に係る表示制御装置550の構成を示したブロック図である。
【0136】
頭部回転情報取得部551、注視スコア算出部553、判定部555、表示制御部557、通信制御部559、及び記憶部561は、第1の実施形態に係る、頭部回転情報取得部105、注視スコア算出部107、判定部109、表示制御部111、通信制御部113、及び記憶部115と基本的に同様であるため、ここでの説明は省略する。
【0137】
なお、表示制御装置550は、上記のような機能の全てを有している必要はなく、設置された空間に所定の情報を表示させる機能のみを有していてもよい。頭部回転情報取得部551、注視スコア算出部553及び判定部555は、撮像装置510もしくはサーバ60に同様の機能が備えられていれば、必ずしも表示制御装置550に設けられる必要はない。また、頭部回転情報取得部551、注視スコア算出部553及び判定部555は、サーバ60と、撮像装置510と、表示制御装置550とに分散させて実装してもよい。
【0138】
<<動作>>
続いて、本実施形態に係る情報処理システム5の動作について、図20及び図21を参照しながら説明する。図20は、本実施形態に係る情報処理システム5の動作の流れの一例を示す流れ図である。図21は、本実施形態に係る情報処理システム5の動作の一例を説明するための説明図である。
【0139】
まず、本実施形態に係る情報処理装置50の初期設定がされる(S201)。具体的には、注視スコアS算出のための初期設定がされる。詳細には、頭部回転情報に加え、位置関連情報の一つであり、撮像装置510を用いて生成された撮像画像から取得される、情報処理装置50が設置された空間に存在する人物とオブジェクトとの間の離隔距離や、視点情報と位置関連情報に基づいて算出されるオブジェクト中心からその人物の視点Pまでの距離dを反映可能な算出式が設定されてもよい。また、設定される算出式は、その人物の特徴及びその人物の嗜好を特徴づける情報等を含むユーザ情報等を反映してもよい。例えば、注視スコア算出式として、(1)式及び(2)式が用いられるように設定されてもよい。
【0140】
更に、かかる初期設定では、判定部555が注視状態を判定するための判定閾値が設定される。必要に応じて、表示制御部557により、オブジェクト情報を表示させるための情報表示閾値が設定されてもよい。
【0141】
判定閾値及び情報表示閾値は、本実施形態に係る情報処理装置50が扱うあらゆる情報に基づいて設定されてもよい。例えば、位置関連情報の一つである、情報処理装置50が設置された空間に存在する人物とオブジェクトとの間の離隔距離や、視点情報と位置関連情報に基づいて算出されたオブジェクト中心からその人物の視点Pまでの距離、その人物の特徴や嗜好を特徴づける情報等を含むユーザ情報を用いて、判定閾値及び情報表示閾値等は設定されてもよい。
【0142】
情報処理装置50の初期設定がされると、撮像装置510により、設置された空間の少なくとも一部が撮像され、撮像された画像を基に、空間に設置されたオブジェクトやその人物の位置に関する位置関連情報が取得される(S203)。具体的には、情報処理装置50が設置された空間に存在する人物の位置情報、オブジェクト中心、その人物とオブジェクトとの距離情報、及びその人物の頭部回転中心とオブジェクト中心とを結ぶ直線とその人物が向いている方向とで形成される角度情報等が取得される。次いで、撮像装置510により、公知の視点情報取得技術を用いて、取得された画像から視点情報が取得される(S205)。
【0143】
続いて、頭部回転情報取得部551により、情報処理装置50が設置された空間に存在する人物の頭部の回転に伴う角速度と角速度の変化に関する頭部回転情報が取得される(S207)。具体的には、頭部回転情報取得部551は、撮像装置510で取得された画像に表示されている人物の頭部の向きの経時変化を検出して、頭部回転情報を取得する。
【0144】
頭部回転情報が取得された後、注視スコア算出部553により、オブジェクトの注視スコアSが算出される(S209)。詳細には、S201で設定された算出式が使用され、S203〜S207で取得された位置関連情報、視点情報及び頭部回転情報に基づいて、オブジェクトobに対する注視スコアSが算出される。
【0145】
そして、表示制御部557により、注視スコアSに応じた表示方法でオブジェクトが強調表示される(S211)。S203〜S211が順次繰り返され、オブジェクトの注視スコアSが判定閾値以上となったとき、判定部555は、そのオブジェクトを情報処理装置50が設置された空間に存在する人物が注視している注視状態であると判定される。また、算出された注視スコアSが所定の情報表示閾値以上となり情報表示レベルに達したとき、図21に示すように、表示制御装置550により、その情報表示レベルに応じたオブジェクト情報が表示される。表示されるオブジェクト情報は、情報処理装置50が設置された空間に存在する人物が視認できる位置に表示されればよく、そのオブジェクト近傍に表示されてもよいし、所定のスクリーン等に表示されてもよい。なお、その人物が表示されるオブジェクト情報を見ている間は、注視スコア算出部553は、注視スコアを変化させず、一定値に維持してもよい。
【0146】
その後、例えば、情報処理装置50が設置された空間に存在する人物の視点Pが、注視状態と判定されたオブジェクト、又はオブジェクト情報が表示されたオブジェクトから移動すると、注視スコアSが減少して注視状態が解除され、表示されていたオブジェクト情報が消去されてもよい。
【0147】
<<ハードウェア構成>>
以上、本開示に係る実施形態について説明した。上述した情報処理は、ソフトウェアと、以下に説明する情報処理装置のハードウェアとの協働により実現される。
【0148】
図22は、本実施形態に係る情報処理装置のハードウェア構成を示したブロック図である。情報処理装置は、CPU(Central Processing Unit)901と、ROM(Read Only Memory)902と、RAM(Random Access Memory)903と、ホストバス904と、ブリッジ905と、外部バス906と、インタフェース907と、ストレージ装置(HDD)911と、ネットワークインタフェース913とを備える。本実施形態に係る情報処理装置は、入力装置908と、表示装置909と、音声出力装置910と、ドライブ912とを有してもよい。
【0149】
CPU901は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス904により相互に接続されている。CPU901、ROM902及びRAM903とソフトウェアとの協働により、頭部回転情報取得部105、注視スコア算出部107、判定部109等の機能が実現され得る。
【0150】
ホストバス904は、ブリッジ905を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス906に接続されている。なお、必ずしもホストバス904、ブリッジ905及び外部バス906を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
【0151】
入力装置908は、タッチパネル、ボタン、マイクロフォン、センサ、スイッチ及びレバーなどメンバーが情報を入力するための入力手段と、メンバーによる入力に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成され得る。
【0152】
表示装置909は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、プロジェクター装置、OLED(Organic Light Emitting Diode)装置及びランプなどの表示装置を含む。
【0153】
ストレージ装置911は、本実施形態にかかる情報処理装置の記憶部の一例として構成されたデータ記憶用の装置である。ストレージ装置911は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置911は、例えば、HDD(Hard Disk Drive)やSSD(Solid Strage Drive)、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置911は、ストレージを駆動し、CPU911が実行するプログラムや各種データを記憶する。
【0154】
ドライブ912は、記憶媒体用リーダライタであり、情報処理装置に内蔵、あるいは外付けされる。ドライブ912は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体92に記録されている情報を読み出して、RAM903またはストレージ装置911に出力する。また、ドライブ912は、リムーバブル記憶媒体92に情報を書き込むこともできる。
【0155】
ネットワークインタフェース913は、例えば、ネットワーク30に接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース913は、無線LAN(Local Area Network)対応端末であっても、有線による通信を行うワイヤー端末であってもよい。
【0156】
<<5.結び>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0157】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は、上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0158】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザの視点に関する視点情報を取得する視点情報取得部と、
前記ユーザと所定のオブジェクトとの位置に関連する位置関連情報を取得する位置関連情報取得部と、
前記ユーザの頭部の回転に伴う角速度と前記角速度の変化に関する頭部回転情報を取得する頭部回転情報取得部と、
前記視点情報、前記位置関連情報及び前記頭部回転情報に応じてオブジェクト毎に算出され、前記オブジェクトに対する前記ユーザUの注視の程度を表す注視スコアに基づいて、前記ユーザが前記オブジェクトを注視しているかどうかを判定する判定部と、を備える情報処理装置。
(2)
前記判定部は、前記オブジェクトの前記注視スコアが所定の閾値以上のときに、前記ユーザUが前記オブジェクトを注視している注視状態であると判定する、(1)に記載の情報処理装置。
(3)
前記視点情報、前記位置関連情報及び前記頭部回転情報に基づいて、注視スコアを算出する注視スコア算出部を更に備える、(1)又は(2)に記載の情報処理装置。
(4)
前記注視スコア算出部は、前回の算出タイミングで算出された注視スコアと、取得された前記視点情報、前記位置関連情報及び前記頭部回転情報に応じた注視スコア加算量とに基づき、前記注視スコアを算出する、(3)に記載の情報処理装置。
(5)
前記注視スコア算出部は、前記視点情報と前記位置関連情報から算出された前記ユーザの視点と前記オブジェクトの所定の位置との間の距離に応じて前記注視スコアを算出する、(3)又は(4)に記載の情報処理装置。
(6)
前記注視スコア算出部は、前記視点情報と前記位置関連情報から算出された前記ユーザの視点と前記オブジェクトの中心との間の距離に応じて前記注視スコアを算出する、(3)〜(5)のいずれか1つに記載の情報処理装置。
(7)
前記注視スコア算出部は、前記視点情報と前記位置関連情報から算出された前記オブジェクトの外側にある前記ユーザの視点と前記オブジェクトの端部との間の距離に応じて前記注視スコアを算出する、(3)〜(6)のいずれか1つに記載の情報処理装置。
(8)
前記注視スコア算出部は、予め設定された前記オブジェクトに関するオブジェクト情報に基づいて前記注視スコアを算出する、(3)〜(7)のいずれか1つに記載の情報処理装置。
(9)
前記注視スコア算出部は、予め設定された前記ユーザの嗜好を特徴づけるユーザ情報に基づいて前記注視スコアを算出する、(3)〜(8)のいずれか1つに記載の情報処理装置。
(10)
前記注視スコア算出部は、前記注視スコアの履歴に関する注視スコア履歴情報に基づいて、前記注視スコアを算出する、(3)〜(9)のいずれか1つに記載の情報処理装置。
(11)
前記位置関連情報は、前記ユーザと前記オブジェクトとの間の距離に関する距離情報を含み、
前記注視スコア算出部は、前記距離情報に応じて前記注視スコアを算出する、(3)〜(10)のいずれか1つに記載の情報処理装置。
(12)
前記位置関連情報は、前記ユーザの前記オブジェクトに対する相対速度に関する相対速度情報を含み、
前記注視スコア算出部は、前記相対速度情報に応じて前記注視スコアを算出する、(3)に記載の情報処理装置。
(13)
前記オブジェクトの前記注視スコアに応じた、前記オブジェクトの表示方法及び前記注視スコアに応じて提供される前記オブジェクトに関する前記オブジェクトの表示内容の少なくともいずれか一方を制御する表示制御部をさらに備える、(1)〜(12)のいずれか1つに記載の情報処理装置。
(14)
前記判定部は、前記オブジェクトの前記注視スコアが所定の閾値以上のときに、前記ユーザが前記オブジェクトを注視している注視状態であると判定し、
前記表示制御部は、前記注視状態にある前記オブジェクトについて、当該オブジェクトの前記注視スコアが所定の閾値以上であるときに、前記注視スコアに応じて提供される前記オブジェクトに関するオブジェクト情報を表示させる、(1)〜(13)のいずれか1つに記載の情報処理装置。
(15)
前記表示制御部は、前記注視スコアが所定の閾値以上であるときに、前記注視スコアに応じて提供される前記オブジェクトに関するオブジェクト情報を、前記ユーザの視界に重畳するように表示させる、(1)〜(14)のいずれか1つに記載の情報処理装置。
(16)
前記表示制御部は、前記注視スコアが所定の閾値以上である前記オブジェクトを拡大して表示させる、(1)〜(15)のいずれか1つに記載の情報処理装置。
(17)
各々の前記オブジェクトについて予め複数の情報が関連付けられたオブジェクト情報として格納されており、
前記表示制御部は、前記オブジェクト情報の中から、所定の条件に応じて前記オブジェクト情報を出力させる、(1)〜(16)のいずれか1つに記載の情報処理装置。
(18)
前記オブジェクトの前記注視スコアに応じた、前記オブジェクトの表示方法及び前記注視スコアに応じて提供される前記オブジェクトに関する前記オブジェクトの表示内容の少なくともいずれか一方を制御する表示制御部をさらに備え、
前記注視スコア算出部により算出された前記注視スコアを有する前記オブジェクトに関するオブジェクト履歴情報として格納し、
前記表示制御部は、格納された前記オブジェクト履歴情報を参照して、所定の条件に合致する前記オブジェクト情報を出力させる、(1)〜(17)のいずれか1つに記載の情報処理装置。
(19)
ユーザの視点に関する視点情報を取得することと、
前記ユーザと所定のオブジェクトとの位置に関連する位置関連情報を取得することと、
前記ユーザの頭部の回転に伴う角速度と前記角速度の変化に関する頭部回転情報を取得することと、
前記視点情報、前記位置関連情報及び前記頭部回転情報に応じてオブジェクト毎に算出され、前記オブジェクトに対する前記ユーザの注視の程度を表す注視スコアに基づいて、前記ユーザが前記オブジェクトを注視しているかどうかを判定すること、を含む、情報処理方法。
(20)
コンピュータを、
ユーザの視点に関する視点情報を取得する視点取得部、
前記ユーザと所定のオブジェクトとの位置に関連する位置関連情報を取得する位置関連情報取得部、
前記ユーザの頭部の回転に伴う角速度と前記角速度の変化に関する頭部回転情報を取得する頭部情報取得部、及び
前記視点情報、前記位置関連情報及び前記頭部回転情報に応じてオブジェクト毎に算出され、前記オブジェクトに対する前記ユーザの注視の程度を表す注視スコアに基づいて、前記ユーザが前記オブジェクトを注視しているかどうかを判定する注視スコア算出部、
として機能させるためのプログラム。
【符号の説明】
【0159】
1、5 情報処理システム
10、50 情報処理装置
20、60 サーバ
30、70 ネットワーク
101 視点情報取得部
103 位置関連情報取得部
105、551 頭部回転情報取得部
107、553 注視スコア算出部
109、555 判定部
111、557 表示制御部
113、559 通信制御部
115、561 記憶部
510 撮像装置
550 表示制御装置
図1
図2
図3
図4
図5
図6A
図6B
図6C
図6D
図6E
図7
図8
図9
図10A
図10B
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
【国際調査報告】