(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0015】
以下、本発明に係る情報処理装置の実施の形態について、図面に基づいて説明する。なお、以下に説明する実施の形態は、本発明を実施する一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明を実施するにあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。本実施形態において、本発明に係る情報処理装置は、エレベータ、カーナビゲーション装置、オーディオ装置、情報KIOSK端末、セルフレジ端末、家電、等の操作対象について設けられるヒューマンインターフェース装置として実施され得る。但し、本発明の適用対象は、上記した例に限定されない。
【0016】
<装置の構成>
図1は、本実施形態に係る情報処理装置1のハードウェア構成の概略を示す図である。情報処理装置1は、CPU(Central Processing Unit)11と、RAM(Random Access Memory)12と、ROM(Read Only Memory)13と、補助記憶装置19と、指向性表示装置14と、スピーカ15と、ネットワークインターフェース16と、センサユニット20と、が電気的に接続された情報処理装置である。また、情報処理装置1は、ネットワークインターフェース16を介して、操作対象(エレベータ等)の制御装置に接続される。
【0017】
但し、本発明の実施にあたって、本発明に係る装置は、上記した構成を全て備える必要はない。装置の具体的なハードウェア構成に関しては、実施の形態に応じて適宜構成要素の省略や置換、追加が可能である。
【0018】
CPU11は、中央処理装置であり、RAM12およびROM13等に展開された命令およびデータを処理することで、RAM12、補助記憶装置19、入出力装置等の、情報処理装置1に備えられた各構成を制御する。また、RAM12は、主記憶装置であり、CPU11によって制御され、各種命令やデータが書き込まれ、読み出される。即ち、CPU11、RAM12、およびROM13は、情報処理装置1の制御部を構成する。
【0019】
補助記憶装置19は、不揮発性の記憶装置であり、主に情報処理装置1の電源を落としても保持したい情報、例えば、RAM12にロードされる情報処理装置1のOS(Operating System)や、後述するフローチャートに示された処理を実行するための各種プログラムの他、情報処理装置1によって使用される各種データが書き込まれ、読み出される。補助記憶装置19としては、例えば、EEPROM(Electrically Erasable Programmable ROM)やHDD(Hard Disk Drive)等を用いることが出来る。
【0020】
指向性表示装置14は、多視点を得られるレンズ(レンチキュラーレンズ、フライアイレンズ等)や、視差バリア等の技術を用いて、表示領域を視認する方向によって視認させる画素を異ならせることで、一軸方向(例えば、水平方向)または二軸方向(例えば、水平方向および鉛直方向)における指向性表示を可能とした指向性表示装置(以下、「一軸指向性表示装置」または「二軸指向性表示装置」と称する)である。但し、指向性表示装置14として用いられる表示装置は、視認する方向に応じてユーザに視認させる内容を異ならせることが可能なものであればよく、その他の技術を採用することによって指向性を持たせたものであってもよい。また、指向性表示装置14におけるコンテンツの映写技術についても、指向性表示のための構成と共用することが可能なものであれば限定されない。例えば、コンテンツの映写には、フラットパネルディスプレイ、プロジェクタ等を用いることが出来る。
【0021】
図2は、本実施形態において指向性表示装置14を視認するユーザの位置によって、視認される内容が異なる様子を示す図である。
【0022】
本実施形態に係る情報処理装置1では、入出力装置として、主に指向性表示装置14やスピーカ15、センサユニット20等が用いられ、CPU11によって制御され、データを出力し、ユーザによる操作を受け付けることで、ユーザの五感を通じて情報を提供し、ユーザによるジェスチャ操作を介してユーザによる入力を受け付ける。入出力装置から入力された内容はRAM12に記録され、CPU11によって処理される。インターフェースとしては、センサユニット20を介した入力、および指向性表示装置14を介した出力の他、マイク(図示は省略する)およびスピーカ15を用いた音響による入出力を用いることが出来る。
【0023】
また、情報処理装置1が備えるスピーカ15は、指向性スピーカであってもよい。情報処理装置1は、指向性スピーカによる音響の出力方向を、指向性表示装置14による表示方向と合わせることで、複数のユーザから入力される操作に対して、ユーザ毎に異なるコンテンツの出力を、視覚および聴覚の両方において行うことが出来る。指向性スピーカによる音響の出力方向は、指向性表示装置14による表示方向を決定する場合と同様、ユーザ位置情報を参照することによって決定されてよい。
【0024】
なお、ジェスチャには、身振り、手振りの他、視線の移動等も含まれてよい。また、ユーザによる操作は、ジェスチャのみならず、ユーザによる発声等であってもよい。ユーザによる操作は、ユーザによって意識的に行われる動作であってもよいし、ユーザによって無意識的に行われる動作であってもよい。但し、操作はユーザによる動作でなくてもよい。ユーザによる操作は、例えば、コントローラや携帯端末装置等の、ユーザが操作する装置を用いて行われてもよい。
【0025】
センサユニット20は、ユーザまたはユーザの眼を認識し、また、ユーザによるジェスチャを検出するための情報を取得する。センサユニット20は、1または複数のセンサを含み、複数のユーザまたはユーザの夫々の眼の存在および位置を同時に認識し、また、複数のユーザによるジェスチャを同時に検出可能な構成が用いられる。ユーザの眼を認識する場合、左右の眼を夫々別の対象物として認識してもよい。以下に、センサユニット20の具体的な構成の例を示す。
【0026】
(1)可視光(RGB)および赤外線の少なくとも一方を撮像する単眼カメラ
図3は、本実施形態において、可視光(RGB)および赤外線の少なくとも一方を撮像する単眼カメラを含むセンサユニット20が用いられる場合の、センサユニット20の配置の例を示す図である。情報処理装置1は、単眼カメラから取得された画像情報に基づいて、顔認識技術を含む画像解析技術や視線認識技術を用いたユーザ位置情報の取得、動画像解析技術を用いたジェスチャ検出、等を行うことが出来る。
【0027】
(2)可視光および赤外線の少なくとも一方を撮像するステレオカメラ
図4は、本実施形態において、可視光および赤外線の少なくとも一方を撮像するステレオカメラを含むセンサユニット20が用いられる場合の、センサユニット20の配置の例を示す図である。このようなセンサユニット20は、単眼カメラと同様の機能を備える他、ステレオカメラで撮像された画像を比較し、視差に基づいて対象までの距離を算出する方法(受動ステレオ法)によって、所謂深度センサとして用いることが可能である。深度センサを用いた場合、深度情報を得ることが出来る。なお、深度情報は、撮像された対象までの距離(深度)を含む情報であり、受動ステレオ法、構造化光投影法、往復伝搬時間法、等を用いることによって、取得することが出来る。
【0028】
(3)赤外構造化光照射装置と赤外線カメラとの組み合わせ
図5は、本実施形態において、赤外構造化光照射装置(赤外線エミッター)と、赤外線カメラとの組み合わせを含むセンサユニット20が用いられる場合の、センサユニット20の配置の例を示す図である。このようなセンサユニット20は、単眼カメラと同様の機能を備える他、赤外構造化光照射装置から照射された赤外構造化光の反射光を赤外線カメラによって撮像する方法(構造化光投影法)や、赤外線エミッターから照射された赤外線パルスの反射光を赤外線カメラによって撮像し、照射された赤外線パルスのTOF(Time Of Flight:飛行時間)を計測する方法(往復伝搬時間法)によって、所謂深度センサとして用いることが可能である。また、照射された赤外線の、ユーザの眼球からの反射光をカメラによって撮像し、この撮像結果に基づいてユーザの視線がカメラの撮像視点を向いているか否かを判定することで、視線認識を行うことも可能である。
【0029】
但し、赤外構造化光照射装置を用いる場合であっても、センサユニット20は、可視光カメラを更に含んでもよいし、赤外線パルスの反射光撮像用のカメラとして、赤外線に加えて可視光も撮像可能なカメラが採用されてもよい。これは、位置情報の取得やジェスチャ検出は、赤外線カメラによって撮像された画像に基づいても可能であるが、可視光カメラを更に備えることで、より精度の高い顔認識が可能となるからである。
【0030】
<キャリブレーション>
上記説明したような指向性表示装置14では、ユーザの頭や眼等の位置(視点位置)に合わせてユーザに所望のコンテンツを視認させるために、センサユニット20を用いて視点位置が認識され、視点位置に対応した表示方向毎に、当該視点位置から視認させたいコンテンツが出力されることが好ましい。なお、ここで「表示方向」とは、本発明に係る表示装置において、視認する位置に応じて視認させる内容を異ならせるような表示を行う場合に、表示装置の表示領域から見て、当該内容を視認できる対象物が存在する方向である。このような表示方向は、視点位置の位置情報に基づいて、予め用意された計算式やテーブルを用いて表示方向を取得されてもよいし、視点位置の位置情報、指向性表示装置14の位置およびセンサの位置の相対的な位置関係から幾何学計算によって算出されてもよい。
【0031】
ここで、センサユニット20によって認識された視点位置と、指向性表示装置14による表示方向との一致度を高めるためには、多くの場合調整が必要である。そして、このような調整を、人手によって行うことも可能ではあるが、これには多くの経験と手間が必要となる。このため、本実施形態では、キャリブレーション装置を用いて、センサユニット20によって認識された視点位置と、指向性表示装置14による表示方向とのキャリブレーション(較正)を行うこととした。
【0032】
以下、指向性表示装置14に対する視点位置と指向性表示装置14による表示方向とのキャリブレーションを行うための装置および方法について説明する。キャリブレーションは、例えば、指向性表示装置14の製造時、検査時、または設置時等に実施される。
【0033】
本実施形態では、情報処理装置1は、検知器9に接続され、キャリブレーション用のプログラムを実行することによって、キャリブレーション装置として機能する。但し、キャリブレーション装置は、情報処理装置1とは別個の情報処理装置として実現されてもよい。この場合、キャリブレーション装置は、CPU、RAM、ROMおよび補助記憶装置を備え、情報処理装置1および検知器9へ接続されるコンピュータである。
【0034】
検知器9は、指向性表示装置14による表示を検知可能な装置である。検知器9としては、指向性表示装置14からの出力を検知可能な装置であればどのような装置が用いられてもよい。検知器9は、出力内容を判別可能な程度の検知が可能なものであってもよいし、単に指向性表示装置14において出力が行われたことを検知可能なものであってもよい。本実施形態では、検知器9としてカメラが用いられる。検知器9は、指向性表示装置14からの出力を検知し、検知された内容をキャリブレーション装置(本実施形態では、情報処理装置1)に通知する。
【0035】
本実施形態において用いられる検知器9は、指向性表示装置14による表示を検知器9が検知した際に明滅するランプを備える。このランプは、検知器9が設置された状態でセンサユニット20から認識可能な位置に設けられることで、キャリブレーション装置に対して、検知器9による検知が行われたことを通知する役割を果たす。但し、キャリブレーション装置がその他の通信手段によって検知に係る検知器9の位置情報を取得することが可能な場合には、検知器9はこのようなランプを有さなくてもよい。
【0036】
図6および
図7は、本実施形態に係るキャリブレーションのために検知器9が設置された様子を示す図である。検知器9は、指向性表示装置14による表示を視認可能な位置に設置される。
図6は、複数の検知器9を指向性表示装置14から見て略等距離に並べる配置の例を示しており、一軸指向性表示装置のためのキャリブレーションに適している。
図7は、検知器9を指向性表示装置14から見て異なる距離に配置する例を示しており、二軸指向性表示装置のためのキャリブレーションに適している。但し、これらの図に示した検知器9の配置は例示であり、検知器9は、指向性表示装置14が運用のために設置された状態でユーザの視点が存在し得る複数の位置に設置されることが好ましい。なお、図中に示された破線矢印(α)から(ε)は、センサユニット20によって認識される検知器9の夫々の位置(視点位置)を示し、図中の実線矢印(A)から(E)は、指向性表示装置14から見た検知器9の方向(表示方向)を示す。
【0037】
図8は、本実施形態に係るキャリブレーション装置の機能構成の概略を示す図である。本実施形態に係る情報処理装置1は、CPU11が、RAM12に展開された各種プログラムを解釈および実行することで、検知器情報取得部40と、表示制御部39と、表示方向取得部41と、関連付け部42と、を備えるキャリブレーション装置として機能する。また、本実施形態では、これらの機能がいずれも汎用のCPU11によって実行される例について説明しているが、これらの機能は、その一部または全部が、1または複数の専用のプロセッサによって実現されてもよい。
【0038】
検知器情報取得部40は、指向性表示装置14による表示を視認可能な範囲に設置された検知器9の検知器情報を取得する。ここで、検知器情報は、センサユニット20を用いて取得された検知器9の位置に係る情報を含む。また、検知器9の位置に係る情報には、例えば、検知器9のセンサユニット20からの方向を示す情報が含まれる。
【0039】
表示制御部39は、本実施形態において、指向性表示装置14による表示コンテンツおよび表示方向等を制御する。キャリブレーション処理において、表示制御部39は、指向性表示装置14に、表示方向毎に表示コンテンツまたはタイミングが異なる表示を行わせる。
【0040】
表示方向取得部41は、検知器9によって検知された、指向性表示装置14による表示コンテンツまたはタイミングに基づいて、検知器9が設置された位置から表示を認識可能な表示方向を取得する。
【0041】
関連付け部42は、取得された検知器情報と表示方向とを関連付ける。
【0042】
図9は、本実施形態におけるキャリブレーションテーブルの構成を示す図である。キャリブレーションテーブルには、検知器9の設置位置毎に、設置位置(視点位置)の位置情報と、当該検知器9によって検知された表示方向と、が関連付けて蓄積される。キャリブレーションテーブルは、キャリブレーション処理によって生成され、その後、視点位置毎の表示方向を決定するために参照される。なお、視点位置の位置情報は、センサユニット20や指向性表示装置14から見た方向(角度等)で示されてもよいし、方向(角度等)と距離の組み合わせで示されてもよいし、ベクトルで示されてもよいし、座標で示されてもよい。
【0043】
図10は、本実施形態におけるキャリブレーション処理の流れを示すフローチャートである。以下、フローチャートを用いて、本実施形態に係るキャリブレーション処理の流れを説明する。なお、本実施形態においてフローチャートを用いて説明される処理の具体的な内容および順序等は、本発明を実施する上での一例である。具体的な処理内容および順序等は、実施の形態に応じて適宜選択されることが好ましい。
【0044】
ステップS001では、指向性表示装置14による表示および検知器9による表示の検知が行われる。表示制御部39は、指向性表示装置14に、指向性表示装置14によって表示可能な表示方向のうち未検査である一の表示方向に対して表示を行わせる。ここで、本フローチャートに示されたキャリブレーション処理は、ステップS005において後述するとおり、表示方向を切り替えながら行われる。このため、表示制御部39による表示は、表示方向ごとにタイミングが異なる表示となる。そして、この表示が行われている間に、検知器9は、表示の検知を行う。その後、処理はステップS002へ進む。
【0045】
ステップS002では、表示を検知した検知器9の位置情報が取得される。検知器情報取得部40は、ステップS001における表示を検知した検知器9から、表示を検知したことを示す通知を取得する。本実施形態では、指向性表示装置14による表示を検知した検知器9は、表示を検知したことを意味する表示(例えば、検知器9に備えられたランプの明滅等)を行うことによって、表示を検知したことをキャリブレーション装置に通知する。キャリブレーション装置は、センサユニット20によって取得された画像を解析し、表示を検知したことを意味する表示を行っている検知器9を認識する。この画像解析によって、検知器情報取得部40は、指向性表示装置14による表示を検知した検知器9からの通知を受信する。更に、検知器情報取得部40は、検知器9の位置に係る情報である検知器情報を取得する。ここで、検知器情報は、センサユニット20によって取得された画像を解析することで取得された、検知器9の位置情報を含む。その後、処理はステップS003へ進む。
【0046】
ステップS003では、検知に係る表示方向が取得される。ステップS001における表示を検知した検知器9がある場合、表示方向取得部41は、ステップS001において表示を行った表示方向を、検知器9が設置された位置から表示を認識可能な表示方向として取得する。ステップS001において説明した通り、本実施形態における表示制御部39による表示は、表示方向ごとにタイミングが異なる表示となる。このため、表示方向取得部41は、検知器9によって表示が検知されたタイミングに基づいて、表示が行われた表示方向を取得することが出来る。その後、処理はステップS004へ進む。
【0047】
ステップS004では、検知器9の位置情報と表示方向とが関連付けられる。関連付け部42は、ステップS002において取得された検知器9の位置情報と、ステップS001において表示が行われた表示方向とを関連付けて、キャリブレーションテーブルに記録する。その後、処理はステップS005へ進む。
【0048】
ステップS005では、未検査の表示方向があるか否かが判定される。キャリブレーション装置は、検査対象だが未検査の表示方向があるか否かを判定する。未検査の表示方向があると判定された場合、処理はステップS001へ進む。即ち、本フローチャートに示した処理では、検査の対象となっている表示方向の全てについて検査が行われるまで、ステップS001からステップS003の処理が繰り返される。一方、未検査の表示方向がないと判定された場合、本フローチャートに示された処理は終了する。
【0049】
上記説明したキャリブレーション処理によってキャリブレーションテーブルが生成されることで、指向性表示装置14は、センサユニット20によって認識されたユーザまたはユーザの眼に所望のコンテンツを視認させたい場合に、認識されたユーザまたはユーザの眼の位置(視点位置)の位置情報に基づいてキャリブレーションテーブルを検索するのみで、対応する正確な表示方向を得ることが出来る。
【0050】
なお、表示制御部39は、予め用意された表示方向と表示の内容またはタイミングとの関係を示す表示制御情報に基づいて表示制御を行い、表示方向取得部41は、表示制御情
報を参照することで、表示の内容またはタイミングに基づいて、該検知器9が設置された位置から表示を認識可能な表示方向を取得してもよい。
【0051】
例えば、表示制御部39は、指向性表示装置14に、表示方向毎に表示コンテンツ(色や画像)を変えて複数の表示方向に対して同時に表示を行わせてもよい。この場合、表示方向と表示コンテンツとの関係を示す表示制御情報をキャリブレーション装置が保持しておくことで、検知器9によって検知された表示コンテンツに基づいて表示制御情報を検索し、各検知器9が夫々どの表示方向への表示を検知したのかを特定することが出来る。
【0052】
また、指向性表示装置14による表示が複数の検知器9によって感知された場合、複数の検知器9の位置情報の加重平均をとった値が、位置情報としてキャリブレーションテーブルに格納されてもよい。検知器9間の間隙は線形ないし適当な近似曲線を用いて補完する構成としてもよい。テーブル要素間の間隙に関しても補完を行い、表示方向の加重平均を取る方法としてもよい。
【0053】
なお、上記フローチャートを用いて説明したキャリブレーション処理では、検知に伴って検知器9のランプ等を明滅させ、ランプ等の明滅のあった検知器9の位置情報を取得することで、表示の検知が行われた視点位置を知ることとしている。しかし、このような方法に代えて、表示を検知した検知器9から通知された検知器識別子に従って、表示が検知された視点位置を知ることとしてもよい。この場合、表示を検知した検知器9は、キャリブレーション装置に検知器識別子を通知することで、表示を検知したことを示す通知を行い、キャリブレーション装置は、検知器識別子と検知器設置位置(視点位置)の位置情報とが関連付けられたテーブルを、検知器識別子を用いて検索することで、検知器9の位置情報を取得する。
【0054】
検知器識別子と検知器設置位置(視点位置)の位置情報とを関連付ける方法としては、例えば、検知器9毎に異なる標識(検知器識別子等)を検知器9の前面に付けておき、センサユニット20から得られた画像を解析することで検知器識別子を取得し、検知器識別子と検知器9の位置情報とを関連付ける方法が採用されてよい。また、検知器9を設置する毎にセンサユニット20によって新たに追加された検知器9を検出し、検出された位置(視点位置)の位置情報を追加された検知器9の検知器識別子と関連付ける方法が採用されてもよい。このような方法が採用される場合、キャリブレーション処理において、検知器9は検知したことの通知と共に自身の検知器識別子をキャリブレーション装置に通知する。
【0055】
<指向性表示>
図11は、本実施形態に係る情報処理装置1の機能構成の概略を示す図である。本実施形態に係る情報処理装置1は、CPU11が、RAM12に展開された各種プログラムを解釈および実行することで、画像情報取得部31と、位置情報取得部32と、ユーザ情報保持部33と、ユーザ情報登録部34と、ユーザ情報更新部35と、ユーザ情報削除部36と、ユーザ操作検出部37と、表示方向決定部38と、表示制御部39と、を備える情報処理装置1として機能する。また、本実施形態では、これらの機能がいずれも汎用のCPU11によって実行される例について説明しているが、これらの機能は、その一部または全部が、1または複数の専用のプロセッサによって実現されてもよい。
【0056】
画像情報取得部31は、センサユニット20を用いて、指向性表示装置14を視認可能な範囲の撮像画像を含む画像情報を取得する。また、画像情報には、深度を測定可能なセンサユニット20を用いて取得された深度情報が含まれてもよい。
【0057】
位置情報取得部32は、画像情報を解析することによって、指向性表示装置14を視認
可能な範囲にある複数の対象物(例えば、ユーザの頭部またはユーザの眼)の位置情報を取得する。例えば、ユーザ位置情報は、画像情報に含まれる深度情報を参照することによって取得されてもよい。ユーザ位置情報の取得に深度情報を用いることで、ユーザ同士の奥行方向の前後関係を容易に把握することが出来る。なお、本実施形態では、ユーザ位置情報は画像情報の解析によって取得することとしているが、ユーザ位置情報の取得にはその他の方法が採用されてもよい。ユーザ位置情報は、例えば、指向性表示装置14を視認可能な範囲に設置されたセンサーマットや、音波を用いた位置検出、等を用いて取得されてもよい。
【0058】
ユーザ情報保持部33は、位置情報取得部32によって取得されたユーザ位置情報を含むユーザ情報を、RAM12または補助記憶装置19上のユーザ情報テーブルに保持する。
【0059】
図12は、本実施形態において用いられるユーザ情報テーブルの構成を示す図である。ユーザ情報は、情報処理装置1によって認識されている、指向性表示装置14を視認可能な範囲に存在するユーザを管理するための情報であり、ユーザ情報テーブルに記憶される。ユーザ情報は、ユーザ識別情報、ユーザ位置情報、ユーザ領域マップ、および非発見カウンタを含む。
【0060】
ユーザ情報登録部34は、位置情報取得部32によって取得されたユーザ位置情報に係るユーザ情報が、ユーザ情報保持部33に保持されていない場合に、当該ユーザ位置情報を含むユーザ情報を登録し、ユーザ情報保持部33に保持させる。
【0061】
ユーザ情報更新部35は、位置情報取得部32によって取得されたユーザ位置情報が、ユーザ情報保持部33に保持されている場合に、当該ユーザ位置情報を用いて当該ユーザ情報を更新する。本実施形態に係る情報処理装置1によれば、ユーザ位置情報を更新することでユーザを追尾し、最新のユーザ位置に表示方向を追従させることが出来る。
【0062】
ユーザ情報削除部36は、ユーザ情報保持部33によって保持されているユーザ位置情報が更新されない場合に、当該ユーザ位置情報に係るユーザ情報を削除する。
【0063】
ユーザ操作検出部37は、画像情報から、ユーザ毎に、ユーザによる操作に対応する所定のジェスチャ(動作)を検出することで、ユーザによる操作を検出する。但し、本実施形態では、ユーザによる操作をジェスチャによって行う場合について説明しているが、ユーザによる操作はジェスチャでなくてもよい。ユーザによる操作は、例えば、コントローラや携帯端末装置等の、ユーザが操作する装置を用いて行われてもよい。
【0064】
表示方向決定部38は、位置情報を用いたキャリブレーションテーブルの検索結果に基づいて、指向性表示装置14を対象物の位置から見た場合に視認可能な表示方向を決定する。
【0065】
表示制御部39は、先述の通り、本実施形態において、指向性表示装置14による表示コンテンツおよび表示方向等を制御する。ここで、表示制御部39は、位置情報取得部32によって取得された対象物の位置情報に基づいて、当該位置情報が示す位置から視認可能なように、当該対象物のためのコンテンツを出力する。即ち、本実施形態に係る情報処理装置1は、指向性表示装置14と、指向性表示装置14を視認可能な範囲にある対象物の位置情報を取得する位置情報取得部32と、を有することで、指向性入出力装置として機能する。
【0066】
以下、フローチャートを用いて、本実施形態に係る処理の流れを説明する。なお、本実
施形態においてフローチャートを用いて説明される処理の具体的な内容および順序等は、本発明を実施する上での一例である。具体的な処理内容および順序等は、実施の形態に応じて適宜選択されることが好ましい。
【0067】
図13は、本実施形態に係るユーザ情報管理処理の流れを示すフローチャートである。本フローチャートに示された処理は、情報処理装置1の起動中に、継続的または定期的に実行される。
【0068】
ステップS101では、画像情報が取得される。画像情報取得部31は、センサユニット20を用いて撮像された画像情報を取得する。ここで取得される画像情報は、撮像された動画像から所定の時間分切り出された動画像であってもよいし、撮像された動画像から1コマ分切り出された静止画像であってもよい。取得する画像情報を動画像とするか静止画像とするかは、ステップS102からステップS104での処理において採用される、画像認識技術の方式に従って決定されることが好ましい。例えば、画像内で動いているものをユーザとして検出する方式が採用される場合には、動画像を含む画像情報が取得される。また、ここで取得される画像情報には、撮像画像における画素毎のセンサユニット20の撮像視点からの距離(深度)を示す深度情報が含まれてもよい。その後、処理はステップS102へ進む。
【0069】
ステップS102では、ユーザ頭部が検出される。位置情報取得部32は、ステップS101において取得された画像情報に基づいて、画像情報に含まれる画像の中から、ユーザの頭部を検出する。但し、検出の対象物は視点位置の基準となるものであればよく、例えばユーザの左右の眼に対して異なるコンテンツ(立体視用のコンテンツ等)を視認させたい場合、検出の対象物はユーザ毎の左目および右目である。ユーザ頭部の検出には、一般的に用いられている、顔認識技術を含む画像解析技術を用いることが可能であり、またどのような方式の画像解析技術が用いられてもよい。このため、ユーザ頭部の検出の詳細については説明を省略する。例えば、位置情報取得部32は、目と口の位置関係等を予め保持しておき、画像内からこの位置関係にある特徴を抽出することで、ユーザ頭部を検出することが出来る。
【0070】
また、画像情報に深度情報が含まれている場合には、ユーザ頭部の検出に深度情報が用いられてもよい。深度情報を参照することで、撮像画像における画素毎のセンサユニット20の撮像視点からの距離が把握可能である。このため、位置情報取得部32は、ユーザのシルエット部分を容易に抽出し、ユーザのシルエット部分から、頭部に相当する部分を特定することで、ユーザの頭部を検出することが出来る。
【0071】
ユーザ頭部が検出されると、処理はステップS103へ進む。なお、本実施形態では、ユーザ頭部を検出し、これをユーザ位置管理の基準としているが、画像情報からの検出対象は、ユーザの位置を示す際の規準となる体の部位であればよく、ユーザの頭部に限定されない。また、ユーザ頭部(またはユーザの眼)の検出には、視線認識技術が用いられてもよい。
【0072】
ステップS103では、ユーザ位置情報が取得される。位置情報取得部32は、ステップS102において検出された全てのユーザ領域についてユーザの頭部(または、ユーザの眼)の位置を取得し、これをユーザ位置情報とする。但し、ユーザの左右の眼に対して異なるコンテンツ(立体視用のコンテンツ等)を視認させたい場合、ユーザの左目および右目について異なるユーザ位置情報が取得される。その後、処理はステップS104へ進む。
【0073】
ステップS104では、ユーザ領域が取得される。位置情報取得部32は、ステップS
101において取得された画像情報に基づいて、撮像画像における、ユーザが撮像されている領域(換言すれば、撮像画像中のユーザのシルエット部分)を取得する。ユーザ領域の取得には、一般的に用いられている画像解析技術を用いることが可能であり、またどのような方式の画像解析技術が用いられてもよい。このため、ユーザ領域の取得の詳細については説明を省略する。例えば、位置情報取得部32は、人型のシルエットを予め保持しておき、画像内からこのシルエットに近似するエッジを抽出することで、ユーザ領域を取得することができる。位置情報取得部32は、取得されたユーザ領域を、撮像画像に対応する情報にマッピングすることで、ユーザ領域マップを生成する。例えば、ユーザ領域マップは、撮像画像と同サイズの2値画像において、ユーザが撮像されている画素を1、ユーザが撮像されていない画素を0でマッピングした情報である。
【0074】
また、画像情報に深度情報が含まれている場合には、ユーザ領域の取得に深度情報が用いられてもよい。深度情報を参照することで、撮像画像における画素毎のセンサユニット20の撮像視点からの距離が把握可能である。このため、深度情報によれば、ユーザのシルエット部分を容易に抽出し、ユーザ領域とすることが可能である。ユーザ領域が取得されると、処理はステップS105へ進む。
【0075】
ステップS105では、取得されたユーザ位置情報およびユーザ領域マップに係るユーザ情報が登録済みであるか否かが判定される。情報処理装置1は、ステップS103において取得されたユーザ位置情報、およびステップS104において取得されたユーザ領域マップを含むユーザ情報が、既にユーザ情報テーブルに登録済みであるか否かを判定する。取得されたユーザ情報が登録済みであるか否は、取得されたユーザ情報と登録済みのユーザ情報とを比較することで、判定することが出来る。より具体的には、取得されたユーザ情報と登録済みのユーザ情報との差分を算出し、差分が所定の閾値以下である場合に登録済みと判定し、差分が所定の閾値を超えている場合に未登録と判定することが出来る。取得されたユーザ情報が登録済みであると判定された場合、処理はステップS106へ進む。一方、取得されたユーザ情報が登録済みでないと判定された場合、処理はステップS107へ進む。
【0076】
ステップS106では、ユーザ情報が更新される。ユーザ情報更新部35は、ステップS103およびステップS104において取得されたユーザ情報を用いて、当該ユーザに係るユーザ情報を更新する。先述の通り、本フローチャートに示された処理は、情報処理装置1の起動中に、継続的または定期的に実行される。このため、本ステップにおいてユーザ情報に含まれるユーザ位置情報およびユーザ領域マップは最新の情報に更新され、ユーザ操作検出部37は、ユーザ情報に含まれるユーザ位置情報およびユーザ領域マップを参照することで、最新のユーザ領域からジェスチャ等を検出することが出来、また、表示制御部39は、最新のユーザ位置から視認可能なように、指向性表示装置14による表示を行うことが出来る。その後、処理はステップS108へ進む。
【0077】
ステップS107では、ユーザ情報が登録される。ユーザ情報登録部34は、ユーザ情報を新たに生成し、このユーザ情報に、ステップS103において取得されたユーザ位置情報、およびステップS104において取得されたユーザ領域マップを含めて、ユーザ情報テーブルに登録する。先述の通り、本フローチャートに示された処理は、情報処理装置1の起動中に、継続的または定期的に実行される。このため、ここで登録されたユーザ情報は、本フローチャートに示された処理が繰り返されることで、ステップS106において更新される。その後、処理はステップS108へ進む。
【0078】
ステップS108では、取得された全てのユーザ情報について処理が終了したか否かが判定される。情報処理装置1は、ステップS103およびステップS104において取得された全てのユーザ情報について、更新または登録が完了したか否かを判定する。取得さ
れた全てのユーザ情報について更新または登録が完了している場合、処理はステップS109へ進む。更新または登録が完了していないユーザ情報がある場合、処理はステップS105へ進む。即ち、本フローチャートに示された処理によれば、ステップS103およびステップS104において取得された全てのユーザ情報について更新または登録が終了するまで、ステップS105からステップS108に示された処理が繰り返される。
【0079】
ステップS109では、更新されなかった登録済みユーザ情報において、非発見カウンタがインクリメントされる。情報処理装置1は、ユーザ情報テーブルに登録済みのユーザ情報のうち、ステップS106における更新がされなかったユーザ情報、換言すれば、ユーザ情報テーブルに登録済みであるにも拘らず、画像情報から検出されなかったユーザに係るユーザ情報を特定する。そして、情報処理装置1は、特定されたユーザ情報に含まれる非発見カウンタに1加算する。非発見カウンタは、ユーザ情報が新たに登録された際、およびユーザ情報が更新された際に0(ゼロ)にリセットされる。また、先述の通り、本フローチャートに示された処理は、情報処理装置1の起動中に、継続的または定期的に実行される。即ち、非発見カウンタは、本フローチャートに示すユーザ情報管理処理において画像情報からユーザ情報に係るユーザが連続して検出されなかった回数を示す情報である。更新されなかった全てのユーザ情報について非発見カウンタの更新が完了すると、処理はステップS110へ進む。
【0080】
ステップS110では、非発見カウンタが所定の閾値を超えているユーザ情報が削除される。ユーザ情報削除部36は、ユーザ情報テーブルに登録済みのユーザ情報のうち、非発見カウンタが所定の閾値(例えば、5回)を超えているユーザ情報を削除する。このようにすることで、所定回数以上検出されなかったユーザに係るユーザ情報を、当該ユーザがセンサユニット20による撮像範囲から去ったものとみなして、ユーザ情報テーブルから削除することが出来る。その後、本フローチャートに示された処理は終了する。但し、先述の通り、本フローチャートに示された処理は、情報処理装置1の起動中に、継続的または定期的に実行される。このため、情報処理装置1の起動中、画像情報の取得、ユーザ位置の取得、ユーザ情報の更新、登録および削除は、継続的または定期的に実行される。
【0081】
図14は、本実施形態に係る指向性表示制御処理の流れを示すフローチャートである。本フローチャートに示された処理は、情報処理装置1の起動中に、継続的または定期的に実行される。
【0082】
ステップS201では、ユーザの現在の位置情報が取得される。表示方向決定部38は、ユーザ情報から、指向性表示装置14を視認可能な範囲に居る複数のユーザのユーザ位置情報を取得する。
【0083】
ステップS202では、ユーザの現在の位置に対応する表示方向が決定される。表示方向決定部38は、キャリブレーションテーブルから、ステップS201で取得されたユーザ位置情報が示す位置に一致するかまたは最も近い視点位置の位置情報に関連付けられた表示方向を索出し、索出された表示方向を、当該ユーザのための表示コンテンツの表示方向として決定する。但し、ユーザ位置情報に一致するかまたは十分に近似する(差異が閾値未満の)位置情報がキャリブレーションテーブル内に無い場合、表示方向は、キャリブレーションテーブルに蓄積された複数の位置情報および表示方向に基づく補完処理によって決定されてもよい。表示方向が決定されると、処理はステップS203へ進む。
【0084】
ステップS203およびステップS204では、ユーザ毎に用意されたコンテンツが取得され、ユーザ毎に対応する表示方向にコンテンツが出力される。表示制御部39は、ユーザ毎に異なるコンテンツを視認させるために、ユーザ毎に用意されたコンテンツを、RAM12または補助記憶装置19から取得する(ステップS203)。更に、表示制御部
39は、ユーザ毎に、ステップS202で決定された表示方向に、当該ユーザのためのコンテンツを出力する(ステップS204)。その後、本フローチャートに示された処理は終了する。
【0085】
上記説明したユーザ情報管理処理および指向性表示制御処理が実行されることによって、ユーザ情報が最新の情報に更新され、情報処理装置1は、最新のユーザ位置から視認可能なように、表示装置による表示を行うことが出来る。即ち、本実施形態によれば、ユーザ位置情報を更新することでユーザを追尾し、最新のユーザ位置に表示方向を追従させることが出来る。
【0086】
ここで、レンチキュラー方式の指向性表示装置が用いられる場合の、ユーザ毎に対応する表示方向にコンテンツが出力される具体例について説明する。
【0087】
図15は、レンチキュラー方式の指向性表示装置に入力されるための多視点コンテンツを合成するための多視点コンテンツ合成器の概念を示す図である。表示制御部39は、複数のコンテンツ(
図15に示す例では、コンテンツ(A)から(C))を用意し、それを多視点コンテンツ合成器に入力する。多視点コンテンツ合成器は、入力された複数のコンテンツを合成し、指向性表示装置に表示させる。このようにすることで、指向性表示装置は、夫々異なるコンテンツを各表示方向に表示する。
【0088】
図16は、レンチキュラー方式の指向性表示装置が用いられる場合の多視点コンテンツ合成の概念を示す図である。水平方向に多視点を得られる一軸指向性表示装置に入力するための多視点コンテンツを合成する場合、表示制御部39は、表示方向毎に用意された入力コンテンツ(
図16に示す例では、コンテンツA、BおよびC)を夫々垂直にスライスし、それらを順次並べることによって多視点コンテンツを合成する。以下、コンテンツA、BおよびCの並び順を「オフセット」と称する。
図16に示す例では、コンテンツA、BおよびCに対して0、1または2のオフセットが付加される。各オフセットは、レンチキュラーレンズおよび表示装置の特性に基づいて、夫々特定の表示方向に対応する。
【0089】
レンチキュラー方式の場合、各表示方向に表示される複数のコンテンツは、オフセットが付された一のコンテンツに合成されるため、表示方向はオフセットで決定される。このため、キャリブレーションテーブル内の表示方向は、オフセットによって表現されてもよいし、表示方向とオフセットとの変換テーブルが更に用意されてもよい。また、表示方向としては、指向性表示装置の方式に応じて、時間的なオフセットや方向の角度表現が用いられてもよい。
【0090】
図15および
図16を用いて上記に説明した例は、レンチキュラー方式による水平方向(一軸)方向の指向性表示を行う場合の例である。多視点コンテンツの合成方法としては、フライアイレンズを用いる場合の水平垂直の二軸の合成方法、またフレックスバリア方式を用いる場合の時分割方式の合成方法等、様々な合成方法がある。このため、表示方向に対応するパラメータとしては、合成方法に応じて、オフセットの他、ベクトルや表示フレームの時間オフセット等が用いられ得る。
【0091】
<優先制御を伴う指向性表示>
本実施形態に開示されているような指向性表示装置14において、複数のユーザに対して互いに異なるコンテンツが表示されている場合、あるユーザが移動して他のユーザのためのコンテンツを閲覧可能な視点位置の範囲に入る(換言すれば、他のユーザと同一の表示方向の範囲に入る)可能性がある。
【0092】
本実施形態では、このような状況において、表示内容を閲覧者毎に適切に制御するため
、優先制御を伴う指向性表示を行うこととしてもよい。本実施形態に係る優先制御を伴う指向性表示では、コンテンツの閲覧権限を持たないユーザに対する当該コンテンツの表示が許可されない。
【0093】
本実施形態において、ユーザは予め用意されたユーザアカウントを用いてシステムにログインすることが出来る。閲覧者権限は、ユーザアカウントに紐付けられている。ユーザは、ログインすると、自身が閲覧の権限を有するコンテンツを、指向性表示装置14の、自身が閲覧可能な表示方向に表示させることが出来る。なお、ユーザが閲覧可能な表示方向への表示については、
図14のフローチャートを用いて上述した通りである。
【0094】
本実施形態において、コンテンツには夫々閲覧可権限のレベルが設定されており、ユーザの閲覧者権限と同等ないし低い閲覧可権限が設定されたコンテンツが、当該閲覧者権限を有するユーザに対して閲覧可能に表示される。なお、ログインしていないユーザは、最低レベルの閲覧者権限を有するもの(所謂ゲストユーザ)として扱われてもよい。また、ログインの方法は、ユーザ操作検出部37によってユーザ毎に予め定められたジェスチャ(パスジェスチャ)が検出される方法の他、ユーザ名およびパスワードを入力するインターフェースが入力される方法が採用されてもよい。
【0095】
図17は、本実施形態に係る情報処理装置1が優先制御を伴う指向性表示を行う場合の機能構成の概略を示す図である。本実施形態に係る情報処理装置1は、CPU11が、RAM12に展開された各種プログラムを解釈および実行することで、
図11を用いて説明した画像情報取得部31と、位置情報取得部32と、ユーザ情報保持部33と、ユーザ情報登録部34と、ユーザ情報更新部35と、ユーザ情報削除部36と、ユーザ操作検出部37と、表示方向決定部38と、表示制御部39と、に加え、位置関係検出部43と、閲覧権限判定部44と、を備える情報処理装置1として機能する。また、本実施形態では、これらの機能がいずれも汎用のCPU11によって実行される例について説明しているが、これらの機能は、その一部または全部が、1または複数の専用のプロセッサによって実現されてもよい。
【0096】
表示制御部39は、指向性表示装置14に、ユーザ毎のコンテンツを、夫々のユーザの位置情報が示す位置から視認可能に表示させる。ここで、表示制御部39は、位置情報取得部32によって取得された対象物の位置情報に基づいて、当該位置情報が示す位置から視認可能なように、当該対象物のためのコンテンツを出力する。但し、優先制御を伴う指向性表示制御処理において、表示制御部39は、位置関係検出部43によって所定の位置関係が検出された場合に、指向性表示装置14に、コンテンツのうち、同一の表示方向に居る複数のユーザの少なくとも何れかが閲覧権限を有さないコンテンツの表示を停止させる。
【0097】
位置関係検出部43は、複数のユーザの位置情報が示す位置が指向性表示装置14によって同一の表示方向に表示されたコンテンツを閲覧可能な所定の位置関係となったことを検出する。
【0098】
閲覧権限判定部44は、ユーザが視認可能なコンテンツに対する、ユーザ毎の閲覧権限の有無を判定する。
【0099】
図18は、本実施形態における閲覧者権限管理テーブルの構成を示す図である。閲覧者権限管理テーブルには、ユーザ毎に、指向性表示装置14によるコンテンツの表示を制御するシステムにユーザがログインするためのログインIDと、当該ユーザの閲覧者権限を示す情報とが関連付けて蓄積される。
【0100】
図19は、本実施形態におけるコンテンツレベル管理テーブルの構成を示す図である。コンテンツレベル管理テーブルには、コンテンツ毎に、コンテンツIDと、当該コンテンツIDに係るコンテンツを閲覧するのに必要となる閲覧可権限と、が関連付けて蓄積される。
【0101】
なお、コンテンツの閲覧可権限はファイル毎に定めるように構成する他、XML等の構造化文書とすることでコンテンツの構成要素(サブコンテンツ)毎に閲覧可権限を設定するよう構成することもできる。このようにすることで、情報処理装置1は、ユーザに表示されるコンテンツを複数のサブコンテンツによって構成し、サブコンテンツ毎に表示制御(非表示・代替表示)を行うことが可能となる。
【0102】
図20は、本実施形態に係る、優先制御を伴う指向性表示制御処理の流れを示すフローチャートである。本フローチャートに示された処理は、優先制御を伴う指向性表示制御処理が行われる場合に、
図14を用いて説明した通常の指向性表示制御処理に代えて実行される。
【0103】
ステップS301からステップS303では、ユーザの現在の位置情報が取得され、ユーザの現在の位置に対応する表示方向が取得され、ユーザ毎に用意されたコンテンツが取得される。ステップS301からステップS303に示す処理は、
図14を用いて説明した指向性表示制御処理のステップS201からステップS203の処理と概略同様であるため、説明を省略する。その後、処理はステップS304へ進む。
【0104】
ステップS304では、表示方向が重複するユーザの有無が判定される。位置関係検出部43は、ステップS302において取得されたユーザ毎の表示方向を比較し、異なるユーザだが表示方向が同一(または近接)であるユーザが存在するか否かを判定することで、複数のユーザが所定の位置関係となったことを検出する。表示方向が重複するユーザが存在しない場合、表示方向が重複するユーザが存在しない場合、処理はステップS306へ進む。一方、表示方向が重複するユーザが存在する場合、仮に通常通りユーザ毎のコンテンツ表示を行うと、コンテンツの閲覧可権限に満たない閲覧者権限を有するユーザに対して当該コンテンツが表示されてしまう事態が発生し得る。このため、表示方向が重複するユーザが存在する場合、処理はステップS305へ進む。
【0105】
ステップS305では、ユーザ毎に対応する表示方向にコンテンツが出力される。但し、表示方向が重複するユーザに対しては、当該ユーザが閲覧権限を有さないコンテンツの表示が停止される。閲覧権限判定部44は、ステップS304において表示方向の重複が検出されたユーザのうち最も低い権限を特定し、当該ユーザに係る表示方向に表示されるコンテンツの閲覧可権限と比較することで、ユーザが視認可能なコンテンツに対する、ユーザ毎の閲覧権限の有無を判定する。そして、表示制御部39は、ユーザ毎に当該ユーザのためのコンテンツを出力するが、コンテンツのうち、最も低い権限でも閲覧不可能なコンテンツを出力しないことで、同一の表示方向に居る複数のユーザの少なくとも何れかが閲覧権限を有さないコンテンツの表示を停止させる。このようにすることで、コンテンツが、閲覧権限を有していないユーザに閲覧されてしまうことを防止できる。その後、本フローチャートに示された処理は終了する。
【0106】
ステップS306では、ユーザ毎に対応する表示方向にコンテンツが出力される。表示制御部39は、ユーザ毎に当該ユーザのためのコンテンツを出力する。その後、本フローチャートに示された処理は終了する。
【0107】
図21は、本実施形態におけるコンテンツの変化を例示する図である。
図21には、権限レベル1のユーザが、権限レベル3のコンテンツが表示されている表示方向に入った場
合に、レベル3のコンテンツ表示方向にレベル1のコンテンツが表示されるように、表示されるコンテンツが変更される様子が示されている。
【0108】
なお、上記説明したフローチャートでは、所定の位置関係が検出された場合に、最も低い権限でも閲覧不可能なコンテンツの表示を止めることとしたが、このような制御に代えて、他の表示制御が採用されてもよい。例えば、表示制御部39は、所定の位置関係が検出された場合に、表示内容を、最も低い権限でも閲覧可能な代替コンテンツに差し替えてもよい。また、表示制御部39は、所定の位置関係が検出された場合に、当該方向への全てのコンテンツの表示を停止してもよい。
【0109】
<表示領域視差を考慮したキャリブレーション>
図22は、指向性表示装置14における表示方向の例を示す図である。
図22に示す指向性表示装置14は、表示方向1から5の5方向に互いに異なるコンテンツを出力可能である。このような指向性表示装置14において、コンテンツが表示される表示領域全体のサイズが、表示領域からユーザまでの距離に対して無視できないほど大きい場合、表示領域上の各部分領域(a)〜(e)からユーザへの方向(角度)が互いに大きく異なってしまう。このため、このような指向性表示装置14では、ユーザが表示領域に近付いた場合、ユーザに対して一貫した表示を行うことができない事態が生じ得る。以降、表示領域上の各部分領域からユーザへの方向(部分領域の面に対する角度)が互いに異なってしまうためにユーザの視認する表示方向が異なってしまうことを、「表示領域視差」と称する。
【0110】
図23は、表示領域視差が発生している状態の例を示す図である。
図23に示された状況では、ユーザ1は部分領域(a)および(b)に関しては指向性表示装置14の正面を表示方向として出力されたコンテンツを視認するが、(c)、(d)および(e)に関しては夫々異なる方向を表示方向として出力されたコンテンツを視認する。ここで、指向性表示装置14の表示領域の全体において一貫した表示を得るためには、部分領域毎にユーザ1のためのコンテンツの表示方向を変えてコンテンツを表示しなければならない。
図23に示した例において、例えばユーザ2に一貫したコンテンツを表示するためには、部分領域(a)−表示方向(E)、部分領域(b)−表示方向(D)、部分領域(c)−表示方向(C)、部分領域(d)−表示方向(B)、部分領域(e)−表示方向(A)のように制御する必要がある。
【0111】
このため、本実施形態では、指向性表示装置14の部分領域毎にキャリブレーションを行うことで、上記説明した表示領域視差の問題に対応することとした。
【0112】
図24は、本実施形態に係る表示領域視差を考慮したキャリブレーションのために検知器9を設置した様子を示す図である。検知器9は、指向性表示装置14による表示を視認可能な位置に設置されるが、本実施形態では、検知器9は更に、表示領域からみて略同一方向であっても表示領域からの距離を変えた位置に設置される。これは、表示領域からみて同一方向にある視点位置であっても、部分領域によっては視点位置までの距離が変わると部分領域からみた角度(表示方向)が変わることがあるためである。
【0113】
表示領域視差を考慮したキャリブレーションのためのキャリブレーション装置は、
図8を用いて説明したキャリブレーション装置と同様、CPU11が、RAM12に展開された各種プログラムを解釈および実行することで、検知器情報取得部40と、表示制御部39と、表示方向取得部41と、関連付け部42と、を備える。
【0114】
図25は、本実施形態における表示領域視差を考慮したキャリブレーションテーブルの構成を示す図である。表示領域視差を考慮したキャリブレーションによって作成されるキャリブレーションテーブルには、検知器9の設置位置毎に、
図9を用いて説明した位置情
報および表示方向が関連付けられるが、表示領域視差を考慮したキャリブレーションテーブルでは、位置情報および表示方向に加え、更に部分領域の識別子が関連付けられる。なお、表示領域視差を考慮しないキャリブレーションテーブルでは、位置情報は、所定の基準(例えば、センサユニット20または指向性表示装置14)からの方向のみを表すパラメータが採用されてよいが、表示領域視差を考慮したキャリブレーションテーブルでは、位置情報は、方向のみを表すパラメータでは足りない。このため、表示領域視差を考慮したキャリブレーションテーブルでは、位置情報として、所定の基準からの距離も判別可能なパラメータが採用される。
【0115】
図26は、本実施形態において、表示領域視差を考慮したキャリブレーションテーブルを作成するための処理の流れを示すフローチャートである。なお、処理の具体的な内容および順序等は一例である。具体的な処理内容および順序等は適宜選択されることが好ましい。
【0116】
ステップS401では、指向性表示装置14による表示および検知器9による表示の検知が行われる。表示制御部39は、指向性表示装置14に、指向性表示装置14の「部分領域と表示方向との組合せ」のうち未検査である一の組合せに対して表示を行わせる。ここで、表示制御部39による表示は、「部分領域と表示方向との組合せ」ごとにタイミングが異なる表示となる。そして、この表示が行われている間に、検知器9は、表示の検知を行う。その後、処理はステップS402へ進む。
【0117】
ステップS402では、表示を検知した検知器9の位置情報が取得される。ステップS402に示す処理は、
図10を用いて説明したキャリブレーション処理のステップS002の処理と概略同様であるため、説明を省略する。その後、処理はステップS403へ進む。
【0118】
ステップS403では、検知に係る「部分領域と表示方向との組合せ」が取得される。ステップS401における表示を検知した検知器9がある場合、表示方向取得部41は、ステップS401において表示を行った「部分領域と表示方向との組合せ」を、検知器9が設置された位置から表示を認識可能な組合せとして取得する。表示制御部39による表示は、組合せごとにタイミングが異なる表示となるため、表示方向取得部41は、表示が検知されたタイミングに基づいて、表示が行われた組合せを取得することが出来る。その後、処理はステップS404へ進む。
【0119】
ステップS404では、検知器9の位置情報と部分領域と表示方向とが関連付けられる。関連付け部42は、ステップS402において取得された検知器9の位置情報と、ステップS401において表示が行われた「部分領域と表示方向との組合せ」とを関連付けて、キャリブレーションテーブルに記録する。その後、処理はステップS405へ進む。
【0120】
ステップS405では、未検査の「部分領域と表示方向との組合せ」があるか否かが判定される。キャリブレーション装置は、検査対象だが未検査の「部分領域と表示方向との組合せ」があるか否かを判定する。未検査の組合せがあると判定された場合、処理はステップS401へ進む。即ち、本フローチャートに示した処理では、検査の対象となっている「部分領域と表示方向との組合せ」の全てについて検査が行われるまで、ステップS401からステップS403の処理が繰り返される。一方、未検査の組合せがないと判定された場合、本フローチャートに示された処理は終了する。
【0121】
<表示領域視差を考慮した指向性表示>
次に、表示領域視差を考慮した指向性表示について説明する。
【0122】
表示領域視差を考慮した指向性表示のための情報処理装置1は、
図11を用いて説明した情報処理装置と同様、CPU11が、RAM12に展開された各種プログラムを解釈および実行することで、画像情報取得部31と、位置情報取得部32と、ユーザ情報保持部33と、ユーザ情報登録部34と、ユーザ情報更新部35と、ユーザ情報削除部36と、ユーザ操作検出部37と、表示方向決定部38と、表示制御部39と、を備える。
【0123】
表示方向決定部38は、先述の通り、位置情報を用いたキャリブレーションテーブルの検索結果に基づいて、指向性表示装置14を対象物の位置から見た場合に視認可能な表示方向を決定する。但し、表示領域視差を考慮した指向性表示制御処理において、表示方向決定部38は、位置情報を用いたキャリブレーションテーブルの検索結果に基づいて、指向性表示装置14における部分領域毎に、表示方向を決定する。
【0124】
表示制御部39は、先述の通り、本実施形態において、指向性表示装置14による表示コンテンツおよび表示方向等を制御する。表示領域視差を考慮した指向性表示制御処理において、表示制御部39は、部分領域毎に、夫々の部分領域について表示方向決定部38によって決定された表示方向にコンテンツを表示させる。
【0125】
次に、フローチャートを用いて、表示領域視差を考慮した指向性表示制御処理の流れを説明する。但し、ユーザ情報管理処理については、
図13を用いて説明した処理の流れと概略同様であるため、説明を省略する。
【0126】
図27は、本実施形態において、表示領域視差を考慮した指向性表示制御処理を行うための処理の流れを示すフローチャートである。なお、処理の具体的な内容および順序等は一例である。具体的な処理内容および順序等は適宜選択されることが好ましい。
【0127】
ステップS501およびステップS502では、ユーザの現在の位置情報が取得され、ユーザの現在の位置に対応する「部分領域と表示方向との組合せ」が決定される。表示方向決定部38は、ユーザ情報から、指向性表示装置14を視認可能な範囲に居る複数のユーザのユーザ位置情報を取得する(ステップS501)。そして、表示方向決定部38は、キャリブレーションテーブルから、ステップS501で取得されたユーザ位置情報が示す位置に一致するかまたは最も近い視点位置の位置情報に関連付けられた「部分領域と表示方向との組合せ」を索出し、索出された組合せを、当該ユーザのための表示コンテンツの「部分領域と表示方向との組合せ」として決定する(ステップS502)。
【0128】
図28は、本実施形態において用いられる部分領域テーブルの構成を示す図である。ユーザ毎に決定された「部分領域と表示方向との組合せ」は、ユーザ毎に用意された部分領域テーブルによって管理されてもよい。このようにして作成されるユーザ毎の部分領域テーブルは、各ユーザ向けの表示方向を部分領域ごとに格納したものであり、ユーザ情報管理処理によってユーザの移動が追尾されてユーザ情報テーブルが更新されるのに従って更新される。
【0129】
なお、ユーザ位置情報に一致するかまたは十分に近似する(差異が閾値未満の)位置情報がキャリブレーションテーブル内に無い場合の処理、および補完処理については、
図14を用いて説明した指向性表示制御処理のステップS202と概略同様であるため、説明を省略する。「部分領域と表示方向との組合せ」が決定されると、処理はステップS503へ進む。
【0130】
ステップS503およびステップS504では、ユーザ毎に用意されたコンテンツが取得され、ユーザ毎に対応する「部分領域と表示方向との組合せ」にコンテンツが出力される。表示制御部39は、ユーザ毎に異なるコンテンツを視認させるために、ユーザ毎に用
意されたコンテンツを、RAM12または補助記憶装置19から取得する(ステップS503)。更に、表示制御部39は、ユーザ毎に、ステップS502で決定された「部分領域と表示方向との組合せ」に、当該ユーザのためのコンテンツを出力する(ステップS504)。その後、本フローチャートに示された処理は終了する。
【0131】
ここで、レンチキュラー方式の指向性表示装置が用いられる場合の、ユーザ毎に対応する「部分領域と表示方向との組合せ」にコンテンツが出力される具体例について説明する。但し、多視点コンテンツ合成器の概念および一般的な多視点コンテンツ合成の概念については、
図15および
図16を用いて説明した通りであるため、説明を省略する。
【0132】
図29は、レンチキュラー方式の指向性表示装置が用いられる場合の、表示領域視差を考慮した多視点コンテンツ合成の概念を示す図である。
図29に示された例において、表示制御部39は、ユーザ毎に用意されたコンテンツをRAM12または補助記憶装置19から取得し、各ユーザ用画面を部分領域毎に分割し、各ユーザ用部分領域テーブルの方向に従って各表示方向用画面の部分領域に分配することで、多視点コンテンツ合成器へ入力される各表示方向用画面を作成する。各表示方向用画面の入力を受けた多視点コンテンツ合成器は、レンチキュラー方式の指向性表示装置へ入力される合成画面(多視点コンテンツ)を生成する。このようにして生成された合成画面がレンチキュラー方式の指向性表示装置に入力されることで、ステップS502で決定された「部分領域と表示方向との組合せ」毎に、各ユーザのためのコンテンツが出力される。
【0133】
なお、上記説明した表示領域視差を考慮した指向性表示制御処理は、
図20を用いて説明した優先制御と組み合わせて用いられてもよい。例えば、ユーザが他のユーザの少なくともひとつの部分領域の閲覧方向に移動してきた場合には、その部分領域ないし他ユーザ向け表示全体を非表示にする等の優先順位制御を行ってもよい。
【0134】
また、ユーザ情報管理処理において各ユーザの左右の眼それぞれの位置を追跡し、表示領域視差を考慮した指向性表示制御処理において左右の眼それぞれに対して適切な表示を行うことで、表示領域からの距離が近い場合にも一貫した立体表示を行うことが可能になる。この立体表示は、ユーザが複数いる場合であっても有効である。
【0135】
また、各ユーザ用部分領域テーブルを作成する方法としては、先述したキャリブレーション処理によってキャリブレーションテーブルを作成し、部分領域毎の表示方向を求めて生成する方法に代えて、算術的な処理の方法が用いられてもよい。
【0136】
図30は、ユーザ情報テーブルから各ユーザ用部分領域テーブルを作成する算術的な処理方法の一例を示す図である。また、
図31は、算術的な処理方法によって作成される、各ユーザ用部分領域テーブルの構成を示す図である。部分領域a、b、c、dまたはeの表示領域中央からの変位をΔd、表示領域中央からユーザまでの距離をz、ユーザの表示領域中央線からの変位をxとし、センサユニット20からの入力情報等に基づいてxおよびzが判明している場合、各部分領域からみたユーザの角度θは、以下の数式によって求められる。
θ = arctan((x−Δd)/z)
【0137】
<情報処理装置の応用例>
以下、本実施形態に係る情報処理装置1を、様々な用途に適用する際の具体例について説明する。以下に示される応用例は例示であって、本発明の適用対象は、以下に説明する例に限定されない。
【0138】
(1)エレベータ
本実施形態に係る情報処理装置1が接続される制御装置をエレベータの制御装置とすることで、情報処理装置1を、エレベータでの行先階の指定操作や、扉の開閉操作等を処理するためのヒューマンインターフェース装置とすることが出来る。
【0139】
(2)カーナビゲーション装置/オーディオ装置
本実施形態に係る情報処理装置1が接続される制御装置をカーナビゲーション装置/オーディオ装置の制御装置とすることで、情報処理装置1を、カーナビゲーション装置/オーディオ装置での選曲操作や音量操作、ミュート操作、等を処理するためのヒューマンインターフェース装置とすることが出来る。
【0140】
(3)情報KIOSK端末、セルフレジ端末
本実施形態に係る情報処理装置1が接続される制御装置を情報KIOSK端末やセルフレジ端末の制御装置とすることで、情報処理装置1を、情報KIOSK端末やセルフレジ端末での操作を処理するためのヒューマンインターフェース装置とすることが出来る。
【0141】
(4)家電
また、本実施形態に係る情報処理装置1が接続される制御装置を家電の制御装置とすることで、情報処理装置1を、家電での操作を処理するためのヒューマンインターフェース装置とすることが出来る。