特許 6168597 情報端末装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6168597

(24)【登録日】2017年7月7日

(45)【発行日】2017年7月26日

(54)【発明の名称】情報端末装置

(51)【国際特許分類】

   H04N 13/00 20060101AFI20170713BHJP

   H04N 13/04 20060101ALI20170713BHJP

   G06T 19/00 20110101ALI20170713BHJP

   G06T 7/60 20170101ALI20170713BHJP

   G06T 7/20 20170101ALI20170713BHJP

【ＦＩ】

   H04N13/00 180

   H04N13/04 680

   G06T19/00 F

   G06T7/60 150

   G06T7/20 300A

【請求項の数】8

【全頁数】15

(21)【出願番号】特願2013-132732(P2013-132732)

(22)【出願日】2013年6月25日

(65)【公開番号】特開2015-8394(P2015-8394A)

(43)【公開日】2015年1月15日

【審査請求日】2016年1月28日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】加藤 晴久

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２００９−２７８４５６（ＪＰ，Ａ）

【文献】 特開２００２−０２４８５６（ＪＰ，Ａ）

【文献】 特開２００１−１９５５８２（ＪＰ，Ａ）

【文献】 特開２０１１−０８１６３０（ＪＰ，Ａ）

【文献】 特開２００４−２８０４２８（ＪＰ，Ａ）

【文献】 特開平０５−２２５３１３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１５／００

Ｇ０６Ｔ ７／２０

Ｇ０６Ｔ ７／６０

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

撮像部と、表示部と、を有する情報端末装置であって、
前記表示部の表示平面を基準とした所定の立体としての表示情報を記憶する記憶部と、
前記撮像部で撮像した撮像画像よりユーザの視点座標を検出すると共に、当該視点座標と、前記表示情報における表示平面を基準とした所定の立体と、の位置関係を推定する推定部と、
前記記憶部から読み出して前記表示部で表示する表示情報を、前記推定された位置関係に応じて加工した後、前記表示部に表示させるよう制御することで、当該加工された表示情報を前記検出された視点座標よりユーザが見た際に、前記表示平面を基準とした所定の立体として見えるようにする制御部と、を備え、
前記推定部はさらに、前記撮像部で撮像した撮像画像よりユーザのジェスチャーを検出し、当該ジェスチャーに基づく操作情報を算出し、
前記制御部はさらに、前記表示平面を基準とした所定の立体として見えるように制御するに際して、前記操作情報に応じて変化させて制御することを特徴とする情報端末装置。

【請求項2】

前記推定部は、前記撮像画像よりユーザの目領域を視点座標として検出すると共に、当該視点座標より、前記表示平面を基準とした所定の立体を、前記表示平面へ向けて投影する関係として、前記位置関係を推定することを特徴とする請求項１に記載の情報端末装置。

【請求項3】

前記推定部が、前記投影する関係を射影変換行列として求めることを特徴とする請求項２に記載の情報端末装置。

【請求項4】

前記推定部は、前記撮像画像より抽出した特徴量に基づいて、視点座標を検出することを特徴とする請求項１ないし３のいずれかに記載の情報端末装置。

【請求項5】

前記撮像部は時系列上において連続的に撮像を行い、
前記推定部は、前記時系列上の一部分の撮像画像につき、前記特徴量を抽出することによって視点座標を検出すると共に、前記時系列上のその他の撮像画像につき、直近の過去に前記特徴量を抽出して検出された視点座標を含む小領域を用いたテンプレートマッチングにより、視点座標を検出することを特徴とする請求項４に記載の情報端末装置。

【請求項6】

前記制御部は、前記加工する際に、前記検出された視点座標より、前記表示情報における表示平面を基準とした所定の立体における各位置へと至る距離に基づいて、当該各位置に対応する表示情報にぼかし処理を施すことを特徴とする請求項１ないし５のいずれかに記載の情報端末装置。

【請求項7】

前記制御部は、前記加工する際に予め、前記表示情報における表示平面を基準とした所定の立体に影を追加することを特徴とする請求項１ないし６のいずれかに記載の情報端末装置。

【請求項8】

前記制御部は、前記撮像部の表示平面の水平面に対する傾きと、経度緯度及び日時情報と、に基づいて太陽方位を算出し、当該太陽方位に基づいて前記追加する影を生成することを特徴とする、請求項７に記載の情報端末装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報を立体的に提示する情報端末装置に関し、特に、該装置と利用者との相対的位置関係の変化によって表示部での表示情報を制御できる情報端末装置に関する。

【背景技術】

【0002】

情報を立体的に提示する装置は、利用者に臨場感を提供できる。当該装置を実現する手法としては、以下のような手法が公開されている。

【0003】

特許文献１では、被写体までの距離に反比例したズレを設定した右目用の画像と左目用の画像とを用意し、視差バリア方式やレンチキュラーレンズ方式などにより、それぞれ対応する目に映像を提示することで立体的な表現を可能とする裸眼立体視ディスプレイを提案している。

【0004】

特許文献２では、視点の位置を推定することで視点毎の画像を生成し、立体視可能な視点数を増加させる裸眼立体視ディスプレイを提案している。特に、表示装置の表面に対して大きな奥行きや飛び出しを表現する場合でも、解像感の劣化を抑えることができ、解像感の高い立体画像を表示する効果を実現ができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１２−２４９０６０号公報

【特許文献2】特開２０１３−１３０５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１では、利用者がディスプレイを視聴する視点が離散的に設定されており、立体的に感じられる位置が限定されるという問題がある。

【0007】

特許文献２では、特許文献１の問題が部分的に解決されているものの、複数の視点画像を撮影する際の撮影の仕方を工夫することによって隣接する視点画像間の視差を異ならせるため、専用の裸眼立体視用映像データを生成しなければならないという問題がある。

【0008】

また、特許文献１及び２は、いずれもレンチキュラーレンズ等の特殊な光学部材が必要であるため、ソフトウェアだけでは実現できないという問題がある。

【0009】

本発明は、上記従来技術の課題に鑑みて、専用の裸眼立体視用映像データや特殊部材等を必要としない簡素な手法により、情報端末装置に対する利用者の相対的な位置関係に応じて表示される情報を立体的に提示することができる、情報端末装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するため、本発明は、撮像部と、表示部と、を有する情報端末装置であって、前記表示部の表示平面を基準とした所定の立体としての表示情報を記憶する記憶部と、前記撮像部で撮像した撮像画像よりユーザの視点座標を検出すると共に、当該視点座標と、前記表示情報における表示平面を基準とした所定の立体と、の位置関係を推定する推定部と、前記記憶部から読み出して前記表示部で表示する表示情報を、前記推定された位置関係に応じて加工した後、前記表示部に表示させるよう制御することで、当該加工された表示情報を前記検出された視点座標よりユーザが見た際に、前記表示平面を基準とした所定の立体として見えるようにする制御部と、を備えることを特徴とする。

【発明の効果】

【0011】

本発明によれば、表示部の表示平面を基準とした所定の立体と、撮像画像より検出したユーザの視点座標と、の位置関係を求め、実際に表示部に表示する際に当該位置関係に応じて加工を施して表示を行うので、専用の裸眼立体視用映像データや特殊部材等を必要としない簡素な手法により、立体的な表示が可能となる。

【図面の簡単な説明】

【0012】

【図1】一実施形態に係る情報端末装置の機能ブロック図である。

【図2】本発明における表示部での見え方の、本来のユーザと非ユーザとの比較の例を示す図である。

【図3】推定部の機能ブロック図である。

【図4】視点座標検出部と視点座標追跡部とが時系列上で切り替えられて適用されることを示す図である。

【図5】変換係数算出部による変換係数の算出と、制御部の制御により当初意図された通りの立体が見えることを説明するための図である。

【図6】制御部による影の設定処理を説明するための図である。

【図7】太陽方位の算出を説明するための図である。

【発明を実施するための形態】

【0013】

図１は、一実施形態に係る情報端末装置の機能ブロック図である。情報端末装置1は、撮像部2、推定部3、制御部4、記憶部5及び表示部6を備える。

【0014】

情報端末装置1は、一例では、携帯電話・スマートフォンなどの携帯端末として構成することができる。しかし、本発明の情報端末装置1は、携帯端末に限られるものではなく、撮像機能を有する撮像部2を備えたものであればどのような情報端末装置でもよく、例えば、コンピュータとして構成されていてもよい。

【0015】

また、表示部6としてプロジェクターを想定しているが、表示部分が平面として構成されていればよく、プロジェクターに限らず、ディスプレイであってもよい。なお、プロジェクターを利用する場合、情報端末装置1の構成に応じて、適宜、外部出力等を利用してもよい。

【0016】

さらに、表示情報として複数のポリゴンで構成される3D-CG(３次元コンピュータグラフィックス)モデルを想定しているが、3D-CGモデルに限られるものではなく、写真やアイコン等の画像、Web ページ、文書等の、平面上に表現される情報でもよい。（ただし、表示部6に表示される際は、空間内に配置された形の平面上の情報として表示されるため、当該平面上に表現される情報は実質的には、3D-CGモデルと同様に立体とみなせる。）

【0017】

図１の各部の概要は以下の通りである。

【0018】

撮像部2は、ユーザをリアルタイムで撮像して、時系列上の一連の撮像画像を得る。推定部3は、第一機能として、当該撮像画像よりリアルタイムでユーザの視点座標を検出すると共に、第二機能として、記憶部5に記憶されている所定の立体と当該視点座標との位置関係を求める。記憶部5は、表示部6にて表示する情報を、表示部6の表示平面を基準とした所定の立体として記憶している。制御部4は、記憶部5から読み出した情報を、推定部3にて推定された視点座標及び位置関係に応じてリアルタイムで制御して、表示部6に表示させる。

【0019】

当該制御部4による制御により、情報端末装置1のユーザは、自身の視点から見た際に、平面上に表示を行う表示部6において、あたかも、立体が存在しているように見えることとなる。ここで、ユーザが見る位置を変えて表示部6を見た際は、撮像部2、推定部3及び制御部4によるリアルタイム処理によって、当該立体は３次元空間内に実在している場合と同様に見え方が変わって見えることとなる。

【0020】

例えば、表示部6が壁掛けディスプレイとして構成されている場合に、ユーザから見たい際に、実在の壁掛け時計が存在しているかのように表示することが可能となる。ユーザは、当該壁を正面から見た場合は、時計が正面で見え、位置を変えて壁に対して角度を付けて見た場合は、時計が当該角度から眺める形で傾いて見えることとなり、立体としての時計が実在しているように見えることとなる。また、前述の写真その他の平面上に表現される情報を見せる場合も同様に、当該平面が（例えば看板のような形で）3次元空間内に存在しているように見えることとなる。

【0021】

なお、以上のようにユーザは立体を知覚するが、どのような立体をどのような位置、大きさ、向き、色その他によって知覚させるかに関する情報が、記憶部5に記憶された表示情報である。すなわち、当該表示情報はいわば立体モデルであり、管理者等により予め設定されて記憶部5に格納される。

【0022】

なおまた、本発明による制御のもとでは、表示部6を、視点座標の推定がなされていない「非ユーザ」から見た場合、一般的には、本来のユーザに対して表示部6で表示させることを想定した立体モデルの本来の見え方とは異なった、歪んだ「模様」として認識されて見えることとなる。図２に当該例を示す。

【0023】

図２では、表示部6に対して、(1)に示す自身の視点推定がなされている本来のユーザの視点P1と、(2)に示す視点推定がなされていない「非ユーザ」の視点P2と、が示されている。本来のユーザの視点P1からは、表示部6はR1のように見え、机の上に紙が配置されると共に、所定の模様が付されたドミノ状の複数の立体が並んでいるように見える。しかしながら、「非ユーザ」の視点P2からは、同時刻で同一表示をしている表示部6が、R2のように歪んで見えることとなる。

【0024】

なお、次の追加処理がなされてもよい。すなわち、推定部3にて撮像画像からユーザの視点座標の推定に加えてユーザのジェスチャーを推定して、制御部4では当該ジェスチャーに応じた所定の運動を表示部6での表示立体に対して行わせように制御してもよい。例えば、前述の壁掛け時計の例であれば、ユーザの手の動きに応じて、当該時計が揺れるなどするように制御してもよい。

【0025】

以下、図１の各部の詳細を説明する。

【0026】

撮像部2は、所定のサンプリング周期で利用者の顔を連続的に撮影して、その撮影画像を推定部3へ出力する。撮像部2としては、携帯端末に標準装備されるデジタルカメラを用いることができる。あるいは、ステレオカメラや深度センサ、赤外線カメラ等を利用してもよい。当該各種のカメラ・センサ等を組み合わせて利用してもよい。

【0027】

推定部3は、第一機能として、撮像部2から入力された画像からユーザの目の座標を視点座標として検出する。推定部3はまた、第二機能として、視点座標と、記憶部5に記憶された、表示部6の表示座標を基準とした所定の立体（立体モデル）としての表示情報と、の位置関係を求める。

【0028】

当該位置関係は、ユーザから表示部6を見たときに立体的に表示情報が提示されるように、すなわち、立体モデルが当該モデルを設定した管理者等の意図した通りの立体としてユーザに知覚されるようにに、予め設定された変換式（射影変換）を適用することで、表示部6の表示平面に対応する座標へと表示情報を投影する際の、変換係数の形で求められる。

【0029】

推定部3において変換係数の推定に用いられた変換式（射影変換）および推定された変換係数は、制御部4へ出力される。推定部3の詳細は後述する。

【0030】

なお、本発明では追加処理として指や指示棒等によるジェスチャー入力を実現することができる。この場合、撮像部2では顔に加えて当該指や指示棒等をも撮影して、撮像画像を推定部3へ出力する。推定部3は視点座標から求める変換係数等に加えてさらに、当該指などを認識することにより、ジェスチャーにおける動作を認識することで操作情報を求め、制御部4へ出力する。

【0031】

制御部4は、推定部3から入力された変換係数による射影変換を記憶部5から読み出した表示情報に適用して、表示情報を加工し、表示部6で表示させるための表示情報となす。こうして、表示部6で表示する際には、見る角度・位置に応じて見え方が現実の立体と同一の態様で変化し、あたかも現実の立体が存在しているかのような知覚をユーザに与えることができる。

【0032】

制御部4ではさらに、当該知覚される立体の現実感を高めるべく、表示情報の加工の際、さらに、以下の第一処理及び第二処理のいずれか又は両方を行うようにしてもよい。なお、第一処理は射影変換の適用後、第二処理は射影変換の適用前に、施すことができる。

【0033】

第一処理として、射影変換後の表示情報に奥行き情報の距離に比例して強くぼかすような画像効果を付与し焦点ぼけを模擬することで、より立体感を高めてもよい。すなわち、立体として構成された表示情報に対して、ユーザの視点座標から遠くに存在している（ものとして予めモデル化された）部分ほど強くぼかすようにしてもよい。

【0034】

なお、表示情報は立体として構成されているので、推定部3にて推定された視点座標との空間的な位置関係により、表示情報における相対的な前後関係や立体物等の奥行き情報が得られ、こうした情報を用いてぼかし処理を行うことができる。

【0035】

第二処理として、制御部4は、表示情報の影を追加し、ユーザが表示情報の3次元的な表示位置を容易に知覚できるようにしてもよい。この場合、新たに生成された影も含めて表示情報とし、当該影を含めて射影変換を適用することで、制御部4による制御対象とする。なお、前述の図２のR2の例においては、ドミノ状の立体に対する影も、表示情報として構成されている。

【0036】

なお、上記第一処理及び第二処理については、推定部3及び制御部4の詳細説明の際に、再度説明する。

【0037】

記憶部5は、表示部6に表示する表示情報を、表示部6の表示平面を基準とした所定の立体の形式で、予め複数蓄積している。利用者は、制御部4に対する入力操作(制御部4の一部として構成された、不図示のタッチパネルなどの入力インターフェースに対する入力操作)で、記憶部5に蓄積されている表示情報の中から所望の表示情報を選択して表示部6に表示させることができる。こうしてユーザは例えば、複数の3D-CGモデルの中からいずれを表示させるかを選択可能となる。

【0038】

表示部6での情報表示の際、前述のように制御部4は、推定部3から入力された変換係数による射影変換を表示情報に適用して、あるいはまた、当該射影変換の適用の際さらに現実感を高める処理を施して、表示情報を加工する。これにより、推定部3での推定結果に従って表示部6での表示情報が制御され、現実の立体が存在しているような知覚をユーザに与える。

【0039】

なお、記憶部5に記憶される立体としての表示情報は、実際に表示部6に表示される際の時間に応じて変化するように、設定しておいてもよい。前述の壁掛け時計の例であれば、所定の周期で振り子が揺れると共に、針が時間を示すように構成されていてもよい。

【0040】

ここで、推定部3の詳細を説明する。図３は、推定部3の機能ブロック図である。推定部3は、撮像画像を用いて視点座標を検出し変換係数を求める第一構成としての視点座標検出部31、視点座標追跡部32、スイッチ33及び変換係数算出部34と、追加処理として、撮像画像を用いて指等によるジェスチャーの操作情報を求める第二構成としての操作情報算出部35と、を含む。以下、第一構成から説明する。

【0041】

視点座標検出部31は、撮像画像よりユーザの目の座標を視点座標（空間座標）として検出する。ここでまず、画像座標内の目を検出する必要がある。目検出については、例えば以下の非特許文献2に開示の技術等、周知の各種の特徴量に基づく検出技術を利用できる。

【0042】

[非特許文献2]「P. Viola and M. Jones, "Robust real time object detection," In IEEE ICCV Workshop on Statistical and Computational Theories of Vision, July 2001.」

【0043】

当該特徴量による目検出により、目の撮像画像内における座標が求まる。実際の目は、当該画像内の座標(x, y)に対して、撮像部2を構成している所定の光学系における関係を適用して定まる、撮像部2から見たある方向d(x, y)に延びる直線上のどこかに存在している。従って、当該画像内の座標より定まる方向に対してさらに、視点座標検出部31では撮像部2からの奥行き方向の距離を求めることで、撮像部2を基準とした実空間内の座標として、視点座標を求める。

【0044】

当該奥行き方向の距離は、目検出によりそれぞれ求まった両目の間の長さに反比例した距離として推定してもよい。当該反比例の定数は、撮像部2を構成する上記所定の光学系における構成情報や、両目の間の長さの実測値などを用いて予め設定しておくことができる。

【0045】

なお、奥行き方向の距離に関しては、撮像部2の各画素位置に対応する深度センサが利用できる場合、当該深度センサの値を奥行き方向の距離として採用して、視点座標を計測してもよい。なおまた、撮像部2としてステレオカメラが利用できる場合は、三角測量によって視点座標を算出してもよい。

【0046】

なお、視点座標は、両目のうち所定の一方の位置として算出してもよいし、両目の中点などの、両目から定義される所定位置として算出してもよい。

【0047】

別の一実施形態において、視点座標検出部31は、顔の所定位置を視点座標として検出してもよい。この場合、特徴量の抽出などに基づく周知の顔検出技術を適用して顔領域を検出する。また、当該顔領域の中心などの所定点として、前記目検出における撮像画像内における座標に対応するものを求める。さらに、当該顔領域のサイズ（所定箇所の長さ）に反比例した距離を、前記目検出における奥行き方向の距離に対応するものとして、視点座標を算出することができる。

【0048】

以上のように視点座標検出部31では、撮像画像に対して、特徴量を抽出することによって、視点座標を高精度に検出する。次に、時間軸上の観点からの説明を行う。

【0049】

一実施形態では、図３の視点座標追跡部32及びスイッチ33は省略され、時系列上で入力される一連の全ての撮像画像に対して、視点座標検出部31が視点座標を検出し、当該検出結果を変換係数算出部34へと出力する。

【0050】

別の一実施形態では、視点座標検出部31を適用し続けることによる負荷を低減すべく、視点座標検出部31は時系列上における一部分を対象として間欠的に適用され、当該適用がなされていない間においては、代わりに視点座標追跡部32が適用され、過去に推定された視点座標の結果を利用した追跡を行うことにより、負荷を低減する。

【0051】

なお、スイッチ33は、変換係数算出部34へと出力する視点座標を求める際に、上記別の一実施形態においては、視点座標検出部31及び視点座標追跡部32のいずれを適用するかに関して切り替え処理がなされることを明示すべく、図示したものである。

【0052】

図４は、当該切り替えを模式的に示すための図である。ここでは、時系列上の撮像画像の各々を「フレーム」とし、フレーム番号tのフレーム（撮像画像）をフレームF(t)と表記している。(1)に示すように、ある時刻t=nにおいては、フレームF(n)に視点座標検出部31が適用され、視点座標がD(n)のように検出される。また同じく、(3)に示すように、その後のある時刻t=n+Nにおいても、フレームF(n+N)に視点座標検出部31が適用され、視点座標がD(n+N)のように検出される。

【0053】

なお、図４では、視点座標D(n)等は当該点線で囲まれる矩形の内部の所定位置に存在する。当該矩形は、後述する追跡処理の際に利用されるテンプレートとしての小領域の一例である。図４では図示の簡略化のため、小領域の内部の所定位置に視点座標が存在するものとして、小領域と視点座標とを一体で扱い、点線で示された矩形の小領域に対して「視点座標D(n)」等の符号を付している。

【0054】

一方、(1)と(3)の間の各時刻t=n+k (k=1, 2, ,..., N-1)においては、(2)に示すように、フレームF(n+k)に対して視点座標追跡部32が適用され、視点座標D(n+k)が（前述の図示簡略化の方式に従い、当該点線で図示された矩形内に）検出される。この際、過去の検出箇所D_nの近傍に限定して追跡処理を行ってもよい、当該過去の検出箇所D_nには、(1)に示す直近の過去における視点座標検出部31の検出箇所D(n)を利用してもよいし、当該時刻t=n+kの直前の時刻t=n+k-1（不図示）における視点座標追跡部32の検出結果D(n+k-1)を利用してもよい。

【0055】

視点座標追跡部32による追跡処理の詳細は次の通りである。すなわち、過去の撮像画像において検出された視点座標を含む局所領域のテンプレートマッチング等を用いた追跡により、現在の撮像画像における視点座標を検出する。具体的には、過去の撮像画像で検出された視点座標を含む小領域をテンプレートとして、現在の撮像画像で差分二乗和が最小となる領域を探索する。最小値を取る領域の対応点（例えば、過去検出のテンプレート内における重心等の所定点に視点座標がある場合、探索された小領域における同じく重心等の所定点）が、現在の撮像画像における視点座標とされ、変換係数算出部34へと出力される。

【0056】

図４の例であれば、(2)の各時刻t=n+kでは、テンプレートとしては、(1)に示す視線推定部31が適用された直近の過去t=nにおいて検出された視点座標D(n)を含む小領域(矩形等の所定形状及び所定サイズを有する小領域)を利用することができる。探索範囲も前述のように、過去の検出箇所D_n付近の所定範囲に限定してよい。

【0057】

また、時系列上の各撮像画像に対して、視点座標追跡部32と視点座標検出部31とのいずれを適用するかの判断については、次のように下すことができる。なお、時系列の最初に読み込まれる撮像画像については、過去の検出結果が存在しないので、視点座標検出部31を適用する。

【0058】

一実施形態では、所定の周期Nを決めておき、当該N回に1回のみ視点座標検出部31を適用するようにしてよい。一実施形態では、視点座標追跡部32の結果が不適切であると判定された時刻tの結果は放棄し、当該時刻tについては視点座標検出部31を適用し、次の時刻t+1以降の撮像画像には、同様の不適切か否かの判定(及び不適切な場合の放棄)を行いながら、視点座標追跡部32の適用を試みるようにしてもよい。この際、視点座標追跡部32が適用される連続回数に上限を設け、上限に達した場合は強制的に視点座標検出部31の適用を行うようにしてもよい。

【0059】

ここで、視点座標追跡部32の結果が不適切である判定は、次のようにして下すことができる。すなわち、テンプレートマッチングにおいて求まった最小の差分二乗和が所定の第一閾値を超えること、及び／又は、当該時刻tにつき追跡にて求まった視点座標と、直前の時刻t-1において求まった視点座標と、の距離が所定の第二閾値を超えること、が満たされた場合に、不適切であると判定することができる。

【0060】

以下、視点座標追跡部32の追跡処理における補足事項を述べる。

【0061】

視点座標追跡部32によりテンプレートマッチングで追跡する際の「視点座標」は、「奥行き方向の距離」に関する情報を含まず、視点座標検出部31の説明における、特徴量抽出による撮像画像上での目検出（又は顔検出）の際の座標を意味する。テンプレートにおける小領域は両目を含む1つの小領域として定義してもよいし、目ごとにそれぞれ1つの小領域を定義してもよい。

【0062】

一方、視点座標追跡部32を適用する際の「奥行き方向の距離」については、当該小領域を用いた目検出（又は顔検出）にて検出された座標を用いて、視点座標検出部31の場合と同様の手法で算出すればよい。視点座標追跡部32は、当該算出した奥行き方向の距離の情報を加えて得た実空間の「視点座標」を、最終的な出力として変換係数算出部34へと出力する。

【0063】

なおまた、前述の視点座標追跡部32の結果が不適切である判定における、第二閾値の判定については、当該奥行き方向の距離を含めた実空間内の「視点座標」に対して下すようにしてもよい。

【0064】

変換係数算出部34は、以上のように検出された視点座標と、（ユーザ視点において表示部6の表示平面を基準とした見かけ上）立体表示させることを意図して、管理者により予め設定され記憶部5に格納された表示情報と、の位置関係を、射影変換における変換係数の形で算出する。当該算出された変換係数は、推定部3の第一構成（第二構成をなす操作情報算出部35以外の構成）における出力として、制御部4へ出力される。

【0065】

制御部4は、当該出力された変換係数によって予め設定された変換式（射影変換の変換式）を適用する。当該適用により、見かけ上において立体表示すべく予め設定して記憶部5に格納されていた表示情報が、表示部6で実際に表示する座標へと変換される。この結果、予め記憶部5に格納する際に管理者が意図した通りに、表示部6を見るユーザには立体が見えることとなる。

【0066】

図５は、変換係数算出部34における当該変換係数の算出と、制御部4の制御によって当初意図された通りの立体が見えることを説明するための図である。

【0067】

図５では、視点座標Eと、ユーザが立体であると知覚する仮想的な3次元座標Xと、表示部6の表示平面Pと、当該仮想的な3次元座標Xの表示平面Pにおける実際の表示座標Yと、が示されている。ここで、ユーザに知覚させることを意図した仮想的な3次元座標Xにおける立体は、表示平面Pを基準として予め設定されており、表示情報として記憶部5に記憶されている。なお、図５の(1)及び(2)については補足事項として後述する。

【0068】

実線矢印にて図示するように、変換係数算出部34は、視点座標Eから見て表示情報の仮想的な3 次元座標Xを表示平面P上の座標Yに射影（投影）する際の射影変換行列Mを、以下に述べる式(1)〜式(9)にて算出することができる。当該射影により例えば実線矢印上に示すように、仮想3次元座標Xにおける点q1〜q4がそれぞれ、表示平面P上の座標Yにおける点p1〜p4へと投影される。

【0069】

一方、当該射影の向きとは逆向きに光線がユーザの目に届くことで、ユーザは仮想3次元座標Xにおける点q1〜q4の箇所に、表示平面P上に垂直して浮かんだ長方形の看板等があたかも実際に存在しているかのように知覚（錯覚）するが、その実体は、制御部4によって制御された表示部6において、表示平面P自身に表示される歪んだ形状p1〜p4となっている。なお、図５では射影の関係を簡素に例示すべく長方形q1〜q4を示しているが、3D-CGモデル等の所望の立体を表示可能である。

【0070】

射影変換行列Mの算出を説明する。まず、座標Yは平面P 上にあるので、次式(1)が成り立つ。

【0071】

【数1】

【0072】

なお、式(1)にて座標X 及びY はそれぞれの3 次元座標(x , y , z) の斉次座標を表し、平面P は平面方程式ax + by + cz + d = 0 の係数ベクトルを表す。

【0073】

平面座標Y は3 次元座標X と視点座標E を結ぶ直線上にあるので、次式(2),(3)が成り立つ。

【0074】

【数2】

【0075】

なお、視点座標E も3 次元座標(x , y , z) の斉次座標を表す。上式(2),(3)での0 はスカラーなので解は次式(4),(5)が得られる。

【0076】

【数3】

【0077】

後者を代入すると、次式(6),(7),(8)が得られる。

【0078】

【数4】

【0079】

よって、射影変換行列M は次式(9)で得られる。ただし、I は単位行列である。

【0080】

【数5】

【0081】

なお、次式(10)に示すように、制御部4では、表示情報の仮想的な3 次元座標X（すなわち、記憶部5に格納された立体モデル)に射影変換行列M を適用することで、平面P 上の座標Y を算出する。

【0082】

【数6】

【0083】

なお、立体モデルが複数の立体で構成され、図２のR2で説明した一連のドミノのような、オクルージョンの関係が存在する場合は、視点座標Eから見える最も手前の立体モデルの要素についてのみ、射影変換を適用すればよい。

【0084】

図５の(1),(2)に関連する補足事項は以下の通りである。

【0085】

本発明においては図５の(1)に示すように、視点座標Eはまず、撮像画像を解析することにより、撮像部2を基準とした空間座標として推定部3（視点座標検出部31及び視点座標追跡部32）により求められる。

【0086】

一方、(2)に示すように、撮像部2と表示部6(の表示平面P)との空間座標上における位置関係も、本発明においては予め既知のものとして与えておく。例えば、情報端末装置1の筐体において固定して撮像部2及び表示部6を設けておき、それらの位置関係の情報を取得しておく。

【0087】

以上、図５の(1),(2)の前提により、情報端末装置1においては視点座標Eと、仮想的な3次元座標Xと、表示平面P及びその表示座標Yと、を共通の3次元座標系によって扱うことが可能となり、上記式(1)〜(10)の算出が可能となる。

【0088】

すなわち、前述の際には説明を省略したが、推定部3（視点座標検出部31及び視点座標追跡部32）では、撮像画像より撮像部2を基準とした視点座標を前述の各処理によって求めた後、さらに、当該図５の(2)の関係を適用して共通座標系に変換することで、視点座標Eを求めている。

【0089】

なお、当該共通座標系は任意に定めうるが、表示平面Pを基準として設定しておけばよい。この場合、ユーザに立体として提示する仮想3次元座標X上での各種の3D-CGモデル等を利用した表示情報を、当該表示平面Pを基準としてどのような位置にどのような大きさでどのような向きに見せるかといったことを考慮して、予めマニュアル設定しておくことができる。当該マニュアル設定の際には、周知の3D-CAD（3次元コンピュータ支援設計）を利用して表示情報を用意することができる。当該マニュアル設定された立体情報は前述のように記憶部5に格納され、利用される。

【0090】

なおまた、図５の(2)に示した撮像部2と表示部6との位置関係は、固定値を予め与えておく代わりに、変化することを許容して次のようにして求めてもよい。すなわち、表示平面P上の所定位置に周知の正方マーカ等のAR(拡張現実マーカ)を設けておき、当該マーカを撮像部2で撮像し、推定部3では当該マーカの位置及び姿勢を推定することによって、図５の(2)に示した撮像部2と表示部6との位置関係をリアルタイムで取得するようにしてもよい。なお、当該マーカは、表示平面P上ではなく、表示平面Pに対する既知の位置関係において設けられていても、当該既知の位置関係を追加で利用することにより、同様の処理が可能となる。

【0091】

ここで、図５を参照して、前述の制御部4による現実感を高めるための第一処理（ぼかし処理）及び第二処理（影の生成処理）を説明する。

【0092】

第一処理は、以上説明した図５より明らかなように、視点座標Eと、3次元座標Xにおける立体の各点qと、の間の距離d(E, q)を、周知のぼかし処理におけるぼかし度合いのパラメータとして利用して、当該仮想立体の点qに対応する表示平面P上の実際の点p（qをEから見て平面P上に投影した位置がp）にぼかし処理を施すことにより可能となる。

【0093】

第二処理も、3D-CAD（3次元コンピュータ支援設計）分野等において周知の光源設定処理や、その他の処理により、3次元座標Xにおいて「影」を新たに生成することによって可能となる。なお、一例では、当該生成される影は、表示平面P上に投影されるように構成してよい。

【0094】

図６は、第二処理の例を説明するための図であり、(1)は影を設定しない状態を、(2)及び(3)は、(1)に対して影を設定した例を示している。(1)では、表示平面P上に、制御部4による加工によって、当該ユーザの視点座標から見た際に立体として見える表示情報D1が示されている。当該立体D1は、表示平面P上に配置された直方体である。図６では、表示平面P上に影を生成する例を説明するが、その他の平面上に生成してもよい。

【0095】

一例では、(2)に示すように、表示情報D1が表示平面P1に接する領域を当該平面P1において所定割合だけ拡大したものを、影S1としてもよい。一例では、(3)に示すように、表示平面Pの座標系における所定位置L2に点光源を配置して、影S2を生成してもよい。あるいは、同じく(3)に示すように、表示平面Pの座標系における所定方向D2から、平行光線が射し込むようにして、影S2を生成してもよい。

【0096】

ここで、所定位置L2には、ユーザの視点座標Eを利用してもよいし、当該視点座標Eに対して所定の位置関係にある位置、例えば視点座標Eから表示平面Pの垂直方向に所定高さだけ上昇した位置など、を利用してもよい。所定方向D2には、図７を参照して以下説明する手法で算出される太陽方位（太陽高度h と太陽方位角a）を利用してもよい。

【0097】

緯度L，経度φである地点での太陽高度h と太陽方位角a は球面三角法を適用すると次式(11), (12), (13)の関係がある。

【0098】

【数7】

【0099】

ここで、H，d はそれぞれ時角、太陽赤経である。なお、日本の標準時間JST と標準子午線(135 度) を使うと、時角H は以下の式(14)で与えられる。

【0100】

【数8】

【0101】

ここで、Eq は平均太陽時による時刻と真太陽時による時刻との差分(均時差) である。均時差Eq は次式(15)で得られる。

【0102】

【数9】

【0103】

ここで、w = 2 π/ 365(閏年はw = 2 π/ 366)、J は元旦からの通算日数-1 である。よって、太陽高度h 及び太陽方位a は以下の式(16),(17)で与えられる。

【0104】

【数10】

【0105】

ここで、 α は太陽赤緯であり、次式(18)で求められる。

【0106】

【数11】

【0107】

なお、太陽方位a は真南を0 度とし、南西方向を正、南東方向を負の角度で表している。

【0108】

以上のようにして、太陽方位（太陽高度h と太陽方位角a）が算出される。なお、入力として必要な、緯度L、経度φ、日本の標準時間JST及び元旦からの通算日数-1=Jは、ネットワークから情報を収集する等により、また、水平面と表示平面Pとの角度は、傾きセンサ等により、別途取得すればよい。あるいは、表示部6の表示平面の設置箇所が予め固定され既知である場合は、時間及び通算日数以外はマニュアルで与えてもよい。

【0109】

ここで、図３に戻り、第二構成としての操作情報算出部35を説明する。操作情報算出部35は、周知の各種の手法により、撮像画像より手、指、指示棒その他の所定の対象によるユーザのジェスチャーを検出し、当該ジェスチャーに基づく操作情報を算出する。例えば、手の動きに関する速度ベクトルとして、操作情報を算出する。当該算出の際は、第一構成にて検出された視点座標を基準としてもよく、例えば視点座標の周りで回転された手を検出することで、角速度としての操作情報を算出してもよい。

【0110】

制御部4は、上記算出された操作情報を受け取り、射影変換を適用する前の立体モデルとしての表示情報を、当該操作情報に応じて変化させる。例えば、検出された速度ベクトルに基づいて、表示平面P上での位置を移動してもよいし、検出された角速度に基づいて、表示平面P上での配置を回転してもよい。3D-CGで構成されていれば、そのパラメータ(大きさなど)を当該操作情報に応じて変化させてもよい。

【0111】

当該変化された表示情報に、第一構成における変換係数が適用されることにより、ユーザの立場では、表示部6にて表示されている立体が、自身のジェスチャーに応じて移動したり、回転されたりすることにより、直感的な操作が可能となる。

【符号の説明】

【0112】

1…情報端末装置、2…撮像部、3…推定部、4…制御部、5…記憶部、6…表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】