特許 5863034 情報端末装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5863034

(24)【登録日】2016年1月8日

(45)【発行日】2016年2月16日

(54)【発明の名称】情報端末装置

(51)【国際特許分類】

   G09G 5/00 20060101AFI20160202BHJP

   G06T 7/60 20060101ALI20160202BHJP

   G06T 7/20 20060101ALI20160202BHJP

   G09G 5/36 20060101ALI20160202BHJP

【ＦＩ】

   G09G5/00 550C

   G06T7/60 150P

   G06T7/20 300A

   G09G5/00 530H

   G09G5/36 520D

   G09G5/36 520K

【請求項の数】6

【全頁数】17

(21)【出願番号】特願2012-33236(P2012-33236)

(22)【出願日】2012年2月17日

(65)【公開番号】特開2013-171083(P2013-171083A)

(43)【公開日】2013年9月2日

【審査請求日】2014年7月25日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100084870

【弁理士】

【氏名又は名称】田中 香樹

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】加藤 晴久

(72)【発明者】

【氏名】米山 暁夫

【審査官】 橋本 直明

(56)【参考文献】

【文献】 特開２０００−０９７６３７（ＪＰ，Ａ）

【文献】 特開２００５−３２６２８２（ＪＰ，Ａ）

【文献】 特開２００５−０３３３１９（ＪＰ，Ａ）

【文献】 特開２００６−２８５７８６（ＪＰ，Ａ）

【文献】 特開２０１２−００８９３６（ＪＰ，Ａ）

【文献】 特開２００３−０７８８１１（ＪＰ，Ａ）

【文献】 特開２０１０−０３９５５６（ＪＰ，Ａ）

【文献】 特開２００２−２５９９９２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｇ ５／００

Ｇ０６Ｔ ７／２０

Ｇ０６Ｔ ７／６０

Ｇ０９Ｇ ５／３６

(57)【特許請求の範囲】

【請求項1】

撮像対象を撮像する撮像部と、前記撮像部の第一姿勢を取得するセンサ部と、情報を表示する表示部と、該表示部で表示する情報を記憶する記憶部と、を備える情報端末装置において、
前記撮像された画像より前記撮像対象の前記撮像部に対する第二姿勢を推定する推定部と、
前記第二姿勢を補正して第三姿勢となす補正部と、
前記第三姿勢に基づいて、前記記憶部から読み出して前記表示部で表示する情報を制御する制御部とを備え、
前記撮像対象には所定の特徴点が設けられ、
前記推定部は前記撮像された画像より特徴点を抽出し、当該抽出された特徴点と、前記撮像対象が前記撮像部に対して所定配置で撮像される際の特徴点と、の平面射影変換の関係を求め、回転成分及び並進成分によって構成される当該平面射影変換の関係のうち、回転成分を前記第二姿勢として推定し、
前記センサ部は角速度センサを含み、該角速度センサが検出する角速度に基づいて回転行列として前記第一姿勢を取得し、
前記補正部は、現時点以前の過去時点にて前記撮像された画像をもとに前記推定された第二姿勢を、当該過去時点より当該現時点に至るまでの間における前記取得された第一姿勢の変動に基づいて補正することで、当該現時点における第三姿勢となすことを特徴とする情報端末装置。

【請求項2】

前記センサ部が、前記補正部にて補正し且つ前記制御部による制御のもと前記表示部にて表示する際のサンプリング周期に合わせて前記第一姿勢を取得することを特徴とする請求項１に記載の情報端末装置。

【請求項3】

前記推定部は、前記サンプリング周期よりも長い所定の間隔で各時点ts[i](i=1,2,3,…)にて前記撮像された画像に対して前記第二姿勢を推定し、
前記補正部は、当該各時点ts[i]の画像に対する前記第二姿勢の推定結果を参照可能な所定の各時点T[i]を定めることで、T[i]≦x＜T[i+1]の各時点xにおいて、時点ts[i]の画像に対する前記推定された第二姿勢を、時点ts[i]より時点xに至るまでの間における前記取得された第一姿勢の変動に基づいて補正することで、時点tにおける第三姿勢となすことを特徴とする請求項２に記載の情報端末装置。

【請求項4】

前記センサ部は前記角速度センサとして３軸の角速度センサを含み、当該３軸の角速度センサが取得するロール、ピッチ及びヨーに基づいて前記回転行列を求めることを特徴とする請求項１ないし３のいずれかに記載の情報端末装置。

【請求項5】

前記推定部はさらに、回転成分及び並進成分によって構成される前記平面射影変換の関係のうち、並進成分によって前記撮像対象の前記情報端末装置に対する位置を推定し、
前記補正部は、現時点以前の過去時点にて前記撮像された画像をもとに前記推定された第二姿勢を、当該過去時点より当該現時点に至るまでの間における前記取得された第一姿勢の変動に基づいて補正する際に、併せて当該過去時点の画像より前記推定された位置を当該現時点における位置とみなすように補正し、
前記制御部はさらに、前記第三姿勢及び前記補正された位置に基づいて、前記記憶部から読み出して前記表示部で表示する情報を制御することを特徴とする請求項１ないし４のいずれかに記載の情報端末装置。

【請求項6】

前記センサ部はさらに加速度センサを含み、該加速度センサが検出する加速度に基づいて前記情報端末装置の位置を取得し、
前記推定部は前記平面射影変換の関係に基づいてさらに、前記撮像対象の前記情報端末装置に対する位置を推定し、
前記補正部はさらに、前記推定された第二姿勢を前記取得された第一姿勢の変動で補正する際に、併せて前記推定された位置を前記取得された位置で補正し、
前記制御部はさらに、前記第三姿勢及び前記補正された位置に基づいて、前記記憶部から読み出して前記表示部で表示する情報を制御することを特徴とする請求項１ないし５のいずれかに記載の情報端末装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報を提示する情報端末装置に関し、特に、撮像部と撮像対象との相対的位置関係の変化によって表示部での表示情報を制御できる情報端末装置に関する。

【背景技術】

【0002】

撮像対象との相対的な位置関係に応じて情報を提示する技術は、提示する情報を直感的に変化させることが可能であり、利用者の利便性を向上させることができる。特許文献１及び非特許文献１にはこうした技術が開示されている。

【0003】

特許文献１では、ジャイロセンサと、加速度センサと、撮像手段とを備えた入力装置から操作データを取得し、ジャイロセンサが検出する角速度に基づいて入力装置の姿勢を算出した後に、加速度センサが検出する加速度データ及び撮像手段が撮像する所定の撮像対象の画像に基づいて入力装置の姿勢を補正する手法が提案されている。

【0004】

非特許文献１には、カメラで撮像した手の画像から曲率が大きな箇所を指先として検出し、楕円フィッティングの技術を利用して、検出された手と撮像手段とのの相対的な姿勢を推定する手法が提案されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開2010-5332号公報

【非特許文献】

【0006】

【非特許文献1】T.Lee, et al., "Handy AR: Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking," In Proc. IEEE International Symposium on Wearable Computers, pp.83-90, Oct. 2007.

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１の姿勢算出装置では、まずジャイロセンサから逐次出力される角速度を積分 し、初期状態からの姿勢の変化量を積分結果から算出することによって、現在の姿勢を算出する。このとき、ジャイロセンサの誤差が蓄積する問題を解決するため、加速度センサが示す向きが重力加速度方向であることを仮定して補正する。しかし、動きによっては装置が移動している最中に重力加速度方向以外に加速度が発生すること、及び加速度センサから算出される姿勢の誤差を想定していないために、特許文献１では姿勢を正確に算出することができないおそれがある。また、加速度センサのなかには重力加速度を計測できないものもあるため、利用できる加速度センサは限定される。一方、撮像手段を補正に利用する場合、赤外線を照射する装置を別途設置しておく必要があるため、特許文献１の装置を利用できる場所が限定されるという課題がある。

【0008】

非特許文献１の手法では、特に曲率が大きな箇所を指先として検出するので、情報を正しく位置合わせして表示するには、指が丸く見えるくらいの近距離かつ高解像度画像を必要とする。また、処理負荷が大きい楕円フィッティングを用いて指先を検出するので、全ての指の指先を検出するとなると、処理時間がかかりすぎるという課題もある。

【0009】

本発明の目的は、上記課題を解決し、撮像部およびセンサを用いて情報端末装置の姿勢を正確且つ簡素に算出し、表示部で表示する情報を制御できる情報端末装置を提供することにある。

【課題を解決するための手段】

【0010】

上記目的を達成するため、本発明は、撮像対象を撮像する撮像部と、端末の姿勢を取得するセンサ部と、情報を表示する表示部と、該表示部で表示する情報を記憶する記憶部と、を備える情報端末装置において、前記撮像された画像より前記撮像対象の当該端末に対する姿勢を推定する推定部と、前記推定された姿勢を前記取得された姿勢で補正する補正部と、前記補正された姿勢に基づいて、前記記憶部から読み出して前記表示部で表示する情報を制御する制御部とを備え、前記撮像対象には所定の特徴点が設けられ、前記推定部は前記撮像された画像より特徴点を抽出し、当該抽出された特徴点と、前記撮像対象が前記撮像部に対して所定配置で撮像される際の特徴点と、の平面射影変換の関係に基づいて前記姿勢を推定し、前記センサ部は角速度センサを含み、該角速度センサが検出する角速度に基づいて前記端末の姿勢を取得し、前記補正部は、現時点以前の過去時点にて前記撮像された画像をもとに前記推定された姿勢を、当該過去時点より当該現時点に至るまでに前記取得された姿勢の変動に基づいて補正することで、当該現時点における補正された姿勢となすことを特徴とする。

【発明の効果】

【0011】

本発明によれば、撮像画像を解析して推定された姿勢をセンサ部で取得された姿勢によって補正することで、簡素且つ正確に端末に対する撮像対象の姿勢を求めることができ、当該姿勢に基づいて表示情報を制御することができるようになる。

【0012】

本発明によればまた、姿勢推定を平面射影変換の関係から行うため、正確に推定することができ、また、端末の姿勢取得を角速度センサを用いて行うため、簡素に取得することができる。

【0013】

本発明によればさらに、過去時点に対して正確に推定された姿勢を、適切かつ簡素な外挿予測としての過去時点から現時点に至るまでに取得された姿勢の変動で補正するので、常に精度高く姿勢を求めることができる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態に係る情報端末装置の機能ブロック図である。

【図2】補正された姿勢を用いた制御部による表示情報の制御の例を示す図である。

【図3】補正のタイミングを示すタイムライン図である。

【図4】補正された位置を用いた制御部による表示情報の制御の例を示す図である。

【発明を実施するための形態】

【0015】

図1は、本発明の一実施形態に係る情報端末装置の機能ブロック図である。情報端末装置1は、撮像部2、推定部3、センサ部4、補正部5、記憶部6、制御部7及び表示部8を備える。情報端末装置1には、携帯端末やスマートフォン等を採用することができるが、当該機能ブロックの構成を取れば、デスクトップ、ラップトップ又はタブレット端末その他のコンピュータを採用してもよい。

【0016】

当該各部の概要は次の通りである。

【0017】

撮像部2は、所定のサンプリング周期にて所定の撮像対象を撮像して、その撮像画像を推定部3及び制御部7に出力する。情報端末装置1が携帯端末等であれば、撮像部2には携帯端末等に標準装備されるデジタルカメラを用いることができる。

【0018】

推定部3は、撮像部2から入力される画像を解析して、撮像対象の撮像部2に対する相対的な姿勢を推定し、補正部5へ出力する。撮像部2は情報端末装置1に固定されるので、当該相対的な姿勢は撮像対象の情報端末装置1に対する相対的な姿勢でもある。なお推定部3はまた、所定時刻における推定姿勢をセンサ部4に出力し、センサ部4は当該推定姿勢を姿勢算出の積算における初期値として利用してもよい。

【0019】

センサ部4は、情報端末装置1の各時点での姿勢を所定のサンプリング周期でモニタリングして、その取得した姿勢を補正部5に出力する。このため、センサ部4は不図示の角速度センサを含み、該角速度センサの出力した角速度を周知の手法によって積算して、各時点における姿勢を求め、補正部5に出力する。情報端末装置1が携帯端末等であれば、センサ部4には携帯端末等に標準装備されるジャイロセンサを用いることができる。

【0020】

補正部5は、推定部3の推定した姿勢をセンサ部4の取得した姿勢によって補正し、補正された姿勢を制御部7に出力する。当該補正された姿勢は、所定の変換式及び変換係数の形式で制御部7に出力される。

【0021】

記憶部6は、表示部8で表示する表示情報を予め複数蓄積している。情報端末装置1のユーザは、制御部7に含まれる不図示のキーパッド、タッチパネル等に対するメニュー選択等の入力操作で、記憶部6に蓄積されている表示情報の中から所望の表示情報を選択して表示部8に表示させることができる。

【0022】

表示部8での情報表示の際、制御部7は補正部5から入力された姿勢（変換式及び変換係数）を表示情報に適用して、表示情報を加工して制御する。図2に当該制御の例を示す。ここでは、(A)に示すように撮像対象の例として「左手の平」（「手」と略称する）が、撮像部2を備える情報端末装置1によって撮像されている。また、撮像部2(及び情報端末装置1)の手に対する所定配置としての姿勢及び位置の例としてA10が示され、当該配置A10においては撮像部2が手の正面に所定距離をもって位置している。

【0023】

なお、撮像部2の撮像面は図中、直方体として示す配置A10の背面に設けられ、撮像部2は手を正面で撮像している。また(B)のP10は、当該配置A10と手との間の所定の空間的配置関係にあるときの表示部8での表示情報の例として、平面状の模様が示されている。

【0024】

(B)に示すP11、P12、P13及びP14はそれぞれ、配置A10より各軸に示す方向A11、A12、A13及びA14に撮像部2(及び情報端末装置1)を回転させた場合の、表示部8での表示情報の例である。この回転の際、手は静止しているものとする。ここでは、手の見え方すなわち撮像部2で撮像された後、補正部5にて補正して得られた手の姿勢に連動させて、表示情報が制御されている。

【0025】

回転A11では手の撮像映像において手の右側(小指側)が近づき、手の左側(親指側)が遠ざかるので、表示情報も同様にP11に示すように、P10の状態から平面状の模様の右側が近づき左側が遠ざかるように回転される。回転A12は当該回転A11の逆であり、表示情報はP12に示すように回転される。

【0026】

回転A13では手の撮像映像において手の上側が近づき、手の下側が遠ざかるので、表示情報も同様にP13に示すように、P10の状態から平面状の模様の上側が近づき下側が遠ざかるように回転される。回転A14は当該回転A13の逆であり、表示情報はP14に示すように回転される。

【0027】

なお、補正姿勢に基づいて表示情報を制御する際には当該例以外にも、所望の方式を採用することができる。例えば当該例とは逆に、回転A11に表示P12の制御を、回転A12に表示P11の制御を、回転A13に表示P14の制御を、回転A14に表示P13の制御を割り当てるようにしてもよい。この場合、撮像部2(及び撮像部2が固定されて連動する情報端末装置1)自体の回転方向に連動して表示情報が制御されるので、ユーザは情報端末装置1に加えた回転と同方向の回転で表示情報を制御することができ、直感的な操作も可能となる。その他にも、補正姿勢における所定の方向の傾きを定数倍したり、閾値処理を施す等の処理を含む任意の方式を採用してよい。

【0028】

また(C)は、記憶部6から読み出して制御部7の制御下で制御される表示情報に、撮像部2から制御部7に入力された撮像画像を重畳させた場合の例を示している。P20では平面状の模様の背後に重畳させ、P30では平面状の模様と併記して重畳させている。当該重畳処理によれば、ユーザは撮像対象が撮像部2に撮像されているかを確認しながら情報端末装置1を利用することができるので、撮像対象が撮像されないような配置となって表示情報に対しユーザが意図する制御を加えることができないようになることを防止することができる。

【0029】

なお、図1においては推定部3による推定姿勢、センサ部4による取得姿勢及び補正部5による補正姿勢に対してそれぞれ、(推定位置)、(取得位置)及び(補正位置)が併記されている。これは、現在説明している第一実施例との対比で、後述の第二実施例及び第三実施例を説明するためのものである。

【0030】

以下、推定部3及び補正部5等の詳細につき説明する。

【0031】

図3は、補正部5による補正のタイミングをその他の各部の処理タイミングと共に示すタイムライン図である。ここでは、横軸方向に、所定のサンプリング周期（ここでは説明のため当該周期を「１」とするが、実際の値は任意に設定できる。）の時間進行がt−n,…,t,t+1,…,t+mと示されている。

【0032】

図示するように、撮像部2、センサ部4並びに(補正部5及び制御部7による制御下の)表示部8は、当該所定のサンプリング周期に従って互いに連動して、各時刻tに対してそれぞれ撮像画像(入力)P_t、センサ出力(取得した姿勢)R_t並びに補正姿勢で制御された出力F_tを与えている。

【0033】

なお、表示出力F_tのサンプリング周期は補正部5による姿勢の補正タイミング及び制御部7による制御タイミングと一致する。なおまた、撮像部2における撮像画像P_tのサンプリング周期は、センサ出力R_t及び表示出力F_tの同一の周期よりも粗い所定の周期であってもよい。

【0034】

推定部3は、撮像画像P_tより、当該撮像画像P_t等の所定のサンプリング周期よりも粗い所定の間隔をもって並んだ各時点ts[i]（i=1,2,3,…；当該各間隔は値が同一でなくともよい）の撮像画像P_ts[i]を、姿勢推定処理を行う対象となる画像として順次定める。ここでは例として、ts[i]＝t−n, ts[i+1]＝t, ts[i+2]＝t+mと順次定められている一部分が示されている。

【0035】

推定部3は、姿勢推定対象の撮像画像P_ts[i]より、撮像対象に対して予め設定された特徴点（複数）を抽出し、撮像部2に対して撮像対象を所定配置に置いて撮像した際の当該特徴点の配置との平面射影変換の関係を求め、当該平面射影変換の関係を構成している回転成分及び並進成分のうち、回転成分を撮像対象の姿勢として求める。

【0036】

当該詳細は後述するが、平面射影変換の関係を求めるのはその他の処理と比べて高負荷であるので、周期ts[i]にて順次取得した姿勢推定対象画像に対して、所定の遅れを伴った各時点T[i](i=1,2,3,…)において、補正部5が当該推定結果を参照して利用可能とする。こうして、周期ts[i]と参照可能時点T[i]とは一例として次のような関係となる。
ts[1]＜T[1]≦ts[2]＜T[2]≦…≦ts[i]＜T[i]≦ts[i+1]＜T[i+1]≦…

【0037】

なお、当該参照可能時点T[i]は、姿勢推定処理完了時点以降で最も近いセンサ出力R_t及び表示出力F_tの時点に合わせるように設定してもよいし、姿勢推定処理を終えた後の所定の時点に設定することで姿勢推定負荷を低減するようにして、情報端末装置1の電力消費を抑制するようにしてもよい。

【0038】

こうして図示するように、時点t−n＝ts[i]の画像P_t−nにおける姿勢推定結果H_t−nが、時点t−n＝ts[i]よりも遅れた時点T[i]にて参照可能となる。また続いて、時点t＝ts[i+1]の画像P_tにおける姿勢推定結果H_tが、時点t＝ts[i+1]よりも遅れた時点T[i+1]にて参照可能となる。

【0039】

図示するように、補正部5は、T[i]≦x＜T[i+1]（i＝1,2,3,…）の各時点xにおいて、時点ts[i](＝t−n)の画像に対して推定された姿勢H_t−nを、時点ts[i](＝t−n)より当該時点xに至るまでにセンサ部4によって取得された姿勢の変動(R_t−nからR_xへの変動)に基づいて補正することで、時点tにおける補正された姿勢となし、当該姿勢に基づいて制御された表示出力F_xが得られる。当該補正の詳細は姿勢推定の詳細と共に後述する。

【0040】

例えば、T[i]≦t＜T[i+1]に存在する時点tの表示出力F_tは、過去時点t−nに対する推定姿勢H_t−nを、センサ部4による当該過去時点t−nでの取得姿勢R_t−nから当該時点tでの取得姿勢R_tへの変動分に基づいて補正した姿勢より得られる。また、T[i]≦t+1＜T[i+1]に存在する時点t+1の表示出力F_t+1は、過去時点t−nに対する推定姿勢H_t−nを、センサ部4による当該過去時点t−nでの取得姿勢R_t−nから当該時点t+1での取得姿勢R_t+1への変動分に基づいて補正した姿勢より得られる。

【0041】

推定姿勢H_t−nには、角速度センサを用いて取得される姿勢におけるような時間と共に誤差が累積するという性質がない。よって、本発明においては姿勢を上記のように補正することで、T[i]≦x＜T[i+1]（i＝1,2,3,…）の各時点xにおいて、角速度センサによる誤差の累積は過去時刻t−nより当該現時点xまでの分のみに抑えられる。

【0042】

推定部3による撮像画像からの撮像対象の姿勢推定の詳細は次の通りである。例えば、撮像対象が手である場合には、以下の特許文献2の技術を適用して推定部3を実現することができる。また、撮像対象に白黒マーカーを設定する場合には、以下の非特許文献2の技術を利用して推定部3を実現することができる。

【0043】

[特許文献2]特願2010-146385号

【0044】

[非特許文献2]Kato, H., Billinghurst, M. "Marker Tracking and HMD Calibration for a video-based Augmented Reality Conferencing System," In Proceedings of the 2nd International Workshop on Augmented Reality, 1999.

【0045】

推定部3を実現する一般的な手法では、予め同一平面上に登録されている特徴点と、撮像画像から検出した特徴点との間の平面射影変換の関係により、撮像対象の撮像部2に対する相対的な位置及び姿勢が求まるので、このうちの姿勢を補正部5に出力する。

【0046】

なお、予め同一平面上に登録されている特徴点とは、撮像対象を撮像部2に対して所定配置（所定の位置及び姿勢）に置いて撮像した際の特徴点であり、撮像対象には同一平面上に複数の特徴点を予め設けておく。所定配置の例として、図2の(A)に示したような、撮像部2の正面に所定距離をもって配置するもの等が挙げられる。

【0047】

具体的には、撮像画像より検出された特徴点座標x'と、対応する予め登録されている特徴点座標xとが、Homography行列(平面射影変換行列)Hを使って、対応づけられる。なお、スケーリングには依存しないため、係数sを介して次式(式1)が成り立つ。

【0048】

【数1】

【0049】

ここで、行列Hは下記(式２)の3×3行列で表される。係数は9個であるが、スケーリングの不定性のため自由度は8である。

【0050】

【数2】

【0051】

ここで、(式１)においてベクトル及び行列の要素を書き表すと、以下(式３)のようになる。

【0052】

【数3】

【0053】

よって、各行で展開すると、以下(式４)〜(式６)となる。

【0054】

【数4】

【0055】

【数5】

【0056】

【数6】

【0057】

ここで、スケーリング係数sを除いて、以下（式７)及び(式８)とする。

【0058】

【数7】

【0059】

【数8】

【0060】

これを、改めて行列表現に戻すと、以下(式９)となる。

【0061】

【数9】

【0062】

表現を簡単にするため、(式９)において左辺の行列とベクトルとをそれぞれA,hで表せば、次式(式１０)を解くこととなる。

【0063】

【数10】

【0064】

ここで、右辺の0は要素が全て0で構成された2×1のベクトルである。上記(式１０)は一組の特徴点の対応関係を表したものであるから、複数組の特徴点を同時に表す場合は、行列A及びベクトル0を拡張すればよい。

【0065】

すなわち、n組の特徴点の対応関係を並べたとき（なお、1組の特徴点の対応関係が(式７)及び(式８)）、行列Aは2n×9の行列、0は2n×1のベクトルで表される。なお、行列Hに対応するベクトルhはn組の対応関係においても9×1のベクトルで表される。

【0066】

なおまた、複数の点の係数（座標値）が偏っている場合は、予め正規化しておくことが望ましい。点x及びx'をそれぞれ行列N及びN'で正規化した点X及びX'を(式１１)及び(式１２)のように求めておき、改めて点x及びx'として扱う。

【0067】

【数11】

【0068】

【数12】

【0069】

正規化した場合は、詳しくは以下の非特許文献３などに開示された、複数の点の中心を原点に移動すると共に原点からの距離の平均をスケーリングする方法で、正規化後の直線X及びX'に対応する行列H_Xを算出した後、正規化後の直線に対応する行列H_xを次式(式１３)で算出する。

【0070】

【数13】

【0071】

[非特許文献３] H. Zeng, et al., ``A new normalized method on line-based homography estimation,'' Pattern Recognition Letters, Vol. 29, No. 9, pp.1236--1244, 2008.

【0072】

さて、8自由度のhについて(式１０)を解くにはn≧4組の点を与える必要がある。このとき、(式１０)左辺のノルムを最小化するhを求める[(式１４)]。

【0073】

【数14】

【0074】

ノルムを二乗和として最小化するとき、A^TAの最小の固有値に対応する固有ベクトルがhとして求められる[(式１５)]。

【0075】

【数15】

【0076】

例えば、特異値分解によって解く場合は、行列Aを次式(式１６)のように行列の積に分解することに相当する。

【0077】

【数16】

【0078】

なお、Uは2n×2nの直交行列、Vは9×9の直交行列を表す。また、ΣはAの特異値σ_i(1≦i≦rank A)を降順に並べた2n×9の対角行列を表す。特異値σ_iは2n＜9の場合はAA^T、2n≧9の場合はA^TAの固有値λ_iの平方である。具体的に2n≧9の場合の手順は、まずA^TAの固有値を求め、特異値を算出する。次に、直交行列U及びVはその定義からU^TU＝I、V^TV＝Iであることを利用して(Iは単位行列)、次式(式１７)が得られる。

【0079】

【数17】

【0080】

よって、次式(式１８)で示すように、Vの列ベクトルv_iはA^TAの固有値σ_i²に対応する固有ベクトルとして求められる。

【0081】

【数18】

【0082】

なお、所定の特徴点に対応する検出された特徴点が何通りか存在する場合は、当該候補の点の組み合わせi毎に行列Hを求め、該行列Hで変換した際のノルム（式１９）が最小となるような組み合わせiに対応する行列Hを解とする。

【0083】

【数19】

【0084】

当該姿勢推定の処理は負荷が大きいので、推定部3と補正部5その他との連動に際しては、前述の図3のようなタイムラインに従う。この際、センサ部4は角速度センサの出力姿勢(３軸の角速度センサの各回転角)を、次式（式２０）に従って回転行列Rの形式に変換してから、補正部5へと渡す。なお（式２０）において、φは左右の傾き(ロール)、θは前後の傾き(ピッチ)、ψは鉛直軸の傾き(ヨー)である。

【0085】

【数20】

【0086】

補正部5はセンサ部4の出力したT[i]≦x＜T[i+1]の各時刻x（及びさらに過去の時刻x）に対する回転行列R_xによって、平面射影変換行列H_t−nにおける姿勢を補正する。ここで前提として、平面射影変換行列Hは一般に、次のように回転成分Rと並進成分tとで与えられ、カメラの内部パラメータを単位行列となるように正規化した場合、次式（式２１）で表現できる。

【0087】

【数21】

【0088】

ここで、Rとtとはそれぞれ外部パラメータの回転行列と並進ベクトルとを表し、Tは転置を表す。qは所定配置における撮像対象の画像において特徴点が配置された平面を表す式の係数で構成されるベクトルであり、時刻によらない定数ベクトルである。すなわち、推定部3は上記Rを推定姿勢として補正部5に出力する。ここで、推定部3は図3のタイムラインに従って当該（式２１）をts[i]＝t−nの時刻について次（式２２）のように求める。

【0089】

【数22】

【0090】

上記R_t−n（センサ出力との区別のため、R_{t−n[画像]}と表記する）を姿勢の初期値として、補正部5は補正された姿勢としてのT[i]≦x＜T[i+1]の各時刻xに対する回転行列R'_xを次式（式２３）のように求める。

【0091】

【数23】

【0092】

ここで、括弧()で括った(R_xR_t−n⁻¹)の項が、（式22）で定まる初期値R_{t−n[画像]}の時点t−nからの当該時点xまでにセンサ部4の取得した姿勢の変動分（R_t−nからR_xへの変動）を表している。当該補正された回転行列R'_xにより、表示部8では図２で説明したような表示制御が可能となる。

【0093】

以上のように本発明によれば、撮像部2と撮像対象の相対的姿勢を変化させるだけで、撮像対象の位置する領域に表示する情報を制御することが可能となる。したがって、利用者は、撮像部2に対する撮像対象の相対的姿勢を変化させるという直観的な操作で表示情報を制御できる。

【0094】

また、表示情報の制御は、撮像部2に入力される画像を解析し、センサの情報で補正するので、画像解析結果を基準としつつ、時間解像度を高めることができる。さらに、適宜センサの情報を組み込むことで、過去の画像推定結果の外挿予測より、遅延無く推定精度を高めることができ、したがって、表示情報を確実に制御できる。

【0095】

以上を第一実施例とする。第二実施例では、第一実施例に対する追加構成として、センサ部4がさらに加速度センサを含み、所定の初期値に対する周知の手法での積算によって、情報端末装置1の位置を取得して、補正部5に出力する。当該積算の際、角速度センサの取得した姿勢の情報によって加速度センサの各軸の向きを求めたうえで、積算を行う。

【0096】

推定部3は、第一実施例と同様に平面射影変換行列を求めたうえでさらに、（式２１）における並進成分tによって、撮像対象の撮像部2(及び連動して動く情報端末装置1)に対する相対的な位置を推定する。すなわち、推定部3は、（式２１）における回転成分Rとして撮像対象の姿勢を推定すると共に、並進成分tによって撮像対象の位置を推定し、両者を補正部5に出力する。

【0097】

推定部3はまた、推定した並進成分tの直近の所定期間に渡る履歴をセンサ部4へ出力する。センサ部4は当該履歴より位置と速度の初期値を求めて、上記積算を行う。

【0098】

補正部5は、第一実施例と同様に推定部3の推定した姿勢を補正すると共に、推定部3の推定した位置をセンサ部4が取得した位置の変動に基づいて補正し、両者を制御部7に出力する。制御部7は、当該補正された姿勢及び位置に基づいて、表示部8での表示を制御する。姿勢による制御は、図2で説明したように第一実施例と同様である。図4は、位置による表示の制御を説明するための図である。

【0099】

ここでは(A)に示すように、撮像対象を「右手の平」として、所定配置A20では情報端末装置1が図の背面に位置する撮像部2によって撮像対象を正面に捉えており、この際の表示部8での表示が(B)のP20のような模様として示されている。ここでは手の見え方と連動して表示情報を制御する例を説明する。

【0100】

当該所定配置A20及びその際の表示情報P20の状態より、正面の向きのxy平面内でA21に示す右上方向に情報端末装置1を動かすと、手は左下に見えるようになるので、P21に示すように表示情報は連動して左下に動かされる。また当該状態より、A22に示す奥行き方向に情報端末装置1を動かすと、手は小さく見えるようになるので、P22に示すように表示情報は連動して縮小表示される。

【0101】

なお、図2で姿勢による表示の制御について説明したのと同様に、位置による制御の割り当て方も図4の上記例以外の任意の手法を採用することができる。例えばA21の方向に動かした際に、P21とは逆方向すなわちA21と同方向に表示情報が移動するようにしてもよいし、A22の方向に動かした際に、P22とは逆に表示情報を拡大表示するようにしてもよい。

【0102】

補正部5は、センサ部4における加速度センサにより得られた位置によって、推定部3の推定位置を補正するが、当該補正のタイミングは図3を用いて説明した第一実施例における角速度センサの取得した姿勢による推定部3の推定姿勢の補正と全く同様である。

【0103】

すなわち、図3における角速度センサの取得姿勢(回転行列)R_t−n,…,R_t, R_t+1,…,R_t+m,…に代えて、対応する各時点における加速度センサの取得位置(並進ベクトル)をY_t−n,…,Y_t, Y_t+1,…,Y_t+m,…とすると、T[i]≦x＜T[i+1]（i＝1,2,3,…）の各時点xにおいて、時点ts[i](＝t−n)の画像に対して推定された位置H_t−nを、時点ts[i](＝t−n)より当該時点xに至るまでにセンサ部4によって取得された位置の変動(Y_t−nからY_xへの変動)に基づいて補正することで、時点tにおける補正された姿勢となす。

【0104】

すなわち、(式22)の初期値H_t−nに対して、T[i]≦x＜T[i+1]（i＝1,2,3,…）の各時点xにおいて補正部5は姿勢及び位置を補正した平面射影変換行列H'xを次式（式２４）のように求める。

【0105】

【数24】

【0106】

ここで、右辺の第一項は（式２３）と同様の補正された姿勢の項であり、右辺の第二項が補正された位置の項であり、Y_x−Y_t−nの部分が加速度センサにより取得した位置の変動（位置Y_t−nからY_xへの変動）として得られる。なお、表示部8にて撮像対象の補正された位置及び姿勢に連動させて表示情報を制御する際には、表示情報の座標を上記補正されたH'_xでそのまま変換してもよい。

【0107】

第二実施例における加速度センサの累積出力においても、第一実施例における角速度センサの累積出力におけるのと同様に、所定期間毎に平面射影変換行列の推定した値が初期値に設定されるため、誤差が際限なく蓄積することを防ぎつつ表示情報を制御することができる。

【0108】

以上、第二実施例に次いで、第三実施例を説明する。第三実施例では、センサ部4が加速度センサを含まず第一実施例と同様に角速度センサのみを含んで構成されるが、推定部3は第二実施例と同様に撮像対象の位置及び姿勢を推定する。補正部5は第一実施例と同様に姿勢を補正すると共に、当該補正が適用されるまでの際に位置には変動がない（微少時間であり変動が無視できる）ものとみなして、補正された姿勢及び変動がないとみなされた位置を制御部7に出力する。制御部7は当該姿勢及び位置に基づいて第二実施例と同様に表示情報を制御する。

【0109】

すなわち第三実施例では、(式22)の初期値H_t−nに対して、T[i]≦x＜T[i+1]（i＝1,2,3,…）の各時点xにおいて補正部5は補正した姿勢及び変動がないとみなした位置を表す平面射影変換行列H'xを次式（式２５）のように求める。

【0110】

【数25】

【0111】

すなわち、T[i]≦x＜T[i+1]の各時点xにおいて、並進成分はt_t−nで一定であるとみなしている。当該第三実施例は、加速度センサが不要であるので、位置による制御をそれほど高速に行わない場合等において所定精度を確保して位置及び姿勢の両者による制御を実現しつつ、コスト低減を達成するのに有効である。

【符号の説明】

【0112】

1…情報端末装置、2…撮像部、3…推定部、4…センサ部、5…補正部、6…記憶部、7…制御部、8…表示部

【図1】

【図2】

【図3】

【図4】