特許第5987247号(P5987247)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ モベア エス.アーの特許一覧 ▶ コミシリア ア レネルジ アトミック エ オ エナジーズ オルタネティヴズの特許一覧

特許5987247データ融合によるモーションキャプチャポインタ
<>
  • 特許5987247-データ融合によるモーションキャプチャポインタ 図000076
  • 特許5987247-データ融合によるモーションキャプチャポインタ 図000077
  • 特許5987247-データ融合によるモーションキャプチャポインタ 図000078
  • 特許5987247-データ融合によるモーションキャプチャポインタ 図000079
  • 特許5987247-データ融合によるモーションキャプチャポインタ 図000080
  • 特許5987247-データ融合によるモーションキャプチャポインタ 図000081
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5987247
(24)【登録日】2016年8月19日
(45)【発行日】2016年9月7日
(54)【発明の名称】データ融合によるモーションキャプチャポインタ
(51)【国際特許分類】
   G06F 3/0346 20130101AFI20160825BHJP
   G06F 3/038 20130101ALI20160825BHJP
【FI】
   G06F3/0346 425
   G06F3/038 310Y
【請求項の数】23
【全頁数】29
(21)【出願番号】特願2011-515397(P2011-515397)
(86)(22)【出願日】2009年6月26日
(65)【公表番号】特表2011-526019(P2011-526019A)
(43)【公表日】2011年9月29日
(86)【国際出願番号】EP2009058024
(87)【国際公開番号】WO2009156499
(87)【国際公開日】20091230
【審査請求日】2012年5月24日
【審判番号】不服2015-3877(P2015-3877/J1)
【審判請求日】2015年2月27日
(31)【優先権主張番号】0803632
(32)【優先日】2008年6月27日
(33)【優先権主張国】FR
(73)【特許権者】
【識別番号】511001714
【氏名又は名称】モベア エス.アー
(73)【特許権者】
【識別番号】510163846
【氏名又は名称】コミシリア ア レネルジ アトミック エ オ エナジーズ オルタネティヴズ
(74)【代理人】
【識別番号】100071054
【弁理士】
【氏名又は名称】木村 高久
(72)【発明者】
【氏名】バッサムピエール、シンディ
(72)【発明者】
【氏名】カリトゥ、ヤニス
(72)【発明者】
【氏名】フラマン、ブルーノ
(72)【発明者】
【氏名】ヴァシレフ、アンドレア
【合議体】
【審判長】 和田 志郎
【審判官】 稲葉 和生
【審判官】 桜井 茂行
(56)【参考文献】
【文献】 特表2007−535776(JP,A)
【文献】 米国特許出願公開第2005/240347(US,A1)
【文献】 特開平6−50758(JP,A)
【文献】 WELCH G.,BISHOP G.,An introduction to the Kalman Filter,SIGGRAPH 2001
(58)【調査した分野】(Int.Cl.,DB名)
G06F3/01
G06F3/033-3/041
G06F3/048
(57)【特許請求の範囲】
【請求項1】
ユーザが平面内の可動要素で指し示すためのポインティング装置(10)であって、
少なくともその2つの直交軸(Y,Z)の回りの前記装置の角速度(ω,ω)を測定するための少なくとも1つの第1のセンサ(20)と、
前記2つの軸(Y,Z)と1つの第3の直交軸(X)に関連して前記装置の線形加速度(a,a,a)を測定するための少なくとも1つの第2のセンサ(30)と、
空間上の前記ポインティング装置の回転の関数として前記平面内の前記可動要素に与えられる変位(y,z)を計算するためのモジュールであって、データ融合アルゴリズムを実施することにより、前記ポインティング装置に与えられたねじれを補償するためのサブモジュール(50)を含む、計算モジュール(40)と
を含み、
前記データ融合アルゴリズムは、
i)少なくとも前記第1のセンサにより測定された角速度(ω,ω)と前記第2のセンサにより測定された線形加速度(a,a,a)とを入力として受け付けること、
ii)該受け付けた入力からポインティング装置に与えられたユーザの基準系の平面に関するねじれを表す変数と可動要素の変位(y,z)を表すユーザの基準系におけるポインティング装置の角速度(ω,ωとを含む状態ベクトルを評価すること
から構成されることを特徴とするポインティング装置。
【請求項2】
前記状態ベクトルは、ユーザの基準系における前記角速度(ω,ω)をさらに含むことを特徴とする請求項1に記載のポインティング装置。
【請求項3】
前記第1のセンサは2軸ジャイロメータであることを特徴とする請求項1に記載のポインティング装置。
【請求項4】
前記第1のセンサは3軸ジャイロメータであることを特徴とする請求項1に記載のポインティング装置。
【請求項5】
前記角速度(ω,ω)は、前記ねじれを表す変数を用いて、前記第1のセンサが測定した角速度から計算されることを特徴とする請求項4に記載のポインティング装置。
【請求項6】
前記第2のセンサは出力(a、a、a)を生成する3軸加速度計であることを特徴とする請求項1に記載のポインティング装置。
【請求項7】
前記データ融合アルゴリズムがカルマンフィルタを実施することを特徴とする請求項1に記載のポインティング装置。
【請求項8】
前記カルマンフィルタは、下記条件:その状態ベクトル(x)は前記ポインティング装置の少なくとも1つのねじれ角(θ、ψ)を含む;その状態モデルは前記ねじれ角(θ、ψ)の少なくとも1つの関数として少なくとも前記ポインティング装置の角速度(ω)の表現を含む;その測定ベクトルは少なくとも前記第2のセンサの出力(a、a、a)を含む;のうちの少なくとも1つを満たすことを特徴とする請求項7に記載のポインティング装置。
【請求項9】
前記カルマンフィルタの前記状態ベクトルは事前選択された状態[θψ]に初期化され、カルマンフィルタサンプリング工程kにおける状態ベクトル
【数1】
の事前推定は下記式:
【数2】
(式中、Tはフィルタサンプリング期間である)
を介し計算されることを特徴とする請求項8に記載のポインティング装置。
【請求項10】
前記カルマンフィルタサンプリング工程kにおける測定結果
【数3】
の前記事前推定値は下記式:
【数4】
を介し計算されることを特徴とする請求項8に記載のポインティング装置。
【請求項11】
前記カルマンフィルタの利得Gは下記式:
【数5】
を介し計算されることを特徴とする請求項8に記載のポインティング装置。
【請求項12】
前記カルマンフィルタサンプリング工程kにおいて事前推定される状態の補正は、下記式:
【数6】
を介し計算されることを特徴とする請求項8に記載のポインティング装置。
【請求項13】
前記ユーザの基準系の前記角速度の成分ωとωは下記式:
【数7】
を介し計算されることを特徴とする請求項8に記載のポインティング装置。
【請求項14】
前記カルマンフィルタは下記条件:状態(x)の初期値に合致する信頼度の行列Pは10−2程度の選択値を含む;その状態モデルに合致した信頼度の行列Qはその最大が前記第1のセンサの測定結果の雑音の標準偏差よりわずかに大きい選択値を含む;前記カルマンフィルタの測定モデルに合致した前記信頼度の行列Rはその最大が前記第2のセンサの測定結果の雑音の標準偏差よりわずかに大きい選択値を含む;のうちの少なくとも1つを満足することを特徴とする請求項8に記載のポインティング装置。
【請求項15】
前記カルマンフィルタは下記条件:その状態ベクトル(x)は[cosα/2、sinα/2u、sinα/2u、α/2u]形式の四元数である;その状態モデルは下記形式である;
【数8】
その測定ベクトルは少なくとも前記第2のセンサ(a、a、a)の出力を含む;のうちの少なくとも1つを満たすことを特徴とする請求項7に記載のポインティング装置。
【請求項16】
前記ユーザの基準系における前記角速度の成分ωとωは下記式:
【数9】
を介し計算されることを特徴とする請求項15に記載のポインティング装置。
【請求項17】
前記カルマンフィルタは、下記条件:その状態ベクトル(x)は[a,b,c,d]=[sinθ,cosθ,sinψ,cosψ]の形式である;その状態モデルは下記形式である;
【数10】
その測定モデルは下記形式である;
【数11】
のうちの少なくとも1つを満たすことを特徴とする請求項7に記載のポインティング装置。
【請求項18】
前記ユーザの基準系における前記角速度の成分ωとωは下記式:
【数12】
により計算されることを特徴とする請求項17に記載のポインティング装置。
【請求項19】
前記カルマンフィルタの前記状態ベクトルは[θ,ψ,ω,ω,ω]の形式であり、その測定ベクトルは[a,a,a,ω,ω,ω]の形式であることを特徴とする請求項7に記載のポインティング装置。
【請求項20】
前記カルマンフィルタの状態モデルは下記形式:
【数13】
であり、式中、τは前記角速度の発展モデルの時定数であること、および、測定モデルは以下の形式:
【数14】
【数15】
または、
の1つであることを特徴とする請求項19に記載のポインティング装置。
【請求項21】
前記データ融合アルゴリズムは最適解決手順を実施することを特徴とする請求項1に記載のポインティング装置。
【請求項22】
前記最適解決手順は基準として次の関数を有する最適化であり、
【数16】
本関数は以下の群
【数17】
から選択される一対のベクトル(measurementssensors、measurementsestimated)を有することを特徴とする請求項21に記載のポインティング装置。
【請求項23】
三次元空間を自由に移動可能な物体であって、該物体の少なくとも2つの直交軸(Y,Z)の回りの角速度(ω,ω)を測定するための少なくとも1つの第1のセンサと、前記2つの軸(Y,Z)と1つの第3の直交軸(X)に関連して線形加速度(a,a,a)を測定するための少なくとも1つの第2のセンサとを備えた物体の変位を制御する方法であって、
i)少なくとも前記第1のセンサにより測定された角速度(ω,ω)と前記第2のセンサにより測定された線形加速度(a,a,a)とを入力として受け付けるステップと、
ii)該受け付けた入力から前記物体に与えられたユーザの基準系の平面に関するねじれを表す変数と平面における前記物体の変位(y,z)を表すユーザの基準系における前記物体の角速度(ω,ω)とを含む状態ベクトルを評価するステップと
から構成されるデータ融合アルゴリズムを実行することを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運動センサが取り付けられた物体の利用に関し、この物体を携行するユーザの運動を平面内の点の運動に変換するために使用される。この物体は用語「ポインタ」により総称的に示される。ユーザは通常、自分の手の中にポインタを保持するが、アプリケーションに依存して他の携行様式(携行者(carrier)の頭または手足の1つに固定すること等)が容易に考えられる。ポインタは、特には、以下の多様な機能を有する。
−ポインタがメニューから選択されるプログラムまたは機能であるオーディオ機器(テレビ、ディスク読み取り/記録器、ハイファイシステム)のリモコン、
−ポインタが家電製品を指定しそれに機能を実行させる家電製品のリモコン、
−ポインタがコンピュータにより実行されるアプリケーションの機能としてプログラムされたコンピュータリモコン、
−ゲームに依存してポインタがユーザにより操作される物体(ゴルフクラブ、テニスラケット、ボウリングボール、拳銃、ヒップガン(hip gun)、またはライフル等)であってよいコンピュータゲームインターフェース、
−運動能力低下者用のマンマシンインターフェースまたはリモコンの補助装置(例えば、運動欠陥を有する人、すなわち画面にポインタを向けるために従来の携帯型マウスを使用できない人を支援するためのポインタの頭への固定具、眼鏡、イヤホーン、あるいは頭の運動に結び付けられた他の任意の部品)。一般的には、ポインタは命令の選択を可能にするボタンを装備している。このボタンは、機能(またはサービス)を実行するようにあるいは指し示すジェスチャ中に異なるポインタ状態を関連付けるようにプログラムされてよい(「押されたボタンに伴う軌跡」対「離されたボタンに伴う軌跡」。例えば、画面上の点の状態だけではなく、それ自体が行為等に関連付けられ得るカーソルの軌跡も情報としてとることができる)。空間上のポインタの運動は回転と平行移動を含む。これらの運動は様々なタイプのセンサにより測定されてよく、例えば、
−イメージセンサは、連続画像の比較と幾何学的変換により同一時間に回転と平行移動を測定することができる。
−磁力計、加速度計、または単軸ジャイロメータは、単軸の回りの回転を測定することができる。
−磁力計、加速度計、および/またはジャイロメータの組み合わせは、平行移動およびいくつかの軸の回りの回転を測定することができる。
−上述のタイプのセンサの組み合わせは、測定精度と、信頼区間の判別を可能にする冗長度とを改善することができる。
−上記組み合わせは、1つまたは複数のカメラといくつかの磁力センサ、加速度センサおよび/またはジャイロセンサを含むことができる。
加速度に反応しない別の回転センサは輝度センサであってもよい。センサが光電管である場合、この光電管により受光される光量はその受光面積とその法線に対する光線の傾斜角の余弦とに比例することが知られている。光源は、太陽、あるいは動作経験全体にわたってその放射光線が互いに平行と考えられる十分離れて位置する他の(電球形)擬似点光源であってよい。変わりやすい周囲輝度の問題を回避するために、「ハエの眼」多面型センサ(受光角方向は、最も高い光束を測定する面である)を利用できると有利である。
【発明の概要】
【発明が解決しようとする課題】
【0002】
これら運動感知ポインタのアプリケーションが解決しなければならない一般的な問題は、ユーザがポインタを保持するやり方、特に空間上のポインタの配向を考慮することである。実際、ポインタが水平に保持される代わりに例えば45°で保持される場合、ポインタの水平または垂直方向運動は、ポインタが対角運動により指し示す画面上に伝達されることになる。この現象は「傾き(tilt)」または「ねじれ(torsion)」という名で知られている。したがって、「傾き」または「ねじれ」は、ポインタが利用可能となるように補正されなければならない。
【課題を解決するための手段】
【0003】
この問題を解決するための第1の手順は、ユーザがポインタにねじれ運動を与えたときにセンサが画面の基準系のほぼ固定された位置のままであるように、機械的手段を設けることである。したがって、その基部が、ポインタに与えられるねじれ運動にもかかわらずほぼ固定されたままであるのに十分な慣性を有する振り子のやり方でポインタ内で移動できる1つまたは複数のセンサを設けることが可能である。このような装置は米国特許第5,453,758号明細書に開示されている。船または航空機上のコンパスの場合のように、回転軸によりポインタに結び付けられた一対の球からなる安定化装置内にセンサを密閉することも可能である。このような装置は米国特許第5,440,326号明細書に開示されている。ポインタのねじれを補償するためのこれら機械装置の第1の欠点は、これら機械装置がねじれ角および変位速度の制限範囲に限定されるということである。第2の欠点は、これらの装置がかさばるということである。第3の欠点は、これらの装置の機械的慣性と誘起される水平方向の位置合わせの遅れとにあり、したがってこれらの装置は実時間のポインティングアプリケーションから除外される。
【0004】
ポインタのこのねじれを補償するための第2の手順は、ポインタ上に埋め込まれたセンサ(特に加速度計)のいくつかの測定結果を使用することによりねじれ角を計算し、その後この測定結果にその係数が1つまたは複数のねじれ角に依存する1つまたは複数の回転行列を適用することにより他のセンサの測定結果をポインタの基準系から画面の基準系へと変換することである。このような手順は特には、主センサがジャイロメータであり、ねじれ角を計算するためのセンサが加速度計である米国特許第5,902,968号明細書、主センサが加速度計に結合されたカメラであり、そのカメラの組み合わせにより傾き補正を可能にする米国特許出願公開第2004/0075650号明細書、主センサがGPS受信機であり、傾き補正センサが一組の加速度計である米国特許出願公開第2002/0140745号明細書、および主センサが1つまたは複数のジャイロメータからなり、傾き補正センサが1つまたは複数の加速度計からなる米国特許第7,158,118号明細書に開示されている。この手順は、ねじれ角がいくつかのセンサだけの測定結果により計算される限り雑音のある結果を与えるという欠点がある。
【0005】
本発明は、ポインタに与えられる配向を広い動作範囲で補償することができる小型装置を提供することにより、従来技術により解決されなかった問題を解決する。したがって、本発明は、データ融合に基づき様々な解決手順を実施することができる。このような手順の第1の群は観測器を使用し、第2の群は最適化基準を用いる。
【0006】
この目的のため、本発明は、ユーザが平面内の可動要素で指し示すためのポインティング装置を開示する。本ポインティング装置は、少なくともその2つの直交軸(Y,Z)の回りの装置の角速度(ω,ω)を測定するための少なくとも1つの第1のセンサと、2つの軸(Y,Z)と1つの第3の直交軸(X)に関連して装置の線形変位を測定するための少なくとも1つの第2のセンサと、空間上のポインタの変位(X,Y,Z)の関数として平面内の可動要素に与えられる変位(y,z)を計算するためのモジュールであって、第1と第2のセンサの出力に適用されるデータ融合アルゴリズムを実施することにより、ポインティング装置に与えられたねじれを補償するためのサブモジュールを含む計算モジュールと、を含む。ここで、データ融合アルゴリズムは下記条件:その状態ベクトルはオイラー角と四元数(quaternions)からなる群から選択されるねじれの少なくとも1つの表現を含む;その状態モデルは上記表現の少なくとも1つの一次微分方程式を含む;その測定ベクトルは、少なくとも軸X,Y,Zに関する第2のセンサの測定結果を含む;のうちの少なくとも1つを満たす少なくとも1つの非線形演算子を含む。
【0007】
有利には、第1のセンサは2軸ジャイロメータである。
【0008】
有利には、第1のセンサは3軸ジャイロメータである。
【0009】
有利には、第2のセンサは出力a、a、aを生成する3軸加速度計である。
【0010】
有利には、データマージアルゴリズムは拡張カルマンフィルタである。
【0011】
有利には、カルマンフィルタは、下記条件:その状態ベクトル(x)はポインティング装置の少なくとも1つのねじれ角(θ、ψ)を含む;その状態モデルはねじれ角(θ、ψ)の少なくとも1つの関数として少なくともポインティング装置の角速度(ω)の表現を含む;その測定ベクトルは少なくとも第2のセンサの出力(a,a,a)を含む;のうちの少なくとも1つを満たす。
【0012】
有利には、カルマンフィルタの状態ベクトルは事前選択された状態[θψ]に初期化され、カルマンフィルタサンプリング工程kにおける状態ベクトル
【数1】
の事前推定は下記式を介し計算される。
【数2】
ここでTはフィルタサンプリング期間である。
【0013】
有利には、カルマンフィルタサンプリング工程kにおける測定結果
【数3】
の事前推定は下記式を介し計算される。
【数4】
【0014】
有利には、カルマンフィルタの利得Gは以下の式を介し計算される。
【数5】
【0015】
有利には、カルマンフィルタサンプリング工程kにおいて事前推定される状態の補正は下記式を介し計算される。
【数6】
【0016】
有利には、ユーザの基準系における角速度の成分ωとωは下記式を介し計算される。
【数7】
【0017】
有利には、カルマンフィルタは、下記条件:状態(x)の初期値に合致する信頼度の行列Pは10−2程度の選択値を含む;その状態モデルに合致した信頼度の行列Qはその最大が第1のセンサの測定結果の雑音の標準偏差よりわずかに大きい選択値を含む;カルマンフィルタの測定モデルに合致した信頼度の行列Rはその最大が第2のセンサの測定結果の雑音の標準偏差よりわずかに大きい選択値を含む;のうちの少なくとも1つを満たす。
【0018】
有利には、カルマンフィルタは、下記条件:その状態ベクトル(x)は[cosα/2,sinα/2u,sinα/2u,α/2u]形式の四元数である;その状態モデルは下記形式である;
【数8】
その測定ベクトルは、少なくとも第2のセンサの出力(a,a,a)を含む;のうちの少なくとも1つを満たす。
【0019】
有利には、ユーザの基準系の角速度の成分ωとωは下記式を介し計算される。
【数9】
【0020】
有利には、カルマンフィルタは下記条件:その状態ベクトル(x)は[a,b,c,d]=[sinθ,cosθ,sinψ,cosψ]形式である;その状態モデルは下記形式である;
【数10】
その測定モデルは下記形式である;
【数11】
のうちの少なくとも1つを満たす。
【0021】
有利には、ユーザの基準系の角速度の成分ωとωは下記式を介し計算される。
【数12】
【0022】
有利には、カルマンフィルタ(x)の状態ベクトルは[θ,ψ,ωu,ωv,ω]形式であり、その測定ベクトルは[ax,,a,ω,ω,ω]形式である。
【0023】
有利には、カルマンフィルタの状態モデルは下記形式である。
【数13】
ここで、τは角速度の発展モデル(evolution model)の時定数であり、測定モデルは以下の形式の1つである。
【数14】
または
【数15】
【0024】
有利には、最適解決手順は基準として次の関数を有する最適化である。
【数16】
ここで、一対のベクトル(measurementssensors、measurementsestimated)は下記群から選択される。
【数17】
【0025】
本発明はまた、空間上の物体であって、少なくとも2つの軸に関する物体の変位の角速度と少なくとも2つの角度に関するそのねじれとの情報表現を提供する少なくとも1つのセンサを装備する物体の運動および/または配向を特徴づけるパラメータを推定する方法を提供する。本方法では、観測器と最適解決手順との群から選択されるデータ融合アルゴリズムは、下記条件:その状態ベクトルはオイラー角と四元数からなる群から選択されるねじれの少なくとも1つの表現を含む;その状態モデルは上記表現の少なくとも1つの一次微分方程式を含む;その測定ベクトルは上記ねじれの少なくとも1つの情報表現を含む;のうちの少なくとも1つを満たす。
【0026】
有利には、データ融合アルゴリズムは拡張カルマンフィルタを実施する。
【0027】
有利には、カルマンフィルタは下記条件:その状態ベクトル(x)は物体のねじれ(θ、ψ)の少なくとも1つの角度を含む;その状態モデルは物体のねじれ角(θ、ψ)の少なくとも1つの関数として少なくとも物体の角速度(ω)の表現を含む;その測定ベクトルは少なくとも物体の線形加速度(a,a,a)を含む;のうちの少なくとも1つを満たす。
【0028】
有利には、カルマンフィルタ(x)の状態ベクトルは[θ,ψ,ω,ω,ω]形式であり、その測定ベクトルは[a,a,a,ω,ω,ω]形式である。
【0029】
有利には、非線形演算子は最適解決手順を実施する。
【0030】
本発明の別の利点は、ロール角とピッチ角を補償できるようにすることである(たいていの従来技術文書の場合のように前者だけでなく)。さらに、本発明は、その構成を特にアプリケーションの目標コストと規定された性能の関数として選択することができるいくつかのタイプのセンサと互換性がある。また、付加的な利点は、傾き補償アルゴリズムのパラメータを目的コストと規定された性能の関数として調整することができるということである。
【0031】
いくつかの例示的な実施形態の以下の説明とその添付図面から本発明はさらに良く理解され、その様々な特性と利点が浮かび上がる。
【図面の簡単な説明】
【0032】
図1】本発明の実施形態によるポインタのハードウェアアーキテクチャを単純化されたやり方で表す。
図2】本発明の一実施形態における、画面上のポインタとカーソルの運動が計算される様々な基準系の定義を示す。
図3図2の様々な基準系を切り替えるための関係を示す。
図4】本発明の説明に用いられる座標およびロール角とピッチ角について説明する。
図5】3軸ジャイロメータを含む一実施形態におけるポインティング装置を表す。
図6】本発明のいくつかの実施形態における処理タスクのフローチャートである。
【0033】
図1は、本発明の一実施形態によるポインタのハードウェアアーキテクチャを簡略的に表す。
【0034】
ポインティング装置10すなわちポインタは、TVリモコンの形式および形状(すなわち、細長くかつユーザの手に保持され得る形式)を有すると有利である。あるいは、ポインティング装置10は特にゲームアプリケーションではユーザの手足の1つに固定されてもよい。ポインタは、平面(例えば、画面または書き込み面)内で動くことができる可動要素に関連付けられる。この可動要素の運動はポインタの運動により制御される。ポインタは、リモコンによりアクセスが可能となる機能を制御するためにその面のいくつかにボタンを備えると有利である。ポインタは電源60と制御対象用の送信チャネル70とを含む。高周波送信は、ブルートゥース波形およびプロトコル、あるいはWi−Fi波形およびプロトコル(標準規格802.11g)により実行されてよい。送信は、赤外線または高周波により実行されてよい。送信信号は、一方ではポインタの本体上に存在するボタンのうちの1つの押し下げ(機能の実行をトリガする)に対応し、他方では制御対象の制御画面上のカーソルの運動を制御するようにポインタの運動を感知することに対応する命令である。これらの制御信号は、ユーザによりポインタに与えられるねじれを補償するためのサブモジュール50を含む計算モジュール40により生成される。この計算モジュールは、マイクロプロセッサ(例えば、計算時間という点で最も厳しいアプリケーションに対してはDSP Texas Instruments TMS320VC5509)、あるいはARMコア(例えば、STR9ファミリー(特には、STMのSTR9F12FAW32)の1つ)を有する32ビットマイクロコントローラを含む。計算モジュールはまた、実行すべきコードと必要とする永久データとを格納するのに必要なフラッシュメモリと、ダイナミックワークメモリとを含むことが好ましい。計算モジュールは入力として2つのタイプのセンサからの出力を受信する。一方、角速度センサ20は、2軸または3軸に関するポインタの回転を測定する機能を有する。これらのセンサは好ましくはジャイロメータである。これらは2軸ジャイロメータまたは3軸ジャイロメータであってよい。これらの2つの実施形態のそれぞれの長所については、図5に関する解説に関連して本明細書のさらに先で検討される。例えば、Analog Devicesにより提供されるジャイロメータ(参考としてADXRS300)を使用することができる。しかしながら、角速度を測定することができる任意のセンサも使用可能である。具体的には、その画像処理が平行移動と回転の組み合わせである変位を推定するように連続画像を比較するカメラが考えられる。しかしながら、この場合、ジャイロメータに必要とされるものよりかなり大きな計算能力を有する必要がある。また、地磁界に対するその変位の測定がこの磁場の基準系に対する回転を測定できるようにする磁力計を使用することもできる。例えば、参考としてHoneywell社のHMC1001またはHMC1052あるいはNXP社のKMZ41を有する磁力計を使用することができる。いずれのセンサが使用されても、それらの測定結果はポインタの基準系において読み取られる。この基準系がユーザの基準系およびポインタの基準系と(位置変換範囲内で)同一でない場合、測定は、可動要素の不整合変位を生じさせる偏位に悩まされる。このため、計算モジュール40内には、その機能がポインタを保持するユーザの手足の変位の関数(この関数は、ユーザによりポインタに与えられるねじれの影響に対し補正される)として平面内の可動要素の変位を計算することである補償サブモジュール50が設けられる。補償サブモジュールは、入力として、ポインタの線形加速度a、a、aを測定する第2のセンサ30からの出力を受信する。好ましくは、センサ30は3軸加速度計である。センサ20と30は両方とも、随意的に1つの同じ回路内にMEMS(微小電気機械システム:Micro Electro Mechanical System)技術により作製される(例えば、参考加速度計としてAnalog DevicesのADXL103、ThomsonのLIS302DL、参考ジャイロメータとしてMelixisのMLX90609、Analog DevicesのADXRS300)と有利である。妥当ならば、MEMSモジュールは、特定の実施形態(図5により示すものなど)が異なる位置決めを正当化する場合を除き、ポインティング装置の重心の近くに位置することになる。しかしながら、画像処理装置が追加されたカメラはまた、2つのセンサ20と30を置き換えることができ、ポインタの変位の角速度と線形加速度は連続画像の相関から推定可能であることに留意されたい。
【0035】
図2には、ねじれを回避できるようにする基準系の変換を示す。
【0036】
我々は、用語「画面基準系」により、画面に結び付けられた直交基準系(xyz)(ここで、z軸は下方向向き)を定義する。可動要素の変位は軸yとzに沿ったこの基準系内で定義される。第2の基準系は装置の基準系(XYZ)に対応し、Xはポインティングの主方向であり、Yは装置の右方向に向い、Zは装置の下方向に向かう。携行者基準系と名付けられた最後の基準系(uvw)はポインティング動作を生じる体の一部に関連付けられる。この基準系は、基準系(XYZ)を水平面に対応させて戻すことにより定義される。したがって、携行者の基準系から装置の基準系への切り換えは、2つの連続的な回転(ピッチθ、ロールψ)を介し実行される。また、携行者は必ずしも画面に対向していないので、この基準系から画面基準系(xyz)への切り換えは回転(ヨーφ)を介し実行される。
【0037】
図3には、図2の様々な基準系間の切り替えの関係を示す。我々はここでは、可動要素の水平変位として携行者の水平運動(回転を有する)と、可動要素の垂直変位として携行者の垂直運動(回転を有する)を伝達しようとする。直観的に、我々は、ユーザが画面に対向していなく(非零ヨー角)ても運動は常に水平および垂直的やり方で行われるのでその結果は修正されないということがわかる。結局、回転は画面基準系ではなく携行者の基準系において測定されなければならない。したがって、画面基準系から携行者の基準系へ回転を伝達するヨー角は問題を生じない。
【0038】
したがって、可動要素の水平変位はωにより測定される軸w回りの回転により定義され、垂直変位はωにより測定される軸v回りの回転により定義される。
【0039】
我々は、装置の標準位置を、基準系(uvw)と(XYZ)が整合する(すなわち、ピッチとロール角が零である)位置であると定義する。このとき、装置は、ヨー角により画面基準系に対して回転された水平面内に位置する。
【0040】
装置がこの位置にあるとき、2軸ジャイロメータにより測定される角速度(ωとω)はそれぞれωとωに等しい。これら2つの値は、ヨー角が何であれ、水平変位(ωにより表される軸w回りの回転)と垂直変位(ωにより表される軸v回りの回転)と、したがって画面上の可動要素の変位(dとd)とに関する直接情報を与える。
【0041】
他方で、装置がもはや標準位置になく(ロールおよび/またはピッチ角が非零位置にあり、したがって基準系(uvw)と(XYZ)が整合しない)、携行者が垂直および水平変位(軸vとw回りの回転)を行う場合、測定結果ωとωはωとωとは異なる。したがって、それらを画面上の可動要素の変位に直接関連付けることはできない。このとき、ジャイロメータ測定結果ωとωを携行者の基準系(uvw)に対応させ、変位dとdをそこから推定するためには、携行者の基準系(水平面)に対する装置の基準系の配向(したがってピッチおよびロール角)を知る必要がある。
【0042】
本発明の装置により、ピッチおよびロール角を考慮しつつ(適切であれば)角速度ωとωを決定することができる。
【0043】
図4は本発明の説明に使用される座標とロールおよびピッチ角について説明する。基準系(uvw)から基準系(XYZ)へ切り替えるための回転を表現する回転行列Rは式1で表現される。
【数18】
【0044】
加速度センサとジャイロセンサは、ポインティング装置の基準系(XYZ)において(a,a,a)と(ω,ω)で表される測定結果をそれぞれ戻す。したがって、解決すべき問題は基準系(uvw)においてこれらの測定結果を表現することである。
【数19】
【0045】
基準系のこの変更を行うための従来技術で提案された解決策(特には、MEMSマイクロ加速度計およびマイクロジャイロメータを採用する米国特許第7158118号明細書により開示されたもの)は、以下の2つの要点により特徴づけられる。
−画面上の可動要素の変位への影響を除去するために携行者に対する装置のロール角を補償する。これは一般的には加速度測定により行われる。他方では、ピッチ角はロール角と同様に外乱を引き起こすが、これは補償されない。
−基準系を変更するための式の解析解。この場合、センサ測定結果は前処理なしに使用され、ロール角は加速度測定結果だけに基づいて決定される。したがって、画面上のカーソルの変位は、振動外乱が存在する場合(環境震動、低振幅の手の震えは測定雑音の増加、故障センサと等価である)あるいは突然の動作がなされた場合に、損なわれることがある。実際、これらの現象は加速度計により直接測定されるがそれにもかかわらず解析式により補正されなく、したがって結果の品位は低下する。したがってこの実施形態は余り頑強ではない。
【発明を実施するための形態】
【0046】
本発明の好ましい実施形態では、ロール角とピッチ角の推定は同時であり、データ融合手順により行われ、これにより携行者に対する装置の配向に関する画面上での可動要素の変位の頑強性を改善することができる。2種類の解決手順、すなわち観測器を呼び出す手順と最適化基準を使用する手順とが使用可能である。第1の群では、好ましい実施形態は拡張カルマンフィルタ(EKF)を呼び出す。フィルタの利得により修正する測定ベクトルに基づき計算される技術革新であるカルマンフィルタでは、状態モデルにより事前推定される状態ベクトルがサンプリング周波数で挿入される。カルマンフィルタの拡張バージョンは、非線形の状態および測定モデルを使用できるようにする。この手順については、本明細書のさらに先で詳細に説明する。このフィルタ技術を採用することにより、ロール角とピッチ角を推定するように加速度測定結果とジャイロ測定結果をマージすることが可能になった。このようにして、測定結果に存在する誤差(測定雑音、外乱等)は互いに補正される。センサ測定結果を平滑化する操作がこのように行なわれ、これにより最適でありしたがって振動外乱に対して頑強な解に至る。これは、いかなる震動もない画面上での可動要素の変位を生成することによる本装置を採用することの明確な利点を表す。例示的な最適化手順は、本明細書のさらに先で示される。
【0047】
図5は3軸ジャイロメータを含む実施形態のポインティング装置を表す。上に示したように、角速度センサは2軸または3軸を有することができる。第1の場合、角速度センサは2つの単一軸センサまたは2軸センサを必要とする。本発明によれば、ピッチ角(30°未満)の小さな値のポインタの運動に基づき平面内の可動要素の変位を計算することができる。この条件は、恐らく、運動の振幅が特に著しいゲームを除くたいていのポインタアプリケーションにおいて満足される。2つの測定軸を有するジャイロメータの選択は、3軸ジャイロメータに基づく解より実施するのが簡単でかつそれほど高価でない解である。この第2の解では、ポインティング装置は例えば、3軸加速度計MEMSセンサ20と、3つの単一軸あるいは1つの単一軸と1つの2軸からなる3軸ジャイロメータMEMSセンサ30とを含む。第3番目のジャイロメータ軸は、ピッチ角の値に関する制約を回避できるようにする。ピッチ角とロール角の補償は完全であり、このとき画面上のカーソルの変位は携行者上の装置の配向と無関係になる。例示的アプリケーションを図5に示す。センサは、その配向が携行者により保持される底面部とは異なる装置の最上部に位置する。センサ軸は基準系(X,Y,Z)により定義される。装置の携行者が軸w回りの回転を行なうと、装置の傾斜部に置かれたジャイロメータは、ピッチ角θに依存して、軸XとZの回りの回転を検知する。このとき軸XとZの回りの角速度の測定の知識を加味した角度θの決定により、軸w回りの角速度を推定することができる。3軸ジャイロメータ測定の利点はまた、その形状が基準配向を定義できない装置(例えば、その基準系が配向を決定できない球状の装置)に関し強調することができる。
【0048】
図6は本発明の一実施形態における処理タスクのフローチャートである。実行される処理タスクは、第1の場合ではポインティング装置の軸X回りの角速度が零に等しくなるようにとられしたがってモデルと計算から削除されるということだけにより、上に示された2つの実施形態(2軸または3軸ジャイロメータ)では区別される。示された実施形態ではねじれ補償演算は、2つの工程、すなわちEKFによるピッチ角θとロール角ψを推定する工程1と、ユーザの基準系に対する可動要素の変位に関係する角速度成分ω、ωを計算する工程2と、で実行される。
【0049】
EKFはカルマンフィルタの非線形バージョンである。例えば、KALMAN R.E.A new approach to linear filtering and prediction problems.Transactions of the ASME−Journal of Basic Engineering,82,p.35−45,1960;WELCH G.,BISHOP G.,An introduction to the Kalman Filter.SIGGRAPH 2001を参照。問題は、推定誤差共分散を最小化することにより、統計的やり方でこのフィルタファミリーにより解決される。結局、その初期形態で使用されるカルマンフィルタは最適解決手順である。問題が非線形なやり方(EKF)で定義された場合、状態変数の誤差の共分散の伝搬は状態変数の現在値で定義されるヤコビアン行列により計算される。したがって、線形化が各計算工程で必要であり、これは数値的不安定性の源、したがって解の発散の源となることがある。それにもかかわらず、EKFは、その頑強性と得られる結果の品質を前提として、物理的方法では最も広く採用されるフィルタである。このフィルタの実施は、Barraud(BARRAUD A.Outils d’analyse numerique pour l’automatique [Numerical analysis tools for automation].Published by Hermes−Lavoisier,Paris,2002)により提案されたEKFの頭文字語「QR」により知られたタイプの因数分解を使用することにより、好ましいやり方で行われる。この実施は、EKFの標準的な実施より良好な分散行列の安定性を提供するという利点を発揮する。このアルゴリズムは以下のように簡潔に考えられる。
【0050】
我々はシステムの状態を代表する変数を含む状態ベクトルの初期化から始める。
【数20】
ここで、
【数21】
:初期状態誤差に結び付けられた共分散行列
0_f:状態誤差(P=P0_f.P0_f)の共分散の行列Pの因数分解形式
E[x]は数学的期待値である。
Tは転移行列演算子である。
以下の他の表記に基づいて:
【数22】
f,h:状態モデルの関数、測定モデルの関数
次に、状態ベクトルと測定ベクトルの発展を予測するための以下の2つのモデルが定義される。
【数23】
次に、モデル化雑音(Q)の共分散と測定雑音(R)の共分散を考慮して、状態ベクトルに適用される補正を以下のように定義する。
【数24】
ここで
【数25】
HM:直交因数分解によるMの三角化(triangularization)
,:測定雑音の共分散の行列Rの因数分解形式(R=R.R
,:モデル化雑音の共分散の行列Qの因数分解形式(Q=Q.Q
Gはカルマンフィルタにおける利得と一般的に呼ばれる量である。行列は実際には各サンプリング工程において計算されることに留意されたい。但し、指標kは式を読み易くするために上では省略された。
【0051】
第1の実施形態では、問題を解決するために選択された状態ベクトルはx=[θψ]。ここでθとψはそれぞれピッチ角とロール角である。測定ベクトルはy=[a](1または複数の加速度計の測定結果)。状態モデルの式は角速度の表現に基づいて得られる。
【数26】
ここで、角度φは、基準系(uvw)から基準系(XYZ)への切り替えを可能にするヨー角を表す。しかしながら、これらの基準系の定義を前提とすると、この角度は零でありしたがってその微分係数も零である。
【0052】
ωの表現は、
【数27】
したがって、θの発展を伝達する3つの関係が存在する。
【数28】
ここでα=±1。
【0053】
我々は、2つまたは3つのジャイロ測定結果を含むことができる式15を使用することを選択し、これによりフィルタの頑強性を高める(ジャイロメータと加速度計の測定結果を併用する)。次に、パラメータαは他の2つの表現の1つにより決定される。したがって、ジャイロ測定結果はモデルの入力変数として使用される。また、ωはロール角の微分係数に等しいということに留意されたい。
【0054】
したがって、状態モデルの式は
【数29】
2つの軸に関する角速度のセンサを有する実施形態では、ω=0と仮定される。
【0055】
測定モデルの式は
【数30】
最終的に、ユーザの基準系における角速度は以下の関係により決定される。
【数31】
【0056】
次に、カルマンフィルタにおいて実施されるアルゴリズムの様々な工程を以下に詳述する。
【0057】
初期化工程では、初期状態ベクトルxは零に等しくなるようにあるいは事前選択された状態[θψ]にとられる。
=[00] またはX=[θψ] 式20
【0058】
次に、ねじれの推定は以下の計算の連続により拡張カルマンフィルタ内で行なわれる。
−選択された動的モデル(以下の式では、Tはサンプリング周期である)の数値積分法による状態ベクトルの事前推定:
【数32】
−測定結果の事前推定:
【数33】
−式7、8、9により定義されたカルマンフィルタの利得Gの計算(QRタイプのEKFの因数分解形式を使用)。
【数34】
【0059】
次に、成分ωとωは下記式により計算することができる。
【数35】
【0060】
EKFのアルゴリズムを実施するためには、初期状態に与えられる信頼度に関する一連のパラメータ(これらは行列P内でグループ化される)、状態モデルに与えられる信頼度に関する一連のパラメータ(これらは行列Q内でグループ化される)、測定モデルに与えられる信頼度に関する一連のパラメータ(これらは行列R内でグループ化される)を決定する必要がある。
【0061】
次に、これらのパラメータは試行錯誤により調節される。それにもかかわらず、いくつかの一般的指示を与えることができる。行列Pは、状態の初期値に与えられる信頼度を伝達する。初期状態は零であると仮定されるが、これは現実とはかなりかけ離れているかもしれない。したがって、初期状態に過度に高い信頼度を与える必要はない(したがって、比較的高いP値10−2程度でよい)。
【0062】
行列Qは、状態モデルに与えられる信頼度を伝達する。θの発展方程式の不正確性は、式の積分中の数値的不正確性からだけでなくジャイロ測定の雑音からも生じる。したがって、行列Qのθ関連要素に関し選択される値は、ジャイロメータの測定結果雑音の標準偏差よりわずかに大きい。ψ関連要素に関し選択される値はさらに小さく(約10−2の割合)なる。
【0063】
行列Rは測定モデルに与えられる信頼度を伝達する。後者の不正確性は、測定結果雑音だけでなく加速度計により測定される固有の加速度(手の震え、突然の動き等)にも関係する。したがって、この行列に関し選択される値は加速度計の測定結果雑音の標準偏差よりわずかに大きい。
【0064】
いくつかの変形実施形態が可能である。いくつかの実施形態に関し、カルマンフィルタの状態変数の数を最小化することができる2段階アルゴリズムを保有すると有利である。
【0065】
第1の変形実施形態の本質は、ねじれ角θとψを同じねじれの四元数公式(quaternion formulation)により置換することにある。この変形は、計算パワーの点で大食いなピッチ角とロール角の正弦および余弦計算を回避するという利点を発揮する。一般的に、回転四元数は4つの要素により定義される。
【数36】
ここで、αは回転角度であり、
【数37】
は、この回転の軸である。
次の状態ベクトルが選択される。
x=[q
状態モデルは次の通りである。
【数38】
【数39】
は2つの四元数の乗算を表わす。
2つの測定軸を有する角速度のセンサの場合はω=0
測定モデルはY=[a
角速度ωとωはその後下記式により得られる。
【数40】
【数41】
はqの共役四元数である(すなわち、q=q0+q1.i+q2.j+q3.kならば
【数42】
【0066】
2つの工程を有するアルゴリズムの第2の変形は、上に説明した第1の実施形態に対して、ピッチ角とロール角の直接計算を削除する。これにより計算時間を節約することもできる。それにもかかわらず、この変形では、カルマンフィルタにおけるジャイロメータ測定結果と加速度計測定結果を結合させることはない。したがって、震動に対する抗力が低下するかもしれない。以下の状態ベクトルが使用される。
【数43】
状態モデルは、
【数44】
測定モデルは、
【数45】
【0067】
これらのモデルは、2軸および3軸に関する角速度のセンサを有する装置に等しく適用される。角速度ωとωはその後、角速度の2軸測定の場合には下記式により得られる。
【数46】
角速度の3軸測定の場合には、
【数47】
【0068】
式32は、他の変形で見られるようにωを零にとることにより2軸測定の場合には式31となる。
【0069】
上述の実施形態では、アルゴリズムは、2つの主工程に分解され、状態ベクトルの次元を減少させるとともにフィルタにおける計算を簡単にするという利点を有する。それにもかかわらず、変形の本質は、単一工程における問題の解決にある。このとき、状態ベクトルと測定ベクトルは次のようになる。
x=[θψωωω
y=[aωωω
2つの測定軸を有する角速度のセンサの場合にはω=0。この変形では、我々は角度θとψを、基準系(XYZ)から基準系(uvw)への切り換えを伝える回転角度(先の場合とは逆の回転)であると定義することを提案する。これにより、基準系(uvw)において表現される角速度ベクトルに基づいてθとψを表現することができる。したがって、状態変数は状態モデルの式により関連付けられ、したがってこの公式化をより頑強にする。
【0070】
状態モデルは次のようになる。
【数48】
ここで、τ:角速度の発展モデルの時定数。
【0071】
測定モデルは、角速度センサの2つの軸または3つの軸の測定結果が使用されるかに依存して異なる。2軸の場合、
【数49】
3軸の場合、
【数50】
【0072】
この公式化は調整パラメータの数の増加を引き起こすということに留意されたい。また、いかなる物理法則も装置の携行者の「無秩序運動」を記述することができないので、角速度の発展モデルの選択は一般的には厄介である。それにもかかわらず、この実施形態は、必ずしも測定結果ωを使用することなく角速度の成分ωの推定値を利用できるという利点を発揮する。
【0073】
拡張カルマンフィルタは非線形観測器の範疇に入る。このフィルタは一般的には、その頑強性および得られる結果の品質のために採用される。それにもかかわらず、このフィルタは数値的不安定性問題および収束の証明の欠如を起こす傾向があるかもしれない。他の観測器、例えばその収束が数学的に立証可能な高利得観測器またはスライディングホリゾン観測器(sliding−horizon observers)を使用してもよい。これらの観測器はまた、限定された数の調整パラメータにしたがって実施の容易さを発揮する。上述の状態および測定モデルを使用することにより後者を実行することができる。
【0074】
状態発展および測定モデルについて記述するためのEKFを含む本発明の実施形態において考慮された先の情報はまた、コストまたは誤差が最小化された非線形演算子を含む手順の場合に利用することができる。測定モデルは一般的に、時点tにおける実際の測定結果と時点t−1における状態の推定値を知るモデルにより予測された測定結果との相違を大域的に測定する誤差規範内で考慮される。状態の発展のモデルはその一部として、一般的には、これらの誤差最小化手順の出発値を定めるために利用される。発展関数は以前の状態推定に適用され、これにより最適化関数の起動データとして次の状態を予測することが可能になる。
【0075】
したがって、ねじれ角の補償はまた、観測器を呼び出さない最適解決手順を介し実行されてもよい。このタイプの最適化手順としては、例えば傾斜降下、ニュートン最適化、または準ニュートンと称する最適化手順等が挙げられる。カルマンフィルタの場合のように、以下の2つの異なる処理を実施することができる。
−変数θψωωωの同時最適化
−連続的な2工程(最適化による角度[θψ]の推定および式19を使用したωとωの解析的計算)における推定。
【0076】
これら両方の場合、最適化基準は以下のように定義される。
【数51】
第1の処理(1工程解決)の場合、
【数52】
そして第2の処理(2工程解決)の場合、
【数53】
【0077】
計算能力の節約が震動および加速度測定の他の外乱の平滑化より重要であるいくつかのアプリケーションでは、解析的解決手順は最適解決手順より好ましい場合があるということに留意されたい。
【0078】
この場合、解析的解決は次の2工程で行われる。
−加速度測定結果の式(式2)に基づき配向θおよびψのcos/sinの計算(次式が導出される)。
【数54】
我々は、角度θが
【数55】
存在するという仮定をし、これにより
【数56】
の符号の不確定性を除去することができる。
−ωとωの計算
【数57】
【0079】
上述の例は本発明の実施形態の例示として挙げられた。これらは、以下の特許請求の範囲により定義される本発明の範囲を決して制限しない。
図1
図2
図3
図4
図5
図6