(58)【調査した分野】(Int.Cl.,DB名)
前記入力情報決定手段は、当該動きによる軌跡に係る軌跡パターンと所定のアプリケーションの起動又は動作を引き起こすアプリケーション入力情報との関係を保持し、該関係に基づいて、取得された軌跡に応じたアプリケーション入力情報を決定することを特徴とする請求項2に記載の入力システム。
前記入力情報決定手段は、当該動きによる軌跡に係る軌跡パターンと、入力情報としての文字、記号又は図形との関係を保持し、該関係に基づいて、取得された軌跡に応じた文字、記号又は図形を決定することを特徴とする請求項2又は3に記載の入力システム。
前記第1の身体部位の前記第2の身体部位に対する複数の位置のそれぞれにおける当該信号の電力値に基づいて、当該複数の位置と当該電力値とを対応付けた較正結果を生成し保持する較正手段を更に有し、
前記位置算出手段は、前記第1の身体部位の前記第2の身体部位に対する位置を、当該較正結果を用い、前記少なくとも2つの受信部によって受信された当該信号の電力に基づいて算出する
ことを特徴とする請求項5に記載の入力システム。
前記少なくとも2つの受信部によって受信された当該信号における異なる時点での電力の変化及び/又は各時点での電力に基づいて、前記第1の身体部位と前記第2の身体部位とが接触しているか否かを判定する接触判定手段を更に有し、
前記動き算出手段は、前記第1の身体部位と前記第2の身体部位とが接触していると判定された際の相対的な動きを算出する
ことを特徴とする請求項1から7のいずれか1項に記載の入力システム。
【発明を実施するための形態】
【0021】
以下では、本発明の実施の形態について、図面を用いて詳細に説明する。
【0022】
[入力システム]
図1は、本発明による入力システムの一実施形態における使用態様を示す概略図である。
【0023】
図1(A)及び(B)によれば、ユーザは、本実施形態の入力システムを構成する送信装置1及び受信装置2を身体に装着している。具体的には、
(a)人体等の身体を伝播媒体とした信号を送信可能な少なくとも1つの送信部(本実施形態では第1送信部101)を備えた送信装置1を、右手首に装着し、さらに、
(b)当該信号を受信可能な少なくとも2つの受信部(本実施形態では第1受信部201及び第2受信部202)を備えた受信装置2を、左手首に装着している。
【0024】
ここで、送信装置1は全体として手首に巻くベルト状とすることができ、第1送信部101の送信インタフェースとなる電極が、ベルトの内面に露出しており、装着時には身体(の皮膚)と接触する。また、受信装置2も、全体として手首に巻くベルト状とすることができ、第1受信部201及び第2受信部202それぞれの受信インタフェースとなる電極が、ベルトの内面に露出しており、装着時には身体(の皮膚)と接触する。
【0025】
さらに、
図1(A)に示すように、送信装置1を装着した右手の人差し指は、第1送信部101から送信された信号を、経路P1を介して人差し指外に出力し得る第1の身体部位となっている。また、受信装置2を装着した左手の掌は、掌内に入力された信号を、経路P2及びP3のそれぞれを介して第1受信部201及び第2受信部202によって受信され得る第2の身体部位となっている。
【0026】
また、上記の信号は、例えば1GHzの微弱な交流電流を誘電体である身体に流し、この電流に変調をかけたものとすることができる。信号の波形は正弦波であることも好ましいが、例えば、のこぎり波、三角波、台形波、又はこれらの合成波としてもよい。
【0027】
本実施形態の入力システムでは、右手の人差し指(第1の身体部位)と左の掌(第2の身体部位)との相対的な「動き」を、第1受信部201及び第2受信部202によって受信された信号の電力の変化に基づいて算出する。これにより、例えば、右手の人差し指で左の掌をなぞりながら、この人差し指を所定の向きに移動させたり、この人差し指で所定の軌跡や文字、記号、図形等を描いたりして操作することができる。さらに、これらの移動の向き、軌跡、文字、記号、図形等を、例えば外部装置への入力情報とすることができる。その結果、例えばタッチパネルといった軌跡を描くための領域を備えたデバイスを必要とせずに、所望の入力情報を生成することが可能となるのである。
【0028】
ここで、指で掌をなぞる場合、指は、送信装置1を装着した手の指(本実施形態では右手の人差し指)とし、掌は、受信装置2を装着した手の掌(本実施形態では左手の掌)とすることが好ましい。これにより、指の掌上での接触位置によって第1受信部201及び第2受信部202の受信する信号の電力の変化が、互いに異なる挙動を示すので、指の移動の向き又は接触位置の判定がより容易となる。
【0029】
また、
図1に示した本使用態様では、送信装置1を手首に装着しているが、送信する側の指に近い位置であれば、必ずしも手首に装着する必要はない。ここで、近いとは指先から概ね肘又は二の腕までの範囲を指す。さらに、受信装置2も、文字や図形等が描かれる位置(掌)に近い位置であれば、必ずしも手首に装着される必要はない。ここでも、近いとは描かれる掌から概ね肘又は二の腕までの範囲を指す。また、指を移動させたり文字や図形等が描いたりする位置は、必ずしも掌に限定されるものではなく、受信装置2から近い位置であればよい。例えば、指、手の甲又は腕内の位置であってもよい。
【0030】
図1(B)によれば、右手の人差し指(第1の身体部位)と左の掌(第2の身体部位)とは、当初、離隔した状態にある。この状態でも、起動した送信装置1から送信された信号は、例えば経路P4を介して、起動した受信装置2に受信されている。即ち、受信装置2の第1受信部201及び第2受信部202はそれぞれ、受信した信号の電力を検知している。
【0031】
次いで、ユーザが、入力操作を行うべく、
図1(A)に示すように、右手の人差し指を左の掌に接触させるとする。この際、経路P4よりも経路長の相当に短い経路P1−P2及びP1−P3を介した信号が更に受信装置2に到達する。その結果、第1受信部201及び第2受信部202はそれぞれ、接触前から受信していた信号の電力から、より大きい電力への変化を検知することになる。受信装置2は、この変化によって、右手の人差し指の左の掌への接触を判定することができる。
【0032】
さらに、ユーザが、右手の人差し指で左の掌をなぞるようにして人差し指を移動させたり、人差し指で文字や図形等を描いたりすると、第1受信部201及び第2受信部202で検知される電力がそれぞれ異なる形で変化する。この変化は、指の掌上での接触位置の変化によって、経路P1−P2及びP1−P3の長さがそれぞれ異なる形で変化することに対応するものである。このように第1受信部201及び第2受信部202のそれぞれで検知される電力の変化を測定することで、指の「動き」、さらには軌跡を算出することができる。
【0033】
このように、本実施形態では、指の掌上での接触位置の変化によって、経路P1−P2及びP1−P3がそれぞれ変化するのを利用して「動き」、さらには軌跡を算出している。即ち、例えば加速度センサ等を用いて指の動きそのものを測定するものではない。従って、指の向きの変化自体は「動き」に影響を与えずに済む。その結果、例え、入力の際に用いる身体部位の向きが変化しても所望の入力情報を生成することが可能となるのである。
【0034】
尚、後に詳しく説明するように、第1受信部201及び第2受信部202のそれぞれで検知された信号の位相差を用いて、指の「動き」や接触位置の検出精度を更に高めることも可能となる。
【0035】
その後、ユーザは、人差し指を移動させたり人差し指で文字や図形等を描いたりする操作を終了し、指を掌から離隔させる。この際、経路P1−P2及びP1−P3を介した信号が受信装置2に到達しなくなり、指と掌との接触時に受信した信号のより大きな電力から、元のより小さい電力への変化を検知することになる。受信装置2は、この変化によって、人差し指の掌からの離隔を判定することができる。
【0036】
以上説明したように、本発明による入力システムは、「少なくとも1つの送信部」から送信された身体を伝播する信号を部位外に出力し得る第1の身体部位と、部位内に入力された当該信号を「少なくとも2つの受信部」によって受信され得る第2の身体部位との相対的な「動き」を、「少なくとも2つの受信部」によって受信された当該信号の電力の変化に基づいて算出する。これにより、軌跡を描くための領域を備えたデバイスを必要とせずに、入力の際に用いる身体部位の向きが変化しても所望の入力情報を生成することができる。
【0037】
さらに、本発明による入力システムにおいて、「少なくとも2つの受信部」によって受信された当該信号における電力の変化に基づいて、第1の身体部位と第2の身体部位とが接触しているか否かを判定し、第1の身体部位と第2の身体部位とが接触していると判定された際の、第1の身体部位の第2の身体部位に対する「動き」又は接触位置の「軌跡」を算出することも好ましい。この場合、受信部における受信電力だけで接触及び「動き」等を検知・算出することも可能となる。
【0038】
[送信装置1及び受信装置2]
図2は、本発明に係る送信装置及び受信装置の一実施形態における機能構成を示す機能ブロック図である。
【0039】
図2によれば、送信装置1は、第1送信部101と、信号送信制御部111を含むプロセッサ・メモリとを有する。送信装置1は、第2送信部102を更に有することも好ましい。ここで、プロセッサ・メモリは、送信装置1に搭載されたコンピュータを機能させるプログラムを実行することによって、その機能を実現させる。
【0040】
信号送信制御部111は、第1送信部101に対し、身体を伝播媒体とした信号を送信するように指示を行う。この信号の波形は正弦波であることも好ましいが、例えば、のこぎり波、三角波、台形波、又はこれらの合成波としてもよい。また、第2送信部102が設置されている場合、第2送信部102には、第1送信部101によって送信される高周波信号とは異なる別の高周波信号を送信させることも好ましい。例えば、第1送信部101からの信号の周波数(例えば1GHz)とは異なる周波数(例えば1.3GHz)の信号を送信させることも好ましい。これにより、受信装置2において、2種類の信号を用いてそれぞれ独立に指の掌に対する「動き」や位置を算出することができ、両者を比較し一方を選択することによって、または平均することによって、より精度の高い算出結果を得ることができる。例えば、並行して測定・算出された「動き」や位置のうち、ノイズのより少ない方又は異常な値を示していない方を選択することも好ましい。
【0041】
第1送信部101は、身体を伝播媒体とした信号を送信可能な手段であり、送信インタフェースとなる電極が身体(の皮膚)と接触可能な位置に取り付けられている。具体的に、第1送信部101は、この電極から誘電体である身体に、例えば変調をかけられた微弱な0.1〜5GHzの交流電流を流すことも好ましい。送信電力は例えば−30dBm(1μW)程度にしてもよい。このように、信号伝送方式として電流方式を採用することができる。
【0042】
尚、送信される信号の周波数は、掌(第2の身体部位)上での指(第1の身体部位)の移動範囲内の点については位相が同値にならないように、即ち位相によって位置が特定できるように設定されることも好ましい。これは、信号の身体内での波長を指の移動範囲よりも十分に大きくなるように設定することに相当するが、特に後述する位相差算出部212を設置する場合に有効な設定となる。
【0043】
第2送信部102も、第1送信部101と同様の機能を有するが、第1送信部101の送信する高周波信号とは(例えば周波数の)異なる別の高周波信号を送信する。このような第2送信部102を設置する場合、後に説明する受信装置2の第1受信部201及び第2受信部202の各々は、2つのフィルタ、例えば、互いに異なる通過帯域を有する2つのバンドパスフィルタを備えていることも好ましい。これにより、各受信部において、第1送信部101及び第2送信部102から送信された高周波信号を分離して処理することが可能となる。このフィルタは、例えばSAW(Surface Acoustic Wave)フィルタ又は誘電体フィルタとすることができる。
【0044】
尚、送信装置1は、更に多くの送信部、例えば4つの送信部を有することも好ましい。例えば、送信装置1が手首に巻くベルト状であって、互いに(例えば周波数の)異なる高周波信号を送信する4つの第1〜第4送信部が手首を取り巻いて配置されるように設置されることも好ましい。この場合、手首の動きによっては、第1受信部201及び第2受信部202に受信される4種類の信号のうちのいくつかは大きなノイズ又は異常な値を示すこともあり得る。このような問題のある結果を除外して正常な結果から指の掌に対する「動き」や位置を求めることによって、より精度の高い算出結果を得ることができる。ここで、4つの送信部を設置した場合、受信装置2の各受信部は、互いに通過帯域の異なる4つのバンドパスフィルタを備えていることも好ましい。
【0045】
同じく
図2によれば、受信装置2は、第1受信部201と、第2受信部202と、通信インタフェース203と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、送信装置1に搭載されたコンピュータを機能させるプログラムを実行することによって、その機能を実現させる。
【0046】
ここで、プロセッサ・メモリは、接触判定部211と、位相差算出部212と、較正部213と、動き算出部214と、位置算出部215と、軌跡管理部216と、入力情報決定部217と、通信部221とを有する。なお、
図2によれは、各機能構成部を矢印で接続した処理の流れは、本発明による入力方法の一実施形態としても理解される。
【0047】
第1受信部201及び第2受信部202は、送信装置1から送信された信号を受信可能な受信手段であり、受信インタフェースとなる電極が身体(の皮膚)と接触可能な位置に取り付けられている。具体的に、各受信部は、誘電体である身体からこの電極を介して変調をかけられた交流電流を検知し、その電力、電流値又は位相を測定することができる。
【0048】
通信インタフェース203は、ユーザの指による掌に対する入力操作に基づいて入力情報決定部217で決定された入力情報を、外部の情報機器、例えばHMD3等のウェアラブル機器やタブレット型、ノート型又は設置型のコンピュータ等宛てに送信する。この入力情報を受信したHMD3等の情報機器は、受信した入力情報に対応した動作、例えば所定のアプリケーションの起動や文字入力等を発動させる。
【0049】
接触判定部211は、第1受信部201及び第2受信部202によって受信された信号における「異なる時点での電力の変化」及び/又は「各時点での電力」に基づいて、送信側の第1の身体部位(右手の人差し指)と受信側の第2の身体部位(左の掌)とが接触しているか又は離隔しているかを判定する。この判定に用いる「電力」は、第1受信部201及び第2受信部202によって受信された信号のうちの一方の電力であってもよく、両信号の電力の合計値(又は平均値)としてもよい。ここで、接触判定部211に含まれる電力算出部211aは、第1受信部201及び第2受信部202によって受信された信号それぞれの電力値又はその合計値(若しくは平均値)を算出する。
【0050】
図3は、接触判定部211における接触判定の方法を説明するためのグラフである。
【0051】
図3のグラフは、右手の人差し指が左の掌(の中指根元付近)に接触している状態(接触状態)と、この人差し指が掌から離隔している状態(非接触状態)とを繰り返した際の、第1受信部201によって受信された信号の電力(受信電力)の時間変化の実測値を示している。尚、受信電力の単位は、第1送信部から送信された信号の電力(送信電力)を基準にしたデシベル(dB)となっている。
【0052】
図3によれば、非接触状態での受信電力は約−46dB未満の値となっており、一方、接触状態での受信電力は約−43dB以上の値となっている。即ち、接触状態と非接触状態とでは、受信電力に少なくとも約1.25倍の差が生じている。従って、各時点での電力値に基づいて接触・非接触を判別することができる。例えば、閾値T
Rを−46dBと−43dBとの間の値として、受信電力値が閾値T
R以上であれば接触状態であると判定し、閾値T
R未満であれば非接触状態であると判定することができる。
【0053】
また、接触判定の他の形態として、異なる時点での電力値の変化に基づいて接触・非接触を判定することができる。例えば、受信電力値の変化率(グラフの傾き)αが、所定の閾値T
α1(>0)以上となった場合、接触状態になったと判定し、所定の閾値T
α2(<0)未満となった場合、非接触状態となったと判定することができる。さらに他の形態として、受信電力値の変化率αが所定の閾値T
α1以上となり、且つその時点からの受信電力値が閾値T
R以上である場合にのみ接触状態であると判定することも好ましい。この場合、より確実な接触判定を行うことができる。
【0054】
図2に戻って、位相差算出部212は、第1受信部201及び第2受信部202によって受信された信号の位相差を算出する。次に、位相差の算出について説明する。
【0055】
図4は、送信側の指が受信側の掌に接触している場合に、第1受信部201及び第2受信部202によって受信された信号の位相差を説明するためのグラフである。
【0056】
最初に、
図4(A)に示した正弦波の信号が第1送信部101から送信されたとする。この信号は、指から掌への経路P1−P2(
図1(A))を介して第1受信部に到達し、
図4(B)に示す同周波数の正弦波信号として受信される。この受信された信号は、経路P1−P2を伝播した分だけ遅延した時間に対応する(送信当初の信号を基準とした)位相差(
図4(B)では90°)を有する。ここで、この位相差は、受信信号の極大(又は極小)となる時刻における送信信号の極大(又は極小)となる時刻からのずれとして観測される。同様に、指から掌への経路P1−P3(
図1(A))を介して第2受信部に到達した同周波数の正弦波信号も、
図4(C)に示すように遅延時間に対応する位相差(
図4(C)では180°)を有する。
【0057】
尚、各受信部において、較正時(または製品出荷時)には、位相の基準は、
図4(B)及び
図4(C)における点線のように設定されており、送信部の信号と同期していることも好ましい。従って、第1受信部201及び第2受信部202での位相差は、受信された信号の位相と、較正時(または製品出荷時)の位相との差と捉えることもできる。
【0058】
ここで、指の接触位置によって両者の経路長(及び経路の誘電的状態)が異なる分だけ、両信号それぞれの位相差も異なり、その結果、両信号の間の位相差の差(180°−90°=90°)が発生する。具体的に、両信号の位相差の差dpは、第1受信部で受信した信号の極大の時刻をt
1とし、第2受信部で受信した信号の極大の時刻をt
2とし、受信信号の周期をTrとすると、
(1) dp=360°×(t
2−t
1)/Tr
として算出することができる。この位相差の差dpの時間変化を算出し、時点毎に位相差の差dpを対応付けた情報を、指の掌に対する「動き」として決定することもできる。尚、以上に述べた位相差、又は位相差の差を算出する際、極大の時刻の代わりに極小の時刻を用いてもよい。また、信号の波形が正弦波以外、例えばのこぎり波、三角波、台形波又はそれらの合成波の場合でも同様に位相差、又は位相差の差を算出することができる。
【0059】
図2に戻って、較正部213は、第1の身体部位(右手の人差し指)の第2の身体部位(左の掌)に対する複数の接触位置(較正点)のそれぞれにおける信号の電力値に基づいて、これら複数の較正点と電力値とを対応付けた「較正結果」を生成し保持する。ここで、較正部213の有する較正結果保持部213aが「較正結果」を記憶・保持している。
【0060】
図5は、較正に用いる較正点を示す掌の概略図である。
【0061】
図5によれば、左の掌上に、4つの第1〜第4較正点が示されている。本実施形態において、左の掌は、右手の人差し指で何らかの軌跡や、文字、記号又は図形等を描く操作が可能な領域となっており、第1〜第4較正点は、この左の掌領域の多くの部分を内部とする四辺形の頂点となっている。
【0062】
較正の際、ユーザは、右手の人差し指を、左の掌上の四隅付近の、おおよそ矩形の頂点をなす4つの位置に順次接触させる。このユーザによって決められた4つの位置が、第1〜第4較正点となる。接触させる順番は予め定められており、例えば
図5に示した第1較正点、第2較正点、第3較正点、第4較正点の順に接触させることにしてもよい。この際、1つの較正点から次の較正点への移動は人差し指を掌から離隔させつつ行うことが好ましい。
【0063】
ここで、
図2に戻って、較正部213は、較正処理の開始後、4つの接触判定が順次なされた際の各々の接触判定時における第1受信部201及び第2受信部202での受信信号の電力(及び位相)の情報を取得し記憶する。これにより、複数の較正点(第1〜第4較正点)と電力値とを対応付けた「較正結果」が生成される。
【0064】
また、較正点の数は4つ又はそれ以上であることが好ましいが、2つとすることも可能である。さらに、送信装置2の有する受信部の数も必ずしも2つに限定されるものではなく、例えば、3つ又は4つ以上とすることもできる。このように、受信部の数と較正点の数との組合せも種々のものが採用可能となる。
【0065】
尚、較正は、定期的に又は適宜実施されることが好ましい。身体の誘電体としての特性は、時間とともに変化し得るので、較正は、その変化を補償する役割も果たす。本実施形態では、何ら特別の外部装置を用いることなく、入力操作時に使用する身体部位を使って容易に較正を実施することが可能となる。ここで、指によって掌上で、予め設定されたモード変更用の「動き」を行うことによって、受信装置2が較正モードに入り、較正処理を実行可能な状態になることも好ましい。
【0066】
図2に戻って、動き算出部214は、第1の身体部位(右手の人差し指)と第2の身体部位(左の掌)との相対的な「動き」を、第1受信部201及び第2受信部202によって受信された信号の電力の変化に基づいて算出する。ここで、特に、第1の身体部位と第2の身体部位とが接触しているとの判定情報を接触判定部211から入力した際の相対的な「動き」を算出することが好ましい。また、信号の電力値情報は、接触判定部211の有する電力算出部211aから取得することも好ましい。
【0067】
さらに、動き算出部214は、受信した信号の「電力」及び受信した信号の「位相差」に基づいて第1の身体部位(右手の人差し指)の第2の身体部位(左の掌)に対する「動き」を算出してもよい。
【0068】
図6は、算出された電力の大きさと第1の身体部位の第2の身体部位に対する「動き」との関係を説明するための模式図である。
【0069】
図6によれば、第1受信部201の位置を中心とした第1受信部201での受信電力の等高円、及び第2受信部202の位置を中心とした第2受信部202での受信電力の等高円が示されている。1つの等高円上の点は、ある1つの受信電力値をとる位置であるとともに、円中心の受信部の位置からその等高円の半径分の距離だけ離隔した位置とすることができる。
【0070】
ここで、右手の人差し指(第1の身体部位)が左の掌(第2の身体部位)に接触した場合を考える。第1受信部201の受信電力が−46.0662dBであって、第2受信部202の受信電力が−42.2973dBであるとすると、指の接触点は、それぞれの受信電力に対応する2つの等高円(
図6の実線の円)の交点となる。
【0071】
次いで、指が掌上を移動し、第1受信部201での受信電力が-45.4856dBとなり、第2受信部202での受信電力が-44.4856dBとなったとする。この変化は、接触点から各受信部までの経路長が長く(短く)なると信号の減衰の程度が大きく(小さく)なり受信電力の低下が大きく(小さく)なることによる。この移動後の接触点は、変化後の受信電力のそれぞれに対応する2つの等高円(
図6の点線の円)の交点となる。このように、第1受信部201及び第2受信部202での「受信電力の変化」を求めることによって接触点の移動、即ち指の「動き」を算出することができる。
【0072】
図2に戻って、位置算出部215は、第1の身体部位(右手の人差し指)の第2の身体部位(左の掌)に対する位置を、第1受信部201及び第2受信部202によって受信された信号の電力に基づいて算出する。特に、位置算出部215は、当該位置を、当該電力に基づき、較正部215で生成された「較正結果」を用いて算出することも好ましい。
【0073】
図7は、受信電力に係る較正結果を用いた接触点の位置の算出方法における一実施例を説明するためのグラフである。
【0074】
図7によれば、第1受信部201、第2受信部202、第1較正点、第2較正点、第3較正点、及び第4較正点の位置が示されている。また、第1較正点に第1の身体部位(右手の人差し指)が接触した際の第1の受信部201での受信電力は−38.6969dBであって、第2受信部202での受信電力は−42.0144dBであった。第2較正点では、第1受信部201での受信電力は−42.0144dBであって、第2受信部202での受信電力は−38.6969dBであった。第3較正点ではそれぞれ−43.5849dB及び−46.0215dBであり、第4較正点ではそれぞれ−46.0215dB及び−43.5849dBであった。
【0075】
ここで、右手の人差し指(第1の身体部位)が左の掌(第2の身体部位)に接触し、その際、第1受信部201での受信電力が−41.6457dB、第2の受信部での受信電力が−39.5827dBであったとする。以下、上記の4つの較正点での較正結果を用いて、この指の接触位置を算出する。
【0076】
最初に、第1較正点及び第2較正点を結ぶ軸を考え、第1受信部201での受信電力値(−41.6457dB)に相当するこの軸上の位置11を算出する。同様に、第1較正点及び第3較正点を結ぶ軸を考え、第1受信部201での受信電力値(−41.6457dB)に相当するこの軸上の位置12を算出する。ここで、算出した位置11及び位置12を通る直線上の位置は、概ね第1受信部201での受信電力値(−41.6457dB)に相当する位置であると近似することができる。尚、第1受信部201に係る較正点の一方の組合せとして第1較正点及び第3較正点を用いたのは、両較正点が第1受信部201側の較正点であることによる。
【0077】
次いで、同じく第1較正点及び第2較正点を結ぶ軸を考え、第2受信部202での受信電力値(−39.5827dB)に相当するこの軸上の位置21を算出する。同様に、第2較正点及び第4較正点を結ぶ軸を考え、第2受信部202での受信電力値(−39.5827dB)に相当するこの軸上の位置22を算出する。ここで、算出した位置21及び位置22を通る直線上の位置は、概ね第2受信部202での受信電力値(−39.5827dB)に相当する位置であると近似することができる。尚、第2受信部202に係る較正点の一方の組合せとして第2較正点及び第4較正点を用いたのは、両較正点が第2受信部202側の較正点であることによる。
【0078】
最後に、算出された第1受信部201での受信電力値(−41.6457dB)に相当する直線と、第2受信部202での受信電力値(−39.5827dB)に相当する直線との交点を、接触点の位置とする。このように、各較正点における受信電力のキャリブレーション値を用いて補間することにより、第1受信部201及び第2受信部202での受信電力値から指の接触位置を算出することができる。
【0079】
尚、以上に説明したような較正結果は、例えば製品出荷時には予め初期値を記憶したものであってもよい。この場合、ユーザによる較正処理を実行しなくとも、指の接触位置を算出することが可能となる。
【0080】
図2に戻って、位置算出部215は、以上に説明した受信「電力」以外にも、位相差算出部212によって算出された「位相差」によっても、第1の身体部位(右手の人差し指)の第2の身体部位(左の掌)に対する位置を算出することができる。具体的に、位置算出部215は、第1の身体部位(右手の人差し指)の第2の身体部位(左の掌)に対する位置を、第1受信部201及び第2受信部202によって受信された信号の電力及び位相差の両方に基づいて算出することも好ましい。さらに、位置算出部215は、当該位置を、当該電力及び位相差に基づき、較正部215で生成された「較正結果」を用いて算出することも好ましい。
【0081】
図8は、算出された位相差と第1の身体部位の第2の身体部位に対する「動き」との関係を説明するための模式図である。
【0082】
図8によれば、第1受信部201の位置を中心とした第1受信部201での位相差の等高円、及び第2受信部202の位置を中心とした第2受信部202での位相差の等高円が示されている。1つの等高円上の点は、ある1つの位相差をとる位置であるとともに、円中心の受信部の位置からその等高円の半径分の距離だけ離隔した位置とすることができる。
【0083】
ここで、右手の人差し指(第1の身体部位)が左の掌(第2の身体部位)に接触した場合を考える。第1受信部201の位相差が76.8°であって、第2受信部202の位相差が50.4°であるとすると、指の接触点は、それぞれの位相差に対応する2つの等高円(
図8の実線の円)の交点となる。
【0084】
次いで、指が掌上を移動し、第1受信部201での位相差が69.6°となり、第2受信部202での位相差が69.6°となったとする。この変化は、接触点から各受信部までの経路長が長く(短く)なると位相差が大きく(小さく)なることによる。この移動後の接触点は、変化後の位相差のそれぞれに対応する2つの等高円(
図8の点線の円)の交点となる。このように、第1受信部201及び第2受信部202での「位相差の変化」を求めることによって接触点の移動、即ち指の「動き」を算出することができる。
【0085】
図9は、位相差に係る較正結果を用いた接触点の位置の算出方法における一実施例を説明するためのグラフである。
【0086】
図9によれば、第1受信部201、第2受信部202、第1較正点、第2較正点、第3較正点、及び第4較正点の位置が示されている。また、第1較正点に第1の身体部位(右手の人差し指)が接触した際の第1の受信部201での位相差は24.0°であって、第2受信部202での位相差は75.9°であった。第2較正点では、第1受信部201での位相差は75.9°であって、第2受信部202での位相差は24.0°であった。第3較正点ではそれぞれ120.0°及び139.9°であり、第4較正点ではそれぞれ139.9°及び120.0°であった。
【0087】
ここで、右手の人差し指(第1の身体部位)が左の掌(第2の身体部位)に接触し、その際、第1受信部201での位相差が58.6°、第2の受信部での位相差が67.3°であったとする。以下、上記の4つの較正点での較正結果を用いて、この指の接触位置を算出する。
【0088】
最初に、第1較正点及び第2較正点を結ぶ軸を考え、第1受信部201での位相差(58.6°)に相当するこの軸上の位置31を算出する。同様に、第1較正点及び第3較正点を結ぶ軸を考え、第1受信部201での位相差(58.6°)に相当するこの軸上の位置32を算出する。ここで、算出した位置31及び位置32を通る直線上の位置は、概ね第1受信部201での位相差(58.6°)に相当する位置であると近似することができる。尚、第1受信部201に係る較正点の一方の組合せとして第1較正点及び第3較正点を用いたのは、両較正点が第1受信部201側の較正点であることによる。
【0089】
次いで、同じく第1較正点及び第2較正点を結ぶ軸を考え、第2受信部202での位相差(67.3°)に相当するこの軸上の位置41を算出する。同様に、第2較正点及び第4較正点を結ぶ軸を考え、第2受信部202での位相差(67.3°)に相当するこの軸上の位置42を算出する。ここで、算出した位置41及び位置42を通る直線上の位置は、概ね第2受信部202での位相差(67.3°)に相当する位置であると近似することができる。尚、第2受信部202に係る較正点の一方の組合せとして第2較正点及び第4較正点を用いたのは、両較正点が第2受信部202側の較正点であることによる。
【0090】
最後に、算出された第1受信部201での位相差(58.6°)に相当する直線と、第2受信部202での位相差(67.3°)に相当する直線との交点を、接触点の位置とする。このように、各較正点における位相差のキャリブレーション値を用いて補間することにより、第1受信部201及び第2受信部202での位相差から指の接触位置を算出することができる。
【0091】
図2に戻って、位置算出の更なる他の実施形態として、位置算出部212は、左の掌における第1受信部201及び第2受信部202までの信号の伝播経路に関し、
(a)当該伝播経路が所定の範囲内である場合、右手の人差し指の左の掌に対する位置を、第1受信部201及び第2受信部202によって受信された信号の「電力」に基づいて算出し、
(b)それ以外の場合(当該伝播経路が所定の範囲外である場合)、右手の人差し指の左の掌に対する位置を、第1受信部201及び第2受信部202によって受信された信号の「位相差」に基づいて算出する
ことも好ましい。一般に、「電力」は信号が遠方に伝播するほど弱くなるので、送信源から近い領域においての位置判定に適しているといえる。一方、「位相差」は、値自体が送信源からの距離で減衰するものではないので、送信源から遠い領域では「電力」よりも位置判定に適している。
【0092】
この場合、例えば、第1受信部201及び第2受信部202によって受信された信号の電力の合計値が所定閾値T
A未満であれば、上記(a)のように「電力」に基づいて位置を算出し、所定閾値T
A以上であれば、上記(b)のように「位相差」に基づいて位置を算出することも好ましい。
【0093】
軌跡管理部216は、右手の人差し指(第1の身体部位)の左の掌(第2の身体部位)に対する「動き」による「軌跡」を取得する。ここで、軌跡管理部216は、
(a)位置算出部215で算出された各時点での位置(位置座標)情報を入力し、時点毎に位置(位置座標)を対応付けた情報を「動き」による「軌跡」情報としてもよく、
(b)動き算出部において(接触判定部211及び/又は位相差算出部212で算出された)電力及び/又は位相差に基づいて算出された「電力の変化」及び/又は「位相差の変化」としての「動き」を入力して「軌跡」情報としてもよく、
(c)動き算出部214において(位置算出部215で算出された)各時点での位置(位置座標)に基づいて算出された「動き」を入力して「軌跡」情報としてもよい。
【0094】
入力情報決定部217は、算出された「動き」に応じた入力情報を決定する。また、入力情報決定部217は、「動き」による「軌跡」に係る軌跡パターンと所定の「入力情報」との関係を保持し、この関係に基づいて、取得された軌跡に応じた入力情報を決定することも好ましい。具体的には、入力情報決定部217は、
(ア)「動き」による「軌跡」に係る受信電力及び/又は位相差の時間変化パターン(軌跡パターン)と、所定のアプリケーションの起動又は動作を引き起こす「アプリケーション入力情報」との関係を記憶しておくことも好ましく、
(イ)「動き」による「軌跡」に係る軌跡パターンとしての軌跡テンプレートと、所定のアプリケーションの起動又は動作を引き起こす「アプリケーション入力情報」との関係を記憶した軌跡テンプレート保持部217aを有することも好ましく、また、
(ウ)「動き」による「軌跡」に係る文字等パターン(軌跡パターン)としての文字テンプレートと、「入力情報」としての文字、記号又は図形との関係を記憶した文字テンプレート保持部217bを有することも好ましい。
【0095】
入力情報決定部217は、ここで、
(a)動き算出部214において(接触判定部211及び/又は位相差算出部212で算出された)電力及び/又は位相差に基づいて算出された「電力の変化」及び/又は「位相差の変化」としての「動き」を入力し、この「動き」に予め対応付けられた「入力情報」を決定してもよく、
(b)動き算出部214において(位置算出部215で算出された)各時点での位置(位置座標)に基づいて算出された「動き」を入力し、この「動き」に予め対応付けられた「入力情報」を決定してもよく、
(c)軌跡管理部216において(動き算出部214で算出された)「動き」から取得された「軌跡」に基づき、軌跡テンプレート又は文字テンプレートを用いて「入力情報」を決定してもよい。
【0096】
尚、上記(a)及び(b)において「動き」に「入力情報」を予め対応付けたものとして、受信電力及び/又は位相差の時間変化パターン(軌跡パターン)、軌跡テンプレート又は文字テンプレートを用いてもよい。また、上記(c)において文字テンプレートを用いて決定された「入力情報」は、例えば文字、記号又は図形等とすることができる。
【0097】
通信部221は、入力情報決定部217決定された「入力情報」を、HMD3等の外部の情報機器宛てに送信する。また、この外部の情報機器との間で、データやコマンドのやり取り等、各種の通信を行うことも好ましい。
【0098】
[入力情報決定方法]
図10は、動き算出部214(
図2)で算出された「動き」に基づいた入力情報によってアプリケーションを起動・終了させる一実施形態を示す概略図である。
【0099】
図10によれば、入力情報決定部217(
図2)は、動き算出部214(
図2)から、右手の人差し指による左の掌上での「○」又は「×」に相当する「動き」情報として、
(ア)第1受信部での受信電力の時間変化情報と、
(イ)第2受信部での受信電力の時間変化情報と
を入力する。
【0100】
ここで、入力情報決定部217は、「○」に係る受信電力のパターンと所定のアプリケーションの起動とを対応付け、さらに、「×」に係る受信電力のパターンとこのアプリケーションの終了とを対応付けて記憶している。
【0101】
次いで、この対応関係を用い、入力した情報(ア)及び(イ)に基づいて、対応する起動又は終了との「入力情報」を決定し、この「入力情報」を、通信部221及び通信インタフェース203(
図2)を介してHMD3等の外部の情報機器に送信する。外部の情報機器は、アプリケーションを搭載しており、「○」に対応して決定された「入力情報」を受信した場合、このアプリケーションを起動させ、「×」に対応して決定された「入力情報」を受信した場合、起動中のアプリケーションを終了させる。
【0102】
以上に述べたようなアプリケーションへの入力処理の具体的な実施例として、例えば、以下の2つの方法A及びBが挙げられる。
<A:電力変化パターン(軌跡パターン)を予め登録しておく場合>
(a1)アプリケーションのメモリに予め、判定のための正解記号又は軌跡を格納しておく。例えば、工場出荷時に「○」及び「×」を記憶しておく。
(a2)受信装置2から受信した「入力情報」としての記号若しくは軌跡「○」又は記号若しくは軌跡「×」が、登録されている記号又は軌跡と同様であった場合、アプリケーションを動作させる。
<B:電力変化パターン(軌跡パターン)をユーザが登録する場合>
(b1)指の掌上での「動き」(軌跡)とアプリケーションの動作とを対応付けるセットアップを実施する。具体的に、送信装置1を装着した手の指で、受信装置2を装着した手の掌上にマルを描いた際に取得される受信電力の時間変化パターンを、記号(軌跡)「○」と、アプリケーションの起動(のための入力)とに対応付けて登録する。
(b2)指の掌上での「動き」によって取得された受信電力から復元した記号又は軌跡が、登録されている記号又は軌跡(「○」)と同様であった場合、アプリケーションを動作させる。
【0103】
上記の方法Bでは、複数回のセットアップを実施することによって、指の掌上での複数の「動き」をそれぞれ、アプリケーションにおける複数の動作と対応付けることもできる。また、「軌跡」を対応付けて登録する場合、その「軌跡」は、一般的に使用される文字や記号である必要はなく、例えばユーザ独自の記号とすることもできる。
【0104】
このような本発明による入力方法のアプリケーションの起動・動作への適用は、様々な実施形態をとることが可能である。例えば、ユーザが特定の指の「動き」、文字、記号又は図形等を予め登録しておき、登録した「動き」や文字等を人差し指で掌に描いた場合にのみ、本人認証用のアプリケーションが起動して(または起動した本人認証用のアプリケーションに本人情報を入力して)外部の情報機器、又は当該情報機器に搭載された所定のアプリケーションにアクセス可能となるようにしてもよい。
【0105】
また、送信部を装着した手においてどの指を用いるかによって経路P1(
図1(A))の長さが変わることを利用し、所定の指を使用して特定の「動き」を入力した場合にのみ、本人認証用のアプリケーションが起動・動作するように設定することもできる。
【0106】
さらに、例えば、指を掌上で上下左右のいずれかに払えば、情報機器に表示されたウェブ(Web)ページ又は電子書籍のページを所定の方向に送る(捲る)ことができるように設定してもよい。このような実施形態でも、生成した入力情報をウェブブラウザや電子書籍アプリケーションに入力することによって実現する。
【0107】
図11は、文字テンプレートを用いて入力情報を決定する方法の一実施形態を示す概略図である。
【0108】
図11(A)によれば、入力情報決定部217(
図2)において、認識対象とする文字毎に文字テンプレート(・・・、「ひ」、「ふ」、「へ」、「ほ」、・・・)が予め用意されている。ここで、軌跡管理部216(
図2)から、指の掌上での「動き」によって生成された「軌跡」情報が入力される。この「軌跡」情報は、「動き」の軌跡上の各点の位置座標値を含む。入力情報決定部217は、この軌跡上の各点の位置座標値と、文字テンプレートの文字(軌跡)パターンの各々とを対比し、最も類似する文字(軌跡)を「入力情報」に決定する。
【0109】
ここで、最も類似する文字(軌跡)を決定する方法としてDTW(Dynamic Time Warping)距離に基づくテンプレートマッチングを行うことも好ましい。以下、この方法について説明する。
【0110】
図11(A)に示すように、入力した「軌跡」情報は、点x(1)、点x(2)、点x(3)、・・・点x(m)(mは2以上の自然数)のシーケンスAである。また、文字テンプレートの文字パターンも、点y(1)、点y(2)、点y(3)、・・・点y(n)(nは2以上の自然数)のシーケンスBとして表される。この2つのシーケンス間のDTW距離を算出し、入力した「軌跡」情報とのDTW距離が最も小さい文字テンプレートの文字を「入力情報」に決定する。
【0111】
具体的には、
図11(B)に示すように、点x(i)と点y(j)との距離D(i,j)を(i,j)成分とするタイムワーピング行列を考える。この行列において、左上の(1,1)成分であるD(1,1)からスタートして右下の(m,n)成分であるD(m,n)に至るまでの最短経路を考える。ここで、DTW距離D
TW(A,B)は、次式、
(2) D
TW(A,B)=D(m,n)
ここで、D(i,j)=|x(i)-y(j)|+min(D(i,j-1), D(i-1,j),D(i-1,j-1)
D(0,0)=0,D(i,0)=D(0,j)=∞
i=1,2,・・・,m,j=1,2,・・・,n
で表される。
【0112】
即ち、DTW距離D
TW(A,B)は、左上の(1,1)成分であるD(1,1)からスタートして右下の(m,n)成分であるD(m,n)に至るまでの間、到達した1つの成分D(i,j)の値を、隣接する1つ手前の成分での結果のうち最小となるものを用いて算出することによって得られる。
【0113】
尚、当然に、「軌跡」情報と最も類似する文字テンプレートの文字(軌跡)を求める方法は、上述したDTW距離を利用した方法に限定されるものではない。例えば時系列データ間の類似度を測定する様々な公知の方法を適用することが可能である。
【0114】
以上、詳細に説明したように、本発明の入力システム及び入力方法によれば、第1の身体部位(右手の人差し指)と第2の身体部位(左の掌)との相対的な「動き」を、複数の受信部によって受信された信号の電力の変化に基づいて算出する。これにより、例えば、右手の人差し指で左の掌をなぞりながら、この人差し指を所定の向きに移動させたり、この人差し指で所定の軌跡や文字、記号、図形等を描いたりし、これらの移動の向き、軌跡、文字、記号、図形等を、例えば外部の情報機器への入力情報とすることができる。その結果、例えばタッチパネルといった軌跡を描くための領域を備えたデバイスを必要とせずに所望の入力情報を生成することができる。
【0115】
また、例えば、指の掌上での接触位置の変化によって「動き」、さらには「軌跡」が算出されるので、例えば指の向きの変化自体は「動き」に影響を与えずに済む。その結果、例え、入力の際に用いる身体部位の向きが変化しても所望の入力情報を生成することができる。
【0116】
さらに、本発明による入力システムは、特別の外部のデバイスや機器を用いることなく、身体部位を動かすだけで入力情報を生成できるので、例えばHMDや腕時計型機器等のウェアラブル・コンピュータのための入力システムとして非常に適している。
【0117】
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。