特許 7504723 入力システム及び入力方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-14

(45)【発行日】2024-06-24

(54)【発明の名称】入力システム及び入力方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240617BHJP

   G06F 3/038 20130101ALI20240617BHJP

   G06F 3/04883 20220101ALI20240617BHJP

   G06T 19/00 20110101ALI20240617BHJP

【ＦＩ】

G06F3/01 510

G06F3/038 310A

G06F3/04883

G06T19/00 300B

【請求項の数】 11

(21)【出願番号】P 2020141485

(22)【出願日】2020-08-25

(65)【公開番号】P2022037377

(43)【公開日】2022-03-09

【審査請求日】2023-08-22

(73)【特許権者】

【識別番号】000139403

【氏名又は名称】株式会社ワコム

(74)【代理人】

【識別番号】100176072

【弁理士】

【氏名又は名称】小林 功

(74)【代理人】

【識別番号】100169225

【弁理士】

【氏名又は名称】山野 明

(72)【発明者】

【氏名】渡辺 直樹

(72)【発明者】

【氏名】加藤 龍憲

【審査官】槙 俊秋

(56)【参考文献】

【文献】米国特許出願公開第２０１６／０３７１８８６（ＵＳ，Ａ１）

【文献】特表２０１８－５０５４７２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１０１９８６（ＵＳ，Ａ１）

【文献】特開２０１３－１２５４８７（ＪＰ，Ａ）

【文献】国際公開第２０１９／０４４００３（ＷＯ，Ａ１）

【文献】松井 健人;間 博人;市川 燿;村上 広記;三木光範，“HMDを用いた拡張現実における手書き支援システム Support System for Handwriting by Augmented Reality using HMD”，マルチメディア, 分散, 協調とモバイル(DICOMO2015)シンポジウム論文集;情報処理学会シンポジウムシリーズ = IPSJ Symposium series; vol.2015, no.1，日本，一般社団法人情報処理学会，2015年07月01日，第2015巻，p.1242-1249

【文献】篠木 慎司;新妻 実保子，“高密度化を目指した階層的空間メモリの構築”(2A1-P02 Hierarchical Spatial Memory for Densification)，The Proceedingsof JSME annual Conference on Robotics and Mechatronics(Robomec):日本機械学会 ロボティクス・メカトロニクス講演会(ロボメック)講演論文集(日本機械学会ロボティクス・メカトロニクス講演会予稿集),2015巻(2015),セッションID 2A1-P02，日本，日本機械学会,ロボティクス・メカトロニクス部門，2015年05月16日，2015巻(2015),セッションID 2A1-P02，p.2A1-P02(1)-p.2A1-P02(4)

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１－ ３／０４８９５

Ｇ０６Ｔ １／００－１９／２０

(57)【特許請求の範囲】

【請求項1】

指示デバイスと、
前記指示デバイスと相互に通信可能であり、かつ前記指示デバイスの指示位置を検出する検出デバイスと、
前記検出デバイスとは別体に設けられ、かつ空間を表示する表示ユニットと、
前記空間内のユーザの視線位置を検出する位置検出部と、
プロセッサと、を備え、
前記指示デバイスは、自装置の状態又は状態の時間変化を示す第１状態量を計測可能であり、
前記検出デバイスは、自装置の状態又は状態の時間変化を示す第２状態量を計測可能であり、
前記指示デバイスは、第２通信により、前記第２状態量を含む第２データを前記検出デバイスから受信するとともに、第１通信により、前記第１状態量及び前記第２状態量を集約した第１データを前記プロセッサに送信し、
前記プロセッサは、
前記指示デバイスによる所定の操作を受け付けた時点にて前記位置検出部により検出された前記視線位置に基づいて、前記指示デバイスの基準位置を含む指示対象領域を前記空間の中から設定し、
前記空間上に重ねて前記指示デバイスの指示位置を前記指示対象領域内に表示するように前記表示ユニットを制御する、入力システム。

【請求項2】

前記指示対象領域は、前記空間内にある物体毎又は物体面毎に設定可能である、
請求項１に記載の入力システム。

【請求項3】

前記プロセッサは、前回の視線位置と今回の視線位置とが同一の物体上又は物体面上にある場合、前回に設定された場合と同一の前記基準位置及び前記指示対象領域を設定する、
請求項２に記載の入力システム。

【請求項4】

前記プロセッサは、前回の視線位置と今回の視線位置とが異なる物体上又は物体面上にある場合、前回に設定された場合とは異なる前記基準位置及び前記指示対象領域を設定する、
請求項２に記載の入力システム。

【請求項5】

前記空間は、仮想現実空間であり、
前記プロセッサは、前記指示対象領域が設定された場合、前記指示対象領域が正面になる視点に切り替えて前記仮想現実空間を表示させる、
請求項１～４のいずれか１項に記載の入力システム。

【請求項6】

前記指示デバイス又は前記検出デバイスは、前記所定の操作を受け付けた時点から、前記指示デバイスの移動量を逐次的に出力し、
前記プロセッサは、所定の変換規則に従って前記指示デバイスの移動量を変換し、変換後の移動量を前記基準位置の座標値に逐次加算することで、前記空間上の前記指示位置を算出する、
請求項１～５のいずれか１項に記載の入力システム。

【請求項7】

前記集約は、前記第１状態量から前記第２状態量を差し引いて相対状態量を算出すること、又は、前記第１状態量及び前記第２状態量を連結することである、
請求項１に記載の入力システム。

【請求項8】

前記第２通信は、前記プロセッサとの間で行われない、前記第１通信と異なる手段を用いた通信である、
請求項１に記載の入力システム。

【請求項9】

前記第２通信は、リレー通信である、
請求項８に記載の入力システム。

【請求項10】

前記第２通信の実行頻度は、前記第１通信の実行頻度よりも低い、
請求項１に記載の入力システム。

【請求項11】

指示デバイスと、
前記指示デバイスと相互に通信可能であり、かつ前記指示デバイスの指示位置を検出する検出デバイスと、
前記検出デバイスとは別体に設けられ、かつ空間を表示する表示ユニットと、
前記空間内のユーザの視線位置を検出する位置検出部と、
プロセッサと、
を含んで構成される入力システムを用いた入力方法であって、
前記指示デバイスが、自装置の状態又は状態の時間変化を示す第１状態量を計測するステップと、
前記検出デバイスが、自装置の状態又は状態の時間変化を示す第２状態量を計測するステップと、
前記指示デバイスが、第２通信により、前記第２状態量を含む第２データを前記検出デバイスから受信するとともに、第１通信により、前記第１状態量及び前記第２状態量を集約した第１データを前記プロセッサに送信するステップと、
前記プロセッサが、
前記指示デバイスによる所定の操作を受け付けた時点にて前記位置検出部により検出された前記視線位置に基づいて、前記指示デバイスの基準位置を含む指示対象領域を前記空間の中から設定するステップと、
前記空間上に重ねて前記指示デバイスの指示位置を前記指示対象領域内に表示するように前記表示ユニットを制御するステップと、
を実行する入力方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入力システム及び入力方法に関する。

【背景技術】

【0002】

従来から、スタイラスを含む指示デバイスの筆記操作を通じて、ストロークの集合体を記述するインクデータを入力可能なデジタルインクシステムが知られている。例えば、ユーザによる筆記操作に追従して、この筆記箇所とは異なる別の箇所に筆記コンテンツを表示する場合が想定される。

【0003】

特許文献１には、３次元空間上に２次元の仮想平面を設定した後、この仮想平面上に筆記したストロークを、ユーザが装着可能な表示装置に即時に表示する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－１２５４８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、様々な物体が存在する仮想空間を表示することで、ユーザは、あたかもその空間内に筆記を残すような疑似体験を得ることができる。しかしながら、特許文献１で開示される技術では、仮想平面が設定された後にそのまま固定されるので、場合によっては、ユーザの意図とは異なる箇所に筆記コンテンツが表示され、ユーザによる入力操作性を損なうという問題がある。

【0006】

本発明は上記した問題に鑑みてなされたものであり、その目的は、指示デバイスの指示位置を検出する検出デバイスと、空間を表示する表示ユニットとが別体で設けられる装置構成において、ユーザによる入力操作性を向上可能な入力システム及び入力方法を提供することにある。

【課題を解決するための手段】

【0007】

第一の本発明における入力システムは、指示デバイスと、前記指示デバイスの指示位置を検出する検出デバイスと、前記検出デバイスとは別体に設けられ、かつ空間を表示する表示ユニットと、前記空間内のユーザの視線位置を検出する位置検出部と、プロセッサと、を備え、前記プロセッサは、前記指示デバイスによる所定の操作を受け付けた時点にて前記位置検出部により検出された前記視線位置に基づいて、前記指示デバイスの基準位置を含む指示対象領域を前記空間の中から設定し、前記空間上に重ねて前記指示デバイスの指示位置を前記指示対象領域内に表示するように前記表示ユニットを制御する。

【0008】

第二の本発明における入力方法は、指示デバイスと、前記指示デバイスの指示位置を検出する検出デバイスと、前記検出デバイスとは別体に設けられ、かつ空間を表示する表示ユニットと、前記空間内のユーザの視線位置を検出する位置検出部と、を含んで構成される入力システムを用いた方法であって、１又は複数のプロセッサが、前記指示デバイスによる所定の操作を受け付けた時点にて前記位置検出部により検出された前記視線位置に基づいて、前記指示デバイスの基準位置を含む指示対象領域を前記空間の中から設定するステップと、前記空間上に重ねて前記指示デバイスの指示位置を前記指示対象領域内に表示するように前記表示ユニットを制御するステップと、を実行する。

【発明の効果】

【0009】

本発明によれば、指示デバイスの指示位置を検出する検出デバイスと、空間を表示する表示ユニットとが別体で設けられる装置構成において、ユーザによる入力操作性がより高まる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態における入力システムの全体構成図である。

【図2】図１に示す入力システムの入力動作に関するフローチャートである。

【図3】ウェアラブルデバイスに表示される仮想空間の一例を示す図である。

【図4】領域定義テーブルが有するデータ構造の一例を示す図である。

【図5】ペンダウン操作の前後にわたる３Ｄ画像の遷移を示す図である。

【図6】ペン座標系と仮想座標系の間の対応関係を示す図である。

【図7】ペンアップ操作の前後にわたる３Ｄ画像の遷移を示す図である。

【図8】ペン座標系と検出座標系の間の対応関係を示す図である。

【図9】タブレットの状態量を考慮した補正動作に関する模式図である。

【発明を実施するための形態】

【0011】

以下、添付図面を参照しながら本発明の実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素及びステップに対して可能な限り同一の符号を付するとともに、重複する説明を省略する場合がある。

【0012】

［入力システム１０の構成］
図１は、本発明の一実施形態における入力システム１０の全体構成図である。この入力システム１０は、指示デバイスを用いた筆記操作を通じて、ストロークの集合体を記述するインクデータを入力可能な「デジタルインクシステム」である。具体的には、入力システム１０は、表示デバイスの一態様であるウェアラブルデバイス２０と、指示デバイスの一態様であるスタイラス３０と、検出デバイスの一態様であるタブレット４０と、を含んで構成される。

【0013】

ウェアラブルデバイス２０は、ユーザＵが装着可能な可搬型表示装置である。具体的には、ウェアラブルデバイス２０は、筐体２１と、表示パネル２２（「表示ユニット」に相当）と、視線センサ２３（「位置検出部」に相当）と、プロセッサ２４（「プロセッサ」に相当）と、通信モジュール２５と、を含んで構成される。

【0014】

筐体２１は、各々の電子部品を保持するフレームと、該フレームをユーザＵの頭部に固定する固定部材と、を備える。表示パネル２２は、画像又は映像を表示可能であり、例えば、液晶パネル、有機ＥＬ（Electro-Luminescence）パネル、電子ペーパーなどであってもよい。視線センサ２３は、例えば赤外線センサからなり、ユーザＵの視線に相関する物理量（例えば、目の動き）を検出する。

【0015】

プロセッサ２４は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）を含む処理演算装置によって構成される。プロセッサ２４は、図示しないメモリに格納されたプログラムを読み出して実行することで、画像の表示制御、該表示制御に必要な様々な演算、データの送受信制御などを行う。

【0016】

通信モジュール２５は、外部装置に対して電気信号を送受信するための通信インターフェースである。これにより、ウェアラブルデバイス２０は、スタイラス３０又はタブレット４０との間で様々なデータのやり取りが可能である。

【0017】

スタイラス３０は、タブレット４０との間で一方向又は双方向に通信可能に構成される電子ペンである。電子ペンの方式は、電磁誘導方式（ＥＭＲ）又はアクティブ静電結合方式（ＡＥＳ）のうちのいずれであってもよい。例えば、ＡＥＳ方式の場合には、スタイラス３０は、筆圧センサ３１と、慣性計測ユニット（Inertial Measurement Unit；以下、第１ＩＭＵ３２）と、マイクロコントロールユニット（Micro Control Unit；以下、ＭＣＵ３３）と、通信チップ３４と、を含んで構成される。

【0018】

筆圧センサ３１は、例えば、ペン先への押圧により発生する静電容量の変化を捉える、可変容量コンデンサを用いた圧力センサである。この筆圧センサ３１により、筆圧のみならず、スタイラス３０のペンダウン又はペンアップを含むペンイベントを検出することができる。

【0019】

第１ＩＭＵ３２は、例えば、３軸のジャイロセンサと３方向の加速度センサを組み合わせてなる計測ユニットである。これにより、第１ＩＭＵ３２は、後述するペン座標系６０（図６及び図８参照）上での自装置の状態又は状態の時間変化を示す状態量を測定可能に構成される。この状態量には、位置・姿勢の特定に用いられる様々な物理量、例えば、位置、速度、加速度、ジャーク、角度、角速度などが含まれる。

【0020】

ＭＣＵ３３は、スタイラス３０の動作を制御可能なプロセッサを含む制御ユニットである。例えば、ＭＣＵ３３は、スタイラス３０による指示位置の計算に関する様々な演算の他に、当該演算の結果を含むデータの送受信制御などを行う。

【0021】

通信チップ３４は、ＢｌｕｅＴｏｏｔｈ（登録商標）を含む様々な無線通信規格に従って、外部装置との間で無線通信を行うための集積回路である。これにより、スタイラス３０は、通信チップ３４を介して、ウェアラブルデバイス２０又はタブレット４０との間で様々なデータのやり取りが可能である。

【0022】

タブレット４０は、スタイラス３０の指示位置を検出可能な装置であり、表示機能の有無を問わない。また、タブレット４０に代わって、スマートフォン、パーソナルコンピュータを含む様々な検出デバイスが用いられてもよい。ユーザＵは、スタイラス３０を片手で把持し、タブレット４０のタッチ面４１にペン先を押し当てながら移動させることで、ウェアラブルデバイス２０の表示面に絵や文字を書き込むことができる。

【0023】

このタブレット４０は、センサ電極４２と、タッチＩＣ（Integrated Circuit）４３と、ＣＰＵ４４と、通信チップ４５と、第２ＩＭＵ４６と、を含んで構成される。第２ＩＭＵ４６は、必要に応じて省略されてもよい。

【0024】

センサ電極４２は、導体の接近又は接触により生じた静電容量の変化を検出可能な電極の集合体である。静電容量の検出方式は、相互容量方式又は自己容量方式のいずれであってもよい。例えば、相互容量方式の場合、このセンサ電極４２は、検出座標系８０（図８参照）のＸｄ軸の位置を検出するための複数のＸライン電極と、Ｙｄ軸の位置を検出するための複数のＹライン電極と、を備える。

【0025】

タッチＩＣ４３は、センサ電極４２の駆動制御を行う集積回路である。タッチＩＣ４３は、ＣＰＵ４４から供給された制御信号に基づいてセンサ電極４２を駆動する。これにより、タッチＩＣ４３は、スタイラス３０の状態を検出する「ペン検出機能」や、ユーザＵの指などによるタッチを検出する「タッチ検出機能」を実行する。

【0026】

ＣＰＵ４４は、図示しないメモリに格納されたプログラムを読み出して実行することで、例えば、インクデータの生成、データの送受信制御を含む様々な機能を実行可能である。なお、ＣＰＵ４４に代えて、ＭＰＵ、ＧＰＵを含む様々な処理演算装置が用いられてもよい。

【0027】

通信チップ４５は、通信チップ３４と同様に、ＢｌｕｅＴｏｏｔｈ（登録商標）を含む様々な通信規格に従って、外部装置との間で無線通信を行うための集積回路である。これにより、タブレット４０は、通信チップ４５を介して、ウェアラブルデバイス２０又はスタイラス３０との間で様々なデータのやり取りが可能である。

【0028】

第２ＩＭＵ４６は、第１ＩＭＵ３２と同様に、例えば、３軸のジャイロセンサと３方向の加速度センサを組み合わせてなる計測ユニットである。これにより、第２ＩＭＵ４６は、後述する検出座標系８０（図８参照）上での自装置の位置・姿勢に関する状態量を測定可能に構成される。

【0029】

［入力システム１０の動作］
本実施形態における入力システム１０は、以上のように構成される。続いて、入力システム１０による入力動作について、図２のフローチャート及び図３～図７を参照しながら説明する。

【0030】

＜基本動作＞
図２のステップＳ１において、入力システム１０は、ユーザＵが視認可能な態様で仮想空間５０を表示する。具体的には、ウェアラブルデバイス２０のプロセッサ２４が表示パネル２２に対して表示制御を行うことで、仮想空間５０を示す画像又は映像が表示される。

【0031】

図３は、ウェアラブルデバイス２０に表示される仮想空間５０の一例を示す図である。この仮想空間５０は、架空の室内を３次元的に示している。この室内には、天井・床・壁・クローゼットなどの建造物、ベッド・テーブル・椅子などの家具を含む様々な物体が設けられる。

【0032】

図２のステップＳ２において、入力システム１０は、スタイラス３０によるペンダウン操作を受け付けたか否かを確認する。具体的には、スタイラス３０のＭＣＵ３３は、筆圧センサ３１の検出信号に基づいて、筆圧状態が「ＯＦＦ」から「ＯＮ」に変化したか否かを判定する。ペンダウン操作が検出されなかった場合（ステップＳ２：ＮＯ）、当該操作を検出するまでの間、ステップＳ１に留まる。一方、ペンダウン操作が検出された場合（ステップＳ２：ＹＥＳ）、次のステップＳ３に進む。なお、ウェアラブルデバイス２０は、スタイラス３０による検出結果を直接的に取得してもよいし、タブレット４０を経由して間接的に取得してもよい。

【0033】

ステップＳ３において、入力システム１０は、ステップＳ２にて検出されたペンダウン操作時にユーザＵが視認している物体（以下、視認物体）を特定する。まず、ウェアラブルデバイス２０のプロセッサ２４は、視線センサ２３の検出信号に基づいてユーザＵの視線位置５２を検出した後、この視線の先にある仮想空間５０内の物体を特定する。視認物体を特定する際に、例えば、プロセッサ２４は、図４に示す領域定義テーブルを参照してもよい。

【0034】

図４は、図３の仮想空間５０に関する領域定義テーブルが有するデータ構造の一例を示す図である。この領域定義テーブルは、［１］仮想空間５０内にある物体の識別情報である「物体ＩＤ」と、［２］物体が占有する「占有範囲」と、［３］物体面がなす座標系の「基底ベクトル」と、［４］座標系の原点を示す「基準座標」との間の対応関係を示すテーブル形式のデータである。

【0035】

まず、プロセッサ２４は、視線センサ２３の検出信号に基づいてユーザＵの視線位置５２を検出し、仮想空間５０上の視線ベクトルを算出する。そして、プロセッサ２４は、図４に示す領域定義テーブルを参照し、当該視線ベクトルが各々の物体に対応付けられた占有範囲に交差するか否かを判定する。該当する物体がある場合、その物体が「視認物体」であると特定される。なお、図４の例では、物体毎にＩＤが割り当てられているが、複数の面を有する物体に関して物体の面毎にＩＤが割り当てられてもよい。

【0036】

図２のステップＳ４において、入力システム１０（より詳しくは、プロセッサ２４）は、ステップＳ３にて特定された視認物体が、前回に特定された視認物体と同一であるか否かを判定する。同一の視認物体である場合（ステップＳ４：ＹＥＳ）にはステップＳ５に進む一方、異なる視認物体である場合（ステップＳ４：ＮＯ）にはステップＳ６に進む。

【0037】

ステップＳ５に進んだ場合、入力システム１０（より詳しくは、プロセッサ２４）は、ステップＳ３にて特定された視認物体、つまり、今回の視線に応じた指示対象領域７４（図６）を設定する。具体的には、プロセッサ２４は、図４の領域定義テーブルを参照し、仮想座標系７０（図６）のうち平面状の指示対象領域７４を設定する。例えば、視認物体がＩＤ＝ＯＢ０００１である場合、プロセッサ２４は、座標値が（Ｘｖ１，Ｙｖ１，Ｚｖ１）である基準位置７２（図６）を指示対象領域７４の「中心点」、２つの基底ベクトル（Ｅｘ１↑，Ｅｙ１↑）を指示対象領域７４の「平面ベクトル」、残り１つの基底ベクトルＥｚ１↑を指示対象領域７４の「法線ベクトル」としてそれぞれ設定する。

【0038】

ステップＳ６に進んだ場合、入力システム１０（より詳しくは、プロセッサ２４）は、前回のフローチャート実行時のステップＳ５又はＳ６、つまり、前回の場合と同一の指示対象領域７４を設定する。これと併せて、プロセッサ２４は、指示対象領域７４が正面になるように視点を切り替えた仮想空間５０を表示させる。

【0039】

図５は、ペンダウン操作の前後にわたる３Ｄ画像５０ａ，５０ｂの遷移を示す図である。より詳しくは、上側の図はペンダウン操作前の３Ｄ画像５０ａを、下側の図はペンダウン操作後の３Ｄ画像５０ｂをそれぞれ示している。例えば、ユーザＵの視線位置５２にクローゼットのドアにある状態でペンダウン操作が行われると、３Ｄ画像５０ａが３Ｄ画像５０ｂに遷移される。この３Ｄ画像５０ｂは、クローゼットのドア（つまり、指示対象領域７４）が正面になるように視点を切り替えた２次元画像に相当する。

【0040】

図２のステップＳ７において、入力システム１０は、ユーザＵによるペンムーブ操作に追従して、仮想空間５０上の描画処理を行う。まず、スタイラス３０は、ペンダウン操作時における自装置の位置をペン座標系６０の原点Ｏｐに設定した後、第１ＩＭＵ３２により測定された状態量を逐次的に取得する。そして、ウェアラブルデバイス２０は、この状態量を含むデータをスタイラス３０から直接的に取得する。あるいは、ウェアラブルデバイス２０は、スタイラス３０からタブレット４０を経由して、当該データを間接的に取得してもよい。

【0041】

そして、プロセッサ２４は、所定の変換規則に従ってスタイラス３０の状態量を変換し、変換後の状態量を逐次加算することで、仮想空間５０上の指示位置を算出する。以下、移動量の時系列を用いて仮想座標系７０上の指示位置を算出する例について、図６を参照しながら説明する。

【0042】

図６上側のペン座標系６０は、Ｘｐ軸、Ｙｐ軸、Ｚｐ軸からなる３次元直交座標系であり、スタイラス３０によって独自に定義される。例えば、スタイラス３０のペンダウン位置６２が原点Ｏｐである場合、ｍ↑（ｔ）は、ｔ番目の時点におけるペン座標系６０上でのスタイラス３０の移動量（３次元ベクトル）を示している。

【0043】

一方、図６下側の仮想座標系７０は、Ｘｖ軸、Ｙｖ軸、Ｚｖ軸からなる３次元直交座標系であり、ウェアラブルデバイス２０によって独自に定義される。ここで、破線で示す四角形状の領域は、基準位置７２を基準として設定された指示対象領域７４に相当する。ｔ番目の時点における仮想座標系７０上での指示位置がＰｖ（ｔ）とすると、Ｐｖ（ｔ）は、Ｐｖ（ｔ）＝Ｐｖ（ｔ－１）＋Ａ・ｍ↑（ｔ）に従って逐次算出される。

【0044】

ここで、Ａは、ペン座標系６０から仮想座標系７０に変換するためのアフィン行列（３行×３列）に相当する。このアフィン行列Ａは、ペン座標系６０及び仮想座標系７０が既知であれば一意に定められる。例えば、アフィン行列Ａは、物体又は物体面に対応付けて予め記憶されてもよいし、指示対象領域７４が設定される度に計算されてもよい。

【0045】

そして、プロセッサ２４は、現在表示されている仮想空間５０に対して、算出した指示位置にマークを重ねて表示するように表示パネル２２を制御する。この動作を逐次実行することで、仮想空間５０上に、ドットなどのマークの軌跡（すなわち、ストローク）が重ねて表示される。

【0046】

図２のステップＳ８において、入力システム１０は、ペンアップ操作を検出したか否かを確認する。具体的には、スタイラス３０のＭＣＵ３３は、筆圧センサ３１の検出信号に基づいて、筆圧状態が「ＯＮ」から「ＯＦＦ」に変化したか否かを判定する。ペンアップ操作が検出されなかった場合（ステップＳ８：ＮＯ）、当該操作を検出するまでの間、ステップＳ７，Ｓ８を順次繰り返す。一方、ペンアップ操作が検出された場合（ステップＳ８：ＹＥＳ）、次のステップＳ９に進む。

【0047】

ステップＳ９において、入力システム１０（より詳しくは、プロセッサ２４）は、ステップＳ５，Ｓ６の実行時から設定されていた指示対象領域７４を解除する。これと併せて、プロセッサ２４は、視点を元に戻した仮想空間５０を表示させる。

【0048】

図７は、ペンアップ操作の前後にわたる３Ｄ画像５０ｃ，５０ｄの遷移を示す図である。より詳しくは、上側の図はペンアップ操作前の３Ｄ画像５０ｃを、下側の図はペンアップ操作後の３Ｄ画像５０ｄをそれぞれ示している。例えば、１回のストロークが終了した状態でペンアップ操作が行われると、３Ｄ画像５０ｃが３Ｄ画像５０ｄに遷移される。この３Ｄ画像５０ｄは、図５の３Ｄ画像５０ａ上に、１本のストロークが筆記された画像に相当する。

【0049】

その後、ステップＳ１に戻って、以下、ステップＳ１～Ｓ９のいずれかを順次実行する。このように、入力システム１０の動作を継続することで、ユーザＵは、あたかも仮想空間５０内に筆記を残すような疑似体験を得ることができる。

【0050】

＜基本動作による効果＞
以上のように、この実施形態における入力システム１０は、スタイラス３０と、スタイラス３０の指示位置を検出するタブレット４０と、タブレット４０とは別体に設けられ、かつ空間（ここでは、仮想空間５０）を表示する表示パネル２２と、仮想空間５０内のユーザＵの視線位置５２を検出する視線センサ２３と、１又は複数のプロセッサ（ここでは、プロセッサ２４）と、を含んで構成される。そして、プロセッサ２４は、スタイラス３０による所定の操作を受け付けた時点にて視線センサ２３により検出された視線位置５２に基づいて、スタイラス３０の基準位置７２を含む指示対象領域７４を仮想空間５０の中から設定し（図２のステップＳ５，Ｓ６）、仮想空間５０上に重ねてスタイラス３０の指示位置を指示対象領域７４内に表示するように表示パネル２２を制御する（図２のステップＳ７）。

【0051】

このように、検出された視線位置５２に基づいて、スタイラス３０の基準位置７２を含む指示対象領域７４を仮想空間５０の中から設定するので、現時点におけるユーザＵの視線の先、すなわち筆記を行おうとするユーザＵの意図により近い箇所に指示位置を表示可能となる。これにより、スタイラス３０の指示位置を検出するタブレット４０と、仮想空間５０を表示する表示パネル２２とが別体で設けられる装置構成において、ユーザＵによる入力操作性がより高まる。

【0052】

特に、上記した特定の操作が、スタイラス３０のペン先をタッチ面４１に押し当てる「ペンダウン操作」である場合、通常の筆記操作を行う感覚で特別な操作を行う必要がないので、ユーザＵにとって使い勝手がさらに向上する。

【0053】

また、指示対象領域７４は、仮想空間５０内にある物体毎又は物体面毎に設定可能であってもよい。これにより、ユーザＵは、あたかも仮想空間５０内にある物体を選択して筆記を残すような感覚を獲得することができ、その分だけ疑似体験の現実感が増す。

【0054】

また、プロセッサ２４は、前回の視線位置５２と今回の視線位置５２とが同一の物体上又は物体面上にある場合、前回に設定された場合と同一の基準位置７２及び指示対象領域７４を設定してもよい。これにより、同一の物体又は物体面上に筆記を続けようとするユーザＵの意図を反映させやすくなる。

【0055】

これとは逆に、プロセッサ２４は、前回の視線位置５２と今回の視線位置５２とが異なる物体上又は物体面上にある場合、前回に設定された場合とは異なる基準位置７２及び指示対象領域７４を設定してもよい。これにより、関心対象である物体又は物体面が変更された旨のユーザＵの意図を反映させやすくなる。

【0056】

また、プロセッサ２４は、指示対象領域７４が設定された場合、指示対象領域７４が正面になる視点に切り替えて仮想空間５０を表示させてもよい。これにより、ユーザＵが筆記操作を行いやすくなる。

【0057】

また、スタイラス３０又はタブレット４０は、所定の操作を受け付けた時点から、スタイラス３０の移動量を逐次的に出力し、プロセッサ２４は、所定の変換規則に従ってスタイラス３０の移動量を変換し、変換後の移動量を基準位置７２の座標値に逐次加算することで、仮想空間５０上の指示位置を算出してもよい。プロセッサ２４が仮想空間５０上の指示位置を算出する構成にすることで、スタイラス３０による演算処理の負荷が軽減される。

【0058】

［スタイラス３０の状態補正］
＜基本動作における問題点＞
上記した基本動作では、タブレット４０が移動することなく水平状態に配置されることを想定している。ところが、タブレット４０の位置・姿勢が時間とともに変化する場合、仮想空間５０上に正しく筆記されない場合がある。

【0059】

図８は、ペン座標系６０と検出座標系８０の間の対応関係を示す図である。図面上側のペン座標系６０は、Ｘｐ軸、Ｙｐ軸、Ｚｐ軸からなる３次元直交座標系であり、スタイラス３０によって独自に定義される。一方、図面下側の検出座標系８０は、Ｘｄ軸、Ｙｄ軸、Ｚｄ軸からなる３次元直交座標系であり、タブレット４０によって独自に定義される。ここで、破線で示す四角形状の領域は、タッチ面４１がなす領域に相当する。

【0060】

タブレット４０が理想状態（例えば、水平状態）に配置される場合、Ｘｐ－Ｙｐ平面は、Ｘｄ－Ｙｄ平面に対して平行である。つまり、ユーザＵが筆記（ペンムーブ操作）を行っている間、スタイラス３０は水平方向に沿って移動する。ところが、タブレット４０が水平面に傾斜して配置される場合、ユーザＵが筆記を行っている間、スタイラス３０は傾斜したタッチ面４１（Ｘｄ－Ｙｄ平面）に沿って移動する。すなわち、理想の配置状態との乖離が生じ、ウェアラブルデバイス２０が実行するアフィン変換処理が実際の挙動と適合しなくなってしまう。そこで、タブレット４０の状態量を用いてスタイラス３０の状態量を補正することで、上記した問題を解決することができる。

【0061】

＜補正動作の説明＞
図９は、タブレット４０の状態を考慮した補正動作に関する模式図である。ウェアラブルデバイス２０、スタイラス３０及びタブレット４０のうち、主要の構成のみを表記している。以下、スタイラス３０が第１ＩＭＵ３２を用いて計測した自装置の状態量を「第１状態量」といい、タブレット４０が第２ＩＭＵ４６を用いて計測した自装置の状態量を「第２状態量」という。

【0062】

スタイラス３０のＭＣＵ３３は、第１ＩＭＵ３２により第１周期Ｔ１で計測された第１状態量を逐次取得する。そして、ＭＣＵ３３は、この第１状態量と、直近に取得された第２状態量を集約した後、筆圧センサ３１による筆圧の検出結果及び集約済みの状態量を含むデータ（以下、「第１データ」という）をウェアラブルデバイス２０に送信する制御を行う。ここで、「集約」とは、第１状態量から第２状態量を差し引いた相対状態量を得ること、あるいは第１状態量及び第２状態量を連結することを意味する。以下、スタイラス３０とウェアラブルデバイス２０の間の通信を「第１通信」という。

【0063】

一方、スタイラス３０のＭＣＵ３３は、第２状態量を含むデータ（以下、「第２データ」という）をタブレット４０から受信する制御を行う。この第２状態量は、タブレット４０の第２ＭＣＵ４６により第２周期Ｔ２で逐次計測される。以下、スタイラス３０とタブレット４０の間の通信を「第２通信」という。第２状態量の送受信に際し、例えば、ＢｌｕｅＴｏｏｔｈ（登録商標）などの通信規格に従って実装されるリレー通信機能を用いられる。

【0064】

ところで、筆記する側のスタイラス３０は、ユーザＵによって頻繁に動かされるため、状態の時間変化が相対的に大きくなる。これに対して、筆記される側のタブレット４０は、ユーザＵによって殆ど動かされないため、状態の時間変化が相対的に小さくなる。つまり、第２状態量の更新頻度を低くしたとしても、補正の効果が十分に得られると考えられる。そこで、第２通信の実行頻度を第１通信の実行頻度よりも相対的に低くすることで、その分だけ通信回数を削減可能となり、その結果、消費電力を節約することができる。

【0065】

具体的には、第１通信及び第２通信が同期的に行われる場合、単位時間あたりの通信回数をＮ：１（Ｎは、２以上の整数）に設定してもよい。あるいは、第１通信及び第２通信が非同期的に行われる場合、Ｔ１＜Ｔ２の関係を満たすように、第１，第２通信の実行周期であるＴ１，Ｔ２をそれぞれ設定してもよい。

【0066】

ウェアラブルデバイス２０のプロセッサ２４は、補正された状態量を用いて、仮想空間５０上の指示位置を算出する。プロセッサ２４は、相対状態量を含む第１データを取得した場合、この相対状態量をそのまま用いて指示位置を計算する。一方、プロセッサ２４は、第１状態量及び第２状態量のペアを含む第１データを取得した場合、第１状態量から第２状態量を差し引いた相対状態量を用いて指示位置を計算する。

【0067】

以上のように、この実施形態における入力システム１０は、スタイラス３０と、スタイラス３０の指示位置を検出するタブレット４０と、１又は複数のプロセッサ２４と、を含んで構成される。スタイラス３０及びタブレット４０は、相互に通信可能であり、スタイラス３０は、自装置の状態又は状態の時間変化を示す第１状態量を計測可能であり、タブレット４０は、自装置の状態又は状態の時間変化を示す第２移動量を計測可能である。そして、スタイラス３０は、第２通信により、第２状態量を含む第２データをタブレット４０から受信するとともに、第１通信により、第１状態量及び第２状態量を集約した第１データをプロセッサ２４に送信する。

【0068】

また、集約は、第１状態量から第２状態量を差し引いて相対状態量を算出すること又は第１状態量及び第２状態量を連結することであってもよい。また、第２通信は、プロセッサ２４との間で行われない、第１通信と異なる手段を用いた通信（例えば、リレー通信）であってもよい。また、第２通信の実行頻度は、第１通信の実行頻度よりも低くされてもよい。

【0069】

［変形例］
なお、本発明は上記の具体例に限定されるものではない。すなわち、上記の具体例に、当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。また、前述した実施形態及び後述する変形例が備える各要素は、技術的に可能な限りにおいて組み合わせることができ、これらを組み合わせたものも本発明の特徴を含む限り本発明の範囲に包含される。

【0070】

上記した実施形態では、ウェアラブルデバイス２０が仮想現実（ＶＲ）技術を用いた仮想現実空間を表示する例を挙げて説明したが、これに代えて、拡張現実（ＡＲ）技術や複合現実（ＭＲ）技術を用いた空間が表示されてもよい。例えば、ＡＲ技術の場合、実空間にある物体に関する各種情報を取得した後、図４に示す領域定義テーブルを予め作成しておけばよい。

【0071】

上記した実施形態では、ペンダウン操作を契機としてプロセッサ２４が指示対象領域７４を設定しているが、これ以外の操作、例えばスタイラス３０が有するサイドスイッチの操作を契機としてもよい。また、上記した実施形態では、ペンダウン操作／ペンアップ操作を契機としてプロセッサ２４が仮想空間５０の視点を切り替える表示制御を行っているが、これに代えて、視点を切り替えない表示制御を行ってもよい。

【符号の説明】

【0072】

１０…入力システム、２０…ウェアラブルデバイス、２２…表示パネル（表示ユニット）、２３…視線センサ（位置検出部）、２４…プロセッサ、３０…スタイラス（指示デバイス）、４０…タブレット（検出デバイス）、５０…仮想空間（空間）、５２…視線位置、７２…基準位置、７４…指示対象領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】