特開 2023-167505 情報入力システム、情報入力方法、及び情報入力プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023167505

(43)【公開日】2023-11-24

(54)【発明の名称】情報入力システム、情報入力方法、及び情報入力プログラム

(51)【国際特許分類】

   G06F 3/03 20060101AFI20231116BHJP

   G06F 3/0346 20130101ALI20231116BHJP

【ＦＩ】

G06F3/03 400Z

G06F3/0346 424

G06F3/0346 425

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022078749

(22)【出願日】2022-05-12

(71)【出願人】

【識別番号】000108328

【氏名又は名称】ゼブラ株式会社

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100136722

【弁理士】

【氏名又は名称】▲高▼木 邦夫

(74)【代理人】

【識別番号】100224546

【弁理士】

【氏名又は名称】小松 龍

(72)【発明者】

【氏名】岩間 卓吾

(72)【発明者】

【氏名】武田 政樹

【テーマコード（参考）】

5B087

【Ｆターム（参考）】

5B087AA02

5B087AA07

5B087AB02

5B087AB09

5B087AD01

5B087BC03

5B087DD03

5B087DD17

(57)【要約】

【課題】入力情報をより確実に取得する。
【解決手段】一実施形態に係る情報入力システム１は、筆記具２０が配置される空間に仮想面Ｓを設定する設定部１４と、当該空間における筆記具２０の位置を示すペン先２０４を取得する位置取得部５と、ペン先２０４を通る仮想線ＶＬと仮想面Ｓとの交点を、筆記具２０による描画点Ｐとして設定する描画点設定部１６２と、仮想面Ｓでの描画点Ｐの軌跡が示す情報を、筆記具２０による筆記情報Ｄ４として表示部１３に出力する出力部１９と、を備える。
【選択図】図９

【特許請求の範囲】

【請求項1】

入力機器が配置される空間に仮想面を設定する仮想面設定部と、
前記空間における前記入力機器の位置を示す入力点を取得する位置取得部と、
前記入力点を通る仮想線と前記仮想面との交点を、前記入力機器による描画点として設定する描画点設定部と、
前記仮想面での前記描画点の軌跡が示す情報を、前記入力機器による入力情報として表示装置に出力する出力部と、を備える、情報入力システム。

【請求項2】

前記入力機器は、軸線方向の一端にペン先を有する筆記具であり、
前記入力点は、前記空間における前記ペン先の位置を示す、請求項１に記載の情報入力システム。

【請求項3】

前記仮想線は、前記入力点を通り且つ前記軸線方向に沿って延びる仮想的な直線である、請求項２に記載の情報入力システム。

【請求項4】

前記仮想面における前記描画点の軌跡が示す情報から、前記仮想面に対する筆記情報を前記入力情報として抽出する筆記情報取得部を更に備え、
前記筆記情報取得部は、
前記仮想面での前記描画点の軌跡を示す描画点軌跡情報を取得する軌跡情報取得部と、
前記入力点と前記描画点との距離の変化に基づいて、前記描画点軌跡情報から前記筆記情報を抽出する筆記情報抽出部と、を有する、請求項２又は３に記載の情報入力システム。

【請求項5】

前記筆記情報を鑑定する鑑定部を更に備え、
前記軌跡情報取得部は、前記空間での前記入力点の軌跡を示す入力点軌跡情報を取得し、
前記鑑定部は、現在のユーザの筆記動作により得られた前記筆記情報及び前記入力点軌跡情報を、過去のユーザの筆記動作により得られた前記筆記情報及び前記入力点軌跡情報とそれぞれ比較することにより、前記現在のユーザと前記過去のユーザとが同一であるか否かを判定する、請求項４に記載の情報入力システム。

【請求項6】

前記鑑定部は、
前記入力点と前記描画点との距離の変化に基づいて、前記描画点軌跡情報から、前記筆記情報を除く前記入力点軌跡情報に対応する情報を非筆記情報として抽出する非筆記情報抽出部と、
前記現在のユーザの筆記動作により得られた前記筆記情報及び前記非筆記情報と、前記過去のユーザの筆記動作により得られた前記筆記情報及び前記非筆記情報とをそれぞれ比較する比較部と、を有する、請求項５に記載の情報入力システム。

【請求項7】

前記仮想面と前記入力点との位置を調整する調整部を更に備え、
前記調整部は、前記仮想面の許容範囲内に前記描画点が位置していない場合に、前記許容範囲内に前記描画点が位置するように、前記仮想面と前記入力点との位置を調整する、請求項１～３のいずれか一項に記載の情報入力システム。

【請求項8】

プロセッサを備える情報入力システムにより実行される情報入力方法であって、
入力機器が配置される空間に仮想面を設定するステップと、
前記空間における前記入力機器の位置を示す入力点を取得するステップと、
前記入力点を通る仮想線と前記仮想面との交点を、前記入力機器による描画点として設定するステップと、
前記仮想面での前記描画点の軌跡が示す情報を、前記入力機器による入力情報として表示装置に出力するステップと、を備える、情報入力方法。

【請求項9】

入力機器が配置される空間に仮想面を設定するステップと、
前記空間における前記入力機器の位置を示す入力点を取得するステップと、
前記入力点を通る仮想線と前記仮想面との交点を、前記入力機器による描画点として設定するステップと、
前記仮想面での前記描画点の軌跡が示す情報を、前記入力機器による入力情報として表示装置に出力するステップと、をコンピュータに実行させる、情報入力プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報入力システム、情報入力方法、及び情報入力プログラムに関する。

【背景技術】

【0002】

情報入力システムに関する技術として、例えば特許文献１～５に記載された技術が知られている。例えば特許文献１には、３次元空間に電子ペンで手書きしたときのペン先の軌跡を表示装置に表示する空間手書きシステムが記載されている。このシステムでは、電子ペンのペン先の座標を検出して複数のポイントが特定され、特定したポイントに基づいて３次元空間内に２次元の仮想平面が作成される。そして、作成された仮想平面上で電子ペンを動かすことで、仮想平面上において筆記された文字が認識される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３－１２５４８７号公報

【特許文献2】特開２０１８－０６７１３１号公報

【特許文献3】特表２０１６－５３０６１２号公報

【特許文献4】特開２０２１－０３３５６３号公報

【特許文献5】特開２００３－１１４７５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述したようなシステムにおいて、ユーザが動かす電子ペンのペン先は３次元的に移動するため、仮想平面上でペン先を動かすことは難しい。その結果、仮想平面とペン先との距離が変化することで、仮想平面におけるペン先の軌跡を認識できなくなり、ユーザによる筆記情報を確実に取得できなくなるという問題が生じ得る。特に、３次元空間において３次元的に変化する仮想曲面が設定される場合、仮想曲面に対するペン先の軌跡を認識することは極めて困難である。

【0005】

本開示は、入力情報をより確実に取得することが可能な情報入力システム、情報入力方法、及び情報入力プログラムを提供する。

【課題を解決するための手段】

【0006】

本開示の一形態に係る情報入力システムは、入力機器が配置される空間に仮想面を設定する仮想面設定部と、空間における入力機器の位置を示す入力点を取得する位置取得部と、入力点を通る仮想線と仮想面との交点を、入力機器による描画点として設定する描画点設定部と、仮想面での描画点の軌跡が示す情報を、入力機器による入力情報として表示装置に出力する出力部と、を備える。

【0007】

本開示の一形態に係る情報入力方法は、プロセッサを備える情報入力システムにより実行される情報入力方法であって、入力機器が配置される空間に仮想面を設定するステップと、空間における入力機器の位置を示す入力点を取得するステップと、入力点を通る仮想線と仮想面との交点を、入力機器による描画点として設定するステップと、仮想面での描画点の軌跡が示す情報を、入力機器による入力情報として表示装置に出力するステップと、を備える。

【0008】

本開示の一形態に係る情報入力プログラムは、入力機器が配置される空間に仮想面を設定するステップと、空間における入力機器の位置を示す入力点を取得するステップと、入力点を通る仮想線と仮想面との交点を、入力機器による描画点として設定するステップと、仮想面での描画点の軌跡が示す情報を、入力機器による入力情報として表示装置に出力するステップと、をコンピュータに実行させる。

【0009】

上記の形態では、入力機器が配置される空間に設定される仮想面と、入力機器の位置を示す入力点を通る仮想線との交点が、入力機器による描画点と設定される。そして、仮想面での描画点の軌跡が示す情報が、入力機器による入力情報として表示装置に出力される。この構成によれば、仮想面と入力点との距離の変化に関わらず、入力機器による描画点を常に仮想面に設定できるので、ユーザの入力動作に伴い仮想面から入力点がずれた場合であっても、仮想面に対する入力情報を確実に取得できる。更に上記の構成によれば、３次元的に変化する仮想面が設定された場合であっても、仮想面の形状に関わらず、仮想面に設定された描画点の軌跡に基づいて仮想面に対する入力情報を容易に取得できる。

【0010】

入力機器は、軸線方向の一端にペン先を有する筆記具であり、入力点は、空間におけるペン先の位置を示してもよい。この場合、仮想面に対する筆記具の筆記動作を確実に取得できる。

【0011】

仮想線は、入力点を通り且つ軸線方向に沿って延びる仮想的な直線であってもよい。この場合、仮想線と仮想面との交点を簡易な計算によって求めることができる。

【0012】

情報入力システムは、仮想面における描画点の軌跡が示す情報から、仮想面に対する筆記情報を入力情報として抽出する筆記情報取得部を更に備え、筆記情報取得部は、仮想面での描画点の軌跡を示す描画点軌跡情報を取得する軌跡情報取得部と、入力点と描画点との距離の変化に基づいて、描画点軌跡情報から筆記情報を抽出する筆記情報抽出部と、を有してもよい。この場合、ユーザが仮想面に対して筆記を行う際の動きの変化を利用して、描画点軌跡情報から筆記情報を正確に抽出できる。

【0013】

情報入力システムは、筆記情報を鑑定する鑑定部を更に備え、軌跡情報取得部は、空間での入力点の軌跡を示す入力点軌跡情報を取得し、鑑定部は、現在のユーザの筆記動作により得られた筆記情報及び入力点軌跡情報を、過去のユーザの筆記動作により得られた筆記情報及び入力点軌跡情報とそれぞれ比較することにより、現在のユーザと過去のユーザとが同一であるか否かを判定してもよい。この場合、現在のユーザによる筆記情報と過去のユーザによる筆記情報とが類似している場合であっても、現在のユーザによる描画点軌跡情報と過去のユーザによる描画点軌跡情報とを比較することによって、現在のユーザと過去のユーザとが同一であるかを正確に判定できる。つまり、仮想面での描画点の軌跡を示す筆記情報だけでなく、仮想面に対する空中での入力点の軌跡を示す入力点軌跡情報も比較対象に含めることによって、より多くの情報に基づいて筆記情報を正確に鑑定できる。

【0014】

鑑定部は、入力点と描画点との距離の変化に基づいて、描画点軌跡情報から、筆記情報を除く入力点軌跡情報に対応する情報を非筆記情報として抽出する非筆記情報抽出部と、現在のユーザの筆記動作により得られた筆記情報及び非筆記情報と、過去のユーザの筆記動作により得られた筆記情報及び非筆記情報とをそれぞれ比較する比較部と、を有してもよい。現在のユーザと過去のユーザとが同一であるか否かを判定する際、非筆記情報にはユーザの筆記動作の際の癖などが表れやすいので、筆記情報が類似させたとしても、非筆記情報に違いが表れやすい。そこで、非筆記情報を比較対象に含めることによって、筆記情報をより正確に鑑定できる。

【0015】

情報入力システムは、仮想面と入力点との位置を調整する調整部を更に備え、調整部は、仮想面の許容範囲内に描画点が位置していない場合に、許容範囲内に描画点が位置するように、仮想面と入力点との位置を調整してもよい。この場合、仮想面に描画点をより確実に設定することができるので、仮想面での描画点の軌跡に基づく入力情報をより確実に取得できる。

【発明の効果】

【0016】

本開示の一形態によれば、入力情報をより確実に取得することが可能となる。

【図面の簡単な説明】

【0017】

【図1】図１は、一実施形態に係る情報入力システムの適用の一例を示す図である。

【図2】図２は、情報入力システムに関連するハードウェア構成の一例を示す図である。

【図3】図３は、情報入力システムが備える筆記具の構成の一例を示す断面図である。

【図4】図４は、情報入力システムに関連する機能構成の一例を示す図である。

【図5】図５は、設定部が設定する仮想面の一例を示す図である。

【図6】図６は、推定部の構成の一例を示す図である。

【図7】図７は、図６の推定部の構成の一部をより詳細に示す図である。

【図8】図８（ａ）は、仮想面と筆記具との位置関係を示す図である。図８（ｂ）は、図８（ａ）を別の角度から見た図である。

【図9】図９は、認識部の構成の一例を示す図である。

【図10】図１０は、仮想面に描画点が設定される様子を示す図である。

【図11】図１１（ａ）及び図１１（ｂ）は、キャリブレーション処理のイメージの一例を示す図である。

【図12】図１２（ａ）及び図１２（ｂ）は、キャリブレーション処理のイメージの一例を示す図である。

【図13】図１３は、図８の認識部の構成の一部をより詳細に示す図である。

【図14】図１４は、筆記情報が抽出されるイメージの一例を示す図である。

【図15】図１５（ａ）は、現在筆跡情報の一例を示す図である。図１５（ｂ）は、過去筆跡情報の一例を示す図である。

【図16】図１６は、情報入力システムにおいて実施される情報入力方法の処理内容の一例を示すフローチャートである。

【図17】図１７は、推定処理の一例を示すフローチャートである。

【図18】図１８は、フィードバック処理の一例を示すフローチャートである。

【図19】図１９は、ドリフト補正処理の一例を示すフローチャートである。

【図20】図２０は、認識処理の一例を示すフローチャートである。

【図21】図２１は、調整処理の一例を示すフローチャートである。

【図22】図２２は、鑑定処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0018】

［情報入力システムの構成］
図１は、本実施形態に係る情報入力システム１の適用の一例を示す図である。情報入力システム１は、ユーザＵによる筆記動作に関する筆記情報Ｄ４（入力情報）を電子機器の表示画面に入力するためのシステムである。情報入力システム１は、例えば、端末１０と、筆記具２０（入力機器）と、データベース３０とを備える。筆記具２０とは、文字、記号及びイラストなどの筆記に使用される道具である。筆記具２０は、例えば、ボールペン、万年筆、マーカー及びシャープペンシルといった、インク又は黒鉛を用いて筆記できるペンであってもよいし、スタイラスペンといったポインティングデバイスであってもよい。ユーザＵは、筆記具２０を用いて筆記を行う筆記者としてよい。

【0019】

筆記具２０は、近距離無線通信により端末１０と接続されている。近距離無線通信は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ－Ｆｉ（登録商標）などの通信方式としてよい。筆記具２０と端末１０との間の通信方式は限定されない。本実施形態においては、１つの筆記具２０が端末１０と通信を行う場合を例示するが、筆記具２０の個数は限定されない。例えば、２つ以上の筆記具２０が１つの端末１０と通信を行ってもよい。

【0020】

端末１０は、筆記者によって用いられるコンピュータである。端末１０は、例えば高機能携帯電話機（スマートフォン）、タブレット端末、ウェアラブル端末（例えば、ヘッドマウントディスプレイ（ＨＭＤ）、スマートグラス、或いはスマートウォッチ）、ラップトップ型パーソナルコンピュータ、又は携帯電話機などの携帯端末としてよい。端末１０は、デスクトップ型パーソナルコンピュータなどの据置型端末としてもよい。端末１０は、通信ネットワークを介してデータベース３０と接続されている。通信ネットワークは、例えば、インターネットを含んで構成されてもよいし、イントラネットを含んで構成されてもよい。

【0021】

データベース３０は、情報入力システム１によって用いられる各種のデータを記憶する非一時的な記憶装置である。本実施形態では、データベース３０は、閾値情報Ｄ１１と過去筆跡情報Ｄ１２と筆記具モデルＤ１３（入力機器モデル）とを記録する。データベース３０は、例えば、複数のユーザＵについて閾値情報Ｄ１１及び過去筆跡情報Ｄ１２を記憶してもよい。データベース３０は、複数の種類の筆記具モデルＤ１３を記憶してもよい。データベース３０は、単一のデータベースとして構築されてもよいし、複数のデータベースの集合であってもよい。

【0022】

図２は、情報入力システム１に関連するハードウェア構成の一例を示す図である。図２は、端末１０として機能する端末コンピュータ１００を示す。端末コンピュータ１００は、ハードウェア構成要素として、例えば、プロセッサ１０１と、主記憶部１０２と、補助記憶部１０３と、通信部１０４と、入力インタフェース１０５と、出力インタフェース１０６とを備える。プロセッサ１０１は、オペレーティングシステム及びアプリケーションプログラムを実行する演算装置である。プロセッサ１０１は、例えばＣＰＵ又はＧＰＵであり得るが、プロセッサ１０１の種類はこれらに限定されない。

【0023】

主記憶部１０２は、端末１０を実現させるためのプログラム、及びプロセッサ１０１から出力された演算結果などを記憶する装置である。主記憶部１０２は、例えばＲＯＭ及びＲＡＭのうちの少なくとも一つにより構成される。補助記憶部１０３は、一般に主記憶部１０２よりも大量のデータを記憶することが可能な装置である。補助記憶部１０３は、例えばハードディスク又はフラッシュメモリなどの不揮発性記憶媒体によって構成される。補助記憶部１０３は、端末コンピュータ１００を端末１０として機能させるためのクライアントプログラムＰ１と、各種のデータとを記憶する。通信部１０４は、通信ネットワークを介して他のコンピュータとの間でデータ通信を実行する装置である。通信部１０４は、例えばネットワークカード又は無線通信モジュールにより構成される。

【0024】

入力インタフェース１０５は、ユーザＵの操作又は動作に基づいてデータを受け付ける装置である。例えば、入力インタフェース１０５は、キーボード、操作ボタン、ポインティングデバイス、マイクロフォン、センサ、及びカメラのうちの少なくとも１つによって構成される。キーボード及び操作ボタンは、タッチパネル上に表示されてもよい。入力インタフェース１０５に入力されるデータは限定されない。例えば、入力インタフェース１０５は、キーボード、操作ボタン、又はポインティングデバイスによって、入力又は選択されたデータを受け付けてもよい。或いは、入力インタフェース１０５は、マイクロフォンにより入力された音声データを受け付けてもよい。或いは、入力インタフェース１０５は、カメラによって撮影された画像データ（例えば、映像データ又は静止画データ）を受け付けてもよい。

【0025】

出力インタフェース１０６は、端末コンピュータ１００で処理されたデータを出力する装置である。例えば、出力インタフェース１０６は、モニタ、タッチパネル、ＨＭＤ及びスピーカのうちの少なくとも１つによって構成される。モニタ、タッチパネル、ＨＭＤなどの表示装置は、処理されたデータを画面上に表示する。スピーカは、処理された音声データで示される音声を出力する。

【0026】

端末１０の各機能要素は、情報入力システム１の一例であるクライアントプログラムＰ１をプロセッサ１０１又は主記憶部１０２に読み込ませて、プロセッサ１０１にそのプログラムを実行させることで実現される。クライアントプログラムＰ１は、端末１０の各機能要素を実現するためのコードを含む。プロセッサ１０１は、クライアントプログラムＰ１に従って通信部１０４、入力インタフェース１０５または出力インタフェース１０６を動作させ、主記憶部１０２又は補助記憶部１０３におけるデータの読み出し及び書き込みを行う。この処理により端末１０の各機能要素が実現される。

【0027】

クライアントプログラムＰ１は、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、又は半導体メモリなどの有形の記録媒体に非一時的に記録された上で提供されてもよい。或いは、クライアントプログラムＰ１は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。

【0028】

図３は、筆記具２０の構成の一例を示す模式図である。図３は、筆記具２０を軸線方向Ｌに沿う面において切断した際の断面を示している。本実施形態では、筆記具２０がボールペンである場合を例示する。図３に示すように、筆記具２０は、例えば、筒部２０１と、リフィル２０３と、基板２０６と、圧力センサ２０７と、動作センサ２０８（センサ）とを備える。

【0029】

筒部２０１は、筆記具２０の軸線方向Ｌに沿って延びる略円筒状の部材である。筒部２０１は、軸線方向Ｌの先端に開口２０２を有する。リフィル２０３は、その内部にインクが充填された円筒状の部材である。リフィル２０３は、筒部２０１の内径よりも小さい外径を有し、筒部２０１の内部に収容されている。リフィル２０３が筒部２０１に収容された状態において、リフィル２０３の先端（以下、「ペン先２０４」と称する）は、筒部２０１の開口２０２から露出する。基板２０６は、筒部２０１の内部において、リフィル２０３の基端２０５（すなわち、軸線方向Ｌにおいてペン先２０４とは反対側の端部）の後方に収容されている。筆記者が筒部２０１を把持し、ペン先２０４を媒体に押し当てることにより、リフィル２０３の内部のインクがペン先２０４からにじみ出る。従って、筆記者は、媒体にペン先２０４を押し当てた状態で筆記具２０を動かすことで、筆記を行うことができる。

【0030】

圧力センサ２０７は、例えば、筒部２０１の内部においてリフィル２０３の基端２０５と基板２０６との間に設けられている。圧力センサ２０７は、筆記具２０による筆記の際にペン先２０４が媒体から受ける圧力を筆圧として検出する。但し、空中での筆記動作が行われる場合には、筆記具２０に筆圧が発生しないため、圧力センサ２０７は筆圧を検出しない。本実施形態では、空中で筆記動作が行われる状況を想定し、圧力センサ２０７が筆圧を検出する処理については説明を省略する。

【0031】

動作センサ２０８は、例えば、筒部２０１の内部の基板２０６に設けられている。動作センサ２０８は、筆記具２０の動作を検出する。例えば、動作センサ２０８は、互いに直交する３軸方向の加速度を検出する加速度センサと、当該３軸方向の角速度を検出するジャイロセンサとを含む６軸センサである。この場合、動作センサ２０８は、筆記具２０による筆記の際に、３軸方向の加速度の観測値と３軸方向の角速度の観測値とを検出する。

【0032】

筆記具２０は、機能的構成として、通信部２１及び取得部２２を含む。取得部２２は、筆記動作に伴い動作センサ２０８が検出した加速度及び角速度の観測値を、連続的又は所定頻度で断続的に取得する。通信部２１は、取得部２２が取得した加速度及び角速度の観測値を端末１０に送信する。通信部２１は、前述の通り、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信により、端末１０と通信可能である。通信部２１及び取得部２２は、簡易なコンピュータ装置として、筆記具２０に組み込まれていてもよい。

【0033】

図４は、情報入力システム１に関連する機能構成の一例を示す図である。端末１０は、機能要素として、通信部１１と、取得部１２と、表示部１３（表示装置）と、設定部１４（仮想面設定部）と、推定部１５と、認識部１６と、調整部１７と、鑑定部１８と、出力部１９とを有する。通信部１１は、筆記具２０の通信部２１から送信される情報を受信する。筆記具２０の通信部２１から送信される情報には、例えば、筆記具２０の取得部２２が取得した加速度及び角速度の観測値が含まれる。取得部１２は、通信部１１が受信した加速度及び角速度の観測値を取得する。

【0034】

表示部１３は、例えば、実空間（ワールド座標系）に対応付けられた仮想物体を表示する。表示部１３は、例えば、ユーザＵに装着されるＨＭＤを含む情報処理端末などによって実現されてもよいし、タブレット端末及びプロジェクションマッピングなどによって実現されてもよい。表示部１３は、例えば、ユーザＵの目線と同様の撮像方向などで撮像し、撮像した画像に仮想空間を重畳して表示する。ユーザＵは、表示部１３を通して、実空間に配置された実体物の配置に応じた、現実にはない仮想物体を見ることができる。

【0035】

表示部１３は、３次元座標である仮想空間を用いて仮想物体を表示する。表示部１３は、仮想空間上の予め設定された位置に仮想物体を配置し、仮想空間と実空間との対応関係を算出する。以下の説明では、仮想空間における座標系を仮想座標系αという。表示部１３は、実空間での撮像位置及び撮像方向に対応する仮想空間での位置及び方向から見た画像を、仮想物体の表示とする。つまり、表示部１３は、仮想的なユーザＵの視線から仮想物体を見た画像を表示する。上記の仮想物体の表示は、従来のＭＲ技術を用いて実施することができる。

【0036】

設定部１４は、仮想空間に仮想面Ｓを設定する。仮想面Ｓは、ユーザＵによる筆記具２０の筆記動作を認識するための仮想的な筆記面である。設定部１４は、仮想空間の任意の位置に仮想面Ｓを設定する。設定部１４が設定した仮想面Ｓは、表示部１３によって仮想空間に表示される。図５は、仮想面Ｓの一例を示す図である。図５に示すように、仮想面Ｓは、例えば、仮想座標系αにおける任意の位置に設定される２次元の仮想平面である。以下、仮想面Ｓを規定する座標系をスクリーン座標系βという。

【0037】

仮想面Ｓは、図５に示す例に限られず、例えば、３次元的に変化する仮想曲面であってもよい。この場合、仮想空間に表示される任意の３次元仮想物体の表面に仮想面Ｓを設定できる。仮想面Ｓの種類は、例えば、ユーザＵからの入力を受け付けることによって決定される。従って、設定部１４は、ユーザＵからの入力を受け付けたときに、当該入力に対応する仮想面Ｓを仮想空間に設定する。設定部１４は、ユーザＵの入力に応じて仮想面Ｓを設定しなくてもよく、例えば、仮想空間の一定の位置に予め仮想面Ｓを設定してもよい。また、仮想面Ｓは、仮想空間に固定される必要はなく、仮想空間において移動するように設定されてもよい。

【0038】

図６は、推定部１５の構成の一例を示す図である。推定部１５は、仮想空間における筆記具２０の状態の推定値を推定する。仮想空間における筆記具２０の状態とは、仮想空間に配置される筆記具２０の位置及び姿勢を意味する。従って、筆記具２０の状態の推定値は、筆記具２０の位置の推定値であってもよいし、筆記具２０の姿勢の推定値であってもよい。筆記具２０の位置の推定値は、例えば、ペン先２０４（図５参照）の位置の推定値である。

【0039】

ペン先２０４の位置の推定値は、ペン先２０４の位置を示す仮想座標系αの座標値によって表される。筆記具２０の姿勢の推定値とは、例えば、筆記具２０の移動に伴って変化する軸線方向Ｌの角度の推定値である。筆記具２０の角度の推定値は、例えば、仮想座標系αにおいて筆記具２０の軸線方向Ｌの初期角度を基準としたときの、現在の筆記具２０の軸線方向Ｌの角度としてよい。以下では、加速度の観測値と角速度の観測値とをまとめて「観測値Ｄ１０」と称し、筆記具２０の位置の推定値と筆記具２０の姿勢の推定値とをまとめて「推定値Ｄ２０」と称する。

【0040】

推定部１５は、筆記具２０をモデル化した筆記具モデルＤ１３を用いて、筆記具２０の動作のシミュレーションを実行することにより、推定値Ｄ２０を推定する。図６に示すように、推定部１５は、例えば、モデル処理部１５１と、解析部１５２と、推定値導出部１５３と、フィードバック部１５４とを有する。モデル処理部１５１は、例えば、モデル取得部１５５と初期化処理部１５６とを有する。モデル取得部１５５は、データベース３０から筆記具モデルＤ１３を取得する。筆記具モデルＤ１３は、例えば、筆記具２０のＣＡＤデータであり、数値解析が可能な有限個の要素で分割されている。数値解析が可能とは、例えば、有限要素法、有限体積法、差分法又は境界要素法といった数値解析法にて取り扱い可能であることを意味する。なお、筆記具モデルＤ１３は、予めデータベース３０に保存されていなくてもよく、端末１０によって生成されてもよい。

【0041】

筆記具モデルＤ１３には、筆記具２０の仕様を示すモデル情報Ｄ２１が付与されている。筆記具２０の仕様とは、例えば、筆記具２０の形状、寸法、材料、及び質量などである。これらの情報は、筆記具モデルＤ１３を構成する要素ごとに付与され、筆記具モデルＤ１３に反映されている。筆記具２０の質量を示す情報は、例えば、筆記具２０の部位ごとの質量の分布を示す質量情報としてよい。質量情報は、筆記具モデルＤ１３の要素ごとの質量の分布を示す情報として筆記具モデルＤ１３に付与される。質量情報を参照すれば、筆記具モデルＤ１３において質量の高い部位と質量の低い部位とを把握できる。筆記具２０の形状及び寸法を示す情報からは、ペン先２０４の太さを把握できる。モデル情報Ｄ２１には、ペン先２０４の色を示す色情報が含まれてもよい。なお、モデル情報Ｄ２１は、筆記具モデルＤ１３に予め付与されていてもよいし、シミュレーション実行時に筆記具モデルＤ１３に付与されてもよい。

【0042】

初期化処理部１５６は、筆記具モデルＤ１３の状態（位置及び姿勢）を初期化する。初期化とは、シミュレーション空間における筆記具モデルＤ１３の位置及び姿勢を初期値に設定することを意味する。筆記具モデルＤ１３の位置の初期値は、シミュレーション空間における座標系の任意の座標値としよい。筆記具モデルＤ１３の角度の初期値は、シミュレーション空間における座標系の任意の基準線からの角度としてよい。

【0043】

シミュレーション空間における座標系は、仮想空間における仮想座標系αと必ずしも一致している必要はないが、仮想座標系αに対応付けられている。シミュレーション空間における座標系の座標値は、仮想座標系αの座標値に変換できる。初期化処理部１５６は、モデル取得部１５５が筆記具モデルＤ１３を取得したタイミング、又は初期化が必要とされる任意のタイミングで、筆記具モデルＤ１３の位置及び姿勢の初期化を実行する。モデル処理部１５１は、初期化処理部１５６により初期化された筆記具モデルＤ１３、及び筆記具モデルＤ１３に付与されたモデル情報Ｄ２１を解析部１５２に提供する。

【0044】

解析部１５２は、例えば、外乱計算部１５７と解析実行部１５８とを有する。外乱計算部１５７は、観測値Ｄ１０及びモデル情報Ｄ２１を用いて、筆記具モデルＤ１３に付与すべき外乱を計算する。外乱は、筆記具２０の動作の際にユーザによって筆記具２０に付与される力及びトルクである。外乱計算部１５７は、観測値Ｄ１０が示す加速度及び角速度、並びにモデル情報が示す質量情報から、筆記具モデルＤ１３の各要素に付与すべき力及びトルクを算出する。筆記具モデルＤ１３の要素に付与すべき力Ｆは、当該要素の質量をｍ、加速度をＳａとすると、次の式（１）のように表される。式（１）において、Ａは、質量ｍ及び加速度Ｓａから力Ｆを導出するために定義される任意の関数である。また、外乱計算部１５７は、力Ｆに基づいてトルクを算出する。外乱計算部１５７は、計算した外乱を外乱条件Ｄ２２として、筆記具モデルＤ１３及びモデル情報Ｄ２１と共に解析実行部１５８に提供する。

【数1】

【0045】

解析実行部１５８は、筆記具モデルＤ１３を用いて筆記具２０の動作のシミュレーションを実行する。解析実行部１５８は、外乱条件Ｄ２２を、筆記具２０の動作のシミュレーションを実行するための解析条件として設定する。解析実行部１５８は、筆記具モデルＤ１３に外乱条件Ｄ２２を付与することにより、筆記具モデルＤ１３をシミュレーション空間で動作させる。これにより、シミュレーション空間における筆記具モデルＤ１３の位置及び姿勢が変化する。シミュレーションが実行される際、外乱条件Ｄ２２に含まれる力Ｆ及びトルク、並びにモデル情報Ｄ２１に含まれる質量情報は、筆記具モデルＤ１３の要素ごとに付与されている。

【0046】

ここで、力Ｆは質量ｍに比例するため、質量ｍの高い要素には大きな力Ｆが付与され、質量ｍの低い要素には小さな力Ｆが付与される。例えば、ペン先２０４の付近の質量ｍが他の部位に比べて高い場合には、比較的大きな力Ｆがペン先２０４に付与され、シミュレーション空間におけるペン先２０４の位置の変化量が大きくなる。一方、ペン先２０４の付近の質量ｍが他の部位に比べて低い場合には、比較的小さな力Ｆがペン先２０４に付与され、シミュレーション空間におけるペン先２０４の位置の変化量が小さくなる。

【0047】

その結果、シミュレーション空間における筆記具モデルＤ１３の動作は、筆記具２０の質量ｍを加味した自然な動作、すなわち実際の筆記具２０の動作に近い動作となる。このようなシミュレーションが実行されることによって、シミュレーション空間において、シミュレーションの実行後の筆記具モデルＤ１３の位置及び姿勢は、シミュレーションの実行前の筆記具モデルＤ１３の位置及び姿勢から変化する。解析実行部１５８は、シミュレーションの実行結果を推定値導出部１５３に提供する。シミュレーションの実行結果は、シミュレーションの実行後の筆記具モデルＤ１３の位置及び姿勢を示す結果であってもよいし、シミュレーションの実行によって生じた筆記具モデルＤ１３の位置及び姿勢の変化量を示す結果であってもよい。

【0048】

推定値導出部１５３は、シミュレーションの実行結果から、現在の筆記具２０の位置及び姿勢の推定値Ｄ２０を導出する。具体的には、推定値導出部１５３は、シミュレーション空間における筆記具モデルＤ１３の位置及び姿勢を、仮想空間における筆記具２０の位置及び姿勢に対応付けることにより、推定値Ｄ２０を導出する。筆記具モデルＤ１３の位置及び姿勢を筆記具２０の位置及び姿勢に対応付けるとは、シミュレーション空間の座標系における筆記具モデルＤ１３の位置及び姿勢を、仮想座標系αにおける筆記具モデルＤ１３の位置及び姿勢に変換し、変換した筆記具モデルＤ１３の位置及び姿勢を、仮想空間における筆記具２０の位置及び姿勢とみなすことを意味する。

【0049】

このように、推定値導出部１５３は、シミュレーション空間における座標系と、仮想空間における仮想座標系αとの対応関係を利用して、例えば、シミュレーションの実行結果が示す（シミュレーション実行後の）筆記具モデルＤ１３の位置及び姿勢を、仮想空間における現在の筆記具２０の位置及び姿勢に反映することにより、現在の筆記具２０の位置及び姿勢の推定値Ｄ２０を導出する。

【0050】

推定値導出部１５３は、シミュレーションの実行によって生じた筆記具モデルＤ１３の位置及び姿勢の変化量を、仮想空間における筆記具モデルＤ１３の位置及び姿勢の変化量に変換し、変換後の筆記具モデルＤ１３の位置及び姿勢の変化量を、仮想空間における動作前（シミュレーション実行前）の筆記具２０の位置及び姿勢に加えてもよい。この場合、推定値導出部１５３は、当該変化量が加えられた後の筆記具２０の位置及び姿勢を、現在の筆記具２０の位置及び姿勢の推定値Ｄ２０として導出する。推定値導出部１５３は、推定した推定値Ｄ２０を、認識部１６及びフィードバック部１５４にそれぞれ提供する。

【0051】

シミュレーション空間において、筆記具モデルＤ１３のペン先２０４の位置は、動作センサ２０８からの観測値Ｄ１０を用いて求めることができる。動作センサ２０８からの観測値Ｄ１０は、ペン先２０４の位置ではなく、動作センサ２０８が設けられる位置における加速度及び角速度を示す。これら加速度及び角速度の少なくとも一方を積分計算することにより、動作センサ２０８の位置が求められる。動作センサ２０８の位置は、例えば次の式（２）を用いて、ペン先２０４の位置に変換できる。

【数2】

【0052】

式（２）において、ＶＳは動作センサ２０８の位置を示す位置ベクトル、ＶＳ_０は動作センサ２０８の位置の初期値を示す位置ベクトル、ＶＨはペン先２０４の位置を示す位置ベクトル、ＶＨ_０はペン先２０４の位置の初期値を示す位置ベクトル、ＲＳは動作センサ２０８の回転を示す回転ベクトル、ＲＳ_０は動作センサ２０８の回転の初期値を示す回転ベクトル、ＲｏｔはＶＨとＶＳとの角度から得られる変換回転行列を示す。動作センサ２０８に対するペン先２０４の位置は変化しないので、（ＶＨ－ＶＳ）は常に一定となる（図５参照）。そして、式（２）において、ＶＳ、ＲＳ、及びＲＳ_０は、観測値Ｄ１０が示す加速度及び角速度から得られる。従って、推定値導出部１５３は、式（２）を用いて、観測値Ｄ１０からペン先２０４の位置及び筆記具２０の姿勢を推定することができる。

【0053】

図７は、フィードバック部１５４の構成の一例を示す図である。フィードバック部１５４は、仮想座標系αにおける現在の筆記具２０の位置及び姿勢の推定値Ｄ２０を監視し、監視結果のフィードバックを解析部１５２に行う。図７に示すように、フィードバック部１５４は、例えば、監視部１４１と調整部１４２とを有する。監視部１４１は、仮想座標系αにおける仮現在の筆記具２０の位置及び姿勢の変化量を監視する。監視部１４１は、例えば、計算部１４３と判定部１４４とを含む。計算部１４３は、仮想面Ｓに対する筆記具２０の所定の位置及び姿勢を基準値として、基準値からの推定値Ｄ２０の変化量を計算する。

【0054】

基準値とは、仮想座標系αにおける筆記具２０の位置及び姿勢の初期値としてよい。初期値とは、例えば、仮想座標系αにおいて、ペン先２０４の向く先が仮想面Ｓの中心Ｓｃを向くように配置された状態における筆記具２０の位置及び姿勢としてよい。ペン先２０４の向く先が仮想面Ｓの中心Ｓｃを向く状態とは、ペン先２０４から延びる仮想線が仮想面Ｓの中心Ｓｃと交差する状態である。ペン先２０４の向く先が仮想面Ｓの中心Ｓｃを向く状態であれば、筆記具２０の軸線方向Ｌは、例えば仮想面Ｓの法線方向に対して傾いていてもよいし、仮想面Ｓの法線方向に沿っていてもよい。初期状態とは、ペン先２０４の向く先が仮想面Ｓの中心Ｓｃを向いている状態に限らず、ペン先２０４の向く先が仮想面Ｓの中心Ｓｃからずれた位置を向いている状態であってもよい。

【0055】

図８（ａ）は、仮想面Ｓと筆記具２０との位置関係を示す図である。図８（ｂ）は、図８（ａ）を別の角度から見た図である。図８（ａ）及び図８（ｂ）には、基準値が示す筆記具２０Ａと、推定値Ｄ２０が示す現在の筆記具２０とが示されている。基準値からの推定値Ｄ２０の変化量は、例えば、筆記具２０Ａのペン先２０４が向く単位方向ベクトルＶ１と、筆記具２０Ａのペン先２０４が向く単位方向ベクトルＶ２との内積をとることによって表すことができる。単位方向ベクトルＶ１と単位方向ベクトルＶ２との内積をとることにより、単位方向ベクトルＶ１と単位方向ベクトルＶ２とがなす角度θを計算できる。

【0056】

基準値からの推定値Ｄ２０の変化量が大きいほど、単位方向ベクトルＶ１と単位方向ベクトルＶ２とがなす角度θは大きくなり、基準値からの推定値Ｄ２０の変化量が小さいほど、当該角度θは小さくなる。そこで、計算部１４３は、基準値からの推定値Ｄ２０の変化量を示す指標として、単位方向ベクトルＶ１と単位方向ベクトルＶ２とがなす角度θを計算する。計算部１４３は、計算した角度θを示す計算結果Ｄ４１を判定部１４４に提供する。

【0057】

判定部１４４は、計算結果Ｄ４１が示す変化量（角度θ）が許容範囲内であるか否かを判定する。判定部１４４は、まず、仮想面Ｓに第１領域Ｒ１と第２領域Ｒ２（許容範囲）とを設定する。図８（ａ）及び図８（ｂ）に示すように、第１領域Ｒ１は、例えば、仮想面Ｓの外縁よりも内側であって少なくとも中心Ｓｃを含む領域である。第１領域Ｒ１の境界は、仮想面Ｓの外縁と中心Ｓｃとの中間に位置してもよいし、当該中間よりも内側又は外側にずれていてもよい。第２領域Ｒ２は、第１領域Ｒ１よりも大きい領域である。第２領域Ｒ２は、例えば、仮想面Ｓの外縁よりも内側の領域としてよい。

【0058】

判定部１４４は、単位方向ベクトルＶ２と仮想面Ｓとの交点ＰＶ２が第１領域Ｒ１に位置するときの、単位方向ベクトルＶ１に対する単位方向ベクトルＶ２のなす角度θの範囲を、第１許容範囲に設定する。角度θが第１許容範囲内にあることは、交点ＰＶ２が第２領域Ｒ２内に収まっていることを意味する。また、判定部１４４は、交点ＰＶ２が第２領域Ｒ２に位置するときの角度θの範囲を、第２許容範囲に設定する。角度θが第２許容範囲内にあることは、単位方向ベクトルＶ２と仮想面Ｓとの交点ＰＶ２が第２領域Ｒ２内に収まっていることを意味する。第２許容範囲は、第１許容範囲よりも大きな角度θの範囲となる。

【0059】

判定部１４４は、まず、角度θが第２許容範囲内であるか否かを判定する。判定部１４４は、角度θが第２許容範囲内でないと判定した場合、すなわち、単位方向ベクトルＶ２と仮想面Ｓとの交点ＰＶ２が第２領域Ｒ２内に収まっていないと判定した場合、角度θが第２許容範囲内でないことを示す判定結果Ｄ４２を調整部１４２に提供する。一方、判定部１４４は、角度θが第２許容範囲内であると判定した場合、すなわち、交点ＰＶ２が第２領域Ｒ２内に収まっていると判定した場合、角度θが第１許容範囲内であるか否かを判定する。判定部１４４は、角度θが第１許容範囲内でないと判定した場合、すなわち、交点ＰＶ２が第１領域Ｒ１内に収まっていないと判定した場合、角度θが第２許容範囲内であって第１許容範囲内でないことを示す判定結果Ｄ４２を調整部１４２に提供する。一方、判定部１４４は、角度θが第１許容範囲内であると判定した場合、次の推定値Ｄ２０に基づいて得られる角度θに対して再び上記の判定を繰り返す。

【0060】

調整部１４２は、監視部１４１による監視結果（具体的には、判定部１４４による判定結果Ｄ４２）に基づいて、仮想座標系αにおける現在の筆記具２０の位置及び姿勢の推定値Ｄ２０を調整する。調整部１４２は、角度θが第２許容範囲内でないことを示す判定結果Ｄ４２を受け取った場合、仮想座標系αにおける現在の筆記具２０の位置及び姿勢の推定値Ｄ２０を基準値に戻すキャリブレーション処理を実行する。具体的には、調整部１４２は、推定値Ｄ２０が基準値となるように（すなわち、筆記具２０のペン先２０４が仮想面Ｓの中心Ｓｃを向くように）、シミュレーション空間における筆記具モデルＤ１３の位置及び姿勢を調整する。

【0061】

調整部１４２は、例えば、推定値Ｄ２０が示す筆記具２０の単位方向ベクトルＶ２を、基準値が示す筆記具２０Ａの単位方向ベクトルＶ１に移動させるために必要な外乱を計算し、計算した外乱を解析実行部１５８に提供する。この外乱は、上述した式（１）の関数Ａを調整することによって設定できる。解析実行部１５８は、調整部１４２から提供された外乱を筆記具モデルＤ１３に付与することにより、シミュレーション空間における筆記具モデルＤ１３の位置及び姿勢を変化させる。そして、調整部１４２は、シミュレーションの実行後の筆記具モデルＤ１３の位置及び姿勢を、仮想空間における現在の筆記具２０の位置及び姿勢に反映させることにより、現在の筆記具２０の位置及び姿勢の推定値Ｄ２０を基準値に戻す。

【0062】

調整部１４２は、角度θが第２許容範囲内であって第１許容範囲内でないことを示す判定結果Ｄ４２を受け取った場合、基準値に対する推定値Ｄ２０の変化量を調整する。推定値Ｄ２０の変化量は、シミュレーションの実行によって生じる筆記具モデルＤ１３の位置及び姿勢の変化量に対応する。筆記具モデルＤ１３の位置及び姿勢の変化量は、シミュレーションの実行の際に解析条件として設定される外乱に依存する。外乱は、式（１）に示す関数Ａの大きさによって調整できる。

【0063】

そこで、調整部１４２は、シミュレーションの実行時に筆記具モデルＤ１３に付与する外乱の関数Ａを、外乱計算部１５７によって計算された外乱の関数Ａよりも小さくする。外乱計算部１５７によって計算された外乱の関数Ａは、観測値Ｄ１０及びモデル情報Ｄ２１に基づいて計算される値であり、この外乱は、実際の筆記具２０に付与される外乱とみなしてよい。従って、関数Ａを小さくすれば、筆記具モデルＤ１３に付与される外乱を、実際の筆記具２０に付与される外乱よりも小さくすることができる。

【0064】

つまり、シミュレーションの実行によって生じる筆記具モデルＤ１３の位置及び姿勢の変化量を、実際の筆記具２０の位置及び姿勢の変化量よりも小さくすることができる。その結果、シミュレーション空間における筆記具モデルＤ１３の動作が、実際の筆記具２０の動作よりも小さくなる。これに応じて、シミュレーションの実行結果が示す仮想空間での推定値Ｄ２０の動きが小さくなる。つまり、実際の筆記具の動作に対して推定値Ｄ２０の動きが鈍くなる。これにより、推定値Ｄ２０が基準値から更に大きく外れることが抑制される。

【0065】

調整部１４２は、筆記具モデルＤ１３に付与される外乱を小さくする際、推定値Ｄ２０が基準値から外れるほど、すなわち角度θが第１許容範囲から外れるほど、外乱計算部１５７によって計算された外乱の関数Ａに対する、シミュレーションの実行時に筆記具モデルＤ１３に付与する外乱の関数Ａの減少率が大きくなるように、筆記具モデルＤ１３に付与する外乱の関数Ａを設定する。例えば、調整部１４２は、角度θが第１許容範囲から大きく外れていない場合（例えば、角度θが第２許容範囲の上限よりも第１許容範囲の上限に近い場合）には、筆記具モデルＤ１３に付与する外乱の関数Ａを、外乱計算部１５７によって計算された外乱の関数Ａの半分に設定する。この場合、シミュレーションの実行結果が示す推定値Ｄ２０の移動量が、実際の筆記具２０の移動量の半分程度に抑えられる。

【0066】

一方、角度θが第１許容範囲から大きく外れている場合（例えば、角度θが第１許容範囲の上限よりも第２許容範囲の上限に近い場合）には、筆記具モデルＤ１３に付与する外乱の関数Ａをゼロに設定する。これにより、シミュレーション空間において筆記具モデルＤ１３に付与される外乱がゼロになり、筆記具モデルＤ１３の動作に実際の筆記具２０の動作が反映されなくなる。この場合、シミュレーションの実行結果が示す推定値Ｄ２０が仮想空間において移動しなくなるので、ユーザが筆記具２０を大きく動かしたとしても、仮想空間において推定値Ｄ２０は移動しない。このように角度θの大きさに応じて、筆記具モデルＤ１３に付与される外乱の減少率を変化させることによって、仮想空間において、基準値から推定値Ｄ２０が外れるほど、推定値Ｄ２０の動きが小さくすることができる。その結果、現在の筆記具２０の位置及び姿勢が仮想面Ｓに対して大きく逸脱していることをユーザに認識させることができる。

【0067】

監視部１４１は、推定値Ｄ２０のドリフト補正を行うか否かを監視してもよい。この場合、監視部１４１は、推定値Ｄ２０のドリフト補正が必要となるドリフト補正条件を設定する。動作センサ２０８には、一般にドリフト誤差と呼ばれる検出誤差が発生する場合がある。このような誤差が累積すると、仮想空間において仮想面Ｓに対して推定値Ｄ２０が徐々にずれていく現象が生じる。このような現象が生じた場合、仮想面Ｓに推定値Ｄ２０の分布を反映させたときの一定時間内の推定値Ｄ２０の分布の中心が、ドリフト誤差が累積していない場合における一定時間内の推定値Ｄ２０の分布の中心から徐々にずれる。一定時間内の推定値Ｄ２０の分布の中心とは、一定時間内の推定値Ｄ２０の分布の平均値又は中央値としてよい。ドリフト誤差が累積していない場合において、一定時間内の推定値Ｄ２０の分布の中心は、例えば、仮想面Ｓの中心Ｓｃ付近に位置する。

【0068】

そこで、計算部１４３は、ドリフト誤差が累積していない場合における一定時間内の推定値Ｄ２０の分布の中心を基準値として、一定時間内の現在の推定値Ｄ２０の分布の中心のずれ量を計算してもよい。この場合、判定部１４４は、計算されたずれ量が予め設定される閾値を超えたときに、ドリフト補正条件を満たしたと判定する。一方、判定部１４４は、計算されたずれ量が当該閾値を超えていないときに、ドリフト補正条件を満たしていないと判定する。上記の「閾値」は、データベース３０に記憶された閾値情報Ｄ１１から得ることができる。上記の閾値は、例えば、情報入力システム１、情報入力システム１の提供者、又はユーザにより予め設定されてよい。上記の閾値は、例えば、一定時間内の推定値Ｄ２０の分布の中心を示す過去の統計値に基づいて設定されてもよいし、ユーザにより任意に設定されてもよい。

【0069】

調整部１４２は、ドリフト補正条件を満たしたと判定部１４４が判定した場合、推定値Ｄ２０を基準値に戻すキャリブレーション処理を実行する。具体的には、調整部１４２は、推定値Ｄ２０が基準値となるように（すなわち、筆記具２０のペン先２０４が仮想面Ｓの中心Ｓｃを向くように）、シミュレーション空間における筆記具モデルＤ１３の位置及び姿勢を調整する。具体的には、調整部１４２は、前述したキャリブレーション処理と同一の処理を行う。これにより、一定時間内の現在の推定値Ｄ２０の分布の中心を仮想面Ｓの中心Ｓｃ付近に戻すことができる。一方、判定部１４４は、ドリフト補正条件を満たしていないと判定した場合、次の推定値Ｄ２０に対して再び上記の判定を繰り返す。

【0070】

図９は、認識部１６の構成の一例を示す図である。認識部１６は、推定部１５が推定した推定値Ｄ２０に基づく筆記具２０の軌跡を認識する。図９に示すように、認識部１６は、例えば、仮想線設定部１６１と、描画点設定部１６２と、筆記情報取得部１６３とを有する。仮想線設定部１６１は、仮想空間に仮想線ＶＬ（仮想レイ）を設定する。図１０は、仮想線ＶＬにより仮想面Ｓに描画点Ｐが設定される様子を示す図である。仮想線ＶＬは、仮想面Ｓに描画点Ｐを設定するために仮想的に設定される直線である。図１０に示すように、仮想線ＶＬは、筆記具２０のペン先２０４から仮想面Ｓに向かって直線状に延びている。

【0071】

描画点Ｐは、仮想面Ｓに対する筆記具２０の筆記動作を認識するために仮想面Ｓ上に設定される座標点である。推定値Ｄ２０は、仮想座標系αにおけるペン先２０４の位置の座標値と、仮想座標系αにおける筆記具２０の姿勢（すなわち、軸線方向Ｌの角度）とを示す。そこで、仮想線設定部１６１は、推定値Ｄ２０を用いて、推定値Ｄ２０が示すペン先２０４の位置を通り且つ筆記具２０の軸線方向Ｌに沿った直線を仮想線ＶＬとして設定する。なお、推定値Ｄ２０が示すペン先２０４の位置とは、正確には、仮想座標系αにおけるペン先２０４の位置を示す座標点（入力点）を意味する。取得部１２及び推定部１５は、推定値Ｄ２０が示すペン先２０４の位置を取得するための位置取得部５を構成する。

【0072】

仮想座標系αにおける筆記具２０の姿勢は、筆記具２０の軸線方向Ｌに沿った方向ベクトルＶによって表すことができる。仮想座標系αにおけるスクリーン座標系βの原点の座標値を（ｘ_１、ｙ_１、ｚ_１）とし、仮想座標系αにおけるペン先２０４の位置の座標値を（ｘ_２、ｙ_２、ｚ_２）とし、方向ベクトルＶを（Ｖｘ、Ｖｙ、Ｖｚ）とすると、仮想線ＶＬは、座標値（ｘ_２、ｙ_２、ｚ_２）を通る方向ベクトル（Ｖｘ、Ｖｙ、Ｖｚ）に沿った直線として表される。

【0073】

具体的には、仮想線ＶＬは、任意の実数（媒介変数）をｔとして、次の式（３）によって表される。仮想線設定部１６１は、推定値Ｄ２０及び式（３）を用いて、ペン先２０４の位置を通り且つ筆記具２０の軸線方向Ｌに沿った仮想線ＶＬを設定する。仮想線ＶＬは、ペン先２０４からペン先２０４が向く方向に直線状に延び、仮想面Ｓと交差する。仮想線設定部１６１は、仮想線ＶＬを示す仮想線情報Ｄ１を描画点設定部１６２に提供する。

【数3】

【0074】

描画点設定部１６２は、仮想線情報Ｄ１が示す仮想線ＶＬと、仮想空間に設定される仮想面Ｓとの交点を、描画点Ｐとして設定する。仮想座標系αにおいて仮想面Ｓの法線ベクトルを（Ｎｘ、Ｎｙ、Ｎｚ）とすると、仮想面Ｓを示す平面方程式は、次の式（４）によって表される。そこで、描画点設定部１６２は、仮想線ＶＬを示す式（３）を、仮想面Ｓを示す式（４）に代入することによって、仮想線ＶＬと仮想面Ｓとの交点を求める。具体的には、式（３）を式（４）に代入すると、式（５）が得られる。式（５）をｔについて解くと、式（６）が得られる。そして、式（６）を式（３）に代入することにより、仮想面Ｓと仮想線ＶＬとの交点を求めることができる。

【数4】

【数5】

【数6】

【0075】

描画点設定部１６２は、仮想面Ｓと仮想線ＶＬとの交点を描画点Ｐとして設定する。描画点設定部１６２は、例えば、描画点Ｐの位置を、スクリーン座標系βにおける座標値として設定する。描画点設定部１６２は、描画点Ｐの位置の座標値を含む座標情報Ｄ２を調整部１７及び筆記情報取得部１６３に提供する。座標情報Ｄ２には、描画点Ｐの位置の座標値のほか、ペン先２０４の位置の座標値も含まれる。

【0076】

再び図９を参照する。調整部１７は、座標情報Ｄ２を参照して、仮想座標系αにおける仮想面Ｓと筆記具２０との位置を調整する必要があるか否かを判定する。調整部１７は、仮想面Ｓと筆記具２０との位置を調整する必要があると判定した場合、仮想面Ｓと筆記具２０との位置を調整する調整処理を行う。調整処理は、前述したフィードバック部１５４によるフィードバック処理に類似した処理を含む。調整部１７は、前述したフィードバック処理と共に調整処理を行ってもよいし、フィードバック処理が行われない場合に調整処理を行ってもよい。或いは、調整部１７は、フィードバック処理が行われる場合には、調整処理を行わなくてもよい。

【0077】

図８（ａ）に示すように、調整部１７は、まず、フィードバック処理と同様に、仮想面Ｓに第１領域Ｒ１と第２領域Ｒ２とを設定する。そして、調整部１７は、仮想面Ｓの第２領域Ｒ２内に描画点Ｐが位置しているか否かを判定する。すなわち、調整部１７は、仮想面Ｓ内に描画点Ｐが収まっているか否かを判定する。調整部１７は、描画点Ｐが第２領域Ｒ２内に位置していないと判定した場合、仮想面Ｓと筆記具２０との位置を調整する必要があると判定し、筆記具２０に対する仮想面Ｓの位置を基準位置に戻すキャリブレーション処理を実行する。ここでのキャリブレーション処理は、前述した調整部１４２によるキャリブレーション処理とは処理方法が異なる。

【0078】

図１１（ａ）、図１１（ｂ）、図１２（ａ）、及び図１２（ｂ）は、調整部１７によるキャリブレーション処理のイメージの一例を示す図である。図１１（ａ）に示す状態では、筆記具２０のペン先２０４が仮想面Ｓに向いており、描画点Ｐが仮想面Ｓ内に位置している。この状態から図１１（ｂ）に示す状態に変化すると、ペン先２０４の向きが仮想面Ｓから逸れるため、仮想面Ｓに描画点Ｐが設定されない。このような場合に、調整部１７は、仮想面Ｓ内に描画点Ｐが設定されるように、筆記具２０に対する仮想面Ｓの位置を基準位置に戻すキャリブレーションを実行する。

【0079】

筆記具２０に対する仮想面Ｓの位置が基準位置にある状態とは、例えば、ペン先２０４の向く先が仮想面Ｓの中心Ｓｃを向くように仮想面Ｓと筆記具２０とが配置される状態としてよい。ペン先２０４の向く先が仮想面Ｓの中心Ｓｃを向く状態とは、ペン先２０４から延びる仮想線ＶＬが仮想面Ｓの中心Ｓｃと交差する状態（すなわち、仮想線ＶＬと仮想面Ｓとの交点が中心Ｓｃに位置する状態）である。ペン先２０４の向く先が仮想面Ｓの中心Ｓｃを向く状態であれば、筆記具２０の軸線方向Ｌは、例えば仮想面Ｓの法線方向に対して傾いていてもよいし、仮想面Ｓの法線方向に沿っていてもよい。仮想面Ｓと筆記具２０とが基準位置にある状態は、ペン先２０４の向く先が仮想面Ｓの中心Ｓｃを向いている状態に限らず、ペン先２０４の向く先が仮想面Ｓにおける中心Ｓｃからずれた位置を向いている状態であってもよい。つまり、ペン先２０４から延びる仮想線ＶＬが仮想面Ｓと交差する状態であれば、仮想線ＶＬと仮想面Ｓとの交点が仮想面Ｓの中心Ｓｃからずれていてもよい。

【0080】

調整部１７は、キャリブレーション処理を実行する際、仮想面Ｓと筆記具２０との位置が基準位置となるように、仮想座標系αにおいて仮想面Ｓ及び筆記具２０の少なくとも一方を移動させる。このとき、調整部１７は、仮想座標系αにおいて筆記具２０を移動させずに仮想面Ｓのみを移動させてもよいし、仮想面Ｓを移動させずに筆記具２０のみを移動させてもよいし、仮想面Ｓ及び筆記具２０の両方を移動させてもよい。

【0081】

図１２（ａ）及び図１２（ｂ）に示す例では、調整部１７は、仮想座標系αにおいて筆記具２０に対して仮想面Ｓのみを回転させている。このとき、仮想面Ｓの回転に伴い、仮想座標系αにおいて仮想面Ｓを規定するスクリーン座標系βの位置も回転する。その結果、仮想面Ｓ及びスクリーン座標系βは、図１２（ｂ）に示す位置に移動する。図１２（ｂ）に示す状態では、ペン先２０４の向く先が仮想面Ｓの中心Ｓｃを向くように筆記具２０と仮想面Ｓとの位置が調整されているので、ペン先２０４から延びる仮想線ＶＬが仮想面Ｓの中心Ｓｃと交差する。これにより、仮想座標系αにおける仮想面Ｓと筆記具２０との位置を基準位置に戻すキャリブレーション処理が完了する。

【0082】

調整部１７は、描画点Ｐが第２領域Ｒ２内であると判定した場合、描画点Ｐが第１領域Ｒ１内であるか否かを判定する。判定部１４４は、描画点Ｐが第１領域Ｒ１内でないと判定した場合、仮想面Ｓに対する筆記具２０の所定の位置及び姿勢を基準値として、基準値に対する推定値Ｄ２０の変化量を調整する調整処理を行う。この調整処理は、前述した調整部１４２による調整処理と同一の処理である。すなわち、調整部１７は、シミュレーションの実行時に筆記具モデルＤ１３に付与する外乱の関数Ａを、外乱計算部１５７によって計算された外乱の関数Ａよりも小さくする。

【0083】

これにより、シミュレーションの実行によって生じる筆記具モデルＤ１３の位置及び姿勢の変化量を、実際の筆記具２０の位置及び姿勢の変化量よりも小さくすることができる。その結果、シミュレーションの実行結果が示す仮想空間での推定値Ｄ２０の動きが小さくなる。これにより、推定値Ｄ２０が基準値から更に大きく外れることが抑制される。一方、判定部１４４は、描画点Ｐが第１領域Ｒ１内であると判定した場合、次の推定値Ｄ２０に基づいて得られる描画点Ｐに対して再び上記の判定を繰り返す。

【0084】

図１３は、筆記情報取得部１６３の構成の一例を示す図である。図１３に示すように、筆記情報取得部１６３は、例えば、軌跡情報取得部１６４と筆記情報抽出部１６５とを有する。軌跡情報取得部１６４は、例えば、座標列記録部１６６と距離計算部１６７とを含む。座標列記録部１６６は、描画点設定部１６２から座標情報Ｄ２を受け取ると、描画点Ｐの座標値を時系列で記録すると共に、ペン先２０４の座標値を時系列で記録する。座標列記録部１６６は、描画点Ｐの座標値とペン先２０４の座標値とを時系列で関連付けて記録する。座標列記録部１６６は、描画点Ｐの座標値を時系列で記録した描画点軌跡情報Ｄ３１と、ペン先２０４の座標値を時系列で記録したペン先軌跡情報Ｄ３２（入力点軌跡情報）と、を距離計算部１６７及び筆記情報抽出部１６５に提供する。描画点軌跡情報Ｄ３１は、仮想面Ｓにおける描画点Ｐの座標値の２次元的な軌跡を示す情報である。ペン先軌跡情報Ｄ３２は、仮想空間におけるペン先２０４の座標値の３次元的な軌跡を示す情報である。

【0085】

距離計算部１６７は、描画点軌跡情報Ｄ３１及びペン先軌跡情報Ｄ３２を用いて、描画点Ｐとペン先２０４との距離を計算する。具体的には、距離計算部１６７は、描画点軌跡情報Ｄ３１及びペン先軌跡情報Ｄ３２から、或る時刻における描画点Ｐの座標値と、当該時刻におけるペン先２０４の座標値（すなわち、描画点Ｐの座標値に関連付けられたペン先２０４の座標値）との間の距離を計算する。距離計算部１６７は、計算した距離を時系列で記録し、描画点Ｐの座標値及びペン先２０４の座標値に時系列で関連付ける。距離計算部１６７は、描画点Ｐの座標値とペン先２０４の座標値との距離を示す距離情報Ｄ３３を筆記情報抽出部１６５に提供する。結果として、軌跡情報取得部１６４は、描画点軌跡情報Ｄ３１、ペン先軌跡情報Ｄ３２、及び距離情報Ｄ３３を含む情報を、筆記具２０の軌跡を示す軌跡情報Ｄ３として筆記情報抽出部１６５に提供する。以下、ペン先２０４の座標値を単に「ペン先２０４」と称し、描画点Ｐの座標値を単に「描画点Ｐ」と称する。

【0086】

筆記情報抽出部１６５は、距離情報Ｄ３３を参照しながら、描画点軌跡情報Ｄ３１から、ユーザＵが仮想面Ｓでの筆記を意図した描画点Ｐの軌跡を示す筆記情報Ｄ４を抽出する。筆記情報Ｄ４が示す描画点Ｐの軌跡は、例えば、筆記具２０を用いて仮想面Ｓに筆記された文字を表す。従って、筆記情報Ｄ４は、例えば、ユーザＵによって筆記された文字情報としてよい。描画点軌跡情報Ｄ３１が示す描画点Ｐの軌跡は、一筆書きのようにつながった状態になっている。そのため、例えば筆記情報Ｄ４が文字情報を含むような場合には、描画点軌跡情報Ｄ３１から、ユーザＵが仮想面Ｓに対して筆記することを意図した描画点Ｐの軌跡と、ユーザＵが仮想面Ｓに対して筆記することを意図しない描画点Ｐの軌跡とを判別することによって、仮想面Ｓにおいて筆記された文字を正確に抽出する必要がある。

【0087】

ユーザＵが仮想面Ｓに対して筆記することを意図した描画点Ｐの軌跡とは、例えば、筆記情報Ｄ４が文字情報を含む場合に、文字ストロークの切れ目を除く描画点Ｐの座標値の軌跡としてよい。文字ストロークとは、仮想面Ｓに対して文字を構成する線を描画する動作をいい、文字ストロークの切れ目とは、文字を構成する任意の線と次の線との間の箇所をいう。ユーザＵは、仮想面Ｓに対して筆記することを意図しない場合（すなわち、ユーザＵが文字ストロークの切れ目に対応する動作を行う場合）、仮想面Ｓに対して筆記することを意図する場合（すなわち、ユーザＵが文字ストロークの動作を行う場合）と比べて、仮想面Ｓから筆記具２０から離す動作を行う。

【0088】

その結果、ユーザＵが仮想面Ｓに対する筆記を意図しないで筆記具２０を動作させる場合には、ユーザＵが仮想面Ｓに対する筆記を意図して筆記具２０を動作させる場合よりも、仮想面Ｓと筆記具２０との距離が大きくなる。そこで、筆記情報抽出部１６５は、仮想面Ｓと筆記具２０との距離の変化を参照して、描画点軌跡情報Ｄ３１から、ユーザＵが仮想面Ｓに対して筆記することを意図した描画点Ｐの軌跡を筆記情報Ｄ４として抽出する。具体的には、筆記情報抽出部１６５は、描画点Ｐとペン先２０４との距離の変化が、予め設定された閾値未満であるか否かを判定する。そして、筆記情報抽出部１６５は、描画点Ｐとペン先２０４との距離の変化が閾値未満であると判定した場合、当該距離の変化に関連付けられた描画点Ｐの軌跡を、ユーザＵが仮想面Ｓでの筆記を意図した筆記情報Ｄ４として抽出する。

【0089】

一方、筆記情報抽出部１６５は、描画点Ｐとペン先２０４との距離の変化が閾値未満でないと判定した場合、当該距離の変化に関連付けられた描画点Ｐの軌跡を、ユーザＵが仮想面Ｓでの筆記を意図した筆記情報Ｄ４でないと判断する。上記の「閾値」は、データベース３０に記憶された閾値情報から得ることができる。上記の閾値は、例えば、情報入力システム１、情報入力システム１の提供者、又はユーザＵにより予め設定されてよい。上記の閾値は、例えば、同一のユーザＵの描画点Ｐとペン先２０４との距離の変化を示す過去の統計値に基づいて設定されてもよいし、ユーザＵにより任意に設定されてもよい。人工知能（ＡＩ）技術を使って、同一のユーザＵの描画点Ｐとペン先２０４との距離の変化の閾値が事前に設定されてもよい。

【0090】

図１４は、筆記情報Ｄ４が抽出されるイメージの一例を示す図である。図１４に示すように、ユーザＵは、文字を構成する線を筆記してから次の線を筆記する動作を行う際、仮想面Ｓと筆記具２０とのＳｚ軸方向の距離が大きくなる。図１４において、軌跡Ｔ１，Ｔ２は、筆記時のペン先２０４が仮想面Ｓにあると仮定したときのペン先２０４の軌跡を示している。実線で示した軌跡Ｔ１は、ユーザＵが仮想面Ｓでの筆記を意図したペン先２０４の軌跡を示している。一方、破線で示した軌跡Ｔ２は、ユーザＵが仮想面Ｓでの筆記を意図しない、空中でのペン先２０４の軌跡を示している。

【0091】

図１４に示すように、ユーザＵが仮想面Ｓでの筆記を意図する動作（すなわち、軌跡Ｔ１に対応する動作）を行う場合における描画点Ｐとペン先２０４との距離と比べて、ユーザＵが仮想面Ｓでの筆記を意図しない動作（すなわち、軌跡Ｔ２に対応する動作）を行う場合における描画点Ｐとペン先２０４との距離の方が大きくなる。そこで、筆記情報抽出部１６５は、描画点Ｐとペン先２０４との距離の変化Δｄが予め設定された閾値未満であるか否かを判定することによって、描画点軌跡情報Ｄ３１から、軌跡Ｔ１が示す描画点Ｐの座標値を筆記情報Ｄ４として抽出する。

【0092】

筆記情報抽出部１６５は、描画点Ｐとペン先２０４との距離の変化Δｄに基づいて筆記情報Ｄ４を抽出しなくてもよく、例えば、例えば、ペン先２０４の移動速度の変化に基づいて筆記情報Ｄ４を抽出してもよい。或いは、筆記情報抽出部１６５は、描画点Ｐとペン先２０４との距離の変化Δｄ、及びペン先２０４の移動速度の変化の両方に基づいて、筆記情報Ｄ４を抽出してもよい。

【0093】

筆記情報抽出部１６５は、抽出した筆記情報Ｄ４を出力部１９に提供する。出力部１９は、筆記情報Ｄ４を表示部１３に出力する。表示部１３は、仮想空間に配置された仮想面Ｓに筆記情報Ｄ４をリアルタイムに表示する。これにより、ユーザＵは、仮想面Ｓに表示された筆記情報Ｄ４を見ることができる。出力部１９は、表示部１３に限らず、他の表示装置に筆記情報Ｄ４を出力してもよい。例えば、出力部１９は、パーソナルコンピュータ、クラウドサーバ、又はスマートデバイス（スマートフォン或いはタブレット端末）などの表示画面に筆記情報Ｄ４を出力してもよい。

【0094】

再び図１３を参照する。鑑定部１８は、ユーザＵによる筆記動作が終了すると、軌跡情報取得部１６４に記録された軌跡情報Ｄ３を受け取り、筆記情報Ｄ４の鑑定を行う。鑑定部１８は、ユーザＵが筆記を終了したことを知らせる信号を受信したときに、ユーザＵによる筆記動作が終了したと判断してもよいし、筆記動作が停止してから所定時間経過したタイミングで筆記動作が終了したと判断してもよい。鑑定部１８は、例えば、非筆記情報抽出部１８１と、比較部１８２とを有する。非筆記情報抽出部１８１は、ペン先軌跡情報Ｄ３２から、ユーザＵが仮想面Ｓでの筆記を意図しないペン先２０４の軌跡を非筆記情報Ｄ５として抽出する。非筆記情報Ｄ５の抽出は、筆記情報Ｄ４を抽出する方法と同様に行うことができる。

【0095】

つまり、非筆記情報抽出部１８１は、描画点Ｐとペン先２０４との距離の変化Δｄが、予め設定された閾値未満でないと判定した場合、当該距離の変化に関連付けられたペン先２０４の軌跡を、ユーザＵが仮想面Ｓでの筆記を意図しない非筆記情報Ｄ５として抽出する。非筆記情報Ｄ５は、ペン先軌跡情報Ｄ３２のうち、筆記情報Ｄ４を除く描画点軌跡情報Ｄ３１に対応する情報である。一方、非筆記情報抽出部１８１は、描画点Ｐとペン先２０４との距離の変化Δｄが閾値未満でないと判定した場合、当該距離の変化に関連付けられたペン先２０４の軌跡を、ユーザＵが仮想面Ｓでの筆記を意図しない非筆記情報Ｄ５でないと判断する。

【0096】

比較部１８２は、非筆記情報抽出部１８１から非筆記情報Ｄ５を受け取り、筆記情報Ｄ４及び非筆記情報Ｄ５を含む情報を、現在のユーザＵの筆跡を示す現在筆跡情報Ｄ４５（後述する図１５（ａ）参照）として取得する。比較部１８２は、軌跡情報Ｄ３から筆記情報Ｄ４を抽出してもよいし、筆記情報抽出部１６５から筆記情報Ｄ４を受け取ってもよい。更に、比較部１８２は、データベース３０から過去筆跡情報Ｄ１２を取得する。過去筆跡情報Ｄ１２は、過去のユーザＵの筆跡を示す情報であり、現在筆跡情報Ｄ４５に対応する。比較部１８２は、現在筆跡情報Ｄ４５と過去筆跡情報Ｄ１２とを比較する。具体的には、比較部１８２は、現在筆跡情報Ｄ４５と過去筆跡情報Ｄ１２との一致度を計算する。

【0097】

上記の「一致度」とは、現在筆跡情報Ｄ４５と過去筆跡情報Ｄ１２とがどれくらい類似しているかを示す指数である。現在筆跡情報Ｄ４５が示す各座標値と、過去筆跡情報Ｄ１２が示す各座標値とが似通っていれば、一致度は高くなり、そうでなければ一致度は低くなる。比較部１８２は、例えば、現在筆跡情報Ｄ４５が示す各座標値と、過去筆跡情報Ｄ１２が示す各座標値とを時系列でそれぞれ比較し、時系列ごとの座標値のずれの程度を一致度として算出してもよい。この場合、比較部１８２は、時系列ごとの座標値のずれの程度の統計値（例えば、平均値又は中央値）を一致度として算出してもよい。

【0098】

比較部１８２は、算出した一致度が予め設定された閾値以上であるか否かを判定する。比較部１８２は、一致度が閾値以上であると判定した場合、現在筆跡情報Ｄ４５と過去筆跡情報Ｄ１２とが同一であると判断し、現在筆跡情報Ｄ４５を提供したユーザＵと、過去筆跡情報Ｄ１２を提供したユーザＵとが同一人物であると判断する。一方、比較部１８２は、一致度が閾値以上でないと判定した場合、現在筆跡情報Ｄ４５と過去筆跡情報Ｄ１２とが同一でないと判断し、現在筆跡情報Ｄ４５を提供したユーザＵと、過去筆跡情報Ｄ１２を提供したユーザＵとが異なる人物であると判断する。

【0099】

上記の「閾値」は、データベース３０に記憶された閾値情報Ｄ１１から得ることができる。上記の閾値は、例えば、情報入力システム１、情報入力システム１の提供者、又はユーザＵにより予め設定されてよい。上記の閾値は、例えば、現在筆跡情報Ｄ４５と過去筆跡情報Ｄ１２との一致度を示す過去の統計値に基づいて設定されてもよいし、ユーザＵにより任意に設定されてもよい。人工知能（ＡＩ）技術を使って、現在筆跡情報Ｄ４５と過去筆跡情報Ｄ１２との一致度の閾値が事前に設定されてもよい。

【0100】

図１５（ａ）は、現在筆跡情報Ｄ４５のイメージの一例を示す図である。図１５（ａ）は、過去筆跡情報Ｄ１２のイメージの一例を示す図である。図１５（ａ）及び図１５（ｂ）に示す例では、現在筆跡情報Ｄ４５の筆記情報Ｄ４は、過去筆跡情報Ｄ１２のうち筆記情報Ｄ４に対応する過去筆記情報Ｄ１４に類似している。しかし、現在筆跡情報Ｄ４５の非筆記情報Ｄ５は、過去筆跡情報Ｄ１２のうち非筆記情報Ｄ５に対応する過去非筆記情報Ｄ１５とは大きく異なっている。この場合、比較部１８２は、過去筆記情報Ｄ１４及び非筆記情報Ｄ５を含めた現在筆跡情報Ｄ４５と、筆記情報Ｄ４及び過去非筆記情報Ｄ１５を含めた過去筆跡情報Ｄ１２とを全体的に比較する。

【0101】

その結果、比較部１８２は、現在筆跡情報Ｄ４５と過去筆跡情報Ｄ１２との一致度が閾値以上でないと判定し、現在筆跡情報Ｄ４５と過去筆跡情報Ｄ１２とが同一でないと判断し、現在筆跡情報Ｄ４５を提供したユーザＵと、過去筆跡情報Ｄ１２を提供したユーザＵとが異なる人物であると判断する。このように、比較部１８２は、単に筆記情報Ｄ４と過去筆記情報Ｄ１４との比較のみを行うのではなく、ユーザＵが筆記を意図しない非筆記情報Ｄ５と過去非筆記情報Ｄ１５との比較を含めて、筆記情報Ｄ４の鑑定を行う。そのため、本実施形態では、図１５（ａ）及び図１５（ｂ）に示すように、筆記情報Ｄ４と過去筆記情報Ｄ１４とが類似している場合であっても、非筆記情報Ｄ５と過去非筆記情報Ｄ１５との違いによって、ユーザＵが本人でない（すなわち、ユーザＵがなりすましである）と判断することができる。

【0102】

比較部１８２は、過去筆跡情報Ｄ１２から過去筆記情報Ｄ１４及び過去非筆記情報Ｄ１５を抽出し、筆記情報Ｄ４と過去筆記情報Ｄ１４との一致度、及び非筆記情報Ｄ５と過去非筆記情報Ｄ１５との一致度をそれぞれ算出してもよい。この場合、比較部１８２は、それぞれの一致度が閾値以上であるか否かを判定してもよい。また、比較部１８２は、現在筆跡情報Ｄ４５と過去筆跡情報Ｄ１２とを比較する際に、ペン先２０４の動きの速度を比較してもよい。比較部１８２は、現在筆跡情報Ｄ４５と過去筆跡情報Ｄ１２との一致度が閾値以上であるか否かを判定することにより、筆記情報Ｄ４を提供したユーザＵが本人であるか否かを鑑定する。そして、比較部１８２は、筆記情報Ｄ４を提供したユーザＵが本人であるか否かを示す鑑定結果Ｄ６を出力部１９に出力する。出力部１９は、鑑定結果Ｄ６を表示部１３に出力して表示部１３に出力してもよいし、鑑定結果Ｄ６をスピーカなどの報知部に出力してもよい。

【0103】

［情報入力システムの動作］
続いて、本実施形態に係る情報入力システム１の動作について説明する。図１６は、情報入力システム１において実施される情報入力方法の処理内容の一例を示すフローチャートである。

【0104】

まず、図１６を参照して、情報入力システム１による処理の全体像を説明する。情報入力システム１による処理は、動作センサ２０８から観測値Ｄ１０を取得する観測処理（ステップＳ１）と、推定値Ｄ２０を推定する推定処理（ステップＳ２）と、筆記具２０の軌跡を認識する認識処理（ステップＳ３）と、筆記情報Ｄ４を出力する出力処理（ステップＳ４）と、に大別される。ステップＳ１～ステップＳ４は、例えば、所定の間隔を空けて繰り返し実行される。

【0105】

ステップＳ１では、筆記具２０の動作に応じて、筆記具２０の動作センサ２０８が加速度及び角速度の観測値Ｄ１０を取得する。次に、端末１０の取得部１２が、動作センサ２０８から観測値Ｄ１０を取得する。ステップＳ２では、推定部１５が、観測値Ｄ１０に基づいて、筆記具２０の位置及び姿勢の推定値Ｄ２０を推定する。ステップＳ３では、認識部１６が、推定値Ｄ２０に基づいて仮想面Ｓにおける描画点Ｐを設定する。次に、認識部１６は、描画点Ｐが示す軌跡に基づいて仮想面Ｓに対する筆記情報Ｄ４を取得する。ステップＳ４では、出力部１９が、筆記情報Ｄ４を表示部１３に出力する。以上のステップＳ１～ステップＳ４が繰り返されることにより、ユーザＵは、筆記具２０により筆記した筆記情報Ｄ４を、表示部１３を介してリアルタイムで視認できる。

【0106】

図１７は、推定部１５が行う推定処理の一例を示すフローチャートである。まず、モデル取得部１５５は、データベース３０から、筆記具２０をモデル化した筆記具モデルＤ１３を取得する（ステップＳ２１）。次に、初期化処理部１５６は、筆記具モデルＤ１３の状態（位置及び姿勢）を初期化する（ステップＳ２２）。一方、取得部１２が観測値Ｄ１０を取得すると、外乱計算部１５７は、筆記具モデルＤ１３に付与すべき外乱を計算する（ステップＳ２３）。外乱は、筆記具２０の動作の際にユーザによって筆記具２０に付与される力及びトルクである。次に、解析実行部１５８は、外乱条件Ｄ２２を、筆記具２０の動作のシミュレーションを実行するための解析条件として設定する（ステップＳ２４）。

【0107】

次に、解析実行部１５８は、筆記具モデルＤ１３を用いて筆記具２０の動作のシミュレーションを実行する（ステップＳ２５）。解析実行部１５８は、筆記具モデルＤ１３に外乱条件Ｄ２２を付与することにより、筆記具モデルＤ１３をシミュレーション空間で動作させる。これにより、シミュレーション空間における筆記具モデルＤ１３の位置及び姿勢が変化する。次に、推定値導出部１５３は、シミュレーションの実行結果から、現在の筆記具２０の位置及び姿勢の推定値Ｄ２０を導出する（ステップＳ２６）。具体的には、推定値導出部１５３は、シミュレーション空間における筆記具モデルＤ１３の位置及び姿勢を、仮想空間における筆記具２０の位置及び姿勢に対応付けることにより、推定値Ｄ２０を導出する。以上のステップＳ２１～ステップＳ２６を経て、観測値Ｄ１０に基づいて推定値Ｄ２０が推定される。

【0108】

図１８は、フィードバック部１５４が行うフィードバック処理の一例を示すフローチャートである。推定部１５が推定値Ｄ２０を推定すると、計算部１４３は、仮想面Ｓに対する筆記具２０の所定の位置及び姿勢を基準値として、基準値からの推定値Ｄ２０の変化量を計算する（ステップＳ３１）。基準値からの推定値Ｄ２０の変化量は、例えば、筆記具２０Ａのペン先２０４が向く単位方向ベクトルＶ１と、筆記具２０Ａのペン先２０４が向く単位方向ベクトルＶ２との内積をとることによって表すことができる。単位方向ベクトルＶ１と単位方向ベクトルＶ２との内積をとることにより、単位方向ベクトルＶ１と単位方向ベクトルＶ２とがなす角度θを計算できる。そこで、計算部１４３は、基準値からの推定値Ｄ２０の変化量を示す指標として、単位方向ベクトルＶ１と単位方向ベクトルＶ２とがなす角度θを計算する。

【0109】

次に、判定部１４４は、計算部１４３が計算した角度θ（推定値Ｄ２０の変化量）が第２許容範囲内であるか否かを判定する（ステップＳ３２）。判定部１４４は、角度θが第２許容範囲内でないと判定した場合（ステップＳ３２：Ｎｏ）、調整部１４２は、推定値Ｄ２０を基準値に戻すキャリブレーションを実行する（ステップＳ３３）。調整部１４２は、例えば、推定値Ｄ２０が示す筆記具２０の単位方向ベクトルＶ２を、基準値が示す筆記具２０Ａの単位方向ベクトルＶ１に移動させるために必要な外乱を計算し、計算した外乱を筆記具モデルＤ１３に付与することにより、シミュレーション空間における筆記具モデルＤ１３の位置及び姿勢を変化させる。そして、調整部１４２は、シミュレーションの実行後の筆記具モデルＤ１３の位置及び姿勢を、仮想空間における現在の筆記具２０の位置及び姿勢に反映させることにより、現在の筆記具２０の位置及び姿勢の推定値Ｄ２０を基準値に戻す。

【0110】

一方、判定部１４４は、角度θが第２許容範囲内であると判定した場合、角度θが第１許容範囲内であるか否かを判定する（ステップＳ３４）。判定部１４４は、角度θが第１許容範囲内でないと判定した場合（ステップＳ３４：Ｎｏ）、基準値に対する推定値Ｄ２０の変化量を調整する。具体的には、調整部１４２は、シミュレーションの実行時に筆記具モデルＤ１３に付与する外乱の関数Ａを、外乱計算部１５７によって計算された外乱の関数Ａよりも小さくすることによって、筆記具モデルＤ１３に付与される外乱を、実際の筆記具２０に付与される外乱よりも小さくする。

【0111】

これにより、シミュレーション空間における筆記具モデルＤ１３が、実際の筆記具２０の動作よりも小さくなる。つまり、シミュレーションの実行結果が示す推定値Ｄ２０の動きが小さくなる。判定部１４４は、角度θが第１許容範囲内であると判定した場合（ステップＳ３４：Ｙｅｓ）、再びステップＳ３１に戻り、次の推定値Ｄ２０に基づいて得られる角度θに対して、ステップＳ３１～ステップＳ３５を繰り返す。

【0112】

図１９は、フィードバック部１５４が行うドリフト補正処理の一例を示すフローチャートである。推定部１５が推定値Ｄ２０を推定すると、判定部１４４は、ドリフト補正条件を満たすか否かを判定する（ステップＳ４１）。ドリフト補正条件は、ドリフト誤差が累積していない場合における一定時間内の推定値Ｄ２０の分布の中心を基準値として、一定時間内の現在の推定値Ｄ２０の分布の中心が閾値を超えたときに満たされる。判定部１４４は、ドリフト補正条件を満たすと判定した場合（ステップＳ４１：Ｙｅｓ）、調整部１４２は、推定値Ｄ２０を基準値に戻すキャリブレーションを実行する（ステップＳ４２）。一方、判定部１４４は、ドリフト補正条件を満たしてないと判定した場合（ステップＳ４１：Ｎｏ）、再びステップＳ４１に戻り、次の推定値Ｄ２０に対して、ステップＳ４１及びステップＳ４２を繰り返す。

【0113】

図２０は、認識部１６が行う認識処理の一例を示すフローチャートである。推定部１５が推定値Ｄ２０を推定すると、仮想線設定部１６１は、ペン先２０４の位置を通り且つ筆記具２０の軸線方向Ｌに沿った直線を仮想線ＶＬとして設定する（ステップＳ５１）。仮想線ＶＬは、ペン先２０４からペン先２０４が向く方向に直線状に延び、仮想面Ｓと交差する。次に、描画点設定部１６２は、仮想線ＶＬと仮想面Ｓとの交点を算出する（ステップＳ５２）。次に、描画点設定部１６２は、仮想線ＶＬと仮想面Ｓとの交点を描画点Ｐとして設定する。描画点Ｐの位置は、例えば、スクリーン座標系βにおける座標値として設定される。

【0114】

次に、軌跡情報取得部１６４は、筆記具２０の軌跡を示す軌跡情報Ｄ３を取得する（ステップＳ５４）。軌跡情報Ｄ３は、描画点Ｐの座標値を時系列で記録した描画点軌跡情報Ｄ３１と、ペン先２０４の座標値を時系列で記録したペン先軌跡情報Ｄ３２と、描画点Ｐの座標値とペン先２０４の座標値との距離を示す距離情報Ｄ３３とを含む。次に、筆記情報抽出部１６５は、距離情報Ｄ３３を参照しながら、描画点軌跡情報Ｄ３１から、ユーザＵが仮想面Ｓでの筆記を意図した描画点Ｐの軌跡を示す筆記情報Ｄ４を抽出する（ステップＳ５５）。筆記情報抽出部１６５は、例えば、距離情報Ｄ３３が示す描画点Ｐとペン先２０４との距離の変化が、予め設定された閾値未満であるか否かを判定する。そして、筆記情報抽出部１６５は、描画点Ｐとペン先２０４との距離の変化が閾値未満であると判定した場合、当該距離の変化に関連付けられた描画点Ｐの軌跡を筆記情報Ｄ４として抽出する。

【0115】

図２１は、調整部１７が行う調整処理の一例を示すフローチャートである。描画点設定部１６２が描画点Ｐを設定すると、調整部１７は、仮想面Ｓの第２領域Ｒ２内に描画点Ｐが位置しているか否かを判定する（ステップＳ６１）。調整部１７は、描画点Ｐが第２領域Ｒ２内に位置していないと判定した場合（ステップＳ６１：Ｎｏ）、筆記具２０に対する仮想面Ｓの位置を基準位置に戻すキャリブレーション処理を実行する（ステップＳ６２）。一方、調整部１７は、描画点Ｐが第２領域Ｒ２内であると判定した場合（ステップＳ６１：Ｙｅｓ）、描画点Ｐが第１領域Ｒ１内であるか否かを判定する（ステップＳ６３）。判定部１４４は、描画点Ｐが第１領域Ｒ１内でないと判定した場合（ステップＳ６３：Ｎｏ）、仮想面Ｓに対する筆記具２０の所定の位置及び姿勢を基準値として、基準値に対する推定値Ｄ２０の変化量を調整する（ステップＳ６４）。調整部１７は、描画点Ｐが第１領域Ｒ１内であると判定した場合（ステップＳ６３：Ｙｅｓ）、再びステップＳ６１に戻り、次の推定値Ｄ２０に基づいて得られる描画点Ｐに対して、ステップＳ６１～ステップＳ６４を繰り返す。

【0116】

図２２は、鑑定部１８が行う鑑定処理の一例を示すフローチャートである。まず、鑑定部１８は、ユーザＵによる筆記動作が終了したか否かを判定する（ステップＳ７１）。鑑定部１８は、ユーザＵによる筆記動作が終了していないと判定した場合（ステップＳ７１：Ｎｏ）、ユーザＵによる筆記動作が終了したと判定するまでステップＳ７１を繰り返す。一方、鑑定部１８は、ユーザＵによる筆記動作が終了したと判定した場合（ステップＳ７１：Ｙｅｓ）、軌跡情報Ｄ３から非筆記情報Ｄ５を抽出する。具体的には、非筆記情報抽出部１８１が、描画点Ｐとペン先２０４との距離の変化Δｄに基づいて、ユーザＵが仮想面Ｓでの筆記を意図しないペン先２０４の軌跡を非筆記情報Ｄ５として抽出する（ステップＳ７２）。

【0117】

次に、比較部１８２は、筆記情報Ｄ４及び非筆記情報Ｄ５を含む情報を、現在のユーザＵの筆跡を示す現在筆跡情報Ｄ４５として取得し、現在筆跡情報Ｄ４５と過去筆跡情報Ｄ１２との一致度を計算する（ステップＳ７３）。次に、比較部１８２は、現在筆跡情報Ｄ４５と過去筆跡情報Ｄ１２との一致度に基づいて筆記情報Ｄ４を鑑定する（ステップＳ７４）。具体的には、比較部１８２は、一致度が予め設定された閾値以上であるか否かを判定する。比較部１８２は、一致度が閾値以上であると判定した場合、現在筆跡情報Ｄ４５を提供したユーザＵと過去筆跡情報Ｄ１２を提供したユーザＵとが同一人物であると判断する。つまり、比較部１８２は、筆記情報Ｄ４を提供したユーザＵが本人であると判断する。一方、比較部１８２は、一致度が閾値以上でないと判定した場合、現在筆跡情報Ｄ４５を提供したユーザＵと過去筆跡情報Ｄ１２を提供したユーザＵとが異なる人物であると判断する。つまり、比較部１８２は、筆記情報Ｄ４を提供したユーザＵがなりすましであると判断する。

【0118】

［作用効果］
以上に説明した、本実施形態に係る情報入力システム１、情報入力方法、及び情報入力プログラムが奏する作用効果について説明する。本実施形態では、仮想面Ｓと仮想線ＶＬとの交点が描画点Ｐと設定される。そして、仮想面Ｓでの描画点Ｐの軌跡が示す情報が、筆記具２０による筆記情報Ｄ４として表示部１３に出力される。この構成によれば、仮想面Ｓとペン先２０４との距離の変化に関わらず、筆記具２０による描画点Ｐを常に仮想面Ｓに設定できるので、ユーザＵの入力動作に伴い仮想面Ｓからペン先２０４がずれた場合であっても、仮想面Ｓに対する筆記情報Ｄ４を確実に取得できる。更に上記の構成によれば、３次元的に変化する仮想面Ｓが設定された場合であっても、仮想面Ｓの形状に関わらず、仮想面Ｓに設定された描画点Ｐの軌跡に基づいて仮想面Ｓに対する筆記情報Ｄ４を容易に取得できる。

【0119】

本実施形態のように、軸線方向Ｌの一端にペン先２０４を有する筆記具２０が入力機器として用いられてよい。この場合、仮想面Ｓに対する筆記具２０の筆記動作を確実に取得できる。

【0120】

本実施形態のように、仮想線ＶＬは、ペン先２０４を通り且つ軸線方向Ｌに沿って延びる仮想的な直線であってもよい。この場合、仮想線ＶＬと仮想面Ｓとの交点を簡易な計算によって求めることができる。

【0121】

本実施形態のように、情報入力システム１は、仮想面Ｓにおける描画点Ｐの軌跡が示す軌跡情報Ｄ３から、仮想面Ｓに対する筆記情報Ｄ４を抽出する筆記情報取得部１６３を備え、筆記情報取得部１６３は、仮想面Ｓでの描画点Ｐの軌跡を示す描画点軌跡情報Ｄ３１を取得する軌跡情報取得部１６４と、ペン先２０４と描画点Ｐとの距離の変化に基づいて、描画点軌跡情報Ｄ３１から筆記情報Ｄ４を抽出する筆記情報抽出部１６５と、を有してもよい。この場合、ユーザＵが仮想面Ｓに対して筆記を行う際の動きの変化を利用して、描画点軌跡情報Ｄ３１から筆記情報Ｄ４を正確に抽出できる。

【0122】

本実施形態のように、情報入力システム１は、筆記情報Ｄ４を鑑定する鑑定部１８を備え、軌跡情報取得部１６４は、空間でのペン先２０４の軌跡を示すペン先軌跡情報Ｄ３２を取得し、鑑定部１８は、現在のユーザＵの筆記動作により得られた筆記情報Ｄ４及びペン先軌跡情報Ｄ３２を、過去のユーザＵの筆記動作により得られた筆記情報Ｄ４及びペン先軌跡情報Ｄ３２とそれぞれ比較することにより、現在のユーザＵと過去のユーザＵとが同一であるか否かを判定してもよい。この場合、現在のユーザＵによる筆記情報Ｄ４と過去のユーザＵによる筆記情報Ｄ４とが類似している場合であっても、現在のユーザＵによる描画点軌跡情報Ｄ３１と過去のユーザＵによる描画点軌跡情報Ｄ３１とを比較することによって、現在のユーザＵと過去のユーザＵとが同一であるかを正確に判定できる。つまり、仮想面Ｓでの描画点Ｐの軌跡を示す筆記情報Ｄ４だけでなく、仮想面Ｓに対する空中でのペン先２０４の軌跡を示すペン先軌跡情報Ｄ３２も比較対象に含めることによって、より多くの情報に基づいて筆記情報Ｄ４を正確に鑑定できる。

【0123】

本実施形態のように、鑑定部１８は、ペン先２０４と描画点Ｐとの距離の変化に基づいて、描画点軌跡情報Ｄ３１から非筆記情報Ｄ５として抽出する非筆記情報抽出部１８１と、現在のユーザＵの筆記動作により得られた筆記情報Ｄ４及び非筆記情報Ｄ５と、過去のユーザＵの筆記動作により得られた筆記情報Ｄ４及び非筆記情報Ｄ５とをそれぞれ比較する比較部１８２と、を有してもよい。現在のユーザＵと過去のユーザＵとが同一であるか否かを判定する際、非筆記情報Ｄ５にはユーザＵの筆記動作の際の癖などが表れやすいので、筆記情報Ｄ４を類似させた場合であっても、非筆記情報Ｄ５に違いが表れやすい。そこで、非筆記情報Ｄ５を比較対象に含めることによって、筆記情報Ｄ４をより正確に鑑定できる。

【0124】

本実施形態のように、情報入力システム１は、仮想面Ｓとペン先２０４との位置を調整する調整部１７を備え、調整部１７は、仮想面Ｓの第２領域Ｒ２内に描画点Ｐが位置していない場合に、第２領域Ｒ２内に描画点Ｐが位置するように、仮想面Ｓとペン先２０４との位置を調整してもよい。この場合、仮想面Ｓに描画点Ｐをより確実に設定することができるので、仮想面Ｓでの描画点Ｐの軌跡に基づく筆記情報Ｄ４をより確実に取得できる。

【0125】

［変形例］
以上、本開示の実施形態に基づいて詳細に説明した。しかし、本開示は上述した実施形態に限定されない。本開示は、その要旨を逸脱しない範囲で様々な変形が可能である。

【0126】

上述した実施形態では、端末１０が、機能要素として、通信部１１と、取得部１２と、表示部１３と、設定部１４と、推定部１５と、調整部１７と、認識部１６と、鑑定部１８と、出力部１９とを有する場合を例示した。しかし、これらの機能要素の少なくともいずれか１つが筆記具２０に実装されてもよい。これらの機能要素の全てが筆記具２０に実装される場合には、情報入力システム１は、端末１０を用いることなく、筆記情報Ｄ４の取得を行うことができる。情報入力システム１は、端末１０とは別にサーバを備えてもよい。この場合、端末１０が備える上記の各機能要素のうち少なくともいずれか１つがサーバに実装されてもよい。上述した実施形態では、端末１０又はデータベース３０が閾値情報Ｄ１１、過去筆跡情報Ｄ１２、及び筆記具モデルＤ１３などの各種情報を記憶する場合を例示した。しかし、筆記具２０が記憶装置を備える場合には、当該記憶装置が各種情報を記憶してもよい。

【0127】

上述した実施形態では、動作センサ２０８が、加速度センサ及びジャイロセンサを有する場合を例示した。しかし、動作センサ２０８は、加速度センサ又はジャイロセンサに代えて、互いに直交する３軸方向の磁場を検出する磁場センサを有してもよいし、加速度センサ及びジャイロセンサに加えて磁場センサを有してもよい。また、上述した実施形態では、入力機器として筆記具２０が用いられる場合を例示したが、ユーザＵによる入力動作を検出可能な機器であれば、筆記具２０以外の機器であってもよい。

【0128】

情報入力システム１において実行される処理手順は、上述した実施形態で示した例に限定されない。例えば、上述したステップ（処理）の一部が省略されてもよいし、別の順序で各ステップが実行されてもよい。また、上述したステップのうちの任意の２以上のステップが組み合わされてもよいし、ステップの一部が修正又は削除されてもよい。あるいは、上記の各ステップに加えて他のステップが実行されてもよい。

【0129】

入力機器としての筆記具２０の利用目的および利用場面は限定されない。筆記具２０は、筆記を伴う学習の場面において利用されてもよいし、学習の場面以外の場面において利用されてもよい。筆記を伴う学習は、学校、自宅、又はそれ以外の場所において行われる学習であってもよい。筆記具２０は、イラスト又は図表の作成の場面において利用されてもよい。入力情報システムは、上述した場面に限られず、筆記具２０を例とする入力機器を利用する種々の場面に適用可能である。

【0130】

以下、本発明の要旨を示す。
［１］ 入力機器が配置される空間に仮想面を設定する仮想面設定部と、
前記空間における前記入力機器の位置を示す入力点を取得する位置取得部と、
前記入力点を通る仮想線と前記仮想面との交点を、前記入力機器による描画点として設定する描画点設定部と、
前記仮想面での前記描画点の軌跡が示す情報を、前記入力機器による入力情報として表示装置に出力する出力部と、を備える、情報入力システム。
［２］ 前記入力機器は、軸線方向の一端にペン先を有する筆記具であり、
前記入力点は、前記空間における前記ペン先の位置を示す、［１］に記載の情報入力システム。
［３］ 前記仮想線は、前記入力点を通り且つ前記軸線方向に沿って延びる仮想的な直線である、［２］に記載の情報入力システム。
［４］ 前記仮想面における前記描画点の軌跡が示す情報から、前記仮想面に対する筆記情報を前記入力情報として抽出する筆記情報取得部を更に備え、
前記筆記情報取得部は、
前記仮想面での前記描画点の軌跡を示す描画点軌跡情報を取得する軌跡情報取得部と、
前記入力点と前記描画点との距離の変化に基づいて、前記描画点軌跡情報から前記筆記情報を抽出する筆記情報抽出部と、を有する、［２］又は［３］に記載の情報入力システム。
［５］ 前記筆記情報を鑑定する鑑定部を更に備え、
前記軌跡情報取得部は、前記空間での前記入力点の軌跡を示す入力点軌跡情報を取得し、
前記鑑定部は、現在のユーザの筆記動作により得られた前記筆記情報及び前記入力点軌跡情報を、過去のユーザの筆記動作により得られた前記筆記情報及び前記入力点軌跡情報とそれぞれ比較することにより、前記現在のユーザと前記過去のユーザとが同一であるか否かを判定する、［４］に記載の情報入力システム。
［６］ 前記鑑定部は、
前記入力点と前記描画点との距離の変化に基づいて、前記描画点軌跡情報から、前記筆記情報を除く前記入力点軌跡情報に対応する情報を非筆記情報として抽出する非筆記情報抽出部と、
前記現在のユーザの筆記動作により得られた前記筆記情報及び前記非筆記情報と、前記過去のユーザの筆記動作により得られた前記筆記情報及び前記非筆記情報とをそれぞれ比較する比較部と、を有する、［５］に記載の情報入力システム。
［７］ 前記仮想面と前記入力点との位置を調整する調整部を更に備え、
前記調整部は、前記仮想面の許容範囲内に前記描画点が位置していない場合に、前記許容範囲内に前記描画点が位置するように、前記仮想面と前記入力点との位置を調整する、［１］～［６］のいずれかに記載の情報入力システム。
［８］ プロセッサを備える情報入力システムにより実行される情報入力方法であって、
入力機器が配置される空間に仮想面を設定するステップと、
前記空間における前記入力機器の位置を示す入力点を取得するステップと、
前記入力点を通る仮想線と前記仮想面との交点を、前記入力機器による描画点として設定するステップと、
前記仮想面での前記描画点の軌跡が示す情報を、前記入力機器による入力情報として表示装置に出力するステップと、を備える、情報入力方法。
［９］ 入力機器が配置される空間に仮想面を設定するステップと、
前記空間における前記入力機器の位置を示す入力点を取得するステップと、
前記入力点を通る仮想線と前記仮想面との交点を、前記入力機器による描画点として設定するステップと、
前記仮想面での前記描画点の軌跡が示す情報を、前記入力機器による入力情報として表示装置に出力するステップと、をコンピュータに実行させる、情報入力プログラム。

【符号の説明】

【0131】

１…情報入力システム、５…位置取得部、１３…表示部（表示装置）、１４…設定部（仮想面設定部）、１７…調整部、１８…鑑定部、１９…出力部、２０…筆記具（入力機器）、１０１…プロセッサ、１６２…描画点設定部、１６３…筆記情報取得部、１６４…軌跡情報取得部、１６５…筆記情報抽出部、１８１…非筆記情報抽出部、１８２…比較部、２０４…ペン先、Ｄ４…筆記情報（入力情報）、Ｄ５…非筆記情報、Ｄ３１…描画点軌跡情報、Ｄ３２…ペン先軌跡情報（入力点軌跡情報）、Ｌ…軸線方向、Ｐ…描画点、Ｒ２…第２領域（許容範囲）、Ｓ…仮想面、Ｔ１…軌跡、Ｕ…ユーザ、ＶＬ…仮想線。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】