(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-12
(45)【発行日】2023-07-21
(54)【発明の名称】入力装置及び入力システム
(51)【国際特許分類】
G06F 3/03 20060101AFI20230713BHJP
【FI】
G06F3/03 400B
(21)【出願番号】P 2019110740
(22)【出願日】2019-06-14
【審査請求日】2022-03-23
(31)【優先権主張番号】P 2019030175
(32)【優先日】2019-02-22
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100167302
【氏名又は名称】種村 一幸
(74)【代理人】
【識別番号】100135817
【氏名又は名称】華山 浩伸
(72)【発明者】
【氏名】杉山 晃一
【審査官】木内 康裕
(56)【参考文献】
【文献】特開2009-205363(JP,A)
【文献】国際公開第2017/017812(WO,A1)
【文献】特開2011-204059(JP,A)
【文献】特開2015-225652(JP,A)
【文献】特開昭61-252197(JP,A)
【文献】米国特許出願公開第2013/0265218(US,A1)
【文献】特開2018-156304(JP,A)
【文献】特開2019-028786(JP,A)
【文献】特開2008-117083(JP,A)
【文献】特開2001-075719(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/03
G06F 3/041 - 3/047
(57)【特許請求の範囲】
【請求項1】
タッチパネルに対して入力具により入力する入力装置であって、
前記タッチパネルの第1辺に沿って配置される、赤外線を発光する発光部と、
前記タッチパネルの第2辺であって前記第1辺に対向する第2辺に沿って配置される、前記発光部から発光される赤外線を受光する受光部と、
前記入力具が入力した前記
タッチパネル上の位置座標を検出する座標検出部と、
前記入力具に設けられる、前記入力具の属性の情報を示す標識
であって、赤外線の吸収又は反射の特性のコントラストにより標識パターンが描画された標識を撮像する
赤外線カメラと、
前記
赤外線カメラにより撮像される前記標識の画像に基づいて前記属性を識別する入力具識別部と、
前記座標検出部により検出される前記位置座標と、前記入力具識別部により識別される前記属性とに基づいて、前記入力具による入力データを生成する入力データ生成部と、
を備え
、
前記発光部から発光された赤外線が前記入力具に照射されている状態で、
(1)前記座標検出部が、前記入力具が赤外線を遮断した位置に基づいて前記入力具の位置座標を検出し、かつ、
(2)前記赤外線カメラが、前記標識を撮像し、
前記発光部は、前記入力具の位置座標を検出するための光源としての機能と、前記標識に赤外線を照射して前記赤外線カメラに前記標識を撮像させるための光源としての機能とを有する、入力装置。
【請求項2】
前記標識は
、赤外線を吸収する赤外線吸収材料により前記標識パターンが描画されたものである、
請求項
1に記載の入力装置。
【請求項3】
前記標識は、前記入力具において赤外線透過材料で覆われている、
請求項
1又は2に記載の入力装置。
【請求項4】
前記赤外線透過材料は、可視光を遮断する性質を有する、
請求項
3に記載の入力装置。
【請求項5】
前記標識は、前記入力具に着脱可能に取り付けられている、
請求項1~
4の何れか1項に記載の入力装置。
【請求項6】
前記入力具には複数種類の入力モードのうち何れかの前記入力モードが割り当てられており、
前記属性は、前記入力具に割り当てられた前記入力モードの情報であり、
前記入力データ生成部は、前記入力具識別部により識別された前記入力モードにより前記入力データを生成する、
請求項1~
5の何れか1項に記載の入力装置。
【請求項7】
前記入力具はペンであり、
前記属性は、前記ペンによる入力色、前記ペンのペン先部の太さ、及び前記ペンのペン先部の形状のうち少なくとも何れかの情報である、
請求項1~
6の何れか1項に記載の入力装置。
【請求項8】
前記座標検出部は、前記入力具が前記タッチパネルに接触した位置を、前記入力具が入力した前記
タッチパネル上の前記位置座標として検出する、
請求項1~
7の何れか1項に記載の入力装置。
【請求項9】
前記入力具は、少なくとも一部に平坦領域を含む標識取付部を備え、
前記標識は、前記標識取付部の前記平坦領域に取り付けられている、
請求項1~
8の何れか1項に記載の入力装置。
【請求項10】
前記標識取付部は、複数の前記平坦領域を含み、
前記標識は、複数の前記平坦領域のそれぞれに取り付けられている、
請求項
9に記載の入力装置。
【請求項11】
前記入力具はペンであり、
複数の前記平坦領域は、前記ペンの外周を覆うように配置されている、
請求項
10に記載の入力装置。
【請求項12】
前記入力具は、円筒状の標識取付部を含み、
前記標識は、前記標識取付部の周囲を覆うように取り付けられている、
請求項1~
8の何れか1項に記載の入力装置。
【請求項13】
前記入力具は、複数の前記標識取付部を備え、
前記標識は、複数の前記標識取付部のそれぞれに取り付けられている、
請求項
9~
12の何れか1項に記載の入力装置。
【請求項14】
前記標識取付部は、前記入力具に着脱可能に設けられている、
請求項
9~
13の何れか1項に記載の入力装置。
【請求項15】
前記標識取付部は、前記入力具と一体に形成されている、
請求項
9~
13の何れか1項に記載の入力装置。
【請求項16】
前記標識取付部と当該標識取付部に取り付けられた前記標識とは、赤外線透過材料で覆われている、
請求項
9~
15の何れか1項に記載の入力装置。
【請求項17】
前記入力具はペンであり、
前記標識取付部は、前記ペンにおけるペン先側の第1端部の近傍と、前記ペンにおける前記第1端部とは反対側の第2端部の近傍とに取り付けられている、
請求項
9~
16の何れか1項に記載の入力装置。
【請求項18】
入力具と、
タッチパネルに対して前記入力具により入力する入力装置と、を含む入力システムであって、
前記タッチパネルの第1辺に沿って配置される、赤外線を発光する発光部と、
前記タッチパネルの第2辺であって前記第1辺に対向する第2辺に沿って配置される、前記発光部から発光される赤外線を受光する受光部と、
前記入力具が入力した前記
タッチパネル上の位置座標を検出する座標検出部と、
前記入力具に設けられる、前記入力具の属性の情報を示す標識
であって、赤外線の吸収又は反射の特性のコントラストにより標識パターンが描画された標識を撮像する
赤外線カメラと、
前記
赤外線カメラにより撮像される前記標識の画像に基づいて前記属性を識別する入力具識別部と、
前記座標検出部により検出される前記位置座標と、前記入力具識別部により識別される前記属性とに基づいて、前記入力具による入力データを生成する入力データ生成部と、
を備え
、
前記発光部から発光された赤外線が前記入力具に照射されている状態で、
(1)前記座標検出部が、前記入力具が赤外線を遮断した位置に基づいて前記入力具の位置座標を検出し、かつ、
(2)前記赤外線カメラが、前記標識を撮像し、
前記発光部は、前記入力具の位置座標を検出するための光源としての機能と、前記標識に赤外線を照射して前記赤外線カメラに前記標識を撮像させるための光源としての機能とを有する、入力システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力面に対して入力具により入力する入力装置及び入力システムに関する。
【背景技術】
【0002】
スタイラスペンなどの筆記具を用いてタッチパネルの入力面に対して筆記入力する入力装置が普及している。また、このような入力装置において、筆記具の種類を判別する技術が知られている。例えば、特許文献1には、スタイラスペンを用いたタッチ入力装置において、ペン先部をカメラで撮像してペン先部の色を特定し、特定した色に応じた色を表示部に表示する技術が開示されている。
【0003】
前記特許文献1のタッチ入力装置において、制御部には画像解析エンジンが搭載されており、制御部は、前記画像解析エンジンを用いて、取得した撮影画像を解析する。制御部は、撮影画像の解析結果に基づいて、撮影画像中にスタイラスペンの画像が含まれているか否かを判別する。撮像画像中にスタイラスペンの画像が含まれていれば、制御部は、スタイラスペンのペン先の色を特定する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、前記特許文献1の技術では、撮影画像の解析結果に基づいて撮影画像中にスタイラスペンの画像が含まれているか否かを判別し、さらに、撮像画像中にスタイラスペンの画像が含まれている場合に撮影画像中のスタイラスペンのペン先の位置を判定し、そして、ペン先の色を特定する、という工程のために、高度な画像解析を必要とする。
【0006】
また、撮像画像におけるペン先の見え方は、ペンの位置、ペンの角度、ペンの背景画像、及び撮像の環境、などの状況により大きく変化してしまうため、ペン先部の位置及び色を正確に特定することが困難である。
【0007】
本発明の目的は、簡易な構成により入力具の種類を正確に判別することが可能な入力装置及び入力システムを提供することにある。
【課題を解決するための手段】
【0008】
本発明の一の態様に係る入力装置は、入力面に対して入力具により入力する入力装置であって、前記入力具が入力した前記入力面上の位置座標を検出する座標検出部と、前記入力具に設けられる、前記入力具の属性の情報を示す標識を撮像する撮像部と、前記撮像部により撮像される前記標識の画像に基づいて前記属性を識別する入力具識別部と、前記座標検出部により検出される前記位置座標と、前記入力具識別部により識別される前記属性とに基づいて、前記入力具による入力データを生成する入力データ生成部と、を備える。
【0009】
本発明の他の態様に係る入力システムは、入力具と、入力面に対して前記入力具により入力する入力装置と、を含む入力システムであって、前記入力具が入力した前記入力面上の位置座標を検出する座標検出部と、前記入力具に設けられる、前記入力具の属性の情報を示す標識を撮像する撮像部と、前記撮像部により撮像される前記標識の画像に基づいて前記属性を識別する入力具識別部と、前記座標検出部により検出される前記位置座標と、前記入力具識別部により識別される前記属性とに基づいて、前記入力具による入力データを生成する入力データ生成部と、を備える。
【発明の効果】
【0010】
本発明によれば、簡易な構成により入力具の種類を正確に判別することが可能な入力装置及び入力システムを提供することができる。
【図面の簡単な説明】
【0011】
【
図1】
図1は、本発明の実施形態に係る入力システムの全体構成を示す図である。
【
図2】
図2は、本発明の実施形態に係る入力装置の構成を示す機能ブロック図である。
【
図3】
図3は、本発明の実施形態に係る入力システムにおいて利用される属性情報一例を示す図である。
【
図4A】
図4Aは、本発明の実施形態に係るタッチペンの構成の一例を示す図である。
【
図4B】
図4Bは、本発明の実施形態に係るタッチペンの構成の他の例を示す図である。
【
図4C】
図4Cは、本発明の実施形態に係るタッチペンの構成の他の例を示す図である。
【
図5】
図5は、本発明の実施形態に係るイレーサーの構成の一例を示す図である。
【
図6】
図6は、本発明の実施形態に係る入力システムにおいて実行される筆記入力処理の手順の一例を示すフローチャートである。
【
図7】
図7は、本発明の実施形態に係るタッチペン及び標識取付部の構成を示す斜視図である。
【
図8】
図8は、本発明の実施形態に係る標識取付部の構成を示す斜視図である。
【
図9】
図9は、本発明の実施形態に係る標識取付部の構成を示す斜視図である。
【
図10】
図10は、本発明の実施形態に係る標識取付部の構成を示す斜視図である。
【
図11】
図11は、本発明の実施形態に係る標識取付部の構成を示す斜視図である。
【
図12】
図12は、本発明の実施形態に係る標識取付部の構成を示す斜視図である。
【
図13】
図13は、本発明の実施形態に係る標識取付部の構成を示す斜視図である。
【
図14】
図14は、本発明の実施形態に係るタッチペン及び標識取付部の構成を示す斜視図である。
【
図15】
図15は、本発明の実施形態に係るタッチペン及び標識取付部の構成を示す斜視図である。
【
図16】
図16は、本発明の実施形態に係るタッチペン及び標識取付部の構成を示す斜視図である。
【発明を実施するための形態】
【0012】
以下、添付図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格を有さない。
【0013】
本発明の入力装置は、タッチ入力用の入力面に入力具により入力する情報処理装置である。ここで、前記入力面は、電子黒板(電子ボード)などのディスプレイ付きタッチパネル、白板(ホワイトボード)又は黒板などのボードなど、入力具により情報を入力することが可能な様々な媒体を含む。また前記入力具は、スタイラスペン、電子ペン、マーカーペンなどのペン全般、イレーサー、ブラシなど様々な筆記具を含む。また前記タッチ入力は、前記入力面に対する前記入力具による入力であり、例えば前記ペン又は前記ブラシによる筆記、前記イレーサーによる筆跡(文字など)の消去を含む。本発明の実施形態では、前記入力面の一例として、主に、表示パネル付きタッチパネル(以下、「タッチパネル」と称す。)を例に挙げ、前記入力具の一例として、主にスタイラスペン(以下、「タッチペン」と称す。)を例に挙げて説明する。
【0014】
図1は、本発明の実施形態に係る入力システムの構成を示す図である。入力システム100は、入力装置1とタッチペン2とを含む。入力装置1は、本発明の入力装置の一例であり、タッチペン2は、本発明の入力具の一例である。入力装置1は、タッチパネル10の入力面に対するユーザのタッチペン2によるタッチ入力の位置(位置座標)を検出するとともに、タッチペン2の属性(例えば筆記色)を検出して、前記タッチ入力に応じた情報を、前記筆記色により、前記表示パネルにおける前記位置座標に対応する位置に描画することが可能である。
【0015】
図2は、入力装置1の構成を示す機能ブロック図である。入力装置1は、タッチパネル10と、記憶部20と、カメラ30と、赤外線発光部40と、赤外線受光部50と、制御部60とを備えている。
【0016】
タッチパネル10は、タッチパネル10の入力面に対するユーザのタッチペン2によるタッチ入力を受け付ける。タッチパネル10は、赤外線方式のタッチパネルであってもよいし、静電容量方式のタッチパネルであってもよいし、感圧式のタッチパネルであってもよい。なお、詳細は後述するが、本発明のタッチパネルは、赤外線方式のタッチパネルが好適である。タッチパネル10は、前記表示パネルの前面に配置されてもよいし、表示パネルに内蔵されてもよい。また、タッチパネル10及び表示パネルは、互いに離れた場所に配置され、互いに通信可能に構成されてもよい。
【0017】
記憶部20は、各種の情報を記憶するHDD(Hard Disk Drive)又はSSD(Solid State Drive)などの不揮発性の記憶部である。具体的に、記憶部20には、属性情報212などのデータが記憶されている。
【0018】
具体的には、記憶部20には、入力具の属性に関する属性情報212が記憶されている。属性情報212には、入力具に設けられる標識Mごとに、入力具の種類、色、太さ、形状などの属性が登録されている。前記属性は、入力具の種類(タッチペン、イレーサー、ブラシなど)、タッチペン2に対応する筆記色(入力色)、タッチペン2のペン先部(筆記文字)の太さ、及び、タッチペン2のペン先部の形状のうち少なくとも何れかの情報を含んでいる。
【0019】
図3は、属性情報212の一例を示す図である。
図3に示す「P1」~「P4」は、標識Mの標識パターンを示す。
図3には、前記属性の一例として、入力具の「種類」、タッチペン2の「筆記色」を示している。標識パターンP1の標識Mには、黒色のタッチペン2が関連付けられており、標識パターンP2の標識Mには、赤色のタッチペン2が関連付けられており、標識パターンP3の標識Mには、青色のタッチペン2が関連付けられている。また標識パターンP4の標識Mには、イレーサー3が関連付けられている。
【0020】
ここで、入力具の具体例を説明する。
図4A~
図4Cは、タッチペン2の構成を示す図である。
図4Aに示すタッチペン2Aには、標識パターンP1の標識Mが設けられており、
図4Bに示すタッチペン2Bには、標識パターンP2の標識Mが設けられており、
図4Cに示すタッチペン2Cには、標識パターンP3の標識Mが設けられている。
【0021】
標識Mは、特定の情報が関連付けられた記号、画像などの標識パターンが描画された媒体である。標識Mは、ARマーカ、一次元コード、二次元コードなどで構成されてもよい。標識Mは、入力具における、カメラ30により撮像可能な位置に設けられ(貼付され)ている。標識Mは、1つの入力具に一箇所又は複数個所設けられている。
【0022】
また、標識Mの標識パターンは、赤外線カメラにより認識可能に構成されてもよい。例えば標識Mは、赤外線を吸収する赤外線吸収材料により標識パターンが描画された媒体であり、赤外線の吸収または反射の特性のコントラストにより標識パターンが描画された媒体である。また標識Mは、赤外線の吸収または反射の特性の違いにより標識パターンが描画された媒体である。標識パターンは、例えば、下地に対して赤外線の吸収特性または反射特性が異なる材料により描画される。なお、吸収特性、反射特性とは、具体的には、吸収率、反射率のことである。なお、理想状態においては「反射率+吸収率=100%」となるため、吸収率及び反射率は、どちらも吸収と反射の割合を示す指標であるという意味において、ほとんど同じ概念であるともいえる。反射に関しては、同じ反射率であっても、乱反射するか正反射するかなどの反射特性の違いにより見え方が違う可能性もありえる。また一般的に、コントラスト(対比)とは、基本的には並置されているものと著しく異なっていることである。視覚においては、同じ視野内での色、明るさ、輝度、形など(また質感、テクスチャなど)の差違のことである。上述の「赤外線の吸収または反射の特性のコントラストにより標識パターンが描画されたもの」とは、(1)標識パターンとそれ以外の周辺部分とで赤外線の吸収または反射の特性の差異があり、対比により標識のパターン(形状、模様など)を認識できること、または、(2)標識パターン自体の中に赤外線の吸収または反射の特性の異なる2以上の領域を含んでおり、対比により標識のパターン(形状、模様など)を認識できることである。
【0023】
図5は、イレーサー3の構成を示す図である。
図5に示すように、イレーサー3には、標識パターンP4の標識Mが設けられている。標識パターンP4は、イレーサー3の上面及び側面の少なくとも何れかに設けられている。このように、入力システム100に含まれる各入力具には、個別の標識パターンを有する標識Mが設けられている。
【0024】
図2に戻り、入力装置1の記憶部20には、さらに、制御部60に後述の筆記入力処理(
図6参照)を実行させるための筆記入力プログラムなどの制御プログラム211が記憶されている。例えば、前記筆記入力プログラムは、CD又はDVDなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、入力装置1が備えるCDドライブ又はDVDドライブなどの読取装置(不図示)で読み取られて記憶部20に記憶される。もしくは、前記筆記入力プログラムは、入力装置1からアクセス可能なサーバ装置からダウンロードされて、記憶部20に記憶されてもよい。
【0025】
カメラ30は、被写体の画像を撮像してデジタル画像データとして出力するデジタルカメラである。カメラ30は、本発明の撮像部の一例である。例えば
図1に示すように、カメラ30は、タッチパネル10の右上端部及び左上端部に設けられ、タッチパネル10の入力面の前方の全領域を撮像する。なお、各カメラ30は、タッチパネル10の大きさに応じて、全領域を撮像可能なように被写界深度が設定される。カメラ30の数は限定されず、少なくとも1つ設けられていればよい。
【0026】
またカメラ30は、赤外線カメラであることが好ましい。ここで、赤外線カメラとは、赤外線のみを選択的に受光して撮像できるカメラに限定されず、少なくとも赤外線を受光して撮像できるカメラを意味する。例えば、可視光及び赤外線の両方を受光して(可視光画像及び赤外画像を両方重ね合わせて)撮像するカメラも、本発明の「赤外線カメラ」に含まれる。例えば、一般的な市販の可視光カメラは赤外光除去フィルタを備えており、可視光のみを受光可能となっているが、可視光カメラから可視光除去フィルタを取り外すと簡易的な「赤外線カメラ」が実現する。本実施形態に係るカメラ30は、このような簡易的な赤外線カメラであってもよい。カメラ30は、周知のカメラを用いることができる。
【0027】
本実施形態において、カメラ30は、撮像領域に存在するタッチペン2に設けられた標識Mを撮像する。例えば、ユーザが標識パターンP1の標識Mが設けられたタッチペン2によりタッチパネル10の入力面にタッチ入力の操作を行っている場合に、カメラ30は、当該タッチペン2の標識Mを撮像する。また例えば、ユーザが標識パターンP4の標識Mが設けられたイレーサー3によりタッチパネル10の入力面にタッチ入力(消去)の操作を行っている場合に、カメラ30は、当該イレーサー3の標識Mを撮像する。
【0028】
赤外線発光部40は、赤外線方式のタッチパネルを実現するための発光部であり、赤外線の発光素子(LED)を含んで構成される。赤外線受光部50は、赤外線方式のタッチパネルを実現するための受光部であり、赤外線の受光素子(フォトトランジスタ)を含んで構成される。一対の赤外線発光部40及び赤外線受光部50が、X方向(
図1の横方向)に配置されており、一対の赤外線発光部40及び赤外線受光部50が、Y方向(
図1の縦方向)に配置されている。入力装置1は、タッチペン2がタッチパネル10の入力面にタッチされると、X方向及びY方向それぞれの赤外線発光部40から発光された赤外線がタッチペン2により遮断されることにより、タッチペン2のX座標及びY座標の位置を検出する。
【0029】
制御部60は、CPU、ROM、及びRAMなどの制御機器を有する。前記CPUは、各種の演算処理を実行するプロセッサである。前記ROMは、前記CPUに各種の演算処理を実行させるためのBIOS及びOSなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記RAMは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記CPUが実行する各種の処理の一時記憶メモリー(作業領域)として使用される。そして、制御部60は、前記ROM又は記憶部20に予め記憶された各種の制御プログラム211を前記CPUで実行することにより入力装置1を制御する。
【0030】
具体的に、制御部60は、
図2に示すように、座標検出部611、撮像画像取得部612、入力具識別部613、入力データ生成部614などの各種の処理部を含む。なお、制御部60は、前記CPUで前記筆記入力プログラムに従った各種の処理を実行することによって、座標検出部611、撮像画像取得部612、入力具識別部613、入力データ生成部614として機能する。また、制御部60に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記筆記入力プログラムは、複数のプロセッサを前記各種の処理部として機能させるためのプログラムであってもよい。
【0031】
座標検出部611は、入力具(タッチペン2、イレーサー3など)が入力したタッチパネル10の前記入力面上の位置座標を検出する。座標検出部611は、本発明の座標検出部の一例である。具体的には、座標検出部611は、前記入力具がタッチパネル10に接触した位置を、前記入力具が入力した前記入力面上の前記位置座標として検出する。座標検出部611は、赤外線発光部40から発光された赤外線が入力具に照射されることによる赤外線の遮断状態に基づいて、入力具の位置座標を検出する。具体的には、座標検出部611は、タッチペン2により赤外線が遮断された場合に赤外線受光部50から出力される検知信号に基づいて、タッチペン2の位置座標(X座標、Y座標)を検出する。
【0032】
撮像画像取得部612は、カメラ30により撮像される標識Mの撮像画像を取得する。ここで、カメラ30は、赤外線発光部40から発光された赤外線が前記入力具に照射された状態で標識Mを撮像する。標識Mは、赤外線吸収材料により標識パターンが描画されたものであるため、標識Mは、赤外線発光部40から発光される赤外線を吸収する。これにより、カメラ30は、標識Mの標識パターンを確実に撮像することが可能となる。このように、赤外線発光部40は、入力具による赤外線の遮断状態に基づいて入力具の位置座標を検出するための光源としての機能と、入力具の標識Mに赤外線を照射してカメラ30に撮像させるための光源としての機能とを有する。このため、本発明において、タッチパネル10は、赤外線方式のタッチパネルが好適となる。
【0033】
入力具識別部613は、カメラ30により撮像される標識Mの画像に基づいて入力具の属性を識別する。入力具識別部613は、本発明の入力具識別部の一例である。具体的には、入力具識別部613は、撮像画像取得部612により取得される撮像画像に含まれる標識Mの標識パターンに関連付けられた入力具の属性を識別する。例えば、撮像画像取得部612により取得される撮像画像にタッチペン2A(
図4A参照)の標識Mが含まれる場合、入力具識別部613は、属性情報212(
図3参照)を参照して、当該標識Mの標識パターンP1に関連付けられた筆記色として「黒色」を識別する。また例えば、撮像画像取得部612により取得される撮像画像にイレーサー3(
図5参照)の標識Mが含まれる場合、入力具識別部613は、属性情報212(
図3参照)を参照して、当該標識Mの標識パターンP4に関連付けられた入力具の種類として「イレーサー」を識別する。
【0034】
入力データ生成部614は、座標検出部611により検出される前記位置座標と、入力具識別部613により識別される前記属性とに基づいて、入力具による入力データ(筆跡データ)を生成する。入力データ生成部614は、本発明の入力データ生成部の一例である。制御部60は、前記入力データに基づいて前記表示パネルに情報を描画する。例えば、制御部60は、タッチペン2によるタッチ入力に応じた手書き情報(例えば、文字)を、入力具識別部613により識別された筆記色により前記表示パネルの前記位置座標に応じた位置に描画(表示)する。これにより、前記入力データに応じた手書き情報を前記表示パネルにリアルタイムで表示させることが可能となる。
【0035】
また、例えば前記入力データ(筆跡データ)に基づいて、カラープリンタ(不図示)により印刷処理を実行した場合には、印刷用紙に、筆記色、ペン先部の太さ、形状などが反映された筆跡が印刷される。
【0036】
[筆記入力処理]
以下、
図6を参照しつつ、入力装置1の制御部60によって実行される筆記入力処理について説明する。
【0037】
なお、本発明は、前記筆記入力処理に含まれる一又は複数のステップを実行する筆記入力方法の発明として捉えることができ、ここで説明する当該筆記入力処理に含まれる一又は複数のステップが適宜省略されてもよい。なお、前記筆記入力処理における各ステップは同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部60によって前記筆記入力処理における各ステップが実行される場合を例に挙げて説明するが、複数のプロセッサによって当該筆記入力処理における各ステップが分散して実行される筆記入力方法も他の実施形態として考えられる。
【0038】
先ずステップS11において、制御部60は、タッチパネル10の入力面に対してタッチペン2によりタッチ入力された位置座標を検出したか否かを判定する。制御部60により位置座標が検出された場合、処理はステップS12に移行する。
【0039】
ステップS12において、制御部60は、入力具(例えばタッチペン2)に設けられた標識Mの撮像画像をカメラ30から取得したか否かを判定する。制御部60により標識Mの撮像画像が取得された場合(S12:YES)、処理はステップS13に移行する。制御部60により標識Mの撮像画像が取得されない場合(S12:NO)、処理はステップS14に移行する。
【0040】
ここで、例えばユーザの入力具の使用状態、赤外線の発光状態などにより、標識Mがカメラ30に撮像され難い場合が考えられる。そこで、制御部60は、例えば、標識Mの撮像画像をカメラ30から取得したか否かの判定処理を、所定時間継続して実行する構成としてもよい。この構成では、制御部60が、所定時間以内に標識Mの撮像画像をカメラ30から取得しなかった場合に、処理がステップS14に移行する。
【0041】
ステップS13において、制御部60は、標識Mの撮像画像に基づいて入力具の属性を識別する。例えば、制御部60は、撮像画像に含まれるタッチペン2に設けられた標識Mの標識パターンに関連付けられた筆記色(
図3参照)を識別する。
【0042】
ステップS14において、制御部60は、入力具による入力データを生成する。具体的には、入力具の標識Mが認識された場合(S12:YES)、制御部60は、前記位置座標と前記入力具の属性とに基づいて、前記入力具による入力データを生成する。また制御部60は、前記入力データに基づいて前記表示パネルに情報を描画する。例えば、制御部60は、タッチペン2によるタッチ入力に応じた手書き情報(例えば、文字)を、前記位置座標に対応する位置に、前記筆記色により前記表示パネルに描画(表示)する。
【0043】
一方、入力具の標識Mが認識されない場合(S12:NO)、制御部60は、前記位置座標に基づいて、前記入力具による入力データを生成して、前記入力データに基づいて前記表示パネルに情報を描画する。例えば、制御部60は、前記表示パネルにおいて、タッチペン2によるタッチ入力に応じた手書き情報(例えば、文字)を、前記位置座標に対応する位置に描画(表示)する。この場合、制御部60は、前記手書き情報を、予め設定されたデフォルトの属性(筆記色、ペン先部の太さ、ペン先部の形状)により描画する。以上のようにして、前記筆記入力処理が実行される。
【0044】
以上説明したように、本実施形態に係る入力装置1は、入力具に設けられた標識Mをカメラ30により撮像して標識Mに関連付けられた当該入力具の属性を取得し、タッチパネル10に入力された入力具の位置と、前記属性とに基づいて、前記入力具による入力データを生成する。このように、入力具に設けられた標識Mを撮像することにより入力具の属性を識別することができるため、簡易な構成により入力具の種類を正確に判別することが可能となる。
【0045】
また本実施形態に係る入力装置1では、タッチパネル10を赤外線発光部40及び赤外線受光部50を備える赤外線方式のタッチパネルで構成し、カメラ30を赤外線カメラで構成し、標識Mを赤外線吸収材料により標識パターンが描画された媒体で構成することができる。この構成によれば、カメラ30は、標識Mに赤外線発光部40から発光された赤外線が照射された状態で標識Mを撮像する。このため、カメラ30により標識Mを確実に撮像することが可能になるとともに、標識Mの標識パターンの認識精度を向上させることができる。
【0046】
本発明は上述の実施形態に限定されない。例えば、入力装置1は、カメラ30により撮像された入力具の撮像画像に基づいて、入力面上の位置座標を検出してもよい。この場合、前記入力面は、タッチパネル10に限定されない。例えば、前記入力面は、机上面、壁面などの非電子機器の接触面であってもよいし、空間に表される仮想的な非接触面であってもよい。すなわち、入力装置1は、タッチパネル10が省略されてもよい。
【0047】
また、上述したように前記入力面は、白板(ホワイトボード)又は黒板などのボードであってもよい。前記入力面がボードである場合、前記ボードにペンにより直接文字などを書き込んだり、前記ボードの文字などをイレーサーにより消去したりすることが可能となる。この構成では、例えば前記ペン及び前記イレーサーは、市販のマーカーペン及びイレーサーを利用することができる。この場合、前記ペン及び前記イレーサーに標識Mを貼付することにより、本実施形態に係る入力具を実現することができる。
【0048】
また他の実施形態として、標識Mは、入力具において赤外線透過材料で覆われていてもよい。例えば、標識Mは、赤外線を透過する樹脂材料からなるカバーで覆われていてもよい。これにより、標識Mの標識パターンの認識精度を低下させることなく、入力具の使用による標識Mの損傷を防止することができる。また、前記赤外線透過材料は、可視光を遮断する性質を有することが好ましい。これにより、可視光を遮断して、赤外線発光部40から発光される赤外線を効率よく標識Mに照射することができるため、標識パターンの認識精度を向上させることができる。
【0049】
また他の実施形態として、標識Mは、入力具に着脱可能に取り付けられていてもよい。これにより、マーカーペンなど市販の入力具を使用した場合に、標識Mを容易に取り付けたり取り外したりすることができる。また標識パターンの異なる標識Mに交換することにより、入力具の属性を変更することができる。さらに、標識Mが損傷した場合に、新しい標識Mに容易に交換することができる。
【0050】
ここで、標識Mを入力具に取り付けるための具体的な構成について説明する。ここでは、入力具の一例として、タッチペン2を挙げる。
【0051】
図7は、標識Mが取り付けられたタッチペン2の構成例を示す斜視図である。
図7に示すように、タッチペン2は、標識取付部21を備える。タッチペン2は、一つの標識取付部21を備えてもよいし、複数の標識取付部21を備えてもよい。例えば
図7に示すように、タッチペン2は、ペン先側の第1端部の近傍に一つの標識取付部21を備え、前記第1端部とは反対側の第2端部の近傍に一つの標識取付部21を備える。
【0052】
標識取付部21は、本体200と、本体200を覆うカバー201とを備える。本体200は、内側に所定方向に貫通する挿通部202を有し、外側に平坦領域203を有している。挿通部202には、タッチペン2が挿通される。すなわち、挿通部202は、本体200においてタッチペン2の延伸方向(軸方向)に形成されている。挿通部202にタッチペン2が挿入されることにより、標識取付部21がタッチペン2に取り付けられる。このように、標識取付部21は、タッチペン2に着脱可能に設けられる。
【0053】
平坦領域203は、本体200の外周を覆うように形成されており、
図7に示す例では、外周の4面に形成されている。すなわち、平坦領域203は、タッチペン2の外周を覆うように配置されている。平坦領域203の数は限定されず、
図7に示すように4面(4個)であってもよいし、
図8に示すように3面(3個)であってもよいし、5面(5個)以上(不図示)であってもよい。
【0054】
各平坦領域203は例えば矩形状に形成されており、各平坦領域203に個別に標識Mが取り付けられている。
図7に示す例では、一つの標識取付部21に4個の標識Mが取り付けられており、タッチペン2全体としては8個の標識Mが取り付けられている。なお、各標識Mには同一の属性(例えば筆記色)が関連付けられている。標識Mは、平坦領域203に接着剤などにより貼付されてもよいし、平坦領域203に印刷されてもよい。これにより、標識Mを平坦に保持することができるため、標識パターンの認識精度を向上させることができる。
【0055】
カバー201は、標識Mを覆うように設けられている。カバー201は、可視光を遮断し赤外線を透過する樹脂材料(赤外線透過材料)で形成されている。これにより、赤外線発光部40から発光される赤外線を効率よく標識Mに照射することができるため、標識Mの標識パターンの認識精度を向上させることができ、さらにタッチペン2の使用による標識Mの損傷を防止することができる。
【0056】
また、上記の構成によれば、複数の平坦領域203に標識Mが取り付けられるため、タッチペン2を使用中に、ユーザの手などにより全ての標識Mが隠れてしまうことを防ぐことができる。このため、タッチペン2の標識Mをカメラ30に確実に認識させることが可能となる。
【0057】
ここで、
図7に示すように、タッチペン2に複数の標識取付部21を取り付ける構成の場合、各標識取付部21の取付角度(例えば、タッチペン2の軸周りの角度)を互いに異ならせてもよい。具体的には、各標識取付部21は、前記第1端部側の標識取付部21における平坦領域203の平坦面に対する垂直軸の方向と、前記第2端部側の標識取付部21における平坦領域203の平坦面に対する垂直軸の方向とが互いに異なるように(例えば両垂直軸のなす角が45度となるように)、取り付けられてもよい。これにより、一方の標識取付部21の標識Mがカメラ30に認識され難い位置にある場合であっても、他方の標識取付部21の標識Mをカメラ30に認識させることが可能となる。
【0058】
標識取付部21の構成は上述の構成に限定されない。例えば、標識取付部21は、
図9~
図12に示す構成であってもよい。
図9に示す標識取付部21は、本体200の一部に平坦領域203を有している。平坦領域203は、本体200側を除く3面に形成されており、各平坦領域203に標識Mが取り付けられている。標識取付部21は、挿通部202にタッチペン2を挿通することによりタッチペン2に取り付けられる。カバー201は、平坦領域203の標識Mを覆うように設けられている。本体200における標識Mが存在しない領域は、カバー201で覆われていなくてもよい。
【0059】
また
図10に示すように、標識Mが本体200の外周面を囲うように取り付けられてもよい。
図10に示す構成では、標識取付部21は、平坦領域203を有しておらず、本体200に標識Mが取り付けられる。なお本体200の外周面が曲面の場合、標識Mの認識精度が低下しないように、標識Mを、曲面の外周面を覆う標識パターンで構成することが望ましい。
【0060】
また
図11~
図13に示すように、標識Mは、形状により識別可能な標識パターンであってもよい。例えば、
図11に示す標識取付部21には、矩形状の標識Mが取り付けられている。この矩形状の標識Mには、例えば黒色の筆記色が関連付けられている。また例えば、
図12に示す標識取付部21には、三角形状の標識Mが取り付けられている。この三角形状の標識Mには、例えば赤色の筆記色が関連付けられている。また例えば、
図13に示す標識取付部21には、円形状の標識Mが取り付けられている。この円形状の標識Mには、例えば青色の筆記色が関連付けられている。これにより、入力具識別部613は、カメラ30により撮像される標識Mの形状(矩形状、三角形状、円形状など)に基づいてタッチペン2の属性(筆記色)を識別する。
【0061】
ここで、
図7~
図13に示した標識取付部21は、着脱可能な構成を有するため、例えばユーザの指に嵌めて使用されてもよい。例えば、ユーザが人差し指に
図9に示す標識取付部21を嵌めて指によりタッチパネル10にタッチ入力することにより、標識Mを認識させて所定の属性に応じた描画を行うことが可能となる。なお、本体200は、入力具に合わせた形状に形成される。これにより、例えば標識取付部21は、イレーサー3に取り付けることができる。
【0062】
また標識取付部21は、
図14~
図16に示す構成であってもよい。具体的には、標識取付部21は、タッチペン2と一体に形成されてもよい。すなわち、標識取付部21は、タッチペン2の一構成部材であってもよい。例えば、タッチペン2のペン先側の第1端部の近傍に標識取付部21が形成されており、タッチペン2の前記第1端部とは反対側の第2端部の近傍に標識取付部21が形成されている。標識取付部21には、標識Mが印刷などにより取り付けられている。なお、タッチペン2が円筒状の場合、標識Mの認識精度が低下しないように、標識Mは、円筒状の外周面を覆う標識パターンで構成されることが望ましい。
図14の標識Mは、例えば黒色のペンが関連付けられた標識パターンであり、
図15の標識Mは、例えば赤色のペンが関連付けられた標識パターンであり、
図16の標識Mは、例えば青色のペンが関連付けられた標識パターンである。なお、標識取付部21に、標識Mを覆うカバー201が設けられてもよい。
図14~
図16に示す構成によれば、タッチペン2を小型化することができる。
【0063】
また他の実施形態として、入力システム100では、タッチペン2による入力(筆記)の入力モード、イレーサー3による入力(筆跡の消去)の入力モード、他の入力具(ブラシなど)による入力モードなどを切り替えて入力処理を行ってもよい。例えば、各入力具(タッチペン2、イレーサー3、ブラシなど)には、複数種類の入力モード(ペン入力モード、イレーサー入力モード、ブラシ入力モードなど)のうち何れかの入力モードが割り当てられている。この場合、前記属性は、各入力具に割り当てられた前記入力モードの情報である。これにより、入力システム100は、入力具識別部613により識別された前記入力モードにより入力処理を行う。これにより、複数種類の入力具が混在して使用される場合に、それらの入力具の種類を適切に識別することが可能となる。
【0064】
本発明は、上述のように筆記入力方法(入力方法)の発明として実現することができる。この場合、筆記入力方法は、入力具が入力した入力面上の位置座標を検出する座標検出ステップと、前記入力具に設けられる、前記入力具の属性の情報を示す標識を撮像する撮像ステップと、前記撮像ステップにより撮像される前記標識の画像に基づいて前記属性を識別する入力具識別ステップと、前記座標検出ステップにより検出される前記位置座標と、前記入力具識別ステップにより識別される前記属性とに基づいて、前記入力具による入力データを生成する入力データ生成ステップと、を一又は複数のプロセッサにより実行する。
【0065】
前述した各実施形態の他にも、この発明について種々の変形例があり得る。それらの変形例は、この発明の範囲に属さないと解されるべきものではない。この発明には、請求の範囲と均等の意味及び前記範囲内でのすべての変形とが含まれるべきである。
【符号の説明】
【0066】
1 :入力装置
2 :タッチペン
3 :イレーサー
10 :タッチパネル
20 :記憶部
30 :カメラ
40 :赤外線発光部
50 :赤外線受光部
60 :制御部
100 :入力システム
211 :制御プログラム
212 :属性情報
611 :座標検出部
612 :撮像画像取得部
613 :入力具識別部
614 :入力データ生成部