(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024024440
(43)【公開日】2024-02-22
(54)【発明の名称】ペン状態検出回路及び方法、並びに入力システム
(51)【国際特許分類】
G06F 3/044 20060101AFI20240215BHJP
G06F 3/041 20060101ALI20240215BHJP
【FI】
G06F3/044 A
G06F3/044 120
G06F3/041 500
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022127263
(22)【出願日】2022-08-09
(71)【出願人】
【識別番号】000139403
【氏名又は名称】株式会社ワコム
(74)【代理人】
【識別番号】100176072
【弁理士】
【氏名又は名称】小林 功
(74)【代理人】
【識別番号】100169225
【弁理士】
【氏名又は名称】山野 明
(72)【発明者】
【氏名】前山 光一
(57)【要約】
【課題】少なくとも1つの電極を有する電子ペンにおけるペン状態の推定精度を向上可能なペン状態検出回路及び方法、並びに入力システムを提供する。
【解決手段】ペン状態検出回路(36)は、第1信号分布(90)及び第2信号分布(92)を合成することにより2次元信号分布(94)を生成し、又は、第1信号分布(90)の形状に関する第1特徴量分布及び第2信号分布(92)の形状に関する第2特徴量分布を合成することにより2次元特徴量分布を生成する合成ステップ(SP14)と、予め定められた入出力モデル(64A~64D)を用いて、合成された2次元信号分布(94)又は2次元特徴量分布から電子ペン(14)の指示位置又は姿勢を推定する推定ステップ(SP16,18,20)を実行する。
【選択図】
図5
【特許請求の範囲】
【請求項1】
複数のセンサ電極を面状に配置してなる静電容量方式のタッチセンサにより検出された信号分布に基づいて、少なくとも1つの電極を有する電子ペンの状態を検出するペン状態検出回路であって、
前記電極の接近に伴う静電容量の変化を示す1次元信号分布であって、前記タッチセンサ上の第1方向に沿った第1信号分布、及び、前記第1方向と交差する第2方向に沿った第2信号分布を前記タッチセンサから取得する取得ステップと、
取得された前記第1信号分布及び前記第2信号分布を合成することにより2次元信号分布を生成し、又は、前記第1信号分布の形状に関する第1特徴量分布及び前記第2信号分布の形状に関する第2特徴量分布を合成することにより2次元特徴量分布を生成する合成ステップと、
予め定められた入出力モデルを用いて、合成された前記2次元信号分布又は前記2次元特徴量分布から前記電子ペンの指示位置又は姿勢を推定する推定ステップと、
を実行することを特徴とするペン状態検出回路。
【請求項2】
前記合成ステップでは、前記第1信号分布における前記第1方向の位置に対応する第1対応値と、前記第2信号分布における前記第2方向の位置に対応する第2対応値とを乗算することにより前記2次元信号分布を生成し、又は、前記第1特徴量分布における前記第1方向の位置に対応する第1対応値と、前記第2特徴量分布における前記第2方向の位置に対応する第2対応値とを乗算することにより前記2次元特徴量分布を生成する、
請求項1に記載のペン状態検出回路。
【請求項3】
前記入出力モデルは、前記2次元信号分布又は前記2次元特徴量分布を入力とし、前記電子ペンの指示位置を示す座標値を出力とする畳み込みニューラルネットワークを含む機械学習モデルである、
請求項1に記載のペン状態検出回路。
【請求項4】
前記入出力モデルは、前記2次元信号分布又は前記2次元特徴量分布を入力とし、前記電子ペンの姿勢を示す傾き角及び回転角のうち少なくとも1つを出力とする畳み込みニューラルネットワークを含む機械学習モデルである、
請求項1に記載のペン状態検出回路。
【請求項5】
前記入出力モデルは、
前記2次元信号分布又は前記2次元特徴量分布を入力とし、前記電子ペンの姿勢を示す傾き角及び回転角のうち少なくとも1つを出力とする畳み込みニューラルネットワークと、
前記畳み込みニューラルネットワークから出力された前記傾き角及び前記回転角のうち少なくとも1つと、前記第1信号分布又は前記第1特徴量分布とを入力とし、前記電子ペンの指示位置を示す前記第1方向の座標値を出力とする第1階層型ニューラルネットワークと、
前記畳み込みニューラルネットワークから出力された前記傾き角及び前記回転角のうち少なくとも1つと、前記第2信号分布又は前記第2特徴量分布とを入力とし、前記電子ペンの指示位置を示す前記第2方向の座標値を出力とする第2階層型ニューラルネットワークと、
を含む機械学習モデルである、請求項1に記載のペン状態検出回路。
【請求項6】
前記電子ペンには、複数の前記電極が設けられ、
前記2次元信号分布又は前記2次元特徴量分布は、前記電極に対応する複数のカラーチャンネルを有する画像信号から構成される、
請求項1に記載のペン状態検出回路。
【請求項7】
前記電子ペンには、少なくとも、前記電子ペンの軸に対称な形状を有し、かつ前記電子ペンの先端に設けられるチップ電極と、前記電子ペンの軸に対称な形状を有し、かつ前記チップ電極よりも基端側に設けられるアッパー電極と、が設けられる、
ことを特徴とする請求項6に記載のペン状態検出回路。
【請求項8】
複数のセンサ電極を面状に配置してなる静電容量方式のタッチセンサにより検出された信号分布に基づいて、少なくとも1つの電極を有する電子ペンの状態を検出するペン状態検出方法であって、
前記電極の接近に伴う静電容量の変化を示す1次元信号分布であって、前記タッチセンサ上の第1方向に沿った第1信号分布、及び、前記第1方向と交差する第2方向に沿った第2信号分布を前記タッチセンサから取得する取得ステップと、
取得された前記第1信号分布及び前記第2信号分布を合成することにより2次元信号分布を生成し、又は、前記第1信号分布の形状に関する第1特徴量分布及び前記第2信号分布の形状に関する第2特徴量分布を合成することにより2次元特徴量分布を生成する合成ステップと、
予め定められた入出力モデルを用いて、合成された前記2次元信号分布又は前記2次元特徴量分布から前記電子ペンの指示位置又は姿勢を推定する推定ステップと、
を1つ又は複数のプロセッサが実行することを特徴とするペン状態検出方法。
【請求項9】
請求項1に記載のペン状態検出回路を含んで構成される電子機器と、
前記電子機器とともに用いられる電子ペンと、
前記電子機器と双方向に通信可能であり、前記ペン状態検出回路に構築される入出力モデルを記述するモデルパラメータを記憶可能に構成されるサーバ装置と
を備え、
前記電子機器は、前記電子ペンが検出された場合に、該電子ペンに対応するモデルパラメータの送信を前記サーバ装置に要求することを特徴とする入力システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ペン状態検出回路及び方法、並びに入力システムに関する。
【背景技術】
【0002】
従来から、電子ペンと電子機器を組み合わせてなる筆記入力システムが知られている。この類のシステムでは、電子ペンの指示位置が、電子機器によって精度よく検出されることが望ましい。例えば、特許文献1には、タッチセンサの検出面上においてユーザの手が接触する第1位置及び電子ペンが指し示す第2位置をそれぞれ検出し、第1位置及び第2位置の座標値を用いて電子ペンの傾斜方向を推定し、この傾斜方向に応じて電子ペンの指示位置を補正する電子機器が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、2つの電極を有する電子ペンを用いることで、ユーザの手が検出面に触れていない場合であっても電子ペンの位置・姿勢を推定することが可能である。しかし、2つの電極は物理的に分離して設けられているので、電子ペンの使用中、少なくとも1つの電極が検出面に常に接触しないことになる。この場合、電子ペンの傾斜角度と検出位置の間の関係が電極の三次元形状に応じて変化し得るので、電子ペンの位置・姿勢によって推定精度がばらついてしまう場合がある。
【0005】
本発明はこのような問題に鑑みてなされたものであり、その目的は、少なくとも1つの電極を有する電子ペンにおけるペン状態の推定精度を向上可能なペン状態検出回路及び方法、並びに入力システムを提供することにある。
【課題を解決するための手段】
【0006】
本発明の第1態様におけるペン状態検出回路は、複数のセンサ電極を面状に配置してなる静電容量方式のタッチセンサにより検出された信号分布に基づいて、少なくとも1つの電極を有する電子ペンの状態を検出する回路であって、前記電極の接近に伴う静電容量の変化を示す1次元信号分布であって、前記タッチセンサ上の第1方向に沿った第1信号分布、及び、前記第1方向と交差する第2方向に沿った第2信号分布を前記タッチセンサから取得する取得ステップと、取得された前記第1信号分布及び前記第2信号分布を合成することにより2次元信号分布を生成し、又は、前記第1信号分布の形状に関する第1特徴量分布及び前記第2信号分布の形状に関する第2特徴量分布を合成することにより2次元特徴量分布を生成する合成ステップと、予め定められた入出力モデルを用いて、合成された前記2次元信号分布又は前記2次元特徴量分布から前記電子ペンの指示位置又は姿勢を推定する推定ステップと、を実行する。
【0007】
また、前記合成ステップでは、前記第1信号分布における前記第1方向の位置に対応する第1対応値と、前記第2信号分布における前記第2方向の位置に対応する第2対応値とを乗算することにより前記2次元信号分布を生成し、又は、前記第1特徴量分布における前記第1方向の位置に対応する第1対応値と、前記第2特徴量分布における前記第2方向の位置に対応する第2対応値とを乗算することにより前記2次元特徴量分布を生成してもよい。
【0008】
また、前記入出力モデルは、前記2次元信号分布又は前記2次元特徴量分布を入力とし、前記電子ペンの指示位置を示す座標値を出力とする畳み込みニューラルネットワークを含む機械学習モデルであってもよい。
【0009】
また、前記入出力モデルは、前記2次元信号分布又は前記2次元特徴量分布を入力とし、前記電子ペンの姿勢を示す傾き角及び回転角のうち少なくとも1つを出力とする畳み込みニューラルネットワークを含む機械学習モデルであってもよい。
【0010】
また、前記入出力モデルは、前記2次元信号分布又は前記2次元特徴量分布を入力とし、前記電子ペンの姿勢を示す傾き角及び回転角のうち少なくとも1つを出力とする畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークから出力された前記傾き角及び前記回転角のうち少なくとも1つと、前記第1信号分布又は前記第1特徴量分布とを入力とし、前記電子ペンの指示位置を示す前記第1方向の座標値を出力とする第1階層型ニューラルネットワークと、前記畳み込みニューラルネットワークから出力された前記傾き角及び前記回転角のうち少なくとも1つと、前記第2信号分布又は前記第2特徴量分布とを入力とし、前記電子ペンの指示位置を示す前記第2方向の座標値を出力とする第2階層型ニューラルネットワークと、を含む機械学習モデルであってもよい。
【0011】
また、前記電子ペンには、複数の前記電極が設けられ、前記2次元信号分布又は前記2次元特徴量分布は、前記電極に対応する複数のカラーチャンネルを有する画像信号から構成されてもよい。
【0012】
また、前記第1電極は、前記電子ペンの軸に対称な形状を有し、かつ前記電子ペンの先端に設けられるチップ電極であり、前記第2電極は、前記電子ペンの軸に対称な形状を有し、かつ前記チップ電極よりも基端側に設けられるアッパー電極であってもよい。
【0013】
本発明の第2態様におけるペン状態検出方法は、複数のセンサ電極を面状に配置してなる静電容量方式のタッチセンサにより検出された信号分布に基づいて、少なくとも1つの電極を有する電子ペンの状態を検出する方法であって、前記電極の接近に伴う静電容量の変化を示す1次元信号分布であって、前記タッチセンサ上の第1方向に沿った第1信号分布、及び、前記第1方向と交差する第2方向に沿った第2信号分布を前記タッチセンサから取得する取得ステップと、取得された前記第1信号分布及び前記第2信号分布を合成することにより2次元信号分布を生成し、又は、前記第1信号分布の形状に関する第1特徴量分布及び前記第2信号分布の形状に関する第2特徴量分布を合成することにより2次元特徴量分布を生成する合成ステップと、予め定められた入出力モデルを用いて、合成された前記2次元信号分布又は前記2次元特徴量分布から前記電子ペンの指示位置又は姿勢を推定する推定ステップと、を1つ又は複数のプロセッサが実行する。
【0014】
本発明の第3態様における入力システムは、上記したペン状態検出回路を含んで構成される電子機器と、前記電子機器とともに用いられる電子ペンと、前記電子機器と双方向に通信可能であり、前記ペン状態検出回路に構築される入出力モデルを記述するモデルパラメータを記憶可能に構成されるサーバ装置と、を備え、前記電子機器は、前記電子ペンが検出された場合に、該電子ペンに対応するモデルパラメータの送信を前記サーバ装置に要求する。
【発明の効果】
【0015】
本発明によれば、少なくとも1つの電極を有する電子ペンにおけるペン状態の推定精度を向上することができる。
【図面の簡単な説明】
【0016】
【
図1】本発明の一実施形態における入力システムの全体構成図である。
【
図2】
図1に示す入力システムの動作に関するシーケンス図である。
【
図3】
図1における電子機器の構成の一例を示すブロック図である。
【
図5】タッチICによるペン状態の検出動作に関するフローチャートである。
【
図7】タッチセンサから取得される1D信号分布の一例を示す図である。
【
図8】電子ペンのコンタクト状態時にタッチセンサから検出される局所分布の一例を示す図である。
【
図9】電子ペンのコンタクト状態時にタッチセンサから検出される局所分布の一例を示す図である。
【
図10】1D信号分布の合成方法の一例を示す図である。
【
図11】1D特徴量分布の算出方法の一例を示す図である。
【
図12】第1例の入出力モデルを構成するネットワーク構造を示す図である。
【
図13】第2例の入出力モデルを構成するネットワーク構造を示す図である。
【
図14】第3例の入出力モデルを構成するネットワーク構造を示す図である。
【
図15】第4例の入出力モデルを構成するネットワーク構造を示す図である。
【発明を実施するための形態】
【0017】
以下、添付図面を参照しながら本発明の実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。
【0018】
[入力システム10の説明]
<全体構成>
図1は、本発明の一実施形態における入力システム10の全体構成図である。この入力システム10は、電子機器12及び電子ペン14を用いた筆記入力を受け付けて、筆記入力の再現性が高いデジタルインク(あるいはインクデータ)を生成可能に構成される。この入力システム10は、具体的には、少なくとも1台の電子機器12と、少なくとも1本の電子ペン14と、サーバ装置16と、を含んで構成される。各々の電子機器12は、ネットワークNTを介してサーバ装置16と相互に通信可能である。
【0019】
電子機器12は、タッチパネルディスプレイ32(
図3)を備える汎用機器又は専用機器である。汎用機器の例として、タブレット型端末、スマートフォン、パーソナルコンピュータなどが挙げられる。一方、専用機器の例として、デジタルサイネージ(いわゆる電子看板)、ウェアラブル端末などが挙げられる。
【0020】
電子ペン14は、ペン型のポインティングデバイスであり、電子機器12との間で形成される静電結合を介して一方向又は双方向に通信可能に構成されている。ユーザは、電子ペン14を把持し、所定のタッチ面にペン先を押し当てながら移動させることで、電子機器12に絵や文字を書き込むことができる。この電子ペン14は、例えば、アクティブ静電結合方式(AES)又は電磁誘導方式(EMR)のスタイラスである。
【0021】
サーバ装置16は、モデルパラメータ20の提供に関わる統括的な制御を行うコンピュータであり、クラウド型あるいはオンプレミス型のいずれであってもよい。ここで、サーバ装置16を単体のコンピュータとして図示しているが、これに代わって、サーバ装置16は、分散システムを構築するコンピュータ群であってもよい。サーバ装置16は、具体的には、サーバ側通信部22と、サーバ側制御部24と、サーバ側記憶部26と、を含んで構成される。
【0022】
サーバ側通信部22は、外部装置に対して電気信号を送受信するインターフェースである。これにより、サーバ装置16は、電子機器12からモデル選択情報18を受信し、モデルパラメータ20を電子機器12に送信することができる。
【0023】
サーバ側制御部24は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)を含む演算処理装置によって構成される。サーバ側制御部24は、サーバ側記憶部26に格納されたプログラムを読み出して実行することで、後で詳述するモデル選択部28として機能する。
【0024】
サーバ側記憶部26は、非一過性であり、かつコンピュータ読み取り可能な記憶媒体、例えば、ハードディスクドライブ(HDD:Hard Disk Drive)又はソリッドステートドライブ(SSD:Solid State Drive)から構成される。これにより、サーバ側記憶部26には、モデルパラメータ20に関するデータベース(以下、パラメータDB30)が構築されている。
【0025】
<基本動作>
この実施形態における入力システム10は、以上のように構成される。続いて、入力システム10の動作、具体的には、電子機器12、電子ペン14、及びサーバ装置16の連携動作について、
図2のシーケンス図を参照しながら説明する。このシーケンス図のステップS1,S9は電子ペン14及び電子機器12の協働により、ステップS4~S6はサーバ装置16によりそれぞれ実行される。一方、残りのステップは電子機器12により実行される。
【0026】
図2のステップS1において、電子機器12は、ユーザの筆記入力に用いられる電子ペン14を検出する。具体的には、電子機器12は、電子機器12自身の周辺にある電子ペン14とのペアリングを試み、このペアリングの成功を通じて電子ペン14を検出する。あるいは、電子機器12は、ユーザが電子ペン14に関する情報を入力する操作を受け付けることで、当該電子ペン14を検出してもよい。
【0027】
ステップS2において、電子機器12は、電子ペン14及び/又は電子機器12自身からモデル選択情報18を取得する。
【0028】
ステップS3において、電子機器12は、ステップS2で取得されたモデル選択情報18を含むデータを、電子機器12の識別情報(つまり、機器ID)と対応付けた状態でサーバ装置16に送信する。
【0029】
ステップS4において、サーバ装置16は、電子機器12からのデータの受信を通じて、モデル選択情報18を取得する。
【0030】
ステップS5において、サーバ側制御部24(より詳しくは、モデル選択部28)は、ステップS4で取得されたモデル選択情報18を検索キーとして、サーバ側記憶部26に構築されるパラメータDB30を参照する。これにより、複数組のモデルパラメータ20のうち、モデル選択情報18に対応する入出力モデルを特定可能な1組のモデルパラメータ20が選択される。
【0031】
ステップS6において、サーバ装置16は、ステップS5で選択されたモデルパラメータ20を含むデータを、該当するモデル選択情報18に紐付けられた機器IDを有する電子機器12に送信する。
【0032】
ステップS7において、電子機器12は、サーバ装置16からのデータの受信を通じて、モデルパラメータ20を取得する。このモデルパラメータ20は、電子機器12のメモリ42(
図3)に格納される。
【0033】
ステップS8において、電子機器12は、ステップS7で取得されたモデルパラメータ20を電子機器12自身が利用可能な態様にて設定を行う。例えば、ホストプロセッサ40(
図3)は、モデルパラメータ20の各値を、それぞれ対応するメモリ又はレジスタの記憶領域にそれぞれ書き込む。
【0034】
ステップS9において、電子機器12は、電子ペン14と連携して所望の筆記動作を行う。これにより、電子機器12は、自機に対応するモデルパラメータ20が設定された状態で、デジタルインク56(
図3)の生成処理やデジタルインク56を用いた描画処理を行うことができる。
【0035】
[電子機器12の説明]
<ブロック図>
図3は、
図1における電子機器12の構成の一例を示すブロック図である。この電子機器12は、具体的には、タッチパネルディスプレイ32と、表示駆動IC(Integrated Circuit)34と、タッチIC36(「ペン状態検出回路」に相当)と、通信モジュール38と、ホストプロセッサ40と、メモリ42と、を含んで構成される。
【0036】
タッチパネルディスプレイ32は、コンテンツを可視的に表示可能な表示パネル44と、平面視にて表示パネル44と重なるように配置される面状のタッチセンサ46と、を含んで構成される。本図の例では、タッチセンサ46は、表示パネル44に外側から取り付ける「外付け型」のセンサであるが、これに代えて表示パネル44と一体的に構成される「内蔵型」(さらに分類すると、オンセル型又はインセル型)のセンサであってもよい。
【0037】
表示パネル44は、モノクロ画像又はカラー画像を表示可能であり、例えば、液晶パネル、有機EL(Electro-Luminescence)パネル、電子ペーパーから構成される。なお、表示パネル44に可撓性をもたせることで、ユーザは、電子機器12のタッチ面を湾曲又は屈曲させた状態のまま、手書きによる入力操作を行うことができる。
【0038】
タッチセンサ46は、複数のセンサ電極46s(
図6)を面状に配置してなる静電容量方式のセンサである。このタッチセンサ46は、例えば、センサ座標系のX方向(第1方向)の位置を検出するための複数本のXライン電極と、X方向に交差するY方向(第2方向)の位置を検出するための複数本のYライン電極と、を含んで構成される。この場合、Xライン電極は、Y方向に延びて設けられるとともに、X方向に沿って等間隔に配置されている。Yライン電極は、X方向に延びて設けられるとともに、Y方向に沿って等間隔に配置されている。なお、タッチセンサ46は、上記した相互容量方式のセンサに代えて、ブロック状の電極を二次元格子状に配置した自己容量方式のセンサであってもよい。
【0039】
表示駆動IC34は、表示パネル44と電気的に接続され、かつ表示パネル44の駆動制御を行う集積回路である。表示駆動IC34は、ホストプロセッサ40から供給された表示信号に基づいて表示パネル44を駆動する。これにより、表示パネル44上には、デジタルインク56が示すコンテンツが表示される。
【0040】
タッチIC36は、タッチセンサ46と電気的に接続され、かつタッチセンサ46の駆動制御を行う集積回路である。タッチIC36は、ホストプロセッサ40から供給された制御信号に基づいてタッチセンサ46を駆動する。これにより、タッチIC36は、電子ペン14の状態を検出する「ペン検出」や、ユーザの指などによるタッチを検出する「タッチ検出」を行う検出部50として機能する。
【0041】
この「ペン検出」の機能は、例えば、タッチセンサ46のスキャン機能、ダウンリンク信号の受信・解析機能、電子ペン14の状態(例えば、位置、姿勢、筆圧)の推定機能、電子ペン14に対する指令を含むアップリンク信号の生成・送信機能を含む。また、「タッチ検出」の機能は、例えば、タッチセンサ46の二次元スキャン機能、タッチセンサ46上の検出マップの取得機能、検出マップ上の領域分類機能(例えば、指、手の平などの分類)を含む。
【0042】
このように、電子ペン14及びタッチセンサ46による入力機能と、表示パネル44による出力機能を組み合わせることで、グラフィカル・ユーザ・インターフェース(GUI)が構築される。
【0043】
通信モジュール38は、外部装置との間で有線通信又は無線通信を行う通信機能を有する。これにより、これにより、電子機器12は、モデル選択情報18をサーバ装置16に送信し、サーバ装置16からモデルパラメータ20を受信することができる。
【0044】
ホストプロセッサ40は、CPU、GPU、あるいはMPU(Micro-Processing Unit)を含む演算処理装置によって構成される。ホストプロセッサ40は、メモリ42に格納された情報処理プログラムを読み出して実行することで、インク生成部52及び描画処理部54として機能する。インク生成部52は、タッチIC36から逐次的に供給される検出データに基づいて、デジタルインク56を生成する生成処理を行う。描画処理部54は、検出データの時系列を用いて、表示パネル44の表示領域内にコンテンツを描画する描画処理を行う。
【0045】
メモリ42は、非一過性であり、かつ、コンピュータ読み取り可能な記録媒体(あるいは、記憶媒体)で構成されている。ここで、コンピュータ読み取り可能な記録媒体は、HDDを含む記憶装置、あるいは、光磁気ディスク、ROM(Read Only Memory)、CD(Compact Disc)-ROM、フラッシュメモリなどの可搬媒体である。本図の例では、メモリ42には、モデル選択情報18、モデルパラメータ20、及びデジタルインク56が格納されている。
【0046】
モデル選択情報18は、タッチIC36に構築される入出力モデルの選択に必要な情報であり、具体的には、[1]電子ペン14、電子機器12、及びタッチセンサ46の種別、並びにユーザのうちの少なくとも1つに関する識別情報や、[2]電子ペン14又は電子機器12の仕様に関する仕様情報などを含む。
【0047】
モデルパラメータ20は、タッチIC36に構築される入出力モデルを記述するパラメータセットである。モデルパラメータ20の各値は、機械学習を通じて予め決定される。モデルパラメータ20は、例えば、演算ユニットの活性化関数を記述する係数、演算ユニット間の結合強度を含む「可変パラメータ」と、学習モデルのアーキテクチャを特定するための「固定パラメータ」(いわゆるハイパーパラメータ)から構成される。ハイパーパラメータの例として、各層を構成する演算ユニットの個数、中間層の数が挙げられる。例えば、アーキテクチャが固定されている場合、モデルパラメータ20は可変パラメータのみから構成されてもよい。
【0048】
デジタルインク56は、手書きによるコンテンツを表現するためのインクデータである。デジタルインク56を記述するための「インク記述言語」として、例えば、WILL(Wacom Ink Layer Language)、InkML(Ink Markup Language)、ISF(Ink Serialized Format)が挙げられる。
【0049】
<検出部50の機能ブロック>
図4は、
図3に示す検出部50の機能ブロック図である。この検出部50は、分布取得部60と、分布合成部62と、推定器64と、を含んで構成される。
【0050】
分布取得部60は、電子ペン14が有する電極の接近に伴う静電容量(より詳しくは、相互容量又は自己容量)の変化を示す1次元信号分布(以下、「1D信号分布」ともいう)をタッチセンサ46から取得する。1D信号分布は、タッチセンサ46上にて検出される2次元マップの断面形状に相当する。以下、1D信号分布の種類を区別するため、タッチセンサ46上のX方向に沿った信号分布を「X信号分布」といい、タッチセンサ46上のY方向に沿った信号分布を「Y信号分布」という場合がある。
【0051】
分布合成部62は、分布取得部60により取得されたX信号分布及びY信号分布を合成することにより、2次元信号分布(以下、「2D信号分布」ともいう)を生成する。具体的には、分布合成部62は、[1]X信号分布に対して補間演算を施して、計算対象のX座標に対応する信号値(以下、「第1対応値」ともいう)を求め、[2]Y信号分布に対して補間演算を施して、計算対象のY座標に対応する信号値(以下、「第2対応値」ともいう)を求め、[3]第1対応値と第2対応値とを合成(具体的には、乗算や加算など)する。
【0052】
分布合成部62は、必要に応じて、1次元信号分布の形状に関する特徴量(以下、「1次元特徴量分布」あるいは「1D特徴量分布」ともいう)を算出し、当該1D特徴量分布同士を合成してもよい。この場合、X信号分布に対応する「X特徴量分布」とY信号分布に対応する「Y特徴量分布」との合成により、2次元特徴量分布(以下、「2D特徴量分布」ともいう)が生成される。特徴量分布の合成は、上記した信号分布の場合と同様に行われる。特徴量の例として、信号分布の形状を特徴付ける様々な特徴量、例えば、信号分布の傾き又は該傾きの絶対値などが挙げられる。
【0053】
推定器64は、分布合成部62により合成された2D信号分布又は2D特徴量分布から、電子ペン14の状態(以下、「ペン状態」ともいう)を推定する。このペン状態には、[1]電子ペン14の指示位置(例えば、センサ座標系上の座標値)、[2]電子ペン14の姿勢(例えば、角度や方位)、[3]指示位置や姿勢の時間変化量(例えば、速度や加速度)などが含まれる。推定器64は、モデルパラメータ20(
図1)の各値により演算規則が定められる学習器から構成される。推定器64は、具体的には、特徴マップ生成部66、データ出力部68、及びデータ解釈部70として機能する。
【0054】
特徴マップ生成部66は、合成された2D信号分布又は2D特徴量分布から、当該分布の形状に関する特徴量を示す特徴マップ(Feature Map)を生成する。この特徴マップは、任意のサイズ(X画素数/Y画素数/チャンネル数)を有するボクセルデータから構成される。
【0055】
データ出力部68は、特徴マップ生成部66により生成された特徴マップから、電子ペン14の指示位置又は姿勢を推定した結果を示すデータ(以下、「出力データ」という)を出力する。この出力データは、電子ペン14の指示位置又は姿勢を示す絶対値(例えば、100mm)で定義されてもよいし、相対値(4例えば、[0,1]の範囲で正規化された値)で定義されてもよい。
【0056】
データ解釈部70は、データ出力部68からの出力データの内容を解釈し、電子ペン14の指示位置又は姿勢を計算する。例えば、出力データの値が指示位置の座標を示す相対値である場合、データ解釈部70は、基準値を示すオフセット値を加算又は乗算することにより、指示位置又は姿勢の絶対値を求める。その結果、電子ペン14の位置・姿勢情報が得られる。
【0057】
<ペン状態の検出動作>
続いて、
図3のタッチIC36(より詳しくは、
図3及び
図4の検出部50)によるペン状態の検出動作について、
図4の機能ブロック図、
図5のフローチャート、及び
図6~
図11を参照しながら説明する。
【0058】
図5のステップSP10において、検出部50は、検出タイミングが到来したか否かを確認する。検出タイミングがまだ到来していない場合(ステップSP10:NO)、検出部50は、当該タイミングが到来するまでの間、ステップSP10に留まる。一方、検出タイミングが到来した場合(ステップSP10:YES)、検出部50は、次のステップSP12に進む。
【0059】
ステップSP12において、分布取得部60は、センサ電極46s毎のスキャン動作を通じて、タッチセンサ46からX信号分布及びY信号分布をそれぞれ取得する。ここでは、X信号分布を例に挙げて説明する。
【0060】
図6は、
図1及び
図3の電子ペン14を部分的に示す模式図である。電子ペン14の先端には、概略円錐状のチップ電極80と、無底円錐台状のアッパー電極82が同軸的に設けられている。チップ電極80及びアッパー電極82はそれぞれ、発振回路84が生成する信号(いわゆるダウンリンク信号)を出力するためのペン側電極である。発振回路84が発振周波数を変更したり送信先を時分割で切り替えたりすることで、電子ペン14は、チップ電極80及びアッパー電極82を介して2種類のダウンリンク信号を出力することができる。
【0061】
タッチIC36(
図3)は、チップ電極80の接近に伴う静電容量の変化を示す信号分布(以下、「チップ側の信号分布」という)を、複数のセンサ電極46sから取得する。チップ側の信号分布は、典型的には、位置Q1に1つのピークをもつ形状を有する。ここで、位置Q1は、チップ電極80の頂部(位置P1)をセンサ平面上に投影した位置に相当する。
【0062】
同様に、タッチIC36は、アッパー電極82の接近に伴う静電容量の変化を示す信号分布(以下、「アッパー側の信号分布」という)を、複数本のセンサ電極46sから取得する。アッパー側の信号分布は、典型的には、位置Q2に1つ又は2つのピークをもつ形状を有する。ここで、位置Q2は、アッパー電極82の肩部(位置P2)をセンサ平面上に投影した位置に相当する。また、後述する位置Q3は、アッパー電極82の上底面の中心(位置P3)をセンサ平面上に投影した位置に相当する。
【0063】
図7は、タッチセンサ46から取得される1D信号分布の一例を示す図である。グラフの横軸はライン番号(つまり、センサ電極46sの識別番号)を示すとともに、グラフの縦軸は信号値を示している。ここでは、2本の電子ペン14が同時に検出されている状況を想定する。この場合、1D信号分布は、電子ペン14の指示位置を中心とする幅が狭い2本のピークが発生する。一方、2本のピークを除く残りの位置では、信号値が0又は微小値となっている。以下、1D信号分布の全体を「全体分布」といい、静電容量の変化が相対的に大きい局所的な1D信号分布を「局所分布」という場合がある。この「相対的に大きい」とは、局所分布以外の位置と比べて変化量が大きいことであってもよいし、所定の閾値と比べて変化量が大きいことであってもよい。
【0064】
図8及び
図9は、電子ペン14のコンタクト状態時にタッチセンサ46から検出される1D信号分布の一例を示す図である。より詳しくは、
図8はチップ側の局所分布を示すとともに、
図9はアッパー側の局所分布を示している。グラフの横軸は電子ペン14の指示位置を基準とする相対位置(単位:mm)を示すとともに、グラフの縦軸は[0,1]に正規化された信号値(単位:なし)を示している。この信号値は、電子ペン14が接近した時に「正」になるように正負の符号が定義されている。両方の信号分布はそれぞれ、電子ペン14の傾斜角度に応じて形状が変化する。本図では、傾斜角度をそれぞれ変化させて得られた3本の曲線を重ねて表記している。
【0065】
図8に示すように、チップ側の局所分布は、傾斜角度の大きさにかかわらず、概ね類似した形状を有する。なぜならば、電子ペン14を使用する間、通常、チップ電極80の頂部がセンサ平面に最も近い位置にあり、位置Q1が位置P1に概ね一致するからである。一方、
図9に示すように、アッパー側の局所分布は、傾斜角度の変化に応じてピークの位置又は個数が大きく変化する。なぜならば、電子ペン14を使用する間、通常、アッパー電極82の肩部のいずれかの箇所がセンサ平面に最も近い位置にあり、位置Q1,Q2の間の距離が傾斜角度に応じて変化するからである。
【0066】
この位置Q1,Q2の座標を用いて、電子ペン14の位置・姿勢(つまり、ペン状態)を推定することができる。例えば、指示位置は、
図7に示す位置Q1に相当する。また、傾斜角度は、センサ平面と電子ペン14の軸とのなす角θに相当する。つまり、センサ平面に対して水平な状態ではθ=0°となり、センサ平面に対して垂直な状態ではθ=90°となる。
【0067】
図5のステップSP14において、分布合成部62は、ステップSP12で取得されたX信号分布及びY信号分布を合成することにより、2D信号分布を生成する。あるいは、分布合成部62は、X信号分布に関するX特徴量分布及びY信号分布に関するY特徴量分布をそれぞれ求め、X特徴量分布及びY特徴量分布を合成することにより、2D特徴量分布を生成する。
【0068】
図10は、1D信号分布の合成方法の一例を示す図である。第1テーブル90はX方向の全体分布又は局所分布を、第2テーブル92はY方向の全体分布又は局所分布をそれぞれ示している。また、第1テーブル90を構成するセルはX軸上の位置(絶対座標又は相対座標)を、第2テーブル92を構成するセルはY軸上の位置(絶対座標又は相対座標)をそれぞれ示している。
【0069】
本図の例では、分布合成部62は、第1テーブル90を参照して得られる「第1入力値」と第1テーブル90を参照して得られる「第2入力値」とを乗算し、これらの乗算値を出力する乗算器から構成される。X軸上の位置毎かつY軸上の位置毎に乗算値を計算して配列することで、2次元信号分布を示すマップ94が得られる。
【0070】
図11は、1D特徴量分布の算出方法の一例を示す図である。
図11(a)に示すように、ライン番号の若い方から順に、S
n-2=0.15/S
n-1=0.40/S
n=0.80/S
n+1=0.30/S
n+2=0.10である信号分布が得られたとする。なお、その他のライン番号における信号値は、いずれも0であるか無視できる程度に微小な値である。例えば、次の式(1),(2)に従って、{G
i}及び{F
i}をそれぞれ計算する。
G
i=(S
i-S
i-2)+(S
i-1-S
i-3) ・・・(1)
F
i=|G
i|/max{|G
i|} ・・・(2)
【0071】
その結果、
図11(b)に示す「符号あり傾き」{G
i}、
図11(c)に示す特徴量{F
i}がそれぞれ算出される。式(2)から理解されるように、この特徴量{F
i}は、[0,1]の範囲で正規化された「符号なし傾き」に相当する。
【0072】
図5のステップSP16において、推定器64(より詳しくは、特徴マップ生成部66)は、ステップSP14で合成された2D信号分布から、ペン状態を推定するための特徴マップを生成する。
【0073】
ステップSP18において、推定器64(より詳しくは、データ出力部68)は、ステップSP16で生成された特徴マップから、電子ペン14の指示・姿勢に相関するデータ(つまり、出力データ)を生成して出力する。
【0074】
ステップSP20において、推定器64(より詳しくは、データ解釈部70)は、ステップSP18で出力された出力データを、電子ペン14の位置・姿勢を示す位置・姿勢情報に変換する。
【0075】
その後、ステップSP10に戻って、検出部50は、予め定められた順序に従って、ステップSP10~SP20を順次実行する。これにより、電子ペン14の指示位置や姿勢が逐次検出される。
【0076】
[入出力モデル64A~64Dの具体例]
続いて、電子ペン14の状態を推定するための入出力モデル64A~64Dの具体例について、
図12~
図15を参照しながら詳しく説明する。なお、
図12~
図15に示す塗り潰しがなされていない丸印は、ニューラルネットワークを構成する演算ユニットに相当する。
【0077】
<第1例>
図12は、第1例の入出力モデル64Aを構成するネットワーク構造を示す図である。この入出力モデル64Aは、いわゆる畳み込みニューラルネットワーク(CNN)から構成される。この入出力モデル64Aは、入力層100と、中間層群102と、出力層104と、から構成される。
【0078】
入力層100は、アッパー側の2D信号分布を入力するためのNx・Ny個の演算ユニットから構成される。NxはX方向の画素数に相当するとともに、NyはY方向の画素数に相当する。第1例では、2D信号分布は、1つのカラーチャンネル数を有する画像信号として表現される。
【0079】
中間層群102は、1つ又は複数の中間層、第1例では、直列的に接続される4つの中間層102a,102b,102c,102dから構成される。各々の中間層は、例えば、[1]畳み込み層、[2]プーリング層、又は[3]正規化層のいずれかの演算層から構成される。中間層104dからの特徴マップは、出力層104への供給に先立ち平坦化(1次元化)される。
【0080】
出力層104は、電子ペン14の指示位置を出力するための2つの演算ユニットから構成される。一方の演算ユニットはX座標の相対値を出力するとともに、他方の演算ユニットはY座標の相対値を出力する。相対値は、例えば、下限値から上限値までの範囲が[0,1]で正規化された値である。
【0081】
このように、入出力モデル64Aは、2D信号分布又は2D特徴量分布を入力とし、電子ペン14の指示位置を示す座標値を出力とする畳み込みニューラルネットワークを含む機械学習モデルであってもよい。第1例の構成により、アッパー側の2D信号分布に基づいて、電子ペン14の指示位置がより高精度に推定される。
【0082】
<第2例>
図13は、第2例の入出力モデル64Bを構成するネットワーク構造を示す図である。この入出力モデル64Bは、出力側が2つに分岐している点で、第1例(
図12の入出力モデル64A)とは異なるネットワーク構造を有する。
【0083】
具体的には、入出力モデル64Bは、入力層110と、中間層群112と、出力層群114と、を含んで構成される。入力層110は、第1例(
図12の入力層100)の場合と同様に、アッパー側の2D信号分布を入力するためのNx・Ny個の演算ユニットから構成される。
【0084】
中間層群112は、複数の中間層、第2例では、5つの中間層112a,112b,112c,112d,112eから構成される。前段の3つの中間層112a~112cは、直列的に接続されている。一方、後段の2つの中間層112d,112eは、上流側にある中間層112cの出力側に対して並列的に接続されている。
【0085】
出力層群114は、中間層112dに接続される出力層114dと、中間層112eに接続される出力層114eと、を備える。出力層114dは、電子ペン14の指示位置である「X座標の相対値」を出力するための1つの演算ユニットから構成される。出力層114eは、電子ペン14の指示位置である「Y座標の相対値」を出力するための1つの演算ユニットから構成される。
【0086】
このように、入出力モデル64Bは、2D信号分布又は2D特徴量分布を入力とし、電子ペン14の指示位置を示す座標値を出力とする畳み込みニューラルネットワークを含む機械学習モデルであってもよい。第2例の構成によっても、第1例の場合と同様に、アッパー側の2D信号分布に基づいて、電子ペン14の指示位置がより高精度に推定される。
【0087】
<第3例>
図14は、第3例の入出力モデル64Cを構成するネットワーク構造を示す図である。この入出力モデル64Cは、入力層120と、中間層群122と、出力層群124と、を含んで構成される。
【0088】
入力層120は、第1例及び第2例の場合と同様に、2D信号分布を入力するためのNx・Ny個の演算ユニットから構成される。ただし、第3例における入力信号は、2つのカラーチャンネルを有する画像信号である。例えば、1番目のカラーチャンネルはアッパー側の2D信号分布に相当し、2番目のカラーチャンネルはチップ側の2D信号分布に相当する。
【0089】
中間層群122は、第2例(
図13の中間層群112)の場合と同様に、5つの中間層122a,122b,122c,122d,122eから構成される。後段の2つの中間層122d,122eは、上流側にある中間層122cの出力側に対して並列的に接続されている。
【0090】
出力層群124は、中間層122dに接続される出力層124dと、中間層122eに接続される出力層124eと、を備える。出力層124dは、電子ペン14の姿勢である「傾き角の相対値」を出力するための1つの演算ユニットから構成される。出力層124eは、電子ペン14の姿勢である「回転角の相対値」を出力するための1つの演算ユニットから構成される。
【0091】
このように、入出力モデル64Cは、2D信号分布又は2D特徴量分布を入力とし、電子ペン14の姿勢を示す傾き角及び回転角のうち少なくとも1つを出力とする畳み込みニューラルネットワークを含む機械学習モデルであってもよい。第3例の構成により、上記した入出力モデル64Cを設けることで、アッパー側及びチップ側の2D信号分布の組み合わせに基づいて、電子ペン14の姿勢が高精度に推定される。
【0092】
<第4例>
図15は、第4例の入出力モデル64Dを構成するネットワーク構造を示す図である。この入出力モデル64Dは、第3例に示す入出力モデル64C(
図14)を含んで構成される。具体的には、入出力モデル64Dは、入出力モデル64Cの他に、当該入出力モデル64Cの出力側に並列的に接続される2つのサブモデル130,140を含んで構成される。
【0093】
サブモデル130は、入力層132と、中間層群134と、出力層136と、を備える階層型ニューラルネットワークを含む。入力層132は、[1]アッパー側のX信号分布と、[2]角度の推定値と、を入力するための(Nx+2)個の演算ユニットから構成される。X信号分布は、入出力モデル64Cに入力された2D信号分布の生成源となった分布と同一である。角度の推定値は、入出力モデル64Cから出力された傾き角及び回転角の推定値とそれぞれ同一である。
【0094】
中間層群134は、1つ又は複数の中間層から構成される。出力層136は、電子ペン14の指示位置である「X座標の相対値」を出力するための1つの演算ユニットから構成される。
【0095】
サブモデル140は、サブモデル130と同様に、入力層142と、中間層群144と、出力層146と、を備える階層型ニューラルネットワークを含む。入力層142は、[1]アッパー側のY信号分布と、[2]角度の推定値と、を入力するための(Ny+2)個の演算ユニットから構成される。Y信号分布は、入出力モデル64Cに入力された2D信号分布の生成源となった分布と同一である。角度の推定値は、入出力モデル64Cから出力された傾き角及び回転角の推定値とそれぞれ同一である。
【0096】
中間層群144は、1つ又は複数の中間層から構成される。出力層146は、電子ペン14の指示位置である「Y座標の相対値」を出力するための1つの演算ユニットから構成される。
【0097】
このように、入出力モデル64Dは、
図14の入出力モデル64Cを含む機械学習モデルであってもよい。言い換えれば、入出力モデル64Cにサブモデル130,140を接続することで、新たな入出力モデル64Dが構築されてもよい。第4例の構成により、1D信号分布及び2D信号分布の組み合わせ、あるいは1D特徴量分布及び2D特徴量分布の組み合わせに基づいて、電子ペン14の姿勢及び指示位置が高精度に推定される。
【0098】
例えば、サブモデル130は、入出力モデル64Cから出力された傾き角及び回転角のうち少なくとも1つと、X信号分布又はX特徴量分布とを入力とし、電子ペン14の指示位置を示すX座標値を出力とする第1階層型ニューラルネットワークであってもよい。また、サブモデル140は、入出力モデル64Cから出力された傾き角及び回転角のうち少なくとも1つと、Y信号分布又はY特徴量分布とを入力とし、電子ペン14の指示位置を示すY座標値を出力とする第2階層型ニューラルネットワークであってもよい。
【0099】
[実施形態のまとめ]
以上のように、この実施形態におけるペン状態検出回路(ここでは、タッチIC36)は、複数のセンサ電極46sを面状に配置してなる静電容量方式のタッチセンサ46により検出された信号分布に基づいて、少なくとも1つの電極を有する電子ペン14の状態を検出する。
【0100】
そして、タッチIC36は、電極の接近に伴う静電容量の変化を示す1次元信号分布であって、タッチセンサ46上の第1方向(X方向)に沿ったX信号分布、及び、第1方向と交差する第2方向(Y方向)に沿ったY信号分布をタッチセンサ46から取得する取得ステップ(
図5のSP12)と、取得されたX信号分布及びY信号分布を合成することにより2D信号分布を生成し、又は、X信号分布の形状に関するX特徴量分布及びY信号分布の形状に関するY特徴量分布を合成することにより2D特徴量分布を生成する合成ステップ(SP14)と、予め定められた入出力モデル64A~64Dを用いて、合成された2D信号分布又は2D特徴量分布から電子ペン14の指示位置又は姿勢を推定する推定ステップ(SP16~SP20)と、を実行する。
【0101】
このように構成したので、少なくとも1つの電極を有する電子ペン14におけるペン状態の推定精度を向上することができる。特に、X信号分布及びY信号分布(あるいは、X特徴量分布及びY特徴量分布)を合成して2D信号分布(あるいは、2D特徴量分布)を算出するので、タッチセンサ46から2D信号分布を取得する場合と比べて、取り扱うデータ量をより少なくすることが可能となり、その分だけ演算処理の高速化が図られる。
【0102】
また、合成ステップでは、X信号分布においてX方向の位置に対応する第1対応値と、Y信号分布においてY方向の位置に対応する第2対応値とを乗算することにより2D信号分布を生成してもよい。あるいは、合成ステップでは、X特徴量分布においてX方向の位置に対応する第1対応値と、Y方向の位置に対応する第2対応値とを乗算することにより2D特徴量分布を生成してもよい。
【0103】
また、電子ペン14に複数の電極が設けられる場合、2D信号分布又は2D特徴量分布は、電極に対応する複数のカラーチャンネルを有する画像信号から構成されてもよい。特に、電子ペン14には、少なくとも、電子ペン14の軸に対称な形状を有し、かつ電子ペン14の先端に設けられるチップ電極80と、電子ペン14の軸に対称な形状を有し、かつチップ電極80よりも基端側に設けられるアッパー電極82と、が設けられてもよい。これにより、電子ペン14の姿勢(例えば、傾き角や回転角)を高精度に推定することができる。
【0104】
また、この実施形態における入力システム10は、ペン状態検出回路(ここでは、タッチIC36)を含んで構成される電子機器12と、電子機器12とともに用いられる電子ペン14と、電子機器12と双方向に通信可能であり、タッチIC36に構築される入出力モデル64A~64Dを記述するモデルパラメータ20を記憶可能に構成されるサーバ装置16と、を備える。電子機器12は、電子ペン14が検出された場合に、該電子ペン14に対応するモデルパラメータ20の送信をサーバ装置16に要求してもよい。これにより、電子機器12は、電子ペン14に応じた入出力モデル64A~64Dを自動的に利用することができる。
【0105】
[変形例]
なお、本発明は、上記した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。あるいは、技術的に矛盾が生じない範囲でフローチャートを構成する各ステップの実行順を変更してもよい。
【符号の説明】
【0106】
10…入力システム、12…電子機器(ペン状態検出装置)、14…電子ペン、16…サーバ装置、36…タッチIC(ペン状態検出回路)、46…タッチセンサ、50…検出部、64…推定器、64A~64D…入出力モデル、80…チップ電極(電極)、82…アッパー電極(電極)、90…第1テーブル(第1信号分布)、92…第2テーブル(第2信号分布)、94…2Dマップ(2次元信号分布)