特許 7181300 インタフェース装置及びオンパネルパッド

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-21

(45)【発行日】2022-11-30

(54)【発明の名称】インタフェース装置及びオンパネルパッド

(51)【国際特許分類】

   G06F 3/041 20060101AFI20221122BHJP

   G06F 3/0338 20130101ALI20221122BHJP

   G06F 3/044 20060101ALI20221122BHJP

   G06F 3/023 20060101ALI20221122BHJP

   G06F 3/02 20060101ALI20221122BHJP

【ＦＩ】

G06F3/041 512

G06F3/0338 411

G06F3/044 120

G06F3/023 460

G06F3/02 F

【請求項の数】 14

(21)【出願番号】P 2020539959

(86)(22)【出願日】2018-08-30

(86)【国際出願番号】 JP2018032164

(87)【国際公開番号】W WO2020044507

(87)【国際公開日】2020-03-05

【審査請求日】2020-11-25

(73)【特許権者】

【識別番号】000139403

【氏名又は名称】株式会社ワコム

(74)【代理人】

【識別番号】100176072

【弁理士】

【氏名又は名称】小林 功

(74)【代理人】

【識別番号】100169225

【弁理士】

【氏名又は名称】山野 明

(72)【発明者】

【氏名】ホルヌング ティロ ナオキ

(72)【発明者】

【氏名】劉 叡明

(72)【発明者】

【氏名】野村 佳生

(72)【発明者】

【氏名】三好 員弘

(72)【発明者】

【氏名】佐野 重幸

【審査官】原 秀人

(56)【参考文献】

【文献】特開２０１３－０４１３２０（ＪＰ，Ａ）

【文献】特開２０１４－２３８７６０（ＪＰ，Ａ）

【文献】特許第６３４２１０５（ＪＰ，Ｂ１）

【文献】笠原 一輝，Windowsの使い方を拡張する「Surface Dial」の魅力とは，impress watch [online]，2016年12月30日，[検索日 2022.01.21], インターネット <URL: https://pc.watch.impress.co.jp/docs/topic/review/1037393.html>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４１－３／０４４

Ｇ０６Ｆ ３／０３

Ｇ０６Ｆ ３／０２３

Ｇ０６Ｆ ３／０２

(57)【特許請求の範囲】

【請求項1】

静電容量方式のタッチパネルディスプレイを備える電子機器に対してユーザによる操作に応じた入力を行うインタフェース装置であって、
前記タッチパネルディスプレイの上に配置された状態にて、前記タッチパネルディスプレイに含まれるセンサ電極に静電容量の２次元パターンを生成させるように構成され、非導電性かつ弾性材料の操作要素であり前記ユーザによる操作を受け付け可能な操作要素が設けられるオンパネルパッドと、
前記オンパネルパッドが前記タッチパネルディスプレイの上に配置された状態で生成される２次元パターンが検出された場合に、前記非導電性かつ弾性材料の操作要素を変形させる前記ユーザの導体の指によって生じる静電容量の変化であり、前記検出された２次元パターンに関連づけられている領域内の静電容量の変化に伴って、前記オンパネルパッドの操作状態を示す操作情報を含むデータを生成又は出力するセンサコントローラと、
を備えることを特徴とするインタフェース装置。

【請求項2】

前記オンパネルパッドは、
少なくとも表面及び背面を有するパッド本体と、
前記パッド本体の背面側に設けられる１つ以上の導電部材と、
を備え、
前記パッド本体の背面が前記タッチパネルディスプレイを向くように配置された状態にて、１つ以上の前記導電部材の形状に対応する前記２次元パターンを生成させることを特徴とする請求項１に記載のインタフェース装置。

【請求項3】

前記パッド本体は、少なくとも高さ方向に弾性変形可能及び復元可能な３次元形状を有することを特徴とする請求項２に記載のインタフェース装置。

【請求項4】

前記オンパネルパッドは、前記タッチパネルディスプレイの上に配置された状態にて、前記ユーザの指により前記非導電性かつ弾性材料の操作要素の外側から押し込まれた位置に対応する前記センサ電極の部位に前記静電容量の変化を生じさせるように構成されることを特徴とする請求項２に記載のインタフェース装置。

【請求項5】

前記オンパネルパッドは、前記タッチパネルディスプレイの上に配置された状態にて、原形を保っている前記パッド本体の表面に前記ユーザの指が接触する前後にわたって静電容量の変化を生じさせないように構成されることを特徴とする請求項２に記載のインタフェース装置。

【請求項6】

前記非導電性かつ弾性材料の操作要素は、前記パッド本体の表面に設けられる、複数の小領域に区画するための段差部であることを特徴とする請求項２に記載のインタフェース装置。

【請求項7】

各々の前記導電部材は、平面視にて、前記複数の小領域のいずれにも重ならないように配置され、又は、前記複数の小領域のうちの１つのみに重なるように配置されることを特徴とする請求項６に記載のインタフェース装置。

【請求項8】

前記パッド本体は、透明又は半透明の材料からなることを特徴とする請求項２に記載のインタフェース装置。

【請求項9】

１つ以上の前記導電部材は、回転非対称な前記２次元パターンを生成させる形状を有することを特徴とする請求項２に記載のインタフェース装置。

【請求項10】

前記センサコントローラは、前記オンパネルパッド又は該オンパネルパッドに対応する仮想入力デバイスの種別、及び前記オンパネルパッドの配置状態を含むデータを生成又は出力し、
前記データに基づいて前記仮想入力デバイスを前記タッチパネルディスプレイの表示領域内に表示させることを特徴とする請求項１に記載のインタフェース装置。

【請求項11】

各々の前記導電部材は、平面視にて、前記複数の小領域のうちの１つのみに重なるように配置され、
前記センサコントローラは、前記１つ以上の操作領域内の前記導電部材がある位置にて静電容量の変化が検出された場合、当該位置に対応する前記操作情報を含むデータを生成又は出力する
ことを特徴とする請求項７に記載のインタフェース装置。

【請求項12】

前記センサコントローラは、
前記センサ電極上の静電容量の変化を示すヒートマップを生成する第１プロセッサと、
前記第１プロセッサから供給された前記ヒートマップに基づいて前記２次元パターンの有無を検出し、前記２次元パターンが検出された場合に前記操作情報を含むデータを生成又は出力する第２プロセッサと、
を含んで構成されることを特徴とする請求項１に記載のインタフェース装置。

【請求項13】

静電容量方式のタッチパネルディスプレイを備える電子機器とともに用いられるオンパネルパッドであって、
非導電性かつ弾性材料の操作要素でありユーザによる操作を受け付け可能な操作要素が設けられ、
前記タッチパネルディスプレイの上に配置された状態にて、前記タッチパネルディスプレイに含まれるセンサ電極に静電容量の２次元パターンを生成させるように構成され、
前記オンパネルパッドが前記タッチパネルディスプレイの上に配置された状態で生成される２次元パターンが検出された場合に、前記非導電性かつ弾性材料の操作要素を変形させる前記ユーザの導体の指によって、前記検出された２次元パターンに関連づけられている領域内の静電容量の変化を生じさせるように構成されることを特徴とするオンパネルパッド。

【請求項14】

少なくとも表面及び背面を有し、前記非導電性かつ弾性材料の操作要素が前記表面に設けられるパッド本体と、
前記パッド本体の背面側に設けられる１つ以上の導電部材と、
を備え、
前記パッド本体の背面が前記タッチパネルディスプレイを向くように配置された状態にて、
前記１つ以上の導電部材の形状に対応する前記２次元パターンを生成させ、
前記ユーザの指により前記非導電性かつ弾性材料の操作要素の外側から押し込まれた位置に対応する前記センサ電極の部位に前記静電容量の変化を生じさせるように構成されることを特徴とする請求項１３に記載のオンパネルパッド。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、インタフェース装置及びオンパネルパッドに関する。

【背景技術】

【0002】

タッチパネルディスプレイの上に仮想入力デバイス（例えば、仮想キーボード又はスクリーンキーボード）を表示させ、ハードウェアとしての入力デバイスをソフトウェアでエミュレートする技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許第５２６１０７９号明細書

【非特許文献】

【0004】

【文献】“Use the On-Screen Keyboard (OSK) to type”，マイクロソフト社，ウィンドウズサポート［平成３０年８月１７日検索］，インターネット〈URL：https://support.microsoft.com/en-us/help/10762/windows-use-on-screen-keyboard〉

【発明の概要】

【発明が解決しようとする課題】

【0005】

物理的な入力デバイスを用いる場合、ユーザは、自身の手を置くホームポジションを定め、その位置を基点として手又は指を動かすことで、その入力デバイスを素早く操作することができる。ところが、仮想入力デバイスを用いる場合、ユーザは、タッチパネルディスプレイの画面に触れただけではデバイスの形状及び配置を認識できないため、ホームポジションを維持することが難しい。このため、ユーザが目視により表示を確認する頻度が高くなり、その分だけ操作性が低下してしまう。

【0006】

本発明の目的は、仮想入力デバイスの操作性を向上可能なインタフェース装置及びオンパネルパッドを提供することである。

【課題を解決するための手段】

【0007】

第１の本発明におけるインタフェース装置は、静電容量方式のタッチパネルディスプレイを備える電子機器に対してユーザの操作に応じた入力を行う装置であって、前記タッチパネルディスプレイの上に配置された状態にて、前記タッチパネルディスプレイに含まれるセンサ電極に対して静電容量の２次元パターンを生じさせるように構成されるオンパネルパッドと、前記センサ電極により前記２次元パターンが検出された場合に、前記２次元パターンの検出位置に応じて定められた１つ以上の操作領域内の静電容量の変化に伴って、前記センサ電極による検出位置を示す位置情報とは異なる情報であって、前記オンパネルパッドの操作状態を示す操作情報を含むデータを生成又は出力するセンサコントローラと、を備える。

【0008】

第２の本発明におけるオンパネルパッドは、静電容量方式のタッチパネルディスプレイを備える電子機器とともに用いられるパッドであって、前記タッチパネルディスプレイの上に配置された状態にて、前記タッチパネルディスプレイに含まれるセンサ電極に対して静電容量の２次元パターンを生じさせるように構成される。

【発明の効果】

【0009】

本発明によれば、仮想入力デバイスの操作性を向上させることができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態におけるインタフェース装置が組み込まれた位置検出システムの全体構成図である。

【図2】図１のオンパネルパッドの具体的構成を示す図である。図２（ａ）は、図１に示すオンパネルパッドの平面透視図である。図２（ｂ）は、図２（ａ）のＡ－Ａ断面図である。

【図3】図１に示す電子機器の概略的なブロック図である。

【図4】インタフェース装置の動作説明に供されるフローチャートである。

【図5】図２のオンパネルパッドの操作状態及び検出プロファイルの対応関係を模式的に示す図である。

【図6】２次元パターンの検出方法の一例を示す図である。

【図7】データの変換方法の一例を示す図である。図７（ａ）は、基準領域と操作領域の間の相対的位置関係を示す図である。図７（ｂ）は、変換処理に用いられる変換テーブルの一例を示す図である。

【図8】タッチパネルディスプレイの表示状態に関する遷移図である。

【図9】タッチパネルディスプレイの表示状態に関する遷移図である。

【図10】第１変形例におけるオンパネルパッドの使用状態を示す図である。

【図11】第２変形例におけるオンパネルパッドの使用状態を示す図である。

【図12】第３変形例におけるオンパネルパッドの具体的構成を示す図である。図１２（ａ）は、オンパネルパッドの平面透視図である。図１２（ｂ）は、図１２（ａ）のＢ－Ｂ断面図である。

【図13】図１２のオンパネルパッドの操作状態及び検出プロファイルの対応関係を模式的に示す図である。

【図14】第４変形例における電子機器の概略的なブロック図である。

【発明を実施するための形態】

【0011】

本発明におけるインタフェース装置及びオンパネルパッドについて、添付の図面を参照しながら説明する。なお、本発明は、以下の実施形態及び変形例に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。

【0012】

［インタフェース装置２４の構成］
＜位置検出システム１０の全体構成＞
図１は、本発明の一実施形態におけるインタフェース装置２４が組み込まれた位置検出システム１０の全体構成図である。位置検出システム１０は、静電容量方式のタッチパネルディスプレイ１２を備える電子機器１４と、ペン型のポインティングデバイスであるスタイラス１６と、タッチパネルディスプレイ１２の上に配置自在なオンパネルパッド１８と、から基本的に構成される。

【0013】

タッチパネルディスプレイ１２は、表示パネル２０の上にセンサ電極２６を重ね合わせてなる表示器である。電子機器１４は、例えば、タブレット型端末、スマートフォン、パーソナルコンピュータで構成される。スタイラス１６は、電子機器１４との間で一方向又は双方向に通信可能に構成される電子ペンである。例えば、ユーザＵｓは、スタイラス１６を片手で把持し、タッチパネルディスプレイ１２のタッチ面２２にペン先を押し当てながら移動させることで、電子機器１４に絵や文字を書き込むことができる。

【0014】

インタフェース装置２４は、オンパネルパッド１８を用いて、電子機器１４に対してユーザＵｓの操作に応じた入力を行う装置である。このインタフェース装置２４は、オンパネルパッド１８と、オンパネルパッド１８の状態を検出するセンサ電極２６と、センサ電極２６の動作を制御するセンサコントローラ２８と、を含んで構成される。

【0015】

図２は、図１のオンパネルパッド１８の具体的構成を示す図である。より詳しくは、図２（ａ）はオンパネルパッド１８の平面透視図であり、図２（ｂ）は図２（ａ）のＡ－Ａ断面図である。このオンパネルパッド１８は、キーボードを模したパッド本体３０と、１つ以上（本図例では３つ）の導電部材３２と、から構成される疑似的な物理デバイスである。なお、導電部材３２は、オンパネルパッド１８の種別に固有のレイアウト（位置、形状及び個数の組み合わせ）によって設けられている。

【0016】

パッド本体３０は、３次元のソリッド形状又は中空形状を有する。本図の例では、パッド本体３０の内部３４には、空気を含む様々な流体、例えば、パッド本体３０と比べて誘電率が低い気体又は液体が充填されている。パッド本体３０は、色が透明又は半透明であり、非導電性かつ高弾性の材料（例えば、樹脂材料）からなる。パッド本体３０は、外力を作用させると弾性変形するとともに、この外力を解放させると元の形状に復元可能である。

【0017】

パッド本体３０は、凹凸が形成された表面３６と、平坦な背面３８を有する。パッド本体３０の表面３６には、複数の小領域に区画するための段差部４０が設けられている。本図の例では、段差部４０は、メッシュ状に配置された凹形状により表面３６の段差を形成しているが、凸形状により表面３６の段差を形成してもよい。以下、各々の小領域がなす凸部を操作要素４２という。

【0018】

各々の導電部材３２は、パッド本体３０よりも導電率が高い材料（例えば、金属）からなるＬ字状の平板部材である。３つの導電部材３２はいずれも、パッド本体３０の内壁に固定されている。本図の例では、各々の導電部材３２は、パッド本体３０の内部に設けられているが、パッド本体３０の外部に露出して設けられてもよい。

【0019】

１つ目の導電部材３２は背面３８の左側奥隅部に、２つ目の導電部材３２は背面３８の右側奥隅部に、３つ目の導電部材３２は背面３８の左側手前隅部にそれぞれ設けられる。図２（ｂ）から理解されるように、各々の導電部材３２は、平面視にて、複数の小領域（操作要素４２）のいずれにも重ならないように配置されている。

【0020】

＜電子機器１４の構成＞
図３は、図１に示す電子機器１４の概略的なブロック図である。この電子機器１４は、上記したセンサ電極２６の他に、タッチＩＣ５０と、ホストプロセッサ５２と、メモリ５４と、を含んで構成される。ホストプロセッサ５２及びメモリ５４は、内部バスＢ１に接続されている。タッチＩＣ５０は、外部バスＢ２及びバスＩ／Ｆ５６を介して、内部バスＢ１に接続されている。

【0021】

センサ電極２６は、表示パネル２０とタッチ面２２（図１）の間に配置される複数の電極である。センサ電極２６は、Ｘ座標（ｘ方向の位置）を検出するための複数のＸ電極２６ｘと、Ｙ座標（ｙ方向の位置）を検出するための複数のＹ電極２６ｙと、を含む。複数のＸ電極２６ｘは、ｙ方向に延びて設けられ、かつｘ方向に沿って等間隔に配置されている。複数のＹ電極２６ｙは、ｘ方向に延びて設けられ、かつｙ方向に沿って等間隔に配置されている。なお、本図に示すｘ方向，ｙ方向は、センサ電極２６がなす平面上において定義される直交座標系（以下、センサ座標系という）のＸ軸，Ｙ軸に相当する。

【0022】

センサコントローラ２８は、センサ電極２６を介して入力情報を取得するための制御回路であり、タッチＩＣ５０（第１プロセッサ）と、ホストプロセッサ５２（第２プロセッサ）と、を含んで構成される。タッチＩＣ５０及びホストプロセッサ５２は、内部バスＢ１及び外部バスＢ２を介して相互に接続されている。

【0023】

タッチＩＣ５０は、ファームウェア６０を実行可能に構成された集積回路であり、センサ電極２６を構成する複数の電極にそれぞれ接続されている。ファームウェア６０は、ユーザＵｓ又はオンパネルパッド１８によるタッチを検出するタッチ検出機能６０ｔと、スタイラス１６の状態を検出するペン検出機能６０ｐと、を実現可能に構成される。タッチ検出機能６０ｔは、例えば、センサ電極２６の２次元スキャン機能、センサ電極２６上のヒートマップ８０（図６参照）の生成機能を含む。ペン検出機能６０ｐは、例えば、センサ電極２６の２次元スキャン機能、ダウンリンク信号の受信・解析機能、スタイラス１６の状態（例えば、位置、姿勢、筆圧）の推定機能、スタイラス１６に対する指令を含むアップリンク信号の生成・送信機能を含む。

【0024】

ホストプロセッサ５２は、タッチＩＣ５０と比べて演算処理能力が相対的に高いプロセッサであり、例えば、ＣＰＵ（Central Processing Unit）又はＧＰＵ（Graphical Processing Unit）から構成される。ホストプロセッサ５２は、オペレーティングシステム（以下、ＯＳ６２という）を実行することで、電子機器１４の各部を制御する。ホストプロセッサ５２は、メモリ５４に格納されたプログラムを読み出して実行することで、所望の処理（例えば、タッチドライバ６４ｔ、ペンドライバ６４ｐ、タッチＩＣ対応ＦＷ６６）を実行する。

【0025】

タッチＩＣ対応ＦＷ６６は、タッチＩＣ５０から入力されたデータを処理し、ＯＳ６２による情報処理に適した形式のデータをＯＳ６２に供給する。タッチドライバ６４ｔ又はペンドライバ６４ｐは、タッチＩＣ対応ＦＷ６６から供給されたデータを、ＯＳ６２上で動作する描画アプリケーションに提供する。この描画アプリケーションは、タッチドライバ６４ｔ又はペンドライバ６４ｐからの入力情報を用いて、インクデータの生成処理やレンダリング処理を行う。これにより、ユーザＵｓは、自身の操作による入力結果をタッチパネルディスプレイ１２（より詳しくは、表示パネル２０）上で確認することができる。

【0026】

［インタフェース装置２４の動作］
本実施形態におけるインタフェース装置２４は、以上のように構成される。続いて、インタフェース装置２４の動作について、図４のフローチャートを参照しながら説明する。ここでは、タッチＩＣ５０がステップＳ１，Ｓ２を実行し、ホストプロセッサ５２（タッチＩＣ対応ＦＷ６６の部分）がＳ４～Ｓ９を実行し、ホストプロセッサ５２（ＯＳ６２の部分）がステップＳ１０，Ｓ１１を実行する。

【0027】

ステップＳ１において、タッチＩＣ５０は、Ｘ電極２６ｘに対するパルス信号の送信及びＹ電極２６ｙからの電流値を示す信号の受信を順次実行することで、センサ電極２６上の静電容量の検出レベルを示す検出信号を入力する。

【0028】

ステップＳ２において、タッチＩＣ５０は、ステップＳ１で入力された検出信号に基づいて、センサ電極２６上の静電容量の変化を示すヒートマップ８０を生成し、ホストプロセッサ５２に向けて出力する。

【0029】

図５は、図２のオンパネルパッド１８の操作状態及び検出プロファイルの対応関係を模式的に示す図である。なお、検出プロファイルは、静電容量の変化量ΔＣをセンサ電極２６上の位置毎に示したグラフに相当する。

【0030】

図５（ａ）は、ユーザＵｓの指が、パッド本体３０の操作要素４２に接触した状態を示している。各々の導電部材３２がタッチ面２２に近い位置にあるので、導電部材３２の位置にて静電容量の変化が検出される。ここでは、導電部材３２がある位置の静電容量が負側に変化するとともに、導電部材３２の周辺の静電容量が正側に変化する。一方、ユーザＵｓの指がセンサ電極２６から十分に離間した位置（距離ｄ１）にあるので、指の位置にて静電容量の変化が検出されないか、変化量が微小である。つまり、原形を保っているパッド本体３０の表面３６にユーザＵｓが接触する前後にわたって静電容量の変化が生じていない。

【0031】

図５（ｂ）は、ユーザＵｓの指が、パッド本体３０の操作要素４２を押し込んだ状態を示している。ユーザＵｓの指がセンサ電極２６に接近（距離ｄ２＜ｄ１）することで、指の位置にて静電容量の変化（正側）が検出されるようになる。つまり、ユーザＵｓによりパッド本体３０の表面３６側から押し込まれた位置に対応するセンサ電極２６の部位に、導体としてのユーザＵｓの接近に伴う静電容量の変化が生じている。

【0032】

このように、図５（ａ）の検出プロファイルはオンパネルパッド１８の操作（操作要素４２の押し込み）がなされていない状態を、図５（ｂ）の検出プロファイルはオンパネルパッド１８の操作がなされた状態をそれぞれ示している。なお、操作要素４２を押し込む際の感度は、パッド本体３０の材料や厚み、充填した気体の圧力、液体の充填量を変更することで適宜調整される。

【0033】

ステップＳ３において、タッチＩＣ対応ＦＷ６６は、ステップＳ２で生成されたヒートマップ８０に対して２次元パターンＰＴの検出処理を行う。具体的には、タッチＩＣ対応ＦＷ６６は、メモリ５４に記憶された複数のテンプレート（２次元パターンＰＴ）を読み出し、様々な手法を用いて照合処理を行う。

【0034】

図６は、２次元パターンＰＴの検出方法の一例を示す図である。上図のヒートマップ８０は、予め定められた矩形領域（０≦Ｘ≦Ｘｏ，０≦Ｙ≦Ｙｏ）内で定義される。ハッチング又は塗り潰しで示した閉領域はタッチが検出された領域に相当し、残りの余白領域はタッチが検出されなかった領域に相当する。また、ハッチングを付した閉領域は変化量が正（ΔＣ＞０）である検出領域に相当し、塗り潰した閉領域は変化量が負（ΔＣ＜０）である検出領域に相当する。例えば、ヒートマップ８０は、オンパネルパッド１８に対応するパッド領域８２（非操作時）あるいはパッド領域８４（操作時）を含む。

【0035】

下図のテンプレートは、３つのサブパターンＳＰ１，ＳＰ２，ＳＰ３から構成される２次元パターンＰＴを示している。実線で囲む３つの領域は、パターン一致性の判定に利用される必須領域に相当する。一点鎖線で囲む１つの領域は、パターン一致性の判定に利用されない任意領域に相当する。この２次元パターンＰＴは、オンパネルパッド１８の種別に固有であり、かつ回転非対称のパターンである。

【0036】

タッチＩＣ対応ＦＷ６６は、２次元パターンＰＴの位置及び角度を変化させながらパターン一致性を示す指標（以下、一致度という）を逐次算出し、この一致度の大小判定により２次元パターンＰＴを検出する。オンパネルパッド１８が配置された状態では、操作の有無にかかわらず、パッド領域８２，８４の両方が検出されることになる。複数のテンプレートが準備される場合、タッチＩＣ対応ＦＷ６６は、上記と同様の手順に従ってテンプレート毎に検出処理を実行する。

【0037】

ステップＳ４において、タッチＩＣ対応ＦＷ６６は、ステップＳ３の検出結果を参照し、ヒートマップ８０に２次元パターンＰＴが含まれるか否かを確認する。該当する２次元パターンＰＴが含まれない場合（ステップＳ４：ＮＯ）、ステップＳ５に進む。

【0038】

ステップＳ５において、タッチＩＣ対応ＦＷ６６は、タッチの検出位置を示す情報（つまり、位置情報）を含むデータを生成し、当該データをＯＳ６２に供給する。そして、ホストプロセッサ５２は、タッチＩＣ対応ＦＷ６６から供給されたデータを処理し、センサ電極２６からの入力情報（ここでは、タッチの検出位置）に応じた動作を行う（ステップＳ１１）。

【0039】

一方、ステップＳ４に戻って、図６に示すように、ヒートマップ８０に該当する２次元パターンＰＴが含まれる場合（ステップＳ４：ＹＥＳ）、ステップＳ６に進む。

【0040】

ステップＳ６において、タッチＩＣ対応ＦＷ６６は、ステップＳ３で検出された２次元パターンＰＴの配置に応じた領域（以下、操作領域９２という）を少なくとも１つ設定する。この操作領域９２は、オンパネルパッド１８の操作を受付可能な２次元領域を意味し、例えば、３つのサブパターンＳＰ１～ＳＰ３（図７（ａ）参照）に外接するように１つだけ設定される。

【0041】

ステップＳ７において、タッチＩＣ対応ＦＷ６６は、ステップＳ６で設定された操作領域９２内に少なくとも１つのタッチ領域８６が存在するか否かを確認する。図６のヒートマップ８０上にパッド領域８２のみが存在する場合、このパッド領域８２内にはタッチ領域が存在しないので（ステップＳ７：ＮＯ）、ステップＳ８の実行を省略し、ステップＳ９に進む。一方、図６のヒートマップ８０上にパッド領域８４のみが存在する場合、このパッド領域８４内には１つのタッチ領域８６が存在するので（ステップＳ７：ＹＥＳ）、ステップＳ８に進む。

【0042】

ステップＳ８において、タッチＩＣ対応ＦＷ６６は、ステップＳ７にて確認された操作領域９２内の検出位置を、オンパネルパッド１８における操作要素４２の種別に変換するデータ変換処理を行う。このデータの変換方法について、図７を用いて詳細に説明する。

【0043】

図７（ａ）は、基準領域９０と操作領域９２の間の相対的位置関係を示す図である。基準領域９０は、サブパターンＳＰ１～ＳＰ３の特徴点（Ｌ字の屈曲点）を３つの頂点とする矩形状の領域である。ここで、サブパターンＳＰ１の特徴点（０，０）を原点Ｏとする平面座標系（つまり、センサ座標系ＸＹ）を定義する。センサ座標系のＸ軸は、サブパターンＳＰ１，ＳＰ２の特徴点同士を結ぶ直線方向に相当する。センサ座標系のＹ軸は、サブパターンＳＰ１，ＳＰ３の特徴点同士を結ぶ直線方向に相当する。

【0044】

一方、操作領域９２は、基準領域９０と同一の形状を有する領域である。ここで、サブパターンＳＰ１の特徴点（ΔＸ，ΔＹ）を原点Ｏ’とする平面座標系（以下、デバイス座標系Ｘ’Ｙ’という）を定義する。デバイス座標系のＸ’軸は、サブパターンＳＰ１，ＳＰ２の特徴点同士を結ぶ直線方向に相当する。デバイス座標系のＹ’軸は、サブパターンＳＰ１，ＳＰ３の特徴点同士を結ぶ直線方向に相当する。ここで、Ｘ’軸（Ｙ’軸）は、Ｘ軸（Ｙ軸）に対して角度θだけ傾いているとする。この角度θは、２次元パターンＰＴを回転非対称とすることで一意に定められる。

【0045】

タッチＩＣ対応ＦＷ６６は、上記した３つの変換パラメータΔＸ，ΔＹ，θに基づいたアフィン変換により、デバイス座標系Ｘ’Ｙ’からセンサ座標系ＸＹに変換する。これにより、基準領域９０に対応するタッチ領域８６の座標が算出される。

【0046】

図７（ｂ）は、変換処理に用いられる変換テーブル９４の一例を示す図である。この変換テーブル９４は、オンパネルパッド１８に対応するテーブルデータであり、小領域の範囲を示す範囲情報と、操作要素４２の種別との対応関係を記述している。範囲情報は、例えば小領域の形状が四角形である場合、４つの頂点を示すセンサ座標系上の位置（例えば、Ｐ００１→Ｐ００２→Ｐ００３→Ｐ００４→Ｐ００１）から構成される。操作要素４２の種別は、例えば、Ｑ，Ｗ，Ｅ，Ｒ，Ｔを含むアルファベット文字、１，２，３を含む数字、Ｅｎｔｅｒ，Ｓｈｉｆｔを含む修飾キー、↓（下），→（右）を含む方向キーが挙げられる。

【0047】

タッチＩＣ対応ＦＷ６６は、上記した変換テーブル９４を参照し、アフィン変換後の座標が属する小領域を特定し、該当する小領域に対応付けられる操作要素４２の種別を取得する。例えば、変換後の座標がＰ０１７～Ｐ０２０に囲まれる小領域に属する場合、操作要素４２の種別として「Ｔ」が得られる。

【0048】

ステップＳ９において、タッチＩＣ対応ＦＷ６６は、オンパネルパッド１８の操作状態を示す情報（以下、操作情報という）を含むデータを生成し、当該データをＯＳ６２に供給する。この操作情報には、オンパネルパッド１８（又は仮想入力デバイス９６）の種別、オンパネルパッド１８の配置状態（具体的には、変換パラメータΔＸ，ΔＹ，θ）、操作要素４２の操作有無が含まれる。つまり、ステップＳ５の場合と異なり、座標情報の代わりに操作情報が出力される。

【0049】

ステップＳ１０において、ホストプロセッサ５２は、ステップＳ９で出力されたデータから得た操作情報に基づいて、オンパネルパッド１８の種別に対応する仮想入力デバイス９６をタッチパネルディスプレイ１２（より詳しくは、表示パネル２０）に表示させる制御を行う。具体的には、ホストプロセッサ５２は、仮想入力デバイス９６のテンプレート画像をメモリ５４から読み出した後、変換パラメータに応じた画像処理を行った後、処理済みの画像データを表示用データとして表示パネル２０に向けて出力する。この制御に伴うタッチパネルディスプレイ１２の動作について、図８，図９の遷移図を参照しながら説明する。

【0050】

図８（ａ）に示すように、図示しないユーザＵｓは、オンパネルパッド１８の使用を開始する際、電子機器１４の使用状態に適した位置及び向きで、オンパネルパッド１８をタッチパネルディスプレイ１２の上に配置したとする。そうすると、静電容量の２次元パターンＰＴの発生がトリガとなって、図４のステップＳ５～Ｓ９の実行後、図８（ａ）の状態から図８（ｂ）の状態に遷移される。

【0051】

図８（ｂ）に示すように、キーボードを模した仮想入力デバイス９６が、オンパネルパッド１８に重なる位置（ここでは、操作領域９２に一致する表示領域Ｒ内）に表示される。この仮想入力デバイス９６は、オンパネルパッド１８における操作要素４２の種別を示す文字を、所望のキー配置に従って２次元的に配置してなる画像である。つまり、このオンパネルパッド１８は、タッチパネルディスプレイ１２の上に配置された状態にて「疑似的な物理デバイス」としての入力機能を発揮する。

【0052】

例えば、ユーザＵｓは、自身の手を置くホームポジションを定め、その位置を基点として手又は指を動かすことで、入力デバイスを素早く操作することができる。なぜならば、ユーザＵｓは、自身の視覚に頼ることなく触覚を通じて、仮想入力デバイス９６の形状及び配置のみならず操作感も認識できるからである。

【0053】

あるいは、オンパネルパッド１８の配置を調整したい場合、ユーザＵｓは、オンパネルパッド１８を所望の位置や向きに移動させる。そうすると、位置や向きが変更された２次元パターンＰＴが再度検出され、その結果、オンパネルパッド１８の移動に追従して仮想入力デバイス９６が表示される。

【0054】

図９（ａ）に示すように、ユーザＵｓは、オンパネルパッド１８の使用を終了する際、オンパネルパッド１８を取り外してタッチパネルディスプレイ１２から離れた場所に戻したとする。そうすると、静電容量の２次元パターンＰＴの消滅がトリガとなって、図４のステップＳ５の実行後、図９（ａ）の状態から図９（ｂ）の状態に遷移される。

【0055】

図９（ｂ）に示すように、仮想入力デバイス９６が消えた状態で表示される。このように、オンパネルパッド１８を使用している間、仮想入力デバイス９６がタッチパネルディスプレイ１２上に継続して表示される。

【0056】

［インタフェース装置２４による効果］
以上のように、インタフェース装置２４は、静電容量方式のタッチパネルディスプレイ１２を備える電子機器１４に対してユーザＵｓの操作に応じた入力を行う装置である。このインタフェース装置２４は、タッチパネルディスプレイ１２の上に配置された状態にて、タッチパネルディスプレイ１２に含まれるセンサ電極２６に対して静電容量の２次元パターンＰＴを生じさせるように構成されるオンパネルパッド１８と、センサ電極２６により２次元パターンＰＴが検出された場合に、２次元パターンＰＴの検出位置に応じて定められた１つ以上の操作領域９２内の静電容量の変化に伴って、センサ電極２６による検出位置を示す位置情報とは異なる情報であって、オンパネルパッド１８の操作状態を示す操作情報を含むデータを生成又は出力するセンサコントローラ２８を備える。

【0057】

このように、静電容量の２次元パターンＰＴの発生がトリガとなって操作状態を示す操作情報を含むデータを生成又は出力するセンサコントローラ２８を設けたので、オンパネルパッド１８は、タッチパネルディスプレイ１２の上に配置された状態にて「疑似的な物理デバイス」としての入力機能を発揮する。また、２次元パターンＰＴの検出位置に応じて１つ以上の操作領域９２が定められるので、オンパネルパッド１８の配置の自由度が高くなる。また、ユーザＵｓは、オンパネルパッド１８に直接触れることで、自身の視覚に頼ることなく触覚を通じて仮想入力デバイス９６の形状及び配置を認識可能となる。その結果、オンパネルパッド１８を用いた操作支援を通じて、仮想入力デバイス９６の操作性を向上させることができる。

【0058】

＜オンパネルパッド１８の特徴＞
このオンパネルパッド１８は、少なくとも表面３６及び背面３８を有するパッド本体３０と、パッド本体３０の背面３８側に設けられる１つ以上の導電部材３２と、を備える。そして、オンパネルパッド１８は、タッチパネルディスプレイ１２の上に配置された状態にて、ユーザＵｓによりパッド本体３０の表面３６側から押し込まれた位置に対応するセンサ電極２６の部位に、導体としてのユーザＵｓの接近に伴う静電容量の変化を生じさせるように構成される。これにより、オンパネルパッド１８は、タッチパネルディスプレイ１２の上に配置された状態にて「疑似的な物理デバイス」としての入力機能を発揮する。

【0059】

また、パッド本体３０は、少なくとも高さ方向に弾性変形可能及び復元可能な３次元形状を有してもよい。これにより、仮想入力デバイス９６に対する反復的な操作が可能となるとともに、ユーザＵｓに対してオンパネルパッド１８の操作感を与えることができる。

【0060】

また、オンパネルパッド１８は、タッチパネルディスプレイ１２の上に配置された状態にて、原形を保っているパッド本体３０の表面３６にユーザＵｓが接触する前後にわたって静電容量の変化を生じさせないように構成されてもよい。これにより、ユーザＵｓが意図せずに表面３６を接触した場合であっても、その接触に伴う誤動作が抑制される。

【0061】

また、パッド本体３０の表面３６には、複数の小領域に区画するための段差部４０が設けられてもよい。これにより、ユーザＵｓは、自身の触覚を通じて各々の小領域を認識することができる。

【0062】

また、パッド本体３０は、透明又は半透明の材料から構成されてもよい。これにより、ユーザＵｓは、オンパネルパッド１８が配置された領域内であっても、タッチパネルディスプレイ１２の表示内容を視認することができる。

【0063】

また、１つ以上の導電部材３２は、回転非対称な２次元パターンＰＴを生じさせる形状を有してもよい。これにより、タッチパネルディスプレイ１２上に配置されたオンパネルパッド１８の向きを一意に特定することができる。

【0064】

＜センサコントローラ２８の特徴＞
このセンサコントローラ２８は、オンパネルパッド１８又はオンパネルパッド１８に対応する仮想入力デバイス９６の種別、及びオンパネルパッド１８の配置状態を含むデータを生成又は出力することで、仮想入力デバイス９６をタッチパネルディスプレイ１２の表示領域Ｒ内に表示させてもよい。入力デバイスの形態を可視化することで、現物感が得られ操作性がさらに高まる。

【0065】

また、センサコントローラ２８は、センサ電極２６上の静電容量の変化を示すヒートマップ８０を生成するタッチＩＣ５０（第１プロセッサ）と、タッチＩＣ５０から供給されたヒートマップ８０に基づいて２次元パターンＰＴの有無を検出し、２次元パターンＰＴが検出された場合に操作情報を含むデータを生成又は出力するホストプロセッサ５２（第２プロセッサ）と、を含んで構成されてもよい。ホストプロセッサ５２が、高速かつ多量の演算処理が要求される２次元パターンＰＴの検出処理をタッチＩＣ５０に代わって実行することで、タッチＩＣ５０の処理負荷が軽減される。特に、タッチＩＣ５０よりも演算処理能力が高いホストプロセッサ５２がこの検出処理を実行することで、演算時間が大幅に短縮される。また、ホストプロセッサ５２を導入することで、タッチＩＣ５０のデータ処理設計を大幅に変更することなく、オンパネルパッド１８を用いたインタフェース装置２４の機能拡張を実現することができる。

【0066】

［変形例］
＜第１変形例＞
図１０（ａ）に示すように、平面視にて矩形状のオンパネルパッド１８Ａは、タッチホイール及びファンクションボタンを模した操作要素４２を含んで構成される。このオンパネルパッド１８Ａをタッチパネルディスプレイ１２の上に配置することで、ワイヤレスコントローラを模した仮想入力デバイス１００が１つの表示領域Ｒ内に表示される。

【0067】

このように、オンパネルパッドは、図２に示すキーボード以外の様々な形態の入力デバイスにも適用できる。また、ユーザＵｓによる入力操作の態様は、オンパネルパッドの変形を伴う操作であってもよいし、変形を伴わない操作であってもよい。後者の例として、タッチパネルディスプレイ１２の上を移動させることで、描画内容の一部を消去するイレーサが挙げられる。

【0068】

図１０（ｂ）に示すように、平面視にて正方形状のオンパネルパッド１８Ｂは、十字キーの形状を模した操作要素４２を含んで構成される。このオンパネルパッド１８Ｂをタッチパネルディスプレイ１２の上に配置することで、ゲーム用コントローラを模した仮想入力デバイス１０２が２つの表示領域Ｒ内に表示される。十字キーを示す第１入力部１０４は、オンパネルパッド１８Ｂの内側に表示される。複数のボタンを示す第２入力部１０６は、オンパネルパッド１８Ｂの外側に表示される。

【0069】

ユーザＵｓは、このオンパネルパッド１８Ｂにより、左手を用いて第１入力部１０４の十字キーを、右手を用いて第２入力部１０６のボタンを同時に操作することができる。このように、インタフェース装置２４は、タッチにより作動可能な操作要素（第２入力部１０６）をオンパネルパッド１８Ｂの外側に表示可能に構成されてもよい。

【0070】

＜第２変形例＞
図１１（ａ）に示すように、平面視にて矩形状のオンパネルパッド１８Ｃは、複数のキーを模した操作要素４２を含んで構成される。このオンパネルパッド１８Ｃをタッチパネルディスプレイ１２の上に配置することで、オンパネルパッド１８Ｃの付近（本図の例では右方）にウィンドウ１０８が表示される。ウィンドウ１０８内の［Ｎ］ボタン１０８ｎ（Ｎｏ）がタッチされると、ウィンドウ１０８の表示が消える。一方、ウィンドウ１０８内の［Ｙ］ボタン１０８ｙ（Ｙｅｓ）がタッチされると、図１１（ａ）の状態から図１１（ｂ）の状態に遷移される。

【0071】

図１１（ｂ）に示すように、タッチパネルディスプレイ１２には、ウィンドウ１０８に代わって、操作要素４２の種別又は機能に関するガイダンス情報１１０が新たに表示される。各々の操作要素４２の位置に対応付けてガイダンス情報１１０を表示することで、操作要素４２の種別又は機能を一見して把握可能となり、ユーザＵｓにとって操作の支援になる。

【0072】

このように、インタフェース装置２４は、操作に関するガイダンス表示に先立ち、その表示の要否を問い合わせるＧＵＩ（Graphical User Interface）を提供可能に構成されてもよい。あるいは、ガイダンス表示と併せて又はこれとは別に、インタフェース装置２４は、仮想入力デバイスの表示に先立ち、その表示の要否を問い合わせるＧＵＩを提供可能に構成されてもよい。これにより、ユーザＵｓの意向を反映させた表示を行うことができる。

【0073】

＜第３変形例＞
図１２は、第３変形例におけるオンパネルパッド１８Ｄの具体的構成を示す図である。より詳しくは、図１２（ａ）はオンパネルパッド１８Ｄの平面透視図であり、図１２（ｂ）は図１２（ａ）のＢ－Ｂ断面図である。このオンパネルパッド１８Ｄは、パッド本体３０と、１つ以上（本図例では６つ）の導電部材３２と、から構成される。各々の導電部材３２は、例えば金属からなる矩形状の平板部材である。６つの導電部材３２はいずれも、パッド本体３０の背面３８側に設けられる。各々の導電部材３２は、平面視にて、複数の小領域（操作要素４２）のうち１つのみに重なるように配置される。

【0074】

図１３は、図１２のオンパネルパッド１８Ｄの操作状態及び検出プロファイルの対応関係を模式的に示す図である。この検出プロファイルは、図５の場合と同様に、静電容量の変化量ΔＣをセンサ電極２６上の位置毎に示したグラフに相当する。

【0075】

図１３（ａ）は、ユーザＵｓの指が、パッド本体３０の操作要素４２に接触した状態を示している。各々の導電部材３２がタッチ面２２に近い位置にあるので、導電部材３２の位置にて静電容量の変化が検出される。つまり、導電部材３２がある位置の静電容量が負側に変化するとともに、導電部材３２の周辺の静電容量が正側に変化する。なお、ユーザＵｓの指が導電部材３２から離れているので、検出プロファイルに影響を与えていない。

【0076】

図１３（ｂ）は、ユーザＵｓの指が、パッド本体３０の操作要素４２を押し込んだ状態を示している。ユーザＵｓの指が導電部材３２に接触することで、導電部材３２の電位がＧＮＤになり、導電部材３２がある位置にて静電容量の変化（正側）が検出されるようになる。つまり、２次元パターンＰＴのプロファイル形状の変化（変化量ΔＣの増加、又は符号の反転）を検出することで、操作の有無を判別することができる。

【0077】

このように、センサコントローラ２８（ホストプロセッサ５２）は、１つ以上の操作領域９２内の導電部材３２がある位置にて静電容量の変化が検出された場合、当該位置に対応する操作情報を含むデータを生成又は出力してもよい。この構成によっても、ユーザＵｓによる操作状態を適切に判別することができる。

【0078】

＜第４変形例＞
図１４は、第４変形例におけるセンサコントローラ１２４が組み込まれた電子機器１４Ａの概略的なブロック図である。この電子機器１４Ａは、センサ電極２６及びメモリ５４の他に、ホストプロセッサ１２０と、タッチＩＣ５０（第１プロセッサ）及びコプロセッサ１２２（第２プロセッサ）からなるセンサコントローラ１２４を含んで構成される。

【0079】

コプロセッサ１２２は、例えばＧＰＵからなる補助プロセッサであり、タッチＩＣ対応ＦＷ６６（図３）と同等のデータ処理を実行可能に構成される。ここで、コプロセッサ１２２は、タッチＩＣ５０からヒートマップ８０を含むフレームデータを受け取り、ヒートマップに基づいて上記した位置情報又は操作情報を生成し、これらの情報を含むデータをタッチＩＣ５０に還元する。

【0080】

この装置構成を採用する場合、タッチＩＣ対応ＦＷ６６（図３）に代わってコプロセッサ１２２がデータ処理を実行することで、インタフェース装置２４は、上記した実施形態の場合と同様の動作を行うことができる。つまり、図４のフローチャートに関して、タッチＩＣ５０がステップＳ１，Ｓ２を実行し、コプロセッサ１２２がＳ４～Ｓ９を実行し、ホストプロセッサ１２０（ＯＳ６２の部分）がステップＳ１０，Ｓ１１を実行する。

【0081】

このように、センサコントローラ１２４は、センサ電極２６上の静電容量の変化を示すヒートマップ８０を生成するタッチＩＣ５０（第１プロセッサ）と、タッチＩＣ５０から供給されたヒートマップ８０に基づいて２次元パターンＰＴの有無を検出し、２次元パターンＰＴが検出された場合に操作情報を含むデータを生成又は出力するコプロセッサ１２２（第２プロセッサ）と、を含んで構成されてもよい。この構成によっても、上記した実施形態と同様に、タッチＩＣ５０の処理負荷の軽減及びインタフェース装置２４の機能拡張の容易化が図られる。

【符号の説明】

【0082】

１０ 位置検出システム、１２ タッチパネルディスプレイ、１４（Ａ） 電子機器、１８（Ａ～Ｄ）、オンパネルパッド、２４ インタフェース装置、２６ センサ電極、２８，１２４ センサコントローラ、３０ パッド本体、３２ 導電部材、３６ 表面、３８ 背面、４０ 段差部、４２ 操作要素、５０ タッチＩＣ（第１プロセッサ）、５２
ホストプロセッサ（第２プロセッサ）、８０ ヒートマップ、９２ 操作領域、９６，１００，１０２ 仮想入力デバイス、１２０ ホストプロセッサ、１２２ コプロセッサ（第２プロセッサ）、ＰＴ ２次元パターン、Ｕｓ ユーザ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】