IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ジャパンディスプレイの特許一覧

特開2024-136006センサシステム、センサモジュールの駆動方法、及びプログラム
<>
  • 特開-センサシステム、センサモジュールの駆動方法、及びプログラム 図1
  • 特開-センサシステム、センサモジュールの駆動方法、及びプログラム 図2
  • 特開-センサシステム、センサモジュールの駆動方法、及びプログラム 図3
  • 特開-センサシステム、センサモジュールの駆動方法、及びプログラム 図4
  • 特開-センサシステム、センサモジュールの駆動方法、及びプログラム 図5
  • 特開-センサシステム、センサモジュールの駆動方法、及びプログラム 図6
  • 特開-センサシステム、センサモジュールの駆動方法、及びプログラム 図7
  • 特開-センサシステム、センサモジュールの駆動方法、及びプログラム 図8
  • 特開-センサシステム、センサモジュールの駆動方法、及びプログラム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024136006
(43)【公開日】2024-10-04
(54)【発明の名称】センサシステム、センサモジュールの駆動方法、及びプログラム
(51)【国際特許分類】
   G06F 3/041 20060101AFI20240927BHJP
   G06F 3/044 20060101ALI20240927BHJP
【FI】
G06F3/041 580
G06F3/041 512
G06F3/044 120
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2023046951
(22)【出願日】2023-03-23
(71)【出願人】
【識別番号】502356528
【氏名又は名称】株式会社ジャパンディスプレイ
(74)【代理人】
【識別番号】110000408
【氏名又は名称】弁理士法人高橋・林アンドパートナーズ
(72)【発明者】
【氏名】中西 貴之
(72)【発明者】
【氏名】柿木 雄飛
(72)【発明者】
【氏名】羽根木 規
(57)【要約】
【課題】非接触型センサモジュールのためのシステムを提供する。
【解決手段】センサシステムは、表示画面上に配置されるセンサパネルを備えたセンサモジュールと、前記センサモジュールを非接触方式で駆動可能なプロセッサと、を有する。前記プロセッサは、検出対象物が前記センサパネルに接近することに基づいて第1入力操作を検出し、その後、前記検出対象物が第1点まで前記センサパネルに接近した後に前記センサパネルから離れる方向に移動したことに基づいて前記第1点からの移動量を測定し、前記移動量が閾値を超えた後に再び前記検出対象物が前記センサパネルに接近する場合、前記第1入力操作とは異なる基準に基づいて第2入力操作を検出するように構成される。
【選択図】図6
【特許請求の範囲】
【請求項1】
表示画面上に配置されるセンサパネルを備えたセンサモジュールと、
前記センサモジュールを非接触方式で駆動可能なプロセッサと、を有し、
前記プロセッサは、
検出対象物が前記センサパネルに接近することに基づいて第1入力操作を検出し、その後、
前記検出対象物が第1点まで前記センサパネルに接近した後に前記センサパネルから離れる方向に移動したことに基づいて前記第1点からの移動量を測定し、
前記移動量が閾値を超えた後に再び前記検出対象物が前記センサパネルに接近する場合、前記第1入力操作とは異なる基準に基づいて第2入力操作を検出する
センサシステム。
【請求項2】
前記プロセッサは、
前記第1入力操作の検出と前記第2入力操作の検出との間において、前記検出対象物が前記センサパネルから最も離れた頂点を検出し、
前記検出対象物が前記頂点から前記センサパネルに接近する方向に閾値を超えて移動した場合に前記第2入力操作を検出する、請求項1に記載のセンサシステム。
【請求項3】
前記移動量は、前記第1点を基準として、前記センサパネルから離れる方向における垂直移動量である、請求項1に記載のセンサシステム。
【請求項4】
前記移動量は、前記第1点を基準として、前記センサパネルの主面と平行に移動する方向における水平移動量である、請求項1に記載のセンサシステム。
【請求項5】
前記プロセッサは、前記検出対象物が第2点まで前記センサパネルに接近した後に前記第2点から移動した場合に、前記第2入力操作を検出する、請求項1に記載のセンサシステム。
【請求項6】
前記プロセッサは、前記検出対象物が前記センサパネルから離れる方向に前記第2点から移動した場合に、前記第2入力操作を検出する、請求項5に記載のセンサシステム。
【請求項7】
前記プロセッサは、前記検出対象物が前記第2点で閾値を超える時間静止した場合に、前記第2入力操作を検出する、請求項5に記載のセンサシステム。
【請求項8】
前記プロセッサは、
前記センサパネルから前記検出対象物までの距離が第1入力操作判定距離に達した場合に前記第1入力操作を検出し、
前記第1入力操作を検出した後に、前記センサパネルから前記検出対象物までの距離が前記第1入力操作判定距離よりも前記センサパネルに近い第2入力操作判定距離に達した場合に前記第2入力操作を検出する、請求項1に記載のセンサシステム。
【請求項9】
前記プロセッサは、前記第2入力操作を検出した後に、前記センサパネルから前記検出対象物までの距離が前記第1入力操作判定距離と前記第2入力操作判定距離との間の判定開始距離に達した場合に、第3入力操作を検出可能な状態に駆動する、請求項8に記載のセンサシステム。
【請求項10】
前記プロセッサは、前記センサパネルから前記検出対象物までの距離が、前記判定開始距離に達した後に、前記第2入力操作判定距離に達した場合に前記第3入力操作を検出する、請求項9に記載のセンサシステム。
【請求項11】
前記プロセッサは、前記第1入力操作を検出した後に前記センサパネルから前記検出対象物までの距離が前記第1入力操作判定距離よりも前記センサパネルから離れたリセット判定距離に達した後に再び前記検出対象物が前記センサパネルに接近する場合、前記センサパネルから前記検出対象物までの距離が前記第1入力操作判定距離に達することによって前記第1入力操作の次の入力操作を検出する、請求項8に記載のセンサシステム。
【請求項12】
前記プロセッサは、前記第2入力操作を検出した後に前記センサパネルから前記検出対象物までの距離が前記リセット判定距離に達した後に再び前記検出対象物が前記センサパネルに接近する場合、前記センサパネルから前記検出対象物までの距離が前記第1入力操作判定距離に達することによって前記第2入力操作の次の入力操作を検出する、請求項11に記載のセンサシステム。
【請求項13】
表示画面上に配置されるセンサパネルを備えたセンサモジュールの駆動方法であって、
入力操作が前記センサパネルに接近することに基づいて第1入力操作を検出し、その後、
検出対象物が第1点まで前記センサパネルに接近した後に前記センサパネルから離れる方向に移動したことに基づいて、前記第1点からの移動量を測定し、
前記移動量が閾値を超えた後に再び前記検出対象物が前記センサパネルに接近する場合、前記第1入力操作とは異なる基準に基づいて第2入力操作を検出する方法。
【請求項14】
表示画面上に配置されるセンサパネルを備えたセンサモジュールのプロセッサによって実行させるプログラムであって、
入力操作が前記センサパネルに接近することに基づいて第1入力操作を検出し、その後、
検出対象物が第1点まで前記センサパネルに接近した後に前記センサパネルから離れる方向に移動したことに基づいて、前記第1点からの移動量を測定し、
前記移動量が閾値を超えた後に再び前記検出対象物が前記センサパネルに接近する場合、前記第1入力操作とは異なる基準に基づいて第2入力操作を検出するプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態の一つは、センサシステムに関する。例えば、本発明の実施形態の一つは、非接触式センサモジュールが搭載された表示装置を備えるセンサシステム、及び当該センサシステムにおけるセンサモジュールの駆動方法に関する。
【背景技術】
【0002】
情報端末に情報を入力するためのインターフェースの一つとして、タッチセンサが広く用いられている。現在主流のタッチセンサは、人の指や掌、あるいはタッチペンなどの入力用治具(以下、これらを「検出対象物」とも記す。)がタッチセンサに直接接触した位置を特定する(特許文献1から3参照。)。これに対し、近年、タッチセンサに検出対象物を接触させず、タッチセンサの近傍に検出対象物を位置させるだけで情報入力が可能な非接触式センサ(ホバーセンサ)が開発されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許出願公開第2014/0049486号明細書
【特許文献2】米国特許出願公開第2013/0342498号明細書
【特許文献3】米国特許出願公開第2014/0049508号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の実施形態の一つは、新規センサシステムとその駆動方法を提供することを課題の一つとする。あるいは、本発明の実施形態の一つは、表示装置を備える新規センサシステム、及び当該センサシステムにおけるセンサモジュールの新規駆動方法を提供することを課題の一つとする。あるいは、本発明の実施形態の一つは、人間工学的観点から操作性に優れたセンサモジュールが搭載された表示装置を備えるセンサシステム、及び当該センサシステムにおけるセンサモジュールの駆動方法を提供することを課題の一つとする。あるいは、本発明の実施形態の一つは、上記駆動方法を実現するためのプログラムを提供することを課題の一つとする。
【課題を解決するための手段】
【0005】
本発明の一実施形態に係るセンサシステムは、表示画面上に配置されるセンサパネルを備えたセンサモジュールと、前記センサモジュールを非接触方式で駆動可能なプロセッサと、を有する。前記プロセッサは、検出対象物が前記センサパネルに接近することに基づいて第1入力操作を検出し、その後、前記検出対象物が第1点まで前記センサパネルに接近した後に前記センサパネルから離れる方向に移動したことに基づいて前記第1点からの移動量を測定し、前記移動量が閾値を超えた後に再び前記検出対象物が前記センサパネルに接近する場合、前記第1入力操作とは異なる基準に基づいて第2入力操作を検出する。
【0006】
本発明の一実施形態に係る、表示画面上に配置されるセンサパネルを備えたセンサモジュールの駆動方法は、入力操作が前記センサパネルに接近することに基づいて第1入力操作を検出し、その後、前記検出対象物が第1点まで前記センサパネルに接近した後に前記センサパネルから離れる方向に移動したことに基づいて、前記第1点からの移動量を測定し、前記移動量が閾値を超えた後に再び前記検出対象物が前記センサパネルに接近する場合、前記第1入力操作とは異なる基準に基づいて第2入力操作を検出する。
【0007】
本発明の一実施形態に係る、表示画面上に配置されるセンサパネルを備えたセンサモジュールのプロセッサによって実行させるプログラムは、入力操作が前記センサパネルに接近することに基づいて第1入力操作を検出し、その後、前記検出対象物が第1点まで前記センサパネルに接近した後に前記センサパネルから離れる方向に移動したことに基づいて、前記第1点からの移動量を測定し、前記移動量が閾値を超えた後に再び前記検出対象物が前記センサパネルに接近する場合、前記第1入力操作とは異なる基準に基づいて第2入力操作を検出する。
【図面の簡単な説明】
【0008】
図1】本発明の一実施形態に係るセンサシステムに含まれる表示装置の模式的展開斜視図。
図2】本発明の一実施形態に係るセンサシステムに含まれる表示装置のセンサモジュールの模式的上面図。
図3】本発明の一実施形態に係るセンサシステムのブロック図。
図4】検出対象物を従来の非接触式センサモジュール付き表示装置に近づけた場合の模式図。
図5】検出対象物を従来の非接触式センサモジュール付き表示装置に近づけた場合の模式図。
図6】本発明の一実施形態に係るセンサシステムの検出動作を説明する模式的断面図。
図7】本発明の一実施形態に係るセンサシステムの検出動作を説明するフローチャート。
図8】本発明の実施形態に係るセンサシステムの検出動作を説明する模式図。
図9】本発明の実施形態に係るセンサシステムの検出動作を説明する模式図。
【発明を実施するための形態】
【0009】
以下に、本発明の各実施形態について、図面を参照しつつ説明する。以下の開示はあくまで一例にすぎない。当業者が、発明の主旨を保ちつつ、実施形態の構成を適宜変更することによって容易に想到し得る構成は、当然に本発明の範囲に含有される。図面は説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合がある。しかし、図示された形状はあくまで一例であって、本発明の解釈を限定するものではない。本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して、詳細な説明を適宜省略することがある。
【0010】
本発明の各実施の形態において、表示モジュール110からセンサモジュール200に向かう方向を上又は上方という。逆に、センサモジュール200から表示モジュール110に向かう方向を下又は下方という。このように、説明の便宜上、上方又は下方という語句を用いて説明するが、例えば、表示モジュール110とセンサモジュール200との上下関係が図示と逆になるように配置されてもよい。以下の説明で、例えば表示モジュール110上のセンサモジュール200という表現は、上記のように表示モジュール110とセンサモジュール200との上下関係を説明しているに過ぎず、表示モジュール110とセンサモジュール200との間に他の部材が配置されていてもよい。上方又は下方は、複数の層が積層された構造における積層順を意味するものであり、トランジスタの上方の画素電極と表現する場合、平面視において、トランジスタと画素電極とが重ならない位置関係であってもよい。一方、トランジスタの鉛直上方の画素電極と表現する場合は、平面視において、トランジスタと画素電極とが重なる位置関係を意味する。
【0011】
本明細書において、「膜」という用語と、「層」という用語とは、場合により、互いに入れ替えることができる。
【0012】
「表示装置」とは、電気光学層を用いて映像を表示する構造体を指す。例えば、表示装置という用語は、電気光学層を含む表示パネルを指す場合もあり、又は表示セルに対して他の光学部材(例えば、偏光部材、バックライト、タッチパネル等)を装着した構造体を指す場合もある。「電気光学層」には、技術的な矛盾が生じない限り、液晶層、エレクトロルミネセンス(EL)層、エレクトロクロミック(EC)層、電気泳動層が含まれ得る。したがって、後述する実施形態について、表示装置として、液晶層を含む液晶表示装置、及び有機EL層を含む有機EL表示装置を例示して説明するが、本実施形態における構造は、上述した他の電気光学層を含む表示装置へ適用することができる。
【0013】
本明細書において「αはA、B又はCを含む」、「αはA、B及びCのいずれかを含む」、「αはA、B及びCからなる群から選択される一つを含む」、といった表現は、特に明示が無い限り、αがA~Cの複数の組み合わせを含む場合を排除しない。さらに、これらの表現は、αが他の要素を含む場合も排除しない。
【0014】
なお、以下の各実施形態は、技術的な矛盾を生じない限り、互いに組み合わせることができる。
【0015】
[1.第1実施形態]
図1図7を参照して、本発明の実施形態の一つであるセンサシステム、センサシステムを駆動するための方法、及びこの方法を実現するためのプログラムについて説明する。
【0016】
[1-1.センサシステム]
本発明の実施形態の一つに係るセンサシステムを図1及び図2に示す。センサシステムは、センサモジュール200及びプロセッサ220を含む。当該センサシステムにおいて、センサモジュール200は表示装置100に組み込まれていてもよい。この場合、センサシステムは表示装置100及びプロセッサ220を含む。センサシステムは、さらにプロセッサ220及び表示装置100に接続されるコンピューティングデバイス300を含んでもよい。
【0017】
[1-2.表示装置]
表示装置100の模式的展開斜視図を図1に示す。表示装置100は、表示モジュール110及びセンサモジュール200を含む。センサモジュール200は、表示モジュール110上に配置される。表示モジュール110及びセンサモジュール200は、図1では示されない接着層によって互いに固定されてもよい。
【0018】
[1-3.表示モジュール]
表示モジュール110は、表示モジュール110に接続されるコンピューティングデバイス300の命令に従って映像を表示する機能を有するデバイスである。表示モジュール110は、アレイ基板112、アレイ基板112上に形成される複数の画素116、及び複数の画素116を覆う対向基板114を基本的な構成として備える。図示しないが、アレイ基板112上には、画素116を制御するための駆動回路が設けられる。複数の画素116を囲む領域は表示領域120と呼ばれる。各画素116は表示素子を備えており、色情報を提供する最小単位として機能する。
【0019】
表示素子としては、液晶素子をはじめ、無機電界発光素子(LED)や有機電界発光素子(OLED)に例示される電界発光素子などを用いることができる。液晶素子を用いる場合には、表示モジュール110には、図示しない光源(バックライト)がさらに設けられる。各画素116は、フレキシブル印刷回路(FPC)基板などの第1のコネクタ118を介してコンピューティングデバイス300から供給される電源と映像信号に従って動作し、映像信号に基づく階調で特定の色の光を提供する。画素116の動作を映像信号に基づいて制御することで、表示領域120上に映像を表示することができる。複数の画素116は、映像がセンサモジュール200を介して視認できるように配置される。
【0020】
表示モジュール110の大きさに制約はなく、例えば12.1インチ(31cm)サイズと呼ばれる携帯通信端末などに利用される大きさでもよく、コンピュータに接続されるモニタやテレビ、サイネージなどに好適な大きさ(例えば、14.1インチ(36cm)サイズから32インチ(81cm)サイズ)でもよく、さらに大きなサイズであってもよい。より具体的には、車載表示装置のほか、金銭登録器(レジ)や現金自動預払機に組み込まれる表示装置に適合するサイズを採用してもよい。
【0021】
[1-4.センサモジュール]
センサモジュール200は、表示モジュール110からの光を透過させるとともに、表示装置100に情報を入力するためのインターフェースとして機能するデバイスである。センサモジュール200は非接触式センサモジュール(ホバーセンサ)であり、指や掌、タッチペンなどの検出対象物がセンサモジュール200に直接接触したときのみならず、検出対象物がセンサモジュール200に接することなく近づいた際にも検出対象物を検出し、センサモジュール200上における検出対象物の位置(以下、単に入力位置とも記す。)を特定する機能を備える。センサモジュール200が検出対象物を検出する距離は適宜設定することができ、例えばセンサモジュール200の最外表面から5mm以内、20mm以内、50mm以内、又は100mm以内の範囲に設定することができる。なお、後述するように、センサシステムでは、センサモジュール200が検出対象物による入力の有無を判断するための閾値距離が設定される。
【0022】
図1図2に示すように、センサモジュール200は、センサ基板202と、センサ基板202に対向するカバー基板204とを備えるセンサパネル201と、センサパネルに接続されるコネクタ部207とを備える。センサパネル201は、表示モジュール110の表示領域120上に配置されている。換言すると、センサパネル201は、表示画面上に配置されている。センサ基板202及びカバー基板204は、いずれも絶縁性の基板であり、表示モジュール110によって表示される映像を視認させるため、可視光を透過する材料で構成される。このため、センサ基板202及びカバー基板204は、ガラス及び石英などの無機材料、又は、ポリイミド、ポリアミド、及びポリカーボネートなどの高分子材料などで構成される。センサ基板202及び/又はカバー基板204は、任意に変形できる程度の可撓性を備えてもよく、あるいは塑性変形しない程度の低い可撓性を有してもよい。
【0023】
センサ基板202とカバー基板204との間には、複数のセンサ電極206が設けられる。複数のセンサ電極206は、複数の行及び列を有するマトリクス状に配置される。複数のセンサ電極206が配置される領域はセンサ領域214と呼ばれ、センサ領域214が表示領域120と重なるようにセンサ電極206が配置される。センサ電極206の数(すなわち、行及び列の数)や大きさ(面積)は、表示装置100の大きさ、センサモジュール200に要求される検出精度などに応じて適宜設定すればよい。行及び列の数は、例えばそれぞれ5以上10以下、5以上15以下でもよい。図1から理解されるように、各センサ電極206は、画素116よりも大きな面積を有しており、複数の画素116と重なるように設けられる。
【0024】
センサ電極206は、例えばインジウム-スズ混合酸化物(ITO)及びインジウム-亜鉛混合酸化物(IZO)などの透光性酸化物を含む。あるいは、センサ電極206は、チタン、モリブデン、タングステン、アルミニウム、及び銅などの金属(0価の金属)、又はこれらの金属の一つ又は複数を含む合金を含んでもよい。この場合には、透光性を確保するため、複数の開口を有するメッシュ状にセンサ電極206を形成すればよい。
【0025】
各センサ電極206からは、センサ電極206と電気的に接続されるセンサ配線(図示しない)がセンサ基板202の一辺まで延伸し、端部において端子212を形成する(図2)。端子212にはフレキシブル印刷回路(FPC)基板などの第2のコネクタ210が電気的に接続される(図1図2)。
【0026】
センサモジュール200のセンサ基板202と表示モジュール110の対向基板114との間には、表示モジュール110からの電気的な影響を遮蔽するためのノイズシールド層216が設けられる(図1参照。)。ノイズシールド層216は、ITO及びIZOなどの透光性酸化物、あるいは金属を含む。後者の場合には、可視光の透過を許容するよう、複数の開口を有するメッシュ状の金属膜をノイズシールド層216として用いればよい。ノイズシールド層216は、複数のセンサ電極206と重なるように設けられる。ノイズシールド層216には、FPC基板などの第3のコネクタ208が電気的に接続され、センサ電極206に印加される電位と同相のパルス状又はサイン波形の交流電圧が印加される。このため、ノイズシールド層216はセンサ電極206と常時等電位となる。
【0027】
[1-5.コンピューティングデバイス]
コンピューティングデバイス300は、計算機能を有する電子デバイスであり、例えばデスクトップ型コンピュータやノート型パーソナルコンピュータを始め、タブレットやスマートフォンなどの携帯通信端末である。あるいは、コンピューティングデバイス300は、表示装置100が搭載される各種装置に組み込まれる情報処理装置(例えばマイクロコンピュータ)でもよい。図3のブロック図に示すように、コンピューティングデバイス300は、コンピューティングデバイス300の動作を制御する制御部302、記憶部304、制御部302によって制御される通信部306、音声出力部308、及び電源310などを含む。
【0028】
制御部302は、中央演算ユニット(CPU)などの処理装置を備え、記憶部304に格納される基本アプリケーションプログラム、及び各種駆動方法を実現するためのプログラムを動作させ、各種処理を実行する。記憶部304は、揮発性の主記憶装置及び不揮発性の補助記憶装置によって構成される。主記憶装置は、ランダムアクセスメモリ(RAM)やダイナミックランダムアクセスメモリ(DRAM)などである。補助記憶装置は、リードオンリーメモリ(ROM)、フラッシュメモリ、ハードディスクドライブなどである。上記基本アプリケーションプログラムやプログラムは記憶部304を構成する補助記憶装置に記憶される。詳細は後述するが、記憶部304は、入力操作が検出された場合の座標、上頂点又は下頂点が検出された場合の座標、及びプログラムの命令によって設定されたステップにおける入力操作判定に用いられる閾値距離を記憶する。
【0029】
通信部306は、ネットワークを介して図示しない外部電子機器との通信を行う機能を有する。音声出力部308は種々の音を発生する機能を有するスピーカーである。電源310はリチウムイオンバッテリなどの二次電池であり、外部電源から電力の供給を受けて蓄電し、外部電源が利用できないときには電源を制御部302、表示装置100などに供給する。
【0030】
コンピューティングデバイス300に対する入力は、センサモジュール200を用いて行うことができる。したがって、センサモジュール200、及びセンサモジュール200を含む表示装置100は、コンピューティングデバイス300の入出力部として機能する。センサモジュール200を用いる入力については後述する。また、図示しないが、コンピューティングデバイス300に対する入力装置として、コンピューティングデバイス300は、キーボード、操作ボタン、及びマウスなどをさらに備えてもよい。
【0031】
コンピューティングデバイス300は、第1のコネクタ118を介して表示モジュール110に接続されるとともに、第2のコネクタ210を介してセンサモジュール200に接続される。第1のコネクタ118上には画素116に供給する信号を生成する駆動回路122が設けられる。コンピューティングデバイス300にインストールされるアプリケーションの命令に従って制御部302が動作し、映像信号が駆動回路122に供給される。駆動回路122は、この映像信号に基づいて各画素116に供給する信号を生成し、画素116を制御する。これにより、アプリケーションに従って表示領域120上に映像が表示される。なお、駆動回路122を第1のコネクタ118上に設けず、アレイ基板112の上に形成してもよい。
【0032】
[1-6.プロセッサ]
第2のコネクタ210には駆動回路として機能するプロセッサ220を設けることができる。プロセッサ220は、シリコン半導体基板上に形成される集積回路によって形成することができる。プロセッサ220は、センサモジュール200を非接触方式で駆動する。プロセッサ220は、表示装置100及びコンピューティングデバイス300に電気的に接続される。例えば、プロセッサ220は、電源回路230、検出器240、演算素子250、及びインターフェース260などを含む(図2図3参照。)。なお、プロセッサ220を第2のコネクタ210上に設けず、センサ基板202上に設けてもよい。
【0033】
電源回路230は、図示しない外部電源からコンピューティングデバイス300を介して供給される電源をパルス状の交流電圧(交流矩形波)に変換し、この交流電圧を端子212とセンサ配線を介して各センサ電極206に供給する。
【0034】
検出器240はアナログフロントエンド(AFE:Analog Front End)とも呼ばれ、信号検出部242とアナログ/デジタル変換部(A/D変換部)244を含む。信号検出部242によってセンサ電極206の容量の変化が電位変動として検出され、A/D変換部244によってこの電位変動がデジタル化されて検出信号に変換される。
【0035】
演算素子250は、信号処理部252、座標演算部254、判定部256、及び記憶部258などを含む。信号処理部252は、A/D変換部244から入力された検出信号に対して各種処理を行う。検出信号に対する処理としては公知の処理が挙げられ、ノイズ低減処理、ベースライン補正、及び線形変換処理などが例示される。信号処理部252で処理された検出信号は、座標演算部254によって処理され、センサ領域214上における検出対象物の位置とともに、センサモジュール200から検出対象物までの距離が計算される。すなわち、センサモジュール200に対する検出対象物の三次元座標が計算される。センサモジュール200上の二次元座標は、検出対象物が近接する複数のセンサ電極206の電位変動を示す指標であるセンサ値の分布を利用して決定される。一方、第3の次元の座標であるセンサモジュール200から検出対象物までの距離は、センサ値の強度によって決定される。算出された三次元座標は、インターフェース260を介してコンピューティングデバイス300に入力される。これにより、検出対象物の三次元座標をコンピューティングデバイス300において把握することができる。
【0036】
インターフェース260はコンピューティングデバイス300との接続に用いられ、ユニバーサル・シリアル・バス(USB)やシリアル・ペリフェラル・インタフェース(SPI)などの規格に基づいて構成される。記憶部258は、揮発性又は不揮発性メモリ素子を含むデバイスであり、コンピューティングデバイス300によって設定された、センサモジュール200から検出対象物までの閾値距離、特定の点からの検出対象物の閾値距離、特定の点における検出対象物の閾値静止時間が格納される。これらの情報は、インターフェース260を介し、コンピューティングデバイス300の記憶部304から提供される。
【0037】
判定部256は、センサモジュール200に接触又は近接する検出対象物の三次元座標における各種閾値距離、及びセンサモジュール200から検出対象物までの距離を比較する。さらに、判定部256は、センサモジュール200から検出対象物までの距離が閾値距離以下であると判定する場合には、検出対象物がセンサモジュール200に接触していなくても、検出対象物による入力操作(例えば、「タップ操作」又は「タッチ操作」。)が行われたと判断する。逆に、判定部256は、センサモジュール200から検出対象物までの距離が閾値距離を超えていると判定する場合には、入力操作が行われていないと判断する。判定部256による判断結果は、インターフェース260を介してコンピューティングデバイス300の制御部302に送信される。制御部302は、この判断結果に基づき、プログラムの命令に従って入力操作に対応する映像の映像信号を表示モジュール110に提供する。
【0038】
さらに、判定部256は、センサモジュール200から閾値距離内にある検出対象物がセンサモジュール200から離れて閾値距離(以下、「リセット距離」と記す。)を超えた場合には、入力操作が終了したと判断し、この判断結果をコンピューティングデバイス300の制御部302に送信してもよい。センサモジュール200から検出対象物までの距離がリセット距離を超える操作をリセット操作という。
【0039】
さらに判定部256は、一つの入力領域に対する初期入力操作を検出してからリセット操作を検出するまでの間、入力操作を検出する方法を変更する。上記の初期入力操作の検出からリセット操作の検出までの期間における入力操作を「一連の入力操作」という。この場合、一連の入力操作が開始された以後における各入力操作の検出方法は、その他の操作(例えば上記初期入力操作)において入力操作を検出する方法と異なる。
【0040】
上述したセンサシステムでは、プロセッサ220は第2のコネクタ210又はセンサ基板202上に設けられる。ただし、プロセッサ220の全体又は一部をコンピューティングデバイス300に配置してもよい。あるいは、プロセッサ220の機能の全て又は一部をコンピューティングデバイス300で実現してもよい。例えば、検出器240及び/又は演算素子250をコンピューティングデバイス300に搭載してもよい。あるいは、検出器240及び/又は演算素子250の機能の全て又は一部をコンピューティングデバイス300で実現してもよい。
【0041】
[1-7.従来のセンサシステムにおける問題点]
以下、従来のセンサシステムにおける問題点について説明する。
【0042】
ユーザが指などの検出対象物を従来の非接触式センサモジュール付き表示装置に近づけた場合の模式図を図4及び図5に示す。図4及び図5において、表示モジュール110上には複数の画素116によって表示されたターゲット表示131、132、133が示されている。当該ターゲット表示は、x軸に沿って並んでいる。当該ターゲット表示は、例えばテンキーである。表示モジュール110に対向する位置にセンサモジュール200が設けられている。表示モジュール110とセンサモジュール200との間の部材は省略されている。
【0043】
センサモジュール200の上方(z軸の正方向)に表示された点線は、センサモジュール200(又はセンサパネル201)からの距離が入力判定距離TSである位置を示している。入力判定距離TSは、プロセッサ220が検出対象物によって入力操作が行われたことを検出する場合におけるセンサモジュール200と検出対象物との距離である。つまり、センサモジュール200と検出対象物との距離が入力判定距離TSを超える場合、プロセッサ220は入力操作を検出しない。一方、当該距離が入力判定距離TS以下である場合、プロセッサ220は入力操作を検出する。これらの図面において、湾曲した実線の矢印は、検出対象物の先端部の軌跡を示す。
【0044】
図4及び図5では、1回目(ターゲット表示131に対する入力)と2回目(ターゲット表示133に対する入力)の入力操作の間の検出対象物の軌跡が異なる。図4に示された検出対象物の軌跡は、1回目の入力操作の後、十分にセンサモジュール200から離れた位置まで検出対象物が移動してから、2回目の入力操作が行われた場合の軌跡である。一方、図5に示された検出対象物の軌跡は、1回目の入力操作の後、検出対象物がセンサモジュール200から十分に離れずに2回目の入力操作が行われた場合の軌跡である。
【0045】
図4では、ユーザは、ターゲット表示131及び133に対する入力操作を行うため、検出対象物を用いて点P12及びP14を狙って検出対象物を移動させる。図4に示すように、検出対象物が軌道に沿ってセンサモジュール200(ターゲット表示131)に接近し、センサモジュール200と検出対象物との距離が入力判定距離TSに達すると、プロセッサ220は、入力判定距離TSにおける検出対象物の位置(点P11)を、入力操作が検出された位置と判断する。
【0046】
一方、検出対象物は、入力判定距離TSに達した後もセンサモジュール200へ接近し、ユーザが狙った入力位置(点P12)まで移動する。つまり、ユーザが認識する入力位置(点P12)とプロセッサ220が検出した入力操作の位置(点P11)との間にずれが生じる。点P11と点P12とを二次元座標に投影した場合の両者間の距離が、ユーザが狙った入力位置とプロセッサ220が検出した入力操作の位置とのずれである。検出対象物がターゲット表示131に接近する場合、検出対象物はセンサモジュール200の主面に対して垂直に近い角度でセンサモジュール200に接近するため、ユーザが狙った入力位置と検出された入力操作の位置とのずれは小さい。したがって、プロセッサ220は、ユーザの狙いと同様にターゲット表示131に対する入力操作を検出する。
【0047】
ユーザは、検出対象物を点P12まで移動した後、次のターゲット表示133に対する入力操作を行うため、検出対象物を上方に移動した後に点P14を狙って検出対象物を移動させる。図4では、検出対象物は入力判定距離TSを超えてセンサモジュール200から十分に離れた位置まで移動している。そのため、検出対象物がターゲット表示133に接近する際に、検出対象物は、センサモジュール200の主面に対して垂直に近い角度でセンサモジュール200に接近する。その結果、入力判定距離TSにおける検出対象物の位置(点P13)とユーザが狙った入力位置(点P14)とのずれは小さい。したがって、プロセッサ220は、ユーザの狙いと同様にターゲット表示133に対する入力操作を検出する。
【0048】
図4のように、検出対象物が点P12から点P14に移動する際に、検出対象物がセンサモジュール200から十分に離れた位置まで移動する場合、入力操作の誤認は起きにくい。
【0049】
一方、図5のように、1回目の入力操作の後、検出対象物がセンサモジュール200から十分に離れずに2回目の入力操作が行われた場合、検出対象物がターゲット表示133に接近する際に、検出対象物は、センサモジュール200の主面に対して水平に近い角度でセンサモジュール200に接近する。その結果、入力判定距離TSにおける検出対象物の位置(点P23)とユーザが狙った入力位置(点P24)とのずれは、図4の点P13と点P14とのずれに比べて大きい。したがって、ユーザの狙いがターゲット表示133であるにも拘わらず、プロセッサ220は、ターゲット表示133の隣のターゲット表示132に対する入力操作を検出する。なお、図5の点P21、P22は、図4の点P11、P12と同じである。
【0050】
図5のように、検出対象物が点P22から点P24に移動する際に、検出対象物がセンサモジュール200から十分に離れずに移動する場合、入力操作の誤認が起きやすい。
【0051】
[1-8.センサシステムの検出動作]
以下、上述した構成を備えるセンサシステムの検出動作について説明する。
【0052】
図6は、本実施形態に係るセンサシステムの検出動作を説明する模式的断面図である。図6では、表示モジュール110上に、複数の画素116によって表示されたターゲット表示131~137が示されている。当該ターゲット表示は、例えばテンキーである。表示モジュール110に対向する位置にセンサモジュール200が設けられている。表示モジュール110とセンサモジュール200との間の部材は省略されている。
【0053】
図4及び図5と同様に、センサモジュール200の上方に入力判定距離TSが点線で表示されている。入力判定距離TSは、一連の入力操作における最初の入力操作を検出するための基準である。入力判定距離TSの上方にリセット判定距離RESが一点鎖線で表示されている。リセット判定距離RESは、プロセッサ220が、検出対象物による一連の入力操作が終了することを示すリセット操作が行われたことを検出する場合におけるセンサモジュール200(又はセンサパネル201)と検出対象物との距離である。
【0054】
検出対象物が入力判定距離TSに達した場合に最初の入力操作Tap1が検出され、一連の入力操作が開始される。一連の入力操作が開始されると、入力判定距離TSに基づく入力操作の検出は無効になり、以下に説明する方法で入力操作が検出される。一連の入力操作が開始した後、センサモジュール200と検出対象物との距離がリセット判定距離RES以下である場合、プロセッサ220は一連の入力操作が継続していると判断する。一方、当該距離がリセット判定距離RESを超えた場合、プロセッサ220はリセット操作を検出し、一連の入力操作が終了したと判断する。図6では、プロセッサ220が入力操作を検出した位置がTap1~Tap4で示されている。
【0055】
上記の構成を換言すると、プロセッサ220は、一連の入力操作が開始されるトリガとなる最初の入力操作(Tap1)を検出した後に、センサモジュール200から検出対象物までの距離がリセット判定距離RESに達した場合は、一連の入力操作が終了したと判断する。したがって、プロセッサ220が次の入力操作を検出するタイミングは、センサモジュール200から検出対象物までの距離が入力判定距離TSに達したときである。
【0056】
図6に示すように、まず、ユーザは、ターゲット表示131への入力操作を実行するために、検出対象物をターゲット表示131に向かって移動させる。この場合、検出対象物がターゲット表示131に接近し、センサモジュール200と検出対象物との距離が入力判定距離TSに達すると、プロセッサ220は、入力判定距離TSにおける検出対象物の位置(点P31)を、入力操作Tap1が検出された位置と判断する。入力判定距離TSそれ自体を目視等できないので、ユーザは、当該入力判定距離TSを超えて検出対象物をセンサモジュール200に近接させてしまうことが通常である。すなわち、検出対象物は入力判定距離TSに達した後もセンサモジュール200へ接近し、例えば入力位置(点P32)まで移動する。
【0057】
その後、ユーザは、次のターゲット表示133への入力操作を実行するために、検出対象物をターゲット表示133に向かって移動させる。この場合、検出対象物は、点P32を基準としてセンサモジュール200から離れる方向(z軸の正方向)に移動してから、次のターゲット表示133に向かって移動する。つまり、点P32を頂点として、当該検出対象物の動きの向きがセンサモジュールに近づく方向から当該センサモジュールから遠ざかる動きに大きく変化する。以下、このように検出対象物の軌跡がセンサパネル近接方向から離隔方向に変わる点を下頂点という。
【0058】
上記の点P32を「第1点」という場合がある。点P31における入力操作Tap1を「第1入力操作」という場合がある。これらの文言を用いて上記の構成を換言すると、検出対象物がセンサモジュール200に接近することに基づいて点P31で第1入力操作を検出し、その後、当該検出対象物が第1点(点P32)までセンサモジュール200に接近した後にセンサモジュール200から離れる方向に移動する場合、検出対象物の軌跡に下頂点が存在する、ということができる。
【0059】
プロセッサ220は、検出対象物の軌跡において下頂点(点P32)を検出すると、検出対象物が当該下頂点から移動した移動量を測定する。詳細は後述するが、当該移動量は、当該下頂点を基準として、センサモジュール200から離れるz軸の正方向における垂直移動量UPであってもよく、当該下頂点を基準として、センサモジュール200の主面と平行に移動するx軸上における水平移動量MVであってもよい。このように測定された移動量があらかじめ設定された閾値を超えた場合、プロセッサ220は、次の入力操作を検出可能なスタンバイ状態になる。
【0060】
ユーザは、検出対象物を点P32から上方に移動させた後、ターゲット表示133への入力操作を実行するために、ターゲット表示133に向かって検出対象物を移動させる。この場合、検出対象物が点P32を基準としてセンサモジュール200から離れる方向に移動した後にセンサモジュール200に接近するため、検出対象物の軌跡に上頂点P33が存在する。プロセッサ220は、検出対象物の軌跡において上頂点P33を検出すると、検出対象物が上頂点P33を基準としてセンサモジュール200に接近する垂直移動量PSを測定する。このように測定された垂直移動量PSが所定の閾値を超えた場合、プロセッサ220は、次の入力操作が開始されたと判定する。上頂点P33の位置は、入力判定距離TSより下方であってもよく上方であってもよい。ただし、上頂点P33の位置は、リセット判定距離RESより下方である。
【0061】
つまり、プロセッサ220は、一連の入力操作において、
(1)下頂点(点P32)を検出し、
(2)検出対象物が当該下頂点を基準としてセンサモジュール200から離れる方向に移動したことに基づいて当該下頂点からの第1移動量を測定し、当該第1移動量が閾値を超えたことを検出した場合、
次の入力操作を検出可能なスタンバイ状態になる。
【0062】
さらに、プロセッサ220は、一連の入力操作で上記(2)の後に、
(3)検出対象物が上頂点P33に達したことを検出し、
(4)検出対象物が上頂点P33を基準としてセンサモジュール200に接近する方向に移動した場合に、当該上頂点P33からの第2移動量を測定し、当該第2移動量が閾値を超えたことを検出した場合、
次の入力操作が開始されたと判定する。
【0063】
上記の例において、第1移動量は垂直移動量UPである。ただし、第1移動量は垂直移動量UPに限定されない。例えば、第1移動量は、後述する水平移動量MVであってもよい。第1移動量は垂直移動量PSである。
【0064】
上記の(1)及び(2)について換言すると、プロセッサ220は、点P32を基準とした検出対象物の垂直移動量PSが閾値を超えた場合に、その後、検出対象物が再度センサモジュール200に接近する動作に基づいて、最初の入力操作とは異なる基準に基づいて次の入力操作を検出することができる。
【0065】
上記の(3)及び(4)について換言すると、プロセッサ220は、図6の入力操作Tap1の検出と入力操作Tap2の検出との間において、検出対象物がセンサモジュール200から最も離れた点である上頂点P33を検出し、検出対象物が上頂点P33からセンサモジュール200に接近する方向に閾値を超えて移動した場合に、次の入力操作を検出することができる。
【0066】
次に、ターゲット表示133に向かって移動する検出対象物に対する入力操作の検出方法について説明する。上記のユーザの操作によって、検出対象物は、ユーザが狙った入力位置(点P34)まで移動する。その後、検出対象物は、点P34から次のターゲット表示135に向かって移動する。
【0067】
上記の点P34を「第2点」という場合がある。点P34における入力操作Tap2を「第2入力操作」という場合がある。これらの文言を用いて上記の構成を換言すると、プロセッサ220は、検出対象物が第2点(点P34)までセンサモジュール200に接近した後に当該第2点から移動した場合に、第2入力操作(Tap2)を検出する、ということができる。この例では、第2点(点P34)を基準として検出対象物がセンサモジュール200から離れる方向に移動した場合、第2入力操作(Tap2)を検出する。つまり、点P34は検出対象物の軌跡において下頂点となる。プロセッサ220は、下頂点(点P34)を検出すると、検出対象物が当該下頂点から移動した移動量を測定する。上記と同様に、当該移動量は、当該下頂点を基準としてz軸の正方向における垂直移動量UPであってもよく、当該下頂点を基準としてx軸上における水平移動量MVであってもよい。
【0068】
ユーザは、検出対象物を点P34まで移動させた後、次のターゲット表示135への入力操作を実行するために、検出対象物を点P34から上方に移動させる。ユーザは、検出対象物を上頂点P35まで移動した後、ターゲット表示135への入力操作を実行するために、ターゲット表示135に向かって検出対象物を移動させる。この場合、プロセッサ220は、ターゲット表示133への入力操作を検出した後に、ターゲット表示135に向かって移動する検出対象物に対して、次の入力操作を検出する。上頂点P35の位置は、入力判定距離TSより下方であってもよく上方であってもよい。ただし、上頂点P35の位置は、リセット判定距離RESより下方である。
【0069】
点P34から点P36に到達するまでの動作は、点P32から点P34に到達するまでの動作と同じなので、説明を省略する。ユーザは、検出対象物を点P36まで移動させた後、次のターゲット表示137への入力操作を実行するために、検出対象物を点P36から側方に移動させる。ユーザは、検出対象物を側方に移動させ、上頂点P37に達した後、ターゲット表示137への入力操作を実行するために、ターゲット表示137に向かって検出対象物を移動させる。
【0070】
点P36から上頂点P37に向かう検出対象物の移動は、点P34から上頂点P35に向かう検出対象物の移動とは異なる挙動を示す。具体的には、検出対象物が点P36から次のターゲット表示137に向かって移動する際に、検出対象物の垂直移動量UPは閾値を超えていない。この場合、プロセッサ220は、下頂点である点P36を基準としてセンサモジュール200の主面と平行に移動するx軸上における水平移動量MVが閾値を超えた場合に、入力操作を検出する。
【0071】
上記の点P36を「第3点」という場合がある。点P36における入力操作Tap3を「第3入力操作」という場合がある。プロセッサ220は、検出対象物が第3点(点P36)までセンサモジュール200に接近した後に当該第3点から移動した場合に、第3入力操作(Tap3)を検出する。つまり、点P36は検出対象物の軌跡において下頂点となる。プロセッサ220は、下頂点(点P36)を検出すると、検出対象物が当該下頂点を基準としてx軸に沿って移動した水平移動量MVを測定する。
【0072】
プロセッサ220は、ターゲット表示135への入力操作Tap3を検出した後に、点P36を基準としてx軸上における水平移動量MVが閾値を超えた場合に、次の入力操作を検出可能なスタンバイ状態になる。プロセッサ220は、検出対象物の軌跡において上頂点P37を検出すると、検出対象物が上頂点P37を基準としてセンサモジュール200に接近する垂直移動量PSを測定する。このように測定された垂直移動量PSが閾値を超えた場合、プロセッサ220は、次の入力操作が開始されたと判定する。上頂点P37の位置は、入力判定距離TS及びリセット判定距離RESより下方である。
【0073】
その後、検出対象物は、点P38から上方に向かって移動し、リセット判定距離RESを超える。検出対象物がリセット判定距離RESを超えることで、上記の一連の入力操作が終了する。
【0074】
上記の構成を換言すると、プロセッサ220は、一連の入力操作における2回目以降の入力操作(例えばTap2)を検出した後に、センサモジュール200から検出対象物までの距離がリセット判定距離RESに達した場合は、一連の入力操作が終了したと判断する。したがって、検出対象物がリセット判定距離RESを超えてセンサモジュール200から離れた後は、プロセッサ220が次の入力操作(次の一連の入力操作)を開始するタイミングは、センサモジュール200から検出対象物までの距離がこの後に再び入力判定距離TSに達したときである。
【0075】
[1-9.センサシステムの駆動フローチャート]
図7は、本発明の一実施形態に係るセンサシステムの検出動作を説明するフローチャートである。図7に示す各動作は主にプロセッサ220によって実行される。
【0076】
センサシステムの動作が開始すると、センサモジュール200とプロセッサは協働して検出対象物の位置を検出し、プロセッサ220が当該位置の座標を最新のものに更新する(S701)。
【0077】
プロセッサ220はまた、当該最新の位置座標に基づいて、センサモジュール200から検出対象物までの距離と入力判定距離TSとを比較する(S702)。ステップS702において、センサモジュール200と検出対象物との距離が未だ入力判定距離TSよりも大きい場合(S702の「No」)、プロセッサ220は、引き続き検出対象物の位置座標を更新し続け(S701)、当該最新の位置座標に基づいて、センサモジュール200から検出対象物までの距離と入力判定距離TSとを比較する(S702)。他方、当該距離が入力判定距離TS以下である場合(S702の「Yes」)、プロセッサ220は、入力操作Tap1が検出されたと認定する(S703)。入力操作Tap1が検出されると、プロセッサ220は、一連の入力操作が開始されたと判定する。
【0078】
すなわち、プロセッサ220は、当該最初の入力操作については入力判定距離TSを絶対的な基準とし、当該入力判定距離TSと検出対象物の距離に基づいて入力操作の有無を判断する。
【0079】
ステップS703において、プロセッサ220は、入力操作Tap1があったと認定し、且つ、入力操作Tap1が認定された座標を下頂点として記憶する。また、プロセッサ220は、当該入力操作Tap1以降についても検出対象物の最新座標を更新し続ける(S704)。また、プロセッサ220は、検出対象物がセンサモジュール200に近づくたびに当該下頂点を更新し、記憶する(S705)。
【0080】
ステップS705に続いて、プロセッサ220は遷移判定を行う(S706)。具体的には、プロセッサ220は、下頂点を基準とした検出対象物の垂直移動量又は水平移動量が閾値以上か否かを判定する。ステップS706で垂直移動量又は水平移動量が閾値以上である場合(S706の「Yes」)、プロセッサ220は、次の入力操作を検出可能なスタンバイ状態になり、次のステップS707に進む。一方、ステップS706で垂直移動量又は水平移動量が閾値未満である場合(S706の「No」)、ステップS704に戻る。
【0081】
より具体的には、垂直移動量は、検出対象物の座標から当該下頂点から+Z方向に移動した量である。例えば、垂直移動量の閾値が5mmである場合、検出対象物がフレーム間で+Z方向に5mm以上移動したか否かによってステップS706における遷移判定が実行される。すなわち、あるフレームにおける下頂点のZ方向の座標がZ1であり、次フレームにおける検出対象物のZ方向の座標がZ2(=Z1+6mm)である場合、検出対象物の垂直移動量が閾値以上であると判断される。或いはまた、連続する複数のフレーム間における検出対象物の+Z方向への移動量の合計がZ1+5mm以上か否かで検出対象物の垂直移動量が閾値以上か否かが判断されてもよい。
【0082】
一方、あるフレームにおける下頂点のZ方向の座標がZ1であり、次フレームにおける検出対象物のZ方向の座標がZ2(=Z1+3mm)である場合、検出対象物の垂直移動量は閾値未満であるので、ステップS706における判断はNoとなってステップS704に戻る。そして引き続き検出対象物の座標が更新される。次々フレームにおける検出対象物のZ方向の座標がZ3(=Z2+3mm)である場合、すなわちZ3=Z2+3mm=Z1+6mmであるので、検出対象物の垂直移動量が閾値以上であると判断される。
【0083】
このように、下頂点が定められて以後の検出対象物の+Z方向の移動量が垂直移動量の閾値を超える場合、すなわち下頂点を定めて以後の検出対象物の座標が下頂点と垂直移動量の閾値の和以上である場合、プロセッサは次のステップ707に進む。なお、ある下頂点を定めて以後にさらに検出対象物がセンサモジュール200に近接する場合、下頂点が更新されることは言うまでもない(S704、S705)。
【0084】
水平移動量についても上記と同様である。また、上記ステップS706においては、下頂点を基準とした検出対象物の垂直移動量又は水平移動量が閾値以上か否かを判定するが、垂直移動量及び水平移動量の両方が閾値以上か否かを判断してもよい。この場合、垂直移動量及び水平移動量の閾値の範囲は任意に定められる。例えば、水平移動量の閾値を垂直移動量の閾値より大きい値に定めることができる。より具体的には、垂直移動量の閾値を5mmとし、水平移動量の閾値を25mmとすることができる。これにより、垂直移動量を厳密に判定しつつ、水平移動量についてはある程度の余裕を持たせることができる。この場合、例えば検出対象物の水平方向の揺れを許容することができる。一方、垂直移動量の閾値を水平移動量の閾値より大きい値に定めてもよい。より具体的には、垂直移動量の移動量の閾値を10mmとし、水平移動量の閾値を5mmとすることができる。この場合、例えば検出対象物の垂直方向の揺れを許容することができる。
【0085】
ステップS706に続いて、プロセッサ220は、検出対象物の座標に基づいて、検出対象物の軌跡に上頂点が存在することを検出すると、上頂点における座標を更新する(S707)。ステップS707に続いて、プロセッサ220は、検出対象物の座標に基づいてリセット判定を行う(S708)。ステップS708のリセット判定において、センサモジュール200と検出対象物との距離がリセット判定距離RESを超える場合(S708の「Yes」)、プロセッサ220はリセット操作が行われたと判定し、一連の入力操作を終了する。一方、ステップS708のリセット判定において、センサモジュール200と検出対象物との距離がリセット判定距離RESを超えない場合(S708の「No」)、プロセッサ220は一連の入力操作を継続する。
【0086】
ステップS708に続いて、センサモジュール200は検出対象物の位置を検出し、プロセッサ220が当該位置の座標及びステップS707で記録された上頂点の座標を更新する(S709、S710)。
【0087】
ステップS710に続いて、プロセッサ220は押込判定を行う(S711)。具体的には、プロセッサ220は、上頂点を基準とした検出対象物の垂直移動量が閾値以上か否かを判定する。ステップS711で垂直移動量が閾値以上である場合(S711の「Yes」)、プロセッサ220は、次の入力操作が開始されたと判定し、次のステップS712に進む。一方、ステップS711で垂直移動量が閾値未満である場合(S711の「No」)、ステップS708に戻る。当該ステップS711における検出対象物の垂直移動量の判断の具体的な手法は、実質的に上記ステップS706におけるものと同様である。
【0088】
ステップS711に続いて、プロセッサ220は、ステップS711の後の検出対象物の軌跡がTap条件を満たすか否かを判定する(S712)。本実施形態の場合、当該Tap条件とは、ステップS711の後の検出対象物の軌跡に下頂点が存在するか否かで判断される。より具体的には、ステップS711にてYesと判断される場合、既に検出対象物の軌跡はセンサモジュール200に近接している局面に入っている。したがって、ステップS712においては、当該ステップS711の後に検出対象物の垂直移動量が+Z方向に所定の垂直移動量の閾値以上(例えば3mm)である、又は、上記検出対象物の動きがセンサモジュール200への近接局面から離隔局面に移行したことによって判断される。
【0089】
当該垂直移動量の閾値は、ステップS706における垂直移動量の閾値よりも小さいことが好ましい。なお、当該ステップS712における判断基準として、上記垂直移動量の閾値に代えて水平移動量の閾値を用いてもよく、これらの両方を用いてもよい。ステップS712において、プロセッサ220は、検出対象物の軌跡がTap条件を満たすと判断すると(S712の「Yes」)、ステップS703に戻り、以後、ステップS708にてYesと判断されるまでステップS703~S712の判断を繰り返して順次タップを認定していく。一方、プロセッサ220は、例えば所定の期間入力操作Tap2を検出しない場合(S712の「No」)、S708に戻る。
【0090】
当該ステップS712におけるTap条件は、ステップS702における判定のように、センサモジュールと検出対象物との間の距離のみに基づいて定められるものではなく、検出対象物の動きそのもの、すなわち、ある時間と別の時間における検出対象物の相対的な位置関係によってTapを判断する。
【0091】
なお、後述するように、ステップS712におけるTap条件は上記以外の条件が設定されてもよい。
【0092】
以上のように、本実施形態によると、上記のような新規センサシステムとその駆動方法を提供することができる。特に、非接触式センサモジュールを用いたセンサシステムにおけるセンサモジュールの新規駆動方法を提供することができる。その結果、検出対象物をセンサモジュール200から大きく離すことなく連続した入力操作を行った場合であっても、各入力操作を正確な位置で検出することができる。
【0093】
[1-10.プログラム]
本発明の実施形態に係るプログラムは、上述したセンサシステムにおける表示装置100の駆動方法を実現するためのプログラムであり、コンピューティングデバイス300の制御部302に対し、上記一連の操作を実行させるように構成される。プログラムは、ユーザによる入力をアシストするための映像、すなわち、入力領域を含む映像や入力領域への操作に対応する映像の映像信号を表示モジュール110に提供することを制御部302に実行させるように構成される。また、プログラムは、プロセッサ220が下頂点及び上頂点を検出するための閾値を設定し、当該閾値に基づいて入力操作を検出することを制御部302に実行させるように構成される。プログラムはさらに、検出対象物の二次元座標又は三次元座標をプロセッサ220から取得することを制御部302に実行させるように構成される。
【0094】
プログラムは、コンピューティングデバイス300が読み取ることができる媒体に格納された状態で配布されてもよく、あるいは、インターネットなどのネットワークから通信部306を介してダウンロード可能な状態で配布されてもよい。したがって、当該プログラムが記憶された記録媒体も本発明の実施形態に含まれる。
【0095】
[2.第2実施形態]
図8を参照して、本発明の実施形態の一つであるセンサシステム、センサシステムによる検出対象物の検出方法、及びこの方法を実現するためのプログラムについて説明する。
【0096】
[2-1.センサシステムの検出動作]
以下、上述した構成を備えるセンサシステムの検出動作について説明する。
【0097】
図8は、本実施形態に係るセンサシステムの検出動作を説明する模式的断面図である。図8では、表示モジュール110上に、複数の画素116によって表示されたターゲット表示131~136が示されている。図8において、図6に示された符号と同じ符号が付された部材は、図6の部材と同じ構成及び機能を有する。図8において、点P41から点P44に達するまでの検出動作は、図6において、点P31から点P34に達するまでの検出動作と同じである。
【0098】
以下、ターゲット表示133に向かって移動する検出対象物に対する入力操作の検出方法について説明する。すなわち、以下では、上記第1実施形態の図7のステップS712におけるTap条件について、上記第1の実施形態とは異なる条件を示している。本実施形態では、ユーザの操作によって、検出対象物は、ターゲット表示133への入力操作を実行するためにユーザが狙った入力位置(点P44)まで移動し、点P44で検出対象物を静止させる。
【0099】
上記の点P44を「第2点」という場合がある。点P44における入力操作Tap2を「第2入力操作」という場合がある。これらの文言を用いて上記の構成を換言すると、プロセッサ220は、検出対象物が第2点(点P44)で閾値を超える時間静止した場合に、第2入力操作(Tap2)を検出する。或いは、プロセッサ220は、ステップS712におけるTap条件として検出対象物の静止時間を設定し、当該検出対象物が第2点(点P44)で所定時間静止しているか否かを判断する(S712)。より具体的には、プロセッサ220は、第2点(点P44)を検出した後、検出対象物が当該第2点から移動した移動量と時間を測定する。プロセッサ220は、例えば検出対象物が第2点からX方向、Y方向及びZ方向に3mmの範囲内に0.5秒以上滞在する場合に、検出対象物が停止していると判定することができる。ただし、検出対象物が停止しているとプロセッサ220が判定する条件は、上記の条件に限定されず、距離の閾値がX方向、Y方向及びZ方向でそれぞれ異なっていても構わない。また、時間の測定は、実際に時間を測定してもよく、フレーム積算により導出しても構わない。
【0100】
ユーザは、検出対象物を点P44で停止させた後、次のターゲット表示135への入力操作を実行するために、検出対象物を点P44から水平方向と上方向(センサモジュールから離間する方向)のいずれか一方あるいは両方(すなわち斜め上方)に大きく移動させる。ここで、プロセッサ220は、ターゲット表示133への入力操作Tap2を検出した後に、点P44を基準としてx軸上における水平移動量MVが閾値を超えた場合に、次の入力操作を受付可能なスタンバイ状態になる(図7のステップS706)。本実施形態では、プロセッサ220が水平移動量MVに基づいてスタンバイ状態になる構成を例示したが、この構成に限定されない。プロセッサ220は、点P44を基準として垂直移動量UPに基づいてスタンバイ状態になる構成であってもよい。
【0101】
ユーザは、検出対象物を頂点P45まで移動した後、ターゲット表示135への入力操作を実行するために、ターゲット表示135に向かって検出対象物を移動させる。
【0102】
点P45から点P46までの動作は、図6の点P33から点P34までの動作と同じ、或いはプロセッサ220においては図7のステップS707からステップS711までの処理と同じなので、説明を省略する。
【0103】
ユーザは、検出対象物を点P46で静止させた後、一連の入力操作を終了させるため、検出対象物を上方に向かって移動させる。プロセッサ220は、検出対象物が第3点(点P46)で閾値を超える時間静止した場合に、第3入力操作(Tap3)を検出する(図7のステップS712、S703)。プロセッサ220は、検出対象物がリセット判定距離RESを超える(S703~S708)ことで、上記の一連の入力操作を終了する。
【0104】
以上のように、本実施形態によると、第1実施形態と同様の効果を得ることができる。
【0105】
[3.第3実施形態]
図9を参照して、本発明の実施形態の一つであるセンサシステム、センサシステムによる検出対象物の検出方法、及びこの方法を実現するためのプログラムについて説明する。
【0106】
[3-1.センサシステムの検出動作]
以下、上述した構成を備えるセンサシステムの検出動作について説明する。
【0107】
図9は、本実施形態に係るセンサシステムの検出動作を説明する模式的断面図である。図9では、表示モジュール110上に、複数の画素116によって表示されたターゲット表示131~136が示されている。図9において、図6に示された符号と同じ符号が付された部材は、図6の部材と同じ構成及び機能を有する。
【0108】
図9では、センサモジュール200の上方に第1入力判定距離TS1及び第2入力判定距離TS2が点線で表示されている。第1入力判定距離TS1の下方、かつ、第2入力判定距離TS2の上方に判定開始距離JGが二点鎖線で表示されている。第1入力判定距離TS1の上方にリセット判定距離RESが一点鎖線で表示されている。第1入力判定距離TS1は、一連の入力操作における最初の入力操作を検出するための基準である。第2入力判定距離TS2は、一連の入力操作におけるn回目以降の入力操作を検出するための基準である(nは2以上の自然数)。判定開始距離JGは、一連の入力操作において、n回目以降の入力操作が検出された後に、プロセッサ220が次の入力操作を検出可能なスタンバイ状態になるための基準である。すなわち、以下では、上記第1実施形態の図7のステップS706におけるスタンバイ状態になるための条件及びステップS712におけるTap条件について、上記第1の実施形態とは異なる条件を示している。
【0109】
図9に示すように、まず、ユーザは、ターゲット表示131への入力操作を実行するために、検出対象物をターゲット表示131に向かって移動させる。この場合、検出対象物がターゲット表示131に接近し、センサモジュール200(又はセンサパネル201)から検出対象物までの距離が第1入力判定距離TS1に達した位置を、入力操作Tap1が検出された位置と判断する(S703)。ユーザの操作によって、検出対象物は、第1入力判定距離TS1に達した後もセンサモジュール200へ接近し、ユーザが狙った入力位置(点P52)まで移動する。
【0110】
その後、ユーザは、次のターゲット表示133への入力操作を実行するために、検出対象物をターゲット表示133に向かって移動させる。この場合、検出対象物は、点P52を基準としてセンサモジュール200から離れる方向(z軸の正方向)に移動してから、次のターゲット表示133に向かって移動する。つまり、点P52は検出対象物の軌跡において下頂点となる。
【0111】
プロセッサ220は、検出対象物の軌跡において下頂点(点P52)を検出すると、検出対象物が当該下頂点から移動した移動量を測定する(S706)。詳細は後述するが、当該移動量は、当該下頂点を基準として、センサモジュール200から離れるz軸の正方向における垂直移動量UPであってもよく、当該下頂点を基準として、センサモジュール200の主面と平行に移動するx軸上における水平移動量MVであってもよい。上記のように測定された移動量が閾値を超えた場合、プロセッサ220は、次の入力操作を検出可能なスタンバイ状態になる(S706、S707)。
【0112】
プロセッサ220は、上記のようにスタンバイ状態になるとともに、第1入力判定距離TS1に基づく入力操作の検出を無効とし、第2入力判定距離TS2に基づく入力操作の検出を有効とする。つまり、プロセッサ220は、ステップS712におけるTap条件として第2入力判定距離TS2を設定し、センサモジュール200(又はセンサパネル201)から検出対象物までの距離が第2入力判定距離TS2に達するか否かを判断する(S712)。
【0113】
ユーザは、検出対象物を点P52から上方に移動させた後、ターゲット表示133への入力操作を実行するために、ターゲット表示133に向かって検出対象物を移動させる。この場合、検出対象物がターゲット表示133に接近し、センサモジュール200と検出対象物との距離が第2入力判定距離TS2に達すると、プロセッサ220は、第2入力判定距離TS2における検出対象物の位置(点P53)を、入力操作Tap2が検出された位置と判断する(S712)。ユーザの操作によって、検出対象物は、第2入力判定距離TS2に達した後もセンサモジュール200へ接近し、ユーザが狙った入力位置(点P54)まで移動する。
【0114】
プロセッサ220は、上記のように入力操作Tap2を検出すると、第2入力判定距離TS2に基づく入力操作の検出を無効とする。ただし、検出対象物が上方に移動し、センサモジュール200と検出対象物との距離が判定開始距離JGに達すると、プロセッサ220はスタンバイ状態になり、第2入力判定距離TS2に基づく入力操作の検出を有効とする(S712、S703、S706)。したがって、判定開始距離JGより上方に移動した検出対象物が再度センサモジュール200に接近し、センサモジュール200と検出対象物との距離が第2入力判定距離TS2に達すると、プロセッサ220は、第2入力判定距離TS2における検出対象物の位置(点P56)を、入力操作Tap3が検出された位置と判断する(S712)。ユーザの操作によって、検出対象物は、第2入力判定距離TS2に達した後もセンサモジュール200へ接近し、ユーザが狙った入力位置(点P57)まで移動する。
【0115】
ユーザは、検出対象物を点P57まで移動させた後、一連の入力操作を終了させるため、検出対象物を上方に向かって移動させる。この場合、プロセッサ220は、検出対象物がリセット判定距離RESを超えることで、上記の一連の入力操作を終了する(S708の「Yes」)。
【0116】
上記の構成を換言すると、プロセッサ220は、センサモジュール200から検出対象物までの距離が第1入力判定距離TS1に達した場合に最初の入力操作Tap1を検出し、一連の入力操作を開始する。一連の入力操作が開始されると、プロセッサ220は、センサモジュール200から検出対象物までの距離が第2入力判定距離TS2に達した場合にn回目の入力操作(例えばTap2)を検出する。n回目の入力操作(例えばTap2)が検出された後、検出対象物が上方に移動し、センサモジュール200から検出対象物までの距離が判定開始距離JGに達した場合に、プロセッサがスタンバイ状態になる。この状態で、プロセッサ220は、センサモジュール200から検出対象物までの距離が再度第2入力判定距離TS2に達した場合に(n+1)回目の入力操作(例えばTap3)を検出する。
【0117】
本実施形態では、nが2である構成を例示するが、nは3以上の数であってもよい。また、本実施形態では、3回目の入力操作Tap3の検出が第2入力判定距離TS2に基づいて行われる構成を例示したが、3回目の入力操作Tap3が2回目の入力操作Tap2よりセンサモジュール200に近い位置で行われてもよい。
【0118】
以上のように、本実施形態によると、第1実施形態と同様の効果を得ることができる。なお、本実施形態では、第1実施形態と同様に第2入力判定距離TS2を絶対的な基準として入力操作の有無を判断するが、第1実施形態に比べてセンサモジュール200に近い位置で入力操作が検出される。
【0119】
第1実施形態~第3実施形態のうち2以上の実施形態に記載された機能を組み合わせることができる。例えば、複数の実施形態に記載された機能を組み合わせることで、入力操作の検出精度が向上する。
【0120】
各実施形態を基にして、当業者が適宜構成要素の追加、削除、もしくは設計変更を行ったもの、又は工程の追加、省略、もしくは条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。
【0121】
上述した各実施形態の態様によりもたらされる作用効果とは異なる他の作用効果であっても、本明細書の記載から明らかなもの、又は当業者において容易に予測し得るものについては、当然に本発明によりもたらされるものと解される。
【符号の説明】
【0122】
100:表示装置、 110:表示モジュール、 112:アレイ基板、 114:対向基板、 116:画素、 118:第1のコネクタ、 120:表示領域、 122:駆動回路、 131~137:ターゲット表示、 200:センサモジュール、 202:センサ基板、 204:カバー基板、 206:センサ電極、 208:第3のコネクタ、 210:第2のコネクタ、 212:端子、 214:センサ領域、 216:ノイズシールド層、 220:プロセッサ、 230:電源回路、 240:検出器、 242:信号検出部、 244:アナログ/デジタル変換部(A/D変換部)、 250:演算素子、 252:信号処理部、 254:座標演算部、 256:判定部、 258:記憶部、 260:インターフェース、 300:コンピューティングデバイス、 302:制御部、 304:記憶部、 306:通信部、 308:音声出力部、 310:電源、 JG:判定開始距離、 UP:垂直移動量、 MV:水平移動量、 PS:垂直移動量、 RES:リセット判定距離、 TS:入力判定距離、 TS1:第1入力判定距離、 TS2:第2入力判定距離、 Tap1~4:入力操作
図1
図2
図3
図4
図5
図6
図7
図8
図9