(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-29
(45)【発行日】2024-04-08
(54)【発明の名称】電場タッチ画面
(51)【国際特許分類】
G06F 3/041 20060101AFI20240401BHJP
【FI】
G06F3/041
(21)【出願番号】P 2021553293
(86)(22)【出願日】2020-03-06
(86)【国際出願番号】 US2020021481
(87)【国際公開番号】W WO2020185594
(87)【国際公開日】2020-09-17
【審査請求日】2023-03-03
(32)【優先日】2019-03-08
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520434466
【氏名又は名称】チャージポイント インコーポレイテッド
(74)【代理人】
【識別番号】100094569
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100086771
【氏名又は名称】西島 孝喜
(74)【代理人】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100196612
【氏名又は名称】鎌田 慎也
(72)【発明者】
【氏名】ハンガーフォード マシュー トーマス
(72)【発明者】
【氏名】カマシタ ロバート エム
【審査官】木村 慎太郎
(56)【参考文献】
【文献】特表2017-507416(JP,A)
【文献】米国特許出願公開第2019/0227667(US,A1)
【文献】特表2015-527005(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/041
(57)【特許請求の範囲】
【請求項1】
電場(eフィールド)タッチ画面のための方法であって、
複数の受信電極の各々から検出されたeフィールド信号偏差を表すデジタル信号データストリームを継続的に受け取るステップであって、前記eフィールドタッチ画面のディスプレイ画面は4つの縁部を含み、前記複数の受信電極は、前記ディスプレイ画面の前記4つの縁部に沿ってそれぞれ配置された少なくとも4つの電極を含む、ステップと、
第1のタッチイベント及び前記タッチ画面のディスプレイ画面上の第1の位置を決定するために、機械学習モデルを使用して前記デジタル信号データストリームを処理するステップと、
前記第1のタッチイベントを処理するステップと、
前記受け取られたデジタル信号データストリームから、信号強度が閾値未満に低下したと決定するステップと、
信号強度が前記閾値未満に低下したとの決定に応答して、
第1のフィルタ処理済みデジタル信号データストリームを生成するために、前記受け取られたデジタル信号データストリームを1又は2以上のフィルタを通じて処理するステップ、
第2のタッチイベント及び前記タッチ画面のディスプレイ画面上の第2の位置を決定するために、前記機械学習モデルを使用して前記第1のフィルタ処理済みデジタル信号データストリームを処理するステップ、及び、
前記第2のタッチイベントを処理するステップ、
を実行するステップと、
を含む、方法。
【請求項2】
前記機械学習モデルは、位置を予測するためにディープニューラルネットワーク(DNN)回帰モデルを使用し、タッチイベントが発生したかどうかを予測するためにDNN分類器モデルを使用する、請求項1に記載の方法。
【請求項3】
信号強度が前記閾値未満に低下したとの決定に応答して、
前記デジタル信号データストリームの基準校正を無効化するステップをさらに含み、
前記受け取られたデジタル信号データストリームを1又は2以上のフィルタを通じて処理するステップは、
第2のフィルタ処理済みデジタル信号データストリームを生成するために、前記受け取られたデジタル信号データストリームを低域通過フィルタを通じて処理するステップと、
前記受け取られたデジタル信号データストリームの絶対値の平均を決定するために、前記受け取られたデジタル信号データストリームを絶対値平均基準フィルタを通じて処理するステップと、
前記第1のフィルタ処理済みデジタル信号データストリームを生成するために、前記第2のフィルタ処理済みデジタル信号データストリームと、前記受け取られたデジタル信号データストリームの絶対値の平均との間の差分を決定するステップと、
を含む、請求項1に記載の方法。
【請求項4】
前記継続的に受け取られたデジタル信号データストリームから、所定の時間にわたって信号強度が前記閾値を上回ると決定するステップと、
前記所定の時間にわたって信号強度が前記閾値を上回るとの決定に応答して、
前記デジタル信号データストリームの基準校正を再び有効化するステップ、
第3のタッチイベント及び前記タッチ画面のディスプレイ画面上の第3の位置を決定するために、前記受け取られたデジタル信号データを前記機械学習モデルを使用して処理するステップ、及び、
前記第3のタッチイベントを処理するステップ、
を実行するステップと、
をさらに含む、請求項3に記載の方法。
【請求項5】
前記受け取られたデジタル信号データストリームを前記低域通過フィルタを通じて処理するステップと、前記受け取られたデジタル信号データストリームを前記絶対値平均基準フィルタを通じて処理するステップとは、同時に実行される、請求項3に記載の方法。
【請求項6】
前記デジタル信号データストリームに対する基準校正を無効化するステップは、eフィールドコントローラに基準校正を無効化するコマンドを送信するステップを含む、請求項3に記載の方法。
【請求項7】
電場タッチ画面であって、
電場(eフィールド)を生成するように構成された一組の1又は2以上の送信電極と、
それぞれがeフィールド変化を感知するように構成された複数の受信電極と、
前記複数の受信電極から継続的に信号データを受け取って、eフィールド信号偏差を表すデジタル信号データストリームを出力するように構成されたコントローラと、
アプリケーションプロセッサと、
を備え、前記アプリケーションプロセッサは、
前記デジタル信号データストリームを受け取り、
第1のタッチイベント及び前記タッチ画面のディスプレイ画面上の第1の位置を決定するために、前記受け取られたデジタル信号データを機械学習モデルを使用して処理し、
前記タッチイベントを処理し、
前記受け取られたデジタル信号データストリームから、信号強度が閾値未満に低下したかどうかを決定し、
前記信号強度が前記閾値未満に低下したとの決定に応答して、
第1のフィルタ処理済みデジタル信号データストリームを生成するために、前記受け取られたデジタル信号データストリームを1又は2以上のフィルタを通じて処理し、
第2のタッチイベント及び前記タッチ画面の前記ディスプレイ画面上の第2の位置を決定するために、前記機械学習モデルを使用して前記第1のフィルタ処理済みデジタル信号データストリームを処理し、
前記第2のタッチイベントを処理する、
ことを実行するように構成される、
電場タッチ画面。
【請求項8】
前記ディスプレイ画面は4つの縁部を含み、前記複数の受信電極は、前記ディスプレイ画面の前記4つの縁部に沿ってそれぞれ配置された少なくとも4つの受信電極を含む、請求項7に記載の電場タッチ画面。
【請求項9】
前記機械学習モデルは、位置を予測するためにディープニューラルネットワーク(DNN)回帰モデルを使用し、タッチイベントが発生したかどうかを予測するためにDNN分類器モデルを使用する、請求項7に記載の電場タッチ画面。
【請求項10】
前記アプリケーションプロセッサは、
前記信号強度が前記閾値未満に低下したとの決定に応答して、
前記デジタル信号データストリームの基準校正を無効化することを実行するようにさらに構成され、
前記受け取られたデジタル信号データストリームを1又は2以上のフィルタを通じて処理することは、
第2のフィルタ処理済みデジタル信号データストリームを生成するために、前記受け取られたデジタル信号データストリームを低域通過フィルタを通じて処理することと、
前記受け取られたデジタル信号データストリームの絶対値の平均を決定するために、前記受け取られたデジタル信号データストリームを絶対値平均基準フィルタを通じて処理することと、
前記第1のフィルタ処理済みデジタル信号データストリームを生成するために、前記第2のフィルタ処理済みデジタル信号データストリームと、前記受け取られたデジタル信号データストリームの絶対値の平均との間の差分を決定することと、
を含む、請求項7に記載の電場タッチ画面。
【請求項11】
前記アプリケーションプロセッサは、
前記受け取られたデジタル信号データストリームから、所定の時間にわたって信号強度が前記閾値を上回っているかどうかを決定し、
前記所定の時間にわたって信号強度が前記閾値を上回っているとの決定に応答して、
前記デジタル信号データストリームの基準校正を再び有効化し、
第3のタッチイベント及び前記タッチ画面のディスプレイ画面上の第3の位置を決定するために、前記受け取られたデジタル信号データを前記機械学習モデルを使用して処理し、
前記第3のタッチイベントを処理する、
ことを実行するようにさらに構成される、請求項10に記載の電場タッチ画面。
【請求項12】
前記受け取られたデジタル信号データストリームの前記低域通過フィルタを通じた処理と、前記受け取られたデジタル信号データストリームの前記絶対値平均基準フィルタを通じた処理とは、同時に実行される、請求項10に記載の電場タッチ画面。
【請求項13】
前記デジタル信号データストリームに対する基準校正の無効化は、前記コントローラに送信される基準校正を無効化するためのコマンドを含む、請求項10に記載の電場タッチ画面。
【請求項14】
電場(eフィールド)タッチ画面のプロセッサによって実行された場合に、前記プロセッサに動作を実行させる命令を与える非一時的機械可読記憶媒体であって、前記動作は、
複数の受信電極の各々から検出されたeフィールド信号偏差を表すデジタル信号データストリームを継続的に受け取ることであって、前記eフィールドタッチ画面のディスプレイ画面は4つの縁部を含み、前記複数の受信電極は、前記ディスプレイ画面の前記4つの縁部に沿ってそれぞれ配置された少なくとも4つの電極を含む、ことと、
第1のタッチイベント及び前記タッチ画面のディスプレイ画面上の第1の位置を決定するために、機械学習モデルを使用して前記デジタル信号データストリームを処理することと、
前記第1のタッチイベントを処理することと、
前記受け取られたデジタル信号データストリームから、信号強度が閾値未満に低下したと決定することと、
信号強度が前記閾値未満に低下したとの決定に応答して、
第1のフィルタ処理済みデジタル信号データストリームを生成するために、前記受け取られたデジタル信号データストリームを1又は2以上のフィルタを通じて処理すること、
第2のタッチイベント及び前記タッチ画面のディスプレイ画面上の第2の位置を決定するために、前記機械学習モデルを使用して前記第1のフィルタ処理済みデジタル信号データストリームを処理すること、及び、
前記第2のタッチイベントを処理すること、
を実行することと、
を含む、非一時的機械可読記憶媒体。
【請求項15】
前記機械学習モデルは、位置を予測するためにディープニューラルネットワーク(DNN)回帰モデルを使用し、タッチイベントが発生したかどうかを予測するためにDNN分類器モデルを使用する、請求項14に記載の非一時的機械可読記憶媒体。
【請求項16】
前記動作は、
信号強度が前記閾値未満に低下したとの決定に応答して、
前記デジタル信号データストリームの基準校正を無効化することをさらに含み、
前記受け取られたデジタル信号データストリームを1又は2以上のフィルタを通じて処理することは、
第2のフィルタ処理済みデジタル信号データストリームを生成するために、前記受け取られたデジタル信号データストリームを低域通過フィルタを通じて処理することと、
前記受け取られたデジタル信号データストリームの絶対値の平均を決定するために、前記受け取られたデジタル信号データストリームを絶対値平均基準フィルタを通じて処理することと、
前記第1のフィルタ処理済みデジタル信号データストリームを生成するために、前記第2のフィルタ処理済みデジタル信号データストリームと、前記受け取られたデジタル信号データストリームの絶対値の平均との間の差分を決定することと、
を含む、請求項14に記載の非一時的機械可読記憶媒体。
【請求項17】
前記動作は、
前記継続的に受け取られたデジタル信号データストリームから、所定の時間にわたって信号強度が前記閾値を上回ると決定することと、
前記所定の時間にわたって信号強度が前記閾値を上回るとの決定に応答して、
前記デジタル信号データストリームの基準校正を再び有効化すること、
第3のタッチイベント及び前記タッチ画面のディスプレイ画面上の第3の位置を決定するために、前記受け取られたデジタル信号データを前記機械学習モデルを使用して処理すること、及び、
前記第3のタッチイベントを処理すること、
を実行することと、
をさらに含む、請求項16に記載の非一時的機械可読記憶媒体。
【請求項18】
前記受け取られたデジタル信号データストリームを前記低域通過フィルタを通じて処理することと、前記受け取られたデジタル信号データストリームを前記絶対値平均基準フィルタを通じて処理することとは、同時に実行される、請求項16に記載の非一時的機械可読記憶媒体。
【請求項19】
前記デジタル信号データストリームに対する基準校正を無効化することは、eフィールドコントローラに基準校正を無効化するコマンドを送信することを含む、請求項16に記載の非一時的機械可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態はタッチ画面の分野に関し、具体的には電場(電界)タッチ画面に関する。
【背景技術】
【0002】
タッチ画面は、日々の生活においてありふれたものである。タッチ画面は、モバイル装置、パーソナルコンピュータ、販売時点情報管理システム、現金自動預け払い機などの多くの装置で使用されている。タッチ画面技術を実装するための技術には様々なものがある。
【0003】
1つの種類のタッチ画面は、抵抗式タッチ画面である。抵抗式タッチ画面は複数の層で構成され、指先又はスタイラスなどの物体によって押下されると、外側層が下位層に接触する。この時、画面上の圧力点の位置を特定することができる。抵抗式タッチ画面は、圧力に基づいて動作するので、手袋をはめた人々によって、又は非静電容量式スタイラスなどの他の無生物を使用して使用することができる。通常、抵抗式タッチ画面は、他のタイプのタッチ画面よりも損傷しやすい。抵抗式タッチ画面は、(摩耗及びその他の事象に起因して)時間と共に校正を必要とする。抵抗式タッチ画面は、時間と共に摩耗して、使用頻度の高い場所にデッドスポットが生じてしまう。
【0004】
別のタイプのタッチ画面は、(典型的には発光ダイオードによって放出される)光を使用してマトリクスを生成し、センサを使用してマトリクスの平面がいつ(指などの)物体によって遮られたかを識別する赤外線式タッチ画面である。タッチ画面の発光ダイオードには寿命があり、赤外線式タッチ画面は、日光、ほこり、汚れ及び降水によって影響を受ける。
【0005】
別のタイプのタッチ画面は、静電容量式タッチ画面である。一般に、静電容量式タッチ画面は、検出のための電気的にアドレス指定可能な行及び列のマトリクスの場を提供する透明な導体材料に裏側が接合されたガラスで構成される。(指などの)導電性/容量性の物体で画面に触れると、画面の場の測定可能な静電容量の変化が生じ、これが静電容量の変化として測定される。容量センサ技術の場の近接性、範囲又は深さは、4mm以下(差動モード)に制限される。さらに、センサ場は、ガラス及び/又はポリカーボネートなどの強化タッチ画面材料の裏側3mm(例えば、屋外キオスク、ATMなど)に接合されて取り付けられなければならない。この透明なマウントの厚みによって、キャパシタ感知の限られた近接性範囲/深さが含まれ、手袋をはめた指、長い爪をサポートすることはできず、またディスプレイ画面上に氷及び雪が積もった時にも常にそうである。ほとんどのモバイル装置のタッチ画面は、薄い材料でなければならないという理由で静電容量式タッチ画面である。
【発明の概要】
【0006】
抵抗式及び静電容量式タッチ画面は、いずれも画面が直接ユーザに暴露され、ユーザインターフェイスにおいてセンサ場が密接に接触しなければ(直接暴露されなければ)ならないので、破壊行為を受けやすい。
【0007】
装置上で使用されるタッチ画面技術のタイプは、主にその装置の目的に依存する。スマートフォンに適しているものが、現金自動預け払い機、給油所ポンプ又は電気自動車充電ステーションなどの要素で使用されるように期待される装置には適していないこともある。例えば、ガラスに接合されたタッチ画面は、雹、車のタイヤによって地面から跳ね上げられた石、又はその他の風にあおられた小枝及び他の物質がぶつかった場合に容易にひびが入り又は損傷することがある。また、タッチ画面をガラスに取り付ける際に利用される接着剤(bonding)も、大きな気温の変化又は長期にわたる直接的なUV照射に対応していない(例えば、剥離して変色する)。タッチ画面サイズが大きくなるにつれて、ガラスのひび割れを引き起こす圧力の量は小さくなり、このためガラス製の大型タッチ画面が損傷なく長持ちする可能性は低くなる。
【0008】
電場(Eフィールド)技術は、3次元(X、Y&Z)ジェスチャ検出及び動き追跡を支援するために使用されてきた。Eフィールドは、電荷によって発生し、電荷を保持する表面に沿って広がる。指又は手などの物体がEフィールドエリアに入るとEフィールドが歪んで、感知エリアに対する物体の位置を特定することができる。eフィールド技術の信号は、雨を含む降水によって影響を受けることがある。
【0009】
Eフィールド技術は、ジェスチャ検出をサポートすることはできるが、通常、タッチ画面動作では上手く機能しない。従来のEフィールド技術は、受信電極から数フィートのジェスチャを登録する。典型的なEフィールド技術は、画面上の接触点(Z方向)を検出せず、むしろ放出される電場上の物体の接近を検出する。この歪みは、例えばユーザの指全体及び手の一部を含むことができる。ユーザは異なる方法でタッチ画面を使用する(例えば、ある者は親指又は小指を使用し、ある者は手首を下に保持したまま指を上に伸ばし、ある者は手を横向きに保持する)ので、XY位置を検出する単純なアルゴリズムは、異なる使用パターンを考慮しないため不正確である。さらに、手のサイズが異なるため、影響のサイズも大きく異なる。
【0010】
電場タッチ画面(電場式タッチ画面)(electric field touchscreen)について説明する。電場(eフィールド)タッチ画面は、eフィールドを生成するように構成された一組の1又は2以上の送信電極と、それぞれがeフィールド変化(e-field variance)を感知するように構成された複数の受信電極とを含む。コントローラが、複数の受信電極から継続的に信号データを受け取って、eフィールド信号偏差(e-field signal deviations)を表すデジタル信号データストリーム(stream of digital signal data)を出力する。アプリケーションプロセッサが、デジタル信号データストリームを受け取り、機械学習モデルを使用してデジタル信号データストリームを処理して、タッチイベント及びディスプレイ上のタッチ画面の位置を決定する。その後、このタッチイベントを処理する。
【0011】
ある実施形態では、アプリケーションプロセッサが、デジタル信号データにノイズを生じさせる非正規イベントが発生している可能性があるかどうかを判定する。例えば、偽タッチイベント(false touch event)の発生及び/又は実際のタッチイベントの悪化又は喪失を招く恐れがある非正規イベント(例えば、大雨又はその他の降水)が発生している可能性があることを示すことができる閾値未満に信号強度が低下することがある。信号強度が閾値未満に低下した場合には、データのさらなるフィルタリングが行われる。デジタル信号データストリームの基準校正を無効化し、デジタル信号データストリームを低域通過フィルタに通して第1のフィルタ処理済みデジタル信号データストリームを生成し、絶対値平均基準(absolute value average baseline)フィルタに通す。第1のフィルタ処理済みデジタル信号データストリームと絶対値平均との間の差分を取って、第2のフィルタ処理済みデジタル信号データストリームを生成する。機械学習モデルを使用して第2のフィルタ処理済みデジタル信号データストリームを処理して、タッチイベント及びディスプレイ上のタッチ画面の位置を決定する。その後、このタッチイベントを処理する。
【0012】
本発明の実施形態を示すために使用する以下の説明及び添付図面を参照することにより、本発明を最も良く理解することができる。
【図面の簡単な説明】
【0013】
【
図1】ある実施形態によるeフィールド式タッチ画面のシステムを示す図である。
【
図2】ある実施形態による、ディスプレイの画面に関連した受信電極の配置例を示す図である。
【
図3】ある実施形態によるタッチ画面アセンブリの断面を示す図である。
【
図4】ある実施形態によるタッチ画面アセンブリの分解図である。
【
図5】ある実施形態による、eフィールド式タッチ画面上で行われるタッチイベントを判定する例示的な動作を示すフロー図である。
【発明を実施するための形態】
【0014】
電場(eフィールド)式タッチ画面について説明する。eフィールド式タッチ画面は、ディスプレイの縁部に向かって配置された複数のeフィールド受信電極を含む。例えば、タッチ画面の形状が矩形である場合には、ディスプレイの各縁部に沿って配置された1つのeフィールド受信電極(例えば、アンテナ)が存在することができる。ディスプレイは、ポリカーボネート材料で覆うことができる。機械学習(ML)アルゴリズムを使用して、eフィールドデータをタッチ位置座標(例えば、X及びY座標、並びにタッチが登録されたかどうか)に変換することができる。タッチデータは、タッチ対応処理(touch enabled processing)のためのアプリケーションに提供される。eフィールド式タッチ画面は、偽タッチイベント及び/又は実際のタッチイベントの悪化又は喪失を招く恐れがあるいくつかの状態を検出して、このような状態を緩和することができる。
【0015】
図1に、ある実施形態によるeフィールド式タッチ画面のシステムを示す。eフィールドコントローラ120は、eフィールド受信電極110及びeフィールド送信機115と連動するアナログフロントエンドを含む。例えば、eフィールドコントローラ120は、eフィールドを生成するeフィールド送信機115に送信信号を提供して、eフィールド変化を感知するeフィールド受信電極110からアナログ信号を受け取る。eフィールド送信機115は、(受信電極の層の裏側の層上に配置できる)送信電極と、送信電極に電気的に接合されたディスプレイ領域全体を覆う酸化インジウム(ITO)材料の導電側とを含むことができる。送信電極は、ディスプレイの周辺を取り囲む不透明な銅製リングとすることができ、ITO材料は、ディスプレイ領域全体を覆う透明なものである。送信電極とITOとの接続は、eフィールド送信機を全体的に改善して、より均一なeフィールドを提供する。これにより、タッチ近接性精度(touch proximity accuracy)が損なわれる恐れがあるディスプレイの中心の精度が高められる。
【0016】
eフィールド受信電極の数、形状及び/又は配置は、ディスプレイのフォームファクタ、及び/又は予想されるタッチ画面の使用に依存することができる。例えば、ディスプレイ上のあらゆる箇所でのタッチを予想できる矩形ディスプレイの場合には、それぞれディスプレイの縁部の周囲に配置された4つの受信電極が存在することができる。別の例として、ディスプレイの特定の部分(例えば、X軸上)のみにおいてタッチが予想される場合には、4つ未満の受信電極(例えば、ディスプレイの左/右における2つの受信電極)が存在することができる。別の例として、ディスプレイが円形である場合には、ディスプレイの縁部の異なる部分に沿って受信電極を湾曲させることができる。
【0017】
特定の実施形態では、eフィールド受信電極110が、タッチ画面のディスプレイの縁部の周囲(例えば、北、東、南及び西)に配置された4つの受信電極(例えば、アンテナ)を含み、これをディスプレイ自体とは異なる層上に配置し、又はディスプレイの縁部に埋め込むことができる。eフィールド受信電極110は、様々な信号からの電場歪みの原因を測定する際に使用される、ディスプレイに対する異なる位置のeフィールド変化を検出する。
【0018】
図2に、ある実施形態による、eフィールド式タッチ画面の電極の配置例を示す。
図2のディスプレイ画面の形状は矩形である。
図2に示すように、ディスプレイ画面の縁部の周囲に配置された4つの受信電極210A~210Dが存在する。受信電極210A~210Dはアンテナとすることができ、銅で形成することができる。受信電極210Aは北側電極と呼ぶことができ、受信電極210Bは東側電極と呼ぶことができ、受信電極210Cは南側電極と呼ぶことができ、受信電極210Dは西側電極と呼ぶことができる。送信電極215A(例えば、銅製リング)は、ディスプレイの縁部の周囲に配置され、LCDディスプレイ画面の上方であって保護シールドの下方には、送信電極215に電気的に接合されたITO材料215Bの導電側(協働してeフィールドを生成する)が配置される。生成されたeフィールドは、ディスプレイの領域全体に沿う。送信電極215A及び導電性ITO材料215Bは、受信電極210A~210Dの裏側の層内に配置される。受信電極の形状及びサイズは、
図2に示すものと異なることもできる。例えば、受信電極は、ディスプレイ画面の両側の縁部まで延びないことができる。別の例として、受信電極210は、互いに対して同じサイズとすることも、又は画面のサイズ/比率に対するサイズとすることもできる。
【0019】
図3に、ある実施形態によるタッチ画面アセンブリの断面を示す。液晶ディスプレイ(LCD)305は、タッチ画面アセンブリの最下層に存在する。絶縁体308は、LCD305と(銅製リング及び導電性ITO材料を含むことができる)送信電極310とを分離する。絶縁体308は、例えば5mm厚の不導体/絶縁体材料とすることができる。絶縁体312は、受信電極315と送信電極310とを分離する。絶縁体312は、少なくとも1.35mm厚の不導体/絶縁体材料とすることができる。タッチ画面アセンブリ層の最上部には、保護シールド320(例えば、ポリカーボネート材料)が存在する。
【0020】
図4は、ある実施形態によるタッチ画面アセンブリの分解図である。部品410は、最上部側の外向きの(ユーザに面した)eフィールド受信電極110と最下部側のeフィールド送信機115とを結合するプリント基板である(例えば、最上部から最下部までの絶縁距離は少なくとも1.3mmである)。部品410は、透明な導電性の薄い酸化物材料(例えば、酸化インジウム(ITO)材料)である部品415に取り付けられる。部品420は、LCDディスプレイ425との間に絶縁体分離(insulator separation)をもたらす。
【0021】
再び
図1を参照すると、eフィールドコントローラ120は、eフィールド受信電極110からの未処理のアナログ信号を信号処理装置(SPU)においてデジタル的に処理して、測定された電場の信号強度を表す信号データを生成する。SPUは、デジタル信号処理を実行することができる。ある実施形態では、eフィールドコントローラ120が、着信データに対して(eフィールドの歪みがない時にデータが予想されるもの)データの基準を決定する校正プロセスを実行する。校正プロセスは、継続的に実行することができる。別の実施形態では、校正プロセスが、eフィールドコントローラ120ではなくアプリケーションプロセッサ130によって実行される。例えば、eフィールドコントローラ120が校正されたデータの基準を提供しない時の実施形態では、基準校正158を実行することができる。ある実施形態では、eフィールドコントローラ120が、受信機利得によって増幅された受信機信号感度とすることができる信号偏差値である信号データを生成する。
【0022】
eフィールドコントローラ120は、アプリケーションプロセッサ130によって処理されるデジタル信号データを出力する。アプリケーションプロセッサ130は、デジタル信号データを処理して、ディスプレイ上でいつタッチイベントが発生したか、及びタッチイベントの位置(例えば、X及びY座標)を特定する。いくつかの非正規イベントは、タッチデータとノイズとを区別することが困難になり得るノイズをデータに生じさせることがある。例えば、降水(例えば、大雨)は、タッチ信号レベルのピークを高めるとともに、タッチと非タッチとが区別される信号トラフ(signal troughs)を平らにしてしまう。ある実施形態では、アプリケーションプロセッサ130が、ノイズ専用適応フィルタ(noise specific adaptive filters)を適用してタッチデータとノイズデータとを区別する。このような実施形態では、アプリケーションプロセッサ130がフィルタモジュール160を実行して、偽タッチイベントの登録及び/又は実際のタッチイベントの悪化又は喪失を招く恐れがある非正規イベントに対処するためにデータのフィルタリングが必要であるかどうかを判定する。
【0023】
フィルタモジュール160は、偽タッチの登録及び/又は実際のタッチイベントの悪化又は喪失を招く恐れがある非正規イベント(例えば、雨、環境イベントなど)が発生している可能性を示す閾値未満にデジタル信号データが低下したかどうかを検出する閾値検出162を含む。例えば、雨又はその他の降水は、信号値を大幅に低下させて、偽タッチイベントの登録及び/又は実際のタッチイベントの信号値の悪化又は喪失を引き起こす恐れがある。閾値の値は、実証的分析(empirical analysis)を通じて決定することができる。デジタル信号データが閾値よりも高い場合、アプリケーションプロセッサ130は「通常」モードで動作し、タッチ計算モジュール140が機械学習モデル145を使用して、タッチイベントが発生したかどうか、及びこのようなタッチイベントの位置を特定する。デジタル信号データが(非正規イベントが発生していることを示す)閾値よりも低い場合、アプリケーションプロセッサ130は、「フィルタードタッチ」モードで動作して、デジタル信号データに対して1又は2以上のフィルタを実行して歪みを除去することによって非正規イベントを緩和する。フィルタ処理済みモード(filtered mode)では、定期的に閾値検出162を実行することができ、デジタル信号データが所定時間(例えば、X秒)にわたって閾値を上回っている場合、アプリケーションプロセッサ130は通常モードでの動作に戻る。
【0024】
ある実施形態では、フィルタ処理済みモードにある間、フィルタモジュール160が、データの基準を決定する校正プロセスを無効にする。これにより、フィルタ処理済みモード中に受け取られた信号が新たな標準/基準になることが防がれる。eフィールドコントローラ120が校正を実行する場合、フィルタモジュール160は、校正の実行を停止するコマンドをeフィールドコントローラ120に送信させる。アプリケーションプロセッサ130が校正を実行する場合、フィルタモジュール160は、アプリケーションプロセッサ130に校正プロセスを無効化させる。
【0025】
フィルタモジュール160は、フィルタ処理済みモードにある場合、1又は2以上のフィルタ170を通じてデジタル信号データを処理して信号データの歪みを除去する。
図1に示すように、これらのフィルタは、低域通過フィルタ172、絶対値平均基準フィルタ174、及び差動フィルタ176を含む。フィルタモジュール160は、同時に又は実質的に同時に低域通過フィルタ172及び絶対値平均基準フィルタ174を通じてデジタル信号データを処理することができる。これらのフィルタの一方からのフィルタ処理されたデータは、他方のフィルタに入力されない。代わりに、低域通過フィルタ172及び絶対値平均基準フィルタ174は、同じデジタル信号データに独立して適用される。
【0026】
低域通過フィルタ172は、所定のカットオフ周波数よりも低い周波数を有するデータ信号を通過させ、所定のカットオフ周波数よりも高い周波数を有するデータ信号を減衰させる。所定のカットオフ周波数は、経験的に決定することができ、タッチ画面が使用される環境に応じて異なることができる。一例として、大雨からのデータ信号は、(雨が信号の反射及び吸収を行うことによって高値と低値とを繰り返す)周期的振動を有する正弦波に類似することができる。低域通過フィルタ172は、データ信号を平滑化して変化の頻度を下げる。
【0027】
絶対値平均基準フィルタ174は、フィルタ処理済みモードにある時にデータ信号の絶対値の平均を決定する。この基準は、通常モードにある時の基準ではなく、むしろフィルタ処理済みモード中のデータ信号の(絶対値の)基準を表す。しかしながら、eフィールドコントローラ120が校正されたeフィールドデータを提供しない実施形態では、絶対値平均基準フィルタ174が(たとえフィルタ処理済みモードでない場合でも)常に動作して、タッチ計算のための基準値を提供することができる。
【0028】
低域通過フィルタ172の出力及び絶対値平均基準フィルタ174の出力は、差動フィルタ176に入力される。差動フィルタ176は、絶対値平均基準フィルタ174によって決定された絶対値平均基準を低域通過フィルタ172の結果から減算して、フィルタ処理されたデータ信号を生成する。その後、フィルタ処理されたデータ信号はタッチ計算モジュール140に提供されて、タッチイベントが発生したかどうか、及びこのようなタッチイベントの位置が決定される。
【0029】
ある実施形態では、タッチ計算モジュール140が、信号データ(通常モードでの動作時にはフィルタ処理されていないデータ信号、或いはフィルタ処理済みモードでの動作時にはフィルタ処理されたデータ信号)に対して機械学習モデル145を使用して、タッチイベントが発生したかどうか、及びこのようなタッチイベントの位置を決定する。例えば、機械学習モデル145は、データ信号をXYタッチ位置にマッピングするニューラルネットワークモデルとすることができる。機械学習モデル145は、ディープニューラルネットワーク(DNN)回帰推定器(regressor estimator)を使用して、位置(X及びY座標)を予測するように回帰モデルを訓練するとともに、DNN分類推定器(classifier estimator)を使用して、タッチイベントが発生したかどうかを予測するように分類器モデルを訓練することができる。機械学習モデル145は、eフィールド受信電極110に対応する特徴(例えば、北、東、西及び南の特徴)を有することができる。機械学習モデル145は、ディスプレイ上のユーザインターフェイスを制御するユーザ入力の高性能リアルタイム予測を提供するように、コンパイラ型言語(例えば、C又はC++)によって実装することができる。
【0030】
機械学習モデル145は、目標位置を提供するさらなるセンサ(例えば、赤外線センサ)と共にデータ信号が取り込まれている間に、ディスプレイを使用する多様なユーザグループを通じて訓練することができる。機械学習モデルは、特定のx、y位置における人間のタッチを認識して、訓練されたモデルがタッチを識別して他のデータを廃棄できるように訓練することができる。さらに、機械学習モデルは、タッチイベントではない他の相互作用を使用して、これらの相互作用がタッチイベントにおいて認識されないことを予測モデルが認識できるように訓練することもできる。
【0031】
次に、タッチ対応処理150(例えば、X座標及びY座標でのタッチイベント)にタッチデータを適用することができる。タッチ対応処理150は、(例えば、表示されているUI内での定義に従って)タッチデータを処理する。例えば、タッチイベントは、表示されているユーザインターフェイスを制御し/このようなユーザインターフェイスと相互作用することとすることができる。
【0032】
ジェスチャ検出するために使用できる従来のeフィールド技術とは異なり、本明細書で説明するeフィールド式タッチ画面は、正確なタッチ画面動作を可能にする。電場に対する物体(例えば、手)の影響全体を検出することに対し、eフィールド式タッチ画面は、機械学習モデルの使用を通じてタッチイベント及びその位置を正確に検出する。このことは、eフィールド式タッチ画面が異なるユーザ(例えば、異なる指、異なる手の配置、異なる手のサイズなど)によって異なるように使用されることを可能にする。また、手袋をはめたユーザも、eフィールド式タッチ画面を正確に使用することができる。
【0033】
さらに、eフィールド式タッチ画面は、ディスプレイをガラスではなくポリカーボネート材料で保護することができるので、石、雹、野球バットなどに対して耐久性があり、これらから保護することができる。eフィールド式タッチ画面は、タッチ画面が(従来、直接的な日光、熱、又は急激な温度変化の影響を受ける)ガラスに接合されないので、たとえ高温、低温、雪、氷及び/又は直射日光に曝される場合でも長年にわたって屋外条件で使用することができる。このため、eフィールド式タッチ画面は、屋外装置(例えば、現金自動預け払い機(ATM)、電気自動車充電ステーション、給油所ポンプ、又は屋外キオスク又はその他の屋外装置)に組み込むことができる。
【0034】
また、ディスプレイ上に異物(例えば、タッチ画面の使用を物理的に妨げることがある氷、雪、汚れ、泥)が存在する際に機能せず又は操作しにくい従来のタッチ画面技術とは異なり、本明細書で説明するeフィールド式タッチ画面は、ディスプレイ上に限られた量の異物(例えば、ディスプレイ上の1/8インチの氷)が存在する場合でも正確に使用することができ、ディスプレイ上又はその縁部周辺に雪/氷が存在する際にも正確に機能する。
【0035】
図5は、ある実施形態による、eフィールド式タッチ画面上で行われるタッチイベントを判定する例示的な動作を示すフロー図である。
図5の動作については、
図1に示す実施形態を参照しながら説明する。しかしながら、
図1に示す実施形態は、
図5のものとは異なる動作を実行することもでき、
図5の動作を
図1に示すものとは異なる実施形態によって実行することもできる。
【0036】
動作510において、eフィールドコントローラ120が、各eフィールド受信電極110から電場信号を受信する。これらの信号は、eフィールド受信電極110によって感知されたeフィールドの変化を表す。eフィールドコントローラ120は、eフィールドを発生させるために、eフィールド送信機115にディスプレイの表面に沿って広がるeフィールドを生成させる。eフィールド送信機115は、(受信電極の層の裏側の層上に配置できる)送信電極と、送信電極に電気的に接合されたディスプレイ領域全体を覆うITO材料の導電側とを含むことができる。送信電極は、ディスプレイの周辺を取り囲む不透明な銅製リングとすることができ、ITO材料は、ディスプレイ領域全体を覆う透明なものである。ITO材料は、酸化銀などの低導電性材料の低圧蒸着(材料/ソースのインゴットが励起された静電場を使用する真空チャンバ)とすることができる。送信電極とITOとの接続は、eフィールド送信機を全体的に改善して、より均一なeフィールドを提供する。これにより、タッチ近接性精度(touch proximity accuracy)が損なわれる恐れがあるディスプレイの中心の精度が高められる。eフィールド受信電極110は、タッチ画面のディスプレイの縁部の周囲(例えば、北、東、南及び西)に配置された4つの受信電極(例えば、アンテナ)を含み、これをディスプレイ自体とは異なる層上に配置し、又はディスプレイの縁部に埋め込むことができる。
【0037】
次に、動作515において、eフィールドコントローラ120は、受け取った電場信号の信号強度を表すデジタル信号データを生成する。eフィールドコントローラ120は、電場信号に対して、データの基準を決定する校正プロセスを実行することができる。生成されるデジタル信号データは、受信機利得によって増幅された受信機信号感度によって定められる信号偏差値とすることができる。生成されたデジタル信号データは、アプリケーションプロセッサ130によって処理されて、タッチイベントが発生したかどうか、及びそうである場合にはタッチイベントの位置が決定される。
【0038】
動作520において、アプリケーションプロセッサ130は、非正規イベントが発生している可能性を示す閾値未満に(デジタル信号データで表される)信号強度が低下したかどうかを判定し、データのさらなるフィルタリングが正当化される。この非正規イベントは、eフィールド式タッチ画面動作の偽タッチ又はその他の不正確性を引き起こす恐れがある。非正規イベントは、大雨又はその他の環境要因によって発生することがある。例えば、豪雨は、信号強度を著しく閾値未満に低下させることがあり、(1又は複数の)偽タッチの登録及び/又は実際のタッチイベントの悪化又は喪失を招くことがある。信号強度が閾値未満に低下した場合には、動作525が実行される。動作525~540は、フィルタ処理済みモードの一部として実行される。信号強度が閾値未満でない場合には、動作545が実行される。
【0039】
動作525において、アプリケーションプロセッサ130は、電場信号の基準校正を無効化する。eフィールドコントローラ120が基準校正を実行している場合、アプリケーションプロセッサ130は、eフィールドコントローラ120に基準校正を無効化するコマンドを送信する。アプリケーションプロセッサ130が基準校正を実行している場合には、信号強度が閾値を下回っている間、校正を停止する。
【0040】
アプリケーションプロセッサ130は、1又は2以上のフィルタ170を通じてデジタル信号データを処理して信号データの歪みを除去する。例えば、動作530において、アプリケーションプロセッサ130は、所定のカットオフ周波数よりも低い周波数を有するデータ信号を通過させて所定のカットオフ周波数よりも高い周波数を有するデータ信号を減衰させる低域通過フィルタ172を使用してデジタル信号データを処理する。
【0041】
アプリケーションプロセッサ130は、動作535において、動作530と同時に(又は実質的に同時に)、絶対値平均基準フィルタ174を使用してデジタル信号データを処理する。絶対値平均基準フィルタ174は、デジタル信号データの絶対値の平均を決定する。この基準は、通常モードにある時の基準ではなく、むしろフィルタ処理済みモード中のデータ信号の(絶対値の)基準を表す。
【0042】
次に、動作540において、アプリケーションプロセッサ130は、低域通過フィルタ(動作530)の結果と絶対値平均基準フィルタ(動作535)の結果との間の差分を決定して、フィルタ処理された信号データを生成する。例えば、差動フィルタ176は、絶対値平均基準フィルタ(動作535)の結果を受け取って低域通過フィルタ(動作530)の結果から減算する。次に、動作545において、フィルタ処理された信号データが処理される。
【0043】
動作545において、アプリケーションプロセッサ130は、機械学習モデル145の使用を含めて信号データ(動作540から得られるフィルタ処理された信号データ、又は動作515から得られるeフィールドコントローラ120から受け取られた信号データ)を処理してXY位置及びタッチイベントを決定する。機械学習モデル145は、データ信号をXYタッチ位置にマッピングするニューラルネットワークモデルとすることができる。機械学習モデル145は、ディープニューラルネットワーク(DNN)回帰推定器を使用して、位置(X及びY座標)を予測するように回帰モデルを訓練するとともに、DNN分類推定器を使用して、タッチイベントが発生したかどうかを予測するように分類器モデルを訓練することができる。
【0044】
次に、動作550において、アプリケーションプロセッサ130は、処理された信号データに基づいて、タッチイベントが発生したかどうかを判定する。タッチイベントが発生した場合、動作555において、タッチ入力を使用する(XY位置を含む)タッチイベントがアプリケーション内で処理される。例えば、タッチイベントは、表示されているユーザインターフェイスを制御し/このようなユーザインターフェイスと相互作用するものとすることができる。タッチイベントが発生していない場合、フローは動作510に戻る。
【0045】
説明したeフィールド式タッチ画面は、モバイル装置(例えば、スマートフォン、メディアプレーヤ)、eリーダ、パーソナルコンピュータ装置(例えば、ラップトップ、タブレットなど)、ウェアラブル装置(例えば、フィットネストラッカー、スマートウォッチなど)、キオスク、現金自動預け払い機、給油所ポンプ、電気自動車充電ステーション、販売時点情報管理装置などを含む、タッチ画面を有するいずれかの装置に使用することができる。
【0046】
実施形態では、1又は2以上のノイズ専用適応フィルタを適用してタッチデータとノイズデータとを区別するアプリケーションプロセッサについて説明したが、別の実施形態では、eフィールドコントローラ120が、1又は2以上のノイズ専用適応フィルタを適用してタッチデータとノイズデータとを区別する。例えば、eフィールドコントローラ120は、非正規イベントに対処するためにデータのさらなるフィルタリングが必要であるかどうかを判定し、低域通過フィルタ172、絶対値平均基準フィルタ174及び差動フィルタ176と同様のフィルタを使用し、フィルタ処理されたeフィールドデータをアプリケーションプロセッサ130に送信することができる、フィルタモジュール160のようなフィルタモジュールを含むことができる。このような実施形態では、アプリケーションプロセッサ130がフィルタモジュール160を含まず、代わりにeフィールドコントローラ120から受け取られたフィルタ処理済みのeフィールドデータを機械学習モデルを使用して処理して、タッチイベント及びディスプレイ上の位置を決定する。
【0047】
図示の技術は、1又は2以上の電子装置上に記憶されて実行されるコード及びデータを使用して実装することができる。このような電子装置は、非一時的コンピュータ可読記憶媒体(例えば、磁気ディスク、光ディスク、ランダムアクセスメモリ、リードオンリメモリ、フラッシュメモリデバイス、相変化メモリ)及び一時的コンピュータ可読通信媒体(例えば、電気信号、光信号、音響信号、又は搬送波、赤外線信号、デジタル信号などのその他の形の伝搬信号)などのコンピュータ可読媒体を使用してコード及びデータを記憶して(内部的に及び/又はネットワークを介して他の電子装置と)通信する。また、通常、このような電子装置は、1又は2以上の記憶装置(非一時的機械可読記憶媒体)、ユーザ入力/出力装置(キーボード、タッチ画面及び/又はディスプレイなど)及びネットワーク接続などの1又は2以上の他のコンポーネントに結合された1又は2以上のプロセッサの組を含む。通常、プロセッサの組とその他のコンポーネントとの結合は、(バスコントローラとも呼ばれる)1又は2以上のバス及びブリッジを通じて行われる。従って、通常、所与の電子装置の記憶装置は、その電子装置の1又は2以上のプロセッサの組において実行されるコード及び/又はデータを記憶する。当然ながら、本発明の実施形態の1又は2以上の部分は、ソフトウェア、ファームウェア及び/又はハードウェアの異なる組み合わせを使用して実施することもできる。
【0048】
上記の説明では、本発明をより完全に理解できるようにするために数多くの具体的な詳細を示した。しかしながら、当業者であれば、このような具体的な詳細を伴わずに本発明を実施することもできると理解するであろう。その他の例では、本発明を曖昧にしないように、制御構造、ゲートレベル回路及び完全なソフトウェア命令シーケンスについては詳細に示していない。当業者であれば、含まれる説明を使用して、必要以上の実験を行わずに適切な機能を実現できるであろう。
【0049】
本明細書における「1つの実施形態」、「ある実施形態」、「ある実施形態例」などについての言及は、説明する実施形態が特定の特徴、構造又は特性を含むことができるが、必ずしも全ての実施形態がこれら特定の特徴、構造又は特性を含まない場合もあることを示す。さらに、このような表現は、必ずしも同じ実施形態を参照するとは限らない。さらに、ある実施形態に関連して特定の特徴、構造又は特性を説明している場合、明示的に説明しているか否かにかかわらず、他の実施形態に関連するこのような特徴、構造又は特性に影響を及ぼすことは当業者の知識の範囲内であると考えられる。
【0050】
本明細書では、本発明の実施形態にさらなる特徴を加える任意の動作を示すために、括弧付きの文字列及び破線で囲ったブロック(例えば、長いダッシュ記号、短いダッシュ記号、ドットダッシュ記号及びドット)を使用していることがある。しかしながら、このような表記法については、本発明のいくつかの実施形態において、これらが選択肢又は任意の動作にすぎないこと、及び/又は実線で囲ったブロックが任意ではないことを意味するものとして捉えるべきではない。
【0051】
上記の説明及び特許請求の範囲では、「結合された(coupled)」及び「接続された(connected)」という用語をこれらの派生語とともに使用していることがある。これらの用語は、互いに同義語として意図されるものではないと理解されたい。「結合された」は、2又は3以上の要素が互いに直接物理的又は電気的に接触していることも又はしていないこともあり、互いに協調していることも又はしていないこともあり、或いは互いに相互作用していることも又はしていないこともあることを示すために使用するものである。「接続された」は、互いに結合された2又は3以上の要素間における通信の確立を示すために使用するものである。
【0052】
図中のフロー図は、本発明のいくつかの実施形態によって実行される特定の動作順を示すものであるが、このような順序は例示である(例えば、別の実施形態では、動作を異なる順序で実行し、いくつかの動作を組み合わせ、いくつかの動作を重複させることができる)と理解されたい。
【0053】
複数の実施形態に関して本発明を説明したが、当業者であれば、本発明は説明した実施形態に限定されるものではなく、添付の特許請求の範囲の趣旨及び範囲内で修正及び変更を伴って実施することもできると理解するであろう。従って、本説明は限定ではなく例示であるとみなされるべきである。
【符号の説明】
【0054】
110 EフィールドRx電極
115 Eフィールド送信機
120 Eフィールドコントローラ
130 アプリケーションプロセッサ
140 タッチ計算
145 MLモデル
150 タッチ対応処理
158 基準校正
160 フィルタモジュール
162 閾値検出
170 フィルタ
172 低域通過フィルタ
174 絶対値平均基準フィルタ
176 差動フィルタ