特許 7671114 マイクロ流体ディスプレイデバイスにおける物理カーソル制御

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-22

(45)【発行日】2025-05-01

(54)【発明の名称】マイクロ流体ディスプレイデバイスにおける物理カーソル制御

(51)【国際特許分類】

   G06F 3/01 20060101AFI20250423BHJP

   G06F 3/0481 20220101ALI20250423BHJP

   G09B 21/00 20060101ALI20250423BHJP

【ＦＩ】

G06F3/01 560

G06F3/0481

G09B21/00 B

【請求項の数】 15

(21)【出願番号】P 2023505719

(86)(22)【出願日】2021-08-31

(65)【公表番号】

(43)【公表日】2023-09-21

(86)【国際出願番号】 CN2021115521

(87)【国際公開番号】W WO2022057609

(87)【国際公開日】2022-03-24

【審査請求日】2024-01-23

(31)【優先権主張番号】17/021,191

(32)【優先日】2020-09-15

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(74)【代理人】

【識別番号】100120710

【弁理士】

【氏名又は名称】片岡 忠彦

(72)【発明者】

【氏名】ウォルコット、アイシャ

(72)【発明者】

【氏名】ラクシット、サルバジット、ケー

(72)【発明者】

【氏名】クロフォード、キャサリン、エイチ

(72)【発明者】

【氏名】ガンネルズ、ジョン、エー

【審査官】三田村 陽平

(56)【参考文献】

【文献】特開２０１９－０２１００７（ＪＰ，Ａ）

【文献】特開２０１７－０８４２５３（ＪＰ，Ａ）

【文献】特表２０１１－５０８９３５（ＪＰ，Ａ）

【文献】特表２０１９－５２３４９７（ＪＰ，Ａ）

【文献】特開２０１７－０７３１０１（ＪＰ，Ａ）

【文献】特開２０１３－１３４７２０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０２０２７６１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－ ３／０４８９５

Ｇ０９Ｂ ２１／００

(57)【特許請求の範囲】

【請求項1】

タッチスクリーン上の入力位置の特定を物理的に支援するためのコンピュータ実装方法であって、
前記タッチスクリーン上の複数の入力位置を特定することと、
ユーザが指またはポインティングデバイスによって初期タッチ点にて前記タッチスクリーンに触れたことを検出することと、
前記入力位置を前記タッチスクリーン上の前記複数の入力位置から予測することと、
前記初期タッチ点から予測された入力位置までの経路を決定することと、
前記初期タッチ点に近接した位置において、前記タッチスクリーンの隆起部を生成することと、
現在の指またはポインティングデバイスの位置が前記経路上にないことを判断することと、
前記指または前記ポインティングデバイスを前記経路に誘導するように、前記タッチスクリーンの前記隆起部を移動させることと、
を含む、方法。

【請求項2】

前記ユーザの器用さレベルを予測することをさらに含む、
請求項１に記載の方法。

【請求項3】

前記ユーザの器用さレベルを検出することと、
検出した前記器用さレベルに基づいて、前記ユーザの支援レベルを決定することと、
をさらに含む、請求項１に記載の方法。

【請求項4】

カーソルを制御している間のユーザのパターンに基づいてユーザの注意を予測する機械学習モデルを用いて前記ユーザの器用さレベルを検出する、請求項３に記載の方法。

【請求項5】

前記タッチスクリーンの前記隆起部を生成することは、
タッチ点と前記入力位置との間の前記指または前記ポインティングデバイスの前側に前記隆起部を生成することをさらに含む、請求項１に記載の方法。

【請求項6】

前記タッチスクリーンの前記隆起部を生成することは、
タッチ点と前記入力位置との間の前記指または前記ポインティングデバイスの後ろ側に前記隆起部を生成することをさらに含む、請求項１に記載の方法。

【請求項7】

前記タッチスクリーンの前記隆起部を生成することは、
前記指または前記ポインティングデバイスの２つ以上の側に前記隆起部を生成することをさらに含む、請求項１に記載の方法。

【請求項8】

タッチスクリーン上の入力位置の特定を物理的に支援するコンピュータシステムであって、
プロセッサおよびメモリと、
マイクロ流体機能を有して構成されたタッチスクリーンディスプレイであって、前記プロセッサからの指示に応答して、流体がタッチスクリーンの一部に選択的に適用されて、当該タッチスクリーンの一部が隆起される、タッチスクリーンディスプレイと、
プログラム命令を有する１つ以上のコンピュータ可読記憶媒体と、を含み、当該プログラム命令は前記プロセッサによって実行可能であり、当該プロセッサに、
前記タッチスクリーン上の複数の入力位置を特定することと、
ユーザが指またはポインティングデバイスによって初期タッチ点にて前記タッチスクリーンに触れたことを検出することと、
前記入力位置を前記タッチスクリーン上の前記複数の入力位置から予測することと、
前記初期タッチ点から予測された入力位置までの経路を決定することと、
前記初期タッチ点に近接した位置において、前記タッチスクリーンの隆起部を生成することと、
現在の指またはポインティングデバイスの位置が前記経路上にないことを判断することと、
前記指または前記ポインティングデバイスを前記経路に誘導するように、前記タッチスクリーンの前記隆起部を移動させることと、
を含む動作を実行させる、コンピュータシステム。

【請求項9】

前記ユーザの器用さレベルを予測することをさらに含む、
請求項８に記載のコンピュータシステム。

【請求項10】

前記ユーザの器用さレベルを検出することと、
検出した前記器用さレベルに基づいて、前記ユーザの支援レベルを決定することと、
をさらに含む、請求項８に記載のコンピュータシステム。

【請求項11】

カーソルを制御している間のユーザのパターンに基づいてユーザの注意を予測する機械学習モデルを用いて前記ユーザの器用さレベルを検出する、請求項１０に記載のコンピュータシステム。

【請求項12】

前記タッチスクリーンの前記隆起部を生成することは、
タッチ点と前記入力位置との間の前記指または前記ポインティングデバイスの前側に前記隆起部を生成することをさらに含む、請求項８に記載のコンピュータシステム。

【請求項13】

前記タッチスクリーンの前記隆起部を生成することは、
タッチ点と前記入力位置との間の前記指または前記ポインティングデバイスの後ろ側に前記隆起部を生成することをさらに含む、請求項８に記載のコンピュータシステム。

【請求項14】

前記タッチスクリーンの前記隆起部を生成することは、
前記指または前記ポインティングデバイスの２つ以上の側に前記隆起部を生成することをさらに含む、請求項８に記載のコンピュータシステム。

【請求項15】

タッチスクリーン上の入力位置の特定を物理的に支援するためのコンピュータプログラムであって、
前記タッチスクリーン上の複数の入力位置を特定するための命令と、
ユーザが指またはポインティングデバイスによって初期タッチ点にて前記タッチスクリーンに触れたことを検出するための命令と、
前記入力位置を前記タッチスクリーン上の前記複数の入力位置から予測するための命令と、
前記初期タッチ点から予測された入力位置までの経路を決定するための命令と、
前記初期タッチ点に近接した位置において、前記タッチスクリーンの隆起部を生成するための命令と、
現在の指またはポインティングデバイスの位置が前記経路上にないことを判断するための命令と、
前記指または前記ポインティングデバイスを前記経路に誘導するように、前記タッチスクリーンの前記隆起部を移動させるための命令と、
を含む、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザ入力に対して物理的な支援を提供することに関し、より具体的には、カーソルを制御するための手動入力を支援するために、タッチスクリーン上のマイクロ流体（microfluidics）を通じて物理カーソル（physical cursor）を提供することに関する。

【発明の概要】

【0002】

一実施形態は、タッチスクリーン上の入力位置の特定を物理的に支援するための方法に関する。方法は、ユーザがポインティングデバイスによって初期タッチ点にてタッチスクリーンに触れたことを検出することと、前記タッチスクリーン上で入力を受け付けるための入力位置を１つ以上の入力位置から予測することと、前記初期タッチ点から前記予測された入力位置までの経路を決定することと、前記ポインティングデバイスに近接した位置において、前記タッチスクリーンの隆起部である物理カーソルを当該タッチスクリーン上に生成することと、を含んでもよい。

【0003】

さらなる実施形態は、タッチスクリーン上の入力位置の特定を物理的に支援するためのシステムおよびコンピュータプログラム製品に関する。

【0004】

本概要は、以下の詳細な説明においてさらに説明される概念を抜粋して簡略的に紹介するためのものである。本概要は、特許請求の範囲に記載された主題の主要な特徴または本質的な特徴を特定することを意図したものではなく、また、特許請求の範囲に記載された主題の範囲を決定する際の補助として用いられることを意図したものでもない。

【図面の簡単な説明】

【0005】

【図1A】タッチスクリーンの破断断面図である。

【図1B】図１Ａのタッチスクリーンの一部をマイクロ流体を通じて隆起させたときの破断断面図である。

【図2】一実施形態に係る、入力位置の例と物理カーソルとを示すタッチスクリーンディスプレイの図である。

【図3】一実施形態に係る、初期タッチ点と入力位置との間の経路に沿った物理カーソルの動きを示す、図２のタッチスクリーンディスプレイおよび物理カーソルの図である。

【図4】物理カーソルの代替的な実施形態を示す、図２のタッチスクリーンディスプレイの図である。

【図5A】各種実施形態に係る、図２～４に示した物理カーソルの側面図である。

【図5B】各種実施形態に係る、図２～４に示した物理カーソルの側面図である。

【図6】１つ以上の実施形態に係る、マイクロ流体ディスプレイデバイスに対する物理カーソル制御プロセスのフローチャートである。

【図7】ユーザ特性および必要とされる支援レベルを決定するための物理カーソルモジュールの入力および機械学習モデルのブロック図である。

【図8】各種実施形態を実施可能な一例としてのコンピュータシステムのブロック図である。

【発明を実施するための形態】

【0006】

手の運動が制限されている、もしくは視覚障害のある、またはその両方である一部の個人にとって、タッチスクリーンデバイス上の従来のカーソルの位置を制御することは困難な場合がある。また、他のユーザにおいては、ディスプレイを見ていないときに、タッチスクリーンデバイスに対して入力を行いたい場合がある。いくつかの例としては、カーソルがテキストフィールドの間にある場合や、ユーザがビデオコンテンツの進行バーを直接動かしたい場合、あるいはユーザが単にカーソルを特定の位置に誘導したい場合などである。これらのユーザの場合、カーソルを正確に動かすことには問題が伴い、視覚障害のあるユーザや、多発性硬化症（ＭＳ）、パーキンソン病、遅発性ジスキネジア（ＴＤ）などの中枢神経系に影響を与える障害を持つユーザ、あるいは高齢者の場合は特にそうである。

【0007】

図１Ａは、コンピュータシステム（以下、「システム」）のタッチスクリーンを示す図である。タッチスクリーンの少なくとも一部は、複数の層を有する。第１の層１５１は、ユーザが直接インタラクションするタッチインタフェースである。第２の層１５８は、第１の層１５１と第３の層１５９との間に存在する。第２の層１５８は、複数の孔１５４を有する。複数の孔１５４は、スクリーン全体に配置されていてもよい。第２の層１５８と第３の層１５９との間にリザーバ１６０が形成されている。リザーバ１６０は、複数の孔１５４と、第２の層１５８と第３の層１５９との間に形成されマイクロ流体供給源（不図示）に接続する１つ以上の通路１５３とに流体連通している。複数の孔は、様々なパターン（例えば、マトリックスパターン）で分布していてもよい。

【0008】

一実施形態において、あるアプリケーションの特定のウェブページまたは画面と共に使用するための１つ以上の物理カーソルまたは他のオブジェクトが、タッチスクリーン上に提供されてもよい。ここで、物理カーソルまたは他のオブジェクトは、流体１５６が突起（ridge）、ボタンまたは他の任意の所望の形状を形成可能なタッチスクリーンにオーバーレイされるように提供される。システムのプロセッサまたはコンピュータは、マイクロ流体通路１５３および対応する孔１５４との少なくとも１つ以上の交点を有する物理カーソルまたは他のオブジェクトを提供することが好ましい。これにより、カーソルまたは他のオブジェクトに対応する隆起部（raised portion）を、デバイスのタッチスクリーン上に形成することができる。

【0009】

図１Ａは、流体１５６がリザーバ１６０に供給されない位置における、タッチスクリーンの一部の断面図である。リザーバ１６０に流体１５６が供給されない場合、タッチスクリーン１５０の第１の層１５１全体が、第２の層１５８と接触したままである。

【0010】

次に、図１Ｂを参照すると、流体１５６が供給源（不図示）から通路１５３を通ってリザーバ１６０に供給される位置におけるタッチスクリーンが示されている。流体は、通路１５３およびリザーバ１６０から、第２の層１５８の孔１５４を通って流れ、第１の層１５１と第２の層１５８との間に流体のポケット１５７を形成する。流体１５６の圧力によって、第１の層１５１が第２の層１５８から分離し、ポケット１５７を膨らませる。ポケット１５７は、第１の層１５１の残りの部分に対してバブル１５２または隆起部を形成する。隆起バブル１５２は通常、層１５１の上方の均一な高さには隆起しない。各種実施形態において、隆起バブル１５２は、０．２５～５ｍｍの範囲内の最大高さを有していてもよい。一例として、隆起部１５２は、１ｍｍの最大高さを有してよい。なお、流体は、タッチスクリーン１５０の異なる部分に選択的に供給されてもよい。さらに、図２および図３に示すように、例えば、バブルの第１の側に隣接する複数の第１の位置に流体を連続して供給しながら、同時にバブルの反対側に隣接する複数の第２の位置への流体の供給を解除することによって、バブル１５２または隆起部をタッチスクリーン上の一連の位置に移動させてもよい。

【0011】

上記のマイクロ流体によって形成されるカーソルまたは他のオブジェクトを、本明細書では「隆起バブル（raised bubble）」または「隆起部」と呼ぶ場合がある。また、マイクロ流体によって形成されるカーソルまたは他のオブジェクトを、本明細書では「物理カーソル」と呼ぶ場合もある。これらの代替用語は同じ意味を有し、同義語と見なすことができることを理解されたい。

【0012】

次に、図２は、一実施形態に係る、デバイス２００がアプリケーションのウェブページまたはスクリーンを表示可能なタッチスクリーン２２０を上から見た平面図である。システムは、ユーザからの入力が要求される場合がある入力位置２０２または２１２を特定することができる。なお、システムが入力位置２０２または２１２をタッチスクリーン２２０上のいずれの場所において特定してもよいことを例示するために、複数の入力位置２０２または２１２を示しているが、通常、一度に１つの入力位置のみが選択される。一実施形態において、この入力位置２０２または２１２は、ユーザからデータを要求するフォームフィールドとすることができる。他の実施形態において、この入力位置２０２または２１２は、オーディオクリップまたはビデオクリップに関連する制御（音量またはビデオ進行など）であってもよいし、ソフトウェアウィンドウのスクロールバーであってもよい。ユーザがスクリーン２２０に触れると、システムは、タッチスクリーン２２０上のユーザの指２０６の初期タッチ点（initial touchpoint）２０１を検出することができる。なお、ユーザが指を使ってタッチスクリーン２２０とインタラクションすることは必須ではなく、スタイラスなど、タッチスクリーンとの使用に適した任意のポインティングデバイスが、ユーザの指の代わりに用いられてもよい。タッチ点２０６とそれぞれの入力位置２０２または２１２との間の経路２０４および２１４を計算することができる。ここで、入力位置２０２がユーザからの入力が要求される入力位置であると決定され、経路２０４が計算されると仮定する。装置２００のマイクロ流体技術を用いて、システムは、ディスプレイ材料を隆起させて、計算された経路２０４上におけるタッチ点２０６のすぐ前に小さなバブルを形成することによって、タッチスクリーン上に物理カーソル２０８を形成することができる。物理カーソル２０８は、任意の適切な形状とすることができるが、指または他のポインティングデバイスの前側（front side）に適合することが好ましい。物理カーソル２０８は、指または他のポインティングデバイスの１つ以上の側部（side portion）に沿って延びてもよい。物理カーソル２０８は、指または他のポインティングデバイスの側部に（図に示すように）部分的に沿って延びてもよいし、完全に沿って延びてもよい（図２では不図示）。なお、物理カーソル２０８が指または他のポインティングデバイスの側部に沿って延びることは必須ではなく、物理カーソル２０８は、指の「前」側、すなわち入力位置２０２とタッチ点２０６との間の経路２０４上にある指の側にのみ配置されてもよい。指の「前」側に配置された物理カーソル５０４の例を、図５Ａの側面図に示す。図５Ａにおいて、物理カーソル５０４は、矢印５１０の方向に移動する。システムが指２０６の動きを検出すると、システムはこの動きを追跡し、物理カーソル２０８を連続的に移動させて、指または他のポインティングデバイスによるユーザの動きに一致させることができる。物理カーソル２０８は、矢印２３０で示すように、基本的に経路２０４に沿って入力位置２０２まで移動する。入力位置２１２が選択された場合、物理カーソル２０８は、矢印２４０で示すように、基本的に経路２１４に沿って入力位置２１２まで移動することになる。システムはまた、この移動が計算された経路２０４に沿っているかどうかを判断してもよい。そして、物理カーソル２０８が経路２０４上に留まっていれば、システムは、経路２０４に沿って進む以外のアクションは取らない。しかし、ユーザの指２０６もしくは他のポインティングデバイスが経路２０４から外れている、またはカーソル移動が停止しているもしくは予測不可能な方向に移動しているとシステムが判断した場合、システムは、物理カーソル２０８がユーザの指または他のポインティングデバイス２０６を入力位置２０２の方向に誘導または先導するように、物理カーソル移動の方向または位置を変更してもよい。

【0013】

図３は、物理カーソル２０８が新たな位置にあるときのシステムのブロック図であり、経路２０４に沿った物理カーソル２０８の潜在的な動きを説明するため図である。システムは、入力位置２０２に到達するまで、物理カーソル２０８および指または他のポインティングデバイス２０６の初期タッチ点２０１からの移動を監視する。図２および図３の例では、図２は第１の時間における物理カーソル２０８の位置を示し、図３は第１の時間に後続する第２の時間における物理カーソル２０８の位置を示している。この例では、物理カーソル２０８は、逸脱することなく経路に沿って進んだ可能性がある。あるいは、物理カーソル２０８は、経路から右または左に移動したことに応答して、ユーザの指または他のポインティングデバイス２０６を経路に戻るように誘導またはそっと動かした（nudge）可能性がある。この誘導は、第１の時間と第２の時間との間の時間に行われてもよい。図３において、物理カーソル２０８は、矢印３１０で示すように、基本的に経路２０４に沿って入力位置２０２まで移動することが理解される。

【0014】

図４は、タッチスクリーン２２０を上から見た平面図である。図４における第１の例では、図２に示した入力位置２０２と、初期タッチ点２０１におけるユーザの指または他の適切なポインティングデバイス２０６と、タッチ点２０１と入力位置２０２との間の経路２０４と、物理カーソル２０８とが示されている。物理カーソル２０８に加えて、この第１の例では、追加の隆起部２０９が示されている。したがって、一実施形態において、指または他のポインティングデバイスは、物理カーソル２０８によって誘導されると同時に、追加の隆起部２０９によって経路２０４に沿って誘導またはそっと動かされることができる。なお、「後続（trailing）」の追加隆起部２０９を「先行（leading）」の物理カーソル２０８と共に使用することは必須でない。いくつかの実施形態において、「後続」の追加隆起部２０９のみを用いて、指または他のポインティングデバイスを入力位置に誘導またはそっと動かしてもよい。この第１の例では、物理カーソル２０８は、矢印４１０で示すように、基本的に経路２０４に沿って入力位置２０２まで移動することが理解される。

【0015】

図４における第２の例では、入力位置４１２と、初期タッチ点４０４におけるユーザの指または他のポインティングデバイス２０６と、初期タッチ点４０４と入力位置４１２との間の経路４１４と、各種実施形態に係る代替的な物理カーソル２１０とが示されている。代替的な物理カーソル２１０は、指または他のポインティングデバイスを囲み、かつこれに適合する楕円形または略円形の形状であってもよい。この第２の例では、代替的な物理カーソル２１０は、矢印４２０で示すように、基本的に経路４１４に沿って入力位置４１２まで移動することが理解される。図５Ｂは、一実施形態に係る代替的な物理カーソル２１０の側面図であり、代替的な物理カーソル２１０は矢印５２０の方向に移動する。

【0016】

次に、図６は、マイクロ流体ディスプレイデバイス上に物理カーソルを形成し制御するためのプロセス６００のフローチャートである。プロセス６００は、タッチスクリーンディスプレイを備えた任意のコンピュータシステムによって実行することができる。なお、プロセス６００について、タッチスクリーンディスプレイを備えたコンピュータシステムを参照して説明するが、１つ以上のステップまたは動作は、タッチスクリーンディスプレイを備えたコンピュータシステムから遠隔に設置され、かつこれと通信するサーバまたは第２のコンピュータによって実行されてもよい。ステップ６０２にて、ユーザインタフェース画面（例えば、ウェブページまたはメディアプレーヤ）がタッチスクリーン２２０に表示される。そして、表示された画面が分析されて、手動のユーザ入力が要求される可能性のある入力位置が特定または予測される。一実施形態において、タッチスクリーン２２０は、フィールド、すなわち入力位置へのテキスト情報の入力を求めるフォームを表示してもよく、システムは、データ入力済みのフィールドと、空白のフィールドとがあることを特定し、データ入力済みのフィールドは除外して、空白のフィールドのうちの最初の１つを選択することができる。別の実施形態において、システムは、すべてのデータフィールドが入力済みであると判断し、入力位置として画面上の送信ボタンを選択してもよい。他の実施形態において、入力位置は、タッチスクリーン上のメディアプレーヤに表示されるマルチメディアクリップに対するオーディオコントロールもしくはビデオ進行コントロール、または、ユーザがバーを垂直にドラッグしてウィンドウをスクロールすることが要求されるアクティブウィンドウ上のスクロールバーであってもよい。さらに他の実施形態において、例えば、入力位置が２つ以上ある場合、システムは、画面上で指のタッチ点に最も近い入力位置を、入力位置として選択してもよい。

【0017】

ステップ６０４にて、システムは、回帰型ニューラルネットワーク（recurrent neural network）などの機械学習モデルを用いて、ユーザの特徴的な動作を学習し、当該特定のユーザ用の物理カーソルをタッチスクリーン２２０上に配置するための一連の位置を予測してもよい。一実施形態において、連続した回帰型ニューラルネットワークモデルは、ユーザが過去にカーソルとどのようにインタラクションしているかを学習し、カーソルの動きを制御しながら、ミスや震えを含むユーザのパターンを追跡することができる。ユーザと物理カーソルまたは従来のカーソルとのインタラクションパターンを含む学習データに基づいて、モデルは、カーソルを動かしている間のユーザの注意度（level of attention）を決定し、または、ユーザが自身の手または物理カーソルを動かす際に特別な支援を必要とするかどうかを特定するように構成されてもよい。また、モデルは、必要な支援レベルを決定する際に、ユーザの器用さ（dexterity）レベルを決定してもよい。別の実施形態において、システムは、従来のカメラ画像または超音波もしくは赤外線画像を使用して、ユーザが物理カーソルを動かそうとしている間にディスプレイを見ているかどうかを検出してもよく、この情報を、ユーザがディスプレイに集中していないために支援が必要かどうかに関するモデルの予測と組み合わせてもよい。さらに別の実施形態において、モデルは、特定のユーザの医療プロファイルを考慮してもよく、ユーザが視覚障害者であること、または医療上の理由でカーソルの動きを制御するのが困難であることを特定してもよい。

【0018】

モデルはまた、医療プロファイルを用いてユーザの薬（medications）を取得してもよい。そして、支援が必要かどうかを予測すると共に、支援が必要な場合はそれに応じて物理カーソルの位置調整を決定する際の要因としての薬データを含んでもよい。モデルは、入力として、時刻、薬を服用する通常または実際の時間、および、過去データに基づく、１日を通しての手の震えまたは物理カーソルの動きの震えのパターンを受け取ることができる。一実施形態において、モデルは、時刻、薬を服用する時間、および過去の手の震えのパターンに基づいて、支援が必要であることを予測することができる。例えば、午前中に薬を服用し、午前中は震えがほとんどまたはまったく生じないが、時間が経過するにつれて震えが増加するユーザを考える。モデルはこのようなユーザについて、午後または夕方においてはカーソル制御の補助が有益であると予測することができる。別の実施形態において、モデルは、時刻、薬を服用する所定の時間、および過去の手の震えのパターンに基づいて、ユーザが所定の時間に薬を服用し忘れたことを予測することができる。例えば、午前中に薬を服用し、午前中には震えのパターンが生じないが、その日の後半にかけて震えのパターンが生じる同じユーザを考える。システムは、このユーザについて、基本的にタッチ点から入力位置までの経路に沿った指の動きにおいて震えまたは揺れを午前中に検出した場合、ユーザが必要な時間に薬を服用していないと判断し、ユーザまたは医療提供者に警告を発することができる。別の実施形態において、モデルは、薬が震えを引き起こすことを予測してもよい。例えば、過去に手の震えのパターンが生じていない特定のユーザを考える。システムは、このユーザについて、基本的にタッチ点から入力位置までの経路に沿った指の動きにおいて震えまたは揺れを検出した場合、このユーザに対して最近処方された薬が（望ましくない副作用として）震えを引き起こしていると判断し、ユーザまたは医療提供者に警告を発することができる。機械学習モデルおよびその入力は、以下の図７でさらに詳述する。

【0019】

ステップ６０６にて、システムは、タッチスクリーン上のユーザの指または他のポインティングデバイスのタッチ点を検出し、既知の方法によってタッチ点と入力位置との間の経路を計算することができる。

【0020】

ステップ６０８にて、システムは、図１Ａおよび１Ｂに記載のマイクロ流体技術によって、タッチスクリーン上のタッチ点に、またはその周囲に、物理カーソルを形成することができる。マイクロ流体孔アレイは、タッチスクリーンディスプレイ上のいずれの位置にもカーソルを形成できるように、ディスプレイ表面全体に広がっていてもよい。物理カーソルは、指または他のポインティングデバイスに対する様々な位置で、各種の様々な形状のうちのいずれかを取ることができる。一実施形態において、システムは、ユーザが物理カーソルを入力位置に向けて押すことができるように、ユーザの指のすぐ前にバブルを形成してもよい。別の実施形態において、システムは、指または他のポインティングデバイスが入力位置まで運ばれるように、ユーザの指または他のポインティングデバイスの周囲または真下に物理カーソルを形成してもよい。形成される物理カーソルの種類およびサイズは、ステップ６０４にて検出されたユーザの特性およびシステムが必要と判断する支援レベルに依存する場合がある。例えば、物理カーソルのサイズは、特定の指または他のポインティングデバイスのサイズまたは形状に適合するように調整されてもよい。別の例として、初期タッチ点から入力位置まで動かすことに大きな困難を感じているユーザについては、指の１つの側だけではなく、２、３、または４つの側において指に接触するかまたは近接して配置される物理カーソルが提供されてもよい。さらに別の例として、システムは、物理カーソルが指または他のポインティングデバイスの前、後ろ、または周囲にある場合にユーザがより良く経路に留まると判断し、経路により近く、またはより良く留まれるような位置および形状を選択することができる。システムは、異なる形状の物理カーソルを使用した過去の日付に基づいて、この判断を行うことができる。別の実施形態において、表示されたテキストのズームレベルの選択に基づいて、物理カーソルの寸法がタッチスクリーン上に表示されたテキストまたは他の特徴と整合するように、物理カーソルのサイズを大きくしてもよい。

【0021】

一実施形態において、システムは、ユーザが注意度の低いユーザまたは視覚障害者であり、タッチスクリーン上に表示された基礎となるページに対する物理カーソルの位置を見つける際に支援を必要とする場合に、ユーザの動きに応じて、物理カーソルを振動させる、または物理カーソルに対して他の調整を行うなどの触覚効果（haptic effect）を生成することもできる。触覚効果の種類および使用位置は、ユーザによって設定または選択されてもよい。別の例では、カーソルが縦方向に移動している場合、カーソルはテキスト行を横切って移動してもよく、ユーザは物理カーソルの位置も理解することができる。別の例では、物理カーソルがメディア用の進行バーまたはスクロールバーと共に使用されている場合、またはプログラムウィンドウが表示されている場合、触覚効果を有効にして、視覚障害のあるユーザまたはディスプレイを見ていないユーザがスクロールバー上の進行バーにおける物理カーソルの位置を見つけられるようにすることができる。物理カーソルが見つかった後、ユーザは指または他のポインティングデバイスを動かして物理カーソルの位置を変更することができる。

【0022】

ステップ６１０にて、システムは、ユーザの動きに基づいて、物理カーソルの位置を継続的に更新してもよい。システムは、入力位置に到達するまで計算された経路上に留まるように、必要に応じてユーザから制御を引き継いでもよい。物理カーソルがタッチスクリーン上に形成されると、システムは、経路から逸脱する物理カーソルの動きを制限することができるので、タッチスクリーン上の計算された経路から外れたタッチや誤タッチが物理カーソルの位置に影響することはないはずである。

【0023】

一実施形態において、入力位置に到達すると、システムは、ユーザが物理カーソルに触れると同時に閾値レベル以上の圧力を加えることによって、入力位置領域内の特定のコンテンツを選択することを望んでいることを認識するように構成されてもよい。例えば、入力領域は、「はい」および「いいえ」のチェックボックスを含むことができる。また、ユーザは、圧力をかけながら、指または他のポインティングデバイスをテキストの単語上で動かすことができ、それに応じて、所望のテキスト領域を選択することができる。システムは、選択された領域をユーザが物理的に感じることができるようにしてもよく、さらに、選択されたテキストの表面を隆起させてもよい。別の実施形態において、システムは、上述した触覚効果（例えば、物理カーソルの振動または他の調節）を用いて、入力位置に到達したことをユーザに警告してもよい。いくつかの実施形態において、システムは、入力位置に近づくにつれて、物理カーソルをスクリーンから徐々に取り除いてもよい。この場合、ユーザが入力位置に到達すると、物理カーソルは消滅する。

【0024】

次に、図７は、少なくとも１つの実施形態に係る、カスタムプロセスおよびハードウェアコンポーネントのコンポーネントまたはモジュールの例を示す図である。一実施形態によれば、プロセスは、物理カーソルモジュール８０８を含んでもよい。物理カーソルモジュール８０８は、教師あり機械学習７３０を利用して、潜在的な医療上の理由または画像の分析に基づいて、必要なユーザ支援のレベルを決定する。画像モジュール７０２は、ドライバーの状態の分析に用いるためにカメラで撮影されたユーザの画像を処理するカメラインタフェース７０４を含んでもよい。例えば、カメラで撮影された画像の処理によって、ユーザがディスプレイを見ておらず、物理カーソル２０６を入力位置まで移動させるのに支援が必要であることを決定してもよい。また、物理カーソルモジュール８０８は、ユーザの詳細情報７１０を分析してもよい。例えば、ユーザは過去に手を動かす際に困難を伴い、物理カーソル２０６を入力位置まで移動させるのに支援を必要としたことがある。また、物理カーソルモジュール８０８は、ユーザの医療履歴７１２を分析してもよい。例えば、ユーザは、ステップ６０４で上述したように、手を動かすことが困難な病状であったり、器用さを妨げる傾向のある薬を服用していたりする場合がある。物理カーソルモジュール８０８は、上記の情報を用いて、ユーザが物理カーソル２０８をタッチ点２０６から入力位置まで移動させるのに必要とする支援レベル７２６を決定する。

【0025】

次に、図８は、一実施形態に係るコンピュータシステム８００のブロック図である。図示するように、コンピュータシステム８００は、プロセッサユニット８０２、メモリユニット８０４、永続ストレージ８０６、通信ユニット８１２、入出力ユニット８１４、ディスプレイ８１６、およびシステムバス８１０を含む。ユーザの詳細情報７１０などのデータは、永続ストレージ８０６に記憶されてもよい。さらに、物理カーソルモジュール８０８や画像モジュール７０２などのコンピュータプログラムも、実行に必要となるまで永続ストレージ８０６に記憶されてもよく、実行時には、プログラムはプロセッサユニット８０２が直接アクセスできるように、メモリユニット８０４に呼び出される。プロセッサユニット８０２は、読み取りもしくは書き込みまたはその両方の要求と共にプロセッサ８０２がメモリ８０４に与えるアドレスを用いて、読み取りもしくは書き込みまたはその両方のためにメモリユニット８０４の一部を選択する。通常、あるアドレスにおける符号化命令の読み取りおよび解釈によって、プロセッサ８０２は、以降のアドレスまたは何らかの他のアドレスのいずれかにて、それに続く命令をフェッチする。プロセッサユニット８０２、メモリユニット８０４、永続ストレージ８０６、通信ユニット８１２、入出力ユニット８１４、およびディスプレイ８１６は、システムバス８１０を介して相互に連携する。入出力ユニット８１４は、超音波画像または赤外線画像を撮影するのに適したカメラまたは他のデバイス（不図示）と連携することができる。

【0026】

本発明は、任意の可能な技術詳細レベルで統合されたシステム、方法もしくはコンピュータプログラム製品またはそれらの組み合わせとすることができる。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を記憶したコンピュータ可読記憶媒体を含んでもよい。

【0027】

コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持し、記憶することができる有形の装置とすることができる。コンピュータ可読記憶媒体は、一例として、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置またはこれらの適切な組み合わせであってよい。コンピュータ可読記憶媒体のより具体的な一例としては、ポータブルコンピュータディスケット、ハードディスク、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ（またはフラッシュメモリ）、ＳＲＡＭ、ＣＤ－ＲＯＭ、ＤＶＤ、メモリスティック、フロッピーディスク、パンチカードまたは溝内の隆起構造などに命令を記録した機械的に符号化された装置、およびこれらの適切な組み合せが挙げられる。本明細書で使用されるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝播する電磁波、導波管もしくは他の伝送媒体を介して伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを介して送信される電気信号のような、一過性の信号それ自体として解釈されるべきではない。

【0028】

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピュータ装置／処理装置へダウンロード可能である。あるいは、ネットワーク（例えばインターネット、ＬＡＮ、ＷＡＮもしくはワイヤレスネットワークまたはこれらの組み合わせ）を介して、外部コンピュータまたは外部記憶装置へダウンロード可能である。ネットワークは、銅製伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータもしくはエッジサーバまたはこれらの組み合わせを備えることができる。各コンピュータ装置／処理装置内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、当該コンピュータ可読プログラム命令を、各々のコンピュータ装置／処理装置におけるコンピュータ可読記憶媒体に記憶するために転送する。

【0029】

本発明の動作を実施するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用構成データ、または、スモールトークやＣ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語や類似のプログラミング言語などの手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコードもしくはオブジェクトコードのいずれかとすることができる。コンピュータ可読プログラム命令は、スタンドアロン型ソフトウェアパッケージとして完全にユーザのコンピュータ上で、または部分的にユーザのコンピュータ上で実行可能である。あるいは、部分的にユーザのコンピュータ上でかつ部分的にリモートコンピュータ上で、または、完全にリモートコンピュータもしくはサーバ上で実行可能である。後者の場合、リモートコンピュータは、ＬＡＮやＷＡＮを含む任意の種類のネットワークを介してユーザのコンピュータに接続してもよいし、外部コンピュータに（例えば、インターネットサービスプロバイダを使用してインターネットを介して）接続してもよい。いくつかの実施形態において、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行する目的で当該電子回路をカスタマイズするために、コンピュータ可読プログラム命令の状態情報を利用することによって、コンピュータ可読プログラム命令を実行することができる。

【0030】

本発明の態様は、本明細書において、本発明の実施形態に係る方法、装置（システム）、およびコンピュータプログラム製品のフローチャートもしくはブロック図またはその両方を参照して説明されている。フローチャートもしくはブロック図またはその両方における各ブロック、および、フローチャートもしくはブロック図またはその両方における複数のブロックの組み合わせは、コンピュータ可読プログラム命令によって実行可能である。

【0031】

これらのコンピュータ可読プログラム命令は、機械を生産するために、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサに提供することができる。これにより、このようなコンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行されるこれらの命令が、フローチャートもしくはブロック図またはその両方における１つ以上のブロックにて特定される機能／動作を実行するための手段を創出する。これらのコンピュータ可読プログラム命令はさらに、コンピュータ、プログラマブルデータ処理装置もしくは他の装置またはこれらの組み合わせに対して特定の態様で機能するよう命令可能なコンピュータ可読記憶媒体に記憶することができる。これにより、命令が記憶された当該コンピュータ可読記憶媒体は、フローチャートもしくはブロック図またはその両方における１つ以上のブロックにて特定される機能／動作の態様を実行するための命令を含む製品を構成する。

【0032】

また、コンピュータ可読プログラム命令を、コンピュータ、他のプログラマブル装置、または他の装置にロードし、一連の動作ステップを当該コンピュータ、他のプログラマブル装置、または他の装置上で実行させることにより、コンピュータ実行プロセスを生成してもよい。これにより、当該コンピュータ、他のプログラマブル装置、または他の装置上で実行される命令が、フローチャートもしくはブロック図またはその両方における１つ以上のブロックにて特定される機能／動作を実行する。

【0033】

図面におけるフローチャートおよびブロック図は、本発明の種々の実施形態に係るシステム、方法およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能性、および動作を示している。この点に関して、フローチャートまたはブロック図における各ブロックは、特定の論理機能を実行するための１つ以上の実行可能な命令を含む、命令のモジュール、セグメント、または部分を表すことができる。他の一部の実装形態において、ブロック内に示した機能は、各図に示す順序とは異なる順序で実行されてもよい。例えば、関係する機能に応じて、連続して示される２つのブロックが、実際には、１つの工程として達成されてもよいし、同時もしくは略同時に実行されてもよいし、部分的もしくは全体的に時間的に重複した態様で実行されてもよいし、ブロックは場合により逆順で実行されてもよい。なお、ブロック図もしくはフローチャートまたはその両方における各ブロック、および、ブロック図もしくはフローチャートまたはその両方における複数のブロックの組み合わせは、特定の機能もしくは動作を行う、または専用ハードウェアとコンピュータ命令との組み合わせを実行する、専用ハードウェアベースのシステムによって実行可能である。

【0034】

本発明の種々の実施形態を例示として説明してきたが、網羅的であることや、これらの実施形態に限定することを意図したものではない。当業者には明らかなように、記載した各実施形態の範囲から逸脱することなく、多くの変更および変形が可能である。本明細書で用いられる用語は、各実施形態の原理、実際の用途、または市場で確認される技術に対する技術的な改善を最もよく説明するために、または、当業者が本明細書に開示する各実施形態を理解できるように選択されたものである。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】