特表 2024-513354 触覚インタラクション監視

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-25

(54)【発明の名称】触覚インタラクション監視

(51)【国際特許分類】

   G16H 80/00 20180101AFI20240315BHJP

【ＦＩ】

G16H80/00

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023558170

(86)(22)【出願日】2022-03-14

(85)【翻訳文提出日】2023-09-21

(86)【国際出願番号】 EP2022056491

(87)【国際公開番号】W WO2022200097

(87)【国際公開日】2022-09-29

(31)【優先権主張番号】21164037.0

(32)【優先日】2021-03-22

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】ライト クリストファー ジョン

(72)【発明者】

【氏名】ローレンソン マシュー ジョン

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA00

(57)【要約】

熱監視システム１０は、熱追跡に基づいて、２人の人物の間のタッチインタラクションを監視するためのものである。熱的刺激生成器１２が、コード化又はパターン化された熱的刺激１４を生成するために使用される。熱的刺激生成器は、ユーザが、手のタッチエリアの定義されたセットのうちの１つによって対象者にタッチしたとき、熱的刺激のうちの１つが、タッチインタラクションを介在させ、ユーザの皮膚に熱的刺激を印加するように熱的刺激を生成するように、配列される。これは、対象者の皮膚の上に熱的刺激によって具現された熱的パターン又はコード１６のインプレッションを残す。手の異なるタッチロケーションが、異なる熱的パターン又はコードを伴う熱的刺激に一意に関連付けられ、タッチインタラクションの熱監視に基づくタッチイベントの遡及的追跡を可能にする。

【特許請求の範囲】

【請求項1】

ユーザと対象者との間の触覚インタラクションを監視するためのシステムであって、前記触覚インタラクションが、前記ユーザの手の１つ又は複数のタッチエリアによる前記対象者の体の組織表面上の１つ又は複数のロケーションのタッチを備え、前記システムは、
前記対象者の体のタッチされたロケーションに、前記ユーザによるそれらのロケーションのタッチ時に印加されるアクティブな熱的刺激を生成するための熱的刺激生成器であって、
前記アクティブな熱的刺激が、空間的にコード化又はパターン化され、それによって、熱的刺激の印加が、前記対象者の組織表面に前記熱的刺激の熱的パターン又はコードのインプレッションを伝達し、
別様にパターン化又はコード化された熱的刺激が、前記ユーザの手の異なるタッチロケーションに一意に関連付けられた、
熱的刺激生成器と、
前記対象者の前記組織表面上の伝達された熱的パターンを検出する際に使用するための、前記触覚インタラクションの熱的撮像データを取得するための熱的監視装置と、
前記熱的監視装置からのデータに基づいて、前記触覚インタラクションの性質又はダイナミクスを再構築するための処理ユニットと
を備える、システム。

【請求項2】

前記熱的刺激生成器が、前記ユーザの一方又は両方の手によって担持されるか又はその手の上に着用される、請求項１に記載のシステム。

【請求項3】

前記熱的刺激生成器が、手袋の形態である、請求項２に記載のシステム。

【請求項4】

前記熱的刺激生成器が、動作中、前記ユーザの手の異なるそれぞれのタッチエリアにわたって配置されるための複数の熱的にアクティブなエリアを備える、請求項１から３のいずれか一項に記載のシステム。

【請求項5】

前記熱的にアクティブなエリアが、前記パターン化又はコード化されたアクティブな熱的刺激を生成する熱的にアクティブな要素を備え、好ましくは、前記熱的にアクティブな要素が、前記熱的刺激の空間的パターンを形成する空間的形状又は配列を定義する、請求項４に記載のシステム。

【請求項6】

前記熱的刺激生成器によって生成された前記アクティブな熱的刺激の前記熱的パターンが、動的に調整可能である、請求項１から５のいずれか一項に記載のシステム。

【請求項7】

前記タッチインタラクションの前記性質を再構築することが、監視された前記タッチインタラクション中に発生したタッチイベントのセットを識別することを有し、各タッチイベントが、前記ユーザの手の特定のタッチエリアによる前記対象者の身体上のロケーションのタッチを有する、請求項１から６のいずれか一項に記載のシステム。

【請求項8】

前記タッチインタラクションの前記性質を再構築することが、各タッチイベントについて、少なくとも、
タッチされた前記対象者の前記身体上のロケーション、及び
前記対象者をタッチするために使用された前記ユーザの手のタッチエリア
を決定することを有する、請求項７に記載のシステム。

【請求項9】

前記タッチインタラクションの前記性質を再構築することが、１つ又は複数の機械学習アルゴリズムの使用を有する、請求項８に記載のシステム。

【請求項10】

前記再構築することが、各タッチイベントの時間を決定することをさらに有する、請求項７から９のいずれか一項に記載のシステム。

【請求項11】

前記熱的監視装置が、時間に応じて、各伝達された熱的パターンの熱レベルの変動を検出する、請求項１から１０のいずれか一項に記載のシステム。

【請求項12】

前記処理ユニットが、前記対象者の皮膚の上の検出された熱的パターンの熱レベルを識別し、検出された前記熱レベルに基づいて各タッチイベントの圧力を推定する、請求項１から１１のいずれか一項に記載のシステム。

【請求項13】

前記システムが、前記熱的撮像データに基づいて、及び／又は前記タッチインタラクションの再構築された前記性質に基づいて、対象者の組織の１つ又は複数の性質を決定するための組織分析モジュールを含み、
好ましくは、前記組織分析モジュールが、タッチイベントから生じた前記１つ又は複数のロケーションにおける伝達された温度パターンの熱放散性質に基づいて、前記対象者の１つ又は複数のロケーションにおける組織灌流の測度を決定する、
請求項１から１２のいずれか一項に記載のシステム。

【請求項14】

ユーザと対象者との間の触覚インタラクションを監視するための方法であって、前記触覚インタラクションが、前記ユーザの手の１つ又は複数のタッチエリアによる前記対象者の体の組織表面上の１つ又は複数のロケーションのタッチを備え、前記方法は、
ユーザの手の異なるロケーションにおいてアクティブな熱的刺激を生成するステップであって、前記アクティブな熱的刺激が、前記対象者の体のタッチされたロケーションに、前記ユーザによるタッチされたロケーションでのタッチ時に印加され、
前記アクティブな熱的刺激が、空間的にコード化又はパターン化され、それによって、熱的刺激の印加が、それにより、前記対象者の組織表面に熱的パターン又はコードのインプレッションを伝達し、
別様にパターン化又はコード化された熱的刺激が、前記ユーザの手の異なるタッチロケーションに関連付けられた、
アクティブな熱的刺激を生成するステップと、
前記触覚インタラクションの熱的撮像データを取得するステップと、
前記熱的撮像データの使用に基づいて、前記対象者の前記組織表面上の伝達された熱的パターンを検出するステップと、
前記熱的撮像データに基づいて、前記触覚インタラクションの性質又はダイナミクスを再構築するステップと
を有する、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、少なくとも２人の人物の間の触覚インタラクションを監視するためのシステム及び方法に関する。

【背景技術】

【0002】

増大する関心エリアは、例えば医療コンサルテーション中の、自動化された患者診断及び患者医師間インタラクションの自動化された監視である。例えば、皮膚病変又は他の視認できる患者プレゼンテーションをデジタル的に撮像するために、及び人工知能又は他のコンピュータ技術を使用して診断を導き出すために、視覚撮像技術を使用することが知られている。これは、診断をより客観的なものにするのを、または医師によって提供される診断を補足又は増強するのを助けることができる。

【0003】

視覚的に患者医師間インタラクションを監視するために医師コンサルテーション室中に置かれたカメラを使用することも知られている。これは、補助診断情報を提供する際に、及び例えば、技法に関するフィードバックを与えることによって、医師のトレーニング又は専門能力開発の一部としても使用され得る。

【発明の概要】

【発明が解決しようとする課題】

【0004】

知られているシステムは、限界を有する。

【0005】

まず、固定されたカメラシステムの場合、患者医師間インタラクションのビューは、しばしば、例えば医師がカメラ視野の邪魔になるように移動した場合、不明瞭になることがある。これは、データ中のギャップにつながり、得られ得る有用な情報を制限する。追加のカメラが追加され得るが、これは、画像データを処理し、有用な情報を導出することに計算複雑さを大幅に追加する。

【0006】

その上、視覚ベースシステムが提供することができる情報には固有の限界がある。それは、例えば、皮膚病変、発疹、腫脹、発赤など、本質的に視覚的である臨床プレゼンテーションの直接的診断分析を提供することができるにすぎない。触覚診察を必要とするコンディション、例えば、皮膚の下の構造中の塊又は痛みは、監視することが困難である。

【0007】

カメラベースのシステムが、視覚的にタッチインタラクションを追跡するために使用され得る。しかしながら、医師の手と患者との間のタッチの各インシデンスを正確に検出及び追跡するために必要とされる処理は、複雑であり、計算コストが高い。このことは、ビューが不明瞭になり、処理が、データギャップを補正するために適用されなければならない場合、さらに悪化する。

【0008】

圧力又は接触センサーを含む手袋を使用して医師と患者との間の指タッチインタラクションを直接的に検出するためのシステムが、提案されている。しかしながら、手袋の上の独立したセンサーが身体的インタラクションのすべての性質を決定することは、困難である。正確なタッチダイナミクスは、特に、検出することが困難である。患者の体に対する各タッチイベントの位置を検出することも、困難である。

【0009】

それゆえ、患者医師間触覚インタラクションを監視することに対する改善された手法は、有益である。

【課題を解決するための手段】

【0010】

本発明は、特許請求の範囲によって定義される。

【0011】

本発明の態様による例によれば、ユーザと対象者との間の触覚インタラクションを監視するためのシステムであって、触覚インタラクションが、ユーザの手の１つ又は複数のタッチエリアによる対象者の体の組織表面上の１つ又は複数のロケーションのタッチを備え、システムは、
対象者の体の被タッチロケーションに、ユーザによるそれらのロケーションのタッチ時に印加されるように配列されたアクティブな熱的刺激を生成するように適応された熱的刺激生成器であって、
アクティブな熱的刺激が、空間的にコード化又はパターン化され、それによって、熱的刺激の印加が、対象者の組織表面に熱的刺激の熱的パターン又はコードのインプレッションを伝達し、及び
別様にパターン化又はコード化された熱的刺激が、ユーザの手の異なるタッチロケーションに一意に関連付けられた、
熱的刺激生成器と、
対象者の組織表面上の伝達された熱的パターンを検出する際に使用するための、触覚インタラクションの熱的撮像データを取得するための熱的監視装置と、
熱的監視装置からのデータに基づいて、触覚インタラクションの性質又はダイナミクスを再構築するように構成された処理ユニットと
を備える、システムが提供される。

【0012】

本発明の実施形態は、タッチインタラクションを追跡及び監視するために、タッチ中に指から伝達された残留熱を使用するという概念に基づく。この残留熱は、タッチイベントの後のある時間ウィンドウの間、例えば通常の体温において１０秒間、残存することができる。このことは、熱的撮像を使用して被タッチ物体上で検出され得る。この概念は、例えば、キーパッドからピン番号を抽出するために使用されている。

【0013】

本発明の実施形態は、この概念を拡張し、ユーザの手と、タッチされている対象者との間に介在し、残留熱的シグネチャを残す、人工熱的刺激を生成することに基づく。熱的刺激は、ユーザの手の上のいずれのポイントが、タッチすることを行っているかに応じて、一意にパターン化又はコード化され、タッチインタラクションのシンプルで容易な追跡に寄与する。

【0014】

コード化又はパターン化された熱的刺激の対象者に対する印加は、対象者の皮膚の上に刺激の空間的パターン／コードの熱インプレッションを残す。熱は、対象者に対する熱的刺激の印加時に、熱生成器に又は熱生成器から伝達される。これにより、各コード化された熱的刺激は、感熱性撮像デバイスによって検出され得る関連付けられた熱的シグネチャを有する。言い換えれば、熱／冷の残留パターンは、感熱性検出器、例えば、サーマルカメラによって検出可能である。

【0015】

本開示では、タッチイベントは、ユーザの手の特定のエリアと対象者のロケーションとの間の単一のタッチを指す。タッチインタラクションは、ユーザと対象者との間の触覚インタラクション、例えば、患者との医師のコンサルテーションのセッション全体を指す。熱的パターンへの言及は、特定のパターン化又はコード化された熱的刺激によって具現され、タッチ時に対象者の皮膚に伝達される、熱的パターン又はコードを意味する。

【0016】

熱的刺激生成器によって作成された熱的刺激は、ユーザの手の異なるロケーションに一致するロケーションにおいて生成される。熱的刺激生成器は、タッチイベント中に、生成器の熱的にアクティブなエリアが、ユーザの手のタッチエリアと対象者の皮膚の被タッチロケーションとの間に物理的インターフェースを形成するように配列される。この熱的にアクティブなエリアは、熱的刺激を生成する。

【0017】

熱的にコード化又はパターン化されるとは、熱的刺激が、アクティブエリアにわたって熱の特定の空間的分布を定義することを意味する。これは、連続熱分布であり得るが、より好ましくは、それは、１つ又は複数のギャップ又は不連続性を伴う空間的パターンである。

【0018】

熱的刺激生成器は、非展開構成において構成可能であることも、展開構成において構成可能であることもある。展開構成では、熱的刺激生成器は、ユーザの一方又は両方の手のタッチエリアに対して、定義された（例えば、固定された）空間的配列において装着されるか、またはサポートされる。展開構成は、手に対して予測可能な固定の又は可動の関係にある手、手首又はアームの少なくとも一部分に装着された生成器を有し、したがって、生成器の熱的にアクティブなエリアは、ユーザによるタッチアクション時に、タッチエリアと対象者の被タッチロケーションとの間に物理的に介在する。

【0019】

熱的刺激生成器は、ユーザの一方又は両方の手によって担持されるか又は手に着用されるように配列される。刺激生成器は、手に着用されるデバイスであり得る。生成器は、単一の一体ユニット、例えば、手袋であるか、または複数の部片、例えば、ユーザの手の上の異なるロケーションに付着する熱的にアクティブなパッドのセットから構成される。

【0020】

熱的刺激生成器は、手袋の形態である。

【0021】

熱的刺激生成器は、動作中、ユーザの手の異なるそれぞれのタッチエリアにわたって配置されるための複数の熱的にアクティブなエリアを備える。例えば、熱的にアクティブなエリアは、ユーザの手のタッチロケーションの上に重なるためのものである。

【0022】

熱的にアクティブなエリアは、手のタッチエリアと対象者の被タッチロケーションとの間にタッチインタラクションを介在させるか、またはその間のタッチインタラクションをインターフェースする。

【0023】

熱的にアクティブなエリアは、パターン化又はコード化されたアクティブな熱的刺激を生成する熱的にアクティブな要素を備え、好ましくは、熱的にアクティブな要素は、熱的刺激の空間的パターンを形成する空間的形状又は配列を定義する。熱的にアクティブな要素は、加熱要素、例えば、抵抗性加熱要素、例えば、抵抗性ワイヤである。これらは、例えば、特定の空間的パターンに曲げられるか、整形されるか、または配列される。

【0024】

代替的に、熱的にアクティブな要素は、冷却要素であり得る。

【0025】

１つ又は複数の実施形態によれば、刺激生成器によって生成された刺激の熱的パターンは、動的に調整可能である。

【0026】

例えば、各熱的にアクティブなエリアは、熱的要素の規則的アレイを備え、熱的要素は、所望のパターンを制御するために個々にアドレス指定可能である。

【0027】

代替例では、各ユーザタッチロケーションに関連付けられた刺激の熱的パターンは、固定され得る。

【0028】

タッチインタラクションの性質を再構築することは、監視されたタッチインタラクション中に発生したタッチイベントのセットを識別することを有し、各タッチイベントが、ユーザの手の特定のタッチエリアによる対象者の身体上のロケーションのタッチを備える。

【0029】

タッチインタラクションの性質を再構築することは、各タッチイベントについて、少なくとも、
タッチされた対象者の身体上のロケーション、及び
対象者をタッチするために使用されたユーザの手のタッチエリア
を決定することを有する。

【0030】

要素（ｂ）は、検出された熱的パターンから決定され得る。要素（ａ）は、例えば、解剖学的モデル及び画像処理に基づいて決定され得る。

【0031】

タッチインタラクションの性質を再構築することは、１つ又は複数の機械学習アルゴリズムの使用を有する。例えば、１つ又は複数の機械学習アルゴリズムは、上記の（ａ）及び（ｂ）の一方又は両方を実施するようにトレーニングされる。

【0032】

再構築することは、各タッチイベントの時間を決定することをさらに有する。

【0033】

これは、いくつかの例では、プロセッサ又は監視装置の内部クロック、及び所与のパターンが所与のロケーションにおいて最初に現れた画像フレームのタイムスタンプを識別することに基づいて、行われる。

【0034】

他の実施形態では、それは、印加時の知られている初期熱レベルに基づいて時間に応じて各伝達された熱的パターンの熱レベル（例えば、温度）の変動を検出することに基づいて、行われる。印加からの時間は、それにより、計算される。タッチイベントのタイミングは、これにより、対象者のビューが一時的に不明瞭になる場合でさえ、再構築され得る。

【0035】

さらなる実施形態では、熱的パターンは、知られている時間エボリューションを伴って、時間に応じて変動する。印加の時間は、この場合、熱的パターンのパターン化又はコード化から一意に見分けられ得る。

【0036】

１つ又は複数の実施形態によれば、熱的監視装置は、時間に応じて、各伝達された熱的パターンの熱レベルの変動を検出するように構成される。熱レベルは、例えば、温度を指す。

【0037】

１つ又は複数の実施形態によれば、処理ユニットは、対象者の皮膚の上の検出された熱的パターンの熱レベル（例えば、温度）を識別し、検出された熱レベルに基づいて各タッチイベントの圧力を推定するように適応される。より多くの熱が、例えば、より大きい圧力を用いて伝達される。

【0038】

１つ又は複数の実施形態によれば、システムは、熱的撮像データに基づいて、及び／又はタッチインタラクションの再構築された性質に基づいて、対象者の組織の１つ又は複数の性質を決定するように適応された組織分析モジュールを含む。

【0039】

組織分析モジュールは、伝達された温度パターンの熱放散ダイナミクスに基づいて、１つ又は複数のロケーションにおける組織灌流の測度を決定するように構成される。

【0040】

本発明のさらなる態様による例は、ユーザと対象者との間の触覚インタラクションを監視するための方法であって、触覚インタラクションが、ユーザの手の上の１つ又は複数のタッチエリアによる対象者の体の組織表面上の１つ又は複数のロケーションのタッチを備え、方法は、
ユーザの手の異なるロケーションにおいてアクティブな熱的刺激を生成するステップであって、アクティブな熱的刺激が、対象者の体のタッチされたロケーションに、ユーザによるタッチされたロケーションのタッチ時に印加されるように配列され、
アクティブな熱的刺激が、空間的にコード化又はパターン化され、それによって、熱的刺激の印加が、それにより、対象者の組織表面に熱的パターン又はコードのインプレッションを伝達し、
別様にパターン化又はコード化された熱的刺激が、ユーザの手の異なるタッチロケーションに関連付けられた、
アクティブな熱的刺激を生成するステップと、
触覚インタラクションの熱的撮像データを取得するステップと、
熱的撮像データの使用に基づいて、対象者の組織表面上の伝達された熱的パターンを検出するステップと、
熱的撮像データに基づいて、触覚インタラクションの性質又はダイナミクスを再構築するステップと
を有する、方法を提供する。

【0041】

本発明のこれら及び他の態様は、以下で説明される実施形態から明らかになり、その実施形態を参照しながら明確にされる。

【0042】

本発明のより良い理解のために、及び本発明がどのようにして実施されるかをより明確に示すために、次に、単に例として、添付の概略図への言及が行われる。

【図面の簡単な説明】

【0043】

【図1】例示的な触覚インタラクション監視システムのアーキテクチャを概説する図である。

【図2】例示的な熱的刺激生成器の構成要素を概説する図である。

【図3】手袋ユニットを備える例示的な熱的刺激生成器を示す図である。

【図4】異なる例示的なパターン化／コード化された熱的刺激を図示する図である。

【図5】異なる例示的なパターン化／コード化された熱的刺激を図示する図である。

【図6】ユーザによる対象者のタッチ時の熱的刺激生成器による熱的パターンの伝達を図示する図である。

【図7】診察室内のシステムの動作を示す図である。

【図8】ユーザの指腹に付着するための粘着性指部分を備える、さらなる例示的な熱的刺激生成器を示す図である。

【図9】例示的な触覚インタラクション監視方法のステップを概説する図である。

【発明を実施するための形態】

【0044】

本発明は、図を参照しながら説明される。

【0045】

詳細な説明及び特定の例は、装置、システム及び方法の例示の実施形態を指し示すが、例証のためのものにすぎず、本発明の範囲を制限するものではないことを理解されたい。本発明の装置、システム及び方法のこれら及び他の特徴、態様及び利点が、以下の説明、添付の特許請求の範囲及び添付の図面からより良く理解されよう。図は、概略図にすぎず、一定の縮尺で描かれていないことを理解されたい。また、同じ参照番号が、同じ又は同様の部分を指し示すために図全体にわたって使用されることを理解されたい。

【0046】

本発明は、熱追跡に基づいて、２人の人物の間のタッチインタラクションを監視するための熱監視システムを提供する。熱的刺激生成器は、コード化又はパターン化された熱的刺激を生成するために使用される。熱的刺激生成器は、展開構成において、（タッチを行っている）ユーザの手に関して、定義された空間的関係を有するように配列され、ユーザが、手のタッチエリアの定義されたセットのうちの１つによって対象者にタッチしたとき、熱的刺激のうちの１つが、タッチインタラクションを介在させ、ユーザの皮膚に熱的刺激を印加するように熱的刺激を生成するように、配列される。これは、対象者の皮膚上に熱的刺激によって具現された熱的パターン又はコードのインプレッションを残す。手の異なるタッチロケーションが、異なる熱的パターン又はコードを伴う熱的刺激に一意に関連付けられ、タッチインタラクションの熱監視に基づくタッチイベントの遡及的追跡を可能にする。

【0047】

本発明の実施形態は、これにより、ユーザと（タッチされている）対象者との間のタッチインタラクションの性質を監視するための手段を提供する。タッチイベントによって伝達された熱的シグネチャは、各タッチイベントの後の時間の後のあるウィンドウの間残存する。これは、いくらかの実施形態によれば、インタラクションのビューが一時的に不明瞭になる場合でさえ、タッチインタラクションを遡及的に識別することを可能にする。

【0048】

特定の利点は、医師が彼らの診察ルーチン又はワークフローを変化させる必要なしに、患者との身体的診断インタラクションの客観的測定を可能にすることを含む。さらなる利点は、熱的に伝達され、熱的に残存することができるが、標準的な可視光撮像技術では視認できない、認識可能なコードの提供により、純粋に視覚のシステムと比較してタッチインタラクションを再構築するよりシンプルなプロセスを可能にすることを含む。必要とされる処理は、それが複雑な特徴認識アルゴリズムを必要としないので、純粋に視覚の手法よりもはるかにシンプルであり、刺激の一意的熱パターニングは、例えば、一般的な解剖学的特徴よりも検出することが容易である。システムは、低コストの機器のみを用いて達成され得る。

【0049】

図１は、１つ又は複数の実施形態による、タクティルインタラクション監視システム１０のアーキテクチャを概略的に概説する。

【0050】

システム１０は、ユーザと対象者８との間の触覚インタラクションを監視するためのものである。触覚インタラクションは、ユーザの手の１つ又は複数のタッチエリアによる対象者の体の組織表面上の１つ又は複数のロケーションのタッチを備える。

【0051】

システム１０は、対象者の体の被タッチロケーションに、ユーザによるそれらのロケーションのタッチ時に印加されるように配列されたアクティブな熱的刺激１４を生成するように適応された熱的刺激生成器１２を備える。

【0052】

熱的刺激１４は、空間的にコード化又はパターン化される。対象者への熱的刺激の印加は、刺激によって具現された熱的パターン１６又はコードのインプレッションを対象者の組織表面に伝達するという効果を有する。組織表面は、例えば、皮膚である。熱的刺激生成器１２は、別様にパターン化又はコード化された熱的刺激が、ユーザの手の異なるタッチロケーションに一意に関連付けられるように配列される。言い換えれば、熱的刺激生成器は、タッチエリアのうちのいずれが、ユーザをタッチするために使用されたかに応じて、異なる熱コード又はパターンが、対象者に印加されるように配列される。

【0053】

システム１０は、触覚インタラクションの熱的撮像データ２２を取得するための熱的監視装置１８をさらに備える。このデータは、対象者の組織表面上の伝達された熱的パターン１６を検出する際に使用するためのものである。

【0054】

処理ユニット２４は、熱的撮像データを受信し、データに基づいて、触覚インタラクションの性質又はダイナミクスを再構築するように構成される。処理ユニットは、触覚インタラクションに関する情報３０を導出するために熱的撮像データを処理する際に使用するための１つ又は複数の再構築アルゴリズム２８を備える。

【0055】

１つ又は複数の実施形態によれば、システムは、データストアを備える。データストアは、タッチインタラクション情報３０を再構築する際に使用するための、異なるコード化された熱的刺激、及びユーザの手のそれらの関連付けられたタッチロケーションの記録を記憶する。代替的に、データストアは、再構築を実施する際に使用するための１つ又は複数のアルゴリズム、例えば、機械学習アルゴリズムを記憶し得る。

【0056】

動作中、１つ又は複数の熱的刺激が、熱的刺激生成器１２上に、または熱的刺激生成器１２の中に生成される。熱的刺激生成器は、それがユーザのタッチポイントと対象者８の被タッチロケーションとの間で物理的にインターフェースするようなやり方で、位置決めされるか又は装着される。例えば、それは、手に装着されるか又は着用され、熱的にアクティブなエリアは、ユーザの手の上の異なるロケーションにわたって配置される。

【0057】

熱的刺激生成器１２は、アイドル構成及び展開構成において構成可能である。展開構成では、熱的刺激生成器は、ユーザの一方又は両方の手のタッチエリアに対して、定義された（例えば、固定された）空間的配列において装着されるか、またはサポートされる。展開構成は、手に対して予測可能な固定の又は可動の関係にある手、手首又はアームの少なくとも一部分に装着された生成器１２を有し、したがって、生成器の熱的にアクティブなエリアは、ユーザによるタッチアクション時に、タッチエリアと対象者の被タッチロケーションとの間に物理的に介在する。刺激生成器は、熱的にアクティブなエリアを担持し、展開されたとき、ユーザの手に対する定義された空間的関係において装着されるように設計された１つ又は複数の部分から構成される、サポート体を備える。

【0058】

ユーザは、対象者８と触覚インタラクションにおいて係わり、熱生成器１２は、患者との彼又は彼女のタッチをインターフェースする。熱的撮像データは、タッチインタラクション中に熱的監視装置１８によって収集される。熱的撮像データは、ワイヤード又はワイヤレス接続を通して処理ユニット２４に伝送される。処理ユニットは、例えば、１つ又は複数の再構築アルゴリズム２８を用いてデータを処理する。これにより、タッチインタラクション中に、タッチイベントに関する情報を表すタッチインタラクションデータ３０が、生成される。この情報は、後続の記憶又は分析のために外部コンピュータ又はプロセッサに伝送される。例えば、それは、患者記録管理システムにアップロードされ、ユーザのための患者記録に記憶される。それは、以下でさらに解説されるように、１つ又は複数の臨床パラメータを決定するためにさらに分析される。

【0059】

図２は、例示的な熱的刺激生成器１２の構成要素を概略的に概説し、それらの一部又は全部は、異なる実施形態中に含まれる。熱的刺激生成器は、熱的刺激を生成するように適応された複数の熱的にアクティブなエリア３４を備える。１つのみが図２中で視認できるが、複数が含まれる。熱的にアクティブなエリアは、熱的刺激を作成するための熱の発生源を提供する（図２中に示されていない）１つ又は複数の熱的にアクティブな要素、例えば、加熱要素のセットを含む。熱的要素の使用は、必須ではない。他の例は、電気刺激に反応する固有の熱生成能力を有する、熱的に反応する材料の使用を含む。熱的刺激は、熱的にアクティブなエリア３４によって備えられる熱生成手段によってアクティブに作成された熱の実際のパターン又は空間的分布を指す。

【0060】

刺激生成器１２は、熱的にアクティブなエリア３４による熱生成に電力供給するための電源３６をさらに含む。これは、再充電可能である、バッテリーなど、ローカル電力ストアである。それは、外部電源供給への接続のための電力インレットコネクタである。

【0061】

刺激生成器１２は、熱的にアクティブなエリア３４による熱的刺激生成のアクティブ化をトリガするためのトリガ機構３８をさらに含む。それは、例えば、電力ストアから熱的にアクティブなエリアへのエネルギーの送達をトリガ又は開始する。これは、回路を機械的に完成するか、または回路をデジタル的に完成する、手動でユーザがアクティブ化するボタン又はスイッチである。それは、ユーザインターフェース又はコントローラ、例えば、処理ユニット２４など、外部デバイスからトリガ信号を受信する通信インターフェースであってもよい。それは、熱的にアクティブなエリアが、別の身体表面と係わったとき、熱的にアクティブなエリア３４における熱的刺激の生成を自動的にアクティブ化するように適応された自動化されたトリガ機構であってもよい。これは、圧力に反応して回路を完成する、熱的にアクティブなエリア中に位置する感圧性要素であってもよい。トリガ機構は、生成器が（例えば、ユーザの手に装着又は付着された）展開構成に置かれたことに反応して熱的生成を自動的にトリガするように構成されてもよい。これは、感圧性アクティブ化によるものであってもよい。別のオプションは、例えば、熱的生成器の本体が、弾性材料から形成され、例えば、手袋の形態にある場合、熱的生成器の本体に組み込まれた感歪要素又はスイッチの使用である。トリガ機構は、手袋がユーザによって身に付けられたとき、手袋の伸張時にアクティブ化する。しかしながら、トリガ機構は必須ではない。

【0062】

オプションで、熱的刺激生成器１２は、熱的にアクティブな要素のアクティブ化を制御するか、または熱的にアクティブな要素によって生成された熱的刺激を構成するように適応されたコントローラ４０又はプロセッサをさらに含み得る。いくつかの場合には、刺激の熱的パターン又はコーディングは、動的に構成可能である。コントローラは、いくつかの例では、熱的刺激パターン又はコードを制御するように機能する。オプションで、通信モジュールが、外部デバイス又はコントローラ、例えば、処理ユニット２４と通信するために熱的刺激生成器１２中に含まれ得る。

【0063】

図３は、１つ又は複数の実施形態による、例示的な熱的刺激生成器を示す。図示されている例では、刺激生成器は、タッチインタラクション中にユーザによって着用される手袋５４の形態で提供される。手袋は、例えば、弾性織物から形成された本体５２を備える。熱的にアクティブなエリア３４は、手袋の本体によって担持されるか、またはそれに組み込まれた状態で示されている。図示されている例では、熱的にアクティブなエリアは、手袋の指部分の端部にある。それらは、手袋を着用するときにユーザの指腹と一致するように位置決めされる。この場合、指腹は、ユーザのタッチエリアである。熱的にアクティブなエリアは、追加又は代替として、手袋の他のエリア、例えば、手袋の指の上の及び／又は掌部分内の追加又は代替のロケーションに位置し得る。熱的刺激生成器は、パターン化された熱的刺激の作成のための熱的にアクティブなエリア内での熱生成に電力供給するための電源３６をさらに含む。トリガ機構（図示せず）も含まれる。

【0064】

１つ又は複数の例では、手袋（又は他の形態の熱的刺激生成器）の本体は、ラテックス、ニトリル又は任意の他の好適な材料など、弾性材料から構成される。材料は、いくつかの例では、熱的にアクティブなエリアから患者への熱エネルギーの伝達が、タッチ圧力に応じて本質的に変動するように圧縮可能である。これにより、この場合、手袋の本体は、印加された圧力に応じた可変の熱的伝送性質をもつ圧縮可能な膜であり、これは、対象者の伝達された熱的パターンの各レベルの検出を通した加えられた圧力の後の測定を可能にする。

【0065】

オプションで、手袋本体５２の材料は、熱的伝達が、印加された圧力によって非線形のやり方で変動するように構成され得、これは、印加された圧力の検出をよりシンプル且つ正確にする。

【0066】

図３の図示されている例では、熱的刺激生成器１２は、手袋５４の形態にあるが、他の構成が、可能であり、後でさらに論じられる。上記の特徴及びコメントは、手袋実施形態並びに熱的刺激生成器の他の構成に適用され得る。

【0067】

概して、熱的刺激生成器１２は、熱的にアクティブなエリア３４のための担体を形成する本体構造５２を含む。本体構造は、１つ又は複数の部分から構成されるか、互いに接続されるか、または互いから空間的に分離される。上記で論じられたように、熱的刺激生成器は、アイドル及び展開構成において構成可能であり、ここで、展開構成は、ユーザの手に関して、定義された固定の又は可動の関係にある熱的にアクティブなエリアを有する。

【0068】

熱的にアクティブなエリア３４によって生成された熱的刺激１４は、現在のレベルを上回る又は下回るように対象者のタッチされた組織（例えば、皮膚）の温度を変えるように構成される。増加された温度は、熱的にアクティブなエリアにおいて熱生成手段を用いて達成される。人間の典型的な皮膚温度は、断定できる範囲（例えば、約３３～３８°Ｃ）内に入り、これにより、加熱型の熱的にアクティブなエリアは、典型的な皮膚温度の範囲よりも高い温度において熱的刺激を生成し、追加の熱エネルギーの伝達を生じるように設計され得る。代替形態は、特定の空間的パターン又はコーディングにおいて冷たい熱的刺激を生成するために、冷却手段を含むことである。

【0069】

熱的刺激１４を生成するために、熱的にアクティブなエリアは、パターン化又はコード化された熱的刺激を生成する熱的にアクティブな要素を備える。熱的にアクティブな要素は、例えば、熱的刺激の空間的パターン又はコーディングを形成する、空間的形状又は配列を定義する。

【0070】

熱的にアクティブな要素は、熱を生成するために、電力ストアから電力を引き出す。それらは、例えば、熱的に伝導性の要素、例えば抵抗性加熱要素、例えば抵抗性ワイヤを備える。これらは、例えば、特定の空間的パターンに曲げられるか、整形されるか、または配列される。これは、それゆえ、熱の対応するパターン（熱的パターン）を作成することを可能にする。

【0071】

図４は、熱的刺激生成器１２が手袋の形態にある実施形態内の加熱要素６２の使用の例を示す。この場合、熱的にアクティブなエリア３４は、手袋の指領域の端部にあり、使用中にユーザの指腹と一致する。熱的にアクティブなエリア３４は、特定の認識可能な形状又はパターンを形成するように曲げられるか又はさもなければ整形された、熱的にアクティブな加熱要素６２を備える。

【0072】

示されているように、刺激生成器の異なるタッチロケーションに位置する熱的にアクティブなエリア３４は、異なるそれぞれの空間的パターン又はコーディングを定義する熱的要素を有する。このようにして、各タッチロケーションからの熱的シグネチャは、一意に認識可能である。例えば、手袋の各指は、熱的要素６２又は熱的印加パターンの変動する空間的配列からなる。いくつかの例では、単一の熱的にアクティブなエリア内に複数の空間的刺激パターンがある。これは、特定のユーザタッチエリアのいずれの領域がタッチイベントにおいて使用されたかのきめの細かい認識を可能にする。例えば、各指腹又はさもなければ熱的刺激生成器の隣接するエリアのロケーションにおいて具現された、複数の異なるパターン又は空間的に変動するパターンがある。

【0073】

図５は、パターン化された熱的刺激を生成するための熱的要素６２のさらなる例示的な使用を示す。この例では、パターンは、コード化された熱的シグネチャを形成する線及び点の特定の構成を定義する。

【0074】

好ましくは、熱的要素のそれぞれの線形セクション又は部分は、熱的パターンの部分が、ユーザの皮膚に伝達されたときにあまりに急速に互いの中に滲み出すのを防げるために、互いから離間される。これは、熱的信号が観測可能である時間期間内は、皮膚の上の各パターンが解像可能なままであることを保証する。例えば、熱的要素の加熱されるセクションの間には最低限の空間的分離がある。

【0075】

最低限の分離は、患者の皮膚における熱的拡散の速度についての推定値に基づいて定義される。熱的パターンのストランドの間の熱的拡散は、時間とともに熱的パターンを解像する能力を低減させる。例として、間隔は、熱的パターンが、皮膚への印加の後に、少なくとも５秒、好ましくは少なくとも１０秒の時間期間の間、解像可能なままであるように構成される。

【0076】

熱的要素６２は、不快感を与えることなしに対象者の皮膚温度を増加させるようなレベルに加熱するように制御される。非限定的な例として、要素は、３５～５０℃の間の温度に加熱される。

【0077】

１つ又は複数の実施形態によれば、熱的刺激の空間的パターニングは、パターン又はコードのエリアにわたる差分空間的ロケーションにおいて、可変の形状又は外観を有するように構成される。これは、タッチエリアのいずれの部分がユーザの皮膚に対してタッチされたかを区別することを可能にする。例えば、交差パターンが使用され、ここで、患者の皮膚の上で視認できるパターンの部分は、ユーザが親指の腹のいずれの部分を用いて押圧していたかを決定するために使用される。

【0078】

１つ又は複数の実施形態によれば、刺激生成器１２によって生成された刺激１４の熱的パターン１６は、動的に調整可能である。

【0079】

例えば、各熱的にアクティブなエリアは、熱的要素の規則的アレイを備え、ここにおいて、熱的パターンは、熱的にアクティブな要素のアレイに発せられる信号のパターンを制御すること、例えば、所望のパターン又はコードを定義する要素のサブセットのみを選択的にアクティブ化すること、または異なる要素の熱レベルを変動させることに基づいて、制御可能である。

【0080】

いくつかの例では、熱的パターンは、タッチインタラクションセッションの過程にわたって時間に応じて動的に変動され、それにより、タッチイベントのタイミングが識別され得る。

【0081】

追加又は代替として、それらは、タッチイベントの追加の性質が決定されることを可能にするために、単一のタッチイベント中に動的に変動され得る。

【0082】

コントローラ４０は、時間に応じて可変のパターンを制御するように配列された熱的刺激生成器中に含まれる。各熱的にアクティブなエリア３４についてのあらかじめ定義されたパターン時間エボリューション関数が、刺激生成器１２のローカルデータストアに記憶され、パターンがコントローラ４０によって時間とともにどのように変動されるかを定義するために使用される。

【0083】

装置の使用が、図６中に概略的に図示されている。図６Ａは、ユーザが、（この例では、手袋５４の形態の）刺激生成器１２がユーザの手の上の展開位置にある間に、対象者８にタッチする状態を示す。図６Ｂは、ユーザの手のリリースの後に対象者の皮膚の上に残された熱的パターン１６を示す。

【0084】

図７は、空間、例えば、医師の診察室内のシステムのセットアップを示す。サーマル撮像カメラ１８の形態の熱的監視装置が、空間の壁に取り付けられた状態で示されており、ここにおいて、サーマルカメラの視野は、対象者８を含んでいる領域をカバーし、その中で、対象者とのタッチインタラクションが行われる。

【0085】

熱的刺激生成器１２は、手袋５２の形態で、上記で論じられたが、他の構成も可能である。図８は、１つ又は複数の実施形態による、熱的刺激生成器のさらなる例を示す。この場合の刺激生成器は、複数の生成器部分７２から形成され、複数の生成器部分７２の各々は、熱的にアクティブなエリア３４を形成する。複数の部分は、例えば、各々、ユーザの手のエリア、例えば、図８中に描かれているようにユーザの手の指腹に接着的に結合されるように配列された膜から形成される。複数の刺激生成器部分７２の各々の熱的にアクティブなエリアは、ローカル電源又はコントローラ７４に接続される。接続は、ワイヤード接続であるか、またはワイヤレスエネルギー結合、例えば、誘導性エネルギー結合が考えられる。ローカルコントローラ又は電力ストア７４は、ユーザの便宜のために、着用可能なユニット、例えば、手首に装着可能なユニット中に取り付けられる。オプションで、通信インターフェースが、熱的にアクティブなエリア３４のアクティブ化、または熱的にアクティブなエリアによって生成されるべき熱的刺激のパターン又はコードに関する制御命令の受信のためにさらに含まれ得る。

【0086】

上記で論じられたように、システムは、熱的監視装置１８を含む。これは、ユーザと対象者との間のタッチインタラクションの熱的撮像データを収集するために使用される。これは、例えば、タッチインタラクションが行われる空間中に位置する１つ又は複数のサーマルカメラを備える。これらは、赤外線周波数帯域において放射熱信号を検出するように動作可能である。それらは、それゆえ、これらの熱的パターンによる赤外線の放出を通して、熱的刺激１４によって対象者８の皮膚上に伝達された残留熱的パターンを検出するために使用される。

【0087】

タッチインタラクションの熱的撮像データ２２が取得されると、処理ユニット２４は、タッチインタラクションの性質又はダイナミクスを再構築する。次に、再構築手順が、より詳細に説明される。

【0088】

概して、タッチインタラクションの性質を再構築することは、各タッチイベントについて、少なくとも、
タッチされた対象者の身体上のロケーション、及び
対象者をタッチするために使用されたユーザの手のタッチエリア
を決定することを有する。

【0089】

オプションで、処理ユニット２４は、熱的刺激が対象者に印加された圧力の推定値を導出するように構成されてもよい。

【0090】

要素（ｂ）は、検出された熱的パターンから決定され得る。シンプルな例では、これは、異なる熱的パターンと、ユーザの手の上の対応するタッチロケーション（又は熱的生成器の上のロケーション）とを記録する、事前記憶された基準データセットを使用して行われ得る。よく知られている画像処理アルゴリズム、例えば、形状マッチングアルゴリズムが、収集された画像データ内の異なる熱的刺激の形状又はパターンを識別するために使用され得る。これらは、次いで、それらが熱的刺激のうちのいずれに対応するか、及びそれゆえ、ユーザの手のいずれのタッチエリアが各パターンを生成するために使用されたかを識別するために、基準データセットと比較され得る。

【0091】

別の例では、機械学習アルゴリズムが、熱的撮像データ２２における熱的パターンを検出するために、及び熱的シグネチャを復号して、ユーザタッチロケーションを識別するために使用される。

【0092】

要素（ａ）は、特定の熱的パターンがそこで検出された、対象者の身体上の解剖学的ロケーションを識別するために、画像処理アルゴリズムを使用して、例えば、基準解剖学的モデルを使用して決定される。そのような解剖学的分析を実施するための画像処理技法が、知られており、例えば、セグメンテーション技法又は形状マッチング技法を採用する。

【0093】

要素（ａ）は、対象者の身体上の解剖学的ロケーション、又はより一般的には、身体に対して定義された座標系又はマップ内のロケーションを決定することを備える。

【0094】

代替的に、要素（ａ）は、例えば、熱的撮像データ内の解剖学的ロケーションを識別するようにトレーニングされた機械学習アルゴリズムを使用して導出され得る。

【0095】

例として、１つ又は複数の実施形態によれば、処理ユニット２４の再構築アルゴリズム２８は、熱的刺激１４の熱的パターンを認識するように、及び熱的監視装置から出力された熱的撮像データ２２に、認識されたパターンを示す識別子フラグ又はラベルを追加するようにトレーニングされた、機械学習アルゴリズムを含む。この機械学習アルゴリズムの出力は、フラグ付き又はラベル付き熱的データと呼ばれる。それは、これにより、入力として熱的撮像データを受信し、それの出力としてフラグ付き又はラベル付き熱的データを提供する。

【0096】

再構築アルゴリズム２８は、追加又は代替として、熱的撮像データ内の識別された熱的パターンの解剖学的ロケーションを認識するようにトレーニングされた機械学習アルゴリズムを含み得る。これは、オプションで、上記と同じ機械学習アルゴリズムであり得る。例えば、それは、上記で陳述されたフラグ付き又はラベル付き熱的データをそれの入力として受け取る。代替的に、フラグ付き又はラベル付き撮像データは、異なるアルゴリズム、例えば、パターンを識別するためにシンプルなルックアップテーブルを使用するアルゴリズムから提供され得、このデータは、機械学習アルゴリズムへの入力として提供される。

【0097】

オプションで、第１の機械学習アルゴリズム（機械学習アルゴリズムが含まれる場合）によって提供されるか、または先行するパラグラフにおいて論じられた異なる発生源からのいずれかによるフラグ付き熱的データに基づいて、各タッチインタラクションイベント中に印加される物理的圧力を推定するようにトレーニングされた機械学習アルゴリズムが、含まれ得る。例えば、圧力は、例えば熱的撮像データにおける熱的シグネチャの熱レベルから見分けられる。

【0098】

再構築することは、各タッチイベントの時間を決定することをさらに備える。これは、異なるやり方で行われ得る。

【0099】

これは、いくつかの例では、プロセッサ又は監視装置の内部クロック、及び所与のパターンが所与のロケーションにおいて最初に現れた画像フレームのタイムスタンプを識別することに基づいて、行われる。熱的パターンが対象者の皮膚の上で最初に検出された時間が、対応するタッチイベントの時間として識別される。

【0100】

他の実施形態では、それは、時間に応じた各伝達された熱パターンの熱レベル（例えば、温度）の変動を検出することに基づいて、行われ得る。例えば、伝達されたパターンの初期温度は、例えば、熱的刺激生成器の制御設定又はパラメータから知られる。プロセッサは、対象者の上の伝達された熱的パターンの温度を検出する。これから、プロセッサは、温度の差異、及び対象者の皮膚の知られている熱的伝達又は放散性質に基づいて、熱的パターンが皮膚に初めに印加された推定時間を計算する。これは、プロセッサが、対象者のビューが触覚インタラクション中に一時的期間の間不明瞭になる場合でさえ、タッチイベントのタイミングを再構築することを可能にする。

【0101】

さらなる実施形態では、タッチインタラクションの時間は、異なるやり方で決定される。例えば、いくつかの実施形態では、ユーザの身体の各タッチロケーションに関連付けられた熱的パターンは、時間に応じて動的に変動される。ここで、各熱的にアクティブなエリアは、時間可変熱的パターニングを生成するように能動的に制御可能である。これは、各熱的パターンが、ユーザの手の上の特定のタッチロケーションと、パターンがその間アクティブであった特定の時間ウィンドウとの両方に一意に関連付けられるように、時間に応じて知られているエボリューションを用いて変動され得る。

【0102】

さらなる実施形態では、タッチインタラクションの時間は、追加の検知又は監視システムの使用に基づいて決定される。例えば、視覚分析を通してインタラクションを監視する別個の撮像システムが、使用され、タッチイベントのタイミングが、熱的監視装置を使用して検出されたタッチイベントを用いて検出され、登録され、又は較正されることを可能にする。

【0103】

１つ又は複数の実施形態によれば、処理ユニット２４は、対象者の皮膚の上の検出された熱的パターンの熱レベル（例えば、温度）を識別し、検出された熱レベルに基づいて各タッチイベントの圧力を推定するように適応される。

【0104】

例えば、処理ユニットは、伝達された熱的パターンの測定熱レベルに基づいて、及びパターンに対応する熱的刺激の熱レベル（換言すれば、初期印加熱）の知識に基づいて、圧力を推定する。パターンを最初に検出した瞬間が、パターンが印加された瞬間と同じでない（したがって、いくらかの熱がすでに放散している）場合、タッチ印加の時間を識別することも好ましい。これは、タッチ時間を検出するために上記で概説された手法のうちの１つ又は複数を使用して行われ得る。

【0105】

代替的に、いくつかの例では、タッチイベントの圧力は、熱的刺激生成器中のアクティブ圧力依存作動機構に基づいて決定され得る。例えば、タッチイベントの圧力を検知することができる感圧性要素又は機構が、各熱的にアクティブなエリアにおいて熱的生成器中に含まれる。熱的刺激の熱的（例えば、熱）レベルは、知られている圧力温度関係を用いて圧力にしたがって制御され、それにより、タッチの圧力は、対象者の皮膚の上の熱的パターンインプレッションの検出された熱レベルから決定され得る。

【0106】

代替的に、圧力依存熱レベルが、印加された機械的圧力に依存して加熱レベルを本質的に変動させるように適応された、熱的にアクティブなエリアにおける１つ又は複数の構成要素を使用することによって、デジタル様式ではなくアナログ様式で実施され得る。これは、感圧抵抗器又は他の電流制限要素を含むことができるか、または固有の材料特性の熱的にアクティブなエリア、例えば、圧力依存電気的又は熱的コンダクタンス性質をもつ材料を含むことができる。

【0107】

上記で述べられたように、いくつかの例では、１つ又は複数の機械学習アルゴリズムが、タッチインタラクションの性質又はダイナミクスを再構築するために使用される。

【0108】

マシンラーニングアルゴリズムは、出力データをもたらすか又は予測するために入力データを処理する、任意の自己トレーニングアルゴリズムである。ここで、入力データは、熱的監視装置１８からの熱的撮像データ２２を備え、出力データは、タッチインタラクションの再構築された性質又はパラメータ、例えば、ユーザタッチロケーション、対象者の身体の被タッチロケーション、タッチの圧力、及びタッチの持続時間を備える。

【0109】

本発明において採用されるのに好適なマシンラーニングアルゴリズムは、当業者には明らかであろう。好適なマシンラーニングアルゴリズムの例は、決定木アルゴリズム及び人工ニューラルネットワークを含む。ロジスティック回帰、サポートベクターマシン又はナイーブベイズモデルなどの他のマシンラーニングアルゴリズムは、好適な代替形態である。

【0110】

人工ニューラルネットワーク（又は単に、ニューラルネットワーク）の構造は、人間の脳から着想を得ている。ニューラルネットワークはレイヤから構成され、各レイヤは複数のニューロンを備える。各ニューロンは、数学演算を備える。とりわけ、各ニューロンは、単一のタイプの変換の異なる重み付けの（例えば、シグモイドなどの同じタイプの変換であるが、異なる重み付けをもつ）組合せを備える。入力データを処理するプロセスにおいて、各ニューロンの数学演算が、数値出力をもたらすために入力データに対して実施され、ニューラルネットワークにおける各レイヤの出力は、連続的に次のレイヤに供給される。最終レイヤは、出力を提供する。

【0111】

次に、本発明の実施形態において使用するための機械学習アルゴリズムをトレーニングするためのプロセスが、論じられる。

【0112】

トレーニングシステムが使用される。トレーニングシステムは、トレーニングデータのデータベース（トレーニングデータベース）を備える。トレーニングデータは、タッチインタラクションの監視中に熱的監視装置１８によって取得されるのと同じフォーマットの例示的熱的撮像データを備える。例示的熱的撮像データは、処理ユニット２４が動作中に出力することを所望されるタッチインタラクション情報３０にマッチするグランドトゥルースタッチインタラクション情報を用いて、ラベル付けされる。例えば、これは、上記で論じられた要素（ａ）及び（ｂ）（ユーザのタッチエリア及び対象者の被タッチロケーション）を含む。ここで、ラベルは、（各熱的パターンの）画像内の境界ピクセル座標と、有界領域の解剖学的ロケーションと、識別された熱的パターンとを含む。データに追加される他のラベルは、限定はされないが、タッチ持続時間及びタッチ圧力を含む。

【0113】

グランドトゥルースラベルは、例えば、トレーニングデータをコンパイルするとき、実験的に取得される。

【0114】

トレーニング中に機械学習アルゴリズムによって生成されたラベルとグランドトゥルースラベルとの類似度をスコアリングするトレーニングシステムの一部として、批評家アルゴリズムが含まれる。

【0115】

パラメトリック調整アルゴリズムは、機械学習アルゴリズムのモデルパラメータに対して行うべき調整を決定するために、機械学習アルゴリズムに供給されるトレーニングデータのセットにわたる批評家スコアを使用する。

【0116】

教師あり学習手順が、その場合、機械学習アルゴリズムに例示的トレーニングデータの少なくとも一部分を供給することと、トレーニングデータ中のグランドトゥルースラベルと機械学習アルゴリズムの出力との間の偏差を最小限に抑えるようにアルゴリズムパラメータを調節することとに基づいて、批評家アルゴリズム及びパラメトリック調整アルゴリズムを使用して実施される。

【0117】

例として、１つの例示的なトレーニングプロセスは、以下のように動作する。

【0118】

ラベル付きトレーニングデータが、トレーニングセットとテストセットとに分割される（例えば、８０％／２０％分割がしばしば使用される）。

【0119】

各トレーニングデータ要素（熱的監視データ）の入力データエントリが、機械学習アルゴリズムに供給される。批評家アルゴリズムが、機械学習アルゴリズムによって生成されたラベルのグランドトゥルースに対する類似度をスコアリングする。

【0120】

タッチ時間及び圧力などの連続変数の場合、比例誤差が計算される。

【0121】

バイナリスコア値が、誤差を、あらかじめ定義された許容可能誤差しきい値と比較することによって、各メトリックについて出力される。

【0122】

境界座標（上記を参照されたい）の場合、スコアリングは、生成されたラベルについて有界エリアのための平均ピクセルロケーションを計算することと、それがグランドトゥルース有界エリア内にある場合、出力を１とスコアリングし、それが外側にある場合、０とスコアリングすることとに基づいて行われる。

【0123】

熱的パターン検出の場合、バイナリ成功値が、熱的パターンラベルに対する正しい又は正しくないマッチについて与えられる。

【0124】

スコア値の集合が、トレーニングされている１つ又は複数の機械学習アルゴリズムの各々についての成功メトリックとして使用される。

【0125】

各アルゴリズムについて、パラメトリック調整アルゴリズムが、モンテカルロ方法などの知られている統計的最適化ストラテジーに従って機械学習アルゴリズムのパラメータ（重み）を変える。

【0126】

トレーニングプロセスは、設定された回数の反復（例えば、１０００回）の後、または成功スコアが数回の反復にわたって改善しないとき、終了される。

【0127】

１つ又は複数の実施形態によれば、導出されたタッチインタラクション情報３０に基づいて、１つ又は複数の臨床パラメータ又は臨床的に関連のある情報を決定するように適応されたさらなる分析モジュールが、含まれる。

【0128】

例として、熱的撮像データに基づいて、及び／又は再構築されたタッチインタラクション情報３０に基づいて、対象者の組織の１つ又は複数の性質を決定するように適応された組織分析モジュールが、提供される。例えば、組織分析モジュールは、対象者の上の１つ又は複数のロケーションにおける皮膚組織灌流の測度を決定するように構成される。これは、例えば、タッチイベントから生じた１つ又は複数のロケーションにおける伝達された熱パターンの熱放散性質に基づく。

【0129】

例えば、組織分析モジュールは、経時的に熱的撮像データ２２中で検出された所与の熱的パターンの変化を測定するルールベースアルゴリズムを採用する。パターン鮮明度の推定は、標準的な画像分析技法を使用して行われる。鮮明度の低減は、経時的に測定される。鮮明度の低減は、組織灌流特性に依存する、パターンの熱放散により発生することが予想される。低減率は、次いで、潅流性質のルックアップテーブルに問い合わせるために使用される。オプションで、室内気温などの追加の要因が、精度を改善するために、この測定及びルックアップステップ中に含まれ得る。

【0130】

追加又は代替として、潅流に対して、組織分析モジュールは、伝達された熱的パターン１６の熱的減衰率を決定するように適応され得る。熱的減衰率は、（環境への熱の移動及び皮膚への伝達及び放散を通した損失を含む）熱的パターンの熱の損失率を意味する。これは、所与の熱的パターンについて、それが熱的監視装置１８によって最初に検出された後、ある時間ウィンドウの間熱的パターンを監視することに基づいて、決定され得る。経時的な熱的温度の変化は、例えば、ルックアップテーブル又はアルゴリズムの使用に基づいて、知られている減衰関数に対してマッチングされる。

【0131】

熱的パターンが最初に印加されたときに初期熱的転移を決定することは、最初に印加されたときにパターンを観測することを必要とする。しかしながら、これは、例えばビューが不明瞭であるとき、常に可能であるとは限らない。機械学習アルゴリズムは、経時的な熱的減衰のパターンに基づいて、初期熱的転移及びタッチの時間を推定するように適用され、トレーニングされる。代替的に、ルールベースのアルゴリズムが、使用され得る。しかしながら、この場合、タッチイベントの時間を独立して検出するための別個の監視システムが提供される必要がある。これは、別個の撮像装置を使用して行われ得る。これは、タッチイベントのフルビューを検出するか、または視覚キューとして働く医師の手又はアームのパターンを検出する。代替形態は、医師が特定の句、例えば、「ここは感覚がありますか」と話したことを検出することなど、聴覚キューを検出することである。さらには、タッチイベントの直接的な音が、いくつかの例では、検出される。

【0132】

所与のタッチイベントのフルダイナミクスを決定するために、熱的減衰関数（空気／他の組織への潅流及び伝導）、初期タッチの時間、及び初期熱的転移が、各々、決定される。これらの各々を検出するための方法は、上記で論じられた。いくつかの例では、熱的撮像データに基づいて、これらの性質のすべてについて推定値を決定するようにトレーニングされた機械学習アルゴリズムが、使用され得る。適切なトレーニングを通して、機械学習アルゴリズムは、撮像データ中の微細な手がかりに基づいて、熱的撮像データからのこれらの異なるパラメータを逆畳み込みすることが可能である。

【0133】

１つ又は複数の実施形態によれば、処理ユニット２４は、熱的パターンが印加された後、環境要因による皮膚温度の変更にアカウントするために、ノイズ除去手順又は補正手順を適用するようにさらに適応される。例えば、対象者の皮膚温度又は潅流は、暖かい診察室に、より冷たい部屋から歩いて入ったことにより経時的に変化する。これらの変更は、熱的パターンの熱的放散の変動につながり、これは、熱的潅流性質の決定の不正確さにつながる。補償するために、処理ユニットは、経時的な潅流に対する任意の大域的又は局所的変化（換言すれば、所与のエリアの全体にわたって発生した変化）を検出するために熱的撮像データを使用し、タッチイベントの初期熱的条件を推定するとき、補正係数としてこれを使用する。

【0134】

本発明のさらなる態様による例は、ユーザと対象者との間の触覚インタラクションを監視するための方法であって、触覚インタラクションが、ユーザの手の上の１つ又は複数のタッチエリアによる対象者の体の組織表面上の１つ又は複数のロケーションのタッチを備える、方法を提供する。

【0135】

例示的な方法のステップが、図９中のブロック図において概説されている。

【0136】

方法９０は、ユーザの手の異なるロケーションにおいてアクティブな熱的刺激を生成するステップ９２であって、アクティブな熱的刺激が、対象者の体の被タッチロケーションに、ユーザによるそれらのロケーションのタッチ時に印加されるように配列された、アクティブな熱的刺激を生成するステップ９２を有する。アクティブな熱的刺激は、空間的にコード化又はパターン化され、それによって、熱的刺激の印加が、対象者の組織表面に熱的パターン又はコードのインプレッションを伝達する。別様にパターン化又はコード化された熱的刺激が、ユーザの手の異なるタッチロケーションに関連付けられる。

【0137】

方法９０は、触覚インタラクションを表す熱的撮像データを取得するステップ９４をさらに有する。

【0138】

方法９０は、熱的撮像データの使用に基づいて、対象者の組織表面上の伝達された熱的パターンを検出するステップ９６をさらに有する。

【0139】

方法は、熱的撮像データ（及び、検出された熱的パターン）に基づいて、触覚インタラクションの性質又はダイナミクスを再構築するステップ９８をさらに有する。

【0140】

本発明のさらなる態様による例は、コンピュータプログラムコードを備えるコンピュータプログラム製品であって、コンピュータプログラムコードが、プロセッサ又はコンピュータ上で実行可能である、コンピュータプログラム製品を提供する。

【0141】

コードは、ユーザと対象者との間の触覚インタラクションを監視するための方法であって、触覚インタラクションが、ユーザの手の１つ又は複数のタッチエリアによる対象者の体の組織表面上の１つ又は複数のロケーションのタッチを備える、方法をプロセッサが実施することを引き起こすように構成される。

【0142】

アクティブな熱的刺激が、ユーザの手の異なるロケーションにおけるインタラクション中に生成され、アクティブな熱的刺激は、それらが、対象者の身体の被タッチロケーションに、ユーザによるそれらのロケーションのタッチ時に印加されるように配列される。

【0143】

アクティブな熱的刺激は、空間的にコード化又はパターン化され、それによって、熱的刺激の印加が、それにより、対象者の組織表面に熱的パターン又はコードのインプレッションを伝達する。

【0144】

別様にパターン化又はコード化された熱的刺激が、ユーザの手の異なるタッチロケーションに関連付けられる。

【0145】

コードの実行によって実施されることを引き起こされる方法は、
触覚インタラクションの取得された熱的撮像データを受信するステップと、
熱的撮像データに基づいて、対象者の組織表面上の伝達された熱的パターンを検出するステップと、
熱的撮像データに基づいて、触覚インタラクションの性質又はダイナミクスを再構築するステップと
を有する。

【0146】

本発明の実施形態についての多数の可能な適用例がある。

【0147】

臨床適用例の場合、所与のコンサルテーションのための取得されたタッチインタラクション情報は、患者（対象者）のためのケースノートにアップロードされる。タッチインタラクションに関する医師による手作業でのデータエントリは、それゆえ、回避され得る。

【0148】

いくつかの例では、タッチインタラクション情報は、機械的組織性質（例えば、癌の、または皮膚疾患の検出）に関する診断サポートを臨床医に提供するために使用され得る。タッチダイナミクス、及びオプションで任意の検出された熱的放散情報は、例えば、関連のある患者組織性質を決定し、医師に診断を示唆するためにＡＩアルゴリズムによって使用される。

【0149】

いくつかの例では、サポートは、対象者に痛みを引き起こすことを防ぐために、または患者の痛みを誘発した厳密なタッチインタラクションの検出によって診断のための客観的データを提供するために医師に提供され得る。タッチインタラクション情報は、この点について、対象者の痛みしきい値、受感エリアのロケーション及び痛みを誘発した厳密な力ダイナミクス（例えば、伸張、圧縮）の検出のために使用され得、より一般的には、痛み感度をマッピングするために使用され得る。そのような機能性は、神経障害又は感度の診断及び特徴づけの場合、特に有用である。

【0150】

患者との各診察セッションについてタッチインタラクション情報をアップロードすることによって、経時的に、患者コンディションの機械的変化が監視され得る（例えば、皮膚疾患の進行速度）。分析モジュール又はシステムが、複数回の患者通院にわたる組織性質の変化を定量化する。ＡＩアルゴリズムが、診断上関連のある情報を決定し、この情報に基づいて医師に診断を示唆するために使用される。

【0151】

導出されたタッチインタラクションデータのさらなる潜在的適用例は、臨床医にトレーニングサポートを提供するためのためのものである。例えば、臨床医診断と、それらの診断につながった厳密なタッチインタラクションダイナミクスとの中央データベースが保守される。このデータベースは、コミュニティにおける最良の診療（例えば、最も高い診断精度のタッチストラテジー）を確立するために使用され得、これは、臨床医のためのトレーニングマテリアルガイドラインを生成するために使用され得る。いくつかの例では、医師と患者との間のリアルタイムタッチインタラクションが、最良診療データベースと比較され、これは、臨床医のための対象とされるトレーニングマテリアルを生成するために使用される。

【0152】

上記で論じられたように、システムは、１つ又は複数のプロセッサを利用する処理ユニットを備える。プロセッサは、必要とされる様々な機能を実施するために、ソフトウェア及び／又はハードウェアを用いて多数のやり方で実装される。プロセッサは、典型的に、必要とされる機能を実施するようにソフトウェア（例えば、マイクロコード）を使用してプログラムされる１つ又は複数のマイクロプロセッサを採用する。プロセッサは、いくつかの機能を実施するための専用ハードウェアと、１つ又は複数のプログラムされたマイクロプロセッサと、他の機能を実施するための関連付けられた回路要素との組合せとして実装される。

【0153】

本開示の様々な実施形態において採用される回路要素の例は、限定はされないが、従来のマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含む。

【0154】

様々な実装形態では、プロセッサは、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、及びＥＥＰＲＯＭなどの揮発性及び不揮発性コンピュータメモリなど、１つ又は複数の記憶媒体に関連付けられる。記憶媒体は、１つ又は複数のプロセッサ及び／又はコントローラ上で実行されたとき、必要とされる機能を実施する１つ又は複数のプログラムでエンコードされる。様々な記憶媒体は、プロセッサ又はコントローラ内で固定されるか、或いはその上に記憶された１つ又は複数のプログラムがプロセッサにロードされ得るように移送可能である。

【0155】

開示された実施形態に対する変形形態が、図面、本開示及び添付の特許請求の範囲の検討から、請求される本発明を実践する際に当業者によって理解され、行われ得る。特許請求の範囲において、「備える／有する」という単語は、他の要素又はステップを除外せず、単数形の要素は、複数を除外しない。

【0156】

単一のプロセッサ又は他のユニットが、特許請求の範囲において具陳されている数個の項目の機能を果たす。

【0157】

いくらかの測度が、相互に異なる従属請求項において具陳されているという単なる事実は、これらの測度の組合せが、有利に使用され得ないことを指し示さない。

【0158】

コンピュータプログラムは、他のハードウェアとともに、または他のハードウェアの一部として供給される、光記憶媒体又はソリッドステート媒体など、好適な媒体上に記憶される／好適な媒体上で配布されるが、インターネット或いは他のワイヤード又はワイヤレス電気通信システムを介してなど、他の形態で配布されることもある。

【0159】

「ように適応された」という用語が、特許請求の範囲又は説明において使用される場合、「ように適応された」という用語は、「ように構成された」という用語と等価であることが意図されることに留意されたい。

【0160】

特許請求の範囲における参照符号は、範囲を限定するものと解釈されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【国際調査報告】