特許 7596313 ウェアラブルなヒューマンマシンインターフェース及びそれを使用して実行可能な方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-29

(45)【発行日】2024-12-09

(54)【発明の名称】ウェアラブルなヒューマンマシンインターフェース及びそれを使用して実行可能な方法

(51)【国際特許分類】

   G06F 3/0346 20130101AFI20241202BHJP

   G06F 3/01 20060101ALI20241202BHJP

【ＦＩ】

G06F3/0346 424

G06F3/01 514

G06F3/01 570

【請求項の数】 13

(21)【出願番号】P 2021571353

(86)(22)【出願日】2019-05-28

(65)【公表番号】

(43)【公表日】2022-08-15

(86)【国際出願番号】 EP2019063795

(87)【国際公開番号】W WO2020239202

(87)【国際公開日】2020-12-03

【審査請求日】2022-03-09

【審判番号】

【審判請求日】2023-12-07

(73)【特許権者】

【識別番号】521520717

【氏名又は名称】ヒューメイン ソリューションズ ウーゲー（ハフトゥングスベシュレンクト）

(74)【代理人】

【識別番号】110003579

【氏名又は名称】弁理士法人山崎国際特許事務所

(74)【代理人】

【識別番号】100118647

【弁理士】

【氏名又は名称】赤松 利昭

(74)【代理人】

【識別番号】100123892

【弁理士】

【氏名又は名称】内藤 忠雄

(74)【代理人】

【識別番号】100169993

【弁理士】

【氏名又は名称】今井 千裕

(74)【代理人】

【識別番号】100173978

【弁理士】

【氏名又は名称】朴 志恩

(72)【発明者】

【氏名】ガイアー、アンドレアス

(72)【発明者】

【氏名】サテー、プラタメッシュ プラサド

(72)【発明者】

【氏名】タッカー、ローレイ コスモ ヤング

【合議体】

【審判長】山澤 宏

【審判官】北元 健太

【審判官】野崎 大進

(56)【参考文献】

【文献】特開２００８－２７２５２（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１８－００２８８６１（ＫＲ，Ａ）

【文献】特表２０１６－５０７８５１（ＪＰ，Ａ）

【文献】特開２０１５－１１４１８２（ＪＰ，Ａ）

【文献】特開２００１－１１２７２５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０２３２０９５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06F3/01-3/04895

A61B5/06-5/22

(57)【特許請求の範囲】

【請求項1】

人間の手足又は動物の体の皮膚領域に取り付けられるように構成された着用要素（１３）と、
前記皮膚領域の表面と接触するように前記人間又は前記動物の体の前記皮膚領域に面する側の前記着用要素に取り付けられた磁気特性を備えた可撓層（２６）であって、磁気特性を備えた前記層（２６）は、筋、腱、靭帯、骨及び／又は器官の不随意的又は随意的な動きに基づく前記皮膚領域の前記表面の変形に、前記層（２６）が少なくとも実質的に追随することができるようになっていて、前記層（２６）の前記磁気特性は、前記皮膚領域の表面の変形により、測定可能な磁気特性の変化が生じるような構成となっていることを特徴とする、可撓層（２６）と、
前記可撓層（２６）の前記磁気特性の変化を測定する検出ユニットと、
前記可撓層（２６）の測定された前記磁気特性の変化を、ベイズ分類器、人工ニューラルネットワーク、サポートベクターマシン、有限状態マシン、隠れマルコフモデル、関連性ベクトルマシン、動的タイムワーピング法、条件付きランダムフィールド法、決定ツリー、ランダムフォレスト法、ｋ最近傍法アルゴリズム、判別分析、線形回帰、ロジスティック回帰、ガウスプロセス、パーセプトロン及び／又はアンサンブル法（ベイズ最適分類器、バギング、ブースティング）、の助けを借り、構造及び／又は運動及び／又は運動強度に割り付けるアルゴリズムを実行するのに適合した、統合された処理ユニット又は分離された処理ユニットであって、構造は人間又は動物の手足の特定の位置であり、運動は構造の時間的変化であることを特徴とする処理ユニットと、
ヒューマンマシンインターフェース（１０）とやり取りしたデータに基づいて、少なくとも１つの、割り付けられた前記構造及び／又は前記運動及び／又は前記運動強度に対応するアクションを実行することができる少なくとも１つの外部デバイスとデータを交換するための通信ユニットと、
を具備するウェアラブルなヒューマンマシンインターフェース（１０）。

【請求項2】

前記可撓層（２６）は、好ましくは配列の形態で配置される、複数の磁石（２８）を含み、前記可撓層（２６）の前記磁気特性の測定可能な変化とは、測定可能な磁場強度の変化及び／又は測定可能な磁束密度の変化であることを特徴とする請求項１に記載のヒューマンマシンインターフェース。

【請求項3】

前記着用要素（１３）と磁気特性を備えた前記可撓層（２６）とを組み合わせて１つの部品としたことを特徴とする請求項１又は請求項２に記載のヒューマンマシンインターフェース。

【請求項4】

前記検出ユニットは複数の磁力計を含むことを特徴とする請求項１乃至請求項３のいずれか１項に記載のヒューマンマシンインターフェース。

【請求項5】

さらに１つ以上の加速度センサー及び／又は回転速度センサーが前記ヒューマンマシンインターフェース（１０）に設けられ、前記センサーの出力信号を前記処理ユニットに供給することを特徴とする請求項１乃至請求項４のいずれか１項に記載のヒューマンマシンインターフェース。

【請求項6】

前記ヒューマンマシンインターフェースはスマートウォッチに統合されていることを特徴とする請求項１乃至請求項５のいずれか１項に記載のヒューマンマシンインターフェース。

【請求項7】

人間の手足又は動物の体の皮膚領域の表面の変形を検出し、検出した前記変形を構造及び／又は運動及び／又は運動強度に割り付ける方法であって、構造は人間又は動物の手足の特定の位置であり、運動は構造の時間的変化であり、
磁石の配列を、筋、腱、靭帯、骨及び／又は器官の不随意的又は随意的な動きに基づく皮膚の変形に追従するように、皮膚領域上又はその近くに配置するステップと、
前記皮膚の変形の結果として生じた前記磁石の配列の測定可能な磁気特性の変化を測定することによって、前記磁石の配列の少なくとも１つの磁気的特徴を決定するステップと、
決定された前記少なくとも１つの磁気的特徴を構造及び／又は運動及び／又は運動強度に割り付けるためのアルゴリズムを実行するステップと、
を具備し、
前記アルゴリズムは、磁気的特徴と、関連する構造及び／又は運動及び／又は運動強度との間の関係を、少なくとも１つの磁気的特徴、及び関連する前記構造及び／又は前記運動及び／又は前記運動強度からなるデータセットに基づき決定又は学習した、訓練された人工知能であり、
磁気的特徴は、ベイズ分類器、人工ニューラルネットワーク、サポートベクターマシン、有限状態マシン、隠れマルコフモデル、関連性ベクトルマシン、動的タイムワーピング法、条件付きランダムフィールド法、決定ツリー、ランダムフォレスト法、ｋ最近傍法アルゴリズム、判別分析、線形回帰、ロジスティック回帰、ガウスプロセス、パーセプトロン及び／又はアンサンブル法（ベイズ最適分類器、バギング、ブースティング）、の助けを借り、構造及び／又は運動及び／又は運動強度に割り付けられ、
さらに
割り付けられた構造及び／又は運動及び／又は運動強度に制御コマンドを割り付けるステップと、
前記制御コマンドをデバイスに送信するステップと、
前記制御コマンドに対応するアクションを、前記デバイスによって実行するステップと、
を具備することを特徴とする方法。

【請求項8】

各磁気的特徴は、測定された磁場強度の変化及び／又は測定された磁束密度からなることを特徴とする請求項７に記載の方法。

【請求項9】

前記皮膚の変形の結果として生じた前記磁石の配列の測定可能な前記磁気特性の変化を測定する前に、信号の初期化を所定の基準構造に基づいて実行することを特徴とする請求項７乃至請求項８のいずれか１項に記載の方法。

【請求項10】

測定すべき磁場強度の変化及び／又は測定すべき磁束密度は、配列の形態で好ましく配置された複数の磁力計により検出されることを特徴とする請求項８又は請求項９に記載の方法。

【請求項11】

測定すべき磁場強度及び／又は測定すべき磁束密度が、ｘ方向及び／又はｙ方向及び／又はｚ方向で検出されることを特徴とする請求項１０に記載の方法。

【請求項12】

信号の初期化のために、磁力計は、前記所定の基準構造に基づいて、各検出方向についてゼロ化されることを特徴とする請求項９に記載の方法。

【請求項13】

磁気的特徴を決定するステップに加え、加速度及び／又は回転速度を決定するステップをさらに具備することを特徴とする請求項７乃至請求項１２のいずれか１項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、新規のヒューマンマシンインターフェース、およびそのようなヒューマンマシンインターフェースで実行可能な方法に関する。

【背景技術】

【0002】

今日、人間と動物が住む環境の相互関連性及びデジタル化が進んでいるため、人間（又は動物）とあらゆる種類の電子デバイスとの間で通信が行われることがますます必要になってきている。ここで言及される可能性のあるキーワードは、モノのインターネット（ＩｏＴ）という用語であり、これは、複数のデバイスとの接続がインターネットを介して可能であるか、又は将来可能となり、それらのデバイスがユーザによって操作又は制御できるようになることを意味すると一般に理解されている。完全性を主張することなく、言及することのあるそのようなデバイスの例としては、あらゆる種類の車両、家庭用電化製品、建物の暖房システム、フィットネストレーナー、ゲームデバイス、ドローン、ロボットなどが含まれる。これらのデバイスやその他のデバイスを操作又は制御するには、人間（又は動物）がこのようなデバイスをできるだけ簡単かつ直感的に使用できるようにするためのインテリジェントなヒューマンマシンインターフェースが必要となる。

【0003】

本発明の根底にある目的は、そのような、好ましくはウェアラブルなヒューマンマシンインターフェースを提供することである。

【発明の概要】

【0004】

上記の目的を達成するために、人体又は動物の体の皮膚領域に取り付けられるように構成された、着用要素を有する、好ましくは着用可能なヒューマンマシンインターフェースを提案する。ヒューマンマシンインターフェースを、好ましくは取り外し可能に、人体又は動物の体の所望の皮膚領域に固定するのに適したあらゆる要素を、着用要素として使用することができる。本発明によるヒューマンマシンインターフェースはさらに、皮膚領域の表面と接触するように人体又は動物の体の皮膚領域に面する側に着用された要素に取り付けられる磁気特性を備えた可撓層を有する。磁気特性を備えた層の柔軟性により、この層は、皮膚領域の表面の変形に少なくとも実質的に追随できるようなものでなければならない。本発明の文脈において、「磁気特性」は、層の磁気特性が、皮膚領域の表面の変形、これに続く磁気特性を有する可撓層の変形により、測定可能な磁気特性の変化が生じるような構成であることを意味すると理解される。本発明によるヒューマンマシンインターフェースは、可撓層の磁気特性の変化を測定する検出ユニットをさらに含む。言い換えれば、検出ユニットは、少なくとも、初期状態に対して、皮膚領域の表面の変形によって引き起こされる可撓層の磁気特性の変化を測定するように構成される。最終的に、本発明によるヒューマンマシンインターフェースは、測定された磁気特性の変化を構造及び／又は運動及び／又は運動強度に割り付けるアルゴリズムを実行するのに適合した処理ユニットを含む。

【0005】

皮膚領域の表面の変形の原因は、随意的又は不随意的である可能性がある。例えば、人は随意的に手足を別の位置に動かすことができ、皮膚の特定の領域にこれに対応する変形が生じる。一方、皮膚の特定の領域の不随意的な変形は、例えば、人の病気のために（例えば、不随意の筋収縮又は器官の動きを通して）起こることがあり、その検出および割り付けにより、医師がより良い診断を行うことができる。

【0006】

本発明の文脈において、「構造」という用語は、問題の四肢の自由度を説明するために必要な関節角度の全体を意味する。言い換えれば、「構造」とは、人間又は動物の手足の特定の位置を意味する（ここで述べる例には、伸ばした脚曲げた脚、開いた手、閉じた手、伸ばした腕、曲げた腕、肘に対してねじった又はねじっていない手、等がある）。もちろん、構造は、例えば、少しだけ伸ばした腕、少しだけ閉じた手、等のような、２つの端的な構造の中間的状態を示すこともできる。

【0007】

本発明の文脈において、「運動」という用語は、構造の（特に大きさ及び速さに関する）時間的変化を意味する。

【0008】

本発明の文脈において、「運動の強度」という表現は、特に、運動を行う力を意味する。

【0009】

一般的に言えば、人体又は動物の体の随意的又は不随意的な筋肉、腱、靭帯、骨及び／又は器官の運動は、皮膚領域の表面の変形をもたらす。本発明の目的は、そのような変形を検出し、それらを、特定の状態（構造）及び／又は運動、さらに必要に応じて運動強度に確実に割り付けることである。

【0010】

ヒューマンマシンインターフェースに属する上記の処理ユニットは、統合又は分離することができる。ここでの「統合」とは、処理ユニットがウェアラブルヒューマンマシンインターフェイスに直接配置されていることを意味する。しかしながら、処理ユニットはまた、ウェアラブルヒューマンマシンインターフェースから離れて配置され、例えば、有線接続又は無線接続を介してヒューマンマシンインターフェースと通信することができる。

【0011】

磁気特性を備えた可撓層は、さまざまな形をとることができる。しかしながら、それが関心のある皮膚領域の表面に十分に合致し、その結果、生じている皮膚表面の変形、及び関連する可撓層の変形が、測定可能な磁気特性の変化をもたらすことが重要である。より正確には、磁場強度の変化及び／又は磁束密度の変化を測定することが好ましい。言い換えれば、それぞれの場合に生成される磁場が測定され、それによって、既存の磁場自体は必ずしも変化する必要はなくて、皮膚の変形により、検出ユニットから見て異なった磁場を形成する必要があるだけである。これに関して、可撓層が多くのＮＳ極対を有する極構造を含むならば有利である。このように、磁気特性を備えた可撓層の変位又はねじれにより、磁場を測定することによって外部から測定可能な磁化を行うことが可能となる。磁束密度及び／又は磁場の強さの変化を磁力計で測定できるようにするため、ここでの重要な要素は、問題となっている磁化の強さを備えた極構造である。

【0012】

本発明によるヒューマンマシンインターフェースの好ましい実施形態によれば、可撓層は、好ましくは配列の形態で配置される複数の磁石を含み、ここで、すでに述べたように、可撓層の測定可能な磁気特性とは、測定可能な磁場強度の変化及び／又は測定可能な磁束密度の変化であると理解されるべきである。ここでの「磁石」という用語は、単一の永久磁石を意味するが、電流が流れる導体、又は磁化可能な粒子又は磁化可能な粒子のグループ（例えば、磁気テープ又は磁気ストリップに配置できる）も意味する。外部に対して有効であり、検出ユニットによって検出できる磁化を、各「磁石」が、生じさせることだけが重要である。磁気特性と有利な極構造を備えた可撓層は、例えば、単純なＮＳ極構造を備えた市販の永久磁石を帯状の弾力性のあるシリコーン層に設定することによって実現することができる。もちろん、他の多くの構成も考えられ、同様に適切である。

【0013】

磁気特性を備えた可撓層は、着用する要素から分離する必要はない。本発明によるヒューマンマシンインターフェースの有利な実施形態では、実際には、着用要素と磁気特性を備えた可撓層とを適切に組み合わせて１つの部品とする。両方の要素を組み合わせたそのような部品は、腕時計にも使用されるように、例えばストラップの形にすることができる。

【0014】

本発明によるヒューマンマシンインターフェースの検出ユニットは、好ましくは、可撓層の磁気特性の変化を測定するための複数の磁力計を含む。複数の磁力計は、有利に、同様に配列の形で配置され、この配列は、複数の磁石を配置している配列に対応する必要はない。また、磁力計の数も、可撓層に含まれている磁石の数に対応する必要はない。

【0015】

可撓層の磁気特性の変化を測定することに加えて、関心のある皮膚領域の表面の変形中に生じるさらなる情報を取得することは有利である可能性がある。このため、本発明によるヒューマンマシンインターフェースの好ましい実施形態には、１つ以上の加速度センサー及び／又は回転速度センサーがさらに存在し、その出力信号を、同様に処理ユニットに供給することができる。

【0016】

関心のある皮膚領域の表面の変形の結果として生じた可撓層の検出された磁気特性の変化に基づいて、処理ユニットは、測定された磁気特性の変化を構造及び／又は運動及び／又は運動の強度に割り付ける。次に、割り付けられた構造及び／又は移動及び／又は移動強度に基づいて、処理ユニット又は下流の制御ユニットは、例えば、制御コマンドを生成することができ、その後、制御コマンドは、対応するアクションを実行するデバイスに供給される。したがって、デバイスによって実行されるアクションは、処理ユニット又は割り付けアルゴリズムによって割り付けられた少なくとも１つの構造及び／又は運動及び／又は運動強度に対応する。割り付けられた構造及び／又は運動及び／又は運動強度は、例えば、ジェスチャーであり得る。

【0017】

例えば、検出ユニットによって検出された可撓層の磁気特性の変化を、例えば、磁力計の測定結果によって、人間の手足の構造に割り付けることは、人工知能の助けを借りて有利に達成することができる。したがって、本発明によるヒューマンマシンインターフェースの処理ユニットは、可撓層の測定された磁気特性の変化を、ベイズ分類器、人工ニューラルネットワーク、サポートベクターマシン、有限状態マシン、隠れマルコフモデル、関連性ベクトルマシン、動的タイムワーピング法、条件付きランダムフィールド法、決定ツリー、ランダムフォレスト法、ｋ最近傍法アルゴリズム、判別分析、線形回帰、ロジスティック回帰、ガウスプロセス、パーセプトロン及び／又はアンサンブル法（ベイズ最適分類器、バギング、ブースティング）、の助けを借り、随意的に回転速度及び／又は加速度センサーによって提供されるデータを追加で含めて、構造及び／又は運動及び／又は運動強度に割り付けるように適合されていることが好ましい。一般に、特定の磁気特性とそれに関連する任意の構造及び／又は運動からなるデータセットが最初に記録され、次にそれらのパラメーター同士の関係がいわゆるトレーニングで決定されると言うことがでる。したがって、学習モードとトレーニングモードを区別し、十分な測定データを取得して、続いて予測モードで、単一の磁力計測定値又は複数の磁力計測定値を構造及び／又は運動及び／又は運動強度に正しく割り付けることができるようにしなければならない。

【0018】

本発明によるヒューマンマシンインターフェースの有利な実施形態ではさらに、ヒューマンマシンインターフェースとやり取りしたデータに基づいて、少なくとも１つの割り付けられた構造及び／又は運動及び／又は運動強度に対応するアクションを実行することができる少なくとも１つの外部デバイスとデータを交換するための通信ユニットが提供される。例えば、本発明によるヒューマンマシンインターフェースは、スマートウォッチの機能を本発明によるヒューマンマシンインターフェースを活用して実行することができるように、スマートウォッチに統合することができる。例えば、特定の指や手の動きをスマートウォッチの特定の機能や制御コマンドに割り付け、それらの動きを実行することでスマートウォッチを簡単かつ直感的に操作できるようにすることが考えられる。

【0019】

本発明はまた、人体皮膚領域又は動物の体の表面の変形を検出し、検出された変形を構造及び／又は運動及び／又は運動強度に割り付けるための方法を対象とし、この方法は、以下ステップを含む。

【0020】

磁石の配列を皮膚の変形に追従するように、皮膚領域上又はその近くに配置するステップ。

【0021】

皮膚の変形の結果として生じた磁石の配列の測定可能な磁気特性の変化を測定することによって、磁石の配列の少なくとも１つの磁気的特徴を決定するステップ。

【0022】

決定された少なくとも１つの磁気的特徴を構造及び／又は運動及び／又は運動強度に割り付けるためのアルゴリズムを実行するステップ。

【0023】

前述のように、皮膚領域の表面の変形は、不随意筋又は随意筋、腱、靭帯、骨及び／又は器官の動きに基づくことができる。

【0024】

本発明によるヒューマンマシンインターフェースに関連して前述したように、割り付けアルゴリズムは、磁気的特徴と、関連する構造及び／又は運動及び／又は運動強度との間の関係を、少なくとも１つの磁気的特徴、及び関連する構造及び／又は運動及び／又は運動強度からなるデータセットに基づき決定又は学習した、訓練された人工知能であることが好ましい。割り付けアルゴリズムとして、ヒューマンマシンインターフェースに関連して既に上述したアルゴリズムを使用できることが好ましい。

【0025】

「磁石の配列の磁気的特徴」という表現は、測定すべき、又は測定した磁石配列の磁気特性の変化の全体を意味し、その変化は、関心のある皮膚領域の表面に生じた変形の結果生じたものである。皮膚の変形が発生する前の初期状態を説明する別の磁気的特徴は、基準として使用することができる。特に、信号の調整又は信号の初期化は、磁気的特徴の変化の検出を開始する前に、所定の基準構造に基づいて実行することができる。例えば、そのような基準構造により、すべての測定された信号をゼロ化することができ、磁気的特徴の変化をこの基準構造から開始して測定することができる。例示的な実施形態によれば、各磁気的特徴は、測定された磁場強度及び／又は測定された磁石配列の磁束密度で構成される。

【0026】

したがって、本発明では、皮膚の変形の結果である、磁性層又は磁石配列の測定された磁気特性の変化が、所望の信号を構成する。例えば、地球の磁場や磁気オブジェクトなどの外乱による変動要因によって引き起こされる可能性のあるその他の変化は、必要に応じて測定信号から除外する必要がある。例えば、ヒューマンマシンインターフェースに磁気部品がある場合、これらはい、特定のヒューマンマシンインターフェースに対して、キャリブレーションを１回だけ実行すればよいような、いわゆるハード・ソフト・アイアンキャリブレーションによって恒久的に補正できる。ヒューマンマシンインターフェースの使用場所での地球の磁場も、このようなハード・ソフト・アイアンキャリブレーションによって恒久的に補償することができる。他の外部干渉源を相殺するために、ヒューマンマシンインターフェースの１つ以上の磁力計を、干渉源となる磁場のみを測定するように配置することができる。皮膚の変形の結果である磁性層又は磁石配列の磁気特性の変化を決定するために磁力計を使用する場合、このようにして、干渉源を相殺することができる。

【0027】

ヒューマンマシンインターフェースに関連して前述したように、測定すべき磁場強度及び／又は測定すべき磁束密度は、配列の形態で好ましく配置されている（ただし、磁石が配置されている配列に対応している必要はない）複数の磁力計によってうまく検出される。これにより、測定すべき磁場強度及び／又は測定すべき磁束密度が、好ましくは、ｘ方向及び／又はｙ方向及び／又はｚ方向で検出される。本発明による方法及び本発明によるヒューマンマシンインターフェースの好ましい例示的な実施形態では、言及したパラメーターの検出は、ｘ方向、ｙ方向、及びｚ方向で行われる。

【0028】

磁気的特徴を決定することに加えて、本発明による方法の実施形態は、加速度及び／又は回転速度を決定するステップを具備することができる。

【0029】

すでに説明したように、本発明による方法は、任意選択で、割り付けられた構造及び／又は運動及び／又は運動強度に制御コマンドを割り付けるステップ、及び制御コマンドをデバイスに送信するステップを具備する。このデバイスは、本発明によるヒューマンマシンインターフェースを備えたユニットを形成することができ、又はヒューマンマシンインターフェースから離れることができる。デバイスへの制御コマンドの送信は、有線又は無線の方法で行うことができ、例えばインターネットの使用を伴う場合がある。

【0030】

本発明によるヒューマンマシンインターフェース及び本発明による方法の例示的な実施形態を、添付の概略図を参照して、以下により詳細に説明する。

【図面の簡単な説明】

【0031】

【図1】斜め上から見たヒューマンマシンインターフェースの例示的な実施形態の透視図である。

【図2】図１のヒューマンマシンインターフェースの側面図である。

【発明を実施するための形態】

【0032】

図１及び２は、以下により詳細に説明される本発明による方法を実行するために使用した、一般に１０で付番したヒューマンマシンインターフェースを概略的に示している。図示の例示的な実施形態では、ヒューマンマシンインターフェース１０は、スマートウォッチに類似しており、ここでは長方形で中身のない、一般に、スマートウォッチモジュール（図示せず）又はマイクロコントローラ及び／又はマイクロプロセッサ（図示せず）を受け入れるのに役立つ窪み１２を囲むフレームを形作るケーシング１１を上部に有する。ストラップのような着用要素１３によって、ヒューマンマシンインターフェース１０はユーザの手首に固定することができる。着用要素１３は、異なる手首の直径に適応できるようにするために、腕時計用のストラップのようにして調整することが可能である。

【0033】

下部領域では、着用要素１３は、３つのセグメント１４、１６、及び１８を有し、これらは、連結式に互いに接続され、それぞれの場合に３×３配列の磁力計２０を受けるのに役立つ。この例示的な実施形態では、各磁力計２０は、３つの同一直線上にないホール効果センサーを含み、それにより、ｘ、ｙ、及びｚ方向の磁束密度を測定することができる。３×３配列の各磁力計は、ここでは、磁力計２０を配備した３×３個のセンサーチップ２０ａを備えたプリント回路基板２１として構成されている。各センサーチップ２０ａは、磁力計２０に加えて、加速度センサー及び回転速度センサーも含み、したがって、９軸測定を可能にする。しかしながら、ここでは、各センサーチップ２０ａの磁力計機能のみを使用した。上記のタイプ及び構成のセンサーチップは市販されている。ここで使用されている市販のセンサーチップの代わりに、純粋な磁力計を使用することも可能であり、それによって磁力計配列をもっと小さくすることができ、又は同じサイズでより多くの磁力計測定値を得ることができる。

【0034】

磁力計２０は、着用要素１３の内側に配置されており、したがって、ヒューマンマシンインターフェース１０を装着した手首の皮膚表面に面することとなる。

【0035】

２つの連結接続要素２２、２４によって、シリコーンゴムで作られた帯状の可撓層２６が、上記の着用要素１３に取り付けられ、図では、３つのセグメント１４、１６、及び１８が磁力計２０を保持し、可撓層に４×１２個の磁石２８の配列が埋め込まれている。ここで説明する例示的な実施形態で使用されるシリコーンゴムは透明である。磁石２８が埋め込まれた可撓層２６は、それが皮膚に合致するように、使用者の手首の下側に接している。磁力計２０及び磁石２８は、例えば、力センサーや圧力センサーの場合に必要であるような物理的媒体によっては結合されていない。シリコーンゴムの可撓層２６は、ヒステリシス現象を最小限に抑えるために非常に弾力性があり、同時に、皮膚の小さな変形にも追随することができるように十分に可撓性を有する。

【0036】

ここで使用される磁石２８は、直径１．５ｍｍ、高さ０．５ｍｍの円盤状のＮｄＦｅＢのネオジム永久磁石である。磁化はＮ５０で、磁化の方向は軸方向、つまり高さに平行とした。各磁石２８のＮ極は皮膚側に配置され、その結果、各磁石２８のＳ極は磁力計２０に面していた。磁石２８間の距離は、いずれの場合も５ｍｍとした。

【0037】

連結式に配置された３つのセグメント１４、１６、及び１８、これらのそれぞれは、ここでは、約２２ｍｍ（幅）×２９ｍｍ（長さ）の寸法を有し、ここには示されていないマルチプレクサ（マルチプレクサの使用は任意であり、少数のデータラインを介して多数のセンサーとの通信を可能にするためだけに役立つ）と共に磁力計２０がその上に配置され、すでに説明したがここには示されていないマイクロコントローラ、ヒューマンマシンインターフェース１０の検出ユニットが形成されている。マイクロコントローラ、例えば、スマートウォッチ又は他の電子デバイスにすでに存在するマイクロコントローラ、又はマイクロプロセッサとして使用することができる。

【0038】

検出された磁力計の測定値は、マイクロコントローラによって、ここには示されていない処理ユニットに供給され、処理ユニットは、そこに実装されたＣＮＮによって、測定された磁気的特徴を、構造及び／又は運動及び／又は運動強度へ割り付けることを実行することができる。この処理ユニットは、例えば、スマートウォッチに統合することができ、その場合、ヒューマンマシンインターフェース１０の不可欠な部分となるが、ヒューマンマシンインターフェースから離れて、例えば、図に示されている配置とワイヤレスで通信するようにすることもできる。

【0039】

これから説明する本発明による方法の例示的な実施形態では、前述のとおり、磁力計の測定値を、例えば、ヒューマンマシンインターフェース１０によるジェスチャー認識と関連させて、複数の自由に定義可能な手／指構造に割り付けることができる。

【0040】

ヒューマンマシンインターフェース１０は、腕時計のようにユーザの左手首に固定され、特定の手／指の構造に関連する磁気的特徴が、このヒューマンマシンインターフェース１０を用いて測定された。平らに開いたユーザの手を参照構造として用いた。

【0041】

使用されたヒューマンマシンインターフェース１０には、４×１２個の磁石の配列が埋め込まれたシリコーン層を、磁気特性を備えた可撓層２６として含めた。磁石２８間の相対距離は５ｍｍとした。

【0042】

この磁石配列の磁気的特徴を測定するために、９×３個の磁力計２０を持ち、３３×３個の磁力計を備えた３つのサブ配列に分割された磁力計配列を使用した。

【0043】

ヒューマンマシンインターフェース１０によって供給される磁力計の測定値を左手の個々の指の構造に割り付けるために、人工ニューラルネットワークの例示的な実施形態である、いわゆる畳み込みニューラルネットワーク（ＣＮＮ）を、ここで使用した。各磁力計２０は、ｘ、ｙ、及びｚ方向にそれに作用する磁場を検出した。したがって、測定ステップごとに８１個の測定値を処理する必要があった。つまり、各磁気的特徴を８１個の個別の値で構成した。多数のそのような測定に基づいて、予測モードのＣＮＮは、磁力計の測定値から特定のクラスを予測することができる。ここでのそのようなクラスは、個別のジェスチャーに対応し、これにより、各ジェスチャーは異なる磁気的特徴を持つはずである。したがって、ここで説明するケースでは、割り付け問題はマルチクラス分類問題として定式化された。

【0044】

ＣＮＮの使用は、本発明による方法のための条件ではない。あるいは、例えば、サポートベクターマシン、ランダムツリーフォレスト、又はすでに上で述べたさらなる方法又はアルゴリズムを使用することも可能である。しかしながら、ＣＮＮの使用は非常に優れた結果をもたらし、ＣＮＮは大量のデータに対して非常に容易に拡張できるため、有利であるように思われる。さらに、ＣＮＮを使用すると、特にモバイルアプリケーションやＩｏＴ（モノのインターネット）アプリケーションの使用目的の場合に、分類の精度とリソース効率の点で有利な、学習すべきパラメーターの特にコンパクトな表現が可能となる。さらに、ＣＮＮは平行移動、回転、スケール、強度の分散に対してロバストであるため、一方ではＣＮＮの有効性を高めるために、自由パラメーターを最適化するための大きなデータプールを生成でき、他方では皮膚の変形と関連する構造との間での学習された関係の一般化を、複数のユーザ及びそれらの個々の特性へと、容易に転送することができる。

【0045】

ＣＮＮは一般に、人工知能に属するアルゴリズムの１つであり、人工ニューラルネットワークによってより正確に監視された学習である。磁力計の測定値はＣＮＮの入力として機能し、関連する任意のジェスチャーがＣＮＮの出力として記録又は定義される。磁力計の測定値（ＣＮＮの入力）と関連する任意のジェスチャー（ＣＮＮの出力）で構成されるデータセットが記録又は準備され、いわゆるトレーニングによりＣＮＮの自由パラメーターを最適化することによってこれらのパラメーターの関係が決定される。

【0046】

記載した例示的な実施形態では、個々のトレーニングの例は、手の定性的構造、すなわち、いわゆるワンホットベクトルとして符号化された明確なクラス、及び手の定性的な構造を維持しながら、ｘ方向、ｙ方向、ｚ方向で検出された磁力計測定値の全体で構成される。

【0047】

使われているヒューマンマシンインターフェース１０における３×９配列として磁力計２０が配置されているので、それぞれの場合に、１回の測定についていえば、ｘ、ｙ、及びｚ方向の磁気特徴を測定するための２７個の支持点が得られる。したがって、個々の磁力計の測定から得られ、皮膚の変形から生じる可撓層２６の磁気的特徴は、ＣＮＮで処理するためのマトリックスとして２７個の支持点を有する皮膚の変形の形状的測定として集約することができる。すでに上述したように、トレーニングの例は、関連するクラス、つまり関連する構造を示すそれぞれのラベルによって完了する。

【0048】

したがって、記載した例示的な実施形態では、トレーニングデータセットは、（ｍ、ｎＣ、ｎＨ、ｎＷ）次元の行列Ｘであって、ここで、ｍはトレーニング例の数、ｎＨはｙ方向の磁力計の数（磁力計配列の高さ）、ｎＷはｘ方向の磁力計の数（磁力計配列の幅）、ｎＣはチャネル数（ｘ、ｙ、ｚ方向）である、行列Ｘと、（ｍ、ｎＧ）次元の行列Ｙであって、ここで、ｍはトレーニング例の数、ｎＧはジェスチャーの数である、行列Ｙとで構成される。

【0049】

磁気磁気的特徴の８１個の測定値の各々は、それぞれの場合に、その算術平均と行列Ｘから決定された標準偏差（いわゆるＺスコア標準化又はＺ変換）によって標準化した。トレーニングモードで測定値から決定されたこれらの算術平均と標準偏差は、後で、つまりトレーニングが完了したときに、標準化のために磁気特徴の新しい測定値の信号調整の予測モードで使用することもできる。

【0050】

この実験の状況において、ｍ＝１８，０００のトレーニング例（トレーニングデータセットを形成）、３，３７５のテスト例（テストデータセットを形成）、１，１２５の検証例（検証データセットを形成）、及びｎＧ＝６ジェスチャーについて、ＣＮＮを訓練するために最初に研究した。ＣＮＮは、トレーニングデータセットのみを使用してトレーニングされた。テストデータセットの評価は、ＣＮＮの予測精度と一般化可能性の観点から最適なパフォーマンスを達成するために、ＣＮＮを評価及び微調整するのに役立った。検証データセットは、ＣＮＮがこれまで知られていなかったデータセットを実際に確実に分類、つまり割り付けることができるようにするために、最終評価の最後に使用される。

【0051】

ＣＮＮのトレーニングは、いわゆる順方向伝搬と逆方向伝搬で構成される。順方向伝搬は、計算の順分岐、つまり磁力計の測定値とＣＮＮの瞬間的なパラメーターに基づくクラスの予測を表す。次に、コスト関数を使用して、ＣＮＮの自由パラメーターが逆方向伝搬、つまり逆分岐で変更されるため、コスト関数の値が小さくなり、特に最小化される。ここで説明する例示的な実施形態では、コスト関数は、いわゆるカテゴリ間クロスエントロピー損失として定式化された。したがって、逆方向伝搬は、ＣＮＮの自由パラメーターを決定するための最適化方法である。使用されたＣＮＮは、バッチサイズ１６で、５０エポックでトレーニングされ、つまり、トレーニングデータセット全体が５０回の最適化のためにＣＮＮに渡され、これにより、数値安定性の理由から、１６のトレーニングデータセットが常に同時にＣＮＮに供給される。Ａｄａｄｅｌｔａ最適化手法は、次のパラメーターで使用された。すなわち、初期、適応学習率ｌＲ＝１．０、Ａｄａｄｅｌｔａ減衰係数ｒｈｏ＝０．９５、曖昧度(ｆｕｚｚ ｆａｃｔｏｒ) ｅｐｓｉｌｏｎ＝１ｅ－０７、初期学習率減衰係数 減衰＝０．０である。

【0052】

使用されるＣＮＮのアーキテクチャを、以下の表１に示す。

【0053】

【表1】

【0054】

これにより、畳み込み層の及び完全に接続された層のフィルターカーネルが、Ｇｌｏｒｏｔの一様分布（Ｘａｖｉｅｒ）法によって初期化された。さらに、畳み込み層のフィルターカーネルは、重み係数が０．００１のＬ２ノルムで正規化された。最後に、畳み込み層のフィルターカーネルには、ゼロに初期化されていたバイアスが含まれている。

【0055】

結論として、磁力計の測定値は、次の精度すなわち、トレーニング９９．３４％、テスト９９．５３％、検証９９．２９％で、正しいクラスに分類された。

【0056】

記載した例示的な実施形態では、このように訓練されたＣＮＮの予測モードでは、ヒューマンマシンインターフェースでのすべての磁力計の単一の測定ステップが、静的ジェスチャーを識別するのには十分である。ただし、静的状態だけでなく、磁気的特徴の時間的変化も測定することが可能であり、そのためには複数の測定ステップが必要になる。その評価には、ジェスチャーの分類、すなわち、継続的な指の動きを識別するために、いわゆるリカレントニューラルネット（ＬＳＴＭ[長短期記憶]又はＧＮＮ[ゲートニューラルネットワーク]）を使用できる。

【0057】

ウェアラブルヒューマンマシンインターフェース１０は、腕時計のようにストラップで固定されているので、検出ユニットのセンサーモジュールは、磁束密度の変化を介して手首の皮膚の変形を記録する。より正確には、手と指の運動の動作によって、皮膚は筋肉、靭帯、腱、骨の運動によって変形する。磁石２８が埋め込まれた可撓層２６は、この変形に追従し、その結果、磁力計２０に対する磁石２８の相対的な変位及び回転が生じる。したがって、手と指の運動の結果としての磁束密度のこれらの相対的な変化は、磁力計の測定値から再構築することができる。トレーニングフェーズは通常、計算量が多く、人工ニューラルネットワーク用に最適化された強力なコンピューター又は処理装置で有利に実行される。

【0058】

しかしながら、トレーニングを受けたＣＮＮは、非常に計算効率の高い方法で予測を行うことができる。トレーニングフェーズで得られる多くのデータセットにより、高精度の予測が達成されるだけでなく、その高度なロバスト性も達成される。予測モードは、信号調整のプロセスを除いて、いわゆる順伝播のみを含むため、トレーニングと比較して非常に予測の計算効率が高く、例えばスマートフォンや同様のモバイルデバイスでも実行できる。具体的に記載されている例では、ジェスチャーは、サンプリング頻度に応じて、８１個所の磁力計測定によって非常に迅速に識別でき、これらの測定は、トレーニングによって最適化されたＣＮＮを介して１ステップで送信される。次に、識別されたジェスチャーに割り付けられた制御信号を、処理ユニット又は下流の制御ユニットによって、制御すべきデバイスに直接送信することができる。

【図1】

【図2】