特許 7662246 手指動作認識デバイス、当該デバイスを用いた指文字出力方法および仮想空間内操作用手袋型デバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-04-07

(45)【発行日】2025-04-15

(54)【発明の名称】手指動作認識デバイス、当該デバイスを用いた指文字出力方法および仮想空間内操作用手袋型デバイス

(51)【国際特許分類】

   G06F 3/01 20060101AFI20250408BHJP

【ＦＩ】

G06F3/01 514

【請求項の数】 2

(21)【出願番号】P 2024164900

(22)【出願日】2024-09-24

【審査請求日】2024-09-24

【早期審査対象出願】

(73)【特許権者】

【識別番号】519361036

【氏名又は名称】岡井 暢之

(74)【代理人】

【識別番号】100151208

【弁理士】

【氏名又は名称】植田 吉伸

(72)【発明者】

【氏名】岡井 暢之

【審査官】井上 香緒梨

(56)【参考文献】

【文献】特開平０４－２２２０１４（ＪＰ，Ａ）

【文献】特開２０１５－０８８１６１（ＪＰ，Ａ）

【文献】特開平０６－３３７６２７（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１２－０１２９５３４（ＫＲ，Ａ）

【文献】特開２０２０－０１３５９９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／００６３７９４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ３／０１

Ｇ０６Ｆ３／０４８－３／０４８９５

(57)【特許請求の範囲】

【請求項1】

予め定められた複数種類の人の動作をセンサーにより検知する動作検知部と、
前記人の動作に対応する指文字を入力するための指文字情報を外部機器に出力する指文字情報出力部と、
を有しており、
前記動作検知部は、手の５本指に装着されて、前記５本指の動作を検知することで指文字として認識した上で該指文字の決定又は取り消しを行う手袋型デバイスを有し、
前記動作検知部は、足に装着した加速度センサーを用いて予め定められた前記足の動作を検知することで前記指文字の決定又は取り消しを行う脚部取付型デバイスをさらに有しており、前記指文字情報出力部は、前記足の動作が検知されたときに前記指文字情報を外部機器に出力することを特徴とする手指動作認識デバイス。

【請求項2】

請求項１に記載の手指動作認識デバイスにおいて、前記手袋型デバイスのセンサーは、前記５本の各指の背側の関節位置に装着される第１ないし第５センサー群と、手の掌または手の甲のいずれかの位置に装着される第６センサーと、手首の位置に装着される第７センサーと、を有しており、前記第１ないし第５センサー群は手指の曲げ伸ばしを感知する曲げセンサーであり、前記第６センサーは前記手の傾きを感知するセンサーであり、前記第７センサーは前記手の移動方向を感知するセンサーであることを特徴とする手指動作認識デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、手指の動作を認識する手指動作認識デバイス、そのデバイスを用いた指文字出力方法および仮想空間（メタバース等）内で操作者が自身の分身（アバター）を操作するための手袋型デバイスに関する。特に、手袋型のデバイスを用いて手や指の形や向きを検出し、これを指文字として認識する技術に関する。

【背景技術】

【0002】

従来、手指の動作を検出してそれを入力情報として利用する技術が知られている。例えば、特許文献１では、手袋型デバイスを用いて手指の動きを検出する技術が開示されている。また、特許文献２では、手指の動きを元に特定の動作を認識する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平６－１３８８１５号公報

【文献】特開２０１４－３８５４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、視覚障がい者と健常者のコミュニケーションは、点字や音声による出力を利用したものであり、手や指の形状や動きを認識する技術も研究されているものの、これらのコミュニケーションツールは、全ての人が使いこなすためには、点字専用のデバイスを使用したり、音声出力の技術を習得する必要があった。特に、デバイスを使用して点字や指文字などを出力した後に、意図する点字や指文字とは異なる場合には、それらの点字や指文字を一旦取り消して、正しい点字や指文字を再入力することは煩雑であった。

【0005】

そこで、本発明の目的は、指を開く、曲げる、添える等の指や手の動作を通じてデバイスを利用することでそれらの動作を指文字に変換して、変換した指文字の決定または取り消しなどの付随的な操作も可能であり、さらにその変換結果をパソコンやスマートフォンなどの外部機器において指文字を介した音声による出力を可能にすることで視覚障がい者と健常者との間で円滑なコミュニケーションを図ることのできる手指動作認識デバイスおよびそのデバイスを用いた指文字出力方法を提供することとする。

【課題を解決するための手段】

【0006】

この目的を達成するために、本発明は予め定められた複数種類の人の動作をセンサーにより検知する動作検知部と、前記人の動作に対応する指文字を入力するための指文字情報を外部機器に出力する指文字情報出力部と、を有しており、前記動作検知部は、手の５本指に装着されて、前記５本指の動作を検知することで指文字として認識した上で該指文字の決定又は取り消しを行う手袋型デバイスを有し、前記動作検知部は、足に装着した加速度センサーを用いて予め定められた前記足の動作を検知することで前記指文字の決定又は取り消しを行う脚部取付型デバイスをさらに有しており、前記指文字情報出力部は、前記足の動作が検知されたときに前記指文字情報を外部機器に出力することを手指動作認識デバイス。

【0007】

また、手袋型デバイスのセンサーは、５本の各指の背側の関節位置に装着される第１ないし第５センサー群と、手の掌または手の甲のいずれかの位置に装着される第６センサーと、手首の位置に装着される第７センサーと、を有して、第１ないし第５センサー群は手指の曲げ伸ばしを感知する曲げセンサーであり、第６センサーは手の傾きを感知するセンサーであり、第７センサーは手の移動方向を感知するセンサーとすることもできる。

【発明の効果】

【0012】

本発明により、指や手の動作を検出して、それを指文字として認識した上で、それらの動作を指文字に変換して、変換した指文字の決定又は取り消しなどの付随的な操作も可能であり、さらに外部機器に接続することで指文字を介した音声による出力もできるので、視覚障がい者と別空間の人間との間でも円滑なコミュニケーションを図ることができるという効果を奏する。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施形態である手指動作認識デバイス１の模式構成図である。

【図2】第１実施形態の手袋型デバイス２０の正面図である。

【図3】第１実施形態の手袋型デバイス２０の背面図である。

【図4】第１実施形態の手袋型デバイス２０の左側面図である。

【図5】第２実施形態の脚部取付型デバイス２８の斜視図である。

【図6】第２実施形態の脚部取付型デバイス２９の斜視図である。

【図7】本発明の第１実施形態の指文字出力方法のフローチャートである。

【発明を実施するための形態】

【0014】

以下に、本発明に係る実施の形態について添付図面を参照しながら詳細に説明する。以下では、全ての図面において同様の要素には同一の符号を付し、重複する説明を省略する。また、本文中の説明においては、必要に応じそれ以前に述べた符号を用いるものとする。

【0015】

本発明の一実施形態である手指動作認識デバイス１の模式構成図を図１に示す。本発明に係る手指動作認識デバイス１は、図１に示す様に大きく分けて、人（操作者）の動作を検知するための動作検知部２および動作検知部２により検知された動作に対応する指文字としての情報を外部機器ＵＴへ出力するための指文字情報出力部３から形成されており、配線Ｈ１を介して互いに接続されている。また、指文字情報出力部３は、配線Ｈ２，Ｈ３を介してスマートフォン，パソコン，タブレット端末などの外部機器ＵＴと接続することで、指文字のデータを介して音声として出力することができる。さらに、指文字情報出力部３は、点字プリンタや点字ディスプレイなどの点字出力機器と接続することで指文字としての情報を点字として出力することもできる。以下、動作検知部２および指文字情報出力部３の詳細について説明する。

【0016】

＜動作検知部２＞
動作検知部２は、予め定められた複数種類の人の手や足などの動作をセンサーにより検知する、本発明の手指動作認識デバイスを構成する要素である。動作検知部２が、図１に示す様な手袋型デバイスの場合、人（操作者）の手の５本指の動きを検知して、当該手袋型デバイスに設けられた各種センサーから送られてくる電気信号をデータとして収集する。

【0017】

データとして収集された電気信号は、無線または有線の通信手段を介して後述の指文字情報出力部へ送信される。また、動作検知部２は前述の手袋型デバイスの他に、予め定められた足の動作を大腿部や足首部などに装着したセンサーを用いて検知する脚部取付型のデバイスを使用することもできる。動作検知部２の第１実施形態である手袋型デバイス２０および第２実施形態である脚部取付型デバイス２８，２９の詳細について以下に説明する。

【0018】

（手袋型デバイス２０）
動作検知部の第１実施形態である手袋型デバイス２０の正面図を図２、同手袋型デバイス２０の背面図を図３、同手袋型デバイス２０の左側面図を図４にそれぞれ示す。動作検知部の第１実施形態である手袋型デバイス２０は、繊維強化プラスチックやケブラー繊維など耐久性を備えた素材で作られた手袋本体に、各種センサーが装着されることで手の５本指の動作を高精度で検知する機能を備えたデバイスである。これらの手袋本体に装着された各種センサーの働きによって、例えば、曲げセンサーは指の曲がり具合を測定し、加速度センサーは手全体の動きを捉えることで、指の曲げ伸ばしや手首の動きなど微細な動作を電気信号の情報として正確に捉えることができる。ここで、曲げセンサーは例えば表面にひずみゲージなどの抵抗をそれぞれ形成した２枚の薄板状の弾性体を貼り合わせたものである。当該弾性体が曲がることで表面側と裏面側とに発生するひずみゲージの寸法変化を抵抗値として検出することにより弾性体の曲がりの程度を検出できる。また、加速度センサーは、例えば内部におもりとセンサー素子を備えて、おもりが動くとセンサー素子に圧縮力や伸張力が生じる。これらの圧縮力や伸張力による共振周波数の変化を所定の算出式を用いて、物体に生じる振動、傾き、直線運動として検出できる。

【0019】

手袋型デバイス２０は、図２ないし図４に示す様に複数のセンサーが分散して装着された手袋型のデバイスであり、内部に手を挿入することで使用することができる。手袋型デバイス２０に装着されるセンサーは、図２ないし図４に示す様に、少なくとも、５本の各指（母指、示指、中指、環指および小指）の背側の関節位置に装着される第１ないし第５センサー群２１～２５，手の掌または手の甲の位置に装着される第６センサー２６および手首の位置に装着される第７センサー２７から形成されている。

【0020】

第１ないし第５センサー群については、図２に示す様に第１センサー群２１が手の母指（いわゆる親指）、第２センサー群２２が手の示指（いわゆる人差し指）、第３センサー群２３が手の中指、第４センサー群２４が手の環指（いわゆる薬指）、第５センサー群２５が手の小指にそれぞれ装着されている。さらに、各指に装着される各センサー、各指の関節位置ごとに３種類のセンサーに分かれている。

【0021】

例えば、母指に装着される第１センサー群２１は、図２に示す様に母指の第１関節（最先端部の関節）の位置に装着される第１上端センサー２１Ａ、母指の第２関節の位置に装着される第１中央センサー２１Ｂ、母指の第３関節の位置に装着される第１下端センサー２１Ｃの計３種類のセンサーに分かれている。これら第１上端センサー２１Ａと第１中央センサー２１Ｂと第１下端センサー２１Ｃは、図２に示す様に互いが配線Ｗ２１によって接続されており、配線Ｗ２１は後述の指文字情報出力部３と接続している配線Ｈ１につながっている。

【0022】

そのため、母指の曲げ具合をセンサーごとに検知して、図２に示す配線Ｈ１を介して接続された後述の指文字情報出力部３へ電気信号として送信される。なお、その他の示指、中指、環指および小指の４本の指に装着されている第２ないし第５センサー群２２～２５ついても同様の構成であるので、詳細な説明は割愛する。

【0023】

なお、第１ないし第５センサー群２１～２５に適用するセンサーは、各指の背側（爪側）関節部分に配置することで、指の曲げ具合（どの指がどの程度曲がっているか）を検知できる曲げセンサーとすることが好ましい。また、母指に装着される第１センサー群２１は、図２に示す様に第１上端センサー２１Ａ、第１中央センサー２１Ｂ、第１下端センサー２１Ｃの計３種類すべてのセンサーを背側（爪側）に装着した場合を例示しているが、母指の側方や腹側（手の掌側）に装着することで、装着された曲げセンサー内のひずみゲージが変形することで抵抗値が変化して、母指の曲げの程度、すなわち母指を外側へ開く、示指に添えるなどの細やかな動きも検知することができる。さらに、指の関節位置に曲げセンサーを装着することで、例えば示指（人差し指）を９０度に曲げた場合、特定の指文字を表すジェスチャーとして予め設定しておくことで、指の曲げ具合で特定の指文字に変換できる。

【0024】

第６センサー２６は、図３および図４に示す様に手の掌（手のひら）の位置に装着することで手（手首から先の部分）の傾きや捻りなどの状態を検知するためのセンサーである。第６センサー２６は、後述の第７センサー２７と配線Ｗ２６を介して接続されている。

【0025】

また、第６センサー２６は、例えば、指を曲げないで手だけを動かした状態を特定の入力内容に対する決定や取り消しなどを表すジェスチャーとして事前に設定することで、手首から先の部分を前に倒したり、後ろへ反らしたりする手の傾きや手首から先の部分を左右方向に回転させたりする捻りなどの動作を指文字の入力や出力などの一機能として担わせることができる。

【0026】

そのため、センサーの種類は曲げセンサーや加速度センサーとすることが好ましい。なお、図３および図４に示す第６センサーは手の掌の位置に装着している場合を示しているが、手の甲の位置に装着しても構わない。

【0027】

第７センサー２７は、図３および図４に示す様に手首部分に装着することで手（または前腕部）を手前側（操作側）もしくは奥側（相手側）に倒す動作や手（または前腕部）を左側や右側へ曲げる動作を検知するセンサーである。第７センサー２７は、前述の第６センサー２６と配線Ｗ２６を介して接続されており、同時に別個の配線Ｗ２７を介して指文字情報出力部に接続している配線Ｈ１とつながっている。なお、第７センサーの種類は加速度センサーや振動センサーとすることが好ましい。ここで、振動センサーとは、例えば内部に２つの重りに挟まれた圧電素子を備えたセンサーである。物体が振動することで２つの重りの動きに応じて変形した圧電素子が電気信号を出力して、計測された電圧から物体の振動を検知できるセンサーである。

【0028】

以上より、手袋型デバイスには前述した各種センサーが装着されており、５本の各指の曲げ伸ばしや手首の上下左右方向の動作を電気信号の情報として捉えることができる。そのため、例えば、前述したように親指（母指）を開く、添える、曲げるなどの細かな操作に基づいて、指文字の５０音に対応する文字，数字，句読点などの表示に加えて、文字の決定又は取り消しなどの一連のステップを単体の手袋型デバイスのみで対応することができる。

【0029】

（脚部取付型デバイス２８，２９）
動作検知部の第２実施形態の脚部取付型デバイス２８を大腿部に巻き付けて固定した状態の斜視図を図５、同脚部取付型デバイス２９を足首部に固定した状態の斜視図を図６にそれぞれ示す。動作検知部の第２実施形態である脚部取付型デバイスは、加速度センサーなど各種センサーを備えており、人の脚部に固定して使用するデバイスである。例えば、図５に示す様にベルト式部品を大腿部に巻き付けて固定するタイプ（脚部取付型デバイス２８）や図６に示す様にリング状部品を足首部に取り付けるタイプ（脚部取付型デバイス２９）がある。

【0030】

また、脚部取付型デバイス２８は図５に示す様に配線Ｗ２８を備えており、指文字情報出力部３に接続している配線Ｈ１とつながっている。脚部取付型デバイス２９も同様に図６に示す様に配線Ｗ２９を備えており、指文字情報出力部に接続している配線Ｈ１とつながっている。さらに、脚部取付型デバイス２８，２９は、図５および図６に示すように大腿部や足首部に取り付けることで、足の振り上げ（または振り下ろし）や蹴り上げなどの動作を正確に検知する機能を有したデバイスである。これらデバイスに装着された各種センサーの働きによって、例えば加速度センサーは大腿部の上下方向の瞬間的な動作を把握することで、そのような動作を電気信号の情報として正確に捉えることができる。

【0031】

以上より、前述の手袋型デバイス２０に加えて、脚部取付型デバイスを併用することにより、例えば、手袋型デバイスを用いて表示した指文字に対して、脚部取付型デバイスを装着した足の振り上げなどの動作によって、文字の決定又は取り消しなどのステップを個別に対応できる。そのため、片方の手足（例えば、右手と右足）で指文字の表示から確定までの一連のステップを行いながら、もう片方の手（例えば、左手）を利用して、スマートフォン，パソコン，タブレット端末などの外部機器を利用したメール送信などの機器操作を行うこともできる。

【0032】

＜指文字情報出力部３＞
指文字情報出力部３は、前述の動作検知部で検知された人の動作に対応する指文字の情報を生成し、外部機器に出力する装置である。動作検知部から送られてきたデータを解析し、事前に定められた動作と指文字の対応関係に基づいて指文字の情報を生成し、それを外部機器に送信する。

【0033】

指文字情報出力部３は、動作データの解析、動作と指文字のマッピング、指文字情報の生成を行い、有線または無線の手段を通じて指文字データとして外部機器に送信する。なお、指文字情報出力部３は、図１に示す様に動作検知部２と別個独立した装置として図示されているが、動作検知部２の前述の手袋型デバイスや脚部取付型デバイスなどのデバイス中に埋め込むことで一体化することもできる。

【0034】

次に、手指動作認識デバイスを用いた指文字出力方法の一実施形態について説明する。本発明の手指動作認識デバイスを用いた指文字出力方法は、主に以下の第１ないし第９ステップから形成されている。
・第１ステップ：手指の動作に基づいたセンサーの動作検知
・第２ステップ：動作検知された電気信号の送信
・第３ステップ：電気信号の受信有無の確認
・第４ステップ：電気信号の解析に基づく対応する指文字の選定
・第５ステップ：電気信号の解析による指文字選定の確認
・第６ステップ：外部機器における選定された指文字の音声出力
・第７ステップ：選定された指文字の確認
・第８ステップ：選定された指文字の確定
・第９ステップ：外部機器への指文字データの音声，文字，点字による出力
以下、動作検知部として図２ないし図４に示す手袋型デバイスや図５や図６に示す脚部取付型デバイスを使用した場合の第１ないし第９ステップの詳細内容について図面を用いて説明する。本発明の一実施形態である手指動作認識デバイスを用いた指文字出力方法のフローチャートを図７に示す。

【0035】

（第１ステップ：手指の動作に基づいたセンサーの動作検知）
まず、人（操作者）が手袋型デバイスを片方の手に装着する。この手袋型デバイスには、曲げセンサーや加速度センサーなど複数の種類のセンサーが装着されており、手や５本指の動作を検知する（図７に示す第１ステップＳ００１）。

【0036】

曲げセンサーは、各指の関節の曲げ方向や曲げ角度を正確に検知して、指の動きに応じたセンサー内のひずみゲージの抵抗値の変化を捉えることで指の屈曲具合を測定する。また、加速度センサーは手の移動方向や移動速度を検知して、手の動きに伴う加速度を計測することで動作の速さや方向を判別する。

【0037】

なお、これらのセンサーの出力は連続的に監視することで必要に応じてキャリブレーションを行って、測定精度の維持を図ることができる。例えば、初期使用時や一定時間ごとの再キャリブレーションにより、センサーのずれや誤差を修正し、常に正確なデータが得られるようにする。

【0038】

（第２ステップ：動作検知された電気信号の送信）
第２ステップでは、前述の第１ステップで検知された電気信号が手袋型デバイス２０から指文字情報出力部３へ送信される（図７に示す第２ステップＳ００２）。手袋型デバイス２０は、有線または無線の通信手段を介して、電気信号を迅速かつ確実に指文字情報出力部へ送信できる。

【0039】

具体的には、無線通信としてＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉ－Ｆｉ（登録商標）を利用することで、ケーブルなどの有線通信による物理的な制約を受けることなく迅速な情報送信が可能となる。また、有線通信としてＵＳＢなどの記録媒体を利用することで、高速かつ安定した通信が可能となる。

【0040】

（第３ステップ：電気信号の受信有無の確認）
指文字情報出力部３は、手袋型デバイス２０からの電気信号の受信の有無を確認する。もし、指文字情報出力部３が電気信号を受信できていない場合には、手袋型デバイス２０に対して、電気信号を再送信するための指令を送る（再送信指令：第３ステップＳ００３）。

【0041】

この際、受信信号のタイムスタンプやセンサーの識別情報も一緒に送信されることで、信号の発生時刻や発信元を特定することが可能となる。このようにして、手袋型デバイス２０から送信された信号が指文字情報出力部３にて適切に管理・処理され、次のステップにスムーズに移行できるようにする。

【0042】

なお、通信の信頼性を高めるために、手袋型デバイス２０と指文字情報出力部３間の通信には暗号化技術のようなセキュリティプロトコルを導入することもできる。これにより、第三者による電気信号の傍受や改ざんを防止して、機密性の高い通信が保証される。このようにして、第２ステップでは手袋型デバイスから指文字情報出力部３へ電気信号が送信され、その信号が正確かつ安全に受信されることが確保される。

【0043】

（第４ステップ：電気信号の解析に基づく対応する指文字の選定）
（第５ステップ：電気信号の解析による指文字選定の確認）
第４および第５ステップでは、前述の第２ステップで受信した電気信号を指文字情報出力部３にて解析する（図７に示す第４ステップＳ００４）ことで、その電気信号に対応した指文字を選定する（図７に示す第５ステップＳ００５）。指文字情報出力部３は、受信した電気信号を解析するための複数のプロセスを含む。この解析プロセスは、信号前処理プロセス、特徴抽出プロセス、および指文字対応プロセスから構成される。

【0044】

まず、信号前処理プロセスは、受信した電気信号に対してノイズ除去や正規化が行われる。ノイズ除去は、外部環境やデバイス自体のノイズを除去するためにフィルタリング技術が使用される。例えば、ローパスフィルタなどを適用することで、電気信号の高周波成分や低周波成分を除去して、電気信号の品質を向上させる。正規化は、センサーから得られる電気信号の範囲やスケールを統一するために行われ、解析の精度を高めるために重要な処理である。

【0045】

次に、特徴抽出プロセスにおいて、前処理された電気信号から重要な特徴が抽出される。特徴抽出には、各指の屈曲角度、手の動きの速度や方向、指先にかかる圧力などが含まれる。これらの特徴は、機械学習アルゴリズムや既存の指文字認識技術を使用して解析される。例えば、ニューラルネットワークなどのアルゴリズムを用いて、抽出された特徴から対応する指文字を高精度に識別することができる。なお、図７に示す第４ステップＳ００４にて解析した結果、第５ステップＳ００５にて対応する指文字が選定できなかった場合には、指文字情報出力部３に対して電気信号を再解析するための指令を送る（再解析指令）。

【0046】

（第６ステップ：外部機器における選定された指文字の音声出力）
最後に、指文字対応プロセスにおいて、抽出された特徴を基に事前にトレーニングされたモデルを使用して対応する指文字を選定する。このモデルは、特定の各指の屈曲パターンや手の動きが特定の指文字（指文字）に対応する事前のトレーニングがなされている。

【0047】

例えば、機械学習技術を利用して多量のデータを基に精度の高いモデルが構築される。これにより、操作者の手や指の動作に対応する指文字を迅速かつ正確に選定することができる。その後、選定された指文字は指文字情報出力部と有線または無線の通信手段を介して接続しているパソコンやスマートフォンなどの外部機器のスクリーン上に表示されると同時に、外部機器の読み上げ機能を備えたアプリケーション（アプリ）およびスピーカーを利用して音声としても出力される（図７に示す第６ステップＳ００６）。

【0048】

（第７ステップ：選定された指文字の確認）
第７ステップでは、第５ステップで選定された指文字を最終的に決定するために、操作者が確認動作を行う（図７に示す第７ステップＳ００７）。具体的には、第５ステップで選定された指文字を指文字情報出力部３に接続している外部機器に表示すると同時に、外部機器の読み上げ機能を備えたアプリケーション（アプリ）およびスピーカーを利用して音声としても出力される。その音声出力された指文字が操作者の意図する指文字と合致すれば、操作者は手や指を用いた特定の動作を行うことで確定される。この確認動作は、例えば、手を前方へ倒す動作，手（腕）を上げる動作，手（腕）を体の外側へ移動する動作など予め定められた動作パターンによって、選定された指文字を決定する判断を下すことができる。

【0049】

もし、選定された指文字が操作者の意図する指文字とは異なる場合には、その指文字を取り消すための動作も行うことができる（図７に示す第７ステップＳ００７）。例えば、動作検知部として手袋型デバイス２０を使用する場合には、手を手前側に反らせる動作，手（腕）を下げる動作，手（腕）を体の内側へ移動する動作など特定の動作をすることで、選定された指文字を取り消すための電気信号を送信することができる。

【0050】

また、動作検知部２として脚部取付型デバイスを使用する場合には、大腿部を振り上げる動作や（ボールなどを）蹴り上げる動作を行うことで、選定された指文字を取り消すための電気信号を送信することもできる。これにより、誤った指文字が決定されることを防ぎ、再度の正確な指文字の入力が可能となる。再度の指文字入力を行った後、その再入力した指文字を外部機器のスクリーン上に再表示すると同時に音声として出力するように指令を送る（再表示指令）。

【0051】

（第８ステップ：選定された指文字の確定）
操作者が確認動作を行うと、手袋型デバイスはその動作に対応する電気信号を再度指文字情報出力部に送信する（図７に示す第８ステップＳ００８）。この電気信号は、先に選定された指文字を最終的に確定するためのものであり、確認動作が適切に行われたことを示す。この際、確認動作が正しく検知されるよう、手袋型デバイスは高い感度で動作を検知し、誤認識を防止するためのフィルタリング処理が施される。

【0052】

確認動作が正しく行われることにより、選定された指文字が最終的に確定されると、その指文字は次の第５ステップにて外部機器へ出力されるための準備をする。このように、第４ステップでは、選定された指文字が確認動作を通じて最終的に決定されるプロセスが詳細に管理されている。

【0053】

（第９ステップ：外部機器への指文字データの音声，文字，点字による音声出力）
第９ステップでは、第８ステップで最終確定された指文字データが指文字情報出力部から外部機器へ文字として表示されると同時に音声，文字，点字などいずれかの手段としても出力される（図７に示す第９ステップＳ００９）。この出力ステップは、指文字情報出力部と外部機器の間で有線または無線の通信手段を介して行われる。外部機器としては、コンピュータ、スマートフォン、タブレット、さらには各種のインターネット接続デバイスなど、多種多様なデバイスが含まれる。

【0054】

無線通信手段としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ－Ｆｉ（登録商標）が一般的に使用される。Ｂｌｕｅｔｏｏｔｈ（登録商標）は、低消費電力で短距離のデータ送信に適しており、ペアリングされたデバイス間で安定した通信を提供する。一方、Ｗｉ－Ｆｉは広範囲で高速なデータ転送を可能にし、家庭内ネットワークや公衆無線ＬＡＮを利用してインターネットを介した通信も可能とする。有線通信手段としては、ＵＳＢやシリアルケーブルが使用され、高速かつ安定したデータ転送が実現される。

【0055】

指文字データの送信には、送信データの信頼性と整合性を確保するためのエラーチェック機能や暗号化技術が適用される。例えば、送信データにチェックサムを付加することで、受信側でデータの誤りを検出し、必要に応じて再送要求を行うことができる。また、暗号化技術を利用することで送信データの機密性と通信の安全性が確保できる。

【0056】

送信された指文字データは、外部機器上の各種アプリケーションやソフトウェアで利用される。例えば、テキストエディタ、メッセージングアプリケーション、電子メールクライアントなどで、リアルタイムに指文字入力として使用できる。また、これにより異なる使用者間で迅速かつ効率的な情報交換も可能となり、手指動作を通じた直感的な指文字入力インターフェースが実現される。

【0057】

さらに、指文字データの送信プロセスは、使用者のニーズに応じてカスタマイズ可能である。特定のアプリケーションに対して直接入力を行うモードや、クラウドサービスにデータを送信して遠隔地のデバイスと同期するモードなど、多様な利用シナリオに対応することができる。

【0058】

このように、最終の第９ステップでは、第８ステップで最終確定された指文字データが、無線または有線の通信手段を介して外部機器に送信され、各種アプリケーションやソフトウェアで利用されるプロセスが詳細に管理される。

【0059】

以上の手指動作認識デバイスを用いることで、あらゆる指文字を表現し、さらに、当該デバイスを用いた指文字出力方法により、指や手の動作を当該デバイスが正確に検出して、それを指文字として認識した上で、それらの動作を指文字に変換して、変換した指文字の決定又は確定などの付随的な操作も可能であり、外部機器に接続することで指文字データを介して音声として出力することができる。そのため、視覚障がい者と別空間の人間の間でもコミュニケーションを円滑に図ることができる。

【符号の説明】

【0060】

１ 手指動作認識デバイス
２ 動作検知部
３ 指文字情報出力部
２０ 手袋型デバイス
２１～２５ 第１～第５センサー群
２１Ａ～２１Ⅽ 第１（上端，中央，下端）センサー群
２２Ａ～２２Ⅽ 第２（上端，中央，下端）センサー群
２３Ａ～２３Ⅽ 第３（上端，中央，下端）センサー群
２４Ａ～２４Ⅽ 第４（上端，中央，下端）センサー群
２５Ａ～２５Ⅽ 第５（上端，中央，下端）センサー群
２６ 第６センサー
２７ 第７センサー
２８，２９ 脚部取付型デバイス
Ｈ１～Ｈ３ 配線
Ｓ００１～Ｓ００９ 第１～第９ステップ
ＵＴ 外部機器
Ｗ２１～Ｗ２９ 配線

【要約】      （修正有）

【課題】指を開く、曲げる、添える等の指や手の動作をデバイスを利用することで高精度に認識して、それを指文字に変換して、さらにその結果をパソコンやスマートフォンなどの外部機器において指文字を介して音声，文字，点字などいずれかの手段として出力することで視覚障がい者と別空間の人間との間でも円滑なコミュニケーションを図ることのできる手指動作認識デバイスおよびそのデバイスを用いた指文字出力方法を提供することを課題とする。
【解決手段】本発明は、予め定められた複数種類の人の動作をセンサーにより検知する動作検知部２と、人の動作に対応する指文字を入力するための指文字情報を外部機器ＵＴに出力する指文字情報出力部３と、を有して、動作検知部２は、手の５本指に装着されて、５本の各指の動作を検知するセンサーを備えた手袋型デバイス２を有する手指動作認識デバイス１とする。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】