特許7586193 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ 株式会社村田製作所の特許一覧

特許7586193操作装置、および、操作推定方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-11

(45)【発行日】2024-11-19

(54)【発明の名称】操作装置、および、操作推定方法

(51)【国際特許分類】

G06F 3/01 20060101AFI20241112BHJP

G06F 3/0346 20130101ALI20241112BHJP

A61B 5/11 20060101ALI20241112BHJP

【ＦＩ】

G06F3/01 514

G06F3/0346 424

A61B5/11 230

【請求項の数】 27

(21)【出願番号】P 2022569704

(86)(22)【出願日】2021-08-10

(86)【国際出願番号】 JP2021029466

(87)【国際公開番号】W WO2022130684

(87)【国際公開日】2022-06-23

【審査請求日】2023-06-07

(31)【優先権主張番号】P 2020206397

(32)【優先日】2020-12-14

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000006231

【氏名又は名称】株式会社村田製作所

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人楓国際特許事務所

(72)【発明者】

【氏名】辻敏夫

(72)【発明者】

【氏名】古居彬

(72)【発明者】

【氏名】城明舜磨

(72)【発明者】

【氏名】角田知己

(72)【発明者】

【氏名】松本龍彦

【審査官】菅原浩二

(56)【参考文献】

【文献】国際公開第２０１８／１５９９４９（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１６／００９１９８０（ＵＳ，Ａ１）

【文献】特表２０２０－５２９０６７（ＪＰ，Ａ）

【文献】特表２０１６－５０７８５１（ＪＰ，Ａ）

【文献】BOOTH, R, and GOLDSMITH, P，VALIDATION OF A PIEZOELECTRIC SENSOR ARRAY FOR A WRIST-WORN MUSCLE-COMPUTER INTERFACE，The 39th Conference of The Canadian Medical and Bioligical Engineering [online]，vol. 39, no. 2，カナダ，The Canadian Medical and Biological Engineering So，2016年05月24日，pp. 1-4，[検索日 2021.11.04], インターネット<URL: https://proceedings.cmbes.ca/index.php/proceedings/article/view/11/>

【文献】ESPOSITO, D et al.，A Piezoresistive Array Armband With Reduced Number of Sensors for Hand Gesture Recognition，Frontiers in Neurorobotics [online]，Volume 39, Article 114，スイス，Frontiers Media SA，2020年01月17日，pp. 1-12，[検索日 2021.11.04], インターネット<URL: https://ncbi.nlm.nih.gov/pmc/articles/PMC6978746/>，<doi: 10.3389/fmbot.2019.00114>

【文献】TRUONG, H et al.，CapBand: Battery-free Successive Capacitance Sensing Wristband for Hand Gesture Recognition，In: SenSys ’18: Proceedings of the 16th ACM Conference on Embedded Networking Sensor Systems [online]，米国，ACM，2018年11月04日，pp. 54-67，[検索日 2021.11.04], インターネット<URL: https://dl.acm.org/doi/10.1145/3274783.3274854>，<doi: 10.1145/3274783.3274854>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ３／０１

Ｇ０６Ｆ３／０３４６

Ａ６１Ｂ５／１１

(57)【特許請求の範囲】

【請求項1】

手首に装着され、前記手首における体表の変位に応じたセンサ信号を出力する複数のセンサと、
前記複数のセンサの複数のセンサ信号の振幅の値を用いて生成されるチャート図の内面積である総活性度の時間関数の波形のピーク値を特徴点として、該特徴点の時刻を含み前記総活性度の波形の広がりに基づく操作学習用の時間範囲を設定する範囲設定部と、
前記操作学習用の時間範囲の前記複数のセンサのセンサ信号を用いて、操作を学習する演算部と、
を備える、操作装置。

【請求項2】

前記総活性度を範囲設定指標とする指標値算出部を備え、
前記範囲設定部は、
前記範囲設定指標の特徴点を前記複数のセンサ信号の特徴点として、前記操作学習用の時間範囲を設定する、
請求項１に記載の操作装置。

【請求項3】

前記指標値算出部は、前記複数のセンサの前記複数のセンサ信号の振幅の値の合計値を、前記範囲設定指標として算出する、
請求項２に記載の操作装置。

【請求項4】

前記範囲設定部は、
前記範囲設定指標の時間特性から前記特徴点を検出する、
請求項２または請求項３に記載の操作装置。

【請求項5】

前記範囲設定部は、
前記範囲設定指標のピーク値を、前記特徴点として検出する、
請求項４に記載の操作装置。

【請求項6】

前記範囲設定部は、
前記特徴点の時刻を基準とし、前記特徴点の時刻を含む所定時間範囲を、操作学習用の時間範囲を設定する、
請求項２乃至請求項５のいずれかに記載の操作装置。

【請求項7】

前記範囲設定部は、
前記特徴点の時刻を含む所定時間範囲を、前記範囲設定指標の時間特性の広がりによって設定する、
請求項６に記載の操作装置。

【請求項8】

前記範囲設定部は、前記範囲設定指標の時間特性を正規分布に基づくフィッティングを行った後に、前記特徴点を検出して、前記操作学習用の時間範囲を設定する、
請求項２乃至請求項７のいずれかに記載の操作装置。

【請求項9】

手首に装着され、前記手首における体表の変位に応じたセンサ信号を出力する複数のセンサと、
前記複数のセンサの複数のセンサ信号の振幅の値を用いて生成されるチャート図の内面積である総活性度の時間関数の波形のピーク値を特徴点として、該特徴点の時刻を含み前記総活性度の波形の広がりに基づく操作推定用の時間範囲を設定する範囲設定部と、
前記操作推定用の時間範囲の前記複数のセンサの前記複数のセンサ信号を用いて、操作を推定する演算部と、
を備える、操作装置。

【請求項10】

手首に装着され、前記手首における体表の変位に応じたセンサ信号を出力する複数のセンサと、
前記複数のセンサの前記複数のセンサ信号の振幅の値を用いて生成されるチャート図の内面積である総活性度を算出する総活性度算出部と、
前記総活性度の時間関数の波形のピーク値で表させる特徴点の時刻を含み前記総活性度の波形の広がりに基づいて、操作推定用の時間窓を設定する範囲設定部と、
前記時間窓内の前記総活性度と前記複数のセンサ信号とを用いて、操作を推定する演算部と、
を備える、操作装置。

【請求項11】

前記演算部は、
前記時間窓内の複数時間における総活性度の大きさと、前記複数のセンサ信号による前記操作の識別結果とを用いて、前記操作を推定する、
請求項１０に記載の操作装置。

【請求項12】

前記演算部は、
前記時間窓内の全ての時間の総活性度が動作検出用の閾値以上であり、全ての時間の識別結果が同じであれば、この識別結果をこの時間窓における前記操作として確定する、
請求項１１に記載の操作装置。

【請求項13】

前記演算部は、
連続する複数の時間窓で前記操作の識別結果が同じであれば、前記連続する複数の時間窓の最初の時間窓の識別結果を保持し、他の時間窓の識別結果を破棄する、
請求項１０乃至請求項１２のいずれかに記載の操作装置。

【請求項14】

前記演算部は、
複数の時間窓における識別結果の保留時間内において、連続していない複数の時間窓で前記操作の識別結果が同じであれば、最後の時間窓の識別結果を保持し、他の時間窓の識別結果を破棄する、
請求項１０乃至請求項１３のいずれかに記載の操作装置。

【請求項15】

前記演算部は、
前記複数のセンサの前記複数のセンサ信号に対して、それぞれに異なる条件で操作の識別を行う複数の識別器と、
前記複数の識別器で識別した結果を用いて操作を判定する判定部と、
を備える、
請求項１乃至請求項１４のいずれかに記載の操作装置。

【請求項16】

前記複数の識別器は、
予め学習した操作内容と前記複数のセンサの前記複数のセンサ信号との関係に基づいて、前記操作の識別を行う、
請求項１５に記載の操作装置。

【請求項17】

前記複数のセンサは、
前記手首の表側に装着される表側センサ群と、
前記手首の裏側に装着される裏側センサ群と、
を有する、
請求項１乃至請求項１６のいずれかに記載の操作装置。

【請求項18】

前記複数のセンサは、手および指の少なくともいずれかの動きによって生じる前記手首における体表の変位に応じたセンサ信号を出力する、
請求項１乃至請求項１７のいずれかに記載の操作装置。

【請求項19】

前記複数のセンサは、
可撓性を有する圧電フィルムに電極を形成した圧電センサである、
請求項１乃至請求項１８のいずれかに記載の操作装置。

【請求項20】

前記操作の推定結果を表示する表示部を備える、
請求項１乃至請求項１９のいずれかに記載の操作装置。

【請求項21】

前記操作の推定結果を用いてアプリケーションを実行するアプリケーション実行部を備える、
請求項１乃至請求項２０のいずれかに記載の操作装置。

【請求項22】

前記操作の推定結果を外部の操作対象デバイスに送信する通信部を備える、
請求項１乃至請求項２１のいずれかに記載の操作装置。

【請求項23】

手首に装着された複数のセンサから、前記手首における体表の変位に応じたセンサ信号を生成し、
前記複数のセンサの前記複数のセンサ信号の振幅の値を用いて生成されるチャート図の内面積である総活性度の時間関数の波形のピーク値を特徴点として、該特徴点の時刻を含み前記総活性度の波形の広がりに基づく操作推定用の時間範囲を設定し、
前記操作推定用の時間範囲の前記複数のセンサの前記複数のセンサ信号を用いて、操作を推定する、
操作推定方法。

【請求項24】

前記操作の推定は、
前記操作推定用の時間範囲内における複数回の操作の推定結果の組合せを用いて行われる、
請求項２３に記載の操作推定方法。

【請求項25】

前記複数回の推定結果が１つの操作を示す条件を満たす場合に、前記１つの操作として推定する、
請求項２４に記載の操作推定方法。

【請求項26】

前記複数回の推定結果が１つの操作を示す条件を満たさない場合に、それぞれ個別の操作として推定する、
請求項２４に記載の操作推定方法。

【請求項27】

前記総活性度を範囲設定指標とし、
前記範囲設定指標が推定可能条件を満たした場合のみ前記操作を推定する、
請求項２３乃至請求項２６のいずれかに記載の操作推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、手の動作から操作を検出する技術に関する。

【背景技術】

【0002】

特許文献１には、圧電センサを用いた携帯端末装置が記載されている。特許文献１の携帯端末装置は、手首の裏側に複数の圧電センサを配置する。

【0003】

特許文献１の携帯端末装置は、複数の圧電素子の検出信号を用いて、使用者（装着者）の指の動きを測定する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００５－３５２７３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の携帯端末装置のような従来の構成では、指の動きを精度良く計測することは難しかった。

【0006】

したがって、本発明の目的は、指の動き（指による操作）を精度良く計測できる操作推定技術を提供することにある。

【課題を解決するための手段】

【0007】

この発明の操作装置は、複数のセンサ、範囲設定部、および、演算部を備える。複数のセンサは、手首に装着され、手首における体表の変位に応じたセンサ信号を出力する。範囲設定部は、複数のセンサのセンサ信号の特徴点の時刻を含む操作学習用の時間範囲を設定する。演算部は、操作学習用の時間範囲の複数のセンサのセンサ信号を用いて、操作を推定する。

【0008】

この構成では、手首における体表の変位（手首の腱の動き）に応じたセンサ信号の特徴的な部分を用いて、操作は精度良く学習され、この学習結果を用いて操作は推定される。また、手首における体表の変位（手首の腱の動き）は、指の動きに密接に連動する。これらにより、指による操作に対する推定精度は高くなる。

【発明の効果】

【0009】

この発明によれば、指による操作を精度良く検出できる。

【図面の簡単な説明】

【0010】

【図1】図１は、第１の実施形態に係る操作装置の構成の一例を示す機能ブロック図である。

【図2】図２（Ａ）、図２（Ｂ）は、ひずみセンサの具体的な構成および装着例を示す図である。

【図3】図３は、計測信号の波形の一例を示す図である。

【図4】図４は、第１の実施形態に係る推定部の構成の一例を示す機能ブロック図である。

【図5】図５は、指標値算出部の構成の一例を示す機能ブロック図である。

【図6】図６（Ａ）、図６（Ｂ）は、総活性度の概念を示すチャート図である。

【図7】図７は、第１の実施形態に係る範囲設定部の構成の一例を示す機能ブロック図である。

【図8】図８は、範囲設定に用いる総活性度の波形図である。

【図9】図９は、第１の実施形態に係る演算部の構成の一例を示す機能ブロック図である。

【図10】図１０は、第１の実施形態に係る操作推定方法の一例を示すフローチャートである。

【図11】図１１は、推定の概念を説明するための図である。

【図12】図１２は、複合操作の判定を行う場合の概念を示す図である。

【図13】図１３は、複合操作の判定を行う場合の概念を示す図である。

【図14】図１４は、複合操作の判定を行う場合の概念を示す図である。

【図15】図１５は、第１の実施形態に係る操作推定方法の一例を示すフローチャートである。

【図16】図１６は、本実施形態の操作装置の適用対象の一例を示す図である。

【図17】図１７は、第２の実施形態に係る操作装置の構成の一例を示す機能ブロック図である。

【図18】図１８は、第３の実施形態に係る操作装置の構成の一例を示す機能ブロック図である。

【図19】図１９は、第３の実施形態に係る操作装置の装着例を示す図である。

【図20】図２０は、第４の実施形態に係る操作装置の構成の一例を示す機能ブロック図である。

【図21】図２１は、第５の実施形態に係る操作装置の構成の一例を示す機能ブロック図である。

【図22】図２２は、操作の推定のみを行う演算部の構成の一例を示す機能ブロック図である。

【発明を実施するための形態】

【0011】

［第１の実施形態］
本発明の第１の実施形態に係る操作推定技術について、図を参照して説明する。図１は、第１の実施形態に係る操作装置の構成の一例を示す機能ブロック図である。

【0012】

図１に示すように、操作装置１０は、ひずみセンサ２０、前段信号処理部３０、推定部４０、および、記憶部５０を備える。前段信号処理部３０、推定部４０、および、記憶部５０は、電子部品、電子回路等によって形成され、例えば所定の筐体に内蔵される。

【0013】

（ひずみセンサ２０の構成および処理）
図２（Ａ）、図２（Ｂ）は、ひずみセンサの具体的な構成および装着例を示す図である。図２（Ａ）は、手および手首の表側を示し、図２（Ｂ）は、手および手首の裏側を示す。

【0014】

図２（Ａ）、図２（Ｂ）に示すように、ひずみセンサ２０は、手首に装着される。ひずみセンサ２０は、複数のセンサ２０１－２１６を備える。複数のセンサ２０１－２１６は、可撓性を有する圧電フィルムに検出用電極を配置した構成を備える。圧電フィルムは、例えば、ポリ乳酸を主成分とし、所定方向に延伸されたものである。

【0015】

より具体的な配置として、複数のセンサ２０１－２０８は、手首の表面９１１に装着される。手首の表面９１１とは、手首における手の甲９１側の面である。複数のセンサ２０１－２０８は、手首の周方向に沿って間隔を空けて配列される。複数のセンサ２０１－２０８は、圧電フィルムおよび電極の長手方向が手首の腱の延びる方向に平行になるように、手首の表面９１１に装着される。

【0016】

複数のセンサ２０９－２１６は、手首の裏面９１２に装着される。手首の裏面９１２とは、手首における手のひら９２側の面である。複数のセンサ２０９－２１６は、手首の周方向に沿って間隔を空けて配列される。複数のセンサ２０９－２１６は、圧電フィルムおよび電極の長手方向が手首の腱の延びる方向に平行になるように、手首の裏面９１２に装着される。ひずみセンサ２０は、取得したセンサ信号を外部に出力するための引き出し配線等を含むことがあるが、図２（Ａ）、図２（Ｂ）では省略して図示されている。

【0017】

なお、複数のセンサ２０１－２１６の圧電フィルムがポリ乳酸のＰＬＬＡであれば、延伸方向は、手首の腱の延びる方向に対して略４５°であるとよい。なお、本実施形態において、電極形状は長方形でなく、正方形や円形等の他の形状でもよい。また、圧電フィルムはポリ乳酸に限定されない。また、体表への追従性等の関係でフィルム状の圧電素子が好ましいが必須ではない。

【0018】

ひずみセンサ２０の装着者が指を動かすと、指の動きに応じて、手首の腱が運動し、体表が変位する。例えば、後述の仮想キーボードを操作する際に、指の動きに応じて、手首の腱が運動し、体表が変位する。ひずみセンサ２０の複数のセンサ２０１－２１６は、手首の腱の運動（より詳細には、腱の運動による皮膚の表面の変位（体表の変位））に応じて、それぞれにセンサ信号を生成し、出力する。センサ信号は、手首の腱の運動の大きさに応じた振幅で、手首の腱の運動の時刻に応じた波形で生成される。ひずみセンサ２０は、複数のセンサ２０１－２１６のセンサ信号（複数の検出チャンネルのセンサ信号）を、前段信号処理部３０に出力する。

【0019】

このような構成によって、ひずみセンサ２０は、指の動きに応じて高精度に検出された複数のセンサ２０１－２１６のセンサ信号を出力できる。さらに、この構成では、ひずみセンサ２０が可撓性を有することで、装着者の違和感を低減し、装着者による操作性の低下を抑制できる。

【0020】

（前段信号処理部３０の構成および処理）
前段信号処理部３０は、複数のセンサ２０１－２１６のセンサ信号に対して、直流成分除去処理、増幅処理、Ａ／Ｄ変換処理、および、フィルタ処理を実行する。より具体的には、前段信号処理部３０は、複数のセンサ２０１－２１６のセンサ信号に対して、直流成分の除去処理を行う。前段信号処理部３０は、直流成分除去後の複数のセンサ２０１－２１６のセンサ信号を増幅処理する。前段信号処理部３０は、増幅処理後の複数のセンサ２０１－２１６のセンサ信号をＡ／Ｄ変換（アナログデジタル変換）処理する。なお、前段信号処理部３０で実行する各処理の順序は、これに限るものではなく、適宜設定できる。

【0021】

前段信号処理部３０は、デジタル信号化された複数のセンサ２０１－２１６のセンサ信号に対して、フィルタ処理を施す。フィルタ処理は、例えば、Ｎ次のデジタルバタワースローパスフィルタ処理である。前段信号処理部３０は、フィルタ処理後の信号を正規化処理する。なお、ここでの正規化処理とは、例えば、複数のセンサ２０１－２０６のセンサ信号の基準電位を統一する処理である。前段信号処理部３０は、この正規化処理された信号を、複数のセンサ２０１－２１６のセンサ信号に対応した計測信号ｙＣＨ（ｔ）として推定部４０に出力する。なお、正規化処理は、省略することが可能であるが、用いることによって、計測信号ｙＣＨ（ｔ）のバラツキを抑制できる。

【0022】

そして、上述の前段信号処理部３０の処理を行うことによって、計測信号は、直流成分を除く低周波数成分によって構成される。したがって、センサ信号に含まれるノイズを効果的に除去でき、計測信号は、腱の運動を高精度に反映した信号となる。

【0023】

図３は、計測信号の波形の一例を示す図である。図３において、縦軸は、チャンネル毎の計測信号ｙＣＨ（ｔ）の振幅を示し、横軸は、計測時刻を示す。縦軸に示すチャンネルＣＨ１－ＣＨ１６、すなわち、計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）は、複数のセンサ２０１－２１６のセンサ信号にそれぞれ対応する。また、図３に示す、操作Ａ、操作Ｂ、操作Ｃ、操作Ｄ、操作Ｅは、それぞれに異なる指の動作を行った場合を示す。

【0024】

図３に示すように、操作Ａ、操作Ｂ、操作Ｃ、操作Ｄ、操作Ｅの違いによって、すなわち、操作が異なることによって、計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）の波形の組合せが異なる。したがって、計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）を用いることによって、操作は推定可能である。

【0025】

（推定部４０の構成および処理）
推定部４０は、概略的には、複数のセンサ２０１－２１６の計測信号（センサ信号）の特徴点を検出し、特徴点の時刻を含む操作推定用の時間範囲の計測信号（センサ信号）を用いて、操作を推定する。この際、推定部４０は、記憶部５０に記憶された推定用のデータベースを用いて、操作を推定する。

【0026】

また、推定部４０は、複数のセンサ２０１－２１６の計測信号（センサ信号）を用いて、上記の操作の推定を行うための学習を行う。

【0027】

図４は、第１の実施形態に係る推定部の構成の一例を示す機能ブロック図である。図４に示すように、推定部４０は、指標値算出部４１、範囲設定部４２、および、演算部４３を備える。

【0028】

指標値算出部４１は、複数のセンサ２０１－２１６の計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）を用いて、範囲設定指標である総活性度Ｓ（ｔ）を算出する。

【0029】

範囲設定部４２は、総活性度Ｓ（ｔ）の特徴点を用いて、学習用の時間範囲を設定する。

【0030】

演算部４３は、操作の推定時において、記憶部５０に記憶された操作推定用のデータベースと、操作推定用の時間窓内の計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）とを用いて、操作を推定する。また、演算部４３は、操作の学習時において、学習用の時間範囲の計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）を用いて、操作推定用の学習を行う。

【0031】

より具体的には、推定部４０の各部は、次の処理を実行する。

【0032】

図５は、指標値算出部４１の構成の一例を示す機能ブロック図である。図６（Ａ）、図６（Ｂ）は、総活性度の概念を示すチャート図である。図６（Ａ）は、操作が行われていない状態（Ｌｏｗ状態）、図６（Ｂ）は、操作が行われている状態（Ｈｉ状態）を示す。

【0033】

図５に示すように、指標値算出部４１は、チャート生成部４１１、および、総活性度算出部４１２を備える。チャート生成部４１１は、複数のセンサ２０１－２１６の計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）を用いて、チャート図を生成する。チャート図とは、計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）に対応する複数のチャンネルＣＨ１－ＣＨ１６を円周上に配置し、中心を振幅の絶対値が０（ゼロ）として、中心からの距離が離れるほど振幅が大きくなるように設定した図であり、チャンネルＣＨ１－ＣＨ１６毎に、計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）の振幅（絶対値）をプロットしたものである。すなわち、中心からの距離が各チャンネルでの計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）の大きさを意味する。

【0034】

チャート生成部４１１は、計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）に対して、所定の時間間隔（サンプリング間隔）で、チャート図を生成する。チャート生成部４１１は、生成した各時刻のチャート図を総活性度算出部４１２に出力する。

【0035】

総活性度算出部４１２は、チャートの内面積を総活性度Ｓ（ｔ）として算出する。チャートの内面積とは、チャート図における各チャンネルＣＨ１－ＣＨ１６のプロット位置（計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）の振幅を表す位置）を周状に順次繋いでできる領域の内側の領域（中心側の領域）の面積である。

【0036】

図６（Ａ）に示すように、操作が行われていなければ、計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）の振幅は小さいので、チャートの内面積である総活性度Ｓ（ｔ）は、小さくなる。一方、図６（Ｂ）に示すように、操作が行われていれば、計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）の振幅は大きくなるので、チャートの内面積である総活性度Ｓ（ｔ）は、大きくなる。したがって、総活性度Ｓ（ｔ）の大きさを用いることで、操作の有無を検出できる。

【0037】

総活性度算出部４１２は、例えば、上述のチャート生成部４１１がチャート図を生成する時間間隔（上述のチャート図の作成のサンプリング間隔）毎に、総活性度Ｓ（ｔ）を算出する。総活性度算出部４１２は、算出した総活性度Ｓ（ｔ）を範囲設定部４２に出力する。

【0038】

（範囲設定部４２の構成および処理）
範囲設定部４２は、学習時に主として用いられる。

【0039】

図７は、第１の実施形態に係る範囲設定部の構成の一例を示す機能ブロック図である。図８は、範囲設定に用いる総活性度をガウス関数フィッティングした波形図である。

【0040】

図７に示すように、範囲設定部４２は、ガウス関数フィッティング部４２１、ピーク検出部４２２、および、開始終了時刻決定部４２３を備える。

【0041】

ガウス関数フィッティング部４２１は、時間関数である総活性度Ｓ（ｔ）を、正規分布を示すガウス関数でフィッティングする。これにより、総活性度Ｓ（ｔ）に含まれるノイズは抑圧され、総活性度Ｓ（ｔ）は、図８に示すような波形となり、波形のピークは、より明確になる。

【0042】

また、波形のピークを中心とする任意の区間のみを抽出して識別に用いることが可能となる。後述の演算部４３では、手指の動作によって得られた信号と学習結果とを用いて識別動作を判定する。そして、各動作を精度良く識別するためには、計測信号ｙＣＨ（ｔ）を抽出する適切な区間を決定しなければならない。このため、ガウス関数でフィッティングした総活性度Ｓ（ｔ）の時間波形（時間関数）を用いることで、適切な区間を決定でき、後述の識別動作を精度良く判定できる。

【0043】

ガウス関数フィッティング部４２１は、ガウス関数フィッティング後の総活性度Ｓ（ｔ）をピーク検出部４２２に出力する。

【0044】

ピーク検出部４２２は、ガウス関数フィッティング後の総活性度Ｓ（ｔ）のピーク（極大点）およびその時刻を検出する。例えば、図８の例であれば、ピーク検出部４２２は、ピーク値ａ１、および、ピーク値ａ２を検出する。このピーク値ａ１およびピーク値ａ２が、本発明の「特徴点」に対応する。

【0045】

また、ピーク検出部４２２は、ピーク値ａ１のピーク時刻ｔｐ１、および、ピーク値ａ２のピーク時刻ｔｐ２を検出する。ピーク検出部４２２は、総活性度Ｓ（ｔ）のピーク時刻ｔｐ１、および、ピーク時刻ｔｐ２を、開始終了時刻決定部４２３に出力する。

【0046】

開始終了時刻決定部４２３は、ピーク時刻ｔｐ１、および、ピーク時刻ｔｐ２を用いて、操作推定用の時間範囲を決定する開始時刻および終了時刻を決定する。

【0047】

より具体的には、開始終了時刻決定部４２３は、ピーク時刻ｔｐ１に対して範囲設定時間ｄ１を設定する。範囲設定時間ｄ１は、例えば、ピーク値ａ１の生じる箇所の総活性度Ｓ（ｔ）の波形の広がり（分散等）に基づいて設定される。開始終了時刻決定部４２３は、ピーク時刻ｔｐ１から範囲設定時間ｄ１を減算することで、ピーク値ａ１に対する学習範囲開始時刻ｔ１ｓを設定する。開始終了時刻決定部４２３は、ピーク時刻ｔｐ１に範囲設定時間ｄ１を加算することで、ピーク値ａ１に対する学習範囲終了時刻ｔ１ｅを設定する。そして、開始終了時刻決定部４２３は、学習範囲開始時刻ｔ１ｓから学習範囲終了時刻ｔ１ｅまでの時間を、学習推定用の時間範囲ＰＤ１に設定する。

【0048】

同様に、開始終了時刻決定部４２３は、ピーク時刻ｔｐ２に対して範囲設定時間ｄ２を設定する。範囲設定時間ｄ２は、例えば、ピーク値ａ２の生じる箇所の総活性度Ｓ（ｔ）の波形の広がり（分散等）に基づいて設定される。開始終了時刻決定部４２３は、ピーク時刻ｔｐ２から範囲設定時間ｄ２を減算することで、ピーク値ａ２に対する学習範囲開始時刻ｔ２ｓを設定する。開始終了時刻決定部４２３は、ピーク時刻ｔｐ２に範囲設定時間ｄ２を加算することで、ピーク値ａ２に対する学習範囲終了時刻ｔ２ｅを設定する。そして、開始終了時刻決定部４２３は、学習範囲開始時刻ｔ２ｓから学習範囲終了時刻ｔ２ｅまでの時間を、学習推定用の時間範囲ＰＤ２に設定する。

【0049】

なお、複数の動作による複数の特徴点を用いて識別する場合、複数のガウス関数の和から構成される関数でフィッティングし、計測信号ｙＣＨ（ｔ）を抽出する範囲を決定する。一例としては、図８に示された二つ動作による二つの特徴点を用いてひとつの動作を識別する場合、二つの波形のガウス関数の和から構成する関数でフィッティングし、範囲設定時間ｄ１、ｄ２を決定する。

【0050】

開始終了時刻決定部４２３は、学習推定用の時間範囲ＰＤ１と学習推定用の時間範囲ＰＤ２とを、演算部４３に出力する。

【0051】

（演算部４３の構成および処理）
図９は、第１の実施形態に係る演算部の構成の一例を示す機能ブロック図である。図９に示すように、演算部４３は、複数の識別器４３１１、４３１２、判定部４３２、および、学習部４３３を備える。

【0052】

（学習時）
識別器４３１１および識別器４３１２には、複数のセンサ２０１－２１６の計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）と、学習用の時間範囲ＰＤ１および学習用の時間範囲ＰＤ２とが入力される。識別器４３１１および識別器４３１２は、学習用の時間範囲ＰＤ１および学習用の時間範囲ＰＤ２内の計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）を用いて、操作を識別するための規範信号を取得する。

【0053】

識別器４３１１と識別器４３１２とは、異なる条件で規範信号を取得する。すなわち、識別器４３１１と識別器４３１２とは、異なるカテゴリーで操作推定に用いる規範信号を取得する。

【0054】

例えば、識別器４３１１は、五指を個別に識別するための規範信号を取得する。識別器４３１２は、指の上げ下げを識別するための規範信号を取得する。

【0055】

識別器４３１１および識別器４３１２は、取得した規範信号を学習部４３３に出力する。

【0056】

学習部４３３は、取得した規範信号と、この規範信号に対応する五指の種類、指の動作を関連付けして、記憶部５０に記憶する。

【0057】

これにより、演算部４３は、五指の種類、指の動作に応じた規範信号を学習できる。このような学習の際、上述のように、学習用の時間範囲ＰＤ１および学習用の時間範囲ＰＤ２の計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）を用いることで、学習に適する計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）を用いて学習できる。これにより、学習精度は、向上する。

【0058】

また、学習部４３３は、学習した規範信号等に基づいて、推定時の動作検出用の閾値Ｔｈ（ｔ）の適応化を実現できる。これにより、推定時により精度良く動作を検出でき、ひいては、推定精度を向上できる。

【0059】

（操作学習方法）
図１０は、第１の実施形態に係る操作学習方法の一例を示すフローチャートである。

【0060】

操作装置１０は、複数のセンサ２０１－２１６にて、指の操作による手首の腱の運動（皮膚の表面の変位）に応じたセンサ信号を生成する（Ｓ１１）。操作装置１０は、複数のセンサのセンサ信号を用いて、それぞれに計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）を生成する（Ｓ１２）。

【0061】

操作装置１０は、複数のセンサの計測信号を用いて、範囲設定指標（指標値）である総活性度Ｓ（ｔ）を算出する（Ｓ１３）。操作装置１０は、範囲設定指標の時間特性から、範囲設定指標の特徴点を検出し、学習用の時間範囲を設定する（Ｓ１４）。操作装置１０は、学習用の時間範囲の計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）を用いて、操作を学習する（Ｓ１５）。

【0062】

（推定時）
（１）ガウス関数フィッティングによる操作推定用の時間範囲を設定して操作推定（識別、判定）を行う場合
ガウス関数フィッティング部４２１は、時間関数である総活性度Ｓ（ｔ）を、正規分布を示すガウス関数でフィッティングする。これにより、総活性度Ｓ（ｔ）に含まれるノイズは抑圧され、総活性度Ｓ（ｔ）は、図８に示すような波形となり、波形のピークは、明確になる。

【0063】

ガウス関数フィッティング部４２１は、ガウス関数フィッティング後の総活性度Ｓ（ｔ）を、ピーク検出部４２２に出力する。

【0064】

【0065】

【0066】

開始終了時刻決定部４２３は、ピーク時刻ｔｐ１、および、ピーク時刻ｔｐ２を用いて、操作推定用の時間範囲を決定する開始時刻および終了時刻を決定する。より具体的には、開始終了時刻決定部４２３は、ピーク時刻ｔｐ１に、範囲設定時間ｄ１を設定する。範囲設定時間ｄ１は、例えば、ピーク値ａ１の生じる箇所の総活性度Ｓ（ｔ）の波形の広がり（分散等）に基づいて設定される。開始終了時刻決定部４２３は、ピーク時刻ｔｐ１から範囲設定時間ｄ１を減算することで、ピーク値ａ１に対する推定範囲開始時刻ｔ１ｓを設定する。開始終了時刻決定部４２３は、ピーク時刻ｔｐ１に範囲設定時間ｄ１を加算することで、ピーク値ａ１に対する推定範囲終了時刻ｔ１ｅを設定する。そして、開始終了時刻決定部４２３は、推定範囲開始時刻ｔ１ｓから推定範囲終了時刻ｔ１ｅまでの時間を、操作推定用の時間範囲ＰＤ１に設定する。

【0067】

同様に、開始終了時刻決定部４２３は、ピーク時刻ｔｐ２に、範囲設定時間ｄ２を設定する。範囲設定時間ｄ２は、例えば、ピーク値ａ２の生じる箇所の総活性度Ｓ（ｔ）の波形の広がり（分散等）に基づいて設定される。開始終了時刻決定部４２３は、ピーク時刻ｔｐ２から範囲設定時間ｄ２を減算することで、ピーク値ａ２に対する推定範囲開始時刻ｔ２ｓを設定する。開始終了時刻決定部４２３は、ピーク時刻ｔｐ２に範囲設定時間ｄ２を加算することで、ピーク値ａ２に対する推定範囲終了時刻ｔ２ｅを設定する。そして、開始終了時刻決定部４２３は、推定範囲開始時刻ｔ２ｓから推定範囲終了時刻ｔ２ｅまでの時間を、操作推定用の時間範囲ＰＤ２に設定する。

【0068】

【0069】

開始終了時刻決定部４２３は、操作推定用の時間範囲ＰＤ１と操作推定用の時間範囲ＰＤ２とを、演算部４３に出力する。

【0070】

識別器４３１１および識別器４３１２は、操作推定用の時間範囲ＰＤ１および操作推定用の時間範囲ＰＤ２内の計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）を用いて、操作を識別する。

【0071】

識別器４３１１と識別器４３１２とは、異なる条件で操作を識別する。すなわち、識別器４３１１と識別器４３１２とは、異なるカテゴリーで操作推定に用いる識別を実行する。この識別の条件、および、この識別の条件に対する識別基準は、記憶部５０に記憶されており、事前に学習された情報である。なお、事前の学習時においても、学習用データの時間範囲の設定には、上述の識別時と同様の手法が用いられている。

【0072】

例えば、識別器４３１１は、五指の識別を実行する。具体的には、上述の学習によって得られた五指の動きに応じた計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）の規範信号（学習情報）が記憶部５０に記憶されている。識別器４３１１は、計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）と規範信号とを比較し、比較結果から、動かされた可能性の高い指を識別する。

【0073】

一方、識別器４３１２は、指の上げ下げの識別を実行する。具体的には、述の学習によって得られた指の上げ下げの動きに応じた計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）の規範信号（学習情報）が記憶部５０に記憶されている。識別器４３１２は、計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）と規範信号とを比較し、比較結果から、動かされた可能性の高い動きを識別する。

【0074】

識別器４３１１および識別器４３１２は、識別結果を、判定部４３２に出力する。

【0075】

判定部４３２は、識別器４３１１の識別結果と、識別器４３１２の識別結果とを用いて、操作を判定する。例えば、判定部４３２は、識別器４３１１の五指の識別結果と、識別器４３１２の上下動の識別結果とを用いて、どの指がどの方向に動いたかを判定する。

【0076】

このように、本実施形態に構成および処理を用いることによって、操作装置１０は、指による操作を推定できる。この際、上述のように、計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）、すなわち、センサ信号のおける操作が行われたことを示す特徴点を含み、操作に応じた振幅が得られている箇所（操作推定用の時間範囲ＰＤ１および操作推定用の時間範囲ＰＤ２）を用いて、推定が行われる。これにより、操作装置１０は、推定の精度を向上させるのに大きな影響を有する範囲の計測信号（センサ信号）を用い、推定の精度を向上させるのに殆ど影響を与えない、または、誤作要因となり得る範囲の計測信号（センサ信号）を用いない。したがって、操作装置１０は、指による操作を高精度に推定できる。

【0077】

また、この構成および処理では、操作装置１０は、識別器を複数用いてカテゴリー毎に操作を識別し、その後、統合的に操作を推定する。これにより、操作装置１０は、識別に対する各識別器の負荷を軽減でき、より確実且つ高速に識別を行うことができる。したがって、操作装置１０は、より確実且つ高速に操作を推定できる。

【0078】

また、この構成および処理では、手首の表面９１１と裏面９１２の両方に複数のセンサを装着する。これにより、手首の表面９１１のみ、または、手首の裏面９１２のみに複数のセンサを装着するよりも、指の操作による手首の腱の運動（皮膚の表面の変位）を、より精度良く検出できる。したがって、操作装置１０は、指による操作を、より高精度に推定できる。

【0079】

（２）ガウス関数フィッティングによる操作推定時間を用いずに操作推定（識別、判定）を行う場合
図１１は、推定の概念を説明するための図である。図１１において、横軸は時間、縦軸は総活性度Ｓ（ｔ）の値、実線は総活性度Ｓ（ｔ）の時間特性、点線は閾値Ｔｈ（ｔ）の時間特性、破線によって設定される各区間は、複数の時間窓ＰＷＡ、ＰＷＢ、ＰＷＣ、ＰＥＤ、ＰＷＧ、ＰＷＨ、ＰＷＩ、ＰＷＪである。

【0080】

演算部４３は、推定用（識別用）の複数の時間窓を設定する。複数の時間窓は、所定の時間長で設定されている。時間窓の時間長は、識別を経時的に行うサンプリング周期よりも長い。すなわち、時間窓の時間長は、１つの時間窓の時間中に複数回の識別が行われるように設定される。

【0081】

また、複数の時間窓は、時間軸上で所定の配列で設定される。例えば、図１１の場合、時間軸上に隣り合う時間窓は、部分的に重なる。具体的には、時間窓ＰＷＡと時間窓ＰＷＢとは、時間窓ＰＷＡの後半時間と時間窓ＰＷＢの前半時間とが重なるように設定される。時間窓ＰＷＣ以降も同様に設定される。例えば、複数の時間窓の時間長が５０ｍｓｅｃ．の場合、隣接する時間窓は、２５ｍｓｅ．で時間をシフトして設定される。

【0082】

なお、複数の時間窓の時間長および配列（重なり具合）は、これに限らず、隣接する時間窓が重ならなくてもよい。

【0083】

識別器４３１１および識別器４３１２は、識別のタイミング毎に総活性度Ｓ（ｔ）と動作検出用の閾値Ｔｈ（ｔ）とを比較する。識別器４３１１および識別器４３１２は、総活性度Ｓ（ｔ）が閾値Ｔｈ（ｔ）以上であれば、動作有りのフラグを設定する。識別器４３１１および識別器４３１２は、総活性度Ｓ（ｔ）が閾値Ｔｈ（ｔ）未満であれば、動作無しのフラグを設定する。

【0084】

また、識別器４３１１および識別器４３１２は、動作有りのフラグを設定したタイミングにおいて、上述の規範信号との比較を行い、操作を識別する。

【0085】

識別器４３１１および識別器４３１２は、動作の有無のフラグおよび識別した操作を、判定部４３２に出力する。

【0086】

判定部４３２は、識別器４３１１および識別器４３１２のそれぞれの出力に対して個別に、識別した操作の判定を行う。以下では、識別器４３１１の場合を一例として示すが、識別器４３１２の場合も同様である。

【0087】

判定部４３２は、識別器４３１１から順次得られる動作有無のフラグおよび操作の識別結果を、複数の時間窓毎に分ける。判定部４３２は、複数の時間窓毎に、動作有無のフラグと操作の識別結果を分類する。

【0088】

判定部４３２は、時間窓内の全ての識別タイミングにおいて、動作有りフラグであり、且つ操作の識別結果が一致すると、この時間窓に対する操作の識別結果を確定する。

【0089】

例えば、図１１の場合、時間窓ＰＷＢ、時間窓ＰＷＣでは、全ての識別タイミングにおいて動作有りフラグである。この際、時間窓ＰＷＢ内の全ての識別結果が操作Ａであれば、時間窓ＰＷＢに対する操作の推定結果は、操作Ａとなる。同様に、時間窓ＰＷＣ内の全ての識別結果が操作Ａであれば、時間窓ＰＷＣに対する操作の推定結果は、操作Ａとなる。

【0090】

また、図１１の場合、時間窓ＰＷＨ、ＰＷＩでは、全ての識別タイミングにおいて動作有りフラグである。この際、時間窓ＰＷＨ内の全ての識別結果が操作Ｂであれば、時間窓ＰＷＨに対する操作の推定結果は、操作Ｂとなる。同様に、時間窓ＰＷＩ内の全ての識別結果が操作Ｂであれば、時間窓ＰＷＩに対する操作の推定結果は、操作Ｂとなる。

【0091】

一方、判定部４３２は、時間窓内に動作有りフラグと動作無しフラグとが混在すると、動作有りフラグがあったとしても、この時間窓に対する操作の識別結果を破棄する。すなわち、判定部４３２は、この時間窓に対しては識別結果無しと判定する。

【0092】

例えば、図１１の場合、時間窓ＰＷＪでは、動作有りフラグと動作無しフラグが混在する。この際、時間窓ＰＷＪ内における動作有りフラグのタイミングの識別結果が操作Ｂであっても、時間窓ＰＷＪに対しては識別結果無しとなる。

【0093】

また、判定部４３２は、時間窓内の全ての識別タイミングにおいて、動作有りフラグであっても、操作の岸別結果が一致しなければ、これらの識別結果を破棄する。すなわち、判定部４３２は、この時間窓に対しては識別結果無しと判定する。

【0094】

例えば、図１１の場合、時間窓ＰＷＩでは、全ての識別タイミングにおいて動作有りフラグである。この際、時間窓ＰＷＩ内の識別結果が操作Ｂとそれ以外とで混在すれば、時間窓ＰＨＩに対しては識別結果無しとなる。

【0095】

また、判定部４３２は、時間窓内の全ての識別タイミングにおいて、動作無しフラグであれば、この時間窓に対しては識別結果無しと判定する。

【0096】

例えば、図１１の場合、時間窓ＰＷＡ、ＰＷＤ、ＰＷＧでは、全ての識別タイミングにおいて動作無しフラグである。したがって、時間窓ＰＷＡ、ＰＨＤ、ＰＷＧに対しては識別結果無しとなる。

【0097】

このような処理を行うことで、演算部４３は、操作を推定できる。そして、演算部４３は、ガウス関数フィッティングによる操作推定時間の設定を行わなくても、操作を推定できる。これにより、演算部４３は、より高速に操作を推定できる。

【0098】

この際、推定用の規範信号および閾値Ｔｈ（ｔ）は、上述のように、ガウス関数フィッティングによって設定された学習推定用の時間範囲を用いて設定される。したがって、推定に用いる比較対象は高精度であり、演算部４３は、精度良い推定を実現できる。

【0099】

さらに、この方法を用いることで、複合操作を推定できる。複合操作とは、複数の操作を組み合わせることで、特定の操作として識別されるものである。例えば、（指の下げ）＋（指の下げと同じ指の上げ）＝（クリック操作）のようなものである。この際、（指の下げ）から（指の上げ）までの時間も、特定の操作として識別するための判定要素となる。

【0100】

図１２、図１３、図１４は、複合操作の判定を行う場合の概念を示す図である。図１２、図１３、図１４において、各枠はそれぞれに時間窓を表す。また、ハッチングされた時間窓は、時間窓としての操作の識別結果が得られたものを示し、ハッチングの種類によって操作内容が異なる。

【0101】

図１２の場合、時間窓ＰＷＢと時間窓ＰＷＣとで、同じ操作（例えば操作Ａ）が識別される。この場合、判定部４３２は、最初にこの操作（例えば操作Ａ）を識別した時間窓ＰＷＢの識別結果を採用する。そして、判定部４３２は、時間窓ＰＷＢに続く時間窓ＰＷＣの識別結果を破棄する。

【0102】

また、時間窓ＰＷＨと時間窓ＰＷＩとで、同じ操作（例えば操作Ｂ）が識別される。この場合、判定部４３２は、最初にこの操作（例えば操作Ｂ）を識別した時間窓ＰＷＨの識別結果を採用する。そして、判定部４３２は、時間窓ＰＷＨに続く時間窓ＰＷＩの識別結果を破棄する。

【0103】

そして、判定部４３２は、時間窓ＰＷＢの識別結果（操作Ａ）と時間窓ＰＷＨの識別結果（操作Ｂ）とを組み合わせて、特定の操作を判定する。例えば、操作Ａが（右人差し指の下げ）であり、操作Ｂが（右人差し指の上げ）であれば、判定部４３２は、これらの識別結果から、（右人差し指によるクリック操作）と判定する。

【0104】

この際、判定部４３２は、時間窓ＰＷＢを起点に時間をカウントしており、特性の操作の識別に準じた判定保留時間内に、次の操作の識別結果が得られなければ、時間窓ＰＷＢで識別した操作を、単独の操作として確定する。すなわち、判定部４３２は、特定の操作の起点となる時間窓に対して、特定の操作の識別に準じた時間内に次の操作の識別結果が得られなければ、起点として設定した時間窓で識別した操作の識別結果を破棄する。なお、特定の操作の識別に準じた時間内に次の操作の識別結果が得られなければ、起点として設定した時間窓で識別した操作を単独の操作として検出することも可能である。

【0105】

なお、このような特定の操作の判定基準は、上述の個別の操作の学習と同様に学習でき、記憶部５０に記憶されている。判定部４３２は、この記憶内容を参照して、特定の操作の判定を行う。

【0106】

図１３の場合、時間窓ＰＷＢと時間窓ＰＷＥとで、同じ操作（例えば操作Ａ）が識別される。この場合、判定部４３２は、最後にこの操作（例えば操作Ａ）を識別した時間窓ＰＷＥの識別結果を採用する。そして、判定部４３２は、時間窓ＰＷＢの識別結果を破棄する。すなわち、判定部４３２は、時間軸上で互いに隣接しない複数の時間窓で同じ操作が識別された場合、最後に操作が識別された時間窓の識別結果を採用する。

【0107】

また、図１３の場合であれば、時間窓ＰＷＨにおいて、時間窓ＰＷＥと異なる操作（例えば操作Ｂ）が識別される。時間窓ＰＷＨの前後所定時間内には、時間窓ＰＷＨと同じ操作の識別結果がないので、判定部４３２は、時間窓ＰＷＨの識別結果を採用する。

【0108】

そして、判定部４３２は、時間窓ＰＷＥの識別結果（操作Ａ）と時間窓ＰＷＨの識別結果（操作Ｂ）とを組み合わせて、特定の操作を判定する。

【0109】

図１４の場合、時間窓ＰＷＢと時間窓ＰＷＨとで、同じ操作（例えば操作Ａ）が識別される。そして、時間窓ＰＷＥでは、一部が動作無しフラグのため、時間窓ＰＷＢと時間窓ＰＷＨと異なる操作（例えば操作Ｂ）が行われていても、識別結果は得られていない。

【0110】

この場合、判定部４３２は、時間窓ＰＷＢの識別結果と時間窓ＰＷＨの識別結果によって、複合操作の判定を行う。時間窓ＰＷＢと時間窓ＰＷＨとは同じ識別結果であり、時間軸上で離間している。したがって、判定部４３２は、時間窓ＰＷＨの識別結果（操作Ａ）を採用し、時間窓ＰＷＢの識別結果を破棄する。そして、判定部４３２は、時間窓ＰＷＨの識別結果を判定保留時間の間保持し、特定の操作の判定を保留する。

【0111】

このような処理を行うことによって、演算部４３は、複合操作を識別（推定）できる。この際、ガウス関数フィッティングによる操作推定時間の設定を行わなくても、操作を推定できる。これにより、演算部４３は、より高速に操作を推定できる。また、上述のように、推定に用いる比較対象は高精度であり、演算部４３は、精度良い推定を実現できる。

【0112】

なお、上述の実施形態では、センサ数が１６個の場合を示した。しかしながら、センサ数は、これに限るものではなく、複数であればよい。例えば、操作を検出する指の本数、推定する指の動きの種類等に基づいて、所定個数に設定すればよい。

【0113】

また、上述の実施形態では、総活性度Ｓ（ｔ）としてチャート図を用いる態様を示した。しかしながら、計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）の振幅の合計値を用いれば、総活性度Ｓ（ｔ）は、算出できる。

【0114】

また、上述の実施形態では、識別器を２個用いる態様を示した。しかしながら、識別器の個数はこれに限るものではなく、識別条件に応じて適宜設定すればよい。例えば、指の動きとして、上下方向の移動以外に、水平方向の移動を識別する場合には、操作装置は、水平方向の移動を識別する識別器をさらに追加すればよい。なお、識別器を１個にして、全ての識別を行うことも可能である。

【0115】

（操作推定方法）
図１５は、第１の実施形態に係る操作推定方法の一例を示すフローチャートである。なお、図１５に示す処理は、上述の時間窓を用いた場合を示す。ガウスフィッティングを用いた操作推定用の時間範囲を用いる推定方法は、上述の図１０に示す学習方法における学習の箇所を推定に置き換えることで実現可能である。

【0116】

操作装置１０は、複数のセンサ２０１－２１６にて、指の操作による手首の腱の運動（皮膚の表面の変位）に応じたセンサ信号を生成する（Ｓ２１）。操作装置１０は、複数のセンサのセンサ信号を用いて、それぞれに計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）を生成する（Ｓ２２）。

【0117】

操作装置１０は、複数のセンサの計測信号を用いて、範囲設定指標（指標値）である総活性度Ｓ（ｔ）を算出する（Ｓ２３）。操作装置１０は、推定用の時間窓を設定する（Ｓ２４）。操作装置１０は、推定用の時間窓の計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）を用いて操作を推定する（Ｓ２５）。

【0118】

操作推定（Ｓ２５）においては、上述のように、複数時刻の識別結果、さらには、複数の識別結果の時間的な繋がりから、複合操作を推定することも可能である。言い換えれば、複数の識別結果が１つ（１種類）の操作を示す条件を満たす場合には、これら複数の識別結果を用いて、この１つの操作を推定する。例えば、ある指の下げを識別したことに続いて同一の指の上げを識別した場合に、タップ操作を推定する。

【0119】

一方、複数の識別結果が１つ（１種類）の操作を示す条件を満たさない場合に、これら複数の識別結果を、それぞれ個別の識別結果として、それぞれ個別の操作を推定する。例えば、ある指の下げを識別したことに続いて、別の指の上げを識別した場合に、これらを個別の操作として推定する。

【0120】

（操作推定の適用対象の一例）
図１６は、本実施形態の操作装置の適用対象の一例を示す図である。図１６において、それぞれにハッチングされた円は、それぞれに指のデフォルト位置ＰＤを示す。図１６に示すように、操作装置１０によって推定された指の操作は、例えば、仮想キーボード２９への入力に用いることができる。

【0121】

具体的には、仮想キーボード２９には、複数の仮想キー２９０が配列される。複数の仮想キー２９０には、座標がそれぞれ設定されている。仮想キーボード２９には、各指のデフォルト位置ＰＤが設定されている。デフォルト位置は、指毎、すなわち、右手９０Ｒの五指、左手９０Ｌの五指のそれぞれに対して、設定されている。これらのデフォルト位置ＰＤは、例えば、事前の学習等によって設定される。動かされた指およびその動きは、操作装置１０によって推定される。この動きが、仮想キーボード２９を操作する指の移動、キーの押圧動作等に割り付けられる。これにより、仮想キーボード２９において、どの仮想キー２９０が押圧されたかを推定検出できる。

【0122】

これにより、物理的な文字キーボードがなくても、操作装置１０が空中あるいは机上等における指の動きや操作を検知することで、操作装置１０にペアリングされた電子機器（例えばスマートフォンやＰＣ等）に文字入力を行うことができる。言い換えれば、操作装置１０が入力デバイスとして機能する。

【0123】

［第２の実施形態］
本発明の第２の実施形態に係る操作推定技術について、図を参照して説明する。図１７は、第２の実施形態に係る操作装置の構成の一例を示す機能ブロック図である。

【0124】

図１７に示すように、第２の実施形態に係る操作装置１０Ａは、第１の実施形態に係る操作装置１０に対して、ＩＭＵセンサ６０を追加した点、推定部４０Ａの処理において異なる。操作装置１０Ａの他の構成は、操作装置１０と同様であり、同様の箇所の説明は省略する。

【0125】

操作装置１０Ａは、推定部４０Ａ、記憶部５０Ａ、および、ＩＭＵセンサ６０を備える。ＩＭＵセンサ６０は、三軸加速度センサ、三軸角速度センサ等によって構成される。ＩＭＵセンサ６０は、手首に装着され、手首の動きを計測する。ＩＭＵセンサ６０は、ＩＭＵ計測信号を、推定部４０Ａに出力する。

【0126】

推定部４０Ａは、複数のセンサ２０１－２１６の計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）とともに、ＩＭＵ計測信号を用いて、指による操作を推定する。この際、記憶部５０Ａには、ＩＭＵ計測信号についてはＩＭＵ計測信号用の規範信号および操作推定の判定基準が記憶されている。推定部４０Ａは、記憶部５０Ａに記憶されている規範信号および操作推定の判定基準を参照し、ＩＭＵ計測信号を用いて、指による操作を推定する。

【0127】

この際、推定部４０Ａは、例えば、ＩＭＵ計測信号用の識別器を、複数のセンサ２０１－２１６の計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）用の識別器と別にすることもできる。これらを別の識別器にすることで、各識別器の負荷軽減および操作推定の精度向上を実現できる。

【0128】

［第３の実施形態］
本発明の第３の実施形態に係る操作推定技術について、図を参照して説明する。図１８は、第３の実施形態に係る操作装置の構成の一例を示す機能ブロック図である。図１９は、第３の実施形態に係る操作装置の装着例を示す図である。

【0129】

図１８に示すように、第３の実施形態に係る操作装置１０Ｂは、第２の実施形態に係る操作装置１０Ａに対して、アプリケーション実行部７１、および、表示部７２を備える点で異なる。操作装置１０Ｂの他の構成は、操作装置１０と同様であり、同様の箇所の説明は省略する。なお、操作装置１０Ｂの推定部４０Ｂおよび記憶部５０Ｂは、操作装置１０Ａの推定部４０Ａおよび記憶部５０Ａと同様であり、説明は省略する。

【0130】

操作装置１０Ｂは、アプリケーション実行部７１、および、表示部７２を備える。アプリケーション実行部７１は、例えば、ＣＰＵ、および、ＣＰＵで実行されるアプリケーションが記憶されたメモリ等によって構成される。アプリケーション実行部７１には、操作推定結果が入力される。

【0131】

アプリケーション実行部７１は、例えば、文書作成アプリ、メールアプリ、ＳＮＳアプリ等を実行する。この際、アプリケーション実行部７１は、操作推定結果によって検出されたキーの操作状況から、文字入力を推定し、各種アプリに反映させる。アプリケーション実行部７１は、アプリの実行結果を表示部７２に出力する。表示部７２は、アプリの実行結果を表示する。

【0132】

このような態様において、例えば、図１９に示すように、操作装置１０Ｂは、スマートウォッチのような構造を備える。すなわち、図１９に示すように操作装置１０Ｂは、筐体７００を有する。筐体７００は、手首の装着可能な大きさである。筐体７００は、ひずみセンサ２０上に装着され、センサ２０に接続する。

【0133】

筐体７００の表面には、表示部７２が配置される。操作装置１０Ｂにおけるひずみセンサ２０および表示部７２以外の機能部は、筐体７００内に収容されている。

【0134】

［第４の実施形態］
本発明の第４の実施形態に係る操作推定技術について、図を参照して説明する。図２０は、第４の実施形態に係る操作装置の構成の一例を示す機能ブロック図である。

【0135】

図２０に示すように、第４の実施形態に係る操作装置１０Ｃは、第１の実施形態に係る操作装置１０に対して、無線通信部８１、無線通信部８２を備える点で異なる。操作装置１０Ｃの他の構成は、操作装置１０と同様であり、同様の箇所の説明は省略する。

【0136】

操作装置１０Ｃは、無線通信部８１および無線通信部８２を備える。無線通信部８１は、前段信号処理部３０の出力側に接続する。無線通信部８２は、推定部４０の入力側に接続する。

【0137】

無線通信部８１は、複数のセンサ２０１－２１６の計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）を、無線通信部８２に送信する。無線通信部８２は、受信した計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）を、推定部４０に出力する。

【0138】

このような構成によって、操作装置１０Ｃは、計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）を生成するまでの構成と、操作の推定を行う構成とを分離できる。これにより、手首に装着される部分を小さくでき、操作装置１０Ｃは、装着者の違和感をさらに抑制でき、操作性をさらに向上できる。

【0139】

なお、無線によって分離する部分は、この実施形態の位置に限るものではないが、例えば、この実施形態の構成では、比較的波形が明確なデジタル信号になった計測信号ｙＣＨ１（ｔ）－ｙＣＨ１６（ｔ）を送受信する。したがって、センサ信号を送受信するよりも、ノイズによる誤推定の発生を抑制できる。

【0140】

［第５の実施形態］
本発明の第５の実施形態に係る操作推定技術について、図を参照して説明する。図２１は、第５の実施形態に係る操作装置の構成の一例を示す機能ブロック図である。

【0141】

図２１に示すように、操作推定システム１は、操作装置１０Ｄと、操作対象デバイス２とを備える。操作装置１０Ｄは、第１の実施形態に係る操作装置１０に対して、通信部７０を備える点で異なる。操作装置１０Ｄの他の構成は、操作装置１０と同様であり、同様の箇所の説明は省略する。

【0142】

通信部７０は、推定部４０の出力側に接続し、推定部４０から操作の推定結果が入力される。通信部７０は、例えば、無線通信機能を有し、操作対象デバイス２と通信可能である。通信部７０は、操作の推定結果を、操作対象デバイス２に送信する。

【0143】

操作対象デバイス２は、操作の推定結果を用いて、所定のアプリケーション（例えば、上述の実施形態に示したアプリケーション実行部７１で実行するアプリケーション等）を実行する。

【0144】

このように、上述の指の操作推定は、装置単体によって利用されるものに限らず、システムとして利用することもできる。

【0145】

なお、上述の説明では、操作装置が「学習」の機能と「推定」の機能の両方を備える態様を示した。しかしながら、操作装置が「推定」の機能のみを備えていてもよい。図２２は、操作の推定のみを行う演算部の構成の一例を示す機能ブロック図である。

【0146】

図２２に示すように、学習機能を有さず、推定のみを行う操作装置の演算部４３ＥＳは、識別器４３１１、識別器４３１２、および、判定部４３２を備える。すなわち、演算部４３ＥＳは、上述の演算部４３における学習部４３３を省略したものである。

【0147】

この場合、学習は、この操作装置と同様の構成で少なくとも学習部４３３を備える他の操作装置によって行われる。そして、推定機能のみを有する操作装置は、記憶部５０に学習結果を事前に記憶しておく、推定機能のみを有する操作装置は、記憶した学習結果を用いて、操作の推定を行う。

【0148】

また、推定機能のみを有する操作装置が外部との通信機能を備えていれば、推定機能のみを有する操作装置は、外部のサーバ等に記憶された学習結果を適宜取得して、操作の推定を行うことができる。

【0149】

上述の各実施形態は、指によるキー等の操作入力を主眼として説明した。しかしながら、本願発明の各実施形態の構成および処理は、キー入力に限らない。例えば、指を動かして操作するゲーム機等、他の分野の装置にも適用可能である。

【0150】

また、上述の各実施形態の構成および処理は、適宜組み合わせることが可能であり、それぞれの組合せに応じた作用効果を奏することができる。

【符号の説明】

【0151】

１：操作推定システム
２：操作対象デバイス
１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ：操作装置
２０：ひずみセンサ
２９：仮想キーボード
３０：前段信号処理部
４０：推定部
４０Ａ：推定部
４０Ｂ：推定部
４１：指標値算出部
４２：範囲設定部
４３、４３ＥＳ：演算部
５０、５０Ａ、５０Ｂ：記憶部
６０：ＩＭＵセンサ
７０：通信部
７１：アプリケーション実行部
７２：表示部
８１、８２：無線通信部
９０Ｌ：左手
９０Ｒ：右手
９１：甲
２０１－２１６：センサ
２９０：仮想キー
４１１：チャート生成部
４１２：総活性度算出部
４２１：ガウス関数フィッティング部
４２２：ピーク検出部
４２３：開始終了時刻決定部
４３２：判定部
７００：筐体
９１１：表面
９１２：裏面
４３１１、４３１２：識別器

【図1】