特許 5963975 タッチレスユーザインタフェースのためのハイブリッド入力装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5963975

(24)【登録日】2016年7月8日

(45)【発行日】2016年8月3日

(54)【発明の名称】タッチレスユーザインタフェースのためのハイブリッド入力装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20160721BHJP

   G06F 3/16 20060101ALI20160721BHJP

   G10L 15/28 20130101ALI20160721BHJP

【ＦＩ】

   G06F3/01 510

   G06F3/16 650

   G10L15/28 230Z

【請求項の数】18

【全頁数】11

(21)【出願番号】特願2015-553143(P2015-553143)

(86)(22)【出願日】2014年1月7日

(65)【公表番号】特表2016-511456(P2016-511456A)

(43)【公表日】2016年4月14日

(86)【国際出願番号】FI2014050009

(87)【国際公開番号】WO2014114847

(87)【国際公開日】20140731

【審査請求日】2015年7月31日

(31)【優先権主張番号】13/747,729

(32)【優先日】2013年1月23日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】315002955

【氏名又は名称】ノキア テクノロジーズ オーユー

(74)【代理人】

【識別番号】100127188

【弁理士】

【氏名又は名称】川守田 光紀

(72)【発明者】

【氏名】ホワイト リチャード

(72)【発明者】

【氏名】キヴィオヤ ヤニ

(72)【発明者】

【氏名】マシューズ アンドリュー ピーター

(72)【発明者】

【氏名】アストリー マイケル

(72)【発明者】

【氏名】ボリニ ステファノ

【審査官】 山崎 慎一

(56)【参考文献】

【文献】 国際公開第２０１２／０９７４５９（ＷＯ，Ａ１）

【文献】 国際公開第２０１２／１７８０７１（ＷＯ，Ａ２）

【文献】 特開２０１２−０８８８１３（ＪＰ，Ａ）

【文献】 国際公開第２０１２／１４７２７４（ＷＯ，Ａ１）

【文献】 特開２００４−２０９１２６（ＪＰ，Ａ）

【文献】 国際公開第２０１０／１０６８９８（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／１６

Ｇ１０Ｌ １５／２８

(57)【特許請求の範囲】

【請求項1】

センシング薄膜を備えたセンサであって、前記センシング薄膜はユーザの呼気に基づいて信号を提供するように構成される、前記センサと；
前記センサに動作可能に関連するコントローラであって、前記ユーザの呼気に基づく信号を受け取るように構成される、前記コントローラと；
を備え、前記ユーザの呼気から放出された水分が、前記ユーザの識別に使用される、装置。

【請求項2】

前記コントローラに動作可能に関連するマイクロフォンを更に備える、請求項１に記載の装置。

【請求項3】

前記センシング薄膜は、グラフェン酸化物、グラフェン、機能性グラフェン、フルオログラフェン、モリブデナイト、窒化硼素、及び前項の組合せから成るグループから選択される、請求項１に記載の装置。

【請求項4】

前記ユーザの呼気に基づく信号は、前記センシング薄膜で受け取られる電気的インピーダンスの変化である、請求項１に記載の装置。

【請求項5】

前記コントローラは音声認識システムを備える、請求項１に記載の装置。

【請求項6】

前記コントローラは、前記ユーザの音声から選択された部分の速度を分析する手段を備える、請求項１に記載の装置。

【請求項7】

前記コントローラは、前記ユーザの呼気から選択された部分の温度特徴を分析する手段を備える、請求項１に記載の装置。

【請求項8】

前記センサは、前記ユーザの呼気の湿度を感知する、請求項１に記載の装置。

【請求項9】

前記ユーザの呼気に基づいて受け取られた信号は、前記装置のコンポーネントをスリープモードからウェイクアップする、請求項１に記載の装置。

【請求項10】

薄膜を備える呼気センサであって、前記薄膜は、湿度勾配に基づいて電気的インピーダンスの変化を感知し、前記感知した変化を出力信号として出力するように構成される、前記呼気センサと；
前記呼気センサからの出力信号を処理するように構成される、コントローラと；
を備える装置であって、前記呼気センサからの出力信号を受け取り、前記受け取った出力信号に応じて信号を提供するように構成される、装置であって、前記呼気センサの出力信号に基づく水分分析の結果を、前記装置のユーザの識別に利用するように構成される、装置。

【請求項11】

前記コントローラは音声認識システムを備える、請求項１０に記載の装置。

【請求項12】

ユーザの呼気に応じて提供される信号は、前記コントローラをスリープモードからウェイクアップする、請求項１０に記載の装置。

【請求項13】

前記コントローラに関連する制御機構であって、前記呼気センサからの信号を矩形波に変換するように構成される、前記制御機構を更に備える、請求項１０に記載の装置。

【請求項14】

前記コントローラに動作可能に関連するマイクロフォンであって、ユーザから音声信号を受け取るように構成される、前記マイクロフォンを更に備え、前記音声信号は、ユーザのユーザ識別及び感情認識の少なくとも１つに対して使用できる電子信号に変換される、請求項１０に記載の装置。

【請求項15】

薄膜を備えるセンサとコントローラとを備えるユーザインタフェースを提供することであって、前記薄膜は湿度の結果として信号を提供するように構成され、前記コントローラはプロセッサを備え、前記センサと動作可能に関連する、前記ユーザインタフェースを提供することと；
前記ユーザインタフェースでユーザからの入力を受け取ることであって、前記入力は前記ユーザの呼気からの水分を湿度の形で含む、前記受け取ることと；
前記ユーザの呼気に基づいて、前記入力から前記信号を生成することと；
前記プロセッサで、前記ユーザの呼気からの前記入力から生成された前記信号を受け取り、前記信号を処理することと；
を含み、前記湿度は前記ユーザの識別に使用される、方法。

【請求項16】

前記プロセッサで前記信号を処理することは、音声速度、温度特徴、及び湿度特徴の少なくとも１つを決定するために、前記ユーザの呼気に基づく前記入力からの前記信号を分析することを含む、請求項１５に記載の方法。

【請求項17】

前記音声速度、温度特徴、及び湿度特徴の少なくとも１つを決定することは、前記コントローラをスリープモードからウェイクアップするために使用される、請求項１６に記載の方法。

【請求項18】

１つ又は複数の命令の１つ又は複数のシーケンスを含むコンピュータプログラムであって、前記１つ又は複数の命令は、装置の１つ又は複数のプロセッサで実行されると、前記装置に少なくとも：
ユーザインタフェースでユーザからの入力を受け取ることであって、前記入力は前記ユーザの呼気に基づく水分を湿度の形で含む、前記受け取ることと；
前記ユーザの呼気に基づいて、前記入力から信号を生成することと；
前記プロセッサで、前記ユーザの呼気に基づく前記入力から生成された前記信号を受け取り、前記信号を処理することと；
を実行させ、前記湿度は前記ユーザの識別に使用される、コンピュータプログラム。

【発明の詳細な説明】

【背景】

【0001】

［技術分野］
本出願で開示する例示的かつ非限定的な実施形態は、概してタッチレスユーザインタフェースに関し、より具体的には呼気による制御でデータ入力システムのウェイクアップを行うことに関する。

【0002】

［先行開発の概要］
タッチレスユーザインタフェースには種々のタイプが知られている。光センシングと三角測量に基づいて被制御要素を起動するタッチレスシステムが知られているが、音声によって装置の動作を制御するシステムもある。音声による装置動作の制御システムのあるタイプは、低電力ウェイクアップ回路を備える音声認識システムである（低電力ウェイクアップ回路とは、低電力オーディオチャネルであって、マイクロフォンと第2の標準オーディオチャネルの両方に接続され、2つのオーディオチャネル間を切り替えるプロセッサを備えるものである）。

【摘要】

【0003】

以下の摘要は単なる例示であり、本願の特許請求の範囲を限定しようとするものではない。

【0004】

ある態様によれば、装置はセンシング膜を備えたセンサと、前記センサに動作可能に関連するコントローラとを備え、前記センシング膜は、ユーザの呼気に基づいて信号を提供するように構成される。前記コントローラは、前記ユーザの呼気に基づく信号を受け取るように構成される。

【0005】

別の態様によれば、別の装置はグラフェン酸化物膜を備える呼気センサとコントローラとを備え、前記グラフェン酸化物膜は、湿度勾配に基づいて電気的インピーダンスの変化を感知し、前記感知した変化を出力信号として出力するように構成され、前記コントローラは前記呼気センサからの出力信号を処理するように構成される。前記装置は、前記呼気センサからの出力信号を受け取り、それに応じて信号を提供するように構成される。

【0006】

また別の態様によれば、薄膜を備えるセンサとコントローラとを備えるユーザインタフェースを提供することであって、前記薄膜は湿度の結果として信号を提供するように構成され、前記コントローラはプロセッサを備え、前記センサと動作可能に関連する、前記ユーザインタフェースを提供することと；前記ユーザインタフェースでユーザからの入力を受け取ることであって、前記入力は前記ユーザの呼気からの水分を湿度の形で含む、前記受け取ることと；前記ユーザの呼気に基づいて、前記入力から前記信号を生成することと；前記プロセッサで、前記ユーザの呼気からの前記入力から生成された前記信号を受け取り、前記信号を処理することを含む方法が提供される。

【図面の簡単な説明】

【0007】

前述した態様とその他の特徴については、添付図面と合わせて以降の記述で説明される。

【図1】タッチレスユーザインタフェース（UI）用ハイブリッド入力装置のある例示的実施形態の概略的な回路図である。装置は音声識別システム方式である。

【図2】湿度の上昇に対する図1の装置のグラフェン酸化物（GO）薄膜の反応時間を示すプロットのグラフ表現である。

【図3】タッチレスUI用ハイブリッド入力装置の別の例示的実施形態の概略的な回路図である。装置は音声識別システム方式である。

【図4】音声認識システム方式のタッチレスUIに対する音声命令の音声波形のグラフ表現である。

【図5】湿度の上昇に対するドロップキャストGO膜の反応時間を示すプロットのグラフ表現である。

【図6】湿度のパルス変動に対する吹付けGO膜の湿度に対する反応時間を示すプロットのグラフ表現である。

【図7】音声認識システム方式のタッチレスUIを用いる例示的方法を示す略図である。

【図8】図7の方法に関する信号処理の例示的方法を示す略図である。

【実施形態の詳細説明】

【0008】

ジェスチャーを使ったスワイプや近接、音声認識といったタッチレスユーザインタフェース（UI）は、将来の電子装置の開発のために考慮される技術の一部である。他に考慮される技術としては、電源管理モードから装置を起動する呼気センシング機構を利用する技術がある。

【0009】

タッチレスUIの最も自然な実装の一つは、音声認識を利用することである。例示的な音声認識システムは音波を電気信号に変換するマイクロフォンを使用し、電気信号はプロセッサが音声認識アルゴリズムを用いて解釈される。しかし、こうしたシステムではマイクロフォンとプロセッサを備えるセットアップが過剰に電力を消費することがよくあり、携帯電話等のポータブルな家電において「常時オン」状態で使用するには適さない。こうした状況に対抗するために、通常、既存のマイクロフォン／プロセッサのセットアップは、二次的なユーザ入力であって、通常ユーザが話をする前にボタンを押すことによってウェイクアップされる。ボタンが押されるとなると、UIはもはや真のタッチレスとは言えず、自然で直感的に使用できるものではない。一方、二次的ユーザ入力が音声入力である場合、マイクロフォンはユーザの音声と周囲の雑音との識別に対応するため、装置が通話中の場合これらを分別することができない可能性がある。このため、騒音環境下ではこうしたUIの使用は制限されることになる。また、マイクロフォンには通常、ユーザが話す際にユーザが発する気流の速度や湿度の微妙な変化を検出するのには限られた感度しかない。こうした気流の速度や湿度は、ユーザの感情状態や体調、個性に依存する。こうした追加構成要素の検出と識別は、ユーザが話す言葉の分析をより豊かなものにすることができる。

【0010】

本出願では、ハイブリッドユーザ入力装置で規定される、音声認識システム方式のタッチレスUIの例示的実施形態が開示される。ハイブリッドユーザ入力装置は、グラフェン酸化物（以下「GO」とする）を積層した薄膜と関連コントローラを組み込んだセンサを備える。コントローラは、GO膜の湿度勾配を介して起動可能なプロセッサを備える。ハイブリッドユーザ入力装置の例示的実施形態によっては、マイクロフォンを備えてもよい。プロセッサに関連するソフトウェアコードは、センサからの応答を解釈するように構成され、マイクロフォンが存在する場合は、そこからの応答とセンサからの応答を結合することもできる。別の例示的実施形態ではセンサがGO以外の材料を含んでもよく、例えばグラフェンや機能性グラフェン、フルオログラフェン、モリブデナイト、窒化硼素、そしてこうした材料の組合せ等を含んでもよい。

【0011】

GO薄膜を組み込んだセンサは、ハイブリッドユーザ入力装置を低電力動作（ハイブリッドユーザ入力装置が節電のために消費電力を落とす「スリープ」モード）からウェイクアップするのに使用され、低遅延で動作してもよい。あるいは又は加えて、センサは雑音低減、感情状態認識、及び／又はユーザ識別を提供してもよい。

【0012】

ある実施形態において、ユーザがハイブリッドユーザ入力装置に話し始めると、GO膜ベースのセンサは、ユーザが環境に放出する水分によって反応する。センサによる反応は通常、比較的短時間で検出される電気的インピーダンスの変化である。例えば、こうした反応の検出は通常「超高速」と考えられ、本出願ではこれを約10〜12ミリ秒（ms）の時間と考える。この応答によりコントローラが起動され、システムのタッチレスなインタラクションが開始される。プロセッサに関連する音声認識機能は、装置がスリープモードであっても、ユーザが話し始めるとセンサの反応を介して実質的に瞬時に起動することができる。

【0013】

実施形態によっては、センサの反応時間で、ユーザが話し中にGO膜に向けて出した気流の分析が（例えば、プロセッサによって）可能であってもよい。この分析中に、選択された言葉のプロファイルの変化が、ユーザの感情状態の変化に関連して言及される。具体的には、類似する言葉が異なるイントネーションで話される場合、それぞれ異なる周波数と振幅を持ち、それらは異なった温度及び湿度の特徴だけでなく、異なった気流速度の特徴を示すことになる。センサは、ユーザの異なる感情の識別（感情認識）を行うために、気流速度や温度、湿度の特徴に基づいて言葉を適切に「学習」するように構成されてもよい。こうしたセンサを採用するシステムは、温度勾配と湿度勾配の分析だけでなく、ユーザが発する声の周波数と振幅の連続した分析によって、学習した言葉の連続的な改善を行うこともできる。このシステムとセンサは、周囲の湿度レベル（例えば、大気湿度）に対する温度勾配と湿度勾配を相殺するように構成されてもよい。

【0014】

実施形態によっては、学習された話し言葉の湿度分析はユーザ識別に利用することもできる。この態様は、電話機等の装置をロック又はロック解除するセキュリティ対策としてセンサ（単独又はマイクロフォンと共に）を利用できるようにする。湿度分析が電話機をロック又はロック解除するセキュリティ対策として利用される場合、パスワードやコードといったセキュリティ対策の手動入力は不要であり、ユーザの呼気だけで電話機をロック解除して着信を受けることができる。システムが認識しないユーザが電話機を使用しようとした場合、受け取られた湿度特徴の違いによってその電話機がロック解除されるのを防止することができる（あるいは、温度特徴と速度特徴を組み合わせたり、周波数及び／又は振幅分析を用いた音声認識を組み合わせたりすることもできる）。これは追加的な安全機能である。

【0015】

さらに、センサ応答をオーディオ信号のフィルタリング処理と組み合わせ、雑音を低減させることもできる。例えば、センサの応答が、ユーザの音声と関係のないオーディオ信号（例えば、湿度信号と相関のないオーディオ信号）をフィルタで除く信号処理と共に使用されてもよい。

【0016】

実施形態によっては、センサの応答が、ユーザの感情認識のための信号を処理する信号処理と共に使用されてもよい。こうした例示的実施形態の一つでは、処理信号がユーザの呼気の速度特徴と相関があってもよい。例えば、処理信号の中にはユーザが落ち着いていることを示すゆっくりと深い呼吸と相関のあるものもあり、他の処理信号はユーザがストレスを受けていることを示す速く不規則な呼吸と相関があるものもある。信号装置におけるセンサとマイクロフォンの組合せによって、更に補間情報を与える測定が行え、それによってセンサ単独で使用するより改善された結果を提供することができる。例えば、センサとマイクロフォンの組合せにより、センサを単独で使用する実施形態と比べてユーザの感情をより詳細かつ正確に認識するような方式で、オーディオ信号の処理を行うことができる。

【0017】

その結果、音声認識システム方式のタッチレスUIは、超高速の反応時間と低消費電力、そしてユーザが話しをする間に放出される水分に対する高い感度を有する湿度センサを備えることができる。

【0018】

次に図1を参照する。音声認識システム方式のUIを規定するある回路の実施形態が、参照番号100で概括的に示されている。以降ではこれを「システム100」とする。システム100は、センサ110とマイクロフォンモジュール120、コントローラ130を備えてもよい。センサ110は（例えば電源から）レール電圧（V_DD）が印加されている薄膜140を備える。薄膜140は、湿度勾配に対応する電気的インピーダンスの変化を検出することで湿度を感知することができる。薄膜140は、GO、又は電気的インピーダンスの変化を検出することで湿度を感知できる他のあらゆる材料を含むことができる。ある例示的実施形態において、薄膜140には可変抵抗及び固定抵抗が含まれる。固定抵抗は通常約10メガオームの基準抵抗値を与え、薄膜層の一部として限定されることはない。薄膜層はGOを規定するが、表面実装された金属膜を含んでもよい。

【0019】

マイクロフォンモジュール120が存在する場合、音声信号150を電子信号160に変換するトランスデューサを組み込んでいる。実施形態によっては、マイクロフォンモジュール120のトランスデューサの周囲に保護スクリーンが配置され、薄膜140がこの保護スクリーンの中に組み込まれていてもよい。

【0020】

コントローラ130は、プロセッサ180と少なくとも1種類のメモリ、ソフトウェアを備えてもよい。コントローラ130は、マイクロフォンモジュール120のトランスデューサと薄膜140から1つ又は複数の電子信号160を受け取り、プロセッサ180にデータ入力信号を提供するアナログ・デジタル変換器（ADC）170を備えてもよい。プロセッサ180は音声認識アルゴリズムによりデジタル信号処理（DSP）を行う。コントローラ130は割込みポート190を備えてもよい。薄膜140で感知された湿度は割込みポート190に伝わり、コントローラ130を「スリープ」モードから「ウェイクアップ」するのに使用することができる。プロセッサ180は更に、受電手段や1つ又は複数のスイッチを備えてもよい。

【0021】

プロセッサ180は音声認識アルゴリズムでDSPを行うだけでなく、ナノワット程の電力を消費するだけの低電力モードで「スリープ」状態になることもできる。プロセッサ180は、割込みポート190にかかる直流（DC）電圧が所定の閾値を超えるとウェイクアップされるように構成することができる。このDC電圧の上昇はウェイクアップ機能を起動し、センサ110を立ち上げる。

【0022】

センサ110の立ち上げは薄膜140の抵抗値を下げることで達成され、それに応じて電圧も上昇する。次に図2を参照する。ユーザがセンサ110に音声信号150を与えるか、少なくとも呼気をかける（薄膜140に湿気を与える）と、薄膜140の抵抗値が下がる。その結果、割込みポート190にかかる電圧がそれに応じて上昇し、プロセッサ180を起動することができる。これにより、センサ110とマイクロフォンモジュール120（備えられている場合）、プロセッサ180の音声認識アルゴリズムを備えるシステム100の動作を可能にする。こうした（音声の代替として又は音声と共に）湿度センシングを利用する態様は、周囲の雑音や他の環境条件から引き起こされる誤ったウェイクアップトリガーを回避する方法を提供し、音声認識処理の動作中での雑音低減を容易にすることができる。こうして、音声認識アルゴリズムへのデータ入力が、呼気によるコントローラ130の起動制御に繋げられる。

【0023】

次に図3を参照する。音声認識システム方式のUIに関する別の実施形態が、参照番号200で概括的に示されている。以降ではこれを「システム200」とする。システム200の回路では、DC電圧を使ったセンサ110の立ち上げが、ユーザの呼気信号を分析するのに使用されてもよい。こうした分析を行う際、センサの値の読取りは不要である。しかし、システム100の回路とは異なり、DC電圧による割込みポート190の励起は適さないこともある。それは、センサや測定エレクトロニクスの何れかによってオフセット電圧（V_off）が生じる可能性があるためである。こうしたオフセット電圧（V_off）はセンサによるもの（例えば、電荷トラップや電気化学的効果、湿度変化及び／又は温度変化によるもの）や測定エレクトロニクスによるもの（例えば、ADCの不正確さや基準抵抗値に影響を及ぼす熱変動）、電源によるもの（例えば、電源に取り付けられ、電源と同じ働きをする他のコンポーネントのスイッチのオン・オフ）の何れであっても、通常その電圧の大きさは小さい。また、（例えば電源からの）レール電圧（V_DD）は電子的なノイズを生じ、システム200の動作を損なわせることもある。したがって、システム200の回路では、割込みポート190からのDC励起電圧は制御機構220に渡される。制御機構220は、システムがウェイクアップされるとき、DC励起電圧を矩形波230に変換する。矩形波の高値は基準電圧（V_ref）に設定され、低値はグランドである。ADC170で測定される電位差は次の通りである：
(V_ref+V_off) R_meas/(R_sense+R_meas) - V_off R_meas/(R_sense+R_meas)
=V_ref R_meas/(R_sense+R_meas)
この値はオフセット電圧に依存しない（ここで、R_senseはセンサ110の抵抗値、R_measは直列測定抵抗の抵抗値である）。矩形波230の周波数は、薄膜140の並列電気容量（C_sense）が、ADC170が測定する電圧の不正確さを生じさせないように選択される。より具体的には、読取り開始前にコンデンサが放電されるような放電時間を与えるように、1/R_senseC_sense 又は 1/R_measC_sense は測定周波数よりも十分大きい。

【0024】

次に図4を参照する。持続時間が1秒である音声命令の音声波形が参照番号300に概略的に示されている。音声波形300の拡大部分が参照番号310に示されている。拡大部分310に示すように、時刻ゼロ（t₀）でユーザの音声は始まり、時刻t_S（10ms付近）でセンサ110の応答が検出される。プロセッサ180がスリープ状態からウェイクアップするまでの時刻はt_Mに相当する。この時刻は、プロセッサの発振器が起動して安定するまでの時刻であり、起動して安定するまでの時間は1MHzのクロック周波数で通常約1000クロック周期、即ち1msである。これは、プロセッサが音声を記録し音声認識アルゴリズムの実行を開始するのは、ユーザが話し出してから約11ms後であることを意味する。このことは、音声制御ユーザインタフェースには適切な速さであり、音声波形300の主要部分を記録するのに十分な速さでもある。

【0025】

プロセッサ180がウェイクアップすると、センサ110とマイクロフォンモジュール120に接続するADC170はそれぞれの出力信号をサンプリングする。次いで、音声認識アルゴリズムはADC170からの信号を（例えばDSPを通じて）解釈することができる。センサ110からの追加情報はマイクロフォンモジュール120からの電子信号160との相関が取られ、ユーザが話しているときの周囲の雑音を音声信号150から分別することができる。

【0026】

如何なる実施形態においても、センサ110は例えば、（スクリーンとして又は配列の）基板のプリント電極の上部にGO薄膜140を吹付けたりインクジェットでプリントしたりして作成することができる。したがってセンサは装置表面に簡単に組み込むことができる。薄膜140は、センサ110に組み込まれる場合は通常透明である。

【0027】

GO薄膜140を含むセンサ110の反応時間はGO膜の厚さに依存し、膜厚が薄いほど反応時間が短いことが分かる。例えば図5を参照すると、膜厚が約1マイクロメートル（μm）のドロップキャストGO膜の反応時間は約600msである。一方、図6を参照すると、膜厚が約15ナノメートル（nm）の吹付けGO膜の反応時間は約40msである。GO薄片には二次元的性質があるため、膜厚が平面に敷き詰めた原子一個分（約1nm）に等しいGO膜は、例えばラングミュア-ブロジェット（Langmuir-Blodgett）法を用いて実現することができる。したがって、40msよりずっと短い反応時間（例えば10ms以下）は、超薄GO膜を用いて実現することができる。

【0028】

次に図7を参照する。音声認識システム方式のUIで、ハイブリッドユーザ入力装置を備えるUIを使用する例示的方法の1つが、参照番号400で概括的に示されている。以降ではこれを「方法400」とする。方法400はソフトウェアで規定され、コンピュータの非一時的記憶媒体に具現化されてもよい。方法400は、ユーザからの入力を受け取る受信ステップ410を含む。受信ステップ410では、入力は非触覚的（タッチレス）であり、ユーザから少なくとも呼気の形で行われてもよい。呼気は音声成分を有していてもよく、有していなくてもよい。信号420は、受信ステップ410から変換ステップ430に渡される。

【0029】

変換ステップ430では、ユーザの呼気入力による水分（湿気）が薄膜140に与えられ、プロセッサ180の起動を許可する信号を生成する。これと同時に又は略同時に、呼気入力はADC170でデジタル信号に変換される。場合によっては、プロセッサ180の起動許可信号は、オフセット電圧とレール電圧により生じるノイズを相殺するために、矩形波230として受信ステップ410にフィードバックされてもよい。

【0030】

参照番号440で示すデジタル信号は次に処理ステップ450で処理されるために、プロセッサ180の音声認識アルゴリズムに渡される。処理ステップ450では、ユーザから入力された種々の信号のプロファイルの変化が分析され、例えば、ユーザ識別やユーザの感情認識等を決定してもよい。

【0031】

次に図8を参照する。UIの信号を処理する例示的方法の1つが、参照番号500で概括的に示されている。以降ではこれを「方法500」とする。方法500では、受信ステップ410からの入力が音声速度分析ステップ520、温度特徴分析ステップ530、及び湿度特徴分析ステップ540の1つ又は複数で分析される。音声速度分析ステップ520、温度特徴分析ステップ530、及び湿度特徴分析ステップ540の1つ又は複数からの分析結果出力は、学習ステップ545で使用される。このステップでは、ユーザの異なる感情を識別するためにセンサ110が言葉を学習する。

【0032】

ある実施例では、装置はセンシング薄膜を備えたセンサと、前記センサに動作可能に関連するコントローラとを備え、前記センシング薄膜は、ユーザの呼気に基づいて信号を提供するように構成される。前記コントローラは、前記ユーザの呼気に基づく信号を受け取るように構成される。

【0033】

別の実施例では、装置はグラフェン酸化物膜を備える呼気センサとコントローラとを備え、前記グラフェン酸化物膜は、湿度勾配に基づいて電気的インピーダンスの変化を感知し、前記感知した変化を出力信号として出力するように構成され、前記コントローラは前記呼気センサからの出力信号を処理するように構成される。前記装置は、前記呼気センサからの出力信号を受け取り、それに応じて信号を提供するように構成される。

【0034】

別の実施例では、薄膜を備えるセンサとコントローラとを備えるユーザインタフェースを提供することであって、前記薄膜は湿度の結果として信号を提供するように構成され、前記コントローラはプロセッサを備え、前記センサと動作可能に関連する、前記ユーザインタフェースを提供することと；前記ユーザインタフェースでユーザからの入力を受け取ることであって、前記入力は前記ユーザの呼気からの水分を湿度の形で含む、前記受け取ることと；前記ユーザの呼気に基づいて、前記入力から前記信号を生成することと；前記プロセッサで、前記ユーザの呼気からの前記入力から生成された前記信号を受け取り、前記信号を処理することを含む方法が提供される。

【0035】

別の実施例では、1つ又は複数の命令の1つ又は複数のシーケンスを含む非一時的コンピュータ可読記憶媒体であって、前記1つ又は複数の命令は、装置の1つ又は複数のプロセッサで実行されると、前記装置に少なくとも：ユーザからの入力を受け取ることであって、前記入力は前記ユーザの呼気からの水分を湿度の形で含む、前記受け取ることと；前記ユーザの呼気に基づいて、前記入力から信号を生成することと；前記プロセッサで、前記ユーザの呼気に基づく前記入力から生成された前記信号を受け取り、前記信号を処理することとを実行させる、前記非一時的コンピュータ可読記憶媒体が提供される。

【0036】

前述した説明は一例に過ぎないという点に留意しなくてはならない。当業者であれば、種々の代替や変更を考え出すことができる。例えば、種々の従属請求項に記載した特徴は、あらゆる適切な組合せにおいて互いに組み合わせることができる。加えて、前述した別々の実施形態からの特徴を選択的に組み合わせて新たな実施形態にすることもできる。したがって、本出願での記述は、添付の請求項に記載する範囲内にあるこうした代替、変更、及び変形の全てを包含しているものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】