特許 7410265 家電機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-25

(45)【発行日】2024-01-09

(54)【発明の名称】家電機器

(51)【国際特許分類】

   G06F 3/04817 20220101AFI20231226BHJP

   G06F 3/044 20060101ALI20231226BHJP

   G10L 25/51 20130101ALI20231226BHJP

【ＦＩ】

G06F3/04817

G06F3/044 120

G10L25/51

【請求項の数】 7

(21)【出願番号】P 2022205227

(22)【出願日】2022-12-22

(62)【分割の表示】P 2018226227の分割

【原出願日】2018-12-03

(65)【公開番号】P2023052029

(43)【公開日】2023-04-11

【審査請求日】2022-12-22

(73)【特許権者】

【識別番号】302062931

【氏名又は名称】ルネサスエレクトロニクス株式会社

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】栗原 渉

(72)【発明者】

【氏名】三上 雄大

【審査官】岸 智史

(56)【参考文献】

【文献】特開２００８－３０４９６５（ＪＰ，Ａ）

【文献】特開２０１７－１４６７６０（ＪＰ，Ａ）

【文献】特開２０１７－１８２１３３（ＪＰ，Ａ）

【文献】特開２０１１－１１８７６９（ＪＰ，Ａ）

【文献】特開２００６－１４８３５７（ＪＰ，Ａ）

【文献】特開２０１８－１４７３２６（ＪＰ，Ａ）

【文献】特開２０１２－１５０５３０（ＪＰ，Ａ）

【文献】米国特許出願公開第２００７／００１１１９５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１、３／０４８－３／０４８９５

(57)【特許請求の範囲】

【請求項1】

動作を制御する複数の制御コマンドを入力可能な第１のセンサ入力部と、表示部と、前記第１のセンサ入力部の操作が開始されるよりも早い時刻から利用者の行動特徴量を収集する第２のセンサ入力部と、を有し、
前記第１のセンサ入力部はタッチパネルからの操作情報の入力であり、
前記第２のセンサ入力部はマイクからの環境情報の入力であり、
前記第１のセンサ入力部に入力された制御コマンドを取得することにより操作特徴量が構成され、
前記第１のセンサ入力部に入力された前記制御コマンドの制御コマンド種と、前記制御コマンドを入力する際の前記操作特徴量とを、利用者の過去の制御コマンド種の使用履歴とし、利用者ごとの機器使用履歴として蓄積して履歴データベースが構成され、
前記第２のセンサ入力部より得られる前記行動特徴量に基づいて前記利用者を推定し、前記推定された利用者の前記履歴データベース内の操作特徴量と制御コマンド種とに基づいて、前記推定された利用者が前記第１のセンサ入力部へ前記制御コマンドの入力を開始する前に、前記推定された利用者に対応した前記制御コマンドの制御コマンド種を前記表示部に事前にガイドとして表示する、家電機器。

【請求項2】

請求項１において、
前記操作特徴量は、前記タッチパネルの操作位置、前記タッチパネルの押圧に対応した静電容量値と継時変化パタンを含む、家電機器。

【請求項3】

請求項１において、
前記操作特徴量は、前記利用者の接地容量を含む、家電機器。

【請求項4】

請求項１において、
前記操作特徴量は、前記第１のセンサ入力部を操作した時刻を示す時刻情報を含む、家電機器。

【請求項5】

請求項１において、
前記行動特徴量は、前記利用者の動作に伴う音である、家電機器。

【請求項6】

請求項１において、
前記第１のセンサ入力部より得られる前記制御コマンド種および前記操作特徴量に基づいて情報テーブルを用意し、
前記情報テーブルに基づいて前記利用者の行動パタンを推定する、家電機器。

【請求項7】

請求項６において、
前記情報テーブルは、機械学習により重み付けを考慮して生成される、家電機器。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、家電機器および居住空間に関する。

【背景技術】

【0002】

顔カメラ、網膜カメラ、アイリス（虹彩）カメラ、静脈カメラ等によりユーザー生体特性情報を取得する技術の一例として、特開２００９－２３６１３号公報（特許文献１）が提案されている。

【0003】

また、カメラによる顔画像およびマイクによる声紋などの複数種の生体情報を個人認証に利用する個人認証システムの一例として、特開２０００－１４８９８５号公報（特許文献２）が提案されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００９－２３６１３号公報

【文献】特開２０００－１４８９８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ユーザー個人の認証や推定は非常に有益な情報である。その一方で、カメラや生体センシング（指紋認証、網膜認証など）を使用するシステムは、プライバシーの保護の観点や最終製品への組込コストの観点から敬遠される傾向にある。

【0006】

カメラで認証を行う場合、意識的に顔をカメラへ向けて認証する必要がある。また、カメラでの認証を家電機器や住宅設備へ適用した場合、常に見られているというユーザーの心理的負担は非常に大きい。

【0007】

さらに、家電機器や住宅設備において、操作時に顔認証のためわざわざカメラに顔を向けて認証することは、それほど多くない。また、顔認証のためのカメラを搭載した家電機器や住宅設備は市場投入されていない。

【0008】

また、ユーザーがシステムを利用する際に、初めて個人認証が実施される場合、ユーザーは所望の操作をする前に、まずは「個人認証する」という作業が必要であり、ユーザーは面倒と感じる場合もある。

【0009】

本開示の課題は、ユーザーに意識させることなく個人推定を行うことが可能な技術を提供することにある。

【0010】

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

【課題を解決するための手段】

【0011】

本開示のうち代表的なものの概要を簡単に説明すれば下記の通りである。

【0012】

すなわち、家電機器は、動作を制御する複数の制御コマンドを入力可能な第１のセンサ入力部を有し、前記第１のセンサ入力部に入力された制御コマンドの制御コマンド種と、前記制御コマンドを入力する際の操作特徴量とに基づいて、利用者を推定する。

【発明の効果】

【0013】

上記家電機器によれば、ユーザーに意識させることなく、個人推定を行うことが可能である。

【図面の簡単な説明】

【0014】

【図1】実施例１に係る家電機器を示す図である。

【図2】実施例１に係る静電容量タッチのオン・オフの判定例を示す図である。

【図3】ユーザーＡが静電容量タッチによるボタンを押した場合の波形データの例である。

【図4】ユーザーＢが静電容量タッチによるボタンを押した場合の波形データの例である。

【図5】ユーザーによる制御コマンド種の違いを説明する図である。

【図6】静電容量値の変化の分布の一例を示す分布図である。

【図7】制御コマンドの種類と静電容量値の変化の分類との関係を示す図である。

【図8】実施例１に係るシステムの全体構成例を示す図である。

【図9】実施例１に係る個人推定フローを示す図である。

【図10】環境音（足音）の例を示す図である。

【図11】図７に対して、３軸目として環境音情報のＦＦＴ解析パタン軸ＨＡＦを追加した図である。

【図12】図１１を環境音情報のＦＦＴ解析パタン軸ＨＡＦを横軸としてみた場合を示す図である。

【図13】マイクを追加した場合の構成例１を示す図である。

【図14】マイクを追加した場合の構成例２を示す図である。

【図15】マイクを追加した場合の構成例３を示す図である。

【図16】実施例２に係るシステムの全体構成例を示す図である。

【図17】実施例２に係る個人推定フローを示す図である。

【図18】実施例２に係るマイクのみを利用した個人推定フローを示す図である。

【図19】実施例３に係る居住空間を示す概念図である。

【図20】実施例３に係る推定フローを示す図である。

【図21】実施例４に係る静電容量値の変化を機械学習する場合の概念構成を説明する図である。

【図22】機械学習における素材と結果とを説明する図である。

【図23】機械学習を行う場合のゲートウェイの構成例を示す図である。

【発明を実施するための形態】

【0015】

以下、実施例について、図面を用いて説明する。ただし、以下の説明において、同一構成要素には同一符号を付し繰り返しの説明を省略することがある。なお、図面は説明をより明確にするため、実際の態様に比べ、模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。

【実施例1】

【0016】

図１は、実施例１に係る家電機器を示す図である。一般的に、家電機器や住宅設備を操作する際は、ユーザーインタフェースとして、リモコンもしくはその機器本体へ搭載されている物理スイッチが用いられる。一方で、既に、一部の家電製品や住宅設備では、物理スイッチの代わりとなるユーザーインタフェースとして、静電容量型のタッチパネルや静電容量型のタッチボタンによる操作パネルＣＰを搭載した家電製品が発売されている。なお、この明細書では、「静電容量タッチ」と言う用語は、「静電容量型のタッチパネル」や「静電容量型のタッチボタン」を意味するものとする。

【0017】

図１には、家電機器として、冷蔵庫１０、洗濯機１１、および、炊飯器１２に設けられた操作パネルＣＰが例示的に示されている。操作パネルＣＰは、表示部ＤＳＰと、静電容量型のタッチパネルまたはタッチボタンにより構成された制御コマンドＣＣ１～ＣＣ９を選択する複数のボタンＢＴＮと、を有する。たとえば、ユーザーが複数のボタンＢＴＮの中から制御コマンドＣＣ１に対応するボタンＢＴＮを押すと、その選択結果が表示部ＤＳＰに、「ＣＣ１」として表示される。制御コマンドＣＣ９が決定を意味するコマンドの場合、制御コマンドＣＣ９に対応するボタンＢＴＮを押すと、制御コマンドＣＣ１の内容が実行される。

【0018】

静電容量タッチによる操作パネルＣＰの利点として、凹凸がないことによる手入れのしやすさ、物理的劣化の少なさによる耐久性の高さ、設計自由度の高さからデザイン性の良さなどが挙げられる。これらの観点から、今後の家電機器、住宅設備では、よりいっそう静電容量タッチによる操作パネルＣＰの標準搭載が促進されていく。

【0019】

図２は、実施例１に係る静電容量タッチのオン・オフの判定例を示す図である。図２に示すグラフにおいて、縦軸は静電容量値ＣＶを示し、横軸は時間ｔを示している。静電容量タッチでは、静電容量値２０の情報を用いて、操作パネルＣＰのボタンＢＴＮを押した（オン）／押していない（オフ）を判定する。図２では、静電容量値２０をサンプリングステート２２毎にサンプリングし、静電容量値２０が閾値２４を超えたか否かを判定している。図２の例では、閾値２４を超えた回数が３回を超えた場合、それ以降、オン期間２６（押された）と判定し、その後、閾値２４を下回ったときにオフ期間２８（押されていない）と判定する。なお、図２の波形データは、静電容量値２０の変化を可視化するためにグラフ状に出力されたものである。通常の静電容量タッチの場合、このような波形ではなく、点として判定を行っている場合が多い。

【0020】

［ユーザーによる静電容量値の違い］
次に、図３および図４を用いて、ユーザーによる静電容量値の違いを説明する。図３は、ユーザーＡが静電容量タッチによるボタンを押した場合の波形データの例である。図４は、ユーザーＢが静電容量タッチによるボタンを押した場合の波形データの例である。ユーザーが家電機器や住宅設備を操作する際、ボタンの押し方は人それぞれである。このとき、静電容量タッチで計測される静電容量値２０は、図３、図４に示すようにユーザー（Ａ、Ｂ）によって様々である。

【0021】

図３、図４では、静電容量値２０（２０ｂ）の増加方向の傾き３０（３０ｂ）、静電容量値２０（２０ｂ）が閾値２４を超えている間隔の幅３２（３２ｂ）、カウント値の最小値から最大値までの高さ３４（３４ｂ）を例として挙げている。この場合、傾き３０は、傾き３０ｂと比較して急峻である（３０＞３０ｂ）。幅３２は、幅３２ｂと比較して狭い（３２＜３２ｂ）。高さ３４は、高さ３４ｂと比較して高い（３４＞３４ｂ）。この静電容量値２０（２０ｂ）の変化は、ユーザー（Ａ、Ｂ）のボタンの押し方やボタンを押す強さ、ボタンを押した位置（操作位置）などのユーザーの癖、ユーザー（Ａ、Ｂ）の体型や身長、年齢、体重など身体的特徴などによって大きく異なる。傾き３０（３０ｂ）、幅３２（３２ｂ）、幅３２（３２ｂ）は、個人の特徴が出る「操作特徴量」と見做すことができる。また、操作特徴量は、家電機器のユーザー（利用者）の接地容量を含む。

【0022】

以上の説明では、傾き３０（３０ｂ）、幅３２（３２ｂ）、幅３２（３２ｂ）を例として説明したが、静電容量値２０（２０ｂ）を１つの波形データ（継時変化パタン）としてみたときに、波形データの形の変化や傾きの変化なども、個人の特徴が出る「操作特徴量」と見做すこともできる。つまり、操作特徴量は、タッチパネル（静電容量タッチ）の操作位置、タッチパネルの押圧に対応した静電容量値と継時変化パタンを含む。

【0023】

［ユーザーによる制御コマンド種の違い］
次に、ユーザーによる制御コマンド種の違いを説明する。近年の家電機器、住宅設備は機能の拡張、進化によって、その制御コマンド種は多岐にわたっている。この制御コマンド種は、どの制御コマンド種を使用するか、いつ使うかなどの使用条件および使用状況は、ユーザー毎に異なる傾向にある。図５は、ユーザーによる制御コマンド種の違いを説明する図である。図５では、炊飯器１２の操作パネルＣＰの操作を例として、ユーザーによる制御コマンド種の違いを説明する。

【0024】

操作パネルＣＰには、制御コマンドＣＣ１～ＣＣ９を選択する複数のボタンＢＴＮが設けられているものとする。制御コマンドＣＣ１～ＣＣ７のボタンＢＴＮには、たとえば、メニュー１（ｍｅｎｕ１）～メニュー７（ｍｅｎｕ６）、予約（Ｒｅｓｅｒｖ．）が割り当てられているものとする。ここで、たとえば、メニュー１（ｍｅｎｕ１）は「炊込み」であり、メニュー２（ｍｅｎｕ２）は「早炊きモード」であるものとする。

【0025】

この中で、例えば、ユーザーＡ（たとえば、母親）は、夕食の準備のために、「炊込み」である制御コマンドＣＣ１と、翌日の朝食準備のため前日に「予約」である制御コマンドＣＣ７とを頻繁に使用する傾向がある。一方、ユーザーＢ（たとえば、長女）は、ユーザーＡ（母親）が不在の場合、夕食の準備のため、炊飯器１２の「早炊きモード」である制御コマンドＣＣ２を頻繁に使う傾向がある。このように、ユーザー（Ａ、Ｂ）の違いにより利用される制御コマンドの種類（制御コマンド種）に違いが存在する。

【0026】

［静電容量、制御コマンド種の違いによる個人の推定］
制御コマンド種の使用履歴は、家電機器やネットワークを介したデータベースなどに保存され、テータベース化されていることが多い。その情報を単に記録するだけでは、どの制御コマンドが多く使われているか、時間の情報を加えることでいつの時間帯にどの制御コマンドが多く使われているかということしかわからない。図５の例では、「予約」や「早炊きモード」が使用されたことは分かるが、ユーザーＡ（母親）、ユーザーＢ（長女）のどちらが使用したかは分からない。しかし、図５で説明した様に、制御コマンド種はユーザーによって異なる傾向が強い。

【0027】

一方、家電機器の操作パネルＣＰを操作した際の静電容量値２０は、図３、図４で説明した様に、ユーザー（Ａ、Ｂ）によって「操作特徴量」が異なる。

【0028】

図６は、静電容量値の変化の分布の一例を示す分布図である。前述したように、静電容量値２０（２０ｂ）の変化は、ユーザー（Ａ、Ｂ）のボタンの押し方やボタンを押す強さ、ボタンを押した位置などのユーザーの癖、ユーザーの体型、年齢や身長など身体的特徴などによって大きく異なる。図６では、あらかじめ複数人から静電容量値の変化のサンプルを取得し、静電容量値の変化をＦＦＴ（高速フーリエ変換: Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を用いて解析した解析パタンの分布を分布図としてまとめたものである。この分布図では、縦軸は身長（Ｈ）×体重（Ｗ）の値（Ｈ×Ｗ）であり、横軸は年齢（ａｇｅ）である。この例では、分布図を、９つの分類（α－１～α－３、β－１～β－３、γ－１～γ－３）に分類している。図６に示すように、この静電容量値の変化は、あらかじめ複数人のサンプルを使ってテーブル化や分散状況の学習をしておいてもよい。

【0029】

図７は、制御コマンドの種類と静電容量値の変化の分類との関係を示す図である。図７では、静電容量値の変化をＦＦＴを用いて解析した解析パタンを、制御コマンドの種類と静電容量値の変化の分類（α－１～α－３、β－１～β－３、γ－１～γ－３）とを用いて分類したものである。図７において、縦軸は制御コマンドの種類（制御コマンド種）であり、制御コマンドＣＣ１、ＣＣ２、ＣＣ７が例示的に示されている。横軸は、図６で説明した９つの分類（α－１～α－３、β－１～β－３、γ－１～γ－３）である。ここで、四角（□）はユーザーＡの値を示し、三角（△）はユーザーＢの値を示し、丸（○）はユーザーＣの値を示している。このように、制御コマンド種、静電容量値の２つの特徴量は、ＦＦＴなどの手法による解析によって、対象機器を操作した人物の推定／分類が可能である。さらに、人工知能（ＡＩ）や機械学習などを利用すれば、より高精度な個人推定も可能となる。

【0030】

［システムの全体構成例］
図８は、実施例１に係るシステムの全体構成例を示す図である。システム１００は、居住空間１０１に配置される家電機器１１０と、家電機器１１０との間でデータの集約・配信を行うゲートウェイ１３０と、ゲートウェイ１３０や家電機器１１０に組み込まれているアプリケーションプログラムを管理するソフトウェアを有するサーバ１５０と、を有する。

【0031】

家電機器１１０は、静電容量タッチセンサ１１１を有し、静電容量タッチセンサ１１１からの静電容量値の変化、入力された制御コマンド種を操作特徴量ＯＦＶとして収集するとともに、その情報を解析する。家電機器１１０はエリアネットワーク１２０を介してゲートウェイ１３０に接続され、ゲートウェイ１３０はエリアネットワーク１２０で接続される家電機器１１０から操作特徴量ＯＦＶのデータを収集する。また、ゲートウェイ１３０はアクセスネットワーク（ＩＰネットワーク）１４０を介して、サーバ１５０に接続されている。ゲートウェイ１３０や家電機器１１０のアプリケーションプログラム１３０ａ、１１０ａの更新は、アクセスネットワーク１４０、エリアネットワーク１２０経由で行われる。

【0032】

なお、本例では、操作特徴量ＯＦＶのデータを、ゲートウェイ１３０を介して、サーバ１５０へ送る構成としているが、これに限定されない。操作特徴量ＯＦＶのデータは、家電機器１１０内にのみ操作特徴量ＯＦＶのデータベースとして記憶させても良いし、あるいは、家電機器１１０からエリアネットワーク１２０を介してゲートウェイ１３０に操作特徴量ＯＦＶのデータベースとして蓄積させても良い。

【0033】

［個人推定フロー］
図９は、実施例１に係る個人推定フローを示す図である。図中のタッチパネル（第１のセンサ入力）は、図８の家電機器１１０に搭載されている静電容量型のタッチセンサ１１１からの入力を示している。タッチパネルは、第１のセンサ入力部と言うこともできる。

【0034】

ユーザーが家電機器１１０の静電容量型のタッチセンサ１１１を操作した際、ステップＦ１２にて、静電容量タッチにより静電容量値の変化や制御コマンド種などのセンサ情報と、静電容量タッチがタッチされた時刻を示す時刻情報（タイムスタンプ等）と、を取得する。その取得データ（センサ情報、制御コマンド種、時刻情報）は、操作特徴量ＯＦＶのデータとして、家電機器１１０に搭載された特徴量システムＦＶＳ（図８中のアプリケーションプログラム１１０ａ）へ入力される。

【0035】

特徴量システムＦＶＳは、ステップＦ１３において、操作特徴量ＯＦＶのデータを特徴量データベースＦＶＤＢへ格納する。特徴量システムＦＶＳは、ステップＦ１４において、操作特徴量ＯＦＶの特徴量を解析する。特徴量システムＦＶＳは、解析の結果から、ステップＦ１５において、特徴量情報ＦＶＩからユーザー個人を推定し、終了する。

【0036】

推定されたユーザーの情報は、家電機器１１０のアプリケーションプログラム１１０ａとして、何らかのサービスへ使用されても良いし、あるいは、ネットワーク（１２０、１４０）を介して、サーバ１５０へ保管し、その他の用途へ使用されても良い。

【0037】

以上説明した様に、実施例１のシステムでは、今後搭載が標準となってくるであろう静電容量タッチによる操作パネルに着目している。

【0038】

先行技術として挙げた個人認証システムによる個人特定の場合は、ユーザーによる情報の登録や操作時に追加となる操作が必要なる（例えば、指紋認証の場合、装置へユーザーが意識的に指を合わせる、など）。しかし、本開示のシステムでは情報の登録は不要であり、操作時もこれまで通りの操作によって必要なデータはユーザーが意識することなく収集できる。

【0039】

さらに、先行技術では、家電機器へ搭載されている事例はほとんどなく、例えば、同様のシステムを指紋認証にて実施する場合、改めて指紋認証装置を家電機器へ搭載する必要があり、指紋認証装置の搭載にコストがかかってしまう。さらに、いずれの認証方式でも専用装置へユーザーが意識的に行動する必要があり、家電機器への搭載には不自然さが伴ってしまう。しかし、本開示の構成であれば、今後標準的に搭載が進んでいく静電容量タッチによる操作パネルＣＰを使用するので、操作パネルＣＰの搭載への障害は極めて少ない。

【0040】

実施例１によれば、以下の効果を得ることができる。
１）今後家電機器への搭載がさらに進むであろう静電容量タッチを用いた操作パネルを使って、個人の推定が可能である。
２）個人の推定に、家電機器に搭載された静電容量タッチを用いた操作パネルを利用するので、コストの増加を抑えることができる。
３）個人の推定に、静電容量タッチを用いた操作パネルを利用するので、家電機器に指紋認証など高コストな機能を搭載する必要がない。
４）ユーザーは、家電機器を操作する際、個人の推定を、特に意識をする必要はない。
ユーザーが無意識のうちに操作特徴量の情報が集められるので、ユーザーは最終的に最適なサービスを受けることが可能である。
５）カメラを使用しないため、プライバシーを配慮したシステムとすることが可能である。

【実施例2】

【0041】

近年の家電機器には、音声認識による機器コントロールのためにマイクを搭載した製品が増えてきている。また、ＡＩスピーカーなどマイクによる音声認識機能を搭載した製品も家庭（居住空間）の中に設置されるようになってきた。実施例２では、実施例１のタッチパネル（第１のセンサ入力）に加え、第２のセンサ入力としてマイクを使用し、マイクから取得した環境音と実施例１の操作特徴量ＯＦＶ（静電容量値の変化、制御コマンド種）とを利用して、個人の推定を行う。マイクは、第２のセンサ入力部と言うこともできる。マイクからは、個人の特徴を表す行動特徴量ＢＦＶとして、足音（音の響き、間隔など）やくしゃみ、咳といった音情報を環境音として取得できる。

【0042】

図１０は、環境音（足音）の例を示す図である。図１０に示すように、足音に着目すると、音の振幅３０１、時間軸３０２に基づいた歩くスピードや間隔３０４、そして歩く強さ３０３がユーザーによって異なる。また、振幅３０１が大きくなるにつれて、ユーザーがマイクを搭載する家電機器に近づいてきている、ことも分かる。この環境音のＦＦＴなどによる解析結果と、実施例１で挙げた制御コマンド種、静電容量値の２つの特徴量をあわせることで、より正確にユーザーの推定ができる。

【0043】

図１１は、図７に対して、３軸目として環境音情報のＦＦＴ解析パタン軸ＨＡＦを追加した図である。さらに、図１２は、図１１を環境音情報のＦＦＴ解析パタン軸ＨＡＦを横軸としてみた場合を示す図である。図１２において、縦軸は、制御コマンド種および静電容量値の変化のＦＦＴ解析パタンを示す軸ＶＡＦである。このように、この例では、図１２の分布図から、ユーザーの傾向をつかみ、個人推定が可能である。

【0044】

さらに、機器が操作された前後は、歩いて近づく/遠ざかるスピードなど個人推定に有益な情報が入っている可能性が非常に高い。その情報の解析のためＦＦＴ解析手法などが行われるが、どの区間を解析するかが非常に重要な要素である。そこで、第１センサの情報と組み合わせることにより、操作パネルの操作時刻の前後５秒間などのように容易に区間の設定が可能となる。マイク単体では、音情報が入ってきてからなくなるまでの全期間を解析が必要であったり、どこからどこまでを解析するかは設定が困難であるが、実施例１と組み合わせる（データ同士を紐づける）ことにより、その課題をクリアし、より精度の高い個人推定が可能である。

【0045】

以上のように、第２のセンサ（マイク）から得られる環境音情報から個人推定が可能である。実施例１と組み合わせた推定を繰り返すこと（ＡＩによるディープラーニングなど）で、足音等の環境音からだけでも、個人推定が可能である。例えば、図１２では、環境音情報のＦＦＴ解析パタンを３つのパタンＰＴ１、ＰＴ２、ＰＴ３に分類している。この環境音情報のＦＦＴ解析パタンを見ると、解析パタンＰＴ１では、ユーザーＢであることを非常に高い確率で推定できる。また、その際、推定されたユーザーの情報から、そのユーザーの過去の制御コマンド種使用履歴などから、ユーザーがコマンドを入力する前に、適切もしくは推奨されるコマンド種をガイドもしくは提案することが可能となる。

【0046】

［マイクを追加した場合の構成例］
次に、図１３～図１５を用いて、マイクを追加した場合の構成例を説明する。図１３はマイクを追加した場合の構成例１を示す図であり、図１４はマイクを追加した場合の構成例２を示す図であり、図１５はマイクを追加した場合の構成例３を示す図である。

【0047】

図１３に示す構成例１では、家電機器１１０Ａが、静電容量タッチ１１１と、マイク１１２と、特徴量システムＦＶＳを構成するアプリケーションプログラム１１０ａと、を搭載している。家電機器１１０Ａは、必要に応じて、ゲートウェイ１３０と通信を行う。

【0048】

図１４に示す構成例２では、家電機器１１０が、静電容量タッチ１１１と、特徴量システムＦＶＳを構成するアプリケーションプログラム１１０ａと、を搭載し、家電機器１１０Ｂがマイク１１２を搭載している。家電機器１１０のアプリケーションプログラム１１０ａは、家電機器１１０Ｂのマイク１１２によって取得した環境音情報（行動特徴量ＢＦＶ）を受信し、受信した環境音情報と静電容量タッチ１１１の操作特徴量ＯＦＶとをタイムスタンプ情報等によって関連付けさせて、個人推定に利用する。家電機器１１０、１１０Ｂは、必要に応じて、ゲートウェイ１３０と通信を行う。

【0049】

図１５に示す構成例３では、静電容量タッチ１１１を搭載する家電機器１１０Ｃと、マイク１１２を搭載する家電機器１１０Ｂと、特徴量システムＦＶＳを構成するアプリケーションプログラム１３０ａを搭載するゲートウェイ１３０と、により構成される。この構成では、ゲートウェイ１３０のアプリケーションプログラム１３０ａが、静電容量タッチ１１１の操作特徴量ＯＦＶとマイク１１２によって取得した環境音情報（行動特徴量ＢＦＶ）とを受信し、個人推定に利用する。

【0050】

［システムの全体構成］
図１６は、実施例２に係るシステムの全体構成例を示す図である。図１６のシステム１００ｂが図８と異なる部分は、家電機器１１０以外に、マイク１１２を有する家電機器１１０Ａが設けられている点と、マイク１１２を有する家電機器１１０Ｂが設けられている点と、である。他の構成は、図８と同じであるので、説明は省略する。

【0051】

家電機器１１０Ｂは、次の様に、利用することができる。たとえば、家電機器１１０Ｂのマイク１１２で収集された環境音情報は、エリアネットワーク１２０を介してゲートウェイ１３０へ送信され、家電機器１１０からの特徴量データと紐づけて、個人推定等に利用する。

【0052】

図１６のシステム１００ｂは、これに限定されないものではなく、図１５に示すような構成とされてもよし、図１３～図１５を組み合わせた構成であってよい。

【0053】

［個人推定フロー］
図１７は、実施例２に係る個人推定フローを示す図である。図１７に示す個人推定フローは、図８に示す実施例１の個人推定フローに、第２のセンサ入力としてマイクのフローを追加したものである。

【0054】

ステップＦ１１にて、マイク１１２により音情報を収集し、環境音情報を行動特徴量ＢＦＶのデータとして、家電機器１１０に搭載された特徴量システム（図１６中のアプリケーション１１０ａ）へ入力する。環境音情報には、音情報を収集した時刻を示す時刻情報（タイムスタンプ情報）を含めることもできる。以降は、実施例１と同様である。なお、この例では、特徴量システムＦＶＳは、ステップＦ１３において、行動特徴量ＢＦＶのデータと操作特徴量ＯＦＶのデータとを特徴量データベースＦＶＤＢへ格納することになる。また、ステップＦ１４では、行動特徴量ＢＦＶのデータと操作特徴量ＯＦＶのデータとを含む特徴量データベースＦＶＤＢに対して、図１０～図１２で説明した解析を行う。これによって、ステップＦ１５において、特徴量情報ＦＶＩから個人推定が可能である。

【0055】

また、マイク１１２の音情報は、操作パネルＣＰのタッチ操作より先に入手できるため、第２のセンサからの音情報のみでユーザーを推定し、推定されたユーザーが普段からよく使用する機能の提案、その行動に纏わる広告の表示等のサービスを提供することも可能である。

【0056】

図１８は、実施例２に係るマイクのみを利用した個人推定フローを示す図である。ステップＦ１５のユーザー推定までは、図１７で説明したフローと同様である。なお、この例では、特徴量システムＦＶＳは、ステップＦ１３において、行動特徴量ＢＦＶのデータを特徴量データベースＦＶＤＢへ格納することになる。また、ステップＦ１４では、行動特徴量ＢＦＶのデータを含む特徴量データベースＦＶＤＢに対して、図１０で説明した様に、ＦＦＴなどを利用し、解析を行う。これによって、ステップＦ１５において、特徴量情報ＦＶＩから個人推定が可能である。

【0057】

図１８に示すように、家電機器１１０は、ステップＦ１６において、ステップＦ１５により推定されたユーザー情報を入力され、そのユーザーに合った出力情報を表示部ＤＳＰへ表示する。ここで、ユーザーに合った出力情報とは、たとえば、頻繁に使用するモード、頻繁に使用する制御コマンドに対応するボタンの表示またはボタンの点滅、または、そのユーザーが欲しているであろう情報などに対応する。つまり、推定された利用者の操作特徴量と制御コマンド種とに基づいて、推定された利用者が第１のセンサ入力部（タッチパネル）へ制御コマンドの入力を開始する前に、推定された利用者に対応した制御コマンド種を、表示部ＤＳＰへ事前にガイド（表示）する。

【0058】

また、その個人のこれまでの機器使用履歴などを履歴データベースに蓄積しておくことにより、履歴データベースから、推定されたユーザー個人に最適なサービス（普段からよく使用する機能の提案、その行動に纏わる広告の表示、など）を提供することも可能である。履歴データベースは、たとえば、サーバ１５０に蓄積するのがよい。

【0059】

実施例２によれば、実施例１の効果に加え、以下の効果を得ることができる。
１）第１センサ（静電容量タッチ）の操作時刻を基準とすることで、第２センサ（マイク）で重点的に解析すべき前後の音情報を容易に抽出できる。たとえば、静電容量タッチが操作された操作時刻の前後５秒間には、操作者の特徴量を持った音情報を入手できる。
２）第２のセンサ入力（マイク）による環境音情報は、第１のセンサの操作情報よりも前に入るため、第２センサからの情報で個人推定を行い、その個人のこれまでの機器使用履歴などから、その個人に最適なサービス（普段からよく使用する機能の提案、その行動に纏わる広告の表示、など）を提供することが可能である。

【実施例3】

【0060】

実施例３は、実施例１および実施例２に係る複数の家電機器が具備/使用されているスマートホーム環境（居住空間）にて、複数の家電機器からの「操作特徴量」から住人を分類・推定し、その推定情報を活用するシステムに関している。

【0061】

図１９は、実施例３に係る居住空間を示す概念図である。図１９に示すように、今後のスマートホームなどの居住空間では、実施例１、実施例２を実現できるような、静電容量タッチ１１１による操作パネルＣＰを搭載した製品１１０、マイク１１２および音声認識機能を搭載した製品１１０、操作パネルＣＰとマイク１１２とを搭載した製品１１０がますます増えていくであろう。ここで、機器１１０は、家電機器、調理家電や住宅設備などを意味する。

【0062】

各機器１１０にて計測されたセンサ情報（静電容量値の変化、制御コマンド種、環境音）は、図８や図１６に示したように、一時的に各機器１１０へ格納、もしくは、即座に、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）やＷｉｆｉなどのネットワークを介してゲートウェイ１３０へ送信され、特徴量をデータベース化、分析/個人分類へ使用される。その際、複数の機器１１０により得られた個人推定情報の集積、分析（データマイニング、ディープラーニングなど）により、対象の居住空間１０１内の住人構成やそれぞれの行動パタンの推定が可能となる。

【0063】

例えば、「朝、台所で母親が朝ごはんを作っている」という状況の場合、足音Ａ＋調理家電機器１１０（炊飯器やＩＨ（Ｉｎｄｕｃｔｉｏｎ Ｈｅａｔｉｎｇ）調理器など）の操作情報Ａとそのタイムスタンプ情報により、そのユーザーをユーザーＡと推定する（このとき、ユーザーＡがお母さんであるというところまでは分からない）。この推定が積み重なると、前日の夕方に足音Ａの情報が得られたら翌朝のおすすめメニューを家電機器１１０から提供する、などのサービスを提供できる。これは、ユーザーＡが毎朝の朝ごはんを作っている、という行動パタンを推定、その情報を活用した情報提供例である。

【0064】

また、調理用家電機器１１０に限らず、住人構成、各人の行動パタン情報を用いて、居住空間内に具備された他の家電機器の操作制御への利用も可能である。例えば、「夜、父親が会社から帰宅後、冷蔵庫（１１０）からビールを取り出し、リビングでテレビ（１１０）を見る」という状況の場合を考える。この場合、冷蔵庫（１１０）のドアの開閉（取手部分に静電容量タッチ１１１を搭載）とタイムスタンプ情報からユーザーＢを推定し、そのユーザーＢの日頃の行動パタンから、検知と同時にリビングのエア・コンディショナー（１１０）、テレビ（１１０）を起動する、といったサービスが提供できる。つまり、ユーザーＢの行動パタンを推定し、その他の家電機器（１１０）や住宅設備を操作制御することができる。ここで、エア・コンディショナー（１１０）、テレビ（１１０）などの家電機器は、冷蔵庫（１１０）から見た場合、他の機器に対応する。

【0065】

図２０は、実施例３に係る推定フローを示す図である。実施例１、２で述べたように、第１のセンサ入力としてタッチパネル１１１から静電容量値の変化、制御コマンド種の情報、そのタイムスタンプ情報、および、第２のセンサ入力としてマイク１１２から環境音の情報とそのタイムスタンプ情報とを特徴量システムＦＶＳへ入力する。

【0066】

ステップＦ１３にて、特徴量データベースＦＶＤＢへ格納し、ステップＦ３１にて特徴量を解析する。このステップＦ１１、Ｆ１２、Ｆ１３、Ｆ３１は繰り返し実行され、特徴量データベースＦＶＤＢとして分類された情報が蓄積されていく。これらの蓄積情報からステップＦ３２にて、住人構成や行動パタンを推定する。推定された情報は、上述の通り、ステップＦ３３にて、機器１１０の操作制御やサービス提供などへ活用される。

【0067】

実施例３によれば、以下の効果を得ることができる。
１）実施例１、実施例２の家電製品が複数具備される居住空間であれば、第２のセンサ（マイク）からの利用者の行動特徴量とそのタイムスタンプ情報により人物がどのあたりに居るか推定可能である。
２）複数機器からの各特徴量情報とそのタイムスタンプ情報から、住人構成や各個人の行動パタンを推定し、各家電機器でのサービスへ活用することが可能である。

【実施例4】

【0068】

実施例１で説明した様に、家電機器１１０の操作パネルＣＰを操作した際の、静電容量値２０（２０ｂ）はユーザーによって特徴量が異なる。実施例１では、図７の分布図に示すように、あらかじめ複数人のサンプルを使ってテーブル化や分散状況の学習する例を示した。実施例４では、その際、図２１および図２２に示す様に、複数人のサンプル（たとえば、３人）を機械学習する。複数人のサンプルで学習を行う際、1名につき複数回の学習を行うのが良い。サンプル毎に数回の学習を行うことで年齢、性別などによる押し方の癖などを重みづけにより吸収することができ、静電容量値の変化（ＦＦＴ解析パタン）を非常に高い精度でテーブル化することができる。

【0069】

図２１は、静電容量値の変化を機械学習する場合の概念構成を説明する図である。図２２は、機械学習における素材ＲＭ（Ｒａｗ Ｍａｔｅｒｉａｌ）と結果ＲＥとを説明する図である。図２３は、機械学習を行う場合のゲートウェイの構成例を示す図である。

【0070】

図２１に示す様に、学習装置ＬＤＥＶは、状態観察部ＳＴＯＳ（ＳＴａｔｅ Ｏｂｓａｖａｔｉｏｎ Ｓｅｃｔｉｏｎ）と、学習部ＬＳ（Ｌｅａｒｎｉｎｇ Ｓｅｃｔｉｏｎ）とを、含む。

【0071】

状態観察部ＳＴＯＳは、家電機器１１０の操作パネルＣＰを操作した際の静電容量値２０（２０ｂ）を観察する部分である。学習部ＬＳは、素材ＲＭの入力部と、関数変更部ＦＵＰＳ（Ｆｕｎｃｔｉｏｎ ＵＰｄａｔｅ Ｓｅｃｔｉｏｎ）と、結果ＲＥの出力部と、報酬計算部ＲＣＳ（Ｒｅｗａｒｄ Ｃａｌｃｕｌａｔｉｏｎ Ｓｅｃｔｉｏｎ）と、を含む。素材ＲＭの入力部は、状態観察部ＳＴＯＳから静電容量値２０（２０ｂ）を入力される。関数変更部ＦＵＰＳは、素材ＲＭの解析を行うとともに、報酬計算部ＲＣＳによって計算された重み付け（Ｗｅｉｇｈｔｉｎｇ）に従って、素材ＲＭの計算結果に重み付けを行い、重み付けされた計算結果を結果ＲＥへ出力する。

【0072】

図２２に示すように、素材ＲＭとして、図３、図４に示すような、ユーザー（Ａ、Ｂ）による静電容量タッチで計測される静電容量値２０，２０ｂが入力された場合を例として説明する。この場合、前述のように、静電容量値２０（２０ｂ）は、ユーザーの体重、身長、年齢、性別、押し方の癖によって大きく異なる。報酬計算部ＲＣＳによる重み付けは、たとえば、押し方の癖が出やすい年齢、性別毎に異なる傾向が出ると考えられる。図２２に示すように、結果ＲＥにおいて、「重み付けなし」での学習結果ＲＥ１は、ばらつくことが考えられる。一方、重み付けを考えて学習を行うと、「重み付けあり」での学習結果ＲＥ２は、バラつきが収束する。なお、図２２において、学習結果ＲＥ１および学習結果ＲＥ２は、３人のサンプルで学習を繰り返した場合を示している。また、学習結果ＲＥ１および学習結果ＲＥ２は、図６で説明された静電容量値の変化（ＦＦＴ解析パタン）の分布において、縦軸を、「押す強さによる静電容量値の変化」とし、横軸を「押す早さによる静電容量値の変化」として記載したものである。

【0073】

図２３に示す様に、機械学習を行う場合、ゲートウェイ１３０は、プロセッサ部１３０ＰとインターファイスＩＦと、を含む。プロセッサ部１３０Ｐは、学習部ＬＳと、状態観察部ＳＴＯＳと、を含む。そして、学習部ＬＳは、報酬計算部ＲＣＳと、関数更新部ＦＵＰＳと、を含む。ゲートウェイ１３０をこのような構成とすることで、静電容量値の変化の機械学習を行うことが可能となり、静電容量値の変化（ＦＦＴ解析パタン）を非常に高い精度でテーブル化することができる。

【0074】

なお、図２３のゲートウェイ１３０の構成は、実施例２および実施例３のゲートウェイ１３０にも適用可能である。これにより、実施例２および実施例３においても、機械学習を用いて静電容量値の変化を非常に高い精度でテーブル化することができる。利用者を推定する際は、あらかじめ、実施例３に示す様な居住空間１０１内の住人構成やそれぞれの行動パタンに関する情報テーブルを用意しておけば、家族の人数程度であれば精度良く推定できる。また、情報テーブルを作成する際は、機械学習を使用することにより重み付けなどを考慮した精度の良い情報テーブルを準備できる。

【0075】

以上、本発明者によってなされた発明を実施例に基づき具体的に説明したが、本発明は、上記実施形態および実施例に限定されるものではなく、種々変更可能であることはいうまでもない。

【符号の説明】

【0076】

ＣＰ：操作パネル、 ＢＴＮ：ボタン、 ＤＳＰ：表示部、 ＣＣ１～ＣＣ９：制御コ
マンド、 ＯＦＶ：操作特徴量、 ＦＶＤＢ：特徴量データベース、 ＦＶＳ：特徴量シ
ステム、 ＢＦＶ：行動特徴量、 ＦＶＩ：特徴量情報、 ２０：静電容量値、 １００
：システム、 １０１：居住空間、 １１０、１１０Ａ、１１０Ｂ、１１０Ｃ：家電機器
、 １１０ａ：アプリケーションプログラム、 １１１：静電容量タッチセンサ、 １１
２：マイク、 １２０：エリアネットワーク、 １３０：ゲートウェイ、 １３０ａ：ア
プリケーションプログラム、 １５０：サーバ、 １３０Ｐ：プロセッサ、 ＬＳ：学習
部、 ＲＣＳ：報酬計算部、 ＦＵＰＳ：関数更新部、 ＳＴＯＳ：状態観察部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】