特許 7433841 機器操作システム、機器操作方法、情報処理装置及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-09

(45)【発行日】2024-02-20

(54)【発明の名称】機器操作システム、機器操作方法、情報処理装置及びコンピュータプログラム

(51)【国際特許分類】

   G10L 15/28 20130101AFI20240213BHJP

   H04Q 9/00 20060101ALI20240213BHJP

   G10L 15/00 20130101ALI20240213BHJP

   G10L 17/00 20130101ALI20240213BHJP

【ＦＩ】

G10L15/28 500

H04Q9/00 301D

G10L15/28 400

G10L15/00 200N

G10L17/00 200Z

【請求項の数】 13

(21)【出願番号】P 2019199878

(22)【出願日】2019-11-01

(65)【公開番号】P2021071682

(43)【公開日】2021-05-06

【審査請求日】2022-06-10

(73)【特許権者】

【識別番号】503376518

【氏名又は名称】東芝ライフスタイル株式会社

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100205785

【弁理士】

【氏名又は名称】▲高▼橋 史生

(74)【代理人】

【識別番号】100203297

【弁理士】

【氏名又は名称】橋口 明子

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100135301

【弁理士】

【氏名又は名称】梶井 良訓

(72)【発明者】

【氏名】瀧川 正史

(72)【発明者】

【氏名】丸谷 裕樹

(72)【発明者】

【氏名】中川 達也

(72)【発明者】

【氏名】金山 将也

(72)【発明者】

【氏名】神田 博紀

【審査官】中村 天真

(56)【参考文献】

【文献】特開２００４－３５４７２１（ＪＰ，Ａ）

【文献】特開２００９－０４２２９８（ＪＰ，Ａ）

【文献】特開２０１７－０１０１７６（ＪＰ，Ａ）

【文献】特開２００２－３１８８４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １５／００－１７／２６

Ｈ０４Ｑ ９／００

(57)【特許請求の範囲】

【請求項1】

ユーザの音声を入力する１以上の音声入力部と、
前記音声入力部が入力した音声の内容を認識するための音声認識処理を行う音声認識部と、
前記音声認識部により認識された前記音声の内容に基づいて操作対象の家電機器に対して行わせる動作を識別するとともに、前記操作対象の家電機器を、各家電機器の属性を示す第１の属性情報、又は前記音声入力部の属性を示す第２の属性情報に基づいて選択する機器制御部と、
を備え、
前記機器制御部は、前記音声認識部によって認識された音声の内容に基づいて、前記操作対象の家電機器と前記音声入力部との対応関係を学習し、前記対応関係の学習結果と、前記ユーザの音声を入力した音声入力部とに基づいて前記操作対象の家電機器を識別する、
機器操作システム。

【請求項2】

前記属性は前記家電機器又は前記音声入力部の設置場所を表す、
請求項１に記載の機器操作システム。

【請求項3】

前記機器制御部は、前記音声の内容が示す種別の家電機器のうち、前記音声を入力した音声入力部と同じ設置場所に設置されている家電機器を前記操作対象として選択する、
請求項２に記載の機器操作システム。

【請求項4】

前記属性は前記家電機器に対応付けて登録されているユーザ、又は前記音声入力部に入力された前記音声を発したユーザを表す、
請求項１から３のいずれか一項に記載の機器操作システム。

【請求項5】

前記音声認識部は前記音声を発したユーザを識別する機能をさらに有し、
前記機器制御部は、前記音声を発したユーザに対応づけられた家電機器を前記操作対象として選択する、
請求項４に記載の機器操作システム。

【請求項6】

前記音声入力部は複数の空間のそれぞれに設けられる、
請求項１から５のいずれか一項に記載の機器操作システム。

【請求項7】

前記家電機器には、ユーザに関する複数の属性値が対応づけられ、
前記音声入力部には、前記音声を発したユーザに関する属性値が対応づけられ、
前記機器制御部は、前記音声の入力に関して取得されるいずれか１つ以上の前記属性値と、前記第１の属性情報又は前記第２の属性情報とに基づいて１つ以上の家電機器を操作対象として選択する、
請求項１から６のいずれか一項に記載の機器操作システム。

【請求項8】

前記音声認識部及び前記機器制御部の一方又は両方が、ネットワークを介して前記音声入力部を備える音声入力装置と通信可能な情報処理装置に備えられる、
請求項１から７のいずれか一項に記載の機器操作システム。

【請求項9】

所定の内容を示す音声を出力する音声出力装置をさらに備える、
請求項１から８のいずれか一項に記載の機器操作システム。

【請求項10】

前記家電機器に対して行わせる動作の手動入力を可能にする入力部をさらに備える、
請求項１から９のいずれか一項に記載の機器操作システム。

【請求項11】

１つ以上の音声入力部によってユーザの音声を入力する音声入力ステップと、
前記音声入力ステップにおいて入力された音声の内容を認識する音声認識ステップと、
前記音声認識ステップにおいて認識された前記音声の内容に基づいて操作対象の家電機器に対して行わせる動作を識別するとともに、前記操作対象の家電機器を、各家電機器の属性を示す第１の属性情報、又は前記音声入力部の属性を示す第２の属性情報に基づいて選択する機器制御ステップと、
を有する機器操作方法であって、
前記機器制御ステップは、前記音声認識ステップで認識された音声の内容に基づいて、前記操作対象の家電機器と前記音声入力部との対応関係を学習するステップと、前記対応関係の学習結果と、前記ユーザの音声を入力した音声入力部とに基づいて前記操作対象の家電機器を識別するステップとを含む、
機器操作方法。

【請求項12】

１つ以上の音声入力部からユーザの音声を入力する情報処理装置であって、
前記音声入力部から入力された音声の内容を認識するための音声認識処理を行う音声認識部と、
前記音声認識部により認識された前記音声の内容に基づいて操作対象の家電機器に対して行わせる動作を識別するとともに、前記操作対象の家電機器を、各家電機器の属性を示す第１の属性情報、又は前記音声入力部の属性を示す第２の属性情報に基づいて選択する機器制御部と、
を備え、
前記機器制御部は、前記音声認識部によって認識された音声の内容に基づいて、前記操作対象の家電機器と前記音声入力部との対応関係を学習し、前記対応関係の学習結果と、前記ユーザの音声を入力した音声入力部とに基づいて前記操作対象の家電機器を識別する、
情報処理装置。

【請求項13】

１つ以上の音声入力部からユーザの音声を入力する音声入力ステップと、
前記音声入力ステップにおいて入力された音声の内容を認識する音声認識ステップと、
前記音声認識ステップにおいて認識された前記音声の内容に基づいて操作対象の家電機器に対して行わせる動作を識別するとともに、前記操作対象の家電機器を、各家電機器の属性を示す第１の属性情報、又は前記音声入力部の属性を示す第２の属性情報に基づいて選択する機器制御ステップと、
をコンピュータに実行させるためのプログラムであって、
前記機器制御ステップは、前記音声認識ステップで認識された音声の内容に基づいて、前記操作対象の家電機器と前記音声入力部との対応関係を学習するステップと、前記対応関係の学習結果と、前記ユーザの音声を入力した音声入力部とに基づいて前記操作対象の家電機器を識別するステップとを含む、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、機器操作システム、機器操作方法、情報処理装置及びコンピュータプログラムに関する。

【背景技術】

【0002】

従来、音声による指示に基づいて家電機器を操作することが行われている。一般に、このような家電機器の操作方法では、ユーザは、家電機器に対する動作指示に必要な文言を所定のルールに従って発声する必要がある。そして、家電機器に対する動作指示に必要な文言には、操作対象機器の名称や家電機器に指示する動作の名称を示す既定の文言が含まれることが多い。そのため、ユーザは家電機器に対して音声による動作指示を行うに際して、既定の文言を予め記憶しておく必要があるとともに、必要な文言を全て含んだ文章を発声する必要があった。このように、従来の音声による家電機器の操作方法は、ユーザにとって必ずしも利便性の高いものではなかった。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－６３５３７号公報

【文献】特開２００２－１８２６７９号公報

【文献】特開２０１６－０７６７９９号公報

【文献】特開２０１９－０６６７０２号公報

【文献】特開２００５－０８６７６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、音声による指示に基づいて家電機器を操作するサービスについて、ユーザの利便性を向上させることができる機器操作システム、機器操作方法、情報処理装置及びコンピュータプログラムを提供することである。

【課題を解決するための手段】

【0005】

実施形態の機器操作システムは、１つ以上の音声入力部と、音声認識部と、機器制御部と、を持つ。音声入力部は、ユーザの音声を入力する。音声認識部は、前記音声入力部が入力した音声の内容を認識する音声認識処理を行う。機器制御部は、前記音声の内容に基づいて操作対象の家電機器に対して行わせる動作を識別するとともに、前記操作対象の家電機器を、前記家電機器の属性を示す第１の属性情報、又は前記音声入力部の属性を示す第２の属性情報に基づいて選択する。

【図面の簡単な説明】

【0006】

【図1】第１の実施形態における機器操作システムのシステム構成の具体例を示すシステム構成図。

【図2】第１の実施形態における音声入力装置の機能構成の具体例を示す機能ブロック図。

【図3】第１の実施形態における家電操作サーバの機能構成の具体例を示す機能ブロック図。

【図4】第１の実施形態における第１の属性情報の具体例を示す図である。

【図5】第１の実施形態における第２の属性情報の具体例を示す図である。

【図6】第１の実施形態の機器操作システムにおいて家電操作サーバが各部屋に設置された音声入力装置から取得される音声データに基づいて、ユーザが指定した家電機器にユーザが指定した動作を行わせる処理の流れの具体例を示すフローチャート。

【図7】第２の実施形態における音声入力装置の機能構成の具体例を示す機能ブロック図。

【図8】第２の実施形態における家電操作サーバの機能構成の具体例を示す機能ブロック図。

【図9】第３の実施形態における家電操作サーバの機能構成の具体例を示す機能ブロック図。

【発明を実施するための形態】

【0007】

以下、実施形態の機器操作システム、機器操作方法、情報処理装置及びコンピュータプログラムを、図面を参照して説明する。

【0008】

（第１の実施形態）
図１は、第１の実施形態における機器操作システムのシステム構成の具体例を示すシステム構成図である。図１に示す機器操作システム１００は、本実施形態における機器操作システムの一具体例であり、ユーザ宅内の家電機器１をユーザの音声による指示に基づいて操作することを可能にするシステムである。図１内の破線は、ユーザ宅内にリビング、洗面所、寝室、書斎などの各部屋（各空間）が存在することを表している。機器操作システム１００は１つ以上の家電機器１と、１つ以上の音声入力装置２と、家電操作サーバ３とを備える。図１は１つ以上の家電機器１の具体例として家電機器１－１～１－１１を示す。

【0009】

例えばリビングには家電機器１－１～１－４として冷蔵庫、照明機器、テレビ、エアコンが設置され、洗面所には家電機器１－５及び１－６として洗濯機及び照明機器が設置される。また、寝室には家電機器１－７～１－９としてテレビ、照明機器、エアコンが設置され、書斎には家電機器１－１０及び１－１１として照明機器、エアコンが設置される。これらは操作対象となる家電機器の一例であり、操作対象の家電機器を図１に示す家電機器１に限定するものではない。家電機器１は家電操作サーバ３の指示に応じて動作を変更することができれば図１に例示した以外のどのような機器であってもよい。

【0010】

音声入力装置２は家電機器１に対する動作指示を示す音声（以下「指示音声」という。）を入力する装置である。例えば、音声入力装置２はマイク等の集音装置を備え、自装置付近のユーザが発した指示音声を電気信号に変換して入力する。例えば、音声入力装置２は、スマートスピーカ、スマートフォン、タブレット、ＰＣ、リモコン等の情報処理装置を用いて構成される。図１は１つ以上の音声入力装置２の具体例として、ユーザ宅内の各部屋に１つずつ設置された音声入力装置２－１～２－４を示す。

【0011】

なお、家電機器１及び音声入力装置２は無線ＬＡＮ（Local Area Network）等の無線通信機能を備え、ルータ４１と無線通信可能に接続される。また、ルータ４１はＷＡＮ（Wide Area Network）４２に接続されており、家電機器１はルータ４１及びＷＡＮ４２を介して家電操作サーバ３と通信可能である。音声入力装置２は入力した音声信号（音声データ）を家電操作サーバ３に送信する。

【0012】

家電操作サーバ３は音声入力装置２から受信された音声信号に基づいて、ユーザの指定する家電機器１に対してユーザの所望する動作を行わせる機能を有する。具体的には、家電操作サーバ３は、音声信号に基づいてその音声の内容を示す文字データを取得し、取得した文字データに基づいて操作対象の家電機器１と、操作対象の家電機器１に行わせる動作（以下「対象動作」という。）を識別する。家電操作サーバ３は、対象動作を指示する制御情報を生成して操作対象の家電機器１に送信する。

【0013】

図２は、第１の実施形態における音声入力装置２の機能構成の具体例を示す機能ブロック図である。音声入力装置２は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、プログラムを実行する。音声入力装置２は、プログラムの実行によって通信部２１、音声入力部２２及び音声データ送信部２３を備える装置として機能する。なお、音声入力装置２の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

【0014】

通信部２１は、音声入力装置２をルータ４１に無線接続する無線通信インタフェースを含んで構成される。音声入力装置２はルータ４１を介して家電操作サーバ３と通信する。

【0015】

音声入力部２２は、マイク等の集音装置を含んで構成される。音声入力部２２は、自装置周辺の音声を電子信号に変換して音声データ送信部２３に出力する。

【0016】

音声データ送信部２３は、電気信号に変換された音声信号を音声入力部２２から入力し、入力した音声信号を示す音声データを家電操作サーバ３に送信する。具体的には、音声データ送信部２３は、入力した音声信号から所定のキーワードを示す音声信号を検出し、検出したキーワードに続く音声信号を音声データとして家電操作サーバ３に送信する。

【0017】

図３は、第１の実施形態における家電操作サーバ３の機能構成の具体例を示す機能ブロック図である。家電操作サーバ３は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、プログラムを実行する。家電操作サーバ３は、プログラムの実行によって通信部３１、設定情報記憶部３２、音声データ取得部３３、音声認識部３４、及び機器制御部３５を備える装置として機能する。なお、家電操作サーバ３の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

【0018】

通信部３１は、家電操作サーバ３をＷＡＮ４２に接続する通信インタフェースを含んで構成される。家電操作サーバ３はルータ４１及びＷＡＮ４２を介して家電機器１及び音声入力装置２と通信する。

【0019】

設定情報記憶部３２は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。設定情報記憶部３２は家電操作サーバ３の動作に必要な各種の設定情報を記憶する。具体的には設定情報記憶部３２は、各家電機器１が有する属性を示す第１の属性情報と、各音声入力装置２が有する属性を示す第２の属性情報とを予め記憶している。

【0020】

音声データ取得部３３は、通信部３１を介して音声入力装置２から音声データを取得する。音声データ取得部３３は、取得した音声データを音声認識部３４に出力する。

【0021】

音声認識部３４は、音声データ取得部３３から音声データを入力し、入力した音声データをテキストデータに変換する。音声認識部３４は、音声データの変換によって得たテキストデータを機器制御部３５に出力する。なお、音声認識部３４は、音声データから取得される声の特徴量に基づいて、その音声データにより示される指示音声を発したユーザを識別する機能を有してもよい。例えば、各ユーザの声の特徴量を示す情報（以下「ユーザ情報」という。）が予め設定情報記憶部３２に記憶されている場合、音声認識部３４は入力した音声データに基づいて取得された特徴量をユーザ情報に登録されている特徴量と比較することにより、その指示音声を発したユーザを特定することができる。

【0022】

機器制御部３５は、音声データから変換されたテキストデータを音声認識部３４から入力し、入力したテキストデータ及び各種設定情報に基づいて、操作対象の家電機器１に対して所定の動作を指示するための制御情報を生成する。機器制御部３５は、生成した制御情報を通信部３１を介して操作対象の家電機器１に送信する。

【0023】

図４は、第１の実施形態における第１の属性情報の具体例を示す図である。例えば、第１の属性情報は図４に示す属性情報テーブルＴ１として設定情報記憶部３２に記憶される。属性情報テーブルＴ１は家電機器ＩＤごとのレコードを有する。属性情報テーブルＴ１の各レコードは家電機器ＩＤ、第１項目及び第２項目の各値を有する。家電機器ＩＤは、機器操作システム１００において操作対象となる家電機器１の識別情報を表す。第１項目及び第２項目は、対応する家電機器１が有する各属性の値を表す。例えば、図４に示す第１の属性情報は、第１項目として各家電機器１の設置場所を表し、第２項目として各家電機器１に対して事前に対応づけられて登録されているユーザを表している。

【0024】

図５は、第１の実施形態における第２の属性情報の具体例を示す図である。例えば、第２の属性情報は図５に示す属性情報テーブルＴ２として設定情報記憶部３２に記憶される。属性情報テーブルＴ２は入力装置ＩＤごとのレコードを有する。属性情報テーブルＴ２の各レコードは入力装置ＩＤ及び第３項目の各値を有する。入力装置ＩＤは、機器操作システム１００においてユーザの指示音声を入力する音声入力装置２の識別情報を表す。第３項目は、対応する音声入力装置２が有する属性の値を表す。例えば、図５に示す第２の属性情報は、各音声入力装置２の設置場所を第３項目として表す。

【0025】

図６は、実施形態の機器操作システム１００において家電操作サーバ３が各部屋に設置された音声入力装置２から取得される音声データに基づいて、ユーザが指定した家電機器１に対して、そのユーザが指定した動作を行わせる処理の流れの具体例を示すフローチャートである。まず、家電操作サーバ３において、音声データ取得部３３がユーザ宅の各部屋に設置された音声入力装置２から音声データを取得する（ステップＳ１０１）とともに、音声データの取得元の音声入力装置２を特定する（ステップＳ１０２）。なお、ここで取得される音声データは、音声データ送信部２３によって検出された上述のキーワードに続く指示音声を示すものとする。

【0026】

例えば、音声データ取得部３３は、音声データの送信元情報を参照することにより、その音声データを送信した音声入力装置２を識別する。例えば、音声データ取得部３３は、送信元情報に含まれるＭＡＣ（Media Access Control）アドレスやＩＰ（Internet Protocol）アドレスによって送信元の音声入力装置２を識別することができる。音声データ取得部３３は、取得した音声データと、その送信元の音声入力装置２を示す入力装置ＩＤを音声認識部３４に出力する。入力装置ＩＤは、上記のＭＡＣアドレスやＩＰアドレスによって表されてもよい。

【0027】

続いて、音声認識部３４が、音声データ取得部３３から取得した音声データについて音声認識処理を実行する（ステップＳ１０３）。この音声認識処理の実行により音声データの内容を示すテキストデータが生成される。音声認識部３４は、生成したテキストデータを機器制御部３５に出力する。なお、音声認識処理では、テキストデータの生成に加え、その指示音声を発したユーザを特定する処理が行われてもよい。この場合、音声認識部３４は特定したユーザの識別情報とテキストデータとを機器制御部３５に出力する。

【0028】

続いて、機器制御部３５が、音声認識部３４から出力されたテキストデータに基づいて操作対象の家電機器１を識別する（ステップＳ１０４）とともに、操作対象の家電機器１に行わせる動作を識別する（ステップＳ１０５）。

【0029】

例えば、機器制御部３５は、テキストデータが示す文字列から所定の文字列を検出し、検出した文字列から始まる一文を動作指示を示す文字列として抽出する。機器制御部３５は、このように抽出した文字列から操作対象の家電機器１を示す文字列と、操作対象の家電機器１に対して行わせる動作を示す文字列を抽出する。例えば機器制御部３５は、『（キーワード）リビングの照明をつけて。・・・』という内容のテキストデータを入力した場合、キーワードから始まる一文を抽出し、抽出した一文から「リビングの照明」を操作対象の家電機器１として識別し、「照明をつける」ことを操作対象の家電機器１に対して行わせる動作として識別する。

【0030】

続いて、機器制御部３５は、識別した操作対象の家電機器１に対して、識別した動作を行わせる制御情報を生成する（ステップＳ１０６）。機器制御部３５は、生成した制御情報を操作対象の家電機器１に送信する（ステップＳ１０７）。操作対象の家電機器１が、家電操作サーバ３から受信される制御情報に基づいて動作を行うことり、ユーザが指定した家電機器１において、ユーザが指定した動作が行われる。

【0031】

図６は、本実施形態の機器操作システム１００において家電操作サーバ３が指示音声によって指定された家電機器１に対して、同じく指示音声によって指定された動作を行わせる基本的な処理の流れを示したものであるが、このような機能に加えて本実施形態の機器制御部３５は、各家電機器１の属性を示す第１の属性情報と、各音声入力装置２の属性を示す第２の属性情報とを予め記憶していることにより、ユーザの利便性を向上させることができる。

【0032】

具体的には、本実施形態の家電操作サーバ３が、指示音声を発したユーザに応じた属性を持つ家電機器１、又はその音声データを入力した音声入力装置２に応じた属性を持つ家電機器１を操作対象として決定する機能を有することにより、操作対象の家電機器１を指定しない指示音声が入力された場合であっても、操作対象の家電機器１を適切に設定することが可能となる。

【0033】

具体的には、機器制御部３５は、音声認識部３４によって認識された指示音声の内容に基づいて操作対象の家電機器１に対して行わせる動作を識別するとともに、操作対象の家電機器１を、家電機器１の属性を示す第１の属性情報に基づいて決定する。例えば、第１の属性情報が図４の例のように定義されている場合において、“音声入力装置＃１”から『エアコンをつけて。』という音声が入力された場合、機器制御部３５は属性情報テーブルＴ２を参照し、上記指示音声を入力した音声入力装置＃１の設置場所が“リビング”であることを識別する。続いて、機器制御部３５は、属性情報テーブルＴ１を参照して“リビング”に設置されたエアコンが“エアコン＃１”であることを識別し、この“エアコン＃１”を操作対象の家電機器１として選択する。

【0034】

このような方法で操作対象の家電機器１が決定されることにより、同じ種類の家電機器１が複数存在する状況において、操作対象を指定する文言が省略された指示音声が入力された場合であっても、操作対象の家電機器１を適切に設定することが可能となる。また、これにより、ユーザは自身の近くに位置する家電機器１を操作する場合に、その家電機器１を指定する文言を省略することができ、より自然な話し言葉で家電機器１の操作を指示することが可能となる。

【0035】

なお、ここでは「設置場所」という属性（図４の第１項目）で操作対象の家電機器１を決定する場合について説明したが、このような操作対象の決定に使用する属性は設置場所に限定されない。例えば、音声認識部３４が音声認識処理において指示音声を発したユーザを識別する機能を有する場合、操作対象の家電機器１は、各家電機器１に対して予め対応づけられた「ユーザ」の属性（図４の第２項目）に基づいて決定されてもよい。

【0036】

例えば、音声認識部３４により、指示音声を発したユーザが“お父さん”であると識別された場合、機器制御部３５は、図４の例の第１の属性情報に基づいて“照明機器＃４”を操作対象の家電機器１として選択することができる。また、例えば、指示音声を発したユーザが“お母さん”であると識別された場合、機器制御部３５は、図４の例の第１の属性情報に基づいて“照明機器＃３”を操作対象の家電機器１として選択することができる。また、例えば、指示音声を発したユーザが“お兄ちゃん”又は“お姉ちゃん”であると識別された場合、機器制御部３５は、図４の例の第１の属性情報に基づいて“照明機器＃５”を操作対象の家電機器１として選択することができる。

【0037】

なお、第１の属性情報において各家電機器１に対応づけられる属性は必ずしも２つである必要はなく、１つであってもよいし、３つ以上であってもよい。また、第２の属性情報において各音声入力装置２に対応づけられる属性は必ずしも１つである必要はなく、２つ以上であってもよい。また、操作対象の家電機器１は１つの属性に基づいて決定されてもよいし、２つ以上の属性に基づいて決定されてもよい。また、２つ以上の属性を用いる場合、操作対象の家電機器１は、２つ以上の属性の組み合わせに基づいて決定されてもよいし、２つ以上の属性のうちの最も優先順位の高い属性に基づいて決定されてもよい。このように複数の属性の組み合わせに基づいて操作対象の家電機器１が決定されることにより、より柔軟に又はより正確に操作対象の家電機器１を選択することが可能となる。

【0038】

例えば、第１の属性情報に基づいて選択される家電機器１と第２の属性情報に基づいて選択される家電機器１との両方を操作対象とすれば少ない動作指示でより多くの家電機器１を操作することが可能となる。また、例えば、第１の属性情報に基づいて選択される家電機器１と第２の属性情報に基づいて選択される家電機器１との両方に含まれる家電機器１を操作対象とすれば、その状況により適した家電機器１を操作対象として選択することが可能となる。

【0039】

例えば、「設置場所」を示す第１の属性情報と、「ユーザ」を示す第２の属性情報とがあり、指示音声により特定の種類の家電機器１が指定され、かつその指示音声を入力した音声入力装置２と同じ場所に存在する場合、機器制御部３５は第１の属性情報に基づいて操作対象の家電機器１を決定する。例えば、図４及び図５に示した第１の属性情報及び第２の属性情報の例では、“リビング”に設置された“音声入力装置＃１”に対して『エアコンをつけて。』という操作対象が明確でない指示音声が入力された場合、機器制御部３５は指示音声を入力した“音声入力装置＃１”と同じ“リビング＃１”に設置された“エアコン＃１”を操作対象として選択する。

【0040】

なお、この場合、選択した家電機器１が所定の条件を満たしている場合、機器制御部３５はさらに第２の属性情報に基づいて別の家電機器１を操作対象として決定してもよい。例えば、選択したエアコンが既にＯＮ状態であるという条件を満たしており、かつ指示音声を発したユーザが“お父さん”であると識別された場合、機器制御部３５は“お父さん”という属性値が対応づけられている“書斎”の“エアコン＃３”を操作対象として選択してもよい。

【0041】

このように、指示音声の操作対象となる家電機器１が複数あり、それら複数の家電機器１の中に当該指示音声によって指示された動作を既に実行している家電機器１がある場合には、その動作をまだ実行していない家電機器１の属性情報又は音声入力装置２の属性情報に基づいて、それら家電機器１の中から操作対象となる家電機器１を決定するようにすることにより、ユーザーの利便性をより向上させることができる。

【0042】

また例えば、機器制御部３５は、指示音声により指定された特定の種類の家電機器１がその指示音声を入力した音声入力装置２と同じ場所に設置されていない場合に、第２の属性情報に基づいて操作対象の家電機器１を決定してもよい。例えば、図４及び図５に示した第１の属性情報及び第２の属性情報の例では、エアコンが設置されていない“洗面所”において『エアコンをつけて。』という指示音声が入力され、かつ指示音声を発したユーザが“お母さん”であると識別された場合、機器制御部３５は“お母さん”という属性値が対応づけられている“寝室”の“エアコン＃２”を操作対象として選択してもよい。

【0043】

また例えば、機器制御部３５は、指示音声により指定された特定の種類の家電機器１の状態に基づいて操作対象の家電機器１を決定するように構成されてもよい。例えば、図４及び図５に示した第１の属性情報及び第２の属性情報の例では、“リビング”の“エアコン＃１”が既にＯＮ状態であるときに、“エアコン＃１”と同じ設置場所の“音声入力装置＃１”から『エアコンをつけて。』という指示音声が入力された場合、機器制御部３５は、ユーザ宅内に設置されたエアコンのうちＯＮ状態でないエアコンを操作対象として選択するように構成されてもよい。この場合、家電機器１の状態は家電機器１の属性の一つとして第１の属性情報によって管理され、第１の属性情報は各家電機器１の状態変化に応じて更新されるものとする。

【0044】

以上のように、家電機器１の属性情報や音声入力装置２の属性情報を利用して、ユーザの指示音声が示す操作対象となる家電機器１を決定した場合、その家電機器１を操作対象として制御する旨をユーザに報知するとよい。報知手段は、音声案内や画面表示などいずれの手段を用いてもよい。制御内容の報知に対して、ユーザが自身の意図した操作対象とは異なる旨の返答をした場合には、その返答に基づき、ユーザの意思に適った家電機器１を制御すればよいし、ユーザの返答前に、特定の家電機器１を操作対象として決定し、決定した家電機器１がその動作を既に実行していた場合は、その動作を取り消すように制御するとよい。

【0045】

（第２の実施形態）
第２の実施形態における機器操作システム１００ａは、音声入力装置２に代えて音声入力装置２ａを備える点、家電操作サーバ３に代えて家電操作サーバ３ａを備える点で第１の実施形態における機器操作システム１００とは異なる。しかしながら機器操作システム１００ａの基本的なシステム構成は第１の実施形態における機器操作システム１００と同様であるため、ここでは図１における各符号を適宜読み替えることにより機器操作システム１００ａの図示を省略することにする。具体的には、符号１００を１００ａに、符号２を符号２ａに、符号３を符号３ａにそれぞれ読み替える。

【0046】

図７は、第２の実施形態における音声入力装置２ａの機能構成の具体例を示す機能ブロック図である。音声入力装置２ａは無線強度通知部２４をさらに備える点で第１の実施形態における音声入力装置２と異なる。他の構成は第１の実施形態と同様のため、図７においては同様の機能部に図２と同じ符号を付すことにより説明を省略する。無線強度通知部２４は自装置における無線電波強度を家電操作サーバ３に通知する機能を有する。例えば、無線強度通知部２４は自装置のＲＳＳＩ（Received Signal Strength Indicator）を取得し、取得したＲＳＳＩを示す情報（以下「無線強度情報」という。）を家電操作サーバ３に送信する。なお、この無線強度情報は、家電操作サーバ３ａが音声入力装置２ａの設置場所を識別するために用いられるため、各音声入力装置２ａは同じ無線通信装置から受信される電波のＲＳＳＩを取得するものとする。例えば、各音声入力装置２ａは、ルータ４１から受信される無線の電波強度を示す無線強度情報を取得する。

【0047】

図８は、第２の実施形態における家電操作サーバ３ａの機能構成の具体例を示す機能ブロック図である。家電操作サーバ３ａは機器制御部３５に代えて機器制御部３５ａを備える点で第１の実施形態における家電操作サーバ３と異なる。他の構成は第１の実施形態と同様のため、図８においては同様の機能部に図３と同じ符号を付すことにより説明を省略する。機器制御部３５ａは、音声入力装置２ａの設置場所を音声入力装置２ａから受信される無線強度情報に基づいて識別する点で第１の実施形態における機器制御部３５と異なる。例えば、機器制御部３５ａは、各部屋と各部屋においてルータ４１から受信される無線電波の強度との対応関係を示す情報（以下「対応情報」という。）と、各音声入力装置２ａから取得される無線強度情報とに基づいて、各音声入力装置２ａの設置場所を識別する。対応情報は設定情報記憶部３２に予め記憶されているものとする。

【0048】

このように構成された第２の実施形態の機器操作システム１００ａによれば、家電操作サーバ３ａが音声入力装置２ａから取得される無線強度情報に基づいて音声入力装置２ａの設置場所を識別することができるため、家電操作サーバ３ａは各音声入力装置２ａの設置場所を示す情報（例えば第１の実施形態の図４における第１項目を示す情報）を必ずしも予め記憶しておく必要がない。そのため、音声入力装置２ａの設置位置が変更された場合であっても音声による家電機器１の操作を継続して行うことが可能となる。

【0049】

（第３の実施形態）
第３の実施形態における機器操作システム１００ｂは、家電操作サーバ３に代えて家電操作サーバ３ｂを備える点で第１の実施形態における機器操作システム１００とは異なる。しかしながら機器操作システム１００ｂの基本的なシステム構成は第１の実施形態における機器操作システム１００と同様であるため、ここでは図１における各符号を適宜読み替えることにより機器操作システム１００ｂの図示を省略することにする。具体的には、符号１００を１００ｂに、符号３を符号３ｂにそれぞれ読み替える。

【0050】

図９は、第３の実施形態における家電操作サーバ３ｂの機能構成の具体例を示す機能ブロック図である。家電操作サーバ３ｂは機器制御部３５に代えて機器制御部３５ｂを備える点で第１の実施形態における家電操作サーバ３と異なる。他の構成は第１の実施形態と同様のため、図９においては同様の機能部に図３と同じ符号を付すことにより説明を省略する。機器制御部３５ｂは、各音声入力装置２に入力される音声がどの家電機器１を操作対象とするものであるかを学習する機能を有する点で第１の実施形態における機器制御部３５と異なる。

【0051】

例えば、図４及び図５に示した第１の属性情報及び第２の属性情報の例では、機器制御部３５ｂは、“リビング”に設置された“音声入力装置＃１”に対して『リビングのエアコンをつけて。』という指示音声が所定回数以上入力された場合、“音声入力装置＃１”に対して入力される『エアコン』という言葉は、“リビング”に設置された“エアコン＃１”を指すということを学習する。この学習結果は、例えば第１の属性情報として記録される。このような学習を行った後、“音声入力装置＃１”に対して『エアコンをつけて。』という音声が入力された場合、機器制御部３５ｂはその指示音声により入力された『エアコン』が“リビング”の“エアコン＃１”であると識別することができる。なお、このような操作対象の識別を行った場合、機器制御部３５ｂは自身が学習結果に基づいて操作対象を識別したことを示すために『リビングのエアコンをＯＮにします。』という音声をユーザにフィードバックしてもよい。

【0052】

このように構成された第３の実施形態の機器操作システム１００ｂによれば、家電操作サーバ３ｂが、各音声入力装置２に操作対象として入力される可能性の高い家電機器１を各音声入力装置２から取得した音声データに基づいて学習することにより、操作対象を特定するための属性情報を音声を入力した音声入力装置２に応じて補完することが可能となる。これにより、家電機器１の操作をより簡便な言葉で指示することが可能となるため、音声による指示に基づいて家電機器を操作するサービスについて、ユーザの利便性を向上させることができる。

【0053】

以上説明した少なくともひとつの実施形態によれば、ユーザの音声を入力する音声入力装置（音声入力部）と、音声入力装置が入力した音声の内容を認識する音声認識処理を行う音声認識部と、音声の内容に基づいて操作対象の家電機器に対して行わせる動作を識別するとともに、操作対象の家電機器を、音声入力装置と家電機器との対応関係を示す属性情報（第１の属性情報）、又はユーザと家電機器との対応関係を示す属性情報（第２の属性情報）に基づいて選択する機器制御部と、を持つことにより、音声による指示に基づいて家電機器を操作する機器操作システムについて、ユーザの利便性を向上させることができる。

【0054】

（変形例）
なお、音声認識部及び機器制御部の一方又は両方は、ネットワークを介して音声入力装置と通信可能な家電操作サーバに備えられてもよいし、音声入力装置に備えられてもよい。例えば、音声認識部が音声入力装置に備えられる場合、音声入力装置は音声データに代えて、音声データの内容を示すテキストデータを家電操作サーバに送信するように構成されてもよい。また、例えば、音声認識部及び機器制御部が音声入力装置に備えられる場合、音声入力装置は操作対象として選択した家電機器と、操作対象の家電機器に行わせる動作とを家電操作サーバに通知するように構成されてもよい。この場合、家電操作サーバは通知された操作対象の家電機器に対して通知された動作を行わせる制御情報を生成し、生成した制御情報を操作対象の家電機器に送信するように構成されてもよい。

【0055】

上述の実施形態では、家電機器１及び音声入力装置２がルータ４１を介した無線ＬＡＮにより通信可能であり、また家電機器１及び音声入力装置２はそれぞれルータ４１を介して家電操作サーバ３と通信可能であることを説明したが、通信形態はこれに限定されない。例えば、家電機器１及び音声入力装置２は電力線などの有線により通信可能に構成されてもよいし、家電機器１及び音声入力装置２はルータ４１を介さない態様で通信可能に構成されてもよい。

【0056】

上述の実施形態では、機器操作システム１００の音声入力機能をスマートスピーカやスマートフォンなどの音声入力装置２を用いて構成する場合について説明したが、音声入力機能は他の態様で実現されてもよい。例えば、いずれかの家電装置１に音声入力機能が組み込まれてもよい。

【0057】

機器操作システムは、所定の内容を示す音声を出力する音声出力部をさらに備えてもよい。この場合、音声出力部は音声入力装置に備えられてもよいし、専用の音声出力装置として構成されてもよい。このような音声出力部を備えることにより、機器操作システムは、ユーザに対して機器操作に関する情報を通知することができる。

【0058】

機器操作システムは、家電機器に対して行わせる動作の手動入力を可能にする入力部をさらに備えてもよい。例えば入力部は、タッチパネル、マウス及びキーボード等の入力装置を用いて構成される。例えば入力部は音声入力装置に備えられる。この場合、音声入力装置は操作対象の家電機器を示す情報と、操作対象の家電機器に行わせる動作を示す情報との入力を受け付け、入力情報を家電操作サーバに送信する。また、例えば、入力部は、家電機器の遠隔操作アプリケーションを実行する遠隔操作端末として実現されてもよい。

【0059】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0060】

１００，１００ａ，１００ｂ…機器操作システム、１，１－１～１－１１…家電機器、２，２－１～２－４，２ａ…音声入力装置、２１…通信部、２２…音声入力部、２３…音声データ送信部、２４…無線強度通知部、３，３ａ，３ｂ…家電操作サーバ、３１…通信部、３２…設定情報記憶部、３３…音声データ取得部、３４…音声認識部、３５，３５ａ，３５ｂ…機器制御部、４１…ルータ、４２…ＷＡＮ（Wide Area Network）、Ｔ１…第１属性情報テーブル、Ｔ２…第２属性情報テーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】