特許 7281683 音声制御情報出力システム、音声制御情報出力方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-18

(45)【発行日】2023-05-26

(54)【発明の名称】音声制御情報出力システム、音声制御情報出力方法およびプログラム

(51)【国際特許分類】

   G06F 3/16 20060101AFI20230519BHJP

   G06F 3/0481 20220101ALI20230519BHJP

   G10L 15/00 20130101ALI20230519BHJP

   G10L 15/22 20060101ALI20230519BHJP

【ＦＩ】

G06F3/16 630

G06F3/0481

G06F3/16 620

G10L15/00 200N

G10L15/22 300Z

G10L15/22 460Z

【請求項の数】 9

(21)【出願番号】P 2018029713

(22)【出願日】2018-02-22

(65)【公開番号】P2019144459

(43)【公開日】2019-08-29

【審査請求日】2020-12-08

【前置審査】

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】田中 敬一

(72)【発明者】

【氏名】城戸 清規

【審査官】▲高▼瀬 健太郎

(56)【参考文献】

【文献】特開２０１６－０１４９６７（ＪＰ，Ａ）

【文献】特開２０１６－１３４７７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １５／２２

Ｇ１０Ｌ １５／００

Ｇ０６Ｆ ３／１６

Ｇ０６Ｆ ３／０４８１

(57)【特許請求の範囲】

【請求項1】

音声取得部によって取得された音声に基づいて機器を制御するための音声制御情報を出力する音声制御システムから前記音声制御情報を取得する音声制御情報取得部と、
前記音声制御情報に関連した表示を行うための表示関連情報をモニタに出力し、前記機器を制御するための制御情報を前記機器に出力する出力部と、
所定領域における人の状態を示す人情報を取得する人情報取得部と、を備え、
前記出力部は、前記人情報取得部が取得した前記人情報が示す前記人の状態に基づいて、前記表示関連情報を出力し、
前記人情報は、人の有無を示す情報であり、
前記出力部は、前記人情報が前記所定領域内に人がいることを示す場合、前記表示関連情報を出力し、前記人情報が前記所定領域内に人がいないことを示す場合、前記表示関連情報を出力せず、
前記人情報取得部は、前記モニタとは別体であり、
前記モニタと前記機器とは、別体であり、
前記音声制御情報は、前記音声取得部によって取得された音声に対する回答情報を含み、
前記表示関連情報は、前記回答情報に関連した情報を含み、
前記回答情報に関連した情報は、前記回答情報よりも詳細な情報を含む、
音声制御情報出力システム。

【請求項2】

前記表示関連情報は、前記音声制御情報に基づいて制御された機器の状態に関する情報を含む、
請求項１に記載の音声制御情報出力システム。

【請求項3】

前記表示関連情報は、前記音声制御情報に基づいて機器を制御するための情報を含む、
請求項１または２に記載の音声制御情報出力システム。

【請求項4】

前記機器を制御するための情報は、前記機器の制御内容を特定するための情報、または、制御対象とする前記機器を特定するための情報を含む、
請求項３に記載の音声制御情報出力システム。

【請求項5】

前記音声制御情報に基づいて機器を制御できなかったとき、前記表示関連情報は、前記機器を制御できなかったことに関する情報、および前記機器を前記音声制御情報に基づいた制御状態とするための情報の少なくとも一方を含む、
請求項１～４のいずれか１項に記載の音声制御情報出力システム。

【請求項6】

前記表示関連情報は、機器の制御に関連した注意喚起情報を含む、
請求項１～５のいずれか１項に記載の音声制御情報出力システム。

【請求項7】

前記音声取得部は、前記所定領域内および前記所定領域外の両方に設けられる、
請求項１～６のいずれか１項に記載の音声制御情報出力システム。

【請求項8】

音声取得部によって取得された音声に基づいて機器を制御するための音声制御情報を出力する音声制御システムから前記音声制御情報を取得する音声制御情報取得ステップと、
前記音声制御情報に関連した表示を行うための表示関連情報をモニタに出力し、前記機器を制御するための制御情報を前記機器に出力する出力ステップと、
所定領域における人の状態を示す人情報を取得する人情報取得ステップと、を含み、
前記出力ステップでは、前記人情報取得ステップで取得した前記人情報が示す前記人の状態に基づいて、前記表示関連情報を出力し、
前記人情報は、人の有無を示す情報であり、
前記出力ステップでは、前記人情報が前記所定領域内に人がいることを示す場合、前記表示関連情報を出力し、前記人情報が前記所定領域内に人がいないことを示す場合、前記表示関連情報を出力せず、
前記人情報取得ステップを実行する人情報取得部は、前記モニタとは別体であり、
前記モニタと前記機器とは、別体であり、
前記音声制御情報は、前記音声取得部によって取得された音声に対する回答情報を含み、
前記表示関連情報は、前記回答情報に関連した情報を含み、
前記回答情報に関連した情報は、前記回答情報よりも詳細な情報を含む、
音声制御情報出力方法。

【請求項9】

請求項８に記載の音声制御情報出力方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声制御情報出力システム、音声制御情報出力方法及びプログラムに関する。

【背景技術】

【0002】

ＶＰＡ（Ｖｉｒｔｕａｌ Ｐｅｒｓｏｎａｌ Ａｓｓｉｓｔａｎｃｅ）と呼ばれる、音声で機器を操作するサービスが普及し始めている。特許文献１には、自然文を音声で入力することにより、機器の動作を制御する音声制御システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１４／１７１１４４号

【発明の概要】

【発明が解決しようとする課題】

【0004】

音声制御システムにおいては、ユーザから取得された音声に基づいて機器を制御するための音声制御情報に関連した情報が、音声によって当該ユーザに対して出力されている。例えば、ユーザの「エアコンつけて」という音声入力に対して、音声制御システムから「エアコンをつけます」という音声が出力される。これに対して、音声制御情報に関連した情報を視覚的に確認したいという要望がある。

【0005】

本発明は、音声制御情報に関連した情報を視覚的に確認できる音声制御情報出力システム等を提供する。

【課題を解決するための手段】

【0006】

本発明の一態様に係る音声制御情報出力システムは、音声取得部によって取得された音声に基づいて機器を制御するための音声制御情報を出力する音声制御システムから前記音声制御情報を取得する音声制御情報取得部と、前記音声制御情報に関連した表示を行うための表示関連情報を出力する出力部と、を備える。

【0007】

本発明の一態様に係る音声制御情報出力方法は、音声取得部によって取得された音声に基づいて機器を制御するための音声制御情報を出力する音声制御システムから前記音声制御情報を取得する音声制御情報取得ステップと、前記音声制御情報に関連した表示を行うための表示関連情報を出力する出力ステップと、を含む。

【0008】

本発明の一態様に係るプログラムは、上記の音声制御情報出力方法をコンピュータに実行させるためのプログラムである。

【発明の効果】

【0009】

本発明によれば、音声制御情報に関連した情報を視覚的に確認できる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施の形態に係る音声認識システムの機能構成を示すブロック図である。

【図2】図２は、実施の形態に係る機器制御装置の機能構成を示すブロック図である。

【図3】図３は、実施の形態に係る音声制御情報出力システムの動作例１のフローチャートである。

【図4】図４は、実施の形態に係る音声制御情報出力システムの動作例２のフローチャートである。

【図5】図５は、実施の形態に係る音声制御情報出力システムの動作例２を説明するための図である。

【図6】図６は、表示関連情報の一例を説明するための図である。

【図7】図７は、表示関連情報の一例を説明するための図である。

【図8】図８は、表示関連情報の一例を説明するための図である。

【図9】図９は、表示関連情報の一例を説明するための図である。

【図10】図１０は、表示関連情報の一例を説明するための図である。

【図11】図１１は、表示関連情報の一例を説明するための図である。

【発明を実施するための形態】

【0011】

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0012】

なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。

【0013】

（実施の形態）
［構成］
まず、実施の形態に係るシステムの構成について説明する。図１は、実施の形態に係る音声認識システム１０の機能構成を示すブロック図である。

【0014】

図１に示されるように、実施の形態に係る音声認識システム１０は、音声制御システム２０と、音声制御情報出力システム３０と、人検知装置６１と、モニタ６２と、機器６３と、ルータ７０とを備える。宅内には、音声制御システム２０の音声入力端末２１、音声制御情報出力システム３０の機器制御装置５０、人検知装置６１、モニタ６２、機器６３、及び、ルータ７０が設置されている。音声制御システム２０の音声認識サーバ２２、及び、音声制御情報出力システム３０の機器制御サーバ４０は、クラウド（クラウドサーバ）として実現される。また、図１では、宅外に配置された音声入力端末８０も図示されている。

【0015】

［音声制御システムの構成］
音声制御システム２０は、音声を入力として制御対象である機器６３を制御するためのシステムである。音声制御システム２０は、音声入力端末２１と、音声認識サーバ２２とを備える。

【0016】

音声入力端末２１は、ユーザ等の音声を取得する音声入力インタフェース装置である。音声入力端末２１は、音声取得部の一例である。音声入力端末２１は、例えば、スマートスピーカ等の据え置き型の端末であるが、スマートフォンなどの携帯端末であってもよい。音声入力端末２１は、マイクロフォンなどの集音装置、及び、取得した音声の音声信号を音声認識サーバ２２に送信する通信回路等を備えているのであれば、どのような装置であってもよい。また、本実施の形態では、音声入力端末２１は、音声を出力する機能を有している。音声入力端末８０は、携帯端末であることが一般的である。音声入力端末８０は、音声入力端末２１と同様の機能を有するため、説明を省略するが、例えば、音声入力端末２１及び８０が携帯端末の場合に、当該携帯端末は、宅内で使用されるときには音声入力端末２１となり、宅外で使用されるときには音声入力端末８０となる。

【0017】

ルータ７０は、宅内のローカル通信ネットワークと、宅外のインターネットなどの広域通信ネットワーク（例えば、インターネット）を中継する中継装置である。ルータ７０は、例えば、音声入力端末２１によって取得された音声の音声信号をクラウド上の音声認識サーバ２２に送信する。

【0018】

音声認識サーバ２２は、音声入力端末２１から送信される音声信号に対して音声認識処理を行うサーバである。音声認識サービスを提供する事業者は、音声認識サーバ２２を用いて当該音声認識サービスを提供する。音声認識サーバ２２は、例えば、音声入力端末２１から送信される音声信号をテキスト情報に変換し、テキスト情報をテキスト情報に対応するコマンドに変換する。コマンドは、音声入力端末２１によって取得された音声に基づいて機器６３を制御するための音声制御情報の一例である。例えば、テキスト情報が「エアコンつけて」というテキストを示す場合、このようなテキスト情報は、エアコンの動作を開始させるためのコマンドに変換される。また、音声認識サーバ２２は、コマンドを音声制御情報出力システム３０の機器制御サーバ４０に送信する。

【0019】

［音声制御情報出力システムの構成］
音声制御情報出力システム３０は、音声制御システム２０と連携して宅内に設置された機器６３等を制御するシステムである。音声制御情報出力システム３０は、機器制御サーバ４０と、機器制御装置５０とを備える。

【0020】

機器制御サーバ４０は、プロセッサ（マイクロプロセッサ）、メモリ、通信インタフェース（通信回路）等を含むコンピュータであり、音声認識サーバ２２から送信されるコマンドに基づいて宅内の機器制御装置５０の制御を行うサーバである。機器制御サービスを提供する事業者は、機器制御サーバ４０を用いて当該機器制御サービスを提供する。機器制御サーバ４０は、通信インタフェースによって、音声認識サーバ２２及び機器制御装置５０を通信可能となっている。

【0021】

機器制御装置５０は、プロセッサ（マイクロプロセッサ）、メモリ、通信インタフェース（通信回路）、ユーザインタフェース（モニタ等）等を含むゲートウェイ装置である。機器制御装置５０は、宅内に配置された人検知装置６１、モニタ６２、機器６３等に接続され、音声制御情報に基づいて機器６３を制御する機能を有する。また、詳細は後述するが、機器制御装置５０は、人検知装置６１による検知結果に応じて、モニタ６２に情報を表示させるか否かを判断する。機器制御装置５０は、通信インタフェースによって、機器制御サーバ４０、人検知装置６１、モニタ６２及び機器６３と通信可能となっている。なお、機器制御装置５０と、人検知装置６１、モニタ６２及び機器６３との通信は、有線であっても無線であってもよい。

【0022】

人検知装置６１は、音声入力端末２１の音声の取得の対象となる所定領域（つまり、宅内の所定領域）における人の状態を検知し、人の状態を示す人情報を出力する。人の状態は、例えば、人の有無である。人検知装置６１は、単独の装置として実現されてもよいし、他の装置の一部として実現されてもよい。人検知装置６１は、例えば、宅内に人が存在するか否かを直接的に検知する装置であり、具体的には、人の体から発せられる赤外線を検知するセンサである。また、人検知装置６１は、人の有無だけでなく、人の状態も検知できるカメラであってもよい。

【0023】

また、人検知装置６１は、宅内に人が存在するか否かを間接的に検知する装置であってもよい。この場合、人検知装置６１は、具体的には、玄関ドアの施錠装置であってもよい。この場合、玄関ドアの施錠状態に基づいて宅内に人が存在するか否かが推定される。例えば、玄関ドアがロックされていないときに宅内に人が存在すると推定される。また、人検知装置６１は、宅内の消費電力を計測する電力計測装置であってもよく、この場合、宅内の消費電力情報に基づいて宅内に人が存在するか否かが推定される。例えば、宅内の消費電力が所定値以上である場合に宅内に人が存在すると推定される。

【0024】

また、人検知装置６１は、音声入力端末２１とは別の集音装置であってもよい。この場合、音声の取得状況に基づいて人が存在するか否かが推定される。例えば、所定の音圧レベル以上の音声が取得されているときに宅内に人が存在すると推定される。

【0025】

人検知装置６１は、ユーザが身につけているＩＣタグ、または、ユーザが携帯する携帯端末に内蔵されたＩＣタグを検知する検知装置であってもよい。なお、人検知装置６１がＩＣタグを検知することができる検知装置であれば、特定人が所定領域内に存在するか否かを検知することができる。

【0026】

モニタ６２は、音声制御情報に関連した表示を行うためのディスプレイであり、例えば、タブレット、スマートフォン、テレビ等が有するディスプレイである。具体的には、音声制御情報に関連した表示を行うための表示関連情報に基づいて、タブレット、スマートフォン、テレビ等は、モニタ６２に音声制御情報に関連した表示を行う。なお、モニタ６２は、機器制御装置５０が有するディスプレイであってもよい。

【0027】

機器６３は、例えば、エアコンなどの家電機器であるが、建具（例えば、玄関のドア）の施錠装置など家電機器以外の機器であってもよい。

【0028】

［機器制御装置の具体的構成］
図２は、実施の形態に係る機器制御装置５０の機能構成を示すブロック図である。

【0029】

実施の形態では、機器制御装置５０は、音声制御情報出力システム３０における本発明の特徴的な機能構成要素である、音声制御情報取得部５１、出力部５２及び人情報取得部５３を備える。

【0030】

音声制御情報取得部５１は、音声入力端末２１または８０によって取得された音声に基づいて機器６３を制御するための音声制御情報を出力する音声制御システム２０から音声制御情報を取得する。本実施の形態では、音声制御情報取得部５１は、機器制御サーバ４０を介して、音声制御システム２０から音声制御情報を取得する。

【0031】

出力部５２は、音声制御情報に関連した表示を行うための表示関連情報を出力する。本実施の形態では、出力部５２は、表示関連情報をモニタ６２に出力する。また、出力部５２は、音声制御情報に基づいて、機器６３を制御するための制御情報を出力する。

【0032】

人情報取得部５３は、人検知装置６１によって出力された、所定領域における人の状態を示す人情報を取得する。

【0033】

音声制御情報取得部５１、出力部５２及び人情報取得部５３は、機器制御装置５０が有するメモリに記憶されたプログラムがプロセッサにより実行されることで実現される。

【0034】

なお、音声制御情報取得部５１、出力部５２及び人情報取得部５３は、音声制御情報出力システム３０において機器制御サーバ４０および機器制御装置５０に分散して配置されてもよく、これらの機能構成要素のすべてを機器制御サーバ４０が備えていてもよい。

【0035】

［音声制御情報出力システムの動作例１］
次に、音声制御情報出力システム３０の動作例１について説明する。図３は、音声制御情報出力システム３０の動作例１のフローチャートである。

【0036】

まず、音声制御情報取得部５１は、音声制御情報を取得する（ステップＳ１１）。次に、出力部５２は、音声制御情報に関連した表示を行うための表示関連情報を出力する（ステップＳ１２）。これにより、モニタ６２に、音声制御情報に関連した表示がされ、ユーザは、音声制御情報に関連した情報（表示関連情報）を視覚的に確認できるようになる。表示関連情報の具体例については、後述する図６から図１１で説明する。

【0037】

このような音声認識システム１０が使用されるケースとしては、ユーザが宅内にいる場合とユーザが宅外にいる場合とが考えられる。ユーザが宅内にいる場合、当該ユーザが機器６３を制御するため音声入力端末２１へ向けて音声を発し、それに対応してモニタ６２に音声制御情報に関連した表示がされる。一方で、ユーザが宅外にいる場合には、当該ユーザが機器６３を制御するため音声入力端末８０（携帯端末等）へ向けて音声を発しても、モニタ６２に音声制御情報に関連した表示がされる必要がない。むしろ、宅外において音声を発したユーザとは別のユーザが宅内にいる場合に、モニタ６２に音声制御情報に関連した表示がされると、宅内のユーザは、なぜモニタ６２が付いたのかわからず、不具合が発生したと勘違いしてしまうおそれがある。

【0038】

そこで、音声制御情報出力システム３０（本実施の形態では、機器制御装置５０）は、人情報取得部５３を備えており、出力部５２は、人情報取得部５３が取得した人の状態に基づいて、表示関連情報を出力する。

【0039】

［音声制御情報出力システムの動作例２］
これについて、人情報取得部５３が取得した人情報が示す人の状態に基づいた音声制御情報出力システム３０の動作例２として説明する。図４は、実施の形態に係る音声制御情報出力システム３０の動作例２のフローチャートである。ここでは、人情報取得部５３は、宅内の所定領域における人の状態を示す人情報を取得しており、人情報は、例えば、人の有無を示す情報である。

【0040】

まず、出力部５２は、所定領域内に人が存在するか否か、具体的には、人情報取得部５３が取得した人情報が所定領域内に人がいることを示すか否かを判定する（ステップＳ２１）。

【0041】

出力部５２は、人情報が所定領域内に人がいることを示すと判定した場合には（ステップＳ２１でＹｅｓ）、表示関連情報を出力する（ステップＳ２２）。一方、出力部５２は、人情報が所定領域内に人がいないことを示すと判定した場合には（ステップＳ２１でＮｏ）、表示関連情報を出力しない（ステップＳ２２）。動作例２について、図５を用いて詳細に説明する。

【0042】

図５は、実施の形態に係る音声制御情報出力システム３０の動作例２を説明するための図である。

【0043】

宅内の所定領域にユーザ１００ａがいる場合（人検知装置６１が所定領域において人の存在を検知している場合）、音声入力端末２１は、ユーザ１００ａの音声を取得し、取得した音声の音声信号を音声認識サーバ２２に送信する。音声認識サーバ２２は、音声入力端末２１から送信される音声信号に対して音声認識処理を行い、音声信号から変換された音声制御信号を音声制御情報出力システム３０へ送信する。このとき、人情報取得部５３が人検知装置６１から取得した人情報が所定領域内に人がいることを示すため、出力部５２は、音声制御信号に関連した表示を行うための表示関連情報をモニタ６２に送信する。これにより、ユーザ１００ａは、モニタ６２を見ることで、表示関連情報を視覚的に確認できる。

【0044】

次に、宅内の所定領域にユーザがおらず、遠隔地からユーザ１００ｂ（例えば、音声制御情報出力システム３０が適用された施設の関係者）によって機器６３が制御される場合、音声入力端末８０は、ユーザ１００ｂの音声を取得し、取得した音声の音声信号を音声認識サーバ２２に送信する。音声認識サーバ２２は、音声入力端末２１から送信される音声信号に対して音声認識処理を行い、音声信号から変換された音声制御信号を音声制御情報出力システム３０へ送信する。このとき、人情報取得部５３が人検知装置６１から取得した人情報が所定領域内に人がいないことを示すため、出力部５２は、音声制御信号に関連した表示を行うための表示関連情報をモニタ６２に送信しない。これにより、宅内の所定領域外に別のユーザがいたとしても、モニタが付いてしまうことを抑制できる。

【0045】

次に、宅内の所定領域にユーザがおらず、例えば宅外の悪意あるユーザ１００ｃが宅外から大声で宅内の音声入力端末２１への音声の入力を試みた場合、音声入力端末２１は、ユーザ１００ｃの音声を取得し、取得した音声の音声信号を音声認識サーバ２２に送信することがある。音声認識サーバ２２は、音声入力端末２１から送信される音声信号に対して音声認識処理を行い、音声信号から変換された音声制御信号を音声制御情報出力システム３０へ送信する。このとき、人情報取得部５３が人検知装置６１から取得した人情報が所定領域内に人がいないことを示すため、出力部５２は、音声制御信号に関連した表示を行うための表示関連情報をモニタ６２に送信しない。これにより、宅内の所定領域外にユーザがいたとしても、モニタが付いてしまうことを抑制できる。

【0046】

このように、音声入力端末２１を用いて機器６３を制御したいユーザが宅内の所定領域にいない場合には、宅外から機器６３の制御が行われてもモニタ６２に表示関連情報が出力されないようにすることができる。

【0047】

［表示関連情報の具体例］
次に、表示関連情報の具体例について、図６から図１１を用いて説明する。

【0048】

図６から図１１は、表示関連情報の一例を説明するための図である。図６から図９では、機器６３をエアコンとしている。

【0049】

例えば、表示関連情報は、音声制御情報に基づいて制御された機器６３の状態に関する情報を含む。これについて、図６を用いて説明する。

【0050】

図６に示されるように、音声入力端末２１は、ユーザ１００ａの「リビングのエアコンつけて」という音声を取得する。音声認識サーバ２２は、音声入力端末２１から送信される音声信号に対して音声認識処理を行うことで、機器６３を制御するための音声制御信号を生成し、音声制御情報出力システム３０は、機器６３を音声制御信号に基づいて制御する。ここでは、音声制御情報出力システム３０は、機器６３（エアコン）の動作を開始する。これと共に、音声制御情報出力システム３０は、機器６３の動作を開始することを示す情報を音声制御システム２０へ送信し、音声入力端末２１は、例えば「リビングのエアコンをつけます」と出力する。このとき、モニタ６２には、音声制御情報に基づいて制御された機器６３の状態に関する情報が表示される。例えば、機器６３がエアコンの場合、機器６３の状態に関する情報は、エアコンの運転モード、設定温度、風量、風向等の情報である。これにより、ユーザ１００ａは、機器６３の状態を視覚的に確認することができ、例えば、現状の機器６３の状態がユーザ１００ａの希望するものでない場合には、ユーザ１００ａは、機器６３の状態を変更する指示をすることができる。

【0051】

また、例えば、表示関連情報は、機器６３の制御に関連した注意喚起情報を含む。これについて、図７を用いて説明する。

【0052】

図７に示されるように、音声入力端末２１は、ユーザ１００ａの「リビングのエアコンつけて」という音声を取得する。音声認識サーバ２２は、音声入力端末２１から送信される音声信号に対して音声認識処理を行うことで、機器６３を制御するための音声制御信号を生成し、音声制御情報出力システム３０は、機器６３を音声制御信号に基づいて制御する。ここでは、音声制御情報出力システム３０は、機器６３（エアコン）の動作を開始する。このとき、当該機器６３（リビングに設置されたエアコン）とリビングの窓に取り付けられた、当該窓の開閉を検知する開閉センサ等とは対応付けられており、モニタ６２には、機器６３の制御に関連した注意喚起情報が表示される。例えば、注意喚起情報は、制御される機器６３（ここではエアコン）が設置された部屋（ここではリビング）の窓が開いていることを示す情報である。これにより、ユーザ１００ａは、機器６３の制御に関連した注意喚起情報を視覚的に確認することができ、例えば、リビングの窓を閉じることで、リビングに設けられたエアコンを効率的に動作させることができる。

【0053】

また、例えば、表示関連情報は、音声制御情報に基づいて機器６３を制御するための情報を含む。具体的には、機器６３を制御するための情報は、機器６３の制御内容を特定するための情報、または、制御対象とする機器６３を特定するための情報を含む。これについて、図８を用いて説明する。

【0054】

図８に示されるように、音声入力端末２１は、ユーザ１００ａの「エアコンつけて」という音声を取得する。音声認識サーバ２２は、音声入力端末２１から送信される音声信号に対して音声認識処理を行うことで、機器６３を制御するための音声制御信号を生成し、音声制御情報出力システム３０は、機器６３を音声制御信号に基づいて制御する。このとき、音声制御情報出力システム３０が制御可能なエアコンが３台ある場合、音声制御情報出力システム３０は、ユーザ１００ａの「エアコンつけて」という音声だけでは、どのエアコンをつけるのかがわからないため、どのエアコンをつけるのかがわからないことを示す情報を音声制御システム２０へ送信し、音声入力端末２１は、例えば「どの場所のエアコンをつけますか？」と出力する。このとき、モニタ６２には、制御対象とする機器６３を特定するための情報が表示される。例えば、当該情報は、制御可能なエアコン（登録済みのエアコン）が設置された場所として、リビング、寝室、子供部屋があることを示す情報である。これにより、ユーザ１００ａは、どの場所のエアコンをつけることができるかを視覚的に確認することができ、希望する部屋のエアコンの動作を開始させることができる。

【0055】

なお、図示していないが、モニタ６２には、機器６３の制御内容を特定するための情報として、例えば、機器６３が行うことができる制御内容（例えば、冷房／暖房モードで動作する、温度、風量、風向を変更する等）が表示されてもよい。これにより、ユーザ１００ａは、エアコンをどのように制御できるかを視覚的に確認することができ、希望する制御内容でエアコンを動作させることができる。

【0056】

また、例えば、音声制御情報に基づいて機器６３を制御できなかったとき、表示関連情報は、機器６３を制御できなかったことに関する情報、および機器６３を音声制御情報に基づいた制御状態とするための情報の少なくとも一方を含む。これについて、図９を用いて説明する。

【0057】

図９に示されるように、音声入力端末２１は、ユーザ１００ａの「リビングのエアコンつけて」という音声を取得する。音声認識サーバ２２は、音声入力端末２１から送信される音声信号に対して音声認識処理を行うことで、機器６３を制御するための音声制御信号を生成し、音声制御情報出力システム３０は、機器６３を音声制御信号に基づいて制御する。しかし、機器６３が壊れていたり、機器制御装置５０と機器６３との間の接続に問題があったりする場合、音声制御情報出力システム３０が機器６３を制御できないことがある。この場合、音声制御情報出力システム３０は、エアコンを制御できないことを示す情報を音声制御システム２０へ送信し、音声入力端末２１は、例えば「制御できません」と出力する。このとき、制御できないことの原因がネットワーク接続に関する問題だと音声制御情報出力システム３０がわかっている場合には、モニタ６２には、機器６３を音声制御情報に基づいた制御状態（ここでは、エアコンの動作を開始する状態）とするための情報が表示される。例えば、当該情報は、ネットワーク接続を正常にするようにユーザへ促す情報である。これにより、ユーザ１００ａは、何をすればエアコンの動作を開始する状態とすることができるかを、視覚的に確認することができ、ネットワーク接続を正常にすることでエアコンの動作を開始できる。

【0058】

なお、図示していないが、モニタ６２には、機器６３を制御できなかったことに関する情報（例えば、「制御できません」等）が表示されてもよい。これにより、ユーザ１００ａは、エアコンの動作を開始できないことを視覚的に確認することができる。

【0059】

また、例えば、音声制御情報は、音声入力端末２１によって取得された音声に対する回答情報を含み、表示関連情報は、回答情報に関連した情報を含む。これについて、図１０を用いて説明する。

【0060】

図１０に示されるように、音声入力端末２１は、ユーザ１００ａの「今月の電気代は？」という音声を取得する。音声認識サーバ２２は、音声入力端末２１から送信される音声信号に対して音声認識処理を行うことで、機器６３を制御するための音声制御信号を生成する。ここでは、機器６３は、ユーザ１００ａの施設の電気料金の管理が可能な機器等であり、機器６３を制御するための音声制御信号は、音声入力端末２１によって取得された音声に対する回答を生成させるための回答情報となる。音声制御情報出力システム３０は、生成された回答を音声制御システム２０へ送信し、音声入力端末２１は、例えば「３２４０円です」と出力する。モニタ６２には、回答情報に関連した情報として、上記回答である今月の電気代が表示される。これにより、ユーザ１００ａは、回答（今月の電気代）を視覚的に確認することができる。

【0061】

また、回答情報に関連した情報は、回答情報よりも詳細な情報を含んでいてもよい。具体的には、図１０のように、単に今月の電気代がモニタ６２に表示されるだけでなく、図１１に示されるように、詳細な情報として、グラフで示されたり、今月だけでなく先月等の情報も示されたりしてもよい。

【0062】

［効果等］
以上説明したように、音声制御情報出力システム３０は、音声取得部（音声入力端末２１または８０）によって取得された音声に基づいて機器６３を制御するための音声制御情報を出力する音声制御システム２０から音声制御情報を取得する音声制御情報取得部５１と、音声制御情報に関連した表示を行うための表示関連情報を出力する出力部５２と、を備える。

【0063】

これにより、音声制御情報に関連した表示を行うための表示関連情報がモニタ６２等に出力されることで、ユーザ１００ａは、音声制御情報に関連した情報を視覚的に確認できる。

【0064】

また、例えば、表示関連情報は、音声制御情報に基づいて制御された機器６３の状態に関する情報を含む。

【0065】

これにより、ユーザ１００ａは、機器６３の状態を視覚的に確認することができる。例えば、ユーザ１００ａは、機器６３の現状の状態と希望する状態との差を認識しやすくなる。

【0066】

また、例えば、表示関連情報は、音声制御情報に基づいて機器６３を制御するための情報を含む。具体的には、機器６３を制御するための情報は、機器６３の制御内容を特定するための情報、または、制御対象とする機器６３を特定するための情報を含む。

【0067】

これにより、ユーザ１００ａは、機器６３の制御内容を特定するための情報、または、制御対象とする機器６３を特定するための情報を視覚的に確認できる。例えば、ユーザ１００ａは、希望する制御内容や制御対象を指示しやすくなる。

【0068】

また、例えば、音声制御情報は、音声取得部（音声入力端末２１または８０）によって取得された音声に対する回答情報を含み、表示関連情報は、回答情報に関連した情報を含む。

【0069】

これにより、ユーザ１００ａは、回答情報に関連した情報を視覚的に確認できる。

【0070】

また、例えば、回答情報に関連した情報は、回答情報よりも詳細な情報を含む。

【0071】

これにより、ユーザ１００ａは、回答情報よりも詳細な情報を視覚的に確認できる。

【0072】

また、例えば、音声制御情報に基づいて機器６３を制御できなかったとき、表示関連情報は、機器６３を制御できなかったことに関する情報、および機器６３を音声制御情報に基づいた制御状態とするための情報の少なくとも一方を含む。

【0073】

これにより、ユーザ１００ａは、機器６３を制御できなかったことに関する情報、または、機器６３を音声制御情報に基づいた制御状態とするための情報を視覚的に確認できる。例えば、ユーザ１００ａは、機器６３等に問題があることや、問題の対処方法を認識しやすくなる。

【0074】

また、例えば、表示関連情報は、機器６３の制御に関連した注意喚起情報を含む。

【0075】

これにより、ユーザ１００ａは、機器６３の制御に関連した注意喚起情報を視覚的に確認できる。

【0076】

また、例えば、音声制御情報出力システム３０は、さらに、所定領域における人の状態を示す人情報を取得する人情報取得部５３を有し、出力部５２は、人情報取得部５３が取得した人情報が示す人の状態に基づいて、表示関連情報を出力する。具体的には、人情報は、人の有無を示す情報であり、出力部５２は、人情報が所定領域内に人がいることを示す場合、表示関連情報を出力し、人情報が所定領域内に人がいないことを示す場合、表示関連情報を出力しない。

【0077】

これにより、音声入力端末２１を用いて機器６３を制御したいユーザが宅内の所定領域にいない場合には、宅外から機器６３の制御が行われてもモニタ６２に表示関連情報が出力されないようにすることができる。

【0078】

（その他の実施の形態）
以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではない。

【0079】

例えば、上記実施の形態では、人の状態は人の有無であり、出力部５２は、人が存在する場合、表示関連情報を出力し、人が存在しない場合、表示関連情報を出力しなかったが、これに限らない。例えば、モニタ６２が、テレビが有するディスプレイの場合に、人情報取得部５３が所定領域における人の状態がテレビを見ている状態を示す情報を取得したときには、出力部５２は、表示関連情報を出力しなくてもよい。これにより、人がテレビを見ているときに、当該テレビに音声制御情報に関連した表示がされないようにすることができる。

【0080】

また、例えば、上記実施の形態では、音声制御情報出力システム３０は、人情報取得部５３を備えたが、備えなくてもよい。つまり、音声制御情報出力システム３０は、宅内の所定領域における人の状態に基づいて、表示関連情報を出力する機能を有していなくてもよい。

【0081】

また、本発明は、音声制御情報出力システム３０として実現できるだけでなく、音声制御情報出力システム３０を構成する各構成要素が行うステップ（処理）を含む音声制御情報出力方法として実現できる。

【0082】

具体的には、音声制御情報出力方法は、図３に示されるように、音声取得部（音声入力端末２１または８０）によって取得された音声に基づいて機器６３を制御するための音声制御情報を出力する音声制御システム２０から音声制御情報を取得する音声制御情報取得ステップ（ステップＳ１１）と、音声制御情報に関連した表示を行うための表示関連情報を出力する出力ステップ（ステップＳ１２）と、を含む。

【0083】

例えば、それらのステップは、コンピュータ（コンピュータシステム）によって実行されてもよい。そして、本発明は、それらの方法に含まれるステップを、コンピュータに実行させるためのプログラム（片付け支援プログラム）として実現できる。さらに、本発明は、そのプログラムを記録したＣＤ－ＲＯＭ等である非一時的なコンピュータ読み取り可能な記録媒体として実現できる。

【0084】

例えば、本発明が、プログラム（ソフトウェア）で実現される場合には、コンピュータのＣＰＵ、メモリおよび入出力回路等のハードウェア資源を利用してプログラムが実行されることによって、各ステップが実行される。つまり、ＣＰＵがデータをメモリまたは入出力回路等から取得して演算したり、演算結果をメモリまたは入出力回路等に出力したりすることによって、各ステップが実行される。

【0085】

また、上記実施の形態の音声制御情報出力システム３０に含まれる各構成要素は、専用または汎用の回路として実現されてもよい。

【0086】

また、上記実施の形態の音声制御情報出力システム３０に含まれる各構成要素は、集積回路（ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。

【0087】

また、集積回路はＬＳＩに限られず、専用回路または汎用プロセッサで実現されてもよい。プログラム可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定が再構成可能なリコンフィギュラブル・プロセッサが、利用されてもよい。

【0088】

さらに、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、音声制御情報出力システム３０に含まれる各構成要素の集積回路化が行われてもよい。

【0089】

その他、実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素および機能を任意に組み合わせることで実現される形態も本発明に含まれる。

【符号の説明】

【0090】

２０ 音声制御システム
２１、８０ 音声入力端末（音声取得部）
３０ 音声制御情報出力システム
５１ 音声制御情報取得部
５２ 出力部
５３ 人情報取得部
６３ 機器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】