(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0013】
以下、本発明の実施形態について、詳細に説明する。なお、説明の便宜上、各実施形態に示した部材と同一の機能を有する部材については、同一の符号を付記し、適宜その説明を省略する。
【0014】
〔実施形態1〕
まず、本発明の一実施形態について、
図1〜
図7を参照して説明する。
【0015】
(音声対話システムの構成)
図1は、本実施形態に係る音声対話システム1の構成を示す図である。
図1に示すように、音声対話システム1では、ユーザ宅70に設置された家電10(10−1〜10−4)と、サーバ20と、通信端末装置30(30−1〜30−3)とが、通信ネットワーク60を介して接続されている。なお、
図1は、音声対話システム1における、あるユーザ宅70に関する部分を示している。
【0016】
家電10(電子機器)は、通信ネットワーク60に接続してサーバ20と通信するための無線通信機能を有するネットワーク家電である。無線通信機能は、家電10本体に内蔵されていてもよいし、家電10本体に外付けされる通信アダプタ(図示せず)に備えられていてもよい。
【0017】
また、家電10は、後述する対話制御部11a(
図2参照)を備え、家電10としての主たる機能以外の付加機能としてユーザと対話する機能を有するものである。家電10は、家電10のドアが開けられたり、家電10の所定のボタンが操作されたりするなどの、対話を開始するトリガとなる所定の事象の発生を検知すると、対話制御部11aが動作して、ユーザに対して発話することで音声対話を開始する音声対話機能を有している。
【0018】
本実施形態では、家電10がユーザから取得した音声の音声データをサーバ20に送信し、サーバ20が音声認識を行って発話の内容を特定し、特定した内容に基づいた回答の音声データを家電10に送信する構成を例示する。
【0019】
なお、家電10が音声認識機能を有し、家電10にて音声認識を行って発話の内容を特定し、特定した内容をサーバ20に送信して、回答の音声データをサーバ20から受信する構成としてもよい。或いは、サーバ20を介さず、家電10にて音声認識を行うと共に、回答する音声データの準備まで家電10が実施する構成としてもよい。
【0020】
図1の例では、家電10として、冷蔵庫10−1、加熱調理器10−2、エアコン10−3、洗濯機10−4を例示しているが、このような音声対話機能を有する家電10としては、空気清浄機や、照明装置などの他の家電であってもよい。
【0021】
本実施形態では、上述したように、サーバ20は、家電10から送信される音声データを音声認識し、特定された発話の内容に基づいた回答の音声データを準備して家電10に送信する機能を有している。
【0022】
ユーザ宅70には、通信ネットワーク60の一部をなす無線LAN(Wireless Local Area Network)が整備されている。無線LANの中継局40は、インターネットを含む通信ネットワーク60と接続されている。中継局40は、例えば、WiFi(登録商標)ルータやWiFi(登録商標)アクセスポイントなどの通信機器である。本実施形態では、通信ネットワーク60としてインターネットを含む構成を例示しているが、電話回線網、移動体通信網、CATV(CAble TeleVision)通信網、衛星通信網などを利用することもできる。
【0023】
サーバ20と家電10とは、通信ネットワーク60および無線LANの中継局40を介して通信可能となる。また、サーバ20と通信端末装置30とは、通信ネットワーク60を介して通信可能となる。通信端末装置30と通信ネットワーク60におけるインターネットとの間は、3G(3rd Generation)、LTE(Long Term Evolution)や、宅内或いは公衆のWiFi(登録商標)アクセスポイントなどを利用して接続される。
【0024】
(家電10の構成)
図2は、家電10の概略構成を示すブロック図である。家電10は、
図2に示すように、制御部11、記憶部12(記憶デバイス)、通信部13、音声出力部14、音声取得部15、操作パネル16、および各種センサ17を備えている。
【0025】
制御部11は、例えば、CPU(Central Processing Unit)や専用プロセッサなどの演算処理部などにより構成されるコンピュータ装置からなり、家電10の各部の動作を制御するものである。なお、制御部11の詳細は後述する。
【0026】
記憶部12は、家電10で用いられる各種情報を記憶するものであり、サーバ20からダウンロードした発話すべき音声データや音声対話における回答の音声データなども記憶する。なお、記憶部12の詳細は後述する。
【0027】
通信部13は、制御部11の制御のもと、無線LANの中継局40および通信ネットワーク60を介してサーバ20と相互通信を行うものである。
【0028】
音声出力部14は、スピーカなどからなり、制御部11の制御のもと、音声データに基づいた音声を出力するものである。音声取得部15は、マイクなどからなり、制御部11の制御のもと、音声を取得し、取得した音声を音声データに変換するものである。
【0029】
操作パネル16は、制御部11の制御のもと、家電10に対してユーザが指示を入力したり、家電10の状態(対話状態、庫内温度、設定温度等)を通知したりするためのユーザ・インターフェースである。操作パネル16には、発話ボタン16aと、通知ランプ16bとが設けられている。通知ランプ16bは、例えば3色LEDからなる。また、操作パネル16に、対話状態や家電10の対話に係る設定の変更をするための表示ボタン(図示せず)等が備えられていてもよい。
【0030】
発話ボタン16aは、音声対話状態ではない場合に、ユーザから音声対話を開始する対話開始ボタンであってもよい。さらに、発話ボタン16aは、音声取得部15の起動指示や、ユーザからの対話の停止指示を受け付けるものであってもよい。通知ランプ16bは、対話状態を通知するものである。また、通知ランプ16bは、家電10が発話すべき音声データを有する場合には、その存在を通知する。
【0031】
各種センサ17は、制御部11の制御のもと、家電10における各種の動作および状況を検出するものである。各種センサ17の例としては、家電10を操作するための操作パネル16、家電10を遠隔操作するための赤外線受光器、家電10のドアの開閉を検出するためのスイッチ、家電10の周囲の状況を検出するためのカメラ、などが挙げられる。
【0032】
(制御部11および記憶部12の構成)
制御部11は、対話制御部11a(対話部)、事象検知部11b(検知部)、および開始判定部11c(判定部)を備えている。また、記憶部12は、条件データ12aを記憶している。この条件データ12aは、ユーザとの対話を開始するための開始条件を示すものである。なお、該開始条件の実施例については後述する。
【0033】
対話制御部11aは、ユーザとの対話を行うために、家電10内の各部を制御するものである。なお、対話制御部11aの詳細については後述する。
【0034】
事象検知部11bは、家電10が上記対話を開始するトリガとなり得る所定の事象を検知するものである。上記所定の事象の例としては、家電10(冷蔵庫10−1、加熱調理器10−2、洗濯機10−4など)に設けられたドアが開けられること、リモコン(リモートコントローラ)を用いて家電10(エアコン10−3)の遠隔操作が開始されること、などが挙げられる。
【0035】
開始判定部11cは、事象検知部11bが上記所定の事象を検知すると、記憶部12に記憶された条件データ12aに基づいて、上記対話を開始するか否かを判定するものである。開始判定部11cは、判定結果に基づいて、対話制御部11aに指示する。
【0036】
上述のように、ユーザが家電10に近づく度に家電10が対話を開始したり、家電10のドアを開ける度に家電10が対話を開始したりすることは、当該ユーザにとって煩わしく、希望しないことがある。この問題点は、上記ユーザが家電10との対話を希望する頻度よりも、上記ユーザが家電10に対し所定の行動を行う頻度の方が多いことに起因する。
【0037】
これに対し、本実施形態では、家電10がユーザとの対話を開始するか否かは、条件データ12aが示す所定の開始条件に基づき判断される。すなわち、家電10に対しユーザが所定の行動を行っても、上記所定の開始条件に合致しない場合には、上記対話を開始しない。これにより、ユーザが家電10に対し所定の行動を行う度に上記対話を開始する場合に比べて、家電10と上記ユーザとの対話を適切な頻度で行うことができる。また、対話制御部11aを動作させる頻度を減らすことができ、その結果、電力消費を抑制することができる。
【0038】
(対話制御部11aの詳細)
対話制御部11aは、開始判定部11cから起動が指示され、或いは、発話ボタン16aが押圧されると、ユーザとの対話を開始する。この開始時には、該開始を知らせる音声データを音声出力部14に送り、発話させる。上記起動を知らせる音声データによる発話の例としては、「は〜い/なになに?…」というようなものが挙げられる。上記開始を知らせる音声データは、記憶部12に予め記憶されていることが望ましい。
【0039】
また、上記開始時に発話すべき音声データがある場合、対話制御部11aは、当該音声データを音声出力部14に送り、上記起動を知らせる音声データに代えて発話させる。発話すべき音声データとしては、サーバ20よりダウンロードしたものや、記憶部12に家電10の製造時から記憶されていたものなどがある。その内容は、例えば、通信端末装置30から入力された伝言や、「製氷機の氷がなくなっているよ」、「冷蔵庫に卵があるよ。卵を使った料理を作ってみない?」といったメッセージなど様々である。
【0040】
上記起動時の発話が完了すると、対話制御部11aは、音声取得部15を起動させ、音声取得部15が取得した音声の音声データを作成し、通信部13を介してサーバ20に送信する。また、対話制御部11aは、回答の音声データをサーバ20から通信部13を介して受信すると、受信した回答の音声データを音声出力部14に送り、発話させる。この時、対話制御部11aは、上記発話の間には音声取得部15を一旦停止させ、上記発話が完了すると再び起動させる。そして、上記動作を繰り返すことにより、ユーザからの発話と、該発話に対応する家電10からの発話とが繰り返されて、ユーザとの対話が実現できる。
【0041】
また、対話制御部11aは、音声を取得できない状態が所定期間(例えば30秒)続いたり、或いは、音声取得部15を稼働させている状態で発話ボタン16aが押圧されたりすると、上記ユーザとの対話を終了する。この時、対話制御部11aは、該終了を知らせる音声データを音声出力部14に送り、発話させる。上記終了を知らせる音声データによる発話の例としては、「またね!」、「通信状態が良くないみたい!」というようなものが挙げられる。当該音声データは、記憶部12に予め記憶されていることが望ましい。上記終了時の発話が完了すると、対話制御部11aは、音声出力部14および音声取得部15を停止させる。
【0042】
なお、対話制御部11aは、音声出力部14を発話させている状態で発話ボタン16aが押圧されると、音声出力部14を停止させて発話を中止させてもよい。この時、対話制御部11aは、一旦停止させた音声取得部15を再び起動させることが望ましい。これにより、音声取得部15は、ユーザからの音声を、ユーザが所望するタイミングで取得することができる。
【0043】
また、対話制御部11aは、通知ランプ16bの点灯を制御して、発話すべき音声データの有無と、音声取得部15の稼働状態をユーザに通知する。
【0044】
具体的には、対話制御部11aは、対話を開始していない状態において、発話すべき音声データが存在している場合には、その旨を知らせる所定の第1色(例えばピンク)で通知ランプ16bを点滅点灯させ、それ以外の場合には通知ランプ16bを消灯させる。
【0045】
また、対話を開始しており、音声取得部15が稼働している状態(稼動状態)では、通知ランプ16bを第2色(例えばグリーン)で制御する。このとき、音声取得部15が音声を取得している場合には、通知ランプ16bを非点滅点灯させ、音声取得部15が音声を取得していない場合には、通知ランプ16bを点滅点灯させる。
【0046】
また、対話制御部11aは、音声出力部14の発話中(音声取得部15の停止中)には、通知ランプ16bを非点滅点灯させる。非点滅点灯の色は、例えば、発話すべき音声データの発話中であれば第1色、起動時や停止時の発話であるか、或いは、対話の中でユーザの音声入力への回答として生成された応答発話であれば第3色(例えばブルー)である。
【0047】
また、対話中であって音声取得部15が停止中であり、かつ音声出力部14が停止中(発話中ではない)である状態は、ユーザが家電からの応答を待機している状態である。この状態では、通知ランプ16bを第3色で非点滅点灯させ、これにより、対話を処理中であることがユーザに通知される。
【0048】
(サーバ20の構成)
図3は、サーバ20の概略構成を示すブロック図である。サーバ20は、各家電10を管理するものであり、
図3に示すように、制御部21、記憶部22、通信部23、および音声認識装置24を備えている。また、制御部21には、音声提供機能部21aが構築されている。
【0049】
制御部21は、例えば、CPU(Central Processing Unit)や専用プロセッサなどの演算処理部等により構成されるコンピュータ装置が考えられ、サーバ20の各部の動作を制御するものである。
【0050】
記憶部22は、サーバ20で用いられる各種情報を記憶するものであり、後述する音声提供機能部21aが、家電10に提供する音声データの作成時に参照する文章例等も記憶している。通信部23は、制御部21の制御のもと、通信ネットワーク60を介して家電10および通信端末装置30と相互通信を行うものである。
【0051】
音声認識装置24は、家電10より送信され、通信部23が受信した音声データを音声認識して、文字列に変換するものである。音声認識装置24には、単なる文字列ではなく、意味ある文章に変換する機能等も備えられている。
【0052】
音声提供機能部21aは、ユーザとの対話の開始時に、ユーザに対して家電10が発話する音声データ、および、家電10にて取得された発話に対する回答の音声データを家電10に提供するものである。音声提供機能部21aは、提供する音声データを、記憶部22を参照して作成したり、通信ネットワーク60を介して取得したりする。音声提供機能部21aは、作成した音声データを、通信部23を介して家電10に送信し、ダウンロードさせる。
【0053】
(音声対話における処理の流れ)
図4〜
図6は、本実施形態の家電10における音声対話の処理の流れを示すフローチャートである。
【0054】
まず、
図4に示すように、事象検知部11bは、発話ボタン16aが押圧されるか、或いは、上記対話を開始するトリガとなる所定の事象が発生することを検知するまで待機する(S1・S2、検知ステップ)。このとき、通知ランプ16bは、発話すべき音声データが存在する場合は、その存在を知らせる第1色で点滅点灯し、存在しない場合は消灯している。
【0055】
上記所定の事象が発生したことを事象検知部11bが検知すると(S2にてYES)、開始判定部11cは、記憶部12に記憶された条件データに基づいて、上記対話を開始するか否かを判定する(S3・S4、判定ステップ)。上記対話を開始しないと判定した場合(S4にてNO)、ステップS1に戻って上記動作を繰り返す。
【0056】
一方、発話ボタン16aが押圧されたことを事象検知部11bが検知した場合(S1にてYES)、或いは、開始判定部11cが上記対話を開始すると判定した場合(S4にてYES)、対話制御部11aは、下記の対話制御の処理を実行する(S5、対話ステップ)。
【0057】
すなわち、
図5に示すように、対話制御部11aは、発話すべき音声データが存在する場合にはこれを発話させる(S10)。このとき、通知ランプ16bは、第1色の点滅点灯から第1色の非点滅点灯に切り換わる。一方、発話すべき音声データが無い場合には、対話制御部11aは、音声取得部15の起動を通知する発話(例えば、「は〜い/なになに?…」)を行わせる(S10)。このとき、通知ランプ16bは、第3色で非点滅点灯する。
【0058】
発話が完了すると、対話制御部11aは音声取得部15を起動させる(S10)。このとき、通知ランプ16bは、音声取得部15の稼働状態を知らせる第2色で点滅点灯する。第2色で点滅点灯に移行した後も、音声出力部14の発話中には、第3色で非点滅点灯し、音声出力部14の発話が完了すると第2色の点滅点灯に戻る。
【0059】
次に、対話制御部11aは、音声取得部15にてユーザの発話等の音声を取得するか、或いは、所定時間(例えば30秒)が経過するまで待機する(S11・S12)。上記音声を取得した場合(S11にてYES)、取得した音声の音声データを作成してサーバ20に送信する(S13)。その後、サーバ20から回答の音声データを受信するか、或いは、所定時間(例えば10秒)が経過するまで待機する(S14・S15)。上記音声データを受信した場合(S14にてYES)、これを発話させる(S16)。その後、ステップS11に戻り、上記動作を繰り返す。
【0060】
一方、上記音声データを受信せずに上記所定時間が経過した場合(S15にてYES)、対話制御部11aは、音声取得部15を停止すると共に、サーバ20からの音声データの受信待ちを停止する(S17)。また、その停止を通知する発話(例えば、「通信状態が良くないみたい!」)を行わせる(S17)。その後、上記対話制御の処理(S5)を終了して、
図4に示すステップS1に戻り、上記動作を繰り返す。
【0061】
一方、上記音声を取得せずに上記所定時間が経過した場合(S11にてYES)、対話制御部11aは、音声取得部15を停止させると共に、その停止を通知する発話(例えば、「またね!」)を行わせる(S18)。その後、上記対話制御の処理(S5)を終了して、
図4に示すステップS1に戻り、上記動作を繰り返す。
【0062】
図5に示す対話処理の実行中に、発話ボタン16aが押圧されると、対話制御部11aは、下記の割込み処理を実行する。すなわち、
図6に示すように、音声出力部14が発話中であるか否かを判断する(S20)。発話中である場合(S20にてYES)、音声出力部14からの発話を中止させ(S21)、その後、ステップS11に戻り、上記動作を繰り返す。これにより、ユーザからの音声を直ちに取得することができる。
【0063】
図5に示す対話処理の実行中に、発話ボタン16aが押圧されると、対話制御部11aは、下記の割込み処理を実行する。すなわち、
図6に示すように、音声出力部14が発話中であるか否かを判断する(S20)。発話中である場合(S20にてYES)、音声出力部14からの発話を中止させると共に音声取得部15を起動させ(S21)、その後、ステップS11に戻り、上記動作を繰り返す。これにより、ユーザからの音声を直ちに取得することができる。なお、発話すべき音声データの発話中であれば、該発話を中止せず、該発話が完了してから音声取得部15を起動させて、ステップS11に戻ってもよい。
【0064】
一方、発話中ではない場合(S20にてNO)、対話制御部11aは、ユーザから音声対話の終了が指示されたとして、ステップS18に進み、その後、
図4に示すステップS1に戻り、上記動作を繰り返す。
【0065】
ステップS11からステップS16までの間、通知ランプ16bは、音声出力部14が発話中の場合には第3色で非点滅点灯し、その他の場合には第2色で点滅点灯する。ステップS17またはステップS18に進むとき、通知ランプ16bは、ステップS21にて発話すべき音声データを発話できなかった場合には点滅点灯の色が第1色に切り換わり、その他の場合には消灯する。
【0066】
(冷蔵庫10−1の構成)
ここで、
図7を用いて、家電10の一例としての冷蔵庫10−1について詳細に説明する。
図7は、冷蔵庫10−1の外観斜視図、および操作パネル16の拡大図である。
図7に示すように、冷蔵庫10−1は、下部に、野菜室41、冷凍室42、調整冷凍室43、製氷室44等が設けられ、上部に冷蔵室45が設けられている。冷蔵室45のドア46は、観音開きタイプであり、2枚あるドア46a,46bのうちのより大きい方の第1ドア46aの開放端側に、縦長の操作パネル16が設けられている。
【0067】
操作パネル16には、上述した発話ボタン16aおよび通知ランプ16bの他、サーバ20との接続状態を示すコネクトランプ16cなどが備えられている。発話ボタン16aおよびコネクトランプ16cは、冷蔵庫10−1の前に立ったユーザ(一般的な身長のユーザ)の顔の高さとなるように、操作パネル16の上部に配置され、発話ボタン16aは、それよりも下に配置されていることが望ましい。
【0068】
なお、
図7には示していないが、音声取得部15のマイクと、音声出力部14のスピーカとが、冷蔵庫10−1の適所(例えば、本体47のヒンジカバー部51a・51b)に設けられている。
【0069】
従って、家電10に対するユーザの行動をトリガに、音声取得部15が起動した場合に、起動したことを知らせる発話と共に、通知ランプ16bの点灯の状態を確認することで、ユーザは、音声取得部15が稼働状態にあるかどうかを確認することができる。
【0070】
そのため、ユーザは、発話した音声が間違いなく取得されているのかどうか不安を感じることなく、家電10と対話できる。また、音声の取得を希望しない場合にも、音声取得部15が非稼働であることを確認できる。
【0071】
これにより、家電10としての主たる機能以外に、家電10に対するユーザの行動をきっかけに、音声対話を行うという便利な付加機能を、ユーザに煩わしさを感じさせることなく利用させることができる。
【0072】
また、音声出力部14による発話と通知ランプ16bの点灯状態との両方で、音声取得部15の稼働状態を通知するので、視覚および聴覚の両方から知ることができる。なお、音声取得部15の稼働状態の通知は、通知ランプ16bの点灯あるいは発話の何れか一方で、通知される構成であってもよいし、さらに、表示パネルにメッセージで表示する構成であってもよい。
【0073】
〔実施例1〕
本実施形態において、記憶部12が記憶する条件データ12aが示す開始条件の種々の実施例を説明する。なお、以下の実施例では、ユーザとの対話を開始するトリガとなる所定の事象は、「冷蔵庫10−1のドア46が開けられる」ことであるが、これに限定されるものではない。
【0074】
(実施例1−1)
本実施例では、上記開始条件は、「所定の確率で対話を開始する」ものである。より具体的には、上記開始条件は、「冷蔵庫10−1のドア46が開けられたときに、20%の確率で対話を開始する」ものである。
【0075】
この場合、条件データ12aとして、上記所定の確率を百分率で表した数値(20)を記憶部12に予め記憶すればよい。そして、開始判定部11cは、1〜100の数字の中からランダムに数字を選択し、選択した数字が、上記数値(20)以下であるか否かを判定すればよい。
【0076】
(実施例1−2)
本実施例では、上記開始条件は、「時間帯によって対話を開始するかどうか判定する」ものである。より具体的には、上記開始条件は、「冷蔵庫10−1のドア46が開けられたときに、現在時刻が起きている時間帯(6:00〜21:59)であれば対話を開始する一方、現在時刻が寝ている時間帯(22:00〜5:59)であれば対話を開始しない」ものである。
【0077】
この場合、条件データ12aとして、上記起きている時間帯を記憶部12に予め記憶すればよい。そして、開始判定部11cは、現在時刻を取得し、取得した現在時刻が上記起きている時間帯に含まれるか否かを判定すればよい。
【0078】
(実施例1−3)
本実施例では、上記開始条件は、「時間帯ごとに設定された確率で対話を開始する」ものである。より具体的には、上記開始条件は、「冷蔵庫10−1のドア46が開けられたときに、現在時刻が朝の忙しい時間帯(6:00〜8:59)であれば10%の確率で対話を開始し、現在時刻が昼間の余裕のある時間帯(9:00〜15:59)であれば50%の確率で対話を開始し、現在時刻が夕食を準備する時間帯(16:00〜19:59)であれば10%の確率で対話を開始し、現在時刻が夜の余裕のある時間帯(20:00〜21:59)であれば30%の確率で対話を開始し、かつ、現在時刻が夜中の寝ている時間帯(22:00〜5:59)であれば0%の確率で対話を開始する(すなわち対話を開始しない)」ものである。
【0079】
この場合、条件データ12aとして、上記所定の確率を百分率で表した数値を上記時間帯の情報に対応付けて記憶部12に予め記憶すればよい。そして、開始判定部11cは、現在時刻を取得すると共に、1〜100の数字の中からランダムに数字を選択し、選択した数字が、取得された現在時刻に含まれる時間帯に対応付けられた数値以下であるか否かを判定すればよい。
【0080】
〔実施形態2〕
次に、本発明の別の実施形態について、
図8を参照して説明する。
【0081】
図8は、本実施形態に係る家電10Aの概略構成を示すブロック図である。本実施形態の家電10Aは、
図2に示す家電10に比べて、記憶部12において、上記所定の事象を検知した履歴(検知履歴)と、上記対話を開始した履歴(開始履歴)と、を含む履歴データ12b(履歴情報)を記憶している点と、制御部11において、対話制御部11a、事象検知部11b、および開始判定部11cに代えて、対話制御部11d、事象検知部11e、および開始判定部11fが設けられている点と、が異なり、その他の構成は同様である。
【0082】
事象検知部11eは、
図2に示す事象検知部11bに比べて、上記所定の事象を検知した時刻(検知時刻)を記憶部12の履歴データ12bに追加する構成が新たに設けられている点が異なり、その他の構成は同様である。対話制御部11dは、
図2に示す対話制御部11aに比べて、上記対話を開始した時刻(開始時刻)を記憶部12の履歴データ12bに追加する構成が新たに設けられている点が異なり、その他の構成は同様である。
【0083】
また、開始判定部11fは、
図2に示す開始判定部11cに比べて、上記対話を開始するか否かを、記憶部12に記憶された条件データ12aおよび履歴データ12bに基づいて判定する点が異なり、その他の構成は同様である。
【0084】
上記の構成によると、履歴データ12bからは、上記所定の事象の発生頻度と、上記対話の開始頻度とを把握することができる。従って、上記発生頻度および上記開始頻度を考慮した上で、家電10Aがユーザとの対話を開始するか否かを判定するので、家電10Aとユーザとの対話をより適切な頻度で行うことができる。また、対話制御部11dおよび音声取得部15を動作させる頻度をさらに減らすことができ、その結果、電力消費をさらに抑制することができる。
【0085】
〔実施例2〕
本実施形態において、記憶部12が記憶する条件データ12aが示す開始条件の種々の実施例を説明する。
【0086】
(実施例2−1)
本実施例では、上記開始条件は、「最近の(現時点から過去に遡った)所定期間内に上記所定の事象が発生した回数(頻度)を、履歴データ12bを用いて算出し、算出された回数に基づいて確率を設定し、設定された確率で対話を開始する」ものである。より具体的には、上記開始条件は、「冷蔵庫10−1のドア46が開けられたときに、最近の10分間におけるドア46の開閉数が、3回以上であれば5%の確率で対話を開始する一方、3回未満であれば20%の確率で対話を開始する」ものである。
【0087】
この場合、条件データ12aとして、上記頻度の閾値(3)と、該閾値未満の場合の確率を百分率で表した数値(20)と、上記閾値以上の場合の確率を百分率で表した数値(5)と、を記憶部12に予め記憶すればよい。そして、開始判定部11fは、履歴データ12bから上記所定の事象が発生した最近の頻度を算出すると共に、1〜100の数字の中からランダムに数字を選択し、選択した数字が、算出した頻度に対応する数値以下であるか否かを判定すればよい。
【0088】
(実施例2−2)
本実施例では、上記開始条件は、「上記所定の事象が所定回数だけ発生するごとに対話を開始する」ものである。より具体的には、上記開始条件は、「冷蔵庫10−1のドア46が開けられたときに、ドア46の開閉数が、前回対話を開始してから5回以上であれば、対話を開始する」ものである。
【0089】
この場合、条件データ12aとして、上記所定回数(5)を記憶部12に予め記憶すればよい。そして、開始判定部11fは、履歴データ12bを参照して、前回対話を開始してから上記所定の事象が発生した回数を取得し、取得した回数が上記所定回数以上であるか否かを判定すればよい。
【0090】
なお、履歴データ12bを利用する代わりに、ドア46の開閉をカウントするカウンタを、新たに設けて利用してもよい。この場合、事象検知部11eは、ドア46が開かれたことを検知すると、上記カウンタのカウント数を1だけ増分し、開始判定部11fは、上記カウンタのカウント数が上記所定回数以上であるか否かを判定し、対話制御部11dは、対話を開始すると、上記カウンタのカウント数を0に戻すようにすればよい。
【0091】
(実施例2−3)
本実施例では、上記開始条件は、「前回上記対話を開始してから所定期間経過している場合に対話を開始する」ものである。より具体的には、上記開始条件は、「冷蔵庫10−1のドア46が開けられたときに、前回対話を開始してから30分が経過していれば、対話を開始する」ものである。
【0092】
この場合、条件データ12aとして、上記所定期間(30分)を記憶部12に予め記憶すればよい。そして、開始判定部11fは、履歴データ12bを参照して、前回対話を開始してから上記所定期間を経過したか否かを判定すればよい。これにより、対話が開始されてから30分間は、冷蔵庫10−1のドア46を開けても冷蔵庫10−1が対話を開始しないので、ユーザは、冷蔵庫10−1から頻繁に話しかけられて煩わしさを感じることを防止できる。
【0093】
(実施例2−4)
本実施例では、上記開始条件は、「単位時間ごとに時間帯を設定し、各時間帯で所定回数だけ対話を開始する」ものである。より具体的には、上記開始条件は、「冷蔵庫10−1のドア46が開けられたときに、30分単位の時間帯であって、現時点の時間帯にて対話を開始した回数が1未満(0)であれば、対話を開始する」ものである。
【0094】
この場合、条件データ12aとして、上記単位時間(30分)および上記所定回数(1)を記憶部12に予め記憶すればよい。なお、上記時間帯は、例えば、0時0分、冷蔵庫10−1の起動時刻など、任意の時刻を始点として上記単位時間ごとに設定すればよい。そして、開始判定部11fは、履歴データ12bを参照して、現時点の時間帯にて対話を開始した回数が上記所定回数未満であるか否かを判定すればよい。
【0095】
(実施例2−5)
本実施例では、上記開始条件は、「最近の所定期間内に発話ボタン16aを押圧することにより対話を開始した回数に応じて所定の確率を変更し、変更した確率で対話を開始する」ものである。より具体的には、上記開始条件は、「冷蔵庫10−1のドア46が開けられたときに、最近の1時間において、発話ボタン16aを押圧することにより対話を開始した回数が3回以上であるならば、所定の確率である20%を2倍にした40%の確率で対話を開始する」ものである。
【0096】
この場合、条件データ12aとして、上記所定期間(1時間)、上記回数の閾値(3回)、上記所定の確率を百分率で表した数値(20)を記憶部12に予め記憶すればよい。また、発話ボタン16aを押圧することにより対話を開始した時刻を履歴データ12bに記憶すればよい。そして、開始判定部11fは、履歴データ12bを参照して、最近の所定期間内に発話ボタン16aを押圧することにより対話を開始した回数を取得し、取得した回数に応じて、上記数値を変更する一方、1〜100の数字の中からランダムに数字を選択し、選択した数字が、変更した数値以下であるか否かを判定すればよい。
【0097】
(変形例1)
なお、上記の各実施例は、適宜組み合わせることが可能である。この場合、各実施例に優先順位を付すことが望ましい。例えば、ユーザの観点からは、深夜の時間帯では家電10に喋って欲しくない。そこで、該当する開始条件を有する実施例1−2が、他の実施例よりも優先される。
【0098】
また、実施例1−1・1−2・2−1の組み合わせることにより、上記開始条件を、「6:00〜21:59の時間帯では、最近の10分間にドア46が開けられた回数が3回未満であれば20%の確率で対話を開始し、3回以上であれば5%の確率で対話を開始する一方、22:00〜5:59の時間帯では、対話を開始しない」とすることができる。
【0099】
また、対話を開始する確率を有していない実施例1−2・2−2〜2−4について、対話を開始する場合を上記確率100%とし、対話を開始しない場合を上記確率0%とすることにより、他の実施例と組み合わせることができる。例えば、実施例1−1・2−2を組み合わせることにより、上記開始条件を、「ドア46の開閉数が、前回対話を開始してから4回以下であれば、0%の確率で対話を開始する(すなわち対話を開始しない)一方、5回以上であれば、80%の確率で対話を開始する」とすることができる。また、実施例1−1・2−3を組み合わせることにより、上記開始条件を、「冷蔵庫10−1のドア46が開けられたときに、前回対話を開始してから30分が経過していれば、80%の確率で対話を開始する」とすることができる。
【0100】
〔実施形態3〕
次に、本発明のさらに別の実施形態について、
図9および
図10を参照して説明する。本実施形態では、ユーザからの発話内容に基づき、家電10Bが対話を開始する頻度を変更するものである。具体的には、家電10Bが対話を開始する頻度を変更するようなキーワード(例えば「静かにして」、「もっと喋って」など)をサーバ20Bが認識すると、認識した語句に基づいて、家電10Bが記憶部12に記憶された条件データ12aを変更する。上記の構成によると、家電10Bとユーザとの対話を、ユーザの所望する頻度で行うことができる。
【0101】
図9は、本実施形態に係る家電10Bの概略構成を示すブロック図である。本実施形態の家電10Bは、
図8に示す家電10Aに比べて、制御部11に条件変更部11gが新たに設けられている点が異なり、その他の構成は同様である。
【0102】
図10は、本実施形態に係るサーバ20Bの概略構成を示すブロック図である。本実施形態のサーバ20Bは、
図3に示すサーバ20に比べて、音声認識装置24に代えて音声認識装置24Bが設けられている点と、頻度変更指示部21bが新たに設けられている点と、が異なり、その他の構成は同様である。
【0103】
サーバ20Bの音声認識装置24Bは、
図3に示す音声認識装置24に比べて、下記の構成が追加されており、その他の構成は同様である。すなわち、音声認識装置24Bは、家電10Bが対話を開始する頻度を変更するようなキーワードが予め設定されている。また、音声認識装置24Bは、家電10Bからの音声データを音声認識することにより変換された文字列に、当該キーワードが含まれているか否かを判断し、含まれている場合には当該キーワードを頻度変更指示部21bに通知する。
【0104】
サーバ20Bの頻度変更指示部21bは、音声認識装置24Bからのキーワードに基づき、家電10Bが対話を開始する頻度を変更する指示(頻度変更指示)を、通信部23を介して家電10Bに送信するものである。例えば、上記キーワードが「静かにして」であれば、上記頻度を減少する頻度変更指示を家電10Bに送信する。また、上記キーワードが「もっと喋って」であれば、上記頻度を増加する頻度変更指示を家電10Bに送信する。
【0105】
家電10Bの条件変更部11gは、サーバ20Bからの頻度変更指示を、通信部13を介して受信すると、受信した頻度変更指示に基づき、記憶部12の条件データ12aを変更するものである。
【0106】
例えば、条件変更部11gは、上記頻度を減少する頻度変更指示を受信すれば、上記実施例1−1・1−3・2−1における対話を開始する確率を半分にしたり、上記実施例2−2の所定回数、上記実施例2−3の所定期間、および上記実施例2−4の単位時間を1.5倍にしたりする。なお、日付が変わると、変更した数値を元に戻してもよい。
【0107】
また、条件変更部11gは、上記頻度を増加する頻度変更指示を受信すれば、上記実施例1−1・1−3・2−1における対話を開始する確率を1.5倍にしたり、上記実施例2−2の所定回数、上記実施例2−3の所定期間、および上記実施例2−4の単位時間を半分にしたりする。なお、日付が変わると、変更した数値を元に戻してもよい。
【0108】
また、条件変更部11gは、上記頻度を減少する頻度変更指示を受信した後に上記頻度を増加する頻度変更指示を受信したり、上記頻度を増加する頻度変更指示を受信した後に上記頻度を減少する頻度変更指示を受信したりすれば、上記実施例1−1・1−3・2−1〜2−4の変更した数値を元に戻してもよい。
【0109】
〔実施形態4〕
次に、本発明の他の実施形態について、
図11を参照して説明する。本実施形態では、家電10が発話すべきメッセージを有している場合、必ず対話を開始する点が異なり、その他の構成は同様である。上記の構成によると、当該メッセージの発話が遅延することを防止できる。
【0110】
上記発話すべきメッセージとしては、家電10または音声対話システム1が、特にユーザに報せたいメッセージ、特に対話したいテーマなどが考えられ、例えば、「12:00から**スーパーのタイムセールだよ!行く?」、「**の賞味期限が切れそうだよ。今のうちに使ったら?」などが挙げられる。
【0111】
図11は、本実施形態に係る家電10における音声対話の処理の流れを示すフローチャートである。
図11に示すフローチャートは、
図4に示すフローチャートに比べて、ステップS2・S3の間にステップS30が追加されている点が異なり、その他の処理は同様である。
【0112】
図11に示すように、ステップS30では、事象検知部11bは、上記所定の事象が発生したことを検知すると(S2にてYES)、発話すべきメッセージが記憶部12に記憶されているか否かを判断する。記憶されている場合、対話制御部11aにおける対話制御の処理(S5)に進む一方、記憶されていない場合、開始判定部11cにおける開始判定の処理(S3・S4)に進む。
【0113】
〔付記事項〕
なお、上記実施形態では、冷蔵庫10−1などの家電10に本発明を適用しているが、これに限定されるものでなはなく、任意の電子機器に適用することができる。
【0114】
また、家電10によっては、サーバ20との通信機能を有していない場合が考えられる。この場合、該通信機能を有する通信アダプタを家電10に取り付けて電気的に接続すればよい。このとき、
図2に示す構成のうち、上記通信アダプタが、制御部11、記憶部12、通信部13、および音声取得部15を含む一方、家電10が、音声出力部14、操作パネル16、および各種センサ17を含んでもよい。これにより、上記通信アダプタを家電10に取り付けるだけで、本発明の対話機能を実現することができる。
【0115】
また、上記実施形態では、事象検知部11bは、1つの事象(ドア46の開閉)のみを検知しているが、複数の事象を検知してもよい。この場合、上記開始条件を上記事象ごとに設定してもよい。
【0116】
また、上記実施形態では、ユーザとの対話を開始する開始条件を設定しているが、対話を開始しない条件を設定してもよい。この場合、当該条件を満たさない場合に、対話を開始すればよい。
【0117】
また、上記の課題を解決するために、本発明の他の態様に係る電子機器の制御方法は、ユーザと対話を行う電子機器の制御方法であって、該電子機器が前記対話を開始するトリガとなり得る所定の事象の発生を検知する検知ステップと、該検知ステップにて前記事象の発生が検知されると、ユーザに発話すべき音声データの有無を判定する判定ステップと、該判定ステップによって前記音声データが有ると判定されれば、当該音声データを再生した後、前記対話を開始し、前記判定ステップによって前記音声データが無いと判定されれば、対話の開始を知らせる音声データを再生した後、前記対話を開始する対話ステップと、を含むことを特徴としている。
【0118】
〔ソフトウェアによる実現例〕
家電10およびサーバ20の制御ブロック(特に制御部11および制御部21)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
【0119】
後者の場合、家電10およびサーバ20は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0120】
〔まとめ〕
本発明の態様1に係る電子機器(家電10)は、ユーザと対話を行う対話部(対話制御部11a)を備える電子機器であって、該電子機器が前記対話を開始するトリガとなり得る所定の事象の発生を検知する検知部(事象検知部11b)と、該検知部が前記事象の発生を検知すると、所定の条件を満たすかを判定する判定部(開始判定部11c)と、を備えており、前記対話部は、前記判定部の判定結果に従って、前記対話を開始する構成である。
【0121】
上記の構成によると、電子機器がユーザとの対話を開始するか否かは、所定の条件に基づき判断される。すなわち、電子機器に対しユーザが所定の行動を行っても、上記所定の条件に合致しない場合には、上記対話を開始しない。これにより、ユーザが電子機器に対し所定の行動を行う度に上記対話を開始する場合に比べて、上記電子機器と上記ユーザとの対話を適切な頻度で行うことができる。また、上記対話部を動作させる頻度を減らすことができ、その結果、電力消費を抑制することができる。
【0122】
本発明の態様2に係る電子機器は、上記態様1において、前記検知部による前記事象の発生の検知履歴、および、前記対話部による前記対話の開始履歴の少なくとも一方の履歴情報(履歴データ12b)を記憶する記憶デバイス(記憶部12)をさらに備えており、前記判定部は、前記履歴情報を用いて、前記所定の条件を満たすかを判定することが好ましい。
【0123】
この場合、前記事象の発生の頻度、および/または、前記対話の開始頻度を考慮して、前記電子機器が前記ユーザとの対話を開始するか否かを判断するので、上記電子機器と上記ユーザとの対話をより適切な頻度で行うことができる。また、上記対話部を動作させる頻度をさらに減らすことができ、その結果、電力消費をさらに抑制することができる。
【0124】
本発明の態様3に係る電子機器は、上記態様1または2において、ユーザからの指示に基づき、前記所定の条件を変更する条件変更部11gをさらに備えており、前記判定部は、前記条件変更部が変更した条件を満たすかを判定してもよい。
【0125】
この場合、上記電子機器と上記ユーザとの対話を、ユーザの所望する頻度で行うことができる。なお、ユーザからの指示は、前記電子機器に設けられた操作パネル16を介して取得してもよいし、ユーザからの音声を認識(音声認識)することにより、取得してもよい。さらに、前記音声認識は、外部の装置(サーバ20)が行ってもよい。
【0126】
本発明の態様4に係る電子機器は、上記態様1から2において、ユーザに発話すべきメッセージを記憶する記憶デバイスをさらに備えており、前記対話部は、前記検知部が前記事象の発生を検知し、かつ、前記記憶デバイスに前記メッセージが記憶されていると、前記対話を開始することが好ましい。この場合、当該メッセージの発話が遅延することを防止できる。
【0127】
本発明の態様5に係る電子機器の制御方法は、ユーザと対話を行う電子機器の制御方法であって、該電子機器が前記対話を開始するトリガとなり得る所定の事象の発生を検知する検知ステップと、該検知ステップにて前記事象の発生が検知されると、所定の条件を満たすかを判定する判定ステップと、該判定ステップの判定結果に従って、前記対話を開始する対話ステップと、を含む方法である。
【0128】
上記の方法によると、上記態様1と同様の効果を奏することができる。
【0129】
本発明の各態様に係る電子機器は、コンピュータによって実現してもよく、この場合には、コンピュータを上記電子機器が備える各部(ソフトウェア要素)として動作させることにより上記電子機器をコンピュータにて実現させる電子機器の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【0130】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。