知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-28
(45)【発行日】2023-01-12
(54)【発明の名称】冷蔵庫
(51)【国際特許分類】
G10L 15/28 20130101AFI20230104BHJP
G10L 13/00 20060101ALI20230104BHJP
G10L 15/30 20130101ALI20230104BHJP
G10L 15/22 20060101ALI20230104BHJP
G10L 15/00 20130101ALI20230104BHJP
H04R 1/02 20060101ALI20230104BHJP
H04R 1/34 20060101ALI20230104BHJP
G06F 3/16 20060101ALI20230104BHJP
G06F 3/01 20060101ALI20230104BHJP
F25D 23/00 20060101ALI20230104BHJP
G10L 15/10 20060101ALN20230104BHJP
【ＦＩ】
G10L15/28 230K
G10L13/00 100M
G10L15/30
G10L15/22 300Z
G10L15/00 200N
H04R1/02 107
H04R1/34 320
G06F3/16 650
G06F3/16 690
G06F3/01 510
G06F3/16 640
F25D23/00 301R
F25D23/00 301H
F25D23/00 301J
G10L15/10 200W
【請求項の数】
8
(21)【出願番号】P 2018210624
(22)【出願日】2018-11-08
(65)【公開番号】P2020076884
(43)【公開日】2020-05-21
【審査請求日】2021-09-22
(73)【特許権者】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】浅田 尚志
(72)【発明者】
【氏名】大峠 誠志郎
(72)【発明者】
【氏名】山出 欽也
【審査官】大野 弘
(56)【参考文献】
【文献】特開２０１８－０９５４５０（ＪＰ，Ａ）
【文献】特開２０１４－１９６８４７（ＪＰ，Ａ）
【文献】特開２０１７－１３３８１８（ＪＰ，Ａ）
【文献】特開２０１７－１２６２２３（ＪＰ，Ａ）
【文献】特開昭６１－１４０９９９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ １５／２８
Ｇ１０Ｌ １３／００
Ｇ１０Ｌ １５／３０
Ｇ１０Ｌ １５／２２
Ｇ１０Ｌ １５／００
Ｈ０４Ｒ １／０２
Ｈ０４Ｒ １／３４
Ｇ０６Ｆ ３／１６
Ｇ０６Ｆ ３／０１
Ｆ２５Ｄ ２３／００
Ｇ１０Ｌ １５／１０
(57)【特許請求の範囲】
【請求項1】
マイクロフォンを有する音声取得部と、冷蔵庫のドアの開閉を検出するドア開閉検出部と、
前記ドア開閉検出部が前記ドアの開状態を検出したときに、前記音声取得部が取得した音声データが前記冷蔵庫との対話の開始の意思を示す発話であるという音声認識開始条件を満たすかどうかを判定し、前記音声データが前記音声認識開始条件を満たす場合に、音声認識部により前記音声データの音声認識を行わせる一方、前記音声データが前記音声認識開始条件を満たさない場合に、前記音声認識部により前記音声データの音声認識を行わせない音声認識制御部とを備え、
前記マイクロフォンは、冷蔵庫の上面に設けられた、上下方向の貫通孔を有する部材の前記貫通孔に、音声入力部を下方に向けて取り付けられ、
前記ドアの閉状態では、前記貫通孔の下方に前記ドアの上部が位置することを特徴とする冷蔵庫。
【請求項2】
前記音声認識制御部は、前記音声認識部が音声認識を行っている場合に、前記音声取得部が取得した音声データが前記冷蔵庫との対話の終了の意思を示す発話であるという音声認識終了条件を満たすかどうかを判定し、前記音声データが前記音声認識終了条件を満たす場合に、前記音声認識部による前記音声データの音声認識を終了させることを特徴とする請求項１に記載の冷蔵庫。
【請求項3】
前記音声認識制御部は、前記ドア開閉検出部が前記ドアの閉状態を検出したときに、前記ドアの閉状態の検出時点から所定時間、前記音声認識部による前記音声データの音声認識を継続して行わせ、前記ドアの閉状態の検出時点から所定時間経過後に、前記音声認識部による前記音声データの音声認識を終了させることを特徴とする請求項１または２に記載の冷蔵庫。
【請求項4】
ユーザへの警告を行う警告部と、前記ドアの開状態が警告要となる時間続いた場合に、前記警告部を動作させる警告制御部とを備え、
前記警告制御部は、前記音声取得部が音声を取得し、かつ前記音声認識部が音声認識を行っていない場合には、通常時の警告動作を行うように前記警告部を制御する一方、前記音声取得部が音声を取得し、かつ前記音声認識部が音声認識を行っている場合には、前記警告部が前記通常時とは異なる動作を行うように前記警告部を制御することを特徴とする請求項１から３のいずれか１項に記載の冷蔵庫。
【請求項5】
ユーザへの警告を行う警告部と、前記ドアの開状態が警告要となる時間続いた場合に、前記警告部を動作させる警告制御部とを備え、
前記警告制御部は、前記音声取得部が取得した音声データが示す音量が所定の閾値未満である場合には、通常時の警告動作を行うように前記警告部を制御する一方、前記音声取得部が取得した音声データが示す音量が所定の閾値以上である場合には、前記警告部が前記通常時とは異なる動作を行うように前記警告部を制御することを特徴とする請求項１から３のいずれか１項に記載の冷蔵庫。
【請求項6】
ユーザへの警告を行う警告部と、前記ドアの開状態が警告要となる時間続いた場合に、前記警告部を動作させる警告制御部とを備え、
前記警告制御部は、前記音声取得部へ一定時間以上継続して音声の入力がない場合には、通常時の警告動作を行うように前記警告部を制御する一方、前記音声取得部へ一定時間以上継続して音声の入力がある場合には、前記警告部が前記通常時とは異なる動作を行うように前記警告部を制御することを特徴とする請求項１から３のいずれか１項に記載の冷蔵庫。
【請求項7】
マイクロフォンを有する音声取得部と、
冷蔵庫のドアの開閉を検出するドア開閉検出部と、
前記ドア開閉検出部が前記ドアの開状態を検出したときに、前記音声取得部が取得した音声データが前記冷蔵庫との対話の開始の意思を示す発話であるという音声認識開始条件を満たすかどうかを判定し、前記音声データが前記音声認識開始条件を満たす場合に、音声認識部により前記音声データの音声認識を行わせる一方、前記音声データが前記音声認識開始条件を満たさない場合に、前記音声認識部により前記音声データの音声認識を行わせない音声認識制御部とを備え、
前記マイクロフォンは、冷蔵庫の上面に設けられた、上下方向の貫通孔を有する部材の前記貫通孔に、音声入力部を下方に向けて取り付けられ、
前記部材の下面の前記貫通孔の周りは、下方へ広がるコーン形状に形成されていることを特徴とする冷蔵庫。
【請求項8】
請求項１から７のいずれか１項に記載の冷蔵庫と、前記音声認識部を備え、前記冷蔵庫から受信した音声データの音声認識を前記音声認識部により行って発話の内容を特定し、特定した内容に基づいた回答の音声データを冷蔵庫に返信するサーバとを備えていることを特徴とする冷蔵庫の音声対話システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音声取得機能を有する冷蔵庫に関する。
【背景技術】
【0002】
近年、マイクロフォン（以下、単にマイクと称する）など音声取得装置によってユーザの音声を取得し、取得した音声についての音声認識機能を有する冷蔵庫が開発されている。
【0003】
特許文献１には、冷蔵庫本体の上部前方部に操作関連機能部が設けられ、その操作関連機能部にマイクやスピーカ等の音声関連機能を内蔵させた構成が開示されている。
【0004】
特許文献２には、家電である例えば冷蔵庫は、音声取得部を起動させるきっかけとなる予め定められた事象の発生を検知すると、音声取得部が起動して音声を取得し、かつ音声取得部が稼働状態であることをユーザに通知する構成が開示されている。上記事象の発生とは、冷蔵庫のドアが開状態となることや冷蔵庫の所定のボタンが操作されたりすることである。また、音声取得部の稼働状態の通知は、音声出力や通知ランプの点灯にて行われる。通知ランプは、冷蔵庫の前扉の前面に設置された操作パネルに設けられている。特許文献２に記載の冷蔵庫では、上記構成により、ユーザの発話が間違いなく取得されているかどうかや、音声の取得を希望しない場合に音声取得機能が非稼働であるかどうかなど、音声取得機能についてのユーザの不安を解消できるようにしている。
【先行技術文献】
【特許文献】
【0005】
【文献】特許第３９０４３９０号公報
【文献】特開２０１７－４２３１号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献２に記載の構成では、冷蔵庫のドアが開状態である場合に、継続して音声認識を行っている。この場合、音声認識を行っていることはユーザに通知されるものの、音声認識の停止にはユーザ操作が必要である。
【0007】
すなわち、ユーザが音声認識をしてほしくない場合にはその度に音声認識の停止操作が必要であり、また、ユーザが音声認識の停止操作を忘れた場合には不必要に音声認識が行われることになる。
【0008】
したがって、本発明の一態様は、適切なタイミングにてユーザの発話を音声認識することができる冷蔵庫の提供を目的としている。
【課題を解決するための手段】
【0009】
上記の課題を解決するために、本発明の一態様に係る冷蔵庫は、マイクロフォンを有する音声取得部と、冷蔵庫のドアの開閉を検出するドア開閉検出部と、前記ドア開閉検出部が前記ドアの開状態を検出したときに、前記音声取得部が取得した音声データが前記冷蔵庫との対話の開始の意思を示す発話であるという音声認識開始条件を満たすかどうかを判定し、前記音声データが前記音声認識開始条件を満たす場合に、音声認識部により前記音声データの音声認識を行わせる一方、前記音声データが前記音声認識開始条件を満たさない場合に、前記音声認識部により前記音声データの音声認識を行わせない音声認識制御部とを備え、前記マイクロフォンは、冷蔵庫の上面に設けられた、上下方向の貫通孔を有する部材の前記貫通孔に、音声入力部を下方に向けて取り付けられ、前記ドアの閉状態では、前記貫通孔の下方に前記ドアの上部が位置している。
上記の課題を解決するために、本発明の一態様に係る冷蔵庫は、マイクロフォンを有する音声取得部と、冷蔵庫のドアの開閉を検出するドア開閉検出部と、前記ドア開閉検出部が前記ドアの開状態を検出したときに、前記音声取得部が取得した音声データが前記冷蔵庫との対話の開始の意思を示す発話であるという音声認識開始条件を満たすかどうかを判定し、前記音声データが前記音声認識開始条件を満たす場合に、音声認識部により前記音声データの音声認識を行わせる一方、前記音声データが前記音声認識開始条件を満たさない場合に、前記音声認識部により前記音声データの音声認識を行わせない音声認識制御部とを備え、前記マイクロフォンは、冷蔵庫の上面に設けられた、上下方向の貫通孔を有する部材の前記貫通孔に、音声入力部を下方に向けて取り付けられ、前記部材の下面の前記貫通孔の周りは、下方へ広がるコーン形状に形成されている。
上記の課題を解決するために、本発明の一態様に係る冷蔵庫は、マイクロフォンを有する音声取得部と、冷蔵庫のドアの開閉を検出するドア開閉検出部と、前記ドア開閉検出部が前記ドアの開状態を検出したときに、前記音声取得部が取得した音声データが前記冷蔵庫との対話の開始の意思を示す発話であるという音声認識開始条件を満たすかどうかを判定し、前記音声データが前記音声認識開始条件を満たす場合に、音声認識部により前記音声データの音声認識を行わせる一方、前記音声データが前記音声認識開始条件を満たさない場合に、前記音声認識部により前記音声データの音声認識を行わせない音声認識制御部とを備え、前記マイクロフォンは、冷蔵庫の上面に設けられた、上下方向の貫通孔を有する部材の前記貫通孔に、音声入力部を下方に向けて取り付けられ、前記部材の下面の前記貫通孔の周りは、下方へ広がるコーン形状に形成されている。
【発明の効果】
【0010】
本発明の一態様によれば、適切なタイミングにてユーザの発話を音声認識することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施形態の冷蔵庫を含む音声対話システムの構成を示す説明図である。
【図10】本発明のさらに他の実施形態の冷蔵庫の警報制御部の動作を示すフローチャートである。
【図11】本発明のさらに他の実施形態の冷蔵庫の警報制御部の動作を示すフローチャートである。
【図12】本発明のさらに他の実施形態の冷蔵庫の外観を示す斜視図である。
【発明を実施するための形態】
【0012】
〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。
以下、本発明の一実施形態について、詳細に説明する。
【0013】
（音声対話システム１の構成）
図１は、本実施形態の冷蔵庫１３を含む音声対話システム１の構成を示す説明図である。図１に示すように、音声対話システム１では、サーバ１１とユーザ宅１２に設置された冷蔵庫１３とが通信ネットワーク１５を介して接続されている。
図１は、本実施形態の冷蔵庫１３を含む音声対話システム１の構成を示す説明図である。図１に示すように、音声対話システム１では、サーバ１１とユーザ宅１２に設置された冷蔵庫１３とが通信ネットワーク１５を介して接続されている。
【0014】
冷蔵庫１３は、通信ネットワーク１５に接続してサーバ１１と通信するための無線通信機能を有するネットワーク家電である。無線通信機能は、冷蔵庫１３本体に内蔵されていてもよいし、冷蔵庫１３本体に外付けされる通信アダプタに備えられていてもよい。
【0015】
ユーザ宅１２には、通信ネットワーク１５の一部をなす無線ＬＡＮ（Wireless Local Area Network）が整備されている。無線ＬＡＮの無線ＡＰ１４は、インターネットを含む通信ネットワーク１５と接続されている。無線ＡＰ１４は、例えばＷｉＦｉ（登録商標）ルータやＷｉＦｉ（登録商標）アクセスポイントなどの通信機器である。本実施の形態では、通信ネットワーク１５としてインターネットを含む構成を例示しているが、電話回線網、移動体通信網、ＣＡＴＶ（CAble TeleVision）通信網、衛星通信網などを利用することもできる。
【0016】
冷蔵庫１３は、ユーザの発話した音声を取得し、取得した音声に対する回答を発話する音声対話機能を有している。この場合、冷蔵庫１３は取得した音声の音声データをサーバ１１に送信し、サーバ１１は、冷蔵庫１３から受信した音声データの音声認識を行って発話の内容を特定し、特定した内容に基づいた回答の音声データを冷蔵庫１３に送信する。回答の音声データとは、冷蔵庫１３から発話する音声データであって、例えばユーザからの問いかけに返答する音声データや、ユーザの発話内容に対して対話が成立するような音声データである。
【0017】
なお、冷蔵庫１３が音声認識機能を有し、冷蔵庫１３にて音声認識を行って発話の内容を特定し、特定した内容をサーバ１１に送信して、回答の音声データをサーバ１１から受信する構成としてもよい。あるいは、サーバ１１によらずに、冷蔵庫１３が音声認識を行い、かつ回答する音声データを準備する構成としてもよい。
【0018】
（冷蔵庫１３の構成）
図２は、冷蔵庫１３の制御系統の構成を示すブロック図である。図２に示すように、冷蔵庫１３は、制御部２１、記憶部２２、通信部２３、音声出力部２４、音声取得部２５、ドアスイッチ（ドア開閉検出部）２６、庫内灯２７、警報ブザー（警告部）２８および操作パネル２９を備えている。制御部２１は、音声出力制御部３１、音声認識制御部３３、点灯制御部３４、警報制御部（警告制御部）３５および操作パネル制御部３６を備えている。
図２は、冷蔵庫１３の制御系統の構成を示すブロック図である。図２に示すように、冷蔵庫１３は、制御部２１、記憶部２２、通信部２３、音声出力部２４、音声取得部２５、ドアスイッチ（ドア開閉検出部）２６、庫内灯２７、警報ブザー（警告部）２８および操作パネル２９を備えている。制御部２１は、音声出力制御部３１、音声認識制御部３３、点灯制御部３４、警報制御部（警告制御部）３５および操作パネル制御部３６を備えている。
【0019】
制御部２１は、例えば、ＣＰＵ（Central Processing Unit）や専用プロセッサなどの演算処理部などにより構成されるマイクロコンピュータからなり、冷蔵庫１３の各部の動作を制御する。
【0020】
記憶部２２は、冷蔵庫１３で用いられる各種情報を記憶し、サーバ１１からダウンロードした発話すべき音声データや音声対話における回答の音声データなども記憶する。通信部２３は、制御部２１の制御により、通信ネットワーク１５を介してサーバ１１と相互通信を行う。
【0021】
音声出力部２４は、スピーカを有し、音声出力制御部３１の制御により、音声データに基づいた音声を出力する。音声取得部２５は、マイク８１（図５参照）を有し、音声取得制御３２の制御により音声を取得し、取得した音声を電気信号に変換する。
【0022】
ドアスイッチ２６は、冷蔵庫１３のドアの開閉状態を検知し、例えばドアの開状態にてオン、閉状態にてオフとなる。庫内灯２７は、冷蔵庫１３のドアの開状態において点灯する。警報ブザー２８は、冷蔵庫１３のドアの開状態をユーザに警告するブザーである。
【0023】
操作パネル２９は、表示部を有し、操作パネル制御部３６の制御により、冷蔵庫１３に対してユーザが指示を入力したり、冷蔵庫１３の状態（庫内温度、設定温度等）を表示部によって通知したりするためのユーザ・インターフェースである。本実施形態において、操作パネル２９は、冷蔵庫１３の庫内に設けられている。
【0024】
音声出力制御部３１は音声出力部２４を制御する。具体的には、音声出力制御部３１は、発話すべき音声データが存在する場合に、その音声データを音声出力部２４により発話させる。発話すべき音声データには、サーバ１１から受信した音声データや、記憶部２２に記憶されている音声データなどである。
【0025】
音声認識制御部３３は、音声取得部２５が取得した音声データが示すユーザの発話がサーバ１１での音声認識開始条件を満たす場合に、ユーザの音声データをサーバ１１へ送信して音声認識を開始させる。音声認識制御部３３は、サーバ１１での音声認識の開始以降、音声取得部２５が取得したユーザの音声データを順次サーバ１１へ送信する。
【0026】
一方、音声認識制御部３３は、音声取得部２５が取得した音声データが示すユーザの発話がサーバ１１での音声認識開始条件を満たさない場合、その音声データをサーバ１１へ送信しない。これにより、サーバ１１での音声認識は開始されない。
【0027】
また、音声認識制御部３３は、音声取得部２５が取得した音声データが示すユーザの発話がサーバ１１での音声認識終了条件を満たす場合に、サーバ１１への音声データの送信を停止する。あるいは、音声認識制御部３３は、ユーザから（例えば操作パネル２９に対するユーザの操作入力により）サーバ１１での音声認識の終了指示を受けた場合、サーバ１１への音声データの送信を停止する。これにより、サーバ１１での音声認識は終了する。
【0028】
音声認識開始条件は、例えば、ユーザの発話の語尾が上がっていること、すなわちユーザの発話が疑問形であること、または、ユーザの発話に所定の開始キーワードが含まれていることである。ユーザの疑問形の発話は、例えば「前に○○を買っておいたけど、どこに置いたかな？」といった発話である。開始キーワードは、例えば「あれ？」や「どこ？」といった発話である。なお、ユーザによるこれら疑問形の発話および開始キーワードは、いずれもユーザの冷蔵庫１３との対話の開始の意思を示す発話である。
【0029】
音声認識終了条件は、ユーザの発話に所定の終了キーワードが含まれていることである。終了キーワードは、例えば「止めて」や「違う」といった発話である。このような終了キーワードは、例えばユーザの冷蔵庫１３との対話の終了の意思を示す発話である。また、音声認識の終了指示は、操作パネル２９の音声認識終了として設定されたキーが操作されることである。
【0030】
上記の動作を行うために、音声認識制御部３３は、ユーザの音声データについて語尾が上がっていることを検出する周波数解析機能を有している。さらに、ユーザの音声データに開始キーワードが含まれていること、および終了キーワードが含まれていることを検出する音声認識機能を有している。なお、終了キーワードは、サーバ１１での音声認識処理によって検出させてもよい。
【0031】
点灯制御部３４は、音声取得部２５が取得した音声データを音声認識制御部３３がサーバ１１へ送信している期間中、すなわち音声取得部２５が取得した音声データについての音声認識をサーバ１１が行っている期間中、庫内灯２７が通常の点灯状態とは異なる点灯状態となるように庫内灯２７を制御する。これにより、点灯制御部３４は、ユーザの音声について音声認識中であることをユーザに知らせる。
【0032】
なお、通常の点灯状態とは異なる点灯状態とは、例えば、庫内灯２７が明るい状態（明状態）と暗い状態（暗状態）とを周期的に繰り返す状態、あるいは庫内灯２７が点滅する状態である。また、点灯制御部３４は、庫内灯２７が点灯色を変化可能なものである場合、音声認識制御部３３が音声データをサーバ１１へ送信している期間中、点灯色を順次変化させるようにしてもよい。
【0033】
警報制御部３５は、ドアスイッチ２６のオンオフによって冷蔵庫１３のドアの開閉状態を検出し、ドアの開状態の検出時点からドアの開状態が所定時間以上続いた場合に、警報ブザー２８を動作させてユーザに警告を与える。
【0034】
また、警報制御部３５は、サーバ１１へのユーザの音声データの送信を開始または終了するときに、そのことをユーザに知らせるために、警報ブザー２８を動作させる。
【0035】
操作パネル制御部３６は、操作パネル２９に対するユーザの入力操作を受け付け、また、冷蔵庫１３の状態（庫内温度、設定温度等）を操作パネル２９の表示部に表示させる。
【0036】
（サーバ１１の構成）
図３は、サーバ１１の制御系統の構成を示すブロック図である。サーバ１１は、冷蔵庫１３を管理しており、図３に示すように、制御部４１、記憶部４２、通信部４３および音声認識部４４を備えている。制御部４１は音声データ提供部５１を備えている。
図３は、サーバ１１の制御系統の構成を示すブロック図である。サーバ１１は、冷蔵庫１３を管理しており、図３に示すように、制御部４１、記憶部４２、通信部４３および音声認識部４４を備えている。制御部４１は音声データ提供部５１を備えている。
【0037】
制御部２１は、例えば、例えば、ＣＰＵ（Central Processing Unit）や専用プロセッサなどの演算処理部などにより構成されるマイクロコンピュータからなり、サーバ１１の各部の動作を制御する。
【0038】
記憶部４２は、サーバ１１で用いられる各種情報を記憶し、また、各種の文章例であって、音声データ提供部５１が冷蔵庫１３に提供する音声データの作成時に参照する文章例等を記憶している。通信部４３は、制御部４１の制御により通信ネットワーク１５を介して冷蔵庫１３と通信する。
【0039】
音声認識部４４は、冷蔵庫１３から送信され、通信部４３が受信した音声データの音声認識を行い、文字列に変換する。音声認識部４４は、音声データの単なる文字列への変換機能だけでなく、意味ある文章に変換する機能等も備えている。
【0040】
音声データ提供部５１は、音声認識後の音声データに対する回答の音声データを冷蔵庫１３に提供する。この場合、音声データ提供部５１は、回答の音声データを、記憶部４２を参照して作成したり、通信ネットワーク１５を介して取得したりする。
【0041】
（冷蔵庫１３の構造の概要）
図４は冷蔵庫１３の外観を示す斜視図である。図５は、図４に示したカバー部材（部材）７１の上カバーを外した状態における冷蔵庫１３の上面部分を示す斜視図である。図６は、ドアスイッチ２６のオンオフ（第１ドア６１のドアの開閉）に連動してマイク８１をオンオフする構成を示す回路図である。
図４は冷蔵庫１３の外観を示す斜視図である。図５は、図４に示したカバー部材（部材）７１の上カバーを外した状態における冷蔵庫１３の上面部分を示す斜視図である。図６は、ドアスイッチ２６のオンオフ（第１ドア６１のドアの開閉）に連動してマイク８１をオンオフする構成を示す回路図である。
【0042】
図４に示すように、冷蔵庫１３は、上部から下部へ向かって例えば第１から第５ドア６１～６５を有している。第１ドア６１は冷蔵室のドアであり、第２ドア６２は調整冷凍室のドアであり、第３ドア６３は製氷室のドアであり、第４ドア６４は冷凍室のドアであり、第５ドア６５は野菜室のドアである。第１ドア６１は観音開きタイプである。操作パネル２９は、例えば第１ドア６１の２枚あるドアのうちの大きい方のドアの開放端側に設けられている。
【0043】
冷蔵庫１３は、上面にカバー部材７１を有する。カバー部材７１の内部には、第１ドア６１を開閉可能に支持するヒンジ、第１ドア６１の開閉を検知するドアスイッチ２６、および音声取得部２５が有するマイク８１が設けられている。
【0044】
図５に示すように、マイク８１は、カバー部材７１の下カバー７１ａの前端部における冷蔵庫１３の幅方向の中央部分付近のマイク取付け部７２に、音声入力部を下方に向けて取り付けられている。マイク取付け部７２は略円筒形のマイク保持部７２ａを有し、下カバー７１ａのマイク８１の下の部分には、下カバー７１ａを貫通した貫通孔が形成されている。
【0045】
図６に示すように、ドアスイッチ２６は、例えば第１ドア６１の開状態によりオンとなり、第１ドア６１の閉状態によりオフとなる。マイク８１は、ドアスイッチ２６のオン動作に連動して電源に接続され、オンとなる。これにより、マイク８１は必要に応じて容易にオンオフすることができる。
【0046】
（冷蔵庫１３の動作）
上記の構成において、音声対話システム１における冷蔵庫１３の動作について以下に説明する。図７は、音声対話システム１における冷蔵庫１３の動作を示すフローチャートである。ここでは、ドアスイッチ２６のオンオフにて第１ドア６１の開閉が検出される場合の動作について説明する。なお、第１ドア６１は単にドアと表現する。
上記の構成において、音声対話システム１における冷蔵庫１３の動作について以下に説明する。図７は、音声対話システム１における冷蔵庫１３の動作を示すフローチャートである。ここでは、ドアスイッチ２６のオンオフにて第１ドア６１の開閉が検出される場合の動作について説明する。なお、第１ドア６１は単にドアと表現する。
【0047】
図７に示すように、音声対話システム１が動作を開始すると、制御部２１は、ドアスイッチ２６のオンオフ状態すなわちドアの開閉状態を監視する。制御部２１の音声認識制御部３３は、ドアが開状態（ドアスイッチ２６がオン）になると（Ｓ１１）、音声取得部２５のマイク８１によりユーザの音声を取得し、音声認識開始要かどうかを判定する（Ｓ１２）。この判定では、音声認識制御部３３は、ユーザの発話が前述した音声認識開始条件を満たすかどうかを判定する。
【0048】
音声認識制御部３３は、Ｓ１２での判定の結果がＹＥＳであれば、マイク８１にて取得したユーザの音声データをサーバ１１へ送信する（Ｓ１３）。
【0049】
さらに、制御部２１は、ユーザの音声について音声認識中であることをユーザに報知する（Ｓ１４）。このために、点灯制御部３４は、ユーザの音声データをサーバ１１へ送信している期間中、庫内灯２７が通常の点灯状態とは異なる点灯状態となるように制御する。具板的には、庫内灯２７が明状態と暗状態とを周期的に繰り返す状態、あるいは庫内灯２７が点滅する状態となるように制御する。あるいは、点灯制御部３４は、庫内灯２７が点灯色を変化可能なものである場合、サーバ１１へのユーザの音声データの送信期間中、点灯色を順次変化させる。また、警報制御部３５は、サーバ１１へのユーザの音声データの送信を開始するときに、警報ブザー２８を動作させる。なお、点灯制御部３４および警報制御部３５による上記報知動作は、少なくとも一つを行えばよい。
【0050】
その後、音声認識制御部３３は、音声認識を終了要かどうかを判定する（Ｓ１５）。この判定では、音声認識制御部３３は、ユーザの発話が前述した音声認識終了条件を満たすかどうか、またはユーザから音声認識の終了指示があったかどうかを判定する。Ｓ１５の判定結果がＹＥＳであれば、Ｓ２０へ進み、ユーザの音声データのサーバ１１への送信を終了する。Ｓ２０において、警報制御部３５は、サーバ１１へのユーザの音声データの送信が終了したことをユーザに報知するために、警報ブザー２８を動作させる。このとき、警報ブザー２８は、サーバ１１へのユーザの音声データの送信が開始したことを報知するとき（Ｓ１４）とは音色や音程が異なるようにする。これにより、ユーザは音声データがサーバ１１へ送信開始されたこと、および送信が終了したことを認識でき、音声認識動作の稼働状態についての不安を解消できる。
【0051】
次に、音声出力制御部３１は、Ｓ１５での判定結果がＮＯであり、サーバ１１から回答の音声データを受信した場合（Ｓ１６）、その音声データを音声出力部２４によって音声に再生させ出力させる（Ｓ１７）。
【0052】
その後、音声認識制御部３３は、ドアが閉状態（ドアスイッチ２６がオフ）となり（Ｓ１８）、ドアの閉状態が所定時間（例えば１０～２０秒）以上続くと（ドアの閉状態の検出時点から所定時間経過後に）（Ｓ１９）、ユーザの音声データのサーバ１１への送信を終了する（Ｓ２０）。
【0053】
また、Ｓ１２での判定の結果がＮＯであり、ドアの開状態が所定時間（例えば１０秒）以上続くと（Ｓ２１）、音声出力制御部３１は、音声出力部２４によりユーザに対して話しかけるような発話を行わせる（Ｓ２２）。ここでの発話は、例えば「何かお話はありませんか？」とか「今日は元気ですか？」とかの内容であり、その音声データは例えば記憶部２２が記憶している。
【0054】
次に、Ｓ２２での冷蔵庫１３からの発話に対してユーザから何等かの返答があると（Ｓ２３）、Ｓ１３に進み、マイク８１にて取得したユーザの音声データをサーバ１１へ送信する。その後、同様にしてＳ１４以降の動作を行う。
【0055】
一方、Ｓ２３においてユーザから何等かの返答がなく、ドアの開状態が警報を必要とする時間続くと、警報制御部３５は、ドアの開状態の警報要と判断し（Ｓ２５）、警報ブザー２８を動作させる（Ｓ２６）。その後、Ｓ２４の動作に戻り、ドアが閉状態（ドアスイッチ２６がオフ）になると、音声対話システム１すなわち冷蔵庫１３は、動作を終了する。
【0056】
また、Ｓ１８において、ドアが開状態（ドアスイッチ２６がオン）であり、ドアの開状態が警報を必要とする時間続くと、警報制御部３５は、ドアの開状態の警報要と判断し（Ｓ２７）、警報ブザー２８を動作させる（Ｓ２８）。その後、Ｓ１３の動作に戻る。
【0057】
また、Ｓ１９において、音声認識制御部３３は、ドアの閉状態が所定時間未満のときには、ユーザの音声データをサーバ１１へ送信し（Ｓ２９）、制御部２１（点灯制御部３４、警報制御部３５）は、ユーザの音声について音声認識中であることをユーザに報知し（Ｓ３０）、Ｓ１９の動作に戻る。なお、Ｓ２９およびＳ３０の動作の後に、Ｓ１６およびＳ１７の場合と同様、サーバ１１から回答の音声データを受信した場合には、その音声データを音声出力部２４によって音声に再生させ出力させる。
【0058】
（冷蔵庫１３のドアの開閉と音声認識の要否との関係）
次に、図７に示した冷蔵庫１３の動作のうち、ドアの開閉と音声認識の要否との関係に注目した冷蔵庫１３の動作を図８に示す。図８は、ドアの開閉と音声認識の要否との関係に注目した冷蔵庫１３の動作を示すフローチャートである。
次に、図７に示した冷蔵庫１３の動作のうち、ドアの開閉と音声認識の要否との関係に注目した冷蔵庫１３の動作を図８に示す。図８は、ドアの開閉と音声認識の要否との関係に注目した冷蔵庫１３の動作を示すフローチャートである。
【0059】
【0060】
（冷蔵庫１３の利点）
冷蔵庫１３では、冷蔵庫１３のドアが開状態である場合に、マイク８１から音声データを取得し、音声データが示すユーザの発話が、音声認識開始条件を満たす場合に音声認識を開始し、音声認識開始条件を満たさない場合に音声認識を開始しないようになっている。なお、ここでの音声認識開始条件は、ユーザの発話が疑問形であること、または、ユーザの発話に所定の開始キーワードが含まれていることであり、これらは、ユーザの冷蔵庫１３との対話の開始の意思を示す発話である。
冷蔵庫１３では、冷蔵庫１３のドアが開状態である場合に、マイク８１から音声データを取得し、音声データが示すユーザの発話が、音声認識開始条件を満たす場合に音声認識を開始し、音声認識開始条件を満たさない場合に音声認識を開始しないようになっている。なお、ここでの音声認識開始条件は、ユーザの発話が疑問形であること、または、ユーザの発話に所定の開始キーワードが含まれていることであり、これらは、ユーザの冷蔵庫１３との対話の開始の意思を示す発話である。
【0061】
したがって、ユーザは、音声認識をしてほしい場合やしてもよい場合に、音声認識開始条件を満たすような発話を行うことにより、操作パネル２９に対する操作等、音声認識の開始を指示するための操作を行うことが不要である。同様に、ユーザは、音声認識をしてほしくない場合に、音声認識開始条件を満たすような発話を行わないことにより、操作パネル２９に対する操作等、音声認識の停止を指示するための操作を行うことが不要である。これにより、冷蔵庫１３は、利便性を向上でき、かつ適切なタイミングにてユーザの発話を音声認識することができる。
【0062】
また、冷蔵庫１３では、サーバ１１にて音声認識中である場合に、マイク８１から取得した音声データが示すユーザの発話が音声認識終了条件を満たす場合に、音声認識を終了するようになっている。なお、ここでの音声認識終了条件は、ユーザの発話に所定の終了キーワードが含まれていることである。この終了キーワードは、ユーザの冷蔵庫１３との対話の終了の意思を示す発話である。
【0063】
したがって、ユーザは、音声認識を終了させる場合に、操作パネル２９に対する操作等、音声認識の終了を指示するための操作を行うことが不要である。これにより、冷蔵庫１３は、利便性を向上することができる。
【0064】
また、冷蔵庫１３は、ドアが閉状態となってから所定時間が経過するまでは、ユーザの音声データを継続して音声認識するようにしている。これにより、冷蔵庫１３は、例えばユーザが発話をしながらドアを閉めた場合やドアを閉めた直後に発話した場合であっても、そのようなユーザの発話を音声認識することができ、利便性を向上することができる。
【0065】
〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0066】
（冷蔵庫９１の音声認識制御部３３の構成）
前記の実施形態の冷蔵庫１３では、音声認識制御部３３は、音声取得部２５が取得した音声データが示すユーザの発話がサーバ１１での音声認識開始条件を満たす場合に、ユーザの音声データをサーバ１１へ送信して音声認識を開始させるようにした。さらに、この場合の音声認識開始条件は、ユーザの発話が疑問形であること（ユーザの発話の語尾が上がっていること）、または、ユーザの発話に所定の開始キーワードが含まれていることとした。
前記の実施形態の冷蔵庫１３では、音声認識制御部３３は、音声取得部２５が取得した音声データが示すユーザの発話がサーバ１１での音声認識開始条件を満たす場合に、ユーザの音声データをサーバ１１へ送信して音声認識を開始させるようにした。さらに、この場合の音声認識開始条件は、ユーザの発話が疑問形であること（ユーザの発話の語尾が上がっていること）、または、ユーザの発話に所定の開始キーワードが含まれていることとした。
【0067】
本実施形態の冷蔵庫９１での音声認識開始条件は、ドアの開状態において、音声取得部２５のマイク８１が取得した音声データが示す音量が所定の閾値以上であり、かつその音声データをユーザの声の音声データと認識した場合とする。したがって、音声認識制御部３３は、ドアの開状態において、マイク８１が取得した音声データが示す音量が所定の閾値以上であり、かつその音声データをユーザの声の音声データと認識した場合に、マイク８１が取得したユーザの音声データをサーバ１１へ送信して音声認識を開始させる。
【0068】
（冷蔵庫９１の動作）
上記の構成において、音声対話システム１における冷蔵庫９１の動作について以下に説明する。
上記の構成において、音声対話システム１における冷蔵庫９１の動作について以下に説明する。
【0069】
音声認識制御部３３は、図７の動作において、ドアが開状態（ドアスイッチ２６がオン）になると（Ｓ１１）、音声認識開始要かどうかを判定する（Ｓ１２）。この判定では、音声認識制御部３３は、音声取得部２５のマイク８１により取得した音声データが音声認識開始条件を満たすかどうかを判定する。具体的には、音声認識制御部３３は、Ｓ１２において、マイク８１が取得した音声データが示す音量が所定の閾値以上であり、かつその音声データをユーザの声の音声データと認識した場合に音声認識開始要と判定する。音声認識制御部３３は、Ｓ１２での判定の結果がＹＥＳであれば、マイク８１にて取得した音声データをサーバ１１へ送信する（Ｓ１３）。冷蔵庫９１のその他の動作は、図７にて説明した冷蔵庫１３の動作と同様である。
【0070】
（冷蔵庫９１のドアの開閉と音声認識の要否との関係）
次に、図７にて説明した冷蔵庫９１の動作のうち、ドアの開閉と音声認識の要否との関係に注目した冷蔵庫９１の動作を図９に示す。図９は、ドアの開閉と音声認識の要否との関係に注目した冷蔵庫９１の動作を示すフローチャートである。なお、図９の各ステップＳの番号に示す動作のうち、図７の各ステップＳの番号と同じ番号の動作は、図７において説明した動作と同様であるので説明を省略する。また、Ｓ５１およびＳ５２の動作は、図７のＳ１２の動作に対応する動作である。
次に、図７にて説明した冷蔵庫９１の動作のうち、ドアの開閉と音声認識の要否との関係に注目した冷蔵庫９１の動作を図９に示す。図９は、ドアの開閉と音声認識の要否との関係に注目した冷蔵庫９１の動作を示すフローチャートである。なお、図９の各ステップＳの番号に示す動作のうち、図７の各ステップＳの番号と同じ番号の動作は、図７において説明した動作と同様であるので説明を省略する。また、Ｓ５１およびＳ５２の動作は、図７のＳ１２の動作に対応する動作である。
【0071】
図９に示すように、音声認識制御部３３は、ドアが開状態（ドアスイッチ２６がオン）になると（Ｓ１１）、音声取得部２５のマイク８１により音声データを取得し、取得した音声データから音声認識開始の要否を判定する。この場合、音声認識制御部３３は、マイク８１が取得した音声データが示す音量が所定の閾値以上であり（Ｓ５１）、かつその音声データをユーザの声の音声データと認識すると（Ｓ５２）、ユーザの音声データをサーバ１１へ送信して音声認識を開始させる（Ｓ１３）。
【0072】
なお、Ｓ５１において、マイク８１が取得した音声データが示す音量が所定の閾値未満である場合、およびＳ５２において、音声データをユーザの声の音声データと認識できない場合には、音声認識制御部３３は何もしない。
【0073】
また、Ｓ１３において、ユーザの音声データをサーバ１１へ送信して音声認識を開始させた場合には、サーバ１１からユーザに対して適当な返答を行う回答の音声データを冷蔵庫９１へ送信し、冷蔵庫９１からその音声データを再生し出力するようにしてもよい。
【0074】
（冷蔵庫９１の利点）
冷蔵庫９１では、冷蔵庫９１のドアが開状態である場合に、冷蔵庫１３と同様、マイク８１から音声データを取得し、音声データが示すユーザの発話が、音声認識開始条件を満たす場合に音声認識を開始し、音声認識開始条件を満たさない場合に音声認識を開始しないようになっている。なお、ここでの音声認識開始条件は、マイク８１から取得した音声データが示す音量が所定の閾値以上であり、かつ音声データがユーザの声の音声データと認識した場合である。
冷蔵庫９１では、冷蔵庫９１のドアが開状態である場合に、冷蔵庫１３と同様、マイク８１から音声データを取得し、音声データが示すユーザの発話が、音声認識開始条件を満たす場合に音声認識を開始し、音声認識開始条件を満たさない場合に音声認識を開始しないようになっている。なお、ここでの音声認識開始条件は、マイク８１から取得した音声データが示す音量が所定の閾値以上であり、かつ音声データがユーザの声の音声データと認識した場合である。
【0075】
したがって、ユーザは、音声認識をしてほしい場合やしてもよい場合に、音声認識開始条件を満たすような発話、すなわち音声データが示す音量が所定の閾値以上となるような音量で発話することにより、操作パネル２９に対する操作等、音声認識の開始を指示するための操作を行うことが不要である。同様に、ユーザは、音声認識をしてほしくない場合に、音声認識開始条件を満たすような上記の発話を行わないことにより、操作パネル２９に対する操作等、音声認識の停止を指示するための操作を行うことが不要である。これにより、冷蔵庫９１は、利便性を向上でき、かつ適切なタイミングにてユーザの発話を音声認識することができる。
【0076】
〔実施形態３〕
本発明のさらに他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
本発明のさらに他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0077】
図１０は、本実施形態の音声対話システム１における冷蔵庫９２の警報制御部３５の動作を示すフローチャートである。図７に示した冷蔵庫１３の警報制御部３５は、ドアの開状態が警報を必要とする時間続くと、ドアの開状態の警報要と判断し（Ｓ２５，Ｓ２７）、単に警報ブザー２８を動作させていた（Ｓ２６，Ｓ２８）。
【0078】
これに対し、本実施形態の冷蔵庫９２の警報制御部３５は、ドアの開状態の警報要と判断した場合、図１０の動作を行うようになっている。すなわち、冷蔵庫９２の警報制御部３５は、図１０に示すように、ドアが開状態となって（Ｓ６１）、例えばドアの開状態が２分以上（所定時間以上）続くとドアの開状態の警報要と判断する（Ｓ６２）。
【0079】
この場合、警報制御部３５は、マイク８１が取得した音声データが示す音量が閾値未満であると（Ｓ６３）、警報ブザー２８を動作させることにより（Ｓ６４）、ドアの開状態の警報を行う。その後、Ｓ６６の動作へ進む。警報制御部３５によるこの警報動作は、図７に示したＳ２６およびＳ２８の動作と同様、通常（通常時）の警報動作であり、例えば警報ブザー２８を短い間隔にて長い時間鳴らすものである。
【0080】
一方、警報制御部３５は、Ｓ６３において、マイク８１が取得した音声データが示す音量が閾値以上であると、短い警告音による警報を行う（Ｓ６５）。その後、Ｓ６６の動作へ進む。警報制御部３５によるこの警報動作は、Ｓ６４の通常の警報動作とは異なり、例えば警報ブザー２８を長い間隔にて短い時間鳴らすものである。
【0081】
このように、警報制御部３５は、マイク８１が取得した音声データが示す音量が閾値以上である場合、すなわちユーザが冷蔵庫９２のドアを開けた状態にて発話をしていると判断した場合には、例えば警報ブザー２８を長い動作間隔にて短い時間鳴らすようにしている。このような、Ｓ６５の警報制御部３５の警報ブザー２８に対する制御は、Ｓ６４の警報制御部３５の警報ブザー２８に対する通常の制御とは異なる制御であり、警報がユーザの発話およびマイク８１によるユーザの音声データの取得の邪魔にならないようにするものである。
【0082】
なお、Ｓ６５での警報ブザー２８に対する警報制御部３５の制御は、上記の制御の他、単に警報ブザー２８の動作間隔を長くする制御（無音時間を長くする制御）、単に警報ブザー２８の音量を小さくする制御、あるいは警報ブザー２８の動作間隔を長くし、短い時間、かつ小さい音量にて鳴らす制御であってもよい。あるいは、警報制御部３５は、Ｓ６５での警報ブザー２８による警報動作に代えて、音声出力部２４からの発話により、ドアが開状態であることユーザに警告するようにしてもよい。さらには、後述の冷蔵庫９３のように、警報動作を行わない構成としてもよい。
【0083】
このような制御は、例えば、警報制御部３５が警報強度弱から警報強度強まで複数段階の警報制御を行うようになっている場合において、警報強度弱に相当する制御である。
【0084】
（冷蔵庫９２の利点）
冷蔵庫９２は、ドアの開状態が所定時間以上続いてドアの開状態の警報要と判断した場合であって、マイク８１が取得した音声データが示す音量が所定の閾値未満である場合には、ユーザが発話をしていないと判断し、通常の警報動作を行う。一方、冷蔵庫９２は、同様に、ドアの開状態の警報要と判断した場合であって、マイク８１が取得した音声データが示す音量が所定の閾値以上である場合には、ユーザが発話をしていると判断し、警報がユーザの発話およびマイク８１によるユーザの音声データの取得の邪魔にならないように、通常の警報動作とは異なる警報動作を行う。
冷蔵庫９２は、ドアの開状態が所定時間以上続いてドアの開状態の警報要と判断した場合であって、マイク８１が取得した音声データが示す音量が所定の閾値未満である場合には、ユーザが発話をしていないと判断し、通常の警報動作を行う。一方、冷蔵庫９２は、同様に、ドアの開状態の警報要と判断した場合であって、マイク８１が取得した音声データが示す音量が所定の閾値以上である場合には、ユーザが発話をしていると判断し、警報がユーザの発話およびマイク８１によるユーザの音声データの取得の邪魔にならないように、通常の警報動作とは異なる警報動作を行う。
【0085】
なお、本実施形態では、冷蔵庫９２（音声認識制御部３３）は、マイク８１が取得した音声データが示す音量が所定の閾値未満である場合と所定の閾値以上である場合とで、上記のように、異なる警報動作が行われるように制御する場合について示した。しかしながら、冷蔵庫９２（音声認識制御部３３）は、マイク８１が取得した音声データが示す音量が所定の閾値未満である場合に代えて、音声取得部２５が音声を取得し、かつサーバ１１にて音声認識を行っていない場合とし、マイク８１が取得した音声データが示す音量が所定の閾値以上である場合に代えて、音声取得部２５が音声を取得し、かつサーバ１１にて音声認識を行っている場合として、上記のように、異なる警報動作が行われるように制御する構成としてもよい。
【0086】
これにより、冷蔵庫９２は、ドアの開状態が所定時間以上続いてドアの開状態の警報動作を行う場合であっても、警報がユーザの発話およびマイク８１によるユーザの音声データの取得の邪魔にならないようにすることができる。
【0087】
〔実施形態４〕
本発明のさらに他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
本発明のさらに他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0088】
図１１は、本実施形態の音声対話システム１における冷蔵庫９３の警報制御部３５の動作を示すフローチャートである。本実施形態の冷蔵庫９３の警報制御部３５は、図７のＳ２５（Ｓ２７）およびＳ２６（Ｓ２８）の動作に代えて、図１１のＳ７２およびＳ７３動作を行うようになっている。
【0089】
すなわち、冷蔵庫９３の警報制御部３５は、図１１に示すように、ドアが開状態となって（Ｓ７１）、マイク８１に一定時間以上継続して音声の入力がなければ（Ｓ７２）、ドアの開状態の警報要と判断する。この場合、警報制御部３５は、警報ブザー２８を動作させることにより（Ｓ７３）、ドアの開状態の警報を行う。その後、Ｓ７４の動作へ進む。警報制御部３５によるこの警報動作は、図７に示したＳ２６およびＳ２８の動作と同様、通常の警報動作である。
【0090】
一方、警報制御部３５は、Ｓ７２において、マイク８１に一定時間以上継続して音声の入力があれば、ドアの開状態の警報を行わず（警報ブザー２８を動作させず）、Ｓ７４の動作へ進む。
【0091】
このように、警報制御部３５は、マイク８１に一定時間以上継続して音声の入力がある場合、すなわちユーザが冷蔵庫９２のドアを開けた状態にて一定時間以上継続して発話している場合には、ドアの開状態の警報を行わない（警報ブザー２８を動作させない）ようにしている。このような、警報制御部３５の制御は、警報がユーザの発話およびマイク８１によるユーザの音声データの取得の邪魔にならないようにするものである。
【0092】
なお、警報制御部３５は、Ｓ７２において、マイク８１に一定時間以上継続して音声の入力があれば、ドアの開状態の警報を行わない構成に代えて、冷蔵庫９２の警報制御部３５（例えば図１０のＳ６５の動作）と同様の動作を行う構成であってもよい。
【0093】
（冷蔵庫９３の利点）
冷蔵庫９３は、ドアの開状態が所定時間以上続いてドアの開状態の警報要と判断した場合であって、マイク８１に一定時間以上継続して音声の入力がない場合には、ユーザが発話をしていないので、通常の警報動作を行う。一方、冷蔵庫９３は、同様に、ドアの開状態の警報要と判断した場合であって、マイク８１に一定時間以上継続して音声の入力がある場合には、ユーザが発話をしていると判断し、警報動作を行わない。
冷蔵庫９３は、ドアの開状態が所定時間以上続いてドアの開状態の警報要と判断した場合であって、マイク８１に一定時間以上継続して音声の入力がない場合には、ユーザが発話をしていないので、通常の警報動作を行う。一方、冷蔵庫９３は、同様に、ドアの開状態の警報要と判断した場合であって、マイク８１に一定時間以上継続して音声の入力がある場合には、ユーザが発話をしていると判断し、警報動作を行わない。
【0094】
なお、本実施形態では、冷蔵庫９３（音声認識制御部３３）は、マイク８１に一定時間以上継続して音声の入力がない場合とある場合とで、警報動作の有無が切り替わるように制御する場合について示した。しかしながら、冷蔵庫９３（音声認識制御部３３）は、マイク８１に一定時間以上継続して音声の入力がない場合に代えて、音声取得部２５が音声を取得し、かつサーバ１１にて音声認識を行っていない場合とし、マイク８１に一定時間以上継続して音声の入力がある場合に代えて、音声取得部２５が音声を取得し、かつサーバ１１にて音声認識を行っている場合として、上記のように、警報動作の有無が切り替わるように制御する構成としてもよい。
【0095】
これにより、冷蔵庫９３は、ドアの開状態が所定時間続いた場合に、通常はドアの開状態の警報動作を行う構成であっても、ユーザの発話およびマイク８１によるユーザの音声データの取得の邪魔にならないようにすることができる。
【0096】
〔実施形態５〕
以上の実施形態では、第１ドア６１を開閉する場合を例として、音声認識動作や警報動作等を制御する場合について説明した。しかしながら、以上の実施形態の構成は、第１ドア６１を開閉する場合に限定されず、他の第２ドア６２～第５ドア６５を開閉する場合にも同様に適用可能である。
以上の実施形態では、第１ドア６１を開閉する場合を例として、音声認識動作や警報動作等を制御する場合について説明した。しかしながら、以上の実施形態の構成は、第１ドア６１を開閉する場合に限定されず、他の第２ドア６２～第５ドア６５を開閉する場合にも同様に適用可能である。
【0097】
〔実施形態６〕
本発明のさらに他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
本発明のさらに他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0098】
【0099】
以上の実施形態では、冷蔵庫９１～９３が第１ドア６１として観音開きの２枚ドアを有する形式である場合について示した。しかしながら、冷蔵庫９１～９３は、図１２に示すように、第１ドア６１として右開きおよび左開きが可能な１枚ドアを有する形式であってもよい。
【0100】
【0101】
【0102】
図１５の（ａ）は、図１４の（ａ）に示したマイク取付け部７２の他の例に係るマイク取付け部７２の構造と第１ドア６１との位置関係を示す縦断面図、１５の（ｂ）は、図１５の（ａ）の構造を下から見た場合の下カバー７１ａの下面図である。
【0103】
図１４の（ａ）（ｂ）に示すように、マイク取付け部７２は、マイク８１を保持するマイク保持部７２ａ、下カバー７１ａを貫通した貫通孔７２ｂ、下カバー７１ａの下面側の貫通孔７２ｂの周りを下広がりのコーン形状に加工したコーン形状部７２ｃを有している。マイク取付け部７２は、コーン形状部７２ｃを有することにより、集音性能を高めることができる。
【0104】
また、マイク取付け部７２と第１ドア６１との位置関係は、図１４の（ａ）に示すように、第１ドア６１を閉じたときに、第１ドア６１（第１ドア６１ａ）の上面によってコーン形状部７２ｃが完全に塞がれる状態であってもよい。あるいは、第１ドア６１を閉じたときに、第１ドア６１（第１ドア６１ｂ）の上面によってコーン形状部７２ｃが完全に塞がれることなく、コーン形状部７２ｃの一部が第１ドア６１（第１ドア６１ｂ）の外面側へはみ出す状態であってもよい。後者の場合には、第１ドア６１（第１ドア６１ｂ）を閉じた状態であっても、マイク８１は外部の音声を取り込み易くなる。したがって、後者の構成は、第１ドア６１以外の第２ドア６２～第５ドア６５の開閉動作に伴い音声認識動作や警報動作等を制御する場合に好適である。
【0105】
また、図１４の（ａ）（ｂ）に示したマイク取付け部７２の構造は、図１５（ａ）（ｂ）に示す構造であってもよい。図１５（ａ）（ｂ）に示すマイク取付け部７２は、図１４の（ａ）（ｂ）に示すマイク取付け部７２とは、コーン形状部７２ｃの形状が異なる。
【0106】
〔まとめ〕
本発明の態様１にかかる冷蔵庫は、音声取得部と、冷蔵庫のドアの開閉を検出するドア開閉検出部と、前記ドア開閉検出部が前記ドアの開状態を検出したときに、前記音声取得部が取得した音声データが所定の音声認識開始条件を満たすかどうかを判定し、前記音声データが前記音声認識開始条件を満たす場合に、音声認識部により前記音声データの音声認識を行わせる一方、前記音声データが前記音声認識開始条件を満たさない場合に、前記音声認識部により前記音声データの音声認識を行わせない音声認識制御部とを備えている。
本発明の態様１にかかる冷蔵庫は、音声取得部と、冷蔵庫のドアの開閉を検出するドア開閉検出部と、前記ドア開閉検出部が前記ドアの開状態を検出したときに、前記音声取得部が取得した音声データが所定の音声認識開始条件を満たすかどうかを判定し、前記音声データが前記音声認識開始条件を満たす場合に、音声認識部により前記音声データの音声認識を行わせる一方、前記音声データが前記音声認識開始条件を満たさない場合に、前記音声認識部により前記音声データの音声認識を行わせない音声認識制御部とを備えている。
【0107】
本発明の態様２にかかる冷蔵庫は、上記態様１において、前記音声認識制御部は、前記音声認識部が音声認識を行っている場合に、前記音声取得部が取得した音声データが所定の音声認識終了条件を満たすかどうかを判定し、前記音声データが前記音声認識終了条件を満たす場合に、前記音声認識部による前記音声データの音声認識を終了させる構成としてもよい。
【0108】
本発明の態様３にかかる冷蔵庫は、上記態様１または２において、前記音声認識制御部は、前記ドア開閉検出部が前記ドアの閉状態を検出したときに、前記ドアの閉状態の検出時点から所定時間、前記音声認識部による前記音声データの音声認識を継続して行わせ、前記ドアの閉状態の検出時点から所定時間経過後に、前記音声認識部による前記音声データの音声認識を終了させる構成としてもよい。
【0109】
本発明の態様４にかかる冷蔵庫は、上記態様１から３のいずれか１態様において、ユーザへの警告を行う警告部と、前記ドアの開状態が警告要となる時間続いた場合に、前記警告部を動作させる警告制御部とを備え、前記警告制御部は、前記音声取得部が音声を取得し、かつ前記音声認識部が音声認識を行っていない場合には、通常時の警告動作を行うように前記警告部を制御する一方、前記音声取得部が音声を取得し、かつ前記音声認識部が音声認識を行っている場合には、前記警告部が前記通常時とは異なる動作を行うように前記警告部を制御する構成としてもよい。
【0110】
本発明の態様５にかかる冷蔵庫は、上記態様１から３のいずれか１態様において、ユーザへの警告を行う警告部と、前記ドアの開状態が警告要となる時間続いた場合に、前記警告部を動作させる警告制御部とを備え、前記警告制御部は、前記音声取得部が取得した音声データが示す音量が所定の閾値未満である場合には、通常時の警告動作を行うように前記警告部を制御する一方、前記音声取得部が取得した音声データが示す音量が所定の閾値以上である場合には、前記警告部が前記通常時とは異なる動作を行うように前記警告部を制御する構成としてもよい。
【0111】
本発明の態様６にかかる冷蔵庫は、上記態様１から３のいずれか１態様において、ユーザへの警告を行う警告部と、前記ドアの開状態が警告要となる時間続いた場合に、前記警告部を動作させる警告制御部とを備え、前記警告制御部は、前記音声取得部へ一定時間以上継続して音声の入力がない場合には、通常時の警告動作を行うように前記警告部を制御する一方、前記音声取得部へ一定時間以上継続して音声の入力がある場合には、前記警告部が前記通常時とは異なる動作を行うように前記警告部を制御する構成としてもよい。
【0112】
本発明の態様７にかかる冷蔵庫は、上記態様１から６のいずれか１態様において、前記音声取得部はマイクロフォンを有し、前記マイクロフォンは、冷蔵庫の上面に設けられた、上下方向の貫通孔を有する部材の前記貫通孔に、音声入力部を下方に向けて取り付けられ、前記部材の下面の前記貫通孔の周りは、下方へ広がるコーン形状に形成されている構成としてもよい。
【0113】
本発明の態様８にかかる冷蔵庫の音声対話システムは、上記態様１から７のいずれか１態様の冷蔵庫と、前記音声認識部を備え、前記冷蔵庫から受信した音声データの音声認識を前記音声認識部により行って発話の内容を特定し、特定した内容に基づいた回答の音声データを冷蔵庫に返信するサーバとを備えている。
【0114】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【0115】
１ 音声対話システム
１１ サーバ
１２ ユーザ宅
１３，９１～９３ 冷蔵庫
１５ 通信ネットワーク
２１ 制御部
２２ 記憶部
２４ 音声出力部
２５ 音声取得部
２６ ドアスイッチ（ドア開閉検出部）
２７ 庫内灯
２８ 警報ブザー（警告部）
２９ 操作パネル
３１ 音声出力制御部
３２ 音声取得制御
３３ 音声認識制御部
３４ 点灯制御部
３５ 警報制御部（警告制御部）
３６ 操作パネル制御部
４１ 制御部
４２ 記憶部
４４ 音声認識部
５１ 音声データ提供部
６１～６５ 第１ドア～第５ドア
６１ａ，６１ｂ 第１ドア
７１ カバー部材（部材）
７１ａ 下カバー
７２ マイク取付け部
７２ａ マイク保持部
７２ｂ 貫通孔
７２ｃ コーン形状部
８１ マイクロフォン
１１ サーバ
１２ ユーザ宅
１３，９１～９３ 冷蔵庫
１５ 通信ネットワーク
２１ 制御部
２２ 記憶部
２４ 音声出力部
２５ 音声取得部
２６ ドアスイッチ（ドア開閉検出部）
２７ 庫内灯
２８ 警報ブザー（警告部）
２９ 操作パネル
３１ 音声出力制御部
３２ 音声取得制御
３３ 音声認識制御部
３４ 点灯制御部
３５ 警報制御部（警告制御部）
３６ 操作パネル制御部
４１ 制御部
４２ 記憶部
４４ 音声認識部
５１ 音声データ提供部
６１～６５ 第１ドア～第５ドア
６１ａ，６１ｂ 第１ドア
７１ カバー部材（部材）
７１ａ 下カバー
７２ マイク取付け部
７２ａ マイク保持部
７２ｂ 貫通孔
７２ｃ コーン形状部
８１ マイクロフォン
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】