特許 7141226 音声入力装置、及び遠隔対話システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-13

(45)【発行日】2022-09-22

(54)【発明の名称】音声入力装置、及び遠隔対話システム

(51)【国際特許分類】

   G10L 15/00 20130101AFI20220914BHJP

   G10L 15/22 20060101ALI20220914BHJP

   G06F 3/16 20060101ALI20220914BHJP

【ＦＩ】

G10L15/00 200U

G10L15/22 453

G06F3/16 540

G06F3/16 550

G06F3/16 530

【請求項の数】 9

(21)【出願番号】P 2018053003

(22)【出願日】2018-03-20

(65)【公開番号】P2019164286

(43)【公開日】2019-09-26

【審査請求日】2020-09-17

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100168583

【弁理士】

【氏名又は名称】前井 宏之

(72)【発明者】

【氏名】粂谷 幸司

【審査官】菊池 智紀

(56)【参考文献】

【文献】欧州特許出願公開第０３２７０５５０（ＥＰ，Ａ１）

【文献】米国特許出願公開第２０１７／０３７１６２０（ＵＳ，Ａ１）

【文献】特開平０８－２４１０９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １５／００－１５／３４

Ｇ０６Ｆ ３／１６

(57)【特許請求の範囲】

【請求項1】

音声を入力する音声入力部と、
前記音声を示す第１音声データを生成し、前記第１音声データから起動コマンドを検知する制御部と、
前記第１音声データを音声送受信装置に送信する第１通信部と、
前記第１音声データとは異なる第２音声データを記憶する記憶部と
を備え、
前記制御部は、前記起動コマンドを検知すると無効処理を実行し、
前記無効処理は、前記第１通信部による前記第１音声データの送信を遮断するミュート処理を示し、
前記制御部は、前記ミュート処理の実行時に、前記第２音声データを前記第１通信部に送信させる、音声入力装置。

【請求項2】

前記第２音声データは、前記起動コマンドを無効にする無効コマンドを示す、請求項１に記載の音声入力装置。

【請求項3】

前記制御部は、前記起動コマンドを検知した後に前記ミュート処理を実行し、
前記ミュート処理は、前記起動コマンドの検知後に前記音声入力部に入力された前記音声を示す前記第１音声データの前記第１通信部による送信を所定の期間遮断する処理を示す、請求項１に記載の音声入力装置。

【請求項4】

前記制御部は、前記ミュート処理の実行時に、前記ミュート処理を開始したことを示す通知信号を前記第１通信部に送信させる、請求項１から請求項３のいずれか１項に記載の音声入力装置。

【請求項5】

音声を入力する音声入力部と、
前記音声を示す第１音声データを生成し、前記第１音声データから起動コマンドを検知する制御部と、
前記第１音声データを音声送受信装置に送信する第１通信部と、
前記第１音声データとは異なる第２音声データを記憶する記憶部と
を備え、
前記制御部は、前記起動コマンドを検知すると無効処理を実行し、
前記無効処理は、前記第１音声データの音量レベルを低下させた低音量レベル音声データを前記第１通信部に送信させる音量レベル低下処理を示し、
前記制御部は、前記音量レベル低下処理の実行時に、前記低音量レベル音声データに前記第２音声データを重畳させた重畳音声データを前記第１通信部に送信させる、音声入力装置。

【請求項6】

前記制御部は、前記音量レベル低下処理の実行時に、前記第１音声データの音量レベルを０レベルまで低下させる、請求項５に記載の音声入力装置。

【請求項7】

前記第１音声データをサーバに送信する第２通信部を備え、
前記制御部は、前記起動コマンドを検知してから所定の期間が経過するまでの間に前記音声入力部に入力された前記音声を示す前記第１音声データを前記第２通信部に送信させ、
前記サーバは、前記第１音声データに含まれるコマンドに応じた処理を実行する、請求項１から請求項６のいずれか１項に記載の音声入力装置。

【請求項8】

音声入力装置と、音声送受信装置とを備えた遠隔対話システムであって、
前記音声入力装置は、
音声を入力する音声入力部と、
前記音声を示す音声データを生成し、前記音声データから起動コマンドを検知する音声入力装置側制御部と、
前記音声データを前記音声送受信装置に送信する通信部と
を備え、
前記音声入力装置側制御部は、前記起動コマンドを検知すると無効処理を実行し、
前記無効処理は、前記通信部による前記音声データの送信を遮断するミュート処理を示し、
前記音声入力装置側制御部は、前記ミュート処理の実行時に、前記ミュート処理を開始したことを示す通知信号を前記通信部に送信させ、
前記音声送受信装置は、
前記音声入力装置の前記通信部から前記音声データを受信する受信部と、
前記受信部が受信した前記音声データを他の音声送受信装置に送信する送信部と、
表示装置に画像を表示させる音声送受信装置側制御部と
を備え、
前記音声送受信装置側制御部は、前記通知信号を前記受信部が受信すると、前記表示装置に特定の画像を表示させ、
前記特定の画像は、前記ミュート処理が実行されていることを示す、遠隔対話システム。

【請求項9】

音声入力装置と、音声送受信装置とを備えた遠隔対話システムであって、
前記音声入力装置は、
音声を入力する音声入力部と、
前記音声を示す音声データを生成し、前記音声データから起動コマンドを検知する音声入力装置側制御部と、
前記音声データを前記音声送受信装置に送信する通信部と
を備え、
前記音声入力装置側制御部は、前記起動コマンドを検知すると無効処理を実行し、
前記無効処理は、前記音声データの音量レベルを低下させた低音量レベル音声データを前記通信部に送信させる音量レベル低下処理を示し、
前記音声入力装置側制御部は、前記音量レベル低下処理の実行時に、前記音量レベル低下処理を開始したことを示す通知信号を前記通信部に送信させ、
前記音声送受信装置は、
前記音声入力装置の前記通信部から前記音声データを受信する受信部と、
前記受信部が受信した前記音声データを他の音声送受信装置に送信する送信部と、
表示装置に画像を表示させる音声送受信装置側制御部と
を備え、
前記音声送受信装置側制御部は、前記通知信号を前記受信部が受信すると、前記表示装置に特定の画像を表示させ、
前記特定の画像は、前記音量レベル低下処理が実行されていることを示す、遠隔対話システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声入力装置、及び遠隔対話システムに関する。

【背景技術】

【0002】

スマートスピーカのような音声入力装置が知られている。音声入力装置には特定の起動コマンドが設定されており、ユーザは、起動コマンドを発声してから一定期間が経過するまでの間に、音声入力装置を利用することができる（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－０２４２１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、例えばＡ地点とＢ地点とでウエブ会議又はテレビ会議のような遠隔対話を実行中に、Ａ地点に設置された音声入力装置Ａに対してユーザが起動コマンド及び処理コマンドを発声した場合、Ｂ地点のユーザが意図しない処理コマンドが、Ｂ地点に設置された音声入力装置Ｂからサーバへ送信されるおそれがある。具体的には、音声入力装置Ａに対してユーザが起動コマンド及び処理コマンドを発声した場合、ウエブ会議システム又はテレビ会議システムのような遠隔対話システムによって、Ｂ地点において起動コマンドを示す音声及び処理コマンドを示す音声が出力される。この結果、音声入力装置Ｂが、遠隔対話システムによって出力された処理コマンドをサーバに送信するおそれがある。

【0005】

本発明は、上記課題に鑑み、ユーザが意図しない処理コマンドがサーバに送信されることを抑制できる音声入力装置、及び遠隔対話システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の音声入力装置は、音声入力部、制御部、及び第１通信部を備える。前記音声入力部は、音声を入力する。前記制御部は、前記音声を示す第１音声データを生成し、前記第１音声データから起動コマンドを検知する。前記第１通信部は、前記第１音声データを音声送受信装置に送信する。前記制御部は、前記起動コマンドを検知すると無効処理を実行する。前記無効処理は、前記第１通信部による前記第１音声データの送信を遮断するミュート処理、あるいは、前記第１音声データの音量レベルを低下させた低音量レベル音声データを前記第１通信部に送信させる音量レベル低下処理を示す。

【0007】

本発明の遠隔対話システムは、音声入力装置と、音声送受信装置とを備える。前記音声入力装置は、音声入力部、制御部、及び通信部を備える。前記音声入力部は、音声を入力する。前記制御部は、前記音声を示す音声データを生成し、前記第１音声データから起動コマンドを検知する。前記通信部は、前記音声データを前記音声送受信装置に送信する。前記制御部は、前記起動コマンドを検知すると無効処理を実行する。前記無効処理は、前記通信部による前記音声データの送信を遮断するミュート処理、あるいは、前記音声データの音量レベルを低下させた低音量レベル音声データを前記通信部に送信させる音量レベル低下処理を示す。前記音声送受信装置は、第１通信部、及び第２通信部を備える。前記第１通信部は、前記音声入力装置の前記通信部から前記音声データを受信する。前記第２通信部は、前記第１通信部が受信した前記音声データを他の音声送受信装置に送信する。

【発明の効果】

【0008】

本発明によれば、ユーザが意図しない処理コマンドがサーバに送信されることを抑制することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態１に係る遠隔対話システムの構成を示す図である。

【図2】本発明の実施形態１に係る第１スマートスピーカの構成を示す図である。

【図3】本発明の実施形態１に係る第１端末の構成を示す図である。

【図4】本発明の実施形態１に係る第１スマートスピーカの動作を示すフローチャートである。

【図5】本発明の実施形態１に係る無効処理を示す図である。

【図6】本発明の実施形態２に係る第１スマートスピーカの動作を示すフローチャートである。

【図7】本発明の実施形態３に係る第１スマートスピーカの動作を示すフローチャートである。

【図8】本発明の実施形態３に係る無効処理を示す図である。

【図9】本発明の実施形態４に係る第１スマートスピーカの動作を示すフローチャートである。

【図10】本発明の実施形態４に係る無効処理を示す図である。

【図11】本発明の実施形態５に係る第１スマートスピーカの動作を示すフローチャートである。

【図12】本発明の実施形態５に係る第１スマートスピーカの動作を示すフローチャートである。

【図13】本発明の実施形態５に係る無効処理を示す図である。

【図14】本発明の実施形態６に係る第１スマートスピーカの動作を示すフローチャートである。

【図15】本発明の実施形態６に係る第１スマートスピーカの動作を示すフローチャートである。

【図16】本発明の実施形態６に係る無効処理を示す図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されない。なお、説明が重複する箇所については、適宜説明を省略する場合がある。また、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。

【0011】

［実施形態１］
まず図１を参照して、遠隔対話システム１の構成を説明する。図１は、本実施形態に係る遠隔対話システム１の構成を示す図である。図１に示すように、遠隔対話システム１は、第１処理ユニット２ａ～第３処理ユニット２ｃと、第１サーバ３と、第２サーバ４とを備える。本実施形態において、遠隔対話システム１は、ウエブ会議システムである。

【0012】

第１処理ユニット２ａは、第１スマートスピーカ２１ａと、第１端末２２ａと、第１表示装置２３ａとを含む。第２処理ユニット２ｂは、第２スマートスピーカ２１ｂと、第２端末２２ｂと、第２表示装置２３ｂとを含む。第３処理ユニット２ｃは、第３スマートスピーカ２１ｃと、第３端末２２ｃと、第３表示装置２３ｃとを含む。第１スマートスピーカ２１ａ～第３スマートスピーカ２１ｃはそれぞれ音声入力装置の一例である。また、第１端末２２ａ～第３端末２２ｃはそれぞれ音声送受信装置の一例である。

【0013】

本実施形態において、第１端末２２ａ～第３端末２２ｃは、例えばノート型ＰＣ（パーソナルコンピュータ）又はデスクトップ型ＰＣのような情報処理装置である。あるいは、第１端末２２ａ～第３端末２２ｃは、例えばタブレットＰＣ又はスマートフォンのような携帯型の情報処理装置である。また、第１スマートスピーカ２１ａ及び第１表示装置２３ａは、第１端末２２ａの周辺装置であり、第２スマートスピーカ２１ｂ及び第２表示装置２３ｂは、第２端末２２ｂの周辺装置であり、第３スマートスピーカ２１ｃ及び第３表示装置２３ｃは、第３端末２２ｃの周辺装置である。

【0014】

第１サーバ３は、例えばインターネット回線を介して、第１スマートスピーカ２１ａ～第３スマートスピーカ２１ｃの各々との間で通信を行う。具体的には、第１サーバ３は、第１スマートスピーカ２１ａ～第３スマートスピーカ２１ｃから音声データを受信する。また、第１サーバ３は、第１スマートスピーカ２１ａ～第３スマートスピーカ２１ｃへ音声データを送信する。

【0015】

詳しくは、第１サーバ３は、第１スマートスピーカ２１ａ～第３スマートスピーカ２１ｃのいずれか１つから音声データを受信すると、受信した音声データから処理コマンドを認識できるか否かを判定する。詳しくは、第１サーバ３は、受信した音声データを音声認識処理によってテキスト情報に変換し、テキスト情報から処理コマンドを認識できるか否かを判定する。

【0016】

第１サーバ３は、音声データから処理コマンドを認識できた場合、処理コマンドに対応する処理の実行結果を示す処理結果データを取得する。処理結果データは音声データである。第１サーバ３は、音声データを送信したスマートスピーカに、処理結果データを送信する。例えば、処理コマンドは、検索キーワードと、検索処理の実行を促すキーワードとを示す。この場合、第１サーバ３は、検索キーワードに基づいて検索処理を実行し、検索結果を示すデータを取得する。なお、第１サーバ３は、他のサーバに、処理コマンドに対応する処理の実行を要求してもよい。この場合、第１サーバ３は、他のサーバから処理結果データを取得（受信）する。

【0017】

第２サーバ４は、例えばインターネット回線を介して、第１端末２２ａ～第３端末２２ｃの各々との間で通信を行うことにより、第１端末２２ａ～第３端末２２ｃの間でウエブ会議を実行させる。具体的には、第２サーバ４は、第１端末２２ａから受信した音声データ及び撮像データを、第２端末２２ｂ及び第３端末２２ｃへ送信する。同様に、第２サーバ４は、第２端末２２ｂから受信した音声データ及び撮像データを、第１端末２２ａ及び第３端末２２ｃへ送信する。また、第２サーバ４は、第３端末２２ｃから受信した音声データ及び撮像データを、第１端末２２ａ及び第２端末２２ｂへ送信する。

【0018】

続いて図１を参照して、第１処理ユニット２ａに含まれる第１スマートスピーカ２１ａ、第１端末２２ａ、及び第１表示装置２３ａの動作について説明する。

【0019】

第１スマートスピーカ２１ａは、ユーザが発生した音声を入力し、入力した音声を音声データ（デジタルデータ）に変換して第１端末２２ａへ送信する。また、第１スマートスピーカ２１ａは、第１端末２２ａから音声データを受信する。第１スマートスピーカ２１ａは、第１端末２２ａから受信した音声データに対応する音声を出力する。更に、第１スマートスピーカ２１ａは撮像部を備え、撮像データを第１端末２２ａへ送信する。

【0020】

また、第１スマートスピーカ２１ａは、起動コマンドを示すデータを記憶している。第１スマートスピーカ２１ａは、ユーザが起動コマンドを示す音声を発声した場合、レディ状態となる。第１スマートスピーカ２１ａは、レディ状態となってから所定の期間が経過する前にユーザが音声を発声すると、その音声を音声データに変換して第１サーバ３へ送信する。なお、以下の説明において、起動コマンドを示す音声を「起動コマンド音声」と記載する場合がある。

【0021】

第１スマートスピーカ２１ａは、レディ状態になると、無効処理を実行する。本実施形態において、第１スマートスピーカ２１ａは、無効処理として、ミュート処理を実行する。具体的には、第１スマートスピーカ２１ａは、第１端末２２ａへの音声データの送信を遮断する。

【0022】

第１端末２２ａは、第１スマートスピーカ２１ａから受信した音声データ及び撮像データを第２サーバ４へ送信する。また、第１端末２２ａは、第２サーバ４から音声データ及び撮像データを受信する。第１端末２２ａは、第２サーバ４から受信した音声データを第１スマートスピーカ２１ａへ送信する。また、第１端末２２ａは、第２サーバ４から受信した撮像データを第１表示装置２３ａに出力する。第１表示装置２３ａは、第１端末２２ａから入力された撮像データに対応する映像を表示する。

【0023】

なお、第２処理ユニット２ｂに含まれる第２スマートスピーカ２１ｂ、第２端末２２ｂ、及び第２表示装置２３ｂは、第１処理ユニット２ａに含まれる第１スマートスピーカ２１ａ、第１端末２２ａ、及び第１表示装置２３ａと同様に動作するため、その説明は省略する。また、第３処理ユニット２ｃに含まれる第３スマートスピーカ２１ｃ、第３端末２２ｃ、及び第３表示装置２３ｃも、第１処理ユニット２ａに含まれる第１スマートスピーカ２１ａ、第１端末２２ａ、及び第１表示装置２３ａと同様に動作するため、その説明は省略する。

【0024】

続いて図１及び図２を参照して、第１スマートスピーカ２１ａの構成を説明する。図２は、本実施形態に係る第１スマートスピーカ２１ａの構成を示す図である。

【0025】

図２に示すように、第１スマートスピーカ２１ａは、音声入力部２１１と、音声出力部２１２と、撮像部２１３と、第１通信部２１４と、第２通信部２１５と、記憶部２１６と、制御部２１７とを備える。

【0026】

音声入力部２１１は、ユーザが発声した音声を集音して、アナログ電気信号に変換する。アナログ電気信号は、制御部２１７に入力される。音声入力部２１１は、例えば、マイクロフォンである。なお、以下の説明において、ユーザが発声した音声を「ユーザ音声」と記載する場合がある。

【0027】

音声出力部２１２は、第１端末２２ａから受信した音声データに対応する音声を出力する。また、音声出力部２１２は、第１サーバ３から受信した音声データに対応する音声を出力する。音声出力部２１２は、例えば、スピーカである。

【0028】

撮像部２１３は、第１スマートスピーカ２１ａの周辺環境を撮像して画像信号（アナログ電気信号）を出力する。例えば、撮像部２１３は、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）のような撮像素子を備える。

【0029】

第１通信部２１４は、第１サーバ３との間の通信を制御する。第１通信部２１４は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ボード又は無線ＬＡＮボードを備える。具体的には、第１通信部２１４は、音声データを第１サーバ３に送信する。また、第１通信部２１４は、第１サーバ３から音声データを受信する。

【0030】

第２通信部２１５は、第１端末２２ａとの間の通信を制御する。第２通信部２１５は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）のような近距離無線通信規格に準じた無線通信モジュールを備える。あるいは、第２通信部２１５は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子を備えるＵＳＢインターフェースであり得る。

【0031】

第２通信部２１５は、音声入力部２１１が入力した音声に対応する音声データを第１端末２２ａへ送信する。また、第２通信部２１５は、撮像部２１３から出力された画像信号に対応する撮像データを第１端末２２ａへ送信する。更に、第２通信部２１５は、第１端末２２ａから音声データを受信する。

【0032】

記憶部２１６は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような半導体メモリーを備える。記憶部２１６は更に、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）のようなストレージデバイスを備えてもよい。記憶部２１６は、制御部２１７が実行する制御プログラムを記憶する。記憶部２１６は更に、図１を参照して説明した起動コマンドを示すデータを記憶する。

【0033】

制御部２１７は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）のようなプロセッサを備える。制御部２１７は、記憶部２１６に記憶された制御プログラムに基づいて、第１スマートスピーカ２１ａの動作を制御する。

【0034】

具体的には、制御部２１７は、音声入力部２１１から入力されたアナログ電気信号（ユーザ音声）をデジタル信号（音声データ）に変換して、第２通信部２１５にデジタル信号を送信させる。また、制御部２１７は、撮像部２１３から入力された画像信号（アナログ電気信号）をデジタル信号（撮像データ）に変換して、第２通信部２１５にデジタル信号を送信させる。また、制御部２１７は、第２通信部２１５が受信したデジタル信号（音声データ）をアナログ電気信号に変換して、音声出力部２１２に音声を出力させる。

【0035】

更に、制御部２１７は、レディ状態になると、音声入力部２１１から入力されたアナログ電気信号（ユーザ音声）をデジタル信号（音声データ）に変換して、第１通信部２１４にデジタル信号を送信させる。また、制御部２１７は、第１通信部２１４が受信したデジタル信号（音声データ）をアナログ電気信号に変換して、音声出力部２１２に音声を出力させる。

【0036】

詳しくは、制御部２１７は、ユーザ音声に対応する音声データから起動コマンドを検知する。具体的には、制御部２１７は、音声入力部２１１がユーザ音声を入力すると、記憶部２１６に記憶された起動コマンドを示すデータを参照して、ユーザ音声に対応する音声データが起動コマンドを示すか否かを判定する。制御部２１７は、ユーザ音声に対応する音声データが起動コマンドを示す場合、レディ状態となる。制御部２１７は、レディ状態となってから所定の期間が経過する前に音声入力部２１１がユーザ音声を入力すると、ユーザ音声を音声データに変換して、第１通信部２１４を介して第１サーバ３へ音声データを送信する。なお、記憶部２１６は、所定の期間を示すデータを記憶している。所定の期間は、例えば８秒間である。

【0037】

図１を参照して説明したように、第１サーバ３は、第１スマートスピーカ２１ａから処理コマンドを示す音声データを受信すると、処理結果データ（音声データ）を第１スマートスピーカ２１ａへ送信する。この結果、第１通信部２１４が第１サーバ３からデジタル信号（音声データ）を受信する。制御部２１７は、第１通信部２１４が受信したデジタル信号（音声データ）をアナログ電気信号に変換して、音声出力部２１２に音声を出力させる。

【0038】

本実施形態において、制御部２１７は、ユーザ音声から起動コマンドを検知すると、ミュート処理を実行する。詳しくは、制御部２１７は、レディ状態となってから所定の期間が経過するまで、第２通信部２１５による音声データの送信を遮断する。具体的には、制御部２１７は、レディ状態となってから所定の期間が経過するまで、音声入力部２１１が入力したユーザ音声に対応する音声データの第１端末２２ａへの送信を遮断する。

【0039】

以上、図１及び図２を参照して、第１スマートスピーカ２１ａの構成を説明した。なお、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃの構成は、第１スマートスピーカ２１ａの構成と同様であるため、その説明は割愛する。

【0040】

続いて図１及び図３を参照して、第１端末２２ａの構成を説明する。図３は、本実施形態に係る第１端末２２ａの構成を示す図である。図３に示すように、第１端末２２ａは、第１通信部２２１、第２通信部２２２、出力部２２３、記憶部２２４、及び制御部２２５を備える。

【0041】

第１通信部２２１は、第２サーバ４との間の通信を制御する。第１通信部２２１は、送信部の一例である。第１通信部２２１は、例えば、ＬＡＮボード又は無線ＬＡＮボードを備える。第１通信部２２１は、音声データ及び撮像データを第２サーバ４に送信する。換言すると、第１通信部２２１は、第２端末２２ｂ及び第３端末２２ｃへ音声データ及び撮像データを送信する。また、第１通信部２２１は、音声データ及び撮像データを第２サーバ４から受信する。換言すると、第１通信部２２１は、第２端末２２ｂ及び第３端末２２ｃから、音声データ及び撮像データを受信する。

【0042】

第２通信部２２２は、第１スマートスピーカ２１ａとの間の通信を制御する。第２通信部２２２は、受信部の一例である。第２通信部２２２は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）のような近距離無線通信規格に準じた無線通信モジュールを備える。あるいは、第２通信部２２２は、例えば、ＵＳＢ端子を備えるＵＳＢインターフェースであり得る。

【0043】

第２通信部２２２は、第１スマートスピーカ２１ａから音声データを受信する。また、第２通信部２２２は、第１スマートスピーカ２１ａへ音声データを送信する。更に、第２通信部２２２は、第１スマートスピーカ２１ａから撮像データを受信する。

【0044】

出力部２２３は、撮像データを第１表示装置２３ａに出力する。出力部２２３は、例えば、ＨＤＭＩ（登録商標）端子又はＤｉｓｐｌａｙｐｏｒｔのようなデジタル映像インターフェースである。なお、出力部２２３は、Ｄ－ＳＵＢ端子のようなアナログ映像インターフェースであってもよい。

【0045】

記憶部２２４は、例えばＲＡＭ及びＲＯＭのような半導体メモリーを備える。更に、記憶部２２４は、ＨＤＤのようなストレージデバイスを備える。記憶部２２４は、制御部２２５が実行する制御プログラムを記憶する。また、記憶部２２４は、ウエブ会議用アプリケーションソフトウエアを記憶する。

【0046】

制御部２２５は、例えばＣＰＵ又はＭＰＵのようなプロセッサを備える。また、制御部２２５は、記憶部２２４に記憶された制御プログラムに基づいて、第１端末２２ａの動作を制御する。

【0047】

以下、制御部２２５がウエブ会議用アプリケーションソフトウエアに基づいて実行する処理について説明する。制御部２２５は、ウエブ会議用アプリケーションソフトウエアを実行することにより、第２処理ユニット２ｂの第２端末２２ｂと第３処理ユニット２ｃの第３端末２２ｃとの間でウエブ会議を実行する。

【0048】

具体的には、制御部２２５は、第２通信部２２２を介して第１スマートスピーカ２１ａから受信した音声データ及び撮像データを、第１通信部２２１を介して第２サーバ４へ送信する。この結果、第２処理ユニット２ｂの第２スマートスピーカ２１ｂ、及び第３処理ユニット２ｃの第３スマートスピーカ２１ｃから、第１スマートスピーカ２１ａが入力した音声が出力される。また、第２処理ユニット２ｂの第２表示装置２３ｂ、及び第３処理ユニット２ｃの第３表示装置２３ｃが、第１スマートスピーカ２１ａによって撮像された映像を表示する。

【0049】

また、制御部２２５は、第１通信部２２１を介して第２サーバ４から受信した音声データを、第２通信部２２２を介して第１スマートスピーカ２１ａに送信する。この結果、第１スマートスピーカ２１ａから、第２処理ユニット２ｂの第２スマートスピーカ２１ｂが入力した音声が出力される。また、第１スマートスピーカ２１ａから、第３処理ユニット２ｃの第３スマートスピーカ２１ｃが入力した音声が出力される。

【0050】

また、制御部２２５は、第１通信部２２１を介して第２サーバ４から受信した撮像データを、出力部２２３を介して第１表示装置２３ａに出力する。この結果、第１表示装置２３ａが、第２処理ユニット２ｂの第２スマートスピーカ２１ｂによって撮像された映像、及び第３処理ユニット２ｃの第３スマートスピーカ２１ｃによって撮像された映像を表示する。

【0051】

以上、図１及び図３を参照して、第１端末２２ａの構成を説明した。なお、第２端末２２ｂ及び第３端末２２ｃの構成は第１端末２２ａの構成と同様であるため、その説明は省略する。

【0052】

続いて図１、図２及び図４を参照して、第１スマートスピーカ２１ａの動作を説明する。図４は、実施形態１に係る第１スマートスピーカ２１ａの動作を示すフローチャートである。図４に示す動作は、第１スマートスピーカ２１ａの音声入力部２１１がユーザ音声を入力するとスタートする。

【0053】

図４に示すように、音声入力部２１１がユーザ音声を入力すると、制御部２１７は、ユーザ音声に対応する音声データを生成する（ステップＳ１）。以下、ユーザ音声に対応する音声データを「ユーザ音声データ」と記載する場合がある。制御部２１７は、ユーザ音声データを生成すると、記憶部２１６に記憶されている起動コマンドを示すデータを参照して、ユーザ音声データが起動コマンドを示すか否かを判定する（ステップＳ２）。

【0054】

制御部２１７は、ユーザ音声データが起動コマンドを示さないと判定した場合（ステップＳ２のＮｏ）、図４に示す動作を終了する。一方、制御部２１７は、ユーザ音声データが起動コマンドを示すと判定すると（ステップＳ２のＹｅｓ）、レディ状態となり、ミュート処理を開始する（ステップＳ３）。

【0055】

制御部２１７は、ミュート処理を開始すると、音声入力部２１１がユーザ音声を入力したか否かを判定する（ステップＳ４）。制御部２１７は、音声入力部２１１がユーザ音声を入力したと判定すると（ステップＳ４のＹｅｓ）、ユーザ音声データを生成し（ステップＳ５）、第１通信部２１４を介して第１サーバ３にユーザ音声データを送信する（ステップＳ６）。

【0056】

制御部２１７は、ユーザ音声データを送信すると、所定の期間が経過したか否かを判定する（ステップＳ７）。制御部２１７は、所定の期間が経過していないと判定すると（ステップＳ７のＮｏ）、再度、所定の期間が経過したか否かを判定する（ステップＳ７）。換言すると、制御部２１７は、所定の期間が経過するまでステップＳ７の処理を繰り返し実行する。制御部２１７は、所定の期間が経過したと判定すると（ステップＳ７のＹｅｓ）、ミュート処理を終了して（ステップＳ８）、図４に示す動作を終了する。

【0057】

また、制御部２１７は、音声入力部２１１がユーザ音声を入力していないと判定すると（ステップＳ４のＮｏ）、所定の期間が経過したか否かを判定する（ステップＳ９）。制御部２１７は、所定の期間が経過していないと判定すると（ステップＳ９のＮｏ）、再度、音声入力部２１１がユーザ音声を入力したか否かを判定する（ステップＳ４）。換言すると、制御部２１７は、所定の期間が経過するまでの間、ユーザ音声が入力されるまで、ステップＳ４の処理とステップＳ９の処理とを繰り返し実行する。制御部２１７は、所定の期間が経過したと判定すると（ステップＳ９のＹｅｓ）、ミュート処理を終了して（ステップＳ８）、図４に示す動作を終了する。

【0058】

以上、図１、図２及び図４を参照して第１スマートスピーカ２１ａの動作を説明した。なお、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃは、第１スマートスピーカ２１ａと同様に、図４に示す動作を実行する。

【0059】

続いて図１～図３及び図５を参照して、実施形態１に係る無効処理について説明する。図５は、実施形態１に係る無効処理を示す図である。図５において、横軸は時間軸である。図５は、第１スマートスピーカ２１ａに入力されたユーザ音声、ユーザ音声に対応する音声データ、第１スマートスピーカ２１ａから第１サーバ３へ送信される音声データ、及び第１スマートスピーカ２１ａから第１端末２２ａへ送信される音声データを示す。

【0060】

図５に示すように、ユーザ音声として、起動コマンドを示す第１音声５１（起動コマンド音声）が入力されると、第１音声５１に対応する第１音声データ５１ａが生成され、第１音声データ５１ａが第１端末２２ａへ送信される。その結果、第１音声データ５１ａが、第１端末２２ａから第２端末２２ｂ及び第３端末２２ｃへ送信される。第１音声データ５１ａは、起動コマンドを示す。したがって、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃから起動コマンド音声が出力されて、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃの音声入力部２１１が、起動コマンド音声を入力する。

【0061】

第１音声５１の入力後、所定の期間が経過する前に第２音声５２が入力されると、第２音声５２に対応する第２音声データ５２ａが生成される。第２音声データ５２ａは、第１サーバ３へ送信される。本実施形態では、第１音声５１の入力後にミュート処理が開始されているため、第２音声データ５２ａは第１端末２２ａに送信されない。したがって、第２音声データ５２ａは、第２端末２２ｂ及び第３端末２２ｃに送信されない。

【0062】

また、第２音声５２の入力後、所定の期間の経過前から経過後にわたって第３音声５３が入力された場合、所定の期間の経過前はミュート処理が実行されているため、第３音声５３に対応する第３音声データ５３ａは第１端末２２ａに送信されない。したがって、所定の期間の経過前において、第３音声データ５３ａは、第２端末２２ｂ及び第３端末２２ｃに送信されない。一方、所定の期間の経過後は、ミュート処理が終了しているため、第３音声データ５３ａは第１端末２２ａへ送信される。したがって、第３音声データ５３ａは、第２端末２２ｂ及び第３端末２２ｃへ送信される。

【0063】

以上、図１～図５を参照して本発明の実施形態１について説明した。本実施形態によれば、第１処理ユニット２ａ～第３処理ユニット２ｃのユーザが意図しない処理コマンドが、第１スマートスピーカ２１ａ～第３スマートスピーカ２１ｃから第１サーバ３に送信されることを抑制できる。

【0064】

例えば、第１スマートスピーカ２１ａに対してユーザが起動コマンドを発声した後に処理コマンドを発声しても、第１スマートスピーカ２１ａから第１端末２２ａへ処理コマンドを示す音声データが送信されない。したがって、第１スマートスピーカ２１ａに対してユーザが発声した処理コマンドを示す音声は、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃから出力されない。この結果、第２処理ユニット２ｂのユーザ及び第３処理ユニット２ｃのユーザが意図しない処理コマンドが、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃから第１サーバ３に送信されることを抑制することができる。

【0065】

［実施形態２］
続いて図１～図３及び図６を参照して、本発明の実施形態２について説明する。但し、実施形態１と異なる事項を説明し、実施形態１と同じ事項についての説明は割愛する。実施形態２は、第１スマートスピーカ２１ａ～第３スマートスピーカ２１ｃが、ミュート処理を開始したことを示す通知信号を第１端末２２ａ～第３端末２２ｃへ送信する点で、実施形態１と異なる。

【0066】

まず、図１、図２及び図６を参照して第１スマートスピーカ２１ａの動作を説明する。図６は、実施形態２に係る第１スマートスピーカ２１ａの動作を示すフローチャートである。図６に示す動作は、図４に示す動作と比べて、通知信号を送信する処理（ステップＳ１０）が追加されている。詳しくは、制御部２１７は、ミュート処理を開始すると（ステップＳ３）、ミュート処理を開始したことを示す通知信号を、第２通信部２１５を介して第１端末２２ａへ送信する（ステップＳ１０）。

【0067】

以上、図１、図２及び図６を参照して、第１スマートスピーカ２１ａの動作を説明した。なお、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃは、第１スマートスピーカ２１ａと同様に、図６に示す動作を実行する。

【0068】

続いて図１及び図３を参照して、第１端末２２ａ～第３端末２２ｃの動作を説明する。本実施形態において、第１端末２２ａの制御部２２５は、第２通信部２２２が通知信号を受信すると、第１表示装置２３ａに、ミュート処理が実行されていることを示す画像を表示させる。更に、第１端末２２ａの制御部２２５は、第１通信部２２１及び第２サーバ４を介して、第２端末２２ｂ及び第３端末２２ｃに通知信号を送信する。第２端末２２ｂの制御部２２５は、第１通信部２２１が通知信号を受信すると、第２表示装置２３ｂに、ミュート処理が実行されていることを示す画像を表示させる。同様に、第３端末２２ｃの制御部２２５は、第１通信部２２１が通知信号を受信すると、第３表示装置２３ｃに、ミュート処理が実行されていることを示す画像を表示させる。

【0069】

第２スマートスピーカ２１ｂが通知信号を第２端末２２ｂへ送信した場合も同様に、第１表示装置２３ａ～第３表示装置２３ｃは、ミュート処理が実行されていることを示す画像を表示する。また、第３スマートスピーカ２１ｃが通知信号を第３端末２２ｃへ送信した場合も同様に、第１表示装置２３ａ～第３表示装置２３ｃは、ミュート処理が実行されていることを示す画像を表示する。

【0070】

以上、図１～図３及び図６を参照して、本発明の実施形態２について説明した。本実施形態によれば、第１スマートスピーカ２１ａ～第３スマートスピーカ２１ｃのいずれかがミュート処理を開始した場合に、ウエブ会議のユーザに対し、ミュート処理が実行されていることを通知することができる。

【0071】

［実施形態３］
続いて図１～図３、図７及び図８を参照して、本発明の実施形態３について説明する。但し、実施形態１、２と異なる事項を説明し、実施形態１、２と同じ事項についての説明は割愛する。実施形態３は、第１スマートスピーカ２１ａ～第３スマートスピーカ２１ｃが、ミュート処理中に別音データを第１端末２２ａ～第３端末２２ｃへ送信する点で、実施形態１、２と異なる。

【0072】

まず図２を参照して、第１スマートスピーカ２１ａの構成を説明する。本実施形態において、記憶部２１６は、別音データを記憶している。別音データは、起動コマンド及び処理コマンドとは異なる音声を示す。例えば、別音データは、ピー音のような効果音を示す。あるいは、別音データは、ミュート処理が実行されていることを通知する音声を示す。第２スマートスピーカ２１ｂの記憶部２１６、及び第３スマートスピーカ２１ｃの記憶部２１６も、第１スマートスピーカ２１ａと同様に、別音データを記憶している。

【0073】

続いて、図１、図２及び図７を参照して第１スマートスピーカ２１ａの動作を説明する。図７は、実施形態３に係る第１スマートスピーカ２１ａの動作を示すフローチャートである。図７に示す動作は、図４に示す動作と比べて、別音データを送信する処理が追加されている（ステップＳ１１）。

【0074】

具体的には、制御部２１７は、音声データが起動コマンドを示すと判定すると（ステップＳ２のＹｅｓ）、レディ状態となり、ミュート処理を開始する（ステップＳ３）。詳しくは、制御部２１７は、音声入力部２１１が入力したユーザ音声に対応する音声データの第１端末２２ａへの送信を遮断する。制御部２１７は、ミュート処理を開始すると、別音データの送信を開始する（ステップＳ１１）。別音データは、第２通信部２１５から第１端末２２ａへ送信される。また、制御部２１７は、所定の期間が経過したと判定すると（ステップＳ７のＹｅｓ、あるいはステップＳ９のＹｅｓ）、別音データの送信を終了する（ステップＳ１２）。この結果、制御部２１７がレディ状態となってから所定の期間が経過するまでの間に、第２通信部２１５から第１端末２２ａへ別音データが送信される。

【0075】

以上、図１、図２及び図７を参照して、第１スマートスピーカ２１ａの動作を説明した。なお、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃは、第１スマートスピーカ２１ａと同様に、図７に示す動作を実行する。

【0076】

続いて図１～図３及び図８を参照して、実施形態３に係る無効処理について説明する。図８は、実施形態３に係る無効処理を示す図である。図８において、横軸は時間軸である。図８は、第１スマートスピーカ２１ａに入力されたユーザ音声、ユーザ音声に対応する音声データ、第１スマートスピーカ２１ａから第１サーバ３へ送信される音声データ、及び第１スマートスピーカ２１ａから第１端末２２ａへ送信される音声データを示す。

【0077】

図８に示すように、本実施形態では、第１音声５１（起動コマンド音声）が入力されてから所定の期間が経過するまでの間、別音データ５４が第１端末２２ａへ送信される。この結果、起動コマンド音声が入力されてから所定の期間が経過するまでの間、別音データ５４が第２端末２２ｂ及び第３端末２２ｃへ送信される。

【0078】

以上、図１～図３、図７及び図８を参照して、本発明の実施形態３について説明した。本実施形態によれば、第１スマートスピーカ２１ａ～第３スマートスピーカ２１ｃのいずれかがミュート処理を開始した場合に、ウエブ会議のユーザに対し、ミュート処理が実行されていることを通知することができる。例えば、別音データがピー音を示す場合、第１スマートスピーカ２１ａによってミュート処理が開始されると、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃからピー音が出力される。したがって、第２処理ユニット２ｂ及び第３処理ユニット２ｃのユーザは、ピー音を聞くことにより、ミュート処理が実行されていることを知ることができる。

【0079】

［実施形態４］
続いて図１～図３、図９及び図１０を参照して、本発明の実施形態４について説明する。但し、実施形態１～３と異なる事項を説明し、実施形態１～３と同じ事項についての説明は割愛する。実施形態４は、第１スマートスピーカ２１ａ～第３スマートスピーカ２１ｃが、レディ状態となると、無効コマンドを示す音声データを第１端末２２ａ～第３端末２２ｃへ送信する点で、実施形態１～３と異なる。

【0080】

まず図２を参照して、第１スマートスピーカ２１ａの構成を説明する。本実施形態において、記憶部２１６は、無効コマンドを示す音声データを記憶している。無効コマンドは、起動コマンドを無効にするコマンドである。例えば、第１スマートスピーカ２１ａの音声入力部２１１が、起動コマンド音声を入力した後に、無効コマンドを示す音声を入力した場合、第１スマートスピーカ２１ａの制御部２１７は、レディ状態となった後に、無効コマンドに応じて、起動コマンド音声の入力を待つ状態に戻る。したがって、ユーザが、無効コマンドを示す音声を発声した後に、処理コマンドを示す音声を発声しても、処理コマンドを示す音声データは第１サーバ３へ送信されない。以下、無効コマンドを示す音声を「無効コマンド音声」と記載する場合がある。

【0081】

なお、第２スマートスピーカ２１ｂの記憶部２１６、及び第３スマートスピーカ２１ｃの記憶部２１６も、第１スマートスピーカ２１ａと同様に、無効コマンドを示す音声データを記憶している。

【0082】

続いて図１、図２及び図９を参照して、第１スマートスピーカ２１ａの動作を説明する。図９は、実施形態４に係る第１スマートスピーカ２１ａの動作を示すフローチャートである。図９に示す動作は、第１スマートスピーカ２１ａの音声入力部２１１がユーザ音声を入力するとスタートする。

【0083】

図９に示すように、音声入力部２１１がユーザ音声を入力すると、制御部２１７は、ユーザ音声データを生成する（ステップＳ２１）。制御部２１７は、ユーザ音声データを生成すると、記憶部２１６に記憶されている起動コマンドを示すデータを参照して、ユーザ音声データが起動コマンドを示すか否かを判定する（ステップＳ２２）。

【0084】

制御部２１７は、ユーザ音声データが起動コマンドを示さないと判定した場合（ステップＳ２２のＮｏ）、図９に示す動作を終了する。一方、制御部２１７は、ユーザ音声データが起動コマンドを示すと判定すると（ステップＳ２２のＹｅｓ）、レディ状態となり、ミュート処理を開始する（ステップＳ２３）。

【0085】

制御部２１７は、ミュート処理を開始すると、無効コマンドを示す音声データを、第２通信部２１５を介して第１端末２２ａへ送信する（ステップＳ２４）。この結果、第２端末２２ｂ及び第３端末２２ｃへ無効コマンドを示す音声データが送信され、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃから無効コマンド音声が出力される。

【0086】

制御部２１７は、無効コマンドを示す音声データを送信すると、ミュート処理を終了する（ステップＳ２５）。制御部２１７は、ミュート処理を終了すると、音声入力部２１１がユーザ音声を入力したか否かを判定する（ステップＳ２６）。制御部２１７は、音声入力部２１１がユーザ音声を入力したと判定すると（ステップＳ２６のＹｅｓ）、ユーザ音声データを生成する（ステップＳ２７）。制御部２１７は、ユーザ音声データを生成すると、第１通信部２１４を介して第１サーバ３にユーザ音声データを送信して（ステップＳ２８）、図９に示す動作を終了する。

【0087】

また、制御部２１７は、音声入力部２１１がユーザ音声を入力していないと判定すると（ステップＳ２６のＮｏ）、所定の期間が経過したか否かを判定する（ステップＳ２９）。制御部２１７は、所定の期間が経過していないと判定すると（ステップＳ２９のＮｏ）、再度、音声入力部２１１がユーザ音声を入力したか否かを判定する（ステップＳ２６）。換言すると、制御部２１７は、所定の期間が経過するまでの間、ユーザ音声が入力されるまで、ステップＳ２６の処理とステップＳ２９の処理とを繰り返し実行する。制御部２１７は、所定の期間が経過したと判定すると（ステップＳ２９のＹｅｓ）、図９に示す動作を終了する。

【0088】

以上、図１、図２及び図９を参照して第１スマートスピーカ２１ａの動作を説明した。なお、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃは、第１スマートスピーカ２１ａと同様に、図９に示す動作を実行する。

【0089】

続いて図１～図３及び図１０を参照して、実施形態４に係る無効処理について説明する。図１０は、実施形態４に係る無効処理を示す図である。図１０において、横軸は時間軸である。図１０は、第１スマートスピーカ２１ａに入力されたユーザ音声、ユーザ音声に対応する音声データ、第１スマートスピーカ２１ａから第１サーバ３へ送信される音声データ、及び第１スマートスピーカ２１ａから第１端末２２ａへ送信される音声データを示す。

【0090】

図１０に示すように、本実施形態では、第１音声５１（起動コマンド音声）が入力されると、無効コマンド音声を示す無効コマンド音声データ５５が第１端末２２ａへ送信される。したがって、無効コマンド音声データ５５が第２端末２２ｂ及び第３端末２２ｃへ送信される。この結果、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃから、起動コマンド音声に続いて無効コマンド音声が出力される。

【0091】

また、本実施形態では、無効コマンド音声データ５５が第１端末２２ａへ送信されるとミュート処理が終了する。したがって、第２音声データ５２ａは、第１サーバ３に加えて、第１端末２２ａにも送信される。この結果、第２音声データ５２ａが第２端末２２ｂ及び第３端末２２ｃに送信されて、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃから第２音声５２が出力される。但し、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃから無効コマンド音声が出力された後に第２音声５２が出力されるため、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃは、第２音声データ５２ａを第１サーバ３へ送信しない。

【0092】

また、本実施形態では、所定の期間が経過する前にミュート処理が終了する。したがって、第３音声データ５３ａが第１端末２２ａにそのまま送信される。

【0093】

以上、図１～図３、図９及び図１０を参照して、本発明の実施形態４について説明した。本実施形態によれば、第１処理ユニット２ａ～第３処理ユニット２ｃのユーザが意図しない処理コマンドが、第１スマートスピーカ２１ａ～第３スマートスピーカ２１ｃから第１サーバ３に送信されることを抑制できる。

【0094】

例えば、第１スマートスピーカ２１ａに対してユーザが起動コマンドを発声した後に処理コマンドを発声しても、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃから無効コマンド音声が出力された後に、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃから処理コマンドを示す音声が出力される。したがって、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃは、処理コマンドを第１サーバ３に送信しない。よって、第２処理ユニット２ｂのユーザ及び第３処理ユニット２ｃのユーザが意図しない処理コマンドが、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃから第１サーバ３に送信されることを抑制することができる。

【0095】

更に、本実施形態によれば、第１端末２２ａ～第３端末２２ｃ間におけるユーザ音声の送受信が中断されない。したがって、ウエブ会議において音声出力が中断されないため、効率よく会議を進めることができる。

【0096】

［実施形態５］
続いて図１～図３、及び図１１～図１３を参照して、本発明の実施形態５について説明する。但し、実施形態１～４と異なる事項を説明し、実施形態１～４と同じ事項についての説明は割愛する。実施形態５は、第１スマートスピーカ２１ａ～第３スマートスピーカ２１ｃが、無効処理として音量レベル低下処理を実行する点で、実施形態１～４と異なる。

【0097】

まず図１及び図２を参照して、第１スマートスピーカ２１ａの構成を説明する。本実施形態において、制御部２１７は、音量レベル低下処理を実行する。音量レベル低下処理は、ユーザ音声に対応する音声データの音量レベルを低下させた低音量レベル音声データを、第２通信部２１５から第１端末２２ａに送信する処理である。

【0098】

詳しくは、制御部２１７は、レディ状態となってから所定の期間が経過するまでの間に音声入力部２１１がユーザ音声を入力すると、低音量レベル音声データを生成する。具体的には、制御部２１７は、音声入力部２１１がユーザ音声を入力すると、ユーザ音声データを生成し、ユーザ音声データの音量レベルを低下させることにより、低音量レベル音声データを生成する。低音量レベル音声データの音量レベルは、低音量レベル音声データに対応する音声が音声出力部２１２から出力されても、音声入力部２１１がその音声を入力できない音量レベルに設定される。例えば、制御部２１７は、ユーザ音声データの音量レベルを５０％低下させる。あるいは、制御部２１７は、ユーザ音声データの音量レベルを０レベルまで低下させてもよい。

【0099】

第２スマートスピーカ２１ｂの制御部２１７、及び第３スマートスピーカ２１ｃの制御部２１７も、第１スマートスピーカ２１ａと同様に、音量レベル低下処理を実行する。

【0100】

続いて図１、図２、図１１及び図１２を参照して、第１スマートスピーカ２１ａの動作を説明する。図１１及び図１２は、実施形態５に係る第１スマートスピーカ２１ａの動作を示すフローチャートである。図１１及び図１２に示す動作は、第１スマートスピーカ２１ａの音声入力部２１１がユーザ音声を入力するとスタートする。

【0101】

図１１に示すように、音声入力部２１１がユーザ音声を入力すると、制御部２１７は、ユーザ音声データを生成する（ステップＳ３１）。制御部２１７は、ユーザ音声データを生成すると、記憶部２１６に記憶されている起動コマンドを示すデータを参照して、ユーザ音声データが起動コマンドを示すか否かを判定する（ステップＳ３２）。

【0102】

制御部２１７は、ユーザ音声データが起動コマンドを示さないと判定した場合（ステップＳ３２のＮｏ）、図１１及び図１２に示す動作を終了する。一方、制御部２１７は、ユーザ音声データが起動コマンドを示すと判定すると（ステップＳ３２のＹｅｓ）、レディ状態となり、音声入力部２１１がユーザ音声を入力したか否かを判定する（ステップＳ３３）。

【0103】

制御部２１７は、音声入力部２１１がユーザ音声を入力したと判定すると（ステップＳ３３のＹｅｓ）、ユーザ音声データを生成し（ステップＳ３４）、ユーザ音声データの音量レベルを低下させて低音量レベル音声データを生成する（ステップＳ３５）。制御部２１７は、低音量レベル音声データを生成すると、第１通信部２１４を介して第１サーバ３にユーザ音声データを送信し、第２通信部２１５を介して第１端末２２ａに低音量レベル音声データを送信する（ステップＳ３６）。

【0104】

また、制御部２１７は、音声入力部２１１がユーザ音声を入力していないと判定すると（ステップＳ３３のＮｏ）、所定の期間が経過したか否かを判定する（ステップＳ３７）。制御部２１７は、所定の期間が経過していないと判定すると（ステップＳ３７のＮｏ）、再度、音声入力部２１１がユーザ音声を入力したか否かを判定する（ステップＳ３３）。換言すると、制御部２１７は、所定の期間が経過するまでの間、ユーザ音声が入力されるまで、ステップＳ３３の処理とステップＳ３７の処理とを繰り返し実行する。制御部２１７は、所定の期間が経過したと判定すると（ステップＳ３７のＹｅｓ）、図１１及び図１２に示す動作を終了する。

【0105】

また、図１２に示すように、制御部２１７は、ユーザ音声データ及び低音量レベル音声データを送信すると、所定の期間が経過したか否かを判定する（ステップＳ３８）。制御部２１７は、所定の期間が経過していないと判定すると（ステップＳ３８のＮｏ）、音声入力部２１１がユーザ音声を入力したか否かを判定する（ステップＳ３９）。制御部２１７は、音声入力部２１１がユーザ音声を入力していないと判定すると（ステップＳ３９のＮｏ）、所定の期間が経過したか否かを判定し（ステップＳ３８）、所定の期間が経過したと判定すると（ステップＳ３８のＹｅｓ）、図１１及び図１２に示す動作を終了する。

【0106】

また、制御部２１７は、音声入力部２１１がユーザ音声を入力したと判定すると（ステップＳ３９のＹｅｓ）、ユーザ音声に対応する低音量レベル音声データを生成し（ステップＳ４０）、第１通信部２１４を介して第１サーバ３に低音量レベル音声データを送信する（ステップＳ４１）。制御部２１７は、低音量レベル音声データを送信すると、所定の期間が経過したか否かを判定し（ステップＳ３８）、所定の期間が経過したと判定すると（ステップＳ３８のＹｅｓ）、図１１及び図１２に示す動作を終了する。

【0107】

以上、図１、図２、図１１及び図１２を参照して第１スマートスピーカ２１ａの動作を説明した。なお、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃは、第１スマートスピーカ２１ａと同様に、図１１及び図１２に示す動作を実行する。

【0108】

続いて図１～図３及び図１３を参照して、実施形態５に係る無効処理について説明する。図１３は、実施形態５に係る無効処理を示す図である。図１３において、横軸は時間軸である。図１３は、第１スマートスピーカ２１ａに入力されたユーザ音声、ユーザ音声に対応する音声データ、第１スマートスピーカ２１ａから第１サーバ３へ送信される音声データ、及び第１スマートスピーカ２１ａから第１端末２２ａへ送信される音声データを示す。

【0109】

図１３に示すように、本実施形態では、第２音声データ５２ａに対応する低音量レベル音声データ５２ｂが第１端末２２ａに送信される。低音量レベル音声データ５２ｂは、第２音声データ５２ａの音量レベルを低下させた音声データである。また、所定の期間の経過前に、第３音声データ５３ａの一部に対応する低音量レベル音声データ５３ｂが第１端末２２ａへ送信される。低音量レベル音声データ５３ｂは、第３音声データ５３ａのうちの所定の期間経過前の部分の音量レベルを低下させた音声データである。

【0110】

第１端末２２ａは、第１スマートスピーカ２１ａから受信した低音量レベル音声データ５２ｂ、５３ｂを、第２サーバ４を介して第２端末２２ｂ及び第３端末２２ｃへ送信する。したがって、所定の期間が経過する前に、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃから、低音量レベル音声データ５２ｂ、５３ｂに対応するユーザ音声が出力される。しかしながら、低音量レベル音声データ５２ｂ、５３ｂの音量レベルは、ユーザ音声が音声出力部２１２から出力されても音声入力部２１１がユーザ音声を入力しない音量レベルに設定されている。したがって、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃの音声入力部２１１は、低音量レベル音声データ５２ｂ、５３ｂに対応するユーザ音声を入力しない。

【0111】

以上、図１～図３、及び図１１～図１３を参照して、本発明の実施形態５について説明した。本実施形態によれば、第１処理ユニット２ａ～第３処理ユニット２ｃのユーザが意図しない処理コマンドが、第１スマートスピーカ２１ａ～第３スマートスピーカ２１ｃから第１サーバ３へ送信されることを抑制することができる。

【0112】

例えば、第１スマートスピーカ２１ａに対してユーザが起動コマンドを発声した後に処理コマンドを発声した場合、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃから、処理コマンドを示す小音量の音声が出力される。しかしながら、処理コマンドを示す音声の音量は小さいため、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃの音声入力部２１１は、処理コマンドを示す音声を入力しない。この結果、第１スマートスピーカ２１ａに対してユーザが発声した処理コマンドは、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃから第１サーバ３へ送信されない。よって、第２処理ユニット２ｂのユーザ及び第３処理ユニット２ｃのユーザが意図しない処理コマンドが、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃから第１サーバ３へ送信されることを抑制することができる。

【0113】

［実施形態６］
続いて図１～図３、及び図１４～図１６を参照して、本発明の実施形態６について説明する。但し、実施形態１～５と異なる事項を説明し、実施形態１～５と同じ事項についての説明は割愛する。実施形態６は、第１スマートスピーカ２１ａ～第３スマートスピーカ２１ｃが、レディ状態となると、重畳音声データを第１端末２２ａ～第３端末２２ｃへ送信する点で、実施形態１～５と異なる。

【0114】

まず図２を参照して、第１スマートスピーカ２１ａの構成を説明する。本実施形態において、記憶部２１６は、実施形態３と同様に、別音データを記憶している。また、制御部２１７は、実施形態５と同様に、低音量レベル音声データを生成する。制御部２１７は更に、低音量レベル音声データに別音データを重畳させて、重畳音声データを生成する。本実施形態において、制御部２１７は、レディ状態となってから所定の期間が経過するまでの間に音声入力部２１１がユーザ音声を入力すると、第２通信部２１５を介して第１端末２２ａに重畳音声データを送信する。第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃも同様に、別音データを記憶しており、レディ状態となってから所定の期間が経過するまでの間に音声入力部２１１がユーザ音声を入力すると、第２通信部２１５から重畳音声データを送信する。

【0115】

続いて、図１、図２、図１４及び図１５を参照して第１スマートスピーカ２１ａの動作を説明する。図１４及び図１５は、実施形態６に係る第１スマートスピーカ２１ａの動作を示すフローチャートである。図１４及び図１５に示す動作は、図１１及び図１２に示す動作と比べて、重畳音声データを生成する処理が追加されている（ステップＳ５１及びステップＳ５２）。

【0116】

具体的には、図１４に示すように、制御部２１７は、低音量レベル音声データを生成すると（ステップＳ３５）、低音量レベル音声データに別音データを重畳させて、重畳音声データを生成する（ステップＳ５１）。制御部２１７は、重畳音声データを生成すると、第１通信部２１４を介して第１サーバ３にユーザ音声データを送信し、第２通信部２１５を介して第１端末２２ａに重畳音声データを送信する（ステップＳ３６）。

【0117】

また、図１５に示すように、制御部２１７は、低音量レベル音声データを生成すると（ステップＳ４０）、低音量レベル音声データに別音データを重畳させて、重畳音声データを生成する（ステップＳ５２）。制御部２１７は、重畳音声データを生成すると、第２通信部２１５を介して第１端末２２ａに重畳音声データを送信する（ステップＳ４１）。

【0118】

以上、図１、図２、図１４及び図１５を参照して第１スマートスピーカ２１ａの動作を説明した。なお、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃは、第１スマートスピーカ２１ａと同様に、図１４及び図１５に示す動作を実行する。

【0119】

続いて図１～図３及び図１６を参照して、実施形態６に係る無効処理について説明する。図１６は、実施形態６に係る無効処理を示す図である。図１６において、横軸は時間軸である。図１６は、第１スマートスピーカ２１ａに入力されたユーザ音声、ユーザ音声に対応する音声データ、第１スマートスピーカ２１ａから第１サーバ３へ送信される音声データ、及び第１スマートスピーカ２１ａから第１端末２２ａへ送信される音声データを示す。

【0120】

図１６に示すように、本実施形態では、第２音声データ５２ａに対応する重畳音声データ５２ｃが第１端末２２ａへ送信される。重畳音声データ５２ｃは、第２音声データ５２ａの音量レベルを低下させた低音量レベル音声データに別音データを重畳した音声データであり、重畳音声を示す。また、所定の期間の経過前に、第３音声データ５３ａの一部に対応する重畳音声データ５３ｃが第１端末２２ａへ送信される。重畳音声データ５３ｃは、第３音声データ５３ａのうちの所定の期間経過前の部分の音量レベルを低下させた音声データに別音データを重畳した音声データであり、重畳音声を示す。

【0121】

第１端末２２ａは、第１スマートスピーカ２１ａから受信した重畳音声データ５２ｃ、５３ｃを、第２サーバ４を介して第２端末２２ｂ及び第３端末２２ｃへ送信する。したがって、所定の期間が経過する前に、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃから重畳音声が出力されて、第２スマートスピーカ２１ｂの音声入力部２１１及び第３スマートスピーカ２１ｃの音声入力部２１１に重畳音声が入力される。その結果、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃから第１サーバ３へ重畳音声データ５２ｃが送信される。

【0122】

第１サーバ３は、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃから重畳音声データ５２ｃを受信すると、重畳音声データ５２ｃから処理コマンドを認識できるか否かを判定する。重畳音声データ５２ｃは、既に説明したように、低音量レベル音声データに別音データを重畳した音声データである。そのため、低音量レベル音声データが処理コマンドを示す場合であっても、処理コマンドを示す音声データに別音声データが重畳されているため、第１サーバ３は、重畳音声データ５２ｃから処理コマンドを認識することができない。

【0123】

以上、図１～図３、及び図１４～図１６を参照して、本発明の実施形態６について説明した。本実施形態によれば、第１処理ユニット２ａ～第３処理ユニット２ｃのユーザが意図しない処理コマンドが、第１スマートスピーカ２１ａ～第３スマートスピーカ２１ｃから第１サーバ３へ送信されることを抑制することができる。

【0124】

例えば、第１スマートスピーカ２１ａに対してユーザが起動コマンドを発声した後に処理コマンドを発声した場合、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃから、処理コマンドを示す音声に別の音声が重畳された重畳音声が出力される。換言すると、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃは、処理コマンドを示す音声とは異なる音声を出力する。よって、第２処理ユニット２ｂ及び第３処理ユニット２ｃのユーザが意図しない処理コマンドが、第２スマートスピーカ２１ｂ及び第３スマートスピーカ２１ｃから第１サーバ３へ送信されることを抑制することができる。

【0125】

以上、本発明の実施形態１～６について図面（図１～図１６）を参照しながら説明した。但し、本発明は、上記の実施形態に限られず、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。

【0126】

例えば、本発明による実施形態において、第１スマートスピーカ２１ａ～第３スマートスピーカ２１ｃが撮像部２１３を備える構成を説明したが、第１端末２２ａ～第３端末２２ｃが撮像部を備えてもよい。あるいは、第１端末２２ａ～第３端末２２ｃに周辺装置としてカメラ装置が接続されてもよい。

【0127】

また、本発明による実施形態において、遠隔対話システム１はウエブ会議システムであったが、遠隔対話システム１はテレビ会議システム又は電話会議システムであってもよい。この場合、第１端末２２ａ～第３端末２２ｃは、ＬＡＮを介して接続される。

【0128】

遠隔対話システム１がテレビ会議システム又は電話会議システムである場合、第２サーバ４は省略され得る。また、遠隔対話システム１が電話会議システムである場合、第１端末２２ａ～第３端末２２ｃは、電話会議専用のマイク／スピーカ装置であり得る。また、遠隔対話システム１が電話会議システムである場合、第１表示装置２３ａ～第３表示装置２３ｃは省略され得る。

【0129】

また、本発明による実施形態において、第１処理ユニット２ａ～第３処理ユニット２ｃが第１端末２２ａ～第３端末２２ｃを含む構成について説明したが、第１スマートスピーカ２１ａ～第３スマートスピーカ２１ｃが第１端末２２ａ～第３端末２２ｃの機能を有してもよい。この場合、第１端末２２ａ～第３端末２２ｃは省略され得る。

【0130】

また、本発明による実施形態において、遠隔対話システム１は３つの処理ユニットを備えたが、遠隔対話システム１は、２つの処理ユニット又は４つ以上の処理ユニットを備えてもよい。

【産業上の利用可能性】

【0131】

本発明は、スマートスピーカのような音声入力装置を使用するシステムに有用である。

【符号の説明】

【0132】

１ 遠隔対話システム
２ａ 第１処理ユニット
２ｂ 第２処理ユニット
２ｃ 第３処理ユニット
３ 第１サーバ
２１ａ 第１スマートスピーカ
２１ｂ 第２スマートスピーカ
２１ｃ 第３スマートスピーカ
２２ａ 第１端末
２２ｂ 第２端末
２２ｃ 第３端末
２３ａ 第１表示装置
２３ｂ 第２表示装置
２３ｃ 第３表示装置
２１１ 音声入力部
２１２ 音声出力部
２１４ 第１通信部
２１５ 第２通信部
２１６ 記憶部
２１７ 制御部
２２１ 第１通信部
２２２ 第２通信部
２２４ 記憶部
２２５ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】