特開 2023-145911 音声処理システム、音声処理方法、及び音声処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023145911

(43)【公開日】2023-10-12

(54)【発明の名称】音声処理システム、音声処理方法、及び音声処理プログラム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20231004BHJP

   G06F 3/01 20060101ALI20231004BHJP

   H04M 3/56 20060101ALI20231004BHJP

【ＦＩ】

H04N7/15

G06F3/01 510

H04M3/56 C

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022052823

(22)【出願日】2022-03-29

(71)【出願人】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100167302

【弁理士】

【氏名又は名称】種村 一幸

(74)【代理人】

【識別番号】100135817

【弁理士】

【氏名又は名称】華山 浩伸

(72)【発明者】

【氏名】小豆 真瑛

(72)【発明者】

【氏名】西尾 達也

【テーマコード（参考）】

5C164

5E555

5K201

【Ｆターム（参考）】

5C164FA10

5C164SC11P

5C164VA04S

5C164VA06S

5C164VA10P

5C164YA08

5C164YA21

5E555AA61

5E555AA71

5E555BA13

5E555BB13

5E555BC01

5E555CA42

5E555CA47

5E555CB23

5E555CB64

5E555CB66

5E555DA23

5E555EA08

5E555FA00

5K201BB09

5K201CA06

5K201CB10

5K201CB13

5K201CC05

5K201CC10

5K201DC05

5K201EF03

5K201EF04

(57)【要約】

【課題】マイクスピーカー装置及びユーザーの対応関係を容易に把握することが可能な音声処理システム、音声処理方法、及び音声処理プログラムを提供する。
【解決手段】音声処理システムは、カメラにより撮像される撮像画像を取得する第１取得処理部と、マイクスピーカー装置が集音した音を当該マイクスピーカー装置から取得する第２取得処理部と、前記第２取得処理部により取得される前記音の送信元の前記マイクスピーカー装置を特定する第１特定処理部と、前記第１取得処理部により取得される前記撮像画像に基づいて前記音の発信者を特定する第２特定処理部と、前記第１特定処理部により特定される前記マイクスピーカー装置の識別情報と、前記第２特定処理部により特定される前記発信者のユーザー情報とを互いに関連付けて登録する登録処理部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザーが携帯する携帯型のマイクスピーカー装置によりユーザーの発話音声の音声データを送受信する音声処理システムであって、
カメラにより撮像される撮像画像を取得する第１取得処理部と、
マイクスピーカー装置が集音した音を当該マイクスピーカー装置から取得する第２取得処理部と、
前記第２取得処理部により取得される前記音の送信元の前記マイクスピーカー装置を特定する第１特定処理部と、
前記第１取得処理部により取得される前記撮像画像に基づいて前記音の発信者を特定する第２特定処理部と、
前記第１特定処理部により特定される前記マイクスピーカー装置の識別情報と、前記第２特定処理部により特定される前記発信者のユーザー情報とを互いに関連付けて登録する登録処理部と、
を備える音声処理システム。

【請求項2】

前記第１特定処理部は、前記音の音データに関連付けられた前記マイクスピーカー装置の識別情報に基づいて、前記マイクスピーカー装置を特定する、
請求項１に記載の音声処理システム。

【請求項3】

前記第２特定処理部は、前記撮像画像から認識されるユーザーの顔画像に基づいて前記発信者を特定する、
請求項１又は請求項２に記載の音声処理システム。

【請求項4】

前記登録処理部は、
第１マイクスピーカー装置を使用する第１発信者が発話した場合に、前記第１特定処理部により特定される前記第１マイクスピーカー装置の識別情報と、前記第２特定処理部により特定される前記第１発信者のユーザー情報とを互いに関連付けて登録し、
続いて、第２マイクスピーカー装置を使用する第２発信者が発話した場合に、前記第１特定処理部により特定される前記第２マイクスピーカー装置の識別情報と、前記第２特定処理部により特定される前記第２発信者のユーザー情報とを互いに関連付けて登録する、
請求項１から請求項３のいずれか１項に記載の音声処理システム。

【請求項5】

複数のマイクスピーカー装置が含まれる場合に、前記登録処理部は、前記複数のマイクスピーカー装置のそれぞれの識別情報に、前記ユーザー情報を関連付けて登録する、
請求項１から請求項４のいずれか１項に記載の音声処理システム。

【請求項6】

前記マイクスピーカー装置の設定内容を調整する調整処理部をさらに備え、
前記登録処理部により、複数のマイクスピーカー装置の識別情報と複数のユーザー情報とがそれぞれ関連付けて登録されている場合において、
前記調整処理部は、発信者からの距離が所定距離未満のユーザーに対応する前記マイクスピーカー装置のスピーカーをオフ状態に調整し、前記発信者からの距離が前記所定距離以上のユーザーに対応する前記マイクスピーカー装置のスピーカーをオン状態に調整する、
請求項５に記載の音声処理システム。

【請求項7】

前記マイクスピーカー装置の設定内容を調整する調整処理部をさらに備え、
前記登録処理部により、複数のマイクスピーカー装置の識別情報と複数のユーザー情報とがそれぞれ関連付けて登録されている場合において、
前記調整処理部は、一のマイクスピーカー装置から取得した音がノイズ音の場合に、前記複数のマイクスピーカー装置のそれぞれのスピーカーをオフ状態に調整する、
請求項５に記載の音声処理システム。

【請求項8】

前記調整処理部は、前記撮像画像から認識されるユーザーの動作と、前記一のマイクスピーカー装置から取得した音の種別とに基づいて前記ノイズ音を特定する、
請求項７に記載の音声処理システム。

【請求項9】

ユーザーが携帯する携帯型のマイクスピーカー装置によりユーザーの発話音声の音声データを送受信する音声処理システムであって、
カメラにより撮像される撮像画像を取得する第１取得処理部と、
複数のマイクスピーカー装置のうち第１マイクスピーカー装置が集音した発話音声を当該第１マイクスピーカー装置から取得する第２取得処理部と、
前記第１取得処理部により取得される前記撮像画像に基づいて前記発話音声の発話者を特定する特定処理部と、
前記第１取得処理部により取得される前記撮像画像に基づいて算出される前記発話者からの距離に基づいて、前記複数のマイクスピーカー装置のそれぞれの設定内容を調整する調整処理部と、
を備える音声処理システム。

【請求項10】

前記マイクスピーカー装置は、ネックバンド型の形状を有し、ユーザーの首に装着可能である、
請求項１から請求項９のいずれか１項に記載の音声処理システム。

【請求項11】

ユーザーが携帯する携帯型のマイクスピーカー装置によりユーザーの発話音声の音声データを送受信する音声処理方法であって、
一又は複数のプロセッサーが、
カメラにより撮像される撮像画像を取得する第１取得ステップと、
マイクスピーカー装置が集音した音を当該マイクスピーカー装置から取得する第２取得ステップと、
前記第２取得ステップにおいて取得される前記音の送信元の前記マイクスピーカー装置を特定する第１特定ステップと、
前記第１取得ステップにおいて取得される前記撮像画像に基づいて前記音の発信者を特定する第２特定ステップと、
前記第１特定ステップにおいて特定される前記マイクスピーカー装置の識別情報と、前記第２特定ステップにおいて特定される前記発信者のユーザー情報とを互いに関連付けて登録する登録ステップと、
を実行する音声処理方法。

【請求項12】

ユーザーが携帯する携帯型のマイクスピーカー装置によりユーザーの発話音声の音声データを送受信する音声処理プログラムであって、
カメラにより撮像される撮像画像を取得する第１取得ステップと、
マイクスピーカー装置が集音した音を当該マイクスピーカー装置から取得する第２取得ステップと、
前記第２取得ステップにおいて取得される前記音の送信元の前記マイクスピーカー装置を特定する第１特定ステップと、
前記第１取得ステップにおいて取得される前記撮像画像に基づいて前記音の発信者を特定する第２特定ステップと、
前記第１特定ステップにおいて特定される前記マイクスピーカー装置の識別情報と、前記第２特定ステップにおいて特定される前記発信者のユーザー情報とを互いに関連付けて登録する登録ステップと、
を一又は複数のプロセッサーに実行させるための音声処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マイクスピーカー装置の音声の送受信を行う音声処理システム、音声処理方法、及び音声処理プログラムに関する。

【背景技術】

【0002】

従来、マイク及びスピーカーを備え、ユーザーの首周りに装着可能なウェアラブル型のマイクスピーカー装置が知られている。前記マイクスピーカー装置は、装着者の発話音声を集音して他のマイクスピーカー装置に送信したり、他のマイクスピーカー装置から受信した音声を当該装着者に向けて再生したりすることができる。ユーザーは、ウェアラブル型のマイクスピーカー装置を装着することにより、自身の発話音声をマイクに確実に集音（音声認識）させることができ、またスピーカーから再生される音声を容易に聞き取ることができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１９６８７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、例えば、同一エリアに複数のマイクスピーカー装置が存在する場合、マイクスピーカー装置と通信を行う装置（例えばパーソナルコンピュータ）の表示画面には、各マイクスピーカー装置の情報（例えば機器番号）が表示されるが、各ユーザーがいずれのマイクスピーカー装置を使用しているのかを把握することは困難である。

【0005】

本発明の目的は、マイクスピーカー装置及びユーザーの対応関係を容易に把握することが可能な音声処理システム、音声処理方法、及び音声処理プログラムを提供することにある。

【課題を解決するための手段】

【0006】

本発明の一の態様に係る音声処理システムは、カメラにより撮像される撮像画像を取得する第１取得処理部と、マイクスピーカー装置が集音した音を当該マイクスピーカー装置から取得する第２取得処理部と、前記第２取得処理部により取得される前記音の送信元の前記マイクスピーカー装置を特定する第１特定処理部と、前記第１取得処理部により取得される前記撮像画像に基づいて前記音の発信者を特定する第２特定処理部と、前記第１特定処理部により特定される前記マイクスピーカー装置の識別情報と、前記第２特定処理部により特定される前記発信者のユーザー情報とを互いに関連付けて登録する登録処理部と、を備える。

【0007】

本発明の一の態様に係る音声処理システムは、ユーザーが携帯する携帯型のマイクスピーカー装置によりユーザーの発話音声の音声データを送受信する音声処理システムであって、カメラにより撮像される撮像画像を取得する第１取得処理部と、複数のマイクスピーカー装置のうち第１マイクスピーカー装置が集音した発話音声を当該第１マイクスピーカー装置から取得する第２取得処理部と、前記第１取得処理部により取得される前記撮像画像に基づいて前記発話音声の発話者を特定する特定処理部と、前記第１取得処理部により取得される前記撮像画像に基づいて算出される前記発話者からの距離に基づいて、前記複数のマイクスピーカー装置のそれぞれの設定内容を調整する調整処理部と、を備える。

【0008】

本発明の他の態様に係る音声処理方法は、ユーザーが携帯する携帯型のマイクスピーカー装置によりユーザーの発話音声の音声データを送受信する音声処理方法であって、一又は複数のプロセッサーが、カメラにより撮像される撮像画像を取得する第１取得ステップと、マイクスピーカー装置が集音した音を当該マイクスピーカー装置から取得する第２取得ステップと、前記第２取得ステップにおいて取得される前記音の送信元の前記マイクスピーカー装置を特定する第１特定ステップと、前記第１取得ステップにおいて取得される前記撮像画像に基づいて前記音の発信者を特定する第２特定ステップと、前記第１特定ステップにおいて特定される前記マイクスピーカー装置の識別情報と、前記第２特定ステップにおいて特定される前記発信者のユーザー情報とを互いに関連付けて登録する登録ステップと、を実行する音声処理方法である。

【0009】

本発明の他の態様に係る音声処理プログラムは、ユーザーが携帯する携帯型のマイクスピーカー装置によりユーザーの発話音声の音声データを送受信する音声処理プログラムであって、カメラにより撮像される撮像画像を取得する第１取得ステップと、マイクスピーカー装置が集音した音を当該マイクスピーカー装置から取得する第２取得ステップと、前記第２取得ステップにおいて取得される前記音の送信元の前記マイクスピーカー装置を特定する第１特定ステップと、前記第１取得ステップにおいて取得される前記撮像画像に基づいて前記音の発信者を特定する第２特定ステップと、前記第１特定ステップにおいて特定される前記マイクスピーカー装置の識別情報と、前記第２特定ステップにおいて特定される前記発信者のユーザー情報とを互いに関連付けて登録する登録ステップと、を一又は複数のプロセッサーに実行させるための音声処理プログラムである。

【発明の効果】

【0010】

本発明によれば、マイクスピーカー装置及びユーザーの対応関係を容易に把握することが可能な音声処理システム、音声処理方法、及び音声処理プログラムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、本発明の実施形態に係る会議システムの構成を示す図である。

【図2】図２は、本発明の実施形態に係る会議システムの適用例を示す図である。

【図3】図３は、本発明の実施形態に係るマイクスピーカー装置の構成を示す外観図である。

【図4】図４は、本発明の実施形態に係る会議システムで利用されるユーザー情報の一例を示す図である。

【図5】図５は、本発明の実施形態に係る会議システムで利用される機器情報の一例を示す図である。

【図6】図６は、本発明の実施形態の係る会議システムで撮像される撮像画像の一例を示す図である。

【図7】図７は、本発明の実施形態の係る会議システムで撮像される撮像画像の他の例を示す図である。

【図8】図８は、本発明の実施形態の係る会議システムの適用例を示す図である。

【図9】図９は、本発明の実施形態の係る会議システムの適用例を示す図である。

【図10】図１０は、本発明の実施形態に係る会議システムにおいて実行される登録処理の手順の一例を説明するためのフローチャートである。

【図11】図１１は、本発明の実施形態に係る会議システムにおいて実行される調整処理の手順の一例を説明するためのフローチャートである。

【発明を実施するための形態】

【0012】

以下、添付図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格を有さない。

【0013】

本発明に係る音声処理システムは、例えば所定のエリア（会議室など）において、複数のユーザーがそれぞれマイクスピーカー装置を使用して会話（会議など）を行うケースに適用することができる。前記マイクスピーカー装置は、ユーザーが携帯する携帯型（ウェアラブル型）の音響機器である。また、前記マイクスピーカー装置は、例えばネックバンド型の形状を有し、各ユーザーは、前記マイクスピーカー装置を自身の首に装着して使用することができる。各ユーザーは、前記マイクスピーカー装置のスピーカーから再生される音声を聞き取ることができ、また自身が発話した音声を前記マイクスピーカー装置のマイクに集音させることができる。なお、本発明に係る音声処理システムは、異なる複数のエリアにおいて、複数のユーザーがそれぞれマイクスピーカー装置を使用して会話（オンライン会議など）を行うケースにも適用することができる。

【0014】

以下では、本発明の実施形態の一例として、複数の会議室を接続させて複数のユーザーが参加するオンライン会議を行う会議システムを例に挙げる。

【0015】

［会議システム１０］
図１は、本発明の実施形態に係る会議システム１０の構成を示す図である。会議システム１０は、音声処理装置１と複数のマイクスピーカー装置２と会議サーバー３とカメラＣａとを含んでいる。マイクスピーカー装置２は、マイク２４及びスピーカー２５（図３参照）を搭載する音響機器である。なお、マイクスピーカー装置２は、例えばＡＩスピーカー、スマートスピーカなどの機能を備えてもよい。会議システム１０は、複数のユーザーのそれぞれが自身に装着するウェアラブル型のマイクスピーカー装置２を複数台含み、複数台のマイクスピーカー装置２の間でユーザーの発話音声の音声データを送受信するシステムである。会議システム１０は、本発明の音声処理システムの一例である。

【0016】

会議サーバー３は、前記オンライン会議を実現する会議アプリケーションを実行する。また、会議サーバー３は、会議情報を管理する。音声処理装置１は、マイクスピーカー装置２ごとに、マイクスピーカー装置２と当該マイクスピーカー装置２を使用するユーザーとを紐付ける処理（後述の登録処理）を実行する。また、音声処理装置１は、各マイクスピーカー装置２を制御して、会議が開始されると各マイクスピーカー装置２との間で音声を送受信する処理を実行する。さらに、音声処理装置１は、会議において、各マイクスピーカー装置２の設定内容（音量、マイクゲインなど）を調整する処理（後述の調整処理）を実行する。

【0017】

なお、音声処理装置１単体が、本発明の音声処理システムを構成してもよい。本発明の音声処理システムが音声処理装置１単体で構成される場合、音声処理装置１は、マイクスピーカー装置２から取得する音声を記録用音声として蓄積したり、取得した音声を自装置内で認識する処理（音声認識処理）を実行したりしてもよい。

【0018】

カメラＣａは、被写体の画像を撮像してデジタル画像データとして出力するデジタルカメラである。カメラＣａにより撮像された画像データは音声処理装置１に送信される。例えば、カメラＣａは、会議室内に設置され、会議の参加者を含む所定エリアを撮像する。

【0019】

図２には、オンライン会議の一例を示している。オンライン会議の参加者であるユーザーＡ～ＨのうちユーザーＡ，Ｂ，Ｃ，Ｄは会議室Ｒ１に位置しており、ユーザーＥ，Ｆ，Ｇ，Ｈは会議室Ｒ２に位置している。ユーザーＡ～Ｈは、それぞれマイクスピーカー装置２Ａ～２Ｈを首に装着して会議に参加する。また、会議室Ｒ１には、音声処理装置１ａ、カメラＣａ１、及びディスプレイＤＰ１が設置されており、会議室Ｒ２には、音声処理装置１ｂ、カメラＣａ２、及びディスプレイＤＰ２が設置されている。ディスプレイＤＰ１，ＤＰ２は、それぞれの画面が共有されており、例えば会議資料を表示する。音声処理装置１ａ、カメラＣａ１、及びディスプレイＤＰ１と、音声処理装置１ｂ、カメラＣａ２、及びディスプレイＤＰ２とは、ネットワーク（例えばインターネット）を介してデータ通信可能に構成されている。音声処理装置１ａ，１ｂは、同一の機能を有する情報処理装置（例えばパーソナルコンピューター）である。以下では、音声処理装置１ａ，１ｂにおいて共通の説明する場合は、「音声処理装置１」と称す。

【0020】

会議サーバー３は、ネットワーク（インターネット）を利用して、会議室Ｒ１，Ｒ２の音声データをマイクスピーカー装置２及び音声処理装置１ａ，１ｂを介して送受信する。例えば音声処理装置１ａは、ユーザーＡの発話音声のデータをマイクスピーカー装置２Ａから取得すると、音声データを会議サーバー３に送信する。会議サーバー３は、音声処理装置１ａから取得した前記音声データを音声処理装置１ｂに送信する。音声処理装置１ｂは、会議サーバー３から取得した前記音声データをユーザーＥ～Ｈのマイクスピーカー装置２Ｅ～２Ｈのそれぞれに送信して当該発話音声を再生（放音）させる。なお、音声処理装置１ａは、会議サーバー３から取得した前記音声データをユーザーＢ～Ｄのマイクスピーカー装置２Ｂ～２Ｄのそれぞれに送信して当該発話音声を再生させてもよい。また、会議サーバー３は、ユーザーの操作を受け付けて会議資料などをディスプレイＤＰ１，ＤＰ２に表示させる。このようにして、会議サーバー３は、オンライン会議を実現する。

【0021】

また、会議サーバー３には、オンライン会議に関する会議情報などのデータが記憶される。前記会議情報には、会議ごとに、会議の識別情報（会議ＩＤ）、会議の開催場所、会議の開始日時及び終了日時、会議の参加者、会議に使用する資料の各情報が含まれる。例えば前記オンライン会議の主催者は、自身の端末（パーソナルコンピューター）を使用して前記会議情報を事前に登録する。会議サーバー３は、クラウドサーバーで構成されてもよい。

【0022】

［マイクスピーカー装置２］
図３には、マイクスピーカー装置２の外観の一例を示している。図３に示すように、マイクスピーカー装置２は、電源２２、接続ボタン２３、マイク２４、スピーカー２５、再生ボタン２６、通信部（不図示）などを備える。マイクスピーカー装置２は、例えばユーザーの首に装着可能なネックバンド型のウェアラブル機器である。マイクスピーカー装置２は、ユーザーの音声をマイク２４を介して取得したり、当該ユーザーに対してスピーカー２５から音声を再生（出力）したりする。マイクスピーカー装置２は、各種情報を表示する表示部を備えてもよい。

【0023】

図３に示すように、マイクスピーカー装置２の本体２１は、マイクスピーカー装置２を装着したユーザーから見て左右のアームを備え、Ｕ字状に形成されている。

【0024】

マイク２４は、ユーザーの発話音声を集音し易いように、マイクスピーカー装置２の先端部に配置されている。マイク２４は、マイクスピーカー装置２に内蔵されたマイク用基板（不図示）に接続されている。

【0025】

スピーカー２５には、マイクスピーカー装置２を装着したユーザーから見て左側のアームに配置されるスピーカー２５Ｌと右側のアームに配置されるスピーカー２５Ｒとが含まれる。スピーカー２５Ｌ，２５Ｒは、ユーザーが再生音を聞き取り易いように、マイクスピーカー装置２のアームの中央付近に配置されている。スピーカー２５Ｌ，２５Ｒは、マイクスピーカー装置２に内蔵されたスピーカー用基板（不図示）に接続されている。

【0026】

前記マイク用基板は、音声データを音声処理装置１に送信するためのトランスミッター基板であり、前記通信部に含まれる。また、前記スピーカー用基板は、音声処理装置１から音声データを受信するためのレシーバー基板であり、前記通信部に含まれる。

【0027】

前記通信部は、マイクスピーカー装置２を無線で音声処理装置１との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。具体的には、前記通信部は、例えばＢｌｕｅｔｏｏｔｈ方式（Ｂｌｕｅｔｏｏｔｈ；登録商標）によりマイクスピーカー装置２と接続して通信を行う。例えば、ユーザーが電源２２をオン状態にした後に接続ボタン２３を押下すると、前記通信部は、ペアリング処理を実行してマイクスピーカー装置２を音声処理装置１に接続する。なお、マイクスピーカー装置２と音声処理装置１との間に送信機が配置され、当該送信機がマイクスピーカー装置２とペアリング（Ｂｌｕｅｔｏｏｔｈ接続）し、当該送信機と音声処理装置１とがインターネットを介して接続されてもよい。

【0028】

［音声処理装置１］
図１に示すように、音声処理装置１は、制御部１１、記憶部１２、操作表示部１３、通信部１４などを備える情報処理装置（例えばパーソナルコンピュータ）である。なお、音声処理装置１は、１台のコンピュータに限らず、複数台のコンピュータが協働して動作するコンピュータシステムであってもよい。また、音声処理装置１で実行される各種の処理は、一又は複数のプロセッサーによって分散して実行されてもよい。

【0029】

通信部１４は、音声処理装置１を、ネットワークを介してマイクスピーカー装置２、カメラＣａ、ディスプレイＤＰ１，ＤＰ２などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信部である。例えば、通信部１４は、Ｂｌｕｅｔｏｏｔｈ方式によるペアリング処理を実行して、マイクスピーカー装置２と接続する。また、通信部１４は、オンライン会議を行う場合に、ネットワーク（例えばインターネット）に接続して複数拠点（会議室Ｒ１，Ｒ２）間のデータ通信を行う。

【0030】

操作表示部１３は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部と、操作を受け付けるマウス、キーボード、又はタッチパネルのような操作部とを備えるユーザーインターフェースである。

【0031】

記憶部１２は、各種の情報を記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの不揮発性の記憶部である。具体的には、記憶部１２には、マイクスピーカー装置２を使用するユーザーに関するユーザー情報Ｄ１、マイクスピーカー装置２に関する機器情報Ｄ２などのデータが記憶される。

【0032】

図４には、ユーザー情報Ｄ１の一例を示している。図４に示すように、ユーザー情報Ｄ１には、ユーザーごとに、「ユーザーＩＤ」、「ユーザー名」、「画像情報」などが含まれる。前記ユーザーＩＤはユーザーの識別情報であり、前記ユーザー名はユーザーの名前である。前記画像情報は、ユーザーを識別可能な画像情報であり、例えば顔画像である。各ユーザーは、予め自身の顔画像をユーザー情報Ｄ１に登録することによりマイクスピーカー装置２の使用が許可される。

【0033】

図５には、機器情報Ｄ２の一例を示している。図５に示すように、機器情報Ｄ２には、マイクスピーカー装置２ごとに、「機器ＩＤ」、「ユーザーＩＤ」、「音量」、「マイクゲイン」などの情報が含まれる。前記機器ＩＤは、マイクスピーカー装置２の識別情報であり、例えば機器番号が登録される。ここでは、「ＭＳ００１」～「ＭＳ００８」のそれぞれは、マイクスピーカー装置２Ａ～２Ｈのそれぞれに対応する。前記ユーザーＩＤは、マイクスピーカー装置２を使用するユーザーの識別情報である。例えば、制御部１１は、画像情報及び音声情報に基づいて、マイクスピーカー装置２ごとに、使用ユーザーを特定し、特定したユーザーのユーザーＩＤを機器ＩＤに関連付けて登録する処理（登録処理）を実行する。前記登録処理の具体的構成は後述する。

【0034】

前記音量は、各マイクスピーカー装置２のスピーカー２５の再生音量であり、前記マイクゲインは、各マイクスピーカー装置２のマイク２４のゲインである。制御部１１は、マイクスピーカー装置２ごとに、音量及びマイクゲインを調整することが可能である。なお、音声処理装置１ａがマイクスピーカー装置２Ａ～２Ｄの機器情報Ｄ２を記憶及び管理し、音声処理装置１ｂがマイクスピーカー装置２Ｅ～２Ｈの機器情報Ｄ２を記憶及び管理してもよい。

【0035】

なお、ユーザーは、例えばディスプレイＤＰ１，ＤＰ２に表示される設定画面（不図示）を操作（タッチ操作）して、音量及びマイクゲインの調整などを行うこともできる。この場合、制御部１１は、ユーザー操作に応じて機器情報Ｄ２を記憶する。また、制御部１１は、ユーザー操作又は初期設定に基づいて、予め音量及びマイクゲインを設定してもよい。

【0036】

また、記憶部１２には、制御部１１に後述の登録処理（図８参照）を実行させるための登録プログラムなどの制御プログラムが記憶されている。例えば、前記登録プログラムは、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録され、音声処理装置１が備えるＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部１２に記憶されてもよい。

【0037】

また、記憶部１２には、制御部１１に後述の調整処理（図９参照）を実行させるための調整プログラムなどの制御プログラムが記憶されている。例えば、前記調整プログラムは、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録され、音声処理装置１が備えるＣＤドライブ又はＤＶＤドライブなどの読取装置で読み取られて記憶部１２に記憶されてもよい。

【0038】

制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の演算処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１１は、前記ＲＯＭ又は記憶部１２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより音声処理装置１を制御する。

【0039】

具体的には、制御部１１は、図１に示すように、画像取得処理部１１１、音声取得処理部１１２、機器特定処理部１１３、ユーザー特定処理部１１４、登録処理部１１５、調整処理部１１６などの各種の処理部を含む。なお、制御部１１は、前記ＣＰＵで前記制御プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、一部又は全部の前記処理部が電子回路で構成されていてもよい。なお、前記制御プログラムは、複数のプロセッサーを前記処理部として機能させるためのプログラムであってもよい。

【0040】

画像取得処理部１１１は、カメラＣａにより撮像される撮像画像を取得する。例えば、会議室Ｒ１において、カメラＣａは、テーブルの周囲を含む所定エリアを撮像すると、撮像画像を音声処理装置１ａに送信する。同様に、会議室Ｒ２において、カメラＣａ２は、テーブルの周囲を含む所定エリアを撮像すると、撮像画像を音声処理装置１ｂに送信する。カメラＣａは所定のフレームレートで所定エリアを撮像して撮像画像を音声処理装置１に送信する。

【0041】

図６には、カメラＣａが撮像した撮像画像Ｐ１の一例を示している。撮像画像Ｐ１には、会議室Ｒ１で会議に参加するユーザーＡ，Ｂ，Ｃ，Ｄの画像が含まれる。

【0042】

画像取得処理部１１１は、カメラＣａ１，Ｃａ２のそれぞれから撮像画像を取得する。また、画像取得処理部１１１は、会議が開始される前に前記撮像画像を取得してもよい。例えば、ユーザーＡ，Ｂ，Ｃ，Ｄが会議室Ｒ１に入室して、各ユーザーがマイクスピーカー装置２を装着して音声処理装置１と接続（ペアリング）させた時点で、カメラＣａが撮像を開始し、画像取得処理部１１１が撮像画像の取得を開始してもよい。

【0043】

なお、制御部１１は、マイクスピーカー装置２が接続されたときに、マイクスピーカー装置２から取得した機器ＩＤを機器情報Ｄ２（図５参照）に登録してもよい。また、制御部１１は、マイクスピーカー装置２が接続されたときに、音量及びマイクゲインの初期値（デフォルト値）を機器情報Ｄ２に登録してもよい。画像取得処理部１１１は、本発明の第１取得処理部の一例である。

【0044】

音声取得処理部１１２は、マイクスピーカー装置２が集音した音を当該マイクスピーカー装置２から取得する。例えば、マイクスピーカー装置２ＡのユーザーＡが発話した場合、マイクスピーカー装置２ＡはユーザーＡの発話音声を集音し、集音した発話音声の音声データとマイクスピーカー装置２Ａの機器ＩＤ（機器番号など）とを音声処理装置１に送信する。音声取得処理部１１２は、マイクスピーカー装置２ＡからユーザーＡの前記音声データ（発話音声）及び機器ＩＤを取得する。例えば、ユーザーＡは、テスト用の音声として、「マイクテスト」などの文言を発話する。

【0045】

音声取得処理部１１２が取得する音は、ユーザーの発話音声に限定されない。例えば、ユーザーＡがマイクスピーカー装置２Ａの再生ボタン２６（図３参照）を押下する操作を行った場合にスピーカー２５から再生される音をマイクスピーカー装置２Ａが集音し、音声取得処理部１１２が、マイクスピーカー装置２Ａから当該音を取得してもよい。音声取得処理部１１２は、本発明の第２取得処理部の一例である。

【0046】

機器特定処理部１１３は、音声取得処理部１１２により取得される前記音の送信元のマイクスピーカー装置２を特定する。例えば、機器特定処理部１１３は、マイクスピーカー装置２ＡからユーザーＡの発話音声を取得した場合に、当該発話音声の音声データに付与されたマイクスピーカー装置２Ａの機器ＩＤに基づいてマイクスピーカー装置２Ａを特定する。このように、機器特定処理部１１３は、マイクスピーカー装置２から前記音声データを取得することによって、当該音声データに付与された情報（機器ＩＤなど）に基づいて送信元を特定することが可能である。機器特定処理部１１３は、本発明の第１特定処理部の一例である。

【0047】

ユーザー特定処理部１１４は、画像取得処理部１１１により取得される撮像画像に基づいて前記音の発信者を特定する。例えば、ユーザー特定処理部１１４は、前記撮像画像を画像解析して各ユーザーの顔画像を認識し、認識した顔画像とユーザー情報Ｄ１（図４参照）に登録されている画像情報（顔画像）とを照合して、各ユーザーを特定する。例えば、画像取得処理部１１１が図６に示す撮像画像Ｐ１を取得した場合に、ユーザー特定処理部１１４は、撮像画像Ｐ１から認識した顔画像に基づいて、ユーザーＡ，Ｂ，Ｃ，Ｄを特定する。

【0048】

また、ユーザーＡが「マイクテスト」の文言を発話した場合に、ユーザー特定処理部１１４は、音声取得処理部１１２が「マイクテスト」の発話音声を取得した時点の撮像画像Ｐ１に基づいて、発話者（ここではユーザーＡ）を特定する。例えば、ユーザー特定処理部１１４は、各顔画像の口元の動きを認識して、現在発言している顔画像のユーザー（ここではユーザーＡ）を発話者として特定する。

【0049】

他の例として、音声取得処理部１１２が、ユーザーＡがマイクスピーカー装置２Ａの再生ボタン２６（図３参照）を押下したときに再生される音を取得した場合、ユーザー特定処理部１１４は、撮像画像Ｐ１におけるユーザーの手の動作を認識して、現在マイクスピーカー装置２の再生ボタン２６を押す動作をしているユーザー（ここではユーザーＡ）を発話者（発信者）として特定する。

【0050】

すなわち、本発明の発信者は、音声を発話するユーザー（発話者）に限定されず、所定の動作（ユーザー操作）に応じて音を出力させるユーザーであってもよい。

【0051】

このように、ユーザー特定処理部１１４は、音声取得処理部１１２がマイクスピーカー装置２から音を取得したタイミングの撮像画像内におけるユーザーの動作に基づいて、当該音の出力元（発信者）を特定する。ユーザー特定処理部１１４は、本発明の第２特定処理部の一例である。

【0052】

登録処理部１１５は、機器特定処理部１１３により特定されるマイクスピーカー装置２の識別情報（機器ＩＤ）と、ユーザー特定処理部１１４により特定される発信者のユーザー情報（ユーザーＩＤ）とを互いに関連付けて登録する登録処理を実行する。上記の例（図６参照）では、登録処理部１１５は、機器情報Ｄ２（図５参照）において、機器特定処理部１１３が特定したマイクスピーカー装置２Ａの機器ＩＤ「ＭＳ００１」に、ユーザー特定処理部１１４が特定したユーザーＡのユーザーＩＤ「ａａａ」を関連付けて登録する。

【0053】

これにより、マイクスピーカー装置２Ａと、当該マイクスピーカー装置２Ａを使用するユーザーＡとが紐付けられる。

【0054】

同様にして、例えば図７に示すように、ユーザーＢが「マイクテスト」などの文言を発話すると、機器特定処理部１１３は、音声データに付与された機器ＩＤに基づいてマイクスピーカー装置２Ｂを特定し、ユーザー特定処理部１１４は、撮像画像Ｐ２に含まれる顔画像の動きに基づいて発話者（ユーザーＢ）を特定する。そして、登録処理部１１５は、機器情報Ｄ２（図５参照）において、機器特定処理部１１３が特定したマイクスピーカー装置２Ｂの機器ＩＤ「ＭＳ００２」に、ユーザー特定処理部１１４が特定したユーザーＢのユーザーＩＤ「ｂｂｂ」を関連付けて登録する。

【0055】

このように、登録処理部１１５は、第１マイクスピーカー装置２を使用する第１発信者が発話した場合に、機器特定処理部１１３により特定される第１マイクスピーカー装置２の機器ＩＤと、ユーザー特定処理部１１４により特定される第１発信者のユーザーＩＤとを互いに関連付けて登録し、続いて、第２マイクスピーカー装置２を使用する第２発信者が発話した場合に、機器特定処理部１１３により特定される第２マイクスピーカー装置２の機器ＩＤと、ユーザー特定処理部１１４により特定される第２発信者のユーザーＩＤとを互いに関連付けて登録する。

【0056】

以上のようにして、制御部１１は、マイクスピーカー装置２ごとに、当該マイクスピーカー装置２を使用するユーザーを紐付ける。図５では、８台のマイクスピーカー装置２Ａ～２ｈのそれぞれに、ユーザーＡ～Ｈのそれぞれが紐付けられた状態を示している。

【0057】

また、制御部１１は、各ユーザーと各マイクスピーカー装置２との対応関係を操作表示部１３又はディスプレイＤＰに表示させてもよい。これにより、各ユーザーと各マイクスピーカー装置２との対応関係を容易に把握することができる。

【0058】

調整処理部１１６は、マイクスピーカー装置２の設定内容（マイク２４及びスピーカー２５の設定内容）を調整する調整処理を実行する。具体的には、登録処理部１１５により、複数のマイクスピーカー装置２の機器ＩＤと複数のユーザーＩＤとがそれぞれ関連付けて登録されている場合（図５参照）において、調整処理部１１６は、発信者からの距離が所定距離Ｌ１未満のユーザーに対応するマイクスピーカー装置２のスピーカー２５（図３参照）をオフ状態（又はミュート状態）に調整し、前記発信者からの距離が所定距離Ｌ１以上のユーザーに対応するマイクスピーカー装置２のスピーカー２５をオン状態に調整する。

【0059】

図８には、前記調整処理の一例を模式的に示している。図８において、ユーザーＵ１～Ｕ９はそれぞれマイクスピーカー装置２を装着しており、ユーザーＵ１は発話者である。また、ユーザーＵ２～Ｕ５は、ユーザーＵ１から所定距離Ｌ１未満の範囲に位置しており、ユーザーＵ６～Ｕ９は、ユーザーＵ１から所定距離Ｌ１以上の範囲に位置している。

【0060】

図８のケースは、例えば、ユーザーＵ１が発表者としてプレゼンテーションを行い、ユーザーＵ２～Ｕ９が聴講者として参加するケースである。この場合、ユーザーＵ２～Ｕ５は、ユーザーＵ１の近くにいるためユーザーＵ１の発話音声を直接聞き取ることができる。これに対して、ユーザーＵ６～Ｕ９は、ユーザーＵ１から離れた位置にいるためユーザーＵ１の発話音声を直接聞き取ることが困難になる。

【0061】

そこで、調整処理部１１６は、ユーザーＵ２～Ｕ５が使用するマイクスピーカー装置２のスピーカー２５をオフ状態に調整し、ユーザーＵ６～Ｕ９が使用するマイクスピーカー装置２のスピーカー２５をオン状態に調整する。

【0062】

例えば、調整処理部１１６は、前記撮像画像に基づいて、ユーザーＵ１～Ｕ９の位置を特定し、さらに発話者であるユーザーＵ１を特定する。また、調整処理部１１６は、前記撮像画像に基づいて、発話者（ユーザーＵ１）からユーザーＵ２～Ｕ９それぞれまでの距離を算出する。調整処理部１１６は、前記撮像画像から前記距離を算出することにより、前記調整処理を実行することが可能となる。

【0063】

図９には、前記調整処理の他の例を模式的に示している。図９において、ユーザーＵ１～Ｕ８はそれぞれマイクスピーカー装置２を装着している。ユーザーＵ１，Ｕ２はテーブルＴ１に位置（着席）しており、ユーザーＵ３，Ｕ４，Ｕ５はテーブルＴ２に位置しており、ユーザーＵ６，Ｕ７，Ｕ８はテーブルＴ３に位置している。テーブルＴ２のユーザーＵ３～Ｕ５は、テーブルＴ１から所定距離Ｌ２未満の範囲に位置しており、テーブルＴ３のユーザーＵ６～Ｕ８は、テーブルＴ１から所定距離Ｌ２以上の範囲に位置している。

【0064】

図９のケースは、例えば、ユーザーＵ１～Ｕ５がテーブルＴ１，Ｔ２においてミーティングを行い、ユーザーＵ６～Ｕ８がテーブルＴ３で別のミーティングを行うケースである。この場合、ユーザーＵ１，Ｕ２の発話音声は、ユーザーＵ３～Ｕ５に届く必要がある一方、ユーザーＵ６～Ｕ８には届く必要がない。

【0065】

そこで、調整処理部１１６は、ユーザーＵ１～Ｕ５の発話音声を取得した場合には、ユーザーＵ１～Ｕ５が使用するマイクスピーカー装置２のスピーカー２５をオン状態に調整し、ユーザーＵ６～Ｕ８が使用するマイクスピーカー装置２のスピーカー２５をオフ状態に調整する。

【0066】

一方、調整処理部１１６は、ユーザーＵ６～Ｕ８の発話音声を取得した場合には、ユーザーＵ１～Ｕ５が使用するマイクスピーカー装置２のスピーカー２５をオフ状態に調整し、ユーザーＵ６～Ｕ８が使用するマイクスピーカー装置２のスピーカー２５をオン状態に調整する。このように、調整処理部１１６は、発話者と当該発話者からの距離とに基づいて、各マイクスピーカー装置２のスピーカー２５を調整してもよい。

【0067】

［登録処理］
以下、図１０を参照しつつ、音声処理装置１の制御部１１によって実行される登録処理の手順の一例について説明する。

【0068】

なお、本発明は、前記登録処理に含まれる一又は複数のステップを実行する登録方法（本発明の音声処理方法）の発明として捉えることができる。また、ここで説明する前記登録処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記登録処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部１１が前記登録処理における各ステップを実行する場合を例に挙げて説明するが、他の実施形態では、一又は複数のプロセッサーが前記登録処理における各ステップを分散して実行してもよい。

【0069】

ここでは、図６に示す例に挙げて説明する。先ず、ステップＳ１１において、制御部１１は撮像画像Ｐ１を取得する。

【0070】

次にステップＳ１２において、制御部１１は、ユーザーの発話音声を取得したか否かを判定する。例えば、マイクスピーカー装置２ＡのユーザーＡが発話した場合、マイクスピーカー装置２ＡはユーザーＡの発話音声を集音し、集音した音声の音声データとマイクスピーカー装置２Ａの機器ＩＤとを音声処理装置１に送信する。制御部１１は、マイクスピーカー装置２ＡからユーザーＡの前記音声データ（発話音声）及び機器ＩＤを取得する。制御部１１は、前記発話音声を取得すると（Ｓ１２：Ｙｅｓ）、処理をステップＳ１３に移行させる。一方、制御部１１は、前記発話音声を取得するまで待機する（Ｓ１２：Ｎｏ）。

【0071】

ステップＳ１３において、制御部１１は、取得した前記発話音声の送信元のマイクスピーカー装置２を特定する。例えば、制御部１１は、マイクスピーカー装置２ＡからユーザーＡの発話音声を取得した場合に、当該発話音声の音声データに付与されたマイクスピーカー装置２Ａの機器ＩＤに基づいてマイクスピーカー装置２Ａを特定する。

【0072】

次にステップＳ１４において、制御部１１は、前記発話音声の発話者を特定する。例えば、制御部１１は、撮像画像Ｐ１を画像解析して各ユーザーの顔画像を認識し、認識した顔画像とユーザー情報Ｄ１（図４参照）に登録されている画像情報（顔画像）とを照合して、ユーザーＡ，Ｂ，Ｃ，Ｄを特定する。また、ユーザーＡが「マイクテスト」の文言を発話した場合に、制御部１１は、「マイクテスト」の発話音声を取得した時点の撮像画像Ｐ１における口元の動きに基づいて、発話者（ユーザーＡ）を特定する。

【0073】

次にステップＳ１５において、制御部１１は、特定したマイクスピーカー装置２の機器ＩＤと発信者のユーザーＩＤとを互いに関連付けて登録する。例えば、制御部１１は、機器情報Ｄ２（図５参照）において、マイクスピーカー装置２Ａの機器ＩＤ「ＭＳ００１」に、ユーザーＡのユーザーＩＤ「ａａａ」を関連付けて登録する。これにより、マイクスピーカー装置２Ａと、当該マイクスピーカー装置２Ａを使用するユーザーＡとが紐付けられる。

【0074】

制御部１１は、ユーザーＡとマイクスピーカー装置２Ａとの紐付けが完了すると、続いてユーザーＢの発話音声（図７参照）に基づいて、ユーザーＢとマイクスピーカー装置２Ｂとの紐付けを行う。以上のようにして、制御部１１は、前記登録処理を繰り返し実行して、マイクスピーカー装置２ごとに、当該マイクスピーカー装置２を使用するユーザーを紐付ける（図５参照）。

【0075】

［調整処理］
以下、図１１を参照しつつ、音声処理装置１の制御部１１によって実行される調整処理の手順の一例について説明する。

【0076】

なお、本発明は、前記調整処理に含まれる一又は複数のステップを実行する調整方法（本発明の音声処理方法）の発明として捉えることができる。また、ここで説明する前記調整処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記調整処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部１１が前記調整処理における各ステップを実行する場合を例に挙げて説明するが、他の実施形態では、一又は複数のプロセッサーが前記調整処理における各ステップを分散して実行してもよい。

【0077】

ここでは、図８に示す例に挙げて説明する。また、ここでは、ユーザーＵ１～Ｕ９と各マイクスピーカー装置２とが紐付けられているものとする。

【0078】

先ず、ステップＳ２１において、制御部１１は撮像画像Ｐ１を取得する。

【0079】

次にステップＳ２２において、制御部１１は、前記発話音声の発話者を特定する。例えば、制御部１１は、撮像画像Ｐ１を画像解析して各ユーザーの顔画像を認識し、認識した顔画像とユーザー情報Ｄ１（図４参照）に登録されている画像情報（顔画像）とを照合して、ユーザーＵ１～Ｕ９を特定する。また、ユーザーＵ１が発話した場合に、制御部１１は、発話音声を取得した時点の撮像画像における口元の動きに基づいて、発話者（ユーザーＵ１）を特定する。

【0080】

次にステップＳ２３において、制御部１１は、前記撮像画像に基づいて、発話者（ユーザーＵ１）からユーザーＵ２～Ｕ９それぞれまでの距離を算出する。

【0081】

次にステップＳ２４において、制御部１１は、前記距離が所定距離Ｌ１未満であるか否かを判定する。図８の例では、制御部１１は、ユーザーＵ２～Ｕ５についてはユーザーＵ１からの距離が所定距離Ｌ１未満であると判定し、ユーザーＵ６～Ｕ９についてはユーザーＵ１からの距離が所定距離Ｌ１以上であると判定する。制御部１１は、前記距離が所定距離Ｌ１未満である場合（Ｓ２４：Ｙｅｓ）、処理をステップＳ２５に移行させる。一方、制御部１１は、前記距離が所定距離Ｌ１以上である場合（Ｓ２４：Ｎｏ）、処理をステップＳ２６に移行させる。

【0082】

ステップＳ２５では、制御部１１はスピーカー２５をオフ状態に調整する。例えば、制御部１１は、ユーザーＵ２～Ｕ５が使用するマイクスピーカー装置２のスピーカー２５をオフ状態（ミュート）に調整する。

【0083】

ステップＳ２６では、制御部１１はスピーカー２５をオン状態に調整する。例えば、制御部１１は、ユーザーＵ６～Ｕ９が使用するマイクスピーカー装置２のスピーカー２５をオン状態（ミュート解除）に調整する。

【0084】

以上のように、制御部１１は、発話者からの距離に応じてマイクスピーカー装置２の設定を調整する。

【0085】

以上説明したように、本実施形態に係る会議システム１０は、ユーザーが携帯する携帯型のマイクスピーカー装置２によりユーザーの発話音声の音声データを送受信するシステムである。また、会議システム１０は、カメラＣａにより撮像される撮像画像を取得し、マイクスピーカー装置２が集音した音を当該マイクスピーカー装置２から取得する。また、会議システム１０は、取得した前記音の送信元のマイクスピーカー装置２を特定し、取得した前記撮像画像に基づいて前記音の発信者を特定する。そして、会議システム１０は、特定したマイクスピーカー装置２の識別情報と前記発信者のユーザー情報とを互いに関連付けて登録する。

【0086】

上記構成によれば、例えばマイクスピーカー装置２を装着したユーザーが発話するだけで、当該ユーザーとマイクスピーカー装置２とを紐付けることができる。よって、マイクスピーカー装置２及びユーザーの対応関係を容易に把握することが可能となる。

【0087】

また、本実施形態に係る会議システム１０は、取得した撮像画像に基づいて算出される発話者からの距離に基づいて、複数のマイクスピーカー装置２のそれぞれの設定内容を調整する。

【0088】

上記構成によれば、ユーザーの操作に依らず、当該ユーザーのマイクスピーカー装置２の設定内容（例えば、スピーカー２５のＯＮ／ＯＦＦ）を自動的に調整することができる。なお、前記設定内容は、スピーカー２５のＯＮ／ＯＦＦに限定されず、スピーカー２５の音量、マイクゲインなどであってもよい。

【0089】

本発明は、上述の実施形態に限定されない。例えば、音声処理装置１は、前記登録処理を実行する機能を備え、前記調整処理を実行する機能を備えていない構成であってもよい。

【0090】

また例えば、音声処理装置１は、前記調整処理を実行する機能を備え、前記登録処理を実行する機能を備えていない構成であってもよい。例えば、音声処理装置１（本発明の音声処理システム）は、カメラＣａにより撮像される撮像画像を取得する画像取得処理部１１１と、複数のマイクスピーカー装置２のうち第１マイクスピーカー装置２が集音した発話音声を第１マイクスピーカー装置２から取得する音声取得処理部１１２と、画像取得処理部１１１により取得される前記撮像画像に基づいて前記発話音声の発話者を特定するユーザー特定処理部１１４と、画像取得処理部１１１により取得される前記撮像画像に基づいて算出される前記発話者からの距離に基づいて、複数のマイクスピーカー装置２のそれぞれの設定内容を調整する調整処理部１１６と、を備えて構成されてもよい。

【0091】

すなわち、本発明の音声処理システムは、少なくとも前記登録処理及び前記調整処理のいずれかの機能を備えて構成される。

【0092】

前記調整処理の他の例として、制御部１１は、一のマイクスピーカー装置２から取得した音がノイズ音の場合に、複数のマイクスピーカー装置２のそれぞれのスピーカー２５をオフ状態に調整してもよい。制御部１１は、撮像画像から認識されるユーザーの動作と、一のマイクスピーカー装置２から取得した音の種別とに基づいて前記ノイズ音を特定する。例えば、マイクスピーカー装置２にユーザーの髪の毛が触れて、接触音がマイクスピーカー装置２に集音された場合に、制御部１１は、前記接触音をノイズ音と判定する。この場合、制御部１１は、ノイズ音が他のマイクスピーカー装置２から出力されないように、前記ノイズ音を除去する。前記接触音は、例えば、ユーザーが髪の毛をかき上げたり、首を横に振ったりする動作により生じする。また、制御部１１は、ユーザーの発話音声以外の音をノイズ音として予め登録してもよい。

【0093】

また、例えば、椅子に着席していたユーザーが立ち上がったときに椅子と床が擦れて、擦れ音がマイクスピーカー装置２に集音された場合に、制御部１１は、前記擦れ音をノイズ音と判定する。この場合、制御部１１は、ノイズ音が他のマイクスピーカー装置２から出力されないように、前記ノイズ音を除去する。

【0094】

また、前記調整処理の他の例として、例えば図２に示す会議室Ｒ１からユーザーＣが退室した場合に、制御部１１は、図６に示す撮像画像Ｐ１からユーザーＣの画像を認識しなくなると、ユーザーＣに紐付けられていたマイクスピーカー装置２の接続（通信）を切断する。また、この際に、制御部１１は、「接続を解除します」のメッセージを前記マイクスピーカー装置２のスピーカー２５から出力させてもよい。さらに、制御部１１は、前記メッセージに対して前記ユーザーから承諾する旨の回答を取得した場合に、当該ユーザーに紐付けられたマイクスピーカー装置２の接続を解除してもよい。

【0095】

また例えば会議室Ｒ１から退出したユーザーＣが再び会議室Ｒ１に入室した場合に、制御部１１は、図６に示す撮像画像Ｐ１からユーザーＣの画像を認識すると、ユーザーＣに紐付けられていたマイクスピーカー装置２を再接続（通信）する。また、この際に、制御部１１は、「再接続します」のメッセージを前記マイクスピーカー装置２のスピーカー２５から出力させてもよい。さらに、制御部１１は、前記メッセージに対して前記ユーザーから承諾する旨の回答を取得した場合に、当該ユーザーに紐付けられたマイクスピーカー装置２を再接続してもよい。

【0096】

また、制御部１１は、ユーザーＣが会議室Ｒ１から退室した場合に、マイク２４をオフ状態に調整（又はマイクゲインを低下）し、ユーザーＣが会議室Ｒ１に戻った場合に、マイク２４をオン状態に調整（又はマイクゲインを上昇）してもよい。

【0097】

なお、本発明の他の実施形態として、会議サーバー３が音声処理装置１の機能を備えてもよい。すなわち、会議サーバー３は、マイクスピーカー装置２から音声データを取得し、取得した前記音声データを他のマイクスピーカー装置２に送信する機能を備えてもよい。

【0098】

また、本発明の音声処理システムは、音声処理装置１単体で構成されてもよいし、会議サーバー３単体で構成されてもよいし、音声処理装置１及び会議サーバー３の組み合わせにより構成されてもよい。

【符号の説明】

【0099】

１ ：音声処理装置
２ ：マイクスピーカー装置
３ ：会議サーバー
Ｃａ ：カメラ
１０ ：会議システム
１１ ：制御部
１２ ：記憶部
１３ ：操作表示部
１４ ：通信部
１１１ ：画像取得処理部
１１２ ：音声取得処理部
１１３ ：機器特定処理部
１１４ ：ユーザー特定処理部
１１５ ：登録処理部
１１６ ：調整処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】